JP2019218022A - 線路検出装置 - Google Patents

線路検出装置 Download PDF

Info

Publication number
JP2019218022A
JP2019218022A JP2018119125A JP2018119125A JP2019218022A JP 2019218022 A JP2019218022 A JP 2019218022A JP 2018119125 A JP2018119125 A JP 2018119125A JP 2018119125 A JP2018119125 A JP 2018119125A JP 2019218022 A JP2019218022 A JP 2019218022A
Authority
JP
Japan
Prior art keywords
line
branch
traveling
image
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018119125A
Other languages
English (en)
Inventor
拓也 二神
Takuya Futagami
拓也 二神
雄介 高橋
Yusuke Takahashi
雄介 高橋
広幸 小林
Hiroyuki Kobayashi
広幸 小林
勝大 堀江
Katsuhiro Horie
勝大 堀江
直人 瀬戸
Naoto Seto
直人 瀬戸
世支明 山崎
Yoshiaki Yamazaki
世支明 山崎
陽平 服部
Yohei Hattori
陽平 服部
博章 伊藤
Hiroaki Ito
博章 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018119125A priority Critical patent/JP2019218022A/ja
Publication of JP2019218022A publication Critical patent/JP2019218022A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

【課題】鉄道車両の進行方向の領域を撮影した撮影画像から鉄道車両が進行する可能性のある複数の線路を検出した場合に、その複数の線路のうち鉄道車両が進行する線路を識別する。【解決手段】車両システム100において、線路検出装置2は、走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部21と、前記撮影画像において線路を検出する線路検出部23と、前記撮影画像において前記線路の分岐を検出する分岐検出部24と、前記撮影画像における前記分岐を含む画像領域に基いて、前記分岐の先の前記鉄道車両が進行する可能性のある複数の線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部25と、を備える。【選択図】図2

Description

本発明の実施形態は、線路検出装置に関する。
従来から、走行中の鉄道車両の進行方向の領域を撮影した撮影画像から線路や線路の分岐を検出する技術がある。そのような技術において、撮影画像から鉄道車両が進行する可能性のある複数の線路を検出する場合がある。
特開2016−91506号公報
Bogdan Tomoyuki Nassu, Masato Ukai, "Rail extraction for driver support in railways", [online], Conference: Intelligent Vehicles Symposium (IV), 2011 IEEE, [2018.06.05検索], インターネット<URL:http://www.dainf.ct.utfpr.edu.br/~nassu/papers/nassu11%20-%20Rail%20Extraction%20for%20Driver%20Support%20in%20Railways.pdf>
しかしながら、従来技術では、撮影画像から鉄道車両が進行する可能性のある複数の線路を検出した場合に、その複数の線路のうち鉄道車両が進行する線路を識別することはできなかった。
そこで、本発明の実施形態の課題は、鉄道車両の進行方向の領域を撮影した撮影画像から鉄道車両が進行する可能性のある複数の線路を検出した場合に、その複数の線路のうち鉄道車両が進行する線路を識別することである。
実施形態の線路検出装置は、走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部と、前記撮影画像において線路を検出する線路検出部と、前記撮影画像において前記線路の分岐を検出する分岐検出部と、前記撮影画像における前記分岐を含む画像領域に基いて、前記分岐の先の前記鉄道車両が進行する可能性のある複数の線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部と、を備える。
図1は、第1実施形態の線路検出装置を含む車両システムの構成を示す模式図である。 図2は、第1実施形態の線路検出装置を含む車両システムの機能を示すブロック図である。 図3は、第1実施形態において、線路の検出のために設定する初期エリアを説明するための模式図である。 図4は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を初期エリアで検出した線路に基いて検出する例を説明するための模式図である。 図5は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を検出する場合に用いる扇形の探索領域の模式図である。 図6は、第1実施形態において、扇形の探索領域を用いて線路(の一部)を探索する場合の手法を説明するための模式図である。 図7は、第1実施形態において、分岐線路の分岐位置を探索する場合の扇形の探索領域を説明するための模式図である。 図8は、第1実施形態において、既に検出済みの線路と交差する線分が検出された状態を説明するための模式図である。 図9は、第1実施形態において、検出された線分に基き探索対象の分岐線路の探索範囲を設定する例を説明するための模式図である。 図10は、第1実施形態において、図9で設定した分岐線路の探索範囲にさらに探索余裕幅を持たせることを説明するための模式図である。 図11は、第1実施形態において、設定された分岐線路の探索エリアに対して扇形の探索領域を用いて分岐線路を探索する様子を説明するための模式図である。 図12は、第1実施形態において、ハフ変換を用いて分岐線路を検出する場合に、図10で設定した探索余裕幅に基き設定した、分岐線路の探索エリアを説明するための模式図である。 図13は、第1実施形態における分岐を含む線路の模式図である。 図14は、第1実施形態において、分岐を含む着目領域設定を説明するための模式図である。 図15は、第1実施形態において、図14の画像を二値化した場合を示す模式図である。 図16は、第1実施形態における車両システムにおける全体処理を示すフローチャートである。 図17は、図16におけるステップS102の処理の詳細を示すフローチャートである。 図18は、図17におけるステップS4の処理の詳細を示すフローチャートである。 図19は、第2実施形態において、分岐を含む着目領域設定を説明するための模式図である。 図20は、第3実施形態において、分岐における進行線路識別の手法を説明するための模式図である。 図21は、第4実施形態において、トングレールに対して識別用物体を取り付けた場合を示す模式図である。 図22は、第5実施形態の線路検出装置を含む車両システムの構成を示す模式図である。 図23は、第5実施形態において、撮影画像における2つの線路の横方向の経時的な移動状態に基く進行線路識別を説明するための模式図である。 図24は、第5実施形態におけるステップS102の処理を示すフローチャートである。 図25は、第5実施形態において、撮影画像における2つの線路の横方向の経時的な移動状態に基く進行線路識別を説明するための模式図である。 図26は、第6実施形態の線路検出装置を含む車両システムの構成を示す模式図である。 図27は、第6実施形態におけるステップS102の処理を示すフローチャートである。 図28は、第7実施形態の線路検出装置を含む車両システムの構成を示す模式図である。 図29は、第7実施形態におけるステップS102の処理を示すフローチャートである。
以下、第1実施形態〜第7実施形態等について、図面に基いて説明する。なお、以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は例であって、以下の記載内容に限定されない。また、第2実施形態以降の説明において、それまでの実施形態と重複する説明は適宜省略する。
<第1実施形態>
まず、第1実施形態について説明する。図1は、第1実施形態の線路検出装置2を含む車両システム100の構成を示す模式図である。図1に示すように、車両システム100は、一対のレールにより構成される線路R上を走行する鉄道車両RVに搭載されている。車両システム100は、線路検出装置2に加え、撮影部としてのカメラ1と、表示部4と、障害物検知装置3と、を有している。
カメラ1は、鉄道車両RVの先端部(例えば運転席)に設けられ、鉄道車両RVの進行方向の領域を撮影する。カメラ1によって得られる撮影画像には、線路Rが含まれる。
表示部4は、各種の画像を表示する装置である。表示部4は、鉄道車両RVの運転席などに設けられる。
線路検出装置2は、例えば、プロセッサやメモリなどといったハードウェアを有するコンピュータとして構成される。
図2は、第1実施形態の線路検出装置2を含む車両システム100の機能を示すブロック図である。図2に示すように、線路検出装置2は、画像取得部21、特徴量算出部22、線路検出部23、分岐検出部24、進行線路識別部25、記憶部26等を有している。また、障害物検知装置3は、判定領域特定部31、障害物検出部32、出力制御部33、記憶部34等を有している。
各部21〜25といった機能モジュールの一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、線路検出装置2のプロセッサが記憶部26等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。同様に、各部31〜33といった機能モジュールの一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、障害物検知装置3のプロセッサが記憶部34等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。なお、これらの機能モジュールの一部または全部が、専用のハードウェア(回路)によって実現されてもよい。
線路検出装置2における記憶部26および障害物検知装置3における記憶部34は、それぞれメモリを含む揮発性または不揮発性の様々な記憶媒体によって実現される。記憶部26は、線路検出装置2のプロセッサが実行する上記のプログラムや、当該プログラムに従った線路Rの検出に用いられる線路情報(例えば、検出済線路情報、線路幅情報、初期エリア情報、線路位置情報、分岐情報等)を記憶する。また、記憶部34は、障害物検知装置3のプロセッサが実行する上記のプログラムや、当該プログラムに従った障害物の検知に用いられる障害物情報(例えば、人物、動物、倒木、車両等、線路内に存在する可能性のある障害物の形状情報(注視点情報)等)を記憶する。
本実施形態において、線路Rは、カメラ1によって撮影された撮影画像における複数の画素群(探索エリア)ごとに、所定の基準に基く線路らしさを表す尺度となり得る特徴量に基き検出される(詳細は後述)。
画像取得部21は、走行中の鉄道車両RVの進行方向の領域を撮影することで得られる撮影画像を取得する。具体的には、画像取得部21は、カメラ1により撮影された撮影画像を取得する。撮影画像は、例えばカラー画像である。画像取得部21は、例えば、取得した撮影画像に視点変換処理などを施すことで、カメラ1が撮影した領域を上方から俯瞰で見た鳥瞰画像を生成することができる。
特徴量算出部22は、撮影画像(鳥瞰画像)に基いて、線路Rを精度良く検出するために着目すべき特徴量を算出する。
撮影画像における線路Rの写り込みは、撮影環境(例えば周囲の明るさなど)に応じて変化する。例えば、線路Rに対応した領域が、周囲の領域よりも明るく写り込んでいる場合がある。このような場合、特徴量として、例えば、輝度値そのものに着目して線路Rを検出する手法が有効である。線路Rに対応した領域が他の領域よりも相対的に明るく写り込んでいるため、鳥瞰画像としての画像全体を、輝度値が閾値以上の領域と、輝度値が閾値未満の領域と、に2分(2値化)した特徴量を算出すれば、線路Rに対応した領域を精度良く検出することが可能である。この場合、特徴量として着目するものが単一であるのでノイズに対して頑健であり、また、ハフ変換やRANSACなどといった既存の線分検出アルゴリズムを利用した線路検出アルゴリズムへの適用が容易であるため、有用である。
逆に、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいる場合がある。このような場合、特徴量として、輝度値の勾配(着目する画素と当該画素に隣接する画素との輝度値の差分)に着目して線路Rを検出する手法が有効である。なお、輝度値の勾配は、SOBELフィルタや、Laplacianフィルタ、Robinsonフィルタ、Cannyフィルタなどによって算出可能である。
ところで、一般に、線路Rは、カメラ1の視点で手前側から奥側に向かって延びるため、通常は、輝度値の横軸(x軸)方向の勾配が特徴量として着目される。一方、線路Rに対応した領域が、カメラ1の視点で手前側から奥側に向かう途中でカーブしている場合、奥側の領域で、輝度値の横軸方向の勾配よりも、輝度値の縦軸(y軸)方向の勾配の方が大きくなる。そこで、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいるような撮影環境では、特徴量として、輝度値の横軸方向の勾配と縦軸方向の勾配との両方に着目し、検出対象となるエリア(画素群)に応じて着目する勾配を切り替えながら特徴量を算出する手法が有効である。この手法は、特徴量として着目するものが増加することでノイズが増加する可能性はあるものの、カーブした線路Rを当該線路Rの延びる方向に応じて適切に検出することが可能であるため、有用である。
このように、線路Rを精度良く検出するために着目すべき特徴量は、撮影画像(鳥瞰画像)の撮影環境や、検出対象の線路Rの部位など、状況に応じて様々に異なる。したがって、どのような撮影画像(鳥瞰画像)からも線路Rを精度良く検出するためには、線路Rの検出に用いる特徴量を、状況に応じて適宜切り替えればよい。
特徴量算出部22は、画像取得部21により生成された鳥瞰画像をy軸方向(画像の奥側、上側)に分割した、複数の画素群(エリア)ごとに、所定の基準に基いて、線路らしさを表す尺度となりうる特徴量を算出する。
線路検出部23は、撮影画像において線路を検出する。具体的には、線路検出部23は、特徴量算出部22で算出された特徴量に基いて、撮影画像(鳥瞰画像)から線路Rを検出する。
ここで、図3は、第1実施形態において、線路の検出のために設定する初期エリアを説明するための模式図である。線路検出部23は、図3に示すように、画像300に含まれる複数の画素群(エリア)のうち、最初の検出対象となる初期エリアA1から線路MR(レールMRL、レールMRR)の一部を検出した後、検出した線路MRの一部を基準とした次のエリアから線路MRの一部をさらに検出する処理を順次繰り返すことで、撮影画像(鳥瞰画像)の全体から線路MRを検出する。そして、特徴量算出部22は、線路検出部23により線路MRの一部が検出されるごとに、上述した所定の基準として、少なくとも、線路検出部23により既に検出済の線路MRの一部に関する情報を用いて、次のエリアに対応した1つの特徴量を取得する。なお、図3等では、本実施形態の概要を判り易くするために、撮影画像を用いて説明を行う。また、撮影画像を鳥瞰画像に変換して、線路検知を行った場合でも、求められた線路位置を、元の撮影画像上に再変換することで、図3等と同様の線路検知画像を得ることができる。
特徴量算出部22は、上述した所定の基準として、線路検出部23により既に検出済の線路MRの一部の撮影画像(鳥瞰画像)内での明暗に関する画像統計量を用いて、次のエリアに対応した1つの特徴量を選択する。明暗に関する画像統計量とは、例えば平均輝度値である。既に検出済の線路MRの一部の平均輝度値に着目すると、処理対象の鳥瞰画像が、線路MRが光の反射を起こしやすい撮影環境で取得された撮影画像に基くものか、線路MRが光の反射を起こしにくい撮影環境で取得された撮影画像に基くものか、を判定することができる。
例えば、既に検出済の線路MRの一部の平均輝度値が閾値以上である場合、当該線路MRの一部に対応した領域は、撮影画像(鳥瞰画像)内で他の領域よりも明るく写り込んでいる。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値そのものに着目することが有効である。一方、既に検出済の線路MRの一部の平均輝度値が閾値未満である場合、当該線路MRの一部に対応した領域は、撮影画像(鳥瞰画像)内で他の領域よりも暗く写り込んでいる。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値の勾配に着目することが有効である。したがって、特徴量算出部22は、既に検出済の線路MRの一部の平均輝度値と閾値との大小関係に応じて、次のエリアの特徴量として、輝度値そのものを選択するか、または、輝度値の勾配を選択するか、を決定する。
なお、前述したように、特徴量としての輝度値の勾配は、横軸方向の勾配と縦軸方向の勾配との2つが存在し、これら2つのいずれが適切であるかは、線路MRのカーブの有無などに応じて異なる。そこで、特徴量算出部22は、線路検出部23により既に検出済の線路MRの一部の角度(線路MRの一部が延びる方向)に基いて、次のエリアから線路MRの一部を検出するために用いる1つの特徴量として、輝度値の横軸方向の勾配を選択するか、または、輝度値の縦軸方向の勾配を選択するか、を決定する。
ところで、初期エリアA1は、最初の検出対象となるエリアであるので、上述したような参照すべき直前の結果は存在しない。したがって、初期エリアA1からの線路MRの一部の検出には、過去(例えば1フレーム前)の撮影画像(鳥瞰画像)に対する線路MRの検出結果を用いる。すなわち、画像取得部21は、鉄道車両RVの進行とともに撮影画像を複数回取得する。そして、特徴量算出部22は、あるタイミングで得られた撮影画像(鳥瞰画像)における初期エリアA1に対応した1つの特徴量を選択する場合、当該1つの特徴量を選択するための所定の基準として、少なくとも、あるタイミングよりも前のタイミングで得られた鳥瞰画像(1フレーム前の撮影画像に基く鳥瞰画像)における初期エリアA1から検出された線路MRの一部に関する情報(上述した平均輝度値などといった画像統計量)を用いる。なお、1フレーム前の撮影画像に基いて検出された線路MRに関する情報は、線路情報として記憶部26に記憶されているものとする。
ここで、撮影画像(鳥瞰画像)における各エリアから線路MR(の一部)を検出するための手法について説明する。まず、初期エリアA1から線路MR(の一部)を検出するための手法について説明する。前述したように、初期エリアA1は、線路MRの検出の起点となる領域として予め決められた位置に設定されている。初期エリアA1の位置は、線路情報として記憶部26に予め記憶されている。線路検出部23は、まず、記憶部26の線路情報を参照することで、上記の手法で選択された特徴量に基いて取得された特徴量から初期エリアA1に対応した領域のデータを抽出する。そして、線路検出部23は、抽出したデータに対してハフ変換やRANSACなどといった線分検出アルゴリズムに基く処理を実行することで、初期エリアA1内に存在する線路MR(の一部)の候補を抽出する。なお、正規の線路MRを構成する一対のレールMRL,MRRの幅は、予め決まっている。したがって、正規の線路MRを構成する一対のレールMRL,MRRの幅に関する情報を取得すれば、上記のように抽出された候補から、正規の線路MR(の一部)を特定することが可能である。そこで、本実施形態においては、線路MRを構成する一対のレールMRL,MRRの幅が、線路情報として記憶部26に予め記憶されているとしてもよい。
そして、線路検出部23は、線路情報の線路幅を参照し、上記のように抽出された候補から、線路情報で示された線路幅にマッチする幅を有する候補をさらに抽出することで、正規の線路MRを特定(検出)する。そして、線路検出部23は、特定した線路MRを構成する複数の座標点を、線路位置情報として記憶部26に記憶する。
ここで、図4は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を初期エリアで検出した線路に基いて検出する例を説明するための模式図である。図4に示す例では、線路MR(レールMRL,MRR)に含まれる座標点L1,R1,L2,R2等が記憶部26に記憶される。
次に、初期エリアA1以降のエリアから線路MR(の一部)を検出するための手法について説明する。図5は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を検出する場合に用いる扇形の探索領域の模式図である。図6は、第1実施形態において、扇形の探索領域を用いて線路(の一部)を探索する場合の手法を説明するための模式図である。
図5に示す例では、直近の処理により、線路MRの一部として、座標点L1,L2が検出済となっているものとする。線路検出部23は、まず、図5に示すように、直近に検出された2つの座標点に基く所定の扇形の領域を設定する。扇形の領域とは、直近に検出された2つの座標点L1,L2のうち初期エリアA1とは反対側の座標点L2から、当該2つの座標点L1,L2を結ぶ直線Lを中心として左右に同一の角度θで広がるように延びる仮想線VRおよび仮想線VLで区画される領域である。なお、角度θは、予め設定された角度であって、例えば、線路MRの規格などで規定された最大曲率の範囲をカバーする角度である。また、仮想線VRおよび仮想線VLの長さは、予め設定された長さである。
上記のような扇形の領域を設定すると、線路検出部23は、図6に示すように、扇形の領域の上端の任意の一箇所と、当該扇形の領域の起点(要)となる座標点L2とを網羅的に結ぶ複数の線分を設定する。これらの複数の線分が、線路MR(の一部)の候補となる。
そして、線路検出部23は、上記のように設定した複数の候補を鳥瞰画像上にあてはめ、複数の候補のうち、特徴量算出部22により選択された特徴量の平均値が最も大きいものを、正規の線路MR(の一部)として特定(検出)する。
ところで、図5に示された2つの座標点は、線路MRを構成する一対のレールMRL.MRRのうちの一方である、例えば、レールMRLに沿ったものであり、実際には、他方のレールMRRに沿った2つの座標点も検出済である。したがって、線路検出部23は、他方のレールMRRについても上記の同様の手法で正規の線路MRを特定(検出)する。
線路検出部23は、上記の手順が順次繰り返されることにより、図4に示す画像400(撮影画像、鳥瞰画像)の全ての領域から線路MR(レールMRL,MRR)の全体が検出される。そして、検出された線路MR(の全体)に関する情報は、検出済線路情報として記憶部26に記憶される。なお、上述の線路MRの検出手法の場合、図6に示すように、扇形の領域に複数の線分(直線の線路候補)を設定し、特徴量の平均値が最も大きいものを正規の線路MR(の一部)として特定する例を示した。別の例では、扇形の領域に複数の放物線の線路候補を設定し、特徴量の平均値が最も大きいものを正規の線路MR(の一部)として特定するようにしてもよい。この場合、より実際の線路MRに近い形状の線路候補で線路MRの探索を実行することになる。その結果、より精度よく線路MRの検出ができる。一方、上述したように、線路候補を線分(直線)で設定して探索を行う場合、処理負荷の軽減、処理時間の短縮等に寄与することができる。
図2に戻り、分岐検出部24は、撮影画像において線路の分岐を検出する。具体的には、分岐検出部24は、線路検出部23によって検出された線路MRに対して、分岐線路が存在するか否かを検出する。線路検出部23の場合、撮影画像(鳥瞰画像)を例えば手前側から奥側に向かって、複数のエリアに分割して、そのエリアごとに特徴量の平均値が最も大きいものを、正規の線路MR(の一部)として特定(検出)している。その結果、図4に示すように、線路MRの途中に分岐線路SR(レールSRL,レールSRR)が存在する場合は、分岐の発生している位置とエリアの分割の位置とが一致しないと、分岐線路SRを検出できない場合がある。
そこで、分岐検出部24は、検出済みの線路MRに対して分岐線路SRの分岐位置を特定する共に、その分岐位置に基き、当該分岐位置に連なる分岐線路SRをさらに検出する。
ここで、図7は、第1実施形態において、分岐線路の分岐位置を探索する場合の扇形の探索領域を説明するための模式図である。分岐検出部24は、図7に示すように、線路検出部23で画像700に含まれる検出済みの線路MRを構成する点(特徴量、例えば座標点LAや座標点LB等)を中心として、図6で説明した扇形の領域(探索領域)と同様な扇形の探索領域を設定する。図7の場合、一対のレールMRLとレールMRRのうち、レールMRLについて探索領域を設定している例である。そして、扇形の探索領域に含まれる線分群(分岐線路候補)上に、線路MR(一対のレールMRL,MRL)を結ぶ線分(横切る線分、交差する線分)が存在するか否かを探索する。例えば、特徴量の平均値が一定値以上の線分を検出する。なお、この場合、一定値以上の特徴量の平均値とは、線路検出部23が検出した線路MRの特徴量の平均値を用いることができる。
ここで、図8は、第1実施形態において、既に検出済みの線路と交差する線分が検出された状態を説明するための模式図である。図8では、扇形の探索領域における線分(分岐線路候補)による探索の結果、線路MR(レールMRLとレールMRR)を結ぶ(横切る)線分801(線分LB−RA)が検出された状態を示している。分岐検出部24は、線分801、つまり、線路検出部23が検出した線路MRに対する分岐線路SRの交点を当該分岐線路SRの分岐位置として取得する。そして、分岐検出部24は、この分岐位置を基準に分岐線路SRの探索を精度よく行うことができる。なお、別の例では、扇形の領域に複数の放物線の分岐線路候補を設定し、特徴量の平均値が最も大きいものを線路MR(レールMRLとレールMRR)を結ぶ(横切る)、分岐線路SR(の一部)としてもよい。この場合、より実際の形状に近い分岐線路候補で分岐線路SRの探索を実行することになる。その結果、より精度よく分岐線路SR(の一部)の検出ができる。一方、上述したように、分岐線路候補を線分(直線)に設定して探索を行う場合、処理負荷の軽減、処理時間の短縮等に寄与することができる。
分岐検出部24は、検出された線分801と線路MRとの交点のうち奥側(画像800の上側)に存在する交点(図8の場合、座標点RA)を基準に分岐線路SR探索するための新たな探索領域を設定する。この場合、分岐検出部24は、図9の画像900に示すように、まず、線分801(線分LB−RA)の長さを利用し、同じ長さの線分901を、線路検出部23によって検出済みのレールMRRの延在方向に沿って設定する。
ここで、図9は、第1実施形態において、検出された線分に基き探索対象の分岐線路の探索範囲を設定する例を説明するための模式図である。この場合、図9等に示すように、探索される分岐線路SRは特性上、分岐線路SRの一方のレールが線路MRを横切り、他方のレールは線路MRを横切らない。したがって、線路MRを横切らない方の分岐線路SRのレールは、横切る方の分岐線路SRのレールより画像900において手前側に存在する。したがって、探索領域を決める線分901は、座標点RAからレールMRRに沿って、画像900の手前側に延在するように設定される。そして、線分901の端部を座標点RBとする。
ここで、図10は、第1実施形態において、図9で設定した分岐線路の探索範囲にさらに探索余裕幅を持たせることを説明するための模式図である。分岐検出部24は、さらに、図10の画像1000に示すように、分岐線路SRの探索範囲に余裕を持たせるために、座標点RAの位置から線路検出部23により検出済みのレールMRRに沿って奥側(画像1000の上側)に向かい、線分901の所定の長さ(例えば1/2)の長さ分だけ分奥側探索範囲を拡大して座標点RCを設定する。同様に、座標点RBの位置からレールMRRに沿って手前側(画像1000の下側)に向かい、線分901の所定の長さ(例えば1/2)の長さ分だけ手前側探索範囲を拡大して座標点RDを設定する。つまり、線分RC−RDを分岐線路SRの探索範囲として確定する。
分岐検出部24は、分岐線路SRの探索範囲(線分RC−RD)が確定すると、図11に画像1100で示すように、図6で説明した扇形の領域(探索領域)と同様な扇形の探索領域Sを設定する。つまり、分岐検出部24は、分岐線路SRの分岐位置を要として、扇形状の探索領域Sを設定することで分岐線路SR(レールSRL,SRR)の一部の検出が可能になる。そして、分岐検出部24は、扇形の探索領域Sに含まれる線分群(分岐線路候補)上に、特徴量の平均値が一定値以上の線分を検出する。この場合、検出した分岐位置を起点とする分岐線路SRの扇状の探索領域Sの角度(図5におけるθ参照)は、線分801(線分801の角度、姿勢)を基準(中心)に分岐線路SRに規定される分岐線路SRがとり得る最大曲率の範囲を含む角度で設定することができる。この場合、探索対象の分岐線路SRが存在し得る方向に限定した探索が可能になり、効率的な分岐線路SRの検出ができる。また、扇形の探索領域Sに含まれる線分群(分岐線路候補)に基き分岐線路SRを検出する際は、特徴量の平均値が一定値以上の線分を検出するが、この場合、分岐検出部24は、線路検出部23が検出した線路MRとの類似度を利用してもよい。線路検出部23が検出した線路MRと、分岐検出部24が検出しようとする分岐線路SRとは連続している。したがって、画像1100上の線路MRと分岐線路SRとの特徴は類似点が多いと考えられる。このように、線路MRとの類似度(類似する特徴量)を用いることで、分岐線路SRの検出のための処理負荷を軽減することができるとともに、探索基準の絞り込みができるので、分岐線路SRをより正確に検出することができる。
ここで、図11は、第1実施形態において、設定された分岐線路の探索エリアに対して扇形の探索領域を用いて分岐線路を探索する様子を説明するための模式図である。図11に示すように、分岐検出部24が実行する扇状の探索領域Sによる探索で、分岐線路SRの分岐初期部分が検出されたら、線路検出部23は、図4で説明した初期エリアA1以降のエリアの線路MR(の一部)の検出処理を実行する。その結果、分岐線路SRの全体を検出することができる。分岐検出部24は、線路検出部23が検出した線路MR(分岐線路SR)について、分岐線路を検出する分岐線路検出処理をさらに実行する。つまり、検出される全ての分岐位置に対して分岐線路検出処理を繰り返し実行する。その結果、現在処理対象としている撮影画像(鳥瞰画像、例えば画像1100)に存在する全ての分岐線路SRの検出を精度よく実行することができる。
なお、上述した実施形態では、分岐検出部24は、分岐線路SR(の一部)を示す線分の検出を図5、図6に示すような扇形の探索領域を用いて実行する例を示した。別の例では、ハフ変換等の方法を用いて分岐線路SR(の一部)を示す線分を検出してもよい。
ここで、図12は、第1実施形態において、ハフ変換を用いて分岐線路を検出する場合に、図10で設定した探索余裕幅に基き設定した、分岐線路の探索エリアを説明するための模式図である。この場合、探索領域は、図12で示すように、図10で説明した余裕を持たせた探索範囲(線分RC−RD)に基いて設定することができる。例えば、画像1200に写り込んでいる分岐線路SRの場合、分岐検出部24が検出した線分801は上端の交点が下端の交点より右側に存在する。つまり、分岐線路SRは右方向にカーブして分岐すると推定される。この場合、分岐検出部24は、例えば、座標点RCと座標点RDのうち、より右側に存在する点(例えば、座標点RD)に画像1200のx方向(右方向)に所定の長さ(予め実験等で設定済みとする)を足した座標点REを設定する。そして、座標点REと同じx座標で、座標点RCと同じy座標の位置に座標点RFを設定する。そして、座標点RC,RD,RE,RFで形成される領域Pをハフ変換時の検出領域とする。このように、領域Pを設定することにより、分岐線路SRが存在すると推定される領域に対して効率的にハフ変換を実行することができる。
図2に戻り、進行線路識別部25は、撮影画像における分岐を含む画像領域に基いて、分岐の先の鉄道車両RVが進行する可能性のある複数の線路のうち鉄道車両RVが進行する線路(以下、単に「進行線路」と称する場合がある。)を識別する。
例えば、線路の分岐は、トングレールによって構成されている。そのとき、進行線路識別部25は、撮影画像におけるトングレールを含む画像領域に基いて、トングレールにおける2箇所の開閉部分における少なくともいずれかの開閉部分の開閉状態を判定することで、鉄道車両が進行する線路を識別する。
また、進行線路識別部25は、撮影画像におけるトングレールを含む画像領域に基いて、トングレールを線分として検出し、トングレールにおける2箇所の開閉部分における少なくともいずれかの開閉部分の開閉状態を判定することで、鉄道車両RVが進行する線路を識別する。進行線路識別部25の詳細については後述する。
障害物検知装置3は、線路検出装置2が検出した線路R(MR、SR)に対して、鉄道車両RVが線路Rを走行する際に障害物が存在するか否かの検知を行い、表示部4等に検知の結果を表示させる。
判定領域特定部31は、線路検出部23の分岐検出部24と進行線路識別部25の処理結果に基いて、撮影画像内における線路Rの付近の領域を、障害物の有無の判定の対象となる判定領域として特定する。
障害物検出部32は、判定領域特定部31により特定された判定領域内に障害物が存在するか否かを監視(検出)する。障害物の有無を判定するための情報(テンプレート)は、障害物情報として記憶部34に記憶されている。障害物検出部32は、障害物情報と、特徴量算出部22により検出された特徴量と、に基いて、障害物のテンプレートにマッチする画素群が判定領域内に存在するか否かを判定する。
そして、出力制御部33は、障害物検出部32により障害物が存在すると判定された場合に、障害物に対応する注視画像(マーク、アイコン、シンボル、キャラクタ等)を障害物情報等から読み出す。そして、出力制御部33は、表示部4に表示されている画像(線路MRや分岐線路SR等が写り込んでいる実画像)の対応する位置に注視画像を重畳して表示させる処理等を実行することで、警報を出力する。なお、この場合、音声やアラームによる警報を併せて出力するようにしてもよい。
以下、図13〜図15を参照して、鉄道車両RVの進行方向の領域を撮影した撮影画像から鉄道車両RVが進行する可能性のある複数の線路を検出した場合に、その複数の線路のうち鉄道車両RVが進行する線路を識別する手法(進行線路識別部25の処理)について説明する。
図13は、第1実施形態における分岐を含む線路の模式図である。図13に示す例では、線路MR(レールMRL、レールMRR)が、手前から左奥に向かって延びている。また、分岐線路SR(レールSRL,レールSRR)が、線路MR(レールMRL、レールMRR)における分岐LS、RSから右奥に向かって延びている。このような状況で、鉄道車両RVは、分岐LS、RSから先に、線路MRを進行する場合と分岐線路SRを進行する場合とがある。
図14は、第1実施形態において、分岐を含む着目領域設定を説明するための模式図である。図14に示す例では、画像1400において、線路MR(レールMRL、レールMRR)が、手前から直線状に奥に向かって延びている。また、分岐線路SR(レールSRL,レールSRR)が、線路MR(レールMRL、レールMRR)における分岐LS、RSから左奥に向かって延びている。
このような場合、進行線路識別部25は、着目領域L10、R10を設定する。着目領域L10は、分岐LSとその下方を含む矩形の領域である。着目領域R10は、分岐RSとその下方を含む矩形の領域である。
進行線路識別部25は、着目領域L10、R10のそれぞれについて、上述のハフ変換やRANSACなどといった既存の線分検出アルゴリズムを用いて線路を検出する。そして、進行線路識別部25は、着目領域L10、R10のそれぞれについて、端点(領域E参照)が存在する線路を検出した場合、その線路は開いたトングレールであるものと判定する。
図14のような2枝分岐のトングレールの場合、開いたトングレールが左側(分岐LS側)にあると、鉄道車両RVは左(分岐線路SR)に進行する。また、開いたトングレールが右側(分岐RS側)にあると、鉄道車両RVは右(線路MR)に進行する。この原理に基いて、進行線路識別部25は、鉄道車両RVが分岐LS、RSから線路MRと分岐線路SRのいずれに進行するかを識別することができる。
なお、3枝分岐のトングレールの場合、開いたトングレールが左側にあると、鉄道車両RVは左の線路に進行する。また、開いたトングレールが右側にあると、鉄道車両RVは右の線路に進行する。また、開いたトングレールが無いと、鉄道車両RVは真ん中の線路に進行する。この原理に基いて、進行線路識別部25は、鉄道車両RVの進行線路を識別することができる。
なお、図14のような2枝分岐のトングレールの場合、着目領域L10、R10の両方について開いたトングレールがあるか否かを判定する必要はなく、片方について判定してもよい。
図15は、第1実施形態において、図14の画像を輝度値もしくは特徴量について二値化した場合を示す模式図である。進行線路識別部25は、図14の画像を二値化して進行線路を識別することもできる。その場合も、進行線路識別部25は、図15の画像1500に示すような二値化画像から、白画素と黒画素に関する特徴量に基いて、着目領域L10、R10のそれぞれについて、線路を検出するとともに、開いたトングレールがあるか否かを判定する。図15では、白画素が各レールに対応しており、着目領域L10内にトングレールの端点(領域E参照)があって開いたトングレールがあることがわかる。
図16は、第1実施形態における車両システム100における全体処理を示すフローチャートである。この図16に示す処理は、鉄道車両RVの走行中に繰り返し実行される。
まず、S100において、線路検出装置2の画像取得部21は、カメラ1から撮影画像を取得する。なお、画像取得部21は取得した撮影画像を鳥瞰画像に変換してもよい。
次に、S102において、線路検出装置2は、線路に関する処理を行う。図17は、図16におけるステップS102の処理の詳細を示すフローチャートである。ステップS1において、特徴量算出部22は、撮影画像に基いて特徴量を算出する。
次に、ステップS2において、線路検出部23は、ステップS1で算出された特徴量に基いて、撮影画像から線路MR(例えば図14)を検出する。
次に、ステップS3において、分岐検出部24は、ステップS3で検出された線路MRに対して分岐線路SR(例えば図14)を検出する。
次に、ステップS4において、進行線路識別部25は、進行線路識別を行う。図18は、図17におけるステップS4の処理の詳細を示すフローチャートである。ステップS41において、進行線路識別部25は、着目領域(例えば図14の着目領域L10、R10)を設定する。
次に、ステップS42において、進行線路識別部25は、ステップS41で設定した着目領域について、端点(例えば図14の領域E参照)を検出する。
次に、ステップS43において、進行線路識別部25は、ステップS42で検出した端点に基いて、鉄道車両RVの進行線路(例えば図14では線路SR)を識別する。
図16に戻って、ステップS102の後、ステップS104において、判定領域特定部31は、ステップS102での処理結果に基いて、判定領域を特定する。具体的には、図14の場合、分岐LS、RSから先は、線路MR(およびその付近)が判定領域から除外され、分岐線路SR(およびその付近)が判定領域として採用される。
次に、ステップS106において、障害物検出部32は、ステップS104で特定された判定領域内に障害物が存在するか否かを監視(検出)する。
次に、ステップS108において、出力制御部33は、ステップS106における障害物検出結果を出力する。
このように、第1実施形態の車両システム100によれば、撮影画像から鉄道車両RVが進行する可能性のある複数の線路を検出した場合に、その複数の線路のうち鉄道車両RVが進行する線路を識別することができる。具体的には、例えば分岐がトングレールの場合、トングレールを含む着目領域についてトングレールの端点が存在するかを判定することで、進行線路を識別することができる。
これによって、撮影画像に複数の線路が存在する場合でも、障害物検出のための判定領域を進行線路(およびその付近)だけに限定することができる。したがって、障害物検出処理をより低負担、高精度(誤検知低減等)で行うことが可能となり、車両システム100の信頼性や使い勝手の向上等を図ることができる。
一方、従来技術では、撮影画像に複数の線路が存在する場合に、すべての線路について障害物検出を行っていたため、障害物検出処理の負担が大きくなって精度が低下してしまうことがあった。
<第2実施形態>
次に、第2実施形態について説明する。図19は、第2実施形態において、分岐を含む着目領域設定を説明するための模式図である。図19は、図14と比較して、着目領域L10、R10の向きが異なっている。図19では、着目領域L10は、分岐LSとその下方を含む矩形の領域であり、その矩形の長辺はレールMRLに沿っている。また、着目領域R10は、分岐RSとその下方を含む矩形の領域であり、その矩形の長辺はレールMRRに沿っている。その他については、第1実施形態と同様である。
このように、第2実施形態の車両システム100によれば、着目領域である矩形の長辺をレールに沿った方向とすることができる。そして、トングレールは本線レールの近くに存在するので、これにより、トングレールの端点の検出の精度をより向上させることができる。
<第3実施形態>
次に、第3実施形態について説明する。図20は、第3実施形態において、分岐における進行線路識別の手法を説明するための模式図である。この第3実施形態では、進行線路識別部25は、次のようにして、進行線路を識別する。
進行線路識別部25は、図20の画像2000において、線路の交点である点P1を開始点として線路を検出し、その線路の画面下方の端点である点P2、P3を検出する。そして、進行線路識別部25は、点P1〜P3とそれらの間の線路からなる略V字形の位置を調べ、点P2がレールMRLの線上にあるか否かと、点P3がレールMRRの線上にあるか否かを判定する。
そして、進行線路識別部25は、点P2がレールMRLの線上になくて、点P3がレールMRRの線上にあれば、進行線路を分岐線路SRと識別する。また、進行線路識別部25は、点P2がレールMRLの線上にあって、点P3がレールMRRの線上になければ、進行線路を線路MRと識別する。
このように、第3実施形態の車両システム100によれば、上述の略V字形の位置を調べることで進行線路を識別することができるので、矩形の着目領域を設定する必要が無く、その分の処理が軽くなるという効果がある。
<第4実施形態>
次に、第4実施形態について説明する。図21は、第4実施形態において、トングレールに対して識別用物体LZ、RZを取り付けた場合を示す模式図である。画像2100に存在する識別用物体LZ、RZは、蛍光色など、画像認識による検出が容易となる色やテクスチャでトングレールを目立たせるための道具である。
この場合、線路検出装置2の進行線路識別部25は、撮影画像におけるトングレールを含む画像領域に基いて、識別用物体LZ、RZを認識することで、トングレールにおける2箇所の開閉部分における少なくともいずれかの開閉部分の開閉状態を判定する。
このように、第4実施形態の車両システム100によれば、トングレールに対して識別用物体LZ、RZを取り付けることで、トングレールを他の線路と区別して検出することがより容易になり、トングレール検出性能を向上させることができる。
なお、識別用物体LZ、RZを用いる場合、例えば、進行線路識別部25は、色フィルタで識別用物体LZ、RZを検出し、識別用物体LZとレールMRLの角度や、識別用物体RZとレールMRRの角度を算出し、それらの角度によって進行線路を識別してもよい。その場合、例えば、図21のように、識別用物体LZとレールMRLの角度が0度よりも有意に大きく、識別用物体RZとレールMRRの角度が0度に近いと、進行線路識別部25は、進行線路を分岐線路SRと識別(特定)することができる。
<第5実施形態>
次に、第5実施形態について説明する。図22は、第5実施形態の線路検出装置2を含む車両システム100の構成を示す模式図である。図22は、図2と比較して、線路検出装置2が分岐検出部24を備えていない点と、線路検出部23と進行線路識別部25の動作内容の点で相違する。
線路検出部23は、撮影画像において鉄道車両RVが進行する可能性のある2つの線路を検出する。また、進行線路識別部25は、撮影画像における2つの線路の横方向の経時的な移動状態に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する。
ここで、図23は、第5実施形態において、撮影画像における2つの線路の横方向の経時的な移動状態に基く進行線路識別を説明するための模式図である。図23(a)の画像2300aに示すように、撮影画像において、鉄道車両RVが進行する可能性のある2つの線路として、線路R20(レールR20L、レールR20R)と線路R30(レールR30L、レールR30R)が存在する。例えば、線路R20と線路R30の分岐が画像の下方に移動してしまった場合に、このような画像となる。また、鉄道車両RVの走行している線路の曲がり方が急で分岐が画像に映らずにこのような画像になる場合もある。
いずれにしても、画像2300aでは分岐(トングレール)が存在していないので、分岐に基く進行線路識別を行うことはできない。しかし、鉄道車両RVが分岐後にカーブ走行すると、それにともなって、撮影画像における2つの線路は横方向の経時的に移動する。これを利用して、進行線路識別部25は、進行線路を識別する。
例えば、鉄道車両RVが分岐後に線路R20に進行する場合、撮影画像は図23(b)の画像2300bに示すように、全体として右方向に移動する。したがって、線路R20における点P20や線路R30における点P30も右方向に移動する。したがって、進行線路識別部25は、鉄道車両RVが分岐後に線路R20に進行していることを識別することができる。
図24は、第5実施形態におけるステップS102(図16)の処理を示すフローチャートである。ステップS1において、特徴量算出部22は、撮影画像に基いて特徴量を算出する。
次に、ステップS2において、線路検出部23は、ステップS1で算出された特徴量に基いて、撮影画像から線路を検出する。
次に、ステップS5において、線路検出部23は、撮影画像から2つの線路を検出する(図23(a))。例えば、線路検出部23は、分岐が画像の下方に移動して見えなくなったときに、分岐がない状態で2つの線路を検出する。また、例えば、線路検出部23は、鉄道車両RVの走行しているレールの曲がり方が急で分岐が画像に映らずに、2つの線路を検出する場合もある。
次に、ステップS6において、進行線路識別部25は、撮影画像における2つの線路の横方向の経時的な移動状態に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する(図23(b))。具体的には、進行線路識別部25は、オプティカルフロー手法によって、進行線路を識別する。例えば、進行線路識別部25は、Shi-Tomashi法によってコーナー検出を実行し、回転不変でオプティカルフロー手法に適した特徴点を検出する(図23(a))。また、進行線路識別部25は、Lucas-Kanade法によって、検出したコーナーに対してオプティカルフロー手法を実行する(図23(b))。また、進行線路識別部25は、オプティカルフローの長さや角度をそれぞれの閾値と比較することで、撮影画像における2つの線路が横方向のいずれに移動しているかを判定し、2つの線路のうち鉄道車両RVが進行する線路を識別することができる。
このように、第5実施形態の車両システム100によれば、撮影画像において分岐が無くて鉄道車両RVが進行する可能性のある2つの線路がある場合でも(図23(a))、鉄道車両RVが分岐を超えた後に、オプティカルフロー手法等によって2つの線路が横方向のいずれに移動しているかを判定し、2つの線路のうち鉄道車両RVが進行する線路を識別することができる。なお、例えば、分岐後の2つの線路のうち一方の線路が直進で他方の線路がカーブの場合、鉄道車両RVが分岐後に直進の線路を走行すると画像は横方向に移動しないが、その横方向に移動しないことによって分岐後に直進の線路を走行していると判定してもよい。
次に、第5実施形態の変形例について説明する。図25は、第6実施形態において、撮影画像における2つの線路の横方向の経時的な移動状態に基く進行線路識別を説明するための模式図である。図23(a)と同様、図25(a)の画像2500aに示すように、撮影画像において、鉄道車両RVが進行する可能性のある2つの線路として、線路R20(レールR20L、レールR20R)と線路R30(レールR30L、レールR30R)が存在する。また、点LC1は、画面最下部におけるレールR20LとレールR20Rの中央点である。また、点RC1は、画面最下部におけるレールR30LとレールR30Rの中央点である。
この場合、例えば、鉄道車両RVが分岐後に線路R20に進行する場合、撮影画像は図25(b)の画像2500bに示すように、全体として右方向に移動する。そして、点LC2は、画面最下部におけるレールR20LとレールR20Rの中央点である。また、点RC2は、画面最下部におけるレールR30LとレールR30Rの中央点である。点LC2は、点LC1よりも右に移動している。また、点RC2は、点RC1よりも右に移動している。これを利用して、進行線路識別部25は、鉄道車両RVが分岐後に線路R20に進行していることを識別することができる。
<第6実施形態>
次に、第6実施形態について説明する。図26は、第6実施形態の線路検出装置2を含む車両システム100の構成を示す模式図である。図26は、図22と比較して、速度センサ5が追加されている点と、線路検出装置2が速度情報取得部27を備えている点と、進行線路識別部25の動作内容の点で相違する。
速度センサ5は、鉄道車両RVの進行方向に対して横方向の速度情報(以下、単に「横方向の速度情報」ともいう。)を出力する手段であり、例えば、ジャイロセンサや速度計である。速度情報取得部27は、速度センサ5から横方向の速度情報を取得する。また、進行線路識別部25は、速度情報取得部27によって取得された横方向の速度情報に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する。
図27は、第6実施形態におけるステップS102(図16)の処理を示すフローチャートである。ステップS1、S2、S5は、図24と同様である。ステップS5の後、ステップS7において、速度情報取得部27は、速度センサ5から横方向の速度情報を取得する。次に、ステップS8において、進行線路識別部25は、ステップS7で取得した横方向の速度情報に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する。
このように、第6実施形態の車両システム100によれば、撮影画像に分岐が無くて鉄道車両RVが進行する可能性のある2つの線路が存在する場合に(図23(a))、鉄道車両RVが分岐後に横方向の速度を生じさせると、その横方向の速度情報を取得してそれに基いて進行線路を識別することができる。
<第7実施形態>
次に、第7実施形態について説明する。図28は、第7実施形態の線路検出装置2を含む車両システム100の構成を示す模式図である。図28は、図26と比較して、速度センサ5が加速度センサ6に置き換えられている点と、速度情報取得部27が加速度情報取得部28に置き換えられている点で相違する。
加速度センサ6は、鉄道車両RVの進行方向に対して横方向の加速度情報(以下、単に「横方向の加速度情報」ともいう。)を出力する手段であり、例えば、ジャイロセンサや加速度計である。加速度情報取得部28は、加速度センサ6から横方向の加速度情報を取得する。加速度情報取得部28は、加速度情報取得部28によって取得された横方向の加速度情報に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する。
図29は、第7実施形態におけるステップS102(図16)の処理を示すフローチャートである。ステップS1、S2、S5は、図27と同様である。ステップS5の後、ステップS9において、加速度情報取得部28は、加速度センサ6から横方向の加速度情報を取得する。次に、ステップS10において、加速度情報取得部28は、ステップS10で取得した横方向の加速度情報に基いて、2つの線路のうち鉄道車両RVが進行する線路を識別する。
このように、第7実施形態の車両システム100によれば、撮影画像に鉄道車両RVが進行する可能性のある2つの線路が存在する場合に(図23(a))、鉄道車両RVが分岐後に横方向の加速度を生じさせると、その横方向の加速度情報を取得してそれに基いて進行線路を識別することができる。
以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上述の実施形態では、分岐に関して、2枝分岐と3枝分岐を例にとって説明したが、これに限定されず、4枝以上の分岐に対して本発明を適用してもよい。
1…カメラ、2…線路検出装置、3…障害物検知装置、4…表示部、5…速度センサ、6…加速度センサ、21…画像取得部、22…特徴量算出部、23…線路検出部、24…分岐検出部、25…進行線路識別部、26…記憶部、27…速度情報取得部、28…加速度情報取得部、31…判定領域特定部、32…障害物検出部、33…出力制御部、34…記憶部、100…車両システム、RV…鉄道車両

Claims (7)

  1. 走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部と、
    前記撮影画像において線路を検出する線路検出部と、
    前記撮影画像において前記線路の分岐を検出する分岐検出部と、
    前記撮影画像における前記分岐を含む画像領域に基いて、前記分岐の先の前記鉄道車両が進行する可能性のある複数の線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部と、
    を備える線路検出装置。
  2. 前記線路の前記分岐は、トングレールによって構成されており、
    前記進行線路識別部は、前記撮影画像における前記トングレールを含む画像領域に基いて、前記トングレールにおける2箇所の開閉部分における少なくともいずれかの前記開閉部分の開閉状態を判定することで、前記鉄道車両が進行する線路を識別する、
    請求項1に記載の線路検出装置。
  3. 前記進行線路識別部は、前記撮影画像における前記トングレールを含む画像領域に基いて、前記トングレールを線分として検出し、前記トングレールにおける2箇所の前記開閉部分における少なくともいずれかの前記開閉部分の開閉状態を判定することで、前記鉄道車両が進行する線路を識別する、
    請求項2に記載の線路検出装置。
  4. 前記トングレールに対して識別用物体が取り付けられており、
    前記進行線路識別部は、前記撮影画像における前記トングレールを含む画像領域に基いて、前記識別用物体を認識することで、前記トングレールにおける2箇所の前記開閉部分における少なくともいずれかの前記開閉部分の開閉状態を判定する、
    請求項2に記載の線路検出装置。
  5. 走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部と、
    前記撮影画像において前記鉄道車両が進行する可能性のある2つの線路を検出する線路検出部と、
    前記撮影画像における前記2つの線路の横方向の経時的な移動状態に基いて、前記2つの線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部と、
    を備える線路検出装置。
  6. 走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部と、
    前記撮影画像において前記鉄道車両が進行する可能性のある2つの線路を検出する線路検出部と、
    前記鉄道車両の進行方向に対して横方向の速度情報を取得する速度情報取得部と、
    前記速度情報取得部によって取得された前記横方向の速度情報に基いて、前記2つの線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部と、
    を備える線路検出装置。
  7. 走行中の鉄道車両の進行方向の領域を撮影することで得られる撮影画像を取得する画像取得部と、
    前記撮影画像において前記鉄道車両が進行する可能性のある2つの線路を検出する線路検出部と、
    前記鉄道車両の進行方向に対して横方向の加速度情報を取得する加速度情報取得部と、
    前記加速度情報取得部によって取得された前記横方向の加速度情報に基いて、前記2つの線路のうち前記鉄道車両が進行する線路を識別する進行線路識別部と、
    を備える線路検出装置。
JP2018119125A 2018-06-22 2018-06-22 線路検出装置 Pending JP2019218022A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018119125A JP2019218022A (ja) 2018-06-22 2018-06-22 線路検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018119125A JP2019218022A (ja) 2018-06-22 2018-06-22 線路検出装置

Publications (1)

Publication Number Publication Date
JP2019218022A true JP2019218022A (ja) 2019-12-26

Family

ID=69095665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018119125A Pending JP2019218022A (ja) 2018-06-22 2018-06-22 線路検出装置

Country Status (1)

Country Link
JP (1) JP2019218022A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626169A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种基于图像的铁路危险落石尺寸判断方法
US20200312052A1 (en) * 2019-03-25 2020-10-01 Alstom Transport Technologies Method for acquiring data captured by a capture module embedded in a mobile device following a predetermined trajectory, corresponding computer program and device
CN113011252A (zh) * 2021-02-04 2021-06-22 成都希格玛光电科技有限公司 轨道异物侵限检测系统及方法
WO2022018918A1 (ja) 2020-07-20 2022-01-27 株式会社 東芝 鉄道線路情報取得装置、及び鉄道線路情報取得方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030055A (ja) * 1998-07-09 2000-01-28 Fuji Heavy Ind Ltd 軌道上ポイント認識装置
JP2002008019A (ja) * 2000-06-21 2002-01-11 Fuji Heavy Ind Ltd 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP2002318108A (ja) * 2001-04-20 2002-10-31 Nagoya Railroad Co Ltd レール変動量測定方法及びレール変動量測定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030055A (ja) * 1998-07-09 2000-01-28 Fuji Heavy Ind Ltd 軌道上ポイント認識装置
JP2002008019A (ja) * 2000-06-21 2002-01-11 Fuji Heavy Ind Ltd 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP2002318108A (ja) * 2001-04-20 2002-10-31 Nagoya Railroad Co Ltd レール変動量測定方法及びレール変動量測定装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200312052A1 (en) * 2019-03-25 2020-10-01 Alstom Transport Technologies Method for acquiring data captured by a capture module embedded in a mobile device following a predetermined trajectory, corresponding computer program and device
CN111626169A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种基于图像的铁路危险落石尺寸判断方法
WO2022018918A1 (ja) 2020-07-20 2022-01-27 株式会社 東芝 鉄道線路情報取得装置、及び鉄道線路情報取得方法
JP2022020355A (ja) * 2020-07-20 2022-02-01 株式会社東芝 鉄道線路情報取得装置、及び鉄道線路情報取得方法
JP7455690B2 (ja) 2020-07-20 2024-03-26 株式会社東芝 鉄道線路情報取得装置、及び鉄道線路情報取得方法
CN113011252A (zh) * 2021-02-04 2021-06-22 成都希格玛光电科技有限公司 轨道异物侵限检测系统及方法
CN113011252B (zh) * 2021-02-04 2023-12-05 成都希格玛光电科技有限公司 轨道异物侵限检测系统及方法

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP4919036B2 (ja) 移動物体認識装置
JP4822766B2 (ja) 路面標示認識装置及びシステム
JP2019218022A (ja) 線路検出装置
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
CN110287779A (zh) 车道线的检测方法、装置及设备
US20160191795A1 (en) Method and system for presenting panoramic surround view in vehicle
JP4157620B2 (ja) 移動物体検出装置及びその方法
US9165197B2 (en) Vehicle surroundings monitoring apparatus
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6226368B2 (ja) 車両監視装置、および車両監視方法
JP2007156626A (ja) 物体種別判定装置及び物体種別判定方法
US20110164790A1 (en) Lane marking detection apparatus, lane marking detection method, and lane marking detection program
JP2009040108A (ja) 画像表示制御装置及び画像表示制御システム
JP6617150B2 (ja) 物体検出方法及び物体検出装置
WO2016059643A1 (en) System and method for pedestrian detection
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
CN110537206B (zh) 铁路轨道识别装置、程序及铁路轨道识别方法
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
CN112004732B (zh) 铁路轨道识别装置
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN109492454A (zh) 对象识别方法及装置
JP2010286995A (ja) 車両用画像処理システム
JP4575315B2 (ja) 物体検出装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230104