JP2019085056A - 軌道周辺の環境変化検出方法 - Google Patents
軌道周辺の環境変化検出方法 Download PDFInfo
- Publication number
- JP2019085056A JP2019085056A JP2017216929A JP2017216929A JP2019085056A JP 2019085056 A JP2019085056 A JP 2019085056A JP 2017216929 A JP2017216929 A JP 2017216929A JP 2017216929 A JP2017216929 A JP 2017216929A JP 2019085056 A JP2019085056 A JP 2019085056A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- calculating
- depth
- environmental change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
従来、軌道周辺の時系列的な環境変化を検出する方法としては、現地での人手による調査、航空写真や電子地図による推定を基に軌道周辺の環境を確認した後に、一定の期間(数か月〜数年)経過した時点で、現地に人が訪れるか再度取り直した航空写真や最新の電子地図を用いて環境の変化を精査する方法が一般的であった。
なお、異なる日時に撮影されたこれらのビデオ画像を比較する場合、比較されるビデオ画像のフレームは同一地点で撮影されたものである必要があり、そのためには、列車の走行位置を正確に把握する必要がある。
また、特許文献1には、列車に搭載されたビデオカメラにより進行方向前方の空間を動画撮影することにより収録されたリファレンスビデオ画像の指定されたフレーム画像のSURF(Speed-Up Robust Features)特徴と、画像特徴データベースに格納されたベースビデオ画像の各フレーム画像のSURF特徴とをフレームマッチング処理により比較することによって求められる類似度に基づいて列車の走行位置を検出する技術が記載されている。
本発明の他の目的は、ステレオ解析による3次元情報を用いた判定を行うことで、撮影した画像内の対象物と空とを明確に区別することができ、それによって撮影した画像データに基づく環境変化の検出を容易に行うことができる環境変化検出方法を提供することにある。
本発明のさらに他の目的は、データの同期精度が高く、それによって撮影した画像データに基づいて環境変化を高精度で検出することができる環境変化検出方法を提供することを目的とする。
異なる時期に撮影された軌道周辺の同一箇所の画像データを比較することによって環境変化を検出する軌道周辺の環境変化検出方法において、
車両に搭載されたカメラにより走行中に車両側方の風景を含む画像を所定時間間隔で撮影し、撮影した画像データを位置情報および時間情報と共に記憶装置に記憶する画像データ取得工程と、
記憶されている画像データを読み出して、所定範囲の画像データを切り出す画像切出し工程と、
同一対象物を異なる位置から撮影した複数の画像データを用いて、ステレオ解析によって画像内の当該対象物の深度を算出する深度算出工程と、
連続する複数の画像データから所定ピクセル数の幅を有する画像データを切り出して、上下方向のオルソ補正を行う画像補正工程と、
補正後の所定ピクセル数の幅を有する画像データを接合して生成した連続画像に対して、少なくとも画像内において空の占める割合を画像特徴量として算出する画像特徴量算出工程と、
軌道周辺の同一箇所に関し異なる時期に撮影された画像データからそれぞれ生成された前記連続画像に基づいて前記画像特徴量の差分を算出する特徴量差分算出工程と、
を含むようにしたものである。
かかる画像特徴量の算出を行うことにより、同一箇所に関し異なる時期に撮影された画像の特徴量の差分を大きくすることができ、画像が変化したことすなわち環境が変化したことを容易に検出することができる。
このように深度別割合を画像特徴量として算出することにより、走行する車両の走行に支障をきたすおそれのある風の強さに大きく影響する範囲の環境の変化を容易に検出することができる。
画像の色相、彩度、輝度それぞれの平均値を画像特徴量として算出することにより、例えば走行する車両の走行に支障をきたすおそれのある風の強さに影響する植栽率の変化の検出を精度良く行うことができる。
かかる画像位置合わせ工程を備えることにより、走行速度が異なる状況で撮影された画像同士を比較する際にデータの同期精度を高め、それによって速度の影響を排除して環境変化の検出を精度良く行うことができる。
本発明に係る軌道周辺の環境変化検出方法は、例えば軌道上を走行しながら線路のゆがみ具合や架線の状態、信号電流の状況などを測定する検測車等の車両にデジタルカメラを搭載して、特に列車の走行に影響のある軌道の側方の風景を撮影して蓄積し、撮影時期の異なる画像を比較して軌道周辺の環境(風の流れを変化させるような建造物、植栽、地形)に変化が生じていないか検出する技術に関するものである。
なお、本発明に係る軌道周辺の環境変化検出方法において使用する画像データを取得するカメラはパノラマカメラに限定されず、2台のデジタルスチールカメラを、それぞれ左側方と右側方を向けて車両に据え付けるようにしても良い。
図3に示すシステムは、一般的なコンピュータシステムにより実現することができるもので、マイクロプロセッサ(MPU)のようなプログラム方式の演算処理装置21およびROM(読出し専用メモリ)22やRAM(随時読出し書込み可能なメモリ)23のような記憶手段を備えた環境変化検出部20と、環境変化の検出に必要なデータ(車載のパノラマカメラにより撮影された画像データ等)を記憶した記憶装置31と、ユーザインタフェース(ユーザI/F)32と、キーボードやマウスなどの入力装置33と、液晶表示パネルのような表示装置34と、を備えている。
環境変化検出部20のマイクロプロセッサ(MPU)21は、図4に示すように、先ずパノラマカメラにより撮影された画像データを記憶装置31から読み出す(ステップS1)。
次に、読み出された画像データが撮影された列車位置(キロ程)を推定する(ステップS2)。具体的には、検測車で得られるキロ程は、先頭車両等の床下に設置されている車上子の位置を基準として、速度発電機からの信号に基づいて算出される走行距離から算定され、本線1km毎に設置されているデータデポ(登録商標)と呼ばれる地上子を通過することにより位置が修正される。
ただし、パノラマカメラの画像データの撮影時の位置がメートル単位で保存されていると、10fpsでの撮影間隔では誤差が大きくなる場合がある。特に低速走行時には、異なる画像フレームに対して同じキロ程データが記憶されることがある。そこで、より正確なキロ程を推定するため、ステップS2では、画像解析を行う前に、各画像フレームの概算キロ程を推定する。具体的には、10フレーム毎に基準のキロ程を定め、その間を線形補間し、各フレームの概算キロ程(概算の積算移動距離)を推定し、その値を例えばCSVファイルに書き出す。
図5の画像には線路側方に立設しているビルや電柱がはっきりと表示されており、これらの建造物に変化があれば、比較的容易に検出できることが予想される。軌道から数10m以内の範囲にある建造物や植栽等の変化は、走行する車両に影響を与える風の強さの変化に大きくかかわるので、この範囲の環境変化を検出することは重要である。
ただし、カメラから撮影対象までの距離の違いにより、前後のフレーム間で同一の物体が映り込んでいる場合が多くあり、単純にそのまま結合すると短冊毎の画像がつながらない場合がある。そこで、切り出した短冊画像に対し、上下方向のみオルソ補正(中心投影を正射投影に変換する処理)を実施する(ステップS6)。
上記オルソ補正処理により、フレーム境界の接合部の画像が改善された事例を図7に示す。図7において、(A)は補正前の画像、(B)は補正後の画像である。図7より、補正前の画像では建物の輪郭線(特に画像中心部の斜めの線)がギザギザであったものが、補正後の画像では滑らかな直線に近くなっていることが見てとれる。
ステップS8の次は、ステップS9へ進んで、ステップS8で保存したデータベースから、撮影区間が同じで撮影時期が異なる2枚の画像データを読み出して、詳細な位置合わせを実施し、同位置の画像データの差分を求める。
これより、上記の手法を適用することによって、車両に搭載したカメラにより走行中に撮影した画像から、特徴量として天空率、深度別割合、HSV平均値を算出することによって、周辺環境変化を確実にとらえることが可能であることが分かる。
さらに、上記実施形態の環境変化検出処理においては、ステップS5で、連続する2枚の画像データから対象物までの距離を算出しているが、連続する2枚の画像に限定されず離れた移動位置から撮影した2枚の画像データを用いて対象物までの距離を算出するようにしても良い。また、上記実施形態では、ステップS5で必要ピクセル数の画像を切り出してからステップS6でオルソ補正を行なっているが、オルソ補正を行なってから必要ピクセル数の画像を切り出すようにしても良い。
11 パノラマカメラ
20 環境変化検出部
31 記憶装置(データベース)
CMR1〜CMR4 ピクセルカメラ
Claims (5)
- 異なる時期に撮影された軌道周辺の同一箇所の画像データを比較することによって環境変化を検出する軌道周辺の環境変化検出方法であって、
車両に搭載されたカメラにより走行中に車両側方の風景を含む画像を所定時間間隔で撮影し、撮影した画像データを位置情報および時間情報と共に記憶装置に記憶する画像データ取得工程と、
記憶されている画像データを読み出して、所定範囲の画像データを切り出す画像切出し工程と、
同一対象物を異なる位置から撮影した複数の画像データを用いて、ステレオ解析によって画像内の当該対象物の深度を算出する深度算出工程と、
連続する複数の画像データから所定ピクセル数の幅を有する画像データを切り出して、上下方向のオルソ補正を行う画像補正工程と、
補正後の所定ピクセル数の幅を有する画像データを接合して生成した連続画像に対して、少なくとも画像内において空の占める割合を画像特徴量として算出する画像特徴量算出工程と、
軌道周辺の同一箇所に関し異なる時期に撮影された画像データからそれぞれ生成された前記連続画像に基づいて前記画像特徴量の差分を算出する特徴量差分算出工程と、
を含むことを特徴とする軌道周辺の環境変化検出方法。 - 前記画像特徴量算出工程においては、前記深度算出工程により算出された画像内の対象物の深度を用いて対象物と空とを区別して前記画像特徴量を算出することを特徴とする請求項1に記載の軌道周辺の環境変化検出方法。
- 前記画像特徴量算出工程においては、前記深度算出工程により算出された画像内の対象物の深度を用いて、カメラからの距離範囲ごとに対象物の画像の占める深度別割合を他の画像特徴量として算出することを特徴とする請求項1又は2に記載の軌道周辺の環境変化検出方法。
- 前記画像特徴量算出工程においては、線路平行方向の所定距離範囲の画像データ内のピクセルの色情報である色相、彩度および輝度に関しそれぞれの平均値を他の画像特徴量として算出することを特徴とする請求項1〜3のいずれかに記載の軌道周辺の環境変化検出方法。
- 前記画像補正工程による補正後の画像データを接合した連続画像であって異なる時期に撮影された同一位置の2つの連続画像情報を比較して、画像データの差分の最も少ない位置を求めて画像の位置合わせを行い、位置合わせ後の位置情報を対応する画像データが記憶されているデータファイルに格納し直す画像位置合わせ工程を備えることを特徴とする請求項1〜4のいずれかに記載の軌道周辺の環境変化検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216929A JP6931316B2 (ja) | 2017-11-10 | 2017-11-10 | 軌道周辺の環境変化検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216929A JP6931316B2 (ja) | 2017-11-10 | 2017-11-10 | 軌道周辺の環境変化検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019085056A true JP2019085056A (ja) | 2019-06-06 |
JP6931316B2 JP6931316B2 (ja) | 2021-09-01 |
Family
ID=66762204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017216929A Active JP6931316B2 (ja) | 2017-11-10 | 2017-11-10 | 軌道周辺の環境変化検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6931316B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046120A (ja) * | 2020-09-10 | 2022-03-23 | 公益財団法人鉄道総合技術研究所 | 車載センサデータへの位置情報付与方法、システム及びプログラム |
CN114694125A (zh) * | 2022-05-31 | 2022-07-01 | 杭州蓝芯科技有限公司 | 一种用于轨道异物识别的数据处理方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002022440A (ja) * | 2000-07-05 | 2002-01-23 | Nippon Telegr & Teleph Corp <Ntt> | 距離測定装置および方法 |
JP2005331320A (ja) * | 2004-05-19 | 2005-12-02 | Toudai Tlo Ltd | 天空率および日照時間算出システム、および、算出プログラム |
JP2007034808A (ja) * | 2005-07-28 | 2007-02-08 | Nec System Technologies Ltd | 変化判定装置、変化判定方法および変化判定プログラム |
JP2007072987A (ja) * | 2005-09-09 | 2007-03-22 | Denso Corp | 環境認識装置 |
JP2014120122A (ja) * | 2012-12-19 | 2014-06-30 | Canon Inc | 領域抽出装置、領域抽出方法、及びコンピュータプログラム |
JP2014150361A (ja) * | 2013-01-31 | 2014-08-21 | Canon Inc | 画像処理装置、方法及びプログラム |
JP2016151955A (ja) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測装置、および画像処理方法 |
JP2017001638A (ja) * | 2015-06-16 | 2017-01-05 | 西日本旅客鉄道株式会社 | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム |
-
2017
- 2017-11-10 JP JP2017216929A patent/JP6931316B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002022440A (ja) * | 2000-07-05 | 2002-01-23 | Nippon Telegr & Teleph Corp <Ntt> | 距離測定装置および方法 |
JP2005331320A (ja) * | 2004-05-19 | 2005-12-02 | Toudai Tlo Ltd | 天空率および日照時間算出システム、および、算出プログラム |
JP2007034808A (ja) * | 2005-07-28 | 2007-02-08 | Nec System Technologies Ltd | 変化判定装置、変化判定方法および変化判定プログラム |
JP2007072987A (ja) * | 2005-09-09 | 2007-03-22 | Denso Corp | 環境認識装置 |
JP2014120122A (ja) * | 2012-12-19 | 2014-06-30 | Canon Inc | 領域抽出装置、領域抽出方法、及びコンピュータプログラム |
JP2014150361A (ja) * | 2013-01-31 | 2014-08-21 | Canon Inc | 画像処理装置、方法及びプログラム |
JP2016151955A (ja) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測装置、および画像処理方法 |
JP2017001638A (ja) * | 2015-06-16 | 2017-01-05 | 西日本旅客鉄道株式会社 | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046120A (ja) * | 2020-09-10 | 2022-03-23 | 公益財団法人鉄道総合技術研究所 | 車載センサデータへの位置情報付与方法、システム及びプログラム |
JP7301802B2 (ja) | 2020-09-10 | 2023-07-03 | 公益財団法人鉄道総合技術研究所 | 車載センサデータへの位置情報付与方法、システム及びプログラム |
CN114694125A (zh) * | 2022-05-31 | 2022-07-01 | 杭州蓝芯科技有限公司 | 一种用于轨道异物识别的数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6931316B2 (ja) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11477374B2 (en) | Three dimensional image capture system for imaging building facades using a digital camera, a near-infrared camera, and laser range finder | |
US7386394B2 (en) | Navigation and inspection system | |
KR101235815B1 (ko) | 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치 | |
JP6494103B2 (ja) | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム | |
JP3432212B2 (ja) | 画像処理装置及び方法 | |
JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
JP2012127896A (ja) | 移動体位置測定装置 | |
WO2004008744A1 (ja) | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 | |
JPH08159762A (ja) | 3次元データ抽出方法及び装置並びにステレオ画像形成装置 | |
TWI444593B (zh) | 地面目標定位系統與方法 | |
Edelman et al. | Tracking people and cars using 3D modeling and CCTV | |
JP6135972B2 (ja) | 標定方法、標定プログラム、及び標定装置 | |
JP4881178B2 (ja) | 走行距離映像生成装置及び走行距離映像生成プログラム | |
US8977074B1 (en) | Urban geometry estimation from laser measurements | |
JP6931316B2 (ja) | 軌道周辺の環境変化検出方法 | |
JP2009140402A (ja) | 情報表示装置、情報表示方法、情報表示プログラム及び情報表示プログラムを記録した記録媒体 | |
WO2008082423A1 (en) | Navigation and inspection system | |
CN102426703B (zh) | 车载全景影像采集平台的航向和俯仰角速度获取方法 | |
JP2006309450A (ja) | 画像認識装置及び画像認識方法 | |
JP3781034B2 (ja) | ステレオ画像形成方法及び装置 | |
CN116402871B (zh) | 一种基于场景平行要素的单目测距方法、系统及电子设备 | |
JP7467722B2 (ja) | 地物管理システム | |
JP7411771B1 (ja) | 車両速度検出装置、車両速度検出方法及びプログラム | |
JP2004030011A (ja) | 3次元形状データ取得システムおよび方法 | |
WO2020129715A1 (ja) | 画像補正装置、画像補正方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210813 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6931316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |