JP2011201423A - 列車搭載用画像処理システム - Google Patents

Abstract

【課題】車外映像から沿線設置機器の画像を短時間で探せるシステムを簡便に実現する。
【解決手段】鉄道の軌道１０を走行する列車２０に搭載される列車搭載用画像処理システム３０において、車外を撮る撮像装置３２と、ＧＰＳ受信機３５と、その測位結果から列車位置Ｑを得る列車位置検出部４１と、軌道１０に沿って設置された沿線設置機器に係る機器位置Ｎおよび機器画像Ｐをデータ保持する沿線設置機器データ記憶部４６と、撮像装置３２で撮った画像Ｄ１において機器画像Ｐを検出するに際して列車位置Ｑと機器位置Ｎとに基づいて画像探索位置を決定する沿線設置機器検出部４７とを備える。
【選択図】 図１

Description

この発明は、軌道を走行する列車に搭載されて軌道を撮影する列車搭載用画像処理システムに関し、詳しくは、軌道に沿って設置された沿線設置機器の画像を検出する列車搭載用画像処理システムに関する。なお、列車には一両編成のものや路面電車も含まれる。

鉄道では、軌道を走行する列車に車上装置と共にＧＰＳ受信機が搭載されて、ＧＰＳ受信機が衛星航法システム(Global Positioning System）による測位を行うとともに、車上装置がＧＰＳ受信機の測位結果に基づき路線マップデータ等も利用して列車位置を得ることにより、停留所における路面電車の発着を判定したり（特許文献１参照）、信号冒進警報装置を安価に実現したり（特許文献２参照）、車両運転状況記録装置を少ない装備で実現したり（特許文献３参照）、運転管理センタでも列車位置を把握したり（特許文献４参照）、といったことができるようになっている。

なかでも、車両運転状況記録装置では（特許文献３参照）、列車の前方の軌道を第１撮像装置で撮って前方軌道映像を得るとともに、列車の運転席を第２撮像装置で撮って運転席映像を得て、ＧＰＳ利用で得た列車の位置情報と一緒に前方軌道映像と運転席映像を記録するようになっている。そうして、記録された映像は、列車走行後に行われる路線状況や運転状態の確認などに役立つものである。また（例えば非特許文献１参照）、画像処理の負担が軽ければ列車走行中に撮像しながら画像処理することも可能であり、運転手の頭部の画像をパターンマッチングで検出する等のことにより、運転異常をリアルタイムに検知して、事故発生の未然防止に寄与することもできるようになってきている。

特開２００６−２４０４７８号公報 特開２００７−１５９３０９号公報 特開２００８−２２１９０２号公報 特開２００９−２３４３４９号公報

伊藤昇，竹内俊裕，水間毅，吉永純著「鉄道におけるヒューマンエラー検知機能の検討」電気学会研究会資料ＴＥＲ−０５−２９／ＬＤ−０５−３２

ところで、運転席映像だけでなく、前方軌道映像についても、リアルタイムな処理が求められることがある。例えば、軌道に沿って設置された沿線設置機器の画像を検出対象の部分画像とし、或る瞬間の前方軌道映像を全体画像として、全体画像の中に部分画像が含まれているか否かや、含まれているとすれば何処に位置しているのか、といったことを調べなければならない場合がある。そして、そのような場合も、リアルタイム処理が要求されているので、上述した運転席映像における運転手頭部画像の検出と同様、部分画像のテンプレートを予め用意しておいてパターンマッチングを高速化する等のことにより、画像探索処理を短時間のうちに済ませなければならない。

しかしながら、走行列車から外を撮って得た前方軌道映像等の車外映像では、列車内の運転席を撮った運転席映像と異なり、部分画像の変形や動きが激しい。そのため、運転手頭部画像検出時のように画像探索を全体画像中の固定位置から始めたのでは、なかなか沿線設置機器の画像が見つからないことが多く、全体画像のほぼ全域を探し回って時間を浪費してしまうこともしばしば起こるので、リアルタイム性が損なわれて不都合である。
そこで、車外映像から沿線設置機器の画像を短時間で探せる列車搭載用画像処理システムを簡便に実現することが技術的な課題となる。

本発明の列車搭載用画像処理システムは（解決手段１）、このような課題を解決するために創案されたものであり、鉄道の軌道を走行する列車に搭載される列車搭載用画像処理システムにおいて、車外を撮る撮像装置と、衛星航法システムによる測位を行うＧＰＳ受信機と、前記ＧＰＳ受信機の測位結果に基づいて列車位置を得る列車位置検出部と、前記軌道に沿って設置された沿線設置機器に係る機器位置および機器画像をデータ保持する沿線設置機器データ記憶部と、前記撮像装置で撮った画像において前記機器画像を検出するに際して前記列車位置と前記機器位置とに基づいて画像探索位置を決定する沿線設置機器検出部とを備えていることを特徴とする。

また、本発明の列車搭載用画像処理システムは（解決手段２）、上記解決手段１の列車搭載用画像処理システムであって、前記列車への前記撮像装置の装着状態に係る撮像条件をデータ保持する撮像条件データ記憶部を備え、前記沿線設置機器検出部が、前記機器画像の検出結果と前記撮像条件とに基づいて列車位置を算出するようになっていることを特徴とする。

さらに、本発明の列車搭載用画像処理システムは（解決手段３）、上記解決手段２の列車搭載用画像処理システムであって、前記列車位置検出部の列車位置と前記沿線設置機器検出部の列車位置との相違に応じて前記撮像条件を修正するようになっていることを特徴とする。

このような本発明の列車搭載用画像処理システムにあっては（解決手段１）、ＧＰＳを利用して列車位置が得られるとともに、部分画像検出対象の沿線設置機器に係る機器位置が機器画像と一緒にデータ保持されている。そして、撮像装置で撮った車外映像から全体画像を得て、その中から沿線設置機器検出部が機器画像を検出するときに、列車位置と機器位置とに基づいて画像探索位置が決定される。これらの列車位置と機器位置に撮像装置取付仕様など既知の撮像条件を加えれば、全体画像のうち何処に機器画像が位置しているのかが幾何的演算で判明するので、画像探索位置が容易かつ迅速に求まる。
したがって、この発明によれば、車外映像から沿線設置機器の画像を短時間で探せる列車搭載用画像処理システムを簡便に実現することができる。

また、本発明の列車搭載用画像処理システムにあっては（解決手段２）、ＧＰＳを利用して列車位置検出部によって列車位置が求められるのに加えて、沿線設置機器検出部によっても列車位置が求められる。沿線設置機器検出部の列車位置は、機器画像の検出結果と撮像条件とに基づいて、上述した画像探索位置の算出とはほぼ逆向きの幾何的演算で得られるので、やはり容易かつ迅速に求まる。しかも、沿線設置機器検出部の列車位置の誤差は列車の揺れ等が主要因と考えられるのに対し、列車位置検出部の列車位置の誤差はＧＰＳの迷走が主要因と考えられるので、性質の異なる両位置を取得することは、列車位置の即時校正ばかりか、後の映像解析やデータ処理に際しても、役に立つ。

さらに、本発明の列車搭載用画像処理システムにあっては（解決手段３）、撮像条件が更新可能にデータ保持されていて列車位置検出部の列車位置と沿線設置機器検出部の列車位置との相違に応じて修正される。両位置の誤差には、上述した揺れや迷走による偶発的な雑音成分と、撮像条件の設定値の誤差に起因した定常的な固定成分とが含まれているが、上記修正によって定常的な固定成分が除去される。なお、偶発的な雑音成分による過剰修正を回避するには、例えば、一回当りの修正量や修正割合を小さく抑える微修正を採用し、そのような微修正を繰り返すことで、雑音成分を相殺させながら、固定成分を積み重ねると良い。

本発明の列車搭載用画像処理システムの実施例１である運転状況記録装置の構造等を示し、（ａ）が列車等の平面図、（ｂ）が運転状況記録装置の外観斜視図、（ｃ）がデータ処理装置（演算装置）のブロック図である。 列車搭載用画像処理システムの動作状態を示し、（ａ）が列車等の平面図、（ｂ）が列車等の側面図、（ｃ）が前方軌道映像の例、（ｄ）がその画像に探索位置を示した例、（ｅ）がマッチング対象のパターン例である。

このような本発明の列車搭載用画像処理システムについて、これを実施するための具体的な形態を、以下の実施例１により説明する。
図１〜２に示した実施例１は、上述した解決手段１〜３（出願当初の請求項１〜３）を総て具現化したものであり、既述した特許文献３記載の運転状況記録装置３０に沿線設置機器データ４６と沿線設置機器検出部４７を追加することにより、列車搭載用画像処理システムを運転状況記録装置３０への組み込み態様で実現している。

本発明の列車搭載用画像処理システムの一実施例である運転状況記録装置３０について、その具体的な構成を、図面を引用して説明する。図１は、運転状況記録装置３０の構造を示し、（ａ）が搭載先の列車の先頭車両２０等の平面図、（ｂ）が運転状況記録装置３０の外観斜視図、（ｃ）がデータ処理装置４０（演算装置）のブロック図である。

運転状況記録装置３０は（図１（ａ）参照）、レール１０（軌道）上を走行する列車の先頭車両２０に搭載されるものである。
その車両２０の中の前側部分には運転席２１が設けられており（図１（ａ）参照）、そこには速度計２２や高度計２３が装備されている（図１（ｂ）参照）。
速度計２２は、例えば台車部に設置された速度発電機などからなるが、信号出力部に改造が施されて、信号ケーブル等で運転状況記録装置３０に接続され、速度情報Ｖを運転状況記録装置３０へ随時送出するようになっている。高度計２３も、随時、高度情報Ｈを取得して運転状況記録装置３０へ送出するものであり、市販の汎用品で足りる。

この運転状況記録装置３０（図１（ｂ）参照）には、車両２０の前方軌道１１を撮る撮像装置３２（第１撮像装置）と、運転席２１を撮る撮像装置３３（第２撮像装置）と、衛星航法システムによる測位を行うＧＰＳアンテナ３４及びＧＰＳ受信機３５と、ハードディスク等からなり十分な記憶容量を具えた記録装置３６と、プログラマブルなマイクロプロセッサシステムやデジタルシグナルプロセッサ等からなり列車位置検出部４１や記録制御部４４として機能するデータ処理装置４０と、ＧＰＳ受信機３５と記録装置３６とデータ処理装置４０と図示しない電源ユニット等を納めた筐体３１とが、設けられている。
筐体３１は、運転席２１の下や脇などで空いているところに設置される。

撮像装置３２は（図１（ａ），（ｂ）参照）、例えばＣＣＤカメラからなり、撮影方向を前方軌道１１に向けた状態で（図１（ａ）の一点鎖線を参照）、車両２０の前端部たとえば運転席２１上面の最前部位に設置され、撮った前方軌道映像Ｄ１を映像信号ケーブルでデータ処理装置４０へ随時送出するようになっている。
撮像装置３３は（図１（ａ），（ｂ）参照）、例えばＣＣＤカメラからなり、撮影方向を運転席２１に向けた状態で（図１（ａ）の二点鎖線を参照）、車両２０の中のうち前側の脇部分たとえば運転席２１の右脇などに設置され、好ましくは運転士の手元に加えて計器類の表示もできるだけ多く且つ鮮明に撮れるところに設置されて、撮った運転席映像Ｄ２を映像信号ケーブルでデータ処理装置４０へ随時送出するようになっている。

ＧＰＳアンテナ３４は、車両２０の天井などに設置されて、ＧＰＳ(Global Positioning Satellite)衛星から電波を受信し、それを同軸ケーブル等でＧＰＳ受信機３５へ随時送信するようになっている。
ＧＰＳ受信機３５は、衛星航法システム(Global Positioning System）による測位を行って、例えば緯度対応値Ｘと経度対応値Ｙと高度対応値Ｚの組データである測位結果［Ｘ，Ｙ，Ｚ］をデータ処理装置４０へ随時送出するようになっている。

記録装置３６は（図１（ｃ）参照）、データを多数のファイルに分けて保持するようになっており、例えば、特異事象のイベント情報は、発生時刻や発生位置の情報と共に、テキスト形式のファイルで蓄積されるようになっている。また、前方軌道映像Ｄ１や運転席映像Ｄ２は、３０秒や１分といった時間単位で分割されて、デジタル動画規格のＭＰＥＧ（Moving Picture Experts Group）形式でファイルに記録されるようになっている。さらに、そのファイルには、撮影日時が分かるように、映像Ｄ１，Ｄ２を取得した年月日と時刻とが埋め込まれるようにもなっている。

データ処理装置４０は（図１（ｃ）参照）、例えばマイクロプロセッサのプログラムで具現化された列車位置検出部４１と記録制御部４４と映像処理部４５と沿線設置機器検出部４７と、例えば不揮発性メモリからなるデータ記憶部に保持されたマップデータ４２と沿線設置機器データ４６と撮像条件データ４８と、電源供給停止時も電池等で動作可能な内蔵の時計４３とを具えている。なお、撮像条件データ４８の記憶部は書き換え可能になっているが、マップデータ４２や沿線設置機器データ４６は書換可能でなくても良い。
映像処理部４５は、前方軌道映像Ｄ１や運転席映像Ｄ２をそれぞれＭＰＥＧ形式のうちでも圧縮度の高い例えばＡＶＩ（Audio Video Interleave）形式に変換して記録制御部４４に引き渡すが、前方軌道映像Ｄ１については取り込み要求に応じて沿線設置機器検出部４７にも一コマずつ引き渡すようになっている。

列車位置検出部４１は、ＧＰＳ受信機３５から測位結果［Ｘ，Ｙ，Ｚ］を取得し、それをマップデータ４２に照らして修正する等のことにより迷走を防止するとともに、速度計２２から速度情報Ｖを取得し、高度計２３から高度情報Ｈを取得して、速度情報Ｖと高度情報ＨをＧＰＳ受信機３５の測位結果［Ｘ，Ｙ，Ｚ］に反映させることで、より正確な列車位置Ｑ［Ｘ，Ｙ，Ｚ］を得るものである。
また、列車位置検出部４１は、列車位置Ｑ［Ｘ，Ｙ，Ｚ］に基づいて停車位置超過の特異事象を検出するとともに、速度情報Ｖに基づいて速度偏差過大の特異事象を検出して、それらの特異事象Ｅを記録制御部４４に引き渡すようにもなっている。

記録制御部４４は、映像処理部４５からＡＶＩ形式の前方軌道映像Ｄ１及び運転席映像Ｄ２を入力して、それぞれを上記の時間単位で分割し、さらに時計４３からの日時Ｔを埋め込んだファイル名を付けて、記録装置３６に記録するようになっている。
また、記録制御部４４は、上記の特異事象Ｅに加えて、映像Ｄ１，Ｄ２の分割単位を記録したことを示す定時記録情報も、イベント情報Ｅとして扱い、それらの情報を記録装置３６のファイルに追加で書き込むようにもなっている。

沿線設置機器データ４６には、レール１０（軌道）に沿って設置された沿線設置機器のうち列車走行接近時に画像検出したい物それぞれについて機器位置Ｎと機器画像Ｐとの組データが一組ずつ予め設定されている。沿線設置機器の典型例は、信号機や，踏切しゃ断機，転てつ機などであり、それを撮っておいた画像が機器画像Ｐであるが、これは、前方軌道映像Ｄ１の一コマからなる全体画像よりも小さい。機器位置Ｎは列車位置Ｑと同じく［Ｘ，Ｙ，Ｚ］で規定される。撮像条件データ４８は、列車２０への撮像装置３２の装着状態に係る撮像条件Ｍであり、この撮像条件Ｍには、列車位置Ｑと撮像装置３２との前後方向差ΔＸと左右方向差ΔＹと上下方向差ΔＺに加えて、撮像装置３２の視点方向の左右方向傾きθと上下方向傾きφも含まれている。撮像条件Ｍも予め設定されている。

沿線設置機器検出部４７は、列車位置検出部４１から列車位置Ｑを得るとともに、列車進行方向に在って最も近い沿線設置機器の機器位置Ｎを沿線設置機器データ４６から選出して、その沿線設置機器が前方軌道映像Ｄ１に映り込むところまで列車位置Ｑが進んだことを確認する。そして、確認できると、前方軌道映像Ｄ１の一コマを全体画像（Ｄ１）として取り込むとともに、そのときの列車位置Ｑと組になっている機器画像Ｐを検出対象の部分画像として沿線設置機器データ４６から選出するようになっている。

また、沿線設置機器検出部４７は、選出した全体画像（Ｄ１）の中をパターンマッチングにて探索することで機器画像Ｐが含まれて存在しているのか否か更には何処に存在しているのかを調べる機器画像検出処理も行うが、それに先立ち、画像探索時間の短縮のため、全体画像（Ｄ１）において探索を開始する位置となる画像探索位置を、列車位置Ｑと機器位置Ｎと撮像条件Ｍとに基づいて決定するようになっている。その算出式は種々変形が可能なので具体的な提示は割愛するが、何れの式で演算しても端数誤差は別として、幾何学的関係によって、画像探索位置は一意に定まるようになっている。

そして、全体画像（Ｄ１）における画像探索位置が決まると、そこを中心にして探索範囲を広げながら全体画像（Ｄ１）の中でその部分画像と機器画像Ｐとのパターンマッチング処理を許容時間内で繰り返すようになっている。
さらに、沿線設置機器検出部４７は、全体画像（Ｄ１）の中に機器画像Ｐを見つけたときには、その機器画像Ｐの検出結果すなわち全体画像（Ｄ１）における機器画像Ｐの検出位置や拡縮度などと、撮像条件Ｍとに基づいて、列車位置Ｒ［Ｘ，Ｙ，Ｚ］を算出するようになっている。この列車位置Ｒも、幾何学的関係によって一意に定まり、記録制御部４４によって列車位置Ｑと共に記録装置３６へ記録されるようになっている。

また、沿線設置機器検出部４７は、上述のようにして得られた二種類の列車位置Ｑと列車位置Ｒとの相違に応じて撮像条件Ｍを微修正するようにもなっている。撮像条件Ｍのうち前後方向差ΔＸと左右方向差ΔＹと上下方向差ΔＺは、測定が容易で誤差が少ないうえ画像探索位置決定に及ぼす影響も小さいので、修正対象から外しても良いが、左右方向傾きθと上下方向傾きφは、測定し辛いうえ画像探索位置決定に及ぼす影響が大きいので、修正対象になっている。修正量の算出は、例えば、機器位置Ｎから見た列車位置Ｑ，Ｒの方角の左右方向差や上下方向差を計算してから、偶発的な雑音成分による過剰修正を回避するため例えば数十分の一の微量に減縮させることで行われ、修正は、その算出値で左右方向傾きθや上下方向傾きφを加減する微修正になっている。

この実施例１の運転状況記録装置３０（列車搭載用画像処理システム）について、その使用態様及び動作を、図面を引用して説明する。図２は、（ａ）が搭載先の列車の先頭車両２０等の平面図、（ｂ）が車両２０等の側面図、（ｃ）が前方軌道映像Ｄ１の画像例、（ｄ）がその画像Ｄ１に探索位置（Ｐ０）を示した例、（ｅ）がマッチング対象のパターン例である。

車両２０に搭載された運転状況記録装置３０は、始発駅や折返し駅で車両２０の出発態勢を調える際に起動され、終着駅や折返し駅で車両２０を停めた後に停止される。そして、その間、走行状態や運転状況が記録装置３６にデジタルデータで記録される。
具体的には、イベント情報Ｅが年月日時Ｔと列車位置Ｑ［Ｘ，Ｙ，Ｚ］と速度情報Ｖなどと組にして記録装置３６に記録され、前方軌道映像Ｄ１や運転席映像Ｄ２の連続映像が上述の時間単位で分割されて記録装置３６に記録される。これらの記録情報にあっては、組データの一部や分割ファイルの名称などに事象発生時等の年月日時Ｔが含まれているので、それを利用して相互に対応させることができる。

また、車両２０の走行中には、上述した運転状況の記録と並行して、レール１０の沿線に設置されている機器の画像検出も沿線設置機器検出部４７によって行われる。詳述すると、列車位置検出部４１から列車位置Ｑが取り込まれるとともに、最も近い沿線設置機器の機器位置Ｎが沿線設置機器データ４６から選出されて、その沿線設置機器が前方軌道映像Ｄ１に映り込むところまで列車位置Ｑが進んだことが確認されと、前方軌道映像Ｄ１の一コマが全体画像（Ｄ１）として取り込まれるとともに（図２（ｃ）参照）、そのときの列車位置Ｑと組になっている機器画像Ｐが、検出対象の部分画像として、沿線設置機器データ４６から選出される。機器画像Ｐの具体例を挙げると、沿線設置機器が踏切しゃ断機なら閉状態の画像Ｐ１や開状態の画像Ｐ２が使用され（図２（ｅ）参照）、沿線設置機器が転てつ機なら本線側切替状態の画像や支線側切替状態の画像が使用され、沿線設置機器が信号機なら青色点灯状態の画像や赤色点灯状態の画像が使用される（図示せず）。

それから、全体画像（Ｄ１）において探索を開始する位置となる画像探索位置Ｐ０が決定されるが（図２（ｄ）参照）、その位置算出は、マップデータ４２と列車位置Ｑ［Ｘ，Ｙ，Ｚ］と機器位置Ｎ［Ｘ，Ｙ，Ｚ］と撮像条件Ｍ［ΔＸ，ΔＹ，ΔＺ，θ，φ］とから、幾何学的関係に基づいて（図２（ａ），（ｂ）参照）、迅速に行われる。さらに、画像探索位置Ｐ０を中心にして探索範囲を広げながら全体画像（Ｄ１）の中で機器画像Ｐ１，Ｐ２とマッチングする部分画像が探索され、それによって、機器画像Ｐすなわち機器画像Ｐ１か機器画像Ｐ２が全体画像（Ｄ１）の中から見つかると、全体画像（Ｄ１）における機器画像Ｐの検出位置や拡縮度などと、撮像条件Ｍとに基づいて、列車位置Ｒ［Ｘ，Ｙ，Ｚ］が算出され、この列車位置Ｒも列車位置Ｑと共に記録装置３６に記録される。さらに、撮像条件Ｍのうち左右方向傾きθと上下方向傾きφが、二種類の列車位置Ｑと列車位置Ｒとの相違に応じて、微修正される。

［その他］
なお、上記実施例では撮像装置３２の撮影対象が前方軌道１１であったが、撮像装置３２の撮影対象は、前方に限られる訳でなく、例えば後方軌道でも良い。

１０…レール（軌道）、１１…前方軌道、
２０…車両（列車）、２１…運転席、２２…速度計、２３…高度計、
３０…運転状況記録装置（列車搭載用画像処理システム）、
３１…筐体、３２…第１撮像装置（車外の前方軌道撮影用）、
３３…第２撮像装置（車内の運転席撮影用の任意部材）、
３４…ＧＰＳアンテナ、３５…ＧＰＳ受信機、３６…記録装置、
４０…データ処理装置、４１…列車位置検出部、
４２…マップデータ、４３…時計、４４…記録制御部、
４５…映像処理部、４６…沿線設置機器データ記憶部、
４７…沿線設置機器検出部、４８…撮像条件データ記憶部

Claims (3)

1. 鉄道の軌道を走行する列車に搭載される列車搭載用画像処理システムにおいて、車外を撮る撮像装置と、衛星航法システムによる測位を行うＧＰＳ受信機と、前記ＧＰＳ受信機の測位結果に基づいて列車位置を得る列車位置検出部と、前記軌道に沿って設置された沿線設置機器に係る機器位置および機器画像をデータ保持する沿線設置機器データ記憶部と、前記撮像装置で撮った画像において前記機器画像を検出するに際して前記列車位置と前記機器位置とに基づいて画像探索位置を決定する沿線設置機器検出部とを備えていることを特徴とする列車搭載用画像処理システム。
2. 前記列車への前記撮像装置の装着状態に係る撮像条件をデータ保持する撮像条件データ記憶部を備え、前記沿線設置機器検出部が、前記機器画像の検出結果と前記撮像条件とに基づいて列車位置を算出するようになっている請求項１記載の列車搭載用画像処理システム。
3. 前記列車位置検出部の列車位置と前記沿線設置機器検出部の列車位置との相違に応じて前記撮像条件を修正するようになっていることを特徴とする請求項２記載の列車搭載用画像処理システム。

Images