JP2004042737A - 踏切監視装置および踏切監視方法 - Google Patents

Abstract

【課題】画像平面において鉄道レールを有効に認識することにより、監視領域内に踏切領域を設定する。
【解決手段】ステレオカメラ２，３は、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部８は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。特定部１２は、画像データにより規定される画像平面において、鉄道レールを特定する。設定部１３は、特定された鉄道レールに基づいて、監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するための踏切領域を設定する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、鉄道レールの踏切内の状況を監視する踏切監視装置および踏切監視方法に関する。
【０００２】
【従来の技術】
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。後者の一例である踏切監視装置に関して、従来は、単眼カメラを用いて、鉄道線路のレール（以下「鉄道レール」という）を含む踏切を撮像し、撮像画像平面における鉄道レールの位置を特定する。そして、予め設定された踏切領域を基準として、自動車や人といった障害物が踏切領域内に立ち入っていないか否かを監視する。例えば、特開平１０−３４１４２７号公報には、２台の単眼カメラを鉄道レールを介し踏切の対角に設置し、踏切の全範囲を広範囲に監視する監視装置が開示されている。
【０００３】
【発明が解決しようとする課題】
このような踏切監視装置は、監視領域に写し出された対象物が踏切領域内に立ち入ったか否かにって、対象物を監視すべきものと監視する必要のないものとに分類する。したがって、このような分類を行うための前提として、踏切領域を実空間上に特定する必要がある。しかしながら、従来では、これを手作業で初期設定しなければならず、装置の設置毎にこの作業を行うことは煩雑である。また、このような手作業で踏切領域を初期設定した場合、カメラの経時的な変化に起因する位置ズレなどにより、最初に設定された踏切領域と、実際の踏切とが位置的に対応しなくなり、有効な監視を行えなくなってくる。一方、画像平面上から鉄道レールを認識し、そこから監視領域を設定することも考えられが、単眼カメラのみを用いた監視装置では、鉄道レールを精度よく認識することが難しい。
【０００４】
また、この従来技術では、２台の単眼カメラからの情報を統合して処理を行うため、２台のカメラの情報を共有する必要があるが、対角に配置された２台のカメラを電気的に接続するには、少なくとも鉄道レールを跨ぐ必要がある。既存の鉄道レールに対して、このような監視装置の設置を行うことは、工事の大規模化を招き、経済的な負担も大きいばかりでなく、保守作業の負担が大きくなるなどの問題がある。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像平面において鉄道レールを有効に認識することにより、監視領域内に踏切領域を設定する踏切監視装置および踏切監視方法を提供することである。
【０００６】
また、本発明の別の目的は、設置工事や保守作業の煩雑さを低減するとともに、複数のカメラで広範囲に監視を行う踏切監視装置および踏切監視方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、鉄道レールの踏切内の状況を監視する踏切監視装置において、ステレオカメラと、ステレオ画像処理部と、特定部と、設定部とを有する踏切監視装置を提供する。かかる踏切監視装置において、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。特定部は、画像データにより規定される画像平面において、鉄道レールを特定する。ここで、この特定部は、画像平面において、鉄道レールの候補となる一対の二次元直線を抽出し、距離データに基づいて、二次元直線のそれぞれに対応する実空間上の三次元直線を算出する。そして、特定部は、一対の三次元直線が平行である否かを判断するとともに、一対の三次元直線が平行であると判断した場合には、一対の三次元直線の間隔を算出する。さらに、特定部は、この算出された間隔と、鉄道レールの実際の間隔に相当する判定値とを比較することにより、鉄道レールの候補となる一対の二次元直線が鉄道レールであるか否かを判断する。設定部は、特定された鉄道レールに基づいて、監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するための踏切領域を設定する。
【０００８】
ここで、第１の発明において、上述の構成に加えて、対象物認識部と、監視部とをさらに有することが好ましい。対象物認識部は、距離データに基づき、監視領域内における対象物の認識を行う。監視部は、認識された対象物が踏切領域内に存在するか否かを判断するとともに、踏切領域内に対象物が存在すると判断した場合には、認識された対象物の監視を行う。
【０００９】
第２の発明は、鉄道レールの踏切内の状況を監視する踏切監視装置において、第１のステレオカメラと、第２のステレオカメラと、第１のステレオ画像処理部と、第２のステレオ画像処理部と、第１の対象物認識部と、第２の対象物認識部と、監視部とを有する踏切監視装置を提供する。かかる踏切監視装置において、第１のステレオカメラは、監視領域の一部を含む景色を撮像し、一対の画像データを出力する。第２のステレオカメラは、鉄道レールを基準として第１のステレオカメラと同じ側に配置されて、第１のステレオカメラと協働することによって監視領域を含む景色を撮像し、一対の画像データを出力する。第１のステレオ画像処理部は、第１のステレオカメラによって出力される一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた第１の距離データを出力する。第２のステレオ画像処理部は、第２のステレオカメラによって出力される一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた第２の距離データを出力する。第１の対象物認識部は、第１の距離データに基づき、監視領域内における対象物の認識を行う。第２の対象物認識部は、第２の距離データに基づき、監視領域内における対象物の認識を行う。監視部は、第１の対象物認識部によって認識される対象物と、第２の対象物認識部によって認識される対象物との情報を統合し、踏切内に存在するこの対象物を監視する。
【００１０】
ここで、第２の発明において、第１のステレオカメラおよび第２のステレオカメラは、一箇所にまとめて配置されていることが好ましい。
【００１１】
また、第２の発明において、第１の対象物認識部は、第１のステレオカメラの位置を基準とした第１の三次元座標系に基づき対象物を認識する。また、第２の対象物認識部は、第２のステレオカメラの位置を基準とした第２の三次元座標系に基づき対象物を認識する。また、監視部は、第１の三次元座標系および第２の三次元座標系のうち少なくとも一方とは異なる第３の三次元座標系を規定する。そして、監視部は、第１の対象物認識部によって認識された対象物の座標位置を第１の三次元座標系から第３の三次元座標系に座標変換する。さらに、監視部は、第２の対象物認識部によって認識された対象物の座標位置を第２の三次元座標系から第３の三次元座標系に座標変換する。
【００１２】
また、第２の発明において、上述の構成に加えて、第１の特定部と、第２の特定部と、第１の設定部と、第２の設定部とをさらに有することが好ましい。この第１の特定部は、第１のステレオカメラによって出力される画像データにより規定される画像平面において、鉄道レールを特定する。第２の特定部は、第２のステレオカメラによって出力される画像データにより規定される画像平面において、鉄道レールを特定する。第１の設定部は、第１の特定部によって特定された鉄道レールに基づいて、監視領域内に、第１の踏切領域を設定する。第２の設定部は、第２の特定部によって特定された鉄道レールに基づいて、監視領域内に、第２の踏切領域を設定する。
【００１３】
さらに、第２の発明において、監視部は、第１の踏切領域と第２の踏切領域とを含む第３の踏切領域を設定する。そして、監視部は、対象物が第３の踏切領域内に存在するか否かを判断するとともに、第３の踏切領域内に対象物が存在すると判断した場合には、対象物の監視を行うことが好ましい。
【００１４】
第３の発明は、監視領域を含む景色を撮像した画像データと、一フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の座標位置とが対応付けられた距離データとに基づい、鉄道レールの踏切内の状況を監視する踏切監視方法を提供する。かかる踏切監視方法において、まず、画像データにより規定される画像平面において、鉄道レールの候補となる一対の二次元直線を抽出する。つぎに、距離データに基づいて、二次元直線のそれぞれに対応する実空間上の三次元直線を算出する。つぎに、一対の三次元直線が平行である否かを判断する。そして、一対の三次元直線が平行であると判断した場合には、一対の三次元直線の間隔を算出する。そして、算出された間隔と、鉄道レールの実際の間隔に相当する判定値とを比較することにより、鉄道レールの候補となる一対の二次元直線が鉄道レールであるか否かを判断する。最後に、一対の二次元直線が鉄道レールであると判断した場合には、一対の二次元直線に基づいて、監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するための踏切領域を設定する。
【００１５】
ここで、第３の発明において、距離データに基づき、監視領域内の対象物の認識を行い、認識された対象物が踏切領域内に存在するか否かを判断し、踏切領域内に対象物が存在すると判断した場合には、認識された対象物の監視を行うことが好ましい。
【００１６】
第４の発明は、鉄道レールの踏切内の状況を監視する踏切監視方法を提供することである。かかる踏切監視方法において、第１のステップは、監視領域の一部を含む景色を撮像し、一対の画像データを出力する。第２のステップは、第１のステップにおいて出力された一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた第１の距離データを出力する。第３のステップは、第１の距離データに基づき、監視領域内における対象物の認識を行う。第４のステップは、鉄道レールを基準として第１のステップにおける撮像位置と同じ側において、監視領域を含む景色を撮像し、第１のステップにおいて出力される一対の画像データと協働することによって、監視領域を含む景色を構成する一対の画像データを出力する。第５のステップは、第４のステップにおいて出力された一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた第２の距離データを出力する。第６のステップは、第２の距離データに基づき、監視領域内における対象物の認識を行う。第７のステップは、第３のステップにおいて認識される対象物と、第６のステップにおいて認識される対象物との情報を統合し、踏切内に存在するこの対象物の監視を行う。
【００１７】
また、第４の発明において、第３のステップは、第１の三次元座標系に基づき対象物を認識する。第６のステップは、第２の三次元座標系に基づき対象物を認識する。そして、第７のステップは、第１の三次元座標系および第２の三次元座標系のうち少なくとも一方とは異なる第３の三次元座標系を規定する。さらに、第７のステップにおいて、第３のステップによって認識された対象物の座標位置を第１の三次元座標系から第３の三次元座標系に座標変換する。また、第７のステップにおいて、第６のステップによって認識された対象物の座標位置を第２の三次元座標系から第３の三次元座標系に座標変換する。
【００１８】
ここで、第４の発明において、第８のステップは、第１のステップにおいて出力される画像データにより規定される画像平面において、鉄道レールを特定する。第９のステップは、第４のステップにおいて出力される画像データにより規定される画像平面において、鉄道レールを特定する。そして、次のステップは、第８のステップにおいて特定された鉄道レールに基づいて、監視領域内に、第１の踏切領域を設定する。最後のステップは、第９のステップにおいて特定された鉄道レールに基づいて、監視領域内に、第２の踏切領域を設定する。
をさらに有する
【００１９】
さらに、第４の発明において、第７のステップにおいて、まず、１の踏切領域と第２の踏切領域とを含む第３の踏切領域を設定する。つぎに、対象物が第３の踏切領域内に存在するか否かを判断する。そして、第３の踏切領域内に対象物が存在すると判断した場合には、対象物の監視を行う。
【００２０】
【発明の実施の形態】
図１は、本実施形態にかかる踏切監視装置のブロック構成図である。この踏切監視装置は、第１の対象物認識ユニット１と、第２の対象物認識ユニット１ａと、監視部１５とを有し、監視領域内に写し出された踏切領域内に立ち入る対象物（通行車や通行人、或いは、障害物）を監視する。第１の対象物認識ユニット１は、撮像した画像を用いて、踏切領域を設定するためのに必要な鉄道レールを認識するとともに、監視対象である対象物を認識する。また、第２の対象物認識ユニット１ａも、第１の対象物認識ユニット１と同様、撮像した画像を用いて、鉄道レールを認識するとともに、対象物を認識する。なお、これらの対象物認識ユニット１，１ａにおいて、数字にアルファベットが付された構成要素（２ａ〜１４ａ）は、対応する数字において、アルファベットが付されていない数字の参照符号の構成要素（２〜１４）と同一である。以下、明細書において、第１の対象物認識ユニット１についてのみ説明を行うが、特に断らない限り、第２の対象物認識ユニット１ａについても同様である。すなわち、第２の対象物認識ユニット１ａは、以下説明する第１の対象物認識ユニット１の参照符号を、アルファベット付きの参照符号に置き換えることにより理解することができる。
【００２１】
第１の対象物認識ユニット１において、ステレオカメラ２は、踏切近傍において、支柱等に固定されており、図２に示すように、監視領域、すなわち、鉄道レールを含む踏切を斜め上方より撮像する。図２に示したように、画像平面には、検出すべき対象物である鉄道レール以外にも、直線状の道路や地平線等も写し出されているため、多数の直線要素が存在する。
【００２２】
ステレオカメラ２は、所定の間隔（カメラ基線長）で配置された一対のカメラ３，４を有しており、それぞれのカメラ３，４には、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ３は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ４は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ３，４から出力された各アナログ画像は、Ａ／Ｄコンバータ５，６により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部７において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ３，４の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２３】
このような画像処理を経て、メインカメラ３より基準画像データが得られ、サブカメラ４より比較画像データが得られる。これらの画像データは、個々に設定された有効画像領域内に含まれる各画素の輝度値（０〜２５５）の集合である。画像データによって規定される画像平面におけるｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一画像の最小表示単位である一フレーム相当の両画像データは、画像データメモリ９に随時格納される。
【００２４】
ステレオ画像処理部８は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、一フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは、画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。図３は、基準画像に設定される画素ブロックの説明図である。画素の基準画像領域を、４×４画素の画素ブロックＰＢｉｊで行列状に分割する。一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当の視差群が算出される。周知のように、視差ｄは、その算出対象である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ３，４に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２５】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ３，４から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部８は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２６】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊ対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２７】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部８のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データは、距離データメモリ１０に随時格納される。
【００２８】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、特定部１２、設定部１３および対象物認識部１４を有する。特定部１２は、画像データメモリ９から基準画像データ（以下、単に「画像データ」と称する）Ｐを読み込み、この画像データＰによって規定される画像平面において、鉄道レールを特定する。そして、この特定された鉄道レールは、設定部１３に出力される。設定部１３は、特定された鉄道レールに基づき、監視領域内に、踏切領域Ａを設定する。ここで、「踏切領域」とは、監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するために設定される領域をいい、踏切上の三次元空間として特定される。本実施形態において、踏切領域Ａは、設定部１３によって一義的に設定され、監視部１５に出力される。一方、対象物認識部１４は、距離データＤを読み込み、この距離データＤに基づき、監視領域内における対象物Ｏの認識を行う。そして、この認識された対象物Ｏは、監視部１５に出力される。なお、本明細書では、後述する踏切領域Ａａとの混同を避けるため、この踏切領域Ａを「第１の踏切領域Ａ」と称する。同様に、距離データＤａとの混同を避けるため、距離データＤを「第１の距離データＤ」と称する。
【００２９】
ここで、第１の対象物認識ユニット１と第２の対象物認識ユニット１ａとの位置的な関係について説明する。第１の対象物認識ユニット１側のステレオカメラ２および第２の対象物認識ユニット１ａ側のステレオカメラ２ａは、鉄道レールを基準として、同じ側に設けられる。具体的には、一方のステレオカメラ２ａは、他方のステレオカメラ２の近傍に配置されていることが好ましく、図４に示すように、これらが一カ所にまとめて配置されていることがより好ましい。ただし、本発明において、それぞれのステレオカメラ２，２ａは、鉄道レールを基準として、同じ側に設けられていればよく、上述した配置に限定されない。しかしながら、本実施形態に示すように、これらを一カ所にまとめて配置することで、設置工事の小規模化を図るうえで好ましい。同図において、一方のステレオカメラ２ａは、他方のステレオカメラ２とその中央位置（カメラ基線長上の中点）が一致し、かつ、上方向にΔｙだけ離間している。また、一方のステレオカメラ２ａは、他方のステレオカメラ２に対して、その視軸が角度θだけ左側に傾けて配置されている。このような取付状態において、それぞれのステレオカメラ２，２ａは、監視領域内の一部の景色のみを撮像するが、両者が互いに協働することにより、監視領域の全ての景色が網羅される。それ故に、ステレオカメラ２，２ａは、広範囲な監視領域であっても、それぞれの画角を広げる必要がないので、画像の歪みの発生を抑え、かつ、高い分解能を維持したまま監視領域を撮像することができる。
【００３０】
また、第２の対象物認識ユニット１ａ側のマイクロコンピュータ１１ａにおいて、特定部１２ａは、画像データメモリ９ａから画像データＰａを読み込み、この画像データＰａにより規定される画像平面において、鉄道レールを特定する。そして、設定部１３ａは、この特定された鉄道レールに基づき、監視領域内に、踏切領域Ａａ（以下、「第２の踏切領域Ａａ」と称する）を設定するとともに、この第２の踏切領域Ａａを監視部１５に出力する。一方、対象物認識部１４ａは、距離データＤａ（以下、「第２の距離データＤａ」と称する）を読み込み、この読み込まれた第２の距離データＤａに基づき、監視領域内における対象物Ｏａの認識を行うとともに、この認識された対象物Ｏａを監視部１５に出力する。
【００３１】
ここで、第１の対象物認識ユニット１側のマイクロコンピュータ１１は、第１の距離データＤに基づき、周知の座標変換式によって実空間上の位置を特定するための、第１の三次元座標系を規定している。この第１の三次元座標系は、ステレオカメラ２の位置を基準とし、このステレオカメラ２の中央真下（地面）を原点とし、天頂方向をｙ１軸、このｙ１軸に垂直な平面を規定する直交座標系をｘ１軸、ｚ１軸とする。このとき、このｚ１軸は、カメラ３，４の視線方向と一致する。また、第２の対象物認識ユニット１ａ側のマイクロコンピュータ１１ａは、第１の距離データＤに基づき、周知の座標変換式によって実空間上の位置を特定するための、第２の三次元座標系を規定している。この第２の三次元座標系は、ステレオカメラ２ａの位置を基準とし、このステレオカメラ２ａの中央真下（地面）を原点とし、天頂方向をｙ２軸、このｙ２軸に垂直な平面を規定する直交座標系をｘ２軸、ｚ２軸とする。このとき、このｚ２軸は、カメラ３ａ，４ａの視線方向と一致する。
【００３２】
再び図１を参照して、監視部１５は、第１の対象物認識ユニット１側の対象物認識部１４によって認識される対象物Ｏと、第２の対象物認識ユニット１ａ側の対象物認識部１４ａによって認識される対象物Ｏａとの情報を統合する。そして、踏切内に存在する対象物が監視される。このとき、監視部１５は、各々独立した三次元座標系で認識される対象物Ｏと対象物Ｏａとの情報を統合するため、これらの第１および第２の三次元座標系のうち少なくとも一方とは異なる第３の三次元座標系を規定する。換言すれば、一方の対象物認識部１４によって認識された対象物の座標位置が第１の三次元座標系から第３の三次元座標系に座標変換されるとともに、他方の対象物認識部１４ａによって認識された対象物の座標位置が第２の三次元座標系から第３の三次元座標系に座標変換される。ここで、この第３の三次元座標系に座標変換されたそれぞれの対象物Ｏ，Ｏａを対象物Ｏｏと称する。そして、この第３の三次元座標系に基づき、第１の踏切領域Ａと第２の踏切領域Ａａとを含む第３の踏切領域が設定され、対象物Ｏｏがこの第３の踏切領域に存在する場合には、この対象物Ｏｏが監視される。
【００３３】
図５は、踏切領域の設定手順を示したフローチャートである。本ルーチンは、所定間隔で呼び出され、マイクロコンピュータ１１，１１ａのそれぞれにより実行される。以下、重複説明を避けるため、特に断らない限り、第１の対象物認識ユニット１側のマイクロコンピュータ１１における、第１の踏切領域Ａの設定手順を説明する。
【００３４】
まず、ステップ１において、特定部１２は、１フレーム相当の画像データＰを読み込み、この画像データＰによって規定される画像平面上に存在する直線要素を抽出する。これにより、鉄道レール、道路および地平線を構成するすべての直線要素が抽出される。そして、図６に示すように、抽出した直線要素の中から任意の組み合わせで、鉄道レールの候補となる一対の二次元直線Ｌ１，Ｌ２が特定される。特定された一対の二次元直線Ｌ１，Ｌ２は、その傾き（Δｊ／Δｉ，Δ：増加量）とｊ切片（直線でのｉ＝０に対応するｊ座標値）などのパラメータによりそれぞれ規定される。
【００３５】
ここで、直線要素の抽出手法とは、周知の直線抽出手法、たとえば画像の微分・二値化処理、Ｈｏｕｇｈ変換（ハフ変換）、テンプレートマッチングなどの手法が挙げられる。一例としてのハフ変換は、「直線は原点からの距離（ρ）とＸ軸から見た傾き（θ）をパラメータとすることにより一意に決定できる。」という論理に基づくものであり、画像空間から、ρ，θを軸とするハフ空間（パラメータ空間）への変換である。このハフ変換は、基準画像を微分・二値化したあとに「１」の値を持つ画素に対し、その点（ｘ，ｙ）を通るすべての直線を示すハフ空間上のすべての座標点、すなわち、以下の数式２に示す曲線上のすべての点への投票処理で定義される。
【数２】
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ
【００３６】
特定部１２は、まず画像を順次ラスター走査し、ハフ変換の対象画素であるかどうか、すなわち、走査中の画素が「１」の値を持つかどうか判定する。判定の結果、対象画素であると判定された画素について、投票処理が実行される。投票処理の過程では、θを０からπまで変化させながら、それぞれのθに対するρが数式２から求められ，ハフ空間（θ−ρ空間）における該当座標のメモリが順次＋１されていく。以上の処理が全画素について行われ、この後、投票数が所定のしきい値よりも大きくなったハフ空間上の点が全て抽出され、これらの点のθ−ρ値が直線パラメータとして出力される。そして、特定部１２は、ハフ変換を終了する。
【００３７】
ステップ２において、特定部１２は、鉄道レールの候補として特定された一対の二次元直線Ｌ１，Ｌ２の実空間上における間隔を算出する。図７は、図５に示すステップ２における間隔算出処理の詳細な手順を示すフローチャートである。まず、ステップ２０において、一対に二次元直線Ｌ１，Ｌ２に対応する実空間上での一対の三次元直線Ｌ１’，Ｌ２’が算出される。これらを算出するために、まず、一方の二次元直線Ｌ１における画像上での任意の２点ｐ１（ｉ１，ｊ１），ｐ２（ｉ２，ｊ２）を特定し、これら２点ｐ１，ｐ２に対応する実空間上（第１の三次元座標系）での位置Ｐ１（ｘｐ１，ｙｐ１，ｚｐ１），Ｐ２（ｘｐ２，ｙｐ２，ｚｐ２）を特定する。そして、特定された２点Ｐ１，Ｐ２を通るような直線が三次元直線Ｌ１’として算出される。ここで、二次元直線Ｌ１における画像上の任意の２点としては、例えば、二次元直線Ｌ１を三等分するような点が挙げられる。また、実空間上のそれぞれの位置Ｐ１，Ｐ２は、周知の座標変換式を用いて、画像上のｐ１，ｐ２の座標位置と、これに対応する距離Ｄデータとにより一義的に特定される。そして、これと同様の手法により、他方の二次元直線Ｌ２についても三次元直線Ｌ２’が特定される。
【００３８】
ステップ２１において、一対の三次元直線Ｌ１’，Ｌ２’の平行度、すなわち、三次元直線Ｌ１’と三次元直線Ｌ２’との平行の度合いが算出される。三次元直線Ｌ１’，Ｌ２’の平行度は、三次元直線Ｌ１’，Ｌ２’それぞれの方向ベクトルのなす角θにより評価される。
【００３９】
ステップ２２において、方向ベクトルのなす角θと所定の判定値θ０とを比較することにより、その三次元直線Ｌ１’，Ｌ２’が平行であるか否かが判断される。本実施形態では、算出されたθの値が判定値θ０よりも小さい場合に、これらの三次元直線Ｌ１’，Ｌ２’が平行であると判断される。このステップ２２で肯定判定された場合、すなわち、平行であると判断された場合には、ステップ２３に進み、三次元直線Ｌ１’，Ｌ２’の間隔Ｄが算出される。これらの三次元直線Ｌ１’，Ｌ２’は既に特定されており、周知の幾何学的手法により、間隔Ｄは特定される。一方、このステップで否定判定された場合、すなわち、平行でないと判断された場合、ステップ２４に進み、三次元直線Ｌ１’，Ｌ２’の間隔は、「算出不能」として出力される。
【００４０】
そして、ステップ２に続くステップ３において、特定部１２は、この間隔Ｄと鉄道レールの実際の間隔に相当する判定値Ｄ０（例えば、狭軌なら１０６７（ｍｍ）、標準軌なら１４３５（ｍｍ））とを比較することにより、これら二次元二直線Ｌ１，Ｌ２が鉄道レールであるか否かを判断する。本実施形態では、例えば、ＤとＤ０との差δ（δ＝｜Ｄ−Ｄ０｜）の値が許容範囲内である場合に、二次元直線Ｌ１，Ｌ２が鉄道レールであると判断される（例えば、δ＜１０（ｍｍ）なら鉄道レールである）。なお、ステップ２４の処理において、間隔Ｄが「算出不能」として出力されている場合には、特定部１２は、自動的に、このときの直線Ｌ１，Ｌ２を鉄道レールではないと判断する。
【００４１】
ステップ３において、肯定判定された場合、特定部１２は、二次元直線Ｌ１，Ｌ２を鉄道レールと判断し、それぞれの二次元直線Ｌ１，Ｌ２を鉄道レールとして認識する（ステップ４）。そして、画像平面において、これらの二次元直線Ｌ１，Ｌ２を規定するパラメータ（例えば、傾きとｊ切片、或いは、画像上の直線Ｌ１，Ｌ２端部の座標位置など）によって、鉄道レールがそれぞれ規定される。
【００４２】
一方、ステップ３において、否定判定された場合、特定部１２は、これらの二次元直線Ｌ１，Ｌ２が鉄道レールではないと判断し、ステップ１に戻り、異なる組み合わせの二次元直線Ｌ１，Ｌ２を新たに特定する。そして、ステップ３において、肯定判定されるまで、抽出された直線要素の組み合わせに相当する所定回数、上述したステップ１〜３の処理が繰り返し実行される。なお、この処理を所定回数繰り返し実行しても、鉄道レールと判断される二直線Ｌ１，Ｌ２が存在しない場合には、特定部１２は、認識不能として、この画像を不適と判断するともに、次の処理対象のフレームに移ることが好ましい。
【００４３】
なお、ステップ４で鉄道レールが認識された後に、特定部１２は、処理対象としている画像データＰにおいて、残りの直線要素について、上述のルーチンを複数回繰り返して実行させてもよい。これにより、図４に示すように、認識すべき鉄道レールが複線（あるいは、複線以上）であっても、この特定部１２は、これらの鉄道レールを見落としなく、かつ、混同することなく認識することができる。
【００４４】
そして、ステップ５において、設定部１３は、この特定された鉄道レールに基づき、第１の踏切領域Ａを設定する。以下、例示的な踏切領域の設定手順について説明する。まず、画像データメモリ９から、画像データＰが読み込まれる。そして、この読み込まれた画像データＰにより規定される画像平面において、認識された鉄道レールが特定される。そして、鉄道レールに対応する実空間上での一対の三次元直線を求めることにより、この鉄道レールの実空間上（第１の三次元座標系）の位置が特定される。そして、図８に示すように、まず、この鉄道レールと同一な平面上において、鉄道レールの軌道外側にそれぞれ幅Ｗを加え、かつ、鉄道レール延在方向に距離Ｌを考慮した、平面領域（図中、破線でハッチングされた領域）が設定される。そして、この平面領域に、通行する車両の車高や通行人の身長などを考慮した高さ方向（図示せず）を加味することで、三次元空間としての第１の踏切領域Ａが設定される。
【００４５】
ここで、上述した設定手順において、「鉄道レールと同一な平面」は、一対の三次元直線の共通平面として一義的に特定可能である。また、「平面領域」は、まず、一対の三次元直線と同一平面上において、これら一対の三次元直線を基準とし、それらの直交方向に任意の幅Ｗをそれぞれ加算する。そして、この三次元直線の延在方向に、踏切の長さを十分カバーするように決定された距離Ｌを、踏切が存在するであろう位置を基準として設定することで、この平面領域が特定される。なお、監視領域内において、複数の鉄道レールが存在している場合、設定部１３は、最も外側のレール対にのみ注目して、それらの内側にあるエリアをすべて第１の踏切領域Ａとして設定することが好ましい。これにより、踏切全域をカバーするように第１の踏切領域Ａが設定される。
【００４６】
本実施形態において、第１の対象物認識ユニット１側の設定部１３は、図９に示すように、認識された複数の鉄道レール（複線）に基づき、上述した手順にそって第１の踏切領域Ａを設定する（高さ方向は図示せず）。ただし、実際には、ステレオカメラ２の画角範囲に応じて、認識可能な領域が狭められるため、この平面領域は、実質的には略台形形状となっている。そして、この平面領域に高さ方向を加味することで、第１の踏切領域Ａが設定される。設定部１３は、この空間を規定するパラメータ（この第１の踏切領域Ａを画定する代表的な座標位置など）により、この第１の踏切領域Ａを規定する。また、同様に、第２の対象物認識ユニット１ａ側の設定部１３ａも、図９に示すように、認識された複線の鉄道レールに基づき、第２の踏切領域Ａａを設定する（高さ方向は図示せず）。
【００４７】
一方、対象物認識部１４（第１の対象物認識ユニット１側）は、距離データメモリ１０から第１の距離データＤを読み出し、この第１の距離データＤに基づき、対象物Ｏの認識を行う。例えば、対象物認識部１４は、第１の距離データＤを格子状に所定の間隔で区分し、区分毎に対象物Ｏのデータを抽出してヒストグラムを作成する。そして、このヒストグラムから各区分を代表する対象物Ｏの存在位置と、その距離とが求められる。区分毎の距離が画像の左から右へ順次比較されて、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。各グループについてデータの並び方向がチェックされ、この並び方向が大きく変化する部分でグループが分割されるともに、第１の距離データＤの並び方向から個々のグループが対象物Ｏとして認識される。そして、グループを規定するパラメータ（平均距離、および、（左右）端部の位置など）により、対象物Ｏが特定される。また、同様に、対象物認識部１４ａ（第２の対象物認識ユニット１ａ側）によって、対象物Ｏａが認識される。
【００４８】
図１０は、踏切領域の監視手順を示したフローチャートである。ステップ１において、監視部１５は、第１の踏切領域Ａおよび第２の踏切領域Ａａをそれぞれ取得し、これを第３の三次元座標系に座標変換し、第３の踏切領域を設定する。監視部１５は、例えば、第３の三次元座標系を、ステレオカメラ２，２ａの中央真下を原点として定義する。そして、天頂方向をｙ３軸とし、このｙ３軸に垂直な平面を規定する直交座標系を、ｘ３軸およびｚ３軸とする。ここで、ｘ３軸は、ｘ１軸とｘ２軸との２等分方向と一致し、ｚ３軸は、ｚ１軸とｚ２軸との２等分方向と一致する。この第３の三次元座標系において、監視部１５は、以下に示す数式３に基づき第１の踏切領域Ａを第３の三次元座標系に座標変換し、数式４に基づき第２の踏切領域Ａａを第３の三次元座標系に座標変換する。
【数３】
ｘ３　＝　ｘ１ｃｏｓ（−θ／２）−ｚ１ｓｉｎ（−θ／２）
ｙ３　＝　ｙ１
ｚ３　＝　ｘ１ｓｉｎ（−θ／２）＋ｚ１ｃｏｓ（−θ／２）
【００４９】
【数４】
ｘ３　＝　ｘ２ｃｏｓ（θ／２）−ｚ２ｓｉｎ（θ／２）
ｙ３　＝　ｙ２
ｚ３　＝　ｘ２ｓｉｎ（θ／２）＋ｚ２ｃｏｓ（θ／２）
【００５０】
そして、この第３の三次元座標系において、第１の踏切領域Ａと第２の踏切領域Ａａとを含む領域が、第３の踏切領域（破線で示す矩形領域）として設定される。
【００５１】
つぎに、ステップ２において、監視部１５は、対象物認識部１４，１４ａのどちらか一方から対象物Ｏまたは対象物Ｏａが出力されたか否かを判断する。このステップ２において、肯定判定された場合、監視部１５は、これを取得する。監視部１５は、これらの対象物認識部１４，１４ａのどちらからデータを取得したか把握しており、これに基づき、取得した対象物を数式３、または、数式４により、第３の三次元座標系に座標変換する（ステップ３）。この処理を行うことで、監視部１５は、対象物認識部１４，１４ａによって認識される対象物Ｏ，Ｏａの情報を統合し、踏切内に存在する対象物Ｏｏの位置を理解することができる。一方、このステップ２で、否定判定されて場合、監視部１５は、監視領域内に対象物が存在しないと判断し、このルーチンを抜ける。
【００５２】
ステップ３に続くステップ４において、監視部１５は、この認識された対象物Ｏｏが第３の踏切領域内に存在するか否かを判断する。このステップで肯定判定された場合、ステップ５において、監視部１５は、監視すべき第３の踏切領域内に対象物Ｏｏが存在すると判断し、警報が必要と判定された場合、モニタやスピーカー等の警報装置により、通行人等に注意を促す。また、監視部１５は、鉄道レール上を走行する鉄道車両に注意を促したり、或いは、制御（停止や減速）したりしてもよい。一方、このステップで否定判定された場合、監視部１５は、第３の踏切領域内に対象物Ｏｏが存在しないと判断し、このルーチンを抜ける。
【００５３】
以上説明したように、本実施形態では、ステレオカメラを２台使用しても、一箇所にまとめて設定しているので、工事作業の大規模化の低減を図り、また、保守作業の負担を軽減することができる。また、鉄道レールの位置を画像から検出し、この検出された鉄道レールを基準にして監視領域を自動的に設定するので、監視エリアの設定・入力の手間を省くことができる。また、装置の位置ずれなどが生じた場合であっても、監視エリアは鉄道レールに基づき決定されているので、監視エリアは常に適正に維持され、踏切監視装置の信頼性の向上に寄与する。
【００５４】
なお、本実施形態では、ステレオカメラは２台、すなわち、対象物認識ユニットは２つ設けられたが、それ以上の対象物認識ユニットからなる踏切監視装置であっても、同様の効果を奏する。
【００５５】
なお、この監視部１５は、第３の踏切領域を通る通行者や車両を監視するだけでなく、この設定された第３の踏切領域に基づき、ステレオカメラ２，２ａの撮影領域の調整を行うこともできる。例えば、監視部１５は、鉄道レールより特定された第３の踏切領域に基づき、この第３の踏切領域がステレオカメラの撮像領域の中央に位置するように、ステレオカメラ２，２ａの向きを変えるなどである。これにより、保守作業の負担のより一層軽減することができる。
【００５６】
また、本実施形態において、マイクロコンピュータ１１，１１ａは、それぞれが独立した三次元座標系を考慮して、監視部１５においてこれを統合して処理をおこなっている。しかしながら、マイクロコンピュータ１１，１１ａは、予め両者共通の三次元座標系を考慮して、それぞれの処理を実行してもよい。この場合、監視部１５は、取得した対象物を座標変換することなく、その対象物に関する情報を統合することができるので好ましい。
【００５７】
また、踏切領域の設定手法としては、画像平面において、認識された鉄道レール端部に所定のマージンを加味した平面を特定し、この平面を実空間上に展開し、これに高さ方向を加えることにより、踏切領域を設定してもよい。
【００５８】
さらに、本実施形態において、ステレオカメラ２，２ａの配置は、例示的であり、鉄道レールを境に同じ側に設けられて、それぞれのカメラが協働することにより、監視領域を含む全ての景色が撮像できればよい。また、これにともない、監視部１５によって設定される第３の三次元座標系の設定位置も、上述した記載に限定されるものではない。
【００５９】
【発明の効果】
このように、本発明では、撮像画像において、これに距離データを考慮することで、鉄道レールを正確に認識することができるので、認識された鉄道レールに基づき、踏切領域を設定することができる。これにより、踏切領域は、踏切上に適正に維持されるので、監視精度における信頼性の向上を図ることができる。
【図面の簡単な説明】
【図１】本実施形態にかかる踏切監視装置のブロック構成図
【図２】１フレームの画像を示す説明図
【図３】基準画像に設定される画素ブロックの説明図
【図４】ステレオカメラの位置を示す説明図
【図５】踏切領域の設定手順を示すフローチャート
【図６】鉄道レールを認識過程を説明するための画面を示す図
【図７】図５に示すステップ２における間隔算出処理の詳細な手順を示すフローチャート
【図８】踏切領域を示す説明図
【図９】踏切領域の別な例を示す説明図
【図１０】踏切領域の監視手順を示したフローチャート
【符号の説明】
１，１ａ　対象物認識ユニット
２，２ａ　ステレオカメラ
３，３ａ　メインカメラ
４，４ａ　サブカメラ
５，５ａ　Ａ／Ｄコンバータ
６，６ａ　Ａ／Ｄコンバータ
７，７ａ　画像補正部
８，８ａ　ステレオ画像処理部
９，９ａ　画像データメモリ
１０，１０ａ　距離データメモリ
１１，１１ａ　マイクロコンピュータ
１２，１２ａ　特定部
１３，１３ａ　設定部
１４，１４ａ　対象物認識部
１５　監視部

Claims (13)

1. 鉄道レールの踏切内の状況を監視する踏切監視装置において、
   監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
   前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力するステレオ画像処理部と、
   前記画像データにより規定される画像平面において、前記鉄道レールを特定する特定部と、
   前記特定された鉄道レールに基づいて、前記監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するための踏切領域を設定する設定部とを有し、
   前記特定部は、前記画像平面において、前記鉄道レールの候補となる一対の二次元直線を抽出し、前記距離データに基づいて、前記二次元直線のそれぞれに対応する実空間上の三次元直線を算出し、当該一対の三次元直線が平行である否かを判断するとともに、前記一対の三次元直線が平行であると判断した場合には、前記一対の三次元直線の間隔を算出し、当該算出された間隔と、前記鉄道レールの実際の間隔に相当する判定値とを比較することにより、前記鉄道レールの候補となる前記一対の二次元直線が前記鉄道レールであるか否かを判断することを特徴とする踏切監視装置。
2. 前記距離データに基づき、前記監視領域内における対象物の認識を行う対象物認識部と、
   前記認識された対象物が前記踏切領域内に存在するか否かを判断するとともに、前記踏切領域内に前記対象物が存在すると判断した場合には、当該認識された対象物の監視を行う監視部とをさらに有することを特徴とする請求項１に記載された踏切監視装置。
3. 鉄道レールの踏切内の状況を監視する踏切監視装置において、
   監視領域の一部を含む景色を撮像し、一対の画像データを出力する第１のステレオカメラと、
   前記鉄道レールを基準として前記第１のステレオカメラと同じ側に配置されて、前記第１のステレオカメラと協働することによって前記監視領域を含む景色を撮像し、一対の画像データを出力する第２のステレオカメラと、
   前記第１のステレオカメラによって出力される一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた第１の距離データを出力する第１のステレオ画像処理部と、
   前記第２のステレオカメラによって出力される一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた第２の距離データを出力する第２のステレオ画像処理部と、
   前記第１の距離データに基づき、監視領域内における対象物の認識を行う第１の対象物認識部と、
   前記第２の距離データに基づき、監視領域内における対象物の認識を行う第２の対象物認識部と、
   前記第１の対象物認識部によって認識される対象物と、前記第２の対象物認識部によって認識される対象物との情報を統合し、前記踏切内に存在する当該対象物を監視する監視部と
   を有することを特徴とする踏切監視装置。
4. 前記第１のステレオカメラおよび前記第２のステレオカメラは、一箇所にまとめて配置されていることを特徴とする請求項３に記載された踏切監視装置。
5. 前記第１の対象物認識部は、前記第１のステレオカメラの位置を基準とした第１の三次元座標系に基づき前記対象物を認識し、
   前記第２の対象物認識部は、前記第２のステレオカメラの位置を基準とした第２の三次元座標系に基づき前記対象物を認識するとともに、
   前記監視部は、前記第１の三次元座標系および第２の三次元座標系のうち少なくとも一方とは異なる第３の三次元座標系を規定しており、前記第１の対象物認識部によって認識された対象物の座標位置を前記第１の三次元座標系から前記第３の三次元座標系に座標変換するとともに、前記第２の対象物認識部によって認識された対象物の座標位置を前記第２の三次元座標系から前記第３の三次元座標系に座標変換することを特徴とする請求項３または４に記載された踏切監視装置。
6. 前記第１のステレオカメラによって出力される画像データにより規定される画像平面において、前記鉄道レールを特定する第１の特定部と、
   前記第２のステレオカメラによって出力される画像データにより規定される画像平面において、前記鉄道レールを特定する第２の特定部と、
   前記第１の特定部によって特定された鉄道レールに基づいて、前記監視領域内に、第１の踏切領域を設定する第１の設定部と、
   前記第２の特定部によって特定された鉄道レールに基づいて、前記監視領域内に、第２の踏切領域を設定する第２の設定部と
   をさらに有することを特徴とする請求項３から５のいずれかに記載された踏切監視装置。
7. 前記監視部は、前記第１の踏切領域と前記第２の踏切領域とを含む第３の踏切領域を設定し、前記対象物が前記第３の踏切領域内に存在するか否かを判断するとともに、前記第３の踏切領域内に前記対象物が存在すると判断した場合には、当該対象物の監視を行うことを特徴とする請求項６に記載された踏切監視装置。
8. 監視領域を含む景色を撮像した画像データと、一フレーム相当の前記画像データに関する視差群と前記画像データにより規定される画像平面上の座標位置とが対応付けられた距離データとに基づい、鉄道レールの踏切内の状況を監視する踏切監視方法において、
   前記画像データにより規定される画像平面において、前記鉄道レールの候補となる一対の二次元直線を抽出するステップと、
   前記距離データに基づいて、前記二次元直線のそれぞれに対応する実空間上の三次元直線を算出するステップと、
   前記一対の三次元直線が平行である否かを判断するステップと、
   前記一対の三次元直線が平行であると判断した場合には、前記一対の三次元直線の間隔を算出するステップと、
   前記算出された間隔と、前記鉄道レールの実際の間隔に相当する判定値とを比較することにより、前記鉄道レールの候補となる前記一対の二次元直線が前記鉄道レールであるか否かを判断するステップと、
   前記一対の二次元直線が鉄道レールであると判断した場合には、当該一対の二次元直線に基づいて、前記監視領域内に写し出された対象物を監視すべきものと監視する必要のないものとに分類するための踏切領域を設定するステップと
   を有することを特徴とする踏切監視方法。
9. 前記距離データに基づき、前記監視領域内の対象物の認識を行うステップと、前記認識された対象物が前記踏切領域内に存在するか否かを判断するステップと、
   前記踏切領域内に前記対象物が存在すると判断した場合には、当該認識された対象物の監視を行うステップとをさらに有することを特徴とする請求項８に記載された踏切監視方法。
10. 鉄道レールの踏切内の状況を監視する踏切監視方法において、
    監視領域の一部を含む景色を撮像し、一対の画像データを出力する第１のステップと、
    前記第１のステップにおいて出力された一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた第１の距離データを出力する第２のステップと、
    前記第１の距離データに基づき、監視領域内における対象物の認識を行う第３のステップと、
    前記鉄道レールを基準として前記第１のステップにおける撮像位置と同じ側において、前記監視領域を含む景色を撮像し、前記第１のステップにおいて出力される一対の画像データと協働することによって、前記監視領域を含む景色を構成する一対の画像データを出力する第４のステップと、
    前記第４のステップにおいて出力された一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた第２の距離データを出力する第５のステップと、
    前記第２の距離データに基づき、監視領域内における対象物の認識を行う第６のステップと、
    前記第３のステップにおいて認識される対象物と、前記第６のステップにおいて認識される対象物との情報を統合し、前記踏切内に存在する当該対象物の監視を行う第７のステップと
    を有することを特徴とする踏切監視方法。
11. 前記第３のステップは、第１の三次元座標系に基づき前記対象物を認識し、
    前記第６のステップは、前記第１の三次元座標系とは異なる第２の三次元座標系に基づき前記対象物を認識するとともに、
    前記第７のステップは、
    前記第１の三次元座標系および第２の三次元座標系のうち少なくとも一方とは異なる第３の三次元座標系を規定するステップと、
    前記第３のステップによって認識された対象物の座標位置を前記第１の三次元座標系から前記第３の三次元座標系に座標変換するステップと、
    前記第６のステップによって認識された対象物の座標位置を前記第２の三次元座標系から前記第３の三次元座標系に座標変換するステップと
    をさらに有することを特徴とする請求項１０に記載された踏切監視方法。
12. 前記第１のステップにおいて出力される画像データにより規定される画像平面において、前記鉄道レールを特定する第８のステップと、
    前記第４のステップにおいて出力される画像データにより規定される画像平面において、前記鉄道レールを特定する第９のステップと、
    前記第８のステップにおいて特定された鉄道レールに基づいて、前記監視領域内に、第１の踏切領域を設定するステップと、
    前記第９のステップにおいて特定された鉄道レールに基づいて、前記監視領域内に、第２の踏切領域を設定するステップと
    をさらに有することを特徴とする請求項１０または１１に記載された踏切監視方法。
13. 前記第７のステップは、
    前記第１の踏切領域と前記第２の踏切領域とを含む第３の踏切領域を設定するステップと、
    前記対象物が前記第３の踏切領域内に存在するか否かを判断するステップと、前記第３の踏切領域内に前記対象物が存在すると判断した場合には、当該対象物の監視を行うステップと
    をさらに有することを特徴とする請求項１２に記載された記載された踏切監視方法。

Images