JP2016192108A - ステレオ画像処理方法およびその装置 - Google Patents

Abstract

【課題】ステレオ画像をマッチング処理する、探索範囲の縮小化することで、障害物検知速度及び距離計測速度の向上がもたらされるステレオ画像処理方法及びその装置を提供する。【解決手段】間隔を開けて水平等位に設置した左右のカメラ装置１０Ｌ、１０Ｒと、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部２０Ｌ、２０Ｒと、ステレオ画像をマッチング処理して視差を算出する視差算出部３０とを有する。視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から前記対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、を有する。【選択図】図１

Description

本発明は、ステレオ画像処理方法およびその装置に関する。

前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法として、ステレオ画像処理技術が知られている。ステレオ画像処理技術は、間隔を開けて水平等位に設置した左右のカメラで取得した画像（ステレオ画像）をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する方法である（たとえば、特許文献１，２参照）。

図１２に、ステレオ画像処理技術による距離計測の原理を示す。図１２は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた左右２台のカメラで対象物ｍを撮像したときの画像I，Ｊを示す。u軸とu’軸は画像I，Ｊの横方向の位置、ｖ軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物ｍを結ぶ直線ｌとrと画面との交点P 、ｑに対象物ｍが写されるため、対象物ｍの３次元座標（Ｘ,Ｙ,Ｚ）は、Pとｑの座標（ｕ_ｓ１,ｖ_１）、（ｕ_ｓ２,ｖ_２）から求まる。そして、点P，ｑの座標位置の差ｄ、つまり画素数が視差であり、次の式１から視差ｄを求めることができる。
ｄ＝ｕ_ｓ１−ｕ_ｓ２ ・・・・・・(式１)

また、カメラの焦点距離をｆ、二つの画像Ｉ，Ｊの中心位置間距離、すなわち、基線長をＢとすると、ｍの世界座標と画像上の位置の関係は、次のとおりである。
Ｘ＝Ｂｕ_ｓ１／ｄ， Ｙ＝Ｂｖ_１／ｄ， Ｚ＝Ｂｆ／ｄ
Ｚは、カメラ設置位置から対象物ｍまでの距離である。

したがって、ステレオ画像処理において対象物ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、左カメラの画像Ｉ（以下、基準画像という。）上の基準点ｐと相関を有する点、すなわち対応点ｑが右カメラの画像Ｊ（以下、対応画像という。）上のどこに存在するかを探索する画像マッチング（対応付け）が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。

画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。

ブロックマッチング法における従来の画像マッチング（画像探索）の方法を、図１３に基づいて説明する。基準画像Ｉと対応画像Ｊをそれぞれ同数の小面積の領域（以下、ブロックという。）に分割する。図１６の（ａ）（ｂ）は、基準画像ＩがブロックＩ_１１〜Ｉ_１６，Ｉ_２１〜Ｉ_２６，・・・Ｉ_４１〜Ｉ_４６に、対応画像ＪがブロックＪ_１１〜Ｊ_１６，Ｊ_２１〜Ｊ_２６，・・・Ｊ_４１〜Ｊ_４６に分割された、簡略化した例を示している。

各ブロックには、図１３の（ｃ）（ｄ）に、基準画像Ｉと対応画像ＪのブロックＩ_１１、Ｊ_１１について例示するように、横方向ｎ個、縦方向ｍ個の画素が含まれ、各画素は画素値（ピクセルデータ）を有する。そして、ブロックマッチングにおいては、基本画像Ｉの各ブロックの画素値の配列と同じ画素値の配列を有するブロックを対応画像Ｊの中から探索する。その探索を行うため、基準画像Ｉの第１行１列目のブロックＩ_１１の最初の画素ＩＰ_１１の画素値と対応画像Ｊの第１行１列目のブロックＪ_１１の最初の画素ＪＰ_１１の画素値とを比較（減算）し、その差を図１３の（ｅ）に示すように、画素値差マトリックスＤＴの最初のエリアＤＰ_１１に記録する。

そして、このような画素値の比較をブロックＩ_１１とブロックＪ_１１内の全画素について行う。つまり、基準画像ＩのブロックＩ_１１の同行の他の画素ＩＰ_１２〜ＩＰ_１ｎ、他の行の画素ＩＰ_２１〜ＩＰ_２ｎ、・・・ＩＰ_ｍ１〜ＩＰ_ｍｎについても同様にそれぞれ画素値の差を取り、その差を画素値差マトリックスＤＴの他のエリアＤＰ_１２〜ＤＰ_ｍｎに記録する。そして、全画素の画素値の差を合計し、その合計値ｔ_１１を図１３の（ｆ）に示すように、画素値差合計マトリックスＴＴに記録する。

次に、対応画像Ｊの第１行２列目のブロックＪ_１２についても同様に、基準画像Ｉの第１行１列目のブロックＩ_１１の全画素の画素値との差を取り、その差を画素値差マトリックスＤＴに記録し、その差を合計して、その合計値ｔ_１２を画素値差合計マトリックスＴＴに記録する。

同様の処理を対応画像Ｊの第１行の最後のブロックＪ_１６まで行う。そして、画素値差合計マトリックスＴＴの対応画像Ｊの第１行の全ブロックＩ_１１〜Ｉ_１６に対応する画素値差の合計値ｔ_１１〜ｔ_１６の中で、合計値が最小のブロックを基準画像Ｉの第１行１列目のブロックＩ_１１と対応する、すなわち、マッチングが取れたと判断する。

続いて、基準画像Ｉの第１行２列目のブロックＩ_１２について、対応画像Ｊの第１行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Ｉの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。

準画像Ｉの第１行２列目のブロックＩ_１２について、対応画像Ｊの第１行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Ｉの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。

上記ブロックマッチング法においては、画素値差合計マトリックスＴＴの画素値の差の合計値が最小の対応画像Ｊ上のブロックが基準画像Ｉのブロックと対応するので、その時の基準画像Ｉのブロックから対応画像Ｊのブロックまで画素数は、視差を表す。

上述のように、従来の探索方法では、基準画像Ｉの基準点ｐに対応する対応画像Ｊ上の対応点ｑを探索するには、対応画像Ｊの基準点ｐと同じ走査線（ライン）上の全長を探索範囲としていた（特許文献３参照）。

特開２００２−２５０６０５号公報 特開２００８−０３９４９１号公報 特開２０１４−２３５６１５号公報

ＩＥＥＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｄｕｓｔｒｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ.１３４ Ｎｏ.１０ ｐｐ９２１−９２９,２０１４

したがって、従来のステレオ画像処理方法においては、対応画像の走査線上の全長を探索範囲としていたので、マッチング処理に非常に多くの時間がかかる。したがって、たとえば、軌道を走行中の車上から線路上の障害物を検知すること等に適用する場合は、リアルタイムで視差算出および距離計測ができないという問題がある。

また、位相限定相関法は、高精度なマッチングが可能であるという利点を有するが、基準画像と対応画像の各ラインの各ブロックに対して複雑なフーリエ変換を行うため、計算量が膨大になり、コンピュータの演算負荷が大きいとともに、計算コストが高いという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、ステレオ画像をマッチング処理するステレオ画像処理方法において、探索範囲の縮小化を可能にすることを目的とする。

換言すると、リアルタイムで視差算出および距離計測ができ、派生的効果として、障害物検知速度および距離計測速度の向上がもたらされるステレオ画像処理方法およびその装置を提供することを目的とする。

上記目的を達成するため、本発明の一側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法において、基準画像の基準点と同じ座標となる対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から対応画像の左端まで、または右端までを探索範囲とすることを特徴とする。

本発明の他の側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段とを有することを特徴とする。

本発明によれば、探索範囲の縮小化が可能であり、したがって、リアルタイムで視差算出および距離計測ができる。派生的効果として、障害物検知速度および距離計測速度の向上がもたらされる

本発明の実施の形態に係る第１のステレオ画像処理方法を実施するステレオ画像処理装置の構成を示すブロック図である。 図１のカメラ装置の構成を示すブロック図である。 図１のレール抽出部の構成を示すブロック図である。 図３のレール映像推定部の作用を説明するフローチャートである。 図３の記憶部に登録された典型的なレール形状パターンを示す図である。 図３のレール映像比較部の作用を説明するフローチャートである。 抽出されたレールを表示しているステレオ画像の一例を示す図である。 図１の視差算出部の機能を実現する手段を示す図である。 「レール抽出による視差」を説明する図である。 「レール抽出による視差」の求め方を説明する図である。 マッチング処理の具体的な方法を説明する模式図である。 ステレオ画像処理技術による距離計測の原理を説明する図である。 従来のブロックマッチング法におけるデータ処理を説明する図である。

続いて、本発明の実施の形態について、図面を用いながら説明する。

本発明の実施の形態に係るステレオ画像処理方法は、左右２台のカメラによる撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右２台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。

また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を算出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある（非特許文献１参照）。この方法では、レールを列車運転台から２〜３０ｍ程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。

レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。

左右２台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像（基準画像）と右のカメラの画像（対応画像）からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。

レールは２本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか１本のレールの座標から算出することができる。また、左右のレールの座標の差（各レールのレール抽出による視差）の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

画像中のそれぞれの高さｈにおけるレールの視差ｄ_ｈの一連のデータが「レール抽出による視差」として、図示されていないメモリに予め記憶される。そして、後述されるように、列車の走行時、視差を求めるマッチングの際に、メモリから「レール抽出による視差」が読み出される。

本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置の変更に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。

図１は、本発明に係る第１のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置１は、２台のカメラ装置１０Ｌ，１０Ｒと、各カメラ装置１０Ｌ，１０Ｒから映像信号を与えられるレール抽出部２０Ｌ，２０Ｒと、レール抽出部２０Ｌ，２０Ｒに接続された一つの視差算出部３０と、視差算出部３０に接続された距離計測部４０とを有する。

ステレオ画像処理装置１の作用を概括的に説明すると、まず、２台のカメラ装置１０Ｌ，１０Ｒにより列車前方を撮像し、各映像信号の中からレール抽出部２０Ｌ，２０Ｒによりレールを抽出して、左の画像（基本画像）と右の画像（対応画像）を生成する。次に、視差算出部３０により対応画像の中に基本画像のレールの基準点に対応する一次対応点を検出するとともに、その一次対応点からレール抽出による視差分だけ左側または右側に移動した位置に二次対応点を生成する。そして、その二次対応点から対応画像の左端または右端まで探索する。

カメラ装置１０Ｌ，１０Ｒとレール抽出部２０Ｌ，２０Ｒには、特許文献３に開示されたものを用いることができる。以下に、特許文献３の記載を引用して説明する。

カメラ装置１０Ｌ，１０Ｒは、同一の構成を有する。カメラ装置１０Ｌを例に説明すると、図２に例示するように、カメラ装置１０Ｌは、光学レンズ１１と、光学レンズ１１から入射する被写体の光学映像を電気信号に変換する撮像素子１２と、撮像素子１２の出力に基づいて映像信号を生成する映像信号生成部１３と、撮像制御部１４とを有する。

光学レンズ１１は、被写体の映像を光学的に撮像素子１２の上に結像させる。光学レンズ１１は、レンズの焦点を調整するための焦点調整機構および撮像素子１２への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ１１は、焦点距離を変えるズーム機構を有してもよい。

撮像素子１２には、たとえば数百万個程度のＣＣＤ(Charge Coupled Device)またはＣＭＯＳ（相補性金属酸化膜半導体）などの電荷結合素子の集合体が用いられる。

撮像制御部１４は、光学レンズ１１、撮像素子１２および映像信号生成部１３による被写体の撮像を制御する。つまり、撮像制御部１４は光学レンズ１１の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。

映像信号生成部１３は、撮像素子１２の出力（すなわち画素値）に基づいて映像信号を生成する。映像信号生成部１３は、撮像制御部１４の制御により、たとえば、周期的に撮像素子１２の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部１３が映像信号を生成する周期は、たとえば数十分の１秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。

図１のレール抽出部２０Ｌ，２０Ｒは、同一の構成を有する。以下には、レール抽出部２０Ｌを例に説明する。レール抽出部２０Ｌの機能は、要約すると、カメラ装置１０Ｌの映像信号生成部１３が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。さらに具体的に説明すると、レール抽出部２０Ｌは、所定のレールの映像として予め登録されている複数のレール形状パターン（の映像信号）と、実際に撮像されたレール（の映像信号）とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部２０Ｌが「一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれており、レール抽出部２０Ｌがその所定のレール(の映像)を抽出したことになる。また、レール抽出部２０Ｌが「不一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれておらず、レール抽出部２０Ｌが所定のレール(の映像)を抽出できなかったことになる。

レール抽出部２０Ｌは、図３に例示するように、映像信号生成部１３から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部２１と、複数のレール形状パターンを記憶しているメモリである記憶部２２と、レール映像推定部２１で推定されたレール(の映像)と複数のレール形状パターンとを比較するレール映像比較部２３と、データ蓄積部２４とを有する。

レール映像推定部２１は、映像信号生成部１３から出力された映像信号の中からレール(の映像)であると推定される映像信号を取り出す。たとえば、カメラ装置１０は、鉄道車両（以下、単に車両という。）の先頭に搭載されているので、通常、カメラ装置１０の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる２本の線(の映像)がレール(の映像)であると推定する。そこで、レール映像推定部２１は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部２３に送出する。この映像信号は、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

図４のフローチャートを参照しながら、レール映像推定部２１の動作をさらに詳細に説明する。映像信号生成部１３から出力される映像信号がレール映像推定部２１に入力されると、図４の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１に進む。なお、図４の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１において、レール映像推定部２１は、映像信号生成部１３から入力した映像信号の中で、視野下部におけるレール(の映像)の位置を検索し、フローはステップＳ２に進む。

ステップＳ２において、レール映像推定部２１は、２本の縦方向に伸びる線を見付けたか否かを判定する。ステップＳ２において、見付けたと判定されると、フローはステップＳ３に進む。一方、ステップＳ２において、見付からないと判定されると、フローはステップＳ１に戻る。

ステップＳ３において、レール映像推定部２１は、レールと推定される映像信号以外の映像信号を消去して、フローはステップＳ４に進む。

ステップＳ４において、レール映像推定部２１は、レール映像比較部２３に対し、レール(の映像)と推定される映像信号を出力して処理を終了する（ＥＮＤ）。

レール映像比較部２３は、レール映像推定部２１から出力されたレール(の映像)と推定される映像信号と、記憶部２２に記憶されているレール形状パターン(の映像信号)とを比較する。

記憶部２２には、カメラ装置１０の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図５に、記憶部２２に記憶されている７種類(＃１〜＃７)のレール形状パターンを例示する。このレール形状パターンは、カメラ装置１０が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置１０を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。

記憶部２２に記憶されているレール形状パターン＃１〜＃７も、レール映像推定部２１から出力される映像信号と同様に、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

レール映像比較部２３は、レール映像推定部２１から出力されたレールの映像と推定される映像信号と記憶部２２に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部２３は、比較の結果、座標が一致する割合が所定の割合（たとえば８０％程度）以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。

次に、図６のフローチャートを参照しながら、レール映像比較部２３の動作をさらに詳細に説明する。レール映像推定部２１から出力される映像信号がレール映像比較部２３に入力されると図６の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１０に進む。なお、図６の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は、１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１０において、レール映像比較部２３は比較するパターン＃ｎをレール形状パターン＃１に設定して、フローはステップＳ１１に進む。

ステップＳ１１において、レール映像比較部２３は、レール映像推定部２１から受け取った映像信号と記憶部２２に記憶しているレール形状パターンのうちのパターン＃ｎ（ここではｎ＝１）とを比較して、フローはステップＳ１２に進む。

ステップＳ１２において、レール映像比較部２３は、ステップＳ１１の比較結果が「一致」であるか否かを判定する。ステップＳ１２において、比較結果が「一致」であると判定されると、フローはステップＳ１３に進む。一方、ステップＳ１２において、比較結果が「一致」でない（すなわち「不一致」）と判定されると、フローはステップＳ１４に進む。

ステップＳ１３において、レール映像比較部２３は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部２２に記憶されているレール形状パターンの映像信号をデータ蓄積部２４に格納して、処理を終了する（ＥＮＤ）。

ステップＳ１４において、レール映像比較部２３は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン＃ｎはパターン＃７であるか否かを判定する。ステップＳ１４において、全パターンとの比較が終了したと判定されると、フローはステップＳ１５に進む。一方、ステップＳ１４において、未だ全パターンとの比較が終了していないと判定されると、フローはステップＳ１６に進む。

ステップＳ１５において、レール映像比較部２３は、「不一致」とする比較結果を不図示の正常性判定部に出力して処理を終了する（ＥＮＤ）。

ステップＳ１６において、レール映像比較部２３は、パターン＃ｎをパターン＃（ｎ＋１）に変更（ここでは、パターン＃１をパターン＃２に変更）して、フローはステップＳ１１に戻る。

このようにして、ステップＳ１２で比較結果が「一致」とならないときには、ステップＳ１１→ステップＳ１２→ステップＳ１４→ステップＳ１６→ステップＳ１１のフローが全パターン＃１〜＃７について繰り返し実行される。

上記のようにして、レール抽出部２０Ｌにより抽出されたレール映像は、データ蓄積部２４に蓄積される。

カメラ装置１０Ｌ，１０Ｒおよびレール抽出部２０Ｌ，２０Ｒは、基準画像と対応画像を取得するために、図１に示すように左右２組が備えられる。図７は、レール抽出部２０Ｌ，２０Ｒによって抽出されたレールが表示された基準画像Ｉ（ｎ）と対応画像Ｊ（ｎ）を例示する。

そして、各レール抽出部２０Ｌ，２０Ｒのデータ蓄積部２４のレール映像データは、基準画像と対応画像からレールの視差を算出するため、視差算出部３０に与えられる。

視差算出部３０は、図８に一例を示すように、一次対応点検出手段３１と、二次対応点生成手段３２と、マッチング処理手段３３と、相関値比較手段３４と、視差値読出手段３５と、視差算出手段３６と、図示されていないメモリを有する。

一次対応点検出手段３１は、基準画像Ｉ（ｎ）のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点（一次対応点）を検出して、その座標を出力する。二次対応点生成手段３２は、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。その場合、上記メモリに記憶されている「レール抽出による視差」が読み出される。そして、マッチング処理手段３３は、二次対応点から対応画像の左端までマッチング処理（探索）を行って相関値を求める。

「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得される。図９（ａ）に示すように、基準画像Ｉ（ｎ）のレールＲの任意の基準点ｒの座標をｒ（ｕ_ｒ１，ｖ_１）、対応画像Ｊ（ｎ）のエビポーラ線上のレールＲの対応点ｓの座標をｓ（ｕ_ｒ２，ｖ_１）とすると、基準点ｕと対応点ｓの視差、すなわち、画像中の高さｈにおける「レール抽出による視差」ｄ_ｈ’は、次の式、
ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２
から求めることができる。

そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図９（ｂ）に比喩的に示すように、画像Ｉ（ｎ）、Ｊ（ｎ）のレールの長手方向の各地点における「レール抽出による視差」ｄ_ｈ’（画素数）は、カメラ設置位置から各地点までの距離（画面中の高さｈ）に応じて、３０，２５，２０，…，５，２のように漸減する。このような「レール抽出による視差」ｄ_ｈ’が視差算出部３０のメモリに記憶されている。

視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」ｄ_ｈ’が記憶される。

図１０および図１１を用いて、上記視差算出部３０の一次対応点検出手段３１、二次対応点生成手段３２およびマッチング処理手段３３による作用を具体的に説明する。

一次対応点算出手段３１は、図１０に示すように、基準画像Ｉ（ｎ）上の基準点ｒの座標ｒ（ｕ_ｒ１，ｖ_１）と同じ座標となる対応画像Ｊ（ｎ）上の点ｒを求め、この点ｒを一次対応点とする。二次対応点生成手段３２は、一次対応点ｒと同じエビポーラ線上の対応画像Ｊ（ｎ）上の「レール抽出による視差」ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２と等しい距離だけ左に離れた点を基準点ｒに対応する二次対応点ｓとする。続いて、マッチング処理手段３３は、マッチング処理により基準点ｒの座標（ｕ_ｒ１，ｖ_１）と二次対応点ｓの座標（ｕ_ｒ２，ｖ_１）との相関値αを求める。

図１１は、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）の同じ走査線上の一つのブロックＩ_ｉ１，Ｊ_ｉ１を示す。基準画像Ｉ（ｎ）のブロックＩ_ｉ１の基準点ｒ（ｕ_ｒ１，ｖ_１）に対応する対応点ｓ（ｕ_ｒ２，ｖ_１）を探索するときは、対応画像Ｊ（ｎ）のブロックＪ_ｉ１の同じ走査線上の基準点ｒ（ｕ_ｒ１，ｖ_１）と同じ座標点ｒ’（ｕ_ｒ１，ｖ_１）、すなわち一次対応点から同じ走査線上を「レール抽出による視差」ｄ_ｈ’だけ左にずらした点ｓ’（ｕ_ｒ２，ｖ_１）を二次対応点とする。そして、その二次対応点ｓ’（ｕ_ｒ２，ｖ_１）からブロックＪ_ｉ１の同じ走査線上の左端までの画素値についてブロックＩ_ｉ１の同じ走査線上の画素値との相関値αを取り、図１３（ｅ）の画素値差マトリックスＤＴと同様な画素値差マトリックス、および図１３（ｆ）の画素値差合計マトリックスＴＴと同様な画素値差合計マトリックスを生成する。

二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図１０，１１は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。

マッチング処理手段３３によるマッチング処理により得られた相関値αは、相関値比較手段３４に与えられる。相関値比較手段３４は、その相関値αを所定の閾値ｔと比較する。相関値αが所定の閾値ｔに対して所定の条件を満たすときは第１判定信号ａを出力して、視差値読出手段３５に入力する。また、相関値αが所定の閾値ｔに対して所定の条件を満たさないときは第２判定信号ｂを出力して、視差算出手段３６に出力する。

相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはＳＳＤ（Sum of Squared Difference）とＳＡＤ（Sum of Absolute Difference）がある。これらの場合は、マッチングが取れていれば取れているほど（類似度が高いほど）相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされたことになり、閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされたことになり、閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされないこととなる。

そして、視差値読出手段３５は、第１判定信号ａを入力されたときは、前記メモリに記憶されている「レール抽出による視差値」ｄ_ｈ’を読み出す。そして、その「レール抽出による視差値」ｄ_ｈ’をその走査線における基準点と対応点との視差と確定し、距離計測部４０に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。

相関値比較手段３４が第２判定信号ｂを視差算出手段３６に出力したときは、視差算出手段３６は、そのマッチング処理を行った走査線に対して周知の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部４０に与える。

距離計測部４０は、視差読出手段３５が出力した視差値または視差算出手段３６が出力した視差値を用いてカメラ設置位置から列車前方のレールの注目点（撮像対象物）までの距離を周知の演算式により計測する。

Ｉ,Ｉ（ｎ） 基準画像
Ｊ,Ｊ（ｎ） 対応画像
ｐ，ｒ 基準点
ｑ，ｓ 対応点
１ ステレオ画像処理装置
１０Ｌ，１０Ｒ カメラ装置
２０Ｌ，２０Ｒ レール抽出部
３０ 視差算出部
４０ 距離計測部

Claims (2)

1. ステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法において、
   基準画像の基準点と同じ座標となる対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から対応画像の左端まで、または右端までを探索範囲とすることを特徴とするステレオ画像処理方法。
2. ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、
   間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、
   前記視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、
   前記一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、
   前記二次対応点から前記対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、
   を有することを特徴とするステレオ画像処理装置。

Images