JP2007271386A - 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム - Google Patents

Abstract

【課題】計算コストをかけることなく、複数の画像から対象物の相対位置を正確に計測する。
【解決手段】撮像部１１は、視点１、視点２、視点３で車両前方を撮像して、それぞれの位置において車両前方画像を生成する。縦エッジ線検出部１２は、各画像から縦エッジ線を検出し、各縦エッジ線のＸ座標を表す水平位置ｕを検出する。対応縦エッジ線決定部１３は、縦エッジ線検出部１２で検出された視点１〜３における各車両前方画像間で対応する縦エッジ線を決定する。位置関係計算部１６は、対応縦エッジ線決定部１３で決定された対応する縦エッジ線についての水平位置ｕ_i、_a、焦点距離ｆに基づいて、視点３に対する縦エッジ線ｐ_iの位置を計算する。
【選択図】図１

Description

本発明は、位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラムに係り、特に、複数の画像から現在位置と対象物との相対的な位置を計測する位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラムに関する。

車載用の測距装置として、単眼カメラを用いるものが提案されている。この技術は、本質的には３次元情報を２次元情報として平面内に投影した物体の位置関係から距離を算定する。したがって、距離を算定するための前提となる幾何学的なパラメータが変化すると、測距の値が大きく変化するという問題がある。特に、車載用の測距装置においては、車両の挙動変化によって幾何学パラメータが大きく変化するので影響が大きい。

そこで、車両の姿勢変化があっても距離を正確に計測することの出来る車載用測距装置が開示されている（特許文献１を参照。）。特許文献１の技術は、車両に搭載された単眼の撮像手段と、自車両の車速を検出する車速センサと、前記撮像手段によって得られた画像内で、道路近傍に固定された構造体を検出する構造体検出手段と、前記構造体の画像変化の状態と前記自車両の車速とに基づいて、前記撮像手段から前記構造体までの距離を推定する構造体距離推定手段と、画像上で走行路上に存在する物体と前記構造体との画像上の位置関係に基づいて前記撮像手段から前記物体までの距離を推定する物体距離推定手段と、を備えたものである。

また、特徴領域として点を用いたもの、点と直線を用いたもの、直線のみを用いたものも開示されている（非特許文献１、２、３を参照。）。
特開２００３−２４７８２４号公報 Richard I. Hartley,"In Defense of the Eight-Point Algorithm" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, No.6, June 1997 コーデリア・シュミット（Cordelia Schmid）ら, "Automatic Line Matching across Views" Computer Vision and Pattern Recognition, 1997 ペレジェロ Ｏ．Ａ．（Pellejero O.A.）ら, "Automatic computation of the fundamental matrix from matched lines" Current Topics in Artificial Intelligence, April 2004

しかし、特許文献１では、路側構造物の高さの変化を求めるために、路側構造物の上端と下端の両方が見える必要がある。このため、路側構造物以外の物体（例えば歩行者や駐車車両など）により上端や下端が隠されている場合は計測できない問題がある。

また、非特許文献１及び２では、画像間で対応する特徴点を用いて計算を行っている。１枚の画像からは、直線よりも特徴点の方が検出される数が多く、対応付けのための計算コストがかかる問題がある。また、特徴点は対応付けに使用できる特徴点の周囲の輝度情報が、直線よりも少ない。このため、ノイズの影響を受けやすく、対応間違いが起きやすい。さらに、どの特徴点が路側構造物を表すものなのかが分からない問題もある。

非特許文献３では、直線のみを用いているが、３次元運動を想定しているため、撮像した空間中に（１）２枚以上の平面が必要になり、（２）その平面から４本以上の直線を検出することが必要となる。このため、家屋などの壁の位置測定などにしか使用できない問題がある。

本発明は、上述した課題を解決するために提案されたものであり、計算コストをかけることなく、正確に対象物との相対的な位置を計測する位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラムを提供することを目的とする。

本発明に係る位置計測装置は、被写体を撮像して複数の画像を生成する撮像手段と、前記撮像手段により生成された複数の画像からそれぞれ縦エッジ線を検出する縦エッジ線検出手段と、前記縦エッジ線検出手段により検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定する対応縦エッジ線決定手段と、前記対応縦エッジ線決定手段により決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記縦エッジ線が表す対象物までの相対的な位置情報を計測する位置計測手段と、を備えている。

撮像手段は、被写体を撮像して、それぞれ異なる場所で複数の画像を生成する。縦エッジ線検出手段は、複数の画像からそれぞれ縦エッジ線を検出する。ここで検出された各縦エッジ線は、画像間で全く異なる対象物の縦エッジ線であったり、同一対象物の縦エッジ線であったりする。そこで、対応縦エッジ線決定手段は、各々の画像の縦エッジ線の中から対応する縦エッジ線を決定する。位置計測手段は、決定された対応する縦エッジ線の画像上の水平位置に基づいて、各画像間の移動量を検出して、縦エッジ線が表す対象物までの相対的な位置情報を計測する。

したがって、上記発明は、被写体を撮像して複数の画像を生成し、複数の画像からそれぞれ縦エッジ線を検出し、検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定し、前記決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記縦エッジ線が表す対象物までの相対的な位置情報を計測することにより、計算コストをかけることなく、複数の画像から対象物の相対位置を正確に計測することができる。

なお、本発明は、位置計測方法及びプログラムにも適用可能である。

本発明は、対象物の相対位置を正確に検出することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、第１の実施形態に係る位置計測装置の構成を示しブロック図である。位置計測装置は、例えば車両に搭載され、この車両（以下「自車両」という。）と対象物との相対的な位置を計測する。

位置計測装置は、車両前方を撮像するように設置された撮像部１１と、撮像部１１で生成された車両前方画像から縦エッジ線を検出する縦エッジ線検出部１２と、複数の縦エッジ線の中から対応する縦エッジ線（以下「対応縦エッジ線」という。）を決定する対応縦エッジ線決定部１３と、自車両と対象物との相対的な位置関係を計算する位置関係計算部１６と、を備えている。

図２は、位置計測装置が搭載された車両の座標系（以下「車両座標系」という。）を示す図である。Ｚ軸方向は車両の進行方向に対応し、Ｘ軸方向は車両の横方向（進行方向に直交する方向）に対応する。したがって、車両座標系において、静止物体の座標位置は、車両の移動に伴って変化する。

図３は、運動前の車両を基準にした車両座標系を示す図である。図４は、運動後の車両を基準にした車両座標系を示す図である。ここでは、基準ではない車両座標系のＸ軸及びＺ軸に「’」が付されている。また、車両の移動量を表す車両運動変数は、並進移動量とヨー角とで表される。

例えば図３の場合、運動前の車両は、並進移動量０、ヨー角０で表される。そして、運動後の車両は、並進移動量（＋ｔｚ）、ヨー角（＋θ）で表される。なお、ヨー角は鉛直軸周りの角度であり、反時計回り方向を正とする。図４の場合、運動後の車両は、並進移動量０、ヨー角０で表される。また、運動前の車両は、並進移動量（−ｔｚ）、ヨー角（−θ）で表される。

以上のように構成された位置計測装置は、車両が移動するときに次のように処理を実行する。

撮像部１１は、車両が移動すると、３箇所の異なる位置（視点１、視点２、視点３）で車両前方を撮像して、それぞれの位置において車両前方画像を生成する。本実施形態では、視点１は車両の運動前の位置とするが、視点１は移動中の所定の位置であってもよい。

図５は、撮像部１１により生成された車両前方画像と車両座標系との関係を示す図である。車両前方画像は、車両座標系のＺ軸方向の画像である。なお、ｆは撮像部１１のカメラ焦点距離を表し、Ｚ＝ｆの位置に投影面があるものとする。なお、車両前方画像には、路面と路側構造物が含まれている。

縦エッジ線検出部１２は、例えば縦方向に比べて横方向の輝度変化が大きいという縦エッジ線の特性を利用して、撮像部１１で生成された視点１〜３における車両前方画像の路側構造物から縦エッジ線を検出する。縦エッジ線検出部１２は、例えば、電柱であれば電柱の輪郭線、建造物であれば建造物の縦方向の輪郭線を検出する。これにより、視点１〜３の各車両前方画像から複数の縦エッジ線が検出される。

次に、縦エッジ線検出部１２は、図５に示すように、各縦エッジ線のＸ座標を表す水平位置ｕを検出する。なお、本実施形態では、水平位置ｕは、車両座標系のＸ座標としたが、所定の基準位置（例えば車両前方画像の左端又は右端）から縦エッジ線までの水平方向の距離としてもよい。また、水平位置ｕの検出は、対応縦エッジ線決定部１３による対応する縦エッジ線が決定されてからでもよい。

対応縦エッジ線決定部１３は、縦エッジ線検出部１２で検出された視点１〜３における各車両前方画像間で対応する縦エッジ線を決定する。具体的には、対応縦エッジ線決定部１３は、車両前方画像間で対応する縦エッジ線とその周囲の点の輝度分布がほぼ一定である特性を利用して、対応する縦エッジ線を検出する。

例えば、対応縦エッジ線決定部１３は、視点１〜３の各車両前方画像に電柱がある場合、車両前方画像間で電柱の同一部位の縦エッジ線を決定する。つまり、車両前方画像間の同一部位の縦エッジ線を決定する。

図６は、（ａ）視点３、（ｂ）視点２、（ｃ）視点１における車両前方画像と対応付けられた縦エッジ線ｐ₁、ｐ₂を示す図である。縦エッジ線ｐ₁は、右路側の構造物の同一部位の縦エッジ線である。縦エッジ線ｐ₂は、左路側の構造物の同一部位の縦エッジ線である。ｐ_iの添え字ｉは、対応付けができた縦エッジ線の識別番号を表す。また、以下では水平位置ｕをｕ_i、_aで表す。添え字ａは、視点１〜３の番号を表す。すなわち、ｕ_i、_aは、視点ａにおける識別番号ｉの縦エッジ線の水平位置を表す。

位置関係計算部１６は、対応縦エッジ線決定部１３で決定された対応する縦エッジ線についての水平位置ｕ_i、_a、焦点距離ｆに基づいて、視点３に対する縦エッジ線ｐ_iの位置を計算する。

図７は、視点３での位置を基準とした車両座標系を示す図である。位置関係計算部１６は、この車両座標系においてθ、ｔを計算し、これを用いて視点３に対する縦エッジ線ｐ_i（ｉ＝１又は２）の座標（Ｘ_i、Ｚ_i）を計算する。

ここで、θ、ｔは
θ₁：視点１から視点２に移動したときのヨー角変化量
θ₂：視点２から視点３に移動したときのヨー角変化量
ｔ_z1：視点１から視点２に移動したときの並進移動量
ｔ_z2：視点２から視点３に移動したときの並進移動量
である。θ₁、θ₂は、ヨーレイトセンサ１４から供給される信号に基づいて位置関係計算部１６によって求められる。ｔ_z1、ｔ_z2は、車速センサ１５から供給される信号に基づいて位置関係計算部１６によって求められる。また、視点ａから縦エッジ線ｐ_iまでの直線をｌ_i、_aで表す。例えば直線ｌ2、₃は、視点３から縦エッジ線ｐ₂までの直線を表す。

ここで、直線ｌ_i、1、ｌ_i、2、ｌ_i、3は、それぞれ次の式（１）から式（３）で表される。

ただし、ｕ’＝ｕ／ｆ（ｕ’_i,a＝ｕ_i,a／ｆ）であり、ｆは焦点距離である。そして、位置関係計算部１６は、例えば直線ｌ_i、1と直線ｌ_i、3の交点、直線ｌ_i、2と直線ｌ_i、3の交点を計算し、２つの交点は同じであることを利用して、２つの交点の誤差が最小となるときのθ₁、θ₂、ｔ_z1、ｔ_z2を計算する。以下、θ、ｔの導出について説明する。

（θ、ｔの導出）
ｔ_z1、ｔ_z2、θ₁、θ₂を未知のパラメータとする。視点１〜３から直線の式をベクトルで表す。まず、式（４）から式（７）のようにベクトルを定義する。

さらに、媒介変数ｒを導入すると、式（８）から式（１０）が成り立つ。

右肩の数値は、座標系の番号を表す。これらの式を視点３の座標系で表す。回転行列Ｒと並進ベクトルｈを用いると、式（１１）及び式（１２）が成り立つ。

ただし、式（１３）から式（１５）を満たす。

それぞれを成分表示すると、式（１６）から式（１８）となる。

ｘ成分、ｚ成分ごとに展開し、媒介変数ｒを消去してまとめると、上述した式（１）から式（３）が求められる。したがって、直線ｌ₁と直線ｌ₃の交点のｘ座標ｘ₁₃は式（１９）となり、その交点のｚ座標ｚ₁₃は式（２０）となる。

また、直線ｌ₂と直線ｌ₃の交点のｘ座標ｘ₂₃は式（２１）となり、その交点のｚ座標ｚ₂₃は式（２２）となる。

そして直線の交点は等しいことを利用して、交点の誤差を定義する。誤差は、例えば式（２３）から式（２５）で定義される。

そして、誤差が最小となるときのθ₁、θ₂、ｔ_z1、ｔ_z2を求めればよい。

位置関係計算部１６は、以上のようにしてθ₁、θ₂、ｔ_z1、ｔ_z2を計算した後、これらの値を式（１８）、式（１９）（又は（２０）、式（２１））に代入する。これにより、車両座標系における縦エッジの存在する座標が求められる。

以上のように、第１の実施形態に係る位置計測装置は、３箇所で撮影された車両前方画像から縦エッジ線を検出し、各々の車両前方画像で対応する縦エッジ線の水平位置を用いることによって、自車両に対する対象物の相対位置を複数の直線の交点から求めることができる。

また、位置計測装置は、対象物の相対位置を求める際に、ヨーレイトセンサを用いることなく、複数の車両前方画像からヨー角を計算するので、ヨー角検出装置としても機能することができる。

なお、本実施形態では、４つの車両運動変数ｔ_z1、ｔ_z2、θ₁、θ₂を計算するために、２本以上の対応付けられた縦エッジ線が必要である。しかし、ｔ_z1＝ｔ_z2、又はθ₁＝θ₂の場合は、対応付けられた縦エッジ線は１本でよい。また、θ＝０のときは、sinθ、cosθの計算が不要になるので、計算の高速化が可能になる。これらのことは、後述する第２及び第３の実施形態でも同様である。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。

図８は、第２の実施形態に係る位置計測装置の構成を示すブロック図である。第２の実施形態に係る位置計測装置は、図１に示す構成に車速センサ１４を追加したものである。

車速センサ１４は、車両に設けられた各々の車輪にそれぞれ設けられており、車輪の回転角速度に応じた信号を生成し、その信号を位置関係計算部１６に供給する。

位置関係計算部１６は、車速センサ１４からの信号に基づいて車速を計算し、車速を時間積分することにより並進移動量ｔ_z1、ｔ_z2を計算する。そして、直線ｌ_i、1と直線ｌ_i、3の交点、直線ｌ_i、2と直線ｌ_i、3の交点を計算し、２つの交点は同じであることを利用して、２つの交点の誤差が最小となるときのθ₁、θ₂を計算する。

ここで、第１の実施形態では、ｔ_z1、ｔ_z2、θ₁、θ₂を計算するために、２つの縦エッジ線ｐ₁、ｐ₂が必要であった。しかし、第２の実施形態では、θ₁、θ₂だけを計算すればよいので、１つの縦エッジ線だけでよい。

以上のように、第２の実施形態に係る位置計測装置は、車速センサ１４で検出された信号から車速を計算し、車速を用いて対象物の相対位置を計測するので、演算負荷を軽減して、高速に対象物の相対位置を計測できる。

［第３の実施形態］
つぎに、本発明の第３の実施形態について説明する。なお、第２の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。

図９は、第３の実施形態に係る位置計測装置の構成を示すブロック図である。第３の実施形態に係る位置計測装置は、図８に示す構成に路側構造物検出部１５を追加したものである。

路側構造物検出部１５は、路側構造物の輝度パターンを表すテンプレートを記憶している。そして、路側構造物検出部１５は、テンプレートの大きさを変えながら撮像部１１で生成された車両前方画像を走査し、類似度を計算するパターンマッチング手法（例えばSVM、Viola&Jonesの手法）により、路側構造物の車両前方画像上での位置と大きさを検出する。

縦エッジ線検出部１２は、路側構造物検出部１５で検出された車両前方画像上の路側構造物の部分のみ縦エッジ線の水平位置を検出する。検出する車両前方画像中の範囲を限定できるので、計算コストを抑制することができる。また、位置関係計算部１６は、路側構造物から検出されたものではない縦エッジ線（例えば走行車両の縦エッジ線）を計算に使用することを避け、路側構造物から検出された縦エッジ線のみを用いて計算する。

以上のように、第３の実施形態に係る位置計測装置は、路側構造物検出部１５を用いることにより、縦エッジ線検出部１２の効率化、位置関係計算部１６で使用する縦エッジ線の適正化を図ることができる。

なお、車速センサ１４は、路上の実際の絶対量を検出するために用いられているが、他の手段が路上の実際の絶対量を検出できれば、省略可能である。例えば、電柱の直径は約３０ｃｍであり、路側構造物検出部１５が電柱を検出した場合、縦エッジ線検出部１２によって検出される電柱の輪郭を表す２本の縦エッジ線の距離が３０ｃｍと決定される。このとき、位置関係計算部１６は、車両前方画像中の電柱の直径３０ｃｍを尺度に用いて他の縦エッジ線の絶対量も決定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

第１の実施形態に係る位置計測装置の構成を示しブロック図である。 車両座標系を示す図である。 運動前の車両を基準にした車両座標系を示す図である。 運動後の車両を基準にした車両座標系を示す図である。 撮像部により生成された車両前方画像と車両座標系との関係を示す図である。 （ａ）視点３、（ｂ）視点２、（ｃ）視点１における車両前方画像と対応付けられた縦エッジ線ｐ₁、ｐ₂を示す図である。 視点３での位置を基準とした車両座標系を示す図である。 第２の実施形態に係る位置計測装置の構成を示すブロック図である。 第３の実施形態に係る位置計測装置の構成を示すブロック図である。

符号の説明

１１ 撮像部
１２ 縦エッジ線検出部
１３ 対応縦エッジ線決定部
１４ 車速センサ
１５ 路側構造物検出部
１６ 位置関係計算部

Claims (8)

1. 被写体を撮像して複数の画像を生成する撮像手段と、
   前記撮像手段により生成された複数の画像からそれぞれ縦エッジ線を検出する縦エッジ線検出手段と、
   前記縦エッジ線検出手段により検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定する対応縦エッジ線決定手段と、
   前記対応縦エッジ線決定手段により決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記縦エッジ線が表す対象物までの相対的な位置情報を計測する位置計測手段と、
   を備えた位置計測装置。
2. 各画像が撮像された位置間の移動量を検出する移動量検出手段を更に備え、
   前記位置計測手段は、前記移動量検出手段により検出された移動量を更に用いて、前記相対的な位置情報を計測する
   請求項１に記載の位置計測装置。
3. 前記撮像手段により生成された画像と予め用意された対象物のパターンとに基づいて前記対象物を検出する対象物検出手段を更に備え、
   前記縦エッジ線検出手段は、前記対象物検出手段により検出された対象物から縦エッジ線を検出する
   請求項１または請求項２に記載の位置計測装置。
4. 被写体を撮像して複数の画像を生成し、
   前記生成された複数の画像からそれぞれ縦エッジ線を検出し、
   前記検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定し、
   前記決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記縦エッジ線が表す対象物までの相対的な位置情報を計測する
   位置計測方法。
5. コンピュータに、
   被写体を撮像して生成された複数の画像からそれぞれ縦エッジ線を検出させ、
   前記検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定させ、
   前記決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記縦エッジ線が表す対象物までの相対的な位置情報を計測させる
   位置計測プログラム。
6. 被写体を撮像して複数の画像を生成する撮像手段と、
   前記撮像手段により生成された複数の画像からそれぞれ縦エッジ線を検出する縦エッジ線検出手段と、
   前記縦エッジ線検出手段により検出された各々の画像の縦エッジ線の中から対応する縦エッジ線を決定する対応縦エッジ線決定手段と、
   前記対応縦エッジ線決定手段により決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記複数の画像いずれか１つが生成された時から次の画像が生成された時までに変化したヨー角度、移動量の少なくとも１つを検出する検出手段と、
   を備えた移動量検出装置。
7. 被写体を撮像して複数の画像を生成し、
   前記生成された複数の画像からそれぞれ縦エッジ線を検出し、
   前記検出された各々の画像の縦エッジの中から対応する縦エッジ線を決定し、
   前記決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記複数の画像いずれか１つが生成された時から次の画像が生成された時までに変化したヨー角度、移動量の少なくとも１つを検出する
   移動量検出方法。
8. コンピュータに、
   被写体を撮像して生成された複数の画像からそれぞれ縦エッジ線を検出させ、
   前記検出された各々の画像の縦エッジの中から対応する縦エッジ線を決定させ、
   前記決定された対応する縦エッジ線の画像上の水平位置に基づいて、前記複数の画像いずれか１つが生成された時から次の画像が生成された時までに変化したヨー角度、移動量の少なくとも１つを検出させる
   移動量検出プログラム。

Images