JP2006025086A - 障害物検出装置 - Google Patents

Abstract

【課題】複数のカメラによって撮像された他車両が同一車両であるか、異なる車両であるかを的確に判断すること。
【解決手段】自車両の周囲に存在する他車両の中から同一車両である可能性を有している他車両を抽出して、これらの他車両を撮像したカメラのうち任意の一台を基準カメラとして設定し、基準カメラで撮像した他車両の擬似画像パターンを生成する。生成した擬似画像パターンを基準カメラ以外のカメラで撮像した場合に生成される擬似画像パターンに変換して、変換後の擬似画像パターンと、当該基準カメラ以外のカメラで撮像した撮像画像とを比較する。双方の画像のずれが所定位置未満であれば同一車両であると判断し、所定値以上であれば異なる車両であると判断する。
【選択図】 図７

Description

本発明は、自車両周辺の障害物を検出する障害物検出装置に関する。

車両の前方、後方、右側後方、および左側後方を撮像するカメラを搭載し、各カメラで撮像した画像から障害物を検出し，当該障害物の速度と自車両からの距離とに基づいて、自車両との接触の可能性を判断する車載用走行監視システムが特許文献１によって知られている。

特開２００２−３６９８８号公報

しかしながら、従来の車載用走行監視システムにおいては、自車両と障害物との距離が離れている場合、実際の距離と検出距離との間に誤差が発生するため、前方、後方、右側後方、および左側後方の各カメラで撮像した障害物の位置関係が把握できず、各カメラで撮像した障害物が同一のものか、異なるものかを判定できないという問題が生じていた。

請求項１に記載の障害物検出装置は、像可能範囲の少なくとも一部を共有し、車両周辺を撮像する第１および第２の撮像手段と、第１の撮像手段により共有の撮像可能範囲内で撮像した物体の擬似画像を生成する擬似画像生成手段と、擬似画像生成手段で生成した物体の擬似画像を第２の撮像手段から見た物体の擬似画像に視点変換する画像変換手段と、画像変換手段で変換した物体の擬似画像と第２の撮像手段により共有の撮像可能範囲内で撮像した物体の像とを比較し、二つの像のずれ量が所定値未満か否かを判定する判定手段とを備え、判定手段により二つの像のずれ量が所定値未満と判定された場合に、第１の撮像手段と第２の撮像手段とにより共有の撮像可能範囲内で撮像した物体は同一物体であるとすることを特徴とする。

本発明によれば、共有の撮像可能範囲内で撮像された物体が同一の物体であるか否かを正確に判断することができる。

図１は、本実施の形態における障害物検出装置の一実施の形態の構成を示すブロック図である。障害物検出装置１００は自動車に搭載され、前方カメラ１０１−ａと、後方カメラ１０１−ｂと、右側後方カメラ１０１−ｃと、左側後方カメラ１０１−ｄと、画像メモリ１０２と、マイクロコンピュータ１０３と、モニタ１０４とを備えている。

前方カメラ１０１−ａ、後方カメラ１０１−ｂ、右側後方カメラ１０１−ｃ、および左側後方カメラ１０１−ｄ（以下、「カメラ」と呼ぶ）は、例えばＣＣＤカメラであり、自動車の図２に示す各位置に設置され、それぞれ自動車の前方、後方、右側後方、左側後方を個別に撮像する。画像メモリ１０２は各カメラによって撮像され、デジタル信号に変換された画像データを格納する。マイクロコンピュータ１０３は、画像メモリ１０２に格納された画像データに障害物（物体）が含まれていた場合、当該障害物の形状とあらかじめ登録してある車両形状のパターンとをマッチング処理することによって、撮像された障害物が自車両の周囲を走行する他車両であるか否かを判定する。そして、自車両の周囲に他車両が存在すると判定したときのみ、後述する処理により他車両の擬似画像（擬似画像パターン）を生成して、各カメラで個別に撮像された他車両が同一の車両であるか否かを判定する。モニタ１０４は、カメラにより撮像されマイクロコンピュータで処理された結果、検出された他車両を運転者に表示する。

図３にマイクロコンピュータ１０３による他車両の擬似画像パターン生成方法の具体例を示す。図３（ａ）は、横方向の撮像素子サイズＣｘ，縦方向の撮像素子サイズＣｙ，焦点距離ｆの性能を持つカメラを、道路から高さＣＨの場所に道路と水平に設置し，カメラ視軸より横方向にＷずれた位置，かつカメラから距離Ｌ離れた位置にある他車両を撮像する状況を横方向から見た図である。また、図３（ｂ）は、図３（ａ）と同一の条件で他車両を撮像する状況を上方から見た図である。

図３（ａ）、および図３（ｂ）において、他車両上の任意の点２を焦点Ａから見た垂直方向の角度θy，および焦点Ａから見た水平方向の角度θxは、次式（１）、（２）で算出できる。
θy＝ｔａｎ^-1（（ＣＨ−Ｈ）／Ｌ）・・・（１）
θx＝ｔａｎ^-1（Ｗ／Ｌ）・・・（２）

また，カメラによって撮像される画像の横方向のサイズをＰx，縦方向の画像をＰｙとすると，上記他車両上の任意の点２の画像座標位置（Ｏx，Ｏｙ）は、次式（３）、（４）で算出できる。
Ｏｘ＝Ｐx／２＋Ｐx・θｘ／（２・ｔａｎ（Ｃｘ／（２・ｆ）））・・・（３）
Ｏｙ＝Ｐｙ／２＋Ｐｙ・θy／（２・ｔａｎ（Ｃy／（２・ｆ）））・・・（４）

式（１）〜（４）によって、他車両の全点について画像座標位置（Ｏx，Ｏｙ）を求め図示することで，図４に示す他車両の擬似画像パターンを生成することができる。すなわち，カメラの撮像素子サイズと焦点距離などのカメラ性能、カメラの設置位置，カメラから障害物の距離，および他車両の形状に基づいて擬似画像パターンを生成することができる。本実施の形態では、取得画像から推測して定める他車両の３次元位置情報から、３次元モデル画像を作成し、当該３次元モデルから上記手法にて擬似画像パターンを生成し、入力画像とのマッチング処理に用いている。

次に、図５、および図６に各カメラで個別に撮像された他車両が同一車両であるか否かを判定する方法の具体例を示す。図５において、自車両の周囲には他車両５ａおよび５ｂが走行している。すなわち、他車両５ａは自車両の後方を自車両に追従して走行しており、他車両５ｂは自車両の右隣の車線を自車両と同方向に走行している。

図６（ａ）は、右側後方カメラ１０１−ｃによって撮像される撮像画像を示す図である。右側後方カメラ１０１−ｃによっては、他車両５ｂはその全体が撮像されるが、他車両５ａは自車両の影に隠れ撮像されない。よって、右側後方カメラ１０１−ｃによって撮像された画像からは他車両５ｂの検出が可能である。図６（ｂ）は、後方カメラ１０１−ｂによって撮像される撮像画像を示す図である。後方カメラ１０１−ｂによっては、他車両５ａはその全体が撮像され、他車両５ｂは他車両５ａの陰に隠れるためその一部が撮像される。この場合、後方カメラ１０１−ｂによって撮像された画像からは、一部しか写っていない他車両５ｂは検出されず、全体が写っている他車両５ａのみの検出が可能である。すなわち、他車両５ｂは後方カメラ１０１−ｂ、および右側後方カメラ１０１−ｃの２台のカメラの撮像可能範囲に存在しているにもかかわらず、実際には右側後方カメラ１０１−ｃによる撮像画像からしか検出されない。以上より、右側後方カメラ１０１−ｃ、および後方カメラ１０１−ｂはそれぞれ１台ずつの異なる他車両を検出する。

一方、仮に他車両５ａが存在せず、他車両５ｂのみが自車両の右隣の車線を自車両と同方向に走行している場合には、右側後方カメラ１０１−ｃは図６（ｃ）に示すように他車両５ｂのみを検出し、後方カメラ１０１−ｂは図６（ｄ）に示すように他車両５ｂのみを検出する。すなわち、それぞれ１台ずつの同一の他車両５ｂを検出する。したがって、他車両５ａが存在するか否かに関わらず、どちらも右側後方カメラ１０１−ｃと後方カメラ１０１−ｂは１台ずつの他車両を検出することになる。

このように、右側後方カメラ１０１−ｃと後方カメラ１０１−ｂとがそれぞれ１台ずつの他車両を検出した場合、その他車両が図６（ａ）および（ｂ）に示す状況にあるのか、あるいは図６（ｃ）および（ｄ）に示す状況にあるのかを判断する必要がある。すなわち、２台のカメラで検出した他車両のうち少なくとも一方が２台のカメラに共通する撮像可能範囲内に検出された場合には、検出された他車両が同一車両である可能性を有しているため、これらが同一車両であるか、異なる車両であるかを判断する必要がある。この場合、それぞれのカメラが検出した他車両の位置関係が把握できれば、これらが異なる車両であるか同一車両であるかを判断できる。

図６（ａ）および（ｂ）に示す状況においては、カメラから他車両５ａと他車両５ｂまでの距離を正確に算出できれば、その距離の違いから２台の他車両が異なる車両であることの判断は可能である。しかし、走行中の車両に搭載したカメラで撮像した画像に基づいて対象物までの距離を算出する場合、一般に車両の前後方向に存在する対象物までの距離算出精度は悪く、さらに自車両から対象物までの距離が離れるほどその精度は悪化する。よって、後方カメラ１０１−ｂで撮像した他車両５ａを他車両５ｂと同一車両であると誤検出してしまい、自車両の周囲には他車両５ｂのみしか存在しないと判断してしまう可能性がある。

このような誤検出を防ぐため、本実施の形態における障害物検出装置では、以下に説明するようにカメラと他車両との間の正確な距離を算出し、別々のカメラで検出された２台の他車両が同一車両であるか否かを判断する。まず、他車両を検出したカメラのうち任意の１台を基準カメラとして設定する。本実施の形態においては、右側後方カメラ１０１−ｃを基準カメラとする。そして、基準カメラにより撮像された図６（ａ）に示す他車両５ｂの撮像画像に基づいて、上述した式（１）〜（４）により他車両５ｂの擬似画像パターンを生成する。

他車両５ｂの擬似画像パターンを生成するために必要な基準カメラから他車両までの距離Ｌは、撮像した画像に基づいて予測される。すなわち、撮像画像内における他車両の大きさに基づいて、おおよその基準カメラから他車両までの距離Ｌを予測する。そして予測した距離Ｌ、例えば５ｍの地点に存在する他車両の擬似画像パターンを生成する。そして、このとき生成された擬似画像パターンと、右側後方カメラ１０１−ｃによって実際に撮像された他車両５ｂの撮像画像とをマッチング処理（比較）することにより、両方の画像が一致するか否かを判断する。画像が一致しない場合は、予測した距離Ｌが誤っていると判断できることから、距離Ｌを任意の間隔、例えば１０ｃｍ間隔で変化させて同様に擬似画像パターンを生成する。

このとき、例えばＬ＝５ｍと予測して生成した擬似画像パターンと実際の撮像画像をマッチング処理したとき、他車両５ｂの擬似画像パターンが実際の撮像画像よりも大きい場合には、他車両５ａは予測した距離Ｌよりも遠くに存在する。よってこの場合、距離Ｌの値は現在の予測値（Ｌ＝５ｍ）に任意の間隔足した距離、例えば５ｍ１０ｃｍとして擬似画像パターンを生成する。一方、他車両５ｂの擬似画像パターンが実際の撮像画像よりも小さい場合には、他車両５ｂは設定した距離Ｌよりも近くに存在することから、距離Ｌの現在の予測値（Ｌ＝５ｍ）から任意の間隔を引いた距離、例えば４ｍ９０ｃｍとして擬似画像パターンを生成する。

このように、距離Ｌの値を変化させながら他車両５ｂの擬似画像パターンの生成し、擬似画像パターンと実際の他車両５ｂの撮像画像とをマッチングする処理を、マッチング処理結果が一致するまで繰り返す。そして、両方の画像が一致した時点の距離Ｌの値を、画像撮像時点における右側後方カメラ１０１−ｃと他車両５ｂとの実際の距離として算出する。これによって、右側後方カメラ１０１−ｃによって撮像された他車両５ｂまでの正確な距離Ｌを算出することができる。

次に、上述した右側後方カメラ１０１−ｃと他車両５ｂとの正確な距離Ｌによって生成した右側後方カメラ１０１−ｃによる他車両５ｂの擬似画像パターンを、後方カメラ１０１−ｂで撮像した画像の擬似画像パターンとなるように視点変換処理を行う。すなわち、右側後方カメラ１０１−ｃと後方カメラ１０１−ｂとの設置位置の違いを考慮して、生成した右側後方カメラ１０１−ｃによる他車両５ｂの擬似画像パターンを、後方カメラ１０１−ｂから見た場合の他車両５ｂの擬似画像パターンに変換する。これによって、後方カメラ１０１−ｂで撮像した図６（ｂ）の撮像画像では他車両５ａに隠れて一部しか写っておらず、検出することができなかった他車両５ｂの擬似画像パターンを生成することができる。

当該視点変換して得た後方カメラ１０１−ｂから見た他車両５ｂの擬似画像パターンと、図６（ｂ）に示す後方カメラ１０１−ｂによる撮像画像により検出した他車両５ａとをマッチング処理（比較）することによって、他車両５ａと他車両５ｂとのずれ量が所定値未満であるか否かを判断する。他車両５ａと他車両５ｂとのずれ量が所定値未満である場合はこれらは同一車両であると判断し、所定値以上の場合は異なる車両であると判断する。本実施の形態においては、他車両５ａと他車両５ｂとは実際には異なる車線を走行中の異なる他車両であるため、双方のずれ量は所定値以上となる。これにより右側後方カメラ１０１−ｃおよび後方カメラ１０１−ｂによってそれぞれ検出された２台の他車両は異なる車両であると判断でき、同一車両であると誤検出することを防ぐことができる。

なお、図６（ｃ）および（ｄ）に示す状況においては、同様の処理を実行することによって、右側後方カメラ１０１−ｃおよび後方カメラ１０１−ｂによってそれぞれ検出された２台の他車両は同一車両５ｂであると判断でき、異なる車両であると誤検出することを防ぐことができる。

図７は、本実施の形態の障害物検出装置１００の動作を示すフローチャートである。カメラによって撮像され、画像メモリ１０２に格納された撮像画像データに基づいて、自車両の周囲に他車両が存在すると判断されると、障害物検出装置１００は図７に示す処理を開始する。ステップＳ１０において、２台のカメラで検出した他車両のうち少なくとも一方が２台のカメラに共通する撮像可能範囲内で検出されと判断された場合は、これらの他車両は同一車両である可能性を有しているためステップＳ２０へ進む。ステップＳ２０において、他車両を検出した２台のカメラのうちいずれか一方を基準カメラとして設定する。

ステップＳ３０では、基準カメラで撮像した他車両の擬似画像パターンを生成するために、基準カメラから他車両までの距離Ｌを予測する。その後ステップＳ４０で、式（１）〜（４）に基づいて、あらかじめ用意した車両３次元モデルから他車両の擬似画像パターンを生成する。ステップＳ５０において、基準カメラによる撮像画像と生成した擬似画像パターンとにおける他車両の形状をマッチング処理した結果が一致するか否かを判断する。

マッチング処理の結果が一致しないと判断した場合は、ステップＳ６０へ進み距離Ｌの値を変更する。すなわち、マッチング処理の結果に基づいて距離Ｌを増減させる。その後、ステップＳ４０へ戻り、変更後の距離Ｌに基づいて他車両の擬似画像パターンを生成し、マッチング処理の結果が一致するまで処理を繰り返す。マッチング処理の結果が一致した場合は、ステップＳ７０へ進む。

ステップＳ７０において、基準カメラの撮像画像に基づいて生成した擬似画像パターンを視点変換処理して、基準カメラでない方のカメラから見た擬似画像パターンへ変換する。ステップＳ８０において、視点変換して得た他車両の擬似画像パターンと、基準カメラでない方のカメラで撮像した撮像画像の他車両の形状をマッチング処理し、双方のずれ量を判定する。ずれ量が所定値未満である場合はステップＳ９０へ進み、同一車両である可能性を有している他車両は同一車両であると判断する。一方、ずれ量が所定値以上である場合にはステップＳ１００へ進み、同一車両である可能性を有している他車両は異なる車両であると判断する。

ステップＳ１１０では、各カメラで撮像した自車両の周囲に存在する他車両を、運転者が自車両との位置関係が把握しやすい表示方法で、例えば鳥瞰図に変換してモニタ１０４に表示した後、処理を終了する。

以上、本実施の形態によれば、次のような作用効果が得られる。
（１）基準カメラで撮像された他車両の擬似画像パターンを生成するに当たって、生成した擬似画像パターンと実際に撮像した撮像画像とのマッチング結果が一致するまで、距離Ｌを変えながら擬似画像パターンの生成を繰り返すことにした。これによって、擬似画像パターンと撮像画像のマッチング結果が一致した時点の距離Ｌを基準カメラと他車両との間の正確な距離として算出することができる。
（２）基準カメラで撮像された他車両の擬似画像パターンを視点変換することによって、もう一方のカメラから見た擬似画像パターンに変換し、当該擬似画像パターンと実際にもう一方のカメラで撮像した撮像画像とを比較することによって、検出した他車両が同一車両か否かを判断することにした。これによって、２台のカメラでそれぞれ検出した他車両が同一車両であるか否かを的確に判断することができ、誤検出を防止することが可能となる。

なお、上述した本実施の形態では、右側後方カメラ１０１−ｃと後方カメラ１０１−ｂに共通する撮像可能範囲に存在する他車両５ｂと、後方カメラ１０１−ｂの撮像可能範囲に存在する他車両５ａについて、両車両が同一か否かを判定する例を説明した。しかし、その他のカメラで検出したその他の車両についても上述した処理を実行することによって、同様の効果を得ることができる。

また、右側後方カメラ１０１−ｃを基準カメラに設定して処理する例について説明したが、後方カメラ１０１−ｂを基準カメラに設定しても、同様の処理により他車両５ａと他車両５ｂとが同一車両であるか否かの判定は可能である。

上述した実施の形態においては、他車両５ａと５ｂとを対象として、２台が同一車両か否かを判定したが、自車両の周囲に存在する２台以上の車両に対してもそれぞれ上述した処理を行うことにより、各他車両同士が同一車両か否かを判定することが可能である。

また、上述した実施の形態においては、カメラで撮像した他車両を検出して処理を行ったが、撮像された車両以外のその他の物体についても同様に処理することができる。

上述した実施の形態においては、他車両を撮像するために車両にＣＣＤカメラを搭載したが、これに限定されずその他のイメージセンサを搭載してもよい。

上述した実施の形態においては、検出した自車両の周囲に存在する他車両を鳥瞰図に変換してモニタ１０４に表示することにしたが、これに限定されず、例えば平面図などその他の表示形式に変換して表示してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。前方カメラ１０１−ａ、後方カメラ１０１−ｂ、右側後方カメラ１０１−ｃ、および左側後方カメラ１０１−ｄは撮像手段に相当する。マイクロコンピュータ１０３は擬似画像生成手段、画像変換手段、判定手段、距離推定手段、仮の擬似画像生成手段、および比較手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

本実施の形態における障害物検出装置の一実施の形態の構成を示すブロック図である。 自動車に設置された各カメラの設置位置を示す図である。 擬似画像パターン生成方法の具体例を示す図である。 擬似画像パターンの具体例を示す図である。 各カメラで個別に撮像された他車両が同一車両であるか否かを判定する方法の具体例を示す第１の図である。 各カメラで個別に撮像された他車両が同一車両であるか否かを判定する方法の具体例を示す第２の図である。 障害物検出装置１００の動作を示すフローチャート図である。

符号の説明

１００ 障害物検出装置
１０１−ａ 前方カメラ
１０１−ｂ 後方カメラ
１０１−ｃ 右側後方カメラ
１０１−ｄ 左側後方カメラ
１０２ 画像メモリ
１０３ マイクロコンピュータ
１０４ モニタ

Claims (2)

1. 撮像可能範囲の少なくとも一部を共有し、車両周辺を撮像する第１および第２の撮像手段と、
   前記第１の撮像手段により前記共有の撮像可能範囲内で撮像した物体の擬似画像を生成する擬似画像生成手段と、
   前記擬似画像生成手段で生成した物体の擬似画像を前記第２の撮像手段から見た物体の擬似画像に視点変換する画像変換手段と、
   前記画像変換手段で変換した物体の擬似画像と前記第２の撮像手段により前記共有の撮像可能範囲内で撮像した物体の像とを比較し、二つの像のずれ量が所定値未満か否かを判定する判定手段とを備え、
   前記判定手段により二つの像のずれ量が所定値未満と判定された場合に、前記第１の撮像手段と前記第２の撮像手段とにより前記共有の撮像可能範囲内で撮像した物体は同一物体であるとすることを特徴とする障害物検出装置。
2. 請求項１に記載の障害物検出装置において、
   前記擬似画像生成手段は、前記第１の撮像手段の撮像画像に基づいて前記共有の撮像可能範囲内で撮像した物体までの距離を推定する距離推定手段と、
   前記推定距離に前記物体が存在するものとして前記物体の仮の擬似画像を生成する仮の擬似画像生成手段と、
   前記物体の仮の擬似画像を前記第１の撮像手段により前記共有の撮像可能範囲内で撮像した実際の物体の像と比較する比較手段とを有し、
   前記推定距離を変更しながら前記物体の仮の擬似画像を生成し、前記物体の仮の擬似画像と前記実際の物体の像との比較結果が一致したときの前記物体の仮の擬似画像を最終的な前記物体の擬似画像とすることを特徴とする障害物検出装置。

Images