JP2007038749A - 車両周辺監視装置及び車両周辺監視方法 - Google Patents

Abstract

【課題】地面から高い位置に存在する障害物を俯瞰画像上において正しい位置に表示することのできる車両周辺監視装置を提供する。
【解決手段】本発明の車両周辺監視装置１は、自車の周囲の映像を撮像し、撮像する領域がオーバーラップしている複数の撮像部２と、複数の撮像部２によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理部３と、画像処理部３によって推測された障害物の位置を表示する表示部４とを備えていることを特徴とする。
【選択図】図１

Description

本発明は自車の周囲を監視する車両周辺監視装置に係り、特に地面から高い位置に存在する障害物を俯瞰画像上において正しい位置に表示するための車両周辺監視装置及びその方法に関する。

従来、車両の周囲をカメラで撮影し、この画像を俯瞰画像に変換して運転者に提示し、縦列駐車を行う場合などに運転者を支援することが行なわれてきた。しかし、カメラで撮影した画像を俯瞰画像に変換すると、全ての物体が基準面（通常は地面）の高さにあると仮定して変換を行っているために、立体的な障害物などはカメラから離れる方向に倒れているように歪曲して表示される現象が起きる。この現象は、視点変換の原理に起因するものであり、カメラの取り付け精度などによって起因するものではない。特に、他車両のバンパーなどのように地面とは接していない障害物は、実際の位置よりもカメラから離れているように見えてしまう。そのため、地面に接地していない障害物がある場合には、自車と障害物との距離を俯瞰画像のみから判断することは難しく、運転者は意図しているよりも障害物の近くに接近してしまう可能性がある。

そこで、従来ではセンサを設置して対象物の外縁を推定し、この対象物の外縁を俯瞰画像中に表示して対象物までの実際の距離を運転者に提示するようにしていた。このような車両周囲表示装置の従来例として、例えば特開２００４−３５４３２６号公報（特許文献１）が開示されている。

この従来例では、カメラの画像を俯瞰画像に変換するとともに、距離測定センサによって車両周囲の対象物までの距離を繰り返し検出して対象物の外縁を推定し、推定した対象物の外縁を俯瞰画像上に重畳して表示していた。
特開２００４−３５４３２６号公報

しかしながら、上述した従来の車両周囲表示装置では、距離測定センサによって検出される対象物の情報が点情報であるために、連続した外縁を描くためには車両を移動させる必要があり、瞬時に外縁情報を表示することができないので、対象物の位置を正確に運転者へ表示できない場合が発生してしまうという問題点があった。

また、対象物が移動体である場合には、時間の経過とともに過去の位置情報に差異が生じ、さらに対象物の位置を正確に運転者へ表示できなくなる場合があった。

したがって、上述した従来の車両周囲表示装置では、距離測定センサを設置しているにも関わらず、運転者に対して自車の周囲の状況を正確に提示することができなかった。

上述した課題を解決するために、本発明に係る車両周辺監視装置は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視装置であって、自車の周囲の映像を撮像し、撮像する領域がオーバーラップしている複数の撮像手段と、前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理手段と、前記画像処理手段によって推測された前記障害物の位置を表示する表示手段とを備えていることを特徴とする。

また、本発明に係る車両周辺監視方法は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視方法であって、撮像する領域がオーバーラップしている複数の撮像手段によって自車の周囲の映像を撮像する撮像ステップと、前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理ステップと、前記画像処理ステップによって推測された前記障害物の位置を表示する表示ステップとを含むことを特徴とする。

本発明に係る車両周辺監視装置及びその方法では、撮像する領域がオーバーラップしている複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測するので、ソナーなどの障害物を検出するためのセンサを用いることなく、障害物が存在する可能性が高い位置を推測して運転者に提示することができる。これによって、運転者は高い精度で障害物の位置を把握することができ、地面に接していない障害物の位置についても正確に認知することができる。

＜第１の実施形態＞
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は本実施形態に係る車両周辺監視装置の構成を示すブロック図である。

図１に示すように、本実施形態の車両周辺監視装置１は、自車の周囲の映像を撮像し、撮像する領域がオーバーラップしている複数の撮像部（撮像手段）２と、撮像部２によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理部（画像処理手段）３と、画像処理部３によって推測された障害物の位置を表示する表示部（表示手段）４とから構成されている。

ここで、撮像部２は、自車の周囲を撮像する広角カメラなどの撮像手段であって、ここでは図２に示すように車両の後方に配置された２台のカメラＣａｍ１、Ｃａｍ２によって構成されている。これらのカメラＣａｍ１、Ｃａｍ２は図２の矢印で示す方向に撮像し、撮像領域はオーバーラップしている。図２では車両後方の領域が全てオーバーラップ領域となっている。

画像処理部３は、撮像部２を構成するカメラの特性と、地面に対するカメラの取付角度及び地面との距離に基づいて画像処理を行い、撮像された画像を俯瞰画像に変換している。ここで、俯瞰画像への変換方法を図３に基づいて説明する。図３に示すように、地面の位置Ｃ１、Ｃ２から上方へ特定の高さの位置にカメラＣａｍ１、Ｃａｍ２が設置されている。それぞれのカメラＣａｍ１、Ｃａｍ２によって位置Ｈ０に存在する地面とは直接接していない障害物Ｈを撮像し、カメラＣａｍ１の映像を俯瞰画像に変換すると、障害物Ｈは位置Ｈ０ではなく位置Ｈ１に存在しているように表示される。カメラＣａｍ１は自車に搭載されており、位置Ｈ１は位置Ｈ０よりも自車から離れた場所に位置しているため、俯瞰画像上において障害物は実際の位置よりも遠くに離れているように見えてしまう。これはカメラＣａｍ２についても同様である。ここで、実際の俯瞰画像である図４を例にして説明すると、左下に見える車両は自車後方１ｍを示す補助線４１の位置に存在しているように見えるが、実際はもっと近い位置に存在している。こうして俯瞰画像への変換が行なわれると、次に画像処理部３は変換した複数の俯瞰画像を比較することによって、障害物の位置を推測している。

表示部８は、自車の車室内、とくにダッシュボードなどの運転者の視野内に設置された液晶モニターなどの表示装置であって、画像処理部３によって生成された画像を運転者に向けて提示している。

次に、本実施形態の車両周辺監視装置１による車両周辺監視処理を図５のフローチャートに基づいて説明する。尚、ここでは図６に示すようにカメラＣ１とカメラＣ２が自車後方に設置され、円柱上の障害物が地面に対して宙に浮いている状態で存在している場合を例にして説明する。ただし、説明の都合により単純な形状の円柱を例にして説明するが、実際の世界では円柱を他車のバンパーなどに置き換えて考えればよい。

まず、カメラＣ２で撮像された画像を画像変換し（Ｓ５０１）、俯瞰画像を生成すると、図７の俯瞰画像が得られる。同様に、カメラＣ１で撮像された画像を画像変換すると（Ｓ５０２）、図８の俯瞰画像が得られる。

そして、これらの俯瞰画像を通常の方式で１：１の割合で合成すると（Ｓ５０３）、図９の俯瞰画像が得られる。この俯瞰画像では、自車９１の位置に対して円柱の画像９２は実際の位置よりも離れているように表示されている。

次に、円柱が反射率の低い表面素材や色等でできていると仮定してカメラＣ１の俯瞰画像とカメラＣ２の俯瞰画像との差分を計算して一致領域と非一致領域とに分割する（Ｓ５０４）。ここでは、カメラＣ２の俯瞰画像である図７とカメラＣ１の俯瞰画像である図８との差分を計算すると、図１０に示す画像が出力され、図１０では一致領域１０１と非一致領域１０２に分割されている。この一致領域とは２つの俯瞰画像をブレンドした場合に画像が一致する領域のことであり、図１０では地面と、物体が交わった領域とが一致領域となっている。また、非一致領域とは２つの俯瞰画像をブレンドした場合に画像が一致しない領域のことであり、図１０ではいずれかのカメラで撮像された円柱の画像のうち重ならない領域が非一致領域となっている。

こうして差分が計算され、一致領域と非一致領域とに分割できたら、これら一致領域と非一致領域との境界線であるエッジの抽出を行なう（Ｓ５０５）。

そして、カメラＣ１とカメラＣ２とを結んだ線に対して平行な線を、図１１に示すように基準線Ｌとして設定する（Ｓ５０６）。基準線Ｌが設定されたら、次に基準線Ｌと境界線との交点を求め、求められた交点の中から２つの交点のペアＫ１、Ｋ２を抽出する（Ｓ５０７）。そして、抽出した交点Ｋ１とカメラＣ１の位置とを接続する接続線を引き、同様に交点Ｋ２とカメラＣ２の位置とを接続する接続線を引いて、これら２本の接続線が交差する交差点Ｘを求めて記憶する（Ｓ５０８）。この処理を繰り返し行って交差点Ｘの集合を求めると、図１１の中央にある円弧上の曲線が得られる。この曲線は円柱の実際の位置と一致している。

ところが、交点Ｋ１、Ｋ２の選び方によっては、交差点Ｘの集合が図１２の線分１２１ように円柱の実際の位置とは異なる位置になってしまう場合がある。このような交差点Ｘの集合も、通常の俯瞰画像よりも実際の障害物の位置に近い場合が多いため、この交差点Ｘの集合も表示することが有効な場合が多い。しかしながら、ノイズとなり表示画面が分かりにくくなる場合もあるので、このようなノイズを減らすためにいくつかの方法がある。

まず、図１２に示すように、交差点Ｘが同一の直線上に複数存在する場合には、自車に最も近い交差点Ｘのみを表示するようにする。この方法によって推測される障害物の位置は図１３に示すようになる。実際には最も近い障害物と接触することを防げればよいので、この処理によって障害物との接触防止という効果が損なわれることはなく、ノイズを減らすことができるので表示画面を見やすくすることができる。

また、他の方法としては一致領域と非一致領域との境界線を求めた後に、その境界線がクロスする個所でセグメントに分割し、Ｋ１とＫ２を必ず異なるセグメントから選ぶようにするというものがある。例えば、図１４（ａ）及び図１４（ｂ）に示すように境界線がクロスする箇所１４１でセグメントに分割し、基準線Ｌと境界線との交点がＫ１ａ、Ｋ１ｂ、Ｋ２ａ、Ｋ２ｂの４つある場合には、それぞれ異なるセグメントに属する交点をペアにする。さらに、異なるセグメント同士の同じ側の交点（または異なるセグメント同士の例えば左側から数えて同じ順番にある交点）をペアにすると定義すれば、障害物の同じ位置を表す交点Ｋ１ａとＫ２ａ、Ｋ１ｂとＫ２ｂをそれぞれペアにすることができる。

この方法では、全てのセグメントが必ず一つのカメラと対応していて、同時に２つのカメラと対応するセグメントは存在しないという原理を利用したもので、これによりノイズを除去することが可能になる。

こうして求められた交差点Ｘの集合をステップＳ５０３で合成した俯瞰画像上に重畳表示して出力すると（Ｓ５０９）、図１５に示すような画像が出力されて本実施形態の車両周辺監視装置１による車両周辺監視処理を終了する。

図１５に示すように、通常の方法で変換された俯瞰画像だけでは、自車後方の車両は距離ｍの位置にあるように表示されているが、本実施形態の車両周辺監視装置１は距離ｎの位置に車両が存在していると推測してその位置を表示している。このように、本実施形態の車両周辺監視装置１では障害物の位置を検出する精度が向上していることが分かる。

また、障害物が単純な境界線を持つ場合には、前述したノイズの処理が不要であり、より簡単に計算することができる。例えば、図１６（ａ）及び図１６（ｂ）に示すように空中に浮いている状態の障害物が簡単な四角形の場合には、右カメラＣ１によって撮像された障害物の俯瞰画像は１点鎖線１６１になり、左カメラＣ２によって撮像された障害物の俯瞰画像は２点鎖線１６２になる。そこで、上述した処理と同様に基準線Ｌとの交点Ｋ１、Ｋ２を設定し、この交点Ｋ１、Ｋ２とカメラＣ１、Ｃ２との接続線を引いて交差点Ｘを求めると、交差点Ｘの集合は点線１６３となって実際の障害物の位置と一致することになる。通常、障害物が車両の場合には、多くの場合このように簡単な処理で障害物の位置を推測することができる。

さらに、上述した方法で説明した図５のフローチャートとは逆の計算手順で障害物の位置を推測してもよい。すなわち、図１７に示すように、まず交差点Ｘの位置を先に仮定し、カメラＣ１、Ｃ２の位置から交差点Ｘに対して接続線を引く。

そして、この接続線が境界線と交わった２点を交点Ｋ１、Ｋ２とし、この交点Ｋ１、Ｋ２を結んだ線がカメラＣ１とカメラＣ２とを結んだ線と並行になれば、仮定した交差点Ｘが、障害物の位置を表す点であると推測できるというものである。

また、上述した車両周辺監視処理において、推測の対象とする障害物の地上高を、例えば高さ６０ｃｍ以下のものに限定してもよい。例えば、車両のバンパーの下端はどんな車種であったとしても殆どの場合６０ｃｍを上回ることはないので、このように処理を限定したとしても、障害物の検出精度には影響がない。また、カメラの高さよりも高い位置にある障害物は俯瞰画像には表示されないので、カメラの取り付け高さを条件としてもよい。

さらに、上述の実施形態では、自車後方に２台のカメラを設置していたが、図１８に示すように４台のカメラを左右のドアミラーと車両前端中央および車両後端中央に設置するようにしてもよい。例えば、左ドアミラーに内蔵されたカメラＣａｍ１の撮像領域と、自車後端中央に取り付けられたカメラＣａｍ２の撮像領域には、自車の左後ろの斜線で囲んだオーバーラップ領域が存在し、この領域に存在する障害物の位置を推測することができる。

上述したように、本実施形態の車両周辺監視装置１では、撮像する領域がオーバーラップしている複数のカメラＣａｍ１、Ｃａｍ２によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測するので、ソナーなどの障害物を検出するためのセンサを用いることなく、障害物が存在する可能性が高い位置を推測して運転者に提示することができる。これによって、運転者は高い精度で障害物の位置を把握することができ、地面に接していない障害物の位置についても正確に認知することができる。

また、本実施形態の車両周辺監視装置１では、俯瞰画像が一致する一致領域と、一致しない非一致領域とに分割し、一致領域と非一致領域との境界線に基づいて障害物の位置を推測するので、２次元の画像処理のみで障害物の位置を推測することができ、これによって安価に装置を実現することができる。特に、いわゆるステレオカメラと比べると、異なるカメラの映像に対してピクセル毎の対応付けを取る必要がないので、カメラの向きの正確なキャリブレーション処理を必要としないことと、複雑な３次元処理を必要としないというメリットがある。

さらに、本実施形態の車両周辺監視装置１では、複数のカメラの位置によって決まる基準線を設定し、この基準線と境界線との２つの交点を求め、これらの交点とカメラの位置とを接続した接続線を引き、これらの接続線が交差する交差点を求め、この交差点の集合を障害物の位置として推定するので、２次元の画像処理のみで障害物の位置を推測することができ、これによって安価に装置を実現することができる。

また、本実施形態の車両周辺監視装置１では、境界線がクロスする箇所でセグメントに分割し、基準線と境界線との２つの交点をそれぞれ異なるセグメントから抽出するので、実際の位置とは異なる位置に障害物があると推測してしまうノイズを除去することができ、見やすい画像を運転者に提示することができる。

さらに、本実施形態の車両周辺監視装置１では、推測した障害物の位置を合成した俯瞰画像上に重畳表示するので、障害物の画像を運転者に提示するとともに、障害物の正確な位置についても運転者に提示することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態を図面に基づいて説明する。本実施形態の車両周辺監視装置は、図１９に示すように自車の前方、後方、両側面に２台ずつ計８台のカメラを設置して自車の周辺全体を監視できるようにしたものである。各カメラの画角は１８０度とする。

本実施形態では、図２０のフローチャートに示すように、自車の前方、後方、両側面の各方向において、それぞれ第１の実施形態で説明した車両周辺監視処理を実行して障害物の位置を推測する。

そして、本実施形態では推測した障害物の位置を第１の実施形態のように合成した俯瞰画像上に重畳表示するのではなく、図２１に示すように推測した障害物の位置のみを運転者に提示するようにしている。図２１では自車に対する障害物２１１、２１２の位置のみを表示している。したがって、図２０のフローチャートでは、図５のフローチャートにおけるステップＳ５０３の俯瞰画像を合成する処理は実施されない。

運転者に対する支援の目的が、白線などに対する駐車位置の精度向上ではなく、自車に対する立体的な障害物の位置を提示することである場合には、推測した障害物の位置を俯瞰画像上に重畳表示する必要はなく、自車と障害物との間の位置関係のみを表示すればよい。そこで、本実施形態では障害物の位置のみを運転者に提示して、より分かりやすい画像を運転者に提供するようにしている。

このように、本実施形態の車両周辺監視装置では、推測した障害物の位置のみを表示するので、シンプルで見やすい表示を運転者に提供することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態を図面に基づいて説明する。本実施形態の車両周辺監視装置では、設置された複数のカメラの中から障害物の存在の有無や、障害物の位置に応じてカメラを選択し、選択したカメラの画像を運転者に提示するようにしたことが第１の実施形態と異なっている。第１の実施形態では、複数のカメラで撮像した俯瞰画像を１：１の比率で合成していたので、合成した俯瞰画像が全体的にボケてしまったり、ノイズが加わっているように見えてしまう場合がある。そこで、本実施形態では障害物の有無や位置に応じて、１つのカメラの画像のみを使用したり、あるいは領域を分けてそれぞれの領域毎に画像を合成する比率を変化させたりしている。

これにより、推測した障害物の位置に応じて最適なカメラを選択することができるので、障害物を認識しやすく、歪曲の少ない高画質な画像を運転者に提示することができる。

ここで、本実施形態の車両周辺監視処理を図２２のフローチャートに基づいて説明する。図２２に示すように、本実施形態の車両周辺監視処理では、ステップＳ２２０３におけるカメラの選択と合成の処理が第１の実施形態と異なっており、その他の処理は第１の実施形態と同様の処理が実行される。したがって、ステップＳ２２０３における処理についてのみ詳しく説明し、その他の処理については説明を省略する。

ステップＳ２２０３では、ステップＳ２２０４〜Ｓ２２０８の処理によって障害物の位置が推測されると、障害物の存在の有無及び存在する位置に基づいてカメラＣａｍ１、Ｃａｍ２のいずれかの画像を選択して合成する。

まず、図２３に示すようにカメラＣａｍ１、Ｃａｍ２の撮像領域を領域１と領域２に分割しておく。そして、障害物が領域１にも領域２にも存在しない場合には領域１及び領域２のいずれの領域についてもカメラＣａｍ１の俯瞰画像を運転者に提示する。

また、障害物が領域１のみに存在する場合にもカメラＣａｍ１の俯瞰画像に推測した障害物の位置を重畳表示して運転者に提示する。

一方、障害物が領域２のみに存在する場合には、領域１も領域２もカメラＣａｍ２の俯瞰画像を使用し、この俯瞰画像に推測した障害物の位置を重畳表示して運転者に提示する。

また、障害物が領域１にも領域２にも存在する場合には、領域１ではカメラＣａｍ１とカメラＣａｍ２の画像を７０：３０の比率で合成した俯瞰画像を使用し、領域２では３０：７０の比率で合成した俯瞰画像を使用して、合成した俯瞰画像を生成する。そして、この俯瞰画像に推測した障害物の位置を重畳表示して運転者に提示する。

このようなカメラ選択アルゴリズムを使用して俯瞰画像を生成することにより、障害物が存在しない場合は各ピクセルの色は一つのカメラの画像のみから計算されるので、俯瞰画像の画質の劣化を防ぐことができる。

また、ここでは合成する比率を７０：３０、あるいは３０：７０の場合を一例として説明したが、障害物に近い側のカメラで撮像した俯瞰画像の合成比率を高くし、遠い側を低くすることにより、両方のカメラの俯瞰画像を表示しつつも、画像の歪み等の少ない近い側の画像を強調して提示することができる。

このように、本実施形態の車両周辺監視装置では、障害物に最も近いカメラで撮像した俯瞰画像上に推測した障害物の位置を表示するので、画像の歪み等の少ない最も近いカメラの画像を利用することができ、高画質の画像を運転者に提供することができる。

また、本実施形態の車両周辺監視装置では、複数の俯瞰画像を合成するときにカメラの撮像領域に応じて合成する比率を変化させるので、画像の歪み等の少ない近い側の画像を強調して合成することができ、より高画質の画像を運転者に提供することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態を図面に基づいて説明する。本実施形態の車両周辺監視装置による車両周辺監視処理を図２４のフローチャートに基づいて説明する。図２４に示すように、本実施形態の車両周辺監視処理では、ステップＳ２４０４においてカメラＣ２の俯瞰画像を斜めに僅かにずらしてからステップＳ２４０５における差分計算を行なうようにしたことが第１の実施形態と異なっており、その他の処理は第１の実施形態と同様の処理が実行される。

上述した第１の実施形態の方法では、障害物の形状によっては障害物の位置を正確に推測できない場合があった。そこで、本実施形態では一方のカメラの画像を僅かにずらしてから差分計算を行なうようにしている。

例えば、図２５に示すような直方体形状の障害物２５１が自車後方に存在する場合には、カメラＣ２で撮像された画像を画像変換して（Ｓ２４０１）俯瞰画像を生成すると、図２６に示すような俯瞰画像が得られる。同様に、カメラＣ１で撮像された画像を画像変換して（Ｓ２４０２）俯瞰画像を生成すると、図２７に示すような俯瞰画像が得られる。

ここで、第１の実施形態の方法で、これら２つの俯瞰画像の差分を求めると、一致領域と非一致領域との境界線は図２８の長方形２８１、２８２となる。しかし、差分計算によって抽出した境界線に基準線Ｌと平行になる部分が存在してしまうために、そのような境界線部分では基準線Ｌとの交点は、その境界線全体に添って存在することになる。したがって、このような場合に第１の実施形態の方法で障害物の位置を推測すると、図２９に示すように推測された障害物の位置２９１は実際の障害物とは異なる線になってしまう。さらに、推測された障害物の位置を俯瞰画像に重畳して表示すると、図３０のような俯瞰画像となり、障害物の位置の分かりにくい俯瞰画像になってしまう。

そこで、本実施形態の車両周辺監視処理では、ステップＳ２４０４においてカメラＣ２の俯瞰画像を斜めに僅かにずらしてから差分計算を行なうようにしている。この処理によって、障害物の中央の境界線が消えてしまうことを防げるので、障害物の位置は図３１に示すように推測することができ、推測された障害物の位置を俯瞰画像に重畳して表示すると、図３２のような俯瞰画像となって障害物の位置を連続した線として推測することができる。なお、図３２で示す推測した障害物の位置は実際の障害物の位置よりも車両側に表示されるので、より安全な表示となる。

ただし、この処理を行なった場合でも基準線Ｌに対して境界線が平行となる部分が残ってしまうため、図３２で推測した障害物の位置を示す線は実際の障害物とは異なる斜めの線として表示されてしまう。そこで、障害物の位置を実際の位置に合わせるためには、基準線を平行線ではなく、わずかに傾けた線とすることも有効である。

あるいは、１つの交点Ｋ１に対して交点Ｋ２を特定できない場合には、図３３に示すように、ずらして合成された俯瞰画像において角となる点Ｋ１ａ、Ｋ２ａ、Ｋ１ｂ、Ｋ２ｂを特徴点として設定し、この特徴点から推測された障害物の位置Ｘａ、Ｘｂを結ぶ線を書き込んで、この線分３３１を障害物の位置として推測することも有効である。

このように、本実施形態の車両周辺監視装置では、複数の俯瞰画像のうち少なくとも１つの俯瞰画像の位置をずらして障害物の位置を推測するので、障害物の位置を推測することが困難になるような形状を障害物がしている場合でも、俯瞰画像をずらして処理を実行することによって、障害物の位置を推測して運転者に提示することが可能になる。

また、本実施形態の車両周辺監視装置では、複数の俯瞰画像における特徴点を設定し、この特徴点に基づいて障害物の位置を推測するので、障害物の位置を推測することが困難になるような形状を障害物がしている場合でも、俯瞰画像をずらしたときに現れる特徴点に基づいて処理を実行することによって、障害物の位置や形状をより正確に推測して運転者に提示することが可能になる。

以上、本発明の車両周辺監視装置について、図示した実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。

車両の周囲を監視する車両周辺監視装置に係り、特に地面から高い位置に存在する障害物を俯瞰画像上において正しい位置に表示するための技術として極めて有用である。

本発明の第１の実施形態に係る車両周辺監視装置の構成を示すブロック図である。 本発明の第１の実施形態に係る車両周辺監視装置のカメラの配置を示す図である。 俯瞰画像を生成するための視点変換の原理と、その課題を説明するための図である。 俯瞰画像を生成するための視点変換の原理による課題を説明するための実際の俯瞰画像である。 本発明の第１の実施形態に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。 自車後方に存在している障害物の一例を示す図である。 自車後方に存在している障害物の画像を変換した俯瞰画像を説明するための図である。 自車後方に存在している障害物の画像を変換した俯瞰画像を説明するための図である。 ２台のカメラによる俯瞰画像を合成することによって生成した俯瞰画像を示す図である。 合成した俯瞰画像における一致領域と非一致領域とを説明するための図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を示す図である。 図１４（ａ）及び図１４（ｂ）は第１の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を示す実際の俯瞰画像である。 図１６（ａ）及び図１６（ｂ）は第１の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。 本発明の第１の実施形態に係る車両周辺監視装置のカメラの配置の一例を示す図である。 本発明の第２の実施形態に係る車両周辺監視装置のカメラの配置を示す図である。 本発明の第２の実施形態に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。 第２の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を示す図である。 本発明の第３の実施形態に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。 ２台のカメラによる撮像領域を説明するための図である。 本発明の第４の実施形態に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。 自車後方に存在している障害物の一例を示す図である。 自車後方に存在している障害物の画像を変換した俯瞰画像を説明するための図である。 自車後方に存在している障害物の画像を変換した俯瞰画像を説明するための図である。 ２台のカメラによる俯瞰画像を差分計算することによって生成した俯瞰画像を示す図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を示す図である。 第１の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を重畳表示した俯瞰画像を示す図である。 第４の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を示す図である。 第４の実施形態に係る車両周辺監視処理による障害物の位置の推測結果を重畳表示した俯瞰画像を示す図である。 第４の実施形態に係る車両周辺監視処理による障害物の位置の推測方法を説明するための図である。

符号の説明

１ 車両周辺監視装置
２ 撮像部（撮像手段）
３ 画像処理部（画像処理手段）
４ 表示部（表示手段）
Ｃ１、Ｃ２、Ｃａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４、Ｃａｍ５、Ｃａｍ６、Ｃａｍ７、Ｃａｍ８ カメラ
Ｈ０ 障害物の位置
Ｈ、２１１、２１２、２５１、２９１ 障害物
４１ 補助線
１０１ 一致領域
１０２ 非一致領域
Ｋ１、Ｋ２、Ｋ１ａ、Ｋ１ｂ、Ｋ２ａ、Ｋ２ｂ 交点
Ｌ 基準線
Ｘ 交差点
９１ 自車
９２ 円柱の画像
１２１、３３１ 線分
１４１ 境界線がクロスする箇所
１６１ １点鎖線
１６２ ２点鎖線
１６３ 点線
２８１、２８２ 長方形

Claims (20)

1. 自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視装置であって、
   自車の周囲の映像を撮像し、撮像する領域がオーバーラップしている複数の撮像手段と、
   前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理手段と、
   前記画像処理手段によって推測された前記障害物の位置を表示する表示手段と
   を備えていることを特徴とする車両周辺監視装置。
2. 前記画像処理手段は、前記複数の俯瞰画像を比較して前記俯瞰画像が一致する一致領域と、一致しない非一致領域とに分割し、前記一致領域と前記非一致領域との境界線に基づいて前記障害物の位置を推測することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記画像処理手段は、前記複数の撮像手段の位置によって決まる基準線を設定し、この基準線と前記境界線との２つの交点を求め、これらの交点と前記撮像手段の位置とを接続した接続線を引き、これらの接続線が交差する交差点を求め、この交差点の集合を前記障害物の位置として推定することを特徴とする請求項２に記載の車両周辺監視装置。
4. 前記画像処理手段は、前記境界線がクロスする箇所でセグメントに分割し、前記２つの交点をそれぞれ異なるセグメントから抽出することを特徴とする請求項３に記載の車両周辺監視装置。
5. 前記画像処理手段は、前記複数の俯瞰画像のうち少なくとも１つの俯瞰画像の位置をずらして前記障害物の位置を推定することを特徴とする請求項１から請求項４のいずれか１項に記載の車両周辺監視装置。
6. 前記画像処理手段は、前記複数の俯瞰画像における特徴点を設定し、この特徴点に基づいて前記障害物の位置を推定することを特徴とする請求項１から請求項５のいずれか１項に記載の車両周辺監視装置。
7. 前記画像処理手段は、推測した前記障害物の位置を前記複数の俯瞰画像を合成した俯瞰画像上に重畳表示することを特徴とする請求項１から請求項６のいずれか１項に記載の車両周辺監視装置。
8. 前記画像処理手段は、前記複数の俯瞰画像を合成するときに前記撮像手段の撮像領域に応じて合成する比率を変化させることを特徴とする請求項７に記載の車両周辺監視装置。
9. 前記画像処理手段は、推測した前記障害物の位置のみを表示することを特徴とする請求項１から請求項６のいずれか１項に記載の車両周辺監視装置。
10. 前記画像処理手段は、推測した前記障害物の位置を、前記障害物に最も近い撮像手段によって撮像された俯瞰画像上に表示することを特徴とする請求項１から請求項６のいずれか１項に記載の車両周辺監視装置。
11. 自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視方法であって、
    撮像する領域がオーバーラップしている複数の撮像手段によって自車の周囲の映像を撮像する撮像ステップと、
    前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、これら複数の俯瞰画像を比較することによって障害物の位置を推測する画像処理ステップと、
    前記画像処理ステップによって推測された前記障害物の位置を表示する表示ステップと
    を含むことを特徴とする車両周辺監視方法。
12. 前記画像処理ステップは、前記複数の俯瞰画像を比較して前記俯瞰画像が一致する一致領域と、一致しない非一致領域とに分割し、前記一致領域と前記非一致領域との境界線に基づいて前記障害物の位置を推測することを特徴とする請求項１１に記載の車両周辺監視方法。
13. 前記画像処理ステップは、前記複数の撮像手段の位置によって決まる基準線を設定し、この基準線と前記境界線との２つの交点を求め、これらの交点と前記撮像手段の位置とを接続した接続線を引き、これらの接続線が交差する交差点を求め、この交差点の集合を前記障害物の位置として推定することを特徴とする請求項１２に記載の車両周辺監視方法。
14. 前記画像処理ステップは、前記境界線がクロスする箇所でセグメントに分割し、前記２つの交点をそれぞれ異なるセグメントから抽出することを特徴とする請求項１３に記載の車両周辺監視方法。
15. 前記画像処理ステップは、前記複数の俯瞰画像のうち少なくとも１つの俯瞰画像の位置をずらして前記障害物の位置を推定することを特徴とする請求項１１から請求項１４のいずれか１項に記載の車両周辺監視方法。
16. 前記画像処理ステップは、前記複数の俯瞰画像における特徴点を設定し、この特徴点に基づいて前記障害物の位置を推定することを特徴とする請求項１１から請求項１５のいずれか１項に記載の車両周辺監視方法。
17. 前記画像処理ステップは、推測した前記障害物の位置を前記複数の俯瞰画像を合成した俯瞰画像上に重畳表示することを特徴とする請求項１１から請求項１６のいずれか１項に記載の車両周辺監視方法。
18. 前記画像処理ステップは、前記複数の俯瞰画像を合成するときに前記撮像手段の撮像領域に応じて合成する比率を変化させることを特徴とする請求項１７に記載の車両周辺監視方法。
19. 前記画像処理ステップは、推測した前記障害物の位置のみを表示することを特徴とする請求項１１から請求項１６のいずれか１項に記載の車両周辺監視方法。
20. 前記画像処理ステップは、推測した前記障害物の位置を、前記障害物に最も近い撮像手段によって撮像された俯瞰画像上に表示することを特徴とする請求項１１から請求項１６のいずれか１項に記載の車両周辺監視方法。