JP2010245803A - 画像処理装置 - Google Patents

Abstract

【構成】カメラＣ＿１〜Ｃ＿４のうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野ＶＷ＿３４を部分的に有し、かつ路面に対して斜めに交差する方向の被写界を捉える。ＣＰＵは、カメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像Ｐ＿３およびＰ＿４を取り込み、路面の上方から被写界を捉えた状態を表す鳥瞰画像を取り込まれた被写界像Ｐ＿３およびＰ＿４に基づいて作成する。ＣＰＵはまた、共通視野ＶＷ＿３４に障害物が存在するとき、鳥瞰画像上の障害物画像の姿勢を、カメラＣ＿３およびＣ＿４と障害物との位置関係に基づいて調整する。
【効果】共通視野ＶＷ＿３４における障害物の再現性が向上する。
【選択図】図３

Description

この発明は、画像処理装置に関し、特に、基準面に対して斜めに交差する方向の被写界を捉えるカメラから出力された被写界像に基づいて基準面の上方から被写界を捉えた状態を表す鳥瞰画像を作成する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、４つのカメラは、隣り合う２つのカメラの視野が部分的に共通するように車両に搭載される。車両の周囲はこのようなカメラによって捉えられ、各々のカメラから出力された被写界像は鳥瞰画像に変換される。

変換された鳥瞰画像のうち共通視野に対応する部分画像上には、境界線が割り当てられる。４つのカメラにそれぞれ対応する４つの鳥瞰画像は、このような境界線を参照したトリミング処理を経て、互いに合成される。ただし、共通視野から障害物（立体物）が検出された場合、境界線の位置は障害物画像を回避するように変更される。これによって、障害物画像の品質が維持される。

特開２００７−１０４３７３号公報

しかし、隣り合う２つのカメラに共通する視野で障害物を捉えた場合、鳥瞰画像の性質上、一方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢は、他方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢と異なる。このため、合成鳥瞰画像に現れた障害物を捉えるカメラが境界線の変更に伴って変更されると、障害物画像の姿勢が不連続に変化してしまう。

それゆえに、この発明の主たる目的は、共通視野における立体物の視認性を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ(C_3, C_4)、複数のカメラからそれぞれ出力された複数の被写界像に基づいて基準面に対する鳥瞰画像を作成する作成手段(S3, S51~S59)、共通視野に存在する立体物と複数のカメラとの位置関係を判別する判別手段(S33~S35)、および作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を判別手段の判別結果に基づいて調整する調整手段(S31, S37, S39, S41~S47, S65)を備える。

好ましくは、判別手段は立体物が複数のカメラから被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、調整手段は複数の基準線に沿うように立体物画像の姿勢を調整する。

ある局面では、既定態様は複数の基準線が互いに平行である態様に相当する。

他の局面では、立体物画像は複数のカメラの１つである基準カメラによって捉えられた立体物の鳥瞰画像に相当し、調整手段は、立体物が複数の基準線によって挟まれる視野に属するとき基準カメラと立体物とを結ぶ線を定義する定義手段(S41)、および定義手段によって定義された線と基準線との間の角度の相違を参照して立体物画像の姿勢を修正する修正手段(S43~S45)を含む。

さらに好ましくは、調整手段は立体物が複数の基準線によって挟まれる視野から外れるとき複数のカメラのうち立体物により近いカメラを基準カメラとして選択する選択手段(S37, S39)を含む。

好ましくは、立体物が特定条件に合致するとき調整手段の調整処理を制限する制限手段(S73)がさらに備えられる。

この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラとの位置関係に基づいて調整される。これによって、立体物とカメラとの位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。 （Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。 全周鳥瞰図画像の作成動作の一部を示す図解図である。 作成された全周鳥瞰図画像の一例を示す図解図である。 表示装置によって表示される運転支援画像の一例を示す図解図である。 車両に取り付けられたカメラの角度を示す図解図である。 カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。 車両とその周辺に存在する障害物の一例を示す図解図である。 運転支援画像の作成動作の他の一部を示す図解図である。 障害物画像を再現する動作の一例を示す図解図である。 障害物画像の再現する動作の他の一例を示す図解図である。 障害物画像の再現する動作のその他の一例を示す図解図である。 （Ａ）は姿勢調整前の障害物画像の再現状態を示す図解図であり、（Ｂ）は姿勢調整後の障害物画像の再現状態を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 調整エリアの割り当て状態の他の一例を示す図解図である。 調整エリアの割り当て状態のその他の一例を示す図解図である。 調整エリアの割り当て状態のさらにその他の一例を示す図解図である。 その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。複数のカメラ１，１，…の各々は、共通視野を部分的に有し、かつ基準面に斜めに交差する方向の被写界を捉える。作成手段２は、複数のカメラ１，１，…からそれぞれ出力された複数の被写界像に基づいて、基準面に対する鳥瞰画像を作成する。判別手段３は、共通視野に存在する立体物と複数のカメラ１，１，…との位置関係を判別する。調整手段４は、作成手段２によって作成された鳥瞰画像上の立体物画像の姿勢を、判別手段３の判別結果に基づいて調整する。

カメラ１は、基準面に対して斜めに交差する方向の被写界を捉える。このため、基準面の上に立体物が存在する場合、立体物画像は、立体物とカメラ１とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、立体物画像の姿勢は、立体物とカメラ１との位置関係の変化に起因して変化する。

この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラ１，１，…との位置関係に基づいて調整される。これによって、立体物とカメラ１との位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。
［実施例］

図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２に与えられる。

図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前部中央に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右側中央に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後部上側に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左側中央に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１〜Ｃ＿４によって路面に斜め方向に交差する方向から捉えられる。

カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。

図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。

鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。

図４（Ａ）〜図４（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。このような鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。

ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の各々から境界線ＢＬよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４（図５参照）を回転／移動処理によって互いに結合する。この結果、図６に示す全周鳥瞰画像がメモリ１２ｍのワークエリアＷ２内に得られる。

図６において、斜線で示す重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、斜線で示す重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、斜線で示す重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、斜線で示す重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。

運転席に設置された表示装置１６は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像Ｄ１をワークエリアＷ２上の全周鳥瞰画像から抽出し、車両１００の上部を模した車両画像Ｄ２を抽出された画像Ｄ１の中央に貼り付ける。この結果、図７に示す運転支援画像がモニタ画面に表示される。

次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。

図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図７に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。

図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。

カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ路面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。

世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と路面との交点を原点Ｏｗとして、路面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。

カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。

カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。

ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。

また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。

また、図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。

路面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。

さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。

撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。

図１０および図１１を参照して、車両１００の左後方の共通視野ＶＷ＿３４に障害物（立体物）２００が存在する場合、カメラＣ＿３で捉えられた障害物は障害物画像ＯＢＪ＿３として鳥瞰画像ＢＥＶ＿３に現れ、カメラＣ＿４で捉えられた障害物は障害物画像ＯＢＪ＿４として鳥瞰画像ＢＥＶ＿３に現れる。

障害物画像ＯＢＪ＿３およびＯＢＪ＿４の姿勢は、カメラＣ＿３の視点とカメラＣ＿４の視点との相違に起因して、互いに相違する。つまり、障害物画像ＯＢＪ＿３はカメラＣ＿３と障害物２００の底部とを結ぶ連結線ＣＬ＿３に沿って倒れ込むように再現され、障害物画像ＯＢＪ＿４はカメラＣ＿４と障害物２００の底部とを結ぶ連結線ＣＬ＿４に沿って倒れ込むように再現される。

このような障害物２００を全周鳥瞰画像上で表示するとき、ＣＰＵ１２ｐは、次のような処理を実行する。

処理の前提として、基準線ＲＦ１ａは、カメラＣ＿１から共通視野ＶＷ＿４１に向かって、重複エリアＯＬ＿４１上の境界線ＢＬと平行に延びる。基準線ＲＦ１ｂは、カメラＣ＿１から共通視野ＶＷ＿１２に向かって、重複エリアＯＬ＿１２上の境界線ＢＬと平行に延びる。基準線ＲＦ２ａは、カメラＣ＿２から共通視野ＶＷ＿１２に向かって、重複エリアＯＬ＿１２上の境界線ＢＬと平行に延びる。基準線ＲＦ２ｂは、カメラＣ＿２から共通視野ＶＷ＿２３に向かって、重複エリアＯＬ＿２３上の境界線ＢＬと平行に延びる。

基準線ＲＦ３ａは、カメラＣ＿３から共通視野ＶＷ＿２３に向かって、重複エリアＯＬ＿２３上の境界線ＢＬと平行に延びる。基準線ＲＦ３ｂは、カメラＣ＿３から共通視野ＶＷ＿３４に向かって、重複エリアＯＬ＿３４上の境界線ＢＬと平行に延びる。基準線ＲＦ４ａは、カメラＣ＿４から共通視野ＶＷ＿３４に向かって、重複エリアＯＬ＿３４上の境界線ＢＬと平行に延びる。基準線ＲＦ４ｂは、カメラＣ＿４から共通視野ＶＷ＿４１に向かって、重複エリアＯＬ＿４１上の境界線ＢＬと平行に延びる。

また、調整エリアＢＲＧ＿１２は車両１００の右前方に帯状に延びる態様で重複エリアＯＬ＿１２に割り当てられ、調整エリアＢＲＧ＿２３は車両１００の右後方に帯状に延びる態様で重複エリアＯＬ＿２３に割り当てられる。調整エリアＢＲＧ＿３４は車両１００の左後方に帯状に延びる態様で重複エリアＯＬ＿３４に割り当てられ、調整エリアＢＲＧ＿４１は車両１００の左前方に帯状に延びる態様で重複エリアＯＬ＿４１に割り当てられる。

調整エリアＢＲＧ＿１２の幅方向のエッジは基準線ＲＦ１ｂおよびＲＦ２ａに平行に延び、調整エリアＢＲＧ＿２３の幅方向のエッジは基準線ＲＦ２ｂおよびＲＦ３ａに平行に延びる。また、調整エリアＢＲＧ＿３４の幅方向のエッジは基準線ＲＦ３ｂおよびＲＦ４ａに平行に延び、調整エリアＢＲＧ＿４１の幅方向のエッジは基準線ＲＦ４ｂおよびＲＦ１ａに平行に延びる。

障害物２００を全周鳥瞰画像上に再現するにあたっては、まず、何らかの障害物が存在するか否かが共通視野ＶＷ＿１２〜ＶＷ＿４１の各々について判別される。障害物２００は共通視野ＶＷ＿３４に存在し、対応する障害物画像ＯＢＪ＿３およびＯＢＪ＿４が鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４にそれぞれ再現される。このため、障害物画像ＯＢＪ＿３が鳥瞰画像ＢＥＶ＿３から切り出され、障害物画像ＯＢＪ＿４が鳥瞰画像ＢＥＶ＿４から切り出される。続いて、障害物２００の底部に相当する座標が調整エリアＢＲＧ＿３４に対してどのような位置関係にあるかが判別される。

図１２の上段に示すように障害物２００の底部に相当する座標が調整エリアＢＲＧ＿３４よりもカメラＣ＿３側に存在するときは、障害物画像ＯＢＪ＿３が共通視野ＶＷ＿３４における選択画像Ｓ＿３４として決定される。また、図１３の上段に示すように障害物２００の底部に相当する座標が調整エリアＢＲＧ＿３４よりもカメラＣ＿４側に存在するときは、障害物画像ＯＢＪ＿４が共通視野ＶＷ＿３４における選択画像Ｓ＿３４として決定される。

さらに、図１４に示すように、障害物２００の底部に相当する座標が調整エリアＢＲＧ＿３４上に存在するときは、カメラＣ＿４と障害物２００の底部とを結ぶ連結線ＣＬ＿４が鳥瞰画像ＢＥＶ＿４上で定義される。さらに、定義された連結線ＣＬ＿４の角度と共通視野ＶＷ＿３４に割り当てられた境界線ＢＬの角度（つまり基準線ＲＦ３ｂおよびＲＦ４ａの角度）との相違が、“Δθ”として算出される。

障害物画像ＯＢＪ＿４の姿勢は、算出された相違Δθを参照して、境界線ＢＬ（つまり基準線ＲＦ３ｂおよびＲＦ４ａ）に沿うように修正される。このような修正処理の結果、障害物画像ＯＢＪ＿４が倒れ込む方向は、図１４の下段に示すように、境界線ＢＬ（つまり基準線ＲＦ３ｂおよびＲＦ４ａ）の長さ方向と一致する。修正された姿勢を有する障害物画像ＯＢＪ＿４はその後、共通視野ＶＷ＿３４における選択画像Ｓ＿３４として決定される。

なお、障害物２００の底部に相当する座標が図１５（Ａ）に示す要領で調整エリアＢＲＧ＿３４内を遷移したとき、障害物画像ＯＢＪ＿４の姿勢は図１５（Ｂ）に示す要領で修正される。

全周鳥瞰画像を作成するにあたっては、境界線ＢＬよりも外方の画像が鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の各々から削除され、削除の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４が互いに結合される（図５〜図６参照）。選択画像Ｓ＿３４は結合画像に貼り付けられ、これによって全周鳥瞰画像が完成する。完成した全周鳥瞰画像の重複エリアＯＬ＿３４には、図１２の下段，図１３の下段または図１４の下段に示す要領で障害物画像ＯＢＪ＿３またはＯＢＪ＿４が再現される。

ＣＰＵ１２ｐは、具体的には図１６〜図２１に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。

図１６に示すステップＳ１では、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ５では、障害物検知処理を実行する。ステップＳ７では、ステップＳ３で作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアＷ２に確保される。表示装置１６のモニタ画面には、ワークエリアＷ２に確保された全周鳥瞰画像に基づく運転支援画像が表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。

ステップＳ５に示す障害物検知処理は、図１７〜図１８に示すサブルーチンに従う。まずステップＳ１１で変数ＭおよびＮをそれぞれ“１”および“２”に設定する。ここで、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは“２”→“３”→“４”→“１”の順で更新される変数である。

ステップＳ１３では、カメラＣ＿Ｍの出力に基づく鳥瞰画像ＢＥＶ＿ＭとカメラＣ＿Ｎの出力に基づく鳥瞰画像ＢＥＶ＿Ｎとに基づいて、共通視野ＶＷ＿ＭＮにおける差分画像を作成する。ステップＳ１５では、共通視野ＶＷ＿ＭＮに障害物が存在するか否かを、ステップＳ１３で作成された差分画像に基づいて判別する。

共通視野ＶＷ＿ＭＮから障害物が検出されなければ、ステップＳ１７でフラグＦＬＧ＿ＭＮを“０”に設定し、ステップＳ２３に進む。一方、共通視野ＶＷ＿ＭＮから障害物が検出されれば、ステップＳ１９でフラグＦＬＧ＿ＭＮを“１”に設定し、ステップＳ２１で障害物画像処理を実行し、その後にステップＳ２３に進む。

ステップＳ２３では、変数Ｍが“４”を示すか否かを判別する。変数Ｍが“４”に満たなければ、変数ＭおよびＮをステップＳ２５で更新してからステップＳ１３に戻る。これに対して、変数Ｍが“４”であれば、上階層のルーチンに復帰する。

図１７に示すステップＳ２１の障害物画像処理は、図１８〜図１９に示すサブルーチンに従って実行される。まずステップＳ３１で、障害物画像ＯＢＪ＿Ｍを鳥瞰画像ＢＥＶ＿Ｍから切り出すとともに、障害物画像ＯＢＪ＿Ｎを鳥瞰画像ＢＥＶ＿Ｎから切り出す。

ステップＳ３３では、障害物の底部に相当する座標が調整エリアＢＲＧ＿ＭＮよりもカメラＣ＿Ｍ側に存在するか否かを判別する。また、ステップＳ３５では、障害物の底部に相当する座標が調整エリアＢＲＧ＿ＭＮよりもカメラＣ＿Ｎ側に存在するか否かを判別する。

ステップＳ３３でＹＥＳであればステップＳ３７に進み、障害物画像ＯＢＪ＿Ｍを選択画像Ｓ＿ＭＮとして決定する。ステップＳ３３でＮＯである一方、ステップＳステップＳ３５でＹＥＳであれば、ステップＳ３９に進み、障害物画像ＯＢＪ＿Ｎを選択画像Ｓ＿ＭＮとして決定する。ステップＳ３７またはＳ３９の処理が完了すると、上階層のルーチンに復帰する。

ステップＳ３３およびＳ３５のいずれもＮＯであれば、ステップＳ４１以降の処理に進む。ステップＳ４１では、カメラＣ＿Ｎと障害物の底部とを結ぶ連結線ＣＬ＿Ｎを鳥瞰画像ＢＥＶ＿Ｎ上で定義する。ステップＳ４３では、ステップＳ４１で定義された連結線ＣＬ＿Ｎと境界線ＢＬ＿ＭＮとの角度の相違を“Δθ”として算出する。ステップＳ４５では、算出された相違Δθを参照して障害物画像ＯＢＪ＿Ｎの姿勢を修正する。ステップＳ４７では、修正された姿勢を有する障害物画像ＯＢＪ＿Ｎを選択画像Ｓ＿ＭＮとして決定する。ステップＳ４７の処理が完了すると、上階層のルーチンに復帰する。

図１６に示すステップＳ７の全周鳥瞰作成処理は、図２０〜図２１に示すサブルーチンに従う。まずステップＳ５１で変数Ｍを“１”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数である。ステップＳ５３では、境界線よりも外方の画像を鳥瞰画像ＢＥＶ＿Ｍから削除し、ステップＳ５５では変数Ｍが“４”に達したか否かを判別する。変数Ｍが“４”に満たなければ、ステップＳ５７で変数Ｍを更新してからステップＳ５３に戻る。一方、変数Ｍが“４”を示していればステップＳ５９に進み、ステップＳ５３で加工された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を座標変換によって互いに結合する。

結合画像が完成すると、ステップＳ６１で変数ＭおよびＮをそれぞれ“１”および“２”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは“２”→“３”→“４”→“１”の順で更新される変数である。

ステップＳ６３ではフラグＦＬＧ＿ＭＮが“１”であるか否かを判別し、判別結果がＮＯであればそのままステップＳ６７に進む一方、判別結果がＹＥＳであれば選択画像Ｓ＿ＭＮをステップＳ５９で作成された結合画像に貼り付ける。ステップＳ６７では変数Ｍが“４”に達したか否かを判別し、ＮＯであればステップＳ６９で変数ＭおよびＮを更新してからステップＳ６３に戻る一方、ＹＥＳであれば上階層のルーチンに復帰する。

以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４のうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野ＶＷ＿３４を部分的に有し、かつ路面に対して斜めに交差する方向の被写界を捉える。ＣＰＵ１２ｐは、カメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像Ｐ＿３およびＰ＿４を取り込み(S1)、路面に対する鳥瞰画像を取り込まれた被写界像Ｐ＿３およびＰ＿４に基づいて作成する(S3, S7)。ＣＰＵ１２ｐはまた、共通視野ＶＷ＿３４に障害物が存在するとき、鳥瞰画像に現れる障害物画像の姿勢を、カメラＣ＿３およびＣ＿４から被写界に向けて互いに平行に延びる基準線ＲＦ３ｂおよびＲＦ４ａに沿うように調整する(S15, S21)。

カメラＣ＿３およびＣ＿４の各々は、路面に対して斜めに交差する方向の被写界を捉える。このため、路面の上に障害物が存在する場合、障害物画像は、カメラＣ＿３またはＣ＿４と障害物とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、障害物画像の姿勢は、立体物とカメラＣ＿３またはＣ＿４との位置関係の変化に起因して変化する。

この実施例によれば、共通視野ＶＷ＿３４から障害物が検出されたとき、鳥瞰画像に現れる障害物画像の姿勢が、カメラＣ＿３およびＣ＿４から被写界に向けて互いに平行に延びる基準線ＲＦ３ｂおよびＲＦ４ａに沿うように調整される。これによって、障害物とカメラＣ＿３またはＣ＿４との位置関係の変化に起因する障害物画像の姿勢の変化が抑制され、共通視野ＶＷ＿３４における障害物の視認性が向上する。

なお、この実施例では、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を結合するにあたって、境界線ＢＬよりも外方の一部の画像を削除するようにしている（図５参照）。しかし、共通視野を表す２つの部分画像を均等な重み付け量で合成するようにしてもよい。

また、この実施例では、基準線ＲＦＭｂおよびＲＦＮａを重複エリアＯＬ＿ＭＮ上の境界線ＢＬに平行に延ばすようにしている（Ｍ：１→２→３→４，Ｎ：２→３→４→１）。しかし、基準線ＲＦＭｂおよびＲＦＮａは互いに平行であればよく、必ずしも重複エリアＯＬ＿ＭＮ上の境界線ＢＬと平行である必要はない。たとえば、基準線ＲＦ３ｂおよびＲＦ４ａは、図２２に示すように定義するようにしてもよい。

さらに、図２３または図２４に示すように基準線ＲＦＭｂおよびＲＦＮａを互いに平行とならないように延ばす場合には、障害物と境界線ＢＬとの最短距離を算出して図１５のような姿勢調整を行うのが好ましい。

また、この実施例では、共通視野ＶＷ＿ＭＮから障害物が発見されると、障害物の大きさに関係なく、障害物画像処理が実行される（図１７参照）。しかし、障害物が住宅やビルのように巨大である場合、障害物画像の姿勢を修正すると、障害物の再現性が逆に低下するおそれがある。

このような懸念は、図２５に示すステップＳ７１〜Ｓ７３の処理を追加することで解消することができる。図２５を参照して、ステップＳ７１では障害物のサイズを検出し、ステップＳ７３では検出されたサイズが閾値ＴＨｓｚを下回るか否かを判別する。判別結果がＮＯであればステップＳ１９に進み、判別結果がＹＥＳであればステップＳ２１に進む。

また、この実施例では、共通視野ＶＷ＿ＭＮについて作成した差分画像に基づいて共通視野ＶＷ＿ＭＮから障害物を検出するようにしている（図１７のステップＳ１３〜Ｓ１５参照）。しかし、障害物の検出にあたっては、ステレオ視手法またはオプティカルフロー手法を用いてもよく、さらには超音波センサ，ミリ波センサまたはマイクロ波センサを用いるようにしてもよい。

さらに、この実施例では、障害物の底部に相当する座標が調整エリアＢＲＧ＿ＭＮ内に存在するとき、カメラＣ＿Ｎに対応する障害物画像ＯＢＪ＿Ｎの姿勢を修正し、修正された姿勢を有する障害物画像ＯＢＪ＿Ｎを選択画像Ｓ＿ＭＮとして決定するようにしている。

しかし、障害物画像ＯＢＪ＿ＭおよびＯＢＪ＿Ｎのいずれにこのような処理を施すかは、カメラＣ＿ＭおよびＣ＿Ｎの間の高さの相違，カメラＣ＿ＭおよびＣ＿Ｎの各々から障害物までの距離の相違，カメラＣ＿ＭおよびＣ＿Ｎの各々からの障害物の見え方に基づいて決定するようにしてもよい。また、基準線ＲＦＭｂおよびＲＦＮａに沿うように障害物画像ＯＢＪ＿ＭおよびＯＢＪ＿Ｎの両方の姿勢を修正し、修正された姿勢を有する障害物画像ＯＢＪ＿ＭおよびＯＢＪ＿Ｎを合成し、そして合成障害物画像を選択画像Ｓ＿ＭＮとして決定するようにしてもよい。

なお、電柱，標識，自転車，バイク，自動販売機などは、視点によって見え方が明らかに相違する。したがって、電柱，標識，自転車，バイク，自動販売機などの特定の障害物を予め登録しておき、登録障害物については視認性を基準に選択画像を決定するようにすれば、障害物の再現性の低下を回避することができる。

また、この実施例では、鳥瞰画像から切り出した障害物画像を全周鳥瞰画像に貼り付けるようにしている（図１８のステップＳ３１，Ｓ３７，Ｓ３９〜Ｓ４７，図２１のステップＳ６５参照）。しかし、鳥瞰画像への変換を施される前の被写界像に現れた障害物画像を全周鳥瞰画像に貼り付けるようにしてもよい。

上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。

実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。

１０ …操縦支援装置
Ｃ１〜Ｃ４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …メモリ
１４ …フラシュメモリ
１６ …表示装置
１００ …車両
２００ …障害物

Claims (6)

1. 各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ、
   前記複数のカメラからそれぞれ出力された複数の被写界像に基づいて前記基準面に対する鳥瞰画像を作成する作成手段、
   前記共通視野に存在する立体物と前記複数のカメラとの位置関係を判別する判別手段、および
   前記作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を前記判別手段の判別結果に基づいて調整する調整手段を備える、画像処理装置。
2. 前記判別手段は前記立体物が前記複数のカメラから前記被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、
   前記調整手段は前記複数の基準線に沿うように前記立体物画像の姿勢を調整する、請求項１記載の画像処理装置。
3. 前記既定態様は前記複数の基準線が互いに平行である態様に相当する、請求項２記載の画像処理装置。
4. 前記立体物画像は前記複数のカメラの１つである基準カメラによって捉えられた前記立体物の鳥瞰画像に相当し、
   前記調整手段は、前記立体物が前記複数の基準線によって挟まれる視野に属するとき前記基準カメラと前記立体物とを結ぶ線を定義する定義手段、および前記定義手段によって定義された線と前記基準線との間の角度の相違を参照して前記立体物画像の姿勢を修正する修正手段を含む、請求項２または３記載の画像処理装置。
5. 前記調整手段は前記立体物が前記複数の基準線によって挟まれる視野から外れるとき前記複数のカメラのうち前記立体物により近いカメラを前記基準カメラとして選択する選択手段を含む、請求項４記載の画像処理装置。
6. 前記立体物が特定条件に合致するとき前記調整手段の調整処理を制限する制限手段をさらに備える、請求項１ないし５のいずれかに記載の画像処理装置。

Images