JP2010141836A

JP2010141836A - 障害物検知装置

Info

Publication number: JP2010141836A
Application number: JP2008318860A
Authority: JP
Inventors: Nagateru Yo; 長輝楊
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-12-15
Filing date: 2008-12-15
Publication date: 2010-06-24
Also published as: US20100149333A1

Abstract

【構成】カメラＣ＿１〜Ｃ＿４は、地面に斜めに交差する方向の被写界を表す被写界像Ｐ＿１〜Ｐ＿４を繰り返し出力する。ＣＰＵ１２ｐは、被写界像Ｐ＿１〜Ｐ＿４の各々を鳥瞰画像に変換し、変換された鳥瞰画像の画面間における差分を検出する。ＣＰＵ１２ｐはまた、カメラＣ＿１〜Ｃ＿４の撮像面の中心に対応する４つの基準点の各々から地面に平行に延びる連結線軸に沿う一部の差分を、鳥瞰画像の画面間における差分の中から特定する。ＣＰＵ１２ｐはさらに、連結線軸と交差して地面に平行に延びる連結線垂直軸に沿う一部の差分を、鳥瞰画像の画面間における差分の中から特定する。こうして特定された差分が既定条件を満足すれば、ＣＰＵ１２ｐは、障害物の存在を報知するべく、障害物エリアの位置に対応して操縦支援画像に矩形キャラクタを多重する。
【効果】障害物の検知性能が向上する。
【選択図】図１

Description

この発明は、障害物検知装置に関し、特に、自動車のような移動体に設けられて周辺の障害物を検知する、障害物検知装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、車両の周辺の被写界を表す画像が車両に搭載された撮像装置から繰り返し出力される。画像処理ユニットは、撮像装置から出力された２つの画像の各々を鳥瞰画像に変換し、変換された２つの鳥瞰画像に位置合わせを施し、そして位置が合わせられた２つの鳥瞰画像の差分を検出する。検出された差分には、高さのある障害物に相当する成分が現れる。これによって、被写界から障害物を検知することができる。
特開２００６−２６８０７６号公報

しかし、背景技術では、鳥瞰画像への変換処理の誤差や位置合わせ処理の誤差に起因して、障害物の検知精度が低下するおそれがある。

それゆえに、この発明の主たる目的は、動的な障害物の検知精度を向上させることができる、障害物検知装置を提供することである。

この発明に従う障害物検知装置(10：実施例で相当する参照符号。以下同じ)は、基準面に斜めに交差する方向の被写界を捉える撮像手段(C_1~C_4)から繰り返し出力される被写界像を取り込む取り込み手段(S3)、取り込み手段によって取り込まれた被写界像を鳥瞰画像に変換する変換手段(S5)、変換手段によって変換された鳥瞰画像の画面間における差分を検出する検出手段(S15)、撮像面の中心に対応する基準点から基準面に平行に延びる第１軸に沿う一部の差分を検出手段によって検出された差分の中から特定する第１特定手段(S35)、第１軸と交差して基準面に平行に延びる第２軸に沿う一部の差分を検出手段によって検出された差分の中から特定する第２特定手段(S39)、および第１特定手段によって特定された差分と第２特定手段によって特定された差分とが既定条件を満足するとき報知を発生する発生手段(S47~S51)を備える。

取り込み手段は、基準面に斜めに交差する方向の被写界を捉える撮像手段から繰り返し出力される被写界像を取り込む。取り込み手段によって取り込まれた被写界像は、変換手段によって鳥瞰画像に変換される。変換手段によって変換された鳥瞰画像の画面間における差分は、検出手段によって検出される。第１特定手段は、撮像面の中心に対応する基準点から基準面に平行に延びる第１軸に沿う一部の差分を検出手段によって検出された差分の中から特定する。第２特定手段は、第１軸と交差して基準面に平行に延びる第２軸に沿う一部の差分を検出手段によって検出された差分の中から特定する。第１特定手段によって特定された差分と第２特定手段によって特定された差分が既定条件を満足すれば、報知手段によって報知が発生される。

第１特定手段および第２特定手段の各々によって注目される差分は、基準面に斜めに交差する方向において捉えられた被写界像に対応する鳥瞰画像の画面間差分に相当する。したがって、動的な障害物が第１軸に対応する位置に存在するときは、動的な障害物の高さに相当する差分が第１特定手段によって特定され、動的な障害物の幅に相当する差分が第２特定手段によって特定される。一方、基準面に描かれた模様あるいは静的な障害物が第１軸に対応する位置に存在するときは、鳥瞰画像への変換処理の誤差に相当する差分が第１特定手段および第２特定手段によって特定される。こうして特定された差分が既定条件を満足するか否か判別することで、動的な障害物の検知性能が向上する。

好ましくは、基準面に直交するように基準点から延びる基準軸の回転方向における１または２以上の角度の各々に対応して第１軸を定義する第１定義手段(S21~S31)がさらに備えられ、第１特定手段は第１定義手段の定義処理に関連して差分特定処理を実行する。

さらに好ましくは、検出手段によって検出された差分の回転方向における分布状態を表すヒストグラムを作成する作成手段(S17)がさらに備えられ、第１定義手段は作成手段によって作成されたヒストグラムを参照して定義処理を実行する。

好ましくは、第１特定手段によって特定された差分に対応する１または２以上の位置の各々に第２軸を定義する第２定義手段(S37)がさらに備えられ、第２特定手段は第２定義手段の定義処理に関連して差分特定処理を実行する。

好ましくは、第２特定手段によって特定される差分は第２軸に沿って連続的に現れる差分に相当する。

好ましくは、既定条件は、第１特定手段によって特定された差分の大きさが第１閾値を上回り、かつ第２特定手段によって特定された差分の大きさが第２閾値を下回るという条件に相当する。

この発明によれば、第１特定手段および第２特定手段の各々によって注目される差分は、基準面に交差する方向において捉えられた被写界像に対応する鳥瞰画像の画面間差分に相当する。したがって、動的な障害物が第１軸に対応する位置に存在するときは、動的な障害物の高さに相当する差分が第１特定手段によって特定され、動的な障害物の幅に相当する差分が第２特定手段によって特定される。一方、基準面に描かれた模様あるいは静的な障害物が第１軸に対応する位置に存在するときは、鳥瞰画像への変換処理の誤差に相当する差分が第１特定手段および第２特定手段によって特定される。こうして特定された差分が既定条件を満足するか否か判別することで、動的な障害物の検知性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの実施例の操縦支援装置（障害物検知装置）１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して、被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ＳＤＲＡＭ１２ｍのワークエリアＦ１〜Ｆ４に書き込まれる。

図２（Ａ）〜図２（Ｄ）を参照して、操縦支援装置１０は、地面を走行する自動車１００に搭載される。具体的には、カメラＣ＿１は、自動車１００の前方斜め下を向く姿勢で、自動車１００の前部のほぼ中央に設置される。カメラＣ＿２は、自動車１００の右斜め下を向く姿勢で、自動車１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置される。

カメラＣ＿３は、自動車１００の後方斜め下を向く姿勢で、自動車１００の後部の幅方向ほぼ中央でかつ高さ方向上側に設置される。カメラＣ＿４は、自動車１００の左斜め下を向く姿勢で、自動車１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置される。

自動車１００とその周辺の地面とを鳥瞰した状態を図３に示す。図３によれば、カメラＣ＿１は自動車１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は自動車１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は自動車１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は自動車１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。

図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、ワークエリアＦ１に格納された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、ワークエリアＦ２に格納された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、ワークエリアＦ３に格納された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、ワークエリアＦ４に格納された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４もまた、ワークエリアＦ１〜Ｆ４に格納される。

鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。

図４（Ａ）〜図４（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。

ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合するべく、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４を鳥瞰画像ＢＥＶ＿１を基準として回転および／または移動させる。鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４の座標は、図５に示す全周鳥瞰画像を描くように、ワークエリアＦ２〜Ｆ４上で変換される。

図５において、重複エリアＯＬ＿１２は共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３は共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４は共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１は共通視野ＶＷ＿４１を再現するエリアに相当する。

さらに、固有エリアＯＲ＿１は視野ＶＷ１のうち共通視野ＶＷ＿４１およびＶＷ＿１２を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿２は視野ＶＷ２のうち共通視野ＶＷ＿１２およびＶＷ＿２３を除く一部の視野を再現するエリアに相当する。また、固有エリアＯＲ＿３は視野ＶＷ３のうち共通視野ＶＷ＿２３およびＶＷ＿３４を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿４は視野ＶＷ４のうち共通視野ＶＷ＿３４およびＶＷ＿４１を除く一部の視野を再現するエリアに相当する。

自動車１００の運転席に設置された表示装置１４は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する区画ＢＫ１を定義し、定義された区画ＢＬＫ１に属する一部の鳥瞰画像をワークエリアＦ１〜Ｆ４の各々から読み出す。表示装置１４はさらに、読み出された鳥瞰画像を互いに結合し、これによって得られた全周鳥瞰画像の中央に自動車１００の上部を模したグラフィック画像Ｇ１を貼り付ける。この結果、図６に示す操縦支援画像がモニタ画面に表示される。

次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。

図７を参照して、カメラＣ＿３は自動車１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図７に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。

図８は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。

カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。

世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。

カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。

カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。

ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。

また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。

また、図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。

地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。

さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。

撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。

図９を参照して、表面に描かれた模様を有する動的な障害物２００が自動車１００の周辺に存在し、かつ自動車１００の周辺の地面に横断歩道のような模様３００が描かれている場合、障害物２００は、以下に述べる要領で検知される。

この実施例では、自動車１００との間で相対的に動きを示す障害物を“動的な障害物”と定義する。したがって、静止している自動車１００の周辺で動いている障害物，動いている自動車１００の周辺で静止している障害物，自動車１００の移動速度と異なる速度で動いている障害物，或いは自動車１００の移動方向と異なる方向に動いている障害物は、“動的な障害物”とされる。これに対して、静止している自動車１００の周辺で静止している障害物や、自動車１００の移動速度と同じ速度で自動車１００の移動方向と同じ方向に動いている障害物は、“静的な障害物”とされる。

図９に示す状況では、図１０に示す全周鳥瞰画像が上述の区画ＢＫ１に対応して作成される。障害物２００はカメラＣ＿２によって捉えられる立体的な物体であるため、障害物２００の画像はカメラＣ＿２と障害物２００の底部とを結ぶ連結線Ｌに沿って倒れたように再現される。

以下の説明では、図１０に示す全周鳥瞰画像のうち、図５に示す固有エリアＯＲ＿１に対応して再現される一部の画像を“再現画像ＲＥＰ＿１”と定義し、図５に示す固有エリアＯＲ＿２に対応して再現される一部の画像を“再現画像ＲＥＰ＿２”と定義する。同様に、図１０に示す鳥瞰画像のうち、図５に示す固有エリアＯＲ＿３に対応して再現される一部の画像を“再現画像ＲＥＰ＿３”と定義し、図５に示す固有エリアＯＲ＿４に対応して再現される一部の画像を“再現画像ＲＥＰ＿４”と定義する。

また、図１０を参照して、カメラＣ＿１の撮像面の中心に相当する全周鳥瞰画像上の点を“基準点ＲＰ＿１”と定義し、基準点ＲＰ＿１から地面に直交するように延びる軸を“基準軸ＲＡＸ＿１“と定義する。同様に、カメラＣ＿２の撮像面の中心に相当する全周鳥瞰画像上の点を“基準点ＲＰ＿２”と定義し、基準点ＲＰ＿２から地面に直交するように延びる軸を“基準軸ＲＡＸ＿２“と定義する。

さらに、カメラＣ＿３の撮像面の中心に相当する全周鳥瞰画像上の点を“基準点ＲＰ＿３”と定義し、基準点ＲＰ＿３から地面に直交するように延びる軸を“基準軸ＲＡＸ＿３“と定義する。同様に、カメラＣ＿４の撮像面の中心に相当する全周鳥瞰画像上の点を“基準点ＲＰ＿４”と定義し、基準点ＲＰ＿４から地面に直交するように延びる軸を“基準軸ＲＡＸ＿４“と定義する。

画像処理回路１２では、垂直同期信号Ｖｓｙｎｃに応答して変数Ｌが“１”〜“４”の各々に設定され、各々の数値に対応して以下の処理が実行される。

まず、再現画像ＲＥＰ＿Ｌのフレーム間差分を表す差分画像ＤＥＦ＿Ｌが、差分算出処理によって作成される。自動車１００が動いているときは、前フレームの差分画像ＲＥＰ＿Ｌと現フレームの差分画像ＲＥＰ＿Ｌとの間で自動車１００の動きを考慮した位置合わせを行う位置合わせ処理が、差分算出処理に先立って実行される。この結果、図１１（Ａ）に示す再現画像ＲＥＰ＿２については、図１１（Ｂ）に示す差分画像ＤＥＦ＿２が作成される。

障害物２００は立体的であるため、斜め方向から捉えた動的かつ立体的な障害物２００の画像を鳥瞰画像に変換した場合、現フレームにおける障害物２００の鳥瞰画像は、フレーム間の位置合わせに関係なく、前フレームにおける障害物２００の鳥瞰画像と原理的に相違する。したがって、差分画像ＤＥＦ＿２には、障害物２００を表す高輝度成分が明確に現れる。

これに対して、地面に描かれた模様３００は平面的であるため、フレーム間の位置合わせを行えば、現フレームにおける模様３００の鳥瞰画像は、前フレームにおける模様３００の鳥瞰画像と原理的に一致する。しかし、実際には、鳥瞰画像への変換処理の誤差やフレーム間の位置合わせの誤差に起因して、模様３００の輪郭を表す高輝度成分が差分画像ＤＥＦ＿２に現れる。

差分画像ＤＥＦ＿Ｌが作成されると、基準軸ＲＡＸ＿Ｌの回転方向における差分画像ＤＥＦ＿Ｌの輝度分布を表すヒストグラムが作成される。図１１（Ｂ）に示す差分画像ＤＥＦ＿２については、図１２に示すヒストグラムが作成される。

続いて、有意な差分量を連続的に有する１または２以上の角度範囲（角度範囲：基準軸ＲＡＸ＿Ｌの回転方向における角度範囲）が、ヒストグラムから特定される。特定された角度範囲は、動的な障害物が存在するか否かを解析する解析範囲として指定される。図１２によれば、有意な差分量は角度範囲ＡＲ１およびＡＲ２の各々に連続して現れる。したがって、角度範囲ＡＲ１およびＡＲ２の各々が解析範囲として指定される。

指定された解析範囲の大きさは、基準値ＲＥＦと比較される。そして、解析範囲の大きさが基準値ＲＥＦを下回れば、基準点ＲＰ＿Ｌから地面に平行に延びる１つの連結線軸が解析範囲の中央に相当する角度に定義される。これに対して、解析範囲の大きさが基準値ＲＥＦ以上であれば、基準点ＲＰ＿Ｌから地面の平行に延びる複数の連結線軸が解析範囲の全域に均一な角度を隔てて定義される。

この結果、図１２に示す解析範囲ＡＲ１については、角度θ１に対応する１つの連結線軸ＣＬ１が図１３に示す要領で定義される。また、解析範囲ＡＲ２については、角度θ２〜θ５にそれぞれ対応する４つの連結線軸ＣＬ２〜ＣＬ５が図１３に示す要領で定義される。

続いて、定義された１または２以上の連結線軸にそれぞれ対応する１または２以上の連結線軸グラフが作成される。作成される連結線軸グラフは、注目する連結線軸に沿う差分画像の輝度変化を表す。したがって、図１３に示す連結線軸ＣＬ１については図１４（Ａ）に示す連結線軸グラフが作成され、図１３に示す連結線軸ＣＬ２については図１５（Ａ）に示す連結線軸グラフが作成される。また、図１３に示す連結線軸ＣＬ３については図１６（Ａ）に示す連結線軸グラフが作成され、図１３に示す連結線軸ＣＬ４については図１７（Ａ）に示す連結線軸グラフが作成される。さらに、図１３に示す連結線軸ＣＬ５については図１８（Ａ）に示す連結線軸グラフが作成される。

また、有意な差分量を有する１または２以上の位置（位置：連結線軸上の位置）が、上述の要領で作成された連結線軸グラフに基づいて検出される。検出された１または２以上の位置の各々には、連結線軸に直交する軸である連結線垂直軸が定義される。定義された連結線垂直軸は、連続する有意な差分量に相当する長さを有する。

したがって、図１３に示すように、連結線軸ＣＬ１上には９つの連結線垂直軸ＶＬ１が定義され、連結線軸ＣＬ２上には５つの連結線垂直軸ＶＬ２が定義される。また、連結線軸ＣＬ３上には７つの連結線垂直軸ＶＬ３が定義され、連結線軸ＣＬ４上には３つの連結線垂直軸ＶＬ４が定義される。さらに、連結線軸ＣＬ５上には、１つの連結線垂直軸ＶＬ５が定義される。

連結線垂直軸グラフは、こうして定義された１または２以上の連結線垂直軸に注目して、連結線軸毎に作成される。作成された連結線垂直軸グラフは、注目する連結線軸上で定義された１または２以上の連結線垂直軸にそれぞれ沿う１または２以上の輝度変化の平均を表す。

これによって、図１４（Ｂ）に示す連結線垂直軸グラフが連結線軸ＣＬ１に対応して作成され、図１５（Ｂ）に示す連結線垂直軸グラフが連結線軸ＣＬ２に対応して作成される。また、図１６（Ｂ）に示す連結線垂直軸グラフが連結線軸ＣＬ３に対応して作成され、図１７（Ｂ）に示す連結線垂直軸グラフが連結線軸ＣＬ４に対応して作成される。さらに、図１８（Ｂ）に示す連結線垂直軸グラフが、連結線軸ＣＬ５に対応して作成される。

こうして、角度θ１〜θ５の各々に対応する連結線軸グラフおよび連結線垂直軸グラフが完成すると、連結線軸グラフおよび連結線軸グラフによって示される輝度特性が既定条件を満足するか否かが、角度θ１〜θ５の各々に対応して判別される。ここで、既定条件とは、連結線軸グラフにおいて輝度レベルが連続的に立ち上がる範囲の大きさが閾値ＴＨ１を上回り、かつ連結線垂直軸グラフにおいて輝度レベルが連続的に立ち上がる範囲の大きさが閾値ＴＨ２を下回るという条件に相当する、

上述のように、立体的な障害物２００の画像は、カメラＣ＿２と障害物２００の底部とを結ぶ連結線Ｌに沿って倒れたように再現される。さらに、斜め方向から捉えた動的かつ立体的な障害物２００の画像を鳥瞰画像に変換した場合、変換された鳥瞰画像はフレーム間において原理的に相違し、これによって障害物２００を表す高輝度成分が差分画像ＤＥＦ＿２に明確に現れる。

したがって、障害物２００に対応する差分画像の輝度レベルは、連結線軸グラフにおいて広い範囲で立ち上がる一方、連結線垂直軸グラフにおいて狭い範囲で立ち上がる。

これに対して、地面に描かれた平面的な模様３００に対応する鳥瞰画像は、フレーム間で原理的に一致する。このため、模様３００については、鳥瞰画像への変換処理の誤差やフレーム間の位置合わせの誤差に起因して、模様３００の輪郭が差分画像ＤＥＦ＿２に現れるに過ぎない。したがって、模様２００に対応する差分画像の輝度レベルは、連結線軸グラフおよび連結線垂直軸グラフのいずれにおいても狭い範囲で立ち上がる。

既定条件を満足するのは、図１４（Ａ）に示す連結線軸グラフおよび図１４（Ｂ）に示す連結線垂直軸グラフである。したがって、これらのフラグが、障害物２００に対応するグラフとして特定される。

障害物２００が存在するエリア（エリア：再現画像ＲＥＰ＿２上のエリア）は、特定された連結線軸グラフおよび連結線垂直軸グラフに基づいて検出される。検出されたエリアには、矩形のキャラクタＣＴ１が図１９に示す要領で表示される。これによって、障害物２００の存在が運転手に向けて報知される。

ＣＰＵ１２ｐは、具体的には図２０に示す画像作成タスクおよび図２１〜図２３に示す障害物検知タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１６（図１参照）に記憶される。

図２０を参照して、垂直同期信号Ｖｓｙｎｃが発生するとステップＳ１からステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ワークエリアＦ１〜Ｆ４に格納される。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。ステップＳ７では、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４に座標変換を施し、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合する。表示装置１６のモニタ画面には、座標変換によって結合された全周鳥瞰画像の一部とこれに多重されたグラフィック画像Ｇ１が、操縦支援画像として表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。

図１９を参照して、ステップＳ１１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３で変数Ｌを“１”に設定する。ステップＳ１５では、前フレームの再現画像ＲＥＰ＿Ｌと現フレームの差分画像ＲＥＰ＿Ｌとの差分を表す差分画像ＤＥＦ＿Ｌを作成するべく、差分算出処理を実行する。自動車１００が動いているときは、この動きを考慮したフレーム間の位置合わせを経て差分算出処理を実行する。続くステップＳ１７では、差分算出処理によって得られた差分画像ＤＥＦ＿Ｌのヒストグラムを作成する。ヒストグラムは、基準軸ＲＡＸ＿Ｌの回転方向における差分画像ＤＥＦ＿Ｌの輝度分布を示す。

ステップＳ１９では、有意な差分量を各々が連続的に有する１または２以上の角度範囲（角度範囲：基準軸ＲＡＸ＿Ｌの回転方向における角度範囲）をステップＳ１７で作成されたヒストグラムを参照して特定し、特定された１または２以上の角度範囲の各々を解析範囲として指定する。ステップＳ２１では、指定された１または２以上の解析範囲のうち１番目の解析範囲に注目するべく、変数Ｍを“１”に設定する。

ステップＳ２３ではＭ番目の解析範囲の大きさが基準値ＲＥＦを上回るか否かを判別し、ＹＥＳであればステップＳ２５に進む一方、ＮＯであればステップＳ２７に進む。ステップＳ２５では、基準点ＲＰ＿Ｌから地面に平行に延びる１つの連結線軸をＭ番目の解析範囲の中央に定義する。ステップＳ２７では、基準点ＲＰ＿Ｌから地面に平行に延びる複数の連結線軸をＭ番目の解析範囲の全域に均等の角度を隔てて定義する。

ステップＳ２９では、変数ＭがステップＳ１９で特定された解析範囲の総数（＝Ｍｍａｘ）に達したか否かを判別する。ここでＮＯであれば、ステップＳ３１で変数Ｍをインクリメントし、その後にステップＳ２３に戻る。この結果、ステップＳ１９で特定された１または２以上の解析範囲の各々に、１または２以上の連結線軸が定義される。

変数Ｍが総数Ｍｍａｘに達すると、ステップＳ２９からステップＳ３３に進み、変数Ｎを“１”に設定する。ステップＳ３５では、上述の要領で定義された１または２以上の連結線軸のうちＮ番目の連結線軸に注目して、Ｎ番目の連結線軸グラフを作成する。作成されたＮ番目の連結線軸グラフは、Ｎ番目の連結線軸に沿う差分画像の輝度変化を表す。

ステップＳ３７では、有意な差分量を有する１または２以上の位置をＮ番目の連結線軸グラフから検出し、連結線軸に直交する軸である連結線垂直軸を検出された１または２以上の位置の各々に定義する。ステップＳ３９では、定義された１または２以上の連結線垂直軸に注目して、連結線垂直軸グラフを作成する。作成された連結線垂直軸グラフは、定義された１または２以上の連結線垂直軸の各々に沿う輝度変化（輝度変化：差分画像の輝度変化）の平均を表す。

ステップＳ４１では、変数ＮがステップＳ２５またはＳ２７で定義された連結線軸の総数（＝Ｎｍａｘ）に達したか否かを判別する。ここでＮＯであれば、ステップＳ４３で変数Ｎをインクリメントし、その後にステップＳ３５に戻る。この結果、総数Ｎｍａｘに相当する連結線軸の各々に対応する連結線軸グラフおよび連結線垂直軸グラフが得られる。

ステップＳ４１でＹＥＳと判別されると、ステップＳ４５で変数Ｎを再度“１”に設定する。ステップＳ４７では、Ｎ番目の連結線軸グラフおよび連結線垂直軸グラフにおける輝度変化が既定条件を満足するか否かを判別し、ＮＯであればそのままステップＳ５３に進む一方、ＹＥＳであればステップＳ４９〜Ｓ５１を経てステップＳ５３に進む。

ステップＳ４９では、Ｎ番目の連結線軸グラフおよび連結線垂直軸グラフに基づいて動的な障害物が存在するエリアを再現画像ＲＥＰ＿Ｌ上で特定する。ステップＳ５１では、ステップＳ４９で特定されたエリアに対応して矩形キャラクタを再現画像ＲＥＰ＿Ｌ上に多重するべく、対応する命令を表示装置１４に与える。

ステップＳ５３では変数Ｎが“Ｎｍａｘ”に達したか否かを判別し、ＮＯであればステップＳ５５で変数ＮをインクリメントしてからステップＳ４７に戻る。ステップＳ５３でＹＥＳであれば、変数Ｌが“４”に達したか否かをステップＳ５７で判別する。ＮＯであれば、ステップＳ５９で変数ＬをインクリメントしてからステップＳ１５に戻る。一方、ＹＥＳであれば、そのままステップＳ１１に戻る。

以上の説明から分かるように、ＣＰＵ１２ｐは、地面（基準面）に斜めに交差する方向の被写界を捉えるカメラＣ＿１〜Ｃ＿４から繰り返し出力される被写界像Ｐ＿１〜Ｐ＿４を取り込む(S3)。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ＣＰＵ１２ｐによって鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換される(S5)。変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の画面間における差分も、ＣＰＵ１２ｐによって検出される(S15)。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４の撮像面の中心に対応する基準点ＲＰ＿１〜ＲＰ＿４の各々から地面に平行に延びる連結線軸に沿う一部の差分を、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の画面間における差分の中から特定する(S35)。ＣＰＵ１２ｐはまた、連結線軸と交差して地面に平行に延びる連結線垂直軸に沿う一部の差分を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の画面間における差分の中から特定する(S39)。こうして特定された差分が既定条件を満足すれば、ＣＰＵ１２ｐは、障害物の存在を報知するべく、障害物エリアの位置に対応して操縦支援画像に矩形キャラクタを多重する(S47~S51)。

この実施例で注目される差分は、地面に斜めに交差する方向において捉えられた被写界像に対応する鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の画面間差分に相当する。したがって、動的な障害物が連結線軸に対応する位置に存在するときは、動的な障害物の高さに相当する差分が連結線軸に沿って特定され、動的な障害物の幅に相当する差分が連結線垂直軸に沿って特定される。一方、地面に描かれた模様あるいは静的な障害物が連結線軸に対応する位置に存在するときは、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４への変換処理の誤差に相当する差分が連結線軸および連結線垂直軸に沿って特定される。こうして特定された差分が既定条件を満足するか否か判別することで、動的な障害物の検知性能が向上する。

上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。

実施例で述べたような撮影画像から鳥瞰画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰画像上に投影することによって撮影画像が鳥瞰画像に変換される。

この発明の一実施例の構成を示すブロック図である。（Ａ）は自動車の正面を眺めた状態を示す図解図であり、（Ｂ）は自動車の右側面を眺めた状態を示す図解図であり、（Ｃ）は自動車の背面を眺めた状態を示す図解図であり、（Ｄ）は自動車の左側面を眺めた状態を示す図解図である。自動車に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。（Ａ）は前カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰画像の一例を示す図解図である。図４（Ａ）〜図４（Ｄ）に示す鳥瞰画像に基づく全周鳥瞰画像の一例を示す図解図である。表示装置によって表示される操縦支援画像の一例を示す図解図である。自動車に取り付けられたカメラの角度を示す図解図である。カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。自動車とその近傍に存在する障害物および模様の一例を示す斜視図である。全周鳥瞰図画像の他の一例を示す図解図である。（Ａ）は再現画像の一部を示す図解図であり、（Ｂ）は（Ａ）に示す再現画像に対応する差分画像の一部を示す図解図である。図１１（Ｂ）に示す差分画像に対応する輝度の分布状態を示すヒストグラムである。図１１（Ｂ）に示す差分画像上に定義された連結線軸および連結線垂直軸の一例を示す図解図である。（Ａ）は角度θ１における連結線軸に対する差分画像の輝度の変化を示すグラフであり、（Ｂ）は角度θ１における連結線軸に直交する垂直軸に対する差分画像の輝度の変化を示すグラフである。（Ａ）は角度θ２における連結線軸に対する差分画像の輝度の変化を示すグラフであり、（Ｂ）は角度θ２における連結線軸に直交する垂直軸に対する差分画像の輝度の変化を示すグラフである。（Ａ）は角度θ３における連結線軸に対する差分画像の輝度の変化を示すグラフであり、（Ｂ）は角度θ３における連結線軸に直交する垂直軸に対する差分画像の輝度の変化を示すグラフである。（Ａ）は角度θ４における連結線軸に対する差分画像の輝度の変化を示すグラフであり、（Ｂ）は角度θ４における連結線軸に直交する垂直軸に対する差分画像の輝度の変化を示すグラフである。（Ａ）は角度θ５における連結線軸に対する差分画像の輝度の変化を示すグラフであり、（Ｂ）は角度θ５における連結線軸に直交する垂直軸に対する差分画像の輝度の変化を示すグラフである。表示装置によって表示される操縦支援画像の他の一例を示す図解図である。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

符号の説明

１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …ＳＤＲＡＭ
１４ …表示装置
１６ …フラッシュメモリ
１００ …自動車

Claims

基準面に斜めに交差する方向の被写界を捉える撮像手段から繰り返し出力される被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像を鳥瞰画像に変換する変換手段、
前記変換手段によって変換された鳥瞰画像の画面間における差分を検出する検出手段、
撮像面の中心に対応する基準点から前記基準面に平行に延びる第１軸に沿う一部の差分を前記検出手段によって検出された差分の中から特定する第１特定手段、
前記第１軸と交差して前記基準面に平行に延びる第２軸に沿う一部の差分を前記検出手段によって検出された差分の中から特定する第２特定手段、および
前記第１特定手段によって特定された差分と前記第２特定手段によって特定された差分とが既定条件を満足するとき報知を発生する発生手段を備える、障害物検知装置。
前記基準面に直交するように前記基準点から延びる基準軸の回転方向における１または２以上の角度の各々に対応して前記第１軸を定義する第１定義手段をさらに備え、
前記第１特定手段は前記第１定義手段の定義処理に関連して差分特定処理を実行する、請求項１記載の障害物検知装置。
前記検出手段によって検出された差分の前記回転方向における分布状態を表すヒストグラムを作成する作成手段をさらに備え、
前記第１定義手段は前記作成手段によって作成されたヒストグラムを参照して定義処理を実行する、請求項２記載の障害物検知装置。
前記第１特定手段によって特定された差分に対応する１または２以上の位置の各々に前記第２軸を定義する第２定義手段をさらに備え、
前記第２特定手段は前記第２定義手段の定義処理に関連して差分特定処理を実行する、請求項１ないし３のいずれかに記載の障害物検知装置。
前記第２特定手段によって特定される差分は前記第２軸に沿って連続的に現れる差分に相当する、請求項１ないし４のいずれかに記載の障害物検知装置。
前記既定条件は、前記第１特定手段によって特定された差分の大きさが第１閾値を上回り、かつ前記第２特定手段によって特定された差分の大きさが第２閾値を下回るという条件に相当する、請求項１ないし５のいずれかに記載の障害物検知装置。