JP2010076527A - 操縦支援装置 - Google Patents

Abstract

【構成】レーザ照射器Ｌ＿Ｎ（Ｎ：１〜４）は、自動車に設けられてレーザ光を斜め下方向に向けて放射する。カメラＣ＿Ｎはそれぞれ、自動車に設けられてレーザ光Ｌ＿Ｎの放射方向に対応する視野ＶＷ＿Ｎを有する。ＣＰＵは、レーザ照射器Ｌ＿Ｎによって放射されたレーザ光の反射位置の変化量が基準を上回るか否かを、カメラＣ＿Ｎの出力に基づいて判別する。レーザ照射器Ｌ＿Ｎの放射方向は、判別結果が否定的な結果から肯定的な結果に更新されたとき、ＣＰＵによって変更される。レーザ照射器Ｌ＿Ｎによって放射されたレーザ光の反射位置の変化の態様は、放射方向の変更処理と並列するカメラＣ＿Ｎの出力に基づいて、ＣＰＵによって検出される。ＣＰＵは、この検出結果に応じて異なる報知を自動車の運転手に向けて出力する。
【効果】処理量を抑えつつ、障害物の検知精度を確保することができる。
【選択図】図３

Description

この発明は、操縦支援装置に関し、特に、自動車のような移動体に設けられて周辺の障害物を検知する、操縦支援装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、投光装置は、車両後方の路面に向けて、互いに異なる複数の投光角度でスポット光ビームを投光する。投光されたスポット光ビームの輝点を含む車両後方の映像は、カメラによって捉えられる。コントロールユニットは、カメラによって捉えられた映像から輝点を検出し、検出結果に基づいて車両後方の路面状況を算出する。コントロールユニットはさらに、算出された路面状況を参照して車両の通過に問題のある範囲を決定し、決定された範囲を表す画像をディスプレイに表示する。
特開２００２−３６９８７号公報

しかし、背景技術によれば、路面状況を算出するために、スポット光ビームの投光角度を継続的に変更する必要がある。換言すれば、こうして投光されるスポット光ビームに基づく路面状況の算出には、複雑な処理が要求される。

それゆえに、この発明の主たる目的は、処理能力を抑えつつ障害物の検知精度を確保することができる、操縦支援装置を提供することである。

この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、移動体に設けられて光線を斜め下方向に放射する放射手段(L_1~L_4)、移動体に設けられて放射手段の放射方向に対応する視野を有する撮像手段(C_1~C_4)、放射手段によって放射された光線の反射位置の変化量が基準を上回るか否かを撮像手段の出力に基づいて判別する判別手段(S21, S23)、判別手段の判別結果が否定的な結果から肯定的な結果に更新されたとき放射手段の放射方向を変更する変更手段(S27)、放射手段によって放射された光線の反射位置の変化の態様を変更手段の変更処理と並列する撮像手段の出力に基づいて検出する検出手段(S33)、および検出手段の検出結果に応じて異なる報知を移動体の操縦者に向けて出力する報知手段(S35, S37)を備える。

放射手段は、移動体に設けられて光線を斜め下方向に向けて放射する。撮像手段は、移動体に設けられて放射手段の放射方向に対応する視野を有する。判別手段は、放射手段によって放射された光線の反射位置の変化量が基準を上回るか否かを、撮像手段の出力に基づいて判別する。放射手段の放射方向は、判別手段の判別結果が否定的な結果から肯定的な結果に更新されたとき、変更手段によって変更される。放射手段によって放射された光線の反射位置の変化の態様は、変更手段の変更処理と並列する撮像手段の出力に基づいて、検出手段によって検出される。報知手段は、検出手段の検出結果に応じて異なる報知を移動体の操縦者に向けて出力する。

このように、放射手段の放射方向は、光線の反射位置の変化量が基準を上回ったときに変更される。また、移動体の操縦者に向けて出力される報知は、放射方向が変更された光線の反射位置の変化の態様に応じて異なる。これによって、処理量を抑えつつ、障害物の検知精度を確保することができる。

好ましくは、放射手段は撮像手段の視野の左右方向に延びる線状の光線を放射し、変更手段は放射方向を上方向に変更する。

好ましくは、検出手段は、検出手段の検出結果が反射する光線の消失を示すとき報知を第１態様で出力する第１報知手段(S35)、および検出手段の検出結果が反射する光線の少なくとも一部の検出を示すとき報知を第２態様で出力する第２報知手段(S37)を含む。

好ましくは、撮像手段の出力に基づいて鳥瞰図画像を作成する作成手段(S5)がさらに備えられ、判別手段および検出手段はそれぞれ作成手段によって作成された鳥瞰図画像を参照して判別処理および検出処理を実行する。

好ましくは、撮像手段は移動体の周辺に設けられる複数のカメラを含み、放射手段は複数のカメラにそれぞれ割り当てられる複数のレーザ照射器を含み、判別手段の判別処理のために注目されるカメラおよびレーザ照射器を繰り返し更新する更新手段(S25)がさらに備えられる。

好ましくは、更新手段の更新態様を移動体の移動速度および移動体の移動方向の少なくとも一方に応じて異なる態様に設定する設定手段(S67, S71, S79, S83, S89, S93)がさらに備えられる。

好ましくは、移動体の移動速度および移動体の移動方向の少なくとも一方を参照して撮像手段の撮像方向および放射手段の放射方向を調整する調整手段(S57, S59, S65, S69, S77, S81, S87, S91)がさらに備えられ、変更手段は調整手段によって調整された放射方向を基準として放射方向変更処理を実行する。

この発明に従う操縦支援プログラムは、移動体に設けられて光線を斜め下方向に放射する放射手段(L_1~L_4)、および移動体に設けられて放射手段の放射方向に対応する視野を有する撮像手段(C_1~C_4)を備える操縦支援装置(10)のプロセッサ(12p)に、放射手段によって放射された光線の反射位置の変化量が基準を上回るか否かを撮像手段の出力に基づいて判別する判別ステップ(S21, S23)、判別ステップの判別結果が否定的な結果から肯定的な結果に更新されたとき放射手段の放射方向を変更する変更ステップ(S27)、放射手段によって放射された光線の反射位置の変化の態様を変更ステップの変更処理と並列する撮像手段の出力に基づいて検出する検出ステップ(S33)、および検出ステップの検出結果に応じて異なる報知を移動体の操縦者に向けて出力する報知ステップ(S35, S37)を実行させるための、操縦支援プログラムである。

この発明に従う操縦支援方法は、移動体に設けられて光線を斜め下方向に放射する放射手段(L_1~L_4)、および移動体に設けられて放射手段の放射方向に対応する視野を有する撮像手段(C_1~C_4)を備える操縦支援装置(10)によって実行される操縦支援方法であって、放射手段によって放射された光線の反射位置の変化量が基準を上回るか否かを撮像手段の出力に基づいて判別する判別ステップ(S21, S23)、判別ステップの判別結果が否定的な結果から肯定的な結果に更新されたとき放射手段の放射方向を変更する変更ステップ(S27)、放射手段によって放射された光線の反射位置の変化の態様を変更ステップの変更処理と並列する撮像手段の出力に基づいて検出する検出ステップ(S33)、および検出ステップの検出結果に応じて異なる報知を移動体の操縦者に向けて出力する報知ステップ(S35, S37)を備える。

この発明によれば、放射手段の放射方向は、光線の反射位置の変化量が基準を上回ったときに変更される。また、移動体の操縦者に向けて出力される報知は、放射方向が変更された光線の反射位置の変化の態様に応じて異なる。これによって、処理量を抑えつつ、障害物の検知精度を確保することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの実施例の操縦支援装置１０は、４個のレーザ照射器Ｌ＿１〜Ｌ＿４と４個のカメラＣ＿１〜Ｃ＿４とを含む。レーザ照射器Ｌ＿１〜Ｌ＿４の各々は、近赤外領域に属する波長を有し、かつ水平方向に線状に延びるレーザ光を発生する。また、カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。

図２（Ａ）〜図２（Ｄ）を参照して、操縦支援装置１０は、地面を走行する自動車１００に搭載される。具体的には、レーザ照射器Ｌ＿１は、自動車１００の前方斜め下を向く姿勢で、自動車１００の前部の幅方向中央でかつ高さ方向下側に設置される。カメラＣ＿１は、自動車１００の前方斜め下を向く姿勢で、自動車１００の前部のほぼ中央に設置される。

レーザ照射器Ｌ＿２は、自動車１００の右斜め下を向く姿勢で、自動車１００の右側のほぼ中央に設置される。カメラＣ＿２は、自動車１００の右斜め下を向く姿勢で、自動車１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置される。

レーザ照射器Ｌ＿３は、自動車１００の後方斜め下を向く姿勢で、自動車１００の後部のほぼ中央に設置される。カメラＣ＿３は、自動車１００の後方斜め下を向く姿勢で、自動車１００の後部の幅方向ほぼ中央でかつ高さ方向上側に設置される。

レーザ照射器Ｌ＿４は、自動車１００の左斜め下を向く姿勢で、自動車１００の左側のほぼ中央に設置される。カメラＣ＿４は、自動車１００の左斜め下を向く姿勢で、自動車１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置される。

自動車１００と障害物が存在しない自動車１００の周辺の地面とを鳥瞰した状態を図３に示す。図３によれば、レーザ照射器Ｌ＿１から放射されたレーザ光は、自動車１００の前方の地面に左右に延びる輝線Ｇ＿１を描く。レーザ照射器Ｌ＿２から放射されたレーザ光は、自動車１００の右側の地面に前後に延びる輝線Ｇ＿２を描く。レーザ照射器Ｌ＿３から放射されたレーザ光は、自動車１００の後方の地面に左右に延びる輝線Ｇ＿３を描く。レーザ照射器Ｌ＿４から放射されたレーザ光は、自動車１００の左側の地面に前後に延びる輝線Ｇ＿４を描く。

カメラＣ＿１は自動車１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は自動車１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は自動車１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は自動車１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。

つまり、自動車１００の周囲に障害物が存在しない状態では、輝線Ｇ＿１〜Ｇ＿４のいずれも直線状に延び、かつ輝線Ｇ＿１〜Ｇ＿４はカメラＣ＿１〜Ｃ＿４によってそれぞれ捉えられる。

図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰図画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰図画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰図画像ＢＥＶ＿４を生成する。

鳥瞰図画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。

図４（Ａ）〜図４（Ｄ）によれば、鳥瞰図画像ＢＥＶ＿１は鳥瞰図座標系Ｘ１・Ｙ１を有し、鳥瞰図画像ＢＥＶ＿２は鳥瞰図座標系Ｘ２・Ｙ２を有し、鳥瞰図画像ＢＥＶ＿３は鳥瞰図座標系Ｘ３・Ｙ３を有し、そして鳥瞰図画像ＢＥＶ＿４は鳥瞰図座標系Ｘ４・Ｙ４を有する。このような鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。

ＣＰＵ１２ｐは続いて、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を座標変換によって互いに結合する。鳥瞰図画像ＢＥＶ＿２〜ＢＥＶ＿４は鳥瞰図画像ＢＥＶ＿１を基準として回転および／または移動し、この結果、図５に示す全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２内に得られる。

図５において、重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。

自動車１００の運転席に設置された表示装置１６は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像Ｄ１をワークエリアＷ２上の全周鳥瞰図画像から抽出し、自動車１００の上部を模した車両画像Ｄ２を抽出された画像Ｄ１の中央に貼り付ける。この結果、図６に示す操縦支援画像がモニタ画面に表示される。

次に、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰図画像ＢＥＶ３の作成要領を説明する。

図７を参照して、カメラＣ＿３は自動車１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図７に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。

図８は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。

カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。

世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。

カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。

カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。

ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。

また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。

また、図４（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３の座標系である鳥瞰図座標系Ｘ３・Ｙ３が定義される。鳥瞰図座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰図画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰図座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。

地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰図座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。

さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。

撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰図画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰図画像ＢＥＶ＿３に変換される。

続いて、自動車１００の周辺から障害物を検知する動作について説明する。ＣＰＵ１２ｐはまず、変数Ｎを“１”〜“４”のいずれかに設定し、ワークエリアＷ１に確保された鳥瞰図画像ＢＥＶ＿Ｎを垂直同期信号Ｖｓｙｎｃに応答してワークエリアＷ３に複製する。図３を参照して上述したように、自動車１００の周辺に障害物が存在しないとき、輝線Ｇ＿１〜Ｇ＿４は視野ＶＷ＿１〜ＶＷ＿４にそれぞれ属する。したがって、周辺に障害物が存在しない限り、複製された鳥瞰図画像ＢＥＶ＿Ｎには輝線Ｇ＿Ｎが現れる。

ＣＰＵ１２ｐは、この輝線Ｇ＿Ｎを鳥瞰図画像ＢＥＶ＿Ｎから検出し、輝線Ｇ＿Ｎの変化量を“ΔＧ＿Ｎ”として検出する。検出される変化量ΔＧ＿Ｎは、障害物が周辺に存在しない状態で検出された輝線Ｇ＿Ｎと最新の輝線Ｇ＿Ｎとの相違に相当し、障害物に起因する輝線Ｇ＿Ｎの歪み部分の大きさを表す。

自動車１００が図９（Ａ）および図１０（Ａ）に示す要領で後方の障害物ＯＢＪ１に接近した場合、鳥瞰図画像ＢＥＶ＿３に現れる輝線Ｇ＿３は、図９（Ｂ）および図１０（Ｂ）に示す要領で変化する。自動車１００が図１２（Ａ）および図１３（Ａ）に示す要領で後方の障害物ＯＢＪ２に接近した場合も、鳥瞰図画像ＢＥＶ＿３に現れる輝線Ｇ＿３は、図１２（Ｂ）および図１３（Ｂ）に示す要領で変化する。この場合、図１０（Ｂ）または図１３（Ｂ）に示す輝線Ｇ＿３の歪み部分の大きさが、変化量ΔＧ＿Ｎに相当する。

ＣＰＵ１２ｐは、検出された変化量ΔＧ＿Ｎを基準ＲＥＦと比較し、ΔＧ＿Ｎ≦ＲＥＦであれば変数Ｎを更新する。更新前の変数Ｎが“１”であれば更新後の変数Ｎは“２”を示し、更新前の変数Ｎが“２”であれば更新後の変数Ｎは“３”を示す。また、更新前の変数Ｎが“３”であれば更新後の変数Ｎは“４”を示し、更新前の変数Ｎが“４”であれば更新後の変数Ｎは“１”を示す。このように、変数Ｎは循環的に更新される。変数Ｎの更新処理が完了すると、ＣＰＵ１２ｐは上述の処理に戻る。

一方、ΔＧ＿Ｎ＞ＲＥＦであれば、ＣＰＵ１２ｐは、レーザ照射器Ｌ＿Ｎの照射方向を既定角度だけ上方に変更する。既定角度は、自動車１００の周辺に障害物が存在しない場合に輝線Ｇ＿ＮがカメラＣ＿Ｎの視野ＶＷ＿Ｎから外れる角度に相当する。

図１０（Ａ）および図１０（Ｂ）の状態でレーザ照射器Ｌ＿３の照射方向を既定角度だけ上方に変更した場合、レーザ光は図１１（Ａ）に示す要領で放射され、輝線Ｇ＿３は図１１（Ｂ）に示す要領で障害物ＯＢＪ１および地面に描かれる。また、図１３（Ａ）および図１３（Ｂ）の状態でレーザ照射器Ｌ＿３の照射方向を既定角度だけ上方に変更した場合、レーザ光は図１４（Ａ）に示す要領で放射され、輝線Ｇ＿３は図１４（Ｂ）に示す要領で地面に描かれる。

ＣＰＵ１２ｐは、レーザ照射器Ｌ＿Ｎの照射方向が変更された後にワークエリアＷ１に確保された鳥瞰図画像ＢＥＶ＿ＮをワークエリアＷ３に複製し、複製された鳥瞰図画像ＢＥＶ＿Ｎから輝線Ｇ＿Ｎが消失したか否かを判別する。輝線Ｇ＿Ｎの少なくとも一部が鳥瞰図画像ＢＥＶ＿Ｎに現れれば、ＣＰＵ１２ｐは、運転席に設けられた警告ランプ１８を制御して赤色の警告を発生する。これに対して、輝線Ｇ＿Ｎが鳥瞰図画像ＢＥＶ＿Ｎに全く現れなければ、警告ランプ１８を制御して黄色の警告を発生する。

図１１（Ｂ）によれば、輝線Ｇ＿３の一部が鳥瞰図画像ＢＥＶ＿３に現れる。これに対して、図１４（Ｂ）によれば、輝線Ｇ＿３は鳥瞰図画像ＢＥＶ＿３から完全に消失する。したがって、警告ランプ１８は、障害物ＯＢＪ１に対応して赤色の警告を発生し、障害物ＯＢＪ２に対応して黄色の警告を発生する。

こうして警告が発生された後に、運転手が操作パネル２０に向けて警告停止操作を行うと、ＣＰＵ１２ｐは、警告ランプ１８を停止し、レーザ照射器Ｌ＿Ｎの照射方向を元に戻し、その後に上述の処理に戻る。

ＣＰＵ１２ｐは、具体的には図１５に示す画像作成タスクおよび図１６〜図１７に示す障害物検知タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。

図１５を参照して、垂直同期信号Ｖｓｙｎｃが発生するとステップＳ１からステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ７では、ワークエリアＷ１上の鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を合成して全周鳥瞰図画像を作成する。作成された全周鳥瞰図画像は、ワークエリアＷ２に確保される。表示装置１６のモニタ画面には、ワークエリアＷ２に確保された全周鳥瞰図画像に基づく操縦支援画像が表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。

図１６を参照して、ステップＳ１１ではレーザ照射器Ｌ＿１〜Ｌ＿４を起動し、ステップＳ１３では変数Ｎを“１”に設定する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ１５からステップＳ１７に進み、ワークエリアＷ１上の鳥瞰図画像ＢＥＶ＿ＮをワークエリアＷ３に複製する。ステップＳ１９では複製された鳥瞰図画像ＢＥＶ＿Ｎから輝線Ｇ＿Ｎを検出し、ステップＳ２１では輝線Ｇ＿Ｎの変化量を“ΔＧ＿Ｎ”として検出する。ステップＳ２３では検出された変化量ΔＧ＿Ｎが基準ＲＥＦを上回るか否かを判別し、ＮＯであればステップＳ２５の処理を経てステップＳ１５に戻る一方、ＹＥＳであればステップＳ２７〜Ｓ４１の処理を経てステップＳ１５に戻る。

ステップＳ２５では、変数Ｎを“１”〜“４”の間で更新する。変数Ｎが“１”であれば更新後の変数Ｎは“２”を示し、更新前の変数Ｎが“２”であれば更新後の変数Ｎは“３”を示す。また、更新前の変数Ｎが“３”であれば更新後の変数Ｎは“４”を示し、更新前の変数Ｎが“４”であれば更新後の変数Ｎは“１”を示す。

ステップＳ２７では、レーザ照射器Ｌ＿Ｎの照射方向を既定角度だけ上方に変更する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ２９からステップＳ３１に進み、ワークエリアＷ１に確保された次フレームの鳥瞰図画像ＢＥＶ＿ＮをワークエリアＷ３に複製する。ステップＳ３３では、複製された鳥瞰図画像ＢＥＶ＿Ｎから輝線Ｇ＿Ｎが消失したか否かを判別する。輝線Ｇ＿Ｎが鳥瞰図画像ＢＥＶ＿Ｎから全く検出されないときはステップＳ３５に進み、輝線Ｇ＿Ｎの少なくとも一部が鳥瞰図画像ＢＥＶ＿Ｎから検出されたときはステップＳ３７に進む。

ステップＳ３５では、警告ランプ１８を制御して黄色の警告を発生する。ステップＳ３７では、警告ランプ１８を制御して赤色の警告を発生する。ステップＳ３５またはＳ３７の処理が完了すると、警告停止操作が行われたか否かをステップＳ３９で判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ４１で警告ランプ１８を停止し、ステップＳ４３でレーザ照射器Ｌ＿Ｎの照射方向を元に戻し、その後にステップＳ１３に戻る。

以上の説明から分かるように、レーザ照射器Ｌ＿Ｎ（Ｎ：１〜４）は、自動車１００に設けられてレーザ光を斜め下方向に向けて放射する。放射されたレーザ光は、地面に輝線Ｇ＿Ｎを描く。カメラＣ＿Ｎはそれぞれ、自動車１００に設けられてレーザ光Ｌ＿Ｎの放射方向に対応する視野ＶＷ＿Ｎを有する。

ＣＰＵ１２ｐは、レーザ照射器Ｌ＿Ｎによって放射されたレーザ光の反射位置の変化量つまり輝線Ｇ＿Ｎの変化量が基準ＲＥＦを上回るか否かを、カメラＣ＿Ｎの出力に基づいて判別する(S23)。レーザ照射器Ｌ＿Ｎの放射方向は、判別結果が否定的な結果から肯定的な結果に更新されたとき、ＣＰＵ１２ｐによって変更される(S27)。

輝線Ｇ＿Ｎの変化の態様は、放射方向の変更処理と並列するカメラＣ＿Ｎの出力に基づいて、ＣＰＵ１２ｐによって検出される(S33)。ＣＰＵ１２ｐは、この検出結果に応じて異なる報知を自動車１００の運転手に向けて出力する(S35, S37)。

このように、レーザ照射器Ｌ＿Ｎの放射方向は、輝線Ｇ＿Ｎの変化量が基準ＲＥＦを上回ったときに変更される。また、自動車１００の運転手に向けて出力される報知は、輝線Ｇ＿Ｎの変化の態様に応じて異なる。これによって、処理量を抑えつつ、障害物の検知精度を確保することができる。

なお、この実施例では、カメラＣ＿１〜Ｃ＿４の向きは固定的であり、レーザ照射器Ｌ＿１〜Ｌ＿４の向きもまた図１７に示すステップＳ２７で上向きに変更される点を除き固定的である。また、変数Ｎは、“１”〜“４”の間で循環的に更新される。

しかし、自動車１００の移動速度を検知する速度センサ２２および自動車１００の移動方向を検知する方向センサ２４を図１８に示すように追加し、速度センサ２２および方向センサ２４の出力に基づいてカメラＣ＿１〜Ｃ＿４およびレーザ照射器Ｌ＿１〜Ｌ＿４の向きを調整したり、速度センサ２２および方向センサ２４の出力に基づいて変数Ｎの更新態様を調整したりするようにしてもよい。この場合、好ましくは、ＣＰＵ１２ｐは、図１９〜図２１に示す調整タスクをさらに実行する。

図１９を参照して、ステップＳ５１では速度センサ２２の出力に基づいて自動車１００の移動速度を算出し、ステップＳ５３では方向センサ２４の出力に基づいて自動車１００の移動方向を算出する。ステップＳ５５では移動速度が低速であるか否か（つまり移動速度が閾値を下回るか否か）を判別し、ステップＳ６１では移動方向が前方であるか否かを判別し、ステップＳ６３では移動方向が後方であるか否かを判別する。さらに、ステップＳ７３では移動方向が右前方であるか否かを判別し、ステップＳ７５では移動方向が右後方であるか否かを判別し、ステップＳ８５では移動方向が左前方であるか否かを判別する。

ステップＳ５５でＹＥＳであれば、ステップＳ５７でカメラＣ＿１〜Ｃ＿４の角度（撮像方向）およびレーザ照射器Ｌ＿１〜Ｌ＿４の角度（放射方向）を初期化し、ステップＳ５９でカメラＣ＿１〜Ｃ＿４の重み付け量を初期化する。ステップＳ５９の処理が完了すると、ステップＳ５１に戻る。

なお、カメラＣ＿１〜Ｃ＿４の重み付け量は変数Ｎの更新態様を調整するためのパラメータである。変数Ｎは、重み付け量がより大きいカメラの番号に優先的に設定される。たとえば、カメラＣ＿１の重み付け量が最も大きく、カメラＣ＿３の重み付け量が最も小さい場合、変数Ｎが“１”に更新される周期が最も短くなり、変数Ｎが“３”に更新される周期が最も長くなる。

ステップＳ６１でＹＥＳであれば、自動車１００は高速（閾値以上の速度）で前進しているとみなし、ステップＳ６５でカメラＣ＿１およびレーザ照射器Ｌ＿１の角度を上向きに調整するとともに、ステップＳ６７でカメラＣ＿１の重み付け量を増大させる。ステップＳ６７の処理が完了すると、ステップＳ５１に戻る。

ステップＳ６３でＹＥＳであれば、自動車１００は高速で後進しているとみなし、ステップＳ６９でカメラＣ＿３およびレーザ照射器Ｌ＿３の角度を上向きに調整し、ステップＳ７１でカメラＣ＿３の重み付け量を増大させる。ステップＳ６７の処理が完了すると、ステップＳ５１に戻る。

ステップＳ７３でＹＥＳであれば、自動車１００は高速で右前方に移動しているとみなし、ステップＳ７７でカメラＣ＿１，Ｃ＿２およびレーザ照射器Ｌ＿１，Ｌ＿２の角度を自動車１００の右前方に調整するとともに、ステップＳ７９でカメラＣ＿１およびＣ＿２の重み付け量を増大させる。ステップＳ７９の処理が完了すると、ステップＳ５１に戻る。

ステップＳ７５でＹＥＳであれば、自動車１００は高速で右後方に移動しているとみなし、ステップＳ８１でカメラＣ＿２，Ｃ＿３およびレーザ照射器Ｌ＿２，Ｌ＿３の角度を自動車１００の右後方に調整するとともに、ステップＳ８３でカメラＣ＿２およびＣ＿３の重み付け量を増大させる。ステップＳ８３の処理が完了すると、ステップＳ５１に戻る。

ステップＳ８５でＹＥＳであれば、自動車１００は高速で左前方に移動しているとみなし、ステップＳ８７でカメラＣ＿１，Ｃ＿４およびレーザ照射器Ｌ＿１，Ｌ＿４の角度を自動車１００の左前方に調整するとともに、ステップＳ８９でカメラＣ＿１およびＣ＿４の重み付け量を増大させる。ステップＳ８９の処理が完了すると、ステップＳ５１に戻る。

ステップＳ８５でＮＯであれば、自動車１００は高速で左後方に移動しているとみなし、ステップＳ９１でカメラＣ＿３，Ｃ＿４およびレーザ照射器Ｌ＿３，Ｌ＿４の角度を自動車１００の左後方に調整するとともに、ステップＳ９３でカメラＣ＿３およびＣ＿４の重み付け量を増大させる。ステップＳ９３の処理が完了すると、ステップＳ５１に戻る。

また、この実施例によれば、移動体として自動車を想定しているが、建機や電車を移動体として想定するようにしてもよい。建機の場合、作業現場の地面が平らでない可能性があるため、図１６に示すステップＳ２３で参照される基準ＲＥＦは、好ましくは地面の平坦度を考慮して調整される。また、電車の場合、レーザ光は駅のホームにいる乗客を検知するために照射される。

さらに、この実施例では、警告を自動車１００の運転手に向けて発するようにしているが、外部つまり別の自動車の運転手に向けて警告を発するようにしてもよい。これによって、別の自動車が衝突してくる事態を回避できる可能性が増大する。

さらにまた、この実施例では、レーザ照射器Ｌ＿２を自動車１００の右側のほぼ中央に設置し、カメラＣ＿２を自動車１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置し、レーザ照射器Ｌ＿４を自動車１００の左側のほぼ中央に設置し、カメラＣ＿４を自動車１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置するようにしている。しかし、レーザ照射器Ｌ＿２およびカメラＣ＿２を右側のドアミラーに上下に設置し、レーザ照射器Ｌ＿４およびカメラＣ＿４を左側のドアミラーに上下に設置するようにしてもよい。

また、この実施例では、輝線Ｇ＿Ｎの変化量であるΔＧ＿Ｎが基準ＲＥＦを上回るときにレーザ光の照射方向を上向きに変更するようにしている（図１６のステップＳ２３および図１７のステップＳ２７参照）。しかし、レーザ光の放射方向を周期的に変化させ、放射方向の変化に伴う輝線Ｇ＿Ｎの検知結果を参照することで、障害物の有無や障害物の高さを判断するようにしてもよい。

さらに、この実施例では、警告を発生するために警告ランプを設けるようにしているが、スピーカから警告を発生させたり、表示装置に警告を表示させたりするようにしてもよい。

また、この実施例では、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４がメモリ１２ｍのワークエリアＷ１上で作成され（図１５のステップＳ５参照）、全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２上で作成され（図１５のステップＳ７参照）、そしてワークエリアＷ１上の鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４がワークエリアＷ３に複製される（図１６のステップＳ１７参照）。しかし、図１６に示すステップＳ１９や図１７に示すステップＳ３３の処理をワークエリアＷ１上で実行するようにすれば、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を複製する処理は不要となる。

さらに、この実施例では、図１６〜図１７に示す単一の障害物検知タスクを準備し、図１６のステップＳ２５で変数Ｎを“１”〜“４”の間で更新するようにしている。しかし、カメラＣ＿１〜Ｃ＿４にそれぞれ対応する４つの障害物検知タスクを準備し、これらのタスクを並列的に実行するようにしてもよい。この場合、変数Ｎを更新する処理は不要となる。

また、図１１（Ａ）または図１４（Ａ）によれば、レーザ光の放射方向を変更するために、レーザ照射器の姿勢が変更される。しかし、実際には、光学系を調整することでレーザ光の照射方向が変更される。

上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。

実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。

この発明の一実施例の構成を示すブロック図である。 （Ａ）は自動車の正面を眺めた状態を示す図解図であり、（Ｂ）は自動車の右側面を眺めた状態を示す図解図であり、（Ｃ）は自動車の背面を眺めた状態を示す図解図であり、（Ｄ）は自動車の左側面を眺めた状態を示す図解図である。 自動車に取り付けられた複数のレーザ照射器によって照射されたレーザ光の輝線ならびに自動車に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。 （Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。 図４（Ａ）〜図４（Ｄ）に示す鳥瞰図画像に基づく全周鳥瞰図画像の一例を示す図解図である。 表示装置によって表示される操縦支援画像の一例を示す図解図である。 車両に取り付けられたカメラの角度を示す図解図である。 カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。 （Ａ）は障害物に向かって後進する自動車を側面から眺めた状態の一例を示す図解図であり、（Ｂ）は障害物に向かって後進する自動車を上面から眺めた状態の一例を示す図解図である。 （Ａ）は障害物に向かって後進する自動車を側面から眺めた状態の他の一例を示す図解図であり、（Ｂ）は障害物に向かって後進する自動車を上面から眺めた状態の他の一例を示す図解図である。 （Ａ）は障害物に向かって後進する自動車を側面から眺めた状態のその他の一例を示す図解図であり、（Ｂ）は障害物に向かって後進する自動車を上面から眺めた状態のその他の一例を示す図解図である。 （Ａ）は他の障害物に向かって後進する自動車を側面から眺めた状態の一例を示す図解図であり、（Ｂ）は他の障害物に向かって後進する自動車を上面から眺めた状態の一例を示す図解図である。 （Ａ）は他の障害物に向かって後進する自動車を側面から眺めた状態の他の一例を示す図解図であり、（Ｂ）は他の障害物に向かって後進する自動車を上面から眺めた状態の他の一例を示す図解図である。 （Ａ）は他の障害物に向かって後進する自動車を側面から眺めた状態のその他の一例を示す図解図であり、（Ｂ）は他の障害物に向かって後進する自動車を上面から眺めた状態のその他の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 他の実施例の構成を示すブロック図である。 図１８実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１８実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１８実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１８実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

符号の説明

１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
Ｌ＿１〜Ｌ＿４ …レーザ照射器
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …メモリ
１４ …フラシュメモリ
１６ …表示装置
１８ …警告ランプ
２２ …速度センサ
２４ …方向センサ
１００ …自動車

Claims (6)

1. 移動体に設けられて光線を斜め下方向に放射する放射手段、
   前記移動体に設けられて前記放射手段の放射方向に対応する視野を有する撮像手段、
   前記放射手段によって放射された光線の反射位置の変化量が基準を上回るか否かを前記撮像手段の出力に基づいて判別する判別手段、
   前記判別手段の判別結果が否定的な結果から肯定的な結果に更新されたとき前記放射手段の放射方向を変更する変更手段、
   前記放射手段によって放射された光線の反射位置の変化の態様を前記変更手段の変更処理と並列する前記撮像手段の出力に基づいて検出する検出手段、および
   前記検出手段の検出結果に応じて異なる報知を前記移動体の操縦者に向けて出力する報知手段を備える、操縦支援装置。
2. 前記放射手段は前記撮像手段の視野の左右方向に延びる線状の光線を放射し、
   前記変更手段は前記放射方向を上方向に変更する、請求項１記載の操縦支援装置。
3. 前記検出手段は、前記検出手段の検出結果が反射する光線の消失を示すとき前記報知を第１態様で出力する第１報知手段、および前記検出手段の検出結果が反射する光線の少なくとも一部の検出を示すとき前記報知を第２態様で出力する第２報知手段を含む、請求項１または２記載の操縦支援装置。
4. 前記撮像手段の出力に基づいて鳥瞰図画像を作成する作成手段をさらに備え、
   前記判別手段および前記検出手段はそれぞれ前記作成手段によって作成された鳥瞰図画像を参照して判別処理および検出処理を実行する、請求項１ないし３のいずれかに記載の操縦支援装置。
5. 前記撮像手段は前記移動体の周辺に設けられる複数のカメラを含み、
   前記放射手段は前記複数のカメラにそれぞれ割り当てられる複数のレーザ照射器を含み、
   前記判別手段の判別処理のために注目されるカメラおよびレーザ照射器を繰り返し更新する更新手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
6. 前記更新手段の更新態様を前記移動体の移動速度および前記移動体の移動方向の少なくとも一方に応じて異なる態様に設定する設定手段をさらに備える、請求項１ないし５のいずれかに記載の操縦支援装置。

Images