JP2006322796A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】距離演算の処理の負荷を軽減し高速に距離情報を出力すること。
【解決手段】画像処理装置１は、移動体に搭載され、所定の撮像視野に対応する画像信号群を生成する撮像部１０と、移動体の移動情報を取得する検知部６０と、この取得した移動情報を参照し、所定時間後の自車両の到達地点を予測する到達地点予測部３１と、この予測結果に基づいて画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定部３２と、この設定された演算範囲に対応する画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部２１とを備える。
【選択図】 図１

Description

本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関し、特に車載用として好適な画像処理装置、画像処理方法および画像処理プログラムに関するものである。

従来、自動車等の車両に搭載され、自車両の前方を走行する先行車両を撮像した画像を処理し、自車両から先行車両までの距離を検出する車間距離検出装置が知られている（たとえば、特許文献１参照）。この車間距離検出装置は、画像上で先行車両を捕捉するために、画像内の所定位置に複数の測距用ウインドウを設定し、この設定した各測距用ウインドウ内で画像を処理して任意の対象物までの距離を演算し、演算した結果と測距用ウインドウの位置情報とをもとに先行車両の撮像位置を認識している。

特許第２６３５２４６号公報 特開平８−１７１１５１号公報

ところで、上述した従来の車間距離検出装置では、撮像位置が不明な先行車両を捕捉するため、測距用ウインドウは画像のほぼ全域をカバーするように設定する必要があった。この結果、画像のほぼ全域を処理して距離演算を行うので、演算処理の負荷が大きく、処理時間がかかるという問題があった。

本発明は、上記に鑑みてなされたものであって、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の請求項１にかかる画像処理装置は、移動体に搭載され、所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測手段と、前記到達地点予測手段の予測結果に基づいて前記演算手段が処理する演算範囲を設定する演算範囲設定手段と、を備え、前記演算手段は、前記演算範囲設定手段が設定した前記演算範囲に対応する画像信号群に基づいて前記物体までの距離を演算することを特徴とする。

また、本発明の請求項２にかかる画像処理装置は、上記の発明において、前記移動情報を取得する移動情報取得手段を備え、前記到達地点予測手段は、前記移動情報取得手段が取得した前記移動情報に基づいて前記移動体が所定時間後に到達する地点を予測することを特徴とする。

また、本発明の請求項３にかかる画像処理装置は、上記の発明において、前記到達地点予測手段は、経験的に求められた関数に基づいて前記移動体が所定時間後に到達する地点を予測することを特徴とする。

また、本発明の請求項４にかかる画像処理装置は、上記の発明において、前記到達地点予測手段は、前記移動情報に基づいて前記予測結果を補正することを特徴とする。

また、本発明の請求項５にかかる画像処理装置は、上記の発明において、前記演算範囲設定手段は、前記経験的に求められた関数に基づいて前記演算範囲を設定することを特徴とする。

また、本発明の請求項６にかかる画像処理装置は、上記の発明において、前記移動情報は、前記移動体の移動速度、前記移動体の移動加速度、前記移動体の移動方向、前記移動体の移動方位、前記移動体の位置情報、当該移動情報の変化率、またはこれらの組合せであることを特徴とする。

また、本発明の請求項７にかかる画像処理装置は、上記の発明において、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする。なお、ここで述べた移動量は、一般的に言われる視差量を示す。

また、本発明の請求項８にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子とを備えたことを特徴とする。

また、本発明の請求項９にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の導光光学系と、各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子とを備えたことを特徴とする。

また、本発明の請求項１０にかかる画像処理装置は、上記の発明において、前記移動体は、車両であることを特徴とする。

また、本発明の請求項１１にかかる画像処理方法は、移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理方法であって、前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測ステップと、前記到達地点予測ステップにおいて予測された予測結果に基づいて前記画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定ステップと、前記演算範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、を含むことを特徴とする。

また、本発明の請求項１２にかかる画像処理プログラムは、移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理プログラムであって、前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測手順と、前記到達地点予測手順において予測された予測結果に基づいて前記画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定手順と、前記演算範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、を含むことを特徴とする。

本発明にかかる画像処理装置、画像処理方法および画像処理プログラムによれば、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、所定の撮像視野を有し、撮像視野に対応する画像を撮像し画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群を解析し処理する画像処理部２０と、画像処理装置１の全体の処理および動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、画像処理装置１が搭載される四輪自動車等の移動体である自車両の移動情報を検知する検知部６０とを備える。撮像部１０、画像処理部２０、出力部４０、記憶部５０および検知部６０は、制御部３０に電気的に接続される。なお、この接続の形態は、有線に限らず無線も含む。

撮像部１０は、ステレオカメラであり、左右に並んで配置された右カメラ１１ａと、左カメラ１１ｂとを備える。右カメラ１１ａは、レンズ１２ａと、撮像素子１３ａと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａと、フレームメモリ１５ａとを備える。レンズ１２ａは、所定の撮像視野内に位置する任意の物体からの光を撮像素子１３ａ上に集光する。撮像素子１３ａは、ＣＣＤあるいはＣＭＯＳ等の撮像素子であり、レンズ１２ａが集光した物体からの光を光信号として検知し、アナログ信号である電気信号に変換し、出力する。Ａ／Ｄ変換部１４ａは、撮像素子１３ａが出力するアナログ信号をデジタル信号に変換し、出力する。フレームメモリ１５ａは、Ａ／Ｄ変換部１４ａが出力するデジタル信号を記憶し、１枚の撮像画像に対応するデジタル信号群を、撮像視野に対応する画像信号群、すなわち画像情報として随時出力する。一方、左カメラ１１ｂは、右カメラ１１ａと同様の構成であり、レンズ１２ｂと、撮像素子１３ｂと、Ａ／Ｄ変換部１４ｂと、フレームメモリ１５ｂとを備える。左カメラ１１ｂの各構成部位は、右カメラ１１ａの対応する各構成部位と同様の機能を備える。

撮像部１０が備える一対の撮像光学系としてのレンズ１２ａ、１２ｂは、光軸を平行にし、距離Ｌだけ離れて位置する。撮像素子１３ａ、１３ｂは、それぞれレンズ１２ａ、１２ｂから光軸上で距離ｆだけ離れて位置する。右カメラ１１ａおよび左カメラ１１ｂは、同一の物体を互いに異なる位置から異なる光路を介して撮像する。なお、レンズ１２ａ、１２ｂは、通常は複数のレンズを組み合わせて構成され、たとえばディストーション等のレンズの収差を良好に補正した状態にある。

画像処理部２０は、撮像部１０から取得した画像信号群を処理し、撮像した物体までの距離を演算する演算部２１を備える。演算部２１は、右カメラ１１ａが出力する右画像信号群の中から、左カメラ１１ｂが出力する左画像信号群の中の任意の左画像信号と整合する右画像信号を検出し、この検出した右画像信号の、対応する左画像信号からの距離である移動量に基づいて、撮像視野内に位置する物体までの距離を演算する。すなわち、右カメラ１１ａからの右画像信号群と、左カメラ１１ｂからの左画像信号群とを、それぞれの撮像光学系の光軸の位置を基準に重ね合わせ、左画像信号群の中の任意の左画像信号と、それに最も整合する右画像信号群の中の右画像信号とを検出し、対応する左画像信号から右画像信号までの撮像素子上での距離である移動量Ｉを求め、三角測量の原理に基づく以下の（１）式を利用し、たとえば図１における撮像部１０から車両Ｃまでの距離Ｒを演算する。実際上、移動量Ｉは、撮像素子の画素数と画素ピッチとをもとに求めるとよい。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。
Ｒ＝ｆ・Ｌ／Ｉ ・・・（１）

演算部２１は、演算範囲内の任意の画像信号、すなわち撮像素子の任意の画素に対応する物体までの距離を演算する。画像処理部２０は、演算部２１が演算する物体までの距離と画像内の物体の位置とを対応させた距離情報を作成し、制御部３０に出力する。なお、ここで距離演算の対象となる物体は、有体物である物体に限らず、撮像した任意の被写体であって、路面や空等の背景も含まれる。

制御部３０は、記憶部５０が記憶する処理プログラムを実行するＣＰＵを備え、撮像部１０、画像処理部２０、出力部４０、記憶部５０および検知部６０での各種処理動作を制御する。特に、この実施の形態１にかかる制御部３０は、到達地点予測部３１と演算範囲設定部３２とを備える。到達地点予測部３１は、検知部６０から移動情報を取得し、自車両が所定時間後に到達する地点を予測する。演算範囲設定部３２は、ウインドウ情報５１が格納する複数のウインドウ情報の中から到達地点予測部３１の予測結果に適合するウインドウを選択し、演算部２１における演算範囲を設定する。演算範囲設定部３２は、選択したウインドウ情報を画像処理部２０に出力する。なお、ウインドウ情報とは、ウインドウの大きさや形状等に関する情報である。

出力部４０は、距離情報を含む各種情報を出力する。たとえば、出力部４０は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を備え、撮像部１０が撮像した画像等、各種の表示可能な情報を距離情報とともに表示する。さらに、スピーカー等の音声出力装置を備え、距離情報や距離情報に基づく警告等、各種音声情報を出力するように構成してもよい。

記憶部５０は、所定のＯＳを起動するプログラムや画像処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータや各構成部位に入出力される各種情報等を記憶するＲＡＭとを備える。さらに、記憶部５０は、演算範囲設定部３２が選択する複数のウインドウ情報を格納したウインドウ情報５１、撮像部１０が撮像した画像情報５２、操舵角センサ６１が検出した操舵角情報５３、速度センサ６２が検出した速度情報５４、到達地点予測部３１が予測した到達地点情報５５および演算部２１が演算し作成した距離情報５６を記憶する。

検知部６０は、自車両の移動情報を各種センサで検出する。特に、この実施の形態１にかかる検知部６０は、自車両の移動方向を検出する操舵角センサ６１と、移動速度を検出する速度センサ６２とを備える。操舵角センサ６１は、自車両の移動方向として前輪の左右の回転角である操舵角を検出するセンサであって、ハンドルの回転角と回転方向とをもとに操舵角を演算するセンサである。速度センサ６２は、自動車等が通常備える速度計である。検知部６０は、操舵角センサ６１が検出する操舵角情報と、速度センサ６２が検出する速度情報とを自車両の移動情報として制御部３０に出力する。なお、速度センサ６２は、自車両から走行する路面を観測し速度を演算するセンサ、加速度を検出し速度を演算するセンサ等であってもよい。また、自車両の移動方向を検出する手段として、操舵角センサ６１の代わりに、ジャイロスコープを利用した角度検出センサ等を用いてもよい。

つぎに、画像処理装置１が実行する処理動作について図２のフローチャートにしたがって説明する。図２は、画像処理装置１が、画像を撮像してから距離情報を出力するまでの処理手順を示すフローチャートである。

図２に示すように、撮像部１０が、所定の視野を撮像し、生成した画像信号群を画像情報として画像処理部２０に出力する撮像処理を行い（ステップＳ１０２）、検知部６０が、自車両の移動情報を検出し制御部３０に出力する移動情報検出処理を行う（ステップＳ１０４）。ここで、移動情報の検出は、操舵角センサ６１が移動方向として操舵角を検出し、速度センサ６２が移動速度を検出する。制御部３０の到達地点予測部３１は、検知部６０からの移動情報をもとに自車両の所定時間後の到達地点を予測する到達地点予測処理を行い（ステップＳ１０６）、演算範囲設定部３２が、到達地点の予測結果をもとに演算部２１が処理すべき演算範囲を設定する演算範囲設定処理を行う（ステップＳ１０８）。制御部３０は、設定した演算範囲の情報を画像処理部２０に出力する。画像処理部２０では、演算部２１が、設定された演算範囲内に撮像された任意の物体までの距離を演算し、演算した距離と画像内の物体の位置とを対応させた距離情報を作成し、制御部３０に出力する距離演算処理を行う（ステップＳ１１０）。制御部３０は、この距離情報およびこの距離情報に基づく所定の処理情報を出力部４０に出力し（ステップＳ１１２）、一連の処理動作を終了する。なお、制御部３０は、各処理ステップで生成された情報である画像情報５２、操舵角情報５３、速度情報５４、到達地点情報５５および距離情報５６を記憶部５０に随時記憶する。

ところで、上述した一連の処理は、たとえば、自車両の搭乗者等から所定の処理終了あるいは中断の指示がない限り、継続して繰り返す。また、上述した処理は逐次実行するものとして説明したが、実際には、処理機構が独立している処理動作を並行して実行し、処理サイクルを高速化することが好ましい。なお、ステップＳ１０２における撮像処理は、ステップＳ１０４、ステップＳ１０６、またはステップＳ１０８のいずれかの処理の直後に行うようにしてもよい。

つぎに、図２に示したステップＳ１０６の到達地点予測処理について説明する。図３は、到達地点予測部３１による到達地点予測処理の処理手順を示すフローチャートである。図３に示すように、到達地点予測部３１は、検知部６０から移動情報を取得し（ステップＳ１２２）、自車両の所定時間後の到達地点を演算する（ステップＳ１２４）。この演算において、到達地点予測部３１は、実空間の座標系に対して到達地点を算出するが、その後、その位置を撮像画像上の座標系に対する座標に変換し（ステップＳ１２６）、変換した到達地点の座標を到達地点情報として演算範囲設定部３２に出力し（ステップＳ１２８）、到達地点予測処理を終了する。

ステップＳ１２４の到達地点の演算において、到達地点予測部３１は、操舵角センサ６１が検出した移動方向に、速度センサ６２が検出した速度で直線的に自車両が移動するものとして、所定時間後の到達地点の座標を演算する。たとえば図４に示すように、右にカーブする走行路Ｒを走行する自車両Ｃａの場合、到達地点予測部３１は、現在地点ｐ０で操舵角センサ６１が検出した移動方向、すなわち操舵角がθ０である方向に、速度センサ６２が検出した速度で直進するものとして、所定時間後の到達地点ｐ１の座標を演算する。その後、到達地点予測部３１は、実空間の座標系にある到達地点ｐ１を、図５に示すように、撮像画像１６上の座標系に対する到達地点Ｐ１に変換し、その座標を到達地点情報として出力する。

つづいて、図２に示したステップＳ１０８の演算範囲設定処理について説明する。図６は、演算範囲設定部３２による演算範囲設定処理の処理手順を示すフローチャートである。図６に示すように、演算範囲設定部３２は、到達地点予測部３１から到達地点情報を取得し（ステップＳ１４２）、その後、取得した到達地点情報をもとに演算範囲を設定する処理を行う（ステップＳ１４４〜Ｓ１５０）。すなわち、演算範囲設定部３２は、到達地点が自車両から近いか否かを判断し（ステップＳ１４４）、近い場合（ステップＳ１４４：Ｙｅｓ）、記憶部５０が記憶するウインドウ情報５１の中から、演算範囲を規定する画像処理用のウインドウとして、到達地点情報にもっとも適合する近距離用ウインドウを選択し（ステップＳ１４６）、この選択した近距離用ウインドウのウインドウ情報を演算範囲の情報として画像処理部２０に出力する（ステップＳ１４８）。一方、到達地点が遠い場合（ステップＳ１４４：Ｎｏ）、演算範囲設定部３２は、ウインドウ情報５１から到達地点情報にもっとも適合する遠距離用ウインドウを選択し（ステップＳ１５０）、そのウインドウ情報を画像処理部２０に出力する（ステップＳ１４８）。

ここで、演算範囲設定部３２が選択するウインドウの一例について説明する。図７−１は、撮像部１０が撮像した画像１６に、到達地点予測部３１が予測した到達地点Ｐ１ａと、演算範囲設定部３２が選択した近距離用ウインドウ５１ａとを重ね合わせた図である。近距離用ウインドウ５１ａは、図７−１に示すように、到達地点Ｐ１ａを内部に含む略台形状の多角形のウインドウである。近距離用ウインドウ５１ａは、到達地点Ｐ１ａが自車両から比較的近い距離にある場合に選択されるウインドウであり、到達地点Ｐ１ａの周辺、ならびに自車両から到達地点Ｐ１ａに至る経路の周辺を包含する。近距離用ウインドウ５１ａでは、到達地点Ｐ１ａまでの距離によって略台形状の高さと上底の長さとが規定され、到達地点Ｐ１ａに向かう方向によって上底の横方向の位置が規定される。一方、図７−２は、画像１６に、到達地点Ｐ１ｂと遠距離用ウインドウ５１ｂとを重ね合わせた図である。遠距離用ウインドウ５１ｂは、図７−２に示すように、到達地点Ｐ１ｂを中心に、その周辺の領域を包含する矩形のウインドウであり、到達地点Ｐ１ｂが自車両から比較的遠い距離にある場合に選択されるウインドウである。遠距離用ウインドウ５１ｂでは、到達地点Ｐ１ｂまでの距離がウインドウの大きさを規定する。

ところで、記憶部５０が備えるウインドウ情報５１は、予測される到達地点までの方向と距離とをパラメータとして規定されるウインドウ情報を複数記憶しており、演算範囲設定部３２は、その複数のウインドウ情報の中から予測された到達地点にもっとも適合するウインドウとして近距離用ウインドウ５１ａあるいは遠距離用ウインドウ５１ｂ等を選択する。その際、演算範囲設定部３２は、たとえば、パラメータとウインドウ情報との対照表を記憶し、パラメータの各種組み合わせに対応して対照表を参照し、選択すべきウインドウを決定するとよい。

また、図６に示すフローチャートでは、予測される到達地点までの距離に対応して近距離用ウインドウあるいは遠距離用ウインドウを選択するとしたが、さらに選択肢を増やし、たとえば中距離用ウインドウを選択するようにしてもよい。その一例を図８に示す。図８に示す中距離用ウインドウ５１ｃは、自車両から近距離ないし遠距離の中間にある到達地点Ｐ１ｃの周辺、ならびに自車両から到達地点Ｐ１ｃに至る経路にあって自車両に至近の範囲を除いた部分の周辺を包含する。なお、選択肢の数はこの例に限らず、さらに多数の選択肢に対応する多種のウインドウを備え、実質的にパラメータの任意の組合わせに対して異なるウインドウを選択可能なようにしてもよい。

以上説明したこの実施の形態１にかかる画像処理装置１は、移動情報としての操舵角情報と速度情報とに基づき自車両の所定時間後の到達地点を予測し、この予測した到達地点に応じて演算範囲を設定および限定して距離演算を行うため、画像情報のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算に要する時間を短縮することができる。この結果、画像処理装置１は、画像情報を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、ステップＳ１０６の到達地点予測処理において、操舵角センサ６１が検出した移動方向に、速度センサ６２が検出した速度で直線的に移動するとして、到達地点予測部３１が、所定時間後の自車両の到達地点を演算するようにしていたが、この実施の形態２では、さらに移動方向の変化率である操舵角の変化率を参照し、経験的に求められた関数を用いて到達地点を演算するようにしている。

図９は、本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。図９に示す画像処理装置２は、実施の形態１にかかる画像処理装置１の制御部３０に代えて制御部１３０を備え、制御部１３０は、制御部３０が備えた到達地点予測部３１と演算範囲設定部３２とに代えて、同様の機能を有する到達地点予測部３３と演算範囲設定部３４とを備える。また、画像処理装置２は、記憶部５０に代えて記憶部１５０を備え、記憶部１５０は、記憶部５０の記憶内容に加え、到達地点予測部３３が選択する関数を複数格納する予測関数情報５７をさらに記憶する。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

この画像処理装置２は、実施の形態１にかかる画像処理装置１の処理手順と同様に、図２のフローチャートに示す撮像処理から距離情報の出力までの処理を実行する。ただし、到達地点予測処理での到達地点の予測方法と、演算範囲設定処理で選択するウインドウの特徴とに関して画像処理装置２は画像処理装置１と異なる。

まず、画像処理装置２が実行する到達地点予測処理について説明する。図１０は、到達地点予測部３３が行う到達地点予測処理の処理手順を示すフローチャートである。図１０に示すように、到達地点予測部３３は、検知部６０から移動情報として操舵角情報と速度情報とを取得し（ステップＳ２２２）、操舵角の変化率を演算し（ステップＳ２２４）、操舵角、操舵角の変化率および速度をもとに記憶部１５０が記憶する予測関数情報５７のなかから適当な予測関数を選択し（ステップＳ２２６）、この選択した予測関数にしたがって自車両の所定時間後の到達地点を演算する（ステップＳ２２８）。さらに、到達地点予測部３３は、演算した到達地点について、実施の形態１におけるステップＳ１２６と同様に座標の変換を行い（ステップＳ２３０）、変換した到達地点の座標を到達地点情報として演算範囲設定部３４に出力し（ステップＳ１３２）、到達地点予測処理を終了する。

ステップＳ２２６において到達地点予測部３３が選択する予測関数は、経験的に求められた関数であり、操舵角、操舵角の変化率および速度をパラメータにして規定される関数である。また、機能的に、予測関数は自車両の軌道を予測する関数であって、時間を変数として予測関数が描く軌跡は自車両の予測軌道を表す。たとえば図１１に示すように、自車両Ｃａの現在地点ｐ０において選択される予測関数は、時間を変数として破線で示す軌跡を描く。到達地点予測部３３は、この軌跡を現在地点ｐ０以降の自車両Ｃａの予測軌道ｑと認識し、ステップＳ２２８において、その軌道上にある所定時間後の到達地点ｐ２の座標を演算する。

ここで、到達地点予測部３３が選択する予測関数と、予測関数を規定するパラメータとしての操舵角、操舵角の変化率および速度との関係について、図１２を参照して説明する。図１２は、自車両Ｃａが、現在地点ｐ０で、操舵角がθ０の方向にｖ０の速度で移動する状態を示す。ステップＳ２２４で算出される操舵角の変化率は、現在地点ｐ０で検出された操舵角から、現在地点ｐ０の直前に検出された操舵角を差し引いた差分△θ０である。たとえば、この差分△θ０の絶対値が０である場合、到達地点予測部３３は、現在の操舵角を保持したまま自車両Ｃａが移動し続けると予測し、その場合の予測軌道ｑ０に対応する予測関数を選択する。一方、差分△θ０が正の値である場合、到達地点予測部３３は、自車両Ｃａが操舵角を増加させつつ移動すると予測し、予測軌道ｑ０よりも曲率半径の小さい予測軌道ｑ１に対応する予測関数を選択する。他方、差分△θ０が負の値である場合、到達地点予測部３３は、自車両Ｃａが操舵角を減少させつつ移動すると予測し、予測軌道ｑ０よりも曲率半径の大きい予測軌道ｑ２に対応する予測関数を選択する。なお、予測軌道ｑ１、ｑ２の曲率半径の大きさは、予測軌道ｑ０の曲率半径を基準に、差分△θ０の大きさを参照して計算される。

また、別のケースとして、たとえば、現在地点ｐ０における操舵角がθ０、操舵角の変化率が△θ０であり、速度がｖ０のときに予測軌道ｑ０が対応するとして、速度がｖ１（＞ｖ０）の場合には予測軌道ｑ０よりも曲率半径の小さい予測軌道ｑ１が対応し、速度がｖ２（＜ｖ０）の場合には予測軌道ｑ０よりも曲率半径の大きい予測軌道ｑ２が対応する。さらに、操舵角、操舵角の変化率および速度の組み合わせにより、種々のケースで様々な予測関数を規定することができる。

つぎに、演算範囲設定処理において演算範囲設定部３４が選択するウインドウについて説明する。図１３−１は、撮像部１０が撮像した画像１６に、到達地点予測部３３が演算した到達地点Ｐ２ａ、選択した予測経路Ｑａ、演算範囲設定部３４がウインドウ情報５１から選択した近距離用ウインドウ５１ｄを重ね合わせた図である。近距離用ウインドウ５１ｄは、実施の形態１に示した近距離用ウインドウ５１ａに対応し、到達地点Ｐ２ａの周辺、ならびに自車両から到達地点Ｐ２ａに至る予測経路Ｑａの周辺を包含する点で近距離用ウインドウ５１ａに類似し、予測経路Ｑａに沿ってウインドウの左右の境界を屈曲線で形成する点で近距離用ウインドウ５１ａと異なる。なお、この屈曲線は、曲線としてもよい。一方、図１３−２は、画像１６に、到達地点Ｐ２ｂ、予測経路Ｑｂ、遠距離用ウインドウ５１ｅを重ね合わせた図である。遠距離用ウインドウ５１ｅは、到達地点Ｐ２ｂを中心に、その周辺の領域を包含する矩形のウインドウであり、実施の形態１に示した遠距離用ウインドウ５１ｂと類似する。なお、演算範囲設定部３４は、たとえば、到達地点と、予測経路もしくは予測関数と、ウインドウ情報との対照表を記憶し、これらの各種組み合わせに応じて対照表を参照し、選択すべきウインドウを決定するとよい。

この実施の形態２における到達地点の予測は、現在地点での操舵角、操舵角の変化率および速度をパラメータに、軌道を予測する経験的に定められた予測関数を用いて所定時間後の到達地点を求めるため、実施の形態１における直線的な移動を想定する到達地点の予測に比して、一層高い信頼性をもって予測を行うことができる。両手法で予測される到達地点の差は、たとえば図１３−１に重ねて示すようになり、近距離領域において、湾曲した予測軌道Ｑａをもとに予測される到達地点Ｐ２ａは、直線的に予測される到達地点Ｐ１ａよりも画像上で左下にずれた位置に予測される。また、図１３−２に重ねて示すように、遠距離領域において、予測軌道Ｑｂをもとに予測される到達地点Ｐ２ｂは、直線的に予測される到達地点Ｐ１ｂよりも画像上で右下にずれた位置に予測される。

また、この実施の形態２では、経験則に基づく予測関数を用いて軌道を予測し、特に近距離領域における演算において、予測した軌道をもとにウインドウの左右の境界を屈曲線あるいは曲線で形成することができるため、一層厳密に演算範囲を限定し、不要な演算領域を省き、結果として演算にかかる処理時間を一層短縮することができる。

なお、この実施の形態２では、操舵角、操舵角の変化率および速度をパラメータに予測関数を選択するようにしたが、選択にかかるパラメータはこれらに限定されず、たとえば、加速度をパラメータとしてさらに加えてもよいし、操舵角の変化率に代えて加速度を用い、予測関数を選択するようにしてもよい。また、操舵角に代えて移動方位を別途検知しパラメータとしてもよい。

以上説明したこの実施の形態２にかかる画像処理装置２では、予測関数を用いて厳密に到達地点や予測軌道を予測し、それに応じて演算範囲を設定および限定して距離演算を行うため、画像情報のすべての画像信号に対して距離演算を行う従来の画像処理装置に比べ、距離演算に要する時間を短縮することができる。この結果、画像処理装置２は、画像情報を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。

（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１および２では、操舵角情報と速度情報とをもとに到達地点予測部が所定時間後の自車両の到達地点を演算するようにしていたが、この実施の形態３では、さらに自車両の位置情報を検知し、現在位置付近の地理的情報である地図情報を参照して所定時間後の到達地点を演算するようにしている。

図１４は、本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。図１４に示す画像処理装置３は、実施の形態１にかかる画像処理装置１の検知部６０にＧＰＳ（Global Positioning System）センサ６３を加えた検知部１６０を備える。また、画像処理装置３は、制御部３０に代えて制御部２３０を備え、制御部２３０は、到達地点予測部３１と演算範囲設定部３２とに代えて、同様の機能を有する到達地点予測部３５と演算範囲設定部３６とを備える。さらに、画像処理装置３は、記憶部５０に代えて記憶部２５０を備え、記憶部２５０は、記憶部５０の記憶内容に加え、ＧＰＳセンサ６３が検知した位置情報である位置情報５８と、検知した位置情報をもとに参照する地図情報５９とを記憶する。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

この画像処理装置３は、実施の形態１に示した画像処理装置１の処理手順と同様に、図２のフローチャートに示す撮像処理から距離情報の出力までの処理を実行する。ただし、移動情報検出処理で、さらに位置情報が検知される点と、到達地点予測処理で、地図情報をもとに到達地点が補正される点とが異なる。

まず、画像処理装置３が実行する移動情報検出処理について説明する。検知部１６０では、画像処理装置１の検知部６０と同様に、操舵角センサ６１が操舵角を検出し、速度センサ６２が速度を検出する。その後、ＧＰＳセンサ６３が自車両の現在位置を検知する。各センサは、検知した結果をそれぞれ制御部２３０に出力する。

つぎに、画像処理装置３が実行する到達地点予測処理について説明する。到達地点予測部３５は、まず、画像処理装置１の到達地点予測部３１と同様に、自車両が直線的に移動するものとして、操舵角情報と速度情報とをもとに所定時間後の到達地点の座標を演算する。その後、到達地点予測部３５は、ＧＰＳセンサ６３が検知した位置情報をもとに記憶部２５０が記憶する地図情報５９を参照し、演算した到達地点の座標を補正する。ここで参照する地図情報は、現在位置を含む周囲の地理的な情報であり、たとえば、走行する道路の幅や勾配、カーブの曲率等の情報である。

図１５に示すように、参照した地図情報によって自車両が上り坂にさしかかることを検知した場合、到達地点予測部３５は、上り坂の勾配の情報をもとに、直線的な軌道で演算した到達地点ｐ３ａを上り坂に沿った軌道上で等しい距離にある到達地点ｐ３ｂに変換する。この変換において、到達地点予測部３５は、移動方向に△ｐｚ、鉛直方向に△ｐｙだけ到達地点の座標を補正する。なお、この場合、演算範囲設定処理において設定されるウインドウの位置は、撮像画像上で上下方向に補正されることになる。

なお、上記の説明では、上り坂の勾配の情報をもとに軌道を修正して到達地点の位置を補正したが、さらに上り坂を走行することによって速度が低下することを考慮して補正を行ってもよい。また、自車両が下り坂を走行することを検知した場合には、速度が増加することを考慮して補正を行ってもよく、さらに種々の地図情報をもとに様々な補正が可能である。これら様々な補正を行うことにより、この実施の形態３にかかる画像処理装置３では、走行路の地理的状況に影響されず、一層高い信頼性を持って到達地点の予測をすることが可能である。また、実施の形態２で説明したように、自車両の移動方向の変化率である操舵角の変化率等を用いることによって、曲線的な軌道に基づいた到達地点の予測を行ってもよい。

以上説明したこの実施の形態３にかかる画像処理装置３では、ＧＰＳを利用して位置情報を取得し、この取得した位置情報に対応する地図情報をもとに補正した到達地点に応じて演算範囲を設定および限定して距離演算を行うため、画像情報のすべての画像信号に対して距離演算を行う従来の画像処理装置に比べ、距離演算に要する時間を短縮することができる。この結果、画像処理装置３は、画像情報を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。

（実施の形態４）
つぎに、本発明の実施の形態４について説明する。上述した実施の形態１〜３では、撮像部１０からの画像信号群を処理して撮像した物体までの距離を検出するようにしていたが、この実施の形態４では、撮像視野内に位置する物体までの距離をレーダで検出するようにしている。

図１６は、本発明の実施の形態４にかかる画像処理装置の構成を示すブロック図である。図１６に示す画像処理装置４は、上述した実施の形態１にかかる画像処理装置１にさらにレーダ７０を備え、また、制御部３０の代わりにさらにレーダ７０を制御する機能を有した制御部３３０を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

レーダ７０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信し、発信状態および受信状態をもとに、レーダ７０から発信波を反射した物体までの距離と、その物体が位置する方向とを検出する。レーダ７０は、発信波の発信角度、反射波の入射角度、反射波の受信強度、発信波を発信してから反射波を受信するまでの時間、受信波および反射波における周波数変化をもとに、発信波を反射した物体までの距離および方向を検出する。レーダ７０は、撮像部１０の撮像視野内に位置する物体までの距離を、その物体が位置する方向とともに制御部３３０に出力する。レーダ７０は、送信波として、たとえば、レーザ光、赤外光、ミリ波、マイクロ波、超音波などを送信する。

この実施の形態４にかかる画像処理装置４では、撮像部１０からの画像情報を処理して距離を演算する代わりにレーダ７０により距離を検出するため、一層高速かつ高精度に距離情報を取得できる。

なお、画像処理装置４では、撮像部１０によって撮像された画像信号群における位置関係とレーダ７０の検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、画像処理装置４は、形状が既知の物体に対して、撮像部１０による撮像処理およびレーダ７０による検出処理を行い、撮像部１０およびレーダ７０のそれぞれによって処理した既知の物体の位置を求める。その後、画像処理装置４は、最小２乗法などを用いて、撮像部１０およびレーダ７０のそれぞれによって処理した既知の物体の位置の関係を求め、撮像部１０によって撮像された画像信号群における位置関係とレーダ７０の検出範囲における位置関係とを整合する。

また、画像処理装置４では、撮像部１０の撮像原点とレーダ７０の検出原点とがずれている場合があっても、撮像点および検出点から画像処理装置４までの距離が十分に離れた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０によって撮像された画像信号群における位置関係とレーダ７０の検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。

なお、画像処理装置４では、撮像部１０によって撮像された画像信号群の各画像信号が位置する画素行に、レーダ７０の各レーダ検出点が所定間隔で位置するように設定するとよい。また、このように各レーダ検出点が設定されない場合、各画像信号の近傍に位置する複数のレーダ検出点をもとに、一次補間法などを用いて各画像信号と同一画素行にレーダ検出点の補間点を求め、この補間点を用いて検出処理を行うようにすればよい。

（実施の形態５）
つぎに、本発明の実施の形態５について説明する。上述した実施の形態１〜４では、右カメラ１１ａおよび左カメラ１１ｂの２台のカメラによってステレオ画像を撮像していたが、この実施の形態５では、一対の導光光学系と、各導光光学系に対応する撮像領域を有し、各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子によってステレオ画像を撮像するようにしている。

図１７は、本発明の実施の形態５にかかる画像処理装置の一部構成を示すブロック図である。図１７に示す撮像部１１０は、上述した実施の形態１〜４にかかる画像処理装置における撮像部１０に代わり、この実施の形態５にかかる画像処理装置が備える撮像部である。図１７に示す以外の画像処理装置の構成は、上述した実施の形態１〜４のいずれかと同じである。

撮像部１１０は、撮像部１０の右カメラ１１ａあるいは左カメラ１１ｂと同様の構成および機能を有した撮像装置としてのカメラ１１１を備える。カメラ１１１は、レンズ１１２と、撮像素子１１３と、Ａ／Ｄ変換部１１４と、フレームメモリ１１５とを備える。さらに、撮像部１１０は、カメラ１１１の前方に、ミラー１１９ａ〜１１９ｄによって構成された一対の導光光学系としてのステレオアダプタ１１９を備える。ステレオアダプタ１１９は、図１７に示すように、ミラー１１９ａ、１１９ｂを組として反射面を略平行に対向して備え、ミラー１１９ｃ、１１９ｄを別の組として反射面を略平行に対向して備える。ステレオアダプタ１１９は、この２組の一対のミラー系を、レンズ１１２の光軸を基準に左右対称に隣接して備える。

撮像部１１０は、撮像視野内に位置する物体からの光をステレオアダプタ１１９の左右２組のミラー系で受光し、撮像光学系としてのレンズ１１２で集光し、撮像素子１１３で撮像する。このとき、図１８に示すように、撮像素子１１３は、ミラー１１９ａ、１１９ｂによる右の組のミラー系を介した右画像１１６ａと、ミラー１１９ｃ、１１９ｄによる左の組のミラー系を介した左画像１１６ｂとを、左右にずらした全く重ならない撮像領域で撮像する。なお、このようなステレオアダプタを用いた技術は、たとえば、特許文献２に開示されている。

この実施の形態５にかかる撮像部１１０では、ステレオアダプタを備えた１台のカメラでステレオ画像を撮像するため、２台のカメラでステレオ画像を撮像する場合に比べ、撮像部を簡易化してコンパクトにできるとともに、機械的強度を増強し、左右の画像を相対的に常に安定した状態で撮像することができる。さらに、左右の画像を、共通のレンズおよび撮像素子を使用して撮像するため、固体差に起因するばらつきを抑え、キャリブレーションの手間や、位置合わせ等の組み立ての煩雑さを軽減できる。

なお、ステレオアダプタの構成として、図１７では、平面鏡を略平行に対向して組み合わせた例を示したが、さらにレンズ群を組み合わせて構成してもよく、また、凸面鏡や凹面鏡等、曲率を有した反射鏡を組み合わせて構成してもよく、反射鏡の代わりにプリズムで反射面を構成してもよい。

また、図１８に示すように、この実施の形態５では、左右の画像を全く重ならないように撮像したが、左右の画像の一部ないし全部が重なるようにし、たとえば受光部に設けたシャッター等により左右で受光する光を順次切り換えて撮像するようにして、わずかな時間差をもって撮像した左右の画像をステレオ画像として画像処理に供してもよい。

さらに、この実施の形態５では、左右の画像を左右に位置をずらして撮像する構成としたが、たとえば、ステレオアダプタの平面鏡を略直行に組み合わせて構成し、左右の画像を上下に位置をずらして撮像するようにしてもよい。

なお、上述した実施の形態１〜４において、たとえば、実施の形態３にかかる画像処理装置３では、画像処理装置１をもとに、さらにＧＰＳを利用し、位置情報に対応する地図情報を参照して到達地点を補正するようにしたが、画像処理装置２で示した予測関数を利用した演算手法をさらに取り入れ、到達地点の予測処理を行うようにしてもよい。また、ＧＰＳなど利用して外部から地図情報を取得し、取得した地図情報をもとに予測軌道を補正するようにしてもよい。

また、上記の実施の形態１〜４における画像処理装置では、現在地点で検出する移動情報を利用して所定時間後の到達地点を予測するようにしたが、記憶部で記憶された時系列の到達地点情報、移動情報等をもとに今後の到達地点、予測軌道等を予測してもよく、あるいは補正を行ってもよい。

さらに、実施の形態１〜４における撮像部１０、あるいは実施の形態５における撮像部１１０の構成について、一対のカメラあるいはステレオアダプタの受光部が、左右に並んで配置されるとして説明したが、上下に並んで配置される構成としてもよく、また、斜め方向に並んで配置される構成としてもよい。

また、撮像部のステレオカメラとして、いわゆる３眼ステレオカメラ、あるいは４眼ステレオカメラを構成してもよい。３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等を参照）。特に、複数のカメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また、１つの基線長方向にカメラを複数台配置すると、いわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度なステレオ計測が可能となる。

一方、撮像部のカメラとして、複眼であるステレオカメラの代わりに単眼のカメラを用いてもよい。その場合には、演算部２１において、たとえば、シェイプフロムフォーカス（shape from focus）法、シェイプフロムデフォーカス（shape from defocus）法、シェイプフロムモーション（shape from motion）法、シェイプフロムシェーディング（shape from shading）法等の３次元再構成技術を適用することにより、撮像視野内にある物体までの距離を演算することができる。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なボケ量を求め、ボケ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。

また、上述の実施の形態１〜５では、自動車等の車両に搭載される画像処理装置について説明したが、他の移動体に搭載して適用することもできる。さらに、画像処理装置全体が移動体に搭載されなくてもよく、たとえば、撮像部および出力部が移動体に搭載され、その他の構成部位が移動体の外に構成され、これらの間を無線通信で接続してもよい。

本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。 図１に示した画像処理装置が距離情報の出力を完了するまでの処理手順を示すフローチャートである。 到達地点予測処理の処理手順を示すフローチャートである。 到達地点予測処理における到達地点の演算の方法を説明する図である。 撮像部が撮像する画像に予測した到達地点を重ね合わせた結果の一例を示す図である。 演算範囲設定処理の処理手順を示すフローチャートである。 撮像部が撮像する画像に近距離用ウインドウを重ね合わせた結果の一例を示す図である。 撮像部が撮像する画像に遠距離用ウインドウを重ね合わせた結果の一例を示す図である。 撮像部が撮像する画像に中距離用ウインドウを重ね合わせた結果の一例を示す図である。 本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。 到達地点予測処理の処理手順を示すフローチャートである。 到達地点予測処理における到達地点の演算の方法を説明する図である。 到達地点予測処理において選択する予測関数を説明する図である。 撮像部が撮像する画像に近距離用ウインドウを重ね合わせた結果の一例を示す図である。 撮像部が撮像する画像に遠距離用ウインドウを重ね合わせた結果の一例を示す図である。 本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。 到達地点予測処理における到達地点の補正の方法を説明する図である。 本発明の実施の形態４にかかる画像処理装置の構成を示すブロック図である。 本発明の実施の形態５にかかる画像処理装置の一部構成を示すブロック図である。 図１７に示した撮像部が撮像する画像の一例を示す図である。

符号の説明

１ 画像処理装置
１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ，１２ｂ レンズ
１３ａ，１３ｂ 像素子
１４ａ，１４ｂ Ａ／Ｄ変換部
１５ａ，１５ｂ フレームメモリ
１６ 画像
２０ 画像処理部
２１ 演算部
３０，１３０，２３０，３３０ 制御部
３１，３３，３５ 到達地点予測部
３２，３４，３６ 演算範囲設定部
４０ 出力部
５０，１５０，２５０ 記憶部
５１ ウインドウ情報
５２ 画像情報
５３ 操舵角情報
５４ 速度情報
５５ 到達地点情報
５６ 距離情報
５７ 予測関数情報
５８ 位置情報
５９ 地図情報
６０，１６０ 検知部
６１ 操舵角センサ
６２ 速度センサ
６３ ＧＰＳセンサ
７０ レーダ
１１０ 撮像部
１１１ カメラ
１１２ レンズ
１１３ 撮像素子
１１４ Ａ／Ｄ変換部
１１５ フレームメモリ
１１６ 画像
１１６ａ 右画像
１１６ｂ 左画像
１１９ ステレオアダプタ
１１９ａ，１１９ｂ，１１９ｃ，１１９ｄ ミラー
Ｃａ 自車両
Ｃｂ 先行車両

Claims (12)

1. 移動体に搭載され、所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、
   前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、
   前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測手段と、
   前記到達地点予測手段の予測結果に基づいて前記演算手段が処理する演算範囲を設定する演算範囲設定手段と、
   を備え、
   前記演算手段は、前記演算範囲設定手段が設定した前記演算範囲に対応する画像信号群に基づいて前記物体までの距離を演算することを特徴とする画像処理装置。
2. 前記移動情報を取得する移動情報取得手段を備え、
   前記到達地点予測手段は、前記移動情報取得手段が取得した前記移動情報に基づいて前記移動体が所定時間後に到達する地点を予測することを特徴とする請求項１に記載の画像処理装置。
3. 前記到達地点予測手段は、経験的に求められた関数に基づいて前記移動体が所定時間後に到達する地点を予測することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記到達地点予測手段は、前記移動情報に基づいて前記予測結果を補正することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記演算範囲設定手段は、前記経験的に求められた関数に基づいて前記演算範囲を設定することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記移動情報は、前記移動体の移動速度、前記移動体の移動加速度、前記移動体の移動方向、前記移動体の移動方位、前記移動体の位置情報、当該移動情報の変化率、またはこれらの組合せであることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
   前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記撮像手段は、
   一対の撮像光学系と、
   前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
   を備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記撮像手段は、
   一対の導光光学系と、
   各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
   を備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
10. 前記移動体は、車両であることを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理方法であって、
    前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測ステップと、
    前記到達地点予測ステップにおいて予測された予測結果に基づいて前記画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定ステップと、
    前記演算範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
    を含むことを特徴とする画像処理方法。
12. 移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理プログラムであって、
    前記移動体の移動情報に基づいて前記移動体が所定時間後に到達する地点を予測する到達地点予測手順と、
    前記到達地点予測手順において予測された予測結果に基づいて前記画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定手順と、
    前記演算範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
    を含むことを特徴とする画像処理プログラム。
    
    
    

Images