JP2006318059A - 画像処理装置、画像処理方法、および画像処理用プログラム - Google Patents

Abstract

【課題】撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成手段と、前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、を備える。
【選択図】 図１

Description

本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関する。

従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。

特許第３２９０３１８号公報

しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。

本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成手段と、前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、を備えたことを特徴とする。

請求項２記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成手段と、前記距離情報生成手段で生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成手段と、前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、を備えたことを特徴とする。

請求項３記載の発明は、請求項２記載の発明において、前記距離画像生成手段は、前記撮像位置からの距離が所定の範囲内にある前記画像の構成点の組ごとに異なる閉領域を設定することを特徴とする。

請求項４記載の発明は、請求項３記載の発明において、前記処理選択手段は、前記距離画像生成手段で設定した閉領域ごとに画像処理手法を選択することを特徴とする。

請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記距離画像生成手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段、を更に備えたことを特徴とする。

請求項６記載の発明は、請求項１〜５のいずれか一項記載の発明において、前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段、を更に備えたことを特徴とする。

請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。

請求項８記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。

請求項９記載の発明は、請求項１〜７のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。

請求項１０記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を有することを特徴とする。

請求項１１記載の発明は、移動体に搭載されて所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を有することを特徴とする。

請求項１２記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を実行させることを特徴とする。

請求項１３記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を実行させることを特徴とする。

本発明によれば、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。

以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、および各種データを記憶する記憶部５０を有する。

撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。

撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。

画像解析部２０は、撮像部１０が撮像する視野に含まれる画像の全ての構成点または一部の構成点（画素点）までの撮像部１０からの距離を含む距離情報を生成する距離情報生成部２１、この距離情報生成部２１で生成した距離情報と撮像部１０で撮像した画像データとを用いて三次元的な距離画像を生成する距離画像生成部２２、および距離情報と距離画像とを用いて画像処理を行う画像処理部２３を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、画像を生成する際、必要に応じて補正処理（レクティフィケーション処理）を行う機能を備えている。

制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。特に、この実施の形態における制御部３０は、画像の全ての構成点または一部の構成点の距離情報に対応して画像処理部２３が行うべき画像処理手法を複数の画像処理手法の中から選択する処理選択部３１を有する。

出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。

記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムやこの実施の形態に係る各種処理を行うための画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、この画像データ５１の全ての構成点または一部の構成点の距離情報５２、処理選択部３１において選択対象となる画像処理手法５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）のパターンを画素点単位で表現したテンプレート５４を記憶、格納する。

なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。

図３は、複眼のステレオカメラによる撮像処理を概念的に示す説明図である。同図では、右カメラ１１ａの光軸ｚ_aと左カメラ１１ｂの光軸ｚ_bが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉ_bの点Ａ_bに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉ_a内の直線α_E（エピポーラ線）上に存在している。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。

レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。

ステップＳ１の撮像処理の後、画像解析部２０内の距離情報生成部２１は、画像の全ての構成点または一部の構成点までの距離を算出し、この算出した全ての構成点または一部の構成点までの距離を含む距離情報を生成する（ステップＳ３）。より具体的には、距離情報生成部２１が、左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出する。続いて、距離情報生成部２１は、算出した画素点の座標値（ｘ，ｙ，ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、距離情報生成部２１は、算出した画像の全ての画素点または一部の画素点の座標値（ｘ，ｙ，ｚ）および距離Ｒを、対応する画像と関連付けて距離情報を生成し、記憶部５０に格納する。

ところで、このステップＳ３における距離算出を行うためには、上述したように、まず画素点の座標値を算出するが、これに先立って、左右のカメラ座標系における座標値の算出と、座標値間の対応付け（対応点探索）とを行う。この対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉ_bの点Ａ_bに対応する右画像領域Ｉ_aの点は直線α_A上に存在する一方、左画像領域Ｉ_bの点Ｂ_bに対応する右画像領域Ｉ_aの点は直線α_B上に存在する。

このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化して、エピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示すものである。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線α_Eに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。

ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉ_bにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉ_aの対応するエピポーラ線α_E上に設ける。そして、右画像領域Ｉ_aの局所領域をエピポーラ線α_E上で走査しながら、左画像領域Ｉ_bの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉ_bの画素点の対応点とする。

この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。

続くステップＳ５では、距離画像生成部２２が、ステップＳ３で生成した距離情報をステップＳ１で生成した画像に重畳することによって距離画像を生成する。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離を表現しており、遠方ほど濃く表示されている。

その後、制御部３０内の処理選択部３１は、記憶部５０で格納する画像処理手法５３の中から、画像内の各点に対し、ステップＳ３で求めた距離情報に応じて画像処理部２３が実行する画像処理手法の選択を行う（ステップＳ７）。画像処理部２３は、ステップＳ７で処理選択部３１が選択した画像処理手法にしたがって画像処理を行う（ステップＳ９）。この際に画像処理部２３は、処理選択部３１が選択した画像処理手法を記憶部５０から読み出し、この読み出した画像処理手法に基づく画像処理を行う。

図７は、処理選択部３１が距離情報に応じて選択する画像処理手法の一例を示す図である。同図に示す対応表８１では、ステップＳ３で算出した画像の全ての構成点または一部の構成点までの距離に応じて認識すべき対象物と、各距離帯域で所定の対象物を認識した場合に実際に適用される画像処理手法の対応を示している。以下、この対応表８１を参照して、画像処理部２３が距離情報に対応して適用する画像処理手法を具体的に説明する。

まず、ステップＳ３における距離情報生成処理の結果、撮像部１０からの距離が０〜５０ｍの範囲（以後、「距離範囲０〜５０ｍ」と表現する）にある画素点の組に対しては、路面の検知を行う。この路面検知の際には、距離範囲０〜５０ｍにある画素点の組を一つの閉領域として取り扱い、この閉領域が路面に対応する画像を構成しているかどうかを調べる。より具体的には、記憶部５０のテンプレート５４に予め記憶しておいた路面に関するパターンと、距離画像３０１内の画素点のうち距離範囲０〜５０ｍの範囲にある画素点から構成されるパターンとを比較することによって、両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、路面のパターンと所定の相関関係を満たすパターンを距離画像３０１内で検知した場合には、そのパターンから路面の状況を認識する。ここでいう路面の状況とは、例えば路面の曲がり具合（直進かカーブか）や路面上の凍結の有無等である。なお、図７の他の検知範囲に係る画像処理手法においても、ここで説明したのと同様のテンプレートマッチングを行うことにより、各検知範囲に応じた対象物の検知、認識を行う。

図８は、距離範囲０〜５０ｍで路面を検知した場合に画像処理部２３が行う画像処理手法の一例を示す図である。同図に示す表示画像４０１は、路面を検知した結果として、自車両が走行している路面が直進していることを表示している。なお、検知した路面がカーブを描いている路面であると認識した場合には、「ハンドルを切ってください」等のメッセージを表示出力するようにしてもよい。

次に、距離範囲１０〜５０ｍにある画像構成点に対しては、白線の有無を検知し、白線を検知した場合には、自車両の走行レーンの把握を行う。この場合、自車両が走行レーンを逸脱しそうになったときには、その旨報知する。図９は、距離範囲１０〜５０ｍで白線検知を行った結果、走行レーンを逸脱する方向に自車両が走行しつつあることを検知した場合の出力部４０における表示例を示す図である。同図に示す表示画像４０２は、画像処理部２３における判断結果として、検知している白線の向きまたはパターンが、自車両の進行方向に対して正常でないと判断した場合の出力部４０における表示例を示しており、「レーンを外れます、右へ」という警告メッセージを表示している。この警告メッセージの表示に合わせて、同じ内容を音声で出力したり、警告音を発生したりしてもよい。なお、ここでは走行路区分線として白線を例にとって説明を行ったが、白線以外の走行路区分線（例えば黄線）を検知してもよい。

距離範囲が３０〜７０ｍの範囲にある画像構成点に対しては、先行する車両の検知を行い、先行車両を検知した場合には警告の発生等の処理を施す。図１０は、撮像部１０から４０ｍ前方に車両を検知した場合の出力部４０の表示例を示す図である。同図に示す表示画像４０３では、対象物である車両に閉領域を明示するウィンドウを画面上に設けることにより、搭乗者が対象物を判別しやすくするとともに、「ブレーキをかけてください」という警告を出力している。なお、この場合を含む以下の全ての距離範囲においても、上記距離範囲における処理と同様、メッセージの表示と同時に音や音声メッセージの出力を行うことができる。

距離範囲が５０〜１００ｍの範囲にある画像構成点に対しては、人物（または障害物）の検知を行い、検知した場合には警告の発生等の処理を行う。図１１は、撮像部１０から７０ｍ前方で人が道路を横断しているのを検出し、「回避が必要です」というメッセージを表示する場合の表示画像４０４を示している。

距離範囲が７０〜１５０ｍの範囲にある画像構成点に対しては、信号等の道路標識の検知を行い、検知した場合には標識の種別等の認識を少なくとも行う。図１２に示す表示画像４０５では、撮像部１０から１２０ｍ先に信号があることを検知し、その信号に注意喚起のためのウィンドウを設けるとともに、「信号あります」というメッセージを表示した場合を示している。信号の検知時には、同時に信号の色を検知し、例えば信号が赤の場合には、ブレーキの準備を促すようなメッセージを出力してもよい。

最後に、撮像部１０からの距離が１５０ｍより遠方の範囲にある画像構成点に対しては空の検知を行い、空の色、輝度、雲の量などを認識する。図１３に示す表示画像４０６は、距離範囲が１５０ｍ以遠の空を検知した結果、進行方向は雲が多くて暗くなってくると判断し、自車両のライト点灯を促すメッセージを表示した場合を示している。空の状況判断としては、他にも雨粒を検知してワイパーの作動を促すメッセージを表示出力したりすることも可能である。

なお、以上説明した対応表８１に示す検知範囲と画像処理手法との対応はあくまでも一例を示したものに過ぎない。例えば、対応表８１では、一つの検知範囲で一つの画像処理を行う場合を示しているが、一つの検知範囲で複数の画像処理を実行するように設定することもできる。この場合には、例えば検知範囲０〜５０ｍにおいて路面検知と人物検知を行い、検知した対象物に応じた画像処理を行うようにする。

また、以上の説明では、一つの画像内で一つの画像処理を施した場合について説明したが、実際には表示画像内の異なる視野領域において、検知範囲に応じた別の画像処理を同時に実行することも可能である。

さらに、対応表８１以外の検知範囲と画像処理手法の組み合わせを記憶部５０の画像処理手法５３に複数記憶しておき、距離情報を時系列に並べたときの任意の画素点の変位を算出して求められる自車両の速度や、路面や空を検知することによって把握することができる走行領域の現況（例えば天候や昼夜の区別など）、あるいはブレーキを掛けてから車両が停止するまでの距離（制動距離）などのさまざまな条件に応じて最適な組み合わせに変更するようにしてもよい。この際には、画像処理装置１内に別に設けられる選択方法変更手段が、処理選択部３１における画像処理手法の選択方法を変更する。

この一例として、自車両の速度に応じて検知範囲と画像処理手法の組み合わせを変更する場合を説明する。この場合、同じ画像処理手法を適用する検知範囲の上限と下限が一定の割合だけ異なるものを複数用意して記憶部５０で記憶しておく。例えば、上述した対応表８１は、自車両が所定の中速帯域で走行しているときに適用されるものとする。このとき、自車両がより高速帯域で走行していれば、各検知範囲の上限と下限の値が対応表８１よりも一定の割合だけ大きくなる組み合わせに変更する（例えば、対応表８１適用時よりも自車両が高速で走行している場合には、路面検知の上限を５０ｍよりも所定の割合だけ大きくする）。他方、自車両がより低速帯域で走行していれば、各検知範囲の上限と下限の値が一定の割合だけ小さい組み合わせに変更する。これにより、自車両の走行速度に応じて最適な画像処理を行うことが可能となる。

以上説明した本発明の一実施の形態によれば、撮像した画像をもとに生成した画像の全ての構成点または一部の構成点までの距離情報と距離画像とを用いてその画像の全ての構成点または一部の構成点までの距離に応じた画像処理手法を選択し、この選択した画像処理手法を適用することによって、撮像する画像に含まれるさまざまな情報を多面的に処理することが可能となる。

図１４は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。

このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。

ここまで、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。例えば、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の全ての構成点または一部の構成点までの距離を算出することもできる。

また、撮像部としてより多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いてもよい。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。

さらに、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。

また、画像認識の方法として、上述したテンプレートマッチング以外にも、エッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等、通常よく用いられる物体認識手法を適用することができる。

なお、本発明の画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。

このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。 ステレオカメラを用いた撮像処理を概念的に示す説明図である。 レクティフィケーション処理前の左右画像領域の対応を示す説明図である。 レクティフィケーション処理後の左右画像領域の対応を示す説明図である。 距離画像の出力例を示す図である。 選択する画像処理手法の一例として、距離に応じた物体認識の対応関係を示す図である。 道路検知に関する画像処理を行った場合の表示例を示す図である。 白線検知に関する画像処理を行った場合の表示例を示す図である。 車両検知に関する画像処理を行った場合の表示例を示す図である。 人物検知に関する画像処理を行った場合の表示例を示す図である。 標識検知に関する画像処理を行った場合の表示例を示す図である。 空の検知に関する画像処理を行った場合の表示例を示す図である。 本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。

符号の説明

１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 距離情報生成部
２２ 距離画像生成部
２３ 画像処理部
３０ 制御部
３１ 処理選択部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 距離情報
５３ 画像処理手法
５４ テンプレート
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２、４０３、４０４、４０５、４０６ 表示画像

Claims (13)

1. 移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
   前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成手段と、
   前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、
   前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
   前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成手段と、
   前記距離情報生成手段で生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成手段と、
   前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、
   前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記距離画像生成手段は、
   前記撮像位置からの距離が所定の範囲内にある前記画像の構成点の組ごとに異なる閉領域を設定することを特徴とする請求項２記載の画像処理装置。
4. 前記処理選択手段は、
   前記距離画像生成手段で設定した閉領域ごとに画像処理手法を選択することを特徴とする請求項３記載の画像処理装置。
5. 前記距離画像生成手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
6. 前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段をさらに備えたことを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
7. 前記撮像手段は、
   一対の撮像光学系と、
   前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
   を有することを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
8. 前記撮像手段は、
   撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
   前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
   を有することを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
9. 前記移動体は車両であることを特徴とする請求項１〜８のいずれか一項記載の画像処理装置。
10. 移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
    前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、
    前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
    を有することを特徴とする画像処理方法。
11. 移動体に搭載されて所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
    前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成ステップと、
    前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、
    前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
    を有することを特徴とする画像処理方法。
12. 移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
    前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、
    前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
    を実行させることを特徴とする画像処理用プログラム。
13. 移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
    前記撮像手段で生成した画像を用いることによって前記撮像手段の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した前記全ての構成点または一部の構成点までの距離を含む距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報を前記画像に重畳して成る距離画像を生成する距離画像生成ステップと、
    前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、
    前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
    を実行させることを特徴とする画像処理用プログラム。

Images