JP2006318060A - 画像処理装置、画像処理方法、および画像処理用プログラム - Google Patents

Abstract

【課題】撮像する画像内に含まれるさまざまな情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、前記移動体の速度を検出する速度検出手段と、前記距離算出手段で求めた前記撮像位置から前記撮像対象までの距離および前記速度検出手段で求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択手段と、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、を備える。
【選択図】 図１

Description

本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関する。

従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。

特許第３２９０３１８号公報

しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。

本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、前記移動体の速度を検出する速度検出手段と、前記距離算出手段で求めた前記撮像位置から前記撮像対象までの距離および前記速度検出手段で求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択手段と、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、を備えたことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記移動体が取り得る速度の範囲を複数の速度帯域に分割して記憶する一方、前記撮像手段が撮像可能な距離の範囲を複数の距離帯域に分割して記憶する帯域分割情報記憶手段をさらに備え、前記処理選択手段は、前記速度検出手段で検出した移動体の速度が属する速度帯域を前記帯域分割情報記憶手段から読み出す一方、前記距離算出手段で算出した前記撮像対象までの距離が属する距離帯域を前記帯域分割情報記憶手段から読み出し、この読み出した速度帯域と距離帯域との組み合わせに応じて、画像処理手法の選択を行うことを特徴とする。

請求項３記載の発明は、請求項２記載の発明において、前記撮像手段の撮像位置から前記撮像対象までの距離に係る距離情報を前記画像に重畳して成る距離画像生成手段と、前記複数の距離帯域ごとに異なる閉領域を設定する閉領域設定手段と、前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段と、をさらに備えたことを特徴とする。

請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段をさらに備えたことを特徴とする。

請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。

請求項６記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。

請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。

請求項８記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記移動体の速度を検出する速度検出ステップと、前記距離算出ステップで求めた前記撮像位置から前記撮像対象までの距離および前記速度検出ステップで求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を有することを特徴とする。

請求項９記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記移動体の速度を検出する速度検出ステップと、前記距離算出ステップで求めた前記撮像位置から前記撮像対象までの距離および前記速度検出ステップで求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択ステップと、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、を実行させることを特徴とする。

本発明によれば、撮像する画像内に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。

以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、各種データを記憶する記憶部５０、および速度センサ等によって実現され、自車両の速度を検出する速度検出部６０を有する。

撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。

撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。

画像解析部２０は、撮像部１０が撮像する視野領域に含まれる撮像対象までの撮像部１０からの距離を算出し、少なくともその算出した距離を含む距離情報を生成する距離情報生成部２１と、距離情報と速度検出部６０で検出する自車両の速度に対応する画像処理を行う画像処理部２２とを有する。なお、この説明からも明らかなように、距離情報生成部２１は距離算出手段の機能を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、距離画像を生成する際に必要に応じて補正処理（レクティフィケーション処理）を行う機能を備える。

制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。特に、この実施の形態における制御部３０は、複数の画像処理手法の中から実際に画像処理部２２で行う画像処理手法を選択する処理選択部３１を有する。

出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。

記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、画像データ５１の各構成点（画素点）の距離情報５２、処理選択部３１において選択対象となる画像処理手法５３、画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）のパターンを画素点単位で表現したテンプレート５４、および車両が走行時に取り得る速度の範囲と撮像部１０が撮像可能な距離の範囲とを複数の帯域にそれぞれ分割した帯域分割情報５５を記憶、格納する。

なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。

レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。

ステップＳ１の撮像処理の後、距離情報生成部２１は、撮像した画像内に含まれる撮像対象までの距離を画素点ごとに算出する（ステップＳ３）。距離情報生成部２１は、まず左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出する。続いて、距離情報生成部２１は、算出した画素点の座標値（ｘ，ｙ，ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、距離情報生成部２１は、算出した全ての画素点または一部の画素点の座標値（ｘ，ｙ，ｚ）および距離Ｒを記憶部５０に格納する。

図３は、複眼のステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。同図においては、右カメラ１１ａの光軸ｚ_aと左カメラ１１ｂの光軸ｚ_bが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉ_bの点Ａ_bに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉ_a内の直線α_E（エピポーラ線）上に存在しており、距離情報生成部２１における対応点探索によって撮像対象の一つである所望の点Ａの座標値（ｘ,ｙ,ｚ）を二つのカメラ座標系における座標値から求めることができる。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。

対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉ_bの点Ａ_bに対応する右画像領域Ｉ_aの点は直線α_A上に存在する一方、左画像領域Ｉ_bの点Ｂ_bに対応する右画像領域Ｉ_aの点は直線α_B上に存在する。

このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化してエピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示す説明図である。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線α_Eに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。

ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉ_bにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉ_aの対応するエピポーラ線α_E上に設ける。そして、右画像領域Ｉ_aの局所領域をエピポーラ線α_E上で走査しながら、左画像領域Ｉ_bの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉ_bの画素点の対応点とする。

この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。

なお、ステップＳ３で算出した距離を含む距離情報をステップＳ１で生成した画像に重畳することによって距離画像を生成してもよい。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離を表現しており、遠方ほど濃く表示されている。

上述した撮像部１０および距離情報生成部２１における処理（ステップＳ１およびＳ３）と並行して、速度検出部６０は自車両の速度を検出する（ステップＳ５）。

制御部３０内の処理選択部３１は、ステップＳ３における距離算出結果とステップＳ５における速度検出結果に基づいて、記憶部５０で格納する画像処理手法５３の中から、画像内の各点に対し、ステップＳ３で算出した距離に応じて画像処理部２２が実行する画像処理手法の選択を行う（ステップＳ７）。その後、画像処理部２２は、処理選択部３１で選択した画像処理手法にしたがって画像処理を行う（ステップＳ９）。この際に画像処理部２２は、処理選択部３１が選択した画像処理手法を記憶部５０から読み出し、この読み出した画像処理手法に基づく画像処理を行う。

図７は、処理選択部３１が選択する画像処理手法の一例を示す図である。同図に示す対応表７１では、処理を行う領域までの距離と自車両の速度をそれぞれ二つの帯域に分け、各々が属する帯域の組み合わせに応じて選択すべき画像処理手法が記載されている。この選択の際、処理選択部３１は、記憶部５０に格納されている帯域分割情報５５を参照することによって算出距離および検出速度がどの帯域に属するかの判定を行い、この判定の結果を記憶部５０内の画像処理手法５３と照合する。そして、画像処理部２２が行うべき画像処理手法に関する制御信号を画像処理部２２に対して送出する。

図７に示す場合の処理内容を具体的に説明する。この実施の形態では、各帯域ごとに所定の物体を認識する。この物体を認識する際には、記憶部５０のテンプレート５４内に格納されているさまざまな物体のパターン（車両、人物、路面、白線、標識等）と撮像部１０で撮像された画像内のパターンを比較して両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、該当するパターンを検知した場合には、その検知した対象物に応じた処理を行う。したがって、画像処理部２２は、対象物の検知を行う対象物検知手段としての機能を備える。

まず、処理領域が遠距離帯域に属する一方、車両が高速帯域に属する速さで移動している場合には、その処理領域に対して車両検知を行う。ここでの車両検知では、先行車両が所定距離だけ近づいてきてブレーキをかける必要が生じた場合に、その旨報知するような画像処理を行う。このため、所定距離に近づいたときの大きさに相当する車両のパターンをテンプレート５４に格納しておけば、先行車両がそのパターンよりも遠くを走行している場合、車両を検知することはない。

図８は、車両を検知したときに出力部４０が出力する画像の表示例を示す図である。同図に示す表示画像４０１では、先行する車両を検知したため、「ブレーキをかけてください」というメッセージを出力している。なお、この表示内容に合わせて、文字で表示したのと同じ内容を音声で出力してもよいし、適当な警告音を発生して車両操作者に注意を喚起するようにしてもよい。

次に、処理領域が近距離帯域に属する一方、車両が高速帯域に属する速さで移動している場合を説明する。この場合には、該当する処理領域に対して白線検知を行う。処理領域が遠距離帯域に属する一方、車両が低速帯域に属する速さで移動している場合にも、その処理領域に対して白線検知を行う。この白線検知の具体的な画像処理としては、例えば白線を検知し、この検知した白線のパターンが通常の走行時と異なるとき、その旨報知する場合がある。なお、ここでは白線以外の走行路区分帯（黄線等）の検知を行ってもよい。

図９は、この場合に出力部４０で出力する表示画像の例を示す図である。同図に示す表示画像４０２では、画像処理部２２において、検知している白線の向きまたはパターンが自車両の進行方向に対して正常でないと判断し、そのことを報知して、車両操作者が取るべき対応（「レーンを外れます、右へ」）を出力部４０で表示している。この場合にも、文字で表示したのと同じ内容を音声で出力してもよいし、適当な警告音を出力してもよい。

処理領域が遠距離帯域に属する一方、車両が低速帯域に属する速さで移動している場合には、その処理領域に対して車両または人の検知を行う。あわせて障害物の検知も行い、障害物を検知した場合には「回避してください」等のメッセージを出力してもよい。

なお、以上説明した画像処理手法はあくまでも一例に過ぎず、それ以外の画像処理手法を処理選択部３１が選択しても構わない。例えば、図８および図９では、画像内で一つの画像処理のみを施した場合について説明したが、画像内で同じ距離帯域に属する画素点の組を一つの閉領域として設定し、この設定した閉領域ごとに画像処理を行うことも可能である。この場合には、画像解析部２０が閉領域設定手段の機能を果たす。

以上説明した本発明の一実施の形態によれば、撮像した画像をもとに生成した撮像対象までの距離および移動体としての自車両の速度に応じた画像処理手法を選択し、この選択した画像処理手法を適用することによって、撮像する画像内に含まれるさまざまな情報を多面的かつ効率的に処理することが可能となる。

図１０は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。

このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像内に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。

ここまで、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。図１１は、速度帯域と距離帯域をそれぞれ３つの帯域に分割し、それらから構成される９通りの組み合わせに応じて実行すべき処理を設定した場合を示す説明図である。同図に示す対応表８１では、処理領域までの距離が近距離帯域に属する一方、速度が低速度帯域に属する場合には人の検知を行う。距離帯域と速度帯域の組み合わせが（中距離、低速）または（近距離、中速）の場合には、車両または人の検知を行う。距離帯域と速度帯域の組み合わせが（遠距離、高速）の場合には、車両検知を行う。以上説明した以外の帯域の組み合わせ、すなわち（遠距離、低速）、（遠距離、中速）、（中距離、中速）、（中距離、高速）、（近距離、高速）の場合には、白線検知を行う。このように、速度帯域と距離帯域をさらに細かく分割し、その組み合わせに応じた画像処理を行うことも可能である。

また、距離帯域をその時点での制動距離に基づいて分割し、この分割した距離帯域に基づいて画像処理手法を定めることもできる。この場合、例えば近距離帯域はその時点での制動距離以内、中距離帯域はその時点での制動距離以上かつ制動距離の２倍以下、遠距離帯域はその時点での制動距離の２倍以上とする。そして、近距離帯域では「障害物＋白線」を検知し、中距離帯域では「人＋車両＋障害物＋白線」を検知し、遠距離帯域では「白線」を検知する。

さらに、距離と速度の指標の他に、車両操作者の個人情報、例えば運転暦、年齢、性別、操作している車両の操作暦等を予め入力しておき、これらの個人情報に応じて帯域の分割を変更したりすれば、車両操作者の状況に応じてより的確な画像処理を行うことが可能となる。

また、本発明に係る画像処理装置に、処理選択部における画像処理手法の選択方法を変更する選択方法変更手段をさらに設けることもできる。これにより、車両走行時のさまざまな状況に応じて最適な画像処理手法を選択して実行することが可能となる。

なお、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。

この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。

ところで、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。

なお、画像認識の方法として、上述したテンプレートマッチング以外にも、エッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等、通常よく用いられる物体認識手法を適用することができる。

本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。

このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。 ステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。 レクティフィケーション処理前の左右画像領域の対応を示す説明図である。 レクティフィケーション処理後の左右画像領域の対応を示す説明図である。 距離画像の出力例を示す図である。 距離帯域と速度帯域の組み合わせに応じた画像処理手法を示す図である。 車両検知に関する画像処理を行った場合の表示例を示す図である。 白線検知に関する画像処理を行った場合の表示例を示す図である。 本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。 距離帯域と速度帯域の組み合わせに応じた画像処理手法の別な例を示す図である。

符号の説明

１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 距離情報生成部
２２ 画像処理部
３０ 制御部
３１ 処理選択部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 距離情報
５３ 画像処理手法
５４ テンプレート
５５ 帯域分割情報
６０ 速度検出部
７１、８１ 対応表
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２ 表示画像

Claims (9)

1. 移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
   前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、
   前記移動体の速度を検出する速度検出手段と、
   前記距離算出手段で求めた前記撮像位置から前記撮像対象までの距離および前記速度検出手段で求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択手段と、
   前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記移動体が取り得る速度の範囲を複数の速度帯域に分割して記憶する一方、前記撮像手段が撮像可能な距離の範囲を複数の距離帯域に分割して記憶する帯域分割情報記憶手段をさらに備え、
   前記処理選択手段は、前記速度検出手段で検出した移動体の速度が属する速度帯域を前記帯域分割情報記憶手段から読み出す一方、前記距離算出手段で算出した前記撮像対象までの距離が属する距離帯域を前記帯域分割情報記憶手段から読み出し、この読み出した速度帯域と距離帯域との組み合わせに応じて、画像処理手法の選択を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記撮像手段の撮像位置から前記撮像対象までの距離に係る距離情報を前記画像に重畳して成る距離画像生成手段と、
   前記複数の距離帯域ごとに異なる閉領域を設定する閉領域設定手段と、
   前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段と、
   をさらに備えたことを特徴とする請求項２記載の画像処理装置。
4. 前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
5. 前記撮像手段は、
   一対の撮像光学系と、
   前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
   を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
6. 前記撮像手段は、
   撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
   前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
   を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
7. 前記移動体は車両であることを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
8. 移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
   前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
   前記移動体の速度を検出する速度検出ステップと、
   前記距離算出ステップで求めた前記撮像位置から前記撮像対象までの距離および前記速度検出ステップで求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択ステップと、
   前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
   を有することを特徴とする画像処理方法。
9. 移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
   前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
   前記移動体の速度を検出する速度検出ステップと、
   前記距離算出ステップで求めた前記撮像位置から前記撮像対象までの距離および前記速度検出ステップで求めた前記移動体の速度に対応する画像処理手法を、複数の画像処理手法の中から選択する処理選択ステップと、
   前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理ステップと、
   を実行させることを特徴とする画像処理用プログラム。
   

Images