JP2006322795A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】距離演算の処理の負荷を軽減し高速に距離情報を出力すること。
【解決手段】画像処理装置１は、所定の撮像視野を撮像し、撮像視野に対応する画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群において所定の物体に対応する領域とこの物体の種別とを識別する識別部２２と、識別部２２が識別した結果を参照して距離演算を行う演算範囲を設定する演算範囲設定部２３と、演算範囲設定部２３により設定された演算範囲に対応する画像信号群を処理して所定の物体までの距離を演算する距離演算部２４とを備える。
【選択図】 図１

Description

本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関し、特に車載用として好適な画像処理装置、画像処理方法および画像処理プログラムに関するものである。

従来、自動車等の車両に搭載され、自車両の前方を走行する先行車両を撮像した画像を処理し、自車両から先行車両までの距離を検出する車間距離検出装置が知られている（たとえば、特許文献１参照）。この車間距離検出装置は、画像上で先行車両を捕捉するために、画像内の所定位置に複数の測距用ウインドウを設定し、この設定した各測距用ウインドウ内で画像を処理して任意の対象物までの距離を演算し、演算した結果と測距用ウインドウの位置情報とをもとに先行車両の撮像位置を認識している。

特許第２６３５２４６号公報 特開平８−１７１１５１号公報

ところで、上述した従来の車間距離検出装置では、撮像位置が不明な先行車両を捕捉するため、測距用ウインドウは画像のほぼ全域をカバーするように設定する必要があった。この結果、画像のほぼ全域を処理して距離演算を行うので、演算処理の負荷が大きく、処理時間がかかるという問題があった。

本発明は、上記に鑑みてなされたものであって、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の請求項１にかかる画像処理装置は、所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別手段と、前記識別手段の識別結果に基づいて、前記演算手段における演算範囲を設定する演算範囲設定手段と、を備え、前記演算手段は、前記演算範囲設定手段が設定した前記演算範囲における距離演算を行うことを特徴とする。

また、本発明の請求項２にかかる画像処理装置は、上記の発明において、前記識別手段は、前記画像信号群に基づいて、前記物体の前記撮像視野内における縦方向の境界を示す縦方向情報と前記物体の前記撮像視野内における横方向の境界を示す横方向情報とを求め、該縦方向情報と該横方向情報とを組み合わせて前記物体が前記撮像視野内において占める領域を識別することを特徴とする。

また、本発明の請求項３にかかる画像処理装置は、上記の発明において、前記識別手段は、前記撮像視野内において前記物体が占める領域に基づいて、該物体の種別を識別することを特徴とする。

また、本発明の請求項４にかかる画像処理装置は、上記の発明において、前記演算範囲設定手段は、前記識別手段が識別した前記物体の種別のうち、前記撮像視野内において所定の種別の物体が占める領域に基づいて、前記演算範囲を設定することを特徴とする。

また、本発明の請求項５にかかる画像処理装置は、上記の発明において、前記演算範囲設定手段は、前記撮像視野内において前記識別手段によって識別された前記物体が占める領域に所定の余裕領域を加えた領域に対応する前記演算範囲を設定することを特徴とする。

また、本発明の請求項６にかかる画像処理装置は、上記の発明において、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする。なお、ここで述べた移動量は、一般的に言われる視差量を示す。

また、本発明の請求項７にかかる画像処理装置は、上記の発明において、前記識別手段は、前記第１の画像信号群または前記第２の画像信号群のいずれか一方に基づいて、前記物体が前記撮像視野内において占める領域と該物体の種別とを識別することを特徴とする。

また、本発明の請求項８にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。

また、本発明の請求項９にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の導光光学系と、各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。

また、本発明の請求項１０にかかる画像処理装置は、上記の発明において、当該画像処理装置は、車両に搭載されることを特徴とする。

また、本発明の請求項１１にかかる画像処理方法は、所定の撮像視野に対応する画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する画像処理方法において、前記所定の撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別ステップと、前記識別ステップにおける識別結果に基づいて、距離演算を行う演算範囲を設定する演算範囲設定ステップと、前記演算範囲設定ステップにおいて設定された前記演算範囲における前記画像信号群に基づいて前記物体までの距離を演算する演算ステップと、を含むことを特徴とする。

また、本発明の請求項１２にかかる画像処理プログラムは、所定の撮像視野に対応する画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する画像処理プログラムにおいて、前記所定の撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別手順と、前記識別手順における識別結果に基づいて、距離演算を行う演算範囲を設定する演算範囲設定手順と、前記演算範囲設定手順において設定された前記演算範囲における前記画像信号群に基づいて前記物体までの距離を演算する演算手順と、を含むことを特徴とする。

本発明の画像処理装置、画像処理方法および画像処理プログラムによれば、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、所定の撮像視野を有し、撮像視野に対応する画像を撮像し画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群を解析し処理する画像処理部２０と、画像処理装置１の全体の処理および動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０とを備える。撮像部１０、画像処理部２０、出力部４０および記憶部５０は、制御部３０に電気的に接続される。なお、この接続の形態は、有線に限らず無線も含む。

撮像部１０は、ステレオカメラであり、左右に並んで配置された右カメラ１１ａと、左カメラ１１ｂとを備える。右カメラ１１ａは、レンズ１２ａと、撮像素子１３ａと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａと、フレームメモリ１５ａとを備える。レンズ１２ａは、所定の撮像視野内に位置する任意の物体からの光を撮像素子１３ａ上に集光する。撮像素子１３ａは、ＣＣＤあるいはＣＭＯＳ等の撮像素子であり、レンズ１２ａが集光した物体からの光を光信号として検知し、アナログ信号である電気信号に変換し、出力する。Ａ／Ｄ変換部１４ａは、撮像素子１３ａが出力したアナログ信号をデジタル信号に変換し、出力する。フレームメモリ１５ａは、Ａ／Ｄ変換部１４ａが出力したデジタル信号を記憶し、１枚の撮像画像に対応するデジタル信号群を、撮像視野に対応した画像信号群である画像情報として随時出力する。一方、左カメラ１１ｂは、右カメラ１１ａと同様の構成であり、レンズ１２ｂと、撮像素子１３ｂと、Ａ／Ｄ変換部１４ｂと、フレームメモリ１５ｂとを備える。左カメラ１１ｂの各構成部位は、右カメラ１１ａの対応する各構成部位と同様の機能を備える。

撮像部１０が備える一対の撮像光学系としてのレンズ１２ａ，１２ｂは、光軸を平行にし、距離Ｌだけ離れて位置する。撮像素子１３ａ，１３ｂは、それぞれレンズ１２ａ，１２ｂから光軸上で距離ｆだけ離れて位置する。右カメラ１１ａおよび左カメラ１１ｂは、同一の物体を互いに異なる位置から異なる光路を介して撮像する。なお、レンズ１２ａ，１２ｂは、通常は複数のレンズを組み合わせて構成され、たとえばディストーション等のレンズの収差を良好に補正した状態にある。

画像処理部２０は、画像処理を制御する処理制御部２１と、撮像した物体が撮像視野内において占める領域とこの物体の種別とを識別する識別部２２と、この識別結果に基づいて距離演算部２４が処理する演算範囲を設定する演算範囲設定手段２３と、画像信号群を処理して撮像した物体までの距離を演算する距離演算部２４と、画像処理部２０の各構成部位が出力する各種情報を一時的に記憶するメモリ２５と、を備える。

距離演算部２４は、右カメラ１１ａが出力する右画像信号群の中から、左カメラ１１ｂが出力する左画像信号群の中の任意の左画像信号と整合する右画像信号を検出し、この検出した右画像信号の、対応する左画像信号からの距離である移動量に基づいて、撮像視野内に位置する物体までの距離を演算する。換言すると、演算部２１は、右カメラ１１ａが生成した右画像信号群と、左カメラ１１ｂが生成した左画像信号群とを、それぞれの撮像光学系の光軸の位置を基準に重ね合わせ、左画像信号群の中の任意の左画像信号と、これに最も整合する右画像信号群の中の右画像信号とを検出し、対応する左画像信号から右画像信号までの撮像素子上での距離である移動量Ｉを求め、三角測量の原理に基づく以下の（１）式を利用し、たとえば図１における撮像部１０から車両Ｃまでの距離Ｒを演算する。なお、移動量Ｉは、撮像素子の画素数と画素ピッチとをもとに求めるとよい。
Ｒ＝ｆ・Ｌ／Ｉ ・・・（１）
距離演算部２４は、演算範囲内の任意の画像信号に対応する物体までの距離を演算し、演算した物体までの距離と画像内の物体の位置とを対応させ距離情報を作成する。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。

制御部３０は、記憶部５０が記憶する処理プログラムを実行するＣＰＵを備え、撮像部１０、画像処理部２０、出力部４０および記憶部５０が行う各種処理および動作を制御する。

出力部４０は、距離情報を含む各種情報を出力する。たとえば、出力部４０は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を備え、撮像部１０が撮像した画像等、各種の表示可能な情報を距離情報とともに表示する。さらに、スピーカー等の音声出力装置を備え、距離情報や距離情報に基づく警告等、各種音声情報を出力するように構成してもよい。

記憶部５０は、所定のＯＳを起動するプログラムや画像処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータや各構成部位に入出力される各種情報等を記憶するＲＡＭとを備える。さらに、記憶部５０は、撮像部１０が撮像した画像情報５１、識別部２２が物体の種別を識別するために使用するテンプレート情報５２、識別部２２が識別した物体の領域および種別の情報である識別情報５３、距離演算部２４が演算し作成した距離情報５４を記憶する。

つぎに、画像処理装置１が実行する処理について、図２のフローチャートにしたがって説明する。図２は、画像処理装置１が、撮像した画像に対応する距離情報を出力するまでの処理手順を示すフローチャートである。

図２に示すように、撮像部１０が、所定の視野を撮像し、生成した画像信号群を画像情報として画像処理部２０に出力する撮像処理を行い（ステップＳ１０２）、識別部２２が、この画像情報を参照し、所定の物体が占める領域とこの物体の種別とを識別し、識別した物体の領域と種別とを対応させた識別情報を作成する識別処理を行う（ステップＳ１０４）。つぎに、演算範囲設定部２３が、この識別情報を参照し、距離演算を行う演算範囲を設定する演算範囲設定処理を行い（ステップＳ１０６）、距離演算部２４が、設定された演算範囲に対応する画像信号群に基づいて物体までの距離を演算し、演算した距離と画像上の物体の位置とを対応させた距離情報を作成し、制御部３０に出力する距離演算処理を行う（ステップＳ１０８）。制御部３０は、この距離情報およびこの距離情報に基づく所定の処理情報を出力部４０に出力し（ステップＳ１１０）、一連の処理を終了する。なお、制御部３０は、各処理ステップで生成された情報である画像情報５１、識別情報５３および距離情報５４を記憶部５０に随時記憶する。また、メモリ２５は、各処理ステップで入出力される情報を一時的に記憶し、画像処理部２０の各構成部位は、メモリ２５を介して情報を入出力する。

なお、上述した一連の処理では、識別情報５３が記憶する時系列の識別情報をもとに所定の物体が占める領域を予測することによって、識別処理を適宜スキップして処理サイクルの高速化をはかってもよい。また、上述した一連の処理は、たとえば、この画像処理装置１が搭載される車両の搭乗者等から所定の処理終了あるいは中断の指示がない限り、継続して繰り返す。

つぎに、図２に示したステップＳ１０４の識別処理について説明する。図３は、識別処理の処理手順を示すフローチャートである。図３に示すように、識別部２２が、撮像部１０が生成した画像情報を参照し、物体に対応する領域とこれ以外の領域とに分割する領域分割処理を行い（ステップＳ１２２）、物体の種別を識別し、識別した物体の領域と種別とを対応させた識別情報を作成する物体識別処理を行い（ステップＳ１２４）、識別情報を出力し（ステップＳ１２６）、ステップＳ１０４にリターンする。

ステップＳ１２２に示した領域分割処理では、識別部２２が、撮像部１０の右カメラ１１ａもしくは左カメラ１１ｂが撮像した画像をもとに、任意の領域の境界であるエッジを抽出したエッジ抽出画像を生成する。具体的に、識別部２２は、たとえば、図４に示す画像１７をもとに、図５−１および図５−２に示すエッジ抽出フィルタＦ１，Ｆ２を用いてエッジを抽出し、図６および図７に示すエッジ抽出画像２２ａ，２２ｂを生成する。

図５−１は、識別部２２が用いる縦方向エッジ抽出フィルタの一例を示す図である。図５−１に示す縦方向エッジ抽出フィルタＦ１は、５×５画素の領域を同時にフィルタリングする５×５オペレータである。この縦方向エッジ抽出フィルタＦ１は、縦方向のエッジに対して抽出感度が最も高く、横方向のエッジに対して抽出感度をもたない。一方、図５−２は、識別部２２が用いる横方向エッジ抽出フィルタの一例を示す図である。図５−２に示す横方向エッジ抽出フィルタＦ２は、横方向のエッジに対して抽出感度が最も高く、縦方向のエッジに対して抽出感度をもたない。

図６は、識別部２２が縦方向エッジ抽出フィルタＦ１によって画像１７から抽出したエッジを示す図である。図６に示すエッジ抽出画像２２ａでは、実線で表すエッジが、縦方向エッジ抽出フィルタＦ１によって抽出した縦方向のエッジを示し、点線で表すエッジが、縦方向エッジ抽出フィルタＦ１によって抽出した縦方向以外のエッジを示している。なお、縦方向エッジ抽出フィルタＦ１によって抽出できない横方向のエッジは、エッジ抽出画像２２ａに示されていない。一方、図７は、識別部２２が横方向エッジ抽出フィルタＦ２によって画像１７から抽出したエッジを示す図である。図７に示すエッジ抽出画像２２ｂでは、実線で表すエッジが、横方向エッジ抽出フィルタＦ２によって抽出した横方向のエッジ示し、点線で表すエッジが、横方向エッジ抽出フィルタＦ２によって抽出した横方向以外のエッジを示している。なお、横方向エッジ抽出フィルタＦ２によって抽出できない縦方向のエッジは、エッジ抽出画像２２ｂに示されていない。

識別部２２は、縦方向情報であるエッジ抽出画像２２ａと横方向情報であるエッジ抽出画像２２ｂとを合成し、図８に示すように、エッジ統合画像２２ｃを作成する。さらに、識別部２２は、エッジ統合画像２２ｃをもとに、図９に示すように、エッジがつくる閉曲線で囲まれた領域とこれ以外の領域とに領域を分割した画像である領域分割画像２２ｄを作成する。なお、領域分割画像２２ｄでは、閉曲線で囲まれた領域である領域Ｓａ１，Ｓａ２およびＳｂが斜線で示されている。

一方、ステップＳ１２４に示した物体識別処理で、識別部２２は、領域分割画像をもとに、閉曲線で囲まれた領域を所定の物体に対応する領域と認識し、この領域に対応する物体の種別を識別する。このとき、識別部２２は、テンプレート情報５２が格納する所定の物体の典型的なパターンを表現した複数のテンプレートを参照し、物体に対応する領域とテンプレートとを順次照合し、最も相関の高いテンプレート、もしくは所定値以上の相関係数を示すテンプレートが表現する物体をこの領域に対応する物体として識別するテンプレートマッチングを行い、この識別した物体の領域と種別とを対応させた識別情報を作成する。具体的に、識別部２２は、図１０に示すように、領域分割画像２２ｄ内の物体に対応する領域として分割した領域Ｓａ１，Ｓａ２およびＳｂに順次テンプレートを重ね合わせ、各領域に最も相関の高いテンプレートとして車両テンプレート５２ｅｃ１、５２ｅｃ２および人物テンプレート５２ｅｈを選択する。この結果、識別部２２は、領域Ｓａ１，Ｓａ２に対応する物体が車両であると識別し、領域Ｓｂに対応する物体が人であると識別する。そして、識別部２２は、図１１に示すように、物体の領域と種別とを対応させた識別情報５３ａを作成する。なお、識別部２２は、識別情報として作成した車両領域Ｓａｃ１，Ｓａｃ２および人領域Ｓｂｈに対して個別のラベルを設定し、この設定したラベルによって各領域を認識するようにしてもよい。

つぎに、図２に示したステップＳ１０６の演算範囲設定処理について説明する。図１２は、演算範囲設定処理の処理手順を示すフローチャートである。図１２に示すように、演算範囲設定部２３が、識別情報を参照し、物体に対応する領域に所定の余裕領域を付加する識別情報処理を行い（ステップＳ１４２）、この余裕領域を付加した領域を、距離演算部２４が行う距離演算の演算範囲に設定する演算範囲設定を行い（ステップＳ１４４）、設定した演算範囲の情報を出力し（ステップＳ１４６）、ステップＳ１０６にリターンする。

ステップＳ１４２に示した識別情報処理で、演算範囲設定部２３は、図１３に示すように、識別情報５３ａ内の車両領域Ｓａｃ１，Ｓａｃ２および人領域Ｓｂｈに対して必要に応じて余裕領域を付加し、新たに車両領域Ｓａｃｂ１，Ｓａｃｂ２および人領域Ｓｂｈｂとして領域を設定した識別情報５３ｂを作成する。この余裕領域は、領域分割画像２２ｄ作成時の領域分割の境界部分に関する微小誤差を吸収する、あるいは撮影時と処理時の時間遅れに基づいて識別すべき物体自体の動きや変形に対する領域の補正を吸収する等の目的に基づいて付加する領域である。さらに、演算範囲設定部２３は、図１４に示すように、識別情報５３ｂの領域Ｓａｃｂ１，Ｓａｃｂ２およびＳｂｈｂに対する距離演算の演算範囲を、それぞれ演算範囲２３ａｃ１，２３ａｃ２および２３ｂｈと設定し、演算範囲情報２３ａを作成する。

つぎに、図２に示したステップＳ１０８の距離演算処理の中で、距離演算部２４が作成する距離情報の一例について説明する。図１５は、図４に示した画像１７をもとに、図１４に示した演算範囲情報２３ａに対応して距離演算部２４が作成した距離情報５４ａの一例を示す図である。距離情報５４ａは、距離演算結果５４ａｃ１，５４ａｃ２および５４ｂｈが、それぞれ演算範囲２３ａｃ１，２３ａｃ２および２３ｂｈに対応する距離演算の結果を表す。また、各距離演算結果は、図１５に示すように、距離演算部２４が、それぞれ対応する演算範囲内を所定のマトリクス状の小領域に分割し、この分割した小領域ごとに対応する物体までの平均距離を演算した結果を数値で示している。この各距離演算結果で示される数値は、所定の単位系で距離を表した数値であって、たとえばメートル単位で表した数値である。なお、距離演算結果５４ａｃ１，５４ａｃ２および５４ｂｈは、それぞれ画像１７の車両Ｃ１，Ｃ２および人Ｈ１までの距離を表している。なお、このマトリクス状の小領域の分割は、距離演算処理能力と処理スピードの関係に基づいて設定したり、識別すべき物体に対する分解能（解像度）に基づいて設定したりしてよい。

以上説明したこの実施の形態１にかかる画像処理装置１は、画像情報から所定の物体に対応する領域を抽出し、この抽出した領域に限定して距離演算を行うため、画像情報のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置１は、画像を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。

なお、画像処理装置１が実行する処理について、図２に示した一連の処理を逐次実行するように説明したが、実際には、パイプライン処理によって、複数の処理を並行して実行することが好ましい。このバイプライン処理の一例を図１６で説明する。図１６は、図２に示した一連の処理のタイミングを示すタイムチャートである。図１６に示す撮像期間Ｔ１、識別期間Ｔ２、設定期間Ｔ３、演算期間Ｔ４および出力期間Ｔ５は、それぞれ図２に示した撮像処理、識別処理、演算範囲設定処理、距離演算処理および距離情報出力の各処理を実行する時間に対応する。第１処理サイクルは、時刻ｔ１で撮像処理を開始し、撮像期間Ｔ１から出力期間Ｔ５までの一連の処理期間を経て距離情報を出力する。通常、次の第２処理サイクルは、第１処理サイクルの距離情報の出力を待って処理を開始するが、パイプライン処理によって、この出力を待たずに時刻ｔ２で撮像処理を開始する。この場合、時刻ｔ２は、第１処理サイクルの撮像処理が終了した時刻であって、第１処理サイクルの撮像処理と第２処理サイクルの撮像処理とは連続して行われる。撮像処理以外の各処理も同様に、第１処理サイクルで処理が終了した直後に第２処理サイクルで同じ処理が開始される。また、第３処理サイクル以降でも、同様のタイミングで各処理が実行され、一連の処理が繰り返される。この結果、繰り返し距離情報を出力する場合、出力周期を短縮することができ、一層高い頻度で距離情報を出力することができる。

また、演算処理を高速化する手法として、画像処理装置１では、さらに各種の手法が適用できる。たとえば、画像情報として扱う色の数を減らして演算処理を高速化する手法が適用できる。この手法は、ＲＧＢ３原色の各色で扱う階調数を減らし、階調にかかるビット数であるデータ数を減らして演算処理を高速化することができる。

また、画像情報として扱う画像信号の数を減らして演算処理を高速化する手法も適用できる。この手法は、たとえば、画像情報から所定の間隔で画像信号を抽出し、演算処理に供する画像信号の数を減らして演算処理を高速化することができる手法であって、高精細に画像を認識する必要がない場合等に有効な手法である。

さらに、画像情報として扱う画像信号の数を減らす手段として、撮像領域を縮小することも有効である。たとえば、自車両が高速道路を走行する場合、自車両から比較的遠距離にある先行車両や障害物等の検知が重要であり、比較的近距離にある物体を検知する必要性が低いことが多い。この場合、画像を撮像する段階もしくは画像を処理する段階で、撮像視野の周辺にマスクをかける等の手段によって画像情報を削減し、演算処理に供する画像信号の数を減らして演算処理を高速化することができる。

また、処理の繰り返しを高速化する手法として、画像処理装置１における識別部２２および演算範囲設定部２３に対応する処理機構を２系統備え、この２系統の処理機構が、並行して識別処理および演算範囲設定処理を実行するようにしてもよい。この場合、２系統の処理機構のそれぞれを右カメラおよび左カメラに対応させ、対応するカメラが生成する画像情報をもとに、各系統の処理機構が、並行して識別処理および演算範囲設定処理を実行することによって、処理の繰り返しを高速化することができる。

さらに、上述した画像処理装置１において、所定の物体を識別する方法として、画像情報からエッジを抽出して領域分割し、テンプレートマッチングによって物体の種別を識別するようにしたが、この方法に限らず、各種の領域分割方法やパターンの識別方法が適用できる。たとえば、領域分割の方法として、ハフ変換（Hough transform）を利用し、画像情報から直線あるいは所定の曲線を検出して物体の輪郭を抽出するようにしてもよい。また、濃度分布、濃度勾配、色の階調等の特徴から、クラスタリング（Clustering）手法を利用して領域分割するようにしてもよい。さらに、物体の識別方法として、たとえば、後方から見る輪郭において多くの車両が左右の対象性を有することを利用して、画像情報において左右対称な領域を抽出し、その領域を車両に対応する領域と判断するようにしてもよい。また、時系列の複数枚の画像情報から特徴点を抽出し、異なる時刻の対応する特徴点を比較し、変動が同じ傾向にある特徴点をグループ化し、グループ化した周辺の領域が着目すべき物体に対応する領域と判断した上で、グループ化した特徴点の分布の変形の大きさを識別し、車両等の剛体であるか、人等の非剛体であるかを判断するようにしてもよい。また、画像情報の中の色や濃度等の分布からアスファルト、土、砂利等の路面に相当する領域を概略抽出し、路面の領域に別の異なる特徴を有する領域が現れた場合に、その領域を障害物に対応する領域と判断するようにしてもよい。なお、領域分割処理等の前処理を省略し、テンプレートマッチングだけで物体を識別するようにしてもよい。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、撮像部１０からの画像信号群を処理して撮像した物体までの距離を検出するようにしていたが、この実施の形態２では、撮像視野内に位置する物体までの距離をレーダで検出するようにしている。

図１７は、本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。図１７に示す画像処理装置２０１は、上述した実施の形態１にかかる画像処理装置１にさらにレーダ２６０を備え、また、制御部３０に代えて、さらにレーダ２６０を制御する機能を有した制御部１３０を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

レーダ２６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信し、発信状態および受信状態をもとに、レーダ２６０から発信波を反射した物体までの距離と、その物体が位置する方向とを検出する。レーダ２６０は、発信波の発信角度、反射波の入射角度、反射波の受信強度、発信波を発信してから反射波を受信するまでの時間、受信波および反射波における周波数変化をもとに、発信波を反射した物体までの距離および方向を検出する。レーダ２６０は、撮像部１０の撮像視野内に位置する物体までの距離を、その物体が位置する方向とともに制御部１３０に出力する。レーダ２６０は、送信波として、たとえば、レーザ光、赤外光、ミリ波、マイクロ波、超音波などを送信する。

この実施の形態２にかかる画像処理装置２０１では、撮像部１０からの画像情報を処理して距離を演算する代わりにレーダ２６０により距離を検出するため、一層高速かつ高精度に距離情報を取得できる。

なお、画像処理装置２０１では、撮像部１０によって撮像された画像信号群における位置関係とレーダ２６０の検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、画像処理装置２０１は、形状が既知の物体に対して、撮像部１０による撮像処理およびレーダ２６０による検出処理を行い、撮像部１０およびレーダ２６０のそれぞれによって処理した既知の物体の位置を求める。その後、画像処理装置２０１は、最小２乗法などを用いて、撮像部１０およびレーダ２６０のそれぞれによって処理した既知の物体の位置の関係を求め、撮像部１０によって撮像された画像信号群における位置関係とレーダ２６０の検出範囲における位置関係とを整合する。

また、画像処理装置２０１では、撮像部１０の撮像原点とレーダ２６０の検出原点とがずれている場合があっても、撮像点および検出点から画像処理装置２０１までの距離が十分に離れた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０によって撮像された画像信号群における位置関係とレーダ２６０の検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。

なお、画像処理装置２０１では、撮像部１０によって撮像された画像信号群の各画像信号が位置する画素行に、レーダ２６０の各レーダ検出点が所定間隔で位置するように設定するとよい。また、このように各レーダ検出点が設定されない場合、各画像信号の近傍に位置する複数のレーダ検出点をもとに、一次補間法などを用いて各画像信号と同一画素行にレーダ検出点の補間点を求め、この補間点を用いて検出処理を行うようにすればよい。

（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１および２では、右カメラ１１ａおよび左カメラ１１ｂの２台のカメラによってステレオ画像を撮像するようにしていたが、この実施の形態３では、一対の導光光学系と、各導光光学系に対応する撮像領域を有し、各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子によってステレオ画像を撮像するようにしている。

図１８は、本発明の実施の形態３にかかる画像処理装置の一部構成を示すブロック図である。図１８に示す撮像部１１０は、上述した実施の形態１および２にかかる画像処理装置における撮像部１０に代わり、この実施の形態３にかかる画像処理装置が備える撮像部である。図１８に示す以外の画像処理装置の構成は、上述した実施の形態１または２と同じである。

撮像部１１０は、撮像部１０の右カメラ１１ａあるいは左カメラ１１ｂと同様の構成および機能を有した撮像装置としてのカメラ１１１を備える。カメラ１１１は、レンズ１１２と、撮像素子１１３と、Ａ／Ｄ変換部１１４と、フレームメモリ１１５とを備える。さらに、撮像部１１０は、カメラ１１１の前方に、ミラー１１９ａ〜１１９ｄによって構成された一対の導光光学系としてのステレオアダプタ１１９を備える。ステレオアダプタ１１９は、図１８に示すように、ミラー１１９ａ，１１９ｂを組として反射面を略平行に対向して備え、ミラー１１９ｃ，１１９ｄを別の組として反射面を略平行に対向して備える。ステレオアダプタ１１９は、この２組の一対のミラー系を、レンズ１１２の光軸を基準に左右対称に隣接して備える。

撮像部１１０は、撮像視野内に位置する物体からの光をステレオアダプタ１１９の左右２組のミラー系で受光し、撮像光学系としてのレンズ１１２で集光し、撮像素子１１３で撮像する。このとき、図１９に示すように、撮像素子１１３は、ミラー１１９ａ，１１９ｂによる右の組のミラー系を介した右画像１１６ａと、ミラー１１９ｃ，１１９ｄによる左の組のミラー系を介した左画像１１６ｂとを、左右にずらした全く重ならない撮像領域で撮像する。なお、このようなステレオアダプタを用いた技術は、たとえば、特許文献２に開示されている。

この実施の形態３にかかる撮像部１１０では、ステレオアダプタを備えた１台のカメラでステレオ画像を撮像するため、２台のカメラでステレオ画像を撮像する場合に比べ、撮像部を簡易化してコンパクトにできるとともに、機械的強度を増強し、左右の画像を相対的に常に安定した状態で撮像することができる。さらに、左右の画像を、共通のレンズおよび撮像素子を使用して撮像するため、固体差に起因するばらつきを抑え、キャリブレーションの手間や、位置合わせ等の組み立ての煩雑さを軽減できる。

なお、ステレオアダプタの構成として、図１８では、平面鏡を略平行に対向して組み合わせた例を示したが、さらにレンズ群を組み合わせて構成してもよく、また、凸面鏡や凹面鏡等、曲率を有した反射鏡を組み合わせて構成してもよく、反射鏡の代わりにプリズムで反射面を構成してもよい。

また、図１９に示すように、この実施の形態３では、左右の画像を全く重ならないように撮像したが、左右の画像の一部ないし全部が重なるようにし、たとえば、受光部に設けたシャッター等により左右で受光する光を順次切り換えて撮像し、わずかな時間差をもって撮像した左右の画像をステレオ画像として画像処理に供してもよい。

さらに、この実施の形態３では、左右の画像を左右に位置をずらして撮像する構成としたが、たとえば、ステレオアダプタの平面鏡を略直行に組み合わせて構成し、左右の画像を上下に位置をずらして撮像するようにしてもよい。

ここまで、本発明の好ましい実施の形態を詳述してきたが、本発明はこの実施の形態により限定されるものではない。たとえば、実施の形態１および２における撮像部１０、あるいは実施の形態３における撮像部１１０の構成について、一対のカメラあるいはステレオアダプタの受光部が、左右に並んで配置されるとして説明したが、上下に並んで配置される構成としてもよく、また、斜め方向に並んで配置される構成としてもよい。

さらに、撮像部のステレオカメラとして、いわゆる３眼ステレオカメラ、あるいは４眼ステレオカメラを構成してもよい。３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等を参照）。特に、複数のカメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また、１つの基線長方向にカメラを複数台配置すると、いわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度なステレオ計測が可能となる。

また、撮像部のカメラとして、複眼であるステレオカメラの代わりに単眼のカメラを用いてもよい。その場合には、演算部２１において、たとえば、シェイプフロムフォーカス（shape from focus）法、シェイプフロムデフォーカス（shape from defocus）法、シェイプフロムモーション（shape from motion）法、シェイプフロムシェーディング（shape from shading）法等の３次元再構成技術を適用することにより、撮像視野内にある物体までの距離を演算することができる。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なボケ量を求め、ボケ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。

なお、上述の実施の形態１〜３では、自動車等の車両に搭載される画像処理装置について説明したが、他の移動体に搭載して適用することもできる。また、画像処理装置全体が移動体に搭載されなくてもよく、たとえば、撮像部および出力部が移動体に搭載され、その他の構成部位が移動体の外に構成され、これらの間を無線通信で接続してもよい。

本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置において距離情報を出力するまでの処理手順を示すフローチャートである。 図２に示す識別処理の処理手順を示すフローチャートである。 図１に示す画像処理装置の撮像部が撮像した画像の一例を示す図である。 縦方向エッジ抽出フィルタの一例を示す図である。 横方向エッジ抽出フィルタの一例を示す図である。 図５−１に示す縦方向エッジ抽出フィルタによってエッジを抽出した結果の一例を示す図である。 図５−２に示す横方向エッジ抽出フィルタによってエッジを抽出した結果の一例を示す図である。 図６および図７に示すエッジ抽出画像を合成した結果を示す図である。 図３に示す領域分割処理で出力される結果の一例を示す図である。 図３に示す物体識別処理で行うテンプレートマッチングを説明する図である。 図３に示す識別処理で出力される結果の一例を示す図である。 図２に示す演算範囲設定処理の処理手順を示すフローチャートである。 図１２に示す演算範囲設定において余裕領域を付加する処理を説明する図である。 図１２に示す演算範囲設定処理で出力される結果の一例を示す図である。 図２に示す距離演算処理で出力される結果の一例を示す図である。 図２に示す処理のタイミングを説明するタイムチャートである。 本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。 本発明の実施の形態３にかかる画像処理装置の一部構成を示すブロック図である。 図１８に示す撮像部が撮像する画像の一例を示す図である。

符号の説明

１ 画像処理装置
１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ，１２ｂ レンズ
１３ａ，１３ｂ 撮像素子
１４ａ，１４ｂ Ａ／Ｄ変換部
１５ａ，１５ｂ フレームメモリ
１７ 画像
２０ 画像処理部
２１ 処理制御部
２２ 識別部
２２ａ，２２ｂ エッジ抽出画像
２２ｃ エッジ統合画像
２２ｄ 領域分割画像
２３ 演算範囲設定部
２３ａ 演算範囲情報
２４ 距離演算部
２５ メモリ
３０ 制御部
４０ 出力部
５０ 記憶部
５１ 画像情報
５２ テンプレート情報
５３，５３ａ，５３ｂ 識別情報
５４，５４ａ 距離情報
１１０ 撮像部
１１１ カメラ
１１２ レンズ
１１３ 撮像素子
１１４ Ａ／Ｄ変換部
１１５ フレームメモリ
１１６ 画像
１１６ａ 右画像
１１６ｂ 左画像
１１９ ステレオアダプタ
１１９ａ，１１９ｂ，１１９ｃ，１１９ｄ ミラー
２６０ レーダ
Ｃ１，Ｃ２ 車両
Ｈ１ 人

Claims (12)

1. 所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、
   前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、
   前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別手段と、
   前記識別手段の識別結果に基づいて、前記演算手段における演算範囲を設定する演算範囲設定手段と、
   を備え、
   前記演算手段は、前記演算範囲設定手段が設定した前記演算範囲における距離演算を行うことを特徴とする画像処理装置。
2. 前記識別手段は、前記画像信号群に基づいて、前記物体の前記撮像視野内における縦方向の境界を示す縦方向情報と前記物体の前記撮像視野内における横方向の境界を示す横方向情報とを求め、該縦方向情報と該横方向情報とを組み合わせて前記物体が前記撮像視野内において占める領域を識別することを特徴とする請求項１に記載の画像処理装置。
3. 前記識別手段は、前記撮像視野内において前記物体が占める領域に基づいて、該物体の種別を識別することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記演算範囲設定手段は、前記識別手段が識別した前記物体の種別のうち、前記撮像視野内において所定の種別の物体が占める領域に基づいて、前記演算範囲を設定することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記演算範囲設定手段は、前記撮像視野内において前記識別手段によって識別された前記物体が占める領域に所定の余裕領域を加えた領域に対応する前記演算範囲を設定することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
   前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記識別手段は、前記第１の画像信号群または前記第２の画像信号群のいずれか一方に基づいて、前記物体が前記撮像視野内において占める領域と該物体の種別とを識別することを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像手段は、
   一対の撮像光学系と、
   前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
   を備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記撮像手段は、
   一対の導光光学系と、
   各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
   を備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
10. 当該画像処理装置は、車両に搭載されることを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 所定の撮像視野に対応する画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する画像処理方法において、
    前記所定の撮像視野に対応する画像信号群を生成する撮像ステップと、
    前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別ステップと、
    前記識別ステップにおける識別結果に基づいて、距離演算を行う演算範囲を設定する演算範囲設定ステップと、
    前記演算範囲設定ステップにおいて設定された前記演算範囲における前記画像信号群に基づいて前記物体までの距離を演算する演算ステップと、
    を含むことを特徴とする画像処理方法。
12. 所定の撮像視野に対応する画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する画像処理プログラムにおいて、
    前記所定の撮像視野に対応する画像信号群を生成する撮像手順と、
    前記画像信号群に基づいて、前記撮像視野内において前記物体が占める領域と該物体の種別とを識別する識別手順と、
    前記識別手順における識別結果に基づいて、距離演算を行う演算範囲を設定する演算範囲設定手順と、
    前記演算範囲設定手順において設定された前記演算範囲における前記画像信号群に基づいて前記物体までの距離を演算する演算手順と、
    を含むことを特徴とする画像処理プログラム。

Images