JP2010171503A - 障害物検出表示装置 - Google Patents

Abstract

【課題】広角カメラで撮影した映像に対しても、高精度な画像認識結果の情報を、高速かつ位置ずれなく表示可能な障害物検出表示装置を提供する。
【解決手段】撮像手段と、撮像手段の出力する映像信号を画像処理により幾何補正を行い出力する画像補正手段と、画像補正手段の出力する映像信号を画像処理し被写体情報を検出する画像認識手段と、画像認識手段の検出した被写体情報を元に、撮像手段の出力する映像信号に重畳することでユーザに提示する表示情報と映像信号中における表示位置とを決定し出力する表示情報生成部と、表示情報生成部の出力する表示情報を、表示情報生成部の出力する表示位置を元に撮像手段の出力する映像信号に重畳して出力する表示情報重畳部と、を有する物体認識装置によって構成される。表示情報生成部は撮像手段の出力する映像信号に重畳する表示情報の表示位置を決定する際に、画像補正手段の出力する映像信号と撮像手段の出力する映像信号での被写体の位置のずれを考慮して表示位置を補正演算する。
【選択図】図１

Description

本発明は、カメラの映像を使用して画像認識を行って障害物等を検出し、当該認識により検出した障害物を、表示情報により映像上に重畳して表示する障害物検出表示装置に関する。

本技術の背景分野とし、例えば、以下の特許文献１が既に知られており、当該公報によれば、「交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、接近する移動体を従来よりも容易かつ確実に判定することができる移動体判定システム、移動体判定方法、該移動体判定方法をコンピュータで実現するためのコンピュータプログラムを提供する」ことを目的とし、その解決手段として、「ＣＰＵ２８は、連結ブロック内の画素の動きベクトル方向の平均値を算出し、算出した平均値を連結ブロックの移動方向として特定する。ＣＰＵ２８は、特定した移動方向と予め定めた接近方向との角度差を算出し、算出した角度差が第２閾値以下である場合、表示画像を生成して撮像画像に合成する。これにより、撮像画像上の移動体であって接近方向に移動する移動体が存在すると判定された場合には、該移動体を強調表示する表示情報が付される」という技術が開示されている。
特開２００７−１７２５４０号公報

ところで、近年、車載用のリアカメラなどでは、その死角を低減するため、例えば、魚眼レンズ等の広角レンズを搭載した、広角カメラを採用するものが広く普及してきている。かかる広角カメラでは、光学的なレンズ歪みの影響により、得られる映像が、特に、その周辺部において大きく歪曲するが、しかしながら、この歪みを画像処理で補正しようとすると、画像の中心部が相対的に縮小し、他方、画像周辺部の射影歪みは大きくなるため、却って、当該映像を見たときの外見が不自然となる。そのため、モニタで見る際には、歪みを補正していない映像、又は、若干歪みが残る程度に補正した映像の方が好まれる。

一方で、カメラから得た映像に画像処理を施して特定の被写体の検出や追跡を行う画像認識技術が実用化されつつあるが、このような画像処理による物体認識を行う場合には、高精度な認識のために、レンズ歪みを補正することが要求される。例えば、２つ以上のカメラからの映像を基にして被写体までの距離を演算する、所謂、ステレオカメラでは、被写体の画像中における幾何的な位置を用いることから、歪みが存在しない状態で近似できる精度にまで、当該レンズ歪みを補正する必要がある。そのため、歪みを補正した映像を基にして得られた被写体位置等の認識結果を、歪みのある映像に文字や図形で重畳してユーザに対し表示しようとすると、歪みの有無による位置ずれが生じる。特に、上述した広角カメラではレンズ歪みの影響が大きいため、この位置ずれが問題となり易い。

上記特許文献１では、カメラで撮影した映像に対し、画像処理による動きベクトルの算出を行うことで移動体を検出し、検出した移動体を囲む矩形の枠を当該映像に重畳して表示している。しかし、映像に対してレンズ歪み補正を行っていないため、レンズ歪みが大きい場合には、その検出精度が低下する可能性がある。また、同特許文献１に、その他の方法として、魚眼（超広角）レンズを用いたカメラの映像を使用する場合には、当該映像を俯瞰映像に変換することにより、レンズ歪みの影響の無い（少ない）、高精度な検出を実現することが記載されている。しかしながら、この場合にも、元の映像と視点や画角が大きく変わってしまうことから、本来見たい撮影映像が見られない、または、撮影映像に矩形の枠が重畳できないという問題がある。

そこで、本発明では、上述した従来技術における問題点に鑑みて達成されたものであり、広角なカメラで撮影した外見が自然なレンズ歪みのある映像に対しも、高精度な画像認識結果に基づく障害物の表示情報を生成し、高速、かつ、位置ずれなく、当該表示情報を検出した障害物に重畳することにより、ユーザに違和感を与えることなく強調表示することの可能な障害物検出表示装置を提供することを目的とする。

上記の目的を達成するため、本発明によれば、まず、広角レンズを備えた撮像手段と、当該撮像手段が出力する映像信号を幾何補正して出力する画像補正手段と、当該画像補正手段が出力する映像信号を画像処理して障害物とその被写体情報とを検出する画像認識手段と、当該画像認識手段が検出した被写体情報を基に、前記撮像手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の映像信号中における表示位置とを決定して出力する表示情報生成部と、当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記撮像手段が出力する映像信号に重畳して出力する表示情報重畳部と、を備えており、前記表示情報生成部は、前記撮像手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記画像補正手段が出力する映像信号と前記撮像手段が出力する映像信号との間での前記障害物の位置ずれを考慮して、前記表示情報の表示位置を補正演算する障害物検出表示装置が提供される。

また、本発明では、前記に記載した障害物検出表示装置において、広角レンズを備えた撮像手段は複数設けられてもよく、又は、前記画像補正手段は、当該撮像手段が出力する映像信号を幾何補正して表示用画像として出力する表示用画像補正手段と、当該撮像手段が出力する映像信号を、前記表示用画像補正手段より高い度合いで幾何補正して認識用画像として出力する認識用画像補正手段とを備えており、そして、前記画像認識手段は、当該認識用画像補正手段からの認識用画像を画像処理して障害物とその被写体情報とを検出し、前記表示情報重畳部は、前記表示情報生成部が出力する表示情報を、当該表示用画像補正手段からの表示用画像上に重畳して出力するものであってもよい。

さらに、本発明では、前記に記載の障害物検出表示装置において、前記画像補正手段において前記撮像手段が出力する映像信号を幾何補正する際に用いる補正情報と、前記表示情報生成部において前記表示情報の表示位置を補正演算する際に用いる補正情報とは、同一の補正情報であってもよく、又は、前記画像補正手段において前記撮像手段が出力する映像信号を画像処理により幾何補正する際に用いる補正情報と、前記表示情報生成部において表示情報の表示位置を補正演算する際に用いる補正情報とは異なる補正情報であってもよい。

加えて、本発明では、前記に記載の障害物検出表示装置において、前記表示情報生成部が前記表示情報の表示位置を補正演算する際、重畳する全ての画素の表示位置を、前記補正情報を基に補正演算することが好ましく、更に、前記表示情報生成部が表示情報の表示位置を補正演算する際、重畳する画素のうち代表的な画素の表示位置を、前記補正情報を基に補正演算し、その他の画素については補間により表示位置を決定することが好ましい。

そして、本発明によれば、やはり、上記の目的を達成するため、広角レンズを備えた第一の撮像手段と、広角レンズを備えた第二の撮像手段と、当該第一の撮像手段が出力する映像信号、及び、当該第二の撮像手段が出力する映像信号をそれぞれ幾何補正し、ステレオ映像信号として出力する画像補正手段と、当該画像補正手段が出力するステレオ映像信号を画像処理し、障害物と当該障害物の３次元被写体情報を検出するステレオ画像認識手段と、当該ステレオ画像認識手段の検出した３次元被写体情報を元に、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の映像信号中における表示位置とを決定して出力する表示情報生成部と、当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記第一の撮像手段が出力する映像信号、又は、前記第二の撮像手段が出力する映像信号に重畳して出力する表示情報重畳部と、を備えており、前記表示情報生成部は、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記画像補正手段が出力する映像信号と、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段の出力する映像信号との間での前記障害物の位置のずれを考慮して表示位置を補正演算する障害物検出表示装置が提供される。

加えて、本発明によれば、やはり、上記の目的を達成するため、広角レンズを備えた撮像手段と、当該撮像手段が出力する映像信号を幾何補正して表示用画像を出力する表示用画像補正手段と、当該撮像手段が出力する映像信号を、前記表示用画像補正手段より高い度合いで幾何補正して認識用画像を出力する認識用画像補正手段と、当該認識用画像補正手段が出力する映像信号を画像処理して障害物とその被写体情報とを検出する画像認識手段と、当該画像認識手段が検出した被写体情報を基に、前記表示用画像補正手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の表示用画像中における表示位置とを決定して出力する表示情報生成部と、当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記表示用画像補正手段が出力する表示画像に重畳して出力する表示情報重畳部と、を備えており、前記表示情報生成部は、前記表示用画像補正手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記認識用画像補正手段が出力する認識用画像と前記表示用画像補正手段が出力する表示画面との間での前記障害物の位置ずれを考慮して、前記表示情報の表示位置を補正演算する障害物検出表示装置が提供される。

上述した本発明になる障害物検出表示装置によれば、広角なカメラで撮影した外見が自然なレンズ歪みのある映像に対し、そのレンズ歪みを補正した映像を用いることによって得られる高精度な画像認識結果に基づく認識情報を、高速、かつ、位置ずれなく重畳して表示することができ、これにより、ユーザは違和感なく当該認識結果の確認を行うことが可能となるという優れた効果を発揮する。

以下、本発明の実施の形態について、添付の図面を用いながら詳細に説明する。

まず、添付の図１は、本発明の第１の実施例に係る障害物検出表示装置の全体構成を示す図であり、図中の符号１０１は撮像部を、１０２は画像補正部を、１０３は画像認識部を、１０４は表示情報生成部を、そして、１０５は表示情報重畳部を、それぞれ、示している。

上述した構成になる障害物検出表示装置において、撮像部１０１は、例えば、レンズ、アイリス、シャッタ、CCD又はCMOSなどの撮像素子、CDSやAGC、ADコンバータ、カメラ信号処理DSP、タイミングジェネレータ等から構成されており、当該撮像素子により受光した光学像を光電変換により電気信号へ変換し、映像信号として出力する。ここで、上記のレンズとしては、例えば、魚眼レンズなど、所謂、広角レンズが用いられる。

画像補正部１０２は、撮像部１０１が出力する映像信号を画像として取得し、メモリに格納した画像補正情報を基に画像処理を行って、レンズ歪みの補正や画角の補正や画像の傾きの補正など、所謂、幾何補正を行う。なお、この幾何補正には、例えば、Zhengyou Zhangが用いた手法に代表されるような、既存のカメラ校正手法を用いることにより実現することができる。また、このとき、画像補正情報としては、カメラの光学系の幾何をモデル化した関数の係数、又は、上記幾何補正前後の画像の座標の対応を直接記したルック・アップ・テーブルを用いることができる。この画像補正情報は、予め校正パターンなどを用いて算出してメモリ内に格納しておいてもよく、又は、装置の稼動中に取得した映像を基に算出し、もって、適宜、メモリのデータを更新するようにしてもよい。

画像認識部１０３は、上記画像補正部１０２が出力する幾何補正後の画像を取得し、画像処理による認識処理を行い、もって、障害物を含む被写体情報を検出する。ここで、被写体情報とは、人物や車両、車線などの被写体の属性、または、被写体の位置、または、移動や静止などの被写体の状態、または、それらを組み合わせて推定することが可能な危険度や混雑度といった判定結果など、種々の既存の画像認識技術で得られる情報を指し、当該画像認識部１０３は、そのアプリケーションに応じて適切な画像処理を行うことで、必要な情報を取得することが出来る。そして、これらの情報（表示情報）は、本障害物検出表示装置では、映像に重畳して表示することによってユーザに提示するために用いられる。又は、例えば、走行中の障害物検知を行う車載カメラでは、障害物が存在する場合には、車両を減速するように、ここでは図示しない車速制御部に、当該障害物情報を出力してもよく、更には、その他の目的に用いても良い。

表示情報生成部１０４は、上記画像認識部１０３が出力する認識結果の情報を基に、映像に重畳することでユーザに提示する表示情報と、その映像上における表示位置とを決定する。この表示情報としては、例えば、「人」や「車両」といった被写体の属性を示す文字情報や、移動体などの特定の被写体を強調表示するための取り囲み枠など、アプリケーションに応じて、予め定めておく。なお、このとき、当該表示情報を、映像上において、ユーザが見やすい配置に表示する場合には、画像認識に用いた幾何補正を行った映像と、実際に表示に用いる幾何補正を行っていない映像との間の、被写体の位置のずれを考慮する必要がある。そのため、この表示情報生成部１０４は、この被写体の位置のずれを考慮して表示位置を決定する。なお、この表示位置の決定方法（表示位置演算処理）は、後に、図を用いて詳述する。

表示情報重畳部１０５は、上記表示情報生成部１０４が出力する表示情報を、表示情報生成部１０４が出力する表示位置を基に、撮像部１０１が出力する映像信号に重畳し、表示映像を生成する。生成した表示映像は、ここでは図示しないモニタ部等に出力し、これにより、ユーザに対し、映像と認識結果とを合わせて提示する。これにより、カメラで撮影した、レンズ歪みが存在する外見が自然な映像に、レンズ歪みを補正した映像を用いて高精度に検出した画像認識結果を、位置ずれなく重畳して表示することができ、もって、ユーザは違和感が無く、映像上にその認識結果を確認することが可能となる。

なお、上述した画像補正部１０２における画像補正処理や、画像認識部１０３における画像認識処理や、表示情報生成部１０４における表示情報生成処理や、表示情報重畳部１０５における表示情報重畳処理は、カメラ内のマイコンやカメラ信号処理DSPや専用のLSI、又は、ECUやPC等の外部機器に搭載したマイコンや専用のLSIなどによって行ってもよい。

続いて、添付の図２は、上記にその構成を説明した本発明の実施例１になる障害物検出表示装置、特に、表示情報生成部１０４において実行される表示情報の表示位置演算処理の一例を示す図である。ここでは、撮像部（カメラ）１０１で撮像した映像中に映る被写体である人物を画像認識により検出し、当該被写体を枠で囲み、もって、強調表示を行うアプリケーションを例に用いて説明する。

まず、図２（ａ）は、撮像部１０１が撮像した映像を、図２（ｂ）は、画像補正部１０２によって、撮像部１０１が撮像した映像のレンズ歪みを補正した後の映像を、図２（ｃ）は、画像認識部１０３によってレンズ歪みを補正した映像に、その認識結果として、当該レンズ歪みを補正した映像から検出した被写体である人物を囲む枠を重畳した映像を、そして、図２（ｄ）は、上記画像認識部１０３によってレンズ歪みを補正した映像から検出された被写体人物を囲む枠を、撮像部１０１が撮像した映像の上に重畳した表示映像を示している。また、これら図２（ａ）〜（ｄ）に示した４つの映像において、点線はレンズ歪みの度合いを表現するために記した補助線であり、また、「×」印およびその右上の文字列は映像中の代表的な座標を明示するために記した補助情報であり、これらは実際の映像中の被写体を示すものではない。

上記の図２（ａ）及び図２（ｂ）に示した、画像補正部１０２が行うレンズ歪み補正処理は、撮像部１０１が撮像した映像中の座標（ｘ，ｙ）の画素データを、レンズ歪み補正映像（図２（ｂ）を参照）中の対応する座標（ｘ’，ｙ’）の画素にコピーすることにより実行することが出来る。これらの対応関係は、上述したように、例えば、予め画像補正部１０２内のメモリに格納したレンズ歪みをモデル化した関数式の係数、又は、その対応を記載したルック・アップ・テーブルを用いることにより、容易に得られる。また、撮像映像中の座標（ｘ，ｙ）を小数点以下の精度で保持しておき、画素データをコピーする際に、整数精度の周辺画素から補完し、もって、画素データを得ることによって、補正の高精度化を図っても良い。

また、図２（ｃ）には、画像認識部１０３によってレンズ歪みを補正した映像から画像認識処理を用いて検出した被写体である人物を検出し、当該被写体である人物を取り囲む枠（表示情報）を矩形の実線として生成し、その表示色や表示画素（表示位置）を決定し、もって、当該枠（表示情報）を重畳して表示した画面が示されている。更に、図２（ｄ）には、表示情報重畳部１０４によって、上記図２（ｃ）に示した被写体人物を取り囲む枠を表示している画素に対応する撮像部１０１が撮像した映像の各画素に、上記と同様に、枠を重畳することで生成した表示映像を示している。即ち、この図２（ｄ）に示した表示映像では、重畳して表示される枠も、撮像部１０１が撮像した映像と同様に歪んでいる。

なお、これらの表示映像において、枠を重畳して表示する画素は、図２（ａ）及び図２（ｂ）で示したレンズ歪み補正処理とは異なり、レンズ歪み補正映像（図２（ｂ）を参照）中の座標（ｘ’，ｙ’）に対応する、撮像部１０１が撮像した映像中の座標（ｘ，ｙ）を取得することにより決定することができる。よって、表示情報生成部１０３は、レンズの歪みを補正した映像において、被写体情報を表示する画素の位置を決定した後、その対応関係を基に、撮像部１０１が撮像した映像中の座標において、表示情報を重畳する画素の位置に変換し、その情報を表示位置情報として、表示情報重畳部１０４に出力すれば良い。なお、このとき、画像全体のレンズ歪みを補正する場合に比べ、被写体情報を表示する画素のみ、その座標の変換処理を行えば足ることから、より少ない処理量で、歪みの有無による被写体情報の表示位置における位置ずれ補正することが可能となる。なお、上記図２（ｃ）に示した映像は、実際に本障害物検出表示装置において生成される映像ではなく、説明のために仮想的に作成した映像であり、必ずしもこの映像を生成する必要はない。

ここで、レンズ歪み補正映像中の座標（ｘ’，ｙ’）に対応する、撮像部１０１が撮像した映像中の座標（ｘ，ｙ）を取得するために、画像補正部１０２においてレンズ歪みを補正するために格納している画像変換情報を用いる（共用する）ことによれば、メモリを共用化することができ、メモリ量の削減が可能となる。或いは、画像変換情報とは異なる別個の画像変換情報として、例えば、被写体情報の表示位置を補正するためのルック・アップ・テーブルを予め格納しておいても良い。これは、例えば、表示情報を重畳する際、元の映像と、重畳する表示情報の映像とを、異なる解像度の画像データとして保持しておく場合などに有効である。

また、添付の図３は、上述した表示情報の表示位置演算処理の他の例を示す図であり、ここでは、カメラで撮像した映像中に映る２人の被写体人物を画像認識により検出し、これらの人物を枠（表示情報）で取り囲んで強調表示するアプリケーションを例に用いて説明する。

まず、図３（ａ）は、画像認識部１０３によってレンズ歪みを補正した映像に、その認識結果として、当該映像から検出した被写体である人物を取り囲む枠を重畳した映像の例を、図３（ｂ）は、画像認識部１０３によってレンズ歪みを補正した映像から検出された被写体人物を囲む枠を、上記図２により説明した表示位置演算処理を行わずに、撮像部１０１が撮像した映像に、そのまま重畳した表示映像の例を示している。また、図３（ｃ）は、画像認識部１０３によってレンズ歪みを補正した映像から検出した被写体である人物を取り囲む枠を、その全ての表示画素について、上記図２により説明した表示位置演算処理に基づいて表示位置を補正した後に、撮像部１０１が撮像した映像に、そのまま重畳した表示映像の例を示しており、更に、図３（ｄ）は、画像認識部１０３によってレンズ歪みを補正した映像から検出した被写体である人物を取り囲む枠を、当該枠の頂点の画素についてのみ、上記図２により説明した表示位置演算処理に基づき、その表示位置を補正すると共に、その他の画素については表示位置を補完した後に、撮像部１０１が撮像した映像に、そのまま重畳した表示映像の例を示している。なお、これらの図に示した４つの映像においても、点線はレンズ歪みの度合いを表現するために記した補助線であり、実際の映像中の被写体を示すものではない。

なお、上述した４つの映像のうち、図３（ｂ）に示す映像では、被写体である人物を取り囲む枠を、その表示位置を補正せずにそのまま重畳しているため、特に、画像の周辺部に写っている被写体である人物には、歪みの影響により、それらの間に位置ずれが発生している。そのため、ユーザは映像を見ても、直ちに、被写体である人物を見つけられなかったり、又は、当該枠内に別の被写体が映りこんでいた場合には、別の被写体を検出被写体と誤解したりするなどの問題が発生しうる。

一方、図３（ｃ）又は図３（ｄ）に示した映像おいては、被写体である人物を囲む枠は、その表示位置を補正して重畳されていることから、画像の周辺部に写っている被写体である人物も、その周辺を取り囲む枠により、正しく強調表示されていることが分かる。

特に、図３（ｃ）では、表示映像上に重畳する取り囲み枠を構成する全ての画素について、上記図２で説明した表示位置演算処理によって表示位置の補正を行った後、取り囲み枠を重畳する処理を行っている。そのため、本来、直線で構成されるべき取り囲み枠の各辺が、レンズ歪みに沿った形で歪曲して表示されている。そのため、このように被写体である人物を取り囲む枠を表示する際には、却って、不自然に見える可能性もあるが、しかしながら、例えば、停車支援を行うために車両の進行方向をガイドラインとして表示する場合や、白線を検出して強調表示する場合などには、これらの表示情報もレンズ歪みに沿って歪曲していることが好ましく、そのため、本表示方法の方が有効である。

一方、図３（ｄ）では、表示映像に重畳する取り囲み枠の頂点の画素についてのみ、上記図２を用いて説明した表示位置演算処理により表示位置の補正を行い、その他の取り囲み枠の辺を構成する各画素については、補正後の頂点の位置から補間することにより演算して重畳している。そのため、表示映像においても、その取り囲み枠の各辺は直線を維持しており、より自然に見える。なお、このとき、取り囲み枠の頂点の画素の変換後の位置を、その４点が長方形をなすように更に補正することによって、囲み枠が表示映像中でも長方形を形成するようにしても良い。このように、アプリケーションに応じて、表示情報の表示位置の補正方法を切り換えることによれば、その用途に適した、ユーザにとって自然な見える方式で、当該被写体情報をユーザに提示することが可能となる。

以上のように、カメラの映像を使用して画像認識を行い、認識結果を映像に重畳して表示する障害物検出表示装置において、広角なカメラで撮影したレンズ歪みを補正していない映像に対して、レンズ歪みを補正した映像を用いて得られた高精度な画像認識結果の情報を高速かつ位置ずれなく重畳することができる。

続いて、添付の図４は、本発明の第２の実施例に係る障害物検出表示装置の全体構成を示す図である。なお、この図４において、符号２０１は第一の撮像部を、２０１は第二の撮像部を、そして、符号２０３はステレオ画像認識部を示しており、その他、上記と同じ符号は、上述した実施例１の構成要件は同じ構成を示しており、ここでは、その説明を省略する。即ち、この第２の実施例になる障害物検出表示装置は、上記図１に示した第１の実施例に対し、撮像部が二つの撮像部２０１及び２０２に、そして、画像認識部がステレオ画像認識部２０３に、それぞれ置き換わった構成となっている。

この図４に示した障害物検出表示装置において、第一の撮像部２０１及び第二の撮像部２０２は、それぞれ、上記と同様に、レンズ、アイリス、シャッタ、CCD又はCMOSなどの撮像素子、CDSやAGC、ADコンバータ、カメラ信号処理DSP、タイミングジェネレータ等から構成され、当該撮像素子により受光した光学像を光電変換により電気信号に変換し、映像信号として出力する。ここでも、上記のレンズとしては、例えば、魚眼レンズなど、所謂、広角レンズが用いられる。また、このとき、第一の撮像部２０１が出力する映像信号と、第二の撮像部２０２が出力する映像信号は、ここでは図示しないが、例えば、同期回路などを用い、露光時の同期が取れていることが好ましい。

なお、上記にその構成を述べた障害物検出表示装置において、画像補正部１０２は、第一の撮像部２０１が出力する映像信号と、第二の撮像部２０１が出力する映像信号を、それぞれ、画像として取得し、メモリに格納した画像補正情報を基に、画像処理を用いて、レンズ歪みの補正や画角の補正や画像の傾きの補正などの幾何補正を行うと共に、それに加え、更にステレオ画像処理を高精度に行うために、カメラ間の画角ずれや光軸ずれの幾何補正を行い、もって、２枚の補正後の画像を対としたステレオ画像として出力する。

ステレオ画像認識部２０３は、画像補正部１０２が出力する幾何補正後のステレオ画像を取得し、ノイズ除去を行うためのローパスフィルタ処理等を行う前処理、エッジ検出等の特徴量演算処理や、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行って視差情報を取得するステレオマッチング処理、更には、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、そして、視差情報を用いて距離情報を演算する距離計算処理などを行い、もって、視差情報や距離情報や３次元位置情報や３次元計測の信頼性を示す評価値などの３次元情報や、３次元情報元に検出した被写体情報を、３次元認識結果として出力する。なお、このとき、更に、単眼の画像処理の認識結果と組み合わせることによれば、例えば、先行車両が自車に接近しているか否かを判定するという、より高次元の認識処理を行うことも可能である。

表示情報生成部１０４は、ステレオ画像認識部０２０３の出力する認識結果の情報を基に、映像に重畳することでユーザに提示する表示情報と、その映像上における表示位置とを決定する。表示情報重畳部１０５は、上記表示情報生成部１０４が出力する表示情報を、やはり上記表示情報生成部１０４が出力するその表示位置を基に、第一の撮像部２０１又は第二の撮像部２０２が出力する映像信号に重畳し、もって、表示映像を生成する。なお、この生成した表示映像は、ここでは図示しないモニタ上に出力することにより、ユーザに対し、映像と認識結果とを合わせて提示することが可能となる。なお、このとき、表示に用いる映像としては、例えば、上記２つの撮像部に感度や画質や画角に違いが有る場合には、優先度の高い撮像部の映像を選択してもよく、また、それ以外の場合にも、例えば、その設置位置がよりユーザの視点に近い撮像部を選択してもよく、即ち、ユーザの用途にあった映像を優先して用いることが好ましいであろう。また、これら２つの撮像部からの映像を合成して映像を生成して用いても良い。

これにより、ステレオカメラを用いた場合においても、２台のカメラで撮影した、レンズ歪みが存在する外見が自然な映像に対しても、レンズ歪みを補正した映像を用いて高精度に検出した画像認識結果を、位置ずれなく重畳して表示することが出来、もって、ユーザは違和感無く認識結果を確認することが可能となる。なお、ステレオ画像認識部２０３における画像認識処理は、各カメラ内のマイコンやカメラ信号処理DSPや専用のLSI、又は、ECUやPC等の外部機器に搭載したマイコンや専用のLSIなどによって行ってもよい。なお、ここでは、撮像部を２つ持つステレオカメラを用いた場合について説明したが、これに限らず、例えば、３つ以上の撮像部を持つマルチカメラや、１つの撮像部とミラー等を組み合わせ擬似的に２視点以上の映像を生成する擬似ステレオカメラや、単眼のカメラを移動しながら撮影することで２視点以上の映像を生成するモーションステレオによっても、上記と同様の構成により同様の効果を達成することが可能である。

加えて、上記に構成を説明した本発明の実施例２になる障害物検出表示装置においても、上記表示情報生成部１０４において実行される表示情報の表示位置演算処理は、上記図２及び図３と同様であり、ここではその説明を省略する。

続いて、添付の図５は、本発明の第３の実施例（実施例３）になる障害物検出表示装置の概略構成を示す図であり、この図５において、符号５０２は、表示用画像補正部を、５０３は、認識用画像補正部を示しており、その他、上記と同じ符号は、上述した実施例１の構成要件は同じ構成を示しており、ここでは、その説明を省略する。

なお、この図５に示した障害物検出表示装置において、表示用画像補正部５０２及び認識用画像補正部５０３は、それぞれ、撮像部１０１が出力する映像信号を画像として取得し、メモリに格納した画像補正情報を基に、画像処理を行って、レンズ歪みの補正や画角の補正や画像の傾きの補正などの幾何補正を行う。なお、この幾何補正には、上述したZhengyou Zhangの用いた手法に代表されるような、既存のカメラ校正手法を用いれば良い。また、このときにも、上記と同様に、画像補正情報としては、カメラの光学系の幾何をモデル化した関数の係数や、幾何補正前後の画像の座標の対応を直接記したルック・アップ・テーブルを用いることもできる。また、この画像補正情報は、予め校正パターンなどを用いて算出してメモリ内に格納しておいてもよく、又は、装置の稼動中に取得した映像を基に算出し、もって、適宜、メモリのデータを更新するようにしてもよい。

ここで、表示用画像補正部５０２は、上記実施例１とは異なり、撮像部１０１が出力する映像信号をそのまま使用せず、外見が自然な映像を生成するために、歪みが或る程度残るようにレンズ歪み補正等を行う。他方、認識用画像補正部５０３は、画像認識部１０２において十分に高精度な画像認識が行えるように、レンズ歪み補正等を行う。この表示用画像補正部５０２が行う画像補正処理の度合いは、例えば、ユーザの嗜好の傾向等を基に、当該製品の工場出荷前での調整工程等において設定すれば良い。これに対し、上記画像認識部１０３が行う画像補正処理の度合いは、画像認識の要求精度から定められる。なお、この画像認識部１０３は、認識用画像補正部５０３が出力する幾何補正後の画像を取得して画像処理による認識処理を行い、もって、被写体情報を検出する。即ち、表示用画像補正部５０２が行うレンズ歪み補正の度合いは、認識用画像補正部５０３が行うレンズ歪み補正の度合いよりも低く設定されている。

また、表示情報生成部１０４は、上述したように、画像認識部１０３の出力する認識結果の情報を基に、映像に重畳することでユーザに提示する表示情報と、その映像上における表示位置とを決定する。そして、表示情報重畳部１０５は、表示情報生成部１０４が出力する表示情報を、その表示位置を基に、上記表示用画像補正部５０２が出力する映像信号上に重畳することにより、表示映像を生成する。なお、生成した表示映像は、ここでは図示しないモニタ部等に出力することで、ユーザに対し、映像と認識結果を合わせて提示することは上記と同様である。これにより、外見は自然に見える程度にレンズ歪みを補正した映像に、高精度にレンズ歪みを補正した映像を用いて高精度に検出した画像認識結果を、位置ずれなく重畳して表示することにより、ユーザは違和感無く認識結果を確認することが可能となる。なお、表示用画像補正部５０２及び認識用画像補正部５０３の画像補正処理も、上述したように、画像認識部１０３の画像認識処理、表示情報生成部１０４の表示情報生成処理、表示情報重畳部１０５の表示情報重畳処理等と同様、カメラ内のマイコンやカメラ信号処理DSPや専用のLSI、又は、ECUやPC等の外部機器に搭載したマイコンや専用のLSIなどによって行われる。

続いて、添付の図６は、上記その構成を説明した実施例３になる障害物検出表示装置における表示情報の表示位置演算処理の一例を説明する図であり、なお、この表示位置演算処理は、表示情報生成部１０４において実行される。

まず、図６の左部には、撮像部１０１が撮像した映像（「撮像映像」）を示しており、図の右上部には、上記撮像部１０１で撮像した映像のレンズ歪みを、上記認識用画像補正部５０２によって補正した後の映像（「認識用歪み補正映像」）を、そして、図の右下部には、上記撮像部１０１で撮像した映像のレンズ歪みを、上記表示用画像補正部５０３によって補正した後の映像（「表示用歪み補正映像」）を、それぞれ、示している。なお、この図６に示しされた３つの映像においても、その点線はレンズ歪みの度合いを表現するために記した補助線であり、また、「×」印やその右上の文字列は、映像中の代表的な座標を明示するために記した補助情報であり、実際の映像中の被写体ではない。

この図６において、「撮像映像」（図の左）から「認識用歪み補正映像」（図の右上）への、上記認識用画像補正部５０３が行うレンズ歪み補正処理は、撮像部１０１が撮像した映像中の座標（ｘ，ｙ）の画素データを、認識用レンズ歪み補正映像中の対応する座標（ｘ’，ｙ’）の画素にコピーすることによって実行することが出来る。また、「撮像映像」（図の左）から「表示用歪み補正映像」（図の右下）への、上記表示用画像補正部５０２が行うレンズ歪み補正処理も、同様に、撮像部１０１が撮像した映像中の座標（ｘ，ｙ）の画素データを、表示用レンズ歪み補正映像中の対応する座標（ｘ”，ｙ”）の画素にコピーすることによって実行することが出来る。なお、これらの対応関係は、上述したように、レンズ歪みをモデル化した関数式の係数、又は、その対応関係を記載したルック・アップ・テーブルとして、表示用画像補正部５０２及び認識用画像補正部５０３内のメモリに、それぞれ、格納しておけばよい。また、撮像映像中の座標（ｘ，ｙ）を小数点以下の精度で持っておき、画素データをコピーする際に整数精度の周辺画素から補完して画素データを得ることで、補正の高精度化を図っても良い。

このとき、「表示用レンズ歪み補正映像」（図の右下）において、被写体情報を重畳する画素は、当該「表示用レンズ歪み補正映像」中の座標（ｘ”，ｙ”）に対応する「認識用レンズ歪み補正映像」（図の右上）中の座標（ｘ’，ｙ’）を取得することで決定することができる。よって表示情報生成部１０４は、認識用画像補正部５０３においてレンズ歪みを補正した映像上で、被写体情報を表示する画素の位置を決定した後、この対応関係を基に、表示用画像補正部５０２においてレンズ歪みを補正した映像の座標上において、表示情報を重畳する画素の位置に変換し、その位置情報を表示位置情報として、上記表示情報重畳部１０５に出力すれば良い。このとき、画像全体のレンズ歪みを補正する場合に比較し、被写体情報を表示する画素に対してのみ、その座標変換処理を行えばよりので、より少ない処理量で、歪みの有無による被写体情報の表示位置の位置ずれ補正が可能となる。

ここで、「認識用レンズ歪み補正映像」（図の右上）中の座標（ｘ’，ｙ’）に対応する「表示用レンズ歪み補正映像」（図の右下）中の座標（ｘ”，ｙ”）を取得するために、認識用画像補正部５０３にてレンズ歪みを補正するために格納している画像変換情報と、表示用画像補正部０５０２にてレンズ歪みを補正するために格納している画像変換情報とを組み合わせて用いることによれば、メモリの共用化を図り、メモリ量の削減が可能となる。また、上記とは異なる画像変換情報として、例えば、被写体情報の表示位置（ｘ”，ｙ”）から（ｘ’，ｙ’）に補正するためのルック・アップ・テーブルを予め格納していても良い。これによれば、一組の座標の対応を参照するだけでよくなり、処理の高速化を図ることが出来る。

このように、本実施例によれば、カメラの映像を使用して画像認識を行い、その認識結果を映像に重畳して表示する物体認識装置において、広角なカメラで撮影し、外見上自然な程度にレンズ歪みを補正した映像に対して、高精度にレンズ歪みを補正した映像を用いて得られる高精度な画像認識結果の情報を、高速かつ位置ずれなく重畳することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は、例えば、民生用、監視用、車載用、又は、業務用等のデジタルビデオカメラや、スチルカメラ、又は、上記で構成されるステレオカメラ等において広く利用可能である。

本発明の第１の実施例になる障害物検出表示装置の概略構成を示すブロック図である。 上記障害物検出表示装置における表示情報の表示位置演算処理の一例を示すための図である。 やはり、上記障害物検出表示装置における表示情報の表示位置演算処理の一例を示すための図である。 本発明の第２の実施例になる障害物検出表示装置の概略構成を示すブロック図である。 本発明の第３の実施例になる障害物検出表示装置の概略構成を示すブロック図である。 上記第３の実施例になる障害物検出表示装置における、表示情報の表示位置演算処理の一例を示すための図である。

１０１…撮像部、１０２…画像補正部、１０３…画像認識部、１０４…表示情報生成部、１０５…表示情報重畳部、２０１…第一の撮像部、２０２…第二の撮像部、２０３…ステレオ画像認識部、５０２…表示用画像補正部、５０３…認識用画像補正部。

Claims (9)

1. 広角レンズを備えた撮像手段と、
   当該撮像手段が出力する映像信号を幾何補正して出力する画像補正手段と、
   当該画像補正手段が出力する映像信号を画像処理して障害物とその被写体情報とを検出する画像認識手段と、
   当該画像認識手段が検出した被写体情報を基に、前記撮像手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の映像信号中における表示位置とを決定して出力する表示情報生成部と、
   当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記撮像手段が出力する映像信号に重畳して出力する表示情報重畳部と、を備えており、
   前記表示情報生成部は、前記撮像手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記画像補正手段が出力する映像信号と前記撮像手段が出力する映像信号との間での前記障害物の位置ずれを考慮して、前記表示情報の表示位置を補正演算することを特徴とする障害物検出表示装置。
2. 前記請求項１に記載した障害物検出表示装置において、広角レンズを備えた撮像手段は複数設けられていることを特徴とする障害物検出表示装置。
3. 前記請求項１に記載した障害物検出表示装置において、前記画像補正手段は、当該撮像手段が出力する映像信号を幾何補正して表示用画像として出力する表示用画像補正手段と、当該撮像手段が出力する映像信号を、前記表示用画像補正手段より高い度合いで幾何補正して認識用画像として出力する認識用画像補正手段とを備えており、そして、前記画像認識手段は、当該認識用画像補正手段からの認識用画像を画像処理して障害物とその被写体情報とを検出し、前記表示情報重畳部は、前記表示情報生成部が出力する表示情報を、当該表示用画像補正手段からの表示用画像上に重畳して出力することを特徴とする障害物検出表示装置。
4. 前記請求項１に記載の障害物検出表示装置において、前記画像補正手段において前記撮像手段が出力する映像信号を幾何補正する際に用いる補正情報と、前記表示情報生成部において前記表示情報の表示位置を補正演算する際に用いる補正情報とは、同一の補正情報であることを特徴とする障害物検出表示装置。
5. 前記請求項１に記載の障害物検出表示装置において、前記画像補正手段において前記撮像手段が出力する映像信号を画像処理により幾何補正する際に用いる補正情報と、前記表示情報生成部において表示情報の表示位置を補正演算する際に用いる補正情報とは異なる補正情報であることを特徴とする障害物検出表示装置。
6. 前記請求項４に記載の障害物検出表示装置において、前記表示情報生成部が前記表示情報の表示位置を補正演算する際、重畳する全ての画素の表示位置を、前記補正情報を基に補正演算することを特徴とする障害物検出表示装置。
7. 前記請求項５に記載の障害物検出表示装置において、前記表示情報生成部が表示情報の表示位置を補正演算する際、重畳する画素のうち代表的な画素の表示位置を、前記補正情報を基に補正演算し、その他の画素については補間により表示位置を決定することを特徴とする障害物検出表示装置。
8. 広角レンズを備えた第一の撮像手段と、
   広角レンズを備えた第二の撮像手段と、
   当該第一の撮像手段が出力する映像信号、及び、当該第二の撮像手段が出力する映像信号をそれぞれ幾何補正し、ステレオ映像信号として出力する画像補正手段と、
   当該画像補正手段が出力するステレオ映像信号を画像処理し、障害物と当該障害物の３次元被写体情報を検出するステレオ画像認識手段と、
   当該ステレオ画像認識手段の検出した３次元被写体情報を元に、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の映像信号中における表示位置とを決定して出力する表示情報生成部と、
   当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記第一の撮像手段が出力する映像信号、又は、前記第二の撮像手段が出力する映像信号に重畳して出力する表示情報重畳部と、を備えており、
   前記表示情報生成部は、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記画像補正手段が出力する映像信号と、前記第一の撮像手段が出力する映像信号又は前記第二の撮像手段の出力する映像信号との間での前記障害物の位置のずれを考慮して表示位置を補正演算することを特徴とする障害物検出表示装置。
9. 広角レンズを備えた撮像手段と、
   当該撮像手段が出力する映像信号を幾何補正して表示用画像を出力する表示用画像補正手段と、
   当該撮像手段が出力する映像信号を、前記表示用画像補正手段より高い度合いで幾何補正して認識用画像を出力する認識用画像補正手段と、
   当該認識用画像補正手段が出力する映像信号を画像処理して障害物とその被写体情報とを検出する画像認識手段と、
   当該画像認識手段が検出した被写体情報を基に、前記表示用画像補正手段が出力する映像信号に重畳してユーザに提示する表示情報と、当該表示情報の表示用画像中における表示位置とを決定して出力する表示情報生成部と、
   当該表示情報生成部が出力する表示情報を、前記表示情報生成部が出力する表示位置を基に、前記表示用画像補正手段が出力する表示画像に重畳して出力する表示情報重畳部と、を備えており、
   前記表示情報生成部は、前記表示用画像補正手段が出力する映像信号に重畳する前記表示情報の表示位置を決定する際、前記認識用画像補正手段が出力する認識用画像と前記表示用画像補正手段が出力する表示画面との間での前記障害物の位置ずれを考慮して、前記表示情報の表示位置を補正演算することを特徴とする障害物検出表示装置。

Images