JP2015232442A - 画像処理装置及び車両前方監視装置 - Google Patents

Abstract

【課題】広い視野範囲の画像と狭い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、対象物までの距離が推定できる画像処理装置及び車両前方監視装置を提供する。
【解決手段】第１の画像情報を撮像する第１の撮像手段１０と、視野範囲が狭く且つ第１の画像情報と共通領域を有する第２の画像情報を撮像する第２の撮像手段２０と、画像情報を基に対象物を認識する画像認識手段４０と、を有し、画像認識手段４０は、第１の画像情報及び第２の画像情報を補正した第１の画像及び第２の画像を取得して、第１の画像から前記共通領域に対応させた第３の画像を切り出す処理が行われる画像処理部４２と、ステレオ測距対象物として第３の画像に含まれる特徴点を抽出して、前記特徴点に対応する第２の画像に含まれる対応点を探索して、距離を推定する処理が行われる距離推定処理部４３と、を備えている。
【選択図】図１

Description

本発明は、画像認識した対象物までの距離が推定できる画像処理装置及び車両前方監視装置に関する。

車両にカメラを搭載して車両前方を監視し、前方の車両や障害物を画像情報から抽出し、それらに衝突する前に警告を発したり、危険回避操作としてブレーキを作動させたりする車両前方監視装置が知られている。

画像情報を基に車両前方の対象物との距離を推定する装置では、ステレオカメラと呼ばれる一対の撮像手段によって撮像した画像情報を基に、三角測量の原理を応用して対象物までの距離を算出している。

ステレオカメラを用いた距離算出の精度は、画像位置の相対的な変化を検出する精度に依存しているので、遠方の対象物に対して推定可能な距離は、撮像された画像情報の量と撮像手段の光学特性とで制約される。このため、時速１００ｋｍ程度の走行時に適用される車両前方監視装置は、カメラの焦点距離を長くして視野範囲を狭めることによって精度を確保した遠距離用のカメラが用いられた。

一方、低速走行時においては、車両の斜め前方まで認識できることが必要である。また高速走行中において、斜め前方から自車両の直前に割り込んできた他車両を検出するような場合には、広い視野範囲の画像情報を確保しておく必要があった。このため、カメラの焦点距離を短くして視野範囲を確保した近距離用のカメラが用いられた。

特許文献１には、近距離用のＣＣＤカメラと遠距離用のＣＣＤカメラとをそれぞれステレオカメラとして持ち、どちらかのステレオカメラの画像処理を状況に応じて切替える構造の車外監視装置が開示されている。

図１０は、特許文献１に記載の車外監視装置を備える車両２００の正面図である。図１０に示すように、遠距離用のＣＣＤカメラ２０１、２０２と近距離用のＣＣＤカメラ２１１、２１２との合計４台のカメラが搭載されている、遠距離用又は近距離用のどちらかの画像がステレオ画像処理装置に入力されて、左右画像上の位置のずれ量が決定され、対象物までの距離が算出される。

特許文献２には、近距離撮影用カメラのレンズと遠距離撮影用カメラのレンズとをそれぞれステレオカメラのレンズとして持ち、それぞれが撮像する画像を別々の撮像領域（撮像面）に形成させた構造の撮像装置が開示されている。近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを組み合わせて車両近傍から遠方まで、距離測定に適した鮮明な画像情報を得られるとともに、それらの画像を切り替えることなく取得できる。

このことから、遠距離撮影用ステレオカメラの作動中である高速走行中において、斜め前方から自車両の直前に他車両等が割り込んで来たような場合でも、近距離撮影用ステレオカメラの画像情報によって割り込み車両を検出し、直ちに警告や危険回避操作に繋げることができる。

特開平５−２６５５４７号公報 特開２０１０−２７１１４３号公報

しかしながら、上記従来技術の構造においては、近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを用いることから、少なくともレンズが４つ必要となる。また、撮像素子は、多数の画素の集合体であり、測定精度を向上させるためには、画素の数を増やす必要があった。画素数の増加は撮像素子の大型化だけでなく、画素数に対応する電子情報処理量の増加やそれに必要な処理速度の高速化など、システム規模にも影響する。このように、２組のステレオカメラに相当する画像を同時に撮像する撮像装置は、撮像素子の画素数が２倍になるため、システムとしても高価で大がかりなものになりやすかった。そのため、レンズを４つ必要とする一対又は二対のカメラを用いた撮像装置のサイズが大きくなってしまい、また、車外監視装置（車両前方監視装置）を構成する画像処理装置が高価となってしまう。

本発明は、上記課題を解決するためのものであり、特に、一対の撮像手段によって、広い視野範囲の画像と狭い視野範囲の画像と、これらの画像を組み合わせたステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できる画像処理装置及び車両前方監視装置を提供するものである。

本発明の画像処理装置は、第１の画像情報を撮像する第１の撮像手段と、前記第１の撮像手段よりも視野範囲が狭く、且つ、前記第１の画像情報と共通領域を有する第２の画像情報を撮像する第２の撮像手段と、前記第１の画像情報及び前記第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得して、前記第１の画像から前記共通領域に対応させた第３の画像を切り出す処理が行われる画像処理部と、前記対象物においてステレオ測距対象物として前記第３の画像に含まれる特徴点を抽出して、前記特徴点に対応する前記第２の画像に含まれる対応点を探索して、前記第３の画像における前記特徴点の画像位置と前記第２の画像における前記対応点の画像位置とを基に、前記ステレオ測距対象物までの距離を推定する処理が行われる距離推定処理部と、を備えていることを特徴とする。

画像処理装置は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる特徴点の抽出によってステレオ測距対象物として対象物を認識でき、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量を計測できる。画像位置のずれ量により、画像処理装置の撮像位置から対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像と狭い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識された対象物までの距離が推定できる。したがって、２組のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

さらに、前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、前記画像処理部において、前記第１の画像情報に対して前記座標変換表を用いた歪み除去処理が行われて、前記第１の画像を取得することを特徴とする。

第１の撮像手段は第２の撮像手段より広い視野範囲を有するので、撮像された画像情報は広角レンズ特有の中央が大きく写り、周辺が歪んでいる画像である。この歪みをもったままであると、第３の画像を第２の画像と比較することが複雑になる。このため、撮像された画像情報に対して歪み除去処理をおこなって、歪みの無い状態の第１の画像に変換する。この歪み除去処理をあらかじめ記憶された座標変換表を用いて行うので、数式による演算処理が不要で、画像データの画素数が多くても高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。

さらに、前記画像処理部において、前記第１の画像に含まれる色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われることが好ましい。

第１の画像を可視光のカラー画像で取得すれば、画像処理部において、第１の画像に含まれる前記対象物の色特徴を検知することができる。こうすれば、第１の画像によって色特徴が検知された対象物を素早く認識することができる。また、第１の画像によって可視光での色特徴に関係付けされた色特徴対象物がステレオ測距対象物と同一であれば、色特徴対象物までの距離が推定できる。

前記第２の撮像手段の視野範囲から前記対象物が逸脱する場合、前記第１の撮像手段によって取得された前記第１の画像にて前記対象物を継続追尾する、ことが好適である。

一旦、対象物として認識された特徴点は、第２の撮像手段の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を継続追尾する。これにより、第２の撮像手段の視野範囲から逸脱した後も、第１の画像にて特徴点の画像位置が経時変化する様子を検知できるとともに、距離の推定ができる。

また、本発明の画像処理装置は、前記第１の撮像手段及び前記第２の撮像手段が車両前方に搭載され、前記第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、前記第２の画像が車両前方における第２の遠距離画像であって、前記第２の画像に含まれる前記ステレオ測距対象物の情報を前記第１の画像上で関係付けすることを特徴とする。

車両に搭載され、車両前方を撮像する画像処理装置であり、第１の画像が車両前方における近距離画像で広い視野範囲に対応しているので、車両前方の近距離に位置する信号や標識を視野内に捉えて、信号や標識を検知することができる。第１の撮像素子は広角レンズで焦点深度が相対的に深いので、第１の画像には遠方の対象物も撮像されており、第３の画像を切り出すことができる。第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。

さらに、前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることが好ましい。第１の撮像手段と第２の撮像手段とが同一基板に配置されているので、使用場所に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要である。

前記第２の撮像手段が赤外光を集光可能であり、前記第１の撮像手段が近赤外光を集光可能であり、前記第２の画像と前記第３の画像とが、赤外光で撮像された画像を含んでいることが好ましい。こうすれば、可視光の光量が少ない夜間やトンネル内であっても、赤外光による画像で補うことができ、いわゆる暗視能力が向上する。

さらに、本発明の車両前方監視装置は、上記の画像処理装置を備えた車両前方監視装置であり、画像処理装置によって推定された対象物までの距離をもって、乗員に前方情報を報知するという特徴を有する。

画像処理装置は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる特徴点の抽出によってステレオ測距対象物として対象物を認識でき、該ステレオ測距対象物までの距離を推定できる。こうすれば、画像処理装置を備えた車両前方監視装置は、車両前方の遠距離に位置する対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。また、視野範囲の広い画像によって、車両前方の近距離に位置する信号や標識を視野内に捉えることができるので、信号の自動認識や標識の自動認識が可能となる。さらに、視野範囲の広い近距離画像では、車線検知が可能であり、蛇行検知、警告、制御も可能である。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定でき、さらに、広い視野範囲の画像による警告、制御が可能である。したがって、２組のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。

本発明によれば、画像処理装置は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる特徴点の抽出によってステレオ測距対象物として対象物を認識でき、該ステレオ測距対象物までの距離を推定できる。こうすれば、それぞれ１つのレンズを備えた一対の撮像手段によって、２組のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

したがって、一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できる画像処理装置及び車両前方監視装置を提供することができる。

本発明の第１実施形態における画像処理装置を示すブロック図である。 第１実施形態の画像処理装置が搭載された車両の模式正面図である。 第１実施形態の画像処理装置が搭載された車両を上から見た俯瞰図である。 第１の画像情報の画像補正を示す説明図であり、図４（ａ）は画像情報を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。 第１実施形態における画像処理手順について説明するフローチャートである。 第１の撮像手段で取得された第１の画像及び第２の撮像手段で取得された第２の画像を示す説明図であり、（ａ）は第１の画像及び第３の画像を示す説明図、（ｂ）は第２の画像を示す説明図である。 第１の撮像手段で取得された第１の画像及び第２の撮像手段で取得された第２の画像を示す説明図であり、（ａ）は第１の画像を示す説明図、（ｂ）は第２の画像を示す説明図である。 可視光フィルタと赤外光フィルタの分光特性の説明図である。 第２実施形態の画像処理装置を備えた車両前方監視装置のブロック図である。 従来の車外監視装置を備える車両の正面図である。

［第１実施形態］
以下に第１実施形態における画像処理装置１について説明する。

図１は、第１実施形態における画像処理装置１を示すブロック図である。画像処理装置１は、カメラユニット３０と画像認識手段４０と制御手段５０とを備え、車両前方を撮像するように車両に搭載される。制御手段５０は、カメラユニット３０と画像認識手段（画像認識ユニット）４０とに電源を供給するとともに、制御信号を出力して、それぞれの状態を制御している。

カメラユニット３０は、広角レンズ１１と第１の撮像素子１２とを有して、第１の画像情報を得る第１の撮像手段１０、望遠レンズ２１と第２の撮像素子２２とを有して、第２の画像情報を得る第２の撮像手段２０、及び、第１の撮像手段１０と第２の撮像手段２０とに接続された画像出力部３１、を備えている。画像出力部３１は、第１の画像情報及び第２の画像情報を所定の時間間隔で繰り返し取得するとともに画像認識手段４０に出力する電子回路である。

画像認識手段（画像認識ユニット）４０は、第１の画像情報及び第２の画像情報を基に対象物を認識するため、画像入力部４１、画像処理部４２、距離推定処理部４３、及び、表示用画像出力部４４、を有している。画像入力部４１には、画像出力部３１から送信された画像情報が入力され、画像処理部４２では、取得した画像情報を補正して第１の画像及び第２の画像を取得し、第１の画像から第３の画像を切り出す処理を行う。また、画像処理部４２は、距離推定処理部４３に送るステレオ画像データと表示用画像出力部４４に送る表示用画像データとを出力する。

距離推定処理部４３では、画像処理部４２で補正された第１の画像から切り出された第３の画像と、画像処理部４２で補正された第２の画像と、を基に、共通に含まれるステレオ測距対象物を認識して、ステレオ測距対象物までの距離を推定する処理が行われる。

表示用画像出力部４４では、ユーザが視認しやすいように調整して表示用画像を出力する。また、距離推定処理部４３で認識されたステレオ測距対象物を強調し、推定された距離を表示する処理を行う。

図２は、本実施形態の画像処理装置１が搭載された車両の模式正面図である。車両の前方から見て、フロントガラス越しにカメラユニット３０が装着されていることを視認できる。このカメラユニット３０は広角レンズ１１及び望遠レンズ２１からなり、広角レンズ１１と望遠レンズ２１とは車両の同一高さ、且つ、左右方向に位置するとともに、車両前方の方向にレンズの光軸が向いている。カメラユニット３０は、光学的な調整が容易にできるように、１枚のカメラユニット基板（図示しない）に、画像出力部３１とともに、第１の撮像手段１０と第２の撮像手段２０とが組み込まれている。また、カメラユニット３０とは分離されて、画像認識手段４０が車両内部に配置されている。

本実施形態の画像処理装置１は車両に搭載されているので、表示用画像出力部４４から出力される表示用画像は、車両の運転席前方側に配置された表示手段６０により視認される。表示手段６０は、例えば液晶表示装置であり、カーナビゲーション装置やオーディオ装置の表示画面を利用することができる。また、運転用のステアリング近傍や運転席前方のフロントガラスに表示手段６０を専用に設けてもよい。なお、使用する表示手段６０の表示特性に合わせて、表示用画像出力部４４でダイナミックレンジや階調を補正しておくことが好ましい。

次に、本実施形態の画像処理装置１の撮像手段について説明する。

本実施形態において、第１の撮像手段１０は、広角レンズ１１と第１の撮像素子１２とを有し、一方、第２の撮像手段２０は、望遠レンズ２１と第２の撮像素子２２とを有する。

図３は、本実施形態の画像処理装置１が搭載された車両を上から見た俯瞰図である。模式的に、第１の撮像手段１０の水平方向の画角（水平画角Ａ１）及び第２の撮像手段２０の水平方向の画角（水平画角Ａ２）を表わしている。

第１の撮像手段１０に用いた第１の撮像素子１２は、画素数が多く、カラー撮影用の可視光フィルタを備えている。第１の撮像素子１２には、ビデオカメラに搭載されている固体撮像素子を使用することができる。例えば、水平１９２０×垂直１０８０のカラー画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ１として４０度の視野範囲を撮像できるように広角レンズ１１が選択された。

一方、第２の撮像手段２０に用いた第２の撮像素子２２は、標準的なＶＧＡと呼ばれる画素数で、且つ、可視光フィルタを備えていない。例えば、水平６４０×垂直４８０の白黒画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ２として２０度の視野範囲を撮像できるように望遠レンズ２１が選択された。図３に示すように、第２の撮像手段２０の視野範囲は、第１の撮像手段１０の視野範囲内にある。

＜画像処理手順＞
次に、本実施形態における画像処理手順について説明する。画像処理装置１において、画像認識手段（画像認識ユニット）４０は、第１の撮像手段１０と第２の撮像手段２０との相対的な取り付け姿勢に影響されず、カメラ実姿勢に含まれる取り付け誤差の影響を除去する平行化処理（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行う。このとき、歪み除去処理も同時に行う。

一般的に、ステレオカメラを構成する左右の撮像手段の理想配置状態は、左右の撮像手段が完全に同一な平行姿勢で固定された状態である。そのため、ステレオカメラを用いた距離算出処理は、平行姿勢において撮影された左右の画像ペアを対象としている。

ステレオカメラの理想的な相対取り付け姿勢（平行姿勢）とは，カメラ座標系Ｘ軸（カメラ右方向）が基線と平行であり、且つ、カメラの光軸（カメラ座標系Ｚ軸）が平行な姿勢のことである。ステレオカメラにおける基線とは、左右のレンズ中心を結ぶ直線である。画像情報の平行化処理は、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと変換を行うことで達成される。ここで、カメラ座標系とは、カメラが持つ座標系であり、画像中心を原点として，右方向がＸ軸のプラス方向、下方向がＹ軸のプラス方向、カメラの正面向きがＺ軸のプラス方向となるものを表す。

画像処理装置１においては、カメラユニット３０に第１の撮像手段１０と第２の撮像手段２０とが組み込まれて、取り付けの位置や傾きに対する機構的な調整が行われて固定される。この後、白と黒の方形が交互に配列されたチェッカーボードを撮像して取得された画像情報によって、第１の撮像手段１０に対する第２の撮像手段２０の光学的な相対位置データを取得する。すなわち、光軸（カメラ座標系Ｚ軸）方向の相対位置、両レンズの光軸（カメラ座標系Ｚ軸）に直交する平面（カメラ座標系Ｘ軸及びＹ軸の平面）上での上下左右位置、及び第１の撮像手段１０に対する第２の撮像手段２０のロール・ピッチ・ヨーが把握される。

こうして得られた相対位置データは、画像処理部４２にあらかじめ記録され、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと校正する変換を行う平行化処理に適用される。

このとき、少なくとも、第１の撮像手段１０で撮像された画像情報の歪み除去処理も同時に行う。すなわち、撮像手段がレンズに固有の像高特性を有しているため、画像データ上のＸＹ座標と実空間での位置のＸＹ座標とが一致するように変換を行う。上記のチェッカーボードのＸＹ座標データが分かっているので、チェッカーボードを撮像した画像情報から歪み除去処理用のデータを取得することができる。第１の撮像手段１０は第２の撮像手段２０より広い視野範囲を有するので、撮像された画像情報は広角レンズ１１に特有の中央が大きく写り、周辺が歪んでいる画像である。この歪みをもったままであると、第３の画像を第２の画像と比較することが複雑になる。このため、撮像された画像情報に対して歪み除去処理をおこなって、歪みの無い状態の第１の画像に変換する。図４は、チェッカーボードを撮像した第１の画像の画像補正を示す説明図である。図４（ａ）は画像を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。第２の撮像手段２０で撮像された画像情報の歪み除去処理も同様に行うことが可能である。こうすれば、第１の撮像手段１０及び第２の撮像手段２０がそれぞれ固有のレンズ特性を有し、理想的な平行姿勢にない状態であっても、理想的な画像に補正することができる。

本実施形態においては、これらの画像補正を、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）と呼ばれる変換手法によって行う。これは、撮像した画像情報における各画素の座標を、歪みの無い場合に撮像されるべき座標位置に配置し直すもので、あらかじめ座標変換表を作成しておく手法である。本実施形態では、チェッカーボードを撮像した画像情報から座標変換表を作成しておき、画像処理部４２の座標変換表記憶部４５に、あらかじめ座標変換表が記憶されている。画像処理部４２において、座標変換表記憶部４５に記憶されている第１の画像情報用の座標変換表を用いて、第１の画像情報に対して平行化処理及び歪み除去処理が行われ、第１の画像を取得する。同様に、第２の画像情報に対して第２の画像情報用の座標変換表を用いて、平行化処理及び歪み除去処理が行われ、第２の画像を取得する。なお、一方の画像情報を基準にすれば、平行化処理については他方の画像情報のみ行えばよい。一般的に、これらの画像補正は、画像情報の各画素に対して計算式を用いた計算により行うことができる。しかしながら、画素数が増加すると、計算量が膨大になるため、処理速度が低下する問題を有していた。本実施形態では、この歪み除去処理をあらかじめ記憶された座標変換表を用いて行うので、数式による演算処理が不要で、画像データの画素数が多くても高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。

図５は、第１実施形態における画像処理手順について説明するフローチャートである。画像認識手段４０における画像処理手順として、ステップＳＴ１では、第１の撮像手段１０と第２の撮像手段２０とが撮像した画像情報が、画像処理部４２に入力され、画像情報が取得される。ステップＳＴ２では、上述した画像補正を行い、第１の画像情報を補正して第１の画像、及び、第２の画像情報を補正して第２の画像が取得される。

さらに、ステップＳＴ３では、取得された第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出し、第３の画像が取得される。第１の撮像手段１０で撮像された第１の画像は、水平画角４０度なので視野範囲が広く、第２の撮像手段２０で撮像された第２の画像との共通領域を含んでいる。裏返して言えば、第２の撮像手段２０で撮像された第２の画像は、水平画角２０度なので、第１の画像に比べて視野範囲が狭く、且つ、第１の画像と共通領域を有する。そのため、第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出すことができる。

ステップＳＴ２で第１の画像を補正するとともに、ステップＳＴ３で第１の画像から第３の画像を切り出す画像処理は、画像処理部４２で行われる。このとき、切り出された第３の画像に対して、グレイスケール画像に変換される。

次に、距離推定処理部４３において、共通領域に対応させた第３の画像に含まれる対象物の特徴点を抽出して、特徴点に関係付けされたステレオ測距対象物を認識し、画像処理装置の撮像位置からステレオ測距対象物までの距離を推定する処理が行われる。ステップＳＴ４では、第３の画像に含まれる対象物の特徴点が抽出され、第３の画像に映っている特徴点について、対応する第２の画像が探索される。第３の画像に映っている特徴点に対応する第２の画像の対応点が探索されると、ステップＳＴ５で、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量が計測される。第３の画像に含まれる対象物の特徴点と第２の画像に含まれる対応点に関係付けされたステレオ測距対象物に対して、画像位置のずれ量により、三角測量の原理で距離が算出される。この処理は、ステップＳＴ６で画像処理が終了されるまで、次のタイミングで撮像された画像情報に対して同様に繰り返される。

図６は、第１の画像及び第２の画像を示す説明図である。この図６において、車両から信号までの距離は仮に５０ｍ程度としている。図６（ａ）は、第１の撮像手段１０で撮像された第１の画像及び第３の画像（Ｆ領域の画像）を示す説明図である。図６（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。上述した補正処理が行われた後の画像イメージで示している。図６（ａ）においては、第２の画像との共通領域に対応して、第１の画像からＦ領域の画像を切り出す画像処理が行われている。車両前方の遠方にある信号は、第２の画像及び第３の画像に共通に含まれている。

図７は、第１の画像及び第２の画像を示す説明図である。この図７において、車両から信号までの距離は仮に１５ｍ程度としている。図７（ａ）は、第１の撮像手段１０で撮像された第１の画像を示す説明図である。図７（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。図７（ａ）では、車両前方の信号が第１の画像に含まれていることが分かる。しかし、図７（ｂ）では、信号が第２の画像に含まれていない。つまり、図６にて表わした信号までの距離が５０ｍの場合では、第１の撮像手段１０及び第２の撮像手段２０の双方で信号の認識ができていたが、信号までの距離が１５ｍまで近づいた図７においては、第１の撮像手段１０のみでしか信号の認識を行うことができない。これは第１の撮像手段１０の視野範囲が広いためであるが、画像処理装置１は、車両前方に近づいたときの信号等、視野範囲の周辺にある対象物を、第１の画像を用いることにより認識し続けることができる。

また、図６に示す信号のように第３の画像及び第２の画像に共通する対象物として認識され、左右画像における対象物の画像位置の相対的なずれ量が計測され、画像位置のずれ量により、距離が推定される。いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を継続追尾する。これにより、第２の撮像手段２０の視野範囲から逸脱した後も、第１の画像にて特徴点の画像位置が経時変化する様子を基に対象物までの距離を推定できる。したがって、第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。

さらに、第１の撮像素子１２がカラー撮影用の撮像素子なので、第１の画像によって、対象物の色特徴を検知することが可能である。この場合は、画像処理部４２において、第１の画像に含まれる色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する処理が行われる。このため、第１の画像によって可視光での色特徴を抽出した対象物に対して、素早い認識ができる。第３の画像及び第２の画像の共通するステレオ測距対象物として認識された特徴点の色特徴を検知して、対象物を認識させ続けることができる。また、第１の画像によって可視光での色特徴に関係付けされた色特徴対象物に対して、第３の画像及び第２の画像の共通するステレオ測距対象物と同一であれば、該対象物までの距離を推定できる。

図７（ａ）で追尾された信号の色特徴を認識していれば、赤信号から青信号に変化したときに、色特徴の変化として認識して、表示用画像に色変化したことを出力したり、合図音を鳴らしたりすることができる。

したがって、車両に搭載されて車両前方を撮像する画像処理装置１に好適である。画像処理装置１では、第１の撮像手段１０と第２の撮像手段２０とが車両前方を撮像するように搭載される。第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、第２の画像が車両前方における第２の遠距離画像であって、第２の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすることができる。第１の撮像素子１２が広角レンズ１１で焦点深度が相対的に深いので、第１の画像には遠方の対象物も撮像可能である。車両前方の近距離に位置する信号や標識を視野内に捉えているので、信号の自動認識や標識の自動認識が可能である。

また、１枚のカメラユニット基板に第１の撮像手段１０と第２の撮像手段２０とが配置されて組み込まれたカメラユニット３０を、車両のフロントガラスを通して車両前方を撮像するように配置すれば、車両への取り付けが容易である。さらに、左右のカメラが別体の配置に比べて、第１の撮像手段１０と第２の撮像手段２０とが同一基板に配置されているので、車両に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要であるという効果を奏する。小型のカメラユニット３０では、左右のレンズ間隔（基線長）は６５ｍｍ程度にされた。一方、より遠距離での距離推定精度を確保したい場合は、横長にして、基線長を３００ｍｍ程度にすればよい。

本実施形態では、第１の撮像手段１０と第２の撮像手段２０とは、それぞれ１つのレンズだけを用いるので、レンズは２つだけである。また、撮像素子の撮像面は、多数の画素の集合体であり、測定精度を向上させるためには、画素の数を増やす必要があるが、４つのレンズに対応する必要はない。撮像素子の画素数の増加は撮像面の大型化だけでなく、画素数に対応する電子情報処理量の増加やそれに必要な処理速度の高速化など、システム規模にも影響する。したがって、一対のステレオカメラに相当する画像を取得するだけの画像処理装置１は、撮像素子の画素数が最小限であり、システムとしても安価である。

本実施形態では、第１の撮像素子１２が可視光フィルタを備えているカラー撮影用の撮像素子であり、第２の撮像素子２２が可視光フィルタを備えていない白黒撮影用の撮像素子であるとしたが、近赤外光にも感度を有している撮像素子であることが好ましい。例えば、第２の撮像手段２０が近赤外光を集光可能であり、第１の撮像手段１０が近赤外光を集光可能である場合は、第２の画像と第３の画像とが、近赤外光で撮像された画像を含んでいる。

第１の撮像素子１２では、可視光フィルタに加えて、赤外光フィルタを用意して、可視光フィルタでは遮断される赤外光を撮像する画素を配置しておけばよい。図８は、可視光フィルタと赤外光フィルタの分光特性の説明図である。それぞれ、透過する波長が赤色の領域、緑色の領域、及び青色の領域のＲＧＢフィルタと、波長が７００ｎｍ以上の近赤外光を透過して、６８０ｎｍ以下の可視光を反射又は吸収するＩＲフィルタである。こうすれば、可視光の光量が少ない夜間やトンネル内であっても、赤外光で取得された画像で補うことができ、いわゆる暗視能力が向上する。ヘッドライトの発光スペクトルに赤外光が含まれている場合や、赤外光照射用の補助ライトを用いる場合は、暗視能力がさらに向上する効果を奏する。

第２の撮像素子２２は可視光フィルタを備えていないので、可視光フィルタで遮断されることなく、近赤外光にも感度を有している。なお、視感度との調整用に赤外光をカットする赤外カットフィルタも用いていない。

第２の撮像素子２２が遠赤外光を検知する遠赤外撮像素子であってもよい。この場合、可視光での撮像を兼用することが困難であるが、第２の画像として遠赤外光での画像を取得することができるので、夜間に人体を検知する感度が、さらに向上する。

なお、ステレオ測距に必要な画像情報に余分な周辺画像データを含まない画像処理であることから、処理速度が速いという副次的効果を奏する。

以上のように、本実施形態の画像処理装置１は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる特徴点の抽出によってステレオ測距対象物として対象物を認識でき、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量を計測できる。画像位置のずれ量により、画像処理装置１の撮像位置から該ステレオ測距対象物までの距離を推定できる。

よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像と狭い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

画像処理装置１は車両に搭載する以外に、防犯用カメラや自走型ロボット等に使用することができる。

［第２実施形態］
本発明の第２実施形態における画像処理装置２について説明する。

図９は、第２実施形態の画像処理装置２を備えた車両前方監視装置１００のブロック図である。第１実施形態の画像処理装置１と共通するところは、同じ符号をつけて説明は省略する。

第２実施形態において、画像処理装置２では、距離推定処理部４３から表示用画像出力部４４に表示用の情報を渡すことに加えて、推定された対象物までの距離をもって、乗員に前方情報を報知する車両制御用の情報を警告判定部７０に渡している。

警告判定部７０では、距離推定処理部４３で車両前方の対象物までの距離が推定された距離データと、表示用画像出力部４４で認識された対象物の継続追尾データと、をもとに警告を行う判定がなされる。例えば、前方の先行車両や障害物に衝突する前に警告を発する警告手段７１に警報を出力したり、危険回避操作手段７２に危険回避操作として車両のブレーキを作動させたりする指令を出力したりする。

なお、第１実施形態の画像処理装置１と同様に、表示用画像出力部４４から、カーナビゲーション装置等の表示画面を利用した表示手段６０に表示データを出力させてもよい。

以下、本実施形態としたことによる効果について説明する。

第１の撮像手段１０は車両前方における広い視野範囲で第１の画像情報を取得できる。第２の撮像手段２０は第１の画像と共通領域を有する第２の画像情報を取得できる。画像処理部４２では、取得した画像情報を補正して第１の画像及び第２の画像を取得し、第１の画像から第３の画像を切り出す処理を行う。したがって、画像処理装置２は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる特徴点の抽出によってステレオ測距対象物として対象物を認識でき、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量を計測できる。画像位置のずれ量により、画像処理装置２の撮像位置から該ステレオ測距対象物までの距離を推定できる。

画像処理装置２を備えた車両前方監視装置１００では、車両前方の遠距離に位置する対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。画像処理装置２で撮像された視野範囲の広い画像によって、車両前方の近距離に位置する信号や標識を視野内に捉えることができるので、信号の自動認識や標識の自動認識が可能となる。信号や標識を認識できるので、警告手段７１で音声や警告を発する運転補助に利用することが可能である。また、運転者が赤信号や規制標識を認知していない場合に警告手段７１での警告や危険回避操作手段７２でのブレーキ操作ができる。さらに、視野範囲の広い近距離画像では、車線検知が可能であり、蛇行検知、警告、制御も可能である。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定でき、さらに、広い視野範囲の画像による警告、制御が可能である。

さらに、いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を、表示用画像出力部４４に送られた表示用画像データの視野範囲で継続追尾することができる。

以上のように、本実施形態の画像処理装置２は、広い視野範囲の第１の画像と、第１の画像と共通領域を有する第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる対象物を特徴点の抽出によってステレオ測距対象物として認識でき、該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、推定されたステレオ測距対象物までの距離をもって、乗員に前方情報を報知する車両前方監視装置とすることができる。
したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。

したがって、一対の撮像手段によって、広い視野範囲の画像と狭い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できる画像処理装置及び車両前方監視装置を提供することができる。

本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。例えば次のように変形して実施することができ、これらの実施形態も本発明の技術的範囲に属する。

画像処理装置に無線通信手段を設けて、表示手段６０を有する遠隔操作装置に無線通信するようにしてもよい。

あるいは、画像処理装置に表示手段６０が一体に設けられていてもよい。

１、２ 画像処理装置
１０ 第１の撮像手段
１１ 広角レンズ
１２ 第１の撮像素子
２０ 第２の撮像手段
２１ 望遠レンズ
２２ 第２の撮像素子
３０ カメラユニット
３１ 画像出力部
４０ 画像認識手段（画像認識ユニット）
４１ 画像入力部
４２ 画像処理部
４３ 距離推定処理部
４４ 表示用画像出力部
４５ 座標変換表記憶部
５０ 制御手段
６０ 表示手段
７０ 警告判定部
７１ 警告手段
７２ 危険回避操作手段
１００ 車両前方監視装置

Claims (8)

1. 第１の画像情報を撮像する第１の撮像手段と、
   前記第１の撮像手段よりも視野範囲が狭く、且つ、前記第１の画像情報と共通領域を有する第２の画像情報を撮像する第２の撮像手段と、
   前記第１の画像情報及び前記第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、
   前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得して、前記第１の画像から前記共通領域に対応させた第３の画像を切り出す処理が行われる画像処理部と、
   前記対象物において、ステレオ測距対象物として前記第３の画像に含まれる特徴点を抽出して、前記特徴点に対応する前記第２の画像に含まれる対応点を探索して、前記第３の画像における前記特徴点の画像位置と前記第２の画像における前記対応点の画像位置とを基に、前記ステレオ測距対象物までの距離を推定する処理が行われる距離推定処理部と、を備えている
   ことを特徴とする画像処理装置。
2. 前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、
   前記画像処理部において、前記第１の画像情報に対して前記座標変換表を用いた歪み除去処理が行われて、前記第１の画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部において、前記第１の画像に含まれる色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第２の撮像手段の視野範囲から前記対象物が外れる場合、前記第１の撮像手段によって取得された前記第１の画像にて前記対象物を継続追尾することを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
5. 前記第１の撮像手段及び前記第２の撮像手段が車両前方を撮像するように搭載され、
   前記第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、
   前記第２の画像が車両前方における第２の遠距離画像であって、
   前記第２の画像に含まれる前記ステレオ測距対象物の情報を前記第１の画像上で関係付けすることを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。
6. 前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることを特徴とする請求項１ないし請求項５のいずれかに記載の画像処理装置。
7. 前記第２の撮像手段が赤外光を集光可能であり、前記第１の撮像手段が近赤外光を集光可能であり、前記第２の画像と前記第３の画像とが、赤外光で撮像された画像を含んでいることを特徴とする請求項１ないし請求項６のいずれかに記載の画像処理装置。
8. 車両に請求項１ないし請求項７のいずれかに記載の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記ステレオ測距対象物までの距離をもって、乗員に前方情報を報知する車両前方監視装置。