JP2009059132A - 物体認識装置 - Google Patents

Abstract

【課題】撮影手段の連続する複数フレームの撮影画像に簡易で適切な超解像度処理を施して自車の前方等の周囲の遠方の障害となる物体を誤りなく検出し、認識する。
【解決手段】自車１の撮影手段３が連続した複数フレームを撮影する間の撮影手段３の撮影姿勢の変化に基づき、各フレームの撮影画像中の先行車等の遠方の認識対象の物体の位置が移動してずれることにより、推定手段が各フレームの撮影画像の前記撮影姿勢の変化に伴ってずれた各画素位置を推定し、高解像度化手段が各フレームの推定した各画素位置の画素値をフレーム合成し、平均の超解像処理を行なって認識対象の物体の部分が高解像度化した画像を形成し、この高解像度化した画像から、認識処理手段５が先行車等の自車１の障害となる遠方の物体を誤りなく検出して認識する。
【選択図】図１

Description

この発明は、撮影手段の時系列の複数フレームの撮影画像を用いた平均の超解像処理により高解像度化した画像を得、該画像から遠方の先行車等の障害となる物体を良好に認識し得るようにした物体認識装置に関する。

近年、自動車と道路が一体のシステムとして機能することで自動車交通をより安全、円滑で環境に調和したものにしようとするＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の研究・開発が進められている。

また、ＡＳＶ（Ａｄｖａｎｃｅｄ Ｓａｆｅｔｙ Ｖｅｈｉｃｌｅ）技術の応用として、高速道路での追従走行機能を搭載した車両が製品化され、より広範囲な交通状況での追従走行や衝突被害の軽減、動操舵制御を行うための研究・開発も進められている。

それらの研究・開発の１つとして、撮影手段としての単眼カメラで自車前方を監視して先行車を認識するため、追跡対象となる車両の車両特徴と、走行環境（外部環境）を考慮した時空間の幾何学特徴と、を利用して先行車両を検出することが試みられている。この場合、空間概念からの車両特徴としての車両輪郭の対称性とテールランプの赤色性の２つの評価、時間概念からの車両特徴としての車両移動の滑らかさと撮影画像のフレーム間における車両領域の形状の２つの評価の合計４つの総合評価が最も大きくなることから、撮影画像上の先行車を検出して認識する。しかしながら、このような車両や環境の各種特徴のみをベースとする検出では、それらの特徴が発見できなくなると直ちに検出が困難になる。とくに先行車が遠方に存在する解像度劣化の激しい車両である場合等には、車両特徴の検出が容易でなく、先行車の検出が困難である。

そして、撮影手段としてのカメラの高解像度化には物理的限界や経済的制限があるため、この種の物体認識装置においては、超解像処理と呼ばれる画像処理により撮影画像を高解像度化して遠方の障害となる車両等の物体を認識することが考えられている。

既提案の超解像処理は、カメラの連続する複数フレームの撮影画像について、相関法の画像処理によりフレーム間の物体移動の画素位置を特定し、さらに、移動前後の各画素値を加算平均して移動前の１画素より細かい画素単位で移動後の各画素値を求めて撮影画像を高解像度化するものである（例えば、特許文献１参照）。

この場合、超解像処理によって高解像度化した撮影画像からは、後述するエッジヒストグラム法等によって遠方の障害となる物体を検出して認識することが可能になる。
特開２００６−３１８２７２号（段落［０００７］−［００１５］、図１〜図４等）

前記特許文献１に記載の従来提案の超解像処理の場合、連続する複数フレームの撮影画像の相関性を演算し、相関性の高い画素部分から移動後の物体の画素位置を特定して物体を検出するので、煩雑で計算負荷の大きい相関性の演算が必要であるだけでなく、計算誤差等に基づく画素位置の特定ミスが生じ易い。しかも、画像上での遠方の先行車等の物体のフレーム間の移動を検出できたとしても、それからどのようにすれば（特定すれば）、先行車等の認識対象の物体の部分を最も効果的に高解像度化できるのかは分からず、適切な超解像処理を施して遠方の障害となる物体を検出して認識することは、実際には困難である。

本発明は、撮影手段の連続する複数フレームの撮影画像に簡易で適切な超解像度処理を施して自車の前方等の周囲の遠方の障害となる物体を誤りなく検出し、認識することを目的とする。

上記した目的を達成するために、本発明の物体認識装置は、自車に搭載されて車外を撮影する撮影手段と、前記撮影手段の撮影によって得られる連続した複数フレームの撮影画像の各画素位置がフレーム間でずれて移動することにより、各フレームの撮影画像の各画素位置の画素値に基づいて撮影画像を高解像度化する高解像度化手段と、前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段とを備えた物体認識装置であって、前記撮影手段の撮影姿勢の変化を検出する検出手段と、前記検出手段の前記撮影姿勢の変化検出に基づき、各フレームの撮影画像の各画素位置の移動を検出して各フレームの撮影画像の移動後の各画素位置を推定する推定手段とを備え、前記推定手段により推定した各フレームの各画素位置の画素値に基づくフレーム合成の超解像処理によって前記高解像度化手段が撮影画像を高解像度化することを特徴としている（請求項１）。

そして、前記検出手段は、前記撮影手段の撮影姿勢の少なくともヨー変化を検出するセンサであり、前記推定手段は、前記センサの検出に基づき少なくとも前記ヨー変化による回転移動の影響を除去する補正を施して各フレームの各画素位置を推定することが、実用的で好ましい（請求項２）。

さらに、自車から認識対象の物体までの距離を計測する測距手段をさらに備え、前記推定手段は、前記センサの変化の検出に基づき前記各フレームの撮影画像に少なくとも前記ヨー変化の回転移動の影響を除去する補正を施すとともに、前記測距手段の測距結果に基づき前記各フレームの撮影画像に自車から認識対象の物体までの距離変化の補正を施して各フレームの各画素位置を推定することが、認識精度の向上の上から好ましい（請求項３）。

請求項１の発明の場合、撮影手段が連続した複数フレームを撮影する間に撮影手段の撮影姿勢が変化すると、この撮影姿勢の変化によって各フレームの撮影画像中の先行車等の遠方の認識対象の物体の位置が移動してずれる。

そして、検出手段の前記撮影姿勢の変化の検出に基づき、推定手段は各フレームの撮影画像の前記撮影姿勢の変化に伴ってずれた各画素位置を推定し、高解像度化手段は、各フレームの推定した各画素位置の画素値をフレーム合成し、平均の超解像処理を行なって認識対象の物体の部分が高解像度化した画像を形成することができる。

そして、高解像度化手の高解像度化した画像から、認識処理手段が先行車等の自車の障害となる遠方の物体を誤りなく検出して認識することができる。

この場合、撮影画像のフレーム間の相関の煩雑な演算を行なうことなく高解像度化した画像を形成し、遠方の先行車等の認識対象の物体を誤りなく検出して認識することができる。

請求項２の発明の場合、検出手段のセンサにより、画像中の動きが少ない遠方の物体の高解像度化に必要な画素位置の微小な平行移動のずれが生じる撮影手段の少なくともヨー変化を検出し、さらに、推定手段により、前記センサが検出したヨー変化の不要な回転の移動を補正して各フレームの画素位置を推定することにより、高解像度化手段のフレーム合成の超解像処理が精度よく行え、良好な高解像度化によって遠方の物体の認識精度が向上する。

請求項３の発明の場合、測距手段の測距結果に基づき、前記推定手段が各フレームの画素位置の自車と認識対象の物体との距離のずれによる誤差も補正して各フレームの各画素位置を推定するため、高解像度化の超解像処理が一層高精度に行なえ、認識精度が一層向上する。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１４を参照して詳述する。なお、認識対象の物体は自車の前、後等の走行の障害となる可能性がある遠方の種々の移動物体、静止物体であってよいが、以下の実施形態においては、説明を簡単にする等のため、認識対象の物体を自車前方例えば５０ｍ以遠の同レーンを走行する遠方の先行車（前方車両）αとする。

図１は自車１に搭載された物体認識装置２のブロック構成を示し、図２はその動作説明のフローチャートである。

図３は物体認識装置２の画像処理手段４の処理工程の説明図、図４は画像処理手段４が形成する推定手段及び高解像度化手段の処理の説明図であり、（ａ）は撮影姿勢の変化による撮影画像の変化の移動の説明図、（ｂ）は各フレームの画素位置のヨー変化の補正の説明図、（ｃ）はそれに伴う左右方向の画素位置の移動の説明図、（ｄ）は各フレームの画素位置の測距距離の補正の説明図である。図５は前記高解像度化手段のフレーム合成処理の説明図である。

図６は図１の処理を説明する画像例を示し、（ａ）は撮影画像、（ｂ）は高解像度画像の例である。図７は図１の認識処理手段５の処理を説明する画像例を示し、（ａ）、（ｂ）は図６（ａ）の撮影画像の水平エッジヒストグラム、垂直エッジヒストグラムの画像例である。図８は図１の認識処理手段５の処理を説明する画像例を示し、（ａ）、（ｂ）は図６（ｂ）の高解像度画像の水平エッジヒストグラム、垂直エッジヒストグラムの画像例である。

図９〜図１４は実験結果の説明図であり、図９は２５ｍ前方の先行車を含む画像例の説明図、図１０は図９の画像例の水平エッジヒストグラムの説明図、図１１は図９の画像例の垂直エッジヒストグラムの説明図、図１２は５０ｍ前方の先行車を含む画像例の説明図、図１３は図１２の画像例の水平エッジヒストグラムの説明図、図１４は図１２の画像例の垂直エッジヒストグラムの説明図である。

そして、図１に示すように、自車１に搭載された本実施形態の物体認識装置２は、撮影手段３と、その撮影画像を処理する画像処理手段４と、その後段の認識処理手段５と、撮影手段３の撮影姿勢の変化を検出する検出手段６と、自車１と先行車等の認識対象の物体との距離（車間距離等）を計測する測距手段７によって形成される。

撮影手段３は例えば自車１のルームミラーの基部等に自車１の前方を撮影するように取り付けられた半導体イメージセンサ構成の動画撮影用の単眼カメラであり、時間的に連続して撮影可能であり、自車１の走行中に例えば１／３０秒の毎フレームに前方の最新フレームのカラー或いはモノクロの撮影画像（原画像）を画像処理手段４に出力する。

検出手段６は、路面の凹凸等に基づく撮影手段３の撮影姿勢の少なくともヨー変化を検出する適当な検出次元の１個又は複数個のセンサ等からなり、撮影手段３のヨー変化は例えば角速度センサ（ジャイロ）によって検出する。なお、角速度センサ（ジャイロ）によって検出する代わりに、例えば、撮影手段３の撮影画像Ｌｉに含まれる道路白線のずれの検出や、ＧＰＳの受信位置データの変化等から撮影手段３のヨー変化を検出する構成であってもよい。

測距手段７は簡単には超音波レーダ等のレーダ探査手段であってよいが、レーダを搭載しない場合は、例えば撮影手段３の撮影画像の画像処理により、撮影画像上で自車１から認識対象の物体である先行車αまでの距離を計算によって求める構成であってもよい。

画像処理手段４は認識処理手段５と共にマイクロコンピュータによって形成され、本発明の推定手段及び高解像度化手段を形成する。

そして、推定手段は、検出手段６の前記撮影姿勢の変化検出に基づき、撮影手段３の連続する時系列の複数フレーム（以下、Ｎフレームという）の撮影画像（具体的には例えば８フレーム（Ｎ＝８））の各画素位置の移動（ずれ）を推定する。高解像度化手段は、推定手段により推定した各フレームの各画素位置の画素値に基づくフレーム合成の超解像処理（後述する平均の超解像処理）により、撮影画像を高解像度化する。

また、認識処理手段５は、前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する。

ところで、撮影手段３の撮影画像中の遠方にある、動きが少なく解像度劣化の激しい先行車等の物体を認識するには、何らかの手法で撮影画像中の遠方の前記物体の解像度を向上させる必要がある。

そして、撮影手段３から得られる動画像の連続するＮフレームの撮影画像をフレーム合成して超解像処理することで解像度の向上とノイズの低減を図るため、本実施形態においては、上記構成に基づいて物体認識装置２がつぎに説明するように動作する。

一般に、観測された複数の低解像度の画像から高解像度の画像を得る手法は、画像処理の分野では総じて超解像処理（ｓｕｐｅｒ―ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）と呼ばれる。

この超解像処理について説明する。

撮影手段３の撮影画像の低解像度に起因する問題の最も簡易な解決策は、より解像度の高い画像が得られるカメラ等を撮影手段３に用いることである。しかしながら、実際には、費用の制約やセンサ技術に関する物理的な限界等を考慮すると、撮影手段３に十分な高解像度のカメラを用いることは実用的ではない。そして、そのような経済的制約や物理的限界の問題を回避して解像度の高い画像を得るために適した画像処理が、撮影手段３により撮影された時系列のＮフレームの低解像度の画像から高解像度の画像を再構するフレーム合成の超解像処理である。

そして、このフレーム合成の超解像処理は、換言すれば、同一の観測対象に対して得られた複数の観測データを拘束条件として用いて高解像画像を得るための手法である。すなわち、複数の低解像度の画像（Ｌｏｗ―Ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ、ＬＲ画像）から１つの高解像度の画像（Ｓｕｐｅｒ―Ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ、ＳＲ画像）を作成する処理である。

そして、作成する高解像度の画像をＳ（ｘ、ｙ）、撮影手段３の撮影によって実際に取得される低解像度の画像（撮影画像）をＬｉ（ｘ、ｙ）とする。

なお、ｘ、ｙは画像の横座標、縦座標の画素位置である。画像Ｌｉのｉは複数の低解像度画像が時系列の連続した画像であることを表し、時系列の順にｉ＝０、１、２、……である。また、画像Ｓ（ｘ、ｙ）と画像Ｌｉ（ｘ、ｙ）は、ともにデジタル変換された標本化済みの画像である。

そして、画像Ｌｉ（ｘ、ｙ）は、撮影手段３によって撮影されたアナログ画像ａ（ｘ、ｙ）をデジタルデータに標本化する際に、低解像度の画像の画素間隔よりも小さい量だけ標本化位置をずらして得られたものであり、サブピクセルシフト・オーバラッピング画像（ｓｕｂ―ｐｉｘｅｌ ｓｈｉｆｔ ａｎｄ ｏｖｅｒｌａｐｐｉｎｇ ｉｍａｇｅ）と呼ばれることもある。

この画像Ｌｉ（ｘ、ｙ）は、観測画像（撮影画像）が静止画として取得される場合は、撮像系に設けらた何らかの機構を用いて撮影素子をずらしたり、撮像系そのものを動かすことで得ることができる。また、観測画像が動画像として取得される本発明の場合、被写体自体が動いたり、手ぶれのような無意識であるか、パニング（ｐａｎｎｉｎｇ）のような意識的かにかかわらず、撮影系としての撮影手段３が姿勢変化して動く間に得られる各フレームを１つの静止画として取得することで、画像Ｌｉ（ｘ、ｙ）を得ることができる。

そして、撮影手段３の各フレームの時系列の撮影画像が形成する動画像に対して超解像処理を行うことを、フレーム合成処理という。

このフレーム合成処理は、画像処理手段４で行なわれ、本実施形態の場合、図３の動き情報の推定の工程Ｋ１、高解像度化（高解像度画像領域への補間）の工程Ｋ２、ブレ復元・雑音除去の工程Ｋ３の３つの段階の工程からなる。各工程Ｋ１〜Ｋ３における具体的な処理は、目的とする高解像度画像の条件や対象によってそれぞれ定められる。

そして、動き情報の推定の工程Ｋ１は、推定手段によって実行され、検出手段６の撮影姿勢の検出結果に基づき、推定手段によってＮフレームの撮影画像の各画素位置の移動を検出し、各フレームの撮影画像の例えばヨー変化の移動後の各画素位置を推定する工程である。

具体的には、例えばヨー変化により図４（ａ）に模式的に示した画像Ｌ１（ｘ、ｙ）、…、Ｌｉ（ｘ、ｙ）、…、ＬＮ（ｘ、ｙ）に示すように微小角度ずつずれたＮフレームの撮影画像が得られると、前記推定手段は、検出手段の検出結果から、例えばヨー変化のない中央の画像Ｌｉの各画素位置を基準にして残りの画像Ｌ１〜ＬＮの各画素位置のヨー変化に基づく移動を検出して各フレームの撮影画像Ｌ１〜ＬＮの移動後の各画素位置を推定する。このとき、前記ヨー変化による回転移動の影響を除去する補正を施し、図４（ｂ）、（ｃ）に模式的に示すように各フレームの画像Ｌ１〜ＬＮが左右方向に微少量ずつ平行移動した状態で各フレームの画像Ｌ１〜ＬＮの各画素位置を推定することが実用上は好ましく、そのような補正を施して画像Ｌ１〜ＬＮの各画素位置を推定することにより、後段の高解像度化手段のフレーム合成の超解像処理が精度よく行え、良好な高解像度化によって先行車α（遠方の物体）の認識精度が向上する。さらに、測距手段７の測距結果に基づき、各フレームの撮影画像に自車１から認識対象の物体である先行車αまでの距離変化の補正を施し、図４（ｄ）に模式的に示すように各フレームの画像Ｌ１〜ＬＮ前記距離による拡縮も補正することが、認識精度の向上の上からは好ましい。

つぎに、高解像度化の工程Ｋ２は、高解像度化手段によって実行され、複数の低解像度画像である撮影手段３のＮフレームの撮影画像につき、推定手段で推定された図４（ａ）、同図（ｂ），（ｃ）、又は同図（ｄ）の各フレームの画像Ｌ１（ｘ、ｙ）〜ＬＮ（ｘ、ｙ）の各画素位置の画素値をフレーム合成により重ね合わせて平均化し、平均による超解像処理により画素を補間して、高解像度画像Ｓｉ（ｘ、ｙ）を形成する。この場合、複数フレームの画像Ｌ１（ｘ、ｙ）〜ＬＮ（ｘ、ｙ）の各画素位置の画素値の平均をとることによって、図５に模式的に示すように、高解像度画像Ｓｉ（ｘ、ｙ）は周辺部を除く中央の大部分が高解像度化され、画像全体の構成を崩すことなく、認識対象の遠方の先行車α等の物体を含む部分が高解像度化される。その際、前記平均をとることによってノイズ軽減が図られて画像が鮮明化することも期待できる。

そして、前記平均の超解像処理は、漸化式や連立方程式の解として高解像度画像を形成する手法に比べ、圧倒的に計算速度が速く、リアルタイム処理への応用も容易であり、この種の物体認識に好適である。

なお、撮影手段３によって撮影された時系列のＮ枚の撮影画像（遠方の物体の解像劣化画像）Ｌｉ（ｘ、ｙ）において、撮影手段３の撮影姿勢の変化に基づく各画素位置のｘ方向（横方向）、ｙ方向（縦方向）の移動量をｘｉ、ｙｉとすると、高解像度化手段の平均の超解像処理によって形成された高解像度画像Ｓ（ｘ、ｙ）は、つぎの数１に示す式(1) で表される。

そして、前記平均による超解像処理に基づくフレーム合成処理の具体的な処理においては、まず、入力画像である例えば図６（ａ）の画像Ｐ１のような各フレームの撮影画像Ｌｉ（ｘ、ｙ）は、撮影手段３の撮影姿勢の変化等に基づいて、通常、任意の方向に各画素位置がサブピクセル移動する。サブピクセル移動とは、１ピクセル単位以下の画像移動を指し、サブピクセル移動後に元のピクセル幅で画像を再構成することで原画像と異なる位置で撮像したような画像情報を得ることができる。なお、前記サブピクセル移動後の再構成によって異なる情報を持つようになる撮影画像Ｌｉ（ｘ、ｙ）を毎秒に３０フレーム得る。

そして、得られた３０枚の撮影画像Ｌｉ（ｘ、ｙ）のうちの設定した連続Ｎフレームの撮影画像Ｌｉ（ｘ、ｙ）に対して前記のフレーム合成処理を行う。この合成時の動き情報の推定は、前記推定手段により周知のテンプレートマッチングの手法で行なってもよく、推定手段によって推定された各フレームの画素位置の画素値をフレーム合成し、１フレームの出力の高解像度画像Ｓｉ（ｘ、ｙ）を再構成して生成（復元）する。

生成した高解像度画像Ｓｉ（ｘ、ｙ）を直接後段の認識処理手段５に送って認識処理を行なってもよいが、前記平均の超解像処理によっては高解像度画像Ｓｉ（ｘ、ｙ）のエッジ情報は中心部のように高解像度化されず、むしろ「ブレ」によってボケたように見えるので、本実施形態においては、人間の視覚評価が適正になるように、アンシャープマスクの処理によって高解像度画像Ｓｉ（ｘ、ｙ）のプレ復元・ノイズ除去を行う。

そして、上記のフレーム合成処理により作られた高解像度画像Ｓｉ（ｘ、ｙ）は、例えば図６（ｂ）の画像Ｐ２に示すようになる。図６の（ａ）、（ｂ）の画像比較から視覚的にも明らかなように、高解像度画像Ｐ２は前記フレーム合成処理により解像度が向上している。このことは、とくに画像Ｐ１、Ｐ２の認識対象の先行車αのナンバープレートの部分に注目することでより明らかであり、図６（ａ）の低解像度の画像Ｐ１では解読できなかったプレートの数字が同図（ｂ）の高解像度画像Ｓｉ（ｘ、ｙ）では解読可能になっている。

以上のようにして生成された高解像度画像Ｓｉ（ｘ、ｙ）は認識処理手段５に送られ、この認識処理手段５により、例えば高解像度画像Ｓｉ（ｘ、ｙ）の水平、垂直のエッジヒストグラムを求めて高解像度画像Ｓｉ（ｘ、ｙ）内の遠方の先行車α等の認識対象の物体を認識する。

そして、エッジヒストグラムとは、対象となる横軸（ｘ軸）又は縦軸（ｙ軸）に沿ってどれだけのエッジが検出されているかを示す画像エッジ分布のグラフであり、水平のエッジヒストグラムは例えば図７（ａ）の画像Ｐ３１中の縦軸に射影されるエッジヒストグラムＨｅｇ、図８（ａ）の画像Ｐ４１中の縦軸に射影されるエッジヒストグラムＨｅｇのようになり、垂直のエッジヒストグラムは例えば図７（ｂ）の画像Ｐ３２中の横軸に射影されるエッジヒストグラムＶｅｇ、図８（ｂ）の画像Ｐ４２中の横軸に射影されるエッジヒストグラムＶｅｇのようになる。なお、図７（ａ）、（ｂ）は図６（ａ）の画像Ｐ１のエッジヒストグラムＨｅｇ、Ｖｅｇであり、図８（ａ）、（ｂ）は図６（ｂ）の画像Ｐ２のエッジヒストグラムＨｅｇ、Ｖｅｇである。

そして、図７（ａ）、（ｂ）及び図８（ａ）、（ｂ）を比較すると、図８（ａ）、（ｂ）の高解像度の画像Ｐ４１、４２では先行車αの車両輪郭のエッジ情報が復元されて鮮明になり、車両輪郭のエッジ強度が図７（ａ）、（ｂ）の低解像度の画像Ｐ３１、Ｐ３２より向上しているのが確認できる。

これらのエッジヒストグラムＨｅｇ、Ｖｅｇを用いることにより、例えば認識対象の先行車αの場合、その車両特徴の１つである垂直成分・水平成分が抽出されて車両認識の１つのパラメータが得られる。

そして、撮影画像Ｐ４１、Ｐ４２から、先行車α等の車両の輪郭部分に水平・垂直の大きなエッジが多数存在することが分かり、認識処理手段５は、例えば水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇが共に大きくなる水平・垂直エッジの各交点を結んで先行車αの候補領域としての複数の矩形の車両領域を作成し、さらに、例えば、赤色、対称性、滑らかさ、形状の４つを、車両を特徴付ける要素の評価関数として各候補領域の車両らしさを評価し、各車両領域のうちの前記各評価関数が大きいものを、先行車αの領域として選択し、エッジヒストグラム法により先行車αを認識する。

この場合、高解像度化された画像Ｐ２、Ｐ４１、Ｐ４２に含まれた認識対象の先行車αが自車１の例えば５０ｍ以遠の遠方に位置していても、その水平、垂直のエッジヒストグラムＨｅｇ、Ｖｅｇから確実に先行車αを認識することができる。

つぎに、図２及び図９〜図１４を参照して、走行中における撮影画像を高解像度化してそのエッジヒストグラムから遠方の先行車αを認識する場合の実験結果（シミュレーション結果）を説明する。

まず、走行状況は、自車１の前方２５ｍに先行車αが位置する状況、及び、自車１の前方５０ｍに先行車αが位置する状況とした。

自車前方の撮影は、撮影手段３としての単眼カメラを自車１の車内に固定し、３０フレーム／秒で動画撮影によって行った。なお、前記単眼カメラの解像度はＱＶＧＡ（３２０×２４０ピクセル）とした。

また、先行車αを遠方の解像度が劣化した撮影画像中の物体として前記フレーム合成処理を行なうため、前記単眼カメラの毎フレームの撮影画像を２倍に拡大したものを画像処理手段４の入力画像とした。

そして、図２に示すように、ステップＱ１のＮフレーム撮影において、撮影手段３から時系列のＮフレーム（例えば８フレーム）の撮影画像が出力される毎に、ステップＱ２の推定処理に移行し、画像処理手段４の推定手段により、その間の撮影手段３の撮影姿勢としての少なくともヨー変化についての検出手段６の検出結果に基づき、ヨー変化の不要な回転の移動のずれを補正し、更には、測距手段７の測距結果に基づき、測距結果に応じた倍率を乗算して各フレームの画素位置の自車１と認識対象の先行車αとの距離のフレーム間のずれによる誤差も補正することにより、上述した図３の工程Ｋ１の推定処理で各フレームの撮影画像の各画素位置を一層精度よく推定し、高解像度化手段の認識精度を向上する。

つぎに、図２のステップＱ３の超解像処理に移行し、画像処理手段４の高解像度化手段により、上述した図３の工程Ｋ２の高解像度化の工程を行なって、各フレームの撮影画像を用いたフレーム合成処理の平均の超解像処理を行ない、１フレームの高解像度画像を生成（復元）する。なお、必要に応じて図３の工程Ｋ３のプレ復元・ノイズ低減も行なう。

つぎに、図２のステップＱ４の認識処理に移行し、認識処理手段により、前記したエッジヒストグラム法で高解像度画像中の先行車αを認識する。

そして、予め前記した走行状況下におけるフレーム合成処理前の動画像に対してエッジヒストグラムを求めて、低解像度画像での認識精度を確認し、その後、前記した両走行状況下において時系列の８（Ｎ＝８）フレームの撮影画像を用いたフレーム合成処理の超解像処理を行って高解像度画像を生成し、この高解像度画像により前方の先行車αの解像度を向上し、それにエッジヒストグラム法を適用し、フレーム合成処理前の低解像度画像とフレーム合成処理後の高解像度画像との先行車αの認識精度の差を観察した。

その結果、前方２５ｍに先行車αが位置する走行状況においては、図９（ａ）の低解像度の動画像の撮影画像Ｐ５１に基づくフレーム合成処理により、同図（ｂ）の高解像度画像Ｐ５２が得られた。さらに、それらの画像Ｐ５１、５２に対してエッジヒストグラム処理を行なったところ、図１０（ａ）、（ｂ）の水平エッジヒストグラムＨｅｇの画像Ｐ６１ｈ、Ｐ６２ｈ及び、図１１（ａ）、（ｂ）の垂直エッジヒストフラムＶｅｇの画像Ｐ６１ｖ、Ｐ６２ｖが得られた。なお、画像Ｐ６１ｈ、Ｐ６１ｖは撮影画像Ｐ５１のエッジヒストグラムの画像であり、画像Ｐ６２ｈ、Ｐ６２ｖは高解像度画像Ｐ５２のエッジヒストグラムの画像である。

また、前方５０ｍに先行車αが位置する素行状況においても同様の処理を行なったところ、前方５０ｍに先行車αが位置する走行状況においては、図１２（ａ）の低解像度の動画像の撮影画像Ｐ７１に基づくフレーム合成処理により、同図（ｂ）の高解像度画像Ｐ７２が得られた。さらに、それらの画像Ｐ７１、７２に対してエッジヒストグラム処理を行なったところ、図１３（ａ）、（ｂ）の水平エッジヒストグラムＨｅｇの画像Ｐ７１ｈ、Ｐ７２ｈ及び、図１４（ａ）、（ｂ）の垂直エッジヒストグラムＶｅｇの画像Ｐ７１ｖ、Ｐ７２ｖが得られた。なお、画像Ｐ７１ｈ、Ｐ７１ｖは撮影画像Ｐ７１のエッジヒストグラムの画像であり、画像Ｐ７２ｈ、Ｐ７２ｖは高解像度画像Ｐ７２のエッジヒストグラムの画像である。

そして、画像Ｐ５１〜Ｐ７２ｖから、フレーム合成処理後の画像Ｐ５２、Ｐ６２ｈ、Ｐ６２ｖ、Ｐ７２、Ｐ７２ｈ、Ｐ７２ｖには、本発明の構成に基づくつぎの２つの特徴が見られることが判明した。

第一には、図９の画像Ｐ５１と画像Ｐ５２、図１２の画像Ｐ７１と画像Ｐ７２の比較から明らかなように、本発明の構成の場合、フレーム合成処理後の画像Ｐ５２、Ｐ７２は明らかに認識対象の先行車αの解像度が向上している点である。第二には、本発明の構成の場合、認識対象の先行車αを中心にフレーム合成処理が行なわれるため、図９（ｂ）の画像Ｐ５２及び図１２（ｂ）の画像Ｐ７２から明らかなように、先行車αの周囲の他の物体（対向車両を含む）が却って「ブレ」ている点である。

そして、この第一、第二の特徴に基づき、図１０、図１１のエッジヒストグラムの画像Ｐ６１ｈ〜Ｐ６２ｖ、図１３、図１４のエッジヒストグラムの画像Ｐ７１ｈ〜Ｐ７２ｖの比較から明らかなように、周囲の他の物体の前記した「ブレ」により認識対象の先行車αが一層鮮明になり、認識対象外の周囲物体のノイズ等の誤認識が確実に防止され、先行車αの認識精度が、画像の高解像度化と前記した「ブレ」による認識対象の先行車αの一層の鮮明化に伴い、本発明の構成の場合は一層向上し、認識対象の先行車αを確実に認識できることが判明した。なお、前記特許文献１に記載のフレーム間の相間法の超解像処理の場合、前記の「ブレ」が生じることはなく、認識対象の先行車αだけを鮮明化することはできない。

そして、本発明の構成の場合、撮影画像のフレーム間の相関の煩雑な演算を行なうことなく、処理負担が軽い簡易な処理によって高解像度化した画像を形成し、遠方の先行車αを誤りなく検出して認識することができる。

以上の結果より、本発明の前記フレーム合成処理による時系列のＮフレームの低解像度の撮影画像の平均の超解像処理により、解像度が劣化した認識対象の遠方の先行車αを簡易な処理で誤りなく確実に認識できることが確かめられた。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、時系列のＮフレームは８フレームに限るものではなく、２フレーム以上の適当なフレーム数であってよいのは勿論である。

また、認識対象の物体は先行車α等の前方の車両（対向する車両も含む）に限られるものではなく、自車１の後方等の種々の方向の追い越し車両等の車両であってよく、この場合、認識対処に応じて撮影手段３の撮影方向や範囲を設定等すればよい。

さらに、認識対象の物体は、車両に限るものではなく、自車１の走行の障害となりそうな路上の種々の動物体、静止物体であってよいのも勿論であり、そのような物体は例えば大きさ（主に横幅と高さ）によって予め設定することができる。

つぎに、撮影手段３の構成や認識処理手段５の認識手法等はどのようであってもよいのは勿論である。また、画像処理手段４の推定手段により、撮影姿勢のヨー方向以外の変化を考慮して各フレームの撮影画像Ｌｉ（ｘ、ｙ）の移動後の各画素位置を推定すれば、認識精度が一層向上する。さらに、高解像度化手段により、図３の工程Ｋ３の処理を省いて高解像度化を行なうようにしてもよい。

そして、本発明は、車両に搭載された撮影手段の撮影画像からの種々の物体の認識に適用することができる。

本発明の一実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図１の画像処理手段の処理工程の説明図である。 図１の画像処理手段が形成する推定手段及び高解像度化手段の処理の説明図である。 図１の画像処理手段が形成する高解像度化手段のフレーム合成処理の説明図である。 図１の処理を説明する画像例の説明図である。 図１の認識処理手段の処理を説明する低解像度画像のエッジヒストグラム例の説明図である。 図１の認識処理手段の処理を説明する高解像度画像のエッジヒストグラム例の説明図である。 ２５ｍ前方の先行車を含む画像例の説明図である。 図９の画像例の水平エッジヒストグラムの説明図である。 図９の画像例の垂直エッジヒストグラムの説明図である。 ５０ｍ前方の先行車を含む画像例の説明図である。 図１２の画像例の水平エッジヒストグラムの説明図である。 図１２の画像例の垂直エッジヒストグラムの説明図である。

符号の説明

１ 自車
２ 物体認識装置
３ 撮影手段
４ 画像処理手段
５ 認識処理手段
６ 検出手段
７ 測距手段
α 認識対象の先行車

Claims (3)

1. 自車に搭載されて車外を撮影する撮影手段と、
   前記撮影手段の撮影によって得られる連続した複数フレームの撮影画像を合成し、各フレームの撮影画像の各画素位置の画素値に基づいて撮影画像を高解像度化する高解像度化手段と、
   前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段とを備えた物体認識装置であって、
   前記撮影手段の撮影姿勢の変化を検出する検出手段と、
   前記検出手段の前記撮影姿勢の変化検出に基づき、各フレームの撮影画像の各画素位置の移動を検出して各フレームの撮影画像の移動後の各画素位置を推定する推定手段とを備え、
   前記推定手段により推定した各フレームの各画素位置の画素値に基づくフレーム合成の超解像処理によって前記高解像度化手段が撮影画像を高解像度化することを特徴とする物体認識装置。
2. 請求項１に記載の物体認識装置において、
   前記検出手段は、前記撮影手段の撮影姿勢の少なくともヨー変化を検出するセンサであり、
   前記推定手段は、前記センサの検出に基づき少なくとも前記ヨー変化による回転移動の影響を除去する補正を施して各フレームの各画素位置を推定することを特徴とする物体認識装置。
3. 請求項２に記載の物体認識装置において、
   自車から認識対象の物体までの距離を計測する測距手段をさらに備え、
   前記推定手段は、前記センサの変化の検出に基づき前記各フレームの撮影画像に少なくとも前記ヨー変化の回転移動の影響を除去する補正を施すとともに、前記測距手段の測距結果に基づき前記各フレームの撮影画像に自車から認識対象の物体までの距離変化の補正を施して各フレームの各画素位置を推定することを特徴とする物体認識装置。