JP2010108062A - 物体認識装置 - Google Patents

Abstract

【課題】超解像処理を行う物体認識装置において、高解像度化の精度を飛躍的に向上して認識精度を著しく高める。
【解決手段】自車１に搭載された撮影手段３の撮影画像が入力される画像処理手段４により、撮影画像の略認識対象の物体の輪郭部分について、垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出し、撮影画像と高周波成分とにより撮影画像にウェーブレット逆変換を施して撮影画像を高解像度化する際に、高周波成分のウェーブレット逆変換の過程で増加する画素の画素値を、該画素の周囲の既存画素との位置関係に基づき、撮影画像の強調方向に応じた適切な画素値に決定して設定し、前記高解像度化により得られた高解像度画像内の物体を認識処理手段５により認識する。
【選択図】図１

Description

この発明は、撮影手段の撮影画像を画像処理によって高解像度化し、画像処理後の撮影画像から遠方の先行車等の障害となる物体を良好に認識し得るようにした物体認識装置に関し、詳しくは、高解像度化の精度の向上に関する。

従来、追従走行や衝突被害の軽減、自動操舵制御等の運転支援を行うため、自車に撮影手段としてカメラを搭載し、このカメラの撮影画像により自車の前方や後方を監視して先行車、後方からの追い越し車両等の動物体や静止物体を含む路上の障害となる物体を認識する物体認識装置が、種々研究開発され、実用化されつつある。

ところで、前記カメラの撮影画像は例えば５０ｍ以上遠方の物体の解像度が低下する。そのため、カメラの撮影画像（原画像）から遠方の障害となる車両等の物体を認識することは困難である。

そして、カメラの高解像度化には物理的限界や経済的制限があるため、この種の物体認識装置においては、超解像処理と呼ばれる画像処理により撮影画像を高解像度化して遠方の障害となる車両等の物体を認識することが考えられている。

既提案の超解像処理は、カメラの連続する複数フレームの撮影画像について、相関法の画像処理によりフレーム間の物体移動の画素位置を特定し、さらに、移動前後の各画素値を加算平均して移動前の１画素より細かい画素単位で移動後の各画素値を求めて撮影画像を高解像度化するものである（例えば、特許文献１参照）。

そして、超解像処理によって高解像度化した撮影画像からは、後述するエッジヒストグラム法等によって遠方の障害となる物体を検出して認識することが可能になる。
特開２００６−３１８２７２号（段落［０００７］−［００１５］、図１〜図４等）

前記特許文献１に記載の従来提案の超解像処理の場合、高解像度化した１フレームの画像を形成するために複数フレームの撮影画像が必要であり、画像量が多く、処理に時間がかかるだけでなく、処理が煩雑でメモリ消費も多くなり、簡単な画像処理で短時間に容易に撮影画像を高解像度化することができない。

また、フレーム間の相関の煩雑な演算処理が必要で、演算の誤差等によって高解像度化のミスが生じ、誤認識を招来するおそれもある。

そこで、本願の出願人は、ウェーブレット逆変換の超解像処理により、自車に搭載した撮影手段の撮影画像を簡単な画像処理で短時間に容易に高解像度化し、画像処理後の高解像度の撮影画像から遠方の障害となる車両等の物体を認識し得る物体認識装置を既に提案している（特願２００８−０３８５１９号）。

この既出願の物体認識装置は、自車に搭載されて車外を撮影する撮影手段と、撮影手段の撮影画像にウェーブレット逆変換を施して撮影画像を高解像度化する高解像度化手段と、高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段とを備え、撮影手段の毎フレームの撮影画像をウェーブレット変換によって得られた低解像度の画像であるとして、撮影画像に高解像度化手段のウェーブレット逆変換の超解像処理を施て撮影画像を高解像度化し、この高解像度化で得られた高解像度画像から、認識処理手段によって車両等の物体を認識する。

ウェーブレット逆変換及び、高解像度化手段のウェーブレット逆変換について説明すると、一般に、画像はそれより低解像度の画像と複数の高周波成分とに分解できる。このことは、前記低解像度の画像と前記高周波成分とから、高解像度の元の画像を復元できることを意味し、前記画像の分解及び復元は、ウェーブレット変換（ＷＴ）及びウェーブレット逆変換（ＩＷＴ）により実現できる。

そして、ウェーブレット変換は、基本的に、ウェーブレット関数を時間軸上で拡大縮小、平行移動して足し合わせることで、与えられた入力の波形を表現しようとする変換であり、画像のデータ等の離散的なデータに対するウェーブレット変換は、離散ウェーブレット変換と呼ばれる。

この二次元の離散ウェーブレット変換は、ウェーブレット関数とスケーリング関数を使い、入力画像の垂直方向（縦方向）と水平方向（横方向）それぞれに対し、高周波成分を抽出する微分のハイパスフィルタ（ＨＰＦ）処理と、低周波成分を抽出する積分のローパスフィルタ（ＬＰＦ）処理を施して行なわれる。

具体的には、画像のデータの二次元の離散ウェーブレット変換は、入力画像に水平方向のＨＰＦ処理とＬＰＦ処理をそれぞれ施して高低２つの周波数成分（高周波数成分Ｈ、低周波数成分Ｌ）を生成し、さらに、その二つの高周波成分に、垂直方向のＨＰＦ処理とＬＰＦ処理をそれぞれ施して行なわれる。

このようにして、入力画像の垂直方向と水平方向にそれぞれＨＰＦ処理とＬＰＦ処理を施してウェーブレット変換を行うと、図１１に示すように、入力画像（原画像）ＯＧａは、高周波成分ＬＬ、ＨＬ、ＬＨ、ＨＨの４つのデータに分解される。
なお、高周波成分ＬＬ、ＨＬ、ＬＨ、ＨＨは、生成経緯等を考慮して、以降、ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分と称する。

そして、ＨＬ成分は入力画像ＯＧａの水平方向にＨＰＦ処理、垂直方向にＬＨＰ処理を施して生成された入力画像ＯＧａの垂直方向の高周波成分であり、同様に、ＬＨ成分は入力画像ＯＧａの水平方向の高周波成分であり、ＨＨ成分は入力画像ＯＧａの垂直方向及び水平方向の高周波成分である。また、ＬＬ成分は、入力画像ＯＧａの半分の解像度の低解像度画像ＳＩの画像データである。

一方、ウェーブレット逆変換は、基本的には、図１２に示すように、ＬＬ成分である低解像度画像ＯＧｂ（図１１の低解像度画像ＳＩに相当）と三つの高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）とにより、縦横に倍の高解像度の画像ＥＩ（図１１の入力画像ＯＧａに相当）を生成する変換であり、低解像度画像ＯＧｂを高解像度化して入力画像ＯＧａを復元（生成）する。

すなわち、ウェーブレット変換は、対象とする入力画像ＯＧａを、その半分の低解像度画像ＯＧｂのＬＬ成分と３つの高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）の合計４つのデータに分解する変換であり、その逆変換であるウェーブレット逆変換は、対象とする入力画像ＯＧｂの解像度を倍に高める超解像処理の変換である。

そして、前記高解像度化手段の超解像度処理においては、撮影手段の撮影画像を低解像度の入力画像ＯＧｂとするウェーブレット逆変換に適当な高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）を入力し、低解像度の入力画像ＯＧｂから高解像度の画像ＥＩを生成（復元）して撮影画像を高解像度化する。

その際、基本的には前記したようにＬＬ成分となる入力画像ＯＧｂのデータ（画素データ）と、３つの高周波成分（ＬＨ成分、ＨＬ成分、ＨＨ
成分）のデータとが必要となるが、撮影画像（入力画像ＯＧｂ）を垂直方向、水平方向の少なくともいずれか一方向に高解像度化するときには、ＨＬ成分、ＬＨ成分の少なくともいずれか一方のデータを入力してウェーブレット逆変換を行えばよい。具体的には、撮影画像（入力画像ＯＧｂ）を垂直方向に高解像度化するときには、最も簡易には、図１３に示すように撮影画像（入力画像ＯＧｂ）のＬＬ成分と垂直方向の高周波成分（ＨＬ成分）とによってウェーブレット逆変換を行えばよい。また、撮影画像（入力画像ＯＧｂ）を水平方向に高解像度化する時には、最も簡易には図１４に示すように撮影画像（入力画像ＯＧｂ）のＬＬ成分と水平方向の高周波成分（ＬＨ成分）とによってウェーブレット逆変換を行えばよい。このようにすると、扱うデータ量が極めて少なくなり、短時間に容易に撮影画像（入力画像ＯＧｂ）の垂直方向、水平方向それぞれを高解像度化できる。

なお、図１３、図１４のウェーブレット逆変換に代えて、図１５に示すように撮影画像（入力画像ＯＧｂ）のＬＬ成分と、垂直方向の高周波成分（ＨＬ成分）と、水平方向の高周波成分（ＬＨ成分）のデータを入力してウェーブレット逆変換を行ってもよく、この場合は、水平・垂直両方向の高解像度化が行える。さらに、図１６に示すように撮影画像（入力画像ＯＧｂ）のＬＬ成分と三つの高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータを入力してウェーブレット逆変換を行えば、完全な画像復元が行なえる。

そして、高解像度化手段のウェーブレット逆変換の超解像処理によって撮影画像が高解像度化されると、先行車が例えば自車前方５０ｍ以遠に位置する撮影画像中の低解像度の領域の画像であったとしても、その車両の領域の部分を高解像度化した高解像度の画像ＥＩから、例えばエッジヒストグラム法によって先行車を認識できる。

ところで、遠方の車両の認識は垂直エッジを重視して行うことが好ましい。そのため、前記高解像度化手段の超解像処理は少なくとも垂直方向に高解像度化する処理であることが望ましく、前記高解像度化手段は撮影画像（入力画像ＯＧｂ）のＬＬ成分と垂直方向の高周波成分（ＨＬ成分）とによってウェーブレット逆変換を行う。なお、走行環境等によっては水平エッジを重視して行うことが好ましい場合もあり、このような場合には、高解像度化手段の超解像処理は少なくとも水平方向に高解像度化する処理であることが好ましく、前記高解像度化手段は撮影画像（入力画像ＯＧｂ）のＬＬ成分と水平方向の高周波成分（ＬＨ成分）とによってウェーブレット逆変換を行う。

つぎに、前記高解像度化手段のウェーブレット逆変換に必要な高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータ取得について説明すると、これらの高周波成分のデータは、例えば先行車が自車の比較的近い位置にあり、撮影画像（入力画像ＯＧｂ）の先行車の部分が車両認識可能な高解像度になるときに、その高解像度の画像の微分処理やウェーブレット変換を行なって、予め得るようにしてもよいが、簡易的には時々刻々の撮影画像（入力画像ＯＧｂ）に微分処理やウェーブレット変換を施して得た高周波成分のデータであってもよく、この場合にも実用上問題のない高解像度化が行なえることが実験等から判明している。

そこで、前記高解像度化手段は高解像度化する毎フレームの撮影画像（入力画像ＯＧｂ）に微分処理やウェーブレット変換を施してウェーブレット逆変換に必要な高周波成分のデータ、すなわち、垂直方向、水平方向の少なくともいずれか一方向を含むＨＬ成分、ＬＨ成分、ＨＨ成分の少なくともいずれか１つのデータを得る。この場合、ウェーブレット逆変換に必要な高周波成分のデータを、毎フレームの撮影画像（入力画像ＯＧｂ）から取得するので、処理が一層簡単になって実用的である利点がある。

そして、高解像度化手段のウェーブレット逆変換の高解像度化により、１フレームの撮影画像から高解像度化した１フレームの画像を形成することができるため、前記既出願の物体認識装置においては、処理する画像量が少なく、簡単な画像処理で短時間に容易に撮影画像が高解像度化される。また、フレーム間の相関の煩雑な演算は不要であり、認識処理手段は高解像度化された撮影画像内の遠方の車両等の物体を認識することができ、ウェーブレット逆変換を行う従来にない画期的な超解像処理により、自車に搭載したカメラの撮影画像を簡単な画像処理で短時間に高解像度化し、高解像度化した撮影画像から遠方の障害となる車両等の物体を誤りなく検出して認識できる利点がある。

つぎに、前記垂直方向、水平方向の少なくともいずれか一方向の高周波成分は、撮影画像の全体について抽出しなくてもよく、撮影画像の少なくとも略認識対象の車両等の物体の輪郭部分について抽出すればよい。そこで、前記既出願の物体認識装置においては、略認識対象の車両等の物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段を備えることを提案し、さらに、前記高解像度化手段のウェーブレット逆変換の高周波成分を、前記抽出手段が抽出した高周波成分であって、撮影画像の解像度に対する高解像度画像の解像度の比をＫとして、輪郭線の線幅を１／Ｋに狭くしたものとすることも提案している。

すなわち、前記高解像度化手段のウェーブレット逆変換において、撮影画像の高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータは、逆変換対象の撮影画像全体についてのデータであってもよいが、そのうちの認識対象の先行車の輪郭部分等の部分的な高周波成分（以下、ＨＬ成分の部分的な高周波成分をＨＬ＊成分、ＬＨ成分の部分的な高周波成分をＬＨ＊成分、ＨＨ成分の部分的な高周波成分をＨＨ＊成分という）のデータであってもよい。認識対象の輪郭部分が高解像度化すれは、認識処理手段の車両認識は問題なく行なえるからである。そして、部分的な高周波成分のデータを用いると、データ量が一層少なくなって処理が一層容易かつ迅速に行なえるとともに、認識対象の輪郭部分のみが高解像度化されて鮮明になるので、画像エッジがより明瞭になって先行車等の車両を認識し易くなる利点がある。

また、前記高解像度化手段のウエーブレット逆変換に必要な高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分やＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）は、高解像度の入力画像（原画像ＯＧａ）のＬＬ成分である撮影画像（低解像度の入力画像ＯＧｂ）にウエーブレット変換を施して得られ、その垂直方向、水平方向の解像度は原画像ＯＧａの１／２である。

そのため、前記高解像度化手段のウエーブレット逆変換の超解像処理により、高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分やＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）を用いて撮影画像を倍の解像度の高解像度画像に変換する場合、その過程において、高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分やＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）は、画素（本来は空白画素）が挿入されて縦横の画素数が倍に増え、縦横が倍に拡大されて高解像度の画素数に変換されるが、その際、縦横の増えた画素の左隣や右隣の画素が既存画素であれば、その画素値を既存画素と同じ画素値にすると、拡大された高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分やＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の輪郭線の線幅は縦横に倍に太くなり、その分復元される高解像度画像（原画像ＯＧａ）の解像度が低下する。

そこで、前記既出願の物体認識装置においては、撮影画像（入力画像ＯＧｂ）の解像度に対する高解像度画像（原画像ＯＧａ）の解像度（所望の復元解像度）の比をＫとして、例えば、抽出手段が抽出した部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の輪郭線の線幅を１／Ｋに狭くすることを提案している。具体的には、ＨＬ＊成分については垂直方向の線幅を１／２に狭くし、ＬＨ＊成分については水平方向の線幅を１／２に狭くし、ＨＨ＊成分については垂直・水平方向の線幅を１／２に狭くする。このようにすると、高解像度化手段のウェーブレット逆変換によって一層鮮明で実用的な高解像度画像を復元することができ、認識精度が向上する。

しかしながら、この種の物体認識装置においては、高解像度化の精度をさらに向上して認識精度を一層高めることが要求されている。

本発明は、超解像処理を行う物体認識装置において、前記既出願の物体認識装置とは異なる手法で高解像度化の精度を飛躍的に向上して認識精度を著しく高めることを目的とする。

上記した目的を達成するために、本発明の物体認識装置は、自車に搭載されて車外を撮影する撮影手段と、前記撮影画像の少なくとも略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段と、前記撮影画像と前記高周波成分とにより前記撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段とを備えた物体認識装置において、前記高周波成分の前記ウェーブレット逆変換の過程で増加する画素の画素値を、該画素の周囲の既存画素との位置関係に基づいて決定した画素値に設定する画素補間手段を備えたことを特徴としている（請求項１）。

請求項１に係る本発明の物体認識装置の場合、とくに、抽出手段により撮影画像から抽出されてウェーブレット逆変換により縦横倍の画素数に拡大される高周波成分の増加した画素（本来は空白画素）の画素値を、該画素の周囲の既存画素との位置関係に基づき、撮影画像の強調方向に応じた適切な画素値に設定することができ、ウェーブレット逆変換により撮影画像を一層精度よく高解像度化し、認識処理手段の認識精度を高めることができる。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１０を参照して詳述する。なお、認識対象の物体は自車の前、後等の走行の障害となる可能性がある遠方の種々の移動物体、静止物体であってよいが、本実施形態においては、説明を簡単にする等のため、認識対象の物体を自車前方例えば５０ｍ以遠の同一レーンを走行する先行車（前方車両）とする。

図１は自車１に搭載された物体認識装置２のブロック構成を示し、図２はその高解像度化手段のウェーブレット逆変換の説明図、図３は画素補間手段の処理の説明図、図４はその処理結果の説明図である。

図５、図６は認識処理手段のエッジヒストグラム法の認識処理の説明図であり、それぞれの（ａ）は撮影画像、（ｂ）はエッジヒストグラム画像、（ｃ）はエッジ画像、（ｄ）は撮影画像を複数個の車両領域に分割した分割画像である。図７は図１の動作説明のフローチャート、図８〜図１０は実験結果の説明図である。

［構成］
図１に示すように、自車１に搭載された物体認識装置２は、撮影手段３と、その撮影画像を処理する画像処理手段４と、その後段の認識処理手段５によって形成される。

撮影手段３は、例えば自車１のルームミラーの基部等に自車１の前方を撮影するように取り付けられた半導体イメージセンサ構成の単眼カメラであり、時間的に連続して撮影可能であり、自車１の走行中に例えば１／３０秒の毎フレームに前方の最新フレームのカラー或いはモノクロの撮影画像（原画像）を画像処理手段４に出力する。

画像処理手段４は認識処理手段５と共にマイクロコンピュータによって形成され、本発明の抽出手段及び、高解像度化手段、画素補間手段を形成する。認識処理手段５は本発明の認識処理手段である。

そして、高解像度化手段は、基本的には、撮影手段３が撮影した毎フレームの撮影画像を低解像度の入力画像ＯＧｂとし、この低解像度の入力画像ＯＧｂを、それから抽出した高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のいずれか１つ又は２つ又は全部を用いた図１２〜図１５のウェーブレット逆変換（ＷＺＰ法）により拡大することで、超解像処理の変換を行って撮影画像を高解像度化した毎フレームの画像ＥＩを生成（復元）する。

このとき、ＨＬ成分、ＬＨ成分等の高周波成分のデータは、逆変換対象の撮影画像全体についてのデータであってもよいが、前記したように、そのうちの認識対象の先行車の略輪郭部分についての垂直方向、水平方向の少なくともいずれか一方向の部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）のデータとすることが、マイクロコンピュータの処理負担や処理速度等の点から好ましく、また、認識対象の輪郭部分のみが高解像度化されて鮮明になるため、画像エッジがより明瞭になって先行車等を認識し易くなる。

そこで、本実施形態においては、高解像度化手段によってウェーブレット逆変換の超解像処理を行う前に、前記抽出手段により、撮影手段３の撮影画像中の略認識対象の先行車の輪郭部分についてのみ垂直方向、水平方向の少なくともいずれか一方の部分的な高周波成分（以下、ＨＬ成分の部分的な高周波成分をＨＬ＊成分、ＬＨ成分の部分的な高周波成分をＬＨ＊成分、ＨＨ成分の部分的な高周波成分をＨＨ＊成分という）を抽出する。これらの部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の抽出はどのようにして行ってもよいが、以下に、いくつかの例を説明する。

例えば、認識対象の先行車が次第に前方に遠ざかるような場合には、抽出手段により、認識対象の車両が近いときの撮影画像から、微分法、エッジヒストグラム法等を用いた周知の画像認識処理により認識対象の車両の輪郭を検出してその車両を捕捉し、認識対象の車両が遠ざかるようになってもその車両を捕捉し続け、認識対象の車両が遠方に位置するようになったときに、撮影手段３の撮影画像の捕捉中の車両の輪郭部分について微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）を抽出する。

また、認識対象の車両が遠くから次第に近づくような場合を考慮したときは、抽出手段により、毎フレームの撮影手段３の撮影画像につき、その微分画像等から適当な間隔で左右方向に並んだ垂直方向の対のエッジ成分を検出し、そのような垂直方向の対のエッジ成分が認識対象の車両の側面エッジであるとして撮影画像中の略認識対象の車両部分を特定し、撮影手段３の撮影画像の特定した部分について、微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）を抽出する。

さらに、自車１に撮影手段３と共にレーダの前方探査手段も搭載する場合は、その探査によって認識対象の車両を捕捉し、抽出手段により、撮影手段３の撮影画像中の前記前方探査手段が捕捉している部分について、微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出して部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）を抽出する。

前記抽出手段により抽出される部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の具体的な一例は、例えば図２（ａ）の画像Ｐ１に示すようになる。画像Ｐ１は略認識対象の先行車の左右両側の縦輪郭のＨＬ＊成分の画像である。

そして、垂直方向に高解像度化し、垂直エッジを重視して遠方の車両を認識するため、図２（ａ）のＨＬ＊成分のデータを高解像度化手段の図１２のウェーブレット逆変換に入力して毎フレームの撮影画像を高解像度化すると、ウェーブレット逆変換後の画像ＥＩとして、例えば図２（ｂ）の画像Ｐ１１が得られる。なお、ＨＬ＊成分のデータを入力しない場合は、ウェーブレット逆変換後の画像ＥＩとして、図２（ｃ）の画像Ｐ１２が得られる。

つぎに、本発明の最も特徴的な構成である、画素補間手段について説明する。

高解像度化手段のウエーブレット逆変換において、抽出手段が抽出した部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）を、画素を挿入して縦横の画素数を倍にし、縦横を倍に拡大する際、上述したように増えた画素の画素値を、その左隣や右隣の既存画素の画素値に設定すると、高解像度画像（画像ＥＩ）は先行車等の輪郭線の線幅が太くなってその分解像度が低下して不鮮明になり、後段の認識処理手段５の認識精度が低下する。

そこで、前記既出願の物体認識装置においては、高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の輪郭線の線幅を１／Ｋに狭くして高解像度画像を鮮明にすることを提案したが、本発明においては、高解像度画像をさらに一層鮮明にして認識処理手段５の認識精度を向上するため、抽出手段が抽出した高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）のウェーブレット逆変換の過程で増えた画素の画素値を、画素補間手段により、つぎに説明するように設定する。

すなわち、画素補間手段は、抽出手段により撮影画像から抽出された高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）が高解像度化手段のウェーブレット逆変換の過程において、画素数が増えて縦横が倍に拡大されるときに、高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の増えた画素を、該画素の周囲の既存画素との位置関係に基づく画素値に決定して設定する。

具体的には、ＨＬ＊成分の場合、抽出されたＨＬ＊成分の２（縦）×２（横）の単位の４画素ｇが図３の画像Ｇ１の画素値ａ〜ｄであったとすると、高解像度化手段のウェーブレット逆変換の過程において、ＨＬ＊成分は同図の画像Ｇ２に示すように縦横に画素ｑが増えて倍（４×４の１６画素）に伸長されて拡大される。各画素ｑは本来は画素値が０の空白画素であるが、画素補間手段は、これら画素ｑの画素値を、周囲の既存画素ｇとの位置関係に基づき、例えば下記［画素値ｉ］〜［画素値ｉｖ］の条件にしたがって、図３の画像Ｇ３に示すｉ、ｉｉ、ｉｉｉ、ｉｖの画素値に決定して設定する。なお、条件から外れた画素ｑは空白画素である。

［画素値ｉ］：
（条件）隣り合う既存画素ｇが１個しか存在しない画素ｑ（画像Ｇ３の例えば右上端の画素値ｉの画素ｑ）
（画素値）画素値ｉは既存画素ｇの画素値ｂの１／２

［画素値ｉｉ］：
（条件）上下に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｂ、ｄの画素ｇで挟まれた画素値ｉｉの画素ｑ）
（画素値）ｂ≧ｄであれば画素値ｉｉ＝（３ｂ＋ｄ）／４、ｂ＜ｄであれば画素値ｉｉ＝（ｂ＋３ｄ）／４

［画素値ｉｉｉ］：
（条件）左、右に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｃ、ｄの画素ｇで挟まれた画素値ｉｉｉの画素ｑ）
（画素値）ｃ＜ｄであれば画素値ｉｉｉ＝（３ｃ＋ｄ）／４、ｃ≧ｄであれば画素値ｉｉｉ＝（ｃ＋３ｄ）／４

［画素値ｉｖ］：
（条件）斜め十文字状の隣り合う４個所に既存画素ｇが存在する画素ｑ（画像Ｇ３の画素値ａ〜ｄの画素ｇで挟まれた画素値ｉｖの画素ｑ）
（画素値）画素値ｉｖは、画素値ａ〜ｄのうちの第２、第３目の大きさの２画素値の平均値

したがって、高解像度化手段のウェーブレット逆変換の過程において、縦横に倍に拡大されたＨＬ＊成分は、上下の既存画素ｇで挟まれた画素値ｉｉの画素ｑが上下の既存画素ｇの大きいほうの画素値ｂ（又はｄ）に近い画素値に設定され、輪郭線は縦方向には大きな画素値の画素列が長くなって強調される。また、左、右の既存画素ｇで挟まれた画素値ｉｉｉの画素ｑが左、右の既存画素ｇの小さいほうの画素値ｃ（又はｄ）に近い画素値に設定され、輪郭線は太くならない。さらに、斜め十文字に既存画素ｇで挟まれた画素ｑの画素値ｉｖはそれら既存画素ｇの平均的な画素値に設定される。

この場合、画素ｑをその左隣や右隣の既存画素ｇと同じ画素値に設定して得られた図４の左側の拡大されたＨＬ＊成分の画像Ｇａに比して、画素補間手段により各画素ｑの画素値を周囲の既存画素ｇとの位置関係に基づいて設定して得られた同図の右側の拡大されたＨＬ＊成分の画像Ｇｂは、画素値の大きな黒い部分が、縦方向には長く連続し、横方向には長く（太く）ならず、全体として輪郭線が極めて効果的に縦方向に強調される。

なお、ＬＨ＊成分の場合は、［画素値ｉｉ］、［画素値ｉｉｉ］の条件をつぎのように設定した上で、［画素値ｉ］〜［画素値ｉｖ］の条件にしたがって各画素ｑの画素値を設定する。

［画素値ｉｉ］：
（条件）上下に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｂ、ｄの画素ｇで挟まれた画素値ｉｉの画素ｑ）
（画素値）ｂ＜ｄであれば画素値ｉｉ＝（３ｂ＋ｄ）／４、ｂ≧ｄであれば画素値ｉｉ＝（ｂ＋３ｄ）／４

［画素値ｉｉｉ］：
（条件）左、右に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｃ、ｄの画素ｇで挟まれた画素値ｉｉｉの画素ｑ）
（画素値）ｃ≧ｄであれば画素値ｉｉｉ＝（３ｃ＋ｄ）／４、ｃ＜ｄであれば画素値ｉｉｉ＝（ｃ＋３ｄ）／４

この場合、拡大されたＬＨ＊成分の画像は、左、右の既存画素ｇで挟まれた画素値ｉｉｉの画素ｑが左、右の既存画素ｇの大きいほうの画素値ｃ（又はｄ）に近い画素値に設定され、輪郭線は横方向には大きな画素値の画素列が長くなって強調される。また、上下の既存画素ｇで挟まれた画素値ｉｉの画素ｑが上下の既存画素ｇの小さいほうの画素値ｂ（又はｃ）に近い画素値に設定され、輪郭線は太くならない。さらに、斜め十文字に既存画素ｇで挟まれた画素ｑの画素値ｉｖはそれら既存画素ｇの平均的な画素値に設定される。そのため、全体として極めて効果的に横方向に強調される。

また、ＨＨ＊成分の場合は、［画素値ｉｉ］、［画素値ｉｉｉ］の条件を例えばつぎのように設定した上で、［画素値ｉ］〜［画素値ｉｖ］の条件にしたがって各画素ｑの画素値を設定する。

［画素値ｉｉ］：
（条件）上下に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｂ、ｄの画素ｇで挟まれた画素値ｉｉの画素ｑ）
（画素値）ｂ＜ｄであれば画素値ｉｉ＝（３ｂ＋ｄ）／４、ｂ≧ｄであれば画素値ｉｉ＝（ｂ＋３ｄ）／４

［画素値ｉｉｉ］：
（条件）左、右に既存画素ｇが存在する画素ｑ（画像Ｇ３の例えば画素値ｃ、ｄの画素ｇで挟まれた画素値ｉｉｉの画素ｑ）
（画素値）ｃ≧ｄであれば画素値ｉｉｉ＝（３ｃ＋ｄ）／４、ｃ＜ｄであれば画素値ｉｉｉ＝（ｃ＋３ｄ）／４

この場合、拡大されたＬＨ＊成分の画像は、上下の既存画素ｇで挟まれた画素値ｉｉの画素ｑが上下の既存画素ｇの大きいほうの画素値ｂ（又はｄ）に近い画素値に設定され、左、右の既存画素ｇで挟まれた画素値ｉｉｉの画素ｑも左、右の既存画素ｇの大きいほうの画素値ｃ（又はｄ）に近い画素値に設定され、輪郭線は縦方向及び横方向に強調され、結果として斜め横方に強調される。

そして、高解像度化手段は画素補間手段により各画素ｑの画素値が設定されて拡大された高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の少なくともいずれか一つを用いて撮影画像にウェーブレット逆変換の超解像度処理を施し、撮影画像を高解像度化した高解像度画像を復元する。

このとき、エッジヒストグラム法による遠方の車両（先行車）の認識は垂直エッジを重視して行うことが好ましいため、実用的には、高解像度化手段は撮影画像（入力画像ＯＧｂ）のＬＬ成分とＨＬ＊成分とによってウェーブレット逆変換の超解像処理を行って撮影画像の高解像度画像を復元する。なお、走行環境等によっては水平エッジを重視して行うことが好ましい場合もあり、このような場合には、高解像度化手段は前記ＬＬ成分とＬＨ＊成分とによってウェーブレット逆変換の超解像処理を行って撮影画像の高解像度画像を復元する。また、垂直、水平の両エッジを重視する場合には、高解像度化手段は前記ＬＬ成分とＬＨ＊成分、ＬＨ＊成分とによってウェーブレット逆変換の超解像処理を行って撮影画像の高解像度画像を復元し、撮影画像の高解像度画像を完全に復元する場合は、高解像度化手段は前記ＬＬ成分とＬＨ＊成分、ＬＨ＊成分、ＨＨ＊成分とによってウェーブレット逆変換の超解像処理を行う。

つぎに、画像処理手段４の後段の認識処理手段５は、高解像度化手段のウェーブレット逆変換の超解像処理によって得られた高解像度の画像ＥＩから先行車を認識する。その手法として、本実施形態においては、画像中の車両の領域に多く含まれる水平や垂直のエッジ成分に着目し、既出願の物体認識装置と同様、ノイズに対して強く計算時間も短いエッジヒストグラムを使った車両認識手法（エッジヒストグラム法）を採用する。

エッジヒストグラム法の車両認識を、図５、図６を参照して説明する。

図５、図６の（ａ）はそれぞれ撮影画像（実画像）Ｐ２、Ｐ３であり、これらの撮影画像Ｐ２、Ｐ３は前方に先行車α１、α２それぞれが映っている。

そして、エッジヒストグラム法では、撮影画像Ｐ２、Ｐ３の車両の領域に多く含まれる水平・垂直のエッジ成分に着目し、撮影画像Ｐ２、Ｐ３それぞれの各画素輝度を垂直方向、水平方向に空間差分処理して画像エッジを抽出し、抽出した各画像エッジを垂直方向、水平方向に射影して累積し、図５、図６の（ｂ）のヒストグラム画像Ｐ２１、Ｐ２２に示す水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇを求める。

なお、ヒストグラム画像Ｐ２１、Ｐ３２は撮影画像Ｐ２、Ｐ３それぞれに水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇを重ねた画像である。また、抽出された水平・垂直エッジの画像は図５、図６の（ｃ）のエッジ画像Ｐ２２、Ｐ３２に示すようになり、先行車α１、α２等の車両の輪郭部分に多数の水平・垂直エッジが存在することがわかる。

そして、水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇが共に大きくなる水平・垂直エッジの各交点を結び、図５、図６の（ｄ）の分割画像Ｐ２３、Ｐ３３に示すように、撮影画像Ｐ１、Ｐ２中に認識対象の先行車α１、α２の候補領域としての複数の矩形の車両領域βを作成する。

さらに、例えば、赤色、対称性、滑らかさ、形状の４つを、車両を特徴付ける要素の評価関数として各候補領域βの車両らしさを評価し、各車両領域βのうちの前記各評価関数が大きいものを、先行車両α１、α２の領域として選択して先行車両α１、α２を認識する。

その際、撮影された画像が垂直方向（縦方向）、水平方向（横方向）の少なくともいずれか一方向に高解像度化されると、縦輪郭、横輪郭の少なくともいずれか一方が拡大強調されて垂直エッジ、水平エッジの少なくともいずれか一方を精度よく検出することができ、先行車α１、α２等の車両を精度よく認識できる。

そして、認識処理手段５においては、前記撮影画像Ｐ２、Ｐ３を、高解像度化手段の超解像処理によって得られた高解像度の画像ＥＩに置換え、エッジヒストグラム法により画像ＥＩから先行車両α１、α２を認識する。

このとき、高解像度化手段のウェーブレット逆変換の超解像処理によって撮影画像Ｐ１、Ｐ２が垂直方向（又は水平方向又は斜め方向）に強調して高解像度化されているので、先行車α１、α２が例えば自車前方５０ｍ以遠に位置して撮影画像Ｐ２、Ｐ３中の先行車α１、α２の車両領域βが元は低解像度であったとしても、先行車α１、α２を精度よく認識することができる。

［動作］
上記構成に基づき、物体認識装置２は毎フレームの撮影毎に図７のステップＳ１〜Ｓ３の処理を行う。

すなわち、図７のステップＳ１により、撮影手段３が新たな１フレームの撮影画像を出力すると、この最新の１フレームの撮影画像（入力画像ＯＧｂ）が画像処理手段４に取り込まれる。

そして、図２のステップＳ２により、画像処理手段４の抽出手段が、例えば撮影画像（入力画像ＯＧｂ）をウェーブレット変換する簡便な手法でＨＬ＊成分を抽出し、画像処理手段４の高解像度化手段により、撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と、前記ウェーブレット変換によって得たＨＬ＊成分とに基づき、撮影画像（入力画像ＯＧｂ）に図８のウェーブレット逆変換の超解像処理を施し、撮影画像（入力画像ＯＧｂ）を高解像度化して垂直方向の解像度が撮影画像（入力画像ＯＧｂ）の倍になった高解像度の画像ＥＩを生成する。その際、ウェーブレット逆変換の過程で拡大されたＨＬ＊成分には画素補間手段の前記した画素値の設定が施される。

さらに、図２のステップＳ３により、認識処理手段５は上述したエッジヒストグラム法で前記高解像度の画像ＥＩの垂直エッジを検出して先行車α１、α２等の認識対象の遠方の車両の車両領域βを選択し、この選択に基づいて前記認識対象の遠方の車両を認識する。

なお、少なくとも自車１の走行中はステップＳ３からステップＳ１に戻り、つぎの１フレームの撮影画像を超解像処理して認識対象の遠方の車両の認識をくり返す。

そして、本実施形態の場合、画像処理手段４の画素補間手段により、撮影画像から抽出された高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）が画像処理手段４の高解像度化手段のウェーブレット逆変換の過程で拡大されるときに、高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）の増えた画素を、該画素の周囲の既存画素との位置関係に基づく画素値に決定して設定し、高解像度化の精度を著しく向上したため、認識処理手段５の認識精度が飛躍的に向上する。

［実験結果］
つぎに、撮影画像に基づいて高解像度化手段のウェーブレット逆変換の超解像処理を行なった実験結果について説明する。

本実験においては、まず、先行車αが遠方に位置してその縦横の解像度が低下した撮影画像として、実際の車間距離を想定し、先行車αの部分が３２×３２画素（ｐｉｘｅｌ）、８ビット（ｂｉｔ）／画素（ｐｉｘｅｌ）に解像度低下した図８（ａ）の画像Ｐ４を用意する。また。画像Ｐ４についての図８（ｂ）のＨＬ成分の画像Ｐ５１、同図（ｃ）の先行車αの部分のＨＬ＊成分の画像Ｐ５２のデータを得る。画像Ｐ５１、Ｐ５２のデータは、ウェーブレット逆変換の過程で拡大されたＨＬ成分、ＨＬ＊成分に前記画素補間手段の画素値の設定が施されて得られたものである。

そして、劣化画像Ｐ４につき、ＨＬ成分、ＨＬ＊成分を入力せずにウェーブレット逆変換を施した場合（非入力の場合）、ＨＬ成分を入力してウェーブレット逆変換を施した場合（ＨＬ成分入力の場合）、ＨＬ＊成分を入力してウェーブレット逆変換を施した場合（ＨＬ＊成分入力の場合）の復元の比較を行ったところ、非入力の場合は図９（ａ）の画像Ｐ６１が得られ、ＨＬ成分入力の場合、ＨＬ＊成分入力の場合は同図（ｂ）、（ｃ）の画像Ｐ６２、Ｐ６３が得られた。

そして、各画像Ｐ６１〜Ｐ６３を評価するにあたり、画像の復元度合いについては平均二乗誤差（ＭＳＥ）を利用して数値で評価し、どれだけ輪郭（縦輪郭）がはっきりしているかという輪郭強度（輪郭強調）については、輪郭部分の前後の明るさの高低差を利用して画素単位で数値化して評価した。また、ウェーブレット逆変換後の認識の安定性については、ウェーブレット逆変換後の解像度の増加、周波数との結合による輪郭の強調が可能か否か等から評価した。なお、併せて劣化画像Ｐ４の元になった２倍の解像度（６４×６４画素（ｐｉｘｅｌ）、８ビット（ｂｉｔ）／画素（ｐｉｘｅｌ））画像についても同様に評価した。

その結果、各画像Ｐ６１〜Ｐ６３及び、２倍解像度の画像について、つぎの表１の結果を得た。この結果から、ＨＬ成分入力、ＨＬ＊成分入力の画像Ｐ６２、Ｐ６３は縦輪郭が復元されて強調されていることが確かめられた。なお、劣化画像Ｐ４とＨＬ成分非入力の画像Ｐ６１との差はウェーブレット逆変換の持つ復元精度を示している。また、ＨＬ成分入力、ＨＬ＊成分の画像Ｐ６２、Ｐ６３とＨＬ成分非入力の画像Ｐ６１との差はＨＬ成分、ＨＬ＊成分による改善効果を示している。

つぎに、実際に自車の８０ｍ前方（遠方）の先行車を撮影して撮影画像（６４×６４画素（ｐｉｘｅｌ））の画像を得、この撮影画像と、それに画像処理手段４の抽出手段、高解像度化手段によるウェーブレット逆変換の超解像処理を施して得られた高解像度画像（１２８×１２８画素（ｐｉｘｅｌ））とにつき、縦方向（垂直方向）のエッジヒストグラムを求めたところ、図１０（ａ）、（ｂ）の結果が得られた。図１０（ａ）は撮影画像の下部に白抜きで垂直エッジヒストグラムを重ねた画像Ｐ７１であり、同図（ｂ）は高解像度画像の下部に同様の垂直エッジヒストグラムを重ねた画像Ｐ７２である。

そして、画像Ｐ７１、Ｐ７２の比較からも明らかなように、画像Ｐ７１では先行車αの右側のエッジと風景の建物等のエッジとがヒストグラム上でも分離されないが、画像Ｐ７２では先行車αの右側のエッジと風景の建物等のエッジとがヒストグラム上でも鮮明に分離され、ＨＬ＊成分の強調の効果が発揮されていること確かめられた。

なお、横輪郭を強調する場合は、ＬＨ＊成分のみを入力して図１４のウェーブレット逆変換を行えば同様の結果が得られる。また、ＨＬ＊成分、ＬＨ＊成分を入力して図１５のウェーブレット逆変換を行ってもよく、ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分を入力して図１６のウェーブレット逆変換を行ってもよい。

そして、本発明は上記した各実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記した［画素値ｉｉ］、［画素値ｉｉｉ］の画素値ｉｉ、ｉｉｉを算出する重み付けの割合は、前記実施形態では３／４と１／４に設定したが、それに限るものではなく、適当に設定すればよいのは勿論である。

また、抽出手段が抽出する高周波成分のデータは、撮影画像の少なくとも略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分のデータであればよく、前記実施形態においては、認識対象の先行車の略輪郭部分についての垂直方向、水平方向の少なくともいずれか一方向の部分的な高周波成分（ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分）のデータとしたが、撮影画像全体についての高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータであってもよく、この場合、抽出した高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）を用いてウェーブレット逆変換（画素補間手段の処理を含む）を行うことにより、処理負担は多少増えるが、ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分を用いた場合と同様の結果が得られる。

つぎに、高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分、ＨＬ＊成分、ＬＨ＊成分、ＨＨ＊成分、）の取得方法はどのようであってもよい。さらに、認識対象の物体は先行車α、α１、α２等の自車１の前方の車両（対向する車両も含む）に限られるものではなく、自車１の後方等の種々の方向の追い越し車両等の車両であってよく、この場合、認識対処に応じて撮影手段３の撮影方向や範囲を設定等すればよい。

また、認識対象の物体は、車両に限るものではなく、自車１の走行の障害となりそうな路上の種々の動物体、静止物体であってよいのも勿論であり、そのような物体は例えば大きさ（主に横幅と高さ）によって予め設定することができる。

つぎに、撮影手段３の構成や認識処理手段５の認識手法等はどのようであってもよいのは勿論である。

そして、本発明は、車両に搭載された撮影手段の撮影画像からの種々の物体の認識に適用することができる。

本発明の一実施形態のブロック図である。 図１の画像処理手段内の高解像度化手段のウェーブレット逆変換の説明図である。 図１の画像処理手段内の画素補間手段の処理の説明図である。 図３の処理結果の説明図である。 図１の認識処理手段の処理の説明図である。 図１の認識処理手段の処理の他の説明図である。 図１の動作説明用の一部のフローチャートである。 実験結果の一例の一部の説明図である。 実験結果の一例の他の説明図である。 実験結果の他の例の説明図である。 基本的なウェーブレット変換の説明図である。 基本的なウェーブレット逆変換の説明図である。 ウェーブレット逆変換の一例の説明図である。 ウェーブレット逆変換の他の例の説明図である。 ウェーブレット逆変換の更に他の例の説明図である。 ウェーブレット逆変換の他の例の説明図である。

符号の説明

１ 自車
２ 物体認識装置
３ 撮影手段
４ 画像処理手段
５ 認識処理手段
α、α１、α２ 認識対象の先行車

Claims (1)

1. 自車に搭載されて車外を撮影する撮影手段と、
   前記撮影画像の少なくとも略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段と、
   前記撮影画像と前記高周波成分とにより前記撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、
   前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段とを備えた物体認識装置において、
   前記高周波成分の前記ウェーブレット逆変換の過程で増加する画素の画素値を、該画素の周囲の既存画素との位置関係に基づいて決定した画素値に設定する画素補間手段を備えたことを特徴とする物体認識装置。