JP2008181422A - 画像認識装置、画像認識方法、車両制御装置および車両制御方法 - Google Patents

Abstract

【課題】歩行者認識において認識精度を維持しつつ演算量を削減し、高速化すること。
【解決手段】テンプレート用の画像を予め周波数展開してテンプレートとして用い、カメラが撮影した画像から判定対象領域Ａ１０を切り出すと、切り出した画像を周波数展開して周波数画像Ａ１１を作成する。得られた周波数画像Ａ１１のうち、歩行者の輪郭に対応する周波数領域を選択して、もしくは重み付けなどによって優先してテンプレートと比較し、一致するならば歩行者であると判定する。
【選択図】 図１

Description

この発明は、カメラが撮影した入力画像から特定の物体を画像認識する画像認識装置、画像認識方法、車両制御装置および車両制御方法に関し、特に歩行者を認識する画像認識装置、画像認識方法、車両制御装置および車両制御方法に関する。

車両の走行中においては、特に歩行者との衝突回避が重要である。そこで近年、画像認識やレーダ検知を用いて自車両周辺の歩行者を認識する技術が考案されてきた（例えば、特許文献１参照。）。

また、画像認識を行なう際には、例えば特許文献２が開示するように、ウェーブレットフィルタなどによる周波数展開を利用する方法も考案されている。

特開２００２−３６２３０２号公報 特開２００４−８６４１７号公報

しかしながら、従来の技術では、歩行者を精度良く認識するには大きな演算量が必要であり、例えば撮影した像をそのままパターン認識する場合、判定対象領域内における歩行者像の位置が異なるだけでも元のパターンとは異なると判定される場合があった。

より詳細に説明すると、同一フレームに対して探索領域を順次ずらしていくと、探索領域内における歩行者の位置がずれる。一方で、この探索領域内の画像と比較するパターンである基準画像は、同じ大きさの探索領域内に歩行者を置いたもので、実際に走行して検出された歩行者を複数枚サンプリングし、学習したものである。

マッチング判定するには、基準画像に対し、今回それぞれに抽出された探索領域の画像がどれだけ一致しているか、を探索領域内の歩行者の位置も含めて判定するので、歩行者の形状が略同一であっても、基準画像の歩行者の位置に対し、抽出画像の歩行者の位置がずれていると一致度が低くなり、閾値を超えない可能性がある。

精度よく検出するためには、探索領域の探索間隔を短くし、歩行者周辺の前後左右を小刻みに比較する必要があるが、一致するまでに時間がかかる。あるいは、基準画像のパターンを多く用意する（たとえば同一形状で位置の異なるパターンのバリエーションを持たせる）ことも考えられるが、メモリ容量が多くなり、また、比較作業に時間がかかる。

パターン認識以外でも、例えば周波数展開した画像を歩行者認識に用いる場合では、展開結果が道路の白線など背景画像の周波数成分や、服の模様など人ごとに異なる差異の周波数成分をも含むため、情報比較の計算量が大きくなっていた。

しかし、走行中の車両から歩行者を認識して危険回避に使用する場合、歩行者の認識までに要する時間の短縮が非常に重要である。そこで、歩行者認識の精度を維持しつつ演算量を削減することが課題となっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、認識精度を維持しつつ演算量を削減し、高速で高精度な画像認識装置、画像認識方法、車両制御装置および車両制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像認識装置、画像認識方法、車両制御装置および車両制御方法は、カメラが撮影した入力画像から判定対象領域を抽出、判定対象領域の画像を周波数展開し、周波数展開結果から特定の周波数領域を選択的に使用した周波数解析によって判定対象領域における特定の物体の存在を認識する。

本発明によれば画像認識装置、画像認識方法、車両制御装置および車両制御方法は、カメラが撮影した画像から抽出した判定対象領域を周波数展開し、歩行者の輪郭に対応する周波数領域を選択して、もしくは道路などの背景や服の模様などの個人差に対応する周波数領域を除外して画像認識に使用するので、認識精度を維持しつつ演算量を削減し、高速で高精度な画像認識装置、画像認識方法、車両制御装置および車両制御方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法、車両制御装置および車両制御方法の好適な実施例について詳細に説明する。

まず、本発明における画像認識方法について図１を参照して説明する。本発明では、テンプレート用の画像を予め周波数展開してテンプレートとして用いる。

そして、図１に示したようにカメラが撮影した画像から判定対象領域Ａ１０を切り出すと、切り出した画像を周波数展開して周波数画像Ａ１１を作成し、周波数画像Ａ１１をテンプレートと比較して一致するならば歩行者であると判定する。

ここで、周波数画像には、判定対象領域Ａ１０内の背景、例えば道路などの周波数成分や、服の模様などの周波数成分を含んでいるので、得られた周波数画像Ａ１１のうち、歩行者の輪郭に対応する周波数領域を選択して、もしくは重み付けなどによって優先してテンプレートと比較する。尚、より判定の効率化を図るため、画像中の道路内だけで判定するようにしても良い。

なお、周波数展開には、高速フーリエ変換やガボールウェーブレット変換などを用いることができる。

つづいて、図２を参照し、本発明の実施例である車載用の画像認識装置１０の概要構成を説明する。同図に示すように、車両に搭載された画像認識装置１０は、ナビゲーション装置３０、カメラ３１、レーダ３３およびプリクラッシュＥＣＵ４０と接続している。

ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。

カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。レーダ３３は、自車両の周辺の物体検知、および物体までの距離測定を行なって画像認識装置１０に入力する。

プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御をうけ、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御、またディスプレイ４３やスピーカ４４による通知を実行する電子制御装置である。

ディスプレイ４３はユーザすなわち自車両乗員に対して表示による通知を行なう出力手段であり、スピーカ４４は音声による通知を行なう出力手段である。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０からの制御を受けて出力を行なう他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。

画像認識装置１０は、その内部に前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８および衝突判定部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。

前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８に出力する。

車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。

歩行者認識部１８は、前処理部１１が出力した画像（入力画像）から歩行者像を認識する処理部であり、その内部に周波数展開部１８ａ、周波数選択部１８ｂ、認識処理部１８ｃを有する。

周波数展開部１８ａは、入力画像から判定対象領域を切り出して高速フーリエ変換やガボールウェーブレット変換による周波数展開を行なう。周波数選択部１８ｂは、変換の結果として得られた周波数画像から、歩行者認識に使用する領域を選択する処理を行なう。認識処理部１８ｃは、周波数画像から選択された領域とテンプレートとを比較して歩行者の存在を認識する処理を行なう。

衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果、レーダ３３による検知結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。

具体的には衝突判定部２０は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいてディスプレイ４３に対する情報表示指示、スピーカ４４に対する警告音声出力指示、ブレーキ制御指示やＥＦＩ制御指示などをプリクラッシュＥＣＵ４０に対して出力する。

つづいて、図３を参照し、図２に示した画像認識装置１０全体の処理動作について説明する。同図に示す処理フローは、電源スイッチ（イグニッションスイッチなどと連動していてもよい）がオンされ、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。

まず、画像認識装置１０は、カメラ３１が撮影した画像に対して前処理部１１によるフィルタリング、エッジ検出、輪郭抽出などの処理を施す（ステップＳ１０１）。つぎに、白線認識部１６による白線認識処理（ステップＳ１０２）および車両認識部１６による車両認識処理（ステップＳ１０３）を実行する。

その後、歩行者認識部１８が歩行者認識を実行し（ステップＳ１０４）、衝突判定部２０が衝突判定を行なって（ステップＳ１０５）、判定結果をプリクラッシュＥＣＵ４０に出力し（ステップＳ１０６）、処理を終了する。

ここで、ステップＳ１０４として示した歩行者認識処理部１８の具体的な処理内容を図４に示す。同図に示すように、歩行者認識部１８は、まず周波数変換部１８ａによって判定対象領域の切り出す（ステップＳ２０１）。具体的には、１フレーム中の消失点を求め、そこから距離（画像中の位置）に応じて、探索枠（判定対象領域）の大きさと探索間隔を決定する。例えば、画像の下方（距離が短い）では探索枠を大きく且つ間隔を広くし（４画素ごとなど）、画像の上方（距離が長い）では探索枠を小さく且つ間隔を短く（１画素ごとなど）する。

また、判定対象領域は背景画像を差分して残った特異な画像を候補領域とし、これを取り囲んだ領域を判定対象とする。そして、切り出した判定対象領域を周波数展開する（ステップＳ２０２）。尚、候補領域は道路上に存在するものだけに限定して判定効率を上げるようにしても良い。

つぎに、周波数変換の結果として得られた周波数画像から、波数選択部１８ｂが判定に使用する周波数帯を選択し（ステップＳ２０３）し、選択された周波数帯を認識処理部１８ｃがテンプレートと比較して歩行者の存在を認識する処理を行なって（ステップＳ２０４）、処理を終了する。認識にあたっては形状の一致度（％）が判定の閾値を超えたか否かで判断する。また、実際には、一枚の探索領域だけ一致度が閾値を超えたら歩行者と判定するのではなく、その周辺近傍の探索領域も含め、複数の探索領域におけるマッチング度が全て閾値を超えた場合に歩行者と判定することが好適である。

なお、周波数変換時は、設定した探索枠の大きさで変換（ＦＦＴ展開など）する。周波数変換結果を比較するときは、比較元のデータ量、つまり画素の量が多ければ多いほど、精度良く比較でき、また、自車両により近い場合は、より精度良く歩行者判定する必要があるから、自車両に近い位置にある画像ほど、探索領域枠を大きくして比較することで、近い歩行者の場合ほど、より精度良く比較することができる。

また、近い場合ほど、間隔を長くし、いち早く歩行者を検出できるようにして効率をあげる。そして、間隔を長くして歩行者を検知したら、今度は詳細にその位置周辺の探索間隔を短くして精度を上げて、歩行者であるか否かの判定（歩行者判定）を行なう。

また、例えばレーダなどでまず障害物の距離・方向を測定しておき、障害物が検出されれば、その距離・方向に走行とする画像中の位置について、探索領域を置いて、探索領域の間隔を詳細にして、認識精度を上げるようにしても良い。

つぎに、プリクラッシュＥＣＵ４０の処理動作について図５のフローチャートを参照して説明する。同図に示す処理フローは、プリクラッシュＥＣＵ４０の動作中に繰り返し実行される。

まず、プリクラッシュＥＣＵ４０は、画像認識装置１０から衝突判定結果を衝突判定情報として取得する（ステップＳ３０１）。そして、衝突の危険度が大きい場合には（ステップＳ３０２，Ｙｅｓ）、ディスプレイ４３とスピーカ４４を用いて運転者に報知する（ステップＳ３０３）とともに、ブレーキ４１およびＥＦＩ４２を制御して自車両の走行状態を制御し（ステップＳ３０４）、処理を終了する。

つぎに、周波数展開に使用する高速フーリエ変換とガボールウェーブレット変換について説明する。図６は、高速フーリエ変換について説明する説明図である。同図では、同一形状で判定対象領域内の位置が異なる歩行者像Ａ２１〜Ａ２５に対して高速フーリエ変換を行なった場合を示している。

歩行者像Ａ２１〜Ａ２５を高速フーリエ変換すると、判定対象領域内の位置の違いから生じる位相スペクトル情報と歩行者像の輝度パターンから得られる振幅スペクトル情報に分離することができるので、得られた二つの情報から振幅スペクトル情報のみを採用することで、図６に示すとおり同一の情報を有する周波数画像が得られることとなる。

したがって、判定領域内の位置が異なる同一形状のテンプレートを用意する必要が無くなり、テンプレート量を削減し、処理負荷を軽減して歩行者認識を高速化することができる。

また、同図に示したように振幅スペクトル情報からさらに歩行者の輪郭に対応する領域を判定に使用する領域として抽出することで、処理負荷のさらなる軽減と高速化を実現することができる。

歩行者の輪郭に対応する領域は、例えば図７に示したように、白線などに対応する低周波数領域と、服の模様などに対応する高周波数領域を除外することで得ることができる。なお、輪郭とは画像のエッジを示すものであり、画像中の輝度の変化量が閾値を超えると、そこにエッジがあると判定することができる。

図８は、ガボールウェーブレット変換について説明する説明である。なお、ここでは説明を簡明にするため、ガボールウェーブレット変換の結果得られる画像を波形として示している。

同図において歩行者像Ａ３０はテンプレート作成用の登録画像であり、波形Ｗ３０は登録画像をガボールウェーブレット変換して得られたマザーウェーブレットである。

これに対し、歩行者像Ａ３１および歩行者像Ａ３２は、登録画像が縦軸を中心として反螺旋回転した画像、歩行者像Ａ３３は、登録画像が横軸を中心として反螺旋回転した画像である。

歩行者像Ａ３１〜Ａ３３をそれぞれウェーブレット変換して得られた波形Ｗ３１〜Ｗ３３は、マザーウェーブレットＷ３０をスケール変換し、探索領域内でシフトしたものと等しいので、一致度が高いと判定される（すなわち、本発明では対象となる像が歩行者であると認識できる）。

上述してきたように、本実施例にかかる画像認識装置１０は、テンプレート用の画像を予め周波数展開してテンプレートとして用い、カメラが撮影した画像から切り出した判定対象領域を周波数展開してテンプレートと比較することで、テンプレート量を削減し、処理負荷を軽減して歩行者認識を高速化する。

また、歩行者の輪郭に対応する周波数領域を選択して、もしくは道路などの背景や服の模様などの個人差に対応する周波数領域を除外して判定に使用することで、処理負荷のさらなる軽減と高速化を実現する。

なお、本実施例では特定の物体として歩行者を認識する場合を例に説明を行なったが、本発明はこれに限定されるものではなく、例えば道路上の落下物など他の物体についても適用することができる。

以上のように、本発明にかかる画像認識装置、車両制御装置、画像認識方法および車両制御方法は、車両における画像認識に有用であり、特に歩行者の認識に適している。

本発明における画像認識方法について説明する説明図である。 本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。 画像認識装置１０の処理動作について説明するフローチャートである。 歩行者認識処理の具体的な処理動作について説明するフローチャートである。 プリクラッシュＥＣＵ４０の処理動作について説明するフローチャートである。 周波数展開に高速フーリエ変換を使用する場合について説明する説明図である。 歩行者の輪郭に対応する領域の抽出について説明する説明図である。 周波数展開にガボールウェーブレット変換を使用する場合について説明する説明図である。

符号の説明

１０ 画像認識装置
１０ａ マイコン
１６ 車両認識部
１７ 白線認識部
１８ 歩行者認識部
１８ａ 周波数展開部
１８ｂ 周波数選択部
１８ｃ 認識処理部
２０ 衝突判定部
３０ ナビゲーション装置
３０ａ 地図データ
３１ カメラ
３３ レーダ
４０ プリクラッシュＥＣＵ
４１ ブレーキ
４２ ＥＦＩ
４３ ディスプレイ
４４ スピーカ

Claims (10)

1. カメラが撮影した入力画像から判定対象領域を抽出する抽出手段と、
   前記判定対象領域の画像を周波数展開する周波数展開手段と、
   前記周波数展開結果から特定の周波数領域を選択的に使用した周波数解析によって前記判定対象領域における特定の物体の存在を認識する認識手段と、
   を備えたことを特徴とする画像認識装置。
2. 前記周波数展開手段は、前記判定対象領域の画像を高速フーリエ変換することを特徴とする請求項１に記載の画像認識装置。
3. 前記周波数展開手段は、前記判定対象領域の画像をガボールウェーブレット変換することを特徴とする請求項１に記載の画像認識装置。
4. 前記特定の物体は歩行者であることを特徴とする請求項１〜３のいずれか一つに記載の画像認識装置。
5. 前記認識手段は、前記歩行者の輪郭に対応する周波数を選択的に使用すること特徴とする請求項４に記載の画像認識装置。
6. 前記認識手段は、道路画像および／または車両画像を含む背景画像に特徴的な周波数成分を除外した領域を選択的に使用することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
7. 前記周波数解析は、基準画像を周波数展開した周波数展開結果との比較によって行なうことを特徴とする請求項１〜６のいずれか一つに記載の画像認識装置。
8. カメラが撮影した入力画像から判定対象領域を抽出する抽出工程と、
   前記判定対象領域の画像を周波数展開する周波数展開工程と、
   前記周波数展開結果から特定の周波数領域を選択的に使用した周波数解析によって前記判定対象領域における特定の物体の存在を認識する認識工程と、
   を含んだことを特徴とする画像認識方法。
9. カメラが撮影した入力画像から判定対象領域を抽出する抽出手段と、
   前記判定対象領域の画像を周波数展開する周波数展開手段と、
   前記周波数展開結果から特定の周波数領域を選択的に使用した周波数解析によって前記判定対象領域における特定の物体の存在を認識する認識手段と、からなる画像認識装置による認識結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、
   を備えたことを特徴とする車両制御装置。
10. カメラが撮影した入力画像から判定対象領域を抽出する抽出工程と、
    前記判定対象領域の画像を周波数展開する周波数展開工程と、
    前記周波数展開結果から特定の周波数領域を選択的に使用した周波数解析によって前記判定対象領域における特定の物体の存在を認識する認識工程と、
    前記認識工程による認識結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御工程と、
    を含んだことを特徴とする車両制御方法。

Images