JP2007249841A - 画像認識装置 - Google Patents

Abstract

【課題】 自転車や二輪車およびそれらの乗員と歩行者との判別精度を向上させた画像認識装置を提供する。
【解決手段】 カメラで取得した画像Ｉｍ（ｔ_１）（ステップＳ１）と過去画像Ｉｍ（ｔ_２）（ステップＳ３）から、オプティカルフローを算出する等して対象物の移動速度を求める（ステップＳ７〜Ｓ２３）。求めた対象物の移動速度に応じて認識辞書を設定し（ステップＳ２５）、設定した認識辞書を用いてパターンマッチングを行うことで物体認識を行う（ステップＳ２７）。このため、速度領域の異なる対象物と誤認識するケースを効果的に抑制できる。
【選択図】 図２

Description

本発明は、画像認識装置に関し、特にパターン認識によって被写体を識別する画像認識装置に関する。

車両に搭載されたカメラで道路状況を撮影し、取得した画像情報から画面内の歩行者等を検出して運転者に知らせるシステムが知られている（例えば、特許文献１参照）。特許文献１には、赤外線画像と可視光画像とを取得し、可視光画像から道路領域を特定するとともに、道路領域内の赤外線画像から道路領域内の動体物（歩行者等）をテンプレートマッチング等により検出する技術が記載されている。
特開２００２−９９９９７号公報

この技術では、赤外線カメラの画像から歩行者と思われる動体領域を切り出し、テンプレートマッチングの手法によって歩行者の検出を行っている。しかしながら、この手法では、自転車や二輪車に乗っている人物についても自転車や二輪車とは別に乗員の領域のみが動体領域として切り出され、歩行者候補として取り扱われる等歩行者と区別することができない。この結果、テンプレートマッチングの処理時間も増大し、また、歩行者でないこれらの乗員を歩行者と誤認識するおそれがある。

そこで本発明は、自転車や二輪車およびそれらの乗員と歩行者との判別精度を向上させた画像認識装置を提供することを課題とする。

上記課題を解決するため、本発明にかかる画像認識装置は、画像内の被写体を認識する画像認識装置において、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、被写体の移動速度を検出する移動速度検出手段と、この移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、を備えていることを特徴とする。

本発明によれば、被写体の移動速度に応じて適切な辞書、つまり、テンプレートのセットをテンプレートマッチングにおいて使用する。ここで、これらのテンプレートは被写体の種別に応じた辞書に格納されており、辞書選択手段は、被写体の移動速度に基づいて利用する辞書を切り替えるか、被写体の移動速度に基づいて利用する辞書の組み合わせおよびそれらの優先順位を切り替えるとよい。使用する辞書を切り替えたり、優先順位を変更することで、マッチングを行うテンプレートの数を効果的に削減する。

移動速度検出手段は、撮像時刻が既知の複数の時系列画像を用いて被写体の移動速度を算出するとよい。例えば、オプティカルフローを算出して、画像内での移動距離と、被写体とカメラとの距離から被写体の実際の移動速度を算出するとよい。

本発明によれば、被写体の移動速度に応じて適切なテンプレート辞書を用いるため、移動速度が異なる種別の被写体、例えば、走行中の自転車や二輪車の乗員を歩行者と認識する誤認識を低減できる。このため、認識結果を用いた警報や挙動制御の信頼性が向上するとともに、安全性も向上する。

このとき、テンプレート辞書を複数用意して、それぞれを切り替えて使用する手法も有効であるが、複数の辞書を組み合わせてその優先順位を変更するようにすると、個々のテンプレート辞書のサイズを小さくすることができるとともに、早期にパターンが一致する確率が高まるため、識別を高速化できる利点がある。

さらに、移動速度を時系列画像から算出することで、対象物の移動速度を判定するために別の手段（例えば、レーダ装置等）を用いる必要がなくなり、システムを簡素化することができる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明にかかる画像認識装置の構成を示すブロック図である。ここでは、取得した画像から歩行者等を認識し、運転者に報知する警報システムに採用した例を説明する。カメラ１は、車両前方の周辺画像を連続的に取得するカメラであり、例えば、車室内前方のルームミラーの前等に配置され、テレビフレームレートで動画像を取得するカメラが用いられる。警報ＥＣＵ２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、画像認識部２０と判定部２１とを備えている。画像認識部２０と判定部２１とは、異なるハードウェアによって実現されていてもよいが、一部または全てのハードウェアを共有し、ソフトウェアによって実現されていてもよい。この場合、ソフトウェアは完全に独立した構成でもよいが、一部のプログラムを共有していてもよく、共有されるプログラム内で明確に区分されていなくてもよい。

警報ＥＣＵ２には、出力装置である警報装置４と、記憶装置３が接続されている。警報装置４としては、計器パネル内の表示装置やナビゲーション装置等と共有されるディスプレイのように視覚的に警報を行う装置のほか、音声により警報を行うベル、ビープ装置、スピーカーのほか、運転者の着座するシートを揺動する手段等のいずれかまたはそれらの組み合わせを用いることができる。記憶装置３は、テンプレートマッチングのための辞書を格納するものであり、読み書き可能な記録媒体を用いた記録装置、例えば、ハードディスク装置やフラッシュメモリ等を用いるとよい。なお、辞書データの一部を読み出し専用の記憶媒体に記録し、これと分けて学習結果等を読み書き可能な記録媒体に記録するようにしてもよい。また、記憶装置３は、カメラ画像やその処理結果を格納するために用いることができる。

次に、この実施形態の動作を具体的に説明する。図２は、この装置における画像認識処理を示すフローチャートである。この処理は、画像認識部２０において、図示していない警報システムのスイッチがオンで、かつ、車両の電源がオンにされている間、所定のタイミングで繰り返し実行される。このタイミングは、カメラ１のフレームレートに同期してその各コマごとに行われるか、あるいは、所定のコマおきに実行されるとよい。

まず、カメラ１で取得したカメラ画像Ｉｍ（ｔ_１）が読み込まれる（ステップＳ１）。以下、ｔ_１は現在時刻を表すものとする。次に、カメラ１で取得した過去画像Ｉｍ（ｔ_２）を読み込む（ステップＳ３）。これは画像認識部２０内の一時記憶領域に格納されている。図３は、入力画像（動画）例を説明する図である。例えば、ｔ_２は、現在時刻ｔ_１から画像処理のタイムステップΔｔだけさかのぼった時点である。ステップＳ５では、現在時刻の画像Ｉｍ（ｔ_１）が一時記憶領域に格納される。格納された画像Ｉｍ（ｔ_１）は、次のタイムステップにおいてステップＳ３で読み込まれることになる。

次に、時系列の異なるこれら二つの画像からオプティカルフローを算出する（ステップＳ７）。このオプティカルフローの算出手法は各種の公知の手法を採用することができる。ここでは、勾配法を用いた算出手法について述べる。

画像中の画素点（ｘ，ｙ）の時刻ｔにおける輝度をＥ（ｘ，ｙ，ｔ）とする。この画素点のオプティカルフローベクトルのｘ成分、ｙ成分をそれぞれｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）とすると、十分に小さい時間間隔Δｔ後の点（ｘ＋ｕΔｔ，ｙ＋ｖΔｔ）の輝度はＥ（ｘ，ｙ，ｔ）と等しくなる。すなわち、

が成り立つ。輝度Ｅがｘ、ｙ、ｔに関して滑らかに変化するとすれば、上記（１）式の左辺はテーラー級数に展開でき、ｄｘ／ｄｔ＝ｕ、ｄｙ／ｄｔ＝ｖが成立する。この関係から（１）式を成立すると、以下の（２）式で表させるオプティカルフロー拘束方程式が成立する。

ここで、Ｅｘ、Ｅｙ、Ｅｔは、それぞれｘ、ｙ方向の空間微分値および時間微分値であり、時系列画像から計算される。拘束方程式は、１画素につき、１つの方程式しか得られないため、フローベクトルを一意に算出することはできない。そこで、「ある注目画素の近傍では、動きは滑らかである」という条件を加え、注目画素近傍の拘束方程式から最小自乗法により解を求め、オプティカルフローとする。

図４は、こうして求めたオプティカルフローベクトルを矢印でカメラ画像に重ね合わせて示したイメージ図である。図は、停車中の画像から算出した場合を示しているが、車両走行中は、車速センサ等から得られた自車両の移動量（移動ベクトル）を差し引くことで、静止座標系に対するフローベクトルを算出するとよい。

オプティカルフローベクトルを算出したら、画像Ｉｍ（ｔ_１）中から移動物体を抽出する（ステップＳ９）。具体的には、オプティカルフローベクトルに着目することで、抽出処理を行う。ここでは、例として画像中から横方向へ移動する物体を抽出する場合を例に説明する。ある画素点のオプティカルフローベクトル成分を上述と同様に（ｕ，ｖ）とすると、｜ｕ｜＞０、かつ、ｖ≒０であれば、当該物体は画像内のＸ軸方向、つまり、横方向に移動したものとみなせる。画像全体を検索してこの関係を満たす点（画素）を抽出することで横方向へ移動する物体を抽出することができる。また、ベクトル成分（ｕ，ｖ）からフローの向き（勾配）として、θ＝ｔａｎ^−１（ｖ／ｕ）を求め、このθが所定範囲内（例えば、±１５°以内）であれば横方向に移動する物体とみなしてもよい。フローベクトルの方向を勘案することで、任意の方向へと移動する物体を抽出することができる。

次に、移動体の領域推定を行う（ステップＳ１１）。例えば、図５に示されるように歩行者が車両の進路となる道路上を画面の左から右へと横断中であるとする。ここで、歩行者の画像Ｓ_１を構成する各画素点は、ほぼ同一の大きさ、向きのフローベクトルを有し、連続していると考えられるから、フローベクトルの大きさ、向きがほぼ同一であって連続している画素点を抽出し、これを取り囲む最小の矩形領域Ｒ_１を移動体領域として設定する。移動物体によっては複雑な形状を有するが、矩形領域として取り扱うことで、その後の処理が容易になる。推定した移動体領域の情報は一時記憶領域に格納される（ステップＳ１３）。この情報としては、移動体領域の左上隅と右下隅の各画素の座標位置を用いればよい。図６に示される例では、歩行者Ｓ_１と、先行車両Ｓ_２の画像から、それぞれ領域Ｒ_１、Ｒ_２を抽出する。

次に、推定した矩形領域Ｒ_１、Ｒ_２等の代表点として、左下隅の点Ｎ_１（ｘ_１，ｙ_１）、Ｎ_２（ｘ_２，ｙ_２）を決定し、当該点におけるフローベクトル（ｕ，ｖ）を代表量とする（ステップＳ１５）。なお、代表量は代表点におけるフローベクトルを用いるほか、当該矩形領域内におけるフローベクトルの平均値や中央値、最頻値等を用いてもよい。なお統計的な処理を行う場合には、当該矩形領域内においてフローベクトルの大きさが略０の画素については処理から除外することが好ましい。代表点、代表量を定めたら、その位置、代表量を一時記憶領域に格納して記憶する（ステップＳ１７）。

次に、カメラ１と対象物間の距離を求める（ステップＳ１９）。ここでは、図７を参照して説明する。カメラ１の縦方向の解像度をＴ、視野角をθとすると、１画素あたりの視野角変化量Δθは、θ／Ｔで表せる。対象物の代表点の座標をＡ（ｉ，ｊ）とし、Ａとカメラ中心Ｏとを結んだ線Ｌｔと視野範囲下端線Ｌｄとのなす角度をαとすると、α＝ｊ×Δθであり、また、カメラ中心Ｏから降ろした垂線と視野範囲下端線Ｌｄとのなす角度をβとし、カメラ設置角度、つまり、カメラの視野中心線Ｃとカメラ中心Ｏから降ろした垂線とのなす角度をρとすると、β＝ρ−１／２×θが成り立つ。カメラ１の設置高さをＨとするとき、以上の関係からカメラ１から対象物の代表点Ａまでの距離Ｌは、Ｌ＝Ｈ×ｔａｎ（α＋β）で表せる。

次に、対象物の微小時間Δｔ（タイムステップ）における移動距離を算出する（ステップＳ２１）。ここでは、図８において、前回のタイムステップにおいて点Ｐ（ｉ１，ｊ１１）に存在した物体が点Ｑ（ｉ２，ｊ２）へと移動した場合に量転換の距離を求める場合を例に説明する。カメラの横方向の解像度をＷ、視野角度をφとすると、１画素あたりの視野角変化量Δφは、φ／Ｗで表せる。カメラ中心Ｏから点Ｐ、点Ｑのそれぞれへと結んだ２直線のなす角をγとすると、γ＝Δφ×（ｉ２−ｉ１）となる。今、カメラ視野中心線Ｃが線分ＰＱの垂直２等分線であるとすると、対象物が微小時間Δｔに移動した距離Ｋは、線分ＰＱの長さに等しく、また、点ＯからＣｘまでの距離をＬとすると、Ｌは、ステップＳ１９で算出済みであるから、Ｋ＝２×Ｌｔａｎ（１／２γ）により算出できる。同様の考え方によって横方向のみならず、任意の方向への移動距離についても算出することができる。求めた移動距離ＫをタイムステップΔｔで除算して実際の移動速度Ｖ（＝Ｋ／Δｔ）を算出する（ステップＳ２３）。

次に、対象物の速度Ｖを基にして認識用のパターン辞書を設定する（ステップＳ２５）。例えば、図９に示されるように、速度ＶがＴＨ１以下の場合には、歩行者のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ２を越え、ＴＨ３以下の場合には、自転車（乗員含む）のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ４を越える場合には、自動車（二輪車およびその乗員を含む）のテンプレート画像を記録した辞書を用いる。そして、速度ＶがＴＨ１を越え、ＴＨ２以下の場合には、歩行者と自転車の両方のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ３を越え、ＴＨ４以下の場合には、自転車と二輪車の両方のテンプレート画像を記録した辞書を用いるとよい。

あるいは、パターン辞書として歩行者、自転車、自動車（二輪車を含む）のテンプレート画像をそれぞれ記録した３種類の辞書（以下、辞書Ａ〜Ｃと称する。）を用意しておき、速度によって辞書の組み合わせと優先順位を切り替えてもよい。例えば、速度ＶがＴＨ以下の場合には、辞書Ａを最優先辞書とし、次の優先辞書として辞書Ｂを、最も優先度の低い辞書として辞書Ｃを使用する。速度ＶがＴＨ２を越え、ＴＨ４以下の場合には、辞書Ｂを最優先辞書とし、優先度の低い辞書として辞書Ｃを用いる。この場合、辞書Ａは使用しない。そして、速度ＶがＴＨ４を越える場合には、辞書Ｃのみを用い、辞書Ａ、辞書Ｂは使用しない。

優先度の用い方としては、優先順位の高い辞書からパターン認識を行い、相関度がしきい値以上の場合には、他のパターンのマッチングを行わない手法のほか、優先順位に応じて重みづけ係数を設定し、相関度にこの重みづけ係数を乗じた値を相関係数としてマッチングを行うようにしてもよい。

辞書を設定したら、設定した辞書に基づいてパターン認識を行うことで、物体の認識を行う（ステップＳ２７）。本実施形態においては、対象物の速度情報を基にして、それぞれ適切な辞書を選択しているので、歩行者に比べて移動速度の速い自転車や二輪車の乗員を歩行者と誤認識するケースを減らすことができ、判別精度が向上する。特に、辞書の組み合わせパターン、優先度を切り替える手法によれば、歩行者並の低速で移動中の自転車や二輪車についても精度よく判別することが可能である。一方、低速の場合には歩行者辞書のみを用いる手法では、比較的高速で移動中の二輪車の乗員を歩行者と誤認識するケースを確実に抑制できる。低速領域においては、歩行者並の低速で移動中の自転車や二輪車の乗員を歩行者と誤認識する可能性はあるが、これらの場合には、自転車や二輪車も、歩行者と同様の挙動を示す可能性が高いことから、同様に取り扱っても大きな支障は生じないと考えられる。

認識後、その結果を出力して（ステップＳ２９）、処理を終了する。例えば、図１０に示されるように、対象物（歩行者、自転車、自動車）等との距離に応じて表示装置を点灯させたり、スピーカーから音声により移動体の存在を知らせる等すればよい。また、図示していない車両挙動制御装置に通知し、障害物回避やプリクラッシュ制御等を行ってもよい。

以上の説明では、一台のカメラにより取得した時系列画像から、画像処理により物体の種別、速度、距離等を判別する手法を説明したが、対象物の速度や距離は、ステレオカメラを用いて取得したり、あるいは、レーダ装置等により取得してもよい。そのほか、各種の変形を行うことが可能である。

本発明にかかる画像認識装置の構成を示すブロック図である。 図１の装置における画像認識処理を示すフローチャートである。 画像認識処理の入力画像（動画）例を説明する図である。 オプティカルフローベクトルのイメージ図である。 移動物体の抽出処理を説明する図である。 抽出した移動体領域を説明する図である。 カメラと対象物の距離算出手法を説明する図である。 対象物の移動速度算出手法を説明する図である。 対象物速度による辞書切り替え基準を説明する図である。 警報の表示例を示している。

符号の説明

１…カメラ、２…警報ＥＣＵ、３…記憶装置、４…警報装置、２０…画像認識部、２１…判定部。

Claims (4)

1. 画像内の被写体を認識する画像認識装置において、
   画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、
   被写体の移動速度を検出する移動速度検出手段と、
   前記移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から前記認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、
   を備えていることを特徴とする画像認識装置。
2. 前記テンプレートは被写体の種別に応じた辞書に格納されており、前記辞書選択手段は、被写体の移動速度に基づいて利用する辞書を切り替えることを特徴とする請求項１記載の画像認識装置。
3. 前記テンプレートは被写体の種別に応じた辞書に格納されており、前記辞書選択手段は、被写体の移動速度に基づいて利用する辞書の組み合わせおよびそれらの優先順位を切り替えることを特徴とする請求項１記載の画像認識装置。
4. 前記移動速度検出手段は、撮像時刻が既知の複数の時系列画像を用いて被写体の移動速度を算出することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
   

Images