JP2011221613A - 物体認識装置 - Google Patents

Abstract

【課題】 障害物を精度よく、かつ、短い処理速度で検出することを可能とした物体認識装置を提供する。
【解決手段】 画像処理装置１において、前方カメラ２で取得した画像から抽出手段１０、エッジ強調手段１１により生成した画像と統合画像データベース（ＤＢ）３に格納されている画像との間で加算手段１２によりパターンマッチングを行い、判定手段１３でその結果を判定することにより、認識対象物を認識する物体認識装置であって、統合画像ＤＢ３に格納されている画像は、認識対象の物体のモデル画像複数枚を画像サイズ、基準位置をあわせて重ね合わせることにより、モデルを統合した統合モデル画像である。
【選択図】 図１

Description

本発明は、車両に搭載され、その周辺の物体を認識する物体認識装置に関し、特に、画像処理によって取得した画像中から物体を認識する物体認識装置に関する。

車両の周囲の障害物を検出する検出装置として、例えば、特許文献１に記載されている検出装置が知られている。この検出装置は、ステレオカメラで撮影した車両周辺の画像から、走行路面を検出し、路面から所定の高さのみを障害物検出の対象領域に設定し、この対象領域内の画像に対してパターンマッチング用データと比較することにより、障害物を検出するものである。このように対象領域を限定することで、画像中の全領域から検出を行う場合に比較して処理負担が軽減され、その処理スピードが速くなるという効果があると記載されている。

特開２００９−１４００２３号公報

このようなパターンマッチング手法を用いて車両周辺の障害物を検出する場合、障害物がカメラに対して同じ向きに向いているとは限らない。そのため、対象となる障害物（例えば、車両）の向きに応じたパターンマッチング用データ（参照データ）を用意して、それらとパターンマッチングを行う必要がある。認識精度を向上させようとすると、同じ障害物に対して向きの異なる多数の参照データを用意して、それらとパターンマッチングを行う必要があるので、処理負担が増大して、処理スピードが低下してしまうという問題が生じる。

そこで本発明は、障害物を精度よく、かつ、短い処理速度で検出することを可能とした物体認識装置を提供することを課題とする。

上記課題を解決するため、本発明に係る物体認識装置は、車両に搭載され、自車両周辺の画像を取得する撮像手段と、認識対象の物体のモデル画像複数枚を画像サイズ、基準位置をあわせて重ね合わせることにより、モデルを統合した統合モデル画像を記憶する統合モデル記憶手段と、撮像手段により撮像された画像と統合モデル画像との間でパターンマッチングを行うパターンマッチング手段と、パターンマッチング手段の実行結果に基づいて取得した画像中における物体を認識する認識手段と、を備えることを特徴とする。

この統合モデル画像は、各モデル画像の基準位置をあわせて、各画像を構成する線分の傾き、切片を保ったまま重ね合わせて形成されているとよい。さらに、統合モデル画像は、重ね合わせたモデル画像中の線分対間で傾き、切片が一定値以上近い線分を除去しているとよい。複数枚のモデル画像は、認識対象の物体について異なる向きから撮像した画像であるとよい。

本発明に係る物体認識装置によれば、撮像手段で取得した画像と、個々のモデル画像との間でパターンマッチングを行うのではなく、複数のモデル画像を重ね合わせて形成した統合モデル画像との間でパターンマッチングを行うことにより、少ない回数のパターンマッチングで参照データとの比較を行うことができるので、処理負担の軽減による処理スピードの向上効果が得られる。また、多数のモデル画像との比較を行うことができるので、認識精度も向上する。

統合モデル画像が各画像を構成する線分の傾き、切片を保ったまま重ね合わせて形成されていると、各画像の特徴を保持したまま、有効な統合モデル画像を形成することが容易である。傾き、切片が一定値以上近い線分を除去することで、対比する部位を減らして、処理時間をさらに短縮することができる。異なる向きから撮像した画像をモデル画像として使用することで、向きが異なる対象物についても認識が可能となる。

本発明に係る物体認識装置の実施形態を示すブロック構成図である。 図１の装置で用いられる統合モデル画像の生成方法を示すフローチャートである。 図２のフローで用いられるモデル画像例を示す。 図１の装置による物体認識動作を示すフローチャートである。 図４のフローにおける読み込み画像例を示す。 図４のフローにおけるエッジ強度画像例を示す。 図４のフローにおける判定結果例を示す。 図１の装置で用いられる統合モデル画像の生成方法の別の方法を示すフローチャートである。 図１の装置による物体認識動作の別の例を示すフローチャートである。 図１の装置で用いられる統合モデル画像の生成方法のさらに別の方法を示すフローチャートである。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る物体認識装置の実施形態を示すブロック構成図である。この装置は、ＣＰＵ、ＲＯＭ、ＲＡＭその他の記憶装置やインタフェースを備えた画像処理装置１を中心に構成される。この画像処理装置１には、車両の前部または車室内前方に配置され、車両前方の画像を取得する撮像手段である前方カメラ２と、パターンマッチング用の後述する統合画像を記憶している統合モデル記憶手段である統合画像データベース（ＤＢ）３が接続されているほか、車内ＬＡＮ４を通じて、車内の他のＥＣＵ（Electric Control Unit）と通信を行う。

画像処理装置１は、前方カメラ２で取得した画像中から認識対象エリアの画像を抽出する抽出手段１０と、抽出した画像中の輪郭線であるエッジを強調するエッジ強調手段１１と、エッジ強調画像と統合画像との間で加算処理によりパターンマッチングを行う加算手段１２と、加算結果に基づいて物体の存否の判定を行うことで、物体の認識を行う判定手段１３とを備えている。各手段１０〜１３は、別々のハードウェアとして構成されていてもよいが、ハードウェアの一部または全部を共有していてもよく、その場合にソフトウェアの一部を共有していてもよく、他のソフトウェアの一部として構成されていてもよい。

ここで、統合画像ＤＢ３に格納されるパターンマッチング用の統合画像について説明する。図２は、この統合モデル画像の生成方法の一例を示すフローチャートである。この生成は、本物体認識装置とは別のハードウェアにより行われ、生成された統合モデル画像が予め統合画像ＤＢ３に格納されている。ここでは、認識対象物が車両である場合の統合モデル画像を例に説明する。

最初に向きの異なる複数枚の車モデルが読み込まれる（ステップＳ１）。図３（ａ）〜（ｃ）は、この車モデル画像の例示である。各車モデル画像は、輪郭線の特徴部分を強調した線分の組み合わせからなる。次に、統合モデル画像の画像サイズを決定する（ステップＳ２）。これは、読み出した車モデル画像の全てが入る大きさの画像サイズ、つまり、縦サイズは、縦サイズが最大の車モデル画像の縦サイズに、横サイズは、横サイズが最大の車モデル画像の横サイズに一致させることで設定される。各車モデル画像は、基準位置、例えば輪郭領域を含む最小の矩形の左上端位置、を画像の左上端位置から縦横とも所定画素離れた共通の位置に配置し、当該矩形の周囲の余白領域を共通化したサイズに設定されているとよい。

次に、統合モデル画像の基準位置に各車モデル画像の基準位置をあわせて各モデル画像を重ね合わせていくことでモデル画像を統合する（ステップＳ４〜Ｓ６）。これにより、各モデル画像を構成する線分は、その位置、傾き、切片が維持された状態で、重ね合わせが行われる。読み込んだ全てのモデル画像について統合処理が完了したら、生成された統合画像を出力して処理を終了する（ステップＳ１１）。

こうして形成された統合モデル画像を用いた本物体認識装置による物体認識を図４に示されるフローチャートを参照して説明する。この動作は、画像処理装置１により、本物体認識装置の動作中、所定のタイミングで繰り返し実行される。

最初に、前方カメラ２から画像処理装置１に車両画像が読み込まれる（ステップＳ２１）。ここで、前方カメラ２自体が取得した画像をデジタル画像へと変換する機能を備えていてもよいし、画像処理装置１が前方カメラ２で取得した画像をＡＤ変換によりデジタル画像へと変換してもよい。図５は、この読み込み画像の一例を示している。

抽出手段１０は、統合モデル画像のデータサイズに合わせた画像サイズを画像サイズ領域に決定し、決定したサイズの領域を読み出した車両画像から抽出する（ステップＳ２２）。このとき、統合モデル画像の基準位置と、読み出した車両画像の基準位置が一致するように抽出を行う。

エッジ強調手段１１は、抽出した領域画像の輪郭線を強調したエッジ強度画像を生成する（ステップＳ２３）。図６は、こうして生成されるエッジ強度画像の一例を示している。加算手段１２は、このエッジ強度画像と統合モデル画像との加算処理によるパターンマッチングを行う（ステップＳ２４）。これは、基準位置を重ね合わせて、画素ごとに輝度を加算することにより行う。これにより、エッジ強度画像と統合モデル画像とで一致している線分部分の輝度は、不一致の部分に比べて高い輝度値を有することになる。図７は加算処理結果の一例である。ここでは、モノクロ表示中においてその理解を容易にするため、統合モデル画像とエッジ強度画像とで一致している輝度値の高い領域を車両中の黒い線で示している。

判定手段１３は、得られた加算結果をしきい値と比較する（ステップＳ２５）。上述したように、エッジ強度画像と統合モデル画像とで一致する画素の輝度値は高くなることから、輝度値がしきい値を上回る画素が所定以上存在する場合には、統合モデル画像を構成する線分にエッジ強度画像が一致するとして、ステップＳ２６へと移行し、車両ありと判定する。一方、輝度値がしきい値を上回る画素が所定未満しか存在しない場合には、統合モデル画像を構成する線分にエッジ強度画像は一致しないとして、ステップＳ２７へと移行し、車両なしと判定する。

このように、異なる向きの画像を重ね合わせて形成した統合モデル画像と撮影画像とでパターンマッチングを実行することにより、一度のパターンマッチングで車両の向きが異なる場合でも車両を認識することが可能となるので、パターンマッチングの処理負担が軽減され、処理スピードも向上させることができる。この結果、認識結果を用いた各種の制御、例えば、障害物に対する警報や、衝突回避制御といった制御の精度向上も図れる。

本発明において用いる統合モデル画像は、図２のフローチャートにより生成される統合モデル画像に限られるものではない。これとは異なる種類の統合モデル画像の作成手法を図８のフローチャートを参照して説明する。

このフローチャートに基づいて作成される統合モデル画像は、図２のフローチャートに基づいて作成される統合モデル画像と異なり、複数枚のレイヤーから構成されており、各レイヤーに個別の識別子ＩＤを有する車両の車モデル画像が収録されている。

ステップＳ１、Ｓ２の処理は、図２のフローチャートに示される処理と同一である。次に、各レイヤーについてモデル画像の生成を実行する（ステップＳ３〜Ｓ７）。この処理は、図２のフローチャートに示されるステップＳ４〜Ｓ６の処理と共通するステップＳ４、Ｓ５’、Ｓ６のループ処理を実行した後、当該レイヤーについて全てのモデル画像の統合処理が完了したら、生成された当該レイヤーの統合画像を出力し（ステップＳ１１）、これをレイヤー全ての処理が完了するまで繰り返し実行するものである。

図９は、こうして得られた統合モデル画像を利用した本物体認識装置による物体認識処理を示すフローチャートである。この処理は、図４に示される処理とほぼ共通しており、図４に示されるステップＳ２４〜Ｓ２６の処理を、レイヤーを対象に行う点が相違する。具体的には、エッジ強度画像と統合画像の各レイヤーとをそれぞれ加算処理し（ステップＳ２４ａ）、加算結果の判定は、いずれかのレイヤーでしきい値を超えるか否かを判定し（ステップＳ２５ａ）、しきい値を超えるレイヤーがある場合には、加算結果の最も大きなレイヤー（一致度が高いと思われるレイヤー）に該当する種別の車両が存在すると判定する（ステップＳ２６ａ）。

本実施形態によれば、統合モデル画像にレイヤー構造を採用することで、複数の認識対象候補とのパターンマッチングを１回で行うことができるので、処理速度が向上し、認識結果を用いた各種の制御、例えば、障害物に対する警報や、衝突回避制御といった制御の精度向上も図れる。

図１０は、統合モデル画像の別の作成手法を示すフローチャートである。このフローチャートに基づいて作成される統合モデル画像は、図８に示されるフローチャートで作成される統合モデル画像と同じく複数枚のレイヤーから構成される。

ステップＳ１〜Ｓ７の処理は、図８のフローチャートに示される処理と同一である。次に、各レイヤーの統合モデル画像について共通線分を除去する処理を行う（ステップＳ８〜Ｓ１２）。具体的には、レイヤー画像中から他レイヤーとの線分対の間で位置、傾きが一定値以上近い線分である共通線分を除去し（ステップＳ９）、除去した画像中に一定以上の数、長さの線分が存在する場合には、除去した画像で除去前の画像を置き換え、除去した画像中に一定以上のの数、長さの線分が存在しない場合には、除去前の画像を削除する置き換え（ステップＳ１０）、出力する（ステップＳ１１）。

こうして得られる統合モデル画像の各レイヤー画像は、他のレイヤーと相違する線分のみで構成されるので、その特徴部分が明らかであり、パターンマッチングの精度向上と、統合モデル画像のサイズ縮小、最適化を行うことができる。

以上の説明では、認識対象物が車両の場合を例に説明してきたが、認識対象物には、車両以外の物体や人が含まれていてもよい。例えば、歩行者や人の乗った自転車、道路周辺の配置物等を対象に含んでもよい。

１…画像処理装置、２…前方カメラ、３…統合画像ＤＢ、４…車内ＬＡＮ、１０…抽出手段、１１…エッジ強調手段、１２…加算手段、１３…判定手段。

Claims (4)

1. 車両に搭載され、自車両周辺の画像を取得する撮像手段と、
   認識対象の物体のモデル画像複数枚を画像サイズ、基準位置をあわせて重ね合わせることにより、モデルを統合した統合モデル画像を記憶する統合モデル記憶手段と、
   前記撮像手段により撮像された画像と前記統合モデル画像との間でパターンマッチングを行うパターンマッチング手段と、
   前記パターンマッチング手段の実行結果に基づいて取得した画像中における物体を認識する認識手段と、
   を備える物体認識装置。
2. 前記統合モデル画像は、各モデル画像の基準位置をあわせて、各画像を構成する線分の傾き、切片を保ったまま重ね合わせて形成されている請求項１記載の物体認識装置。
3. 前記統合モデル画像は、重ね合わせたモデル画像中の線分対間で傾き、切片が一定値以上近い線分を除去している請求項２記載の物体認識装置。
4. 前記複数枚のモデル画像は、認識対象の物体について異なる向きから撮像した画像である請求項１〜３のいずれかに記載の物体認識装置。