JP2011216012A - 画像認識装置 - Google Patents

Abstract

【課題】撮像画像から車両を高精度に認識する画像認識装置を提供することを課題とする。
【解決手段】撮像画像から車両を認識する画像認識装置であって、画素毎に特徴量が登録されている車両モデルを記憶する記憶手段と、撮像画像から車両モデルと同一サイズの画像領域を抽出する画像領域抽出手段１１と、画像領域と車両モデルとの間で対応する画素毎に特徴量に基づいて対応する画素が一致するか否かを判定する画素一致判定手段１２と、一致すると判定された合致画素からなる合致画像を生成する合致画像生成手段１３と、合致画像上に所定サイズを有しかつ領域内の合致画素の割合が閾値以上の合致領域を設定する合致領域設定手段１４と、合致領域の分布状態に基づいて画像領域が車両を含むか否かを判定する車両判定手段１５を備えることを特徴とする。
【選択図】図２

Description

本発明は、撮像画像から車両を認識する画像認識装置に関する。

近年、衝突防止装置、車間制御装置などの運転支援装置が開発されている。これら運転支援装置では、他車両を高精度に認識することが重要となる。特許文献１に記載する装置では、入力画像の部分領域を処理対象領域として設定し、この設定では処理対象領域の設定位置や大きさを変えながら１つの入力画像に対して複数回設定する。そして、この装置では、処理対象領域毎に、処理対象領域内の各探索範囲における特徴値と車両を構成する部分要素毎の特徴値とを照合し、各部分要素について照合値が閾値以上となる部分要素候補位置を探索し、部分要素候補位置の全ての組み合わせに対して照合値と位置に関する条件判定を行い、処理対象領域に車両が存在するか否かを判定する。部分要素については必須要素か否かの情報を含んでおり、処理対象領域内に必須要素である部分要素についての部分要素候補位置が得られたなった場合には車両が存在しないと判定し、誤判定を防止している。

特開２００３−９９７８９号公報 特開２００３−１２３１９７号公報 特開平１０−１０５６４９号公報 特開平８−１３６２３５号公報

上記の装置では、部分要素候補位置を探索するために部分要素毎に予め定められた探索範囲を設定しているので、その固定の探索範囲内でしか部分要素候補位置を探索できず、部分要素候補位置を探索できない虞がある。また、予め決められた複数の部分要素に対する部分要素候補位置の位置関係などで車両か否かを判定しているので、その部分要素（特に、必須要素）を１つでも探索できなかった場合には車両なしと判定される。

そこで、本発明は、撮像画像から車両を高精度に認識する画像認識装置を提供することを課題とする。

本発明に係る画像認識装置は、撮像画像から車両を認識する画像認識装置であって、画素毎に特徴量が登録されている車両モデルを記憶する記憶手段と、撮像画像から車両モデルと同一サイズの画像領域を抽出する画像領域抽出手段と、画像領域抽出手段で抽出した画像領域と車両モデルとの間で対応する画素毎に特徴量に基づいて対応する画素が一致するか否かを判定する画素一致判定手段と、画素一致判定手段で一致すると判定された合致画素からなる合致画像を生成する合致画像生成手段と、合致画像生成手段で生成した合致画像上に所定サイズを有しかつ領域内の合致画素の割合が閾値以上の合致領域を設定する合致領域設定手段と、合致領域設定手段で設定した合致領域の分布状態に基づいて画像領域抽出手段で抽出した画像領域が車両を含むか否かを判定する車両判定手段を備えることを特徴とする。

この画像認識装置では、記憶手段に車両モデルを予め記憶されおり、車両モデルには画素毎に画像上の特徴量が登録されている。画像認識装置では、画像領域抽出手段によって、撮像画像から車両モデルと同一サイズの画像領域を順次抽出する。そして、画像認識装置では、画素一致判定手段によって画像領域と車両モデルとの間で対応する画素の特徴量を比較して対応する画素が一致（完全に一致している以外にも、誤差を考慮してほぼ一致していることも含む）しているか否かを判定し、合致画像生成手段によって一致していると判定された画素（合致画素）からなる合致画像を生成する。さらに、画像認識装置では、合致領域設定手段によって、合致画像上で所定サイズを有しかつ領域内の合致画素の割合が閾値以上の合致領域を設定する。合致領域は、撮像画像から抽出された画像領域において車両モデルと同じ位置で合致（あるいはほぼ合致）する領域（車両の画像上の特徴と同じ特徴を持つ領域）である。画像領域が車両を含む場合、複数の合致領域が設定され、その複数の合致領域が車両の特徴のある各部分（車両モデルの特徴量が登録されている各領域）の位置に応じて分散される。そこで、画像認識装置では、車両判定手段によって、設定された合致領域の分布状態に基づいて画像領域が車両を含むか否かを判定する。このように、画像認識装置では、車両モデルと同じ位置で特徴量が一致している合致画素の割合が高い合致領域を画像領域内に設定し、複数の合致領域の分布状態から車両を判定することにより、画像上の特徴が車両モデルと同じ位置で合致していれば画像領域内の任意の位置に車両判定するための合致領域を設定でき、車両を高精度に認識することができる。つまり、車両の各部分の画像上の特徴があるか否かを判断するための領域を予め決められた位置に設定するのではなく、合致画素の分布状態に応じて画像領域内に矩形領域を自由に設定できるので、そのような位置が予め決められた領域の設定が悪いために車両を認識できないようなことを防止できる。

本発明の上記画像認識装置では、合致領域設定手段は、他の合致領域と重ならない合致領域を設定すると好適である。

この画像認識装置では、合致領域設定手段によって、領域内の合致画素の割合が閾値以上の合致領域を他の合致領域とは重ならないように設定する。このように、画像認識装置では、複数の合致領域を重ならないようにそれぞれ設定することにより、車両の各部分の画像上の特徴を含む合致領域を別々に設定でき、車両をより高精度に認識することができる。例えば、複数の合致領域を重なり合うように設定した場合、車両のある部分の画像上の特徴を含む合致領域が複数設定され、１つの部分に対する画像上の特徴にもかかわらず、その複数の合致領域によって車両と判定され易くなる。合致領域を重ならないように設定することにより、このようなことを防止できる。

本発明は、車両モデルと同じ位置で特徴量が一致している合致画素の割合が高い合致領域を画像領域内に設定し、複数の合致領域の分布状態から車両を判定することにより、車両を高精度に認識することができる。

本実施の形態に係る車両認識装置の構成図である。 図１の画像処理装置のブロック図である。 車両モデル画像の一例である。 図２の一致判定部での一致判定方法の説明図である。 合致画像の一例である。 矩形領域の分布状態の一例である。 図１の画像処理装置における処理の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る画像認識装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る画像認識装置を、車両に搭載される車両認識装置に適用する。本実施の形態に係る車両認識装置は、カメラで撮像した撮像画像内の画像領域と車両を認識するための車両モデルとの類似度に基づいて画像領域が車両を含むか否かを判定する車両認識を行い、その認識結果を衝突防止装置、ＡＣＣ[Adaptive Cruise Control]装置などの運転支援装置に提供する。

図１〜図６を参照して、本実施の形態に係る車両認識装置１について説明する。図１は、本実施の形態に係る車両認識装置の構成図である。図２は、図１の画像処理装置のブロック図である。図３は、車両モデル画像の一例である。図４は、図２の一致判定部での一致判定方法の説明図である。図５は、合致画像の一例である。図６は、矩形領域の分布状態の一例である。

車両認識装置１では、撮像画像から抽出した画像領域と車両モデルとの間で対応する画素毎に一致しているか否かを判定し、一致と判定された合致画素からなる合致画像を生成する。そして、車両認識装置１では、合致画像上に合致画素の割合が一定割合以上の矩形領域を他の矩形領域と重ならないように設定し、設定された全ての矩形領域の分布状態に基づいて画像領域が車両を含むか否かを判定する。車両認識装置１は、車両モデルデータベース２、カメラ３及び画像処理装置４からなる。なお、本実施の形態では、車両モデルデータベース２が特許請求の範囲に記載する記憶手段に相当する。

車両モデルデータベース２は、車両タイプ（例えば、セダン、ワゴン、２ＢＯＸ、ミニバン、ＳＵＶ[Sport Utility Vehicle]、トラック、バス）毎の車両モデルを格納したデータベースである。車両モデルは、画像上の車両ならではの領域（画素群）だけが描画された車両モデル画像とその描画された各画素がとりうる画像上の特徴量からなる。車両ならではの領域は、例えば、車両の各パーツ(ドア、ウインドウ、ルーフ、ボンネット、フェンダ、フロントマスク、ピラー、タイヤ、バンパ、ヘッドランプ、方向指示ランプ、テールランプ、ナンバプレートなど)の境界線となる部分であり、画像上の特徴としてエッジが強くでる部分である。特徴量は、例えば、エッジの方向や強度である。車両モデルの画像上のサイズ、モデル内の画素数、縦横比などは、カメラ３の性能、撮像画像内での車両の大きさ、画像処理装置４の処理能力などを考慮して任意に設定してよい。車両モデルにおける車両の向きは、認識対象の車両の方向に応じたものとし、例えば、自車両の前方の先行車両を認識する場合には車両のバック側の車両モデルであり、自車両の前方からの対向車両を認識する場合には車両のフロント（やや斜め方向）側の車両モデルであり、自車両の側方の車両あるいは自車両の前方を横切って走行する車両を認識する場合には車両のサイド側の車両モデルである。図３には、車両モデル画像ＶＭの一例を示しており、車両モデル画像ＶＭにおいて白色で描画されている部分ＦＰが車両の各パーツの境界線となる部分であり、車両モデルではこの白色の部分ＦＰ内に含まれる各画素に特徴量がそれぞれ登録されている。なお、車両モデルは、車両モデル画像がなくてもよく、車両ならではの領域内の各画素位置に特徴量が対応付けられたデータだけでもよい。

カメラ３は、ＣＣＤ[Charge Coupled Device]などを用いた自車両の周辺（少なくとも前方であり、必要に応じて側方、後方も）を撮像するカメラである。カメラ３では、自車両周辺を撮像し、その撮像した画像を取得する。そして、カメラ３では、一定時間毎に、その撮像画像のデータを画像信号として画像処理装置４に送信する。

画像処理装置４は、画像処理用のＣＰＵ[Central ProcessingUnit]や各種メモリなどからなり、メモリに保持されるアプリケーションプログラムをＣＰＵで実行することによって車両モデル読み込み部１０、画像領域読み込み部１１、一致判定部１２、合致画像生成部１３、矩形領域設定部１４、車両判定部１５が構成される。画像処理装置４では、車両モデルデータベース２から車両モデルを読み出すとともに、カメラ３から画像信号を受信する。そして、画像処理装置４では、一定時間毎に、その車両モデルと撮像画像を用いて各部１０〜１５での処理で車両認識を行い、その認識結果を車両認識信号として運転支援装置に送信する。なお、本実施の形態では、画像領域読み込み部１１が特許請求の範囲に記載する画像領域抽出手段に相当し、一致判定部１２が特許請求の範囲に記載する画素一致判定手段に相当し、合致画像生成部１３が特許請求の範囲に記載する合致画像生成手段に相当し、矩形領域設定部１４が特許請求の範囲に記載する合致領域設定手段に相当し、車両判定部１５が特許請求の範囲に記載する車両判定手段に相当する。

車両モデル読み込み部１０では、車両モデルデータベース２から認識対象の車両の方向や車両タイプに応じて認識に必要な車両モデルを順次読み込む。例えば、自車両前方を走行する車両を車両タイプに関係なく認識する場合、全ての車両タイプについての車両のバック側の車両モデルを順次読み込む。

画像領域読み込み部１１では、画像信号に含まれる撮像画像から、車両モデル画像と同じサイズの画像領域を横方向及び縦方向に所定画素ずつずらしながら順次切り出す。撮像画像から画像領域を切り出す範囲は、撮像画像全体でもよいし、あるいは、撮像画像の中で車両が存在する範囲が予め判っている場合にはその範囲でもよい。そして、画像領域読み込み部１１では、その切り出した画像領域の各画素に対して車両モデルに登録されている特徴量と同じ特徴量に変換するための画像処理（例えば、エッジ検出処理）を行い、画像領域の各画素に特徴量を設定する。なお、撮像画像内での画像上の車両の大きさは自車両（カメラ３）からの距離や方向で変わるので、撮像画像内での位置に応じて切り出す領域を拡大／縮小してサイズを正規化し、車両モデル画像と同じサイズとなる画像領域を読み込むようにする。

一致判定部１２では、車両モデル読み込み部１０で読み込んだ車両モデルと画像領域読み込み部１１で読み込んだ画像領域の対応する位置の画素毎に、特徴量が一致するか否かを判定する。ここでは、車両モデルで特徴量が登録されている画素についてのみ一致判定を行う。この判定方法としては、例えば、対応する位置の画素間の特徴量の差を算出し、その差が閾値以内の場合に一致していると判定する。また、画像領域において対応する画素の位置を中心とする一定範囲内に含まれる画素の中に車両モデルの対応する画素に登録されている特徴量と一定誤差内となる特徴量を持つ画素が存在する場合に一致していると判定する。例えば、図４に示すように、対応する画素位置ＰＰを中心として所定半径の円ＣＡを設定し、円ＣＡ内に含まれる全ての画素の特徴量と車両モデルの対応する画素に登録されている特徴量とをそれぞれ比較する。一定範囲としては、予め決められた矩形領域などでもよい。閾値や一定誤差は、カメラ３の性能及び照明条件、車種、車両向きなどによる誤差を考慮して設定される。

合致画像生成部１３では、車両モデル画像（特に、特徴量が登録されている画素）から一致判定部１２で一致していないと判定された画素に対応する車両モデル画像上の画素を除去し、一致判定部１２で一致していると判定された画素（合致画素）だけからなる合致画像を生成する。図５には、図３に示す車両モデル画像ＶＭの白色の部分ＦＰ（特徴量が登録されている画素群）から一致判定部１２で一致していないと判定された画素ＮＰ，・・・を除去した合致画像ＡＩを示している。この例の場合、合致画像ＡＩには車両モデル画像ＶＭの白色の部分ＦＰが大部分残っており、処理対象の画像領域は車両モデルで登録されている各画素位置での特徴量を殆ど持っている。

矩形領域設定部１４では、合致画像生成部１３で生成した合致画像上で一定比率以上の合致画素からなりかつ他の矩形領域とは重ならない矩形領域（合致画像に相当）を設定する。具体的には、合致画像上に矩形領域を探索するための画素位置を、既に設定されている他の矩形領域に新たな矩形領域が重ならないように、横方向及び縦方向に所定画素ずつずらしながら順次設定する。その探索用の画素位置を設定する毎に、車両モデルにおける対応する矩形領域内で特徴量が登録されている画素数に対する探索用画素位置での矩形領域内の合致画素数の比率（割合）を算出し、その比率が閾値以上であるか否かを判定し、比率が閾値以上の場合にその探索用画素位置に新たな矩形領域を設定する。そして、この処理を、新たに矩形領域を設定できる位置がなくなるまで繰り返し行う。この矩形領域は、画像領域において車両モデルと同じ位置で合致する領域（車両の画像上の特徴と同じ特徴を持つ領域）である。閾値は、カメラ３の性能及び照明条件、車種、車両向きなどによる誤差を考慮し、車両モデルと合致している判断できる十分な合致画素を含む比率である。矩形領域は、予め決められた固定のサイズであり、車両の各部分における画像上の車両ならではの特徴が十分に表れるサイズとする。

図６には、図５に示す合致画像ＡＩから設定された矩形領域ＲＡ，・・・の分布状態の一例を示しており、複数の矩形領域ＲＡ，・・・が広範囲に散らばって分布している。矩形領域ＲＡ内の数値は、合致画素数の比率であり、例えば、０．９の場合には車両モデルで特徴量が登録されている画素数の９０％の数の合致画素が存在することになる。この例でも判るように、処理対象の画像領域が車両モデルと同じタイプの車両を含んでいる場合には、複数の矩形領域が車両の各部分の画像上の特徴が表れる各位置に（全体に散らばって）分布されることになる。ちなみに、背景などの画像が車両のある部分の画像上の特徴と偶然似ていて矩形領域が設定される場合があるが、このような場合には矩形領域が一部に集中して分布されることになる。また、複数の矩形領域が重なり合うことを許容して設定した場合、車両のある部分の画像上の特徴を含む矩形領域が複数設定され、１つの部分の画像上の特徴にもかかわらず、その複数の矩形領域によって車両と判定され易くなる。しかし、矩形領域を重ならないように設定しているので、このようなことを防止できる。

車両判定部１５では、矩形領域設定部１４で設定した全ての矩形領域の分布状態に基づいて、処理対象の画像領域が車両を含むか否かを判定する。この判定方法としては、公知の技術を適用し、例えば、車両タイプ毎に車種、車両向き、照明条件などを変えた様々な組み合わせで車両を撮像し、その組み合わせ毎に撮像画像から合致画像を生成し、その合致画像から矩形領域を設定し、矩形領域の分布状態を学習しておき、その学習した全ての組み合わせについての分布状態のいずれかと一致するかどうかで車両か否かを判定する。なお、画像領域が車両と判定された場合、その車両の情報を検出してもよく、例えば、画像領域の撮像画像内での位置などから自車両との相対距離や相対方向を算出してもよいし、適合した車両モデルから車両タイプや車両向きなどを特定してもよい。

図１を参照して、車両認識装置１の動作について説明する。特に、画像処理装置４における処理については図７のフローチャートに沿って説明する。図７は、図１の画像処理装置における処理の流れを示すフローチャートである。

カメラ３では、一定時間毎に、自車両の周辺を撮像し、画像信号を画像処理装置４に送信している。画像処理装置４では、その画像信号を受信し、撮像画像を入力する。

画像処理装置４では、車両モデルデータベース２から、車両認識に必要な車両モデルを順次読み出す（Ｓ１）。車両モデルを読み出す毎に、画像処理装置４では、撮像画像から車両モデルと同じサイズで各画素に特徴量が設定された画像領域を順次読み出す（Ｓ２）。

画像領域を読み出す毎に、画像処理装置４では、車両モデルと画像領域との間の対応する画素毎に特徴量に基づいて対応する画素が一致しているか否かを判定する（Ｓ３）。そして、画像処理装置４では、車両モデル画像から一致していないと判定された画素を除去し、一致している合致画素のみからなる合致画像を生成する（Ｓ４）。さらに、画像処理装置４では、合致画像上で領域内の合致画素数の比率が一定比率以上でありかつ他の矩形領域に重ならない矩形領域を設定する（Ｓ５）。そして、画像処理装置４では、設定した全ての矩形領域の分布状態に基づいて今回の画像領域が車両か否かを判定する（Ｓ６）。

この車両認識装置１によれば、画像上の特徴が車両モデルと同じ位置で合致していれば画像領域内の任意の位置に車両判定するための矩形領域を設定でき、車両を高精度に認識することができる。つまり、車両の各部分の画像上の特徴があるか否かを判断するための領域を予め決められた位置に設定するのではなく、合致画素の分布状態に応じて画像領域内に矩形領域を自由に設定できるので、位置が予め決められた領域の設定が悪いために車両を認識できないようなことを防止できる。また、この車両認識装置１によれば、複数の矩形領域が重ならないようにそれぞれ設定することにより、車両の各部分の画像上の特徴を含む矩形領域を別々に設定でき、車両をより高精度に認識することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載される車両認識装置に適用したが、路側の車両を認識する装置に適用されてもよいし、室内に設置されたコンピュータに構成されてもよいし、あるいは、車載の運転支援装置内の機能の一つとして構成されてもよい。

また、本実施の形態では車両モデルを車両タイプ毎に用意したが、車種、年式などの他の種別で車両モデルを用意してもよい。また、本実施の形態では車両モデルとして登録される特徴量や登録される領域（位置）について一例を挙げて説明したが、特徴量や領域について他のものでもよい。

また、本実施の形態では合致領域を矩形状としたが、円、楕円などの他の形状としてもよい。また、本実施の形態では設定する全ての矩形領域を同じサイズとしたが、車両の位置などに応じて異なるサイズの矩形領域としてもよい。

また、本実施の形態では矩形領域を設定する際に他の矩形領域と重ならないという条件も設けたが、他の矩形領域と一部が重なるような矩形領域を設定してもよい。重なる部分については、合致画素が極力含まれないようにすることが望ましい。

１…車両認識装置、２…車両モデルデータベース、３…カメラ、４…画像処理装置、１０…車両モデルモデル読み込み部、１１…画像領域読み込み部、１２…一致判定部、１３…合致画像生成部、１４…矩形領域設定部、１５…車両判定部。

Claims (2)

1. 撮像画像から車両を認識する画像認識装置であって、
   画素毎に特徴量が登録されている車両モデルを記憶する記憶手段と、
   撮像画像から車両モデルと同一サイズの画像領域を抽出する画像領域抽出手段と、
   前記画像領域抽出手段で抽出した画像領域と車両モデルとの間で対応する画素毎に特徴量に基づいて対応する画素が一致するか否かを判定する画素一致判定手段と、
   前記画素一致判定手段で一致すると判定された合致画素からなる合致画像を生成する合致画像生成手段と、
   前記合致画像生成手段で生成した合致画像上に所定サイズを有しかつ領域内の合致画素の割合が閾値以上の合致領域を設定する合致領域設定手段と、
   前記合致領域設定手段で設定した合致領域の分布状態に基づいて前記画像領域抽出手段で抽出した画像領域が車両を含むか否かを判定する車両判定手段
   を備えることを特徴とする画像認識装置。
2. 前記合致領域設定手段は、他の合致領域と重ならない合致領域を設定することを特徴とする請求項１に記載の画像認識装置。

Images