JP2008146154A

JP2008146154A - 車種判別装置

Info

Publication number: JP2008146154A
Application number: JP2006329543A
Authority: JP
Inventors: Hiroyasu Miyahara; 景泰宮原; Yasuhiro Okada; 康裕岡田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-12-06
Filing date: 2006-12-06
Publication date: 2008-06-26

Abstract

【課題】正確な位置が求めやすいナンバープレートとフロントガラスを車種判別に用いる場合、ナンバープレートは車体中央から左右にずれていることもあり、そのまま判別に用いると判別精度が落ちる。
【解決手段】画像入力手段の入力画像からナンバープレート検出手段がナンバープレートを検出しその座標情報を、フロントガラス検出手段がフロントガラスを検出してその座標情報を出力し、ナンバープレート位置判定手段で検出されたナンバープレートの位置が車体中央から左右にずれているか判定して、ずれ量を推定し、形状照合手段が検出されたナンバープレートの座標情報を推定ずれ量で補正し、該補正座標と、検出されたフロントガラスの座標を用いて、ナンバープレートとフロントガラスの位置関係を示す座標情報が車種ごとに格納された形状辞書と照合し、照合結果から車種決定手段が車種を決定する。
【選択図】図１

Description

この発明は、入力された車輌の画像から車輌の種別を判別する車種判別装置に関するものである。

車両前面の画像から車体形状をとらえて車種を判定するものとしては、例えば、特開平１１−２１３２８４号公報に示されるものがある。この技術では、画像から、フロントガラスやヘッドライト、ナンバープレート等を車両の構成要素として検出し、それぞれの種類を決定した後、構成要素の形状や位置関係が格納された車両辞書と照合して車種を判別する。

また、他の従来技術としては、特開平１１−８６１８５号公報に示されるものがある。この技術では、ｓｏｂｅｌフィルタをかけてエッジ検出し、エッジ情報からフロント領域（左右をヘッドライトに挟まれた車体前面領域）とフロントガラス領域を求めて、フロント領域とフロントガラス領域との位置関係からボンネット有無を判別し、車種を判別する。

特開平１１−２１３２８４号公報「車種判別装置」特開平１１−８６１８５号公報「車種判別装置」

従来の車種判別装置では、正確な位置の検出が難しいヘッドライトやフロント領域の位置情報を用いているため、検出位置ずれが発生しやすく、ボンネットの突き出しが短いケースなど、微妙な差が判別できないという課題があった。前記特許文献１で対象としているナンバープレートとフロントガラスについては正確な位置を求めやすいが、ナンバープレートは必ず車体中央に設置されているとは限らず、左又は右にずれている場合もあるので、そのまま判別に用いることは難しい。

この発明は、前記のような課題を解決するためになされたものであり、検出位置ずれが少ないナンバープレートとフロントガラスの位置関係から車種を安定して判別すると共に、ナンバープレートの設置位置が車体中央から左右にずれている場合でも、正しく車種を判別できる車種判別装置を得ることを目的としている。

この発明に係る車種判別装置は、
画像を入力する画像入力手段と、入力画像からナンバープレートを検出してその座標情報を出力するナンバープレート検出手段と、入力画像からフロントガラスを検出してその座標情報を出力するフロントガラス検出手段と、前記ナンバープレート検出手段の検出したナンバープレートの位置が車体中央から左右にずれているか判定し、そのずれ量を推定するナンバープレート位置判定手段と、ナンバープレートとフロントガラスの位置関係を示す座標情報を車種ごとに格納した形状辞書と、前記ナンバープレート検出手段の出力したナンバープレートの座標情報を前記ナンバープレート位置判定手段の推定したずれ量で補正し当該補正座標と前記フロントガラス検出手段が検出したフロントガラスの座標を用いて前記形状辞書と照合を行う形状照合手段と、形状照合手段の出力から車種を決定する車種決定手段とを備えた。

この発明に係る車種判別装置によれば、正確な位置が求めやすいナンバープレートとフロントガラスを用いて車種判別をおこなっているので、高精度に車種を判別することができ、特に、ナンバープレートが車両中央に設置されていない場合でも、ナンバープレート位置判定手段が車体中央から左右にずれているずれ量を推定して補正し、この補正座標と検出されたフロントガラスの座標を用いて車種を判別するので正しく判別できる。

実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１はこの発明の実施の形態１を示す概略構成図である。図において、１は画像を入力する画像入力手段、２は入力画像からナンバープレートを検出するナンバープレート検出手段、３は入力画像からフロントガラスを検出するフロントガラス検出手段、４はナンバープレートの位置が車体中央から左右にずれているか判定し、そのずれ量を推定するナンバープレート位置判定手段、５はナンバープレートとフロントガラスの位置関係を示す座標情報を車種ごとに格納した形状辞書、６はナンバープレート検出手段２の出力したナンバープレートの座標情報をナンバープレート位置判定手段４の推定したずれ量で補正し当該補正座標を用いて形状辞書５と照合を行う形状照合手段、７は形状照合手段６の出力から車種を決定する車種決定手段である。

次に動作を図により説明する。図２がこの発明の処理フロー図である。ここでは、図３から図１３までを用いて動作を説明する。図３は入力画像の例であり、８が入力画像、９がナンバープレートである。図４はフロントガラス検出手段３の処理対象領域を示す図であり、１０がフロントガラス検出対象領域である。図５はフロントガラス検出対象領域１０内のエッジを示す例である。図６はフロントガラスの検出結果を示す図であり、１１から１４までがフロントガラスを囲む境界線、１５から１８までがフロントガラスの四隅の位置である。

図７はナンバープレート位置判定手段４の処理対象領域を示す図であり、１９が対象領域である。図８はヘッドライト検出結果の例を示す図であり、２０と２１が検出したヘッドライト領域、２２が水平方向における車体中央の推定位置を示す。図９は比較する部分領域を示す図であり、２３が左側の部分領域、２４が右側の部分領域、２５が車体中央の推定位置を示す。図１０は形状照合手段６によるナンバープレートの座標情報の補正を説明するための図であり、２６が補正前のナンバープレート中心位置、２７が補正後のナンバープレート中心位置である。図１１は形状照合手段６が形状辞書５と照合を行う際の座標系を説明するための図である。図１２と図１３は形状辞書５内の車種の座標情報を説明する図であり、２８から３１まではボンネットのある車両のフロントガラスの四隅の位置、３２から３５まではボンネットのない車両のフロントガラスの四隅の位置である。

まず、画像入力手段１が画像を入力し（ステップＳ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出する（ステップＳ２）。ここで、画像の入力は例えばカメラを用いて行い、ナンバープレートの検出は、例えば、三菱電機技報Ｖｏｌ．６２Ｎｏ．２ｐｐ．９−１２「ナンバープレート認識技術」の４章「ナンバープレート抽出と下段文字切出し」に記載の方法を用いる。この結果、図３の入力画像からはナンバープレート９が検出され、その位置座標が得られる。なお、座標系は、特に断らない限り入力画像の左下を原点とし、垂直方向をY軸、水平方向をX軸で表現する。

次に、フロントガラス検出手段３がフロントガラスを検出する（ステップＳ３）。このステップでは、まず、ステップＳ２で検出したナンバープレート９の位置を基準として処理対象領域を設定する。この処理対象領域は、車種の違いによらずフロントガラスの存在し得る範囲であり、図４を例にとると、フロントガラス検出手段３は、ナンバープレート９の座標に、別途設定されているパラメータを加算し、本領域の四隅の座標を計算して、処理対象領域１０とする。

次にフロントガラス検出手段３は、処理対象領域１０に対して、特許文献２に記載のｓｏｂｅｌフィルタを用いる方法で水平・垂直のエッジを抽出する。このエッジ画像の例が図５である。さらに、このエッジ画像から所定値以上の長さを持つ線分を抽出して、その組み合わせの中からフロントガラスの境界を構成する四辺を求める。この四辺を求める方法としては、例えば、四辺形を構成する水平線分２本と垂直線分２本の全組み合わせについて、水平成分２本がほぼ平行で、かつ当該四辺形の幅・高さ・幅と高さの比率があらかじめ定めた値に最も近いものを求め、これをフロントガラスの境界四辺とする。最後にフロントガラス検出手段３は、フロントガラスの境界四辺の交点を求め、フロントガラスの四隅の点とする。図６の例では、図５のエッジ画像の中から抽出した所定値以上の長さを持つ線分から、フロントガラスの境界を構成する四辺１１〜１４を選び、四隅の点として点１５〜１８を求めている。

ステップＳ３の後、ナンバープレート位置判定手段４が車両中央位置を推定（ステップＳ４）する。このステップでは、まず、ステップＳ３と同様に、ステップＳ２で検出したナンバープレート９の位置を基準として処理対象領域を設定する。この処理対象領域は、車種の違いによらずフロント領域（左右をヘッドライトに挟まれた車体前面領域）の存在し得る範囲であり、図７の例では、ナンバープレート位置判定手段４が、ナンバープレート９の座標に、別途設定されているパラメータを加算し、本領域の四隅の座標を計算し、処理対象領域１９とする。

次にナンバープレート位置判定手段４は、処理対象領域１９の画像から、車両中央の水平方向位置を求める。この車両中央位置の求め方としては、本実施の形態では、あらかじめ保持しておいたヘッドライト画像と処理対象領域１９内の部分領域とで、画像情報教育振興協会発行「ディジタル画像処理」ｐｐ．２０２−２０４記載のテンプレートマッチングを行い、得られた類似度が最大かつ所定値以上となる処理対象領域１９内の部分領域をヘッドライト領域とする。ヘッドライトは左右２個あるので、ヘッドライト画像も左側用と右側用を持ち、それぞれテンプレートマッチングを行って、左側のヘッドライト領域と右側のヘッドライト領域を決定する。その後、左側と右側のヘッドライト領域の位置から、車両中央のＸ座標を求める。図８の場合は、処理対象領域１９から左側のヘッドライト領域２０と右側のヘッドライト領域２１を求め、それぞれの中心のＸ座標から車両中央の水平方向位置２２に対応したＸ座標を計算する。例えば、ヘッドライト領域２０の中心のＸ座標をＸ１、ヘッドライト領域２１の中心のＸ座標をＸ２とすると、車両中央の水平方向位置２２のＸ座標Ｘ３は下記の式で求める。

Ｘ３＝（Ｃ１×Ｘ１＋Ｃ２×Ｘ２）÷（Ｃ１＋Ｃ２） … 式１
ただし、Ｃ１とＣ２は定数

式１において、Ｃ１とＣ２を同じ値にすると平均を求めることになり、ヘッドライト領域２０とヘッドライト領域２１のちょうど真ん中の位置が得られるが、斜め方向から見ている場合、実際の車両中央は両ヘッドライトの真ん中よりもやや左右にずれた位置となる。Ｃ１とＣ２をこのずれを吸収するための定数であり、斜め角度（カメラが見る方向と道路の延びる方向のなす角）に応じて適切な値を設定しておけば、誤差の少ない車両中央位置が得られる。例えば、図８の車両中央位置はやや右側にずれているので、Ｃ２をＣ１よりも若干大きい値にしておけばよい。

なお、車両中央位置は他の方法で求めても良く、例えば、図９に示すように、処理対象領域１９内に左右に連続した二つの部分領域を設定し、左側の部分領域を左右反転させたパターンと右側の部分領域とでテンプレートマッチングを行い、得られた類似度が最大かつ所定値以上となる位置を求めて、部分領域の境界の水平位置を車両中央位置としても良い。車両は一般に左右対称であるため、車体左半分を左右反転させたパターンは右半分に類似し、テンプレートマッチングの類似度として高い値が期待できる。図９の場合では、領域２３を左側の部分領域、領域２４を右側の部分領域とした時に高い類似度が得られ、その境界位置２５が車両中央位置となる。

その後、ナンバープレート位置判定手段４は、ナンバープレート位置の左右ずれ有無を判定する（ステップＳ５）。例えば、ステップＳ２でナンバープレート検出手段２が検出したナンバープレートの中心のＸ座標と、ステップＳ４でナンバープレート位置判定手段４が推定した車両中央位置のＸ座標を比較し、その差があらかじめ定めた閾値以上であれば左右ずれあり、閾値未満なら左右ずれなしと判定する。

ナンバープレート位置判定手段４は、最後に、ナンバープレート位置の左右ずれ量を推定する（ステップＳ６）。例えば、ステップＳ５において左右ずれなしと判定していたら、ずれ量として０を出力し、左右ずれありと判定していた場合は、ステップＳ２でナンバープレート検出手段２が検出したナンバープレートの中心のＸ座標と、ステップＳ４でナンバープレート位置判定手段４が推定した車両中央位置のＸ座標との差を求め、これをずれ量として出力する。一般に、ナンバープレートやフロントガラスに比べて、車両の中央位置を高い精度で求めることは難しく、誤差が発生しやすい。このため、閾値未満の小さいずれ量は０とし、画像から求めたナンバープレート位置をそのまま用いることで、この誤差にできるだけ影響されないようにする。

形状照合手段６では、まず、ナンバープレートの位置の補正を行う（ステップＳ７）。この補正はＸ座標について行い、ステップＳ２でナンバープレート検出手段２が検出したナンバープレートの中心のＸ座標に、ステップＳ６でナンバープレート位置判定手段４が推定した左右ずれ量を加え、これを補正後のＸ座標とする。Ｙ座標については、ナンバープレート検出手段２が検出したナンバープレートの中心のＹ座標をそのまま用いる。図１０の例では、ナンバープレート検出手段２が検出したナンバープレートの中心位置２６に対して補正を行った結果、補正後のナンバープレート中心２７の座標が得られる。

次に、形状照合手段６は、フロントガラス位置と補正後のナンバープレート位置について、形状辞書５との照合を行う（ステップＳ８）。ここで、形状辞書には、車両中央にナンバープレートが設置されている場合の、ナンバープレートの中心位置を基準としたフロントガラスの四隅の相対座標が車種ごとに格納されているものとする。形状照合手段６は、フロントガラス検出手段３が検出したフロントガラスの四隅１５〜１８の座標を、補正後のナンバープレートの中心位置２７を原点とした座標系（図１１）に合わせて変換し、この変換した座標値を用いて照合を行う。例えば、変換後のフロントガラスの四隅１５〜１８の座標を（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）、（Ｘ４、Ｙ４）とし、形状辞書５に格納されている車種Ｊ（Ｊ＝１，２，…，ｎただしｎは形状辞書５で定義されている車種数）のフロントガラス四隅の相対座標を（ＸＪ１、ＹＪ１）、（ＸＪ２、ＹＪ２）、（ＸＪ３、ＹＪ３）、（ＸＪ４、ＹＪ４）とすると、下記の式２でそれぞれの車種に対する相違度を算出する。

最後に、車種決定手段７が車種を決定する（ステップＳ９）。ここでは、ステップＳ８で得た相違度の中で最小の値に対応する車種に決定する。例えば、形状辞書５の中に、図１２に示すボンネットのある車両のフロントガラスの位置情報と、図１３に示すボンネットのない車両のフロントガラスの位置情報が格納されている場合、図１０の入力画像８については、補正前のナンバープレートの中心位置座標２６を原点とすると図１３の車種の方の位置関係が近く、相違度が小さくなるが、ナンバープレート位置の補正を行うことで、図１２の車種との相違度の方が小さくなり、正しくボンネットのある車両と判別できる。

この実施の形態では、以上の工程を経ることで、高精度に車種を判別することができ、特に、ナンバープレートが車両中央に設置されていない場合でも、正しく判別できる。なお、この実施の形態では、ナンバープレート検出手段２の検出方法として文献記載の方法を用いたが、これは他の方法を使っても良い。また、フロントガラス検出手段３の検出方法として、所定以上の長さを持つ水平・垂直エッジ線分を求め、これを組み合わせた四辺形の幅・高さ・幅と高さの比率を評価基準とする方法で説明したが、これは他の方法を使っても良く、エッジ画像を使わない方法でも良い。また、ナンバープレート位置判定手段が車両中央位置を推定する方法として、テンプレートマッチングを用いる例を二つ示したが、これ以外の方法を用いても良い。また、形状辞書５の格納情報を、フロントガラスの四隅の相対座標とする例で説明したが、四辺の中点位置など、他の位置を格納し、これを照合するようにしても良い。また、形状辞書５にボンネットのない車両とある車両の二つの車種の情報が格納されている例を説明したが、これはもっと多くの車種の情報を格納しても良く、ボンネット有無だけでなく、小型と大型など他の基準で車種を分けても良い。

実施の形態２．
以下、この発明の実施の形態２を図について説明する。概略構成図は図１である。
次に動作を図により説明する。本実施の形態の処理フローは実施の形態１と同様に図２であるが、同図のステップＳ８の動作が異なり、図１４が本実施の形態におけるステップＳ８の詳細動作の処理フローである。なお、本実施の形態では、形状辞書５の中に、ナンバープレート位置の左右ずれが起こりえるか否かを示すフラグを備えている例で説明する。

まず、実施の形態１と同様の手順で、ステップＳ１〜Ｓ７の動作を行う。すなわち、画像入力手段１が画像を入力し（ステップＳ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出して（ステップＳ２）、フロントガラス検出手段３がフロントガラスを検出する（ステップＳ３）。続いて、ナンバープレート位置判定手段４が車両中央位置を推定し（ステップＳ４）、ナンバープレート位置の左右ずれ有無を判定して（ステップＳ５）、ナンバープレート位置の左右ずれ量を推定する（ステップＳ６）。さらに、形状照合手段６はナンバープレートの位置を補正する（ステップＳ７）。

その後、形状照合手段６は形状辞書５との照合を行う（ステップＳ８）。本ステップの詳細動作について図１４の処理フローで説明する。まず、照合対象とする車種の番号を示す変数Ｊを１に初期化する（ステップＴ１）。そして、ステップＳ６で推定した左右ずれ量が０か否かをチェックし（ステップＴ２）、左右ずれ量が０でなければ、さらに車種Ｊでナンバープレート位置の左右ずれが起こりえるか否かを示すフラグを参照して（ステップＴ３）、車種Ｊで左右ずれが起こりえない場合は照合を行わない。例えば、大型車両ではナンバープレートの設置位置が左右にずれているものはほとんどないため、これを左右ずれが起こりえない車種としてフラグ設定しておけば、左右ずれ量が０でない車両との照合は行われない。

一方、ステップＴ２のチェックで左右ずれ量が０であった場合と、左右ずれ量が０でなく、かつステップＴ３において車種Ｊのナンバープレート位置の左右ずれが起こりえると判定した場合は、実施の形態１におけるステップＳ８と同様の手順で照合を行う（ステップＴ４）。その後、Ｊに１を加え（ステップＴ５）、Ｊが形状辞書５内の車種数Ｎを越えたら処理を終了し、超えなければ再度ステップＴ２に戻って処理を継続する（ステップＴ６）。
最後に車種決定手段７は、実施の形態１と同様の手順で車種を決定する（ステップＳ９）。

この実施の形態では、以上の工程を経ることで、ナンバープレート位置の左右ずれ有無の情報を利用して照合対象の車種を限定することが可能となり、誤判別が低減すると同時に処理速度も向上する。

実施の形態３．
以下、この発明の実施の形態３を図について説明する。概略構成図は図１である。
次に動作を図により説明する。本実施の形態の処理フローは実施の形態１と同様に図２であるが、同図のステップＳ８の動作が異なり、図１５が本実施の形態におけるステップＳ８の詳細動作の処理フローである。なお、本実施の形態では、形状辞書５の中に、ナンバープレート位置の左右ずれが起こりえるか否かを示すフラグを備えている例を説明する。

その後、形状照合手段６は形状辞書５との照合を行う（ステップＳ８）。本ステップの詳細動作について図１５の処理フローで説明する。まず、照合対象とする車種の番号を示す変数Ｊを１に初期化する（ステップＵ１）。そして、車種Ｊでナンバープレート位置の左右ずれが起こりえるか否かを示すフラグを参照して（ステップＵ２）、車種Ｊで左右ずれが起こりえない場合は補正前のナンバープレート位置を用いて車種Ｊとの照合を行い（ステップＵ３）、起こりえる場合は補正後のナンバープレート位置を用いて車種Ｊとの照合を行う（ステップＵ４）。その後、カウンタＪに１を加え（ステップＵ５）、Ｊが形状辞書５内の車種数Ｎを越えたら処理を終了し、超えなければ再度ステップＵ２に戻って処理を継続する（ステップＵ６）。
最後に車種決定手段７は、実施の形態１と同様の手順で車種を決定する（ステップＳ９）。

この実施の形態では、以上の工程を経ることで、ナンバープレート位置の左右ずれが起こりえるか否か示す車種ごとのフラグ情報を利用して、照合に適用するナンバープレート位置を選択することができ、推定したずれ量が誤っている場合でも、その影響を抑えることできる。

実施の形態４．
以下、この発明の実施の形態４を図について説明する。概略構成図は図１６であり、図１６において、３６は車両の３次元形状情報を車種ごとに３次元モデルとして格納する３次元モデル格納手段、３７は画像入力手段１の設置情報、例えば画像入力手段１がカメラの場合、カメラの設置高さや、道路の延びる方向への角度などと前記３次元モデルから形状辞書５内の座標情報を生成する形状辞書生成手段である。
その他の構成は図１に示す実施の形態１と同様であるので、説明を省略する。

次に動作を図により説明する。本実施の形態では、車種判別装置の動作には車種判別モードと形状辞書生成モードの二種類がある例を説明する。
ここで、車種判別モード時の動作は実施の形態１と同一であり、説明を省略する。
形状辞書生成モード時の処理フローは図１７である。形状辞書生成モードは、斜め角度などのカメラの設置条件が変わり、それに伴って画像中の車両の見え方が変わった場合に、その変化に対応した形状辞書５を作る動作である。ここでは、図１８を用いて動作を説明する。図１８は３次元モデル格納手段３６の格納情報を説明する例である。

形状辞書生成モードでは、まず形状辞書生成手段３７が画像入力手段１の設置パラメータを入力する（ステップＶ１）。例えば、本実施の形態では画像入力手段１としてカメラを用いているとすると、このパラメータは、カメラの設置高さや視野角・俯角、画像中の道路の延びる方向の角度など、画像中の車両の見え方に関わるものであり、オペレータ等が実態に合わせて設定した値を入力する。

次に形状辞書生成手段３７は、３次元モデル格納手段３６に格納されている各車種の３次元の形状情報を、ステップＶ１で入力したパラメータを用い、２次元平面に投影する（ステップＶ２）。投影方法としては、例えば、画像情報教育振興協会発行「コンピュータグラフィックス」ｐｐ．３２−３８記載の透視変換を用いる。３次元モデル格納手段３６には、図１８に示すような、ナンバープレートとフロントガラスの３次元的な位置関係（各方向での距離）が車種ごとに格納されており、この３次元モデルを透視変換で２次元平面に投影することで、ステップＶ１で入力した設置パラメータでカメラを設置した場合の、ナンバープレートとフロントガラスの画像中の位置関係（座標情報）が計算できる。

最後に形状辞書生成手段３７は、ステップＶ２で求めたナンバープレートとフロントガラスの座標に対し、座標系の変換を行い（ステップＶ３）、変換後のフロントガラス四隅の座標を形状辞書５に格納する。この座標系変換は、実施の形態１におけるステップＳ８で説明した処理と同じであり、フロントガラスの四隅の座標をナンバープレートの中心位置を原点とした座標系に変換するものである。

この実施の形態では、以上の工程を経ることで、画像入力手段１の設置方法が変更され、画像中の車両の見え方が変化した場合でも、その変化に対応した形状辞書を簡単に作成できる。

実施の形態５．
以下、この発明の実施の形態５を図について説明する。概略構成図は図１９であり、この図において、３８は車両の進行方向を推定する車両進行方向推定手段である。
その他の構成は図１６に示す実施の形態４と同様であるので、説明を省略する。

次に動作を図により説明する。本実施の形態の処理フローは図２０である。ここでは、図２１を用いて動作を説明する。図２１は画像中におけるナンバープレート位置の時間的な変化を示す例であり、３９〜４１がナンバープレートの検出位置、４２がナンバープレートの移動方向を示す角度である。

まず、実施の形態１と同様の手順で、ステップＷ１〜Ｗ７の動作を行う。すなわち、画像入力手段１が画像を入力し（ステップＷ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出して（ステップＷ２）、フロントガラス検出手段３がフロントガラスを検出する（ステップＷ３）。続いて、ナンバープレート位置判定手段４が車両中央位置を推定し（ステップＷ４）、ナンバープレート位置の左右ずれ有無を判定して（ステップＷ５）、ナンバープレート位置の左右ずれ量を推定する（ステップＷ６）。さらに、形状照合手段６がナンバープレートの位置を補正する（ステップＷ７）。

その後、車両進行方向推定手段３８は、ナンバープレート検出手段２の過去の出力とステップＷ２での出力を参照し、車両の進行方向を推定する（ステップＷ８）。本ステップでは、まず、画像内におけるナンバープレートの移動方向を求める。図２１の例では、ステップＷ２におけるナンバープレートの検出位置３９と、前回のナンバープレート検出手段２の検出位置４０と、前々回のナンバープレート検出手段２の検出位置４１の中心を結ぶ直線を求め、この直線と画面の垂直方向との成す角度４２をナンバープレートの移動方向とする。そして、ナンバープレートの移動方向から車両の進行方向を求める。例えば、ナンバープレートの移動方向の角度と車両の進行方向の角度を対応付けた表をあらかじめ保持しておき、この表を参照することで、車両の進行方向の角度を求める。

次に、形状辞書生成手段３７が、別途保持している画像入力手段１の設置パラメータと、ステップＷ８で車両進行方向推定手段３８が求めた車両の進行方向の角度を用い、３次元モデル格納手段３６に格納されている各車種の３次元の形状情報から形状辞書５を生成する（ステップＷ９）。本ステップの処理内容は、道路の角度の代わりに車両の進行方向の角度を用いることを除き、実施の形態４と同じである。

そして、実施の形態１と同様の手順で、形状照合手段６が形状辞書５との照合を行い（ステップＷ１０）、車種決定手段７が車種を決定する（ステップＷ１１）。

この実施の形態では、以上の工程を経ることで、車両が道路を斜めに走行している場合でも、その走行方向に応じた形状辞書を自動生成でき、精度良く車種を判別できる。

なお、実施の形態１〜５では、形状照合手段６の照合結果から車種を判別しているが、ナンバープレート検出手段２が検出したナンバープレートの大きさの情報も加味して、車種を判別するようにしても良い。車両のナンバープレートには普通車用の中型プレートと大型車用の大型プレートがあり、大きさが異なるので、ナンバープレートの大きさも車種を判別する情報になり得る。さらには、検出したナンバープレートの文字を読み取る手段を別途設け、読み取った文字情報も加味して、車種を判別するようにしても良い。ナンバープレート上には車種を示す数字が表示されており、これも車種を判別する有効な情報となる。

この発明は高精度に車種を判別することができ、有料道路の料金所システムや、捜査支援システム等に利用可能である。

この発明の実施の形態１を示す概略構成図である。実施の形態１における処理フロー図である。実施の形態１における入力画像例の説明図である。実施の形態１におけるフロントガラス検出手段の処理対象領域を示す説明図である。フロントガラス検出対象領域内のエッジの例を示す説明図である。フロントガラスの検出結果を示す説明図である。ナンバープレート位置判定手段の処理対象領域を示す説明図である。ヘッドライト検出結果による車両中央位置の求め方を示す説明図である。他の方法による車両中央位置の求め方を示す説明図である。形状照合手段によるナンバープレートの座標情報の補正説明図である。形状照合手段が形状辞書と照合を行う際の座標系の説明図である。形状辞書内の車種の座標情報説明図である。形状辞書内の車種の座標情報説明図である。実施の形態２における形状照合処理の処理フロー図である。実施の形態３における形状照合処理の処理フロー図である。実施の形態４を示す概略構成図である。実施の形態４における形状辞書生成モードの処理フロー図である。実施の形態４における３次元モデル格納手段の格納情報説明図である。実施の形態５を示す概略構成図である。実施の形態５における処理フロー図である。実施の形態５による画像中におけるナンバープレート位置の時間的変化の説明図である。

符号の説明

１；画像入力手段、２；ナンバープレート検出手段、３；フロントガラス検出手段、４；ナンバープレート位置判定手段、５；形状辞書、６；形状照合手段、７；車種決定手段、３６；３次元モデル格納手段、３７；形状辞書生成手段、３８；車両進行方向推定手段。

Claims

画像を入力する画像入力手段と、入力画像からナンバープレートを検出してその座標情報を出力するナンバープレート検出手段と、入力画像からフロントガラスを検出してその座標情報を出力するフロントガラス検出手段と、前記ナンバープレート検出手段の検出したナンバープレートの位置が車体中央から左右にずれているか判定し、そのずれ量を推定するナンバープレート位置判定手段と、ナンバープレートとフロントガラスの位置関係を示す座標情報を車種ごとに格納した形状辞書と、前記ナンバープレート検出手段の出力したナンバープレートの座標情報を前記ナンバープレート位置判定手段の推定したずれ量で補正し当該補正座標と前記フロントガラス検出手段が検出したフロントガラスの座標を用いて前記形状辞書と照合を行い照合結果を出力する形状照合手段と、形状照合手段の出力から車種を決定する車種決定手段とを備えた車種判別装置。
前記形状辞書にはナンバープレート位置の左右ずれが起こり得るか否かを示すフラグを車種ごとに備え、前記形状照合手段は当該フラグと前記ナンバープレート位置判定手段の判定結果とを比較して照合対象を選択する構成にされたことを特徴とする請求項１の車種判別装置。
前記形状辞書にはナンバープレート位置の左右ずれが起こり得るか否かを示すフラグを車種ごとに備え、前記形状照合手段はナンバープレート位置の左右ずれが起こりえない車種に対しては補正前の前記ナンバープレート検出手段の出力した座標を用い、左右ずれが起こ得る車種に対しては前記補正座標を用いて照合を行う構成にされたことを特徴とする請求項１の車種判別装置。
車両の３次元の形状情報を車種ごとに３次元モデルとして格納する３次元モデル格納手段と、前記画像入力手段が設置される状態に係わる設置情報と前記３次元モデルから前記形状辞書内の座標情報を生成する形状辞書生成手段をさらに備えたことを特徴とする請求項１の車種判別装置。
前記ナンバープレート検出手段の出力するナンバープレート位置の時間的な変化から車両の進行方向を推定する車両進行方向推定手段をさらに備え、前記形状辞書生成手段は車両の進行方向の情報を付加して前記形状辞書内の座標情報を生成する構成にされたことを特徴とする請求項４の車種判別装置。