JP2005322146A - ナンバープレート読取装置 - Google Patents

Abstract

【課題】従来は、ピントを基準に画像を選択・認識するので、画像に影があった場合など、他に良好な画像があっても正しく認識できない。また、斜め方向からの撮像は、カメラとプレートとの角度で認識のし易さが変わるが、カメラからナンバープレートまでの距離とピントが同程度の画像は、優劣が判定できない。
【解決手段】画像入力手段による入力画像からナンバープレート検出手段がナンバープレートを検出し、画像評価値算出手段がその検出結果から入力画像の評価値を求め、評価値に基づいて入力画像を画像保存手段に保存するか否かを保存画像決定手段が決定する。一方、評価値により画像保存手段に保存中の画像から認識する画像を選択し、ナンバープレート認識手段でナンバープレート内の文字パターンを認識すると共に、ナンバープレート認識手段の出力から認識制御手段がナンバープレートデータを決定し出力する。
【選択図】図１

Description

この発明は、例えば自動車などの車輌のナンバープレート上に表示された車輌番号、分類番号、陸運支局コード、仮名文字などのナンバープレート情報を認識する車輌のナンバープレート読取装置に関する。

画像からナンバープレートを読み取る従来の装置としては、例えば、特開２０００−３２２６８６号公報「車両のナンバプレート認識装置」に示されるものがある。本装置では、まずフォーカス評価部がカメラの出力を受け、フレーム画像毎にピントの合い具合を評価値として出力する。この時、ナンバープレートが画像内のどこにあるのか分からないので、ナンバープレートが位置する可能性の高い領域に限定して評価値を求める。ナンバプレート認識部では、カメラ出力とフォーカス評価部の出力した評価値を入力し、カメラが出力したフレーム画像のうちフォーカスの評価値が高いものを選択して、このフレーム画像を認識する。

特開２０００−３２２６８６号公報「車両のナンバプレート認識装置」（第２図、第３頁−第５頁）

上記のとおり、従来のナンバープレート読取装置は、フォーカスの評価値が最良の一つの画像を選択して認識しているので、たまたまその画像に影がかかった場合など、その前後に良好な画像があるにもかかわらず、正しく認識できないという課題があった。一般に、処理時間はナンバープレート検出よりもナンバープレート認識の方が長いため、ナンバープレートの検出できた全ての画像を認識することはできず、仮にナンバープレート認識を複数回行うようにしたとしても、真に認識し易い画像を認識できずに見逃す恐れがあった。また、従来のナンバープレート読取装置は、ピントの合い具合を評価値として画像を選択しているので、カメラからナンバープレートまでの距離がほぼ等しくてピントが同程度に合っている二つの画像については、その優劣を判定できないという課題もあった。特に斜め方向から撮像する場合は、カメラとプレートとの角度によって認識のし易さが変わるが、このような差異はピントの合い具合からは分からない。

この発明は、前記のような課題を解決するためになされたものであり、ナンバープレートの検出ができた全ての画像を認識することができない環境においても、認識し易い画像を見落とすことなく保持し、優先的に認識を行うことで、早期に正しいナンバープレートの読み取り結果を得るナンバープレート読取装置を得ることを目的としている。

この発明に係るナンバープレート読取装置は、画像を入力する画像入力手段と、入力画像からナンバープレートを検出するナンバープレート検出手段と、前記ナンバープレート検出手段の検出結果から入力画像の認識容易性を表す評価値を求める画像評価値算出手段と、画像を保存する画像保存手段と、前記画像評価値算出手段の求めた評価値に基づいて入力画像を前記画像保存手段に保存するか否か決定する保存画像決定手段と、ナンバープレート内の文字パターンを認識するナンバープレート認識手段と、前記画像評価値算出手段の求めた評価値に基づいて前記画像保存手段に保存されている画像の中から認識する画像を選択し前記ナンバープレート認識手段を起動すると共に、ナンバープレート認識手段の出力からナンバープレートデータを決定して出力する認識制御手段を備える。

この発明に係るナンバープレート読取装置によれば、画像の保存可能数が限られている場合でも、認識し易い画像を見落とすことなく保持・認識し、認識精度を高めることができる。また、認識し易い画像から順番に認識を行うことで、早期に正しいナンバープレートデータが得られる。

実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１はこの発明の実施の形態１を示す概略構成図である。図において、１は画像を入力する画像入力手段、２は入力画像からナンバープレートを検出するナンバープレート検出手段、３はナンバープレートの検出結果から入力画像の認識容易性を表す評価値を求める画像評価値算出手段、４は画像の評価値に基づいて入力画像を保存するか否か決定する保存画像決定手段、５は複数の画像を保存できる画像保存手段、６はナンバープレートを認識するナンバープレート認識手段、７は認識対象画像を選択してナンバープレート認識手段を起動すると共にナンバープレート認識手段の出力からナンバープレートデータを決定する認識制御手段である。

次に動作を図により説明する。図２と図３がこの発明の処理フロー図である。この実施の形態では、ナンバープレートの認識は他の動作と独立して動いているものとし、図２はナンバープレートの認識以外の処理、即ち画像の入力から画像保存手段への保存までの処理フローを、図３はナンバープレートの認識の処理フローを示している。ここでは、図４から図７までを用いて動作を説明する。図４は装置の設置例を示す図であり、８がカメラ、９が照明である。図４に示すように、この実施の形態では、道路脇に設置したカメラで斜め方向から車両前面を撮像するものとする。図５はカメラとナンバープレートの位置関係を示す例であり、道路を上から見た図である。図５において、１０〜１４はナンバープレート位置の時間的な変化を示し、車両の進行に伴って、当初１０の位置にあったナンバープレートが、１１、１２、１３、１４と移動している。図６はナンバープレートの構成文字を示し、１５は陸支コード、１６は車種コード、１７は用途コード、１８は一連番号である。図７はナンバープレートの水平方向サイズを表わす図であり、１９は一連番号の最初の桁の水平方向中心位置、２０は一連番号の最後の桁の水平方向中心位置、２１は一連番号の最初と最後の桁の水平方向における中心間距離である。

まず画像入力手段１が画像を入力する（ステップＳ１）。カメラは、図４に示すように道路脇に設置されており、車両は最初は遠方にあるため、図５においてプレート位置１０にあるナンバープレートが撮像され、入力画像としては、画像の左側にナンバープレートが小さめに写ったものが得られる。

そして、ナンバープレート検出手段２がナンバープレートを検出する（ステップＳ２）。ナンバーレートを検出する方法としては、例えば、三菱電機技報 Ｖｏｌ．６２ Ｎｏ．２ ｐｐ９−１２「ナンバープレート読取技術」の「４．ナンバープレート抽出と下段文字切り出し」に記載の方法を用いる。この結果、入力画像にナンバープレートがあれば、図６に示す一連番号１８の各桁の位置が得られる。このステップＳ２でナンバープレートが検出できなければ、今回の入力画像に対する処理を終了し、検出できていれば、次の処理へ進む（ステップＳ３）。

次に、画像評価値算出手段３が入力画像の評価値を算出する（ステップＳ４）。この実施の形態では、ナンバープレートの水平方向のサイズが大きいものに大きな評価値を与えることとし、図７に示す一連番号の最初と最後の桁の水平方向における中心間距離２１を計算して評価値とする。図４に示す設置条件の場合、垂直方向のサイズはナンバープレートがカメラ位置に近づくに従って大きくなるが、水平方向のサイズは、カメラとの距離に加えて角度も影響するため、カメラ位置に近づきすぎると水平方向のサイズが極度に低下する場合もある。文字パターンのサイズは水平・垂直でバランスのとれている方が認識し易いため、変動の大きい水平方向のサイズを評価値とすることで、認識し易い画像を選ぶことが可能となる。

その後、保存画像決定手段４が入力画像を保存するか否か決定し（ステップＳ５）、保存すると決定されたら画像保存手段５が入力画像を保存する（ステップＳ６）。この実施の形態では、画像保存手段５には二つの画像を保存できるものとし、保存画像決定手段４は、画像保存手段５に格納されている画像よりも入力画像の評価値の方が大きい場合、画像保存手段５内の評価値が最小の画像を入力画像に置き換えることとする。この結果、画像保存手段５内には常に評価値の大きいものが優先的に保存される。今回は、画像保存手段５内には一つも画像が格納されていないので、前記の入力画像（図５におけるプレート位置１０のナンバープレートの撮像画像）がそのまま保存される（ステップＳ６）。

以上のステップＳ１〜Ｓ６の処理は、カメラ８で画像を撮像する毎に繰り返される。この繰り返しの２回目以降のサイクルでは、図５におけるプレート位置１１、１２、１３、１４のナンバープレートの撮像画像が入力画像となるものとし、画像の評価値の大小関係は以下の通りとする。
プレート位置１０＜プレート位置１１＜プレート位置１４＜プレート位置１２＜プレート位置１３
この場合、２回目のサイクルではプレート位置１１の撮像画像が残り一つ分の空き領域に保存されるが、３回目のサイクルでプレート位置１０の画像がプレート位置１２の画像に置き換えられ、４回目のサイクルでプレート位置１１の画像がプレート位置１３の画像に置き換えられる。５回目のサイクルでは、プレート位置１４の撮像画像の評価値は画像保存手段５内のどの画像よりも評価値が小さいので保存されず、５サイクルの処理の結果、プレート位置１２とプレート位置１３の二つの撮像画像が保存される。

一方、図３のナンバープレートの認識は、前述の通り、図２のステップＳ１〜Ｓ６の画像保存の処理とは独立しており、所定の条件が成立したら動作を開始する。例えば、画像保存手段５内に画像が保存された状態で、ステップＳ２のナンバープレート検出とステップＳ３のナンバープレート有無の判定によりナンバープレートが所定サイクル数検出できないことを条件とする。この場合、車両はカメラの視野範囲を通過したと考えられ、この実施の形態では、このタイミングで認識を開始する。以下、図３の処理フローを説明する。

まず、認識制御手段７は画像保存手段５に格納されている画像の中から評価値に基づいて認識対象画像を選択する（ステップＴ１）。この実施の形態では、認識未実施の保存画像のうち、最も評価値の大きいものを選択することとし、図５に示すプレート位置１３の画像を選択する。

次に認識制御手段７は、ナンバープレート認識手段６を起動して、選択した画像を認識させる（ステップＴ２）。ナンバープレートの認識方法としては、例えば、前記三菱電機技報の同一文献「５．上段文字切り出し」と「６．文字認識」に記載の方法を用いる。

その後、認識制御手段７はナンバープレート認識手段６の出力を参照して、認識できなかった文字（認識不可文字）があるか否かをチェックし（ステップＴ３）、認識不可文字がなければステップＴ５へ進む。認識不可文字がある場合は、画像保存手段５に未処理の画像が残っているかチェックし（ステップＴ４）、画像がなければステップＴ５へ進むが、画像が残っていればステップＴ１へ戻って、次に認識すべき画像を選択する。このように、認識不可文字の無いプレート認識結果が得られるまで、保存画像の認識を繰り返す。

最後に認識制御手段７は、出力するナンバープレートデータを決定し、そのデータを出力する（ステップＴ５）。例えば、認識不可文字のない認識結果が得られていたら、その結果をそのままナンバープレートデータとして出力し、全ての認識結果に認識不可文字があれば、認識不可文字数の最も少ない認識結果をナンバープレートデータとして出力する。例えば、図７の画像のナンバープレートデータは、認識不可や誤認識がなければ、「湘南 500 は 4249」となる。

この実施の形態では、以上の工程を経ることで、画像の保存可能数が限られている場合でも、認識し易い画像を見落とすことなく保持・認識し、認識精度を高めることができる。また、認識し易い画像から順番に認識を行うことで、早期に正しいナンバープレートデータが得られる。なお、この実施の形態では、画像保存手段に二つの画像しか保存できない例で説明したが、これは複数ならばいくつでも良い。画像保存手段に十分大きな記憶容量を与えれば、一般的な速度で走行する車両に対し、ナンバープレート検出できた全ての画像を保存することも可能である。また、画像保存手段に入力画像全体を保存するようにしたが、これは検出したナンバープレート領域の画像部分だけを抽出して保存するようにしても良く、そうすることで記憶容量を節約できる。また、ナンバープレートの水平方向サイズを評価値としたが、これは、ナンバープレート検出結果から得られる情報で、読み取り易さの指標になるものなら別のものでも良く、例えば垂直方向サイズと水平方向サイズの両者から評価値を計算するようにしても良い。また、ナンバープレートデータ決定の際、認識不可文字数の最も少ない認識結果を選ぶようにしたが、これは別の方法で選択しても良く、例えば、認識の結果得られた各文字の類似度の平均値をとり、この値が最大となる認識結果を選んでも良い。また、ナンバープレートデータを認識結果の文字列としたが、これは別の情報、例えば、ナンバープレートの大きさや色などを加えても良い。

実施の形態２．
以下、この発明の実施の形態２を図について説明する。概略構成図は実施の形態１と同じく図１であるが、実施の形態１とは画像評価値算出手段３における評価値の算出方法並びに認識制御手段７の動作および認識制御手段７の動作によるナンバープレート認識手段６の起動開始のタイミングが異なる。
次に動作を図により説明する。この実施の形態の処理フローは図８と図９であり、図８がナンバープレートの認識以外の処理フローを、図９がナンバープレートの認識の処理フローを示す。ここでは入力画像におけるナンバープレート検出位置と評価値との関係を説明するための図１０を用いて動作を説明する。図１０において、２２は入力画像全体、２３は入力画像中で照明の明るさが低下する右端の認識し難い領域、２４〜２５は検出したナンバープレート位置である。なお、装置は実施の形態１と同様に図４の態様で設置されているものとするが、実施の形態１ではナンバープレートが検出できなくなってから認識を開始したのに対し、この実施の形態では、ナンバープレートが検出できている状態で、ナンバープレート検出と並行にナンバープレート認識手段６は認識を行う。

まず、図８の処理フローを説明すると、実施の形態１と同様の手順で、画像入力手段１が画像を入力し（ステップＵ１）、ナンバープレート検出手段２がナンバープレートを検出し（ステップＵ２）、ナンバープレートが検出できていれば（ステップＵ３）、画像評価値算出手段３が入力画像の評価値を算出する（ステップＵ４）。この実施の形態では、実施の形態１で用いたナンバープレートの水平方向サイズと、画像中のナンバープレート検出位置に応じた値から画像の評価値を算出するものとする。例えば、図１０の例では、入力画像２２の中で照明の明るさが低下する右端の領域２３は認識しづらい画像領域であり、この位置で検出されたナンバープレートの画像に対しては、検出位置に応じたオフセット値として所定の数だけ評価値を小さくする。この結果、例えばナンバープレート位置２４とナンバープレート位置２５でナンバープレートの水平方向サイズがあまり変わらない場合でも、ナンバープレート位置２５の方の評価値が確実に小さくなり、認識し易いナンバープレート位置２４の画像が選択される。

その後、実施の形態１と同様に、保存画像決定手段４が入力画像を評価値に基づいて保存するか否か決定し（ステップＵ５）、保存すると決定されたら画像保存手段５が入力画像を保存する（ステップＵ６）。この実施の形態では、ナンバープレート検出と並行に認識を行うため、新たな画像が画像保存手段５に保存される度に、認識制御手段７はナンバープレート認識手段６による認識サイクルが実行中か否か調べ（ステップＵ７）、実行中でなければナンバープレート認識手段６を起動し、認識サイクルを起動する（ステップＵ８）。ここで、認識サイクルとは図９の一連の処理を意味し、この動作は、図８の処理と並行に行われるものとする。例えば、図８の処理はカメラから画像が入力される度に起動されるが、その処理時間、即ち画像入力から画像保存の処理時間が画像の入力間隔よりも短いならば、図８の処理が一度終わった後、再度起動されるまで（次の画像の入力時刻になるまで）一定の空き時間が存在し、この空き時間で図９の処理を進めることができる。

以下、図９の処理フローを説明する。まず実施の形態１と同様に、認識制御手段７は画像保存手段５に格納されている保存画像の中から認識未実施の画像で評価値の最も大きいものを認識対象画像として選択し（ステップＶ１）、ナンバープレート認識手段６を起動して認識させる（ステップＶ２）。ここで、認識が終了した保存画像については、画像保存手段５にその情報を付加して格納エリアを解放し、新たにナンバープレートが検出された画像を保存できるように空けておく。

その後、認識制御手段７は、図示しない通信手段を通して、ナンバープレート読取装置の読み取り結果を利用するシステムのホスト計算機からナンバープレートデータの送信要求が来ているか否かをチェックする（ステップＶ３）。ここで送信要求が来ていればステップＶ５へ進み、ナンバープレートデータを決定し出力する。送信要求が来ていなければ、画像保存手段５に未処理の画像が残っているかチェックする（ステップＶ４）。ここで画像がなければステップＶ５へ進み、ナンバープレートデータを決定し出力する。画像が残っていればステップＶ１へ戻って、次に認識すべき画像を選択する。このように、保存画像を全て認識するか、あるいはナンバープレートデータの送信要求が来るまで、保存画像の認識を繰り返す。最後に認識制御手段７は、実施の形態１と同様の方法で、ナンバープレートデータを決定し出力する（ステップＶ５）。

この実施の形態では、以上の工程を経ることで、あらかじめ認識しづらいことが分かっている画像領域で検出された画像はなるべく選択しないようにして、真に認識し易いナンバープレートの画像を認識に用いることができる。また、ナンバープレートの検出と認識を並行に動作させることで装置の空き時間をなくし、さらに、認識結果の送信要求が来るまで認識を繰り返すため、できる限り多くの時間を認識に用いることができ、正しく認識できる割合を向上させることができる。なお、この実施の形態では、ナンバープレートの検出位置に応じた評価値を、画像中の水平位置に応じて設定したが、これは別の設定方法でも良く、水平・垂直両方の位置で決定するようにしても良い。また、影の影響を避ける場合など、時刻に応じて設定内容を変えても良い。

実施の形態３．
以下、この発明の実施の形態３を図について説明する。概略構成図は実施の形態１と同じく図１である。実施の形態１とは画像評価値算出手段３の評価値の算出方法並びに認識制御手段７の動作および認識制御手段７の動作によるナンバープレート認識手段６の動作が異なる。
次に動作を図により説明する。この実施の形態の処理フローは図１１と図１２であり、図１１がナンバープレートの認識以外の処理フローを、図１２がナンバープレートの認識の処理フローを示す。ここでは、図１３のナンバープレート検出結果を用いて動作を説明する。図１３において、２６〜２９はナンバープレート検出手段２で検出された一連番号の画像内位置、３０は一連番号位置２６〜２９を基準に求めた上段文字領域である。なお、この実施の形態も、ナンバープレートの検出と並行してナンバープレート認識を行うものである。

まず、図１１の処理フローを説明する。実施の形態１と同様の手順で、画像入力手段１が画像を入力し（ステップＡ１）、ナンバープレート検出手段２がナンバープレートを検出し（ステップＡ２）、ナンバープレートが検出できていれば（ステップＡ３）、画像評価値算出手段３が入力画像の評価値を算出する（ステップＡ４）。この実施の形態では、入力画像は１画素８ビット（２５６レベル）の濃淡画像であり、ナンバープレート領域の画素値の分布に基づいて画像の評価値を算出するものとする。例えば、一連番号領域２６〜２９や上段領域３０について、コントラストを示す画素値の分散や最大画素値と最小画素値の差を評価値とする。

次に、保存画像決定手段４は、検出されたナンバープレートが画像保存手段５に保存されている画像のナンバープレートと同一であるか判定を行う（ステップＡ５）。これは、例えばナンバープレート検出位置を比較することで判定する。図４の設置の場合、ナンバープレートは画像中を左から右へ移動する。従って、新たに検出されたナンバープレートの水平位置が、画像保存手段５に最後に保存された画像の水平位置と同じ位置か、あるいは水平位置よりも右側にあれば、それは同一のナンバープレートと判断できる。逆に、新たに検出されたナンバープレートの方が所定値以上左側にあれば、それは初めて検出した新規のナンバープレートと考えられる。

そして保存画像決定手段４は、入力画像を保存するか否か決定し（ステップＡ６）、保存すると決定されたら画像保存手段５が入力画像を保存する（ステップＡ７）。ステップＡ６においては、ステップＡ５で同一のナンバープレートと判定された場合、画像保存手段５に空きがある時は、実施の形態１と同じ動作で入力画像を保存するよう決定し、画像保存手段５に空きがない時は、評価値の大きいものから順に実施の形態１と同じ動作で保存するよう決定する。ステップＡ５で異なるナンバープレートと判定された場合は、その入力画像を保存するよう決定する。

その後、実施の形態２と同様に、認識制御手段７はナンバープレート認識手段６による認識サイクルが実行中か否か調べ（ステップＡ８）、実行中でなければ認識サイクルを起動する（ステップＡ９）。実行中の場合は、ステップＡ５で新規のナンバープレートが検出されているか否かチェックし（ステップＡ１０）、新規のナンバープレートが検出されていれば認識サイクルの再起動を行う（ステップＡ１１）。この認識サイクル再起動では、前のナンバープレートに対する実行中の認識サイクルが終了するまで待ち、終了したら、新規のナンバープレートに対する認識サイクルを起動する。

以下、図１２の認識サイクルの処理フローを説明する。まず実施の形態１と同様に、認識制御手段７は画像保存手段５に格納されている保存画像の中から評価値を基に認識対象画像を選択し（ステップＢ１）、ナンバープレート認識手段６を起動して認識させる（ステップＢ２）。その後、認識制御手段７は、保存画像決定手段４によるナンバープレートの同一性判定結果を参照し（ステップＢ３）、新規のナンバープレートが検出されている場合にはステップＢ６へ進むが、検出されていない場合は、認識不可文字がある否かのチェックを行い（ステップＢ４）、認識不可文字がなければステップＢ６へ、認識不可文字があればステップＢ５へ進む。ステップＢ５では、画像保存手段５に未処理の画像が残っているかチェックし、画像がなければステップＢ６へ進むが、画像が残っていればステップＢ１へ戻って、次に認識すべき画像を選択する。このように、認識不可文字の無いプレート認識結果が得られるか、新規のナンバープレートが検出されるまで、保存画像の認識を繰り返す。

最後に認識制御手段７は、実施の形態１と同様の手順で、ナンバープレートデータを決定し、出力を行う（ステップＢ６）。

この実施の形態では、以上の工程を経ることで、ナンバープレート部分の画像の状態を的確に捉えて認識し易い画像を選択できる。また、新規のナンバープレートが出現するまで認識を繰り返すことで、最大限の時間を認識に用いることができ、正しく認識できる割合を向上させることができる。なお、この実施の形態では、入力画像を１画素８ビット（２５６レベル）の濃淡画像としたが、これに限らず、例えば１画素２４ビットのカラー画像でも良い。また、画像の評価値として、コントラストを示す画素値の分散や最大画素値と最小画素値の差を用いたが、これ以外の算出法で評価値を求めても良い。

実施の形態４．
以下、この発明の実施の形態４を図について説明する。概略構成図は実施の形態１と同じく図１である。この実施の形態は複数種類のナンバープレートの認識とその種類の判定も行うもので、実施の形態１とは認識制御手段７およびナンバープレート認識手段６の動作が異なる。
次に動作を図により説明する。この実施の形態の処理フローは図２と図１４であり、図２がナンバープレートの認識以外の処理フローを、図１４がナンバープレートの認識の処理フローである。ここでは、図１５を用いて動作を説明する。図１５は、カメラとナンバープレートの位置関係を示す例であり、３１と３２はナンバープレート位置である。なおこの実施の形態では、複数種類のナンバープレートを対象とし、種類の判定も行う例を説明する。

まず、図２の処理フローでナンバープレートの認識以外の動作を説明する。実施の形態１と同様の手順で、画像入力手段１が画像を入力し（ステップＳ１）、ナンバープレート検出手段２がナンバープレートを検出する（ステップＳ２）。この実施の形態では、ナンバープレート検出手段２は、大きさの異なる２種類のナンバープレート（縦１６５ｍｍ×横３３０ｍｍのものと縦２２０ｍｍ×横４４０ｍｍのもの）を検出対象にするものとする（「自動車登録関係通達・情報集」 交文社発行 平成12年ｐｐ．１１０１〜１１０３に記載）。
このうち、小さい方を中型、大きい方を大型と呼ぶ。この２種類のナンバープレートでは、一連番号の大きさや配置は相似関係に近いため、絶対的な大きさが分からない場合、ナンバープレート検出の結果から種類を判定することは難しい。例えば、図１５において、カメラから近いプレート位置３１にある中型プレートと、遠いプレート位置３２にある大型プレートでは、画像中の一連番号の大きさがほとんど同じになるので区別はつかない。このため、ステップＳ２では、検出したナンバープレートの種類は判定しない。

そして、ステップＳ２でナンバープレートが検出できていれば（ステップＳ３）、画像評価値算出手段３が入力画像の評価値を算出する（ステップＳ４）。この実施の形態では、望ましい一連番号の大きさや間隔の値を、中型プレートとしても大型プレートとしても認識できるサイズの範囲として、あらかじめ保持しておき、ステップＳ２で検出されたナンバープレートがこの範囲内にあれば、実施の形態１で用いたナンバープレートの水平方向サイズを評価値とし、この範囲外であれば、前記ナンバープレートの水平方向サイズを所定の数だけ小さくした値とする。この結果、どの種類のプレートであっても認識精度の高い画像の評価値が確実に高くなる。

後は実施の形態１と同じであり、保存画像決定手段４が入力画像を保存するか否か決定し（ステップＳ５）、保存すると決定されたら画像保存手段５が入力画像を保存する（ステップＳ６）。

図１４のナンバープレートの認識の方法は、実施の形態１と同様に、ナンバープレートの検出が所定サイクル数できないことを条件として処理を開始するものとし、以下、図１４の処理を説明する。まず、実際の形態１と同様に、認識制御手段７が画像保存手段５に格納されている画像の中から認識対象画像を選択する（ステップＣ１）。そして、認識制御手段７はナンバープレート認識手段６を起動する。この実施の形態では、ナンバープレート認識手段６は、まず中型プレートのパラメータを用いて認識を行い（ステップＣ２）、続いて大型プレートのパラメータを用いて認識を行う（ステップＣ３）。例えば、一連番号と他の文字との相対的な位置関係（縦方向と横方向の寸法比率）は中型プレートと大型プレートで異なる。これをそれぞれパラメータとして保持しておき、このパラメータで一連番号以外の文字の切り出しを行い、切り出した文字パターンを認識する。

その後、認識制御手段７は認識不可文字があるか否かをチェックし（ステップＣ４）、認識不可文字がなければステップＣ６へ進む。認識不可文字がある場合は、画像保存手段５に未処理の画像が残っているかチェックし（ステップＣ５）、画像がなければステップＣ６へ進むが、画像が残っていればステップＣ１へ戻って、次に認識すべき画像を選択する。

最後に認識制御手段７は、出力するナンバープレートデータとプレート種類を決定し、そのデータを出力する（ステップＣ６）。この際、得られた複数の認識結果の中から、所定の選択基準でナンバープレートデータとする認識結果を決定し、その結果を得たときのパラメータが中型プレートのものであればプレート種類を中型とし、大型プレートのものであればプレート種類を大型とする。そして、決定したナンバープレートデータとプレート種類を出力する。所定の選択基準とは、例えば、中型プレートのパラメータを用いた認識結果と大型プレートのパラメータを用いた認識結果を比較し、認識不可文字の少ないことや、認識結果の平均類似度が大きいこと、あるいは、切り出した文字パターンの位置とパラメータとして保持している文字位置との整合度合いなどが使用できる。

この実施の形態では、以上の工程を経ることで、複数種類ある中で、どのナンバープレートを検出したか分からない場合でも、認識し易い画像を選択でき、精度良く認識することができる。また、文字認識の結果でプレート種類を判定しているので、プレート種類を精度良く判定できる。

実施の形態５．
以下、この発明の実施の形態５を図について説明する。概略構成図は実施の形態１と同じく図１である。
次に動作を図により説明する。この実施の形態の処理フローは図２と図１６であり、図２がナンバープレートの認識以外の処理フローを、図１６がナンバープレートの認識の処理フローである。この実施の形態では、実施の形態４と同様に中型・大型の２種類のナンバープレートを対象とした例を説明する。

まず、図２の処理フローでナンバープレートの認識以外の動作を説明すると、実施の形態１と同様の手順で、画像入力手段１が画像を入力し（ステップＳ１）、ナンバープレート検出手段２がナンバープレートを検出する（ステップＳ２）。ここでナンバープレートが検出できていれば（ステップＳ３）、画像評価値算出手段３が入力画像の評価値を算出する（ステップＳ４）。この実施の形態では、中型プレートとして認識し易い水平方向サイズを中型標準サイズＬｍとし、また同様に大型プレートとして認識し易い水平方向サイズを大型標準サイズＬｌとして、下記の式に従ってプレート種類毎に評価値を計算する。ただし、absは絶対値をとる演算子、Ｃは定数、Ｌｉはナンバープレート検出結果から得た水平方向サイズであり、この算式によれば、標準サイズに近いものほど大きな評価値が算出される。
中型の評価値 ＝ Ｃ−abs（Ｌｉ−Ｌｍ）
大型の評価値 ＝ Ｃ−abs（Ｌｉ−Ｌｌ）

後は実施の形態１と同じであり、保存画像決定手段４が評価値を基に入力画像を保存するか否か決定し（ステップＳ５）、保存すると決定されたら画像保存手段５が入力画像を保存する（ステップＳ６）。

図１６のナンバープレートの認識の方法は、実施の形態１と同様に、ナンバープレートが所定サイクル数検出できないことを条件として処理を開始するものとし、以下、図１６の処理を説明する。まず、実際の形態１と同様に、認識制御手段７が画像保存手段５に格納されている画像の中から評価値を基に認識対象画像を選択する（ステップＤ１）。この時、各画像には中型・大型の二つの評価値が付いているが、このうち大きい方の値を当該画像の評価値と見なす。

次に、ナンバープレート認識手段６が認識を行うが（ステップＤ２）、この実施の形態では、対象画像に付いている二つの評価値のうち、大型の方が大きければ大型プレートのパラメータを用いて認識し、それ以外なら中型プレートのパラメータを用いて認識するものとする。このようにすると、例えば大型プレートの場合は、車両進入直後でカメラから遠くにある時の画像はサイズが小さいため中型として認識し、カメラに近づいて大きく写った画像は大型として認識することになり、カメラから遠い位置の画像を正しいパラメータで認識できなくなるが、元々標準サイズと大きく異なる条件で得た画像は認識しづらいため、影響はほとんどない。

その後は実施の形態４と同様であり、認識不可文字の有無をチェックし（ステップＤ３）、画像保存手段５に未処理の画像が残っているかチェックする（ステップＤ４）。ここで未処理の画像が残っていればステップＤ１へ戻って、次に認識すべき画像を選択するが、画像がなければ、プレート種類は評価値に基づき、ナンバープレートデータはナンバープレート認識手段６の認識により決定される（ステップＤ５）。

この実施の形態では、以上の工程を経ることで、複数種類のナンバープレートを対象とする場合でも、一つの画像に対する認識回数を抑えて、より多くの画像を認識でき、認識精度を向上させることができる。

なお、実施の形態４と実施の形態５では、ナンバープレートの種類を中型と大型の２種類としたが、これに限るものではなく、もっと多くの種類を対象としても良い。

この発明は、自動車のナンバープレート読取装置に適用されると走行中の自動車のナンバープレートの認識精度を向上させることができる。

この発明の実施の形態１を示す概略構成図である。 画像の入力から保存までの処理フロー図である。 ナンバープレートの認識の処理フロー図である。 カメラと照明の設置例を示す図である。 カメラとナンバープレートの位置関係を示す図である。 ナンバープレートの構成文字を示す図である。 ナンバープレートの水平方向サイズを表わす図である。 実施の形態２のナンバープレートの認識以外の処理フロー図である。 実施の形態２におけるナンバープレートの認識の処理フロー図である。 実施の形態２における評価値算出法説明用の図である。 実施の形態３におけるナンバープレートの認識以外の処理フロー図である。 実施の形態３におけるナンバープレートの認識の処理フロー図である。 実施の形態３における評価値算出法説明用の図である。 実施の形態４におけるナンバープレートの認識の処理フロー図である。 実施の形態４におけるカメラとナンバープレートの位置関係を示す図である。 実施の形態５におけるナンバープレートの認識の処理フロー図である。

符号の説明

１：画像入力手段、２：ナンバープレート検出手段、３：画像評価値算出手段、４：保存画像決定手段、５：画像保存手段、６：ナンバープレート認識手段、７：認識制御手段、８：カメラ、９：照明、１５：陸支コード、１６：車種コード、１７：用途コード、１８：一連番号、１９：一連番号の最初の桁の水平方向中心位置、２０：一連番号の最後の桁の水平方向中心位置、２１：一連番号の最初と最後の桁の水平方向における中心間距離、２２：入力画像、２３：認識しづらい画像領域、２４、２５：ナンバープレート位置、２６〜２９：一連番号の画像内位置、３０：一連番号の上段文字領域。

Claims (7)

1. 画像を入力する画像入力手段と、
   入力画像からナンバープレートを検出するナンバープレート検出手段と、
   前記ナンバープレート検出手段の検出結果から入力画像の認識容易性を表す評価値を求める画像評価値算出手段と、
   画像を保存する画像保存手段と、
   前記画像評価値算出手段の求めた評価値に基づいて入力画像を前記画像保存手段に保存するか否か決定する保存画像決定手段と、
   ナンバープレート内の文字パターンを認識するナンバープレート認識手段と、
   前記画像評価値算出手段の求めた評価値に基づいて前記画像保存手段に保存されている画像の中から認識する画像を選択し前記ナンバープレート認識手段を起動すると共に、ナンバープレート認識手段の出力からナンバープレートデータを決定して出力する認識制御手段を備えたナンバープレート読取装置。
2. 前記画像評価値算出手段は、検出したナンバープレートの大きさ情報と入力画像内の位置情報のどちらか一方又は両者に基づいて入力画像の評価値を求めることを特徴とする請求項１記載のナンバープレート読取装置。
3. 前記画像評価値算出手段は、検出したナンバープレート領域の画素値の分布に基づいて入力画像の評価値を求めることを特徴とする請求項１記載のナンバープレート読取装置。
4. 前記認識制御手段は、外部に接続された読取結果を利用するシステムのホスト計算機から読取結果の要求が来るまで前記ナンバープレート認識手段の起動を繰り返す構成にされたことを特徴とする請求項１乃至３の何れかに記載のナンバープレート読取装置。
5. 前記保存画像決定手段は、検出されたナンバープレートが前記画像保存手段に保存されている画像のナンバープレートと同一であるか否か判定して、画像を保存するか否かを決定し、
   前記認識制御手段は、前記保存画像決定手段の判定結果が同一となっている限り、前記ナンバープレート認識手段の起動を繰り返す構成にされたことを特徴とする請求項１乃至３の何れかに記載のナンバープレート読取装置。
6. 前記ナンバープレート認識手段は前記ナンバープレート検出手段の検出したナンバープレートをプレート種類別に定められた複数種類のパラメータで認識し、
   前記認識制御手段は、ナンバープレート認識手段の出力からナンバープレートの種類を判定する構成にされたことを特徴とする請求項１乃至３の何れかに記載のナンバープレート読取装置。
7. 前記画像評価値算出手段は、プレート種類別に定められた算出方法の全てを用いて画像の評価値を求め、
   前記認識制御手段は、評価値に基づいて前記ナンバープレート認識手段の認識対象画像の選択とナンバープレートの種類の判定を行う構成にされたことを特徴とする請求項１乃至３の何れかに記載のナンバープレート読取装置。

Images