JP2009169827A - ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム - Google Patents

Abstract

【課題】特定のカメラにおいて撮像条件が低下してしまっても認識精度の低下を低減することができるナンバープレート認識装置を提供する。
【解決手段】進入する車両のナンバープレートを撮像する複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識部と、前記第１の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識部とを有する。
【選択図】図１

Description

本発明は、車両のナンバープレートの文字列を認識するナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムに関する。

従来から、有料道路や駐車場等において、進入する車両のナンバープレートをカメラで撮像し、撮像結果からナンバープレートの文字列を認識するナンバープレート認識装置が提供されている。ここでは、同じ車両のナンバープレートを異なるタイミングで撮像して、複数の画像を得て、これらの画像のそれぞれに対してナンバープレートの文字列の認識を行って複数の認識結果を得る。そして、この複数の認識結果から、最終的な文字列の認識結果を得るものがある（例えば、特許文献１）。
特許第３９１７２５２号

しかしながら、特許文献１に示すナンバープレート認識装置にあっては、カメラの設置位置や撮像状況、ナンバープレートの取り付け位置等によっては、異なるタイミングでナンバープレートを撮像しても、光の反射が生じたり、カメラとナンバープレートの間に障害物等が入り込んだりする場合が発生してしまう。そうすると、ナンバープレート全体あるいはナンバープレートの特定の文字を撮像する撮像条件が悪くなり、これにより、ナンバープレートの文字列の認識精度が低下してしまう場合があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、特定のカメラにおいて撮像条件が低下してしまっても認識精度の低下を低減することができるナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムを提供することにある。

上述した課題を解決するために、本発明は、進入する車両のナンバープレートを撮像する複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識部と、前記第１の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識部とを有することを特徴とする。

この発明によれば、複数のカメラのそれぞれが車両の撮像を行い、カメラ毎の撮像結果をそれぞれ文字列の認識を行う。そして、カメラ毎に得られる文字列の認識結果を用いて文字列の補完処理を行うようにした。これにより、同一の車両について複数のカメラから得られる撮像結果を利用した補完処理を行うことができるので、いずれかのカメラにおいて車両の撮像状態が悪かったとしても、他のカメラで撮像して文字認識した結果を用いて補完することができるようになり、文字列の認識精度が低減してしまうことを防止することができる。

また、本発明は、前記第１の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第２の文字列認識部に出力することを特徴とする。

また、本発明は、前記複数のカメラのうち少なくとも２つが、撮像範囲が重複していることを特徴とする。

また、本発明は、進入する車両のナンバープレートをカメラによって撮像するステップと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識ステップと、前記第１の文字列認識ステップによって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識ステップと、を有すること特徴とする。

また、本発明は、コンピュータを、進入する車両のナンバープレートをカメラによって撮像する手段、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識手段、前記第１の文字列認識手段によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識手段、として機能させるためのナンバープレート認識プログラムである。

以上の発明によれば、カメラの撮像結果から精度良くナンバープレートの文字認識を行うことができるので、文字認識の結果を参照することにより車両の同定を行うこともできるようになり、車両の同定に、車両検知器を用いる必要もなくなる。
また、同一車両を複数のカメラで撮像することができればよいので、例えば、車両が車線変更などにより隣接カメラの視野内に入ることがあれば、同一の車両を複数のカメラで撮像することが可能であるので、複数のカメラの視野が必ずしも重複していなくてもよい。

以上説明したように、この発明によれば、複数のカメラでナンバープレートの撮像を行い、それぞれのカメラの撮像結果から文字認識を行うことで、異なるカメラで撮像された複数の認識結果を得ることができ、この複数の認識結果をもとに、文字認識を行うようにしたので、いずれかのカメラにおける撮像状況が悪く、ナンバープレートの良好な撮像結果が得られなくても、他のカメラで撮像された撮像結果から得られた認識結果を利用して最終的な文字認識を行うことができ、文字認識精度が低減してしまうことを防止することができる。また、一つのカメラでの撮像結果から得られる文字認識結果に比べて、複数のカメラで撮像された結果をもとに、文字認識結果を補完することができるので、従来に比べて認識精度を向上させることができる。

以下、本発明の一実施形態によるナンバープレート認識装置について図面を参照して説明する。図１は、この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。
この図において、複数のカメラ１、カメラ２、・・・カメラＮは、例えば料金所や駐車場等の車両が通過する場所に設置され、通過ポイントに進入する車両のナンバープレートを撮像する。この各カメラの撮像範囲は、少なくとも、異なるカメラの撮像範囲の一部が重なっており、その重複範囲において車両のナンバープレートを撮像できるようになっていればよい。例えば、料金所において、カメラ１が、第１の走行レーンと第２の走行レーンを撮像し、カメラ２が第２の走行レーンと第３の走行レーンを撮像するようにすることにより、第２の走行レーンについては、撮像対象に対し、異なる方向から撮像することによって、同じ時刻に撮像したとしても、異なる撮像結果を得ることができる。

コントローラ１０１、コントローラ１０２、コントローラ１０Ｍ（ただし、Ｍ＝Ｎ）は、それぞれ、異なる１台のカメラに接続されており、この接続されたカメラから得られる撮像結果から、ナンバープレートの文字列を認識し、認識結果を出力する。このコントローラ１０１、コントローラ１０２、コントローラ１０Ｍが、上述の第１の文字認識部に相当する。
コントローラ２０１は、コントローラ１０１、コントローラ１０２、コントローラ１０Ｍに接続されており、これらのコントローラから出力されるそれぞれの認識結果に基づいて、文字列の補完をする処理を行い、認識結果を出力する。この出力先としては、例えば、カメラが設けられた料金所や駐車場等を監視する監視装置である。

次に、コントローラ１０１の処理について図面を用いて説明する。ここでは、コントローラ１０１の処理について説明するが、他のコントローラにおいても同様の処理が行われる。
図２は、コントローラ１０１の処理を説明するフローチャートである。ここでは、動画像をキャプチャすることにより、１台の車両がカメラ視野を通過する間に同一車両を数フレーム分得ることになる。従って、同一車両の数フレームについて、ナンバープレートの認識処理を行い、認識結果となる文字列の一部に不明文字（例えば、認識結果が‘？’として得られた文字）が混在している場合に、複数のフレームによって得られた認識結果を用いて相互に補間する。これにより、１枚のフレームから得られた認識結果よりも認識ができる文字列の数を増やすことができ、全ての文字列、あるいは全ての文字列に近い数の文字列についての認識結果を導き出す（マージ処理）。これにより、1枚のみ撮像する方式に比べ、文字列の認識率を向上することが可能である。
まず、コントローラは、自身に接続されたカメラ１からの動画像をフレーム単位でキャプチャしてナンバープレートの認識処理を開始すると（ステップＳ１）、キャプチャしたフレームから、車両が検出されたか否かを判定する（ステップＳ２）。車両が検出された場合、即ち、キャプチャしたフレームからナンバープレートの文字列があることが検出された場合、同一車両であるか否かを判定する（ステップＳ３）。この同一車両であるか否かの判定は、キャプチャしたフレームよりも前に得られた数フレーム分のフレームから得られた文字列の一部が一致するか否かに基づいて行われる。
同一車両であると判定されると、コントローラ１０１は、その認識結果を記憶部に記憶する。

一方、同一車両ではないと判定された場合、コントローラ１０１は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し（ステップＳ６）、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い、認識結果を上位であるコントローラ２０１に認識結果を出力する（ステップＳ７）。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。

一方、ステップＳ２において、車両が検出されなかった場合は、一定時間が経過したか否かを判定し（ステップＳ）、一定時間が経過していなければ、ステップＳ１に移行し、一定時間が経過していれば、コントローラ１０１は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い（ステップＳ９）、認識結果を上位であるコントローラ２０１に認識結果を出力する（ステップＳ１０）。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。

次に、ステップＳ４における同一車両の判定処理について説明する。
図３は、同一車両の判定処理について説明するフローチャートである。
まず、車両が検出された場合に（ステップＳ２０）、同一車両か別車両かの判定処理を開始する（ステップＳ２１）。ここでは、キャプチャしたフレームの過去数フレームを参照し、それらのフレームの認識結果と比較して、ナンバープレート位置を検出し、そのナンバープレートの位置が予め設定されている位置よりも下であるか否かを判定し（ステップＳ２２）、予め決められた位置よりも下であると判定された場合に、ナンバープレートの色を検出し、今回得られたフレームと過去のフレーム間で同じ色であるか否かを判定する（ステップＳ２３）。

ナンバープレートの色がおなじであることが検出されると、ナンバープレートを撮像の段数を検出し、今回得られたフレームの段数と過去のフレームで得られた段数とが同じ段数であるか否かを判定する（ステップＳ２４）。ここでいう段数は、例えば、ナンバープレートが複数段設けられる場合もあるからである。

ナンバープレートの段数が同じであると判定されると、前回車両を検出してから一定時間内であるか否かを判定する（ステップＳ２５）。ここでは、例えば、カメラの撮像結果から１秒間に何枚のフレームを得るのか、その間隔によって決められる。例えば、前回車両が検出されたフレームから３枚分のフレームが得られた時間が経過したか否かを検出することにより、一定時間が経過したか否かを判定する。

ここで、一定時間内であると判定された場合には、同一車両として判定し、図２のステップ５に移行する。ここで、ステップＳ２２からステップＳ２５において、ＮＯと判定された場合には、別車両として判定される（ステップＳ２７）。

次に、補完処理について、図面を用いて説明する。
この補完処理を行うにあたり、まずは、得られた認識結果のうち、２つの認識結果が同じ桁数（文字数）であるか否かを検出する。２つの桁数が同じである場合には、図４に示すように、同じ桁に同じ文字がある場合は補間可能と判定し、いずれの桁においてもそれぞれ対応する同じ桁に同じ文字がない場合（全ての文字が一致しない場合）は、補間不可能と判定する。
ここで、補完可能と判定された場合において、一方の認識結果の文字が不明を示す特定の文字（例えば、‘？’）であって、もう一方の認識結果の文字が‘？’ではない場合には、補完する。すなわち、‘？’を、もう一方の認識結果で得られた文字として認識結果を更新する。図４の上段の図では、「？ＨＣ８０２９Ｅ」と「Ｓ？Ｃ８０２９Ｅ」の認識結果を元に補完処理行い、「ＳＨＣ８０２９Ｅ」なる文字列として認識結果が得られている。
ここで、２つの認識結果において、一部異なる文字が存在する場合には、その桁の文字を認識結果‘？’として得る。例えば、図４の下段においては、「ＳＨＣ？０２９Ｅ」と「？ＨＣ８０２８Ｅ」なる認識結果を元に補完処理を行い、「ＳＨＣ８０２？Ｅ」なる結果が得られている。

一方、２つの認識結果が異なる桁数の場合には、図５に示すように、桁数の小さい方の認識結果を文字の先頭位置を変えて（ずらして）２回行う。対応する桁がない部分は、桁数の大きいほうの認識結果を採用する。先頭位置を変えた両方で補間可能な場合は２つとも認識結果として得る。図５においては、「ＳＨＣ？０２９Ｅ」と「ＨＣ８０２９Ｅ」との認識結果から、‘Ｈ’の文字の桁の位置を合わせることにより、「ＳＨＣ８０２９Ｅ」なる認識結果がえられている。

このようにして、得られた認識結果から、補完結果を得る。例えば、図６に示すように、画像から得られた文字列の全ての組み合わせにおいて補完を行い、その補完結果において同じ結果となった個数をカウントするとともに、認識結果と同じものが候補に登録されていないとき（まだ得られていない認識結果が得られた場合）は、新たな候補として一時保存し、カウント対象とする。そして、カウント数が最も大きい認識結果を補完結果として出力をする。なお、単独１位のカウント結果がない場合には、認識結果が不明として出力する。

なお、補完処理は、図４から図６を用いて説明した補完処理の手法に限られるものではなく、複数の認識結果から補完処理を行うことができれば、図４から図６において説明した補完処理以外の手法の補完処理を適用するようにしてもよい。

次に、各コントローラ（コントローラ１０１、１０２、・・・・１０Ｎ）において認識結果から行うマージ処理について説明する。ここでは、各コントローラ（コントローラ１０１、１０２、・・・・１０Ｎ）から出力された結果は、例えば、図７に示すように、コントローラ２０１内のメモリ領域の予め決められた先頭アドレスから順に記憶されていき、不要となった認識結果については、順次削除される。

図８は、複数のカメラから得られた認識結果を用いてコントローラ２０１が行うマージ処理を説明するフローチャートである。このマージ処理においては、複数のカメラ間で同一車両の認識結果の重複の有無を判定し、重複している場合はマージ処理を行って、不要画像を削除して単一の認識結果と車両画像を監視装置等に出力するものである。
まず、各カメラから受信して一時的にメモリ領域（図７）内に蓄積されている認識結果の先頭データを読み出し（ステップＳ３０）、後続データがメモリ領域内に格納される時間に応じて予め決められた設定された時間分ウエイトし（ステップＳ３１）、先頭データの次のデータ（認識結果）を読み出す（ステップＳ３２）。ここで、後続データが存在するか否かに基づいて、正しく読み出されたか否かを判定し（ステップＳ３３）、後続データがあれば、認識時刻差が予め決められた時間内（例えば３秒以内）に撮像されたフレームから得られたデータがあるか否かを判定する（ステップＳ３４）。

所定の時間内のデータがあれば、取り出したデータがＸ（Ｘは、例えば１０など、予め決められた数）件目のデータであるか否かを判定し、Ｘ件目のデータである場合には、その先頭データと後続のデータとが、それぞれ隣接されたカメラによって撮像された結果から得られたデータであるか否かを判定する。この判定は、例えば、データに付与されている、文字認識されたコントローラの識別番号に基づき、設置位置が隣接するカメラであるか否かの判定を行う。ここでは、各コントローラの識別番号と当該識別番号が隣接するかを示す情報を予め記憶したテーブルを参照して判定するようにしてもよい。また、カメラは、必ずしも隣接設置されたものではなく、同一車両を撮像する可能性がある位置に配置されているか否かを判定するようにすることも可能である。

そして、カメラが隣接設置されたものであると判定された場合に、文字認識されたナンバープレートの色が同じであるか否かを判定し（ステップＳ３７）、同じである場合に、ナンバープレートの段数を判定し（ステップＳ３８）、同じである場合には、先頭データと後続データとを用いて補完処理を行い（ステップＳ３９）、補完処理結果のデータを先頭データと置き換える。ここで行われる補完処理は、上述した補完処理（例えば、図４〜図６）と同様の手法が適用可能である。
そして、補完処理が行われると、先頭データと同一車両のデータである後続データについて、メモリ領域内（図７）から削除し、補完処理結果を最終的に補完する別のメモリ領域である補完結果記憶領域に移動し（ステップＳ４１）、カウントアップしたデータの件数をリセットする。

これにより、先頭データと同一車両についてのデータがメモリ領域（図７）から削除され、補完された後の先頭データが補完結果記憶領域に移動され、先頭データの領域が空きとなるので、別の車両である後続データが先頭データとして繰り上がり、引き続き、ステップＳ３０からの処理が行われる。

ここで、ステップＳ３３、Ｓ３４、Ｓ３５において、ＮＯであると判定された場合には、ステップＳ４１に移行する。すなわち、一定時間ウエイトしても後続データがない場合や、認識時刻差が所定時間以内のデータが無い場合には、同一車両のデータが得られる見込みが無い（先頭データしかない）ものとして処理される。また、取り込んだデータの件数をカウントしていき、Ｘ件目のデータに達した場合には、同一車両のデータそのものが存在しないものとして処理を行い、ループ回数を制限する。

また、ステップＳ３６、Ｓ３７、Ｓ３８においてＮＯを判断された場合には、ステップＳ３２に移行し、今回読み取ったデータの次の後続データを読み出し、読み出したデータの件数をカウントアップして保持する。

以上説明した実施形態においては、ステップＳ３９においてマージ処理を行うようにしたので、同一の車両について、１つの認識結果のみを残すことができるので、同じ車両のデータを重複して保存することがなくなり、メモリ領域の利用効率を向上させることができる。
また、前段のコントローラとコントローラ２０１とを組み合わせるようにしたので、前段のコントローラで予め補完処理を行っておき上位機器（コントローラ２０１）に精度の良い認識結果を渡すことができ、上位のコントローラにおいては、車両１台につき１枚のみの付帯画像（キャプチャ画像）を残すことが可能である。

また、ステップＳ３１において、先頭データを取り出したのち、ウエイト時間を設けるようにしたので、まだメモリ領域に格納されていないが、前段のコントローラにて認識処理されたデータが取り込まれないままになってしまうことを回避することができる。

また、ステップＳ３６において、隣接するカメラ同士のデータを用いるようにしたので、例えば、カメラ視野端を通過する車両を撮像した隣接カメラにおいて同一車両の画像が得られていた場合には、その認識結果も利用した文字認識を行うことができる。

また、図１におけるコントローラ２０１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバープレート認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。 コントローラ１０１の処理を説明するフローチャートである。 同一車両の判定処理について説明するフローチャートである。 補完処理について説明する図面である。 補完処理について説明する図面である。 補完処理について説明する図面である。 メモリ領域に記憶されるデータの一例を示す図である。 複数のカメラから得られた認識結果を用いてコントローラ２０１が行うマージ処理を説明するフローチャートである。

符号の説明

１、２、Ｎ カメラ
１０１、１０２、１０Ｎ、２０１、コントローラ

Claims (5)

1. 進入する車両のナンバープレートを撮像する複数のカメラと、
   前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識部と、
   前記第１の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識部と
   を有することを特徴とするナンバープレート認識装置。
2. 前記第１の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第２の文字列認識部に出力する
   ことを特徴とする請求項１記載のナンバープレート認識装置。
3. 前記複数のカメラのうち少なくとも２つが、撮像範囲が重複している
   ことを特徴とする請求項１または請求項２記載のナンバープレート認識装置。
4. 進入する車両のナンバープレートをカメラによって撮像するステップと、
   前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識ステップと、
   前記第１の文字列認識ステップによって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識ステップと、
   を有すること特徴とするナンバープレート認識方法。
5. コンピュータを、
   進入する車両のナンバープレートをカメラによって撮像する手段、
   前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第１の文字列認識手段、
   前記第１の文字列認識手段によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第２の文字列認識手段、
   として機能させるためのナンバープレート認識プログラム。

Images