JP2006344151A

JP2006344151A - ナンバープレート読取装置

Info

Publication number: JP2006344151A
Application number: JP2005171229A
Authority: JP
Inventors: Hiroyasu Miyahara; 景泰宮原; Yasuhiro Okada; 康裕岡田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-06-10
Filing date: 2005-06-10
Publication date: 2006-12-21

Abstract

【課題】自動車のナンバープレート及び原動機付き自転車のナンバープレートを簡単な操作で確実に読み取るナンバープレート読取装置を得る。
【解決手段】入力画像中の予め定められた領域を示す位置情報を記憶する領域座標記憶手段２と、画像入力手段１から出力される入力画像から自動車のナンバープレートを検出する第１の検出手段４と、位置情報に対応する入力画像の領域から原動機付き自転車のナンバープレートを検出する第２の検出手段５と、第１の検出手段４及び第２の検出手段５を制御して入力画像から得られた検出結果を文字認識手段６に処理させ、入力画像、位置情報が示す領域、及び文字認識手段６の認識結果を表示手段７に表示させる制御手段８とを備えた。
【選択図】図１

Description

この発明は、画像の中から自動車や原動機付き自転車のナンバープレートを読取るナンバープレート読取装置に関するものである。

画像からナンバープレートを読取るためには、画像中のナンバープレートを検出する手段と、検出したナンバープレートに記されている文字を認識する、または一部の文字を切り出して認識する手段が必要となる。
画像の中からナンバープレートを検出する技術として、例えばナンバープレートに大きく記されている一連番号の４桁の数字を検出するものがある。これは画像の中から一連番号の領域を特定し、この領域から画像中のナンバープレート全体の領域を検出するもので、画像の２値化・ラベリングを行って複数の文字候補領域を抽出し、その中から予め定められている比率条件を満たす組み合わせを求めて検出結果としている。この比率条件は、一連番号の文字幅、文字高さ、及び各文字の間隔を具体的な数値で定めたものである。このような比率条件を使用して画像からナンバープレートの検出を行うと、画像において一部の文字が欠損している場合でもナンバープレートを検出することができ、またナンバープレート全体の拡大あるいは縮小が生じている場合でも影響されずに適確な検出を行うことができる（例えば、非特許文献１参照）。

また、ナンバープレートの文字を認識する技術として、一連番号を成す４桁の数字を文字間隔の整合によって抽出して認識し、ナンバープレートの文字配置情報と上記の認識された一連番号の位置座標とから平仮名領域および陸運事務所名を含む行の推定位置を求め、平仮名領域を認識すると共に外接矩形の領域の右側部分を数字とし、また左側部分を漢字として認識するものがある（例えば、特許文献１参照）。

特開平６−１３１４９２号公報（第２，３頁、図１，２）電子情報通信学会論文誌Ｄ−II，Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎｏ．１０，ｐｐ．２２８０−２２８７，１９９８年１０月「部分文字列の配置規則を考慮したナンバープレート領域抽出」

従来のナンバープレート読取装置は以上のように構成されているので、検出対象の文字幅・文字高さ・文字間隔が明確に定められていることを要しており、原動機付き自転車のナンバープレートのようにバリエーションが多く、文字幅・文字高さ・文字間隔の値を一意に定められない対象には適用することが難しい。また比率条件の許容範囲を拡げて種々のバリエーションに対応させると非文字領域を文字領域として検出する誤検出が増えてしまうという課題があった。

この発明は上記のような課題を解決するためになされたもので、自動車のナンバープレート及び原動機付き自転車のナンバープレートを簡易な動作で確実に読取るナンバープレート読取装置を得ることを目的とする。

この発明に係るナンバープレート読取装置は、入力画像中の予め定められた領域を示す位置情報を記憶する領域座標記憶手段と、画像入力手段から出力される入力画像から自動車のナンバープレートを検出する第１の検出手段と、位置情報に対応する入力画像の領域から原動機付き自転車のナンバープレートを検出する第２の検出手段と、第１の検出手段及び第２の検出手段を制御して入力画像から得られた検出結果を文字認識手段に処理させ、入力画像、位置情報が示す領域、及び文字認識手段の認識結果を表示手段に表示させる制御手段とを備えたものである。

この発明によれば、画像入力手段から出力される入力画像から自動車のナンバープレートを検出する第１の検出手段と、予め定められた位置情報に対応する入力画像の領域から原動機付き自転車のナンバープレートを検出する第２の検出手段と、第１の検出手段及び第２の検出手段を制御して入力画像から得られた検出結果を文字認識手段に処理させ、入力画像、位置情報が示す領域、及び文字認識手段の認識結果を表示手段に表示させる制御手段とを備えたので、自動車及び原動機付き自転車のナンバープレートを確実に読取ることができるという効果がある。

以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるナンバープレート読取装置の概略構成を示すブロック図である。車両のナンバープレートなどを撮影する画像入力手段１は、第１の検出手段４及び第２の検出手段５、さらに表示手段７へ画像信号（以下、画像入力手段１から出力される画像信号を入力画像と記載する）を出力するように接続されている。画像入力手段１から出力される入力画像の中の所定の領域を示す座標を記憶している領域座標記憶手段２は表示手段７及び制御手段８に記憶している内容を出力するように接続されている。外部から動作指示などを入力する入力手段３は、入力した指示を示す信号を領域座標記憶手段２及び制御手段８へ出力するように接続されている。なお、ここで「信号」とは、デジタルデータやアナログ信号など、種々の形態を取り得る伝達情報を意味する。

前述のように入力画像を入力する第１の検出手段４は、自動車のナンバープレートの検出データを文字認識手段６へ出力するように接続されている。また同様に入力画像を入力する第２の検出手段５は、原動機付き自転車のナンバープレートの検出データを文字認識手段６へ出力するように接続されている。制御手段８は、第１の検出手段４と第２の検出手段５の動作を切り替えるなど、これらの検出手段の動作を制御するように接続され、また上記の各手段の動作制御を行って当該ナンバープレート読取装置全体の動作を制御するように各手段と接続されている。

図２は、実施の形態１によるナンバープレート読取装置の外観を示す説明図である。この図は、ナンバープレート読取装置の一例である読取装置９の外観を示したものである。読取装置９は、例えば手持ち可能な大きさに構成され、裏側となる面には図１に示した表示手段７を構成する液晶表示ユニット等の表示画面１０、図１に示した入力手段３を構成する押しボタン１１〜１３が備えられている。また、表示画面１０の背面となる表側の面にはレンズ１４が備えられている。このレンズ１４は、図１に示した画像入力手段１を成すカメラを構成しているものである。

次に動作について説明する。
図３は、実施の形態１によるナンバープレート読取装置の動作を示すフローチャートである。制御手段８は、自らに予め設定されている初期モードの値に基づいて当該ナンバープレート読取装置を設定する（ステップＳＴ１０１）。ここで“モード”とは読取りの対象とするナンバープレートの種類に対応するもので、例えばモード１は自動車のナンバープレートを対象とする動作処理を指し、モード２は原動機付き自転車のナンバープレートを対象とする動作処理を指すものである。
ここでは上記のステップＳＴ１０１の過程において、初期モードとしてモード１を設定している動作を説明する。

前述のようにステップＳＴ１０１の過程で制御部８は、ナンバープレート読取装置がモード１で動作するように各手段を設定し、画像入力手段１を制御してナンバープレートを含んでいる画像を入力する（ステップＳＴ１０２）。
ステップＳＴ１０２の過程で、画像入力手段１を制御して画像を入力した制御手段８は、ナンバープレート読取装置がモード１あるいはモード２のどちらに設定されているかを判定する（ステップＳＴ１０３）。モード１であると判定した場合には、表示手段７を制御して画像入力手段１から出力されている入力画像を表示させる（ステップＳＴ１０４）。

図４は、実施の形態１によるナンバープレート読取装置の動作を示す説明図である。この図は、ナンバープレート読取装置がモード１の状態で動作しているとき、ステップＳＴ１０４の過程で表示手段７の表示画面１０に表示される画像の一例を示したもので、このようにナンバープレート１５を含んでいる画像が画像入力手段１によって撮影され、表示手段７に表示される。
制御手段８は、ステップＳＴ１０３の過程においてモード２であると判定した場合には、領域座標記憶手段２や表示手段７等を制御して、上記の入力画像と共に領域座標記憶手段２に記憶されている領域の位置情報を表示手段７に表示させ（ステップＳＴ１１３）、この後ステップＳＴ１０５の過程を処理する。

制御手段８は、入力手段３の操作によりモード切替指示が有ったか否かを判定する（ステップＳＴ１０５）。例えば図２に示した押しボタン１１をモード切替に対応させたものとした場合、制御手段８は、押しボタン１１の状態を検知して押し操作が行われたと判定したとき、現在のモード即ちステップＳＴ１０１の過程で設定したモードとは別なモードで動作するように各手段の設定を切替える制御を行う（ステップＳＴ１０６）。このように操作者は、押しボタン１１を操作することにより、所望のナンバープレートを読取るように動作モードを変更することができる。制御手段８は、上記のモード切替指示の判定の後で、読取開始を指示する操作があったか否かを判定する（ステップＳＴ１０７）。例えば図２に示した押しボタン１２を読取開始に対応させたものとした場合、制御手段８は、押しボタン１２の状態を検知して押し操作が行われていないと判定したときにステップＳＴ１０２の過程に戻って新たな画像を入力し、以降の過程を前述の説明と同様に処理する。

ステップＳＴ１０７の過程で押しボタン１２が操作されたと判定したときには画像入力手段１を制御して新たに撮影させた画像信号を入力する（ステップＳＴ１０８）。一般にカメラ等によって撮影された画像を表示するとき、例えばステップＳＴ１０２〜ＳＴ１０７の過程に相当するような画像入力を繰り返して操作者に表示する場合には、繰り返し処理の速度を高めるためデータ量を減らして解像度を落とした画像を用いるようにしている。ここではナンバープレートを認識するため解像度の高い画像を得る必要があり、上記のようにステップＳＴ１０７の過程で新たに画像を撮影している。この後制御手段８は、設定されている動作モードが何かを判定し（ステップＳＴ１０９）、モード１に設定されていると判定した場合には第１の検出手段４を制御して、画像入力手段１から出力されている入力画像から自動車のナンバープレートの検出処理を行わせる（ステップＳＴ１１０）。

ステップＳＴ１０９の過程で、モード２に設定されていると判定した場合には第２の検出手段５を制御して、画像入力手段１から出力されている入力画像から後述するように原動機付き自転車のナンバープレートの検出処理を行わせる（ステップＳＴ１１４）。
ステップＳＴ１１０の過程において第１の検出手段４の出力データは文字認識手段６へ入力される。また、ステップＳＴ１１４の過程において第２の検出手段５の出力データは文字認識手段６へ入力される。文字認識手段６は、入力データからナンバープレートに記されている文字を認識する処理を行う（ステップＳＴ１１１）。なお、文字認識手段６の画像中の文字を認識する処理動作は従来から行われているものと同様であるため、ここでは説明を省略する。
制御手段８は、文字認識手段６から出力された認識結果とステップＳＴ１０８の過程で入力した画像信号とを合成して表示手段７に表示させる（ステップＳＴ１１２）。図５は、実施の形態１によるナンバープレート読取装置の動作を示す説明図である。この図は、ステップＳＴ１１２の過程において制御手段８が表示手段７に表示させる画面を表したもので、表示画面１０にはナンバープレート１５の画像とナンバープレート１５に記されている文字の認識結果１６が表示されている。このようにモード１では入力した画像全体の中から自動車のナンバープレートの読取りが行われる。

モード２では、前述のように原動機付き自転車のナンバープレートの読取りが行われる。
図６は、原動機付き自転車のナンバープレートを示す説明図である。図６に例示したように原動機付き自転車のナンバープレートは、記載されている数字の桁数や文字の大きさが様々である。そのため撮影した画像中における存在位置や大きさを限定しなければナンバープレートの検出が難しく、自動車のナンバープレートとは異なる処理によって読取りを行う。原動機付き自転車のナンバープレートを検出する場合には画像の中において、予め設定した位置にナンバープレートが表示され、また予め設定した大きさに表示されるように、例えば操作者が読取装置の位置や向きを調整する必要がある。領域座標記憶手段２には、ナンバープレートを表示させる画像中の位置やサイズを任意の座標値などを用いて表現している位置情報を記憶させておく。

図７〜図９は、実施の形態１によるナンバープレート読取装置の動作を示す説明図である。この図は、制御手段８が第２の検出手段５を起動させ、モード２で動作しているときに図２に示した表示画面１０に表示される画面を例示したものである。
図３に示したステップＳＴ１０１の過程でモード２に設定されたとき、前述の説明と同様にステップＳＴ１０２の過程で画像の入力を行う。その後、制御手段８は、ステップＳＴ１０３の過程でモード２にて動作していると判定し、画像入力手段１から出力されている入力画像と領域座標記憶手段２に記憶されている位置情報とを表示手段７へ入力し、後述するように当該入力画像と位置情報とを表示させる（ステップＳＴ１１３）。図７は、このとき表示画面１０に表示される内容の一例を示したものである。図示した表示画面１０には、原動機付き自転車のナンバープレート１９の写っている入力画像と、領域座標記憶手段２に記憶されている位置情報によって定められる領域を破線枠１７として示し、さらに操作者が為すべき操作を促すメッセージ１８が表示されている。以降のステップＳＴ１０５〜ステップＳＴ１０７までの一連の過程、即ちステップＳＴ１０２、ステップＳＴ１０３、ステップＳＴ１１３、ステップＳＴ１０５〜ステップＳＴ１０７の過程を、ステップＳＴ１０７の過程で読取開始の指示があるまで繰り返す。

このようにモード２で動作しているとき、ステップＳＴ１０７の過程で読取開始指示があると、制御手段８は画像入力手段１を制御してモード１の場合と同様に認識用の画像を入力する（ステップＳＴ１０８）。なお、操作者は、読取開始指示を行う前に、例えば図７に示した表示画面１０を見ながらナンバープレート１９が破線枠１７一杯に写るように読取装置９の位置やレンズ１４を向ける方向などを調整し、図８に示したように表示画面１０には破線枠１７一杯にナンバープレート１９が写るようにする。その後、制御手段８は、モード２であることを確認し（ステップＳＴ１０９）、第２の検出手段５を起動して原動機付き自転車のナンバープレートの検出処理を行う（ステップＳＴ１１４）。

図１０は、実施の形態１によるナンバープレート読取装置の第２の検出手段の動作を示すフローチャートである。この図は、図３のフローチャートに示したステップＳＴ１１４の過程において、第２の検出手段５が、領域座標記憶手段２に記憶された位置情報が示す領域に対応する入力画像中の領域から原動機付き自転車のナンバープレートを検出する動作処理を示したものである。
第２の検出手段５は、画像入力手段１からの入力画像中の検出対象領域を決定する処理領域の設定を行う（ステップＳＴ２０１）。この処理領域の設定では、制御手段８がモード２で動作するようにナンバープレート読取装置を制御して第２の検出手段５を起動させたとき、領域座標記憶手段２に記憶されている位置情報を第２の検出手段５へ入力する。
第２の検出手段５は、前述のステップＳＴ２０１の過程において、制御手段８を介して領域座標記憶手段２から入力した位置情報が示す領域のみを処理領域として用いてもよいが、後述するように位置情報が示す領域を拡張した処理領域を求めてナンバープレートの読取り処理に使用する。

モード２では、前述のように読取装置９を操作している操作者が、撮影の際に表示画面１０に表示されている破線枠１７にナンバープレートを合わせて撮影する必要があるが、実際に撮影すると原動機付き自転車のナンバープレート１９が破線枠１７よりはみ出した状態になることも多いため、破線枠１７からナンバープレート１９が多少はみ出している状態でも当該ナンバープレート１９を読取ることが可能なように、領域座標記憶手段２に記憶されている位置情報の示す領域を所定量だけ広げて読取り処理を行う処理領域とする。

例えば、領域座標記憶手段２に記憶されている領域を画像領域の基準として、当該画像領域の上端を領域高さの１０％だけ上側に、また画像領域の下端を領域高さの１０％だけ下側に、また画像領域の左端を領域幅の１０％だけ左側に、また画像領域の右端を領域幅の１０％だけ右側に広げて、これを処理領域として取り扱う。このように処理領域を広げておくことにより、操作者が撮影するときにナンバープレート１９が破線枠１７よりはみ出してしまっても、正しく読取ることができる。

このように処理領域を設定した後、第２の検出手段５は当該処理領域の画像を２値化する（ステップＳＴ２０２）。そして、２値化した画像信号から数字候補のパターンを抽出する（ステップＳＴ２０３）。詳しくは２値化した画像にラベリングを行って連結領域を抽出する。その後、例えば処理領域に設定した相対座標上において幅、高さ、及び中心位置が許容範囲内にあるものを数字候補のパターンとして抽出する。さらに、例えば中心位置や下端位置の水平方向の距離ならびに垂直方向の距離が許容範囲を満たしている数字候補パターン同士を組み合わせ、これを数字パターン列として決定する（ステップＳＴ２０４）。
ステップＳＴ２０３の過程では、上記の処理領域に設定した相対座標上における幅、高さ、及び中心位置の許容範囲の条件をパラメータとして数字候補パターンの抽出に用い、ステップＳＴ２０４の過程では、上記の中心位置や下端位置の水平方向の距離ならびに垂直方向の距離について許容範囲の条件をパラメータとして数字パターン列の決定に用いている。

このように、画像の中でほぼナンバープレートだけが写っている領域を処理対象として、入力画像中のナンバープレートの大きさ、即ち領域座標記憶手段２に記憶されている領域の大きさに基づいているパラメータを使用することにより、図６に例示したように種々なバリエーションが存在する原動機付き自転車のナンバープレートであっても、非ナンバープレートの誤検出などを起こすことなく高い精度で検出することができる。
ナンバープレートを検出した後、前述のようにステップＳＴ１１１の過程において文字認識手段６が第２の検出手段５からの出力データを処理してナンバープレートに記されている文字を認識する。その後、前述の説明と同様に制御手段８が表示手段７を制御して画像入力手段１から出力されているナンバープレート１９の画像データと文字認識手段６から出力されている認識結果を示すデータとを合成し、ステップＳＴ１１２の過程において、例えば図９に示すように、表示手段７が原動機付き自転車のナンバープレート１９の認識結果２１を表示画面１０の下部に表示する。

なお、上記説明のナンバープレート読取装置が起動するとき、予め設定されている初期設定値を用いて動作モードを設定しているが、前回の動作で使用したモードを例えば制御手段８自らが記憶しておき、当該モードで動作するようにしても良い。また、画像の入力をステップＳＴ１０２の過程とステップＳＴ１０８の過程で複数回行っているが、ステップＳＴ１０２の過程で文字認識を行うことが十分な解像度を有する画像を得ているのであれば、ステップＳＴ１０８の過程を省略しても良い。また、前述の説明では原動機付き自転車のナンバープレートを検出するとき２値化とラベリングを用いて処理しているが、このような処理方法に限定されるものではなく同様な作用効果が得られるものであれば他の方法を用いても良い。また、原動機付き自転車のナンバープレートを認識する処理動作もいずれかの方法等に限定されるものではない。

以上のように実施の形態１によれば、バリエーションが豊富で検出の難しい原動機付き自転車のナンバープレートを読取る時は特定領域（枠内）にナンバープレートを収めるよう操作者に操作を促して、当該領域内にナンバープレートのあることを前提に検出処理を行うことでナンバープレートを検出しやすくし、文字の大きさや配置が決まっていて比較的検出の容易な自動車のナンバープレートを読取る時は操作者に負担をかけないよう画像全体から検出するようにしたので、自動車のナンバープレートや様々な態様が存在する原動機付き自転車のナンバープレートのいずれも、簡単な少ない操作で高精度に読取ることができるという効果がある。
また、原動機付き自転車のナンバープレートを読取るモード２で動作するとき、破線枠１７やメッセージ１８を表示するようにしたので、現在どちらのモードでナンバープレート読取装置が動作しているかを操作者が容易に知ることができるという効果がある。

実施の形態２．
この発明の実施の形態２によるナンバープレート読取装置は、図１に示したものと同様に構成されるもので、ここではその重複説明を省略する。また、該装置の外観は例えば図２に示したように構成されている。
次に動作について説明する。
実施の形態２によるナンバープレート読取装置は、自動車のナンバープレートと原動機付き自転車のナンバープレートとをモード切り替えを行うことなく、即ち動作設定を変更することなく入力画像から両方のナンバープレートを読取るものである。
図１１は、この発明の実施の形態２によるナンバープレート読取装置の動作を示すフローチャートである。

制御手段８は、前回の動作で例えば自動車のナンバープレートを読取ったときには、ナンバープレート読取装置の各手段をモード１で動作するように設定し、原動機付き自転車のナンバープレートを読取ったときにはモード２で動作するように設定する。このように前回の動作モードと同様となるようにモード設定を行う（ステップＳＴ３０１）。このステップＳＴ３０１の過程は、実施の形態１のナンバープレート読取装置のように自動車あるいは原動機付き自転車のいずれかを処理対象として設定するものではなく、どちらのナンバープレートを優先させるかを設定するものである。

制御手段８は、図３に示したステップＳＴ１０２の過程と同様に画像入力手段１を制御してナンバープレートを含んでいる画像を入力する（ステップＳＴ３０２）。次に画像入力手段１から出力されている入力画像と領域座標記憶手段２に記憶されている位置情報とをステップＳＴ１１３の過程と同様に表示手段７へ入力してこれらの画像等を表示させる（ステップＳＴ３０３）。さらにステップＳＴ１０７の過程と同様に読取開始指示の有無を判定する（ステップＳＴ３０４）。読取開始の指示があるまで、上記のステップＳＴ３０２〜ステップＳＴ３０４の過程を繰り返し処理する。

図１２は、実施の形態２によるナンバープレート読取装置の動作を示す説明図である。図４，５、図７〜図９に示したものと同一あるいは相当する部分に同じ符号を使用し、その説明を省略する。この図は、ステップＳＴ３０３の過程で表示される表示画面１０の一例を示したものである。
前述のように実施の形態２によるナンバープレート読取装置は、自動車のナンバープレートと原動機付き自転車のナンバープレートとを常に処理対象として動作することから、表示画面１０には画像入力手段１によって撮影された例えば自動車のナンバープレート２２の画像と共に、原動機付き自転車のナンバープレートの読取りに備えて領域座標記憶手段２に記憶されている領域を示す破線枠１７、同じく原動機付き自転車のナンバープレートを読取るときに操作等を促すメッセージ１８が常に表示されている。

制御手段８は、ステップＳＴ３０４の過程で読取り開始指示があったと判定したとき、図３のステップＳＴ１０８の過程に相当する認識用の画像入力、即ちナンバープレートの文字を認識することが可能な解像度を有する画像入力を行う（ステップＳＴ３０５）。続いて、現在設定されているモードが何であるかを判定する（ステップＳＴ３０６）。自動車のナンバープレートを優先するモード１に設定されていると判定したとき、制御手段８は、第１の検出手段４を起動させて検出処理を行わせ（ステップＳＴ３０７）、第１の検出手段４の検出結果の有無、即ち入力画像から自動車のナンバープレートが検出されたか否かを判定する（ステップＳＴ３０８）。自動車のナンバープレートが検出されたと判定した場合には、文字認識手段６を制御して第１の検出手段４の検出結果を示す出力データに対して文字認識の処理を行う（ステップＳＴ３１０）。
ステップＳＴ３０８の過程で、第１の検出手段４が自動車のナンバープレートを検出していないと判定した場合には、第２の検出手段５を起動して実施の形態１のステップＳＴ１１４の過程と同様に原動機付き自転車のナンバープレートの検出を行わせる（ステップＳＴ３０９）。次に文字認識手段６を制御して第２の検出手段５の検出結果を示す出力データに対して文字認識の処理を行う（ステップＳＴ３１０）。

ステップＳＴ３０６の過程でモード２に設定されていると判定したときには、原動機付き自転車のナンバープレートの読取りを優先し、第２の検出手段５を起動して実施の形態１のステップＳＴ１１４の過程と同様に原動機付き自転車のナンバープレートの検出処理を行わせる（ステップＳＴ３１２）。そして、第２の検出手段５の検出結果の有無、即ち入力画像から原動機付き自転車のナンバープレートが検出されたか否かを判定する（ステップＳＴ３１３）。原動機付き自転車のナンバープレートが検出された場合には、文字認識手段６を制御して第２の検出手段５によって検出された原動機付き自転車のナンバープレートに対して文字認識の処理を行う（ステップＳＴ３１０）。

ステップＳＴ３１３の過程で、第２の検出手段５が原動機付き自転車のナンバープレートを検出していないと判定した場合には、第１の検出手段４を起動して入力画像から自動車のナンバープレートの検出を行わせる（ステップＳＴ３１４）。次に文字認識手段６を制御して第１の検出手段４によって検出された自動車のナンバープレートに対して文字認識の処理を行う（ステップＳＴ３１０）。このように文字認識手段６が文字認識を行った後、制御手段８は、表示手段７を制御してナンバープレートの文字認識の結果を表示させる（ステップＳＴ３１１）。なお、このステップＳＴ３１１の過程の処理動作は、前述の図３に示したステップＳＴ１１２の過程と同様に行われるものである。なお、図１２に示したように撮影したものが自動車のナンバープレート２２であれば、破線枠１７に入っている必要はなく、モード１あるいはモード２のいずれに設定されていても読取ることは可能であるが、第２の検出手段５による処理を行わない分だけモード１に設定されているときのほうが読取る処理時間は少なくなる。

以上のように実施の形態２によれば、制御手段８が第１の検出手段４と第２の検出手段５とを用いて自動車のナンバープレートと原動機付き自転車のナンバープレートとを順次読取るように制御するようにしたので、操作者に細かなモード設定を行わせることなく自動車と原動機付き自転車の両方のナンバープレートを読取ることができるという効果がある。
また、制御手段８が、前回の動作から読取りを優先するナンバープレートの種類を設定し、当該種類に対応する検出手段を起動して処理を行うようにしたので、自動車と原動機付き自転車の両方を対象としながら処理過程を抑制して処理時間を短縮することができるという効果がある。

実施の形態３．
この発明の実施の形態３によるナンバープレート読取装置は、図１に示したものと同様に構成されているもので、ここではその重複説明を省略する。また、該装置の外観は例えば図２に示したように構成されている。
次に動作について説明する。
図１３は、この発明の実施の形態３によるナンバープレート読取装置の動作を示すフローチャートである。実施の形態３によるナンバープレート読取装置の制御手段８は、図３に示したステップＳＴ１０２の過程ならびに図１１に示したステップＳＴ３０２の過程と同様に画像入力手段１を制御してナンバープレートを含んでいる画像を入力する（ステップＳＴ４０１）。この後、図１１のステップＳＴ３０３等と同様に、制御手段８は上記の入力画像と領域座標記憶手段２に記憶されている位置情報が示す領域とを表示手段７に表示させる（ステップＳＴ４０２）。

上記のように表示を行わせた後、制御手段８は拡大あるいは縮小が指示されたか否かを判定する（ステップＳＴ４０３）。例えば図２に示した読取装置９の押しボタン１３を拡大・縮小を行う際に操作する押しボタンとして設定／構成したとき、押しボタン１３に行われた押し操作に応じて入力手段３から拡大あるいは縮小を指示する信号が出力されたか否かを判定する。例えば押しボタン１３が１回押されると拡大、短い間隔で続けて２回押されると縮小となるように関連付けをしておき、制御手段８はこのような操作が行われた旨を示す信号を入力したとき、拡大あるいは縮小の指示がなされたと判定して領域座標記憶手段２に記憶されている領域、即ち原動機付き自転車のナンバープレートを検出する入力画像中の領域を拡大あるいは縮小する処理を行う（ステップＳＴ４０４）。

制御手段８は、図１１のステップＳＴ３０４等の過程と同様に読取指示があったか否かを判定する（ステップＳＴ４０５）。読取指示がないと判定した場合にはステップＳＴ４０１の過程に戻り、以降の過程を同様に繰り返し処理する。読取指示があったと判定した場合には、図１１のステップＳＴ３０５等の過程と同様に画像入力手段１を制御してナンバープレート認識用の画像を入力する（ステップＳＴ４０６）。次に制御手段８は、第１の検出手段４を起動させてステップＳＴ４０６の過程で入力した画像から自動車のナンバープレートの検出を行わせる（ステップＳＴ４０７）。

この後制御手段８は、第２の検出手段５を起動させて原動機付き自転車のナンバープレートの読取りに使用する検出処理用のパラメータ設定を行う（ステップＳＴ４０８）。検出処理用のパラメータとは、数字候補パターンの抽出に使用する例えばパターンの幅・高さの許容範囲を定めるパラメータや、数字パターン列の抽出に使用する例えば水平・垂直方向の各距離の許容範囲を定めるパラメータなどで、実施の形態１において図１０を用いて説明したステップＳＴ２０３の過程で用いられているもの、またステップＳＴ２０４の過程で用いられているものと同様なものである。これらのパラメータは、画像中のナンバープレートの大きさに合わせて設定する必要があるが、原動機付き自転車のナンバープレートは破線枠とほぼ同じ大きさになるため、破線枠の大きさが変更された場合は、変更前後の比率に応じてパラメータも変更する。例えば、破線枠の幅が半分になったら、水平方向の長さにかかわるパラメータも半分の値にする。

上記のような検出処理用パラメータを設定した後、第２の検出手段５は、ステップＳＴ４０６の過程で入力した入力画像から原動機付き自転車のナンバープレートを検出する処理を行う（ステップＳＴ４０９）。この処理動作は、前述の実施の形態１で説明した図３のステップＳＴ１１４等の過程と同様に行われ、図１０を用いて説明したように上記の各パラメータが使用されている。前述のステップＳＴ１１１等の過程と同様に文字認識手段６が第１の検出手段４または第２の検出手段５から出力されたナンバープレートの検出結果から文字認識を行う（ステップＳＴ４１０）。

第１の検出手段４と第２の検出手段５の両方において各々ナンバープレートを検出した場合には、文字認識手段６は両方のナンバープレートに対して文字認識を行って二つの認識結果を出力する。このように二つの認識結果が出力されたとき制御手段８は、認識結果の選択を行う(ステップＳＴ４１１)。認識対象パターンと認識結果の文字が、どれほど似ているかを示す指標として類似度があり、一般にこの値が大きいほど認識結果が信頼できる。このため、例えば文字認識手段６の文字認識処理で得られる各文字の類似度の平均値を求め、第１の検出手段４の検出結果を処理したときの類似度の平均値と第２の検出手段５の検出結果を処理したときの類似度の平均値とを比較して、値の大きいものを選択する。あるいは認識することができなかった文字パターンの数が少なかったものを選択するようにしてもよい。制御手段８は、このように信頼性の高い認識結果を選択して表示手段７に表示させる（ステップＳＴ４１２）。

図１４及び図１５は、実施の形態３によるナンバープレート読取装置の動作を示す説明図である。図４等に示したものと同一あるいは相当する部分に同じ符号を使用し、その説明を省略する。図１４は入力画像中の原動機付き自転車のナンバープレート２３が大きく撮影されたため、このナンバープレート２３が領域座標記憶手段２に記憶されている位置情報の示す領域を表した破線枠１７からはみ出している表示画面１０を示したもので、図１５は上記の破線枠１７を拡大処理した後の破線枠２４を有する表示画面１０を示したものである。
実施の形態３によるナンバープレート読取装置の領域座標記憶手段２には、位置情報として標準値と現状値の２種類のデータが格納されている。標準値は、予め標準となる座標値を定めたもので、現状値は、拡大または縮小の処理毎に更新されている座標値である。この座標値の初期値は標準値である。実施の形態３によるナンバープレート読取装置を構成する表示手段７などの各手段は現状値を参照して処理動作を行う。

図２に示したレンズ１４に光学ズーム等の機能が備えられていない場合、ナンバープレートを小さく撮影するときにはレンズ１４と撮影対象のナンバープレートとの距離を離すことが必要になる。周辺の建造物等との関係で撮影位置が限られ、レンズ１４とナンバープレートとの距離を好ましく確保することができない場合には図１４に示したように原動機付き自転車のナンバープレート２３が破線枠１７からはみ出すように撮影されてしまうこともあるが、この状態で読取開始指示がなされても正しく読取り処理を行うことができない。
図１３に示したステップＳＴ４０４の過程は、このような場合でもナンバープレート２３を読取ることができるように処理するもので、例えば図１５に示したようにナンバープレート２３を拡大処理された破線枠２４の中に合わせ込むことができるようにして、表示画像１０の中で破線枠２４とナンバープレート２３とをほぼ合致させている。

図１６は、実施の形態３によるナンバープレート読取装置の動作を示すフローチャートである。この図は、図１３に示したステップＳＴ４０４の過程で行われる処理を詳細に示したものである。制御手段８は、入力手段３から拡大指示を示す信号を入力したか否かを判定する(ステップＳＴ５０１)。拡大指示を示す信号を入力したと判定したとき、前述のように予め設定されている標準値の領域サイズと現状値の領域サイズとの比率即ち倍率を求め、この倍率が予め設定されている上限の値に至っているか否かを判定する（ステップＳＴ５０２）。上限値に至っていない即ち倍率が最大に至っていないと判定したときには現状値の領域サイズを拡大して(ステップＳＴ５０３)、図１３に示したステップＳＴ４０５の過程に移行する。ステップＳＴ５０２の過程で上限値に至っていると判定したときには拡大処理を行わずに図１３のステップＳＴ４０５の過程に移行する。

ステップＳＴ５０１の過程で、拡大指示を示す信号を入力していないと判定したとき、入力手段３から縮小指示を示す信号を入力したか否かを判定する（ステップＳＴ５０４）。縮小指示を示す信号を入力したと判定したとき、前述の倍率が予め設定されている下限の値に至っているか否かを判定する（ステップＳＴ５０５）。下限値即ち倍率が最小に至っていないと判定したときには現状値の領域サイズを縮小して（ステップＳＴ５０６）、図１３のステップＳＴ４０５の過程に移行する。ステップＳＴ５０４の過程で縮小指示を示す信号を入力していないと判定した場合や、ステップＳＴ５０５の過程で下限値に至っていると判定した場合には図１３のステップＳＴ４０５の過程に移行する。

なお、上記の説明では拡大と縮小の指示を押しボタン１３を用いて入力するように説明しているが、別の押しボタンを用いても良く、あるいは押しボタン以外の入力手段を用いるようにしても良い。また、拡大・縮小だけでなく領域の位置を移動させるようにして同様な作用効果が得られるようにしても良い。
また、１回の拡大・縮小の操作により所定の定倍率によって拡大・縮小を行うようにしても操作毎に倍率を変化させて拡大・縮小を行うようにしてもよい。例えば、表示画面１０にタッチパネルを備えて構成し、表示画面１０から領域を表す座標値を直接入力できるようにしておき、当該直接入力された座標値を用いて制御手段８が領域座標記憶手段２に位置情報として記憶されている座標値を更新するようにしても良い。

以上のように実施の形態３によれば、自動車及び原動機付き自転車のナンバープレートの両方の検出処理を行い、共に検出した場合には各ナンバープレートの文字認識の結果から信頼性の高いいずれか一方を選択するようにしたので、モード１あるいはモード２を設定することなく自動車と原動機付き自転車の両方のナンバープレートを読取ることができ、さらに、誤検出が発生した場合でも正しい認識結果を得ることができるという効果がある。
また、領域座標記憶手段２に記憶されている位置情報の領域を拡大・縮小して処理するようにしたので、表示画面１０に表示される破線枠にナンバープレートを合せ込むことが容易になり、正しく原動機付き自転車のナンバープレートを読み取ることができるという効果がある。

なお、実施の形態１〜３による各ナンバープレート読取装置は、自動車のナンバープレートと原動機付き自転車のナンバープレートの２種類を読取るものとして説明したが、検出対象とするナンバープレートに記されている文字の大きさ・配置について具体的な値が定められたナンバープレートであれば、これを自動車のナンバープレートに含めて同様に取り扱うようにしても良い。例えば、自動二輪車のナンバープレートは、平成１２年交文社発行「自動車登録関係通達・情報集」ｐｐ．１１２５に記載のように、法令で上記の値が定められており、一般の四輪自動車のナンバープレートとは異なるが、実施の形態１〜３において説明した自動車のナンバープレートと同様に処理することができる。また、前述の説明では原動機付き自転車のナンバープレートを検出するとき、パターン幅・高さ・中心位置やパターン間の距離に関するパラメータを用いているが、それ以外のパラメータを用いても良く、さらに従来から使用されている比率に基づくパラメータを加えて処理しても良い。また、領域座標記憶手段２に格納されている位置情報の表示に破線枠を使用しているが、これは当該位置情報の示す領域が画像の中でどの位置になるか目視判別できるものであれば別の表現方法でも良く、例えば、特定色の実線枠を使用した表現や領域の四隅に任意のシンボル等を表示するような表現でも良い。

この発明の実施の形態１によるナンバープレート読取装置の概略構成を示すブロック図である。実施の形態１によるナンバープレート読取装置の外観を示す説明図である。実施の形態１によるナンバープレート読取装置の動作を示すフローチャートである。実施の形態１によるナンバープレート読取装置の動作を示す説明図である。実施の形態１によるナンバープレート読取装置の動作を示す説明図である。原動機付き自転車のナンバープレートを示す説明図である。実施の形態１によるナンバープレート読取装置の動作を示す説明図である。実施の形態１によるナンバープレート読取装置の動作を示す説明図である。実施の形態１によるナンバープレート読取装置の動作を示す説明図である。実施の形態１によるナンバープレート読取装置の第２の検出手段の動作を示すフローチャートである。この発明の実施の形態２によるナンバープレート読取装置の動作を示すフローチャートである。実施の形態２によるナンバープレート読取装置の動作を示す説明図である。この発明の実施の形態３によるナンバープレート読取装置の動作を示すフローチャートである。実施の形態３によるナンバープレート読取装置の動作を示す説明図である。実施の形態３によるナンバープレート読取装置の動作を示す説明図である。実施の形態３によるナンバープレート読取装置の動作を示すフローチャートである。

符号の説明

１画像入力手段、２領域座標記憶手段、３入力手段、４第１の検出手段、５第２の検出手段、６文字認識手段、７表示手段、８制御手段、９読取装置、１０表示画面、１１〜１３押しボタン、１４レンズ、１５ナンバープレート、１６認識結果、１７破線枠、１８メッセージ、１９ナンバープレート、２１認識結果、２２，２３ナンバープレート、２４破線枠。

Claims

入力画像中の予め定められた領域を示す位置情報を記憶する領域座標記憶手段と、
画像入力手段から出力される入力画像から自動車のナンバープレートを検出する第１の検出手段と、
前記位置情報に対応する前記入力画像の領域から原動機付き自転車のナンバープレートを検出する第２の検出手段と、
前記第１の検出手段及び第２の検出手段を制御して前記入力画像から得られた検出結果を文字認識手段に処理させ、前記入力画像、前記位置情報が示す領域、及び文字認識手段の認識結果を表示手段に表示させる制御手段とを備えたナンバープレート読取装置。
第２の検出手段は、領域座標記憶手段に記憶されている位置情報に基づいて設定したパラメータを用いてナンバープレートを検出することを特徴とする請求項１記載のナンバープレート読取装置。
制御手段は、第１の検出手段または第２の検出手段のいずれか一方を動作させナンバープレートが検出されなかったとき他方の検出手段を動作させることを特徴とする請求項１または請求項２記載のナンバープレート読取装置。
制御手段は、同じ入力画像を第１の検出手段と第２の検出手段に処理させ、前記第１の検出手段及び第２の検出手段がナンバープレートを検出したとき該第１の検出手段の検出結果及び第２の検出手段の検出結果を文字認識手段で処理させ、該処理結果から信頼性の高い認識結果を選択することを特徴とする請求項１または請求項２記載のナンバープレート読取装置。
制御手段は、入力手段になされた操作に応じて領域座標記憶手段に記憶されている位置情報を変更し、
第２の検出手段は、前記変更された位置情報に基づいてナンバープレートの検出に用いるパラメータを設定して前記変更された位置情報が示す領域からナンバープレートを検出することを特徴とする請求項２ないし請求項４記載のナンバープレート読取装置。