JP2009098867A - 文字列認識方法、コンピュータプログラム、記憶媒体 - Google Patents

Abstract

【課題】 デジタルカメラ等で撮影した画像から、ナンバープレートを高精度に認識する。
【解決手段】 本発明のナンバープレート認識装置は、入力画像からナンバープレート領域候補の四辺形を検出して、ナンバープレート領域候補に含まれる文字領域の文字認識を実行する。その際、認識対象となる文字画像の領域を任意に変えながら複数の認識結果を得、その結果を元に正しい認識結果を選択することによって、ノイズに影響されにくいナンバープレート認識を実現する。
【選択図】 図４

Description

画像からナンバープレートを自動的に読み取る装置における文字列認識方法、そのプログラム、プログラムを格納した記憶媒体に関する。

従来、本発明が属する技術分野は、道路に設置された固定カメラを用いるなどして、車両を撮影して当該車両のナンバープレートを読み取ることにより、交通管制等に利用されている。その際、ナンバープレート上のビスや汚れ等による誤認識の問題は、課題としてその解決に向けた取り組みがなされてきた。

例えば、特許文献１では、文字パターンの配置情報を記憶する文字配置情報記憶手段を備えることにより、決められた配置に合わない部分の画像を排除する仕組みを提供することで、認識率の向上を図る技術が考えられている。

また、特許文献２では、文字列画像を上側部分と下側部分とに区分し、下側のみを使用することで、上側部分にかかる影等のノイズの影響を排除する仕組みを提供することで認識率の向上を図る技術も考えられている。
特開２００３−３４６０８１号公報 特開２００６−３０９４０２号公報

しかしながら、デジタルカメラのような固定されていないカメラで撮影された画像は、撮影条件（例えば、撮影角度や明るさや背景など）が変わるため、ナンバープレートを検出しその文字列を認識することは容易ではない。そのため、従来技術にあるような固定的な位置を使用したり画像の下側部分がより正確であるといった前提条件を設定し適用したりすることが難しい。

本発明は、画像から得られたナンバープレート画像に含まれるビス等のノイズによる影響を軽減し、高精度にナンバープレート認識できるようにすることを目的とする。

上記課題を解決するために、本発明のナンバープレート認識装置は、画像中の文字列領域を分割し文字領域列を得る文字領域列取得手段と、
前記文字領域列のうち任意の一部を選択し文字領域列候補を取得する文字領域列候補選択手段と、
上記文字領域列候補に対し文字認識を行い認識結果文字列候補を得る文字認識手段と、
複数の認識結果文字列候補から適切な認識結果文字列を選択する文字認識結果決定手段を備える
ことを特徴とする。

ナンバープレート領域の検出精度および認識精度が向上する。

次に、本発明の詳細を実施例の記述に従って説明する。

図１は実施例１に係るナンバープレート認識装置の概略構成を示すブロック図である。

１０１はＣＰＵであり、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。１０２はＲＯＭであり、ＣＰＵ１０１が実行するコンピュータプログラムや各種パラメータデータを格納する。コンピュータプログラムは、ＣＰＵ１０１で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置（コンピュータ）を機能させる。なお、本実施例では、後述するフローチャートの各ステップに対応する処理を、コンピュータ（ＣＰＵ）を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本発明のナンバープレート認識装置は、汎用パソコンを用いて実現してもよいし、ナンバープレート認識専用の装置として実現するようにしても構わない。

１０３はＲＡＭであり、画像や各種情報を記憶する。また、ＲＡＭ１０３は、ＣＰＵのワークエリアやデータの一時待避領域として機能する。

１０４は外部記憶装置であり、辞書などの各種データを記憶する。外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等で構成される。なお、本発明の装置をコンピュータに実現させるためのコンピュータプログラムは、このコンピュータ読取可能な外部記憶媒体に格納されていても構わないし、ネットワークを介して供給されるようにしても構わない。１０５はディスプレイであり、例えば、ＬＣＤやＣＲＴで構成される。

１０６は入力装置である。例えば、デジカメやスキャナ等の画像入力装置を接続するためのインターフェースであってもよいし、デジカメ等の画像入力装置そのものであっても構わない。また、デジタルカメラの機能の１つとして実現するために、デジカメ内部に本発明の装置構成を組み込んで実現しても構わない。

１０７はネットワークインターフェース（Ｉ／Ｆ）であり、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置、画像入力装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。尚、ネットワークは、典型的にはインターネットやＬＡＮやＷＡＮや電話回線などのいわゆる通信ネットワークであり、データの送受信が可能であれば良い。また、ディスプレイ１０５や入力装置１０６は、ネットワークインターフェース１０８を介して接続されていても良い。

このようなナンバープレート認識装置は、例えば図２に示すシステムにおいて実現される。図２は、本実施例１において採用可能なコンピュータシステムの構成例を示す図である。２０１はコンピュータ装置であり、デジタルカメラ２０２で撮影した画像データを受信して、ナンバープレート認識のための処理を実行する。

次に、ナンバープレート認識処理について図３〜図９を用いて説明する。本実施例では、デジタルカメラ等で撮影した静止画像内に存在するナンバープレートの文字列を認識する。

図３はナンバープレートの一例である。日本のナンバープレートの場合には、３つの文字列領域が存在する。３０１は陸運局名と分類番号が記載される領域、３０２は平仮名（もしくはアルファベット）の領域、３０３は一連指定番号の領域である。

図４は、実施例１のナンバープレート認識装置におけるナンバープレート認識処理を示すフローチャートである。

ステップＳ４０１では、画像からナンバープレート領域候補を複数検出する。ステップＳ４０１の詳細を図５に示す。

ステップＳ４０２では、検出された複数のナンバープレート領域候補（四辺形領域）に対して、逆透視変換（歪み補正処理）を用い、正対画像を得る。

ステップＳ４０３では、ステップＳ４０２で得られたナンバープレート領域候補の正対画像に対して、２値化処理を行う。

ステップＳ４０４では、逆透視変換および２値化されたナンバープレート領域から図３で示したような３つの文字領域を抽出し、特に図３のうち３０１に該当する文字領域に対して、複数の文字領域の選択結果を作成する。ステップＳ４０４の詳細を図８に示す。

ステップＳ４０５では、上記抽出した文字領域を抽出し、当該文字領域に対して、文字認識処理を行い、それぞれの文字に対する文字候補と類似度を得る。

ステップＳ４０６では、ナンバープレート領域候補から得られた文字認識結果を用い、ナンバープレート認識結果の確定処理を行う。そして、その確定処理結果として得られるナンバープレート領域に関する情報（文字認識結果や位置情報など）を出力する。ステップＳ４０６の詳細を図１０に示す。

図５のステップＳ５０１では、当該画像の二値化を行う。

ステップＳ５０２では、二値化された画像から、黒画素同士が上下左右斜めの８方向のいずれかで連結する黒画素の連結画素（黒画素塊）を検出する。なお、黒画素塊の内部に上下左右のいずれかで連結する白画素塊がある場合は、その白画素塊の内部に更に黒画素塊があるか検査する。

ステップＳ５０３では、検出した黒画素の連結画素のうち、所定の大きさを有する複数の連結画素について、直線状に並んでいる複数の連結画素（連結画素列）の検出を行う。この連結画素列は、ナンバープレートの文字列の候補である。なお、ここで、検出対象の閾値に用いる所定の大きさ（サイズ）は、撮影されるであろうナンバープレートの文字サイズを想定して、予め設定しておくものとする。

ステップＳ５０４では、当該検出された連結画素列から所定範囲内を、四辺形検出の処理対象範囲として設定し、四辺形検出処理を実行する。例えば、連結画素列の縦横それぞれ２倍のサイズの領域が、この処理対象領域として設定される。

この四辺形検出処理は、まず、当該設定された処理対象範囲の画像を対象として、ハフ変換を用いて直線検出を行う。この直線検出は、所定数（例えば８本）以上の直線が検出されるまで、徐々に直線検出するための閾値を変更しながら直線検出処理を行う。この検出された直線を用いて１乃至複数の四辺形を形成する。なお、この四辺形は長方形とは限らない。

ステップＳ５０５では、所定条件を満たす四辺形をナンバープレート領域候補とする。例えば、ステップＳ５０４で検出された四辺形の辺の比を、ナンバープレートの辺の比（基準値）と比較し、大きく異なる四辺形はナンバープレート領域候補から除外する。

図６は、ナンバープレート検出処理の処理対象となった入力画像の例である。ここでは、この入力画像内のナンバープレート６０１〜６０３内の各文字に対応する黒画素の連結画素が検出されることになる。

図７は、図６のナンバープレート６０１の付近を拡大した図である。例えば、ステップＳ５０３で、連結画素列７０２，７０３が検出されたものとする。このとき、ステップＳ５０４で、連結画素列７０２，７０３に基づき処理対象範囲７０１を設定して、四辺形検出処理を実行することにより、四辺形７０４〜７０６を検出する。そして、ステップＳ５０５で、各四辺形の辺の比を検査すると、四辺形７０６はナンバープレートの基準値と大きく異なると判断され、四辺形７０４と７０５とがナンバープレート領域候補として決定される。

なお、ナンバープレート領域候補を検出する手法は、上述した以外の公知の技術を併用して、多くのナンバープレート領域候補を検出するようにしてもよい。例えば、ナンバープレートの枠の検出によってナンバープレート領域を検出する方法や、テンプレートマッチングで検出する方法などを用いることができる。このとき検知されるナンバープレート領域候補は、四辺形の領域で検出される。

図８のステップＳ８０１では、ステップＳ４０３で2値化された画像から、予め既定された座標位置などを元に図３に示す３０１、３０２、３０３の領域を判定し確定する。

ステップＳ８０２では、３０１に該当する領域の縦方向射影等で得られた黒画素領域の数をnとして、予め与えられる数値ＭＩＮに対して大きければ、ステップＳ８０３を実行する。

ステップＳ８０３では、３０１に該当する領域の縦方向射影等で得られた黒画素領域のうち、先頭及び最後尾それぞれ１つ分の黒画素領域を削った領域を、３０１に該当する文字領域の候補として保持する。

ステップＳ８０４では、３０１に該当する領域の縦方向射影等で得られた黒画素領域の数をnとして、予め与えられる数値ＭＩＮに１を加えた値に対して大きければ、ステップＳ８０５を実行する。

ステップＳ８０５では、３０１に該当する領域の縦方向射影等で得られた黒画素領域のうち、先頭及び最後尾の２つ分の黒画素領域を削った領域を、３０１に該当する文字領域の候補として保持する。こうすることで、ステップＳ４０５で行う文字認識の際に、３０１に該当する部分の文字認識列候補が複数できることになる。ちなみに予め与えられる数値ＭＩＮは、例えば３０１に該当する文字列の最小文字数としての４を与える。

図９は、ナンバープレート検出処理の処理対象となった入力画像の例のうち、黒画素にビスなどのノイズがあるものである。

図１０のステップＳ１００１では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の元画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書とのマッチングを行う。認識支援辞書とは、ナンバープレートで使用されうる陸運局名及び分類番号の組み合わせを登録したものである。マッチングの結果、ステップＳ４０５で得られた文字認識結果と一致すれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００２では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の先頭の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書とのマッチングを行う。マッチングの結果、ステップＳ４０５で得られた文字認識結果と一致すれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００３では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の最後の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書とのマッチングを行う。マッチングの結果、ステップＳ４０５で得られた文字認識結果と一致すれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００４では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の最初と最後の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書とのマッチングを行う。マッチングの結果、ステップＳ４０５で得られた文字認識結果と一致すれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００５では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の元画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書による修正を試みる。具体的には、陸運局名部分の文字認識結果に対し、認識結果の一部が一致するなどの理由で正解とされるべき地名が類推される場合に、認識結果を修正する。文字の誤認識を修正可能であれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００６では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の最初と最後の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書による修正を試みる。文字の誤認識を修正可能であれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００７では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の最後の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書による修正を試みる。文字の誤認識を修正可能であれば、それを当該ナンバープレートの文字列として確定する。

ステップＳ１００８では、ステップＳ４０４で得られた文字列領域のうち３０１に当たる領域の最初と最後の黒画素を省いた画像に対するステップＳ４０５の文字認識結果に対し、認識支援辞書による修正を試みる。文字の誤認識を修正可能であれば、それを当該ナンバープレートの文字列として確定する。

以上の処理によって、ナンバープレートの文字列の認識結果を確定する。なお、上記処理によっても一意にナンバープレート文字列の認識結果を確定できない場合、ナンバープレートではあるが文字認識が不十分である旨の処理結果を返すことが可能である。また、上記処理では、前段のステップにて文字列が確定した場合には後段の処理を行わないとしたが、その時点では確定せず処理を進め、文字認識の類似度や、事前に用意するナンバープレートのテンプレートに対する座標位置の正確さなどをパラメータとして、最終的な文字列の認識結果を確定することも可能である。あるいは、認識結果を確定せず、その候補を１つもしくは複数、確からしさを指標として返すことも可能である。

実施例１に係るナンバープレート認識装置の概略構成を示すブロック図。 実施例１に係るナンバープレート認識装置の概略構成を示すシステム図。 実施例１に係るナンバープレートの一例を示す図。 ナンバープレート認識処理を示すフローチャート。 ナンバープレート領域候補検出処理のフローチャート。 入力画像の例。 入力画像の例の拡大図。 文字領域選択処理のフローチャート。 ビス等を抽出したナンバープレート領域の例。 ナンバープレート文字列確定処理を示すフローチャート。

Claims (6)

1. 画像中の文字列を認識する文字列認識方法であって、
   画像中の文字列領域を分割し文字領域列を得るステップと、
   前記文字領域列のうち任意の一部を選択し文字領域列候補を取得するステップと、
   上記文字領域列候補に対し文字認識を行い認識結果文字列候補を得るステップと、
   複数の認識結果文字列候補から適切な認識結果文字列を選択するステップを備える
   文字列認識方法。
2. 請求項１に記載の文字列認識方法であって、
   上記文字領域列のうち任意の一部を選択し文字領域列候補を取得するステップが、
   上記文字領域列の全てを文字領域列候補とするステップと、
   上記文字領域列の先頭の一文字領域を削除したものを文字領域列候補とするステップと、
   上記文字領域列の末尾の一文字領域を削除したものを文字領域列候補とするステップと、
   上位機文字領域列の先頭及び末尾の１文字領域づつを削除したものを文字領域列候補とするステップと、
   の一部もしくは全てを備えることを特徴とする文字列認識方法。
3. 請求項２に記載の文字列認識方法であって、
   上記文字領域列候補に対し文字認識を行い認識結果文字列候補を得るステップが、
   上記文字領域列候補に対し文字認識を行うステップと、
   上記文字認識結果の先頭の数文字が陸運支局名から始まり、かつ残りの文字が３桁以内の数字列である場合に、上記文字認識結果を認識結果文字列候補とするステップと、
   上記文字認識結果の先頭の数文字に類似する陸運支局名を求めることができ、かつ残りの文字が３桁以内の数字列である場合に、上記文字認識結果を認識結果文字列候補とするステップと、
   認識結果文字列候補は陸運支局名及び分類番号を構成しないと判断するステップと、
   を備えることを特徴とする文字列認識方法。
4. 請求項３に記載の文字列認識方法であって、
   複数の認識結果文字列候補から適切な認識結果文字列を選択するステップが、
   認識結果文字列候補の先頭の数文字が陸運支局名から始まりかつ残りの文字が３桁以内の数字列であると判定されたものを選択するステップと、
   認識結果文字列候補の先頭の数文字が陸運支局名から始まりかつ残りの文字が３桁以内の数字列であると判定されたものが存在しない場合に、認識結果文字列候補の先頭の数文字に基づき陸運支局名辞書から近似解を求め、かつ残りの文字が３桁以内の数字列であると判定されたものを選択するステップと、
   を備えることを特徴とする文字列認識方法。
5. コンピュータを、請求項１〜請求項４のいずれかに記載されている各ステップを達成するための手段として機能させるコンピュータプログラム。
6. 請求項５に記載のプログラムを格納したコンピュータ読取可能な記憶媒体。

Images