JP2016018421A - 画像分類装置、ナンバープレート読取装置、ナンバープレート読取システムおよび画像分類方法 - Google Patents

Abstract

【課題】高速かつ正確に対象画像をクラスに分類することのできる画像分類装置を提供する。【解決手段】ナンバープレートを撮像した画像から、文字の画像を対象画像として切り出す切り出し部２２と、あらかじめ定められた分割方法に従い、対象画像を複数の部分画像に分割する分割部２４と、部分画像ごとに、当該部分画像と、各々が少なくとも１つの文字のクラスに対応付けられた複数の部分モデル画像であって、対応付けられた少なくとも１つの文字のクラスの画像的な特徴を示す複数の部分モデル画像との類似度を算出する類似度算出部２５と、類似度に基づいて、部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた少なくとも１つの文字のクラスのそれぞれに点を投票する投票部２６と、投票結果に基づいて、対象画像を投票点が最も大きい文字のクラスに分類することにより、文字を認識する分類部２７とを備える。【選択図】図３

Description

本発明は、画像をクラスに分類する画像分類装置等に関する。

従来、入力画像内の文字を認識する方法が提案されている（たとえば、特許文献１および２参照）。従来の方法では、入力画像を複数の部分入力画像に分割し、部分入力画像と特徴が類似する部分文字画像を検索し、検索結果として得られた部分文字画像を文字カテゴリごとに集計する。その上で、部分入力画像をノードとして、部分入力画像の位置関係と部分文字画像の位置関係とからグラフを作成し、グラフの中からクリークを抽出することにより、文字候補を抽出している。

特開２００９−４３１０２号公報 特開２０１１−２２９３８号公報

しかしながら、従来の方法では、部分入力画像が多くなると、ノードの組み合わせが多くなり、クリークの抽出に時間がかかるため、高速に文字認識を行うことができないという問題がある。特に、高速道路を走行する自動車のナンバープレートを読み取るナンバープレート読取装置は、短時間で多くのナンバープレートの文字を読み取る必要があるため、高速な文字認識処理が要求される。また、ナンバープレートは泥はねなどにより汚れやすいため、従来の方法では誤認識しやすいという問題もある。

本発明は、このような事情に鑑みてなされたものであり、高速かつ正確に対象画像をクラスに分類することのできる画像分類装置を提供することを目的とする。

上記目的を達成するために、本発明のある局面に係る画像分類装置は、対象画像を、複数のクラスのうちのいずれかのクラスに分類する画像分類装置であって、あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割部と、前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票部と、前記投票部における投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類部とを備える。

なお、本発明は、このような特徴的な処理部を備える画像分類装置として実現することができるだけでなく、画像分類装置に含まれる特徴的な処理部が実行する処理をステップとする画像分類方法として実現することができる。また、画像分類装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは画像分類方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、画像分類の一部又は全部を実現する半導体集積回路として実現したり、画像分類装置を含む画像分類システムとして実現したりすることもできる。

本発明によると、高速かつ正確に対象画像をクラスに分類することができる。

本発明の実施の形態に係るナンバープレート読取システムの外観図である。 撮像部が撮像したナンバープレートの画像の一例を示す図である。 ナンバープレート読取装置のハードウェア構成を示すブロック図である。 対象画像を分割することにより得られる部分画像の一例を示す図である。 モデル画像記憶部に記憶されている部分モデル画像と座標とクラスとの組の情報の一例を示す図である。 （ａ）は、部分画像のそれぞれについて、点を投票するクラスを吹き出しで示した図であり、（ｂ）は、横軸にクラスを示し、縦軸に投票点（投票された点の合計）を示すグラフである。 ナンバープレート読取装置が実行する処理の流れを示すフローチャートである。 （ａ）は、部分画像のそれぞれについて、点を投票するクラスを吹き出しで示した図であり、（ｂ）は、横軸にクラスを示し、縦軸に投票点（投票された点の合計）を示すグラフである。 第２分割方法による対象画像の分割について説明するための図である。

最初に本発明の実施態様を列記して説明する。

（１）本発明の一態様に係る画像分類装置は、対象画像を、複数のクラスのうちのいずれかのクラスに分類する画像分類装置であって、あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割部と、前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票部と、前記投票部における投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類部とを備える。

この構成によると、部分画像ごとに部分モデル画像との類似度が算出される。このため、対象画像の一部が汚れていたりかすれていたりしても、汚れ等の影響を受けた部分画像について正解の部分モデル画像との類似度が低下するだけであり、その他の部分画像については正解の部分モデル画像との類似度は低下しない。このため、正解のクラスに対する投票点が、汚れ等がない対象画像に対する投票点に比べて少し小さくなるものの、正解のクラスの投票点は最大となり、対象画像を正解のクラスに分類することができる。また、部分画像ごとに点をクラスに投票し、対象画像を投票点が最も大きいクラスに分類するという簡易な処理でクラス分類を行うことができる。このため、高速かつ正確に対象画像をクラスに分類することができる。

（２）また、前記投票部は、前記少なくとも１つのクラスのそれぞれに点を投票する際に、出現確率が大きいクラスほど大きな点を投票してもよい。

この構成によると、出現確率が大きいクラスほど対象画像が分類されやすくなることができる。よって、対象画像の識別率を向上させることができる。

（３）また、前記投票部は、前記少なくとも１つのクラスのそれぞれに点を投票する際に、前記少なくとも１つのクラスの数が少ないほど、前記少なくとも１つのクラスのそれぞれに大きな点を投票してもよい。

この構成によると、クラスにとって特徴的なパターンが部分画像に出現した際に、当該クラスへ投票する点を大きくすることができる。このため、特徴的なパターンが現れた場合に、対象画像を当該パターンに対応するクラスに分類させやすくすることができる。よって、正確に対象画像をクラスに分類することができる。

（４）また、前記分割部は、第１分割方法に従い前記対象画像を複数の部分画像に分割することで第１部分画像組を生成し、かつ、前記第１分割方法とは異なる第２分割方法に従い前記対象画像を複数の部分画像に分割することで第２部分画像組を生成し、前記類似度算出部は、前記第１部分画像組および前記第２部分画像組に含まれる部分画像ごとに、当該部分画像と前記複数の部分モデル画像との前記類似度を算出し、前記投票部は、前記第１部分画像組および前記第２部分画像組に含まれる部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票してもよい。

この構成によると、複数の分割方法を用いて対象画像を部分画像に分割するため、一種類の分割方法で分割する場合に比べて部分画像が多くなる。よって、様々な部分画像について投票を行うことができるため、対象画像のクラスへの分類をさらに正確に行うことができる。

（５）また、前記分割部は、互いに異なる複数の分割方法の各々について、当該分割方法に従い前記対象画像を複数の部分画像に分割し、前記類似度算出部は、前記分割方法ごとに、当該分割方法に対応する前記複数の部分画像の各々について、当該部分画像と前記複数の部分モデル画像との前記類似度を算出し、前記投票部は、前記類似度算出部により算出された前記類似度に基づいて、各分割方法について、当該分割方法に対応する前記複数の部分画像に含まれる前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票し、前記分類部は、前記投票部による投票結果に基づいて、前記分割方法ごとに投票点が最も大きいクラスを決定し、決定された複数のクラスのうち最も頻出するクラスに前記対象画像を分類してもよい。

この構成によると、分割方法ごとに対象画像のクラスへの分類が行われ、多数決で対象画像が分類されるクラスを決定することができる。このため、ある分割方法では、汚れ等の影響を受けて誤ったクラス分類が行われたとしても、他の分割方法で正しいクラス分類が行われた場合には、結果的に正しいクラス分類を行うことができる。よって、１つの分割方法を用いて対象画像をクラスに分類する場合に比べ、さらに正確に対象画像をクラスに分類することができる。

（６）本発明の他の一態様に係るナンバープレート読取装置は、車両のナンバープレートを撮像した画像から文字を認識するナンバープレート読取装置であって、前記ナンバープレートを撮像した画像から、文字の画像を対象画像として切り出す切り出し部と、あらかじめ定められた分割方法に従い、前記切り出し部が切り出した前記対象画像を複数の部分画像に分割する分割部と、前記部分画像ごとに、当該部分画像と、各々が少なくとも１つの文字のクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つの文字のクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つの文字のクラスのそれぞれに点を投票する投票部と、前記投票部における投票結果に基づいて、前記対象画像を投票点が最も大きい文字のクラスに分類することにより、文字を認識する分類部とを備える。

この構成によると、部分画像ごとに部分モデル画像との類似度が算出される。このため、対象画像の一部が汚れていたりかすれていたりしても、汚れ等の影響を受けた部分画像についての類似度が低下するだけであり、その他の部分画像についての類似度は低下しない。このため、正解の文字のクラスに対する投票点が、汚れ等がない対象画像に対する投票点に比べて少し小さくなるものの、投票点の合計値で見た場合には、正解の文字のクラスの投票点は最大となる。よって、対象画像を正解の文字のクラスに分類することができ、これに伴い文字を正しく認識することができる。また、部分画像ごとに点を文字のクラスに投票し、対象画像を投票点が最も大きい文字のクラスに分類するという簡易な処理でクラス分類を行うことができる。このため、高速かつ正確に対象画像を文字のクラスに分類することができ、これに伴い、高速かつ正確に文字を認識することができる。

（７）本発明のさらに他の一態様に係るナンバープレート読取システムは、道路上を走行する車両のナンバープレートの画像を撮像する撮像部と、前記撮像部が撮像した前記ナンバープレートの画像から文字を認識する上述のナンバープレート読取装置とを備える。

この構成によると、撮像部が撮像した画像に基づいて、高速かつ正確に文字を認識することができる。なお、この構成の作用および効果については、（６）に示したナンバープレート読取装置と同様である。

（８）本発明の他の一態様に係る画像分類方法は、対象画像を、複数のクラスのうちのいずれかのクラスに分類する画像分類方法であって、あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割ステップと、前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出ステップと、前記類似度算出ステップにおいて算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票ステップと、前記投票ステップにおける投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類ステップとを含む。

この構成によると、（１）に示した画像分類装置と同様の作用および効果を奏することができる。

（９）本発明の他の一態様に係るプログラムは、対象画像を、複数のクラスのうちのいずれかのクラスに分類するためのコンピュータ実行可能なプログラムであって、あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割ステップと、前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出ステップと、前記類似度算出ステップにおいて算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票ステップと、前記投票ステップにおける投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類ステップとをコンピュータに実行させるためのプログラム。

この構成によると、（１）に示した画像分類装置と同様の作用および効果を奏することができる。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

［１．ナンバープレート読取システムの全体構成］
図１は、本発明の実施の形態に係るナンバープレート読取システムの外観図である。

ナンバープレート読取システム１００は、道路上を矢印５０の方向に走行する車両４０のナンバープレートの画像を前方から撮影し、撮影した画像に基づいてナンバープレートの文字を認識する。ナンバープレート読取システム１００は、撮像部１０と、ナンバープレート読取装置２０とを備える。

撮像部１０は、道路を横断するアーム３０上であって、車両４０のナンバープレートの画像を前方上方から撮像可能な位置に取り付けられる。撮像部１０は、具体的には、動画像または静止画像を撮像可能なカメラである。なお、撮像部１０に隣接して赤外線ストロボなどの照明装置が設置されていてもよい。

図２は、撮像部１０が撮像したナンバープレートの画像の一例を示す図である。画像中にはナンバープレート６０が含まれており、ナンバープレート６０は、「９３−１８」という文字列を含む。

再度図１を参照して、ナンバープレート読取装置２０は、撮像部１０と有線または無線を介して接続され、撮像部１０が撮像したナンバープレートの画像から、ナンバープレートの文字を認識する装置である。

［２．ナンバープレート読取装置の構成］
図３は、ナンバープレート読取装置２０のハードウェア構成を示すブロック図である。

ナンバープレート読取装置２０は、通信Ｉ／Ｆ部２１と、切り出し部２２と、画像分類装置２３と、モデル画像記憶部２８とを備える。

通信Ｉ／Ｆ（インタフェース）部２１は、撮像部１０または管制センターに設けられたホストコンピュータとナンバープレート読取装置２０とを接続するための通信インタフェースである。通信Ｉ／Ｆ部２１は、撮像部１０が撮像したナンバープレートの画像を撮像部１０から取得する。また、通信Ｉ／Ｆ部２１は、ナンバープレート読取装置２０が認識したナンバープレートの文字の情報を、インターネット等のコンピュータネットワークを介して、管制センターに設けられたホストコンピュータに送信する。

切り出し部２２は、撮像部１０が撮像したナンバープレートの画像から、ナンバープレートに示されるそれぞれの文字の画像を、対象画像として切り出す。たとえば、図２に示したナンバープレートを撮像した画像から、「９」、「３」、「１」、「８」という４つの数字の対象画像６１Ａ〜６１Ｄを切り出す。ナンバープレートを撮像した画像から文字の画像を抽出する方法は、これまで各種提案されている（特許文献：特開平３−２６５９８５号公報）。たとえば、ナンバープレートを撮像した画像からエッジ成分を抽出し、エッジ成分の長さおよび間隔が一定範囲内にある縦方向のエッジ成分組および横方向のエッジ成分組を用いてナンバープレートのプレート枠を検出する。このプレート枠に基づいて、文字の位置を推定して文字の画像を抽出してもよい。切り出した対象画像のサイズが対象画像毎に異なる場合には、対象画像を拡大または縮小することにより、全ての対象画像のサイズを統一してもよい。

画像分類装置２３は、対象画像を複数のクラスのうちのいずれかのクラスに分類する。クラスは文字毎に用意されており、たとえば、文字が数字の場合には、「０」から「９」までの１０個のクラスが用意される。画像分類装置２３は、対象画像を１０個のクラスのうちのいずれかのクラスに分類することにより、対象画像が示す文字を認識する。本実施の形態では、対象画像が示す文字を「０」から「９」までの数字のクラスに分類する。

画像分類装置２３は、分割部２４と、類似度算出部２５と、投票部２６と、分類部２７とを備える。

分割部２４は、あらかじめ定められた分割方法に従い、切り出し部２２が切り出した対象画像を複数の部分画像に分割する。図４は、複数の部分画像の一例を示す図である。たとえば、分割方法が、対象画像を左右に２等分し、上下に３等分する方法の場合には、分割部２４は、図２に示した対象画像６１Ａを、図４に示すように６つの部分画像６２Ａ〜６２Ｆに分割する。ここで、部分画像の横の列をｘ座標で表し、縦の列をｙ座標で表す。たとえば、部分画像６２Ａの座標（ｘ座標，ｙ座標）は（１，１）であり、部分画像６２Ｆの座標は（２，３）である。

類似度算出部２５は、部分画像６２Ａ〜６２Ｆのそれぞれについて、当該部分画像と、モデル画像記憶部２８に記憶されているそれぞれの部分モデル画像との類似度を算出する。

図５は、モデル画像記憶部２８に記憶されている部分モデル画像と座標とクラスとの組の情報の一例を示す図である。部分モデル画像は、正解の文字の画像を分割部２４での分割に用いられる分割方法で分割することにより得られる。たとえば、部分モデル画像６３Ａは、数字「０」の画像を６分割したときの座標（１，１）に位置する部分画像である。座標（１，１）における「０」、「２」、「６」、「８」および「９」の部分画像は互いに類似している。このため、部分モデル画像６３Ａが属するクラスは、「０」、「２」、「６」、「８」および「９」の５つである。また、部分モデル画像６３Ａは、「０」、「２」、「６」、「８」および「９」の画像的な特徴を示している。つまり、部分モデル画像６３Ａに類似する部分画像は、「０」、「２」、「６」、「８」および「９」のいずれかの部分画像である可能性が高いことを示している。なお、部分モデル画像６３Ａは、座標（１，１）に位置する数字「０」の部分画像としたが、座標（１，１）に位置する数字「０」、「２」、「６」、「８」および「９」の部分画像を平均化した画像など他の画像であってもよい。モデル画像記憶部２８には、部分モデル画像６３Ａの他、部分モデル画像６３Ｂ〜６３Ｅなど、全ての座標において全てのクラスを網羅するだけの数の部分モデル画像が記憶されている。

つまり、類似度算出部２５は、部分画像６２Ａ〜６２Ｆのそれぞれと、部分モデル画像６３Ａ〜６３Ｅのそれぞれとの間で類似度を算出する。なお、座標が共通する部分画像と部分モデル画像との間でのみ類似度を算出するようにしてもよい。これにより、類似度の算出に要する時間を短縮し、部分画像と部分モデル画像との誤った対応付けが行われるのを防ぐことができる。また、類似度の算出方法は限定するものではない。たとえば、類似度算出部２５は、部分画像６２Ａと部分モデル画像６３ＡとからそれぞれＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を算出し、ＨＯＧ特徴量間の距離を、部分画像６２Ａと部分モデル画像６３Ａとの類似度として算出してもよい。

投票部２６は、類似度算出部２５により算出された類似度に基づいて、部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた少なくとも１つの文字のクラスのそれぞれに点を投票する。たとえば、部分画像６２Ａに最も類似する部分モデル画像が部分モデル画像６３Ａであったとする。この時、投票部２６は、部分モデル画像６３Ａが属するクラス「０」、「２」、「６」、「８」および「９」に１点ずつ点を投票する。ただし、最大の類似度が所定の類似度閾値以下の場合には、いずれのクラスにも点を投票しないようにしてもよい。これにより、部分モデル画像と類似していないにもかかわらずクラスへの投票が行われるのを防ぐことができる。投票部２６は、部分画像６２Ｂ〜６２Ｆについても、それぞれ、最も類似する部分モデル画像へ点を投票する。

図６の（ａ）は、部分画像６２Ａ〜６２Ｆのそれぞれについて、点を投票するクラスを吹き出しで示した図である。図６の（ｂ）は、横軸にクラスを示し、縦軸に投票点（投票された点の合計）を示すグラフである。クラス「０」の投票点が３点、クラス「１」の投票点が０点、クラス「９」の投票点が６点などとなっている。

分類部２７は、投票部２６における投票結果に基づいて、対象画像を投票点が最も大きい文字のクラスに分類することにより、文字を認識する。たとえば、対象画像６１Ａについての、投票結果は図６の（ｂ）に示したとおりであり、クラス「９」への投票点が６点であり最大である。このため、分類部２７は、対象画像６１Ａをクラス「９」に分類することにより、対象画像６１Ａの文字が「９」であると認識する。

［３．ナンバープレート読取装置の処理フロー］
図７は、ナンバープレート読取装置２０が実行する処理の流れを示すフローチャートである。

通信Ｉ／Ｆ部２１は、撮像部１０が撮像したナンバープレートの画像を撮像部１０から取得する（Ｓ１）。

切り出し部２２は、撮像部１０が撮像したナンバープレートの画像から、ナンバープレートに示されるそれぞれの文字の画像を、対象画像として切り出す（Ｓ２）。たとえば、図２に示したナンバープレートを撮像した画像から、「９」、「３」、「１」、「８」という４つの数字の対象画像６１Ａ〜６１Ｄを切り出す。

切り出し部２２により切り出された文字毎に、以下に説明するステップＳ３と、ステップＳ４およびステップＳ５のループ２と、ステップＳ６との一連の処理が実行される（ループ１）。

つまり、分割部２４は、あらかじめ定められた分割方法に従い、切り出し部２２が切り出した対象画像を複数の部分画像に分割する（Ｓ３）。たとえば、分割部２４は、図２に示した対象画像６１Ａを、図４に示すように６つの部分画像６２Ａ〜６２Ｆに分割する。

分割部２４により分割された部分画像毎に、以下に説明するステップＳ４とステップＳ５との一連の処理が実行される（ループ２）。

つまり、類似度算出部２５は、部分画像と、部分モデル画像との類似度を算出する（Ｓ４）。たとえば、類似度算出部２５は、図４に示す部分画像６２Ａと図５に示す部分モデル画像６３Ａ〜６３Ｅのそれぞれとの間で類似度を算出する。

投票部２６は、類似度算出部２５により算出された類似度に基づいて、部分画像に類似する部分モデル画像に対応付けられた少なくとも１つの文字のクラスのそれぞれに点を投票する（Ｓ５）。たとえば、投票部２６は、部分画像６２Ａに最も類似する部分モデル画像６３Ａが属するクラス「０」、「２」、「６」、「８」および「９」に１点ずつ点を投票する。

ループ２が終了した後、分類部２７は、投票部２６における投票結果に基づいて、対象画像を投票点が最も大きい文字のクラスに分類することにより、文字を認識する（Ｓ６）。たとえば、図６の（ｂ）に示した投票結果を示すグラフから、分類部２７は、対象画像６１Ａの文字が「９」であると認識する。

ループ１の処理が終了した後、通信Ｉ／Ｆ部２１は、分類部２７が認識した文字の情報を、管制センターに設けられたホストコンピュータに送信する（Ｓ７）。たとえば、図２に示したナンバープレート６０の画像を処理した結果、通信Ｉ／Ｆ部２１は、「９３１８」という文字の情報をホストコンピュータに送信する。

以上の処理を繰り返し実行することにより、ナンバープレート読取装置２０は、ナンバープレートの読み取りを連続して行う。

［４．汚れやかすれがある対象画像について］
たとえば、図８の（ａ）に示すような一部の領域（部分画像６４Ａ）がかすれている対象画像６４が切り出し部２２により切り出された場合であっても、ナンバープレート読取装置２０は、正確に文字を認識することができる。以下にその理由について説明する。

部分画像６４Ａの文字部分がかすれているため、部分画像６４Ａと、図５に示した部分モデル画像６３Ａ〜６３Ｅの各々との類似度は、いずれも類似度閾値以下となる。このため、図８の（ａ）に示すように、部分画像６４Ａについては、点を投票する対象となるクラスが存在しない。しかし、その他の部分画像６４Ｂ〜６４Ｆは、図６の（ａ）に示した部分画像６２Ｂ〜６２Ｆと同様の投票対象となるクラスを有する。図８の（ｂ）は、横軸にクラスを示し、縦軸に投票点（投票された点の合計）を示すグラフである。クラス「０」の投票点が２点、クラス「１」の投票点が０点、クラス「９」の投票点が５点などとなっている。部分画像６４Ａについて投票が行われないため、このグラフは、図６の（ｂ）のグラフに比べて、クラス「０」、「２」、「６」、「８」および「９」の投票点が小さくなっている。しかしながら、クラス「９」の投票点が５点で最大である。このため、分類部２７は、対象画像６４の文字が「９」であると認識することができる。

このように、文字の汚れやかすれなどにより、一部の部分画像について投票が行われなかったり誤った投票が行われたりしたとしても、その他の部分画像について正しい投票が行われるため、文字を正確に認識することができる。

［５．実施の形態の効果］
以上説明したように、本実施の形態によると、以下に説明する効果を奏することができる。

つまり、部分画像ごとに部分モデル画像との類似度が算出される。このため、対象画像の一部が汚れていたりかすれていたりしても、汚れ等の影響を受けた部分画像について正解の部分モデル画像との類似度が低下するだけであり、その他の部分画像については正解の部分モデル画像との類似度は低下しない。このため、正解のクラスに対する投票点が、汚れ等がない対象画像に対する投票点に比べて少し小さくなるものの、正解のクラスの投票点は最大となり、対象画像を正解のクラスに分類することができる。また、部分画像ごとに点をクラスに投票し、対象画像を投票点が最も大きいクラスに分類するという簡易な処理でクラス分類を行うことができる。このため、高速かつ正確に対象画像をクラスに分類することができる。

［６．付記］
以上、本発明の実施の形態に係るナンバープレート読取装置を備えるナンバープレート読取システムについて説明したが、本発明は、この実施の形態に限定されるものではない。

投票部２６は、部分画像に最も類似する部分モデル画像が属するクラスに１点ずつ点を投票したが、投票する点はこれに限定されない。投票部２６は、点を投票する際に、出現確率が大きいクラスほど大きな点を投票するようにしてもよい。たとえば、図６の（ａ）に示す部分画像６２Ａにおいてクラス「０」、「２」、「６」、「８」および「９」の出現確率がそれぞれ、「０．１５」、「０．１」、「０．０８」、「０．０９」および「０．１」であった場合には、投票部２６は、出現確率を点としてそれぞれのクラスに投票してもよい。これにより、クラス「０」には、「０．１５」点が投票される。このように、出現確率が大きいクラスほど対象画像が分類されやすくなることによって、対象画像の識別率を向上させることができる。

また、投票部２６は、部分画像について投票対象とするクラスの数が少ないほど、大きな点を投票するようにしてもよい。たとえば、（１／部分モデル画像に最も類似する部分モデル画像が属するクラスの数）点をクラスごとに投票することで、クラスの数に応じて点を変化させることができる。これにより、クラスにとって特徴的なパターンが部分画像に出現した際に、当該クラスへ投票する点を大きくすることができる。たとえば、図６の（ａ）に示す部分画像６２Ｄは、クラス「９」にとって特徴的なパターンであり、クラス「９」へ投票する点を大きくすることができる。このように、特徴的なパターンが現れた場合に、対象画像を当該パターンに対応するクラスに分類させやすくすることができる。よって、正確に対象画像をクラスに分類することができる。なお、１つのクラスにしか対応付けられないパターンが現れた場合には、投票部２６による投票結果を無視して、分類部２７が対象画像をその１つのクラスに分類してもよい。たとえば、図６の（ａ）に示す部分画像６２Ｄは、クラス「９」にしか対応付けられない。このため、分類部２７は、投票結果を無視して、対象画像６１Ａをクラス「９」に分類してもよい。

また、上述の実施の形態では、分割部２４は一種類の分割方法（以下、「第１分割方法」という）に従い対象画像を分割したが、分割部２４は、さらに、第１分割方法とは異なる第２分割方法に従い対象画像を分割してもよい。たとえば図９に示すように、分割部２４は、さらに、第２分割方法に従い、対象画像６１Ａを左右に２等分し、上下に４等分して、部分画像６５Ａ〜６５Ｈを生成してもよい。このとき、類似度算出部２５は、部分画像６５Ａ〜６５Ｈについても、部分画像ごとに複数の部分モデル画像との類似度を算出する。なお、類似度の算出対象となる部分モデル画像は、第２分割方法で正解の文字の画像を分割することにより得られた部分モデル画像である。投票部２６は、第１分割方法に従った部分画像６２Ａ〜６２Ｆと第２分割方法に従った部分画像６５Ａ〜６５Ｈとの合計１４個の部分画像を用いて、クラスへの投票を行う。このように、一種類の分割方法を用いて対象画像を分割する場合に比べて部分画像が多くなる。様々な部分画像について投票を行うことができるため、対象画像のクラスへの分類をさらに正確に行うことができる。

また、投票部２６は、分割方法ごとに分けて、投票を行ってもよい。これにより、分割方法の数だけ投票結果が得られる。分類部２７は、分割方法ごとに投票点が最も大きいクラスを決定し、決定された複数のクラスのうち最も頻出するクラスに前記対象画像を分類してもよい。これによると、多数決で対象画像が分類されるクラスを決定することができる。このため、ある分割方法では、汚れ等の影響を受けて誤ったクラス分類が行われたとしても、他の分割方法で正しいクラス分類が行われた場合には、結果的に正しいクラス分類を行うことができる。よって、１つの分割方法を用いて対象画像をクラスに分類する場合に比べ、さらに正確に対象画像をクラスに分類することができる。なお、分割方法の数は、３以上あるのが望ましい。これにより、多数決でクラスを決定しやすくなる。

第１分割方法では投票点が最大となるクラスが複数となり、一意に対象画像をクラスに分類することができなかった場合にのみ、このような複数の分割方法を用いて、クラス分類を行ってもよい。

また、本実施の形態はナンバープレート読み取り以外の通常の文字認識にも適用可能である。また、認識対象は文字には限定されず、マークや記号などの図形であってもよい。

また、上記のナンバープレート読取装置または画像分類装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ナンバープレート読取装置または画像分類装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記のナンバープレート読取装置または画像分類装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらに、上記コンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＡＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録されていてもよい。

また、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

さらに、上記実施の形態および上記変形例の少なくとも一部を任意に組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、自動車のナンバープレートを読み取るシステムとして、たとえば、ナンバープレートの認識結果の対応付け結果から２地点間の旅行時間を予測するシステムや、特定の番号の車両を探す犯罪捜査システムや、駐車場での自動車の入庫および出庫を管理するシステム等に用いると有益である。

１０ 撮像部
２０ ナンバープレート読取装置
２１ 通信Ｉ／Ｆ部
２２ 切り出し部
２３ 画像分類装置
２４ 分割部
２５ 類似度算出部
２６ 投票部
２７ 分類部
２８ モデル画像記憶部
３０ アーム
４０ 車両
５０ 矢印
６０ ナンバープレート
６１Ａ〜６４Ｄ、６４ 対象画像
６２Ａ〜６２Ｆ、６４Ａ〜６４Ｆ、６５Ａ〜６５Ｈ 部分画像
６３Ａ〜６３Ｅ 部分モデル画像
１００ ナンバープレート読取システム

Claims (9)

1. 対象画像を、複数のクラスのうちのいずれかのクラスに分類する画像分類装置であって、
   あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割部と、
   前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出部と、
   前記類似度算出部により算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票部と、
   前記投票部における投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類部と
   を備える画像分類装置。
2. 前記投票部は、前記少なくとも１つのクラスのそれぞれに点を投票する際に、出現確率が大きいクラスほど大きな点を投票する
   請求項１に記載の画像分類装置。
3. 前記投票部は、前記少なくとも１つのクラスのそれぞれに点を投票する際に、前記少なくとも１つのクラスの数が少ないほど、前記少なくとも１つのクラスのそれぞれに大きな点を投票する
   請求項１に記載の画像分類装置。
4. 前記分割部は、第１分割方法に従い前記対象画像を複数の部分画像に分割することで第１部分画像組を生成し、かつ、前記第１分割方法とは異なる第２分割方法に従い前記対象画像を複数の部分画像に分割することで第２部分画像組を生成し、
   前記類似度算出部は、前記第１部分画像組および前記第２部分画像組に含まれる部分画像ごとに、当該部分画像と前記複数の部分モデル画像との前記類似度を算出し、
   前記投票部は、前記第１部分画像組および前記第２部分画像組に含まれる部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する
   請求項１〜請求項３のいずれか１項に記載の画像分類装置。
5. 前記分割部は、互いに異なる複数の分割方法の各々について、当該分割方法に従い前記対象画像を複数の部分画像に分割し、
   前記類似度算出部は、前記分割方法ごとに、当該分割方法に対応する前記複数の部分画像の各々について、当該部分画像と前記複数の部分モデル画像との前記類似度を算出し、
   前記投票部は、前記類似度算出部により算出された前記類似度に基づいて、各分割方法について、当該分割方法に対応する前記複数の部分画像に含まれる前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票し、
   前記分類部は、前記投票部による投票結果に基づいて、前記分割方法ごとに投票点が最も大きいクラスを決定し、決定された複数のクラスのうち最も頻出するクラスに前記対象画像を分類する
   請求項１〜請求項３のいずれか１項に記載の画像分類装置。
6. 車両のナンバープレートを撮像した画像から文字を認識するナンバープレート読取装置であって、
   前記ナンバープレートを撮像した画像から、文字の画像を対象画像として切り出す切り出し部と、
   あらかじめ定められた分割方法に従い、前記切り出し部が切り出した前記対象画像を複数の部分画像に分割する分割部と、
   前記部分画像ごとに、当該部分画像と、各々が少なくとも１つの文字のクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つの文字のクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出部と、
   前記類似度算出部により算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つの文字のクラスのそれぞれに点を投票する投票部と、
   前記投票部における投票結果に基づいて、前記対象画像を投票点が最も大きい文字のクラスに分類することにより、文字を認識する分類部と
   を備えるナンバープレート読取装置。
7. 道路上を走行する車両のナンバープレートの画像を撮像する撮像部と、
   前記撮像部が撮像した前記ナンバープレートの画像から文字を認識する請求項６に記載のナンバープレート読取装置と
   を備えるナンバープレート読取システム。
8. 対象画像を、複数のクラスのうちのいずれかのクラスに分類する画像分類方法であって、
   あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割ステップと、
   前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出ステップと、
   前記類似度算出ステップにおいて算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票ステップと、
   前記投票ステップにおける投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類ステップと
   を含む画像分類方法。
9. 対象画像を、複数のクラスのうちのいずれかのクラスに分類するためのコンピュータ実行可能なプログラムであって、
   あらかじめ定められた分割方法に従い、前記対象画像を複数の部分画像に分割する分割ステップと、
   前記部分画像ごとに、当該部分画像と、各々が少なくとも１つのクラスに対応付けられた複数の部分モデル画像であって、対応付けられた前記少なくとも１つのクラスの画像的な特徴を示す前記複数の部分モデル画像との類似度を算出する類似度算出ステップと、
   前記類似度算出ステップにおいて算出された前記類似度に基づいて、前記部分画像ごとに、当該部分画像に類似する部分モデル画像に対応付けられた前記少なくとも１つのクラスのそれぞれに点を投票する投票ステップと、
   前記投票ステップにおける投票結果に基づいて、前記対象画像を投票点が最も大きいクラスに分類する分類ステップと
   をコンピュータに実行させるためのプログラム。