JP2013250796A - 番号標検出装置、番号標検出方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ＨＯＧ特徴に基づくＢｏＦを用いることにより、原動機付き自転車等の番号標を従来方法に比べてより高い精度で検出することができる番号標検出装置を提供する。
【解決手段】車両の番号標画像部分が含まれる撮像画像から該番号標画像部分を検出する番号標検出装置に、撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する特徴量算出手段と、該特徴量算出手段にて算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級する度数分布算出手段と、番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準を記憶する記憶手段と、該記憶手段が記憶する基準、及び前記度数分布算出手段にて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出する番号標検出手段とを備える。
【選択図】図１４

Description

本発明は、ＨＯＧ（Histograms of Oriented Gradient）特徴量に基づくＢｏＦ（Bag of Features）を用いて、車両の番号標画像部分を検出する番号標検出装置、番号標検出方法及びコンピュータプログラムに関する。

四輪車の番号標（ナンバープレート）を検出する方法として、文字配置規則を用いた方法が提案されている（例えば、非特許文献１）。また、市販されている番号標検出装置においては公称９９％以上という高い検出成功率が実現されている。番号標の検出成功率が高い理由の一つとして、四輪車の番号標の様式が日本国内で統一されていることが挙げられる。

田邊 勝義、川島 晴美、丸林 栄作、仲西 正、塩 昭夫、大塚 作一著、「部分文字列の配置規則を考慮したナンバープレート領域抽出」、電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−情報処理、Ｊ８１−Ｄ−２（１０）、２２８０−２２８７、１９９８

しかしながら、従来の番号標検出方法は、番号標の形状及び文字配置が一定の規則に従っていることを前提としているため、例えば、様式バリエーションが豊富な原動機付き自転車の番号標を四輪車のように高い精度で検出できないという問題があった。

原動機付き自転車の番号標の様式は地方自治体の条例によって定められており、国内で統一されてはいない。このため、原動機付き自転車の番号標には種々のバリエーションが存在する。

図１６は、原動機付き自転車の番号標の例を示した模式図である。図１６Ａ、図１６Ｂに示すように縦横比が１：１．７の番号標もあれば、図１６Ｃ、図１６Ｄに示すように縦横比が１：２のものもある。また、図１６Ｄに示すように、横長小判形の変形プレート、イラスト入りの番号標が存在する。更に、数字の桁数、自治体名、ステッカーの位置等も自治体毎に異なっており、バリエーションの幅は広い。

原動機付き自転車のように、番号標の様式にバリエーションがある場合、従来の番号標検出方法では十分に対応できないかもしれない。

本発明は斯かる事情に鑑みてなされたものであり、その目的はＨＯＧ特徴に基づくＢｏＦを用いることにより、原動機付き自転車等の車両の番号標を従来方法に比べてより高い精度で検出することができる番号標検出装置、番号標検出方法、及びコンピュータプログラムを提供することにある。

本発明に係る番号標検出装置は、車両の番号標画像部分が含まれ得る撮像画像から該番号標画像部分を検出する番号標検出装置において、撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する特徴量算出手段と、該特徴量算出手段にて算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級する度数分布算出手段と、番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準を記憶する記憶手段と、該記憶手段が記憶する基準、及び前記度数分布算出手段にて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出する番号標検出手段とを備えることを特徴とする。

本発明に係る番号標検出装置は、各分割画像における輝度の勾配の大きさを示す特徴量を算出する手段を備え、前記度数分布算出手段は、前記分割画像の前記特徴量にて重み付けを行って、該分割画像を各クラスに分級するようにしてあることを特徴とする。

本発明に係る番号標検出装置は、前記撮像画像を、前記分割画像複数を包含することが可能な検出窓にて走査する走査手段を備え、前記度数分布算出手段は、前記検出窓に包含される複数の分割画像を各クラスに分級した度数分布を算出するようにしてあり、前記番号標検出手段は、前記検出窓に包含される複数の分割画像における度数分布及び前記基準に基づいて、該複数の分割画像からなる画像が番号標画像部分であるか否かを判別する判別手段を備えることを特徴とする。

本発明に係る番号標検出装置は、前記検出窓に包含される複数の分割画像からなる画像の周縁各部のエッジ強度を算出するエッジ強度算出手段を備え、前記判別手段は、前記周縁各部のエッジ強度が所定値未満である場合、前記検出窓に包含される複数の分割画像からなる画像は番号標画像部分以外の画像部分であると判別するようにしてあることを特徴とする。

本発明に係る番号標検出装置は、大きさが異なる複数の検出窓を備え、前記判別手段は、前記検出窓を用いた走査で番号標画像部分を判別できなかった場合、大きさが異なる他の検出窓を用いた走査により番号標画像部分を判別するようにしてあることを特徴とする。

本発明に係る番号標検出装置は、前記判別手段は、前記検出窓を用いた走査で番号標画像部分を判別できなかった場合、該検出窓より小さい他の検出窓を用いた走査により番号標画像部分を判別するようにしてあることを特徴とする。

本発明に係る番号標検出方法は、車両の番号標画像部分が含まれ得る撮像画像から該車両の番号標画像部分を検出する番号標検出方法において、撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出するステップと、算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級するステップと、番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準、及び前記ステップにて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出するステップとを備えることを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、車両の番号標画像部分が含まれ得る撮像画像から該車両の番号標画像部分を検出させるコンピュータプログラムにおいて、コンピュータを、撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する特徴量算出手段と、該特徴量算出手段にて算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級する度数分布算出手段と、番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準、及び前記度数分布算出手段にて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出する番号標検出手段として機能させることを特徴とする。

本発明にあっては、撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する。そして、複数の分割画像のＨＯＧ特徴量に基づいて、各分割画像を複数のクラスに分級した度数分布を作成する。複数のクラスには、少なくとも、番号標画像部分が属するクラスと、番号標画像部分を含まない車両の画像部分が属するクラスとが含まれる。クラスは、例えば予め、番号標画像部分と、番号標画像部分を含まない車両の画像部分とを用いたクラスタ分析によって得られたクラスタである。ただし、前記クラスは、上述の通り、番号標画像部分が属するクラスと、車両の画像部分が属するクラスとを用意できれば、必ずしもクラスタ分析によって得られるものに限定されない。
そして、該度数分布を用いて、番号標画像部分を検出する。番号標画像部分の検出は、記憶手段が記憶する基準と、前記度数分布算出手段にて得た度数分布とを比較することにより行う。
ＨＯＧ特徴量を用いることにより、番号標に含まれる文字、特に数字に共通する曲線部分を捉えることができ、効果的に番号標画像部分の判別が可能になる。ＨＯＧ特徴量によれば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量に比べて番号標画像部分の判別成功率を向上させることが可能である（図１５参照）。ＳＩＦＴ特徴量は画像のテクスチャを表現するのに適した特徴量であり、ＨＯＧ特徴量はエッジ形状の表現に適した特徴量である。番号標画像部分の判別には数字部分の曲線部分の特徴を捉えることが重要であるため、ＨＯＧ特徴量の方が番号標画像部分の特徴を表現するのに優れている。

本発明にあっては、分割画像における輝度の勾配が大きい程、該分割画像に含まれる被写体の輪郭が鮮明に表れている可能性が高いため、該分割画像を特定のクラスに分級する際、輝度の勾配の大きさを示す特徴量にて重み付けを行う。つまり、被写体の輪郭の特徴がより強く度数分布に反映される。従って、前記特徴量にて重み付けを行った度数分布を用いて番号標画像部分の判別を行うことにより、より正確な番号標画像部分の検出が可能になる。

本発明にあっては、検出窓を用いて撮像画像を走査し、該検出窓で囲まれる画像、即ち検出窓に包含される複数の分割画像からなる画像が番号標画像部分であるか否かを判別する。
なお、撮像画像の分割及びＨＯＧ特徴量の算出処理と、検出窓による撮像画像の走査とはこの順で行っても良いし、逆順に行っても良い。

本発明にあっては、検出窓にて走査及び特定された画像の周縁部にあるエッジの強度が所定値未満である場合、つまり、番号標の縁部分の画像が含まれていない場合、前記検出窓にて特定された画像は番号標画像部分では無いと判別する。

本発明にあっては、大きさが異なる検出窓を用いて撮像画像を走査し、番号標画像部分を検出する。従って、異なる形状及びサイズの番号標画像部分を検出することが可能である。

本発明にあっては、大きな検出窓を用いて番号標画像部分を検出し、次いで小さな検出窓を用いて番号標画像部分を検出する。大きな検出窓を用いた走査は、小さな検出窓を用いた走査より処理時間が短いため、先に大きな検出窓を用いて走査及び検出を行った方が効率的に番号標画像部分を検出することが可能である。

本発明によれば、ＨＯＧ特徴に基づくＢｏＦを用いることにより、原動機付き自転車等の車両の番号標を従来方法に比べてより高い精度で検出することができる。

本実施の形態に係る交通監視システムの一構成例を示すブロック図である。 本実施の形態に係る番号標検出方法の一例を示すフローチャートである。 原動機付き自転車を撮像して得た撮像画像の一例を示す模式図である。 検出処理対象の画像抽出方法を概念的に示す説明図である。 前処理に係るサブルーチンの処理手順を示すフローチャートである。 撮像画像の分割方法を概念的に示す説明図である。 各ブロックのＨＯＧ特徴量、クラスタ番号及びエッジ特徴量を概念的に示す図表である。 ブロックのクラスタへの分類方法を概念的に示す説明図である。 番号標検出に係るサブルーチンの処理手順を示すフローチャートである。 検出窓による走査方法を概念的に示す説明図である。 検出窓にて走査及び特定された画像の分割方法を概念的に示す説明図である。 検出処理対象の限定方法を概念的に示す説明図である。 ブロックをクラスタに分級して得られた度数分布を概念的に示す説明図である。 番号標画像部分の判別方法を概念的に示した説明図である。 本実施の形態に係る番号標検出装置の効果を示した実験結果の図表である。 原動機付き自転車の番号標の例を示した模式図である。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。以下の実施の形態では、本発明に係る番号標検出装置を交通監視システムに適用した例を説明する。

＜交通監視システムの構成＞
図１は、本実施の形態に係る交通監視システムの一構成例を示すブロック図である。交通監視システムは、番号標検出装置１と、番号標検出装置１に接続される撮像装置２と、通信網Ｎを介して該番号標検出装置１が接続される中央装置４とを有する。撮像装置２は、道路を走行する原動機付き自転車、四輪車等の車両を撮像し、撮像して得た撮像画像を番号標検出装置１へ送出する。番号標検出装置１は、撮像装置２から送出された撮像画像を取得し、取得した撮像画像に含まれる車両の番号標画像部分を検出する。そして、番号標検出装置１は、番号標画像部分から陸運支局、分類番号、用途番号、一連番号等の情報を読み取り、読み取った該情報を中央装置４へ送信する。なお、本実施の形態では、撮像装置２及び番号標検出装置１が、道路の路側に設けられた支柱に取り付けられる例を説明するが、番号標検出装置１は中央装置４側に設けても良いし、中央装置４に内蔵される構成でも良い。また、番号標検出装置１に撮像装置２を内蔵しても良いし、番号標検出装置１が有する機能の一部を、撮像装置２又は中央装置４に含ませるように構成しても良い。

撮像装置２は、撮像範囲に少なくとも原動機付き自転車の番号標が含まれるような姿勢で、路側に設けられた支柱に定点固定されている。撮像装置２はレンズ及び撮像素子を備える。撮像素子は例えばＣＣＤであり、レンズで集光し、結像した車両の画像を電気信号に変換する。撮像素子は、マイコンの制御に従って１秒当たりに例えば３０フレームの画像を撮像する。撮像素子で変換された電気信号は、例えばデジタルデータの撮像画像に変換され、該撮像画像は番号標検出装置１に送出される。撮像画像は、例えば１９２０×１０８２の画素で構成されている。撮像装置２は、全フレームの撮像画像を送出しても良いが、時間差分により移動物体が検出された際、その前後のフレームの撮像画像を番号標検出装置１へ送信するように構成しても良い。また、撮像装置２には照射部を設けても良い。照射部は、撮像タイミング、即ち各フレームの画像を撮像するタイミングに合わせて、道路上の車両に向けて近赤外光を照射する。これにより、例えば夜間であっても車両を撮像することができる。なお、車両の撮像に用いる波長領域は番号標を撮像可能であれば特に限定されない。

番号標検出装置１は、撮像装置２と同様、道路の路側に設けられた支柱に取り付けられている。番号標検出装置１には、ＣＰＵ（Central Processing Unit）等の制御部１１を備えたコンピュータを用いることができる。制御部１１には、バスを介して一次記憶部１２、二次記憶部（記憶手段）１３、入力部１４及び通信部１５が接続されている。

制御部１１は、二次記憶部１３が記憶するコンピュータプログラムＰを一次記憶部１２に読み出して実行することにより、本実施の形態に係る番号標検出方法を実行する。番号標検出方法の処理手順の詳細は後述する。なお、言うまでもなく、本実施の形態に係る番号標検出処理を、専用の画像処理回路にて実行するように構成しても良い。

一次記憶部１２は、コンピュータの初期動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリと、コンピュータの動作に必要な制御プログラムを記憶し、制御部１１の演算処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ、ＳＲＡＭ等の揮発性メモリとで構成される。

二次記憶部１３は、ハードディスクドライブ、ソリッドステートドライブ等の読み出しが可能なディスクドライブ、可搬式の記録媒体３からデータの読み出しが可能なＣＤ−ＲＯＭドライブ等の装置である。記録媒体３には、本実施の形態に係るコンピュータプログラムＰが読み出し可能に記録されている。本実施の形態に係るコンピュータプログラムＰは、コンピュータ読み取り可能に記録された可搬式メディアであるＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray Disc）等の記録媒体３を介して二次記憶部１３に記録されている。また、通信網Ｎに接続されている図示しない外部コンピュータから本発明に係るコンピュータプログラムＰをダウンロードし、二次記憶部１３に記録するように構成しても良い。制御部１１はこれらコンピュータプログラムＰが記録された記録媒体３又は二次記憶部１３から、コンピュータプログラムＰを読み出し、一次記憶部１２に記憶させる。なお、言うまでもなく、光ディスクは、記録媒体３の一例であり、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等にコンピュータプログラムＰをコンピュータ読み取り可能に記録しても良い。

入力部１４は、通信線を介して撮像装置２に接続され、撮像装置２から送出された撮像画像を取得するためのインタフェースである。入力部１４に入力した撮像画像は、制御部１１による制御に従って、一次記憶部１２又は二次記憶部１３に書き込まれる。なお、無線で撮像装置と、番号標検出装置１とを接続するように構成しても良い。

通信部１５は、ネットワークインタフェースであって、有線又は無線の通信網Ｎを介して中央装置４に接続されている。通信部１５は、所定の通信プロトコルに従って、撮像画像ないし番号標に係る所用のデータを、中央装置４との間で送受信する。

＜番号標検出方法の処理手順＞
図２は、本実施の形態に係る番号標検出方法の一例を示すフローチャートである。制御部１１は、入力部１４を介して撮像装置２から撮像画像を取得する（ステップＳ１）。

図３は、原動機付き自転車を撮像して得た撮像画像の一例を示す模式図である。図３に示すように、撮像画像には、原動機付き自転車の番号標画像部分が含まれている。撮像画像には、四輪車の番号標画像部分が含まれることもあるが、ここでは原動機付き自転車の番号標画像部分が含まれている場合を説明する。

ステップＳ１の処理を終えた制御部１１は、検出処理対象の画像を抽出する（ステップＳ２）。
図４は、検出処理対象の画像抽出方法を概念的に示す説明図である。図４Ａは、撮像装置２から取得した元の撮像画像である。制御部１１は、図４Ｂに示すように、まず時間差分に基づいて車体部分を求めることによって、番号標画像部分の検出処理を行う対象範囲を限定する。ハッチングで示された部分を除く画像部分が前記対象範囲である。次いで、制御部１１は、限定された対象範囲の中でさらにエッジ分布によるスクリーニングを行うことによって、図４Ｃに示すように、検出処理対象の画像を抽出する。ハッチングで示された部分を除く略矩形の画像部分が検出処理対象の画像である。番号標画像部分が含まれ得る検出処理対象を限定して抽出することによって、ステップＳ３以降で行うＨＯＧ特徴量及びＢｏＦの算出負荷は低減し、処理時間を短縮することができる。

次いで、制御部１１は、サブルーチンを呼び出し、番号標画像部分を検出するための前処理を実行する（ステップＳ３）。ステップＳ３で行う前処理も、ステップＳ２と同様、ＨＯＧ特徴量及びＢｏＦの算出負荷を低減し、処理時間を短縮するための処理である。前処理では、ステップＳ３で抽出した画像を複数のブロック（分割画像）に分割し、各ブロックにおいてＢｏＦを算出する元になるデータを算出しておく。

図５は、前処理に係るサブルーチンの処理手順を示すフローチャートである。まず、制御部１１は、ステップＳ３で抽出した検出処理対象の画像を複数のブロックに分割する（ステップＳ１１）。

図６は、撮像画像の分割方法を概念的に示す説明図である。図６に示すように、制御部１１は、検出処理対象の画像を水平方向及び垂直方向に分割する。各ブロックは、水平方向及び垂直方向において一部重複するように分割されている。例えば、１つのブロックは１６×１６画素で構成されている。制御部１１は、左上端部の画像から１つのブロックを抽出すると、次は、８画素右側のブロックを抽出する。以下同様にして、８画素ずつ水平方向に移動させてブロックを抽出する。上端部分から全てのブロックを抽出できた場合、制御部１１は、上端から８画素下側のブロックを同様にして抽出する。なお、分割するブロックの重複度合いは、後述する検出窓を走査させる際に１ステップで移動させる検出窓の画素数に応じて適宜決定すれば良い。

ステップＳ１１の処理を終えた制御部１１は、ステップＳ１１で分割した各ブロックのＨＯＧ特徴量を算出する（ステップＳ１２）。

図７は、各ブロックのＨＯＧ特徴量、クラスタ番号及びエッジ特徴量を概念的に示す図表である。図７の図表にはステップＳ１２〜１４で算出される各種特徴量がまとめられている。「ブロック」列及び「ＨＯＧ特徴量」列には、ステップＳ１１の処理で得られたブロック、及び各ブロックのＨＯＧ特徴量がそれぞれ概念的に示されている。「クラスタ番号」列及び「エッジ特徴量」列には、後述するステップＳ１３及びステップＳ１４で算出されるクラスタ番号及びエッジ特徴量Σｍが示されている。

ＨＯＧ特徴量は、ｐ×ｐ画素の複数のセル毎に勾配強度を求め、それをセル毎に勾配方向で分級して得られる度数分布である。例えば、ステップＳ１１の処理で得られた１６×１６画素のブロックを、８×８画素の４つのセルに分けて考える。セルを構成する各画素の勾配強度及び勾配方向を算出する。勾配強度ｍ（ｘ，ｙ）及び勾配方向θ（ｘ，ｙ）は、下記式（１）〜（４）で表される。但し、ｘは水平方向の画素の座標位置、ｙは垂直方向の画素の座標位置、Ｉ（ｘ，ｙ）は各画素の輝度を示している。

そして、勾配方向を０〜１８０°を２０°ずつ９方向に分割し、一のセルにおいて、各画素の勾配方向θ（ｘ，ｙ）が対応するビンに該画素の勾配強度ｍ（ｘ，ｙ）を加算することで、９次元の特徴ベクトルを算出する。他のセルにおいても同様にして特徴ベクトルを算出する。そして、各セルの特徴ベクトルを連結して３６次元（＝９次元×４）の特徴ベクトルを生成する。そして、該特徴ベクトルの大きさが１になるように正規化することにより、ブロックのＨＯＧ特徴量を得る。なお、ブロック及びセルのサイズは一例であり、番号標検出が可能であれば、その大きさは特に限定されない。

ステップＳ１２の処理を終えた制御部１１は、各ブロックのＨＯＧ特徴量に基づいて、各ブロックを所定の複数のクラスタ（クラス）に分類する（ステップＳ１３）。
図８は、ブロックのクラスタへの分類方法を概念的に示す説明図である。図８は、ＨＯＧ特徴量の多次元ベクトル空間であるＨＯＧ特徴量空間を概念的に示している。上述の例では、ＨＯＧ特徴量空間は３６次元の空間である。各ブロックは、ＨＯＧ特徴量空間において、該ブロックのＨＯＧ特徴量に応じた特定の座標位置に位置する。番号標検出装置１の二次記憶部１３は、予め様々な番号標画像部分及び車両を構成する画像部分のＨＯＧ特徴量をクラスタ分析し、複数のクラスタの代表点に相当するＨＯＧ特徴量と、各クラスタを判別するためのクラスタ番号とを対応付けて記憶している。図８中、番号標画像部分が属するクラスタを実線の円で示し、車両を構成する番号標画像部分以外の画像部分が属するクラスタを波線の円で示している。制御部１１は、各クラスタの代表点と、各ブロックのＨＯＧ特徴量との距離を算出する。各ブロックは、該ブロックの座標位置と、最短距離にある代表点のクラスタに属していると判別される。そして、各ブロックには、図７に示すように、該ブロックが属するクラスタの番号が対応付けられる。ＨＯＧ特徴量空間における距離としては、例えばＥｕｃｌｉｄ距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離、Ｈｅｌｌｉｎｇｅｒ距離などが挙げられる。
なお、本実施の形態では、予め行われたクラスタ分析によって得られたクラスタに、複数のブロックを分類する例を説明したが、番号標画像部分及び車両を構成する各ブロックを分類することができれば、その他の方法でＨＯＧ特徴量空間におけるクラスを作成し、各クラスにブロックを分類するようにしても良い。

ステップＳ１３の処理を終えた制御部１１は、各ブロックのエッジ特徴量を算出する（ステップＳ１４）。エッジ特徴量はブロックにおける輝度の勾配の大きさを示す指標である。例えば、ブロックを構成する各画素の勾配強度ｍ（ｘ，ｙ）の和をエッジ特徴量とする。なお、勾配強度ｍ（ｘ，ｙ）の和はエッジ特徴量の一例であり、勾配強度ｍ（ｘ，ｙ）の平均値、最頻値等の統計量をエッジ特徴量としても良い。また、その他のエッジ抽出フィルタを用いてエッジの強度を算出し、又は各種統計量を算出することにより、エッジ特徴量を算出しても良い。

次いで、制御部１１は、各ブロックのクラスタ番及びエッジ特徴量を、各ブロックに対応付けて記憶し（ステップＳ１５）、前処理に係るサブルーチンの処理を終える。

図２に戻り、ステップＳ３の処理を終えた制御部１１はサブルーチンを呼び出し、番号標の検出処理を実行し（ステップＳ４）、処理を終える。

図９は、番号標検出に係るサブルーチンの処理手順を示すフローチャートである。まず、制御部１１は、変数Ｎに１を代入する（ステップＳ３１）。二次記憶部１３は、検出処理対象の画像を走査するための検出窓として、大きさが異なる第１検出窓、第２検出窓…などを記憶しており、変数Ｎは各検出窓を示すものである。第Ｎ検出窓（第１検出窓、第２検出窓…）の寸法は、Ｎの値が小さい程、大きく、二次記憶部１３は、第１及び第２検出窓の縦横寸法を記憶している。
第１検出窓は、高さ１００ｍｍ、幅２００ｍｍの番号標（図１６Ｃ，Ｄ参照）を検出するためのものであり、第１検出窓で抽出される画像の大きさは９６×４８画素である。
第２検出窓は、高さ１００ｍｍ、幅１７０ｍｍの番号標（図１６Ａ，Ｂ参照）を検出するためのものであり、第２検出窓で抽出される画像の大きさは８０×４８画素である。
なお、撮像装置２は定点固定されており、道路を走行する原動機付き自転車と、撮像装置２との位置関係は概ね一定であるため、大きさが規定された第Ｎ検出窓を用いて番号標画像部分を走査及び検出することができる。

次いで、制御部１１は、第Ｎ検出窓にて画像を走査及び特定する（ステップＳ３２）。
図１０は、第１検出窓による走査方法を概念的に示す説明図である。実線で示した矩形枠が第１検出窓であり、制御部１１は、波線で示した矩形枠に示すように、左上端部から右下部まで第１検出窓にて、検出対象画像を走査する。例えば、制御部１１は、第１検出窓を例えば８画素ずつ水平方向及び垂直方向に移動させることにより走査を行う。ステップＳ３２で特定される画像は、図１０に示すように、ある走査位置にある第１検出窓で囲まれた画像部分が、番号標画像部分であるかいなかの判別対象となる画像である。第２検出窓を用いて画像を走査する場合も同様である。

そして、制御部１１は、ある走査位置にある第Ｎ検出窓にて特定された画像を複数のブロックに分割する（ステップＳ３３）。
図１１は、検出窓にて走査及び特定された画像の分割方法を概念的に示す説明図である。例えば、第１検出窓で抽出される画像は９６×４８画素であるため、１６×１６画素のブロックで分割した場合、６×３＝１８ブロックに分割される。第２検出窓で抽出される画像は、５×３＝１５ブロックに分割される。

図１２は、検出処理対象の限定方法を概念的に示す説明図である。なお、第Ｎ検出窓にて抽出された画像を分割する際、図１２の矩形枠で示すように、該第Ｎ検出窓に含まれる画像の一部を判別対象の画像として抽出し、抽出された一部の画像を複数のブロックに分割するように構成しても良い。どの部分を抽出するかは、二次記憶部１３が予め記憶している。判別対象の画像を限定することにより、判別処理の負荷を低減することができる。

次いで、制御部１１は、前処理で特定してある各ブロックのクラスタ番号及びエッジ特徴量に基づき、クラスタの重み付き度数分布を算出する（ステップＳ３４）。
図１３は、ブロックをクラスタに分級して得られた度数分布を概念的に示す説明図である。制御部１１は、各ブロックのクラスタ番号に対応するビンに、該ブロックのエッジ特徴量を加算することで、クラスタの度数分布を作成する。例えば、第１のブロックのクラスタ番号が１、エッジ特徴量が５、第２のブロックのクラスタ番号が１、エッジ特徴量が７である場合、クラスタ番号１のビンに５と、７とが加算される。この場合、クラスタ番号１のビンの重み付き度数は１２である。他のブロックについても同様の処理を行うことで、クラスタの重み付き度数分布が得られる

次いで、制御部１１は、ステップＳ３４で算出した度数分布に基づいて、番号標画像部分の判別処理を実行する（ステップＳ３５）。つまり、第Ｎ検出窓で特定された画像が番号標画像部分であるか否かを判別する。番号標画像部分であるか否かの判別を行う判別器としては、ＳＶＭ（Support Vector Machine）を用いると良い。判別器として機能する制御部１１は、予め訓練用画像を用いて番号標検出装置の検出器訓練を行うことによって、番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する分離超平面（基準）を求め、二次記憶部１３に記憶させている。訓練用画像には、正例である番号標画像部分と、負例であるその他の画像とが含まれる。前記分離超平面は、番号標画像部分から得られる度数部分を成分とするベクトルと、番号標画像部分以外の画像部分から得られる度数分布を成分とするベクトルとの距離が最大になるような多次元の平面である。制御部１１は、ステップＳ３４で算出した度数分布と、前記分離超平面とに基づいて、第Ｎ検出窓で特定された画像が番号標画像部分であるか否かを判別する。つまり、制御部１１は、第Ｎ検出窓で特定された画像の度数分布が分離超平面を基準にして、正例側に位置しているか、負例側に位置しているかを判定することにより、前記画像が番号標画像部分であるか否かを判別する。
なお、判別器は制御部１１がソフト的に実現しても良いし、ハードウェアとしての判別器を備えても良い。また、ＳＶＭを用いた判別方法は一例である。例えば、二次記憶部１３に、基準となる番号標画像部分の度数分布を記憶させておき、ステップＳ３４で算出した度数分布と、基準となる度数分布との類似度、例えば各度数分布を成分とするベクトルの距離を閾値と比較することによって、番号標画像部分を判別するように構成しても良い。

図１４は、番号標画像部分の判別方法を概念的に示した説明図である。図１４Ａは、番号標画像部分の度数分布、図１４Ｂは番号標画像部分では無い車体部分の度数分布である。なお、図１４においては、クラスタ番号がどのような画像特徴を有するクラスタであるかを理解し易くするために、番号に代えて代表的な画像を示している。制御部１１は、図１４Ａに示すように、番号標画像部分を構成するブロックが属するクラスタ（左側３つのクラスタ）の度数が大きく、車体画像を構成するブロックが属するクラスタ（右側３つのクラスタ）の度数が小さい場合、番号標画像部分であると判別される。また、図１４Ｂに示すように、番号標画像部分を構成するブロックが属するクラスタ（左側３つのクラスタ）の度数が小さく、車体画像を構成するブロックが属するクラスタ（右側３つのクラスタ）の度数が大きい場合、車体部分の画像であると判別される。

ステップＳ３５の処理を終えた制御部１１は、ステップＳ３５の判別結果により、第Ｎ検出窓にて特定された画像が番号標画像部分に分類されるか否かを判定する（ステップＳ３６）。番号標画像部分に分類されると判定した場合（ステップＳ３６：ＹＥＳ）、制御部１１は、第Ｎ検出窓の周縁部のエッジ強度を算出し（ステップＳ３７）、周縁部のエッジ強度が所定値以上であるか否かを判定する（ステップＳ３８）。第Ｎ検出窓の大きさは、番号標画像部分と略同一であるため、第Ｎ検出窓に番号標画像部分全体が含まれた場合、第Ｎ検出窓の周縁部に番号標画像部分の縁部分のエッジが表れるはずである。ステップＳ３８では、番号標画像部分の縁部分のエッジが含まれているかどうかを確認している。

周縁部のエッジ強度が所定値以上であると判定した場合（ステップＳ３８：ＹＥＳ）、制御部１１は、ステップＳ３２で特定された画像が番号標画像部分であると特定し（ステップＳ３９）、サブルーチンの処理を終える。

周縁部のエッジ強度が所定値未満であると判定した場合（ステップＳ３８：ＮＯ）、又はステップＳ３６の処理で番号標画像部分に分類されないと判定した場合（ステップＳ３６：ＮＯ）、制御部１１は、第Ｎ検出窓によって検出処理対象の画像全体の走査を終了したか否かを判定する（ステップＳ４０）。走査を終了していないと判定した場合（ステップＳ４０：ＮＯ）、制御部１１は処理をステップＳ３２に戻す。走査を終了したと判定した場合（ステップＳ４０：ＹＥＳ）、制御部１１は、変数ＮがＮの最大値であるか否かを判定する（ステップＳ４１）。最大値であると判定した場合（ステップＳ４１：ＹＥＳ）、制御部１１は、所定のエラー処理を実行し（ステップＳ４３）、サブルーチンの処理を終える。変数Ｎが最大値では無いと判定した場合（ステップＳ４１：ＮＯ）、制御部１１は、変数Ｎに１を加算し（ステップＳ４２）、処理をステップＳ３２に戻す。

＜作用効果＞
このように構成された、番号標検出装置１によれば、ＨＯＧ特徴に基づくＢｏＦを用いることにより、文字配置及び形状に種々のバリエーションが存在する原動機付き自転車の番号標を従来方法に比べてより高い精度で検出することができる。

ここで、ＳＩＦＴ特徴量に基づくＢｏＦを用いた番号標検出と、ＨＯＧ特徴量に基づくＢｏＦを用いた番号標検出とを比較する実験を説明する。
図１５は、本実施の形態に係る番号標検出装置１の効果を示した実験結果の図表である。実験方法の概要は、検証用画像として、番号標画像部分が含まれる画像と、番号標画像部分が含まれていない画像とを判別させ、ＳＩＦＴ特徴量を用いた場合の正答率と、ＨＯＧ特徴量を用いた場合の正答率とを算出するというものである。検証用画像には、人手により切り出した原動機付き自転車の番号標画像部分と、番号標画像部分以外の画像部分とが含まれる。図１５中、正例は原動機付き自転車の番号標画像部分であり、負例は番号標画像部分以外の画像部分である。

番号標画像部分の判別は、訓練用画像を用いて番号標検出装置１の検出器訓練を行った後、前記検証用画像に対して行った。判別に利用した特徴量は、上述の通りＳＩＦＴ特徴量と、ＨＯＧ特徴量である。判別器は線形ＳＶＭである。
実験結果は、図１５に示すとおり、ＨＯＧ特徴量に基づくＢｏＦを用いた場合、正例の判別正答率が１００％、負例の判別正答率が９８．９％であった。一方ＳＩＦＴ特徴量に基づくＢｏＦを用いた場合、負例の正答率が９９．４％、負例の正答率が９５％であった。
このように、ＨＯＧ特徴量を用いることによって、原動機付き自転車の番号標画像部分を高い精度で検出することができる。ＳＩＦＴ特徴量は画像のテクスチャを表現するのに適した特徴量であり、ＨＯＧ特徴量はエッジ形状の表現に適した特徴量である。番号標画像部分の判別には数字部分のエッジ形状の特徴を捉えることが重要であるため、ＨＯＧ特徴量の方が番号標画像部分の特徴を表現するのに優れており、ＨＯＧ特徴量を用いることにより、番号標画像部分を効果的に検出することができる。

また、ＨＯＧ特徴量を用いた判別処理の方が、ＳＩＦＴ特徴量を用いた判別処理に比べて、より高速に判別処理を実行することができる。１９２０×１０８０の画像に対する処理時間は３０ｍｓ以下であり、リアルタイム処理が可能である。

更に、本実施の形態では、番号標画像部分の判別処理を実行する前に、検出処理対象の画像を分割して得られる各ブロックのクラスタ番号及びエッジ特徴量を算出してあるため、検出処理対象の画像を走査して番号標画像部分を検出する処理をより効率的に行うことができる。

更にまた、ステップＳ３４で度数分布を作成する際、エッジ特徴量を用いて重み付けを行っているため、エッジが鮮明に表れているブロックの特徴が度数分布に強く反映される。従って、より正確に番号標画像部分を検出することができる。

更にまた、大きさが異なる複数の第Ｎ検出窓を用いて画像を走査し、番号標画像部分を検出するように構成してあるため、形状が異なる番号標を検出することができる。

更にまた、大きな第Ｎ検出窓から順番に使用して番号標画像部分を検出するように構成してあるため、より効率的に番号標画像部分を検出することができる。大きな検出窓を用いた走査は、小さな検出窓を用いた走査により処理時間が短いため、先に大きな検出窓を用いて走査及び検出を行った方が効率的に番号標画像部分を検出することができる。また、第Ｎ検出窓の大きさが大きければ、単純に走査時間が短く、番号標画像部分が含まれていると推定される画像領域の当たりをつけることができる。次に他の第Ｎ検出窓を用いて番号標画像部分を検出する際、前記画像領域を重点的に走査すれば、より効率的に番号標画像部分を検出することが可能になる。

なお、上述の実施の形態では主に原動機付き自転車の番号標画像部分を検出する例を説明したが、言うまでもなく四輪車といった他の車両の番号標画像部分を検出する装置として本実施の形態に係る番号標検出装置を適用しても良い。

また、本実施の形態では、前処理を行った後に番号標検出処理を行っているが、前処理を行わずに番号標検出処理を行っても良い。つまり、第Ｎ検出窓で撮像画像を走査しながら、該第Ｎ検出窓で囲まれる撮像画像の部分画像を分割し、分割して得られる各分割画像のＨＯＧ特徴量及び度数分布を算出し、番号標画像部分の判別処理を行うように構成しても良い。また検出される番号標画像部分は、番号標の少なくとも一部を含むものであってもよい。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 番号標検出装置
２ 撮像装置
３ 記録媒体
４ 中央装置
１１ 制御部
１２ 一次記憶部
１３ 二次記憶部
１４ 入力部
１５ 通信部
Ｎ 通信網
Ｐ コンピュータプログラム

Claims (8)

1. 車両の番号標画像部分が含まれ得る撮像画像から該番号標画像部分を検出する番号標検出装置において、
   撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する特徴量算出手段と、
   該特徴量算出手段にて算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級する度数分布算出手段と、
   番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準を記憶する記憶手段と、
   該記憶手段が記憶する基準、及び前記度数分布算出手段にて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出する番号標検出手段と
   を備えることを特徴とする番号標検出装置。
2. 各分割画像における輝度の勾配の大きさを示す特徴量を算出する手段を備え、
   前記度数分布算出手段は、
   前記分割画像の前記特徴量にて重み付けを行って、該分割画像を各クラスに分級するようにしてある
   ことを特徴とする請求項１に記載の番号標検出装置。
3. 前記撮像画像を、前記分割画像複数を包含することが可能な検出窓にて走査する走査手段を備え、
   前記度数分布算出手段は、
   前記検出窓に包含される複数の分割画像を各クラスに分級した度数分布を算出するようにしてあり、
   前記番号標検出手段は、
   前記検出窓に包含される複数の分割画像における度数分布及び前記基準に基づいて、該複数の分割画像からなる画像が番号標画像部分であるか否かを判別する判別手段を備える
   ことを特徴とする請求項１又は請求項２に記載の番号標検出装置。
4. 前記検出窓に包含される複数の分割画像からなる画像の周縁各部のエッジ強度を算出するエッジ強度算出手段を備え、
   前記判別手段は、
   前記周縁各部のエッジ強度が所定値未満である場合、前記検出窓に包含される複数の分割画像からなる画像は番号標画像部分以外の画像部分であると判別するようにしてある
   ことを特徴とする請求項３に記載の番号標検出装置。
5. 大きさが異なる複数の検出窓を備え、
   前記判別手段は、
   前記検出窓を用いた走査で番号標画像部分を判別できなかった場合、大きさが異なる他の検出窓を用いた走査により番号標画像部分を判別するようにしてある
   ことを特徴とする請求項３又は請求項４に記載の番号標検出装置。
6. 前記判別手段は、
   前記検出窓を用いた走査で番号標画像部分を判別できなかった場合、該検出窓より小さい他の検出窓を用いた走査により番号標画像部分を判別するようにしてある
   ことを特徴とする請求項５に記載の番号標検出装置。
7. 車両の番号標画像部分が含まれ得る撮像画像から該車両の番号標画像部分を検出する番号標検出方法において、
   撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出するステップと、
   算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級するステップと、
   番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準、及び前記ステップにて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出するステップと
   を備えることを特徴とする番号標検出方法。
8. コンピュータに、車両の番号標画像部分が含まれ得る撮像画像から該車両の番号標画像部分を検出させるコンピュータプログラムにおいて、
   コンピュータを、
   撮像画像を分割して得た分割画像それぞれのＨＯＧ特徴量を算出する特徴量算出手段と、
   該特徴量算出手段にて算出したＨＯＧ特徴量に基づいて、複数の分割画像を複数のクラスに分級する度数分布算出手段と、
   番号標画像部分から得られる度数部分と、番号標画像部分以外の画像部分から得られる度数分布とを区別する基準、及び前記度数分布算出手段にて得た度数分布を比較することにより、前記撮像画像に含まれ得る番号標画像部分を検出する番号標検出手段と
   して機能させることを特徴とするコンピュータプログラム。

Images