JP2013197892A - 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム - Google Patents

Abstract

【課題】認識対象となる被写体の明るさが撮影時によって異なる場合でも、その被写体の認識に要する演算量を抑制可能な被写体認識装置を提供する。
【解決手段】被写体認識装置は、所定の撮影範囲を撮影することにより画像を生成する撮像部と、画像を複数の部分領域に分割する分割部２１と、複数の部分領域のそれぞれごとにコントラストを算出し、コントラストが所定の閾値以上となる部分領域を認識対象領域に含める適正判定部２２と、認識対象領域から撮影範囲内にいる所定の被写体の認識を実行し、一方、複数の部分領域のうちの認識対象領域に含まれなかった部分領域からは被写体の認識を実行しない認識部２３とを有する。
【選択図】図３

Description

本発明は、例えば、被写体を撮影した画像から、その被写体を認識する被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラムに関する。

従来より、画像に写った被写体を認識する様々な技術が提案されている。これらの技術において、画像に写った被写体を正確に認識するためには、画像上で認識対象となる被写体が十分なコントラストを持っていることが求められる。例えば、認識対象となる被写体が車両のナンバープレートである場合、そのナンバープレートに記載された文字（記号及び数値を含む）が写った画素と背景が写った画素間の輝度値の差がある程度以上大きくなければ、その文字は正確に認識されない。

一方、固体撮像素子の２次元アレイを備えたカメラでは、固体撮像素子のダイナミックレンジは限られているので、１枚の画像では、全ての被写体について適切なコントラストが得られないことがある。例えば、被写体から発して固体撮像素子に入射する光の光量が、その固体撮像素子のダイナミックレンジの範囲内に含まれなければ、画像上でその被写体の像は黒くつぶれるか、あるいは白くとんでしまう。そこで、入力画像から対象物体が抽出された場合には輝度制御値を対象物体の輝度の平均値などから定められる値とし、対象物体が抽出されなかった場合には輝度制御値をその変更周期毎に変更する技術が提案されている（例えば、特許文献１を参照）。

しかしながら、被写体が移動物体である場合には、被写体を抽出してから次の撮影が行われるまでの間に被写体が移動する。そして被写体が移動することによって、被写体抽出時において適切な露光条件が、次回の撮影時には不適切となることがある。例えば、カメラが屋外を撮影するように設置されており、撮影範囲内に日向と日陰が含まれる場合がある。このような場合、被写体が日向にいる間に被写体が抽出されても、次回の撮影時には、被写体が日陰にいる場合がある。例えば、被写体が車両のナンバープレートである場合に、被写体抽出時には日向にいる車両のナンバープレートが抽出されるものの、次回の撮影時には、被写体となるべき後続車両のナンバープレートが日陰に位置することがある。そうすると、日向にいる被写体が画像上で適切なコントラストとなるように露光量が調節されるものの、日陰にいるナンバープレートからの光量が固体撮像素子のダイナミックレンジの下限未満となり、そのナンバープレートは、画像上では黒くつぶれてしまう。逆に、被写体抽出時において被写体が日陰にあり、次回撮影時に被写体が日向にいると、日向の被写体からの光量が固体撮像素子のダイナミックレンジの上限を超えてしまうことがある。そうすると、日向にいる被写体は、画像上では白くとんでしまう。

また、物体を異なる露光量で撮像し、得られる画像データを合成することで広ダイナミックレンジの画像を得るようにした撮像装置が提案されている（例えば、特許文献２を参照）。この撮像装置は、第１の時間区間において第１の露出時間で撮像された第１画像と第２の時間区間で第２の露出時間で撮像された第２画像の各画素ごとに、各画像の明度値の重み付け加算を行うことで広ダイナミックレンジの合成明度値を算出する。

また、異なる露光時間で同一の撮像対象物を撮像した３枚の画像フレームそれぞれの最も良好なコントラストの部分画像を選択して合成した合成画像に基づいて画像認識する技術も提案されている（例えば、特許文献３を参照）。

特開２００１−２１１３８３号公報 特開平７−７５０２６号公報 特開２００９−１７７２５０号公報

しかしながら、特許文献２または３に開示された技術では、被写体が移動物体である場合には、各画像の撮影時の間に被写体が移動するため、各画像を合成して得られた画像では、被写体がボケてしまう。また、各画像に写っている被写体の像を正確に一致するよう、何れかの画像を補正することも考えられるが、この場合には、演算量が増大してしまう。

そこで、本明細書は、認識対象となる被写体の明るさが撮影時によって異なる場合でも、その被写体の認識に要する演算量を抑制可能な被写体認識装置を提供することを目的とする。

一つの実施形態によれば、被写体認識装置が提供される。この被写体認識装置は、所定の撮影範囲を撮影することにより画像を生成する撮像部と、画像を複数の部分領域に分割する分割部と、複数の部分領域のそれぞれごとにコントラストを算出し、コントラストが所定の閾値以上となる部分領域を認識対象領域に含める適正判定部と、認識対象領域から撮影範囲内にいる所定の被写体の認識を実行し、一方、複数の部分領域のうちの認識対象領域に含まれなかった部分領域からは被写体の認識を実行しない認識部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

ここに開示される被写体認識装置は、認識対象となる被写体の明るさが撮影時によって異なる場合でも、その被写体の認識に要する演算量を抑制できる。

一つの実施形態による被写体認識装置の概略構成図である。 露光量と画像上の画素の輝度との関係の一例を示す図である。 処理部の機能を示すブロック図である。 画像と各部分領域の関係を示す図である。 適正判定処理の動作フローチャートである。 認識処理に適していると判定された部分領域と、認識処理の対象とする部分領域との関係の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、適正判定部による判定結果の一例を示す図である。 被写体認識処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による、被写体認識装置について説明する。この被写体認識装置は、露光量の異なる複数の画像のそれぞれを複数の部分領域に分割し、部分領域ごとに、演算量が比較的少なくて済むコントラストを調べる。そして被写体認識装置は、認識処理を実行するのに十分なコントラストを持つ部分領域について認識処理を実行する。これにより、この被写体認識装置は、撮影時によって被写体の明るさが異なる場合でも、精度良く認識処理を実行できるとともに、演算量を削減する。
なお、本実施形態では、被写体認識処理の対象となる被写体は、車両のナンバープレートであるとする。また、便宜上、認識処理の対象となる部分領域から被写体を認識する処理そのものについては、以下では単に認識処理と呼び、一方、認識処理だけでなく、画像の分割及びコントラストの算出を含む処理全体を、以下では被写体認識処理と呼ぶ。

図１は、一つの実施形態による被写体認識装置の概略構成図である。被写体認識装置１は、露光量の異なる複数の画像に基づいて、それらの画像の少なくとも一つに写っている特定の被写体を認識する。そのために、被写体認識装置１は、撮像部２と、画像取得部１１と、出力部１２と、記憶部１３と、記憶媒体アクセス装置１４と、処理部１５とを有する。さらに被写体認識装置１は、複数の操作ボタンといった入力装置と、被写体の認識結果を表示する液晶ディスプレイなどの表示装置を有してもよい。処理部１５は、画像取得部１１、出力部１２、記憶部１３及び記憶媒体アクセス装置１４と、例えば、バスを介して接続される。

撮像部２は、例えば、デジタルビデオカメラであり、認識対象となる被写体がその撮影範囲内に含まれるように設置される。本実施形態では、認識対象となる被写体が車両のナンバープレートであるので、撮像部２は、例えば、道路を走行中の車両の前面が撮影範囲に含まれるように屋外に設置される。
そして撮像部２は、所定の撮影周期（例えば、1/30秒）ごとに被写体を撮影することにより、その撮影周期で画像を生成する。その際、撮像部２は、例えば、撮影周期の数倍である所定の周期ごとに、撮影の度に露光量を変えて露光量が互いに異なる複数の画像を生成する。そして複数の画像のそれぞれごとの露光量は、露光量の異なる何れかの画像において被写体のコントラストが精度良く認識処理が実行できるそのコントラストの最小値以上となるように設定される。これにより、撮像部２は、被写体の明るさの取り得る範囲が、撮像部２のイメージセンサのダイナミックレンズよりも広くても、適切な露光量でその被写体を撮影した画像を生成することができる。本実施形態では、露光量によって画像のボケ度合いが変わらないように、撮像部２は、絞り径を固定しつつ、シャッター速度を変えて撮影することで、露光量の異なる画像を生成する。なお、撮像部２はシャッター速度の代わりに、あるいは、シャッター速度とともに、絞り径を変えて撮影を行うことで、露光量の異なる画像を生成してもよい。

図２は、露光量と画像上の画素の輝度との関係の一例を示す図である。図２において、横軸は、撮像部２の撮影範囲における、環境光による照度を表し、縦軸は、撮像部２により生成された画像における画素の輝度を表す。この例では、照度L₀〜L₁の間では、シャッター速度s₀で撮影された画像に基づいて被写体を認識し、照度L₁〜L₂の間では、シャッター速度s₁で撮影された画像に基づいて被写体を認識することが想定されている。そしてグラフ２００は、シャッター速度s₀で撮影された画像における、撮影範囲内にある被写体の明るい部分（例えば、ナンバープレートの背景）の照度と輝度の関係を表す。グラフ２０２は、シャッター速度s₀で撮影された画像における、撮影範囲内にある被写体の暗い部分（例えば、ナンバープレートの文字部分）の照度と輝度の関係を表す。またグラフ２１１は、シャッター速度s₁で撮影された画像における、撮影範囲内にある被写体の明るい部分の照度と輝度の関係を表し、グラフ２１２は、シャッター速度s₁で撮影された画像における、撮影範囲内にある被写体の暗い部分の照度と輝度の関係を表す。

この例では、シャッター速度s₀で撮影された画像では、照度L₀のときにおける、被写体の明るい部分に対応する輝度と暗い部分に対応する輝度との差が、精度良く認識処理が実行できるコントラストの最小値Cmin以上となるように、シャッター速度s₀が調節される。そして被写体の明るい部分が画素の輝度値が取り得る最大値Imaxに達する照度L₁において、シャッター速度s₁で撮影された画像では、被写体の明るい部分に対応する輝度と暗い部分に対応する輝度との差がCminとなるように、シャッター速度s₁が調節される。なお、最大値Imaxは、例えば、輝度値が8ビットで表される場合255である。そのために、例えば、次式の関係を満たすように、シャッター速度s₀、s₁は決定される。
S₀*L₀=S₁*L₁ （１）
例えば、L₀=1000[lux]、L₁=10000[lux]である場合、s₀=1/2000[秒]及びs₁=1/20000[秒]に設定される。なお、１回の周期で露光量の異なる画像を３枚以上生成する場合には、各画像取得時のシャッター速度は、次式に従って決定される。
S_i*L_i=S_i+1*L_i+1 （２）
ただし、L_i、L_i+1は、露光量が少ない方向からi番目、(i+1)番目の画像について認識対象の被写体のコントラストがCminとなる最低照度を表す。またS_i、S_i+1は、露光量が少ない方向からi番目、(i+1)番目の画像についてのシャッター速度を表す。

撮像部２は、例えば、露光量が多い方から順に、露光量を段階的に減らしつつ撮影を行う。そして撮像部２は、露光量が最小の画像を生成すると、その次の撮影時には、露光量を最大に戻す。そして以降、撮像部２は、所定の周期ごとに上記の露光量の調節を繰り返す。
撮像部２は、画像を生成する度に、その画像を画像取得部１１へ出力する。
なお、撮像部２が生成する画像は、画素値が輝度値のみを有するグレー画像であってもよく、あるいは、撮像部２が生成する画像は、RGB表色系で表されるカラー画像であってもよい。

画像取得部１１は、撮像部２と接続するための通信インターフェース及びその制御回路を有する。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）などの周辺機器接続用の通信規格に従ったインターフェース、あるいはビデオ信号入力用インターフェースとすることができる。
あるいは画像取得部１１は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、画像取得部１１は、撮像部２から、通信ネットワークを介して画像を取得する度に、その画像を記憶部１３に記憶させる。

出力部１２は、例えば、被写体認識装置１を他の機器と接続するための通信インターフェース及びその制御回路を有する。そのような通信インターフェースは、USBなどの周辺機器接続用の通信規格、あるいはイーサネット（登録商標）などの通信規格に従ったインターフェースとすることができる。
出力部１２は、処理部１５による被写体の認識結果を表す情報を処理部１５から受け取り、その情報を他の機器へ出力する。なお、画像取得部１１と出力部１２とは、一体化されていてもよい。

記憶部１３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１３は、処理部１５上で実行されるコンピュータプログラム、及び画像に写っている被写体を認識するために用いられる各種の情報を記憶する。また記憶部１３は、被写体認識処理が終了するまで、画像取得部１１から受け取った画像を記憶してもよい。

記憶媒体アクセス装置１４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１４は、例えば、記憶媒体１６に記憶された、処理部１５上で実行される被写体認識用コンピュータプログラムを読み込み、処理部１５に渡すか、記憶部１３に記憶させる。また記憶媒体アクセス装置１４は、処理部１５から受け取った画像及びその画像に対する被写体認識の結果を表す情報を記憶媒体１６に書き込んでもよい。

処理部１５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部１５は、画像取得部１１から受け取った、露光量の異なる画像を記憶部１３から順次読み出す。そして処理部１５は、それらの画像に写った被写体を認識する。

図３は、処理部１５の機能を示すブロック図である。処理部１５は、分割部２１と、適正判定部２２と、認識部２３とを有する。処理部１５が有するこれらの各部は、例えば、処理部１５が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部１５が有するこれらの各部は、それぞれの機能を実現する回路が集積された集積回路として被写体認識装置１に実装されてもよい。

分割部２１は、記憶部１３から読み出された画像を受け取る度に、その画像を複数の部分領域に分割する。
図４は、画像と各部分領域の関係を示す図である。図４に示されるように、画像４００は、矩形形状を有する横M個×縦N個の部分領域４０１に分割される。画像上での被写体の像４０２の想定される横方向のサイズがW₀画素であるとすると、個々の部分領域４０１の横方向のサイズWは、(W₀/2)画素以上、かつW₀画素未満に設定されることが好ましい。同様に、画像上での被写体の像の想定される縦方向のサイズがH₀画素であるとすると、個々の部分領域３０１の縦方向のサイズHは、(H₀/2)画素以上、かつH₀画素未満に設定されることが好ましい。これにより、部分領域に写っている、認識対象の被写体の像のコントラストが低いにもかかわらず、認識対象以外の物についてのコントラストが高いことにより、部分領域全体のコントラストが高くなることが抑制される。
分割部２１は、各部分領域を適正判定部２２へ通知する。

適正判定部２２は、各画像について、部分領域ごとにコントラスト及び最大輝度値を求める。そして適正判定部２２は、そのコントラスト及び最大輝度値に基づいて、その部分領域が認識処理の対象として適正か否かを判定する。なお、適正判定部２２は、撮像部２から受け取った画像がRGB表色系で表されるカラー画像である場合には、その画像をHLS表色系に変換してから、各画素の輝度成分に関して以下の処理を実行すればよい。

図５は、適正判定部２２により実行される、適正判定処理の動作フローチャートである。適正判定部２２は、画像ごとに、この適正判定処理を実行する。
先ず、適正判定部２２は、各部分領域ごとに設定される、認識処理対象であるか否かを表すフラグFの値を、認識処理対象でないことを表す値（例えば、'0'）にリセットする（ステップＳ１０１）。そして適正判定部２２は、未だ注目部分領域とされていない部分領域の何れかを注目部分領域に設定する（ステップＳ１０２）。

適正判定部２２は、注目部分領域に含まれる各画素の輝度のうちの最大輝度Mを求め、かつ、注目部分領域のコントラストCを算出する（ステップＳ１０３）。
コントラストCを求めるために、適正判定部２２は、注目部分領域について、輝度値ごとの画素の度数分布を表すヒストグラムを計算する。そして適正判定部２２は、最小輝度値から、注目部分領域の全画素数に対する所定割合pの度数だけ高い輝度に相当する、低基準輝度Loを求める。同様に、適正判定部２２は、最大輝度値Mから、注目部分領域の全画素数に対する所定割合pの度数だけ低い輝度に相当する、高基準輝度Hiを求める。そして適正判定部２２は、注目部分領域のコントラストCを以下の式に従って算出する。
C = Hi - Lo （３）
なお、所定割合pは、例えば、0.03〜0.05に設定される。

適正判定部２２は、注目部分領域について、その部分領域のコントラストCが閾値Th1以上であり、かつ、最大輝度値Mが閾値Th2未満であるか否か判定する（ステップＳ１０４）。そしてコントラストCが閾値Th1以上であり、かつ、最大輝度値Mが閾値Th2未満であれば（ステップＳ１０４−Ｙｅｓ）、適正判定部２２は、注目部分領域は認識処理対象として適性であると判定する。そして適正判定部２２は、注目部分領域についてのフラグFの値を、認識処理対象であることを表す値（例えば、'1'）に設定する（ステップＳ１０５）。なお、閾値Th1は、例えば、認識処理が所定の認識精度を達成できるコントラストの最小値、例えば、各画素の輝度値が0〜255で表される場合、50に設定される。また閾値Th2は、例えば、その部分領域の輝度値が飽和していない場合の最大輝度値の上限値、例えば、254に設定される。さらに適正判定部２２は、注目部分領域に隣接する他の部分領域に対応するフラグFの値も、認識処理対象であることを表す値'1'に設定する（ステップＳ１０６）。各部分領域は、想定される認識対象となる被写体の像の幅及び高さのそれぞれについて1/2以上のサイズを有している。そのため、適正と判定された部分領域の周囲の部分領域も認識処理の対象とすることで、適正判定部２２は、認識処理の対象となる部分領域の集合に、認識対象となる被写体の像全体を含めることができる。

ステップＳ１０６の後、あるいは、ステップＳ１０４にてコントラストCが閾値Th1未満であるか、あるいは、最大輝度値Mが閾値Th2以上であれば、適正判定部２２は、全ての部分領域は注目部分領域に設定されたか否か判定する（ステップＳ１０７）。注目部分領域に設定されていない部分領域が残っていれば（ステップＳ１０７−Ｎｏ）、適正判定部２２は、ステップＳ１０２以降の処理を繰り返す。
一方、注目部分領域に設定されていない部分領域が残っていなければ（ステップＳ１０７−Ｙｅｓ）、適正判定部２２は、各部分領域のフラグFを認識部２３に通知する。そして適正判定部２２は、適正判定処理を終了する。

図６は、認識処理に適していると判定された部分領域と、認識処理の対象とする部分領域との関係の一例を示す図である。図６に示された画像６００において、格子状のそれぞれの領域は、一つの部分領域を表す。そして部分領域６０１及び６０２は、認識処理に適していると判定された部分領域である。一方、認識処理の対象となる部分領域には、部分領域６０１及び６０２の他に、部分領域６０１及び６０２に隣接する複数の部分領域６０３（ハッチングで示された部分領域）も含まれることになる。そのため、部分領域６０１の一部に認識すべき被写体の像６１０が含まれていると、その像６１０の全体が、部分領域６０１〜６０３の集合に含まれる。

図７（ａ）及び図７（ｂ）は、それぞれ、適正判定部２２による判定結果の一例を示す図である。なお、図７（ａ）に示される画像７００の露出時間は、図７（ｂ）に示される画像７１０の露出時間よりも短いものとする。
図７（ａ）に示される画像７００では、相対的に露出時間が短く、その結果として露光量が少ないので、日向にいる車両７２０の像について十分なコントラストが得られている。そのため、車両７２０の像を含む部分領域の集合７０１が認識処理の対象とされている。一方、日陰にいる車両７２１の像は黒くつぶれてしまっているので、コントラストが不十分になっている。そのため、車両７２１の像が写っている部分領域は、認識処理の対象となっていない。一方、図７（ｂ）に示される画像７１０では、相対的に露出時間が長く、その結果として露光量が多いので、日陰にいる車両７２１の像について十分なコントラストが得られている。そのため、車両７２１の像を含む部分領域の集合７０２が認識処理の対象とされている。一方、日向にいる車両７２０の像は白くとんでしまっているので、コントラストが不十分になっている。そのため、車両７２０の像が写っている部分領域は、認識処理の対象となっていない。このように、部分領域に写っている被写体を認識できる可能性がある部分領域のみが、認識処理の対象とされていることが分かる。

認識部２３は、適正判定部２２から通知された各部分領域のフラグFの値を参照して、認識処理の対象とされた部分領域に対して認識処理を実行する。本実施形態では、認識部２３は、先ず、prewittフィルタまたはsobelフィルタといったエッジ検出フィルタを用いて、水平方向に輝度値が変化する垂直方向のエッジ画素及び垂直方向に輝度値が変化する水平方向のエッジ画素を検出する。そして認識部２３は、水平方向のエッジ画素に対してハフ変換を適用することにより、ナンバープレートの上端の輪郭線及び下端の輪郭線を検出する。同様に、認識部２３は、垂直方向のエッジ画素に対してハフ変換を適用することにより、ナンバープレートの左端の輪郭線及び右端の輪郭線を検出する。そして認識部２３は、各輪郭線で囲まれた領域を、ナンバープレートが写っているナンバープレート領域として抽出する。なお、ナンバープレート領域の下端の輪郭線が、画像の水平方向に対して傾いている場合、認識部２３は、ナンバープレート領域の下端の輪郭線が画像の水平方向に対して平行となるように、ナンバープレート領域を回転させてもよい。

次に、認識部２３は、ナンバープレート領域を、文字が写っている文字画素と背景が写っている背景画素とに二値化する。認識部２３は、ナンバープレート領域を二値化するために、様々な二値化の方法を利用できる。例えば、認識部２３は、ナンバープレート領域の各画素の輝度値を対数変換することで対数画像を生成し、その対数画像をMin/Max法を用いて平滑化する。そして認識部２３は、対数画像と平滑化画像との差分画像を生成し、その差分画像の平均画素値で差分画像を二値化することで、文字画素と背景画素とを求める。

日本で採用されているナンバープレートでは、上下方向に２行に分けて文字列が記されている。そこで認識部２３は、２値化されたナンバープレート領域について、水平方向の各ラインごとに文字画素の度数を算出する。そして認識部２３は、その度数が極小値となったラインを、上側の文字列と下側の文字列の境界とする。
認識部２３は、その文字列の境界よりも上側の領域について、今度は垂直方向の各ラインごとに文字画素の度数を算出する。認識部２３は、その度数が極小値となったラインを文字の区切りとして検出する。そして認識部２３は、隣接する二つの文字区切り間で挟まれた領域を一つの文字領域とする。同様に、認識部２３は、文字列の境界よりも下側の領域について、垂直方向の各ラインごとに文字画素の度数を算出する。認識部２３は、その度数が極小値となったラインを文字の区切りとして検出する。そして認識部２３は、隣接する二つの文字区切り間で挟まれた領域を一つの文字領域とする。

認識部２３は、文字領域ごとに、ナンバープレートで使用される個々の文字に対応する複数のテンプレートとテンプレートマッチングを行うことにより、例えば、文字領域とテンプレートとの正規化相互相関値を算出する。そして認識部２３は、正規化相互相関値が最も高いテンプレートに対応する文字を、その文字領域に写っている文字として認識する。
認識部２３は、各文字領域について認識された文字を、文字領域の並びに従って配列することにより、ナンバプレートに記されている文字列を認識する。

なお、上記の認識処理の詳細については、例えば、尾上他、「自動車画像からのナンバープレートの抽出とその漢字を含む全文字の切出しと認識」、電磁情報通信学会論文誌 D-II、Vol.J77-D-II、No.3 pp.483-492を参照されたい。

なお、認識部２３は、被写体を認識する他の方法に従って被写体を認識してもよい。例えば、認識部２３は、認識処理対象の部分領域から抽出された、文字の交点及び端点といった特徴量または文字領域そのものを、所定の文字か否かを判定する識別器に入力することで文字を認識してもよい。このような識別器は、例えば、多層パーセプトロン、サポートベクターマシンあるいはadaBoost識別器とすることができ、認識対象となる文字ごとに予め準備される。そしてこれらの識別器は、予め、認識対象となる文字が写った複数のサンプル画像と、その文字が写っていない複数のサンプル画像とに基づいて、バックプロパゲーションといった学習アルゴリズムに従って学習される。

処理部１５は、認識部２３により認識された文字列を表す情報を出力部１２を介して他の機器へ出力する。その際、処理部１５は、認識された文字列を表す情報とともに、その認識に利用した画像も出力部１２を介して他の機器へ出力してもよい。あるいは、処理部１５は、認識部２３により認識された文字列を表す情報を記憶部１３に記憶してもよい。

図８は、処理部１５により実行される被写体認識処理の動作フローチャートである。処理部１５は、画像ごとに、この被写体認識処理を実行する。

処理部１５の分割部２１は、画像を複数の部分領域に分割する（ステップＳ２０１）。そして分割部２１は、各部分領域を処理部１５の適正判定部２２へ渡す。
適正判定部２２は、各部分領域に対する適正判定処理を実行する（ステップＳ２０２）。なお、適正判定処理の詳細は、図５に関して上述したとおりである。そして適正判定部２２は、各部分領域について認識処理の対象となるか否かを表すフラグFを処理部１５の認識部２３に通知する。
認識部２３は、認識処理の対象とされた部分領域に対して認識処理を実行する（ステップＳ２０３）。そして処理部１５は、認識部２３により認識された被写体を表す情報を出力部１２を介して他の機器へ出力する。そして処理部１５は、被写体認識処理を終了する。

以上に説明してきたように、この被写体認識装置は、露光量の異なる複数の画像のそれぞれから、被写体を認識するのに必要なコントラストを持つ部分領域及び隣接する部分領域を抽出し、その抽出した部分領域に対して認識処理を実行する。そのため、この被写体認識装置は、認識対象となる被写体が撮影範囲内のどのような明るさの場所にいても、被写体が適切な露光条件で撮影された画像に基づいてその被写体を認識できる。また、認識処理自体は画像ごとに行われるので、従来技術のような画像合成による被写体のボケは生じない。したがってこの被写体認識装置は認識精度を向上できる。さらに、一つの部分領域についてのコントラストの算出に要する演算量は、部分領域が一つ増えることによる認識処理の演算量の増加分よりも非常に少ない。そのため、この被写体認識装置は、演算量を抑制できる。

なお、本発明は上記の実施形態に限られるものではない。例えば、ナンバープレートの背景部分が写っている背景画素については、背景画素の輝度値が飽和していても、認識部２３はナンバープレートの文字を認識できる。そこで適正判定部２２は、各部分領域について、コントラストCのみに基づいてその部分領域が認識処理に適しているか否かを判定してもよい。

また、露光量が小さい画像については、最大輝度値Mが閾値Th2以上となる可能性が低い。そこで他の変形例によれば、適正判定部２２は、露光量の異なる複数の画像の組のうち、露光量が最も小さい画像については、各部分領域について、コントラストCのみに基づいてその部分領域が認識処理に適しているか否かを判定してもよい。なお、露光量が小さい画像については、相対的に暗い被写体の像が黒くつぶれてしまう可能性が高くなる。そこで、写っている被写体の像が黒くつぶれている部分領域が認識処理に適していると判断されないように、適正判定部２２は、最小輝度値が所定の閾値Th3以上であり、かつ、コントラストCが閾値Th1以上である部分領域に限り適正と判定してもよい。なお、閾値Th3は、例えば、画素値が取り得る範囲が0〜255である場合、1に設定される。

さらに他の変形例によれば、撮像部２は、例えば、曇天時のように、撮影範囲内の明るさの範囲が撮像部２のイメージセンサのダイナミックレンジの範囲内となる場合には、特定の露光条件で撮影を行ってもよい。この場合でも、適正判定部２２により認識処理の対象とされた部分領域についてのみ認識部２３が認識処理を実行することで、被写体認識装置１は演算量を削減できる。

さらに他の変形例によれば、認識対象となる被写体は、車両のナンバープレートに限られず、例えば、特定の車両、あるいは特定または不特定の人であってもよい。認識部２３は、認識対象となる被写体に応じて、その被写体を認識するために適した方法を利用すればよい。例えば、認識部２３は、被写体に応じた特徴量を認識処理対象となる部分領域から抽出し、その特徴量を、その被写体か否かを判別するように予め学習された識別器に入力することで、その被写体を認識することができる。そして識別器は、上記の実施形態と同様に、多層パーセプトロン、サポートベクトルマシンあるいはadaBoost識別器とすることができる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
所定の撮影範囲を撮影することにより画像を生成する撮像部と、
前記画像を複数の部分領域に分割する分割部と、
前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含める適正判定部と、
前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない認識部と、
を有する被写体認識装置。
（付記２）
前記撮像部は、第１の周期ごとに、複数の撮影を行って複数の画像を生成し、該複数の画像のそれぞれごとに露光量を異ならせる、付記１に記載の被写体認識装置。
（付記３）
前記複数の画像のそれぞれごとの露光量は、該露光量の異なる前記複数の画像のうちの何れかの画像において前記被写体のコントラストが前記所定の閾値以上となるように設定される、付記２に記載の被写体認識装置。
（付記４）
前記所定の閾値は、前記認識部が前記被写体を認識できる当該被写体のコントラストの最小値である、付記１〜３の何れか一項に記載の被写体認識装置。
（付記５）
前記部分領域のサイズは、前記画像上での前記被写体の像のサイズよりも小さく設定される、付記１〜４の何れか一項に記載の被写体認識装置。
（付記６）
前記適正判定部は、前記コントラストが前記閾値以上となる部分領域に隣接する部分領域も前記認識対象領域に含める、付記５に記載の被写体認識装置。
（付記７）
前記適正判定部は、前記複数の部分領域のうち、当該部分領域の前記コントラストが前記閾値以上となり、かつ、当該部分領域内に含まれる画素の輝度値の分布の一部が飽和していない場合に限り、当該部分領域を前記認識対象領域に含める、付記１に記載の被写体認識装置。
（付記８）
撮像部により生成された画像を複数の部分領域に分割し、
前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含め、
前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない、
ことを含む被写体認識方法。
（付記９）
撮像部により生成された画像を複数の部分領域に分割し、
前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含め、
前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない、
ことをコンピュータに実行させる被写体認識用コンピュータプログラム。

１ 被写体認識装置
２ 撮像部
１１ 画像取得部
１２ 出力部
１３ 記憶部
１４ 記憶媒体アクセス装置
１５ 処理部
１６ 記憶媒体
２１ 分割部
２２ 適正判定部
２３ 認識部

Claims (7)

1. 所定の撮影範囲を撮影することにより画像を生成する撮像部と、
   前記画像を複数の部分領域に分割する分割部と、
   前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含める適正判定部と、
   前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない認識部と、
   を有する被写体認識装置。
2. 前記撮像部は、第１の周期ごとに、複数の撮影を行って複数の画像を生成し、該複数の撮影のそれぞれごとに露光量を異ならせる、請求項１に記載の被写体認識装置。
3. 前記所定の閾値は、前記認識部が前記被写体を認識できる当該被写体のコントラストの最小値である、請求項１または２に記載の被写体認識装置。
4. 前記部分領域のサイズは、前記画像上での前記被写体の像のサイズよりも小さく設定される、請求項１〜３の何れか一項に記載の被写体認識装置。
5. 前記適正判定部は、前記コントラストが前記閾値以上となる部分領域に隣接する部分領域も前記認識対象領域に含める、請求項４に記載の被写体認識装置。
6. 撮像部により生成された画像を複数の部分領域に分割し、
   前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含め、
   前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない、
   ことを含む被写体認識方法。
7. 撮像部により生成された画像を複数の部分領域に分割し、
   前記複数の部分領域のそれぞれごとにコントラストを算出し、当該コントラストが所定の閾値以上となる部分領域を認識対象領域に含め、
   前記認識対象領域から前記撮影範囲内にいる所定の被写体の認識を実行し、一方、前記複数の部分領域のうちの前記認識対象領域に含まれなかった部分領域からは前記被写体の認識を実行しない、
   ことをコンピュータに実行させる被写体認識用コンピュータプログラム。