JP2007293492A - ナンバープレート番号認識装置 - Google Patents

Abstract

【課題】撮像装置の撮像領域に対する車両の進入方向や進出方向によるナンバープレート番号の認識精度の低下を抑えるとともに、設置時における作業者の負担を低減することができるナンバープレート番号認識装置を提供する。
【解決手段】ナンバープレート番号認識装置１は、車両を撮像した撮像画像からナンバープレート部分の画像を切り出す。そして、撮像装置１０の撮像領域に対する、この車両の走行方向に応じて、切り出したナンバープレート部分の画像を回転させるとともに、幅方向に拡大する補正を行い、補正した画像を処理して、表記されているナンバープレート番号を認識する。
【選択図】図１

Description

この発明は、撮像装置で撮像した車両の撮像画像から、この車両に取り付けられているナンバープレートに表記されているナンバープレート番号を認識するナンバープレート番号認識装置に関する。

従来、撮像装置で撮像した車両の撮像画像を処理し、この車両に取り付けられているナンバープレートに表記されているナンバープレート番号を認識するナンバープレート番号認識装置があった（例えば、特許文献１参照）。このナンバープレート番号認識装置は、道路網における２地点間の旅行時間を計測するシステムや、駐車場内の車両を管理するシステム等で利用されている。例えば、旅行時間を計測するシステムは、周知のように、道路網の複数の地点で、地点毎に撮像装置で撮像した撮像画像をナンバープレート番号認識装置で処理し、その地点を通過した車両のナンバープレート番号、通過時刻、および通過地点を含む車両の通過情報をセンタで収集することにより、道路網のある地点から別の地点までの２地点間における車両の旅行時間を計測するシステムである。また、駐車場内の車両を管理するシステムは、駐車場の入口や、出口に撮像装置を設置し、撮像装置で撮像した撮像画像をナンバープレート番号認識装置で処理し、駐車場に入庫した車両のナンバープレート番号や、駐車場から出庫した車両のナンバープレート番号をセンタで収集することにより、駐車場内に駐車されている車両をナンバープレート番号とともに管理するシステムである。

また、特許文献１では、ナンバープレートが傾けて車両に取り付けられている場合でも、ナンバープレート番号の認識精度を確保するために、ナンバープレートの傾きを補正するための正規化テーブルを設けることが提案されている。具体的には、撮像画像におけるナンバープレートの傾き角度と、このナンバープレートを正規化する補正パラメータと、を対応づけた正規化テーブルを設けることが提案されている。ナンバープレートの傾きは、撮像画像であるナンバープレートに記載されている文字を切り出す縦、および横の切出線を設定したときに、ここで設定した縦、および横の切出線の交差角から検出している。そして、ここで検出したナンバープレートの傾きに応じた補正パラメータを用いて、撮像画像におけるナンバープレート部分の画像を正規化し、正規化した画像を処理して、ナンバープレート番号を認識する構成が提案されている。
特開２０００−４０１９８号公報

しかしながら、従来のナンバープレート番号認識装置は、パターンマッチングの精度を確保し、ナンバープレート番号を精度良く認識するために、ナンバープレートの撮像画像に対して、予め設定されている範囲の角度に応じた傾き補正を行い、ナンバープレート番号を認識している。すなわち、予め設定された範囲の角度で撮像されたナンバープレートについては、認識精度を十分に確保できるが、この範囲外の角度で撮像されたナンバープレートについては、認識精度を十分に確保することができなかった。このように、従来のナンバープレート番号認識装置は、撮像装置の撮像領域に対する車両の進入方向や、進出方向が、ある程度の範囲に制約されていたため、比較的長い直線路の途中が撮像装置の撮像領域になるように設置し、使用していた。

中小の駐車場や、コンビニエンスストアの駐車場等では、車両を駐車場内に案内する直線路を特別に設けることが困難であり、駐車場の入口が道路に面している場合が殆どである。このため、駐車場に入庫する車両の進入方向や、駐車場から出庫する車両の進出方向が、撮像装置の撮像領域に対して様々な方向になる。その結果、駐車場に出入りする車両のナンバープレートを予め設定された範囲の角度で撮像できない場合が増加し、ナンバープレート番号の認識精度を十分に確保することができない。したがって、従来のナンバープレート番号認識装置は、撮像領域に対する車両の進入方向や、進出方向が様々である中小の駐車場や、コンビニエンスストアの駐車場等では、利用できないという問題があった。

また、最近では、可搬タイプのナンバープレート番号認識装置が提案されているが、撮像装置を設置するときに、撮像領域に対する車両の進入方向や、進出方向に応じた傾き補正を行わせるためのパラメータの調整や、撮像装置の設置調整等を行わなければならず、設置作業に手間がかかり、作業者の負担を増大させるという問題があった。

この発明の目的は、撮像装置の撮像領域に対する車両の進入方向や進出方向による制約をなくし、且つナンバープレート番号の認識精度の低下を抑えるとともに、設置時における作業者の負担を低減することができるナンバープレート番号認識装置を提供することにある。

この発明のナンバープレート番号認識装置は、上記課題を解決するために、以下の構成を備えている。

（１）撮像装置から撮像領域の撮像画像が入力される撮像画像入力手段と、
前記撮像画像入力手段に入力された撮像画像に撮像されている対象車両について、前記撮像領域における走行方向を検出する走行方向検出手段と、
前記撮像画像入力手段に入力された撮像画像に撮像されている対象車両のナンバープレート部分の画像を切り出す切出手段と、
前記走行方向検出手段が検出した前記撮像領域における対象車両の走行方向に応じて、前記切出手段が切り出した対象車両のナンバープレート部分の画像の傾きを補正する補正手段と、
前記補正手段が補正したナンバープレート部分の画像を処理し、表記されているナンバープレート番号を認識する認識手段と、を備え、
前記走行方向検出手段は、対象車両が撮像されている複数枚の撮像画像を用いて、前記撮像領域における対象車両の位置の時間的変化に基づいて、前記撮像領域における対象車両の走行方向を検出する手段である。

この構成では、走行方向検出手段が、撮像装置の撮像領域における対象車両の走行方向を、撮像領域における対象車両の位置の時間的変化から検出する。例えば、２枚の撮像画像において、時間的に先に撮像された撮像画像における対象車両の位置と、時間的に後に撮像された撮像画像における対象車両の位置と、を結ぶベクトルを、この対象車両の走行方向として検出する。また、補正手段が、切出手段により撮像画像から切り出した対象車両のナンバープレート部分の画像を、走行方向検出手段により検出された対象車両の走行方向に応じて補正し、略正面から撮像したナンバープレートの画像を得る。そして、認識手段が、この補正した画像を処理してナンバープレート番号を認識する。したがって、比較的長い直線路の途中を撮像装置の撮像領域に設定できない環境であっても、ナンバープレート番号の認識精度を十分に確保することができる。また、撮像領域における対象車両の走行方向については、特に限定されないことから、設置時における調整が簡単に行えるようになり、設置作業にかかる手間を大幅に低減することができる。これにより、可搬型のナンバープレート番号認識装置の利便性も大幅に向上できる。

（２）前記走行方向検出手段は、対象車両が撮像されている複数枚の撮像画像を用いて、前記撮像領域における対象車両のナンバープレートの位置の時間的変化に基づいて、前記撮像領域における対象車両の走行方向を検出する手段である。

この構成では、ナンバープレートの位置の時間的変化に基づいて対象車両の走行方向を検出する構成としたので、補正手段により、略正面から撮像したナンバープレートの画像が一層確実に得られる。したがって、ナンバープレート番号の認識精度を一層向上させることができる。

（３）前記補正手段は、対象車両のナンバープレート部分の画像の傾き補正に加えて、前記撮像領域における対象車両の走行方向に応じて、このナンバープレート部分の画像を幅方向に拡大する補正を行う手段である。

この構成では、撮像領域における対象車両の走行方向、すなわち対象車両の撮像角度、に応じて、幅方向への拡大も行うので、ナンバープレート番号の認識精度を一層高めることができる。

この発明によれば、比較的長い直線路の途中を撮像装置の撮像領域に設定できない環境であっても、ナンバープレート番号の認識精度を十分に確保することができる。また、撮像領域における対象車両の走行方向については、特に限定されないことから、設置時における調整が簡単に行えるようになり、設置作業にかかる手間を大幅に低減することができる。

以下、この発明の実施形態であるナンバープレート番号認識装置について説明する。

図１は、この発明の実施形態であるナンバープレート番号認識装置の主要部の構成を示すブロック図である。この実施形態のナンバープレート番号認識装置１は、装置本体の動作を制御する制御部２と、撮像装置１０で撮像されている撮像画像が入力される撮像画像入力部３と、撮像画像入力部３に入力された撮像画像を処理する画像処理部４と、認識結果を出力する出力部５と、を備えている。撮像装置１０は、例えばＣＣＤカメラで構成され、１秒間に３０フレーム程度の撮像画像を出力する。撮像装置１０は、ナンバープレート番号を認識する車両が通過する位置が撮像領域になるように設置されるが、撮像領域に対する対象車両の進入方向（または進出方向）については特に限定されず、図２（Ａ）に示すように、対象車両が略正面から直進してくる環境であってもよいし、図２（Ｂ）に示すように撮像領域に対する対象車両の進入方向（または進出方向）が車両毎に変化する環境であってもよい。この実施形態のナンバープレート番号認識装置１を、中小の駐車場や、コンビニエンスストアの駐車場等に設置した場合には、比較的長い直線路の途中を撮像装置１０の撮像領域に設定することができないことから、図２（Ｂ）に示す環境になる可能性が高い。このように、撮像装置１０は、対象車両が通過する領域が撮像領域になるように設置するだけでよく、撮像装置１０の設置作業にかかる手間が大幅に低減される。

撮像画像入力部３には、撮像装置１０から出力されている撮像領域の撮像画像が入力される。撮像画像入力部１０は、入力された撮像画像を画像処理部４に供給する。画像処理部４には、撮像画像入力部３に入力された撮像画像を一時的に記憶する画像メモリ（不図示）が設けられている。この画像メモリ４ａは、撮像装置１０で撮像された撮像画像を、少なくとも２フレーム分記憶する記憶容量を有している。撮像画像処理部４ａは、最近２フレーム分の撮像画像を画像メモリ４ａに記憶する。また、画像処理部４は、入力された撮像画像に撮像されている車両のナンバープレート部分の画像を切り出す切出処理、この切り出したナンバープレート部分の画像を補正する補正処理、さらに補正したナンバープレート部分の画像に表記されているナンバープレート番号をパターンマッチングにより認識する認識処理を行う。パターンマッチングに用いる基準文字のデータは、図示していないハードディスク等の記録媒体に記録されている。これらの処理の詳細については後述する。出力部５は、画像処理部４における認識結果を出力する。例えば、認識したナンバープレート番号を表示部（不図示）に表示したり、図示していないセンタへ送信する。また、要注意の車両のナンバープレート番号を登録したデータベースを記憶しておき、認識したナンバープレート番号を、このデータベースで照合し、ヒットしたときに警報を出力するように構成することもできる。

次に、この実施形態のナンバープレート番号認識装置１の動作について説明する。この実施形態のナンバープレート番号認識装置１に接続されている撮像装置１０は、通過車両のナンバープレートが撮像できる領域が撮像領域になるように設置すればよい。このとき、撮像領域における通過車両の走行方向については、それほど気にする必要はなく、ナンバープレートを正面からではなく、斜め方向から撮像する状態に設置されてもよい。このため、撮像装置１０の設置が容易に行え、撮像装置１０の設置にかかる作業者の手間が大幅に低減される。図３は、この発明の実施形態であるナンバープレート番号認識装置の動作を示すフローチャートである。この実施形態のナンバープレート番号認識装置１には、接続されている撮像装置１０から撮像領域の撮像画像が画像入力部３に入力されている。上述したように、撮像装置１０は、１秒間に３０フレーム程度の撮像画像を画像入力部３に入力している。

ナンバープレート番号認識装置１は、撮像装置１から画像入力部３に撮像領域の撮像画像が入力されると（ｓ１）、画像処理部４において、車両が撮像されているかどうかを判定する（ｓ２）。ｓ２では、例えば、撮像領域に通過車両が存在しない状態で撮像した背景画像と、今回画像入力部３に入力された撮像画像と、の差分をとった差分画像を生成し、車両の形状を示す画像がこの差分画像内に含まれているかどうかを判定することにより、車両が撮像されているかどうかを判定する。ナンバープレート番号認識装置１は、ｓ２で車両が撮像されていないと判定すると、ｓ１に戻り、上述した処理を繰り返す。

ナンバープレート番号認識装置１は、ｓ２で車両が撮像されていると判定すると、前回撮像装置１０から入力された撮像画像にも車両が撮像されていたかどうかを判定する（ｓ３）。例えば、ｓ２で撮像画像に車両が撮像されていると判定したときにオンし、撮像画像に車両が撮像されていないと判定したときにオフするフラグを記憶しておき、このフラグの状態に基づいて、ｓ３にかかる判定を行う。また、ナンバープレート番号認識装置１は、少なくも２フレーム分の撮像画像を記憶する画像メモリを有しており、少なくとも前回入力された撮像画像、および今回入力された撮像画像を画像メモリに記憶している。ナンバープレート番号認識装置１は、ｓ３で前回入力された撮像画像に車両が撮像されていないと判定すると、ｓ１に戻り、上述した処理を繰り返す。

ナンバープレート番号認識装置１は、ｓ３で前回入力された撮像画像にも、車両が撮像されていたと判定すると、前回入力された撮像画像と、今回入力された撮像画像と、を用いて、撮像されている車両の走行方向を検出する（ｓ４）。ｓ４では、例えば前回入力された撮像画像、および今回入力された撮像画像に撮像されている車両について、特徴部分を決定する。この特徴部分は、撮像画像においてその車両の特徴的な形状があらわれている部分であってもよいし、予め定めた特定部分であってもよい。ここでは、ナンバープレート番号を認識することから、撮像画像におけるナンバープレートの傾きを精度良く検出するために、ナンバープレートを特徴部分に決定する。具体的には、ナンバープレートの下辺の略中央を特徴部分に決定する。そして、ナンバープレート番号認識装置１は、前回入力された撮像画像と、今回入力された撮像画像とにおける車両の特徴部分の位置変化から、撮像領域における車両の走行方向を検出する。具体的には、図４に示すように、前回入力された撮像画像において撮像されている車両の特徴部分の位置と、今回入力された撮像画像において撮像されている車両の特徴部分の位置と、を結ぶベクトルを、撮像領域における車両の走行方向として検出する。

ナンバープレート番号認識装置１は、ｓ４で車両の走行方向を検出すると、前回入力された撮像画像、または今回入力された撮像画像から、撮像されている車両に取り付けられているナンバープレート部分の画像を切り出す（ｓ５）。前回入力された撮像画像、または今回入力された撮像画像のどちらの撮像画像から、ナンバープレート部分の画像を切り出すかについては、予め定めておいてもよいが、本装置の目的がナンバープレートに表記されているナンバープレート番号を認識することから、ナンバープレートがより大きく撮像されているほうの撮像画像から、ナンバープレート部分の画像を切り出すのが好ましい。すなわち、ナンバープレートに表記されている文字が大きい方の撮像画像から、ナンバープレート部分の画像を切り出すのが好ましい。

図５（Ａ）は、ｓ５で切り出したナンバープレート部分の画像を示す図である。図５（Ａ）に示す角αは、ｓ４で検出した撮像領域における車両の走行方向である。ナンバープレート番号認識装置１は、撮像領域における車両の走行方向に応じて、ｓ５で切り出したナンバープレートの画像を回転するとともに、このナンバープレートの画像を幅方向に拡大する補正を行う（ｓ６、ｓ７）。まず、ｓ６にかかるナンバープレート部分の画像の回転について説明する。ｓ５で切り出したナンバープレート部分の画像について、ナンバープレートの基準点を決める。例えば切り出したナンバープレートの画像において、４角の中で最も下方に位置する角を基準点に決める。そして、ナンバープレート部分の画像を形成する各画素を、基準点に対してｓｉｎαの座標変換を行うことで、機銃点を中心にα回転させたナンバープレート部分の画像を生成する。図５（Ｂ）は、図５（Ａ）に示すナンバープレート部分の画像に対して、ｓ６にかかる処理を実行したときに得られるナンバープレート部分の画像を示している。

次に、ｓ７にかかるナンバープレート部分の画像を幅方向に拡大する処理について説明する。ナンバープレート番号認識装置１は、ナンバープレート部分の画像に対する幅方向の拡大率を、ｓ４で検出した撮像領域における車両の走行方向に応じて決定する。具体的には、拡大率を１／ｃｏｓαに決定する。ここでは、決定した拡大率で元画像（ｓ６で回転させたナンバープレート部分の画像）を単純に拡大したときのイメージを、拡大画像として生成する。元画像の画素と、拡大画像の画素と、は同じ大きさである。例えば拡大率を1.1倍にした場合、元画像１０画素に対して、拡大画像は１１画素になる。また、拡大画像における画素には、元画像を拡大した拡大イメージの隣接する画素を跨ぐ画素も存在することから、拡大イメージの隣接する画素を跨ぐ拡大画像の画素については、その面積比により、画素値を決定する。

図６を参照しながら、ナンバープレート部分の画像を幅方向に1.1倍する処理について具体的に説明する。図６（Ａ）は、元画像の幅方向に並んでいる画素ａ１〜ａ１０を示している。また、図６（Ｂ）は、元画像の各画素ａ１〜ａ１０を幅方向に1.1倍した拡大イメージを示している。さらに、図６（Ｃ）は元画像を1.1倍した拡大画像の画素ｂ１〜ｂ１１を示している。上述したように、元画像を拡大した拡大イメージの隣接する画素を跨ぐ拡大画像の画素ｂ２〜ｂ１０は、その面積比により画素値を決定する。拡大画像の各画素ｂ１〜ｂ１１は、
ｂ１＝ａ１
ｂ２＝ａ１×0.1＋ａ２×0.9
ｂ３＝ａ２×0.2＋ａ２×0.8
ｂ４＝ａ３×0.3＋ａ２×0.7
ｂ５＝ａ４×0.4＋ａ２×0.6
ｂ６＝ａ５×0.5＋ａ２×0.5
ｂ７＝ａ６×0.6＋ａ２×0.4
ｂ８＝ａ７×0.7＋ａ２×0.3
ｂ９＝ａ８×0.8＋ａ２×0.2
ｂ１０＝ａ９×0.9＋ａ２×0.1
ｂ１１＝ａ１０
、により決定される。

このｓ７で、ナンバープレート部分の画像を、撮像領域における車両の走行方向に応じた角度で幅方向に拡大することにより、図５（Ｃ）に示す画像を得ることができる。このナンバープレート部分の画像は、車両を略正面から撮像したときの撮像画像から切り出したナンバープレート部分の画像と、同程度の画像である。言い換えれば、この実施形態のナンバープレート番号認識装置１は、車両を略正面から撮像したときに得られるナンバープレート部分の画像を得るために、撮像装置１０の撮像領域における車両の走行方向に応じて、撮像したナンバープレート部分の画像を回転する処理、および幅方向に拡大する処理を行っている。このｓ６、およびｓ７にかかる処理が、この発明で言う補正手段に相当する。

ナンバープレート番号認識装置１は、ｓ６、およびｓ７にかかる処理を行った補正画像に対して、公知のパターンマッチングによる文字認識を行い、ナンバープレートに表記されているナンバープレート番号を認識し（ｓ８）、認識結果を出力する（ｓ９）。ｓ９で出力する認識結果は、認識したナンバープレートに表記されているナンバープレート番号であってもよいし、認識したナンバープレート番号が予め登録されているナンバープレート番号と一致したことを報知する出力であってもよい。

このように、この実施形態のナンバープレート番号認識装置１は撮像装置１０で撮像した撮像画像に対して、上述したｓ６、およびｓ７にかかる処理を行うので、車両に取り付けられているナンバープレートを略正面から撮像した撮像画像でなくても、ナンバープレート番号を精度良く認識することができる。

なお、撮像装置１０で撮像し、ナンバープレート番号を認識するナンバープレートは、車両の前面に取り付けられたナンバープレートであってもよいし、車両の背面に取り付けられたナンバープレートであってもよい。

この発明の実施形態であるナンバープレート番号認識装置の主要部の構成を示すブロック図である。 この発明の実施形態であるナンバープレート番号認識装置の使用状況を示す概略図である。 この発明の実施形態であるナンバープレート番号認識装置の動作を示すフローチャートである。 この発明の実施形態であるナンバープレート番号認識装置における、車両の走行方向を検出する処理を説明する図である。 この発明の実施形態であるナンバープレート番号認識装置によるナンバープレートの撮像画像に対する補正にかかる処理を説明する図である。 この発明の実施形態であるナンバープレート番号認識装置によるナンバープレートの撮像画像に対する補正にかかる処理を説明する図である。

符号の説明

１−ナンバープレート番号認識装置
２−制御部
３−画像入力部
４−画像処理部
５−出力部
１０−撮像装置

Claims (3)

1. 撮像装置から撮像領域の撮像画像が入力される撮像画像入力手段と、
   前記撮像画像入力手段に入力された撮像画像に撮像されている対象車両について、前記撮像領域における走行方向を検出する走行方向検出手段と、
   前記撮像画像入力手段に入力された撮像画像に撮像されている対象車両のナンバープレート部分の画像を切り出す切出手段と、
   前記走行方向検出手段が検出した前記撮像領域における対象車両の走行方向に応じて、前記切出手段が切り出した対象車両のナンバープレート部分の画像の傾きを補正する補正手段と、
   前記補正手段が補正したナンバープレート部分の画像を処理し、表記されているナンバープレート番号を認識する認識手段と、を備え、
   前記走行方向検出手段は、対象車両が撮像されている複数枚の撮像画像を用いて、前記撮像領域における対象車両の位置の時間的変化に基づいて、前記撮像領域における対象車両の走行方向を検出する手段であるナンバープレート認識装置。
2. 前記走行方向検出手段は、対象車両が撮像されている複数枚の撮像画像を用いて、前記撮像領域における対象車両のナンバープレートの位置の時間的変化に基づいて、前記撮像領域における対象車両の走行方向を検出する手段である請求項１に記載のナンバープレート番号認識装置。
3. 前記補正手段は、対象車両のナンバープレート部分の画像の傾き補正に加えて、前記撮像領域における対象車両の走行方向に応じて、このナンバープレート部分の画像を幅方向に拡大する補正を行う手段である請求項１または２に記載のナンバープレート番号認識装置。

Images