JP2008310622A - 車両番号認識装置、及び車両番号認識方法 - Google Patents

Abstract

【課題】ナンバープレートを斜めから撮像して得られる画像から、少ない演算量で車両番号の認識を行う。
【解決手段】本発明の車両番号認識装置は、ナンバープレートを撮像するカメラ１と、カメラ１を支持するカメラ支持機構６と、ナンバープレートが写されたナンバープレート画像を処理してナンバープレートに記載の車両番号を認識する画像処理装置５とを備えている。カメラ支持機構６は、カメラ１の撮像素子の撮像領域の、カメラ１の光軸に垂直な面内における向きを調節可能であるように前記カメラ１を支持する。
【選択図】図６

Description

本発明は、車両番号認識装置に関し、特に、ナンバープレート画像の画像処理技術に関する。

ＩＴＳ（高度道路交通システム）を支える技術の一つが、車両のナンバープレートに記載されている車両番号を自動的に読み取る車両番号認識技術である。車両番号認識は、典型的には、カメラによってナンバープレートを撮像することによって得られた画像に対して画像処理を行うことにより、当該ナンバープレートに記載されている車両番号を認識することによって行われる。

一般的には、車両番号認識に使用されるカメラは、ガントリ（即ち、道路の両側に設けられた支柱と、支柱を接続する梁とで構成される構造物）に設けられる。カメラは、車道の中心の位置に位置するようにガントリに取り付けられる。これは、車両のナンバープレートをなるべく正面から撮像するためである。これにより、車両のナンバープレートを正面から撮像すれば、車両番号認識のための画像処理が容易になり、車両番号の認識精度が向上する。

しかしながら、ガントリの設置には多大な費用と労力とがかかることから、近年では、図１Ａに示されているように、車両番号認識に使用されるカメラ１を道路２の路肩に設けられた路肩ポール３に設置することが検討されている。路肩ポール３の設置には、ガントリの設置ほどの費用を必要としないため、カメラ１を路肩ポール３に設置する工法は、費用面で有利であり、また、車道を全封鎖する必要がないため、メンテナンス性についても有利である。

カメラ１を路肩ポール３に設置する場合の一つの問題は、撮像された画像に大きな幾何歪みが発生することである。図１Ａ、図１Ｂに示されているように、路肩ポール３に設置されたカメラ１で車両４のナンバープレートを撮像する場合、カメラ１の光軸（viewing direction）は、車両４の進行方向に対して、水平面内の角度（方位角）についても鉛直面内の角度（俯角）についても斜めになってしまう；図１Ａの方位角α、及び俯角βは、いずれも０°ではない。したがって、図２に示されているように、カメラ１によって得られたナンバープレートの画像は、水平方向、垂直方向の両方について歪んだ画像になってしまう。即ち、ナンバープレートは、撮像された画像において、その辺が画像の水平方向、垂直方向に対して斜めである平行四辺形に写ってしまう。

水平方向、垂直方向の両方について歪んだナンバープレートの画像から車両番号を認識するための一つの手法は、ナンバープレートの画像における、ナンバープレートの縦辺及び横辺の画像の水平方向又は垂直方向に対する角度を画像処理によって算出し、その角度に応じた歪み補正を行うことである（例えば、特開平３−２３２１００号公報を参照）。歪み補正後の画像に対して、ナンバープレートに記載の文字の認識が行われる。しかしながら、このような処理は、車両番号認識に必要な演算量が増大するため好ましくない。

このような背景から、ナンバープレートを斜めから撮像して得られる画像から、少ない演算量で車両番号の認識を行うための技術の提供が望まれている。
特開平３−２３２１００号公報

本発明の目的は、ナンバープレートを斜めから撮像して得られる画像から、少ない演算量で車両番号の認識を行うための技術を提供することにある。

上記の目的を達成するために、本発明は、以下に述べられる手段を採用する。その手段の記述には、［特許請求の範囲］の記載と［発明を実施するための最良の形態］の記載との対応関係を明らかにするために、［発明を実施するための最良の形態］で使用される番号・符号が付記されている。但し、付記された番号・符号は、［特許請求の範囲］に記載されている発明の技術的範囲を限定的に解釈するために用いてはならない。

一の観点において、本発明の車両番号認識装置は、ナンバープレートを撮像するカメラ（１）と、前記カメラ（１）を支持するカメラ支持機構（６）と、前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識する画像処理装置（５）とを備えている。カメラ支持機構（６）は、カメラ（１）の撮像素子の撮像領域の、カメラ（１）の光軸に垂直な面内における向きを調節可能であるように前記カメラ（１）を支持する。

一実施形態では、画像処理装置（５）は、前記ナンバープレート画像において横方向の２辺が水平方向に平行である平行四辺形が、２辺が水平方向に平行で他の２辺が垂直方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成し、前記補正画像に対して文字認識処理を行って前記車両番号を認識する。この場合、カメラ支持機構（６）は、前記ナンバープレート画像において、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね平行であるように、前記カメラ（１）を支持する。

他の実施形態では、画像処理装置（５）は、前記ナンバープレート画像において縦方向の２辺が垂直方向に平行である平行四辺形が、２辺が垂直方向に平行で他の２辺が水平方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成し、前記補正画像に対して文字認識処理を行って前記車両番号を認識する。この場合、前記カメラ支持機構（６）は、前記ナンバープレート画像において、前記ナンバープレートの縦方向の２辺が前記ナンバープレート画像の垂直方向に概ね平行であるように、前記カメラ（１）を支持する。

このような車両番号認識装置によれば、ナンバープレートを斜めから撮像された場合でも、歪み補正に必要な演算量を低減できる。従って、少ない演算量で車両番号の認識を行うことができる。

好適な実施形態では、前記画像処理装置（５）は、前記ナンバープレート画像のナンバープレートの部分について、前記ナンバープレートの縦方向の辺上の各点と、前記ナンバープレートの一の角を通り垂直方向に延伸する直線との距離をズレ量として算出し、各横ラインを算出された前記ズレ量だけずらすことにより、前記歪み補正を行う。

当該車両番号認識装置は、カメラ（１）及びカメラ支持機構（６）が、道路の路肩に設けられた路肩ポールに設けられる場合に特に有用である。

他の観点において、本発明の車両番号認識方法は、
（ａ）カメラ（１）によってナンバープレートを撮像するステップと、
（ｂ）前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識するステップ
とを具備する。前記カメラ（１）は、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね一致するように支持されている。前記（ｂ）ステップは、
（ｂ１）前記ナンバープレートが写されたナンバープレート画像に対して、前記ナンバープレート画像において横方向の２辺が水平方向に平行である平行四辺形が、２辺が水平方向に平行で他の２辺が垂直方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成するステップと、
（ｂ２）前記補正画像に対して文字認識処理を行って前記車両番号を認識すること
とを備える。

更に他の観点において、本発明の車両番号認識方法は、
（ｃ）カメラ（１）によってナンバープレートを撮像するステップと、
（ｄ）前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識するステップとを具備する。前記カメラ（１）は、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね一致するように支持されている。前記（ｄ）ステップは、
（ｄ１）前記ナンバープレートが写されたナンバープレート画像に対して、前記ナンバープレート画像において縦方向の２辺が垂直方向に平行である平行四辺形が、２辺が垂直方向に平行で他の２辺が水平方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成するステップと、
（ｄ２）前記補正画像に対して文字認識処理を行って前記車両番号を認識すること
とを備える。

本発明により、ナンバープレートを斜めから撮像して得られる画像から、少ない演算量で車両番号の認識を行うための技術が提供される

以下、添付図面を参照しながら本発明の実施形態を説明する。添付図面において、同一又は対応する構成要素には、同一又は対応する符号が付されていることに留意されたい。

図３は、本発明の一実施形態の車両番号認識装置１０の構成を示すブロック図である。車両番号認識装置１０は、カメラ１と画像処理装置５とを備えている。カメラ１は、車両４のナンバープレートを撮像して撮像画像を得るために使用される。カメラ１は、車両４が道路２の所定の領域を通過する際に車両４のナンバープレートを撮像する。図１Ａ、図１Ｂの構成と同様に、カメラ１は、道路２の路肩に設けられた路肩ポール３に設置されている。画像処理装置５は、カメラ１によって得られた撮像画像に対して画像処理を行ってナンバープレートに記載されている車両番号を識別する。

図４Ａに示されているように、カメラ１は、カメラ支持機構６によって路肩ポール３に固定されている。カメラ支持機構６は、路肩ポール３に取り付けられた台座７と、台座７に取り付けられたアーム８とを備えている。カメラ１は、アーム８に取り付けられている。

カメラ支持機構６は、カメラ１の姿勢が調節可能であるように、カメラ１を支持している。具体的には、カメラ支持機構６の台座７は、水平面に平行な面内で回転可能に（rotatably）路肩ポール３に接続されている。このような機構により、水平面内におけるカメラ１の光軸の方向（即ち、図１Ａにおけるカメラ１の方位角α）が調節可能である。更に、カメラ１は、カメラ１の光軸とアーム８の長手方向とを含む面内において、カメラ１の光軸の方向が調節可能であるように、アーム８に接続されている。これにより、鉛直面内におけるカメラ１の光軸の方向（即ち、図１Ｂにおけるカメラ１の俯角β）が調節可能である。

加えて、アーム８は、台座７への接続軸を中心として鉛直面に平行な面内で揺動可能（swingable）であるように台座７に固定されている。このような機構は、カメラ１を所望の角度に傾けて保持する、言い換えれば、カメラ１の撮像素子の撮像領域の、カメラ１の光軸に垂直な面内における向きを所望の向きに調節可能にするためのものである。

図５は、カメラ１の撮像素子の撮像領域Ｓの空間的配置を示す概念図である。以下では、撮像領域Ｓに、ｘｙ座標系を定義して説明を行う。ｘ軸は、撮像画像の水平方向に対応する座標軸であり、ｙ軸は、撮像画像の垂直方向に対応する座標軸である。ｘｙ座標系の原点Ｏは、カメラ１の光軸と撮像領域Ｓとの交点に定められている。撮像領域Ｓのｘ軸に平行に延伸する線分は、撮像画像においては水平方向に延伸する線分として写り、撮像領域Ｓのｙ軸に平行に延伸する線分は、撮像画像においては垂直方向に延伸する線分として写る。カメラ支持機構６は、カメラ１の撮像領域Ｓのｘ軸及びｙ軸の方向（すなわち、撮像画像のそれぞれ水平方向、垂直方向に対応する方向）の向きが、カメラ１の光軸の周りに調節可能であるように、カメラ１を保持する。

このような機構により、図６の左図に示されているように、道路２を走行する車両４のナンバープレートの横方向の辺が、撮像画像において概ね水平方向に写るようにカメラ１の向きを調節することができる。後述のように、ナンバープレートの横方向の辺が、撮像画像において概ね水平方向に写されることは、車両番号の認識を少ない演算量で行うために重要である。

続いて、本実施形態の車両番号認識装置１０を用いた車両番号認識について詳細に説明する。本実施形態の車両番号認識装置１０の使用に当たっては、図６の左図に示されているように、道路２を走行する車両４のナンバープレートの横方向の辺が、撮像画像において概ね水平方向に写るようにカメラ１が傾けて設置される。カメラ１の傾きの調整は、アーム８の向きを調節することによって行われる。道路２を走行する車両４の位置は、必ずしも一定ではないので、全ての車両４について、撮像画像におけるナンバープレートの横方向の辺の方向と撮像画像の水平方向とを完全に一致させるようにアーム８の向きを決定することは不可能であるかもしれない。しかしながら、撮像画像を見ながらアーム８の向きを調節することにより、撮像画像におけるナンバープレートの横方向の辺の向きと、撮像画像の水平方向の差が画像処理に問題がない程度に小さくなるようにアーム８の向きを決定することは可能である。

図７は、車両番号認識の手順を示すフローチャートである。カメラ１によって車両４のナンバープレートが撮像されると、カメラ１によって得られた撮像画像が画像処理装置５に取り込まれる（ステップＳ０１）。カメラ１の傾きが適切に調節されていることにより、図６の左図に示されているように、撮像画像におけるナンバープレートの横方向の辺の方向は、撮像画像の水平方向と概ね一致している。

続いて、図７に示されているように、撮像画像から、ナンバープレートが写っている部分が切出される（ステップＳ０２）。ナンバープレートが写っている部分は、以下、プレート切り出し画像という。図８は、プレート切り出し画像を示す図である。プレート切り出し画像は、矩形であり、その水平方向、垂直方向は、撮像画像の水平方向及び垂直方向と同一の方向である。

図７に示されているように、ナンバープレートの切り出しの後、歪み補正が行われる（ステップＳ０３）。歪み補正は、横方向の２辺が水平方向に平行である平行四辺形に写されたナンバープレートが、２辺が水平方向に平行で他の２辺が垂直方向に平行である長方形の形状に変換されるように行われる（歪み補正によって得られた画像は、以下、「補正画像」と記載する）。このような歪み補正では、ナンバープレートの縦方向の辺が、補正画像における垂直方向に延伸する線分に変換される。

本実施形態では、カメラ１が傾けて固定されていることにより、ステップＳ０３における歪み補正に必要な演算量は比較的に少ない。図２のように、ナンバープレートの全ての辺が、水平方向及び垂直方向に斜めである平行四辺形に写っていると、歪み補正のために比較的に大きな演算量が必要になる。一方、本実施形態では、カメラ１が傾けて固定されていることによってプレート切り出し画像においてナンバープレートが横方向の２辺が水平方向に平行である平行四辺形に写されているため、歪み補正には、比較的に少ない演算量しか必要ない。

一実施形態では、歪み補正は、プレート切り出し画像の各横ラインを、適切なズレ量だけ横方向にシフトすることによって行われる。図９は、本実施形態における歪み補正をより具体的に説明する図である。まず、プレート切り出し画像におけるナンバープレートの各角の位置が検出される。続いて、ナンバープレートの縦方向の辺上の各点と、一の角Ａを通り垂直方向に延伸する直線ＡＡ’との距離がズレ量として算出される。例えば、図９に示されているように、ナンバープレートの縦方向の辺上の点Ｐについては、点Ｐから直線ＡＡ’に下ろした垂線の足をＰＱとして、ＰＱの長さがズレ量として算出される。プレート切り出し画像のナンバープレートが写っている部分について、各横ラインが、算出されたズレ量だけずらすことにより、歪み補正が行われる。これにより、少ない演算量で歪み補正を行うことができる。

歪み補正は、他の方法によって行われてもよい。例えば、アフィン変換によって歪み補正が行われてもよい。このとき、カメラ１は、道路２の所定の領域においてナンバープレートを撮像するように構成されているため、プレート切り出し画像におけるナンバープレートの像の垂直方向の傾き角度Φが、概ね一定であることに留意されたい（ナンバープレートの像の垂直方向の傾き角度Φとは、プレート切り出し画像の垂直方向に対するナンバープレートの縦方向の辺の角度のことである）。これは、アフィン変換を行う場合において、ナンバープレートの像の垂直方向の傾き角度Φを算出する必要が無く、少ない演算量でアフィン変換による歪み補正を行うことができることを意味している。

歪み補正の後、図７に示されているように、補正後のプレート切り出し画像に対して文字認識処理が行われ、これにより、ナンバープレートに記載された車両番号が認識される（ステップＳ０４）。

以上に説明されているように、本実施形態では、撮像画像におけるナンバープレートの横方向の辺の方向が撮像画像の水平方向と概ね一致するように、カメラ１が傾けて固定され、更に、ナンバープレートの縦方向の辺が垂直方向の線分に変換されるように、歪み補正が行われる。文字認識は、このようにして作成された補正画像に対して行われる。このような処理によってナンバープレートの認識を行うことにより、少ない演算量で車両番号の認識を行うことができる。

なお、上記の実施形態においては、道路２を走行する車両４のナンバープレートの横方向の辺が、撮像画像において概ね水平方向に写るようにカメラ１の向きが調節されているが、ナンバープレートの縦方向の辺が、撮像画像において概ね垂直方向に写るようにカメラ１の向きが調節されてもよいことに留意されたい。カメラ１の撮像領域Ｓのｘ軸及びｙ軸の方向の向きが、カメラ１の光軸の周りに調節可能であるように構成されているカメラ支持機構６は、ナンバープレートの縦方向の辺が、撮像画像において概ね垂直方向に写るようにカメラ１の向きを調節することが可能である。この場合、縦方向の２辺が垂直方向に平行である平行四辺形に写されたナンバープレートが、２辺が垂直方向に平行で他の２辺が水平方向に平行である長方形の形状に変換されるように行われる。このような歪み補正では、ナンバープレートの横方向の辺が水平方向の線分に変換されることに留意されたい。

この場合、一実施形態では、歪み補正は、プレート切り出し画像の各縦ラインを適切なズレ量だけ縦方向にシフトすることによって行われる。具体的には、図９で示された横方向のシフトによる歪み補正と同様に、まず、プレート切り出し画像におけるナンバープレートの各角の位置が検出される。続いて、ナンバープレートの横方向の辺上の各点と、一の角を通り水平方向に延伸する直線との距離がズレ量として算出される。プレート切り出し画像のナンバープレートが写っている部分について、各縦ラインが、算出されたズレ量だけずらすことにより、歪み補正が行われる。これにより、少ない演算量で歪み補正を行うことができる。

また、カメラ支持機構６の構成は、様々に変更可能であることにも留意されたい。例えば、揺動可能なアーム８の代わりに、カメラ１の撮像素子の向きをカメラ１の光軸の周りで回転可能にするような機構を有するカメラ支持機構６が使用されてもよい。また、カメラ１自身が、撮像素子の向きが光軸の周りで回転可能であるような構成を有していてもよい。本発明においては、カメラ１自身が揺動することは重要ではなく、カメラ１の撮像素子の撮像領域の、カメラ１の光軸に垂直な面内の周りの向きが調節可能であることが重要である。

更に、本実施形態では、撮像画像からナンバープレートに対応する部分が切り出されたプレート切り出し画像について、歪み補正と文字認識処理が行われているが、カメラ１によって得られた撮像画像について歪み補正と文字認識処理が行われてもよい。歪み補正と文字認識処理の対象は、ナンバープレートが写された画像であればよい。ただし、プレート切り出し画像について歪み補正と文字認識を行うことは、演算対象のラインの数が少ないため、演算量が減少するため好適であることに留意されたい。

図１Ａは、車両番号認識のために使用されるカメラが設置される態様を概略的に示す平面図である。 図１Ｂは、車両番号認識のために使用されるカメラが設置される態様を概略的に示す側面図である。 図２は、路肩ポールに設置されたカメラによって撮像される画像の例を示す概念図である。 図３は、本発明の一実施形態における車両番号認識装置の構成を示すブロック図である。 図４Ａは、カメラを路肩ポールに支持するカメラ支持機構の構成を示す鳥瞰図である。 図４Ｂは、カメラを路肩ポールに支持するカメラ支持機構の構成を示す鳥瞰図である。 図５は、カメラの撮像素子の撮像領域の空間的配置を概念的に示す図である。 図６は、プレート切り出し画像と、歪み補正によって得られた補正画像を示す概念図である。 図７は、一実施形態における車両番号認識の手順を示すフローチャートである。 図８は、撮像画像と、プレート切り出し画像との関係を示す概念図である。 図９は、一実施形態における歪み補正の処理を説明する概念図である。

符号の説明

１０：車両番号認識装置
１：カメラ
２：道路
３：路肩ポール
４：車両
５：画像処理装置
６：カメラ支持機構
７：台座
８：アーム

Claims (10)

1. ナンバープレートを撮像するカメラと、
   前記カメラを支持するカメラ支持機構と、
   前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識する画像処理装置
   とを備え、
   前記カメラ支持機構は、前記カメラの撮像素子の撮像領域の、前記カメラの光軸に垂直な面内における向きを調節可能であるように前記カメラを支持する
   車両番号認識装置。
2. 請求項１に記載の車両番号認識装置であって、
   前記画像処理装置は、前記ナンバープレート画像において横方向の２辺が水平方向に平行である平行四辺形が、２辺が水平方向に平行で他の２辺が垂直方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成し、前記補正画像に対して文字認識処理を行って前記車両番号を認識する
   車両番号認識装置。
3. 請求項２に記載の車両番号認識装置であって、
   前記カメラ支持機構は、前記ナンバープレート画像において、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね平行であるように、前記カメラを支持する
   車両番号認識装置。
4. 請求項２又は請求項３に記載の車両番号認識装置であって、
   前記画像処理装置は、前記ナンバープレート画像のナンバープレートの部分について、前記ナンバープレートの縦方向の辺上の各点と、前記ナンバープレートの一の角を通り垂直方向に延伸する直線との距離をズレ量として算出し、各横ラインを算出された前記ズレ量だけずらすことにより、前記歪み補正を行う
   車両番号認識装置。
5. 請求項１に記載の車両番号認識装置であって、
   前記画像処理装置は、前記ナンバープレート画像において縦方向の２辺が垂直方向に平行である平行四辺形が、２辺が垂直方向に平行で他の２辺が水平方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成し、前記補正画像に対して文字認識処理を行って前記車両番号を認識する
   車両番号認識装置。
6. 請求項５に記載の車両番号認識装置であって、
   前記カメラ支持機構は、前記ナンバープレート画像において、前記ナンバープレートの縦方向の２辺が前記ナンバープレート画像の垂直方向に概ね平行であるように、前記カメラを支持する
   車両番号認識装置。
7. 請求項５又は請求項６に記載の車両番号認識装置であって、
   前記画像処理装置は、前記ナンバープレート画像のナンバープレートの部分について、前記ナンバープレートの横方向の辺上の各点と、前記ナンバープレートの一の角を通り水平方向に延伸する直線との距離をズレ量として算出し、各縦ラインを算出された前記ズレ量だけずらすことにより、前記歪み補正を行う
   車両番号認識装置。
8. 請求項１乃至７のいずれかに記載の車両番号認識装置であって、
   前記カメラ支持機構は、道路の路肩に設けられた路肩ポールに設けられる
   車両番号認識装置。
9. （ａ）カメラによってナンバープレートを撮像するステップと、
   （ｂ）前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識するステップ
   とを具備し、
   前記カメラは、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね一致するように支持されており、
   前記（ｂ）ステップは、
   （ｂ１）前記ナンバープレートが写されたナンバープレート画像に対して、前記ナンバープレート画像において横方向の２辺が水平方向に平行である平行四辺形が、２辺が水平方向に平行で他の２辺が垂直方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成するステップと、
   （ｂ２）前記補正画像に対して文字認識処理を行って前記車両番号を認識すること
   とを備える
   車両番号認識方法。
10. （ｃ）カメラによってナンバープレートを撮像するステップと、
    （ｄ）前記ナンバープレートが写されたナンバープレート画像を処理して前記ナンバープレートに記載の車両番号を認識するステップ
    とを具備し、
    前記カメラは、前記ナンバープレートの横方向の２辺が前記ナンバープレート画像の水平方向に概ね一致するように支持されており、
    前記（ｄ）ステップは、
    （ｄ１）前記ナンバープレートが写されたナンバープレート画像に対して、前記ナンバープレート画像において縦方向の２辺が垂直方向に平行である平行四辺形が、２辺が垂直方向に平行で他の２辺が水平方向に平行である長方形の形状に変換されるように歪み補正を行って補正画像を生成するステップと、
    （ｄ２）前記補正画像に対して文字認識処理を行って前記車両番号を認識すること
    とを備える
    車両番号認識方法。

Images