JP2015056065A - ナンバープレート傾斜角度算出装置、コンピュータプログラム及びナンバープレート傾斜角度算出方法 - Google Patents

Abstract

【課題】ナンバープレートの傾斜角度を算出することができるナンバープレート傾斜角度算出装置、コンピュータプログラム及びナンバープレート傾斜角度算出方法を提供する。【解決手段】ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定する文字候補領域特定部と、文字候補領域特定部で特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出する組抽出部と、組抽出部で抽出した組の２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定する番号候補領域特定部と、番号候補領域特定部で特定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する算出部とを備える。【選択図】図１

Description

本発明は、ナンバープレートの傾斜角度を算出するナンバープレート傾斜角度算出装置、該ナンバープレート傾斜角度算出装置を実現するためのコンピュータプログラム及びナンバープレート傾斜角度算出方法に関する。

近年、交通監視などの分野において、特定の車両を抽出する技術の１つとして車両のナンバープレートを読み取る技術が開発されている。このようなナンバープレートを読み取る技術は、高速道路における料金収受システム、交通流の計測システム、駐車場等の入出車両管理システムなどに利用することができる。

また、このようなナンバープレートの読み取り技術として、例えば、撮像カメラにより得られた画像情報に基づいて、車両のナンバープレートの有無を検出し、ナンバープレートが検出された場合、ナンバープレート中の文字情報を認識してナンバープレートの数字を読み取るプレート検出手法が開示されている（特許文献１参照）。

このような従来のプレート検出手法では、画像中から数字候補を抽出し、抽出した数字候補の横方向の周辺を探索してさらに他の数字候補を抽出することにより、一連番号候補を抽出する。そして、抽出した一連番号候補の配置がプレートのフォーマットに適合しているかどうかを判定し、プレートのフォーマットに適合してある場合に、プレートを検出する。

特開２００９−１４０１６０号公報

しかし、従来のプレート検出手法では、抽出した数字候補の横方向の周辺を探索してさらに他の数字候補を抽出するので、仮にナンバープレートが傾いて取り付けられた場合には、横方向に探索しても数字候補を抽出することができないおそれがある。また、数字候補を抽出するようにするためには、数字候補の探索範囲を拡大する必要があるが、探索に要する処理負荷が増大し、あるいは数字以外の誤検出の可能性が高くなることから、探索範囲を拡大することが現実的でない。また、ナンバープレートの傾き角度が大きくなるにつれて、数字候補の抽出は一層困難となる。

本発明は、斯かる事情に鑑みてなされたものであり、ナンバープレートの傾斜角度を算出することができるナンバープレート傾斜角度算出装置、該ナンバープレート傾斜角度算出装置を実現するためのコンピュータプログラム及びナンバープレート傾斜角度算出方法を提供することを目的とする。

第１発明に係るナンバープレート傾斜角度算出装置は、ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定する文字候補領域特定部と、該文字候補領域特定部で特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出する組抽出部と、該組抽出部で抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定する番号候補領域特定部と、該番号候補領域特定部で特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出する算出部とを備える。

第２発明に係るナンバープレート傾斜角度算出装置は、第１発明において、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第１組を特定する第１組特定部と、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が、前記第１組特定部で特定した第１組の横方向他側にある文字候補領域の文字の種別と一致する第２組を特定する第２組特定部とを備え、前記番号候補領域特定部は、前記第１組及び第２組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第１組及び第２組それぞれの文字候補領域を含む番号候補領域を特定するようにしてある。

第３発明に係るナンバープレート傾斜角度算出装置は、第２発明において、前記第２組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第３組を特定する第３組特定部を備え、前記番号候補領域特定部は、前記第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第３組の文字候補領域をさらに含む番号候補領域を特定するようにしてある。

第４発明に係るナンバープレート傾斜角度算出装置は、第２発明において、前記第２組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字以外である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字以外である第３組を特定する第３組特定部を備え、前記番号候補領域特定部は、前記第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第３組の文字候補領域をさらに含む番号候補領域を特定するようにしてある。

第５発明に係るナンバープレート傾斜角度算出装置は、第４発明において、前記番号候補領域特定部は、前記第３組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字以外である場合、前記第１組、第２組及び第３組の文字候補領域を番号候補領域として特定するようにしてある。

第６発明に係るナンバープレート傾斜角度算出装置は、第４発明において、前記第３組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第４組を特定する第４組特定部を備え、前記番号候補領域特定部は、前記第３組及び第４組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第４組の文字候補領域をさらに含む番号候補領域を特定するようにしてある。

第７発明に係るナンバープレート傾斜角度算出装置は、第１発明から第６発明のいずれか１つにおいて、前記番号候補領域特定部で特定した番号候補領域が複数ある場合、該番号候補領域内の文字候補領域間の距離に基づいて、一の番号候補領域を選定する選定部を備え、前記算出部は、前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある。

第８発明に係るナンバープレート傾斜角度算出装置は、第１発明から第６発明のいずれか１つにおいて、前記番号候補領域特定部で特定した番号候補領域が複数ある場合、該番号候補領域内の文字候補領域の文字の種別が数字であるときの該文字が最も多い一の番号候補領域を選定する選定部を備え、前記算出部は、前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある。

第９発明に係るナンバープレート傾斜角度算出装置は、第１発明から第６発明のいずれか１つにおいて、前記番号候補領域特定部で特定した番号候補領域が複数ある場合、前記画像上の位置が最下方にある一の番号候補領域を選定する選定部を備え、前記算出部は、前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある。

第１０発明に係る車番検出装置は、第１発明に係るナンバープレート傾斜角度算出装置と、該ナンバープレート傾斜角度算出装置で算出した傾斜角度を用いて、ナンバープレートが撮像された画像を回転処理する画像処理部と、該画像処理部で回転処理した画像を用いて前記ナンバープレートの車番を検出する検出部とを備える。

第１１発明に係るコンピュータプログラムは、コンピュータに、ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定するステップと、特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出するステップと、抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定するステップと、特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するステップとを実行させる。

第１２発明に係るナンバープレート傾斜角度算出方法は、ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定するステップと、特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出するステップと、抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定するステップと、特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するステップとを含む。

第１発明、第１１発明及び第１２発明にあっては、文字候補領域特定部は、ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定する。文字候補領域は、ナンバープレート（「プレート」とも称する）の一連番号の個々の文字を含む領域である。一連番号は、車番の文字であり、文字としては、数字、あるいは数字以外として、ハイフン又はドットを含む。すなわち、文字候補領域は、数字の０から９、あるいは数字以外のハイフン又はドットを含む領域である。文字候補領域の特定方法は、画像中から、例えば、数字らしさ、あるいはハイフン又はドットらしさの特徴を有する特徴部分を特定する。

組抽出部は、特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出する。２つの文字候補領域の画像上の距離が所定の閾値以内である場合、当該２つの文字候補領域は、近傍にあると判定することができる。また、例えば、３つの文字候補領域が近傍にある場合、３つの文字候補領域から２つを選択する組み合わせは３通りあるので、組は３つ抽出することができる。

番号候補領域特定部は、抽出した組の２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定する。番号候補領域は、一連番号の全部又は一部を含む領域である。例えば、抽出した複数の組の中から、任意の組を選択し、選択した１つ目の組の２つの文字候補領域を繋ぐ仮想線分の画像上の傾きがθ１であるとすると、当該仮想線分の延長線上（傾きがθ１）又は傾きがθ１±αとなる仮想線分（当該延長線となす角がα以下である仮想線分）上を探索して、２つ目の組を抽出し、抽出した各組の文字候補領域を含む領域を番号候補領域として特定する。この場合、所定範囲は、角度α以下ということである。例えば、一連番号を「１２３４」とすると、少なくとも「２３４」あるいは「１２３」を含む領域を番号候補領域として特定する。

算出部は、特定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。文字候補領域の位置は、例えば、文字候補領域を矩形状で特定する場合、文字候補領域の中心、あるいは四隅のいずれか１点などを用いることができる。また、傾斜角度は、番号候補領域内の両端側にある文字同士を結ぶ仮想線分の画像上の傾きとして算出することができる。例えば、番号候補領域内の文字（数字）が、「２３４」である場合、両端側の数字である数字「２」と数字「４」とを結ぶ仮想線分の画像上の傾きをナンバープレートの傾斜角度を算出する。これにより、ナンバープレートの傾斜角度を算出することができる。

第２発明にあっては、第１組特定部は、抽出した組のうち、画像上で横方向一側にある文字候補領域の文字の種別が数字である第１組を特定する。画像の左上を座標の原点とし、横方向をｘ座標、縦方向をｙ座標とした場合、横方向一側とは、ｘ座標が大きい方をいい、例えば、右側である。なお、第１組の横方向他側にある文字候補領域の文字の種別は、数字、又は数字以外（すなわち、ハイフン又はドット）である。横方向他側とは、ｘ座標が小さい方をいい、例えば、左側である。第２組特定部は、抽出した組のうち、画像上で横方向一側にある文字候補領域の文字の種別が、第１組の横方向他側にある文字候補領域の文字の種別と一致する第２組を特定する。

番号候補領域特定部は、第１組及び第２組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合（例えば、第１組の２つの文字候補領域を繋ぐ仮想線分の傾きと、第２組の２つの文字候補領域を繋ぐ仮想線分の傾きとの差が角度α以下である場合）、第１組及び第２組それぞれの文字候補領域を含む番号候補領域を特定する。すなわち、第１組の右側の文字は数字であり、第１組の左側（すなわち、第２組の右側）の文字は数字又は数字以外となる。これにより、一連番号に数字以外の文字が含まれるようなナンバープレートの傾斜角度を算出することができる。

第３発明にあっては、第３組特定部は、第２組の画像上で横方向他側（左側）にある文字候補領域の文字の種別が数字である場合、組抽出部で抽出した組のうち、画像上で横方向一側（右側）にある文字候補領域の文字の種別が数字である第３組を特定する。番号候補領域特定部は、第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第３組の文字候補領域をさらに含む番号候補領域を特定する。第２組の左側（第３組の右側）の文字が数字である場合、第２組の右側（第１組の左側）の文字が数字以外となるナンバープレートは存在しないので、番号候補領域は、少なくとも３つの数字（下３桁の数字）が並んだものとなる。これにより、一連番号の下３桁（３つ並んだ文字）が数字であるようなナンバープレートの傾斜角度を算出することができる。

第４発明にあっては、第３組特定部は、第２組の画像上で横方向他側（左側）にある文字候補領域の文字の種別が数字以外（ハイフン又はドット）である場合、組抽出部で抽出した組のうち、画像上で横方向一側（右側）にある文字候補領域の文字の種別が数字以外である第３組を特定する。番号候補領域特定部は、第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第３組の文字候補領域をさらに含む番号候補領域を特定する。

第２組の左側（第３組の右側）の文字がドットである場合、一連番号の下３桁目にドットが存在することになるので、一連番号の下２桁目が数字又はドットであり、下３桁目がドットであるようなナンバープレートの傾斜角度を算出することができる。

また、第２組の左側（第３組の右側）の文字がハイフンである場合、一連番号の下２桁目と下３桁目との間にハイフンが存在することになるので、一連番号の下２桁目と下３桁目との間にハイフンが含まれるようなナンバープレートの傾斜角度を算出することができる。

第５発明にあっては、番号候補領域特定部は、第３組の画像上で横方向他側（左側）にある文字候補領域の文字の種別が数字以外である場合、第１組、第２組及び第３組の文字候補領域を番号候補領域として特定する。第３組の左側の文字が数字以外である場合、第３組の左側（すなわち、下４桁目）の文字はドットである。これにより、一連番号の下２桁目が数字又はドットであり、下３桁目がドットであり、下４桁目がドットであるようなナンバープレートの傾斜角度を算出することができる。

第６発明にあっては、第４組特定部は、第３組の画像上で横方向他側（左側）にある文字候補領域の文字の種別が数字である場合、組抽出部で抽出した組のうち、画像上で横方向一側（右側）にある文字候補領域の文字の種別が数字である第４組を特定する。番号候補領域特定部は、第３組及び第４組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第４組の文字候補領域を番号候補領域として特定する。第３組の画像上で横方向他側（左側）にある文字候補領域の文字の種別が数字であるので、第３組の右側の文字がハイフンとなる。すなわち、ナンバープレートでドットの左側が数字となるものはないので、第３組の右側の文字がドットである場合は除外される。これにより、一連番号が４桁の数字であって、下２桁目と下３桁目との間にハイフンが含まれるようなナンバープレートの傾斜角度を算出することができる。

第７発明にあっては、選定部は、番号候補領域特定部で特定した番号候補領域が複数ある場合、番号候補領域内の文字候補領域間の距離に基づいて、一の番号候補領域を選定する。ナンバープレートの一連番号の文字（数字又は数字以外）の距離（間隔）は予め定められているので、例えば、番号候補領域内の文字候補領域間の距離が、ナンバープレートのものに近いものを選定する。算出部は、選定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。これにより、特定した番号候補領域の中から、例えば、最もナンバープレートらしいものを選定することができ、不要な番号候補領域を除外することができる。

第８発明にあっては、選定部は、番号候補領域特定部で特定した番号候補領域が複数ある場合、番号候補領域内の文字候補領域の文字の種別が数字であるときの該文字が最も多い一の番号候補領域を選定する。算出部は、選定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。数字以外のハイフン又はドットよりも数字の方が文字候補領域の面積が大きく、文字候補領域、すなわち数字の位置を特定しやすくなるので、ナンバープレートの傾斜角度を精度良く算出することができる。

第９発明にあっては、選定部は、番号候補領域特定部で特定した番号候補領域が複数ある場合、画像上の位置が最下方にある一の番号候補領域を選定する。算出部は、選定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。車両のフロント部分には、ヘッドライト、あるいはフロントグリルなどの大きさ、形状などにより誤って番号候補領域として特定する可能性もある。そこで、複数の番号候補領域が特定された場合には、ナンバープレートがヘッドライト又はフロントグリルなどよりも下方にあることに注目して、画像上の位置が最下方にある一の番号候補領域を選定する。車両のリア部分も同様である。これにより、正しい番号候補領域を選定することができる。

第１０発明にあっては、ナンバープレート傾斜角度算出装置で算出した傾斜角度を用いて、ナンバープレートが撮像された画像を回転処理し、回転処理した画像を用いてナンバープレートの車番を検出する。ナンバープレートが傾斜して車両の取り付けられている場合でも、ナンバープレートの傾斜角だけ画像を回転することにより、ナンバープレートが画像上で水平になるようにすることができ、一連番号（車番）を精度良く検出することができる。

本発明によれば、ナンバープレートの傾斜角度を算出することができる。

本実施の形態の車番検出装置の構成の一例を示すブロック図である。 撮像装置の設置例を示す模式図である。 プレートが撮像された画像の一例を示す説明図である。 画像上で特定された文字候補領域の一例を示す模式図である。 組の一例を示す模式図である。 画像上で抽出された組の一例を示す模式図である。 番号候補領域の特定方法の一例を示す模式図である。 プレートの一例を示す説明図である。 番号候補領域の特定方法の第１例を示す説明図である。 番号候補領域の特定方法の第２例を示す説明図である。 番号候補領域の特定方法の第３例を示す説明図である。 番号候補領域の特定方法の第４例を示す説明図である。 番号候補領域の特定方法の第５例を示す説明図である。 番号候補領域の選定方法の第１例を示す説明図である。 番号候補領域の選定方法の第２例を示す説明図である。 プレートの傾斜角度の算出方法の一例を示す説明図である。 回転補正画像の一例を示す説明図である。 プレートの切り出し座標の算出例を示す説明図である。 プレートの切り出し画像の一例を示す説明図である。 本実施の形態のプレート傾斜角度算出ユニットの処理手順の一例を示すフローチャートである。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の車番検出装置１００の構成の一例を示すブロック図である。車番検出装置１００は、ナンバープレート傾斜角度算出装置としてのプレート傾斜角度算出ユニット１０、画像補正部２０、車番検出部３０などを備える。また、プレート傾斜角度算出ユニット１０は、プレート傾斜角度算出ユニット１０及び車番検出装置１００を制御する制御部１１、インタフェース部１２、文字候補領域特定部１３、組抽出部１４、番号候補領域特定部１５、記憶部１６、選定部１７、プレート傾斜角度算出部１８などを備える。また、車番検出装置１００には、撮像装置２００を接続してある。なお、撮像装置２００は、車番検出装置１００に内蔵する構成であってもよい。

撮像装置２００は、道路を走行する車両を撮像し、撮像して得られた画像データをプレート傾斜角度算出ユニット１０へ出力する。

図２は撮像装置２００の設置例を示す模式図であり、図３はプレートが撮像された画像の一例を示す説明図である。図２に示すように、撮像装置２００は、道路を走行する車両を撮像すべく、所定の位置に設置される。また、図３に示すように、撮像装置２００で撮像して得られた画像は、車両のフロント部分、あるいはリア部分を撮像した画像である。以下の説明では、画像の左上を座標の中心として横方向をｘ座標、縦方向をｙ座標とする。また、プレート傾斜角度算出ユニット１０は、図３に示すように、車両のプレート（ナンバープレートとも称する）が傾いて取り付けられている場合、プレートの傾斜角度を算出するものである。

インタフェース部１２は、撮像装置２００で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて記憶部１６に記憶する。

文字候補領域特定部１３は、プレートが撮像された画像に基づいて複数の文字候補領域を特定する。文字候補領域は、プレートの一連番号の個々の文字を含む領域である。一連番号は、車番の文字であり、文字としては、数字及びハイフン又はドットなどの数字以外の文字を含む。すなわち、文字候補領域は、数字の０から９、あるいは数字以外のハイフン又はドットを含む領域である。

文字候補領域の特定方法は、画像中から、例えば、数字らしさ、あるいはハイフン又はドットらしさの特徴を有する特徴部分を特定する。

文字候補領域のうち、サイズが大きいものは、文字候補領域の文字が数字（数字候補）であり、サイズが小さいものは、文字候補領域の文字が数字以外（ハイフン候補又はドット候補）であるということができる。すなわち、文字候補領域の大きさに応じて、文字が数字であるのか、あるいは数字以外（ハイフン又はドット）であるのかを判定することができる。

図４は画像上で特定された文字候補領域の一例を示す模式図である。図４に示すように、車両のフロント部分を撮像した場合、プレート、バンパー、ヘッドライト、フロントグリルなどの箇所で多くの文字候補領域が特定される。

組抽出部１４は、文字候補領域特定部１３で特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出する。２つの文字候補領域の画像上の距離が所定の閾値以内である場合、当該２つの文字候補領域は、近傍にあると判定することができる。また、例えば、３つの文字候補領域が近傍にある場合、３つの文字候補領域から２つを選択する組み合わせは３通りあるので、組は３つ抽出することができる。

図５は組の一例を示す模式図である。図５に示すように、組は、２つの文字候補領域を仮想線分で繋いだものである。組は、画像上で横方向一側にある文字候補領域の文字と、画像上で横方向他側にある文字候補領域の文字とで構成される。また、画像の左上を座標の原点とし、横方向をｘ座標、縦方向をｙ座標とした場合、横方向一側とは、ｘ座標が大きい方をいい、例えば、右側である。また、横方向他側とは、ｘ座標が小さい方をいい、例えば、左側である。図５で示す仮想線分は、文字候補領域の所定の点を繋ぐものであるが、所定の点は、文字候補領域の中心点、四隅のいずれか１頂点などを用いることができる。また、２つの文字候補領域を繋ぐ仮想線分の画像上の傾きをθで表す。傾き、すなわち傾斜角度θは、画像の横方向（水平方向）に対する角度である。

図６は画像上で抽出された組の一例を示す模式図である。図６の例は、図４で例示した文字候補領域から近傍に存在する２つの文字候補領域を仮想線分で繋いだものであり、例えば、３つの文字候補領域がそれぞれ近傍に存在する場合には、３個の組を抽出することができる。

番号候補領域特定部１５は、組抽出部１４で抽出した組の２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定する。番号候補領域は、プレートの一連番号（車番）の全部又は一部を含む領域である。この場合、所定範囲は、角度α以下ということである。

図７は番号候補領域の特定方法の一例を示す模式図である。図７に示すように、抽出した複数の組の中から、任意の組を選択し、選択した１つ目の組（第１組）の２つの文字候補領域Ｃ１、Ｃ２を繋ぐ仮想線分の画像上の傾きがθ１であるとする。当該仮想線分の延長線上（傾きがθ１）又は傾きがθ１±αとなる仮想線分（当該延長線となす角がα以下である仮想線分）上を探索して、２つ目の組（第２組）を抽出する。第２組は、２つの文字候補領域Ｃ２、Ｃ３を仮想線分で繋いだものであり、第１組の左側の文字候補領域Ｃ２と第２組の右側の文字候補領域Ｃ２は同じものである。第２組の２つの文字候補領域Ｃ２、Ｃ３を繋ぐ仮想線分の画像上の傾きがθ２とすると、｜θ１-θ２｜＜αとなる。

番号候補領域特定部１５は、抽出した各組（第１組及び第２組）の文字候補領域Ｃ１、Ｃ２、Ｃ３を含む領域を番号候補領域として特定する。別言すれば、番号候補領域特定部１５は、まず第１組を選択し、傾きがθ１の仮想線分を左方向に探索し、文字候補領域Ｃ２が共通の第２組を抽出することにより、番号候補領域を特定する。

図８はプレートの一例を示す説明図である。図８の例では、一連番号（車番）は、「１２３４」であり、下１桁目（一位）が数字の「４」、下２桁目（十位）が数字の「３」、下２桁目と下３桁目との間にハイフンがあり、下３桁目（百位）が数字の「２」、下４桁目（千位）が数字の「１」である。番号候補領域特定部１５は、図８に示すように、一連番号を「１２−３４」とすると、少なくとも「−３４」を含む領域を番号候補領域として特定することができる。

プレート傾斜角度算出部１８は、算出部としての機能を有し、番号候補領域特定部１５で特定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。文字候補領域の位置は、例えば、文字候補領域を矩形状で特定する場合、文字候補領域の中心、あるいは四隅のいずれか１点などを用いることができる。また、傾斜角度は、番号候補領域内の両端側にある文字同士を結ぶ仮想線分の画像上の傾きとして算出することができる。図７の例では、文字候補領域Ｃ１、Ｃ３の位置を繋ぐ仮想線分の傾きとして求めることができる。例えば、番号候補領域内の文字（数字）が、「２３４」である場合、両端側の数字である数字「２」と数字「４」とを結ぶ仮想線分の画像上の傾きをナンバープレートの傾斜角度を算出する。これにより、ナンバープレートの傾斜角度を算出することができる。

次に、番号候補領域の特定方法の具体例について説明する。図９は番号候補領域の特定方法の第１例を示す説明図である。以下の説明において、文字候補領域Ｃｘは文字が数字であり、文字候補領域Ｕｘは文字が数字以外であることを示す。ｘは１、２、３、４、５である。

まず、番号候補領域特定部１５は、第１組特定部としての機能を有し、組抽出部１４で抽出した組のうち、画像上で右側（横方向一側）にある文字候補領域の文字の種別が数字である第１組を特定する。そして、番号候補領域特定部１５は、第２組特定部としての機能を有し、組抽出部１４で抽出した抽出した組のうち、画像上で右側にある文字候補領域の文字の種別が、第１組の左側（横方向他側）にある文字候補領域の文字の種別と一致する第２組を特定する。

図９は、第１組及び第２組の右側の文字候補領域を示すものである。図９に示すように、ケース１は、第１組の右側の文字候補領域Ｃ１が数字であり、左側の文字候補領域Ｃ２も数字である場合を示す。また、ケース２は、第１組の右側の文字候補領域Ｃ１が数字であり、左側の文字候補領域Ｕ２が数字以外（ハイフン又はドット）である場合を示す。ケース１、２いずれも、第１組の左側の文字候補領域の文字の種別と、第２組の右側の文字候補領域の文字の種別とが同じものである。なお、図９では第２組の左側の文字候補領域は図示していない。

番号候補領域特定部１５は、第１組及び第２組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第１組及び第２組それぞれの文字候補領域を含む番号候補領域を特定する。すなわち、第１組の右側の文字は数字であり、第１組の左側（すなわち、第２組の右側）の文字は数字又は数字以外となる。これにより、一連番号に数字のみが含まれるようなナンバープレート、あるいは一連番号に数字以外の文字が含まれるようなナンバープレートの傾斜角度を算出することができる。

図１０は番号候補領域の特定方法の第２例を示す説明図である。図１０は、第１組、第２組及び第３組の右側の文字候補領域を示すものである。図１０のケース１、２は、いずれも図９に示すケース１から派生したものであり、図１０のケース３は、図９のケース２から派生したものである。

番号候補領域特定部１５は、第３組特定部としての機能を有し、第２組の画像上で左側にある文字候補領域の文字の種別が数字である場合、組抽出部１４で抽出した組のうち、画像上で右側にある文字候補領域の文字の種別が数字である第３組を特定する。そして、番号候補領域特定部１５は、第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第３組の文字候補領域をさらに含む番号候補領域を特定する。

図１０のケース１では、第２組の左側（第３組の右側）の文字候補領域Ｃ３が数字である。これにより、一連番号の下３桁（３つ並んだ文字）が数字であるようなナンバープレートの傾斜角度を算出することができる。

図１１は番号候補領域の特定方法の第３例を示す説明図である。図１１は、第１組、第２組、第３組及び第４組の右側の文字候補領域を示すものである。図１１のケース１、２は、いずれも図１０に示すケース１から派生したものである。すなわち、図１１のケース１は、第３組の右側の文字が数字であり、左側の文字も数字である場合を示し、プレートの一連番号は、「１２３４」のようにある。また、図１１のケース２は、第３組の右側の文字が数字であり、左側の文字が数字以外（ドット）である場合を示し、プレートの一連番号は、「・２３４」のようにある。これにより、一連番号の下３桁（３つ並んだ文字）が数字であるようなナンバープレートの傾斜角度を算出することができる。

図１２は番号候補領域の特定方法の第４例を示す説明図である。図１２は、第１組、第２組、第３組及び第４組の右側の文字候補領域を示すものである。図１２のケース１は、図１０のケース２から派生したものであり、図１２のケース２は、図１０のケース３から派生したものである。

番号候補領域特定部１５は、第２組の画像上で左側にある文字候補領域の文字の種別が数字以外（ハイフン又はドット）である場合（すなわち、図１０のケース２、３の場合）、組抽出部１４で抽出した組のうち、画像上で右側にある文字候補領域の文字の種別が数字以外である第３組を特定する。そして、番号候補領域特定部１５は、第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第３組の文字候補領域をさらに含む番号候補領域を特定する。

例えば、第２組の左側（第３組の右側）の文字がドットである場合、一連番号の下３桁目にドットが存在することになるので、一連番号の下２桁目が数字又はドットであり、下３桁目がドットであるようなナンバープレートの傾斜角度を算出することができる。図１２のケース１では、第３組の右側の文字が数字以外であり、左側の文字も数字以外である場合を示し、プレートの一連番号は、「・・３４」のようになる。また、図１２のケース２は、第３組の右側の文字が数字以外（ドット）であり、左側の文字が数字以外（ドット）である場合を示し、プレートの一連番号は、「・・・４」のようになる。

番号候補領域特定部１５は、第３組の画像上で左側にある文字候補領域の文字の種別が数字以外である場合、第１組、第２組及び第３組の文字候補領域を番号候補領域として特定する。第３組の左側の文字が数字以外である場合、第３組の左側（すなわち、下４桁目）の文字はドットである。これにより、図１２のケース１、２のように、一連番号の下２桁目が数字又はドットであり、下３桁目がドットであり、下４桁目がドットであるようなナンバープレートの傾斜角度を算出することができる。

図１３は番号候補領域の特定方法の第５例を示す説明図である。図１３は、第１組、第２組、第３組及び第４組を示すものである。図１３のケース１は、図１０のケース２から派生したものである。番号候補領域特定部１５は、第４組特定部としての機能を有し、第３組の画像上で左側にある文字候補領域の文字の種別が数字である場合、組抽出部１４で抽出した組のうち、画像上で右側にある文字候補領域の文字の種別が数字である第４組を特定する。そして、番号候補領域特定部１５は、第３組及び第４組それぞれの２つの文字候補領域を繋ぐ仮想線分の画像上の傾きが所定範囲にある場合、第４組の文字候補領域を番号候補領域として特定する。

図１３のケース１で示すように、第３組の画像上で左側にある文字候補領域の文字の種別が数字であるので、第３組の右側の文字がハイフンとなる。すなわち、プレートでドットの左側が数字となるものはないので、第３組の右側の文字がドットである場合は除外される。これにより、「１２−３４」のように、一連番号が４桁の数字であって、下２桁目と下３桁目との間にハイフンが含まれるようなナンバープレートの傾斜角度を算出することができる。

次に、複数の番号候補領域が特定された場合、最適な番号候補領域を選定する方法について説明する。

図１４は番号候補領域の選定方法の第１例を示す説明図である。選定部１７は、番号候補領域特定部で特定した番号候補領域が複数ある場合、番号候補領域内の文字候補領域間の距離に基づいて、一の番号候補領域を選定する。プレートの一連番号の文字（数字又は数字以外）の距離（間隔）は予め定められているので、例えば、番号候補領域内の文字候補領域間の距離が、プレートのものに近いものを選定する。

図１４に示すように、下１桁目（一位）の数字の中心座標と下２桁目（十位）の数字の中心座標との座標の差（距離）をｄ１とし、距離ｄ１を基準距離とする。また、下２桁目（十位）の数字の中心座標とハイフンの中心座標との座標の差（距離）をｄ２とし、下２桁目（十位）の数字の中心座標と下３桁目（百位）の数字の中心座標との座標の差（距離）をｄ３とし、下３桁目（百位）の数字の中心座標と下４桁目（千位）の数字の中心座標との座標の差（距離）をｄ４とする。

この場合、特定されたすべての番号候補領域に対して、以下の処理を行う。（１）距離ｄ３が基準距離ｄ１±所定距離であること、（２）距離ｄ４が基準距離ｄ１±所定距離であることの２つの条件を満たすものを選定する。

また、プレートにハイフンがある場合には、さらに（３）距離ｄ３が基準距離ｄ２±所定距離であることを条件として加えることもできる。なお、前述の条件（１）〜（３）のすべてを用いてもよく、あるいは、いずれか１つ又は２つでもよい。また、距離ｄ１を基準距離としたが、他の距離を基準距離とすることもできる。

プレート傾斜角度算出部１８は、選定部１７で選定した番号候補領域内の文字候補領域の位置に基づいて、ナンバープレートの傾斜角度を算出する。これにより、特定した番号候補領域の中から、例えば、最もナンバープレートらしいものを選定することができ、不要な番号候補領域を除外することができる。

図１５は番号候補領域の選定方法の第２例を示す説明図である。選定部１７は、番号候補領域特定部１５で特定した番号候補領域が複数ある場合、画像上の位置が最下方にある一の番号候補領域を選定する。図１５に示すように、複数の番号候補領域ｍ１、ｍ２、ｍ３が特定されたとする。これは、車両のフロント部分には、ヘッドライト、あるいはフロントグリルなどの大きさ、形状などにより誤って番号候補領域として特定する可能性があるからである。そこで、複数の番号候補領域が特定された場合には、プレートがヘッドライト又はフロントグリルなどよりも下方にあることに注目して、画像上の位置が最下方にある一の番号候補領域を選定する。図１５の例では、番号候補領域ｍ１を選定する。なお、図１５の例では、車両のフロント部分を示しているが、車両のリア部分も同様に、画像上の位置が最下方にある一の番号候補領域を選定することができる。これにより、正しい番号候補領域を選定することができる。

また、番号候補領域の選定方法の第３例として、選定部１７は、番号候補領域特定部１５で特定した番号候補領域が複数ある場合、番号候補領域内の文字候補領域の文字の種別が数字であるときの該文字が最も多い一の番号候補領域を選定することもできる。数字以外のハイフン又はドットよりも数字の方が文字候補領域の面積が大きく、文字候補領域、すなわち数字の位置を特定しやすくなるので、ナンバープレートの傾斜角度を精度良く算出することができる。

図１６はプレートの傾斜角度の算出方法の一例を示す説明図である。図１６に示すように、番号候補領域が、画像上右から左に向かって、文字候補領域Ｃ１、Ｃ２、Ｕ３、Ｃ４、Ｃ５であるとする。Ｃ１、Ｃ２、Ｃ４、Ｃ５は数字であり、Ｕ３はハイフンである。この場合、プレートの傾斜角度θは、両端の文字候補領域Ｃ１、Ｃ５それぞれの中心座標を繋ぐ仮想線分の傾きとして算出することができる。

図１７は回転補正画像の一例を示す説明図である。画像補正部２０は、プレート傾斜角度算出部１８で算出した傾斜角度θを用いて、プレートが撮像された画像を、角度θだけ回転させた回転補正画像を生成する。この場合、回転中心は、例えば、プレートのハイフンの位置とすることができる。また、プレートにハイフンがない場合には、下１桁目（一位）の数字の中心と、下４桁目（千位）の数字又はドットの中心とを繋ぐ仮想線分の中点とすることができる。また、回転補正画像のサイズは、大板プレートが確実に包含され、かつサイズが余り大きくなり過ぎないように設定すればよい。これより、画像処理に要する演算量の増加を抑制することができる。

車番検出部３０は、文字認識処理等を用いて、図１７に例示した回転補正画像から、プレートの車番（一連番号）を検出する。プレートが傾いて取り付けられた場合でも、プレートの傾斜角度を算出し、傾いたプレートを水平にすることができるので、車番の検出を精度良く行うことができる。

図１８はプレートの切り出し座標の算出例を示す説明図であり、図１９はプレートの切り出し画像の一例を示す説明図である。なお、図１８及び図１９では、２桁目と３桁目との間にハイフンがあるプレートを例示しているが、ハイフンの無いプレート、あるいはドットが含まれるプレートも同様である。

プレートの切り出し座標の算出は、まず、図１８Ａに示すように、一位の数字の中心座標と千位の数字（あるいはドット）の中心座標との間の距離ｄを基準距離とする。次に、図１８Ｂに示すように、プレートのフォーマット及び基準距離ｄに基づいて、ハイフンの中心（図１８Ｂの符号０で示す点）からプレートの上端までの距離ｙ１、下端までの距離ｙ２、左端までの距離ｘ１、右端までの距離ｘ２を算出する。

次に、図１８Ｃに示すように、算出した距離ｘ１、ｘ２、ｙ１、ｙ２に対して、プレートの傾斜角度θを用いて座標を変換し、プレートの四隅Ｐ、Ｑ、Ｒ、Ｓの点の座標をプレートの切り出し座標として求める。これにより、図１９に示すようなプレートの切出画像を求めることができる。

図２０は本実施の形態のプレート傾斜角度算出ユニット１０の処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部１１として説明する。制御部１１は、プレートが撮像された画像を取得し（Ｓ１１）、文字候補領域を特定する（Ｓ１２）。

制御部１１は、特定した文字候補領域から組を抽出し（Ｓ１３）、組の２つの文字候補領域を繋ぐ線分（仮想線分）の傾きを用いて番号候補領域を特定する（Ｓ１４）。制御部１１は、特定した番号候補領域内の文字候補領域の位置に基づいてプレートの傾斜角度を算出し（Ｓ１５）、処理を終了する。

上述のプレート傾斜角度算出ユニット１０は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図２０に示すような、各処理手順を定めたコンピュータプログラムを記録媒体に記録しておき、当該記録媒体をコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上でプレート傾斜角度算出ユニット１０が行う処理を実現することができる。なお、図２０に示すような、各処理手順を定めたコンピュータプログラムは、記録媒体に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。

上述の実施の形態では、文字候補領域を特定し、お互いに近傍にある２つの文字候補領域を１つの組として抽出し、画像上で右から左に向かって順番に組を抽出して番号候補領域を特定する構成であったが、これに限定されるものではなく、画像上で左から右に向かって順番に組を抽出して番号候補領域を特定するようにしてもよい。

開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ プレート傾斜角度算出ユニット
１１ 制御部
１２ インタフェース部
１３ 文字候補領域特定部
１４ 組抽出部
１５ 番号候補領域特定部
１６ 記憶部
１７ 選定部
１８ プレート傾斜角度算出部
２０ 画像補正部
３０ 車番検出部

Claims (12)

1. ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定する文字候補領域特定部と、
   該文字候補領域特定部で特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出する組抽出部と、
   該組抽出部で抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定する番号候補領域特定部と、
   該番号候補領域特定部で特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出する算出部と
   を備えるナンバープレート傾斜角度算出装置。
2. 前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第１組を特定する第１組特定部と、
   前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が、前記第１組特定部で特定した第１組の横方向他側にある文字候補領域の文字の種別と一致する第２組を特定する第２組特定部と
   を備え、
   前記番号候補領域特定部は、
   前記第１組及び第２組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第１組及び第２組それぞれの文字候補領域を含む番号候補領域を特定するようにしてある請求項１に記載のナンバープレート傾斜角度算出装置。
3. 前記第２組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第３組を特定する第３組特定部を備え、
   前記番号候補領域特定部は、
   前記第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第３組の文字候補領域をさらに含む番号候補領域を特定するようにしてある請求項２に記載のナンバープレート傾斜角度算出装置。
4. 前記第２組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字以外である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字以外である第３組を特定する第３組特定部を備え、
   前記番号候補領域特定部は、
   前記第２組及び第３組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第３組の文字候補領域をさらに含む番号候補領域を特定するようにしてある請求項２に記載のナンバープレート傾斜角度算出装置。
5. 前記番号候補領域特定部は、
   前記第３組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字以外である場合、前記第１組、第２組及び第３組の文字候補領域を番号候補領域として特定するようにしてある請求項４に記載のナンバープレート傾斜角度算出装置。
6. 前記第３組の前記画像上で横方向他側にある文字候補領域の文字の種別が数字である場合、前記組抽出部で抽出した組のうち、前記画像上で横方向一側にある文字候補領域の文字の種別が数字である第４組を特定する第４組特定部を備え、
   前記番号候補領域特定部は、
   前記第３組及び第４組それぞれの２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある場合、前記第４組の文字候補領域をさらに含む番号候補領域を特定するようにしてある請求項４に記載のナンバープレート傾斜角度算出装置。
7. 前記番号候補領域特定部で特定した番号候補領域が複数ある場合、該番号候補領域内の文字候補領域間の距離に基づいて、一の番号候補領域を選定する選定部を備え、
   前記算出部は、
   前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある請求項１から請求項６までのいずれか１項に記載のナンバープレート傾斜角度算出装置。
8. 前記番号候補領域特定部で特定した番号候補領域が複数ある場合、該番号候補領域内の文字候補領域の文字の種別が数字であるときの該文字が最も多い一の番号候補領域を選定する選定部を備え、
   前記算出部は、
   前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある請求項１から請求項６までのいずれか１項に記載のナンバープレート傾斜角度算出装置。
9. 前記番号候補領域特定部で特定した番号候補領域が複数ある場合、前記画像上の位置が最下方にある一の番号候補領域を選定する選定部を備え、
   前記算出部は、
   前記選定部で選定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するようにしてある請求項１から請求項６までのいずれか１項に記載のナンバープレート傾斜角度算出装置。
10. 請求項１に記載のナンバープレート傾斜角度算出装置と、
    該ナンバープレート傾斜角度算出装置で算出した傾斜角度を用いて、ナンバープレートが撮像された画像を回転処理する画像処理部と、
    該画像処理部で回転処理した画像を用いて前記ナンバープレートの車番を検出する検出部と
    を備える車番検出装置。
11. コンピュータに、
    ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定するステップと、
    特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出するステップと、
    抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定するステップと、
    特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するステップと
    を実行させるコンピュータプログラム。
12. ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定するステップと、
    特定した複数の文字候補領域の中から、近傍にある２つの文字候補領域の組を複数抽出するステップと、
    抽出した組の２つの文字候補領域を繋ぐ仮想線分の前記画像上の傾きが所定範囲にある複数の組それぞれの文字候補領域を含む番号候補領域を特定するステップと、
    特定した番号候補領域内の文字候補領域の位置に基づいて、前記ナンバープレートの傾斜角度を算出するステップと
    を含むナンバープレート傾斜角度算出方法。

Images