JP2004280713A

JP2004280713A - 車番認識装置

Info

Publication number: JP2004280713A
Application number: JP2003074390A
Authority: JP
Inventors: Tadaaki Kitamura; 忠明北村; Yoshiyuki Sato; 良幸佐藤; Shuji Omori; 修治大森; Yoko Naoi; 容子直井; Ryusuke Kawatani; 隆介川谷
Original assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Current assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Priority date: 2003-03-18
Filing date: 2003-03-18
Publication date: 2004-10-07
Anticipated expiration: 2023-03-18
Also published as: JP4224328B2

Abstract

【課題】１台のテレビカメラで広い範囲の認識が可能な車番認識装置を提供すること。
【解決手段】３ｍｍ／画素程度の比較的低い分解能で撮影した画像から処理１５〜処理１７で一連番号を切り出した後、処理３０で、その番号の位置座標から撮影している視野サイズを算出し、処理３２で、そのサイズが２ｍｍ／画素程度の比較的高い分解能になるようにプレート領域の入力画像を拡大処理し、処理３３で、その画像から一連番号を再度切り出し、この後、処理１８〜処理２１で、切り出した番号の座標から各種コード（陸運支局コード、車種コード、用途コード）の位置を決定し、文字認識して車番を認識する。
【効果】プレート部分を切り出し、その画像を所定のサイズに拡大処理することで、全ての文字の領域座標を正確に決定でき、結果的に３ｍｍ／画素程度の分解能まで視野幅を広げることができる。このため、低価格のカメラで道路を広く監視することが可能となる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、道路などに適用されるテレビジョンカメラを用いた監視システムに係り、特に、自動車のナンバープレートを撮影して文字を読み取る車番認識装置に関する。
【０００２】
【従来の技術】
近年、道路交通状況の把握や統計的な管理などのため、テレビカメラ（テレビジョンカメラ）を用いて自動車の車番を認識するシステムが普及しているが、このシステムは、道路上にテレビカメラを設置し、通過する車両のナンバープレートを撮影し、文字認識により番号などを自動認識するものである。
【０００３】
従って、このシステムの場合、テレビカメラによる画像の読取りに或る程度、高い分解能が必要で、このため通常のＮＴＳＣ方式のテレビカメラを使用したのでは、視野の幅が１０００ｍｍ程度しか確保できない。
【０００４】
従って、道路幅全体を監視するためには、専用の高精細テレビカメラを用いるのが一般的であるが、この場合にはテレビカメラが高価になり、画像処理のための信号入力系が特殊仕様になる上、処理対象となる画素数が膨大になるため、極めて高速の画像処理プロセッサを要してしまう。
【０００５】
ここで、従来技術でも、１台のテレビカメラを用いて車番を認識する装置が提案されている（例えば特許文献１参照。）。
【０００６】
そこで、以下、この従来技術について説明する。ここで、まず、図７は、を示したもので、この例では、テレビカメラ４０と、これから出力されるアナログ映像信号をディジタル信号に変換するＡ／Ｄ変換器４１、ディジタル映像信号を記録するための画像メモリ４７３２、画像処理プロセッサ４３、種々の演算を実行し各種のハードウエアを制御するＣＰＵ４４を備えている。
【０００７】
ここで、テレビカメラ４０は一般的なＮＴＳＣ方式のもので、これに対応して画像メモリ４２は通常のテレビカメラの映像や処理過程での映像などが格納可能なものであり、この場合、画素数５１２×５１２程度の記憶容量をもつメモリが複数個設けてある。
【０００８】
また、画像処理プロセッサ４３は、画像の局所最大値フィルタ処理と局所最小値フィルタ処理、画素毎の差分処理、平滑化処理、微分処理、２値化処理、２値化画像の膨張処理、ラベリング処理、ヒストグラム処理など一般的な画像処理に必要な機能を果たすものである。
【０００９】
そして、この従来技術では、車番認識処理を、まず画像からプレートを切り出し、次いで最大４桁の一連番号を切り出し、これに続いて、各種コード領域（地名の陸運支局コード、車種コード、用途コードなどの領域）を切り出した後、各文字を認識するという一連の流れにより実行するようになっていて、このときの各種コード領域の算出は、一連番号の大きさと、それらの位置から得るようにしている。
【００１０】
そこで、このときの一連の流れによる処理について、図８により簡単に説明すると、この処理は、入力された画像からプレートを領域を抽出するプレート抽出部１とプレート内の一連番号を抽出する一連番号抽出部２、抽出された一連番号の座標から陸運支局コード、車種コード、用途コードの各座標位置を算出する各コード領域座標算出部３、各コードを認識する文字認識処理部４の各部により実行される。
【００１１】
そして、この結果、文字認識処理部４では、各コード領域毎にどのような文字が存在しているかが予め判るため、文字認識部５と陸運支局コード（地名）認識部６、それに用途コード（ひらがな）認識部７に分かれている。
【００１２】
そこで、次に、この従来技術によるプレート認識処理について説明するのであるが、ここで、まず、自動車のナンバープレートについて説明すると、図９は日本（日本国）におけるナンバープレートの形状を示したもので、これは、最大４桁の一連番号１１と地名の陸運支局コード１２、車種コード１３、それに用途コード１４で構成されている。
【００１３】
このとき、日本のプレートには、図９の（ａ）、（ｂ）に示すように、中型と大型の２種があり、中型の一連番号１１のサイズは４０×８０ｍｍ、大型の一連番号のサイズは６０×１２０ｍｍと定められているが、陸運支局コード１２と車種コード１３、それに用途コード１４は、大型、中型共に高さが４０ｍｍサイズで、従って、一連番号の高さはその他コードの２倍以上の大きさになっている。
【００１４】
そして、ナンバープレート認識手順は、図８に示したように、プレート切り出し、一連番号抽出、各コード領域座標算出、各コード領域の文字認識の手順となる。そこで、以下、このナンバープレート認識手順について、図１０の処理フローにより順次説明する。
【００１５】
このとき、予め撮影視野サイズ（又は分解能）についてはパラメータとして与えてあり、且つ、プレートサイズ、文字サイズなどに対するしきい値（以下、閾値と記す）についても予め記憶してあるものとする。
【００１６】
（１）画像入力（図示せず）
テレビカメラ４０で撮像した画像を画像メモリ３２に取り込む。ここではテレビカメラ４０としてＮＴＳＣ方式のカメラを使用した場合を想定し、横５１２画素、縦２４０画素で画像を取り込むものとして説明する。
【００１７】
（２）プレート切り出し（図１０の処理１５）
取り込んだ画像の何処にプレートがあるかは、このときの自動車の走行位置、プレートの取付け位置によって変動する。そこで、入力画像からプレートの位置を認識する必要がある。このための方式には色々あるが、ここではエッジの強い領域を抽出し、それを整形処理してプレートを検出する方式を採用している。
【００１８】
このため、抽出に使用する閾値には、プレート幅の最小と最大、高さの最小と最大などあるが、詳しい説明は省略する。
【００１９】
（３）一連番号の抽出（図１０の処理１６）
プレート領域について一連番号を２値画像として抽出する。このときの２値化方式にも色々あるが、ここでは詳細な説明は省略する。そして、２値画像から指定範囲（予め設定してある視野サイズ、或いは分解能で決まる一連番号のサイズの範囲）の大きさの物体を抽出し、その中で一列に並んだ物体だけを一連番号候補として抽出する。
【００２０】
この一連番号の抽出時に、各文字の領域座標（Ｘ始点、Ｘ終点、Ｙ始点、Ｙ終点）を求め、その値から各文字の中心Ｘ、Ｙ座標、文字高さ、幅などを求めておく。
【００２１】
（４）プレートサイズの判定（図１０の処理１７）
各コードの位置座標は、図９に示したように、大型プレートと中型プレートで異なる。そこで抽出した一連番号の座標位置からの相対距離も異なるので、プレートサイズを判定する必要がある。
【００２２】
このときの具体的な処理は、一連番号の文字の平均高さを用い、文字の高さが所定値（予め設定した視野サイズで決まる閾値）以上の場合は、大型プレートであると判断する処理となる。
【００２３】
（５）Ｘ方向とＹ方向の分解能算出（図１０の処理１８）
画像取り込み時の位置やプレートの下向き角度の変化によって一連番号の大きさ（画素数）が異なるので、抽出した一連番号の画素数から縦、横の分解能を算出する必要がある。
【００２４】
このとき、中型プレートの場合は文字幅が４０ｍｍであるので、Ｘ方向分解能は４０ｍｍ／文字幅（画素数）となる。他方、垂直方向の分解能は、中型プレートの場合、文字の高さは８０ｍｍであるので、Ｙ方向分解能は８０ｍｍ／文字高さ（画素数）となる。
【００２５】
また、大型の場合は、同様に幅６０ｍｍ、高さ１２０ｍｍの値を使ってＸ、Ｙ方向の分解能を算出する。なお、水平方向の分解能は、上記のように文字幅でなく、４桁文字の場合は１文字目と４文字目の間隔、３桁文字の場合は、３桁の間隔から分解能を算出する方が誤差は少ない。
【００２６】
１桁の場合は文字の幅で算出するが、このとき数字「１」は幅が違うので、ドットとの間隔から算出するか、文字高さから推定するなどの工夫が必要であり、従って誤差が少なくないが、やむを得ない。
【００２７】
（６）各コード領域の座標算出（図１０の処理１９）
各コードの位置座標は、図９で説明したように大型プレートと中型プレートで異なるため、前記の処理１８で算出したＸ方向、Ｙ方向の分解能を用いて各コード領域の座標を算出する。例えば車種コード領域は、一連番号の１５ｍｍ上から４０ｍｍの高さの範囲なので、１５ｍｍと５５ｍｍをＹ方向分解能（ｍｍ／画素）で除算することにより画素位置を算出する。
【００２８】
また、一連番号の左から１桁目の中心座標から用途コードの中心座標までの距離は、中型プレートの場合、５５ｍｍ離れで４０ｍｍ幅なので、用途コードの水平範囲は、３５ｍｍ〜７５ｍｍの範囲の画素位置から求める。
【００２９】
また、大型プレートの場合は、８７．５ｍｍ離れの４０ｍｍ幅なので、６７．５〜１０７．５ｍｍの範囲に相当する画素位置から求める。
【００３０】
このような処理を、図１１に示すように、全てのコード領域について実行し、陸運支局コード２２と車種コード２３、それに用途コード２４の座標をそれぞれ算出する。なお、誤差、位置ずれ、プレート曲がりなどを考慮し、各コード領域の座標としては、実際の寸法よりも広めの領域に設定する。
【００３１】
（７）文字領域抽出（図１０の処理２０）
このときのコード領域は、上記したように、誤差などを考慮して、やや広めの領域になっている。このため、文字認識すべき実際の領域を、濃度の投影分布を用いて決定する。
【００３２】
この処理は、図４に示すように、入力画像に対してコード領域座標２５を設定し、その範囲の垂直方向（ｘ軸投影分布）と水平方向（ｙ軸投影分布）に、それぞれ濃度の累積投影分布を求め、この頻度が所定の閾値を越えた座標を各方向毎に求め、認識する範囲の文字領域２６の座標を求めるのである。
【００３３】
（８）文字認識（図１０の処理２１）
ここでは、上記したようにして求めた各コードの文字領域を、例えばニューラルネットワークを用いて認識する。このとき、ナンバープレートの文字は、一般の文字認識に比べカテゴリが少ない。従って、比較的低い分解能でも認識可能であり、例えば、用途コード１４はひらがなで、且つ４０ｍｍ×４０ｍｍの大きさであるから、１０×１０画素程度でも認識することができる。
【００３４】
このようにして、領域が決定できれば、４ｍｍ／画素程度でも認識でき、１台のテレビカメラ４０で車番認識することができる。なお、このときの文字認識方式には、他にも色々な方式が有るが、ここでは割愛する。
【００３５】
【特許文献１】
特開平６−２１５２９３号公報
【００３６】
【発明が解決しようとする課題】
一般的に車番認識装置における文字認識は、２ｍｍ／画素の分解能が必要とされている。従って、これからすれば、ひらがなの場合、４０ｍｍ×４０ｍｍなので、少なくとも２０×２０画素程度が必要なことになる。
【００３７】
但し、文字領域を切り出した後の文字認識そのものについては、３〜４ｍｍ／画素程度、つまり、ひらがなの場合、４０ｍｍ×４０ｍｍなので１０×１０〜１３×１３画素程度でも問題ないことが経験的に知られている。
【００３８】
しかしながら、このような３〜４ｍｍ／画素程度の低い分解能では、文字領域を切り出すのが難しく、結果的に文字認識ができなくなってしまう。
【００３９】
このため、２ｍｍ／画素の分解能で撮影した場合、例えば１０００×５００画素程度の高精細カメラを使用した場合でも、水平２ｍの視野サイズが精一杯であり、ＮＴＳＣ方式のカメラでは、６４０×２４０画素程度なので、たかだか水平１ｍ程度しか視野を確保できない。
【００４０】
しかも実際の道路幅は、少なくとも３ｍ程度はあるので、１ｍの監視範囲では見逃しが多く、従って、従来技術では、やはり複数のＮＴＳＣカメラを設置するか、高価な高精細カメラを用いる必要があった。
【００４１】
ここで上記した文字の切り出しは、一連番号の座標、サイズから算出した各コード領域までの相対位置を計算して決定している。そこで、例えば一連番号の上方向に１４．８画素〜２０．４画素のところに有ると計算された場合でも、画像のデータは整数値しか扱わないため、結果的には１４〜２０画素の範囲になってしまい、分解能が荒くなればなるほど領域がずれる可能性が大になる。
【００４２】
また、各コードの詳細領域を濃度の投影分布で求める場合でも、投影分布の始点、終点座標決定のための閾値を実数に設定することが望ましいが、しかし、整数値しか扱えないため誤差が生じ、従って、従来技術では、結果的に領域座標にずれが生じて誤認識となっていた。
【００４３】
本発明は、上記した従来技術の問題点に鑑みてなされたもので、その目的は、１台のテレビカメラで広い範囲の認識が可能な車番認識装置を提供することにある。
【００４４】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ナンバープレートでは一連番号のサイズが、地名（陸運支局コード）や車種コード、用途コードなど他のコードのサイズとは異なることに着目してなされたもので、このため、３〜４ｍｍ／画素程度の分解能で撮影した映像から、比較的大きい文字サイズの一連番号を切り出し、そのときの分解能（或いは視野サイズ）を算出し、所定分解能（或いは視野サイズ）よりも大きい場合（プレートが所定サイズより小さい場合）は、ナンバープレートの領域全体を所定サイズ（例えば２ｍｍ／画素の分解能）に拡大処理し、その画像を用いて車種コード、陸運支局コード、用途コードの領域を切り出し、認識するようにしたものである。
【００４５】
上記したように、２ｍｍ／画素の分解能であれば、通常のプレートはほぼ１００％の認識が得られるので、このような手法により、安価なテレビカメラにより広い視野が監視でき、車番を認識することができるようになる。
【００４６】
例えばＮＴＳＣ方式のカメラの場合、従来は１ｍ程度の視野しか監視できなかったが、本発明によれば、例えば１．５ｍ程度の視野も監視でき、高精細カメラの場合なら、車線幅全体（３ｍ程度）を監視することが可能となり、安価な構成で走行する車両の見逃しを大幅に低減することができる。
【００４７】
【発明の実施の形態】
以下、本発明による車番認識装置について、図示の実施の形態により詳細に説明すると、ここで、図１が本発明の一実施形態によるナンバープレート認識手順で、その他、この手順の実行のためのハードウエア構成は、図７で説明した従来技術と同じである。
【００４８】
また、この本発明の一実施形態でも、その車番認識処理は、図８で説明した従来技術と同じで、入力された画像からプレートを領域を抽出するプレート抽出部１とプレート内の一連番号を抽出する一連番号抽出部２、抽出された一連番号の座標から陸運支局コード、車種コード、用途コードの各座標位置を算出する各コード領域座標算出部３、各コードを認識する文字認識処理部４の各部により実行されるようになっている。
【００４９】
従って、この実施形態では、図１から明らかなように、図１０で説明した従来技術におけるナンバープレート認識手順において、視野が広い場合は、以下の処理が追加されるようになっている。
【００５０】
上記したように、ナンバープレートでは、一連番号の文字サイズが、陸運支局コードや車種コードに比べて大きく、このため、視野を多少広げても文字の潰れなどは発生しにくい。
【００５１】
そこで、本発明では、一連番号を切り出した後で現状の分解能を算出し、その分解能が所定の値（例えば２ｍｍ／画素）になるように、プレート全体の領域を拡大処理し、再度その画像について一連番号切り出し、各種コード領域の領域設定を実行するようにした。
【００５２】
このようにすることで、あたかも２ｍｍ／画素の分解能で撮影した映像と同等の分解能で撮影した映像と同じような領域決定が可能になり、低い分解能でも認識することができ、１台のテレビカメラで済ませるようになるのである。
【００５３】
以下、図１のフローチャートにより、本発明の実施形態について詳細に説明する。なお、この図１において、図１０と同じ番号の処理については、従来技術と同じ処理なので、説明は省略し、処理１７と処理１８の間に付加されている処理３０〜処理３４についてだけ説明する。
【００５４】
▲１▼ 視野サイズの算出（図１の処理３０）
図１０で説明した従来技術と同じく、処理１５から処理１７までが終了して、広い視野で抽出した一連番号の各文字の中心Ｘ座標を求め、この間隔から水平方向（ｘ方向）の視野サイズを算出する。このときの視野サイズは、予め設定してある視野サイズのパラメータとは微妙に異なる。これは、プレートの取り込み位置が遠いほど計算上の視野が大きく、近い位置で取り込むと、視野幅は小さくなるためである。
【００５５】
このため、切り出した一連番号の座標を用いて視野サイズを計算するのであるが、ここで、プレートサイズによって文字間隔が異なるので、プレート種別が中型の場合は、一連番号の１桁目と４桁目の距離が、図９（ａ）に示されているように１９５ｍｍなので、画像メモリの画素数を５１２画素、抽出した一連番号の１桁目と４桁目の画素数をＰ_１−４とすると、このときの視野サイズＳ_Ｍは、次の式１により算出される。
【００５６】
視野サイズＳ_Ｍ＝５１２×（１９５／Ｐ_１−４）…… ……（式１）
【００５７】
また、大型プレートの場合と判断した場合は、１桁目と４桁目の距離が、図９（ｂ）に示されているように２７２．５ｍｍであるので、このときの視野サイズＳ_Ｌは、次の式２で算出される。
【００５８】
視野サイズＳ_Ｌ＝５１２×（２７２．５／Ｐ_１−４）…………（式２）
【００５９】
なお、ここでは、一例として、幅の基準を１桁目と４桁目の位置で求めるようにしたが、基準の幅については他の方式でもよく、何れの例でも本発明の主旨から外れることはない。
【００６０】
また、ここでは、視野サイズを算出しているが、分解能に画像メモリの水平画素数を乗じた値が視野サイズになるので、分解能を算出しても同様に処理できる（同意である）。
【００６１】
そこで、中型のナンバープレートの場合の分解能Ａ_Ｍを式３に示し、大型の場合の分解能Ａ_Ｌを式４に示す。
【００６２】
中型の分解能Ａ_Ｍ＝１９５／Ｐ_１−４…… ……（式３）
大型の分解能Ａ_Ｌ＝２７２．５／Ｐ_１−４…… ……（式４）
【００６３】
（Ｂ）視野サイズの判定（図１の処理３１）
この処理では、視野サイズが所定値以上か否かを判定する。このときテレビカメラ４０がＮＴＳＣ方式の場合は、例えば１．２ｍ以上か否かを判定する。そして、視野サイズが所定値以下の場合は、ここから処理１８に移行し、従って、このときは従来技術の場合と同じ処理入力なる。
【００６４】
なお、視野サイズではなく、分解能で判定した場合は、分解能が２ｍｍ／画素より大きいか否かを判定すればよい。
【００６５】
（Ｃ）プレート領域の拡大処理（図１の処理３２）
処理３１で求めた視野サイズが所定値以上の場合は、プレートが小さく写っているため、プレート領域について拡大処理を実行する。このとき、処理の高速化のため、図２に示すように、プレート領域３５の入力画像だけを切り出して所定の分解能のサイズに拡大する。
【００６６】
例えば、２ｍｍ／画素に統一する場合なら、標準の視野サイズは５１２画素×２ｍｍ／画素＝１０２４ｍｍとなるので、一連番号から算出した視野サイズを１０２４で除算しただけ拡大処理するのである。
【００６７】
このとき厳密に言えば、Ｘ方向とＹ方向では拡大倍率を変える必要があるが、ここではＸ方向の倍率と同じだけＹ方向も拡大している。
【００６８】
ここで、画像の拡大処理には、最近傍補間による方法や、４点線形補間（バイリニア法）、１６点補間（バイキュービック法）などの方法があるが、処理の高速性と画質から勘案すると、４点線形補間で十分な結果が得られる。
【００６９】
なお、このときは一連番号が抽出されているので、拡大領域は一連番号から定まるプレート領域サイズを算出し、この領域だけを拡大することで高速化することが可能である。
【００７０】
（Ｄ）拡大画像からの一連番号再抽出（図１の処理３３）
次に、拡大した画像から再度、一連番号を抽出する。そして、この抽出した画像から、従来技術と同様にして一連番号の座標を算出する。このとき、各コード領域の座標は、この一連番号の座標から相対位置を決めている。従って、この一連番号の座標は、できるだけ正確に算出する必要がある。
【００７１】
ここで、再度一連番号を切り出している理由は、文字が小さく写っているときの２値画像よりも大きく写っているときの２値画像の方が、文字サイズや位置が正しく求まるからである。
【００７２】
（Ｅ）プレートサイズの判定（図１の処理３４）
ここでは、一連番号の文字の平均高さを用い、文字の高さが所定値以上の場合は、大型プレートであると判断する。このときの判定に使用する閾値は、最初のプレートサイズ判定（図１、つまり図１０の処理１７）のときとは異なり、拡大したときの分解能に応じた文字サイズを算出しておき、その閾値を用いることになる。
【００７３】
ここで、図１の処理３３では、２ｍｍ／画素に統一しているので、視野幅が１０２４ｍｍになり、この視野幅で撮影したときの文字サイズ、すなわち、最初の視野サイズが１５００ｍｍとすると、中型、大型の一連番号の高さは平均１００ｍｍであるので、そのサイズに相当する閾値を設定しておく。
【００７４】
そして、拡大後の視野サイズが１０００ｍｍとすると、閾値として、３／２程度、大きくなった値を用いてプレートサイズを判定することになる。
【００７５】
なお、このプレートサイズ判定は、視野が広いときの判定結果（処理１７）をそのまま流用しても、判定が誤る虞れは少ないが、念のため、ここで判定し直しているのである。
【００７６】
以上の処理を経たら、従来技術と同じく、分解能算出処理１８、各コード領域抽出処理１９、文字抽出処理２０、文字認識処理２１を実行して、車番認識することになる。
【００７７】
このように、本発明の実施形態では、広い撮影視野の映像から一連番号を切り出し、一連番号の座標から視野サイズ（或いは分解能）を算出し、この視野サイズによってプレート領域を所定の分解能に相当するように拡大処理し、その画像から再度一連番号を抽出し、一連番号の座標から再び分解能を計算し、各コード領域の位置を一連番号からの相対距離により求め、文字認識している。
【００７８】
この結果、上記実施形態によれば、各コードの文字が小さくても文字領域の位置決めが正しく実行でき、その結果、文字抽出、文字認識が正しく実行でき、誤認識を防止することができる。
【００７９】
そして、このような処理により、上記実施形態では、高価な高精テレビカメラを用いずに、一般的なＮＴＳＣ方式の安価なテレビカメラでも視野幅を大きくすることができ、道路を走行する車両のナンバーを見逃してしまう確率を大幅に低下させることができる。
【００８０】
なお、視野サイズがあまりにも大きい場合は、一連番号がつぶれてしまうので抽出ができなくなり、結果的に全ての文字認識が困難になってしまう。従って、視野サイズは、一連番号が正しく切り出せる分解能（３ｍｍ／画素程度）が保持できる範囲で設定する必要がある。
【００８１】
ところで、以上の実施形態による処理は、一連番号の文字ピッチから視野サイズや分解能を算出し、これを所定の値となるように拡大処理している。しかし、固定カメラの場合は、視野サイズが固定されることが多い。
【００８２】
従って、本発明でも、固定したテレビカメラを用いた場合は、一連番号を抽出して視野サイズを算出する代わりに、予め所定の分解能になるようにプレート領域を固定の倍率で拡大処理し、その画像から一連番号抽出処理以降の処理を行うようにして実施しても良い。
【００８３】
図３は、このようにした場合の本発明の一実施形態を示すフローチャートであるが、ここでも、図１と図１０のフローチャートと同じ番号は、同じ処理であるので説明は省略する。
【００８４】
処理１５でプレートを切り出すと、プレート領域が図２の３５で示すようにして求まる。そこで、いま、視野サイズが例えば３０００ｍｍで、画素数が１０００画素であるとすると、この場合は３ｍｍ／画素なので、プレート領域３５を２ｍｍ／画素に拡大する（図３の処理３６）。
【００８５】
このように、常にプレート領域を固定の倍率で拡大するようにしても、図１で説明した実施形態と同様な効果を得ることができる。
【００８６】
但し、ここでプレートの候補が多い場合は、各領域ごとに拡大処理が発生するため、処理時間が多くなってしまう。そごで、種々の視野サイズに対応する必要がある場合は、図１の実施形態のように、視野サイズ（或いは分解能）を計算し、その値に基づいて拡大するのが望ましい。
【００８７】
ところで、上記実施形態における処理で、認識可能となる視野が広くなると、画面の右下と左上ではプレートサイズや文字サイズが大きく異なってくる。特に道路脇から斜めに車線を撮影するような場合は差が更に大きくなる。
【００８８】
上記実施形態におけるプレート検出処理には、プレートの最小最大高さと最小最大幅が閾値として設定してあり、また、一連番号抽出処理のためにも、最小文字高さと最大文字高さなどを設定し、その範囲に入っている物体を切り出すようにしている。
【００８９】
このとき視野がそれほど広くない場合は、上記最小、最大の閾値を１種定義しておけばよいが、視野が広くなってくると１種の閾値では対応できなくなる。
【００９０】
また、プレートサイズ判定（中型、大型判定）処理も、文字の高さの閾値を１種の値にして判定しているが、テレビカメラの視野が大きくなると、これも１種の閾値では対応できなくなって、例えば画面右下が２０画素以上の一連番号の高さを大型プレート、未満を中型とし、左上は１５画素以上を大型にするなどの対応が必要になる。
【００９１】
このナンバープレート認識処理では、プレート検出、一連番号抽出、プレートサイズの判定を誤ると、その後の全ての処理が誤動作するため、これらに対する閾値の設定は極めて重要な事項となる。
【００９２】
ここで、図４は、道路脇にテレビカメラ４０を設置し、道路４１を側方から斜めに撮影する場合の座標系で、この場合、テレビカメラ４０を原点にして、左方向をＸ座標、奥行き方向をＹ座標としたとき、テレビカメラ４０から点Ｐ（Ｘ、Ｙ）までの距離Ｌは、次の式５で定まる。
【００９３】
距離Ｌ＝√（Ｘ^２＋Ｙ^２）…… ……（式５）
【００９４】
一方、“コンピュータビジョン（技術評論と将来展望）”：松山隆司ほか、新技術コミュニケーションズ発行の「第３章カメラキャリブレーション」に記載のように、世界座標（ワールド座標）と画像座標（画像メモリの座標）の関係は一意に定めることが可能である。
【００９５】
すなわち、図５に示すように、画像メモリの座標系ｘ、ｙと、ワールド座標Ｘ、Ｙは、Ｘ（ｘ、ｙ）、Ｙ（ｘ、ｙ）の関数として定義できる（予め画像メモリの座標とワールド座標を複数個の組で与えることが必要）。
【００９６】
そこで、以下、プレート検出の閾値、一連番号抽出の閾値値、プレートサイズ判定の閾値のそれぞれの算出手法について説明する。
【００９７】
▲１▼ プレート検出用閾値の算出
視野が広くなっても一連番号の切り出しを正確に実行できるようにするためには、各画像上の位置座標に対して、ナンバープレートの最小最大高さ、最小最大幅などを算出し、これを記憶しておけばよい。
【００９８】
そこで、まず、画像上の座標（ｘ、ｙ）からワールド座標Ｐ（Ｘ、Ｙ）を求めてみる。この場合、テレビカメラからの距離Ｌは上記の式５で算出できるので、図６に示すように、カメラ４０の取り付け高さをＨ、カメラ４０の縦視野角度をφ、大型プレートの高さをｈ、プレートの取り付け高さをｈ０とすると、距離Ｌ１の位置にある座標までのカメラの角度θ１は、次の式６で算出でき、プレート高さｈの場合のプレートの上端までの角度θ２は、次の式７で算出できる。
【００９９】
角度θ１＝ｔａｎ^−１（（Ｈ−ｈ０）／Ｌ１）…… ……（式６）
角度θ２＝ｔａｎ^−１（（Ｈ−ｈ０）／Ｌ２）…… ……（式７）
【０１００】
このようにして角度θ１、θ２が算出できたら、プレートの最大高さの閾値に用いる画素数ＰＮは、次の式８で算出することができる。ここでＰｙは、画像メモリの縦方向の画素数である。
【０１０１】
画素数ＰＮ＝（θ１、θ２）／（φ／Ｐｙ）…………（式８）
【０１０２】
また、最小高さの閾値は、中型プレート高さｈを式６に代入することにより、同じく式８で求めることができる。但し、この最小高さの閾値は、実際にはプレートの取り付け角度が変化し、多少大きさが変動するので、想定される取り付け角度分、閾値を広めに設定する。
【０１０３】
ところで、以上は、画素毎に閾値を算出するようにした場合の方式であるが、この場合、画像メモリのサイズ分、閾値を記憶するのは、実際にはメモリ容量の制限により困難な場合もある。
【０１０４】
そこで、この場合は、各画素位置の閾値を算出した後、画像メモリをｎ×ｍ分割し、その範囲の平均値をブロック毎に求め、これを閾値として記憶するようにすればよい。
【０１０５】
このように、少なくともプレート検出の閾値は、画像上のどこに撮影されているか分からないため、各位置の閾値を予め計算し、記憶しておく必要がある。
【０１０６】
また、プレートの候補を抽出したときに求まる画像メモリの座標系ｘ、ｙの中心座標を用い、その都度、閾値を算出し、候補物体が所定の閾値の範囲か否かを判定することも可能である。
【０１０７】
▲２▼ 一連番号抽出用閾値の算出
一連番号抽出処理は、既にプレート切り出し処理によって、プレートのどこの位置が撮影されているか分かっているので、抽出したプレートの座標位置を用いて、一連番号の抽出閾値をその都度算出すればよい。
【０１０８】
そこで、いまねナンバープレートを切り出したときに得られる画像上のプレート中心ｘ座標及び下端座標（ｘ、ｙ）からワールド座標Ｐ（Ｘ、Ｙ）を求めると、カメラからの距離Ｌが上記の式５で算出できる。
【０１０９】
そして、この距離Ｌが算出できれば、前述と同じように、テレビカメラ４０の取り付け高さＨ、その縦視野角度φ、大型プレートの一連番号の高さｈ、プレートの取り付け高さｈ０（車両によって変化するので経験的な数値を代入）とすると、距離Ｌ１の位置にあるプレート下端座標までのカメラの角度θ１は、上記の式６で算出できる。
【０１１０】
一方、高さｈの文字の場合の一連番号の上端までの角度θ２は、次の式９により算出できる。
【０１１１】
角度θ２＝ｔａｎ^−１（（Ｈ−ｈ０−ｈ）／Ｌ１）…………（式９）
【０１１２】
このようにして、角度θ１、θ２が算出されたら、一連番号の最大高さの閾値に用いる画素数は、上記の式８により算出することができる。同様に中型プレートの文字高さを用いて最小閾値を算出する。このとき、実際にはプレートの取り付け角度が変化し、多少大きさが変動するので、これもプレート検出用閾値のときと同様、想定される取り付け角度分、閾値を広めに設定する。
【０１１３】
なお、図１（又は図３、図１０）の処理１６による一連番号抽出は、上記の手法で判定し、図１の処理３３による拡大画像からの一連番号抽出は、元の閾値を画像拡大のスケール分補正するだけでよい。
【０１１４】
▲３▼ プレートサイズ判定用閾値の算出
ここでプレートサイズは大型、中型プレートの一連番号の高さの平均値が閾値となる。そこで、一連番号を切り出したときに得られる画像上の下端座標（ｘ、ｙ）からワールド座標Ｐ（Ｘ、Ｙ）を求めると、カメラからの距離Ｌは式５で算出できる。
【０１１５】
そして、この距離Ｌが算出できれば、前述と同じように、テレビカメラ４０の取り付け高さＨ、カメラ４０の縦視野角度φ、大型プレートと中型プレートの一連番号の高さの平均をｈ（中型と大型の平均高さなら１００ｍｍ）、プレートの取り付け高さｈ０として、距離Ｌ１の位置にある一連番号の下端座標までのカメラの角度θ１は上記の式６で算出でき、また、高さｈの文字の場合の一連番号の上端までの角度θ２は上記の式７、又は上記の式９で算出できる。
【０１１６】
ここで、上記式７の場合、一連番号の上端の画像メモリ座標（ｘ２、ｙ２）からワールド座標Ｘ２、Ｙ２を算出し、これから距離Ｌ２を求めることになる。
【０１１７】
このようにして、角度θ１、θ２が算出できると、プレート判定の閾値に用いる画素数は上記の式８で算出することができる。
【０１１８】
ところで、これらの処理は、一連番号それぞれで実行するのが望ましいが、処理時間の短縮のために、一連番号全体の平均ｘ、ｙ座標を用いて判定閾値を算出するようにしても構わない。何故なら、一連番号の右端と、左端の閾値はさほど変わらないからである。
【０１１９】
このときの画像メモリとワールド座標の対応関係を表わす式には、他にもいくつか考えられるが、何れにしても一連番号の座標から中型、大型プレートの判定閾値を求める方式は全て含まれる。
【０１２０】
なお、ここでも、図１の処理１７によるプレートサイズ判定は上記の手法で判定し、図１の処理３４による拡大画像から一連番号を切り出した後のプレート判定には、元の閾値を画像拡大のスケール分補正することでよい。
【０１２１】
以上のように、本発明の実施形態によれば、画像座標とワールド座標との関係から画面上の各種閾値を算出することで、プレート検出、一連番号抽出、プレートサイズ判定を視野が広くなっても正確に実行でき、結果的にプレートの文字認識精度を向上することができる。
【０１２２】
従って、上記実施形態によれば、従来２ｍｍ／画素程度の分解能で撮影して車番認識し、認識率を確保していたが、プレート部分を切り出し、その画像を所定のサイズに拡大処理することで、３ｍｍ／画素程度の分解能まで視野幅を広げることができ、結果的に低価格のテレビカメラで道路を広く監視することが可能になる。
【０１２３】
また、視野が広がった分、画面のどの部分で撮影されたかにより、プレートサイズ、一連番号のサイズが異なるが、上記実施形態では、プレートや、一連番号の画像メモリ座標から、プレート検出、一連番号抽出、プレートサイズ判定に用いる閾値を自動的に算出することで、各種切り出しを正確に実行でき、視野が広くなった場合でもプレートの文字認識精度を向上することができる。
【０１２４】
【発明の効果】
本発明によれば、１台のテレビカメラを用いただけで、広い範囲に渡って確実に車番の認識が可能な車番認識装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明に係る車番認識装置の一実施形態により実行される車番認識処理を説明するための流れ図である。
【図２】入力画像から切り出すプレート領域の説明図である。
【図３】本発明に係る車番認識装置の他の一実施形態により実行される車番認識処理を説明するための流れ図である。
【図４】テレビカメラと道路の位置関係を示す説明図である。
【図５】画像メモリの座標系とワールド座標系の関係を示す説明図である。
【図６】テレビカメラと車両の位置関係を横から見たときの説明図である。
【図７】車番認識装置のハードウエア構成の一例を示すブロック図である。
【図８】一連の流れによる車番認識処理の説明図である。
【図９】日本の自動車におけるナンバープレートの説明図である。
【図１０】従来技術の車番認識装置により実行される車番認識処理を説明するための流れ図である。
【図１１】ナンバープレートに各種コード領域を設定する処理の説明図である。
【図１２】各種コード領域の濃度分布から文字の領域を決定する処理の説明図である。
【符号の説明】
３０視野サイズ算出処理
３２プレート領域拡大処理
３３一連番号抽出処理
３４プレートサイズ判定処理

Claims

テレビカメラで撮像した画像を処理し、ナンバープレートの一連番号と該一連番号以外のコードの文字を認識する車番認識装置において、
前記一連番号以外のコードの文字認識に使用する画像の分解能を、前記ナンバープレートの一連番号の文字認識に使用する画像の分解能よりも高くしたことを特徴とする車番認識装置。
テレビカメラで撮像した画像を処理し、ナンバープレートの文字を認識する車番認識装置において、
前記画像からナンバープレート領域を切り出すプレート切り出し手段と、
前記切り出したナンバープレート領域から一連番号を抽出する第１の一連番号抽出手段と、
前記画像からプレート近傍の画像を所定のサイズの拡大画像にする画像拡大手段と、
前記拡大画像から一連番号を抽出する一連番号抽出手段と、
拡大画像から抽出した一連番号の位置座標から当該一連番号以外の文字領域座標を算出する領域算出手段とを設け、
これら一連番号の位置座標と当該一連番号以外の文字領域座標に基づいて、ナンバープレートの一連番号を含めた各文字を認識するように構成したことを特徴とする車番認識装置。
テレビカメラで撮像した画像を処理し、ナンバープレートの文字を認識する車番認識システムにおいて、
前記画像からナンバープレート領域を抽出するプレート抽出手段と、
抽出したナンバープレート領域からナンバープレートの一連番号を抽出する一連番号抽出手段と、
前記抽出した一連番号からプレートサイズを判定するプレートサイズ判定手段と、
前記抽出した一連番号から視野サイズを算出する視野サイズ算出手段と、
前記算出した視野サイズが所定値以上の場合に、プレート近傍の画像を所定のサイズの拡大画像にする画像拡大手段と、
前記拡大画像から前記一連番号抽出手段により抽出した一連番号から一連番号以外の文字領域座標を算出する領域算出手段とを設け、
これら一連番号の位置座標と当該一連番号以外の文字領域座標に基づいて、ナンバープレートの一連番号を含めた各文字を認識するように構成したことを特徴とする車番認識装置。
テレビカメラで撮像した画像を処理し、ナンバープレートの文字を認識する車番認識システムにおいて、
前記画像からナンバープレート領域を抽出するプレート抽出手段と、
前記抽出したナンバープレート領域からナンバープレートの一連番号を抽出する一連番号抽出手段と、
前記抽出した一連番号からプレートサイズを判定するプレートサイズ判定手段と、
前記抽出した一連番号から水平の画素分解能（寸法／画素）を算出する分解能算出手段と、
前記算出した分解能が所定値以上の場合に、プレート近傍の画像を所定の分解能の拡大画像にする画像拡大手段と、
前記拡大画像から前記一連番号抽出手段により一連番号を抽出し、抽出した一連番号から一連番号以外の文字領域座標を算出する領域算出手段と、
一連番号を含めた各文字を認識する文字認識手段とを有することを特徴とする車番認識装置。
テレビカメラで撮像した画像を処理し、ナンバープレートの文字を認識する車番認識システムにおいて、
前記画像からナンバープレート領域を抽出するプレート抽出手段と、
前記抽出したプレート領域を所定の倍率の拡大画像にする画像拡大手段と、
拡大画像からナンバープレートの一連番号を抽出する一連番号抽出手段と、
抽出した一連番号から該一連番号以外の文字領域座標を算出する領域算出手段と、
一連番号を含めた各文字を認識する文字認識手段とを有することを特徴とする車番認識装置。
請求項２に記載の発明から請求項５に記載の発明の何れかにおいて、
前記プレート抽出手段で用いられるしきい値を、予め各画像位置に対応する前記テレビカメラからの距離に基づいて自動的に算出する手段が設けられていることを特徴とする車番認識装置。
請求項３又は請求項４に記載の発明において、
前記一連番号抽出手段で用いられるしきい値と前記プレートサイズ判定手段で用いられるしきい値を、それぞれ前記プレート抽出手段で抽出したプレートの画像座標に対応する前記テレビカメラからの距離に基づいて自動的に算出する手段が設けられていることを特徴とする車番認識装置。
請求項３又は請求項４に記載の発明において、
前記プレートサイズ判定手段で用いられるしきい値を、前記一連番号抽出手段で抽出した一連番号の画像座標に対応する前記テレビカメラからの距離に基づいて自動的に算出する手段が設けられていることを特徴とする車番認識装置。