JP2001307017A - 文字プレート認識装置 - Google Patents

Abstract

(57)【要約】 【課題】カメラ画像データを用いて認識率を向上させた
安価な文字プレート認識装置を提供する。 【解決手段】文字プレートエリアを抽出し、さらに該エ
リアの４点座標を基として標準的な文字プレートへのマ
ッピングを行う。このとき、マッピング動作は同一の対
象物画像を、プレートエリアの上辺エッジ部分を走査す
るフィールドと走査しないフィールドに分割した形で複
数回取り込み、その文字プレート部分を重ね合わせるこ
とによりメモリマップ上の標準文字プレートメモリ（３
５）上に高精度の画像フレームデータを生成する。ま
た、プレートエリアの４点の計算および座標変換である
アフィン変換パラメータ（傾き補正角）を予め記録して
おき、以降の通常運用時に文字プレートエリアの傾き補
正処理のためのパラメータとすることができる。さら
に、複数の対象物映像を撮像し対象物の映像が遠景から
近景に移動する間の映像毎に映像内のエッジ部分の尖鋭
度を連続して測定することで、フォーカス制御を可能と
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文字プレート認識装
置に関し、特にカメラ画像データを用いて対象物の文字
プレートを認識する装置に関するものである。移動する
対象物の文字プレートの読み取り装置は、工場の製造ラ
インにおける商品ラベルの識別や倉庫のコンテナの品番
管理、交通網の監視など、幅広く利用されている。カメ
ラで撮影した画像をデジタル化し高速の演算処理が可能
なプロセッサを用いて画像処理を行う。昼間は通常のカ
メラ画像入力で、夜間には赤外線照射装置とカメラの組
み合わせによる撮像システムも多く用いられている。

【０００２】文字プレート認識は入力画像データの、
移動するエッジ等の特徴量の抽出から対象物が通過した
ことを判断する、対象物の前面領域から輝度成分の差
を元に文字プレートを切り出す、切り出したプレート
内に存在する文字パターンを辞書データと比較し文字プ
レートデータを決定する、という各技術を組み合わせて
行われる。

【０００３】最終的に出力する文字プレートの認識率を
上げるためには、画像ソースの解像度を上げ、対象とな
る画像の外的なノイズ要因（ピントずれや歪み等）を排
除する必要がある。

【０００４】

【従来の技術】上記のように認識率を向上させるために
必要な高い解像度とノイズのない撮像を得るために、従
来の文字プレート認識装置は対象物を正面から撮影する
環境が必要である。また、カメラもＮＴＳＣ出力ではな
く、高解像度の専用カメラを用いれば高価なものとな
る。そこで安価なシステムを提供するべく一般的なＮＴ
ＳＣカメラを対象物の脇に設置して認識を行う装置があ
る。

【０００５】この装置は、正面からの撮影条件や専用カ
メラが不要なので安価であるが、通常のカメラはインタ
レース（飛び越し走査）で高速移動する物体を撮影する
ため、奇数フィールド／偶数フィールドの画像に映った
物体がずれてしまい、両フィールドの足し合せができな
い。従って、いずれかのフィールドのみを認識ソースと
するため、垂直方向に関しては例えばＮＴＳＣの場合、
有効４８０ラインの半分（２４０ライン）の解像度にな
ってしまい高い認識率が期待できない。

【０００６】また、画像を斜めから撮影するので、その
まま傾いた文字と辞書パターンとのマッチングが行えず
文字認識する前に斜め補正処理が必要である。さらに、
補正角やフォーカスはカメラを設置する場所によって微
妙に異なるので従来は設置時に手によって補正角及びフ
ォーカスを設定する等の手間がかかっていた。

【０００７】通常運用時においても補正角やフォーカス
のずれ、夜間撮影用の赤外線照射装置の寿命による光量
不足は認識率低下を招く原因になるので適宜原因を検出
し補正をしたり、またはメンテナンスをするために外部
に対してアラームを通知する手段が必要であった。

【０００８】これらの従来技術を以下に具体的に説明す
る。従来の一般的な文字プレート認識装置の概略構成図
が図１１に示されており、カメラ１とＮＴＳＣデコーダ
２と認識エンジン３とで構成されている。認識エンジン
３は更に、傾き補正前のフィールドメモリ３１と、傾き
補正後のフィールドメモリ３２と、認識プログラム３３
と、文字ライブラリデータ３４とで構成されている。

【０００９】このような従来例の動作を図１２に示す処
理フローを参照して以下に説明する。まず、システム設
置時Ｔ１にカメラ１を設置した時（同図ステップＳ５
１）の補正角を計るためにサンプルの対象物静止画像を
フィールドメモリ３１に取り込み（同Ｓ５２）、さらに
図１３に示すようにＰＣ（パーソナルコンピュータ）４
に出力する（同Ｓ５３）。ＰＣ４では、ビットマップイ
メージ画像の内の文字プレートと思われるエリアの４点
Ｐ０〜Ｐ３をＰＣ４のペイントアプリケーション等によ
り人間の判断で指定し、これらの点Ｐ０〜Ｐ３の座標か
ら補正角を定め装置に設定する（同Ｓ５４）。

【００１０】次に、通常の運用時Ｔ２においては、カメ
ラ１で撮像したインタレース（通常１／６０秒に１フィ
ールド、１／３０秒：２フィールドで１フレーム）信号
がＮＴＳＣデコーダ２でデジタル輝度（Ｙ）信号と色差
（ＣｒＣｂ）信号に変換され、認識エンジン３のフィー
ルドメモリ３１に入力される（同Ｓ５５）。

【００１１】この時点でのデジタル画像の解像度は横６
４０ドット×縦２４０ラインである(横方向の解像度は
一例として６４０ドットを用いる）。片方のフィールド
であるため、実際の画像に比べて縦につぶされた画像に
なっている。通常、認識エンジン３は高速演算が可能な
ＤＳＰで実現される。フィールドメモリ３１に取り込ま
れた輝度信号から水平エッジ部分の抽出を行う（同Ｓ５
６）。

【００１２】抽出できた場合、エッジ位置を記憶しなが
ら次のフィールド画像から抽出した水平エッジ部分の位
置を見ることで時間的な変化を監視し、画面上方から下
方に移動するエッジの存在を対象物の前面下部エッジと
判断する（同Ｓ５７）。対象物が存在すると判断した場
合、そのフィールド画像に対し傾き補正処理（アフィン
変換）を行ってフィールドメモリ３２へコピーする（同
Ｓ５８）。傾き補正角度は予めシステム設置時Ｔ１に固
定値が設定されており、補正したフィールド画像に対し
て予測した文字プレート面積を含むウインドウを走査さ
せ、輝度の差分値を投影したヒストグラムを作成し、こ
のヒストグラムの面積と内部に何らかの文字情報がある
という条件から文字プレートの位置及びエリアを決定す
る（切り出す）（同Ｓ５９）。

【００１３】決定した文字プレートエリア内に文字情報
が存在すると判定されるとき、予測される位置に対して
２値化したデータと予め文字ライブラリデータ３４とし
て持っている辞書パターンのデータとを認識プログラム
３３がマッチングさせ、漢字、ひらがな、数字等の各候
補に対する相関値を算出する（同Ｓ６０）。そして、あ
るエリアの単一データに対する候補の相関値の中で一番
相関が高いものを認識情報として出力する（同Ｓ６
１）。

【００１４】

【発明が解決しようとする課題】上記のような安価な従
来装置においては、メンテナンスを含めて設置環境やカ
メラ性能から生じる認識率の低下を防ぎ高価な装置と同
様な性能を確保するために次のような課題があった。 １）入力画像の解像度の低下を抑えなければならない。 ２）認識率低下の要因を検出して補正するフィードバッ
ク機能を持っていなければならない。 ３）装置からセンターにメンテナンスのためのアラーム
を出力しなければならない。

【００１５】従って本発明は、認識率を向上させた安価
な文字プレート認識装置を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明に係る文字プレー
ト認識装置では、取り込む画像の解像度を最大限に活用
する。複数のインタレース奇数／偶数フィールド画像が
１／６０秒単位でカメラから出力される。奇数／偶数フ
ィールド２枚で１画面を構成しており、それぞれのフィ
ールド画像は撮像物を飛び飛びに走査（スキャン）して
いるため縦方向の情報量が各フィールド１／２である。

【００１７】静止している物体であればそれぞれのフィ
ールドの重ね合せにより通常の縦解像度が得られるが、
対象物等高速で移動する物体を撮像する場合、各フィー
ルド出力の時間差（１／６０秒）で画像が異なるため、
移動量に応じて輪郭部分がギザギザとなり認識率の低い
画像となってしまうので、このままでは各フィールドの
足し合せができない。

【００１８】そこで、本発明では、文字プレート上の文
字を認識する場合の問題でもあり特徴でもある「定型の
矩形領域が画面内を高速で移動すること」および「直方
体のパッケージやプリント基板、また交通網での走行車
両など、対象物前面には水平エッジ部分が数多く存在す
ること」という特性を積極的に利用することにより高精
度で高解像度の文字プレート映像を安価に得ると共に認
識率の向上を図ろうとするものである。

【００１９】まず、請求項１に係る本発明において、演
算処理手段は、各フィールド画像データから文字プレー
トエリアを検出してその座標値を算出し、画像データの
１ライン目（上辺エッジ部分付近のデータ列）が、
（ａ）実際の文字プレートの上辺エッジ部分に対して実
質的に一致して撮像（走査）したデータであるか、
（ｂ）１ライン分ずれて撮像したデータであるか、を切
り出した文字プレートエリアの座標値から判断する。

【００２０】１台の対象物がカメラアングルにある時間
（プレートエリアが検出されている間）内に複数のフィ
ールド画像を取り込み、それらの各文字プレート部分の
データが上記（ａ）及び（ｂ）のいずれであるかを判断
して第１及び第２のフィールドデータとする。

【００２１】そして、メモリ内に各フィールドを上記
（ａ）又は（ｂ）に応じて飛び飛びに配置してフレーム
データを構成し、元の解像度を復元する。複数のフィー
ルドの各々は（ａ）及び（ｂ）のどちらかであり、１／
２の確率であるが、枚数次第で両フィールドデータ、す
なわちフレームデータを取得する確率を上げることが可
能である。

【００２２】請求項２に係る本発明では、サンプル画像
の輝度差分からエッジ部分（水平／垂直エッジ部分）
と、該エッジ部分を形成する２組の平行直線で囲まれる
エリアの４点とを抽出し、該４点の座標より傾き補正角
（アフィン変換定数）を求めて設定する。これにより、
複数の文字プレートデータの角度や大きさが異なって
も、アフィン変換を利用して同一寸法にすることが可能
となる。また、判断基準が一定であり複数のサンプル平
均も取れる。

【００２３】さらに本発明では、システムの設置後の通
常運用時には該傾き補正角によって各フィールドデータ
の上方から下方に移動する水平エッジ部分を抽出し、こ
の水平エッジ部分を含む各フィールドデータに対して傾
き補正を行うことにより文字プレートエリアを切り出す
ことができる。

【００２４】なお、請求項３に係る本発明に示す如く、
第１及び第２のフィールドデータの判定は、文字プレー
トエリアの垂直方向を表す座標値と、この座標値を整数
近似した際の整数値との距離が±０．２５以内のときで
あるか否かにより行うことができる。

【００２５】また、請求項４に係る本発明に示す如く、
対象物検出処理を省くため、該演算処理手段は、該第２
のフィールドデータを生成するとき、該第１のフィール
ドデータにおける輝度差分情報を用いて、該文字プレー
トエリアの検出を行うことが可能である。

【００２６】一方、長期の運用によって撮像環境は変化
するものである。例えばカメラの設置柱がずれたことに
よって傾き角がずれたり、カメラのフォーカスがずれた
りする。または夜間撮像用の赤外線照射装置が寿命やそ
の他の原因で所望する光量を出力できないことも考えら
れる。

【００２７】このような変化は最終的に認識する精度に
影響し、請求項５に係る本発明ではその精度を計る手段
を提示し、その原因検出・修正を行う方法として付記６
乃至８のいずれかが有効である。すなわち、請求項５に
係る本発明では文字の文字情報を認識する際に辞書に対
するサンプルのデータマッチング量を利用しており、そ
の相関度を監視することで長期的に相関度が低下した場
合（その単位時間当たりの最大相関値の平均値が閾値以
下になった場合）、認識率低下の何らかの原因が存在す
ることを認識できる。

【００２８】そして、付記６に係る事項によってカメラ
のフォーカスずれを検出・補正することが可能である。
すなわち、フォーカスずれを検出する手法として同一対
象物の水平エッジ部分の輝度変化勾配を抽出する。画面
内に進入して来る対象物（前進対象物）の水平エッジ部
分は常時監視しているが、画面内に定めた垂直バンドエ
リアと対象物の水平エッジ部分の交線（線分）部分の輝
度変化の勾配を画面の垂直位置を基準に比較する。

【００２９】フォーカスが最適条件（カメラアングルの
中央部）より遠方に合っている場合（ａ）には、画面内
の遠い位置、すなわち画面上部における変化勾配が高
く、画面下部に従って勾配は低くなる。最適条件の場合
（ｂ）では画面中央部の勾配は画面上部／下部の勾配に
比べ高くなる。フォーカスが合っている場合、（ａ）の
逆の現象となる。いずれの場合も（ｂ）になるようにカ
メラのフォーカス部を制御すれば最適な条件を保つこと
ができる。

【００３０】さらに、付記７に係る事項では、該演算処
理手段が、該傾き補正角を該システムに設置時と該通常
運用時とで比較し、両者の誤差が閾値以上になった時、
該通常運転時の傾き補正角を該システム設置時の傾き補
正角に修正することが可能となる。

【００３１】すなわち、傾き補正角が長時間の運用によ
って大きく変化したときには、システム設置時の傾き補
正角に修正する。また、付記８に係る事項によって赤外
線照射装置の異常を検出することが可能である。

【００３２】すなわち、夜間においてカメラアイリスが
最大開いている状態において文字プレートの文字部分と
下地部分との輝度差（コントラスト）を監視し、単位時
間の平均値が閾値を下回った場合、照射装置の光量不足
と判定する。通常寿命による低下は長時間にわたり徐々
に現れるのでコントラストの変化状況を記憶しておけば
寿命切れの予測に使えるし、寿命でない場合にはメンテ
ナンス対象のアラームとして利用できる。

【００３３】なお、付記９に係る事項では、上記の判定
時にアラームを出力させることができる。

【００３４】

【発明の実施の形態】図１は、本発明に係る文字プレー
ト認識装置の一実施例を示したもので、図１１に示した
従来例と異なる点は、演算処理手段としての認識エンジ
ンに文字メモリ３５と、カメラのフォーカスを制御する
制御部３６と、スペクトラム・コントラスト監視部３７
とを設けていることである。

【００３５】次に、図１の実施例の動作を図２〜４に示
したフローチャートを参照して説明する。まず、カメラ
等のシステム設置時Ｔ１において、従来はサンプル画像
をＰＣに取り込み、傾き補正角を決めるために文字プレ
ートの４点を手動でプロットしていたが、本発明の実施
例ではフィールドメモリ３１内に記憶した輝度差分のあ
る水平エッジ部分部分及び垂直エッジ部分をエッジフィ
ルタ等を用いてサブピクセルレベルで抽出し、これらの
エッジ部分に基づき２組の平行線で囲まれる四辺形をプ
レートエリアと見做し、その４点座標値から長方形に補
正するための補正角を算出する（図２のステップＳ３，
Ｓ４）。

【００３６】すなわち、４点の座標値からこの平行四辺
形を長方形に変形させるための演算（アフィン変換）に
用いる行列係数を算出する。算出した行列係数は運用時
Ｔ２において対象物が写っているフィールドメモリ３１
の画像データに作用させて傾き補正を行うため、予め記
憶しておく。

【００３７】通常運用時Ｔ２において、各フィールドを
フィールドメモリ３１に取り込み（同Ｓ５）、取り込ん
だ画像内に対象物があるかどうかを検出するために、水
平エッジ部分が存在するか否か（同Ｓ６）、存在した場
合、画面上方から下方へ移動するものがあるか否か（同
Ｓ８）を捜索する。

【００３８】すなわち、カメラの遠方からカメラアング
ルに入って来る対象物の前面の水平エッジ部分を検出
（対象物検出）するわけである。なお、ステップＳ７で
は後述するように最初は対象物後続フラグはリセット状
態にある。対象物を検出したらその時点でのフィールド
メモリ３１の全画像をカメラ設置時Ｔ１に算出した傾き
補正角を用いて傾き補正（アフィン変換）を行う。変換
したデータはフィールドメモリ３２へコピーする（同Ｓ
９）。

【００３９】対象物前面が写っているフィールドメモリ
３２内の画像データから文字プレートエリアを抽出する
ために予め予想したプレート大の大きさのウインドを定
義し、メモリ３２内を走査して位置とウインド内平均輝
度のヒストグラム、および領域内の何らかの文字の有無
よりプレートエリアを抽出（切り出し）する（同Ｓ１
０）。該当する領域が存在しない場合は対象物検出の誤
認識であると判断しフローの開始ポイントに戻る。

【００４０】なお、ステップＳ５，Ｓ６，Ｓ８，Ｓ９，
及びＳ１０は図１３のステップＳ５５〜Ｓ５９にそれぞ
れ対応している。プレートエリアを抽出したら、図６
（１）に示す如く、フィールドメモリ３２におけるプレ
ートエリアの各辺の直線を表す座標値を算出する。この
場合、回帰直線法を用いて小数２桁以上の実数（例：ｙ
１＝１３１．５６）を算出する。算出したらその値を整
数値に近似させる（例：１３１．５６−＞１３１）。

【００４１】そして、この時の回帰直線法により算出し
た実数と近似した整数との差（例：１３１．５６−１３
１＝０．５６）が±０．２５以内であるか否かを判定す
る（同Ｓ１１）。このフローは以下の理由による。元々
対象物を撮像するカメラ１がインタレースモード（飛び
越しスキャン）された信号であり、そのフィールド情報
を用いているのでフィールドの各ライン同士は実際には
不連続の画像である。実際に対象物の文字プレートエリ
アの上辺エッジ部分を取り込んだ際に、カメラ１のスキ
ャンしたｙ１ラインの画像が実際のプレートの上辺エッ
ジ付近の情報と一致している確率は１／２である。もし
かしたら飛び越しスキャンのために飛び越したラインと
ブレートエリアの上辺エッジが一致しているかもしれな
い。

【００４２】そのいずれかを判断するために、メモリ３
２上のエッジ部分の点の集合から算出した直線Ｌ１の実
数値と近似した整数値との差が１ラインの１／４、すな
わち０．２５位内であるか否かを判定する。そして、同
図（２）に示す如く０．２５以内であれば、そのｙ１ラ
インの画像と実際のプレートエリアの上辺エッジの画像
データが一致している（ｙ１ラインは実際のプレートエ
リアの上辺エッジ部分を撮像したものである）と判断す
る。

【００４３】反対に、同図（２）に示す如く１／４ライ
ン以外であればｙ１ラインの画像は実際のプレート上辺
から飛び越し１ライン分下にずれている（ｙ１ラインは
実際のプレートの上辺エッジ部分より１ライン分下を撮
像したものである）と判定する。

【００４４】そして、いずれかの判定の後、抽出した文
字プレートエリアの画像データを文字メモリ３５にマッ
ピングする（同Ｓ１２，Ｓ１３）。以上の処理により、
図７に示す如く、対象物を検出して文字プレートのフィ
ールド画像１枚（Ａ）を蓄積することができる。

【００４５】この場合、ｙ１ライン（実数）がエリアＡ
にある場合、ラインｙ１のデータ（整数）は上述の如く
文字プレートエリアの上辺エッジと一致した走査によっ
て生成されたデータであり、ｙ１ラインのデータを文字
メモリ３５のラインアドレス“１”に格納し、ｙ１＋１
ラインをアドレス“３”に、ｙ１＋２ラインをアドレス
“５”に、ｙ１＋３ラインをアドレス“７”に、・・・
というように格納して行く。

【００４６】続いて同一対象物の次の文字画像を得るべ
く最初の取り込み処理に戻るが、その際、同一対象物と
いう画像の類似性を用いて検出を容易にするために、対
象物後続フラグをセットしてステップＳ５へ戻る（同Ｓ
１４）。そして、次の取り込み処理の際にステップＳ７
において対象物後続フラグの有無によってセットされて
いるならば以前に同一対象物を検出しているので現時点
での検出は容易に行えるものと判断し、図３のステップ
Ｓ１５に移る。なお、図３は同一対象物の２枚目以降の
フィールド画像を得るためのフローチャートを示す。

【００４７】ステップＳ１５においては、取り込んだフ
ィールドメモリ３１内から既にステップＳ１０で抽出し
たプレートエリアの輝度差分情報を参考にしてプレート
エリアを捜索する。以前に既に対象物の検出を行ってい
る（同Ｓ８）のでカメラ１のアングル内に同一対象物が
写っていれば対象物検出部分の処理は省略できる。

【００４８】ステップＳ１６でプレートエリアの検出が
できたら傾き補正を行う。すなわち、プレートエリアの
４点を２組の平行線の交点より４点の座標値を求め（同
Ｓ１７）、以前に検出したフレームの傾き補正後の文字
プレート画像（フィールドメモリ３２に保存されている
画像）と角度、線分が一致するようにアフィン変換にて
フィールドメモリ３１の全画像データをフィールドメモ
リ３２へ変換・上書きする（同Ｓ１８）。

【００４９】この処理によって以前に検出したプレート
の面積に一致するように現時点のプレート画像を補正で
きる。次にステップＳ１９で、フィールドメモリ３２に
コピーした画像データを用いて直線回帰法によって算出
した実数と近似した整数の距離（差分）を判断し、ステ
ップＳ２０及びＳ２１（これらはステップＳ１２及びＳ
１３に対応）に従い文字メモリ３５上にマッピングを行
う。

【００５０】以上のフローを１台の対象物がカメラ１の
アングル内を通過する時間内に複数回繰り返し、検出し
た２枚目以降の各フィールド画像データをステップＳ１
９によってそれぞれ判断しマッピングすることによって
図７に示すように文字プレートメモリ３５に蓄積して行
く。

【００５１】なお、図７中の“Ｂ”は上述した“Ａ”よ
り１ライン分ずれたエリアを走査した時のデータに対応
しており、考え方は“Ａ”の場合と同様である。最終的
にステップＳ１６でプレートエリアを検索できなくなる
まで文字プレートメモリ３５への蓄積を行い、文字プレ
ートメモリ３５には複数のフィールドデータを用いて一
枚の高解像度な文字プレートイメージ（フレームデー
タ）を構成する。このイメージデータを用いて文字プレ
ート内の文字情報を認識し高い精度の認識が期待でき
る。

【００５２】ステップＳ１６で検出ができなければカメ
ラ１内に対象物が写っていないものと判断し対象物後続
フラグをリセットして最終的な認識処理に入る（同Ｓ２
２，２３）。以上の高解像度の文字プレートのフレーム
データを得る処理の他に、長時間の使用に対するメンテ
ナンスを軽減する処理フローが図４に示されている。

【００５３】すなわち、ステップＳ２４ではプレート情
報を認識した際の認識率を監視部３７が監視している。
ここでは、図８で示すように文字プレート上の各文字を
辞書とマッチングする。認識するために１枚のプレート
中の各文字パターンについて辞書データとの相関値を求
めるが、プレート中の最大相関値をそのプレートの代表
の相関値とする。プレート１枚につき１つの代表相関値
を用意し、それらのある単位時間（例えば１時間）当た
りの平均値を認識率として算出する。

【００５４】ステップＳ２４では該認識率の平均値を監
視し、平均値が或る閾値を下回ったら長期的に相関値が
低下しているのでシステム上何らかの問題が発生したも
のと判断し、ステップＳ２５以下に進む。ステップＳ２
５〜Ｓ２７ではそれぞれに示すような原因（フォーカス
ずれ、傾き補正値、ＬＥＤ光量）をチェックすべく各パ
ラメータを調べる。

【００５５】まず、ステップＳ２５において、フォーカ
スずれは図９に示すように対象物の水平エッジ部分の輝
度変化勾配を監視し勾配が急峻である（すなわちピント
が合っている）ポイントが画面中央部に来るように制御
する。すなわち、カメラ１は対象物の移動方向上部から
対象物を見下ろす位置で撮像していることから遠方の対
象物は画面内の上部に位置しカメラ１との距離が近づく
に従い画面下部に移動する。フィールドメモリ３１内に
特徴量を抽出するためのウインド領域（図中の垂直バン
ドＶＢ）を定義し、そのバンドを通過する同一対象物の
水平エッジ部分の輝度変化勾配を算出する。

【００５６】通常、一番特徴的な水平エッジ部分は対象
物の移動方向と対象物の境目の部分（対象物前面最下
部）である。カメラアングル内の垂直バンドＶＢの上
部、中央部、下部（同図（１）Ａ，Ｂ，Ｃ）を通過する
同一対象物の輝度勾配を３点算出し（同図（２）参
照）、３値を比較する。画面中央部の輝度勾配値が最大
でなければ、最大になるように（すなわち画面中央部に
ピントをあわせるように）制御部３６がカメラ１のフォ
ーカス部（図示せず）を介してピントを制御（フォーカ
スコントロールＦＣ）する。

【００５７】ステップＳ２６の傾き補正値のチェックは
ステップＳ１７にて４点座標から求めた傾き角を監視
し、最初に対象物を検出する際の傾き補正角とのずれが
ないか否かを調べる。すなわち、システム設置時Ｔ１に
設置したカメラ１の設置角も長時間の運用によって変化
する。カメラ１の撮像角度が変化すればシステム設定時
Ｔ１に算出した傾き補正用のアフィン変換行列係数と長
期運用時の画像の傾きに誤差が生じ結果として認識率が
低下する。

【００５８】このような誤差を解消するために、予め記
憶した補正用の変換係数と、低下時に撮像した画像から
抽出した４点座標によるアフィン変換係数とを比較し
（同Ｓ２６１）、誤差が大きい場合（同Ｓ２６２）はス
テップＳ４に戻って後者の係数を補正用の係数に変更す
る。

【００５９】ＬＥＤの光量についてのステップＳ２７に
おいては、図１０に示すようにプレート内の文字部分と
その他の部分のコントラスト比（夜間）を監視し、コン
トラスト比が小さくなって来たらＬＥＤの光量が小さく
なって来たと判断する。すなわち、夜間においても文字
プレートを撮像するために赤外領域のＬＥＤを使用する
が、ＬＥＤには一定の寿命があり、寿命になるとＬＥＤ
の光量が減少し夜間撮像ができなくなる。また何らかの
障害物によって正しくＬＥＤ光が対象物に照射されなく
なることも考えられる。

【００６０】こうした原因を監視センターなどに通知す
る手段として夜間にＬＥＤ照射によって撮像したプレー
トの文字部分と下地部分の輝度コントラスト比を監視
し、コントラスト比がある閾値を下回ったら上記のＬＥ
Ｄに関する原因があるものとしてセンターに通知すする
などの措置をとる。

【００６１】以上のようなチェック機能を有することに
より人為的なメンテナンスを軽減することが可能にな
る。なお、上記の実施例では水平エッジ部分が上から下
へ、すなわち対象物が前進して来る例を取り扱ったが、
逆に下から上への後退方向についても同様に考えること
ができる。

【００６２】（付記１）飛び越し走査式カメラと、該カ
メラで一つの移動する対象物を撮像したフィールド画像
信号を画像データに変換するデコーダと、該画像データ
から四辺形の文字プレートエリアを検出してその座標値
を算出し、該座標値から該文字プレートエリアの上辺エ
ッジ部分から走査して生成された第１のフィールドデー
タと該上辺エッジ部分から１ライン分ずれて走査し生成
された第２のフィールドデータとを記憶してフレームデ
ータを構成し、該フレームデータに基づいて文字認識を
行う演算処理手段と、を備えたことを特徴とする文字プ
レート認識装置。（１）。

【００６３】（付記２）付記1において、該演算処理手
段が、システム設置時にサンプル画像を用いてその輝度
差分からエッジ部分と、該エッジ部分を形成する２組の
平行な直線で囲まれたエリアの４点とを抽出し、該４点
の座標より傾き補正角を予め算出しておき、該システム
設置後の通常運用時に、各フィールドデータの上方から
下方に移動する水平エッジ部分を抽出し、該水平エッジ
部分を含む各フィールドデータに対して該傾き補正角に
よるデータ変換を行って該文字プレートエリアを切り出
すことを特徴とした文字プレート認識装置。（２）。

【００６４】（付記３）付記１又は２において、該演算
処理手段は、該文字プレートエリアの垂直方向を表す座
標値と、この座標値を整数近似した際の整数値との距離
が±０．２５以内のとき該第１のフィールドデータを生
成し、それ以外のとき該第２のフィールドデータを生成
することを特徴とした文字プレート認識装置。（３）。

【００６５】（付記４）付記１乃至３のいずれかにおい
て、該演算処理手段は、該第２のフィールドデータを生
成するとき、該第１のフィールドデータにおける輝度差
分情報を用いて、該文字プレートエリアの検出を行うこ
とを特徴とする文字プレート認識装置。（４）。

【００６６】（付記５）付記２において、該演算処理手
段が、文字認識に際し、該フレームデータ中の各文字に
ついて辞書データとパターンマッチングを行って相関値
を求め、単位時間当たりの最大相関値の平均値が閾値以
下になった場合、認識率低下と判定することを特徴とし
た文字プレート認識装置。（５）。

【００６７】（付記６）付記５において、該カメラがフ
ォーカス部を有し、該演算処理手段が、同一対象物の複
数の該水平エッジ部分と、画面内に予め設定した垂直バ
ンドとの交点における輝度勾配をそれぞれ算出し、垂直
方向座標順に比較することにより、画面中央部に近い程
勾配の値が大きくなるように該フォーカス部を制御する
ことを特徴とした文字プレート認識装置。

【００６８】（付記７）付記５において、該演算処理手
段が、該傾き補正角を該システムに設置時と該通常運用
時とで比較し、両者の誤差が閾値以上になったとき該通
常運転時の傾き補正角を該システム設置時の傾き補正角
に修正することを特徴とした文字プレート認識装置。

【００６９】（付記８）付記５において、該カメラの夜
間撮影に用いるための赤外線照射装置を設け、該演算処
理手段が、該赤外線照射装置の反射光により最大アイリ
スにて撮像された該文字プレートの文字部分と下地部分
の輝度コントラストの単位時間当たりの平均値を求めて
監視し、該平均値が閾値以下になった場合、該赤外線照
射装置の光量不足と判定することを特徴とした文字プレ
ート認識装置。

【００７０】（付記９）付記１乃至８のいずれかにおい
て、該演算処理手段が、該判定時にアラームを出力する
ことを特徴とした文字プレート認識装置。

【００７１】

【発明の効果】以上述べたように本発明に係る文字プレ
ート認識装置によれば、文字プレートエリアを抽出し、
さらに該エリアの４点座標を基として標準的な文字プレ
ートへのマッピングを行う。

【００７２】このとき、マッピング動作は同一の対象物
画像を、プレートエリアの上辺エッジ部分を走査するフ
ィールドと走査しないフィールドに分割した形で複数回
取り込み、その文字プレート部分を重ね合わせることに
よりメモリマップ上の標準文字プレートメモリ上に高精
度の画像フレームデータが生成されることとなり、低解
像度カメラを使って移動する文字プレートを高解像度で
取り込み認識率の向上効果が可能になる。

【００７３】このような処理の中で、プレートエリアの
４点の計算および座標変換であるアフィン変換パラメー
タ（傾き補正角）を（予めシステム設置時に）記録して
おき、以降の通常運用時に文字プレートエリアの傾き補
正処理のため（文字プレートの取付角やサイズの違いを
補正するため）のパラメータとすることができるので、
傾き補正のためのパラメータを自動化したり、認識率が
変動した場合の自動的な補正パラメータ機能を安価に有
することが可能になる。

【００７４】また、複数の対象物を撮像し対象物の映像
が遠景から近景に移動する間の映像毎に「映像内のエッ
ジ部分の尖鋭度（高域周波数スペクトル成分）」を連続
して測定することで、リアルタイムにカメラの相対的な
フォーカス位置を計測することが可能となり、フォーカ
ス制御が可能となる。

【００７５】さらに、文字プレートの認識処理の中でプ
レート背景部分と文字領域部分のコントラスト差を計測
し時間的に累積／平均化することでＬＥＤの照射光量の
測定を、リアルタイムに行うことが可能になり自動的な
アラーム出力を行うことができる。

【図面の簡単な説明】

【図１】本発明に係る文字プレート認識装置の構成例を
示したブロック図である。

【図２】本発明に係る文字プレート認識装置の処理手順
（１）を示したフローチャート図である。

【図３】本発明に係る文字プレート認識装置の処理手順
（２）を示したフローチャート図である。

【図４】本発明に係る文字プレート認識装置の処理手順
（３）を示したフローチャート図である。

【図５】本発明に係る文字プレート認識装置の文字プレ
ートエリアの切り出し処理を説明するための図である。

【図６】本発明に係る文字プレート認識装置においてプ
レートエリアの座標から文字メモリのマッピングを判定
する処理を説明するための図である。

【図７】本発明に係る文字プレート認識装置においてプ
レートエリアの座標から文字メモリへのマッピング例を
示した図である。

【図８】本発明に係る文字プレート認識装置において各
文字の辞書データとの最大相関値の時間平均値の算出例
を説明するための図である。

【図９】本発明に係る文字プレート認識装置において垂
直バンドと直行する点の輝度変化勾配を求めてカメラフ
ォーカス制御を説明するための図である。

【図１０】本発明に係る文字プレート認識装置において
夜間の撮像データの文字部分と下地部分のコントラスト
比を説明するための図である。

【図１１】従来の文字プレート認識装置の構成例を示し
たブロック図である。

【図１２】従来の文字プレート認識装置の処理手順を示
したフローチャート図である。

【図１３】従来のシステム設置例を示した図である。

【符号の説明】

１ 飛び越し走査式カメラ ２ デコーダ ３ 認識エンジン ３１，３２ フィールドメモリ ３３ 認識プログラム ３４ 文字ライブラリ ３５ 文字プレートメモリ ３６ 制御部 ３７ 監視部 図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/40 １００ Ｇ０６Ｔ 7/40 １００Ｂ 7/60 ２００ 7/60 ２００Ｚ Ｆターム(参考） 5B029 BB02 BB04 CC27 CC32 EE04 5B057 AA02 AA16 BA02 BA19 CD03 CE09 CH11 DB02 DC08 DC16 DC34 5B064 AA02 AA05 CA04 CA07 CA08 EA34 FA19 5L096 BA04 BA17 CA02 FA06 FA19 FA25 HA08 JA03

Claims (5)

【特許請求の範囲】
1. 【請求項１】飛び越し走査式カメラと、 該カメラで一つの移動する対象物を撮像したフィールド
   画像信号を画像データに変換するデコーダと、 該画像データから四辺形の文字プレートエリアを検出し
   てその座標値を算出し、該座標値から該文字プレートエ
   リアの上辺エッジ部分から走査して生成された第１のフ
   ィールドデータと該上辺エッジ部分から１ライン分ずれ
   て走査し生成された第２のフィールドデータとを記憶し
   てフレームデータを構成し、該フレームデータに基づい
   て文字認識を行う演算処理手段と、 を備えたことを特徴とする文字プレート認識装置。
2. 【請求項２】請求項１において、 該演算処理手段が、システム設置時にサンプル画像を用
   いてその輝度差分からエッジ部分と、該エッジ部分を形
   成する２組の平行な直線で囲まれたエリアの４点とを抽
   出し、該４点の座標より傾き補正角を予め算出してお
   き、該システム設置後の通常運用時に、各フィールドデ
   ータの上方から下方に移動する水平エッジ部分を抽出
   し、該水平エッジ部分を含む各フィールドデータに対し
   て該傾き補正角によるデータ変換を行って該文字プレー
   トエリアを切り出すことを特徴とした文字プレート認識
   装置。
3. 【請求項３】請求項１又は２において、 該演算処理手段は、該文字プレートエリアの垂直方向を
   表す座標値と、この座標値を整数近似した際の整数値と
   の距離が±０．２５以内のとき該第１のフィールドデー
   タを生成し、それ以外のとき該第２のフィールドデータ
   を生成することを特徴とした文字プレート認識装置。
4. 【請求項４】請求項１乃至３のいずれかにおいて、 該演算処理手段は、該第２のフィールドデータを生成す
   るとき、該第１のフィールドデータにおける輝度差分情
   報を用いて、該文字プレートエリアの検出を行うことを
   特徴とする文字プレート認識装置。
5. 【請求項５】請求項２において、 該演算処理手段が、文字認識に際し、該フレームデータ
   中の各文字について辞書データとパターンマッチングを
   行って相関値を求め、単位時間当たりの最大相関値の平
   均値が閾値以下になった場合、認識率低下と判定するこ
   とを特徴とした文字プレート認識装置。