JP2005309819A - 図形読み取り方法及びその装置並びに主要色抽出方法及びその装置 - Google Patents

Abstract

【課題】 図形の読み取りにおける照明条件等の影響の除去を図る。
【解決手段】 画像入力手段１２から入力されたカラー画像について、主要色抽出手段１４が、カラー画像に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解する。組合せ作成手段１６は、分解された主要色画像を組み合わせて組合せ画像を作成する。図形領域抽出手段１８は、主要色画像及び組合せ画像から文字領域候補を抽出する。図形認識手段２０は、抽出されたすべての文字領域候補に対して文字認識処理を施し、文字認識処理結果の文字認識信頼度によって最も良い文字の読み取り結果を得る。
【選択図】 図１

Description

この発明は、図形読み取り方法及びその装置、主要色抽出方法及びその装置、画像分解方法及びその装置並びにその制御プログラムに関し、詳しくは入力画像内の図形の精度良い読み取りを達成する図形読み取り方法及びその装置、主要色抽出方法及びその装置、画像分解方法及びその装置並びにその制御プログラムに関する。

従来においても、撮像装置、例えば、ＣＣＤカメラ等で撮像された画像内の図形を自動的に認識する図形読み取り装置には各種の方式のものが提案されている。
その例として、特許文献１に記載される「ナンバープレート認識装置」や、特許文献２に記載される「ナンバー読取り装置」がある。これらの装置は、グレースケールの画像を用いてその図形である文字を認識する方法である。

また、特許文献３に記載される「道路案内標識の位置認識方式」もある。この方式は、予め登録された色の成分をライセンスプレートのカラー画像から抽出し、この色の成分の抽出により文字領域を抽出して文字認識処理を行う技術である。
また、特許文献４に記載される「画像分割方法及び装置」もある。この特許文献に記載される技術は、画像の領域を色に基づいて過分割し、過分割された領域を統合して文字領域と背景領域を得て影やハイライトに影響されず、安定して文字領域を抽出するものである。

特開２０００−２５１０１６号公報 特開２００１−２２２６８０号公報 特開２００３−８５５３５号公報 特開平７−７３３１３号公報

ところで、撮像装置で撮像する撮像対象は千差万別である。例えば、日本で自動車の登録番号を表示するナンバープレート（以下、単にナンバープレートという）と、北米で自動車の登録番号を表示するライセンスプレート（以下、単にライセンスプレートという）とは、その表示形式が大きく異なる。
ナンバープレートの表示形式は、比較的に単純であるが、ライセンスプレートは、ナンバープレートに比べると、その表示形式が複雑である。ライセンスプレートの表示形式を具体的に言えば、その背景に使われる色や模様等のデザインやフォーマットが多種多様であると同時に、文字に使用されるフォントやその色も多種多様である。

例えば、図２３は、ライセンスプレートの画像の例で、この例のライセンスプレートは、その上部に「Ｃalifornia」という文字が赤色で描かれ、その中心部にライセンス番号を表す「１２３」という文字が青緑色で描かれている。
この図に示すようにライセンスプレートの上半分は、紺色のグラデーションが掛かった背景を持ち、そのグラデーションはライセンスプレート上部から中心部に向かって次第に白い色に変化しており、下半分は、赤のグラデーションが掛かかり、その下部から中心部に向かって次第に白い色に変化している。

このような画像をグレースケールで表現すると、図２４のようになる。この場合にも、文字部分に色のグラデーションが掛かっていることから、文字領域の画素値が、必ずしも、画像中で最大又は最小にならない場合がある。

そのため、上述した特許文献1及び特許文献２に記載される技術を用いてグレースケールで表現された画像に対して、画素値のしきい値処理を施して画素を２値化し、その画素を用いて文字領域を抽出するようにしても、「Ｃalifornia」や「１２３」の文字領域を正確に抽出できないという技術的課題がある。

この技術的課題のため、従来のグレースケール画像を用いる技法の下では、ライセンスプレートの文字領域と背景領域とを正確に分離できず、ライセンス番号の正確な自動読み取りが困難であるという技術的課題もある。

このような技術的課題を解決する１つの技術的手段として、ＣＣＤカメラでライセンスプレートを撮像して得られたカラーのライセンスプレート画像からライセンス番号に対応する色を持つ領域を抽出することにより、文字領域を得ることも考えられる。

例えば、その１つの技術として、特許文献３に記載される技術により、予め登録された色の成分をライセンスプレートのカラー画像から抽出し、抽出された色の成分を用いて文字領域を抽出して文字認識処理を行うことが考えられる。

しかし、特許文献３に記載される技術によっても、次のような技術的課題がある。
すなわち、非常に多様な色が用いられているライセンスプレートに特許文献３の技術を採用して文字認識処理を行おうとするとき、文字にどのような色が用いられているかを予め登録することは困難である。
そのため、予め登録されている色を抽出することにより文字領域を得る方法では、ライセンスプレートから精度良く文字領域と背景領域とを分離できず、ライセンス番号の自動読み取りは困難であった。

さらに、文字領域と背景領域との首尾よい分離を妨げる要因は、特許文献３の技術を屋外で用いる場合、昼、夕方及び夜等の撮像環境により照明条件が異なって来るので、同じライセンスプレートを撮像しても、撮像環境によって色情報が一様で無くなって来ることである。
例えば、背景が水色で文字が紺色のライセンスプレートである場合に、夕方の西日で照らされた状態でライセンスプレートを撮像すると、画像全体が赤の成分が非常に強くなるので、そのライセンスプレートを昼に撮像するとき青色の成分が最も強くなる部分であったとしても、赤色成分が最も強くなってしまう場合が考えられる。

したがって、特許文献３に記載される技術を用いるだけでは精度の良い文字領域の抽出は困難であり、精度の良いライセンス番号の自動読み取りは困難である。
つまり、ライセンスプレートから文字領域を抽出する際に、どのような色がその文字領域の文字に用いられているかは判らないので、予め登録された色の成分をカラー画像から抽出する方法では安定して文字領域を抽出することは困難であるという技術的課題がある。
上述のように、屋外環境においては、ライセンスプレート上に掛かる影やハイライトの影響で文字領域が複数の色成分に分かれてしまい、安定して文字領域を抽出するのをさらに悪化させる。

このような技術的課題を解決する技術として、例えば、特許文献４に記載されるものがある。
この技術によると、画像の領域を色に基づいて過分割し、過分割された領域を統合することにより、影やハイライトに影響されることなく文字領域を安定して抽出することが可能とはなる。
しかし、特許文献４の技術によると、道路標識のように予め定められた色と形状で構成される撮像体については、予め記憶されている色と形状の辞書と比較することによって統合すべきか否かを判断することが可能であるが、多様な色とデザインを持つライセンスプレートに対して上記技術の適用を試みた場合、膨大な色と形状のデータを記憶する必要があり、現実的でない。

また、特許文献４の技術により統合される領域は、必ずしも、抽出したい文字領域であるとは限らない。すなわち、文字の抽出が正しく行われたか否かは、抽出された対象が正しく文字として認識されたか否かを知らなければ本質的に判らないという問題がある。
それ故、特許文献４の技術における文字認識の基準とは、必ずしも、一致しない基準によって抽出された領域しか文字の候補として抽出されないので、文字領域を精度良く抽出するのが困難であり、したがって、ライセンス番号を精度良く自動的に読み取り難いという技術的課題がなお残っている。

この発明は、上述の事情に鑑みてなされたもので、多種多様な色、デザイン等を有する読み取り対象内の図形領域を安定して抽出し、図形を精度良く読み取る図形読み取り方法及びその装置、主要色抽出方法及びその装置、画像分解方法及びその装置並びにその制御プログラムを提供することを目的としている。

上記課題を解決するために、請求項１記載の発明は、図形読み取り方法に係り、入力画像内の出現頻度の高い色成分を主要色として抽出し、上記入力画像を抽出された上記主要色毎の画像に分解し、分解された上記画像のうちの、上記主要色が所定の関係にある上記画像を組み合わせ、分解された上記画像と組み合わされた上記画像に基づいて図形の読み取りを行うことを特徴としている。

請求項２記載の発明は、、図形読み取り方法に係り、入力画像内の出現頻度の高い色成分を主要色として抽出し、上記入力画像を抽出された上記主要色毎の画像に分解し、分解された上記画像の上記主要色間の色違いの度合を評価し、上記評価の結果に基づいて分解された上記画像のうちの、上記主要色が所定の関係にある上記画像を組み合わせ、分離された上記画像と組み合わされた上記画像に基づいて図形の読み取りを行うことを特徴としている。

請求項３記載の発明は、請求項１又は２記載の図形読み取り方法に係り、上記主要色の抽出は、上記入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心とし、仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心とし、上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい上記色成分の各々を含めさせて行われることを特徴としている。

請求項４記載の発明は、請求項１、２又は３記載の図形読み取り方法に係り、上記画像の分解は、抽出された上記主要色毎の画像を用意し、用意された上記画像毎に上記画像の画素が上記画像の上記主要色に属するとき当該画素を第１の画素値とし、属しないとき上記画素を第2の画素値として行われることを特徴としている。

請求項５記載の発明は、請求項１、２、３又は４記載の図形読み取り方法に係り、上記図形の読み取りは、分解された上記画像及び組み合わされた上記画像から図形領域候補を抽出し、抽出されたすべての上記図形領域候補に対して図形認識処理を行い、上記図形認識処理の結果に基づいて行われることを特徴としている。

請求項６記載の発明は、請求項５記載の図形読み取り方法に係り、上記図形領域候補の抽出は、分解された上記画像及び組み合わされた上記画像を表す画素値が横方向及び又は縦方向に連続する上記図形領域候補のうちの、上記画素値が横方向及び又は縦方向に連続する数が、上記入力画像の横方向画素数及び縦方向画素数の予め決められた割合より大きい上記図形領域候補を上記図形領域候補から除外し、除外されていない上記図形領域候補の中心となる座標における上記画素値が横方向及び又は縦方向に連続する数が、上記入力画像の横方向画素数及び縦方向画素数と比較し、該比較結果に基づいて除外されていない上記図形領域候補を上記図形領域候補とするか否かを判定して行うことを特徴としている。

請求項７記載の発明は、主要色抽出方法に係り、入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心とし、仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心とし、上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい色成分の各々を含めた上記色成分を主要色として抽出することを特徴としている。

請求項８記載の発明は、画像分解方法に係り、入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心とし、仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心とし、上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい上記色成分の各々を含めた上記色成分を主要色として抽出し、抽出された上記主要色毎の画像を用意し、用意された上記画像毎に、上記画像の画素が上記画像の上記主要色に属するとき当該画素を第１の画素値にし、属しないとき上記画素を第2の画素値にして上記入力画像を上記主要色毎の画像に分解することを特徴としている。

請求項９記載の発明は、図形読み取り装置に係り、入力画像内の出現頻度の高い色成分を主要色として抽出する主要色抽出手段と、上記入力画像を上記主要色抽出手段により抽出された上記主要色毎の画像に分解する画像分解手段と、該画像分解手段により分解された上記画像のうちの、上記主要色が所定の関係にある上記画像を組み合わせる画像組合せ手段と、上記画像分解手段により分解された上記画像と上記画像組合せ手段により組み合わされた上記画像に基づいて図形の読み取りを行う図形読み取り手段とを備えたことを特徴としている。

請求項１０記載の発明は、図形読み取り装置に係り、入力画像内の出現頻度の高い色成分を主要色として抽出する主要色抽出手段と、上記入力画像を上記主要色抽出手段により抽出された上記主要色毎の画像に分解する画像分解手段と、該画像分解手段により分解された上記画像の上記主要色間の色違いの度合を評価する評価手段と、該評価手段による上記評価の結果に基づいて上記画像分解手段により分解された上記画像のうちの、上記主要色が所定の関係にある上記画像を組み合わせる画像組合せ手段と、上記画像分解手段により分解された上記画像と上記画像組合せ手段により組み合わされた上記画像に基づいて図形の読み取りを行う図形読み取り手段とを備えたことを特徴としている。

請求項１１記載の発明は、請求項９又は１０記載の図形読み取り装置に係り、上記主要色抽出手段は、上記入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、該仮主要色中心決定手段により決定された仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心と決定する主要色中心決定手段と、該主要色中心決定手段により決定された上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい上記色成分の各々を含めた上記色成分を主要色として抽出する抽出手段とから成ることを特徴としている。

請求項１２記載の発明は、請求項９、１０又は１１記載の図形読み取り装置に係り、上記画像分解手段は、上記抽出手段により抽出された上記主要色毎の画像を入力する入力手段と、該入力手段により入力された上記画像毎に上記画像の画素が上記画像の上記主要色に属するとき当該画素を第１の画素値にし、属しないとき上記画素を第2の画素値にして主要色の画像を作成する作成手段とから成ることを特徴としている。

請求項１３記載の発明は、請求項９、１０、１１又は１２記載の図形読み取り装置に係り、上記図形読み取り手段は、上記画像分解手段により分解された上記画像及び上記画像組合せ手段により組み合わされた上記画像から図形領域候補を抽出する候補抽出手段と、該候補抽出手段により抽出されたすべての上記図形領域候補に対して図形認識処理を行う認識処理手段と、該認識処理手段で得られた上記図形認識処理の結果に基づいて図形を読み取る読み取り手段とから成ることを特徴としている。

請求項１４記載の発明は、請求項１３記載の図形読み取り装置に係り、上記候補抽出手段は、上記画像分解手段により分解された上記画像及び上記画像組合せ手段により組み合わされた上記画像を表す画素値が横方向及び又は縦方向に連続する上記図形領域候補のうちの、上記画素値が横方向及び又は縦方向に連続する数が、上記入力画像の横方向画素数及び縦方向画素数の予め決められた割合より大きい上記図形領域候補を上記図形領域候補から除外する候補除外手段と、該候補除外手段により除外されていない上記図形領域候補の中心となる座標における上記画素値が横方向及び又は縦方向に連続する数が、上記入力画像の横方向画素数及び縦方向画素数と比較する比較手段と、該比較手段による比較の結果に基づいて除外されていない上記図形領域候補を上記図形領域候補とするか否かを判定する判定手段とを含むことを特徴としている。

請求項１５記載の発明は、主要色抽出装置に係り、入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、該仮主要色中心決定手段により決定された仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心を決定する主要色中心決定手段と、該主要色中心決定手段により決定された上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい色成分の各々を含めた上記色成分を主要色として抽出する抽出手段とを備えることを特徴としている。

請求項１６記載の発明は、画像分解装置に係り、入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の上記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、該仮主要色中心決定手段により決定された仮の上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい上記色成分の平均値を求めて主要色中心を決定する主要色中心決定手段と、該主要色中心決定手段により決定された上記主要色中心を中心として分布する上記色成分のうちの、上記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい上記色成分の各々を含めた上記色成分を主要色として抽出する抽出手段と、該抽出手段により抽出された上記主要色毎の画像を入力する入力手段と、該入力手段により入力された上記画像毎に、上記画像の画素が上記画像の上記主要色に属するとき当該画素を第１の画素値にし、属しないとき上記画素を第2の画素値にして上記主要色毎の画像を出力する主要色画像出力手段とから成ることを特徴としている。

請求項１７記載の発明は、コンピュータに請求項１乃至請求項６のいずれか一に記載の図形読み取り方法を実行させるための制御プログラムに係る。

請求項１８記載の発明は、コンピュータに請求項７記載の主要色抽出方法を実行させるための制御プログラムに係る。

請求項１９記載の発明は、コンピュータに請求項８記載の画像分解方法を実行させるための制御プログラムに係る。

請求項２０記載の発明は、コンピュータに請求項９乃至請求項１４のいずれか一に記載の図形読み取り装置を制御させるための制御プログラムに係る。

請求項２１記載の発明は、コンピュータに請求項１５記載の主要色抽出装置を制御させるための制御プログラムに係る。

請求項２２記載の発明は、コンピュータに請求項１６記載の画像分解装置を制御させるための制御プログラムに係る。

この発明の構成によれば、入力画像内の出現頻度の高い色成分を主要色として抽出し、入力画像を抽出された主要色毎の画像に分解し、分解された画像のうちの、主要色が所定の関係にある画像を組み合わせ、分解された画像と組み合わされた画像に基づいて図形の読み取りを行うようにしているから、非常に多様な色とデザインとで構成される認識対象の図形を撮像する際に悪影響を与える因子、例えば、照明条件の変動、影、ハイライト等の影響によって惹起して来る図形抽出の不安定性を高度に除くことができる。
この効果が得られることから、図形領域の抽出を上記因子の影響の排除に寄与し得る最も望ましい基準で行うことができ、図形認識精度の向上となる。

入力画像内の出現頻度の高い色成分を主要色として抽出すること、入力画像を抽出された主要色毎の画像に分解すること、分解された画像のうちの、主要色が所定の関係にある画像を組み合わせること、分解された画像と組み合わされた画像に基づいて図形領域候補を抽出すること、抽出されたすべての図形領域候補に対して図形認識処理を行うこと、その図形認識処理の結果に基づいて図形の読み取りを行うことを含んで構成される。

図１は、この発明の実施例１である図形読み取り装置の構成を示す図、図２は、同読み取り装置の処理フローチャートを示す図、図３は、色ヒストグラムの１つの例を示す図、図４は、色ヒストグラムの他の例を示す図、図５は、仮の主要色中心を説明する図、図６は、仮の主要色中心の近傍の様子を示す図、図７は、主要色中心の例を示す図、図８は、図２３のカラー画像について作成された主要色画像の第１の例を示す図、図９は、図２３のカラー画像について作成された主要色画像の第２の例を示す図、図１０は、図２３のカラー画像について作成された主要色画像の第３の例を示す図、また、図１１は、図２３のカラー画像について作成された主要色画像の第４の例を示す図である。

そして、図１２は、カラー画像の１つの例を示す図、図１３は、図１２のカラー画像について作成された主要色画像の第１の例を示す図、図１４は、図１２のカラー画像について作成された主要色画像の第２の例を示す図、図１５は、図１２のカラー画像について作成された主要色画像の第３の例を示す図、図１６は、図１２のカラー画像について作成された主要色画像の第４の例を示す図、図１７は、図１２のカラー画像について作成された主要色画像を組み合わせた組合せ画像の例を示す図、図１８は、組合せ画像の他の例を示す図、図１９は、図１８の組合せ画像についてその長過ぎるランを除去した後の組合せ画像を示す図、図２０は、図１９の組合せ画像についてその上下及び左右の端側の領域を説明する図、図２１は、図２０についての処理後の組合せ画像中の連結部分の高さと幅の例を示す図、図２２は、文字認識の対象となる文字が縦及び横の双方で並んで混在する画像の例を示す図、図２３は、カラー画像の他の例を示す図、図２４は、図２３のカラー画像をグレースケールで表した画像の例を示す図である。

この実施例の図形読み取り装置１０は、画像の主要色を抽出し、抽出された主要色を含む組合せ画像から図形（文字）領域候補を抽出し、抽出された各図形領域候補に対して図形認識処理を行って図形認識精度を向上させ得る装置に係り、図１に示すように、画像入力手段１２と、主要色抽出手段１４と、組合せ作成手段１６と、図形領域抽出手段１８と、図形認識手段２０とから構成されている。

画像入力手段１２は、被撮像対象のカラー画像を取り込む手段であり、例えば、ＣＣＤカメラ（図示せず）とメモリ（図示せず）とから構成される。
主要色抽出手段１４は、カラー画像内の主要色を抽出する手段である。
主要色とは、入力された画像毎に出現頻度の大きな色成分として抽出された色を言う。主要色は、通常、画像毎に複数得られる。各主要色に近い色を持つ画素の値を“１”とし、その他の画素を“０”とした画素を主要色画像と呼ぶ。

組合せ作成手段１６は、主要色抽出手段１４で抽出された主要色を複数組み合わせて複数の組合せ画像を作成する手段である。
図形領域抽出手段１８は、主要色抽出手段１４で抽出された主要色画像と組合せ作成手段１６で作成された組合せ画像とから認識すべき図形を含む図形領域の各々を、それぞれ図形領域候補として抽出する。
図形認識手段２０は、図形領域抽出手段１８で抽出された図形領域候補の各々に対して図形認識処理を施す手段である。

主要色抽出手段１４、組合せ抽出手段１６、図形領域抽出手段１８及び図形認識手段２０は、通常のコンピュータやＰＤＡ端末装置上でプログラムの処理により容易に構成可能であるし、また、任意のメモリや演算装置を備えたカメラ付き携帯機器でもプログラムの処理により容易に構成可能である。
すなわち、これら各手段は、図２に示す各手段対応の処理（その詳細は後述する）を行うプログラムがコンピュータ等に接続されるハードディスク、ＲＯＭ等の記憶装置に記憶されており、コンピュータ等が起動されて図形読み取り処理が開始されると、上記記憶装置からコンピュータ等のメモリに順次読み込まれ、コンピュータ等でそのプログラムが実行されて上記各手段対応の処理を遂行するようにして構成されている。

次に、図１乃至図２３を参照して、この実施例の処理について説明する。
図形読み取り装置１０が起動されて画像入力手段１２から従来公知の技法、例えば、ＣＣＤカメラにより被撮像体、例えば、ライセンスプレートが撮像されてメモリにその画像を取り込み、主要色抽出手段１４に読み込まれる（図２の画像入力処理Ｓ１）。
主要色抽出手段１４における処理（図２の主要色抽出処理Ｓ２）の詳細を順を追って説明する。

図２に示す主要色抽出処理における主要色の抽出アルゴリズムは、以下の通りである。この実施例では、主要色の抽出を表色系のうちの１つであるＲＧＢについて説明する。
先ず初めに、読み込まれた画像について、そのＲＧＢの三次元空間を、例えば、１６×１６×１６の小領域に分割し、読み込まれた画像の色ヒストグラムを作成する。
色ヒストグラムの作成は、例えば、以下の手順で行う。

先ず、各原色成分、すなわち、赤、緑及び青のそれぞれの成分色の値が取り得る範囲を１６等分し、１６×１６×１６個の値範囲（小領域）を作成する。すべての値範囲のヒストグラム値を零として初期化する。
次に、或る画素に着目して当該画素が持つ各原色成分の値がどの値範囲に属するかを判定し、属していると判定された値範囲のヒストグラム値に１を加える。
この処理手順をすべての画素について行うことにより、色ヒストグラムを作成することができる。

例えば、各原色成分が２５６階調で表される通常のデジタル化されたカラー画像の場合、各原色成分の値範囲を０乃至１５、１６乃至３１、３２乃至４７、…、２４０乃至２５５という１６通りの値範囲に分割することで、１６×１６×１６個の値範囲を設定し、それぞれの値範囲に属している画素の個数を求めることができる。

次に、或る値範囲のヒストグラム値が局所的なピークであり、かつ、予め与えられたしきい値以上のヒストグラム値であったなら、その値範囲の中心を仮の主要色中心とする。入力カラー画像についての仮の主要色中心の抽出に際して、仮の主要色中心が複数得られる場合がある。
また、色ヒストグラムの局所的なピークを検出する際に、着目している値範囲のヒストグラム値が、隣接するすべての値範囲のヒストグラム値よりも大きかったならば、着目している値範囲を局所的なピークであるとすることができる。

着目している値範囲とこれに隣接する値範囲との関係においてピークを検出する場合について、図３及び図４を参照して説明する。
図３及び図４に示す例は、２５６階調で表された各原色成分を１６等分の値範囲に分割した場合である。そして、この例は、本来三次元のＲＧＢ空間で表示されるべきであるが、ここでは説明の簡略化のため、ＲとＧの軸だけの二次元の平面で示してある。

図３において、右上がりの斜線で表された領域を着目している値範囲とすると、隣接する値範囲は右下がりの斜線で表された領域となり、これら２つの領域のヒストグラム値を比較すれば、着目している値範囲が局所的なピークであるか否かを判定することができる。
また、図４において、着目している値範囲（右上がりの斜線で表示されている）の一辺がＲ軸上にあったとすると、右下がりの斜線で表された値範囲が隣接する値範囲となり、これら２つの領域のヒストグラム値を比較することにより、着目している値範囲が局所的なピークであるか否かを判定することができる。
この２つの例から了解できるように、ヒストグラム値が最小の値範囲と最大の値範囲からはみ出した部分については、ヒストグラム値の比較を行わなければよい。

色ヒストグラム値の局所的なピークを検出した後に、検出された局所的なピークのヒストグラム値が、予め与えられたしきい値以上であるか否かを判定する。この判定におけるしきい値の設定は、入力画像の全画素数の５％の数をしきい値として設定することができる。

或る値範囲の色ヒストグラム値が局所的なピークであり、かつ、予め与えられたしきい値以上のヒストグラム値だった場合、その値範囲の中心を仮の主要色中心とする。
図５は、図３に示す原色成分の値範囲への分割例において、着目した値範囲が局所的なピークであり、かつ、予め与えられたしきい値以上のヒストグラム値であった例で、値範囲の中心を黒円で示してある。その黒円におけるＲの値は４０で、Ｇの値は２４となり、この黒円が１つの仮の主要色中心となる。

次に、仮の主要色中心を中心としてマハラノビス距離が予め定められたしきい値以下になる色の平均値を求めて主要色中心とする。
マハラノビス距離を求める際に用いる共分散行列は、予め学習によって得られる共分散行列を用いることができる。
例えば、共分散行列の学習には、被撮像体について予め得られたすべての色ヒストグラムの値範囲の中心点に対応する色成分を、塗られた球状又は立方体の物体を複数の照明条件で撮像して得られた画素値から共分散行列を作成することができる。
このようにして作れた共分散行列は、それぞれ、対応する色ヒストグラムの値範囲に適用することができる。また、すべての値範囲に対して予め定められた１つの共分散行列を適用することもできる。

また、主要色中心を求める際のしきい値の設定については、例えば、２５６階調のカラー画像を対象とした場合、１乃至２５５までの範囲でしきい値を取ることが可能である。しきい値の望ましい設定範囲としては、マハラノビス距離を用いる場合、例えば、５から３０までの範囲に設定することができる。

この主要色中心を求める処理の意義を図６及び図７を参照して以下に説明する。
これら両図は、簡略化のため、二次元で書き表されている。図６は、実線で囲まれた範囲が色ヒストグラムの局所的なピークの値範囲で、かつ、予め定められたしきい値以上のヒストグラム値を持つ値範囲である。
実線で囲まれた範囲の×印が仮の主要色中心を表しており、黒丸の点は実際の画像で得られた画素のヒストグラム値を表している。

図６では、仮の主要色中心は、黒丸の点の実際の平均から若干ずれていることが判るが、点線で囲まれた楕円内の領域で平均値を計算し直せば、図６の×印のように新たな平均値が求められる。
図７の×印は図６の場合に比して仮の主要色中心の近傍における実際の画素の平均に、より近づいている。図７では黒丸の点の大きさが図６よりも小さく描かれているが、これは図の見易さのためである。

また、図６の点線で示される楕円内の領域は、仮の主要色中心（×印）を中心としてマハラノビス距離が予め定められたしきい値以下になる領域の例を表している。
仮の主要色中心を求める上記処理、すなわち、仮の主要色中心の補正処理は、図６の×印で示すように、真のピークからずれている可能性のある仮の主要色中心をその近傍で補正し、図７の×印で示すように、より真の局所的なピークに近い値を主要色中心として抽出するのを可能にする機能を有する。

次に、主要色中心を中心としてマハラノビス距離が予め定められたしきい値以下になる色成分をも纏めて主要色とする。
この処理には、仮の主要色中心から主要色中心を求める際に用いた共分散行列をそのまま用いることができる。

すなわち、共分散行列の学習には、予めすべての色ヒストグラムの値範囲の中心点に対応する色成分が塗られた球体又は立方体の物体を、複数の照明条件で撮像して得られた画素値から共分散行列を作成することができる。
このようにして作成された共分散行列は、それぞれ対応する色ヒストグラムの値範囲の主要色に適用することができる。
また、すべての主要色に対して予め定められた１つの共分散行列を用いることもできる。

また、しきい値の設定については、例えば、２５６階調のカラー画像を対象とした場合、１から２５５までに設定が可能である。しきい値の望ましい範囲としては、マハラノビス距離を用いる場合、例えば、５から３０までの範囲に設定することができる。

このようにして主要色の抽出を行うことにより、色合いの違いが低い色は、同じ主要色になり、色合いの違いが高い色は、異なった主要色になるので、色合いの違いが大きければ大きいほど、その色合いの違いは強調される一方、色合いの違いが小さければその差は吸収されてその色合いの違いが低い、すなわち、似た色を同一の主要色に纏める効果が得られる。
すなわち、夕方の撮影で全体的に赤みがかった画像として撮影されたり、雨の日の撮影で全体的に青みがかった画像として撮影されたりして照明条件が大きく異なった場合でも、照明条件によらずライセンスプレートの画像上における大きな色の差を保ちつつ、似たような色を１つの色として適応的に纏める効果が得られるので、文字に使われている色と背景に使われている色とを良好に分離可能である。

さらに、北米で使用されているライセンスプレートは、人間に取って読み易いようにデザインされているので、色やデザイン等が多彩であっても、抽出された主要色は、文字に使われている色と背景に使われている色とを良好に分離可能である。

次に、主要色画像の作成について説明する。
入力画像から抽出された主要色の個数分だけの、主要色に対応した画像を準備し、着目した画素が或る主要色に属すると判定された場合には当該画素と同じ座標の画素値を１とし、着目した画素が或る主要色に属すると判定されない場合にはその画素と同じ座標の画素値を０とする。この処理を準備した画像内のすべての画素について行う。
このようにして作成される画像を主要色画像と呼ぶ。

例えば、入力された画像が図２３のような画像であった場合には、主要色画像としては、図８（赤）、図９（白）、図１０（紺）、図１１（青緑）のような主要色画像の各々に分解される。
また、入力された画像が図１２のような画像であった場合には、主要色画像としては、図１３（赤）、図１４（白）、図１５（暗い赤）、図１６（灰色）のような主要色画像の各々に分解される。

上述した主要色画像の作成方法によれば、入力画像において、その画素には上述したいずれの主要色にも属さない画素が出て来るが、このような画素は画像の図形領域、例えば、ライセンスプレートの文字領域になり得ない画素であるとして、主要色抽出処理後の処理に進む。
また、入力画像内の画素が、複数の主要色に属する画素になる可能性もあるが、主要色抽出処理後の処理に進む。

次に、上述のようにして作成された主要色画像を複数組み合わせて組合せ画像を作成することについて説明する。
組合せ画像の作成は、組合せ作成手段１６で行われるが、その処理（図２の組合せ作成処理Ｓ３）は、以下に説明する主要色画像の組合せのアルゴリズムによって行われる。

組合せ画像の作成においては、主要色抽出手段１４から組合せ作成手段１６に入力されるすべての主要色画像からこれら主要色画像を組み合わせ得るすべての２つの主要色画像の組合せを作成する。
例えば、上述の入力画像が図１２の画像である例においては、得られる主要色画像は、上述したように、図１３（赤）、図１４（白）、図１５（暗い赤）、図１６（灰色）の４種類の主要色画像であるから、組合せ画像の作成において作成される組合せ画像は、６種類、すなわち、赤と白、赤と暗い赤、赤と灰色、白と暗い赤、白と灰色、暗い赤と灰色の組合せ画像である。
これらの組合せ画像の作成は、組み合わせようとする主要色画像上の画素座標において、どちらかの画素値が１であった場合に、組合せ画像の画素値を１にし、そうでなかった場合には、その画素値を０にするようにして作成する。

上述した主要色画像の抽出例、すなわち、入力画像が図１２に示す画像の例である場合に抽出される各主要色画像、すなわち、図１３（赤）、図１４（白）、図１５（暗い赤）、図１６（灰色）の主要色画像は、いずれも正しく「７５５」という文字の部分を表す画像となっていない。
しかし、組合せ作成手段１６において、図１３（赤）及び図１５（暗い赤）とを組み合わせることによって、図１７に示す組合せ画像を得ることができる。

このように、上述した組合せ作成手段によって複数の主要色画像を組み合わせたものも、後述する図形領域抽出手段１８において文字領域（図形領域）の候補と看做して文字抽出処理に供し得るから、屋外環境下における影やハイライトの影響で文字領域が複数の主要色画像に分かれてしまっても、組合せ画像により文字の部分を安定して抽出可能になる。

上述のようにして組合せ作成手段１６から出力される文字領域の候補、すなわち、主要色画像及び組合せ画像は、図形領域抽出手段１８に入力される。
図形領域抽出手段１８における処理（図３の図形領域抽出処理Ｓ４）は、入力される主要色画像及び組合せ画像から認識しようとする図形領域、例えば、文字（ライセンス番号）の領域を図形領域候補として抽出する。以下、そのアルゴリズムを説明する。
図形領域抽出手段１８の処理において、例えば、主要色画像や組合せ画像の画素値が１の部分から縦方向のラン及び横方向のランのいずれか一方又は双方を抽出して長すぎるランをノイズ成分として除去することによって、ライセンスプレートの枠等、文字として使われる可能性の低い領域を除去することができる。

長すぎるランの判定について説明する。横方向のランについては、例えば、入力画像の幅の３０％を超えた長さの横ランは、文字を構成するには長すぎるランとし、縦方向のランについては、例えば、入力画像の高さの７０％を超えた長さの縦ランは、文字を構成するには長すぎるランとして、それらのランを除去の対象とする。
例えば、図１８に示すような組合せ画像が、組合せ作成手段１６から図形領域抽出手段１８に入力されたとすると、上記条件の下でその組合せ画像の縦及び横に長すぎるランを除去すると、図１９に示すような画像となる。

上述のようにして長すぎるランを除去した後、画素値１の連結成分を抽出する。抽出された連結成分の中心となる座標における高さ及び幅のいずれか一方又は双方を入力画像の高さ及び幅のいずれか一方又は双方と比較することによって、ノイズ成分を除去することができる。
例えば、認識すべき文字は、一般に、入力画像の中心部に位置しているから、極端に画像の縁近くに位置している連結部分は認識すべき文字であるとは考え難いので、ノイズ成分であるとして除去することができる。その例を図２０の参照の下に説明する。

図２０において、連結部分が入力画像の上下の端側にある部分で入力画像の幅の１５％に相当する部分や、入力画像の左右の端側にある部分で入力画像の高さの１０％に相当する部分に連結部分の中心が位置している場合に、その連結部分を除去することができる。
その結果、図２０に示す画像内の連結部分は除去されて図２１に示す画像が得られる。

上述した説明では、図２０内の「ＵＴＡＨ」という州名の文字領域まで除去されてしまうが、このような除去を回避することも可能である。
例えば、連結部分が入力画像の上下の端側にある部分で入力画像の高さの１５％に相当する部分や、入力画像の左右の端側にある部分で入力画像の幅の１０％に相当する部分に連結部分の中心が位置していて、かつ、連結部分の高さと幅との比が、予め定められた範囲から外れている場合に、その連結部分をノイズ成分として除去すれば良い。
上記連結部分の高さと幅との比が、例えば、０．９以上から１０．０以下の場合に、その部分は文字である可能性があるとし、それ以外の値であるときはノイズ成分として除去すれば良い。

また、同様にして、入力される図形領域候補の高さ及び又は幅（画素値１が連続で示される）のいずれか一方又は双方が、入力画像の高さ及び又は幅のいずれか一方又は双方に対して大き過ぎたり小さ過ぎる連結部分もノイズ成分として除去する。
例えば、図形領域候補が図２１に示すようなものであるとき、その中央のやや上にあるギザギザ状の連結部分の幅ｗ１及び高さｈ１のいずれか一方又は双方と入力画像の幅Ｗ及び高さＨのいずれか一方又は双方と比較してその割合が予め定められた値より大きいとき、文字の連結部分としては大き過ぎる連結部分であると判断することができる。
具体的には、上記連結部分の幅ｗ１が入力画像の幅Ｗの３０％を超えているか、又は、その高さｈ１が入力画像の高さＨの７０％を超えている場合には、そのような連結部分は大き過ぎると判断できる。

また、図２１に例示される連結部分に対しても、同様な判断を行うことができる。図２１の連結部分の幅ｗ２及び高さｈ２のいずれか一方又は双方と入力画像の幅Ｗ及び高さＨのいずれか一方又は双方と比較してその割合が予め定められた値より小さいとき、文字の連結部分としては小さ過ぎる連結部分であると判断することができる。
具体的には、上記連結部分の幅ｗ２が入力画像の幅Ｗの５％以下であるか、又は、その高さｈ２が入力画像の高さＨの２０％以下である場合には、そのような連結部分は小さ過ぎると判断できる。

以上の処理をしてもなお残る連結部分については、それら連結部分を分類して文字認識を施すべき対象とする。それらの連結部分は、文字を認識すべき順番に分類して行う。
先ず、残っている連結部分が複数の行を構成しているかどうかを判定し、もし複数行を構成していると判定された場合は行毎に領域を抽出する。
次に、個別の文字部分に対応する領域を行毎に分類する。
ここでの行抽出には、例えば、樋口他により信学技報、ＰＲＭＵ９８−２０７に記載される「手書き文書画像からの周期的な罫線の除去及び行切り出し」を用いることができる。また、通常の行抽出アルゴリズムを用いることもできる。

例えば、図２２に示すように、北米で用いられるライセンスプレートでは、１行の中に縦に文字が並ぶこともあるが、これらについて上述した残余の連結部分となるときは、それらの連結部分は、然るべき順番で分類されなければならない。
このような場合に、この発明では、抽出された各行に対して、図２２の中に示す座標系のように、横軸の右方向にｘ軸を取り、縦軸の上方向にｙ軸を取って表される座標内に存在する各連結成分の中心座標（Ｃｘ、Ｃｙ）としたとき、２Ｃｘ−Ｃｙの値の小さい順に分類する。
この分類方法に従うと、図２２に示す各連結成分は、「ＡＢ１２３」の順番に並べ替えられることになる。

図形領域抽出手段１８は、以上述べた処理により、連結成分を順番に抽出し、連結成分から成る画像である図形領域候補を作成し、その図形領域候補を図形認識手段２０に出力する。

図形認識手段２０での図形認識処理及びそのアルゴリズムを以下に説明する。
図形認識手段２０では、入力される図形領域候補の各々に対して図形認識処理を施す。例えば、文字図形を対象とした図形認識に対しては、通常の文字認識方法を用いることができ、その際に認識結果の確からしさを示す指標である信頼度も同時に出力することができる。

その文字認識方法としては、例えば、佐藤他により信学技報ＰＲＵ９５−２１９に記載される「一般学習ベクトル量子化による文字認識」を用いることができる。また、他の文字認識方法を用いることもできる。
また、信頼度の算出方法としては、例えば、石寺他により信学技報ＰＲＭＵ９８−１６に記載される「住所読み取りにおける文字認識結果の評価方式」を用いることができる。また、他の認識信頼度算出方法を用いることもできる。

上述のような文字認識処理を行えば、文字認識において得られる信頼度が予め定められたしきい値よりも小さい候補を文字認識の対象外とすることにより、文字領域候補として本来認識対象とすべきでない文字領域候補が入力されても、誤った認識結果を出力せずに、正しい文字を表す文字領域候補に対する文字認識結果を得ることが可能となる。

上述したように、複数の主要色画像と組合せ画像とから図形領域候補の抽出が行われ、抽出された図形領域候補に対して図形認識処理が施される。
この図形認識処理において、すべての画像に対する図形、例えば、文字であるライセンス番号の読み取り結果を順位付けすることにより、ライセンス番号読み取り結果の候補をその信頼性の高さを表す順位で得ることができる。
例えば、画像毎にすべての文字領域候補に対する文字認識信頼度の平均値を求め、その平均値の高い順番にライセンス番号読み取り結果の候補とすることができる。このような順位付け処理を行えば、文字認識処理において認識対象外とされた文字領域候補については文字認識を行うことなく、他の文字領域候補について文字認識処理を行うようにすることができる。

すなわち、主要色画像と組合せ画像とから得られた文字領域候補が４つあったとした場合に、最初の１文字目が認識対象外の文字領域候補とされたときでも、残りの３つの文字領域候補に対する文字認識信頼度の平均値を利用することが可能である。
また、画像毎にすべての文字領域候補に対する文字認識信頼度の平均値を計算し、最も良い値を持つ認識結果を最終的なライセンス番号の読み取り結果として出力することができる。

このように、この実施例の構成によれば、入力されたカラー画像に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解し、分解された主要色画像を組み合わせて組合せ画像を作成し、主要色画像及び組合せ画像から文字領域候補を抽出し、抽出されたすべての文字領域候補に対して文字認識処理を施し、文字認識処理結果の文字認識信頼度によって最も良い文字の読み取り結果を得るようにしている。

したがって、非常に多様な色とデザインとで構成される認識対象の文字を撮像する際に悪影響を与える因子、例えば、照明条件の変動、影、ハイライト等の影響によって惹起して来る文字抽出の不安定性を高度に除くことができる。
この効果が得られることから、文字領域の抽出を上記因子の影響の排除に寄与し得る最も望ましい基準で行うことができ、文字認識精度の向上となる。

以上、この発明の実施例を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上記実施例においては、ＲＧＢ値の色空間を例にして説明しているが、必ずしもＲＧＢ空間だけに限られるものではなく、その他の表色系、例えば、ＣＭＹ系（シアン、マゼンタ及びイエローから成る表示系）の色空間を用いることも可能であるし、グレースケールで行うことも可能である。

上記実施例においては、ＲＧＢの原色成分が２５６階調で表される通常のデジタル化されたカラー画像について、各原色成分の値範囲を１６等分する例について説明したが、何等分で分割してもよい。また、原色成分毎に異なる等分で分割してもよい。
また、分割される領域のうちの一部領域又はすべての領域が互いに重なり合っていてもよいし、一度作成されたヒストグラムにスムージングを施してもよい。
さらには、値範囲は、必ずしも、等分でなくてもよい。
また、いずれの場合であっても、値範囲は固定でなく、所定の条件の下で可変的に変更されてもよい。

色ヒストグラム値の局所的なピークを検出した後に、検出された局所的なピークのヒストグラム値が、予め与えられたしきい値以上であるか否かの判定におけるしきい値の望ましい値の範囲としては、全画素数の１％から５０％までを設定することができ、この範囲の値であれば、どのような値にしきい値を設定してもよい。
また、しきい値は固定でなく、所定の条件の下で可変的に変更されてもよい。

上述した仮の主要色中心の補正処理において、マハラノビス距離だけでなく、ユークリッド距離を用いても良いし、シティブロック距離を用いても良い。但し、ユークリッド距離やシティブロック距離を用いた場合、しきい値は１０乃至１２８の範囲に設定することが望ましい。
また、いずれの場合であっても、しきい値は固定でなく、所定の条件の下で可変的に変更されてもよい。

また、主要色中心に基づいて主要色を抽出におけるしきい値は、例えば、２５６階調のカラー画像の場合、１から２５５までの範囲で設定可能である。マハラノビス距離を用いる場合のしきい値の望ましい設定範囲は、５乃至３０である。
また、主要色中心に基づいての主要色の抽出には、マハラノビス距離だけでなく、ユークリッド距離を用いても良いし、シティブロック距離を用いても良い。但し、ユークリッド距離やシティブロック距離を用いた場合、しきい値は１０乃至１２８の範囲に設定することが望ましい。
また、いずれの場合であっても、しきい値は固定でなく、所定の条件の下で可変的に変更されてもよい。

また、主要色の抽出には他の方法を利用することも考えられる。例えば、ｋ−ｍｅａｎｓ法等のクラスタリングアルゴリズムによってＲＧＢ空間内でクラスタリングを行い、ある画素がどのクラスターに属するかを知ることで主要色を抽出し得るようにしてｋ−ｍｅａｎｓ法等を主要色の抽出に適用することも可能であるし、色の分布を混合正規分布であると仮定して混合正規分布を求め、或る画素がどの正規分布に属するかを知るようにして主要色の抽出に適用することも可能である。
さらには、特開２００１−２０１９５３号公報に開示される方法を主要色の抽出に適用することも可能である。

主要色の抽出で得られる効果は、ライセンスプレートの画像だけでなく、例えば、道路標識の画像や看板の画像から文字と背景とを分離する場合にも同等に得られる。

上記実施例での組合せ画像の作成において、あらゆる２つの主要色画像の組合せを取る場合について説明したが、あらゆる３つの主要色画像の組合せや４つの主要色画像の組合せでもよく、予め設定した任意の数だけの主要色画像を組み合わせることもできる。
また、すべての組合せの数だけの組合せ画像を作成する例について説明したが、これに限られるものではない。例えば、組み合わせようとする主要色の色合いの近さを評価し、あまりにも色合いが異なるような組合せ画像は作成しないようにすることもできる。

例えば、組み合わせようとする２つの主要色の色度を比較し、予め定めたしきい値よりも色度差が大きい場合とか、又はＲＧＢ空間上での主要色間の距離値が予め定めたしきい値よりも大きかった場合には、そのような組合せが１つの文字を形成することはないとして、組合せ画像を作成しないようにすることが可能である。
この場合の判定に用いるしきい値としては、色度を用いる場合０乃至２までの任意の実数を用いることができ、２５６階調のＲＧＢ空間における距離を用いる場合には０乃至３５０までの任意の値を用いることができる。

組合せ画像の作成で得られる効果は、ライセンスプレートの画像だけでなく、例えば、道路標識の画像や看板でも、屋外環境下における影やハイライトの悪影響を受けずに文字の部分を安定して抽出可能となる。

図形領域抽出手段において、縦方向及び横方向における長すぎるランの検出に、横方向のランの長さが入力画像の幅の３０％を超えているか、又は、縦方向のランの長さが入力画像の高さの７０％を超えている場合について説明したが、横方向及び縦方向のランの長さが、それぞれ、入力画像の幅及び高さの１％乃至９９％の範囲で自由に設定可能である。
また、上記パーセンテージは固定でなく、所定の条件の下で可変的に変更されてもよい。

また、図形領域抽出手段において、抽出された連結部分をノイズとして除去するか否かの判定に、除去の対象となる連結部分が入力画像の上下の端側に位置しており、当該連結部分の中心が入力画像の幅の１５％に相当する部分にある場合や、対象となる連結部分が入力画像の左右の端側に位置しており、当該連結部分の中心が入力画像の高さの１０％に相当する部分にある場合に、その連結部分を除去する例について説明したが、上記パーセンテージの各々は、入力画像の幅の１５％、高さの１０％に限られるものではなく、それぞれ、入力画像の幅及び高さの１％乃至９９％の範囲で自由に設定可能である。
また、上記パーセンテージは固定でなく、所定の条件の下で可変的に変更されてもよい。

また、図形領域抽出手段において、高さ及び幅が大き過ぎたり小さ過ぎる連結部分をノイズとして除去するか否かの判断において、連結部分が大き過ぎると判断する条件として、除去しようとする連結部分の幅が入力画像の幅の３０％を超えているか、又はその連結部分の長さが入力画像の高さの７０％を超えている例を説明したが、上記パーセンテージに限られるものではなく、それぞれ、入力画像の幅及び高さの１％乃至９９％の範囲で自由に設定可能である。
また、連結部分が小いさ過ぎると判断する条件として、除去しようとする連結部分の幅が入力画像の幅の５％以下であるか、又はその連結部分の高さが入力画像の高さの２０％以下である例を説明したが、上記パーセンテージに限られるものではなく、それぞれ、入力画像の幅及び高さの１％乃至９９％の範囲で自由に設定可能である。
また、上記のいずれのパーセンテージも固定でなく、所定の条件の下で可変的に変更されてもよい。

図形領域抽出手段のアルゴリズムとしては、特開平２０００−２５１０１６号公報に記載される「ナンバープレート認識装置」や、特開平２００１−２２２６８０号公報に記載される「ナンバー読取り装置」等に記載される方法を用いることも可能である。
また、森他により信学技報ＰＲＭＵ９８−１５４に記載される「画質劣化にロバストな映像中テロップ文字認識」を用いることができる。

上記実施例においては、図形のうちの文字、具体的にはライセンスプレートの例を主として説明しているが、この発明の適用対象は、ライセンスプレートに限られるものではなく、日本のナンバープレートにも適用可能である。
また、この発明は、文字に限られず、図形一般の読み取りにおいて実施することも可能である。

主要色の抽出は、ビデオ画像中のキャプションを文字と文字以外に分離するのにも適用可能である。また、写真の画像にも適用可能である。
また、組合せ画像の作成は、ビデオ画像中のキャプションにクラデーションが掛かっている場合や、キャプションの色がストライプ状に複数で表示されている場合にも適用可能である。また、写真の画像にも適用可能である。
したがって、ビデオキャプション等の文字、図形の読み取りに利用可能である。

図１は、この発明の実施例１である図形読み取り装置の構成を示す図である。 同読み取り装置の処理フローチャートを示す図である。 色ヒストグラムの１つの例を示す図である。 色ヒストグラムの他の例を示す図である。 仮の主要色中心を説明する図である。 仮の主要色中心の近傍の様子を示す図である。 主要色中心の例を示す図である。 図２３のカラー画像について作成された主要色画像の第１の例を示す図である。 図２３のカラー画像について作成された主要色画像の第２の例を示す図である。 図２３のカラー画像について作成された主要色画像の第３の例を示す図である。 図２３のカラー画像について作成された主要色画像の第４の例を示す図である。 カラー画像の１つの例を示す図である。 図１２のカラー画像について作成された主要色画像の第１の例を示す図である。 図１２のカラー画像について作成された主要色画像の第２の例を示す図である。 図１２のカラー画像について作成された主要色画像の第３の例を示す図である。 図１２のカラー画像について作成された主要色画像の第４の例を示す図である。 図１２のカラー画像について作成された主要色画像を組み合わせた組合せ画像の例を示す図である。 組合せ画像の他の例を示す図である。 図１８の組合せ画像についてその長過ぎるランを除去した後の組合せ画像を示す図である。 図１９の組合せ画像についてその上下及び左右の端側の領域を説明する図である。 図２０についての処理後の組合せ画像中の連結部分の高さと幅の例を示す図である。 文字認識の対象となる文字が縦及び横の双方で並んで混在する画像の例を示す図である。 カラー画像の他の例を示す図である。 図２３のカラー画像をグレースケールで表した画像の例を示す図である。

符号の説明

１０ 図形読み取り装置
１２ 画像入力手段
１４ 主要色抽出手段（画像分解手段、評価手段、分割手段、仮主要色中心決定手段、主要色中心決定手段、抽出手段）
１６ 組合せ作成手段（画像組合せ手段、入力手段、主要色画像出力手段）
１８ 図形領域抽出手段（図形読み取り手段の一部）
２０ 図形認識手段（図形読み取り手段の残部）

Claims (22)

1. 入力画像内の出現頻度の高い色成分を主要色として抽出し、
   前記入力画像を抽出された前記主要色毎の画像に分解し、
   分解された前記画像のうちの、前記主要色が所定の関係にある前記画像を組み合わせ、
   分解された前記画像と組み合わされた前記画像に基づいて図形の読み取りを行うことを特徴とする図形読み取り方法。
2. 入力画像内の出現頻度の高い色成分を主要色として抽出し、
   前記入力画像を抽出された前記主要色毎の画像に分解し、
   分解された前記画像の前記主要色間の色違いの度合を評価し、
   前記評価の結果に基づいて分解された前記画像のうちの、前記主要色が所定の関係にある前記画像を組み合わせ、
   分離された前記画像と組み合わされた前記画像に基づいて図形の読み取りを行うことを特徴とする図形読み取り方法。
3. 前記主要色の抽出は、前記入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、
   分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心とし、
   仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心とし、
   前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい前記色成分の各々を含めさせて行われることを特徴とする請求項１又は２記載の図形読み取り方法。
4. 前記画像の分解は、抽出された前記主要色毎の画像を用意し、
   用意された前記画像毎に前記画像の画素が前記画像の前記主要色に属するとき当該画素を第１の画素値とし、属しないとき前記画素を第2の画素値として行われることを特徴とする請求項１、２又は３記載の図形読み取り方法。
5. 前記図形の読み取りは、分解された前記画像及び組み合わされた前記画像から図形領域候補を抽出し、
   抽出されたすべての前記図形領域候補に対して図形認識処理を行い、
   前記図形認識処理の結果に基づいて行われることを特徴とする請求項１、２、３又は４記載の図形読み取り方法。
6. 前記図形領域候補の抽出は、分解された前記画像及び組み合わされた前記画像を表す画素値が横方向及び又は縦方向に連続する前記図形領域候補のうちの、前記画素値が横方向及び又は縦方向に連続する数が、前記入力画像の横方向画素数及び縦方向画素数の予め決められた割合より大きい前記図形領域候補を前記図形領域候補から除外し、
   除外されていない前記図形領域候補の中心となる座標における前記画素値が横方向及び又は縦方向に連続する数が、前記入力画像の横方向画素数及び縦方向画素数と比較し、
   該比較結果に基づいて除外されていない前記図形領域候補を前記図形領域候補とするか否かを判定して行うことを特徴とする請求項５記載の図形読み取り方法。
7. 入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、
   分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心とし、
   仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心とし、
   前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい色成分の各々を含めた前記色成分を主要色として抽出することを特徴とする主要色抽出方法。
8. 入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割し、
   分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心とし、
   仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心とし、
   前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい前記色成分の各々を含めた前記色成分を主要色として抽出し、
   抽出された前記主要色毎の画像を用意し、
   用意された前記画像毎に、前記画像の画素が前記画像の前記主要色に属するとき当該画素を第１の画素値にし、属しないとき前記画素を第2の画素値にして前記入力画像を前記主要色毎の画像に分解することを特徴とする画像分解方法。
9. 入力画像内の出現頻度の高い色成分を主要色として抽出する主要色抽出手段と、
   前記入力画像を前記主要色抽出手段により抽出された前記主要色毎の画像に分解する画像分解手段と、
   該画像分解手段により分解された前記画像のうちの、前記主要色が所定の関係にある前記画像を組み合わせる画像組合せ手段と、
   前記画像分解手段により分解された前記画像と前記画像組合せ手段により組み合わされた前記画像に基づいて図形の読み取りを行う図形読み取り手段とを備えたことを特徴とする図形読み取り装置。
10. 入力画像内の出現頻度の高い色成分を主要色として抽出する主要色抽出手段と、
    前記入力画像を前記主要色抽出手段により抽出された前記主要色毎の画像に分解する画像分解手段と、
    該画像分解手段により分解された前記画像の前記主要色間の色違いの度合を評価する評価手段と、
    該評価手段による前記評価の結果に基づいて前記画像分解手段により分解された前記画像のうちの、前記主要色が所定の関係にある前記画像を組み合わせる画像組合せ手段と、
    前記画像分解手段により分解された前記画像と前記画像組合せ手段により組み合わされた前記画像に基づいて図形の読み取りを行う図形読み取り手段とを備えたことを特徴とする図形読み取り装置。
11. 前記主要色抽出手段は、前記入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、
    該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、
    該仮主要色中心決定手段により決定された仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心と決定する主要色中心決定手段と、
    該主要色中心決定手段により決定された前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい前記色成分の各々を含めた前記色成分を主要色として抽出する抽出手段とから成ることを特徴とする請求項９又は１０記載の図形読み取り装置。
12. 前記画像分解手段は、前記抽出手段により抽出された前記主要色毎の画像を入力する入力手段と、
    該入力手段により入力された前記画像毎に前記画像の画素が前記画像の前記主要色に属するとき当該画素を第１の画素値にし、属しないとき前記画素を第2の画素値にして主要色の画像を作成する作成手段とから成ることを特徴とする請求項９、１０又は１１記載の図形読み取り装置。
13. 前記図形読み取り手段は、前記画像分解手段により分解された前記画像及び前記画像組合せ手段により組み合わされた前記画像から図形領域候補を抽出する候補抽出手段と、
    該候補抽出手段により抽出されたすべての前記図形領域候補に対して図形認識処理を行う認識処理手段と、
    該認識処理手段で得られた前記図形認識処理の結果に基づいて図形を読み取る読み取り手段とから成ることを特徴とする請求項９、１０、１１又は１２記載の図形読み取り装置。
14. 前記候補抽出手段は、前記画像分解手段により分解された前記画像及び前記画像組合せ手段により組み合わされた前記画像を表す画素値が横方向及び又は縦方向に連続する前記図形領域候補のうちの、前記画素値が横方向及び又は縦方向に連続する数が、前記入力画像の横方向画素数及び縦方向画素数の予め決められた割合より大きい前記図形領域候補を前記図形領域候補から除外する候補除外手段と、
    該候補除外手段により除外されていない前記図形領域候補の中心となる座標における前記画素値が横方向及び又は縦方向に連続する数が、前記入力画像の横方向画素数及び縦方向画素数と比較する比較手段と、
    該比較手段による比較の結果に基づいて除外されていない前記図形領域候補を前記図形領域候補とするか否かを判定する判定手段とを含むことを特徴とする請求項１３記載の図形読み取り装置。
15. 入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、
    該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、
    該仮主要色中心決定手段により決定された仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心を決定する主要色中心決定手段と、
    該主要色中心決定手段により決定された前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい色成分の各々を含めた前記色成分を主要色として抽出する抽出手段とを備えることを特徴とする主要色抽出装置。
16. 入力画像を表す表色系の２以上の色成分について当該色成分を所定数に分割する分割手段と、
    該分割手段により分割された第１の色成分区間の色成分値が隣接する第２の色成分区間の色成分値に対してピークとなっており、かつ、予め決められた第１のしきい値以上にあるとき第１の前記色成分区間の中心を仮の主要色中心と決定する仮主要色中心決定手段と、
    該仮主要色中心決定手段により決定された仮の前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第２のしきい値より大きい前記色成分の平均値を求めて主要色中心を決定する主要色中心決定手段と、
    該主要色中心決定手段により決定された前記主要色中心を中心として分布する前記色成分のうちの、前記色成分間の色の近さを示す値が予め決められた第３のしきい値より大きい前記色成分の各々を含めた前記色成分を主要色として抽出する抽出手段と、
    該抽出手段により抽出された前記主要色毎の画像を入力する入力手段と、
    該入力手段により入力された前記画像毎に、前記画像の画素が前記画像の前記主要色に属するとき当該画素を第１の画素値にし、属しないとき前記画素を第2の画素値にして前記主要色毎の画像を出力する主要色画像出力手段とから成ることを特徴とする画像分解装置。
17. コンピュータに請求項１乃至請求項６のいずれか一に記載の図形読み取り方法を実行させるための制御プログラム。
18. コンピュータに請求項７記載の主要色抽出方法を実行させるための制御プログラム。
19. コンピュータに請求項８記載の画像分解方法を実行させるための制御プログラム。
20. コンピュータに請求項９乃至請求項１４のいずれか一に記載の図形読み取り装置を制御させるための制御プログラム。
21. コンピュータに請求項１５記載の主要色抽出装置を制御させるための制御プログラム。
22. コンピュータに請求項１６記載の画像分解装置を制御させるための制御プログラム。
    

Images