JP2018190248A - 画像処理プログラム、画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】画像から特徴のある領域を抽出する精度を向上する方法を提供する。【解決手段】画像に文字の領域が含まれる場合に、文字の線幅を特定し、特定した文字線幅以上の線を辺又は内部に含むことが可能な第１の枠を生成し、生成した第１の枠に含まれる特定の箇所と、画像に含まれる画素または領域とを重なるように第１の枠を配置し、画像に含まれる画素または領域の輝度値が、第１の枠に含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、画素又は領域の種別を判定する。【選択図】図７

Description

本発明は画像処理プログラム、画像処理方法及び画像処理装置に関する。

対象を撮影して得られる画像に含まれる特徴領域を抽出し、抽出したその特徴領域に対応したタグ付けをその画像に対して行うことで、画像検索を効率的に行う技術がある。タグ付けを行う際に画像から抽出する特徴領域は、例えば、画像内に存在する看板等に書かれた文字領域等である。看板等を撮影した画像から文字領域を抽出する方法として、例えば、ｎｉｂｌａｃｋ法により、文字領域と背景領域を２値化し、文字領域を抽出する方法がある。

ニブラック（W. Niblack）、「デジタル画像処理入門（An Introduction to Digital Image Processing）」、Englewood Cliffs, N.J.、１９８６年、p. １１５-１１６

しかし、上述したｎｉｂｌａｃｋ法では、撮影する環境によって、２値化の判定を誤る場合がある。例えば、２値化を判定する場合に閾値を算出するための枠の大きさに応じては、文字領域を背景領域として抽出してしまう場合がある。また、画像上に影がかかる領域が存在する場合、影がかかる領域と影がかからない領域の境界付近では、正しい２値化ができず、背景領域を文字領域として抽出してしまう場合がある。

そこで、本発明は、画像から特徴のある領域を抽出する精度を向上することを目的とする。

画像に文字の領域が含まれる場合に、文字の線幅を特定し、特定した文字線幅以上の線を辺又は内部に含むことが可能な第１の枠を生成し、生成した第１の枠に含まれる特定の箇所と、画像に含まれる画素または領域とを重なるように第１の枠を配置し、画像に含まれる画素または領域の輝度値が、第１の枠に含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、画素又は領域の種別を判定する。

画像から特徴のある領域を抽出する精度を向上することができる。

ｎｉｂｌａｃｋ法により背景領域に含まれる画素の２値化を行う場合の例について示す図である。 ｎｉｂｌａｃｋ法により文字領域に含まれる画素の２値化を行う場合の例について示す図である。 ｎｉｂｌａｃｋ法により影のかかる領域と影のかからない領域付近における画素の２値化を行う場合の例について示す図である。 第１の実施形態に係る処理を行う画像処理装置の構成例を示す図である。 「Ｆ」という文字に対し、線幅を特定する際に計測する幅の例を示す図である。 ｎｉｂｌａｃｋ法により文字領域に含まれる画素の２値化を文字線幅より大きい枠を利用して行う場合の例について示す図である。 第１の実施形態に係る画像処理装置が、文字領域を特定する際の処理フローを示す図である。 画像処理を行う対象となる画像データの例を示す図である。 図８の画像データ８００に含まれる画素８０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図８の画像データ８００に含まれる画素８０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図８の画像データ８００に含まれる画素８０２に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図８の画像データ８００に含まれる画素８０２に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図８の画像データ８００に含まれる画素８０３に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図８の画像データ８００に含まれる画素８０３に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 画像処理を行う対象となる画像データの例を示す図である。 図１５の画像データ１５００に含まれる画素１５０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 図１５の画像データ１５００に含まれる画素１５０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 第２の実施形態に係る画像処理装置４００が、文字領域を特定する際の処理フローを示す図である。 看板１９０３をカメラ１９０４で撮影する場合の模式図である。 カメラで撮影した画像において、看板１９０３に影がかかっている状態を示す図である。 画像処理を行う対象となる画像データの例を示す図である。 図２１の画像データ２１００に含まれる画素２１０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。 本実施形態に係る画像処理装置のハードウェアの構成例を示す図である。

まず始めにｎｉｂｌａｃｋ法による２値化について説明する。ｎｉｂｌａｃｋ法とは撮影した画像に含まれる特定の画素に対して２値化を行う場合に、特定の画素を中心とした所定の範囲に含まれる輝度値の平均値に応じて算出した閾値に基づいて２値化を行う方法である。以下、図面を参照して、ｎｉｂｌａｃｋ法について説明する。

図１は、ｎｉｂｌａｃｋ法により背景領域に含まれる画素の２値化を行う場合の例について示す図である。ｎｉｂｌａｃｋ法により、図１の画像データ１０１に含まれる注目画素１０２を２値化する場合の処理について説明する。ｎｉｂｌａｃｋ法では、まず始めに、注目画素１０２を中心として、所定の大きさの枠１０３が生成される。枠１０３に含まれる画素の輝度ヒストグラムを１０４に示す。続いて、枠１０３に含まれる画素の輝度値の平均値が算出される。その後、平均値に対し、例えば、所定の値だけ小さい輝度値を閾値とし、注目画素１０２の輝度値が閾値以上であるか、閾値より小さいかに基づき２値化が行われる。

今回は、一例として、閾値以上の輝度値を示す注目画素を２値化における１（例えば、背景領域）とし、閾値よりも小さい輝度値を示す注目画素を２値化における０（例えば、文字領域）とする例を説明する。注目画素１０２の輝度値１０５は、閾値以上の輝度値を示すため、２値化における１（背景領域）であると判定される。２値化における１と０のどちらを文字領域とするかは、文字領域と背景領域の輝度値の大小関係に応じて設定される。

続いて、ｎｉｂｌａｃｋ法において、誤認識が発生する場合の例について説明する。

始めに、枠の大きさに起因して、文字領域を背景領域であると誤認識される場合について説明する。具体例として、図２の画像データ２０１に含まれる注目画素２０２を２値化する場合の処理について説明する。図２は、ｎｉｂｌａｃｋ法により文字領域に含まれる画素の２値化を行う場合の例について示す図である。

まず、注目画素２０２を中心として、所定の大きさの枠２０３が生成される。枠２０３に含まれる画素の輝度ヒストグラムを２０４に示す。続いて、枠２０３に含まれる画素の輝度値の平均値が算出される。その後、上述した処理と同様の処理により閾値を算出し、注目画素２０２の輝度値が閾値以上であるか、閾値より小さいかに基づき２値化が行われる。注目画素２０２の輝度値２０５は、閾値よりも大きい輝度値を示すため、２値化における１（背景領域）であると誤判定される。このように２値化を行う特定の画素を中心とした所定の枠の大きさが小さい場合には、文字領域が背景領域であると誤認識される場合がある。

次に、影の境界付近において、背景領域が文字領域であると誤認識される場合について説明する。具体例として、図３の画像データ３０１に含まれる注目画素３０２を２値化する場合の処理について説明する。図３は、ｎｉｂｌａｃｋ法により影のかかる領域と影のかからない領域付近における画素の２値化を行う場合の例について示す図である。

まず、注目画素３０２を中心として、所定の大きさの枠３０３が生成される。枠３０３に含まれる画素の輝度ヒストグラムを３０４に示す。続いて、枠３０３に含まれる画素の輝度値の平均値が算出される。その後、上述した処理と同様の処理により閾値が算出され、注目画素３０２の輝度値が閾値以上であるか、閾値より小さいかに基づき２値化が行われる。前述の処理を行うと、今回の注目画素の輝度値３０５は、本来であれば背景領域と判定されるべきところ、閾値より小さい輝度値を示すため、２値化における０（文字領域）であると誤判定されてしまう。

以上のｎｉｂｌａｃｋ法では、２値化を行う特定の画素を中心とした枠の大きさが小さい場合や、影のかかる領域と影のかからない領域付近における注目画素の２値化が行われる場合に、誤認識が発生する場合がある。

以降、本発明に係る処理をｎｉｂｌａｃｋ法に適用した場合の実施例について説明する。適用する方法は、ｎｉｂｌａｃｋ法に限定されない。例えば、枠に含まれる領域の平均値を基準に２値化を行う移動平均法に本発明に係る処理を適用しても良い。

まず初めに、実施形態に係る処理を実行するハードウェアの構成について説明する。

図４は、第１の実施形態に係る処理を行う画像処理装置４００の構成例を示す図である。

第１の実施形態に係る画像処理装置４００は、入力部４０１、特定部４０２、生成部４０３、調整部４０４、判定部４０５、認識部４０６、出力部４０７を有する。

入力部４０１は、撮像装置等の入力装置４０８で撮影された画像データを受信する。入力部４０１は受信した画像データを特定部４０２へ送信する。また、入力部４０１は入力装置４０８に入力された処理に関する設定等の情報を受信し、受信した情報を対応する各処理部へ送信する。処理に関する設定等の情報と、その情報を送信する各機能部の詳細とについては後述する。

特定部４０２は入力部４０１から受信した画像データに含まれる文字線幅を特定する。以下に特定部４０２が文字線幅を特定する際の方法の例として、Ｃａｎｎｙ法を用いた文字線幅の特定方法について図５を用いて説明する。図５は「Ｆ」という文字に対し、線幅を特定する際に計測する幅の例を示す図である。

特定部４０２はＣａｎｎｙ法により入力部４０１から受信した画像データに含まれるエッジを抽出する。特定部４０２は画像データに含まれるエッジによって閉輪郭線が構成される箇所を特定する。特定部４０２は特定した閉輪郭線を構成する輪郭線を一定の画素数毎または領域毎に複数の線（例えば、図５の点線で示す画素数または領域）に分割する。

そして、閉輪郭線で囲まれる領域を挟むように、互いに対向し、かつ、平行な分割線のペアを特定する。図５の例では、矢印５０１〜５０４のそれぞれで示した分割線のペアを特定する。そして、特定した分割線のペア同士の間の距離を算出し、算出した距離中央値の距離を文字線幅として特定する。

なお、文字線幅として、例えば、測定した距離の最頻値または平均値、最大値等を採用することもできる。最頻値や平均値を利用することにより、文字線の長辺側の距離が文字線幅の算出の際に反映されたとしても、より適切な文字線幅を算出することができ、最大値を利用することにより、文字線幅より小さい枠となることを抑制でき、より正確に判定を行うことができる。また、ユーザが文字線幅を指定する入力を行うことで文字線幅を算出する処理を省略することもできる。

以下の例では、分割線のペアについて算出した距離の平均値を文字線幅として利用する場合について説明する。なお、特定した文字線幅が、画像サイズに対し、所定の割合以上の大きさを持つ場合には、該当する線幅は文字線幅に該当するものではないと判定し、文字線幅の特定を行う場合の対象から除外しても良い。

特定部４０２は抽出したエッジの情報や文字線幅の情報等を生成部４０３と判定部４０５に送信する。

生成部４０３は、特定部４０２で特定した文字線幅以上の線を辺又は内部に含み得る枠を生成する。この処理を行うことで、ｎｉｂｌａｃｋ法で誤認識が要因であった２値化を行う特定の画素を中心とした枠の大きさの設定に起因する誤りの発生リスクを低減することができる。すなわち、文字線幅に対して枠のサイズが大きくなるため、枠が文字にうもれてしまい図２の２０３のような状況が発生することを回避できる。

文字線幅に対して枠のサイズを大きくした場合の判定について図６を用いて説明する。図６は、ｎｉｂｌａｃｋ法により文字領域に含まれる画素の２値化を文字線幅より大きい枠を利用して行う場合の例について示す図である。

生成部４０３は、図６の画像データ６０１に含まれる注目画素６０２を中心として、文字線幅以上の線を辺又は内部に含み得る枠を生成する。ここでは、文字線幅以上の線を一辺にもつ正方形の枠６０３を生成する場合の例について説明する。枠６０３に含まれる画素の輝度ヒストグラムを６０４に示す。図６の６０４から分かるように注目画素６０２の輝度値６０５は閾値よりも小さい輝度値を示すため、２値化における０（文字領域）であると判定でき、図２で説明した誤認識が発生することを回避できる。すなわち、枠６０３の辺の長さは、文字線幅よりも大きいため、枠は、文字領域をはみ出すこととなる。そして、枠６０３は、輝度が高い背景領域をも取り込むこととなり、閾値も輝度が高い方にシフトし、閾値を下回る輝度の文字領域を正しく検出できることとなる。

生成部４０３が生成する枠の形状の例として、多角形や、円形等が挙げられるが、これらに限定されない。例えば、画像上にかかる影の領域の形状に応じて、枠の形状を決定しても良い。また、入力部４０１から予めユーザにより形状の設定を受け付けておいても良い。生成部４０３が枠の形状を決定する場合の具体例については後述する。

生成部４０３は生成した枠の情報等を調整部４０４と判定部４０５に送信する。

調整部４０４は、画像データに含まれる各画素または各領域に対し、生成部４０３で生成した枠を配置する位置を調整する。調整部４０４は、画像データに含まれる各画素または各領域が枠に含まれるように複数の配置の仕方を決定する。調整部４０４は、生成部４０３で生成した枠を配置する位置を、所定のパターンに従って複数設定する。

複数設定することで、いずれかの設定では影の影響が抑えられ、誤判定を減少させることができる。注目画素が四角形の頂点部分に位置するように４つの配置パターンを利用することもできる。また、影の領域の形状に基づいて調整しても良い。影の領域の算出方法と枠を配置する位置の設定方法、効果については後述する。調整部４０４は枠を配置する位置に関する情報等を判定部４０５へ送信する。

判定部４０５は、画像データに含まれる各画素または各領域が文字領域であるかどうかを判定する。判定部４０５は画像データに含まれる各画素または各領域の中から、文字領域であるかどうかの判定を行う注目画素または注目領域を選択する。

判定部４０５は、選択した注目画素または注目領域に対し、調整部４０４で調整したそれぞれの枠の位置において、ｎｉｂｌａｃｋ法による処理を行い、注目画素の２値化を行う。以降の処理については、例えば、文字領域の輝度値が背景領域の輝度値よりも小さい場合における判定について説明する。文字領域の輝度値が背景領域の輝度値に比べ小さいか大きいかについては、予め設定しておくことができる。例えば、入力部４０１で予めユーザから設定を受け付けておく（文字領域の輝度値が背景領域の輝度値より大きいか、小さいかの設定を受け付ける）。

判定部４０５は、注目画素または注目領域に対し、調整部４０４で調整した全ての枠の配置で行ったｎｉｂｌａｃｋ法において、注目画素の輝度値が閾値より大きい輝度値となる枠の配置が存在するかどうかを判定する。注目画素の輝度値が閾値より大きい輝度値となる枠の配置が一つでも存在する場合に、該当する画素または領域を背景領域であると判定する。

逆に、注目画素の輝度値が閾値より大きい輝度値となる枠の配置が一つも存在しない場合には、文字領域であると判定する。なお、文字領域の輝度値が背景領域の輝度値よりも大きい場合（そのような設定がされている場合）においては、注目画素の輝度値が閾値より小さい輝度値となる枠の配置が一つでも存在する場合に、該当する注目画素を背景領域であると判定する。

以上のように、本実施形態の処理では、文字線幅より大きい枠を設定し、複数の枠の配置におけるｎｉｂｌａｃｋ法を行い、少なくとも一つの枠において、注目画素の輝度値が閾値より大きい（文字の輝度が背景の輝度に比べて大きい場合には閾値より小さい）枠の配置があるか（正しく背景と文字を判定できる枠の配置があるか）に基づいて、該当する注目画素が背景領域であるとより正しく判定できる。判定部４０５は、判定結果を認識部４０６へ送信する。なお、複数の枠の設定、文字線幅に応じた枠のサイズの設定のいずれかだけを行っても良いし、双方の処理を行っても良い。

認識部４０６は、入力部４０１で受信した画像データにおいて、判定部４０５で文字領域と判定した画素または領域に対し、例えば、文字認識を行う。文字認識を行う際、例えば、文字領域と判定した領域を黒画素、文字領域でないと判定した領域を白画素と２値化されているため、それを用いて認識を行う。認識部４０６は認識した文字の情報を出力部４０７へ送信する。

出力部４０７は、入力部４０１から受信した画像データと、認識部４０６で認識した文字の情報とを対応付けて記憶装置４０９へ出力する。ただし、出力先については前述のものに限定されない。

次に、第１の実施形態に係る画像処理装置４００が文字領域を特定する際の処理の流れについて詳細に説明する。ここでは、文字領域の輝度値が背景領域の輝度値よりも小さいものとする。

図７は第１の実施形態に係る画像処理装置４００が、文字領域を特定する際の処理フローを示す図である。

第１の実施形態に係る画像処理装置４００は、まず始めに入力部４０１で入力装置４０８から画像データを受信する（ステップＳ７０１）。

画像処理装置４００の特定部４０２は、入力部４０１で受信した画像データに含まれる文字線幅を特定する（ステップＳ７０２）。

画像処理装置４００の生成部４０３は、特定部４０２で特定した文字線幅に基づいて先に説明した枠を複数生成する。（ステップＳ７０３）。

画像処理装置４００の判定部４０５は、受信した画像データに含まれる各画素または各領域の中から、文字領域であるかどうかの判定を行う対象としての注目画素または注目領域を選択する。（ステップＳ７０４）。

画像処理装置４００の調整部４０４は、判定部４０５で選択した注目画素に対し、生成部４０３で生成した枠を配置する（ステップＳ７０５）。

画像処理装置４００の判定部４０５は、調整部４０４で調整して配置した枠のそれぞれにおいて、ｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値が閾値以上であるかどうかを判定する（ステップＳ７０６）。画像処理装置４００の判定部４０５は、注目画素の輝度値が閾値以上であると判定した場合（ステップＳ７０６：Ｙｅｓ）、注目画素は文字領域でないと判定する（ステップＳ７０７）。画像処理装置４００の判定部４０５は、注目画素を文字領域でないと判定した後、受信部４０１から受信した画像データにおいて、他に注目画素があるかどうかを判定する（ステップＳ７１１）。

画像処理装置４００の判定部４０５は、注目画素の輝度値が閾値以上でないと判定した場合（ステップＳ７０６：Ｎｏ）、注目画素に対し、調整部４０４で調整した他の枠位置での判定があるかどうかを判定する（ステップＳ７０８）。画像処理装置４００の判定部４０５は、他の枠位置における判定がある場合（ステップＳ７０８：Ｙｅｓ）に、調整部４０４で調整した他の枠の位置に枠を移動する（ステップＳ７０９）。画像処理装置４００の判定部４０５は、枠を移動した後、再度、注目画素の輝度値が閾値以上であるかどうかを判定する（ステップＳ７０６）。

画像処理装置４００の判定部４０５は、注目画素に対し、他の枠の位置での判定がないと判定した場合（ステップＳ７０８：Ｎｏ）、注目画素は文字領域であると判定する（ステップＳ７１０）。

画像処理装置４００の判定部４０５は、受信した画像データにおいて、他に注目画素が存在するかどうかを判定する（ステップＳ７１１）。画像処理装置４００の判定部４０５は、入力部４０１で受信した画像データにおいて、判定が完了していない注目画素が存在する場合（ステップＳ７１１：Ｙｅｓ）、判定が完了していない注目画素を選択し（ステップＳ７０４）、再度、文字領域であるかどうかを判定する。一方、画像処理装置４００の判定部４０５は、入力部４０１で受信した画像データにおいて、他に注目画素が存在しないと判定した場合（ステップＳ７１１：Ｎｏ）、処理を終了する。

画像処理装置４００は、上述の処理フローにより文字領域を特定した後、認識部４０６で特定した文字領域に対して文字認識を行い、認識した文字を出力部４０７は出力する。

次に、影のかかった特定の文字列を含む画像について処理を行う際に画像処理装置４００が誤判定を行わないことを、図８〜図１４を用いて更に詳しく説明する。

図８は画像処理を行う対象となる「ＦＵＪＩＴＳＵ」といった特定の文字列に影がかかった画像データの例を示す図である。図９、図１０は図８の画像データ８００に含まれる画素８０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。図１１、１２は図８の画像データ８００に含まれる画素８０２に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。図１３、１４は図８の画像データ８００に含まれる画素８０３に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。

図８に示す「ＦＵＪＩＴＳＵ」の画像データ８００に含まれる「Ｉ」という文字を含む領域８０４について、文字領域であるかどうかを判定する際の処理について説明する。図８のように「Ｉ」という文字は、文字の下部側は影がかかっている、一方、文字の上側は影がかかっていないといった状態である。なお、文字領域の輝度値は背景領域の輝度値より小さいものとする。すなわち、文字領域の輝度値＜背景領域の輝度値と設定されているものとする。

図８の画素８０１は、影の領域の境界付近に存在する影のかかっていない背景領域である。図８の画素８０２は、影の領域の境界付近に存在する影のかかった背景領域である。図８の画素８０３は、影の領域の境界付近に存在する影のかかった文字領域である。

画像処理装置４００の生成部４０３は、枠を生成する。枠のサイズは所定のサイズとすることもできるが好ましくは先に説明したように文字線幅に応じて決定する。ここでは、枠を文字線幅より長い辺を一辺にもつ正方形とする。

画像処理装置４００の調整部４０４は、例えば、図８の画素８０１、８０２、８０３のそれぞれに対し、生成部４０３で生成した正方形の枠の頂点が重なるように４つの配置パターンの正方形の枠を配置する。これにより、影がかかった部分とかかっていない部分の双方が枠の中に取り込まれるのではなく、枠の中に影がかかった部分だけが取り込まれる可能性が高まり、誤判定が抑制できる。ただし、枠の配置は他にも種々あり、異なる位置に配置する種々のパターンを採用できる。

図８の画素８０１に対し、生成部４０３で生成した枠の各頂点を重ねて配置した際の図を図９（ａ）、図９（ｃ）、図１０（ａ）、図１０（ｃ）に示す。図９（ａ）は画素８０１が枠の右上の頂点と、図９（ｃ）は画素８０１が枠の右下の頂点と、図１０（ａ）は画素８０１が枠の左下の頂点と、図１０（ｃ）は画素８０１が枠の左上の頂点とそれぞれ重なるように配置した図である。図９（ｂ）、図９（ｄ）、図１０（ｂ）、図１０（ｄ）はそれぞれ、図９（ａ）の枠９０１、図９（ｃ）の枠９０２、図１０（ａ）の枠１００１、図１０（ｃ）の枠１００２の領域に含まれる画素の輝度ヒストグラムを示す。

画像処理装置４００の判定部４０５は図９、図１０の枠９０１、枠９０２、枠１００１、枠１００２の領域においてｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値８０１が閾値以上であるかどうかを判定する。図９、図１０の輝度ヒストグラムが示すように、注目画素の輝度値は枠９０１、枠９０２、枠１００１、枠１００２全ての領域において、閾値以上となる。よって、処理フローに従い、注目画素８０１は背景領域であると判定する。

続いて、図８の画素８０２に対し、生成部４０３で生成した枠の各頂点を重ねて配置した際の図を図１１（ａ）、図１１（ｃ）、図１２（ａ）、図１２（ｃ）に示す。図１１（ａ）は画素８０２が枠の右上の頂点と、図１１（ｃ）は画素８０２が枠の右下の頂点と、図１２（ａ）は画素８０２が枠の左下の頂点と、図１２（ｃ）は画素８０２が枠の左上の頂点とそれぞれ重なるように配置した図である。図１１（ｂ）、図１１（ｄ）、図１２（ｂ）、図１２（ｄ）はそれぞれ、図１１（ａ）の枠１１０１、図１１（ｃ）の枠１１０２、図１２（ａ）の枠１２０１、図１２（ｃ）の枠１２０２の領域に含まれる輝度ヒストグラムを示す。

画像処理装置４００の判定部４０５は図１１、図１２の枠１１０１、枠１１０２、枠１２０１、枠１２０２の領域においてｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値８０２が閾値以上であるかどうかを判定する。図１１、図１２の輝度ヒストグラムが示すように、注目画素８０２の輝度値は枠１１０２、枠１２０１の領域において閾値より小さくなるが、枠１１０１、枠１２０２の領域において閾値以上となる。よって、処理フローに従い、注目画素８０２は背景領域であると判定する。このように複数の枠を用いて判定するため、１つの枠を用いるのに対して誤判定を抑制できる。

続いて、図８の画素８０３に対し、生成部４０３で生成した枠の各頂点を重ねて配置した際の図を図１３（ａ）、図１３（ｃ）、図１４（ａ）、図１４（ｃ）に示す。図１３（ａ）は画素８０３が枠の右上の頂点と、図１３（ｃ）は画素８０３が枠の右下の頂点と、図１４（ａ）は画素８０３が枠の左下の頂点と、図１４（ｃ）は画素８０３が枠の左上の頂点とそれぞれ重なるように配置した図である。図１３（ｂ）、図１３（ｄ）、図１４（ｂ）、図１４（ｄ）はそれぞれ、図１３（ａ）の枠１３０１、図１３（ｃ）の枠１３０２、図１４（ａ）の枠１４０１、図１４（ｃ）の枠１４０２の領域に含まれる輝度ヒストグラムを示す。

画像処理装置４００の判定部４０５は図１３、図１４の枠１３０１、枠１３０２、枠１４０１、枠１４０２の領域においてｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値８０３が閾値以上であるかどうかを判定する。図１３、図１４の輝度ヒストグラムが示すように、注目画素８０３の輝度値は枠１３０１、枠１３０２、枠１４０１、枠１４０２全ての領域において閾値より小さくなる。よって、上述した処理フローに従い、注目画素８０３は文字領域であると判定する。

以上のように、生成部４０３で生成した枠を調整部４０４で調整した位置に複数配置し、判定部４０５で判定を行うことにより注目画素が文字領域であるかどうかを判定することができる。

また、例えば、影の境界の領域が曲線を含む場合には、生成部４０３で生成する枠を影の形状に基づいて決定することで、文字領域であるかどうかを精度良く判定することができる。以下に具体例を示す。例えば、図１５に示すような「ＦＵＪＩＴＳＵ」の文字が書かれた画像データ１５００に曲線を含む影がかかっている場合において、「Ｕ」という文字を含む領域１５０２について、文字領域を特定する場合の処理について説明する。図１５は画像処理を行う対象となる画像データの例を示す図である。図１５に示すように影が曲線を有する場合、枠の形状を矩形ではなく、例えば、三角形にすることにより文字領域の判定の精度を上げることができる。画像処理装置４００が、曲線の影のかかる領域と影のかからない領域付近の画素１５０１について文字領域であるかどうかを判定する場合の処理について説明する。

図１５の画素１５０１は、影のかかった背景領域である。まず始めに、画像処理装置４００の生成部４０３は、特定部４０２で特定した文字線幅以上の線を辺又は内部に含み得る枠を生成する。生成部４０３は、例えば、画像データに含まれる「Ｕ」を含む領域１５０２において、影の領域が曲線であることから、特定した文字線幅以上の線を辺又は内部に含む三角形の枠を生成する。ただし、生成する枠は三角形に限定されない。例えば、直径が文字線幅以上の長さをもつ円を枠としても良い。画像内の影の領域が曲線を有するかどうかについては、入力部４０１から予め設定を受け付けておく。

画像処理装置４００の調整部４０４は、図１５の画素１５０１に対し、生成部４０３で生成した三角形の枠の頂点を重ね、重ねた頂点を中心として、例えば、９０度ごとに回転させるように配置する。図１６、図１７は図１５の画像データ１４００に含まれる画素１４０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。

図１５の画素１５０１に対し、生成部４０３で生成した枠の各頂点を重ねて配置した際の図を図１６（ａ）、図１６（ｃ）、図１７（ａ）、図１７（ｃ）に示す。図１６（ａ）は三角形の枠が画素１５０１の下側に、図１６（ｃ）は三角形の枠が画素１５０１の左側に、図１７（ａ）は三角形の枠が画素１５０１の上側に、図１７（ｃ）は三角形の枠が画素１５０１の右側に位置するように配置した図である。図１６（ｂ）、図１６（ｄ）、図１７（ｂ）、図１７（ｄ）はそれぞれ、図１６（ａ）の枠１６０１、図１６（ｃ）の枠１６０２、図１７（ａ）の枠１７０１、図１７（ｃ）の枠１７０２の領域に含まれる輝度ヒストグラムを示す。

画像処理装置４００の判定部４０５は図１６、図１７の枠１６０１、枠１６０２、枠１７０１、枠１７０２の領域においてｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値１５０１が閾値以上であるかどうかを判定する。図１６、図１７の輝度ヒストグラムが示すように、注目画素１５０１の輝度値は枠１７０１の領域において閾値より小さくなるが、枠１６０１、枠１６０２、枠１７０２の領域において、閾値以上となる。よって、処理フローに従い、注目画素１５０１は背景領域であると判定する。以上のように、生成部４０３で生成する枠を影の形状に基づいて決定することで、文字領域であるかどうかを精度良く判定することができる。

上述の処理では、各画素に対し４つの枠の位置における判定を行い文字領域であるかどうかを判定したが、判定を行う際の枠の決め方や配置方法については上述のものに限定されない。例えば、注目画素に対し枠の頂点ではなく枠の各辺の中点や枠の中心等を重ね判定を行っても良い。また、枠の角度についても例えば、９０度ではなく任意の角度毎に配置を行っても良い。このような処理を行うことでより精度良く文字領域であるかどうかの判定を行うことができる。

次に、第２の実施形態に係る画像処理装置４００について説明する。

第２の実施形態に係る画像処理装置４００は、第１の実施形態に係る画像処理装置４００の機能に加え、特定部４０２で、画像データに含まれる影の領域の境界の角度を特定する。第２の実施形態に係る画像処理装置４００は、特定した影の状態に基づき、第１の実施形態で説明した枠を配置する位置や枠の角度を調整する。画像処理装置４００は、影の領域の角度に応じて枠を配置する位置や枠の角度を調整することで、注目画素が文字領域であるかどうかの判定を効率良く行うことができる。影の領域の角度の算出方法や、枠の配置の仕方、については後述する。

図１８は第２の実施形態に係る画像処理装置４００が、文字領域を特定する際の処理フローを示す図である。

第２の実施形態に係る画像処理装置４００は、まず始めに入力部４０１で入力装置４０８から画像データを受信する（ステップＳ１８０１）。

画像処理装置４００の特定部４０２は、入力部４０１で受信した画像データに含まれる文字線幅を特定する（ステップＳ１８０２）。

画像処理装置４００の特定部４０２は、受信した画像データに影が含まれるかどうかを判定する。画像データに影が含まれるかどうかを判定する際の方法としては、例えば、画像が撮影された時間帯に応じて判定する。ただし、画像データに影が含まれるかどうかの判定方法は前述のものに限定されない。画像処理装置４００の特定部４０２は、影が存在すると判定した場合（ステップＳ１８０３：Ｙｅｓ）、画像データに含まれる影の角度を特定する（ステップＳ１８０４）。画像処理装置４００は特定部４０２で影の領域の境界の角度を特定した後、生成部４０３で枠を生成する（ステップＳ１８０５）。一方、画像処理装置４００の特定部４０２は画像データ内に影を含まないと判定した場合（ステップＳ１８０３：Ｎｏ）、生成部４０３で枠を生成する（ステップＳ１８０５）。

画像処理装置４００の判定部４０５は、生成部４０３で枠の生成をした後、受信した画像データに含まれる各画素または各領域の中から、文字領域であるかどうかの判定を行う注目画素を選択する（ステップＳ１８０６）。

画像処理装置４００の調整部４０４は、判定部４０５が選択した注目画素に対し、生成部４０３で生成した枠を配置する（ステップＳ１８０７）。第２の実施形態では、調整部４０４が枠を調整する際に、特定部４０２で特定した影の角度の情報に基づいて枠を配置する位置を調整する。画像処理装置４００の調整部４０４が特定部４０２で特定した影の角度の情報に基づいて枠を配置する位置を調整する際の処理については後述する。

画像処理装置４００の判定部４０５は、調整部４０４で調整して配置した枠において、ｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値が閾値以上であるかどうかを判定する（ステップＳ１８０８）。画像処理装置４００の判定部４０５は、注目画素の輝度値が閾値以上であると判定した場合（ステップＳ１８０８：Ｙｅｓ）、注目画素は文字領域でないと判定する（ステップＳ１８０９）。

画像処理装置４００の判定部４０５は、注目画素の輝度値が閾値以上でないと判定した後、受信部４０１から受信した画像データにおいて、他に注目画素があるかどうかを判定する（ステップＳ１８１３）。画像処理装置４００の判定部４０５は、注目画素の輝度値が閾値以上でないと判定した場合（ステップＳ１８０８：Ｎｏ）、注目画素に対し、他の枠の位置での判定があるかどうかを判定する（ステップＳ１８１０）。

画像処理装置４００の判定部４０５は、他の枠位置における判定があると判定した場合（ステップＳ１８１０：Ｙｅｓ）に、調整部４０４で調整した他の枠の位置に枠を移動する（ステップＳ１８１１）。画像処理装置４００の判定部４０５は、枠を移動した後、再度、注目画素の輝度値が閾値以上であるかどうかを判定する（ステップＳ１８０８）。

画像処理装置４００の判定部４０５は、注目画素に対し、他の枠の位置での判定がないと判定した場合（ステップＳ１８１０：Ｎｏ）、注目画素は文字領域であると判定する（ステップＳ１８１２）。画像処理装置４００の判定部４０５は、他に注目画素が存在するかどうかを判定する（ステップＳ１８１３）。画像処理装置４００の判定部４０５は、入力部４０１で受信した画像データにおいて、判定が完了していない注目画素が存在する場合（ステップＳ１８１３：Ｙｅｓ）、注目画素を選択し（ステップＳ１８０６）、注目画素が文字領域であるかどうかを判定する。一方、画像処理装置４００の判定部４０５は、入力部４０１で受信した画像データにおいて、他に注目画素が存在しないと判定した場合（ステップＳ１８１３：Ｎｏ）、処理を終了する。

画像処理装置４００は、処理フローにより文字領域を特定した後、認識部４０６で特定した文字領域に対してラベリングを行い、文字認識を行い、認識した文字を出力部４０７から出力する。

次に、第２の実施形態において、影の領域の角度の算出方法について説明する。

図１９は、看板１９０３をカメラ１９０４で撮影する場合の模式図である。図２０はカメラ１９０４で撮影した画像において、看板１９０３に影がかかっている状態を示す図である。図１９に示すように看板１９０３上には、光源１９０１からの光が、遮蔽物１９０２に遮られることにより発生する影の領域が存在する。図２０に示す画像に含まれる看板１９０３にかかった影の角度を算出する方法について以下に説明する。

画像処理装置４００の判定部４０５は、まず始めに、任意の３次元モデル（ワールド座標系）における、光源１９０１の位置の座標（R_w）と壁１９０２の座標、看板１９０３の座標とから、看板１９０３に係る影の境界領域の終端の座標を計算する。図１９において看板１９０３にかかる影の領域の終端の座標をA_w、B_wとする。

画像処理装置４００の判定部４０５は、ワールド座標系（X_w、Y_w、Z_w）と、カメラ位置（O_c）を原点とするカメラ座標系（X_c、Y_c、Z_c）の相対位置から、ワールド座標とカメラ座標間の座標変換行列M_wcを算出する。画像処理装置４００の判定部４０５は、ワールド座標系における影の領域の終端の座標A_w、B_wと、座標変換行列M_wcからカメラ座標系における影の境界領域の終端の座標A_c、B_cを算出する。

続いて、画像処理装置４００の判定部４０５は、カメラ位置（O_c）を原点とするカメラ座標系（X_c、Y_c、Z_c）と、スクリーンの端（O_ｓ）を原点とするスクリーン座標系（X_ｓ、Y_ｓ、Z_ｓ）の相対位置から、カメラ座標とスクリーン座標間の座標変換行列M_csを算出する。画像処理装置４００の判定部４０５は、カメラ座標系における影の境界領域の終端の座標A_c、B_cと座標変換行列M_csからスクリーン座標系における影の境界領域の終端の座標A_s、B_sを算出する。

画像処理装置４００の判定部４０５は、スクリーン座標系における影の境界領域の終端の座標A_s、B_sのそれぞれのx座標とｙ座標との値から看板１９０３に係る影の角度を算出する。

上述の方法により影の角度を特定することができ、調整部４０４で影の領域の位置や角度に応じて、枠を配置する位置や角度を調整し、注目画素が文字領域であるかどうかの判定をすることができる。

影の境界の角度を特定しておくことで、例えば、以下に示すように処理量を減らすことができる。例えば、境界付近の注目画素に対し、影の境界の角度に対応するように配置することで処理量を減らすことができる。例えば、注目画素付近に存在する影の境界に沿うように画像の枠を配置することにより、少ない配置の仕方で文字領域であるかを判定することができる。以下に影の境界の角度を特定することにより、処理量を減らす場合の例について説明する。

図２１は画像処理を行う対象となる画像データの例を示す図である。図２１に示すような「ＦＵＪＩＴＳＵ」の画像データ２１００に影がかかっている場合において、影の境界の角度が分かっている場合の処理について説明する。図２１に示す「ＦＵＪＩＴＳＵ」の画像データ２１００に含まれる「Ｔ」という文字を含む領域２１０２について、文字領域であるかどうかを判定する場合の処理について説明する。今回、画像処理装置４００が影のかかる領域と影のかからない領域付近の画素２１０１について文字領域であるかどうかを判定する場合の処理について説明する。

図２１の画素２１０１は、影のかかった背景領域である。まず始めに、画像処理装置４００の生成部４０３は、特定部４０２で特定した文字線幅を有する箇所を含む文字領域の一部よりも大きい枠を生成する。今回の処理では特定部４０２で影の領域の境界の角度を特定しているので、調整部４０４は、影の領域の境界に枠の一辺が沿うように、あるいは平行になるように配置する。なお、配置する際、例えば、辺の中点が注目画素と重なるように配置する。図２２は図２１の画像データ２１００に含まれる画素２１０１に対し、枠を配置する位置の具体例と、それぞれの枠の位置における輝度ヒストグラムを示す図である。図２１の画素２１０１に対し、生成部４０３で生成した枠の上辺と下辺の中点を重ねて配置した際の図を図２２（ａ）、図２２（ｃ）に示す。図２２（ｂ）、図２２（ｄ）はそれぞれ図２２（ａ）の枠２２０１、図２２（ｃ）の枠２２０２の領域に含まれる輝度ヒストグラムを示す。

画像処理装置４００の判定部４０５は図２２の枠２２０１、枠２２０２の領域においてｎｉｂｌａｃｋ法による処理を行い、注目画素の輝度値２１０１が閾値以上であるかどうかを判定する。図２２に示すように、枠２２０１の領域において、注目画素２１０１の輝度値は閾値より小さいが、枠２２０１の領域において、注目画素２１０１の輝度値は閾値以上となる。よって、処理フローに従い、注目画素２１０１は背景領域であると判定する。以上のように、影の領域に沿って枠を配置することにより、正しく背景と文字を判定できる枠の配置をとることができ、より少ない枠の配置で文字領域であるかどうかを判定することができる。例えば、影のかかり方に基づいて、枠に含まれる領域が全て影の領域となるような枠の配置（正しく背景と文字を判定できる枠の配置）を特定することができれば、その枠の位置のみでの判定により、注目画素が背景領域であると判定することも可能である。

図２３は、本実施形態（第１、第２の実施形態）に係る画像処理装置４００をハードウェアプロセッサを用いて構成する場合の例を示す図である。画像処理装置４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３０１とメモリ（主記憶装置）２３０２と、補助記憶装置２３０３と、Ｉ／Ｏ装置２３０４、ネットワークインタフェース２３０５を有する。これらの各装置はバス２３０６を介して接続される。

ＣＰＵ２３０１は画像処理装置４００全体の制御を司る。図７、図１８のフローに示した各処理を実行する。メモリ２３０２には、本実施形態に係る処理を行うプログラムが記憶されている。

ＣＰＵ２３０１は補助記憶装置２３０３から処理に関するプログラムの情報を読み出し、メモリ２３０２に格納する。さらにＣＰＵ２３０１は、メモリ２３０２に格納された情報に基づき、画像処理を行う。ただし、すべての処理に関する情報は常にメモリ２３０２に格納される必要はなく、処理に用いられるデータがメモリ２３０２に格納されれば良い。また、処理に関するプログラムは必ずしも補助記憶装置２３０３に記憶しておく必要はなく、例えば、コンピュータに挿入されるディスク等の可搬用媒体に記憶させておいても良い。

Ｉ／Ｏ装置２３０４は、例えば、入力装置４０８からの画像データの受信や、画像処理に関する設定等の入力を受け付ける。また、画像処理の結果等をディスプレイ等に出力する。

ネットワークインタフェース２３０５は、ネットワーク上での情報のやり取りを行うインタフェース装置である。

バス２３０６は上記各装置を互いに接続し、データのやり取りを行う通信経路である。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。

４００ 画像処理装置
４０１ 入力部
４０２ 特定部
４０３ 生成部
４０４ 調整部
４０５ 判定部
４０６ 認識部
４０７ 出力部
４０８ 入力装置
４０９ 記憶装置
２３０１ ＣＰＵ
２３０２ メモリ（主記憶装置）
２３０３ 補助記憶装置
２３０４ Ｉ／Ｏ装置
２３０５ ネットワークインタフェース
２３０６ バス

Claims (14)

1. 画像に文字の領域が含まれる場合に、前記文字の線幅を特定し、
   特定した文字線幅以上の線を辺又は内部に含むことが可能な第１の枠を生成し、
   生成した前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または領域とを重なるように前記第１の枠を配置し、
   前記画像に含まれる画素または領域の輝度値が、前記第１の枠に含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は領域の種別を判定する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
2. 前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または領域とを重なるように配置する際、前記画像に含まれる画素または領域と前記第１の枠の頂点及び／又は枠の外周の一部とが重なるように配置する処理をコンピュータに実行させることを特徴とする請求項１に記載の画像処理プログラム。
3. 前記文字の線幅は、前記文字の領域に含まれる線幅の最大値、最頻値、平均値のいずれかであることを特徴とする請求項１または２に記載の画像処理プログラム。
4. 前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または枠とを重なるように配置する際、前記枠の傾きを変更する処理をコンピュータに実行させることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理プログラム。
5. 前記第１の枠を生成する際、前記画像に含まれる影の領域の形状に基づいて生成する処理をコンピュータに実行させることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理プログラム。
6. 前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または枠とを重なるように配置する際、前記画像に含まれる影の領域の境界の角度に基づいて配置する処理をコンピュータに実行させることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理プログラム。
7. 画像に文字の領域が含まれる場合に、前記文字の線幅を特定し、
   特定した文字線幅以上の線を辺又は内部に含むことが可能な第１の枠を生成し、
   生成した前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または領域とを重なるように前記第１の枠を配置し、
   前記画像に含まれる画素または領域の輝度値が、前記第１の枠に含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は領域の種別を判定する、
   処理をコンピュータが実行することを特徴とする画像処理方法。
8. 画像に文字の領域が含まれる場合に、前記文字の線幅を特定する特定部と、
   特定した文字線幅以上の線を辺又は内部に含むことが可能な第１の枠を生成する生成部と、
   生成した前記第１の枠に含まれる特定の箇所と、前記画像に含まれる画素または領域とを重なるように前記第１の枠を配置する調整部と、
   前記画像に含まれる画素又は領域の輝度値が、前記第１の枠に含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は前記領域の種別を判定する判定部と、
   を有することを特徴とする画像処理装置。
9. 画像に文字の領域が含まれる場合に、枠を生成し、
   生成した前記枠に含まれる複数の箇所と、前記画像に含まれる画素または領域とを重なるように前記枠を複数の位置に配置し、
   前記複数の位置のそれぞれにおいて、前記画像に含まれる画素または領域の輝度値が、前記複数の枠それぞれに含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は領域の種別を判定する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
10. 前記枠を生成する場合に、前記文字の線幅を特定し、
    特定した文字線幅以上の線を辺又は内部に含むことが可能な枠を生成する、
    処理をコンピュータに実行させることを特徴とする請求項９に記載の画像処理プログラム。
11. 前記枠は円または多角形であることを特徴とする請求項９または１０に記載の画像処理プログラム。
12. 前記複数の枠に含まれる特定の箇所と、前記画像に含まれる画素または枠とを重なるように配置する際、前記枠の頂点、前記枠の各辺の中点、前記枠の中心のいずれかと重なるように配置する処理をコンピュータに実行させることを特徴とする請求項９乃至１１のいずれか一項に記載の画像処理プログラム。
13. 画像に文字の領域が含まれる場合に、枠を生成し、
    生成した前記枠に含まれる複数の箇所と、前記画像に含まれる画素または領域とを重なるように前記枠を複数の位置に配置し、
    前記複数の位置のそれぞれにおいて、前記画像に含まれる画素または領域の輝度値が、前記複数の枠それぞれに含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は前記領域の種別を判定する、
    処理をコンピュータが実行することを特徴とする画像処理方法。
14. 画像に文字の領域が含まれる場合に、枠を生成する生成部と、
    生成した前記枠に含まれる複数の箇所と、前記画像に含まれる画素または領域とを重なるように前記枠を複数の位置に配置する調整部と、
    前記複数の位置のそれぞれにおいて、前記画像に含まれる画素または領域の輝度値が、前記複数の枠それぞれに含まれる画素の輝度値に基づいて算出した閾値以上であるか否かに応じて、前記画素又は前記領域の種別を判定する判定部と、
    を有することを特徴とする画像処理装置。