JP2022014322A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 入力画像内に含まれる高輝度画素のうちの、適切な高輝度画素を抽出できるようにする。【解決手段】 入力画像を閾値に基づいて二値化することにより、二値画像を生成し、前記入力画像において所定の高輝度の画素を黒画素化することにより高輝度画像を生成し、前記二値画像内の黒画素塊に基づいて特定される文字画像の位置と、前記高輝度画像内の黒画素塊の位置とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する。【選択図】 図２

Description

本発明は、入力画像内の高輝度画素を抽出対象にするか否か判定する画像処理装置、方法、プログラムに関する。

会計業務などの効率化を目的として、光学文字認識（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ、以下ＯＣＲ）処理技術を用いて、スキャナで読み取った帳票画像から文字情報を抽出し、認識するシステムの開発が行われている。さらに、帳票画像のＯＣＲ結果に基づいて、日付などの特定の項目（以下、Ｋｅｙ）を抽出し、文字形式などの情報を用いて各Ｋｅｙに対応した値（以下、Ｖａｌｕｅ）を推測して取得する機能（以下、Ｋｅｙ－Ｖａｌｕｅ抽出機能）が一般的に知られている。

帳票画像の中には、輝度の高い色（明度の高い色）で記述された文字を含んでいることがある。もし、これらの文字がＫｅｙやＶａｌｕｅであった場合、従来の文字認識システムではＫｅｙ－Ｖａｌｕｅ抽出できないことがある。例えば、スキャン画像内の文字認識において、画像全体の輝度値から算出した閾値をもとに画像を白黒の二値画像に変換し、文字画像を黒色、背景画像を白色で表示する方法が一般的である。しかし、輝度値が閾値以上の文字は、背景と同化するため、文字として認識できない。

これに対し、特許文献１では、スキャン画像を第１の閾値で二値化して得た第１の二値画像に基づいて文字領域を抽出し、その文字領域以外の背景領域に関して第２の閾値で再二値化して第２の二値画像を取得することで明度の高い色の文字を抽出している。

特開２０１９－１５９４２０号公報

一方、両面に印刷された帳票をスキャナで読み取ると、スキャン画像内に、裏面の文字や絵が透けて写りこむ「裏写り」という現象が発生することがある。裏写りによって写りこんだ文字や絵などのオブジェクトは、表面の文字画像よりも薄い色のオブジェクト（すなわち明度または輝度の高いオブジェクト）として、スキャン画像内に存在する場合が多い。このようなスキャン画像に対して、特許文献１のような技術を適用すると、明度（輝度）の高い文字画像に加えて、裏写りしているオブジェクトも、二値画像として抽出されることになる。

一方、スキャン画像からＫｅｙとＶａｌｕｅをペアにして抽出する場合、Ｋｅｙとなる文字列とＶａｌｕｅとなる文字列との位置関係も考慮されるのが一般的である。例えば、Ｋｅｙとなる文字列の右側に存在する文字列をＶａｌｕｅとして抽出する場合がある。そしてスキャン画像に対して、上述したような明度の高い文字列等のオブジェクトを抽出する処理を適用した場合、Ｋｅｙとなる文字列とＶａｌｕｅとなる文字列との間に、裏写りしたオブジェクトが二値化された状態で出現する場合がある。このような場合、Ｋｅｙとなる文字列の右側に、裏写りしたオブジェクトが存在するため、本来のＫｅｙ－Ｖａｌｕｅのペアの抽出に失敗してしまう。

上記課題を解決するために、本発明の画像処理装置は、入力画像を閾値に基づいて二値化することにより、二値画像を生成する二値化手段と、前記入力画像において所定の高輝度の画素を黒画素化することにより高輝度画像を生成する生成手段と、前記二値画像内の黒画素塊に基づいて特定される文字画像の位置と、前記高輝度画像内の黒画素塊の位置とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する判定手段と、を備えることを特徴とする。

本発明によれば、高輝度画像内の黒画素のうち、適切な黒画素を抽出対象とすることができる。

第一実施形態に係る情報処理システムを示す図である。 第一実施形態に係る二値化からＫｅｙ－Ｖａｌｕｅ抽出までの処理を示すフローチャートである。 第一実施形態に係る非文字画像の除去処理を示すフローチャートである。 第一実施形態に係る抽出対象判定処理を示すフローチャートである。 第一実施形態に係る印影除去処理を示すフローチャートである。 第一実施形態に係る罫線除去処理を示すフローチャートである。 第二実施形態に係る抽出対象判定の処理を示すフローチャートである。 第三実施形態に係る抽出対象判定の処理を示すフローチャートである。 第三実施形態に係る抽出対象判定の処理の変形例を示すフローチャートである。 第四実施形態に係る二値化からＫｅｙ－Ｖａｌｕｅ抽出までの処理を示すフローチャートである。 第四実施形態に係るＫｅｙ－Ｖａｌｕｅ抽出処理を示すフローチャートである。 第四実施形態に係る第二の抽出判定処理を示すフローチャートである

（第一の実施形態）
図１は、第１の実施形態に係る情報処理システムを示す図である。情報処理システムは、複写機（複合機）１００と、情報処理装置１１０とを含む。複合機１００は、スキャナ１０１と、プリンタ１０２と、通信部１０３とを有している。スキャナ１０１は、文書のスキャンを行い、スキャン画像を生成する。プリンタ１０２は、画像を用紙にプリント（画像形成）する。複写機１００の通信部１０３は、ネットワークを介して外部装置と通信を行う。

情報処理装置１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、情報処理装置側通信部１１７とを有している。ＣＰＵ１１１は、ＲＯＭ１１２またはＨＤＤ１１４に記憶された制御プログラムを読み出して実行することにより、後述するフローチャートで説明するような各種処理を行う処理部として機能する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。すなわち、情報処理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出して実行することによって実現されるものである。

情報処理装置１１０の通信部１１７は、ネットワークを介して外部装置との通信処理を行う。表示部１１５は、各種情報を表示するためのディスプレイやプロジェクタである。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられていてもよい。

本実施形態において、複写機１００は、スキャナ１０１で帳票等の文書をスキャンし、入力画像を生成する。そして、入力画像は、通信部１０３を介して情報処理装置１１０に送信される。情報処理装置１１０ではは、通信部１１７を介して入力画像を受信し、これをＨＤＤ１１４等の記憶部に記憶する。

図２は、第一の実施形態に係る処理の流れを示すフローチャートである。

Ｓ２０１において、ＣＰＵ１１１は、複写機１１０から受信した入力画像に対して、二値化処理を行うことによって二値画像を生成し、ＲＡＭ１１３に格納する。二値化処理とは、画像を白と黒の２階調に変換する処理のことであり、例えば、入力画像を輝度画像に変換し、輝度画像の各画素を第１の閾値Ｖ_ＴＨと比較して、この閾値Ｖ_ＴＨより低い輝度の画素は黒画素とし、その閾値より高い輝度の画素は白画素とする。また、二値化処理で用いる閾値は、例えば、画像全体のヒストグラムに基づいて決定する方法を用いることが可能であるが、その他の手法を用いて閾値を決定するようにしても構わない。

Ｓ２０２において、ＣＰＵ１１１は、二値画像内の黒画素について、文字画像の画素であるか、非文字画像の画素であるかを分類し、非文字画像と判定された黒画素については二値画像から除去（すなわち、白画素に置換）する。非文字画像を除去された二値画像には、文字画像が含まれており、後述するＳ２０９のＯＣＲ処理（文字認識処理）に適した画像（非文字画像除去済みの画像）となっている。なお、Ｓ２０２では、文字画像の位置（文字領域の位置）も特定することができる。

図３は、非文字画像の除去処理を示すフローチャートであり、ノイズ除去（Ｓ３０１）、印影除去（Ｓ３０２）、罫線除去（Ｓ３０３）の処理を行う。なお、ノイズ除去と印影除去と罫線除去の処理順は、図３の順に限るものではなく、別の異なる順で処理を実行しても良い。なお、入力画像にノイズ、印影、罫線以外の非文字情報（写真やイラストなど）を含む場合は、それらの非文字画像を除去する処理を追加してもよい。

ノイズ除去処理（Ｓ３０１）では、例えば、連結している黒画素を黒画素塊として検出し、当該検出した黒画素塊のうち、小さいサイズの黒画素塊（微小な孤立ドット）をノイズとして判定し、当該黒画素塊を除去する。ノイズ除去は、公知のノイズ除去方法（孤立点の除去など）を用いることができる。

印影除去処理（Ｓ３０２）の詳細を、図５Ａを用いて説明する。Ｓ５０１において、ＣＰＵ１１１は、印影の位置情報を取得する。印影の位置情報は、入力画像内の赤色の画素塊を検出し、当該検出した赤色の画素塊のうち、一般的な印影の形状やサイズを有する画素塊を印影として特定することにより、その印影の位置を取得する。なお、印影の位置情報の取得方法はこれに限るものではなく、その他の方法を用いてもよい。Ｓ５０２において、ＣＰＵ１１１は、当該取得した印影の位置情報を、ＲＡＭ１１３もしくはＨＤＤ１１４に格納する。そして、Ｓ５０３において、ＣＰＵ１１１は、当該格納した印影の位置情報を用いて、二値画像内の印影に対応する画素を白画素に変換することで、印影画像を除去することができる。

罫線除去（Ｓ３０３）の詳細を、図５Ｂを用いて説明する。Ｓ５１１において、ＣＰＵ１１１は、罫線の位置情報を取得する。例えば、二値画像において、縦方向と横方向のそれぞれの方向でヒストグラムを作成することにより、ヒストグラムの計数が所定の閾値以上となった位置に、縦の罫線と横の罫線が存在すると判定できる。なお、罫線の検出方法は、ヒストグラムに限るものではなく、それ以外の手法を用いるようにしても構わない。Ｓ５１２において、ＣＰＵ１１１は、当該取得した罫線の位置情報をＲＡＭ１１３もしくはＨＤＤ１１４に格納する。そして、Ｓ５１３において、ＣＰＵ１１１は、当該格納した罫線の位置情報を用いて、二値画像内の罫線に対応する画素を白画素に変換することで、罫線を除去することができる。

なお、本実施形態では、印影除去（Ｓ３０２）時の印影の位置情報と、罫線除去（Ｓ３０３）時の罫線の位置情報とを、ＲＡＭ１１３もしくはＨＤＤ１１４の異なる領域に格納したが、これに限るものではない。例えば、ノイズ、印影、罫線、およびその他の非文字情報と判定された画素の位置を、同じ領域に格納してもよい。

Ｓ２０３において、ＣＰＵ１１１は、Ｓ２０１の二値化処理で用いた第１の閾値Ｖ_ＴＨと、それよりも高い第２の閾値（ｐ×Ｖ_ＭＡＸ）とを用いて、入力画像のうち第１の閾値と第２の閾値との間の輝度を有する画素を黒画素とした第２の二値画像（以下、高輝度画像）を作成する。すなわち、入力画像の輝度画像において、
Ｖ_ＴＨ ＜ Ｖ ≦ ｐ×Ｖ_ＭＡＸ ・・・（式１）
を満たす輝度値Ｖを有する画素を黒色とし、その他の画素を白色とすることにより、高輝度画像を作成する。ここで、Ｖ_ＭＡＸは入力画像内の最大輝度値であり、本実施形態において、係数ｐは０．９８を用いるものとする。なお、係数ｐは、０．９８に限るものではなく、
Ｖ_ＴＨ ／ Ｖ_ＭＡＸ ＜ ｐ ＜ １．０ ・・・（式２）
を満たす範囲で、係数ｐの値を変更するようにしてもよい。このようにして、Ｓ２０３で生成される高輝度画像は、Ｓ２０１の二値化処理時の閾値よりも高い輝度を有し、かつ、背景色より低い輝度を有する画素を黒画素とし、それ以外の画素（輝度の低い画素および背景の画素）を白画素とした画像である。なお、係数ｐの値が大きくなるにつれて、式１を満たす画素の数も増え、不要なノイズも抽出しやすくなる傾向があるため、高輝度画像内において孤立点除去等のノイズ除去処理を行ってもよい。また、高輝度画像では濃度ムラのある画像も多いため、平滑化処理などの濃度ムラを改善する処理を予め行ってもよい。

Ｓ２０４において、ＣＰＵ１１１は、高輝度画像を解析することにより、高輝度の文字が存在する可能性のある領域（以下、高輝度画像領域）を抽出する。例えば、高輝度画像において、連結している黒画素を黒画素塊として検出し、当該検出した黒画素塊のサイズが一般的な文字のサイズに相当し、かつ、同様のサイズの黒画素塊が並んでいる領域を、高輝度の文字列が存在しうる領域（高輝度画像領域）として抽出する。

Ｓ２０５において、ＣＰＵ１１１は、Ｓ２０４で検出した高輝度画像領域の数をカウントし、高輝度画像領域が１つ以上存在する場合はＳ２０６へ進み、１つも存在しない場合はＳ２０９へ進む。Ｓ２０６～Ｓ２０８の処理は、Ｓ２０４で検出された高輝度画像領域を１つずつ順に処理対象として、すべての高輝度画像領域が処理されるまで繰り返し実行される。

Ｓ２０６において、ＣＰＵ１１１は、各高輝度画像領域を抽出対象にするかどうかを判定する。図４に、第一の実施形態に係る高輝度画像の抽出対象判定処理に関するフローチャートを示す。まず、Ｓ４０１では、Ｓ２０１で生成した二値画像において、現在の処理対象の高輝度画像領域に対応する位置に、文字画像の黒画素塊が存在するかどうかを判定する。ここでは、Ｓ２０２で文字画像の画素であると判定された黒画素の塊の位置が、処理対象の高輝度画像領域に対応する範囲内に含まれるならば、当該処理対象の高輝度画像領域に文字が存在すると判定する。Ｓ４０１で高輝度画像領域内に文字が存在すると判定した場合（すなわち、二値画像から抽出した文字の画素塊と、高輝度画像から抽出した高輝度画像領域とが重なっている場合）は、当該高輝度画像領域は裏写りによるものである可能性が高いため、Ｓ４０５に進み、当該判定対象の高輝度画像領域を抽出対象外と判定する。一方、Ｓ４０１で高輝度画像領域内に文字が存在しない場合（すなわち、二値画像から抽出した文字の画素塊と、高輝度画像から抽出した高輝度画像領域とが重なっていない場合）は、Ｓ４０２へ進む。

次に、Ｓ４０２において、ＣＰＵ１１１は、Ｓ２０１で生成した二値画像において、当該判定対象の高輝度画像領域に対応する位置の左右両方に文字画像の黒画素塊があるか判定する。ここでは、Ｓ２０２で文字画像の画素であると判定された複数の黒画素の塊の位置が、判定対象の高輝度画像領域に対応する位置の左側と右側の両方に存在するならば、当該判定対象の高輝度画像領域の左右に文字が存在すると判定する。また、Ｓ４０３において、ＣＰＵ１１１は、Ｓ２０１で生成した二値画像において、当該判定対象の高輝度画像領域に対応する位置の上下両方に文字画像の黒画素塊があるか判定する。ここでは、Ｓ２０２で文字画像の画素であると判定された複数の黒画素の塊の位置が、判定対象の高輝度画像領域に対応する位置の上側と下側の両方に存在するならば、当該判定対象の高輝度画像領域の左右に文字が存在すると判定する。すなわち、Ｓ４０２およびＳ４０３では、二値画像において文字画像の画素と判定された複数の黒画素塊の間（左右または上下方向の少なくともいずれかの間）に、高輝度画像領域があるかどうかを判定している。

判定対象の高輝度画像領域の位置が、二値画像における複数の文字画像の間ではない（文字画像の画素塊に挟まれていない）場合（Ｓ４０２でＮｏ、かつ、Ｓ４０３でＮｏ）は、当該高輝度画像がＫｅｙまたはＶａｌｕｅに関する文字画像である可能性がある。また、当該高輝度画像領域内の高輝度画像がＫｅｙまたはＶａｌｕｅに関する文字画像でなかったとしても、二値画像内の文字画像に基づくＫｅｙ－Ｖａｌｕｅ抽出を阻害する可能性は低い。したがって、Ｓ４０４では、当該判定対象の高輝度画像領域を抽出対象と設定して、その位置情報をＲＡＭ１１３に格納する。

一方、判定対象の高輝度画像領域の位置が、二値画像における複数の文字画像の間である場合（Ｓ４０２でＹｅｓ、または、Ｓ４０３でＹｅｓ）は、もし二値画像内の文字画像同士がＫｅｙとＶａｌｕｅの関係にあったなら、その間の高輝度画像領域内の高輝度画像を抽出してしまうと、Ｋｅｙ－Ｖａｌｕｅ抽出を阻害する可能性がある。したがって、Ｓ４０５では、当該判定対象の高輝度画像領域を抽出対象外と設定する。なお、Ｓ４０２およびＳ４０３において、高輝度画像領域の左右および上下に文字が存在するかを探索しているが、その探索範囲は、上下と左右で異なってもよい。例えば、上下方向においては、高輝度画像領域の上辺から上方向に１８０ピクセル以内の範囲において、二値画像内の文字画像を探索し、かつ、高輝度画像領域の底辺から下方向に１８０ピクセル以内の範囲において、二値画像内の文字画像を探索する。一方、左右方向においては、高輝度画像領域の左辺から左方向、ならびに、右辺から右方向に、二値画像内の左右の端までの間で文字画像を探索する。また、探索範囲は、入力画像の種類によって変更してもよいし、高輝度画像領域のサイズや位置によって変更してもよい。

次に、Ｓ２０７において、ＣＰＵ１１１は、Ｓ２０６の判定結果が“抽出対象”であった場合（Ｓ２０７でＹｅｓ）は、Ｓ２０８へ進む。一方、判定結果が“抽出対象外”であった場合（Ｓ２０７でＮｏ）、未判定の高輝度画像領域が残っているか判定し、未判定の高輝度画像領域がある場合は、当該高輝度画像領域を新たな判定対象としてＳ２０６の処理に戻り、すべての高輝度画像領域を判定済みの場合はＳ２０９へ進む。

次に、Ｓ２０８において、ＣＰＵ１１１は、高輝度画像から、Ｓ２０６で抽出対象として設定した高輝度画像領域内の黒画素塊の位置情報を抽出し、ＲＡＭ１１３に格納する。そして、Ｓ２０８の処理の後、未判定の高輝度画像領域が残っているか判定し、未判定の高輝度画像領域がある場合は、当該高輝度画像領域を新たな判定対象としてＳ２０６の処理に戻り、すべての高輝度画像領域を判定済みの場合はＳ２０９へ進む。

Ｓ２０９において、ＣＰＵ１１１は、二値画像内の文字画像の黒画素塊、および抽出対象として設定した高輝度画像領域内の高輝度画像の黒画素塊に対してＯＣＲ処理（文字認識処理）を実行し、文字認識結果を位置情報に関連付けてＲＡＭ１１３もしくはＨＤＤ１１４に格納する。本実施形態では、文字領域内の文字の特徴量を分析し、特徴量が最も近い文字に分類することで、文字領域内の文字を認識するものとするが、文字領域内の文字を認識することができるならば、異なる方法を用いてもよい。例えば、機械学習やディープラーニングを用いて文字の認識を行ってもよい。

Ｓ２１０において、ＣＰＵ１１１は、ＲＡＭ１１３もしくはＨＤＤ１１４に格納した文字認識結果を用いてＫｅｙ－Ｖａｌｕｅ抽出処理を実行する。本実施形態では、Ｋｅｙ（キー）とＶａｌｕｅ（バリュー）を検索するために必要な情報を予めＨＤＤ１１４に格納しておき、文字認識結果の文字情報と各文字情報の位置情報とに基づいてＫｅｙとＶａｌｕｅを抽出する。そして、ＫｅｙとＶａｌｕｅの関係にあると判定した各々の文字情報と位置情報を互いに関連付けてＲＡＭ１１３もしくはＨＤＤ１１４に格納する。検索に必要な情報としては、ＯＣＲ結果や文字の形式、または、ＫｅｙとＶａｌｕｅの位置関係に関する情報であるが、Ｋｅｙ－Ｖａｌｕｅ抽出において同様の効果が得られるのであれば、他の情報を用いてもよい。

本実施形態により、高輝度画像に含まれる黒画素のうちの、適切な黒画素を抽出対象とすることができる。これにより、例えば、ＫｅｙやＶａｌｕｅの抽出を阻害しない高輝度画像を抽出することができるので、Ｋｅｙ－Ｖａｌｕｅ抽出精度を向上させることができる。

（第二の実施形態）
第二の実施形態については、第一の実施形態との差分のみの説明とし、特に明記しない部分については第一の実施形態と同じ構成／手順となる。

第一の実施形態において、非文字情報除去（Ｓ２０２）で二値画像から除去した印影や罫線の一部もしくは全体が、高輝度画像領域と重なっていた場合については考慮していなかった。

図６に、本実施形態に係る高輝度画像の抽出判定処理を示すフローチャートを示す。ここで、図６は、第一の実施形態における抽出判定処理（Ｓ２０６、および図４）に相当する処理である。Ｓ６０１において、ＣＰＵ１１１は、Ｓ２０１で生成した二値画像において、現在の処理対象の高輝度画像領域に対応する位置に、文字画像の黒画素塊が存在するかどうかを判定する。Ｓ６０１で高輝度画像領域内に文字が存在すると判定した場合（すなわち、二値画像から抽出した文字の画素塊と、高輝度画像から抽出した高輝度画像領域とが重なっている場合）は、当該高輝度画像領域は裏写りによるものである可能性が高いため、Ｓ６０７に進み、当該判定対象の高輝度画像領域を抽出対象外と判定する。一方、Ｓ６０１で高輝度画像領域内に文字が存在しない場合（すなわち、二値画像から抽出した文字の画素塊と、高輝度画像から抽出した高輝度画像領域とが重なっていない場合）は、Ｓ６０２へ進む。

Ｓ６０２において、ＣＰＵ１１１は、Ｓ５０２およびＳ５１２でＲＡＭ１１３もしくはＨＤＤ１１４に格納した印影や罫線の位置情報を取得する。

次に、Ｓ６０３において、ＣＰＵ１１１は、高輝度画像領域と、印影および罫線の位置情報とが重なっているかどうかを評価する。印影や罫線が高輝度領域と重なっていた場合はＳ６０４へ進み、重なっていない場合はＳ６０５へ進む。

Ｓ６０４において、ＣＰＵ１１１は、高輝度画像領域の重心の座標から、当該重なっていると判断された印影または罫線までの最短距離を算出する。最短距離が閾値以下であれば（Ｓ６０４でＹｅｓ）、Ｓ６０７に進んで、当該高輝度画像領域の高輝度画像は抽出対象外（すなわち、高輝度画像を表示しない）と設定する。一方、最短距離が当該閾値より大きければ（Ｓ６０４でＮｏ）、Ｓ６０５へ進む。なお、閾値は、例えば、当該判定対象の高輝度画像領域のサイズ（高さ又は幅）の４分の１にすれば、当該高輝度画像領域の中央付近に印影または罫線が重なっているか判断することができる。

Ｓ６０５において、ＣＰＵ１１１は、まず、当該判定対象の高輝度画像領域が罫線に囲まれているかどうかを確認する。ここでは、高輝度画像領域の外接矩形（上下左右全ての辺）とほぼ一致する位置に罫線の位置情報が存在するかを確認する。そして、罫線が存在する場合は、当該判定対象の高輝度画像領域の位置情報を罫線に囲まれている高輝度画像領域としてＲＡＭ１１３の別の領域に格納する。さらに、罫線に囲まれている高輝度画像領域が同じ高さに複数並んで存在するかどうかを判断し、複数存在すると判定した場合（Ｓ６０５のＹｅｓ）、表内の罫線で囲まれたセルの色付き背景画像であるとして、Ｓ６０７でそれらの高輝度画像領域を抽出対象外に設定する。一方、罫線に囲まれた高輝度画像領域が一つのみ、もしくは、近傍の高輝度画像領域の高さがまちまちである場合（Ｓ６０５のＮｏ）、Ｓ６０６において、当該判定対象の高輝度画像領域を抽出対象に設定する。

本実施形態により、高輝度画像領域の中央付近に印影や罫線の一部が重なっている場合も、当該高輝度画像領域を抽出対象外とすることができる。

（第三の実施形態）
第三の実施形態については、第一、二実施形態との差分のみの説明とし、特に明記しない部分については第一、二実施形態と同じ構成／手順となる。

第一の実施形態では、高輝度画像領域と二値画像内の文字の位置情報とを比較することにより、当該高輝度画像領域を抽出対象とするかどうかを判定したが、本実施形態では、高輝度画像が文字であるかどうかに基づいて判定する。具体的には、高輝度画像のＯＣＲ結果を用いて、抽出対象とすべき高輝度画像と抽出対象にしない裏写り画像とを判別する。一般的に、裏写り画像かどうかを判定するためには、表面と裏面の２種の画像が必要であるが、本実施形態では、表面の画像１種のみで裏写り画像かどうかの判定が可能である。

図７Ａに、本実施形態に係る高輝度画像の抽出対象判定処理を示すフローチャートを示す。ここで、図７Ａは、第一の実施形態における抽出対象判定処理（Ｓ２０６、および図４）に相当する処理である。Ｓ７０１において、ＣＰＵ１１１は、Ｓ２０１で生成した二値画像において、現在の処理対象の高輝度画像領域に対応する位置に、文字画像の黒画素塊が存在するかどうかを判定する。Ｓ７０１の処理は、Ｓ４０１の処理と同様である。

Ｓ７０２において、ＣＰＵ１１１は、Ｓ２０３で作成した高輝度画像を用いて、当該判定対象の高輝度画像領域内の高輝度画像に対してＯＣＲ処理を実行する。本実施形態では、ＯＣＲ処理を用いて文字として認識できるかどうか判定するが、文字らしさを判定することができるのであれば、他の方法（例えば、文字判定用のニューラルネットワーク）を用いてもよい。

Ｓ７０３において、ＣＰＵ１１１は、当該判定対象の高輝度画像内の全画素塊のうち、文字として認識できた画素塊の割合（ＯＣＲ結果の確信度が所定の値以上となった画素塊の割合）を算出する。

Ｓ７０４において、ＣＰＵ１１１は、文字として認識された画素塊の割合が閾値より大きいか確認する。閾値より大きいの場合は（Ｓ７０４でＹｅｓ）、高輝度画像に文字画像が含まれていると判断し、Ｓ７０５に進んで、当該高輝度画像領域を抽出対象として設定する。一方、閾値以下である場合（Ｓ７０４でＮｏ）、つまり、高輝度画像に文字が含まれていないと認識された場合、その高輝度画像領域内の高輝度画像は、ノイズや裏写り画像である可能性が高いため、Ｓ７０６に進んで、抽出対象外とする。なお、本実施形態では、文字として認識できた画素塊の割合を判定基準としたが、文字として認識できた画素塊の数を判定基準として用いてもよい。

また、図７Ｂに、本実施形態に係る別方式の高輝度画像領域の抽出対象判定処理を示すフローチャートを示す。ここで、図７Ｂは、第一の実施形態における抽出判定処理（Ｓ２０６、および図４）に相当する処理である。Ｓ７１１において、ＣＰＵ１１１は、Ｓ２０１で生成した二値画像において、現在の処理対象の高輝度画像領域に対応する位置に、文字画像の黒画素塊が存在するかどうかを判定する。Ｓ７１１の処理は、Ｓ４０１の処理と同様である。

Ｓ７１２において、ＣＰＵ１１１は、当該処理対象の高輝度画像領域を反転して、反転高輝度画像を生成する。表面に裏写りした画像は、文字が上下、もしくは左右に反転していることが多い。よって、反転した高輝度画像に対して、Ｓ７１３においてＯＣＲ処理を実行する。

Ｓ７１４において、ＣＰＵ１１１は、当該判定対象の高輝度画像内の全画素塊のうち、Ｓ７１３のＯＣＲ処理によって文字として認識された画素塊の割合（ＯＣＲ結果の確信度が所定の値以上となった画素塊の割合）を算出する。

Ｓ７１５において、ＣＰＵ１１１は、文字として認識された画素塊の割合が閾値より小さいか確認する。反転高輝度画像において文字として認識された画素塊の割合が当該閾値以上である場合（Ｓ７１５でＮｏ）、当該高輝度画像領域は裏写りした文字画像であると判断し、Ｓ７１７に進んで、当該高輝度画像領域を抽出対象外として設定する。一方、反転高輝度画像において文字として認識された画素塊の割合が当該閾値より小さい場合、Ｓ７１６に進んで、当該高輝度画像領域を抽出対象として設定する。なお、本実施形態では、高輝度画像を左右に反転した画像を用いたが、上下反転や、１８０度回転させた画像を用いてもよい。また、上下反転、左右反転、１８０度回転した各画像と、元の画像とで文字認識結果を比較し、元の画像の文字認識率が最も高い場合のみ、抽出対象と判定してもよい。

本実施形態により、ＯＣＲ結果に基づいて裏写りした高輝度画像と判断される場合は、抽出対象外の領域と設定できるので、Ｋｅｙ－Ｖａｌｕｅ抽出を阻害する高輝度画像の抽出を防ぐことができる。

（第四の実施形態）
第四の実施形態については、第一の実施形態との差分のみの説明とし、特に明記しない部分については第一の実施形態と同じ構成／手順となる。

図８に本実施形態に係る二値化からＫｅｙ－Ｖａｌｕｅ抽出処理までの一連の処理を示すフローチャートを示す。図８のフローチャートのうち、Ｓ８０１～Ｓ８１０は、図２のフローチャートにおけるＳ２０１～Ｓ２１０と同様の処理内容である。ただし、Ｓ８０７で抽出対象外と判定された場合（Ｓ８０７でＮｏ）、Ｓ８１１に進む。Ｓ８１１において、ＣＰＵ１１１は、当該抽出対象外と判定された高輝度画像領域の位置情報をＲＡＭ１１３もしくはＨＤＤ１１４に格納する。

図９は、本実施形態に係るＳ８１０のＫｅｙ－Ｖａｌｕｅ抽出処理の詳細を示すフローチャートを示す。Ｓ９０１において、ＣＰＵ１１１は、Ｓ８０９のＯＣＲ結果（二値画像内の文字画像の黒画素塊および抽出対象として設定した高輝度画像領域内の高輝度画像の黒画素塊に対して、ＯＣＲした結果）とその位置情報に基づいて、ＫｅｙとＶａｌｕｅを抽出する。そして、ＫｅｙとＶａｌｕｅの関係にあると判定した各々の文字情報とその位置情報とを関連づけてＲＡＭ１１３に格納する。

次に、Ｓ９０２において、ＣＰＵ１１１は、Ｋｅｙが抽出されたかを確認し、抽出された場合はＳ９０３へ進み、Ｋｅｙが１つも抽出されていなかった場合は処理を終了する。

次に、Ｓ９０３において、ＣＰＵ１１１は、当該抽出されたＫｅｙの位置情報をＲＡＭ１１３より取得し、Ｓ７１１においてＲＡＭ１１３に格納した抽出対象外の高輝度画像領域が、当該Ｋｅｙの周辺に存在するかを確認する。Ｋｅｙ周辺に、Ｓ７１１で抽出対象外とした高輝度画像領域が存在する場合はＳ９０４へ進み、存在しない場合は処理を終了する。なお、本実施形態では、各Ｋｅｙの周辺に、抽出対象外としていた高輝度画像が存在するかを確認したが、さらに、Ｓ９０１で抽出されたＶａｌｕｅの周辺に、抽出対象外としていた高輝度画像が存在するかを確認するようにしてもよい。

Ｓ９０４において、ＣＰＵ１１１は、Ｓ９０３でＫｅｙ周辺に存在すると判定された抽出対象外の高輝度画像領域内の高輝度画像に対してＯＣＲを実行し、文字認識結果を位置情報に関連付けてＲＡＭ１１３もしくはＨＤＤ１１４に格納する。

次に、Ｓ９０５において、ＣＰＵ１１１は、Ｋｅｙ周辺の抽出対象外と設定されていた高輝度画像領域内の高輝度画像が、当該Ｋｅｙに対応したＶａｌｕｅであるかどうかを、Ｓ９０４のＯＣＲ結果に基づいて判定する。図１０に本実施形態に係るＶａｌｕｅ判定処理に関するフローチャートを示す。Ｓ１００１において、ＣＰＵ１１１は、Ｋｅｙ周辺に存在する抽出対象外の高輝度画像に文字情報が存在するかを確認する。文字情報が存在する場合は（Ｓ１００１のＹｅｓ）、Ｓ１００２へ進み、文字情報が存在しない場合は（Ｓ１００１のＮｏ）、高輝度画像は抽出対象外の画像である（Ｓ１００６）と判定する。

Ｓ１００２において、ＣＰＵ１１１は、ＨＤＤ１１４に予め格納していたＫｅｙに対応するＶａｌｕｅの形式に関する情報を取得する。本実施形態において、例えば、Ｋｅｙが「金額」であった場合、対応するＶａｌｕｅの形式として「通貨＋数字」、「数字のみ」などを用いたが、同様の結果が得られるならば、他の表記方法を用いてもよい。

Ｓ１００３において、ＣＰＵ１１１は、Ｋｅｙ周辺に存在する抽出対象外の高輝度画像のＯＣＲ結果をもとに、文字の形式を分析する。Ｓ１００４において、ＣＰＵ１１１は、高輝度画像のＯＣＲ結果の分析結果の文字の形式が、当該Ｋｅｙに対応するＶａｌｕｅとして予め定義されていた文字の形式に一致するか判断する。そして、Ｓ１００４で一致すると判断した場合は、Ｓ１００５に進んで、当該高輝度画像領域を抽出対象として設定しなおす。一方、Ｓ１００４で一致しないと判断した場合は、Ｓ１００６に進んで当該高輝度画像領域を抽出対象外のままにする。

Ｓ９０６において、ＣＰＵ１１１は、Ｓ９０５の判定の結果、抽出対象と設定しなおした高輝度画像領域があるか判断し、抽出対象に設定した高輝度画像領域がある場合はＳ９０７に進む。Ｓ９０７において、ＣＰＵ１１１は、当該抽出対象に設定しなおした高輝度画像領域に関する位置情報と文字情報とを取得し、当該Ｋｅｙに関連付けてＲＡＭ１１３もしくはＨＤＤ１１４の別領域に格納する。なお、Ｓ９０６で、抽出対象に設定した高輝度画像領域がないと判定した場合は、Ｋｅｙ－Ｖａｌｕｅ抽出を終了する。

本実施形態により、抽出対象外の高輝度画像に含まれるＶａｌｕｅを取得することができ、Ｋｅｙ－Ｖａｌｕｅ精度をより向上させることが出来る。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 入力画像を閾値に基づいて二値化することにより、二値画像を生成する二値化手段と、
   前記入力画像において所定の高輝度の画素を黒画素化することにより高輝度画像を生成する生成手段と、
   前記二値画像内の黒画素塊に基づいて特定される文字画像の位置と、前記高輝度画像内の黒画素塊の位置とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記入力画像において、前記二値化手段で用いた閾値よりも高い輝度で且つ背景よりも低い輝度を有する画素を黒画素化することにより、前記高輝度画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記二値化手段で生成された前記二値画像において、文字画像と非文字画像とを特定する特定手段を更に備え、
   前記判定手段は、前記特定手段で特定された文字画像の位置と、前記高輝度画像内の黒画素塊の位置とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記二値画像内の黒画素塊に基づいて特定される文字画像の間にある前記高輝度画像内の黒画素塊を、抽出対象にしないと判定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、前記高輝度画像内の黒画素塊の領域内に、前記二値画像内の黒画素塊に基づいて特定される文字画像がある場合、前記高輝度画像内の黒画素塊を、抽出対象にしないと判定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記二値画像内の黒画素塊に基づいて特定される文字画像と、前記判定手段で抽出対象として判定された前記高輝度画像内の黒画素塊とに対して、文字認識処理を実行する文字認識手段、を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記文字認識手段による文字認識結果に基づいて、ＫｅｙとＶａｌｕｅの関係にある文字情報を抽出するＫｅｙ－Ｖａｌｕｅ抽出手段、を更に有することを特徴とする請求項６に記載の画像処理装置。
8. 前記判定手段は、前記高輝度画像内の黒画素塊の領域と、前記特定手段で特定された前記非文字画像が所定の範囲で重なっている場合、当該高輝度画像内の黒画素塊を、抽出対象にしないと判定する、ことを特徴とする請求項３に記載の画像処理装置。
9. 前記特定手段は、前記非文字画像として罫線を特定し、
   前記判定手段は、前記特定された罫線によって囲まれた前記高輝度画像内の黒画素塊の領域が複数並んで存在する場合、当該高輝度画像内の黒画素塊を、抽出対象にしないと判定する、ことを特徴とする請求項３に記載の画像処理装置。
10. 前記高輝度画像内の黒画素塊に対して、文字認識処理を実行する文字認識手段、を更に備え、
    前記判定手段は、前記二値画像内の黒画素塊に基づいて特定される文字画像の位置と、前記高輝度画像内の黒画素塊の位置と、前記文字認識手段による前記高輝度画像内の黒画素塊の文字認識処理の結果とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記文字認識手段による文字認識結果に基づいて、Ｋｅｙの文字情報を判定し、当該判定されたＫｅｙの文字情報に対応する位置の周辺に、前記判定手段で抽出対象にしないと判定された前記高輝度画像内の黒画素塊が存在する場合、当該抽出対象にしないと判定された前記高輝度画像内の黒画素塊に対して文字認識処理を行い、当該文字認識処理の結果に基づいて、当該高輝度画像内の黒画素塊を抽出対象に設定するか否か判定する第２の判定手段を、更に備えることを特徴とする請求項６に記載の画像処理装置。
12. 入力画像を閾値に基づいて二値化することにより、二値画像を生成する二値化ステップと、
    前記入力画像において所定の高輝度の画素を黒画素化することにより高輝度画像を生成する生成ステップと、
    前記二値画像内の黒画素塊に基づいて特定される文字画像の位置と、前記高輝度画像内の黒画素塊の位置とに基づいて、前記高輝度画像内の黒画素塊を抽出対象にするか否か判定する判定ステップと、
    を備えることを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images