JP2014081714A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置を提供する。
【解決手段】画像処理装置の文字認識手段は、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識し、比較手段は、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、出力手段は、前記比較手段による比較結果を出力する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、多様な種類の画像に対して適切な画像検索方法を提供することを課題とし、写真画像検索部は、入力文書画像をブロックに分割し、各ブロック毎にエッジ量などの画像特徴量を求め、そして、その画像特徴量の分布と各登録画像の画像特徴量の分布とを比較することで各登録画像の入力文書画像に対する類似度スコア（第１スコア）を計算し、テキスト検索部は、画像を文字認識した結果としてのテキストの類似性に基づき、各登録画像の入力文書画像に対する類似度スコア（第２スコア）を計算し、候補抽出部は、各登録画像の第１スコアと第２スコアとを統合し、得られた統合スコアが上位となる登録画像を候補として抽出し、文書画像検索部は、それら候補と入力文書画像とを、投影波形同士で比較することで、最終的な類似度を計算することが開示されている。

特許文献２には、文書や帳票の読み取りにおいて、手書き文字でも正確に認識するとともに、認識結果の誤認識や判読困難な文字を精度よく棄却する文字認識装置を提供することを課題とし、文字画像抽出部は、文書画像入力受付部で受け付けられた文書画像から文字画像を切り出し、特徴量抽出部は文字画像から特徴量を抽出し、候補文字選択部は分類辞書の基準特徴量と抽出された特徴量との類似度を算出し候補文字を選択し、候補文字判定部は選択された候補文字同士が類似候補文字識別辞書に記載されているとき、いずれの文字が適切か判定し、個別文字検証部は、候補文字を個別検証辞書の肯定条件又は否定条件に示されるルールに従い「有効」又は「棄却」とし、認識検証部は、同一文字行に複数の同一候補文字があるとき、文字画像同士の類似度を用いて、候補文字の変更処理を行うことが開示されている。

特許文献３には、切り出し誤りによって文字を認識した結果の文字数が、結果として出力すべき単語の文字数と異なる場合でも正確に該当する単語を認識結果として抽出することを目的とし、文字再切り出し段階では、文字のかすれにより、単語を構成する文字の数より実際に記入された文字の数が増加している場合、候補文字との対応がとれていない文字の位置に存在する２つ以上の図形をまとめて１つの図形として抽出し、文字再認識段階では抽出された図形に対して認識辞書を用いて文字認識し、単語再照合段階では、文字再認識段階で得られた認識結果の候補文字の中に単語照合段階で未照合となっている文字があるかどうか判定し、あればその文字を含む候補文字を認識結果として出力することが開示されている。

特開２００７−１７２０７７号公報 特許第４８６１７３０号公報 特開平０８−３１５０７７号公報

本発明は、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、前記比較手段による判定結果を出力する出力手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記第１の画像と前記第２の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段をさらに具備し、前記出力手段は、前記補正手段によって補正された結果を出力することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正することを特徴とする請求項２に記載の画像処理装置である。

請求項４の発明は、前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正することを特徴とする請求項２に記載の画像処理装置である。

請求項５の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象として補正を行うことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

請求項６の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としないことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置である。

請求項７の発明は、前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わないことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

請求項８の発明は、前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行うことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

請求項９の発明は、コンピュータを、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、前記比較手段による比較結果を出力する出力手段として機能させるための画像処理プログラムである。

請求項１０の発明は、コンピュータを、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、前記判定手段による判定結果を出力する出力手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

請求項２の画像処理装置によれば、文字画像の比較結果に基づいて、文字の比較結果を補正することができる。

請求項３の画像処理装置によれば、文字画像間の相関係数に基づいて文字の比較結果を補正することができる。

請求項４の画像処理装置によれば、文字画像の特徴空間における距離に基づいて文字の比較結果を補正することができる。

請求項５の画像処理装置によれば、本構成を有していない場合に比較して、文字の比較結果の精度を向上させることができる。

請求項６の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

請求項７の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

請求項８の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

請求項９の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

請求項１０の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、置換した文字に分けることができる。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 第１の実施の形態による処理例を示すフローチャートである。 文字列の比較処理の例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 第２−１の実施の形態の構成例についての概念的なモジュール構成図である。 第２−１の実施の形態による処理例を示すフローチャートである。 第２−１の実施の形態による処理例を示す説明図である。 第２−１の実施の形態による処理例を示す説明図である。 第２−２の実施の形態の構成例についての概念的なモジュール構成図である。 第２−２の実施の形態による処理例を示すフローチャートである。 第２−２の実施の形態による処理例を示す説明図である。 第２−２の実施の形態による処理例を示す説明図である。 第２−２の実施の形態による処理例を示す説明図である。 第２−２の実施の形態による処理例を示す説明図である。 第２−３の実施の形態の構成例についての概念的なモジュール構成図である。 第２−３の実施の形態による処理例を示す説明図である。 第２−３の実施の形態による処理例を示すフローチャートである。 第２−３の実施の形態による処理例を示す説明図である。 第２−３の実施の形態による処理例を示す説明図である。 第２−４の実施の形態の構成例についての概念的なモジュール構成図である。 第２−４の実施の形態が対象とする文字画像の例を示す説明図である。 第２−４の実施の形態による処理例を示すフローチャートである。 第２−４の実施の形態による処理例を示す説明図である。 第２−４の実施の形態による処理例を示す説明図である。 第２−５の実施の形態の構成例についての概念的なモジュール構成図である。 第２−５の実施の形態による処理例を示すフローチャートである。 第２−６の実施の形態の構成例についての概念的なモジュール構成図である。 第２−６の実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判定し、Ａであると判定した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判定が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

第１の実施の形態である画像処理装置は、複数の画像を比較するものであって、図１の例に示すように、文字認識モジュール１１０、文字列比較モジュール１２０、結果出力モジュール１９０を有している。

文字認識モジュール１１０は、文字列比較モジュール１２０と接続されている。文字認識モジュール１１０は、画像（旧）１００Ａを文字認識し、その画像（旧）１００Ａと関連する画像（新）１００Ｂを文字認識する。例えば、画像（旧）１００Ａとしては、修正前の文書画像が該当する。画像（新）１００Ｂとしては、その修正後の文書画像が該当する。なお、画像（旧）１００Ａと画像（新）１００Ｂの関係は、比較対象であればよく、修正前後という関係を必ずしも必要としない。受け付ける画像としては、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。また、受け付ける画像（比較対象とする画像）は、２以上の複数であってもよい。それぞれの比較対象とする画像は、複数ページであってもよい。また、画像の内容として、文字認識の対象となる文字が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

文字列比較モジュール１２０は、文字認識モジュール１１０、結果出力モジュール１９０と接続されている。文字列比較モジュール１２０は、画像（旧）１００Ａに対する文字認識モジュール１１０による第１の文字認識結果と画像（新）１００Ｂに対する文字認識モジュール１１０による第２の文字認識結果を比較する。そして、その比較処理によって、２つの文字認識結果間で一致する文字を抽出し、文字認識結果は、“一致文字”と“一致文字でない文字”に分類する。そして、“一致文字でない文字”を、削除文字、挿入文字、置換文字に分類する。つまり、第１の文字認識結果又は第２の文字認識結果である文字を、画像（旧）１００Ａから削除された文字、１００Ｂに挿入された文字、画像（旧）１００Ａ内の文字を画像（新）１００Ｂ内では別の文字に置き換えた文字のいずれであるかを判定する。具体的には、文字列比較モジュール１２０は、テキストコードにより比較を行う。一致する文字（一致文字ともいう）は文字単位で対応関係が求められる。一致文字に挟まれている文字は、削除された文字（削除文字ともいう）、挿入された文字（挿入文字ともいう）、置換された文字（置換文字ともいう）のいずれかである。そして、置換文字についても文字単位で対応関係が求められる。また、編集モードとして、一致文字と判定した場合を「一致」、削除文字と判定した場合を「削除」、挿入文字と判定した場合を「挿入」、置換文字と判定した場合を「置換」という。また、一致文字、削除文字、挿入文字、置換文字に限定する必要はない。例えば、一致文字と不一致文字だけでもよい。置換文字とは、削除文字と挿入文字の組み合わせであるので、一致文字、削除文字、挿入文字だけでもよい。

結果出力モジュール１９０は、文字列比較モジュール１２０と接続されている。結果出力モジュール１９０は、文字列比較モジュール１２０による比較結果を出力する。比較結果を画像で出力してもよいし、テキストで出力してもよい。不一致文字を一致文字と比べて目立つように強調（例えば、色を変える等）してもよいし、不一致文字だけ出力してもよい。例えば、画像（旧）１００Ａに、一致文字、削除文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。また、画像（新）１００Ｂに、一致文字、挿入文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。

図２は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、文字認識モジュール１１０が、画像（旧）１００Ａに対して文字認識を行う。
ステップＳ２０４では、文字認識モジュール１１０が、画像（新）１００Ｂに対して文字認識を行う。
ステップＳ２０６では、文字列比較モジュール１２０が、新旧の文字認識結果を文字列比較する。
ステップＳ２０８では、結果出力モジュール１９０が、文字列比較結果を出力する。

図３は、文字列の比較処理の例を示す説明図である。
画像（旧）１００Ａの文字認識結果の一部である「ＡＢＣＤＥＧ」と画像（新）１００Ｂの文字認識結果の一部である「ＢｃＤＥＦＧ」を比較する例を示す。「Ｂ」と「Ｄ」の対応関係から「Ｃ」と「ｃ」が対応することが分かる。つまり、一致文字である認識文字Ｂ：３０２と認識文字Ｂ：３５１の組、認識文字Ｄ：３０４と認識文字Ｄ：３５３の組に挟まれている文字である認識文字Ｃ：３０３（認識文字Ｂ：３０２と認識文字Ｄ：３０４に挟まれている）、認識文字ｃ：３５２（認識文字Ｂ：３５１と認識文字Ｄ：３５３に挟まれている）は対応しており、この認識文字Ｃ：３０３と認識文字ｃ：３５２は置換文字である。なお、置換文字の関係には、１文字対１文字の関係の他に、Ｎ文字対Ｍ文字の関係（Ｎ、Ｍは１以上の整数）であってもよい。例えば、１文字が２文字に置換される場合も、同様に置換文字の関係になる。
また、認識文字Ａ：３０１は、画像（旧）１００Ａの文字認識結果にはあって、画像（新）１００Ｂの文字認識結果には無いので、削除文字である。認識文字Ｆ：３５５は、画像（旧）１００Ａの文字認識結果には無くて、画像（新）１００Ｂの文字認識結果にはあるので、挿入文字である。

図４は、第１の実施の形態による処理例を示す説明図である。
文字認識モジュール１１０は、画像（旧）４００Ａに対して文字認識処理４１０Ａを行い、文字認識結果４２０Ａを文字列比較モジュール１２０に渡す。文字認識モジュール１１０は、画像（新）４００Ｂに対して文字認識処理４１０Ｂを行い、文字認識結果４２０Ｂを文字列比較モジュール１２０に渡す。文字認識処理４１０Ａ、４１０Ｂの処理は、いずれが先に行ってもよいし、平行して行われてもよい。
そして、文字列比較モジュール１２０は、文字認識結果４２０Ａと文字認識結果４２０Ｂに対して文字列比較処理４３０を行い、比較結果テーブル４９０を結果出力モジュール１９０に渡す。
比較結果テーブル４９０は、文字列比較結果欄４９２、文書（旧）欄４９４Ａ、文書（新）欄４９４Ｂを有している。文書（旧）欄４９４Ａは、Ｎｏ．欄４９６Ａ、文字欄４９８Ａを有している。文書（新）欄４９４Ｂは、Ｎｏ．欄４９６Ｂ、文字欄４９８Ｂを有している。「Ａ」（文書（旧）欄４９４Ａ内のＮｏ．３の文字）は、削除文字である。「２」（文書（旧）欄４９４Ａ内のＮｏ．７の文字）と「０」（文書（新）欄４９４Ｂ内のＮｏ．６の文字）は置換文字である。「と」（文書（新）欄４９４Ｂ内のＮｏ．１６の文字）は挿入文字である。「、」（文書（新）欄４９４Ｂ内のＮｏ．１８の文字）は挿入文字である。

＜第２−１の実施の形態＞
図５は、第２−１の実施の形態の構成例についての概念的なモジュール構成図である。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。第２の実施の形態は、第１の実施の形態の処理と比べると、文字列比較モジュール１２０による処理結果を画像（旧）１００Ａ、画像（新）１００Ｂを用いて補正する処理を加えたものであり、図２の例に示すように、文字認識モジュール１１０、文字列比較モジュール１２０、補正モジュール５３０、結果出力モジュール１９０を有している。
文字認識モジュール１１０は、文字列比較モジュール１２０と接続されている。文字認識モジュール１１０は、画像（旧）１００Ａ、画像（新）１００Ｂのそれぞれの文字認識結果を含む文字列情報５１２を文字列比較モジュール１２０に渡す。
文字列比較モジュール１２０は、文字認識モジュール１１０、補正モジュール５３０と接続されている。
補正モジュール５３０は、文字列比較モジュール１２０、結果出力モジュール１９０と接続されている。補正モジュール５３０は、画像（旧）１００Ａと画像（新）１００Ｂ内の対応する文字画像を比較することによって、文字列比較モジュール１２０による比較結果５２２を補正する。
結果出力モジュール１９０は、補正モジュール５３０と接続されている。結果出力モジュール１９０は、補正モジュール５３０によって補正された補正後の比較結果５３２を出力する。

図６は、第２−１の実施の形態による処理例を示すフローチャートである。
ステップＳ６０２では、文字認識モジュール１１０が、画像（旧）１００Ａに対して文字認識を行う。
ステップＳ６０４では、文字認識モジュール１１０が、画像（新）１００Ｂに対して文字認識を行う。
ステップＳ６０６では、文字列比較モジュール１２０が、新旧の文字認識結果を文字列比較する。
ステップＳ６０８では、補正モジュール５３０が、文字列比較結果を補正する。
ステップＳ６１０では、結果出力モジュール１９０が、文字列比較結果を出力する。

図７は、第２−１の実施の形態による処理例を示す説明図である。
文字認識モジュール１１０は、対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂを文字認識処理７１０する。その結果、対象文字画像（旧）７００Ａは「Ｓｏｆｔｗａｒｅ」という文字認識結果（旧）７１２Ａとなり、対象文字画像（新）７００Ｂは「Ｓ０ｆｔｗａｒｅ」という文字認識結果（新）７１２Ｂとなる。
文字列比較モジュール１２０は、文字認識結果（旧）７１２Ａと文字認識結果（新）７１２Ｂを文字列比較処理７２０する。その結果、文字認識結果（旧）７１２Ａと文字認識結果（新）７１２Ｂの第２文字目の「ｏ」と「０」が差分という文字列比較結果７２２となる。ここで、差分文字については、編集モードを「置換」とする。
補正モジュール５３０は、文字列比較結果７２２として異なるとされた対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂの第２文字目の文字画像（文字画像（旧）７３４Ａ、文字画像（新）７３４Ｂ）を比較し、一致するという文字画像比較結果７３２を出力する。
ここで、編集モードを「置換」から「一致」に修正する。そして、結果出力モジュール１９０は、「対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂは差分なし」という結果７９２を出力する。各文字認識結果の編集モードは「一致」となる。

図８は、第２−１の実施の形態による処理例を示す説明図である。
文字認識モジュール１１０は、対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂを文字認識処理８１０する。その結果、対象文字画像（旧）８００Ａは「ｓｏｆｔｗａｒｅ」という文字認識結果（旧）８１２Ａとなり、対象文字画像（新）８００Ｂは「ｓｏｆｔｗａｒｅ」という文字認識結果（新）８１２Ｂとなる。
文字列比較モジュール１２０は、文字認識結果（旧）８１２Ａと文字認識結果（新）８１２Ｂを文字列比較処理８２０する。その結果、差分なしという文字列比較結果８２２となる。ここで、比較対象の文字列（各文字）については、編集モードを「一致」とする。
補正モジュール５３０は、文字列比較結果８２２として差分なしとされた対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂの第１文字目の文字画像（文字画像（旧）８３４Ａ、文字画像（新）８３４Ｂ）を比較し、異なるという文字画像比較結果８３２を出力する。
ここで、編集モードを「一致」から「置換」に修正する。そして、結果出力モジュール１９０は、「対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂはそれぞれ第１文字目の文字画像が差分」という結果８９２を出力する。文字認識結果である「Ｓ」と「ｓ」の編集モードは「置換」となる。なお、正しい文字コードは不明なままである。具体的には、対象文字画像（旧）８００Ａの第１文字目が「Ｓ」でないのか、対象文字画像（新）８００Ｂの第１文字目が「Ｓ」でないのか、は不明のままである。

＜第２−２の実施の形態＞
図９は、第２−２の実施の形態の構成例についての概念的なモジュール構成図である。第２−２の実施の形態は、第２−１の実施の形態の補正モジュール５３０内のモジュール構成を詳細にしたものであり、補正モジュール５３０は、文字画像切出モジュール９３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。
文字画像切出モジュール９３２は、文字画像比較モジュール９３４と接続されている。文字画像切出モジュール９３２は、画像１００（画像（旧）１００Ａ又は画像（新）１００Ｂのいずれか一方）から文字座標リスト９００を用いて文字画像９３３を切り出す。文字座標リスト９００は、文字認識モジュール１１０が文字認識結果とともに出力する。
文字画像比較モジュール９３４は、文字画像切出モジュール９３２、文字列比較結果修正モジュール９３６と接続されている。文字画像比較モジュール９３４は、画像（旧）１００Ａと画像（新）１００Ｂ内の対応する文字画像９３３を比較する。比較結果である一致か不一致かのフラグ９３５を文字列比較結果修正モジュール９３６に渡す。対応するとは、文字列比較モジュール１２０によって対応するとされた文字の文字画像の組み合わせ（一致文字の組み合わせ、置換文字の組み合わせ）であってもよいし、画像（旧）１００Ａ内の文字画像と画像（新）１００Ｂ内の文字画像の全ての組み合わせであってもよいし（図１４を用いて詳述する組み合わせ）、その他の組み合わせ（後に詳述する組み合わせ）であってもよい。比較処理については、第２−３の実施の形態と第２−４の実施の形態を用いて詳述する。
文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４で“一致”と判定したら、対応する文字の編集モードを“一致”に書き換える。“不一致”と判定したら、対応する文字の編集モードを“置換”に書き換える。

図１０は、第２−２の実施の形態（特に補正モジュール５３０内のモジュール）による処理例を示すフローチャートである。
ステップＳ１００２では、文字画像切出モジュール９３２が、両者の画像１００から文字座標リスト９００を用いて文字画像を切り出す。
ステップＳ１００４では、文字画像比較モジュール９３４が、切り出した両者の文字画像９３３を比較する。
ステップＳ１００６では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

図１１は、第２−２の実施の形態による処理例を示す説明図である。
文字認識モジュール１１０は、画像（旧）１１００Ａに対して文字認識処理１１１０Ａを行い、文字認識結果１１２０Ａを文字列比較モジュール１２０に渡す。文字認識モジュール１１０は、画像（新）１１００Ｂに対して文字認識処理１１１０Ｂを行い、文字認識結果１１２０Ｂを文字列比較モジュール１２０に渡す。文字認識処理１１１０Ａ、１１１０Ｂの処理は、いずれが先に行ってもよいし、平行して行われてもよい。
そして、文字列比較モジュール１２０は、文字認識結果１１２０Ａと文字認識結果１１２０Ｂに対して文字列比較処理１１３０を行い、比較結果テーブル１１９０を結果出力モジュール１９０に渡す。
比較結果テーブル１１９０は、文字列比較結果欄１１９２、文書（旧）欄１１９４Ａ、文書（新）欄１１９４Ｂを有している。文書（旧）欄１１９４Ａは、Ｎｏ．欄１１９６Ａ、文字欄１１９８Ａを有している。文書（新）欄１１９４Ｂは、Ｎｏ．欄１１９６Ｂ、文字欄１１９８Ｂを有している。図４の例に示した比較結果テーブル４９０と同等のものである。ただし、比較結果テーブル１１９０は、文字列比較結果修正モジュール９３６による補正処理の結果である。

文字列比較結果修正モジュール９３６が行う処理について説明する。文字認識結果に誤りのあった文字「Ｚ」（文書（新）欄１１９４ＢのＮｏ．３の文字）と文字「２」（文書（旧）欄１１９４ＡのＮｏ．４の文字）の組み合わせに対する編集モードの補正について説明する。
文字画像比較モジュール９３４による文字画像の比較により、文書（旧）１１００Ａの４番目の文字と文書（新）１１００Ｂの３番目の文字が一致していると判定される。さらに、文書（旧）１１００Ａの７番目の文字と文書（新）１１００Ｂの３番目の文字が一致しているとも判定される。
このとき、文字列比較結果修正モジュール９３６による処理によって、文書（旧）１１００Ａの４番目の文字との一致関係が採用される。なぜなら、文字列比較処理によって、文書（新）１１００Ｂの３番目の文字と文書（旧）１１００Ａの４番目の文字とが対応付いていると仮定すると、その後の２文字も一致しており、文書（新）１１００Ｂの３番目の文字と文書（旧）１１００Ａの７番目の文字とが対応付いていると仮定すると、その後の文字は一致しないことになるためである。つまり、文字画像比較モジュール９３４の比較処理結果によって一致している文字が複数ある場合は、それぞれの文字が一致していると仮定して、その後に続く文字であって一致している文字が多い方を対応付いていると判定する。また、その後に続く文字ではなく、その前にある文字としてもよいし、前後両方の文字を対象としてもよい。

文書（旧）１１００Ａの４番目の文字と文書（新）１１００Ｂの３番目の文字が一致していると判定されたので、次に、文字列比較結果修正モジュール９３６は、文書（旧）１１００Ａの４番目の文字の文字列比較結果と、文書（新）１１００Ｂの３番目の文字の文字列比較結果欄１１９２の内容を「置換」から「一致」に置き換える。
このとき、文字列比較結果修正モジュール９３６は、テキストコードも「Ｚ」から「２」へ、又は「２」から「Ｚ」へ置き換えてもよい。ただし、新旧どちらのテキストコードが正しいのであるかについては判定しない。本実施の形態は、文字認識結果を補正するものではない。
比較結果テーブル１１９０は、文字列比較結果を示す表である。同じ行に並んでいる文字は、文字列比較処理の結果、対応付いたことを意味している。置換文字であっても、前述のように前後の一致文字の対応関係から対応する文字を求めることができる。

図１２は、第２−２の実施の形態（主に文字認識モジュール１１０、文字画像切出モジュール９３２）による処理例を示す説明図である。
文字認識モジュール１１０は、文字認識結果とともに、その文字の座標を出力する。文字画像切出モジュール９３２は、その座標に基づいて、文字画像を切り出す。図１２（ａ）の例に示す画像（旧）１２００の文字認識結果と文字の座標は、図１２（ｃ）の例に示す文字認識結果等テーブル１２２０のようになる。文字認識結果等テーブル１２２０は、Ｎｏ．欄１２２２、文字欄１２２４、左Ｘ欄１２２６、上Ｙ欄１２２８、右Ｘ欄１２３０、下Ｙ欄１２３２、確信度欄１２３４を有している。文字欄１２２４は、文字認識結果であるテキストコードを記憶する。左Ｘ欄１２２６、上Ｙ欄１２２８、右Ｘ欄１２３０、下Ｙ欄１２３２は、文字の座標を記憶する。つまり、図１２（ｂ）の例に示す文字矩形１２１０の左上座標１２１２と右下座標１２１４を示している。もちろんのことながら、右上、左下の座標の組み合わせであってもよいし、文字矩形１２１０の４角のいずれかの座標と幅と高さによって文字矩形１２１０の座標を表すようにしてもよい。確信度欄１２３４は、文字認識モジュール１１０による文字認識処理によって、その文字認識結果の確からしさを示す情報を記憶する。例えば、数値が高いほど、そのテキストコードらしいことを示している。確信度欄１２３４が記憶する情報を用いる処理については、後述する。
文字画像切出モジュール９３２は、この文字認識結果等テーブル１２２０を用いて、画像（旧）１００Ａ、画像（新）１００Ｂから文字画像を切り出す。

図１３は、第２−２の実施の形態による処理例を示す説明図である。文字画像切出モジュール９３２は、画像（旧）１３００Ａに対して文字認識結果等テーブル１２２０を用いて文字画像切り出し処理１３３２Ａを行い、文字画像群（旧）１３３３Ａを文字画像比較モジュール９３４に渡す。文字画像切出モジュール９３２は、画像（新）１３００Ｂに対して文字認識結果等テーブル１２２０を用いて文字画像切り出し処理１３３２Ｂを行い、文字画像群（新）１３３３Ｂを文字画像比較モジュール９３４に渡す。文字画像比較モジュール９３４は、文字画像群（旧）１３３３Ａと文字画像群（新）１３３３Ｂに対して文字画像比較処理１３３４を行い、一致か不一致かのフラグ１３３５を文字列比較結果修正モジュール９３６に渡す。
なお、文字画像比較処理１３３４で行う比較対象の組み合わせは、全ての組み合わせであってもよい。図１４（ａ）の例に示すように、文字画像群（旧）１３３３Ａ内の認識文字１４００Ａと文字画像群（新）１３３３Ｂ内の各文字画像（認識文字１４００Ｂ、１４０１Ｂ、１４０２Ｂ、１４０３Ｂ等）の組み合わせに対して処理を行い、次に、図１４（ｂ）の例に示すように、文字画像群（旧）１３３３Ａ内の認識文字１４０１Ａと文字画像群（新）１３３３Ｂ内の各文字画像（認識文字１４００Ｂ、１４０１Ｂ、１４０２Ｂ、１４０３Ｂ等）の組み合わせに対して処理を行う。

＜第２−３の実施の形態＞
図１５は、第２−３の実施の形態の構成例についての概念的なモジュール構成図である。第２−３の実施の形態は、第２−２の実施の形態の文字画像比較モジュール９３４内のモジュール構成を詳細にしたものであり、文字画像比較モジュール９３４は、相関係数算出モジュール１５１０、相関係数決定モジュール１５２０、一致判定モジュール１５３０を有している。

相関係数算出モジュール１５１０は、相関係数決定モジュール１５２０と接続されている。相関係数算出モジュール１５１０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂとの相関係数を算出する。例えば、文字画像（旧）９３３Ａに対して文字画像（新）９３３Ｂを少しずつずらしながら相関を計算する。具体的には、図１６の例に示すように、２つの文字画像を少しずつずらしながら重ね合わせて輝度の相関を計算する。より具体的には、２つの文字画像のＥＯＲ（排他的論理和）処理を行い、残った画素値を計数し、その計数値の逆数を相関値とする。
相関係数決定モジュール１５２０は、相関係数算出モジュール１５１０、一致判定モジュール１５３０と接続されている。相関係数決定モジュール１５２０は、一番相関が高かったところの差分量を、この候補文字の相関係数とする。図１６の例では、（ｅ）が、それに該当する。
一致判定モジュール１５３０は、相関係数決定モジュール１５２０と接続されている。一致判定モジュール１５３０は、相関係数決定モジュール１５２０から渡された相関係数と予め定められた閾値を比較して、「相関係数が閾値より大きい又は以上」ならば、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂは一致していると判定する。そして、「相関係数が閾値以下又は未満」ならば、異なる文字だと判定する。
その後、文字列比較結果修正モジュール９３６は、一致判定モジュール１５３０からの一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０による比較結果を補正する。

図１７は、第２−３の実施の形態による処理例を示すフローチャートである。
ステップＳ１７０２では、相関係数算出モジュール１５１０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂの各ずらし量における相関係数を算出する。
ステップＳ１７０４では、相関係数決定モジュール１５２０が、各ずらし量における相関係数から、この文字画像対の相関係数を決定する。
ステップＳ１７０６では、一致判定モジュール１５３０が、予め定めた閾値と相関係数を比較して、一致するか否かの判定を行う。
ステップＳ１７０８では、一致判定モジュール１５３０が、判定結果を出力する。

図１８は、第２−３の実施の形態による処理例を示す説明図である。
図１５の例に示したように、文字画像同士の相関係数を算出する（図１８（ａ）、（ｂ））。そして、例えば、閾値を０．８３として、閾値処理１８１０では、相関係数が閾値以上の文字画像があるかどうかを判定する（図１８（ｃ））。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図１８の例では、「文書（旧）の０番目の認識文字１４００Ａ（契）と文書（新）の０番目の認識文字１４００Ｂ（契）が一致していると判定する」という閾値処理結果１８３５を出力する（図１８（ｄ））。

図１９は、第２−３の実施の形態による処理例を示す説明図である。
図１５の例に示したように、文字画像同士の相関係数を求める。（図１９（ａ）、（ｂ））。そして、例えば、閾値を０．８３として、閾値処理１８１０では、相関係数が閾値以上の文字画像があるかどうかを判定する（図１９（ｃ））。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図１９の例では、「文書（旧）の３番目の認識文字１４０３Ａ（Ａ）と一致する文字はないと判定する」という閾値処理結果１９３５を出力する（図１９（ｄ））。

＜第２−４の実施の形態＞
図２０は、第２−４の実施の形態の構成例についての概念的なモジュール構成図である。第２−４の実施の形態は、第２−２の実施の形態の文字画像比較モジュール９３４内のモジュール構成を詳細にしたものであり、文字画像比較モジュール９３４は、特徴量算出モジュール２０１０、特徴量距離算出モジュール２０２０、一致判定モジュール２０３０を有している。

特徴量算出モジュール２０１０は、特徴量距離算出モジュール２０２０と接続されている。特徴量算出モジュール２０１０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂの特徴量を算出する。例えば、それぞれの文字画像の幅、高さ、黒画素密度、投影ヒストグラム等の特徴量を算出する。図２１の例では、文字画像２１００の特徴量として、高さ２１１０、幅２１２０がある。
特徴量距離算出モジュール２０２０は、特徴量算出モジュール２０１０、一致判定モジュール２０３０と接続されている。特徴量距離算出モジュール２０２０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂとの間の特徴空間における距離を算出する。

特徴量距離算出モジュール２０２０は、例えば、文字画像（旧）９３３Ａの特徴量ベクトル＝（ｐ_１，ｐ_２，…，ｐ_ｎ）、文字画像（新）９３３Ｂの特徴量ベクトル＝（ｑ_１，ｑ_２，…，ｑ_ｎ）、ただし、ｐ_ｉ，ｑ_ｉは各特徴量（０＜ｉ≦ｎ）、ｎ個の特徴量である。そして、特徴量の距離Ｄを次のように算出する。
特徴量の距離Ｄ＝｜ｐ_１−ｑ_１｜^２＋｜ｐ_２−ｑ_２｜^２＋…＋｜ｐ_ｎ−ｑ_ｎ｜^２

一致判定モジュール２０３０は、特徴量距離算出モジュール２０２０と接続されている。一致判定モジュール２０３０は、特徴量距離算出モジュール２０２０から渡された特徴量の距離と予め定められた閾値を比較して、「特徴量の距離が閾値より小さい」ならば、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂは一致していると判定する。そして、「特徴量の距離が閾値以上又はより大きい」ならば、異なる文字だと判定する。
その後、文字列比較結果修正モジュール９３６は、一致判定モジュール２０３０からの一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０による判定結果を補正する。

図２２は、第２−４の実施の形態による処理例を示すフローチャートである。
ステップＳ２２０２では、特徴量算出モジュール２０１０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂのそれぞれの特徴量を算出する。
ステップＳ２２０４では、特徴量距離算出モジュール２０２０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂの特徴量距離を算出する。
ステップＳ２２０６では、一致判定モジュール２０３０が、予め定めた閾値と特徴量距離を比較して、一致するか否かの判定を行う。
ステップＳ２２０８では、一致判定モジュール２０３０が、判定結果を出力する。

図２３は、第２−４の実施の形態による処理例を示す説明図である。
図２０の例に示したように、文字画像同士の特徴間の距離を算出する（図２３（ａ）、（ｂ））。各文字画像特徴量を算出する。例えば、認識文字１４００Ａの特徴量ベクトルを、（ｐ_０１，ｐ_０２，…，ｐ_０ｎ）とする。認識文字１４００Ｂ等の特徴量ベクトルを、（ｑ_０１，ｑ_０２，…，ｑ_０ｎ）とする。文字画像同士の特徴量の距離Ｄを前述の式で算出する。そして、例えば、閾値を０．１５として、閾値処理２３１０では、距離Ｄが閾値以下の文字画像があるかどうかを判定する（図２３（ｃ））。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図２３の例では、「文書（旧）の０番目の認識文字１４００Ａ（契）と文書（新）の０番目の認識文字１４００Ｂ（契）が一致していると判定する」という閾値処理結果２３３５を出力する（図２３（ｄ））。

図２４は、第２−４の実施の形態による処理例を示す説明図である。
図２０の例に示したように、文字画像同士の特徴間の距離を算出する（図２４（ａ）、（ｂ））。各文字画像特徴量を算出する。例えば、認識文字１４０３Ａの特徴量ベクトルを、（ｐ_３１，ｐ_３２，…，ｐ_３ｎ）とする。認識文字１４００Ｂ等の特徴量ベクトルを、（ｑ_０１，ｑ_０２，…，ｑ_０ｎ）とする。文字画像同士の特徴量の距離Ｄを前述の式で算出する。そして、例えば、閾値を０．１５として、閾値処理２４１０では、距離Ｄが閾値以下の文字画像があるかどうかを判定する（図２４（ｃ））。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図２４の例では、「文書（旧）の３番目の認識文字１４０３Ａ（Ａ）と一致する文字はないと判定する」という閾値処理結果２４３５を出力する（図２４（ｄ））。

＜第２−５の実施の形態＞
図２５は、第２−５の実施の形態の構成例についての概念的なモジュール構成図である。第２−５の実施の形態は、補正候補文字選別モジュール２５２０が、文字認識結果の確信度を用いて、補正処理の対象となる文字画像を選択するものである。なお、補正処理モジュール２５３０は、前述の実施の形態（第２−１の実施の形態から第２−４の実施の形態）における補正モジュール５３０に相当する。つまり、図５の例を用いて説明すれば、文字列比較モジュール１２０と補正モジュール５３０の間に補正候補文字選別モジュール２５２０があり、補正モジュール５３０の代わりに補正処理モジュール２５３０がある。
図２５の例では、補正候補文字選別モジュール２５２０、補正処理モジュール２５３０を有している。補正処理モジュール２５３０は、補正候補文字画像切出モジュール２５３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。

補正候補文字選別モジュール２５２０は、補正候補文字画像切出モジュール２５３２と接続されている。補正候補文字選別モジュール２５２０は、文字認識モジュール１１０による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象とする。そして、補正候補となった文字の文字座標リスト２５２２を補正処理モジュール２５３０内の補正候補文字画像切出モジュール２５３２に渡す。具体的には、補正候補文字選別モジュール２５２０は、各文字の確信度２５００（図１２（ｃ）の例で示した文字認識結果等テーブル１２２０の確信度欄１２３４）と文字座標リスト９００を文字認識モジュール１１０から受け取り、各文字の確信度２５００が予め定められた値以下又はより低い場合は、文字列比較モジュール１２０による処理結果として、第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象とするように文字座標リスト２５２２を生成する。
さらに、各文字の確信度２５００が予め定められた値以下又はより低い場合は、削除された文字、挿入された文字を補正対象として選択を行うようにしてもよい。したがって、補正対象は、文字認識結果の全ての文字となるように文字座標リスト２５２２を生成してもよい。

また、補正候補文字選別モジュール２５２０は、文字認識モジュール１１０による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としないようにしてもよい。具体的には、補正候補文字選別モジュール２５２０は、各文字の確信度２５００が予め定められた値より高い場合又は以上である場合であって、第１の文字認識結果と第２の文字認識結果が一致するときは、文字座標リスト２５２２に入れない。
さらに、各文字の確信度２５００が予め定められた値より高い場合又は以上である場合の補正対象は、削除された文字、挿入された文字、置換された文字となり、一致した文字は対象としないように文字座標リスト２５２２を生成するようにしてもよい。

補正候補文字画像切出モジュール２５３２は、補正候補文字選別モジュール２５２０、文字画像比較モジュール９３４と接続されている。補正候補文字画像切出モジュール２５３２は、前述の実施の形態における文字画像切出モジュール９３２に該当するが、対象とする文字画像は、補正候補文字選別モジュール２５２０によって選別されたものとなる。具体的には、補正候補文字選別モジュール２５２０から渡された文字の文字座標リスト２５２２を用いて画像１００から文字画像を切り出す。そして、候補文字の文字画像２５３３を文字画像比較モジュール９３４に渡す。
文字画像比較モジュール９３４は、補正候補文字画像切出モジュール２５３２、文字列比較結果修正モジュール９３６と接続されている。
文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。

図２６は、第２−５の実施の形態による処理例を示すフローチャートである。
ステップＳ２６０２では、補正候補文字選別モジュール２５２０が、各文字の確信度２５００と文字座標リスト９００から補正候補となる文字画像を選択する。
ステップＳ２６０４では、補正候補文字画像切出モジュール２５３２が、画像１００から候補文字の文字座標リスト２５２２を用いて文字画像を切り出す。
ステップＳ２６０６では、文字画像比較モジュール９３４が、切り出した文字画像９３３を比較する。
ステップＳ２６０８では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

＜第２−６の実施の形態＞
図２７は、第２−６の実施の形態の構成例についての概念的なモジュール構成図である。第２−６の実施の形態は、補正候補文字選別モジュール２７２０が、各文字の編集モードを用いて、補正処理の対象となる文字画像を選択するものである。図５の例を用いて説明すれば、文字列比較モジュール１２０と補正モジュール５３０の間に補正候補文字選別モジュール２７２０があり、補正モジュール５３０の代わりに補正処理モジュール２５３０がある。
図２７の例では、補正候補文字選別モジュール２７２０、補正処理モジュール２５３０を有している。補正処理モジュール２５３０は、補正候補文字画像切出モジュール２５３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。

補正候補文字選別モジュール２７２０は、補正候補文字画像切出モジュール２５３２と接続されている。補正候補文字選別モジュール２７２０は、一致する文字の文字画像の組に対しては比較処理（文字画像比較モジュール９３４による処理）を行わないように選択する。そして、選別された文字の文字座標リスト２７２２を補正処理モジュール２５３０内の補正候補文字画像切出モジュール２５３２に渡す。具体的には、補正候補文字選別モジュール２７２０は、各文字の編集モード２７００（図１１の例で示した比較結果テーブル１１９０の文字列比較結果欄１１９２）を文字列比較モジュール１２０から受け取り、文字座標リスト９００を文字認識モジュール１１０から受け取り、編集モードが「一致」である文字を文字座標リスト９００から除外した文字の文字座標リスト２７２２を生成する。したがって、編集モードが「削除」、「挿入」、「置換」である文字を文字座標リスト９００から選択した文字の文字座標リスト２７２２を生成する。

また、補正候補文字選別モジュール２７２０は、置換された文字の文字画像の組のみに対して比較処理を行うようにしてもよい。具体的には、補正候補文字選別モジュール２７２０は、各文字の編集モード２７００を文字列比較モジュール１２０から受け取り、文字座標リスト９００を文字認識モジュール１１０から受け取り、文字座標リスト９００から編集モードが「置換」である文字のみを選択した文字座標リスト２７２２を生成する。
補正候補文字画像切出モジュール２５３２は、補正候補文字選別モジュール２７２０、文字画像比較モジュール９３４と接続されている。
文字画像比較モジュール９３４は、補正候補文字画像切出モジュール２５３２、文字列比較結果修正モジュール９３６と接続されている。
文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。

図２８は、第２−６の実施の形態による処理例を示すフローチャートである。
ステップＳ２８０２では、補正候補文字選別モジュール２７２０が、各文字の編集モード２７００と文字座標リスト９００から補正候補となる文字画像を選択する。
ステップＳ２８０４では、補正候補文字画像切出モジュール２５３２が、画像１００から候補文字の文字座標リスト２７２２を用いて文字画像を切り出す。
ステップＳ２８０６では、文字画像比較モジュール９３４が、切り出した文字画像９３３を比較する。
ステップＳ２８０８では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

なお、前述の各種の実施の形態を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に追加する、入れ替えをする等も含む）、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。
例えば、第２−５の実施の形態と第２−６の実施の形態を組み合わせた場合、以下のようにしてもよい。
（１）確信度と予め定められた閾値とを比較して確信度が低く、かつ、編集モードが「置換」である場合を、少なくとも含むように比較対象として選択する。その他の場合は、以下のいずれか１つ又はその組み合わせを採用する。
（２）確信度と予め定められた閾値とを比較して確信度が高く、かつ、編集モードが「一致」である場合は、比較対象として選択しないようにしてもよい。
（３）精度向上を図るために、確信度が低く、かつ、編集モードが「一致」、「削除」、「挿入」である場合は、比較対象として選択するようにしてもよい。
（４）精度を落とさずに、高速化を図る場合は、確信度が高く、かつ、編集モードが「削除」、「挿入」、「置換」である場合は、比較対象として選択しないようにしてもよい。

前述の実施の形態は、以下のような発明として把握してもよい。
第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、
前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、
前記判定手段による判定結果を出力する出力手段
を具備することを特徴とする画像処理装置。
この画像処理装置によれば、複数の画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、挿入された文字、置換した文字に分けることができる。

図２９を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２９に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２９１７と、プリンタなどのデータ出力部２９１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字認識モジュール１１０、文字列比較モジュール１２０、結果出力モジュール１９０、補正モジュール５３０、文字画像切出モジュール９３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６、相関係数算出モジュール１５１０、相関係数決定モジュール１５２０、一致判定モジュール１５３０、特徴量算出モジュール２０１０、特徴量距離算出モジュール２０２０、一致判定モジュール２０３０、補正候補文字選別モジュール２５２０、補正処理モジュール２５３０、補正候補文字画像切出モジュール２５３２、補正候補文字選別モジュール２７２０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２９０２は、ＣＰＵ２９０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２９０３は、ＣＰＵ２９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２９０４により相互に接続されている。

ホストバス２９０４は、ブリッジ２９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２９０６に接続されている。

キーボード２９０８、マウス等のポインティングデバイス２９０９は、操作者により操作される入力デバイスである。ディスプレイ２９１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２９１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２９０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、比較対象とする画像、文字画像、文字認識結果、補正結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ２９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２９１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２９０７、外部バス２９０６、ブリッジ２９０５、及びホストバス２９０４を介して接続されているＲＡＭ２９０３に供給する。リムーバブル記録媒体２９１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート２９１４は、外部接続機器２９１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２９１４は、インタフェース２９０７、及び外部バス２９０６、ブリッジ２９０５、ホストバス２９０４等を介してＣＰＵ２９０１等に接続されている。通信部２９１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部２９１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２９１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２９に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２９に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２９に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…文字認識モジュール
１２０…文字列比較モジュール
１９０…結果出力モジュール
５３０…補正モジュール
９３２…文字画像切出モジュール
９３４…文字画像比較モジュール
９３６…文字列比較結果修正モジュール
１５１０…相関係数算出モジュール
１５２０…相関係数決定モジュール
１５３０…一致判定モジュール
２０１０…特徴量算出モジュール
２０２０…特徴量距離算出モジュール
２０３０…一致判定モジュール
２５２０…補正候補文字選別モジュール
２５３０…補正処理モジュール
２５３２…補正候補文字画像切出モジュール
２７２０…補正候補文字選別モジュール

Claims (10)

1. 第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、
   前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、
   前記比較手段による比較結果を出力する出力手段
   を具備することを特徴とする画像処理装置。
2. 前記第１の画像と前記第２の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段
   をさらに具備し、
   前記出力手段は、前記補正手段によって補正された結果を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象として補正を行う
   ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
6. 前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としない
   ことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わない
   ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
8. 前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行う
   ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
9. コンピュータを、
   第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、
   前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、
   前記比較手段による比較結果を出力する出力手段
   として機能させるための画像処理プログラム。
10. コンピュータを、
    第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、
    前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、
    前記判定手段による判定結果を出力する出力手段
    として機能させるための画像処理プログラム。

Images