JP2010039810A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像内の文字を認識する場合にあって、文字認識の対象となっている文字の周囲の影響による誤認識の発生を抑制するようにした画像処理装置を提供する。
【解決手段】画像処理装置の画素塊抽出手段は、画像から画素塊を抽出し、画素塊探索手段は、前記画素塊抽出手段によって抽出された画素塊の中で類似する画素塊を探索し、文字認識手段は、前記画像内の文字を認識し、対応付手段は、前記画素塊探索手段によって探索された類似する画素塊に関する情報を用いて、前記文字認識手段によって認識された文字と該文字を構成する該画素塊を対応付け、構成探索手段は、前記対応付手段によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索し、文字修正手段は、前記構成探索手段によって探索された類似する構成を有する文字を対象として、該文字を修正する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

文書画像に対して文字認識を行う技術がある。その文字認識処理には、誤認識が起こる可能性がある。そのため、その誤認識に対して、様々な改善手法が用いられている。例えば、自然言語処理やマッチング辞書の充実を図ることが一般的に行われている。

これに関連する技術として、例えば、特許文献１には、走査された文字イメージのストリームに生じる判読困難な文字に類似した候補文字のセットを作成することによって判読困難な文字を識別する光学式文字読み取り処理を改善することを目的とし、文字認識処理は、単語（ワード）の綴りのチェック処理によって判読困難な文字に適合する正しい文字を推理して、不確定に決定された文字だけを置換し、文字を識別する順序は、より判読困難な文字を処理する前に、判読がより容易な文字を処理するような順序で、作為的に遂行され、判読困難な文字が識別されると、識別された文字は、対応する候補文字のセットによって決められた関係により、関連を持つが異なったテキスト的要素（ワード）中の同じ文字との置換を可能にし、同じ文字を含む他のワードの関係か、又は、同じワードに属するという関係によって判読困難な他の文字がより識別しやすくなることが開示されている。

また、例えば、特許文献２には、文字の認識精度を向上させることを課題とし、イメージデータから文字毎にデータ抽出を開始し、文字毎のイメージデータに基づいた認識パターンデータを作成し、認識パターンデータに対する一致パターンデータが検出されないときには、認識パターンデータと類似するパターンデータである候補文字を選択して表示し、文字が指定されたときには、この指定された文字を認識文字として設定すると共に、この文字のパターンデータを認識パターンデータで置き換え、その後、同じ文字のイメージデータが抽出されたときに、正しく文字認識を行うことが開示されている。

別の改善手法として、例えば、特許文献３には、文書画像から文字パターンを切り出し、該切り出された文字パターンの系列においてパターンイメージが類似していて、同一の文字と判断される類似パターンを抽出し、該抽出された類似パターン群を構成する各類似パターンが認識対象の第１文字である確信度をそれぞれ求め、該求められた第１文字についてのそれぞれの確信度を加算し、該加算した値を、前記類似パターン群が前記認識対象の第１文字である確信度とする処理を行い、前記処理を複数の認識対象の文字について行い、加算値が最大となる認識対象の文字を、前記類似パターン群が相当する文字であると決定することを特徴とする文字認識方法が開示されている。

また、例えば、特許文献４には、文字パターンがかすれたりつぶれたりしていても、他の文字との識別のために有効な特徴をあらわしている部位のみを文字種に適した方法で局所的に整形して、少ない処理時間で高精度な識別を行うことができる文字認識装置を提供することを目的とし、第１識別部から出力される候補文字の中でパターンの整形の必要性ありと判定された文字パターンについては、整形情報テーブル内の当該整形情報に基づいて局所整形部によりパターンの整形を行った後、第２特徴抽出部で再度特徴抽出が行われ、第２識別部で詳細識別が行われるので、かすれたりつぶれたりした文字パターンについても高精度に識別を行うことができ、また、整形情報テーブル内の整形情報を指定可能とする入力部を備えたことにより、柔軟でより高精度な識別が可能となることが開示されている。
特開平０７−２００７４４号公報 特開２００２−２３０４８６号公報 特許第３２６０９７９号公報 特開平０７−２８２１９４号公報

本発明は、画像内の文字を認識する場合にあって、文字認識の対象となっている文字の周囲からの影響による誤認識の発生を抑制するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像から画素塊を抽出する画素塊抽出手段と、前記画素塊抽出手段によって抽出された画素塊の中で類似する画素塊を探索する画素塊探索手段と、前記画像内の文字を認識する文字認識手段と、前記画素塊探索手段によって探索された類似する画素塊に関する情報を用いて、前記文字認識手段によって認識された文字と該文字を構成する該画素塊を対応付ける対応付手段と、前記対応付手段によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索する構成探索手段と、前記構成探索手段によって探索された類似する構成を有する文字を対象として、該文字を修正する文字修正手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記対応付手段によって対応付けされた文字内の画素塊の構成に関する統計情報を抽出する統計情報抽出手段と、前記統計情報抽出手段によって抽出された統計情報を用いて、前記文字認識手段によって認識された文字の切り出し誤りを抽出する切出誤り抽出手段と、前記切出誤り抽出手段によって抽出された文字の切り出し誤りを修正する切出修正手段と、前記切出修正手段によって修正された文字の誤りを修正する切出文字修正手段をさらに具備することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記構成探索手段によって探索される構成は、前記文字の外接矩形内を区切り、該文字内の画素塊を囲む矩形の位置、大きさ又は該矩形間の関係であることを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記構成探索手段によって探索される構成は、前記文字内の画素塊の位置又は該位置間の関係であることを特徴とする請求項１又は２に記載の画像処理装置である。

請求項５の発明は、前記統計情報抽出手段は、前記文字内の予め定められた位置にある画素塊の構成に関する統計情報を抽出することを特徴とする請求項２に記載の画像処理装置である。

請求項６の発明は、前記切出文字修正手段は、前記切出修正手段によって修正された文字を認識することによって、文字の誤りを修正することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置である。

請求項７の発明は、前記切出文字修正手段は、前記文字認識手段によって認識された文字又は前記切出修正手段によって修正された文字によって、文字の誤りを修正することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置である。

請求項８の発明は、コンピュータを、画像から画素塊を抽出する画素塊抽出手段と、前記画素塊抽出手段によって抽出された画素塊の中で類似する画素塊を探索する画素塊探索手段と、前記画像内の文字を認識する文字認識手段と、前記画素塊探索手段によって探索された類似する画素塊に関する情報を用いて、前記文字認識手段によって認識された文字と該文字を構成する該画素塊を対応付ける対応付手段と、前記対応付手段によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索する構成探索手段と、前記構成探索手段によって探索された類似する構成を有する文字を対象として、該文字を修正する文字修正手段として機能させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像内の文字を認識する場合にあって、文字認識の対象となっている文字の周囲の影響による誤認識の発生を抑制することができる。

請求項２の画像処理装置によれば、画像内の文字の切り出し誤りを抑制することができる。

請求項３の画像処理装置によれば、本構成を有していない場合に比較して、構成の探索をより高速に行うことができる。

請求項４の画像処理装置によれば、本構成を有していない場合に比較して、構成の探索をより高速に行うことができる。

請求項５の画像処理装置によれば、文字形状の特徴に応じて、文字切り出しの誤りに関する統計情報を抽出することができる。

請求項６の画像処理装置によれば、文字認識手段を再度利用することによって本発明の構成を削減することができる。

請求項７の画像処理装置によれば、文字認識を行う場合よりも高速に文字の誤りを修正することができる。

請求項８の画像処理プログラムによれば、画像内の文字を認識する場合にあって、文字認識の対象となっている文字の周囲の影響による誤認識の発生を抑制することができる。

まず、図２２、図２３等を用いて、文字認識の対象となっている文字の周囲からの影響による誤認識が発生する具体的な場合について説明する。
図２２は、周囲にある文字の位置によって、文字切り出しの誤りが発生する例を示す説明図である。図２２（ｂ）は、文字が等間隔に並べられたものであり、文字切り出しの誤りが発生し難い例である。図２２（ａ）は、文字間隔が近接しており、文字切り出しに誤りが発生しやすい例である。図２２（ｃ）は、文字間隔が異なるものであり、１文字の幅の推定を誤って、文字切り出しに誤りが発生しやすい例である。図２２（ｄ）は、文字の横並びの位置が異なるために、文字切り出しに誤りが発生しやすい例である。

図２３は、周囲の文字認識結果を含む自然言語処理によって誤りが発生する例を示す説明図である。図２３（ａ）は、「富土山」と認識されるべきところ、「土」と「士」が互いに誤認識しやすい文字であることから、自然言語処理を行った結果「富士山」と誤認識してしまう例である。図２３（ｂ）は、「束京」と認識されるべきところ、同様に自然言語処理によって「東京」と誤認識してしまう例である。
また、同じ文書に対して、同じスキャナでその文書画像を読み込んだ場合であっても、文字認識の処理結果が異なる場合がある。これも、スキャナによる読み込みの際に、文字の周囲に発生するノイズの影響が原因となっている。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。

以下、文字認識の対象画像として、文書画像を主に例示して説明する。なお、文書画像とは、文字及び場合によっては表、図形、写真等を含むデジタル画像であり、具体的にはビジネスに用いられる文書、書籍等の画像がある。
また、画素塊とは、画素（黒画素又は白画素のいずれであってもよい。以下、黒画素の例を示す）の連結（例えば、４連結又は８連結）する画素領域をいう。

本実施の形態は、図１に示すように、画像受付モジュール１００、連結成分抽出モジュール１０５、類似成分探索モジュール１１０、文字認識モジュール１１５、文字・連結成分対応付モジュール１２０、構成探索モジュール１２５、文字認識結果修正モジュール１３０、構成情報集計モジュール１３５、切り出しミス抽出モジュール１４０、切り出し修正モジュール１４５、切り出し文字修正モジュール１５０、出力モジュール１５５を有している。

画像受付モジュール１００は、連結成分抽出モジュール１０５と接続されている。対象となる文書画像を受け付け、その文書画像を連結成分抽出モジュール１０５に渡す。文書画像を受け付けるとは、例えば、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている文書画像を読み出すこと、スキャナ等で入力した文書画像を受け付けること、ファックスによって文書画像を受信すること等がある。
例えば、図３は、受け付けた文書画像内に含まれている文字を示しており、文字認識の対象となる文字である。

連結成分抽出モジュール１０５は、画像受付モジュール１００、類似成分探索モジュール１１０と接続されている。画像受付モジュール１００から文書画像を受け取り、その文書画像から画素塊を抽出する。抽出した画素塊に関する情報（例えば、その画素塊の位置、画素塊のラベル（その画素を一意に特定できるようにした識別子）、画素塊の画像等）を類似成分探索モジュール１１０に渡す。
例えば、図４は、連結成分抽出モジュール１０５による処理例を示す説明図である。図３の例に示した文字から画素塊を取り出し、その外接矩形を示したものである。例えば、「話」という文字は画素塊を囲む外接矩形４１１から外接矩形４１６が取り出され、「題」という文字は画素塊を囲む外接矩形４２１から外接矩形４２３が取り出される。そして、例えば、図５は連結成分抽出モジュール１０５による処理結果の例を示す説明図である。つまり、画素塊にラベルを付した結果を示したものであり、外接矩形４１１内の画素塊にはラベル１を付し、外接矩形４１２内の画素塊にはラベル２を付したものである。

類似成分探索モジュール１１０は、連結成分抽出モジュール１０５、文字認識モジュール１１５と接続されている。連結成分抽出モジュール１０５によって抽出された画素塊の中で類似する画素塊を探索する。ここで、類似する画素塊とは、同一の形状を有する画素塊同士を含み、異なる部分はあるが微少（後の処理に対して影響を及ぼさない程度）であるものを含む（以下、「類似」の用語は同等の意味で用いる）。そして、類似する画素塊群に対しては、同じグループＩＤ（その類似する画素塊のグループを一意に特定できるようにした識別子であり、例えば、そのグループ内で最も若い画素塊ラベルを用いてもよい）を付す。そして、探索結果を文字認識モジュール１１５（又は文字・連結成分対応付モジュール１２０）へ渡す。
例えば、図６は、類似成分探索モジュール１１０による処理結果の例を示す説明図である。つまり、画素塊にグループＩＤを付した結果を示したものであり、外接矩形４１１、４１３、４１４、４４１、４４３、４４４内の画素塊は、類似する画素塊であり、グループＩＤを１としたものである。

文字認識モジュール１１５は、類似成分探索モジュール１１０、文字・連結成分対応付モジュール１２０と接続されている。画像受付モジュール１００によって受け付けられた画像内の文字を認識する。ここでの文字認識処理は、文字切り出し処理を含み、既存の文字認識処理を用いる。例えば、画像内から文字を切り出して、その文字毎に特徴を抽出し、予め用意された文字認識用辞書とのマッチングを行って、文字認識結果（その文字のテキスト情報（文字コード）、その文字の外接矩形の位置、大きさ等）を得る。そして、その文字認識結果を文字・連結成分対応付モジュール１２０に渡す。
例えば、図７は、文字認識モジュール１１５による文字切り出しの処理例を示す説明図である。図３の例に示した画像内の文字を切り出した結果、その文字を囲む文字矩形７１０から文字矩形７５０を抽出したものである。そして、文字矩形７１０に「話」の文字コードを割り振り、文字矩形７２０には「題」の文字コードを割り振る。その他に、文字矩形７１０の情報として、図８の例に示すような文字矩形７１０の左上座標７１１、幅７１２、高さ７１３を抽出する。これらは、文字・連結成分対応付モジュール１２０による処理を行うための文字矩形の情報である。
なお、連結成分抽出モジュール１０５と類似成分探索モジュール１１０による処理は、文字認識モジュール１１５の後に行ってもよい。

文字・連結成分対応付モジュール１２０は、文字認識モジュール１１５、構成探索モジュール１２５と接続されている。類似成分探索モジュール１１０によって探索された類似する画素塊に関する情報を用いて、文字認識モジュール１１５によって認識された文字とその文字を構成する画素塊を対応付ける。そして、対応付けの結果を構成探索モジュール１２５へ渡す。
例えば、図９は、文字・連結成分対応付モジュール１２０による処理例を示す説明図である。文字矩形内に含まれる画素塊を抽出し、その画素塊のグループＩＤで構成したものである。例えば、文字矩形７１０は、外接矩形４１１から外接矩形４１６内の画素塊を含み、その画素塊のグループＩＤは外接矩形４１１が１、外接矩形４１２が２、外接矩形４１３が１、外接矩形４１４が１、外接矩形４１５が５、外接矩形４１６が６となり、それらが文字矩形７１０内の文字と対応付けられる。

構成探索モジュール１２５は、文字・連結成分対応付モジュール１２０、文字認識結果修正モジュール１３０と接続されている。文字・連結成分対応付モジュール１２０によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索する。そして、その探索結果を文字認識結果修正モジュール１３０に渡す。ここでの探索される構成とは、文字の外接矩形内を区切り、その文字内の画素塊を囲む矩形の位置、大きさ又はその矩形間の関係である。なお、ここで、画素塊を囲む矩形とは、例えば、その画素塊の一部を含む矩形であって、必ずしも外接矩形とならなくてもよく、文字の外接矩形内を隙間が生じないように区切るものである。つまり、文字の外接矩形内を表構造と同等のものとして取り扱えるようにしたものである。また、その文字内の画素塊の位置又はその位置間の関係であってもよい。

そして、図１０の例に示す構成情報とは、例えば、文字矩形７１０の構成情報は、構成要素１０１１から構成要素１０１６の位置（例えば、左上の座標）、大きさ（例えば、幅、高さ等）、位置関係（例えば、構成要素１０１１は左上にあり、下に構成要素１０１２、右に構成要素１０１６がある等）である。そして、各々のグループＩＤを含めるようにしてもよい。例えば、構成情報として画素塊の外接矩形の位置間の関係を採用した場合は、文字の外接矩形内で左上から下へ移動して、最下位へ移動したならば、その右上へ戻り、また下方向へなぞるようにしてグループＩＤを抽出したものであってもよい。具体的には、文字矩形７１０の構成情報は「１、２、１、１、５、６」のようになり、文字矩形７４０の構成情報も「１、２、１、１、５、６」のようになる。

そして、構成探索モジュール１２５は、構成情報が類似する文字を探索する。図１０の例の場合、例えば、文字矩形７１０の構成情報（構成要素１０１１から構成要素１０１６の位置関係等）と類似する構成情報を有する文字を探索する。すると、文字矩形７４０が文字矩形７１０と同じ構成情報を有していることが判明する。つまり、構成要素１０１１のグループＩＤ：１と構成要素１０４１のグループＩＤは同じであり、その位置（文字の外接矩形内で左上に位置していること等）、又は大きさ等も同等であることから、文字矩形７１０と文字矩形７４０とは類似する構成情報を有する文字であると判断する。

また、例えば、図１１、１２は、図１０の例に示した構成情報とは別の構成情報の抽出例を示す説明図である。つまり、その文字内の画素塊の位置又はその位置間の関係の例を示している。文字内の画素塊の位置としては、例えば、画素塊の中心位置、重心位置、左上位置、右下位置等、その画素塊の外接矩形の中心位置、重心位置、左上位置、右下位置等がある。なお、中心位置とは両端から等距離にある位置をいい、重心位置とは画素の重み（例えば、黒画素は１、白画素は０）を加味してバランスがとれる位置をいう。
図１１は、図９の例に示した状態から各画素塊の外接矩形の中心を抽出したものである。つまり、例えば、外接矩形中心１１１１は図９の例に示した外接矩形４１１の中心であり、外接矩形中心１１１２は外接矩形４１２の中心である。なお、中心以外に画素塊の外接矩形の左上の座標、中心等であってもよい。

図１２は、図１１の例に示した状態から中心位置のみを取り出して示したものである。
そして、図１２の例に示す構成情報とは、例えば、文字矩形７１０の構成情報は、外接矩形中心１１１１から外接矩形中心１１１６の位置、位置関係（例えば、外接矩形中心１１１１は左上にあり、下に外接矩形中心１１１２、右下に外接矩形中心１１１６がある等）である。そして、各々のグループＩＤを含めるようにしてもよい。例えば、構成情報として画素塊の中心の位置間の関係を採用した場合は、文字内の画素塊を左上から下へ移動して、最下位へ移動したならば、その右上へ戻り、また下方向へなぞるようにしてグループＩＤを抽出したものであってもよい。具体的には、文字矩形７１０の構成情報は「１、２、１、１、５、６」のようになり、文字矩形７４０の構成情報も「１、２、１、１、５、６」のようになる。

そして、構成探索モジュール１２５は、構成情報が類似する文字を探索する。図１２の例の場合、例えば、文字矩形７１０の構成情報（外接矩形中心１１１１から外接矩形中心１１１６の位置関係等）と類似する構成情報を有する文字を探索する。すると、文字矩形７４０が文字矩形７１０と同じ構成情報を有していることが判明する。つまり、外接矩形中心１１１１のグループＩＤ：１と外接矩形中心１１４１のグループＩＤは同じであり、その位置（文字の外接矩形内で左上に位置していること等）、又は位置関係も同等であることから、文字矩形７１０と文字矩形７４０とは類似する構成情報を有する文字であると判断する。

文字認識結果修正モジュール１３０は、構成探索モジュール１２５、構成情報集計モジュール１３５と接続されている。構成探索モジュール１２５によって探索された類似する構成を有する文字を対象として、その文字を修正する。そして、修正した結果を構成情報集計モジュール１３５又は出力モジュール１５５へ渡す。
つまり、構成情報が類似しているものは、同じ文字であると判断し、文字認識モジュール１１５による認識結果を修正する。例えば、構成情報が類似しているものの認識結果（文字コード）毎に計数して、多い結果のものを認識結果として採用するものである（多数決による決定）。図１０の例では、文字矩形７１０と文字矩形７４０が、類似する構成情報を有している。ここで、文字矩形７１０と文字矩形７４０は、共に「話」と認識されてているので修正は不要である。

構成情報集計モジュール１３５は、文字認識結果修正モジュール１３０、切り出しミス抽出モジュール１４０と接続されている。文字・連結成分対応付モジュール１２０によって対応付けされた文字内の画素塊の構成に関する統計情報を抽出する。また、その文字内の予め定められた位置にある画素塊の構成に関する統計情報を抽出するようにしてもよい。例えば、予め定められた位置とは、漢字の部首であるへん（その文字の左側にある）、つくり（その文字の右側にある）、かんむり（その文字の上側にある）等の位置をいう。そして、その抽出した統計情報を切り出しミス抽出モジュール１４０に渡す。

例えば、図１０の例に示した構成情報のうち、図１３の例に示すような文字内の構成情報の一部である構成要素１０１１から構成要素１０１５（グループＩＤの列として表現すると「１、２、１、１、５」）を対象として、同等の構成情報を文字矩形７２０以降の文字矩形の構成情報から検索する。その結果、このような構成情報は、図１０の例に示したものの中では、２つ存在すること（文字矩形７４０内の構成要素１０４１から構成要素１０４５）が判明する。
そして、構成情報集計モジュール１３５は、複数あった構成情報の文字矩形内における位置情報を抽出する。位置情報としては、例えば、文字矩形内の左側、右側、上側等である。具体的には、構成要素１０１１から構成要素１０１５の構成情報は、文字矩形７１０、７４０においては、図１４の例に示すように、文字矩形１４００内の対象構成１４１０の位置、つまり左側（へん）にあることを抽出する。
そして、構成要素１０１１から構成要素１０１５の構成が、文字矩形内の予め定められた位置、例えば、図１５（ａ）の例に示すように対象構成１５１０が文字矩形１５００内の左側にあるものがいくつあるか、図１５（ｂ）の例に示すように対象構成１５６０が文字矩形１５５０内の中心にあるものがいくつあるかという統計情報を抽出する。

また、同様に、図１６から図１８を用いて説明する。例えば、図１２の例に示した構成情報のうち、図１６の例に示すような文字内の構成情報の一部である外接矩形中心１１１１から外接矩形中心１１１５（グループＩＤの列として表現すると「１、２、１、１、５」）を対象として、同等の構成情報を文字矩形７２０以降の文字矩形の構成情報から検索する。その結果、このような構成情報は、図１２の例に示したものの中では、２つ存在すること（文字矩形７４０内の外接矩形中心１１４１から外接矩形中心１１４５）が判明する。
そして、構成情報集計モジュール１３５は、複数あった構成情報の文字矩形内における位置情報を抽出する。位置情報としては、例えば、文字矩形内の左側、右側、上側等である。具体的には、外接矩形中心１１１１から外接矩形中心１１１５の構成情報は、文字矩形７１０、７４０においては、図１７の例に示すように、文字矩形１７００内の対象構成１７１０の位置、つまり左側（へん）にあることを抽出する。
そして、外接矩形中心１１１１から外接矩形中心１１１５の構成が、文字矩形内の予め定められた位置、例えば、図１８（ａ）の例に示すように対象構成１８１０が文字矩形１８００内の左側にあるものがいくつあるか、図１８（ｂ）の例に示すように対象構成１８６０が文字矩形１８５０内の中心にあるものがいくつあるかという統計情報を抽出する。

切り出しミス抽出モジュール１４０は、構成情報集計モジュール１３５、切り出し修正モジュール１４５と接続されている。構成情報集計モジュール１３５によって抽出された統計情報を用いて、文字認識モジュール１１５によって認識された文字の切り出し誤りを抽出する。
例えば、対象としている構成情報が、文字矩形内の左側にあるもの（図１５（ａ）、図１８（ａ））の出現個数と、文字矩形内の中心にあるもの（図１５（ｂ）、図１８（ｂ））の出現個数とを比較して、その出現個数が少ないものを文字の切り出し誤りが発生している可能性があると判断する。例えば、文字矩形内の左側にあるものの出現回数が１０回であり、文字矩形内の中心にあるものの出現回数が１回であるとすると、１回しか発生していない文字矩形内の中心にあるもの（図１５（ｂ）、図１８（ｂ））は、文字の切り出し誤りが発生している可能性があると判断する。そして、その文字矩形内の中心にあるものは、文字矩形内の左側にあるもの（へん）である可能性があると判断する。

切り出し修正モジュール１４５は、切り出しミス抽出モジュール１４０、切り出し文字修正モジュール１５０と接続されている。切り出しミス抽出モジュール１４０によって抽出された文字の切り出し誤りを修正する。そして、修正した文字切り出しの結果を切り出し修正モジュール１４５に渡す。
つまり、文字の切り出し誤りと判断された文字とその文字の前にある文字又は後にある文字とを組み合わせて、文字の切り出し誤りを修正する。例えば、へんである可能性があるもの（図１９（ａ）の例に示す文字矩形１９１０）とつくりである可能性があるもの（図１９（ｂ）の例に示す文字矩形１９２０）とが連続している場合は、その２つの文字を組み合わせる（図２０の例に示す文字矩形２０１０）。

切り出し文字修正モジュール１５０は、切り出し修正モジュール１４５、出力モジュール１５５と接続されている。切り出し修正モジュール１４５によって修正された文字の誤りを修正する。なお、切り出し修正モジュール１４５によって修正された文字を、再度文字認識モジュール１１５によって認識することによって、文字の誤りを修正するようにしてもよい。また、文字認識モジュール１１５によって認識された文字又は文字認識結果修正モジュール１３０によって修正された文字によって、文字の誤りを修正するようにしてもよい。つまり、文字の切り出し誤りが修正された文字内の構成情報と類似している構成情報を有しているものを探索して、その探索された文字の文字認識結果を、切り出し修正モジュール１４５から渡された文字の文字コードとしてもよい。そして、修正した結果を出力モジュール１５５へ渡す。

なお、構成情報集計モジュール１３５から切り出し文字修正モジュール１５０までの処理は、行われなくてもよい場合がある。例えば、操作者の指示（文字切り出しミスの修正処理が不要であるとの指示）に応じた場合、又は、文字認識モジュール１１５によって切り出された文字の幅が、その幅の平均の半分以下のものが含まれない場合（つまり、誤った文字切り出しによって文字の半分となったものが発生しない場合）等に、その処理を行わない。
出力モジュール１５５は、切り出し文字修正モジュール１５０と接続されており、切り出し文字修正モジュール１５０による修正が行われた文字の認識結果を出力する。また、文字認識結果修正モジュール１３０による修正が行われた文字の認識結果を出力するようにしてもよい。

また、画像受付モジュール１００は、複数の画像を受け付けるようにしてもよい。そして、文字認識モジュール１１５は、既に文字認識を行った文書画像内にあった文字の認識結果等を記憶しておき、２ページ目以降の文書画像に対して、文字認識処理を行うときに、前ページまでの認識結果等を利用するようにしてもよい。
例えば、図２１は、文字認識モジュール１１５が記憶する文字情報テーブル２１００のデータ構造例を示す説明図である。文字情報テーブル２１００は、文字欄２１０１、左上座標欄２１０２、右下座標欄２１０３、マッチング用データ欄２１０４、認識用特徴量Ａ欄２１０５、認識用特徴量Ｂ欄２１０６等を有している。つまり、文字欄２１０１によって文字認識結果（文字コード）、左上座標欄２１０２、右下座標欄２１０３によって切り出した文字の位置、マッチング用データ欄２１０４によってその文字の画像、認識用特徴量Ａ欄２１０５、認識用特徴量Ｂ欄２１０６によって文字認識で用いた特徴量を記憶する。
また、文字情報テーブル２１００には、文字・連結成分対応付モジュール１２０によって対応付けられた文字内の構成情報を記憶するようにしてもよい。そして、類似成分探索モジュール１１０は、その文字情報テーブル２１００を用いて、複数ページに渡って類似する画素塊を探索するようにしてもよい。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、画像受付モジュール１００が文書画像を受け付けて、連結成分抽出モジュール１０５がその文書画像内の画素の連結成分（画素塊）を抽出する。
ステップＳ２０４では、類似成分探索モジュール１１０が、ステップＳ２０２で文書画像内で抽出した連結成分（画素塊）で類似するものを探索する。
ステップＳ２０６では、類似成分探索モジュール１１０が、ステップＳ２０４で探索した類似する画素塊にグループＩＤを付して、その位置情報を保存する。つまり、画素塊の位置情報とグループＩＤとを対応させて記憶する。

ステップＳ２０８では、文字認識モジュール１１５が、文書画像に対して、文字認識処理を行う。
ステップＳ２１０では、文字認識モジュール１１５が、文字毎に、ステップＳ２０８での文字認識結果である文字コードとその文字矩形の位置情報とを対応付けて保存する。
ステップＳ２１２では、文字・連結成分対応付モジュール１２０が、認識対象である文字矩形の位置情報とグループＩＤが付された画素塊の位置情報とを対応付ける。
ステップＳ２１４では、構成探索モジュール１２５が、個々の認識対象である文字矩形内の構成情報が類似するものを探索する。
ステップＳ２１６では、文字認識結果修正モジュール１３０が、類似する構成情報を有する文字矩形に関する情報を保存する。
ステップＳ２１８では、文字認識結果修正モジュール１３０が、ステップＳ２１６で保存された類似する構成情報を有する文字に対して、多数決を用いて認識結果を修正する。

ステップＳ２２０では、構成情報集計モジュール１３５が、文字切り出しについての解析（文字切り出し誤りが発生しているか否かの解析）を行うか否かを判断する。かかる判断において解析を行うと判断した場合はステップＳ２２２へ進み、それ以外の場合は終了する（ステップＳ２９９）。
ステップＳ２２２では、構成情報集計モジュール１３５が、認識対象である文字の構成情報を集計する。例えば、類似する構成情報の文字矩形内での位置（へんである左側にあるか等）の集計を行う。

ステップＳ２２４では、切り出しミス抽出モジュール１４０が、ステップＳ２２２での集計結果より、その集計傾向にそぐわない文字切り出し結果の座標を抽出する。つまり、文字切り出し誤りが生じている可能性がある文字を抽出する。
ステップＳ２２６では、切り出し修正モジュール１４５が、ステップＳ２２４で抽出された文字について、その文字切り出しを修正して、切り出し文字修正モジュール１５０が、例えば、再度文字認識処理を行って、その認識結果を、その文字切り出しを修正した文字の文字コードとして採用する。

図２４を参照して、本実施の形態のハードウェア構成例について説明する。図２４に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２４１７と、プリンタなどのデータ出力部２４１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール１００、連結成分抽出モジュール１０５、類似成分探索モジュール１１０、文字・連結成分対応付モジュール１２０、構成探索モジュール１２５等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２４０２は、ＣＰＵ２４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４０３は、ＣＰＵ２４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２４０４により相互に接続されている。

ホストバス２４０４は、ブリッジ２４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２４０６に接続されている。

キーボード２４０８、マウス等のポインティングデバイス２４０９は、操作者により操作される入力デバイスである。ディスプレイ２４１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２４０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、文字認識結果、文字情報テーブル２１００などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ２４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２４１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２４０７、外部バス２４０６、ブリッジ２４０５、及びホストバス２４０４を介して接続されているＲＡＭ２４０３に供給する。リムーバブル記録媒体２４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート２４１４は、外部接続機器２４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２４１４は、インタフェース２４０７、及び外部バス２４０６、ブリッジ２４０５、ホストバス２４０４等を介してＣＰＵ２４０１等に接続されている。通信部２４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部２４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２４に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２４に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２４に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕｅ−ｒａｙ Ｄｉｓｋ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 画像内の対象とする文字を示す説明図である。 連結成分抽出モジュールによる処理例を示す説明図である。 連結成分抽出モジュールによる処理結果の例を示す説明図である。 類似成分探索モジュールによる処理結果の例を示す説明図である。 文字認識モジュールによる文字切り出しの処理例を示す説明図である。 文字・連結成分対応付モジュールによる処理を行うための文字矩形の情報例を示す説明図である。 文字・連結成分対応付モジュールによる処理例を示す説明図である。 構成情報の例を示す説明図である。 別の構成情報の抽出例を示す説明図である。 別の構成情報の抽出例を示す説明図である。 文字内の構成情報の例を示す説明図である。 文字内の構成情報の位置の例を示す説明図である。 統計情報の例を示す説明図である。 文字内の構成情報の例を示す説明図である。 文字内の構成情報の位置の例を示す説明図である。 統計情報の例を示す説明図である。 文字切り出しの誤りの例を示す説明図である。 文字切り出しの誤りを修正した文字の例を示す説明図である。 文字情報テーブルのデータ構造例を示す説明図である。 文字切り出しの誤りが発生する例を示す説明図である。 自然言語処理によって誤りが発生する例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１００…画像受付モジュール
１０５…連結成分抽出モジュール
１１０…類似成分探索モジュール
１１５…文字認識モジュール
１２０…文字・連結成分対応付モジュール
１２５…構成探索モジュール
１３０…文字認識結果修正モジュール
１３５…構成情報集計モジュール
１４０…切り出しミス抽出モジュール
１４５…切り出し修正モジュール
１５０…切り出し文字修正モジュール
１５５…出力モジュール

Claims (8)

1. 画像から画素塊を抽出する画素塊抽出手段と、
   前記画素塊抽出手段によって抽出された画素塊の中で類似する画素塊を探索する画素塊探索手段と、
   前記画像内の文字を認識する文字認識手段と、
   前記画素塊探索手段によって探索された類似する画素塊に関する情報を用いて、前記文字認識手段によって認識された文字と該文字を構成する該画素塊を対応付ける対応付手段と、
   前記対応付手段によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索する構成探索手段と、
   前記構成探索手段によって探索された類似する構成を有する文字を対象として、該文字を修正する文字修正手段
   を具備することを特徴とする画像処理装置。
2. 前記対応付手段によって対応付けされた文字内の画素塊の構成に関する統計情報を抽出する統計情報抽出手段と、
   前記統計情報抽出手段によって抽出された統計情報を用いて、前記文字認識手段によって認識された文字の切り出し誤りを抽出する切出誤り抽出手段と、
   前記切出誤り抽出手段によって抽出された文字の切り出し誤りを修正する切出修正手段と、
   前記切出修正手段によって修正された文字の誤りを修正する切出文字修正手段
   をさらに具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記構成探索手段によって探索される構成は、前記文字の外接矩形内を区切り、該文字内の画素塊を囲む矩形の位置、大きさ又は該矩形間の関係である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記構成探索手段によって探索される構成は、前記文字内の画素塊の位置又は該位置間の関係である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記統計情報抽出手段は、前記文字内の予め定められた位置にある画素塊の構成に関する統計情報を抽出することを特徴とする請求項２に記載の画像処理装置。
6. 前記切出文字修正手段は、前記切出修正手段によって修正された文字を認識することによって、文字の誤りを修正する
   ことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記切出文字修正手段は、前記文字認識手段によって認識された文字又は前記切出修正手段によって修正された文字によって、文字の誤りを修正する
   ことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
8. コンピュータを、
   画像から画素塊を抽出する画素塊抽出手段と、
   前記画素塊抽出手段によって抽出された画素塊の中で類似する画素塊を探索する画素塊探索手段と、
   前記画像内の文字を認識する文字認識手段と、
   前記画素塊探索手段によって探索された類似する画素塊に関する情報を用いて、前記文字認識手段によって認識された文字と該文字を構成する該画素塊を対応付ける対応付手段と、
   前記対応付手段によって対応付けされた文字毎の画素塊の構成の中で類似する構成を探索する構成探索手段と、
   前記構成探索手段によって探索された類似する構成を有する文字を対象として、該文字を修正する文字修正手段
   として機能させることを特徴とする画像処理プログラム。

Images