JP2006106903A - 画像処理装置 - Google Patents

Abstract

【課題】画像に含まれる文字を処理する精度を向上する。
【解決手段】この画像処理装置は、文書から読み取った画像データを入力する画像入力部１と、画像入力部１より入力された画像データを記憶する画像メモリ部２と、画像メモリ部２の画像データから文字列を認識するための文字列領域を検出するレイアウト解析部３と、文字認識用の辞書７と、レイアウト解析部３により検出された文字列領域に対して、辞書７を利用して文字認識を行うことで文字コードを得る文字認識部４と、文字コードに含まれる微小要素の情報が登録された微小要素データベース５と、文字認識結果の文字コードをキーにして微小要素データベース５を参照して文字コードに微小要素が含まれるか否かを判定し、微小要素が含まれる文字コードに対して微小要素を除外して画像メモリ部２の画像データからノイズ成分を除去する画像処理部６とを備える。
【選択図】図１

Description

本発明は、例えば帳票等の文書から読み取った画像データのノイズを除去する画像処理装置に関する。

文書から読み取った画像からノイズを除去する画像処理技術は既に知られているが、閾値の設定次第では、文字中の点やピリオドなども消去してしまうという欠点があり、文書画像中の文字をより精度良く２値化する技術やカラー文書の背景から文字を分離する技術を構築することが求められている。
この種の先行技術としては、例えば黒連結成分の矩形を抽出した後、文字の大きさを推定し、文字以外の矩形をノイズとして除去する技術が開示されている（例えば特許文献１参照）。
特開平５−２３３８７３号公報（図２（ｄ）等）

しかしながら、上記先行技術の場合、文字の外縁部を矩形で範囲決めするため、文字の形状、例えば「ら」、「ば」、「び」等のように文字の外に位置する点や濁点を含む文字コードや「、」、「。」等の句読点等については微小な矩形となり、ノイズとともに消去される可能性があった。

本発明はこのような課題を解決するためになされたもので、画像に含まれる文字を処理する精度を向上することのできる画像処理装置を提供することを目的としている。

上記した目的を達成するために、本発明の画像処理装置は、文書をイメージスキャンして得た画像データが記憶する画像データ記憶手段と、画像データ記憶手段に記憶された画像データから文字を認識するための文字領域を検出する文字領域検出手段と、文字列領域検出手段により検出された文字領域に対して、文字認識を行い認識結果として文字コードを出力する文字認識部と、文字毎にに微小要素が含まれるか否かを示す情報が登録された微小要素データベースと、文字認識部による文字認識結果の文字コードをキーにして微小要素データベースを参照して文字コードが表現する文字に微小要素が含まれるか否かを判定する微小要素判定手段と、記微小要素判定手段による判定の結果、微小要素を含む文字コードを得た文字領域の微小要素部分をノイズ除去対象から外して画像データ記憶手段に記憶されていた画像データからノイズ成分を除去するノイズ除去手段とを具備したことを特徴とする。
本発明の画像処理装置は、文書をイメージスキャンして得た画像データが記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データから文字を認識するための文字領域を検出する文字領域検出手段と、前記文字列領域検出手段により検出された文字領域に対して、文字認識を行い認識結果として文字コードを出力する文字認識部と、文字毎に微小要素が含まれているか否かを示す情報が登録された微小要素データベースと、前記文字認識部による文字認識結果の文字列から、原文として適切な文字列を推定する原文推定部と、前記微小要素データベースを参照して、前記文字列領域検出手段により検出された文字領域に、前記原文推定部により推定された文字列の微小要素が存在するか否かを確認し、微小要素が存在しない場合、前記文字領域に対して該当する微小要素を付加する画像処理を行う画像修正手段とを具備したことを特徴とする。

本発明では、文字が記入された文書をイメージスキャンして得た画像データに対して、まず、文字認識を行い、この文字認識結果として得られた文字コードに対して微小要素データベースを参照して微小要素の有無の判定を行い、微小要素を含む文字コードが得られた文字列領域について微小要素を除外してノイズ成分を除去、つまり微小要素を残したままノイズ成分を除去し、それ以外の領域について、通常のノイズ除去を行う。
なお、上記画像処理装置において、ノイズ成分が除去された画像データに含まれる文字に対する所定の処理を実行する文字処理手段を備えてもよい。文字処理手段として、例えばノイズ成分が除去された画像データに対して文字認識処理を実行する手段を備えることで、文字認識の精度を向上することができる。また、微小要素を考慮するだけではなく、さらに高度な文脈知識等の技術を組み合わせてノイズ除去による副作用を軽減してもよい。

以上説明したように本発明によれば、画像に含まれる文字を処理する精度を向上することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明に係る一つの実施形態の画像処理装置の構成を示すブロック図である。

図１に示すように、この画像処理装置は、画像入力部１、画像メモリ部２、レイアウト解析部３、文字認識部４、微小要素データベース５、画像処理部６、辞書７とを備えている。画像入力部１は、例えばイメージスキャナ等のハードウェアと、画像データ取り込み用のソフトウェア等からなるものである。画像メモリ部２、レイアウト解析部３、文字認識部４、微小要素データベース５、画像処理部６、辞書７は、コンピュータのＣＰＵ、メモリ、ハードディスク装置等のハードウェアおよび／またはオペレーティングシステム（以下ＯＳと称す）および制御ソフトウェア等が協働して実現されるものである。

画像入力部１では、例えば読取台にセットされた、文字の記入された文書の表面をイメージスキャナがイメージスキャンし画像データを取得し、画像メモリ部２に記憶する。

画像メモリ部２は、画像入力部１より入力された画像データを記憶する記憶部であり、画像入力部１が取り込んだ画像データを画像処理部６が展開し加工処理を行うための作業領域として用いられる。

レイアウト解析部３は、画像メモリ部２に記憶された画像データに対して予め自身に設定された文字レイアウト情報（印字定義）を基に、画像データのどの位置にどのように文字データが配置されているかのレイアウト解析を行うことで、文字列が含まれる画像領域（以下文字列領域と称す）を抽出（検出）する。つまり、レイアウト解析部３は、画像メモリ部２に記憶された画像データから文字を認識するための文字列領域を検出する文字領域検出手段として機能する。

辞書７には、文字認識結果として出力される文字コードとこの文字コードに対応する文字画像（文字イメージ）が対応して格納されている。つまり、辞書７には、文字画像から抽出される文字特徴量が格納されている。

文字認識部４は、レイアウト解析部３によって抽出（検出）された文字列領域に対して辞書７を参照して文字認識処理（イメージマッチングの処理）を実行し、文字認識結果として文字コードを出力する。

微小要素データベース５には、文字認識結果の各文字コードに、例えば濁点、区点、点等の文字を構成する微小要素が含まれているかどうか、またその微小要素が文字のどこに含まれているかを示す情報が記憶されている。つまり、微小要素データベース５には、文字コードに含まれる文字中の微小要素情報が登録されている。

画像処理部６は、文字認識部４による文字認識結果の文字コードをキーにして微小要素データベース５を参照して文字コードが表現している文字に微小要素が含まれるか否かを判定する微小要素判定手段として機能する。画像処理部６は、微小要素の有無判定の結果、文字認識結果である文字コードが表現する文字が微小要素を含むと判定された場合、その文字認識結果を得た文字列領域の微小要素部分をノイズ除去対象から外して画像メモリ部２に記憶されていた画像データからノイズ成分を除去するノイズ除去手段として機能する。画像処理部６及び文字認識部４は、ノイズ成分が除去された画像データに含まれる文字に対する所定の処理を実行する文字処理手段である。所定の処理とは、この場合、ノイズ成分が除去された画像データに対して、文字認識部４が文字認識処理を実行することである。

以下、図２乃至図７を参照してこの画像処理装置の第１動作例について説明する。
図２はこの画像処理装置の第１動作例を示すフローチャートである。
この場合、画像入力部１は、文書の表面をイメージスキャン走査することで、文書の画像データを取り込み（Ｓ１０１）、文字情報を含む画像データ（イメージデータ）を画像メモリ部２に展開する。
レイアウト解析部３は、画像メモリ部２に展開された画像データに対して文字レイアウト情報を用いて文書中の文字のレイアウトを解析し（Ｓ１０２）、文字列領域を抽出する。

続いて、文字認識部４は、レイアウト解析部３によって抽出された文字列領域に対して辞書７を参照して文字認識処理を実行し（Ｓ１０３）、文字認識結果として文字コードを得る。

画像処理部６は、文字認識部４による文字認識結果である文字コードをキーに微小要素データベース５の情報を参照して、文字コードが表現する文字と微小要素の有無を対応付ける（Ｓ１０４）。
そして、画像処理部６は、微小要素が含まれている文字を認識した文字列領域については微小要素を残しつつノイズ成分を除去すると共に、残りの文字列領域（画像データ）については微小要素を考慮せずにノイズ成分を除去するノイズ除去処理を実行することで（Ｓ１０５）、ノイズを消去した画像データを生成し、ノイズ除去済みの画像データとして、画像データ（元画像）とは別にして画像メモリ部２へ記憶する。画像メモリ部２へ画像データ（元画像）とノイズ除去済みの画像データを別々に記憶するのは、それぞれ別個に加工できるようにするためである。

図３乃至図７を参照して、この画像処理装置の画像処理動作をさらに詳細に説明する。図３に示す画像は、画像入力部１から入力され、画像メモリ部２に記憶された画像データ（元画像）であり、レイアウト解析部３において、画像データ（元画像）から文字列領域（四角の枠で囲まれた領域）を抽出した結果が図４であり、文字列領域に対して文字認識部４が文字認識処理した結果が図５のテーブルの上欄である。

一般に、ノイズの多い画像に対しては、文字認識部４での文字認識率も低下するが、前処理、後処理及び知識等を用いる高性能な文字認識部４を用いることで、良い認識結果を得ることができる。

図５の文字認識結果の例は、図３に示した画像データ（元画像）に含まれる文字列が文字コードとして正しく認識されたものとする。

微小要素データベース５は、すべての文字コードに対して、その文字コードが表現する文字に微小要素が含まれているかどうかの情報とその微小要素が含まれている位置の情報
とを文字コードに対応付けて記憶している。例えば文字「太」を表現する文字コードに対応付けて、微小要素「、」が含まれていることの情報及びその微小要素が文字の中央したに位置するとの情報が記憶されている。また、アルファベットの小文字の「i」は中央上に微小要素が位置することを示す情報が記憶される。同様に文字「で」を表す文字コードに対応付けて、微小要素を含むことを示す情報と微小要素が文字の右上に位置する情報とを対応付けている。また、文字（記号）の「。」「、」「.」「・」、「：」、「，」「；」、「“」、「‘」、「゜」等を表現する文字コードには、微小要素を含むとの情報が対応付けられている。

したがって、画像処理部６が微小要素データベース５を参照することで、図５に示した文字認識結果の「本日は、晴天である。」という文字列内に「、」、「で」、「。」等が微小要素として含まれているという情報が得られる。図５において、○印は微小要素を含むことを示している。

画像処理部６は、この微小要素が含まれるという情報を用いてノイズ除去あるいは文字画像の加工等の画像処理を行う。ノイズ除去の方法の一例としては、例えば図６に示すように、画像メモリ部２に記憶されている画像データ中の連結黒画素に対してラベリング処理を行い、連結黒画素の外矩の大きさが閾値より小さい連結黒画素を除去するという方法を用いる。この方法を連結黒画素ラベリング処理と称す。

この場合、画像処理部６は、微小要素データベース５から得られる情報を用いて、連結黒画素ラベリング処理で得られた微小要素がノイズであるか文字を構成している要素であるかを判定し、ノイズであれば、消去、文字構成要素であれば、そのまま残すという処理を行う。

図７は図３の画像データ（元画像）に対してノイズ除去処理を行った後の画像データ（ノイズ除去済み画像）を示しており、○で示す領域以外のノイズを消去することにより、文字に含まれる微小要素を残したままノイズのない画像データを得ることができる。

続いて、図８乃至図１０を参照してこの画像処理装置の第２動作例について説明する。図８はこの画像処理装置の第２動作例を示すフローチャートである。

この第２動作例では、画像入力部１は、文書の表面をイメージスキャンすることで、文書の画像データを取り込み（Ｓ２０１）、文字情報を含む画像データ（イメージデータ）を画像メモリ部２に展開する。
レイアウト解析部３は、画像メモリ部２に展開された画像データに対して文字レイアウト情報を用いて文書中の文字のレイアウトを解析し（Ｓ２０２）、文字列領域を抽出する。

続いて、文字認識部４は、レイアウト解析部３によって抽出された文字列領域に対して辞書７を参照して文字認識処理を実行し（Ｓ２０３）、文字認識結果として文字コードを得る。

画像処理部６は、文字認識部４による文字認識結果である文字コードをキーに微小要素データベース５の情報を参照して、文字コードが表現する文字に微小要素が含まれているか否かと、含まれている場合にはその位置とを確認する。つまり、文字コードと微小要素の有無やその位置を対応付ける（Ｓ２０４）。
そして、画像処理部６は、文字列領域中の微小領域が含まれている文字に対しては微小要素部位を残すようなノイズ除去処理を行い、それ以外の文字列領域や文字列領域外に対しては通常のノイズ除去処理を実行することで（Ｓ２０５）、ノイズを消去した画像データを生成し、ノイズ除去済みの画像データとして、画像データ（元画像）とは別にして画像メモリ部２へ記憶する。画像メモリ部２へ画像データ（元画像）とノイズ除去済みの画像データを別々に記憶するのは、それぞれ別個に加工できるようにするためである。

その後、画像処理部６は、画像メモリ部２に記憶されたノイズ除去済みの画像データに対して文字認識部４による文字認識を再度実行させる（Ｓ２０６）。

ここで、文字認識を再度実行する必要性について説明する。
文字認識部４は、ノイズなどの影響を受けて、文字を誤って区切ったり、誤った文字認識結果を出力する場合がある。

図９はノイズの影響を受けて文字認識処理で文字がうまく分離できなかった例であり、この場合の文字認識結果の例を図１０に示す。

図９において、四角の枠は、文字認識部４での１文字毎の文字切りの結果である。
「晴」と「天」の間にあるノイズの影響で２つの文字が１つの文字として処理されたため、「晴天」という文字の認識に失敗している（図１０で文字認識結果の□は文字認識に失敗したことを示す）。

したがって、このような場合、この画像処理装置では、文字認識に失敗した文字については、画像処理部６は、微小要素を含まない文字として扱い、この領域部分については、通常のノイズ除去処理を行うので、「晴」と「天」の間にあるノイズは除去され、ノイズ成分を消去することができる。

このノイズ除去済みの画像データを画像メモリ部２に記憶し、画像処理部６が文字認識部４に対して、再度の文字認識処理を実行させることで、画像メモリ部２のノイズ除去済みの画像データから文字認識されるので、より高精度な文字認識結果を得ることができる。

つまり、文字認識の結果を用いてノイズ除去を行い、さらにその出力画像を用いて再度文字認識を行うことで、文字認識の精度を向上することができる。

このようにこの実施形態の画像処理装置によれば、文書から読み取った画像データに対して、文字認識部４がまず文字認識を行い、文字認識結果として文字コードを得る。画像処理部６は、文字認識結果として得られた文字コードに対して微小要素データベース５を参照して微小要素の有無の判定を行い、微小要素を含む文字コードが得られた文字列領域について微小要素を残したままノイズ成分を除去し、それ以外の領域については、通常のノイズ除去を行うので、画像データに含まれる文字を処理する精度を向上することができる。

また、ノイズ除去済みの画像データを再び文字認識部４の処理対象の画像データ、つまり入力画像として文字認識処理を実行させることで、文字認識精度を向上することができる。

なお、本発明は上記実施形態のみに限定されるものではない。上記実施形態では、画像処理の一例として、ノイズを除去した画像データに対して再度文字認識処理を実行したが、これ以外に、例えば画像データ上の文字が細い場合に、文字を太くする等の画像処理を行ってもよい。
また、文字認識の結果と語彙や文脈などの文書知識を用いることで、文書画像中の失われた微小要素を付加することも可能である。不適切にノイズ除去処理を施された文書画像や、複写機でコピーを繰り返した文書あるいはファクシミリ送信された文書などでは、微小要素が失われて画像入力される場合がある。このような場合でも、文書画像中の失われた微小要素が推定できる場合には、これらを画像処理で付加することで画像の補正や修正を行うことができる。
この場合、この画像処理装置に、文書中の前後の文字列の文脈、語彙を解析するための知識が記憶された知識データベースと、文字認識部４による文字認識結果の文字列に対して知識データベースを基に原文として適切な文字列を推定する原文推定部と、微小要素データベース５を参照して、レイアウト解析部３により検出された文字領域に、原文推定部により推定された文字列の微小要素が存在するか否かを確認し、微小要素が存在しない場合、文字領域に対して該当する微小要素を付加する画像処理を行う画像修正手段としての画像処理部６を備える。
そして、文字認識部４による文字認識結果の文字列として、例えば「フロクラム」が得られた場合、原文推定部は、知識データベースを参照し、文章中の前後の文脈や語彙から、「フロクラム」という文字列の原文として「プログラム」が適切であるものと推定する。この場合、画像処理部６は、画像中で「フロクラム」と認識された文字領域中の「フ」あるいは「ク」の右上領域を確認し、もしその領域に例えば濁点・半濁点等の微小要素が存在しない場合にはそれらの濁点・半濁点を画像処理によって文字認識結果の文字列に付加することにより画像を修正する。
これにより、ファクシミリ送信された文書等では、微小要素が失われていた入力画像についても、送信元の文章の記載内容を復元することができる。

本発明の一つの実施形態の画像処理装置の構成を示すブロック図。 この画増処理装置の第１動作例を示すフローチャート。 ノイズを含んだ画像データ（元画像）の一例を示す図。 画像データをレイアウト解析した結果を示す図。 文字認識結果の文字コードに対して微小要素データベースの微小要素が含まれているか否かの記号を付与した図。 ラベリング結果を示す図。 図３の画像データ（元画像）に対するノイズ除去処理結果を示す図。 この画増処理装置の第２動作例を示すフローチャート。 ノイズにより誤った文字切りをした結果を示す図。 誤った文字認識結果を示す図。

符号の説明

１…画像入力部、２…画像メモリ部、３…レイアウト解析部、４…文字認識部、５…微小要素データベース、６…画像処理部、７…辞書。

Claims (4)

1. 文書をイメージスキャンして得た画像データが記憶する画像データ記憶手段と、
   前記画像データ記憶手段に記憶された画像データから文字を認識するための文字領域を検出する文字領域検出手段と、
   前記文字列領域検出手段により検出された文字領域に対して、文字認識を行い認識結果として文字コードを出力する文字認識部と、
   文字毎に微小要素が含まれているか否かを示す情報が登録された微小要素データベースと、
   前記文字認識部による文字認識結果の文字コードをキーにして前記微小要素データベースを参照して文字コードが表現する文字に微小要素が含まれているか否かを判定する微小要素判定手段と、
   前記微小要素判定手段による判定の結果、微小要素を含む文字コードを得た文字領域の微小要素部分をノイズ除去対象から外して前記画像データ記憶手段に記憶されていた画像データからノイズ成分を除去するノイズ除去手段と
   を具備したことを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記ノイズ除去手段によりノイズ成分が除去された画像データに含まれる文字に対する所定の処理を実行する文字処理手段を具備したことを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記文字処理手段は、
   前記ノイズ成分が除去された画像データに対して文字認識処理を実行する手段を具備したことを特徴とする画像処理装置。
4. 文書をイメージスキャンして得た画像データが記憶する画像データ記憶手段と、
   前記画像データ記憶手段に記憶された画像データから文字を認識するための文字領域を検出する文字領域検出手段と、
   前記文字列領域検出手段により検出された文字領域に対して、文字認識を行い認識結果として文字コードを出力する文字認識部と、
   文字毎に微小要素が含まれているか否かを示す情報が登録された微小要素データベースと、
   前記文字認識部による文字認識結果の文字列から、原文として適切な文字列を推定する原文推定部と、
   前記微小要素データベースを参照して、前記文字列領域検出手段により検出された文字領域に、前記原文推定部により推定された文字列の微小要素が存在するか否かを確認し、微小要素が存在しない場合、前記文字領域に対して該当する微小要素を付加する画像処理を行う画像修正手段と
   を具備したことを特徴とする画像処理装置。

Images