JP2005071088A - 画像処理装置、画像処理方法ならびにプログラム、記憶媒体 - Google Patents

Abstract

【課題】 反転文字が含まれた画像や多値画像が入力された場合であっても、文字認識処理を行うのに適した画像を出力する。
【解決手段】 多値画像４０１を処理する画像処理装置であって、多値画像４０１のエッジを抽出してエッジ画像４０４を生成する手段（４０２）と、多値画像４０１から二値画像４０５を生成する手段（４０３）と、生成されたエッジ画像４０４および二値画像４０５に基づいて文字領域を抽出し（４０６）、該文字領域について、多値画像４０１を二値化し、出力二値画像を生成する部分二値化手段（４１０、４１１）と、部分二値化手段（４１０、４１１）により生成された出力二値画像４１２を出力する手段と、を備え、部分二値化手段（４１０、４１１）は、エッジ画像４０４から抽出された文字領域の文字が反転文字である場合、該文字を反転二値化して出力二値画像４１２を生成することを特徴とする。
【選択図】 図４

Description

本発明は、入力された画像から文字認識処理に適した二値画像を抽出するための画像処理技術に関するものである。

従来より、入力された画像に含まれる文字を識別する文字認識技術が実用化されている。例えば、ＰＣでは文字認識処理を用いて、スキャナより取り込まれた画像をテキストデータに変換することが可能である。また、複写機では大量の原稿をＡＤＦでスキャンする際に、当該技術を用いることにより原稿の向きを判定し、正しい向きに補正した上でプリントアウトすることができる。

文字認識処理を行うにあたっては、処理前に、入力された多値画像を文字認識を行うのに適した画像に変換しておくことが重要となってくる。ここで、文字認識を行うのに適した画像とは、入力された画像中に含まれる情報の中から、文字のみを、その大きさ、配置、太さ、フォント等を維持しつつ抽出し（つまり、文字部分以外の情報を削除し）、下地部分を白色、文字部分を黒色で表現した二値画像をいう。そして、このような二値画像を得るための二値化方法が、例えば特許文献１や特許文献２に開示されている。
特開平０８−２２３４０９号公報 特開平０９−３０５７５４号公報

しかしながら、上記従来の二値化方法によれば、入力された画像中に反転文字が含まれていた場合、二値画像は反転文字のまま出力されるため、該反転文字画像部分が文字と認識されずに文字認識の対象とならない場合があった。しかし、二値化後の画像について反転文字であるか否かを判定することは非常に難しく、反転文字が含まれていた場合には文字認識精度が低下してしまうという問題があった。

また、近年、コンピュータの処理能力の向上、メモリの増大、スキャナの発達等によりカラー文書画像が増えたことに伴い、画像中の下地色と文字色とのコントラストが小さい画像や、写真等の文字以外の画像と文字とが混在した画像が増えてきている。この結果、二値化にあたり、二値閾値の調整やブロックサイズの調整だけでは文字認識に適した二値画像が得られないケースがでてきた。例えば、二値閾値を全面単一にすると、一般に、小さな画像むらに影響されない画像が得られるが、画像中に文字色や文字部下地色が複数存在するカラー画像の場合には、画質の低下を招くこととなる。また、小ブロック毎に閾値を適応的に決めて二値化すると、処理ブロック毎に文字部下地色の変化に対応することが可能となる一方で、処理単位毎に濃度むらが出たり、同一の処理ブロック内に文字領域と写真等の他の領域とが混在していた場合にノイズを拾いやすくなってしまう。さらに、処理ブロックに複数の領域が混在しないようにブロックサイズを小さくするとブロック内のノイズ等の影響が大きくなり、かえって濃度むらが増大し、ノイズもより出やすいものとなってしまう。

このように、従来の二値化方法では、反転文字が含まれていた場合や、カラー画像等のように下地色と文字色とのコントラストが比較的小さい画像や、写真等の文字以外の画像が文字と混在した画像の場合に、高い文字認識精度を実現する二値化画像を出力することができなかった。

本発明は、上記課題に鑑みてなされたものであり、反転文字が含まれた画像や多値画像が入力された場合であっても、文字認識処理を行うのに適した画像を出力することにより、文字認識精度を向上させることを目的とする。

上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
入力される多値画像を処理する画像処理装置であって、
前記多値画像のエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、
前記多値画像から二値画像を生成する二値画像生成手段と、
前記生成されたエッジ画像および二値画像に基づいて文字領域を抽出し、該抽出された文字領域について、前記入力される多値画像を二値化し、出力二値画像を生成する部分二値化手段と、
前記部分二値化手段により生成された出力二値画像を出力する出力手段と、を備え、
前記部分二値化手段は、
前記生成されたエッジ画像から抽出された文字領域の文字が反転文字であるか否かを判定し、反転文字であると判定された場合には、該文字を反転二値化して出力二値画像を生成することを特徴とする。

本発明によれば、反転文字が含まれた画像や多値画像が入力された場合であっても、文字認識処理を行うのに適した画像を出力することにより、文字認識精度を向上させることが可能となる。

以下、本発明の各実施形態を図面を用いて説明する。

［第１の実施形態］
＜画像処理装置の構成＞
図１は本実施形態にかかる画像処理装置の構成を示す図である。１０１はＣＰＵ、１０２はＣＰＵ１０１のプログラムやデータを記憶するＲＯＭである。１０３はＲＡＭであり処理する文書画像を一時的に保持したりする等、ＣＰＵ１０１の作業領域として機能する。１０４は記憶装置であり、文書画像やファイル等を格納する。１０５はスキャナであり、対象となる文書画像を読み込む。１０６はプリンタであり、文書画像を印刷出力する。１０７はネットワークＩ／Ｆであり、作成した圧縮画像を配信する。１０８、１０９はそれぞれキーボード、ディスプレイであり操作や表示のためのユーザＩ／Ｆである。

＜画像処理装置における処理の流れ＞
図２は本実施形態にかかる画像処理装置の処理の流れを示すフローチャートであり、図４は当該フローチャートに従って処理されるデータの流れを表したデータフロー図である。

ステップＳ２０１では、記憶装置１０４またはスキャナ１０５から多値の文書画像をＲＡＭ１０３に多値画像４０１として読み込む。多値画像４０１の具体例を図５の５０１に示す。

ステップＳ２０２では、ステップＳ２０１で入力された多値画像４０１からエッジ抽出処理（４０２）により画像のエッジを抽出してエッジ画像４０４を作成する。エッジ画像４０４の具体例を図５の５０２に示す。

ステップＳ２０３では、エッジ画像４０４を領域識別処理（４０６）し、文字領域４０８を抽出する。

ステップＳ２０４では多値画像４０１から二値化処理（４０３）により二値画像４０５を作成する。二値化手法は任意であるが特開平０８-２２３４０９号公報や特開平０９-３０５７５４号公報の様に文字部分の画質が良い二値化手法が望ましい。二値画像４０５の具体例を図５の５０３に示す。

ステップＳ２０５では二値画像４０５を領域識別処理（４０７）により文字領域４０９を抽出する。

領域識別処理（４０６、４０７）はデータフローとしては分かれているが、同一のものを使用できる。エッジ画像４０４に含まれる比較的小さい文字は５０２を見れば分かる様に太字文字とほぼ同じで、比較的大きい文字はアウトライン文字と同じ形状を持つため同一の領域識別方法により文字領域を抽出できる。

ステップＳ２０６では、文字領域の抽出可否を判定し、ステップＳ２０３およびステップＳ２０５の両方で文字領域の抽出ができなかった場合は、ステップＳ２０４で作成した二値画像４０７を出力結果として出力する（ステップＳ２１０）。

ステップＳ２０７では出力二値画像４１２のメモリの初期化を行う。これはステップＳ２０２およびＳ２０４においては多値画像４０１の全領域に対してエッジ抽出および二値化処理が行われるが、次のステップＳ２０８、Ｓ２０９の処理では文字領域部分しか出力を行わないため、全面を白画素で初期化をしておく必要があるからである。

ステップＳ２０８ではステップＳ２０３の領域識別結果４０８に基づいて得られた文字領域について多値画像４０１を部分二値化処理し、二値画像を格納メモリに出力する。また、ステップＳ２０９ではステップＳ２０５の領域識別結果４０９に基づいて得られた文字領域について多値画像４０１を部分二値化処理し、二値画像を格納メモリに出力する。

ステップＳ２１０ではＳ２０８、Ｓ２０９で処理された結果を出力二値画像４１２のメモリに出力する。図５の５０４はこの出力二値画像４１２の具体例であり、多値画像の具体例５０１を本方法により処理した結果である。文字部分のみを出力二値画像４１２として二値化出力するため反転文字部と非反転文字部の境界部分が分からない自然な形で出力することが可能になる（なお、従来のように画像の全領域に対して出力を行った場合には、この境界部分が不自然な形になり、この出力二値画像４１２を利用する後の処理に悪影響を及ぼすこととなる）。

図３はステップＳ２０８及びステップＳ２０９に示す部分二値化処理の処理の流れを示すフローチャートである。

ステップＳ３０１では抽出された文字領域を選択する。ステップＳ３０２で選択された文字領域があればステップＳ３０３へ、なければ処理を終了する。

ステップＳ３０３では選択された文字領域の二値化閾値を決定する二値化閾値演算処理を行う。閾値演算の方法は任意であるが文字画質が良い演算方法が望ましい。

次にステップＳ３０４へ進み、現在処理している領域が領域識別結果４０８のデータであるか、領域識別結果４０９のデータであるかを判定する。領域識別結果４０８のデータすなわちエッジ画像から抽出された文字領域であると判定された場合にはステップＳ３０５へ進み、そうでなければステップＳ３０８へ進む。ステップＳ３０５は反転／非反転文字領域判定処理であり、対象の文字領域が明るい下地に暗い文字の非反転文字領域か、暗い下地に明るい文字の反転文字領域かの判定を行う。

ステップＳ３０５の判定結果に基づきステップＳ３０６で反転文字と判定された場合は、ステップＳ３０７においてステップＳ３０３で決定された閾値により反転二値化処理をし、その文字領域の部分のみを出力二値画像４１２のメモリに出力する。逆にステップＳ３０６で非反転文字と判定された場合は、ステップＳ３０８においてステップＳ３０３で決定された閾値により通常の二値化処理をしてその文字領域の部分のみを出力二値画像４１２のメモリに出力する。

ステップＳ３０７、Ｓ３０８の処理が終わるとステップＳ３０１へ戻り次の文字領域の処理に移る。

＜反転／非反転判定方法＞
ここで、上記ステップＳ３０５で用いられる反転／非反転文字領域判定方法について具体例を挙げて以下に説明する。なお、反転／非反転文字領域判定方法は、以下のいずれの方法を用いてもよく、また、他の方法であってもよい。

（反転／非反転文字領域判定方法その１）
文字領域の反転非反転判定方法であるが、当該選択された領域に関してステップＳ３０３で演算された閾値で二値化した場合の白黒比を計算して、白の割合が大きくなった場合は非反転文字領域と判定し、黒の割合が大きくなった場合は反転文字領域と判定する。

（反転／非反転文字領域判定方法その２）
対象となる文字領域の境界部分に対してステップＳ３０３で演算された閾値で二値化した場合の白黒比を計算して白の割合が大きくなった場合は非反転文字領域と判定し、黒の割合が大きくなった場合は反転文字領域と判定する。

（反転／非反転文字領域判定方法その３）
ステップＳ３０３の二値化閾値演算処理において特開平０８-２２３４０９号公報や特開平０９-３０５７５４号公報の方法を用い、ヒストグラムの偏り（スキュー）の符号により反転か非反転か決定を行う。スキューの値が負値であれば非反転、正値であれば反転領域である。スキュー値は二値化閾値を決定する際に演算が終了しているため処理を高速化できる。

（反転／非反転文字領域判定方法その４）
上記反転／非反転判定方法（その１）で白黒比の差が予め決められた値より小さく、上記反転／非反転判定方法（その３）でスキュー値の絶対値が予め決められた値より小さい場合に反転／非反転判定方法（その２）を行い判定する。

（反転／非反転文字領域判定方法その５）
一般文書において非反転文字が存在する確率が高いため、その１〜その４の判定方法において判定の基準を非反転が優先されるように設定する。

＜部分二値化処理の順番＞
文字領域の部分二値化処理はエッジ画像から抽出された文字領域を処理した後に、二値画像から抽出された文字領域を処理する。オーバーラップした領域は後から処理された結果が残るが、エッジ画像からの文字領域を先にすることによりオーバーラップ部分に関しては後の二値画像の文字領域に対する処理により上書きされることで反転／非反転の誤判定を回避する効果を持つ。

＜画像処理装置における処理の特徴＞
次に図４に示すフローチャートにおける各処理の特徴について説明する。

Ａ．エッジ画像４０４の利点
本実施形態にかかる画像処理装置では、エッジ画像４０４からも領域識別処理を行う点に特徴がある。エッジ抽出４０２を行うことで得られたエッジ画像４０４は、非反転文字も反転文字も同じように出力されるため、特に区別することなく領域識別処理が可能となる。

図６の６０１はある入力画像の一部分で６０２はそのエッジ画像、６０３は二値画像である。６０１の様に入力画像の一部分に濃い下地を有する場合に、従来のような入力画像全体を一様に二値化処理を行うのみでは、６０３の様になることがあり、領域識別処理４０７において画像領域と判断されてしまい、文字領域として抽出することができない。これに対して、エッジ抽出４０７により得られたエッジ画像４０４は画素間の相対的な輝度変位のみに反応するため、６０１に示すような画像が入力された場合であっても、エッジ画像６０２を得ることができ、その結果、下地の影響を受けず文字領域の抽出が可能である。よって出力される二値画像４１２は６０４のようになる。

Ｂ．二値画像４０５の利点
本実施形態にかかる画像処理装置では、エッジ抽出４０２と二値化処理４０３とを併用し、互いに補完する点に更に特徴がある。

エッジ抽出（４０２）は下地の濃淡による影響が小さいが、画像として見た場合、エッジは文字の周辺部に存在するため文字の大きさが大きくなる。そのため、例えば、図７の画像７０１に示す表中の文字についてエッジ抽出を行うと、罫線部分も太るため文字と罫線が接触しやすくなる（７０２参照）。その結果、他の部分と接触した文字を分離するのは難易度が高いため、領域識別処理を行う際に、安定して文字領域を抽出することができない。また、エッジ抽出はフィルタ処理であり局所的な輝度変位に反応してノイズを生ずることがあり文字抽出の障害になる。これに対して、二値化処理４０３により得られる二値画像４０５は、文字の大きさが維持されるため、図７の場合、画像７０３に示すように文字と罫線とが接触せず、文字を容易に分離することが可能となる（７０４参照）。

Ｃ．文字領域単位の二値化（４１０、４１１）
本実施形態にかかる画像処理装置では、二値画像４０３から抽出された文字領域４０９に対して、多値画像４０１について二値化閾値を計算して再度二値化処理（部分二値化処理）を行う点に更に特徴がある。

これは、従来技術の問題点として上述したように、ステップＳ２０４における二値化手法のみでは、以下のような問題が生じるからである。つまり、全面単一閾値による場合、小ノイズが出ないように二値化することが可能である一方、画像中の文字の色や文字部下地色が複数存在している場合には、画質の悪い文字部分がでてしまう。また、入力画像を格子状に予め定めた大きさのブロック（処理ブロック）に分け、該処理ブロック毎に閾値を適応的に決めて二値化した場合、処理ブロック毎に文字下地色の変化に対応可能である一方、処理ブロック単位毎に濃度むらが出たり、処理ブロック内で文字領域と写真等の他の領域とが混在した場合にノイズを拾いやすくなる。さらに処理ブロックに複数の領域が混在しないようにブロックサイズを小さくするとブロック内のノイズ等の影響が大きくなるため、濃度むらがさらに大きくノイズもより出やすくなる。

これに対して、ステップＳ２０８、Ｓ２０９において文字領域に対して部分二値化処理を行うことで、文字領域毎に閾値が決定され、領域毎の文字下地色の変化に対応し、かつ文字領域に限定された比較的広いエリアから安定して閾値を演算することができる。すなわち、適応的に最適な処理ブロックサイズを決定するのと等価の働きをするため、濃度むらやノイズの少ない文字画質が高い画像を得ることができる。

以上の説明から明らかなように、本実施形態によれば、入力される画像に対してエッジ抽出を行うことで、反転文字が含まれる場合であっても文字認識に適した画像を得ることが可能となる。また、二値化処理と併用することにより、エッジ抽出により処理した場合の欠点を補完することが可能となる。さらに、エッジ抽出または二値化処理の結果得られた文字領域に対して、再度二値化処理を行うことで、最適なブロックサイズによる二値化画像を得ることが可能となる。この結果、文字認識処理を行うのに適した画像を出力することが可能となり、従来よりも文字認識精度を向上させることができる。

［第２の実施形態］
上記エッジ画像４０４は領域識別結果４０８が得られれば必要なくなり、二値画像４０５は領域識別結果４０９が得られた時点で必要なくなる。したがって、エッジ画像４０４、二値画像４０５、出力された二値画像４１２についてメモリを共有することにより、メモリを節約することができる。

また一方、図４の４０２、４０４、４０６、４０８と４０３、４０５、４０７、４０９のデータフローの処理は独立しているため、独立した資源（メモリ）を割り当てて処理を並列に行うようにすることで、処理の高速化を実現することが可能となる。

さらにＳ２０８、Ｓ２０９の処理に加えて、入力画像全体の二値画像４０５を反転して反転画像を生成し、該反転画像に対して領域識別処理を行うことにより、反転文字に特化した文字抽出を行う処理を行うようにしてもよい。ただしこの場合、図３のＳ３０４からはＳ３０７へ分岐する。

［第３の実施形態］
上記ステップＳ３０３で得られた二値化閾値と、二値化処理４０５での二値化閾値との差が予め決められた範囲内であった場合に、保持している二値画像４０５の該当部分を出力する出力二値画像４１２へコピーすることにより二値化処理時間を短縮することが可能となる。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の活用例として、例えば、パソコン（ＰＣ）、スキャナ、複写機等への適用が考えられる。

本発明の第１の実施形態にかかる画像処理装置の構成を示す図である。 本発明の第１の実施形態にかかる画像処理装置の処理の流れを示すフローチャートである。 本発明の第１の実施形態にかかる画像処理装置における部分二値化処理の処理の流れを示すフローチャートである。 本発明の第１の実施形態にかかる画像処理装置において処理されるデータの流れを表したデータフロー図である。 多値画像の具体例を示す図である。 多値画像の具体例を示す図である。 多値画像の具体例を示す図である。

Claims (8)

1. 入力される画像を処理する画像処理装置であって、
   前記入力される画像のエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、
   前記入力される画像から二値画像を生成する二値画像生成手段と、
   前記生成されたエッジ画像および二値画像に基づいて文字領域を抽出し、該抽出された文字領域について、前記入力される画像を二値化し、出力二値画像を生成する部分二値化手段と、
   前記部分二値化手段により生成された出力二値画像を出力する出力手段と、を備え、
   前記部分二値化手段は、
   前記生成されたエッジ画像から抽出された文字領域の文字が反転文字であるか否かを判定し、反転文字であると判定された場合には、該文字を反転二値化して出力二値画像を生成することを特徴とする画像処理装置。
2. 前記部分二値化手段は、
   前記エッジ画像生成手段で生成されたエッジ画像から抽出された文字領域について、前記入力される画像を二値化した後に、前記二値画像生成手段で生成された二値画像から抽出された文字領域について、前記入力される画像を二値化することを特徴とする請求項１に記載の画像処理装置。
3. 前記部分二値化手段は、
   前記二値画像生成手段で二値画像を生成する際の二値化閾値と、前記出力二値画像を生成する際の二値化閾値との差が所定値以下であった場合に、当該文字領域に対応する前記二値画像を出力二値画像として出力することを特徴とする請求項１に記載の画像処理装置。
4. 入力される画像を処理する画像処理方法であって、
   前記入力される画像のエッジを抽出してエッジ画像を生成するエッジ画像生成工程と、
   前記入力される画像から二値画像を生成する二値画像生成工程と、
   前記生成されたエッジ画像および二値画像に基づいて文字領域を抽出し、該抽出された文字領域について、前記入力される画像を二値化し、出力二値画像を生成する部分二値化工程と、
   前記部分二値化工程により生成された出力二値画像を出力する出力工程と、を備え、
   前記部分二値化工程は、
   前記生成されたエッジ画像から抽出された文字領域の文字が反転文字であるか否かを判定し、反転文字であると判定された場合には、該文字を反転二値化して出力二値画像を生成することを特徴とする画像処理方法。
5. 前記部分二値化工程は、
   前記エッジ画像生成工程で生成されたエッジ画像から抽出された文字領域について、前記入力される画像を二値化した後に、前記二値画像生成工程で生成された二値画像から抽出された文字領域について、前記入力される画像を二値化することを特徴とする請求項４に記載の画像処理方法。
6. 前記部分二値化工程は、
   前記二値画像生成工程で二値画像を生成する際の二値化閾値と、前記出力二値画像を生成する際の二値化閾値との差が所定値以下であった場合に、当該文字領域に対応する前記二値画像を出力二値画像として出力することを特徴とする請求項４に記載の画像処理方法。
7. 請求項４乃至６のいずれか１つに記載の画像処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
8. 請求項４乃至６のいずれか１つに記載の画像処理方法をコンピュータによって実現させるための制御プログラム。