JP2021013124A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】文字画素を過不足なく二値画像として有効化できるようにすることを課題とする。【解決手段】画像処理装置は、第一の画像生成手段（Ｓ４００）と、エッジ生成手段（Ｓ４１０）と、第二の画像生成手段（Ｓ４３０）とを有する。第一の画像生成手段（Ｓ４００）は、多値画像から閾値を基に二値画像を生成する。エッジ生成手段（Ｓ４１０）は、多値画像からエッジ画像を生成する。第二の画像生成手段（Ｓ４３０）は、エッジ画像と二値画像とを合成して合成二値画像を生成する。ここでエッジ生成手段（Ｓ４１０）は、多値画像から抽出したエッジの位置を、多値画像に基づいて補正してエッジ画像を生成する。【選択図】図４

Description

本発明は、スキャン等にて得られた多値画像から二値画像を生成する画像処理技術に関する。

印字された文字がかすれてしまっている文書をカメラやスキャナにより読込んだ画像（スキャン画像）に対して文字認識処理（ＯＣＲ処理）を行う際、かすれ文字部の文字線（文字画素）等のＯＣＲ精度を向上させる技術として、特許文献１に記載の技術がある。特許文献１には、多値データを二値化する際の閾値をコントロールすることで、画像を濃度補正する技術が開示されている。特許文献１に記載の技術によれば、階調値が高く、薄れてしまっている文字画素も、閾値を高くすることで、文字線として有効な画素として二値化することができる。

特開２０００−３４８１３８号公報

しかしながら、上述の先行技術では、本来文字画素として有効にしたくない画素も有効にしてしまうことがある。例えば、薄れた文字画素を有効化できるように閾値を上げた結果、文字画素ではない画素も有効化してしまい、文字における文字線と文字線の間に存在する画素（文字内の非文字画素）が文字画素化され、文字形状が失われることがある。文字内の非文字画素は、スキャナ読み取り時に生じるノイズやスキャン画像生成時に生じるデータ圧縮などの影響で階調値が低くなることがあるため、単に閾値を用いるだけでは、文字画素のみを過不足なく二値画像として有効化することが困難である。

そこで、本発明は、文字画素を過不足なく二値画像として有効化できるようにすることを目的とする。

本発明の画像処理装置は、多値画像から閾値を基に二値画像を生成する第一の画像生成手段と、前記多値画像からエッジ画像を生成するエッジ生成手段と、前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成手段と、を有し、前記エッジ生成手段は、前記多値画像から抽出したエッジの位置を、前記多値画像に基づいて補正して前記エッジ画像を生成することを特徴とする。

本発明によれば、文字画素を過不足なく二値画像として有効化することができる。

実施形態の情報処理システムの構成例を示す図である。 実施形態の画像生成処理の大まかな流れを示すフローチャートである。 スキャン画像および文字列領域の検出結果の一例を示す図である。 第一の実施形態のかすれ文字補間二値化処理のフローチャートである。 スキャン画像および二値画像、エッジ画像の一例を示す図である。 ぼかし処理を用いた補間処理のフローチャートである。 補間処理とその結果の一例を示す図である。 ノイズ判定に基づく画像合成処理のフローチャートである。 ノイズ判定に基づく画像合成処理とその結果の一例を示す図である。 ノイズ判定テーブルの一例を示す図である。 第四の実施形態のかすれ文字補間二値化処理のフローチャートである。 かすれ文字判定処理のフローチャートである。 文字候補領域の一例を示す図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜システム構成例＞
図１は、本実施形態の画像処理装置が適用される情報処理システムの概略構成例を示す図である。情報処理システムは、読み取り装置１００と、本実施形態の画像処理装置の一例である情報処理装置１１０とを有している。読み取り装置１００は、スキャナ１０１と、通信部１０２とを有している。スキャナ１０１は、文書の読み取りを行い、スキャン画像を生成する。スキャン画像のデータは多値画像データである。通信部１０２は、ネットワークを介して外部装置と通信を行う。

情報処理装置１１０は、システム制御部１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、通信部１１７とを有している。システム制御部１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、システム制御部１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、スキャン画像のデータを含む各種データや各種プログラム等を記憶する。なお、情報処理装置１１０の後述する機能や処理は、システム制御部１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

通信部１１７は、ネットワークを介して外部装置との通信処理を行う。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

本実施形態においては、読み取り装置１００のスキャナ１０１が帳票等の紙文書を読み取り、スキャン画像を生成する。スキャン画像のデータは、通信部１０２により情報処理装置１１０に送信される。情報処理装置１１０では、通信部１１７がスキャン画像のデータを受信し、当該画像データをＨＤＤ１１４などの記憶装置に記憶する。

＜第一の実施形態＞
図２は、情報処理装置１１０において行われる第一の実施形態に係る画像生成処理の大まかな流れを示したフローチャートの一例である。本フローチャートの処理は、ＲＯＭ１１２に格納されたプログラムに従って情報処理装置１１０のシステム制御部１１１が実行することによって実現される。
まずステップＳ２００において、システム制御部１１１は、スキャナ１０１がユーザによる指示に従い紙文書をスキャンして送信してきたスキャン画像のデータを、通信部１１７を介して受信する。そして、システム制御部１１１は、受信したスキャン画像のデータを、ＨＤＤ１１４などの記憶部に格納させる。図３（ａ）は、当該処理により得られたスキャン画像３０１の一例を示した図である。

次にステップＳ２１０において、システム制御部１１１は、ＨＤＤ１１４などの記憶部に格納したスキャン画像を読み出し、そのスキャン画像に対して文字列領域検出処理を行う。そして、システム制御部１１１は、文字列領域検出処理による検出結果の情報をＲＡＭ１１３に格納する。文字列領域検出処理は、スキャン画像中から文字認識の対象となる文字列を含む領域を検出する処理であり、画像全体をｘ軸方向に射影をとり、階調値が閾値以下の領域を文字列として検出することで実現される。検出された文字列領域は、文字列領域を包含する矩形領域座標（文字列領域の四隅を示す位置座標）として表現される。図３（ｂ）は、スキャン画像３０１に対する文字列領域の検出結果の一例であり、破線で囲まれた文字列領域３０２は、検出された文字列領域である。なお、上記の文字列領域検出処理は一例であって、文字列の領域を検出できれば他の手法でもよく、具体的な手法は問わない。

次にステップＳ２２０において、システム制御部１１１は、文字列領域毎のスキャン画像に対して、かすれ文字画素に対する補間処理を行った上で閾値を用いて再二値化処理を行い、その二値化処理で再生成した二値画像のデータをＲＡＭ１１３に格納する。ステップＳ２２０で行われる、かすれ文字補間二値化処理の詳細については、図４を用いて後述する。
当該処理により、かすれた文字を含むスキャン画像も文字画素の過不足がない状態で、二値化できるため、当該二値画像に対して文字認識処理を実施することで、図１のシステムにおけるＯＣＲの文字認識精度を向上させることが可能になる。

続いて、図２のステップＳ２２０におけるかすれ文字補間二値化処理について、図４を用いて説明する。図４は、本実施形態における、かすれ文字補間二値化処理のフローチャートの一例である。
まずステップＳ４００において、システム制御部１１１は、ＲＡＭ１１３を参照し、スキャン画像および処理対象の文字列領域を示す矩形領域座標を取得する。さらにシステム制御部１１１は、それら取得した情報を用いて、スキャン画像内の矩形領域座標が示す領域に対して、所定の閾値を用いた二値化処理を実施して二値画像を生成するような画像生成処理を行い、その二値画像のデータをＲＡＭ１１３に格納する。
二値化処理は、所定の閾値以上の階調値を持つ画素を白画素とし、所定の閾値よりも小さな階調値を持つ画素を黒画素として、二階調の画像データに変換するような画像生成処理である。

図５（ａ）は、二値化処理結果の一例の説明に用いる図である。二値化対象画像５０１は、スキャン画像３０１から処理対象領域として抜き出された画像（図３（ｂ）の文字列領域３０２）である。元画像５０３は、二値化対象画像５０１のなかの着目領域５０２を拡大した画像である。元画像５０３に対する閾値二値化の結果が、閾値二値画像５０４である。
なお、本実施形態において、所定の閾値は、予め定めた規定の値を用いてもよく、様々な閾値算出手法によって適応的に算出した閾値を用いてもよい。閾値算出手法としては、例えば画像内の階調値分布を用いて適応的に閾値を算出する方法等を挙げることができる。

次にステップＳ４１０において、システム制御部１１１は、ステップＳ４００で取得したスキャン画像および文字列領域を対象に、エッジ抽出処理を行い、そのエッジ抽出結果を基にエッジ画像を生成するエッジ生成処理を行う。そして、システム制御部１１１は、その生成したエッジ画像のデータをＲＡＭ１１３に格納する。
ここで、エッジ抽出処理は、隣接する画素間で階調値の勾配が生じている部分をエッジ候補として抽出する処理である。階調値の勾配は、画像のｘ軸およびｙ軸のそれぞれに対して、画素階調値の変化量を一次微分することで求められる。そしてシステム制御部１１１は、その画素階調値の変化量の極大点の画素をエッジ候補の画素として特定し、当該エッジ候補の画素を黒画素化する。

図５（ｂ）は、ｘ軸のエッジ候補として抽出された画素とｙ軸のエッジ候補として抽出された画素とを合成した結果の一例を示した図である。エッジ抽出結果画像５０５は、元画像５０３に対するエッジ抽出結果である。抽出されたエッジ候補の各画素が、黒画素化されることでエッジ部５０６が得られる。
なお、本実施形態では、一次微分を用いてエッジ抽出を行ったが、エッジを特定することができれば、エッジ抽出の方法は問わない。

次にステップＳ４２０において、システム制御部１１１は、ＲＡＭ１１３を参照し、エッジ候補の画像と当該エッジ候補の画像に対応する領域のスキャン画像とを取得する。さらに、システム制御部１１１は、取得したスキャン画像の階調値とエッジ候補の画像とを基に、エッジ候補の画像の位置を補正し、その補正後の画像をエッジ画像のデータとしてＲＡＭ１１３に格納する。具体的に説明すると、システム制御部１１１は、エッジ候補の画素（エッジ候補とされた黒画素）に対応した位置のスキャン画像の画素に隣接した画素を参照し、階調値が小さな方の画素に対して、エッジ候補の画素値をシフトさせることでエッジ画素とする。シフトの実施は、ｘ軸のエッジ候補の画像と、ｙ軸のエッジ候補の画像との、それぞれに対して行う。すなわちｘ軸のエッジ候補の画像とスキャン画像とを用いたエッジシフトの場合、システム制御部１１１は、ｘ軸のエッジ候補の画素に対応した位置のスキャン画像内の画素の左右の階調値を参照する。そして、システム制御部１１１は、階調値が小さな方の画素に対してエッジ候補の画素値をｘ軸方向に１画素分シフトしてエッジ画素とする。同様に、ｙ軸のエッジ候補の画像とスキャン画像とを用いたエッジシフトの場合、システム制御部１１１は、ｙ軸のエッジ候補の画素に対応するスキャン画像内の画素の上下の階調値を参照する。そして、システム制御部１１１は、階調値が小さな方の画素に対してエッジ候補の画素をｙ軸方向に１画素分シフトしてエッジ画素とする。

図５（ｃ）は、エッジシフトが行われた結果の一例を示した図である。エッジ抽出結果画像５０５に対して、元画像５０３に基づきエッジシフトを行った結果のエッジ画像が、エッジシフト結果画像５０７である。すなわち、このエッジシフト結果画像５０７が、次のステップＳ４３０において、ステップＳ４００の閾値二値化結果画像と合成されるエッジ画像である。

次にステップＳ４３０において、システム制御部１１１は、ＲＡＭ１１３からエッジシフト結果画像と閾値二値化結果画像とを取得し、これら二つの画像を合成処理して合成二値画像を生成する。ここで行われる画像の合成処理は、黒画素を１、白画素を０として、ＯＲ演算（論理和演算）を行う処理である。すなわち、エッジシフト画像もしくは閾値二値化結果画像のいずれかにおいて黒画素であった画素が、合成結果においても黒画素として設定されて合成二値画像が生成される。図５（ｄ）は、画像の合成処理により生成された合成二値画像５０８の一例を示した図である。図５（ｄ）によれば、エッジ画像（エッジシフト結果画像）とエッジと閾値二値画像とが合成されていることで、閾値二値画像だけでは欠落していた文字画素が黒画像となって有効化できていることがわかる。

以上説明したように、本実施形態によれば、エッジ画像と閾値二値画像とを合成することで、閾値のみを用いた処理では文字画素を過不足なく二値化できない画像に対しても、文字画素の欠落や非文字画素の有効化を解消した二値化画像を生成可能である。さらに、本実施形態によれば、スキャン画像の階調値に基づき、エッジ画像の画素位置をシフトさせることで、文字画素を過不足なく有効化した二値画像を再生成することができる。なお、公知のエッジ抽出処理では、文字線に対して外側にエッジ画素が生成される傾向がある。したがって、エッジシフト処理を適用しないエッジ画像と閾値二値画像を単に結合しただけでは、文字画素の外側に存在する文字画素が有効となった二値画像が生成されることとなり、結果として、文字認識処理の精度に悪影響を与える。これに対し、本実施形態では、エッジシフト処理を適用することで、文字画素の外側に存在する文字画素が誤って有効となるような問題を回避することができる。

＜第二の実施形態（画素抜け補間）＞
第一の実施形態では、エッジシフト後のエッジ画像と閾値二値画像とを合成することで、二値化画像を生成したが、例えば文字線が太い場合には、エッジ画像と閾値二値画像の間に隙間が生じることがある。第二の実施形態では、エッジ画像と閾値二値画像の間に隙間が生じた場合も、文字画素の過不足が生じないように二値画像を生成する処理について説明する。なお、制御の流れなど第一の実施形態と共通する内容については説明を省略し、第一の実施形態との差分となる画像合成処理（第一の実施形態におけるステップＳ４３０の画像合成処理に相当）について説明する。第一の実施形態におけるステップＳ４３０の処理と第二の実施形態における図６の処理とは、いずれか一方の処理のみ行われてもよいし、両方の処理が行われてもよい。本実施形態では両方の処理が行われるが、以下の説明では第一の実施形態のステップＳ４３０に係る処理の記載は省略する。

図６はステップＳ４３０の画像合成処理の第二の実施形態における処理を示すフローチャートの一例である。
ステップＳ６００は前述のステップＳ４３０と同一の処理であるため、説明を省略する。図７（ａ）は、ステップＳ６００の画像合成処理を実施した結果の一例である。図７（ａ）に示すように、画像合成処理結果の画像は、文字線が太く、文字画素抜け７０１が生じているとする。

次にステップＳ６１０において、システム制御部１１１は、ＲＡＭ１１３を参照し、画像合成処理の結果の画像データを取得する。さらに、システム制御部１１１は、当該画像に対して、ガウシアンフィルタ処理と呼ばれる公知のぼかし処理を用いた補間処理を行い、そのぼかし処理後のデータをＲＡＭ１１３に格納する。
図７（ｂ）は、本処理結果の一例であり、図７（ａ）の画像にぼかし処理を適用した結果の画像である。ガウシアンフィルタを適用することで、画素間の距離に応じて処理後の階調値が求められる。したがって、エッジ画像と閾値二値画像との間の隙間のように距離が短い空き領域つまり文字画素抜け領域がある場合、その文字画素抜け領域に対してはぼかし処理が強く適用される。一方、実際の文字線（文字画素）と文字線の間のように距離が長い空き領域に対しては、ぼかし処理が弱く適用される。その結果として、文字画素抜けが生じている領域は、文字画素に近い階調値（図７（ｂ）の例では黒に近い階調値）に補間される。一方、実際の文字線と文字線との間のように文字画素抜け領域ではない領域は、文字画素とは異なる階調値（図７（ｂ）の例では白に近い階調値）に補間される。

次にステップＳ６２０において、システム制御部１１１は、ぼかし処理後の画像に対し、第二の閾値二値化処理を実施し、その処理結果のデータをＲＡＭ１１３に格納する。第二の閾値二値化処理は、図４のステップＳ４００における処理と同様である。図７（ｃ）は、図７（ｂ）に対して本処理を適用した結果の一例を示した図である。

以上説明したように、第二の実施形態によれば、エッジ画像と閾値二値画像とを合成しただけでは、文字画素が欠落してしまう場合でも、ぼかし処理による欠落画素の補間を行うことで、文字画素欠落がない二値画像を生成することができる。文字線中の文字画素欠落は、文字認識処理の精度を低下させる要因となるが、本実施形態の処理を適用することで、当該文字画素欠落の問題を回避することが可能になる。

＜第三の実施形態（ノイズ除去）＞
第一の実施形態および第二の実施形態では、エッジ画像を閾値二値画像と合成することで、二値化処理を行ったが、エッジ画像には文字線以外のエッジ、すなわち例えばノイズが含まれる可能性がある。第三の実施形態では、エッジ画像にノイズが含まれる場合でも、ノイズ部分が文字画素として扱われないように二値画像を生成する処理について説明する。なお、制御の流れなど、前述の各実施形態と共通する内容については説明を省略し、説明済みの実施形態に対する差分となる画像合成処理（第一の実施形態におけるステップＳ４３０画像合成処理に相当）について説明する。第三の実施形態における処理も前述した第一の実施形態または第二の実施形態の処理とともに行われるが、いずれかの処理のみ行われてもよい。

図８はステップＳ４３０の画像合成処理の第三の実施形態における処理を示すフローチャートの一例である。このフローチャートの処理は、エッジ画像の連結画素塊（ＣＣ：Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ）を抽出し、その抽出したＣＣの位置関係に基づいて文字候補の領域を生成し、その文字候補の領域に対してかすれ文字の判定を行う処理となっている。

まずステップＳ８００において、システム制御部１１１は、ＲＡＭ１１３からエッジ画像を取得して、エッジ画像の連結画素塊（ＣＣ：Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ）を抽出し、その抽出した情報をＲＡＭ１１３に格納する。ＣＣは、エッジ画像内で連結する黒画素（エッジ画素）を抽出したものであり、同一のＣＣとなる画素に同一ラベルを付与した情報を持つ。図９（ｂ）は、本処理結果の一例を示した図である。図９（ｂ）は、図９（ａ）に示したスキャン画像に対してエッジ抽出した画像の一例を示した図である。図９（ｂ）に示した画像では、三つのＣＣ（エッジＣＣ９０１、エッジＣＣ９０２、エッジＣＣ９０３）が抽出されている。

次にステップＳ８１０において、システム制御部１１１は、ＲＡＭ１１３を参照し、エッジＣＣの情報を取得し、各エッジＣＣについて、ノイズ判定処理を実施する。ノイズ判定処理では、エッジＣＣがノイズであるか否かが判定される。システム制御部１１１は、ノイズではないと判定した場合にはステップＳ８２０の処理へ移行し、一方、ノイズであると判定した場合には閾値二値画像とエッジ画像の合成処理を実施せず、処理を終了する。

ノイズ判定処理は、図１０に示すノイズ判定テーブルを参照することにより行われる。システム制御部１１１は、ノイズ判定テーブルに記載される条件を満たす場合にはノイズと判定する。
例えばシステム制御部１１１は、条件１として、閾値に対して、エッジＣＣの高さが大きいか否かを判定する。そして、システム制御部１１１は、閾値よりもエッジＣＣの高さが大きい場合にはノイズであると判定する。閾値は、ステップＳ４００において取得した文字列領域の高さの最頻値に対して、所定の係数を乗算したものを用いる。ここで文字列領域の高さは文書中の文字高さに近似されることが期待できる。文書中の文字高さに対して、エッジＣＣの高さが大きな場合は、文字画素から抽出されたエッジではない、すなわちノイズである可能性が高いためと判断できるので、文字高さが閾値算出の基となされる。

また例えばシステム制御部１１１は、条件２として、閾値よりもエッジＣＣの高さが小さく、かつ、エッジＣＣと閾値二値画像とを合成した結果、エッジＣＣと閾値二値画像の画素が連続しない場合にノイズであると判定する。具体的には、システム制御部１１１は、エッジＣＣの高さが文字高さと近似された閾値を超えない場合には、エッジＣＣと閾値二値画像を合成する。そして、システム制御部１１１は、合成した結果、エッジＣＣの画素と閾値二値画像の画素が連続しない場合にはノイズであると判定する。すなわち、エッジＣＣが小さく、閾値二値画像と合成しても、画素が連続しない場合は、文字画素に対して孤立した微小なエッジであり、ノイズであると想定できる。

図９（ｂ）に示したエッジの例では、三つのエッジＣＣは、いずれも条件１を満たさないが、エッジＣＣ９０３については、条件２を満たすことになる。したがって、エッジＣＣ９０３については、条件２によりノイズであると判定される。
なお、本実施形態では、文字列領域の高さを用いてスキャン画像に含まれる文字高さを推定したが、異なる方法を用いてもよい。例えば、文字列領域に対して文字認識処理を実施し、文字認識処理結果から文字高さを算出してもよい。かすれた文字が含まれる場合は、文字認識処理の精度が問題になる可能性もあるが、かすれた文字よりも非かすれ文字が多ければ、統計的に多数を占める文字高さは有効な値となることが期待できる。

次のステップＳ８２０は、図４におけるステップＳ４３０と同様の処理である。システム制御部１１１は、ノイズではないと判定されたエッジ画像と閾値二値画像とを合成する。
以上説明したように、第三の実施形態によれば、エッジ画像のノイズ判定を行うことで、エッジ画像と閾値二値画像の合成結果において文字画素ではないノイズが混入されることを避けることができる。

＜第四の実施形態（かすれ文字判定）＞
前述の実施形態では、すべての閾値二値画像に対してエッジ画像の合成を実施する処理を行ったが、エッジ画像の合成処理を閾値二値画像の状態に応じて適応的に実施してもよい。例えば、閾値二値画像が文字画素を過不足なく二値画像に変換できているのであれば、エッジ画像の合成処理を適用しても文字認識処理の精度向上にはつながらない。このようにエッジ画像の合成処理が不要な場合に、エッジ画像の抽出や合成処理を実施しないことで処理の負荷低減と高速化が期待できる。第四の実施形態では、閾値二値画像の状態を判定し、エッジ画像合成の実施有無を制御する処理について説明する。なお、制御の流れなど前述の実施形態と共通する内容については説明を省略し、前述の実施形態との差分となる処理について説明する。第四の実施形態における処理も前述した第一〜第三の実施形態の処理とともに行われるが、いずれかの処理のみ行われてもよい。

図１１は、第四の実施形態における、かすれ文字補間二値化処理の流れを示すフローチャートの一例である。本フローチャートは、ＲＯＭ１１２に格納されたプログラムに従って情報処理装置１１０のシステム制御部１１１が実行することによって実現される。
本フローチャートにおいて、一部の処理は図４を用いて説明済みである。具体的には、ステップＳ１１００はステップＳ４００、ステップＳ１１３０はステップＳ４２０、そしてステップＳ１１４０はステップＳ４３０と同様の処理である。これら同様の処理の説明は省略し、図４との差分が生じる処理ステップに限定して説明を行う。

ステップＳ１１１０において、システム制御部１１１は、ＲＡＭ１１３を参照し、閾値二値画像を取得し、閾値二値画像の画像状態を判定して、文字のかすれが生じている領域（かすれ文字領域）を特定する。特定された、かすれ文字領域は、文字領域の位置と大きさを示す矩形情報としてＲＡＭ１１３に格納される。このステップＳ１１１０の処理の詳細は、図１２を用いて後述する。

ステップＳ１１２０において、システム制御部１１１は、ＲＡＭ１１３を参照し、スキャン画像および、かすれ文字領域の矩形情報を取得する。さらに、システム制御部１１１は、取得したスキャン画像内のかすれ文字領域に限定し、エッジ抽出処理を実施する。エッジ処理の内容はステップＳ４１０に記載の処理と同様である。
続くステップＳ１１３０以降の処理は、上述のように、図４で説明済みの処理と同様である。かすれ文字領域と判定された部分のみ、エッジ画像のシフト処理が実施された後に、閾値二値画像とエッジ画像が合成されることで、最終的な二値画像が生成される。かすれ文字領域以外の領域は、エッジ画像が生成されていないため、閾値二値画像との合成処理は実施されない。結果として、閾値二値画像が最終的な二値画像として採用されることになる。

続いて、図１１のステップＳ１１１０かすれ文字領域の特定処理について、図１２を用いて、詳細を説明する。図１２は、本実施形態における、かすれ文字領域の特定処理を示すフローチャートの一例である。
ステップＳ１２００において、システム制御部１１１は、ＲＡＭ１１３を参照し、閾値二値画像を取得する。さらに、システム制御部１１１は、当該閾値二値画像の連結画素塊（ＣＣ）を抽出し、その抽出した情報をＲＡＭ１１３に格納する。ＣＣ抽出の処理については、ステップＳ８００の処理と同様である。

次にステップＳ１２１０において、システム制御部１１１は、ＲＡＭ１１３を参照し、ＣＣ情報を取得する。さらに、システム制御部１１１は、取得したＣＣ情報から各ＣＣの外接矩形情報を取得する。続いて、システム制御部１１１は、規定の距離内に存在し、かつ、統合後の領域が規定のアスペクト比を満たす関係となるＣＣ外接矩形を単一の文字候補領域として統合し、ＲＡＭ１１３に統合結果の矩形領域を格納する。ＣＣの外接矩形の統合は、前述した条件（規定の距離内に存在する、かつ、統合後領域のアスペクト比が規定以内）を満たすＣＣの外接矩形を全て包含する外接矩形とすることで実現する。ここで、ＣＣの外接矩形間の距離は、外接矩形端の距離を示す。

図１３（ａ）と図１３（ｂ）は、文字候補領域の一例を示した図である。ＣＣの外接矩形１３００、１３０１、および１３０２を用いて統合された文字候補領域は、文字候補領域１３０３および１３０４である。ＣＣの外接矩形１３００は、他のＣＣ外接矩形１３０１と１３０２と規定の距離を満たさないため、他のＣＣ外接矩形とは統合されず、文字候補領域１３０３と設定される。一方、ＣＣ外接矩形１３０１と１３０２は規定の距離内であるという条件を満たすため、これら二つのＣＣ外接矩形は統合され、文字候補領域としてはＣＣ外接矩形１３０１および１３０２を包含する新たな矩形領域１３０４として生成される。

次にステップＳ１２２０において、システム制御部１１１は、ＲＡＭ１１３を参照し、文字候補領域の情報を取得し、当該情報に存在する文字画素にかすれが生じているか判定する。かすれ判定は、文字候補領域に存在するＣＣ外接矩形の位置関係に基づいて行う。具体的には、システム制御部１１１は、文字候補領域に複数のＣＣ外接矩形が存在し、当該複数のＣＣ外接矩形が包含関係にない場合には、かすれが生じていると判定する。そして、システム制御部１１１は、かすれていると判定した場合にはステップＳ１３３０の処理に移行し、一方、かすれていないと判定した場合には処理を終了する。

ステップＳ１２３０に進むと、システム制御部１１１は、ステップＳ１２２０にて、かすれていると判定された文字候補領域を、かすれ文字の領域として、領域の外接矩形情報をＲＡＭ１１３に格納する。
以上説明したように、第四の実施形態によれば、かすれ文字領域を特定することで、かすれ文字でない領域のエッジ抽出や合成処理を不要にすることで、処理速度の向上と使用する記憶装置の削減が可能となる。
また、本実施形態では、ステップＳ１１４０の処理をステップＳ４３０と同様と説明したが、第二の実施形態もしくは第三の実施形態で説明した処理を適用することも可能である。この場合、ステップＳ１１３０までの処理は本実施形態として説明した処理を適用する。その後、ステップＳ１１４０（Ｓ４３０）に相当する処理が、図６を用いて説明した処理（第二の実施形態）もしくは図８を用いて説明した処理（第三の実施形態）に置き換わることになる。当該処理を実施することで、第二の実施形態もしくは第三の実施形態で説明した効果を、かすれ文字に限定して適用することが可能となり、第二の実施形態および第三の実施形態の処理実行時にも処理効率化を実現できる。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１０：情報処理装置、１１１：システム制御部、Ｓ４００：閾値二値化処理、Ｓ４１０：エッジ抽出処理、Ｓ４２０：エッジシフト処理、Ｓ４３０：画像合成処理

Claims (17)

1. 多値画像から閾値を基に二値画像を生成する第一の画像生成手段と、
   前記多値画像からエッジ画像を生成するエッジ生成手段と、
   前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成手段と、を有し、
   前記エッジ生成手段は、前記多値画像から抽出したエッジの位置を、前記多値画像に基づいて補正して前記エッジ画像を生成することを特徴とする画像処理装置。
2. 多値画像から閾値を基に二値画像を生成する第一の画像生成手段と、
   前記多値画像からエッジ画像を生成するエッジ生成手段と、
   前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成手段と、を有し、
   前記第二の画像生成手段は、前記合成二値画像に対して補間処理を行うことを特徴とする画像処理装置。
3. 多値画像から閾値を基に二値画像を生成する第一の画像生成手段と、
   前記多値画像からエッジ画像を生成するエッジ生成手段と、
   前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成手段と、を有し、
   前記エッジ生成手段は、前記多値画像から抽出したエッジの位置を、前記多値画像の階調値に基づいて補正し、
   前記第二の画像生成手段は、前記合成二値画像に対して補間処理を行うことを特徴とする画像処理装置。
4. 前記エッジ生成手段は、前記多値画像の階調値の勾配を基にエッジ候補の画素を生成し、さらに前記多値画像の階調値の勾配に基づいて前記エッジ候補の画素の位置を補正して前記エッジ画像を生成することを特徴とする請求項１または３に記載の画像処理装置。
5. 前記エッジ生成手段は、前記エッジ候補の画素に対応する前記多値画像の画素に隣接した画素の階調値が小さい方に、前記エッジ候補の画素の位置を補正して前記エッジ画像を生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記第二の画像生成手段は、前記合成二値画像に対して画素を補間する補間処理を行うことを特徴とする請求項２または３に記載の画像処理装置。
7. 前記第二の画像生成手段は、前記補間処理として、前記合成二値画像に対してぼかし処理を行い、さらに前記ぼかし処理を行った画像から合成二値画像を再生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記第二の画像生成手段は、前記エッジ画像に対してノイズ判定を行い、前記ノイズ判定の結果に基づいて前記二値画像と前記エッジ画像とを合成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第二の画像生成手段は、前記ノイズではないと判定された前記エッジ画像と前記二値画像とを合成することを特徴とする請求項８に記載の画像処理装置。
10. 前記第二の画像生成手段は、前記エッジ画像から連結画素塊を抽出し、前記抽出した連結画素塊の高さが閾値より大きき場合と、前記抽出した連結画素塊の高さが閾値より小さくかつ前記連結画素塊と前記二値画像とを合成した結果、前記連結画素塊と前記二値画像の画素が連続しない場合との、少なくともいずれかである場合に、ノイズであると判定することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記多値画像は文字をスキャンして得られた画像であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記多値画像からかすれ文字領域を特定する特定手段を有し、
    前記第二の画像生成手段は、前記特定された前記かすれ文字領域に対してのみ、前記二値画像と前記エッジ画像との合成を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記特定手段は、前記多値画像から連結画素塊を抽出し、前記抽出した連結画素塊の位置に基づいて文字の候補の領域を生成し、前記生成した文字の候補の領域に対してかすれ文字領域の判定を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 画像処理装置が実行する画像処理方法であって、
    多値画像から閾値を基に二値画像を生成する第一の画像生成工程と、
    前記多値画像からエッジ画像を生成するエッジ生成工程と、
    前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成工程と、を有し、
    前記エッジ生成工程では、前記多値画像から抽出したエッジの位置を、前記多値画像に基づいて補正して前記エッジ画像を生成することを特徴とする画像処理方法。
15. 画像処理装置が実行する画像処理方法であって、
    多値画像から閾値を基に二値画像を生成する第一の画像生成工程と、
    前記多値画像からエッジ画像を生成するエッジ生成工程と、
    前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成工程と、を有し、
    前記第二の画像生成工程では、前記合成二値画像に対して補間処理を行うことを特徴とする画像処理方法。
16. 画像処理装置が実行する画像処理方法であって、
    多値画像から閾値を基に二値画像を生成する第一の画像生成工程と、
    前記多値画像からエッジ画像を生成するエッジ生成工程と、
    前記エッジ画像と前記二値画像とを合成して合成二値画像を生成する第二の画像生成工程と、を有し、
    前記エッジ生成工程では、前記多値画像から抽出したエッジの位置を、前記多値画像の階調値に基づいて補正し、
    前記第二の画像生成工程では、前記合成二値画像に対して補間処理を行うことを特徴とする画像処理方法。
17. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。