JP2015153424A - 文書画像処理装置及び文書画像処理方法 - Google Patents

Abstract

【課題】文書画像処理装置及び方法を提供する。
【解決手段】文書画像処理方法は、文書画像の輝度成分画像を生成し、輝度成分画像に基づいて輝度画像を推定し、推定された輝度画像に基づいて輝度成分画像を調整し、輝度成分画像に基づいて輝度画像を推定するステップにおいて、輝度成分画像の背景の一部の輝度値に基づいて輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された輝度値が有効であると所定の基準に従って決定された場合、推定された輝度値に基づいて輝度画像を推定し、無効であると決定された場合、輝度成分画像の各画素列における全ての画素の輝度値を画素列における画素の最大輝度値に設定することで輝度画像を推定する。この装置及び方法によれば、適切な輝度画像の推定方式及び輝度成分画像の調整方式を自己適応的に用いることができるため、より良い輝度成分画像を取得できる。
【選択図】図３

Description

本発明は、一般的に画像処理分野に関し、特に輝度画像の推定及び輝度成分画像の調整を行う文書画像処理装置及び文書画像処理方法に関する。

スキャンして、或いは撮影して得られた文書画像、例えばオーバヘッド型スキャナによりスキャンした文書画像は、表面に凹凸を有する文書が例えばスキャナのＬＥＤの光源により照らされ、スキャンして得られた画像に影が存在する可能性がある。影が存在すると、画像品質の劣化に繋がる。よって、影を除去するため、画像の背景を均一化する必要がある。

従来の影の除去方法は、文書画像（より具体的には、文書画像の輝度成分画像）から推定された輝度画像に基づいて文書画像の画像強度を調整して（輝度成分画像を調整して）、影を除去することで、背景の均一な文書画像を取得する。以下は、式（１）及び式（２）を参照しながら影除去の基本原理を説明する。式（１）は以下の通りである。

ここで、Ｉ_Ｙは入力画像であり、Ｌ_Ｙは輝度画像であり、Ｒ_Ｙは反射画像であり、下付きＹはこれらの画像が輝度成分画像でありことを表す。

よって、式（２）により背景のより均一な画像を取得できる。

ここで、ｃは定数であり、平均画像グレースケールを意味し、εは非常に小さい定数であり、分母が０となることを防止するためのものである。

図１は、スキャンを行って取得された文書画像の輝度成分画像（図１（ａ））、輝度成分画像に基づいて推定された輝度画像（図１（ｂ））、及び影を除去して取得された調整後の輝度成分画像（図１（ｃ））を示す図である。以上のことから、正確な輝度画像を取得するのは、輝度成分画像を正確に調整し、文書画像から影を除去するためであることが分かった。現在、より正確な輝度画像を取得するのは、益々注目されている。

本発明の実施例は、文書画像処理装置及び文書画像処理方法を提供することを目的とする。

本発明の実施例の一の態様では、文書画像の輝度成分画像を生成する生成手段と、前記輝度成分画像に基づいて輝度画像を推定する推定手段と、推定された輝度画像に基づいて前記輝度成分画像を調整する調整手段と、を含み、前記推定手段は、前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定する、文書画像処理装置を提供する。

本発明の実施例では、前記所定の基準は、前記水平エッジ領域に、背景と決定されていない大きな連結領域が存在する場合、前記推定された輝度値が無効であると決定すること、を含んでもよい。

本発明の実施例では、前記所定の基準は、画素列の上下の水平エッジ領域の画素の前記推定された輝度値の差が所定レベルを超えた場合、前記推定された輝度値が無効であると決定すること、を含んでもよい。

本発明の実施例では、前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、前記輝度成分画像を前記調整された輝度成分画像として出力してもよい。

本発明の実施例では、前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、ガンマ補正が行われた前記輝度成分画像を前記調整された輝度成分画像として出力してもよい。

本発明の実施例の他の態様では、文書画像の輝度成分画像を生成するステップと、前記輝度成分画像に基づいて輝度画像を推定するステップと、推定された輝度画像に基づいて前記輝度成分画像を調整するステップと、を含み、前記輝度成分画像に基づいて輝度画像を推定するステップは、前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定するステップ、を含む、文書画像処理方法を提供する。

本発明の実施例に係る文書画像処理装置及び方法によれば、適切な輝度画像の推定方式及び輝度成分画像の調整方式を自己適応的に用いることができるため、輝度画像をより正確に推定でき、輝度成分画像をより効率的に調整でき、より自然な、よい視覚効果を取得できる。

下記図面の詳細の説明を通じて、本発明の実施例の上記の目的、他の目的、特徴及び利点はより明確になる。図面におけるユニットは、単なる本発明の原理を示すものである。図面において、同一又は類似する技術的特徴又はユニットは、同一又は類似する符号で示されている。図面において、縮尺に合わせてユニットのサイズ及び相対的な位置を引かなくてもよい。
スキャンを行って取得された文書画像の輝度成分画像、輝度成分画像に基づいて推定された輝度画像、及び調整された輝度成分画像を示す図である。 本発明の実施例に係る文書画像処理装置の構成を示すブロック図である。 本発明の実施例に係る推定部の機能的構成を示すブロック図である。 本発明の実施例に係る、輝度成分画像の水平エッジ領域の画素の輝度値に基づいて輝度画像を推定することを示す図である。 輝度画像を推定するために用いられる穴充填方法の原理を説明する図である。 本発明の実施例に係る文書画像処理方法のフローチャートである。 本発明の実施例に係る調整部の機能的構成を示すブロック図である。 本発明の実施例に係る輝度成分画像の調整処理のフローチャートである。 本発明を実施するためのコンピュータの構成を例示するブロック図である。

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書及び図面には、本発明の実施例と関係のないユニット及び処理、又は当業者にとって周知のユニット及び処理についての説明が省略される。

図２は、本発明の実施例に係る文書画像処理装置２００の構成を示すブロック図である。文書画像処理装置２００は、生成部２０１、推定部２０２、及び調整部２０３を含む。生成部２０１は、文書画像の輝度成分画像を生成する。生成部２０１は、周知の如何なる方法を用いて文書画像の輝度成分画像を生成してもよく、ここにその説明が省略される。推定部２０２は、生成部２０１により生成された輝度成分画像に基づいて輝度画像を推定する。調整部２０３は、推定部２０２により推定された輝度画像に基づいて、生成部２０１から受信された輝度成分画像を調整し、調整された輝度成分画像を調整結果として出力する。

例えば小説、漫画、雑誌など異なる文書をスキャン、或いは撮影して得られた、異なる組み版方式を有する文書画像は、対応する輝度画像の推定方法を用いてより正確な輝度画像の推定結果を取得できる。本発明の実施例に係る推定部２０２によれば、異なるタイプの文書（それに基づいて取得された輝度成分画像）について自己適応の輝度画像推定を提供でき、より正確な推定結果を取得できる。

図３は、本発明の実施例に係る推定部３００の機能的構成を示すブロック図である。図３に示すように、推定部３００は、第１の推定部３０１、判断部３０２、及び第２の推定部３０３を含む。これらのユニットは、例えばＦＰＧＡ、集積回路チップ等のハードウェアにより実施されてもよいし、コンピュータソフトウェアにより実施された機能的モジュールであってもよし、ソフトウェアとハードウェアとを組み合わせたファームウェアにより実施されてもよい。また、これらのユニットは、物理的に分離して実施されてもよいし、１つの単独のモジュールに統合されてもよい。

第１の推定部３０１は、生成部により生成された輝度成分画像を受信し、受信された輝度成分画像の背景の一部の輝度値に基づいて輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定する。

通常、文書画像は、例えば文字、図などの内容部分（「内容」と称する）と、内容を含まない背景部分（「背景」と称する）を含む。文書画像から輝度成分画像を生成した後で、輝度成分画像における各部分は、文書画像の内容部分及び背景部分にそれぞれ対応する。輝度成分画像の背景における画素の輝度値は、インクの影響を受けないから、その位置の真実の輝度をより正確に表現できるため、輝度成分画像の背景の一部の輝度値を用いて文書画像の輝度画像を推定してもよい。本発明の実施例では、まず、水平エッジ領域の画素の輝度値を推定してもよい。

１つの具体例では、第１の推定部３０１は、受信された輝度成分画像のグラディエントマップ（gradient map）を取得して、それに対して二値化処理を行う。取得された二値化画像においては、第１の推定部３０１は輝度値に基づいて背景である連結領域を決定する。例えば、背景が、二値化処理後の輝度成分画像における高輝度を表す値を有する画素の連結領域又は最大の連結領域の結合領域に対応する、と仮定する。第１の推定部３０１は、このような連結領域又は連結領域の結合領域に基づいて背景の位置を決定する。そして、第１の推定部３０１は、輝度成分画像において決定された背景の一部に位置する画素の輝度値に基づいて、輝度成分画像の水平エッジ領域の画素の輝度値を推定する。

他の例では、背景をより正確に決定するため、背景連結領域を決定する前に、二値化された画像に対して「ノイズ除去」及び「膨張」の処理を行ってもよい。ここの「膨張」処理とは、ノイズの干渉を低減するように、内容部分を外へ適当に拡張することを指す。また、水平エッジ領域の画素の輝度値を推定するため、例えばその隣接領域などの関連領域の輝度値を推定する場合がある。このように背景として決定された画素の輝度値に基づいて、背景と決定されていない（非背景として決定される）画素の輝度値を推定する方法は、穴充填方法とも称される。これらの背景と決定されていない画素により構成された連結領域は穴と称される。

通常、文書のエッジ領域は、単純であり、内容を含まない。例えば、書籍では、上下の水平エッジ領域及び両脇の縦エッジ領域がある。よって、輝度成分画像のエッジ領域の画素の推定された輝度値に基づいて輝度画像を推定するのは、信頼性が高い。

また、通常、文書画像における輝度の変化は、方向に応じて異なる変化規律を有する。例えば、文書画像の輝度画像の輝度値は、一方向に沿う変化が他方向に沿う変化よりも小さい。これは、いくつの原因によるものである。例えば、行列状又は線状に配列されたスキャナの光源（例えば発光ダイオード）又はカメラの光源により照射されて、生じた輝度値が規則的に変化する。又は、例えば開いた本をスキャン或いは撮影して得られた文書画像の輝度画像は、本を開いた時に紙の曲がった形により、綴じ糸に平行する方向（通常は縦方向）に沿う輝度値の変化が小さい、或いはない。従って、例えば開いた本をスキャン或いは撮影して得られた文書画像は、その縦エッジ方向に沿う文書画像の輝度変化が小さい或いはなく、一方、水平エッジ方向に沿う文書画像の輝度変化が大きい。

よって、文書画像の縦方向に沿う輝度変化が水平エッジの方向に沿う輝度変化よりも小さく、且つエッジ領域の輝度値が高い信頼性を有するという特徴を鑑み、第１の推定部３０１は、輝度成分画像の水平エッジ領域の画素の推定された輝度値に基づいて輝度画像を推定してもよい。

図４は、本発明の実施例に係る、輝度成分画像の水平エッジ領域の画素の輝度値に基づいて輝度画像を推定することを示す図である。図４の例では、縦方向に綴じた本では、上下の水平エッジに対応する方向がｘ方向であり、左右の辺に対応する方向がｙ方向である。ｙ方向に沿う輝度変化が小さいため、ｘ方向に平行する水平エッジのエッジ画素の推定輝度値、例えば直線ｘ＝ｘ１上のエッジ画素の推定輝度値又はいくつのエッジ画素の推定輝度値の平均値に基づいて直線ｘ＝ｘ１上の他の画素の輝度値を推定してもよい。図４に示される直線ｘ＝ｘ１における矩形に囲まれている部分は、水平エッジ領域の、輝度画像の推定に利用可能な画素の位置を表す。例えば、直線ｘ＝ｘ１上のエッジ画素の推定輝度値（又は平均値）を用いて直線ｘ＝ｘ１に対して補間を行って、直線ｘ＝ｘ１上の他の画素の輝度値を推定してもよい。

図５は、背景として決定された連結領域における画素の輝度値に基づいて背景と決定されていない連結領域における画素の輝度値を推定する穴充填方法の原理を説明する図である。図５（ａ）は、スキャンして得られた文書画像の二値化後のグラディエントマップを示している。文書画像における背景領域の一部の輝度情報を直接に決定できるが、背景領域として決定されていない部分、例えば文字及び図の輝度情報は、推定して取得する必要がある。よって、図５（ｂ）に示すように、輝度画像を取得するための中間ステップにおいて、例えば文字及び図の部分は穴（黒色の穴）となった。文字部分はサイズの小さい穴（小さい穴）であり、図の部分はサイズの大きい穴（大きい穴）である。穴の充填では、適当な輝度値により各穴を充填する。大きい穴及び小さい穴について、同一の充填方法を用いてもよいし、異なる充填方法を用いてもよい。通常、穴のサイズが大きいほど、充填して得られた輝度値の信頼性が低い。実際の信頼性への要求に応じて、「大きい穴」のサイズ基準を指定してもよい。例えば、文書画像の全体高さの１／４以上の高さを有する穴を大きい穴としてもよい。

本発明の１つの実施例では、第１の推定部３０１は、輝度成分画像の水平エッジ領域の画素の輝度値を推定した後で、直ちに推定された輝度値に基づいて輝度成分画像全体の輝度画像を推定しない。好ましくは、最適な輝度画像推定方法を自己適応的に選択し、最も正確な輝度画像を取得するため、第１の推定部３０１は、輝度成分画像の水平エッジ領域の画素の輝度値を推定した後で、取得されたエッジ領域の推定輝度値を判断部３０２に出力する。

判断部３０２は、所定の基準に従って、第１の推定部３０１により推定された水平エッジ領域の画素の輝度値が有効であるか否かを決定する。そして、輝度値が有効であると判断部３０２により決定された場合は、推定された輝度値が有効であるという結果を第１の推定部３０１に通知する、或いは処理継続の指示を第１の推定部３０１に直接に送信する。判断部３０２のフィードバックに応じて、第１の推定部３０１は、推定された水平エッジ領域の輝度値に基づいて全体の輝度画像を推定する。具体的な推定方法は、例えば図４に示される方法を参照する。輝度値が無効であると判断部３０２により決定された場合は、第１の推定部３０１の処理を停止し、第２の推定部３０３の推定を起動する。判断部３０２によれば、適当な輝度画像推定方式を自己適応的に選択して輝度画像を推定できる。

システムの要求に応じて、判断部３０２は、設計者により決められた所定の基準に基づいて品質決定を行う。例えば、以下の基準を用いてもよい。画素列の上下の水平エッジ領域の画素の推定された輝度値の差が所定レベルを超えた場合は、推定された輝度値が無効であると決定する。例えば、画素列の上下の水平エッジ領域の画素の推定輝度値の差が所定の閾値よりも大きい場合は、推定輝度値が無効であると決定する。具体的には、例えば、輝度値を０〜２５５の範囲内の値で表示する場合、閾値を例えば５０〜７０に設定してもよい。より具体的な例では、画素列の上下の２つの画素の推定輝度値の差が所定の閾値（例えば６０）よりも大きい場合、判断部３０２は、推定された輝度値が無効であると決定してもよい。他の例では、条件が少し緩和され、連続的な画素列における上下の２つの画素の輝度値の差が所定の閾値よりも大きい場合は、判断部３０２は推定された輝度値が無効であると決定してもよい。即ち、この例では、複数の離散的な列のみの水平エッジ領域における画素の推定輝度値の差が所定閾値よりも大きい場合は、判断部３０２は推定された輝度値が有効であると決定してもよい。他の例では、推定輝度値の差と所定閾値との比較に代わって、上下の水平エッジ画素の推定輝度値（又はその平均値）の差の絶対値を上下の水平エッジ画素の推定輝度値（又はその平均値）で割って得られた変化率と、所定の変化率閾値（例えば１．０〜２．０の値に設定されたもの）とを比較することで、上下の水平エッジ領域の画素の推定輝度値の差が所定のレベルを超えたか否かを決定してもよい。

また、判断部３０２は、以下の基準を用いて決定してもよい。輝度成分画像の水平エッジ領域に、背景と決定されていない大きな連結領域（即ち大きい穴）が存在する場合、判断部３０２は、推定された輝度値が無効であると決定してもよい。本実施例では、「水平エッジ領域」とは、予め設定された輝度画像を推定するための、輝度成分画像における上下の水平エッジに最も接近する所定数の行の集合を指す。例えば、輝度成分画像の最も上の１０行及び最も下の１０行の画素の推定輝度値を用いて輝度画像全体の推定を行うことと判断部３０２により予め設定された場合は、「水平エッジ領域」は、この最も上の１０個の画素行の集合及び最も下の１０個の画素行の集合を指す。水平エッジ領域に含まれる行の数に依らずに、その内の行に大きい穴が存在する場合だけ、判断部３０２は推定輝度値が無効であると決定する。穴の大きさは例えばその高さにより判断される。例えば、輝度画像全体の高さの１／４よりも大きい高さを有する穴を大きい穴と決定する。

１つの例では、第１の推定部３０１が輝度成分画像の水平エッジの行の画素（即ち最も上の行の画素及び最も下の行の画素）の推定輝度値に基づいて輝度画像を推定するように構成された場合、判断部３０２は、最も上の画素行及び／又は最も下の画素行に大きい穴が存在するか否かに基づいて、水平エッジ領域に大きい穴が存在するか否かを決定してもよい。もう１つの例では、第１の推定部３０１が輝度成分画像の水平エッジ領域における所定数の行の画素の推定輝度値の平均値に基づいて輝度画像を推定するように構成された場合、判断部３０２は、該水平エッジ領域の所定数の行に大きい穴の一部が存在するか否かに基づいて、水平エッジ領域に大きい穴が存在するか否かを決定してもよい。

輝度成分画像の水平エッジ領域に対して穴充填処理を行う前に、判断部３０２によりこの基準に基づく判断が実行されるため、システムの効率を向上でき、計算コストを低減できる。

なお、上述した２つの基準は同一の実施例に用いられてもよい。例えば、水平エッジ領域に大きい穴が存在しないと決定された場合は、輝度成分画像の背景の一部の輝度値に基づいて水平エッジ領域の輝度値を推定する。推定した後で、上下の水平エッジ領域（例えば最も上の行及び最も下の行）の輝度値の間の変化が所定のレベルを超えたか否かを決定する。

第１の推定部３０１により入力された推定輝度値が無効であると判断部３０２により決定された場合は、第２の推定部３０３の操作が起動される。第２の推定部３０３は、輝度成分画像の各画素列における全ての画素の輝度値を該画素列における画素の最大輝度値に設定することで輝度画像を推定する。これによって、輝度画像の推定方法を自己適応的に選択できる。

通常は、文書画像には、紙（影を含む、或いは影を含まない）及びインク（文字、図などの内容を含む）が含まれる。文書画像における各画素は、紙の画素に属するか、それともインクの画素に属する。各列に少なくとも１つの画素が紙に属する（インクではない）と仮定すると、最も明るい画素の輝度値が影のない紙の輝度値に対応すると考えられる。この場合は、第２の推定部３０３は、輝度成分画像の各画素列における全ての画素の輝度値を該画素列における画素の最大輝度値に設定することで輝度画像を推定してもよい。

文書画像における単一の列の画素が全てインクに属する場合は、連続的な列が全てインクではない限り、第２の推定部３０３の推定方法を用いてもよい。この際に、第２の推定部３０３は、平滑化技術によりこれらの欠けている列を回復すればよい。

図６は、本発明の実施例に係る文書画像処理方法のフローチャートである。図２の実施例を参照しながら、ステップＳ６０１において、生成部２０１は、文書画像の輝度成分画像を生成する。周知の各種の方法を用いて輝度成分画像を生成してもよい。

ステップ６０２において、推定部２０２は、輝度成分画像の背景の一部の輝度値に基づいて輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定する。上述したように、穴充填方法により輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定してもよい。具体的な方法は、上述したものであり、ここにその説明が省略される。

ステップ６０３において、推定部２０２は、所定の基準に従って、ステップＳ６０２において推定された輝度値が有効であるか否かを決定する。所定の基準としては、水平エッジ領域に、背景と決定されていない大きな連結領域（大きい穴）が存在する場合、推定された輝度値が無効であると決定してもよい。大きい穴の定義は、必要に応じて設計者により決定されてもよい。他の例では、所定の基準としては、画素列の上下の水平エッジ領域の画素の推定された輝度値の差が所定レベルを超えた場合、推定された輝度値が無効であると決定してもよい。

推定された輝度値が有効であると推定部２０２により決定された場合（ステップ６０３では「ＹＥＳ」）、処理がステップＳ６０４に進む。ステップＳ６０４において、推定部２０２は、推定された輝度値に基づいて輝度画像を推定する。

例えば、１つの実施例では、穴充填方法により推定された上下の水平エッジ領域の画素の輝度値の差が所定レベルを超えていないとステップＳ６０３において決定された場合、推定された輝度値が有効であると決定する。よって、ステップＳ６０４に進み、穴充填が行われた水平エッジ領域の画素の輝度値により輝度画像の他の部分を推定する。

推定された輝度値が無効であると推定部２０２により決定された場合（ステップＳ６０３では「ＮＯ」）、処理がステップＳ６０５に進む。ステップＳ６０５において、輝度成分画像の各画素列における全ての画素の輝度値を画素列における画素の最大輝度値に設定することで輝度画像を推定する。

ステップＳ６０４又はステップＳ６０５において輝度画像の推定が完了した場合、処理はステップＳ６０６に進む。ステップＳ６０６において、推定された輝度画像に基づいて輝度成分画像を調整する。そして、処理が終了する。

図３に戻り、第１の推定部３０１又は第２の推定部３０３により輝度画像の推定が行われた後で、推定部は、調整部、例えば図２の調整部２０３に推定結果を出力する。調整部２０３は、推定された輝度画像に基づいて輝度成分画像を調整する。文書画像の輝度成分画像に対する調整の対象はユーザである。即ち、ユーザに心地よく、且つ自然の視覚効果を提供できる輝度成分画像の調整結果が求めている。よって、不自然の結果を生じることなく、ユーザに良い視覚効果を提供できるように、調整結果として調整後の輝度成分画像を出力するため、調整部２０３は、更なる検証機能を有してもよい。

図７は、本発明の実施例に係る調整部７００の機能的構成を示すブロック図である。第１の調整部７０１は、推定部から入力された輝度画像に基づいて、生成部から入力された輝度成分画像を調整する。第１の調整部７０１は、周知の如何なる方法により調整してもよい。そして、調整結果は、検証部７０２に入力される。

検証部７０２は、元々入力された輝度成分画像と、調整された輝度成分画像との同一位置の画素の値の間の変化が所定レベルを超えたか否かを決定する。例えば、元々入力された輝度成分画像と、調整された輝度成分画像との同一位置の画素の値の変化は、Ｒ＝ａｂｓ（ｉｎｉｍｇ［ｘ，ｙ］−ｏｕｔｉｍｇ［ｘ，ｙ］）／ｉｎｉｍｇ［ｘ，ｙ］で表示されてもよく、ここで、「ａｂｓ」は絶対値の計算を表し、「ｉｎｉｍｇ［ｘ，ｙ］」は元々入力された輝度成分画像の位置（ｘ，ｙ）の画素の値を表し、「ｏｕｔｉｍｇ［ｘ，ｙ］」は調整された輝度成分画像の位置（ｘ，ｙ）の画素の値を表す。例えば、変化Ｒの閾値は、１．０〜２．０の値に設定されてもよい。

１つの実施例では、全ての位置の変化Ｒのうちの最大値が閾値よりも大きい場合、検証部７０２は、原輝度成分画像と調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えたと決定してもよい。そうでないと、所定レベルを超えていないと決定してもよい。他の実施例では、全ての位置の変化Ｒのうち所定数（Ｎ）のＲが該閾値を超えた場合のみ、検証部７０２は、原輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えたと決定する。そうでないと、所定レベルを超えていないと決定する。

現輝度成分画像と調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えていないと検証部７０２により決定された場合、調整部７００は、第１の調整部７０１の調整結果を最終調整の輝度成分画像として直接に出力してもよい。

現輝度成分画像と調整された輝度成分画像との同一位置（又はＮよりも多い位置）の画素の値の変化が所定レベルを超えた場合、第２の調整部７０３の操作を起動する。

１つの実施例では、第２の調整部７０３は、生成部から受信された輝度成分画像に対して処理を行わずに、それを調整部７００の調整結果として直接に出力する。この場合は、第２の調整部７０３は、調整部７００における記憶装置として実施されてもよく、輝度成分生成部により生成された輝度成分画像を記憶し、調整部７００は、調整された輝度成分画像の変化が範囲を超えたか否かの検証結果に応じて、記憶された原輝度成分画像を第２の調整部７０３から読み出して出力する。

もう１つの実施例では、第２の調整部７０３は、検証部７０２による調整された輝度成分画像の変化が範囲を超えたか否かの検証結果に応じて、元々入力された輝度成分画像に対してガンマ補正処理を行ってもよい。そして、ガンマ補正が行われた輝度成分画像を調整部７００の調整結果として出力する。ガンマ補正によれば、輝度成分画像における影が低減された。

図８は、本発明の実施例に係る輝度成分画像の調整処理のフローチャートである。図２に示される実施例を参照しながら、ステップＳ８０１において、調整部２０３は、推定部２０２により推定された輝度画像に基づいて、輝度成分画像を調整する。

ステップ８０２において、調整部２０３は、現輝度成分画像と調整された輝度成分画像との同一位置の画素の値の変化（例えば変化率Ｒ）が所定レベル（所定閾値ＴＨ）を超えたか否かを決定する。

現輝度成分画像と調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えていないとステップＳ８０２において決定された場合（ステップＳ８０２では「ＮＯ」）、ステップＳ８０４に進む。ステップＳ８０４において、ステップＳ８０１において取得された調整後の輝度成分画像を調整結果として出力する。そして、処理が終了する。

現輝度成分画像と調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えたとステップＳ８０２において決定された場合（ステップＳ８０２では「ＹＥＳ」）、ステップＳ８０３に進む。ステップＳ８０３において、ステップＳ８０１の調整結果を放棄し、例えば輝度成分画像における影を低減するように、原輝度成分画像に対してガンマ補正を行う。そして、処理がステップＳ８０４に進む。

ステップＳ８０４において、ガンマ処理が行われた輝度成分画像を調整結果として出力する。そして、処理が終了する。

図９は、本発明を実施するためのコンピュータの構成を例示するブロック図である。図９において、中央処理部（即ちＣＰＵ）９０１は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ９０３には、必要に応じて、ＣＰＵ９０１が各種の処理を実行するに必要なデータが記憶されている。

ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力インターフェース９０５もバス９０４に接続されている。

入力部９０６（キーボード、マウスなどを含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部９０８（例えばハードディスクなどを含む）、通信部９０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。

必要に応じて、ドライブ部９１０は、入力／出力インターフェース９０５に接続されてもよい。取り外し可能な媒体９１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部９１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部９０８にインストールされている。

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体９１１を介してソフトウェアを構成するプログラムをインストールする。

なお、これらの記憶媒体は、図９に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体９１１に限定されない。取り外し可能な媒体９１１は、例えば磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ９０２、記憶部９０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

本発明は、機器に読み取り可能な指令コードを記憶するプログラムプロダクトをさらに提供する。該指令コードは機器により読み出されて、上述した本発明の実施例に係る方法を実行できる。

それに応じて、本発明は、機器読み取り可能な指令コードを記憶するプログラムのプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックを含むが、これらに限定されない。

また、本発明の実施例に係る組み合わせツールに適用する方法及び装置は、組み合わせの使用範囲が拡大されてもよい。

なお、ここに例示されたものは単なる一例であり、本発明はこれに限定されない。

１つの例としては、上記実施例に係る方法の各ステップ及び上記実施例に係る装置の各構成モジュール及び又はユニットは、ソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせであってもよく、機器の一部としてもよい。上記装置の各構成モジュール、ユニットをソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせの方式で配置する際に用いられる具体的な手段又は方法は、当業者にとって周知であり、ここにその説明が省略される。

１つの例としては、ソフトウェア又はファームウェアで実施する際に、記憶媒体又はネットワークから専有のハードウェア構造を有するコンピュータ（例えば図９に示される汎用コンピュータ９００）に該ソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータに各種のプログラムがインストールされており、各種の機能を実行することができる。

１つの実施形態について記載および/または図示した特徴は同一または類似の方法で１つまたは複数の他の実施形態で使用することができ、また、その他の実施形態の中の特徴と組合せ、または他の実施形態の特徴を代替することもできる。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

また、本発明の方法は、明細書に説明された時間順で行なわれることに限らず、他の時間順で、又は並行して、又は単独で実行することもできる。従って、本発明の技術的範囲は、明細書に記載の方法の実行順番に限定されない。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
文書画像の輝度成分画像を生成する生成手段と、
前記輝度成分画像に基づいて輝度画像を推定する推定手段と、
推定された輝度画像に基づいて前記輝度成分画像を調整する調整手段と、を含み、
前記推定手段は、前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定する、文書画像処理装置。

（付記２）
前記所定の基準は、
前記水平エッジ領域に、背景と決定されていない大きな連結領域が存在する場合、前記推定された輝度値が無効であると決定すること、を含む、付記１に記載の文書画像処理装置。

（付記３）
前記所定の基準は、
画素列の上下の水平エッジ領域の画素の前記推定された輝度値の差が所定レベルを超えた場合、前記推定された輝度値が無効であると決定すること、を含む、付記１又は２に記載の文書画像処理装置。

（付記４）
前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、前記輝度成分画像を前記調整された輝度成分画像として出力する、付記１乃至３のいずれかに記載の文書画像処理装置。

（付記５）
前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、ガンマ補正が行われた前記輝度成分画像を前記調整された輝度成分画像として出力する、付記１乃至３のいずれかに記載の文書画像処理装置。

（付記６）
文書画像の輝度成分画像を生成するステップと、
前記輝度成分画像に基づいて輝度画像を推定するステップと、
推定された輝度画像に基づいて前記輝度成分画像を調整するステップと、を含み、
前記輝度成分画像に基づいて輝度画像を推定するステップは、
前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定するステップ、を含む、文書画像処理方法。

（付記７）
前記所定の基準は、
前記水平エッジ領域に、背景と決定されていない大きな連結領域が存在する場合、前記推定された輝度値が無効であると決定すること、を含む、付記６に記載の文書画像処理方法。

（付記８）
前記所定の基準は、
画素列の上下の水平エッジ領域の画素の前記推定された輝度値の差が所定レベルを超えた場合、前記推定された輝度値が無効であると決定すること、を含む、付記６又は７に記載の文書画像処理方法。

（付記９）
前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、前記輝度成分画像を前記調整された輝度成分画像として出力するステップ、をさらに含む、付記６乃至８のいずれかに記載の文書画像処理方法。

（付記１０）
前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、ガンマ補正が行われた前記輝度成分画像を前記調整された輝度成分画像として出力するステップ、をさらに含む、付記６乃至８のいずれかに記載の文書画像処理方法。

Claims (10)

1. 文書画像の輝度成分画像を生成する生成手段と、
   前記輝度成分画像に基づいて輝度画像を推定する推定手段と、
   推定された輝度画像に基づいて前記輝度成分画像を調整する調整手段と、を含み、
   前記推定手段は、前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定する、文書画像処理装置。
2. 前記所定の基準は、
   前記水平エッジ領域に、背景と決定されていない大きな連結領域が存在する場合、前記推定された輝度値が無効であると決定すること、を含む、請求項１に記載の文書画像処理装置。
3. 前記所定の基準は、
   画素列の上下の水平エッジ領域の画素の前記推定された輝度値の差が所定レベルを超えた場合、前記推定された輝度値が無効であると決定すること、を含む、請求項１又は２に記載の文書画像処理装置。
4. 前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、前記輝度成分画像を前記調整された輝度成分画像として出力する、請求項１乃至３のいずれかに記載の文書画像処理装置。
5. 前記調整手段は、前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、ガンマ補正が行われた前記輝度成分画像を前記調整された輝度成分画像として出力する、請求項１乃至３のいずれかに記載の文書画像処理装置。
6. 文書画像の輝度成分画像を生成するステップと、
   前記輝度成分画像に基づいて輝度画像を推定するステップと、
   推定された輝度画像に基づいて前記輝度成分画像を調整するステップと、を含み、
   前記輝度成分画像に基づいて輝度画像を推定するステップは、
   前記輝度成分画像の背景の一部の輝度値に基づいて前記輝度成分画像の少なくとも水平エッジ領域の画素の輝度値を推定し、推定された水平エッジ領域の画素の輝度値が有効であると所定の基準に従って決定された場合、前記推定された輝度値に基づいて前記輝度画像を推定し、推定された輝度値が無効であると所定の基準に従って決定された場合、前記輝度成分画像の各画素列における全ての画素の輝度値を前記画素列における画素の最大輝度値に設定することで前記輝度画像を推定するステップ、を含む、文書画像処理方法。
7. 前記所定の基準は、
   前記水平エッジ領域に、背景と決定されていない大きな連結領域が存在する場合、前記推定された輝度値が無効であると決定すること、を含む、請求項６に記載の文書画像処理方法。
8. 前記所定の基準は、
   画素列の上下の水平エッジ領域の画素の前記推定された輝度値の差が所定レベルを超えた場合、前記推定された輝度値が無効であると決定すること、を含む、請求項６又は７に記載の文書画像処理方法。
9. 前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、前記輝度成分画像を前記調整された輝度成分画像として出力するステップ、をさらに含む、請求項６乃至８のいずれかに記載の文書画像処理方法。
10. 前記輝度成分画像と前記調整された輝度成分画像との同一位置の画素の値の変化が所定レベルを超えた場合、ガンマ補正が行われた前記輝度成分画像を前記調整された輝度成分画像として出力するステップ、をさらに含む、請求項６乃至８のいずれかに記載の文書画像処理方法。

Images