JP2009111979A - 背景色を推定する方法およびシステム - Google Patents

背景色を推定する方法およびシステム Download PDF

Info

Publication number
JP2009111979A
JP2009111979A JP2008226178A JP2008226178A JP2009111979A JP 2009111979 A JP2009111979 A JP 2009111979A JP 2008226178 A JP2008226178 A JP 2008226178A JP 2008226178 A JP2008226178 A JP 2008226178A JP 2009111979 A JP2009111979 A JP 2009111979A
Authority
JP
Japan
Prior art keywords
color
background
pixel
glyph
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008226178A
Other languages
English (en)
Other versions
JP4590471B2 (ja
Inventor
Richard J Campbell
ジョン キャンベル リチャード
Mathew Spiegl John
マシュー スピーグル ジョン
Ahmet Mufit Ferman
マフィット ファーマン アーメット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2009111979A publication Critical patent/JP2009111979A/ja
Application granted granted Critical
Publication of JP4590471B2 publication Critical patent/JP4590471B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone

Abstract

【課題】グリフ検出の精度を向上させる方法およびシステムを実現する。
【解決手段】本発明のシステム６００は、デジタル画像における注目画素を決定する注目画素選択部４０１と、注目画素に関連付けられたラベル値を取得するグリフ判定部４１０と、注目画素の第１スキャン時背景推定色と第２スキャン時背景推定色とを取得する背景推定色取得部４０６と、第１スキャン時背景推定色と第２スキャン時背景推定色との間の背景色差４６８を算出する色差算出部４０８と、背景色差４６８が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するラベリング部７０２とを備えている。
【選択図】図２０

Description

本発明は、デジタル画像の背景色を推定するための方法およびシステムに関するものである。
多くのデジタル画像における視覚的品質を改善させるための処理は、デジタル画像の中の様々な画像領域を正確に特定できるかどうかに依存している。さらに、様々な画像領域の正確な検出は、多くの圧縮処理において重要である。
例えば、特許文献１には、原稿画像の下地を再現せずに、画像のみを鮮明に再現可能な画像形成方法および画像形成装置が開示されている。
具体的には、原稿画像の濃度情報に基づいて、注目画素と近傍画素を比較して、濃度差が所定値以上あるときに高濃度側を画像、低濃度側を下地と判定し、次に、画像と画像に囲まれた部分は全て画像と判定し、それ以外の部分は画像または下地と判定する。そして、下地と判定した部分は白地とし、画像と判定した部分はそのまま出力する。
また、特許文献２には、類似の色でも精度よく、画像領域を分離抽出可能なカラー画像処理装置およびパターン抽出装置が開示されている。
具体的には、まず注目画素の色情報に応じて閾値を設定し、次に隣り合う画素の色情報を比較し、その色距離が上記設定した閾値以内の場合に同一のラベルを付与する。
特開平９−１８６８７８（１９９７年７月１５日公開） 特開平１１−２８８４６５（１９９９年１０月１９日公開）
しかしながら、上記従来の構成では、履歴の情報を用いていないので（１方向の１度のスキャンで得た情報のみから画素を判別しているので）、背景色／非背景色（グリフ色など）の判定精度が低下するという問題を生じる。例えば、反転文字の場合、画像と下地の判定結果が逆になってしまう。あるいは、文字領域（グリフ）の検出を行った場合、文字ではない画素を文字と判定する、あるいは、文字を文字ではないと判定する誤判別が生じる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、原稿領域をより精度よく特定することになる、特に、本発明の目的は、精度よく背景色を推定する方法およびシステムを実現することにある。さらに本発明の他の目的は、グリフ検出の精度を向上させる方法およびシステムを実現することにある。
本発明のグリフ検出方法は、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出方法であって、（ａ）デジタル画像における注目画素を決定するステップと、（ｂ）上記注目画素に関連付けられたラベル値を取得するステップと、（ｃ）上記注目画素の第１スキャン時背景推定色を取得するステップと、（ｄ）上記注目画素の第２スキャン時背景推定色を取得するステップと、（ｅ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出するステップと、（ｆ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するステップとを含むことを特徴としている。
上記グリフ検出方法は、上記背景色差が第１条件を満たす場合に、第１カラーバッファを、上記注目画素に関連付けられた色値に更新するステップを含むことが好ましい。
上記グリフ検出方法は、上記第１カラーバッファの内容に基づくグリフ画素色を、上記注目画素に関連付けるステップをさらに含むことが好ましい。
上記背景色差を算出するステップは、上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の色距離を算出するステップを含むことが好ましい。
上記第１スキャン時背景推定色は、第１スキャン方向に対応し、上記第２スキャン時背景推定色は、第２スキャン方向に対応することが好ましい。
上記第１スキャン方向は、順方向のスキャン方向であり、上記第２スキャン方向は、逆方向のスキャン方向であることが好ましい。
本発明のグリフ検出システムは、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出システムであって、（ａ）デジタル画像における注目画素を決定する注目画素選択手段と、（ｂ）上記注目画素に関連付けられたラベル値を取得するラベル取得手段と、（ｃ）上記注目画素の第１スキャン時背景推定色と第２スキャン時背景推定色とを取得する背景推定色取得手段と、（ｄ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出する色差算出手段と、（ｅ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するラベリング手段とを含むことを特徴としている。
上記グリフ検出システムは、上記背景色差が第１条件を満たす場合に、第１カラーバッファを、上記注目画素に関連付けられた色値に更新するカラーバッファ更新手段を含むことが好ましい。
上記グリフ検出システムは、上記第１カラーバッファの内容に基づくグリフ画素色を、上記注目画素に割り当てる割当手段をさらに含むことが好ましい。
上記色差算出手段は、上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の色距離を算出することが好ましい。
上記第１スキャン時背景推定色は、第１スキャン方向に対応し、上記第２スキャン時背景推定色は、第２スキャン方向に対応することが好ましい。
上記第１スキャン方向は、順方向のスキャン方向であり、上記第２スキャン方向は、逆方向のスキャン方向であることが好ましい。
なお、上記グリフ検出システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記グリフ検出システムをコンピュータにて実現させるグリフ検出システムの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明のグリフ検出方法は、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出方法であって、（ａ）デジタル画像における注目画素を決定するステップと、（ｂ）上記注目画素に関連付けられたラベル値を取得するステップと、（ｃ）上記注目画素の第１スキャン時背景推定色を取得するステップと、（ｄ）上記注目画素の第２スキャン時背景推定色を取得するステップと、（ｅ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出するステップと、（ｆ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するステップとを含むことを特徴としている。
本発明のグリフ検出システムは、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出システムであって、（ａ）デジタル画像における注目画素を決定する注目画素選択手段と、（ｂ）上記注目画素に関連付けられたラベル値を取得するラベル取得手段と、（ｃ）上記注目画素の第１スキャン時背景推定色と第２スキャン時背景推定色とを取得する背景推定色取得手段と、（ｄ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出する色差算出手段と、（ｅ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するラベリング手段とを含むことを特徴としている。
したがって、グリフ検出の精度を向上させる方法およびシステムを実現できるという効果を奏する。
本発明の実施形態に係るシステムおよび方法では、エッジ濃度、画像の均一性（均一度）、局所的な色ではないという情報、前景色などの選択条件に基づいて、画像データからカラーバッファに選択的に蓄積された画素の色値を集約することにより、背景の色を推定するものである。
本発明の実施形態に係るシステムおよび方法では、順方向スキャンにおいて画像の背景色を推定し、逆方向スキャン時に背景色の更新を行う。
上述した、また、その他の本発明の特徴および有利な点は、添付の図面に基づいて行う以下の詳細な説明を参照することでより容易に理解されるであろう。
本発明の実施形態は、図面を参照することでより理解されるであろう。図面では、同じ部材については同じ符号をつけている。添付の各図も、本発明の詳細な説明の一部として取り扱われるべきである。
ここで、図に示されるように、本発明の構成は、様々な異なる形態に変形および設計されることができることが容易にわかるであろう。このように、以下に述べる、本発明の方法およびシステムの実施形態についてのより詳細な説明は、本発明の範囲を限定するものではなく、本発明の最良の形態を示したものにすぎない。
本発明の実施形態の構成は、ハードウェア、ファームウェアおよび／またはソフトウェアによって実現されてもよい。ここで述べる一実施形態はこれらの形態の１つについてのみ説明するものであり、本発明の範囲内において、これらの形態の何れかで構成を実現してもよいことは、当業者であれば理解される。
図１は、ドキュメント画像１０の一例を示している。ドキュメント画像１０は、下地領域１２と、第１局所背景領域１４と、第２局所背景領域１６と、第３局所背景領域１８とを含むいくつかの領域を備えた文書画像である。グローバル背景領域とも見なされる下地領域は、文書が印刷される用紙の色、または、電子文書が作成されている背景の色、を有する広範囲の均質の領域のことである。局所背景領域は、均質な特徴または色を有する局所的な領域である。色は、どのような色空間で表現されても構わない。典型的な色空間としては、ＲＧＢ、ｓＲＧＢ、ＣＭＹＫ、ＨＳＶ、ＹＵＶ、ＹＩＱ、ＣＩＥ Ｌ＊ａ＊ｂ＊、ＹＣｂＣｒ、その他、グレースケールおよび輝度のみを含む色空間などが挙げられる。
図２は、図１で示されるドキュメント画像１０に対応する背景画像２０を示している。背景画像（例えば、図２で示される背景画像２０）は、除去されたドキュメントコンテンツと、下地または局所背景で満たされた領域から、当該除去されたドキュメントコンテンツにより残された「ホール」とに関連する画像（例えば、図１のドキュメント画像１０）の背景画像に対応する。背景画像２０の下地領域２２は、ドキュメント画像１０の下地領域１２に対応している。背景画像２０の第１局所背景領域２４は、ドキュメント画像１０の第１局所背景領域１４に対応している。背景画像２０の第２局所背景領域２６は、ドキュメント画像１０の第２局所背景領域１６に対応している。背景画像２０の第３局所背景領域２８は、ドキュメント画像１０の第３局所背景領域１８に対応している。背景画像をより正確に決定することは、画像圧縮または画像解析のために好ましい。
本発明の一実施形態では、スキャンあるいは生成されたドキュメント画像の中のある位置における局所背景の色を推定するために、制限文脈（limited-context）ラスター方法を行う。
局所背景の推定色は、色の平均値に基づいて算出されてもよいし、他の推定色算出手段が使用されてもよい。典型的な算出手段としては、中央値、重み平均値、トリム平均値などに基づいて算出するものがある。例えば、中央値、重み平均値、トリム平均値、および、その他の推定手段を採用してもよい。
本発明の一実施形態では、領域内を支配する色の集約（summarization）処理を行う。
また、本発明の一実施形態では、バッファ（以下、カラーバッファという場合がある）に蓄積された画像データサンプルに基づいて注目画素での背景色を推定する。注目画素の周りの近傍画素の画像データをサンプリングすることにより、当該バッファにデータが集められる。具体的な実施形態について図３を参照しながら説明する。本実施形態では、データ選択部３２は、入力画像データ３０からデータを選択する。色推定部３４は、データ選択部３２により選択された選択データ３３および入力画像データ３０に基づいて背景色３６を求める。データ選択部３２は、注目画素の周辺のサンプリング近傍領域の画像データをサンプリングする画像データサンプリング部を備えていてもよい。サンプリング近傍領域は、Ｍ×Ｎの矩形ウィンドウによって決定されてもよい。もしくは、サンプリング近傍領域は、半径ｒの円形領域であってもよい。さらに、本実施形態は、原因バッファ（causal buffer）を備えていてもよい。この原因バッファでは、新たなデータ要素が、連続して順次最小のサンプルに取って代わる。これにより、原因バッファは、サンプリング順に従って、最新のサンプルを保持することになる。
本発明の具体的な実施形態について図４を参照しながら説明する。本実施形態では、サンプリング近傍領域の画素データは、選択条件に従って選択的にバッファに追加される。本実施形態では、データ選択部４２は、選択条件４１に従って、入力画像データ４０からのデータ選択を実行する。そして、色推定部４４は、選択データ４３および入力画像データ４０に基づいて、背景色の推定処理を実行し、推定した背景の推定色４６を求める。
次に、選択条件の具体的な例について、図５を参照しながら説明する。本具体例では、選択条件は、エッジ検出アルゴリズムの出力に基づいている。ステップ５０にて、原稿画像でのエッジ位置が、公知のエッジ検出方法によって検出される。典型的なエッジ検出方法としては、ソーベル（Sobel）エッジ検出器、Cannyエッジ検出器、Prewittエッジ検出器などの方法がある。このような公知の検出方法によって検出されたエッジ位置の情報を、データ選択部４２が取得する（Ｓ５０）。エッジ位置は、色やコンテンツ（例えば、テキストに対する均一背景）の急峻な遷移が生じている画素を特定するために使用される。ステップ５２にて、このような急峻な遷移の画素は、カラーバッファへの蓄積対象から除外される。すなわち、データ選択部４２は、エッジ位置からの距離に基づいて、カラーバッファに蓄積するデータを選択する（Ｓ５２）。そして、背景色は、バッファデータに基づいて推定される（Ｓ５４）。
エッジ検出結果を使用することにより、遷移領域でのテキストの色が局所背景の推定色を汚すことを防止することができる。しかしながら、画像データのバッファにおけるエッジ位置の除去だけでは、大きなフォントのテキストや太字テキスト（ボールドテキスト）の悪い影響を除くことができない。バッファへの蓄積対象からエッジ画素を除去することは、背景色の推定の際に使用されるバッファの平均化から、大きなフォントの文字の内部の画素を除去するものではない。例えば、大きな文字の内部では、カラーバッファは、テキスト色によって支配されており、カラーバッファを満たすために十分なサンプルが集められた場合、局所背景の推定色は、結果としてテキストの色の方向に収束してしまう。つまり、大きなフォントのテキストや太字テキストのエッジ位置の画素のみをカラーバッファから除去したとしても、これらのテキストの内部の画素がカラーバッファに残ると、これらの画素の色が局所背景の推定色に影響を与えてしまい、得られた局所背景の推定色はテキストの色に近い色となり、背景色を正確に示さなくなる。
この問題を軽減するための選択条件の具体例について図６を参照しながら説明する。エッジ検出結果を受信した（Ｓ６０）後、画像処理技術を用いて、テキスト文字のエッジ境界の中を満たす処理（充填処理）、または、エッジ境界を膨張させる処理（膨張処理）を行う（Ｓ６２）。当該充填処理または膨張処理の画像処理技術としては、morphological closing処理、flood filling処理、dilation処理などがある。充填処理／膨張処理の結果は、バッファへの蓄積対象となる画素データを選択するために使用される（Ｓ６４）。例えば、データ選択部４２は、膨張処理が行われた結果エッジ位置から所定距離以上離れた画素のデータのみを選択する。その後、背景色が、バッファに蓄積された画素データに基づいて推定される（Ｓ６６）。具体的には、バッファに蓄積された画素データの平均値、トリム平均値、重み平均値、重みトリム平均値、中央値などを、背景の色値とする。
なお、充填処理および膨張処理が使用されなくてもよい。
さらに、選択条件の別の具体例について説明する。本具体例では、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度が選択条件として使用される。エッジ濃度は、エッジ近傍で大きな値になり、エッジから離れると小さな値となる。エッジからの距離が設定距離を越える画素がカラーバッファに蓄積され、背景色の推定に使用される。
エッジ濃度信号は入力エッジ信号から計算される。ここで、入力エッジ信号とは、上述した公知のエッジ検出方法によって検出されたエッジ画素／非エッジ画素を示す信号のことである。入力エッジ信号の画素ごとに、近傍領域が決定される。この近傍領域の中において、集約エッジ濃度信号が計算される。入力エッジ信号は、近傍領域のエッジ濃度と結合され、出力エッジ濃度信号を形成する。局所背景信号が計算される注目画素でのエッジ濃度信号を生成するために、一連の画像位置に対してこの処理が繰り返される。
本発明の一実施形態では、入力エッジ信号の各画素のエッジ濃度edgedenを、下記の方法に従って算出する。
１．まず、edgeden値を既知のレベルの値に初期化する。例えば、edgden＝0に初期化する。
２．次に、各画素(i,j)について、
（ａ）edgeden（i,j）を近傍領域のedgeden値の最大値に設定する（edgeden＝max（neighboring edgeden））。ここで近傍領域は、注目画素の周囲であり、かつ、予め定められた範囲の領域である。
（ｂ）その後、edgeden(i,j)を、以下のエッジマップの式に従って更新する。以下の式とはすなわち、
Figure 2009111979
である。具体的には、当該画素がエッジ画素である場合、加算係数ｗｅを加算し、非エッジ画素である場合、減算係数wdecayを減算する。
（ｃ）最後に、以下の式のように、マイナスの値になった場合は０とし、予め設定された閾値、つまり、設定最大値count_saturateを超える場合には当該設定最大値count_saturateとする処理を行う。以下の式とはすなわち、
Figure 2009111979
である。
パラメータwdecay及びcount_saturateを通して、エッジ濃度は、画素値がバッファに蓄積される前に、信頼性の高いエッジ領域から画素がどの程度離れているかを制御（control）するものであり、背景色の推定に影響を与える。パラメータｗｅは、エッジ検知でのノイズの感度に対する高い信頼性のエッジ領域に対応する値をエッジ濃度が取り得る割合を制御する。減衰（decay）が長くなるにつれ、大きなフォントのテキストやボールドテキストの内部のグリフ画素は、背景色の推定に追加されにくくなる。逆にいえば、減衰が長くなると、背景色の推定処理において、新たな背景色に集中するために多くの画素が取られる。ｗeを小さくすれば、周辺に十分に連続したエッジ画素がないと、edgedenが大きくならないが、逆にｗｅを大きくすれば、短い連続したエッジ画素でも、すぐにedgedenが大きくなるので、このｗeを制御することで、割合が制御できるということになる。edgedenが大きくなりやすければ、それだけ減衰が長くなりやすくなる。
本発明の一実施形態では、行方向に対するedgeden値を設定するために、まず最初に左から右へのスキャン方向で、エッジデータが指標化（index）される。その後、egeden値を補正するために、右から左へのスキャン方向でエッジデータが指標化（index）される。これにより、走査統計（running sum）の方向依存性を低減させ、エッジの両側からのカウントを減らすことができる。
もしくは、エッジまたはテキスト画素のバイナリーマップを受信し、当該バイナリーマップに従って、エッジまたはテキスト画素としてラベル付けされた画素を背景色の集約の際に無視してもよい。
なお、データ選択部は、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度の値edgedenが所定閾値以上の画素のデータをカラーバッファに蓄積しないようにしてもよい。
さらに別の具体的な実施形態について図７を参照しながら説明する。均一度算出部７２は、どの画素を背景色の推定のために選択するかを決定するために使用される均一度を算出するものである。均一度７３は、入力画像データ７０に対して均一度算出部７２によって算出される。均一度７３は、データ選択部７４によって使用される。データ選択部７４は、背景色推定部７６によって使用されるデータを選択するものである。背景色推定部は、背景の推定色７７を生成するものである。均一度の典型的な例は分散である。均一度は、エッジ濃度と関係していない。均一度は、複数の異なる領域が空間的に混在している箇所において最大値を取る。均一領域の画素は、局所の色を推定するためにより信頼性の高いサンプルであるとみなされる。残りの画素は「不明」画素としてラベル付けされ、推定処理において無視される。なお、残りの画素に対して、新しい条件を用いて処理されてもよい。
均一度は、きめのある（textured）背景が「不明」画素としてラベル付けされるように選択される。もしくは、均一度は、きめのある（textured）領域が背景領域とみなされるように選択されてもよい。
このように、データ選択部７４は、注目画素の周囲の所定範囲の領域に属する画素データの分散の値が所定閾値以下である注目画素の画素データを選択すればよい。
さらに別の具体的な実施形態について図８を参照しながら説明する。本実施形態では、「不明」画素としてラベル付けされ、十分に低いエッジ濃度edgeden(i,j)を有する画素がカラーバッファに蓄積され、背景色の推定のために使用される。これにより、背景の推定色は、スムース（わずかな変化があってもよい）であり、きめのある（textured）背景領域に近くなる。本実施形態では、均一度算出部８２およびエッジ濃度算出部８４は、入力画像データ８０から各々、均一度８３およびエッジ濃度８５を測定する。これら均一度８３およびエッジ濃度８５は、色推定部８８が背景の推定色８９を推定するための選択データ８７を選択するデータ選択部８６によって使用される。
具体的には、データ選択部８６は、注目画素の周囲の所定範囲の領域に属する画素データの分散の値が所定閾値より大きい注目画素であり（つまり、「不明」画素を意味する）、エッジ濃度が所定閾値以下である注目画素の画素データを、カラーバッファへの蓄積対象として選択する。これにより、きめのある（textured）局所背景領域であっても、当該領域に属する画素のデータをカラーバッファに蓄積でき、このような領域の背景色を精度よく推定できる。
さらに別の実施形態について説明する。前景画素は、背景画素よりも暗いものもあれば、背景画素よりも明るいものもある。背景画素よりも暗いグリフ画素の領域及びテキスト画素の領域を、それぞれ「ノーマルグリフ領域」および「ノーマルテキスト領域」という。一方、前景画素が背景画素よりも明るい場合も想定される。このように、局所背景色がグリフ色よりも暗い領域のことを「反転グリフ領域」とし、局所背景色がテキスト色よりも暗い領域のことを、「反転テキスト領域」とする。
図９を参照して本実施形態を説明する。本実施形態では、重み係数９９が色推定部１００によって使用される。背景色を推定する色推定部１００は、以下の式にしたがって、重み係数ランニング平均μを算出する。以下の式とはすなわち、
Figure 2009111979
である。ここで、各画素の色値をｃｉ、バッファでの対応する重み係数をｗｉ、重み係数の合計を１、バッファサイズをＫとする。
図９で示されるように、均一度算出部９２およびエッジ濃度算出部９４は、入力画像データ９０から、それぞれ、均一度９３およびエッジ濃度９５を算出する。これら均一度９３およびエッジ濃度９５はデータ選択部９６によって使用され、色推定部１００が背景色１０１を推定するために用いる選択データ９７が決定される。各選択データ９７は、重み係数算出部９８によって決定された重み係数９９に従ってそれぞれ重み付けされる。
ノーマルテキスト領域として特定された領域では、明るい画素値の選択データの値に大きめの重み係数を割り当て、前景画素である可能性が高い暗い画素値に小さめの重み係数を割り当てる。
反転テキスト領域として特定された領域では、暗い画素値の選択データの値に大きめの重み係数を割り当て、明るい反転テキスト、明るい前景画素である可能性が高い明るい画素値に小さめの重み係数を割り当てる。
重み係数は、以下のようにして決定される。つまり、ノーマルテキスト領域（テキストが背景よりも暗い領域）において、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に小さい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に大きい値とする。一方、反転テキスト領域（テキストが背景よりも明るい領域）では、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に大きい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に小さい値とする。
さらに別の実施形態について図１０を参照して説明する。データ選択部１１２は、入力画像データ１１０から、カラーバッファへ蓄積するデータを選択する。選択された選択データ１１３は、データ重み係数１１５と関連付けて色推定部１１６によって使用される。データ重み係数１１５は、背景の推定色１１７を決定するために、重み係数算出部１１４によって、入力画像データ１１０から決定される。
なお、上記の実施形態では、入力画像データは、ストリームベース（stream-based）の処理がされ、処理された入力画像データがシステムに渡されると、制限文脈（limited context）は、メモリーの使用量が最小限になるように、また、計算回数が制限されるように維持されてもよい。これにより、オンライン処理（リアルタイム処理）において、データがストリームで次々と流れてきても、限られたラインメモリ上の画像データを用いて限られた処理時間で処理することが可能となる。また、システムを通してパスされる注目画素に関連する背景色を推定するために、空間的な画素の遅延が必要とされる場合がある。つまり、背景色推定の計算が１クロック内に収まらない場合、次に処理する画素をディスプレイバッファなどを用いて遅延させる必要がある。
さらに、入力画像での主たる背景色を特定するために、従来の解析方法が実行されてもよい。主たる背景色を特定するための典型的な方法としては、特開２００７−３３６５６２に記載の方法が知られている。また、非局所信号が色集約のための画素を選択する際に使用されてもよい。全体の色のヒストグラムの大きいピーク（major peak）を局所背景色と見なしてもよい。カラーバッファは、大きいピークの各々に割り当てられても良い。背景色の推定処理の際、各注目画素は、大きいピークに対応するか否かを判断するために分析される。注目画素が大きいピークに対応している場合、当該ピークに対応するカラーバッファが更新され、当該カラーバッファが注目画素の背景色を推定するために使用される。この実施形態は図１１に示される。
図１１に示す実施形態では、画像データ値１２０を３つ図示されるカラーバッファ１２５・１２６・１２７に追加するか否かを判断するために、非局所色情報（non-local color information）１２１がデータ選択部１２２によって使用される。データ選択部１２２は、カラーバッファ選択信号１２３を決定する。背景の色推定部１２４は、複数のカラーバッファ１２５・１２６・１２７およびバッファ集約算出部１２８を備えている。バッファ集約算出部１２８は、選択されたカラーバッファ１２５・１２６・１２７の色データ値をまとめる。バッファ集約算出部１２８は、平均値、トリム平均値、中央値、重み平均値、重みトリム平均値などを算出する。非局所色情報は、画像データのヒストグラムから得られたピークの色値を含む。
なお、ヒストグラムの大きなピークに近い色を有する画素だけがカラーバッファに追加されてもよい。局所色値に集中するために必要とされる空間的な画素の遅延量は、カラーバッファ内の色が既に注目画素に類似しているので減少する。
また、画像データがバッファに蓄積され、異なるスキャン方向を用いて複数回処理されてもよい。ラスター画像データの複数ラインは、プロセッサまたはＡＳＩＣに２回流される。１回目は、ラスター方向であり、２回目は、ラスター方向と逆の方向である。画像データの複数回の処理の各々から決定された複数の背景推定色が調和され、各注目画素での単一の推定色を生成する。各推定色は、次の処理で使用されてもよい。画素の推定色は、画素の色に最も近い推定色を選択することによって決定されてもよい。
さらに別の実施形態について図１２を参照しながら説明する。本実施形態では、前景オブジェクトの推定色を維持し、データ選択に使用する。注目画素の色値が局所前景の推定色と一致している場合、注目画素の色値は、小さい重み係数が割り当てられる、もしくは、背景色集約のためのバッファに蓄積されない。このような実施形態によれば、背景色集約のためのバッファに誤って追加される前景画素の数を減少させる。これにより、前景領域と背景領域との間の境界の周辺画素によって改悪されることなく、よりよい背景の推定色を導き出すことができる。
背景データ選択部１４２は、前景推定色１４９を組み入れた選択条件に基づいて画像データ１４０を選択する。選択された選択データは、背景色バッファに入力される。背景色推定部１４４は、当該背景色バッファから背景色１４５の推定を行う。背景色推定部１４４は、背景色バッファおよびバッファ集約算出部を備えていても良い。もしくは、背景色推定部１４４は、複数のカラーバッファを備えていても良い。各カラーバッファは、画像データ１４０のカラーヒストグラムのピークに対応している。この場合、背景データ選択部１４２は、カラーバッファ選択部を備えている。前景推定色１４９の色値に近い画像データ１４０は、背景データ選択部１４２によって選択されず、カラーバッファに入力されない。もしくは、背景色推定部１４４は、前景推定色１４９の色値に近い画像データ１４０に対して、前景推定色１４９の色値に近くない画像データ１４０よりも小さい重み係数を割り当ててもよい。
本実施形態では、前景推定色１４９は、前景色推定部１４８によって、前景カラーバッファでの画像色値の集約に基づいて決定される。前景データ選択部１４６は、前景カラーバッファに蓄積するために前景特徴を示す画像データ値１４０を選択する。例えば、前景データ選択部１４６は、エッジ検出結果を用い、前景特徴を示す画像データ値として、エッジの立ち上がりからエッジの立下りまでの画像データ値を選択したり、edgedenの値が大きい画像データ値を選択したりする。
上記の各実施形態では、色の類似度が、色値間の距離を用いて求められる。典型的な色間の距離は、Ｌ１ノルム、Ｌ２ノルム、luma-chroma-chroma色空間のchroma成分間の２次元市街地距離、３次元色空間の成分間の３次元市街地距離、ユークリッド距離、luma-chroma-chroma色空間のchroma成分間の重み２次元市街地距離、３次元色空間の成分間の重み３次元市街地距離など公知の距離を用いることができる。
上記の各実施形態では、背景色推定のためのバッファに蓄積する画素をどれにするかが、上述したような条件（複数の条件の組合せでもよい）に基づいて限定される。もしくは、各バッファに蓄積されたエントリーは重み係数と関連付けされていてもよい。
また、上記の各実施形態では、背景色推定部は、背景／前景の推定色から計算される値に基づいて、片寄った集約方法を行ってもよい。典型的な例では、反転テキスト領域で起こるような、前景色が背景色よりも明るい場合、背景色をより暗く片寄らせ、前景色をより明るく片寄らせる。一方、ノーマルテキスト領域で起こるような、前景色が背景色よりも暗い場合、背景色をより明るく片寄らせ、前景色をより暗く片寄らせる。
本発明の一実施形態では、空間的に変化する背景色を推定する。本実施形態では、背景推定色を、動的閾値処理（a dynamic thresholding operation）と結合して、テキスト画素を背景からセグメント化して分離するのに利用することができる。グリフ動的閾値処理の典型的な方法としては、特開２００８−１８７７０９に記載の方法が知られている。上述の結合された処理を「グリフ生成処理」と称する。上記グリフ生成処理により、テキストまたはグリフ画素に関連付けられたバイナリマスクが出力される。
洗練された最終出力物である、グリフまたはテキストマスクを考慮したバイナリマスクを利用する典型的な方法は、テキスト強調アルゴリズム（text enhancement algorithm）および画像を符号化した合成物を含んでいてもよい。テキスト強調パイプラインでは、洗練されたバイナリマスクは、テキスト画素を識別する。テキスト画素は、コントラスト強調処理とノイズ除去処理とによって強調される。画像圧縮処理パイプラインでは、洗練されたバイナリマスクは、高解像度前景表現として用いられる。一方、非グリフ画像は、低解像度背景画像を表現するのに用いられる。
本実施形態では、背景推定色、バイナリグリフマスク、グリフ推定色、および、グリフとも背景とも識別されない、いわゆる「不明マスク」と呼ばれるバイナリマスクが生成される。これらの推定は行方向で行われ、推定色は、連続する処理モジュールに流されるか、あるいは、結果画像を形成するのに用いられる。
具体的には、連続する処理は、画像圧縮技術、グリフ画素のパレット色推定処理、背景画像の出力を形成するためのグリフ画素の背後のホール充填処理、または、入力画像におけるテキスト強調処理を含んでいてもよい。本実施形態では、連続する処理は、上に列挙した出力のいくつかを採用する。あるいは、上に列挙したすべての出力を採用してもよい。
図２０は、本発明の背景色推定システム４００の構成を示すブロック図である。
本発明の背景色推定システム４００は、デジタル画像４５０の注目画素の背景色を推定する背景色推定システムであって、（ａ）デジタル画像４５０から、該デジタル画像４５０の第１スキャン方向（例えば、順方向）に対応する第１走査線の一部である注目画素４５１を選択する注目画素選択部（注目画素選択手段）４０１と、（ｂ）注目画素４５１の背景ラベル４５２を取得する背景ラベル取得部（背景ラベル取得手段）４０２と、（ｃ）注目画素４５１のエッジラベル４５３を取得するエッジラベル取得部（エッジラベル取得手段）４０３と、（ｄ）注目画素４５１のピクトリアルラベル４５４を取得するピクトリアルラベル取得部４０４（ピクトリアルラベル取得手段）と、（ｅ）注目画素４５１の色値４５５を取得する色値取得部（色値取得手段）４０５と、（ｆ）第１走査線に対応付けられた第１背景推定色４５６を取得する背景推定色取得部（第１背景推定色取得手段）４０６と、（ｇ）デジタル画像４５０における前回の走査線に対応付けられた前回背景推定色４５７を取得する前回背景推定色取得部（前回背景推定色取得手段）４０７と、（ｈ）注目画素４５１の色値４５５と、第１背景推定色４５６との間の第１色差４５８を算出する第１色差算出手段としての色差算出部４０８と、（ｉ）注目画素４５１の色値４５５と、前回背景推定色４５７との間の第２色差４５９を算出する第２色差算出手段としての色差算出部４０８と、（ｊ）背景ラベル４５２、エッジラベル４５３、ピクトリアルラベル４５４、第１色差４５８、および、第２色差４５９に基づいて注目画素４５１の第１スキャン時背景推定色４６０を推定する第１スキャン時背景色推定手段としての背景色推定部４０９とを備える構成となっている。
さらに、背景色推定システム４００は、注目画素４５１がグリフ画素であるか否かを判定するグリフ判定部（グリフ判定手段）４１０を備えていてもよい。グリフ判定部４１０を備えている背景色推定システム４００は、グリフ検出システム６００として機能する。グリフ検出システム６００については後述する。
さらに、背景色推定システム４００は、注目画素４５１と、デジタル画像４５０の第２スキャン方向（例えば、逆方向）に対応付けられている第２走査線とを関連付ける走査線関連付部（走査線関連付け手段）４１１を備え、第１スキャン時（順方向スキャン時）背景推定色に基づいて、第２スキャン時（逆方向スキャン時）背景推定色４６５を推定してもよい。
さらに、背景ラベル取得部４０２は、注目画素４５１の更新された背景ラベル４５２’を取得する更新後背景ラベル取得手段として機能することもできる。また、背景推定色取得部４０６は、第２走査線（逆方向スキャンにおけるスキャン方向など）に対応付けられた第３背景推定色４６１を取得する第３背景推定色取得手段として機能することもできる。また、前回背景推定色取得部４０７は、デジタル画像４５０における前回スキャンされた走査線に対応付けられた第２スキャン時（逆方向スキャン時）前回背景推定色４６２を取得する第２スキャン時前回背景推定色取得手段として機能することもできる。また、色差算出部４０８は、注目画素４５１の色値４５５と第３背景推定色４６１との間の第３色差４６３を算出する第３色差算出手段として機能するとともに、注目画素４５１の色値４５５と第２スキャン時前回背景推定色４６２との間の第４色差４６４を算出する第４色差算出手段として機能することもできる。そして、背景色推定部４０９は、更新された更新後背景ラベル４５２’、エッジラベル４５３、ピクトリアルラベル４５４、第３色差４６３、および、第４色差４６４に基づいて、注目画素４５１の第２スキャン時背景推定色４６５を推定する第２スキャン時背景推定色推定手段として機能することもできる。
図２１は、背景色推定システム４００が備える背景色推定部４０９の要部構成を示すブロック図である。
背景色推定部４０９は、（ａ）「背景ラベル４５２が注目画素４５１が背景画素であることを示しており、かつ、エッジラベル４５３が注目画素４５１がエッジ画素でないことを示している」のか否かを判定するラベル比較部（第１比較手段）５００と、（ｂ）ラベル比較部５００が、「背景ラベル４５２が注目画素４５１が背景画素であることを示しており、かつ、エッジラベル４５３が注目画素４５１がエッジ画素でないことを示している」と判定した場合に、注目画素４５１の色値４５５に対応するカラーバッファ（第１カラーバッファ）５０２を更新するカラーバッファ更新部（第１カラーバッファ更新手段）５０１と、（ｃ）ラベル比較部５００が、「背景ラベル４５２が注目画素４５１が背景画素であることを示しており、かつ、エッジラベル４５３が注目画素４５１がエッジ画素でないことを示している」と判定した場合に、第１カラーバッファ背景色を生成するために、上記第１カラーバッファとしてのカラーバッファ５０２を集約するカラーバッファ集約部（第１カラーバッファ集約手段）５０３と、（ｄ）ラベル比較部５００が、「背景ラベル４５２が注目画素４５１が背景画素であることを示しており、かつ、エッジラベル４５３が注目画素４５１がエッジ画素でないことを示している」と判定した場合に、上記第１カラーバッファ背景色を上記第１スキャン時背景推定色４６０に割り当てる割当部（第１カラーバッファ割当手段）５０４とを備える構成である。
さらに、割当部５０４は、「ピクトリアルラベル４５４が注目画素４５１がピクトリアル画素であることを示しかつ背景ラベル４５２が注目画素４５１が背景画素であることを示している」場合、または、「ピクトリアルラベル４５４が注目画素４５１がピクトリアル画素であることを示しかつエッジラベル４５３が注目画素４５１がエッジ画素であることを示している」場合に、第１スキャン時背景推定色４６０に、注目画素４５１のピクトリアル色値を割り当てるピクトリアル色値割当手段としても機能する。
さらに、背景色推定部４０９は、第１色差４５８が第１閾値に関する第１条件を満たす場合、または、第２色差４５９が第２閾値に関する第２条件を満たす場合に、第１色差４５８と第２色差４５９とを比較する色差比較部５０５を備えていてもよい。また、カラーバッファ更新部５０１は、第１色差４５８と第２色差４５９との上記比較により第１結果が生成された場合に、注目画素４５１の色値４５５に対応する第２カラーバッファ（カラーバッファ５０２）を更新する第２カラーバッファ更新手段としても機能する。また、カラーバッファ集約部５０３は、第１色差４５８と第２色差４５９との上記比較により第１結果が生成された場合に、第２カラーバッファ背景色を生成するために、第２カラーバッファを集約する第２カラーバッファ集約手段としても機能する。また、割当部５０４は、第１色差４５８と第２色差４５９との上記比較により第１結果が生成された場合に、上記第２カラーバッファ背景色を上記第１スキャン時背景推定色４６０に割り当てる第２カラーバッファ割当手段としても機能する。また、カラーバッファ更新部５０１は、第１色差４５８と第２色差４５９との上記比較により第２結果が生成された場合に、注目画素４５１の色値４５５に対応する第３カラーバッファ（カラーバッファ５０２）を更新する第３カラーバッファ更新手段としても機能する。また、カラーバッファ集約部５０３は、第１色差４５８と第２色差４５９との上記比較により第２結果が生成された場合に、第３カラーバッファ背景色を生成するために、上記第３カラーバッファを集約する第３カラーバッファ集約手段としても機能する。また、割当部５０４は、第１色差４５８と第２色差４５９との上記比較により第２結果が生成された場合に、上記第３カラーバッファ背景色を上記第１スキャン時背景推定色４６０に割り当てる第３カラーバッファ割当手段としても機能する。
さらに、背景色推定部４０９は、第１色差４５８が第１閾値に関する第３条件を満たす場合、かつ、第２色差４５９が第２閾値に関する第４条件を満たす場合に、注目画素４５１の周囲の領域のテキスト濃度特徴値を取得するテキスト濃度特徴取得部（テキスト濃度特徴取得手段）５０６を備えていてもよい。そして、割当部５０４は、上記テキスト濃度特徴値に基づいて、第１スキャン時背景推定色４６０を割り当てる第１スキャン割当手段としても機能する。
図２０は、本発明のグリフ検出システム６００の構成を示すブロック図である。図２２は、グリフ検出システム６００が備えるグリフ判定部４１０の要部構成を示すブロック図である。
図２０に示すとおり、本発明のグリフ検出システム６００は、デジタル画像におけるグリフを検出するグリフ検出システムであって、（ａ）デジタル画像４５０における注目画素４５１を決定する注目画素選択部（注目画素選択手段）４０１と、（ｂ）上記注目画素４５１に関連付けられたラベル値を取得するラベル取得手段としてのグリフ判定部４１０と、（ｃ）注目画素４５１の第１スキャン時背景推定色（第１背景推定色４５６）と第２スキャン時背景推定色（第３背景推定色４６１）とを取得する背景推定色取得部（背景推定色取得手段）４０６と、（ｄ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差４６８を算出する色差算出部（色差算出手段）４０８と、（ｅ）背景色差４６８が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するラベリング部（ラベリング手段）７０２とを備える構成となっている。
図２０に示すとおり、本発明の他の実施形態では、グリフ検出システム６００は、デジタル画像４５０におけるグリフを検出するグリフ検出システムであって、（ａ）デジタル画像４５０から、該デジタル画像４５０の第１スキャン方向に対応する第１走査線の一部である注目画素４５１を選択する注目画素選択部（注目画素選択手段）４０１と、（ｂ）注目画素４５１の第１背景推定色４５６を取得する背景推定色取得部（第１背景推定色取得手段）４０６と、（ｃ）注目画素４５１の注目画素色値４５５を取得する注目画素色値取得手段としての色値取得部４０５と、（ｄ）第１色値群４６６を生成するために、注目画素４５１の周辺領域における第１画素群の画素ごとの色値を取得する周辺画素色値取得手段としての色値取得部４０５と、（ｅ）注目画素色値４５５と第１背景推定色４５６との間の第１色差４５８を算出する第１色差算出手段としての色差算出部４０８と、（ｆ）第１色差群４６７を生成するために、第１背景推定色４５６と第１色値群４６６の各色値との間の色差４６７を算出する色差群算出手段としての色差算出部４０８と、（ｇ）第１色差群４６７に基づいて、動的閾値を決定する動的閾値決定部（動的閾値決定手段）７００と、（ｈ）上記動的閾値と第１色差４５８とを比較する閾値比較部（閾値比較手段）７０１と、（ｉ）上記比較の結果、第１条件が満たされた場合に、注目画素４５１をグリフ画素としてラベリングし、上記比較の結果、第２条件が満たされた場合に、注目画素４５１を非グリフ画素としてラベリングするラベリング部（ラベリング手段）７０２とを備える構成となっている。
さらに、図２２に示す動的閾値決定部７００は、（ａ）第１色差群４６７の分布を判定する図示しない分布判定手段、および、（ｂ）第１色差群４６７の平均を算出する平均算出手段として機能してもよい。
さらに、動的閾値決定部７００は、（ａ）原稿背景推定色値を取得する原稿背景色取得手段、および、（ｂ）上記原稿背景推定色値と注目画素色値４５５との間の原稿色差を算出する原稿背景色差算出手段として機能してもよい。
本発明の一実施形態において、図１３に示すとおり、グリフ生成処理では、入力画像における各行データを二重にスキャンする方法を採用している。背景色推定システム４００は、Ｓ１６０およびＳ１６２において、順方向スキャンが行われている間、背景色推定ステップＳ１６０およびグリフ画素選択ステップＳ１６２を実行する。順方向スキャンが終了すると、Ｓ１６４およびＳ１６６において、逆方向スキャンが行われている間、背景色推定システム４００は、順方向スキャンに基づいて先に推定した背景推定色を用いて、再度背景色を推定する（Ｓ１６４）。そして、最終的なグリフマスクを算出する（Ｓ１６６）。
本実施形態における、順方向スキャンと逆方向スキャンとの間のデータ依存性を、図１４に示す。順方向スキャンによる背景色推定ステップＳ１７０にて、洗練された背景分類マップ１８５、順方向スキャン時背景推定色１８４、および、テキスト濃度マップ１８６が生成される。テキスト濃度マップ１８６は、画像領域におけるテキスト画素の密度を示すものである。上記の各出力データ１８４、１８５および１８６の内容は、初期分類マップ１８１、初期グリフマスク１８３、初期エッジマップ１８２および入力画像１８０の内容に依存する。例えば、初期分類マップは０〜３１のラベル（クラス）からなり、０がグリフ候補、１がピクトリアル候補、２〜３０が局所背景候補、３１が不明クラスとなっている。順方向スキャンによるグリフ画素選択ステップＳ１７２にて、順方向スキャンによるグリフ画素が追加された更新分類マップ１８７が生成される。この出力データ１８７の内容は、入力画像１８０、順方向スキャン時背景推定色１８４、初期グリフマスク１８３および洗練された背景分類マップ１８５の内容に依存する。逆方向スキャンによる背景推定処理ステップＳ１７４にて、洗練された逆方向スキャン背景ラベルを含む更新分類マップ１８８および逆方向スキャン時背景推定色１８９が生成される。上記の各出力データ１８８、１８９の内容は、入力画像１８０、順方向スキャン時背景推定色１８４、初期グリフマスク１８３、更新分類マップ１８７、および、初期エッジマップ１８２の内容に依存する。逆方向スキャンによるグリフ画素選択ステップＳ１７６にて、最終的なバイナリグリフマスク１９０、最終的な不明バイナリマスク１９１、最終的な背景推定色１９２、および、グリフ推定色１９３が生成される。上記の各出力データ１９０、１９１、１９２および１９３の内容は、入力画像１８０、順方向スキャン時背景推定色１８４、逆方向スキャン時背景推定色１８９、初期グリフマスク１８３、および、逆方向スキャンによる背景推定ステップからの更新分類マップ１８８の内容に依存する。
本発明の一実施形態では、入力画像１８０は、第１解像度でのＬａｂ色空間におけるカラー画像であってもよい。本実施形態では、初期エッジマップ１８２は、入力画像１８０と同じ解像度となる。そして、初期グリフマスク１８３は、それよりも低い第２解像度の画像である。第２解像度の画像とは、あらかじめ行をいくつか間引かれた低解像度のテキストマップから生まれた画像である。初期分類マップ１８１は第２解像度で、洗練された背景分類マップ１８５は第１解像度で、生成される。最終的なバイナリグリフマスク１９０および最終的な不明バイナリマスク１９１は、第１解像度にて生成される。本実施形態では、最終的な背景推定色１９２およびグリフ推定色１９３は、第２解像度、つまり、低解像度にて生成される。
本発明の一実施形態では、グリフおよび背景色推定モジュール（色推定部、背景色推定部４０９）には、入力されたカラー画像、初期テキスト分割マップ、および、ドミナントカラーの集合内の画素を識別するラベル画像などが入力されてもよい。これらの入力されたデータは、同じ解像度である必要はない。様々な解像度を使い分けることによって、演算速度およびメモリ性能の面で有利な点を享受できる。
本発明の一実施形態では、入力されたラベル画像には、不自然さおよびノイズを除去する前処理が施されていてもよい。前処理の典型的な例としては、テキスト画素候補の背後をラベルごとに充填する処理、あるいは、小さく孤立したラベルのクラスタを除去する処理などが挙げられる。
本発明の一実施形態では、入力された初期テキストマップは、エッジ検出部によって算出されてもよい。エッジ検出部は、ハーフトーンおよび絵の領域にて反応するエッジとテキストによって反応するエッジとを区別するものである。一実施形態では、特徴の内部は、初期テキストマップを含んでいなくてもよい。そして、各エッジは、実際のテキスト画素に局部集中させなくてもよい。また、サイズ閾値を下回る特徴部分に対して充填処理を実施するために、そして、テキストが周辺および内部の特徴画素の両方を含むように膨張処理を実施するために、形態学的処理を候補テキストマップに適用してもよい。大きめのサイズの特徴部分は、最終的なグリフマスクにおいて復元されてもよい。
本発明の一実施形態では、背景推定色に応じてグリフ選択処理を実行して、グリフ周辺の遷移画素の最小限の汚れを伴うグリフ画素を検出してもよい。動的閾値テストを用いて、最小限の背景画素または遷移画素を伴うグリフを検出してもよい。
本発明の一実施形態では、正確な背景色推定ステップは、グリフ周辺の遷移画素の影響を最小化するために、グリフから十分離れた画素に基づいて色を推定する。また、本発明の色推定ステップには、全体の色の集合と、全体色の各分類からどの画素が欠けているかを表すラベル画像とを判定するための全体的な色推定ステップが含まれていてもよい。
本発明の一実施形態では、全体の背景ラベルごとに、最新のカラーサンプルを保存する記憶部を備えていてもよい。上記記憶部は、複数のバッファを備えており、各バッファは、単一の背景ラベルの色履歴を記憶している。最近の局所背景画素全部の局所平均を記憶するのに用いるバッファをさらに備えていてもよい。
本発明の一実施形態では、入力画像は、ＣＩＥ Ｌａｂなどの、luminance-chrominance-chrominance色空間における画像であってもよい。本実施形態では、カラーバッファは、（２５５，１２８，１２８）で表される白に初期化される。これらの初期化された色は、入力画像の解像度にてスキャンされた画像の画像色に置き換わる。コンピュータの演算処理の都合で、バッファの中は、色値の合計を維持することが好ましい。あるいは、集約バッファを形成するのに用いられる色値の合計は、バッファの値が出力されるときに必要に応じて算出される。本実施形態では、色値の合計値を管理するステップを含み、当該合計値は白に初期化される（例えば、BUFFER_SIZE*(255,128,128)など）。
本発明の一実施形態では、バッファの状態は、シフトバッファとして維持される。画素の色データは、該シフトバッファを通じて流れる。本実施形態では、画素の色値は、バッファの一端に追加される。そして、画素の各色値は、当該バッファから除去されるまで、バッファのもう一端に向かって移行していく。色加算バッファ（color summation of a buff）は、バッファから削除された画素値を減じて新たな画素値を加えることによって更新される。一実施形態では、色履歴バッファの容量は２の倍数である。本実施形態では、平均値は、色加算における値の変化によって得られる。本発明の一実施形態では、色履歴バッファは、BUFFERSIZE=8の値を有している。本実施形態では、バッファ平均値は、３ビットのバッファ合計の変化である。
あるいは、他の実施形態では、バッファ内の最も古い画素に印をつけておくために、画素の色履歴にインデックスを設けてもよい。本実施形態では、インデックスはすべての画素が追加されてから更新される。これにより、バッファを介して効率よくインデックスを変化させることができる。上記インデックスをIdx_CHで表すと、インデックス更新ロジックは、Idx_CH=(Idx_CH+1)%8となる。一度最後の要素までインデックスが付けられると、バッファの最初に戻ってインデックスが振りなおされる。最初の位置は、係数演算を用いることによって求められる。
本発明の一実施形態では、色の距離（色差）を測定するステップを含んでいてもよい。色間の距離は、ユークリッド距離測定基準、市街地距離測定基準、重み距離測定基準などの距離測定基準を用いて測定される。
本発明の一実施形態では、初期分類マップ１８１は、「不明」のクラスに対応するラベルを含んでいる。本実施形態では、「不明」ラベルが付与された画素は、頻出色としてラベリングされた画素よりも、さまざまな背景推定処理のトリガとなり得る。一実施形態では、ラベリングされた画像における「不明」画素は、テキストと思われる領域に印をつけるのに用いられる。本実施形態では、「不明」の印が付与された画素は、色履歴バッファを更新する場合にはよけられる（bypassed）。
本発明の一実施形態では、テキスト濃度特徴（text density feature）は、局所背景推定色をグリフ領域に適用するのではなく、不明な局所背景領域に適用することを可能にするために用いられる。テキスト濃度特徴値は、テキストが検出された場合に加算され、テキストが検出されなかった場合に、減算される。テキスト濃度特徴値がゼロまで減った場合、それは、最新のメモリにはテキスト画素が検出されなかったことを意味している。一実施形態では、画素が「不明」であっても、テキスト濃度特徴値がゼロまで減少した場合には、背景推定色を適用してもよい。上記特徴により、多くのフォントサイズの大きい文字のグリフ色に背景色を適用しないで、不明な局所背景領域に誤って適用されたグリフ色を復元することが可能である。
本発明の一実施形態では、テキスト濃度特徴は、順方向スキャンにつき、次式にしたがって算出される。次式とはすなわち、
TextD=Max(TextDen[r,c-1],TextDen[r-1,c]);
TextD=roi_0[r,c]‖GlyphSel[r_75,c_75]?TextD+TextCnt:TextD-TextDecay;
TextD=TextD>TextCntLimit?TextCntLimit:TextD;
TextD=TextD<0?0:TextD;
TextDen[r,c]=TextD
である。ここで、roi_0は、高解像度エッジマップ１８２（初期エッジマップ１８２）に対応している。GlyphSelは、低解像度洗練テキストマップ１８３（初期グリフマスク１８３）に対応している。TextCntLimitおよびTextDecayは、テキスト濃度特徴についての集約限度および減少率を制御するための制御パラメータである。
逆方向スキャンのとき、TextDen変数は、Max(TextDen[r,c+1],TextDen[r-1,c])にしたがって、左から右隣へと画素を移動しながら初期化される。
本発明の一実施形態では、入力画像１８０のすべての画素について、順方向スキャン時に、背景色が推定されてもよい。一実施形態では、テキスト濃度の関連条件が合致した場合に、「不明」ラベルが付与された画素の色として背景推定色を適用してもよい。また、一実施形態では、背景推定色は、前回の走査線の背景推定色を用いて、充填されてもよい。上述の各実施形態について、図１５Ａおよび図１５Ｂに基づき以下に説明する。
背景色推定部４０９のラベル比較部（第１比較手段）５００は、現在の画素（注目画素）が「局所背景画素でありかつエッジ画素ではない」か否かを判定するために、入力初期エッジマップ１８２から得られた値に基づいて、現在の画素を検査する（ステップ２００）。上記現在の画素が、局所背景画素であってかつエッジ画素ではない場合（ステップ２０１）、カラーバッファ更新部（第１カラーバッファ更新手段）５０１は、色履歴バッファ（カラーバッファ５０２（第１カラーバッファ））を更新して、カラーバッファ集約部（第１カラーバッファ集約手段）５０３は、上記画素の位置の新しい背景推定色を、色履歴バッファに基づいて生成する（ステップ２０３）。
上記現在の画素が、局所背景画素でないか、あるいは、エッジ画素である場合（ステップ２０２）、上記現在の画素がピクトリアル画素であるのか否かを判定するために、背景色推定部４０９が、初期分類マップ１８１を検査する（ステップ２０４）。初期分類マップ１８１は、テキストでない画像領域がいつ入力されたのかを示すために、先の処理モジュール（ピクトリアルラベル取得部４０４（ピクトリアルラベル取得手段））から出力されたものである。現在の画素が、ピクトリアル画素であると判定された場合には（ステップ２０５）、割当部（ピクトリアル色値割当手段）５０４は、ピクトリアル色を現在の画素の背景推定色（第１スキャン時背景推定色４６０）にコピーする（ステップ２０７）。
上記現在の画素が、ピクトリアル画素でないと判定された場合には（ステップ２０６）、色差算出部４０８は、現在の画素の色（色値４５５）と、最新の背景推定色（第１背景推定色４５６）との間の色差（第１色差４５８）を算出する（ステップ２０８）。一実施形態では、色差は、色の距離として算出される。色履歴バッファが選択され、上記色の距離に基づいて更新されて、推定色が出力される。一実施形態では、推定色は、選択されたバッファから算出された色値の平均であってもよい。色差算出部４０８は、色差を、現在の画素の色値と現行走査線上の最終背景推定色との間（第１色差４５８）、および、現在の画素の色値と前回の走査線上の最終背景推定色（前回背景推定色４５７）との間（第２色差４５９）で算出する。続いて、背景色推定部４０９の色差比較部５０５が、色差を検査する（ステップ２０９）。そして、現在の画素の色値が先の背景推定色に近い場合には（ステップ２１０）、カラーバッファ更新部５０１は、現在の画素の色値をカラーバッファ（カラーバッファ５０２）に追加し、カラーバッファ集約部５０３は、ラベルと推定色とを更新する。色差比較部５０５は、現在の画素の色値と現行走査線上の最終背景推定色との間の色の距離de（第１色差４５８）と、現在の画素の色値と先の走査線上の最終背景推定色との間の色の距離deUP（第２色差４５９）とを比較する（ステップ２１２）。距離deが上段距離deUPよりも小さい場合（ステップ２１３）、カラーバッファ更新部５０１は、現在の画素の色値を、カラーバッファ（カラーバッファ５０２）に追加し、カラーバッファ集約部５０３は、推定色を、現行走査線上の最終背景推定色に基づき更新する（ステップ２２２）。なお、図１５Ｂに示すＳ２２２のUPLBIDXは、注目画素に対する先の走査線上の最終背景推定色のインデックス番号を表す。カラーバッファは複数あり、どのカラーバッファを更新するかをインデックス番号によって決めている。距離deが上段距離deUP以上である場合（ステップ２１４）、カラーバッファ更新部５０１は、現在の画素の色値を、カラーバッファ（カラーバッファ５０２）に追加し、カラーバッファ集約部５０３は、推定色を、前回の走査線上の最終背景推定色に基づき更新する（ステップ２２０）。
現在の画素が、先の推定色の一部に併合されない場合（ステップ２１１）、ラベル比較部５００は、現在の画素を、「不明画素であってかつエッジ画素ではない」か否かを判定するためにチェックする（ステップ２１５）。上記領域では、画素の色値は、大きい色閾値差分（a large color threshold difference）（TH_MAX_BG_SIM）を用いて、最終背景推定色に十分近いかどうかを判定するためにチェックされる。上記閾値差分によって、現在の画素に局所背景推定色を適用する際に用いる色について幅広いバリエーションを可能にする。ステップ２１５では、背景色推定部４０９は、テキスト濃度特徴取得部５０６が取得したテキスト濃度特徴値もチェックしてもよい。これにより、テキストから離れた領域において積極的な適用が可能になる。ステップ２１５の各条件を満足する場合（ステップ２１６）、カラーバッファ更新部５０１は、現在の画素の色値を、カラーバッファ（カラーバッファ５０２）に追加し、カラーバッファ集約部５０３は、ラベルおよび推定色を走査線ごとに更新する（ステップ２１８）。これにより、初期の全体色に基づくラベリング処理にて見落とされた局所背景領域にも背景色を適用することが可能となる。
一方、ステップ２１５の各条件のいずれかを満足しない場合（ステップ２１７）、現在の画素についての背景推定色は、最終局所背景推定色に設定される（ステップ２１９）。
本発明の一実施形態では、現在の画素について順方向スキャンにて背景色が推定されると、グリフ判定部（グリフ判定手段）４１０が、現在の画素について、グリフ画素であるかどうかを判定するために検査する。上記検査は、グリフ選択マスク１８３（初期グリフマスク１８３）を用いて、原稿対して選択的に適用される。一実施形態では、別々になっている初期テキストマップ１８２（初期エッジマップ１８２）およびグリフ選択マスク１８３を、エッジ領域がテキストマップ１８２に示されるように（これにより、局所背景推定色を調節するように）、しかし、上記エッジ画素の一部については最終テキストマップに考慮しないように維持する。これにより、グリフ生成モジュールは、例えば線または境界エッジ検出機構によって拒否された境界領域を無視することができる。本発明の上述の各実施形態について、図１６および図１７に基づき以下に説明する。
図１６に示すとおり、本発明の一実施形態では、順方向スキャンによるグリフ生成ステップにおいて、グリフ判定部４１０の動的閾値決定部７００は、第１に、現在の背景推定色と入力画像の近隣の色値との色差の統計値を算出する（ステップ２３０）。一実施形態では、上記画像の近隣には、現在の画素を中心としてその近傍の長方形が含まれる。あるいは、現在の画素を中心とする円形が含まれていてもよい。また、現在の画素の近傍の、その他の形状の領域が含まれていてもよい。一実施形態では、動的閾値決定部７００は、現在の背景推定色と原稿の背景色との距離（距離dePBG）を算出する。
色差統計値の具体例としては、色差最小値（距離deMin）、色差最大値（距離deMax）、色差平均値（距離deAvg）、背景推定色値と画像近隣の中心のカラー値との間の色の距離（距離deBG）などの統計値が挙げられる。本発明の一実施形態では、動的閾値決定部７００は、動的コントラスト閾値（D_TH）を色差統計値に基づいて設定する（ステップ２３２）。グリフ判定部４１０の閾値比較部７０１は、背景色と近隣領域の中央画素の色値との色差（距離deBG）を、上記動的閾値（D_TH）と比較する（ステップ２３４）。色差が上記閾値以下である場合には（ステップ２３６）、グリフ判定部４１０のラベリング部７０２は、当該画素は、グリフ画素ではないとみなす（ステップ２３８）。色差が上記閾値よりも大きい場合には（ステップ２３５）、ラベリング部７０２は、当該画素はグリフ画素であるとしてラベルを付与する（ステップ２３７）。
本発明の一実施形態では、図１７に示すフローチャートにしたがって、動的閾値が算出される。閾値比較部７０１は、色差平均値（距離deAvg）および原稿背景色の色差を、それぞれの閾値と比較する（ステップ２５０）。上記閾値と比較した結果、各条件が満足されると（ステップ２５１）、動的閾値決定部７００は、グリフを排除するための動的閾値（D_TH）を設定する（ステップ２５３）。一実施形態では、この場合、動的閾値（D_TH）は、３＊２５５に設定される。一方、各条件の少なくともいずれかが満足されない場合には（ステップ２５２）、閾値比較部７０１は、色差分布（difference range）（距離deRng）および色差平均値（距離deAvg）を、それぞれの閾値と比較する（ステップ２５４）。上記閾値と比較した結果、各条件が満足されると（ステップ２５５）、動的閾値決定部７００は、グリフを受容するための動的閾値（D_TH）を設定する（ステップ２５７）。一実施形態では、動的閾値決定部７００は、動的閾値（D_TH）を、色差最小値（距離deMin）に設定する。一方、各条件の少なくともいずれかが満足されない場合には（ステップ２５６）、動的閾値決定部７００は、動的閾値（D_TH）を、次式にしたがって設定する。次式とはすなわち、
D_TH=deMin+(PTGMult*deRng)>>PTGShift
である。ここで、PTGMultおよびPTGShiftは、距離deMinに加える色差分布のパーセンテージを定義するのに用いられる。
あるいは、他の、順方向スキャン時のグリフ生成方法としては、特開２００８−１８７７０９に記載の方法を用いてもよい。
本発明の一実施形態では、逆方向スキャンを用いてもよい。逆方向スキャンを用いれば、１回のスキャンで行うよりも、より正確に背景色を推定できる。複数走査アルゴリズムによって、左右の両側からスキャンされたことが分かる。両方向からのスキャン伝播情報は、推定処理時には、方向の偏りを排除する。
本発明の一実施形態では、逆方向スキャン時の背景色推定処理は、上述した順方向スキャン時の背景色推定処理と類似している。一実施形態では、背景色は、逆方向スキャン時においても、入力画像１８０（デジタル画像４５０）のすべての画素について推定されてもよい。またテキスト濃度関連条件が満たされた場合には、背景推定色は「不明」ラベルの画素色として適用されてもよい。一実施形態では、背景推定色は、先のスキャン走査線または順方向スキャンによる背景推定色を用いて充填されてもよい。本実施形態における処理の流れを図１８Ａおよび図１８Ｂに基づき説明する。
逆方向スキャンの際に、ラベル比較部５００は、現在の注目画素を、初期エッジマップ１８２（エッジラベル４５３）から得られた値に基づいて、「当該現在の画素が背景画素であり、かつ、エッジ画素ではない」かどうかを判定するために検査する（ステップ２６０）。上記現在の画素が、背景画素であり、かつ、エッジ画素ではない場合（ステップ２６１）、カラーバッファ更新部５０１は、色履歴バッファ（カラーバッファ５０２）を更新し、カラーバッファ集約部５０３は、当該色履歴バッファに基づいて、上記現在の画素の位置の、逆方向スキャン時背景推定色（第２スキャン時背景推定色）を生成する（ステップ２６３）。
一方、逆方向スキャン時の上記現在の画素が、「背景画素ではない、または、エッジ画素である」場合（ステップ２６２）、逆方向スキャン時の上記現在の画素がピクトリアル画素否かを判定するために、背景色推定部４０９は、初期分類マップ１８１（ピクトリアルラベル４５４）を検査する（ステップ２６４）。初期分類マップ１８１は、いつ非テキストピクトリアル領域が入力されたのかを示すために、先の処理モジュール（ピクトリアルラベル取得部４０４）から出力されるものである。上記現在の画素がピクトリアル画素であると判定されると（ステップ２６５）、一実施形態では、割当部５０４は、ピクトリアル色を、現在の画素の、逆方向スキャン時背景推定色にコピーする（ステップ２６７）。あるいは、他の実施形態では、あらかじめ定義されている色を、現在の画素の逆方向スキャン時背景推定色として設定してもよい。
一方、逆方向スキャン時の上記現在の画素がピクトリアル画素ではないと判定された場合（ステップ２６６）、順方向スキャン時と同様に、逆方向スキャン時の現在の画素（色値４５５）とその画素の順方向スキャン時の背景推定色（第１背景推定色４５６）との色差に加えて、色差算出部４０８は、逆方向スキャン時の現在の画素と前回の背景推定色（第２スキャン時前回背景推定色４６２）との色差（第４色差４６４）を算出する（ステップ２６８）。一実施形態では、色差は、色値の距離として算出されてもよい。色履歴バッファ（カラーバッファ５０２）が選択され、カラーバッファ更新部５０１が、色差に基づいて更新する。そして、カラーバッファ集約部５０３は、推定色を出力する。一実施形態では、推定色は、選択されたバッファから算出された色値の平均値を含んでいてもよい。現在の画素の色値（色値４５５）と現在の走査線上の最新の背景推定色（第３背景推定色４６１）との間の色差（第３色差４６３）が算出される。上記色差は、距離deで表される。さらに、現在の画素の色値と先の（上段）の捜査線上の最新の背景推定色との間の色差（第４色差４６４）が算出される。上記色差は、上段距離deUPで表される。さらに、現在の画素の色値と順方向スキャン時の背景推定色との間の色差が算出される。上記色差は、距離deFSで表される。色差比較部５０５によって、各色差が検査される（ステップ２６９）。現在の画素の色値が先の背景推定色のいずれかに近い場合には（ステップ２７０）、カラーバッファ更新部５０１は、上記現在の画素の色値をカラーバッファ（カラーバッファ５０２）に追加し、カラーバッファ集約部５０３は、ラベルおよび推定色を更新する。色差比較部５０５は、現在の画素の色値と現在の走査線上の最新の背景推定色との間の色差（距離de）（第３色差４６３）と、現在の画素の色値と先の走査線上の最新の背景推定色との間の色差（上段距離deUP）（第４色差４６４）とを比較する（ステップ２７２）。距離deが、上段距離deUPよりも小さい場合（ステップ２７３）、カラーバッファ更新部５０１は、現在の画素の色値を、カラーバッファ５０２に追加して、カラーバッファ集約部５０３は、現在の走査線上の最新の背景推定色に基づいて、推定色を更新する（ステップ２９２）。一方、距離deが上段距離deUP以上である場合には（ステップ２７４）、現在の画素の色値はカラーバッファ５０２に追加されて、カラーバッファ集約部５０３は、先の走査線上の最新の背景推定色に基づいて、推定色を更新する（ステップ２９０）。
現在の画素を先の推定色の一部に併合することができない場合には（ステップ２７１）、上記現在の画素が「背景」画素としてラベルが付与されているか否かを判定するために、ラベル比較部５００が、上記現在の画素を検査する（ステップ２７５）。上記現在の画素が、「背景」画素である場合には（ステップ２７６）、色差比較部５０５は、現在の画素の色値と順方向スキャン時の背景推定色値との間の色差（距離deFS）と、現在の画素の色値と現在の走査線上の最新の背景推定色との間の色差（距離de）とを比較する（ステップ２７８）。距離deFSが距離deより小さい場合（ステップ２７９）、割当部５０４は、順方向スキャン時の背景推定色を、逆方向スキャン時の背景推定色（第２スキャン時背景推定色４６５）にコピーする（ステップ２８１）。一方、距離deFSが距離de以上である場合には（ステップ２８０）、割当部５０４は、最新の背景推定色を、逆方向スキャン時の背景推定色（第２スキャン時背景推定色４６５）にコピーする（ステップ２８２）。
ステップ２７５において、上記現在の画素が「背景」画素ではない場合（ステップ２７７）、上記現在の画素が「不明画素であって、かつ、エッジ画素ではない」か否かを判定するために、ラベル比較部５００は、上記現在の画素を検査する（ステップ２８３）。これらの領域において、ステップ２８３では、最新の背景推定色に十分近似しているか否かを判定するために、大きい色差閾値（TH_MAX_BG_SIM）を用いて、画素の色値が検査される。上記色差閾値により、現在の画素に局所背景推定色を適用する際に用いられる色のバリエーションを広げることが可能となる。ステップ２８３では、テキスト濃度特徴取得部５０６によって取得された、テキスト濃度特徴値も検査される。これにより、テキストから離れた領域にも積極的に適用することが可能となる。上記各条件が満足されれば（ステップ２８４）、カラーバッファ更新部５０１が、現在の画素の色値をカラーバッファ５０２に追加して、カラーバッファ集約部５０３が、ラベルおよび推定色を当該走査線につき更新する（ステップ２８６）。これにより、最初の全体の色に基づくラベル付与処理によって見落とされた局所背景領域に背景色を適用することが可能となる。
本発明の一実施形態では、グリフ画素テストが逆方向スキャン時に適用される。逆方向スキャン時のグリフ画素テストの実施形態における処理の流れについて図１９に示す。一実施形態では、システムの動作に応じて２つの基本モードのうちから１つのモードが選択され、それに逆方向スキャンが適用される（ステップ３００）。
非テキスト画素をグリフとして認識してしまう誤認の可能性は、検証モードに移行したときに、確認され対処される（ステップ３０１以降）。検証モードの場合（ステップ３０１）、逆方向スキャンによって新たなグリフ画素が追加されることはなく、順方向スキャン時に識別されたグリフ画素は、グリフ判定部４１０が、当該画素が本当にグリフ画素であるかを確認するために検査する。グリフのラベルを付与するまでに、順方向と逆方向との両方向のスキャンで、画素がグリフであることが示されなければならない。この厳密な検査によって、グリフにおけるいくつかの小さな穴が生じる可能性もあるが、上記誤認を減らすことができる。上記検証モードの実施形態によれば、グリフ判定部４１０は、現在の画素のラベルを検査する（ステップ３０３）。上記検査は、当該画素がグリフ画素であるか否かを判定するために行われる。上記画素がグリフ画素ではない場合（ステップ３０４）、グリフ判定部４１０のラベリング部７０２は、画素のラベルを変更しない（ステップ３０６）。上記画素のラベルがグリフ画素である場合（ステップ３０５）、閾値比較部７０１は、背景推定色と画素の色値との間の色差と、類似度の閾値とを比較する（ステップ３１０）。上記色差が上記閾値よりも小さい場合（ステップ３１１）、ラベリング部７０２は、当該画素はグリフ画素であるとして、ラベルを付与する（ステップ３１３）。一方、上記色差が、上記閾値以上である場合（ステップ３１２）、ラベリング部７０２は、当該画素に「不明」画素のラベルを付与する（ステップ３１４）。
テキスト画素をグリフとして認識し損なうグリフ画素の見落としの可能性は、グリフ追加モードに移行したときに、グリフ判定部４１０において、確認され対処される（ステップ３０２以降）。グリフ追加モードの場合（ステップ３０２）、グリフ判定部４１０は、前回のグリフ画素および「不明」画素の両方を検査する。グリフ判定部４１０は、当該画素が「不明」画素およびグリフ画素のいずれかのラベルが付与されているか否かを判定するために、現在の画素のラベルを検査する（ステップ３０７）。「不明」画素およびグリフ画素のいずれのラベルも付与されていない場合（ステップ３０９）、ラベリング部７０２は、画素のラベルを変更しない（ステップ３１５）。「画素」およびグリフ画素のいずれかのラベルが付与されている場合（ステップ３０８）、強端信号（a strong edge signal）が存在する２つの局所背景の境界の間で、誤ってグリフと認定された画素を排除するのに役立つ検査条件が適用される。局所背景の境界にぶつかると、順方向スキャン推定色と逆方向スキャン推定色との間で不一致が起こる。一実施形態では、グリフ判定部４１０は、追加の検査を行う。すなわち、グリフ判定部４１０の閾値比較部７０１は、順方向スキャン時の推定色LB_FS（第１背景推定色４５６／第１スキャン時背景推定色）と、逆方向スキャン時の推定色LB_BS（第３背景推定色４６１／第２スキャン時背景推定色）との間の背景色差４６８（距離deLB）を検査する。推定色が異なれば（ステップ３１１）、ラベリング部７０２は、画素には不明のラベルを付与する。安定した背景推定色では、LB_FSとLB_BSとが一致し、グリフ画素のラベルを受け付ける（ステップ３１３）。上記検査条件は、グリフ生成処理の、信頼性のない領域および境界におけるグリフを排除するという処理能力を高めるのに役立つ。
なお、順方向スキャン時の推定色LB_FS（第１スキャン時背景推定色）と逆方向スキャン時の推定色LB_BS（第２スキャン時背景推定色）との間の背景色差４６８は、色差算出部４０８によって算出され、グリフ判定部４１０に供給される。
本発明の一実施形態では、背景色の集約画像およびグリフ色の集約画像は、続きの処理モジュールで利用するために出力される。出力された画像の一利用例としては、グリフマスクの追加の検証に用いることが挙げられる。特に、複合文書においては、グリフマスクはエラーを含んでいることがある。これらのエラーの影響を最小限に抑えるために、続きの処理では、検証を行うかまたはグリフマスクの追加を行う。一実施形態では、グリフ生成処理は、高解像度処理である。高解像度処理は、原稿の広い部分では欠点があるが、精密なレベルで判定を行える。上記処理では、大きなテキストの判定、および、順方向スキャンでのグリフ判定や逆方向スキャンでのグリフ判定では困難なタイプのエラーの識別を行う。一実施形態では、背景色およびテキスト色の結果を出力するのに加えて、色についてさらなる特徴値が形成される推定値として算出されてもよい。本実施形態では、低解像度ブロックの画素についての統計値が集められる。統計値の具体例としては、最大輝度値に対応するグリフ色や、最小輝度値に対応するグリフ色や、最大輝度値に対応する局所背景色や、最小輝度値に対応する局所背景色や、ブロックあたりの通常テキスト画素数や、ブロックあたりの反転画素数などが挙げられる。
本発明の一実施形態では、順方向スキャンおよび逆方向スキャンの両方による色推定ステップと、グリフ判定ステップとが含まれていてもよい。あるいは、一方向色推定ステップとグリフ判定ステップとが含まれていてもよい。
順方向スキャンおよび逆方向スキャンとは、第１の方向におけるスキャンとそのパターン、および、第２の方向におけるスキャンとそのパターンとを示している。スキャン方向とパターンの具体例としては、水平ラスタスキャン、垂直ラスタスキャン、水平蛇行スキャン、垂直蛇行スキャン、下方対角線ラスタスキャン、下方対角線蛇行スキャン、上方対角線ラスタスキャン、上方対角線蛇行スキャンなどが挙げられる。
これまで述べてきた明細書の記載に用いた用語および表現は、発明を説明するために用いた用語であって、発明の範囲を限定するためのものではない。ここで用いた用語および表現によって、ここに述べた本発明の特徴またはその一部と等価なものを排除する意図はない。本発明の範囲は、添付の特許請求の範囲に記載の各請求項によってのみ定義されることを理解されたい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔補足事項〕
本発明のグリフ検出方法は、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出方法であって、（ａ）デジタル画像の中から、該デジタル画像の第１スキャン方向に対応する第１走査線に含まれる注目画素を決定するステップと、（ｂ）上記注目画素の第１背景推定色を取得するステップと、（ｃ）上記注目画素の注目画素色値を取得するステップと、（ｄ）第１色値群を生成するために、上記注目画素の周辺領域における第１画素群の画素ごとの色値を取得するステップと、（ｅ）上記注目画素色値と上記第１背景推定色との間の第１色差を算出するステップと、（ｆ）第１色差群を生成するために、上記第１背景推定色と上記第１色値群の各色値との間の色差を算出するステップと、（ｇ）上記第１色差群に基づいて、動的閾値を決定するステップと、（ｈ）上記動的閾値と上記第１色差とを比較するステップと、（ｉ）上記比較の結果、第１条件が満たされた場合に、上記注目画素をグリフ画素としてラベリングするステップと、（ｊ）上記比較の結果、第２条件が満たされた場合に、上記注目画素を非グリフ画素としてラベリングするステップとを含むことを特徴としている。
（ａ）上記第１色差を算出するステップは、上記注目画素色値と上記第１背景推定色との間の第１色距離を算出するステップを含み、（ｂ）上記第１背景推定色と上記第１色値群の各色値との間の色差を算出するステップは、上記第１背景推定色と上記第１色値群の各色値との間の色距離を算出するステップを含んでいてもよい。
上記動的閾値を決定するステップは、（ａ）上記第１色差群の分布を判定するステップと、（ｂ）上記第１色差群の平均を算出するステップとを含んでいることが好ましい。
上記動的閾値を決定するステップは、さらに、（ａ）原稿背景推定色値を取得するステップと、（ｂ）上記原稿背景推定色値と上記注目画素色値との間の原稿色差を算出するステップとを含んでいることが好ましい。
上記動的閾値を決定するステップは、さらに、上記平均と第１閾値とが第１条件を満たす場合かつ上記原稿色差と第２閾値とが第２条件を満たす場合に、第３条件を満たすべく、上記動的閾値を排除値に設定するステップを含んでいることが好ましい。
上記注目画素色値は複数の色チャネルを含み、上記排除値は上記複数の色チャネルの各々の最大値を合計したものであることが好ましい。
上記動的閾値を決定するステップは、さらに、上記第３条件を満たさない場合かつ上記分布と第３閾値とが第４条件を満たす場合かつ上記平均と第４閾値とが第５条件を満たす場合に、上記動的閾値を受容値に設定するステップを含んでいることが好ましい。
上記受容値は、上記第１色差群の最小値であることが好ましい。
本発明のグリフ検出システムは、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出システムであって、（ａ）上記デジタル画像から、該デジタル画像の第１スキャン方向に対応する第１走査線の一部である注目画素を選択する注目画素選択手段と、（ｂ）上記注目画素の第１背景推定色を取得する第１背景推定色取得手段と、（ｃ）上記注目画素の注目画素色値を取得する注目画素色値取得手段と、（ｄ）第１色値群を生成するために、上記注目画素の周辺領域における第１画素群の画素ごとの色値を取得する周辺画素色値取得手段と、（ｅ）上記注目画素色値と上記第１背景推定色との間の第１色差を算出する第１色差算出手段と、（ｆ）第１色差群を生成するために、上記第１背景推定色と上記第１色値群の各色値との間の色差を算出する色差群算出手段と、（ｇ）上記第１色差群に基づいて、動的閾値を決定する動的閾値決定手段と、（ｈ）上記動的閾値と上記第１色差とを比較する閾値比較手段と、（ｉ）上記比較の結果、第１条件が満たされた場合に、上記注目画素をグリフ画素としてラベリングし、上記比較の結果、第２条件が満たされた場合に、上記注目画素を非グリフ画素としてラベリングするラベリング手段とを備えていることを特徴としている。
（ａ）上記第１色差算出手段は、上記注目画素色値と上記第１背景推定色との間の第１色距離を算出する第１色距離算出手段を含み、（ｂ）上記色差群算出手段は、上記第１背景推定色と上記第１色値群の各色値との間の色距離を算出する色距離群算出手段を含んでいてもよい。
上記動的閾値決定手段は、（ａ）上記第１色差群の分布を判定する分布判定手段と、（ｂ）上記第１色差群の平均を算出する平均算出手段とを含むことが好ましい。
上記動的閾値決定手段は、さらに、（ａ）原稿背景推定色値を取得する原稿背景色取得手段と、（ｂ）上記原稿背景推定色値と上記注目画素色値との間の原稿色差を算出する原稿背景色差算出手段とを含むことが好ましい。
上記動的閾値決定手段は、さらに、上記平均と第１閾値とが第１条件を満たす場合かつ上記原稿色差と第２閾値とが第２条件を満たす場合に、第３条件を満たすべく、上記動的閾値を排除値に設定することが好ましい。
上記注目画素色値は複数の色チャネルを含み、上記排除値は上記複数の色チャネルの各々の最大値を合計したものであることが好ましい。
上記動的閾値決定手段は、さらに、上記第３条件を満たさない場合かつ上記分布と第３閾値とが第４条件を満たす場合かつ上記平均と第４閾値とが第５条件を満たす場合に、上記動的閾値を受容値に設定することが好ましい。
上記受容値は、上記第１色差群の最小値であることが好ましい。
以上のように、本発明のグリフ検出方法は、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出方法であって、（ａ）デジタル画像の中から、該デジタル画像の第１スキャン方向に対応する第１走査線に含まれる注目画素を決定するステップと、（ｂ）上記注目画素の第１背景推定色を取得するステップと、（ｃ）上記注目画素の注目画素色値を取得するステップと、（ｄ）第１色値群を生成するために、上記注目画素の周辺領域における第１画素群の画素ごとの色値を取得するステップと、（ｅ）上記注目画素色値と上記第１背景推定色との間の第１色差を算出するステップと、（ｆ）第１色差群を生成するために、上記第１背景推定色と上記第１色値群の各色値との間の色差を算出するステップと、（ｇ）上記第１色差群に基づいて、動的閾値を決定するステップと、（ｈ）上記動的閾値と上記第１色差とを比較するステップと、（ｉ）上記比較の結果、第１条件が満たされた場合に、上記注目画素をグリフ画素としてラベリングするステップと、（ｊ）上記比較の結果、第２条件が満たされた場合に、上記注目画素を非グリフ画素としてラベリングするステップとを含むことを特徴としている。
本発明のグリフ検出システムは、上記課題を解決するために、デジタル画像におけるグリフを検出するグリフ検出システムであって、（ａ）上記デジタル画像から、該デジタル画像の第１スキャン方向に対応する第１走査線の一部である注目画素を選択する注目画素選択手段と、（ｂ）上記注目画素の第１背景推定色を取得する第１背景推定色取得手段と、（ｃ）上記注目画素の注目画素色値を取得する注目画素色値取得手段と、（ｄ）第１色値群を生成するために、上記注目画素の周辺領域における第１画素群の画素ごとの色値を取得する周辺画素色値取得手段と、（ｅ）上記注目画素色値と上記第１背景推定色との間の第１色差を算出する第１色差算出手段と、（ｆ）第１色差群を生成するために、上記第１背景推定色と上記第１色値群の各色値との間の色差を算出する色差群算出手段と、（ｇ）上記第１色差群に基づいて、動的閾値を決定する動的閾値決定手段と、（ｈ）上記動的閾値と上記第１色差とを比較する閾値比較手段と、（ｉ）上記比較の結果、第１条件が満たされた場合に、上記注目画素をグリフ画素としてラベリングし、上記比較の結果、第２条件が満たされた場合に、上記注目画素を非グリフ画素としてラベリングするラベリング手段とを備えていることを特徴としている。
したがって、グリフ検出の精度を向上させる方法およびシステムを実現できるという効果を奏する。
最後に、本発明のシステムの各ブロック、特に各種選択部、各種色推定部、各種算出部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、本発明のシステムは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである本発明のシステムの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記本発明のシステムに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、本発明のシステムを通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明のシステムは、順方向スキャンと逆方向スキャンとの両方を用いて、原稿等の背景色を推定するので、背景色推定の精度が向上する。したがって、スキャンした原稿等の背景色を推定するのに好適に用いられる。特に、反転原稿等の背景色推定に最適である。
下地領域および３つの局所背景領域を含むデジタル画像の一例を示す図である。 図１のデジタル画像に対応する背景画像を示す図である。 データ選択部と色推定部とを含む、本発明の実施形態を示すブロック図である。 データ選択部と色推定部と選択条件とを含む、本発明の実施形態を示すブロック図である。 画像エッジからピクセルまでの距離に基づいて、カラーバッファに入力するためのピクセルを選択するステップを含む、本発明の実施形態を示すフローチャートである。 選択条件としてのエッジ検出結果を用いるステップに先行して、エッジ検出結果に対して充填および膨張処理をするステップを含む、本発明の実施形態を示すフローチャートである。 データ選択部と色推定部と均一度算出部とを含む、本発明の実施形態を示すブロック図である。 均一度算出部とエッジ濃度算出部とを含む、本発明の実施形態を示すブロック図である。 均一度算出部とエッジ濃度算出部と重み係数算出部とを含む、本発明の実施形態を示すブロック図である。 重み係数算出部を含む、本発明の実施形態を示すブロック図である。 複数のカラーバッファを含む、非局所的分析に基づくカラーバッファ選択の実施形態を示すブロック図である。 前景色推定部を含む、本発明の実施形態を示すブロック図である。 背景色推定ステップの往復と、グリフピクセル選択ステップの往復とを含む、本発明の実施形態を示すフローチャートである。 本発明の実施形態における、順方向スキャンの背景色推定ステップと、順方向スキャンのグリフピクセル選択ステップと、逆方向スキャンの背景色推定ステップと、逆方向スキャンのグリフピクセル選択ステップとの間に付随するデータを示す図である。 順方向スキャンの背景色推定ステップを含む、本発明の実施形態を示すフローチャートである。 順方向スキャンの背景色推定ステップを含む、本発明の実施形態を示すフローチャートである。 順方向スキャンのグリフピクセル選択ステップを含む、本発明の実施形態を示すフローチャートである。 動的に閾値を決定するステップを含む、本発明の実施形態を示すフローチャートである。 逆方向スキャンの背景色推定ステップを含む、本発明の実施形態を示すフローチャートである。 逆方向スキャンの背景色推定ステップを含む、本発明の実施形態を示すフローチャートである。 逆方向スキャンのグリフピクセル選択ステップを含む、本発明の実施形態を示すフローチャートである。 本発明の背景色推定システム（およびグリフ検出システム）の構成を示すブロック図である。 本発明の背景色推定システムが備える背景色推定部の要部構成を示すブロック図である。 本発明のグリフ検出システムが備えるグリフ判定部の要部構成を示すブロック図である。
符号の説明
１０ ドキュメント画像
１２ 下地領域
１４ 第１局所背景領域
１６ 第２局所背景領域
１８ 第３局所背景領域
２０ 背景画像
２２ 下地領域
２４ 第１局所背景領域
２６ 第２局所背景領域
２８ 第３局所背景領域
３０ 入力画像データ
３２ データ選択部
３３ 選択データ
３４ 色推定部
３６ 背景色
４０ 入力画像データ
４１ 選択条件
４２ データ選択部
４３ 選択データ
４４ 色推定部
４６ 推定色
７０ 入力画像データ
７２ 均一度算出部
７３ 均一度
７４ データ選択部
７６ 背景色推定部
７７ 推定色
８０ 入力画像データ
８２ 均一度算出部
８３ 均一度
８４ エッジ濃度算出部
８５ エッジ濃度
８６ データ選択部
８７ 選択データ
８８ 色推定部
８９ 推定色
９０ 入力画像データ
９２ 均一度算出部
９３ 均一度
９４ エッジ濃度算出部
９５ エッジ濃度
９６ データ選択部
９７ 選択データ
９８ 重み係数算出部
９９ 重み係数
１００ 色推定部
１０１ 背景色
１１０ 入力画像データ
１１２ データ選択部
１１３ 選択データ
１１４ 重み係数算出部
１１５ データ重み係数
１１６ 色推定部
１１７ 推定色
１２０ 画像データ値
１２１ 非局所色情報
１２２ データ選択部
１２３ カラーバッファ選択信号
１２４ 色推定部
１２５ カラーバッファ
１２６ カラーバッファ
１２７ カラーバッファ
１２８ バッファ集約算出部
１４０ 画像データ
１４２ 背景データ選択部
１４４ 背景色推定部
１４５ 背景色
１４６ 前景データ選択部
１４８ 前景色推定部
１４９ 前景推定色
１８０ 入力画像
１８１ 初期分類マップ
１８２ 初期エッジマップ
１８３ 初期グリフマスク
１８４ 順方向スキャン時背景推定色
１８５ 背景分類マップ
１８６ テキスト濃度マップ
１８７ 更新分類マップ
１８８ 更新分類マップ
１８９ 逆方向スキャン時背景推定色
１９０ バイナリグリフマスク
１９１ 不明バイナリマスク
１９２ 背景推定色
１９３ グリフ推定色
４００ 背景色推定システム
４０１ 注目画素選択部（注目画素選択手段）
４０２ 背景ラベル取得部（ラベル取得手段／背景ラベル取得手段／更新後背景ラベル取
得手段）
４０３ エッジラベル取得部（ラベル取得手段／エッジラベル取得手段）
４０４ ピクトリアルラベル取得部（ラベル取得手段／ピクトリアルラベル取得手段）
４０５ 色値取得部（色値取得手段／注目画素色値取得手段／周辺画素色値取得手段）
４０６ 背景推定色取得部（背景推定色取得手段／第１背景推定色取得手段／第３背景推
定色取得手段）
４０７ 前回背景推定色取得部（前回背景推定色取得手段／第２スキャン時前回背景推定
色取得手段）
４０８ 色差算出部（色差算出手段／第１色差算出手段／第２色差算出手段／第３色差算
出手段／第４色差算出手段／色差群算出手段）
４０９ 背景色推定部（第１スキャン時背景色推定手段／第２スキャン時背景推定色推定
手段）
４１０ グリフ判定部（ラベル取得手段／グリフ判定手段）
４１１ 走査線関連付部（走査線関連付け手段）
４５０ デジタル画像
４５１ 注目画素
４５２ 背景ラベル
４５２’更新後背景ラベル
４５３ エッジラベル
４５４ ピクトリアルラベル
４５５ 色値（注目画素色値）
４５６ 第１背景推定色（第１スキャン時背景推定色）
４５７ 前回背景推定色
４５８ 第１色差
４５９ 第２色差
４６０ 第１スキャン時背景推定色
４６１ 第３背景推定色（第２スキャン時背景推定色）
４６２ 第２スキャン時前回背景推定色
４６３ 第３色差
４６４ 第４色差
４６５ 第２スキャン時背景推定色
４６６ 第１色値群
４６７ 第１色差群
５００ ラベル比較部（第１比較手段）
５０１ カラーバッファ更新部（カラーバッファ更新手段／第１カラーバッファ更新手段
／第２カラーバッファ更新手段／第３カラーバッファ更新手段）
５０２ カラーバッファ（第１カラーバッファ／第２カラーバッファ／第３カラーバッフ
ァ）
５０３ カラーバッファ集約部（第１カラーバッファ集約手段／第２カラーバッファ集約
手段／第３カラーバッファ集約手段）
５０４ 割当部（割当手段／第１カラーバッファ割当手段／ピクトリアル色値割当手段／
第２カラーバッファ割当手段／第３カラーバッファ割当手段／第１スキャン割当
手段）
５０５ 色差比較部（色差比較手段）
５０６ テキスト濃度特徴取得部（テキスト濃度特徴取得手段）
６００ グリフ検出システム
７００ 動的閾値決定部（動的閾値決定手段）
７０１ 閾値比較部（閾値比較手段）
７０２ ラベリング部（ラベリング手段）

Claims (14)

  1. デジタル画像におけるグリフを検出するグリフ検出方法であって、
    （ａ）デジタル画像における注目画素を決定するステップと、
    （ｂ）上記注目画素に関連付けられたラベル値を取得するステップと、
    （ｃ）上記注目画素の第１スキャン時背景推定色を取得するステップと、
    （ｄ）上記注目画素の第２スキャン時背景推定色を取得するステップと、
    （ｅ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出するステップと、
    （ｆ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するステップとを含むことを特徴とするグリフ検出方法。
  2. 上記背景色差が第１条件を満たす場合に、第１カラーバッファを、上記注目画素に関連付けられた色値に更新するステップを含むことを特徴とする請求項１に記載のグリフ検出方法。
  3. 上記第１カラーバッファの内容に基づくグリフ画素色を、上記注目画素に割り当てるステップをさらに含むことを特徴とする請求項２に記載のグリフ検出方法。
  4. 上記背景色差を算出するステップは、上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の色距離を算出するステップを含むことを特徴とする請求項１に記載のグリフ検出方法。
  5. 上記第１スキャン時背景推定色は、第１スキャン方向に対応し、上記第２スキャン時背景推定色は、第２スキャン方向に対応することを特徴とする請求項１に記載のグリフ検出方法。
  6. 上記第１スキャン方向は、順方向のスキャン方向であり、上記第２スキャン方向は、逆方向のスキャン方向であることを特徴とする請求項５に記載のグリフ検出方法。
  7. デジタル画像におけるグリフを検出するグリフ検出システムであって、
    （ａ）デジタル画像における注目画素を決定する注目画素選択手段と、
    （ｂ）上記注目画素に関連付けられたラベル値を取得するラベル取得手段と、
    （ｃ）上記注目画素の第１スキャン時背景推定色と第２スキャン時背景推定色とを取得する背景推定色取得手段と、
    （ｄ）上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の背景色差を算出する色差算出手段と、
    （ｅ）上記背景色差が第１条件を満たす場合に、上記ラベル値から第２ラベル値へとラベル値を変更するラベリング手段とを含むことを特徴とするグリフ検出システム。
  8. 上記背景色差が第１条件を満たす場合に、第１カラーバッファを、上記注目画素に関連付けられた色値に更新するカラーバッファ更新手段を含むことを特徴とする請求項７に記載のグリフ検出システム。
  9. 上記第１カラーバッファの内容に基づくグリフ画素色を、上記注目画素に割り当てる割当手段をさらに含むことを特徴とする請求項８に記載のグリフ検出システム。
  10. 上記色差算出手段は、上記第１スキャン時背景推定色と上記第２スキャン時背景推定色との間の色距離を算出することを特徴とする請求項７に記載のグリフ検出システム。
  11. 上記第１スキャン時背景推定色は、第１スキャン方向に対応し、上記第２スキャン時背景推定色は、第２スキャン方向に対応することを特徴とする請求項７に記載のグリフ検出システム。
  12. 上記第１スキャン方向は、順方向のスキャン方向であり、上記第２スキャン方向は、逆方向のスキャン方向であることを特徴とする請求項１１に記載のグリフ検出システム。
  13. コンピュータを、請求項７〜１２のいずれか１項に記載のグリフ検出システムの各手段として機能させるための制御プログラム。
  14. 請求項１３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008226178A 2007-10-30 2008-09-03 背景色を推定する方法およびシステム Expired - Fee Related JP4590471B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US98381907P 2007-10-30 2007-10-30
US11/930,500 US8121403B2 (en) 2007-10-30 2007-10-31 Methods and systems for glyph-pixel selection

Publications (2)

Publication Number Publication Date
JP2009111979A true JP2009111979A (ja) 2009-05-21
JP4590471B2 JP4590471B2 (ja) 2010-12-01

Family

ID=40582942

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008226178A Expired - Fee Related JP4590471B2 (ja) 2007-10-30 2008-09-03 背景色を推定する方法およびシステム
JP2008226177A Expired - Fee Related JP4590470B2 (ja) 2007-10-30 2008-09-03 背景色を推定する方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008226177A Expired - Fee Related JP4590470B2 (ja) 2007-10-30 2008-09-03 背景色を推定する方法およびシステム

Country Status (2)

Country Link
US (2) US8014596B2 (ja)
JP (2) JP4590471B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059295A1 (en) * 2005-09-30 2009-03-05 Mitsuru Mushano Plotting Device and Image Data Creation Method
US7856142B2 (en) * 2007-01-26 2010-12-21 Sharp Laboratories Of America, Inc. Methods and systems for detecting character content in a digital image
US8326051B1 (en) * 2008-02-22 2012-12-04 Teradici Corporation Method and apparatus for progressive encoding for text transmission
US20120019717A1 (en) * 2009-01-06 2012-01-26 Nec Corporation Credit information segment detection method, credit information segment detection device, and credit information segment detection program
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
KR101640214B1 (ko) * 2009-11-19 2016-07-15 삼성전자 주식회사 표시부 출력 제어 방법 및 이를 지원하는 휴대 단말기
JP5595151B2 (ja) * 2010-07-13 2014-09-24 キヤノン株式会社 画像処理装置、画像処理装置における圧縮方法、および、プログラム
JP5643574B2 (ja) 2010-08-26 2014-12-17 キヤノン株式会社 画像処理装置及び画像処理方法
US9218680B2 (en) * 2010-09-01 2015-12-22 K-Nfb Reading Technology, Inc. Systems and methods for rendering graphical content and glyphs
TWI449407B (zh) * 2011-01-28 2014-08-11 Realtek Semiconductor Corp 顯示器、影像處理裝置以及影像處理方法
US8571343B2 (en) * 2011-03-01 2013-10-29 Sharp Laboratories Of America, Inc. Methods and systems for document-image correction
CN108022252A (zh) * 2012-01-19 2018-05-11 索尼公司 图像处理设备和方法
US8818135B1 (en) * 2012-02-22 2014-08-26 Adobe Systems Incorporated Low memory content aware fill
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US9014543B1 (en) * 2012-10-23 2015-04-21 Google Inc. Methods and systems configured for processing video frames into animation
US9363517B2 (en) 2013-02-28 2016-06-07 Broadcom Corporation Indexed color history in image coding
TWI506568B (zh) * 2013-10-04 2015-11-01 Senao Networks Inc Modeling method and modeling device for convergent background
KR102146560B1 (ko) * 2014-02-17 2020-08-20 삼성전자주식회사 영상 보정 방법 및 장치
US10127700B2 (en) * 2014-03-31 2018-11-13 Samsung Display Co., Ltd. Generation of display overlay parameters utilizing touch inputs
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
CN107784028A (zh) * 2016-08-31 2018-03-09 李宝玉 一种信息发布与管理的方法
CN109658372B (zh) * 2017-10-10 2021-01-26 凌云光技术股份有限公司 一种图像均匀性评估方法及装置
CN110570316A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993443A (ja) * 1995-05-16 1997-04-04 Sanyo Electric Co Ltd カラーモノクロ画像変換方法および被検査対象のエッジ位置検出方法
JPH09186878A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像形成方法および画像形成装置
JPH11288465A (ja) * 1998-02-06 1999-10-19 Fujitsu Ltd カラー画像処理装置及びパターン抽出装置
JP2001052189A (ja) * 1999-08-09 2001-02-23 Max Co Ltd カラー画像の輪郭線抽出装置
JP2003016444A (ja) * 2001-07-03 2003-01-17 Nec Corp パターン認識装置とそのパターン認識方法、及びパターン認識プログラム

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157740A (en) * 1991-02-07 1992-10-20 Unisys Corporation Method for background suppression in an image data processing system
US5566255A (en) 1991-03-05 1996-10-15 Ricoh Company, Ltd. Segmenting a page of a document into areas which are text and areas which are halftone
JPH06121161A (ja) * 1991-05-14 1994-04-28 Fuji Xerox Co Ltd カラー画像処理装置の文字処理方式
JP3276985B2 (ja) 1991-06-27 2002-04-22 ゼロックス・コーポレーション イメージピクセル処理方法
US5696842A (en) * 1991-07-04 1997-12-09 Ricoh Company, Ltd. Image processing system for adaptive coding of color document images
US5436981A (en) * 1992-06-24 1995-07-25 Canon Kabushiki Kaisha Image processing method, and apparatus therefor
US5379130A (en) * 1992-12-02 1995-01-03 Industrial Technology Research Institute Text/image separation method
US5339172A (en) * 1993-06-11 1994-08-16 Xerox Corporation Apparatus and method for segmenting an input image in one of a plurality of modes
US5362796A (en) * 1993-08-09 1994-11-08 Isp Investments Inc. Molded crosslinked vinyl lactam polymer gel and method of preparation
US5588072A (en) * 1993-12-22 1996-12-24 Canon Kabushiki Kaisha Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks
JPH07220091A (ja) 1994-02-04 1995-08-18 Canon Inc 画像処理装置及び方法
EP0677812B1 (en) 1994-04-15 2001-11-21 Canon Kabushiki Kaisha Document storage and retrieval system
DE69519323T2 (de) 1994-04-15 2001-04-12 Canon Kk System zur Seitensegmentierung und Zeichenerkennung
JPH08125841A (ja) 1994-10-26 1996-05-17 Canon Inc 画像処理装置及び方法
US6215904B1 (en) * 1994-11-30 2001-04-10 Xerox Corporation Apparatus and method for selecting encoding schemes based upon image content
US5649025A (en) 1995-02-03 1997-07-15 Xerox Corporation Multithresholding for document image segmentation
US5946420A (en) 1996-05-10 1999-08-31 Hewlett-Packard Company Printing with text enhancement: recognition by sensing paired edges, or by disqualification in pictorial regions
US5852678A (en) 1996-05-30 1998-12-22 Xerox Corporation Detection and rendering of text in tinted areas
JP2973944B2 (ja) 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
US5956468A (en) 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
US5778092A (en) 1996-12-20 1998-07-07 Xerox Corporation Method and apparatus for compressing color or gray scale documents
US5900953A (en) 1997-06-17 1999-05-04 At&T Corp Method and apparatus for extracting a foreground image and a background image from a color document image
US6014464A (en) * 1997-10-21 2000-01-11 Kurzweil Educational Systems, Inc. Compression/ decompression algorithm for image documents having text graphical and color content
US6347153B1 (en) * 1998-01-21 2002-02-12 Xerox Corporation Method and system for classifying and processing of pixels of image data
US6175650B1 (en) * 1998-01-26 2001-01-16 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
US6175427B1 (en) 1998-04-20 2001-01-16 Xerox Corporation System and method of tonal correction of independent regions on a compound document
US6233353B1 (en) 1998-06-29 2001-05-15 Xerox Corporation System for segmenting line drawings from text within a binary digital image
US6308179B1 (en) 1998-08-31 2001-10-23 Xerox Corporation User level controlled mechanism inter-positioned in a read/write path of a property-based document management system
US6360009B2 (en) 1998-09-23 2002-03-19 Xerox Corporation Image segmentation apparatus and method
US6782129B1 (en) * 1998-09-23 2004-08-24 Xerox Corporation Image segmentation apparatus and method
US6389164B2 (en) * 1998-09-23 2002-05-14 Xerox Corporation Image segmentation apparatus and method
US6272240B1 (en) 1998-09-23 2001-08-07 Xerox Corporation Image segmentation apparatus and method
US6178260B1 (en) 1998-09-23 2001-01-23 Xerox Corporation Image segmentation apparatus and method
US6295371B1 (en) * 1998-10-22 2001-09-25 Xerox Corporation Method and apparatus for image processing employing image segmentation using tokenization
US6373981B1 (en) 1998-12-21 2002-04-16 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
US6400844B1 (en) * 1998-12-02 2002-06-04 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
JP3748172B2 (ja) * 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
US6731789B1 (en) * 1999-01-29 2004-05-04 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
US6594401B1 (en) 1999-10-20 2003-07-15 Xerox Corporation Detection and elimination of scanning artifacts
US6577762B1 (en) 1999-10-26 2003-06-10 Xerox Corporation Background surface thresholding
DE19958553A1 (de) * 1999-12-04 2001-06-07 Luratech Ges Fuer Luft Und Rau Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
EP1119186A3 (en) * 2000-01-19 2002-07-31 Xerox Corporation Method for generating anti-aliased text and line graphics in compressed document images
US6473522B1 (en) * 2000-03-14 2002-10-29 Intel Corporation Estimating text color and segmentation of images
US6766053B2 (en) * 2000-12-15 2004-07-20 Xerox Corporation Method and apparatus for classifying images and/or image regions based on texture information
US6941014B2 (en) * 2000-12-15 2005-09-06 Xerox Corporation Method and apparatus for segmenting an image using a combination of image segmentation techniques
US6522791B2 (en) 2001-01-23 2003-02-18 Xerox Corporation Dynamic user interface with scanned image improvement assist
US6853755B2 (en) * 2001-03-28 2005-02-08 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive compression of scanned documents
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
US6983068B2 (en) 2001-09-28 2006-01-03 Xerox Corporation Picture/graphics classification system and method
US6973213B2 (en) * 2001-10-12 2005-12-06 Xerox Corporation Background-based image segmentation
US7424129B2 (en) * 2001-11-19 2008-09-09 Ricoh Company, Ltd Printing system with embedded audio/video content recognition and processing
EP1318665B1 (en) * 2001-12-06 2015-02-25 Canon Kabushiki Kaisha Image processing apparatus and method, program, and storage medium
US7027647B2 (en) 2001-12-31 2006-04-11 Hewlett-Packard Development Company, L.P. Coder matched layer separation for compression of compound documents
US8103104B2 (en) * 2002-01-11 2012-01-24 Hewlett-Packard Development Company, L.P. Text extraction and its application to compound document image compression
US6941024B2 (en) 2002-01-14 2005-09-06 Hewlett-Packard Development Company, L.P. Coder matched layer separation and interpolation for compression of compound documents
US7085422B2 (en) 2002-02-20 2006-08-01 International Business Machines Corporation Layer based compression of digital images
US20040205568A1 (en) 2002-03-01 2004-10-14 Breuel Thomas M. Method and system for document image layout deconstruction and redisplay system
US6859204B2 (en) 2002-07-01 2005-02-22 Xerox Corporation Dynamic threshold system for multiple raster content (MRC) representation of documents
US6987882B2 (en) * 2002-07-01 2006-01-17 Xerox Corporation Separation system for Multiple Raster Content (MRC) representation of documents
US6993185B2 (en) * 2002-08-30 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method of texture-based color document segmentation
US6918706B2 (en) 2002-10-31 2005-07-19 Canon Kabushiki Kaisha Reducing a difference in picture quality between deteriorated and non-deteriorated images using a printing apparatus
US20040096102A1 (en) 2002-11-18 2004-05-20 Xerox Corporation Methodology for scanned color document segmentation
JP3855939B2 (ja) 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
US7079687B2 (en) * 2003-03-06 2006-07-18 Seiko Epson Corporation Method and apparatus for segmentation of compound documents
US20040190028A1 (en) 2003-03-31 2004-09-30 Foster Thomas J. Post RIP image rendering in an electrographic printer in order to minimize electrophotographic process nonuniformities
US7330288B2 (en) * 2003-03-31 2008-02-12 Eastman Kodak Company Post RIP image rendering in a MICR electrographic printer to improve readability
US7317829B2 (en) * 2003-12-12 2008-01-08 Microsoft Corporation Background color estimation for scanned images
US7343046B2 (en) 2004-02-12 2008-03-11 Xerox Corporation Systems and methods for organizing image data into regions
US7379587B2 (en) * 2004-02-12 2008-05-27 Xerox Corporation Systems and methods for identifying regions within an image having similar continuity values
US20050226503A1 (en) * 2004-04-07 2005-10-13 Bailey James R Scanned image content analysis
US7596265B2 (en) * 2004-09-23 2009-09-29 Hewlett-Packard Development Company, L.P. Segmenting pixels in an image based on orientation-dependent adaptive thresholds
DE602005026862D1 (de) 2004-12-21 2011-04-21 Canon Kk Segmentierung eines digitalen bildes und herstellung einer kompakten repräsentation
US20060210159A1 (en) * 2005-03-15 2006-09-21 Yea-Shuan Huang Foreground extraction approach by using color and local structure information
JP4366397B2 (ja) * 2006-12-04 2009-11-18 キヤノン株式会社 画像読取装置および画像処理方法
US8280157B2 (en) * 2007-02-27 2012-10-02 Sharp Laboratories Of America, Inc. Methods and systems for refining text detection in a digital image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993443A (ja) * 1995-05-16 1997-04-04 Sanyo Electric Co Ltd カラーモノクロ画像変換方法および被検査対象のエッジ位置検出方法
JPH09186878A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像形成方法および画像形成装置
JPH11288465A (ja) * 1998-02-06 1999-10-19 Fujitsu Ltd カラー画像処理装置及びパターン抽出装置
JP2001052189A (ja) * 1999-08-09 2001-02-23 Max Co Ltd カラー画像の輪郭線抽出装置
JP2003016444A (ja) * 2001-07-03 2003-01-17 Nec Corp パターン認識装置とそのパターン認識方法、及びパターン認識プログラム

Also Published As

Publication number Publication date
JP4590470B2 (ja) 2010-12-01
US8014596B2 (en) 2011-09-06
JP4590471B2 (ja) 2010-12-01
US20090110320A1 (en) 2009-04-30
US8121403B2 (en) 2012-02-21
JP2009111978A (ja) 2009-05-21
US20090110319A1 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4590471B2 (ja) 背景色を推定する方法およびシステム
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
US8290264B2 (en) Image processing method and apparatus
JP4994017B2 (ja) 文書画像を示す走査データを処理するための方法
CN114494259B (zh) 一种基于人工智能的布匹缺陷检测方法
US8351720B2 (en) Method and system providing edge enhanced image binarization
JP2009535899A (ja) 走査されたカラー画像からの複調画像の生成
JP2010525486A (ja) 画像分割及び画像強調
JP2008067387A (ja) デジタル画像のテキストを識別する方法およびシステム
JP4093413B2 (ja) 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体
JP2008310817A (ja) テキストマップの中からライン構造を検出する方法および画像処理装置
JP4907060B2 (ja) ２ビットのセレクタを生成する優先されたｐｄｌセグメント化
JP4516994B2 (ja) デジタル画像の背景色を決定するための方法およびシステム
JP4649498B2 (ja) 画像データの色補正方法及びシステム
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP2004246618A (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
US20060269132A1 (en) Apparatus and method for detecting white areas within windows and selectively merging the detected white areas into the enclosing window
JP4771087B2 (ja) 画像処理装置及び画像処理プログラム
JP2001222683A (ja) 画像処理方法、画像処理装置、文字認識方法、文字認識装置及び記憶媒体
JP5118170B2 (ja) ドキュメントのマルチラスタコンテンツ（ｍｒｃ）表現についてのセグメント化方法及びシステム
JP2009124332A (ja) 画像処理装置、画像処理方法及びプログラム
Sarim et al. Non-parametric natural image matting
Bouzaraa et al. Ghost-free dual-exposure hdr for dynamic scenes
Nath et al. Image matting based on weighted color and texture sample selection
JP2000040153A (ja) 画像処理方法、画像処理プログラムを記録した媒体及び画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100913

R150 Certificate of patent or registration of utility model

Ref document number: 4590471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees