JP2004094947A - 文書の電子画像の強調方法 - Google Patents

文書の電子画像の強調方法 Download PDF

Info

Publication number
JP2004094947A
JP2004094947A JP2003298319A JP2003298319A JP2004094947A JP 2004094947 A JP2004094947 A JP 2004094947A JP 2003298319 A JP2003298319 A JP 2003298319A JP 2003298319 A JP2003298319 A JP 2003298319A JP 2004094947 A JP2004094947 A JP 2004094947A
Authority
JP
Japan
Prior art keywords
foreground
background
image
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003298319A
Other languages
English (en)
Other versions
JP4514421B2 (ja
Inventor
Eric Saund
エリック ソーンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2004094947A publication Critical patent/JP2004094947A/ja
Application granted granted Critical
Publication of JP4514421B2 publication Critical patent/JP4514421B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】 ばらつきのある照明及びカメラのホワイトバランスの推定に関連する問題を克服する、ベタの色領域を含む画像に対する改良された画像処理方法の提供。
【解決手段】 前景のマーキングが上に配置された背景を有する、文書の電子画像の強調方法は、画素から成る電子画像を受け取る工程(710)と、初期前景/背景推定を構成するために画素に仮の前景/背景ステータスを割り当てる工程(720)と、修正前景/背景推定を構成するために初期前景/背景推定を修正する工程(730)と、修正前景/背景推定が画素に対する最終的な前景/背景割当てであるか否かを決定する工程(740)と、画素に対する最終的な前景/背景割当てが達成されるまで修正前景/背景推定の修正を反復する工程と、画素に対する最終的な前景/背景割当てを供給する工程(750)と、を含む。
【選択図】    図2

Description

 本発明は、一般的に、文書のデジタルカメラ画像の色を正規化するシステム及び方法に関する。詳細には、このシステム及び方法は、そのような画像のばらつきのある照明及びコントラストを補正するためのデジタルカメラ画像の色の強調に関する。
 本発明は、画像処理及び色の正規化の技術に特に関し、従って、具体的にそれらに関して説明するが、本明細書に開示されるシステム及び方法は、他の分野及び用途においても有用であり得ることを認識されたい。
 デジタルカメラで捕捉された、ホワイトボード、黒板、フリップチャート、ドローイング、又は他の画像等の文書画像は、照明及びコントラストの影響を受ける場合がある。これらの影響を補正して、本物の文書スキャナによって供給される画像と比肩する形態にして画像を戻すために、画像処理が必要である。MicrosoftPhotoEditorのAutobalance等の、これらの画像のホワイトバランス及びコントラストを自動的に調整する既存の技術は、画像全体にわたって均一にカラートーン調整を適用するので、これらのタスクには性能が不適である。原画像の照明が不均一なので、画像全体にわたって不均一な色調整パラメータが必要である。
 不均一に照明されたホワイトボードの画像の色補正技術は、マーカーペンによる細い線画に対しては良好な性能を発揮するが、画像内容が線だけでなくベタの色領域で構成される場合には、うまくいかない。この例は、商品化された製品であるWhiteboardPhotoであり、この製品は線画は強調するが、ベタの色領域を適切に強調することはできない。
 既存のシステムは、表面にわたって徐々に変化する光源によって照明された均一な白色であると仮定される、見かけ上白い背景から前景を区別するために、ハイパスフィルタリング技術又はその等価技術に依存している。その結果、処理後のベタ領域の内部は色が飛んで見える。しかし、これらの解決法のいずれも、細い線画だけでなくベタの色領域を含む画像に対して色の正規化の技術を展開していない。
 本発明は、ばらつきのある照明及びカメラのホワイトバランスの推定に関連する問題を克服し、ベタの色領域を含む画像に対して色の正規化技術を展開する、カラー画像用の新しい改良された画像処理方法を提供する。本発明の長所は、全画像画素を前景又は背景として分類することである。この分類は、前景材料の色の強調が行われても行われなくても、例えば、前景の画像材料の合成及び再配置の目的で、背景の画素を透明に描画させる用途にも有用であり得る。
 本発明の1つの態様によれば、本明細書では、前景のマーキング付きの背景を含む文書の電子画像を強調する方法が説明される。この方法は、画素を含む電子画像を受け取る工程と、画素に初期の仮の前景/背景ステータスを割り当てる工程とを含む。この初期の前景/背景推定は修正され、この修正された前景/背景推定が、画像の画素に対する最終的なステータス割当てであるか否かが決定される。最終的な画素ステータス割当てが達成されていない場合は、画像に対する最終的な前景/背景ステータスが達成されるまで、推定が再修正される。
 本発明の第2の態様によれば、前記初期の仮の前景/背景ステータスを割り当てる工程が、画素に対する複数のカラーテーブルビンから成るカラーテーブルを作成するために、画像の色を量子化する工程と、最も白を表していそうな少なくとも1つのカラーテーブルビンを識別する工程と、色相、彩度及び明度の比較に基づいて第1の複数の画素に仮の前景ステータスを割り当てる工程と、を含む。
 本発明の第3の態様によれば、前記初期前景/背景推定を修正する工程が、ハイパスフィルタリングに基づいて第2の複数の画素に仮の前景ステータスを割り当てる工程と、仮の前景ステータスが割り当てられなかった画素に仮の背景ステータスを割り当てる工程と、白色背景画素アレイを推定する工程と、を含む。
 本明細書で開示されるのは、文書画像の色の強調及び背景の検出を行う方法及び装置である。本発明の完全な理解を与えるために、以下の説明で多くの具体的な詳細を示す。しかし、そのような具体的な詳細がなくても、当業者には本発明の実践は明らかであろう。本発明を不必要に不明瞭にしないために、別の例では、画像のフィルタリング等の具体的な実施の詳細を詳細に示すことはしなかった。
 以下の説明から明らかになるように、本発明は、スキャナ、デジタルカメラ又は他の画像形成装置から得られた文書画像に含まれる、テキスト及びグラフィック材料を編集するための、対話型システムにおいて特に長所を見出す。ホワイトボード、フリップチャート及びページの画像の見え方を、バッチ処理モードでユーザが介入せずに強調するためにも、特に有用である。
 次に、図1を参照すると、システム600は、画像入力手段620からの信号を受け取るため、及びアルゴリズムパラメータ630を受け取るために接続されたプロセッサ610を含む。画像入力手段620は、スキャナ、ファクシミリ受信機若しくは他の画像受信機、カメラ、又は他の適切な装置、又は、デジタル形式の画像を格納するローカル若しくは遠隔のメモリの一部であってもよい。アルゴリズムパラメータ630は、前に格納されたファイルから、又はユーザがグラフィカルユーザインタフェースを介して調整した設定から受け取られてもよく、プロセッサに、異なる出力結果へと導くアルゴリズム内の様々な設定をユーザの選択に従って呼び出す能力を与えてもよい。プロセッサ610は、スクリーンディスプレイ、プリンタ、ファクシミリ送信機若しくは他の画像送信機、又は、デジタル形式の画像を格納できるローカル若しくは遠隔のメモリの一部等の画像出力手段640にも接続されてもよい。プロセッサ610は、ウィンドウズ(登録商標)型のシステムとして構成されてもよい。
 プロセッサ610は、プログラムメモリ650及びデータメモリ660にアクセスするためにも接続されている。プログラムメモリ650は、前景/背景(FG/BG)分離モジュール652、色正規化モジュール654、及び、任意に、局所コントラスト推定モジュール656を含む。データメモリ660は、原画像662、仮の前景/背景マスク664、最終的な前景/背景マスク666、局所コントラスト推定アレイ668、背景白色推定アレイ670、最終的な色正規化画像672及びカラーテーブル674を含む。FG/BG分離モジュール652のルーチンを実行する際に、プロセッサ610は、画像入力手段620を用いて原画像662にデータをロードする。作用としては、FG/BG分離モジュールは、原画像を入力として取り込み、仮の前景/背景マスク及び背景白色推定を内部で用いて、最終的な前景/背景マスクを出力する。色正規化モジュールは、原画像及び最終的な前景/背景マスクを入力として取り込み、最終的な色正規化画像を出力する。色正規化モジュールは、背景白色推定を内部で用いる。オプションとして、色正規化モジュールは局所コントラスト推定モジュールを呼び出し、その場合には、色正規化モジュールは局所コントラスト推定を用いる。コントラスト推定モジュールは、原画像、最終的な前景/背景マスク及び背景白色推定を入力として取り込み、局所コントラスト推定を出力する。
 次に、図2を参照すると、本明細書に開示される方法及びシステムの第1の実施形態による、電子画像の背景から前景のマーキングを区別する際のステップを示すフロー図が示されている。前景/背景分離処理は、ステップ710で、画像入力手段からの画像を原画像データメモリ662内に受け取ることで開始する。上述したように、画像は、スキャナ、ファクシミリ受信機若しくは他の画像受信機、カメラ、又は他の適切な装置、又は、デジタル形式の画像を格納するローカル若しくは遠隔のメモリの一部から受け取られてもよい。前景/背景分離モジュールは、画素ステータスの仮の前景/背景割当てを継続して改良することによって作用する。ステップ720では、画素はまず、「仮の前景」又は「仮の背景」として分類される。このステータスは、仮の前景/背景マスク664で表される。ステップ730では、これらの仮の割当てを初期の前景/背景推定として用いて、画素のステータスを再推定し、前景/背景マスク664の修正された前景/背景推定が作成される。ステップ740では、修正された前景/背景推定がモジュールの最終的な出力と見なされるか否かが判定される。肯定された場合には、ステップ750で、このデータは最終的なFG/BGマスク666に転送される。ステップ740で、更に改良を行うことが決定された場合には、制御は再びステップ730に進む。ステップ730で行われる処理は、このステップが用いられる各回とも同じである必要ない。モジュールは、再推定ステップ730が呼び出された回数を管理すると共に各ステップで複数の再推定アルゴリズムのうちのどれが適用されたかを管理する内部状態情報を維持してもよい。
 次に図3を参照すると、本明細書に開示される方法及びシステムの第2の実施形態による、電子画像材料の背景から前景のマーキングを区別する際のステップを示すフロー図が示されている。前景/背景分離処理は、ステップ810で、画像入力手段からの画像を原画像データメモリ662内に受け取ることで開始する。上述したように、画像は、スキャナ、ファクシミリ受信機若しくは他の画像受信機、カメラ、又は他の適切な装置、又は、デジタル形式の画像を格納するローカル若しくは遠隔のメモリの一部から受け取られてもよい。
 ステップ820〜860では、画素は「仮の前景」又は「仮の背景」として分類される。このステータスは、仮の前景/背景マスク664で表される。ステップ820では、画像の画素の色が、当業者に周知の画像をポスタライズする手段を用いて、限られたRGB値のセットに量子化され、粗いカラーテーブル674が作成される。粗いカラーテーブル674は、任意の所望の数の色を含んでよい。ステップ830では、RGB値及びその値を有する画素の数に基づいて、最も白を表していそうなカラーテーブルビン(bin)が判定される。ステップ840では、白を表すと推定されたカラーテーブルのエントリとは異なる色相/彩度/明度(HSV)値を有する画像画素に、「仮の前景」ステータスが割り当てられる。1つの可能な手法として、HSV座標に単純な重みつき距離尺度(simple weighted distance measure)を用いてもよいが、他の形態の類似性の尺度も考えられる。ステップ850では、ハイパスフィルタリング及び閾値処理が実行され、局所的に暗い画素が判定される。局所的に暗い画素のセットは、形態的な膨張(morphological dilation)によって拡大され、結果の画素に「仮の前景」ステータスが割り当てられる。ステップ860では、ステップ840又はステップ850で「仮の前景」ステータスが割り当てられなかった全ての画素に、「仮の背景」ステータスが割り当てられる。
 ステップ870では、仮の背景画素のRGB値を平滑化及び補間することにより、白背景画素アレイの推定670が作成される。このステップは、本譲受人に譲渡されると共に全体を参照して援用するサウンドら(Saund et al.)の米国特許出願第09/158,443号(「ボード画像の色を正規化するためのシステム及び方法(System and Method for Color Normalization of Board Images)」)に記載されている。この平滑化は、4パスの、ライン毎及び次いで列毎に行われる、背景の「白色」画素値に対して適用される指数平滑化カーネルを用いて行われてもよい。このような最初のパスでは、前景画素の位置に対して推定された「白」の値が、先行する画素の値と見なされる。
 ステップ880では、ステップ840〜ステップ860と同様の処理によって、画素の前景/背景ステータスの最終的な割り当てが行われる。このステータスは、最終的な前景/背景マスク666で表される。ステップ850のハイパスフィルターの応答によって生成された前景画素の割当ては、単純な重みつき距離を用いて、原画像の各画素の値のHSVをステップ870で生成された局所背景白色推定と比較して得られた、前景画素の割当てと組み合わされる。「前景画素」としてラベルづけされなかった全ての画素は、「背景画素」としてラベルづけされる。ステップ890で、この前景/背景マスク666の画素のラベルづけが出力される。
 次に図4に移ると、本明細書に開示される方法及びシステムの第3の実施形態による、電子画像の色の強調を行う際のステップを示すフロー図が示されている。この色の強調処理は、ステップ910で、画像入力手段からの画像を原画像データメモリ662内に受け取ることで開始する。上述したように、画像は、スキャナ、ファクシミリ受信機若しくは他の画像受信機、カメラ、又は他の適切な装置、又は、デジタル形式の画像を格納するローカル若しくは遠隔のメモリの一部から受け取られてもよい。ステップ920〜ステップ960では、画素は「仮の前景」又は「仮の背景」として分類される。このステータスは、仮の前景/背景マスク664で表される。ステップ920では、画像の画素の色が、当業者に周知の画像をポスタライズする手段を用いて、限られたRGB値のセットに量子化され、粗いカラーテーブル674が作成される。カラーテーブルには、任意の有用な数の色の値が用いられてよい。ステップ930では、RGB(赤、緑、青)値及びその値を有する画素の数に基づいて、最も白を表していそうなカラーテーブルビンが判定される。
 ステップ940では、白を表すと推定されたカラーテーブルのエントリとは異なるHSV値を有する画像画素に、「仮の前景」ステータスが割り当てられる。1つの可能な手法として、HSV座標に単純な重みつき距離尺度を用いてもよいが、他の形態の類似性の尺度も考えられる。ステップ950では、ハイパスフィルタリング及び閾値処理が実行され、局所的に暗い画素が判定される。局所的に暗い画素のセットは、形態的な膨張によって拡大され、結果の画素に「仮の前景」ステータスが割り当てられる。ステップ960では、ステップ940又はステップ950で「仮の前景」ステータスが割り当てられなかった全ての画素に、「仮の背景」ステータスが割り当てられる。
 ステップ970では、仮の背景画素のRGB値を平滑化及び補間することにより、白背景画素アレイの推定670が作成される。このステップは、本譲受人に譲渡されると共に全体を参照して援用するサウンドら(Saund et al.)の米国特許出願第09/158,443号(「ボード上の画像の色を正規化するためのシステム及び方法(System and Method for Color Normalization of Board Images)」)に記載されている。この平滑化は、4パスの、ライン毎及び次いで列毎に行われる、背景の「白色」画素値に対して適用される指数平滑化カーネルを用いて行われてもよい。このような最初のパスでは、前景画素の位置に対して推定された「白」の値が、先行する画素の値と見なされる。
 ステップ980では、ステップ940〜ステップ960と同様の処理によって、画素の前景/背景ステータスの最終的な割り当てが行われる。このステータスは、最終的な前景/背景マスク666で表される。ステップ950のハイパスフィルターの応答によって生成された前景画素の割当ては、単純な重みつき距離を用いて、原画像の各画素の値のHSVをステップ970で生成された局所背景白色推定と比較して得られた、前景画素の割当てと組み合わされる。「前景画素」としてラベルづけされなかった全ての画素は、「背景画素」としてラベルづけされる。ステップ990では色の正規化が行われる。前景画素のRGB値は、各画素の元のRGBを、ステップ970で生成された、その画素の位置の推定白色背景のRGBで割り算することによって調整される。ステップ995で、結果の出力画像が生成される。
 次に図5に移ると、本明細書に開示される方法及びシステムの第4の実施形態による、電子画像材料の色を強調する際のステップを示すフロー図が示されており、ここでは、バイモーダル画像の検出及び特別な処理、ベタのグラフィック画像の検出及び特別な処理、並びに、ユーザの指示によるコントラスト均等化というオプションの特徴が示されている。この色の強調処理は、ステップ1010で、画像入力手段からの画像を原画像データメモリ662内に受け取ることで開始する。上述したように、画像は、スキャナ、ファクシミリ受信機若しくは他の画像受信機、カメラ、又は他の適切な装置、又は、デジタル形式の画像を格納するローカル若しくは遠隔のメモリの一部から受け取られてもよい。ステップ1020では、画像がバイモーダルであるか否かが判定される。バイモーダル画像では、大半の画素の明度が2つの値(明及び暗)のうちの1つに似かよっていて、それらの間の明度を有する画素が比較的少ない。これは、画素の明度のヒストグラムを調べて、このヒストグラムが、画素の明度値の2つのクラスタを含むバイモーダルであるか否かを検出することによって判定される。これは、当該技術分野で公知の様々な技術のいずれかを用いて実行可能である。画像がバイモーダルである場合には、ステップ1022で、明度ヒストグラム中で検出された明度クラスタ間の中間部に含まれる明度値として自動的に設定される閾値により、白色の画素が透明であるものと設定される。
 画像がバイモーダルではない場合には、ステップ1024〜ステップ1060で、画素は「仮の前景」又は「仮の背景」として分類される。このステータスは、仮の前景/背景マスク664で表される。ステップ1024では、画像の画素の色が、当業者に周知の画像をポスタライズする手段を用いて、限られたRGB値のセットに量子化され、任意の所望の数の色を含む粗いカラーテーブル674が作成される。ステップ1030では、RGB(赤、緑、青)値及びその値を有する画素の数に基づいて、最も白を表していそうなカラーテーブルビンが判定される。ステップ1040では、画素のRGB値を、それらに割り当てられた量子化カラーテーブルビンと比較した、画素のRGB値の誤差の統計を調べることにより、画像が「ベタのグラフィック」タイプであると見なされるか否かが判定される。全体として、画素のRGB値がそれらに割り当てられたビンのRGB値から大きく逸脱しない画像は、「ベタのグラフィック」タイプであると見なされる。画像がベタのグラフィックタイプであると判定されたら、ステップ1042で、背景白色推定画像670に、ステップ1030で白を表すものと推定されたカラーテーブルのエントリのRGB値で構成される均一なRGB値が割り当てられる。
 画像がベタのグラフィックタイプではない場合は、処理はステップ1044〜ステップ1070に進む。ステップ1044では、白を表すと推定されたカラーテーブルのエントリとは異なるHSV値を有する画像画素に、「仮の前景」ステータスが割り当てられる。このような判定のために、HSV座標に単純な重みつき距離尺度を用いてもよいが、他の形態の類似性の尺度も考えられる。ステップ1050では、ハイパスフィルタリング及び閾値処理が実行され、局所的に暗い画素が判定される。局所的に暗い画素のセットは、形態的な膨張によって拡大され、結果の画素に「仮の前景」ステータスが割り当てられる。ステップ1060では、ステップ1040又はステップ1050で「仮の前景」ステータスが割り当てられなかった全ての画素に、「仮の背景」ステータスが割り当てられる。
 ステップ1070では、仮の背景画素の値を平滑化及び補間することにより、白背景画素アレイの推定が作成される。このステップは、本譲受人に譲渡されると共に全体を参照して援用するサウンドら(Saund et al.)の米国特許出願第09/158,443号(「ボード上の画像の色を正規化するためのシステム及び方法(System and Method for Color Normalization of Board Images)」)に記載されている。この平滑化は、4パスの、ライン毎及び次いで列毎に行われる、背景の「白色」画素値に対して適用される指数平滑化カーネルを用いて行われてもよい。このような最初のパスでは、前景画素位置に対して推定された「白」の値が、先行する画素の値と見なされる。
 ステップ1080では、ステップ1044〜ステップ1060と同様の処理によって、画素の前景/背景ステータスの最終的な割り当てが行われる。このステータスは、最終的な前景/背景マスク666で表される。ステップ1050のハイパスフィルターの応答によって生成された前景画素の割当ては、単純な重みつき距離を用いて、原画像の各画素の値のHSVをステップ1070で生成された局所背景白色推定と比較して得られた、前景画素の割当てと組み合わされる。「前景画素」としてラベルづけされなかった全ての画素は、「背景画素」としてラベルづけされる。
 ステップ1090では、プログラムが、コントラスト均等化を行うか否かを決める入力パラメータの値をチェックする。コントラスト均等化を行う場合には、ステップ1092で、局所コントラスト推定が開始される。画像の明度のハイパスフィルタリングの絶対値を計算し、この絶対ハイパス画像の解像度を、整数のファクターnで減らし、結果の各画素に、絶対ハイパス画像の対応するn×n領域内の最大値を割り当てる。次に、このサブサンプリングした画像を平滑化して、推定局所コントラスト及び目標コントラストに基づく局所コントラスト強調ファクターが決定される。ステップ1094では、元のRGBを、推定白色背景670のRGBで割ることによって、前景画素のRGBが調整される。最後に、前景画素の、白色からのRGBの差が、局所コントラスト強調ファクターによって拡大される。コントラスト均等化を行わない場合は、ステップ1096で色の正規化が行われる。各画素の元のRGB値を、その画素の位置の推定白色背景670のRGB値で割り算することによって、前景画素のRGBが調整される。ステップ1098で、結果の出力画像が生成される。
 この処理の結果は図6で見ることができ、ここでは背景が白色であり、動物及びブランケットのベタ色領域が、図7の原画像の色及び配色とより近く描画されている。
本明細書に開示するシステム及び方法による、色の正規化が可能なシステムの全体的な構成要素を示すブロック図である。 本明細書に開示する方法及びシステムの一実施形態による、電子画像材料の前景画素と背景画素とを分ける際のステップを示すフロー図である。 本明細書に開示する方法及びシステムの別の実施形態による、電子画像材料の前景画素と背景画素とを分ける際のステップを示すフロー図である。 本明細書に開示する方法及びシステムの第3の実施形態による、電子画像材料の色を正規化する際のステップを示すフロー図である。 本明細書に開示する方法及びシステムの第4の実施形態による、電子画像材料の色を正規化する際のステップを示すフロー図である。 本明細書に開示する方法及びシステムを適用後の画像を示す図である。 原稿の走査画像を示す図である。
符号の説明
    600  システム
    610  プロセッサ
    650  プログラムメモリ
    652  前景/背景分離モジュール
    654  色正規化モジュール
    656  局所コントラスト推定モジュール
    660  データメモリ
    662  原画像データメモリ
    664  仮の前景/背景マスク
    666  最終的な前景/背景マスク
    668  局所コントラスト推定
    670  背景白色推定
    672  最終的な色正規化画像
    674  カラーテーブル

Claims (3)

  1. 前景のマーキングが上に配置された背景を有する、文書の電子画像の強調方法であって、
     画素から成る電子画像を受け取る工程と、
     初期前景/背景推定を構成するために前記画素に初期の仮の前景/背景ステータスを割り当てる工程と、
     修正前景/背景推定を構成するために前記初期前景/背景推定を修正する工程と、
     前記修正前景/背景推定が前記画素に対する最終的な前景/背景割当てであるか否かを決定する工程と、
     前記画素に対する前記最終的な前景/背景割当てが達成されるまで前記修正前景/背景推定の修正を反復する工程と、
     前記画素に対する前記最終的な前景/背景割当てを供給する工程と、
     を含む、文書の電子画像の強調方法。
  2. 前記初期の仮の前景/背景ステータスを割り当てる工程が、
     前記画素に対する複数のカラーテーブルビンから成るカラーテーブルを作成するために、画像の色を量子化する工程と、
     最も白を表していそうな少なくとも1つの前記カラーテーブルビンを識別する工程と、
     色相、彩度及び明度の比較に基づいて第1の複数の前記画素に仮の前景ステータスを割り当てる工程と、
     を含む、請求項1に記載の文書の電子画像の強調方法。
  3. 前記初期前景/背景推定を修正する工程が、
     ハイパスフィルタリングに基づいて第2の複数の前記画素に仮の前景ステータスを割り当てる工程と、
     前記仮の前景ステータスが割り当てられなかった画素に仮の背景ステータスを割り当てる工程と、
     白色背景画素アレイを推定する工程と、
     を含む、請求項1に記載の文書の電子画像の強調方法。

JP2003298319A 2002-08-29 2003-08-22 文書の電子画像の強調方法 Expired - Fee Related JP4514421B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40743302P 2002-08-29 2002-08-29
US10/396,223 US7177483B2 (en) 2002-08-29 2003-03-24 System and method for enhancement of document images

Publications (2)

Publication Number Publication Date
JP2004094947A true JP2004094947A (ja) 2004-03-25
JP4514421B2 JP4514421B2 (ja) 2010-07-28

Family

ID=31981341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003298319A Expired - Fee Related JP4514421B2 (ja) 2002-08-29 2003-08-22 文書の電子画像の強調方法

Country Status (2)

Country Link
US (1) US7177483B2 (ja)
JP (1) JP4514421B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6991158B2 (en) 2004-03-16 2006-01-31 Ralf Maximilian Munte Mobile paper record processing system
JP2009044628A (ja) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2012505460A (ja) * 2008-10-13 2012-03-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のコントラスト強調
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US7403568B2 (en) * 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering
JP4143566B2 (ja) * 2004-04-16 2008-09-03 キヤノン株式会社 文書処理装置及びその制御方法、並びにコンピュータプログラム
US7991238B2 (en) * 2004-04-30 2011-08-02 Neiversan Networks Co. Llc Adaptive compression of multi-level images
US7609870B2 (en) * 2004-08-24 2009-10-27 General Electric Company Methods and systems for enhancing images
JP4670303B2 (ja) * 2004-10-06 2011-04-13 ソニー株式会社 画像処理方法及び画像処理装置
DE102004054131A1 (de) * 2004-11-08 2006-05-11 Gkikas, Karolos, Glyfada Verfahren zur Verwendung von tragbaren, eine Digitalkamera umfassenden oder mit einer Digitalkamera verbindbaren elektronischen Geräten zum Scannen einer Text-und/oder Zeichnungen bzw. Skizzen umfassenden Oberfläche
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US7783117B2 (en) * 2005-08-12 2010-08-24 Seiko Epson Corporation Systems and methods for generating background and foreground images for document compression
US7557963B2 (en) * 2005-08-12 2009-07-07 Seiko Epson Corporation Label aided copy enhancement
US7899258B2 (en) * 2005-08-12 2011-03-01 Seiko Epson Corporation Systems and methods to convert images into high-quality compressed documents
US7724287B2 (en) * 2006-07-31 2010-05-25 Hewlett-Packard Development Company, L.P. Sketch effect for digital photographs
US7916944B2 (en) * 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
JP2008271365A (ja) * 2007-04-24 2008-11-06 Murata Mach Ltd 画像処理装置及び画像処理方法
US7894689B2 (en) * 2007-05-31 2011-02-22 Seiko Epson Corporation Image stitching
JP4847398B2 (ja) * 2007-06-06 2011-12-28 キヤノン株式会社 画像処理装置およびその方法
US7873215B2 (en) * 2007-06-27 2011-01-18 Seiko Epson Corporation Precise identification of text pixels from scanned document images
US8116585B2 (en) * 2007-08-09 2012-02-14 Xerox Corporation Background noise detection on rendered documents
KR101348601B1 (ko) * 2008-01-31 2014-01-16 삼성전자주식회사 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법
US8548251B2 (en) * 2008-05-28 2013-10-01 Apple Inc. Defining a border for an image
US8452105B2 (en) * 2008-05-28 2013-05-28 Apple Inc. Selecting a section of interest within an image
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
JP5219706B2 (ja) * 2008-09-12 2013-06-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JP5028370B2 (ja) * 2008-09-19 2012-09-19 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US8520966B2 (en) 2009-03-30 2013-08-27 The Neat Company Image background enhancement for color images
US8452086B2 (en) * 2009-07-10 2013-05-28 Palo Alto Research Center Incorporated System and user interface for machine-assisted human labeling of pixels in an image
US8442319B2 (en) * 2009-07-10 2013-05-14 Palo Alto Research Center Incorporated System and method for classifying connected groups of foreground pixels in scanned document images according to the type of marking
US8649600B2 (en) 2009-07-10 2014-02-11 Palo Alto Research Center Incorporated System and method for segmenting text lines in documents
US8743139B2 (en) 2010-07-20 2014-06-03 Apple Inc. Automatically keying an image
CN102446345B (zh) * 2010-09-30 2015-09-30 株式会社理光 一种对于白板彩色图像进行颜色增强的方法、装置及系统
US8655071B2 (en) 2011-02-24 2014-02-18 Sharp Laboratories Of America, Inc. Methods and systems for determining a document region-of-interest in an image
JP5844296B2 (ja) * 2012-06-11 2016-01-13 富士フイルム株式会社 放射線画像処理装置および方法
US9552516B2 (en) 2012-08-29 2017-01-24 Palo Alto Research Center Incorporated Document information extraction using geometric models
US9659279B2 (en) 2013-10-25 2017-05-23 Palo Alto Research Center Incorporated Method and system for enhanced inferred mode user interface operations
US10296570B2 (en) 2013-10-25 2019-05-21 Palo Alto Research Center Incorporated Reflow narrative text objects in a document having text objects and graphical objects, wherein text object are classified as either narrative text object or annotative text object based on the distance from a left edge of a canvas of display
US9864479B2 (en) 2014-12-19 2018-01-09 Xerox Corporation System and method for managing and reviewing document integration and updates
CN105245756B (zh) 2015-09-28 2018-05-29 珠海奔图电子有限公司 图像处理方法及系统
US9799106B2 (en) * 2015-12-16 2017-10-24 Dropbox, Inc. Enhancing a digital image
CN105973474B (zh) * 2016-04-28 2019-01-25 国网山东省电力公司电力科学研究院 一种基于温度直方图的输变电设备红外图像温宽调整方法
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
CN110460826B (zh) * 2019-08-12 2022-03-22 Oppo广东移动通信有限公司 白平衡处理方法、处理装置和移动终端
CN113822817A (zh) * 2021-09-26 2021-12-21 维沃移动通信有限公司 文档图像增强方法、装置及电子设备
CN114974148B (zh) * 2022-07-29 2022-11-18 广州文石信息科技有限公司 用于墨水屏的字体显示增强方法、装置、设备和存储介质
CN115239713B (zh) * 2022-09-21 2022-12-20 江苏芸裕金属制品有限公司 一种钢丝绳状态在线识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197216A (ja) * 1992-04-30 1994-07-15 Ricoh Co Ltd 地肌除去方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319547A (en) * 1990-08-10 1994-06-07 Vivid Technologies, Inc. Device and method for inspection of baggage and other objects
US5528290A (en) * 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
JPH08237407A (ja) * 1994-12-09 1996-09-13 Xerox Corp 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法
US5914748A (en) * 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images
US6104438A (en) * 1996-12-26 2000-08-15 Sony Corporation Image synthesizer and image synthesizing method for synthesizing according to movement
US6175663B1 (en) * 1998-02-24 2001-01-16 Paravision Imaging, Inc. Method and apparatus for preserving background continuity in images
US6211913B1 (en) * 1998-03-23 2001-04-03 Sarnoff Corporation Apparatus and method for removing blank areas from real-time stabilized images by inserting background information
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197216A (ja) * 1992-04-30 1994-07-15 Ricoh Co Ltd 地肌除去方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6991158B2 (en) 2004-03-16 2006-01-31 Ralf Maximilian Munte Mobile paper record processing system
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
JP2009044628A (ja) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP4550090B2 (ja) * 2007-08-10 2010-09-22 三菱電機株式会社 画像処理装置及び画像処理方法
JP2012505460A (ja) * 2008-10-13 2012-03-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のコントラスト強調
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统

Also Published As

Publication number Publication date
US20040042680A1 (en) 2004-03-04
JP4514421B2 (ja) 2010-07-28
US7177483B2 (en) 2007-02-13

Similar Documents

Publication Publication Date Title
JP4514421B2 (ja) 文書の電子画像の強調方法
CN109272459B (zh) 图像处理方法、装置、存储介质及电子设备
US7724950B2 (en) Image processing apparatus, image processing method, computer program, and storage medium
US8115969B2 (en) Systems and methods of accessing random access cache for rescanning
US20080317358A1 (en) Class-based image enhancement system
US7428331B2 (en) Page background estimation using color, texture and edge features
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
JP2007209028A (ja) 画像処理システムおよび方法
JP5795548B2 (ja) 拡張rgb空間へのトーンマッピングを用いた高ダイナミックレンジ画像の処理方法
US20050286793A1 (en) Photographic image processing method and equipment
JP2005253067A (ja) プロジェクタ−カメラ−ホワイトボードシステムにおける視覚エコーキャンセレーションのためのシステムおよび方法
US20040057623A1 (en) Method for automated processing of digital image data
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN108205671A (zh) 图像处理方法及装置
US11727543B2 (en) Systems and methods for content-aware enhancement of images
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
US7505162B2 (en) Digital scanning systems and methods for scanning multi-sided cards and documents
WO2018219005A1 (zh) 处理文件的方法、终端
US20150278661A1 (en) Image processing apparatus
JP2010087769A (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
CN116569207A (zh) 用于管理图像的伪影的方法和电子装置
JP2003219180A (ja) 画像処理方法、画像処理装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
EP3734554A1 (en) Background image processing method and apparatus
JP2010033527A (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
JP2008147714A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100511

R150 Certificate of patent or registration of utility model

Ref document number: 4514421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees