JP2004500659A - フォーム処理でのひずみの訂正 - Google Patents
フォーム処理でのひずみの訂正 Download PDFInfo
- Publication number
- JP2004500659A JP2004500659A JP2001565121A JP2001565121A JP2004500659A JP 2004500659 A JP2004500659 A JP 2004500659A JP 2001565121 A JP2001565121 A JP 2001565121A JP 2001565121 A JP2001565121 A JP 2001565121A JP 2004500659 A JP2004500659 A JP 2004500659A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- input image
- content
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000009466 transformation Effects 0.000 claims description 20
- 238000012015 optical character recognition Methods 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 8
- 230000002411 adverse Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000013519 translation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Input (AREA)
- Image Processing (AREA)
- Prostheses (AREA)
- Electroluminescent Light Sources (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【解決手段】入力イメージを処理する方法に、出力イメージを生成するために、入力イメージに1つまたは複数の変換を適用することが含まれ、これによって、入力イメージの異なる画素に異なるシフトが適用される。関心のある内容を含む領域を、出力イメージ内で選択し、出力イメージの選択された領域に対応する領域を、入力イメージ内で突き止める。入力イメージ内の突き止められた領域の内容によって、出力イメージ内の選択された領域の内容を置換する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、一般に文書イメージ処理に関し、具体的には、文書イメージのひずみの訂正に関する。
【0002】
【従来の技術】
多くの文書イメージ・システムでは、大量のフォームがコンピュータ内にスキャンされ、このコンピュータが、得られた文書イメージを処理して、関連する情報を抽出する。通常、フォームには、事前に印刷されたテンプレートが含まれ、このテンプレートには、手書き文字または機械印刷文字によって書き込まれた事前定義のフィールドが含まれる。書き込まれた情報を抽出するために、コンピュータは、まず、テンプレートのフィールドを識別し、その後、フィールドに現れる文字を判読しなければならない。イメージ分析および光学文字認識(OCR)のさまざまな方法が、これらの目的に関して当技術分野で既知である。
【0003】
テンプレートのフィールドを識別し、正しいフィールドに文字を割り当てるための、共通の技法が、コンピュータが各文書イメージをテンプレートの基準イメージに位置合わせすることである。テンプレートを位置合わせした後に、文書イメージからそれを除去し、ページの適当な位置にある手書き文字だけを残すことができる。しかし、元のフォームのスキャンで導入される、スキュー、回転、曲がり、および他のスケール変化を含むひずみがあるので、そのような位置合わせが困難になる場合がある。
【0004】
これらのひずみを扱う方法の1つが、米国特許第5182656号に記載されている。元のイメージを、複数の比較的小さなオーバーラップするセグメントに区分する。セグメントのそれぞれを、基準テンプレート・イメージの適当な対応するセグメントに整列するようにするためにシフトする。回転またはスケール変化などのより複雑な変換は、これらのセグメントに対して実行されない。イメージ全体の変換は、したがって、小さいセグメントのシフトの組合せとして表され、これによって、セグメントが十分に小さくされる場合に回転およびスケール変化を近似することができる。
【0005】
図1は、米国特許第5182656号の方法および当技術分野で既知の類似する方法の理解に有用な、書き込まれたフォーム文書20のイメージの詳細を示す概略図である。ここでは、文字24を含む名前が、文書20のテンプレートによって設けられた箱22に書き込まれている。この箱は、基準テンプレート上の正しい水平位置に対してわずかに回転している。この回転を訂正し、スキャンされたイメージの他のひずみを訂正するために、文書のイメージが、セグメント26、28、30、32などに分割される。イメージを分析して、米国特許第5182656号で指定されているように、セグメントのそれぞれに適用される適当なシフト変換を判定する。
【0006】
図2は、セグメント26、28、30、および32の、それぞれの変換された位置での概略図である。回転を補償するために、セグメントのそれぞれに異なるシフトが適用される。図を明瞭にするために、相対シフトは、誇張されている。さらに、たとえばスキャンされたイメージのスケールひずみから生じる可能性があるものなど、変換されたセグメントの間にオーバーラップが導入されている。これらの区域では、上述の特許で、あるセグメントが別のセグメントを上書きしないようにするために、各画素についてOR演算を実行することが提案されている。
【0007】
図3に、図2に示されたシフトの結果を概略的に示す。文字24が、それぞれの上側部分34および下側部分36に分割されている。というのは、これらの文字が、偶然セグメント26と30の間およびセグメント28と32の間の境界にまたがっていたからである。その結果、箱22が、結局は基準テンプレート・イメージ内の対応する箱に成功裡に位置合わせされる可能性があるが、箱の中の文字は、コンピュータが判読することが困難または不可能である。この文書は、おそらくは、データ入力のために人間のオペレータに渡される必要があり、文書を処理するコストがかなり増える。さらに悪いことに、コンピュータがひずんだ文字を誤って解釈し、フォームから抽出されたデータの誤りにつながる可能性がある。
【0008】
その開示が参照によって本明細書に組み込まれる米国特許第5793887号に、テンプレート除去のためのイメージの位置合せの他の方法が記載されている。この場合には、書き込まれた文書イメージおよび基準テンプレートが、垂直のバンドに分割される。バンドは、文書イメージ内の線を基準テンプレート・イメージの対応するバンド内の線と相関させるために互いに相対的にシフトされる。必要な場合には、水平のバンドを使用してこの手順を繰り返す。したがって、この方法も、図3に示されたものなどの壊れた文字につながる可能性がある。
【0009】
【発明が解決しようとする課題】
本発明の目的は、イメージを処理する、特に書き込まれたフォーム文書のイメージを処理する、改良された方法および装置を提供することである。
【0010】
本発明のいくつかの態様の他の目的は、イメージのひずみおよび回転が存在するイメージでの文字のリーダビリティ(readability)を改善する、文書イメージ処理の方法および装置を提供することである。本発明のこれらの態様の特定の目的は、テンプレート位置合わせのためにシフトされたイメージのセグメントの間の不整列に起因して生じる可能性があるリーダビリティの問題を軽減することである。
【0011】
【課題を解決するための手段】
本発明の好ましい実施形態では、フォーム・テンプレートに書き込まれた文字を含む入力文書イメージが、基準テンプレート・イメージとのイメージ内のテンプレートの位置合わせのために処理される。当技術分野で既知の適当な方法のどれをも、この目的に使用することができる。書き込まれた文字を含む領域として定義される関心のある領域が、処理されたイメージ内で識別される。これらの領域のそれぞれを、領域内の文字のリーダビリティが、基準テンプレートとの位置合わせのためにイメージの処理で適用された変換によって悪影響を受けたかどうかを判定するために、検査されることが好ましい。通常、排他的にではないが、そのような悪影響は、領域の異なる部分が、イメージのうちで異なる変換が適用される異なるセグメントに含まれるときに生じる。影響される領域(またはすべての領域)のそれぞれの内容を、処理されたイメージから消去し、入力イメージの対応する領域の内容に置換する。この形で、入力イメージ内のすべての文字が、実質的に文字のリーダビリティに対する悪影響なしに、基準テンプレートに関する正しい位置に配置される。
【0012】
好ましい実施形態を、文書フォーム・イメージに関して本明細書で説明するが、本発明の原理を、他の文脈に同様に適用できることを諒解されたい。イメージ処理では、イメージに適用されたディジタル変換が、2つの隣接する画素の間の結果のオフセットが理論的オフセットと異なるという意味で、正確でないことがしばしばある。この不正確さは、上で説明したローカル・セグメント変換もしくは、丸めまたはデシメーションなどの他の誤差に起因する可能性がある。テキスト・ブロックまたは他の意味のあるイメージ特徴などの、イメージ内の特に関心を持たれる区域がある場合に、本発明の方法を有利に使用して、これらの区域のリーダビリティまたは詳細の明瞭さを強化することができる。
【0013】
本発明の好ましい実施形態によれば、入力イメージを処理する方法であって、 出力イメージを生成するために、前記入力イメージに1つまたは複数の変換を適用することであって、これによって、前記入力イメージ内の異なる画素に異なるシフトが適用される、1つまたは複数の変換を適用すること、
前記出力イメージ内で、関心のある内容を含む領域を選択すること、
前記出力イメージ内の前記選択された領域に対応する領域を、前記入力イメージ内で突き止めること、および
前記出力イメージ内の前記選択された領域の内容を、前記入力イメージ内の前記突き止められた領域の内容で置換すること
を含む方法が提供される。
【0014】
前記1つまたは複数の変換を適用することが、前記入力イメージをセグメントに分割すること、および各セグメントに適用される変換を判定することを含むことが好ましい。好ましい実施形態では、前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、各セグメントに適用される前記変換を判定することが、基準テンプレートに関する前記入力イメージのひずみを近似的に補償する、前記セグメントの1つまたは複数の変換を見つけることを含み、これによって、前記出力イメージが、前記基準テンプレートに位置合わせされる。通常、前記1つまたは複数の変換が、前記基準テンプレートに関する前記入力イメージの回転を補償する。さらに、通常は、前記1つまたは複数の変換を適用することが、複数の相互に隣接するセグメントに異なる変換を適用することを含み、前記領域を選択することが、異なる変換が適用される前記複数のセグメントの間で分割される領域を選択することを含む。
【0015】
前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、前記領域を選択することが、前記関心のある内容を受け取ることを意図されたテンプレートのフィールドを識別することを含むことが好ましい。その代わりにまたはそれに加えて、前記領域を選択することが、前記出力イメージから前記テンプレートを除去すること、および前記テンプレートが除去された後の残りの前記イメージの部分を選択することを含む。
【0016】
さらに、前記領域を選択することが、前記入力イメージに適用される前記1つまたは複数の変換に応答して領域を選択することを含むことが好ましい。好ましい実施形態では、前記関心のある内容が、英数字を含み、前記領域を選択することが、前記1つまたは複数の変換が領域内の文字のリーダビリティに悪影響を及ぼした可能性が高い前記領域を選択することを含む。
【0017】
前記領域を突き止めることが、前記1つまたは複数の変換によって前記出力イメージの前記選択された領域に変換された前記入力イメージの領域を見つけることを含むことが好ましい。
【0018】
前記突き止められた領域の前記内容を置換することが、前記突き止められた領域内で接続された構成要素を見つけること、および前記接続された構成要素を前記出力イメージ内の前記選択された領域にコピーすることを含むことが、さらに好ましい。前記接続された構成要素をコピーすることが、前記突き止められた領域内の前記接続された構成要素のそれぞれについて、前記接続された構成要素内の点のすべてに適用される変換動作を見つけることを含むことが、最も好ましい。前記変換動作を見つけることが、前記接続された構成要素のそれぞれについて、前記接続された構成要素の上またはその付近の点を選択すること、および前記入力イメージに適用された前記1つまたは複数の変換によってその点に適用された変換を判定することを含むことが好ましい。好ましい実施形態では、前記接続された構成要素を見つけることが、前記イメージ内で文字を見つけることを含む。
【0019】
他の好ましい実施形態では、前記関心のある内容が、英数字を含み、前記方法が、前記選択された領域内の前記置換された内容に光学文字認識を適用することを含む。
【0020】
本発明の好ましい実施形態によれば、内容を書き込まれる1つまたは複数の領域を有するテンプレートを含む文書の入力イメージを処理する装置であって、前記装置が、フォーム・プロセッサを含み、前記フォーム・プロセッサが、前記テンプレートが基準テンプレートに位置合わせされる出力イメージを生成するために前記入力イメージに1つまたは複数の変換を適用し、前記出力イメージ内の前記書き込まれた領域の少なくとも1つを選択し、前記出力イメージ内の前記少なくと他の選択された領域に対応する、少なくと他の書き込まれた領域を前記入力イメージ内で突き止め、前記出力イメージ内の前記少なくと他の選択された領域の内容を、前記入力イメージ内の前記少なくと他の突き止められた領域の内容で置換するように適合される、装置も提供される。
【0021】
前記1つまたは複数の領域に書き込まれた前記内容が、英数字を含み、前記プロセッサが、前記文書から前記内容を抽出するために、前記少なくと他の選択された領域内の前記置換された内容に光学文字認識を適用することが好ましい。前記装置が、画像装置を含み、前記画像装置が、前記入力イメージを生成するために前記文書をスキャンするように適合されることが、さらに好ましい。
【0022】
本発明の好ましい実施形態によれば、入力イメージを処理するコンピュータ・ソフトウェア製品であって、前記製品が、プログラム命令が保管されたコンピュータ可読媒体を含み、前記命令が、コンピュータによって読み取られた時に、前記コンピュータに、出力イメージを生成するために、それによって前記入力イメージ内の異なる画素に異なるシフトが適用される1つまたは複数の変換を前記入力イメージに適用させ、出力イメージ内で関心のある内容を含む領域を選択させ、前記出力イメージ内の前記選択された領域に対応する領域を前記入力イメージ内で突き止めさせ、前記出力イメージ内の前記選択された領域の内容を、前記入力イメージ内の前記突き止められた領域の内容で置換させる、製品が、さらに提供される。
【0023】
好ましい実施形態では、前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、前記命令が、前記コンピュータに、前記出力イメージを基準テンプレートに位置合わせするために前記1つまたは複数の変換を適用させる。
【0024】
本発明は、図面と共に好ましい実施形態の以下の詳細な説明を検討することからより完全に理解される。
【0025】
【発明の実施の形態】
図4は、本発明の好ましい実施形態による、文書イメージの保管および表示のシステム40の概略絵図である。システム40には、手書き文字、タイプされた文字、または印刷された文字を書き込まれた、文書20などの事前に印刷されたフォームを含む文書を受け取り、スキャンする、スキャナ42、または当技術分野で既知の適当なタイプのイメージ取込装置が含まれる。スキャナは、文書のイメージを取り込み、対応するイメージ・データをフォーム・プロセッサ46に伝え、フォーム・プロセッサ46には、通常は、適当な汎用コンピュータが含まれる。その代わりに、イメージを、別のソースからプロセッサに入力することができる。プロセッサ46は、磁気ディスクまたは光ディスクなどのメモリ48に保管された基準テンプレート・イメージに文書イメージを位置合わせする。その後、プロセッサは、下で説明するように、位置合わせ処理に起因して文字内で発生した可能性があるひずみについてイメージを訂正する。任意選択として、プロセッサが、その後、当技術分野で既知の光学文字認識(OCR)方法を使用して、文字を読み取る。
【0026】
プロセッサ46のイメージ処理機能は、下で詳細に示すように、本発明の実施形態を実施する、プロセッサ上で稼動するソフトウェアを使用して実行されることが好ましい。ソフトウェアを、ディスケットまたはCD−ROMなどの有形の媒体で供給し、プロセッサにロードすることができる。その代わりに、ソフトウェアを、ネットワーク接続または他の電子リンクを介してプロセッサにダウンロードすることができる。さらに、その代わりに、プロセッサ46に、イメージ処理ステップの一部またはすべてを実行するための、専用のハードワイヤド要素またはディジタル信号プロセッサを含めることができる。
【0027】
図5は、本発明の好ましい実施形態による、書き込まれたフォーム文書のイメージを処理する方法を概略的に示す流れ図である。この方法は、文書イメージの基準テンプレートとの位置合わせで適用されるローカル・シフトおよび他の変換に起因するイメージ内の文字のひずみおよび崩壊を直す。イメージ変換ステップ50で、イメージ内のテンプレートを保管された基準テンプレートに位置合わせするために、1つまたは複数の変換を入力イメージに適用する。入力イメージに、バイナリ・イメージが含まれることが好ましく、このバイナリ・イメージは、当技術分野で既知の適当なイメージ処理方法を使用して、スキャナ42によってスキャンされたデータから導出される。その代わりに、入力イメージに、グレイスケール・イメージまたはカラー・イメージを含めることができる。上述の米国特許第5182656号および米国特許第5793887号に記載のものなど、事実上すべての適当な方法を、ステップ50でのイメージの変換に使用することができる。結果の出力イメージには、たとえば図3に示したものなど、文字のリーダビリティが悪影響を受ける領域が含まれる可能性が高い。入力イメージの各セグメントに適用された変換を、後の参照のために保管することが好ましい。
【0028】
領域識別ステップ52で、プロセッサ46が、出力イメージ内の関心のある領域を識別する。これは、テンプレートのうちで、書き込まれ、変換ステップ50で悪影響を受けた可能性がある領域である。領域は、テンプレート内の既知のフィールドのリストから選択されることが好ましい。その代わりにまたは追加して、領域は、上で述べた特許に記載されているように、位置合わせの後にイメージからテンプレートを除去し、残された書き込まれた区域を見つけることによって選択される。任意選択として、損傷査定ステップ54で、プロセッサが、関心のある領域のうちのどれが、文字が変換ステップ50でひずまされた可能性があるかを判定する。たとえば、箱22(図1および3)内に含まれる領域などの所与の領域の複数の部分が、イメージの異なるセグメント(かなり異なる変換を適用された)に含まれる場合がある。これらの「損傷を受けた」領域が、後続処理のために選択され、すべてのセグメントが実質的に同一の形で変換された領域は、これ以上の処理を必要としない。内容消去ステップ56で、関心のある選択された領域の文字(または他の内容)を、出力イメージから消去する。
【0029】
消去された内容を置換するために、プロセッサ46は、関心のある選択された領域のそれぞれについて、入力領域発見ステップ58で、入力イメージ内の対応するソース領域を見つける。ソース領域は、ステップ50で出力イメージの選択された領域に達するために適用された変換を介して逆に進むことによって見つけられることが好ましい。構成要素発見ステップ60で、プロセッサ46は、当技術分野で周知のように、ソース領域内で接続されている構成要素を見つける。これらの接続された構成要素は、書かれた文字に属するものとして高い尤度を有するものとして画素を識別する形態学的判断基準を満たす連続的またはほぼ連続した画素のグループである。たとえば、図1の文字24が、そのような判断基準を満たす。
【0030】
ステップ58で、ソース領域のそれぞれの境界を洗練して、ソース領域に対応するテンプレート・フィールドに部分的に含まれるだけである接続された構成要素を除外することが好ましい。この洗練を達成するために、一番上の空の行(すなわち、白画素だけを含む行)を、領域内で見つけ、その下の次の空でない行を、最上部候補として記録する。同様に、フィールド内で最も下の空の行を見つけ、その上の次の空でない行を、最下部候補として記録する。最上部候補と最下部候補が衝突(たとえば、オーバーラップすることによって)しない場合に、領域境界を、最上部候補と最下部候補に定義しなおす。同様の手順を、領域の左右に適用する。これらのステップが、領域の多少の縮小をもたらす可能性がある。(調整された)領域境界を、ステップ60ですべての方向にもう一度拡大して、領域内に残された画素のすべての接続された構成要素のすべてを含めることができる。しかし、このステップが、領域のいずれかの側面が、対応するフィールドの元の境界より、事前に設定された閾値(たとえば20%)を超えて拡大される結果をもたらす場合には、その領域を、図5の処理の残りのステップから除外することが好ましい。この形で、このテンプレート・フィールドの内部に属さない可能性がある、無関係の接続された構成要素に起因する出力イメージ内のアーチファクトが回避される。
【0031】
関心のある領域で見つかった接続された構成要素のそれぞれについて、プロセッサ46は、位置変換ステップ62で、その構成要素を出力イメージの選択された領域内の対応する位置に並進させるために、位置座標の適当な変換を判定する。接続された構成要素の、重心またはその代わりに頂点の1つなどの点を選択することが好ましい。プロセッサは、入力イメージを出力イメージに変換する際に、この選択された点に適用された正味の並進を判定する。貼付けステップ64で、これと同一の正味の並進を、接続された構成要素の点のすべてに適用する。この形で、接続された構成要素が、ステップ56で消去された、領域の前の内容の代わりに、関心のある領域内の適当な位置に1つずつ貼り付けられる。代替案では、ステップ60をスキップすることができ、単一の並進変換を判定し、適用して、入力イメージからの関心のある領域の内容全体を出力イメージに貼り付けることができる。
【0032】
図6は、図5の方法に従って生成された出力イメージに見られる箱22およびその中の文字24の概略図である。文字の破壊された部分34および36が消去され、その代わりに、元の文字が、図1の入力イメージから箱の中に貼り付けられている。入力イメージの回転が原因で、図5に示された出力イメージの文字のそれぞれが、わずかに回転されて見える。というのは、ステップ64で、文字内のすべての点に同一の変換が適用されたからである。しかし、この回転は、当技術分野で既知のOCRプログラムによって簡単に克服され、図3に見られた、より問題の多い文字の崩壊が、回避されている。
【0033】
好ましい実施形態を、テンプレートベースのフォームの処理に関して本明細書で説明したが、本発明の原理は、他のタイプのイメージの処理にも同様に適用可能である。さまざまなイメージ処理の文脈で、イメージに適用されるディジタル変換が、2つの隣接する画素の間の結果のオフセットが理論的オフセットと異なるという意味で、正確でないことがしばしばある。この不正確さは、上で説明したローカル・セグメント変換もしくは、丸めまたはデシメーションなどの他の誤差に起因する可能性がある。読み取られなければならない(テンプレートの存在に無関係に)イメージ内のテキスト・ブロックがある場合に、本発明の方法をこれらの情況で有利に使用して、そのブロックのリーダビリティを強化することができる。他の例として、画像条件を補償するために回転され曲げられる航空イメージでは、本発明を使用して、そのイメージ内で、特に興味を持たれ、したがって最小のひずみで保存されなければならない特定の詳細の可視性を保存することができる。このようなさらなる応用分野は、当業者に明白であろう。
【0034】
したがって、上述した好ましい実施形態は例として引用されたものであり、本発明は、上記で特に図示し、説明したものに制限されないことを理解されたい。そうではなく、本発明の範囲は、上で説明したさまざまな特徴の組合せおよび部分的組合せの両方、ならびに前述の説明を読む時に当業者が思い浮かべる、従来技術で開示されていない本発明の変形形態および修正形態を含む。
【図面の簡単な説明】
【図1】
本発明を理解するのに有用な、書き込まれたフォーム文書のイメージの詳細を示す概略図である。
【図2】
当技術分野で既知の方法を使用するイメージの処理の過程での図1のイメージのセグメントに適用される相対シフトを示す概略図である。
【図3】
図2の方法を使用するイメージの処理の後の図1のイメージを示す概略図である。
【図4】
本発明の好ましい実施形態による、文書イメージを処理するシステムの概略の絵図である。
【図5】
本発明の好ましい実施形態による、イメージを処理する方法を概略的に示す流れ図である。
【図6】
図5の方法を使用する、図1の文書イメージの処理の結果を示す概略図である。
Claims (20)
- 入力イメージを処理する方法であって、
出力イメージを生成するために、前記入力イメージに1つまたは複数の変換を適用し、これによって、前記入力イメージ内の異なる画素に異なるシフトが適用されるステップ、
前記出力イメージ内で、関心のある内容を含む領域を選択するステップ、
前記出力イメージ内の前記選択された領域に対応する領域を、前記入力イメージ内で突き止めるステップ、および
前記出力イメージ内の前記選択された領域の内容を、前記入力イメージ内の前記突き止められた領域の内容で置換するステップ
を含む方法。 - 前記1つまたは複数の変換を適用するステップが、前記入力イメージをセグメントに分割するステップ、および各セグメントに適用される変換を判定するステップを含む、請求項1に記載の方法。
- 前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、各セグメントに適用される前記変換を判定するステップが、基準テンプレートに関する前記入力イメージのひずみを近似的に補償する、前記セグメントの1つまたは複数の変換を見つけるステップを含み、これによって、前記出力イメージが、前記基準テンプレートに位置合わせされる、請求項2に記載の方法。
- 前記1つまたは複数の変換が、前記基準テンプレートに関する前記入力イメージの回転を補償する、請求項3に記載の方法。
- 前記1つまたは複数の変換を適用するステップが、複数の相互に隣接するセグメントに異なる変換を適用するステップを含む、請求項2に記載の方法。
- 前記領域を選択するステップが、異なる変換が適用される前記複数のセグメントの間で分割される領域を選択するステップを含む、請求項5に記載の方法。
- 前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、前記領域を選択するステップが、前記関心のある内容を受け取るステップを意図されたテンプレートのフィールドを識別するステップを含む、請求項1に記載の方法。
- 前記入力イメージが、前記領域の輪郭を描くテンプレートを含み、前記領域が、前記関心のある内容を書き込まれ、前記領域を選択するステップが、前記出力イメージから前記テンプレートを除去するステップ、および前記テンプレートが除去された後の残りの前記イメージの部分を選択するステップを含む、請求項1に記載の方法。
- 前記領域を選択するステップが、前記入力イメージに適用される前記1つまたは複数の変換に応答して領域を選択するステップを含む、請求項1に記載の方法。
- 前記関心のある内容が、英数字を含み、前記領域を選択するステップが、前記1つまたは複数の変換が領域内の文字のリーダビリティに悪影響を及ぼした可能性が高い前記領域を選択するステップを含む、請求項9に記載の方法。
- 前記領域を突き止めるステップが、前記1つまたは複数の変換によって前記出力イメージの前記選択された領域に変換された前記入力イメージの領域を見つけるステップを含む、請求項1に記載の方法。
- 前記突き止められた領域の前記内容を置換するステップが、前記突き止められた領域内で接続された構成要素を見つけるステップ、および前記接続された構成要素を前記出力イメージ内の前記選択された領域にコピーするステップを含む、請求項1に記載の方法。
- 前記接続された構成要素をコピーするステップが、前記突き止められた領域内の前記接続された構成要素のそれぞれについて、前記接続された構成要素内の点のすべてに適用される変換動作を見つけるステップを含む、請求項12に記載の方法。
- 前記変換動作を見つけるステップが、前記接続された構成要素のそれぞれについて、前記接続された構成要素の上またはその付近の点を選択するステップ、および前記入力イメージに適用された前記1つまたは複数の変換によってその点に適用された変換を判定するステップを含む、請求項13に記載の方法。
- 前記接続された構成要素を見つけるステップが、前記イメージ内で文字を見つけるステップを含む、請求項12に記載の方法。
- 前記関心のある内容が、英数字を含み、前記方法が、前記選択された領域内の前記置換された内容に光学文字認識を適用するステップを含む、請求項1に記載の方法。
- 内容を書き込まれる1つまたは複数の領域を有するテンプレートを含む文書の入力イメージを処理する装置であって、前記装置が、フォーム・プロセッサを含み、前記フォーム・プロセッサが、前記テンプレートが基準テンプレートに位置合わせされる出力イメージを生成するために前記入力イメージに1つまたは複数の変換を適用し、前記出力イメージ内の前記書き込まれた領域の少なくとも1つを選択し、前記出力イメージ内の前記少なくと他の選択された領域に対応する、少なくと他の書き込まれた領域を前記入力イメージ内で突き止め、前記出力イメージ内の前記少なくと他の選択された領域の内容を、前記入力イメージ内の前記少なくと他の突き止められた領域の内容で置換するように適合される、装置。
- 前記1つまたは複数の領域に書き込まれた前記内容が、英数字を含み、前記プロセッサが、前記文書から前記内容を抽出するために、前記少なくと他の選択された領域内の前記置換された内容に光学文字認識を適用する、請求項17に記載の装置。
- 前記入力イメージを生成するために前記文書をスキャンするように適合される画像装置を含む、請求項18に記載の装置。
- 請求項1ないし16に記載のいずれかの方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/521,399 US6658166B1 (en) | 2000-03-08 | 2000-03-08 | Correction of distortions in form processing |
PCT/IL2001/000175 WO2001067380A1 (en) | 2000-03-08 | 2001-02-25 | Correction of distortions in form processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004500659A true JP2004500659A (ja) | 2004-01-08 |
JP3989733B2 JP3989733B2 (ja) | 2007-10-10 |
Family
ID=24076587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001565121A Expired - Fee Related JP3989733B2 (ja) | 2000-03-08 | 2001-02-25 | フォーム処理でのひずみの訂正 |
Country Status (12)
Country | Link |
---|---|
US (1) | US6658166B1 (ja) |
EP (1) | EP1277166B1 (ja) |
JP (1) | JP3989733B2 (ja) |
KR (1) | KR100476357B1 (ja) |
AT (1) | ATE391963T1 (ja) |
AU (1) | AU2001235943A1 (ja) |
BR (1) | BR0109100A (ja) |
CA (1) | CA2397872C (ja) |
DE (1) | DE60133539T2 (ja) |
IL (1) | IL151544A0 (ja) |
MX (1) | MXPA02008494A (ja) |
WO (1) | WO2001067380A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7012624B2 (en) * | 2003-12-29 | 2006-03-14 | Arcsoft, Inc. | Texture synthesis for repairing damaged images |
US7602995B2 (en) * | 2004-02-10 | 2009-10-13 | Ricoh Company, Ltd. | Correcting image distortion caused by scanning |
US7668404B2 (en) * | 2004-06-30 | 2010-02-23 | Lexmark International, Inc. | Method and system of deskewing an image using monochrome conversion to separate foreground from background |
US20060045344A1 (en) * | 2004-09-02 | 2006-03-02 | Adi, Llc | Handprint recognition test deck |
US7711204B2 (en) * | 2005-05-02 | 2010-05-04 | Samsung Electronics Co., Ltd. | 1-D image restoration using a sliding window method |
US8055104B2 (en) * | 2007-03-02 | 2011-11-08 | Adi, Llc | Process performance evaluation for Enterprise data systems |
US20080235263A1 (en) * | 2007-03-02 | 2008-09-25 | Adi, Llc | Automating Creation of Digital Test Materials |
US8195003B2 (en) * | 2008-06-30 | 2012-06-05 | International Business Machines Corporation | Method of correcting digital image distortion caused by a sheet-fed scanner |
US9384391B2 (en) | 2014-10-03 | 2016-07-05 | Xerox Corporation | Methods and systems for processing documents |
US11210507B2 (en) | 2019-12-11 | 2021-12-28 | Optum Technology, Inc. | Automated systems and methods for identifying fields and regions of interest within a document image |
US11227153B2 (en) | 2019-12-11 | 2022-01-18 | Optum Technology, Inc. | Automated systems and methods for identifying fields and regions of interest within a document image |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5067162A (en) | 1986-06-30 | 1991-11-19 | Identix Incorporated | Method and apparatus for verifying identity using image correlation |
US4832477A (en) | 1986-09-30 | 1989-05-23 | Aisin Seiki Kabushiki Kaisha | Door mirror assembly for automotive vehicles |
IL91220A (en) | 1989-08-04 | 1995-03-30 | Ibm Israel | Compression of information |
US5191525A (en) | 1990-01-16 | 1993-03-02 | Digital Image Systems, Corporation | System and method for extraction of data from documents for subsequent processing |
EP0594901A1 (en) * | 1992-10-27 | 1994-05-04 | International Business Machines Corporation | Image compression method |
WO1995014348A1 (en) * | 1993-11-16 | 1995-05-26 | International Business Machines Corporation | Method and apparatus for alignment of images for template elimination |
US5715325A (en) | 1995-08-30 | 1998-02-03 | Siemens Corporate Research, Inc. | Apparatus and method for detecting a face in a video image |
-
2000
- 2000-03-08 US US09/521,399 patent/US6658166B1/en not_active Expired - Lifetime
-
2001
- 2001-02-25 EP EP01908086A patent/EP1277166B1/en not_active Expired - Lifetime
- 2001-02-25 IL IL15154401A patent/IL151544A0/xx unknown
- 2001-02-25 AU AU2001235943A patent/AU2001235943A1/en not_active Abandoned
- 2001-02-25 MX MXPA02008494A patent/MXPA02008494A/es active IP Right Grant
- 2001-02-25 BR BR0109100-0A patent/BR0109100A/pt not_active Application Discontinuation
- 2001-02-25 AT AT01908086T patent/ATE391963T1/de not_active IP Right Cessation
- 2001-02-25 DE DE60133539T patent/DE60133539T2/de not_active Expired - Lifetime
- 2001-02-25 JP JP2001565121A patent/JP3989733B2/ja not_active Expired - Fee Related
- 2001-02-25 CA CA002397872A patent/CA2397872C/en not_active Expired - Fee Related
- 2001-02-25 KR KR10-2002-7011668A patent/KR100476357B1/ko not_active IP Right Cessation
- 2001-02-25 WO PCT/IL2001/000175 patent/WO2001067380A1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
CA2397872C (en) | 2007-02-06 |
WO2001067380A1 (en) | 2001-09-13 |
DE60133539T2 (de) | 2009-06-18 |
US6658166B1 (en) | 2003-12-02 |
EP1277166A4 (en) | 2007-03-07 |
MXPA02008494A (es) | 2002-12-13 |
DE60133539D1 (de) | 2008-05-21 |
AU2001235943A1 (en) | 2001-09-17 |
JP3989733B2 (ja) | 2007-10-10 |
EP1277166B1 (en) | 2008-04-09 |
KR20020081405A (ko) | 2002-10-26 |
IL151544A0 (en) | 2003-04-10 |
BR0109100A (pt) | 2002-12-17 |
EP1277166A1 (en) | 2003-01-22 |
CA2397872A1 (en) | 2001-09-13 |
KR100476357B1 (ko) | 2005-03-16 |
ATE391963T1 (de) | 2008-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3594228B2 (ja) | 枠消し装置、枠消し方法、およびオーサリング装置 | |
JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
CN110807454B (zh) | 基于图像分割的文字定位方法、装置、设备及存储介质 | |
JP3989733B2 (ja) | フォーム処理でのひずみの訂正 | |
CN111046644A (zh) | 一种答题卡模板生成方法、识别方法、装置及存储介质 | |
KR102544129B1 (ko) | Omr 기반 답안 채점 서비스 제공 시스템 | |
CN109741273A (zh) | 一种手机拍照低质图像的自动处理与评分方法 | |
CA2787159C (en) | Correcting page curl in scanned books | |
KR102562170B1 (ko) | 딥러닝 기반 전자책 자동변환 서비스 제공 방법 | |
CN111368572A (zh) | 一种二维码的识别方法及系统 | |
JP2003046746A (ja) | 画像処理方法及び画像処理装置 | |
JP4804433B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラム | |
US7865130B2 (en) | Material processing apparatus, material processing method, and material processing program product | |
JP2001283212A (ja) | ベクタ変換下地補間方法 | |
JP4803001B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2008269131A (ja) | 画像処理装置及び画像処理プログラム | |
JP2005227929A (ja) | 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体 | |
JPH1196296A (ja) | 帳票イメージ処理方法および装置 | |
JP2006277509A (ja) | ドットテクスチャ重畳表記部形状回復方法及びそのためのプログラム | |
JPH10154191A (ja) | 帳票識別方法及び装置並びに帳票識別プログラムを記録した媒体 | |
Sharma et al. | A rule based approach for skew correction and removal of insignificant data from scanned text documents of Devanagari script | |
JP2005196659A (ja) | 画像処理装置、プログラムおよび記録媒体 | |
JP4230478B2 (ja) | 文書処理装置、方法およびプログラム | |
JP2004280530A (ja) | 帳票処理システム及び帳票処理方法 | |
JP2012058869A (ja) | 画像処理装置、画像形成装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060307 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061017 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070718 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3989733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |