JP2011109637A - 画像比較解析を用いた印刷文書における変更の検出方法 - Google Patents

画像比較解析を用いた印刷文書における変更の検出方法 Download PDF

Info

Publication number
JP2011109637A
JP2011109637A JP2010143707A JP2010143707A JP2011109637A JP 2011109637 A JP2011109637 A JP 2011109637A JP 2010143707 A JP2010143707 A JP 2010143707A JP 2010143707 A JP2010143707 A JP 2010143707A JP 2011109637 A JP2011109637 A JP 2011109637A
Authority
JP
Japan
Prior art keywords
image
original
target image
original image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010143707A
Other languages
English (en)
Other versions
JP2011109637A5 (ja
JP5559619B2 (ja
Inventor
Yibin Tian
チャン ユィビン
Wei Ming
イ メイ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Laboratory USA Inc
Original Assignee
Konica Minolta Laboratory USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Laboratory USA Inc filed Critical Konica Minolta Laboratory USA Inc
Publication of JP2011109637A publication Critical patent/JP2011109637A/ja
Publication of JP2011109637A5 publication Critical patent/JP2011109637A5/ja
Application granted granted Critical
Publication of JP5559619B2 publication Critical patent/JP5559619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/155Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/186Extraction of features or characteristics of the image by deriving mathematical or geometrical properties from the whole image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】走査文書をオリジナルデジタル文書と比較することにより文書を認証する方法を提供する。
【解決手段】文書変更検出方法は、ターゲット画像とオリジナル画像を二段階処理を用いて比較する。第一の工程において、オリジナル画像及びターゲット画像は、連結画像成分に分割され、それらの重心が取得され(S104)、オリジナル画像及びターゲット画像の画像成分の重心が比較される(S105)。オリジナル画像中に存在しないターゲット画像中の重心の各々は追加を表すものとみなされ、ターゲット画像中の存在しないオリジナル画像中の重心の各々は削除を表すものとみなされる。第二の工程において、オリジナル画像及びターゲット画像の整合重心の各対に対応する画像成分を含む部分画像が比較され、全ての変更を検出する。
【選択図】図1

Description

本発明は、文書の走査画像と当該文書のオリジナルデジタル版との比較による、印刷文書における変更の検出方法に関する。特に、本発明は、第一段階として連結された画像成分の重心を検出して比較する、二段階画像比較方法に関する。
閉ループ処理とは、オリジナルデジタル文書(テキスト、グラフィックス、画像等を含み得る)を印刷し、当該文書の印刷されたハードコピーを分類及びコピー等に使用し、その後、当該文書のハードコピーを走査してデジタル形式へ戻すことを言う。走査されたデジタル文書の認証とは、当該走査文書がオリジナルデジタル文書の正本であるかどうか、即ち、当該文書がハードコピー形式である間に変更されたかどうか、を決定することを指す。種々のタイプの文書認証及び変更検出方法が提案されている。多くの文書認証方法の目的は、変更(追加、削除)が如何なるものかを検出することである。文書認証方法の一種は、走査文書とオリジナルデジタル文書との画像比較を行う。これは、画素単位変更検出方法と呼ばれることがある。他のタイプの文書認証方法では、文書内容を表す又は文書内容に関連するデータをバーコードで符号化し、当該バーコードを文書自身に印刷して、その後の文書認証に役立てる。
従来の画素単位変更検出方法では、オリジナルデジタル画像と走査画像とを画素毎に比較し、走査画像中に変更が存在するか否かを決定する。プリンタとスキャナが共に高空間解像度であれば、高解像度の走査画像がもたらされる。従来の変更検出方法における画像全体の網羅的な画像比較処理では、コンピュータ処理が多くなる。
本発明は、走査文書をオリジナルデジタル文書と画像比較することにより文書を認証するための改善された方法に関する。
本発明の目的は、性能が改善された画像比較に基づく変更検出方法を提供することである。
本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。
これらの及び/又は他の目的を達成するために、具現化され広く記載されているように、本発明は、データ処理装置において実施される、二値ビットマップ画像であるオリジナル画像及びターゲット画像間における変更の検出方法を提供する。この方法は、(a)オリジナル画像及びターゲット画像から連結画像成分を抽出する工程と、(b)オリジナル画像及びターゲット画像中の抽出された連結画像成分の各々の重心を計算する工程と、(c)オリジナル画像のすべての重心とターゲット画像のすべての重心とを比較して、オリジナル画像の重心の各々がターゲット画像の整合重心を有するか否か、及びターゲット画像の重心の各々がオリジナル画像の整合重心を有するか否かを決定する工程と、(d)ターゲット画像中に整合重心を有しないオリジナル画像の重心の各々に対して、オリジナル画像の対応する連結画像成分を、削除された連結画像成分として認定する工程と、(e)オリジナル画像中に整合重心を有しないターゲット画像の重心の各々に対して、ターゲット画像の対応する連結画像成分を、追加された連結画像成分として認定する工程と、(f)オリジナル画像及びターゲット画像の整合重心の各対に対して、該重心に対応する連結画像成分を含むオリジナル画像及びターゲット画像の一対の部分画像を比較して変更を検出する工程と、(g)工程(d)及び(e)で認定された削除又は追加された連結画像成分及び工程(f)で検出された変更を示す変更マップを生成する工程と、を含む。
上記方法の工程(f)は、(f1)オリジナル画像の重心に対応する連結画像成分を含むオリジナル画像の部分画像を規定する工程と、(f2)ターゲット画像の重心に対応する連結画像成分を含むターゲット画像の部分画像を規定する工程と、(f3)オリジナル画像の部分画像とターゲット画像の部分画像との差分マップを生成する工程と、(f4)オリジナル画像の部分画像又はターゲット画像の部分画像から、部分画像に含まれる連結画像成分のエッジ領域を表すエッジマップを生成する工程と、(f5)エッジマップのエッジ領域内に入る差分マップの画素を除外することにより工程(f3)で生成された差分マップを変更する工程と、を含みうる。
他の側面では、本発明は、データ処理装置に上記方法を行わせるための、コンピュータ読み取り可能なプログラムコードが組み込まれたコンピュータ使用可能な媒体(例えば、メモリ又は記憶装置)を有する、コンピュータプログラム製品を提供する。
上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。
本発明の実施形態による変更検出方法を示すフローチャートである。 比較されるオリジナル画像及びターゲット画像の概略図である。 オリジナル画像及びターゲット画像の重心の概略図である。 オリジナル画像及びターゲット画像の2つの重心に対して規定された2つの部分画像の概略図である。 変更検出処理の種々の段階における例示的な画像を示す図である。 変更検出処理の種々の段階における例示的な画像を示す図である。 変更検出処理の種々の段階における例示的な画像を示す図である。 変更検出処理の種々の段階における例示的な画像を示す図である。 変更検出処理の種々の段階における例示的な画像を示す図である。 変更検出処理の種々の段階における例示的な画像を示す図である。
本発明の実施形態によれば、文書変更検出方法は、二段階処理を用いて、走査されたデジタル文書画像(本明細書では、便宜上、ターゲット画像と称する)をオリジナルデジタル文書画像(オリジナル画像と称する)と比較する。第一段階では、オリジナル画像及びターゲット画像は連結画像成分に分割され、それらの重心が取得され、オリジナル画像及びターゲット画像中の連結画像成分の重心が比較される。オリジナル画像中に存在しないターゲット画像中の重心の各々は追加(変更)を表すものとみなされ、ターゲット画像中に存在しないオリジナル画像中の重心の各々は削除(変更)を表すものとみなされる。第二段階では、オリジナル画像及びターゲット画像の整合重心の各対に対応する連結画像成分を含む部分画像が比較され、変更が検出される。
この変更検出方法は、図1及び図2a〜図2cを参照してより詳細に説明される。図1は本発明の実施形態による変更検出方法を示すフローチャートである。まず、原オリジナル画像及び原ターゲット画像が取得される(工程S101)。これらの画像は共にビットマップ画像である。典型的には、原ターゲット画像は、オリジナルデジタル文書から初めに印刷された、文書のハードコピーを走査して得られる。例えば、オリジナルデジタル文書は、コンピュータによるワードプロセッシングアプリケーションにより生成された文書、ハードコピーを走査して得られた画像、カメラで撮影された写真等であり得る。オリジナルデジタル文書が印刷された後、ハードコピーは、それが走査されて元の原ターゲット画像が生成される前に、配布され、又は写真複写等されうる。ある実施形態における認証又は変更検出処理の目的は、ハードコピー文書が最初に印刷された時と、走査された元に戻る時との間で、変更されたか否かを検出することである。
工程S101で取得された原オリジナル画像は、オリジナルデジタル文書から生成された画像であるか、あるいは、オリジナルデジタル文書自体であってもよい。例えば、オリジナルデジタル文書がワードプロセッシングアプリケーションにより生成された文書である場合、その原オリジナル画像は、前記オリジナルデジタル文書を表す画像を生成するコンピュータプログラムを用いて得られたものであってもよい。あるいは、オリジナルデジタル文書は、印刷され、原オリジナル画像を得るべく変更を加えずに直ちに走査されて元に戻ったものであってもよい。あるいは、原オリジナル画像は、「原物」であるとみなされるハードコピー文書を走査することによって取得されてもよい。原オリジナル画像を得る他の方法も使用しうる。原オリジナル画像は、オリジナル文書の変更されていない画像を表す。
変更検出の典型的なシナリオにおいて、原ターゲット画像はオリジナル文書のコピーを意味する。したがって、変更がある場合、その変更は局在していると予想される一方で、原ターゲット画像は通常、オリジナル文書に全体的に類似した外観を呈している点に注目すべきである。
原オリジナル画像及び原ターゲット画像は前処理される(工程S102)。前処理には、画像が既に二値画像でない場合、スレッショルディングにより画像をグレイスケール又はカラー画像から二値画像に変換する処理が含まれる。前処理工程には、デスキュー、リサイジング、及びレジストレーション等の一以上の歪み補正工程も含まれる。デスキューは、典型的には、印刷及び/又は走査処理中の回転に関するエラーの補正を指す。ハフ(Hough)変換法、フーリエ‐メロン(Fourier−Mellon)変換法等の多くのデスキュー方法が知られている。デスキューを行うために、他の方法では原ターゲット画像及び原オリジナル画像との双方を用いるのに対し、幾つかの方法では原ターゲット画像のみを用いる。この工程には、任意の適当なデスキュー方法を用いることができる。同様に、多くのリサイジング方法が知られている。原ターゲット画像をリサイジングするには、典型的には、原ターゲット画像を原オリジナル画像と比較することが必要となる。幾つかのリサイジング方法では、これら二つの画像の有効内容領域を比較する。この工程には、任意の適当なリサイジング方法を用いることができる。原ターゲット画像のリサイジングは、ハードコピー文書が印刷解像度と異なる解像度で走査された場合等、特に、原オリジナル画像及び原ターゲット画像が異なる空間解像度を有する場合に望ましい。リサイジングされた原ターゲット画像は、少なくとも関心画像領域では、原オリジナル画像と同一の空間解像度及び同一の画素数を有している。原ターゲット画像を移動させるレジストレーションは、原オリジナル画像に対して原ターゲット画像を正しく整列させるために行われる。それは、典型的には、二つの画像を比較することにより行われる。テンプレートマッチング等の多くの画像レジストレーション方法が知られている。この工程には、任意の適当な画像レジストレーション方法を採用できる。
原オリジナル画像が、印刷及び走査処理を受けていない場合には、歪み補正工程を省略することができる。
変更検出方法の残りの工程は、処理された原オリジナル画像及び原ターゲット画像(以下、オリジナル画像及びターゲット画像と称する)を比較して変更を検出する。まず、オリジナル画像及びターゲット画像の各々の連結画像成分を抽出する(工程S103)。二値画像においては、連結画像成分は連結された画素グループである。テキスト文書においては、例えば、各アルファベット文字が典型的には一又は二の連結画像成分を形成する。連結画像成分を抽出するための多くの方法が知られており、この工程には、任意の適当な方法を採用できる。好ましくは、閾値数よりも少ない画素数から成る連結画像成分は、ノイズとして処理され、それ以降の解析から省かれる。閾値数は、画像の解像度に依存する。例えば、200dpi(インチ当りのドット数)の画像に対しては、閾値数は20画素であればよい。簡略化のため、以下、連結画像成分は単に画像成分を指す場合がある。
図2aは、各々が多数の画像成分を含むオリジナル画像21及びターゲット画像22を概略的に示す。この例では、図示のごとく、オリジナル画像21は画像成分「A」、「B」、「C」及び「D」を有し、ターゲット画像22は画像成分「A」、「F」、「C」及び「E」を有する。
そして、各画像成分に対して、その重心(幾何学的中心)が計算される(工程S104)。図2bはオリジナル画像21及びターゲット画像22の各々の重心マップ23及び24を概略的に示す。マップ23において、重心23a〜23dは各々、オリジナル画像21の画像成分「A」、「B」、「C」及び「D」に対応する。マップ24において、重心24a〜24c及び24eは各々、オリジナル画像22の画像成分「A」、「F」、「C」及び「E」に対応する。
オリジナル画像21から抽出されたすべての重心は、ターゲット画像22から抽出されたすべての重心と比較される(工程S105)。この工程では、オリジナル画像及びターゲット画像の重心が、それらの画像中の位置に基づいて比較される。同一の位置を(所定の位置的許容範囲内で)有するオリジナル画像及びターゲット画像中の重心の対が、整合重心とみなされ、オリジナル画像又はターゲット画像中の全ての非整合重心は変更を表すとみなされる。ターゲット画像中に存在しないオリジナル画像の重心は削除されたと考えられ、それらの重心に対応するオリジナル画像中の画像成分は変更(削除)されたものとして符号が付けられる。オリジナル画像中に存在しないターゲット画像の重心は追加されたと考えられ、それらの重心に対応するターゲット画像中の画像成分は変更(追加)されたものとして符号が付けられる。位置的許容範囲は、画像の解像度に依存する。例えば、400dpiの画像に対しては、許容範囲は2〜3画素とすることができる。
あるいは、二つの画像の重心の位置を比較する代わりに、パターンマッチングの形式を行い、オリジナル画像及びターゲット画像中の整合重心及び非整合重心を識別してもよい。
図2bの例では、重心23a,23c及び24a,24cが整合重心である一方、重心23dは削除を表し、重心24eは追加を表す。重心23b及び24bについては、図2aの画像成分「B」及び「F」のように、二個の異なる画像成分がオリジナル画像及びターゲット画像において実質的に同一の領域を占める場合には、重心の位置が十分に異なれば、変更は削除及び追加としてアルゴリズムによって取り扱われることとなる。一方、重心が十分に一致すれば、これらの画像成分は同一の画像成分として取り扱われ、差異が検出される。
次の幾つかの工程S106〜S111は、整合重心の各対に対して実行される。整合重心の各対に対して、オリジナル画像及びターゲット画像において一対の部分画像が選択され、この一対の部分画像は、重心に対応する画像成分を含む(工程S106)。部分画像の大きさは基礎をなす画像成分の大きさに依存するが、全画像成分を適当なマージン(例えば、数画素)を持って包囲するべきである。典型的には、工程S103で画像成分を抽出するとき、適当な大きさ及び位置の枠取りが既に作成されており、この枠取りは、必要に応じてマージンを加えて、部分画像を規定するために用いられうる。レジストレーション工程(ローカルレジストレーション)は、オリジナル画像及びターゲット画像の二つの部分画像を互いに整列させるために行うことができる(工程S107)。任意の適当な方法がこの工程に用いられる。レジストレーション後、オリジナル画像及びターゲット画像における二つの部分画像の大きさが、同じ大きさとなるように、必要に応じて調整される。
図2cは、オリジナル画像21及びターゲット画像22における画像成分「A」を含む、重心23a及び24a(図2cでは図示せず)に対して規定された二つの部分画像25a、26aを概略的に示す。
その後、部分画像の対に対して差分マップが生成される(工程S108)。二つの二値ビットマップの差分マップは、二つのビットマップの二値差(「XOR」)である。工程S108で生成された差分マップの画素値は、二つの部分画像が同一であるか、相違するかを表す。エッジマップは、二つの部分画像のいずれからでも生成される(工程S109)。エッジマップは、連結画像成分のエッジの形を表す二値マップである。エッジマップ中の画素値は、画素が、連結画像成分のエッジ領域中にあるか否かを表す。ラプラシアン・オブ・ガウシアン(Laplacian of Gaussian)又はキャニー(Canny)エッジ検出器等の任意の適当なエッジ検出(エッジ抽出)方法をエッジマップの生成に用いることができる。このようなエッジ検出器の中には、およそ一画素幅のエッジを生成するものがある。エッジ検出器により生成されたエッジの幅は、モーフォロジカル拡張を用いて(例えば、一画素から多画素へ)拡張できる。次に、工程S108で生成された差分マップが変更され、エッジマップのエッジ領域に入る差分画素を取り除く(工程S110)。あるいは、工程S109において、二つの部分画像から二つのエッジマップを生成することができ、工程S110において、差分画素がいずれかのエッジマップのエッジ領域中に入る場合は、それらの差分画素は取り除かれる。
エッジ領域に入る差分マップの画素を除外する理由は、印刷及び走査処理においては、(文字等の)画像成分の幅はしばしば細くなるか太くなるためである。更に、二つの画像成分のエッジは、部分画像が十分に整列していないために僅かに異なり得るからである。したがって、エッジ領域中の差分画素は、実際の変更というよりも、むしろこのような要素の影響を表す場合がある。
後処理が変更された差分マップに行われ、マップのノイズが除去される(工程S111)。モーフォロジカル操作等の任意の適当なノイズ除去法を使用することができる。あるいは、部分画像の差分マップの各々に工程S111のノイズ除去を行う代わりに、全ての差分マップの集合である全画像に対する差分マップにノイズ除去を行うことができる。他の代替手段として、部分画像の差分マップと全画像に対する差分マップの双方にノイズ除去を行ってもよい。
図3a〜図3fは、本処理における種々の画像の例を示す。実際のアルゴリズムは画像成分(例えば、文字)を一つずつ処理するが、図3a〜図3fの例では、よりわかりやすく図示するため、多数の文字が一緒に示されていることに留意されたい。図3a及び図3bは、それぞれ(スレッショルディング後の)オリジナル画像及びターゲット画像を示す。図3cは、工程S108により、オリジナル画像及びターゲット画像から生成された差分マップを示す。図3dは、工程S109により生成されたエッジマップを示す。この例において、エッジマップはオリジナル画像から生成される。図3eは、工程S110により生成された変更された差分マップを示す。図3fは、工程S111でのノイズ除去後に変更された差分マップを示す。最終差分マップ(図3f)はターゲット画像における変更を示す。
工程S106〜S110(及び選択的にS111)は、工程S105で見いだされた整合重心の対のすべてに対して繰り返される。工程S110で生成された変更された差分マップは、部分画像領域内のターゲット画像中の変更を(もしあれば)表す。したがって、工程S105で発見されたすべての変更(追加及び削除)、及び工程S106〜S111で発見されたすべての変更は、ターゲット画像における変更をまとめて表す。文書の変更マップが、これらの結果から生成され、検出された変更を示す(工程S112)。この変更マップは、印刷、コンピュータのモニタ等の表示装置上に表示、又は電子形態で記憶等されることができる。
変更マップは、オリジナル画像及びターゲット画像の間の変更(差)を示すことができれば、任意の適当な形式を有し得る。例えば、変更マップは、二つの画像間でどの画素が異なるかを示す二値差分マップであってよい。このようなマップでは、変更されない領域は空白となり、変更された領域がマップ上に現れる。他の例としては、変更マップは、変更(追加、削除、変更等)された画像の部分を示す(四角、円、線、矢印、色等の)標識又はハイライトを用いた、オリジナル画像の校正版又はターゲット画像の校正版であってもよい。追加又は削除された画像成分は、その画像成分を示して、あるいは示すことなく、標識によって表すことができる。変更(追加、削除、変化、等)の異なるタイプを示すために、異なる色を変更マップ中で使用することができる。他の例においては、変更マップは、全ての画像成分を含まずに、変更の位置を示す標識のみを含んでもよい。
上述の重心を用いた変更検出方法には、多くの利点がある。画像比較のために多くの部分画像に画像を分割することは、印刷及び走査処理に導入された走査画像中の非一様な歪みの影響を減少させる。重心の位置は、処理中の歪みや他の影響に起因して文字が太くなったり細くなったりした場合でも、印刷及び走査処理において比較的安定している。したがって、重心とそれらの周りの部分画像を比較することにより、局所的整列が単純化され、伝統的な方法より計算コストが低くなる。なお、内容が存在しない画像の部分は自動的に飛ばされる。これらのことにより、検出処理が著しく高速化される。
上述した変更検出方法は、メモリ中に格納されたソフトウェア又はファームウェアにより実施することができ、コンピュータ、又はデータ処理部を有するプリンタ若しくはスキャナ等の任意の適当なデータ処理装置によって実行することができる。この点において、図1のフローチャートを実現するためのコードである、コンピュータで実行可能なソフトウェアを、適当なデータ処理装置の中央処理装置(CPU)又はマイクロプロセッシングユニット(MPU)によりアクセスされるコンピュータメモリ中に格納できる。印刷及び走査工程は、任意のプリンタ及びスキャナ、又は印刷部と走査部とが一装置内で組み合わされたオールインワン装置により実施できる。これらの装置の構造は周知であり、ここでは詳細に述べない。
本発明の変更検出方法及び装置に、本発明の要旨から逸脱することなく種々の変更及び変化を加え得ることは、当業者において明らかであろう。このように、本発明は、特許請求の範囲及びその均等物の範囲内における変更及び変化を包含することが意図されている。

Claims (20)

  1. 二値ビットマップ画像であるオリジナル画像及びターゲット画像の間の変更を検出するためのデータ処理装置において実施される方法であって、
    (a)前記オリジナル画像及び前記ターゲット画像から連結画像成分を抽出する工程と、
    (b)前記オリジナル画像及び前記ターゲット画像における前記抽出された連結画像成分の各々の重心を計算する工程と、
    (c)前記オリジナル画像のすべての重心と前記ターゲット画像のすべての重心とを比較して、前記オリジナル画像の重心の各々が前記ターゲット画像の整合重心を有するか否か、及び前記ターゲット画像の重心の各々が前記オリジナル画像の整合重心を有するか否かを決定する工程と、
    (d)前記ターゲット画像に前記整合重心を有しない前記オリジナル画像の重心の各々に対して、前記オリジナル画像の対応する連結画像成分を、削除された連結画像成分として認定する工程と、
    (e)前記オリジナル画像に前記整合重心を有しない前記ターゲット画像の重心の各々に対して、前記ターゲット画像の対応する連結画像成分を、追加された連結画像成分として認定する工程と、
    (f)前記オリジナル画像及び前記ターゲット画像の前記整合重心の各対に対して、前記重心に対応する連結画像成分を含む前記オリジナル画像及び前記ターゲット画像の部分画像の対を比較して変更を検出する工程と、
    (g)工程(d)及び(e)で認定された前記削除又は追加された連結画像成分と、工程(f)で検出された前記変更と、を示す変更マップを生成する工程と、
    を含むことを特徴とする方法。
  2. 前記工程(f)は、
    (f1)前記オリジナル画像の前記重心に対応する前記連結画像成分を含む前記オリジナル画像の部分画像を規定する工程と、
    (f2)前記ターゲット画像の前記重心に対応する前記連結画像成分を含む前記ターゲット画像の部分画像を規定する工程と、
    (f3)前記オリジナル画像の前記部分画像と前記ターゲット画像の前記部分画像との差分マップを生成する工程と、
    (f4)前記オリジナル画像の前記部分画像又は前記ターゲット画像の前記部分画像から、前記部分画像に含まれる前記連結画像成分のエッジ領域を表すエッジマップを生成する工程と、
    (f5)前記エッジマップの前記エッジ領域内に入る前記差分マップの画素を除外することにより、前記工程(f3)で生成された前記差分マップを変更する工程と、を有することを特徴とする、請求項1に記載の方法。
  3. 前記工程(f)は、前記工程(f1)及び(f2)の後であって、前記工程(f3)の前に、
    (f6)前記オリジナル画像の前記部分画像と前記ターゲット画像の前記部分画像とを互いに整列させる工程と、を更に含むことを特徴とする、請求項2に記載の方法。
  4. 前記工程(f)は、前記工程(f5)の後に、
    (f7)前記工程(f5)で取得された前記変更された差分マップのノイズを除去する工程と、を更に含むことを特徴とする、請求項2に記載の方法。
  5. 前記工程(c)は、前記オリジナル画像及び前記ターゲット画像の前記重心の位置を比較する工程であって、
    前記オリジナル画像の重心及び前記ターゲット画像の重心の位置が、所定の位置的許容範囲内で同じである場合に、これら重心が整合重心として決定される工程と、を含むことを特徴とする、請求項1に記載の方法。
  6. 前記工程(c)は、
    前記オリジナル画像の前記重心のパターンと前記ターゲット画像の前記重心のパターンとを比較する工程と、含むことを特徴とする、請求項1に記載の方法。
  7. 前記工程(a)の前に、
    (h)デスキュー、リサイジング、画像レジストレーションのうちの一以上の工程を含む、前記ターゲット画像の前処理工程と、を更に含むことを特徴とする、請求項1に記載の方法。
  8. 前記変更マップは差分マップを含むことを特徴とする、請求項1に記載の方法。
  9. 前記変更マップは、前記オリジナル画像又は前記ターゲット画像と、前記変更を示す一以上の標識と、を含むことを特徴とする、請求項1に記載の方法。
  10. (i)前記変更マップを印刷し、又は表示装置上に前記変更マップを表示する工程と、を更に含むことを特徴とする、請求項1に記載の方法。
  11. データ処理装置を制御するための、コンピュータ読み取り可能なプログラムコードが組み込まれたコンピュータ使用可能な媒体を有するコンピュータプログラム製品であって、
    前記コンピュータ読み取り可能なプログラムコードは、前記データ処置装置に、二値ビットマップ画像であるオリジナル画像及びターゲット画像の間の変更を検出するための処理を実行させるように構成され、
    前記処理は、
    (a)前記オリジナル画像及び前記ターゲット画像から連結画素成分を抽出する工程と、
    (b)前記オリジナル画像及び前記ターゲット画像の前記抽出された連結画像成分の各々の重心を計算する工程と、
    (c)前記オリジナル画像のすべての重心と前記ターゲット画像のすべての重心とを比較して、前記オリジナル画像の重心の各々が前記ターゲット画像の整合重心を有するか否か、及び前記ターゲット画像の重心の各々が前記オリジナル画像の整合重心を有するか否かを決定する工程と、
    (d)前記ターゲット画像に前記整合重心を有しない前記オリジナル画像の重心の各々に対して、前記オリジナル画像の対応する連結画像成分を、削除された連結画像成分として認定する工程と、
    (e)前記オリジナル画像に前記整合重心を有しない前記ターゲット画像の重心の各々に対して、前記ターゲット画像の対応する連結画像成分を、追加された連結画像成分として認定する工程と、
    (f)前記オリジナル画像及び前記ターゲット画像の前記整合重心の各対に対して、前記重心に対応する連結画像成分を含む前記オリジナル画像及び前記ターゲット画像の部分画像の対を比較して変更を検出する工程と、
    (g)前記工程(d)及び(e)で認定された前記削除又は追加された連結画像成分と、前記工程(f)で検出された前記変更と、を示す変更マップを生成する工程と、を含むことを特徴とするコンピュータプログラム製品。
  12. 前記工程(f)は、
    (f1)前記オリジナル画像の前記重心に対応する前記連結画像成分を含む前記オリジナル画像の部分画像を規定する工程と、
    (f2)前記ターゲット画像の重心に対応する前記連結画像成分を含む前記ターゲット画像の部分画像を規定する工程と、
    (f3)前記オリジナル画像の前記部分画像と前記ターゲット画像の前記部分画像との差分マップを生成する工程と、
    (f4)前記オリジナル画像の前記部分画像又は前記ターゲット画像の前記部分画像から、前記部分画像に含まれる前記連結画像成分のエッジ領域を表すエッジマップを生成する工程と、
    (f5)前記エッジマップの前記エッジ領域内に入る差分マップの画素を除外することにより、前記工程(f3)で生成された前記差分マップを変更する工程と、とを有することを特徴とする、請求項11に記載のコンピュータプログラム製品。
  13. 前記工程(f)は、前記工程(f1)及び(f2)の後であって、前記工程(f3)の前に、
    (f6)前記オリジナル画像の前記部分画像と前記ターゲット画像の前記部分画像とを互いに整列させる工程と、を更に含むことを特徴とする、請求項12に記載のコンピュータプログラム製品。
  14. 前記工程(f)は、前記工程(f5)の後に、
    (f7)前記工程(f5)で取得された前記変更された差分マップからノイズを除去する工程と、を更に含むことを特徴とする、請求項13に記載のコンピュータプログラム製品。
  15. 前記工程(c)は、前記オリジナル画像及び前記ターゲット画像の前記重心の位置を比較する工程であって、
    前記オリジナル画像の重心及び前記ターゲット画像の重心との位置が、所定の位置的許容範囲内で同じである場合に、これら重心が整合重心として決定される工程と、 含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
  16. 前記工程(c)は、
    前記オリジナル画像の前記重心のパターンと前記ターゲット画像の前記重心のパターンとを比較する工程と、含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
  17. 前記工程(a)の前に、
    (h)デスキュー、リサイジング、画像レジストレーションのうちの一以上の工程を含む、前記ターゲット画像の前処理工程と、を更に含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
  18. 前記変更マップは差分マップを含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
  19. 前記変更マップは、前記オリジナル画像又は前記ターゲット画像と、前記変更を示す一以上の標識と、を含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
  20. (i)前記変更マップを印刷し、又は表示装置上に前記変更マップを表示する工程と、を更に含むことを特徴とする、請求項11に記載のコンピュータプログラム製品。
JP2010143707A 2009-06-30 2010-06-24 画像比較解析を用いた印刷文書における変更の検出方法 Active JP5559619B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/495,749 US7965894B2 (en) 2009-06-30 2009-06-30 Method for detecting alterations in printed document using image comparison analyses
US12/495,749 2009-06-30

Publications (3)

Publication Number Publication Date
JP2011109637A true JP2011109637A (ja) 2011-06-02
JP2011109637A5 JP2011109637A5 (ja) 2013-05-23
JP5559619B2 JP5559619B2 (ja) 2014-07-23

Family

ID=42932163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010143707A Active JP5559619B2 (ja) 2009-06-30 2010-06-24 画像比較解析を用いた印刷文書における変更の検出方法

Country Status (3)

Country Link
US (1) US7965894B2 (ja)
EP (1) EP2270746B1 (ja)
JP (1) JP5559619B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607038B2 (en) 2013-03-15 2017-03-28 International Business Machines Corporation Determining linkage metadata of content of a target document to source documents

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331670B2 (en) * 2011-03-22 2012-12-11 Konica Minolta Laboratory U.S.A., Inc. Method of detection document alteration by comparing characters using shape features of characters
US9319556B2 (en) 2011-08-31 2016-04-19 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for authenticating printed documents that contains both dark and halftone text
US8687886B2 (en) * 2011-12-29 2014-04-01 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features
EP2921989A1 (en) 2014-03-17 2015-09-23 Université de Genève Method for object recognition and/or verification on portable devices
US9646191B2 (en) 2015-09-23 2017-05-09 Intermec Technologies Corporation Evaluating images
US10204416B2 (en) * 2016-02-04 2019-02-12 Kla-Tencor Corporation Automatic deskew using design files or inspection images
JP7006163B2 (ja) * 2017-11-16 2022-01-24 コニカミノルタ株式会社 画像処理装置およびプログラム
US10795618B2 (en) 2018-01-05 2020-10-06 Datamax-O'neil Corporation Methods, apparatuses, and systems for verifying printed image and improving print quality
US10803264B2 (en) 2018-01-05 2020-10-13 Datamax-O'neil Corporation Method, apparatus, and system for characterizing an optical system
US10834283B2 (en) 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
US10546160B2 (en) 2018-01-05 2020-01-28 Datamax-O'neil Corporation Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia
US10769430B2 (en) 2018-06-12 2020-09-08 Wipro Limited Method and system for correcting fabrication in a document
DE102018125780A1 (de) * 2018-10-17 2020-04-23 Schreiner Group Gmbh & Co. Kg Ähnlichkeitsbestimmung eines von einem Druckexemplar erstellten Digitalbildes mit einer Digitalvorlage
US11334856B2 (en) 2018-11-21 2022-05-17 Capital One Services, Llc Check tampering prevention using blockchain
US11361075B1 (en) * 2021-06-18 2022-06-14 Citrix Systems, Inc. Image steganography detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135857A (ja) * 2006-11-27 2008-06-12 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444797A (en) * 1993-04-19 1995-08-22 Xerox Corporation Method and apparatus for automatic character script determination
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6546112B1 (en) 1993-11-18 2003-04-08 Digimarc Corporation Security document with steganographically-encoded authentication data
US7620200B2 (en) 1995-05-08 2009-11-17 Digimarc Corporation Authentication of identification documents
US6212504B1 (en) 1998-01-12 2001-04-03 Unisys Corporation Self-authentication of value documents using encoded indices
US6978036B2 (en) 1998-07-31 2005-12-20 Digimarc Corporation Tamper-resistant authentication techniques for identification documents
US7394573B1 (en) 1999-04-14 2008-07-01 Xerox Corporation System for authenticating hardcopy documents
US7152047B1 (en) 2000-05-24 2006-12-19 Esecure.Biz, Inc. System and method for production and authentication of original documents
US6748102B2 (en) 2001-01-24 2004-06-08 International Business Machines Corporation Document alteration indicating system and method
MXPA04011277A (es) 2002-05-14 2006-02-22 Mediasec Technologies Gmbh Patrones de autenticacion visibles para documento impreso.
US7280696B2 (en) * 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
US7006128B2 (en) * 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
JP2005124063A (ja) * 2003-10-20 2005-05-12 Sharp Corp 画像形成装置
JP4521235B2 (ja) * 2004-08-25 2010-08-11 日立ソフトウエアエンジニアリング株式会社 撮影画像の変化抽出装置及び方法
US8467566B2 (en) 2005-10-06 2013-06-18 Pitney Bowes Inc. Method for detecting fraud in a printed image
US8107728B2 (en) * 2006-09-19 2012-01-31 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium
US20080310736A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Smart visual comparison of graphical user interfaces
US7925045B2 (en) 2007-09-10 2011-04-12 Konica Minolta Systems Laboratory, Inc. Determining document authenticity in a closed-loop process
US7676501B2 (en) 2008-03-22 2010-03-09 Wilson Kelce S Document integrity verification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135857A (ja) * 2006-11-27 2008-06-12 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607038B2 (en) 2013-03-15 2017-03-28 International Business Machines Corporation Determining linkage metadata of content of a target document to source documents
US9665613B2 (en) 2013-03-15 2017-05-30 International Business Machines Corporation Determining linkage metadata of content of a target document to source documents

Also Published As

Publication number Publication date
US7965894B2 (en) 2011-06-21
EP2270746A3 (en) 2013-08-14
EP2270746A2 (en) 2011-01-05
EP2270746B1 (en) 2015-06-24
US20100329576A1 (en) 2010-12-30
JP5559619B2 (ja) 2014-07-23

Similar Documents

Publication Publication Date Title
JP5559619B2 (ja) 画像比較解析を用いた印刷文書における変更の検出方法
US8331670B2 (en) Method of detection document alteration by comparing characters using shape features of characters
EP2288135B1 (en) Deblurring and supervised adaptive thresholding for print-and-scan document image evaluation
JP5620244B2 (ja) 画像比較および文書認証のための画像位置合わせの方法及びプログラム
JP6139396B2 (ja) 文書を表す二値画像を圧縮する方法及びプログラム
US9349237B2 (en) Method of authenticating a printed document
TWI606406B (zh) 從成像檔案擷取正文之方法、設備以及有形電腦可讀儲存媒體
US9959475B2 (en) Table data recovering in case of image distortion
US8842916B2 (en) Method and system for model-based signature profile extraction
JP2007335920A (ja) 画像処理装置および画像処理プログラム
US10715683B2 (en) Print quality diagnosis
US8913852B2 (en) Band-based patch selection with a dynamic grid
US20130050765A1 (en) Method and apparatus for document authentication using image comparison on a block-by-block basis
US9818028B2 (en) Information processing apparatus for obtaining a degree of similarity between elements
CN106845540B (zh) 一种图像重采样操作插值类型识别方法
Konya et al. Adaptive methods for robust document image understanding
CN111798429B (zh) 一种印刷品缺陷的视觉检测方法
KR101601755B1 (ko) 영상 특징 추출 방법 및 장치 및 이를 구현한 프로그램을 기록한 기록 매체
JP2010049587A (ja) 差分抽出装置及び差分抽出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121226

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140606

R150 Certificate of patent or registration of utility model

Ref document number: 5559619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150