JP2014131278A

JP2014131278A - 印刷された文書の認証方法

Info

Publication number: JP2014131278A
Application number: JP2013266487A
Authority: JP
Inventors: Yibin Tian; イービンティアン，; Wei Ming; ウェイミン，
Original assignee: Konica Minolta Laboratory USA Inc
Current assignee: Konica Minolta Laboratory USA Inc
Priority date: 2012-12-28
Filing date: 2013-12-25
Publication date: 2014-07-10
Anticipated expiration: 2033-12-25
Also published as: CN103914509A; US20140183854A1; CN103914509B; US9349237B2; JP5934174B2

Abstract

【課題】原本文書画像の各単語の単語境界ボックスと原本画像を再構築するためのデータとを含む認証データを符号化したバーコードを持つ印刷文書を認証するための方法を提供する。
【解決手段】印刷文書はスキャナーで読み取られて対象文書画像が生成され、次に文字列単語に分割される。原本文書画像および対象文書画像の単語境界ボックスを用いて対象文書画像を位置合わせする。次に、原本文書画像の各単語は対象文書画像の対応する単語と、それらの間の単語差異分布図およびハウスドルフ距離を用いて比較される。原本文書画像の記号は、特徴比較、記号差異分布図とハウスドルフ距離比較、および点マッチングを用いて対象文書画像の対応する記号とさらに比較される。比較結果によって、対象文書の原本文書に対する改ざんが特定され、それらを可視化することができる。
【選択図】図１（ａ）

Description

本発明は文書認証の方法に関し、特に、認証データを符号化したバーコードを持つ自己認証文書を処理してその文書中の改ざんを検出する方法に関する。

デジタル原本文書は文字列、図形、絵柄等を含む場合があり、これらの文書は多くの場合印刷され、印刷されたハードコピーは配布されたりコピーされたりし、その後スキャナーを用いて再びデジタル形式に戻されることもしばしばである。スキャナーで読み取られたデジタル文書の認証とは、スキャナーで読み取られた文書がデジタル原本文書の正本であるかどうかの判断、すなわちその文書がハードコピー形態であった間に改ざんされていないか判断することをいう。改ざんは意図的な行為または偶発的な事象の結果として生じ得る。閉ループ処理の文書認証とは、認証データを文書自身に持つ印刷文書を生成し、スキャナーを用いて読み戻された文書から抽出された認証データを用いてその文書を認証することをいう。そのような印刷文書は、内容を認証するのにその印刷文書中の情報以外何ら必要としないため自己認証と呼ばれる。

バーコード特に２次元（２ｄ）バーコードを用いて自己認証文書を生成する複数の方法が提案されてきた。具体的には、そのような方法には、文書（文字列、図形、絵柄等）の内容を処理し、文書内容を表す認証データに変換し、その認証データを符号化して２ｄバーコード（認証バーコード）にし、そのバーコードを原本文書内容と同じ記録媒体に印刷することが含まれる。その結果、自己認証文書が得られる。そのような印刷文書を認証するには、文書がスキャナーで読み取られてスキャン画像が得られる。認証バーコードもスキャナーで読み取られ、それに含まれる認証データが抽出される。次にスキャン画像の処理が行われ、認証データとの比較が行われて、その印刷文書の内容のどこかに改ざんが無いか、すなわちその文書が正本であるかどうかが判定される。一部の認証技術では、何が改ざんされたか、および／またはどこが改ざんされたかが判定でき、一部の認証技術では何らかの改ざんがあるか否かだけが判定される。

本発明の対象は、認証データを含むバーコード（機械で読み取り可能な全ての形態の模様または表示を含む）を持つ文書を、そのバーコードを復号化し、復号化した認証データをスキャナーで読み取った文書と比較することによって認証する方法である。

本発明の一目的は２つの文書画像を比較する有効な方法を提供することであって、文書の認証を目的とし、特に文字列を含む文書に適用される。

本発明の他の特徴および利点は以下に説明されるが、一部はその説明によって明らかになり、または本発明の実践によって理解される。本発明の目的および他の利点は、記載された明細書およびその特許請求の範囲ならびに添付図面に具体的に指摘された仕組みによって実現、達成されることになる。

上記および／またはその他の目的を達成するため、具体化され、かつ広義に記載されているように、本発明は、二値の原本文書画像を表す圧縮画像データを符号化したバーコードを持つ印刷文書を認証するための方法であって、（ａ）前記印刷文書を表す画像を得る工程と、（ｂ）前記画像を対象文書画像および前記バーコードに分離する工程と、（ｃ）前記バーコードを復号化し、その中の前記圧縮画像データを展開して前記原本文書画像を得る工程と、（ｄ）前記対象文書画像を二値化する工程と、（ｅ）前記対象文書画像を前記原本文書画像に対して位置合わせする工程と、（ｆ）前記原本文書画像の各単語を前記対象文書画像の対応する単語と比較して何らかの差異を検出する工程と、（ｇ）前記工程（ｆ）で検出された前記差異を可視化する工程と、を含み、前記工程（ｆ）は、（ｆ１）前記工程（ｃ）で得られた前記原本文書画像の各単語に対して、前記対象文書画像の前記対応する単語を見つける工程と、（ｆ２）前記原本文書画像の各単語と前記対象文書画像の前記対応する単語との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する単語に差異があるかどうか判定する工程と、（ｆ３）前記工程（ｆ２）で前記原本文書画像と前記対象文書画像の前記単語に差異があると判定されなかった場合、前記原本文書画像の前記単語内の１つ以上の候補記号と前記対象文書画像内の対応する候補記号とを特定する工程と、（ｆ４）前記工程（ｆ３）で特定された前記原本文書画像の各候補記号の画像特徴を前記対象文書画像の前記対応する候補記号の画像特徴と比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、（ｆ５）前記工程（ｆ４）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号と前記対象文書画像の前記対応する候補記号との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、（ｆ６）前記工程（ｆ５）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号の形状と前記対象文書画像の前記対応する候補記号の形状とを点マッチング法で比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、を含む方法を提供する。

他の側面において、本発明は、上記方法をデータ処理装置に実行させるように当該データ処理装置を制御するためのコンピューター可読プログラムコードが組み込まれている、コンピューター使用可能な非一時的媒体（例えば、メモリーや記憶装置等）を備えるコンピュータープログラム製品を提供する。

当然のことながら、ここまでの概要説明および以下の詳細説明は例示的なものであり、特許請求の範囲に記載された本発明のさらなる説明を提供することを目的とするものである。

は本発明の一実施形態に係る、バーコードに符号化された認証情報を持つ文書を認証する方法を概略的に説明する図である。は本発明の一実施形態に係る、バーコードに符号化された認証情報を持つ文書を認証する方法を概略的に説明する図である。

本明細書に記載の方法は、プロセッサー、メモリー、および記憶装置を備えるデータ処理システムで実行することができる。このデータ処理システムはプリンター、スキャナー、コピー機、および／または多機能装置に接続された独立型コンピューターでもよいし、プリンター、スキャナー、コピー機、または多機能装置に含まれてもよい。このデータ処理システムは、記憶装置に保存されたコンピュータープログラムを実行するプロセッサーによって本方法を実行する。一態様では、本発明はデータ処理システムで実行される方法である。別の態様では、本発明はコンピュータープログラム製品であって、コンピューターで利用可能な不揮発性媒体（記憶装置）で具現化され、そこに内蔵されデータ処理装置を制御するためのコンピューター読み取り可能なプログラムコードを有する。別の態様では、本発明はデータ処理システムで具現化される。

図１（ａ）および図１（ｂ）は、認証データを含むバーコードを持つ印刷文書を認証する処理の概要を説明する。本明細書では、「バーコード」の用語は何らかの機械読み取り式の印刷された模様または表示を広く指し、１次元および２次元のバーコード、カラーバーコード等を含む。認証データには、展開すると原本文書画像が生成される圧縮画像データが含まれる。この原本文書画像は印刷文書をスキャナーで読み取って生成された対象文書画像と比較されて、その印刷文書の真正が判定される。圧縮画像データはＪＰＥＧ、ＪＢＩＧ２等の適切ないかなる画像圧縮方法を用いて発生させてもよい。特にＪＢＩＧ２はかなりの量の文字列を含む文書の画像の圧縮に有効な方法である。

圧縮画像データの他、認証データには位置合わせ情報が（任意選択的に）含まれてもよく、これを比較前に用いて対象文書画像を原本文書画像と位置合わせすることができる。一実施形態では、位置合わせ情報には、原本文書画像の文字列行、単語、および／または記号（例えば文字、数字、その他の記号等）のための境界ボックスの位置および大きさが含まれる。境界ボックスは、適切な分割法を用いて原本文書画像の文字列を分割することによって生成してもよい。一部の画像圧縮法の場合、境界ボックスは画像圧縮の一部として生成される。

図１（ａ）および図１（ｂ）に示した認証処理では、印刷文書がスキャナーで読み取られ、または撮影され、または他の方法で画像化されて電子文書画像が生成される（工程２０１）。スキャナーで読み取られた画像は前処理される（工程２０２）。この前処理にはノイズ除去（微細な孤立した黒点の除去）、傾き除去、および／または画像がカメラで生成された場合は遠近的歪みの修正が含まれる。これらの処理は、一般的に文字列文書は好ましい方向を向いているという前提、すなわちその文字列行は全体に水平または垂直であり、無限遠から見た正面全体図であるという前提に基づいて実行される。これらの前処理工程を実行するために適切ないかなる技術を用いてもよい。スキャナーで読み取られた画像のバーコード領域と文字列領域は分離される（工程２０３）。本方法では文書内の図形や絵柄は（存在しても）処理されないため、本明細書では単純化のため文字列領域のみを対象文書画像と呼ぶ。

バーコードは復号化され、必要に応じてデータが解読されてそれに含まれる認証データが得られる（工程２０４）。文字列行、単語および／または記号の境界ボックス（位置および大きさ）を含む位置合わせ情報が認証データの一部である場合、それらは抽出される（工程２０５）。圧縮画像データが展開されて原本文書画像が生成される（工程２０６）。

一方、工程２０３で得られた対象文書画像は二値化される（工程２０７）。適切な文字列分離法および二値化法であればどのようなものを用いてもよい。対象文書画像は文字列行に分割され、その後単語に分割される（工程２０８）。本開示で注意すべきことは、「行」、「単語」、および「記号」の用語は、行、単語、または記号に対応する画像を指し、それらのＡＳＣＩＩ表示を指すものではない。行の分割は、例えば文字列領域の画像の水平投影形状または連結成分の解析または他の適切な方法によって行ってもよい。単語および記号の分割は、例えばモルフォロジー演算（morphological operation）や連結成分解析、または他の適切な方法で行ってもよい。分割の結果、文字列行の境界ボックスおよび単語の境界ボックスが生成される。各境界ボックスはその位置と大きさで定義される。

次に、工程２０８で生成された対象文書画像の行と単語の境界ボックスおよび工程２０５で得られた原本文書画像の行と単語の境界ボックスを用いて、対象文書画像と原本文書画像の予備的マッチングが行われる（工程２０９）。この工程では、２つの文書画像の全ての境界ボックスを用いてもよいし、または選択した一部の境界ボックスを用いてもよい。このマッチングには、境界ボックスの位置（例えば各ボックスの隅）だけを用いてもよいし、または境界ボックスの位置と大きさの両方を用いてもよい。このマッチングは好ましくはＲＡＮＳＡＣ（RANdom SAmple Consensus：無作為サンプル合意）法を用いて行われる。原本文書と対象文書の行と単語の境界ボックスが適切な基準値で示されたとおりに互いに一致しない場合、対象文書全体に改ざんがあると見なすことができ、認証処理は停止する（図１（ａ）には図示せず）。互いに一致する場合、マッチング工程２０９で対象文書画像と原本文書画像の予備的位置合わせが計算される。これには対象文書の回転、平行移動、および／または拡大縮小が含まれる。

先に述べたように、原本文書画像の行、単語、および／または記号の境界ボックスは任意選択的に認証情報の一部としてバーコードに格納され、工程２０５で抽出される。そのような情報がバーコードに格納されない場合、原本文書画像の行、単語、および／または記号の境界ボックスは展開された圧縮原本文書画像を分割することによって、すなわち工程２０６で得られた原本文書画像から、図１（ａ）の囲みＳ２０６から囲みＳ２０５への点線で示したように生成される。

次に、予備的位置合わせによって、対象文書は原本文書画像に位置合わせされる（回転、拡大縮小、および／または平行移動を含む）。このとき、工程２０７で得られた対象画像全体および工程２０６で得られた原本文書画像全体が用いられる（工程２１０）。相互相関法または他の適切な方法を用いることができる。図１（ａ）に示した処理の流れでは、マッチング工程２０９は両画像の少ない情報を用いた粗い位置合わせであり、位置合わせ工程２１０では両画像の全ての画像詳細が用いられる。または工程２１０を省略し、工程２０９の結果を最終位置合わせとして用いてもよい。（あまり好ましくはないが）別の方法として、工程２０９を省略し、工程２１０において２つの画像（原本および対象）上で相互相関法または他の方法を直接用いて画像の位置合わせを行ってもよい。これを囲みＳ２０６から囲みＳ２１０への点線および囲みＳ２０７から囲みＳ２１０への点線で示す。

対象文書画像（工程２１０の調整後）と原本文書画像とを工程Ｓ２１１からＳ２２３に示す処理で比較して、何らかの改ざんを検出する。この比較には、最初に単語レベルで比較し次に記号レベルで比較する漸進的方法が用いられる。以下に示す流れでは、原本文書画像の単語が１つずつ処理され対象文書画像と比較される。または、この比較は対象文書に基づいていてもよい。すなわち、対象文書画像の単語を１つずつ処理して原本文書画像と比較してもよい。

本処理では、原本文書画像における次の単語（原本単語）に対して、対象文書画像における対応する単語（対象単語）を見つける（工程２１１）。これは局所マッチング処理によって行われる。すなわち、原本文書画像の単語境界ボックスと同じ位置にあるが好ましくは寸法が僅かに大きな対象文書画像の一領域を調べて、原本単語の画像と一致する対象単語の画像を見つける。原本単語と対象単語について差異分布図およびハウスドルフ距離（Hausdorff distance）が計算される（工程２１２）。この工程では、原本単語画像および対象単語画像の周縁画素を差異分布図から任意選択的に除去して比較の質を向上してもよい。差異分布図およびハウスドルフ距離を評価して原本単語と対象単語との間に有意な相違がないか判定される（工程２１３）。例えば、差異分布図の相違画素数が閾値（原本単語または対象単語の総画素数の百分率として、例えば２０％に設定してもよい）を超える場合、および／またはハウスドルフ距離が別の閾値（原本単語または対象単語の最大高さおよび最大幅の平均の百分率として、例えば１０％に設定してもよい）を超える場合、その２つの単語は有意に異なると判断してもよい。

そのような評価によって原本単語と対象単語とが有意に異なると判断される場合（工程２１３で「Ｙｅｓ」）、対象単語に原本と異なっているという印が付けられ（工程２２１）、本処理は原本文書の次の単語に進む（工程２２３へ進みＳ２１１へ戻る）。差異が無い場合（工程２１３で「Ｎｏ」）、単語の差異分布図が有意な差異を示す位置（例えば、差異ビットが十分大きな連結成分を形成している場所）で、原本文書画像の記号（原本記号）および対象文書の記号（対象記号）の両方の記号が得られる（工程２１４）。これらの記号を候補記号と呼ぶ。差異分布図でほぼ差異が無い場所にある記号は、工程２１４では候補記号と判断されない。

候補記号を見つける工程（工程２１４）は以下のように実行されてもよい。最初に差異画像の全ての連結成分が連結成分解析によって特定される。差異画像の各連結成分について、連結成分と原本単語および対象単語中の各記号との間の距離が計算され、原本単語と対象単語それぞれの記号であって連結成分との距離が最短の記号が差異画像のその連結成分の候補記号として選ばれる。連結成分といずれかの記号（連結成分でもある）の間の距離は、２つの連結成分上のそれぞれの任意の２つの画素間で可能な最短距離と定義してもよく、または各連結成分の重心間の距離と定義してもよい。差異画像の全ての連結成分が処理されて全ての候補記号が見つけられる。注意すべきことは、たまに２つ以上の連結成分が同じ候補記号に対応する場合があることである。したがって、ある単語の全記号が候補記号として特定されている場合、差異分布図の残りのどの連結成分も処理を必要としない。

一連の工程で候補記号を調べて、原本記号と対応する対象記号とが異なるかどうか判定する。より具体的には、候補記号の各対（原本記号と対応する対象記号）に対し、記号の特徴が計算され比較される（工程２１５）。本明細書で用いられるこの特徴には区画特性、側部特性、トポロジー統計値、低次画像モーメント等が含まれてもよい。

区画特性は、記号の画素ブロック（例えば１００×１００画素ブロック）を複数の区画、例えばｍ×ｎ区画（垂直にｍ区画、かつ水平にｎ区画）に分割することによって生成される。区画の平均密度はｍ×ｎ行列を形成し、区画特性と呼ばれる。

記号の側部特性は、記号を、その境界ボックスの例えば左、右、上、下等の１つの側から見たときの特性である。側部特性は比較のために（例えば０と１の間に）正規化してもよく、この正規化は（左および右の特性については）元の側部特性を記号の高さで除することによって、または（上および下の特性については）元の側部特性を記号の幅で除することによって行われる。側部特性は記号の高さまたは幅の画素数より少ない数の範囲としてもよい。

記号のトポロジー統計値は、例えば記号の穴の数、分岐点の数、終点の数等を含んでもよい。記号の分岐点とは記号の骨格上の点であり、それに隣接する少なくとも３つの点もその骨格上にある。記号の終点とは記号の骨格上の点であり、それに隣接する唯一の点もその骨格上にある。例えば、記号「６」には１つの穴、１つの分岐点、および１つの終点があり、記号「ａ」には１つの穴、２つの分岐点、および２つの終点等がある。

一般的な画像モーメントは次の様に定義される。

ここで、f（x^p, y^q）は x^pとy^qの関数、HおよびWは画像の高さおよび幅、I（x,y）は（x, y）における画像の画素値である。f（x^p, y^q）の具体的な形式によって、文献に説明された複数のモーメント、例えば幾何モーメント、ゼルニケ（Zernike）モーメント、チェビシェフ（Chebyshev）モーメント、クラウチョク（Krawtchouk）モーメント等がある。低次モーメントとは（（p+q）で表される）次数が少ないモーメントである。低次モーメントは高次モーメントに比べて画像の小さな歪みには低感度である。これらのモーメントは好ましく正規化される。

これらの画像特徴を用いて、複数の方法で原本記号と対象記号を比較してもよい。一実施例では、原本記号と対象記号の間で異なる画像特徴の数が所定の閾値を超える場合、この２つの記号は異なると判断される。別の実施例では、原本記号と対象記号の間で異なる画像特徴の数が、いずれかの特性カテゴリー（区画特性、側部特性、トポロジー統計値、および低次画像モーメントをそれぞれカテゴリーとする）の閾値を超える場合、２つの記号は異なると判断される。他の比較基準を用いてもよい。

特徴の差異が有意な場合（工程２１６で「Ｙｅｓ」）、原本と異なるという印が対象単語に付けられ（工程２２１）、本処理は原本文書の次の単語に続く（工程２２３へ進みＳ２１１へ戻る）。差異が有意ではない場合（工程２１６で「Ｎｏ」）、原本記号と対象記号の対の差異分布図とハウスドルフ距離が計算され（工程２１７）、それを用いて原本記号と対象記号の間に有意な差異があるかどうかが判定される（工程２１８）。工程２１８では、工程２１３と同様の方法を用いてもよいが、用いる閾値は異なってもよい。

この工程で原本記号と対象記号が有意に異なると判断された場合（工程２１８で「Ｙｅｓ」）、原本と異なるという印が対象単語に付けられ（工程２２１）、この処理は原本文書の次の単語に続く（工程２２３へ進みＳ２１１へ戻る）。差異が有意ではない場合（工程２１８で「Ｎｏ」）、点マッチング工程が実行されて原本記号と対象記号の形状が比較される（工程２１９）。種々の点マッチング法が説明されており、例えばベロンジ（Belongie）等による形状の前後関係に基づいた方法「形状の前後関係を用いた形状マッチングと対象物認識（Shape Matching and Object Recognition Using Shape Contexts）」、IEEE Transactions on Pattern Analysis and Machine Intelligence、第24巻、No. 24、pp. 509-522、2002年4月、チューイ（Chui）等が説明する薄板スプラインに基づく方法「非剛体位置合わせ用の新しい点マッチングアルゴリズム（A new point matching algorithm for non-rigid registration）」、Computer Vision and Image Understanding 89 (2003) 114-141、およびゼン（Zheng）等が説明する部分構造に基づく方法「部分隣接構造の維持による非剛体形状のための確実な点マッチング（Robust Point Matching for Nonrigid Shapes by Preserving Local Neighborhood Structures）」、IEEE Transactions on Pattern Analysis and Machine Intelligence、第28巻、No. 4、pp. 643-649、2006年4月がある。これらの方法のいずれか１つまたは他の適切な点マッチングアルゴリズムをここで用いてもよい。点マッチング工程で原本記号と対象記号の形状に差異がある場合（工程２２０で「Ｙｅｓ」）、原本と異なるという印が対象単語に付けられ（工程２２１）、この処理は原本文書の次の単語に続く（工程２２３へ進みＳ２１１へ戻る）。形状に差異が無い場合（工程２２０で「Ｎｏ」）、対象文書のこの記号は原本記号と同じと判断され、この処理は続けて次の候補記号を調べる（工程２２２へ進みＳ２１５へ戻る）。工程Ｓ２１６、Ｓ２１８、およびＳ２２０で全ての候補記号が処理され、そのどれも対応する原本記号と差異がないと判断された場合、対象単語は原本単語と同じであると判断される。その後、次の単語が処理される（工程２２３で「Ｎｏ」でＳ２１１へ戻る）。工程２１１からＳ２２３までを含むこの処理は、原本文書の全ての単語が処理されるまで繰り返される。

この処理（工程Ｓ２１２からＳ２２０まで）は、原本単語と対象単語、および原本記号と対象記号の一連の斬新的な比較を実行し、比較工程によって差異が分かると直ぐに単語全体に異なるという印が付けられることが分かる。各単語の候補記号の全てがこの処理で調べられる訳ではない。別の実施形態では、工程２１３で単語に異なるという印が付けられない場合、工程Ｓ２１５からＳ２２０が全ての候補記号に対して実行され、異なる記号の全てに印が付けられる。

比較処理が終わると、比較結果が可視化される（工程２２４）。この可視化は適切なものであればどのような形態でもよく、表示スクリーン、印刷文書、保存画像等への表示を含む。異なることが分かった単語はこの可視化によって、強調、下線、別色等の適切な手段により表示される。

図１（ａ）および図１（ｂ）に示した認証処理において、工程Ｓ２０１からＳ２１０は、比較工程Ｓ２１１からＳ２２３を実行する原本文書画像および対象文書画像を準備するための準備段階と考えることができる。この準備段階の種々の工程は別の方法で実施してもよく、本発明は準備段階の具体的な工程に限定されない。

例えば図１（ａ）に示した処理で、対象文書と原本文書の予備的位置合わせには行と単語の境界ボックスの使用が含まれるが（工程Ｓ２０５、Ｓ２０８、およびＳ２０９）、多くの変更実施形態が可能である。一変更実施形態では、文字列行の境界ボックスは認証処理には用いられず、単語の境界ボックスだけが予備的マッチング工程２０９で用いられる。別の実施形態では、選択された記号境界ボックスに予備的マッチングが行われる。方法の選択はバーコードに記憶される認証情報の量に影響することになる。先に述べた様に、行、単語、および記号の境界ボックスが圧縮処理で生成される場合、そのような境界ボックス情報をバーコードに都合が良く含め、認証中の画像位置合わせに用いることができる。しかし、より一般的には、画像位置合わせ（工程Ｓ２０５、Ｓ２０８、Ｓ２０９、およびＳ２１０）はどのような適切な方法で実行してもよい。

注意すべきことは、図に示したこの処理では、種々の工程を実行する順序は図示した順序に限定されないことである。一部の工程が他の工程の処理結果に依存する場合、または具体的に示した場合を除き、これら種々の工程はどのような順序で実行されてもよく、並行して実行されてもよい。例えば図１（ａ）では、工程Ｓ２０４およびＳ２０５は工程Ｓ２０７およびＳ２０８の前に実行されてもよく、後に実行されてもよく、または同時に実行されてもよい。別の実施例のように（あまり好ましくはないが）、図１（ｂ）の流れを変えて、単語レベルの比較工程Ｓ２１２およびＳ２１３を記号レベルの比較に移る前に原本文書の全ての単語に対して実行できるようにしてもよい。同様に記号レベルで、ある比較（例えば工程Ｓ２１５およびＳ２１６）を次の比較（例えば工程Ｓ２１７およびＳ２１８）へ移る前に単語または文書の全ての候補記号に対して実行してもよい。このように、本発明の範囲は図に示した流れに限定されない。

本開示に説明された文書認証方法の一利点は一部の他の方法よりもノイズおよび画像の歪みに対し許容性が高いことである。そのような許容性は重要である。というのは、対象画像は印刷、コピー、および／またはスキャナーによる読み取りの処理によって種々のノイズの影響を受けたり歪みを生じたりすることがあるからである。

当業者には明らかなように、本発明の趣旨または請求範囲から逸脱することなく本発明の文書認証方法および装置に種々の改良および変更を加えることができる。したがって、添付の特許請求の範囲およびその均等物に含まれる改良や変更も本発明に含まれるものとする。

Claims

二値の原本文書画像を表す圧縮画像データを符号化したバーコードを持つ印刷文書を認証するための方法であって、
（ａ）前記印刷文書を表す画像を得る工程と、
（ｂ）前記画像を対象文書画像および前記バーコードに分離する工程と、
（ｃ）前記バーコードを復号化し、その中の前記圧縮画像データを展開して前記原本文書画像を得る工程と、
（ｄ）前記対象文書画像を二値化する工程と、
（ｅ）前記対象文書画像を前記原本文書画像に対して位置合わせする工程と、
（ｆ）前記原本文書画像の各単語を前記対象文書画像の対応する単語と比較して何らかの差異を検出する工程と、
（ｇ）前記工程（ｆ）で検出された前記差異を可視化する工程と、を含み、
前記工程（ｆ）は、
（ｆ１）前記工程（ｃ）で得られた前記原本文書画像の各単語に対して、前記対象文書画像の前記対応する単語を見つける工程と、
（ｆ２）前記原本文書画像の各単語と前記対象文書画像の前記対応する単語との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する単語に差異があるかどうか判定する工程と、
（ｆ３）前記工程（ｆ２）で前記原本文書画像と前記対象文書画像の前記単語に差異があると判定されなかった場合、前記原本文書画像の前記単語内の１つ以上の候補記号と前記対象文書画像内の対応する候補記号とを特定する工程と、
（ｆ４）前記工程（ｆ３）で特定された前記原本文書画像の各候補記号の画像特徴を前記対象文書画像の前記対応する候補記号の画像特徴と比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、
（ｆ５）前記工程（ｆ４）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号と前記対象文書画像の前記対応する候補記号との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、
（ｆ６）前記工程（ｆ５）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号の形状と前記対象文書画像の前記対応する候補記号の形状とを点マッチング法で比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、を含む方法。
前記バーコードは前記原本文書の単語にそれぞれ対応する複数の原本単語境界ボックスをさらに符号化し、前記工程（ｃ）は前記バーコードから前記複数の原本単語境界ボックスを得る工程をさらに含み、
前記工程（ｅ）は、
（ｅ１）前記対象文書画像を複数の単語に分割して、前記対象文書画像の複数の単語に対応する複数の対象単語境界ボックスを得る工程と、
（ｅ２）前記工程（ｃ）で得られた前記複数の原本単語境界ボックスの少なくともいくつかと前記工程（ｅ１）で得られた前記複数の対象単語境界ボックスの少なくともいくつかをマッチングして、前記対象文書画像を位置合わせする工程と、
（ｅ３）前記工程（ｅ２）で得られた前記位置合わせを基に、前記対象文書画像および前記原本文書画像を用いて前記対象文書画像をさらに位置合わせする工程と、を含む請求項１に記載の方法。
前記バーコードは前記原本文書画像の文字列の行にそれぞれ対応する複数の原本文字列行境界ボックスをさらに符号化し、前記工程（ｃ）は前記複数の原本文字列行境界ボックスを前記バーコードから得る工程をさらに含み、
前記工程（ｅ１）は、前記対象文書画像を文字列の複数の行に分割して、前記対象文書画像の文字列の複数の行に対応する複数の対象文字列行境界ボックスを得る工程をさらに含み、
前記工程（ｅ２）は、前記工程（ｃ）で得られた前記複数の原本文字列行境界ボックスの少なくともいくつかを前記工程（ｅ１）で得られた前記複数の対象文字列行境界ボックスの少なくともいくつかとマッチングして、前記対象文書画像を位置合わせする工程をさらに含む請求項２に記載の方法。
前記工程（ｆ２）はＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用いる請求項２に記載の方法。
前記工程（ａ）は前記印刷文書をスキャナーで読み取ってスキャン画像を生成し、前記スキャン画像のノイズ除去、傾き除去、および／または遠近的歪みの修正を含む前処理を行う工程をさらに含む請求項１に記載の方法。
前記工程（ｆ４）で前記画像特徴は、区画特性、側部特性、トポロジー統計値、および低次画像モーメントを含む請求項１に記載の方法。
前記工程（ｇ）は、前記工程（ｆ２）で差異があると判定された前記原本文書画像の単語のいずれかまたは前記対象文書画像の前記対応する単語、および前記工程（ｆ４）、（ｆ５）、および（ｆ６）で差異があると判定された前記原本文書画像の候補記号のいずれかまたは前記対象文書画像の前記対応する候補記号を示す表示とともに、前記原本文書画像または前記対象文書画像を表示または印刷する工程を含む請求項１に記載の方法。
二値の原本文書画像を表す圧縮画像データを符号化したバーコードを持つ印刷文書を認証するための処理をデータ処理装置に実行させるように当該データ処理装置を制御するためのコンピューター可読プログラムコードが組み込まれている、コンピューター使用可能な非一時的媒体を備えるコンピュータープログラム製品であって、前記処理は、
（ａ）前記印刷文書を表す画像を得る工程と、
（ｂ）前記画像を対象文書画像および前記バーコードに分離する工程と、
（ｃ）前記バーコードを復号化し、その中の前記圧縮画像データを展開して前記原本文書画像を得る工程と、
（ｄ）前記対象文書画像を二値化する工程と、
（ｅ）前記対象文書画像を前記原本文書画像に対して位置合わせする工程と、
（ｆ）前記原本文書画像の各単語を前記対象文書画像の対応する単語と比較して何らかの差異を検出する工程と、
（ｇ）前記工程（ｆ）で検出された前記差異を可視化する工程と、を含み、
前記工程（ｆ）は、
（ｆ１）前記工程（ｃ）で得られた前記原本文書画像の各単語に対して、前記対象文書画像の前記対応する単語を見つける工程と、
（ｆ２）前記原本文書画像の各単語と前記対象文書画像の前記対応する単語との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する単語に差異があるかどうか判定する工程と、
（ｆ３）前記工程（ｆ２）で前記原本文書画像と前記対象文書画像の前記単語に差異があると判定されなかった場合、前記原本文書画像の前記単語内の１つ以上の候補記号と前記対象文書画像内の対応する候補記号とを特定する工程と、
（ｆ４）前記工程（ｆ３）で特定された前記原本文書画像の各候補記号の画像特徴を前記対象文書画像の前記対応する候補記号の画像特徴と比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、
（ｆ５）前記工程（ｆ４）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号と前記対象文書画像の前記対応する候補記号との間の差異分布図を生成し、ハウスドルフ距離を計算し、前記差異分布図および前記ハウスドルフ距離を比較して前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、
（ｆ６）前記工程（ｆ５）で前記原本文書画像と前記対象文書画像の前記対応する記号に差異があると判定されなかった場合、前記原本文書画像の各候補記号の形状と前記対象文書画像の前記対応する候補記号の形状とを点マッチング法で比較して、前記原本文書画像と前記対象文書画像の前記対応する候補記号のいずれかに差異があるか判定する工程と、を含む。
前記バーコードは前記原本文書の単語にそれぞれ対応する複数の原本単語境界ボックスをさらに符号化し、前記工程（ｃ）は前記バーコードから前記複数の原本単語境界ボックスを得る工程をさらに含み、
前記工程（ｅ）は、
（ｅ１）前記対象文書画像を複数の単語に分割して、前記対象文書画像の複数の単語に対応する複数の対象単語境界ボックスを得る工程と、
（ｅ２）前記工程（ｃ）で得られた前記複数の原本単語境界ボックスの少なくともいくつかと前記工程（ｅ１）で得られた前記複数の対象単語境界ボックスの少なくともいくつかをマッチングして、前記対象文書画像を位置合わせする工程と、
（ｅ３）前記工程（ｅ２）で得られた前記位置合わせを基に、前記対象文書画像および前記原本文書画像を用いて前記対象文書画像をさらに位置合わせする工程と、を含む請求項８に記載のコンピュータープログラム製品。
前記バーコードは前記原本文書画像の文字列の行にそれぞれ対応する複数の原本文字列行境界ボックスをさらに符号化し、前記工程（ｃ）は前記複数の原本文字列行境界ボックスを前記バーコードから得る工程をさらに含み、
前記工程（ｅ１）は、前記対象文書画像を文字列の複数の行に分割して、前記対象文書画像の文字列の複数の行に対応する複数の対象文字列行境界ボックスを得る工程をさらに含み、
前記工程（ｅ２）は、前記工程（ｃ）で得られた前記複数の原本文字列行境界ボックスの少なくともいくつかを前記工程（ｅ１）で得られた前記複数の対象文字列行境界ボックスの少なくともいくつかとマッチングして、前記対象文書画像を位置合わせする工程をさらに含む請求項９に記載のコンピュータープログラム製品。
前記工程（ｆ２）はＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用いる請求項９に記載のコンピュータープログラム製品。
前記工程（ａ）は前記印刷文書をスキャナーで読み取ってスキャン画像を生成し、前記スキャン画像のノイズ除去、傾き除去、および／または遠近的歪みの修正を含む前処理を行う工程をさらに含む請求項８に記載のコンピュータープログラム製品。
前記工程（ｆ４）で前記画像特徴は、区画特性、側部特性、トポロジー統計値、および低次画像モーメントを含む請求項８に記載のコンピュータープログラム製品。
前記工程（ｇ）は、前記工程（ｆ２）で差異があると判定された前記原本文書画像の単語のいずれかまたは前記対象文書画像の前記対応する単語、および前記工程（ｆ４）、（ｆ５）、および（ｆ６）で差異があると判定された前記原本文書画像の候補記号のいずれかまたは前記対象文書画像の前記対応する候補記号を示す表示とともに、前記原本文書画像または前記対象文書画像を表示または印刷する工程を含む請求項８に記載のコンピュータープログラム製品。