JP2011124787A - 画像改ざん検知装置および方法 - Google Patents

Abstract

【課題】改ざん検知をする際の改ざん検知閾値を自動的に決定する。
【解決手段】改ざん検知部は、一定の検出単位に区分けし、各検出単位のます目ごとにその検出単位に含まれる上記で分割された各々の領域の差分情報のバラつき情報を計算する。ます目９０１、ます目９０２およびます目９０３は、それぞれ８、１７０および１４０の値を有することが理解される。このようにバラつき情報を計算した後、改ざん検知部は、計算した差分情報のバラつきを使用して、スキャンして読み込んだ画像内の改ざん領域を決定するための差分情報の閾値を計算する。改ざんがない領域は平均値も標準偏差も比較的小さく、改ざんがある領域は平均値も標準偏差も比較的大きい。つまり、この情報を有効に活用すれば、差分情報の２値化閾値を得ることができる。
【選択図】図９

Description

本発明は、画像改ざん検知装置および方法に関する。より具体的には対象となる原稿作成時にその内容を反映させた改ざん検知情報を組み込んでおき、読み込んだ画像が改ざんされたものであるかを、改ざん検知情報を使用して検知する画像改ざん検知装置および方法に関する。

紙原稿の改ざん検知技術は、近年のセキュリティ意識の高まりとともに、重要な技術となってきており、種々のシステムが提案されている（例えば、非特許文献１参照）。この技術では、先ず対象とする画像をより低い解像度の画像に変換して、低解像度に変換された画像をバーコード化し、元の画像（低い解像度に変換される前の画像）とバーコードとを紙に印刷しておく。次に、この印刷された紙の内容が改ざんされたか判断するために以下の処理を行う。紙（紙原稿と称することもある）をスキャンして、バーコード内の画像の濃度と、スキャンにより得られた画像の濃度とを比較する。その結果、ある領域において、閾値以上の濃度差が両者の間に存在する場合、その領域を改ざん検知領域と判断する。例えば、上記紙に人間が手書きで情報を書き加えた、あるいは、修正ペン等で画像の一部を消した領域だと判断するわけである。

「印刷文書のセキュリティソフトウェア「紙の番人」カタログ」、日立公共システムエンジニアリング株式会社、２００９年２月」

しかしながら、非特許文献１の先行技術では、その閾値を適切に設定するためユーザが手動で調整する必要があり、ユーザに負担を強いるものである。

本発明は、様々な紙原稿に対して、改ざんを検知するための適切な閾値を決定することを目的とする。例えば、紙原稿が長い間放置されるなどして紙原稿の画像が劣化していた場合であっても、その紙原稿の改ざんを適切に検知する閾値を決定することを目的とする。

上記目的を達成するために本発明の画像改ざん検知装置は、原稿画像に基づいて生成された改ざん検知コードを含む対象画像から改ざん検知コードを抽出し、復号化して改ざん検知情報を取得する復号化手段と、復号化手段により取得した改ざん検知情報と、対象画像との差分画像を計算する差分計算手段と、差分計算手段により計算された差分画像から特徴情報を算出し、算出された特徴情報に応じた、改ざん領域か否かを定める閾値を計算する閾値計算手段と、差分計算手段で計算された差分画像において、閾値計算手段で計算された閾値よりも差分が大きい領域を改ざん領域であると決定する決定手段とを備えたことを特徴する。

また本発明の画像改ざん検知方法は、原稿画像に基づいて生成された改ざん検知コードを含む対象画像から改ざん検知コードを抽出し、復号化して改ざん検知情報を取得する復号化ステップと、復号化ステップにおいて取得した改ざん検知情報と、対象画像との差分画像を計算する差分計算ステップと、差分計算ステップにおいて計算された差分画像から特徴情報を算出し、算出された特徴情報に応じた、改ざん領域か否かを定める閾値を計算する閾値計算ステップと、差分計算ステップにおいて計算された差分画像において、閾値計算ステップにおいて計算された閾値よりも差分が大きい領域を改ざん領域であると決定する決定ステップとを備えたことを特徴する。

本発明により、様々な紙原稿に対して、改ざんを検知するための適切な閾値を決定することができる。

本発明の第１の実施例におけるＭＦＰのブロック図である。 本発明の第１の実施例におけるＭＦＰ動作フローを示す図である。 本発明の一実施例のバーコードを説明するための補足図である。 本発明の一実施例のグリッド回転角度の補正を説明する図である。 本発明の一実施例の文書情報からの改ざん検知情報抽出を説明する図である。 本発明の第１の実施例における改ざん検知フローを説明する図である。 本発明の第１の実施例における改ざん検知の概念図である。 本発明の第１の実施例における差分情報解析フローを説明する図である。 本発明の第１の実施例における差分情報解析の概念図である。 本発明の第２の実施例における改ざん検知フローを説明する図である。 本発明の第２の実施例における差分情報の低解像度化の概念図である。 本発明の第３の実施例における差分情報解析フローを説明する図である。 本発明の第１の実施例における閾値補正の概念図である。 本発明の第４の実施例におけるＭＦＰ動作フローを示す図である。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

［実施例１］
図１は本実施例における画像形成装置（その一例として、ＭＦＰ３００１）の構成を示すブロック図である。

制御部１は、本実施例における画像形成装置の一例のＭＦＰ３００１の各構成の制御を行う。操作部５は、ユーザからの操作・入力を受け付ける。ユーザ認証部６は、ＭＦＰ３００１を使用するユーザのユーザ認証を管理する。読取部２は、印刷物のスキャンを行って改ざん検知コード情報を含む読取情報を生成する。情報化部３は、読取情報に含まれる改ざん検知コード情報から印刷物に埋め込まれた情報を取得する。改ざん検知部４は、印刷物に埋め込まれた情報から改ざん検知情報を復号化し、原稿画像となる文書情報が改ざんされているか否か検知を行う。

メモリ７は、対象画像となる印刷物のスキャンにより取得した読取情報を記憶する。出力部８は、メモリ７から読取情報を読み出した後、読取情報の印刷または外部装置への送信等の出力を行う。ここで外部装置とは、例えばＭＦＰ３００１とネットワークを介して接続されているＰＣ等が含まれるが、これに限られない。

表示部９は制御部１の制御により表示画面の表示を行う。データベース１０は、ＭＦＰ３００１の設定やログのデータを本技術分野で知られたいずれかの方法で記録する。エンコード部１１は文書情報から改ざんがあったかどうかを検知するために予め改ざん検知情報を生成し、誤り訂正符号を加えて符号化し、埋め込み情報を生成して埋め込み情報を画像化することにより改ざん検知コード（改ざん検知情報）を生成する。

次に、図１における各ブロックの処理の流れについて、図２を参照して説明する。まず、ユーザがユーザＩＤ／パスワードを操作部５に対して入力すると、入力された情報は、操作部５からユーザ認証部６に送られ、入力されたパスワードが適切なパスワードであるか否か判定する。判定の結果、パスワードが適切なパスワードである場合に、その旨とユーザＩＤを制御部１に連絡する。

パスワードが確認されると、制御部１は、表示部９に対して、［改ざん検知情報埋め込みをする］［改ざん検知をする］［通常コピー］などの選択肢を表示させる。ここで、デフォルトの選択肢は、通常コピーとすることができる。ユーザが表示されたいずれかの選択肢を操作部５を用いて選択して動作指示を行うと、操作部５がその旨を制御部１に連絡する。なお、改ざん検知情報埋め込みは、上記の選択肢で選択するほかにＭＦＰ３００１と接続されているＰＣのドライバやユーティリティ上から設定することもできる。

図２を参照するとＳ２０１で、制御部１は、［改ざん検知情報埋め込みをする］が選択されたか否かを判定する。選択されている場合はＳ２０２に移行し、選択されていない場合はＳ２０７に移行する。Ｓ２０２では、制御部１が改ざん検知情報埋め込みの動作を設定し、その旨をエンコード部１１に通知し、制御部１は読取部２に対して印刷物のスキャンを命じる。

Ｓ２０３では、読取部２が原稿のスキャンにより文書情報を生成して、メモリ７と情報化部３に送信する。情報化部では文書情報に既に改ざん検知コードが含まれていないかどうかのチェックを行い、含まれている場合、制御部１は表示部９にエラー表示をさせ、処理を終了する。

Ｓ２０４で、まずエンコード部１１は、メモリ７から文書情報を得て、詳細については後述するが、改ざん検知のための情報である改ざん検知情報を生成する。次に、改ざん検知情報を符号化し、改ざん検知コードを生成して埋め込み情報を画像化する。こうして生成された改ざん検知コードはメモリ７に送信される。なお、本発明において改ざん検知コードと称した場合は、いわゆる従来のバーコードや二次元バーコード（ＱＲコード、ドットコード、ＬＶＢＣ等）や透かし等の「情報を機械可読な形式で表現できる画像」を指すものとする。制御部１は、メモリ７が改ざん検知コードと文書情報を受取るとＳ２０５に移行し、両者を合成することで画像情報を生成する。この際、文書情報と改ざん検知コードを紙面上で別々に合成してもかまわない。Ｓ２０６において、制御部１は、このように生成した画像情報をメモリ７から出力部８に送信して、出力部８に印刷させる。

Ｓ２０１において、［改ざん検知情報埋め込みをする]が選択されていない場合、Ｓ２０７において、制御部１は、［改ざん検知をする］が選択されたか否かを判定する。選択されている場合Ｓ２０８に移行し、選択されていない場合Ｓ２１３に移行する。

Ｓ２０８で、制御部１は、改ざん検知の動作を設定し、その旨を改ざん検知部４に通知して、読取部２に対し印刷物のスキャンを命じる。Ｓ２０９で、読取部２は、印刷物をスキャンして読取情報を生成し、メモリ７と情報化部３に送信する。Ｓ２１０で、情報化部３は、読取情報に既に改ざん検知コードが含まれているかチェックを行い、含まれている場合、改ざん検知コードを情報化して埋め込み情報を取得する。

Ｓ２１１で、改ざん検知部４は、情報化部３から埋め込み情報を受け取り、改ざん検知情報を復号化し、読取部２から受け取った読取情報と比較をし、改ざんされているか否か判定する。改ざん検知処理の詳細については後述するが、ここで判定された改ざん検知結果はメモリ７に送信される。メモリ７が改ざん検知結果を受け取ると、Ｓ２１２に移行し、メモリ７に記憶された改ざん検知結果は、制御部１を経由して表示部９に表示される。あるいはまた、制御部１は、改ざん検知結果を画像として視認可能な改ざん検知結果表示画像を生成してメモリ７に記憶し、その画像をメモリ７から出力部８に送信して、出力部８に印刷させることもできる。また、改ざん検知結果は、改ざん検知結果のあり・なしの表示または印刷をすることもできるし、文書情報と画像化した改ざん検知結果を合成して、明示的に改ざんが検知された場所の表示または印刷をすることもできる。

なお、［通常のコピー］が選択されている場合、Ｓ２１３において、制御部１は、改ざん検知情報埋め込みの動作設定も、改ざん検知の動作設定も行わず、読取部２に対して印刷物のスキャンを命じる。Ｓ２１４では、読取部２は、印刷物のスキャンにより読取情報を生成して、メモリ７に送信する。メモリ７が文書情報を受取るとＳ２１５に移行し、制御部１は、生成した読取情報を画像情報としてメモリ７から出力部８に送信して、出力部８に印刷させる。

次に、改ざん検知情報の生成方法について説明をする。改ざん検知情報は、印刷物の改ざんを検知するため、予め原稿画像となる文書情報に基づいて生成し文書情報とともに印刷物に埋め込む情報である。理想的には、印刷前の文書情報自体を改ざん検知情報とすれば良いが、莫大な情報量となるため印刷前の文書情報に基づいて生成された改ざん検知情報を用いる。例えば、600dpiのカラーのA4画像であれば、約100MBの容量となる。したがって一般に、改ざん検知情報をコード化して、文書情報と合成して印刷をする場合、大容量の改ざん検知情報は印刷できないから、容量の観点で改ざん検知情報自体のデータ容量削減が求められる。なお、サーバに改ざん検知情報を保存する場合であっても、サーバ容量の観点からデータ削減が求められることは同様である。そこで、エンコード部１１は、図５のように、文書情報から画像特徴量を抽出して、それを改ざん検知情報とし、改ざん検知コード化可能な情報量とする。もちろん、高精度な改ざん検知が必要な場合、文書情報そのものを画像特徴量とし、それを改ざん検知情報にしてもよい。

改ざん検知をする際には、読取情報の改ざん検知コードに含まれる改ざん検知情報（印刷前の画像特徴量）と、読取情報から算出した画像特徴量とを比較して、改ざんの有無の判断をする。画像特徴量の抽出方法としては、例えば文書情報を16ピクセル単位でブロック分割し、ブロックごとの画像特徴量（例、ブロックごとの平均濃度）を算出してそのブロックごとの画像特徴量の集合体を改ざん検知情報とする。画像特徴量として、ブロックごとの平均濃度、エッジ特徴、モーメント特徴または周波数特徴などを用いることができる。なお、図5に示す例では、画像特徴として平均濃度を使用している。このように算出した改ざん検知情報は、冗長性が残っている可能性が高いので、ZIP圧縮などの既知の手法を用いて圧縮を行い、最終的な改ざん検知情報としてもよい。

次に、改ざん検知情報を符号化して、符号化された改ざん検知情報を後で読取可能な画像データとする方法の一例を説明する。エンコード部１１は、改ざん検知情報に誤り検出情報としての誤り訂正符号を加えて符号化し、埋め込み情報とし、後で読取可能な改ざん検知コードとする。本明細書で用いる改ざん検知コードは、印刷面の全面に対しドットを付加して情報を表現する低密度の改ざん検知コードである。このような低密度の改ざん検知コードは、印刷物の品質を大きく損なうことなく改ざん検知情報を組み込むことが可能である。また、印刷物の全面にドットを付加するため、低密度であっても、誤り訂正符号を除いた実用量として、数Kバイト量の情報を埋め込むことが可能である。以下に、図３および４を参照して、本実施例で用いる改ざん検知コードの埋め込む具体例を説明するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。

図３は、改ざん検知コードに含まれるドットを示す図である。改ざん検知コードに含まれるドットには、情報ドット１４０１および、配列ドット１４０２が含まれている。配列ドット１４０２は、点線で示される仮想的なリファレンスグリッド１４０３の上に定間隔、（即ちリファレンスグリッド１４０３同士の交点の上に存在する。情報ドットは、リファレンスグリッド１４０３同士の交点からずれた位置に付加される。情報ドットの位置の配列ドット（リファレンスグリッド同士の交点）の位置に対するずれ方で、改ざん検知情報が表現されることになる。言い換えると、改ざん検知情報を符号化して得られた埋め込み情報を読取可能な画像とすると、情報ドット１４０１および配列ドット１４０２を含む改ざん検知コードになる。なお、リファレンスグリッドは、図３では点線で描きが、実際には印刷されない線であることを示した。この仮想的なリファレンスグリッドの線をどのように見つけ出し、埋め込み情報を得るのかについて、図４を参照して本実施例の一例を説明するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。

図４を参照すると、情報化部３は、任意のドット１５０１を選択し、選択されたドットの周辺に存在する任意のドット１５０２を選択する。次に情報化部３は、これら選択したドット１５０１および１５０２の位置を、両ドットの中心点１５１０を中心として９０°回転する。回転により得られた位置にドット１５０３および１５０４が存在する場合、情報化部３は、上記選択された各ドットが縦横共に等間隔に存在しているはずの配列ドットであると判断する。

一方、ドット１５０３および１５０４が存在しない場合、情報化部３は、選択された各ドットがランダムな位置に存在している情報ドットであると判断する。 このようにして、情報化部３は、２つの配列ドットを見つけ出し、配列ドットが縦横共に等間隔に存在しているという制約条件を使用して、他の全ての配列ドットを見つけ出す。

配列ドットを全て見つけ出した後、情報化部３は、これら配列ドット上にリファレンスグリッドを仮想的に設定し、最後にリファレンスグリッド同士の交点からの、残りのドット、即ち、情報ドットのずれ方向を求め、埋込情報を得る。なお、本実施例においては、上方向にずれている場合に０、右上方向にずれている場合に１、右方向にずれている場合に２というように値を割当てる。このように、時計回りに順次値が大きくなるように符号化するが、これに限らず本技術分野で知られた任意の方法を用いることができる。情報ドットが消失して情報が得られない場合、それも記録しておく。

次にＳ２１１の改ざん検知処理の詳細について、図６を参照して説明する。

まず、改ざん検知部４は、読み取り部２から印刷物をスキャンして得られた読取情報を受け取る（Ｓ６０１）。受け取った読取情報の例を示したものが図７（Ａ）「読取情報」である。次に改ざん検知部４は、受けとった読取情報から、画像特徴量を計算する（Ｓ６０２）。画像特徴量はスキャンした読取情報に改ざん検知コードとして埋め込まれている改ざん検知情報を計算する場合と同じ方法で計算を行う。図７（Ｂ）「読取情報の画像特徴量」は、図７（Ａ）「読取情報」から計算した画像特徴量の例を画像として示している。なお、本例では改ざん検知情報はブロックごとの平均濃度としたので、この画像特徴量は各ブロックの平均濃度の集合体である。

一方、改ざん検知部４は、情報化部３から、スキャンして得られた改ざん検知コード画像から改ざん検知コードを求めてバイナリデータに変換した埋め込み情報を取得する（Ｓ６０３）。改ざん検知部４は、埋め込み情報に誤り訂正を施し、および改ざん検知情報を復号化して（Ｓ６０４）、改ざん検知情報が圧縮されている場合には解凍する。また、埋め込み情報が冗長性のために同じデータの複数回の繰り返しからなる場合には、その複数回の繰り返し部分を統合して、１つのデータもしくは確率値により表現し、そのデータについての誤り訂正を行うこともできる。

図７（Ｃ）は、この「改ざん検知情報」の例を画像として示したものである。具体的には、この「改ざん検知情報」は、ブロック単位の平均濃度の集合体である。なお、この「改ざん検知情報」は、S２０４で生成された情報である。次に、差分計算手段としての改ざん検知部４は、差分画像としての差分情報を計算する（Ｓ６０５）。差分情報とは、上述のようにして得られた読取情報の画像特徴量（すなわち、Ｓ６０２で計算した画像特徴量）と、文書情報の印刷前の画像特徴量である改ざん検知情報（すなわち、Ｓ６０４で取得した情報）との差分の絶対値をとったものである。

文書情報が印刷後に改ざんされているのであれば、この差分情報は大きくなるはずであり、上記の各ブロックについて比較を行えば、差分情報の値が大きい領域は改ざんの可能性が高い領域であると考えることができる。図７（Ｄ）「差分情報」は、図７（Ｂ）「文書情報の画像特徴量」と（Ｃ）「改ざん検知情報」とに基づいて生成された差分情報の例を示している。図７（Ｄ）では、差分情報を濃度情報として画像で表現している。つまり、差分が少ない領域は白領域として表現され、差分が大きい情報は黒領域として表現される。本例では、「１０００」が「４０００」に書き換えられており、改ざんが加えられている「４」の部分の差分が大きいことが分かる。

以上の差分情報に基づき、改ざん検知部４は、差分情報の解析を行う（Ｓ６０６）。差分情報自体は、単なる多値の情報であり、これ自身のみでは改ざんの有無を示しているわけではない。そこで、多値である差分情報を２値化して、改ざんされている可能性のある領域と、されていない領域に分け、改ざん領域を判定する。このためには、改ざんされている可能性のある領域とそうでない領域とを分ける適切な閾値を決定する必要があるが、本発明では、この２値化を行うための閾値を自動的に決定する。すなわち、差分情報で示されるバラつきが改ざんによるのか、単に印刷物の表面の状態の変化によるのかを、差分情報を解析してこの２値化閾値を決定することにより明らかにする。すなわち、Ｓ６０６では、このための閾値を決定する処理を実行するが、以下具体的な閾値決定処理を示す図８を参照して説明する。

この処理について詳細説明する前に、なぜ、このような処理をすることを考えたか、その考え方について説明する。

まず、改ざん検知対象の印刷物上の画像（改ざん検知コードを埋め込んだ後の印刷物における画像）と、改ざん検知コードの中に含まれる画像との間には、たとえ上記印刷物に改ざんがされてなくても、必ず差分が存在する。例えば、改ざん検知対象の印刷物全体が汚れているため必ず両者には差分が存在する。あるいは、その印刷物全体の画質が経年変化(経年劣化）している、その印刷物をスキャンしたスキャナの質が低かった、その印刷物には改ざん検知コードが余分に打たれているなどの理由により、必ず両者には差分が存在する。

そのため、改ざんとは関係の無いこうした差分と、改ざんによる差分とを分別する必要がある。前者の差分は小さく、後者の差分は大きいはずである。従って、閾値を定め、その閾値より小さい差分を有するブロックを、前者の改ざんされていないブロックと判断し、その閾値以上の差分を有するブロックを、後者の改ざんされているブロックである判断することとする。

なお、この閾値を本実施例では、改ざんされていない複数のブロックにおける差分を平均化した値（平均値）＋その差分の標準偏差×ｎ（ｎは例えば、３）という計算式で求めている。このような閾値を用いていれば、統計学的に（例えば、特開2009-259436の段落１１４参照）、改ざんされていないブロックの約９９．７３％は、その閾値より小さな差分を持つことになる。

そのため、この閾値を用いて２値化することにより、改ざんされているブロックだけを特定できることになる。もちろん、改ざんされていないブロックであっても、0.27％の確率で、改ざんされていると判断されることになるが、非常に低い確率であるため、本実施例ではこれを許容することとする。

なお、上記の方法では、閾値を求めるにあたって、改ざんされていない複数のブロックを最初に特定する必要がある。本実施形態では、標準偏差の小さい、後述する分割領域に含まれるブロックをそのような改ざんされていないブロックとして特定している。これは以下のような考え方である。

ある分割領域の中に改ざんされているブロックが存在するということは、その分割領域における標準偏差は大きいということを示しているはずである。従って、標準偏差の小さな分割領域ならば、その中には改ざんされていないブロックばかりがあるはずである。

先ず、改ざん検知部４は、Ｓ６０５で得られた差分情報に基づいて一定の分割された領域（16ピクセルからなるブロックよりも十分に大きな領域、以下、分割領域と呼ぶ）ごとの差分情報を算出する（Ｓ８０１）。領域の分割は任意の単位で行なうことができるが、例えば数百〜数千ピクセル程度とすることができる。

改ざん検知部４は、画像を図９（Ｂ）に示すます目９０１、９０２のように一定の検出単位に分割し、各検出単位のます目ごとに、その検出単位のます目に含まれる各々の分割領域における差分情報のバラつき情報を、特徴情報として計算する（Ｓ８０２）。本実施例では、各々の領域内部における差分情報の平均値（各々の領域内部に含まれるブロックごとの差分情報を平均化したもの）と標準偏差とを、バラつき情報として計算する。しかし、これに限らず、バラつき情報としては、検出単位のます目によって差分情報がどれだけバラついているかを示すいずれの指標を用いることもできる。図９において、点線は検出単位を区分けする領域境界を示し、図９（Ｂ）及び（ｃ）の各検出単位の数字は、その各検出単位に含まれる各ブロックの差分情報の平均値および標準偏差を示す。例えば、図９（Ｂ）を参照すると、ます目９０１、ます目９０２およびます目９０３は、それぞれ８、１７０および１４０の平均値を有することが理解される。図９（Ｃ）の標準偏差マップも同様である。

このようにバラつき情報を計算した後、閾値計算手段としての改ざん検知部４は、Ｓ８０２で計算した差分情報のバラつきを使用して、スキャンして読み込んだ画像内の改ざん領域を決定するための差分情報に関して、閾値を計算する（Ｓ８０３）。図９において、改ざんがない分割領域は平均値も標準偏差も比較的小さく、改ざんがある分割領域は平均値も標準偏差も比較的大きい。そのため、上記バラつき情報を有効に活用すれば、差分情報の２値化閾値を得ることができる。たとえば、下記のような方法が考えられる。

１．閾値決定用標準偏差および平均値の計算
上位Ｘ％の標準偏差の大きさを持つ分割領域（標準偏差が比較的大きい分割領域）には、改ざんが行われている可能性がある。一方、下位（１００−Ｘ）％の標準偏差の大きさを持つ分割領域（すなわち、標準偏差が比較的小さい分割領域）は、改ざんが行われていない可能性が高い。そこで、標準偏差が比較的小さい複数の分割領域における標準偏差を用いて、閾値決定用標準偏差を決定する。具体的には、その複数の分割領域の標準偏差の平均値を、閾値決定用標準偏差とする。ここで、元が白地領域で、スキャン原稿も白地領域である分割領域は差分値も少なくなるはずなので、そのような分割領域を除外してもよい。
一方、その複数の分割領域夫々における差分値の平均値を平均して、閾値決定用平均値とする。

２．閾値の決定
算出した閾値決定用標準偏差および平均値から、閾値を求める。
閾値＝閾値決定用平均値＋閾値決定用標準偏差×n
ここで、nは許容できる誤検知割合もしくは検知漏れ割合に依存する所定の値である。誤検知を少なくしたい場合には、nを小さくすればよいが、検知漏れの可能性が高くなる。逆に、検知漏れを少なくしたい場合には、nを大きくすればよいが、誤検知の可能性が高くなる。通常、このnはあらかじめ決めておくこともできるが、ｎを可変の値とすることによりあらかじめ固定しておくよりも、閾値の設定を柔軟にして種々の状況に適合させることができる。もしくは、nを、差分情報全体のヒストグラムの形状（単峰性であるか、多峰性であるかなど）により変化させ、あるいは差分情報全体の標準偏差などの変数としてもよい。なお、差分情報のヒストグラムとは、差分情報の値を横軸に、各差分値の度数を縦軸に取ったものである。

上記方法は、原稿の大部分が改ざんされておらず、非改ざん領域の差分情報値はノイズに起因するという一般的な場合を想定している。このような形で、差分情報のバラつき情報から、自動的に２値化閾値を決定することができる。なお、画像特徴の差分のバラつきを表現する情報として、差分情報全体のヒストグラムの極大点・極小点情報、差分情報の分割領域ごとの最小値・最大値情報、差分情報全体の上位A％・下位A％の値（Ａは任意の値）などが考えられる。

以上の処理の結果、改ざん検知部４は、Ｓ６０６の差分情報解析処理で得られた閾値を使用して、差分情報の２値化を行う（Ｓ６０７）。２値化の結果、閾値より大きな差分情報を有する領域は改ざん領域であると推定される。閾値より小さい差分情報を有する領域は非改ざん領域となる。すなわち、一定の閾値が決定されれば図９（Ｂ）に示すようにます目９０２および９０３で示される部分が改ざんされたブロックを含む分割領域と判定される。また、図７を参照すると、図７（Ｅ）「改ざん検知結果」は、図７（Ｄ）「差分情報」をＳ６０６で決定した閾値で２値化した結果得られた画像の例である。黒で示されている領域７０１が改ざん領域を示しており、２値化されたブロックの画像から「１」が「４」に書き換えられたことが理解される。

２値化の処理が行われると、改ざん検知部４は、改ざん検知の結果に関する情報をメモリ７に送信する（Ｓ６０８）。決定結果として送信する情報は、改ざんの有無および改ざん領域情報である。改ざん領域情報は、座標情報で送付しても、２値化結果の画像自体を送ってもよい。

［実施例２］
次に実施例２について図面を参照して説明する。なお、本実施例で参照する図面のうち実施例１において既に説明をした構成図や、フローチャートに関する説明は省略する。本実施例と実施例１との相違点は、図２に示すＳ２１１の改ざん検知処理であり、この詳細フローを示す図１０を参照して実施例２の説明を行う。

図１０に示すＳ６０１ないしＳ６０５、Ｓ６０７およびＳ６０８の処理は実施例１と同様であるので、説明を省略する。差分情報を生成した後、改ざん検知部４は、スキャンして得られた読取情報の劣化度合を判断する（Ｓ１００１）。劣化度合いが大きいと判断された場合にはＳ１００２へ移行し、大きくないと判断された場合には、Ｓ１００３へと移行する。読取情報の劣化度合いが大きい場合は、改ざんがされていない箇所であっても、差分情報が大きくなる可能性がある。このような場合には、検知率の高さを優先すると誤検知率が上昇、また誤検知率の低さを優先すると検知漏れ率が上昇する。これを避けるためには、本発明では読取情報の劣化度合いを判断し、劣化度合いに応じた処理を行う。読取情報の劣化度合いを判断するための手法としては下記のようなものがある。

１．読取情報自体から算出
紙白領域を改ざん検知情報から取得して、紙白領域の標準偏差に基づいて劣化度合いを判断する。

２．改ざん検知コードの復号化時のデータから算出
（１）印刷物の劣化からの情報ドットの消失により、読取れなかった埋め込み情報の元々埋め込まれた情報ドットに対する割合が一定以上のときは劣化度が高いと判断する。

（２）復号時の誤り訂正処理が行われた検知情報の、誤り訂正をしないものも含む全体に対する割合が一定以上のときは劣化度が高いと判断する。

３．差分情報から算出
（１）差分情報のヒストグラム（横軸は読取情報の各画素の差分情報、縦軸はその差分情報を有する画素の数）の形状に基づいて劣化度を判断する。たとえば、単峰性であり、広がりが大きい場合は、改ざんによる差分と、劣化により生じた差分が分離できなくなっている可能性が高い
（２）差分情報全体の標準偏差に基づいて劣化度を判断する。
（３）差分情報全体の平均値に基づいて劣化度を判断する。
上記のような手法を用いて、読取情報の劣化度合いを判断する。

Ｓ１００１で劣化が激しいと判断された場合には、改ざん検知部４は、画像特徴量を算出するためにブロック分割する単位を大きくし、粗い画像特徴量を求めて、より粗い差分情報を算出するようにする（Ｓ１００２）。劣化が原因で生じた差分情報はノイズであり、実際の改ざん領域よりも小さい領域であると想定することができる。そこで、より粗い差分情報を算出することにより、画像劣化により差分が大きい領域に比べ、改ざんにより差分が大きい領域を目立つようにする。具体的には、改ざん検知情報から得られた画像特徴量に基づいて、より低解像度の画像特徴量に変換するとともに、読取情報から同一の低解像度で画像特徴量を算出して差分情報を取得する。この点図１１を参照して説明すると、粗い差分情報により、実際に改ざんされている領域が、他領域からはっきり区別されることが分かる。

Ｓ１００３の処理は、実施例１のＳ６０６と同様であるが、閾値を決定するための閾値決定用標準偏差および平均値を取得する分割領域の選択には本実施例で得られた粗い差分情報を用いる。分割領域の選択以外の閾値決定処理については、Ｓ６０５で生成された差分情報をそのまま使用するほか、Ｓ１００２で生成されたより粗い差分情報を使用することができる。

以上の本実施例の処理により、改ざんの不無を判定しようとする印刷物が劣化しているときでも、これを判断し適切な処理を行って改ざん箇所を判定することができる。

［実施例３］
次に実施例３について図面を参照して説明する。なお、本実施例で参照する図面のうち実施例１において既に説明をした構成図や、フローチャートに関する説明は省略することとする。実施例３の実施例１との相違点は、Ｓ６０６の差分情報解析の処理であり、Ｓ６０６の差分情報解析の詳細フローを示す図１２を参照して、実施例３の説明を行う。

図１２に示すフローチャートのうち、Ｓ８０１、Ｓ８０２、Ｓ８０３の処理は、実施例１と同様であるので、説明を省略する。

Ｓ１２０１において、改ざん検知部４は、Ｓ８０１の処理により分割された各分割領域における改ざん検知コードの誤り訂正割合を使用して閾値補正量を計算する。一般に、改ざん検知コードの誤り訂正が多く実行される部分は、改ざんされている可能性が高いと考えられる。そこで、画像を一定の領域に分割し、領域ごとに誤り訂正が行われた割合を算出し、Ｓ８０３で算出した閾値の補正量を計算する。そのために、Ｓ６０４において埋め込み情報に誤り訂正を施し改ざん検知情報を復号化し、得られた埋め込み情報と誤り訂正後の埋め込み情報と埋め込み情報の物理的な位置情報を使用する。具体的には、各分割領域に含まれる埋め込み情報を求め、その埋め込み情報と、誤り訂正後の埋め込み情報とを比較することにより、分割領域ごとの誤り訂正割合を求める。次に、その分割領域ごとの誤り訂正割合を使用して、閾値の補正量を計算する。補正量を計算する式の例としては、下記のようなものが考えられる。

補正量＝G×(全領域の平均誤り訂正割合−その領域の誤り訂正割合)÷全領域の誤り訂正割合の標準偏差
ここで、Gは補正量を調整するパラメータである。

上記の式は、各分割領域の誤り訂正割合が同程度であるとき、誤り訂正割合の低い領域については、いずれの分割領域でも大きな補正量とはならない。逆に、各分割領域間で誤り訂正割合の差が大きいときには、領域によって、大きな補正量となる。この他にも、それぞれの分割領域の読取情報の濃度情報を変数に加えて、補正量を計算してもよい。一般に、読取情報の濃度が上がると誤り訂正が増える傾向があるので、誤り訂正割合と改ざん領域の相関性が、読取情報の濃度に応じて変化するからである。

図１３は、Ｓ１２０１における閾値の補正量算出について概念的に説明するための図である。図１３（Ａ）「差分情報」は本実施例で用いる差分情報の例であり、図１３（Ｂ）「差分情報の誤り訂正割合(%)マップ」は、分割された領域ごとの誤り訂正割合をパーセント表示したものである。図１３（Ｃ）「差分情報の閾値補正マップ」は、分割領域ごとの誤り訂正割合から閾値補正量を計算したものである。

Ｓ１２０２において、改ざん検知部４は、Ｓ１２０１で計算した分割領域ごとの閾値補正量に基づいて、Ｓ８０３で求めた閾値を補正する。この補正された閾値を使用して、Ｓ６０７での２値化処理を行う。図１３（Ｄ）「差分情報の補正前の閾値」は、Ｓ８０３で求めた閾値を示している。これをＳ１２０１で求めた補正量によって補正を行ったのが、図１３（Ｅ）「差分情報の補正後の閾値」である。このように、実際に改ざんされた部分を含む領域はその他の領域と比較して、補正された閾値は低い値となるため、差分情報のみでは抽出が困難な場合でも改ざん部分の抽出が容易となる。

［実施例４］
次に実施例４について図面を参照して説明する。なお、実施例１と共通する構成図や、フローチャートに関する説明は省略することとする。実施例４のフローチャートを示す図１４を参照して、本実施例の説明を行う。

図１４に示すフローチャートの処理Ｓ２０１ないしＳ２１０については実施例１と同様であるので、説明を省略する。Ｓ１４０１では、改ざん検知部４は、情報化部３から埋め込み情報を受け取り、改ざん検知情報を復号化し、読取部２から受け取った読取情報と比較をし、改ざんされているか否かの検知を複数回行う。本実施例では、Ｓ２１１で実施した改ざん検知処理を複数回行う。その際、実施例１ないし３のいずれかの方法により、複数の内部パラメータを用いて、複数の改ざん検知用閾値を算出し、算出された複数の改ざん検知用閾値により複数回の改ざん検知処理を行う。得られた複数の改ざん検知結果はメモリ７に送信される。

その後、制御部１は、メモリ７が改ざん検知結果を受信したことを検知すると、メモリ７に格納された複数回の改ざん検知結果を表示部９に表示する（Ｓ１４０２）。もしくは、制御部１が複数回の改ざん検知結果を画像として処理して画像出力データを生成し、メモリ７に格納しておき、その画像出力データをメモリ７から出力部８に送信して出力部８から印刷させる。複数回の改ざん検知結果の結果表示は、各々の改ざん検知結果について、改ざん検知のあり、またはなしの表示、または印刷をすることもできる。また、文書情報と画像化した改ざん検知結果を合成して、明示的に改ざんが検知された箇所の表示、または印刷をすることもできる。

以上、本実施例の処理により、種々のパラメータにより改ざん検知を行った結果を見ることにより、改ざんがされているか否か、どの箇所が改ざんされたかをより適切に判断することができる。

［他の実施例］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (5)

1. 原稿画像に基づいて生成された改ざん検知コードを含む対象画像から該改ざん検知コードを抽出し、復号化して改ざん検知情報を取得する復号化手段と、
   前記復号化手段により取得した改ざん検知情報と、前記対象画像との差分画像を計算する差分計算手段と、
   前記差分計算手段により計算された差分画像から特徴情報を算出し、当該算出された特徴情報に応じた、前記改ざん領域か否かを定める閾値を計算する閾値計算手段と、
   前記差分計算手段で計算された差分画像において、前記閾値計算手段で計算された閾値よりも差分が大きい領域を改ざん領域であると決定する決定手段と
   を備えたことを特徴する画像改ざん検知装置。
2. 前記差分計算手段で計算された差分画像をより低い解像度の画像に変換する低解像度化手段をさらに備え、前記閾値計算手段は、前記低解像度化手段により変換された低い解像度の画像を前記差分画像として前記特徴情報を算出することを特徴とする請求項１に記載の画像改ざん検知装置。
3. 前記復号化手段は、改ざん検知コードに予め含まれた誤り検出情報により誤り検出を行って、誤りを検出した場合は当該検出された誤りを訂正し、
   前記閾値計算手段は、前記閾値を計算するにあたって、前記誤り訂正された改ざん検知コードを用いて前記改ざん検知情報を取得することを特徴とする請求項１又は２に記載の画像改ざん検知装置。
4. 前記決定手段で決定された改ざん領域に関する決定結果を表示画面に表示する出力手段をさらに備え、
   前記閾値計算手段は、異なる条件によるそれぞれ異なる閾値を計算し、
   前記決定手段は、前記閾値計算手段により計算された複数の閾値を用いて、各々改ざん領域を決定することを特徴とする画像改ざん検知装置。
5. 原稿画像に基づいて生成された改ざん検知コードを含む対象画像から該改ざん検知コードを抽出し、復号化して改ざん検知情報を取得する復号化ステップと、
   前記復号化ステップにおいて取得した改ざん検知情報と、前記対象画像との差分画像を計算する差分計算ステップと、
   前記差分計算ステップにおいて計算された差分画像から特徴情報を算出し、当該算出された特徴情報に応じた、前記改ざん領域か否かを定める閾値を計算する閾値計算ステップと、
   前記差分計算ステップにおいて計算された差分画像において、前記閾値計算ステップにおいて計算された閾値よりも差分が大きい領域を改ざん領域であると決定する決定ステップと
   を備えたことを特徴する画像改ざん検知方法。

Images