JP2010272952A - 交付文書確認システム、交付文書生成装置、交付文書確認装置、交付文書の確認方法及びコンピュータプログラム - Google Patents

Abstract

【課題】交付文書がゴミなどのせいで汚れてしまっていたりしても、精度よく改ざんを検知できる装置を提供すること。
【解決手段】交付文書生成装置１００は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、特定された重要領域毎の保護情報である領域保護情報を生成し、領域保護情報を入力された原稿画像の重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、領域保護情報及び重要領域の座標を保存し、領域保護情報及び重要領域の座標から改ざん検知のための検知情報を構築し、検知情報に基づいて検知用画像を生成し埋め込み、交付文書確認装置１０１は、検知用画像から検知情報を取り出し、取り出した検知情報に基づいて重要領域を特定し保護パターンを抽出し、保護パターンから領域保護情報を抽出し、保護パターンから抽出された領域保護情報と検知用画像に格納される領域保護情報とを比較し改ざんの有無を判定する。
【選択図】図１

Description

本発明は、交付文書確認システム、交付文書の確認方法及びコンピュータプログラムに関し、特に、改ざんの検知が可能な交付文書確認システム、交付文書の確認方法及びコンピュータプログラムに関する。

従来、原稿に対する印刷物単体で改ざんを検知するために、原稿の特徴的な情報を印刷文書に付加して印刷出力する技術及び印刷文書の内容が原稿の特徴的な情報と一致するかを判断する技術が開示されている。以降、原稿の特徴的な情報を検知情報、原稿に対して検知情報を付加した印刷物を交付文書とする。この技術の適用例としては、内容を保護したい原稿として紙又は原稿電子データの形態が有りうる。これを文書交付者が交付文書生成装置にて原稿の内容を元に交付文書を生成、印刷し発行する。この交付文書の代表的なものはチケットや契約書等が挙げられる。交付文書は状況に応じて文書確認者により、正当なものか、内容が改ざんされていないかどうかの判定が可能である必要がある。そこでは交付文書の内容をスキャナ等で読み込み、交付文書確認装置で確認するような仕組みが必要となる。これに対して、例えば、特許文献１では原稿画像の画像特徴量を検知情報として、交付文書に付加して印刷出力する。改ざん検知時には交付文書をスキャンして画像特徴量を計算し、埋め込まれた検知情報と比較することで改ざん検知機能を実現している。

特開２００３−２６４６８５号公報

しかしながら、上記の従来技術では、改ざん検知の際、交付文書を交付文書確認装置でスキャンして改ざんを判定することが多いが、検知の精度が高くないことが多い。これの主な原因は、交付文書にゴミやよごれが付いてしまったり、交付文書を交付文書確認装置でスキャンする際、少し斜めにおいてしまったりして、交付文書をうまくスキャンできないことが挙げられる。又は、原稿の内容を元に検知情報を生成する交付文書生成装置と、交付文書をスキャンした後に画像の特徴的な情報と検知情報を比較する交付文書確認装置では情報読み取り精度が異なるといったことも挙げられる。すなわち、特許文献１での原稿の画像情報を元に検知情報を生成する手法では、交付文書のゴミやよごれが交付文書確認装置では画像特徴量に算出されてしまい、誤判定を引き起こす可能性がある。

そこで、本発明は、交付文書がゴミなどのせいで汚れてしまっていたりしても、精度よく改ざんを検知できる装置を提供することを目的とする。

上記課題を解決するため、本発明に係る交付文書確認システムは、交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムであって、前記交付文書生成装置は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込み、前記交付文書確認装置は、前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする。

本発明によれば、従来よりも改ざん検出精度が高い改ざん検知方法を提供することが可能となる。具体的には、交付文書のゴミや汚れが多少存在しても誤判定を引き起こしにくく、情報の読み取り装置の相違による誤判定も防ぐことが可能となる。

本発明の実施形態１におけるネットワークの概略を示す図である。 本発明の実施形態１における構成を示すブロック図である。 交付文書生成装置１００と交付文書確認装置１０１の入出力の概要を示す図である。 重要領域処理部２０４と検知情報処理部２０５の動作を示すフローチャートである。 重要領域処理部２０４による処理の一例を示すフローチャートである。 実施形態１における一意のキー情報の生成処理の一例を示す図である。 重要領域処理部２０４による処理結果の一例を示す図である。 検知情報処理部２０５による処理の一例を示す図である。 検知情報取得部２１０、保護領域確認部２１１及び改ざん判定部２１２の処理を示すフローチャートである。 改ざん判定部２１２の処理の一例を示す図である。 実施形態１の交付文書確認装置では検知できない例を示す図である。 実施形態２の重要領域処理部２０４の動作を示すフローチャートである。 実施形態２の保護領域確認部２１１の動作を示すフローチャートである。 実施形態２のオブジェクトと保護パターンの関係を示す図である。 実施形態１では保護できない領域が存在する例を示す図である。 実施形態３の追加重要領域を指定する動作を示すフローチャートである。 実施形態４のコピー検知も行うための動作を示すフローチャートである。 非重要領域にコピー劣化しやすいパターンを埋める例を示す図である。 交付文書生成装置１００及び交付文書確認装置１０１に好適に利用可能な装置の構成を示すブロック図である。

添付図面を参照して、本発明の実施形態について詳細に説明する。
［実施形態１］
図１は、本発明の実施形態１におけるネットワークの概略を示す図である。文書交付者は紙の原稿又は電子データとしての原稿データに対し、交付文書生成装置１００を操作することで、改ざんを検知することができる交付文書を生成し発行する。この交付文書は文書受領者に渡される。文書受領者はそのまま交付文書を活用する場合と文書改ざん者として交付文書を改ざんして活用する場合があり得る。それに対して、文書確認者は交付文書又は改ざん文書を交付文書確認装置１０１に読み込ませることにより、交付文書における改ざんの有無を確認する。

図２は、本発明の実施形態１としての交付文書確認システムの構成を示すブロック図である。図２に示すように、本実施形態は、交付文書生成装置１００と交付文書確認装置１０１とで構成されている。図２に示すように、交付文書生成装置１００は、スキャナ処理部２０１と、ＰＤＬデータ処理部２０２と、原稿画像格納部２０３と、重要領域処理部２０４と、検知情報処理部２０５と、交付文書画像格納部２０６と、文書画像出力部２０７とで構成されている。また、交付文書確認装置１０１は、スキャナ処理部２０８と、交付文書画像格納部２０９と、検知情報取得部２１０と、保護領域確認部２１１と、改ざん判定部２１２と、判定結果表示部２１３とで構成されている。

入力として、紙による原稿又は電子データによる原稿としてのＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）等を受け付ける。ここでＰＤＬとは必ずしもプリンタコマンドに限定されず、交付文書生成装置がビットマップとしての原稿画像データに変換できるものであればよい。例えば、ＪＰＥＧファイルといったものやＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）といったアプリケーションデータでも同じである。紙による原稿は、スキャナ処理部２０１にて原稿を光学的に読み取り、電子変換することで原稿画像データに変換される。電子データ原稿としてのＰＤＬは、例えば、ホストＰＣにおいてアプリケーションやプリンタドライバ又は両者を活用して生成され、交付文書生成装置１００に送られる。送られたＰＤＬは、ＰＤＬデータ処理部２０２によって描画データの解析とレンダリングが行われ、電子的な原稿画像データに変換される。いずれの系においてもビットマップの形で原稿画像データに変換され、原稿画像格納部２０３に格納される。原稿画像格納部２０３に格納された原稿画像データは、ページごとに保護すべき領域と保護する必要がない領域に分類される。そして、重要領域処理部２０４が、その特定された保護すべき領域（重要領域）に対して内容が保護されるような画像処理を行ない、原稿画像データを更新する。本発明による改ざん検知方法は、この保護すべき重要領域に限定して改ざん検知を実施する。具体的な処理に関しては後記する。

ページ内の全ての重要領域に対して内容が保護されるような画像処理が行われると、検知情報処理部２０５はそれら重要領域の位置や内容が保護されるような画像処理に関する情報を検知情報とする。そして、その検知情報から二次元バーコードのＱＲコード（登録商標）といった検知用画像を生成し、原稿画像データに埋め込む。元々の原稿画像データに対して重要領域処理部２０４による内容が保護されるような画像処理や検知情報処理部２０５による検知用画像が埋め込まれた画像データは、交付文書画像データとして交付文書画像格納部２０６に格納される。その交付文書画像データを文書画像出力部２０７が印刷する。そして、原稿画像データの全てのページが交付文書画像データへ変換され、印刷されることで交付文書１０２ができ上がる。交付文書確認装置１０１は入力として紙による交付文書１０２を受け取り、スキャナ処理部２０８が原稿を光学的に読み取り、電子変換することでビットマップとしての交付文書画像データを生成する。

交付文書画像格納部２０９は交付文書画像データをハードディスクやメモリに格納する。検知情報取得部２１０は交付文書画像データからＱＲコードといった形で埋め込まれた検知用画像の箇所を特定し、その検知用画像を元に検知情報を取得する。保護領域確認部２１１は、検知情報取得部２１０にて取得された検知情報にて指定される重要領域内が改ざんされてないかどうかの確認と、その重要領域に施された内容が保護されるような画処理に関する情報の確認を行う。具体的な処理に関しては後記する。改ざん判定部２１２は、保護領域確認部２１１による重要領域内の改ざん確認結果と内容を保護するような画処理情報、検知情報取得部２１０で取得した検知情報を元に、交付文書１０２が改ざんされているかの判定を行う。この具体的な改ざん判定処理に関しては後記する。判定結果表示部２１３は、改ざん判定部２１２の結果をもとに、交付文書１０２が改ざんされているかどうかを交付文書確認装置１０１のディスプレイやビープ音、紙への結果出力などを活用して示す。

図３は、交付文書生成装置１００及び交付文書確認装置１０１の入出力の概要を具体例にて示した図である。紙としての原稿３００を交付文書生成装置１００に入力すると、交付文書１０２が生成される。重要領域を文字部とあらかじめ定めておくと、３０１のように文字領域の背景部分に保護パターンが埋め込まれる。図２の説明において、上記した内容を保護する画像処理とは、本例では文字列自体を保護すべき内容とし、その背景部分に保護パターンを埋め込む画像処理であることを意味する。また、この保護パターンとは任意のパターンではなく、意味を持つ情報をもとに生成されたものである。少なくともページ内の他の重要領域と区別できる情報を含む必要がある。さらには、利便性を高めたり、改ざん検知精度を高めるために、保護すべき内容に関する情報（例えば文字列に対する文字コードやビットマップに対する配置情報）を含めることができる。詳細は図６を用いて後記する。また、同時に検知情報３０２は検知用画像としてＱＲコードのような形で埋め込まれる。両者が埋め込まれた画像データの出力物が交付文書１０２となる。次に、交付文書１０２を交付文書確認装置１０１に入力すると、交付文書確認装置１０１は、重要領域及び重要領域内の保護パターンによる情報３０１、検知情報３０２を元に交付文書１０２が改ざんされているか否かの判定を行ない、判定結果３０３を示す。

図４は、重要領域処理部２０４と検知情報処理部２０５の動作を示すフローチャートである。紙としての原稿又は原稿データがスキャナ処理部２０１又はＰＤＬデータ処理部２０２で原稿画像データに変換され、原稿画像格納部２０３に格納される。すると、重要領域処理部２０４は、原稿画像格納部に格納された原稿画像データの１ページ分の画像を取得し（Ｓ４０１）、その画像を文字や写真、イメージといったオブジェクト領域に分解する（Ｓ４０２）。ここでの分解手法に関しては、色数による分解、エッジやパターンマッチングを用いた分解、ヒストグラムなど色の構成情報を用いた分解等、様々な手法があるが本発明においては、特に限定されない。次に、重要領域処理部２０４は、分解されたオブジェクト領域毎に重要領域かどうかの判断をおこなう(Ｓ４０３)。さらに重要領域処理部２０４は重要領域に関して、その重要領域に対して一意のキー情報を生成する(Ｓ４０４)。そして、キー情報を元に保護パターンを生成し（Ｓ４０５）、重要領域背景に保護パターンを配置する（Ｓ４０６）。

ここで重要領域処理部２０４による重要領域に対する一意のキー情報の生成（Ｓ４０４）、保護パターンの生成（Ｓ４０５）、重要領域へのパターン配置（Ｓ４０６）の例を図５に示す。本例はあらかじめ、文字オブジェクトが存在する領域を重要領域としたものであり、“￥２０００”の外接矩形５０１が重要領域とみなされる。この領域に対して、一意のキー情報５０２が生成されるが、具体例は図６によって後記する。そして、一意のキー情報から保護パターン５０３を作成するが、これは例えばキー情報の値を二進数と見なして、ＯＮ・ＯＦＦのビットマップのパターンとして表現するなどが挙げられる。そのパターンの生成に関しては、本実施形態においては、特に限定されない。ただし、重要領域の背景部に埋め込む際（５０４）、そのパターンを繰り返し配置するなどといった形で耐久性に強い手法を用いることが好ましい。

また、一意のキー情報の生成（Ｓ４０４）の例を、図６に示す。一意のキー情報（５０２）とは、ページ内の重要領域（５０１）毎にキー情報が作成されるが、他の重要領域のキー情報と重ならない値であることを意味する。例えば、例１に示されるようにＵＵＩＤ（Ｕｎｉｖｅｒｓｉｔｙ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）を用いて、重要領域毎にキー情報（６０１）を設定するという手法がある。そして、このＵＵＩＤをもとに保護パターン（６０２）を生成することになる。

又は、別の手法として、重要領域内の文字オブジェクトをＯＣＲを用いて文字コードを抽出し、その文字コードと重要領域の座標を組み合わせることでもページ内一意のキー情報（６０３）を生成することができる。ここで、ＯＣＲは、Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎの略である。本例においては、次の例で生成している。すなわち、一意のキー情報（６０３）は重要領域の位置座標（１００,１００,５００,３００）を１６進数で表したものと、ＯＣＲにより読み取った”￥２０００”の文字コードとを組み合わせて生成している。具体的には、重要領域の位置座標（１００,１００,５００,３００）を１６進数で表したものは、”６４−６４−１f４−１２ｃ”であり、ＯＣＲにより読み取った”￥２０００”の文字コードは、”５Ｃ３２３０３０３０”である。これをもとに保護パターン（６０４）を生成すると、図８において後記するように検知情報及び検知用画像に一意のキー情報として文字コードが格納されることになる。この場合、交付文書画像データを表示や印刷しなくても二次元バーコード等で表される検知用画像を確認するだけで、交付文書内の文章といった重要な内容を把握することができる。

又は、別の手法として、重要領域内のビットマップのピクセル配置を活用してキー情報を生成することでも、一意のキー情報を生成することができる。本例では、連続するピクセルがＯＦＦの数とＯＮの数を元にキー情報（６０５）を生成している。最初のスキャンラインにおいて、ピクセルＯＦＦが６個、ピクセルＯＮが５個、ピクセルＯＦＦが６個で構成されることで“６３６”を生成し、それをスキャンライン毎に繰り返し組み合わせる。このように重要領域内のビットマップを活用したキー情報を元に保護パターン（６０６）を作成すると、検知情報及び検知用画像に一意のキー情報としてピクセル配置が格納されることになる。この場合、交付文書画像データを表示や印刷しなくても二次元バーコード等で表される検知用画像を確認するだけで、交付文書内の重要な領域に関するピクセル配置、つまり画像を把握することができる。

図４のフローチャートにおいて、重要領域処理部２０４が重要領域背景に保護パターンを配置（Ｓ４０６）した後、その重要領域の一意のキー情報及びその重要領域のページ内の領域座標を保存する(Ｓ４０７)。そして、ページ内、全てのオブジェクト領域に対して重要領域に対する一連の処理を実施する（Ｓ４０８）。図７は、重要領域処理部２０４がページ内全ての重要領域に対して一連の処理を実施した結果の例を示す図である。パターン７０１はページ内の全ての重要領域に対して、座標、一意のキー情報、キー情報を元にした保護パターンである。パターン７０１が例７０２に示すように各重要領域の背景部に埋め込まれる。

図４のフローチャートにおいて、重要領域処理部２０４の一連の処理が完了すると、検知情報処理部２０５が、Ｓ４０７で保存している全重要領域のキー情報及び領域座標から検知情報を構築する（Ｓ４０９）。そして、その検知情報から検知用画像を生成し、原稿画像データに検知用画像を埋め込む(Ｓ４１０)。このようにして検知用画像と保護パターンが埋め込まれた原稿画像データは交付文書画像データとして、交付文書画像格納部２０７がハードディスクやメモリなどに格納する。

ここで、検知情報処理部２０５が行う検知情報の構築（Ｓ４０９）及び検知情報から検知用画像を生成し、原稿画像データへ検知用画像を埋め込む（Ｓ４１０）例を図８に示す。本実施形態において検知情報とは、Ｓ４０７で保存された重要領域全てのキー情報と座標情報を単純に並べたものとしている。その検知情報を元に検知用画像を二次元バーコード（ＱＲコード）として作成する。その検知用画像（ＱＲコード）を原稿画像データに重要領域の背景に保護パターンが埋め込まれた画像データのヘッダー又はフッターといった箇所に埋め込み、新たな画像データを生成する。これが交付文書画像データとなり、交付文書画像格納部２０６に格納される。本実施形態における交付文書生成装置１００では図４のフローチャートに示したように、原稿画像データに対して重要領域への保護パターンの埋め込み及び検知用画像の埋め込みを行い、交付文書画像データを生成している。この交付文書画像データを文書画像出力部２０７が印刷処理することで、さらにこれらの処理を全てのページに対して処理することで紙としての交付文書が生成できる。

図９は、交付文書確認装置１０１のうち、本発明に係る検知情報取得部２１０、保護領域確認部２１１、改ざん判定部２１２の処理を示すフローチャートである。交付文書の改ざん確認をおこなうため、紙としての交付文書が交付文書確認装置１０１に投入されると、スキャナ処理部２０８が交付文書画像データに変換し、交付文書画像格納部２０９が交付文書画像データをハードディスク又はメモリ等に格納する。格納された交付文書画像データに対し、検知情報取得部２１０が交付文書画像データの１ページ分の画像を取得し（Ｓ９０１）、その画像から検知用画像を探して取り出し、その検知用画像から検知情報に変換する（Ｓ９０２）。ここで検知用画像の検索手法に関しては、例えば、ヘッダーやフッター等事前に決められた箇所に埋め込まれているとしても良いし、埋め込む場所がテンプレートのような形で予め定められておりテンプレートで指定された箇所を全て検索しても良い。又は、ページデータの外周に近い所から検索する手法や画像データを全てサーチし、あらかじめ定められた色を探す色マッチングやあらかじめ定められたパターンを探すパターンマッチングといった手法も可能である。検知用画像から検知情報を取り出す手法は、図８に示した検知情報から検知用画像を作成する変換の逆変換処理である。

検知情報が取得できると（Ｓ９０２）、保護領域確認部２１１は図８で示した検知情報の中の重要領域の座標情報を取得し、その座標を元に交付文書画像データ内の重要領域を特定する（Ｓ９０３）。さらに、保護領域確認理部２１１は、特定された重要領域内の保護パターンを取り出し、その保護パターンからキー情報を取得する（Ｓ９０４）。ここで保護パターンとは図６で示したコンテンツを保護するため、重要領域の背景に埋め込まれたパターンであり、その保護パターンからキー情報を取得するには、図６の逆変換を行うことで入手できる。

次に、保護領域確認部２１１は、特定された重要領域内が改ざんされていないかの判断を行う（Ｓ９０５）。ここではＳ９０４にて重要領域から保護パターンが取得できたか、保護パターンから正常なキー情報を取得できたかどうかで判断を行う。さらに図６の例２で示したように、キー情報が重要領域内の文字列情報を活用して生成したものであれば、重要領域内にＯＣＲをかけて文字列情報を取得し、それと保護パターンを元に取り出したキー情報が一致するかどうかで判断することもできる。また、図６の例３で示したように、キー情報が重要領域内のビットマップを活用して生成したものであれば、重要領域内のピクセルの配置情報を取得し、それと保護パターンを元に取り出したキー情報が一致するかどうかで判断することもできる。

続いて、改ざん判定部２１２は、少なくとも一つ以上の重要領域が改ざんされていると判断された場合（Ｓ９０５）は、交付文書に対して改ざんあり判定を行う。また、重要領域が改ざんされていないと判断された場合、Ｓ９０２で取得した検知情報に格納されている重要領域の一意のキー情報と、Ｓ９０４で取得した重要領域のキー情報が同じものかどうかを判断する。これが同じだった場合、その重要領域が改ざんされていないと判定する。異なった場合はその重要領域が別の重要領域の別のキー情報を元に加工された改ざんされたものだと判定する。これらの処理をページ内全ての重要領域に対して行い（Ｓ９０７）、一つでも改ざんされた重要領域が存在すれば、交付文書の該当ページは改ざんされたと判定される（Ｓ９０９）。さらに、交付文書全てのページに対して上記一連の処理を行うことで、交付文書全体としての改ざん判定を行うことができる。また、保護パターン又はキー情報が抽出できなかった場合は、上記と同様に、改ざんがあると判定する。

図１０は、改ざん判定部の処理の一例を示す図である。具体的には、Ｓ９０９の改ざん判定処理の具体例を示している。検知情報取得部２１０が検知用画像１００１を取り出し、その検知用画像を解析し、ページ内重要領域毎の座標と一意のキー情報１００２を取得する。保護領域確認部２１１は、例えば領域３の重要領域から保護パターン１００４を取得し、それを解析して、キー情報１００５を取得する。このキー情報１００５が検知情報の内の領域３として格納されている一意のキー情報１００３と一致していればこの重要領域が改ざんされていないことが特定できる。

以上説明したように、交付文書生成装置１００は、原稿画像データ内の重要領域の背景に保護パターンをキー情報として埋め込み、それらを元に検知情報を生成して検知用画像を付加して交付文書を生成する。そして、交付文書確認装置１０１は、重要領域内のキー情報と付加された検知情報を元に、その整合性を判断する。これにより、例えば、文書改ざん者が内容を保護すべき文字列等の重要領域を別の文字列に張り替えて改ざん文書を生成したり、重要領域が削除されたり上書きして改ざん文書を生成しても、以下の理由により改ざん検知ができる。重要領域からキー情報が取れないため改ざんされていると判定するためと、偽造されたキー情報が重要領域に埋め込んでも、検知情報と整合性が取れないため、改ざんされていると判定するためである。さらに、重要領域の背景に埋め込む保護パターンは、汚れや斜行に強くなるように構成したり、重要領域の背景に繰り返して埋め込むことで、改ざん判定精度を向上させることができる。また、原稿の文字情報にＯＣＲをかけて、それを元に検知情報を生成する手法では、交付文書生成装置と交付文書確認装置のＯＣＲの精度が異なると誤判定を引き起こしやすい。また、仮に同じＯＣＲエンジンを活用したとしても、ＯＣＲでは交付文書の汚れや、原稿、交付文書をスキャンする際に斜めに置いてしまったりすると誤判定を引き起こしやすく、改ざん検知の信頼性を定量化できない。しかし、上記の実施形態では、ＱＲコードなどの検知用画像と重要領域の背景に埋め込まれた領域保護情報とを比較するので、交付文書生成装置と交付文書確認装置のＯＣＲの精度が異なっても、誤判定が起きない。また、交付文書の汚れや原稿スキャンの際の置き方のミスによっても、誤判定が起きない。また、文字ベクトル情報を元に検知情報を生成する手法でも、交付文書のごみやよごれ、さらには原稿を斜めに置いてしまったりすると、改ざん検知の際の誤判定が容易に発生してしまう。しかし、上記の実施形態では、文字ベクトル情報を元に検知情報を生成する手法でも、上記と同様の理由により、誤判定が起きない。

［実施形態２］
上記の実施形態１においては、文字列の領域といった重要領域を別の文字列などに張り替えた改ざん又は重要領域を修正液などで消すような改ざんに関しては検知できるが、重要領域の中に文字を加えるといった改ざんは検知できないといった課題がある。

図１１は、実施形態１における交付文書確認装置１０１で改ざん検知できない例を示す。交付文書が改ざんされていない場合、交付文書確認装置１０１の保護領域確認部２１１は、重要領域１１０１から取り出した保護パターン１１０２を元に一意のキー情報１１０３を取得する。このキー情報１１０３は検知情報に格納された重要領域のキー情報と比較することで、重要領域の正当性を確認する。しかしながら、交付文書の重要領域に１１０４で示すように“￥２００００”の隙間を改ざんし、“￥１２００００”といったように文字を追加した場合がありうる。この場合、交付文書確認装置１０１の保護領域確認部２１１は、重要領域１１０４から取り出した保護パターン１１０５を元に一意のキー情報１１０６を取得する。この取得できるキー情報は、改ざんが行われていない場合と同じものになり、検知情報に格納されたキー情報と比較しても改ざんを検知することはできない。これは、実施形態１においては、よごれなどがついても誤判定が起こらないような耐久性がある保護パターンの埋め込みを行い、そのためよごれと悪意のある文字などの追加による改ざんの区別がつかないためである。本実施形態においては、そのような改ざんも検知できるようにする。

図１２は、本実施形態の交付文書生成装置１００における重要領域処理部２０４の処理を示すフローチャートである。上記の実施形態１の重要領域処理部２０４の処理としては図４のフローチャートのＳ４０１〜Ｓ４０８までが該当する。Ｓ４０６の重要領域背景に保護パターン配置する処理及びＳ４０７の保存以外の処理は本実施形態においても同様である。Ｓ４０５にて保護パターンが生成されると本フローは開始し、本実施形態の重要領域処理部２０４は、まず重要領域内の保護すべきオブジェクトの色を抽出する（Ｓ１２０１）。このとき、保護すべきオブジェクトが複数の色を使用している場合は、その全ての色を抽出する。次に保護すべきオブジェクトが使用していない単独の色を算出し、その色を活用してＳ４０５にて生成された保護パターンに色を付けた状態で、保護パターン再構築する（Ｓ１２０２）。この色とは、保護すべきオブジェクトの色が灰色や黒といった無彩色の場合はシアン、マゼンダ、イエローといった有彩色が好ましく、保護すべきオブジェクトの色に有彩色が存在する場合は、その補色を指定することが望ましい。その後、再構築した保護パターンを、ピクセル単位で保護すべきオブジェクトに重ならないように配置する（Ｓ１２０３）。その後、実施形態１のＳ４０７と同様に重要領域の座標とキー情報を保存し（Ｓ１２０４）、さらにＳ１２０２で指定された保護パターンの色と、Ｓ１２０１で抽出された保護すべきオブジェクトの色を保存する（Ｓ１２０５）。以上の処理によって、本実施形態に特化したフローは終了し、その後、実施形態１の図４におけるＳ４０８以降の処理を行う。

図１４は、本実施形態の保護するべきオブジェクトと保護パターンとの関係を示す図である。図１４（ａ）は、Ｓ１２０３の処理による、保護すべきオブジェクトと保護パターンとの関係を示す。これは重要領域内の一部をピクセルが見える大きさに拡大したもので、保護すべきオブジェクト（１４０２）と保護パターン（１４０３）が存在する。この両者の色は、無彩色と有彩色又は有彩色と補色の関係であることが好ましく、さらに保護すべきオブジェクトの色と保護パターンの色が同一ピクセル上で重ならないように配置する。つまり、重要領域内には両者の色を合成した色が存在しないように配置する。なお、検知情報処理部２０５の処理は、実施形態１では検知情報が重要領域のキー情報と座標情報から生成するが、本実施形態においては、それに加えてＳ１２０５で保存した保護パターンの色と保護すべきオブジェクトの色も含めて検知情報を生成する。単に検知情報のパラメータが増えるだけで、検知情報から検知用画像の生成等は実施形態１と同様である。

図１３は、本実施形態の交付文書確認装置１０１における保護領域確認部２１１の処理を示すフローチャートである。実施形態１の保護領域確認部２１１の処理としては、図９のＳ９０３〜Ｓ９０５までが該当するが、Ｓ９０３の重要領域の特定、Ｓ９０４の重要領域内の保護パターンの抽出、キー情報の取得に関しては、本実施形態においても同じである。また、本実施形態において交付文書確認装置１０１における保護領域確認部２１１以外の処理は実施形態１と同様である。Ｓ９０４にて重要領域内の保護パターンの抽出及びキー情報の取得がなされると、本フローは開始する。まずは、実施形態１と同様に、取得したキー情報は正常なものかの判断を行い（Ｓ１３０１）、正常でないと判断された場合は該当する重要領域は改ざんされていると判定する（Ｓ１３０６）。正常にキー情報が取得できた場合、実施形態２の検知情報処理部２１１によって、検知情報に格納された重要領域の保護パターンの色と保護すべきオブジェクトの色を取得し、両者の色を合成した合成色を生成する（Ｓ１３０２）。次に、重要領域内のピクセルの色を取得する（Ｓ１３０３）。ピクセルの色が、保護パターンの色と保護すべきオブジェクトの色の合成色か否かの判断を行い、合成色（Ｓ１３０４）であった場合は改ざん判定を行う（Ｓ１３０６）。合成色でなかった場合は重要領域の全ピクセルに対して合成色かどうかの判断を行い（Ｓ１３０５）、１ピクセルでも合成色であった場合は改ざん判定（Ｓ１３０６）を行う。

図１４（ｂ）は、改ざんが行われた際の保護すべきオブジェクトと保護パターンの関係を示す。これは、交付文書画像データの重要領域内の一部をピクセルが見える大きさに拡大したものである。改ざん者によって追加されたオブジェクト１４０５は、図１１の１１０４で説明した改ざんであり、実施形態１では改ざん検出できなかったものである。このとき、改ざん者によって追加される改ざんオブジェクトは、保護すべきオブジェクトとほぼ同じ色で追加されることに注目し、さらに改ざんオブジェクトを追加すると保護パターンのどこかと重なることに注目する。具体的には１４０６が保護パターンと追加された改ざんオブジェクトが重なった箇所であり、光学的なスキャンによって、保護パターンの色と保護すべきオブジェクトの色を合成した場合と同じの色になる。このとき、上記したように、無彩色と有彩色の組み合わせ、有彩色と補色の組み合わせにしておくと合成色が特徴的な色となり、保護領域確認部によって改ざんしたのかどうかの判断が付きやすくなる。
本実施形態によれば、実施形態１では改ざん検知ができなかった、保護すべきオブジェクトと色を似せたオブジェクトの追加による改ざんを検知できるようになる。同時に、実施形態１同様に、交付文書にゴミやよごれがついていても誤判定を起こしにくい改ざん検出を実現できる。

［実施形態３］
上記の実施形態１及び実施形態２においては、交付文書生成装置１００の重要領域処理部２０４が原稿画像格納部２０３に格納された原稿画像データに対してオブジェクト分類を行い、保護すべきオブジェクトの判断を行っていた。そして基本的には文字領域を重要領域として改ざん検知できる仕組みを実施している。しかしながら、本来は手書きのサイン、又は任意の領域も保護したい対象となるケースが多い。本実施形態においては、特に手書きのサインといった物を保護するため、文書交付者が任意の領域を指定し、交付文書生成装置１００にてその領域を重要領域として認識する手法を説明する。

図１５は、実施形態１のオブジェクト分類及び重要領域の判断では重要領域と判断できないが、保護したい領域が存在する例を示す図である。紙の原稿１５０１は、手書きのサイン１５０２が記載されているとする。この手書きのサイン１５０２が記載された領域も重要領域とする必要がある場合、文書交付者による指定が必要となる。ただし、実施形態１の重要領域判断（図４のＳ４０３）おいて重要領域と判断され、保護パターンが埋め込まれる場合もあるので、文書交付者が重要領域処理部２０４による判定を確認するフローの導入が好ましい。また、文書交付者により指定された領域が確実に保護したいオブジェクトを覆っているかの確認もできるフローの導入が好ましい。

図１６は、文書交付者が任意の領域を追加重要領域として指定する際の処理を示すフローチャートである。本実施形態においては、実施形態１の図４のフローチャートの内、重要領域処理部２０４がおこなう処理（Ｓ４０１からＳ４０８）は同じであり、全ての重要領域へのパターン埋め込みが完了（Ｓ４０８）してから本フローは開始する。

まず、全ての重要領域の背景に保護パターンが埋め込まれた画像データを表示又は印刷する（Ｓ１６０１）。このとき、交付文書生成装置１００に付随するディスプレイに表示しても良いし、又は図２における文書画像出力部２０７を用いて印刷しても良い。このとき文書交付者は、例えば保護したい手書きのサインが重要領域として処理されているかを表示又は印刷結果を基に確認する。この確認は、保護したいサインの背景部分に保護パターンが存在するか否かで容易確認できる。保護したい領域が重要領域として処理されていない場合、本実施形態においては追加で重要領域を文書交付者に指定させる（Ｓ１６０２）。ここでは、具体的には以下の方法で実現可能である。例えば、交付文書生成装置のパネルなどで追加領域の座標を入力させたり、交付文書生成装置１００に表示されているプレビューに対し、手書サインの場所をタッチパネルなどで指定させ、そのオブジェクトの外接矩形を追加領域の座標とみなすなどである。任意の場所に追加の重要領域を指定できれば、その実現手段はいずれでも良い。

次に、文書交付者から追加領域が指定されるまで待機する（Ｓ１６０３）。追加領域が指定されると、その追加領域に対して、図５で示したような一意のキー情報生成及び保護パターンの作成、追加領域の背景へ保護パターンの配置を行う（Ｓ１６０４）。そして、追加領域の埋め込みを含む画像データに対し、Ｓ１６０１と同様に表示又は印刷する（Ｓ１６０５）。ここで、文書交付者に対して指定した追加領域が保護したいオブジェクトを含んでいるかの確認を促す（Ｓ１６０６）。文書交付者から適切な領域でないと指定された場合（Ｓ１６０６）は、追加された重要領域の保護パターンを除去して（Ｓ１６０７）、再度、文書交付者からの追加領域指定が行われるまで待機する（Ｓ１６０３）。文書交付者から適切な領域であると指定された場合（Ｓ１６０６）、この追加重要領域のキー情報や座標を保存し（Ｓ１６０８）、本フローは終了する。

これ以降は実施形態１と同様に、図４のフローのＳ４０９以降の追加重要領域を含む全重要領域のキー情報及び領域情報から検知情報の構築を行い（Ｓ４０９）、検知情報から検知用画像の生成や画像への埋め込みを行う（Ｓ４１０）。さらに、交付文書確認装置１０１に関しては、本実施形態においても、実施形態１と同様であり、追加された重要領域は、他の重要領域と同等に扱われる。

［実施形態４］
上記の実施形態１、実施形態２及び実施形態３においては、交付文書の改ざんを検知することを目的としていて、唯一の交付文書であることを示す元本保証を行う訳ではない。言い換えると、交付文書が仮にコピーされていても、改ざんされていなければ問題ないとする状況に適用できる。しかしながら、保護したいオブジェクトに対する改ざん検知はできるようにしながら、コピーも禁止したいという用途もある。本実施形態においては、交付文書の保護すべき領域に対して改ざん検知を行いながらコピーが行われたかどうかの判断も行える手法を実現する。

図１７は、本実施形態における処理を示すフローチャートである。本実施形態においては、実施形態１の図４のフローチャートの内、重要領域処理部２０４がおこなう処理（Ｓ４０１からＳ４０８）は同じであり、全ての重要領域への保護パターンの埋め込みが完了（Ｓ４０８）してから本フローは開始する。全ての重要領域に埋め込まれたパターンの色平均濃度を算出し（Ｓ１７０１）、算出された平均濃度と同様の濃度でコピー劣化しやすいパターンを生成し（Ｓ１７０２）、それを重要領域以外の背景に埋め込む（Ｓ１７０３）。

図１８は、非重要領域の背景にコピー劣化しやすいパターン画像を埋め込んだ例を示す図である。１８０１は全重要領域に保護パターンを埋め込んだ画像であり、この保護パターンの平均濃度と同等のコピー劣化しやすいパターン画像を生成し、１８０２のように非重要領域の背景に埋め込む。なお、コピー劣化しやすいパターン画像の生成とは、地紋といった技術を活用し、スキャンするときに劣化が起こりやすいような孤立ピクセルの組み合わせで表現するといった方法がある。ここで生成した交付文書をコピーすると、重要領域の濃度より非重要領域の濃度がコピー劣化により変わり、文書確認者はコピーされたものか否かの判断を目視することができ、元本保証かつ改ざんが検知できるようになる。

［実施形態５］
以下、本実施形態では、上記の実施形態における交付文書生成装置１００及び交付文書確認装置１０１に好適に利用できるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）について説明する。

図１９は、本実施形態におけるＭＦＰのコントロールユニット（コントローラ）の一構成例を示すブロック図である。図１９に示すように、コントロールユニット２０００は、画像入力デバイスであるスキャナ２００１や画像出力デバイスであるプリンタエンジン２００２と接続し、画像データの読み取りやプリント出力のための制御を行う。また、コントロールユニット２０００は、ＬＡＮ Ｎ１や公衆回線２００４と接続することで、画像情報やデバイス情報をＬＡＮ Ｎ１経由で入出力するための制御を行う。ＣＰＵ２００５は、ＭＦＰ全体を制御するための中央処理装置である。ＲＡＭ２００６は、ＣＰＵ２００５が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。さらに、ＲＯＭ２００７はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ２００８はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。操作部Ｉ／Ｆ２００９は、画像データ等を表示可能な表示画面を有する操作部２０１０に対するインタフェース部であり、操作部２０１０に対して操作画面データを出力する。また、操作部Ｉ／Ｆ２００９は、操作部２０１０から操作者が入力した情報をＣＰＵ２００５に伝える役割をする。ネットワークインタフェース２０１１は、例えばＬＡＮカード等で実現され、ＬＡＮ Ｎ１に接続して外部装置との間で情報の入出力を行う。さらにまた、モデム２０１２は公衆回線２００４に接続し、外部装置との間で情報の入出力を行う。以上のユニットがシステムバス２０１３上に配置されている。

イメージバスＩ／Ｆ２０１４は、システムバス２０１３と画像データを高速で転送する画像バス２０１５とを接続するためのインタフェースであり、データ構造を変換するバスブリッジである。画像バス２０１５上には、ラスタイメージプロセッサ２０１６、デバイスＩ／Ｆ２０１７、スキャナ画像処理部２０１８、プリンタ画像処理部２０１９、画像編集用画像処理部２０２０、カラーマネージメントモジュール２０３０が接続される。ラスタイメージプロセッサ（ＲＩＰ）２０１６は、ページ記述言語（ＰＤＬデータ）コードや後述するベクトルデータをイメージに展開する。デバイスＩ／Ｆ部２０１７は、スキャナ２００１やプリンタエンジン２００２とコントロール２０００とを接続し、画像データの同期系／非同期系の変換を行う。また、スキャナ画像処理部２０１８は、スキャナ２００１から入力した画像データに対して、補正、加工、編集等の各種処理を行う。プリンタ画像処理部２０１９は、プリント出力する画像データに対して、プリンタエンジンに応じた補正、解像度変換等の処理を行う。画像編集用画像処理２０２０は、画像データの回転や、画像データの圧縮伸長処理等の各種画像処理を行う。ＣＭＭ２０３０は、画像データに対して、プロファイルやキャリブレーションデータに基づいた、色変換処理（色空間変換処理ともいう）を施す専用ハードウェアモジュールである。プロファイルとは、機器に依存した色空間で表現したカラー画像データを機器に依存しない色空間（例えばＬａｂなど）に変換するための関数のような情報である。キャリブレーションデータとは、カラー複合機におけるスキャナ部２００１やプリンタエンジン２００２の色再現特性を修正するためのデータである。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

本発明は、プリンタやファクシミリ装置などの画像形成装置の分野で利用可能である。

１００ 交付文書生成装置
１０１ 交付文書確認装置
１０２ 交付文書

Claims (10)

1. 交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムであって、
   前記交付文書生成装置は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込み、
   前記交付文書確認装置は、前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする交付文書確認システム。
2. 前記保護パターン又は前記領域保護情報を抽出できなかった場合は、改ざんがあると判定することを特徴とする請求項１記載の交付文書確認システム。
3. 前記保護パターンの色は、前記オブジェクトを構成する色に基づいて定められ、
   前記改ざんの検知は、前記重要領域内に前記保護パターンの色と前記オブジェクトを構成する色との合成色が存在するか否かが判断されることで行われることを特徴とする請求項１記載の交付文書確認システム。
4. 前記保護パターンの色は、前記オブジェクトを構成する色が無彩色の場合は有彩色にし、
   前記オブジェクトを構成する色が有彩色の場合は、その補色とすることを特徴とする請求項３記載の交付文書確認システム。
5. 前記重要領域は任意の領域を外部から指定し、該指定した領域が前記オブジェクトを覆っているか否かを外部から確認することを特徴とする請求項１記載の交付文書確認システム。
6. 前記交付文書のページ内の全ての前記保護パターンの平均濃度を算出し、該算出された濃度と同じの濃度でかつコピー劣化しやすいパターンを生成し、該コピー劣化しやすいパターンを前記重要領域以外の背景に埋め込むことを特徴とする請求項１記載の交付文書確認システム。
7. 交付文書を生成し、該交付文書の改ざんの有無を確認する交付文書確認システムの交付文書生成装置であって、
   原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込むことを特徴とする交付文書生成装置。
8. 交付文書を生成し、該交付文書の改ざんの有無を確認する交付文書確認システムの交付文書確認装置であって、
   前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と、前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする交付文書確認装置。
9. 交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムにおける交付文書の確認方法であって、
   前記交付文書生成装置が、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定するステップと、
   該特定された重要領域毎の保護情報である領域保護情報を生成するステップと、
   前記領域保護情報を、入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込むステップと、
   前記領域保護情報及び前記重要領域の座標を保存するステップと、
   前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築するステップと、
   前記検知情報に基づいて検知用画像を生成し埋め込むステップと、を有し、
   前記交付文書確認装置が、前記検知用画像から検知情報を取り出すステップと、
   該取り出した検知情報に基づいて、前記重要領域を特定し前記保護パターンを抽出するステップと、
   前記保護パターンから前記領域保護情報を抽出するステップと、
   該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定するステップと、を有することを特徴とする交付文書の確認方法。
10. 請求項９記載の交付文書の確認方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images