JP2020088780A - システム、画像形成装置、方法およびプログラム - Google Patents

Abstract

【課題】印刷物の改変を短時間かつ高精度に検出するシステム、画像形成装置、方法およびプログラムを提供すること。【解決手段】本発明によれば、原画像に電子透かしデータを埋め込む電子透かし埋込手段と、前記原画像と、該原画像に埋め込んだ前記電子透かしデータと、該電子透かしデータを表すパターンの埋め込み位置と紐付けて記憶する記憶手段と、印刷物のスキャン画像に含まれる前記パターンを検出し、該パターンをデコードして前記電子透かしデータを取得する電子透かしデコード手段と、前記スキャン画像から取得した前記電子透かしデータに紐付いた前記原画像と該スキャン画像の位置合わせを行う位置合わせ手段と、前記原画像と位置合わせされた前記スキャン画像の差分を抽出する差分抽出手段とを含むシステムが提供される。【選択図】 図２

Description

本発明は、システム、画像形成装置、方法およびプログラムに関する。

印刷物の不正な流出や改ざんを防止するために、印刷物に電子透かしデータを埋め込んで印刷する技術が開発されている。電子透かし技術においては、画像を複数の領域に分割し、領域ごとに電子透かしデータを埋め込む技術が知られている。

例えば特許第４９２７０５８号公報（特許文献１）では、それぞれが２値情報の要素値に対応付けられた複数の単位領域を元画像に設定する単位領域設定部と、複数の単位領域の各単位領域の画素値を各単位領域に対応付けられた要素値に基づいて変換することにより元画像に２値情報を埋め込む単位領域変換部とを備える構成が開示されている。特許文献１によれば、印刷などによる情報の劣化が抑制可能な情報埋込画像を生成することができ、また、情報埋込画像から２値情報を高精度に読み取ることができる。

しかしながら、特許文献１では、画像上の特徴量を抽出して、原画像と比較を行うことから、計算量が多くなり、処理に時間がかかるなど、組み込み用途には不向きであった。そのため、印刷物の改ざんを容易に検出できる電子透かし技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、印刷物の改変を短時間かつ高精度に検出するシステム、画像形成装置、方法およびプログラムを提供することを目的とする。

すなわち、本発明によれば、原画像に電子透かしデータを埋め込む電子透かし埋込手段と、前記原画像と、該原画像に埋め込んだ前記電子透かしデータと、該電子透かしデータを表すパターンの埋め込み位置と紐付けて記憶する記憶手段と、印刷物のスキャン画像に含まれる前記パターンを検出し、該パターンをデコードして前記電子透かしデータを取得する電子透かしデコード手段と、前記スキャン画像から取得した前記電子透かしデータに紐付いた前記原画像と該スキャン画像の位置合わせを行う位置合わせ手段と、前記原画像と位置合わせされた前記スキャン画像の差分を抽出する差分抽出手段とを含み、前記電子透かし埋込手段は、前記原画像を複数のブロックに分割し、前記電子透かしデータの各値に対応するパターンを各ブロックに割り当てて埋め込み、前記位置合わせ手段は、前記原画像に紐付いた前記パターンの埋め込み位置と、前記スキャン画像から検出された前記パターンの検出位置とに基づいて、前記ブロック毎に位置合わせを行う、システムが提供される。

上述したように、本発明によれば、印刷物の改変を短時間かつ高精度に検出するシステム、画像形成装置、方法およびプログラムが提供される。

本実施形態のシステムのシステム構成を示す図。 本実施形態のシステムの機能構成を示す図。 本実施形態のシステムが実行する処理のデータフローダイアグラム。 画像分割を説明するための概念図。 電子透かしパターンを示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本発明の実施形態であるシステム１００のシステム構成を示す。図１に示すように、本実施形態のシステム１００は、ＰＣ１０と、ファイルサーバ２０と、ＭＦＰ（Multi-Function Peripheral）３０と、改変抽出サーバ４０とを含んで構成されており、各装置は、ネットワーク５０を介して相互通信可能に接続されている。

ＰＣ１０は、ローカルの記憶手段に保持される文書ファイルの印刷出力をＭＦＰ３０に命令する情報処理装置である。

ファイルサーバ２０は、ＰＣ１０のローカルの記憶手段と同期するストレージを備える情報処理装置であり、ＰＣ１０側で加えられた文書ファイルへの変更内容がファイルサーバ２０側に反映されるように構成されている。

ＭＦＰ３０は、プリンタ機能やスキャナ機能などを搭載する複合機として参照される画像形成装置である。

改変抽出サーバ４０は、ユーザがスキャンした印刷物から改変箇所を抽出する情報処理装置である。

以上、本実施形態のシステム１００のシステム構成について説明したが、続いて、システム１００を構成する各装置の機能構成を図２に基づいて説明する。

ＰＣ１０は、ハッシュ値生成部１２と、電子透かし埋め込み部１４とを含む。

ハッシュ値生成部１２は、ファイルサーバ２０から取得した文書ファイルに基づいてハッシュ値を生成する手段であり、生成したハッシュ値を電子透かし埋め込み部１４に渡す。

電子透かし埋め込み部１４は、ＭＦＰ３０に送信するための印刷用データを生成する手段であり、プリンタドライバとして参照することができる。電子透かし埋め込み部１４は、文書ファイルから原画像データを生成し、生成した原画像データに、ハッシュ値生成部１２から受領したハッシュ値を電子透かしデータとして埋め込む。

具体的には、電子透かし埋め込み部１４は、原画像データを複数の領域に分割した上で、電子透かしデータを表すパターンを所定の規則に従って各領域に割り当てて埋め込んだ後、これを、例えば、ＣＭＹＫカラーの印刷用データに変換する。以下では、原画像データに電子透かしデータを埋め込んだ画像データの印刷用データのことを、単に、電子透かし入り画像データという場合がある。

電子透かし埋め込み部１４は、生成した電子透かし入り画像データをＭＦＰ３０に送信する。このとき、電子透かし埋め込み部１４は、電子透かし入り画像データのコピーと、電子透かしを埋め込んだ位置を示す埋め込み位置情報と、ハッシュ値生成部１２から受領したハッシュ値とを紐づけてファイルサーバ２０に送信する。すなわち、アクセスキーを、生成したハッシュ値にして、電子透かし入り画像データと埋め込み位置情報をファイルサーバ２０に送信する。

ファイルサーバ２０は、ＰＣ１０から受信した３つの情報（ハッシュ値、電子透かし入り画像データ、埋め込み位置情報）を紐づけて登録する。そして、ファイルサーバ２０は、ハッシュ値をキーとした問い合わせに応答して、ハッシュ値に紐づいた電子透かし入り画像データおよび埋め込み位置情報を返すように構成されている。

ＭＦＰ３０は、プロッタ３２と、スキャナ３４とを含む。プロッタ３２は、ＰＣ１０から受信した電子透かし入り画像データに基づいて電子透かしパターンを含む印刷物（以下、電子透かし入り印刷物という）を印刷出力する。一方、スキャナ３４は、ユーザからの要求に応じて、改変された疑いのある印刷物のスキャン画像データを生成する。このとき、ＭＦＰ３０は、生成されたスキャン画像データを改変抽出サーバ４０に転送する。

改変抽出サーバ４０は、電子透かしデコード部４２と、ブロックずれ量推定部４３と、画像変形部４４と、画像差分抽出部４５とを含む。

電子透かしデコード部４２は、ＭＦＰ３０から受領したスキャン画像データから、そこに埋め込まれている電子透かしを検出し、検出した電子透かしをデコードしてハッシュ値を取得する。このとき、電子透かしデコード部４２は、取得したハッシュ値と、検出した電子透かしの検出位置を示す情報をブロックずれ量推定部４３に渡す。以下では、電子透かしの検出位置を示す情報のことを、単に、検出位置情報という場合がある。

ブロックずれ量推定部４３は、電子透かしデコード部４２から受領したハッシュ値をキーとして問い合わせを行って、ファイルサーバ２０から、当該ハッシュ値に紐付いた電子透かし入り画像データおよび埋め込み位置情報を取得し、取得した埋め込み位置情報と、電子透かしデコード部４２から受領した検出位置情報を比較することにより、各ブロックの位置ずれ量を推定する。ブロックずれ量推定部４３は、ファイルサーバ２０から取得した電子透かし入り画像データを画像差分抽出部４５に渡すとともに、各ブロックのずれ量の結果を画像変形部４４に渡す。

画像変形部４４は、ブロックずれ量推定部４３から受領した各ブロックの位置ずれ量に基づいてスキャン画像データを変形して、原画像データとの位置合わせがなされた補正画像データを生成する。画像変形部４４は、生成した補正画像データ（補正済みスキャン画像データ）を画像差分抽出部４５に渡す。

画像差分抽出部４５は、画像変形部４４から受領した補正画像データと、ブロックずれ量推定部４３から受領した電子透かし入り画像データとを比較して、両画像の差分を抽出し、その結果を、例えば、差分画像として出力する。

以上、本実施形態のシステム１００を構成する各装置について説明してきたが、続いて、システム１００が実行する処理を図３に示すデータフローダイアグラムに基づいて説明する。

まず、図３の左に示すデータフローダイアグラムに基づいて印刷時に実行される処理を説明する。

ユーザは、ＰＣ１０の記憶手段に保持される文書ファイルについて、電子透かしを埋め込む設定をして印刷を指示する。これを受けて、ＰＣ１０のハッシュ値生成部１２は、当該文書ファイルに基づいてハッシュ値を生成する（Ｓ１）。

続いて、電子透かし埋め込み部１４は、データの頑健さを担保するために、ハッシュ値生成部１２が生成したハッシュ値に対して誤り訂正符号化処理（例えば、リード・ソロモン符号）を施して、ハッシュ値を冗長化する（Ｓ２）。

続いて、電子透かし埋め込み部１４は、ファイルサーバ２０から取得した文書ファイルから原画像データを生成し、ハッシュ値（正確には、ハッシュ値を冗長化した符号列）を電子透かしデータとして原画像データに埋め込んで電子透かし入り画像データを生成する。（Ｓ３）。

ここで、Ｓ３で実行される電子透かしデータの埋め込み処理を具体的に説明する。

まず、原画像データを複数のブロックに分割する。図４は、分割された原画像データを概念的に示す。図４に示す例では、原画像データが（ａ×ｂ）個のブロック（Ｎ×Ｍ画素）に分割されている。本実施形態では、各ブロックに対して、１ビットのデータを埋め込むので、この場合、最大で（ａ×ｂ）ビットのデータの埋め込みが可能となる。

次に、各ブロックに対して、左上から右下にかけて順番にブロック番号（０、１、…ａｂ-１）を割り振った後、各ブロックに対して、電子透かしデータを構成する２値の符号列の各値に対応するパターン（すなわち、値「０」を表すパターンまたは値「１」を表すパターン）を先頭のブロックから順番に埋め込む。

図５は、電子透かしとして各ブロックの中に重畳されるパターンを例示的に示す。ここで、図５（ａ）は、符号「０」を表すパターンを示し、図５（ｂ）は、符号「１」を表すパターンを示す。なお、図５に示すパターンは、スキャン画像を縮小した縮小画像（後述する）において、マッチングできるようにパターンを記載したものであり、実際の画像には、縮小前のパターンが埋め込まれる。

パターンを埋め込む具体的な方法としては、原画像データを構成する画素のうち、パターンを構成する画素を、最大輝度値または最小輝度値の画素で置換する方法や、パターンを構成する画素とその周辺画素の画素値の差をつける方法などが考えられる。

再び、図３に戻って説明を続ける。

電子透かし埋め込み部１４は、Ｓ３で生成した電子透かし入り画像データのコピーと、電子透かしの埋め込み位置情報と、Ｓ１で生成されたハッシュ値とを紐づけてファイルサーバ２０に登録する。

ファイルサーバ２０に登録される電子透かしの埋め込み位置情報は、ブロック毎の埋め込み位置情報を含む。各ブロックの埋め込み位置情報は、ブロック番号、パターンの埋め込みの有無、ブロックに割り当てられた符号の値（０または１）、パターンが埋め込まれた位置で構成される。ここで、「パターンが埋め込まれた位置」とは、電子透かし入り画像データの画像座標系上におけるドットパターン（図５参照）の埋め込み位置の座標を意味する。また、「パターンの埋め込みの有無」とは、埋め込み先の画像の内容によっては、ブロックにパターンを埋め込むことができない場合があるので、そのような場合に、埋め込みをしていない旨を登録しておく趣旨である。

その後、電子透かし埋め込み部１４は、Ｓ３で生成した電子透かし入り画像データをＭＦＰ３０に送信する。これを受けて、ＭＦＰ３０は、電子透かし入り印刷物を印刷出力する（Ｓ４）。

なお、別の実施形態では、原画像データを印刷用データに変換した後に、当該印刷用データに電子透かしデータを埋め込むようにしてもよい。

以上、印刷時に実行される処理について説明したが、続いて、図３の右に示すデータフローダイアグラムに基づいて、改変された疑いのある印刷物のスキャン時に実行される処理を説明する。

ユーザは、改変された疑いのある印刷物をＭＦＰ３０の原稿台にセットしてスキャンを指示する。これを受けて、ＭＦＰ３０のスキャナ３４がスキャンを実行してスキャン画像データを生成する（Ｓ５）。なお、改変された疑いのある印刷物をスキャンするＭＦＰ３０は、当該印刷物を印刷したＭＦＰ３０と必ずしも同じである必要はなく、印刷した機器とは異なる別の機器がスキャンする場合もありうる。

これを受けて、電子透かしデコード部４２は、生成されたスキャン画像データから、そこに埋め込まれている電子透かしパターンを検出し、検出した電子透かしパターンをデコードして電子透かしデータを取得する（Ｓ６）。このとき、電子透かしデコード部４２は、各ブロックにおいてパターンが検出された位置を検出位置情報としてブロックずれ量推定部４３に渡す。ここで、「パターンが検出された位置」とは、スキャン画像データの画像座標系上におけるドットパターンの検出位置の座標を意味する。

続いて、電子透かしデコード部４２は、Ｓ２で用いた誤り訂正符号化方法に準じた復号方法を用いて、Ｓ６で得られた電子透かしデータからハッシュ値を抽出する（Ｓ７）。

これを受けて、ブロックずれ量推定部４３は、Ｓ７で抽出されたハッシュ値をアクセスキーとして、ファイルサーバ２０に問い合わせを行い、当該ハッシュ値に紐付いた電子透かし入り画像データおよび埋め込み位置情報を読み出す（Ｓ８）。

続いて、ブロックずれ量推定部４３は、電子透かし入り画像データとスキャン画像データについて、ブロック毎の位置ずれ量を推定する（Ｓ９）。なお、両画像の色表現は異なるため、事前に必要な色変換等の変換処理を施しておく。ブロックずれ量推定部４３は、ファイルサーバ２０から取得した埋め込み位置情報と、電子透かしデコード部４２から受領した検出位置情報に基づいて、以下の手順で、高解像度での位置推定を行う（Ｓ９）。

まず、パターンが埋め込まれた電子透かし入り画像データのブロックと、パターンが検出されたスキャン画像データのブロックとを、パターン検出点を中心として、サブブロック単位で探索を行って両画像の位置合わせをブロック単位で行う。なお、スキャン画像データのパターンが検出されなかったブロックについては、当該ブロックの周辺ブロックのパターン検出点から推定されるパターン埋め込み位置を中心に探索を行う。

続いて、画像変形部４４が、Ｓ９で推定されたブロックの位置ずれ量に基づいて、Ｓ５で取得したスキャン画像データの各画素を適切な画素補完方法（ニアリストネイバー法、バイリニア法、バイキュービック法など）を用いて補完することにより、スキャン画像データを構成する各画素が、電子透かし入り画像データを構成する各画素に一対一で対応付けられるように補正をする。その結果、電子透かし入り画像データとの位置合わせがなされたスキャン画像データを得られる（Ｓ１０）。

これを受けて、画像差分抽出部４５は、位置合わせ済みのスキャン画像データと、Ｓ８で読み出した電子透かし入り画像データとを比較して、両画像の差分を抽出し、その抽出結果を任意の形式で出力する（Ｓ１１）。例えば、抽出結果を差分画像として出力した場合、その差分画像から、電子透かし入りの印刷物に対して事後的に加えられた改変部分（改ざんや手書きの文字等）を見て取ることができる。

以上、説明したように、本実施形態では、冗長性を持って埋め込まれた電子透かしのパターンを特徴点として利用して電子透かし入り画像データとスキャン画像データの位置合わせを行うため、膨大な計算によって特徴点を抽出してからマッチングを行う従来法と比較して、格段に少ない計算量で信頼性の高いマッチングを行うことができ、その結果、印刷物に加えられた改変を短時間かつ高精度に検出することが可能となる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。

例えば、別の実施形態では、電子透かしの埋め込み時に、各ブロックの埋め込み位置情報に加えて、各ブロックの特徴量（例えば、白画素の含有数など）をファイルサーバ２０に登録するようにしてもよい。これにより、マッチングの際に、パターンの埋め込み位置に加えて、予め登録された各ブロックの特徴量を利用することでできるようになり、マッチングの計算量をより低減することが可能となる。

また、別の実施形態では、ブロックずれ量の推定時に、注目ブロックの周辺ブロックで推定された位置ずれ量を重みとして利用して、注目ブロックの位置ずれ量を推定するようにしてもよい。また、この場合、パターンが誤った値にデコードされたブロックのマッチッングを行う際に、周辺ブロックの重み付けを大きくするようにしてもよい。

また、別の実施形態では、電子透かしデータをデコードした後に、再度、画像への電子透かし埋め込み時と同様の符号化を行うことで、各ブロックに埋め込まれたデータを取得し、各ブロックの電子透かしの埋め込み位置を検知するようにしてもよい。

また、上述した実施形態で説明した電子透かしのアルゴリズム（すなわち、図５に示したパターン、符号をブロックに割り当てる規則、符号を読み取る規則など）は一つの例であり、パターンの復号性が損なわれにくい頑健性を備えた、他の適切なアルゴリズムを採用してもよい。

また、図２に示した各機能部は、上述した処理の実行に支障がない限り、適宜、統合または分散するなどして、その配置を変更しても構わない。具体的には、改変抽出サーバ４０の機能をファイルサーバ２０に統合した態様、改変抽出サーバ４０の機能をＭＦＰ３０に統合した態様、ファイルサーバ２０の機能をＭＦＰ３０に統合した態様、改変抽出サーバ４０の機能とファイルサーバ２０の機能をＰＣ１０に統合した態様などが可能である。

その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

なお、上述した本発明の実施形態の各機能は、適切なプログラム言語で記述されたプログラムをコンピュータに実行させることで実現でき、本実施形態のプログラムは、任意の記録媒体に格納して頒布することができ、また、ネットワークを介して伝送することができる。

１０…ＰＣ
１２…ハッシュ値生成部
１４…電子透かし埋め込み部
２０…ファイルサーバ
３０…ＭＦＰ
３２…プロッタ
３４…スキャナ
４０…改変抽出サーバ
４２…電子透かしデコード部
４３…ブロックずれ量推定部
４４…画像変形部
４５…画像差分抽出部
５０…ネットワーク
１００…システム

特許第４９２７０５８号公報

Claims (6)

1. 原画像に電子透かしデータを埋め込む電子透かし埋込手段と、
   前記原画像と、該原画像に埋め込んだ前記電子透かしデータと、該電子透かしデータを表すパターンの埋め込み位置と紐付けて記憶する記憶手段と、
   印刷物のスキャン画像に含まれる前記パターンを検出し、該パターンをデコードして前記電子透かしデータを取得する電子透かしデコード手段と、
   前記スキャン画像から取得した前記電子透かしデータに紐付いた前記原画像と該スキャン画像の位置合わせを行う位置合わせ手段と、
   前記原画像と位置合わせされた前記スキャン画像の差分を抽出する差分抽出手段と
   を含み、
   前記電子透かし埋込手段は、
   前記原画像を複数のブロックに分割し、前記電子透かしデータの各値に対応するパターンを各ブロックに割り当てて埋め込み、
   前記位置合わせ手段は、
   前記原画像に紐付いた前記パターンの埋め込み位置と、前記スキャン画像から検出された前記パターンの検出位置とに基づいて、前記ブロック毎に位置合わせを行う、
   システム。
2. 前記記憶手段は、
   前記原画像の前記ブロック毎の特徴量を記憶し、
   前記位置合わせ手段は、
   前記ブロック毎の特徴量を利用して位置合わせを行う、
   請求項１に記載のシステム。
3. 前記位置合わせ手段は、
   注目ブロックの周辺ブロックの位置ずれ量を重みとして利用して、該注目ブロックの位置ずれ量を推定する、
   請求項１または２に記載のシステム。
4. 前記位置合わせ手段は、
   前記注目ブロックのパターンから誤った値がデコードされた場合に、前記周辺ブロックの重み付けを大きくする、
   請求項３に記載のシステム。
5. 原画像を印刷出力した印刷物の改変を検出する方法であって、
   原画像に電子透かしデータを埋め込むステップと、
   前記原画像と、該原画像に埋め込んだ前記電子透かしデータと、該電子透かしデータを表すパターンの埋め込み位置と紐付けて記憶するステップと、
   印刷物のスキャン画像に含まれる前記パターンを検出し、該パターンをデコードして前記電子透かしデータを取得するステップと、
   前記スキャン画像から取得した前記電子透かしデータに紐付いた前記原画像と該スキャン画像の位置合わせを行うステップと、
   前記原画像と位置合わせされた前記スキャン画像の差分を抽出するステップと
   を含み、
   前記電子透かしデータを埋め込むステップは、
   前記原画像を複数のブロックに分割し、前記電子透かしデータの各値に対応するパターンを各ブロックに割り当てて埋め込むステップを含み、
   前記位置合わせを行うステップは、
   前記原画像に紐付いた前記パターンの埋め込み位置と、前記スキャン画像から検出された前記パターンの検出位置とに基づいて、前記ブロック毎に位置合わせを行うステップを含む、
   方法。
6. コンピュータを、
   原画像に電子透かしデータを埋め込む電子透かし埋込手段、
   前記原画像と、該原画像に埋め込んだ前記電子透かしデータと、該電子透かしデータを表すパターンの埋め込み位置と紐付けて記憶する記憶手段、
   印刷物のスキャン画像に含まれる前記パターンを検出し、該パターンをデコードして前記電子透かしデータを取得する電子透かしデコード手段、
   前記スキャン画像から取得した前記電子透かしデータに紐付いた前記原画像と該スキャン画像の位置合わせを行う位置合わせ手段、
   前記原画像と位置合わせされた前記スキャン画像の差分を抽出する差分抽出手段、
   として機能させるためのプログラムであって、
   前記電子透かし埋込手段は、
   前記原画像を複数のブロックに分割し、前記電子透かしデータの各値に対応するパターンを各ブロックに割り当てて埋め込み、
   前記位置合わせ手段は、
   前記原画像に紐付いた前記パターンの埋め込み位置と、前記スキャン画像から検出された前記パターンの検出位置とに基づいて、前記ブロック毎に位置合わせを行う、
   プログラム。