JP4901675B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、たとえば、目視識別できる主情報（人物の顔画像など）に対して、別の付加的な副情報（セキュリティ情報など）を目視識別できない状態で埋め込むことにより合成情報を作成し、この作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する画像処理方法および画像処理装置に関する。

最近、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになっている。特に、主情報に付加的な副情報を目視識別できない状態で埋め込むことができ、かつ、記録媒体上に記録をしても副情報を目視識別できない状態のまま記録できる電子透かし技術は、たとえば、ＩＤカードなどの個人認証媒体の顔写真に対しても著作権情報を埋め込むことができるため、偽造、改ざん対策として利用されている。

たとえば、主情報に対し色差情報を利用して副情報を重畳処理することにより当該副情報の埋め込みを行なう電子透かし方法が公知である（たとえば、特許文献１参照）。

電子透かしによる偽造、改ざん対策は、ＩＤカードなどの高いセキュリティ性が要求される分野に利用され、利用範囲は限定的である。ところが、近年の情報漏洩問題などから、通常の記録装置で記録された文書など、幅広い記録メディアに対し完全性を保証する技術が求められており、電子透かし技術も解決策の１つとして注目を集めている。
特開２００１−２６８３４６号公報

まず、図１を参照して本発明が適用される電子透かしを用いた文書管理システムについて、概略の説明を行なう。
なお、説明を行なう都合上、文書管理システムを提供する側を「システム提供側（第１のユーザレベル）」、文書管理システムを利用して文書管理を行なう側を「システム利用側（第２のユーザレベル）」として説明を行なう。

電子透かしを用いた文書管理システムとは、システム提供側がシステム利用側に提供した電子透かし入り合成情報と記録環境を用いて、電子透かし入り合成情報を含む管理文書を作成し、真正性が疑わしい管理文書については電子透かし情報を取得することで真偽確認を行なうシステムである。

より詳細には、システム提供側Ａは、電子透かし入り情報作成部４００の埋め込み処理手段２００を用いて、主情報１００と副情報１０１とから電子透かし入り合成情報１０３を作成する。作成された電子透かし入り合成情報１０３は、主情報１００は目視識別できるが、副情報１０１は目視識別できない状態となっている。この電子透かし入り合成情報１０３をシステム利用側Ｂに提供する。

システム利用側Ｂは、システム提供側Ａから提供される編集処理手段２０１を用いて、電子透かし入り合成情報１０３とシステム利用側Ｂが作成した第１の文書データ１０４から、電子透かし入り合成情報の入った第２の文書データ１０５を作成する。さらに、システム提供側Ａから提供される出力部４０１の記録処理手段２０２を用いて、第２の文書データ１０５を記録媒体上に記録することにより、記録物１０６を得る。

記録物１０６の真正性が疑わしい場合、システム利用側Ｂは、埋め込まれた副情報１０１を検証することで、記録物１０６の真偽を確認することができる。

記録物１０６の真偽を保証するためには、文書の複製が不正になされていないことが重要である。特に、電子透かし入り合成情報１０３が第三者に入手されてしまった場合、不正な文書を作成するのは容易であるが、現行のシステムでは文書の複製が不正になされることを防止する有効な手段がないという問題がある。

そこで、本発明は、電子透かし入り合成情報が第三者に入手されてしまった場合でも、不正文書の作成を防止できる画像処理方法および画像処理装置を提供することを目的とする。

本発明の画像処理方法は、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理方法と、この第１の画像処理方法により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理方法とから構成される画像処理方法であって、前記第１の画像処理方法は、第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理ステップと、第２の鍵情報を用いて、前記第１の処理ステップにより作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理ステップとを有し、前記第２の画像処理方法は、前記第２の鍵情報を用いて、前記第２の処理ステップにより作成された変換合成情報から変換前の合成情報を作成する第３の処理ステップと、この第３の処理ステップにより作成された合成情報を記録媒体上に記録する第４の処理ステップとを具備している。

また、本発明の画像処理方法は、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理方法と、この第１の画像処理方法により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理方法とから構成される画像処理方法であって、前記第１の画像処理方法は、第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理ステップと、第２の鍵情報を用いて、前記第１の処理ステップにより作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理ステップと、第３の鍵情報を用いて、前記第２の処理ステップにより作成された変換合成画像に対し、当該変換合成情報を記録媒体に出力する場合、特定の出力手段あるいは特定の利用者でないと記録出力できないように記録制限を施した記録制限付き変換合成情報を作成する第５の処理ステップとを有し、前記第２の画像処理方法は、前記第３の鍵情報を用いて、前記第５の処理ステップにより作成された記録制限付き変換合成画像の記録制限を解除して変換合成画像を作成する第６の処理ステップと、前記第２の鍵情報を用いて、前記第６の処理ステップにより作成された変換合成情報から変換前の合成情報を作成する第３の処理ステップと、この第３の処理ステップにより作成された合成情報を記録媒体上に記録する第４の処理ステップとを具備している。

また、本発明の画像処理装置は、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理手段と、この第１の画像処理手段により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理手段とから構成される画像処理装置であって、前記第１の画像処理手段は、第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理手段と、第２の鍵情報を用いて、前記第１の処理手段により作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理手段とを有し、前記第２の画像処理手段は、前記第２の鍵情報を用いて、前記第２の処理手段により作成された変換合成情報から変換前の合成情報を作成する第３の処理手段と、この第３の処理手段により作成された合成情報を記録媒体上に記録する第４の処理手段とを具備している。

さらに、本発明の画像処理装置は、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理手段と、この第１の画像処理手段により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理手段とから構成される画像処理画像処理装置であって、前記第１の画像処理手段は、第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理手段と、第２の鍵情報を用いて、前記第１の処理手段により作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理手段と、第３の鍵情報を用いて、前記第２の処理手段により作成された変換合成画像に対し、当該変換合成情報を記録媒体に出力する場合、特定の出力手段あるいは特定の利用者でないと記録出力できないように記録制限を施した記録制限付き変換合成情報を作成する第５の処理手段とを有し、前記第２の画像処理手段は、前記第３の鍵情報を用いて、前記第５の処理手段により作成された記録制限付き変換合成画像の記録制限を解除して変換合成画像を作成する第６の処理手段と、前記第２の鍵情報を用いて、前記第６の処理手段により作成された変換合成情報から変換前の合成情報を作成する第３の処理手段と、この第３の処理手段により作成された合成情報を記録媒体上に記録する第４の処理手段とを具備している。

本発明によれば、電子透かし入り合成情報が第三者に入手されてしまった場合でも、不正文書の作成を防止できる画像処理方法および画像処理装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図２は、第１の実施の形態に係る画像処理装置の構成を模式的に示すものである。第１の実施の形態では、たとえば、システム提供側（サービス提供側、第１のユーザレベル）Ａが電子透かし入り合成情報と記録環境を提供し、システム利用側（ユーザ側、第２のユーザレベル）Ｂが電子透かし入り合成情報を管理したい文書などに組込み、電子透かし入り合成情報を含む文書の出力を行なうことで、文書管理を行なう方法に適用した場合である。

第１の実施の形態に係る画像処理装置は、入力情報として主情報１００および副情報１０１を受取り、電子透かし入りの変換合成情報１０８を作成する電子透かし入り情報作成部（第１の画像処理手段）４００、および、電子透かし入り合成情報を記録媒体上に記録出力することで電子透かし入り記録物１０６を作成する出力部（第２の画像処理手段）４０１を有して構成される。

電子透かし入り情報作成部４００は、埋め込み方式、記録用パラメータなど複数の鍵情報からなる第１の鍵情報３００を用いて主情報１００に対し副情報１０１を埋め込むことで、電子透かし入り合成情報１０３を作成する電子透かし埋め込み処理部（第１の処理手段）２００、および、電子透かし埋め込み処理部２００で作成された電子透かし入り合成情報１０３に対し、第１の鍵情報３００のうちの１つ以上の鍵情報からなる第２の鍵情報３０１を用いて、副情報１０１の埋め込み条件を壊した状態を作るように変換することにより変換合成情報１０８を作成する変換処理部（第２の処理手段）２０３を有して構成される。

ここに、上記副情報の埋め込み条件を壊した状態とは、たとえば、画像の回転や画素の入替えなどであり、正規の副情報確認方法で副情報１０１を確認した場合、副情報１０１が壊れている状態を意味する。変換処理に用いる第２の鍵情報３０１は、電子透かしの埋め込みに関する鍵情報を用いているので、副情報１０１の埋め込み条件を効果的に壊すことができ、鍵情報を知らない限り復帰することは難しい。

出力部４０１は、電子透かし入り情報作成部４００からの変換合成情報１０８を受取り、当該変換合成情報１０８から前記第２の鍵情報３０１を用いて変換前の合成情報１０３を作成する逆変換処理部（第３の処理手段）２０４、および、逆変換処理部２０４で作成された合成情報１０３を受取り、当該合成情報１０３を記録媒体上に記録出力する記録処理部（第４の処理手段）２０２を有して構成される。

システム提供側Ａは、電子透かし入り情報作成部４００と出力部４０１を所有していて、電子透かし入り情報作成部４００で作成した電子透かし入りの変換合成情報１０８および出力部４０１をシステム利用側Ｂに提供する。システム利用側Ｂは、管理したい文書データに対し編集作業により電子透かし入りの変換合成情報１０８を組込み、出力部４０１により記録出力を行なうことで、電子透かし入り記録物１０６を得る。この記録物１０６の真正性が疑われた場合、文書の電子透かしを確認することで真偽確認を行なうことができる。

このように、第１の実施の形態では、システム提供側Ａから提供される電子透かし入り変換合成情報１０８を入手して管理文書を他の記録出力機で不正に作成しようとしても、変換処理により副情報１０１の埋め込み条件が壊されており、電子透かしが正常に入った文書を作成できない。

次に、本発明の重要な部分でもある、電子透かし埋め込み処理部２００において副情報１０１を主情報１００に埋め込むための埋め込み処理について、図３に示す処理の流れ図を参照して詳細に説明する。なお、当該埋め込み処理については、たとえば、特開平１１−１６８６１６号公報や特開２００１−２６８３４６号公報などに記述された電子透かし処理手法を適用することができる。

説明のため、対象をＩＤカードなどの身分証明書に適用した場合について説明を行なう。主情報１０１は、埋込み情報である副情報１０１が埋込まれる画像情報で、たとえば、身分証明書では所有者の顔画像とし、１画素当たり２４ビット（Ｒ，Ｇ，Ｂ各８ビット）の情報をする。

埋め込み対象となる副情報１０１は、たとえば、埋込む情報を２値画像に変換したもので、身分証明書では例えば暗証番号とし、１画素あたり１ビットの情報とする。

マスク情報１１０は、合成処理時および埋込み情報の復元時に用いる画像情報で、１画素あたり１ビットの情報とする。

まず、最初に、平滑化処理ステップ６０１において、副情報１０１の黒画素を「１」、白画素を「０」として平滑化処理を行なう。ここでは、ｘ方向について注目画素の両端の画素を３×１画素の領域を切り出し、下記式（１）のように重み平均を取る。

Ｗ（ｉ）＝（ＳＴＬ（ｉ−１）＋２・ＳＴＬ（ｉ）＋ＳＴＬ（ｉ＋１））／４
……（１）
Ｗ（ｉ） ：ｘ＝ｉ画素の重み平均値
ＳＴＬ（ｉ）：ｘ＝ｉ画素の埋込み情報＝１ ｏｒ０
次に、位相変調ステップ６０２において、平滑化処理ステップ６０１における平滑化処理の結果を基に、下記式（２−１）〜（２−３）の規則にしたがい、マスク情報１１０の位相変調を行なう。

Ｗ（ｉ）＝０の場合→ＤＥＳ（ｉ）＝ＭＳＫ（ｉ） ……（２−１）
Ｗ（ｉ）＝１の場合→ＤＥＳ（ｉ）＝ＭＳＫ（ｉ＋２）……（２−２）
上記以外の場合 →ＤＥＳ（ｉ）＝ＭＳＫ（ｉ＋１）……（２−３）
ＤＥＳ（ｉ）：ｘ＝ｉ画素の位相変調結果＝１ ｏｒ０
ＭＳＫ（ｉ）：ｘ＝ｉ画素のマスク画像情報＝１ ｏｒ０
次に、色差変調ステップ６０３において、位相変調ステップ６０２における位相変調結果を基に、下記式（３−１）〜（３−６）の規則にしたがい、色差変調処理を行なう。この場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分を別々に計算する。

ＤＥＳ（ｉ）＝１の場合→ＶＲ（ｉ）＝−ΔＶ……（３−１）
→ＶＧ（ｉ）＝＋ΔＶ……（３−２）
→ＶＢ（ｉ）＝＋ΔＶ……（３−３）
ＤＥＳ（ｉ）＝０の場合→ＶＲ（ｉ）＝＋ΔＶ……（３−４）
→ＶＧ（ｉ）＝−ΔＶ……（３−５）
→ＶＢ（ｉ）＝−ΔＶ……（３−６）
ＶＲ（ｉ）：ｘ＝ｉ画素の色差変調結果 赤成分−２５５〜２５５の範囲の整数
ＶＧ（ｉ）：ｘ＝ｉ画素の色差変調結果 緑成分−２５５〜２５５の範囲の整数
ＶＢ（ｉ）：ｘ＝ｉ画素の色差変調結果 青成分−２５５〜２５５の範囲の整数
なお、色差量ΔＶは、あらかじめ設定してある「０〜２５５」の範囲の整数である。色差量ΔＶは、大きいほど埋込み情報の復元時の可視化のコントラストが高くなり、再生が容易ではあるが、あまり大きくしすぎると埋込み情報が露見しやすくなる。

最後に、重畳処理ステップ６０４において、色差変調ステップ６０３における色差変調結果と主情報１００とから、下記式（４−１）〜（４−３）で示される重畳処理を行なうことにより、合成情報１０３を作成する。

ＤＥＳＲ（ｉ）＝ＶＲ（ｉ）＋ＳＲＣＲ（ｉ）……（４−１）
ＤＥＳＧ（ｉ）＝ＶＧ（ｉ）＋ＳＲＣＧ（ｉ）……（４−２）
ＤＥＳＢ（ｉ）＝ＶＢ（ｉ）＋ＳＲＣＢ（ｉ）……（４−３）
ＤＥＳＲ（ｉ）：ｘ＝ｉ画素の重畳処理結果 赤成分０〜２５５の範囲の整数
ＤＥＳＧ（ｉ）：ｘ＝ｉ画素の重畳処理結果 緑成分０〜２５５の範囲の整数
ＤＥＳＢ（ｉ）：ｘ＝ｉ画素の重畳処理結果 青成分０〜２５５の範囲の整数
ＳＲＣＲ（ｉ）：ｘ＝ｉ画素の被埋込み画像情報 赤成分０〜２５５の範囲の整数
ＳＲＣＧ（ｉ）：ｘ＝ｉ画素の被埋込み画像情報 緑成分０〜２５５の範囲の整数
ＳＲＣＢ（ｉ）：ｘ＝ｉ画素の被埋込み画像情報 青成分０〜２５５の範囲の整数
なお、ＤＥＳＲ（ｉ）、ＤＥＳＧ（ｉ）、ＤＥＳＢ（ｉ）は、それぞれ「０〜２５５」の範囲の整数なので、計算結果が「０」以下の場合は「０」に設定し、「２５５」以上の場合は「２５５」に設定する。

上述した計算により合成された合成情報１０３は、微視的には前記式（３−１）〜（３−３）または前記式（３−４）〜（３−６）が示す通り、赤色と緑色、青色の色差量の符号が反転した対となるパターンが繰り返し入っている。赤色成分の多い画素では緑色と青色が少なくなっていて、赤色成分の少ない画素では他の成分が多くなっている。赤色と（緑色、青色）＝シアン色は補色の関係にあり、赤色とシアン色が隣り合っていても人間の目には判別しにくく、無彩色に見える。２画素単位で赤色リッチな画素とシアン色リッチな画素とが繰り返し配置されているため、人間の目では、これらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう。

この原理により埋込み情報である副情報１０１を不可視状態で被埋込み情報である主情報１００に埋込んだ合成情報１０３を作ることが可能となる。

画像情報を適切に記録できる記録機を用いて、上記合成情報１０３を記録した場合、記録媒体上の画像でも不可視状態で副情報１０１を埋め込むことが可能となる。不可視条件を満たすには、上述したように隣接画素との補色関係を維持する必要があり、記録機の性能としてはデジタルデータの情報を画素レベルで再現できる必要がある。具体的には、記録機の色材に適合した色変換処理や記録角度などを考慮して、不可視条件を満たす必要がある。逆に考えると、これら記録機側の条件を考慮しない変換であれば、不可視条件で副情報を埋め込めないか、副情報自体が壊れてしまうことになる。

次に、上述した第１の実施の形態に係る画像処理装置（画像処理方法）を実現するための要部の具体例について説明する。
第１の実施の形態に係る画像処理装置は、大別して、電子透かし入り情報作成部４００として機能する埋め込み処理装置、および、出力部４０１として機能する記録装置から構成されている。

まず、埋め込み処理装置について図４を参照して説明する。埋め込み処理装置は、全体の制御を行なうＣＰＵ（セントラル・プロセッシング・ユニット）７０１、ＣＰＵ７０１が装置全体の動作を制御するために実行するプログラムが格納されているＲＯＭ（リード・オンリ・メモリ）７０２、ＣＰＵ７０１の作業用メモリとして使用されるＲＡＭ（ランダム・アクセス・メモリ）７０３、画像の合成処理などを行なうときに画像情報を格納して後述の処理を行なうことに用いる画像メモリ７０４、マスク情報を格納しているマスク情報格納ＲＯＭ７０５、色差量情報を格納している色差量格納ＲＯＭ７０６、主情報１００を入力する主情報入力部８０１、埋め込み情報（固定情報）を格納している埋め込み情報格納ＲＯＭ８０２、埋め込み情報（流動情報）を入力する埋め込み情報入力部８０３、図３の平滑化処理ステップ６０１を実行する平滑処理部７１１、図３の位相変調ステップ６０２を実行する位相変調部７１２、図３の色差変調ステップ６０３を実行する色差変調部７１３、図３の重畳処理ステップ６０４を実行する重畳処理部７１４、図２の変換処理部２０３に対応する変換処理部７１５、および、変換合成情報出力部７１８を有して構成されている。

このような構成において図４の埋め込み処理装置の動作を説明する。
まず、被埋込み情報入力部８０１から、たとえば、人物の顔画像や風景画などの主情報１００が入力され、それが画像メモリ７０４に格納される。

埋め込み対象である副情報１０１は、主情報１００が変わっても変化しない固定情報であっても、変化する流動的な情報であってもよい。固定情報は、埋込み情報格納ＲＯＭ８０２から供給され、流動情報は埋込み情報入力部８０３から入力され、画像メモリ７０４に格納される。

操作者の指示により、ＣＰＵ７０１は、平滑化処理部７１１を動作させて、画像メモリ７０４に格納してある埋込み情報（副情報１０１）に対して平滑化処理を行ない、その結果を位相変調部７１２に送る。

位相変調部７１２は、平滑化処理の結果およびマスク情報格納ＲＯＭ７０５からのマスク情報１１０に基づき位相変調処理を行ない、その結果を色差変調部７１３に送る。色差変調部７１３は、位相変調処理の結果および色差量格納ＲＯＭ７０６からの色差量情報に基づき色差変調を行ない、その結果を重畳処理部７１４に送る。

重畳処理部７１４は、色差変調結果と画像メモリ７０４に格納してある被埋込み情報（主情報１００）の重畳処理を行なうことにより合成情報１０３を作成して、変換処理部７１５に送る。

ここで、合成変換画像は後段の記録装置で記録媒体に記録を行なった時、主情報１００に対し副情報１０１を目視識別できない形で埋め込みを可能とする記録装置固有の特性、たとえば、色変換処理、記録角度などの第１の鍵情報３００を考慮して作成されている。

変換処理部７１５は、第２の鍵情報３０１を用いて合成情報１０３に対して記録をした時に副情報が壊れる条件の変換を施すことで、変換合成情報１０８を作成する。
変換処理部７１５の構成例を図５に示す。変換処理部７１５は、たとえば、回転処理部７１７を有していて、合成情報１０３に対して第２の鍵情報３０１を用いて回転処理を行なうことにより変換合成情報１０８を作成し、画像メモリ７０４に格納する。
上記変換処理に用いる第２の鍵情報３０１は、副情報１０１を有効に壊す必要があるため、記録装置固有の特性である第１の鍵情報３００と関連するものである。

変換合成情報出力部７１８は、画像メモリ７０４に格納されている変換合成情報１０８を外部へ出力する。この出力された変換合成情報１０８は、次に説明する記録装置に渡される。

次に、記録装置について図６を参照して説明する。記録装置は、全体の制御を行なうＣＰＵ５０１、ＣＰＵ５０１が装置全体の動作を制御するために実行するプログラムが格納されているＲＯＭ５０２、ＣＰＵ５０１の作業用メモリとして使用されるＲＡＭ５０３、埋込み情報の再生処理を行なうときに画像情報を格納して後述の処理を行なうことに用いる画像メモリ５０４、変換合成情報１０８を入力する変換合成情報入力部９０１、図２の逆変換処理部２０４に対応する逆変換処理部９０２、記録画像を生成する記録画像生成部９０３、および、図２の記録処理部２０２に対応する記録処理部９０４を有して構成されている。

このような構成において図６の記録装置の動作を説明する。
まず、変換合成情報１０８が変換合成情報入力部９０１から入力され、画像メモリ５０４に格納される。

次に、逆変換処理部９０２は、画像メモリ５０４に格納されている変換合成情報１０８に対し逆変換処理を施すことで、変換前の合成情報１０３を作成する。
逆変換処理部９０２の構成例を図７に示す。逆変換処理部９０２は、たとえば、図５に示した回転処理部７１７とは逆の回転処理を行なう逆回転処理部９０５を有していて、画像メモリ５０４に格納されている変換合成情報１０８に対して第２の鍵情報３０１を用いて逆回転処理を行なうことにより合成情報１０３を作成し、画像メモリ５０４に格納する。

上記逆変換処理に用いる第２の鍵情報３０１は、前述した埋め込み処理装置内で使用された第２の鍵情報３０１と同じ鍵情報である。すなわち、逆変換処理の内容は逆回転処理であり、この逆回転処理により変換合成情報１０８は合成情報１０３に変換される。

記録画像生成部９０３は、画像メモリ５０４に格納されている合成情報１０３を記録処理に関わる画像情報に変換して記録処理部９０４に送り、記録処理部９０４で記録媒体に記録出力することで記録物１０６が作成される。

以上説明したように第１の実施の形態によれば、システム利用側に提供される電子透かし入りの変換合成情報１０８を入手され、管理文書を他の記録出力機で不正に作成しようとしても、変換処理により副情報１０１の埋め込み条件が壊されているため、電子透かしが正常に入った文書を作成できない。

次に、第２の実施の形態について説明する。
図８は、第２の実施の形態に係る画像処理装置の構成を模式的に示すものである。第２の実施の形態では、たとえば、システム提供側Ａが電子透かし入り合成情報と記録環境を提供し、システム利用側Ｂが電子透かし入り合成情報を管理したい文書などに組込み、電子透かし入り合成情報を含む文書の出力を行なうことで、文書管理を行なう方法に適用した場合である。

第１の実施の形態ではシステム利用側Ｂの不正のみを防止する方法であったが、システム提供側Ａに不正を行なうものがいた場合には対処できない。そこで、第２の実施の形態では、システム提供側Ａを２つに分け、お互いが知りえないそれぞれの鍵情報を用いて、電子透かし入り合成情報を２重に変換した合成情報をシステム利用側Ｂに提供し、出力部で２重に変換した合成情報を鍵情報を用いて逆変換し、記録を行なうものである。

第２の実施の形態に係る画像処理装置は、入力情報として主情報１００および副情報１０１を受取り、電子透かし入りの記録制限付き変換合成情報１０９を作成する電子透かし入り情報作成部（第１の画像処理手段）４００、および、電子透かし入り合成情報を記録媒体上に記録出力することで電子透かし入り記録物１０６を作成する出力部（第２の画像処理手段）４０１を有して構成される。

ここで、説明のため、システム提供側Ａを２つに分け、埋め込み処理部２００および変換処理部２０３を所有し、これらを提供する者を電子透かしエンジン作成側（第３のユーザレベル）、提供された埋め込み処理部２００および変換処理部２０３に記録制限処理部（第５の処理手段）２０５を加えて電子透かし入り情報作成部４００を作成し、システムを提供する側をシステム作成側（第１のユーザレベル）とする。

電子透かし入り情報作成部４００は、埋め込み方式、記録用パラメータなど複数の鍵情報からなる第１の鍵情報３００を用いて主情報１００に対し副情報１０１を埋め込むことで、電子透かし入り合成情報１０３を作成する電子透かし埋め込み処理部２００、電子透かし埋め込み処理部２００で作成された電子透かし入り合成情報１０３に対し、第１の鍵情報３００のうちの１つ以上の鍵情報からなる第２の鍵情報３０１を用いて、副情報１０１の埋め込み条件を壊した状態を作るように変換することにより変換合成情報１０８を作成する変換処理部２０３、および、変換処理部２０３で作成された変換合成情報１０８に対し、出力部４０１とシステム利用側Ｂの有する固有情報からなる第３の鍵情報３０２を用いて出力部４０１での記録制限処理を行なうことで、記録制限を施した記録制限付き変換合成情報１０９を作成する記録制限処理部（第５の処理手段）２０５を有して構成される。

第３の鍵情報３０２は、たとえば、出力部４０１の有する製造番号、システム利用側Ｂの有するＩＤ番号など固有の情報であればなんでもよく、記録制限処理部２０５は、この情報を元に記録制限をかけた記録制限付き変換合成情報１０９を作成する。記録制限とは、提供された電子透かし入り合成情報を記録媒体に出力する場合、特定の出力部、特定のシステム利用者でないと記録出力できないことを意味する。作成された記録制限付き変換合成情報１０９はシステム利用側Ｂに提供される。

出力部４０１は、電子透かし入り情報作成部４００からの記録制限付き変換合成情報１０９を受取り、当該記録制限付き変換合成情報１０９から前記第３の鍵情報３０２を用いて記録制限を解除して変換合成情報１０８を作成する記録制限解除処理部（第６の処理手段）２０６、記録制限解除処理部２０６で作成された変換合成情報１０８から前記第２の鍵情報３０１を用いて変換前の合成情報１０３を作成する逆変換処理部２０４、および、逆変換処理部２０４で作成された合成情報１０３を受取り、当該合成情報１０３を記録媒体上に記録出力する記録処理部２０２を有して構成される。

システム提供側Ａは、電子透かし入り情報作成部４００と出力部４０１を所有していて、電子透かし入り情報作成部４００で作成した電子透かし入りの記録制限付き変換合成情報１０９および出力部４０１をシステム利用側Ｂに提供する。システム利用側Ｂは、管理したい文書データに対し編集作業により電子透かし入りの記録制限付き変換合成情報１０９を組込み、出力部４０１により記録出力を行なうことで、電子透かし入り記録物１０６を得る。この記録物１０６の真正性が疑われた場合、文書の電子透かしを確認することで真偽確認を行なうことができる。

このように、第２の実施の形態では、システム利用側Ｂの不正を行おうとするものが、システム提供側Ａから提供される電子透かし入りの記録制限付き変換合成情報１０９を入手して管理文書を他の記録出力機で不正に作成しようとしても、記録制限処理により正規のユーザ、正規の記録出力機でないと機能しないため文書を作成できない。また、記録制限が解除されたとしても、変換処理により副情報１０１の埋め込み条件が壊されており、電子透かしが正常に入った文書を作成できない。

また、システム作成側がデータを入手して管理文書を他の記録出力機で不正に作成しようとしても、記録制限は解除できるものの、変換処理部分は有効であるため、副情報１０１の埋め込み条件が壊されており、そのため電子透かしが正常に入った文書を作成できない。

さらに、電子透かしエンジン作成側がデータを入手して管理文書を他の記録出力機で不正に作成しようとしても、変換処理部分は解除できるものの、記録制限部分は有効であるため、文書を作成することはできない。

次に、上述した第２の実施の形態に係る画像処理装置（画像処理方法）を実現するための要部の具体例について説明する。
第２の実施の形態に係る画像処理装置も、大別して、電子透かし入り情報作成部４００として機能する埋め込み処理装置、および、出力部４０１として機能する記録装置から構成されている。

まず、埋め込み処理装置について図９を参照して説明する。第２の実施の形態に係る埋め込み処理装置は、前述した第１の実施の形態に係る埋め込み処理装置（図４）の構成に対して、図８の記録制限処理部２０５に対応する記録制限処理部７２２が追加された点が異なり、その他は第１の実施の形態に係る埋め込み処理装置（図４）と同様であるので、同一部分には同一符号を付して説明は省略する。

このような構成において図９の埋め込み処理装置の動作を説明する。
まず、被埋込み情報入力部８０１から、たとえば、人物の顔画像や風景画などの主情報１００が入力され、それが画像メモリ７０４に格納される。

埋め込み対象である副情報１０１は、主情報１００が変わっても変化しない固定情報であっても、変化する流動的な情報であってもよい。固定情報は、埋込み情報格納ＲＯＭ８０２から供給され、流動情報は埋込み情報入力部８０３から入力され、画像メモリ７０４に格納される。

操作者の指示により、ＣＰＵ７０１は、平滑化処理部７１１を動作させて、画像メモリ７０４に格納してある埋込み情報（副情報１０１）に対して平滑化処理を行ない、その結果を位相変調部７１２に送る。

位相変調部７１２は、平滑化処理の結果およびマスク情報格納ＲＯＭ７０５からのマスク情報１１０に基づき位相変調処理を行ない、その結果を色差変調部７１３に送る。色差変調部７１３は、位相変調処理の結果および色差量格納ＲＯＭ７０６からの色差量情報に基づき色差変調を行ない、その結果を重畳処理部７１４に送る。

重畳処理部７１４は、色差変調結果と画像メモリ７０４に格納してある被埋込み情報（主情報１００）の重畳処理を行なうことにより合成情報１０３を作成して、変換処理部７１５に送る。

ここで、合成変換画像は後段の記録装置で記録媒体に記録を行なった時、主情報１００に対し副情報１０１を目視識別できない形で埋め込みを可能とする記録装置固有の特性、たとえば、色変換処理、記録角度などの第１の鍵情報３００を考慮して作成されている。

変換処理部７１５は、第２の鍵情報３０１を用いて合成情報１０３に対して記録をした時に副情報が壊れる条件の変換を施すことで、変換合成情報１０８を作成し、記録制限処理部７２２に送る。

記録制限処理部７２２は、第３の鍵情報３０２を用いて変換合成情報１０８に対して記録制限処理を施すことで、記録制限付き変換合成情報１０９を作成する。
記録制限処理部７２２の構成例を図１０に示す。記録制限処理部７２２は、たとえば、パスワード設定処理部７２１を有していて、変換合成情報１０８に対して第３の鍵情報３０２をパスワードとして設定し、第３の鍵情報３０２を知らない場合はアクセスできないなどの処理を行なうことで、記録制限付き変換合成情報１０９を作成し、画像メモリ７０４に格納する。ここで、第３の鍵情報３０２の管理者と、第１の鍵情報３００および第２の鍵情報３０１の管理者はお互いにそれぞれの鍵情報を知りえないものとする。

変換合成情報出力部７１８は、画像メモリ７０４に格納されている記録制限付き変換合成情報１０９を外部へ出力する。この出力された記録制限付き変換合成情報１０９は、次に説明する記録装置に渡される。

次に、記録装置について図１１を参照して説明する。第２の実施の形態に係る記録装置は、前述した第１の実施の形態に係る記録装置（図６）の構成に対して、図８の記録制限解除処理部２０６に対応する記録制限解除処理部部９０７が追加された点が異なり、その他は第１の実施の形態に係る記録装置（図６）と同様であるので、同一部分には同一符号を付して説明は省略する。

このような構成において図１１の記録装置の動作を説明する。
まず、記録制限付き変換合成情報１０９が変換合成情報入力部９０１から入力され、画像メモリ５０４に格納される。

次に、記録制限解除処理部部９０７は、画像メモリ５０４に格納されている記録制限付き変換合成情報１０９に対し記録制限の解除処理を施すことで、変換前の変換合成情報１０８を作成する。
記録制限解除処理部部９０７の構成例を図１２に示す。記録制限解除処理部部９０７は、たとえば、パスワード解除処理部９０８を有していて、画像メモリ５０４に格納されている記録制限付き変換合成情報１０９に対して第３の鍵情報３０２を用いてパスワードの解除処理を行なうことにより変換合成情報１０８を作成し、逆変換処理部９０２に送る。

上記記録制限解除処理に用いる第３の鍵情報３０２は、前述した埋め込み処理装置内で使用された第３の鍵情報３０２と同じ鍵情報である。すなわち、記録制限解除処理の内容はパスワードの解除を行なう処理であり、このパスワード解除処理により記録制限付き変換合成情報１０９は変換合成情報１０８に変換される。

次に、逆変換処理部９０２は、記録制限解除処理部部９０７からの変換合成情報１０８に対し逆変換処理を施すことで、変換前の合成情報１０３を作成し、画像メモリ５０４に格納する。

記録画像生成部９０３は、画像メモリ５０４に格納されている合成情報１０３を記録処理に関わる画像情報に変換して記録処理部９０４に送り、記録処理部９０４で記録媒体に記録出力することで記録物１０６が作成される。

以上説明したように第２の実施形態によれば、システム利用側に提供される電子透かし入りの記録制限付き変換合成情報１０９を入手され、管理文書を他の記録出力機で不正に作成しようとしても、記録制限がかかっているため、また、変換処理により副情報１０１の埋め込み条件が壊されているため、電子文書を作成できない。

また、システム作成側の悪意を持った者がデータを入手し、他の記録出力機で管理文書を作成しようとしても、変換処理により正常な状態で管理文書を作成することはできない。さらに、電子透かしエンジン作成側の悪意を持った者がデータを入手し、他の記録出力機で管理文書を作成しようとしても、記録制限により文書を作成できない。

本発明が適用される電子透かしを用いた文書管理システムの構成を概略的に示す模式図。 本発明の第１の実施の形態に係る画像処理装置の構成を概略的に示す模式図。 副情報を主情報に埋め込むための埋め込み処理について説明する処理の流れ図。 第１の実施の形態に係る画像処理装置（画像処理方法）を実現するための埋め込み処理装置の具体例について説明するブロック図。 変換処理部の構成例を示すブロック図。 第１の実施の形態に係る画像処理装置（画像処理方法）を実現するための記録装置の具体例について説明するブロック図。 逆変換処理部の構成例を示すブロック図。 本発明の第２の実施の形態に係る画像処理装置の構成を概略的に示す模式図。 第２の実施の形態に係る画像処理装置（画像処理方法）を実現するための埋め込み処理装置の具体例について説明するブロック図。 記録制限処理部の構成例を示すブロック図。 第２の実施の形態に係る画像処理装置（画像処理方法）を実現するための記録装置の具体例について説明するブロック図。 記録制限解除処理部の構成例を示すブロック図。

符号の説明

Ａ…システム提供側（サービス提供側、第１のユーザレベル）、Ｂ…システム利用側（ユーザ側、第２のユーザレベル）、１００…主情報、１０１…副情報、１０３…合成情報、１０６…記録物、１０８…変換合成情報、４００…電子透かし入り情報作成部（第１の画像処理手段）、４０１…出力部（第２の画像処理手段）、３００…第１の鍵情報、３０１…第２の鍵情報、２００…電子透かし埋め込み処理部（第１の処理手段）、２０２…記録処理部（第４の処理手段）、２０３…変換処理部（第２の処理手段）、２０４…逆変換処理部（第３の処理手段）。

Claims (14)

1. 目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理方法と、この第１の画像処理方法により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理方法とから構成される画像処理方法であって、
   前記第１の画像処理方法は、
   第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理ステップと、
   第２の鍵情報を用いて、前記第１の処理ステップにより作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理ステップとを有し、
   前記第２の画像処理方法は、
   前記第２の鍵情報を用いて、前記第２の処理ステップにより作成された変換合成情報から変換前の合成情報を作成する第３の処理ステップと、
   この第３の処理ステップにより作成された合成情報を記録媒体上に記録する第４の処理ステップとを具備したことを特徴とする画像処理方法。
2. 第１のユーザレベルは、第１の画像処理方法および第２の画像処理方法を所有していて、第１の画像処理方法を用いて作成した変換合成画像および第２の画像処理方法を第２のユーザレベルに提供し、
   第２のユーザレベルは、提供された第２の画像処理方法を用いて合成情報を記録した記録媒体を作成することを特徴とする請求項１記載の画像処理方法。
3. 目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理方法と、この第１の画像処理方法により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理方法とから構成される画像処理方法であって、
   前記第１の画像処理方法は、
   第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理ステップと、
   第２の鍵情報を用いて、前記第１の処理ステップにより作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理ステップと、
   第３の鍵情報を用いて、前記第２の処理ステップにより作成された変換合成画像に対し、当該変換合成情報を記録媒体に出力する場合、特定の出力手段あるいは特定の利用者でないと記録出力できないように記録制限を施した記録制限付き変換合成情報を作成する第５の処理ステップとを有し、
   前記第２の画像処理方法は、
   前記第３の鍵情報を用いて、前記第５の処理ステップにより作成された記録制限付き変換合成画像の記録制限を解除して変換合成画像を作成する第６の処理ステップと、
   前記第２の鍵情報を用いて、前記第６の処理ステップにより作成された変換合成情報から変換前の合成情報を作成する第３の処理ステップと、
   この第３の処理ステップにより作成された合成情報を記録媒体上に記録する第４の処理ステップとを具備したことを特徴とする画像処理方法。
4. 第３のユーザレベルは、第１の処理ステップ、第２の処理ステップ、第１の鍵情報、第２の鍵情報および第３の処理ステップを所有していて、当該第１の処理ステップ、第２の処理ステップ、第１の鍵情報、第２の鍵情報および第３の処理ステップを第１のユーザレベルに提供し、
   第１のユーザレベルは、提供された第１の処理ステップ、第２の処理ステップ、第１の鍵情報、第２の鍵情報および第３の処理ステップと、所有する第３の鍵情報、第５の処理ステップおよび第６の処理ステップを用いて、第１の画像処理方法および第２の画像処理方法を作成し、第１の画像処理方法を用いて作成した記録制限付き変換合成画像および第２の画像処理方法を第２のユーザレベルに提供し、
   第２のユーザレベルは、提供された第２の画像処理方法を用いて合成情報を記録した記録媒体を作成することを特徴とする請求項３記載の画像処理方法。
5. 第１の処理ステップにおいて目視識別できる主情報に対し目視識別できない状態で副情報を埋め込む方法は色差方式であり、第１の鍵情報は、色差を用いて副情報を埋め込むためのパラメータであることを特徴とする請求項１または請求項３記載の画像処理方法。
6. 第２の鍵情報は、第１の鍵情報に関連した情報であり、特に記録媒体への記録に関係した記録パラメータの１つ以上の組合せであることを特徴とする請求項１または請求項３記載の画像処理方法。
7. 第３の鍵情報は、第１の鍵情報、第２の鍵情報とは関係のない、第１のユーザレベル、第２のユーザレベルの有する固有情報の１つ以上の組合せであることを特徴とする請求項３記載の画像処理方法。
8. 目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理手段と、この第１の画像処理手段により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理手段とから構成される画像処理装置であって、
   前記第１の画像処理手段は、
   第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理手段と、
   第２の鍵情報を用いて、前記第１の処理手段により作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理手段とを有し、
   前記第２の画像処理手段は、
   前記第２の鍵情報を用いて、前記第２の処理手段により作成された変換合成情報から変換前の合成情報を作成する第３の処理手段と、
   この第３の処理手段により作成された合成情報を記録媒体上に記録する第４の処理手段とを具備したことを特徴とする画像処理装置。
9. 第１のユーザレベルは、第１の画像処理手段および第２の画像処理手段を所有しており、第１の画像処理手段を用いて作成した変換合成画像および第２の画像処理手段を第２のユーザレベルに提供し、
   第２のユーザレベルは、提供された第２の画像処理手段を用いて合成情報を記録した記録媒体を作成することを特徴とする請求項８記載の画像処理装置。
10. 目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の画像処理手段と、この第１の画像処理手段により作成された合成情報を記録媒体上に主情報のみ目視識別できる状態で記録する第２の画像処理手段とから構成される画像処理画像処理装置であって、
    前記第１の画像処理手段は、
    第１の鍵情報を用いて、目視識別できる主情報に対し目視識別できない状態で副情報を埋め込むことにより合成情報を作成する第１の処理手段と、
    第２の鍵情報を用いて、前記第１の処理手段により作成された合成情報に対し画像の回転あるいは画素の入替え処理を行なうことにより当該合成情報の副情報を壊した状態の変換合成情報を作成する第２の処理手段と、
    第３の鍵情報を用いて、前記第２の処理手段により作成された変換合成画像に対し、当該変換合成情報を記録媒体に出力する場合、特定の出力手段あるいは特定の利用者でないと記録出力できないように記録制限を施した記録制限付き変換合成情報を作成する第５の処理手段とを有し、
    前記第２の画像処理手段は、
    前記第３の鍵情報を用いて、前記第５の処理手段により作成された記録制限付き変換合成画像の記録制限を解除して変換合成画像を作成する第６の処理手段と、
    前記第２の鍵情報を用いて、前記第６の処理手段により作成された変換合成情報から変換前の合成情報を作成する第３の処理手段と、
    この第３の処理手段により作成された合成情報を記録媒体上に記録する第４の処理手段とを具備したことを特徴とする画像処理装置。
11. 第３のユーザレベルは、第１の処理手段、第２の処理手段、第１の鍵情報、第２の鍵情報および第３の処理手段を所有していて、当該第１の処理手段、第２の処理手段、第１の鍵情報、第２の鍵情報および第３の処理手段を第１のユーザレベルに提供し、
    第１のユーザレベルは、提供された第１の処理手段、第２の処理手段、第１の鍵情報、第２の鍵情報および第３の処理手段と、所有する第３の鍵情報、第５の処理手段および第６の処理手段を用いて、第１の画像処理手段および第２の画像処理手段を作成し、第１の画像処理手段を用いて作成した記録制限付き変換合成画像および第２の画像処理手段を第２のユーザレベルに提供し、
    第２のユーザレベルは、提供された第２の画像処理手段を用いて合成情報を記録した記録媒体を作成することを特徴とする請求項１０記載の画像処理装置。
12. 第１の処理手段において目視識別できる主情報に対し目視識別できない状態で副情報を埋め込む方法は色差方式であり、第１の鍵情報は、色差を用いて副情報を埋め込むためのパラメータであることを特徴とする請求項８または請求項１０記載の画像処理装置。
13. 第２の鍵情報は、第１の鍵情報に関連した情報であり、特に記録媒体への記録に関係した記録パラメータの１つ以上の組合せであることを特徴とする請求項８または請求項１０記載の画像処理装置。
14. 第３の鍵情報は、第１の鍵情報、第２の鍵情報とは関係のない、第１のユーザレベル、第２のユーザレベルの有する固有情報の１つ以上の組合せであることを特徴とする請求項１０記載の画像処理装置。

Images