JP3937841B2 - 情報処理装置及びその制御方法 - Google Patents
情報処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP3937841B2 JP3937841B2 JP2002003895A JP2002003895A JP3937841B2 JP 3937841 B2 JP3937841 B2 JP 3937841B2 JP 2002003895 A JP2002003895 A JP 2002003895A JP 2002003895 A JP2002003895 A JP 2002003895A JP 3937841 B2 JP3937841 B2 JP 3937841B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- coefficient value
- digital watermark
- image data
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0051—Embedding of the watermark in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データに対して人間の目に見えにくいように、電子透かしによって、付加情報を埋め込む情報処置装置及びその制御方法、並びに、付加情報が埋め込まれた画像データから付加情報を抽出する情報処理装置及びその制御方法に関する。
【０００２】
【従来の技術】
近年、コンピュータとそのネットワークの急速な発達及び普及により、文書データ、画像データ、音声データ等の様々な情報がディジタル化されている。ディジタル情報は、経年変化による劣化がなく、いつまでも完全な状態で保存できる一方、第三者による複製が容易であり、著作権の保護が大きな問題となっている。このような背景から、著作権保護のためのセキュリティ技術の重要性が急速に増している。
【０００３】
著作権を保護する技術の一つとして「電子透かし」がある。電子透かしとは、ディジタル化された画像データ、音声データ、文書データ等に、人が知覚しにくいように著作権保有者の名前や購入者のＩＤ等の情報を埋めこみ、違法な複製によるコンテンツの無断使用を追跡する技術である。
【０００４】
従来、電子透かしを埋め込む手法として、擬似乱数列を用いる方法が知られている。例えば、複数種類の付加情報の何れか１つを埋め込める様にする為には、上記各付加情報に１対１で対応する様な各擬似乱数列を準備し、埋め込みたい１つの付加情報に対応する擬似乱数列を用いて画像データを変調することにより、その付加情報を埋め込む技術が知られている。
【０００５】
この技術では、埋め込み後の画像データからは、埋め込み時に使用した擬似乱数列に対応する擬似乱数列を用いて畳み込み演算することにより、付加情報を抽出することが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術は、１画像に対して何れか１つの擬似乱数列を用いて、１種類の付加情報を埋め込むのが通常であり、埋め込み可能な付加情報量を増加させるための技術は未だ確立していなかった。
【０００７】
本発明は上記従来例に鑑みて成されたものであり、１つの画像内に複数種類、或いは多ビットの付加情報を埋め込める様にすることを主な目的とする。
【０００８】
更に、本発明は、上記複数種類、或いは多ビットの付加情報を１画像内に、実画像空間や周波数空間の状態で埋め込む際に、その付加情報の各部分の重要度に応じて、その各部分の以後の取扱いを配慮した埋め込みを行うことにより、
重要度の高い部分の付加情報について、確実にその付加情報を抽出／検出できる様にすることを別の目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データに電子透かし情報を埋め込む情報処理装置であって、前記画像データが表す実画像空間／周波数空間における、少なくとも二つの領域を特定する領域情報を発生する領域情報発生手段と、互いに異なる少なくとも２つの係数値系列を設定する係数値系列発生手段と、前記領域情報で特定された夫々の領域に対して、埋め込むべき電子透かし情報に基づいて前記係数値系列を割り当て、透かしパターンを生成する透かしパターン生成手段と、前記画像データを前記透かしパターンを用いて変更することで、電子透かし情報を埋め込む埋め込み手段と、を備え、前記透かしパターン生成手段は、前記電子透かし情報、及び前記電子透かし情報の重要度に応じて、前記領域情報で特定された夫々の領域に対して、前記係数値系列を割り当てることを特徴とする。
【００１０】
また、本発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にＱ×ｎビットの電子透かし情報を埋め込む情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段と、埋め込むべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、前記画像データを複数の画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素データに対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み手段とを備え、前記埋め込み手段は、前記画素ブロックをＱ個の領域に分け、各領域に対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする。
【００１１】
さらに、本発明は、人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、該電子透かし情報を抽出する情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段と、抽出すべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、前記画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、該画素ブロックの画素データの平均値との相関を算出する相関算出手段と、２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出手段とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態による情報処理装置について説明する。
【００１３】
＜第１の実施形態＞
最初に、電子透かしによって付加情報の埋め込み処理を行う情報処理装置について説明する。図１は、本実施形態による電子透かし情報の埋め込み処理を行う情報処理装置の構成を示すブロック図である。
【００１４】
図１に示すように、本発明における情報処理装置は、付加情報Ｉｎｆが埋め込まれる画像データＩを入力するための画像入力部１０１と、付加情報Ｉｎｆを入力するための埋め込み情報入力部１０２と、付加情報Ｉｎｆの埋め込みの際に用いられる鍵情報ｋを入力するための鍵情報入力部１０３と、付加情報Ｉｎｆと鍵情報ｋとから、画像データＩに埋め込む透かしパターンｗｎ（ｎ＝１，２，・・・）を生成する透かしパターン生成部１０４と、透かしパターンｗｎを画像データＩに埋め込む電子透かし埋め込み部１０５と、付加情報Ｉｎｆが埋め込まれた画像データＩ’を出力する画像出力部１０６とから構成される。
【００１５】
画像入力部１０１は、ネットワークあるいは外部機器等から直接、画像データＩを本情報処理装置内に入力するための端子、あるいは、媒体上に形成された画像を読み取って画像データＩに変換する読取装置である。本実施形態では、簡単化のため、画像データＩは白黒の多値画像を表現しているものとする。しかし、本発明で埋め込み可能な画像データは、白黒画像データに限定されない。例えば、複数の色成分からなるカラー画像データであってもよい。
【００１６】
カラー画像データに対して電子透かし情報を埋め込む場合、例えば、その複数の色成分であるＲＧＢ成分や、輝度、色差成分のそれぞれの成分を白黒の多値画像と同様に扱うようにして、各成分に対して電子透かし情報を埋め込むことによって実現することができる。また、このような場合には、白黒の多値画像へ電子透かし情報を埋め込む場合と比較して、約３倍のデータ量を埋め込むことが可能となる。その逆に、複数成分のうちの一部の成分のみに電子透かし情報を埋め込む様にしても良く、その場合には、埋め込み可能なデータ量は白黒画像データに埋め込む場合と同じだが、その埋め込みの対象となる成分を他者から特定しにくくする効果が有る。
【００１７】
また、埋め込み情報入力部１０２及び鍵情報入力部１０３は、ネットワークあるいは外部機器等から付加情報Ｉｎｆ及び鍵情報ｋを本情報処理装置内に入力するための端子、あるいは、直接入力するためのキーボード等の入力装置である。
【００１８】
埋め込み情報入力部１０２から入力される付加情報Ｉｎｆは、上述した画像データＩに対して電子透かしによって埋め込まれる、バイナリデータ列からなるデータである。すなわち、付加情報Ｉｎｆは、「０」又は「１」のいずれかを表すビットの数個の組み合わせによって構成される情報である。そして、この数ビットの付加情報Ｉｎｆが、画像データＩの著作者を特定する著作権情報や、画像データＩの利用者を特定する利用者情報を表す。
【００１９】
尚、上記付加情報Ｉｎｆ自身が、第三者に容易に悪用されないように暗号化されていてもよい。さらに、当該付加情報Ｉｎｆが電子透かしによって埋め込まれた画像データＩから、悪意を持った人間によって、埋め込まれた付加情報Ｉｎｆを抽出できないように内容変更が施された場合でも、正しくその付加情報Ｉｎｆを抽出できるように、誤り訂正符号化が施されてもよい。
【００２０】
尚、付加情報Ｉｎｆが埋め込まれている画像データＩ’に対する内容変更には、上述したような第三者からの故意によるものだけでなく、故意ではない内容変更もある。例えば、画像の非可逆圧縮、輝度補正、幾何変換、フィルタリング等の画像処理を施すことによって、結果として、電子透かし情報に影響を及ぼすこともある。尚、暗号化や誤り訂正符号化などの処理の詳細は公知であるので、本実施形態での説明は省略する。
【００２１】
また、鍵情報入力部１０３から入力される鍵情報ｋは、付加情報Ｉｎｆの埋め込みや抽出の際に必要とされる情報のことである。本実施形態における鍵情報ｋには、整数のＬビットで表される実数の情報を用いる。例えば、「０１０１０１０１」は、Ｌ＝８の正数として表現された鍵情報であり、正の整数として表現する場合には「８５」として与えられる。
【００２２】
また、鍵情報ｋは、後述する擬似乱数発生部２０２に出力され、そこで実行される擬似乱数発生処理の際の初期値として与えられる。そして、本実施形態で説明する電子透かしを埋め込むための情報処理装置と、後述する電子透かしを抽出するための情報処理装置において、共通の鍵情報ｋを使用した場合に限り、同一の擬似乱数を発生させることができるので、電子透かしとして埋め込まれている付加情報Ｉｎｆを正しく抽出することが可能であるようにする。これによって、鍵情報ｋを知っている利用者だけが、画像データＩ’に埋め込まれた付加情報Ｉｎｆを正しく抽出することができる。
【００２３】
次に、透かしパターン生成部１０４の細部構成について説明する。図２は、透かしパターン生成部１０４の細部構成を示すブロック図である。図２に示すように、透かしパターン生成部１０４は、領域情報生成部２０１と、擬似乱数発生部２０２と、擬似乱数割り当て部２０３とから構成される。
【００２４】
一方、領域情報生成部２０１によって、生成された領域情報ｍが擬似乱数割り当て部２０３に出力される。領域情報ｍとは、付加情報Ｉｎｆを構成する各ビットの位置と、それぞれのビットが埋め込まれる画像データＩ上の画素位置を対応付けるために用いられる行列で与えられた少領域内の各画素の属性情報である。図３は、４ビットから構成される付加情報Ｉｎｆを、画像データＩに埋め込む場合に用いられる領域情報ｍの一例を示す図である。
【００２５】
図３に示される例は、４ビットの付加情報Ｉｎｆを埋め込むために用いられる、４×４の領域情報ｍである。本実施形態では、領域情報ｍに示される領域と付加情報Ｉｎｆのビット位置が対応付けられているものとする。そして、領域情報ｍ内の各要素に対して、第１の領域には「Ａ」、あるいは、第２の領域には「Ｂ」というように領域内の各画素に対して属性情報が割り当てられている。具体的には、領域情報ｍに示される第１の領域Ａに対して、４ビットの付加情報Ｉｎｆにおけるビット位置「１」のビット情報（最上位ビット）とビット位置「２」のビット情報（最上位ビットの次のビット）が埋め込まれる。
【００２６】
同様にして、領域情報ｍに示される第２の領域Ｂに対して、付加情報Ｉｎｆのビット位置「３」のビット情報（最上位ビットから３番目のビット）とビット位置「４」のビット情報（最上位ビットから４番目のビット）が埋め込まれる。これによって、４×４の大きさの画素内に４ビットの付加情報を埋めることが可能となる。
【００２７】
次に、擬似乱数発生部２０２では、入力された鍵情報ｋを初期値として、第１の擬似乱数列ｒ１と第２の擬似乱数列ｒ２とが生成される。生成された第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２は、擬似乱数割り当て部２０３に出力される。ここで、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２には、｛−１，１｝の範囲に含まれる一様分布に従う実数列を用いる。擬似乱数列を生成する方法は公知の技術であるため、本実施形態での説明は省略する。
【００２８】
さらに、擬似乱数割り当て部２０３には、領域情報生成部２０１で生成された領域情報ｍと、擬似乱数発生部２０２で発生した、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２と、埋め込み情報入力部１０２からの付加情報Ｉｎｆとが入力される。そして、入力された第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２の各要素が、付加情報Ｉｎｆのビット数によって定められる領域情報ｍの所定の要素に割り当てられる。尚、領域情報ｍの所定の要素に乱数列が割り当てられた行列のことを、本実施形態では透かしパターンｗｎと呼ぶことにする。
【００２９】
ここで、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２の各要素を、領域情報ｍの所定の要素に割り当てる処理の詳細について説明する。
【００３０】
本実施形態では、付加情報Ｉｎｆを４ビットとし、図３に示した４×４の領域情報ｍを用いる。前述したように、領域情報ｍと２つの擬似乱数列（第１の擬似乱数列ｒ１、第２の擬似乱数列ｒ２）を用いることにより４ビットの付加情報を埋め込むことが可能である。以降では、４ビットの付加情報について、最初の２ビットを第１のビットセット、次の２ビットを第２のビットセットと呼ぶ。
【００３１】
まず、第１のビットセットを領域情報ｍに示す第１の領域に割り当てる。第１の領域は、上述したように、値として「Ａ」を持つ要素である。尚、割り当ての際、領域情報ｍに示す領域情報内の各要素のうち、第１の領域についてラスター走査し、図４に示すビット割り当て規則と第１のビットセットに従って、順に、第１の擬似乱数列ｒ１、あるいは第２の擬似乱数列ｒ２のいずれかの要素を割り当てる。図４は、本実施形態の擬似乱数割り当て部２０３で用いられるビット割り当て規則を示す図である。
【００３２】
すなわち、第１の領域Ａに埋め込まれる付加情報の第１のビットセットが「００」の場合は、第１の擬似乱数列ｒ１内の各擬似乱数の符号を変化させないで、「Ａ」の属性を持つ画素の位置に対してラスター走査順に擬似乱数を一つずつ割り当てる。同様にして、埋め込まれる付加情報の第１のビットセットが「０１」の場合は、第１の擬似乱数列ｒ１内の各擬似乱数の符号を逆にして（すなわち、各擬似乱数に−１を乗算して）、同様にして順に一つずつ割り当てる。また、付加情報の第１のビットセットが「１０」のときは、第２の擬似乱数列ｒ２内の擬似乱数の符号を変化させずに、付加情報の第１のビットセットが「１１」のときは、第２の擬似乱数列ｒ２内の擬似乱数の符号を逆にして割り当てる。
【００３３】
次に、第２のビットセットを領域情報ｍに示す第２の領域に割り当てる。第２の領域は、上述したように、値として「Ｂ」をもつ要素である。尚、割り当ての際、領域情報ｍに示す領域情報内の各要素のうち、第２の領域をラスタ走査し、図４に示すビット割り当て規則と第２のビットセットに従って、第１のビットセットの場合と同様にして、第２の擬似乱数列ｒ２、あるいは第１の擬似乱数列ｒ１のいずれかの要素を割り当てる。
【００３４】
図５は、上述したようにして生成される、透かしパターンｗｎの一例を説明するための図である。図５では、埋め込まれる付加情報Ｉｎｆとして「００１１」という４ビットの情報を用い、第１のビットセット「００」に対応する第１の擬似乱数列ｒ１の「＋ｒ１」の擬似乱数ｒ１＝｛０．７，−０．６、−０．２，０．１，０．５、−０．３、−０．９．０．４｝という実数列が第１の領域Ａに対して割り当てられる。また、第２のビットセット「１１」に対応する第２の擬似乱数列ｒ２の「−ｒ２」を割り当てるため、ｒ２＝｛０．２、−０．６、−０．５，０．１，０．３、−０．９、−０．６，０．８｝に対して符号を逆にした実数列が割り当てられた場合の例が示されている。図５において、符号５０１は、第１のビットセット「００」を埋め込むための透かしパターンｗ１を示す。また、符号５４０２は、第２のビットセット「１１」を埋め込むための透かしパターンｗ２を示す。
【００３５】
尚、上述した実施形態においては、４ビットの付加情報を埋め込むために４×４の大きさの領域情報ｍを用いたが、本発明はこれに限られない。例えば、１ビット埋め込むために更に多くの画素を利用し、より大きなサイズの領域情報ｍを用いる場合も本発明の範疇に含まれる。そして、より大きなサイズの領域情報を用いた場合には、擬似乱数列もより長い実数列を用いることができる。これによって、より長い実数列を用いることによって、付加情報Ｉｎｆが埋め込まれているにも関わらず、集積画像と透かしパターンｗ１、ｗ２、…、ｗｎとの相関係数が小さくなることを防ぐことができる。例えば、６４ビットの付加情報を埋め込むために、充填率を５０％として、２５６×２５６の領域情報を用いる。この場合、１ビット埋め込むために５１２画素使用することになる。
【００３６】
次に、電子透かし埋め込み部１０５について説明する。電子透かし埋め込み部１０５には、画像データＩ及び透かしパターンｗｎが入力される。そして、画像データＩに透かしパターンｗｎが埋め込まれ、透かしパターンｗｎが埋め込まれた画像データＩ’が出力される。
【００３７】
電子透かし埋め込み部１０５の処理の詳細について説明する。電子透かし埋め込み部１０５では、次式に従って、電子透かしの埋め込み処理が実行される。
【００３８】
【００３９】
ここで、I’i,jは、電子透かしが埋め込まれた画像データを示す。また、Ii,jは、電子透かしが埋め込まれる前の画像データを示す。また、ｗｎi,jは透かしパターンを示す。但し、ｎは埋め込まれる付加情報Ｉｎｆのビット位置及び付加情報Ｉｎｆのビット位置に対応する透かしパターンｗｎを示す整数、ｉ，ｊはそれぞれ画像データＩ及びＩ’、透かしパターンｗｎのｘ座標及びｙ座標を表すパラメータを示す。また、ａは電子透かしの強度を設定するための係数である。例えば、４ビットから構成される付加情報Ｉｎｆを埋め込むために、ｎは１から２までの値をとる。
【００４０】
係数ａの値を大きく設定することによって耐性の強い電子透かしを埋め込むことが可能であるが、反面、画質劣化が大きくなる。一方、ａの値を小さく設定することによって電子透かしの耐性は弱くなるが、画質劣化を小さくすることが可能である。このようにして、領域情報ｍの構成と同様に係数ａの値を適切に設定することにより、電子透かしの内容変更に対する耐性と電子透かしを埋め込んだ後の画像の画質のバランスを設定することが可能である。
【００４１】
図６は、式（１）に示した電子透かし埋め込み処理の具体例として、４×４の領域情報ｍを用いた場合の例を説明するための図である。図６において、符号６０１は式（１）における画像データＩ’、符号６０２は画像データＩ、符号６０３は透かしパラメータｗｎを表す。また、Ｅは、符号６０１〜６０３の行列と同じ大きさの単位行列である。式（１）における演算は、図６に示されるような行列内の各要素に対して実行される。
【００４２】
図６に示されるパラメータを式（１）を用いて４×４の大きさの領域内で演算する処理は、実際には入力された画像データＩの全体に対して繰り返し実行される。例えば、図７は、２４×２４画素から構成される画像データＩを示す図である。図７に示すように、入力された画像データＩは、４×４画素から構成される互いに重ならないブロックに分割され、分割されたそれぞれのブロックに対して、上述したような、図６のパラメータを用いて式（１）に示した同じ演算処理が繰り返し実行される。このように図６のパラメータを用いて式（１）に示された処理が実行されるブロックを、「マクロブロック」と呼ぶ。
【００４３】
全てのマクロブロックに対して繰り返し、電子透かしによる付加情報の埋め込み処理を実行することにより、画像全体に対して付加情報を埋め込むことが可能である。尚、本実施形態では、１つのマクロブロックにはｎビットから構成される付加情報Ｉｎｆを埋め込むことができる。このことから、少なくとも１つのマクロブロックからは、ｎビットの付加情報Ｉｎｆを抽出することができる。すなわち、ｎビットの付加情報Ｉｎｆが埋め込まれた画像データからその付加情報Ｉｎｆを抽出するためには、画像データＩの全体の情報を必要とせず、画像データＩの一部（少なくともｎビットの付加情報が埋め込まれた１つのマクロブロック）があれば十分である。
【００４４】
このように、画像データＩの一部から電子透かしを完全に抽出可能であることを「切り取り耐性がある」と呼ぶ。そして、マクロブロック単位の電子透かし埋め込み処理を画像全体に繰り返し実行することにより、電子透かしに切り取り耐性を持たせることが可能である。
【００４５】
すなわち、この発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にｎビットの電子透かし情報を埋め込む情報処理装置であって、互いに異なる２n-2通りの係数値配列を設定する設定手段（透かしパターン生成部１０４）と、埋め込むべきｎビットの電子透かし情報に基づいて、係数値配列のいずれか１つを選択する選択手段（透かしパターン生成部１０４）と、画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み手段（電子透かし埋め込み部１０５）とを備え、画素ブロックの画素群をＱ個のグループに分け、各グループに対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする。
【００４６】
さらに、本発明は、所定の鍵情報を入力する鍵情報入力手段（鍵情報入力部１０３）をさらに備え、設定手段（透かしパターン生成部１０４）が、入力された鍵情報にしたがって係数値配列を設定することを特徴とする。
【００４７】
さらにまた、本発明は、疑似乱数列を用いて互いに異なる係数値配列を生成する疑似乱数生成手段（疑似乱数発生部２０２）をさらに備えることを特徴とする。
次に、上述した構成によって付加情報を画像データに埋め込む情報処理装置の動作手順について説明する。図８は、本実施形態による付加情報を埋め込むための情報処理装置の動作手順を説明するためのフローチャートである。
【００４８】
まず、画像入力部１０１から、付加情報Ｉｎｆを埋め込む先の画像データＩが入力される（ステップＳ８０１）。次に、埋め込み情報入力部１０２から、画像データＩに埋め込む付加情報Ｉｎｆが入力される（ステップＳ８０２）。さらに、鍵情報入力部１０３から、画像データＩに付加情報Ｉｎｆを埋め込む際に用いられる鍵情報ｋが入力される（ステップＳ８０３）。尚、画像データＩと付加情報Ｉｎｆと鍵情報ｋの入力順は、この順に限られず、また同時であってもよい。
【００４９】
そして、入力された付加情報Ｉｎｆ及び鍵情報ｋは、透かしパターン生成部１０４に出力され、そこで透かしパターンｗｎが生成される（ステップＳ８０４）。図９は、透かしパターン生成部１０４で行われる透かしパターンｗｎの生成手順を説明するためのフローチャートである。透かしパターン生成部１０４では、領域情報生成部２０１において、付加情報Ｉｎｆの大きさに基づいて、付加情報Ｉｎｆのビット数分の種類の属性情報を有する領域に分割された領域情報ｍが生成される（ステップＳ８０４ａ）。また、入力された鍵情報ｋを初期値として、擬似乱数発生部２０２において擬似乱数（例えば、上述したｒ１、ｒ２）を発生させる（ステップＳ８０４ｂ）。さらに、領域情報ｍと擬似乱数ｒ１及びｒ２と付加情報Ｉｎｆが擬似乱数割り当て部２０３に入力され、そこで透かしパターン（例えば、上述したｗ１、ｗ２）が生成される（ステップＳ８０４ｃ）。
【００５０】
こうして生成された透かしパターンが電子透かし埋め込み部１０５に入力され、そこで電子透かし埋め込み済みの画像データＩ’が生成される（ステップＳ８０５）。この画像データＩ’は、画像出力部１０６から電子透かしの埋め込み処理部の最終的な出力として出力される（ステップＳ８０６）。
【００５１】
尚、本実施形態では、１枚の画像データを４×４画素のブロックに分割して、４ビットを埋め込む方法について記述したが、各ブロックに４ビット以上の電子透かし情報を埋め込んでもよい。また、１枚の画像データを複数の領域に分割し、各領域に対して上述した電子透かし情報埋め込み方法を適用することも可能である。この場合、例えば、画像データをｐ個の領域に分割し、各領域にｑビットの電子透かし情報を埋め込むとすると、当該画像データにはｐ×ｑビットの電子透かし情報を埋め込むことができる。
【００５２】
＜第２の実施形態＞
次に、第１の実施形態に示された方法によって画像に埋め込まれた電子透かし情報の抽出処理を行う情報処理装置について説明する。図１０は、本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成を示すブロック図である。
【００５３】
図１０に示すように、電子透かし情報を抽出するための情報処理装置は、電子透かし埋め込み済みの画像データＩ”を入力するための画像入力部１００１と、付加情報Ｉｎｆ’の抽出に用いられる鍵情報を入力するための鍵情報入力部１００２と、透かしパターンを生成する透かしパターン生成部１００３と、付加情報Ｉｎｆ’を抽出する電子透かし抽出部１００４と、抽出した付加情報を出力する電子透かし出力部１００５とから構成される。
【００５４】
まず、画像入力部１００１について説明する。画像入力部１００１には、電子透かしが埋め込まれている可能性がある画像データＩ”が入力される。ここで、画像入力部１００１の動作は、前述した画像入力部１０１と同様であるので詳細な動作の説明は省略する。
【００５５】
尚、画像入力部１００１から入力される画像データＩ”は、前述した電子透かし埋め込み部１０５によって付加情報が埋め込まれた画像データＩ’だけに限定されない。すなわち、付加情報が埋め込まれた画像データＩ’であってもよいし、画像データＩ’が内容変更された画像データであってもよい。更に、付加情報が何も埋め込まれていない画像データＩであってもよい。
【００５６】
次に、鍵情報入力部１００２について説明する。鍵情報入力部１００２からは、埋め込まれた付加情報を抽出するための鍵情報ｋが入力される。ここで、入力される鍵情報ｋは、第１の実施形態における鍵情報入力部１０３から入力されたものと同一でなければならない。すなわち、鍵情報入力部１０３から入力された鍵情報ｋと異なる鍵情報が入力された場合には、付加情報を埋め込んだときと同一の擬似乱数列を発生させることができないので、画像データに埋め込まれた付加情報を正しく抽出することができない。したがって、正しい鍵情報ｋを知る利用者だけに、正しい付加情報を抽出されるようにすることができる。
【００５７】
次に、透かしパターン生成部１００３について説明する。透かしパターン生成部１００３には、鍵情報生成部１００２から鍵情報ｋが入力され、入力された鍵情報ｋに基づいて透かしパターンｗｎが生成され、生成された透かしパターンｗｎが出力される。透かしパターン生成部１００３は、透かしパターン生成部１０４と同様に、図２に示される各部を構成要素とし、透かしパターン生成部１０４とほぼ同様の処理が実行される。但し、擬似乱数割り当て部で実行される処理が第１の実施形態とは異なるので、ここでは擬似乱数割り当て部の処理について説明する。
【００５８】
透かしパターン生成部１００３における擬似乱数割り当て部には、領域情報生成部で生成された領域情報ｍ、擬似乱数発生部で発生した第１の擬似乱数列ｒ１、第２の擬似乱数列ｒ２が入力され、第１の擬似乱数列、及び第２の擬似乱数列が領域情報ｍに従って割り当てられ、透かしパターンｗｎとして出力される。
【００５９】
すなわち、透かしパターン生成部１００３においては、まず、領域情報ｍに示す領域情報内の各要素のうち、値として「Ａ」を持つ要素である第１の領域をラスター走査して、第１の擬似乱数列ｒ１内の各擬似乱数を順に割り当てる。次に、値として「Ａ」を持つ要素の第１の領域をラスター走査して、第２の擬似乱数列ｒ２内の各擬似乱数を順に割り当てる。さらに、領域情報ｍに示す領域情報内の各要素のうち、値として「Ｂ」を持つ要素である第２の領域をラスター走査して、第１の擬似乱数列ｒ１内の擬似乱数を順に割り当てる。そして、値として「Ｂ」を持つ要素の第２の領域をラスター走査して、第２の擬似乱数列ｒ２内の各擬似乱数を順に割り当てる。
【００６０】
図１１は、第２の実施形態における透かしパターン生成部１００３によって生成された、透かしパターンの一例を示す図である。図１１では、第１の擬似乱数列ｒ１として、ｒ１＝｛０．７，−０．６、−０．２，０．１，０．５、−０．３、−０．９．０．４｝という実数列を用い、第２の擬似乱数列ｒ２としてｒ２＝｛０．２、−０．６、−０．５，０．１，０．３、−０．９、−０．６，０．８｝という実数列を用いた。これらの擬似乱数は、上述した実施形態において付加情報を埋め込む場合に使用された擬似乱数と同様のものである。そして、これらの擬似乱数を、領域情報ｍとして図３に示す４×４の大きさの領域情報の例を用いた場合に生成されるＡ、Ｂの領域にｒ１、ｒ２を割り当てることによって、透かしパターンｗ１〜ｗ４が生成される。
【００６１】
次に、電子透かし抽出部１００４について説明する。電子透かし抽出部１００４には、画像データＩ”及び透かしパターンｗ１、ｗ２、ｗ３、ｗ４が入力される。そして、透かしパターンｗ１、ｗ２、ｗ３、ｗ４を用いて画像データＩ”から付加情報Ｉｎｆ’が抽出される。尚、抽出された付加情報Ｉｎｆ’は、通常、埋め込んだ付加情報Ｉｎｆに等しいが、電子透かしを埋め込んだ画像データＩ’が種々の内容変更を受けている場合には、必ずしも付加情報Ｉｎｆと付加情報Ｉｎｆ’は一致しないこともある。
【００６２】
本実施形態において、電子透かし抽出部１００４では、入力された画像データＩ”から生成された集積画像と透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相互相関がそれぞれ計算される。ここで、集積画像とは、入力された画像データＩ”をマクロブロックの大きさ（領域情報の大きさ）の互いに重ならないブロックに分割し、分割されたそれぞれのブロックの要素の値の平均値を算出した画像である。
【００６３】
図１２は、集積画像１２０２についての具体例を説明するための図である。図１２では、４×４画素の透かしパターンと２４×２４画素の画像１２０１が入力された場合の集積画像の例が示されている。図１２において、符号１２０１は、２４×２４画素の画像データ１２０１が、４×４画素の互いに重ならないブロックに分割されている場合の例である。図１２では、画像データ１２０１は、３６個のブロックに分割されている。この３６個のブロックの各要素の値の平均値を求めたものが集積画像１２０２である。そして、電子透かし抽出部１００４では、このようにして生成された集積画像１２０２と透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相互相関がそれぞれ計算される。
【００６４】
次に、相関係数を計算する具体的な方法について、集積画像１２０２と透かしパターンｗｎの相関係数ρを計算する場合を用いて説明する。相関係数ρは、集積画像をｃとし、透かしパターンをｗｎとすると、それらの間の類似度を測定する統計量であり、次式で表すことができる。
【００６５】
【数２】
【００６６】
ここで、ｃ’及びｗｎ’は、集積画像ｃ、透かしパターンｗｎのそれぞれの要素から、それぞれの行列の要素の平均値を減算した値を要素とする行列である。本実施形態では、自然画像内の４×４画素の大きさの範囲では、極端に画素値が変化する場合が少ないと考えられるので、集積画像平均値を減算した値を要素を用いた。また、ｃTは、ｃの転置行列である。これによって、相関係数ρは、−１から＋１の値の範囲の値となる。
【００６７】
例えば、集積画像と透かしパターンｗｎとの相関係数ρは、正の相関が強い場合は＋１に近づく。一方、集積画像と透かしパターンｗｎとの相関係数ρは、負の相関が強い場合は−１に近づく。ここで、「正の相関が強い」とは、「集積画像が大きいほど透かしパターンｗｎが大きくなる」というような関係である。また、「負の相関が強い」とは、「集積画像が大きいほど透かしパターンｗｎが小さくなる」というような関係である。また、集積画像と透かしパターンｗｎとが無相関の場合、相関係数ρは０となる。
【００６８】
電子透かし抽出部１００４では、上述した手順で算出された相互相関の結果によって、埋め込まれている付加情報Ｉｎｆ’が抽出される。尚、透かしパターンが複数の場合は、集積画像と各透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相関係数をそれぞれ算出し、算出された相互相関の結果により、図４に示されたビット割り当て規則を用いて、埋め込まれている付加情報Ｉｎｆ’が判断される。
【００６９】
このようにして相互相関を求めることは、集積画像と透かしパターンｗ１、ｗ２、…、ｗｎとが、どの程度類似しているかを評価することに等しい。すなわち、図１に示される電子透かし埋め込み部１０５において、集積画像である画像データＩ”の中に、透かしパターンｗ１、ｗ２、…、ｗｎが埋め込まれている場合には、これらは比較的類似しており、この類似の度合いが相互相関値として算出される。また、透かしパターンｗｎが加えられて埋め込まれている場合には相互相関値は正となり、透かしパターンｗｎが減じられている場合には相互相関値は負になる。
【００７０】
以上のことから、領域情報ｍに示す第１の領域Ａに第１の擬似乱数列ｒ１が加えられている場合、透かしパターンｗ１と集積画像との相関係数として、「１」に近い値が得られる。一方、領域情報ｍに示す第１の領域Ａに第１の擬似乱数列ｒ１が減じられている場合、透かしパターンｗ１と集積画像との相関係数として、「−１」に近い値が得られる。さらに、領域情報ｍに示す第１の領域に第１の擬似乱数列ｒ１が加えられているか、あるいは、減じられている場合には、透かしパターンｗ２と集積画像との相関係数として「０」に近い値が得られる。
【００７１】
以上のように、全ての透かしパターンｗ１、ｗ２、ｗ３、ｗ４と集積画像との相関係数を算出する。こうして得られた相関係数から、図４に示したビット割り当て規則に基づいて、埋め込まれているビットセットを判断し、付加情報Ｉｎｆを抽出することが可能である。
【００７２】
図１３は、４ビットの付加情報「００１１」が埋め込まれた集積画像から、透かしパラメータｗ１、ｗ２、ｗ３、ｗ４を用いて、付加情報「００１１」を抽出する過程を説明するための図である。
【００７３】
まず、集積画像と４ビットの付加情報Ｉｎｆ’に対応した４つの透かしパターンｗ１、ｗ２，ｗ３、ｗ４との相互相関値がそれぞれ算出される。入力された集積画像である画像データＩ’に付加情報Ｉｎｆ’が埋め込まれている場合、相関係数はそれぞれ「＋１，０，０，−１」として算出される。ここで、透かしパターンｗ１及びｗ２と、集積画像との相関係数「＋１，０」から、領域情報ｍに示す第１の領域には第１の擬似乱数列ｒ１が加えられていることがわかる。そこで、図４に示されるビット割り当て規則により、第１のビットセットは「００」であると判断することができる。
【００７４】
また、透かしパターンｗ３、透かしパターンｗ４、集積画像の相関係数「０，−１」から、領域情報ｍに示す第２の領域には第２の擬似乱数列ｒ２が減じられていることがわかる。そこで、図４に示されるビット割り当て規則により、第２のビットセットは「１１」であると判断することができる。以上のようにして、埋め込まれている付加情報Ｉｎｆ’「００１１」を抽出することが可能である。
【００７５】
このようにして抽出された付加情報Ｉｎｆ’は、電子透かし出力部１００５から外部に出力される。この際、図１に示される電子透かし埋め込み部１０５において付加情報Ｉｎｆが埋め込まれる時に、誤り訂正符号化処理や暗号化処理が施されている場合には、それぞれ誤り訂正復号処理や暗号復号処理を実行するようにする。この場合は、その後、得られた情報が最終的に抽出されたバイナリデータ列からなる付加情報Ｉｎｆ’として出力されることになる。
【００７６】
上述した実施形態においては、４ビットの情報を埋め込むための領域情報ｍとして第１の領域Ａ及び第２の領域Ｂを用い、擬似乱数列として第１の擬似乱数列ｒ１と第２の擬似乱数列ｒ２を用いた。しかしながら、本発明はこれに限定されるものではなく、領域情報ｍとしてｓ個の領域を用い、擬似乱数列としてｔ個の擬似乱数列を用いることによって、ｓ×ｔビットの情報を埋め込むことが可能である。
【００７７】
すなわち、本発明は、人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、電子透かし情報を抽出する情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段（透かしパターン生成部１００３）と、埋め込むべきｎビットの電子透かし情報に基づいて、係数値配列のいずれか１つを選択する選択手段（透かしパターン生成部１００３）と、画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、画素ブロックの画素データの平均値との相関を算出する相関算出手段（透かしパターン生成部１００３）と、２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、画素ブロックを補正した一の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出手段（電子透かし抽出部１００４）とを備えることを特徴とする。
【００７８】
また、本発明は、相関算出手段（透かしパターン生成部１００３）が、画像データにおいて分割された所定の画素ブロックの平均画素ブロックを生成する平均値生成手段をさらに備え、抽出手段（電子透かし抽出部１００４）が、生成された平均画素ブロックと２n通りの係数値配列についての算出された相関に基づいて、画素ブロックを補正した一の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出することを特徴とする。
【００７９】
さらに、本発明は、電子透かし情報が埋め込まれた際に使用された鍵情報を入力する鍵情報入力手段（鍵情報入力部１００２）をさらに備え、設定手段（透かしパターン生成部１００３）が、入力された鍵情報に基づいて、互いに異なる２n通りの係数値配列を設定することを特徴とする。
【００８０】
次に、上述した構成によって、画像データ中に埋め込まれた付加情報を抽出する情報処理装置の動作手順について説明する。図１４は、本実施形態による付加情報を抽出するための情報処理装置の動作手順を説明するためのフローチャートである。
【００８１】
まず、画像入力部１００１から、付加情報が埋め込まれている画像データＩ”が入力される（ステップＳ１４０１）。次に、鍵情報入力部１００２から、画像データＩ”から付加情報を抽出する際に用いられる鍵情報ｋが入力される（ステップＳ１４０２）。尚、画像データＩ”と鍵情報ｋの入力順は、この順に限られず、また同時であってもよい。また、鍵情報ｋは第１の実施形態で入力された付加情報を埋め込む際に用いられた鍵情報ｋと同一のものである。
【００８２】
そして、入力された鍵情報ｋは、透かしパターン生成部１００３に出力され、そこで透かしパターンｗｎが生成される（ステップＳ１４０３）。て生成された透かしパターンｗｎ及び画像データＩ”が電子透かし抽出部１００４に入力され、そこで上述した相関係数を用いて付加情報Ｉｎｆ’の抽出が行われる（ステップＳ１４０４）。抽出された付加情報Ｉｎｆ’は、電子透かし出力部１００５から最終的な出力として外部へ出力される（ステップＳ１４０５）。
【００８３】
＜第３の実施形態＞
以上、説明した第１の実施形態、及び第２の実施形態は、付加情報Ｉｎｆを効率的に埋め込む例として、４ビットの情報を二つの擬似乱数列（第１の擬似乱数列ｒ１、及び第２の擬似乱数列ｒ２）と二つの２次元の領域（第１の領域Ａ、及び第２の領域Ｂ）を用いて埋め込む方法について述べた。しかしながら本発明はこれに限定されることはない。そこで、本実施形態では、より簡素化した例として、１ビットの情報を埋め込むために一つの１次元の領域と二つの擬似乱数列を用いる例について説明する。
【００８４】
まずはじめに、本実施形態における電子透かし情報の埋め込み処理について説明する。
【００８５】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、擬似乱数割り当て部２０３の動作について詳細に説明する。
【００８６】
擬似乱数割り当て部２０３には一つの１次元領域を表す領域情報ｍ、１ビットから構成される付加情報Ｉｎｆ，及び二つの擬似乱数列ｒ１、及びｒ２が入力される。入力された擬似乱数列ｒ１、及びｒ２は、所定のビット割り当て規則に従って割り当てられ、擬似乱数列ｒ１、及びｒ２が割り当てられた透かしパターンｗが出力される。
【００８７】
ここで、ビット割り当て規則の一例として、付加情報Ｉｎｆがビット「０」である場合には擬似乱数列ｒ１を割り当て、一方で付加情報Ｉｎｆがビット「１」である場合には付加情報ｒ２を割り当てるようにする。更に、割り当てる際には、全ての要素に対してラスタスキャン順に擬似乱数列を割り当てる。即ち、一つの１次元領域に対して擬似乱数列を割り当てる。
【００８８】
こうして擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗを用いて、後段の電子透かし埋め込み部において画像データＩに施される処理は第１の実施形態と同様であるので説明は省略する。
【００８９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【００９０】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施の形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【００９１】
透かしパターン生成部１０４には一つの１次元情報を表す領域情報ｍ、及び二つの擬似乱数列ｒ１、及びｒ２が入力され、擬似乱数列ｒ１、及びｒ２が夫々割り当てられた透かしパターンｗ１、及びｗ２が出力される。ここで、擬似乱数列ｒ１、及びｒ２は本実施の形態において電子透かし埋め込み処理の時に用いられた擬似乱数列ｒ１、及びｒ２と同じでなければならない。更に、割り当てる方法も同様でなければならず、例えば前述したように全ての要素に対してラスタスキャン順に擬似乱数列を割り当てる。
【００９２】
こうして擬似乱数列ｒ１、及びｒ２が割り当てられた二つの透かしパターンｗ１、及びｗ２が擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗ１、及びｗ２を用いて、後段の電子透かし抽出部１００４において画像データＩ''に埋め込まれている付加情報Ｉｎｆ'が抽出される。
【００９３】
電子透かし抽出部１００４においては、第２の実施の形態において説明したように画像データＩ''から集積画像を生成し、生成された集積画像と前記透かしパターンｗ１及びｗ２の相互相関値を算出し、算出された相互相関値から付加情報Ｉｎｆ'を抽出する
例えば、前述したビット割り当て規則によって付加情報Ｉｎｆ'が埋め込まれている場合には、集積画像と擬似乱数列ｒ１との相互相関値が＋１に近い時、付加情報Ｉｎｆ'はビット「０」であると判断する。一方で集積画像と擬似乱数列ｒ２との相互相関値が＋１に近い時、付加情報Ｉｎｆ'はビット「１」であると判断する。こうして抽出された付加情報Ｉｎｆ'が出力される。
【００９４】
＜第４の実施形態＞
以上、説明した第１の実施の形態、第２の実施の形態、及び第３の実施の形態は、数ビットから構成される付加情報Ｉｎｆを埋め込む方法を例をあげて説明した。しかしながら、本発明はこれに限定されることはなく、埋め込むべき付加情報を２以上の複数種類に分類して識別可能な状態において、複数種類の付加情報を埋め込める様にする場合に適宜対応可能な技術である。
本実施形態では、一つの画像内に、二つの領域と２つの擬似乱数列を用いて、２種類の付加情報（即ち、２つのＩＤ）を埋め込む例について説明する。
【００９５】
まずはじめに、本実施形態における電子透かし情報の埋め込み処理について説明する。
【００９６】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、擬似乱数割り当て部２０ ３の動作について詳細に説明する。
【００９７】
擬似乱数割り当て部２０３には二つの領域情報を表す領域情報ｍ、及び２種類の付加情報ＩＤ１とＩＤ２，及び２つの擬似乱数列ｒ１とｒ２が入力される。ここで、二つの領域情報として、本実施形態においては図３に示した領域情報を用いることにする。しかしながら本発明はこれに限定されることなく種々の領域情報を用いることが可能であり、他の領域情報の一例については別の実施形態として後述する。
【００９８】
本実施形態においては、図３に示す領域のうち領域ＡにはＩＤ１、領域ＢにはＩＤ２を埋め込むこととする。更に、入力された付加情報ＩＤ１、及びＩＤ２は、夫々入力された擬似乱数列ｒ１、及びｒ２に対応付けるものとする。即ち、領域Ａには擬似乱数列ｒ１が、領域Ｂには擬似乱数列ｒ２が夫々割り当てられ、擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗを用いて、後段の電子透かし埋め込み部において画像データＩに施される処理は第１の実施の形態と同様であるので説明は省略する。
【００９９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【０１００】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は、図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【０１０１】
透かしパターン生成部１０４には領域情報ｍ、及び２つの擬似乱数列ｒ１、及びｒ２が入力され、擬似乱数列ｒ１、及びｒ２が夫々割り当てられた透かしパターンｗ１、及びｗ２が出力される。ここで、擬似乱数列ｒ１、及びｒ２は本実施の形態において電子透かし埋め込み処理の時に用いられた擬似乱数列ｒ１、及びｒ２と同じでなければならない。
【０１０２】
こうして擬似乱数列ｒ１、及びｒ２が割り当てられた２つの透かしパターンｗ１、及びｗ２が擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗ１、及びｗ２を用いて、後段の電子透かし抽出部１００４において画像データＩ''に埋め込まれている付加情報ＩＤ１及びＩＤ２が抽出される。
【０１０３】
電子透かし抽出部１００４においては、第２の実施形態において説明したように画像データＩ''から集積画像を生成し、生成された集積画像と前記透かしパターンｗ１及びｗ２の相互相関値を算出し、算出された相互相関値から付加情報ＩＤ１及びＩＤ２を抽出する。
【０１０４】
例えば、画像データＩ''と透かしパターンｗ１との相互相関値が所定の値以上である場合、画像データＩ''にはＩＤ１が埋め込まれていると判断する。同様に、画像データＩ''と透かしパターンｗ２との相互相関値が所定の値以上である場合、画像データＩ''にはＩＤ２が埋め込まれていると判断する。このように処理することによって、一つの画像内に複数種類の付加情報を埋め込むことが可能となる。
【０１０５】
＜第５の実施形態＞
前記第４の実施形態においては一つの画像内に、図３に示したような領域情報を用いて２種類の付加情報を埋め込む例について説明した。本実施の形態においては、図３に示した領域情報の他の領域情報を用いる例について説明する。
更に、本実施の形態では、複数種類（ここでは２種類）の付加情報に重要度を設定し、重要度に応じた付加情報の埋め込みを行うことにより、重要度の高い付加情報をより確実に抽出する方法について説明する。
【０１０６】
図１５に本実施形態において用いる領域情報の例を示す。図１５(ａ)及び（ｂ）に示す領域全体は入力された画像データと同じ面積を有する。図１５(ａ)は画像データのうち中心部の領域を領域Ａとし、外枠部の領域を領域Ｂとした場合の領域情報の例である。また、図１５（ｂ）は利用者により指定された任意の領域（被写体や画像中の主要な箇所など）を領域Ａとし、それ以外の領域を領域Ｂとした場合の領域情報の例である。尚、図１５に示す例はいずれも画像中で領域Ａが領域Ｂよりも重要であるとした場合の例であり、各領域の位置関係は任意に設定可能である。
【０１０７】
尚、本実施形態においては図１５に示すように画像データは何れかの領域に必ず含まれるように領域情報を設定した。この場合、画像データ全体に何れかの付加情報が電子透かしとして埋め込まれることになる。しかしながら、本発明はこれに限定されることなく、図１８に示すように領域Ｃを設定し領域Ｃには擬似乱数列を割り当てず、即ちいずれの付加情報も埋め込まれないようにしてもよい。
【０１０８】
更に、本実施形態においては２種類の付加情報ＩＤ１とＩＤ２に重要度を設定する。ここでは、ＩＤ１はＩＤ２よりも重要であると設定する。そして、図１５に示した領域ＡにはＩＤ１（重要度が大きい）、領域ＢにはＩＤ２（重要度が小さい）を割り当てて、埋め込む。このように処理することにより、付加情報が埋め込まれた画像データが、以後に種々の処理（切り取りなど）を施された場合にも、ＩＤ１（重要度が大きい）はＩＤ２（重要度が小さい）よりも確実に抽出することが可能となる。
【０１０９】
＜第６の実施形態＞
第５の実施形態においては、（実画像の）空間領域における領域情報を用い、更に２種類の付加情報に重要度を設定し、前記空間領域における領域情報と重要度に応じて付加情報を埋め込む例について説明した。しかしながら、本発明における領域情報は上記空間領域における領域情報に限定されることなく、空間周波数領域において電子透かしの埋め込みが行われる場合に適用するならば、その空間周波数領域に関する領域情報を用いることになる。以下、この形態について説明する。
【０１１０】
まず、電子透かし情報の埋め込み処理について説明する。
【０１１１】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち電子透かし埋め込み部１０５、及び擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、電子透かし埋め込み部１０５、及び擬似乱数割り当て部２０３の動作について詳細に説明する。
【０１１２】
まず、擬似乱数割り当て部２０３の動作について説明する。擬似乱数割り当て部２０３の動作は第４の実施形態と同様である。但し、本実施形態においては領域情報として空間周波数領域の領域情報を用いる。図１７に本実施の形態で用いる領域情報の例を示す。
【０１１３】
図１７(ａ)、（ｂ）、（ｃ）は、後述する空間周波数変換部において夫々離散ウェーブレット変換、離散コサイン変換、離散フーリエ変換を用いた場合の例であり、領域全体の面積は夫々の空間周波数変換の処理単位に等しい。図１７に設定した領域は、各々の空間周波数変換の性質を考慮し、領域Ａとして低周波成分、領域Ｂとして高周波成分が割り当てられるように設定してある。
【０１１４】
尚、本実施の形態においては図１７に示すように画像データは何れかの領域に必ず含まれるように領域情報を設定した。この場合、画像データ全体に何れかの付加情報が電子透かしとして埋め込まれることになる。しかしながら、本発明はこれに限定されることなく、図１９に示すように領域Ｃを設定し領域Ｃには擬似乱数列を割り当てず、即ちいずれの付加情報も埋め込まれないようにしてもよい。
【０１１５】
そして、第５の実施形態で述べたのと同様に、付加情報ＩＤ１とＩＤ２に重要度を設定する。ここでは、ＩＤ１はＩＤ２よりも重要であると設定し、擬似乱数列ｒ１，及びｒ２を、夫々領域Ａ、及び領域Ｂに割り当てる。そして、擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数列割り当て部２０３から出力される。
【０１１６】
次に、電子透かし埋め込み部１０５の細部構成について説明する。図１６は、電子透かし埋め込み部１０５の細部構成を示すブロック図である。図１６に示すように、電子透かし埋め込み部１０５は、空間周波数変換部１６１と、加算部１６２と、逆周波数変換部１６３とから構成されている。
【０１１７】
電子透かし埋め込み部１０５に入力された画像データＩは空間周波数変換部１６１において、空間周波数変換処理が施され、空間周波数変換された係数が出力される。ここで、空間周波数変換処理として、離散ウェーブレット変換、離散コサイン変換、離散フーリエ変換などを用いることが可能である。空間周波数変換処理された係数に対して加算部１６２において、入力された透かしパターンｗが加えられる。
【０１１８】
そして、透かしパターンｗが加えられた係数が逆空間周波数変換部１６３に入力され、逆空間周波数変換部１６２において逆周波数変換処理が施されたデータがＩ'として出力される。
【０１１９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【０１２０】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は
図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施の形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【０１２１】
まず、透かしパターン生成部１０４の動作について説明する。擬似乱数割り当て部２０３の動作は第４の実施形態と同様である。但し、本実施形態においては領域情報として、前記電子透かし埋め込み処理において用いられたものと同様の領域情報を用いなければならない。
【０１２２】
次に、電子透かし抽出部１００４の細部構成について説明する。図２０は、電子透かし抽出部１００４の細部構成を示すブロック図である。図２０に示すように、電子透かし抽出部１００４は、空間周波数変換部２００１と、相関算出部２００２とから構成されている。
【０１２３】
電子透かし抽出部１００４に入力された画像データＩ''は空間周波数変換部２００１において、空間周波数変換処理が施され、空間周波数変換された係数が出力される。ここで用いる空間周波数変換処理は、前述した電子透かし埋め込み処理において実行された処理と同様の処理でなければならない。
【０１２４】
次に、空間周波数変換処理された係数に対して相関算出部２００２において、入力された透かしパターンｗ１、及びｗ２と空間周波数変換された係数の相互相関値が算出される。そして、透かしパターンｗ１と空間周波数変換された係数の相互相関値が所定の値よりも大きい場合は、画像データＩ''には付加情報ＩＤ１が埋め込まれていると判断する。また、透かしパターンｗ２と空間周波数変換された係数の相互相関値が所定の値よりも大きい場合には、画像データＩ''には付加情報ＩＤ２が埋め込まれていると判断する。
【０１２５】
このように処理することにより、付加情報が埋め込まれた画像データが、以後に種々の処理（ローパスフィルタリングや非可逆圧縮など）を施された場合にも、ＩＤ１（重要度が大きい）はＩＤ２（重要度が小さい）よりも確実に抽出することが可能となる。
【０１２６】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１２８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３１】
【発明の効果】
以上説明したように、本発明によれば、１つの画像内に複数種類、或いは多ビットの付加情報を埋め込むことが可能である。
【０１３２】
また、上記複数種類、或いは多ビットの付加情報を１画像内に、実画像空間や周波数空間の状態で埋め込む際に、その付加情報の各部分の重要度に応じて、その各部分の以後の取扱いを配慮した埋め込みを行うので、重要度の高い部分の付加情報について、確実にその付加情報を抽出／検出できる。
【図面の簡単な説明】
【図１】本実施形態による電子透かし情報の埋め込み処理を行う情報処理装置の構成を示すブロック図である。
【図２】透かしパターン生成部１０４の細部構成を示すブロック図である。
【図３】４ビットから構成される付加情報Ｉｎｆを、画像データＩに埋め込む場合に用いられる領域情報ｍの一例を示す図である。
【図４】本実施形態の擬似乱数割り当て部２０３で用いられるビット割り当て規則を示す図である。
【図５】上述したようにして生成される、透かしパターンｗｎの一例を説明するための図である。
【図６】式（１）に示した電子透かし埋め込み処理の具体例として、４×４の領域情報ｍを用いた場合の例を説明するための図である。
【図７】２４×２４画素から構成される画像データＩを示す図である。
【図８】本実施形態による付加情報を埋め込むための情報処理装置の動作手順を説明するためのフローチャートである。
【図９】透かしパターン生成部１０４で行われる透かしパターンｗｎの生成手順を説明するためのフローチャートである。
【図１０】本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成を示すブロック図である。
【図１１】第２の実施形態における透かしパターン生成部１００３によって生成された、透かしパターンの一例を示す図である。
【図１２】集積画像についての具体例を説明するための図である。
【図１３】４ビットの付加情報「００１１」が埋め込まれた集積画像から、透かしパラメータｗ１、ｗ２、ｗ３、ｗ４を用いて、付加情報「００１１」を抽出する過程を説明するための図である。
【図１４】本実施形態による付加情報を抽出するための情報処理装置の動作手順を説明するためのフローチャートである。
【図１５】第５の実施形態における領域情報ｍの一例を示す図である。
【図１６】第６の実施形態における電子透かし埋め込み部の構成を示すブロック図である。
【図１７】第６の実施形態における領域情報ｍの一例を示す図である。
【図１８】第５の実施形態における領域情報ｍの変形例を示す図である。
【図１９】第６の実施形態における領域情報ｍの変形例を示す図である。
【図２０】第６の実施形態における電子透かし抽出部の構成を示すブロック図である。
【符号の説明】
１０１、１００１ 画像入力部
１０２ 埋め込み情報入力部
１０３、１００２ 鍵情報入力部
１０４、１００３ 透かしパターン生成部
１０５ 電子透かし埋め込み部
１０６ 画像出力部
２０１ 領域情報生成部
２０２ 擬似乱数発生部
２０３ 擬似乱数割り当て部
１００４ 電子透かし抽出部
１００５ 電子透かし出力部
【発明の属する技術分野】
本発明は、画像データに対して人間の目に見えにくいように、電子透かしによって、付加情報を埋め込む情報処置装置及びその制御方法、並びに、付加情報が埋め込まれた画像データから付加情報を抽出する情報処理装置及びその制御方法に関する。
【０００２】
【従来の技術】
近年、コンピュータとそのネットワークの急速な発達及び普及により、文書データ、画像データ、音声データ等の様々な情報がディジタル化されている。ディジタル情報は、経年変化による劣化がなく、いつまでも完全な状態で保存できる一方、第三者による複製が容易であり、著作権の保護が大きな問題となっている。このような背景から、著作権保護のためのセキュリティ技術の重要性が急速に増している。
【０００３】
著作権を保護する技術の一つとして「電子透かし」がある。電子透かしとは、ディジタル化された画像データ、音声データ、文書データ等に、人が知覚しにくいように著作権保有者の名前や購入者のＩＤ等の情報を埋めこみ、違法な複製によるコンテンツの無断使用を追跡する技術である。
【０００４】
従来、電子透かしを埋め込む手法として、擬似乱数列を用いる方法が知られている。例えば、複数種類の付加情報の何れか１つを埋め込める様にする為には、上記各付加情報に１対１で対応する様な各擬似乱数列を準備し、埋め込みたい１つの付加情報に対応する擬似乱数列を用いて画像データを変調することにより、その付加情報を埋め込む技術が知られている。
【０００５】
この技術では、埋め込み後の画像データからは、埋め込み時に使用した擬似乱数列に対応する擬似乱数列を用いて畳み込み演算することにより、付加情報を抽出することが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術は、１画像に対して何れか１つの擬似乱数列を用いて、１種類の付加情報を埋め込むのが通常であり、埋め込み可能な付加情報量を増加させるための技術は未だ確立していなかった。
【０００７】
本発明は上記従来例に鑑みて成されたものであり、１つの画像内に複数種類、或いは多ビットの付加情報を埋め込める様にすることを主な目的とする。
【０００８】
更に、本発明は、上記複数種類、或いは多ビットの付加情報を１画像内に、実画像空間や周波数空間の状態で埋め込む際に、その付加情報の各部分の重要度に応じて、その各部分の以後の取扱いを配慮した埋め込みを行うことにより、
重要度の高い部分の付加情報について、確実にその付加情報を抽出／検出できる様にすることを別の目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データに電子透かし情報を埋め込む情報処理装置であって、前記画像データが表す実画像空間／周波数空間における、少なくとも二つの領域を特定する領域情報を発生する領域情報発生手段と、互いに異なる少なくとも２つの係数値系列を設定する係数値系列発生手段と、前記領域情報で特定された夫々の領域に対して、埋め込むべき電子透かし情報に基づいて前記係数値系列を割り当て、透かしパターンを生成する透かしパターン生成手段と、前記画像データを前記透かしパターンを用いて変更することで、電子透かし情報を埋め込む埋め込み手段と、を備え、前記透かしパターン生成手段は、前記電子透かし情報、及び前記電子透かし情報の重要度に応じて、前記領域情報で特定された夫々の領域に対して、前記係数値系列を割り当てることを特徴とする。
【００１０】
また、本発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にＱ×ｎビットの電子透かし情報を埋め込む情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段と、埋め込むべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、前記画像データを複数の画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素データに対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み手段とを備え、前記埋め込み手段は、前記画素ブロックをＱ個の領域に分け、各領域に対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする。
【００１１】
さらに、本発明は、人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、該電子透かし情報を抽出する情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段と、抽出すべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、前記画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、該画素ブロックの画素データの平均値との相関を算出する相関算出手段と、２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出手段とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態による情報処理装置について説明する。
【００１３】
＜第１の実施形態＞
最初に、電子透かしによって付加情報の埋め込み処理を行う情報処理装置について説明する。図１は、本実施形態による電子透かし情報の埋め込み処理を行う情報処理装置の構成を示すブロック図である。
【００１４】
図１に示すように、本発明における情報処理装置は、付加情報Ｉｎｆが埋め込まれる画像データＩを入力するための画像入力部１０１と、付加情報Ｉｎｆを入力するための埋め込み情報入力部１０２と、付加情報Ｉｎｆの埋め込みの際に用いられる鍵情報ｋを入力するための鍵情報入力部１０３と、付加情報Ｉｎｆと鍵情報ｋとから、画像データＩに埋め込む透かしパターンｗｎ（ｎ＝１，２，・・・）を生成する透かしパターン生成部１０４と、透かしパターンｗｎを画像データＩに埋め込む電子透かし埋め込み部１０５と、付加情報Ｉｎｆが埋め込まれた画像データＩ’を出力する画像出力部１０６とから構成される。
【００１５】
画像入力部１０１は、ネットワークあるいは外部機器等から直接、画像データＩを本情報処理装置内に入力するための端子、あるいは、媒体上に形成された画像を読み取って画像データＩに変換する読取装置である。本実施形態では、簡単化のため、画像データＩは白黒の多値画像を表現しているものとする。しかし、本発明で埋め込み可能な画像データは、白黒画像データに限定されない。例えば、複数の色成分からなるカラー画像データであってもよい。
【００１６】
カラー画像データに対して電子透かし情報を埋め込む場合、例えば、その複数の色成分であるＲＧＢ成分や、輝度、色差成分のそれぞれの成分を白黒の多値画像と同様に扱うようにして、各成分に対して電子透かし情報を埋め込むことによって実現することができる。また、このような場合には、白黒の多値画像へ電子透かし情報を埋め込む場合と比較して、約３倍のデータ量を埋め込むことが可能となる。その逆に、複数成分のうちの一部の成分のみに電子透かし情報を埋め込む様にしても良く、その場合には、埋め込み可能なデータ量は白黒画像データに埋め込む場合と同じだが、その埋め込みの対象となる成分を他者から特定しにくくする効果が有る。
【００１７】
また、埋め込み情報入力部１０２及び鍵情報入力部１０３は、ネットワークあるいは外部機器等から付加情報Ｉｎｆ及び鍵情報ｋを本情報処理装置内に入力するための端子、あるいは、直接入力するためのキーボード等の入力装置である。
【００１８】
埋め込み情報入力部１０２から入力される付加情報Ｉｎｆは、上述した画像データＩに対して電子透かしによって埋め込まれる、バイナリデータ列からなるデータである。すなわち、付加情報Ｉｎｆは、「０」又は「１」のいずれかを表すビットの数個の組み合わせによって構成される情報である。そして、この数ビットの付加情報Ｉｎｆが、画像データＩの著作者を特定する著作権情報や、画像データＩの利用者を特定する利用者情報を表す。
【００１９】
尚、上記付加情報Ｉｎｆ自身が、第三者に容易に悪用されないように暗号化されていてもよい。さらに、当該付加情報Ｉｎｆが電子透かしによって埋め込まれた画像データＩから、悪意を持った人間によって、埋め込まれた付加情報Ｉｎｆを抽出できないように内容変更が施された場合でも、正しくその付加情報Ｉｎｆを抽出できるように、誤り訂正符号化が施されてもよい。
【００２０】
尚、付加情報Ｉｎｆが埋め込まれている画像データＩ’に対する内容変更には、上述したような第三者からの故意によるものだけでなく、故意ではない内容変更もある。例えば、画像の非可逆圧縮、輝度補正、幾何変換、フィルタリング等の画像処理を施すことによって、結果として、電子透かし情報に影響を及ぼすこともある。尚、暗号化や誤り訂正符号化などの処理の詳細は公知であるので、本実施形態での説明は省略する。
【００２１】
また、鍵情報入力部１０３から入力される鍵情報ｋは、付加情報Ｉｎｆの埋め込みや抽出の際に必要とされる情報のことである。本実施形態における鍵情報ｋには、整数のＬビットで表される実数の情報を用いる。例えば、「０１０１０１０１」は、Ｌ＝８の正数として表現された鍵情報であり、正の整数として表現する場合には「８５」として与えられる。
【００２２】
また、鍵情報ｋは、後述する擬似乱数発生部２０２に出力され、そこで実行される擬似乱数発生処理の際の初期値として与えられる。そして、本実施形態で説明する電子透かしを埋め込むための情報処理装置と、後述する電子透かしを抽出するための情報処理装置において、共通の鍵情報ｋを使用した場合に限り、同一の擬似乱数を発生させることができるので、電子透かしとして埋め込まれている付加情報Ｉｎｆを正しく抽出することが可能であるようにする。これによって、鍵情報ｋを知っている利用者だけが、画像データＩ’に埋め込まれた付加情報Ｉｎｆを正しく抽出することができる。
【００２３】
次に、透かしパターン生成部１０４の細部構成について説明する。図２は、透かしパターン生成部１０４の細部構成を示すブロック図である。図２に示すように、透かしパターン生成部１０４は、領域情報生成部２０１と、擬似乱数発生部２０２と、擬似乱数割り当て部２０３とから構成される。
【００２４】
一方、領域情報生成部２０１によって、生成された領域情報ｍが擬似乱数割り当て部２０３に出力される。領域情報ｍとは、付加情報Ｉｎｆを構成する各ビットの位置と、それぞれのビットが埋め込まれる画像データＩ上の画素位置を対応付けるために用いられる行列で与えられた少領域内の各画素の属性情報である。図３は、４ビットから構成される付加情報Ｉｎｆを、画像データＩに埋め込む場合に用いられる領域情報ｍの一例を示す図である。
【００２５】
図３に示される例は、４ビットの付加情報Ｉｎｆを埋め込むために用いられる、４×４の領域情報ｍである。本実施形態では、領域情報ｍに示される領域と付加情報Ｉｎｆのビット位置が対応付けられているものとする。そして、領域情報ｍ内の各要素に対して、第１の領域には「Ａ」、あるいは、第２の領域には「Ｂ」というように領域内の各画素に対して属性情報が割り当てられている。具体的には、領域情報ｍに示される第１の領域Ａに対して、４ビットの付加情報Ｉｎｆにおけるビット位置「１」のビット情報（最上位ビット）とビット位置「２」のビット情報（最上位ビットの次のビット）が埋め込まれる。
【００２６】
同様にして、領域情報ｍに示される第２の領域Ｂに対して、付加情報Ｉｎｆのビット位置「３」のビット情報（最上位ビットから３番目のビット）とビット位置「４」のビット情報（最上位ビットから４番目のビット）が埋め込まれる。これによって、４×４の大きさの画素内に４ビットの付加情報を埋めることが可能となる。
【００２７】
次に、擬似乱数発生部２０２では、入力された鍵情報ｋを初期値として、第１の擬似乱数列ｒ１と第２の擬似乱数列ｒ２とが生成される。生成された第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２は、擬似乱数割り当て部２０３に出力される。ここで、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２には、｛−１，１｝の範囲に含まれる一様分布に従う実数列を用いる。擬似乱数列を生成する方法は公知の技術であるため、本実施形態での説明は省略する。
【００２８】
さらに、擬似乱数割り当て部２０３には、領域情報生成部２０１で生成された領域情報ｍと、擬似乱数発生部２０２で発生した、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２と、埋め込み情報入力部１０２からの付加情報Ｉｎｆとが入力される。そして、入力された第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２の各要素が、付加情報Ｉｎｆのビット数によって定められる領域情報ｍの所定の要素に割り当てられる。尚、領域情報ｍの所定の要素に乱数列が割り当てられた行列のことを、本実施形態では透かしパターンｗｎと呼ぶことにする。
【００２９】
ここで、第１の擬似乱数列ｒ１及び第２の擬似乱数列ｒ２の各要素を、領域情報ｍの所定の要素に割り当てる処理の詳細について説明する。
【００３０】
本実施形態では、付加情報Ｉｎｆを４ビットとし、図３に示した４×４の領域情報ｍを用いる。前述したように、領域情報ｍと２つの擬似乱数列（第１の擬似乱数列ｒ１、第２の擬似乱数列ｒ２）を用いることにより４ビットの付加情報を埋め込むことが可能である。以降では、４ビットの付加情報について、最初の２ビットを第１のビットセット、次の２ビットを第２のビットセットと呼ぶ。
【００３１】
まず、第１のビットセットを領域情報ｍに示す第１の領域に割り当てる。第１の領域は、上述したように、値として「Ａ」を持つ要素である。尚、割り当ての際、領域情報ｍに示す領域情報内の各要素のうち、第１の領域についてラスター走査し、図４に示すビット割り当て規則と第１のビットセットに従って、順に、第１の擬似乱数列ｒ１、あるいは第２の擬似乱数列ｒ２のいずれかの要素を割り当てる。図４は、本実施形態の擬似乱数割り当て部２０３で用いられるビット割り当て規則を示す図である。
【００３２】
すなわち、第１の領域Ａに埋め込まれる付加情報の第１のビットセットが「００」の場合は、第１の擬似乱数列ｒ１内の各擬似乱数の符号を変化させないで、「Ａ」の属性を持つ画素の位置に対してラスター走査順に擬似乱数を一つずつ割り当てる。同様にして、埋め込まれる付加情報の第１のビットセットが「０１」の場合は、第１の擬似乱数列ｒ１内の各擬似乱数の符号を逆にして（すなわち、各擬似乱数に−１を乗算して）、同様にして順に一つずつ割り当てる。また、付加情報の第１のビットセットが「１０」のときは、第２の擬似乱数列ｒ２内の擬似乱数の符号を変化させずに、付加情報の第１のビットセットが「１１」のときは、第２の擬似乱数列ｒ２内の擬似乱数の符号を逆にして割り当てる。
【００３３】
次に、第２のビットセットを領域情報ｍに示す第２の領域に割り当てる。第２の領域は、上述したように、値として「Ｂ」をもつ要素である。尚、割り当ての際、領域情報ｍに示す領域情報内の各要素のうち、第２の領域をラスタ走査し、図４に示すビット割り当て規則と第２のビットセットに従って、第１のビットセットの場合と同様にして、第２の擬似乱数列ｒ２、あるいは第１の擬似乱数列ｒ１のいずれかの要素を割り当てる。
【００３４】
図５は、上述したようにして生成される、透かしパターンｗｎの一例を説明するための図である。図５では、埋め込まれる付加情報Ｉｎｆとして「００１１」という４ビットの情報を用い、第１のビットセット「００」に対応する第１の擬似乱数列ｒ１の「＋ｒ１」の擬似乱数ｒ１＝｛０．７，−０．６、−０．２，０．１，０．５、−０．３、−０．９．０．４｝という実数列が第１の領域Ａに対して割り当てられる。また、第２のビットセット「１１」に対応する第２の擬似乱数列ｒ２の「−ｒ２」を割り当てるため、ｒ２＝｛０．２、−０．６、−０．５，０．１，０．３、−０．９、−０．６，０．８｝に対して符号を逆にした実数列が割り当てられた場合の例が示されている。図５において、符号５０１は、第１のビットセット「００」を埋め込むための透かしパターンｗ１を示す。また、符号５４０２は、第２のビットセット「１１」を埋め込むための透かしパターンｗ２を示す。
【００３５】
尚、上述した実施形態においては、４ビットの付加情報を埋め込むために４×４の大きさの領域情報ｍを用いたが、本発明はこれに限られない。例えば、１ビット埋め込むために更に多くの画素を利用し、より大きなサイズの領域情報ｍを用いる場合も本発明の範疇に含まれる。そして、より大きなサイズの領域情報を用いた場合には、擬似乱数列もより長い実数列を用いることができる。これによって、より長い実数列を用いることによって、付加情報Ｉｎｆが埋め込まれているにも関わらず、集積画像と透かしパターンｗ１、ｗ２、…、ｗｎとの相関係数が小さくなることを防ぐことができる。例えば、６４ビットの付加情報を埋め込むために、充填率を５０％として、２５６×２５６の領域情報を用いる。この場合、１ビット埋め込むために５１２画素使用することになる。
【００３６】
次に、電子透かし埋め込み部１０５について説明する。電子透かし埋め込み部１０５には、画像データＩ及び透かしパターンｗｎが入力される。そして、画像データＩに透かしパターンｗｎが埋め込まれ、透かしパターンｗｎが埋め込まれた画像データＩ’が出力される。
【００３７】
電子透かし埋め込み部１０５の処理の詳細について説明する。電子透かし埋め込み部１０５では、次式に従って、電子透かしの埋め込み処理が実行される。
【００３８】
ここで、I’i,jは、電子透かしが埋め込まれた画像データを示す。また、Ii,jは、電子透かしが埋め込まれる前の画像データを示す。また、ｗｎi,jは透かしパターンを示す。但し、ｎは埋め込まれる付加情報Ｉｎｆのビット位置及び付加情報Ｉｎｆのビット位置に対応する透かしパターンｗｎを示す整数、ｉ，ｊはそれぞれ画像データＩ及びＩ’、透かしパターンｗｎのｘ座標及びｙ座標を表すパラメータを示す。また、ａは電子透かしの強度を設定するための係数である。例えば、４ビットから構成される付加情報Ｉｎｆを埋め込むために、ｎは１から２までの値をとる。
【００４０】
係数ａの値を大きく設定することによって耐性の強い電子透かしを埋め込むことが可能であるが、反面、画質劣化が大きくなる。一方、ａの値を小さく設定することによって電子透かしの耐性は弱くなるが、画質劣化を小さくすることが可能である。このようにして、領域情報ｍの構成と同様に係数ａの値を適切に設定することにより、電子透かしの内容変更に対する耐性と電子透かしを埋め込んだ後の画像の画質のバランスを設定することが可能である。
【００４１】
図６は、式（１）に示した電子透かし埋め込み処理の具体例として、４×４の領域情報ｍを用いた場合の例を説明するための図である。図６において、符号６０１は式（１）における画像データＩ’、符号６０２は画像データＩ、符号６０３は透かしパラメータｗｎを表す。また、Ｅは、符号６０１〜６０３の行列と同じ大きさの単位行列である。式（１）における演算は、図６に示されるような行列内の各要素に対して実行される。
【００４２】
図６に示されるパラメータを式（１）を用いて４×４の大きさの領域内で演算する処理は、実際には入力された画像データＩの全体に対して繰り返し実行される。例えば、図７は、２４×２４画素から構成される画像データＩを示す図である。図７に示すように、入力された画像データＩは、４×４画素から構成される互いに重ならないブロックに分割され、分割されたそれぞれのブロックに対して、上述したような、図６のパラメータを用いて式（１）に示した同じ演算処理が繰り返し実行される。このように図６のパラメータを用いて式（１）に示された処理が実行されるブロックを、「マクロブロック」と呼ぶ。
【００４３】
全てのマクロブロックに対して繰り返し、電子透かしによる付加情報の埋め込み処理を実行することにより、画像全体に対して付加情報を埋め込むことが可能である。尚、本実施形態では、１つのマクロブロックにはｎビットから構成される付加情報Ｉｎｆを埋め込むことができる。このことから、少なくとも１つのマクロブロックからは、ｎビットの付加情報Ｉｎｆを抽出することができる。すなわち、ｎビットの付加情報Ｉｎｆが埋め込まれた画像データからその付加情報Ｉｎｆを抽出するためには、画像データＩの全体の情報を必要とせず、画像データＩの一部（少なくともｎビットの付加情報が埋め込まれた１つのマクロブロック）があれば十分である。
【００４４】
このように、画像データＩの一部から電子透かしを完全に抽出可能であることを「切り取り耐性がある」と呼ぶ。そして、マクロブロック単位の電子透かし埋め込み処理を画像全体に繰り返し実行することにより、電子透かしに切り取り耐性を持たせることが可能である。
【００４５】
すなわち、この発明は、画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にｎビットの電子透かし情報を埋め込む情報処理装置であって、互いに異なる２n-2通りの係数値配列を設定する設定手段（透かしパターン生成部１０４）と、埋め込むべきｎビットの電子透かし情報に基づいて、係数値配列のいずれか１つを選択する選択手段（透かしパターン生成部１０４）と、画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み手段（電子透かし埋め込み部１０５）とを備え、画素ブロックの画素群をＱ個のグループに分け、各グループに対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする。
【００４６】
さらに、本発明は、所定の鍵情報を入力する鍵情報入力手段（鍵情報入力部１０３）をさらに備え、設定手段（透かしパターン生成部１０４）が、入力された鍵情報にしたがって係数値配列を設定することを特徴とする。
【００４７】
さらにまた、本発明は、疑似乱数列を用いて互いに異なる係数値配列を生成する疑似乱数生成手段（疑似乱数発生部２０２）をさらに備えることを特徴とする。
次に、上述した構成によって付加情報を画像データに埋め込む情報処理装置の動作手順について説明する。図８は、本実施形態による付加情報を埋め込むための情報処理装置の動作手順を説明するためのフローチャートである。
【００４８】
まず、画像入力部１０１から、付加情報Ｉｎｆを埋め込む先の画像データＩが入力される（ステップＳ８０１）。次に、埋め込み情報入力部１０２から、画像データＩに埋め込む付加情報Ｉｎｆが入力される（ステップＳ８０２）。さらに、鍵情報入力部１０３から、画像データＩに付加情報Ｉｎｆを埋め込む際に用いられる鍵情報ｋが入力される（ステップＳ８０３）。尚、画像データＩと付加情報Ｉｎｆと鍵情報ｋの入力順は、この順に限られず、また同時であってもよい。
【００４９】
そして、入力された付加情報Ｉｎｆ及び鍵情報ｋは、透かしパターン生成部１０４に出力され、そこで透かしパターンｗｎが生成される（ステップＳ８０４）。図９は、透かしパターン生成部１０４で行われる透かしパターンｗｎの生成手順を説明するためのフローチャートである。透かしパターン生成部１０４では、領域情報生成部２０１において、付加情報Ｉｎｆの大きさに基づいて、付加情報Ｉｎｆのビット数分の種類の属性情報を有する領域に分割された領域情報ｍが生成される（ステップＳ８０４ａ）。また、入力された鍵情報ｋを初期値として、擬似乱数発生部２０２において擬似乱数（例えば、上述したｒ１、ｒ２）を発生させる（ステップＳ８０４ｂ）。さらに、領域情報ｍと擬似乱数ｒ１及びｒ２と付加情報Ｉｎｆが擬似乱数割り当て部２０３に入力され、そこで透かしパターン（例えば、上述したｗ１、ｗ２）が生成される（ステップＳ８０４ｃ）。
【００５０】
こうして生成された透かしパターンが電子透かし埋め込み部１０５に入力され、そこで電子透かし埋め込み済みの画像データＩ’が生成される（ステップＳ８０５）。この画像データＩ’は、画像出力部１０６から電子透かしの埋め込み処理部の最終的な出力として出力される（ステップＳ８０６）。
【００５１】
尚、本実施形態では、１枚の画像データを４×４画素のブロックに分割して、４ビットを埋め込む方法について記述したが、各ブロックに４ビット以上の電子透かし情報を埋め込んでもよい。また、１枚の画像データを複数の領域に分割し、各領域に対して上述した電子透かし情報埋め込み方法を適用することも可能である。この場合、例えば、画像データをｐ個の領域に分割し、各領域にｑビットの電子透かし情報を埋め込むとすると、当該画像データにはｐ×ｑビットの電子透かし情報を埋め込むことができる。
【００５２】
＜第２の実施形態＞
次に、第１の実施形態に示された方法によって画像に埋め込まれた電子透かし情報の抽出処理を行う情報処理装置について説明する。図１０は、本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成を示すブロック図である。
【００５３】
図１０に示すように、電子透かし情報を抽出するための情報処理装置は、電子透かし埋め込み済みの画像データＩ”を入力するための画像入力部１００１と、付加情報Ｉｎｆ’の抽出に用いられる鍵情報を入力するための鍵情報入力部１００２と、透かしパターンを生成する透かしパターン生成部１００３と、付加情報Ｉｎｆ’を抽出する電子透かし抽出部１００４と、抽出した付加情報を出力する電子透かし出力部１００５とから構成される。
【００５４】
まず、画像入力部１００１について説明する。画像入力部１００１には、電子透かしが埋め込まれている可能性がある画像データＩ”が入力される。ここで、画像入力部１００１の動作は、前述した画像入力部１０１と同様であるので詳細な動作の説明は省略する。
【００５５】
尚、画像入力部１００１から入力される画像データＩ”は、前述した電子透かし埋め込み部１０５によって付加情報が埋め込まれた画像データＩ’だけに限定されない。すなわち、付加情報が埋め込まれた画像データＩ’であってもよいし、画像データＩ’が内容変更された画像データであってもよい。更に、付加情報が何も埋め込まれていない画像データＩであってもよい。
【００５６】
次に、鍵情報入力部１００２について説明する。鍵情報入力部１００２からは、埋め込まれた付加情報を抽出するための鍵情報ｋが入力される。ここで、入力される鍵情報ｋは、第１の実施形態における鍵情報入力部１０３から入力されたものと同一でなければならない。すなわち、鍵情報入力部１０３から入力された鍵情報ｋと異なる鍵情報が入力された場合には、付加情報を埋め込んだときと同一の擬似乱数列を発生させることができないので、画像データに埋め込まれた付加情報を正しく抽出することができない。したがって、正しい鍵情報ｋを知る利用者だけに、正しい付加情報を抽出されるようにすることができる。
【００５７】
次に、透かしパターン生成部１００３について説明する。透かしパターン生成部１００３には、鍵情報生成部１００２から鍵情報ｋが入力され、入力された鍵情報ｋに基づいて透かしパターンｗｎが生成され、生成された透かしパターンｗｎが出力される。透かしパターン生成部１００３は、透かしパターン生成部１０４と同様に、図２に示される各部を構成要素とし、透かしパターン生成部１０４とほぼ同様の処理が実行される。但し、擬似乱数割り当て部で実行される処理が第１の実施形態とは異なるので、ここでは擬似乱数割り当て部の処理について説明する。
【００５８】
透かしパターン生成部１００３における擬似乱数割り当て部には、領域情報生成部で生成された領域情報ｍ、擬似乱数発生部で発生した第１の擬似乱数列ｒ１、第２の擬似乱数列ｒ２が入力され、第１の擬似乱数列、及び第２の擬似乱数列が領域情報ｍに従って割り当てられ、透かしパターンｗｎとして出力される。
【００５９】
すなわち、透かしパターン生成部１００３においては、まず、領域情報ｍに示す領域情報内の各要素のうち、値として「Ａ」を持つ要素である第１の領域をラスター走査して、第１の擬似乱数列ｒ１内の各擬似乱数を順に割り当てる。次に、値として「Ａ」を持つ要素の第１の領域をラスター走査して、第２の擬似乱数列ｒ２内の各擬似乱数を順に割り当てる。さらに、領域情報ｍに示す領域情報内の各要素のうち、値として「Ｂ」を持つ要素である第２の領域をラスター走査して、第１の擬似乱数列ｒ１内の擬似乱数を順に割り当てる。そして、値として「Ｂ」を持つ要素の第２の領域をラスター走査して、第２の擬似乱数列ｒ２内の各擬似乱数を順に割り当てる。
【００６０】
図１１は、第２の実施形態における透かしパターン生成部１００３によって生成された、透かしパターンの一例を示す図である。図１１では、第１の擬似乱数列ｒ１として、ｒ１＝｛０．７，−０．６、−０．２，０．１，０．５、−０．３、−０．９．０．４｝という実数列を用い、第２の擬似乱数列ｒ２としてｒ２＝｛０．２、−０．６、−０．５，０．１，０．３、−０．９、−０．６，０．８｝という実数列を用いた。これらの擬似乱数は、上述した実施形態において付加情報を埋め込む場合に使用された擬似乱数と同様のものである。そして、これらの擬似乱数を、領域情報ｍとして図３に示す４×４の大きさの領域情報の例を用いた場合に生成されるＡ、Ｂの領域にｒ１、ｒ２を割り当てることによって、透かしパターンｗ１〜ｗ４が生成される。
【００６１】
次に、電子透かし抽出部１００４について説明する。電子透かし抽出部１００４には、画像データＩ”及び透かしパターンｗ１、ｗ２、ｗ３、ｗ４が入力される。そして、透かしパターンｗ１、ｗ２、ｗ３、ｗ４を用いて画像データＩ”から付加情報Ｉｎｆ’が抽出される。尚、抽出された付加情報Ｉｎｆ’は、通常、埋め込んだ付加情報Ｉｎｆに等しいが、電子透かしを埋め込んだ画像データＩ’が種々の内容変更を受けている場合には、必ずしも付加情報Ｉｎｆと付加情報Ｉｎｆ’は一致しないこともある。
【００６２】
本実施形態において、電子透かし抽出部１００４では、入力された画像データＩ”から生成された集積画像と透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相互相関がそれぞれ計算される。ここで、集積画像とは、入力された画像データＩ”をマクロブロックの大きさ（領域情報の大きさ）の互いに重ならないブロックに分割し、分割されたそれぞれのブロックの要素の値の平均値を算出した画像である。
【００６３】
図１２は、集積画像１２０２についての具体例を説明するための図である。図１２では、４×４画素の透かしパターンと２４×２４画素の画像１２０１が入力された場合の集積画像の例が示されている。図１２において、符号１２０１は、２４×２４画素の画像データ１２０１が、４×４画素の互いに重ならないブロックに分割されている場合の例である。図１２では、画像データ１２０１は、３６個のブロックに分割されている。この３６個のブロックの各要素の値の平均値を求めたものが集積画像１２０２である。そして、電子透かし抽出部１００４では、このようにして生成された集積画像１２０２と透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相互相関がそれぞれ計算される。
【００６４】
次に、相関係数を計算する具体的な方法について、集積画像１２０２と透かしパターンｗｎの相関係数ρを計算する場合を用いて説明する。相関係数ρは、集積画像をｃとし、透かしパターンをｗｎとすると、それらの間の類似度を測定する統計量であり、次式で表すことができる。
【００６５】
【数２】
ここで、ｃ’及びｗｎ’は、集積画像ｃ、透かしパターンｗｎのそれぞれの要素から、それぞれの行列の要素の平均値を減算した値を要素とする行列である。本実施形態では、自然画像内の４×４画素の大きさの範囲では、極端に画素値が変化する場合が少ないと考えられるので、集積画像平均値を減算した値を要素を用いた。また、ｃTは、ｃの転置行列である。これによって、相関係数ρは、−１から＋１の値の範囲の値となる。
【００６７】
例えば、集積画像と透かしパターンｗｎとの相関係数ρは、正の相関が強い場合は＋１に近づく。一方、集積画像と透かしパターンｗｎとの相関係数ρは、負の相関が強い場合は−１に近づく。ここで、「正の相関が強い」とは、「集積画像が大きいほど透かしパターンｗｎが大きくなる」というような関係である。また、「負の相関が強い」とは、「集積画像が大きいほど透かしパターンｗｎが小さくなる」というような関係である。また、集積画像と透かしパターンｗｎとが無相関の場合、相関係数ρは０となる。
【００６８】
電子透かし抽出部１００４では、上述した手順で算出された相互相関の結果によって、埋め込まれている付加情報Ｉｎｆ’が抽出される。尚、透かしパターンが複数の場合は、集積画像と各透かしパターンｗ１、ｗ２、ｗ３、ｗ４との相関係数をそれぞれ算出し、算出された相互相関の結果により、図４に示されたビット割り当て規則を用いて、埋め込まれている付加情報Ｉｎｆ’が判断される。
【００６９】
このようにして相互相関を求めることは、集積画像と透かしパターンｗ１、ｗ２、…、ｗｎとが、どの程度類似しているかを評価することに等しい。すなわち、図１に示される電子透かし埋め込み部１０５において、集積画像である画像データＩ”の中に、透かしパターンｗ１、ｗ２、…、ｗｎが埋め込まれている場合には、これらは比較的類似しており、この類似の度合いが相互相関値として算出される。また、透かしパターンｗｎが加えられて埋め込まれている場合には相互相関値は正となり、透かしパターンｗｎが減じられている場合には相互相関値は負になる。
【００７０】
以上のことから、領域情報ｍに示す第１の領域Ａに第１の擬似乱数列ｒ１が加えられている場合、透かしパターンｗ１と集積画像との相関係数として、「１」に近い値が得られる。一方、領域情報ｍに示す第１の領域Ａに第１の擬似乱数列ｒ１が減じられている場合、透かしパターンｗ１と集積画像との相関係数として、「−１」に近い値が得られる。さらに、領域情報ｍに示す第１の領域に第１の擬似乱数列ｒ１が加えられているか、あるいは、減じられている場合には、透かしパターンｗ２と集積画像との相関係数として「０」に近い値が得られる。
【００７１】
以上のように、全ての透かしパターンｗ１、ｗ２、ｗ３、ｗ４と集積画像との相関係数を算出する。こうして得られた相関係数から、図４に示したビット割り当て規則に基づいて、埋め込まれているビットセットを判断し、付加情報Ｉｎｆを抽出することが可能である。
【００７２】
図１３は、４ビットの付加情報「００１１」が埋め込まれた集積画像から、透かしパラメータｗ１、ｗ２、ｗ３、ｗ４を用いて、付加情報「００１１」を抽出する過程を説明するための図である。
【００７３】
まず、集積画像と４ビットの付加情報Ｉｎｆ’に対応した４つの透かしパターンｗ１、ｗ２，ｗ３、ｗ４との相互相関値がそれぞれ算出される。入力された集積画像である画像データＩ’に付加情報Ｉｎｆ’が埋め込まれている場合、相関係数はそれぞれ「＋１，０，０，−１」として算出される。ここで、透かしパターンｗ１及びｗ２と、集積画像との相関係数「＋１，０」から、領域情報ｍに示す第１の領域には第１の擬似乱数列ｒ１が加えられていることがわかる。そこで、図４に示されるビット割り当て規則により、第１のビットセットは「００」であると判断することができる。
【００７４】
また、透かしパターンｗ３、透かしパターンｗ４、集積画像の相関係数「０，−１」から、領域情報ｍに示す第２の領域には第２の擬似乱数列ｒ２が減じられていることがわかる。そこで、図４に示されるビット割り当て規則により、第２のビットセットは「１１」であると判断することができる。以上のようにして、埋め込まれている付加情報Ｉｎｆ’「００１１」を抽出することが可能である。
【００７５】
このようにして抽出された付加情報Ｉｎｆ’は、電子透かし出力部１００５から外部に出力される。この際、図１に示される電子透かし埋め込み部１０５において付加情報Ｉｎｆが埋め込まれる時に、誤り訂正符号化処理や暗号化処理が施されている場合には、それぞれ誤り訂正復号処理や暗号復号処理を実行するようにする。この場合は、その後、得られた情報が最終的に抽出されたバイナリデータ列からなる付加情報Ｉｎｆ’として出力されることになる。
【００７６】
上述した実施形態においては、４ビットの情報を埋め込むための領域情報ｍとして第１の領域Ａ及び第２の領域Ｂを用い、擬似乱数列として第１の擬似乱数列ｒ１と第２の擬似乱数列ｒ２を用いた。しかしながら、本発明はこれに限定されるものではなく、領域情報ｍとしてｓ個の領域を用い、擬似乱数列としてｔ個の擬似乱数列を用いることによって、ｓ×ｔビットの情報を埋め込むことが可能である。
【００７７】
すなわち、本発明は、人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、電子透かし情報を抽出する情報処理装置であって、互いに異なる２n通りの係数値配列を設定する設定手段（透かしパターン生成部１００３）と、埋め込むべきｎビットの電子透かし情報に基づいて、係数値配列のいずれか１つを選択する選択手段（透かしパターン生成部１００３）と、画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、画素ブロックの画素データの平均値との相関を算出する相関算出手段（透かしパターン生成部１００３）と、２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、画素ブロックを補正した一の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出手段（電子透かし抽出部１００４）とを備えることを特徴とする。
【００７８】
また、本発明は、相関算出手段（透かしパターン生成部１００３）が、画像データにおいて分割された所定の画素ブロックの平均画素ブロックを生成する平均値生成手段をさらに備え、抽出手段（電子透かし抽出部１００４）が、生成された平均画素ブロックと２n通りの係数値配列についての算出された相関に基づいて、画素ブロックを補正した一の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出することを特徴とする。
【００７９】
さらに、本発明は、電子透かし情報が埋め込まれた際に使用された鍵情報を入力する鍵情報入力手段（鍵情報入力部１００２）をさらに備え、設定手段（透かしパターン生成部１００３）が、入力された鍵情報に基づいて、互いに異なる２n通りの係数値配列を設定することを特徴とする。
【００８０】
次に、上述した構成によって、画像データ中に埋め込まれた付加情報を抽出する情報処理装置の動作手順について説明する。図１４は、本実施形態による付加情報を抽出するための情報処理装置の動作手順を説明するためのフローチャートである。
【００８１】
まず、画像入力部１００１から、付加情報が埋め込まれている画像データＩ”が入力される（ステップＳ１４０１）。次に、鍵情報入力部１００２から、画像データＩ”から付加情報を抽出する際に用いられる鍵情報ｋが入力される（ステップＳ１４０２）。尚、画像データＩ”と鍵情報ｋの入力順は、この順に限られず、また同時であってもよい。また、鍵情報ｋは第１の実施形態で入力された付加情報を埋め込む際に用いられた鍵情報ｋと同一のものである。
【００８２】
そして、入力された鍵情報ｋは、透かしパターン生成部１００３に出力され、そこで透かしパターンｗｎが生成される（ステップＳ１４０３）。て生成された透かしパターンｗｎ及び画像データＩ”が電子透かし抽出部１００４に入力され、そこで上述した相関係数を用いて付加情報Ｉｎｆ’の抽出が行われる（ステップＳ１４０４）。抽出された付加情報Ｉｎｆ’は、電子透かし出力部１００５から最終的な出力として外部へ出力される（ステップＳ１４０５）。
【００８３】
＜第３の実施形態＞
以上、説明した第１の実施形態、及び第２の実施形態は、付加情報Ｉｎｆを効率的に埋め込む例として、４ビットの情報を二つの擬似乱数列（第１の擬似乱数列ｒ１、及び第２の擬似乱数列ｒ２）と二つの２次元の領域（第１の領域Ａ、及び第２の領域Ｂ）を用いて埋め込む方法について述べた。しかしながら本発明はこれに限定されることはない。そこで、本実施形態では、より簡素化した例として、１ビットの情報を埋め込むために一つの１次元の領域と二つの擬似乱数列を用いる例について説明する。
【００８４】
まずはじめに、本実施形態における電子透かし情報の埋め込み処理について説明する。
【００８５】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、擬似乱数割り当て部２０３の動作について詳細に説明する。
【００８６】
擬似乱数割り当て部２０３には一つの１次元領域を表す領域情報ｍ、１ビットから構成される付加情報Ｉｎｆ，及び二つの擬似乱数列ｒ１、及びｒ２が入力される。入力された擬似乱数列ｒ１、及びｒ２は、所定のビット割り当て規則に従って割り当てられ、擬似乱数列ｒ１、及びｒ２が割り当てられた透かしパターンｗが出力される。
【００８７】
ここで、ビット割り当て規則の一例として、付加情報Ｉｎｆがビット「０」である場合には擬似乱数列ｒ１を割り当て、一方で付加情報Ｉｎｆがビット「１」である場合には付加情報ｒ２を割り当てるようにする。更に、割り当てる際には、全ての要素に対してラスタスキャン順に擬似乱数列を割り当てる。即ち、一つの１次元領域に対して擬似乱数列を割り当てる。
【００８８】
こうして擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗを用いて、後段の電子透かし埋め込み部において画像データＩに施される処理は第１の実施形態と同様であるので説明は省略する。
【００８９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【００９０】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施の形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【００９１】
透かしパターン生成部１０４には一つの１次元情報を表す領域情報ｍ、及び二つの擬似乱数列ｒ１、及びｒ２が入力され、擬似乱数列ｒ１、及びｒ２が夫々割り当てられた透かしパターンｗ１、及びｗ２が出力される。ここで、擬似乱数列ｒ１、及びｒ２は本実施の形態において電子透かし埋め込み処理の時に用いられた擬似乱数列ｒ１、及びｒ２と同じでなければならない。更に、割り当てる方法も同様でなければならず、例えば前述したように全ての要素に対してラスタスキャン順に擬似乱数列を割り当てる。
【００９２】
こうして擬似乱数列ｒ１、及びｒ２が割り当てられた二つの透かしパターンｗ１、及びｗ２が擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗ１、及びｗ２を用いて、後段の電子透かし抽出部１００４において画像データＩ''に埋め込まれている付加情報Ｉｎｆ'が抽出される。
【００９３】
電子透かし抽出部１００４においては、第２の実施の形態において説明したように画像データＩ''から集積画像を生成し、生成された集積画像と前記透かしパターンｗ１及びｗ２の相互相関値を算出し、算出された相互相関値から付加情報Ｉｎｆ'を抽出する
例えば、前述したビット割り当て規則によって付加情報Ｉｎｆ'が埋め込まれている場合には、集積画像と擬似乱数列ｒ１との相互相関値が＋１に近い時、付加情報Ｉｎｆ'はビット「０」であると判断する。一方で集積画像と擬似乱数列ｒ２との相互相関値が＋１に近い時、付加情報Ｉｎｆ'はビット「１」であると判断する。こうして抽出された付加情報Ｉｎｆ'が出力される。
【００９４】
＜第４の実施形態＞
以上、説明した第１の実施の形態、第２の実施の形態、及び第３の実施の形態は、数ビットから構成される付加情報Ｉｎｆを埋め込む方法を例をあげて説明した。しかしながら、本発明はこれに限定されることはなく、埋め込むべき付加情報を２以上の複数種類に分類して識別可能な状態において、複数種類の付加情報を埋め込める様にする場合に適宜対応可能な技術である。
本実施形態では、一つの画像内に、二つの領域と２つの擬似乱数列を用いて、２種類の付加情報（即ち、２つのＩＤ）を埋め込む例について説明する。
【００９５】
まずはじめに、本実施形態における電子透かし情報の埋め込み処理について説明する。
【００９６】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、擬似乱数割り当て部２０ ３の動作について詳細に説明する。
【００９７】
擬似乱数割り当て部２０３には二つの領域情報を表す領域情報ｍ、及び２種類の付加情報ＩＤ１とＩＤ２，及び２つの擬似乱数列ｒ１とｒ２が入力される。ここで、二つの領域情報として、本実施形態においては図３に示した領域情報を用いることにする。しかしながら本発明はこれに限定されることなく種々の領域情報を用いることが可能であり、他の領域情報の一例については別の実施形態として後述する。
【００９８】
本実施形態においては、図３に示す領域のうち領域ＡにはＩＤ１、領域ＢにはＩＤ２を埋め込むこととする。更に、入力された付加情報ＩＤ１、及びＩＤ２は、夫々入力された擬似乱数列ｒ１、及びｒ２に対応付けるものとする。即ち、領域Ａには擬似乱数列ｒ１が、領域Ｂには擬似乱数列ｒ２が夫々割り当てられ、擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗを用いて、後段の電子透かし埋め込み部において画像データＩに施される処理は第１の実施の形態と同様であるので説明は省略する。
【００９９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【０１００】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は、図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【０１０１】
透かしパターン生成部１０４には領域情報ｍ、及び２つの擬似乱数列ｒ１、及びｒ２が入力され、擬似乱数列ｒ１、及びｒ２が夫々割り当てられた透かしパターンｗ１、及びｗ２が出力される。ここで、擬似乱数列ｒ１、及びｒ２は本実施の形態において電子透かし埋め込み処理の時に用いられた擬似乱数列ｒ１、及びｒ２と同じでなければならない。
【０１０２】
こうして擬似乱数列ｒ１、及びｒ２が割り当てられた２つの透かしパターンｗ１、及びｗ２が擬似乱数割り当て部２０３から出力される。出力された透かしパターンｗ１、及びｗ２を用いて、後段の電子透かし抽出部１００４において画像データＩ''に埋め込まれている付加情報ＩＤ１及びＩＤ２が抽出される。
【０１０３】
電子透かし抽出部１００４においては、第２の実施形態において説明したように画像データＩ''から集積画像を生成し、生成された集積画像と前記透かしパターンｗ１及びｗ２の相互相関値を算出し、算出された相互相関値から付加情報ＩＤ１及びＩＤ２を抽出する。
【０１０４】
例えば、画像データＩ''と透かしパターンｗ１との相互相関値が所定の値以上である場合、画像データＩ''にはＩＤ１が埋め込まれていると判断する。同様に、画像データＩ''と透かしパターンｗ２との相互相関値が所定の値以上である場合、画像データＩ''にはＩＤ２が埋め込まれていると判断する。このように処理することによって、一つの画像内に複数種類の付加情報を埋め込むことが可能となる。
【０１０５】
＜第５の実施形態＞
前記第４の実施形態においては一つの画像内に、図３に示したような領域情報を用いて２種類の付加情報を埋め込む例について説明した。本実施の形態においては、図３に示した領域情報の他の領域情報を用いる例について説明する。
更に、本実施の形態では、複数種類（ここでは２種類）の付加情報に重要度を設定し、重要度に応じた付加情報の埋め込みを行うことにより、重要度の高い付加情報をより確実に抽出する方法について説明する。
【０１０６】
図１５に本実施形態において用いる領域情報の例を示す。図１５(ａ)及び（ｂ）に示す領域全体は入力された画像データと同じ面積を有する。図１５(ａ)は画像データのうち中心部の領域を領域Ａとし、外枠部の領域を領域Ｂとした場合の領域情報の例である。また、図１５（ｂ）は利用者により指定された任意の領域（被写体や画像中の主要な箇所など）を領域Ａとし、それ以外の領域を領域Ｂとした場合の領域情報の例である。尚、図１５に示す例はいずれも画像中で領域Ａが領域Ｂよりも重要であるとした場合の例であり、各領域の位置関係は任意に設定可能である。
【０１０７】
尚、本実施形態においては図１５に示すように画像データは何れかの領域に必ず含まれるように領域情報を設定した。この場合、画像データ全体に何れかの付加情報が電子透かしとして埋め込まれることになる。しかしながら、本発明はこれに限定されることなく、図１８に示すように領域Ｃを設定し領域Ｃには擬似乱数列を割り当てず、即ちいずれの付加情報も埋め込まれないようにしてもよい。
【０１０８】
更に、本実施形態においては２種類の付加情報ＩＤ１とＩＤ２に重要度を設定する。ここでは、ＩＤ１はＩＤ２よりも重要であると設定する。そして、図１５に示した領域ＡにはＩＤ１（重要度が大きい）、領域ＢにはＩＤ２（重要度が小さい）を割り当てて、埋め込む。このように処理することにより、付加情報が埋め込まれた画像データが、以後に種々の処理（切り取りなど）を施された場合にも、ＩＤ１（重要度が大きい）はＩＤ２（重要度が小さい）よりも確実に抽出することが可能となる。
【０１０９】
＜第６の実施形態＞
第５の実施形態においては、（実画像の）空間領域における領域情報を用い、更に２種類の付加情報に重要度を設定し、前記空間領域における領域情報と重要度に応じて付加情報を埋め込む例について説明した。しかしながら、本発明における領域情報は上記空間領域における領域情報に限定されることなく、空間周波数領域において電子透かしの埋め込みが行われる場合に適用するならば、その空間周波数領域に関する領域情報を用いることになる。以下、この形態について説明する。
【０１１０】
まず、電子透かし情報の埋め込み処理について説明する。
【０１１１】
本実施形態における電子透かし情報の埋め込み処理を行う情報処理装置の構成は図１、及び図２に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち電子透かし埋め込み部１０５、及び擬似乱数割り当て部２０３における動作が第１の実施の形態とは異なる。そこで、以降では、電子透かし埋め込み部１０５、及び擬似乱数割り当て部２０３の動作について詳細に説明する。
【０１１２】
まず、擬似乱数割り当て部２０３の動作について説明する。擬似乱数割り当て部２０３の動作は第４の実施形態と同様である。但し、本実施形態においては領域情報として空間周波数領域の領域情報を用いる。図１７に本実施の形態で用いる領域情報の例を示す。
【０１１３】
図１７(ａ)、（ｂ）、（ｃ）は、後述する空間周波数変換部において夫々離散ウェーブレット変換、離散コサイン変換、離散フーリエ変換を用いた場合の例であり、領域全体の面積は夫々の空間周波数変換の処理単位に等しい。図１７に設定した領域は、各々の空間周波数変換の性質を考慮し、領域Ａとして低周波成分、領域Ｂとして高周波成分が割り当てられるように設定してある。
【０１１４】
尚、本実施の形態においては図１７に示すように画像データは何れかの領域に必ず含まれるように領域情報を設定した。この場合、画像データ全体に何れかの付加情報が電子透かしとして埋め込まれることになる。しかしながら、本発明はこれに限定されることなく、図１９に示すように領域Ｃを設定し領域Ｃには擬似乱数列を割り当てず、即ちいずれの付加情報も埋め込まれないようにしてもよい。
【０１１５】
そして、第５の実施形態で述べたのと同様に、付加情報ＩＤ１とＩＤ２に重要度を設定する。ここでは、ＩＤ１はＩＤ２よりも重要であると設定し、擬似乱数列ｒ１，及びｒ２を、夫々領域Ａ、及び領域Ｂに割り当てる。そして、擬似乱数列が割り当てられた一つの透かしパターンｗが擬似乱数列割り当て部２０３から出力される。
【０１１６】
次に、電子透かし埋め込み部１０５の細部構成について説明する。図１６は、電子透かし埋め込み部１０５の細部構成を示すブロック図である。図１６に示すように、電子透かし埋め込み部１０５は、空間周波数変換部１６１と、加算部１６２と、逆周波数変換部１６３とから構成されている。
【０１１７】
電子透かし埋め込み部１０５に入力された画像データＩは空間周波数変換部１６１において、空間周波数変換処理が施され、空間周波数変換された係数が出力される。ここで、空間周波数変換処理として、離散ウェーブレット変換、離散コサイン変換、離散フーリエ変換などを用いることが可能である。空間周波数変換処理された係数に対して加算部１６２において、入力された透かしパターンｗが加えられる。
【０１１８】
そして、透かしパターンｗが加えられた係数が逆空間周波数変換部１６３に入力され、逆空間周波数変換部１６２において逆周波数変換処理が施されたデータがＩ'として出力される。
【０１１９】
次に、本実施形態における電子透かし情報の抽出処理について説明する。
【０１２０】
本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成は
図２、及び図１０に示したものと同様のものを利用可能である。本実施形態においては、前記情報処理装置のうち透かしパターン生成部１０４、及び電子透かし抽出部１００４における動作が第２の実施の形態とは異なる。そこで、以降では、透かしパターン生成部１０４、及び電子透かし抽出部１００４の動作について説明する。
【０１２１】
まず、透かしパターン生成部１０４の動作について説明する。擬似乱数割り当て部２０３の動作は第４の実施形態と同様である。但し、本実施形態においては領域情報として、前記電子透かし埋め込み処理において用いられたものと同様の領域情報を用いなければならない。
【０１２２】
次に、電子透かし抽出部１００４の細部構成について説明する。図２０は、電子透かし抽出部１００４の細部構成を示すブロック図である。図２０に示すように、電子透かし抽出部１００４は、空間周波数変換部２００１と、相関算出部２００２とから構成されている。
【０１２３】
電子透かし抽出部１００４に入力された画像データＩ''は空間周波数変換部２００１において、空間周波数変換処理が施され、空間周波数変換された係数が出力される。ここで用いる空間周波数変換処理は、前述した電子透かし埋め込み処理において実行された処理と同様の処理でなければならない。
【０１２４】
次に、空間周波数変換処理された係数に対して相関算出部２００２において、入力された透かしパターンｗ１、及びｗ２と空間周波数変換された係数の相互相関値が算出される。そして、透かしパターンｗ１と空間周波数変換された係数の相互相関値が所定の値よりも大きい場合は、画像データＩ''には付加情報ＩＤ１が埋め込まれていると判断する。また、透かしパターンｗ２と空間周波数変換された係数の相互相関値が所定の値よりも大きい場合には、画像データＩ''には付加情報ＩＤ２が埋め込まれていると判断する。
【０１２５】
このように処理することにより、付加情報が埋め込まれた画像データが、以後に種々の処理（ローパスフィルタリングや非可逆圧縮など）を施された場合にも、ＩＤ１（重要度が大きい）はＩＤ２（重要度が小さい）よりも確実に抽出することが可能となる。
【０１２６】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１２８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３１】
【発明の効果】
以上説明したように、本発明によれば、１つの画像内に複数種類、或いは多ビットの付加情報を埋め込むことが可能である。
【０１３２】
また、上記複数種類、或いは多ビットの付加情報を１画像内に、実画像空間や周波数空間の状態で埋め込む際に、その付加情報の各部分の重要度に応じて、その各部分の以後の取扱いを配慮した埋め込みを行うので、重要度の高い部分の付加情報について、確実にその付加情報を抽出／検出できる。
【図面の簡単な説明】
【図１】本実施形態による電子透かし情報の埋め込み処理を行う情報処理装置の構成を示すブロック図である。
【図２】透かしパターン生成部１０４の細部構成を示すブロック図である。
【図３】４ビットから構成される付加情報Ｉｎｆを、画像データＩに埋め込む場合に用いられる領域情報ｍの一例を示す図である。
【図４】本実施形態の擬似乱数割り当て部２０３で用いられるビット割り当て規則を示す図である。
【図５】上述したようにして生成される、透かしパターンｗｎの一例を説明するための図である。
【図６】式（１）に示した電子透かし埋め込み処理の具体例として、４×４の領域情報ｍを用いた場合の例を説明するための図である。
【図７】２４×２４画素から構成される画像データＩを示す図である。
【図８】本実施形態による付加情報を埋め込むための情報処理装置の動作手順を説明するためのフローチャートである。
【図９】透かしパターン生成部１０４で行われる透かしパターンｗｎの生成手順を説明するためのフローチャートである。
【図１０】本実施形態における電子透かし情報の抽出処理を行う情報処理装置の構成を示すブロック図である。
【図１１】第２の実施形態における透かしパターン生成部１００３によって生成された、透かしパターンの一例を示す図である。
【図１２】集積画像についての具体例を説明するための図である。
【図１３】４ビットの付加情報「００１１」が埋め込まれた集積画像から、透かしパラメータｗ１、ｗ２、ｗ３、ｗ４を用いて、付加情報「００１１」を抽出する過程を説明するための図である。
【図１４】本実施形態による付加情報を抽出するための情報処理装置の動作手順を説明するためのフローチャートである。
【図１５】第５の実施形態における領域情報ｍの一例を示す図である。
【図１６】第６の実施形態における電子透かし埋め込み部の構成を示すブロック図である。
【図１７】第６の実施形態における領域情報ｍの一例を示す図である。
【図１８】第５の実施形態における領域情報ｍの変形例を示す図である。
【図１９】第６の実施形態における領域情報ｍの変形例を示す図である。
【図２０】第６の実施形態における電子透かし抽出部の構成を示すブロック図である。
【符号の説明】
１０１、１００１ 画像入力部
１０２ 埋め込み情報入力部
１０３、１００２ 鍵情報入力部
１０４、１００３ 透かしパターン生成部
１０５ 電子透かし埋め込み部
１０６ 画像出力部
２０１ 領域情報生成部
２０２ 擬似乱数発生部
２０３ 擬似乱数割り当て部
１００４ 電子透かし抽出部
１００５ 電子透かし出力部
Claims (16)
- 画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データに電子透かし情報を埋め込む情報処理装置であって、
前記画像データが表す実画像空間／周波数空間における、少なくとも二つの領域を特定する領域情報を発生する領域情報発生手段と、
互いに異なる少なくとも２つの係数値系列を設定する係数値系列発生手段と、
前記領域情報で特定された夫々の領域に対して、埋め込むべき電子透かし情報に基づいて前記係数値系列を割り当て、透かしパターンを生成する透かしパターン生成手段と、
前記画像データを前記透かしパターンを用いて変更することで、電子透かし情報を埋め込む埋め込み手段と、
を備え、前記透かしパターン生成手段は、前記電子透かし情報、及び前記電子透かし情報の重要度に応じて、前記領域情報で特定された夫々の領域に対して、前記係数値系列を割り当てることを特徴とする情報処理装置。 - 画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にＱ×ｎビットの電子透かし情報を埋め込む情報処理装置であって、
互いに異なる２n通りの係数値配列を設定する設定手段と、
埋め込むべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、
前記画像データを複数の画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素データに対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み手段とを備え、
前記埋め込み手段は、前記画素ブロックをＱ個の領域に分け、各領域に対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする情報処理装置。 - 所定の鍵情報を入力する鍵情報入力手段をさらに備え、
前記設定手段が、入力された鍵情報にしたがって係数値配列を設定することを特徴とする請求項２記載の情報処理装置。 - 疑似乱数列を用いて互いに異なる係数値配列を生成する疑似乱数生成手段をさらに備えることを特徴とする請求項２又は３に記載の情報処理装置。
- 人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、該電子透かし情報を抽出する情報処理装置であって、
互いに異なる２n通りの係数値配列を設定する設定手段と、
抽出すべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択手段と、
前記画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、該画素ブロックの画素データの平均値との相関を算出する相関算出手段と、
２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出手段と
を備えることを特徴とする情報処理装置。 - 前記相関算出手段が、
前記画像データにおいて分割された所定の画素ブロックの平均画素ブロックを生成する平均値生成手段をさらに備え、
前記抽出手段が、生成された平均画素ブロックと２n通りの係数値配列についての算出された相関に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する
ことを特徴とする請求項５に記載の情報処理装置。 - 前記電子透かし情報が埋め込まれた際に使用された鍵情報を入力する鍵情報入力手段をさらに備え、
前記設定手段が、入力された鍵情報に基づいて、互いに異なる２n通りの係数値配列を設定する
ことを特徴とする請求項５又は６に記載の情報処理装置。 - 画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データに電子透かし情報を埋め込む情報処理装置の制御方法であって、
前記画像データが表す実画像空間／周波数空間における、少なくとも二つの領域を特定する領域情報を発生する領域情報発生工程と、
互いに異なる少なくとも２つの係数値系列を設定する係数値系列発生工程と、
前記領域情報で特定された夫々の領域に対して、埋め込むべき電子透かし情報に基づいて前記係数値系列を割り当て、透かしパターンを生成する透かしパターン生成工程と、
前記画像データを前記透かしパターンを用いて変更することで、電子透かし情報を埋め込む埋め込み工程と、
を有し、前記透かしパターン生成工程では、前記電子透かし情報、及び前記電子透かし情報の重要度に応じて、前記領域情報で特定された夫々の領域に対して、前記係数値系列を割り当てるすることを特徴とする情報処理装置の制御方法。 - 画像の可視表示状態において、その存在を人間が知覚しにくいように、該画像を表す画像データ中にＱ×ｎビットの電子透かし情報を埋め込む情報処理装置の制御方法であって、
互いに異なる２n通りの係数値配列を設定する設定工程と、
埋め込むべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択工程と、
前記画像データを複数の画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素データに対しても、順次他の係数値を用いて補正することで、ｎビットの電子透かし情報を埋め込む埋め込み工程とを有し、
前記埋め込み工程では、前記画素ブロックをＱ個の領域に分け、各領域に対してｎビットの電子透かし情報を埋め込むことで、Ｑ×ｎビットの電子透かし情報を埋め込むことを特徴とする情報処理装置の制御方法。 - 前記設定工程が、入力された所定の鍵情報にしたがって係数値配列を設定することを特徴とする請求項９に記載の情報処理装置の制御方法。
- 疑似乱数列を用いて互いに異なる係数値配列を生成する疑似乱数生成工程をさらに備えることを特徴とする請求項９又は１０に記載の情報処理装置の制御方法。
- 人間が知覚しにくいように、ｎビットの電子透かし情報が埋め込まれた画像データから、該電子透かし情報を抽出する情報処理装置の制御方法であって、
互いに異なる２n通りの係数値配列を設定する設定工程と、
抽出すべきｎビットの電子透かし情報に基づいて、前記係数値配列のいずれか１つを選択する選択工程と、
前記画像データを所定画素ブロックに分割し、各画素ブロック中の相対的同位置の画素データを、前記選択した係数値配列の所定の係数値を用いて補正し、他の相対的同位置の画素に対しても、順次他の係数値を用いて補正することで得られた補正値と、該画素ブロックの画素データの平均値との相関を算出する相関算出工程と、
２n通りの係数値配列について算出された、所定画素ブロックについての相関の総和に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する抽出工程と
を備えることを特徴とする情報処理装置の制御方法。 - 前記相関算出工程が、
前記画像データにおいて分割された所定の画素ブロックの平均画素ブロックを生成する平均値生成工程をさらに備え、
前記抽出工程が、生成された平均画素ブロックと２n通りの係数値配列についての算出された相関に基づいて、前記画素ブロックを補正した位置の係数値配列を選択し、選択された係数値配列から埋め込まれたビットを抽出する
ことを特徴とする請求項１２記載の情報処理装置の制御方法。 - 前記設定工程が、前記電子透かし情報が埋め込まれた際に使用された鍵情報に基づいて、互いに異なる２n通りの係数値配列を設定する
ことを特徴とする請求項１２又は１３に記載の情報処理装置の制御方法。 - 請求項８から１４までのいずれか１項に記載の情報処理装置の制御方法をコンピュータに実行させるためのプログラム
- 請求項１５に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002003895A JP3937841B2 (ja) | 2002-01-10 | 2002-01-10 | 情報処理装置及びその制御方法 |
| US10/320,463 US7187781B2 (en) | 2002-01-10 | 2002-12-17 | Information processing device and method for processing picture data and digital watermark information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002003895A JP3937841B2 (ja) | 2002-01-10 | 2002-01-10 | 情報処理装置及びその制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003209678A JP2003209678A (ja) | 2003-07-25 |
| JP2003209678A5 JP2003209678A5 (ja) | 2005-07-14 |
| JP3937841B2 true JP3937841B2 (ja) | 2007-06-27 |
Family
ID=19190930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002003895A Expired - Fee Related JP3937841B2 (ja) | 2002-01-10 | 2002-01-10 | 情報処理装置及びその制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7187781B2 (ja) |
| JP (1) | JP3937841B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7392394B2 (en) * | 2001-12-13 | 2008-06-24 | Digimarc Corporation | Digital watermarking with variable orientation and protocols |
| WO2003098540A1 (en) * | 2002-05-14 | 2003-11-27 | Mediasec Technologies, Gmbh | Visible authentication patterns for printed document |
| JP2004040246A (ja) | 2002-06-28 | 2004-02-05 | Canon Inc | 情報処理装置、情報処理方法 |
| JP2004140668A (ja) * | 2002-10-18 | 2004-05-13 | Canon Inc | 情報処理方法 |
| JP2004140667A (ja) * | 2002-10-18 | 2004-05-13 | Canon Inc | 情報処理方法 |
| JP4194462B2 (ja) * | 2002-11-12 | 2008-12-10 | キヤノン株式会社 | 電子透かし埋め込み方法、電子透かし埋め込み装置、及びそれらを実現するプログラム並びにコンピュータ可読記憶媒体 |
| JP2004297778A (ja) * | 2003-03-07 | 2004-10-21 | Canon Inc | 画像データ暗号化方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4612787B2 (ja) * | 2003-03-07 | 2011-01-12 | キヤノン株式会社 | 画像データの暗号化装置の制御方法及び画像データ変換装置の制御方法、及び、それらの装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| AU2003902810A0 (en) * | 2003-06-04 | 2003-06-26 | Commonwealth Scientific And Industrial Research Organisation | Method of encoding a latent image |
| US20050144456A1 (en) * | 2003-12-11 | 2005-06-30 | Tinku Acharya | Robust digital image watermarking utilizing a Walsh transform algorithm |
| JP3944490B2 (ja) * | 2004-02-17 | 2007-07-11 | 株式会社東芝 | 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法、電子透かし埋込プログラムおよび電子透かし検出プログラム |
| EP1589475B1 (de) * | 2004-04-21 | 2006-10-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Versehen von Bild- oder Videodaten mit einem digitalen Wasserzeichen |
| JP2006080623A (ja) * | 2004-09-07 | 2006-03-23 | Canon Inc | 情報処理方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| GB2421133A (en) * | 2004-12-09 | 2006-06-14 | Sony Uk Ltd | Registering a water marked image by calculating distortion vector estimates |
| JP4620443B2 (ja) * | 2004-12-13 | 2011-01-26 | 株式会社トーメーコーポレーション | 眼科装置 |
| JP4310285B2 (ja) * | 2005-02-09 | 2009-08-05 | キヤノン株式会社 | 情報処理方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP5043421B2 (ja) | 2005-12-28 | 2012-10-10 | キヤノン株式会社 | 情報処理装置およびその方法 |
| JP5015540B2 (ja) * | 2006-09-28 | 2012-08-29 | 富士通株式会社 | 電子透かし埋め込み装置および検出装置 |
| JP5020025B2 (ja) * | 2007-10-17 | 2012-09-05 | 三菱電機株式会社 | 電子透かし検出装置、その方法およびそのプログラム |
| WO2009087977A1 (ja) * | 2008-01-10 | 2009-07-16 | Mitsubishi Electric Corporation | 地紋パターン画像生成装置、透かしデータ埋め込み装置及び透かしデータ検出装置 |
| KR101005433B1 (ko) * | 2008-09-22 | 2011-01-05 | 주식회사 마크애니 | 워터마크 존재 여부를 검출하고 워터마크를 삽입하는 방법 및 그 시스템 |
| US8878869B2 (en) * | 2008-09-30 | 2014-11-04 | Sony Corporation | Image processing device and image processing method |
| US8971531B2 (en) * | 2010-03-17 | 2015-03-03 | Sastra University | Data embedding system |
| US20120230396A1 (en) * | 2011-03-11 | 2012-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for Embedding Decoding Information in Quantized Transform Coefficients |
| JP5921120B2 (ja) | 2011-09-07 | 2016-05-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| CN103177413B (zh) | 2011-12-20 | 2016-04-13 | 深圳市腾讯计算机系统有限公司 | 局部化盲水印生成、检测的方法及装置 |
| KR101354609B1 (ko) | 2013-09-23 | 2014-01-23 | 주식회사 알아이 | 이미지 기반의 데이터 은닉 장치 및 방법 |
| CN106096340B (zh) * | 2016-06-20 | 2019-11-01 | 武汉斗鱼网络科技有限公司 | 一种基于合同的水印生成方法和系统 |
| US9959586B1 (en) * | 2016-12-13 | 2018-05-01 | GoAnimate, Inc. | System, method, and computer program for encoding and decoding a unique signature in a video file as a set of watermarks |
| US11032625B2 (en) * | 2018-02-03 | 2021-06-08 | Irdeto B.V. | Method and apparatus for feedback-based piracy detection |
| JP7008950B2 (ja) * | 2018-05-04 | 2022-01-25 | 河村 尚登 | 電子透かし装置および方法 |
| US20200394553A1 (en) * | 2019-06-13 | 2020-12-17 | International Business Machines Corporation | Predicting functional tags of semantic role labeling |
| CN112948895A (zh) * | 2019-12-10 | 2021-06-11 | 航天信息股份有限公司 | 数据的水印嵌入方法、水印溯源方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6345104B1 (en) * | 1994-03-17 | 2002-02-05 | Digimarc Corporation | Digital watermarks and methods for security documents |
| JP3686741B2 (ja) * | 1997-02-19 | 2005-08-24 | 富士通株式会社 | 画像データへの識別情報埋め込み方法，識別情報が埋め込まれた画像データからの識別情報抽出方法，画像データへの識別情報埋め込み装置，識別情報が埋め込まれた画像データからの識別情報抽出装置，及びコンピュータ可読媒体 |
| JP4064506B2 (ja) * | 1997-09-17 | 2008-03-19 | パイオニア株式会社 | 電子透かし重畳方法及び検出方法並びに装置 |
| US6037984A (en) * | 1997-12-24 | 2000-03-14 | Sarnoff Corporation | Method and apparatus for embedding a watermark into a digital image or image sequence |
| JP4026933B2 (ja) * | 1998-06-24 | 2007-12-26 | キヤノン株式会社 | 情報処理装置及び方法並びに記録媒体 |
| DE69943294D1 (de) * | 1999-01-25 | 2011-05-05 | Nippon Telegraph & Telephone | Verfahren Gerät und Programmspeichermedium zur digitalen Wasserzeicheneinbettung und -detektierung |
| GB2351405B (en) * | 1999-06-21 | 2003-09-24 | Motorola Ltd | Watermarked digital images |
| JP2001061052A (ja) * | 1999-08-20 | 2001-03-06 | Nec Corp | 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置 |
| US6707465B2 (en) * | 2000-02-09 | 2004-03-16 | Canon Kabushiki Kaisha | Data processing apparatus and method, and storage medium |
| JP2001275115A (ja) * | 2000-03-23 | 2001-10-05 | Nec Corp | 電子すかしデータ挿入装置および検出装置 |
| US6741758B2 (en) * | 2000-04-07 | 2004-05-25 | Canon Kabushiki Kaisha | Image processor and image processing method |
| JP2002325170A (ja) * | 2001-04-24 | 2002-11-08 | Canon Inc | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 |
-
2002
- 2002-01-10 JP JP2002003895A patent/JP3937841B2/ja not_active Expired - Fee Related
- 2002-12-17 US US10/320,463 patent/US7187781B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003209678A (ja) | 2003-07-25 |
| US20030128863A1 (en) | 2003-07-10 |
| US7187781B2 (en) | 2007-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3937841B2 (ja) | 情報処理装置及びその制御方法 | |
| JP3860042B2 (ja) | 画像検証装置 | |
| Goljan et al. | Distortion-free data embedding for images | |
| JP3431593B2 (ja) | コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体 | |
| KR100465950B1 (ko) | 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체 | |
| US7548633B2 (en) | Data processing apparatus and method, data processing program, and storage medium | |
| JP5654434B2 (ja) | ホスト画像に透かし画像を埋込む方法および装置 | |
| JP2000165654A (ja) | 電子透かし埋込み装置及び電子透かし検出装置 | |
| JP2005328528A (ja) | デジタル像符牒の処理方法及びシステム | |
| JP2002525983A (ja) | 損失を伴い伝送される画像の保全性確認方法 | |
| Cheung et al. | A sequential quantization strategy for data embedding and integrity verification | |
| Pal et al. | Weighted matrix based reversible watermarking scheme using color image | |
| Bhatnagar et al. | Secure randomized image watermarking based on singular value decomposition | |
| WO2000044163A1 (en) | Method for embedding electronic watermark, decoding method, and devices for the same | |
| KR101135472B1 (ko) | 차이값 히스토그램을 이용한 가역 워터마크 삽입, 추출 및 원본 복원 방법 | |
| CN109064381B (zh) | 一种基于密钥的多维度的数字水印加密方法 | |
| Pan et al. | Reversible watermarking based on invariant image classification and dynamical error histogram shifting | |
| KR20150136320A (ko) | Qr 코드를 이용한 디지털 워터마크 삽입 및 추출 시스템 및 방법 | |
| Hernandez et al. | A fragile watermarking scheme for image authentication in mobile devices | |
| CN114630130A (zh) | 一种基于深度学习的换脸视频溯源方法及系统 | |
| JP3809310B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP3884891B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| Chang et al. | Fragile watermarking scheme for digital image authentication using pixel difference | |
| JP2000165652A (ja) | データ出力制御装置、データ処理装置及びコンピュータ読み取り可能な記憶媒体 | |
| KR20040012272A (ko) | 디지털 영상 인증을 위한 디지털 워터마크의 삽입 및추출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |