JP2004179744A - 電子透かし埋め込み装置及び電子透かし検出装置 - Google Patents

Abstract

【課題】電子透かし情報が埋め込まれた画像等に対してなされる幾何変換に対して耐性のある電子透かし情報を埋め込むことができる電子透かし埋め込み装置及び検出装置を提供する。
【解決手段】電子透かし埋め込み装置は、電子透かし情報に基づいて、１又は複数の２次元の幾何パターンを生成する幾何パターン生成手段と、幾何パターン生成手段からの幾何パターンの各特徴点又は各補間点に位置が対応する、静止画像の領域の値、又は、静止画像を所定変換した２次元状情報の領域の値を修正する画像修正手段とを備えることを特徴とする。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電子透かし埋め込み装置及び電子透かし検出装置に関するものである。例えば、静止画像及び動画像に電子透かし情報を埋め込むことにより著作権の保護、画像改竄検出、各種情報記録等を行うための電子透かし埋め込み装置及び電子透かし検出装置に適用することができる。
【０００２】
【従来の技術】
【０００３】
【特許文献１】特開平１１−３５５５４７号公報
近年、インターネットやデジタル放送網等の発展普及に伴い、例えば静止画像や動画像等が容易に配信されるようになった。このようなデジタル画像配信システムにおいて、配信される画像等の著作権を保護、画像改竄検出や各種情報記録等のために、電子透かしという技術がある。
【０００４】
電子透かし技術とは、人間の目あるいは耳で確認できない形の著作権者、提供者や利用者等の情報（電子透かし情報）を、所定の規則に従って画像のデジタルデータに埋め込む技術である。
【０００５】
従来、電子透かし情報の埋め込む方法の１つとして、画像全体を周波数分解（例えば離散フーリエ変換、離散コサイン変換やウェブレット変換等）して変換係数（係数行列）を求めて、透かし情報が埋め込まれ得る画像中の所定領域の変換係数を、所定の規則に基づいて修正することで電子透かし情報を埋め込み、逆変換を施すことにより、電子透かし情報が入った静止画像及び動画像を生成している。
【０００６】
また、画像に埋め込まれた電子透かし情報を検出する方法は、電子透かし情報を埋め込む場合と同じように周波数分解して得られた変換係数を、所定の規則に従って判定することにより、埋め込まれた電子透かし情報を復元している。
【０００７】
このようにして画像に電子透かし情報を埋め込み及び検出することができるが、電子透かし情報が埋め込まれた画像は、人為的又は機械的な操作により、埋め込まれた電子透かし情報を検出できなくなる場合があり、これを防止する技術が上記特許文献１に開示されている。
【０００８】
この人為的又は機械的な（例えばスキャナーやファックス等による要因）操作とは、電子透かし情報が埋め込まれた画像等に、例えば回転、拡大縮小や切り取り等の幾何変換を施されることをいう。従って、幾何変換を施された画像等は、埋め込まれた電子透かし情報も幾何変換されてしまい電子透かし情報の検出ができなくなってしまう。
【０００９】
上記特許文献１は、このような回転、拡大縮小等の画像等の幾何変換に対する電子透かしの耐性を上げるため、他の画像と異なる特性を有する位置マーカ（例えばパッチワーク、ノイズ等）を画像等に埋め込み、その位置マーカに基づいて幾何変換量を求めて、電子透かし情報についてもその幾何変換量に応じた変換を施すことにより、電子透かし情報を検出することが記載されている。なお、位置マーカとは、画像中の他の部分とは違う性質を持ちながら画質にはあまり影響を与えない小さな領域で、一般に画像の幾何変換量を求めるのに使用されるものである。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した画像等に埋め込まれた位置マーカ（例えばパッチワーク、ノイズ等）に基づいて求められた幾何変換量に応じて電子透かし情報を検出する方法は、画像等に埋め込まれた位置マーカの位置の正確な位置の決定と幾何変換量の正確な計算が必要であり、例えば幾何変化量の計算誤差が生じた場合や、位置マーカの検出位置がずれを生じた場合には、電子透かし情報を検出できないという問題がある。
【００１１】
また、電子透かし情報が埋め込まれた画像等が、非線形な幾何変換された場合は、かなり多くの位置マーカを配置する必要があるが、多くの位置マーカを配置したとしても、その分正確な幾何変換量を計算するのが困難であり、電子透かし情報を検出できないという問題がある。
【００１２】
そのため、電子透かし情報が埋め込まれた画像等に対してなされる回転、拡大縮小や切り取り等の幾何変換に対して耐性のある電子透かし情報を埋め込むことができる電子透かし埋め込み装置、及び、そのような電子透かしを検出できる電子透かし検出装置が求められている。
【００１３】
【課題を解決するための手段】
かかる課題を解決するために、第１の本発明の電子透かし埋め込み装置は、静止画像に電子透かし情報を埋め込む電子透かし埋め込み装置において、（１）電子透かし情報に基づいて、１又は複数の２次元の幾何パターンを生成する幾何パターン生成手段と、（２）幾何パターン生成手段からの幾何パターンの各特徴点又は各補間点に位置が対応する、静止画像の領域の値、又は、静止画像を所定変換した２次元状情報の領域の値を修正する画像修正手段とを備えることを特徴とする。
【００１４】
また、第２の本発明の電子透かし埋め込み装置は、動画像に電子透かし情報を埋め込む電子透かし埋め込み装置において、（１）動画像をフレーム毎に分割するフレーム分割手段と、（２）電子透かし情報に基づいて、時間軸方向に位置が変化する１又は複数の幾何パターンを生成し、その幾何パターンの各特徴点間を所定時間毎で補間する幾何パターン生成手段と、（３）幾何パターン生成手段からの幾何パターンの各特徴点又は各補間点に時間軸及び位置が対応する、各フレーム画像の領域の値、又は、前記フレーム画像を変換した２次元情報の領域の値を修正する画像修正手段と、（４）画像修正手段からの出力に基づいて、動画像を再構築する動画像再構築手段とを備えることを特徴とする。
【００１５】
また、第３の本発明の電子透かし検出装置は、静止画像に埋め込まれている電子透かしを検出する電子透かし検出装置において、（１）静止画像の領域の値、又は、静止画像を所定変換した２次元状情報の領域の値の中から修正成分を全て検出する修正成分検出手段と、（２）修正成分検出手段により検出された各修正成分の位置関係に基づいて、１又は複数の２次元の幾何パターンを復元する幾何パターン復元手段と、（３）幾何パターン復元手段により復元された幾何パターンに基づいて、電子透かし情報を復号する電子透かし情報復号手段とを備えることを特徴とする。
【００１６】
さらに、第４の本発明の電子透かし検出装置は、動画像に埋め込まれている電子透かしを検出する電子透かし検出装置において、（１）動画像をフレーム毎に分割するフレーム分割手段と、（２）各フレーム画像の領域の値、又は、各フレーム画像を変換した２次元状情報の領域の値の中から修正成分を全て検出する修正成分検出手段と、（３）修正成分検出手段により検出された各フレーム画像の修正成分の位置を時間軸に対応するように連結させて、１又は複数の幾何パターンを復元する幾何パターン復元手段と、（４）幾何パターン復元手段によって復元された幾何パターンに基づいて、電子透かし情報を復号する電子透かし復号手段とを備えることを特徴とする。
【００１７】
【発明の実施形態】
（Ａ）第１の実施形態
以下、本発明に係る電子透かし埋め込み装置及び電子透かし検出装置の第１の実施形態について図１〜図５を参照して詳説する。
【００１８】
第１の実施形態は、デジタル静止画像に対して、予め埋め込む内容が決定されている電子透かし情報を埋め込む場合の適用である。
【００１９】
以下では、デジタル静止画像への電子透かし埋め込み装置と、電子透かし埋め込みデジタル静止画像からの電子透かし検出装置との場合に分けて、それぞれの構成及び動作を説明する。
【００２０】
（Ａ−１）第１の実施形態の構成
（Ａ−１−１）電子透かし埋め込み装置の構成
図１は、第１の実施形態のデジタル静止画像の電子透かし埋め込み装置の内部構成を示したブロック図である。
【００２１】
図１に示すように、電子透かし埋め込み装置１１は、幾何パターン生成部１２と、位置マーカ埋め込み部１３とを有して構成している。
【００２２】
幾何パターン生成部１２は、外部から受け取った透かし情報を、符号化（例えば２値化など）して、その符号化された透かし情報に基づいて幾何パターンを生成するものである。また、幾何パターン生成部１２は、生成された幾何パターンの特徴点及び補間点の位置座標を指定して、その特徴点及び補間点の位置座標を位置マーカ埋め込み部１３へ与えるものである。
【００２３】
図２は、２進数に符号化された各透かし情報に基づいて３つの幾何パターンを生成することについて説明した説明図である。なお、デジタル静止画像の水平方向を横軸、垂直方向を縦軸とする。
【００２４】
幾何パターン生成部１２は、図２に示すように、２進数に符号化された透かし情報について、デジタル静止画像の水平方向をパターン軸として、符号化された透かし情報が１である場合は上に凸となるようにし、また符号化された透かし情報が０である場合はパターン軸上の平坦となるように幾何パターンを生成するものである。なお、本実施形態では、パターン軸をデジタル静止画像の水平方向としたが、垂直方向をパターン軸としてもよい。
【００２５】
また、幾何パターンの特徴点及び補間点とは、図２における点線（垂直方向）と実線（パターン軸）とが交差する点と、隣り合う２つの実線がなす頂点とが考えられ、幾何パターン生成部１２は、これら特徴点及び補間点のみの位置座標を指定する。
【００２６】
位置マーカ埋め込み部１３は、外部からデジタル静止画像を受け取り、透かし情報のビット数に応じてデジタル静止画像に埋め込む位置マーカの位置を確定するものである。また、位置マーカ埋め込み部１３は、幾何パターン生成部１２から幾何パターンの特徴点及び補間点の位置座標とを受け取り、その幾何パターンの特徴点及び補間点の位置座標に、位置マーカをデジタル静止画像に埋め込み、電子透かし埋め込み済みのデジタル静止画像を出力するものである。
【００２７】
図３は、デジタル静止画像に埋め込まれる位置マーカのパターンの構成概念図である。
【００２８】
位置マーカ埋め込み部１３は、まず、デジタル静止画像中に埋め込む位置マーカの位置を確定する。
【００２９】
その確定方法は、例えば、幅ｗ、高さｈのデジタル静止画像中の任意の２点（ｘ／２，ｈ／２）、（ｗ−（ｘ／２），ｈ／２）の間にＮビットの透かし情報を埋め込むとする場合、それら任意の２点の間に（（ｗ−ｘ）／Ｎ）の間隔で位置マーカを埋め込むようにして位置マーカの位置を確定する。ここで、ｘ（＞０）は小さい自然数である。
【００３０】
位置マーカ埋め込み部１３は、確定した位置に幾何パターンの特徴点又は補間点に対応する位置マーカを埋め込む。例えば、上記で求めた任意の２つの位置マーカ（ｘ１，ｙ），（ｘ２，ｙ）の間に、幾何パターンの凸の部分（透かし情報が１）を反映させる場合には、２点（ｘ１，ｙ）と（ｘ２，ｙ）間の（（ｘ１＋ｘ２）／２，ｙ＋δ）の位置に新たに位置マーカを埋め込む。ここで、δ（＞０）は小さい自然数である。
【００３１】
このように、位置マーカ埋め込む部１３が位置マーカをデジタル静止画像に埋め込む方法は、画像の統計的性質を利用している。
【００３２】
すなわち、この画像の統計的性質とは、例えばパッチワークを位置マーカとした場合、デジタル静止画像中のある領域において任意の２つの点Ａ、Ｂを選び画素値をａ，ｂとすると、ａとｂは独立であることから、（ａ−ｂ）は統計的には０に近くなるというものである。
【００３３】
したがって、例えば、任意の２点Ａｉ，Ｂｉ（ｉ＝０、１、２、…、ｎ）を選び、それらの画素値をそれぞれａｉ，ｂｉとし、これら画素値にそれぞれ微小量δを加減すると以下のような関係が得られる。
【００３４】
【数１】

上記式（１）から、任意の２点それぞれが微小量δを足し合わせなかった場合に比べ２δｎだけ増加することとなる。
【００３５】
位置マーカ埋め込み部１３は、位置マーカの埋め込む領域の値、及び／又は、その周辺領域の画素値を調整して、位置マーカの埋め込む領域の値が統計的に微少量を増加させた形となるよう修正する。
【００３６】
位置マーカは回転、拡大縮小、非線型幾何変換等の幾何変換やその他画像変換に堪えうるものでなければならないが、ここでは位置マーカの位置が正確に求まらなくても良く多少の誤差はあっても良いものとする。
【００３７】
（Ａ−１−２）電子透かし検出装置
図４は、デジタル静止画像の電子透かし検出装置の内部構成を示したブロック図である。
【００３８】
電子透かし検出装置４１は、外部から電子透かし埋め込み済みのデジタル静止画像を受け取り、そのデジタル静止画像に埋め込まれている透かし情報を検出して、その検出された透かし情報を復元するものである。
【００３９】
図４に示すように、電子透かし検出装置４１は、位置マーカ検出部４２と、幾何パターン検出部４３と、透かし情報復号部４４とを有して構成している。
【００４０】
位置マーカ検出部４２は、外部から受け取った電子透かし埋め込み済みのデジタル静止画像に含まれている位置マーカをすべて検出して、検出された全ての位置マーカの位置情報を幾何パターン検出部４３に与えるものである。位置マーカ検出部４２が検出する位置マーカの位置情報は、正確な位置情報である必要はなく、例えば、幾何パターンの凸情報の検出や隣り合う三角形を検出する程度の情報を確保するものである。
【００４１】
この位置マークの位置情報の検出方法は、例えば位置マーカとしてパッチワークを使用した場合、デジタル静止画像中の小領域から予め定められた２点を選択して、それら２点間の差を足し合わせていき、その値が所定の閾値を越えれば、パッチワーク（位置マーカ）がその小領域に埋め込まれているとする。
【００４２】
幾何パターン検出部４３は、位置マーカ検出部４２から検出された位置マーカの位置情報を受け取り、その受け取った位置マーカの位置情報に基づいて幾何パターンを復元して、復元された幾何パターンを透かし情報復号部４４に与えるものである。幾何パターン検出部４３による幾何パターンの復元は次のようにして行なう。
【００４３】
幾何パターン検出部４３は、検出された位置マーカの位置情報に基づいて、デジタル静止画像上の距離が最短となる１対の２つの位置マーカを探索し、それら２つの位置マーカのそれぞれの位置から距離が最短となるその他の位置マーカを探索することによる。すなわち、探索された位置マーカの位置情報から距離が最短となるその他の位置マーカの位置情報を順次探索していき、これを繰り返して求められた位置マーカをつなぎ合せていくことで、幾何パターンを復元することができる。
【００４４】
このとき、ある位置マーカから他の位置マーカまでの距離が、デジタル静止画像中の位置マーカ間の平均距離よりもある程度大きい場合には、幾何パターンを構成する位置マーカとみなされず、幾何パターン検出部４３はそれらの位置マーカ同士のつなぎ合せをしないようにする。
【００４５】
透かし情報復号部４４は、幾何パターン検出部４３から復元された幾何パターンを受け取り、その幾何パターンに基づいて透かし情報を復号して、復号された透かし情報を出力するものである。透かし情報復号部４４による復号処理は、復元された幾何パターンと軸とを照らし合せて軸に沿って位置マーカが２つ連続すれば０とし、軸上にない位置マーカがあれば１とするようにして透かし情報を復号する。
【００４６】
また、図示しない比較検出手段を備えて、予め設定された透かし情報と比較判定しても良い。すなわち、例えば予め設定されている元の透かし情報のデータベースを有しており、復号された透かし情報と、元の透かし情報とを比較・判定するようにしても良い。
【００４７】
（Ａ−２）第１の実施形態の動作
（Ａ−２−１）電子透かし埋め込み装置の動作
以下では、デジタル静止画像に透かし情報を埋め込む動作について説明する。
【００４８】
図５は、幾何パターンの生成についてのフローチャートである。
【００４９】
透かし情報は、幾何パターン生成部１２に入力し、２進数に符号化される（ステップ５０２）。
【００５０】
２進数に符号化された透かし情報は、幾何パターン生成部１２において、その符号が判断されて、パターン軸を基準とした符号に応じた幾何パターンが生成される（ステップ５０３）。例えば、２進数に符号化された透かし情報が１の場合にはパターン軸の上に凸とし、透かし情報が０の場合にはパターン軸上の平坦な部分となるようにして幾何パターンが生成される（図２参照）。
【００５１】
幾何パターン生成部１２において、生成された幾何パターンの特徴点及び補間点が求められ、その特徴点及び補間点の位置座標が指定されて（ステップ５０４）、その幾何パターンの特徴点及び補間点の位置座標は位置マーカ埋め込み部１３に与えられる。
【００５２】
例えばこの特徴点及び補間点は、図２の幾何パターンにおいて、点線と実線との交差する点や、隣り合う２つの実線がなす頂点などである。
【００５３】
位置マーカ埋め込み部１３によって、デジタル静止画像中における幾何パターンの特徴点及び補間点の位置座標の位置に、位置マーカが埋め込まれる。
【００５４】
この位置マーカの埋め込みは、画像の統計的性質を利用して埋め込まれ、デジタル静止画像中において埋め込まれる位置及びその周辺の画素値を微少量加減することによる。
【００５５】
（Ａ−２−２）電子透かし検出装置の動作
次に、デジタル静止画像に埋め込まれた透かし情報を検出する動作について説明する。
【００５６】
透かし情報埋め込み済みデジタル静止画像は、位置マーカ検出部４２に入力し、位置マーカ検出部４２によって、デジタル静止画像中に含まれているすべての位置マーカが検出されて、位置マーカの位置情報が求められる。この位置マーカの位置情報は、正確な位置である必要はなく、幾何パターンが認識できる程度の位置情報で良く、例えば幾何パターンの凸情報の検出や隣り合う三角形を検出する程度の位置情報を検出する。
【００５７】
位置マーカ検出部４２で検出されたすべての位置マーカの位置情報は、幾何パターン検出部４３に与えられ、幾何パターン検出部４３によって、位置マーカの位置情報に基づいて幾何パターンが復元される。
【００５８】
幾何パターンの復元方法は、例えば、デジタル静止画像上において位置マーカ間の距離が最短となる１対の２つの位置マーカが探索され、それらの位置マーカのから距離が最短となる他の位置マーカが順次探索されて、それぞれ繋ぎ合わされることにより幾何パターンが復元される。
【００５９】
なお、上記の幾何パターン検出方法例について、図３に示すようなデジタル静止画像中に含まれている位置マーカの構成が、２つのパターン軸間の距離が、パターン軸上の位置マーカ間の距離よりも大きく、かつ、幾何パターンにおける凸部分を示す位置マーカと幾何パターン軸上の位置マーカとの距離が、幾何パターン軸上の位置マーカ間距離よりも小さいものとする。
【００６０】
上記のようにして、探索された位置マーカ同士をつなげていくことにより幾何パターンが復元されていくが、位置マーカ同士の平均距離よりも大きい距離にある位置マーカ同士はつなげない。
【００６１】
幾何パターン検出部４３で検出された幾何パターンは、透かし情報復号部４４に与えられ、幾何パターンに基づいて透かし情報が復号化される。
【００６２】
この復元された幾何パターンに基づいて透かし情報を読み込むには幾何パターン軸の確定が必要となるが、幾何パターンの最初に必ず０となるような幾何パターンを配置することにより、幾何パターンの連続性から幾何パターン軸を求めていくことができる。
【００６３】
すなわち、幾何パターンの連続性を利用して、幾何パターンの最初を０と仮定して復号化を進めていくことで幾何パターン軸を確定できる。
【００６４】
このようにして、確定された幾何パターン軸と照らし合せて、この幾何パターン軸に沿って位置マーカが２つ続けば透かし情報が０であるとし、それら位置マーカ間に幾何パターン軸上にない位置マーカがあれば透かし情報が１であるとして、透かし情報が復号される。
【００６５】
（Ａ−３）第１の実施形態の効果
以上、第１の実施形態の電子透かし埋め込み装置１１によれば、位置マーカ埋め込み部１３を備えることにより、透かし情報を直線状の軸に沿って三角形の突起として埋め込むことができるので、回転、拡大縮小等の幾何変換に対しても、定性的特長が簡単に崩れることはないので高い耐性の透かし情報を埋め込むことができる。
【００６６】
また、第１の実施形態の電子透かし埋め込み装置１１によれば、上記のように透かし情報の耐性を高めることができるので、第１の実施形態の電子透かし検出装置は、幾何変換された後でも正確な形状の位置マーカを必要とせずに、透かし情報を検出することができる。すなわち、本実施形態の電子透かし検出装置４１は、演算誤差によって透かし情報の検出できないという事態を防ぐことができる。
【００６７】
さらに、従来、位置マーカにより幾何変換量を求めて格子状に埋め込まれている情報を読む透かし情報検出方式による場合、非線形な幾何変換が行われたときには、かなり多くのパッチワークを要し、また実際には演算誤差により埋め込まれた情報は検出できないことがあるが、第１の実施形態の透かし情報検出装置４１によれば、非線型幾何変換量が大きくなければ定性的な幾何パターンは維持されるので、透かし情報を検出することができる。
【００６８】
さらにまた、第１の実施形態の電子透かし情報検出装置４１によれば、切り取りに対しても位置マーカが切り取られていなければ検出することができる。
【００６９】
（Ｂ）第２の実施形態
次に、本発明の電子透かし埋め込み装置及び電子透かし検出装置の第２の実施形態について図６〜図１１を参照して詳説する。
【００７０】
第２の実施形態は、デジタル動画像に電子透かし情報を埋め込む場合の適用例である。
【００７１】
（Ｂ−１）第２の実施形態の構成
（Ｂ−１−１）電子透かし埋め込み装置の構成
図６は、第２の実施形態のデジタル動画像の電子透かし埋め込み装置の内部構成を示したものである。
【００７２】
電子透かし埋め込み装置６１は、幾何パターン生成部６２と、位置マーカ埋め込み部６３と、フレーム分割部６４と、動画像再構成部６５とを有して構成している。
【００７３】
幾何パターン生成部６２は、外部から透かし情報を受け取り、受け取った透かし情報を符号化し、符号化された透かし情報に基づいて幾何パターンを生成して、その生成された幾何パターンの特徴点及び補間点を指定するものである。
【００７４】
図８は、生成される幾何パターンの構成を示した説明図である。
【００７５】
幾何パターン生成部６２は、例えば２進法に符号化された透かし情報が１の場合、上に凸となるパターンにし、透かし情報が０の場合、上に凹（又は下に凸）となるパターンとして、図８に示すような幾何パターンを生成する。
【００７６】
幾何パターン生成部６２が、第１の実施形態と異なり幾何パターンの構成について、透かし情報が０の場合、上に凹（又は下に凸）のパターンとしたのは、電子透かし埋め込み対象がデジタル動画像であるので、時系列に沿ってデジタル動画像のフレーム毎に透かし情報を時系列に沿って埋め込むためである。このようにすることで、デジタル動画像のフレームが間引かれた場合に幾何パターンが不鮮明になることを防止することができる。
【００７７】
また、幾何パターン生成部６２は、幾何パターンの特徴点のみの指定ではなく、各特徴点間を所定時間ごとの補間点についても指定する。これは、透かし情報を埋め込む対象がデジタル動画像のフレームであることから、フレームを間引いた場合に対しても耐性を持たせるために、複数のフレームにまたがって幾何パターンを埋め込む必要があるためである。
【００７８】
フレーム分割部６４は、外部からデジタル動画像を受け取り、その受け取ったデジタル動画像を１フレームずつに分割して、分割されたフレーム毎に位置マーカ埋め込み部６３に与えるものである。フレーム分割部６４は、例えばフレームバッファのように、記憶された複数のフレームの中から１つのフレーム毎に出力する機能を備えたものである。
【００７９】
位置マーカ埋め込み部６３は、幾何パターン生成部６２から幾何パターンの特徴点及び補間点の位置座標と、フレーム分割部６４からデジタル動画像を１フレーム毎に受け取り、１ビットの幾何パターンのパターン形状の特徴点及び補間点を複数フレームで構成されるようにして、１フレーム毎に１個の位置マーカを埋め込むものである。また、位置マーカ埋め込み部６３は、位置マーカを埋め込んだフレームを動画像再構成部６５に与えるものである。
【００８０】
このとき、動画像と幾何パターンの特徴点及び補間点とは時間軸が一致しているので、１つの特徴点を複数のフレーム数にまたがって表すことができる。
【００８１】
図８において、幾何パターンの１つの特徴点は１２フレームで表されており、動画像による幾何パターンの全体構成が示されている。
【００８２】
図９は、幾何パターンの１つの特徴点を９フレーム表した場合での、各フレームに位置マーカを埋め込む状態を説明した概念図である。
【００８３】
位置マーカ埋め込み部６３は、図８に示すように、幾何パターンの全体のうち１つの特徴点を１２枚のフレームによって構成されるようして、図９に示すように、幾何パターンの特徴点及び補間点の位置に対応するフレームの所定領域に、１個の位置マーカを各フレーム毎に順次埋め込む。
【００８４】
動画像再構成部６５は、位置マーカ埋め込み部６４から透かし情報が埋め込まれたフレームが与えられて、それらフレームを順次取り込み、元のデジタル動画像を再構成して、再構成されたデジタル動画像を外部に与えるものである。
【００８５】
（Ｂ−１−２）電子透かし検出装置の構成
図７は、デジタル動画像の電子透かし検出装置の内部構成を示したものである。
【００８６】
電子透かし検出装置７１は、外部から電子透かし埋め込み済みデジタル動画像を受け取り、その受け取ったデジタル動画像に含まれている位置マーカを検出し、その検出された位置マーカに基づいて幾何パターンを再構成して透かし情報を復号して、その復号された透かし情報を出力するものである。
【００８７】
図７に示すように、電子透かし検出装置７１は、フレーム分割部７５と、位置マーカ検出部７２と、幾何パターン再構成部７３と、透かし情報復号部７４とを有して構成している。
【００８８】
フレーム分割部７５は、電子透かし埋め込み済みデジタル動画像を受け取り、その受け取った電子透かし埋め込み済みデジタル動画像を時系列に沿って１フレーム毎に分割するものであり、１フレーム毎に位置マーカ検出部７２に与えるものである。
【００８９】
位置マーカ検出部７２は、フレーム分割部７５からの各フレーム毎に埋め込まれた位置マーカを検出し、フレーム毎に検出した位置マーカの位置情報を幾何パターン再構成部７３に与えるものである。位置マーカの検出方法は、第１の実施形態で説明した方法と同様である。
【００９０】
幾何パターン再構成部７３は、位置マーカ検出部７２から検出された位置マーカの位置情報から幾何パターンを再構成して、再構成された幾何パターンを透かし情報復号部７４に与えるものである。
【００９１】
また、幾何パターン再構成部７３は、幾何パターンを再構成するにあたり、幾何パターンの幾何パターン軸を確定させる必要があり、複数のフレームからそれぞれ検出された複数の位置マーカの頂点に基づいて幾何パターン軸を求める。すなわち、例えばそれぞれ１個の位置マーカが埋め込まれているフレームについて、埋め込み時に１ビットの位置マーカを埋め込むのに使用したフレーム枚数の例えば約１０倍のフレーム枚数から検出された複数の位置マーカの中から頂点に相当するもの位置マーカを検出するようにして幾何パターン軸が確定される。
【００９２】
透かし情報復号部７４は、幾何パターン再構成部７３から再構成された幾何パターンが与えられ、その再構成された幾何パターンに基づいて、透かし情報を復号し、復号された透かし情報を出力するものである。
【００９３】
（Ｂ−２）第２の実施形態の動作
（Ｂ−２−１）電子透かし埋め込み装置の動作
デジタル動画像は、フレーム分割部６４によって時系列に沿ってフレーム毎に切り出されて位置マーカ埋め込み部６３に与えられる。
【００９４】
電子透かし埋め込み装置６１に入力してきた透かし情報は、幾何パターン生成部６２によって２進数に符号化されて、符号化された透かし符号列の先頭に透かし符号列には現れない特異な符号列が挿入される。この挿入される透かし符号列には現れない特異な符号列は、透かし情報が繰り返しフレームに埋め込まれることを考慮したものである。
【００９５】
符号化された透かし情報は、幾何パターン生成部６２において、幾何パターンに変換される。符号化された透かし情報が１である場合には上に凸とするパターン、又透かし情報が０である場合には上に凹（又は下に凸）のパターンに割り当てる。
【００９６】
生成された幾何パターンは、幾何パターン生成部６２において、その特徴点及び補間点が指定される。指定された特徴点及び補間点は位置マーカ埋め込み部６３に与えられる。このとき指定される特徴点は、第１の実施形態と同様にして指定され、又補間点は図８に示すような幾何パターンの実線と時間を示す点線との交差する点とする。
【００９７】
例えば、幅ｗ、高さｈの動画像１１フレーム当りに１ビットの透かし情報を埋め込むとする場合、（ｗ／２，ｈ／２，ｚ），（ｗ／２，ｈ／２＋δ，ｚ＋１），（ｗ／２，ｈ／２＋２δ，ｚ＋２），…，（ｗ／２，ｈ／２＋５δ，ｚ＋５），…，（ｗ／２，ｈ／２＋３δ，ｚ＋７），…，（ｗ／２，ｈ／２，ｚ＋１０）のように特徴点及び補間点を取ることが出来る。ここでδは正の小さな自然数で、Ｏを埋め込む場合は負の値になる。ｚはフレーム番号である。
【００９８】
幾何パターン生成部６２からの幾何パターンの特徴点と補間点は、位置マーカ埋め込み部６３によって、位置マーカで各フレームに埋め込まれる（図９参照）。すなわち幾何パターンの位置マーカは、１フレームに１個埋め込まれる。位置マーカが埋め込まれた各フレームは、動画像再構成部６５に与えられる。
【００９９】
このとき、デジタル動画像の各フレーム毎に埋め込まれる位置マーカの情報量が少ない場合には、例えば、図１０に示すように位置マーカを同時に幾つかを埋め込むことをしてもよい。
【０１００】
位置マーカ埋め込み部６３からの透かし情報が埋め込まれた各フレームは、時系列に沿って再構成されて電子透かし埋め込み済み動画像として出力される。
【０１０１】
（Ｂ−２−２）電子透かし検出装置の動作
電子透かし埋め込み済みデジタル動画像は、フレーム分割部７５によって時系列に沿ってフレーム毎に切り出される。
【０１０２】
時系列毎に切り出された各フレームは、位置マーカ検出部７２によって埋め込まれている位置マーカの位置情報が検出される。
【０１０３】
位置マーカ検出部７２から各フレーム毎に検出された位置マーカは、幾何パターン再構成部７３によって、位置マーカの位置情報が検知されて、その位置マーカの位置情報に基づいて幾何パターンが再構成される。幾何パターンの再構成方法は、検出された複数の位置マーカの中から頂点とおもわれる位置マーカをすべて探し出し、その位置マーカに基づいて幾何パターン軸が確定されて、幾何パターンが再構成される。従って、検出される位置マーカ数はできるだけ多く必要とし、例えば位置マーカの埋め込み時に１ビット埋め込むのに使用したフレーム枚数の例えば１０倍のフレーム枚数から検出された位置マーカが必要である。
【０１０４】
図１１は、検出された複数の位置マーカの態様に応じて幾何パターン軸を確定し、幾何パターンの再構成を説明する説明図である。
【０１０５】
図１１に示すように、位置マーカ検出部７２によって検出されたすべての位置マーカは、画面上における位置によってグループ分けされる。
【０１０６】
例えば、図１１の（Ｃ）に示すように、検出されたすべての位置マーカに基づいて３つのグループに分けられた場合には、それら３つのグループのうち中間に位置するグループの位置が幾何パターン軸であると確定され、確定された幾何パターン軸に基づいて幾何パターンが再構成される。
【０１０７】
また、図１１（Ａ）及び（Ｂ）に示すように、検出されたすべての位置マーカに基づいて２つのグループに分けられた場合については、これら２つのグループのうちいずれか１つのグループが幾何パターン軸になる場合（図１１（Ａ））と、２つのグループいずれも幾何パターン軸にならず、それら２つのグループの間に幾何パターン軸となる場合（図１１（Ｂ））とが考えられるが、この場合には、検出された位置マーカに基づく頂点の検索を続けていき、これら２つのグループに属さない頂点の位置マーカが検出されたときに幾何パターン軸を確定することができる。
【０１０８】
幾何パターン再構成部７３から再構成された幾何パターンは、透かし情報復号部７４によって透かし情報が復号される。すなわち、幾何パターン軸に対して上に凸のパターンは透かし情報１とし、上に凹（下に凸）のパターンは透かし情報０であるとして透かし情報が復号される。
【０１０９】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態の電子透かし埋め込み装置によれば、幾何パターンの特徴点及び補間点を位置マーカによって各フレーム毎に埋め込む位置マーカ埋め込み部６３を備えることにより、動画像全体に対して同じような回転、切り取り、拡大縮小等の幾何変換が行われている限り、埋め込まれた定性的形状パターンが消失することはないので、幾何変換に対して高い耐性の透かし情報を埋め込むことができる。また非線形幾何変換が行われた場合でも検出され得る、耐性の高い透かし情報を埋め込むことができる。
【０１１０】
また、第２の実施形態の電子透かし埋め込み装置によれば、複数の幾何パターンを埋め込んだ場合でも、それら幾何パターンが交差するような非線形変換が行われない限り、定性的形状パターンが崩れることがないので、非線形変換に対しても耐性のある透かし情報を提供できる。
【０１１１】
さらに、第２の実施形態の電子透かし情報検出装置によれば、幾何パターンの特徴点及び補間点の位置が、検出時に多少ずれて求められても定性的形状パターンが崩れることがないので、正確な位置マーカの位置決めを行う必要がない。
【０１１２】
さらにまた、幾何変換量を求める必要がないので、計算誤差による問題も生じない。
【０１１３】
（Ｃ）第３の実施形態
以下では、本発明に係る電子透かし埋め込み装置及び電子透かし検出装置の第３の実施形態について図１２〜１４を参照して詳説する。
【０１１４】
第３の実施形態は、デジタル動画像に電子透かし情報を埋め込む場合の適用例であって、第１の実施形態による電子透かし情報の埋め込みを動画像にも適用したものである。
【０１１５】
すなわち、第３の実施形態は、特に、幾何パターンを複数に分割させて得た位置マーカをそれぞれ動画像１フレームに埋め込む場合の適用である。
【０１１６】
（Ｃ−１）第３の実施形態の構成
（Ｃ−１−１）電子透かし情報埋め込み装置の構成
図１２は、デジタル動画像の電子透かし埋め込み装置の内部構成を示したものである。
【０１１７】
図１２に示すように、電子透かし情報埋め込み装置１２０１は、幾何パターン生成部１２０２、位置マーカ埋め込み部１２０３、フレーム分割部１２０４、動画像再構成部１２０５、幾何パターン分割部１２０６とを有して構成されるものである。
【０１１８】
第３の実施形態の電子透かし埋め込み装置１２０１は、幾何パターン分割部１２０６に特徴があり、その他の構成要件については第１及び２の実施形態において説明した対応する構成要件と同じであるので対応する符号を付し、これらの構成要件の機能説明は省略する。
【０１１９】
幾何パターン分割部１２０６は、幾何パターン生成部１２０２によって生成された幾何パターンが与えられ、その幾何パターンを複数に分割して、分割された幾何パターンを位置マーカ埋め込み部１２０３に与えるものである。
【０１２０】
幾何パターン分割部１２０６は、透かし情報の検出に影響を与えないように幾何パターンを任意に分割するものであり、例えば時系列に沿って予め設定された幾何パターンの特徴点及び補間点の数毎に分割するものである。
【０１２１】
位置マーカ埋め込み部１２０３は、幾何パターン分割部１２０６から分割された幾何パターンに基づいて位置マーカをデジタル動画像の各フレームに埋め込むものである。位置マーカ埋め込み部１２０３は、フレーム間引き等によって幾何パターンの一部が失われる可能性もあるので、複数フレームに埋め込むようにして位置マーカを埋め込むようにする。また、位置マーカ埋め込み部１２０３がフレームに位置マーカを埋める順序は任意で良く、例えば時系列に沿ったフレームに対して時系列に沿った位置マーカを埋め込むようにしても良く、また時系列に沿ったフレームに対して時系列に沿わない位置マーカを埋め込むようにしても良いが位置マーカの検出に影響がないようにする。
【０１２２】
（Ｃ−１−２）電子透かし情報検出装置の構成
図１３は、本発明の電子透かし情報検出装置の内部構成を示したブロック図である。
【０１２３】
図１３に示すように、電子透かし情報検出装置１３０１は、フレーム分割部１３０５、位置マーカ検出部１３０２、位置マーカ蓄積部１３０６、幾何パターン再構成部１３０３、電子透かし復号部１３０４とを有して構成されている。
【０１２４】
第３の実施形態の電子透かし情報検出装置１３０１は、位置マーカ蓄積部１３０６を有することに特徴があり、その他の構成要件については、第１及び２の実施形態で説明した構成要件であり対応する符号を付してあり、これらの構成要件の機能説明は省略する。
【０１２５】
位置マーカ蓄積部１３０６は、位置マーカ検出部１３０２から各フレーム毎に検出されたすべての位置マーカを受け取り、受け取ったすべての位置マーカを蓄積して、幾何パターン再構成部１３０３に与えるものである。
【０１２６】
幾何パターン再構成部１３０３は、位置マーカ蓄積部１３０６から蓄積されたすべての位置マーカを受け取り、幾何パターンを再構成するものである。
【０１２７】
（Ｃ−２）第３の実施形態の動作
（Ｃ−２−１）電子透かし情報埋め込み装置の動作
幾何パターン生成部１２０２に与えられた透かし情報は、幾何パターン生成部１２０２によって２進数に符号化されて、幾何パターンに変換されて、幾何パターンの特徴点及び補間点が指定される。
【０１２８】
生成された幾何パターンは、幾何パターン分割部１２０６に与えられ、幾何パターン分割部１２０６によって分割されて、位置マーカ埋め込み部１２０３に与えられる。ここで、この幾何パターンの分割方法は任意の方法で良く、例えば所定数又は所定時間の幾何パターンの特徴点及び補間点ごとに分割するようにしても良い。
【０１２９】
幾何パターン分割部１２０６からの分割された幾何パターンは、位置マーカ埋め込み部１２０３によって、フレーム分割部１２０４から切り出された時系列に沿ったデジタル動画像の各フレームに、位置マーカで埋め込まれる。このとき、位置マーカは、フレームの間引き等により一部が失われないように、複数のフレームに対して埋め込まれる。
【０１３０】
位置マーカ埋め込み部１２０３によってそれぞれ位置マーカが埋め込まれた各フレームは、動画像再構成部１２０５によって、時系列に沿ってデジタル動画像が再構成されて電子透かし埋め込み済みデジタル動画像が出力される。
【０１３１】
（Ｃ−２−２）電子透かし情報検出装置の動作
フレーム分割部１３０５に与えられた電子透かし埋め込み済みデジタル動画像は、フレーム分割部１３０５によって、各フレーム毎に切り出される。
【０１３２】
フレーム分割部１３０５からの各フレームは、位置マーカ検出部１３０２によってそれぞれのフレームに含まれているすべての位置マーカが検出されて、検出された位置マーカが位置マーカ蓄積部１３０６に与えられる。
【０１３３】
位置マーカ検出部１３０２からの各フレームに含まれているすべての位置マーカは、位置マーカ蓄積部１３０６によってすべて蓄積されて、幾何パターン再構成部１３０３に与えられる。
【０１３４】
位置マーカ蓄積部１３０６から蓄積されている各フレームの位置マーカは、幾何パターン再構成部１３０３によって幾何パターンが再構成される。ここで、図１４は分割された幾何パターンの統合を説明する説明図である。図１４に示すように、各フレームに含まれている位置マーカが幾何パターン再構成部１３０３により統合されることにより幾何パターンが再構成される。
【０１３５】
再構成された幾何パターンは、電子透かし復号部１３０４に与えられて、電子透かし復号部によって電子透かしが復号されて出力される。
【０１３６】
（Ｃ−３）第３の実施形態の効果
以上、第３の実施形態によれば、第１の実施形態と同様な効果を奏することができる。
【０１３７】
また、第３の実施形態によれば、位置マーカ蓄積部１３０６を備えるため、動画像の各フレーム埋め込まれた幾何パターンの一部を蓄積できるので、蓄積された幾何パターンの一部を統合して幾何パターンを復元することができる。
【０１３８】
（Ｄ）他の実施形態
第１〜第３の実施形態では、デジタル静止画像又はデジタル動画像に、位置マーカを埋め込むこととして説明したが、画像を周波数変換（例えば離散フーリエ変換、離散コサイン変換、ウェブレット変換等）して求めた係数（行列）を修正して位置マーカを埋め込むようにしても良い。
【０１３９】
【発明の効果】
以上のように、本発明によれば、回転、拡大縮小等の幾何変換に耐性のある情報を埋め込むことができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る静止画像用の電子透かし埋め込み装置の内部構成を示したブロック図である。
【図２】第１の実施形態に係る幾何パターンを説明する説明図である。
【図３】第１の実施形態に係る位置マーカの概念構成図である。
【図４】第１の実施形態に係る静止画像用の電子透かし検出装置の内部構成を示したブロック図である。
【図５】第１の実施形態に係る幾何パターン生成のフローチャートである。
【図６】第２の実施形態に係る動画像用の電子透かし埋め込み装置の内部構成を示したブロック図である。
【図７】第２の実施形態に係る動画像用の電子透かし検出装置の内部構成を示したブロック図である。
【図８】第２の実施形態に係る幾何パターンの構成を説明する説明図である。
【図９】第２の実施形態に係る各フレーム毎への位置マーカの埋め込みを説明する説明図である。
【図１０】第２の実施形態において複数の幾何パターンの埋め込みを説明した説明図である。
【図１１】第２の実施形態に係る幾何パターン軸の確定を説明する説明図である。
【図１２】第３の実施形態に係る動画像用の電子透かし埋め込み装置の内部構成を示したブロック図である。
【図１３】第３の実施形態に係る動画像用の電子透かし検出装置の内部構成を示したブロックである。
【図１４】第３の実施形態に係る分割された幾何パターンの統合を説明した説明図である。
【符号の説明】
１１、６１、１２０１…電子透かし埋め込み装置、
１２、６２、１２０２…幾何パターン生成部、
１３、６３、１２０３…位置マーカ埋め込み部、
４１、７１、１３０１…電子透かし検出装置、
４２、７２、１３０２…位置マーカ検出部、４３…幾何パターン検出部、
４４、７４、１３０４…透かし情報復号部、
６４、７５、１２０４、１３０５…フレーム分割部、
６５、１２０５…動画像再構成部、７３、１３０３…幾何パターン再構成部、
１２０６…幾何パターン分割部、１３０６…位置マーカ蓄積部。

Claims (10)

1. 静止画像に電子透かし情報を埋め込む電子透かし埋め込み装置において、
   前記電子透かし情報に基づいて、１又は複数の２次元の幾何パターンを生成する幾何パターン生成手段と、
   前記幾何パターン生成手段からの幾何パターンの各特徴点又は各補間点に位置が対応する、前記静止画像の領域の値、又は、前記静止画像を所定変換した２次元状情報の領域の値を修正する画像修正手段と
   を備えることを特徴とする電子透かし埋め込み装置。
2. 前記画像修正手段による修正成分が、パッチワークや雑音などの位置マーカであることを特徴とする請求項１に記載の電子透かし埋め込み装置。
3. 動画像に電子透かし情報を埋め込む電子透かし埋め込み装置において、
   前記動画像をフレーム毎に分割するフレーム分割手段と、
   前記電子透かし情報に基づいて、時間軸方向に位置が変化する１又は複数の幾何パターンを生成し、その幾何パターンの各特徴点間を所定時間毎で補間する幾何パターン生成手段と、
   前記幾何パターン生成手段からの幾何パターンの各特徴点又は各補間点に時間軸及び位置が対応する、各フレーム画像の領域の値、又は、前記フレーム画像を変換した２次元情報の領域の値を修正する画像修正手段と、
   前記画像修正手段からの出力に基づいて、動画像を再構築する動画像再構築手段と
   を備えることを特徴とする電子透かし埋め込み装置。
4. 前記幾何パターン生成手段は、前記電子透かし情報に基づいて２次元の幾何パターンを生成した後、その２次元の幾何パターンを複数の部分に分割し、複数の分割幾何パターン部分をそれぞれ時間軸が異なるフレーム画像に対応付けることを特徴とする請求項３に記載の電子透かし埋め込み装置。
5. 静止画像に埋め込まれている電子透かしを検出する電子透かし検出装置において、
   前記静止画像の領域の値、又は、前記静止画像を所定変換した２次元状情報の領域の値の中から修正成分を全て検出する修正成分検出手段と、
   前記修正成分検出手段により検出された各修正成分の位置関係に基づいて、１又は複数の２次元の幾何パターンを復元する幾何パターン復元手段と、
   前記幾何パターン復元手段により復元された幾何パターンに基づいて、電子透かし情報を復号する電子透かし情報復号手段と
   を備えることを特徴とする電子透かし検出装置。
6. 前記修正成分検出手段は、前記静止画像の領域の値、又は、前記静止画像を所定変換した２次元状情報の領域の値が、その周辺領域の値に比べて予め設定された所定値以上である場合、その領域の値を修正成分として検出することを特徴とする請求項５に記載の電子透かし検出装置。
7. 前記幾何パターン復元手段は、検出された各修正成分について、所定範囲内の最短距離に位置する修正成分同士を繋げていくことにより、幾何パターンを復元することを特徴とする請求項５又は６に記載の電子透かし検出装置。
8. 動画像に埋め込まれている電子透かしを検出する電子透かし検出装置において、
   前記動画像をフレーム毎に分割するフレーム分割手段と、
   前記各フレーム画像の領域の値、又は、前記各フレーム画像を変換した２次元状情報の領域の値の中から修正成分を全て検出する修正成分検出手段と、
   前記修正成分検出手段により検出された各フレーム画像の修正成分の位置を時間軸に対応するように連結させて、１又は複数の幾何パターンを復元する幾何パターン復元手段と、
   前記幾何パターン復元手段によって復元された幾何パターンに基づいて、電子透かし情報を復号する電子透かし復号手段と
   を備えることを特徴とする電子透かし検出装置。
9. 前記幾何パターン復元手段は、前記修正成分検出手段により検出された各フレーム画像の修正成分を蓄積する蓄積する検出位置蓄積部を有することを特徴とする請求項９に記載の電子透かし検出装置。
10. 前記電子透かし復号手段は、動画像に埋め込まれた元の電子透かし情報を記憶する電子透かし記憶部を備え、その電子透かし記憶部の元の電子透かし情報と、前記復号した電子透かし情報とを比較判定することを特徴とする請求項８又は９に記載の電子透かし検出装置。

Images