JP2007104636A - 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】画質の劣化を抑えつつ電子透かしの検出精度をより向上することのできる電子透かし埋め込み装置を提供すること。
【解決手段】特徴抽出部１２は、電子透かしを埋め込む対象となる第１のフレームとこれに続く第２のフレームの画像データ間の差分を示す差分画像を求める。埋め込みパターン作成部１４は、第１のフレームに対して、電子透かしの画像パターンと差分画像を反転しさらに２で除したものとを重畳した第１の埋め込みパターンを作成するとともに、第２のフレームに対して、電子透かしの画像パターンを反転したパターンと差分画像を２で除したものとを重畳した第２の埋め込みパターンを作成し、透かし重畳部１５は、第１のフレームに対して第１の埋め込みパターンを重畳するとともに、第２のフレームに対して第２の埋め込みパターンを重畳する。
【選択図】 図１

Description

本発明は、コンテンツに電子透かしを埋め込む電子透かし埋め込み装置及び方法、コンテンツから電子透かしを検出する電子透かし検出装置及び方法、並びにプログラムに関する。

近年、コンピュータやネットワークの発達により、デジタルコンテンツを扱う場面が増えてきている。デジタルコンテンツには、非常に低いコストでオリジナルのコンテンツと全く同じコンテンツが作成できるという特徴がある。このため、デジタル著作物の違法コピー対策は不可欠なものとなってきている。

上記違法コピー対策の一つとして、人が知覚出来ない程度にデジタルコンテンツへ付加情報を埋め込み、著作権の主張等をできるようにした電子透かし(Digital Watermark)が広く検討、開発されてきている。

電子透かし技術の一つに、フレーム間の差分に対して透かしパターンを埋め込むものがある（例えば特許文献１参照）。この技術では、例えば、フレーム番号ｆ番のフレームには、第１の透かしのパターンを重畳し、ｆ＋１番のフレームには、第１の透かしのパターンの正負を反転させた第２の透かしのパターンを重畳することによって、電子透かしを埋め込む。そして、ｆ番のフレームとｆ＋１番目のフレームとの差分をとることによって、電子透かしを検出する。

しかしながら、電子透かしを埋め込む前のフレーム間の差分自体が大きい場合（例えば、動画像コンテンツにおける大きな動きを伴うシーンの場合など）、透かし成分とともに非常に大きなノイズ成分が検出され、この結果、誤検出を引き起こすことがある、という不具合があった。
特開２００３−１７４６３１公報

従来、２つのフレームに正負を反転させた透かしパターンをそれぞれ重畳することによって電子透かしを埋め込み、それらフレームの差分をとることによって電子透かしを検出する技術においては、それらフレームのもともとの差分が大きい場合に、正しく透かしパターンが検出できなくなることがあった。

本発明は、上記事情を考慮してなされたもので、画質の劣化を抑えつつ電子透かしの検出精度をより向上することのできる電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラムを提供することを目的とする。

本発明は、動画像コンテンツの複数のフレームを利用して画像パターンを電子透かしとして埋め込む電子透かし埋め込み装置において、前記複数のフレームの画像データに基づいて、該複数のフレームから前記電子透かしの画像パターンを検出する際に発生する誤差に対して影響を与える画像成分を求める手段と、前記電子透かしの画像パターンに基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第１の画像パターンを決定するとともに、前記画像成分に基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第２の画像パターンであって前記誤差に対する前記画像成分の影響を除去又は低減させるものを決定する決定手段と、前記複数のフレームのそれぞれについて、当該フレームに対して決定された前記第１の画像パターン及び前記第２の画像パターンを、当該フレームの画像データに重畳する重畳手段とを備えたことを特徴とする。
また、本発明は、動画像コンテンツの複数のフレームを利用して電子透かしとして埋め込まれた画像パターンを検出する電子透かし検出装置において、前記複数のフレームの画像データをもとにした特定の線形演算を行うことによって、誤差成分を含む電子透かしの画像パターンを抽出する抽出手段と、抽出された前記電子透かしの画像パターンに対して信号処理を施すことによって、前記電子透かしの画像パターンに含まれる前記誤差成分を低減する手段とを備えたことを特徴とする。

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。

本発明によれば、画質の劣化を抑えつつ電子透かしの検出精度をより向上することができる。

以下、図面を参照しながら本発明の実施形態について説明する。

以下の説明で使用する主な記号や演算について説明する。

ＷＭは、対象となる画像に埋め込むべき透かしパターンを表す。本実施形態では、透かしパターンは、１フレーム分の画像データであるものとする。なお、透かしパターンは、Ｉ_WMとも記述する。

図３に、画像中に埋め込む透かしパターン（透かしの画像パターン）一例を示す。図３は、斜線でハッチングした部分の画素値が“＋１”、それ以外の部分の画素値が“−１”というパターンの例である（このパターンを反転したパターンは、斜線でハッチングした部分の画素値が“−１”、それ以外の部分の画素値が“＋１”というパターンになる）。もちろん、文字の部分の画素値が“−１”、それ以外の部分の画素値が“＋１”でもよい。

なお、図３において、画素値のとり方は上記の他にも可能であり、例えば、斜線でハッチングした部分の画素値が“＋１”、それ以外の部分の画素値が“０”というパターンも可能である（この場合の反転パターンは、例えば、斜線でハッチングした部分の画素値が“−１”、それ以外の部分の画素値が“０”である）。

Ｉ及びこれに英字等の符号を添えたものは、画像データを表す。本実施形態では、１フレーム分の画像データであるものとする。

番号ｉを添えたＩ_ｉは、特に、番号ｉで識別される画像を表す。本実施形態では、画像を識別する番号ｉは、動画像におけるフレーム番号を表すものとする。また、本実施形態では、説明の便宜上、動画像の各フレームには、先頭フレームから最後尾フレームに向けて、１から始まる連続番号が付されるものとして説明する。

プライムを付されたＩ_ｉ（すなわち、Ｉ_ｉ ^´，Ｉ_ｉ ^´´，Ｉ_ｉ ^´´´）は、特に、透かしパターンを埋め込むための処理を施された画像（処理途中の画像を含む）を表す。

本実施形態で用いる計算式において、２つの画像の間の加算又は減算は、画素ごとに行われるものとする（すなわち、対応する画素の値を加算又は減算する）。また、画像に対する数値の乗算は、各画素について行われるものとする（すなわち、各画素の値にそれぞれ同じ数値を乗じる）。

ある画像Ｉに対して、−Ｉは、画像Ｉを反転したものを表す。

なお、画像Ｉ_１に画像Ｉ_２を反転したものを重畳するＩ_１＋（−Ｉ_２）は、実際には、画像Ｉ_１に画像Ｉ_２を反転した（−Ｉ_２）を加算してもよいし、画像Ｉ_１から、画像Ｉ_２を減算してもよい。

Ｉ_Ｄは、２つの画像に対する差分画像（例えば、Ｉ_Ｄ＝Ｉ_１−Ｉ_２）を表す。

ｆ（ｘ）は、画像ｘに対して信号処理（本実施形態では、所定のフィルタ処理）を施すことによって得られた画像を表す。ｇ（ｘ）についても同様である。

次に、フレーム間差分を利用する従来の電子透かしについて説明する。

従来の電子透かし埋め込み方法では、例えば画像Ｉ_１，Ｉ_２に透かしを埋め込む場合、下記の式のように、画像Ｉ_１に透かしパターン“ＷＭ”を重畳（加算）したものを透かし埋め込み済み画像Ｉ_１ ^´´´とし、画像Ｉ_２に透かしパターンＷＭの反転パターン“−ＷＭ”を重畳（加算）したものを（または、画像Ｉ_２から透かしパターンＷＭを減算したものを）透かし埋め込み済み画像Ｉ_２ ^´´´とする。
Ｉ_１ ^´´´＝Ｉ_１＋ＷＭ，
Ｉ_２ ^´´´＝Ｉ_２＋（−ＷＭ）
従来の電子透かし検出方法では、例えば画像Ｉ_１，Ｉ_２から透かしを検出する場合、下記の式のように、透かし埋め込み済み画像Ｉ_１ ^´´´とＩ_２ ^´´´との差分から、検出透かしパターンＷＭ´を求める。
ＷＭ´＝Ｉ_１ ^´´´−Ｉ_２ ^´´´＝Ｉ_１−Ｉ_２＋２ＷＭ＝Ｉ_Ｄ＋２ＷＭ≒２ＷＭ （ここで、｜２ＷＭ｜≫｜Ｉ_Ｄ｜と仮定する）
このように従来の方法においては、２ＷＭに対してＩ_Ｄが無視できない場合には、検出結果に誤差が含まれ、状況によっては検出誤りが発生する。コンテンツの画質を維持するためにはＷＭをある程度小さく抑える必要がある反面、動画像コンテンツでは一般的にＩ_Ｄは小さくないので、上記のような従来の電子透かしは、動画像に用いることのできるものではなかった。

なお、以下で説明する各実施形態においては、透かし埋め込み対象となる画像の特徴量に基づいて透かしパターンを修正したもの（対象となる画像の特徴量に基づく画像成分を透かしパターンに重畳したもの）を該対象となる画像に重畳する場合を中心に説明するが、対象となる画像の特徴量に基づいて該対象となる画像を修正する場合（対象となる画像の特徴量に基づく画像成分を該対象となる画像に重畳し、次いで、該対象となる画像に透かしパターンを重畳する場合や、対象となる画像に透かしパターンを重畳し、次いで、該対象となる画像の特徴量に基づく画像成分を該対象となる画像に重畳する場合）も、同様に可能である。

また、各実施形態においては、対象となる画像の特徴量に基づいて透かしパターンを修正したものを該対象となる画像に重畳する場合の説明において、透かし埋め込み対象の画像（例えば、第１の実施形態の画像Ｉ_１，Ｉ_２）に実際に重畳するのは、透かしパターンＷＭではなく、これを修正したもの（例えば、第１の実施形態のＷｐやＷｎなど）であるので、透かし埋め込み対象の画像に実際に重畳する修正された透かしパターンを、「埋め込みパターン」と呼んで、もとの透かしパターンと区別するものとする。

（第１の実施形態）
第１の実施形態では、２つの画像（例えば、Ｉ_１，Ｉ_２）にフレーム間差分を利用して電子透かしを埋め込む場合に、それら画像に対して、透かしパターンＷＭを重畳する代わりに、それら画像の特徴（すなわち、差分画像Ｉ_Ｄ）を利用して透かしパターンＷＭを修正したものを埋め込むことによって（あるいは、それら画像の特徴を利用して対象の画像を修正するのと相前後して、該画像に透かしパターンＷＭを埋め込むことによって）、ＷＭとＩ_Ｄとの大小関係にかかわらずに、透かし検出時に、画像の特徴に起因する検出誤差が発生しないようにしたものである。

以下、本実施形態の電子透かしのアルゴリズムについて説明する。

まず、本実施形態の電子透かし埋め込み方法について、画像Ｉ_１，Ｉ_２に透かしを埋め込む場合を例にとって説明する。下記の手順例のように、透かし埋め込み対象の画像Ｉ_１，Ｉ_２の差分Ｉ_Ｄ（＝Ｉ_１−Ｉ_２）を求め、正方向の埋め込みパターンＷｐ（＝ＷＭ−Ｉ_Ｄ／２）と、その反転パターンである負方向の埋め込みパターンＷｎ（＝Ｉ_Ｄ／２−ＷＭ＝−Ｗｐ）とを求め、画像Ｉ_１に埋め込みパターンＷｐを重畳（加算）したものを透かし埋め込み済み画像Ｉ_１ ^´とするとともに、画像Ｉ_２に埋め込みパターンＷｎを加算したものを透かし埋め込み済み画像Ｉ_２ ^´とする。
（１） Ｉ_Ｄ＝Ｉ_１−Ｉ_２
（２−１） Ｗｐ＝（ＷＭ−Ｉ_Ｄ／２）
（２−２） Ｗｎ＝（Ｉ_Ｄ／２−ＷＭ）
（３−１） Ｉ_１ ^´＝Ｉ_１＋Ｗｐ
（３−２） Ｉ_２ ^´＝Ｉ_２＋Ｗｎ
なお、上記の演算は、（２−１）及び（２−２）より先に（１）を実行する点、（３−１）より先に（２−１）を実行する点、（３−２）より先に（２−２）を実行する点に制約がある以外は、どのような順序で実行しても構わない。また、（２−１）と（２−２）は同時実行可能であり、（３−１）と（３−２）も同時実行可能である。また、（２−２）は、（２−１）の演算結果を利用して、Ｗｎ＝−Ｗｐとしてもよいし、（２−２）の演算結果を利用して、（２−１）をＷｐ＝−Ｗｎとしてもよい。また、例えば、画像Ｉ_２に埋め込みパターンＷｎを加算する代わりに、画像Ｉ_２から埋め込みパターンＷｎを減算するようにしてもよい（この場合、埋め込みパターンＷｎを求める必要はない）。

また、上記の差分画像の生成→埋め込みパターンの生成→対象画像への埋め込みパターンの重畳を基本とする手順例の他に、
（１１） Ｉ_Ｄ＝Ｉ_１−Ｉ_２
（１２−１） Ｉ_１ ^´´＝Ｉ_１＋（−Ｉ_Ｄ／２）
（１２−２） Ｉ_２ ^´´＝Ｉ_２＋（Ｉ_Ｄ／２）
（１３−１） Ｉ_１ ^´＝Ｉ_１ ^´´＋ＷＭ
（１３−２） Ｉ_２ ^´＝Ｉ_２ ^´´＋（−ＷＭ）
のように、成分ごとの対象画像への重畳を基本とするようにしてもよいし（この手順例においても、上記のように、種々のバリエーションが可能である）。

また、上記を組み合わせて以下のようにしてもよい。
（１） Ｉ_Ｄ＝Ｉ_１−Ｉ_２
（２−１） Ｗｐ＝（ＷＭ−Ｉ_Ｄ／２）
（３−１） Ｉ_１ ^´＝Ｉ_１＋Ｗｐ
（１２−２） Ｉ_２ ^´´＝Ｉ_２＋（Ｉ_Ｄ／２）
（１３−２） Ｉ_２ ^´＝Ｉ_２ ^´´＋（−ＷＭ）
また、以上の手順例の他にも種々のバリエーションが可能である（この手順例においても、上記のように、種々のバリエーションが可能である）。

なお、どのような手順をとっても、透かし埋め込み対象の画像Ｉ_１，Ｉ_２に対する透かし埋め込み済み画像Ｉ_１ ^´，Ｉ_２ ^´は、次のようになる。
Ｉ_１ ^´＝Ｉ_１＋（ＷＭ−Ｉ_Ｄ／２）
Ｉ_２ ^´＝Ｉ_２＋（Ｉ_Ｄ／２−ＷＭ）
次に、本実施形態の電子透かし検出方法について、画像Ｉ_１，Ｉ_２から透かしを検出する場合を例にとって説明する。下記の手順例のように、透かし埋め込み済み画像Ｉ_１ ^´と
Ｉ_２ ^´との差分から、検出透かしパターンＤＷＭを求める。
ここで、
ＤＷＭ＝Ｉ_１ ^´−Ｉ_２ ^´＝Ｉ_１−Ｉ_２−Ｉ_Ｄ＋２ＷＭ＝Ｉ_Ｄ−Ｉ_Ｄ＋２ＷＭ＝２ＷＭ
から、検出透かしパターンＤＷＭとして、もとの透かしパターンＷＭに２を乗じたものが得られることがわかる。

なお、必要であれば、Ｉ_１ ^´とＩ_２ ^´との差分に１／２を乗じることによって、検出透かしパターンＤＷＭとして、もとの透かしパターンＷＭを得ることができる。

このように、本実施形態の電子透かし方法においては、２ＷＭとＩ_Ｄとの大小関係にかかわりなく、透かし検出時に、画像の特徴に起因する検出誤差が発生せずに、透かしパターンを抽出することができる。よって、この電子透かしは、一般的にＩ_Ｄが小さくない動画像などのコンテンツに用いることができる。

図１に、本実施形態に係る電子透かし埋め込み装置の一構成例を示す。

図１に示されるように、本実施形態の電子透かし埋め込み装置は、フレーム蓄積部１１、特徴抽出部１２、埋め込みパターン作成部１４、透かし重畳部１５、制御部１６を備えている。

フレーム蓄積部１１は、透かしパターンを埋め込むべき動画像のうち、少なくとも処理対象となったフレームのデータを一時的に蓄積するためのバッファである。本実施形態では、例えば、制御部１６より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆのデータを蓄積する。

特徴量抽出部１２は、透かしパターンを埋め込むための処理の対象となる動画像から所定の特徴量を抽出する。本実施形態では、例えば、制御部１６より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆとフレーム番号ｆ−１の画像Ｉ_ｆ−１との間の差分を示す差分画像Ｉ_Ｄ（＝Ｉ_ｆ−Ｉ_ｆ−１）を求める。

埋め込みパターン作成部１４は、処理対象の（複数枚で１セットとなる）画像に重畳すべき埋め込みパターンをそれぞれ作成する。本実施形態では、例えば、制御部１６より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆとフレーム番号ｆ−１の画像Ｉ_ｆ−１に埋め込むべき埋め込みパターンＷｐ，Ｗｎを、特徴量抽出部１２により抽出された特徴量（差分画像Ｉ_Ｄ）と、制御部１６より与えられた透かしパターンＷＭとをもとにして、それぞれ作成する。

透かし重畳部１５は、処理対象の（複数枚で１セットとなる）画像に、それぞれ、埋め込みパターンを重畳する。本実施形態では、例えば、制御部１６より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆ，Ｉ_ｆ−１に対して、それぞれ、埋め込みパターン作成部１４により作成された埋め込みパターンＷｐ，Ｗｎを重畳する。

制御部１６は、電子透かし埋め込み装置１の全体の制御を司る。

なお、透かしを埋め込むべき動画像コンテンツのいずれのフレームを、透かしを埋め込むための処理の対象とするかについては、種々のバリエーションがある。例えば、全てのフレームを対象としてもよいし、予めフレーム番号などにより定められている１セット又は複数セットのフレームのみを対象としてもよい。また、例えば、外部から対象とするフレームを指定するようにしてもよい。

また、透かしパターンの指定についても、種々のバリエーションがある。例えば、常に同一の透かしパターンを埋め込むようにしてもよいし、外部から埋め込むべき透かしパターンを指定するようにしてもよい。また、例えば、１つの動画像には全フレームに共通に１つの透かしパターンを埋め込むようにしてもよいし、フレームによって異なる透かしパターンを埋め込むようにしてもよい。

なお、上記の各部が、その処理に必要な画像データを蓄積するバッファを有するものとしてもよいし、フレーム蓄積部１１あるいは他のバッファに、まとめて蓄積するようにしてもよい。

図２に、本実施形態における電子透かし埋め込み処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを埋め込み対象とするものである（ただし、フレーム数が奇数の場合、最終フレームは未処理となる）。

また、この手順例は、前掲の（１）〜（３−２）の手順を利用するものである。

フレーム番号ｆ＝０として処理を開始し、ステップＳ１０又はステップＳ１１でＹＥＳとなるまで、以下の処理を繰り返し行う。

まず、ｆに１を加算する（ステップＳ１）。

次に、ｆが奇数ならば（ステップＳ２）、バッファを初期化（ステップＳ３）した後、フレームＩ_ｆを入力してフレーム蓄積部１１に保存し（ステップＳ４）、ステップＳ１へ戻って、ｆに１を加算する。

ｆが偶数ならば（ステップＳ２）、フレームＩ_ｆを入力してフレーム蓄積部１１に保存し（ステップＳ５）、ステップＳ６へ進む。

この時点で、フレームＩ_ｆと、その一つ前のフレームＩ_ｆ−１とがフレーム蓄積部１１に保存されていることになる。

ステップＳ６では、特徴抽出部１２において、フレーム蓄積部１１に保存されている２つのフレームＩ_ｆ，Ｉ_ｆ−１の差分Ｉ_Ｄ（＝Ｉ_ｆ−Ｉ_ｆ−１）を求める。

次に、埋め込みパターン作成部１４において、フレームＩ_ｆ−１に重畳するパターンＷｐ＝ＷＭ−Ｉ_Ｄ／２と、フレームＩ_ｆに重畳するパターンＷｎ＝Ｉ_Ｄ／２−ＷＭとを作成する（ステップＳ７）。

次に、透かし重畳部１５において、フレームＩ_ｆ−１に対してＷｐを重畳するとともに、フレームＩ_ｆに対してＷｎを重畳し（ステップＳ８）、Ｗｐを重畳したＩ_ｆ−１と、Ｗｎを重畳したＩ_ｆとを出力する（ステップＳ９）。

ここで、未処理のフレームが１つも残っていなければ（ステップＳ１０）、この処理を終了する。また、未処理のフレームが１つのみ残っていれば（ステップＳ１１）、そのフレームＩ_ｆ＋１をそのまま出力して（ステップＳ１２）、この処理を終了する。それら以外の場合（未処理のフレームが２つ以上、残っている場合）は、ステップＳ１に戻って、同様の処理を繰り返す。

図２の手順例は、前掲の（１）〜（３−２）の手順を利用するものであったが、前掲の（１１）〜（１３−２）の手順を利用するものも可能である。

この場合には、図２の手順例において、例えば、ステップＳ７を、「Ｉ_ｆ−１に対して、−Ｉ_Ｄ／２を重畳するとともに、Ｉ_ｆに対して、Ｉ_Ｄ／２を重畳する処理」（すなわち、Ｉ_ｆ−１＝Ｉ_ｆ−１＋（−Ｉ_Ｄ／２）と、Ｉ_ｆ＝Ｉ_ｆ＋Ｉ_Ｄ／２の処理）に変更し、ステップＳ８を、「Ｉ_ｆ−１に対して、ＷＭを重畳するとともに、Ｉ_ｆに対して、−ＷＭを重畳する処理」（すなわち、Ｉ_ｆ−１＝Ｉ_ｆ−１＋ＷＭと、Ｉ_ｆ＝Ｉ_ｆ＋（−ＷＭ）の処理）に変更すればよい。

図４に、本実施形態に係る電子透かし検出装置の一構成例を示す。

図４に示されるように、本電子透かし検出装置は、フレーム蓄積部２１、透かし抽出部２２、制御部２４を備えている。

フレーム蓄積部２１は、透かしパターンを検出すべき動画像のうち、少なくとも処理対象となったフレームのデータを一時的に蓄積するためのものである。本実施形態では、例えば、制御部２４より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆのデータを蓄積する。

透かし抽出部２２は、処理対象のフレームのデータを用いて、検出透かしパターンＤＷＭを求める。本実施形態では、例えば、制御部２４より与えられたフレーム番号情報が示す番号ｆについて、フレーム番号ｆの画像Ｉ_ｆとフレーム番号ｆ−１の画像Ｉ_ｆ−１との差分（あるいは、この差分に１／２を乗じたもの）を、検出透かしパターンＤＷＭとする。

制御部２４は、電子透かし埋め込み装置１の全体の制御を司る。

なお、透かしの検出を試みるべき動画像コンテンツのいずれのフレームを、透かし検出のための処理の対象とするかについては、前述した透かし埋め込み時のバリエーションに対応して、種々のバリエーションがある。

なお、上記の各部が、その処理に必要な画像データを蓄積するバッファを有するものとしてもよいし、フレーム蓄積部２１あるいは他のバッファに、まとめて蓄積するようにしてもよい。

図５に、本実施形態における電子透かし検出処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを検出対象とするものである（ただし、フレーム数が奇数の場合、最終フレームは未処理となる）。

なお、図５において、フレーム番号に関する記述は省略している。

ステップＳ２２でＮＯになるまで、以下の処理を繰り返し行う。

ｋ＝１をセットし（ステップＳ２１）、次のフレーム（未だ入力・蓄積していないフレームのうち先頭のもの）が存在するか確認する（ステップＳ２２）。

次フレームが存在する場合には、次フレームを入力し、これをフレーム蓄積部２１に保存する（ステップＳ２３）。

次に、「ｋ＝２」が偽であれば、ｋに１を加え（ステップＳ２４，Ｓ２５）、ステップＳ２２に戻る。

そして、ステップＳ２２，Ｓ２３の処理が行われ、ステップＳ２で、「ｋ＝２」が真となって、ステップＳ２６へ進む。この時点で、フレームＩ_ｆと、その一つ前のフレームＩ_ｆ−１がフレーム蓄積部２１に保存されていることになる。

ステップＳ２６では、透かし抽出部２２において、フレーム番号ｆの画像Ｉ_ｆとフレーム番号ｆ−１の画像Ｉ_ｆ−１との差分（あるいは、この差分に１／２を乗じたもの）を求める。

次に、求めた差分（あるいは、この差分に１／２を乗じたもの）を、検出透かしパターンＤＷＭとして出力する（ステップＳ２７）。

そして、蓄積フレームをクリア（ステップＳ２８）した後に、ステップＳ２１へ戻って、同様の処理を繰り返す。

なお、Ｓ２２で次フレームが存在しなければ、この処理を終了する。

なお、符号化ノイズや動画像中の動物体のエッジ部分などの透かしの検出に悪影響を及ぼす成分の抽出方式として、単純なフレーム間差分のみを採ったが、これに限定されることはない。例えば、透かしのパターンを正の方向（画素の値を＋方向）に埋め込む場合、画像の差分成分も正の方向（画素の値が＋方向）であれば透かしの検出への影響は小さい。影響の小さい成分に関しては除去対象から予め外しておけば、画質への影響はさらに抑えることができる。

（第２の実施形態）
第２の実施形態は、透かし埋め込みにあたって、特徴量（第１の実施形態の差分画像Ｉ_Ｄ）がコンテンツの画質に及ぼす影響を軽減して、画質の劣化を防止するために、抽出した特徴量に信号処理を加えるようにしたものである。

以下、第１の実施形態と相違する点を中心に説明する。

まず、本実施形態の電子透かし埋め込み方法について、画像Ｉ_１，Ｉ_２に透かしを埋め込む場合を例にとって説明する。下記の手順例のように、透かし埋め込み対象の画像Ｉ_１，Ｉ_２の差分Ｉ_Ｄ（＝Ｉ_１−Ｉ_２）を求め、差分Ｉ_Ｄに対して信号処理（例えば、ローパスフィルタなどのフィルタ処理）ｆ（ｘ）を施すことによってｆ（Ｉ_Ｄ）を求め、正方向の埋め込みパターンＷｐ（＝ＷＭ−ｆ（Ｉ_Ｄ）／２）と、その反転パターンである負方向の埋め込みパターンＷｎ（＝ｆ（Ｉ_Ｄ）／２−ＷＭ＝−Ｗｐ）とを求め、画像Ｉ_１に埋め込みパターンＷｐを重畳（加算）したものを透かし埋め込み済み画像Ｉ_１ ^´とするとともに、画像Ｉ_２に埋め込みパターンＷｎを加算したものを透かし埋め込み済み画像Ｉ_２ ^´とする。
（２１−１） Ｉ_Ｄ＝Ｉ_１−Ｉ_２
（２１−２） ｆ（Ｉ_Ｄ）
（２２−１） Ｗｐ＝（ＷＭ−ｆ（Ｉ_Ｄ）／２）
（２２−２） Ｗｎ＝（ｆ（Ｉ_Ｄ）／２−ＷＭ）
（２３−１） Ｉ_１ ^´＝Ｉ_１＋Ｗｐ
（２３−２） Ｉ_２ ^´＝Ｉ_２＋Ｗｎ
なお、上記の演算は、（２１−２）より先に（２１−１）を実行する点、（２２−１）及び（２２−２）より先に（２１−１）及び（２１−２）を実行する点、（２３−１）より先に（２２−１）を実行する点、（２３−２）より先に（２２−２）を実行する点に制約がある以外は、どのような順序で実行しても構わない。また、（２２−１）と（２２−２）は同時実行可能であり、（２３−１）と（２３−２）も同時実行可能である。また、（２２−２）は、（２２−１）の演算結果を利用して、Ｗｎ＝−Ｗｐとしてもよいし、（２２−２）の演算結果を利用して、（２２−１）をＷｐ＝−Ｗｎとしてもよい。また、例えば、画像Ｉ_２に埋め込みパターンＷｎを加算する代わりに、画像Ｉ_２から埋め込みパターンＷｎを減算するようにしてもよい（この場合、埋め込みパターンＷｎを求める必要はない）。

また、上記の差分画像の生成→差分画像に対する信号処理→埋め込みパターンの生成→対象画像への埋め込みパターンの重畳を基本とする手順例の他に、
（３１−１） Ｉ_Ｄ＝Ｉ_１−Ｉ_２
（３１−２） ｆ（Ｉ_Ｄ）
（３２−１） Ｉ_１ ^´´＝Ｉ_１＋（−ｆ（Ｉ_Ｄ）／２）
（３２−２） Ｉ_２ ^´´＝Ｉ_２＋（ｆ（Ｉ_Ｄ）／２）
（３３−１） Ｉ_１ ^´＝Ｉ_１ ^´´＋ＷＭ
（３３−２） Ｉ_２ ^´＝Ｉ_２ ^´´＋（−ＷＭ）
のように、成分ごとの対象画像への重畳を基本とするようにしてもよいし（この手順例においても、上記のように、種々のバリエーションが可能である）。

また、以上の手順例の他にも種々のバリエーションが可能である。

なお、どのような手順をとっても、透かし埋め込み対象の画像Ｉ_１，Ｉ_２に対する透かし埋め込み済み画像Ｉ_１ ^´，Ｉ_２ ^´は、次のようになる。
Ｉ_１ ^´＝Ｉ_１＋（ＷＭ−ｆ（Ｉ_Ｄ）／２）
Ｉ_２ ^´＝Ｉ_２＋（ｆ（Ｉ_Ｄ）／２−ＷＭ）
次に、本実施形態の電子透かし検出方法について、画像Ｉ_１，Ｉ_２から透かしを検出する場合を例にとって説明する。下記の手順例のように、透かし埋め込み済み画像Ｉ_１ ^´と
Ｉ_２ ^´との差分から、検出透かしパターンＤＷＭを求める。
ここで、
ＤＷＭ＝Ｉ_１ ^´−Ｉ_２ ^´＝Ｉ_１−Ｉ_２−ｆ（Ｉ_Ｄ）＋２ＷＭ＝Ｉ_Ｄ−ｆ（Ｉ_Ｄ）＋２ＷＭ
から、検出透かしパターンＤＷＭとして、もとの透かしパターンＷＭに２を乗じたものが得られることがわかる。

このように、本実施形態の電子透かし方法においては、検出透かしパターンとして、
ＤＷＭ＝Ｉ_Ｄ−ｆ（Ｉ_Ｄ）＋２ＷＭ
が得られ、前掲の従来の方法における検出結果（Ｉ_Ｄ＋２ＷＭ）に比較して、−ｆ（Ｉ_Ｄ）分だけ改善することがわかる。また、例えば、信号処理ｆ（ｘ）としてフィルタを用いていることにより、顕著な画質劣化は抑えつつ、透かしをより正確に検出することが可能である。

なお、必要であれば、Ｉ_１ ^´とＩ_２ ^´との差分に１／２を乗じて、
ＤＷＭ＝（Ｉ_１ ^´−Ｉ_２ ^´）／２＝（Ｉ_１−Ｉ_２−ｆ（Ｉ_Ｄ）＋２ＷＭ）／２＝（Ｉ_Ｄ−ｆ（Ｉ_Ｄ））／２＋ＷＭ
としてもよい。

図６に、本実施形態に係る電子透かし埋め込み装置の一構成例を示す。

図６の構成例は、図１の構成例に、前述のように、信号処理（例えば、ローパスフィルタなどのフィルタ処理）を行う信号処理部１３を付加したものである。また、図６の埋め込みパターン作成部１４は、Ｉ_Ｄの代わりにｆ（Ｉ_Ｄ）を演算に用いる点が、図１の埋め込みパターン作成部１４と相違する。

図７に、本実施形態における電子透かし埋め込み処理の手順の一例を示す。

図７の手順例は、図２の手順例のステップＳ６の次に、ステップＳ３６として「信号処理部１３において、Ｉ_Ｄに信号処理を施したｆ（Ｉ_Ｄ）を作成する」処理を挿入し、ステップＳ７を、「Ｉ_ｆ−１に重畳するパターンＷｐ＝ＷＭ−ｆ（Ｉ_Ｄ）／２と、Ｉ_ｆに重畳するパターンＷｎ＝ｆ（Ｉ_Ｄ）／２−ＷＭを作成する」処理を行うステップＳ３７に変更したものに相当する。

なお、図７の手順例は、前掲の（２１−１）〜（２３−２）の手順を利用するものであったが、前掲の（３１−１）〜（３３−２）の手順を利用するものも可能である。

この場合には、図７の手順例において、例えば、ステップＳ３７を、「Ｉ_ｆ−１に対して−ｆ（Ｉ_Ｄ）／２を重畳し、Ｉ_ｆに対してｆ（Ｉ_Ｄ）／２を重畳する」処理に変更し、ステップＳ８を、「Ｉ_ｆ−１に対してＷＭを重畳し、Ｉ_ｆに対して−ＷＭを重畳する」処理に変更すればよい。

なお、信号処理ｆ（ｘ）としては、例えば、空間方向の２次元ローパスフィルタを用いてもよいし、ハイパスフィルタや３次元フィルタなどを用いてもよい。ハイパスフィルタを用いると、画質への影響は大きくなるが、効率的に画像の影響（ノイズ）を取り除くことができる。一方、ローパスフィルタを用いると、検出率よりも画質を優先する形となる。フィルタは画像によって使い分けることで、より高い効果を見込むことができる。

なお、本実施形態に係る電子透かし検出装置の構成例は基本的には図４と同様で構わない。また、本実施形態における電子透かし検出処理の手順の一例は基本的には図５と同様で構わない。

次に、電子透かし検出のバリエーションについて説明する。

上記の説明では、本実施形態の電子透かし検出では、
検出透かしパターンとして、
ＤＷＭ＝Ｉ_Ｄ−ｆ（Ｉ_Ｄ）＋２ＷＭ
あるいは、
ＤＷＭ＝（Ｉ_１ ^´−Ｉ_２ ^´）／２＝（Ｉ_１−Ｉ_２−ｆ（Ｉ_Ｄ）＋２ＷＭ）／２＝（Ｉ_Ｄ−ｆ（Ｉ_Ｄ））／２＋ＷＭ
が得られた。

ここで、上記の検出結果にさらに信号処理（例えば、ローパスフィルタなどのフィルタ処理）ｇ（ｘ）を施す場合を考える。

前者のＩ_Ｄ−ｆ（Ｉ_Ｄ）＋２ＷＭにｇ（ｘ）を施すと、検出されるパターンは、
ＤＷＭ＝ｇ（Ｉ_Ｄ）−ｇ（ｆ（Ｉ_Ｄ））＋２ｇ（ＷＭ）となる。

ここで、ｇ（Ｉ_Ｄ）−ｇ（ｆ（Ｉ_Ｄ））≪Ｉ_Ｄ−ｆ（Ｉ_Ｄ）、かつ、ｇ（ＷＭ）≒ＷＭである場合には、より正確に透かしを検出することが可能となり、非常に大きい効果が得られる。

なお、このときのフィルタもローパスフィルタに限られるわけではなく、ハイパスフィルタ、メディアンフィルタなど画像に応じて、また埋め込み時に選択したフィルタに応じて、選択すればより高い効果が得られる。

図８に、この場合の電子透かし検出装置の一構成例を示す。

図８の構成例は、図４の構成例に、前述のように、信号処理（例えば、ローパスフィルタなどのフィルタ処理）を行う信号処理部２３を付加したものである。

図９に、この場合の電子透かし検出処理の手順の一例を示す。

図９の手順例は、図２の手順例のステップＳ２６の次に、ステップＳ４１として「信号処理部２３において、求められたフレーム番号ｆの画像Ｉ_ｆとフレーム番号ｆ−１の画像Ｉ_ｆ−１との差分（あるいは、この差分に１／２を乗じたもの）に対して、信号処理を施す」処理を挿入したものに相当する。

（第３の実施形態）
第１、第２の実施形態は、２枚のフレームを１セットとして、これに１つの透かしパターンを埋め込むものであったが、第３の実施形態は、それ以上の枚数のフレームに渡って１つの透かしパターンを埋め込むものである。

本実施形態では、２ｎ＋１枚のフレームのうち、Ｉ_１〜Ｉ_ｎのｎフレームに透かしパターンＷＭを重畳し、Ｉ_ｎ＋２〜Ｉ_２ｎ＋１のｎフレームに透かしパターンの反転パターン（−ＷＭ）を重畳する場合を例にとって説明する。

ここでの透かし検出は、はじめのｎフレームの平均画像と、後ろのｎフレームの平均画像との差分を取ることでなされるが、この場合も、第１、２の実施形態と同様、画像の特徴量によっては検出時に誤差が発生し、透かしが正確に検出できないことがあり得る。そこで、はじめのｎフレームの平均画像と、後ろのｎフレームの平均画像との差分をあらかじめ求めておき、第１、２の実施形態と同様、検出時にこの差分が相殺されるように重畳しておく。

以下、第１、第２の実施形態と相違する点を中心に説明する。

本実施形態に係る電子透かし埋め込み装置の構成例は基本的には図１（ｆを用いる場合）又は図６（ｆ（Ｉ_Ｄ）を用いる場合）と同様で構わない。ここでは、図６の場合を例にとって説明する。

図１０に、本実施形態における電子透かし埋め込み処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを埋め込み対象とするものである（ただし、フレーム数が（２ｎ＋１）の倍数でない場合、フレーム数を（２ｎ＋１）で除したときの剰余に相当する枚数のフレームは未処理となる）。

また、この手順例は、第２の実施形態の（３１−１）〜（３３−２）の手順を利用するものである。

なお、上記のｎの指定については、種々のバリエーションがある。例えば、常に同一のｎを用いるようにしてもよいし、外部からｎを指定するようにしてもよい。

図１０において、フレーム番号の初期値を１（ｆ＝１）として処理を開始し、ステップＳ２００１でＮＯとなるまで、以下の処理を繰り返し行う。

まず、Ｉ_ｆの２ｎ枚先のフレームＩ_ｆ＋２ｎが存在するか確認する（ステップＳ２００１）。

Ｉ_ｆ＋２ｎが存在しなければ、残っているすべてのフレームをそのまま出力して（ステップＳ２１０２）、この処理を終了する。

ステップＳ２００１でＩ_ｆ＋２ｎが存在するならば、ステップＳ２００２へ移行する。

ステップＳ２００２では、パラメータｋを０に初期化し、バッファＩ_P，Ｉ_Mを初期化する。

次に、Ｉ_ｆ＋ｋをフレーム蓄積部１１に保存（ステップＳ２００３）し、ｋ＜ｎであれば（ステップＳ２００４）、Ｉ_ｆ＋ｋをＩ_Pに加算し（ステップＳ２００５）、ｋをインクリメント（ステップＳ２００６）した後に、ステップＳ２００３に戻って、同様の処理を繰り返す。ｋ＝ｎに達したならば（ステップＳ２００４，Ｓ２１０４，Ｓ２２０４）、前半部分（Ｉ_ｆ〜Ｉ_{ｆ＋ｎ−１}）の平均画像を作成し（ステップＳ２２０５）、ｋをインクリメントし（ステップＳ２００６）、ステップＳ２００３に戻って、後半部分の処理に移る。

ステップＳ２００３に戻ったならば、Ｉ_ｆ＋ｋをフレーム蓄積部１１に保存し、ｎ＜ｋ＜２ｎ＋１であれば（ステップＳ２１０４）、Ｉ_ｆ＋ｋをＩ_Ｍに加算し（ステップＳ２０１５）、ｋをインクリメント（ステップＳ２００６）した後に、ステップＳ２００３に戻って、同様の処理を繰り返す。ｋ＝２ｎ＋１に達したならば（ステップＳ２００４，Ｓ２１０４，Ｓ２２０４）、後半部分（Ｉ_{ｆ＋ｎ＋１}〜Ｉ_ｆ＋２ｎ）の平均画像を作成する（ステップＳ２００７）。

次に、前半部分の平均画像（Ｉ_P）と後半部分の平均画像（Ｉ_M）との差分画像Ｉ_Ｄを作成する（ステップＳ２００８）。

次に、Ｉ_Ｄにフィルタ処理を施したｆ（Ｉ_Ｄ）を作成し（ステップＳ２００９）、ｋを０に初期化する（ステップＳ２０１０）。

ステップＳ２０１１，Ｓ２１１１，Ｓ２２１１の分岐処理により、ｋがｎより小さければステップＳ２０１２へ、ｋがｎ＋１〜２ｎであればステップＳ２１１２へ、ｋ＝ｎであればステップＳ２０１４へ、ｋが２ｎより大きければステップＳ２０１５へ移行する。

ステップＳ２０１２へ進んだ場合は、画像の特徴成分であるｆ（Ｉ_Ｄ）／２をＩ_ｆ＋ｋから引いた後、ステップＳ２０１３にて透かしパターンＷＭを重畳し、ステップＳ２０１４にてｋをインクリメントして、上記の分岐処理へ戻る。

ステップＳ２１１２へ進んだ場合は、ｆ（Ｉ_Ｄ）／２をＩ_ｆ＋ｋに加えた後、ステップＳ２１１３にて透かしパターンＷＭの正負を反転させた−ＷＭを重畳し、ステップＳ２０１４にてｋをインクリメントして、上記の分岐処理へ戻る。

ステップＳ２０１４へ進んだ場合は、ステップＳ２０１４にてｋをインクリメントして、上記の分岐処理へ戻る。

ステップＳ２０１５へ進んだ場合は、Ｉ_ｆ〜Ｉ_ｆ＋２ｎの処理が終わったものとして、Ｉ_ｆ〜Ｉ_ｆ＋２ｎを出力し、ステップＳ２０１６にてｆに２ｎ＋１を加えた後に、ステップＳ２００１へ戻って、同様の処理を繰り返す。

このようにすることにより、複数フレームにわたって同じ透かしパターンを埋め込みながらも透かしを正確に検出することができるようになる。また、上記の例ではＩ_ｆ＋ｎフレームには透かしを埋め込んでいないが、このように途中に透かしを埋めないフレームがあっても有効性は変わらない。

なお、上記の手順例は、第２の実施形態の（３１−１）〜（３３−２）の手順を利用するものであったが、第１の実施形態の（１）〜（３−２）の手順を利用するもの、第１の実施形態の（１１）〜（１３−２）の手順を利用するもの、第２の実施形態の（２１−１）〜（２３−２）の手順を利用するものなど、種々のバリエーションが可能である。

なお、上記の場合の電子透かし検出装置の構成例は基本的には図４と同様で構わない。また、この場合における電子透かし検出処理の手順の一例は基本的には図５と同様で構わない。

あるいは、上記の場合の電子透かし検出装置の構成例は基本的には図８と同様で構わない。また、この場合における電子透かし検出処理の手順の一例は基本的には図９と同様で構わない。

なお、いずれの場合においても、ステップＳ２４を「ｋ＝２ｎ＋１であるか」を判断する内容に変更し、ステップＳ２６を「前半部分（Ｉ_ｆ〜Ｉ_{ｆ＋ｎ−１}）の平均画像を作成するとともに、後半部分（Ｉ_{ｆ＋ｎ＋１}〜Ｉ_ｆ＋２ｎ）の平均画像を作成し、それらの差分を求める」処理に変更すればよい。

また、画像が欠落している場合であっても、平均画像は、存在するフレームだけを用いて求めればよい。

（第４の実施形態）
第１〜第３の実施形態は、基本的には、２枚の画像（フレーム画像あるいは平均画像）の差分を利用するものであったが、第４の実施形態では、それを越える枚数のフレームを利用する場合について説明する。

以下、これまでの実施形態と相違する点を中心に説明する。

ここで、連続するフレームＩ_１〜Ｉ_６に対して、Ｉ_１〜Ｉ_３は正の方向に透かしパターンＩ_WMを埋め込み、Ｉ_４〜Ｉ_６は負の方向にＩ_WMを埋め込む場合を考える（なお、後の説明のために、連続するフレームＩ_１〜Ｉ_６を考えているが、ここでは、フレームＩ_１，Ｉ_６は使用しない）。

透かし埋め込み済み画像をＩ_ｆ ^´´とするとき（ｆはフレーム番号）、
Ｉ_１ ^´´＝Ｉ_１＋Ｉ_WM
Ｉ_２ ^´´＝Ｉ_２＋Ｉ_WM
Ｉ_３ ^´´＝Ｉ_３＋Ｉ_WM
Ｉ_４ ^´´＝Ｉ_４＋（−Ｉ_WM）
Ｉ_５ ^´´＝Ｉ_５＋（−Ｉ_WM）
Ｉ_６ ^´´＝Ｉ_６＋（−Ｉ_WM）
である。

このとき、Ｉ_２ ^´´〜Ｉ_５ ^´´を用いて透かしＩ_ＷＭ０を検出することを考える。

Ｉ_ＷＭ０＝−Ｉ_２ ^´´／２＋３Ｉ_３ ^´´／２−３Ｉ_４ ^´´／２＋Ｉ_５ ^´´／２で検出するものとすると、Ｉ_ＷＭ０＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２＋２Ｉ_WM＝Ｉ_Ｒ＋２Ｉ_WMとなる。ただし、Ｉ_Ｒ＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２とする。

なお、図１１に示すように、Ｉ_Ｒ＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２＝（−Ｉ_２／２＋３Ｉ_３／２）−（３Ｉ_４／２−Ｉ_５／２）のうち、“−Ｉ_２／２＋３Ｉ_３／２”はＩ_２とＩ_３を３：１に外分する点であり、ちょうど３．５フレーム目（Ｉ_３．５）を予測していることに相当し、“３Ｉ_４／２−Ｉ_５／２”はＩ_４とＩ_５を１：３に外分する点であり、やはり３．５フレーム目を予測していることに相当する。本実施形態では、これら２つの予測画像の間の差分をとることにより透かしパターンを検出している。

ここで、透かしの信号と比較し、Ｉ_Ｒが非常に小さな信号成分であれば、透かしを正しく検出できる。しかし、Ｉ_Ｒが大きな信号成分となってしまうと、透かし検出に悪影響を及ぼす。そこで、本実施形態では、埋め込み時にこの悪影響を及ぼす成分を予め抽出し、これと逆の成分を重畳しておくことにより、より正確な透かしパターンを検出できるようにする。

この悪影響を及ぼす信号成分をＩ_Ｄとおくと、下記のように透かしパターンを修正した埋め込みパターンを各画像に重畳することにより、より正確に透かしパターンを検出することが可能となる。

Ｉ_Ｄ＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２＝Ｉ_Ｒ
Ｉ_２ ^´＝Ｉ_２＋（Ｉ_WM＋Ｉ_Ｄ／４）
Ｉ_３ ^´＝Ｉ_３＋（Ｉ_WM−Ｉ_Ｄ／４）
Ｉ_４ ^´＝Ｉ_４＋（−１）（Ｉ_WM−Ｉ_Ｄ／４）
Ｉ_５ ^´＝Ｉ_５＋（−１）（Ｉ_WM＋Ｉ_Ｄ／４）
検出透かしパターンＩ_ＷＭ０は、以下のようになる。

Ｉ_ＷＭ０＝−Ｉ_２ ^´／２＋３Ｉ_３ ^´／２−３Ｉ_４ ^´／２＋Ｉ_５ ^´／２
＝−１／２（Ｉ_２＋Ｉ_Ｄ／４＋Ｉ_WM）＋３／２（Ｉ_３−Ｉ_Ｄ／４＋Ｉ_WM）−３／２（Ｉ_４＋Ｉ_Ｄ／４−Ｉ_WM）＋１／２（Ｉ_５−Ｉ_Ｄ／４−Ｉ_WM）
＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_４／２−（１／２＋３／２＋３／２＋１／２）Ｉ_Ｄ／４＋（１／２＋３／２＋３／２＋１／２）Ｉ_WM
＝Ｉ_Ｄ−Ｉ_Ｄ＋２Ｉ_WM
＝２Ｉ_WM
なお、Ｉ_Ｄが画質に影響を及ぼす場合、第２、第３の実施形態のように、Ｉ_Ｄの空間方向に対してローパスフィルタにかける処理などを施して、これをｆ（Ｉ_Ｄ）とし、上記の
Ｉ_２ ^´〜Ｉ_５ ^´の代わりに、
Ｉ_２ ^´＝Ｉ_２＋（Ｉ_WM＋ｆ（Ｉ_Ｄ）／４）
Ｉ_３ ^´＝Ｉ_３＋（Ｉ_WM−ｆ（Ｉ_Ｄ）／４）
Ｉ_４ ^´＝Ｉ_４＋（−１）（Ｉ_WM−ｆ（Ｉ_Ｄ）／４）
Ｉ_５ ^´＝Ｉ_５＋（−１）（Ｉ_WM＋ｆ（Ｉ_Ｄ）／４）
を用いるようにしてもよい。

この場合、検出される電子透かし信号は、Ｉ_ＷＭ０＝Ｉ_Ｄ−ｆ（Ｉ_Ｄ）＋２Ｉ_WMとなる。このようにすることにより、画質の劣化を抑えつつ、単純に透かしを埋め込むよりも検出精度の高い埋め込み方式を実現することができる。

また、この結果に２次元空間方向のフィルタｆ（ｘ）をかけることにより、さらに高い検出率を得ることも可能である。すなわち、ｆ（Ｉ_ＷＭ０）＝ｆ（Ｉ_Ｄ−ｆ（Ｉ_Ｄ）＋２Ｉ_WM）＝ｆ（Ｉ_Ｄ）−ｆ（ｆ（Ｉ_Ｄ））＋２ｆ（Ｉ_WM）となり、ｆ（Ｉ_Ｄ）≒ｆ（ｆ（Ｉ_Ｄ）かつＩ_WM≒ｆ（Ｉ_WM）となるフィルタを用いると、効果が大きい。

次に、透かし検出処理において、Ｉ_２ ^´〜Ｉ_５ ^´に相当する部分のみから透かしを検出するのではなく、その周囲を用いてより精度の高めることが可能な検出方法を示す。

前述したＩ_ＷＭ０と同様の手法でＩ_１ ^´〜 Ｉ_４ ^´を用いて検出したものをＩ_ＷＭ−１とし、
Ｉ_３ ^´〜Ｉ_６ ^´を用いて検出するものをＩ_ＷＭ１とする（なお、前述のように、Ｉ_Ｄを用いる形態と、ｆ（Ｉ_Ｄ）を用いる形態がある）。

以下に、これらＩ_ＷＭ−１〜Ｉ_ＷＭ１を用いた透かし検出法を示す。

Ｉ_ＷＭ０と同様にＩ_ＷＭ−１、Ｉ_ＷＭ１を計算すると、
Ｉ_ＷＭ−１＝−Ｉ_１ ^´／２＋３Ｉ_２ ^´／２−３Ｉ_３ ^´／２＋Ｉ_４ ^´／２
Ｉ_ＷＭ０＝−Ｉ_２ ^´／２＋３Ｉ_３ ^´／２−３Ｉ_４ ^´／２＋Ｉ_５ ^´／２（＝２Ｉ_WM）
Ｉ_ＷＭ１＝−Ｉ_３ ^´／２＋３Ｉ_４ ^´／２−３Ｉ_５ ^´／２＋Ｉ_６ ^´／２
となる。

ここで、Ｉ_１ ^´＝Ｉ_１＋Ｉ_WM
Ｉ_６ ^´＝Ｉ_６＋（−Ｉ_WM）
である。

なお、Ｉ_２ ^´〜Ｉ_５ ^´については、上記のように、Ｉ_Ｄを用いるものと、ｆ（Ｉ_Ｄ）を用いるものがあるが、ここでは、前者の場合を例にとって説明する。

これらに対し、Ｉ_ＷＭ−１：Ｉ_ＷＭ０：Ｉ_ＷＭ１＝−１：２：−１なる１次元時間方向フィルタを施し、その結果をＩ_ＤＷＭとすると、
Ｉ_ＤＷＭ＝−Ｉ_ＷＭ−１＋２Ｉ_ＷＭ０−Ｉ_ＷＭ１
＝−（−Ｉ_１ ^´／２＋３Ｉ_２ ^´／２−３Ｉ_３ ^´／２＋Ｉ_４ ^´／２）＋２（−Ｉ_２ ^´／２＋３Ｉ_３ ^´／２−３Ｉ_４ ^´／２＋Ｉ_５ ^´／２）−（−Ｉ_３ ^´／２＋３Ｉ_４ ^´／２−３Ｉ_５ ^´／２＋Ｉ_６ ^´／２）
＝Ｉ_１ ^´／２−５Ｉ_２ ^´／２＋５Ｉ_３ ^´−５Ｉ_４ ^´＋５Ｉ_５ ^´／２−Ｉ_６ ^´／２
＝１／２（Ｉ_１＋Ｉ_WM）−５／２（Ｉ_２＋Ｉ_Ｄ／４＋Ｉ_WM）＋５（Ｉ_３−Ｉ_Ｄ／４＋Ｉ_WM）−５（Ｉ_４＋Ｉ_Ｄ／４−Ｉ_WM）＋５／２（Ｉ_５−Ｉ_Ｄ／４−Ｉ_WM）−１／２（Ｉ_６−Ｉ_WM）
＝Ｉ_１／２−５Ｉ_２／２＋５Ｉ_３−５Ｉ_４＋５Ｉ_５／２−Ｉ_６／２−１５Ｉ_Ｄ／４＋６Ｉ_WM
＝Ｉ_１／２−５Ｉ_２／２＋５Ｉ_３−５Ｉ_４＋５Ｉ_５／２−Ｉ_６／２−１５（−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２）／４＋６Ｉ_WM
＝（Ｉ_１／２−５Ｉ_２／８−５Ｉ_３／８＋５Ｉ_４／８＋５Ｉ_５／８−Ｉ_６／２）＋６Ｉ_WM
となる。

Ｉ_ＷＭ０単独の場合と比べ透かしの信号成分が強くなっており、画像に対して圧縮などのさまざまな加工が加えられることによりノイズが乗ることを考えると、透かしを検出しやすくなることが期待できる。

また、この結果に２次元空間方向のフィルタｆ（ｘ）をかけることにより、さらに高い検出率を得ることも可能である。

すなわち、
ｆ（Ｉ_ＤＷＭ）＝ｆ（Ｉ_１／２−５Ｉ_２／８−５Ｉ_３／８＋５Ｉ_４／８＋５Ｉ_５／８−Ｉ_６／２＋６Ｉ_WM）
＝ｆ（Ｉ_１）／２−５／８ｆ（Ｉ_２）−５／８ｆ（Ｉ_３）＋５／８ｆ（Ｉ_４）＋５／８ｆ（Ｉ_５）−ｆ（Ｉ_６）／２＋ｆ（６Ｉ_WM）
Ｉ_１／２−５Ｉ_２／８−５Ｉ_３／８＋５Ｉ_４／８＋５Ｉ_５／８−Ｉ_６／２＝Ｉ_Ｎとするとき、ｆ（Ｉ_Ｎ）≪Ｉ_ＮかつＩ_WM≒ｆ（Ｉ_WM）となるフィルタを用いると、効果が大きい。多くの場合、ローパスフィルタを用いると検出精度が高まるが、画像や透かしの形状により、ハイパスやバンドパスフィルタなどを使い分けてもよい。

本実施形態に係る電子透かし埋め込み装置の構成例は基本的には図１（ｆを用いる場合）又は図６（ｆ（Ｉ_Ｄ）を用いる場合）と同様で構わない。ここでは、図６の場合を例にとって説明する。

図１２に、本実施形態の電子透かし埋め込み処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを埋め込み対象とするものである（ただし、フレーム数が６の倍数でない場合、フレーム数を６で除したときの剰余に相当する枚数のフレームは未処理となる）。

ｆ＝０として処理を開始し、ステップＳ３００１でＮＯとなるまで、以下の処理を繰り返し行う。

まず、現在以降で６フレーム分の透かし埋め込み可能フレームが存在するか確認する（ステップＳ３００１）。

Ｉ_ｆ＋６が存在しなければ、残っているすべてのフレームをそのまま出力して（ステップＳ３１０２）、この処理を終了する。

ステップＳ３００１でＩ_ｆ＋６が存在するならば、ステップＳ３００２へ移行する。

ステップＳ３００２では、パラメータｋ＝１をセットし、バッファＩ_Ｄを初期化する。

次に、ｆ＋ｋ番目のフレームＩ_ｆ＋ｋをフレーム蓄積部１１に保存し（ステップＳ３００３）、「ｋが６未満」が真であれば、ｋに１を加え（ステップＳ３００４，Ｓ３００５）、ステップＳ３００３に戻る。

ステップＳ３００３〜Ｓ３００５の処理が繰り返されてｋが６に達したならば、ステップＳ３００４で、「ｋが６未満」が偽となって、ステップＳ３０１５に進み、特徴抽出部１２で、Ｉ_Ｄ＝−Ｉ_ｆ＋２／２＋３Ｉ_ｆ＋３／２−３Ｉ_ｆ＋４／２＋Ｉ_ｆ＋５／２を計算する。

次に、得られたＩ_Ｄに対し信号処理部１３にて所定のフィルタ処理を施して、ｆ（Ｉ_Ｄ）を作成する（ステップＳ３００６）。

ｆ（Ｉ_Ｄ）が作成されたならば、ｋ＝１をセットする（ステップＳ３００７）。

次に、埋め込みパターン作成部１４において、ｋが１〜３のいずれかならば、Ｉ_ＥＷＭとして正方向の透かしパターンＩ_WMをセットし、ｋが４〜６のいずれかならば、Ｉ_ＥＷＭとして負方向の透かしパターン（−Ｉ_WM）をセットする（ステップＳ３００８，Ｓ３００９，Ｓ３１０８，Ｓ３１０９）。

続いて、埋め込みパターン作成部１４において、ｋが２または４であれば、Ｉ_ＥＷＭにｆ（Ｉ_Ｄ）／４を加算し、３または５であれば、Ｉ_ＥＷＭからｆ（Ｉ_Ｄ）／４を減算する（ステップＳ３０１０，Ｓ３０１１，Ｓ３１１０，Ｓ３１１１）。なお、ｋが１または６であれば、これら加算も減算も行わない。

続いて、透かし重畳部１５において、埋め込みパターン作成部１４において作成されたＩ_ＥＷＭをＩ_ｆ＋ｋに重畳することによって、透かしの埋め込みを行う（ステップＳ３０１２）。

そして、次のフレームの処理に移るために、ｋ＝ｋ＋１として、ステップＳ３００８に戻る（ステップＳ３０１３）。

なお、ステップＳ３０１３の処理の結果、ｋが６を越えた場合には、ステップＳ３００８，Ｓ３１０８を経て、ステップＳ３２１１に進み、一周期分の埋め込み処理が終わったものとして、Ｉ_ｆ＋１〜Ｉ_ｆ＋６を出力し、ステップＳ３２１２にてｆに６を加えて、ステップＳ３００１に戻る。

本実施形態に係る電子透かし埋め込み検出の構成例は基本的には図４又は図８と同様で構わない。ここでは、図８の場合を例にとって説明する。

図１３に、本実施形態の電子透かし検出処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを検出対象とするものである（ただし、フレーム数が６の倍数でない場合、フレーム数を６で除したときの剰余に相当する枚数のフレームは未処理となる）。

なお、図１３において、フレーム番号の指示は省略している。

ステップＳ４００２でＮＯになるまで、以下の処理を繰り返し行う。

ｋ＝１をセットし（ステップＳ４００１）、次のフレーム（未だ、入力・蓄積していないフレームのうち先頭のもの）が存在するか確認する（ステップＳ４００２）。

次フレームが存在する場合には、次フレームを入力し、これをフレーム蓄積部２１に保存する（ステップＳ４００３）。

次に、「ｋ＝６」が偽であれば、ｋに１を加え（ステップＳ４００４，Ｓ４００５）、ステップＳ４００２に戻る。

ステップＳ４００２〜Ｓ４００５の処理が繰り返されてｋが６に達したならば、ステップＳ３００４で、「ｋ＝６」が真となって、ステップＳ４１０５に進み、透かし抽出部２２において、以下の式によりＩ_ＷＭ−１、Ｉ_ＷＭ０、Ｉ_ＷＭ１を抽出する。
Ｉ_ＷＭ−１＝−Ｉ_１／２＋３Ｉ_２／２−３Ｉ_３／２＋Ｉ_４／２
Ｉ_ＷＭ０＝−Ｉ_２／２＋３Ｉ_３／２−３Ｉ_４／２＋Ｉ_５／２
Ｉ_ＷＭ１＝−Ｉ_３／２＋３Ｉ_４／２−３Ｉ_５／２＋Ｉ_６／２
次に、信号処理部２３において、時間方向フィルタｇ（ｘ）を用いて、Ｉ_ＷＭ−１、
Ｉ_ＷＭ０、Ｉ_ＷＭ１から、Ｉ_ＤＷＭ＝ｇ（Ｉ_ＷＭ−１，Ｉ_ＷＭ０，Ｉ_ＷＭ１）を計算し（ステップＳ４１０６）、さらに、得られたＩ_ＤＷＭに空間方向フィルタｆ（ｘ）をかけることによって、最終的な検出透かしパターンＩ_ｆＤＷＭ＝ｆ（Ｉ_ＤＷＭ）を得る（ステップＳ４１０７）。

そして、得られたＩ_ｆＤＷＭを出力し（ステップＳ４１０８）、これまでに蓄積したフレームをクリア（ステップＳ４１０９）した後に、ステップＳ４００１に戻って、処理を繰り返す。

なお、Ｓ４００２で次フレームが存在しなければ、この処理を終了する。

（第５の実施形態）
第５の実施形態について、これまでの実施形態と相違する点を中心に説明する。なお、これまでと同様、画像データとしてフレームを例にとって説明する。

本実施形態では、電子透かしの埋め込みについては、埋め込み対象となる動画像コンテンツの各フレームを、所定の分類方法に従って、複数のグループに分類し、各グループごとに独立して、例えばこれまでに説明したような電子透かし埋め込み処理を行うものである。また、電子透かしの検出については、検出対象となる動画像コンテンツの各フレームを、（電子透かし埋め込み時と同じ方法で）複数のグループに分類し、各グループごとに独立して、例えばこれまでに説明したような（当該グループに対して実施された電子透かし埋め込み処理に対応する）電子透かし検出処理を行うものである。

なお、埋め込み対象となる動画像コンテンツの各フレームを、複数のグループに分類した場合に、全てのグループを、透かしパターンを埋め込む対象としてもよいし、一部のグループのみを、透かしパターンを埋め込む対象としてもよい。また、検出対象となる動画像コンテンツの各フレームを、複数のグループに分類した場合に、全てのグループを、透かしパターンを検出する対象としてもよいし、一部のグループのみを、透かしパターンを検出する対象としてもよい。

上記の分類の方法には種々のバリエーションがある。

例えば、フレームの番号ｆに基づいて分類する方法がある。具体例としては、フレームの番号ｆを予め定められた整数ｎで除したときの剰余ｒ(=f mod n)により分類する方法がある。この方法によると、例えばｎ＝２の場合、剰余ｒ＝０のグループ（偶数フレームのグループ）と、剰余ｒ＝１のグループ（奇数フレームのグループ）とにグルーピングされる。ｎの値は適宜設定して構わない。

また、例えば、フレームの属するシーンに基づいて分類する方法（例えば、シーンチェンジを検出し、同一のシーンに属する全てのフレームを一つのグループにグルーピングする方法）、ＭＰＥＧ画像におけるフレームのピクチャ種別（Ｉ，Ｐ，Ｂピクチャ）に基づいて分類する方法（例えば、フレームのピクチャ種別が、Ｉ又はＰピクチャか、Ｂピクチャかによって、２つのグループに分類する方法）、フレームの特徴量（例えば、平均輝度）に基づいて分類する方法（例えば、フレームごとに平均輝度を計算し、平均輝度の高低レベル（レベルは何段階に設定しても構わない）によって分類する方法）、それらを適宜組み合わせた方法など、動画像の特徴や加工の仕方等に応じた様々な分類方法が考えられる。

各グループごとに実施する電子透かし埋め込み処理及び電子透かし検出処理の内容については、各グループごとに独立に設定することが可能である。

その際、全グループについて同一の透かしパターンを埋め込むようにしてもよいし、グループによって異なる透かしパターンを埋め込むようにしてもよい（後者の場合に、一部のグループについて透かしパターンが同一であっても構わない）。

また、全グループについて同一の埋め込み方法／検出方法を用いるようにしてもよいし、グループによって異なる埋め込み方法／検出方法を用いるようにしてもよい（後者の場合に、一部のグループについて埋め込み方法／検出方法が同一であっても構わない）。

上記の埋め込み方法／検出方法として、これまでの実施形態で説明した埋め込み方法／検出方法を適宜用いて構わない。また、一部のグループについて、従来の埋め込み方法／検出方法を用いることも可能である。

例えば、グループが２つあるとして、それらに同一の埋め込み方法／検出方法を用いる場合に、第１及び第２のグループに、第１〜第４の実施形態のいずれかの埋め込み方法／検出方法を用いようにしてもよいし、２つのグループに異なる埋め込み方法／検出方法を用いる場合に、第１のグループに、第１〜第４の実施形態のいずれかの埋め込み方法／検出方法を用い、第２のグループに、第１〜第４の実施形態の埋め込み方法／検出方法のうち、第１のグループとは異なる埋め込み方法／検出方法を用いるようにしてもよい。

また、各々のグループにおいて、当該グループに属するフレームの枚数がＩ枚で、当該グループで用いる埋め込み方法によって１つの透かしパターンを埋め込むのに用いるフレームの枚数がＪ枚である場合に、Ｉ／Ｊが２以上である場合には、当該グループについては、透かしパターンを複数回埋め込むことができることになるが、その際、透かしパターンを埋め込む回数や、どのフレームに埋め込むかについては、適宜設定可能である。また、１つのグループに、透かしパターンを複数回埋め込む場合に、１種類の透かしパターンを複数回埋め込む替わりに、複数種類の透かしパターンを１回又は複数回ずつ埋め込むようにすることも可能である。

また、同一のグループに同一の透かしパターンを複数回埋め込む場合に、それらの一部のみ検出するようにすることも可能である。また、複数のグループに同一の透かしパターンを埋め込む場合に、一部のグループについてのみ検出を行う（残りのグループについては検出を行わない）ようにすることも可能である。

以上の他にも、種々のバリエーションが可能である。

このように、動画像コンテンツの各フレームを、複数のグループに分類し、各グループごとに独立して電子透かし埋め込み処理や電子透かし検出処理を行うようにすることによって、例えば、フレームが間引かれた場合でも検出率を落とすことなく、透かしパターンを検出すること、あるいは、複数種類の透かしを埋め込むこと、あるいは、複数埋め込まれた透かしのうちのいくつかだけを検出することにより単位時間あたりの検出コストの削減を図ることなど、様々な効果を得ることができる。

次に、具体例として、対象となる動画像コンテンツのフレームを、フレーム番号ｆによって偶数フレームのグループと奇数フレームのグループの２つに分類し、それぞれのグループに対して電子透かし埋め込み処理を行う例を示す。なお、第４の実施形態で示した例では連続するフレームに対して埋め込みが行われたが、ここでは、離散したフレームに対して埋め込みが行われることになる。

ここで示す例では、４枚のフレームを埋め込み処理の単位とし、透かし埋め込み済み画像をＩ_ｆ ^´´として（ｆはフレーム番号）、偶数フレームに対しては、
Ｉ_２ｎ ^´´＝Ｉ_２ｎ
Ｉ_２ｎ＋２ ^´´＝Ｉ_２ｎ＋２
Ｉ_２ｎ＋４ ^´´＝Ｉ_２ｎ＋４＋Ｉ_ＷＭ
Ｉ_２ｎ＋６ ^´´＝Ｉ_２ｎ＋６＋Ｉ_ＷＭ
のように埋め込み、奇数フレームに対しては、
Ｉ_２ｎ＋１ ^´´＝Ｉ_２ｎ＋１＋（−Ｉ_ＷＭ）
Ｉ_２ｎ＋３ ^´´＝Ｉ_２ｎ＋３＋（−Ｉ_ＷＭ）
Ｉ_２ｎ＋５ ^´´＝Ｉ_２ｎ＋５
Ｉ_２ｎ＋７ ^´´＝Ｉ_２ｎ＋７
のように埋め込むものとする。

偶数フレームから抽出される、透かし検出に悪影響を及ぼす成分Ｉ_ＤＥは、次のように求めるものとし、
Ｉ_ＤＥ＝−Ｉ_２ｎ／２＋３Ｉ_２ｎ＋２／２−３Ｉ_２ｎ＋４／２＋Ｉ_２ｎ＋６／２
奇数フレームから抽出される、透かし検出に悪影響を及ぼす成分Ｉ_ＤＯは、次のように求めるものとする。
Ｉ_ＤＯ＝−Ｉ_２ｎ＋１／２＋３Ｉ_２ｎ＋３／２−３Ｉ_２ｎ＋５／２＋Ｉ_２ｎ＋７／２
このとき、４枚の偶数フレームに対して次のように修正を行うと、より正確に透かしパターンを検出することができる。
Ｉ_２ｎ´＝Ｉ_２ｎ
Ｉ_２ｎ＋２´＝Ｉ_２ｎ＋２−Ｉ_ＤＥ／３
Ｉ_２ｎ＋４´＝Ｉ_２ｎ＋４＋Ｉ_ＷＭ＋Ｉ_ＤＥ／３
Ｉ_２ｎ＋６´＝Ｉ_２ｎ＋６＋Ｉ_ＷＭ
同様に、４枚の奇数フレームに対して次のように修正を行うと、より正確に透かしパターンを検出することができる。
Ｉ_２ｎ＋１´＝Ｉ_２ｎ＋１＋（−Ｉ_ＷＭ）＋Ｉ_ＤＯ／４
Ｉ_２ｎ＋３´＝Ｉ_２ｎ＋３＋（−Ｉ_ＷＭ）−Ｉ_ＤＯ／４
Ｉ_２ｎ＋５´＝Ｉ_２ｎ＋５＋Ｉ_ＤＯ／４
Ｉ_２ｎ＋７´＝Ｉ_２ｎ＋７−Ｉ_ＤＯ／４
この場合、偶数フレームから検出される検出透かしパターンＩ_ＷＭＥは、次のようになる。
Ｉ_ＷＭＥ＝−Ｉ_２ｎ´／２＋３Ｉ_２ｎ＋２´／２−３_{Ｉ２ｎ＋４}´／２＋Ｉ_２ｎ＋６´／２
＝−Ｉ_２ｎ／２＋３Ｉ_２ｎ＋２／２−Ｉ_ＤＥ／２−３Ｉ_２ｎ＋４／２−３Ｉ_ＷＭ／２−Ｉ_ＤＥ／２＋Ｉ_２ｎ＋６／２＋Ｉ_ＷＭ／２
＝Ｉ_ＤＥ−Ｉ_ＤＥ−Ｉ_ＷＭ
＝−Ｉ_ＷＭ
同様に、奇数フレームから検出される検出透かしパターンＩ_ＷＭＯは、次のようになる。
Ｉ_ＷＭＯ＝−Ｉ_２ｎ＋１´／２＋３Ｉ_２ｎ＋３´／２−３Ｉ_２ｎ＋５´／２＋Ｉ_２ｎ＋７´／２
＝−Ｉ_２ｎ＋１／２＋Ｉ_ＷＭ／２−Ｉ_ＤＯ／８＋３Ｉ_２ｎ＋３／２−３Ｉ_ＷＭ／２−３Ｉ_ＤＯ／８−３Ｉ_２ｎ＋５／２＋３Ｉ_ＤＯ／８＋Ｉ_２ｎ＋７／２−Ｉ_ＤＯ／８
＝Ｉ_ＤＯ−Ｉ_ＤＯ−Ｉ_ＷＭ
＝−Ｉ_ＷＭ
なお、上記の例では、偶数フレームと奇数フレームで修正の係数が異なっているが、いずれの場合も同程度に正確なパターンを検出できる。このように各フレームに重畳する透かしパターンの係数は１通りではなく、様々なバリエーションが考えられる。

以上のようにして、透かしパターンは、偶数フレームと奇数フレームの両方から検出することができる。

なお、上記の例においても、第４の実施形態と同様、Ｉ_ＤＥ，Ｉ_ＤＯの代わりに、例えばＩ_ＤＥ、Ｉ_ＤＯの空間方向に対してローパスフィルタにかける処理などを施したｆ（Ｉ_ＤＥ）、ｆ（Ｉ_ＤＯ）を用いることもできる。

図１４に、本実施形態の電子透かし埋め込み処理の手順の一例を示す。

この手順例は、対象となった動画像の全てのフレームを検出対象とするものである（ただし、フレーム数が８の倍数でない場合、フレーム数を８で除したときの剰余に相当する枚数のフレームは未処理となる）。

ｆ＝０として処理を開始し、まず、初期化作業として、ｉ＝ｆ（０）、ｊ＝ｆ＋１（１）、ｍ＝０、ｎ＝０とする（ステップＳ５００１）。

以降、ステップＳ５００２でＮＯとなるまで、以下の処理を繰り返し行う。

まず、フレームの分類を行う。すなわち、Ｉ_ｆが存在するかどうか調べ、Ｉ_ｆが存在するならば（ステップＳ５００２）、ステップＳ５００４へ移行する（ステップＳ５００２）。

ここで、ｆが偶数の場合、ステップＳ５００５へ進んで、偶数フレームに対する処理を行い、奇数の場合、ステップＳ５５０５へ進んで、奇数フレームに対する処理を行う（ステップＳ５００４）。

以下、ｆが偶数である場合と、奇数である場合とに分けて説明する。

最初に、ｆが偶数である場合についてステップＳ５００５から説明する。

ｆが偶数である場合、Ｉ_ｆをバッファに保存し（ステップＳ５００５）、ｍとｆにそれぞれ１を加える（ステップＳ５００６）。

ここで、ｍ＝４であるかどうか調べ、ｍ＝４の場合（すなわち、ｆが偶数であるフレームが４枚分蓄積された場合）には、ステップＳ５００８へ進み、そうでない場合（すなわち、ｍが４未満である場合）には、ステップＳ５００２に戻る（ステップＳ５００７）。

ステップＳ５００８では、保存された４枚の偶数フレームを用いて、前述の式（Ｉ_ＤＥ＝−Ｉ_２ｎ／２＋３Ｉ_２ｎ＋２／２−３Ｉ_２ｎ＋４／２＋Ｉ_２ｎ＋６／２）によりＩ_ＤＥを作成し、次のステップＳ５００９では、Ｉ_ＤＥにフィルタ処理を施したｆ（Ｉ_ＤＥ）を作成し、さらに次のステップＳ５０１０では、ｍを０にセットし、ステップＳ５０１１へ進む。

次に、ｍが１以下であるか２以上であるか調べ、ｍが１以下である場合には（ステップＳ５０１１）、重畳すべきパターンＩ_ＥＷＭを初期化し、埋め込む成分がないようにして（ステップＳ５０１２）、ステップＳ５０１３へ進む。ｍが２以上である場合には（ステップＳ５０１１）、重畳すべきパターンＩ_ＥＷＭをＩ_ＷＭとして（ステップＳ５１１２）、ステップＳ５０１３へ進む。

次に、ｍの値を調べ、ｍが１である場合には（ステップＳ５０１３）、重畳すべきパターンＩ_ＷＭにｆ（Ｉ_ＤＥ／３）を減算により重畳し（ステップＳ５０１４）、ステップＳ５０１５へ進む。ｍが２である場合には（ステップＳ５０１３）、重畳すべきパターンｆ（Ｉ_ＤＥ／３）を加算により重畳し（ステップＳ５０１４）、ステップＳ５０１５へ進む。それ以外の場合には（ステップＳ５０１３）、ステップＳ５０１４をスキップして、ステップＳ５０１５へ進む。

ステップＳ５０１５では、バッファに保存されているＩ_ｉ＋２ｍのフレームに対し、Ｉ_ＥＷＭを重畳した後に、Ｉ_ｉ＋２ｍを出力する。

次に、ｍに１を加え（ステップＳ５０１６）、ステップＳ５０１７で、ｍが４であるかどうか（すなわち、保存されている偶数フレームのすべてが出力されている状態であるかどうか）調べ、すべて出力された場合には、ステップＳ５０１８へ進み、まだ出力されていないフレームが残っている場合には、ステップＳ５０１１へ戻る。

ステップＳ５０１８では、ｉ＝ｆ、ｍ＝０をセットし、ステップＳ５００２へ戻る。

続いて、ステップＳ５００４でｆが奇数フレームと判定された場合についてステップＳ５５０５から説明する。

ｆが奇数である場合、Ｉ_ｆを保存し（ステップＳ５５０６）、ｎとｆにそれぞれ１を加える（Ｓ５５０６）。

ここで、ｎ＝４であるかどうか調べ、ｎ＝４の場合（すなわち、ｆが奇数であるフレームが４枚分蓄積された場合）には、ステップＳ５５０８へ進み、そうでない場合（すなわち、ｎが４未満である場合）には、ステップＳ５００２に戻る（ステップＳ５５０７）。

ステップＳ５５０８では、保存された４枚の奇数フレームを用いて、前述の式（Ｉ_ＤＯ＝−Ｉ_２ｎ＋１／２＋３Ｉ_２ｎ＋３／２−３Ｉ_２ｎ＋５／２＋Ｉ_２ｎ＋７／２）によりＩ_ＤＯを作成し、次のステップＳ５５０９では、Ｉ_ＤＯにフィルタ処理を施したｆ（Ｉ_ＤＯ）を作成し、次のステップＳ５５１０では、ｎを０にセットし、ステップＳ５５１１へ進む。

次に、ｎが１以下であるか２以上であるか調べ、ｎが１以下である場合には（ステップＳ５５１１）、重畳すべきパターンＩ_ＥＷＭを−Ｉ_ＷＭとして（すなわち、透かしとして重畳すべきパターンＩ_ＥＷＭに透かしパターンＩ_ＷＭの正負を反転させたものを設定して）（ステップＳ５５１２）、ステップＳ５５１３へ進む。ｍが２以上である場合には（ステップＳ５５）、重畳すべきパターンＩ_ＥＷＭを初期化し、埋め込む成分がないようにして（ステップＳ５６１２）、ステップＳ５５１３へ進む。

ステップＳ５５１３では、ｎが偶数の場合には、ステップＳ５５１２又はステップＳ５６１２で設定されたＩ_ＥＷＭにｆ（Ｉ_ＤＯ）／４を加算により重畳して、ステップＳ５５１４へ進む。奇数の場合には、ステップＳ５５１２又はステップＳ５６１２で設定されたＩ_ＥＷＭにｆ（Ｉ_ＤＯ）／４を減算により重畳して、ステップＳ５５１４へ進む。

ステップＳ５５１４では、バッファに保存されているＩ_ｊ＋２ｎのフレームに対し、Ｉ_ＥＷＭを重畳した後に、Ｉ_ｊ＋２ｎを出力する。

次に、ｎに１を加え（ステップＳ５５１５）、ステップＳ５５１６で、ｎが４であるかどうか（すなわち、保存されている偶数フレームのすべてが出力されている状態であるかどうか）調べ、すべて出力された場合には、ステップＳ５５１７へ進み、まだ出力されていないフレームが残っている場合には、ステップＳ５５１１へ戻る。

ステップＳ５５１７では、ｊ＝ｆ、ｍ＝０をセットし、ステップＳ５００２へ戻る。

以上の処理を繰り返し行い、ステップＳ５００２でＩ_ｆが存在しなければ、バッファに貯められた未出力のフレームを出力し（ステップＳ５００３）、この処理を終了する。

以上のように埋め込むことにより、偶数フレームと奇数フレームとからそれぞれ独立して透かしパターンを検出することが可能となり、例えばフレームレートが半分になっても、少なくとも偶数フレームと奇数フレームのいずれか一方からは透かしパターンの検出を行うことが可能になる（フレームレート変換に対して耐性を持たせることができる）。また、検出時においてフレームレートへの加工がなされていなかったとしても、偶数フレームあるいは奇数フレームのどちらか一方だけから透かしを検出するものとすれば、単位時間当たりの透かしの検出処理は半分で済むようになる。もちろん、それらの両方から検出を行い、検出精度を高めてもよい。

また、例えばフレームレートが１／３になった場合からも検出したい場合は、偶数フレーム、奇数フレームという分類方法ではなく、ステップＳ５００４にてｆを３で除したときの剰余によって分類すればよい。

また、上記の例では、偶数フレーム、奇数フレームのいずれにおいても４フレームごとに透かしパターンを修正する成分を計算したが、必ずしも４フレームずつである必要はないし、偶数フレームと奇数フレームとで同じ条件にする必要もない。例えば、偶数フレームは２フレームおきにし、奇数フレームは５フレームおきにするなどというように、任意かつ非対称に設定することもできる。

また、上記の例では、偶数フレームと奇数フレームの両方に、同一の透かしパターンＩ_ＷＭを埋め込んだが、相異なる透かしパターンを埋め込むようにしてもよい。この場合、フレームレートの変換が行われなければ、２種類の透かしを検出することが可能となる。フレームレートを変換した後からでも２種類の透かしを検出したい場合は、ステップＳ５００４でｆを４で除したときの剰余によって分類するなどしてもよい。

また、ステップＳ５００４では、ｆに基づいた分類をしたが、必ずしもｆに依存していなくてもよく、例えば画像の特徴量に基づいて分類など、他の分類方法によって分類してもよい。

なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手順を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る電子透かし埋め込み装置の一構成例を示す図 同実施形態における電子透かし埋め込み処理の手順の一例を示すフローチャート 透かしパターンの一例について説明するための図 同実施形態に係る電子透かし検出装置の一構成例を示す図 同実施形態における電子透かし検出処理の手順の一例を示すフローチャート 同実施形態に係る電子透かし埋め込み装置の他の構成例を示す図 同実施形態における電子透かし埋め込み処理の手順の他の例を示すフローチャート 同実施形態に係る電子透かし検出装置の他の構成例を示す図 同実施形態における電子透かし検出処理の手順の他の例を示すフローチャート 同実施形態における電子透かし埋め込み処理の手順のさらに他の例を示すフローチャート 透かしパターンの検出について説明するための図 同実施形態における電子透かし埋め込み処理の手順のさらに他の例を示すフローチャート 同実施形態における電子透かし検出処理の手順のさらに他の例を示すフローチャート 同実施形態における電子透かし埋め込み処理の手順のさらに他の例を示すフローチャート

符号の説明

１１，２１…フレーム蓄積部、１２…特徴抽出部、１３，２３…信号処理部、１４…埋め込みパターン作成部、１５…透かし重畳部、１６，２４…制御部、２２…透かし抽出部

Claims (21)

1. 動画像コンテンツの複数のフレームを利用して画像パターンを電子透かしとして埋め込む電子透かし埋め込み装置において、
   前記複数のフレームの画像データに基づいて、該複数のフレームから前記電子透かしの画像パターンを検出する際に発生する誤差に対して影響を与える画像成分を求める手段と、
   前記電子透かしの画像パターンに基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第１の画像パターンを決定するとともに、前記画像成分に基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第２の画像パターンであって前記誤差に対する前記画像成分の影響を除去又は低減させるものを決定する決定手段と、
   前記複数のフレームのそれぞれについて、当該フレームに対して決定された前記第１の画像パターン及び前記第２の画像パターンを、当該フレームの画像データに重畳する重畳手段とを備えたことを特徴とする電子透かし埋め込み装置。
2. 前記決定手段は、或るフレームに対して埋め込むべき前記第１の画像パターンと前記第２の画像パターンとを重畳して、当該或るフレームに対して埋め込むべき一つの画像パターンを生成し、
   前記重畳手段は、前記或るフレームに対して生成された前記一つの画像パターンを、該或るフレームに重畳することを特徴とする請求項１に記載の電子透かし埋め込み装置。
3. 前記重畳手段は、或るフレームに対して埋め込むべき前記第１の画像パターンと前記第２の画像パターンとを、当該或るフレームに対して別々に重畳することを特徴とする請求項１に記載の電子透かし埋め込み装置。
4. 前記画像成分に対して信号処理を施す手段を更に備え、
   前記決定手段は、前記信号処理を施された前記画像成分に基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の前記第２の画像パターンを決定することを特徴とする請求項１に記載の電子透かし埋め込み装置。
5. 前記信号処理には時間方向への１次元フィルタ若しくは空間方向への２次元フィルタ又は時空間方向への３次元フィルタを用いることを特徴とする請求項４に記載の電子透かし埋め込み装置。
6. 前記複数のフレームは２枚のフレームであり、
   前記画像成分は前記２枚のフレームの画像データの間の差分を示す差分画像であり、
   前記２枚のフレームのうちの一方のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンと同一のパターンであり、前記第２の画像パターンは、前記差分画像又はこれに対して信号処理を施したものを反転し、さらに２で除したものであり、他方のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンを反転したパターンであり、前記第２の画像パターンは、前記差分画像又はこれに対して信号処理を施したものを２で除したものであることを特徴とする請求項１ないし３のいずれか１項に記載の電子透かし埋め込み装置。
7. 前記複数のフレームは２ｎ枚のフレームであり、
   前記画像成分は前記２ｎ枚のフレームのうちのｎ枚のフレームの画像データから求めた第１の平均画像と、残りのｎ枚のフレームの画像データから求めた第２の平均画像と間の差分を示す差分画像であり、
   前記ｎ枚のフレームのそれぞれに対する前記第１の画像パターンは、いずれも、前記電子透かしの画像パターンと同一のパターンであり、前記第２の画像パターンは、いずれも、前記差分画像又はこれに対して信号処理を施したものを反転し、さらに２で除したものであり、前記残りのｎ枚のフレームのそれぞれに対する前記第１の画像パターンは、いずれも、前記電子透かしの画像パターンを反転したパターンであり、前記第２の画像パターンは、いずれも、前記差分画像又はこれに対して信号処理を施したものを２で除したものであることを特徴とする請求項１ないし３のいずれか１項に記載の電子透かし埋め込み装置。
8. 前記複数のフレームは４枚のフレームであり、
   前記画像成分は前記４枚のフレームの画像データにそれぞれ特定の係数を乗じて重畳した予測差分画像であり、
   前記４枚のフレームのうちの第１のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンと同一のパターンであり、前記第２の画像パターンは、前記予測差分画像又はこれに対して信号処理を施したものを４で除したものであり、第２のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンと同一のパターンであり、前記第２の画像パターンは、前記予測差分画像又はこれに対して信号処理を施したものを反転し、さらに４で除したものであり、第３のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンを反転したパターンであり、前記第２の画像パターンは、前記予測差分画像又はこれに対して信号処理を施したものを４で除したものであり、第４のフレームに対する前記第１の画像パターンは、前記電子透かしの画像パターンを反転したパターンであり、前記第２の画像パターンは、前記予測差分画像又はこれに対して信号処理を施したものを反転し、さらに４で除したものであることを特徴とする請求項１ないし３のいずれか１項に記載の電子透かし埋め込み装置。
9. 前記動画像コンテンツのフレームを、予め定められた分類方法に従って複数のグループに分類し、分類された各々のグループごとに独立して、前記画像成分の算出、前記第１の画像パターン及び前記第２の画像パターンの決定並びに前記重畳を行うことを特徴とする請求項１ないし５のいずれか１項に記載の電子透かし埋め込み装置。
10. 前記分類方法は、前記フレームの番号に基づいて分類する方法、前記フレームの属するシーンに基づいて分類する方法、前記フレームのピクチャ種別に基づいて分類する方法、又は前記フレームの特徴量に基づいて分類する方法であることを特徴とする請求項９に記載の電子透かし埋め込み装置。
11. 動画像コンテンツの複数のフレームを利用して電子透かしとして埋め込まれた画像パターンを検出する電子透かし検出装置において、
    前記複数のフレームの画像データをもとにした特定の線形演算を行うことによって、誤差成分を含む電子透かしの画像パターンを抽出する抽出手段と、
    抽出された前記電子透かしの画像パターンに対して信号処理を施すことによって、前記電子透かしの画像パターンに含まれる前記誤差成分を低減する手段とを備えたことを特徴とする電子透かし検出装置。
12. 前記信号処理には時間方向への１次元フィルタ若しくは空間方向への２次元フィルタ又は時空間方向への３次元フィルタを用いることを特徴とする請求項１１に記載の電子透かし検出装置。
13. 前記複数のフレームは２枚のフレームであり、
    前記特定の線形演算は、前記２枚のフレームの画像データの間の差分をとる演算を含むものであることを特徴とする請求項１１に記載の電子透かし検出装置。
14. 前記複数のフレームは２ｎ枚のフレームであり、
    前記特定の線形演算は、前記２ｎ枚のフレームのうちのｎ枚のフレームの画像データから求めた第１の平均画像と、残りのｎ枚のフレームの画像データから求めた第２の平均画像と間の差分をとる演算を含むものであることを特徴とする請求項１１に記載の電子透かし検出装置。
15. 前記複数のフレームは４枚のフレームであり、
    前記特定の線形演算は、前記４枚のフレームのうちの２枚のフレームの画像データから求めた第１の予測画像と、残りの２枚のフレームの画像データから求めた第２の予測画像と間の差分をとる演算を含むものであることを特徴とする請求項１１に記載の電子透かし検出装置。
16. 前記動画像コンテンツのフレームを、予め定められた分類方法に従って複数のグループに分類し、分類された各々のグループごとに独立して、前記画像パターンの抽出及び前記誤差成分の低減を行うことを特徴とする請求項１０または１１に記載の電子透かし検出装置。
17. 前記分類方法は、前記フレームの番号に基づいて分類する方法、前記フレームの属するシーンに基づいて分類する方法、前記フレームのピクチャ種別に基づいて分類する方法、又は前記フレームの特徴量に基づいて分類する方法であることを特徴とする請求項１６に記載の電子透かし検出装置。
18. 動画像コンテンツの複数のフレームを利用して画像パターンを電子透かしとして埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
    前記複数のフレームの画像データに基づいて、該複数のフレームから前記電子透かしの画像パターンを検出する際に発生する誤差に対して影響を与える画像成分を求めるステップと、
    前記電子透かしの画像パターンに基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第１の画像パターンを決定するとともに、前記画像成分に基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第２の画像パターンであって前記誤差に対する前記画像成分の影響を除去又は低減させるものを決定するステップと、
    前記複数のフレームのそれぞれについて、当該フレームに対して決定された前記第１の画像パターン及び前記第２の画像パターンを、当該フレームの画像データに重畳するステップとを有することを特徴とする電子透かし埋め込み方法。
19. 動画像コンテンツの複数のフレームを利用して電子透かしとして埋め込まれた画像パターンを検出する電子透かし検出装置における電子透かし検出方法であって、
    前記複数のフレームの画像データをもとにした特定の線形演算を行うことによって、誤差成分を含む電子透かしの画像パターンを抽出するステップと、
    抽出された前記電子透かしの画像パターンに対して信号処理を施すことによって、前記電子透かしの画像パターンに含まれる前記誤差成分を低減するステップとを有することを特徴とする電子透かし検出方法。
20. 動画像コンテンツの複数のフレームを利用して画像パターンを電子透かしとして埋め込む電子透かし埋め込み装置としてコンピュータを機能させるためのプログラムにおいて、
    前記プログラムは、
    前記複数のフレームの画像データに基づいて、該複数のフレームから前記電子透かしの画像パターンを検出する際に発生する誤差に対して影響を与える画像成分を求めるステップと、
    前記電子透かしの画像パターンに基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第１の画像パターンを決定するとともに、前記画像成分に基づいて、前記複数のフレームに対してそれぞれ埋め込むべき各々の第２の画像パターンであって前記誤差に対する前記画像成分の影響を除去又は低減させるものを決定するステップと、
    前記複数のフレームのそれぞれについて、当該フレームに対して決定された前記第１の画像パターン及び前記第２の画像パターンを、当該フレームの画像データに重畳するステップとをコンピュータに実行させることを特徴とするプログラム。
21. 動画像コンテンツの複数のフレームを利用して電子透かしとして埋め込まれた画像パターンを検出する電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
    前記プログラムは、
    前記複数のフレームの画像データをもとにした特定の線形演算を行うことによって、誤差成分を含む電子透かしの画像パターンを抽出するステップと、
    抽出された前記電子透かしの画像パターンに対して信号処理を施すことによって、前記電子透かしの画像パターンに含まれる前記誤差成分を低減するステップとをコンピュータに実行させることを特徴とするプログラム。

Images