JP5760438B2 - 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置 - Google Patents

Description

本発明は、例えば、動画像データ中に電子透かし情報を埋め込む電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラム及び動画像データに埋め込まれた電子透かし情報を検出する電子透かし検出装置に関する。

近年、インターネットなどを介して、映画などの映像コンテンツを配信するサービスが提供されている。これらの映像コンテンツは、デジタル著作権管理（Digital Rights Management、DRM）技術によって暗号化された上で配信される。また、DRM技術によって、これらの動画コンテンツを不正に複製したり、あるいは配布することが禁止されている。
しかし、視聴者がコンピュータのディスプレイまたはテレビジョンモニタに表示された映像コンテンツをカムコーダなどの撮影機器を用いて撮影することによって映像コンテンツを不正に複製し、複製された映像コンテンツを不正に流通させる事件が発生している。ディスプレイに表示された映像コンテンツは、暗号化されていないため、撮影により複製された映像コンテンツの流通を防ぐことは難しい。

そこで、予め視聴者の識別番号などの情報を電子透かしとして、動画像データに埋め込む技術が開発されている。電子透かしは、ディスプレイに表示されたその電子透かしが埋め込まれた動画像データをカムコーダで撮影して不正に複製したとしても、複製された動画像データの中に依然として残っている。このようなアナログキャプチャによって不正に複製された動画像データの流通後において、その複製された動画像データから電子透かしを検出することにより、映像コンテンツの不正利用を行った視聴者の識別番号が特定可能となっている。したがって、映像コンテンツがアナログキャプチャにより不正に複製されて動画投稿サイトなどにアップロードされた場合でも、映像コンテンツの管理者は、アップロードされた映像コンテンツに埋め込まれている情報から流出元を特定することができる。

ところで、視聴者が動画像データに埋め込まれた電子透かしを識別できないように、電子透かしは動画像データに埋め込まれることが好ましい。視聴者が電子透かしを識別できないように電子透かしを動画像データに埋め込むためには、電子透かしにより生じる輝度変動、すなわち、電子透かしが埋め込まれた領域内の画素の値とその周囲の画素の値の差は小さいことが好ましい。しかし、電子透かしが埋め込まれた領域の画素とその周辺の画素間の画素値の差が小さいと、Moving Picture Experts Group(MPEG)などの規格に従って電子透かしが埋め込まれた動画像データを圧縮することにより、電子透かしが消失してしまうおそれがあった。また、電子透かしが埋め込まれた動画像データがカムコーダなどによって撮影された時の画像の歪みなどによっても、電子透かしが消失するおそれがある。電子透かしが埋め込まれた領域の画素とその周辺の画素間の画素値の差が大きければ、このような問題は生じないものの、この場合には、電子透かしは視聴者によって知覚可能となる。つまり、電子透かしによる空間的な画素値変化の大きさと、電子透かしが消失しないための耐性はトレードオフの関係にある。このトレードオフの問題を解決するために、これまでに、様々な電子透かし技術が発明されてきた（例えば、特許文献１を参照）。

例えば、特許文献１に開示された電子透かし埋め込み装置は、N以上の次元を持つ入力信号に対して埋め込み情報を電子透かしとして埋め込む。この電子透かし埋め込み装置は、埋め込み情報に基づいて(N-1)次元パターンを生成し、(N-1)次元パターン上の値に応じて周期信号を変調することによりN次元の埋め込みパターンを生成し、その埋め込みパターンを入力信号に重畳する。

国際公開第２００７／１０２４０３号公報

しかし、特許文献１に開示された技術では、埋め込みパターン全体の輝度が変化する。そのため、埋め込みパターンが埋め込まれる位置に、背景の空のような、明るさが一様で、かつ時間変動が少ない映像が写っている場合、電子透かしが埋め込まれた動画像は、映像が点滅しているように知覚されることがあった。また、埋め込まれる値が互いに異なる二つの領域の境界が目立ってしまうことがあった。その結果、電子透かしが埋め込まれた動画像の画質が劣化してしまうおそれがある。

そこで本明細書は、動画像データに写っている映像によらず、その動画像データの画質が劣化しないように透かし情報を動画像データに埋め込む電子透かし埋め込み装置を提供することを目的とする。

一つの実施形態によれば、電子透かし埋め込み装置が提供される。この電子透かし埋め込み装置は、動画像データ及び電子透かし情報を取得するインターフェース部と、動画像データに電子透かし情報を埋め込む処理部とを有する。処理部は、所定の値を持つ複数の画素を含み、かつ動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、動画像データ中の各画像とその画像に対応する透かしパターンとが重なる領域に含まれる各画素の値を透かしパターンの対応する画素が持つ所定の値に応じて修正する。

また他の実施形態によれば、電子透かし検出装置が提供される。この電子透かし検出装置は、電子透かし情報が埋め込まれた動画像データを取得するインターフェース部と、動画像データに埋め込まれた電子透かし情報を検出する処理部とを有する。処理部は、動画像データ中の各画像について、電子透かし情報に含まれるシンボルの値に応じた位相または周期で時系列に沿って周期的に変化する面積を持つ透かしパターンを含む参照領域もしくは画像全体の平均画素値を算出し、シンボルの一つに対応する区間に含まれる、時系列に沿った平均画素値の組を周波数変換することにより、平均画素値の時間変動のスペクトルを算出し、そのスペクトルから透かしパターンの面積の周期的な変化に相当する周波数成分を抽出し、その周波数成分から透かしパターンの面積の周期的な変化の位相または周期を求めることにより、シンボルの値を求める。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

ここに開示される電子透かし埋め込み装置は、動画像データに写っている映像によらず、その動画像データの画質が劣化しないように透かし情報を動画像データに埋め込むことができる。

一つの実施形態による電子透かし埋め込み装置の概略構成図である。 一つの実施形態による、電子透かし情報を動画像データに埋め込むために実現される処理部の機能を示すブロック図である。 透かしパターンの一周期分の時間変化の一例を示す図である。 図３に対応する、参照領域内の画素値の平均値の時間変化を表すグラフである。 透かしパターンの一周期分の時間変化の他の一例を示す図である。 図５に対応する、参照領域内の画素値の平均値の時間変化を表すグラフである。 透かしパターンの時間変化のさらに他の一例を示す図である。 透かしパターンの時間経過と埋め込まれるシンボルの値の関係の一例を示す図である。 透かしパターンの時間経過と埋め込まれるシンボルの値の関係の他の一例を示す図である。 透かしパターンの時間経過と埋め込まれるシンボルの値の関係のさらに他の一例を示す図である。 第１の実施形態による電子透かし埋め込み装置の処理部上で実行されるコンピュータプログラムにより制御される、電子透かし埋め込み処理の動作フローチャートである。 透かしパターンの時間変化のさらに他の一例を示す図である。 一つの実施形態による電子透かし検出装置の概略構成図である。 電子透かし情報を動画像データ上で検出するために実現される電子透かし検出装置の処理部の機能を示すブロック図である。 （Ａ）は参照領域の平均画素値の時間変動の一例を示す図である。（Ｂ）は、（Ａ）に示された平均画素値の時間変動を周波数変換することにより得られたスペクトルから抽出された三角波に相当する周波数成分を逆周波数変換することにより得られた平均画素値の時間変動を模式的に示す図である。 （Ａ）は参照領域の平均画素値の時間変動の他の一例を示す図である。（Ｂ）及び（Ｃ）は、それぞれ、（Ａ）に示された参照領域の平均画素値の時間変動を区間ごとに周波数変換することにより得られたスペクトルから抽出した、各シンボルの値に対応する周期に対応する周波数成分を示す図である。 電子透かし検出装置の処理部上で実行されるコンピュータプログラムにより制御される、電子透かし検出処理の動作フローチャートである。

以下、図を参照しつつ、電子透かし埋め込み装置について説明する。この電子透かし埋め込み装置は、特定の値を持つ画素の集合である透かしパターンの面積を時系列に沿って変化させることで透かしパターンが重畳される領域内の画素値の平均値を、埋め込まれる電子透かし情報に含まれるシンボルの値に応じて時間的に変動させる。

なお、動画像データに含まれる各画像は、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

図１は、一つの実施形態による電子透かし埋め込み装置の概略構成図である。電子透かし埋め込み装置１は、インターフェース部１１と、記憶部１２と、処理部１３とを有する。そして電子透かし埋め込み装置１は、インターフェース部１１を介して取得した、動画像データに対して電子透かし情報を埋め込む。

インターフェース部１１は、例えば、電子透かし埋め込み装置１を、カムコーダなどの動画像入力装置（図示せず）または液晶ディスプレイなどの画像表示装置（図示せず）と接続するためのビデオ信号インターフェース及びその制御回路を有する。あるいは、インターフェース部１１は、電子透かし埋め込み装置１を、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。あるいはまた、インターフェース部１１は、無線配信される動画像データを受信するためのアンテナと電子透かし埋め込み装置１を接続し、アンテナを介して受信した動画像データを復号するための回路を有する。
インターフェース部１１は、動画像入力装置から、または通信ネットワークあるいはアンテナを介して動画像データを取得し、その動画像データを処理部１３へ渡す。
さらに、インターフェース部１１は、キーボードまたはマウスといったユーザインターフェース装置を電子透かし埋め込み装置１に接続するために、ユニーバーサルシリアルバスなどのバス規格に従ったインターフェース回路を有してもよい。そしてインターフェース部１１は、ユーザインターフェース装置または通信ネットワークから、動画像データに電子透かし情報として埋め込むデータを取得し、そのデータを処理部１３へ渡す。

電子透かし情報は、例えば、視聴者の識別番号、動画像データの配信元の識別番号及び電子透かし埋め込み装置１が組み込まれた映像再生装置の識別番号の少なくとも一つを含む。また本明細書において、電子透かし情報に含まれる視聴者の識別番号などを表す複数の数値又は記号のうちの一つ、例えば、一つのビットをシンボルとする。従って、電子透かし情報に含まれるシンボルは、予め定められた、互いに異なる複数の値のうちの何れかの値を持つ。例えば、電子透かし情報に含まれるシンボルがビットであれば、そのシンボルは、'0'または'1'の値を持つ。

さらに、インターフェース部１１は、電子透かし情報が埋め込まれた動画像データを処理部１３から受け取り、その電子透かし情報が埋め込まれた動画像データを液晶ディスプレイなどの画像表示装置へ出力する。または、インターフェース部１１は、電子透かし情報が埋め込まれた動画像データを、通信ネットワークを介して電子透かし埋め込み装置１と接続された他の機器へ送信してもよい。

記憶部１２は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部１２は、電子透かし埋め込み装置１で実行されるコンピュータプログラムと、電子透かし情報を埋め込むために使用する各種のパラメータを記憶する。また記憶部１２は、電子透かし情報が埋め込まれる前の動画像データに含まれる１以上の画像及び電子透かし情報を、処理部１３により電子透かし情報が埋め込まれた動画像データが作成されるまで、一時的に記憶してもよい。さらに記憶部１２は、電子透かし情報が埋め込まれた動画像データを記憶してもよい。

処理部１３は、１個または複数個のプロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。そして処理部１３は、電子透かし埋め込み装置１全体を制御する。

さらに処理部１３は、電子透かし情報に含まれるシンボルの値に応じて時系列に沿って周期的に面積が変動する、特定の画素値を持つ画素の集合である透かしパターンを動画像データの各画像に重畳することにより、動画像データに電子透かし情報を埋め込む。

図２は、動画像データに電子透かし情報を埋め込むために実現される処理部１３の機能を示すブロック図である。処理部１３は、透かしパターン生成部２１と、透かしパターン重畳部２２とを有する。処理部１３が有するこれらの各部は、処理部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、透かしパターン生成部２１及び透かしパターン重畳部２２は、それぞれ別個の演算回路として電子透かし埋め込み装置１に実装されてもよい。

透かしパターン生成部２１は、埋め込まれるシンボルの値に応じて各画像に埋め込まれる透かしパターンを生成する。本実施形態では、透かしパターンは、１個以上の透かしブロックの集合である。各透かしブロックは、1または複数の画素を含み、例えば、矩形形状を有する。なお、透かしブロックは、円形、半円形あるいは三角形であってもよい。そして透かしブロックに含まれる画素は、'0'以外の特定の値を持つ。なお、本実施形態では、その特定の値は、透かしパターンが重畳される画像の画素の輝度値の修正に用いられる。そして透かしパターン生成部２１は、時系列に沿って透かしブロックの数を周期的に増減させる。なお、透かしブロックの数が増加することにより、透かしパターンの面積も増加する。透かしパターン生成部２１は、埋め込まれるシンボルの値に応じて、透かしパターンの面積の周期的な時間変動の位相またはその時間変動の周期を変える。これにより、画像全体または画像の一部に設定され、透かしパターンが含まれる参照領域内の平均画素値も周期的に増減するので、参照領域内の平均画素値の周期的な時間変動の位相またはその時間変動の周期も変動する。

図３は、透かしパターンの一周期分の時間変化の一例を示す図である。この例では、透かしパターンに含まれる各透かしブロック内の画素は、上記の特定の値として、正の値、例えば、'2'を持つ。そのため、各透かしブロックはスポットライト状となり、その結果、透かしパターンに含まれる画素が重畳されることにより、その重畳された画素の値は元の画素値よりも高くなる。
図３において、時刻tから時刻(t+8)までの時間的に連続する９枚の画像が示されている。時刻tの画像３０１には、矩形状の透かしパターン３１１が重畳されている。そして時刻tから時刻(t+4)にかけて、透かしブロック３１２の数が減ることにより、画像に重畳される透かしパターンの面積が減少する。そして時刻(t+4)における画像３０２において透かしパターンは消失する。また、時刻(t+4)以降、透かしパターンの面積は増加し、時刻(t+8)における画像３０３にて、再び透かしパターンの面積が最大となる。

図４は、図３に対応する、透かしパターンの面積の時間変化と参照領域内の画素値の平均値の時間変化との対応関係を表すグラフである。図４における上側のグラフにおいて、横軸は時間を表し、縦軸は透かしパターンの面積を表す。そしてグラフ４０１は、各時刻t〜(t+8)における、透かしパターンの面積を表す。一方、下側のグラフにおいて、横軸は時間を表し、縦軸は画素値を表す。そしてグラフ４０２は、各時刻t〜(t+8)における、参照領域内の平均画素値を表す。なお、理解を容易にするために、各画像に写っている映像は静止しているものとする。

グラフ４０１に示されるように、時刻t〜(t+8)において、透かしパターンの面積は三角波状に変化する。また上記のように、この例では、透かしパターンの各画素は正の値を持つ。そのため、グラフ４０２に示されるように、参照領域内の平均画素値は、透かしパターンの面積が減少するにつれて低下し、透かしパターンの面積が増加するにつれて高くなる。そのため、平均輝度値も時系列に沿って三角波状に変化し、平均画素値の変化を表す三角波の位相は、透かしパターンの面積の変化を表す三角波の位相と同一となる。

図５は、透かしパターンの一周期分の時間変化の他の一例を示す図である。この例では、透かしパターンに含まれる各画素は、上記の特定の値として、負の値、例えば、'-2'を持つ。そのため、各透かしブロックは影状となり、その結果、透かしパターンに含まれる画素が重畳されることにより、その重畳された画素の値は元の画素値よりも低くなる。
図５において、時刻tから時刻(t+8)までの時間的に連続する９枚の画像が示されている。時刻tの画像５０１には、矩形状の透かしパターン５１１が重畳されている。そして時刻tから時刻(t+4)にかけて、透かしブロック５１２の数が減ることにより、画像に重畳される透かしパターンの面積が減少する。そして時刻(t+4)における画像５０２において透かしパターンは消失する。また、時刻(t+4)以降、透かしパターンの面積は増加し、時刻(t+8)における画像５０３にて、再び透かしパターンの面積が最大となる。

図６は、図５に対応する、透かしパターンの面積の時間変化と透かしパターンを含む領域内の画素値の平均値の時間変化との対応関係を表すグラフである。図６における上側のグラフにおいて、横軸は時間を表し、縦軸は透かしパターンの面積を表す。そしてグラフ６０１は、各時刻t〜(t+8)における、透かしパターンの面積を表す。一方、下側のグラフにおいて、横軸は時間を表し、縦軸は画素値を表す。そしてグラフ６０２は、各時刻t〜(t+8)における、参照領域内の平均画素値を表す。

グラフ６０１に示されるように、時刻t〜(t+8)において、透かしパターンの面積は、三角波状に変化する。またこの例では、透かしパターンの各画素は負の値を持つ。そのため、グラフ６０２に示されるように、参照領域内の平均画素値は透かしパターンの面積が減少するにつれて増加し、逆に透かしパターンの面積が増加するにつれて減少する。そのため、平均画素値も時系列に沿って三角波状に変化し、平均画素値の変化を表す三角波の位相は、透かしパターンの面積の変化を表す三角波の位相に対して反転する。

図７は、透かしパターンの時間変化のさらに他の一例を示す図である。この例では、透かしパターンに含まれる各画素は、透かしブロックごとに、上記の特定の値として、例えば、'2'及び'-2'の何れかを持つ。しかし、この例でも、図５に示される透かしパターンの時間変化と同様に、参照領域内の平均画素値は、時系列に沿って三角波状に変化するように、各画像に重畳される透かしパターンは決定される。

図７において、時刻tから時刻(t+8)までの時間的に連続する９枚の画像が示されている。時刻tの画像７０１には、矩形状の透かしパターン７１１が重畳されている。透かしパターン７１１に含まれる各画素は負の値を持ち、透かしパターン７１１全体が影状になっている。そして時刻tから時刻(t+4)にかけて、負の値を持つ影状の透かしブロック７１２の数に対する、正の値を持つスポットライト状の透かしブロック７１３の数の割合が徐々に増加する。そして時刻(t+4)における画像７０２において透かしパターン７１１全体がスポットライト状になる。その結果として、参照領域内の平均画素値は、時刻tから時刻(t+4)にかけて高くなる。また、時刻(t+4)以降、負の値を持つ影状の透かしブロック７１２の数に対する、正の値を持つスポットライト状の透かしブロック７１３の数の割合が徐々に減少し、時刻(t+8)における画像７０３にて再び透かしパターン全体が影状となる。

上述したように、一例として、動画像データに埋め込まれるシンボルの値は、参照領域内の平均画素値の時間変動における位相によって表される。この場合、透かしパターン生成部２１は、例えば、一つのシンボルが埋め込まれる、複数の画像が含まれる所定の区間の最初の画像における透かしパターンの面積を決定する。そして透かしパターン生成部２１は、その区間の２番目以降の画像に対して、参照領域内の平均画素値が三角波状に時間変動するように、各画像に対して重畳される透かしパターンの面積を決定する。そして透かしパターン生成部２１は、着目する画像について決定された透かしパターンの面積を一つの透かしブロックの面積で割ることにより、着目画像に重畳される透かしパターンに含まれる透かしブロックの数を決定する。なお、所定の区間は、例えば、透かしパターンの面積の時間変動の周期の1倍〜数倍に設定される。

透かしパターン生成部２１は、着目画像に重畳する透かしパターンの形状を、着目画像の一つ前の画像に重畳する透かしパターンの形状と異なるように設定する。その際、例えば、透かしパターン生成部２１は、時間的に連続する二つの画像に重畳される二つの透かしパターンの一方が他方に包含されないように、透かしパターンの形状を決定することが好ましい。例えば、図３、５及び７に示されるように、透かしパターン生成部２１は、着目画像に重畳される各透かしブロックの配置を、着目画像の前後の画像における透かしブロックの配置と相関がないように決定することが好ましい。これにより、時間経過に応じて透かしブロックの位置がランダムに変化するので、透かしパターンが画像に重畳されたことが視聴者に知覚され難くなる。
さらに、透かしパターン生成部２１は、各画像において、透かしパターンの面積が最大となるときの領域の一部に含まれる透かしブロックの面積も時系列に沿って三角波状に変化するように各透かしブロックの配置を決定することが好ましい。これにより、後述する電子透かし検出装置は、透かしパターンの一部の領域のみを着目しても透かしパターンの面積変動を検出できる。

例えば、透かしパターンの面積が最大となるときに透かしパターンが重畳される領域が、一つの透かしブロックの面積以上の面積を持つN個（ただし、Nは2以上の整数）のサブブロックに分割される。各サブブロックには、例えば、ラスタスキャン順に従って昇順に1〜Nまでの番号が付される。そして透かしパターン生成部２１は、各要素が1〜Nの範囲内の何れかの値を出力する乱数系列のk（1≦k≦m、ただし、mは着目画像に重畳される透かしブロックの総数であり、m ≦ N）番目の要素の値を、透かしブロックが配置されるサブブロックの番号とする。そして透かしパターン生成部２１は、画像ごとに異なる乱数系列を使用することにより、着目画像に重畳される各透かしブロックの配置を、着目画像の前後の画像における透かしブロックの配置と相関がないように決定できる。

あるいは、透かしパターンの面積ごとに、透かしブロックの配置が互いに異なる１以上の透かしパターンが予め記憶部１２に記憶されていてもよい。そして透かしパターン生成部２１は、着目する画像に重畳される透かしパターンの面積に対応する透かしパターンの中から、例えば、所定の順序に従って、あるいは乱数によって何れか一つの透かしパターンを選択してもよい。なお、所定の順序は、例えば、透かしパターンに付された番号の昇順あるいは降順である。

さらにまた、透かしパターン生成部２１は、他の方法によって各画像に重畳する透かしパターンの形状を決定してもよい。

図８は、透かしパターンの時間経過と埋め込まれるシンボルの値の関係の一例を示す図である。図８における上側及び下側のグラフの横軸は時間を表し、縦軸は参照領域内の平均画素値を表す。そしてグラフ８０１及び８０２は、それぞれ、シンボルの値が'0'または'1'である場合の時間経過に対する参照領域内の平均画素値の変動を表す。
この例では、シンボルの値が'0'である場合、平均画素値が最初の時刻0で最も低く（暗）、その後、平均画素値が三角波状に明、暗、明と変化する。一方、シンボルの値が'1'である場合、平均画素値が最初の時刻0で最大（明）となり、その後、平均画素値が三角波状に暗、明、暗と変化する。このように、シンボルの値'0'に対応する平均画素値の時間変動の位相は、シンボルの値'1'に対応する平均画素値の時間変動の位相と180°異なる。

なお、透かしパターンが影状の透かしブロックを含む場合、平均画素値が最大となるのは透かしパターンの面積が最小となるときである。したがって、平均画素値が明、暗、明と変化する場合、透かしパターンの面積は、最小、最大、最小の順序で変動する。逆に、透かしパターンがスポットライト状の透かしブロックを含む場合、平均画素値が最大となるのは透かしパターンの面積が最大となるときである。したがって、平均画素値が明、暗、明と変化する場合、透かしパターンの面積は、最大、最小、最大の順序で変動する。

なお、互いに異なる二つのシンボルの値に対する、平均画素値の時間変動の位相差は180°でなくてもよく、電子透かしを検出する装置がその位相差を識別できればよい。

図９は、透かしパターンの時間経過と埋め込まれるシンボルの値の関係の他の一例を示す図である。図９における上側及び下側のグラフの横軸は時間を表し、縦軸は参照領域内の平均画素値を表す。そしてグラフ９０１及び９０２は、値の異なる二つのシンボルに対する参照領域内の平均画素値の変動の位相差が180°である場合の時間経過に対する参照領域内の平均画素値の変動を表す。また、横軸と略平行な各矢印９１０は、それぞれ一つのシンボルに相当する区間を表し、各矢印の下の数値は、その区間のシンボルの値を表す。

グラフ９０１は、シンボル'0'、'1'の切り替わる境界９２１、９２２で大きな段差を生じる。そこでグラフ９０２のように、透かしパターン生成部２１はシンボル'0'、'1'のそれぞれの三角波の位相を90°ずらすことにより、シンボルの値が切り替わる境界９２３、９２４において平均画素値の変化を滑らかにすることができる。これにより、透かしパターン生成部２１は、シンボルの値が切り替わったことを視聴者に知覚され難くすることができる。なお、グラフ９０２においてもシンボル'0'、'1'の三角波の位相差は180°となっている。

あるいは、シンボルの値に応じて、透かしパターンの面積の変動周期、すなわち、参照領域内の平均画素値の変動周期が異なってもよい。
図１０は、透かしパターンの時間経過と埋め込まれるシンボルの値の関係のさらに他の一例を示す図である。図１０における上側、中央、下側の各グラフの横軸は時間を表し、縦軸は参照領域内の平均画素値を表す。そしてグラフ１００１及び１００２は、それぞれ、シンボルの値が'0'または'1'である場合の時間経過に対する参照領域内の平均画素値の変動を表す。この例では、シンボルの値が'1'である場合の周期T1は、シンボルの値が'0'である場合の周期T2の1/2となっている。従って、例えば、図３に示されるように、周期T2に8枚の画像が含まれているとすると、周期T1には4枚の画像が含まれる。この例でも、埋め込まれた値の検出を容易にするために、一つのシンボルが埋め込まれる区分の長さは、シンボルの値によらず、同一であることが好ましい。例えば、図１０における、複数のシンボルに対する参照領域内の平均画素値の時間変動を表すグラフ１００３に示されるように、シンボルの値が'0'である場合、一つの区間１０１０には2周期の平均画素値の変動が含まれ、一方、シンボルの値が'1'である場合、一つの区間１０１０には4周期の平均画素値の変動が含まれる。

透かしパターン生成部２１は、画像ごとに決定された透かしパターンを透かしパターン重畳部２２へ渡す。

透かしパターン重畳部２２は、画像ごとに参照領域を特定する。そして透かしパターン重畳部２２は、参照領域内で透かしパターンが有する透かしブロックと重なる各画素の値を、その透かしブロックに含まれる画素の値で修正する。例えば、透かしブロックに含まれる各画素が'-2'の値を持つ場合、透かしパターン重畳部２２は、透かしブロックと重なる領域に含まれる各画素の値から'2'減算する。逆に、透かしブロックに含まれる各画素が'2'の値を持つ場合、透かしパターン重畳部２２は、透かしブロックと重なる領域に含まれる各画素の値に'2'加算する。

上記のように、透かしパターン重畳部２２は、動画像データに対して時系列方向に複数のシンボルを埋め込むことができる。この場合、透かしパターン重畳部２２は、動画像データに埋め込まれる一つのシンボルに対応する区間が終了する度に、シンボルの区切りを示す所定のパターンを、次のシンボルに対応する区間が始まるまでの画像に重畳してもよい。

透かしパターン重畳部２２は、透かしパターンが重畳された画像を記憶部１２に記憶する。あるいは、透かしパターン重畳部２２は、透かしパターンが重畳された画像を、インターフェース部１１を介して他の機器へ出力してもよい。

図１１は、この実施形態による電子透かし埋め込み装置の処理部上で実行されるコンピュータプログラムにより制御される、電子透かし埋め込み処理の動作フローチャートである。処理部１３は、電子透かし情報に含まれる一つのシンボルごとに、以下の電子透かし埋め込み処理を実行する。
処理部１３は、インターフェース部１１を通じて受け取った電子透かし情報に含まれるシンボルのうち、注目するシンボルを設定する（ステップＳ１０１）。そして処理部１３の透かしパターン生成部２１は、動画像に対して、注目するシンボルが埋め込まれる複数の画像を含む所定区間を設定する（ステップＳ１０２）。

透かしパターン生成部２１は、所定区間内に含まれる複数の画像に対して時間順に注目する画像を設定する（ステップＳ１０３）。そして透かしパターン生成部２１は、参照領域内の平均画素値の時間変動が注目する値に応じた位相または周期を持つように、注目画像に対して重畳される透かしパターンの面積を決定する（ステップＳ１０４）。透かしパターン生成部２１は、透かしパターンの面積に応じて、その透かしパターンに含まれる透かしブロックの数を決定する。また透かしパターン生成部２１は、注目する画像に対する各透かしブロックの配置を、一つ前の画像に対する透かしパターンの形状と注目画像に対する透かしパターンの形状とが異なるように決定する（ステップＳ１０５）。そして透かしパターン生成部２１は、透かしパターンを透かしパターン重畳部２２へわたす。

透かしパターン重畳部２２は、透かしブロックと重なる領域に含まれる各画素の値を透かしブロック内の対応する画素の値に応じて修正する（ステップＳ１０６）。
その後、処理部１３は、所定区間が終了したか否か判定する（ステップＳ１０７）。所定区間が終了していなければ（ステップＳ１０７−Ｎｏ）、処理部１３は、ステップＳ１０３〜ステップＳ１０７の処理を繰り返す。一方、所定区間が終了していれば（ステップＳ１０７−Ｙｅｓ）、処理部１３は、電子透かし情報に含まれる次のシンボルの透かし埋め込み処理を行う。シンボルの長さおよびシンボルを入れる回数が予め定められ、その回数に達するまで、処理部１３は、埋め込み処理を続ける。あるいは、処理部１３は、動画像の長さに応じて、シンボルを埋められるだけ、埋め込み処理を続けてもよい。

以上に説明してきたように、この実施形態による電子透かし埋め込み装置は、画像に重畳される透かしパターンの面積を周期的に変動させることで、参照領域内の平均画素値も周期的に変動させ、その平均画素値の時間変動の周期または位相で埋め込まれるシンボルの値を表す。そのため、この電子透かし埋め込み装置は、透かしパターンに含まれる画素の値を一定の小さな値とすることができる。したがって、この電子透かし埋め込み装置は、動画像データに写っている映像によらず、透かし情報を動画像データに埋め込むことによるその動画像データの画質の劣化を抑制できるとともに、視聴者が埋め込まれた電子透かしを視認することを困難にできる。さらに、この電子透かし埋め込み装置は、画像ごとに重畳される透かしパターンの形状を異ならせることで、特定の領域に継続的に透かしパターンが重畳されることを防止できるので、視聴者が埋め込まれた電子透かしを視認することをより困難にできる。

また電子透かし検出装置は、この電子透かし埋め込み装置により電子透かし情報が埋め込まれた動画像データから参照領域内の平均画素値が周期的に変動していることを検知するだけで、電子透かし情報が埋め込まれているか否か判定できる。そのため、電子透かし情報が埋め込まれた動画像データがアナログキャプチャによって複製されても、その複製された動画像データの画像上に参照領域が写っている限り、電子透かし情報は消失しない。

なお、他の実施形態によれば、電子透かし埋め込み装置は、動画像データ中の各画像に、電子透かし情報に含まれる複数のシンボルを埋め込んでもよい。この場合、動画像データ中の各画像には、複数の参照領域及び各参照領域に含まれる透かしパターンが設定される。そして、各参照領域とその参照領域内に重畳される透かしパターンが一つのシンボルに対応する。また、電子透かし情報に含まれる全てのシンボルが各画像に埋め込まれる場合、所定区間は、動画像データの先頭の画像から終端の画像までとしてもよい。

また、透かしパターンの面積の時間変動は三角波状の変動に限られない。他の実施形態によれば、透かしパターン生成部は、透かしパターンの面積の時間変動における特定の周波数成分が強い値を持つように、各画像に重畳される透かしパターンの面積を決定してもよい。例えば、透かしパターン生成部は、透かしパターンの面積が時系列に沿って正弦波状に変化するように、各画像に重畳される透かしパターンの面積を決定してもよい。

さらに他の変形例によれば、一つのシンボルが取り得る値は3通り以上であってもよい。この場合、例えば、参照領域内の平均画素値変動の位相及び周期の組み合わせにより、一つのシンボルの値が規定される。例えば、一つのシンボルが埋め込まれる区間の最初の画像における参照領域内の平均画素値が最大となる場合の位相を'正'と表記し、その区間の最初の画像における参照領域内の平均画素値が最小となる場合の位相を'負'と表記する。また平均画素値の時間変動が第１の周期を持つ場合、'短'と表記し、その時間変動が第１の周期よりも長い第２の周期を持つ場合、'長'と表記する。そして、周期一つのシンボルが'0'、'1'、'2'、'3'の4通りの値を取り得るとする。この場合、透かしパターン生成部は、'0'〜'3'のそれぞれに対して、位相と周期の組として例えば、（正、短）、（負、短）、（正、長）、（負、長）を割り当てる。

さらに他の変形例では、電子透かし埋め込み装置の処理部は、各シンボルがビットであり、電子透かし情報がビット列で表される場合、そのビット列を誤り訂正符号又は誤り検出符号を用いて誤り訂正符号化してもよい。そして処理部は、その誤り訂正符号化されたシンボルのパターンを、動画像データに埋め込んでもよい。例えば、処理部は、誤り訂正符号の一例として、巡回冗長検査(Cyclic redundancy check、CRC)符号を用いてもよい。この場合、処理部は、電子透かし情報に含まれるビット列をCRC符号に変換し、そのCRC符号を動画像データに埋め込んでもよい。この場合、埋め込まれたシンボルの値に応じて、参照領域内の平均画素値の変動状態が異なっていればよい。一つの画像にCRC符号化された複数のシンボルが埋め込まれる場合、電子透かし検出装置は、各シンボルに対応する参照領域の平均画素値の時間変動の位相または周期とシンボルの値との関係を知らなくても、埋め込まれたシンボルの値を求めることができる。電子透かし検出装置は、動画像データから抽出したビット列を、CRC符号を生成する際に用いた生成多項式で除したときの余りが'0'となる値が埋め込まれていると判定する。

例えば、生成多項式である除数が'1011'であり、電子透かし情報にビット列'1110011'が含まれていると、そのビット列に対応するCRC符号は'1110011010'となる。
この場合、電子透かし検出装置は、電子透かし情報が埋め込まれた動画像データから、各ビットに対応する参照領域内の平均画素値の時間変動についての位相または周期を求める。そして電子透かし検出装置は、異なる位相または周期に対して異なるシンボルの値を割り当てることで、二つのビット列'1110011010'及び'0001100101'を求める。そして電子透かし検出装置は、動画像データから抽出したビット列が'1110011010'か、'0001100101'かを判定するために、この二つのビット列をそれぞれ除数'1011'で除算する。そして電子透かし検出装置は、剰余が'0'になる'1110011010'が埋め込まれたビット列であると判定することができ、そのビット列からチェック用のビット列'010'を除くことで、埋め込まれたビット列を求めることができる。

さらに他の変形例によれば、電子透かし埋め込み装置は、画像に埋め込まれるシンボルの値に対応する参照領域内の平均画素値の周期的な時間変動の位相を、電子透かし検出装置が特定できるようにする。そのために、電子透かし埋め込み装置は、複数の参照領域を各画像上に設定し、そのうちの一つの参照領域を特定参照領域としてもよい。そして処理部の透かしパターン生成部は、特定参照領域に対しては、その特定参照領域内の平均画素値が常に一定の周期で変動するように透かしパターンを決定する。なお、特定参照領域に対して設定される透かしパターンを、以下では基準パターンと呼ぶ。
そして透かしパターン生成部は、埋め込まれるシンボルが割り当てられる他の参照領域内の平均画素値の時間変動も、基準パターンと同一の周期を持つように、透かしパターンを決定する。また透かしパターン生成部は、透かしパターンの面積の時間変動と基準パターンの面積の時間変動間の位相差、すなわち、参照領域内の平均画素値の時間変動と特定参照領域内の平均画素値の時間変動間の位相差を、埋め込まれるシンボルの値に応じて決定する。例えば、透かしパターン生成部は、シンボルの値が'0'である場合、特定参照領域の平均画素値の時間変動の位相と、そのシンボルが埋め込まれる参照領域における平均画素値の時間変動の位相を一致させる。一方、透かしパターン生成部は、シンボルの値が'1'である場合、特定参照領域の平均画素値の時間変動の位相と、そのシンボルが埋め込まれる参照領域における平均画素値の時間変動の位相を90°または180°ずらす。

さらに他の変形例によれば、透かしパターン生成部は、参照領域全体と重なるような透かしパターンを用いないようにしてもよい。

図１２は、参照領域全体と重なるような透かしパターンが使用されない場合における、透かしパターンの一周期分の時間変化の一例を示す図である。この例では、透かしパターンに含まれる各画素は、特定の値として、負の値、例えば、'-2'を持つ。
図１２において、時刻tから時刻(t+6)までの時間的に連続する７枚の画像が示されている。時刻tの画像１２０１には面積が最大となる、すなわち、透かしブロック１２１２の数が最も多い透かしパターン１２１１が重畳されている。そして時刻tから時刻(t+3)にかけて、透かしパターンの面積が減少し、逆に、時刻(t+3)以降、透かしパターンの面積は増加する。そして、時刻(t+6)における画像１２０２にて、再び透かしパターンの面積が最大となる。この例では、画像１２０１及び画像１２０２に重畳された透かしパターンでも、透かしパターンは矩形状にならず、複数の透かしブロックが互いに離れて配置されている。

このように、透かしブロックの数が最大となる透かしパターンでも、透かしパターンと参照領域は完全に一致せず、透かしパターンの外周における最も長い直線が所定値未満となるように、透かしパターンが決定されることが好ましい。このように透かしパターンを設定することにより、画像に空のような一様な明るさを持つ映像が写っていても、透かしパターンが重畳された領域の境界が目立ち難くなる。そのため、電子透かし埋め込み装置は、透かしパターンの重畳による画質劣化をより抑制できる。なお、所定値は、例えば、実験的に定められ、面積が最大となる透かしパターンの幅または高さの1/2〜1/3程度に設定される。

次に、上記の各実施形態またはその変形例による電子透かし埋め込み装置により動画像データに埋め込まれた電子透かし情報を検出する電子透かし検出装置について説明する。

図１３は、一つの実施形態による電子透かし検出装置の概略構成図である。電子透かし検出装置２は、インターフェース部３１と、記憶部３２と、処理部３３とを有する。そして電子透かし検出装置２は、インターフェース部３１を介して取得した、動画像データに埋め込まれた電子透かし情報を検出する。

インターフェース部３１は、例えば、電子透かし検出装置２を、カムコーダなどの動画像入力装置（図示せず）と接続するためのビデオ信号インターフェース及びその制御回路を有する。あるいは、インターフェース部３１は、電子透かし検出装置２を、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
インターフェース部３１は、動画像入力装置または通信ネットワークを介して動画像データを取得し、その動画像データを処理部３３へ渡す。
さらに、インターフェース部３１は、検出された電子透かし情報を処理部３３から受け取り、その電子透かし情報を、通信ネットワークを介して電子透かし検出装置２と接続された他の機器へ送信してもよい。

記憶部３２は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部３２は、電子透かし検出装置２で実行されるコンピュータプログラム、動画像データに埋め込まれた電子透かし情報を検出するために使用する各種のパラメータを記憶する。例えば、記憶部３２は、画像上での参照領域の位置及び範囲と、参照領域内の平均画素値の時間変動の位相または周期と埋め込まれた値との関係を表す参照テーブルとを記憶する。また記憶部３２は、検出された電子透かし情報を記憶してもよい。さらに記憶部３２は、電子透かし情報が埋め込まれた動画像データを記憶してもよい。

処理部３３は、１個または複数個のプロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。そして処理部３３は、動画像データに埋め込まれた電子透かし情報を検出する。さらに処理部３３は、電子透かし検出装置２全体を制御する。

図１４は、電子透かし情報を動画像データ上で検出するために実現される処理部の機能を示すブロック図である。
処理部３３は、平均画素値算出部４１と、周波数変換部４２と、透かし情報抽出部４３とを有する。そして処理部３３は、例えば、電子透かし情報が埋め込まれた動画像データを撮影したカムコーダあるいはその動画像データを記憶した他の装置から、インターフェース部３１を介してその動画像データを取得する。そして処理部３３は、動画像データを解析して、埋め込まれた電子透かし情報を検出する。

平均画素値算出部４１は、電子透かし情報が埋め込まれた動画像データに含まれる各画像を時系列順に処理部３３から受け取る。そして平均画素値算出部４１は、各画像の参照領域内の平均画素値を算出する。なお、一つの画像に複数の参照領域が設定されている場合、平均画素値算出部４１は、参照領域ごとに平均画素値を算出する。
また、動画像データは、電子透かし情報が埋め込まれた映像を映像以外の背景などが映りこむようにアナログキャプチャしたものである場合、平均画素値算出部４１は、アナログキャプチャした映像全てから平均画素値を計算してもよい。あるいは、平均画素値算出部４１は、各画像に対してエッジ検出処理を行って元の映像が写っている動画像領域を検出することもできる。この場合、平均画素値算出部４１は、動画像領域内で参照領域を検出する。この場合、平均画素値算出部４１は、例えば、画像に対して、例えばsobelフィルタまたはラプラシアンフィルタを用いてエッジを検出する。そして平均画素値算出部４１は、例えば、略水平方向に連続するエッジのうち、画像の上半分で最も長いエッジを、元の動画像が写っている動画像領域の上端とする。また平均画素値算出部４１は、略水平方向に連続するエッジのうち、画像の下半分で最も長いエッジを動画像領域の下端とする。さらに、平均画素値算出部４１は、例えば、略垂直方向に連続するエッジのうち、画像の左半分で最も長いエッジを動画像領域の左端とし、画像の右半分で最も長いエッジを動画像領域の右端とする。なお、平均画素値算出部４１は、画像の上半分において略水平方向におけるエッジの最大長が、例えば、画像の水平方向幅の1/2以下であれば、画像の上端を動画像領域の上端としてもよい。また、平均画素値算出部４１は、画像の下半分において略水平方向におけるエッジの最大長が、例えば、画像の水平方向幅の1/2以下であれば、画像の下端を動画像領域の下端としてもよい。同様に、平均画素値算出部４１は、画像の左半分または右半分のそれぞれにおいて略垂直方向におけるエッジの最大長が、例えば、画像の垂直方向高さの1/2以下であれば、画像の左端または右端を動画像領域の左端または右端としてもよい。

平均画素値算出部４１は、動画像領域の高さに対する、動画像領域の上端から参照領域の上端までの距離の比が、アナログキャプチャされた元の映像に対するその比と一致するように参照領域の上端を決定する。同様に、平均画素値算出部４１は、動画像領域の高さまたは幅に対する、動画像領域の何れかの端部から参照領域の各端部までの距離の比が元の映像に対するその比と一致するように参照領域の各端部を決定すればよい。
平均画素値算出部４１は、各画像について求めた参照領域内もしくは画像全体の平均画素値を周波数変換部４２へ渡す。

周波数変換部４２は、参照領域ごと、もしくは画像全体の平均画素値を時系列順に並べた１次元ベクトルを作成する。そして周波数変換部４２は、その１次元ベクトルを一つのシンボルの値に相当する区間単位で周波数変換することにより、その区間における平均画素値の時間変動に対するスペクトルを求める。なお、周波数変換として、例えば、高速フーリエ変換または離散コサイン変換が用いられる。また周波数変換部４２は、区間の区切りを示す所定のパターンを、例えばパターンマッチングにより検出することで、その区間を特定できる。
周波数変換部４２は、各参照領域または画像全体について、区間ごとの平均画素値の時間変動に対するスペクトルを透かし情報抽出部４３へ渡す。

透かし情報抽出部４３は、各参照領域もしくは画像全体についての区間ごとの平均画素値の時間変動に対するスペクトルに基づいて動画像データに埋め込まれている電子透かし情報を抽出する。

電子透かし情報が埋め込まれた画像に写っている映像が静止画でない限り、参照領域内の平均画素値は、元々写っている映像によっても時系列に沿って変動する。
図１５（Ａ）は参照領域の平均画素値の時間変動の一例を示す図である。図１５（Ａ）において、横軸は時間を表し、縦軸は画素値を表す。また図１５（Ａ）におけるグラフ１５０１は、参照領域内の映像が時間経過とともに変化する場合の参照領域の平均画素値の時間変動の一例を表す。参照領域内の平均画素値の変化が、透かしパターンの面積の変化よりも、その参照領域内の映像に主に起因していることがある。このような場合、グラフ１５０１に示されるように、平均画素値の時間変動そのものから透かしパターンの面積変動による平均画素値の変動成分を抽出することは困難である。

しかし、透かしパターンの面積変動による参照領域内の平均画素値の時間変動についての周波数は予め分かっている。例えば、上記のように、参照領域内の平均画素値が、時系列に沿って三角波状に変動する場合、時間軸方向における平均画素値の周波数には、その三角波に対応する周波数成分が含まれる。
図１５（Ｂ）は、図１５（Ａ）に示された平均画素値の時間変動を周波数変換することにより得られたスペクトルから抽出された三角波に相当する周波数成分を逆周波数変換することにより得られた平均画素値の時間変動を模式的に示す図である。図１５（Ｂ）において、横軸は時間を表し、縦軸は画素値を表す。また図１５（Ｂ）におけるグラフ１５０２は、三角波に相当する周波数成分のみを逆周波数変換することにより得られる画素値の時間変動を表す。グラフ１５０２に示されるように、透かしパターンの面積変動による周波数成分のみを抽出することにより、その面積変動による参照領域内の平均画素値の周期的な時間変動成分だけが取り出される。背景などを含むアナログキャプチャされた映像から電子透かしが検出される場合は、透かし情報抽出部４３は、参照領域だけでなく、背景などの雑音を含む画像全体を利用するが、透かしパターンの面積変化の周期が背景のものと異なっていれば、シンボルを検出することができる。

そこで、透かし情報抽出部４３は、各参照領域もしくは画像全体についての区間ごとのスペクトルから透かしパターンの面積の周期的な変化による平均画素値の時間変動に相当する周波数成分のみを抽出する。そして埋め込まれたシンボルの値が平均画素値の時間変動の位相により表されている場合、透かし情報抽出部４３は、抽出した周波数成分から位相情報を求める。そして透かし情報抽出部４３は、例えば、その位相に対応するシンボルの値を、位相とシンボルの値との関係を表す参照テーブルを参照することにより求める。

また上記のように、シンボルの値は、参照領域の平均画素値の時間変動の位相と特定参照領域の平均画素値の時間変動の位相との差で特定されてもよい。この場合、透かし情報抽出部４３は、参照領域及び特定参照領域のそれぞれのスペクトルから、透かしパターンの面積の変動に対応する周波数成分を抽出する。そして透かし情報抽出部４３は、参照領域及び特定参照領域のそれぞれについて抽出された周波数成分の位相を求めることにより、参照領域における位相と特定参照領域における位相との差を求める。透かし情報抽出部４３は、その位相差とシンボルの値との関係を表す参照テーブルを記憶部３２から読み出す。透かし情報抽出部４３は、その参照テーブルを参照して、検出された位相差に対応するシンボルの値を埋め込まれたシンボルの値とする。

あるいは、動画像データに埋め込まれた電子透かし情報を表すビット列がCRC符号を用いて誤り訂正符号化されている場合、透かし情報抽出部４３は、各参照領域について、区間ごとの平均画素値の時間変動の位相から取り得るシンボルのパターンを算出する。例えば、シンボルがビットであれば、透かし情報抽出部４３は、各区間のシンボルを、同一の位相となるものごとに、'0'または'1'とした2種類のパターンを作成する。そして透かし情報抽出部４３は、CRC符号による検査で誤り無しと判定されるシンボルのパターンを選択する。例えば、三つの区間の位相がそれぞれ、0°、180°、0°と異なっている場合、取り得るシンボルのパターンは、(0,1,0)または(1,0,1)である。上述したように、どちらのパターンがシンボルのパターンとして正しいかの判定は、予め、CRCチェック用のパリティも透かしのシンボルとして埋め込むことにより、シンボル決定時にCRC検査を行うことで達成される。

また、シンボルの値が透かしパターンの面積の時間変動の周期により表されている場合、透かし情報抽出部４３は、シンボルの取り得るそれぞれの値に相当する周波数成分のうち、最も強い周波数成分を求め、その最も強い周波数成分に対応する周期を求める。

図１６（Ａ）は参照領域の平均画素値の時間変動の他の一例を示す図である。図１６（Ａ）において、横軸は時間を表し、縦軸は画素値を表す。また図１６（Ａ）におけるグラフ１６０１は、参照領域内の映像が時間経過とともに変化する場合の参照領域の平均画素値の時間変動の一例を表す。そして横軸の下に示された各矢印１６０２、１６０３は、それぞれ、一つのシンボルが埋め込まれた区間を表す。グラフ１６０１に示されるように、各区間において透かしパターンの面積変動による平均画素値の変動の周期を検出することは困難である。

図１６（Ｂ）、（Ｃ）は、それぞれ、図１６（Ａ）に示された参照領域の平均画素値の時間変動を区間ごとに周波数変換することにより得られたスペクトルから抽出した、各シンボルの値に対応する周期に対応する周波数成分を示す図である。図１６（Ｂ）及び図１６（Ｃ）において、横軸は抽出された周波数成分を表し、縦軸はスペクトルの強度を表す。また図１６（Ｂ）は、図１６（Ａ）における区間１６０２に対応し、図１６（Ｃ）は、図１６（Ａ）における区間１６０３に対応する。なお、三角波の周波数スペクトルは、その三角波の周期に応じた特定の複数の周波数成分を持つ。

図１６（Ｂ）に示されるように、区間１６０２では、周期T1に相当する周波数成分１６１１の強度が、周期T2に相当する周波数成分１６１２の強度よりも高い。そのため、透かし情報抽出部４３は、区間１６０２における、透かしパターンの面積変動の周期はT1であると推定する。一方、図１６（Ｃ）に示されるように、区間１６０３では、周期T2に相当する周波数成分１６２２の強度が、周期T1に相当する周波数成分１６２１の強度よりも高い。そのため、透かし情報抽出部４３は、区間１６０３における、透かしパターンの面積変動の周期はT2であると推定する。

透かし情報抽出部４３は、周期とシンボルの値との関係を表す参照テーブルを記憶部３２から読み出す。透かし情報抽出部４３は、その参照テーブルを参照して、検出された周期に対応するシンボルの値を埋め込まれたシンボルの値とする。

透かし情報抽出部４３は、時系列順に抽出したシンボルの値を並べることにより、電子透かし情報を復元する。また、一つの画像に複数の参照領域が設定され、各参照領域にシンボルが埋め込まれている場合には、透かし情報抽出部４３は、その画像に埋め込まれたシンボルの順序に従って各参照領域のシンボルの値を並べることにより、電子透かし情報を復元する。

図１７は、電子透かし検出装置２の処理部３３上で実行されるコンピュータプログラムにより制御される、電子透かし検出処理の動作フローチャートである。なお、処理部３３は、動画像データに埋め込まれている電子透かし情報に含まれる一つのシンボルごとに、以下の処理を実行する。
処理部３３は、動画像データ中の一つのシンボルに対応する所定区間に含まれる複数の画像を選択する（ステップＳ２０１）。処理部３３の平均画素値算出部４１は、選択された各画像の参照領域内もしくは画像全体の平均画素値を算出する（ステップＳ２０２）。そして平均画素値算出部４１は、平均画素値を周波数変換部４２へ渡す。
周波数変換部４２は、時系列に沿って平均画素値を並べた１次元ベクトルを区間単位で周波数変換することにより平均画素値の時間変動のスペクトルを算出する（ステップＳ２０３）。そして周波数変換部４２は、スペクトルを透かし情報抽出部４３へ渡す。

透かし情報抽出部４３は、スペクトルから、透かしパターンの面積の変化に相当する周波数成分を抽出する（ステップＳ２０４）。そして透かし情報抽出部４３は、抽出された周波数成分の位相または周期を算出する（ステップＳ２０５）。透かし情報抽出部４３は、算出された位相または周期に対応するシンボルの値を埋め込まれたシンボルの値として抽出する（ステップＳ２０６）。
そして処理部３３は、次のシンボルを得るため、電子透かしの検出処理を継続する。処理部３３は、あらかじめ決められた数のシンボルを抽出した後、電子透かし検出処理を終了する。
なお、一つの画像に複数の参照領域が設定されている場合、処理部３３は、参照領域ごとに、ステップＳ２０２〜Ｓ２０６の処理を実行する。

以上に説明してきたように、この実施形態による電子透かし検出装置は、上記の実施形態による電子透かし埋め込み装置により電子透かし情報が埋め込まれた動画像データから電子透かし情報を抽出することができる。また、透かしパターンの面積の時間変動の位相及び周期は、電子透かし情報が埋め込まれた動画像データがアナログキャプチャされても変化しない。そのため、この電子透かし検出装置は、そのようなアナログキャプチャされた動画像データからも電子透かし情報を抽出できる。

電子透かし埋め込み装置により電子透かし情報が埋め込まれる動画像データは、カラー画像であってもよい。例えば、動画像データが、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色のそれぞれごとに輝度情報を持っている場合、各実施形態による電子透かし埋め込み装置は、何れかの色、もしくは複数、もしくは全てについて上記の電子透かし埋め込み処理を実行すればよい。あるいは、電子透かし埋め込み装置は、輝度または色相成分、もしくは彩度や色度などに上記の電子透かし埋め込み処理を実行してもよい。また電子透かし検出装置は、電子透かし情報が埋め込まれた色について、上記の電子透かし検出処理を実行すればよい。

上記の各実施形態による電子透かし埋め込み装置は、例えば、セットトップボックス、サーバあるいはパーソナルコンピュータに組み込まれる。そして電子透かし埋め込み装置が組み込まれた装置は、例えば、通信ネットワークあるいはアンテナを介して受信した映像コンテンツである動画像データに対して、動画像データを再生する際に上記の電子透かし埋め込み処理を実行する。その装置は、動画像データが所定の圧縮方式に従って圧縮されている場合、その動画像データに含まれる各画像をその所定の圧縮方式に従って復号する。そしてその装置は、その動画像データに含まれる各画像を時系列順に、その装置が有するバッファメモリに保存する。そしてその装置は、バッファメモリから時系列順に画像を読み出して、電子透かし埋め込み処理を実行し、電子透かし情報が埋め込まれた画像をディスプレイに表示させる。

さらに、上記の各実施形態による電子透かし埋め込み装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の実施形態による電子透かし検出装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データ及び電子透かし情報を取得するインターフェース部と、
前記動画像データに前記電子透かし情報を埋め込む処理部であって、
所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正する処理部と、
を有する電子透かし埋め込み装置。
（付記２）
前記処理部は、前記動画像データ中の第１の画像に重畳される前記透かしパターンの形状を前記動画像データ中の前記第１の画像の次の第２の画像に重畳される前記透かしパターンの形状と異ならせる、付記１に記載の電子透かし埋め込み装置。
（付記３）
前記処理部は、前記第１の画像に重畳される前記透かしパターン及び前記第２の画像に重畳される前記透かしパターンのうちの一方が他方に包含されないように、前記第２の画像に重畳される前記透かしパターンの形状を決定する、付記２に記載の電子透かし埋め込み装置。
（付記４）
前記透かしパターンは前記所定の値を持つ画素を含む少なくとも一つの透かしブロックを含み、該透かしブロックの数が増えるほど前記透かしパターンの面積も増加し、
前記処理部は、前記第２の画像に重畳される前記透かしパターンに含まれる前記透かしブロックの配置を、前記第１の画像に重畳される前記透かしパターンに含まれる前記透かしブロックの配置と無相関に設定することで、前記第１の画像に重畳される前記透かしパターンの形状を前記第２の画像に重畳される前記透かしパターンの形状と異ならせる、付記２または３に記載の電子透かし埋め込み装置。
（付記５）
前記透かしパターンは、第１の所定の値を持つ少なくとも一つの第１の透かしブロックと、前記第１の所定の値と異なる第２の所定の値を持つ少なくとも一つの第２の透かしブロックとを有し、
前記処理部は、前記第２の画像に重畳される前記透かしパターンに含まれる前記第１の透かしブロックの数に対する前記第２の透かしブロックの数の割合を、前記第１の画像に重畳される前記透かしパターンに含まれる前記第１の透かしブロックの数に対する前記第２の透かしブロックの数の割合と異ならせる、付記４に記載の電子透かし埋め込み装置。
（付記６）
前記透かしパターンの面積が最大となる場合における当該透かしパターンは、前記所定の値を持つ画素を含む複数の透かしブロックを含み、
前記処理部は、前記複数の透かしブロックのうちの少なくとも第１の透かしブロックと第２の透かしブロックとを離して配置する、付記１に記載の電子透かし埋め込み装置。
（付記７）
前記処理部は、前記シンボルが第１の値を有するときの前記透かしパターンの面積の時系列に沿った変動の位相を前記シンボルが前記第１の値と異なる第２の値を有するときの前記位相と異ならせる、付記１〜６の何れか一項に記載の電子透かし埋め込み装置。
（付記８）
前記処理部は、前記シンボルが第１の値を有するときの前記透かしパターンの面積の時系列に沿った変動の周期を前記シンボルが前記第１の値と異なる第２の値を有するときの前記周期と異ならせる、付記１〜６の何れか一項に記載の電子透かし埋め込み装置。
（付記９）
動画像データ及び電子透かし情報を取得し、
所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正することにより、前記動画像データに前記電子透かし情報を埋め込む、
ことを含む電子透かし埋め込み方法。
（付記１０）
動画像データに電子透かし情報を埋め込むことをコンピュータに実行させる電子透かし埋め込み用コンピュータプログラムであって、
所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正することにより、前記動画像データに前記電子透かし情報を埋め込む、
ことをコンピュータに実行させる電子透かし埋め込み用コンピュータプログラム。
（付記１１）
電子透かし情報が埋め込まれた動画像データを取得するインターフェース部と、
前記動画像データに埋め込まれた前記電子透かし情報を検出する処理部であって、
前記動画像データ中の各画像について、前記電子透かし情報に含まれるシンボルの値に応じた位相または周期で時系列に沿って周期的に変化する面積を持つ透かしパターンを含む参照領域もしくは画像全体の平均画素値を算出し、
前記シンボルの一つに対応する区間に含まれる、時系列に沿った前記平均画素値の組を周波数変換することにより、当該平均画素値の時間変動のスペクトルを算出し、
前記スペクトルから前記透かしパターンの面積の周期的な変化に相当する周波数成分を抽出し、該周波数成分から前記透かしパターンの面積の周期的な変化の位相または周期を求めることにより、前記シンボルの値を求める処理部と、
を有する電子透かし検出装置。
（付記１２）
電子透かし情報が埋め込まれた動画像データを取得し、
前記動画像データ中の各画像について、前記電子透かし情報に含まれるシンボルの値に応じた位相または周期で時系列に沿って周期的に変化する面積を持つ透かしパターンを含む参照領域もしくは画像全体の平均画素値を算出し、
前記シンボルの一つに対応する区間に含まれる、時系列に沿った前記平均画素値の組を周波数変換することにより、当該平均画素値の時間変動のスペクトルを算出し、
前記スペクトルから前記透かしパターンの面積の周期的な変化に相当する周波数成分を抽出し、該周波数成分から前記透かしパターンの面積の周期的な変化の位相または周期を求めることにより、前記シンボルの値を求めることにより、前記動画像データに埋め込まれた前記電子透かし情報を検出する、
ことを含む電子透かし検出方法。
（付記１３）
動画像データに埋め込まれた電子透かし情報を検出することをコンピュータに実行させる電子透かし検出用コンピュータプログラムであって、
前記動画像データ中の各画像について、前記電子透かし情報に含まれるシンボルの値に応じた位相または周期で時系列に沿って周期的に変化する面積を持つ透かしパターンを含む参照領域もしくは画像全体の平均画素値を算出し、
前記シンボルの一つに対応する区間に含まれる、時系列に沿った前記平均画素値の組を周波数変換することにより、当該平均画素値の時間変動のスペクトルを算出し、
前記スペクトルから前記透かしパターンの面積の周期的な変化に相当する周波数成分を抽出し、該周波数成分から前記透かしパターンの面積の周期的な変化の位相または周期を求めることにより、前記シンボルの値を求めることにより、前記動画像データに埋め込まれた前記電子透かし情報を検出する、
ことをコンピュータに実行させる電子透かし検出用コンピュータプログラム。

１ 電子透かし埋め込み装置
１１ インターフェース部
１２ 記憶部
１３ 処理部
２１ 透かしパターン生成部
２２ 透かしパターン重畳部
２ 電子透かし検出装置
３１ インターフェース部
３２ 記憶部
３３ 処理部
４１ 平均画素値算出部
４２ 周波数変換部
４３ 透かし情報抽出部

Claims (7)

1. 動画像データ及び電子透かし情報を取得するインターフェース部と、
   前記動画像データに前記電子透かし情報を埋め込む処理部であって、
   所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
   前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正する処理部と、
   を有する電子透かし埋め込み装置。
2. 前記処理部は、前記動画像データ中の第１の画像に重畳される前記透かしパターンの形状を前記動画像データ中の前記第１の画像の次の第２の画像に重畳される前記透かしパターンの形状と異ならせる、請求項１に記載の電子透かし埋め込み装置。
3. 前記透かしパターンは前記所定の値を持つ画素を含む少なくとも一つの透かしブロックを含み、該透かしブロックの数が増えるほど前記透かしパターンの面積も増加し、
   前記処理部は、前記第２の画像に重畳される前記透かしパターンに含まれる前記透かしブロックの配置を、前記第１の画像に重畳される前記透かしパターンに含まれる前記透かしブロックの配置と無相関に設定することで、前記第１の画像に重畳される前記透かしパターンの形状を前記第２の画像に重畳される前記透かしパターンの形状と異ならせる、請求項２に記載の電子透かし埋め込み装置。
4. 前記透かしパターンの面積が最大となる場合における当該透かしパターンは、前記所定の値を持つ画素を含む複数の透かしブロックを含み、
   前記処理部は、前記複数の透かしブロックのうちの少なくとも第１の透かしブロックと第２の透かしブロックとを離して配置する、請求項１に記載の電子透かし埋め込み装置。
5. インターフェース部が動画像データ及び電子透かし情報を取得し、
   プロセッサが所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
   前記プロセッサが前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正することにより、前記動画像データに前記電子透かし情報を埋め込む、
   ことを含む電子透かし埋め込み方法。
6. 動画像データに電子透かし情報を埋め込むことをコンピュータに実行させる電子透かし埋め込み用コンピュータプログラムであって、
   所定の値を持つ複数の画素を含み、かつ前記動画像データ中の各画像に重畳される透かしパターンの面積を時系列に沿って前記電子透かし情報に含まれるシンボルの値に応じて周期的に変化させ、
   前記動画像データ中の各画像と当該画像に対応する前記透かしパターンとが重なる領域に含まれる各画素の値を前記所定の値に応じて修正することにより、前記動画像データに前記電子透かし情報を埋め込む、
   ことをコンピュータに実行させる電子透かし埋め込み用コンピュータプログラム。
7. 電子透かし情報が埋め込まれた動画像データを取得するインターフェース部と、
   前記動画像データに埋め込まれた前記電子透かし情報を検出する処理部であって、
   前記動画像データ中の各画像について、前記電子透かし情報に含まれるシンボルの値に応じた位相または周期で時系列に沿って周期的に変化する面積を持つ透かしパターンを含む参照領域もしくは画像全体の平均画素値を算出し、
   前記シンボルの一つに対応する区間に含まれる、時系列に沿った前記平均画素値の組を周波数変換することにより、当該平均画素値の時間変動のスペクトルを算出し、
   前記スペクトルから前記透かしパターンの面積の周期的な変化に相当する周波数成分を抽出し、該周波数成分から前記透かしパターンの面積の周期的な変化の位相または周期を求めることにより、前記シンボルの値を求める処理部と、
   を有する電子透かし検出装置。