JP2005528649A - マルチメディア信号中の電子透かしの再埋め込み - Google Patents

Abstract

【課題】 電子透かし情報を繰り返し変更するアプローチが、原情報信号の品質を下げるだけではなく、個々の埋め込まれた電子透かし間の衝突が、電子透かしの頑強さを著しく下げるという従来技術の問題に取り組む電子透かし入れスキームを提供すること。
【解決手段】 電子透かし信号を有するマルチメディア信号を処理するための方法および装置が、記述される。その方法は、前記電子透かし信号の少なくとも一部を取り除くステップと、新しい電子透かしが入れられたマルチメディア信号を形成するために、前記マルチメディア信号に新しい電子透かし信号を加えるステップと、を含む。

Description

本発明は、オーディオ信号、ビデオ信号、または、データ信号のようなマルチメディア信号中の情報の再埋め込みのための装置および方法に関するものである。

マルチメディア信号への電子透かし入れは、マルチメディア信号とともに付加データを伝送するための技術である。例えば、電子透かし入れ技術を用いて、オーディオ信号に著作権情報、および、コピー制御情報を埋め込むことができる。

電子透かし入れスキームの主要要件は、それが、信号から電子透かしを取り除こうとする攻撃に対して頑強である（例えば、電子透かしを取り除くことは、信号にダメージを与える）と同時に、それを識別することができない（即ち、オーディオ信号の場合には、それを聞き取ることができない）ということである。電子透かしの頑強さは、通常、電子透かしが埋め込まれた信号の品質とトレードオフの関係になることが認識される。例えば、電子透かしが、オーディオ信号に強く埋め込まれている（したがって、取り除くことが困難である）場合には、ひとが、それを、それに内在する技術および秘密キーの知識なしに取り除こうとすると、オーディオ信号の品質は、低下するであろう。

電子透かし信号に埋め込まれる情報の量を増やしていくことによって、電子透かしを改めることが、知られている。そのような場合には、追加の電子透かしシーケンスが、現在存在する電子透かしが入れられた信号に加えられる。これは、例えば、4C 12 bit watermark specification（4C 12ビット電子透かし仕様）に含まれている。この仕様のコピーは、非特許文献１で見つけることができる。

電子透かし情報を、繰り返し変更する必要があるときには、そのようなアプローチが、原情報信号の品質を下げる（付加電子透かし信号が、そのペイロードを変更するために付け加えられるにつれて）だけではなく、個々の埋め込まれた電子透かし間の衝突が、電子透かしの頑強さを著しく下げることが認識される。例えば、いくつかの著作権の適用は、信号に埋め込まれる著作権情報を繰り返し変更して、適切なコピー制御の存在を明白に示すことを必要とする。

本発明の1つの目的は、本明細書に言及されるものであろうと、他で言及されるものであろうと、従来技術の問題の少なくとも1つに、実質的に取り組む電子透かし入れスキームを提供することである。

国際公開第98/53565号パンフレット 米国特許第6,175,627号明細書 国際公開第00/00969号パンフレット http://www.4centity.com/data/tech/4cspec.pdf E.Zwicker「Audio Engineering and Psychoacoustics: Matching signals to the final receiver, the Human Auditory System」Journal of the Audio Engineering Society 39巻 115-126頁 1991年3月

第1の態様において、本発明は、電子透かし信号を有するマルチメディア信号を処理する方法であって、原電子透かし信号の少なくとも一部を取り除くステップと、新しい電子透かしが入れられたマルチメディア信号を形成するために、前記マルチメディア信号に新しい電子透かし信号を加えるステップと、を有する方法を提供する。

当該原電子透かし信号を、当該原電子透かし信号の負バージョンを、前記マルチメディア信号に加えることによって取り除くのが好ましい。

前記方法は、前記原電子透かしを、前記マルチメディア信号に埋め込むために用いられたパラメータの少なくとも1つの値を決定するステップを、さらに有するのが好ましい。

当該パラメータを、当該原電子透かし信号の少なくとも一部を取り除くために利用するのが好ましい。

当該新しい信号を、当該決定された値を持つ当該埋め込みパラメータを用いて、前記マルチメディア信号に埋め込むのが好ましい。

当該新しい信号を、当該決定された値以外の値を持つ当該埋め込みパラメータを用いて、前記マルチメディア信号に埋め込むのが適切である。

当該パラメータが、埋め込み強度、同期情報、時間オフセット、タイム・スケーリング、シーケンスの巡回シフト量、電子透かしシンボル周期の少なくとも1つを有するのが好ましい。

当該原電子透かしの全てが、取り除かれ、そして、前記新しい信号が、新しい電子透かし信号を有するのが適切である。

当該電子透かしが、少なくとも2つの値シーケンスを有し、少なくとも1つの値シーケンスが、前記原電子透かし信号から、少なくとも1つの存続値シーケンスを残すように、前記電子透かし信号の当該部分として取り除かれ、そして、当該新しい信号が、当該存続シーケンスとともに、新しい電子透かし信号を形成する、少なくとも1つのさらなる値シーケンスを有するのが好ましい。

当該値シーケンスの全てを、それぞれ相異なる量だけ巡回シフトされている単一の値シーケンスから形成するのが好ましい。

前記電子透かし信号の当該取り除かれる部分は、当該マルチメディア信号に、あらかじめ定められた強度で埋め込まれていたものであって、前記方法が、好ましくは、同じあらかじめ定められた強度で、前記新しい信号を、前記マルチメディア信号に埋め込むステップを有するのが好ましい。

前記埋め込み強度は、前記新しい電子透かしが入れられたマルチメディア信号の品質の劣化が、知覚できるがわずらわしくないものであるのが好ましい。

前記原電子透かし信号と前記新しい電子透かし信号の少なくとも1つが、ウィンドウ形成関数を、前記ウィンドウ形成関数全体に渡っての総体がゼロである値シーケンスに作動させることによって形成される滑らかに変動する信号を有するのが好ましい。

前記ウィンドウ形成関数が、両位相振る舞いを持つのが好ましい。

前記両位相ウィンドウが、逆極性の少なくとも2つのHanningウィンドウを有するのが好ましい。

他の1つの態様において、本発明は、上述の方法のいずれかを実行するように構成されたコンピュータ・プログラムを提供する。

さらなる1つの態様において、本発明は、上述のコンピュータ・プログラムを有する記録キャリアを提供する。

他の1つの態様において、本発明は、上述のコンピュータ・プログラムのダウンロードに利用可能になる方法を提供する。

さらなる1つの態様において、本発明は、電子透かし信号を有するマルチメディア信号を処理するための装置であって、前記電子透かし信号の少なくとも一部を取り除くように構成された削除ユニットと、新しい電子透かし信号を形成するために、前記マルチメディア信号に新しい信号を加えるように構成された埋め込み器と、を有する装置を提供する。

前記装置は、当該電子透かし信号のパラメータの少なくとも1つの値を検出するように構成された検出器を、さらに、有するのが好ましい。

前記装置は、1つの装置を有する、マルチメディア信号の受信機を有するのが好ましい。

本発明のよりよい理解のために、また、その実施例が、どのように実行に移されるかを示すために、それらに伴うダイアグラマティックな図面への参照が、一例として、ここで、なされる。

図1は、本発明の第1の実施例による再埋め込み装置600を例示している。その装置は、電子透かしが入れられた情報信号y'_oldを受け取るように構成された入力602を具備している。入力信号y'_oldの2つのコピーが、形成され、その一方のコピーは、遅延ユニット614に行き、他方のコピーは、検出器640に入力する。

検出器640は、受け取られた信号y'_oldの内部に埋め込まれている電子透かしw _oldの推定w'_old（出力612）を検出するように、また、電子透かしペイロードを変更するために必要な制御パラメータ（出力609）を推定するように構成されている。

その後、検出された電子透かしw'_oldに関係する情報が、電子透かし発生器650、および、電子透かし埋め込み器 620に渡される。電子透かし発生器に渡される情報は、抽出された電子透かしw'_oldの完全なコピーである場合もあるし、または、それに代えて、電子透かし発生器に、w'_oldのコピーw _oldを発生させることを可能にするに十分な情報（単一の一連の値の、2つの巡回シフトしたシーケンスを有する電子透かしにおいて、巡回シフトd _oldのような情報）である場合もある。w _oldによっても表示されている、電子透かし発生器の出力608は、抽出された電子透かしw'_oldのエラーを訂正されたバージョンであることが好ましい。

電子透かし発生器650は、加えて、原情報信号y'_oldに付加するための、新しい電子透かし信号w _new（出力618）を発生させる。

遅延ユニット614は、割り込み操作が、検出器640、および、電子透かし発生器650によって実行されている間、入力信号y'_oldを遅延させるように働く。その後、遅延された信号y'_oldが、埋め込み器620に渡される（出力607）。

電子透かし埋め込みユニット620において、古い電子透かし信号w _oldが、信号y'_oldから取り除かれて、新しい電子透かしw _newが、新しい電子透かしw _newを含む情報信号y _newを形成するように、y'_oldに付加される。

上記の実施例は、本発明の特定の一般化された一実装を表わしている。以下に、特定の電子透かし入れスキームとともに用いるための、本発明のさらなる一実施例による特定の電子透かし再埋め込みスキームが、記述される。

そのような電子透かしを、例えば、図2および図3に示される装置を用いて、埋め込むことができる。

図2は、入力120において、ホスト・マルチメディア信号xを受け取って、出力132に、受け取った信号の電子透かしが入れられたバージョン(y _old)を出力するように構成された埋め込み装置100を示している。

装置100は、入力110および112において、2つの値シーケンス（w _old [k]、および、w _ref [k]）を受け取る。これらの2つの値シーケンスの組み合わせは、電子透かし信号w _oを生成するために用いられる。これらの2つの値シーケンスの各々は、原値シーケンスの巡回シフトされたバージョンである。w _oldは、d _oldだけ巡回シフトされた原シーケンスw _sであり、w _refは、d _refだけ巡回シフトされた原シーケンスw _sであり、即ち、したがって、w _oldは、w _refの巡回シフトされたバージョンである。原値シーケンスは、例えば、前もって定められたシード値Sを用いた乱数発生器(RNG)を用いて発生させることができる。

図3に示されているように、ペイロード付加および調整回路630aは、それぞれの入力110および112において、w _old [k]およびw _ref [k]を受け取る。各シーケンスは、乗算器631を用いて、それぞれの符号ビットr _oldおよびr _ref（入力603および604から受け取られる）が乗算される（ここで、r _oldおよびr _refは、それぞれ、+1または -1であり、如何なる与えられたペイロードに対しても、一定のままである）。その後、生じた信号が、各シーケンス内の値の各々に、周期Tのウィンドウ形成関数(window shaping function)で畳み込むように働く信号調整ユニット632を通過する。これは、滑らかに変動する出力シーケンスw _old [n]およびw _ref [n]を生成する。信号調整ユニット632の動作は、後に、図9を参照して、より詳細に記述される。

その後、信号w _ref [n]が、遅延ユニット634によって、あらかじめ定められた遅延T _r（ここで、T _rは、T _sよりも小さく、

であることが好ましい）だけ、遅延される。その後、加算器635が、w _old [n]と、w _ref [n]の遅延バージョンとを加算して、その結果は、出力623において回路630aから出力される電子透かし信号w _o [n]となる。

図2を参照し直すと、受け取られたホスト信号xが、2つのコピー、即ち、加算器130に行く第1のコピーと、乗算ユニット124に行く第2のコピーとに分配される。乗算ユニット124に送られるコピーを、バンドパスフィルタ（図示せず）を用いてフィルタして、乗算器124への入力122に、信号x _bを形成するようにしてもよい。

w _o [n]が、ホスト信号x[n]の、恐らくフィルタリングされたバージョンx _b [n]を乗算され、利得a倍に拡大・縮小され、そして、ホスト信号x[n]に加算し直されて、式(1)によって与えられる電子透かしが入れられた信号y _old [n]を発生させる。

…(1)
利得aは、可変利得デバイス128によってセットされ、図示されている例においては、音響心理モデルを用いて、ホスト信号xをサンプルする信号アナライザ126からの信号に依存してセットされる。そのようなモデルは、例えば、非特許文献２に記述されている。利得aは、普通、ホスト信号品質への電子透かし信号の衝撃を最小にするように選ばれる。

そのような電子透かし入れスキームは、検出中に、電子透かしが入れられた信号y _oldが、pL _oldによって分離される2つの相関ピークを発生させることを特徴とする（図10を参照のこと）。ここで、値pL _oldは、電子透かしペイロードの少なくとも一部であって、式(2)のように定義することができる。

…(2)
ここで、

および

は、図10に図示されるように、相関ピークの相対位置であり、L _wは、2つの電子透かしシーケンスの各々の長さ（シンボルまたは値の数）である。

pL _oldに加えて、追加の情報が、埋め込まれた電子透かしの相対符号を変更することによって、さらに、エンコードされる。検出器においては、これは、相関ピーク間の相対符号r _signと見なされる。r _signは、4つの可能な値をとることができ、式(3)のように定義できることが理解される。

…(3)
ここで、m _oldおよびm _refは、相関ピークの符号であって、それぞれ、図3の符号ビットr _oldおよびr _refに対応する。そうすると、総体的な電子透かしペイロードpL _wは、r _signとpL _oldの組合せとして、式(4)のように与えられる。

…(4)
したがって、長さL _wの電子透かしシーケンスが、保持することができる最大情報(I _max)は、ビット数で、式(5)によって与えられる。

…(5)

以下に、図2に示されている電子透かし埋め込み器とともに用いるのに適した電子透かし再埋め込み装置、および、それに関連する電子透かし入れスキームが、記述される。この特定の実施例においては、埋め込み装置は、電子透かしを部分的にしか取り除かないように構成されており、電子透かしペイロードを変更するために、それを、新しい情報で置き換える。図1は、再埋め込み器の種々の機能ブロックを例示している。

図4は、再埋め込みプロセスに必要とされるパラメータを埋め込んでいる電子透かしを抽出するために用いられる電子透かし検出器640のブロック図を示している。その検出器は、4つの主要ステージ：(a) 電子透かしシンボル抽出ステージ(200)、(b)バッファリングおよび補間ステージ(300)、(c)相関および判定ステージ(400)、(d)制御信号発生ステージ(500)から成っている。

シンボル抽出ステージ(200)では、受け取られた、電子透かしが入れられている信号y'_old [n]が、処理されて、信号w _e [m]に多重化される、電子透かしが入れられたシーケンスの複数（N _b個）の推定を発生させる。電子透かしシーケンスのこれらの推定は、埋め込み器と検出器との間に存在するかもしれない任意の時間オフセットを解決する（補償する）ために必要とされ、その結果、電子透かし検出器は、ホスト信号に挿入された電子透かしシーケンスに同期することができる。

バッファリングおよび補間ステージ(300)では、これらの推定が、N _b個の分離したバッファに逆多重化される。次に、補間が、各バッファに適用されて、生じているかもしれない可能なタイムスケールの変化を解決する（補償する）。例えば、サンプリング（クロック）周波数のドリフトは、時間領域信号の伸張または収縮に帰着するであろう（即ち、電子透かしが、伸張または収縮しているであろう）。

相関および判定ステージ(400)では、各バッファの内容が、レファレンス電子透かしと相関付けられ、そして、最大相関ピークが、閾値と比較されて、その電子透かしが、実際に、受け取られた信号y'_old [n]の内部に埋め込まれているかどうかの尤度が、決定される。

制御信号発生ユニット(500)では、検出真理値、対応する電子透かしシーケンス、そのバッファ・インデックス、および、新しいペイロードpL _new（入力616）の値が、組み合わされて、電子透かしペイロードを変更するために必要なパラメータを発生させる。制御信号発生器の出力(609, 612)は、電子透かし発生器650、および、電子透かし埋め込みユニット620に伝えられる。

電子透かし発生ユニット650の詳細が、図5に示されている。このユニットにおいて、w _newおよびw _oldが、検出器640から得られるパラメータ情報（入力609, 612）を用いて発生される。

好適な一実施例において、電子透かしシーケンスw _oldおよびw _newを、以下のように発生させることができる。最初に、ゼロ平均で、一様に分布していることが好ましい、有限の長さの乱数シーケンスw _sが、初期シードSを持つ乱数発生器651を用いて発生される。この初期シードSは、最初の埋め込み中にw _oldを発生させるのに用いられたものと同じであるのが好ましいことが認識される。これは、

において、式(6)のような、長さL _wのシーケンスに帰着する。

…(6)

その後、シーケンスw _sが、巡回シフト・ユニット653aおよび653bを用いて、量d _oldおよびd _newだけ巡回シフトされて、それぞれ、乱数シーケンスw _oldおよびw _newが、得られる。これらの2つのシーケンス（w _oldとw _new）は、実際上、第2のシーケンスが、第1のシーケンスに関して巡回シフトされている、第1のシーケンスと第2のシーケンスであることが認識される。その後、これらの2つのシーケンスは、電子透かし埋め込みユニット620に伝えられる（出力608、618）。

電子透かし再埋め込み装置600の一部としての、そして、考慮している特定の電子透かし入れスキームで用いるに適した、電子透かし埋め込みユニット620の詳細が、図6に示されている。

（少なくとも、初期電子透かしシーケンスw _oldを含んでいる）ホスト信号y'_oldが、その装置の入力607に供給される。ホスト信号y'_oldは、遅延ユニット629および加算器626を介して、出力610の方向に通過していく。しかしながら、ホスト信号y'_oldの複製y _b（入力628）が、新しい電子透かし情報を保持するために、乗算器624の方向に分配される。

乗算器624は、電子透かし改信号w _diffと複製信号y _bとの積を計算するために利用される。電子透かし改信号w _diffは、ペイロード変更および電子透かし調整装置630bから得られ、ペイロード変更および電子透かし調整装置に入力する電子透かし乱数シーケンスw _oldおよびw _new（それぞれ、入力608および618）から導出される。

その後、生じた積

が、利得コントローラ625を介して、加算器626に渡される。コントローラ625によって印加される利得aは、聴度と電子透かしの頑強さとの間のトレードオフを制御する。それは、時間、周波数、空間の少なくとも1つにおいて、定数であってもよいし、可変であってもよい。図6の装置は、aが可変であるときに、それを、電子透かし検出器ユニット640から得られる制御信号609を介して、自動的に適合させることができることを示している。

別の好適な一実施例の場合、利得aは、ホスト信号y _oldの特性に基づく信号アナライザを介して、独立に制御することができる。後者の場合には、利得aは、HAS (human auditory system)の音響心理モデルのような適切に選ばれた知覚費用関数(perceptibility cost-function)にしたがって、好ましくは信号品質への衝撃を最小にするように、自動的に適合化される。原電子透かし信号の埋め込み強度を制御するために用いられる適応利得を制御するために利用されるモデルと同じモデルを用いてもよい（図2、および、関連するテキストを参照のこと）。

図6において、その後、ホスト信号に、w _diffとy _bとの積の適切に拡大・縮小されたバージョンを加えることによって、結果として生じる電子透かしが入れられたオーディオ信号y _newが、埋め込み装置620の出力610において、式(7)のように得られる。

…(7)
ここで、w _cは、w _oが、図3において、w _refとw _oldとから導出されたと同じ態様で、w _refとw _newとから導出される。

電子透かしw _diff [n] のパラメータは、y _bを乗算されたとき、それが、主に、y _bの短時間エンベロープ (short time envelope)を変化させるように選ぶのが好ましい。

図7は、図6の乗算器624への入力628が、フィルタリング・ユニット615のフィルタHを用いて、ホスト信号y'_oldをフィルタすることによって得られる、好適な一実施例を示している。フィルタHは、低域遮断周波数f _Lと広域遮断周波数f _Hによって特徴付けられる線形位相バンドパスフィルタであるのが好ましい。このフィルタは、埋め込み器 100において、xからx _bを抽出するために利用されるフィルタと同じ特性を持つのが好ましい。

図8に、ペイロード変更および電子透かし調整ユニット630bの詳細が、示されている。この特定のユニットにおいて、電子透かし信号w _oldとw _newとが組み合わされて、マルチビット電子透かし改信号w _diffを発生させる。電子透かし改信号w _diffは、y'_oldと組み合わされたとき、w _newに対応するペイロードを持つ、電子透かしが入れられた信号を発生させる。

シーケンスw _oldおよびw _newは、最初に、乗算ユニット654aおよび654bにおいて、それぞれの符号ビットr _oldおよびr _newを乗算される。r _oldとr _newとのそれぞれの値は、検出ユニット640から導出されて、制御入力609を介して伝えられる。r _oldおよびr _newの値は、一定のまま（通常、+1または-1のいずれか）であって、電子透かしのペイロードが、変更されるときしか、変わらない。

符号付けされたシーケンスw _oldとw _newとの間の差w _diff [k]が、加算器635を用いて、新しい電子透かしシーケンスw _newの正量に、古い電子透かしシーケンスw _oldの負量を加えて計算される。その後、その結果w _diffが、調整ステージを通過して、ゆっくりと変動するマルチビット電子透かしw _diff [n]を発生させる。

図9は、ペイロード付加／変更および電子透かし調整装置630に用いられる電子透かし調整装置632の詳細を示している。再埋め込みの場合には、電子透かし乱数シーケンス

が、調整装置632に入力される。

この調整回路では、電子透かし信号シーケンスw _diff [k]が、最初に、アップサンプラ180の入力に印加される。チャート181は、+1と-1との間の乱数の値シーケンスとして、そのシーケンスが、長さL _wである、可能なシーケンスw _diffの1つを例示している。アップサンプラは、各サンプル間に、(T _s -1)個のゼロ値を加えて、因子T _s倍にサンプリング周波数を上げる。T _sは、電子透かしシンボル周期と呼ばれ、オーディオ信号中の電子透かしシンボルのスパンを表わす。受け取られた信号y'_oldが、伝送される信号y _oldに比して、タイム・スケーリングを受けている場合には、T _sは、そのスケーリング効果を考慮に入れて、適切に拡大・縮小されたサンプリング因子T _newに置き換えられる。チャート183は、チャート181に例示されている信号が、アップサンプラ180を通過したら得られる、その結果を示している。

その後、両位相ウィンドウ形成関数のようなウィンドウ形成関数s[n]が、アップサンプルされた信号w _i [n]に畳み込まれて、それを、ゆっくりと変動する狭帯域信号w _diff [n]に変換する。チャート181のw _diff [k]シーケンスに対する、その振る舞いが、チャート185に示されている。

チャート184は、典型的な両位相ウィンドウ形成関数を示している。このウィンドウ形成関数は、0からT _sの区間だけでしかサポートされない。ウィンドウ関数は、滑らかに変動する信号を生成するために、電子透かしシーケンスに作動され、その結果、ホスト信号の品質の低下を最小にする。

以下に、図4に示されている検出装置(200, 300, 400, 500)の動作を、より詳細に記述する。

図4に示されている電子透かしシンボル抽出ステージ200において、入ってくる電子透かしが入れられた信号y'_old[n]が、信号調整フィルタH _b (210)に入力する。このフィルタ210は、通常、バンドパスフィルタであって、図7に示されている、対応するフィルタH (615)と同じ振る舞いを持つ。フィルタH _bの出力は、y'_b [n]であり、伝送チャンネルに線形を仮定すれば、式(1)から、式(8)の結果となる。

…(8)
何らのフィルタも、埋め込み器に用いられないとき（即ち、

のとき）には、検出器のH _bも、省略することができるし、または、やはり、検出性能を改善するために、含めることもできることに注意されたい。H _bが省略された場合には、式(8)中のy'_bは、y'_oldで置き換えられる。処理の残りの部分も、同じである。

単純化のため、埋め込み器と検出器との間に完全な同期が存在する（即ち、タイムスケールに何らのオフセットもなく、何らの変更もない）こと、および、オーディオ信号が、長さT _sのフレームに分割されること、および、y'_b,m [n]が、フィルタリングされた信号y'_b [n]のm番目のフレームのn番目のサンプルであることを仮定する。埋め込み器と検出器との間に完全な同期が、存在しない場合には、如何なる逸脱も、当業者には知られた技術、例えば、最良のマッチングが達成されるまで、可能なスケールおよびオフセットの変化を反復してくまなく捜す技術を利用して、バッファリングおよび補間ステージ300内で補償することができることに注意されたい。

y'_b,m [n]フレームに対応するエネルギーE[m]は、式(9)のようになる。

…(9)
ここで、S[n]は、図9の電子透かし調整回路で用いたのと同じウィンドウ形成関数である。当業者であれば、式(9)が、整合フィルタ受信機を表わしており、シンボル周期が完全に同期しているときには、最適の受信機であることを認識するであろう。この事実があるけれども、今後は、以降の説明を単純化するために、

と設定する。

これを、式(8)と組み合わせると、式(10)の結果となる。

…(10)
ここで、w _e [m]は、m番目の抽出された電子透かしシンボルであり、埋め込まれた電子透かしシーケンスのN _b回多重推定を含んでいる。式(10)において、w _e [m]について解いて、aの高次の項を無視すると、次の近似式が、与えられる。

…(11)

図4に示されている電子透かし抽出ステージ200では、フィルタH _bの出力y'_b [n]が、オーディオ信号を長さT _sのフレームに、即ち、y'_b,m [n]に分割するフレーム・デバイダ220に対する入力として供給され、次に、エネルギー計算ユニット230が、式(9)のとおりに、フレーム化された信号の各々に対応するエネルギーを計算するために用いられる。その後、このエネルギー計算ユニット230の出力が、式(11)に示されている関数を実行して、出力w _e [m]を供給する白色化ステージH _w(240)に対する入力として供給される。

式(11)の分母が、ホスト（原）信号xについての知識を必要とする項を含んでいることが理解される。信号xは、検出器にとって入手可能でないから、それは、w _e [m]を計算するために、式(11)の分母を推定しなければならないということを意味する。

以下に、そのような推定を、いかにして、両位相ウィンドウ形成関数に対して達成することができるかを記述するが、その教え方を、他のウィンドウ形成関数まで拡張できることが認識される。

図9（チャート184）に示されている両位相ウィンドウ関数を調べることによって、オーディオ・フレームのエンベロープが、そのようなウィンドウ関数で変調されたとき、そのフレームの1番目の半分と、2番目の半分とが、互いに逆方向に拡大・縮小されることが理解される。検出器において、この特性が、ホスト信号y'_oldのエンベロープ・エネルギーを推定するために利用される。

したがって、検出器内で、オーディオ・フレームが、最初に、半分2つに、さらに分割される。したがって、1番目と2番目の半フレームに対応するエネルギー関数は、それぞれ、式(12)と式(13)によって与えられる。

…(12)

…(13)
原オーディオのエンベロープが、2つのサブフレーム内で、反対方向に変調されているから、原オーディオのエンベロープを、E ₁ [m]とE ₂ [m]の平均として近似することができる。

さらに、瞬間的な変調値を、これらの2つの関数間の差として取ることができる。したがって、両位相ウィンドウ関数の結果として、電子透かしw _e [m]を、式(14)で近似することができる。

…(14)
その後、この出力w _e [m]は、バッファリングおよび補間ステージ300に渡される。そこで、この信号は、デマルチプレクサ310によって逆多重化され、埋め込み器と検出器との間の同期の如何なる欠如も解決するように、長さL _bのバッファ320にバッファされ、そして、埋め込み器と検出器との間の如何なるタイムスケールの変化も補償するように、補間ユニット330内で補間される。そのような補償には、既知の技術を利用することができ、したがって、本明細書には、これ以上詳細に記述しない。

検出中、電子透かし検出の精度を最大にするために、電子透かし検出プロセスは、通常、電子透かしシーケンス長の3〜4倍である、受け取った信号y'_old [n]の長さ全体に渡って実行される。したがって、検出されるべき各電子透かしシンボルを、いくつかのシンボルの平均をとることによって、構築することができる。この平均化プロセスは、平滑化と呼ばれ、また、平均化がなされる回数は、平滑化因子s _fと呼ばれる。したがって、検出ウィンドウ長L _Dは、電子透かし検出真理値が報告されるオーディオ・セグメントの長さ（サンプル数での）である。したがって、

である。ここで、T _sは、シンボル周期であり、L _wは、電子透かしシーケンス内のシンボル数である。通常、バッファリングおよび補間ステージ内の各バッファ320の長さ(L _b)は、

である。

図4に示されているように、バッファリング・ステージからの出力

は、補間ステージに渡され、そして、補間の後、正しく再拡大・縮小された信号の種々の推定に相当する、このステージの出力

は、相関および判定ステージに渡される。タイム・スケーリング補償が、全く必要ないと信じられる場合には、値

を、相関および判定ステージ400に直接渡すことができる、即ち、補間ステージ330を、装置から省略することができる。

相関器410は、レファレンス電子透かしシーケンスw _s [k]に関する、各推定w _Ij,

の相関を計算する。その後、各推定に対応する、各それぞれの相関出力は、どの2つの推定が、レファレンス電子透かしの巡回シフト・バージョンw _oldおよびw _refに対して最良の適合を与えるかを決定する最大検出ユニット420に印加される。これらの推定シーケンスに対する相関値（ピーク振幅およびピーク位置）が、閾値検出器およびペイロード抽出器ユニット430に渡される。

相関ステージ410の別の1つの出力で、レファレンス電子透かしの巡回シフト・バージョンw _oldおよびw _refに対する2つの最良の適合に対応する電子透かしシーケンス、および、バッファ・インデックスが、制御信号発生ユニット500に伝えられる。

補間ステージが省略されている場合には、それに代って、相関器410が、レファレンス電子透かしシーケンスw _s [k]との、各推定w _Dj,

の相関を計算し、その結果が、その後の処理のために、上のパラグラフで概説したように、ユニット420および430に伝えられる。

閾値検出器およびペイロード抽出器ユニット430を、検出された電子透かし信号からペイロード（例えば、情報内容）を抽出するために利用してもよい。そのユニットが、検出閾値を超過する2つの相関ピークcL ₁およびcL ₂を推定してしまえば、それらのピーク間の（式(2)によって定義されるような）距離pLが、測定される。次に、相関ピークの符号m ₁およびm ₂が、決定され、したがって、r _signが、式(3)から計算される。その後、総体的な電子透かしペイロードを、式(4)を用いて計算してもよい。

例えば、図10において、pL _oldが、2つのピーク間の相対的な距離であることを理解することができる。両ピークとも、正である、即ち、

であり、また、

である。式(3)から、

である。したがって、ペイロードpL _wは、

である。

検出器内で用いられるレファレンス電子透かしシーケンスw _sは、ホスト信号に加えられた原電子透かしシーケンス（の、恐らく、巡回シフト・バージョン）に対応する。例えば、電子透かし信号が、埋め込み器内で、シードSを持つ乱数発生器を用いて計算された場合には、同様に、検出器が、同じ乱数発生アルゴリズム、および、同じ初期シードを用いて、同じ乱数シーケンスを計算して、電子透かし信号を決定することができる。それに代えて、埋め込み器において原初に加えられ、そして、レファレンスとして検出器によって利用される電子透かし信号は、単に、任意のあらかじめ定められたシーケンスであってもよい。

図10は、相関器410からの出力としての相関関数の典型的な形状を示している。水平目盛は、（シーケンス・ビットでの）相関遅延を示している。（信頼レベルcLと呼ばれる）左側の垂直目盛は、（通常、正規分布している）相関関数の標準偏差に関して正規化された相関ピークの値を表わしている。

図示されているように、この典型的な相関は、cLに関して比較的平坦で、

のまわりに集中している。しかしながら、この関数は、pL _old（式(2)を参照のこと）によって分離され、そして、電子透かしが存在するときに、検出閾値を超えるcL値まで上方に延びる2つのピークを含んでいる。相関ピークが負であるとき、上の言明は、それらの絶対値に当てはまる。 水平のラインは、検出閾値を表わしている。検出閾値は、偽警報率を制御する。

2種類の偽警報：電子透かしが入れられていない項に電子透かしを検出する確率として定義される偽陽性率と、電子透かしが入れられている項に電子透かしを検出しない確率として定義される偽陰性率が、存在する。一般に、偽陽性警報の要件が、偽陰性警報の要件よりも厳しい。

各検出間隔の後、検出器は、原電子透かしが、存在するか、それとも、それは、存在しないかを決定して、それに基づいて、「はい」または「いいえ」判定を、出力デバイスと、それと同時に、制御信号発生ユニット500とに、出力する。

望めば、この判定形成プロセスを改善するために、いくつかの検出ウィンドウを考慮してもよい。そのような一例において、偽陽性確率は、望ましい基準に依存して、考慮している各検出ウィンドウの個々の確率を組み合わせたものである。例えば、相関関数が、3つの検出間隔のうちの任意の2つにおいて、

の閾値以上に2つのピークを持つ場合には、電子透かしが存在すると思われると決定してもよい。そのような検出基準を、電子透かし信号の望ましい用い方に依存して、また、ホスト信号の原品質や、その信号が、正常な伝送の間に、どれくらい悪く損なわれそうであるかというような要因を考慮に入れるために、変更することができることは、 明らかである。

この特定の再埋め込みプロセスの一般的な動作を要約すると、再埋め込み装置600は、電子透かしを含む信号y'_oldを、入力602で受け取るように構成されている。この例における信号y'_oldは、図2および図3に示されている電子透かし埋め込み装置によって発生しており、単一の値シーケンスw _sの2つの巡回シフト・バージョンw _oldおよびw _refを有する電子透かしを含んでいる。受け取った信号のコピーy'_oldが、検出器640に渡される。

上述のように、検出器640は、信号y'_old内の電子透かしの存在を検出して、その電子透かしが埋め込んでいるパラメータ（例えば、電子透かしシーケンスが巡回シフトされた量d、および、聴度と電子透かしの頑強さとの間のトレードオフを制御するために用いられる利得a）を推定するように構成されている。

図10は、w _oldを形成するために用いられる原値シーケンス(w _s)との、y'_oldの内部に埋め込まれた電子透かしの相関関数を例示している。図示されるように、y'_old中の電子透かしのペイロードpL _oldは、少なくとも部分的に、電子透かしを有するシーケンスが巡回シフトされている2つの量d _oldおよびd _refによって定められる。

この好適な一実施例においては、原電子透かし信号の一部分しか、取り除かれない（量d _oldだけ巡回シフトされた値シーケンス）。その後、原電子透かしに利用されているのと同じ値シーケンス(w _s)が、新しい量(d _new)だけ巡回シフトされて、検出された埋め込みパラメータを用いて、情報信号内に埋め込まれる。

図11は、図10に示されているのと同じ電子透かし信号の相関関数を例示しているが、この場合には、遅延d _oldに対応する値シーケンスが、取り除かれている（即ち、あたかも、「-w _old」が、y'_oldに加えられたかのように）。その結果は、d _refにおける単一の相関ピークとなる。

図12は、図10に示されていると同じ信号の相関関数を示しているが、新しい巡回シフト遅延(d _new)がなされた、同じ値シーケンスw _sが挿入された後である。これは、ペイロードpL _new（式(2)および(4)を参照のこと）だけ分離された2つの相関ピーク、即ち、新しい電子透かし信号に帰着する。原電子透かし信号の半分1つを取り除いて、その後、その電子透かし信号の置き換えの半分を加えることだけによって、まさに、その電子透かしが埋め込まれる情報信号の品質への最小の衝撃で、新しい電子透かしが発生していることが、認識される。

検出器640は、また、遅延ユニット629に、時間オフセット(Δt)のような同期情報を供給する。その後、遅延ユニット629に渡された入力信号y'_oldのコピーが、任意の時間オフセット、再拡大・縮小、さらに、再埋め込み器内のユニット（例えば、630b, 624, 625, 615）によって実行される様々な操作によって引き起こされる内在的な遅延を考慮にいれるように、また、y'_oldが、加算器626において、y _bと同期することを確実にするように、 適切に同期される。信号y'_oldの1つのコピーが、フィルタH 615に渡される。これは、図7に示されているフィルタと類似のもので、省略することができる。そのようなフィルタは、例えば、バンドパスフィルタであってもよく、そして、出力y _bを与える。

上述の実施例は、一例として与えられているにすぎないことが認識される。様々な変更例が、当業者には明白である。

例えば、好適な一実施例は、原電子透かしを部分的に取り除くことを記述しているが、原電子透かし全体を取り除いて、置き換えることができることが認識される。同様に、1つのシーケンスが、取り除かれて、1つのシーケンスによって置き換えられるとしてしか記述されていないが、単一のシーケンスを、2つ以上のシーケンスで置き換えることができることが認識される。それに代えて、原ペイロードが、3つ以上の巡回シフトされたシーケンスを有した場合には、2つのそのようなシーケンスを、単一のシーケンス、または、複数のシーケンスで置き換えることができる。

新しい電子透かしは、原初に用いられたと同じ埋め込みパラメータの値を利用するとして記述されたが、もちろん、新しい電子透かしは、埋め込みパラメータの、より多くのもののうちの任意の1つに対する代わりの値を用いることができる。

例えば、上記の実施例は、電子透かし改信号w _cが、因子a倍に拡大・縮小されるとして記述しているが、w _cを形成する2つの成分（即ち、w _oldおよびw _new）を、それらを互いに加え合わせる前に、または、受け取った信号y'_oldに、別々に、直接加える前に、異なる量だけ拡大・縮小することができることが認識される。電子透かしの一部を取り除くためには、w _oldの負バージョンの埋め込み強度が、ホスト信号にw _oldを埋め込むために原初に用いられたそれと同様であることが望ましい。しかしながら、w _newを、任意の望ましい強度で、y'_oldに埋め込むことができることは明らかである。

電子透かしは、ホスト信号の品質に過度に影響を与えずに、ホスト信号に埋め込まれることが望ましい。埋め込まれた電子透かし信号は、全て、観察者に感知できないのが好ましい、即ち、オーディオ信号では、電子透かし信号の影響を聞くことができず、ビデオ信号では、電子透かし信号の影響を見ることができないのが好ましい。

ITU規格「Method for objective Measurements of Perceived audio quality（知覚されたオーディオ品質の客観的測定のための方法）」国際電気通信連合、ジュネーブ、スイス（1999年）は、5グリッド採点システム(five grid scoring system)（それは、ITU-R Rec. BS.1116（改定1）（1997年）規格、および、ITU-R Rec. BS.562-3（1990年）規格に適合している）を定めている。それらの種々の採点は、5 = 知覚できない、4 = 知覚できるがわずらわしくない、3 = わずかにわずらわしい、2 = わずらわしい、1 = 非常にわずらわしい、である。

電子透かし信号は、全て、知覚できないのが好適であるが、同時に、ITU基準の採点4（「知覚できるがわずらわしくない」）は、ほとんどのシステムにおいて受け入れ可能である。

上述の実施例は、特定の1つの電子透かし入れスキームに関する本発明の実装について記述しているが、本発明を、多くの他のタイプの電子透かし入れスキームを用いて、実際に実装できることが認識される。

例えば、1つのタイプのオーディオ電子透かし入れスキームは、一時的な相関技術を用いて、オーディオ信号に望みのデータ（例えば、著作権情報）を埋め込むことである。

この技術は、事実上、エコーの強度が、二次方程式を解くことによって決定されるエコー・ハイディング・アルゴリズムである。その二次方程式は、2つの位置における：1つはτに等しい遅延における、そして、1つは0に等しい遅延における自己相関値によって発生する。そのようなスキームにおいて、オーディオ信号のエコーが、原オーディオ信号に加えられるから、生じる信号は、つまり、原オーディオ信号の振幅と位相の両方の変調バージョンになる。検出器において、電子透かしが、2つの遅延位置における自己相関関数の比を決定することによって抽出される。

さらに、DFT（離散的フーリエ変換）係数の振幅変調に基づく、エンコーダとデコーダとの両方におけるDFTの計算を必要とする電子透かし入れスキームも、知られている。

同様に、特許文献1、特許文献2、および、特許文献3は、マルチメディア・ホスト信号またはカバー信号（cover signal：電子透かしが埋め込まれる前の原信号）に、（著作権情報のような）補助信号を埋め込む、または、エンコードするために、本発明を適用することができる代替技術を記述している。特許文献3に詳述されているように、特定の領域（時間、周波数、または、空間）におけるカバー信号、または、カバー信号の一部の複製が、カバー信号のパラメータに対する修正値を指定するステゴ・キーによって発生する。その後、その複製信号が、埋め込まれる情報に対応する補助信号で修正され、そして、カバー信号に挿入し直されて、ステゴ信号を形成する。

デコーダにおいては、原補助データを抽出するために、ステゴ信号の複製が、原カバー信号の複製と同じようにして発生され、同じステゴ・キーの使用を要求する。その後、生じた複製が、受け取られたステゴ信号と相関付けられて、補助信号が、抽出される。

本発明の代替の一実施例を用いると、抽出された補助信号を、新しい補助信号で置き換えることができる。これは、ステゴ・キーを用いて、受け取った信号から補助情報を適切に取り去り、そして、検出ユニットを用いて推定されたパラメータを埋め込むことによって達成することができる。図1に関して、これは、検出器640、電子透かし発生器650、および、内在する埋め込みアルゴリズムの遂行能力を有する電子透かし再埋め込み器620を利用することによって実行することができる。

当業者であれば、特に記述されなかった様々の実装が、本発明の範囲内にはいると理解されることを認識するであろう。例えば、埋め込み装置および検出装置の機能しか、記述されなかったが、それらの装置は、デジタル回路としても、アナログ回路としても、コンピュータ・プログラムとしても、または、それらの組合せとしても、実現できることが認識される。

明細書においては、語「有する」は、他の要素またはステップを排除するものではないこと、「一」または「1つの」は、複数を排除するものではないこと、また、単一のプロセッサまたは他のユニットが、請求項に列挙されている、いくつかの手段の機能を実行してもよいことが認識される。

本発明の第1の実施例による、一般化された電子透かし再埋め込み装置を例示するダイアグラムである。 電子透かし埋め込み器の1つのタイプの線図的なダイアグラムを示す。 図2のペイロード付加および調整回路の詳細を示す線図的なダイアグラムである。 本発明の好適な一実施例に用いることができる電子透かし検出器を例示する線図的なダイアグラムである。 好適な一実施例による電子透かし発生器ユニットの詳細を示す線図的なダイアグラムである。 好適な一実施例による電子透かし埋め込み器装置を例示するダイアグラムである。 信号の部分抽出フィルタを示す。 電子透かしの再埋め込みのために用いられるペイロード付加／変更および電子透かし調整ステージを示す。 図8の電子透かし調整装置の詳細を、各ステージに連結する信号のチャートを含んで例示するダイアグラムである。 図1および図4の装置によって受け取られる原電子透かし信号のペイロードに対応する相関関数を示す。 原電子透かしを形成する2つのシーケンスの1つを取り除いた後の相関関数を示す。 図10に示される相関関数を持つ信号に第2の電子透かしシーケンスを加えることによって形成される、新しいペイロードを持つ新しい電子透かしの相関関数を示す。

符号の説明

100 埋め込み装置
126 信号アナライザ
128 可変利得デバイス
200 電子透かしシンボル抽出ステージ
300 バッファリングおよび補間ステージ
400 相関および判定ステージ
500 制御信号発生ステージ
600 電子透かし再埋め込み装置
614, 629, 634 遅延ユニット
620 電子透かし埋め込み器
625 利得コントローラ
630a ペイロード付加および調整回路
630b ペイロード変更および電子透かし調整装置
632 信号調整ユニット
640 検出器
650 電子透かし発生器
653a, 653b 巡回シフト・ユニット

Claims (21)

1. 電子透かし信号を有するマルチメディア信号を処理する方法であって、
   原電子透かし信号の少なくとも一部を取り除くステップと、
   新しい電子透かしが入れられたマルチメディア信号を形成するために、前記マルチメディア信号に新しい電子透かし信号を加えるステップと、を有する方法。
2. 当該原電子透かし信号が、当該原電子透かし信号の負バージョンを、前記マルチメディア信号に加えることによって取り除かれる請求項1に記載の方法。
3. 前記原電子透かしを、前記マルチメディア信号に埋め込むために用いられたパラメータの少なくとも1つの値を決定するステップを、さらに、有する請求項1に記載の方法。
4. 当該パラメータの当該値が、当該原電子透かし信号の少なくとも一部を取り除くために利用される請求項3に記載の方法。
5. 当該新しい信号が、当該決定された値を持つ当該埋め込みパラメータを用いて、前記マルチメディア信号に埋め込まれる請求項3に記載の方法。
6. 当該新しい信号が、当該決定された値以外の値を持つ当該埋め込みパラメータを用いて、前記マルチメディア信号に埋め込まれる請求項3に記載の方法。
7. 当該パラメータが、埋め込み強度、同期情報、時間オフセット、タイム・スケーリング、シーケンスの巡回シフト量、電子透かしシンボル周期の少なくとも1つを有する請求項3に記載の方法。
8. 当該原電子透かしの全てが、取り除かれ、そして、前記新しい信号が、新しい電子透かし信号を有する請求項1に記載の方法。
9. 当該電子透かしが、少なくとも2つの値シーケンスを有する請求項1に記載の方法であって、少なくとも1つの値シーケンスが、前記原電子透かし信号から、少なくとも1つの存続値シーケンスを残すように、前記電子透かし信号の当該部分として取り除かれる方法において、
   当該新しい信号が、当該存続シーケンスとともに、新しい電子透かし信号を形成する、少なくとも1つのさらなる値シーケンスを有する方法。
10. 当該値シーケンスの全てが、それぞれ相異なる量だけ巡回シフトされている単一の値シーケンスから形成される請求項9に記載の方法。
11. 前記電子透かし信号の当該取り除かれる部分は、当該マルチメディア信号に、あらかじめ定められた強度で埋め込まれていた請求項1に記載の方法であって、好ましくは同じあらかじめ定められた強度で、前記新しい信号を、前記マルチメディア信号に埋め込むステップを有する方法。
12. 前記埋め込み強度は、前記新しい電子透かしが入れられたマルチメディア信号の品質の劣化が、知覚できるがわずらわしくないものである請求項11に記載の方法。
13. 前記原電子透かし信号と前記新しい電子透かし信号の少なくとも1つが、ウィンドウ形成関数を、前記ウィンドウ形成関数全体に渡っての総体がゼロである値シーケンスに作動させることによって形成される滑らかに変動する信号を有する請求項1に記載の方法。
14. 前記ウィンドウ形成関数が、両位相振る舞いを持つ請求項13に記載の方法。
15. 前記両位相ウィンドウが、逆極性の少なくとも2つのHanningウィンドウを有する請求項14に記載の方法。
16. 請求項１に記載の方法を実行するように構成されたコンピュータ・プログラム。
17. 請求項16に記載のコンピュータ・プログラムを有する記録キャリア。
18. 請求項16に記載のコンピュータ・プログラムのダウンロードに利用可能な方法。
19. 電子透かし信号を有するマルチメディア信号を処理するための装置であって、
    前記電子透かし信号の少なくとも一部を取り除くように構成された削除ユニットと、
    新しい電子透かし信号を形成するために、前記マルチメディア信号に新しい信号を加えるように構成された埋め込み器と、を有する装置。
20. 当該電子透かし信号のパラメータの少なくとも1つの値を検出するように構成された検出器を、さらに、有する請求項19に記載の装置。
21. 請求項19に記載の装置を有する、マルチメディア信号の受信機。

Images