JP2008546292A

JP2008546292A - 拡散スペクトルを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れる方法及び装置

Info

Publication number: JP2008546292A
Application number: JP2008514051A
Authority: JP
Inventors: ゲオルクバオム，ペーター; フェーシング，ヴァルター
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2005-06-02
Filing date: 2006-05-03
Publication date: 2008-12-18
Also published as: WO2006128769A3; EP1729285A1; WO2006128769A2; DE602006001749D1; TW200644457A; EP1886305A2; EP1886305B1; US20090235079A1; CN101185121A; CN101185121B

Abstract

透かし情報（ＷＭと呼ぶ）はいくつかのシンボルよりなり、拡散スペクトルを用いてオーディオまたはビデオ信号に連続的に組み込まれる。デコーダ側で、受信信号のｍシーケンスとの相関を用いてＷＭを再生する。本発明により、透かしをオーディオまたはビデオ信号のレベルに応じて変えるだけでなく、透かしに使用する拡散シーケンスもオーディオまたはビデオ信号のレベルに応じて変える。これは同一のＷＭシンボルを相異なるいくつかの拡散シーケンス（ＮＳＳ）でエンコードすることを意味する。エンコーダは、どのＷＭシンボルまたはシーケンスがデコーダで最もよく読み出せるかテストして（ＤＥＣ）、透かしを入れるべきオーディオまたはビデオ信号にその選択した拡散シーケンスのＷＭを組み込む。デコーダ側では、候補のＷＭ拡散シーケンスのすべてについて受信信号との相関をとって、最もよくマッチ（match）する拡散シーケンスを正しいものとして選択する。
図８

Description

本発明は、拡散スペクトルと２つ以上の拡散シーケンスとを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れる方法と装置とに関する。

透かし情報（ＷＭで示す）は、（符号化された）オーディオまたはビデオ信号等のキャリアコンテンツ（carrier content）に連続的に組み込まれたシンボルよりなり、例えばその信号の作者を識別するためのものである。拡散スペクトルを基礎技術として使用している場合、デコーダ側では、例えば受信信号の既知の拡散シーケンスとの相関を用いてＷＭを再生する。一部の透かし技術では、透かし情報は非同期で送信される。すなわち、オーディオまたはビデオ信号にＷＭ（透かし情報）を気づかれないように組み込めるかどうかを連続的にテストする。気づかれない場合にのみＷＭフレームを送信する。しかし、ＷＭフレームは数十のシンボルよりなり、各シンボルは１ビット以上であり、同期して送信される。ということは、ＷＭを組み込める期間がフレーム長より短い場合、レシーバ側で再生できないシンボルがでてくる。

そのため、ほとんどのＷＭ技術では、エラー訂正のための冗長ビットを送信する。しかし、かかるエラー訂正の能力には限度がある。エラー訂正により、レシーバ側で１つまたはそれ以上のシンボルが直接再生できなくても、いくつかのシンボルは訂正できる。しかし、エラー訂正の能力を超えると、ＷＭを再生できなくなる。

第２に、追加される冗長ビットによりＷＭフレームの長さが長くなり、ＷＭフレームを送信できる信号長またはセクションよりもフレームが長くなる確率が高くなる。第３に、エラー訂正は透かしを入れる信号とはほぼ独立であるから、パリティビットが必要なため、「良い」信号に必要な正味ビットレートより低くなり、「悪い」信号をエラー訂正するにはまだ足りないこととなる。「良い」信号とはデコーダ側で再生できる信号であり、「悪い」信号とはデコーダ側で再生できない信号である。

特許文献１には、エネルギーレベルに依存する、透かしデータの挿入が記載されている。
特許文献２は、相異なる透かし信号をマルチメディア信号の独立なチャンネルと組み合わせるシステムを記載している。
国際特許出願第ＷＯ−Ａ−０１／０６７５５号公報国際特許出願第ＷＯ−Ａ−０３／１０３２７３号公報

オーディオコンテンツの透かし入れ（watermarking）は、オーディオ信号にスペクトル的に加工した（spectrally shaped）拡散スペクトル信号を加えることにより、容易になる。問題は、一部のオーディオ信号では、ＷＭ組み込み器（embedder）とＷＭ検出器（detector）間で攻撃（attack）が無くても、拡散スペクトルを読み出してデコードできないことである。エンコーダ側で、重要な（critical）音声信号（例えば、スピーチ信号における静寂期間やポーズ、またはビデオ信号における明るさレベルが一様な領域）であるため現在のＷＭをデコーダ側でデコードできないことがはっきりした場合、ＷＭのレベルを高くすることもできるが、かかる場合にはＷＭ信号が聞こえたり見えたりするようになる。

本発明が解決しようとする問題は、透かし入れの信頼性を高くしつつ、それが聞こえたり見えたりしないようにし、デコーダ側における透かし信号のエラー訂正に依存しないようにすることである。この問題は、請求項１と２に開示した方法により解決される。この方法を利用する装置を請求項３と４に開示した。

本発明により、透かしをオーディオまたはビデオ信号のレベルに応じて変えるだけでなく、透かしに使用する拡散シーケンスもオーディオまたはビデオ信号のレベルに応じて変える。これは基本的に同一のＷＭシンボルを相異なるいくつかの拡散シーケンスでエンコードすることを意味する。エンコーダは、どのＷＭシンボルまたはシーケンスがデコーダで最もよく読み出せるかテストして、透かしを入れるべきオーディオまたはビデオ信号にその選択した拡散シーケンスのＷＭを組み込む。デコーダ側では、候補のＷＭ拡散シーケンスのすべてについて受信信号との相関をとって、最もよくマッチ（match）する拡散シーケンスを正しいものとして選択する。

本発明により重要な（critical）音声または画像の信号の透かしをより一層ロバスト（robust）にすることができる。これによりＷＭ信号を受信できるか全く受信できないかという違いが生じる。エンコーダにおいて行われる上記のテストにはより大きな処理パワーが必要とされる。複数の相関を計算しなければならないからである。しかし、有利にも、デコーダ側ではこれにより処理が複雑になったりより大きな処理パワーが必要になることは必ずしもない。

本発明は拡散スペクトル技術の使用には限定されない。例えば、キャリアベース技術（carrier based technology）やエコー隠蔽技術（echo hiding technology）を透かしのコーディングとデコーディングに使用できる。

原理的に、本発明による方法は、拡散スペクトルを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れることに好適である。該方法は以下の段階を含む：
ａ）透かしデータビットにより第１の候補エンコーダ拡散シーケンスを変調して変調透かし信号を求める段階と、
ｂ）前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行う段階と、
ｃ）前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込む段階と、
ｄ）前記組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする段階と、
ｅ）相関を用いて前記組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１の候補透かし信号を求める段階と、
− 相異なる候補エンコーダ拡散シーケンスを用いて１回以上段階ａ）からｅ）を繰り返す段階と、
− どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオ信号を出力する段階。

また、本発明による方法は、拡散スペクトルを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れることに好適である。該方法は次の段階を含む：
− 透かしデータビットにより第１及び少なくとも第２の候補エンコーダ拡散シーケンスを変調して対応する変調透かし信号を求める段階と、
− 前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行う段階と、
− 前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込み対応する数のオーディオまたはビデオ信号を求める段階と、
− 前記対応する組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする段階と、
− 相関を用いて前記対応する組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１と少なくとも第２の候補透かし信号を求める段階と、
− どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオ信号を出力する段階。

原理的に、本発明による装置は、拡散スペクトルを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れることに好適である。該装置は以下の手段を含む：
ａ）透かしデータビットにより第１の候補エンコーダ拡散シーケンスを変調して変調透かし信号を求める手段と、
ｂ）前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行う手段と、
ｃ）前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込む手段と、
ｄ）前記組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする手段と、
ｅ）相関を用いて前記組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１の候補透かし信号を求める手段と、
ここで、手段ａ）からｅ）は、相異なる候補エンコーダ拡散シーケンスを用いて１回以上処理を繰り返し、
− どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオまたはビデオ信号を出力する手段。

また、本発明による装置は拡散スペクトルを用いて透かしデータでオーディオまたはビデオ信号に透かしを入れることに好適である。該装置は次の手段を含む：
− 透かしデータビットにより第１及び少なくとも第２の候補エンコーダ拡散シーケンスを変調して対応する変調透かし信号を求める手段と、
− 前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行う手段と、
− 前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込み対応する数のオーディオまたはビデオ信号を求める手段と、
− 前記対応する組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする手段と、
− 相関を用いて前記対応する組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１と少なくとも第２の候補透かし信号を求める手段と、
− どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオまたはビデオ信号を出力する手段。

本発明のこれ以外の有利な実施形態は、それぞれの従属項に開示されている。

添付した図面を参照して、本発明の実施形態を例として説明する。

自己完結する透かしの最小単位はフレームと呼ばれる。図３は連続する３つのフレームＦＲｎ_−１、ＦＲ_ｎ、ＦＲ_ｎ＋１を示している。１つのフレームは、デコーダ側でフレームの始まりを検出するために必要とされるいくつか（少なくとも１つ）の同期ブロックＳＹＮＢＬと、実際の情報を担ういくつか（少なくとも１つ）のペイロードブロック（payload blocks）ＰＬＢＬとよりなる。フレームは使用する技術に応じてオーディオまたはビデオストリームに同期または非同期で挿入される。ペイロードブロックは連続して、すなわちＳＹＮＢＬブロックの後に同期して挿入される。各ペイロードブロックには情報のビットが含まれている。そのため、ペイロードブロックはシンボルとも呼ばれる。ペイロードシンボルはＷＭ信号に挿入すべき情報を含み、任意的に、エラー訂正に使用される冗長情報を含む。典型的な設定では、例えば、１フレームにつき５つの同期ブロックと３６のペイロードブロックであり、各ペイロードブロックは２ビットであり、これらの７２ビットのうち２４ビットをエラー訂正に使用し、１フレームあたりの正味ペイロード（net payload）は４８ビットとなる。

図１の透かしエンコーダでは、ペイロードデータＰＬＤは、オーディオ（またはビデオ）信号ＡＳに透かしを入れるために使用されるものであり、エラー訂正・検出エンコーディング段階（error correction and/or detection encoding stage）ＥＣＤＥに入力される。エラー訂正・検出エンコーディング段階ＥＣＤＥは、デコーダにおいて間違って検出されたシンボルからの回復を容易にする冗長ビットを付加する。ダウンストリーム変調・スペクトル拡散段階（downstream modulation and specturm spreading stage）ＭＳにおいて、変調と拡散が行われる。段階ＭＳの出力信号は音響心理学加工段階ＰＡＳに入力される。この段階ＰＡＳはＷＳ信号を加工して、ＷＭがオーディオ信号ＡＳの現在のレベルで聞こえないようにし、出力信号を信号加算・決定段階（signal adder and decision stage）ＳＡＤと検出段階（decoder stage）ＤＥＣとに入力する。透かしは音響心理学的原理（psycho-acoustic principles）にしたがって段階ＰＡＳにおいてブロックごとに加工（shaped）される。すなわち、透かしとオーディオのエネルギーをシンボルごとに変化させる。この加工（shaping）は透かし信号にオーディオ信号のマスクレベルをかけることを表す。

検出段階（decoder stage）ＤＥＣは図２に示したデコーダを実施する。各段階ＰＡＳとＳＡＤはオーディオ（またはビデオ）ストリーム信号を受け取り、シンボルごとにＷＭフレームを処理する。段階ＳＡＤは、現在のＷＭフレームＦＲｎにおいて、ペイロードデータＰＬＤがデコーダＤＥＣにおいて正しくデコードされたか決定する。正しくデコードされていれば、音響心理学的に加工されたＷＭシンボルを現在のフレームに付加する。正しくデコードされていなければ、現在のフレームＦＲｎ中のシンボルは飛ばす。そして、現在のシンボルに続く次にシンボルを処理する。ＷＭフレームの処理が完了すると、オーディオ信号に組み込まれた、対応する透かしが入ったフレームＷＡＳが出力される。そして、現在のフレームに続くフレームＦＲ_ｎ＋１を続けて処理する。

図２の透かし入れデコーダ（watermarking decoder）において、オーディオ（またはビデオ）信号の透かしが入ったフレームＷＡＳは、スペクトルホワイトニング段階（spectral whitening stage）ＳＰＷと、逆拡散・復調段階（de-spreading and demodulation stage）ＤＳＰＤＭとを通る。この逆拡散・復調段階ＤＳＰＤＭでは信号ＷＡＳから組み込まれたＷＭシンボルデータが読み出される。ＷＭシンボルはエラー訂正・検出・デコード段階（error correction and/or detection and decoding stage）ＥＣＤＤに送られる。段階ＥＣＤＤは有効ペイロードデータＰＬＤを出力する。

本発明の基本的原理を、２つの透かしシーケンスを使用する例で説明する。一方は他方を正確にネガティブにしたもの（negative version）である。エンコーダの出力信号ｒはオーディオ信号ａと任意的に加工された透かし拡散シーケンスｗとの（ベクトル）和である：
r_１ = a + w。
この加算は通常は時間領域で行われるが、周波数領域での加算と数学的には等価である。
r_１ = F^-１(F(a) + F(w))、
ここで、Ｆ（）はフーリエ変換であり、Ｆ^−１（）はフーリエ逆変換である。

デコーダ側では、ホワイトニングされたエンコーダ出力信号（whitened encoder output signal）(これは差しあたり雑音や攻撃により改変されているかも知れない)を既知の拡散シーケンスと相関させて透かしを読み出す。エンコーダ出力信号が拡散シーケンスと同一であれば、完全な相関結果が得られる。

図４は、虚数方向ＩＭと実数方向ＲＥとを有する周波数領域において、エンコーダ側において、透かし信号ベクトルＷＭのオーディオ（またはビデオ）信号との加算により単一のスペクトルライン（spectral line）を求めるところを示す。エンコーダ出力信号ＥＯＳはオーディオ信号ＡＳとほぼ同じ角度αを有する。オーディオ信号の振幅は透かし信号よりも非常に大きいからである。図では透かし信号ＷＭを非常に誇張して示した。段階ＰＡＳの音響心理学的加工の結果の透かし信号の実際の大きさは、オーディオ信号よりも約２０ｄＢ乃至７０ｄＢ低い。

図５は周波数領域における単一スペクトル線のデコード（decoding）を示している。デコーダ側において、「結果として得られる信号（resulting signal）」が入力信号として受け取られる。「ホワイトニング（whitening）」や逆音響心理学的加工（reverse psycho-acoustic shaping）により、その信号を適当な大きさに規格化（normalised）する。「ホワイトニング」とは、受け取ったオーディオフレームのスペクトル値のそれぞれの大きさを乗算すなわち増幅して、１フレームにおいて（透かし信号が組み込まれている）すべてのオーディオ信号の振幅を同じ値にすることである。それにより、オーディオ信号自体は非常に歪められるが、その結果得られる効果として、透かし信号のスペクトル値の大きさが基本的に元の大きさのレベルに対応した値となる。

この例では、受け取ったデコーダ入力信号の大きさを小さくする。しかし、組み込まれた透かし信号部分はオーディオ信号部分より非常に小さいので、逆加工（reverse shaping）すなわちホワイトニングは実際にはオーディオ信号の大きさにのみ依存する。すなわち、ホワイトニングすなわち逆音響心理学的加工後の「入力信号」の大きさのみに依存する。透かし信号の大きさには依存しない。

ホワイトニングされたエンコーダ出力信号ＷＥＯＳと透かし信号ベクトルＷＭとの間の角度βはほぼ「π」であり、すなわち「０」よりも「π」に近いので、デコーダにおける相関は、このラインの場合、実際には正の拡散シーケンスをエンコーダで使用したにもかかわらず、負の（すなわち否定した（negated））拡散シーケンスをエンコーダで挿入したことを示す。

図６は、単一スペクトル線の場合のエンコーダ側におけるオーディオ（またはビデオ）信号ＡＳへの透かし信号ＷＭの組み込みを再度示している。

図７は周波数領域における単一スペクトル線のデコード（decoding）を再度示している。ホワイトニングされた（whitened）エンコーダ出力信号ＷＥＯＳと透かし信号ベクトルＷＭとの間の角度βは「π」ではなく「０」に近いので、デコーダにおいて相関を取ると、この場合には正しく負の（すなわち否定した（nagated））透かし信号値を示す。

本発明のエンコーダは信号適応的拡散シーケンス（signal adaptive spreading sequences）を使用する。図８の本発明のエンコーダのフローチャートにおいて、オーディオまたはビデオ信号ＡＳの透かし入れ（watermarking）に使用されるペイロードデータＰＬＤをエラー訂正・検出エンコーディング段階（error correction and/or detection encoding stage）ＥＣＤＥに入力する。ダウンストリーム変調・スペクトル拡散段階（downstream modulation and specturm spreading stage）ＭＳにおいて、変調と拡散を行う。段階ＭＳの出力信号は音響心理学（または視覚心理学）加工段階ＰＡＳに入力される。この段階ＰＡＳはＭＳ出力信号を加工して、ＷＭがオーディオ（またはビデオ）信号ＡＳの現在のレベルで聞こえない（または見えない）ようにし、出力信号を信号加算段階（signal adder stage）ＳＡに入力する。透かしは音響心理学（または視覚心理学）的原理（psycho-acoustic, or psycho-visual, principles）にしたがって段階ＰＡＳにおいてブロックごとに加工（shaped）される。すなわち、透かしとオーディオのエネルギーをシンボルごとに変化させる。この加工（shaping）は透かし信号にオーディオまたはビデオ信号のマスクレベル（masking level）をかけることを表す。各段階ＰＡＳとＳＡＤはオーディオ（またはビデオ）ストリーム信号を受け取り、シンボルごとにＷＭフレームＦＲｎを処理する。

透かしを入れたオーディオまたはビデオ信号は、次の段階を用いて、正しくデコードできるか（correct decodability）をテストする。オーディオ（またはビデオ）信号の透かしが入った候補フレーム（candidate watermarked frame）ＣＷＡＳは、スペクトルホワイトニング段階（spectral whitening stage）ＳＰＷ（この段階は段階ＰＡＳで行われた加工を元に戻す）と、逆拡散・復調段階（de-spreading and demodulation stage）ＤＳＰＤＥＭとを通る。この逆拡散・復調段階ＤＳＰＤＥＭでは信号ＣＷＡＳから組み込まれた候補ＷＭシンボルデータ（embedded candidate WM symbol data）が読み出される。候補ＷＭシンボルを決定段階ＤＥＣに送る。この段階は、次の拡散シーケンスＮＳＳを用いて、段階ＭＳからＤＳＰＤＥＭまでの処理の繰り返しを制御する。あるいは、段階ＭＳからＤＳＰＤＥＭと並行して候補拡散シーケンスを使用・処理することもできる。すべての候補拡散シーケンスを現在のフレーム（current frame）に適用した後、段階ＤＥＣにおいて、デコーダにおいてどの拡散シーケンスが最もよくすなわち正しく回復できるか決定する。すなわち、相関においてどれがはっきりしたピークを示すか決定する。最後に、段階ＤＥＣから対応して選択された有効な透かしオーディオまたはビデオ信号フレームＷＡＳが出力される。

他の例も示して本発明を説明する。オーディオ信号の位相は反射（reverberation）や意図的な攻撃により容易に変わるので、ＷＭ信号のＢＰＳＫ変調はあまりロバスト（robust）ではない。もっと良い方法は、例えば、相異なる２つのｍシーケンスを使用することである。一方（ｍ＿０）は２進数０のエンコーディングに使用し、他方（ｎ＿０）は２進数１のエンコーディングに使用する。ＷＭデコーダは受け取ったオーディオの両方のｍシーケンスとの相関をとって、相関結果が一番よくマッチ（match）する２進数値を選択する。

本発明のエンコーダはこの場合、例えば相異なる４つのシーケンスを使用する。２つ（ｍ＿０とｍ＿１）は２進数０をエンコーディングし、もう２つ（ｎ＿０とｎ＿１）は２進数１をエンコーディングする。一実施形態では、相異なる２つのｍシーケンス（m-sequences）（ｍ＿０とｎ＿０）を使用し、位相シフトにより残りのシーケンスすなわちｎ＿１＝（−１）×ｎ＿０とｍ＿１＝（−１）×ｍ＿０とを生成する。他の実施形態では、相異なる４つのｍシーケンス（m-sequences）を使用する。

例えば、２進数０をエンコードするとき、既知のエンコーダはｍ＿０のみを使用する。
しかし、本発明のエンコーダは、オーディオ信号にｍ＿０を加工したもの（shaped version）を加え、合計をｍ＿０と相関させ、相関結果を記憶する。また、オーディオ信号にｍ＿１を加工したもの（shaped version）を加え、合計をｍ＿１と相関させ、相関結果を記憶する。決定アルゴリズムにより相関結果が最も良いシーケンスを選択する。最後にこのｍシーケンスを使用して、現在の透かし信号フレームをエンコード（encode）する。

有利にも、１つの値当たり２つのシーケンスのみを使用し、一方のシーケンスは他方のシーケンスを負にしたまたは否定したもの（negative or negated version）である場合、透かしを改良してもデコーダを変更する必要はない。相関は、同一の２進数値に対して、場合によって負のピークを示したり正のピークを示したりする。それゆえ、相関の絶対値のみを考慮すればよい。

そうでなければ、デコーダはすべてのｍシーケンスを受け取った透かし入りオーディオ信号と相関させる。ｍ＿ｋシーケンスの１つが最もよくマッチ（match）するとき、２進数０を検出し、そうでなければ２進数１を検出する。

本発明により透かしがより一層ロバストになり、まったく透かしを受信しないか、透かしを受信するかの違いとなる。テストの結果、本発明を使用すると、１つの２進数値につき相異なる２つのｍシーケンスを使用すると、相関の信頼のピーク（peak confidence）は３２％から４８％となり、５０％向上することが分かった（０％は相関にピークがないことを意味し、１００％は完全にマッチすることを意味する）。

コストとしては必要な処理能力が大きくなることである。エンコーダがいくつかのシーケンスを加工（shape）して、どれが最もよいか決定するために相関を取らなければならない。しかし、同じオーディオ信号を相異なるＷＭペイロードで何回か透かしを入れ、例えば透かし入れアカデミースクリーナー（watermarking Academy Screeners）のようにすれば、一度どのシーケンスを使用するか決定して、その後のエンコーディングに使用するように記憶することができる。

１つの２進数値につき２つのシーケンスのみを使用する場合、デコーダを変更する必要はまったくない。そうでなければ、デコーダはより多くの相関を計算する必要がある。アカデミースクリーナーのシナリオでは、そうはならない。デコーディングは非常にまれにしか行わないし、リアルタイムではないからである。

既知の透かしエンコーダを示す図である。透かしエンコーダを示す図である。フレーム構成を示す図である。エンコーダにおける第１の拡散シーケンスを用いて周波数領域の単一ラインの場合の既知のＷＭの組み込みを示す図である。ホワイトニングされたエンコーダ出力信号と、第１の拡散シーケンスの既知の適用によるデコーダにおけるデコードされた透かしとを示す図である。エンコーダにおける第２の拡散シーケンスを用いた周波数領域における単一ラインの場合の透かしの組み込みを示す図である。ホワイトニングされたエンコーダ出力信号と、第２の拡散シーケンスの適用により求めたデコーダにおけるデコードされた透かしを示す図である。本発明による透かしエンコーダを示す図である。

Claims

拡散スペクトルを用いて透かしデータ（ＰＬＤ）でオーディオまたはビデオ信号（ＡＳ）に透かしを入れる方法であって、
ａ）透かしデータビットにより第１の候補エンコーダ拡散シーケンスを変調（ＭＳ）して変調透かし信号を求める段階と、
ｂ）前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工（ＰＡＳ）を行う段階と、
ｃ）前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込む（ＳＡ）段階とを有し、
前記方法は、
ｄ）前記組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする（ＳＰＷ）段階と、
ｅ）相関を用いて前記組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して（ＥＳＰＤＥＭ）第１の候補透かし信号を求める段階と、
- 相異なる候補エンコーダ拡散シーケンスを用いて１回以上段階ａ）からｅ）を繰り返す段階と、
- どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオ信号（ＷＡＳ）を出力する段階とを有する方法。
拡散スペクトルを用いて透かしデータ（ＰＬＤ）でオーディオまたはビデオ信号（ＡＳ）に透かしを入れる方法であって、
- 透かしデータビットにより第１及び少なくとも第２の候補エンコーダ拡散シーケンスを変調（ＭＳ）して対応する変調透かし信号を求める段階と、
- 前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行う段階と、
- 前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込み対応する数のオーディオまたはビデオ信号を求める段階と、
- 前記対応する組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする段階と、
- 相関を用いて前記対応する組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して（ＥＳＰＤＥＭ）第１と少なくとも第２の候補透かし信号を求める段階と、
- どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオ信号（ＷＡＳ）を出力する段階とを有する方法。
拡散スペクトルを用いて透かしデータ（ＰＬＤ）でオーディオまたはビデオ信号（ＡＳ）に透かしを入れる装置であって、
ａ）透かしデータビットにより第１の候補エンコーダ拡散シーケンスを変調して変調透かし信号を求めるように構成されて手段（ＭＳ）と、
ｂ）前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行うように構成された手段（ＰＡＳ）と、
ｃ）前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込むように構成された手段（ＳＡ）とを有し、
前記装置は、
ｄ）前記組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする手段（ＳＰＷ）と、
ｅ）相関を用いて前記組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１の候補透かし信号を求めるように構成された手段（ＥＳＰＤＥＭ）と、
手段ａ）からｅ）は、相異なる候補エンコーダ拡散シーケンスを用いて１回以上処理を繰り返し、
- どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオまたはビデオ信号（ＷＡＳ）を出力するように構成された手段（ＤＥＣ）とを有する装置。
拡散スペクトルを用いて透かしデータ（ＰＬＤ）でオーディオまたはビデオ信号（ＡＳ）に透かしを入れる装置であって、
- 透かしデータビットにより第１及び少なくとも第２の候補エンコーダ拡散シーケンスを変調して対応する変調透かし信号を求めるように構成された手段（ＭＳ）と、
- 前記オーディオまたはビデオ信号の現在のマスクレベルを決定し、前記変調透かし信号の音響心理学的または視覚心理学的な対応する加工を行うように構成された手段（ＰＡＳ）と、
- 前記オーディオまたはビデオ信号に前記音響心理学的または視覚心理学的加工をした透かし信号を組み込み対応する数のオーディオまたはビデオ信号を求めるように構成された手段（ＳＡ）と、
- 前記対応する組み込まれた透かし信号を含めて前記オーディオまたはビデオ信号をスペクトル的にホワイトニングする手段（ＳＰＷ）と、
- 相関を用いて前記対応する組み込まれた透かし信号を含めてスペクトル的にホワイトニングされたオーディオまたはビデオ信号を逆拡散し復調して第１と少なくとも第２の候補透かし信号を求めるように構成された手段（ＥＳＰＤＥＭ）と、
- どの相関結果が最もよくマッチするか決定して、対応する候補エンコーダ拡散シーケンスで透かしを入れられた透かし入りオーディオまたはビデオ信号（ＷＡＳ）を出力するように構成された手段（ＤＥＣ）とを有する装置。
前記ペイロードデータ（ＰＬＤ）に対してエラー訂正及び／または検出エンコーディング（ＥＣＤＥ）を実行してから前記変調（ＭＳ）を行う、請求項１または２に記載の方法、または請求項３または４に記載の装置。
請求項１、２及び５のうちいずれか一項に記載の方法、または請求項３乃至５いずれか一項に記載の装置であって、
前記変調（ＭＳ）と前記逆拡散及び復調（ＤＳＰＤＥＭ）において、それぞれ相異なる２つの候補エンコーダ拡散シーケンスを使用し、候補エンコーダ拡散シーケンスの一方は他方の負または否定したものであり、
前記逆拡散及び復調（ＤＳＰＤＥＭ）及び任意的に対応する透かし信号デコーダにおいて、相関結果のみの大きさを評価する方法または装置。
請求項１、２、５及び６いずれか一項に記載の方法でエンコードされたオーディオまたはビデオ信号（ＡＳ）。
請求項１、２、５及び６いずれか一項に記載の方法でエンコードされたオーディオまたはビデオ信号（ＡＳ）を含む、または記録した記憶媒体。