JP4504681B2 - 補助データを情報信号に埋め込む方法及びデバイス - Google Patents

Description

本発明は、補助データを情報信号に埋め込むことに関し、より詳細には、情報信号に埋め込まれるべき補助データ信号を調整することに関する。

近年、デジタルマルチメディアデータの使用及び配信の増勢は、適切なコピー防止、著作権保護及びこのようなデータの所有権証明に対する増加された要求に至っている。

デジタルウォーターマーキングは、著作権所有の証明、違法コピーの追跡、コピー制御装置の制御、放送モニタリング、真正証明及びマルチメディア信号への補助情報の追加等、種々の目的のために用いられることができる未来技術である。

ウォーターマークは、信号のサンプルを僅かに修正することによって情報信号に埋め込まれる補助データを有する。好適には、ウォーターマーキング機構は、ウォーターマークが知覚できないように、即ちウォーターマークが情報信号の品質に大きく影響を及ぼさないように、設計されるべきである。

オーディオ信号をウォーターマークする分野において、多くの埋め込みアルゴリズムが知られている。例えば、変換に基づいたアルゴリズムでは、デジタルオーディオ信号の係数は時間領域から周波数領域に変換され、変換された信号の係数は、補助データ信号に対応して修正され、修正された係数は、時間領域に変換し直される。既知の方法の一般的な問題は、時間領域における解像度の欠如である。結果的に、補助データ信号は時間上広がる可能性があり、認知可能な歪みを導入する可能性がある。

Signal Processing 66 (1998) 337-355のM.D. Swanson他による「Robust audio watermarking using perceptual masking」において、ホストオーディオ信号のエンベロープを減衰指数関数としてモデル化することによって時間ゲイン関数がオーディオ信号に基づいて計算される方法が開示される。計算されたゲイン関数はその埋め込みの前に補助データ信号に乗じられ、ウォーターマーク信号の連続的な修正を生じる。

しかし、上記の従来技術の方法は、可聴歪みを生じる所望されない副作用を生じうるという問題を伴う。

上記の問題は、情報信号に埋め込まれるべき補助データ信号を調整する方法において、
−前記情報信号の所定の特性が所定の閾値を越える位置を決定するステップと、
−前記補助データ信号を前記決定された位置の所定の近傍で抑制するステップと、
を有する方法によって解決される。

従って、本発明によれば、補助データ信号は、検出された位置の所定の近傍においてのみ修正され、これにより、知覚品質対検出品質に関して埋め込み性能を改善する。これは、上記の従来技術の方法の所望されない副作用が、ウォーターマーク信号の連続的な修正によって生じるという認識に基づく。これは、1つの正弦波の静止信号の例を考えることによって説明することができる。この単一の周波数信号の連続的な修正は、変調と等価である。このことは、最初はマスキングされていたノイズが、正弦波の周波数帯域外に移動する可能性があり、従って、可聴になる可能性があることを意味する。従って、特異な位置の近傍においてのみウォーターマーク信号を修正することによって、ウォーターマーク信号の知覚不能性は向上され、これにより、単純で効果的なゲイン関数を与える。

本発明の他の利点は、本発明が、決定された位置の近くにおいてのみ補助データ信号が修正されるため、補助データ信号を調整する計算的に効率的な方法を提供するということである。

本発明の好適な実施例によれば、前記所定の特性は、振幅の変化である。従って、所定の閾値よりも大きい振幅変化(即ち強くて突然の振幅変化)を有する位置が決定される。従って、これらの振幅変化(いわゆる「アタック」又は「過渡」)と関連した歪みは、本発明による方法によって抑制される。

本発明の他の好適な実施例によれば、情報信号は、信号サンプルの時間的シーケンスとして表され、補助データ信号を抑制するステップは、決定された位置の前の第1の数のサンプルについて、及び、検出された位置の後の第2の所定の数のサンプルについて、補助データ信号を抑制するステップを有する。

従って、決定された位置の近傍のプレエコー歪み及びポストエコー歪みが抑制される。好適には、サンプルの前記第1及び第2の数は、プレエコー及びポストエコー効果のそれぞれの知覚性を考慮して選択される。

本発明の他の好適な実施例によれば、サンプルの第2の数は、実質的にゼロである。従って、本発明の本実施例によれば、プレエコー歪みだけが抑制される。人間の聴覚器官システム(HAS)は、プレエコー歪みに対しての方が大幅にデリケートであるので、プレエコー歪みのみの抑制は、補助データ信号の知覚不能性に相当な改善を与える。従って、知覚品質対検出結果に関して更に改善された効率を生じることが、本発明の本実施例の利点である。

本発明の他の好適な実施例によれば、補助データ信号を抑制するステップは、更に、テーパ関数を所定の近傍の境界で補助データ信号に適用するステップを有する。従って、補助データ信号の抑制は、決定された位置の近傍の境界でスムーズにオン・オフされる、即ち、補助データ信号の振幅が、多くのサンプルについて減少／増加され、これにより信号の知覚品質を改善する。種々の既知のテーパ関数が、信号をスムーズに増加／減少させるのに用いられてもよい。このようなテーパ関数の例は、0から1まで微分可能に増加する関数、例えばコサインテーパである。

本発明は、更に、情報信号に埋め込まれるべき補助データ信号を調整するための装置において、
−前記情報信号の所定の特性が所定の閾値を越える位置を決定するための手段と、
−前記補助データ信号を前記決定された位置の所定の近傍で抑制するための手段と
を有する装置に関する。

本発明は、更に、補助データ信号を情報信号に埋め込むためのデバイスにおいて、当該デバイスは、情報信号に埋め込まれるべき補助データ信号を調整するための装置を有し、当該装置は、
−前記情報信号の所定の特性が所定の閾値を越える位置を決定するための手段と、
−前記補助データ信号を前記決定された位置の所定の近傍で抑制するための手段と、
を有する、デバイスに関する。

本発明は、更に、補助データ信号が埋め込まれた情報信号において、前記補助データ信号は、
−前記情報信号の所定の特性が所定の閾値を越える位置を決定するステップと、
−前記補助データ信号を前記決定された位置の所定の近傍で抑制するステップと、
を有する方法によって調整された、情報信号に関する。

情報信号は、通信ネットワーク(例えばイントラネット、エクストラネット、インターネット、ローカルエリアネット又はワイヤレス若しくは有線ネットワーク等)の通信信号として実現されてもよい。

情報信号は、更に、記憶媒体に記憶されてもよい。記憶媒体という用語は、磁気テープ、光ディスク、デジタルビデオディスク(DVD)、コンパクトディスク(CD又はCD-ROM)、ミニディスク、ハードディスク、フロッピーディスク(R)、強誘電性メモリ、電気的に消去可能なプログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリ、EPROM、読出し専用メモリ(ROM)、スタティックRAM(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、同期型随時書込み読出しメモリ(SDRAM)、強磁性メモリ、光記憶装置、電荷結合デバイス、スマートカード及びPCMCIAカード等を含んでもよい。

本発明のこれらの及び他の側面は、実施例及び図面を参照して説明され明らかにされる。

図1は、本発明の1つの実施例によるウォーターマークを情報信号に埋め込むための装置の概略図を示す。本装置は、ホストオーディオ信号x(n)をフレームx_i(n)にセグメント化するように適応された回路101と、例えば高速フーリエ変換(FFT)を適用することによってフレームをフーリエ領域に変換してフーリエ係数X_i(k)を生じさせるように適応された回路102とを有する。装置は、更に、乗算回路103を有し、当該乗算回路は、ウォーターマークシーケンスW(k)に従って各フレームのフーリエ係数X_i(k)を僅かに修正してウォーターマークサンプルX_i(k)・W(k)を与えるように適応されている。ウォーターマークシーケンスW(k)は、疑似ランダムシーケンス(例えばゼロ平均及びユニット標準偏差を有する正規分布の疑似ランダムシーケンス)であってもよい。装置は、更に、例えば逆高速フーリエ変換(IFFT)を適用することによって、ウォーターマークされたサンプルX_i(k)・W(k)を時間領域に変換するように適応された回路104を有する。その後、ウォーターマークセグメントは、再構築されたウォーターマーク信号wm(n)を得るために回路105によって連結され、これは、乗算回路106によって全体埋め込み強度sで乗算される。装置は、更に、乗算器108によってスケール変更されたウォーターマーク信号s・wm(n)によって乗算される時間ゲイン関数g(n)を計算するように適応された回路107を有する。最後に、スケール変更されたウォーターマーク信号s・g(n)・wm(n)は加算器109によってホストオーディオ信号x(n)に加えられ、ウォーターマークオーディオ信号y(n)
= x(n) + s・g(n)・wm(n)が得られる。

周波数領域の乗算(W(k)・X_i(k))が時間領域の巡回畳込みに対応することに注意されたい。従って、あらゆる所与のフレームiのウォーターマーク信号は、

として表されてもよく、ここでw(n)は、時間領域内の対応するウォーターマーク信号である。

しかし、ウォーターマークフレームを回路104によって時間領域に変換し直すステップの最中に、ウォーターマークエネルギーは全フレームに広がる可能性がある。この効果は、強くて突然の振幅変化がある場合には特に、認知可能な歪みを生じさせる可能性があり、これは、図2−a、bと関連して説明される。オーディオウォーターマークの時間特性は、ウォーターマークされた信号を最適に選択されたゲイン関数g(n)で乗算することによって、改善されることができる。本発明によるこのようなゲイン関数を計算する方法は、図3及び4−a、bと関連して説明される。

他のタイプの数学的変換が高速フーリエ変換の代わりに使用されてもよいと理解される。このような変換の例は、離散フーリエ変換(DFT)、離散コサイン変換(DCT)、ウェーブレット変換等を含む。

更に、他の埋め込み方式が使用されてもよいと理解される。例えば、ウォーターマークされたオーディオ信号を計算するために、線形畳込みを計算するFIRウォーターマークフィルタが用いられてもよい。変換に基づいたアルゴリズムとは対照的に、線形畳込みの計算は、ホスト信号x(n)のセグメント化を有しない。この実施例によれば、ウォーターマークされたオーディオ信号は、式

によって計算され、ここで、記号

は、線形畳込み、即ち

を示す。

上記の変換に基づいたアルゴリズムと同様に、線形畳込みに基づく埋め込みのアプローチは、限られた時間的解像度及び認知可能な歪みの欠点を被る可能性がある。

図2−a、bは、強くて突然の振幅変化を有するホストオーディオ信号に埋め込まれる補助データ信号と関連したプリエコー歪み及びポストエコー歪みの影響を示す。図2−aは、正規化された振幅が時間tの関数としてプロットされたホストオーディオ信号の例を示す。図2−aの例のオーディオ信号は、強くて突然の振幅変化201及び202を有するカスタネットによる音声の抜粋の短いセグメントを表す。このような振幅変化は、「アタック」又は「過渡」とも呼ばれる。

図2−bは、図1と関連して説明される方法によるが、時間ゲイン関数を使わずに図2−aのホスト信号から計算される、ウォーターマーク信号を示す。図2−bから分かるように、アタック201及び202のそれぞれの位置207及び208の周辺で、ウォーターマーク信号は、分析フレームに対応する幅において塗りつぶされている。分析ウィンドウの幅は、それぞれ、アタック位置207については水平線209-210によって、アタック位置208については211-212によって、示される。図2−bは、更に、歪みが、アタック位置の前(即ち領域203及び205)及びアタック位置の後(即ち領域210及び212)の両方に、それぞれ導入されることを示す。これらの歪みは、それぞれ、認知可能なプレエコー及びポストエコー歪みに増加を与えうる。従って、図2−a、bから、ウォーターマーク信号によって導入される知覚的な歪みが、特にアタックがある場合に目立つことが分かる。

本発明の1つの利点は、強くて突然の振幅変化と関連した知覚的な歪みを除去する高速で計算的に安価な方法を提供することである。

図3は、本発明の1つの実施例によるウォーターマーク信号を調整する方法の概略図を示す。図3において、時間領域ウォーターマーク信号wm(n)が、例えば図1と関連して説明された方法の1つに従ってホストオーディオ信号x(n)に基づいて生成されたと仮定される。ウォーターマークの全体的な重みは、ウォーターマーク信号wm(n)を埋め込み強さsで乗算する(303)ことによって決定される。本発明によれば、ウォーターマーク信号の調整は、次のステップを伴う。

開始位置を決定する(ステップ301)：まず最初に、アタック位置がホストオーディオ信号x(n)において検出される。アタック位置は、アタック位置を決定する既知の方法によって決定されてもよい。例えば、所定のサイズの移動するウィンドウ内のホスト信号x(n)の振幅が比較されてもよく、所定の閾値を越える振幅の変化が生じる場合、この振幅変化はアタックと考えられ、移動するウィンドウの位置によってアタック位置が決定される。移動するウィンドウの好適な大きさは、オーディオ信号のアタック間の距離に依存してもよい。例えば、ウィンドウは2〜10ミリ秒のオーダーのサイズを有してもよい。代替的に、アタック検出のための他の方法、例えば、信号エンベロープから特徴を抽出することによる方法が、用いられてもよい。代替的に又は追加的に、ホスト信号のハイパスフィルタリングされたバージョンxhp(n)が、アタック検出のための基礎として用いられてもよい。アタックは、ゆっくりと変化する信号内の高周波効果に対応するので、アタック検出よりも前のオーディオ信号のハイパスフィルタリングはアタック検出を改善しうる。代替実施例によれば、アタック位置は、アタックがオーディオ信号及びハイパスフィルタリングされた信号xhp(n)の両方において検出された位置によって規定されてもよい。

時間ゲイン関数を導出する(ステップ302)：検出されたアタック位置に基づいて、検出された位置の周辺の所定の近傍のウォーターマーク信号を抑制する時間ゲイン関数g(n)が導出される。結果のゲイン関数の実施例は、図4−a、bと関連して説明される。

ゲイン関数を適用する：ゲイン関数g(n)がスケール変更されたウォーターマーク(ステップ304)に乗じられて、その後ホスト信号(ステップ305)に加えられ、ウォーターマークされた信号y(n)を生じる。

図4−a、bは、本発明の1つの実施例による時間ゲイン関数の例を示す。図4−aは、検出されたアタック位置401の近傍のゲイン関数g(n)を示す。ゲイン関数は、信号サンプルnの関数として示され、ゲイン関数は、間隔[0;1]内の値を取ることができる。ここで、値0はウォーターマーク信号の完全な抑制に対応し、値1はウォーターマーク信号の抑制無しに対応する。図4−aの例において、アタックが対応するホスト信号中で位置401において検出されたと仮定される。本発明の1つの実施例によれば、ゲイン関数は、図4−aの領域b及びcによって示される検出されたアタック位置401の所定の近傍内でゼロにセットされる。領域b及びcの大きさの好適な選択は、ウォーターマーク信号w(n)の長さ又は図1と関連して説明されるセグメント化において用いられるフレームサイズの長さに依存することができる。線形位相ウォーターマークフィルタw(n)について、b及びcは、好適には、フィルタ長の約半分又はそれより長くに選択されてもよい。フィルタ長自体は、サンプリング周波数に依存する。44.1kHzのサンプリング周波数については、b及びcの値は、例えば、256から2048の間に選択されてもよい。その結果として、アタック位置の両側(即ちプリエコー及びポストエコー)の大きな歪みの全ては抑制される。領域b及びcの外側で、ゲイン関数g(n)は、1から減少させられる又は1に増加させられる。好適には、この転換は、スムーズに、即ち間隔aに亘って1から0に減少する減少テーパ関数402及び間隔dに亘って0から1に増加する増加テーパ関数403を適用することによって、実行される。間隔の長さa及びdは、例えば、1〜20ミリ秒又はそれより長くに選択されてよい。ゲイン関数を1から0へ、そしてまた1へと切替えるためのテーパ関数の例は、コサイン関数である。代替的に、他の関数、例えば単調に且つ微分可能に増加／減少する関数が用いられてもよい。検出されたアタック位置の無い領域において、ゲイン関数は、1にセットされる。

ゲイン関数をゼロにセットする代わりに、ゲイン関数はゼロに近い小さい値にセットされてもよいことに注意されたい。代替的に又は追加的に、ゲイン関数は、例えばゲイン関数をホスト信号の特性に適応させるように間隔b及びcを通じて変化することさえ可能である。

図4−bは、時間ゲイン関数g(n)の他の例を示す。図4−aと同様に、アタック位置の存在が位置401で仮定され、間隔[0;1]内の値を有するゲイン関数が規定され、g(n)がアタック位置の近傍でゼロにセットされる。本発明の本実施例によれば、ゲイン関数は、アタック位置の左の領域bにおいてのみゼロにセットされる。図4−aのように、テーパ関数402、403は、g(n)=1及びg(n)=0である領域の間の滑らかな転換を保証するために、それぞれ、領域a及びdに適用される。本発明の本実施例によれば、プレエコー歪みのみがゲイン関数によって抑制される。本発明の本実施例の利点は、信号の知覚的な品質を大幅に低下させること無しに、図4−aのゲイン関数と同様により多くのウォーターマークエネルギーが最終的な信号に挿入されることができることである。これは、HASがポストエコーよりも大幅にプレエコーにデリケートであるからである(例えばE. Zwicker及びH. Fastlによる「Psychoacoustics, Facts and Models, Springer, Berlin, Heidelberg, 1990)」を参照されたい。)その結果、図4−bの実施例は、知覚品質対検出結果に関して改善された効率を生じる。

図5は、本発明の1つの実施例による補助データ信号を調整するための装置の概略図を示す。図5は、本発明によるゲイン関数計算回路107の実施例を示す。この装置は、図3と関連して説明されたようにホストオーディオ信号x(n)のアタック位置を検出するように適応された回路501、及び、図3及び4−a、bと関連して説明されたように計算されたゲイン関数g(n)を表す信号を生成するように適応された回路502を有する。

上記の装置は、あらゆる処理ユニット、例えばプログラマブルマイクロプロセッサ、アプリケーション特定集積回路若しくは他の集積回路又はスマートカード等によって実現されてもよいことが理解される。

更に、本発明は、オーディオ信号のウォーターマーキングの分野の本発明の実施例と関連して説明されたことに注意されたい。しかし、本方法が、他の補助データをマルチメディア信号、ビデオ信号、アニメーション、グラフィックス、静止画像等の他のタイプのホスト信号にも同様に埋め込むように適用されてもよいことは理解される。一部の実施例において、ホスト信号は、画像と関連した空間領域等の、時間領域とは別の領域で表されてもよく、振幅の概念は、他の量(例えば明るさ、強度等)によって置換されてもよい。

本発明は、更に、補助データ信号が情報信号に埋め込まれる様々なアプリケーションと関連して適用されてもよいことに注意されたい。例えば、ウォーターマーキングの分野において、補助データ信号は、著作権の所有の証拠、違法コピーの追跡、コピー制御装置の制御、放送の監視、真正性の証明、及び補助情報のマルチメディア信号への追加等として埋め込まれてもよい。例えば、オーディオウォーターマークは、例えば通信信号として又は記憶媒体に記憶されて、オーディオ信号の配信の前にレコーダ又は他の装置によってオーディオ信号に埋め込まれてもよい。

上述の実施例は、本発明を制限するのではなく説明しているのであり、当業者は、添付の請求項の範囲から離れることなく代替の実施例を設計することができることに注意されたい。請求項において、括弧内に配置されたいかなる引用符号も当該請求項を制限するように解釈されてはならない。「有する(comprising)」なる用語は、請求項に記載されたもの以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの個別素子を有するハードウェアにより、及び適切にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙している装置請求項において、複数のこれらの手段を、ハードウェアの全く同一のアイテムによって具体化することもできる。特定の手段が相互に異なる従属請求項において記載されているという事実のみでは、これらの手段の組合せが有利に用いられることができないということを示すことにはならない。

本発明の1つの実施例による情報信号にウォーターマークを埋め込むための装置の概略図を示す。 強い突然の振幅変化を有するホストオーディオ信号に埋め込まれる補助データ信号と関連したプリエコー歪み及びポストエコー歪みの影響を示す。 強い突然の振幅変化を有するホストオーディオ信号に埋め込まれる補助データ信号と関連したプリエコー歪み及びポストエコー歪みの影響を示す。 本発明の1つの実施例による補助データ信号を調整する方法の概略図を示す。 本発明の1つの実施例による時間ゲイン関数の例を示す。 本発明の1つの実施例による時間ゲイン関数の例を示す。 本発明の1つの実施例による補助データ信号を調整するための装置の概略図を示す。

Claims (8)

1. 情報信号に埋め込まれるべき補助データ信号を調整する方法において、
   前記情報信号の所定の特性の時間軸における増加が所定の閾値を超える位置を決定するステップと、
   前記補助データ信号を、決定された位置の所定の近傍で抑制する抑制ステップと
   を有する方法。
2. 前記所定の特性は振幅の変化である、請求項１に記載の方法。
3. 前記情報信号は、信号サンプルの時間的シーケンスとして表され、前記抑制ステップは、前記決定された位置の前の第１の数のサンプルについて、及び、前記決定された位置の後の所定の第２の数のサンプルについて、前記補助データ信号を抑制するステップを有する、請求項１に記載の方法。
4. 前記第２の数のサンプルは実質的にゼロである、請求項３に記載の方法。
5. 前記抑制ステップは、テーパ関数を前記所定の近傍の境界で前記補助データ信号に適用するステップをさらに有し、前記テーパ関数は、前記決定された位置の前で減少する期間及び前記決定された位置の後で増加する期間を有する、請求項１に記載の方法。
6. 前記テーパ関数はコサインテーパ関数である、請求項５に記載の方法。
7. 前記情報信号はデジタルオーディオ信号を有する、請求項１に記載の方法。
8. 補助データ信号を情報信号に埋め込むデバイスにおいて、当該デバイスは、情報信号に埋め込まれるべき補助データ信号を調整する装置を有し、該装置は、
   前記情報信号の所定の特性の時間軸における増加が所定の閾値を超えた位置を決定する手段と、
   前記補助データ信号を、決定された位置の所定の近傍で抑制する手段と
   を有するデバイス。

Images