JP2005513543A - マルチメディア信号のｑｉｍデジタルウォーターマーキング - Google Patents

Abstract

本発明は、ＱＩＭに基づくウォーターマーキングスキームにおいて生じる恐れのあるスケール劣化の問題に対処する。本発明によれば、埋め込み器（１１）及び検出器（２１）により用いられる量子化ステップサイズ（Ｄ）が、適用される信号が係数（ａ）によりスケーリングされる場合に、該量子化ステップサイズが実質的に同じ係数によりスケーリングされる特性を持つ可測特性パラメータから得られる（１２、２２）。好ましい実施例においては、前記パラメータは、信号のエネルギの平方根であり、量子化ステップはその所定の小数部（α）である。

Description

本発明は、メディア信号の信号成分にＱＩＭ(quantization index modulation)を施すことにより補助情報を該メディア信号に埋め込むための方法及び装置に関する。本発明はまた、このように埋め込まれたデータをウォーターマーク入り信号(watermarked signal)から取得する(retrieve)ための方法及び装置に関する。

デジタルウォーターマーキングは、補助情報をオーディオビジュアルオブジェクトに埋め込む技術である。デジタルウォーターマーキングには多くの応用例がある。例えば、コピー（著作権）保護、ロイヤルティの追跡、商業的認証、付加価値のコンテンツ、インタラクティブトイ等々様々である。デジタルウォーターマーキングに対する古典的なアプローチは基本的にノイズの付加であり、これにより、既知のノイズライクな信号ｗの付加がオリジナル信号ｓに変形をきたす。ウォーターマークの検出は本質的に相関関係にあり、結果としての相関値が２つの成分、即ち、所望項(wanted term)<s、s>及び干渉項(interference term)<s、w>からなる。この後者の干渉項が、ノイズの付加が、少なくとも理論的に、ウォーターマーキングに対しそれほど最適でない方法であることの主な理由である。

最近の刊行物は、あるアタックモデル(attack models)を仮定して、最適なウォーターマーキングが量子化により達成され得ることを示している。本質において、量子化ウォーターマーキングは結果として以下のようになる。ホスト信号sの空間Sにおいて、N組のコードポイントC_nが選ばれる。ここで、Nは埋め込まれるべきメッセージの数（ウォーターマークのペイロード）に等しい。メッセージｍが、ホスト信号sを信号s_に変形することにより該ホスト信号sに、s及びs_が(知覚的に)近くなるように且つs_がC_m内のポイントに如何なる他のコードセットC_n内の如何なる他のポイントよりも近くなるように埋め込まれる。ここで、nはmと異なる。この種のウォーターマーキングは、通例、Quantization Index Modulation又はQIMと呼ばれる。コードセットのポイント間の距離は、格子パラメータ又は量子化ステップと呼ばれる。

ウォーターマークを復号することは、結果として、コードポイントセットの集合内で最も近いポイントcを見つけ出し、該ポイントcがコードセットC_mのメンバーである場合及びその場合に限りメッセージmを決定することになる。

QIMウォーターマーキングスキームの問題は、格子パラメータが検出器側で知られるべき必要があることである。しかしながら、量子化ステップの知得は、多くの実例において保証されない。QIMに関する理論的な刊行物においては、一般に、検出器は埋め込み器(embedder)と同じ量子化ステップを用いると仮定されている。しかしながら、これは、ウォーターマーク入り信号がスケーリング(scaling)等の劣化を受けた場合に不正確な結果を招く。

本発明の目的は、埋め込まれたデータをスケーリングされたウォーターマーク入り信号(scaled watermarked signal)から正確に取得することを可能にする、データをメディアホスト信号に埋め込むための方法及び装置を提供することにある。本発明の他の目的は、埋め込まれたデータを取得するための対応する方法及び装置を提供することにある。

このため、当該埋め込み方法は、ホスト信号の可測特性パラメータ(measurable characteristic parameter)から量子化ステップを導く工程を有することを特徴とする。対応する検出方法は、ウォーターマーク入り信号の同一の可測特性パラメータから量子化ステップを導く工程を有する。これにより、実質的に同一の相対量子化ステップが両者で用いられることが達成される。

好ましくは、信号のスケーリングが量子化ステップのスケーリングと交換可能である。すなわち、信号がある倍率によりスケーリングされる場合、特性パラメータも同一の倍率によりスケーリングされる。斯様な特性パラメータの有利な例は、信号のエネルギの平方根である。量子化ステップは、好ましくは、特性パラメータに比例するように制御される。

埋め込み及び検出方法及び装置の更に有利な実施例が従属請求項に規定され、以下で例示として述べられるであろう。

図1は、本発明によるウォーターマーク埋め込み器（すなわちエンコーダ）１及び検出器（すなわちデコーダ）２を有するシステムの全体的な概略図を示す。ウォーターマークエンコーダは、ホスト信号ｓとウォーターマーク入り信号ｓ＿との間の歪みが無視できるようにウォーターマークメッセージｂを該ホスト信号ｓに埋め込む。検出器２は、受け取った信号ｓ＿から上記ウォーターマークメッセージを検出できなければならない。図1は、“ブラインド(blind)”ウォーターマーキングスキームを示している。これは、ホスト信号ｓが検出器２に利用可能でないことを意味する。

実際には、ウォーターマーク入り信号は、通信チャネルに通されて信号処理を受ける、及び／又はアタック(attack)を被る。これが、図１において、埋め込み器１と検出器２との間のチャネル３として示されている。チャネルは、ウォーターマーク入り信号ｓの振幅を係数ａ（通例ａ＜１）でスケーリングする(scale)。チャネルはまた、ノイズを付加するかもしれず、及び／又は追加のオフセット（図示せず）を導入するかもしれない。

ウォーターマークエンコーダ１及び検出器２は、両者で利用可能な“コードブック”を伴う。エンコーダ１において、コードブックは入力サンプルｓ_ｊを出力サンプルｓ＿_ｊ上にマッピングし、出力サンプル値はメッセージシンボルｂ_ｊに依存する。検出器２は、同じコードブックを用いて、上記サンプルｓ＿_ｊからメッセージシンボルｂ_ｊを再構築する。

ＱＩＭ符号化／復号原理は、信号サンプル値のスカラー量子化を考えることにより最も容易に理解される。このため、量子化ステップＤを選び、セットＣ_０が全てＤの偶数倍数からなり、セットＣ_１が全てＤの奇数倍数からなるよう二つのコードセットＣ_０及びＣ_１を構築する。その最も単純な形態において、ビットストリングｂ＝（ｂ_１，．．．，ｂ_ｋ）による長さＫの信号ｓ＝（ｓ_１，．．．，ｓ_ｋ）のウォーターマーキングが、各ｊに対して、ｂ_ｊ＝０に対して最も近いＤの偶数倍数にｓ_ｊを丸め、ｂ_ｊ＝１に対して最も近いＤの奇数倍数にｓ_ｊを丸めることにより達成される。ビットストリングｂは、ｓ＿の成分をＤによってスパンされる格子に丸め、どのＤの偶数倍数に対しても０ビットを結論付け、どのＤの奇数倍数に対しても１ビットを結論付けることにより再現され得る。

ウォーターマークエンコーダ及びデコーダによって用いられるコードブックは、好ましくは、ウォーターマークコミュニケーションの秘密性を達成するために暗号化キーに依存してランダム化される。このため、ｓ＿の値が、各サンプルインデックスｊに対してシークレットディザー値ｖ_ｊを用いることによりディザリングされる。ディザー値ｖ_ｊは、好ましくは、実数である。これは、サンプルｓ＿_ｊがＤによってスパンされる格子上に常に位置することを防止し、故に、観察者は信号にウォーターマークが入れられていることさえ“分からない”。このウォーターマーク埋め込みスキームが図２に示されている。左垂直軸上の信号メディアサンプルｓ_ｊ（一例がＸで示されている）は、Ｄの最も近い偶数（ｂ_ｊ＝０）又は奇数（ｂ_ｊ＝１）倍数に丸められ、オフセットｖｊを備えている。図２において、量子化ステップサイズはＤ＝１．５であり、特定の信号サンプルに対するディザー値はｖ_ｊ＝０．５である。以後、ディザー値ｖ_ｊは、乗算係数ν_ｊと量子化ステップサイズＤとの積として表される。すなわち、ｖ_ｊ＝ν_ｊ×Ｄであり、ここで−１＜ν_ｊ＜１である。

“ディザリングされる一様なスカラー量子化(dithered uniform scalar quantization)”と呼ばれるこの埋め込みプロセスの数学的表現が、以下のように導かれ得る。出力サンプルｓ＿_ｊが所与のオフセットｖ_ｊに対してとることができる離散レベルは、

である。ここで，ｍ＝、、，−２，−１，０，１，２、、、である。出力値ｓ＿_ｊは入力値ｓ_ｊにできるだけ近くなければならない。これは、以下のように表現され得る。

後者の条件は、

の場合に満たされる。式（１）への式（２）の代入が、

をもたらす。

この式は以下の解釈を持つ。第１に、サンプル値ｓ_ｊに対して、“量子化インデックス”ｓ_ｊ／Ｄを演算する。第２に、この量子化インデックスを整数のシフトされたバージョン(shifted version of integers)に丸める。ｂ_ｊ＝０又はｂ_ｊ＝１に対して、変調されたインデックスクスが二つの別個のサブセット上に位置することが容易に分かる。最後に、Ｄにより乗算し、サンプル値ｓの元のスケールを復元する。サンプル値に対する最大の歪みはＤに等しいことが容易に分かる。

ディザーシーケンスの目的は二つある。先ず、セキュリティを提供することである。すなわち、ステップサイズＤを推定することが異なるタスクとなっていて、サンプル値ヒストグラムの単純な分析は最早十分ではない。そして、Ｄが知られても、ｂ_ｊ＋ｖ_ｊからｂ_ｊを推定することがｖ_ｊの知得なしには不可能である。第２に、ロバストネスを提供する。すなわち、ディザーシーケンスが十分にランダムである場合、信号ｓ＿はｓ＋ノイズ項としてモデル化され得る。以後の項目のトピックのために、これは、ｓに一定のオフセットを与える場合よりもｓ＿からのより良好なＤの近似を可能にする。式（３）は、スケール劣化がＱＩＭに対してなぜ問題であるかを直ちに明らかにする。ｓのスケーリングされたバージョンａ×ｓは、量子化インデックスａ×ｓ／Ｄ、即ち、元の量子化インデックスｓ／Ｄのａ倍を招く。以下の式（４）における検出式を考えると、もはや埋め込まれた情報を信頼性をもって取得することができないことは明らかである。

本発明の開示の完全性のために、図３は、ＱＩＭウォーターマーク埋め込みプロセスのよりいっそう一般的な実施例の動作を図示する。この実施例においては、３値（ｂ_ｊ＝０、１又は２）の埋め込みが用いられる。さらに、埋め込まれたシンボルは、ｓ＿軸の別個のポイントにより表されず、値ｓ＿_ｊの別個のレンジにより表される。この図から、出力信号ｓ_ｊが以下のように記述され得ることが容易に導かれ得る。

ここで、ｚ_ｊは式(３)により上記で定義された通りの別個のポイントを示す。

埋め込まれた情報の検出は、単に、量子化インデックスを演算し、ディザーを補償し、結果のパリティをチェックする事柄にすぎない。二進埋め込みスキームに対し、これは以下のように簡潔に表される。

ここで、ｂ＿_ｊは推定されたビット値を示す。

式（４）は、ウォーターマーク検出器が、ウォーターマークペイロードが取得され得る前にいくつかの不可欠なパラメータ値を必要とすることを示している。第１に、０又は１ビットと正確に解釈するためにディザーシーケンスｖ＝（ｖ_１，．．．，ｖ_ｋ）を必要とする。ディザーストリング及び信号のアライメントが通例補償されない何れの実際のシステムにおいても、このことは直ちに同期の問題を含意する。第２に、そしてより重要なことに、格子パラメータＤが検出器側において知られるべき必要がある。しかしながら、Ｄの知得は多くの実例において保証されない。ゲイン劣化の典型的な例は、ｓが波形サンプル値を表すように選ばれるオーディオのウォーターマーキングに見られ得る。この場合のゲイン劣化は音量の増大又は減少となる。ゲイン係数が限度内である場合、通例これは知覚的劣化として体験されないであろう。とりわけ、無線でウォーターマークを検出すること（再生装置からの再生、記録装置を用いた無線での受信）は、ゲイン劣化を伴うであろう。

本発明が取り組む問題は、ゲイン係数ａの明確な知得なしに受け取った信号ｓ＿から量子化ステップサイズＤを取得することである。この問題は、文献においてこれまでそれほど注目を集めていない。キーとなるアイデアは、ｓが係数aにより振幅をスケーリングされる場合、推定されるステップサイズＤ（ａ×ｓ）も係数ａによりａ×Ｄ（ｓ）にスケーリングされるように、ホスト信号ｓに依存してステップサイズＤを作成することである。言い換えれば、ｓのスケーリングがＤのスケーリングと交換可能である。

量子化ステップＤは、例えば、信号ｓのＬｐ−ノルムの選択小数部(chosen fraction)（または個々の信号サンプルｓ_ｊの選択小数部）であり、ここでは、ｐ＝１またはｐ＝２である。

好ましい実施例において、量子化ステップサイズは、信号のエネルギの平方根に等しい（すなわち、ｐ＝２）。

図１に戻り、ウォーターマーク埋め込み器１が式（３）に従って動作するＱＩＭ回路１１を有することが示されている。埋め込み器は、以下の式

に従って動作する量子化ステップ制御回路１２からＱＩＭプロセスに用いられるべき量子化ステップサイズＤを受ける。ここで、Ｅ（ｓ）はホスト信号ｓのエネルギであり、αは所定の係数である。

同様に、ウォーターマーク検出器２は、式（４）に従って動作する復調（ＱＩＭ^−１）回路３１を有する。検出器は、以下の式

に従って動作する量子化ステップ制御回路１２から用いられるべき量子化ステップサイズＤ’を受ける。ここで、Ｅ（ｓ＿’）は受けた信号ｓ＿のエネルギであり、αは埋め込み器１により用いられるのと同じ係数である。

ＱＩＭは、元の信号領域における全ての信号サンプル（音声波形サンプル、ビデオピクセル）に、または該信号サンプルの選択されたものに適用されても良い。ＱＩＭはまた、ある変換領域における信号の成分、例えば、ビデオ画像のＤＣＴ係数またはオーディオ信号のスペクトル周波数成分に適用されても良い。

好ましい実施例をより詳細にここで述べる。この例においては、信号ｓがオーディオクリップである。図４は、時間領域における斯様なオーディオ信号の波形を示す。よく認識されているように、音声は周波数領域で最良に表され、故に、高速フーリエ変換（ＦＦＴ）を用いた周波数表現に適用する。図５は、オーディオ信号の周波数スペクトルを示す。

この好ましい実施例においては、ウォーターマークの埋め込みは、パワースペクトル成分の振幅を変調することによりなされる。スペクトル成分は、量子化により変形される。スペクトルエネルギ全体に基づいて量子化ステップサイズを決定することは幾つかの不利な点を持つ。第１に、どのスペクトル成分も同じステップサイズＤで量子化されることを含意する。これは、知覚的に最適な方法ではない。なぜなら、スペクトル成分毎に許容される歪みが、該成分の振幅に対して線形だからである。ステップサイズをエネルギ全体に基づかせることは、大きな成分（典型的にはより低い周波数）の量子化が精細すぎるであろうし、小さな成分（典型的にはより高い周波数）の量子化が荒すぎるであろうことを含意する。第２に、ゲイン劣化が非常に多くの場合周波数レンジにわたって一様ではなく、推定されたゲイン係数と実際のゲイン係数との間に成分毎のミスマッチを招く。これらの問題を解消するために、スペクトルが幾つかの帯域に細分され、係数αが帯域毎のエネルギに基づいて帯域毎に決定される。心理音響モデルに従って、これらの帯域は、周波数と共に対数的に大きくなるように選択される。各帯域に対して、平均パワーの平方根の固定小数部（ＲＭＳＥ）が該帯域に対する閾値（すなわち、量子化ステップ）として選択される。

図６は、帯域の対数的分割（破線の垂直格子６１）の一例を示す。参照符号６３はホストパワースペクトル密度を示す。参照符号６２は、関連する副帯域における量子化ステップサイズＤ（図１参照）が導かれる結果としてのＲＭＳＥを示す。ＲＭＳＥはより高い周波数に対するホストパワースペクトル密度の合理的な近似ではあるが、より低い周波数に対して誤差がより大きくなることに留意されたい。

図７は、図６の一部の拡大である。この図の破線７３は、小数部係数(fractional factor)α＝０．１を用いた埋め込み後の埋め込まれた信号のパワースペクトル密度を示す。元の信号６３とウォーターマーク入り信号７３との間の差が最小であることが分かる。破線７２は、副帯域における量子化ステップサイズＤ’（図１参照）が導かれる結果としてのＲＭＳＥを示す。元のステップサイズ６２及び再度推定されたステップサイズ(re-estimated step sizes)７２が僅かばかりしか異なっていないことが明らかである。適当な比較のために、ゲイン劣化（図１におけるａ=１）がこの例において仮定されていないことに留意されたい。

図８は、上述のように動作する埋め込み装置の好ましい実施例のブロック図を示す。この装置は、オーディオ信号を時間フレームでセグメント化するための回路８１、高速フーリエ変換回路８２、並びに各フーリエ係数をその位相及び振幅に分割するための回路８３を含む。振幅が埋め込み回路１（図１参照）に対するホスト信号ｓを構築する。次いで、変形された振幅ｓ＿及び対応する位相φがマージされ（８４）、逆フーリエ変換がなされる（８５）。最後に、時間フレームが、ウォーターマーク入りオーディオ信号を形成するために連結される。

図９は、対応する検出装置のブロック図を示す。この装置は、図８に示されるものと同じセグメント化回路８１、フーリエ変換回路８２、及び分割回路８３を有する。フーリエ係数の振幅が、検出器２（図１参照）に対するウォーターマーク入り信号成分ｓ＿を構築する。

提案された帯域ベースの演算は多くの変形例を許容することに留意されたい。言及される必要のあるものは、帯域ベースの平均の“連続的”バージョンであるスライディング拡張平均（sliding & expanding average）である。すなわち、どの周波数成分ｆ_ｎに対しても、量子化ステップサイズが、［ｎ／factor（係数），．．．，factor×ｎ］なる周波数間隔におけるエネルギに基づいて演算される。この式は、平均間隔が周波数インデックスｎに対して線形的に大きくなり、対数的周波数帯域のアイデアに従っていることを述べている。

同様の技術が像及びビデオウォーターマーキングに対して用いられ得ることにも留意されたい。像ウォーターマーキング(image watermarking)の場合、当然のオプションは、量子化ステップサイズがいくらかの局所統計モーメントに基づく、空間サンプル値の量子化であろう。

本発明は以下のように要約され得る。ＱＩＭに基づくウォーターマーキングスキームにおいて生じる恐れのあるスケール劣化の問題に対処する。本発明によれば、埋め込み器（１１）及び検出器（２１）により用いられる量子化ステップサイズ（Ｄ）が、適用される信号が係数（ａ）によりスケーリングされる場合に、該量子化ステップサイズが実質的に同じ係数によりスケーリングされる特性を持つ可測特性パラメータから得られる（１２、２２）。好ましい実施例においては、前記パラメータは、信号のエネルギの平方根

であり、量子化ステップはその所定の小数部（α）である。

本発明によるウォーターマーク埋め込み器及び検出器を有するシステムの全体的な概略図を示す。 図１に示されるシステムの動作を説明する図を示す。 図１に示されるシステムの動作を説明する図を示す。 本発明によるシステムの好ましい実施例の動作を説明する図を示す 本発明によるシステムの好ましい実施例の動作を説明する図を示す。 本発明によるシステムの好ましい実施例の動作を説明する図を示す。 本発明によるシステムの好ましい実施例の動作を説明する図を示す。 本発明によるウォーターマーク埋め込み器の好ましい実施例の概略図を示す。 本発明によるウォーターマーク検出器の好ましい実施例の概略図を示す。

Claims (18)

1. メディア信号の信号成分に量子化ステップを用いるＱＩＭを施すことにより補助情報を該メディア信号に埋め込む方法において、
   前記信号成分の可測特性パラメータから前記量子化ステップを導く工程を有することを特徴とする方法。
2. 前記工程は前記量子化ステップを前記特性パラメータに比例するように制御する工程を含み、該特性パラメータは、前記メディア信号成分がある倍率によりスケーリングされる場合に同一の倍率によりスケーリングされる特性を持つことを特徴とする請求項１に記載の方法。
3. 前記特性パラメータは前記信号成分のＬｐ−ノームであることを特徴とする請求項１に記載の方法。
4. 前記特性パラメータは前記信号成分のエネルギの平方根であることを特徴とする請求項１に記載の方法。
5. 前記信号成分は前記メディア信号の個々のサンプルであることを特徴とする請求項１に記載の方法。
6. 前記信号成分は前記メディア信号のスペクトル周波数成分であることを特徴とする請求項１に記載の方法。
7. 前記特性パラメータは関連する周波数副帯域における前記スペクトル周波数成分のエネルギの平方根であることを特徴とする請求項６に記載の方法。
8. 前記副帯域は対数的な間隔で並んだ副帯域であることを特徴とする請求項７に記載の方法。
9. メディア信号の信号成分に量子化ステップを用いるＱＩＭを施すことにより補助情報を該メディア信号に埋め込むための装置において、
   前記信号成分の可測特性パラメータから前記量子化ステップを導くための手段を有することを特徴とする装置。
10. メディアホスト信号の信号成分にＱＩＭを施すことによりウォーターマーク入りメディア信号に埋め込まれているデータを取得する方法であって、量子化ステップを用いて前記埋め込まれたデータを取得する工程を有する方法において、
    前記ウォーターマーク入り信号成分の可測特性パラメータから前記量子化ステップを導く工程を有することを特徴とする方法。
11. 前記量子化ステップを導く工程は前記量子化ステップを前記特性パラメータに比例するように制御する工程を含み、該特性パラメータは、前記メディア信号成分がある倍率によりスケーリングされる場合に同一の倍率によりスケーリングされる特性を持つことを特徴とする請求項１０に記載の方法。
12. 前記特性パラメータは前記信号成分のＬｐ−ノームであることを特徴とする請求項１０に記載の方法。
13. 前記特性パラメータは前記信号成分のエネルギの平方根であることを特徴とする請求項１０に記載の方法。
14. 前記信号成分は前記メディア信号の個々のサンプルであることを特徴とする請求項１０に記載の方法。
15. 前記信号成分は前記メディア信号のスペクトル周波数成分であることを特徴とする請求項１０に記載の方法。
16. 前記特性パラメータは関連する周波数副帯域における前記スペクトル周波数成分のエネルギの平方根であることを特徴とする請求項１５に記載の方法。
17. 前記副帯域は対数的な間隔で並んだ副帯域であることを特徴とする請求項１６に記載の方法。
18. メディアホスト信号の信号成分にＱＩＭを施すことによりウォーターマーク入りメディア信号に埋め込まれているデータを取得する装置であって、量子化ステップを用いることにより前記埋め込まれたデータを取得するように構成された装置において、
    前記ウォーターマーク入り信号成分の可測特性パラメータから前記量子化ステップを導く手段を有することを特徴とする装置。

Images