JP2005522080A - ウォーターマークの時間スケールのサーチ - Google Patents

ウォーターマークの時間スケールのサーチ Download PDF

Info

Publication number
JP2005522080A
JP2005522080A JP2003581193A JP2003581193A JP2005522080A JP 2005522080 A JP2005522080 A JP 2005522080A JP 2003581193 A JP2003581193 A JP 2003581193A JP 2003581193 A JP2003581193 A JP 2003581193A JP 2005522080 A JP2005522080 A JP 2005522080A
Authority
JP
Japan
Prior art keywords
watermark
sequence
value
time
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003581193A
Other languages
English (en)
Other versions
JP4302533B2 (ja
Inventor
エン レマ,アウェーケ
デ ケルクホフ,レオン エム ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005522080A publication Critical patent/JP2005522080A/ja
Application granted granted Critical
Publication of JP4302533B2 publication Critical patent/JP4302533B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L19/00Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data

Abstract

受信された信号のフレーム系列を正しくリスケールするため、受信された信号における線形な時間スケールの変化を補償するための方法及び装置が記載される。はじめに、シンボル系列の最初の予測値は、受信された信号から抽出される。次いで、正しく時間スケールされたシンボル系列の連続する予測値は、最初の予測値の値を補間することで生成される。

Description

本発明は、オーディオ、ビデオ又はデータ信号のような情報信号に埋め込まれた情報をデコードするための装置及び方法に関する。
情報信号のウォーターマーキングは、更なるデータを情報信号と共に伝送するための技術である。たとえば、ウォーターマーキング技術は、著作権及びコピー制御情報をオーディオ信号に埋め込むために使用することができる。
ウォーターマーキングスキームの主要な要件は、信号からウォーターマークを取り除くための攻撃(たとえば、ウォーターマークを取り除くことは信号にダメージを与える)に対してロバストでありつつ、ウォーターマークが観察できない(すなわち、オーディオ信号のケースでは可聴ではない)ことである。ウォーターマークのロバスト性は、通常、ウォーターマークが埋め込まれる信号の品質に対してトレードオフにあることが理解される。たとえば、ウォーターマークがオーディオ信号に強固に埋め込まれている(及び取り除くことが難しい)場合、オーディオ信号の品質が低下される可能性が高い。
デジタル装置では、典型的に、サンプリング(クロック)周波数において1%までのドリフトが存在することが考えられる。アナログチャネルを通した信号伝送の間、このドリフトは、通常、時間領域の信号における伸張又は圧縮(すなわち、線形の時間スケールの変化)として明確にされる。(たとえば、オーディオ信号で)時間領域で埋め込まれたウォーターマークは、この時間の伸張又は圧縮により影響され、これは、ウォーターマークの検出を非常に困難にするか、不可能にさえする可能性がある。したがって、ロバストなウォーターマークスキームの実現では、かかる時間スケールの変更に対するソリューションを見出すことが非常に重要である。
公知の時間領域のウォーターマークスキームでは、全ての可能な時間スケールが使い尽くされるまで、又は検出が達成されるまで、信号内でのいずれかの線形な時間スケールの変更は、異なる可能性のある時間スケールについて、(ホスト信号からのウォーターマークの抽出を繰り返すことを含め)ウォーターマークの検出を繰返し実行することで解決される。可能な時間スケーリングレンジにわたるかかるサーチを実行することは、大量の計算上のオーバヘッドを必要とし、ハードウェア及び計算時間の両方の観点で費用がかかる。結果的に、かかる時間スケールのサーチ技術を利用したウォーターマーク検出器のリアルタイムの実現は、実施可能ではない。
周波数領域内で実現されるウォーターマーキングスキームでは、周波数領域の係数を変更することでスケールサーチを実行することが一般的である。たとえば、これは、周波数領域のサンプルを慎重に圧縮又は伸張することで達成することができる。原理的に、かかる周波数領域のソリューションは、時間領域のウォーターマーク信号を直接適用される。しかし、ウォーターマークは、時間領域のサンプルに埋め込まれるので、時間スケールのサーチは、時間領域においても同様に実行される必要がある。通常、数千の周波数領域のサンプルのみが存在し、時間領域の信号は、数百万のオーダのサンプルを含んでいる。結果的に、このような周波数領域のソリューションを時間領域のソリューションに適用することは、計算上余りに費用がかかる。
本発明の目的は、従来の技術の少なくとも1つの問題に実質的に対処する時間スケールサーチを利用する、時間領域でウォーターマークされた信号のためのウォーターマークデコーディングスキームを提供することにある。
第一の態様では、本発明は、時間領域においてシンボルの系列により変化する受信された信号における線形な時間スケールの変化を補償する方法を提供することにある。本方法は、(a)該受信された信号からシンボル系列の最初の予測値を抽出するステップ、(b)該最初の予測値の値を補間することで、正しく時間スケールされたシンボル系列の予測値を形成するステップを有している。
好ましくは、ステップ(b)は、異なる時間スケーリングに対応する予測値のレンジを提供するように繰り返される。
好ましくは、かかる補間は、ゼロ次の補間、線形補間、2次補間及び3次補間のうちの少なくとも1つである。
好ましくは、本方法は、どの予測値が最良の予測であるかを判定するように、まるで正しく時間スケールされたシンボル系列であるようにそれぞれの予測値を処理するステップをさらに有している。
好ましくは、該予測値のそれぞれを、該シンボル系列に対応する基準値と相関をとるステップ、及び最大の相関ピークをもつ予測値を最良の予測値として取得するステップをさらに有する。
好ましくは、かかるシンボル系列の最初の予測値は、バッファに記憶される。
好ましくは、かかるバッファは、全体の長さMからなり、実行されるスケールサーチの全体の数は、
(外2)
Figure 2005522080
であり、この場合、ηmin、ηmaxは、信号に関する最小及び最大の可能性の高い時間スケールの変更である。
好ましくは、シンボル系列のかかる最初の予測値は、それぞれのシンボルについてNb個の予測値からなる系列を有しており、Nbのそれぞれは、シンボルの異なる時間オフセットに対応している。
好ましくは、次の検出窓におけるスケールサーチは、現在の検出窓の間に取得される情報に基づいて調節される。
好ましくは、スケール空間は、最適なサーチアルゴリズムを使用してサーチされる。
好ましくは、サーチアルゴリズムは、グリッドリファインメントアルゴリズムである。
別の態様では、本発明は、先に説明された方法を実行するために調整されるコンピュータプログラムを提供する。
更なる態様では、本発明は、コンピュータプログラムを含む記録キャリア、及びコンピュータプログラムをダウンロードするために利用可能にされる方法を提供する。
別の態様では、本発明は、受信された信号における線形の時間スケールの変化を補償するために構成される装置を提供するものであり、該受信された信号は、時間領域においてシンボル系列により変化する。本装置は、該受信された信号からシンボル系列の最初の予測値を抽出するために構成される抽出手段、及び該最初の予測値の値を補間することで正しく時間スケールされたシンボル系列の予測値を形成するために構成される補間手段を有する。
好ましくは、本装置は、1以上の該予測値を記憶するために構成されるバッファをさらに有する。
別の観点では、本発明は、先に説明された装置を有するデコーダを提供する。
本発明の良好な理解のため、本発明の実施の形態がどのように実施される場合があるかを示すために、例を通して添付図面を参照しながら説明が行われる。
図1は、マルチビットのペイロードのウォーターマークwをホスト信号xに埋め込むためのデジタル信号処理を実行するために必要とされる装置のブロック図である。ホスト信号xは、装置の入力12で提供される。ホスト信号xは、加算器22を介して出力14の方向に通過される。しかし、ホスト信号xのレプリカ(入力8)は、ウォーターマーク情報を伝送するために乗算器18の方向に分割される。
ウォーターマーク信号wCは、ペイロードエンベッダ(embedder)及びウォーターマークコンディショニング装置6から得られ、ペイロードエンベッダ及びウォーターマークコンディショニング装置に入力される基準となる有限長のランダム系列wSから導出される。乗算器18は、ウォーターマーク信号wCとレプリカオーディオ信号xとの積を計算するために利用される。次いで、結果的に得られる積wC・xは、ゲインコントローラ24を介して加算器22に通過される。ゲインコントローラ24は、ゲインファクタαにより信号を増幅又は減衰するために使用される。
ゲインファクタαは、可聴性とウォーターマークのロバスト性との間のトレードオフを制御する。ゲインファクタは、定数であるか、又は時間、周波数及び空間の少なくとも1つに関する変数である場合がある。図1における装置は、αが変数であるとき、ホスト信号xの特性に基づいて、信号分析ユニット26を介して自動的に調節することができる。好ましくは、オーディオ信号の場合にHAS(Human Auditory System)の精神音響モデル(psycho-acoustic model)のような、適切に選択される知覚のコスト関数(perceptibility cost function)に従って信号品質への影響を最小にするように、利得αが自動的に調節される。かかるモデルは、たとえば、E. Zwickerによる文献“Audio Engineering and Psychoacoustics : Matching signals to the final receiver, Human Auditory System”Journal of the Audio Engineering Society, Vol. 39, pp. Vol.115-126, March 1991に記載されている。
以下では、本発明のこの実施の形態を説明するために、例示のみを介して、オーディオウォーターマークが利用される。
その後、結果的に得られるウォーターマークオーディオ信号yは、wCとxとの積の適切にスケーリングされたバージョンをホスト信号に加えることで、埋め込み装置10の出力14で得られる。
Figure 2005522080
好ましくは、ウォーターマークwCは、xで乗算されたとき、xの短時間のエンベロープを支配的に変更するように選択される。
図2は、1つの好適な実施の形態を示しており、この実施の形態では、図1における乗算器18への入力8は、フィルタリングユニット15におけるフィルタHを使用してホスト信号xのレプリカをフィルタリングすることにより得られる。フィルタリング出力がxbにより示される場合、この好適な実施の形態によれば、ウォーターマーク信号は、xbとウォーターマークwCとの積をホスト信号xに加えることで生成される。
Figure 2005522080
ここで、
(外3)
Figure 2005522080
は、
(外4)
Figure 2005522080
とybが、
(外5)
Figure 2005522080
であるように定義されるように定義され、ウォーターマーク信号yのエンベロープが変調された部分ybは、以下のように与えられる。
Figure 2005522080
好ましくは、図3に示されるように、フィルタHは、その下側の遮断周波数fL及び上側の遮断周波数fHにより特徴付けされる線形位相帯域通過フィルタである。図3(b)でわかるように、フィルタHは、通過帯域(BW)内で周波数fに関して、線形位相応答を有している。したがって、フィルタHが帯域通過フィルタであるとき、xbはホスト信号の通過帯域成分の範囲内にあり、
(外6)
Figure 2005522080
は通過帯域成分の範囲外にある。最適なパフォーマンスのために、信号xb及び
(外7)
Figure 2005522080
は同相であることが好ましい。このことは、フィルタHにより生じる位相歪みを適切に補償することで達成される。線形位相フィルタのケースでは、歪みは簡単な時間遅延である。
図4では、ペイロードエンベッダ及びウォーターマークコンディショニングユニット6の詳細が示されている。このユニットでは、最初の基準となるランダム系列wSは、マルチビットのウォーターマーク信号wCに変換される。
はじめに、以下ウォーターマークシード信号とも呼ばれる、有限長の、好ましくは、ゼロ平均かつ一様に分布されるランダム系列wSは、初期シードSをもつランダム数発生器を使用して生成される。後に理解されるように、ウォーターマーク信号のコピーが補償処理のために検出器で生成することができるように、この初期シードSがエンベッダ及び検出器の両者に知られていることが好ましい。これは、長さLWの系列となる。
Figure 2005522080
なお、ある応用では、シードは、代替的なチャネルを介してディテクタに送信することができるか、又はある予め決定されたプロトコルを使用して受信された信号から導出することができる。
その後、系列WSは、巡回シフトユニット30を使用して量d1及びd2だけ巡回的にシフトされ、ランダム系列wd1及びwd2がそれぞれ取得される。これらの2つの系列(wd1及びwd2)は、実際上は第一の系列及び第二の系列であり、第二の系列は、第一の系列に関して巡回的にシフトされている。それぞれの系列wdi、i=1,2,は、続いて乗算ユニット40においてそれぞれの符号ビットriで乗算される。ここで、ri=+1又は−1である。それぞれのr1及びr2の値は、定数のままであり、ウォーターマークのペイロードが変化したときにのみ変化する。その後、それぞれの系列は、図4に示されるウォーターマークコンディショニング回路20により長さLW・TSの周期的、緩やかに変化する狭帯域信号wiに変換される。最後に、緩やかに変化する狭帯域信号w1及びw2は、相対的な遅延Tr(この場合、Tr<TS)を介して加算され、マルチビットのペイロードのウォーターマーク信号wCが与えられる。このことは、遅延ユニット45を使用して量Trだけ信号w2をはじめに遅延し、続いて、この遅延された信号w2をw1に加算ユニット50で加えることで達成される。
図5は、ペイロードエンベッダ及びウォーターマークコンディショニング装置6で使用されるウォーターマークコンディショニング装置20をより詳細に示している。ウォーターマークシード信号wSは、コンディショニング装置20に入力される。
便宜上、唯一の系列wdiの変更は、図5に示されているが、それぞれの系列は類似のやり方で変更され、結果は加算されてウォーターマーク信号wCが取得される。
図5に示されるように、それぞれのウォーターマーク信号の系列wdi[k]、i=1,2は、サンプルリピータ180の入力に印加される。チャート181は、+1と−1の間のランダム数の値の系列として系列wdiのうちの1つを例示しており、系列は長さLWからなる。サンプルリピータは、ウォーターマークシード信号系列内でそれぞれの値をTS回繰返し、矩形のパルス列の信号を生成する。TSは、ウォーターマークシンボル周期と呼ばれ、オーディオ信号におけるウォーターマークシンボルのスパンを表している。チャート183は、チャート181で例示される信号がサンプルリピータ180をひとたび通過したときの該信号の結果を表している。
次いで、レイズドコサイン窓のような窓成形関数s[n]は、wd1及びwd2から導出された矩形のパルス関数を緩やかに変化するウォーターマーク系列の関数w1[n]及びw2[n]にそれぞれ変換するために印加される。
チャート184は、典型的なレイズドコサイン窓成形関数を示しており、この関数もまたスパンTSである。
次いで、生成されたウォーターマーク系列w1[n]及びw2[n]は、相対的な遅延Tr(この場合、Tr<TS)により加算され、マルチビットのペイロードのウォーターマーク信号wC[n]が与えられる。すなわち、
Figure 2005522080
rの値は、w1のゼロ交差がw2の最大の振幅ポイントに一致し、逆にw2のゼロ交差がw1の最大の振幅ポイントに一致するように選択される。したがって、レイズドコサイン窓成形関数についてTr=TS/2であり、バイフェーズ窓成形関数についてTr=TS/4である。他の窓成形関数について、Trの他の値も可能である。
以下の説明により理解されるように、検出の間、wC[n]の相関は、(図12に見ることができるように)pL’により分離される2つの相関ピークを生成する。pL’は、ペイロードの一部である、wd1とwd2との間の巡回的なシフトpLの予測値であり、以下のように定義される。
Figure 2005522080
pLに加えて、埋め込まれたウォーターマークの相対的な符号を変えることで、余分の情報をエンコードすることができる。
検出器では、これは、相関ピークの間で相対的な符号rsignとして見ることができる。この相対的な符号は、以下のように定義される。
Figure 2005522080
この場合、ρ1=sign(cL1)及びρ2=sign(cL2)は、図4の符号ビットr1(入力80)及びr2(入力90)のそれぞれの予測値であり、cL1及びcL2は、wd1及びwd2のそれぞれに対応する相関ピークの値である。全体のウォーターマークのペイロードpLWは、エラーのない検出のためにrsignとpLとの結合として与えられる。
Figure 2005522080
長さLWのウォーターマーク系列により搬送することができる最大の情報(Imax)は、ビット数として、以下により与えられる。
Figure 2005522080
かかるスキームでは、ペイロードは、エンベッダと検出器との間の相対的なオフセットに対して免疫性があり、可能性のある時間スケールの変化に対しても免疫性がある。
窓成形関数は、本発明のウォーターマーキングスキームのロバスト性及び可聴性の応答を制御する主要なパラメータのうちの1つとして識別される。図6a及び図6bに例示されるように、本実施の形態では、窓成形関数の2つの可能な例である、レイズドコサイン関数及びバイフェーズ関数が説明される。
擬似DCフリーなウォーターマーク信号を得るように、レイズドコサイン窓関数の代わりに、バイフェーズ窓関数を使用することが好ましい。これは、図7a及び図7bに例示されており、レイズドコサイン窓成形関数及びバイフェーズ窓成形関数のそれぞれで条件付けされるウォーターマーク系列(このケースでは、wdi[k]={1,1,-1,1,-1,-1}の系列)に対応する周波数スペクトルを示している。理解できるように、レイズドコサインで条件付けされたウォーターマーク系列の周波数スペクトルは、周波数f=0で最大値を有し、バイフェーズ成形されたウォーターマーク系列の周波数スペクトルは、周波数f=0で最小値を有しており、すなわち、非常に小さなDC成分を有する。
有効な情報は、ウォーターマークのDC成分ではない成分にのみ含まれている。結果的に、同じく加えられたウォーターマークのエネルギーについて、バイフェーズ窓で条件付けされたウォーターマークは、レイズドコサイン窓により条件付けされたウォーターマークよりも有効な情報を搬送する。結果として、バイフェーズ窓は、同じロバスト性について優れた可聴性のパフォーマンスを提供し、逆に、同じ可聴性の品質について良好なロバスト性を可能にする。
かかるバイフェーズ関数は、他のウォーターマーキングスキームについて窓成形関数として利用することができる。言い換えれば、バイフェーズ関数は、別の信号に組み込まれることになる(ウォーターマークのような)信号のDC成分を低減するために印加される。
図8は、ウォーターマーク検出器200,300,400のブロック図を示している。検出器は、3つの主要なステージから構成される。(a)ウォーターマークシンボル抽出ステージ200、(b)バッファリング及び補間ステージ300、及び(c)相関及び判定ステージ400。
シンボル抽出ステージ200では、受信されたウォーターマーク信号y’[n]は、ウォーターマークが埋め込まれた系列の多数(Nb)の予測値を生成するために処理される。これらのウォーターマーク系列の予測値は、エンベッダと検出器との間に存在する場合がある時間オフセットを解決するために必要とされ、ウォーターマーク検出器は、ホスト信号に挿入されたウォーターマーク系列に同期することができる。
バッファリング及び補間ステージ300では、これらの予測値は、Nb個の個別のバッファに分解され、補間は、生じる場合がある時間スケールの変更を解決するためにそれぞれのバッファに印加される。たとえば、サンプリング(クロック)周波数におけるドリフトは、時間領域の信号における伸張又は圧縮となる場合がある(すなわち、ウォーターマークが伸張又は圧縮される場合がある)。
相関及び判定ステージ400では、それぞれのバッファの内容は、基準のウォーターマークと相関が取られ、最大の相関ピークは、ウォーターマークが受信された信号y’[n]内に確かに埋め込まれたかに関する可能性を判定するために閾値と比較される。
ウォーターマーク検出の精度を最大にするため、ウォーターマーク検出処理は、ウォーターマーク系列の長さの3倍から4倍の長さである受信された信号y’[n]にわたり典型的に実行される。したがって、検出されるべきそれぞれのウォーターマークシンボルは、該シンボルの幾つかの予測値の平均を得ることで構築することができる。この平均化処理は、平滑化と呼ばれ、平均化が行われる回数は、スムージングファクタsfと呼ばれる。LDを検出窓の長さとし、ウォーターマーク検出の真理値が報告される(サンプル数での)オーディオセグメントの長さとして定義される。このとき、LD=sf・LW・TSであり、この場合、TSはシンボル周期であり、LWは、ウォーターマーク系列内でのシンボル数である。シンボル抽出の間、ファクタTSの決定は、エネルギー計算ステージで行われる。このように、バッファリング及び補間ステージ内でのそれぞれのバッファ(Buffer)320の長さ(Lb)はLb=sf・LWである。
図8に示されるウォーターマークのシンボル抽出ステージ200では、到来するウォーターマーク信号y’[n]は、任意の信号コンディショニングフィルタHb210に入力される。このフィルタ210は、典型的には帯域通過フィルタであり、図2に示される対応するフィルタH15と同じ応答を有している。フィルタHbの出力は、y’b[n]であり、伝送媒体での線形性を仮定して、式(1)及び(3)から以下に従う。
Figure 2005522080
なお、上式において、エンベッダと検出器との間で可能性のある時間オフセットは暗黙的に無視される。一般的なウォーターマーキングスキームの原理の説明の容易さのため、以下では、エンベッダと検出器との間に完全な同期が存在する(すなわち、オフセットがない)ことが仮定される。本発明に従って時間オフセットがどのように補正されるかに関して図11を参照して説明が与えられる。
なお、エンベッダにおいてフィルタが使用されないとき(すなわち、H=1であるとき)、検出器におけるHbもまた省略することができるか、又は検出のパフォーマンスを改善するためになお含めることができる。Hbが省略される場合、式(10)におけるybはyで置き換えられる。残りの処理は同じである。
オーディオ信号は長さTSのフレームに分割され、かつy’b,m[n]はm番目のフィルタリングされたフレーム信号のうちのn番目のサンプルであることが仮定される。m番目のフレームに対応するエネルギーE[m]は、以下に示される。
Figure 2005522080
この式(11)を式(10)と組み合わせて、以下のようになる。
Figure 2005522080
ここで、we[m]は、m番目に抽出されたウォーターマークシンボルであり、埋め込まれたウォーターマーク系列に関するNb回乗算された予測値を含んでいる。式(12)におけるwe[m]について解き、αの高次の項を無視すると、以下の近似が得られる。
Figure 2005522080
図8に示されるウォーターマーク抽出ステージ200では、フィルタHbの出力y’b[n]は、フレームディバイダ220の入力に供給され、このフレームディバイダは、オーディオ信号を長さTSのフレーム、すなわちy’b,m[n]に分割し、次いで、エネルギー計算ユニット230は、式(12)により、フレーム分割された信号のそれぞれに対応するエネルギーを計算する。次いで、このエネルギー計算ユニット230の出力は、ホワイトニングステージHW240の入力として供給され、このホワイトニングステージは、出力we[m]を供給するように、式(13)で示される機能を実行する。図9及び図10には、このホワイトニングステージの代替的な実現240A,240Bが例示されている。
式(13)の分母は、ホスト(オリジナル)信号xの情報を必要とする項を含んでいることが理解される。信号xが検出器で利用可能ではないので、we[m]を計算するために、式(13)の分母が予測される必要があることを意味している。
以下には、かかる予測が2つの説明された窓成形関数(レイズドコサイン窓成形関数及びバイフェーズ窓成形関数)についてどのように達成することができるかが説明されるが、この教示は他の窓成形関数に対しても拡張することできることを理解されたい。
図6aに示されるレイズドコサイン窓成形関数に関して、ウォーターマークにより誘発されるオーディオエンベロープは、エネルギー関数E[m]の雑音のある部分にのみ寄与することが実現される。緩やかに変化する部分(すなわち、低周波成分)は、オリジナルのオーディオ信号xのエンベローブの寄与のために支配的である。このように、式(13)は、以下により近似される場合がある。
Figure 2005522080
ここで、“lowpass(.)”とは、低域通過フィルタ関数である。したがって、関数におけるレイズドコサイン窓成形のためのホワイトニングフィルタHWは、図9に示されるように実現することができることが理解される。
理解することができるように、かかるホワイトニングフィルタHW240は、信号E[m]を受信するための入力242Aを備えている。その後、この信号の一部は、低域通過フィルタ247Aを通して通過され、低域通過フィルタリングされたエネルギー信号ELP[m]が生成され、次に、このエネルギー信号は、関数E[m]と共に計算ステージ248Aへの入力として供給される。次いで、計算ステージ248Aは、抽出されたウォーターマークシンボルwe[m]を計算するために、E[m]をELP[m]で割る。
バイフェーズ窓関数は、エンベッダのウォーターマークコンディショニングステージにおいて利用されるとき、オリジナルのオーディオのエンベロープを予測して、しかるにwe[m]を計算するために、異なるアプローチが利用されるべきである。
図6bに示されるバイフェーズ窓関数を調べることで、オーディオエンベロープがかかる窓関数で変調されるとき、フレームの前半と後半が反対の方向でスケーリングされることが理解される。検出器では、この特性は、ホスト信号xのエンベロープエネルギーを予測するために利用される。
結果的に、検出器内で、それぞれのオーディオフレームは、はじめに半分に細分割される。前半のフレーム及び後半のフレームに対応するエネルギー関数は、したがって以下によりそれぞれ与えられる。
Figure 2005522080
及び
Figure 2005522080
オリジナル信号のエンベロープは、2つのサブフレーム内で反対の方向で変調されるので、オリジナルのオーディオエンベロープは、E1[m]及びE2[m]の平均として近似することができる。
さらに、これら2つの関数の間の差として、瞬間的な変調の値を取ることができる。したがって、バイフェーズ窓関数について、ウォーターマークwe[m]は以下のように近似することができる。
Figure 2005522080
結果として、バイフェーズ窓成形関数について図8におけるホワイトニングフィルタHW240Bは、図10に示されるように実現することができる。入力242B及び243Bのそれぞれは、前半のフレームE1[m]及び後半のフレーム及びE2[m]のエネルギー関数を受ける。それぞれのエネルギー関数は、次いで2つに分割され、加算器245B及び246Bに供給され、この加算器245B及び246Bは、E1[m]−E2[m]、及びE1[m]+E2[m]をそれぞれ計算する。これら計算された関数の両者は、次いで計算ユニット24Bに通過され、この計算ユニット24Bは、式(17)に従って埋め込まれたウォーターマーク系列に関してNb回乗算された予測値を含んでいるwe[m]を計算するように、加算器245Bからの値を加算器246Bからの値で割る。
次いで、この出力we[m]は、バッファリング及び補間ステージ300に通過され(図8)、このステージでは、信号は、デマルチプレクサ(Demux)310により多重化が分解され、長さLbのバッファ(Buffer)320で緩衝記憶され、エンベッダと検出器との間の同期の欠陥が解決され、補間ユニット(Interp)330内で補間されてエンベッダと検出器との間の時間スケールの変更が補償される。
ウォーターマークの可能性のあるロバスト性を最大にするため、ウォーターマーキングシステムがエンベッダと検出器との間の時間オフセット及びサンプリング周波数におけるドリフトの両者に対して免疫性があることを確かめることが重要である。言い換えれば、ウォーターマーク検出器は、ホスト信号に挿入されるウォーターマーク系列に同期することが可能である必要がある。
図11は、オフセット問題を解決するためにバッファリング及び補間ステージ300により実行される処理を例示している。説明される例は、レイズドコサイン窓成形関数がウォーターマーク埋め込み処理で使用されたとき、オフセットを解決するための処理を例示している。しかし、原理的に、バイフェーズ窓成形関数が使用されたとき、同じ技術を適用することができる。
図11を参照して、フィルタHb210によるフィルタリングの後、到来するオーディオ信号ストリームy’b[n]は、フレームディバイダ220により、効果的な長さTSのオーバラッピングフレーム302に分割されることが好ましい。
好ましくは、エンベッダと検出器との間の可能性のあるオフセットを解決するため、それぞれのフレームは、Nbのサブフレーム304a,304b,304xに分割され、先の計算(式(12)から式(17))がサブフレーム毎に適用される。
好ましくは、それぞれのサブフレームは、隣接するサブフレームとオーバラップする。図示される例では、それぞれのサブフレーム304a,304b,...,304xに関して50%のオーバラップ(TS/Nb)が存在し、それぞれのサブフレームは、長さ2TS/Nbからなる。オーバラップするサブフレームが考慮されるとき、メインフレームは、図11に示されるようなフレーム間のオーバラップを可能とするために、シンボル周期TSよりも長いことが好ましい。
その後、オーディオのエネルギーは、ホワイトニングステージ240によりそれぞれのサブフレームについて計算され、結果として得られる値は、デマルチプレクサ310によりNbのバッファ320に分解される。バッファ320のうちのそれぞれ連続する1つB1,B2,...,BNbは、値の系列を含んでおり、第一のバッファB1は、それぞれのフレーム内に第一のサブフレームに対応する値の系列を含んでおり、第二のバッファB2は、それぞれのフレーム内の第二のサブフレームに対応する値の系列を含んでいる等である。
Diがi番目のバッファのコンテンツである場合、以下を示すことができる。
Figure 2005522080
ここで、Lbはバッファ長である。
レイズドコサインウィンドウ成形関数について、埋め込まれたウォーターマークのエネルギーは、フレームの中央の近くに集中され、フレームの中央と最良に配列されるサブフレームが他の全てのサブフレームよりも、明らかに良好な埋め込まれたウォーターマークのシンボルの予測値となる。実際に、それぞれのバッファは、シンボル系列の予測値を含んでおり、系列に対応する予測値は、異なる時間オフセットを有している。
フレームの中央と最良に配列されるサブフレーム(すなわち、正しく配列されたフレームの最良の予測値)は、それぞれのバッファのコンテンツを基準のウォーターマークの系列と相関を取ることで決定される。最大の相関ピーク値をもつ系列は、正しく配列されたフレームの最良の予測値として選択される。対応する信頼レベルは、以下に説明されるように、検出の真理値を決定するために使用される。好ましくは、定義された閾値を超える相関ピークをもつ予測されたウォーターマークの系列がひとたび発見されると、相関プロセスは停止される。
典型的には、それぞれのバッファの長さは、ウォーターマーク系列の長さLWの3倍と4倍との間であり、典型的には2048シンボルと8192シンボルとの間の長さからなり、Nbは、典型的に2から8の範囲内にある。
バッファは、それぞれのウォーターマークシンボルが該シンボルの幾つかの予測値の平均を取ることで構築することができるように、通常、ウォーターマーク系列の3倍から4倍の長さである。この平均処理は平滑化と呼ばれ、平均が行われる回数は、スムージングファクタsfと呼ばれる。このように、バッファの長さLb及びウォーターマーク系列の長さLWが与えられると、スムージングファクタsfは、以下のようになる。
Figure 2005522080
別の好適な実施の形態では、検出器は、前のサーチステップの結果に基づいてオフセットのサーチで使用されるパラメータをリファインする。たとえば、バッファB3に記憶されている結果が情報信号の最良の予測値を提供することを第一の予測値の系列が示す場合、(同じ受信された信号、又は次の検出窓の間に受信された信号のいずれかに関する)次のオフセットのサーチは、最良の予測値のサブフレームの位置に向けてサブフレームの位置をシフトすることでリファインされる。このようにして、ゼロのオフセットを有する系列の予測値は、繰返し改善することができる。
先に説明されたように、デジタル装置においてサンプリング(クロック)周波数におけるドリフトが存在し、これにより、時間領域信号における伸張又は圧縮が生じる。
たとえば、その新たな長さがLη=L(1+η)となるように時間スケーリングされる長さLのオーディオセグメントsを考える。この場合、ηは、時間スケーリングファクタであり、ηは1+η>0であって、時間伸張についてη>0であり、時間圧縮についてη<0であるような定数である。
信号が時間スケール変更されていないとき(η=0)、ウォーターマーク系列のNbの予測値は、Nbのバッファに記憶されているシンボルを別々に収集することで構築される。
図12は、4つのバッファ(B1,B2,B3,B4)を例示しており、それぞれのバッファは、ボックスの行として示されており、1行内のそれぞれのボックスは、それぞれのバッファ内の個別の位置を示している。系列wI1,wI2,wI3,wI4は、ウォーターマーク系列のそれぞれの予測値である。図12に示される例では、信号は時間スケール変更されておらず、したがって、それぞれの予測値(wI1,wI2,wI3,wI4)は、異なる時間オフセットをもつワーターマーク系列の予測値を表している。
結果的に、それぞれの予測値は、(相関器410に通過される)それぞれのバッファからのエントリを連続的に収集することで形成される。たとえば、系列wI1における最初の値(wI1[1])は、B1の第一の位置から収集され、第二の値(wI1[2])は、B1の第二の位置から収集される等であり、最後の値(wI1[Lb])は、バッファの最後の位置から収集される。ある行におけるそれぞれのボックスを隣のボックスに接続する矢印は、予測値の系列の値がバッファ位置から収集される方向を示していることが意図される。また、それぞれのバッファについて11のバッファ位置のみが示されているが、実際のバッファのサイズは、これよりもかなり大きい可能性があることを理解されたい。たとえば、好適な実施の形態では、それぞれのバッファの長さは、典型的に2048の位置と8192の位置との間であり、バッファの数は、典型的に2と8との間である。しかし、時間スケールサーチの間のバッファのオーバフローを回避するため、実際のバッファの長さは、先に指定された典型的な長さの(1+|ηmax|)倍に設定される。この場合、ηmaxは、期待される最大のスケーリングファクタである。
受信された信号y’[n]が時間スケール変更されたとき、ウォーターマーク系列を正しく予測するため、時間スケールサーチを実行することが必要である。本発明では、かかるサーチは、期待されるウォーターマーク系列の予測値(we[m])をシステマチックに結合することで、好ましくは、バッファに記憶されるウォーターマーク系列の異なる予測値をシステマチックに結合(補間)することで実行される。
かかる時間スケールサーチは、いずれかの次数の補間を利用することで実行することができる。以下の2つの好適な実施の形態では、1次(線形)の補間及びゼロ次の補間という2次の補間が説明される。しかし、この技術は、たとえば2次補間及び3次補間といった高次の補間に拡張することができることを理解されたい。
第一の実施の形態では、時間スケールされたウォーターマーク系列の予測値は、線形補間を前に抽出されたウォーターマーク系列の予測値に適用することで提供される。
このため、図8に示されるシンボル抽出ステップにより生成された中間値we[k]は、Nbのバッファの代わりに、長さMの単一のバッファに記憶される。言い換えれば、Nbのバッファは、長さM=NbfWの単一のバッファに多重化される。この場合、LW及びsfは、先に定義されている。そのように伸張された系列をwDで表す。ここで、wDがさもなければ連続関数の離散的なサンプルを表すものとする。時間スケール変更の間、これらの離散ポイントは、互いに圧縮されるか、伸張されるかのいずれかである。これは、次に、ウォーターマーク関数の再サンプリングに変換される。
この実施の形態では、再サンプリングは、線形補間技法を介して実現される。すなわち、ウォーターマーク系列wD[m],m=1,...,Mが与えられると、補間されたウォーターマーク系列wI[m]は、以下のように生成される。
Figure 2005522080
ここで、
(外8)
Figure 2005522080
はフロア シリング演算子(floor and ceiling operators)である。補間の後、ウォーターマーク系列は、図11に示されるのと同じやり方でNbのバッファに折り重なる。バッファb∈{0,...,Nb−1}に折り重なる補間されたウォーターマーク系列がwI,b[k]で示されるとすると、以下のように示すことができる。
Figure 2005522080
b=1,...,Nbについて、wD,b[k]は、b番目のバッファに記憶される前補間(pre-interpolation)系列とすると、qpk∈{1,...,sfW}及びrpk∈{1,...,Nb}は、以下のように定義される。
Figure 2005522080
及び
Figure 2005522080
このとき、以下のように示すことができる。
(外9)
Figure 2005522080
この式を式(21)に代入すると、以下のようになる。
Figure 2005522080
したがって、補間されたバッファエントリは、式(22)を解くことで、(図8に示されるように、相関器410に通過される)Nbの系列wD,b、b=1,...,Nbから直接計算することができる。
ここで、本発明の更なる実施の形態が説明され、この実施の形態では、時間スケールされたウォーターマーク系列の予測値は、ゼロ次の補間を前に抽出されたウォーターマーク系列の予測値に適用することで提供される。このアプローチは、式(22)でμ=1として表すことができる。このケースでは、補間の関数は、以下のように書くことができる。
Figure 2005522080
この場合、qpk∈{1,...sfW}及びrpk∈{1,...Nb}は先に定義されている。
図13a及び図13bには、式(23)の図による解釈が示されている。図13aは、正しいウォーターマーク系列(wI1,wI2,wI3,wI4)の異なる予測値が時間伸張についてバッファからどのように抽出されるかを示しており、これに対して図13bは、時間圧縮について同様の情報を示している。図12におけるように、それぞれのボックスの行は、それぞれのバッファを表しており、それぞれのボックスは、それぞれのバッファ内の位置を表している。矢印は、バッファの内容がウォーターマーク系列の予測値から収集される順序を示している。
オーディオ信号が時間スケール変更されるとき、フレーミングの開始及び終了は、信号が時間スケール伸張又は圧縮されているかにそれぞれ依存して、後方又は前方に除々にドリフトする。本実施の形態に係るウォーターマークシンボル結合ステージは、ドリフトのサイズを追跡する。累積のドリフトの絶対値がTS/Nbを超えるとき(この場合、Nbはバッファの数、すなわち単一のウォーターマークシンボルを表す連続するシンボル数である)、バッファからのシンボル収集系列は、バッファからの次の最良のシンボル予測値を提供するように調整される。言い換えれば、バッファのカウンタが(ドリフト方向に依存して)インクリメント又はデクリメントされ、それぞれのウォーターマーク系列の予測値(wI1,wI2,wI3,wI4)のバッファポインタの巡回的なローテーションが実行される。
kをバッファエントリカウンタとし、この場合、kはそれぞれのバッファ内のそれぞれの位置を表す整数であり、すなわち、k=1はそれぞれのバッファ内の最初の位置を表し、k=2は、第二の位置を表している。(図12に示されるように)ウォーターマーク系列の予測値が時間スケールの変更なしにバッファから取得される場合、第一の系列における値はwI1[k]により表すことができることが理解される。
しかし、時間スケールされた予測値について、予測値ηが時間スケールからなるとすると、|ηk|≒n/Nbのとき(この場合、nはいずれかの整数であり、この例ではNb=4)、カウンタ値及びウォーターマークの予測値が取得されるバッファが変わる。
ηが正である場合(時間伸張)、最初のバッファのカウンタがインクリメントされる。また、バッファのオーダリングも巡回的にシフトされる(すなわち、バッファ1から前に取得されたウォーターマーク系列の予測値wI1はこれよりバッファ4から取得され、バッファ2からの予測値はこれよりバッファ1から取得され、バッファ3からの予測値はこれよりバッファ2から取得され、バッファ4からの予測値はこれよりバッファ3から取得される)。同様の巡回的なシフトは、バッファカウンタkに関しても実行される。これは、図13aに概念的に示されている。
ηが負である場合(時間伸張)、最初のバッファのカウンタがインクリメントされ、バッファのオーダリングも巡回的にシフトされる(すなわち、バッファ1から前に取得されたウォーターマーク系列の予測値wI1はこれよりバッファ2から取得され、バッファ2からの予測値はこれよりバッファ3から取得され、バッファ3からの予測値はこれよりバッファ4から取得され、バッファ4からの予測値はこれよりバッファ1から取得される)。同様の巡回的なシフトは、バッファカウンタkに関しても実行される。これは、図13bに概念的に示されている。
これらの巡回的なシフト及びバッファカウンタに対する調整が行われた後、異なるウォーターマーク系列の予測値を形成するためのシンボルの収集は、|ηk|≒(n+1)/Nbまで左から右に続く(すなわち、次のインターチェンジの位置に到達する)。バッファの順序のインターチェンジ及び連続的なシンボル収集のプロセスは、バッファの終わりに到達するまで繰り返される。
結果的に、時間スケールされたウォーターマーク系列のゼロ次の補間が実行されることが理解される。言い換えれば、時間スケールされたウォーターマーク系列は、オリジナルの、時間スケールされたウォーターマーク系列の時間的な位置に最も厳密に対応する時間スケールされていないウォーターマーク系列からそれらの値を選択することで予測される。前に抽出されたウォーターマーク系列の予測値を利用することで、かかる技術は、正しく時間スケールされたウォーターマークの問題を、計算上のオーバヘッドの観点で最小のコストで効果的に解決する。
その後、時間スケールされたウォーターマーク系列のかかる予測値は、予測された時間シフトηが受信された信号の時間シフトを正確に表すかを判定するために、すなわち、相関器に供給された予測値が良好な相関ピークを提供するかを判定するために、相関器410に通過される。この予測された時間シフトが正確に受信された信号の時間シフトを正確に表さない場合、時間スケールサーチは、異なる予測される値、すなわち異なるηの値について繰り返される。
可能性のある時間スケール変更のため、適切なスケールサーチが行われた後のみに、検出真理値(信号がウォーターマークを含むか否か)が決定される。Δηをスケールサーチステップサイズとし、ウォーターマークがインターバル[ηmin,ηmax]における全てのスケール変更を残存することを望むとすると、視察されるスケールの全体の数は、以下に与えられる。
Figure 2005522080
ηを最小にするために、完全なスケールサーチをなお可能にするΔηの最大値を見つけることが好ましい。このため、経験的な結果によれば、検出のパフォーマンスは、時間スケーリングがバッファの長さの逆数の半分を超えない場合には大幅に影響されないことがわかる。これは、完全なスケールサーチについて、Δηは、以下のようになる。
Figure 2005522080
この式を式(24)に代入して、結果として、完全なスケールサーチを行うため、以下の時間スケールを通してサーチを行うことが好ましい。
Figure 2005522080
明らかに、いずれのスケールサーチも時間がかかる可能性がある。このように、複雑さの問題及び計算上のオーバヘッドにおける費用は、ウォーターマークの埋め込みパラメータNb,sf及びLWを選択するとき考慮されるべきである。
1つの好適な実施の形態では、検出の間に取得される情報が後続する検出窓で最適なサーチを計画するために利用されるようにスケールサーチが適合される。たとえば、次の検出窓におけるスケールサーチは、現在の最適なスケールの周りで開始される。
図14に例示される代替的な実施の形態は、グリッドリファインメントによりスケール空間を通して効果的に移動するための方法を提供する。最も簡単なソリューションは、インクリメント的なステップを加算することによる、最小のスケールから最大のスケールへのリニアなサーチである。相関、及び信頼レベルがあるスケールから次のスケールに突然変化しないとすると、空間のグラニュラリティを低減することによりサーチの間に視察されるスケールの量を大幅に低減することができる。図14に示されるように、アルゴリズムはスケールゼロで開始し、最小のグラニュラリティに到達するか又はウォーターマークが検出されるまで(すなわち、信頼レベルのローカルの最小値が発見されるまで)、及び/又は信頼レベルが所定の閾値を超えるまで繰り返される。スケールサーチをどこで開始すべきか(たとえば、前の検出からの最初の予測値)という指示を有するとき、このスケールの周りのランダム又はリニアサーチが十分な場合がある。
図8に示されるように、バッファリングステージからの出力(wD1,wD2,...wDNb)は、補間ステージに通過され、補間の後、このステージの出力(wI1,wI2,...wINb)は、ウォーターマークされた信号における可能性のある時間スケールの変更を解決するために必要とされ、相関及び検出ステージに通過される。異なる可能なオフセット値に対応するウォーターマークの全ての予測値(wI1,wI2,...wINb)は、相関及び検出ステージ400に通過される。
相関値410は、基準のウォーターマーク系列wC[k]に関してそれぞれの予測値wIj,j=1,...,Nbの相関を計算する。次いで、それぞれの予測値に対応するそれぞれの相関出力は、最大値検出ユニット420に印加され、この最大値検出ユニットは、どの2つの予測値が最大の相関ピーク値を与えたかを判定する。これらの予測値は、基準のウォーターマークの巡回的にシフトされたバージョンwd1及びwd2に最もフィットする予測値として選択される。これら予測された系列の相関値は、閾値検出器及びペイロード抽出ユニット430に通過される。
検出器内で使用される基準のウォーターマーク系列wSは、ホスト信号に適用される(おそらく巡回的にシフトされたバージョンの)オリジナルのウォーターマーク系列に対応する。たとえば、ウォーターマーク信号がエンベッダ内のシードSをもつランダム数発生器を使用して計算された場合、同様に、検出器は、ウォーターマーク信号を判定するために、同じランダム数発生アルゴリズム及び同じ初期シードSを使用して、同じランダム数系列を計算することができる。代替的に、エンベッダにはじめに適用され基準として検出器により利用されるウォーターマーク信号は、単にいずれかの予め決定された系列となる。
図15は、相関器410からの出力としての相関関数の典型的な形状を示している。水平のスケールは、(系列のサンプルの観点での)相関遅延を示している。(信頼レベルcLと呼ばれる)左手側の垂直スケールは、正規分布された相関関数の標準偏差に関して正規化された相関ピークの値を表している。
理解できるように、典型的な相関は、cLに関して比較的平坦であり、cL=0に関して中央に置かれる。しかし、関数は、2つのピークを含んでおり、これら2つのピークは、pLだけ離れており(式(6)参照)、ウォーターマークが存在するときに閾値を超えるcL値の方向に延びている。相関ピークが負であるとき、先の説明はそれらの絶対値にも当てはまる。
(図ではcL=8.7として設定されて示される)水平ラインは、検出閾値を表している。検出閾値は、誤報率を表している。検出閾値は、誤報率を制御する。
2種類の誤報が存在する。偽陽性率は、ウォーターマークされていないアイテムでウォーターマークを検出する確率として定義され、偽陰性率は、ウォーターマークされたアイテムでウォーターマークを検出しない確率として定義される。一般に、偽陽性率の要件は、偽陰性率の要件よりも厳格である。図11の右側のスケールは、偽陽性率bの確率を説明している。図示される例に見ることができるように、偽陽性率b=10-12の確率は、閾値cL=8.7に等価であり、b=10-87はcL=20に等価である。
それぞれの検出のインターバルの後、検出器は、オリジナルのウォーターマークが存在するか、存在しないかを判定し、これに基づいて“yes”又は“no”の判定を出力する。望まれる場合、この判定実行処理を改善するため、多数の判定窓が考慮される場合がある。かかる例では、偽陽性率は、所望の基準に依存して、考慮されるそれぞれの検出窓について個々の確率の組み合わせである。たとえば、相関関数が3つの検出インターバルのうちのいずれかの2つに関して閾値cL=7を超える2つのピークを有する場合、ウォーターマークが存在するものと思われることが判定される。かかる検出基準は、ウォーターマーク信号の所望の使用に依存して、並びにホスト信号のはじめの品質のようなファクタ及び通常の伝送の間に信号がどの位粗悪に破壊される可能性があるかを考慮して変更することができる。
ペイロード抽出ユニット430は、検出されたウォーターマーク信号からペイロード(たとえば、情報コンテンツ)を抽出するために続いて利用される場合がある。ユニットが検出の閾値を超える2つの相関ピークcL1及びcL2をひとたび予測すると、(式(6)で定義される)巡回シフトcLの予測値cL’は、ピーク間の距離として導出される。つぎに、相関ピークの符号ρ1及びρ2が決定され、したがってrsignが式(7)から計算される。次いで、全体のウォーターマークのペイロードは、式(8)を使用して計算される場合がある。
たとえば、図15において、pLが2つのピーク間の相対的な距離であることを理解することができる。両方のピークは正、すなわちρ1=+1及びρ2=+1である。式(7)から、rsign=3である。結果的に、ペイロードpLW=<3,pL>である。
当業者であれば、特に説明されていない様々な実現は、本発明の範囲に含まれるものとして理解されたい。たとえば、検出装置の機能のみが説明されたが、本装置は、デジタル回路、アナログ回路、コンピュータプログラム、又はそれらの組み合わせとして実現されることを理解されたい。
同様に、先の実施の形態は、オーディオ信号を参照しながら説明されたが、本発明は、たとえば、ビデオ及びデータ信号のような情報又はマルチメディア信号といった情報を他のタイプの信号に加算することに適用することができる。
さらに、本発明は、1つのみのウォーターマーキング系列を含むウォーターマーキングスキーム(すなわち、1ビットスキーム)、又は多数のウォーターマーキング系列を含むウォーターマーキングスキームに適用することができることが理解される。かかる多数の系列は、ホスト信号内に同時又は連続的に埋め込むことができる。
本明細書では、用語“comprising”は、他のエレメント又はステップを排除するものではなく、“a”又は“and”は、複数であることを排除するものではなく、単一のプロセッサ又は他のユニットが請求項で列挙される幾つかの手段の機能を実現する場合があることが理解される。
ウォーターマーク埋め込み装置を説明する図である。 信号部分抽出フィルタHを示す図である。 図3Aは図2のフィルタHの周波数の関数としての典型的な振幅応答、図3Bは図2のフィルタHの周波数の関数としての典型的な位相応答を示す図である。 図1に示される装置のペイロード埋め込み及びウォーターマークコンディショニングを示す図である。 それぞれのステージで関連される信号のチャートを含む、図4のウォーターマークコンディショニング装置HCの詳細を説明する図である。 図6aはレイズドコサイン関数の形式で、図6bはバイフェーズ関数の形式での2つの好適な代替的な窓成形関数を示す図である。 図7aはレイズドコサイン成形窓関数、図7bはバイフェーズ成形窓関数で条件付けされたウォーターマーク系列の周波数スペクトルを示す図である。 本発明の実施の形態に係るウォーターマーク検出器を説明する図である。 レイズドコサイン成形窓関数と共に使用するための、図8のホワイトニングフィルタHWを概念的に示す図である。 バイフェーズ窓成形関数と共に使用するための、図8のホワイトニングフィルタHWを概念的に示す図である。 本発明の実施の形態に係るウォーターマークシンボル抽出及びバッファリング処理の詳細を示す図である。 時間スケール変更がないときの、ウォーターマークシンボルの予測値が4つのバッファから収集されるシーケンスを例示する図である。 図13aは時間伸張の時間スケール変更があるとき、及び図13bは時間圧縮の時間スケール変更があるときのウォーターマークシンボルの予測値が4つのバッファから収集される、本発明の実施の形態に係る異なるシーケンスを示す図である。 グリッドリファインメントの概念に基づく効率的なスケーリサーチ技術の例を示す図である。 図8に示されるウォーターマーク検出器の相関器からの相関関数の出力の典型的な形状を示す図である。

Claims (17)

  1. 時間領域でシンボルの系列により変更される受信された信号における線形の時間スケールの変更を補償するための方法であって、
    (a)該受信された信号からシンボルの系列の最初の予測値を抽出するステップと、
    (b)該最初の予測値の値を補間することで、正しく時間スケールされたシンボル系列の予測値を形成するステップと、
    を有する方法。
  2. ステップ(b)は、異なる時間スケーリングに対応する予測値のレンジを提供するように繰り返される、
    請求項1記載の方法。
  3. 該補間は、ゼロ次の補間、線形補間、2次補間及び3次補間のうちの1つである、
    請求項1記載の方法。
  4. どの予測値が最良の予測値であるかを判定するために、それぞれの予測値があたかも正しく時間スケールされたシンボル系列であるように該それぞれの予測値を処理するステップをさらに有する、
    請求項1記載の方法。
  5. 該予測値のそれぞれを該シンボル系列に対応する基準との相関をとるステップと、最大の相関ピークをもつ予測値を最良の予測値として取得するステップとをさらに有する、
    請求項1記載の方法。
  6. 該シンボル系列の最初の予測値はバッファに記憶される、
    請求項1記載の方法。
  7. 該バッファは、全体の長さMからなり、実行されるスケールサーチの全体の数は、
    (外1)
    Figure 2005522080
    であり、ηmin、ηmaxは、信号の最小の可能性の高い時間スケール変更、最大の可能性の高い時間スケール変更にそれぞれ対応する、
    請求項6記載の方法。
  8. 該シンボル系列の最初の予測値は、それぞれのシンボルのNbの予測値の系列を含み、該Nbの予測値のそれぞれは、シンボルの異なる時間オフセットに対応する、
    請求項1記載の方法。
  9. 次の検出窓におけるスケールサーチは、現在の検出窓の間に取得される情報に基づいて調整される、
    請求項1記載の方法。
  10. 該スケール空間は、最適なサーチアルゴリズムを使用してサーチされる、
    請求項1記載の方法。
  11. 該サーチアルゴリズムは、グリッドリファインメントアルゴリズムである、
    請求項10記載の方法。
  12. 請求項1記載の方法を実行するために調整されるコンピュータプログラム。
  13. 請求項12記載のコンピュータプログラムを有する記録キャリア。
  14. 請求項12記載のコンピュータプログラムをダウンロードするために利用可能にされる方法。
  15. 時間領域でシンボルの系列により変更された受信された信号における線形の時間スケールの変更を補償するために構成される装置であって、
    該受信された信号からシンボル系列の最初の予測値を抽出するために構成される抽出手段と、
    該最初の予測値の値を補間することで、正しく時間スケールされたシンボル系列の予測値を形成するために構成される補間手段と、
    を有する装置。
  16. 1以上の該予測値を記憶するために構成されるバッファをさらに有する、
    請求項15記載の装置。
  17. 請求項15記載の装置を有するデコーダ。
JP2003581193A 2002-03-28 2003-02-26 ウォーターマークの時間スケールのサーチ Expired - Fee Related JP4302533B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02076202 2002-03-28
PCT/IB2003/000794 WO2003083859A2 (en) 2002-03-28 2003-02-26 Watermark time scale searching

Publications (2)

Publication Number Publication Date
JP2005522080A true JP2005522080A (ja) 2005-07-21
JP4302533B2 JP4302533B2 (ja) 2009-07-29

Family

ID=28459514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003581193A Expired - Fee Related JP4302533B2 (ja) 2002-03-28 2003-02-26 ウォーターマークの時間スケールのサーチ

Country Status (9)

Country Link
US (1) US7266466B2 (ja)
EP (1) EP1493145B1 (ja)
JP (1) JP4302533B2 (ja)
KR (1) KR20040097227A (ja)
CN (1) CN100354931C (ja)
AT (1) ATE341072T1 (ja)
AU (1) AU2003214489A1 (ja)
DE (1) DE60308667T2 (ja)
WO (1) WO2003083859A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232754A (ja) * 2010-04-26 2011-11-17 Nielsen Co (Us) Llc オーディオ透かしデコーディングを遂行する方法、装置及び製造物品

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727025B2 (ja) * 2000-08-01 2011-07-20 オリンパス株式会社 画像表示装置
AU2003214489A1 (en) 2002-03-28 2003-10-13 Koninklijke Philips Electronics N.V. Watermark time scale searching
US20050220322A1 (en) * 2004-01-13 2005-10-06 Interdigital Technology Corporation Watermarks/signatures for wireless communications
US7912159B2 (en) * 2004-01-26 2011-03-22 Hewlett-Packard Development Company, L.P. Enhanced denoising system
EP1612771A1 (en) * 2004-06-29 2006-01-04 Koninklijke Philips Electronics N.V. Scale searching for watermark detection
EP1729285A1 (en) * 2005-06-02 2006-12-06 Deutsche Thomson-Brandt Gmbh Method and apparatus for watermarking an audio or video signal with watermark data using a spread spectrum
US9824693B2 (en) * 2007-01-25 2017-11-21 The Nielsen Company (Us), Llc Research data gathering
US8170087B2 (en) * 2007-05-10 2012-05-01 Texas Instruments Incorporated Correlation coprocessor
US9466307B1 (en) 2007-05-22 2016-10-11 Digimarc Corporation Robust spectral encoding and decoding methods
US8515123B2 (en) * 2008-07-03 2013-08-20 Verimatrix, Inc. Efficient watermarking approaches of compressed media
US9269363B2 (en) 2012-11-02 2016-02-23 Dolby Laboratories Licensing Corporation Audio data hiding based on perceptual masking and detection based on code multiplexing
EP2835799A1 (en) * 2013-08-08 2015-02-11 Thomson Licensing Method and apparatus for detecting a watermark symbol in a section of a received version of a watermarked audio signal
US9418395B1 (en) 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
EP3622426B1 (en) 2017-05-09 2023-01-04 Verimatrix, Inc. Systems and methods of preparing multiple video streams for assembly with digital watermarking
US10347262B2 (en) * 2017-10-18 2019-07-09 The Nielsen Company (Us), Llc Systems and methods to improve timestamp transition resolution

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516079B1 (en) * 2000-02-14 2003-02-04 Digimarc Corporation Digital watermark screening and detecting strategies
US8505108B2 (en) * 1993-11-18 2013-08-06 Digimarc Corporation Authentication using a digital watermark
US20020009208A1 (en) * 1995-08-09 2002-01-24 Adnan Alattar Authentication of physical and electronic media objects using digital watermarks
US5889868A (en) * 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US6684199B1 (en) * 1998-05-20 2004-01-27 Recording Industry Association Of America Method for minimizing pirating and/or unauthorized copying and/or unauthorized access of/to data on/from data media including compact discs and digital versatile discs, and system and data media for same
IL133236A0 (en) * 1999-11-30 2001-03-19 Ttr Technologies Ltd Copy-protected digital audio compact disc and method and system for producing same
US7305104B2 (en) * 2000-04-21 2007-12-04 Digimarc Corporation Authentication of identification documents using digital watermarks
KR100458492B1 (ko) * 2000-06-08 2004-12-03 주식회사 마크애니 디지털 오디오 컨텐츠 저작권 보호 및 복사 방지를 위한워터마크의 삽입/추출 방법 및 이를 이용한 장치
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
EP1323161A2 (en) * 2000-09-20 2003-07-02 Koninklijke Philips Electronics N.V. Distribution of content
GB2377511B (en) * 2001-07-03 2005-05-11 Macrovision Europ Ltd The copy protection of digital data
CN100380493C (zh) * 2001-09-05 2008-04-09 皇家飞利浦电子股份有限公司 用于直接流数字信号的坚韧水印
US6975745B2 (en) * 2001-10-25 2005-12-13 Digimarc Corporation Synchronizing watermark detectors in geometrically distorted signals
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
AU2003214489A1 (en) 2002-03-28 2003-10-13 Koninklijke Philips Electronics N.V. Watermark time scale searching
WO2003083858A1 (en) * 2002-03-28 2003-10-09 Koninklijke Philips Electronics N.V. Time domain watermarking of multimedia signals
KR20040095325A (ko) * 2002-03-28 2004-11-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 다매체 신호들의 워터마킹을 위한 윈도우 셰이핑 함수들
JP4290014B2 (ja) * 2002-03-28 2009-07-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマークされた情報信号のデコーディング
CN100359914C (zh) * 2002-06-03 2008-01-02 皇家飞利浦电子股份有限公司 独立信道内的水印编码和解码
CN100458949C (zh) * 2002-06-03 2009-02-04 皇家飞利浦电子股份有限公司 处理带水印多媒体信号的方法和设备、多媒体信号接收机
AU2003282763A1 (en) * 2002-10-15 2004-05-04 Verance Corporation Media monitoring, management and information system
US20050165690A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation Watermarking via quantization of rational statistics of regions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232754A (ja) * 2010-04-26 2011-11-17 Nielsen Co (Us) Llc オーディオ透かしデコーディングを遂行する方法、装置及び製造物品
US8676570B2 (en) 2010-04-26 2014-03-18 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to perform audio watermark decoding

Also Published As

Publication number Publication date
JP4302533B2 (ja) 2009-07-29
WO2003083859A2 (en) 2003-10-09
AU2003214489A1 (en) 2003-10-13
AU2003214489A8 (en) 2003-10-13
DE60308667T2 (de) 2007-08-23
EP1493145A2 (en) 2005-01-05
EP1493145B1 (en) 2006-09-27
DE60308667D1 (de) 2006-11-09
US20050177332A1 (en) 2005-08-11
CN1643574A (zh) 2005-07-20
CN100354931C (zh) 2007-12-12
ATE341072T1 (de) 2006-10-15
KR20040097227A (ko) 2004-11-17
US7266466B2 (en) 2007-09-04
WO2003083859A3 (en) 2004-05-13

Similar Documents

Publication Publication Date Title
JP4302533B2 (ja) ウォーターマークの時間スケールのサーチ
KR100341197B1 (ko) 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템
KR101355297B1 (ko) 두 개의 데이터 섹션을 상관시키는 방법 및 장치
US20050240768A1 (en) Re-embedding of watermarks in multimedia signals
US7152161B2 (en) Watermarking
US7546467B2 (en) Time domain watermarking of multimedia signals
US20010032313A1 (en) Embedding a watermark in an information signal
JP4290014B2 (ja) ウォーターマークされた情報信号のデコーディング
US20050147248A1 (en) Window shaping functions for watermarking of multimedia signals
US20070036357A1 (en) Watermarking of multimedia signals
EP1393313A1 (en) Watermarking
JP2007515678A (ja) 信号内の透かしを検出する方法及び装置
JP2010008876A (ja) キャリア信号から電子透かし情報を抽出する装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090224

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090422

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees