JP2009518945A - ウォーターマークエンコードコンテンツ - Google Patents

Abstract

エンコードされたコンテンツにおいてウォーターマークを挿入するシステムおよび方法は、エンコードされたコンテンツを受信すること、少なくとも１つのウォーターマークユニットを受信することであって、該ウォーターマークユニットは、代替の値によって入れ替えられる元の値の位置の情報を含むこと、および、その位置において始まるビット数を代替の値の一つに直接入れ替えることであって、代替の値は、埋め込まれたウォーターマーク信号を有することを含む。さらにウォーターマークユニットを生成する装置および方法は、位置を選択することであって、エンコードされたコンテンツにおける値が代替の値により入替わること、および、代替の値を計算することを含む。さらに、エンコードされたコンテンツにおけるウォーターマークを入れ替えるシステムおよび方法は、エンコードされたコンテンツを受信すること、少なくとも１つのウォーターマークユニットを受信すること、および、エンコードされたコンテンツにおけるある位置において始まるビット数をある値に入れ替えることであって、値は、少なくとも１つのウォーターマークユニットにおいて特定され、および、位置は、少なくとも１つのウォーターマークユニットにおいて特定されることを含む。

Description

本発明は、デジタルウォーターマークに関し、より詳細には、エンコードされたコンテンツにおいてデジタルウォーターマークの埋め込み、削除／入替、および検出に関する。

エンコードされたコンテンツは、コンテンツを使用するために、「デコード」する処理が必要である。エンコードされたコンテンツについてのいくつかの例は、MPEG-1, MPEG-2, H264/AVC, WMA, MPEG4, JPEG2000, MP3, PDF、ウインドウズ（登録商標）のワード、ポストスクリプト他、およびこれらの暗号化版を含む。

エンコードされたコンテンツにウォーターマークを行う１つの従来の方法は、ストラクチャおよびシンタックス要素において、ウォーターマーク信号を挿入することである。ＭＰＥＧ-１およびＭＰＥＧ-２などのコード化されたビットストリームにおけるシンタックス要素において埋め込まれているデータに対する例がある（例えば、特許文献１参照）。しかしながら、そのようなウォーターマークは、フォーマット変更またはデジタル−アナログ変換を乗り切れない。

エンコードされたコンテンツにウォーターマークを行う別の従来の方法は、ＭＰＥＧエンコードコンテンツに対して、ＤＣＴ係数にノイズを加えることによって、ウォーターマークを埋め込むことである。このアプローチの例は、例えば、非特許文献１に開示されている。非特許文献１の方法は、パーセプチュアル（perceptual）法を用いていない。

エンコードされたコンテンツにウォーターマークを行うさらに別の従来の方法は、エンコードされたコンテンツを直接変形することである。本明細書において、以後「コノバー（Conover）」とは、いくつかのＤＣＴ係数を変形することによって、ＭＰＥＧ圧縮されたビデオ・ビット・ストリーム内にウォーターマークする方法をいう（例えば、特許文献２参照）。この方法は、変形後にこれらＤＣＴ係数のエントロピー符号化された長さが変化しない。コノバーにおいて指定される特定のウォーターマーク埋め込み方法はない。コノバーにおいてウォーターマークサイトを選択する方法は、０ ランゼロ（run-zero）の係数に制限される。コノバーの係数は、高周波数領域において存在する。コノバーの方法は、前処理フェーズを含まず、後述される後のフェーズにおいて実際のウォーターマーク挿入に対して、いかなる「代替の値（alternative value）」もない。「ウォーターマークユニット（watermark unit）」を生成かつ使用する概念は、コノバーにおいて、開示または教えがどこにもない。

米国特許第６６８７３８４号明細書 米国特許第６３７３９６０号明細書 F.Hartung、 B.Girod, "Digital Watermarking of MPEG-2 Coded Video in the Bit Stream Domain", Proc. IEEE ICASSP, April 1997, p.2621-2624

エンコードされたコンテンツをウォーターマークする従来の方法は、エンコードされたコンテンツのいくつかの部分に対して、「代替の値」を生成する前処理を有さない。エンコードされたコンテンツをウォーターマークする従来の方法は、さらにマスキングされ、オブファスケート（obfuscate）され、スクランブルされ、または、暗号化（ひとまとめにして「暗号化」）されるエンコードされたコンテンツを除外する。

本発明は、エンコードされたコンテンツにおいて選択された位置にウォーターマークを埋め込むことによって、エンコードされたコンテンツにウォーターマークを行う。これは、代替の値によりエンコードされたコンテンツにおいて元の値（original value）を入れ替えることによって遂行される。各々の元の値は、１つまたは複数の代替の値を有することができ、各々の代替の値は、ウォーターマーク信号を含む。さらに、ウォーターマークは、代替の値を元の値に入れ替えることによって、またはある代替の値を別の代替の値で代用することによって、削除することができる。

本発明は、代替の値のうちのひとつを選択し、エンコードされたコンテンツにおける対応する位置において、元の値を代用することによって、次のような目的を遂行する。
・代替の値は、元の値に対して、大きさにおいて同一であり、代替の値のうちのいずれか１つによる入替は、定義されたフォーマットに従ったエンコードされたコンテンツを生成し、エンコードされたコンテンツにおいてパーセプチュアルなアーチファクト（artifact）を導入しない。
・代替の値は、エンコードされたコンテンツの品質を改善することができる。例えば、元の値は、妥当な値とすることができ、またはすることができない。すなわち、代替の値のうちのひとつによる入替なしに、エンコードされたコンテンツは、正当なフォーマットとすることができない。元の値が妥当な値である別の場合において、代替の値による入替なしに、元の値は、エンコードされたコンテンツの劣化を導入することができる。
・各々の代替の値は、ウォーターマーク信号を含む。このウォーターマーク信号は、エンコードされたコンテンツ内の他の位置における他のウォーターマーク信号とともに、またはウォーターマーク自体とともに、１つまたは複数の埋め込まれた情報ユニットを有することができる。情報ユニットは、１つまたは複数のビットから構成される。
・代替の値についてのデータの大きさは（代替の値毎のデータサイズおよび代替の値の個数により定義され）、エンコードされるコンテンツのデータボリュームと比べて、より小さくすることができる。

暗号化されたコンテンツを直にウォーターマークすることのひとつの重要な目的は、「局所的な暗号化（localized encryption）」である。局所的な暗号化は、自明なテキストと暗号化のテキストとの間の対応を考慮する。例えば、自明なテキストのユニットは、コンポーネントｃ１、ｃ２、・・・、ｃｎを含む。局所的な暗号化の後、暗号化のテキストは、ｃ１´、ｃ２´、・・・、ｃｎ´から構成される。ただし、ｃｉ´は、ｃｉの暗号化版である（１≦ｉ≦ｎ）。局所的な暗号化についての簡単な例は、コンテンツを、パーツおよび暗号化された個々のパーツに分離することである。暗号化のひとつのカテゴリー、可能ならば局所的に暗号化することは、選択された暗号化または部分的な暗号化である。コンテンツ(音声またはビデオ)をバイナリ・データ・ストリームとして取り扱う代わりに（または「固有の暗号化」と呼ばれ）、選択的な暗号化の方法は、コンテンツ・シンタックス・ストラクチャ（例えば、ＭＰＥＧ−２のストラクチャ）を「理解」し、および選択的にのみコンテンツのいくつかの部分を暗号化する。選択的な暗号化は、圧縮の後に行われる。暗号化されたコンテンツは、コンテンツの一部が可視にすることができるけれども、営利的な値を有さないだろう。いくつかの選択的な暗号化のスキームは、フォーマット、ビットレート、選択的に暗号化されてないエンコードされたコンテンツを持続する。他の選択的な暗号化のスキームは、ビットレートを増加することができ、または特別なデコーダを必要とするだろう。

例としてＭＰＥＧ−２を取上げると、簡単な選択的アルゴリズムは、Ｉフレームのみを暗号化する。選択的に暗号化されたＭＰＥＧは、妥当なＭＰＥＧストリームとすることができる。ＭＰＥＧ−２におけるＰフレームおよびＢフレームは、対応するＩフレームの情報なしでは重要ではないけれども、ＭＰＥＧビデオの大きな部分は、内部フレームの相関関係のために可視のままであり、主にＰフレームおよびＢフレームにおける非暗号化のＩブロックからである。他の選択的な暗号化のスキームは、ＭＰＥＧ−２のヘッダについての暗号化および／またはＤＣＴ係数の暗号化を含む。ＤＣＴ係数は、「ＤＣ係数」と「ＡＣ係数」とに分割される。ＤＣ係数は、両方の次元において、ゼロ周波数による係数であり、およびＡＣ係数は、非ゼロ周波数による残りの係数である。すべてのＤＣ係数または全ＩブロックのＡＣ係数の部分的な値を暗号化することができる。

エンコードされたコンテンツにおいてウォーターマークを挿入するシステムおよび方法は、エンコードされたコンテンツを受信すること、少なくとも１つのウォーターマークユニットを受信すること、および、ある位置において始まるビット数を代替の値に直接入れ替えることであって、代替の値は、埋め込まれたウォーターマーク信号を有することを含む。さらにウォーターマークユニットを生成する装置および方法は、位置を選択することであって、エンコードされたコンテンツにおける値が代替の値により入替わり、および、代替の値を計算することを含む。さらに、エンコードされたコンテンツにおけるウォーターマークを入れ替えるシステムおよび方法は、エンコードされたコンテンツを受信すること、少なくとも１つのウォーターマークユニットを受信すること、および、エンコードされたコンテンツにおけるある位置において始まるビット数をある値に入れ替えることであって、値は、少なくとも１つのウォーターマークユニットにおいて特定され、および、位置は、少なくとも１つのウォーターマークユニットにおいて特定されることを含む。

さらに、エンコードされたコンテンツにおいてウォーターマークを挿入するシステムと方法とは、エンコードされたコンテンツを受信すること、少なくとも１つのウォーターマークユニットを受信すること、ウォーターマークペイロード（watermark payload）情報を含むビット列を受信すること、ある位置において始まるビット数を代替の値に直接入れ替えることの１つを実行し、ウォーターマークペイロード情報のビット列のビット値に基づく位置において始まるビット数を変更しないままにしておくことであって、代替の値は、ウォーターマーク信号に埋め込まれていることを含む。ウォーターマークの検出のシステムおよび方法は、少なくとも１つのウォーターマークユニットを受信すること、ウォーターマークされたコンテンツを受信すること、ウォーターマークされたコンテンツから複数の係数値を検索すること、および係数値からウォーターマークのビット値を検索することを含む。

本発明は、添付の図面とともに読まれると次の詳細な説明から最良の理解を得られる。

エンコードされたコンテンツをウォーターマークすることは、３つの別個のステップに分割することができる。
・位置選択、これは、エンコードされたコンテンツにおける値を、ウォーターマーク信号を含む代替の値により入れ替えることができる位置の選択である。
・代替の値の計算、これは、代替の値の決定であり、代替の値が、その値と同じビット数を有し、エンコードされたコンテンツにおいて入れ替え、その入替が、コンテンツにパーセプチュアルの変更を生じないようにする。さらに、この代替の値は、ウォーターマーク信号を含む。
・ウォーターマークの埋め込み／挿入、これは、代替の値のうちのひとつによりエンコードされたコンテンツにおける値の実際の入替えである。

最初の２つのステップは、前処理とすることができる。前処理の結果として、ウォーターマークユニット（ＷＵ：watermark unit）のセットを生成する。ＷＵは、ウォーターマークを実際に埋め込み／挿入することに対するすべての情報を含む。ウォーターマークの前処理装置は、入力としてエンコードされたコンテンツとウォーターマークキーとを受信し、ウォーターマークユニットのシーケンスを出力する。たったひとつの代替の値が各々のＷＵに対して生成される場合には、ウォーターマークペイロードは、前処理装置に対して追加の入力となることができる。このウォーターマークユニットは、エンコードされたコンテンツのメタデータとして、コンテンツにより多重化された別個のチャネルとして、シンタックス要素またはコンテンツに隠されたステガノグラフィック（steganographic）データとして、または物理媒体（光ディスク、テープ、ハードドライブなど）において格納されるまたはネットワーク（ＴＣＰ／ＩＰ、衛星など）により送信される別個のファイルとして、最終的なコンテンツに統合される。

ウォーターマークペイロード情報は、ＷＵにおける代替の値の中から選択されることによって埋め込まれる。１つのＷＵは、少なくとも１つの代替の値を有する。各々のＷＵがただ１つの代替の値を有する場合、ウォーターマーク情報（ペイロード）を埋め込む／挿入する２つの方法がある。第一の方法は、代替の値によりＷＵにおけるすべての元の値を入れ替えることによって、単一の固定されたウォーターマークペイロードを埋め込むことである。第二の方法は、ＷＵに対して入替または非入替の間を切替えることによって、種々のウォーターマークペイロードを埋め込むことを許容する。例えば、入替は、正のビット値を示すが、負のビット値に対しては非入替である。ウォーターマークペイロード「００１０１００１」を埋め込むために、第一および第二のＷＵにおける元の値は入れ替えず、第三のＷＵにおける元の値を第三のＷＵの代替の値により入れ替える。１つ以上の代替の値を有するＷＵに対して、各々の代替の値は、ウォーターマークペイロードの異なる情報ユニットを表わすことができるウォーターマーク信号を含む。代替の値は、ウォーターマークペイロードに基づいて、入替のために選択することができる。例えば、ＷＵにおいて１ビットを埋め込むために、ただ２つの代替の値Ｖ１およびＶ２を必要とする。ビット値「０」を埋め込むために、Ｖ１を選択して、エンコードされたコンテンツにおける元の値を入替え、およびビット値「１」を埋め込むために、Ｖ２を選択する。２つの値Ｖ１とＶ２とにより「０」ビットと「１」ビットを表現することが可能である。もし４つの代替の値（Ｖ１、Ｖ２、Ｖ３およびＶ４）があれば、２ビット情報（すなわち、「００」、「０１」、「１０」および「１１」）を埋め込むことができる。１つの位置においてさらに代替の値によって、さらにビットを埋め込むことができ、非常に効率的に情報の埋め込みを許容する。

通常、ウォーターマークペイロードは、第３のステップ「ウォーターマーク挿入（Watermark Insertion）」において受信される。ウォーターマークペイロードを、ウォーターマークシステムの外部のコンポーネントによって、格納または計算することができる。通常、ウォーターマークペイロード情報は、受信、再生装置（製造者、モデルおよび／またはシリアル番号）、コンテンツの再生の日時を一意的に識別する識別子である。元の値、ＶおよびＶの代替の値の間における差を、ＷＵにおいて格納し、ＷＵの大きさを潜在的に削減する。さらに、ＷＵを、圧縮することができる。

ＷＵを、認証のないアクセスまたは変更に対して保護することは重要である。なぜならば、情報により、ウォーターマークシステムが種々の攻撃に対して攻撃を受けやすいだけでなく、ハッカーが偽物のウォーターマークを挿入するまたは既存のウォーターマークを変更または削除することが容易であるからである。もしＷＵがステガノグラフィックデータ（ウォーターマーク）として格納され送信されるならば、アクセスを、ウォーターマークキーにより制御することができる。もしＷＵがあらゆる他のチャネルにより格納され送信されるならば、ＷＵの暗号化が必要である。

上述したように、第一および第二ステップを、前処理として実行させることができる。従って、第三のステップに先行して、エンコードされたコンテンツはウォーターマークされない。第三のステップは、ＷＵにおいて特定される代替の値によりエンコードされたコンテンツにおける複数の値を入れ替えることによってウォーターマークの埋め込みを実行する。これらの値を、パッケージ識別、ヘッダ、量子化テーブル、エントロピー符号化に対するハフマンテーブル、エンコードされた係数またはエンコードされた動きベクトルなど、埋め込まれたシンタックス要素とすることができる。ＷＵは、（代替の値における）ウォーターマーク信号がどこに埋め込まれているか、およびどのウォーターマーク信号を適当な代替の値を選択することによってこれらの位置におくかを特定する。

図１は、ＷＵを生成するエンコードされたコンテンツの前処理に対するワークフローを示すブロック図である。図２は、本発明の原理に係るウォーターマークを表わす。各々のＷＵは、ベクトル（Ｐ，Ｌ，Ｃ，｛Ｖ｝，Ｖ１，Ｖ２，・・・，Ｖｎ）により記述される。ただし、Ｐは、エンコードされたコンテンツにおける代替の値により将来入れ替えることができる元の値Ｖの位置であり、Ｌは、Ｐにおいて始まるエンコードされたコンテンツにおける元の値Ｖに用いるビット数であり、Ｃは、エントロピー符号化方法によってＬビット（エンコードされたコンテンツなおいて）によりエンコードされる係数（例えば、ＤＣＴまたはウェーブレット量子化係数）の全体的な位置のセットである。ハフマンコード化などのエントロピーコード化は、通常、エンコードの最後の段階に適用され、エンコードされたコンテンツを生成する。Ｖ１、Ｖ２、・・・、ＶｎはＶの有効な代替の値であり、そのような値の各々は、ウォーターマーク信号を含む。各々の係数位置は、ｃ（ｃｈ，ｆ，ｂ，ｃｏ）により表現される。ただし、ｃｈは、チャネル指標であり、ｆは、フレーム指標であり、ｂは、ブロック指標であり、ｃｏは、ビデオコンテンツのユニットに対するブロック内の係数指標である。代替の値が有効であり、この値が現在の値を入れ替えると、フォーマットに従うことを保持し、コンテンツ上パーセプチュアルな効果がない。さらに、Ｖ１，Ｖ２，・・・，Ｖｎは、エンコードされたコンテンツにおけるＶとしてＬビットを使用する。｛Ｖ｝は、元の値が埋め込み／挿入の処理においてオプションであることを示す。元の値を、ウォーターマークの削除の処理において必要とすることができる。

元の値Ｖは、エンコードされた形式において１つまたは複数の係数を含むことができる。ＷＵが生成されると、入力がＭＰＥＧ−２またはＭＰＥＧ−４などのエンコードされたコンテンツである場合、エントロピー符号化、すなわち、ＶＬＣ（Variable Length Coding）は、最初に、係数へのアクセスを「行わない」必要があり、次に、適切な位置と代替の値とを見出し、元の係数とこれら代替の値とを格納する。代替の値Ｖｉは、Ｖが行われる同一の係数に対応させることができるが、いくつかの場合において、Ｖｉは、Ｖが行われるよりも多くのまたは少ない係数に対応させることができる。

ＭＰＥＧ−２において、量子化されたＤＣＴ係数について通常８×８のブロックが、以下のように示される。より高位の係数のほとんどは、０に量子化されている。

ＤＣＴ係数のシーケンスにジグザグのスキャンを行った後に、次のように送信される。

最初のＤＣＴ係数（１２）は、別個のハフマンテーブルにより送信される。ランレベル（Run-Level）の構文解析の後、残りの係数および関連付けられたゼロのランは、次の通りである。

ＭＰＥＧ−２標準で規定され、以下に示すＤＣＴ係数テーブルゼロを用いて、これらの係数は、以下の通りに（バイナリービット表現において）６ＶＬＣ（Variable Length Code）へエンコードされる。

読みやすいように、上述のＶＬＣ（エンコードコードとも呼ばれる）は、「｜」により分離されている。第一および第二のＤＣＴ係数は、固定された長さのコードを使用して、「エスケープコードに続くランおよびレベルについてのＭＰＥＧ−２エンコード」の表によってランおよびレベルをエンコードし、残りのＤＣＴ係数は、「ＭＰＥＧ−２ ＤＣＴ係数テーブルゼロ」によりコード化される。最後のＶＬＣは、ブロックが０である場合の残りの係数を示す特別な「ブロックの終わり」コードである。

代替の値は、上述のエンコードされたビットのあらゆる部分とすることができる。例えば、１つの代替の値を、ＶＬＣの一部、１つまたは複数の連続したＶＬＣ、または１つのＶＬＣと次のＶＬＣの一部から構成することができる。

次のＷＵの例において、代替の値は、１つのＶＬＣから構成され、これは、５番目のＶＬＣである。

上のＷＵにおいて各々の要素を、次の通りに説明することができる。
・Ｐ０は、エンコードされたコンテンツにおいて、このブロックの開始位置である。「６３」は、このブロックの開始に対する相対位置である。７は、長さＬを示し、Ｃは、次のような７つの係数から構成される。

ただし、ｆは、現在のフレーム指標であり、ｃｈは、現在のチャネル指標であり、およびｂは、例においてこのブロックの現在のブロック指標である。
・代替の値の大きさは、７ビット、すなわちＬ＝７である。
・０００１０１０は、元の値（Ｖ）であり、３つの代替の値０００１１１０（Ｖ１）、０００１１００（Ｖ２）、および０００１０００（Ｖ３）がある。これら代替の値は、次のように、ランおよびレベルの値（ＭＰＥＧ−２ ＤＣＴ係数テーブルゼロを参照）としてコード化される。

ラン（Ｒ）およびレベル（Ｌ）の組は、Ｒゼロにより始まり、Ｌが続く数列を表わす。例えば、ラン−レベルの組（５，３）、すなわちＲｕｎ＝５およびＬｅｖｅｌ＝３は、０００００３を表わす。したがって、上の代替の値は、次のように、エントロピー符号化する前に続く係数を表わす。

５番目のＶＬＣは、このブロックにおいてゼロでない係数の最後のＶＬＣコード化であるので、代替の値は、Ｖによりコード化される同一の係数に必ずしも対応しない。Ｖ２およびＶ３の場合、Ｖ１における７つの係数をコード化する代わりに、Ｖ２はただ２つの係数をエンコードし、およびＶ３は７つの係数をエンコードする。

ＷＵの例における第一の代替の値がステップ３においてウォーターマーク挿入装置により選択されると、このブロックは、次の量子化ＤＣＴ係数に変更される。

エンコードされたコンテンツについての別の例は、Ｈ２６４（MPEG-4Profile10）によりエンコードされるコンテンツである。ＭＰＥＧ−２とＨ２６４との間に、エントロピー符号化において、次のいくつかの大きな違いがある。

・Ｈ２６４は、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）とＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）との両方をサポートする。
・ＭＰＥＧ−２において８×８ＤＣＴブロックの代わりに、Ｈ２６４はさらに４×４ＤＣＴブロックも使用することができる。
・ＭＰＥＧ−２におけるＡＶＬＣ（Adaptive Variable Length Coding）とは異なり、ＣＡＶＬＣは、別個にレベルとランとをコード化することによって、より小さいＶＬＣテーブルを使用する。
・ＭＰＥＧ−２における固定されたＶＬＣテーブルの代わりに、ＶＬＣテーブルを、コンテキスト情報によって交換することができる。

Ｈ２６４においてコンテキストに基づくエントロピー符号化のために、係数が変更された後にエンコードされた値を予測するのは、ＭＰＥＧ−２よりも難しい。しかしながら、ひとつには、Ｈ２６４エンコーダに、エンコードの間、このようなコンテキストに基づく符号化を削減させることができる。例えば、エンコーダは、隣接するブロックのある特性に基づくNumTrailテーブルの代わりに、固定されたNumTrailテーブル（NumTrailテーブル０）を使用することができる。別の例では、固定された長さのコードｘｘｘｘｙｙｙを使用して、４×４量子化ＤＣＴブロックに対して、０でない個数（NumCoeff）およびＴ１（trailing one）の個数をエンコードする。ただし、ｘｘｘｘは、０でない（０〜１６）の個数の符号化に対してであり、ｙｙは、Ｔ１（０．．．３）の個数の符号化に対してである。ひとつには、さらに、エンコーダに４×４ブロックのみを使用させることができる。次の例において、上述の規則のいくつかは、４×４ブロックをエンコードするのに適用される。
１．４×４量子化ＤＣＴ係数：

ジグザグのスキャンの後、このブロックの係数は、次の通りである。
0 3 0 1 -1 -1 0 1 0...0
２．ＣＡＶＬＣコード化は、次の５つのステップから構成される
ａ．０でない個数（NumCoef）およびＴ１の個数をエンコードすること（５、３）。Ｔ１の最大数は３に制限される。これら２つの数（NumCoefおよびＴ１）は、１７×４のハフマンテーブル（下記を参照）（NumCoef：０〜１６、Ｔ１：０〜３）を使用することによってビット「０００１０１１」に符号化される。

ｂ．もしあれば、リバースオーダ（reverse order）において、Ｔ１の符号をエンコードすること（正に対して０および負に対して１）、例えば、０、１、１。

ｃ．リバースオーダにおいて、残りの０でない係数をエンコードすること、例えば、１、３。０でない係数は、レベルＶＬＣ０テーブルにより「１」として、レベルＶＬＣ１テーブルにより「００１０」として、それぞれエンコードされる。

ｄ．始めの０にでない係数から最後の０にでない係数までの全部の０に（TotalZero）をエンコードすること。全部の０にの最大は、１６個のNumCoefである。もしNumCoefが１６であるならば、TotalZeroは、０に違いない。もしNumCoefが０であるならば、さらなるコードは必要ない。すなわち、ブロックに対する符号化の終わりである。残りの１５の場合に対して、各々の場合は、TotalZero（TotalZeroテーブル参照）を符号化するためにハフマンテーブルを使用する。この場合、TotalZeroは、３であり、TotalZeroテーブル［NumCoef=5］により「１１１０」としてコード化される。

ｅ．始めの０でない係数から終わりの０でない係数まですべての０の位置をコード化すること。この場合、すべてのゼロの位置は、「００１１０１」にコード化される。

４×４ブロックに対する最後のエンコードされたビットは、次の２５ビットに分けられる。
0001011|011|10010|1110|001101
代替の値のうちの１つの例は、全部のエンコードされた４×４ブロックのエンコードされたビットである。代替の値についての別の例は、上記ステップＣ）において説明したように、Ｔ１の符号のビット符号化とすることができる。この場合、代替の値は、Ｔ１の符号にのみ変更し、エンコードされたブロックの全体のビット数は変えない。

エンコードされたコンテンツのさらなる別の例は、ＪＰＥＧ２０００画像である。ＤＣＴ変換の代わりに、ＪＰＥＧ２０００は、ＤＷＴ（Digital Wavelet Transform）を使用する。ピクセル化された画像のＤＷＴは、画像のピクセルに対して、垂直および水平方向のローパスおよびハイパスフィルタを連続して適用して計算される。ここで、結果の値を、「ウェーブレット係数」と呼ぶ。ウェーブレットは、ただ１つまたは２〜３のサイクルを維持する、振動するウェーブフォームである。各々の繰り返しにおいて、先行する繰り返しについてローパスのみフィルタリングされたウェーブレット係数を、削減して、次にローパス垂直フィルタとハイバス垂直フィルタとを通過する。この処理の結果が、ローパス水平フィルタとハイパス水平フィルタとを通過する。係数について生じるセットは、４つの「サブバンド（subband）」、すなわち、ＬＬサブバンド、ＬＨサブバンド、ＨＬサブバンド、ＨＨサブバンドにまとめられる。各々の繰り返しは、係数についてのある「レイヤ」または「レベル」に対応する。係数についての第一のレイヤは、画像についての最も高い解像度レベルに対応し、一方、最後のレイヤは、最も低い解像度レベルに対応する。ＪＰＥＧ２０００のエンコードされた画像に対する代替の値についての1つの例は、特定のレイヤ（例えば、最も低い解像度）におけるエンコードされたＬＬサブバンドである。

ＷＵを生成する簡単な方法は、各々のＷＵに対する次のステップを実行することによって、「トライ・アンド・エラー」を使用することである。
ａ）各々のエントロピーコード（例えば、ＭＰＥＧ−２におけるＶＬＣ）に対して、代替の値に対する候補としての値をランダムに選択すること
ｂ）上述の候補が、既存の値に対する候補に入れ替えた後にフォーマットに従うかを確かめることによって、有効な値であるかどうかを決定すること。もし有効な値でなければ、ステップａ）に戻ること
ｃ）既存の値を上述の候補に変更後、パーセプチュアルな変更を検査すること。もしパーセプチュアルな変更が受け入れられるならば、ＷＵに対して代替の値として、上述の候補を記録すること。そうでなければ、ステップａ）に戻ること
上述のステップを、必要なＷＵをすべて生成するまで、繰り返す。

１つの実施形態において、ＷＵを、変換領域において作動する既存のウォーターマークシステムにより、生成することができる。第一に選択されたウォーターマークシステムによって、２つの異なるペイロード情報とともに元のエンコードされたコンテンツの２つのウォーターマークコピー（ＡおよびＢ、エンコードされた形式において両方）を生成する。すなわち、第一のコピーが各々のビットが「１」のウォーターマークペイロードを含み、他のコピーが各々のビットが「０」のウォーターマークペイロードを含む。ステップ１とステップ２（図１参照）とが、次の選択する方法において実行することができ、および次の条件を満たすまでＡとＢとをスキャンすることによって、ＷＵを生成することができる。
・（位置選択）Ｐ１ａとＰ２ａとが、エンコードされたコンテンツＡにおいて、複数の連続した、エンコードされた係数についての開始位置と終了位置とであり、Ｐ１ｂとＰ２ｂとがエンコードされたコンテンツＢにおいて同一のエンコードされた係数についての開始位置と終了位置とであり、（Ｐ２ｂ−Ｐ２ａ）と（Ｐ１ｂ−Ｐ１ａ）とが等しく（長さＬに等しく）なる。
・（代替の値の計算）ウォーターマークペイロード情報について少なくとも１ビットが、エンコードされた係数において（ＡとＢとの両方において）埋め込まれること。次の方法において、１つのウォーターマークユニット（Ｐ，Ｌ，Ｃ，Ｖ，Ｖ１，Ｖ２）を記録する。Ｐ＝Ｐ１ａ、Ｌ＝Ｐ２ａ−Ｐ１ａ、この場合Ｖは使用可能でなく、Ｖ１がＡにおいて位置Ｐ１ａから位置Ｐ２ａへの値であり、Ｖ２がＢにおいて位置Ｐ１ｂから位置Ｐ２ｂへの値である。
・Ｎ個のウォーターマークユニットを選択するために、上述の第２のステップを繰り返す。

代替の実施形態において、ウォーターマークペイロードのビットは、中間周波数において２つの選択された量子化係数の間の関係としてエンコードされる。エンコードされたコンテンツをスキャンすることによって、ウォーターマークユニット（Ｐ，Ｌ，Ｃ，Ｖ，Ｖ１，Ｖ２，・・・，Ｖｎ）は、設定され、次の条件により決定される。
・Ｖは、複数の連続した、エンコードされた係数を含み、およびこれらの係数の間に、および／または、これらの係数の中に、少なくとも１つの関係（関係の種類／カテゴリーが予め定義されている）がある。例えば、もしＣ１、Ｃ２が２つの連続した、埋め込まれた係数であり、および関係が存在して、Ｃ１＞Ｃ２＋Ｔである。ただし、Ｔは、関係の強さを調整するのに用いることができるしきい値あり、さらにウォーターマークロバストを決定する。
・ウォーターマークシステムのパーセプチュアルなモデルに従って、係数を変更して、コンテンツのパーセプチュアルな変更なしの別の関係を確立することができる。例えば、Ｃ１およびＣ２を、逆の関係、すなわちＣ１´＜Ｃ２´を形成するように、それぞれＣ１´およびＣ２´に変更する。Ｃ１´とＣ２´とを含む新しい値を代替の値Ｖｉ（１＜＝ｉ＜＝ｎ）として記録すること。代替の値がすべて見つかるまでこのステップを繰り返す。
・Ｎ個のウォーターマークユニットを選択するために、上述のステップを繰り返す。理想的には、最大の係数を含む、最初のＮ個のウォーターマークユニットを選択し、最大の関係を各々のウォーターマークユニット内に潜在的に確立することができるようにする。参照されるウォーターマークシステムにおいて、１つの関係は、ウォーターマークペイロードの１ビットを表わし、ゆえに最大の関係によるウォーターマークユニットが、ウォーターマークペイロードについての、より多くのビットを埋め込む最も高い可能性を有することができる。

ウォーターマークシステムのさらに別の例において、ウォーターマークペイロードのビットを、ピクセル値またはＤＣＴ／ウェーブレット係数についての２つのセットについての固有な値の間の関係としてエンコードする。パラメータの典型的な例は、平均ルミナンス、平均カラーヒストグラム分布、または、ある周波数サブバンドにおけるエネルギーを含む。

本発明のひとつの原理は、前処理のエンコードされたコンテンツに対してであり、ウォーターマーク信号を含む代替の値を生成する。これら代替の値は、後に、エンコードされたコンテンツについて明確に定義された部分を入れ替えるのに使用されるだろう。既存のウォーターマークシステムを前処理（すなわち、ステップ１およびステップ２）および実際の挿入（ステップ３）に適用することができるが、新しいウォーターマークアルゴリズムを、前述のスキームに対して、開発することができる。

簡単で基本的なウォーターマーク検出の方法は、ウォーターマークされたコンテンツにおける係数と、ＷＵの代替の値とを相関させ、現在の係数に最も適合する代替の値を見いだす。このような相関を実行するために、代替の値は、対応するエントロピー符号器を用いて係数値を復号する必要がある。ＷＵの代替の値の各々は、ウォーターマークペイロード情報に相当するウォーターマーク信号を含むことができる。全てのＷＵにおいて適合する代替の値を見いだすことにより、ウォーターマークペイロード情報を抽出することができる。ウォーターマーク検出は、複数のレベルで実行される。第１のレベルにおいて、ＷＵのＰ，ＬおよびＣの要素を要求する。ＷＵの数をＮとする。各ＷＵについて、全体の係数指標Ｃに従って係数値を得る。入力コンテンツがベースバンドまたはウォーターマーク埋め込みに使用するフォーマットとは異なるフォーマットでエンコードされた場合には、最初にコンテンツをウォーターマーク埋め込みと同じエンコード形式に変換する。ウォーターマークペイロードの行のビットは、係数の間の関係、係数の中の関係、またはピクセル値または係数値のパラメータ値の間の関係から検出される。

図３は、本発明のウォーターマーク検出のフロー図を示す。３０５において指標を初期化する。３１０において「Ｎ」ウォーターマークユニットが受け入れられ、受信され、３１５において疑わしいコンテンツが受信される。３２０において指標がテストされ、全てのウォーターマークが処理されたか検出されたか判定する。指標がウォーターマークの数「Ｎ」より大きい場合、処理は終了する。指標がウォーターマークの数「Ｎ」より小さい場合、処理は３２５に進み、係数が得られる。３３０において係数の間の関係、係数の中の関係に従ってビットの値が検出される。３３５において指標を更新し、処理は、３２０に続く。

ＷＵから非常に弱い関係が検出されると、関係を判定するための付加的な情報を提供するために、そのＷＵの他の要素ＶおよびＶ１、Ｖ２、・・・、Ｖｎにアクセスすることが有用である。関係は、現在の係数をＶ、Ｖ１、Ｖ２、・・・、Ｖｎでエンコードされた係数に相関させることにより判定される。最大の相関は、現在の係数とＶ、Ｖ１、Ｖ２、・・・、Ｖｎの内の１つの間の最も適合したことを示す相関である。すなわち、現在の係数とＶｉ（１≦ｉ≦ｎ）でエンコードされた係数と間の最大の相関は、整合（match）を示す。疑わしいコンテンツに対して、元のコンテンツは、さらなる解析と相関によって要求される。

著作権付きコンテンツを配信するためのＷＵを用いた他の方法は、ＷＵを使用して、再生の前に改悪されたコンテンツを復元することである。このような場合、再生／描画装置に配信されるエンコードされたコンテンツは、フオーマット／構造（無効なフォーマット）において、またはコンテンツ（低級なコンテンツ）のいずれかにおいて明示的に改悪される。フォーマットが改悪されたコンテンツに対して、復号器は、そのコンテンツを復号することができない。その改悪がコンテンツに適用されると、このコンテンツは復号され、再生されるが、コンテンツの改悪された部分は、ノイズ、警告、ランダムパターンなどの様々な可視的なアーチファクトを有する。

フォーマットが改悪されたコンテンツを生成するために、所与のウォーターマークユニット（Ｐ，Ｌ，Ｖ，Ｖ１，Ｖ２，・・・，Ｖｎ）とともに、エンコードされたコンテンツのＰを始まりとしてＬビットを入れ替え、ランダムな値で配信する。ランダムな値がフォーマットを改悪すると仮定すると、有効なエントロピー符号であるランダムな値を除外する。コンテンツまたは低級なコンテンツの可視的なアーチファクトを導くために、有効な代替の値を選択し、これは、元の値Ｖと全ての他の代替の値Ｖ１，Ｖ２，・・・，Ｖｎではなく、エンコードされたコンテンツの現在の値の入替となる。改悪されたフォーマットおよび低い品質を用いた一例は、特定の装置、またはコンテンツの著作権侵害に該当し、使用された装置の一つのカテゴリーへの対策である。改悪されたフォーマットおよび低級なコンテンツをなす代替の値は、装置または装置のカテゴリーを識別する特定のウォーターマークペイロードについての入替に対して選択される。

ＷＵが既知の場合、各ＷＵの元の値Ｖを単にコンテンツに再格納することにより、ウォーターマークを削除することができる。エンコードされたコンテンツに既存のウォーターマークを上書きするために、ペイロード情報に従って各ＷＵのＶ１，Ｖ２，・・・，Ｖｎから適切な値を選択して、エンコードされたコンテンツの既存のウォーターマークを含む値に入れ替える。削除可能なウォーターマークは、複数世代のウォーターマークをサポートするいくつかのアプリケーションに有用である。複数世代のウォーターマークの一例は、コンテンツの後処理の各ステップにおいてファレンシック（farensic）なマークを組み込むことである。複数のウォーターマークにより潜在的に導かれるパーセプチャルな劣化の蓄積を回避するためには、新しいウォーターマークが組み込まれる前に、いくつかのまたは全ての既存のウォーターマークを削除することが望ましい。図４に再生装置におけるウォーターマーク挿入装置の一例を示す。ウォーターマーク挿入装置は、装置で受信されたエンコードされたコンテンツのいくつかの値／係数をＷＵで特定される代替の値に入れ替えることにより、ウォーターマークを組み入れる。置換可能なウォーターマークは、著作権付きコンテンツの複写防止の状態を切り替えるのに有用である。例えば、「コピー１回」を示すウォーターマーク情報を有するコンテンツのユニットに対して、１回のコピーの後に、ウォーターマーク情報を「コピー１回」から「コピーできない」に変更することが望ましい。複数のウォーターマークの潜在的な衝突を避けるためのいくつかの方法がある（例えば、複数のウォーターマーク間のインタフェース）。一つの方法は、ウォーターマークの各世代に対してユニークなサブバンドを用いることである。他の方法は、以前のウォーターマークから異なる位置でＷＵを選択することである。

本発明を、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、またはこれらの組合せにより実行できることを理解されたい。好ましくは、本発明は、ハードウェアとソフトウェアの組合せにより実装される。さらに、ソフトウェアを好適には、プログラム格納装置に格納されたアプリケーションプログラムとして実装することができる。アプリケーションプグラムは、アップロードされ、いくつかの適切な構造のマシンによって実行される。好適には、マシンは、１つまたは複数の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、入出力インタフェース（Ｉ／Ｏ）などのハードウェアを有するコンピュータ上に実装される。本明細書で開示された様々な処理及び機能は、マイクロ命令コードの一部またはアプリケーションプログラムの一部（またはその組合せ）とすることができ、アプリケーションプログラムは、オペレーティンシステムを介して実行される。加えて、付加的なデータ記憶装置及び印刷装置などの様々な周辺装置をコンピュータプラットフォームに接続することができる。

システムの構成要件のいくつか、同時に図示された方法のステップは、好適にはソフトウェアに実装され、システム構成要件（または方法のステップ）間の実際の接続は、本発明をプログラムした方法に依存するものでないことを理解されたい。ここで与えられた教示は、当業者が本発明と同じ実装または構成を熟慮することができる。

本発明の原理に従ったウォーターマークを埋め込む前処理のワークフローを示すブロック図である。 本発明のウォーターマークユニットを示す図である。 本発明の原理に従ったウォーターマークを検出する方法のフロー図である。 ウォーターマークユニットが埋め込まれたエンコードされたコンテンツを受信する再生装置のブロック図である。

Claims (35)

1. エンコードされたコンテンツにおいてウォーターマークを挿入する方法であって、
   エンコードされたコンテンツを受信すること、
   少なくとも１つのウォーターマークユニットを受信すること、および、
   ある位置において始まるビット数を代替の値の一つに直接入れ替えることであって、該代替の値は、埋め込まれたウォーターマーク信号を有すること
   を備えたことを特徴とする方法。
2. 前記ビット数は、前記少なくとも１つのウォーターマークユニットにおいて特定されることを特徴とする請求項１に記載の方法。
3. 前記位置は、前記少なくとも１つのウォーターマークユニットにおいて特定されることを特徴とする請求項１に記載の方法。
4. 前記代替の値は、前記少なくとも１つのウォーターマークユニットにおいて特定される複数の代替の値の中から選択されることを特徴とする請求項１に記載の方法。
5. エンコードされたコンテンツにおいてウォーターマークを挿入するシステムであって、
   エンコードされたコンテンツを受信する手段と、
   少なくとも１つのウォーターマークユニットを受信する手段と、
   ある位置において始まるビット数を代替の値の一つに直接入れ替える手段であって、該代替の値は、埋め込まれたウォーターマーク信号を有する手段と
   を備えたことを特徴とするシステム。
6. 前記ビット数は、前記少なくとも１つのウォーターマークユニットにおいて特定されることを特徴とする請求項５に記載のシステム。
7. 前記位置は、前記少なくとも１つのウォーターマークユニットにおいて特定されることを特徴とする請求項５に記載のシステム。
8. 前記代替の値は、前記少なくとも１つのウォーターマークユニットにおいて特定される複数の代替の値の中から選択されることを特徴とする請求項５に記載のシステム。
9. 前記システムは、再生装置であり、該再生装置は、エンコードされたコンテンツおよび前記少なくとも１つのウォーターマークユニットを受信し、前記エンコードされたコンテンツおよび前記少なくとも１つのウォーターマークユニットは、前記エンコードされたコンテンツの一部として格納された中の１つであり、メタデータとして格納され、ディレクトリィに格納されることを特徴とする請求項５に記載のシステム。
10. エンコードされたコンテンツにおいてウォーターマークを挿入する方法であって、
    エンコードされたコンテンツを受信すること、
    少なくとも１つのウォーターマークユニットを受信すること、
    ウォーターマークペイロード情報を含む一連のビットを受信すること、および、
    ある位置において始まるビット数を代替の値の一つに直接入れ替えることの１つを実行し、前記ウォーターマークペイロード情報の前記一連のビットのビット値に基づいて、前記位置において始まる前記ビット数を変更しないことであって、前記代替の値は、埋め込まれたウォーターマーク信号を有すること
    を備えたことを特徴とする方法。
11. エンコードされたコンテンツにおいてウォーターマークを挿入するシステムであって、
    エンコードされたコンテンツを受信する手段と、
    少なくとも１つのウォーターマークユニットを受信する手段と、
    ウォーターマークペイロード情報を含む一連のビットを受信する手段と、
    ある位置において始まるビット数を代替の値の一つに直接入れ替えることの１つを実行し、前記ウォーターマークペイロード情報の前記一連のビットのビット値に基づいて、前記位置において始まる前記ビット数を変更しない手段であって、前記代替の値は、埋め込まれたウォーターマーク信号を有する手段と
    を備えたことを特徴とするシステム。
12. エンコードされたコンテンツにおいてウォーターマークを入れ替える方法であって、
    エンコードされたコンテンツを受信すること、
    少なくとも１つのウォーターマークユニットを受信すること、および、
    前記エンコードされたコンテンツのある位置において始まるビット数をある値に入れ替えることであって、該値は、前記少なくとも１つのウォーターマークユニットにおいて特定され、および、前記位置は、前記少なくとも１つのウォーターマークユニットにおいて特定されること
    を備えたことを特徴とする方法。
13. 前記値は、前記ウォーターマークユニットにおいて特定される複数の代替の値の中から選択された代替の値であり、該選択された代替の値は、入れ替えられたウォーターマークとは異なるウォーターマークを形成することを特徴とする請求項１２に記載の方法。
14. エンコードされたコンテンツにおいてウォーターマークを入れ替えるシステムであって、
    エンコードされたコンテンツを受信する手段と、
    少なくとも１つのウォーターマークユニットを受信する手段と、
    前記エンコードされたコンテンツのある位置において始まるビット数をある値に入れ替える手段であって、該値は、前記少なくとも１つのウォーターマークユニットにおいて特定され、および、前記位置は、前記少なくとも１つのウォーターマークユニットにおいて特定される手段と
    を備えたことを特徴とするシステム。
15. 前記値は、前記ウォーターマークユニットにおいて特定される複数の代替の値の中から選択された代替の値であり、該選択された代替の値は、入れ替えられたウォーターマークとは異なるウォーターマークを形成することを特徴とする請求項１４に記載のシステム。
16. ウォーターマークを検出する方法であって、
    少なくとも１つのウォーターマークユニットを受信すること、
    ウォーターマークされたコンテンツを受信すること、
    前記ウォーターマークされたコンテンツから複数の係数値を検出すること、および、
    前記係数値から前記ウォーターマークのビット値を検出すること
    を備えたことを特徴とする方法。
17. 前記ビット値は、現在の係数値と前記少なくとも１つのウォーターマークユニットにおいて符号化された複数の係数値とを相関させ、最も適合した整合を判定することにより検出されることを特徴とする請求項１６に記載の方法。
18. 前記ビット値は、前記係数値の間の関係、前記係数値の中の関係に従って前記複数の係数値から検出されることを特徴とする請求項１６に記載の方法。
19. 前記関係は弱く、現在の係数値を相関させ、前記少なくとも１つのウォーターマークユニットにおいて符号化された前記複数の係数中から整合を判定することを特徴とする請求項１８に記載の方法。
20. ウォーターマークを検出するシステムであって、
    少なくとも１つのウォーターマークユニットを受信する手段と、
    ウォーターマークされたコンテンツを受信する手段と、
    前記ウォーターマークされたコンテンツから複数の係数値を検出する手段と、
    前記係数値から前記ウォーターマークのビット値を検出する手段と
    を備えたことを特徴とするシステム。
21. 前記ビット値は、現在の係数値と前記少なくとも１つのウォーターマークユニットにおいて符号化された複数の係数値とを相関させ、最も適合した整合を判定することにより検出されることを特徴とする請求項２０に記載のシステム。
22. 前記ビット値は、前記係数値の間の関係、前記係数値の中の関係に従って前記複数の係数値から検出されることを特徴とする請求項２０に記載のシステム。
23. 前記関係は弱く、現在の係数値を相関させ、前記少なくとも１つのウォーターマークユニットにおいて符号化された前記複数の係数中から整合を判定することを特徴とする請求項２２に記載のシステム。
24. ウォーターマークユニットを生成する方法であって、
    エンコードされたコンテンツにおける値が代替の値により入替わる位置を選択すること、および、
    前記代替の値を計算すること
    を備えたことを特徴とする方法。
25. 前記代替の値は、ウォーターマーク信号を含むことを特徴とする請求項２４に記載の方法。
26. 前記代替の値は、前記代替の値を入れ替える前記値として同じビット数を有することを特徴とする請求項２４に記載の方法。
27. 前記入替は、前記エンコードされたコンテンツに対してパーセプチュアルな変更とならないことを特徴とする請求項２４に記載の方法。
28. 前記入替は、前記エンコードされたコンテンツに準じていないフォーマットとならないことを特徴とする請求項２４に記載の方法。
29. 前記方法は、前処理装置で実行されることを特徴とする請求項２４に記載の方法。
30. ウォーターマークユニットを生成する装置であって、
    エンコードされたコンテンツにおける値が代替の値により入替わる位置を選択する手段と、
    前記代替の値を計算する手段と
    を備えたことを特徴とする装置。
31. 前記代替の値は、ウォーターマーク信号を含むことを特徴とする請求項３０に記載の装置。
32. 前記代替の値は、前記代替の値を入れ替える前記値として同じビット数を有することを特徴とする請求項３０に記載の装置。
33. 前記入替は、前記エンコードされたコンテンツに対してパーセプチュアルな変更とならないことを特徴とする請求項３０に記載の装置。
34. 前記入替は、前記エンコードされたコンテンツに準じていないフォーマットとならないことを特徴とする請求項３０に記載の装置。
35. 前記装置は、前処理装置であることを特徴とする請求項３０に記載の装置。

Images