JP2010532930A - ビデオ透かし入れ - Google Patents

Abstract

ビデオ信号に透かし入れする方法が、複数のエンコード・パラメータを使って前記ビデオ信号をエンコードし、前記エンコードする間に、透かし入れパターンに従って前記パラメータのうち少なくとも選択された一つの値を時間的に変化させることを含み、選択されたパラメータは、少なくとも、信号のエンコードで失われる情報の型または量に影響するものである。好適なパラメータの例は、ビデオ信号をエンコードするために使われる量子化因子である。量子化因子は、ビデオ信号をエンコードするために使われる変換の特定の係数に対応してもよいし、たとえばブロックDCT変換における特定の係数に対応する量子化行列の要素であってもよい。本方法は、既存のDVRのような限られた処理資源をもつ装置において、ソフトウェア更新によって、便利に実装されうるが、それでいてそれらの装置が、自分がエンコードする信号に、その後の圧縮解除および再圧縮でも残る堅牢な透かしをもって刻印することを可能にする。別の側面では、ビデオ信号は、少なくとも一つの選択された非dc空間周波数成分の大きさを、透かし入れパターンに従って時間的に変化する仕方で修正することによって透かし入れされる。対応する透かし検出方法および透かし入れ装置が開示される。

Description

本発明は、ビデオ信号への透かし入れおよびビデオ信号中の電子透かし〔ウォーターマーク〕の検出に関する。特に、これに限るものではないが、本発明は、MPEGフォーマットでエンコードされる際のビデオ信号の透かし入れに関する。

ビデオ信号の透かし入れ（すなわち、何らかの識別可能なコード、パターンまたは特徴をビデオ信号内に埋め込むこと）は既知であり、ビデオ信号の出所または信号の処理履歴を識別するためなどに使うことができる。ソース信号がすでに透かしを入れられていたか否かに関わりなく、エンコード工程の一部としてビデオ信号に透かしを入れる、すなわちエンコードされる信号に透かしを埋め込むことも知られている。透かし入れは、信号に識別可能な透かし入れパターンで印することと見なすこともできる。本明細書の残りの部分を通じて、透かし入れパターン（watermarking pattern）の用語は、透かし入れの目的のために好適な、そのようないかなる識別可能なパターン、コードまたは特徴をも包含して使われる。

法的追跡透かしは、高度に柔軟かつ透明な著作権保護システムの基礎をなすことができる。たとえば、信号に埋め込まれた透かしに従って、その信号についてある種の動作（透かし入れされた映画をパーソナル・ビデオ・レコーダー（PVR）の記憶装置上に記録することまたは該映画をユーザーのポータブル・プレーヤーにエクスポートすること）が許容される一方、他の動作（ピアツーピア・ネットワークを通じた受信された映画の再配布）は拒否されてもよい。

一般に、ビデオ透かし入れはベースバンド（非圧縮）または圧縮されたビデオ・ストリームに対して実行できる。ベースバンド透かし入れに関わる動作は一般により単純であるが、高いデータ・レートは、その工程が専用のハードウェアまたは高速の汎用プロセッサを必要とすることを意味する。これに対し、圧縮された領域についてのデータ・レートはより低いが、ビットストリームをパース〔構文解析〕する計算量のため、やはり専用ハードウェアまたは高速プロセッサの必要につながる。このように、いずれにせよ、これまでは、ビデオ透かし入れのためには専用ハードウェアまたはかなりのプロセッサ資源が必要であった。そのような専用ハードウェアおよび／または必要なプロセッサ資源はこれまで、パーソナル・ビデオ・レコーダー（PVR）としても知られるデジタル・ビデオ・レコーダー（DVR）のような消費者装置には組み込まれていなかった。これらは、ビデオテープなしでデジタル記憶装置（典型的にはハードドライブ・ベースの記憶媒体）にビデオを記録できる装置であり、セットトップボックスおよびパーソナル・コンピュータ用のソフトウェアを含む。換言すれば、これらはビデオ信号の取り込みおよび再生を許容する。典型的には、現行のDVRは限られた処理資源および（単一のエンコーダ・チップのような）専用エンコーダを有する。明らかに、既存のDVRを処理機能を上げるようアップグレードすることや既存のDVRに、ビデオ信号に透かし入れできるようにする追加的なハードウェアを含めることは、不可能ではないまでも問題であろう。

ある種の既知の透かし入れ技術に関する問題は、透かし入れされたエンコードされた信号を圧縮解除し、再圧縮することによって透かしを除去することが可能であるということである。

本発明のある種の実施形態の一つの目的は、従来技術との関係で上に特定された問題の一つまたは複数を少なくとも部分的に克服する透かし入れ方法を提供することである。ある種の実施形態は、ハードウェア修正を必要とすることなく、既存のDVR内に実装できるビデオ透かし入れ方法を提供することをねらいとする。

本発明の第一の側面によれば、ビデオ信号の透かし入れの方法であって：
複数のエンコード・パラメータを使って前記ビデオ信号をエンコードし；
前記エンコードする間に、透かし入れパターンに従って前記パラメータのうち少なくとも選択された一つの値を時間的に変化させることを含み、選択されたパラメータは、少なくとも、信号のエンコードで失われる情報の型または量に影響するものである、
方法が提供される。

エンコード工程で失われる情報の量に影響するパラメータの一例は量子化因子である。本記載における「量子化因子（quantization factor）」の用語は、量子化きざみサイズ（quantization step size）および量子化きざみサイズを修正できるスケーリング因子（scaling factor）を含むものと解釈されるべきである。失われる情報の型に影響する一例として、垂直周波数より水平周波数を多く消去するよう、一つまたは複数のパラメータを変化させてもよい。エンコードされた信号中の情報の総量は、透かしが埋め込まれなかった場合と同じであることができるが、その変化は有意であり、検出可能となる。

有利には、本方法は、ほどほどの処理資源で実装でき、それでいて、時間変動する選択されるパラメータはエンコード工程の損失度に影響するものなので、堅牢な透かしが埋め込まれる。エンコード工程で失われる情報は、あとでデコードによって厳密に復元することはできず、よって透かしは、少なくとも何回かのその後のデコードおよび再エンコード動作にわたって、検出可能なままに留まりうる。透かしは、エンコードされた信号またはそれから導出されるデコードされた信号の好適な統計的解析によって検出されうる。この検出は、既知の透かしパターンと、エンコード工程の間に損失に影響するパラメータを変化させることによって影響される信号のパラメータ（換言すれば属性）の時間的変動との間の統計的な相関があるかどうかを見ることによって達成されうる。フレームのシーケンスを含むビデオ信号の場合、選択されたパラメータを時間的に変化させることは、その信号の異なる部分のエンコードにおいてそのパラメータの異なる値が使われるということを意味する（それらの部分は完全なフレームおよび／またはフレームの部分および／またはフレームのグループであってもよい）。こうして、異なるパラメータ値のシーケンスがビデオ・シーケンスのエンコードにおいて使用されうる。選択されたパラメータ（一つまたは複数）の値を変化させることは、透かし入れパターンに従ったパラメータ値の変調と見なしてもよい。

ある種の実施形態では、選択されたパラメータはビデオ信号をエンコードするために使用されるビットレートである。これは、損失の量を制御する便利な方法である。もう一つの好適なパラメータは、ビデオ信号をエンコードするために使用される量子化因子である。量子化因子は、ビデオ信号をエンコードするために使われる変換の特定の係数に対応しうる。変換はたとえばDCT（Discrete Cosine Transform［離散コサイン変換］）であってもよいし、あるいは他の何らかの型であってもよい。こうして、ある種の実施形態では、量子化因子は、ブロックDCT変換における特定の係数に対応する量子化行列の要素である。量子化因子は、ウェーブレット変換における特定のサブバンドに対応してもよい。これはたとえば、ビデオ・フレームがウェーブレット変換を使うJPEG2000でエンコードされるときに起こる。その際、サブバンドは低‐高の水平‐垂直周波数に対応する。

こうして、ある種の実施形態では、選択されたパラメータは、ビデオ信号をエンコードするために使用される量子化行列（たとえば、MPEGエンコードにおけるピクセル輝度ブロックのDCT行列の係数を量子化するために使われる量子化行列）の量子化因子である。有利なことに、この技法は、小規模なソフトウェア修正を要求するだけなので、ハードウェア修正なしで既存のDVRにおいて実装されうる。DVRでは、ビデオおよびオーディオは典型的には専用のハードウェア・エンコーダ・チップによって圧縮される。エンコード・パラメータは通例、ユーザー・インターフェースなどの管理もする（小さな）ソフトウェアによるプログラムが可能なマイクロコントローラ・チップによって設定される。量子化因子は、値が高いほどより多くの係数が0に丸められる結果となるので、情報の損失に影響する。ひとたび0に丸められると、たとえ使用された量子化因子を知っていたとしても、関連する成分はデコードによって復元できない。同様に、より低い値が使用されると、そうでなければ消えてしまったであろうある種の成分がエンコードされた信号に表現される結果となる。

一つだけのパラメータを変調するのではなく、本発明を実施するある種の方法では、前記の変化させるステップは、複数の選択された前記パラメータのそれぞれの値を透かし入れパターンに従って時間的に変化させることを含む。選択された各パラメータは、少なくとも、信号をエンコードする際に失われる情報の型または量に影響するパラメータである。有利なことに、これは、ビデオ信号に一層堅牢な透かしで印するために使うことができ、検出可能な透かしを生成するために、単一のパラメータの値が変化させられるだけの場合に要求されるであろうよりも、前記二つ以上のパラメータの値のより小さな変動を使うことができるという利点を提供することができる。選択された各パラメータは、たとえば、信号をエンコードする際に失われる情報の異なる型または量に影響してもよいし、同じものに影響してもよい。

ある種の実施形態では、前記複数の選択されたパラメータは、ビデオ信号をエンコードするために使用される量子化行列の二つの量子化因子を含む。ここでもまた、そのような技法は、ソフトウェア修正を必要とするだけなので、既存のDVRに実装するのが比較的簡単である。エンコード工程の間に追加的な処理は要求されない；単一のエンコーダ・チップが使われる場合、以前と厳密に同じ数の処理動作を実行する必要があるだけであり、ただそれらの動作のいくつかについて修正された量子化因子を使うというだけである。ある種の実施形態では、前記二つの量子化因子はDCT行列の垂直周波数成分に対応する第一の因子およびDCT行列の水平周波数成分に対応する第二の因子を含む。

ある種の実施形態では、前記の変化させるステップは、前記二つの量子化因子の一つの値を増加させるのと同時に、前記二つの量子化因子の他方の値を減少させることを含む。有利なことに、これは、デコードされたビデオ信号中の認識可能なアーチファクトを生ずる閾値より十分低いパラメータ値擾乱を使って検出可能な透かしが埋め込まれることを可能にする。透かし検出は、前記二つの因子に対応する二つの周波数帯域における信号エネルギー間の差の変動をモニタリングすることによって便利に達成されうる。

ある種の実施形態では、前記の変化させるステップは、パラメータ値の複数の異なる組の間の切り換えを含む。たとえば、MPEG4パート10（MPEG4-AVCまたはH.264としても知られる）では、使用されうる複数の異なるパラメータ・セット（パラメータ値のグループ）がある。たとえば、動きの大きなシーンはあるパラメータ・セットに、より好適であり、一方、静的なシーンは別のパラメータ・セットに、より好適である。エンコーダを制御する際、各セットを送る必要があるのは一度だけで、その後は単にセット番号を参照すればよい。したがって、有限個のパラメータ・セットの間で変更することによって一つまたは複数のエンコード・パラメータを変えることは、処理要件の面で効率的でありうる。

ある種の実施形態では、透かし入れパターンは、1と0のシーケンスをもつ二値パターンであり、前記の変化させるステップは、エンコードされたビデオ信号に1を埋め込むためには前記二つの量子化因子がそれぞれの第一の値に設定された量子化行列を使い、エンコードされたビデオ信号に0を埋め込むためには前記二つの量子化因子がそれぞれの第二の値に設定された量子化行列を使うことを含む。ある種の例では、一方の量子化因子の第一の値はその量子化因子の第二の値より大きく、他方の量子化因子の第一の値はその量子化因子の第二の値より小さい。しかしながら、代替的な諸実施形態では、透かしビットを埋め込むために、一つだけのパラメータや、三つ以上のパラメータが使用されてもよいことは認識されるであろう。

前記の変化させるステップは、ある種の実施形態では、ビデオ信号をエンコードするために量子化行列のシーケンスを使うことを含み、それらの行列の少なくとも一つの量子化因子の値が透かし入れパターンに従って前記シーケンスに沿って変化するよう構成される。

上で論じた諸方法において、透かし入れパターンは有利には擬似ランダムであってもよい。それにより権限のない者が検出するのがより困難になり、表示されるときにデコードされたビデオ信号上に何らかの知覚できる効果をもつことを避けるのを助ける。そのパターンはたとえば、ある鍵から擬似ランダムに導出されることができる。

ある種の実施形態における透かし入れパターンは二値パターンである（換言すれば、その透かし入れパターンは信号上に印される二進数または符号である）。

ある種の実施形態では、透かし入れパターンはペイロード情報をエンコードする。ペイロード情報は情報、たとえばタイムスタンプ、装置ID、ユーザーID、位置などのさまざまなビットを含みうる。たとえば、装置IDをエンコードする場合、エンコードされたビデオからそのビデオがどの装置で記録されたかがわかる。

本発明のもう一つの側面は、エンコーダおよびデジタル記憶手段を有するデジタル・ビデオ・レコーダー（DVR）においてビデオ信号に透かし入れするための上記諸方法のうちの任意の一つの使用である。その際、前記のエンコードするステップは、前記エンコーダを使ってビデオ信号をエンコードすることを含み、前記の変化させるステップは、透かし入れパターンに従って前記少なくとも一つの選択されたパラメータの値を時間的に変化させることを含む。こうして、通常のエンコード（すなわち同時に透かし入れすることのないエンコード）のためのもの以上の追加的な処理要求をエンコーダに対して課すことなく、ビデオ信号がDVRによって透かし入れされうる（法的追跡および著作権管理目的のために有用）。本方法はさらに、DVRにおいて透かし入れパターンを受領するステップおよび受け取ったパターンをエンコーダを制御するために使用するステップを有していてもよい。こうして、透かしは外部ソースからDVRに供給（送信、ブロードキャスト）されてもよく、エンコーダを制御する単純な制御プロセッサがその透かしを「オンザフライ」でプログラムされても、つまり使用（動作）の間に更新されてもよい。あるいはまた、DVR制御プロセッサはその透かしを起動時にプログラムされてもよいし、あるいは透かしをローカルに生成してもよい。

本発明のもう一つの側面は、エンコーダを有する装置（エンコーダとハードドライブ・ベースのデジタル記憶媒体のようなデジタル記憶手段とを有するパーソナル・ビデオ・レコーダーPVRとしても知られるデジタル・ビデオ・レコーダー（DVR）のような）においてビデオ信号に透かし入れする方法であって、
前記エンコーダを使って複数のエンコード・パラメータを使ってビデオ信号をエンコードし；
ビデオ信号の前記エンコードの間に、前記エンコード・パラメータの少なくとも一つを透かし入れパターンに従って時間的に変化させるよう前記エンコーダを制御することを含む方法、
を提供する。

ここでもまた、透かしはエンコード・パラメータの単純な時間的変化によって埋め込まれるので（その変動がその透かしパターンについて特徴的である）、エンコーダに対して追加的な処理要求が課されることはなく、よって本方法は、DVRのようなプログラム可能な制御プロセッサをもつ既存の装置において、ソフトウェア更新のみによって実装できる。

透かし入れ技法が用いられうる装置のもう一つの例は、MPEGがアナログ・ビデオを圧縮し、次いでそれをWLANを介して家庭じゅうに配信するメディア・ハブである。

本方法はさらに、透かしパターンを、エンコードが実行されるデバイスまたは装置に対して外部のソースなどから受け取るステップを有していてもよい。次いで、選択された単数または複数のパラメータが受け取られたパターンに従って変化させられる。

本発明のもう一つの側面は、ビデオ信号に透かし入れする方法であって：
複数の量子化因子をもつ量子化行列を使ってビデオ信号をエンコードし；
前記エンコードの間に、前記量子化因子の少なくとも一つの値を透かし入れパターンに従って変化させることを含む方法、
を提供する。この側面の利点は上記の議論から明白であろう。

本発明のさらにもう一つの側面は、ビデオ信号を透かし入れする方法であって：
透かし入れパターンに従って量子化行列のシーケンスを決定し；
前記量子化行列のシーケンスを使ってビデオ信号をエンコードすることを含み、ビデオ信号をエンコードするために使われる量子化行列は時間的に変化する、
方法を提供する。

もう一つの側面は装置（たとえばデジタル・ビデオ・レコーダー（DVR））であって：
複数のエンコード・パラメータを使ってビデオ信号をエンコードするよう構成されたエンコーダと；
エンコードされたビデオ信号を記憶するよう適応されたデジタル記憶手段と；
前記エンコーダを制御するよう構成された制御手段とを有しており、前記制御手段はさらに、前記エンコーダがビデオ信号をエンコードしている間に、少なくとも一つの前記エンコード・パラメータの値を透かしパターンに従って変化させるよう構成されている、
装置を提供する。

前記複数のエンコード・パラメータは量子化行列の複数の量子化因子を含んでいてもよく、前記制御手段は、前記エンコーダがビデオ信号をエンコードしている間に、前記量子化因子の少なくとも一つの値を前記透かしパターンに従って時間的に変化させるよう構成されていてもよい。それにより、ビデオ信号をエンコードするために異なる量子化行列からなるシーケンスが使用される。単に単一のパラメータ値を変えるのではなく、ある種の実施形態の前記制御手段は、複数の前記量子化因子のそれぞれの値を、前記エンコーダがビデオ信号をエンコードしている間に、前記透かしパターンに従って時間的に変化させるよう構成される。

ある種の実施形態では、前記制御手段は、当該装置の外部のソースから前記透かしパターンを受け取るよう構成される。代替的な実施形態では、前記制御手段は、透かしパターンを生成するよう適応される。ここでもまた、透かしパターンは擬似ランダムおよび／または二値であってもよい。

本発明のもう一つの側面は、ビデオ信号中の、請求項１記載の方法を使って埋め込まれた透かしを検出する方法であって、当該検出方法は：
ビデオ信号の時間的に変化する属性をモニタリングし；
透かしパターンと整合する前記属性の時間的な変化のパターンを識別することを含む方法、
を提供する。

ここで、モニタリングされる属性は、エンコード工程において失われる情報の型または量のうちの少なくとも一つに影響するエンコード・パラメータの変動によって影響される属性である。

前記の識別するステップはさらに、前記属性の時間的な変動と透かしパターンとの相関を調べることを含んでいてもよい。

前記属性は、所定の期間にわたるピクセルのブロックに対応する少なくとも一つの変換係数の統計量（statistic）であってもよい。たとえば、ある種の実施形態では、前記属性は、ピクセルのあるブロックに対応するDCT行列の係数の、所定の期間にわたる値の和である。換言すれば、前記属性は、DCT行列中の特定の周波数成分に対応する信号の（所定の期間にわたる）累積的なエネルギーを示してもよい。前記所定の期間は、透かしパターンに関係づけられる。たとえば、二値透かしパターンの各ビットがピクチャー・グループ（GOP: Group of Pictures）全体にわたって埋め込まれたはずだとわかっていれば、使用する所定の期間はGOPである。

代替的な実施形態では、前記属性は、ピクセルからなるあるブロックに対応するDCT行列の第一の係数の所定の期間にわたる値の和と、そのDCT行列の第二の係数の前記所定の期間にわたる値の和との間の差である。もちろん、代替的な実施形態では、モニタリングされる属性は一層多くのパラメータまたは周波数成分から導出されてもよいが、一般に、これは検出のためにより多くの処理資源を要求する。

ある種の実施形態では、ビデオ信号は、ピクセル・データの諸フレームを有するベースバンド信号であり、検出方法はさらに、ビデオ信号を、各DCTブロックがピクセルのあるブロックに対応する複数のDCTブロックを有するレベルにエンコードすることを含む。

代替的な実施形態では、ビデオ信号はエンコードされた（圧縮された）フォーマットであり、検出方法はさらに、ビデオ信号を、各DCTブロックがピクセルのあるブロックに対応する複数のDCTブロックを有するレベルにデコードすることを含む。

本発明のもう一つの側面は、ビデオ信号中の、請求項１記載の方法を使って埋め込まれた透かしを検出する装置であって、当該検出装置は：
ビデオ信号の時間的に変化する属性をモニタリングするよう構成されたモニタリング手段と；
透かしパターンと整合する前記属性の時間的な変化のパターンを識別するよう構成されたパターン識別手段と有する装置、
を提供する。

本発明のもう一つの側面は、複数の異なる空間周波数成分をもつビデオ内容を有するビデオ信号に透かし入れする方法であって、ビデオ信号を処理して修正されたビデオ内容をもつ処理されたビデオ信号を生成することを含み、前記処理は、少なくとも一つの選択された非dc空間周波数成分の大きさ（magnitude）を透かし入れパターンに従って時間的に変化する仕方で修正することを含む方法、を提供する。

換言すれば、本方法は、ビデオ信号を処理して、少なくとも一つの選択された非dc空間周波数成分の大きさが透かし入れパターンに従って時間的に変化する修正されたビデオ内容をもつ処理されたビデオ信号を生成することを含む。

非dc（non-dc）とは、選択された空間周波数成分がフレームもしくはサブフレーム（たとえばブロック）についての平均輝度値もしくはクロミナンス値またはフレームもしくはサブフレームにわたって一様である他のそのような値に対応する成分ではないことを意味する。選択された非dc空間周波数成分はたとえば、純粋に水平空間周波数成分であっても、純粋に垂直空間周波数成分であっても、あるいは非0の水平および垂直の空間周波数成分の両方を含む（そして、水平および垂直の空間周波数成分の数は、個別的な実施形態に依存して同じであっても異なっていてもよい）成分であってもよい。本明細書では、水平周波数（horizontal frequency）の用語は、純粋に水平空間周波数成分と、垂直周波数成分より多数の水平周波数成分を含む成分の両方を含むよう使われる。同様に、垂直周波数（vertical frequency）の用語は、純粋に垂直空間周波数成分と、水平周波数成分より多数の垂直周波数成分を含む成分の両方を含むよう使われる。たとえば、DCT基底関数の一般的に使用されるセットに関しては、水平周波数は対角線の右上にある成分であり、垂直周波数は対角線の左下にある成分である。

このようにして（透かし入れパターンに従って一つまたは複数の空間周波数を変調することによって）行う透かし入れに関連する利点は次のことを含む：透かしがコンテンツに関係し（たとえば、その周波数のいくつかをブースト／抑制する）、よって視覚的に知覚できないように簡単にできる；透かしはフレーム（またはフレームのグループ）全体にわたって「一定」であることができる。したがって、フレーム幾何学に対する変化は限られた影響をもち（小さな回転、サイズ変更およびトリミングは透かしに影響しないことがありうる）、結果として、本方法はカムコーダによる取り込みに対して堅牢である；そして本方法はベースバンドおよび圧縮されたビデオ信号において非常に効率的に実装できる（後述）。

ある種の実施形態では、前記修正することは、前記大きさを交互に増大および減少させることを含む。換言すれば、前記処理は、選択された空間周波数成分（単数または複数）を透かし入れパターンに従って交互にブースト（増強、強調）および抑制（低減、強調解除）することを含んでいてもよい。

前記処理は、少なくとも一つの選択された水平空間周波数成分の大きさを透かし入れパターンに従って時間的に変化する仕方で修正し、少なくとも一つの選択された垂直空間周波数成分の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含んでいてもよい。たとえば、透かし入れパターンに従って、前記処理は、交互に、各選択された垂直周波数を抑制する一方で各選択された水平周波数を増強し、次いで垂直周波数（単数または複数）を増強する一方で水平周波数（単数または複数）を抑制してもよい。

ある種の実施形態では、単に一つの水平周波数および一つの垂直周波数が透かしを埋め込むために修正されるが、代替的な実施形態では、複数の水平および垂直周波数が使用されてもよい。特定の実施形態では、水平および垂直周波数のすべてが使用され、透かしは、交互に、垂直周波数を抑制しつつ水平周波数を増強し、次いで垂直周波数を増強しつつ水平周波数を抑制することによって埋め込まれる。

ある種の実施形態では、前記処理は、例えばベースバンド信号であってもよいビデオ信号をフィルタ処理することを含む。一つまたは複数のフィルタが使用されうる。たとえば、一方が水平周波数に向けられ、他方が垂直周波数に向けられる二つの線形フィルタが使用されてもよい。もう一つの代替は、二次元フィルタ（すなわち、ビデオ信号に適用されるときに水平周波数および垂直周波数の両方に影響するフィルタ）を使用することである。

ある種の実施形態では、ビデオ信号は複数のDCT係数を有し、前記処理は、少なくとも一つの選択されたDCT係数の大きさを、透かし入れパターンに従って時間的に変化する仕方で修正することを含む。選択されたDCT係数はもちろん、空間周波数の非dc成分に対応する。この方法は、エンコード工程の一部として実行されてもよい。たとえば、ベースバンド信号から出発して、次いでDCT演算を実行して各ブロックをDCT係数の行列としてエンコードしてもよい。次いで、本透かし入れ方法は、DCT係数の一つまたは複数の大きさを透かし入れパターンに従って時間的に修正する。この修正ののち、エンコード工程は量子化ステップを有していてもよい。該量子化ステップののち、透かし入れパターンは削除不可能な仕方で信号に印加されていることがありうる。

ある種の実施形態では、ビデオ信号は複数のDCT係数を有し、前記処理は：複数の量子化因子をもつ量子化行列を使ってDCT係数を量子化し、少なくとも一つの選択された量子化因子の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含む。ここでもまた、選択された量子化因子（単数または複数）は空間周波数の非dc成分に対応する。

ある種の実施形態では、前記ビデオ信号は、諸フレームのシーケンスおよび諸シーケンス・ヘッダを含むエンコードされたフォーマットにあり、各シーケンス・ヘッダは複数の量子化因子をもつ量子化行列を有し、前記処理は、少なくとも一つの選択された量子化因子の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含む。

このように、透かし入れ方法は、圧縮された領域の信号に対して作用してもよく、単にシーケンス・ヘッダ内の量子化行列に作用してヘッダ間のフレームは不変のままとしてもよい。その効果は、やはりビデオ・コンテンツを修正することである。というのも、ベースバンド信号がその透かし入れされた処理された信号から導出（再構成、デコード）されるとき、シーケンス・ヘッダへの修正の結果として、少なくとも一つの非dc空間周波数成分が透かし入れパターンに従った時間変動を示すからである。

ある種の実施形態では、ビデオ信号は、それぞれが個別周波数範囲に対応する複数のサブバンドと、前記個別サブバンドの変換されたコンテンツを量子化解除する際に使用されるべき複数の量子化きざみサイズを含む複数のヘッダとに変換されたコンテンツを含むエンコードされたフォーマットにあり、前記処理は、少なくとも一つの選択されたきざみサイズの大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含む。ここでもまた、透かし入れ方法は、圧縮領域の信号に対して作用できる；ビデオ・コンテンツの一つまたは複数の空間周波数の所望される変調を達成するためには、単に、エンコードされた信号のヘッダ中の量子化きざみサイズが修正されればよい。同様に、代替的な実施形態では、透かし入れ方法はエンコード工程の間に使用され、量子化されたサブバンド係数が生成される際に量子化きざみサイズが時間的な透かしパターンに従って修正されることができる。

本発明のもう一つの側面は、ビデオ信号における、ある方法を使って該信号中に埋め込まれた透かしを検出する方法であって、前記ある方法とは、複数の異なる空間周波数成分をもつビデオ・コンテンツを有するソース・ビデオ信号を処理して修正されたビデオ・コンテンツをもつ前記ビデオ信号を生成することを含み、前記処理は少なくとも一つの選択された非dc空間周波数成分の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含み、本検出方法は：
前記ビデオ信号の、少なくとも一つの非dc空間周波数成分の大きさの時間的な変動を示す属性をモニタリングし；
透かしパターンと整合する前記属性の時間的な変化のパターンを識別することを含む、
方法を提供する。

さらにもう一つの側面は、上記の方法に従ってビデオ信号に透かし入れするようビデオ信号を処理するよう適応されたプロセッサを有する装置を提供する。

さらなる側面は、上記の検出方法を実行するよう適応された装置であって、属性モニタリング手段およびパターン識別手段を有する装置を提供する。

本発明のこれらおよびその他の側面および本発明の実施形態のさらなる特徴および付随する利点は、以下の実施形態の記述からおよび請求項から明白となるであろう。

本発明の実施形態について、これからあくまでも例として、付属の図面を参照しつつ説明する。

汎用プロセッサがハードウェアMPEGエンコーダの機能を制御する本発明を実施するPVRの概略図である。 分散1のラプラス分布のプロットである。 量子化きざみサイズΔの関数としての期待される絶対値〈|x|〉のプロットであり、ここで、量子化は2Δ|ｘ／(2Δ)＋0.5|である。 本発明を具現する方法および装置を使って透かし入れされうるビデオ信号のDCT係数(i,j)の8×8ブロックの表現である。 本発明を具現する方法および装置を使って透かし入れされうるビデオ信号の２レベルのウェーブレット分解の表現である。 入力ビットストリームを解読し（decrypt）、透かし入れし、デコードする（decode）のに使用されうる本発明を具現する装置の構成要素のブロック図である。 本発明のある種の実施形態におけるMPEGトランスポート・ストリーム（TS）の多重分離および再多重化のブロック図である。

前述したように、PVRのような既存の消費者装置を修正して透かし入れ専用の追加的なハードウェアを含めることは実際的でないまたは不可能であることがありうる。そのような専用ハードウェアを消費者装置に入れることは、次世代装置についてはできるかもしれないが、これはもちろん複雑さおよび費用を上乗せする。本発明の発明者は、それに対し、多くの既存の装置におけるソフトウェアを更新することは比較的簡単であることを認識するに至った。しかしながら、ビデオ信号に透かし入れするために使うには、既存のプロセッサが、透かし入れソフトウェアによって導入されるオーバーヘッドを扱えるべきである。一般に、従前の透かし入れアルゴリズムは著しい処理資源を要求しており、よって既存の資源制約のある消費者装置にとって好適ではなかった。既存のアルゴリズムに関連した問題を見て取り、本願の発明者は、無視できるほどのオーバーヘッドで既存の装置に実装できる透かし入れ手順を開発した。本発明の個別的な実施形態では、透かし入れ方法は、消費者装置における利用可能な資源を利用し、法的追跡透かし（forensic tracking watermark）を埋め込むよう既存のモジュールの振る舞いを修正する。したがって、本発明の既存の消費者装置への適用は、所望の属性（たとえば柔軟なエンコード・パラメータ）をもつ必要なモジュール（特にビデオ・エンコーダ）を有する装置に限定される。

本発明の第一の実施形態は、以下のように、ビデオ信号のMPEGエンコードの際に透かしを埋め込むために量子化行列変調を使う。

MPEG-1、MPEG-2およびMPEG-4（パート２）ビデオ圧縮規格はよく知られており、対応するピクセル・データ・ブロックの8×8ブロックDCT変換と、（DCT行列の）これらの係数のそれぞれの、8×8の「量子化行列（quantization matrix）」内の対応する項目（量子化因子）を使ったその後の量子化とに基づいている。本記載の末尾にある下記の表Ｉは、イントラ・ブロック（たとえばMPEG信号のIフレームに属するブロック）のDCT係数を量子化するために使われるそのような一つの量子化行列の例である。一般に、量子化レベル（すなわち、量子化因子の値）は高周波数係数についてはより大きい、すなわちより粗い量子化が適用される。これは、人間の視覚系が高周波の量子化誤差には比較的感度が低いためである。表Ｉに示されるようなデフォルトの量子化行列に加えて、上記の諸規格はエンコーダがビットストリーム中のカスタム行列を指定することを許容する。さらに、この行列は、たとえば概略一定のビットレートを維持するために、コンテンツ特性の変化を受け容れるよう、ビットストリーム内で変更されることができる。たとえば、MPEG-2ストリームはsequence_header()〔シーケンス・ヘッダ〕を異なるintra_quantizer_matrix〔イントラ量子化器行列〕項目を用いて反復することによって、あるいはquant_matrix_extension()〔量子化行列拡張〕を使って修正される。

第一の実施形態は、これらの規格の一つに従ってコンテンツをエンコードする消費者装置である。この第一の実施形態は、記録の前にアナログ・ビデオ信号入力をエンコードするよう適応されたPVR １であり、図１にブロック図として表現されている。装置１は（コントローラ・チップまたはプロセッサの形の）コントローラ３と、専用のMPEGエンコーダ（ハードウェア・エンコーダ２）と、デジタル記憶手段４とを有する。エンコーダは柔軟であり、特に、カスタム量子化行列の初期化およびオンザフライ更新を許容する。この例におけるコントローラ３は、ビデオ信号放送者（broadcaster）のような外部ソースからデジタル透かし入れパターン（これは透かし入れコードとも記述されうる）を受け取るよう適応され、ビデオ入力信号をエンコードするために使われるエンコーダ・パラメータの少なくとも一つがその透かし入れパターンに従って時間的に変更されるようエンコーダ２を制御する。そのパターンは擬似ランダムであってもよい。しかしながら、他の実施形態では、透かし入れパターンをプログラムされることに頼るのではなく、コントローラが透かし入れパターンを生成するよう適応されていてもよいことは認識されるであろう。この例では、透かしパターンを埋め込むために変更されるエンコーダ・パラメータは量子化行列因子のうちの二つである。よって、図１のPVR １は、それ自身本発明の実施形態であるが、本発明を実施する透かし入れ方法を実装するよう構成される。この方法では、エンコーダは、ビデオ信号をエンコードするために、（コントローラ３によって）時間的に一連の異なる量子化行列を使用するよう強制される。該系列またはシーケンスは透かし入れパターンによって決定される。

二進数01011010の形の透かし入れパターンを考える。本方法はこのパターンを次のようにしてエンコードされた信号に埋め込む。0を埋め込むためには、表Ｉのデフォルト量子化行列を使うのではなく、コントローラ３はエンコーダを制御して、表ＩＩに示される修正された量子化行列を使わせる。この修正された行列では、第１行の第５列にある量子化因子の値がそのデフォルト値に比べて増加されており（26から64に）、同時に、第１列の第５行の量子化因子の値が減少されている（22から16に）。透かし入れコードの1を埋め込むためには、表Ｉのデフォルト量子化行列を使うのではなく、コントローラ３はエンコーダを制御して、表ＩＩＩに示される修正された量子化行列を使わせる。この修正された行列では、第１行の第５列にある量子化因子の値がそのデフォルト値に比べて減少されており（26から16に）、同時に、第１列の第５行の量子化因子の値が増加されている（22から64に）。コントローラ３は、エンコーダ２に異なる量子化行列を適用するタイミングを、透かしコードに従って決定する。ある種の実施形態では、たとえば、透かしコードの各ビットが、関連する行列をただ単一のブロックのエンコードに適用することによって埋め込まれてもよい。シーケンスの次の行列は次のブロックについて使われるのである。あるいはまた、各ビットは、関連する行列を当該ビデオ信号のより長い部分エンコードに適用することによって埋め込まれてもよい。より長い部分とは、たとえば複数のブロック、完全なフレーム、いくつかのフレーム、ピクチャー・グループまたさらに長い部分であってもよい。しかしながら、本発明の方法は、いかなる特定の時間期間にも制限されない最も広義の意味である。

本発明のある実施形態では、透かしコード01011010（これはあくまでも単に一例である）は８つのGOPからなるシーケンスに埋め込まれ、各GOPは表ＩＩおよび表ＩＩＩに示される量子化行列の個別のものを使ってエンコードされる。

エンコードされた信号上の量子化因子を変化させる効果は、次のとおりである。より粗い量子化（増加した量子化レベル、すなわち量子化因子の増加した値）の使用は、その特定の周波数について、より多くの係数を強制的に0にするので、その周波数についての信号エネルギーは再構成されたフレームにおいて低下する。同様に、より細かい量子化（より低い量子化レベル）は、より高い信号エネルギーという逆の効果をもつ。これは、量子化前の係数のよく振る舞う確率分布を想定している（たとえば、典型的には対称的かつ単調減少関数）。本発明のある種の実施形態では、これらの修正は時間的に擬似ランダムに変化するパターン（透かし入れパターン）に従って一貫して実行され、ビデオ上の目に見えない刻印を形成する。この刻印は、その特定の周波数帯のエネルギーを累積し、その時間的変動と基準透かしパターンとの相関を調べることによって検出できる。

視覚的データの圧縮の間に得られるDCT係数は、ラプラス分布によって最もよく記述される。分散1のラプラス分布は図２に見られる（正の側のみを示す）。xがラプラス分布から取られたランダム変数を表すとする。一般に、ビデオ信号の実際のDCT係数は統計的にxと同様である。したがって、xおよびその量子化の統計的属性を調査してDCT係数の統計的振る舞いについての洞察を得ることができる。

圧縮の間、DCT係数はスカラー量子化器（scalar quantizer）によって量子化される。この量子化を2Δ［(x/2Δ)＋0.5］によって表す。ここで、量子化きざみサイズ（量子化因子）はΔである。結果として得られる量子化された信号（よってDCT係数）の期待される絶対値〈|x|〉は量子化きざみサイズの関数となる。この関係は図３に示されている。より大きな量子化値はより小さな期待される絶対値（の和）につながる。したがって、より高い量子化きざみサイズは、再構成された（圧縮解除された）DCT係数についてのより低い絶対値につながると結論される。

本発明を具現する透かし検出方法についてここで述べる。この方法は、表ＩＩおよび表ＩＩＩの修正された量子化行列を使った上記の技法を使って埋め込まれた透かしを検出するのに好適である。透かし検出は次のステップを取ることによって実行される：
・ソース信号の輝度チャネルについて8×8ブロックのDCTを計算する。
（ソース信号がベースバンド信号であれば、本方法はDCTを実行する前に輝度チャネルを計算するステップをも含むべきである。）
（同様に、ソース信号がMPEG圧縮されていれば、本方法はDCT行列に到達するために逆エントロピー符号化および逆量子化をも含むべきである）。
・DCT係数はC^k _i,jである。ここで、kはブロック番号であり、0≦i＜8、0≦j＜8はそれぞれ行および列のインデックスであり、係数の位置を示す。
・（関係する時間期間にわたって）すべてのブロックについて各係数の絶対値を累計する。C^- _i,j＝Σ_k|C_i,j|。
・差Δ＝C^- _0,4−C^- _4,0を計算する。
・Δ＜0ならb＝0、Δ≧1ならb＝1としてビットを検出する。

必要なら、検出されたビットのシーケンスが、相関をさがすために既知の透かしと照合されることができる。

上記の記述から、本発明の実施形態がいくつかの利点を提供することは明白であろう。そうした利点は次のことを含む。

・ハードウェア・エンコーダが修正された使用を受け容れるよう十分柔軟であれば、本透かし入れ技術は最小限のオーバーヘッド（実装するのに必要とされる処理資源の面で）をもちうる。

・複雑さはエンコーダにあり、よって、より高いビットレートの高精細度ビデオが複雑さに影響しない。たとえば、エンコーダが標準精細度および高精細度ビデオをエンコードする機能があっても、後者のほうがずっと計算量が多いが、透かしを埋め込むオーバーヘッドは同じであり、たとえば量子化行列がGOP毎に変更される必要がある。

・検出はベースバンドでもあるいは圧縮領域でも（同様のコーデックで）実行できる。

・透かしは圧縮解除および再圧縮しても残存しうる。

本発明を具現する方法がMPEGエンコードされた信号に透かしを埋め込むために使用されたある種の場合に、（たとえば量子化行列を見るために）信号中のヘッダ情報を調べて透かしについて知ることが可能であることがありうることは認識されるであろう。そのような検査によって簡単にアクセスできる情報の量は関連するパラメータ値への修正の大きさ／位置に依存する。（行列内の）種々の位置でのより小さな修正は検査するのがより困難になり、実際、そのような技術は本発明のある種の実施形態では使用されるが、このようにして埋め込まれる透かしは検出のためにより多くの統計を集積することを要求することにもなる。

上記の導入部から、関連する高いデータ・レート（標準精細度テレビについては100Mb/s超）のため、過去のビデオ透かし入れはしばしば、専用のハードウェアまたはかなりのプロセッサ資源のいずれかを必要としてきた。この要求は、PVR（パーソナル・ビデオ・レコーダー）のような既存の低価格消費者装置におけるビデオ透かし入れの導入を阻んできた。これらの装置はしばしば遅い汎用プロセッサおよび専用のビデオ・エンコーダ／デコーダ・チップをもつ。

本発明のある種の実施形態は、最小限のオーバーヘッドですぐ利用可能な資源に対して適用できる、低計算量のビデオ透かし入れ技法を提供する。本発明のある種の実施形態は、現行世代のPVRにおいて法的追跡透かしを実装するために特に有用である。

本発明を具現するある種の技法は、専用ビデオ・エンコーダ・チップのプログラム可能性に頼る。小さなソフトウェアがエンコーダ・チップを制御する汎用プロセッサ上で走る。それはエンコード・パラメータ、特にMPEG量子化行列を、時間的に所定の（あるいは擬似ランダムに生成される）パターンに従ってを更新する。このパターン――またはエンコードされたビデオ上のその痕跡――が透かしをなす。検出機構も提供される。

本発明のもう一つの側面は、空間周波数の時間的変調によるビデオ透かし入れと見なすことができる。この側面は、一般に、複数の異なる空間周波数成分をもつビデオ内容を有するビデオ信号に透かし入れする方法であって、ビデオ信号を処理して、修正されたビデオ内容をもつ処理されたビデオ信号を生成することを含み、前記処理が少なくとも一つの選択された非dc空間周波数成分の大きさを、透かし入れパターンに従って時間的に変化する仕方で修正することを含む方法、として特徴付けられる。ここで、利点および実施形態について述べる。

本方法は、インターネット・プロトコル・テレビジョン（IP-TV）およびビデオオンデマンド（VoD）アプリケーションにおける法的追跡のためのビデオ透かし入れのために使用されうる。これらは重要な台頭しつつある市場である。本方法は、セットトップボックス（STB）上でのハードウェア／ソフトウェア実装のために好適な新しい諸アルゴリズムを使って実行されうる。

ある種の実施形態は、ビデオ・コンテンツの空間周波数特性を時間的に変更する（変調する）透かし埋め込み方法を提供する。個別的な諸方法は、各フレーム群内の水平／垂直空間周波数を、ペイロード情報を表す所定の透かしパターンに従って強調／強調解除する。たとえば、a＋1を埋め込むために、本方法は水平周波数をブーストし、垂直周波数を抑制してもよい；a−1を埋め込むために、本方法は垂直周波数をブーストし、水平周波数を抑制してもよい。その後、本発明を具現する透かし検出方法は、水平周波数と垂直周波数の相対的な強さ（大きさ）を計算しうる。水平周波数の強さが垂直周波数の強さより高ければ（低ければ）、本方法は値＋1（−1）を出力しうる。複数のそのような値が、透かしの存在を判定するために所定の透かしパターンと照合されるシーケンスを形成する。

本発明を具現する透かし入れ方法の一例において、まず双峰分布から取られた要素をもつ擬似ランダム透かしパターンwを得る。すなわち、w[k]∈{−1,＋1}である。各要素w[k]について、対応するフレーム（またはフレームのグループ）の空間周波数特性をmodする。たとえば、w[k]＝＋1であれば、水平周波数をブーストし、垂直周波数を抑制する；w[k]＝−1であれば、垂直周波数をブーストし、水平周波数を抑制する。これらのブーストおよび抑制の修正は、以下の実施形態および例において説明するように、いくつもの仕方で実行できる。

上記の方法を使って埋め込まれた透かしを検出するには、各フレーム（またはフレームのグループ）について水平周波数と垂直周波数の相対的な強さ（大きさ／エネルギー）を計算する。水平周波数の強さが垂直周波数の強さより高い場合、導出されるベクトルyの対応する要素をa＋1に設定する。すなわち、y[k]＝＋1とする。そうでない場合、y[k]＝−1と設定する。透かしの存在／不在を判定するために、導出されたベクトルyはベクトルwと照合して相関を調べられる。透かしがなければ、水平周波数と垂直周波数は統計的に同一であると期待される。その場合、導出されるベクトルは透かしパターンと相関をもたないであろう。しかしながら、透かしが存在する場合には、導出されるベクトルは相関をもつことになる。

このようにしての（一つまたは複数の空間周波数を透かし入れパターンに従って変調することによる）透かし入れに付随する利点は次のことを含む。

透かしがコンテンツに関係し（その周波数のいくつかをブースト／抑制する）、よって簡単に、視覚的に知覚できないようにできる。

透かしはフレーム（またはフレームのグループ）全体にわたって「一定」であり、したがって、フレーム幾何学に対する変更は限られた影響をもつ。小さな回転、サイズ変更およびトリミングは透かしに影響しない。

結果として、本方法はカムコーダによる取り込みに対して堅牢である。

本方式（方法）はベースバンドおよび圧縮されたビデオ信号において非常に効率的に実装できる（後述）。

ある種の実施形態では、透かしシンボルw[k]は任意の分布、たとえばガウス分布から取られてもよい。すると、ブースト／抑制は、透かしの値に比例するよう構成されることができる。たとえば、本方法はw[k]＝2であればより多くブースト／抑制してもよい。

同様に、ブースト／抑制動作は、知覚的に有意でありかつ異なる水平および垂直周波数について異なることができる強さ因子αによってスケーリングされてもよい。

ある種の実施形態では、透かしは水平周波数または垂直周波数の一方にしか影響しなくてもよい。たとえば、水平周波数をブースト／抑制するだけでもよい。それでも水平周波数と垂直周波数の大きさの間には検出可能な不均衡があるであろう。その理由は、人間の知覚は、あるクラスの内容については一つの方向により敏感でありうることである。

ある種の実施形態では、透かし入れ方法は、アンダーフローおよびオーバーフローを防止するため、抑制動作のみとして実行されてもよい。抑制動作は特定の周波数の大きさを減じる。したがって、対応する信号（たとえばピクセル）値の範囲を縮小する可能性が高い。逆に、ブースト動作は特定の周波数を増加させ（すなわち増幅し）、潜在的には対応する信号値の範囲を増大させる。この増大はアンダーフロー（正弦波が負のとき）またはオーバーフロー（正弦波が正のとき）を導入することがありうる。アンダーフローおよびオーバーフロー条件が飽和するときでさえ（たとえば、255で飽和し、255から0に戻らない）、アーチファクトを引き起こしうる。抑制のみの透かしはそのようなアーチファクトを引き起こす可能性がより低い。

これから種々の透かし埋め込み機構（すなわち、透かし入れするためにビデオ信号を処理する方法）について述べる。

一つの埋め込み（処理）方法は、フィルタ処理、特に線形フィルタ処理を含む。この方法は、水平または垂直周波数に適応された利得1の二つのフィルタ：H_horz、H_vertを使う。

透かしシンボルw[k]を与えられると、透かし入れされたフレーム（watermarked frame）f_wmを

として計算する。ここで、*はフレームの行（水平）または列（垂直）に対して実行される畳み込み演算であり、α₁、α₂は任意的な透かし強さパラメータである。同様に、代替的な諸実施形態において、二次元フィルタ核が使用されてもよい。

もう一つの方法は、ブロックDCTに対して機能する。各フレームf_origは所定のサイズ、たとえば8×8のブロックf(m,n)に分割されうる（m、nはブロック番号）。各ブロックはDCT変換される。すなわち、F(m,n,i,j)＝DCT(f(m,n))。(i,j)は周波数係数のインデックスである。水平または垂直周波数に対応する一つまたは複数のDCT係数は乗算的な透かし値によって増大／減少される。水平および垂直周波数は図４に示されている。

この文脈において、水平周波数をi＜j（右上の三角形）として、垂直周波数をi＞j（左下の三角形）として定義している。すべてのm,nおよび選択されたi,jについて、

とし、ここで、αは任意的な透かし強さパラメータである。

本発明の実施形態で利用されるある種の処理方法は、圧縮領域埋め込みのヘディングのもとで記載されることができる。一つのそのような技術は、以下のように、量子化行列を修正することに関わる。ある種の応用では、法的追跡透かしが、圧縮ビット・ストリームを修正することによってビデオに埋め込まれる必要がある。これは、ビットストリームを圧縮解除し、透かしを埋め込み、再圧縮してビットストリームにすることは計算量的に禁止的となりうるからである。MPEG-2のための典型的なエレメンタリー・ビデオ・ストリームは、規則的な間隔でシーケンス・ヘッダを含んでいる。多くの場合、デコーダが加入すること（たとえばテレビ・セットでのチャンネル切り換えまたはプレーヤーでの早送り）を可能にするために、ビデオ情報の0.5秒（くらい）ごとに一つのシーケンス・ヘッダが存在する。シーケンス・ヘッダ中の一つのフィールドが量子化行列である。この行列は、デコード工程の量子化解除ステップのために、ビット・ストリーム中にエンコードされた量子化されたDCT係数に乗算される。すなわち、

ここで、F_quant(m,n,i,j)はビットストリーム中にエンコードされた量子化されたDCT係数値であり、Q(i,j)はシーケンス・ヘッダ中で指定されている量子化行列であり、F(m,n,i,j)は再構成されたDCT値である。

今の圧縮領域での実装では、あるシーケンス・ヘッダからの同じ量子化行列を利用する諸フレームのグループに同じ透かしシンボルが埋め込まれる。したがって、本透かし入れ方法は、各シーケンス・ヘッダ内の量子化行列を、対応する透かし値w[k]に従って修正してビットストリーム中に透かしを埋め込む。（MPEGのシンタックスは、デフォルトの量子化行列がビットストリーム中の単一ビットを使ってフラグされることを許容する。そのような場合には、そのビットをリセットし、修正された量子化行列を挿入する。）
いくつかの修正の可能性がある。たとえば、選択されたi,jについて：

（DCT修正についての上記のセクションと同様、いくつかの係数について負の修正があってもよい。）ここで、αは任意的な透かし強さパラメータである。第一または第二の修正方法のいずれかを使うことを注意しておく。ビットストリームの残りの部分における量子化されたDCT係数は不変のままとされる。

式(4)の量子化行列における変更（i＜jについて）は圧縮解除されたビデオ・フレームに：

として反映される。

式(5)の量子化行列における変更（i＜jについて）は圧縮解除されたビデオ・フレームに：

として反映される。

要するに、この修正は、対応する量子化行列の要素が増加（減少）されるときにビデオ・フレーム（またはフレームのグループ）の選択されたDCT係数をブースト（抑制）する。

本方式は、同様の仕方でMPEG-4（パート２）およびMPEG-4（パート１０すなわちH.264）に拡張されうる。個々のフレームがJPEGスチール画像圧縮規格を使ってエンコードされている場合、透かしシンボルはそれでも、対応する量子化行列を修正することによって一つまたは複数のフレームにおいて実現されることができる。

ブルーレイ・プレーヤーのための使用シナリオも構想される。近年、新しいブルーレイ・ディスク規格は「BD＋」（SPDCとしても知られる）を採用した。ディスク上で映画に付いてくるコードを走らせる仮想マシン（virtual machine）である。このVMは該コードがデバイス固有な仕方でコンテンツを変更することを許容するよう明示的に設計された。したがって、コンテンツ所有者は、本明細書に記載されている提案される透かし入れの諸方法を、BDプレーヤーの出力を法的にマーク付けするために（すなわち量子化行列を修正することによって）使い始めることができる。同様の機能は他の新しい光ディスク規格に組み込まれることも、仮想マシンを通じて、あるいは本稿で提案される技術を標準化することによって、できる。

さらなる透かし入れ技法は一般に、ウェーブレット・サブバンド量子化きざみサイズを修正することとして記述できる。ビデオ・フレームは、ある種のデジタル映画仕様におけるようにJPEG2000規格に従って個々にエンコードされてもよい。JPEG2000は、サブバンド分解（ウェーブレット）フィルタ・バンクを使って、ビデオ・コンテンツを複数のサブバンドに変換する（図５参照）。各サブバンドはある周波数範囲に対応する。たとえば、LLサブバンドは水平方向および垂直方向両方での低域通過フィルタ処理によって得られる。同様に、LHサブバンドは、水平周波数を低域通過フィルタ処理し垂直周波数を高域通過フィルタ処理することによって得られる。LLサブバンドはさらに第二レベルでのそのサブバンドに分解されうる。各サブバンドにおける係数bは量子化器きざみサイズΔ_bによって量子化される。ビットストリームのヘッダ内で各サブバンドについてきざみサイズを伝送するための、ビットストリーム・シンタックスにおけるオプションがある。

サブバンド量子化きざみサイズΔ_bは、JPEG/MPEG規格の量子化行列Q(i,j)と同様である。それらは式(3)と同様の仕方でウェーブレット係数を量子化解除するために使われる。したがって、本発明のある種の実施形態では、選択された諸サブバンドの量子化器きざみサイズΔ_bを増大／減少させることによって透かしを埋め込みうる。たとえば、LHバンドについてはきざみサイズを増大させて水平周波数をブーストし、HLバンドについてはきざみサイズを減少させて垂直周波数を抑制することができる。

ここで、α₁およびα₂が埋め込み強さをパラメータ化する。本発明を具現する検出方法および検出器装置についてこれから述べる。

ある種の検出実施形態はフィルタ処理を使う（よって、ある種の検出器はフィルタ処理検出器として記述されうる）。これらの実施形態では、透かしは、各フレームにおいて水平および垂直の空間周波数の強さ（大きさ／エネルギー）を検査することによって検出されうる。特に、H_horzおよびH_vertを使って、水平および垂直エネルギーを次のように推定できる：

ここで、和はフレーム（またはフレームのグループ）の全ピクセルにわたって取る。f_suspect[k]は、透かしの存在について探査されている被疑（suspect）ビデオからである。

さらに、そのフレーム（またはフレームのグループ）内の透かしシンボルの推定を、

によって、あるいは単に

の一つによって行う。

各フレーム（またはフレームのグループ）f_suspect[k]についてこれを計算したのち、結果として得られるシーケンスと透かしパターンw[k]との相関を調べる。

Corrがある閾値を超えていれば、そのビデオはこの特定の透かしパターンをもっていると宣言する。ペイロードのエンコード（すなわちペイロード・ビットから透かしシンボルw[k]への移行）および検出（すなわちフレーム情報fsuspect[k]から透かしシンボル推定値へ、そして最終的にはペイロードビットへ）は当業者には既知の多くの方法で実行できることを注意しておく。

ある種の他の検出器はDCT検出器として記述されうる。たとえば、透かしが上で説明したような量子化行列を修正することによって埋め込まれた場合、その透かしはブロックDCT係数の統計を観察することによって検出されうる。特定の検出実施形態では、各フレームを8×8のブロックに分割し、DCT変換を実行してF(m,n,i,j)を得る。ここで、m,nはブロック・インデックスで、i,jはブロック内での係数インデックスである。さらに、

の一つを計算する。ここで、|.|は絶対値演算子である。この操作はフレームのグループについて実行されてもよい。その場合、グループ内の全フレームの結果が加算される。

水平周波数と垂直周波数の間の差を透かしシンボルの推定値として、すべてのi＜jについて：

によって計算してもよい。

したがって、各係数対の差について時系列

を得る。ここで、lは対のインデックス、kは時間のインデックスである。

すると、本発明の諸実施形態において、透かしを検出するための複数の検出戦略が使用されうる。たとえば、各係数系列と透かしパターンとの相関を調べてもよい。

さらに最大相関をもつ係数を取ってもよい。すなわち、Corr＝max Corr(l)。また、（ある閾値を超える）相関を平均してもよい。すなわち、Corr＝Σ_lCorr(l)。

ブロック境界どうしの間での空間的な同期は必ずしも要求されないことを注意しておく。本方式は、（たとえばトリミングに起因して）ブロック境界が任意の量（8の倍数でなくてもよい）シフトされるときでさえ機能する。

ウェーブレット変換された信号中に埋め込まれた透かしの検出は、上記の以前の例と同様である。ウェーブレット変換を使い、DCT係数の代わりにサブバンドを選択するのである。

本発明を具現するある種の方法および装置が圧縮領域にあるビデオ信号に透かし入れするために使用できる（すなわち、圧縮領域の処理を含んでもよい）ことは認識されるであろう。圧縮されたビットストリームに対して最小限の計算量で直接機能する（作用する）いかなる方法も有利であり、特にセットトップボックス（STB）のような資源の制約のある消費者装置においてはそうである。図６はSTB内の動作の概観を示す。入力ビットストリームは、［典型的には］MIPSまたはARMのような汎用プロセッサ上で解読され、透かし入れされる。結果として得られる透かし入れされたビットストリームは光ディスクまたはハードディスク・ドライブ（図示せず）に記録されるか、デコードされて表示のために出力される。

図６に見られるビットストリーム透かし入れモジュールは典型的にはデマルチプレクサ・フロントエンドおよびマルチプレクサ・バックエンドを含み、それにより、オーディオ、ビデオおよび可能性としては他の情報がインターリーブされたビットストリームを処理することができる。トランスポート・ストリームの多重分離が図７に示されている。

本明細書および請求項を通じて、「有する」および「含む」の語が、他の要素やステップを排除しない意味で解釈されるべきであることは認識されるであろう。また、単数形の表現が複数を排除しないこと、単一のプロセッサまたは他のユニットが本記載または請求項に挙げられるいくつかのユニット、機能ブロックまたは段の機能を充足してもよいことが認識されるであろう。請求項に参照符号があったとしても請求項の範囲を限定するものと解釈してはならないことも認識されるであろう。

Claims (30)

1. ビデオ信号に透かし入れする方法であって：
   前記ビデオ信号を複数のエンコード・パラメータを使ってエンコードし；
   前記エンコードする間に、透かし入れパターンに従って前記パラメータのうち少なくとも選択された一つの値を時間的に変化させることを含み、選択されたパラメータは、少なくとも、前記信号のエンコードで失われる情報の型または量に影響するものである、
   方法。
2. 前記変化させるステップは、前記透かしパターンに従って複数の選択された前記パラメータのそれぞれの値を時間的に変化させることを含む、請求項１記載の方法。
3. 選択された各パラメータが前記信号のエンコードで失われる情報の異なる型または量に影響するものである、請求項２記載の方法。
4. 前記選択されたパラメータが前記ビデオ信号をエンコードするために使用されるビットレートである、請求項１記載の方法。
5. 前記選択されたパラメータが前記ビデオ信号をエンコードするために使用される量子化因子である、請求項１記載の方法。
6. 前記量子化因子が、前記ビデオ信号をエンコードするために使われる変換の特定の係数に対応する、請求項５記載の方法。
7. 前記量子化因子が、ブロックDCT変換における特定の係数に対応する量子化行列の要素である、請求項６記載の方法。
8. 前記量子化因子が、ウェーブレット変換における特定のサブバンドに対応する、請求項６記載の方法。
9. 前記変化させるステップが、パラメータ値の複数の異なるセットの間で切り換えることを含む、請求項１記載の方法。
10. エンコーダを有する装置においてビデオ信号に透かし入れするために使われる請求項１記載の方法であって、前記エンコードするステップが、前記エンコーダを使って前記ビデオ信号をエンコードすることを含み、前記変化させるステップが、前記透かし入れパターンに従って前記少なくとも一つの選択されたパラメータの値を時間的に変化させるよう前記エンコーダを制御することを含む、方法。
11. 前記の変化させるステップが：
    透かし入れパターンに従って量子化行列のシーケンスを決定する段階と；
    量子化行列の前記シーケンスを使って前記ビデオ信号をエンコードする段階とを有し、
    前記ビデオ信号をエンコードするために使われる量子化行列は時間とともに変化する、
    請求項１記載の方法。
12. エンコーダおよびデジタル記憶手段を有する装置においてビデオ信号に透かし入れする方法であって：
    前記エンコーダを使って、前記ビデオ信号を複数のエンコード・パラメータを使ってエンコードし；
    前記ビデオ信号をエンコードする間に、透かし入れパターンに従って前記エンコード・パラメータのうち少なくとも一つの値を時間的に変化させるよう前記エンコーダを制御することを含む、
    方法。
13. 複数のエンコード・パラメータを使ってビデオ信号をエンコードするよう構成されたエンコーダと；
    エンコードされたビデオ信号を記憶するよう適応されたデジタル記憶手段と；
    前記エンコーダを制御するよう構成された制御手段とを有しており、前記制御手段はさらに、前記エンコーダがビデオ信号をエンコードしている間に、少なくとも一つの前記エンコード・パラメータの値を透かしパターンに従って変化させるよう構成されている、
    装置。
14. 請求項１３記載の装置であって、前記複数のエンコード・パラメータが複数の量子化因子を含み、前記制御手段は、前記エンコーダがビデオ信号をエンコードしている間に、前記量子化因子のうちの少なくとも一つの値を前記透かしパターンに従って時間的に変化させるよう構成され、前記ビデオ信号をエンコードするために異なる量子化行列からなるシーケンスが使用される、装置。
15. 請求項１３記載の装置であって、前記制御手段は、複数の前記量子化因子のそれぞれの値を、前記エンコーダがビデオ信号をエンコードしている間に、前記透かしパターンに従って時間的に変化させるよう構成されている、装置。
16. ビデオ信号中の透かしを検出する方法であって、前記透かしは、ビデオ信号を複数のエンコード・パラメータを使ってエンコードし、前記エンコードする間に、透かし入れパターンに従って前記パラメータのうち少なくとも選択された一つの値を時間的に変化させることを含む方法であって、選択されたパラメータは、少なくとも、前記信号のエンコードで失われる情報の型または量に影響するものである方法を使って埋め込まれたものであり、当該検出方法は：
    前記ビデオ信号の時間的に変化する属性をモニタリングし；
    透かしパターンと整合する前記属性の時間的な変化のパターンを識別することを含む、
    方法。
17. 前記の識別するステップが、前記属性の変動と透かしパターンとの相関を調べることを含む、請求項１６記載の方法。
18. 前記属性は、所定の期間にわたるピクセルのブロックに対応する少なくとも一つの変換係数の統計量である、請求項１６記載の方法。
19. ビデオ信号中の透かしを検出する検出装置であって、前記透かしは、ビデオ信号を複数のエンコード・パラメータを使ってエンコードし、前記エンコードする間に、透かし入れパターンに従って前記パラメータのうち少なくとも選択された一つの値を時間的に変化させることを含む方法であって、選択されたパラメータは、少なくとも、前記信号のエンコードで失われる情報の型または量に影響するものである方法を使って埋め込まれたものであり、当該検出装置は：
    前記ビデオ信号の時間的に変化する属性をモニタリングするよう構成されたモニタリング手段と；
    透かしパターンと整合する前記属性の時間的な変化のパターンを識別するよう構成されたパターン識別手段とを有する、
    装置。
20. 複数の異なる空間周波数成分をもつビデオ内容を有するビデオ信号に透かし入れする方法であって、前記ビデオ信号を処理して修正されたビデオ内容をもつ処理されたビデオ信号を生成することを含み、前記処理は、少なくとも一つの選択された非dc空間周波数成分の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含む、方法。
21. 前記修正することが、前記大きさを互い違いに増大および減少させることを含む、請求項２０記載の方法。
22. 少なくとも一つの選択された水平空間周波数成分の大きさを前記透かし入れパターンに従って時間的に変化する仕方で修正し、少なくとも一つの選択された垂直空間周波数成分の大きさを前記透かし入れパターンに従って時間的に変化する仕方で修正することを含む、請求項２０記載の方法。
23. 前記処理が、前記ビデオ信号をフィルタ処理することを含む、請求項２０記載の方法。
24. 前記ビデオ信号が複数のDCT係数を有し、前記処理が、少なくとも一つの選択されたDCT係数の大きさを、透かし入れパターンに従って時間的に変化する仕方で修正することを含む、請求項２０記載の方法。
25. 前記ビデオ信号が複数のDCT係数を有し、前記処理が：複数の量子化因子をもつ量子化行列を使って前記DCT係数を量子化し、少なくとも一つの選択された量子化因子の大きさを前記透かし入れパターンに従って時間的に変化する仕方で修正することを含む、請求項２０記載の方法。
26. 前記ビデオ信号が、諸フレームのシーケンスおよび諸シーケンス・ヘッダを含むエンコードされたフォーマットにあり、各シーケンス・ヘッダは複数の量子化因子をもつ量子化行列を有し、前記処理は、少なくとも一つの選択された量子化因子の大きさを前記透かし入れパターンに従って時間的に変化する仕方で修正することを含む、請求項２０記載の方法。
27. 前記ビデオ信号が、それぞれが個別周波数範囲に対応する複数のサブバンドと、それぞれが前記個別サブバンドの変換されたコンテンツを量子化解除する際に使用されるべき複数の量子化きざみサイズを含む複数のヘッダとに変換されたコンテンツを含むエンコードされたフォーマットにあり、前記処理は、少なくとも一つの選択されたきざみサイズの大きさを前記透かし入れパターンに従って時間的に変化する仕方で修正することを含む、請求項２０記載の方法。
28. ビデオ信号における、ある方法を使って該信号中に埋め込まれた透かしを検出する方法であって、前記ある方法とは、複数の異なる空間周波数成分をもつビデオ・コンテンツを有するソース・ビデオ信号を処理して修正されたビデオ・コンテンツをもつ前記ビデオ信号を生成することを含み、前記処理は少なくとも一つの選択された非dc空間周波数成分の大きさを透かし入れパターンに従って時間的に変化する仕方で修正することを含み、本検出方法は：
    前記ビデオ信号の、少なくとも一つの非dc空間周波数成分の大きさの時間的な変動を示す属性をモニタリングし；
    透かしパターンと整合する前記属性の時間的な変化のパターンを識別することを含む、
    方法。
29. 請求項２０記載の方法に従ってビデオ信号に透かし入れするようビデオ信号を処理するよう適応されたプロセッサを有する装置。
30. 請求項２８記載の検出方法を実行するよう適応された装置であって、属性モニタリング手段およびパターン識別手段を有する、装置。

Images