JP2007525127A - 相関形状解析による電子透かし検出 - Google Patents

Abstract

電子透かし検出器（１００）は、情報信号中の電子透かしの存在を検出する。前記情報信号は、相関結果のセット（６４）を導出するため、電子透かしに関する前記情報信号の複数の相対位置のそれぞれについて、予期される電子透かし（Ｗｉ）と相関をとられる。相関結果（６４）は、閾値を超える相関結果のクラスタ、即ち相関ピークである見込みのあるものを表すクラスタを特定するため解析される。複数のクラスタが特定される場合、更なる処理のため最も見込みの高いクラスタが選択され、他の結果は破棄される。結果のクラスタは、情報信号の配布の間の損失の大きな処理により不鮮明にされた相関ピークを特定することができる。

Description

本発明は、情報信号における電子透かしの検出に関する。

電子透かしは、何らかの種類のラベル（label）が情報信号に付加される手法である。電子透かしが付加される情報信号は、データファイル、静止画像、ビデオ、オーディオ又は他のいずれかの種類のメディアコンテンツを表し得る。前記ラベルは、前記情報信号が配布される前に、該情報信号に埋め込まれる。情報信号を劣化させないようにするため、前記ラベルは通常、通常の条件下では知覚されないような態様で付加される。例えば、オーディオファイルに付加された電子透かしは、通常の聴取条件下では可聴ではないべきである。しかしながら電子透かしは、前記情報信号が符号化又は圧縮、変調等のような伝送の間の通常の処理を経た後にも検出可能なままであるために、十分に頑強であるべきである。

多くの電子透かし方式は、検出手法として相関を利用し、ここではテスト中の信号が既知の電子透かしを含む信号と相関をとられる。これらのシステムにおいては、電子透かしの存在は、相関結果における１以上のピークによって示唆される。Ton Kalkerらによる論文「A Video Watermarking System for Broadcast Monitoring」（Proceedings of the SPIE、Bellingham、Virginia、Vol. 3657、1999年1月25日、103-112頁）は、放送ビデオコンテンツにおける電子透かしの存在を検出するための方式を記載している。

殆どのアプリケーションにおいて、電子透かしを入れられたコンテンツには、電子透かしが該コンテンツに埋め込まれる時点と、該電子透かしの存在が検出される時点との間に、種々の処理演算が実行される。コンテンツ処理の一般的な例は、ＭＰＥＧ符号化のような損失の大きい圧縮である。一般に、処理は電子透かし検出処理の間に生じることが通常期待される相関ピークを低下させる。従って、相関ピークを見出すことに基づく電子透かし検出手法の性能はかなり低下させられる。

本発明の目的は、情報信号における電子透かしを検出する改善された方法を提供することにある。

従って、本発明の第１の態様は、情報信号における電子透かしを検出する方法であって、
前記電子透かしに対する前記情報信号の複数の相対位置のそれぞれについて、前記情報信号と電子透かしとの相関をとることにより、相関結果のセットを導出するステップと、
相関ピークである見込みのあるものを表す、所定の閾値を超える相関結果のクラスタを特定するため、前記相関結果のセットを解析するステップと、
を有する方法を提供する。

多くの情報信号に実行される処理は、相関によって電子透かしを検出しようと試みられる際に、相関ピークを不鮮明にする（smearing）効果を持つことが分かっている。適切なサイズを持つ相関結果のクラスタを特定することにより、処理又は他の攻撃が電子透かしの品質を劣化させ、検出のために通常利用される閾値よりも低く前記相関ピークの高さを低下させた場合であっても、電子透かしの入れられたコンテンツを識別することが可能となる。このことは、電子透かし検出器の性能及び電子透かしペイロードの抽出を改善する。

メディアコンテンツのアイテムにおいて僅かに弱くのみ存在する電子透かしを検出する能力は、電子透かしがより弱くコンテンツに埋め込まれることを許容するという選択肢をも提供し、これにより潜在的な不正者による閲覧の際の該電子透かしの可視性を減少させ、又は通常の視聴条件下における該電子透かしの知覚性を減少させる。

好ましくは、相関結果のセットを解析するステップが相関結果の複数のクラスタを特定する場合には、前記方法は更に、真の相関ピークを持つ見込みが高いクラスタを特定するためにクラスタを処理するステップを有する。本処理は、相関結果の全体のセットではなく、相関結果のクラスタに限定されても良い。このことは、必要とされる計算の量を著しく減少させ、より高速な解析及びより単純な（及び安価な）検出器要件に導く。

相関結果のクラスタ及び該結果の値は、相関ピークの形状についての情報を提供し、該情報は電子透かし検出器の性能を更に改善するために利用されることができる。ピークの形状は、相関値がグラフの底線からの高さとしてプロットされたグラフの形で相関結果を見ることにより、より良く理解され得る。

ここで説明される機能は、ソフトウェア、ハードウェア又はこれらの組み合わせで実装されることができる。従って、本発明の他の態様は、本方法を実行するためのソフトウェアを提供する。

ソフトウェアは機器の寿命の間のいずれの時点においてホスト装置にインストールされても良いことは理解されるであろう。該ソフトウェアは、電子メモリ装置、ハードディスク、光ディスク又は他の機械読み取り可能な記憶媒体に保存されても良い。該ソフトウェアは、コンピュータプログラムとして機械読み取り可能な担体で配布されても良いし、又はネットワーク接続を介して装置に直接にダウンロードされても良い。

本発明の更なる態様は、本方法のステップのいずれかを実行する電子透かし検出器、及び前記電子透かし検出器の出力に応答する情報信号を提示する装置を提供する。

説明される実施例は画像又はビデオ信号の処理に言及しているが、前記情報信号はオーディオ又は他のいずれの種類のメディアコンテンツを表すデータであっても良いことは理解されるであろう。

本発明の実施例は、添付図面を参照しながら、例としてのみ、以下に説明される。

背景として、及び本発明の理解のため、図１を参照しながら、電子透かしを埋め込む処理が簡潔に説明される。電子透かしパターンｗ（Ｋ）は、１以上の基本電子透かしパターンｗを利用して構築される。データのペイロード（payload）が該電子透かしによって担持されるべき場合には、幾つかの基本電子透かしパターンが利用される。電子透かしパターンｗ（Ｋ）は、埋め込まれるべきペイロード（多ビットのコードＫ）に従って選択される。前記コードは、幾つかの基本パターンｗを選択し、これらパターンを特定の距離及び方向に互いから離して配置することにより表される。組み合わせられた電子透かしパターンｗ（Ｋ）は、コンテンツに付加されることができるノイズパターンを表す。電子透かしパターンｗ（Ｋ）は、ＭｘＭビットのサイズを持ち、一般にコンテンツのアイテムよりもかなり小さい。従って、ＭｘＭパターンが、コンテンツデータのフォーマットに合致する、より大きなパターンへと繰り返される（タイル状に並置される）（１４）。画像の場合には、パターンｗ（Ｋ）が、組み合わせられる画像のサイズと等しくなるように、タイル状に並置される（１４）。

コンテンツ信号は受信されバッファリングされる（１６）。コンテンツ信号中のローカルアクティビティ（local activity）の度合いλ（Ｘ）が、各画素位置において導出される（１８）。該値は、付加的なノイズの可視性についての尺度を与え、電子透かしパターンＷ（Ｋ）をスケーリングするために利用される。このことは、電子透かしが画像における等しい明るさのエリアのようなコンテンツにおいて知覚可能となることを防ぐ。全体のスケーリング因子ｓが乗算器２２において電子透かしに適用され、このことは電子透かしの全体的な強度を決定する。ｓの選択は、必要とされる頑強さの度合いと、該電子透かしがどの程度知覚可能であるべきかの要件との妥協点である。最後に、電子透かし信号Ｗ（Ｋ）が前記コンテンツ信号に追加される（２４）。該電子透かしが中に埋め込まれた結果の信号は次いで、該コンテンツの通常の配布の一部としての種々の処理ステップを実行される。

図２は、電子透かし検出器１００の模式的な図を示す。前記電子透かし検出器は、電子透かしを埋め込まれたものであり得るコンテンツを受信する。以下の説明においては、該コンテンツは画像又はビデオコンテンツであると仮定される。電子透かし検出は、個々のフレームに対して実行されても良いし、又はフレームの群に対して実行されても良い。蓄積されたフレームは、ＭｘＭ（例えばＭ＝１２８）のサイズのブロックに分割され、次いでＭｘＭサイズのバッファに折り畳まれる。これらの初期ステップはブロック５０として示される。次いでバッファ中のデータに対して、高速フーリエ変換５２が実行される。検出処理における次のステップは、バッファに保持されたデータにおける電子透かしの存在を決定する。前記バッファが特定の電子透かしパターンＷを含むか否かを検出するため、前記バッファの内容と、予期される電子透かしパターンとに対して、相関がとられる。前記コンテンツのデータは複数の電子透かしパターンを含み得るため、幾つかの並列の分岐６０、６１及び６２が示される。分岐のそれぞれは、基本電子透かしパターンＷ０、Ｗ１及びＷ２の１つとの相関をとる。基本パターンＷｉの全てのとり得るシフトベクトルについての相関値が同時に計算される。データ信号と相関をとる前に、基本電子透かしパターンＷｉ（ｉ＝０、１、２）に対して高速フーリエ変換（ＦＦＴ）が実行される。次いで相関値のセットに対して逆高速フーリエ変換が実行される（６３）。相関演算のより完全な詳細は、米国特許ＵＳ６５０５２２３Ｂ１に記載されている。

前記相関をとる際に利用されるフーリエ係数は複素数であり、それぞれが大きさ及び位相を表す実部と虚部とを持つ。検出器の信頼性は、大きさの情報が捨てられ、位相のみが考慮される場合に、著しく改善されることが分かっている。大きさの正規化演算は、点毎の乗算の後、且つ逆フーリエ変換６３の前に実行されることができる。正規化回路の動作は、大きさによる各係数の点毎の除算を有する。上述の手法は一般にＳＰＯＭＦ（Symmetrical Phase Only Matched Filtering）として知られている。

上述の処理からの相関結果のセットは、バッファに保存される（６４）。相関結果のセットの小さな例が図３に示される。電子透かしを入れられたコンテンツは、該相関結果データにおけるピークの存在により示唆される。

上述の処理からの相関結果のセットは、バッファに保存され（６４）、次いでクラスタ探索演算６５によって解析される。電子透かしを入れられたコンテンツは、相関結果データにおけるピークの存在によって示される。ピークは、純粋なガウス雑音で出現する見込みが非常に高い。相関結果のセットは、コンテンツデータにおける電子透かしの存在によるものであり得るピークを特定するために検査される。電子透かしの存在は、鋭い、かなりの高さの孤立したピークによって示唆され得る。しかしながら、殆どの孤立したピークはノイズによる偽の合致を表す傾向がある。電子透かしによるピークは、相関結果における幾つかの隣接する位置に亘って不鮮明にされる見込みが高い。以下に説明するアルゴリズムは、有意な高さの密に配置された点のクラスタを探索することにより、潜在的な電子透かし相関ピークを特定する。目的は、極めて低い出現の見込みを持つ点のクラスタを見出すことである。クラスタリングアルゴリズムが、幾つかの点のクラスタを形成し、これらクラスタのいずれかが、真の相関ピークに対応し得る。これらのクラスタの尤度（likelihood）が比較され、最小の尤度を持つクラスタが所望の相関ピークであると仮定される。本アルゴリズムは以下のステップを有する。

１．閾値を設定し、相関データにおける当該閾値を超える絶対値を持つ全ての点を見出す。本基準に合致する全ての点がリストptsAboveThreshに保存される。提案される閾値は３．３σ（σはバッファ６４中の結果の標準偏差）であるが、該値はいずれの好適な値に設定されても良い。好適な範囲は２．５σ乃至４σである。前記閾値が低く設定され過ぎると、電子透かしの存在に対応しない多くの点が前記リストに保存されてしまう。逆に、該値が高く設定され過ぎると、正当だが不鮮明にされたピークに対応する点が前記リストに追加されないというリスクがある。
２．最も高い絶対値を持つ点を見出す。
３．候補のクラスタ、即ち相関点のクラスタを形成する。候補のクラスタは、「有意」値（前記閾値より大きな値）を持つのみならず、有意な値を持つ少なくとも１つの他の点の非常に近くに配置された点を収集することにより形成される。このことは、以下のように達成される：
（ｉ）ptsAboveThreshから第１の点を除去し、該点を新たなクラスタの第１の点ｐとして挿入する。
（ii）ptsAboveThreshから、点ｐの距離ｄ内にある点を検索する。ptsAboveThreshから斯かる点を全て除去し、これら点を前記クラスタに追加する。
（iii）前記クラスタ中の次の点を現在の点ｐとする。新たな点ｐの距離ｄ内にあるptsAboveThresh中の全ての点を前記クラスタに追加するように、ステップ（ii）を繰り返す。
（iv）ptsAboveThreshが前記クラスタ中の全ての点について処理されるまでステップ（iii）を繰り返す。
（ｖ）結果のクラスタが単一の点のみから成り、且つ該点が上述のステップ２において見出された最も高いピークと等しくない場合には、該クラスタを破棄する。
（vi）ptsAboveThreshが空になるまでステップ（ｉ）乃至（ｖ）を繰り返す。
本手順の終了時には、上述のステップ１においてptsAboveThreshに最初に入力された全ての点は、
−該点に近いptsAboveThreshリストからの他の点を含むクラスタに割り当てられているか、又は
−類似の高さを持つ近隣の点を持たないために廃棄され、それ故クラスタの一部でなくなっているか、
のいずれかである。

前記相関バッファ中の全ての点のうち最も大きな高さの絶対値を持つ点である場合にのみ、クラスタは該単一の点を有することが許容される。このことは、鋭く不鮮明にされていない相関ピークが破棄されることを防ぎ、一方で真のノイズを表す他の孤立したピークが利用されることを防ぐ。

最終段（正当なピーク検出６６）は、結果のクラスタのうちどれが、電子透かしの存在による真の相関ピークを表している見込みが最も高いかを決定する。このことを実現する種々の方法がある。同時係属中の特許出願に記載された一手法は、結果のクラスタの形状を、予期されるピーク形状を表す保存されたデータと比較する。該比較は、相互相関手法により実行されることができる。幾つかの候補クラスタがある場合、該比較は、各候補クラスタに対して実行され、最も良い合致を示すクラスタが、真の相関ピークを表すものとして選択される。

図３及び４は、検出器によって算出されるタイプの相関データのセットの例を示す。図３に示されたデータのセットにおいては、値は−３．８１７２と４．９１９０との間に亘る。電子透かしは負の大きさを持って埋め込まれ得ることに留意されたい。最高値４．９１９０は、ボックス１３０内に示されている。この値は典型的な検出器閾値５よりも小さいが、該最高値は類似の値を持つ他の相関値に囲まれている。このことは、配布連鎖の間の処理によって不鮮明にされたピークを示すものである。上述した手順に従い、また閾値Ｔを３．３に、距離を１に設定すると、リング１４０内の相関値が当該基準に合致することが見出され得る。前記閾値は絶対値であり、従って結果−３．８１７２及び−３．４３７７も含まれることに留意されたい。前記処理の間の動作により、有意な値の結果は全て互いと近くに位置する。点１４２として示される孤立した点は、前記閾値を超える近隣の点を持たず、且つ点１４２自身が前記バッファ内の最高点でないため、処理の間に破棄される。

図４に示されるデータを見ると、値は−３．７３６８と１０．７６５２との間に亘る。同様の検出基準を提供すると、１つの点１６０のみが前記閾値を超える。該点の値は前記閾値を明らかに超えており、従って正当なピークであると考慮される。近隣の値を調査することにより、該値が鋭い相関ピークを表すことが分かる。

相関データの１以上のセットにおいて正当なピークが特定されると、電子透かしパターン間のベクトルを見出すため、即ち種々のパターンｗ０、ｗ１及びｗ２が互いから離れている距離及び方向を特定するため、データの種々のセットの照合が実行される。最後のステップ７５において、先行するステップ７０において特定されたベクトルが、電子透かしのペイロードを表すコードに変換される。

相関ピークの形状により何が意味されるのかを説明するため、図５はグラフとしてプロットされた相関結果データのセットを示す。本例においては、−４．２３のピークが示されている。

コンテンツ信号が特定の相関ピーク形状を持つ見込みが高いことが知られている場合、段５６において利用される閾値は、それに従って変更されても良い。例えば、相関ピークが高く鋭くなるであろうことが知られている場合には前記閾値は高く設定されても良い。逆に該ピークが平坦になり得る場合には、真のピークを表すいずれの相関結果も除外されないようにするため、前記閾値が低くされても良い。損失の多い圧縮、変調及び符号化のような処理は、相関ピークの形状を平坦にするか、又はそうでなければ歪ませ得る。

ペイロードコードＫとして表される埋め込まれた情報は、例えばコンテンツの著作権所有者又はコンテンツの説明を識別し得る。ＤＶＤコピー保護においては、マテリアルが「１度コピー可」、「コピー不可」、「制限なし」、「これ以上のコピー不可」等といったラベル付けをされることを可能とする。図６は、光ディスク、メモリ装置又はハードディスクのような記憶媒体２００に保存されたコンテンツ信号を取得し提示する装置を示す。前記コンテンツ信号は、コンテンツ取得ユニット２０１によって取得される。コンテンツ信号２０２は処理ユニット２０５に供給され、処理ユニット２０５はデータをデコードし、提示（２１１、２１３）のために該データをレンダリングする。コンテンツ信号２０２はまた、上述したタイプの電子透かし検出ユニット２２０に適用される。処理ユニット２０５は、所定の電子透かしが前記コンテンツ信号中に検出された場合にのみ前記コンテンツ信号を処理することが許可されるように構成される。電子透かし検出ユニット２２０から送信された制御信号２２５は、前記コンテンツの処理が許可されるべきか若しくは拒否されるべきかを処理ユニット２０５に通知するか、又は前記コンテンツに関連する何らかのコピー制限を処理ユニット２０５に通知する。代替として、処理ユニット２０５は、所定の電子透かしが前記信号中に検出されなかった場合にのみ前記コンテンツ信号を処理することを許可されるように構成されても良い。

以上の説明において、３つの電子透かしのセットが考慮された。しかしながら本手法は、１つの電子透かしのみを担持するコンテンツデータにおける相関ピークを見出すために適用されても良く、又はいずれの数の複数の電子透かしを担持するコンテンツデータに適用されても良いことは理解されるであろう。

以上の説明において、図を参照しながら、情報信号中の電子透かしの存在を検出する電子透かし検出器１００が説明された。前記情報信号は、相関結果のセット６４を導出するため、電子透かしに対する前記情報信号の複数の相対位置のそれぞれについて、予期される電子透かしＷｉと相関をとられる。相関結果６４は、閾値を超える相関結果のクラスタ、即ち相関ピークである見込みのあるものを表すクラスタを特定するため解析される。複数のクラスタが特定される場合、更なる処理のため最も見込みの高いクラスタが選択され、他の結果は破棄される。結果のクラスタは、情報信号の配布の間の損失の大きな処理により不鮮明にされた相関ピークを特定することができる。

コンテンツのアイテムに電子透かしを埋め込む既知の方法を示す。 コンテンツのアイテムにおける電子透かしの存在を検出するための構成を示す。 検出方法における利用のための相関結果のテーブルを示す。 検出方法における利用のための相関結果のテーブルを示す。 ピーク形状を示すグラフとしてプロットされた相関結果データのセットを示す。 電子透かし検出装置を実施化する、コンテンツを提示するための装置を示す。

Claims (12)

1. 情報信号における電子透かしを検出する方法であって、
   前記電子透かしに対する前記情報信号の複数の相対位置のそれぞれについて、前記情報信号と電子透かしとの相関をとることにより、相関結果のセットを導出するステップと、
   相関ピークである見込みのあるものを表す、閾値を超える相関結果のクラスタを特定するため、前記相関結果のセットを解析するステップと、
   を有する方法。
2. 前記結果のセットを解析するステップは、前記閾値を超える前記セット中の全ての相関結果を決定するステップと、次いで前記相関結果のうち互いから所定の距離内に位置するものはどれかを決定するステップとを有する、請求項１に記載の方法。
3. 前記方法は更に、前記相関結果のセットを解析するステップが、前記閾値を超える孤立した相関結果を特定した場合、前記孤立した相関結果が前記相関結果のセットの中で最も高い値を持つ相関結果であるか否かを決定するステップを有する、請求項１又は２に記載の方法。
4. 前記方法は更に、前記相関結果のセットを解析するステップが、複数の相関結果を特定した場合、真の相関ピークを表す見込みが最も高いクラスタを特定するためクラスタを処理するステップを有する、請求項１乃至３のいずれか一項に記載の方法。
5. 前記処理するステップは、前記相関結果のクラスタの形状を保存された形状情報と比較するステップと、前記保存された形状情報と最も良く合致するクラスタを選択するステップとを有する、請求項４に記載の方法。
6. 前記最も見込みが高いものとして選択されたもの以外の全てのクラスタが破棄される、請求項４又は５に記載の方法。
7. 前記閾値は、予期される相関ピークの形状及び／又は高さに依存して変更される、請求項１乃至６のいずれか一項に記載の方法。
8. 請求項１乃至７のいずれか一項に記載の方法を実行するためのソフトウェア。
9. 情報信号における電子透かしを検出する電子透かし検出器であって、
   前記電子透かしに対する前記情報信号の複数の相対位置のそれぞれについて、前記情報信号と電子透かしとの相関をとることにより、相関結果のセットを導出する手段と、
   相関ピークである見込みのあるものを表す、閾値を超える相関結果のクラスタを特定するため、前記相関結果のセットを解析する手段と、
   を有する電子透かし検出器。
10. 請求項２乃至７のいずれか一項に記載の方法のいずれかのステップを実行するための手段を更に有する、請求項９に記載の電子透かし検出器。
11. 前記相関結果のセットを導出する手段及び前記相関結果のセットを解析する手段は、これら機能を実行するためのソフトウェアを実行するように構成されたプロセッサを有する、請求項９又は１０に記載の電子透かし検出器。
12. 情報信号を提示する装置であって、前記情報信号における正当な電子透かしの存在に依存して前記装置の動作をディスエーブルにする手段を有し、請求項９乃至１１のいずれか一項に記載の電子透かし検出器を有する装置。

Images