JP2004040752A

JP2004040752A - データ処理装置及びデータ処理方法

Info

Publication number: JP2004040752A
Application number: JP2002362514A
Authority: JP
Inventors: Jason Charles Pelly; ペリー　ジェイソン　チャールズ; Daniel Warren Tapson; タプソン　ダニエル　ワレン
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 2001-12-13
Filing date: 2002-12-13
Publication date: 2004-02-05
Anticipated expiration: 2022-12-13
Also published as: US7263615B2; EP1326206A3; GB0129836D0; US20030131243A1; JP2008228344A; JP4157372B2; EP1326206A2; GB2383148A

Abstract

【課題】同じマテリアルのコピーを受け取ったユーザがコルージョンアタックに成功することを困難とする。
【解決手段】この装置は、複数のコードワードからオリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在するコードワードを識別し、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとを比較し、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとが比較閾値以上に相異する場合、ウォータマークが付されたマテリアルアイテムの比較されたサンプルをオリジナルマテリアルアイテムからの対応するサンプルに置換する。オリジナルマテリアルアイテムには存在しなかったアーテファクト等の雑音が生じているマテリアルアイテムのオフェンディングコピーから高い確率でウォータマークコードワードを検出する。
【選択図】　図６

Description

【０００１】
【発明の属する技術分野】
本発明は、マテリアルのバージョンに埋め込まれたコードワードを検出する検出データ処理装置に関する。いくつかの具体例においては、コードワードは、マテリアルアイテムを識別するために使用される。
【０００２】
【従来の技術】
マテリアルを識別するために、マテリアルに情報を埋め込む処理は、ウォータマーキング処理と呼ばれる。
【０００３】
識別コードワードは、マテリアルアイテムのバージョンを識別するために、マテリアルアイテムのバージョンに埋め込まれる。すなわち、ウォータマーキング処理により、マテリアルの特定のバージョンの受信者を特定することができる。ここで、マテリアルの配信者の意向にそぐわない形でマテリアルがコピー又は使用された場合、配信者は、識別コードワードからマテリアルのバージョンを特定し、適切な対策を講ずることができる。
【０００４】
この明細書においては、マテリアルの供給者、所有者、作成者又は配信者の意向にそぐわない形でコピー又は使用されたマテリアルアイテムを、便宜的にマテリアルのオフェンディングアイテム（ｏｆｆｅｎｄｉｎｇ　ｉｔｅｍ）又はオフェンディングマテリアル（ｏｆｆｅｎｄｉｎｇ　ｍａｔｅｒｉａｌ）と呼ぶ。
【０００５】
マテリアルは、ビデオマテリアル、オーディオマテリアル、オーディオ／ビデオマテリアル、ソフトウェアプログラム、デジタル文書及びいかなる種類の情報を含むマテリアル（ｉｎｆｏｒｍａｔｉｏｎ　ｂｅａｒｉｎｇ　ｍａｔｅｒｉａｌ）のいずれであってもよい。
【０００６】
ウォータマークの仕組みを成功させるためには、ユーザが識別コードを除去することが可能な限り困難である必要がある。また、ユーザが識別コードを変更し、マテリアルのオフェンディングアイテムの作成者を他人にみせかけることも可能な限り困難である必要がある。このようなユーザによるコードワードのマスク又はコードワードが他のユーザを示すようにするような改竄は、コルージョンアタック（ｃｏｌｌｕｓｉｏｎ　ａｔｔａｃｋ）と呼ばれる。
【０００７】
【発明が解決しようとする課題】
全てのウォータマークの仕組みにおいて、同じマテリアルのコピーを受け取ったユーザがコルージョンアタックに成功することが困難となるようにする必要がある。したがって、ウォータマークの仕組みは、コルージョンアタックの対象となったウォータマークが付されているマテリアルアイテムを高い確率で特定できるものである必要がある。この特定は、オフェンディングマテリアルから再生されたコードワードを識別することにより実現される。一方、コードワードが存在するのにコードワードが存在しないと判定してしまう確率（見逃し確率：ｆａｌｓｅ　ｎｅｇａｔｉｖｅ　ｐｒｏｂａｂｉｌｉｔｙ）は、低くなくてはならない。更に、実際にはコルージョンアタックに加担していないユーザを誤って不正行為を行ったユーザであると判定してしまう確率（誤検出確率：ｆａｌｓｅ　ｐｏｓｉｔｉｖｅ　ｐｒｏｂａｂｉｌｉｔｙ）は、可能な限り低くしなくてはならない。
【０００８】
米国特許第５６６４０１８号は、マテリアルから複数のコピーに所定数の係数を有するコードワードから作成されたデジタルウォータマークを付すウォータマーキング処理を開示している。ウォータマークが付されるマテリアルアイテムは、例えば画像である。ここで開示されているウォータマークの埋込を行う装置は、画像を離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：以下、ＤＣＴという。）領域に変換する。デジタルウォータマークは、正規分布を有し、ランダムに分布した係数の組から構成されている。ＤＣＴ領域において、それぞれ各ＤＣＴ係数に対応する各コードワード係数が付加される。これに関連する文献である１９９８年７月２７日、ＭＩＴから発行された、ジェイ・キリアン（Ｊ．Ｋｉｌｉａｎ）、エフ・ティー・レイトン（Ｆ．Ｔ．Ｌｅｉｇｈｔｏｎ）著、「コルージョンアタックに対するデジタルウォータマークの保護（Ｒｅｓｉｓｔａｎｃｅ　ｏｆ　Ｄｉｇｉｔａｌ　Ｗａｔｅｒｍａｒｋｓ　ｔｏ　Ｃｏｌｌｕｓｉｏｎ　Ａｔｔａｃｋｓ）」には、アタックを防ぐためのこのウォータマーキング処理の詳細な数学的解析が開示されている。
【０００９】
【課題を解決するための手段】
本発明は、複数のコードワードからオリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。ウォータマークが付されたバージョンは、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとを比較し、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとが比較閾値以上に相異する場合、ウォータマークが付されたマテリアルアイテムの比較されたサンプルをオリジナルマテリアルアイテムからの対応するサンプルに置換する登録プロセッサを備える。更に、検出データ処理装置は、ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える。
【００１０】
本発明は、米国特許第５６６４０１８号に開示されているような、ランダムに分布した係数を有するコードワードを利用した現実的なウォータマークシステムを提供することを目的とする。本発明は、オリジナルマテリアルアイテムには存在しなかったアーテファクト又はこの他の雑音又は劣化が生じているマテリアルアイテムのオフェンディングコピーからウォータマークコードワードを検出するための技術的問題を解決する。例えば、ウォータマークが付されたマテリアルアイテムが、映画館で上映された映画をカムコーダにより録画して海賊版コピーが作成されることがある。この場合、録画されたオフェンディング画像には、例えばカムコーダと映画のスクリーンとの間を移動する人の頭等の雑音又は障害物によってアーテファクトが導入されることがある。
【００１１】
本発明に基づく検出データ処理装置は、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムの対応するサンプルとを比較する。この比較の結果、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのサンプルとが所定量（比較閾値）より大きく相異する場合、比較されたサンプルは、オリジナルマテリアルアイテムの対応するサンプルに置換される。この結果、見逃し確率が低下する。これは、ウォータマークが付されたオフェンディング画像にアーテファクトが存在すると、その部分のサンプルがオリジナルマテリアルアイテムのサンプルと大きく異なることになるためである。通常、コードワードは、オリジナルマテリアルアイテムのサンプルから、コードワード係数が付加されているウォータマークが付されたマテリアルアイテムの対応するサンプルを減算することによって再生される。ここで、ウォータマークが付されたマテリアルアイテムにおいて、オリジナルマテリアルアイテムには存在していない部分から再生される係数は、対応する再生コードワード係数に相関関係を有していない。更に、ウォータマークが付されたマテリアルアイテムとオリジナルマテリアルアイテムとの差が大きいと、相関値の総和が偏り、コードワードの存在を正しく検出できなくなる可能性が高くなる。そこで、上述のように、比較により所定の閾値を超えたサンプルをオリジナルマテリアルアイテムのサンプルに置換することにより、ウォータマークが付されたマテリアルアイテムにおけるアーテファクトに起因する偏りを小さくすることができる。
【００１２】
また、本発明は、複数のコードワードからオリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。ウォータマークが付されたバージョンは、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、ウォータマークが付されたマテリアルアイテムのサンプルの平均値及び分散をオリジナルマテリアルアイテムのサンプルの平均値及び分散に対して正規化する登録プロセッサを備える。更に、検出データ処理装置は、ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える。
【００１３】
本発明に基づくこの検出データ処理装置は、マテリアルアイテムのサンプルのダイナミックレンジを変化させるような処理が施されたウォータマークが付されたマテリアルアイテムからコードワードを検出する場合の技術的問題を解決する。例えば、ウォータマークが付されたマテリアルアイテムが、ウォータマークが付された画像を写真として撮影することによりコピーされた画像である場合、この画像のコントラストは、オリジナル画像のコントラストとは異なるものになることがある。この結果、コードワード係数が付加されたウォータマークが付された画像の各サンプルの値が変化し、見逃し確率が高くなる。すなわち、この場合、オリジナル画像のサンプルからウォータマークが付された画像のコピーのサンプルを減算することにより再生された再生コードワード係数の値は、本来の値より実質的に高く又は低くなってしまう。相対的な値が高く又は低くなることにより、再生コードワード係数の生成されたコードワード係数に対する相関値の総和に影響が生じる。このような影響により、オフェンディングマテリアルアイテムに存在しているコードワードを検出できない確率である見逃し確率が高くなってしまう。
【００１４】
更に、本発明は、複数のコードワードからオリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。ウォータマークが付されたバージョンは、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、検出プロセッサとを有する。検出プロセッサは、再生コードワードと、一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する。一組のコードワードは、コードワード係数の値の分散が実質的に１になるように生成されている。
【００１５】
マテリアルアイテムに導入されたウォータマークコードワードは、オリジナルマテリアルアイテムにとってある種の雑音となることがある。すなわち、ウォータマークは、ユーザにとっては知覚不可能であることが望ましいが、ウォータマークの強度が強すぎると、ウォータマークの効果が知覚可能となってしまう。そこで、この具体例では、ウォータマークの強度をコードワード係数が付加されるマテリアルアイテムのサンプルに応じて調整する。これにより、最小のウォータマーク強度を使用することができる。上述した検出データ処理装置は、符号化データプロセッサにおいてウォータマークを付加するために用いられたウォータマークの強度を用いて、再生コードワードと、生成された一組のコードワードの相関を算出する。したがって、上述した検出データ処理装置では、検出データ処理装置において、ウォータマークの強度が既知である必要がある。ここで、再生コードワードの分散を１に設定することにより、再生コードワードと生成された一組のコードワードについて、ウォータマークが付されたマテリアルアイテムからコードワードの存在を検出できる相関結果を得ることができる。
【００１６】
本発明の更なる側面及び特徴は、添付の請求の範囲において定義されている。
【００１７】
【発明の実施の形態】
ウォータマークシステムの概観
以下、本発明の実施の形態をビデオ画像の保護に関連させて説明する。ビデオ画像を配信すべきユーザの数によりコピーの数が決定する。各コピーには、これらのユーザのうちの１人に割り当てられたコピーを識別するための識別コードワード（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｃｏｄｅ　ｗｏｒｄ）が付加される。
【００１８】
ビデオ画像は、デジタルコードワードを埋め込むことにより保護されるマテリアルの一具体例である。コードワードを埋め込むことにより保護されるマテリアルは、ビデオ画像の他に、ソフトウェアプログラム、デジタル文書、音楽、オーディオ信号及び他のいかなる種類の情報を含むマテリアルであってもよい。
【００１９】
図１は、オリジナル画像のコピーに識別コードワードを導入する符号化画像処理装置（ｅｎｃｏｄｉｎｇ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ａｐｐａｒａｔｕｓ）の具体的構成を示すブロック図である。オリジナル画像Ｉは、ソースから供給され、フレームメモリ１に保存される。このオリジナル画像は、ウォータマークが付された複数のコピーとして複写される（ｒｅｐｒｏｄｕｃｅ）ものであり、各コピーには、固有の識別コードワードが付される。オリジナル画像は、ＤＣＴプロセッサ２に供給され、ＤＣＴプロセッサ２は、オリジナル画像を８×８の画素ブロックに分割し、８×８の各画素ブロックにＤＣＴ処理を施す。これにより、ＤＣＴプロセッサ２は、ＤＣＴ変換画像Ｖを生成する。
【００２０】
以下の説明において、「サンプル」という用語は、画像（又は、実際には他の種類のマテリアルであってもよい。）を構成する離散サンプルを指すものとする。サンプルは、画素からも複写することができる画像の輝度サンプルであってもよい。したがって、サンプルという用語と画素という用語は、状況によっては交換可能である場合もある。
【００２１】
ＤＣＴ画像Ｖは、符号化プロセッサ（以下、エンコーダともいう。）４に供給される。符号化プロセッサ４には、識別コードワード生成器８から識別コードワードも供給されている。
【００２２】
識別コードワード生成器８には、複数のシード値（ｓｅｅｄ）が供給される。各シード値は、それぞれ対応する識別コードワードの１つを生成するために使用される。生成された各識別コードワードは、オリジナル画像のコピーに埋め込まれ、これによりウォータマークが付された画像が生成される。識別コードワード生成器８は、疑似乱数生成器を備える。疑似乱数生成器は、特定の識別コードワードを形成するためのコードワード係数を生成する。好ましい具体例においては、コードワード係数は、正規分布に基づいて生成される。なお、これに代えて、コードワード係数は、疑似乱数生成器を初期化するために用いるシード値に基づいて、予め定めてもよい。したがって、各識別コードワードには、対応するシード値が存在し、各シード値は、メモリ１２に記憶されている。すなわち、識別コードワードＸ^ｉを生成するために、シード値ｓｅｅｄ_ｉをメモリ１２から読み出し、このシード値ｓｅｅｄ_ｉを用いて、識別コードワード生成器８内の疑似乱数生成器を初期化する。
【００２３】
以下の説明では、オリジナル画像のＤＣＴバージョンをＶと表す。ここで、
Ｖ＝｛ｖ_ｉ｝＝｛ｖ_１，ｖ_２，ｖ_３，ｖ_４，・・・，ｖ_Ｎ｝
であり、ｖ_ｉは、画像のＤＣＴ係数である。他の具体例においては、ｖ_ｉは、画像のサンプル値であり、空間領域における画像のサンプル値又は他の領域における画像のサンプル値を表すものであってもよい。
【００２４】
各識別コードワードＸ^ｉは、以下のように、ｎ個のコードワード係数から構成されている。
Ｘ^ｉ＝｛ｘ^ｉ _ｊ｝＝｛ｘ^ｉ _１，ｘ^ｉ _２，ｘ^ｉ _３，ｘ^ｉ _４，・・・，ｘ^ｉ _ｎ｝
コードワード係数の数ｎは、オリジナル画像Ｖのサンプル数に対応する。なお、係数の数は異なるものであってもよく、この数は、特定のアプリケーションに応じて決定してもよい。
【００２５】
そして、ｉ番目の識別コードワードＸ^ｉを構成するコードワード係数のベクトルは、チャンネル１４を介してエンコーダ４に供給される。エンコーダ４は、画像Ｖに識別コードワードＸ^ｉを付加することにより、ウォータマークが付された画像Ｗ_ｉを生成する。実際には、以下の式に示すように、画像の各係数に各コードワード係数を加えることにより、ウォータマークが付された画像Ｗ_ｉが生成される。
Ｗ_ｉ＝Ｖ＋Ｘ^ｉ
Ｗ_ｉ＝ｖ_１＋ｘ^ｉ _１，ｖ_２＋ｘ^ｉ _２，ｖ_３＋ｘ^ｉ _３，ｖ_４＋ｘ^ｉ _４，・・・，ｖ_ｎ＋ｘ^ｉ _ｎ
図１に示すように、ウォータマークが付された画像Ｗ_ｉは、エンコーダ４により生成された画像を逆ＤＣＴ変換する逆ＤＣＴプロセッサ１８によって、逆ＤＣＴ変換された後、この画像処理装置から出力される。
【００２６】
したがって、図１に示すように、エンコーダ４からは、ウォータマークが付された画像の組が出力される。データワードを最大２０ビットとすると、一千万個の識別コードワードの１つを選択することができ、オリジナル画像に対して、一千万個のウォータマークが付されたバージョンＷ_ｉを生成することができる。
【００２７】
この識別コードワードにより、画像Ｉのウォータマークが付されたコピーＷ_ｉを個別に識別することができるが、他の具体例においては、上述の２０ビットにより、画像内でデータを送ることができる。したがって、以下に説明するように、識別コードワードを選択するために使用される２０ビットは、画像Ｖ内でデータを送るための２０ビットのペイロードを提供する。
【００２８】
図１に示す、ウォータマークが付された画像を生成する符号化画像処理装置は、本発明が適用される様々な異なるシナリオにおいて、様々な製品に組み込まれる。例えば、符号化画像処理装置をウェブサイト又はウェブサーバに接続して、ウォータマークが付された画像をダウンロードすることができる。画像のコピーをダウンロードする前に、ダウンロードされる画像には固有のコードワードが導入され、この固有のコードワードにより、ダウンロードされた画像の受信者を後に検出することができる。
【００２９】
他の適用例では、符号化画像処理装置は、デジタル映写機（ｄｉｇｉｔａｌ　ｃｉｎｅｍａ　ｐｒｏｊｅｃｔｏｒ）の一部として組み込まれ、識別コードワードは、例えば映画館において、映画を映写する際に、映像に付加される。この識別コードワードにより、映画が映写された映写機及び映画館を特定することができる。したがって、映写機から映写された映像を撮影して得られた海賊版コピーに含まれる識別コードワードにより、その海賊版コピーが作成された映写機及び映画館を特定することができる。一方、ウォータマークが付された画像は、写真又は印刷物として複写されてもよく、複写された写真又は印刷物のコピーを作成及び配布してもよい。図１においては、符号化画像処理装置によって生成されるウォータマークが付された画像の配信先は、雲形の枠で表現された配信１９で示されている。
【００３０】
検出プロセッサ
図２は、ウォータマークが付されたオフェンディング画像（ｏｆｆｅｎｄｉｎｇ　ｍａｒｋｅｄｉｍａｇｅ）内に埋め込まれている１つ以上のコードワードを検出する検出画像処理装置（ｄｅｔｅｃｔｉｎｇ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ａｐｐａｒａｔｕｓ）の構成を示すブロック図である。包括的にいえば、図２に示す検出画像処理装置は、画像のオフェンディング、すなわちコピー内に存在する１つ以上のコードワードを識別する機能を有している。
【００３１】
ウォータマークが付された画像のオフェンディングバージョンＷ’は、データ源から供給され、フレームメモリ２０に保存される。この検出画像処理装置における検出処理は、画像のオリジナルバージョンを必要とするため、フレームメモリ２４には、画像のオリジナルバージョンが保存されている。ウォータマークが付された画像のオフェンディングバージョンＷ’及び画像のオリジナルバージョンは、それぞれ個別の接続チャンネル２６、２８を介して、登録プロセッサ（ｒｅｇｉｓｔｒａｔｉｏｎ　ｐｒｏｃｅｓｓｏｒ）３０に供給される。
【００３２】
上述のように、画像のオフェンディングバージョンＷ’は、ウォータマークが付された画像Ｗ_ｉの一部を撮影又は複写することにより生成された可能性がある。そこで、識別コードワードの検出率を高めるために、登録プロセッサ３０は、それぞれフレームメモリ２０、２４に保存されているオフェンディング画像と画像のオリジナルバージョンとを実質的に揃える（ａｌｉｇｎ）。この目的は、オリジナル画像のサンプルＩと、ウォータマークが付され、コードワード係数が付加されている対応する画像Ｗ_ｉのサンプルとの対応関係を調べることである。
【００３３】
この登録処理を図３を用いて説明する。図３は、オリジナル画像Ｉとウォータマークが付された画像のオフェンディングバージョンＷ’とを比較して示している。図３に示すように、ウォータマークが付された画像のオフェンディングバージョンＷ’は、オリジナル画像に対してオフセットを有しており、このオフセットは、ウォータマークが付された画像のオフェンディングバージョンが生成されたカメラの相対的な視野に起因する可能性がある。
【００３４】
コードワード係数の表現を再生するために、ウォータマークが付された画像のオフェンディングバージョンＷ’からオリジナル画像の正しいサンプルを減算する必要がある。この処理のために、２つの画像が揃えられる。図３に示すように、登録された画像Ｗ”は、オリジナル画像には存在しない部分を含む周辺領域（ｐｅｒｉｐｈｅｒａｌ　ａｒｅａ）ＰＡを有している。
【００３５】
他の具体例では、例えばインターネットからオフェンディングバージョンがダウンロードされた場合等、オフェンディング画像Ｗ’と既にオリジナル画像のバージョンＩとの対応関係が明かであることがあり、このような場合、登録プロセッサ３０を使用する必要はない。そこで、この検出画像処理装置は、ウォータマークが付された画像を再生プロセッサ４０に直接供給するための代替的なチャンネル３２を備えている。
【００３６】
登録された画像Ｗ”は、再生プロセッサ４０に供給される。再生プロセッサ４０には、第２のチャンネル４４を介して、オリジナル画像Ｉのコピーも供給される。登録された画像Ｗ”及びオリジナル画像Ｉは、ＤＣＴプロセッサ４６によって、ＤＣＴ領域に変換される。次に、以下の式に示すように、オリジナル画像のＤＣＴ領域のサンプルＶからウォータマークが付された画像のＤＣＴ領域のサンプルＶ’を減算することにより、推定コードワードＸ’が算出される。

したがって、再生プロセッサ４０は、接続チャンネル５０を介して、識別すべきコードワードの係数の推定値を出力する。再生されたコードワードＸ’は、相関器５２の第１の入力端子に供給される。相関器５２の第２の入力端子には、コードワード生成器５４によって生成されたコードワードＸ^ｉが供給されている。コードワード生成器５４は、上述の識別コードワード生成器８と同様に、メモリ５８から読み出したコードワードを固有に識別する所定のシード値を用いて全ての可能なコードワードの組を生成する。
【００３７】
相関器５２は、ｎ個の類似値ｓｉｍ（ｉ）を生成する。一具体例においては、類似値ｓｉｍ（ｉ）は、以下の式に基づく相関を求めることにより算出される。
【００３８】
【数１】

【００３９】
ｎ個の類似値ｓｉｍ（ｉ）のそれぞれは、検出器６０に供給される。そして、検出器６０は、ｎ個の可能なコードワードのそれぞれに対する類似値ｓｉｍ（ｉ）を分析する。相関器５２によって生成される類似値ｓｉｍ（ｉ）の具体例と、可能な各コードワードの閾値ＴＨとの関係を図４に示す。図４に示すように、２つのコードワード２００１、１２３４５が閾値ＴＨを超えている。このため、検出器６０は、コードワード２００１及びコードワード１２３４５に対応するウォータマークが付された画像のバージョンからオフェンディング画像が作成されたと判定する。したがって、この具体例においては、一千万である母集団の大きさにより決定される誤検出確率（ｆａｌｓｅ　ｐｏｓｉｔｉｖｅ　ｐｒｏｂａｂｉｌｉｔｙ）と、ウォータマーク強度（ｗａｔｅｒｍａｒｋｉｎｇ　ｓｔｒｅｎｇｔｈ）とに基づいて、誤検出確率を保証する閾値ＴＨの高さを設定することができる。図４に示す具体例では、相関器５２によって生成された類似値が閾値を超えている場合、この誤検出確率をもって、このウォータマークが付された画像の受信者が不正行為を行い、ウォータマークが付された画像のオフェンディングバージョンＷ^ｉの作成に関与したと判断される。
【００４０】
以下、図１及び図２に示すウォータマークシステムの特徴及び利点を説明する。
【００４１】
登録
ウォータマークが付された画像のオフェンディングバージョンと、オリジナル画像のコピーとを揃える処理は、オリジナル画像のサンプルと、ウォータマークが付された画像のサンプルとの相関を調べる処理を含む。この相関処理は、画像の各サンプルを異なるシフト量でシフトさせて実行される。この処理を図５を用いて説明する。図５Ａは、オリジナル画像の離散サンプルを示し、図５Ｂは、ウォータマークが付されたオフェンディング画像Ｗ’の離散サンプルを示している。図５Ａ及び図５Ｂに示すように、各サンプル間の時間差は、サンプリングレートにより定まるｄｔである。これらの画像の各サンプルの組をシフトし、離散サンプルを相関させた結果を図５Ｃに示す。
【００４２】
図５Ｃに示すように、第６サンプルと第７サンプルの間で相関ピークが最高になっている。そこで、ウォータマークが付されたオフェンディング画像は、オリジナル画像に対してこの量だけシフトされて登録される。
【００４３】
改良検出技術
１に設定された再生コードワード強度（Ｓｔｒｅｎｇｔｈ　ｏｆ　Ｒｅｇｅｎｅｒａｔｅｄ　Ｃｏｄｅ　Ｗｏｒｄ　Ｓｅｔ　ａｔ　Ｕｎｉｔｙ）
上述のように、ウォータマークシステムのコードワードは、疑似ランダム的に分布した数から複数のコードワード係数を生成することにより作成される。この数値は、疑似乱数生成器によって生成される。疑似乱数生成器は、シード値によって初期化され、このシード値は、生成される数値を決定する。いくつかの具体例においては、各ワードに対して固有のシード値が与えられている。また、他の具体例においては、少なくともいくつかのコードワードは、第１の基礎コードワード（ａ　ｆｉｒｓｔ　ｂａｓｅ　ｃｏｄｅ　ｗｏｒｄ）を循環的にシフトすることによって生成される。コルージョンアタックに対する耐性を高めるために、秘密の順序変更コード（ｓｅｃｒｅｔ　ｐｅｒｍｕｔａｔｉｏｎ　ｃｏｄｅ）に基づいて、循環的にシフトされるコードワードの順序を変更してもよい。
【００４４】
好適な具体例においては、コードワードを作成するために生成されるコードワード係数の平均値は０であり、その分散（ｖａｒｉａｎｃｅ）は、αに設定されている。分散αは、ウォータマークの値又は強度である。すなわち、強度が強い程、検出プロセッサによってウォータマークが検出される確率が高くなる。但し、強度が強くなると、ウォータマークが付された画像において、ウォータマークが知覚されやすくなる。
【００４５】
上述したように、検出画像プロセッサは、相関器５２とコードワード生成器５４とを備えている。相関器５２は、再生された（ｒｅｃｏｖｅｒｅｄ）コードワードＸ’と、一組のコードワードの各コードワードとの相関を調べ、類似値ｓｉｍ（ｉ）を算出する。ここで、生成される乱数の分散を１（ｕｎｉｔｙ）に設定することにより、コードワード生成器５４の性能を高めることができる。そこで、コードワード生成器５４内の乱数生成器は、符号化画像プロセッサのコードワード生成器８に対応しているが、生成される数値の分散は、αではなく１に設定する。これにより、ウォータマークコードワードの強度は１に設定される。
【００４６】
上述した相関器によって算出される相関値の総和は、再生コードワードを１に設定することによっては影響されない。したがって、ユーザｉが正当な（ｉｎｎｏｃｅｎｔ）ユーザである場合、ユーザｉに対する類似値ｓｉｍ（ｉ）は、平均値が０で分散が１の正規分布したランダム変数となる。この結果、検出器６０によって適用される閾値は、符号化強度αから常に独立している。このため、検出プロセッサにとって、符号化強度αは、既知である必要がない。したがって、符号化強度αは、検出プロセッサから独立して設定することができる。
【００４７】
画像アーテファクトとの相関
ウォータマークが付された画像がオリジナル画像に実質的に対応しており、画像を揃えた場合であっても、ウォータマークが付されたオフェンディング画像には、オリジナル画像に存在しなかったアーテファクトが現れる場合がある。このようなアーテファクトは、例えばウォータマークが付された画像Ｗ’の海賊版コピーが作成されたときに生じる。例えば、カムコーダを用いて、映画館で上映されているウォータマークが付された映画を録画したとする。このとき、例えば映画のスクリーンとカムコーダとの間で人の頭が動いた場合等にウォータマークが付された画像のコピーにアーテファクトが導入される。人の頭は、ウォータマークが付された画像の一部を遮る障害物となる。この状態を図６Ａに示す。図６Ａは、図６Ｂに示すオリジナル画像Ｉに対するウォータマークが付されたオフェンディング画像Ｗ’の具体例を示している。図６Ａに示すように、オフェンディング画像Ｗ’は、映画のスクリーンとカムコーダとの間を通過した人の頭によって生じたアーテファクトを含んでいる。
【００４８】
したがって、ウォータマークが付された画像のオフェンディングコピーは、オリジナル画像には存在しなかった特徴を有することとなる。上述のように、再生（ｒｅｃｏｖｅｒｅｄ）コードワードＸ’を生成するために、ＤＣＴ領域のサンプルＶをウォータマークが付されたオフェンディング画像のサンプルＶ’から減算する。ここで、アーテファクトが存在するウォータマークが付されたオフェンディング画像の一部は、オリジナル画像の対応する部分とは相関していない。この結果、コードワードの組内の各再生コードワードについて、相関器５２によって算出される類似値ｓｉｍ（ｉ）に重大な影響が生じる。これは、画像間の大きな相異により、所定のコードワード係数の値とは大きく異なる再生コードワード係数が生成されるためである。したがって、再生コードワードに対応する正しいコードワードに関する類似値ｓｉｍ（ｉ）が検出器６０において閾値を超えなくなる可能性が高くなり、見逃し確率が高くなる。
【００４９】
このようなアーテファクトによる問題を回避するために、登録プロセッサは、オリジナル画像のサンプルとウォータマークが付されたオフェンディング画像のサンプルとを比較する。そして、これらのサンプル間の差分絶対値和（ｍｅａｎ　ａｂｓｏｌｕｔｅ　ｄｉｆｆｅｒｅｎｃｅ）が所定の比較閾値を超えた場合、これらのサンプルに対応するウォータマークが付された部分をオリジナル画像のサンプルと置換する。この置換処理を図６Ｃに示す。図６Ｃに示すオフェンディング画像Ｗ”では、オリジナル画像Ｉに対応していないウォータマークが付されたオフェンディング画像Ｗ’の部分が、オリジナル画像の対応する部分に置換されている。実際には、これらの置換されたサンプルは、コードワードの対応する係数を含まないが、この処理により相関演算により算出される類似値ｓｉｍ（ｉ）への悪影響が低減される。したがって、このような処理により、アーテファクトが存在する場合において、ウォータマークが付された画像からコードワードを正しく検出できる確率が高くなり見逃し確率が低くなる。この処理は、数学的には以下のように表される。
ＩＦ　ｗ’_ｉ−ｉ_ｉ＞ｔｈ_ｃｏｍｐ　ｔｈｅｎｗ’_ｉ＝ｉ_ｉ
画像コントラスト前処理
コードワードを検出する前に、ウォータマークが付された画像に前処理を施すことにより、ウォータマークコードワードの検出性能を向上させることができる。本発明の具体例として図２に示す検出画像プロセッサは、ウォータマークが付されたオフェンディング画像とオリジナル画像との間のコントラストの差を修正するための前処理をウォータマークが付されたオフェンディング画像に施す。ウォータマークが付されたオフェンディング画像が、例えばウォータマークが付された画像を撮影することにより複製された場合、この写真から作成されたオフェンディング画像のコントラストは、オリジナル画像のコントラストとは異なるものとなる可能性がある。例えば、コードワード係数が付加されたオリジナル画像のサンプルが画像の輝度値から生成される場合がある。この場合、コントラストの変化は、オリジナル画像のＤＣＴ係数と、ウォータマークが付されたオフェンディング画像のＤＣＴ係数との間の相対的な差を変化させてしまう。これにより、ウォータマークが付されたオフェンディング画像からコードワードが正しく検出される可能性が低下する。これは、ウォータマークが付された画像からのサンプルの値と、オリジナル画像のサンプルの値の差により、コードワードが正しく再生される可能性が低下するためである。これは、数学的には、以下のように表すことができる。

ここで、Ｃは、コントラストの変化によって導入された換算係数である。
【００５０】
このような技術的問題に対処するために、図２に示す検出画像プロセッサの登録プロセッサ３０は、オフェンディング画像に対する前処理を行う。この前処理により、２つの画像間のコントラストの差が低減される。この差の低減は、ウォータマークが付されたオフェンディング画像のサンプルの標準偏差及び平均値と、オリジナル画像のサンプルの標準偏差及び平均値とを算出し、ウォータマークが付されたオフェンディング画像をオリジナル画像に対して正規化することによって実現される。この処理は、数学的には以下のように表される。
【００５１】
【数２】

【００５２】
正規化処理の結果、オフェンディング画像のサンプル内の値の相対的な差と、オリジナル画像のサンプル内の値の相対的な差とが実質的に同じになるため、見逃し確率が低下する。
【００５３】
いくつかの具体例においては、正規化平均値μと正規化分散σを所定の予め記憶された値に設定してもよい。また、他の具体例においては、オリジナル画像Ｉのサンプルの平均値及び分散を算出することにより正規化平均値μと、正規化分散σを決定してもよい。
【００５４】
他の適用例
ウォータマークシステムの符号化データ処理装置は、上述した映写機及びウェブサーバに加えて、他の用途にも適用することができる。例えば、本発明は、通信装置から信号を受信し、この受信した信号にコードワードを導入することにより情報にウォータマークを付す受信機／デコーダにも適用することができる。例えば、セットトップボックスは、放送の「ヘッドエンド」機器又はマルチキャスト機器からテレビジョン及びビデオ信号を受信する。このような適用例では、符号化データ処理装置は、セットトップボックスの一部を構成し、信号を受信及びデコードする際にビデオ信号にウォータマークコードワードを導入する。一具体例においては、このウォータマークコードワードは、ビデオ信号を受信及びデコードしたセットトップボックスを固有に特定する。
【００５５】
更に、本発明は、衛星からデジタル映画データ（ｄｉｇｉｔａｌ　ｃｉｎｅｍａ　ｆｉｌｍ）を受信するデジタル映画受信機にも適用することができる。このデジタル映画受信機は、デジタル映画を表す信号を受信し、この信号をデコードしてデジタル映画を再生する。この受信機は、デコードされた映画信号にウォータマークコードワードを導入する符号化データ処理装置を備える。ウォータマークコードワードは、例えば、デジタル映画データを受信したデジタル映画受信機を固有に特定する。
【００５６】
更に、本発明は、メモリ及びメモリコントローラを備えるデジタルカメラ又はカムコーダ等にも適用することができる。この適用例では、本発明に係る符号化データ処理装置は、メモリに記憶されているウォータマークコードワードをデジタルカメラ等によって撮影されたビデオ信号に導入する。この適用例においては、コードワードは予めメモリに記憶されており、したがって、符号化データ処理装置は、コードワード生成器を備えていない。メモリに記憶されているコードワードは、メモリコントローラの制御の下、ビデオ信号に埋め込まれ、これによりビデオ信号を固有に又は疑似固有的（ｑｕａｓｉ−ｕｎｉｑｕｅｌｙ）に特定する。
【００５７】
更なる具体例においては、本発明に基づく符号化データ処理装置は、連続的な画像又は動画を構成する複数の異なるデジタル画像のフレームのそれぞれに一連のウォータマークコードワードを個別に埋め込む。これらのコードワードは、互いに関連性を有していてもよく、これらのコードワードにより、各フレームに対応する画像を個別に識別することができるようになる。
【００５８】
本発明の更なる様々な側面及び特徴は、添付の請求の範囲において定義されている。この請求の範囲から逸脱することなく、上述した実施の形態を様々に変更することができる。
【図面の簡単な説明】
【図１】符号化画像処理装置の構成を示すブロック図である。
【図２】検出画像処理装置の構成を示すブロック図である。
【図３】図３Ａはオリジナル画像を示し、図３Ｂはウォータマークが付された画像を示し、図３Ｃは登録された画像を示す図である。
【図４】Ｎ個のコードワードの組の各コードワードに関する相関結果の具体例を示すグラフ図である。
【図５】図５Ａはオリジナル画像Ｉのサンプルに対応するグラフ図であり、図５Ｂはウォータマークが付された画像Ｗ’に対応するグラフ図であり、図５Ｃはオリジナル画像とウォータマークが付された画像との離散サンプルシフト毎の相関結果を示すグラフ図である。
【図６】図６Ａは、アーテファクトを含むウォータマークが付された画像を示し、図６Ｂは、図６Ａに示す画像のオリジナル画像を示し、図６Ｃは、図６Ａに示す画像を本発明に基づく図２に示す登録プロセッサにより前処理した後の画像を示す図である。

Claims

複数のコードワードから、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置において、
ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとを比較し、ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとが比較閾値以上に相異する場合、該ウォータマークが付されたマテリアルアイテムの比較されたサンプルを該オリジナルマテリアルアイテムからの対応するサンプルに置換する登録プロセッサと、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、
上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出し、該相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える検出データ処理装置。
上記登録プロセッサは、上記マテリアルアイテムのウォータマークが付されたバージョンのサンプルと、対応するコードワード係数が付加された上記オリジナルマテリアルの対応するサンプルとを関連付けることを特徴とする請求項１記載の検出データ処理装置。
上記登録プロセッサは、
上記オリジナルマテリアルアイテムの上記マテリアルアイテムのウォータマークが付されたバージョンに対する複数の各シフトについて、該オリジナルマテリアルアイテムのサンプルと、該ウォータマークが付されたバージョンのサンプルの相関値を表す表現を生成し、
上記各シフトのうち、上記各シフトのうち、最も高い相関値を示すシフトから、上記オリジナルマテリアルアイテムの上記ウォータマークが付されたバージョンに対する登録位置を判定することにより、
上記マテリアルアイテムのウォータマークが付されたバージョンのサンプルと、上記オリジナルマテリアルの対応するサンプルとを関連付けることを特徴とする請求項２記載の検出データ処理装置。
上記登録プロセッサは、
上記登録位置に関して、上記オリジナルマテリアルアイテムの各サンプル及び上記マテリアルアイテムのウォータマークが付されたバージョンの対応するサンプルの間の差を算出し、
上記差を所定の閾値と比較し、該差が該閾値より大きい場合、上記マテリアルアイテムのウォータマークが付されたバージョンの登録されたサンプルを上記オリジナルマテリアルアイテムの対応するサンプルに置換することを特徴とする請求項３記載の検出データ処理装置。
ウォータマークが付されたマテリアルのサンプルからシード値を生成するコードワード生成器を有する上記相関プロセッサを備えることを特徴とする請求項１乃至４いずれか１項記載の検出データ処理装置。
上記コードワードは、離散コサイン変換領域において、上記マテリアルアイテムに導入され、
上記ウォータマークが付されたマテリアルアイテム及びオリジナルマテリアルアイテムを離散コサイン変換領域に変換する離散コサイン変換プロセッサを備え、
上記オリジナルマテリアルアイテムの離散コサイン変換係数から、上記ウォータマークが付されたバージョンの対応する離散コサイン変換係数を減算することにより、上記再生コードワードを生成する再生プロセッサを備えることを特徴とする請求項１乃至５いずれか１項記載の検出データ処理装置。
上記登録プロセッサは、上記ウォータマークが付されたマテリアルアイテムのサンプルの平均値及び分散を上記オリジナルマテリアルアイテムのサンプルの平均値及び分散に対して正規化することを特徴とする請求項１乃至６いずれか１項記載の検出データ処理装置。
上記再生コードワード係数の分散の値は１であることを特徴とする請求項１乃至７いずれか１項記載の検出データ処理装置。
複数のコードワードから、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置において、
上記ウォータマークが付されたマテリアルアイテムのサンプルの平均値及び分散を上記オリジナルマテリアルアイテムのサンプルの平均値及び分散に対して正規化する登録プロセッサと、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、
上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出し、該相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える検出データ処理装置。
上記登録プロセッサは、
正規化された平均値及び分散を算出し、
上記ウォータマークが付されたマテリアルアイテム及びオリジナルマテリアルアイテムの各サンプルに対して、上記正規化された平均値による減算と、上記正規化された分散による除算を行うことを特徴とする請求項９記載の検出データ処理装置。
上記正規化された平均値及び分散は所定の値であることを特徴とする請求項１０記載の検出データ処理装置。
上記正規化された平均値及び分散は、上記オリジナルマテリアルアイテムのサンプルの平均値及び分散を算出することにより決定されることを特徴とする請求項１０記載の検出データ処理装置。
複数のコードワードから、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置において、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成する復号プロセッサと、
上記再生コードワードと、コードワード係数の値の分散が実質的に１になるように生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出し、該相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える検出データ処理装置。
上記復号プロセッサは、上記オリジナルマテリアルアイテムのサンプルから上記ウォータマークが付されたバージョンの対応するサンプルを減算することにより上記再生コードワードを再生し、上記複数のコードワードのそれぞれについて、上記再生コードワードと該各コードワードとの相関を調べることにより相関値の総和を生成することを特徴とする請求項１３記載の検出データ処理装置。
オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する１つ以上の所定のコードワードの組を識別する識別方法において、
ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとを比較するステップと、
ウォータマークが付されたマテリアルアイテムのサンプルと、オリジナルマテリアルアイテムのコピーのサンプルとが比較閾値以上に相異する場合、該ウォータマークが付されたマテリアルアイテムの比較されたサンプルを該オリジナルマテリアルアイテムからの対応するサンプルに置換するステップと、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成するステップと、
上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出するステップと、
上記相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出するステップとを有する識別方法。
オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する１つ以上の所定のコードワードの組を識別する識別方法において、
上記ウォータマークが付されたマテリアルアイテムのサンプルの平均値及び分散を上記オリジナルマテリアルアイテムのサンプルの平均値及び分散に対して正規化するステップと、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成するステップと、
上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出するステップと、
上記相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出するステップとを有する識別方法。
オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのウォータマークが付されたバージョン内に存在する１つ以上の所定のコードワードの組を識別する識別方法において、
上記ウォータマークが付されたマテリアルアイテムからコードワードを再生し、再生コードワードを生成するステップと、
上記再生コードワードと、コードワード係数の値の分散が実質的に１になるように生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出するステップと、
上記相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出するステップとを有する検出データ処理装置。
データプロセッサにロードされて、該データプロセッサを請求項１乃至１４いずれか１項記載の検出データ処理装置として動作させるコンピュータにより実行可能な命令を提供するコンピュータプログラム。
データプロセッサにロードされて、該データプロセッサに請求項１５乃至１７いずれか１項記載の識別方法を実行させるコンピュータにより実行可能な命令を提供するコンピュータプログラム。
請求項１８又は１９記載のコンピュータプログラムを表す情報信号が記録されているコンピュータにより読取可能な媒体を備えるコンピュータプログラム製品。
添付の図面を参照して以下に説明する検出データ処理装置。
添付の図面を参照して以下に説明する、コードワードの所定の組から１つのコードワードを識別する方法又はオリジナルマテリアルアイテムの少なくとも１つのウォータマークが付されたコピーを作成する方法。