JP2004254276A - データ処理装置及び方法 - Google Patents

データ処理装置及び方法 Download PDF

Info

Publication number
JP2004254276A
JP2004254276A JP2003192252A JP2003192252A JP2004254276A JP 2004254276 A JP2004254276 A JP 2004254276A JP 2003192252 A JP2003192252 A JP 2003192252A JP 2003192252 A JP2003192252 A JP 2003192252A JP 2004254276 A JP2004254276 A JP 2004254276A
Authority
JP
Japan
Prior art keywords
version
material item
inspected
processor
original material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003192252A
Other languages
English (en)
Other versions
JP4121907B2 (ja
Inventor
Daniel Warren Tapson
タプソン、ダニエル ワレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2004254276A publication Critical patent/JP2004254276A/ja
Application granted granted Critical
Publication of JP4121907B2 publication Critical patent/JP4121907B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32165Transform domain methods using cosine transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/3217Transform domain methods using wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32277Compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0063Image watermarking in relation to collusion attacks, e.g. collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0081Image watermarking whereby both original and watermarked images are required at decoder, e.g. destination-based, non-blind, non-oblivious
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3235Checking or certification of the authentication information, e.g. by comparison with data stored independently
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Abstract

【課題】マテリアルの配信者の意向にそぐわない形でマテリアルがコピー又は使用された場合,配信者は識別コードワードからマテリアルのバージョンを特定し,適切な対策を講ずることができる。
【解決手段】データ検出装置は、マテリアルアイテムのウォータマークが埋め込まれた検査すべきバージョン内に、コードワードの組のうち、1つ以上のコードワードが存在しているか否かを判定する。データ検出装置は、検査すべきバージョンのサンプルを元のマテリアルアイテムのコピーのサンプルに関連付ける登録プロセッサと、再生プロセッサと、検出プロセッサとを備える。再生プロセッサは、登録された元のマテリアルアイテムと検査すべきマテリアルアイテムとを比較することによって再生コードワードを生成する。検出プロセッサは、再生コードワードと、コードワードの組におけるコードワードとの間の相関から1つ以上のコードワードを検出する。
【選択図】図10

Description

【技術分野】
【0001】
本発明は、コードワード(code words)が埋め込まれたマテリアルアイテムのバージョンを生成するデータ符号化装置及びデータ符号化方法に関する。幾つかの用途においては、コードワードは、マテリアルアイテムを識別するために使用される。
【0002】
これに対応して、本発明は、マテリアルアイテムに埋め込まれた1つ以上のコードワードを検出するデータ処理装置及びデータ処理方法に関する。
【背景技術】
【0003】
マテリアルを識別するために、マテリアルに情報を埋め込む処理は、ウォータマーキング処理と呼ばれる。ウォータマーキング処理により、マテリアルのある特定のバージョンの受信者を特定することができる。ここで、マテリアルの配信者の意向にそぐわない形でマテリアルがコピー又は使用された場合、配信者は、識別コードワードからマテリアルのバージョンを特定し、適切な対策を講ずることができる。
【0004】
この明細書においては、マテリアルの供給者、所有者、作成者又は配信者の意向にそぐわない形でコピー又は使用されたマテリアルアイテムを、便宜的にマテリアルのオフェンディングアイテム(offending item)又はオフェンディングマテリアル(offending material)と呼ぶ。マテリアルは、ビデオマテリアル、オーディオマテリアル、オーディオ/ビデオマテリアル、ソフトウェアプログラム、デジタル文書及びいかなる種類の情報を含むマテリアル(information bearing material)のいずれであってもよい。
【0005】
全てのウォータマークの仕組みにおいて、同じマテリアルのコピーを受け取ったユーザがウォータマークコードワードをマスクし、又はウォータマークコードワードを改竄することが困難となるようにする必要がある。したがって、ウォータマークの仕組みは、コルージョンアタックの対象となったウォータマークが埋め込まれたマテリアルアイテムを高い確率で特定できるものである必要がある。この特定は、オフェンディングマテリアルから再生されたコードワードを識別することにより実現される。一方、コードワードが存在するのにコードワードが存在しないと判定してしまう確率(見逃し確率:false negative probability)は、低くなくてはならない。更に、実際にはコルージョンアタックに加担していないユーザを誤って不正行為を行ったユーザであると判定してしまう確率(誤検出確率:false positive probability)は、可能な限り低くしなくてはならない。
【0006】
米国特許第5664018号は、マテリアルの複数のコピーに、所定数の係数を有するコードワードから作成されたデジタルウォータマークを付すウォータマーキング処理を開示している。ウォータマークが埋め込まれたマテリアルアイテムは、例えば画像である。ここで開示されているウォータマークの埋込みを行う装置は、画像を離散コサイン変換(Discrete Cosine Transform:以下、DCTという。)領域に変換する。デジタルウォータマークは、正規分布を有し、ランダムに分布した係数の組から構成されている。DCT領域において、各コードワード係数が、それぞれDCT係数の対応した1つに付加される。これに関連する文献である1998年7月27日、MITから発行された、ジェイ・キリアン(J.Kilian)、エフ・ティー・レイトン(F.T.Leighton)著、「コルージョンアタックに対するデジタルウォータマークの保護(Resistance of Digital Watermarks to Collusion Attacks)」には、アタックを防ぐためのこのウォータマーキング処理の詳細な数学的解析が開示されている。同時に係属中の英国特許出願第0129865.2号、第0129841.3号、第0129840.5号、第0129907.2号、第0129836.3号明細書には、米国特許第5,664,018号明細書に開示されているような、ランダムに分布された係数を有するコードワードを利用して、実際のウォータマークキング方式を提供するための符号化及び復号装置並びに符号化及び復号方法が開示されている。
【考案の開示】
【課題を解決するための手段】
【0007】
本発明は、マテリアルアイテムのウォータマークが埋め込まれた検査すべきバージョン内に、コードワードの組のうち、1つ以上のコードワードが存在しているか否かを判定するデータ検出装置を提供する。データ検出装置は、検査すべきバージョンのサンプルを元のマテリアルアイテムのコピーのサンプルに関連付ける登録プロセッサと、再生プロセッサと、検出プロセッサとを備える。再生プロセッサは、登録された元のマテリアルアイテムと検査すべきマテリアルアイテムとを比較することによって再生コードワードを生成する。検出プロセッサは、再生コードワードと、コードワードの組におけるコードワードとの間の相関から1つ以上のコードワードを検出する。登録プロセッサは、マテリアルアイテムの少なくとも1つの帯域幅が縮小されたバージョンを生成し、検査すべきバージョンの帯域幅が縮小されたバージョンと、元のマテリアルアイテムの帯域幅が縮小されたバージョンとの比較に基づいて、検査すべきバージョンと、マテリアルアイテムのコピーとを関連付ける。
【0008】
本発明は、検査すべきバージョンと元のマテリアルアイテムとの間の登録処理を向上させることを目的としている。検査すべきバージョンと元のマテリアルアイテムの登録は、多くの場合、検査すべきバージョンからコードワードを正しく再生するために必要とされる。英国特許出願第0129907.2号に開示されているように、コードワードは、検査すべきバージョンの各サンプルを元のマテリアルアイテムの各サンプルと比較することにより、検査すべきバージョンから再生される。ここで、検査すべきバージョンと元のマテリアルアイテムのサンプルを関連付ける登録プロセッサを用いることにより、コードワードを正しく再生できる可能性を高めることができる。すなわち、コードワードを正しく検出する可能性が高まり、見逃し確率が低くなる。ビデオ情報や映画等のマテリアルアイテムにおいては、登録処理を実行するために相当数のサンプルを関連付ける必要がある。この結果、登録処理は、時間が掛かり、演算の負荷も大きくなる。ここで、検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを生成することにより、帯域幅の縮小に応じて、登録処理に必要な時間を短縮することができる。幾つかの具体例においては、登録プロセッサは、複数のレベルに基づいて、検査すべきバージョンと、元のマテリアルアイテムのコピーの複数の帯域幅が縮小されたバージョンを生成する。各レベルは、検査すべきバージョンと元のマテリアルアイテムの帯域幅を順次狭くしたバージョンに対応する。検査すべきバージョンと元のマテリアルアイテムの関連付けは、ネスティングされたアラインメント処理に基づいて判定することが望ましい。ネスティングされたアラインメント処理は、検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを低い帯域幅レベルで比較してアラインメント誤差を判定し、判定されたアラインメント誤差に基づいて、次に低いレベルにおいて、検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを調整する、といった処理を繰り返すことにより行われる。この結果、登録処理に必要となる時間が短縮されるとともに、順次解像度が高くされたマテリアルアイテムを比較するために、登録処理の精度が向上する。
【0009】
好適な具体例においては、検査すべきバージョンは、元のマテリアルアイテムの帯域の一部にコードワードを埋め込むことによって形成される。データ検出装置は、再生プロセッサと協働して、検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョン、又は検査すべきバージョンと元のマテリアルアイテムの差分の帯域幅が縮小されたバージョンを生成する帯域適応化プロセッサを備える。登録プロセッサは、帯域適応化プロセッサと協働して、帯域幅削減の一部に貢献する。これにより、コードワードを再生するために検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンが必要となるが、登録処理を帯域幅縮小処理に統合することができる。例えば、コードワードは、検査すべきバージョンの帯域幅に少なくとも時間的又は空間的に導入されており、帯域適応化プロセッサは、これに対応して時間的又は空間的に帯域幅を縮小する。これにより、時間的又は空間的に帯域幅が縮小された複数のバージョンを生成することができる。
【0010】
本発明の更なる側面及び特徴は、添付の請求の範囲において定義されている。
【発明を実施するための最良の形態】
【0011】
ウォータマークキング方式の概観
以下、本発明の実施の形態を例示的にビデオ画像の保護に関連させて説明する。ビデオ画像を配信すべきユーザの数によりコピーの数が決定する。各コピーには、これらのユーザのうちの1人に割り当てられたコピーを識別するための識別コードワード(identification code word)が付加される。
【0012】
ビデオ画像は、デジタルコードワードを埋め込むことにより保護されるマテリアルの一具体例である。コードワードを埋め込むことにより保護されるマテリアルは、ビデオ画像の他に、ソフトウェアプログラム、デジタル文書、音楽、オーディオ信号、オーディオ/ビジュアルマテリアル、マルチメディアコンテンツ、及び他のいかなる種類の情報を含むマテリアルであってもよい。
【0013】
図1は、オリジナル画像のコピーに識別コードワードを導入する符号化画像処理装置(encoding image processing apparatus)の具体的な構成を示すブロック図である。オリジナル画像Iは、ソースから供給され、フレームメモリ1に保存される。このオリジナル画像は、ウォータマークが埋め込まれた複数のコピーとして複写される(reproduce)ものであり、各コピーには、固有の識別コードワードが付される。オリジナル画像は、DCTプロセッサ2に供給され、DCTプロセッサ2は、オリジナル画像を8×8の画素ブロックに分割し、8×8の各画素ブロックにDCT処理を施す。これにより、DCTプロセッサ2は、DCT画像Vを生成する。
【0014】
以下の説明において、「サンプル」という用語は、画像(又は、実際には他の種類のマテリアルであってもよい。)を構成する離散サンプルを指すものとする。サンプルは、画素からも複写することができる画像の輝度サンプルであってもよい。したがって、サンプルという用語と画素という用語は、状況によっては交換可能である場合もある。
【0015】
DCT画像Vは、符号化プロセッサ(以下、エンコーダともいう。)4に供給される。符号化プロセッサ4には、識別コードワード生成器8から識別コードワードも供給されている。
【0016】
識別コードワード生成器8には、複数のシード値(seed)が供給されている。各シード値は、それぞれ対応する識別コードワードの1つを生成するために使用される。生成された各識別コードワードは、オリジナル画像のコピーに埋め込まれ、これによりウォータマークが埋め込まれた画像が生成される。識別コードワード生成器8は、擬似乱数発生器を備える。擬似乱数発生器は、特定の識別コードワードを形成するためのコードワード係数を生成する。好ましい具体例においては、コードワード係数は、正規分布に基づいて生成される。なお、これに代えて、コードワード係数は、擬似乱数発生器を初期化するために用いるシード値に基づいて、予め定めてもよい。したがって、各識別コードワードには、対応するシード値が存在し、各シード値は、メモリ12に記憶されている。すなわち、識別コードワードXを生成するために、シード値seedをメモリ12から読み出し、このシード値seedを用いて、識別コードワード生成器8内の擬似乱数発生器を初期化する。
【0017】
以下の説明では、オリジナル画像のDCTバージョンをVと表す。ここで、
V={v}={v,v,v,v,・・・,v
であり、vは、画像のDCT係数である。他の具体例においては、vは、画像のサンプル値であり、空間領域における画像のサンプル値又は他の領域における画像のサンプル値を表すものであってもよい。
【0018】
各識別コードワードXは、以下のように、n個のコードワード係数から構成されている。
【0019】
={x }={x ,x ,x ,x ,・・・,x
コードワード係数の数nは、オリジナル画像Iのサンプル数に対応する。なお、係数の数は異なるものであってもよく、この数は、特定のアプリケーションに応じて決定してもよい。
【0020】
そして、i番目の識別コードワードXを構成するコードワード係数のベクトルは、接続チャンネル14を介してエンコーダ4に供給される。エンコーダ4は、DCT画像Vに識別コードワードXを付加することにより、ウォータマークが埋め込まれた画像Wを生成する。実際には、以下の式に示すように、画像の各係数に各コードワード係数を加えることにより、ウォータマークが埋め込まれた画像Wが生成される。
【0021】
=V+X
=v+x ,v+x ,v+x ,v+x ,・・・,v+x
図1に示すように、エンコーダ4により生成された画像を逆DCTプロセッサ18によって逆DCT変換することにより、ウォータマークが埋め込まれた画像Wが形成され、この符号化画像処理装置から出力される。
【0022】
したがって、図1に示すように、エンコーダ4からは、ウォータマークが埋め込まれた画像の組が出力される。データワードを最大20ビットとすると、一千万個の識別コードワードの1つを選択することができ、オリジナル画像に対して、一千万個のウォータマークが埋め込まれたバージョンWを生成することができる。
【0023】
図1に示すように、ウォータマークエンコーダ120は、DCTプロセッサ2、エンコーダ4及び逆DCTプロセッサ18から構成されている。更に、ウォータマークエンコーダ120は、後述する、図5に示すデータ処理装置の一部を構成している。更に、メモリ(以下、データ格納器ともいう。)12及び識別コードワード生成器8は、図5にも示すウォータマークコードワード生成器106を構成している。
【0024】
この識別コードワードにより、オリジナル画像Iのウォータマークが埋め込まれたコピーWを個別に識別することができるが、他の具体例においては、上述の20ビットにより、画像内でデータを送ることができる。したがって、以下に説明するように、識別コードワードを選択するために使用される20ビットは、DCT画像V内でデータを送るための20ビットのペイロードを提供する。
【0025】
図1に示す、ウォータマークが埋め込まれた画像を生成する符号化画像処理装置は、本発明が適用される様々な異なるシナリオにおいて、様々な製品に組み込まれる。これらについては、本発明の具体例として示される配信システム(distribution system)に関連して、後に説明する。なお、図1では、概略的に、符号化画像処理装置によって生成されるウォータマークが埋め込まれた画像の配信先は、雲形の枠で表現された配信19で示されている。例えば映像、映画、又はこれらの他の比較的広い帯域幅を必要とするマテリアルの配信の詳細については、後に説明する。以下では、まず、識別コードワードの検出について説明する。
【0026】
検出プロセッサ
図2は、ウォータマークが埋め込まれたオフェンディング画像(offending marked image)内に埋め込まれている1つ以上の識別コードワードを検出する検出画像処理装置(detecting image processing apparatus)の具体的な構成を示すブロック図である。包括的にいえば、図2に示す検出画像処理装置は、画像のオフェンディング、すなわちコピー内に存在する1つ以上の識別コードワードを識別する機能を有している。
【0027】
ウォータマークが埋め込まれた画像のオフェンディングバージョンW’は、データソースから供給され、フレームメモリ20に保存される。この検出画像処理装置における検出処理は、画像のオリジナルバージョンを必要とするために、フレームメモリ24に、画像のオリジナルバージョンが保存されている。ウォータマークが埋め込まれた画像のオフェンディングバージョンW’及び画像のオリジナルバージョンは、それぞれ個別の接続チャンネル26、28を介して、登録プロセッサ(registration processor)30に供給される。
【0028】
上述のように、画像のオフェンディングバージョンW’は、ウォータマークが埋め込まれた画像Wの一部を撮影又は複写することにより生成された可能性がある。そこで、識別コードワードの検出率を高めるために、登録プロセッサ30は、それぞれフレームメモリ20、24に保存されているオフェンディング画像と画像のオリジナルバージョンとを実質的に揃える(align)。この目的は、オリジナル画像のサンプルIと、コードワード係数が付加されてウォータマークが埋め込まれた対応する画像Wのサンプルとの対応関係を調べることである。
【0029】
この登録処理を図3を用いて説明する。図3は、オリジナル画像Iと、ウォータマークが埋め込まれた画像のオフェンディングバージョンW’とを比較して示している。図3に示すように、ウォータマークが埋め込まれた画像のオフェンディングバージョンW’は、オリジナル画像に対してオフセットを有しており、このオフセットは、ウォータマークが埋め込まれた画像のオフェンディングバージョンが生成されたカメラの相対的な視野に起因する可能性がある。
【0030】
コードワード係数の表現を再生するために、ウォータマークが埋め込まれた画像のオフェンディングバージョンW’からオリジナル画像の正しいサンプルを減算する必要がある。この処理のために、2つの画像が揃えられる。図3に示すように、登録された画像W”は、オリジナル画像には存在しない部分を含む周辺領域(peripheral area)PAを有している。
【0031】
他の具体例では、例えばインターネットからオフェンディングバージョンがダウンロードされた場合等、オフェンディング画像W’と既にオリジナル画像のバージョンIとの対応関係が明らかであることがあり、このような場合、登録プロセッサ30を使用する必要はない。そこで、この検出画像処理装置は、ウォータマークが埋め込まれた画像を再生プロセッサ40に直接供給するための代替的な接続チャンネル32を備えている。
【0032】
登録された画像W”は、再生プロセッサ40に供給される。再生プロセッサ40には、第2の接続チャンネル44を介して、オリジナル画像Iのコピーも供給されている。登録された画像W”及びオリジナル画像Iは、DCTプロセッサ46によって、DCT領域に変換される。次に、以下の式に示すように、オリジナル画像のDCT領域のサンプルVからウォータマークが埋め込まれた画像のDCT領域のサンプルV’を減算することにより、推定コードワードX’が算出される。
【0033】
X’=V’−V
=v’−v,v’−v,v’−v,v’−v,・・・,v’−v
=x’,x’,x’,x’,・・・,x’
したがって、再生プロセッサ40は、接続チャンネル50を介して、識別すべきコードワードの係数の推定値を出力する。再生されたコードワードX’は、相関器52の第1の入力端子に供給される。相関器52の第2の入力端子には、コードワード生成器54によって生成されたコードワードXが供給されている。コードワード生成器54は、上述の識別コードワード生成器8と同様に、メモリ58から読み出したコードワードを固有に識別する所定のシード値を用いて全ての可能なコードワードの組を生成する。
【0034】
相関器52は、n個の類似値sim(i)を生成する。一具体例においては、類似値sim(i)は、以下の式に基づく相関を求めることにより算出される。
【0035】
【数式1】
Figure 2004254276
【0036】
n個の類似値sim(i)のそれぞれは、検出器60に供給される。そして、検出器60は、n個の可能なコードワードのそれぞれに対する類似値sim(i)を分析する。相関器52によって生成される類似値sim(i)の具体例と、可能な各コードワードの閾値THとの関係を図4に示す。図4に示すように、2つのコードワード2001、12345が閾値THを超えている。このため、検出器60は、コードワード2001及びコードワード12345に対応するウォータマークが埋め込まれた画像のバージョンからオフェンディング画像が作成されたと判定する。したがって、この具体例においては、一千万である母集団の大きさにより決定される誤検出確率(false positive probability)と、ウォータマーク強度(watermarking strength)とに基づいて、誤検出確率を十分低くできる閾値THの高さを設定することができる。図4に示す具体例では、相関器52によって生成された類似値sim(i)が閾値THを超えている場合、この誤検出確率をもって、このウォータマークが埋め込まれた画像の受信者が不正行為を行い、ウォータマークが埋め込まれた画像のオフェンディングバージョンWの作成に関与したと判断される。
【0037】
帯域幅適応データ符号化プロセッサ(Bandwidth Adaptive Encoding Data Processor)
本発明に基づく改善されたデータ処理装置(以下、データ符号化プロセッサともいう。)の構成を図5に示す。後述するように、このデータ符号化プロセッサは、マテリアルアイテムの帯域の一部にコードワードを導入するよう構成されている。図5に示す具体例では、例えば、動画フィルム又はビデオ録画の際に、コードワードがマテリアルアイテムの帯域が低い部分に導入される。後述するように、この処理は、コードワードがマテリアルの帯域が低い部分に対応すると仮定して実行される。コードワードの帯域は、マテリアルの帯域にアップコンバートされ、マテリアルのコピーに結合され、これにより、マテリアルのウォータマークが埋め込まれたバージョンが生成される。なお、他の具体例として、コードワードをマテリアルアイテムの帯域の他の部分に結合してもよい。
【0038】
図5に示すデータ符号化プロセッサは、第1の適応化プロセッサ102と第2の適応化プロセッサ104とから構成された帯域適応化プロセッサ100を備える。ウォータマークコードワード生成器106は、コードワードを生成し、ウォータマークプロセッサ108を介して第1の適応化プロセッサ102に供給する。ソース110は、元のマテリアルアイテムを第2の適応化プロセッサ104に供給する。
【0039】
第1の適応化プロセッサ102は、コードワードの帯域幅をマテリアルと同じ帯域幅に広げるよう動作する。第2の適応化プロセッサ104は、元のマテリアルアイテムの帯域幅が縮小されたバージョンを生成して登録プロセッサ112に供給する。登録プロセッサ112は、マテリアルアイテムの帯域幅が縮小されたバージョンのサンプルと、マテリアルアイテムに埋め込むべきコードワードの係数とを関連付ける。マテリアルアイテムにコードワードを埋め込んだ後のマテリアルアイテムにおいてコードワードが知覚されてしまう可能性を低めるために、コードワードは、マテリアルアイテムの係数に関する感度(sensitivity)に基づいて適応化されてマテリアルアイテムの係数に結合される。この目的で、ウォータマークプロセッサ108によってコードワード係数が結合されるサンプルは、登録プロセッサ112から接続チャンネル114を介して、ウォータマークプロセッサ108に供給される。マテリアルの係数に関する感度に基づいてコードワードを適応化するとともに、所定の誤検出確率及び見逃し率を維持する手法については、英国特許出願第0129865.2号に開示されている。
【0040】
コードワードの帯域幅が広げられたバージョンは、結合プロセッサ118の第1の入力端子116に供給される。結合プロセッサ118の第2の入力端子120には、元のマテリアルアイテムのコピーが供給される。結合プロセッサ118は、コードワードの帯域幅広げられたバージョンと、マテリアルアイテムのコピーとを結合し、出力端子124から、マテリアルアイテムのウォータマークが埋め込まれたバージョン122を出力する。このように、帯域適応化プロセッサ100と、結合プロセッサ118とにより、マテリアルアイテムの低い周波数成分にコードワードが埋め込まれる。もちろん、他の具体例として、コードワードをマテリアルアイテムの帯域の他の部分に埋め込んでもよい。
【0041】
第2の適応化プロセッサ104によって実行される帯域幅の縮小は、第1の適応化プロセッサ102による帯域幅の拡大に対応する。これらの処理の結果、マテリアルアイテムの帯域幅が縮小されたバージョンは、ウォータマークコードワードと実質的に等しい帯域幅を有するようになる。マテリアルアイテムの帯域幅を縮小してコードワードの帯域幅に対応させることにより、マテリアルアイテムの帯域幅が縮小されたバージョンと、コードワード係数とを登録プロセッサ112において関連付けることができる。これにより、ウォータマークプロセッサ108は、コードワードの係数を、コードワードが埋め込まれるサンプルの感度に応じて適応化することができる。なお、幾つかの具体例においては、第2の適応化プロセッサ104、登録プロセッサ112、又はウォータマークプロセッサ108を設けなくてもよい。更に、帯域適応化プロセッサ100内の1つの適応化プロセッサと、結合プロセッサ118のみを用いてもよい。
【0042】
上述のように、第1の適応化プロセッサ102は、ウォータマークコードワードの帯域幅を広げ、この帯域幅がマテリアルアイテムの帯域幅の一部に対応するようにする。このような帯域幅の拡大には、様々な手法を用いることができる。例えば、図5に示す具体例では、帯域幅の拡大は、時間領域及び空間領域の両方で実行される。他の具体例においては、帯域幅の拡大は、時間領域のみ又は空間領域のみで行ってもよい。第1の適応化プロセッサ102は、時間的アップサンプラ126と、空間的アップサンプラ128とを備える。時間的アップサンプラ126の具体的構成を図6に示し、空間的アップサンプラ128の具体的構成を図7に示す。
【0043】
図6に示す時間的アップサンプラ126は、サンプリングレート増加プロセッサ140と、低域通過フィルタ142とを備える。サンプリングレート増加プロセッサ140は、必要とされる帯域の拡大幅に応じて、コードワード係数間にサンプルを挿入することによって、コードワードの帯域幅を拡大するよう構成されている。低域通過フィルタ142は、マテリアルアイテムの時間的帯域幅に対応する通過帯域を有する。このように、アップサンプリングされたコードワードを低域通過フィルタ142でフィルタリングすることにより、コードワードサンプルの補間が行われ、コードワードの時間的帯域幅が、マテリアルアイテム帯域幅に亘って拡大する。
【0044】
図7に示す空間的アップサンプラ128は、ウェーブレット係数生成プロセッサ144と、逆ウェーブレット変換器146とを備える。空間的アップサンプラ128は、二次元ウェーブレット変換の最も低い周波数サブバンドにコードワードを形成することにより、8倍の空間的アップサンプリングを行う。二次元ウェーブレット変換は、ウェーブレット係数生成プロセッサ144によって行われる。他のサブバンドの係数は、0に設定される。続いて、逆ウェーブレット変換器146は、上述のように生成されたウェーブレット変換係数(wavelet transform)を逆ウェーブレット変換し、これにより、空間的に8倍にアップサンプリングされたコードワードが生成される。
【0045】
図5に示すように、マテリアルアイテムの帯域幅が縮小されたバージョンを生成する第2の適応化プロセッサ104は、空間的サブサンプラ132と、時間的サブサンプラ134とを備える。周知のように、帯域幅の縮小は、様々な手法で行うことができる。いずれの場合も、上述のように、第2の適応化プロセッサ104は、コードワードに対して実行された帯域幅の拡大に対応する、元のアイテムの帯域幅が縮小されたバージョンを生成する。空間的サブサンプラ132の具体的構成を図8に示し、時間的サブサンプラ134の具体的構成を図9に示す。
【0046】
図8に示すように、空間的サブサンプラ132は、ウェーブレット変換器204と、ウェーブレット選択器206とを備える。空間的サブサンプリングは、ウェーブレット変換を用いて実現される。この目的で、ウェーブレット変換器204は、マテリアルの二次元ウェーブレット変換係数(second order wavelet transform)を生成する。ウェーブレット選択器206は、周波数が最も低いウェーブレットサブバンドを選択し、他のサブバンド内のウェーブレット変換係数を0に設定する。この処理は、図8においては、ウェーブレット変換器204によって形成された、ビデオフレーム210のウェーブレット変換係数210と、ウェーブレット選択器206によって処理された後に形成されたウェーブレット変換フレーム212とによって表されている。二次元ウェーブレット変換画像において、最も周波数が低いウェーブレットサブバンドを選択することにより、1/8にダウンサンプリングされた(down−sampled by a factor of eight)、ビデオフレームの空間的サブサンプリングバージョンが生成される。
【0047】
一方、図9に示す時間的サブサンプラ134は、時間的にサブサンプリングされたマテリアルのエイリアシングを除去するフィルタとして機能する低域通過フィルタ220を備える。したがって、低域通過フィルタ220の通過帯域は、マテリアルに対するサブサンプリングのレートに応じて設定される。この具体例においては、時間的サブサンプリングのレートは4である。この低域通過フィルタ220の後段に設けられているフレーム選択器222は、4個おきにマテリアルのフレームを選択し、他のフレームを廃棄して、時間的にサブサンプリングされたマテリアルを生成する。
【0048】
データ検出プロセッサ
上述のように、マテリアルアイテムのウォータマークが埋め込まれたバージョン内に存在するコードワードは、所定の見逃し確率及び誤検出確率で検出される。これに対応して、図2に示すデータ検出プロセッサ(検出画像処理装置)は、検査すべき(suspect)マテリアルアイテム内にコードワードが存在するか否かを検出する。ここで、コードワードは、帯域幅が縮小されたバージョンを介して、マテリアルアイテム内に埋め込まれているため、図2に示すデータ検出プロセッサを適応化する必要がある。本発明に基づくデータ検出プロセッサの具体例を図10に示す。
【0049】
図10に示す具体例では、検査すべきマテリアルアイテムは、データ格納器400から、空間的帯域プロセッサ(spatial bandwidth processor)404に供給される。更に、空間的帯域プロセッサ404には、第2のデータ格納器402から、元のソースマテリアルのコピーも供給される。空間的帯域プロセッサ404は、第1の空間的サブサンプラ406と、第2の空間的サブサンプラ408とを備える。第1及び第2の空間的サブサンプラ406、408は、図5に示すデータ符号化プロセッサにおける空間的アップサンプラ128によって実行されるアップサンプリングに対応するレートで空間的サブサンプリングを実行するように構成されている。この具体例では、サブサンプリングレートは、1/8である。空間的サブサンプラ406、408は、上述した図7に示すような構成を有していてもよい。なお、検査すべきマテリアルのバージョンと、元のマテリアルのバージョンの両方に対して、同じ空間的サブサンプラを用いることができることは言うまでもない。
【0050】
検査すべきマテリアルアイテム及び元のマテリアルアイテムの空間的にサブサンプリングされたバージョンは、接続チャンネル412、414を介して、時間的登録プロセッサ(temporal registration processor)410に供給される。時間的登録プロセッサ410は、検査すべきマテリアルアイテムと、元のマテリアルアイテムとを時間的に揃え、元のマテリアルアイテムのサンプルと、検査すべきマテリアルアイテムの対応するサンプルとを同期させる。
【0051】
時間的に揃えられた検査すべきマテリアルアイテムと元のマテリアルアイテムは、時間的帯域プロセッサ416に供給される。時間的帯域プロセッサ416は、第1の時間的サブサンプラ418と、第2の時間的サブサンプラ420とを備え、第1の時間的サブサンプラ418と第2の時間的サブサンプラ420には、時間的に揃えられた検査すべきマテリアルアイテムと元のマテリアルアイテムとがそれぞれ供給される。第1の時間的サブサンプラ418と第2の時間的サブサンプラ420は、図5に示すデータ処理装置の時間的アップサンプラ126によって実行された時間的アップサンプリングに対応する時間的サブサンプリングを検査すべきマテリアルアイテムと元のマテリアルアイテムに対して実行する。検査すべきマテリアルアイテムと元のマテリアルアイテムの時間的及び空間的にサブサンプリングされたバージョンは、空間的登録プロセッサ422に供給される。空間的登録プロセッサ422は、検査すべきマテリアルアイテムと元のマテリアルアイテムのサンプルを空間的に揃えるように構成されている。
【0052】
空間的帯域プロセッサ404及び時間的帯域プロセッサ416は、検査すべきマテリアルアイテムと元のマテリアルアイテムのコピーの帯域幅が縮小されたバージョンを生成する。時間的登録プロセッサ410及び空間的登録プロセッサ422は、基本的に、検査すべきマテリアルアイテムと元のマテリアルアイテムの帯域幅が縮小されたバージョンのサンプルを関連付けるように構成されている。そして、減算プロセッサ424には、検査すべきマテリアルアイテムと、コードワード係数が付加されている可能性がある元のマテリアルアイテムのサンプルとが供給される。この減算プロセッサ424における減算により、再生されたコードワード(以下、再生コードワードという。)を表すサンプルX’のベクトルが算出される。再生コードワードX’は、相関器52’に供給され、相関器52’は、検出器60’と協働して、再生コードワードがコードワードのセットのうちの1つに対応するか否かを判定する。この処理については、図2に示すデータ検出プロセッサに関連して上述した通りであるので、詳細な説明は省略する。この検出されたコードワードに基づいて、オフェンディングマテリアルアイテムの受信者を固有に識別することができる。
【0053】
データ符号化プロセッサによってコードワードの帯域幅を適応化し、コードワード係数をマテリアルアイテムに埋め込む処理は、線形数学的処理である(linear mathematical process)。したがって、変形例においては、データ検出プロセッサは、検査すべきマテリアルアイテムからマテリアルアイテムのコピーを減算した後に、この差分の帯域幅が縮小されたバージョンを生成するような構成であってもよい。この差分の帯域幅が縮小されたバージョンと、1組のコードワード内の各コードワードとの相関を調べることにより、上述と同じように、検査すべきマテリアルアイテム内に存在するコードワードを特定することができる。なお、後の段落で説明するように、検査すべきマテリアルアイテムと元のマテリアルアイテムの帯域幅が縮小されたバージョンを生成する手法は、検査すべきマテリアルアイテムと元のマテリアルアイテムを登録するために必要な処理の量を低減できるという利点を有する。
【0054】
改善された登録処理
本発明の具体例として、検査すべきマテリアルアイテムと、元のマテリアルアイテムのサブサンプリングされたバージョンを時間的及び空間的に揃える(aligning)ことができる改善された装置を提供する。これにより、オフェンディングマテリアルアイテム内に存在するコードワードを正しく検出する可能性を高めることができる。検査すべきマテリアルアイテムと元のマテリアルアイテムのコピーの登録処理の改善は、多段にネスティングされたアラインメント処理(multi−stage nested alignment process)によって実現される。
【0055】
上述のように、データ検出プロセッサは、時間的登録プロセッサ410と空間的登録プロセッサ422とからなる登録プロセッサを備える。時間的登録プロセッサ410は、検査すべきマテリアルアイテムと元のマテリアルアイテムに対する第1の時間的アラインメントを行う。この時間的アラインメントは、様々な方法で実現される。例えば、映画又はビデオ等の動画を表すマテリアルでは、マテリアルにおけるシーンの変更は、マテリアル内のフレーム間の色差及び/又は輝度を表す値の大きな変化に基づいて検出することができる。検査すべきマテリアルアイテムと元のマテリアルアイテムにおいて、これらの変化が発生する相対的時刻を対応させることにより、時間的アラインメントを推定することができる。なお、検査すべきマテリアルアイテムは、元のマテリアルアイテムとは異なる記録又は保存フォーマットに基づいて生成されていることがあるため、検査すべきマテリアルアイテムのフレームレートが元のマテリアルアイテムのフレームレートと異なる場合もある。そこで、フレームの境界に生じるシーンの変更を特定するために、増加させるべきフレームレートに基づいて、検査すべきマテリアルアイテムのフレーム間に更にフレームを挿入することにより、検査すべきマテリアルアイテムを更にアップサンプリングしてもよい。アップサンプリングされた検査すべきマテリアルアイテムを低域通過フィルタによってフィルタリングすることにより、検査すべきマテリアルアイテムの補間されたバージョンが生成され、これにより、シーンの変更をより容易に特定することができる。
【0056】
検査すべきマテリアルアイテムと元のマテリアルアイテムをサブサンプリングした後に時間的アラインメントを行うことは有益である。これは、ウォータマークが埋め込まれたマテリアルアイテムは、帯域が低い部分にコードワードが埋め込まれて生成されているためである。このため、マテリアルアイテム内のコードワードは、時間的アラインメントを行う前に、検査すべきマテリアルアイテム及び元のマテリアルアイテムをサブサンプリングすることによっては、影響を受ける可能性が低い。そこで、空間的帯域プロセッサ404は、時間的登録プロセッサ410による時間的アラインメントの実行前に、検査すべきマテリアルアイテムと元のマテリアルアイテムとをサブサンプリングする。この結果、必要とされる処理量が低減されるため、時間的アラインメントを推定するために掛かる時間が実質的に短縮される。
【0057】
上述のように、時間的帯域プロセッサ416による時間的サブサンプリングの後、空間的登録プロセッサ422は、検査すべきマテリアルアイテムと元のマテリアルアイテムに対して空間的アラインメントを実行する。この空間的登録プロセッサ422による処理について、図11を用いて説明する。
【0058】
空間的登録プロセッサ422は、検査すべきマテリアルアイテムと元のマテリアルアイテムの空間的にサブサンプリングレートを順次高めたバージョン(increasingly spatially sub−sampled version)の組を生成する。図11に示す具体例では、2個の空間的にサブサンプリングレートを順次高めたバージョンSSV1、SSV2が生成されている。検査すべきマテリアルアイテムのサンプルとなる第1のフレームCについて、2つの空間的にサブサンプリングレートを順次高めたバージョンSSV1、SSV2は、検査すべきマテリアルアイテムのサブサンプリングされたバージョンSVの第1のフレームCから、2つのフレームA、Bを生成する。これに対応して、元のマテリアルアイテムのフレームC’について、空間的にサブサンプリングレートを順次高めたバージョンSSV1、SSV2は、空間的にサブサンプリングレートを順次高めたバージョンA’、B’を生成する。空間的登録プロセッサ422は、以下のような、ネスティングされた空間的アラインメント処理(nested spatial alignment process)を実行する。
(1)検査すべきマテリアルアイテムと元のマテリアルアイテムの空間的に最も高いレートでサブサンプリングされたフレームA、A’を比較する。
(2)この比較の結果、検査すべきマテリアルアイテムと元のマテリアルアイテムの空間的に最も高いレートでサブサンプリングされたフレームA、A’に関する、空間的なアラインメント誤差を示す情報が得られる。
(3)先の(2)において判定されたフレームA、A’間のアラインメント誤差に基づいて、次に高いレートでサブサンプリングされたフレームB、B’に対するアラインメントを実行する。
(4)続いて、検査すべきマテリアルアイテムと元のマテリアルアイテムの空間的に次に高いレートでサブサンプリングされたフレームB、B’を比較する。
(5)この比較の結果、検査すべきマテリアルアイテムと元のマテリアルアイテムの空間的に次に高いレートでサブサンプリングされたフレームB、B’に関する、空間的なアラインメント誤差を示す情報が得られる。
(6)レベルSSV1のフレームB、B’について判定されたアラインメント誤差に基づいて、最も低いレートでサブサンプリングされたフレームC、C’に対するアラインメントを実行する。
(7)次の空間的にサブサンプリングレートを順次高めたフレームの組に対して、(1)〜(6)の処理を繰り返す。
【0059】
図11に示すように、空間的に異なるレベルでサブサンプリングされたフレームに関するネスティングされたアラインメント処理は、検査すべきマテリアルアイテムと元のマテリアルアイテムの全てのフレームに対して行わなくてもよい。例えば、フレームに対するネスティングされたアラインメント処理は、検査すべきマテリアルアイテムと元のマテリアルアイテムとの間で空間的なアラインメント誤差が発生する量に応じた割合で実行してもよい。例えば、図11に示すネスティングされたアラインメント処理は、1つおきのフレームに対して実行されている。勿論、アラインメント誤差の変化が生じる割合に応じて、3つのフレームにつき1つ、4つのフレームにつき1つ等、この他の割合でネスティングされたアラインメント処理を実行してもよい。
【0060】
このように、異なるレベルの空間的サブサンプリングデータを用いてネスティングされたアラインメント処理を行うことにより、空間的アラインメントの精度を高めるとともに、空間的アラインメントを実行するための処理量を低減することができる。更に、低い空間周波数にコードワードを適用することにより、コードワード検出処理がアラインメント誤差から受ける影響を低減することができる。
【0061】
登録プロセッサによる動作のフローチャートを図12に示す。図12を参照して、登録プロセッサの動作を説明する。
S1:空間的にサブサンプリングされた検査すべきマテリアル及び元のマテリアルを時間的登録プロセッサ410に供給する。
S2:マテリアルにおける遷移点、シーンの変更点、又は編集点が検出され、時間的アラインメントを実行する。
S3:空間的にサブサンプリングされた検査すべきマテリアル及び元のマテリアルを時間的にサブサンプリングする。
S4:検査すべきマテリアルアイテム及び元のマテリアルアイテムの時間的及び空間的にサブサンプリングされたサンプルフレームについて、更に空間的サブサンプリングレートが順次高い2つのレベルSSV1、SSV2に対応した空間的にサブサンプリングレートが順次高い2つのフレームを生成する。
S5:最も低いレベルSSV2は、最も高いレートで時間的及び空間的にサブサンプリングされたフレームA、A’を含み、このフレームA、A’を比較して、アラインメント誤差を判定する。
S6:最も高いレートでサブサンプリングされたA、A’について判定されたアラインメント誤差に基づいて、次のレベルSSV1でサブサンプリングされたフレームに対するアラインメントを行う。
S7:次に高いレートでサブサンプリングされたフレームB、B’を比較し、アラインメント誤差を判定する。
S8:次に高いレートでサブサンプリングされたフレームB、B’について判定されたアラインメント誤差に基づいて、検査すべきマテリアルアイテムと元のマテリアルアイテムの最も低いレートでサブサンプリングされたフレームC、C’に対するアラインメントを行う。
【0062】
続いて、次のフレームに対して、上述と同様のアラインメント処理を繰り返す。
【0063】
本発明の更なる様々な側面及び特徴は、添付の請求の範囲において定義されている。この請求の範囲から逸脱することなく、上述した実施の形態を様々に変更することができる。
【図面の簡単な説明】
【0064】
【図1】ウォータマークエンコーダとして動作するデータ処理装置のブロック図である。
【図2】データ検出装置のブロック図である。
【図3】FIG.3Aは、元の画像を示し、FIG.3Bは、ウォータマークが埋め込まれた画像を示し、FIG.3Cは、登録された後のウォータマークが埋め込まれた画像を示す図である。
【図4】N個のコードワードのそれぞれに関する相関結果の例を示すグラフ図である。
【図5】本発明に基づくウォータマークエンコーダとして動作するデータ処理装置のブロック図である。
【図6】図5に示すデータ処理装置の一部を構成する時間的アップサンプラのブロック図である。
【図7】図5に示すデータ処理装置の一部を構成する空間的アップサンプラのブロック図である。
【図8】図5に示すデータ処理装置の一部を構成する空間的サブサンプラのブロック図である。
【図9】図5に示すデータ処理装置の一部を構成する時間的サブサンプラのブロック図である。
【図10】ウォータマークが埋め込まれたマテリアルアイテム内のウォータマークコードワードを検出するデータ検出プロセッサのブロック図である。
【図11】本発明に基づくネスティングされたアラインメント処理を説明する、3つのレベルで空間的サブサンプリングされたビデオフレームを示す図である。
【図12】本発明に基づくネスティングされたアラインメント処理の手順を示すフローチャートである。

Claims (18)

  1. マテリアルアイテムのウォータマークが埋め込まれた検査すべきバージョン内に、コードワードの組のうち、1つ以上のコードワードが存在しているか否かを判定するデータ検出装置であって、
    上記検査すべきバージョンのサンプルを元のマテリアルアイテムのコピーのサンプルに関連付ける登録プロセッサと、
    登録された元のマテリアルアイテムと検査すべきマテリアルアイテムとを比較することによって再生コードワードを生成する再生プロセッサと、
    上記再生コードワードと、上記コードワードの組におけるコードワードとの間の相関から1つ以上のコードワードを検出する検出プロセッサとを備え、
    上記登録プロセッサは、マテリアルアイテムの少なくとも1つの帯域幅が縮小されたバージョンを生成し、上記検査すべきバージョンの帯域幅が縮小されたバージョンと、元のマテリアルアイテムの帯域幅が縮小されたバージョンとの比較に基づいて、該検査すべきバージョンと、上記マテリアルアイテムのコピーとを関連付けることを特徴とするデータ検出装置。
  2. 上記登録プロセッサは、複数のレベルに基づいて、上記検査すべきバージョンと、元のマテリアルアイテムのコピーの複数の帯域幅が縮小されたバージョンを生成し、該各レベルは、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅を順次狭くしたバージョンに対応し、該検査すべきバージョンと元のマテリアルアイテムの関連付けは、ネスティングされたアラインメント処理に基づいて判定されることを特徴とする請求項1記載のデータ検出装置。
  3. 上記登録プロセッサは、
    最も狭い帯域幅を有する最も低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを比較し、
    上記最も低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョン間のアラインメント誤差を判定し、
    次に低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムのアラインメントを行い、
    上記検査すべきバージョンと元のマテリアルアイテムが揃うまで、次に低いレベルに対する処理を繰り返すことによって、
    ネスティングされたアラインメント処理に基づいて、上記検査すべきバージョンと元のマテリアルアイテムとを関連付けることを特徴とする請求項1記載のデータ検出装置。
  4. 上記検査すべきバージョンと元のマテリアルアイテムのコピーの帯域幅が縮小されたバージョンは、帯域適応化プロセッサによって生成され、上記帯域幅の縮小は、少なくとも空間的領域又は時間的領域のいずれかにおいて行われることを特徴とする請求項1乃至3いずれか1項記載のデータ検出装置。
  5. 上記検査すべきバージョンは、元のマテリアルアイテムの帯域の一部にコードワードを埋め込むことにより生成されていると想定され、
    上記再生プロセッサと協働して、検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョン、又は検査すべきバージョンと元のマテリアルアイテムの差分の帯域幅が縮小されたバージョンを生成する帯域適応化プロセッサを備え、
    上記登録プロセッサは、上記帯域適応化プロセッサと協働して、帯域幅削減の一部に貢献することを特徴とする請求項1乃至4いずれか1項記載のデータ検出装置。
  6. 上記コードワードは、上記検査すべきバージョンの帯域に少なくとも時間的又は空間的に導入されており、上記帯域適応化プロセッサは、これに対応して時間的又は空間的に帯域幅を縮小することを特徴とする請求項5記載のデータ検出装置。
  7. 上記帯域適応化プロセッサは、上記検査すべきバージョンと元のマテリアルアイテムを空間的にサブサンプリングすることにより、該検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを生成し、
    上記登録プロセッサは、時間的登録プロセッサと、空間的登録プロセッサとを備え、該時間的登録プロセッサは、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンに対する時間的アラインメントを行い、上記空間的登録プロセッサは、ネスティングされたアラインメント処理を行い、該ネスティングされたアラインメント処理のために、空間的に帯域幅が縮小された複数のバージョンが生成されることを特徴とする請求項5又は6記載のデータ検出装置。
  8. 上記相関プロセッサは、上記コードワードに固有に関連付けられたシード値から、擬似乱数を生成し、該擬似乱数に基づいてコードワード係数を生成するコードワード生成器を備えることを特徴とする請求項1乃至7いずれか1項記載のデータ検出装置。
  9. 上記シード値は、ウォータマークが埋め込まれたマテリアルアイテムのサンプルから生成されることを特徴とする請求項8記載のデータ検出装置。
  10. 上記コードワードは、マテリアルアイテムの離散コサイン変換領域に導入されており、
    上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを離散コサイン変換領域に変換する離散コサイン変換プロセッサを備え、
    上記再生プロセッサは、ウォータマークが埋め込まれたマテリアルアイテムの離散コサイン変換係数から、対応するマテリアルの離散コサイン変換係数を減算することにより再生コードワードを生成することを特徴とする請求項1乃至9いずれか1項記載のデータ検出装置。
  11. マテリアルアイテムのウォータマークが埋め込まれた検査すべきバージョン内に、コードワードの組のうち、1つ以上のコードワードが存在しているか否かを判定するデータ検出方法であって、
    上記検査すべきバージョンのサンプルを元のマテリアルアイテムのコピーのサンプルに関連付けるステップと、
    登録された元のマテリアルアイテムと検査すべきマテリアルアイテムとを比較することによって再生コードワードを生成するステップと、
    上記再生コードワードと、上記コードワードの組におけるコードワードとの間の相関から1つ以上のコードワードを検出するステップとを有し、
    上記検査すべきバージョンのサンプルを元のマテリアルアイテムのコピーのサンプルに関連付けるステップは、
    上記検査すべきバージョンとマテリアルアイテムの少なくとも1つの帯域幅が縮小されたバージョンを生成するステップと、
    上記検査すべきバージョンの帯域幅が縮小されたバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンとの比較に基づいて、該検査すべきバージョンと、上記マテリアルアイテムのコピーとを関連付けるステップとを有するデータ検出方法。
  12. 上記検査すべきバージョンとマテリアルアイテムの少なくとも1つの帯域幅が縮小されたバージョンを生成するステップは、複数のレベルに基づいて、上記検査すべきバージョンと、元のマテリアルアイテムのコピーの複数の帯域幅が縮小されたバージョンを生成するステップを有し、該各レベルは、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅を順次狭くしたバージョンに対応し、該検査すべきバージョンと元のマテリアルアイテムの関連付けは、ネスティングされたアラインメント処理に基づいて判定されることを特徴とする請求項11記載のデータ検出方法。
  13. 上記ネスティングされたアラインメント処理に基づく検査すべきバージョンと元のマテリアルアイテムの関連付けは、
    最も狭い帯域幅を有する最も低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョンを比較し、
    上記最も低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムの帯域幅が縮小されたバージョン間のアラインメント誤差を判定し、
    次に低いレベルに基づいて、上記検査すべきバージョンと元のマテリアルアイテムのアラインメントを行い、
    上記検査すべきバージョンと元のマテリアルアイテムが揃うまで、次に低いレベルに対する処理を繰り返すことによって行われることを特徴とする請求項12記載のデータ検出方法。
  14. データプロセッサにロードされて、該データプロセッサを請求項1乃至10いずれか1項記載のデータ検出装置として動作させるコンピュータにより実行可能な命令を提供するコンピュータプログラム。
  15. データプロセッサにロードされて、該データプロセッサに請求項11乃至13いずれか1項記載のデータ検出方法方法を実行させるコンピュータにより実行可能な命令を提供するコンピュータプログラム。
  16. 請求項14又は15記載のコンピュータプログラムを表す情報信号が記録されているコンピュータにより読取可能な媒体を備えるコンピュータプログラム製品。
  17. 添付の図面を参照してここに説明するデータ検出装置。
  18. 添付の図面を参照してここに説明する、検査すべきマテリアルアイテム内に所定のコードワードの組のうちの少なくとも1つのコードワードが存在するか否かを判定するデータ検出方法。
JP2003192252A 2002-07-04 2003-07-04 データ処理装置及び方法 Expired - Fee Related JP4121907B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB0215513A GB2390503A (en) 2002-07-04 2002-07-04 Detecting data using a reduced-bandwidth version of suspect material

Publications (2)

Publication Number Publication Date
JP2004254276A true JP2004254276A (ja) 2004-09-09
JP4121907B2 JP4121907B2 (ja) 2008-07-23

Family

ID=9939852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003192252A Expired - Fee Related JP4121907B2 (ja) 2002-07-04 2003-07-04 データ処理装置及び方法

Country Status (4)

Country Link
US (1) US7194108B2 (ja)
EP (1) EP1394736A3 (ja)
JP (1) JP4121907B2 (ja)
GB (1) GB2390503A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558310B1 (en) * 2001-01-09 2009-07-07 Urbain Alfred von der Embse Multi-scale code division frequency/wavelet multiple access
CN101032106B (zh) * 2004-08-06 2014-07-23 数字标记公司 便携计算装置中的快速信号检测和分布式计算
JP2007272622A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像処理装置
US8824859B2 (en) 2011-03-16 2014-09-02 Cisco Technology Inc. Adding watermarks to video content
US10652298B2 (en) * 2015-12-17 2020-05-12 Intel Corporation Media streaming through section change detection markers
US11483547B2 (en) * 2019-12-04 2022-10-25 Nxp Usa, Inc. System and method for adaptive correction factor subsampling for geometric correction in an image processing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710834A (en) * 1995-05-08 1998-01-20 Digimarc Corporation Method and apparatus responsive to a code signal conveyed through a graphic image
US5664018A (en) 1996-03-12 1997-09-02 Leighton; Frank Thomson Watermarking process resilient to collusion attacks
US6753374B1 (en) * 2000-06-08 2004-06-22 Uniroyal Chemical Company, Inc. Rubber compositions and method for increasing the Mooney Scorch value
EP1215880A3 (en) * 2000-12-07 2003-08-13 Sony United Kingdom Limited Embedding data in material
DE10150372A1 (de) 2001-10-11 2003-04-24 Bosch Gmbh Robert Speicherloses Teilbordnetz eines Kraftfahrzeugs
GB2383148A (en) 2001-12-13 2003-06-18 Sony Uk Ltd Watermarking
GB2383220B (en) 2001-12-13 2005-11-30 Sony Uk Ltd Data processing apparatus and method
GB2383221A (en) 2001-12-13 2003-06-18 Sony Uk Ltd Method of identifying a codeword used as a watermark

Also Published As

Publication number Publication date
US7194108B2 (en) 2007-03-20
GB0215513D0 (en) 2002-08-14
EP1394736A2 (en) 2004-03-03
JP4121907B2 (ja) 2008-07-23
US20040064716A1 (en) 2004-04-01
GB2390503A (en) 2004-01-07
EP1394736A3 (en) 2007-12-12

Similar Documents

Publication Publication Date Title
JP4181489B2 (ja) データ処理装置及びデータ処理方法
US7792322B2 (en) Encoding apparatus and method
US20030188166A1 (en) Data processing apparatus and method
US20080226125A1 (en) Method of Embedding Data in an Information Signal
JP2004304834A (ja) ロバストなデジタル電子透かし入れ信号の挿入方法および電子透かし検出方法
JP4142423B2 (ja) 検出データ処理装置、受信者特定システム、識別方法、受信者特定方法及びプログラム
JP2008228344A (ja) 検出データ処理装置、識別方法及びプログラム
JP4100674B2 (ja) データ処理装置及びデータ処理方法
EP1028585A1 (en) A method for inserting and detecting electronic watermark data into a digital image and a device for the same
JP4121907B2 (ja) データ処理装置及び方法
JP4212422B2 (ja) データ符号化装置、データ符号化方法、データ検出装置及びデータ検出方法
US7584361B2 (en) Encoding and detecting apparatus
JP2004254275A (ja) データ処理装置及び方法
JP2004040754A (ja) データ処理装置及びデータ処理方法
GB2419765A (en) Image watermarking by forming weighted code word coefficients in a down-sampled transform domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees