JP2002314798A - マテリアルへのデータ埋込み - Google Patents
マテリアルへのデータ埋込みInfo
- Publication number
- JP2002314798A JP2002314798A JP2001375050A JP2001375050A JP2002314798A JP 2002314798 A JP2002314798 A JP 2002314798A JP 2001375050 A JP2001375050 A JP 2001375050A JP 2001375050 A JP2001375050 A JP 2001375050A JP 2002314798 A JP2002314798 A JP 2002314798A
- Authority
- JP
- Japan
- Prior art keywords
- data
- coefficient
- coefficients
- embedded
- watermark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32154—Transform domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32154—Transform domain methods
- H04N1/3217—Transform domain methods using wavelet transforms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32347—Reversible embedding, i.e. lossless, invertible, erasable, removable or distorsion-free embedding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0081—Image watermarking whereby both original and watermarked images are required at decoder, e.g. destination-based, non-blind, non-oblivious
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0203—Image watermarking whereby the image with embedded watermark is reverted to the original condition before embedding, e.g. lossless, distortion-free or invertible watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/328—Processing of the additional information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Storage Device Security (AREA)
Abstract
込まれたデータに故意又は非故意に損傷を与える処理に
対して、埋め込まれたデータをより強固にする。 【解決手段】 元のマテリアルにデータを埋め込み、デ
ータが埋め込まれたマテリアルを生成するステップと、
データが埋め込まれたマテリアルからウォータマークを
除去して、再生マテリアルを生成するステップと、元の
マテリアルと再生マテリアルを比較して、それらの差異
と、その差異の位置を判断するステップと、上記位置
と、上記差異を訂正する訂正とを記憶するステップとを
有する。
Description
ータ埋込みに関する。本発明の実施例は、マテリアルの
ウォータマーキングに関する。
テリアル、オーディオマテリアル、データマテリアルの
うちの少なくとも1つ以上を含む情報信号により表され
る情報マテリアルを意味する。画像マテリアルは、静止
画像と動画像に対して包括的なものであり、画像を表す
ビデオ及び他の情報信号を含んでいる。
オマテリアル、オーディオマテリアル、データマテリア
ル等のマテリアル内に、データが知覚できないような方
法で埋め込むことである。
マテリアル、オーディオマテリアル、データマテリアル
等のマテリアル内に埋め込むことができる。ウォータマ
ークは、マテリアル内において知覚可能でも知覚不可能
であってもよい。
とができる。マテリアル所有者の知的財産権の侵害から
マテリアルを保護したり、侵害を追跡する目的に、ウォ
ータマークを用いることが知られている。例えば、ウォ
ータマークはマテリアルの所有者を識別することができ
る。
くのが困難だという点で「強固(robust)」であると言
える。ウォータマークが強固であるということは、ウォ
ータマークの除去、あるいは、蓄積及び/又は伝送のた
めのビデオ編集又は圧縮等の正当な処理を行おうとして
何らかの方法で処理されたマテリアルの出所を追跡する
のに有用である。また、ウォータマークは、ウォータマ
ークを除去又はマテリアルを処理しようとする試みを検
出するのに有用な処理により、容易に損傷を受けやすい
という点では「脆弱(fragile)」である。
がインターネット上で画像を見て、それを購入したいか
否かを決定することはできるが、顧客が購入しそうなウ
ォータマークが付されていない画像へのアクセスはでき
ないようにするのに有用である。ウォータマークは画像
を劣化させるが、できれば、顧客によってウォータマー
クを除去することができないことが好ましい。可視的な
ウォータマークは、それらが埋め込まれたマテリアルの
出所を判別するのにも用いられる。
数に変換し、空間周波数においてウォータマークを埋め
込み、ウォータマークが埋め込まれたマテリアルを逆変
換することによって、マテリアルにデータを埋め込むこ
とが知られている。ウォータマークにはスケーリング係
数(scaling factor)が適用される。ウォータマークを
除去しようとする不正な試みに耐えるようにウォータマ
ークの能力を高め、許可された除去を効率的に行うこと
を可能にし、ウォータマークが埋め込まれていないマテ
リアルの劣化を低減し、知覚不可能なウォータマークが
望まれる場合にはウォータマークを確実に知覚不可能と
するように、スケーリング係数を選択することが望まし
い。また、マテリアルにウォータマークが埋め込まれて
いるときは、そのウォータマークを除去できるようにす
ることが望ましい。しかし、不正な除去を難しくするよ
うな方法でマテリアルにウォータマークを埋め込むと、
許可された者でもウォータマークが除去しにくくなって
しまう。
よれば、マテリアルへのデータ埋込み方法であって、マ
テリアルの空間周波数変換を表す変換係数Ciを生成す
るステップと、係数C iをデータのビットRiと組み合
わせて、Ci’=Ci+αiRiである変更された係数
Ci’を生成するステップとを有し、さらに、変換係数
Cnからなる所定セット{Cn}iの関数F{Cn}i
として、変更されていない各係数Ciについてのαiを
決定し、このセットには係数Ciは含まれず、係数はシ
リアルに順序付けられ、係数Cnは係数Ciの前の係数
である方法が提供される。
iは、a)変更されていない係数からなるセット、又は
b)変更された係数からなるセット、又はc)変更され
た係数と変更されていない係数とからなるセットであ
る。
合させられるので、マテリアルの劣化を最小限にするこ
とができる。また、これによりαiは、埋め込まれたデ
ータに故意又は非故意に損傷を与える処理に対して、埋
め込まれたデータをより強固にすることができる。
いられる係数セット{Cn}iには、Ciは含まれな
い。データRiの除去方法から明らかになるように、除
去処理におけるαiの正確な再計算と、これによるRi
の除去により、何も処理が行われず、かつ、空間領域画
像のクリッピングが行われなかった場合に、元のマテリ
アルを再生することができる。
される他の係数にαを関連付けることができる。
Ciを生成することができる。セット{Cn}iを構成
する変換係数は、全て同じ帯域にあってもよい。また、
セット{Cn}iを構成する変換係数は、複数の帯域に
あってもよい。複数の帯域の係数セット{Cn}iを用
いることにより、データRiを含む帯域以外の帯域のマ
テリアル特性を用いてマテリアル中のデータRiを隠蔽
することができる。
に順序付けられ、係数Cnは係数C iの前の変更されて
いない係数である。埋め込まれたデータの除去の際、こ
のような順序付けにより、次の係数Cjについてのαj
iを計算するのに係数を用いることができる。
a)変更されていない係数からなるセット、又はb)変
更された係数からなるセット、又はc)変更された係数
と変更されていない係数からなるセットである。
記一具体例の方法によりマテリアルに埋め込まれたデー
タの除去方法であって、データのビットRiの値を決定
するステップと、各変更された係数Ci’について、対
応する係数Cnのセット{C n}iの上記関数F
{Cn}iの値を計算してαiを決定するステップと、
各変更された係数Ci’について、そこからαiRiを
減算して、変更されていない係数値Ciを再生するステ
ップとを有し、係数はシリアルに順序付けられ、係数C
nは係数Ciの前の係数である方法が提供される。
ていない係数のセット{Cn}iから計算される。した
がって、本方法では、再生した係数Ciを、別の係数C
i’を再生するための変更されていない係数からなる別
のセットのうちの変更されていない係数Cnとして使用
する。なお、セット{Cn}iには係数Ci’は含まれ
ない。セット{Cn}iは、データRiが埋め込まれる
マテリアルからαiを正確に計算することを可能にす
る、変更されていない係数からなる。変更された係数C
i’が元の値に再生されると、それを別の係数Cj’に
ついてのαiを計算するのに用いることが可能となる。
に順序付けられ、係数Cnは係数C iの前の変更されて
いない係数である。埋め込まれたデータの除去の際、こ
のような順序付けにより、次の係数Cjについてのαi
を計算するのに係数を用いることができる。
a)変更されていない係数からなるセット、又はb)変
更された係数からなるセット、又はc)変更された係数
と変更されていない係数からなるセットである。
リアルに埋め込まれたデータの除去方法であって、デー
タが埋め込まれたマテリアルが供給されるステップと、
データの除去を可能にする情報を記憶する情報ストレー
ジにアクセスするステップと、ストレージからアクセス
した可能化データを用いて上記データを除去するステッ
プとを有する方法が提供される。
ステップと、マテリアルからのデータの除去を可能にす
る情報を情報ストレージに記憶するステップとを有する
方法が提供される。
タの除去装置であって、データが埋め込まれたマテリア
ルが供給される入力部と、データの除去を可能にする情
報を記憶する情報ストレージと、ストレージからアクセ
スした可能化データを用いて上記データを除去するよう
に構成された除去器とを有する装置が提供される。
埋込み器と、マテリアルからのデータの除去を可能にす
る情報を記憶するストレージと、上記データがマテリア
ルに埋め込まれるときに可能化情報を生成する生成器と
を有する装置が提供される。
り、埋め込まれたデータの除去を可能にする可能化デー
タへのアクセスが可能となる。本発明の好ましい実施例
において、可能化データは、不正アクセスに対して安全
な方法で記憶される。安全なデータへの不正アクセスを
防止する方法はよく知られている。
種々の画像に同一方法でウォータマークを埋め込むと、
ウォータマークを除去する際の難度が異なる。
1のマテリアルにデータを埋め込み、データが埋め込ま
れた第2のマテリアルを生成するステップと、第2のマ
テリアルからデータを除去して、再生マテリアルを生成
するステップと、第1のマテリアルと再生マテリアルを
比較して、それらの差異と、その差異の位置を判断する
ステップと、上記差異を訂正する訂正と、第1のマテリ
アルにおいて差異が発生する上記位置を識別するデータ
とを記憶するステップとを有する方法が提供される。
ータ埋込み装置であって、第1のマテリアルのデータを
埋め込み、データが埋め込まれた第2のマテリアルを生
成する埋込み器と、第2のマテリアルからデータを除去
して、再生マテリアルを生成する除去器と、第1のマテ
リアルと再生マテリアルを比較して、それらの差異と、
その差異の位置を判断する比較器と、上記位置を識別す
るデータと上記差異を訂正する訂正とを記憶するストレ
ージとを有する装置を提供する。
テリアルに埋め込まれたデータの除去方法であって、デ
ータは上記第2の具体例の埋込み方法によりマテリアル
に埋め込まれ、第2のマテリアルからデータを除去し
て、再生マテリアルを生成するステップと、上記位置を
識別するデータと上記差異を訂正する訂正を記憶するス
トレージから上記訂正及び位置を取り出すステップと、
上記訂正を用いて、上記位置にて再生マテリアルを訂正
するステップとを有する除去方法が提供される。
の装置によりマテリアルに埋め込まれたデータの除去装
置であって、第2のマテリアルからデータを除去して、
再生マテリアルを生成する除去器と、上記ストレージか
ら上記訂正及び位置を取り出す取り出し器と、記憶され
た訂正を用いて、上記位置にて再生マテリアルを訂正す
るように構成された訂正器とを有する除去装置を提供す
る。
の具体例の装置(以下、データ埋込み器と呼ぶ)と、上
記第3の具体例の装置(以下、データ除去器と呼ぶ)と
の組合せからなるシステムを提供する。
込み装置と除去装置の間のロスのないチャンネルにより
最適に動作する。埋込み装置と除去装置の間のチャンネ
ルがわかっている場合、そのチャンネルをエミュレート
するエミュレータを、埋込み装置の埋込み器と除去器の
間に設けてもよい。
に添付の図面を参照して説明する。
ォータマークを回復し、ビデオ画像Iからウォータマー
クを除去するウォータマーキングシステムの構成を示す
ブロック図である。ウォータマーキングシステム10
は、画像Iのソース110と、強度アダプタ180と、
ウォータマーク埋込み器120と、ウォータマークデコ
ーダ140と、ウォータマーク除去器130と、ストレ
ージ150を備えている。ウォータマークデコーダ14
0及びウォータマーク除去器130は、ビデオプロセッ
サ及び/又はストレージを備えるチャンネル125を介
してウォータマーク埋込み器120に接続されている。
0は、ビデオ画像Iにウォータマークを埋め込んでウォ
ータマーク付き画像I’を形成し、ウォータマークデコ
ーダ140は、ウォータマーク付き画像I’からウォー
タマークを回復し、ウォータマーク除去器130は、ウ
ォータマーク付き画像I’からウォータマークを除去し
て再生画像I”を生成する。特に、チャンネル125が
プロセッサを備え、及び/又は空間領域における画像の
クリッピングが行われる場合、再生画像I”は元の画像
Iと同一でなくてもよい。
120は、ウォータマークデータとしてUMIDが供給
される。UMIDについては後述の「UMID」のセク
ションで説明する。強度アダプタ180は、ここではビ
デオ画像Iに対するウォータマークの強度と称するパラ
メータαの大きさを決定する。強度αは、ウォータマー
ク付き画像I’を見る人に対するウォータマークの知覚
可能性を最小限にしつつ、ウォータマークを回復できる
ように決定される。そして、ウォータマーク付き画像
I’は、後の処理のために、チャンネル125において
蓄積及び/又は伝送及び/又はルーティングが施され
る。
タマーク付き画像I’から再生UMID145を生成す
る。ウォータマーク除去器130は、再生UMIDを用
いてウォータマーク付き画像I’から再生画像I”を生
成する。
を示すブロック図である。ウォータマーク埋込み器12
0は、擬似ランダムシーケンス発生器220と、エラー
訂正符号発生器200と、ウェーブレット変換器210
と、逆ウェーブレット変換器250と、第1の結合器2
30と、データ変換器225と、第2の結合器240と
を備えている。ウェーブレット変換器210はフレーム
ストレージFS1を有している。逆ウェーブレット変換
器250はフレームストレージFS2を有している。フ
レームストレージFS1は、変更されていない係数Ci
のフレームを記憶する。フレームストレージFS2は、
変更された係数Ci’のフレームを記憶する。
が供給され、エラー訂正符号化されたUMIDを第1の
結合器230に出力する。擬似ランダムシーケンス発生
器220は、iをシーケンスの第i番目のビットとし
て、擬似ランダムバイナリシーケンス(PRBS)Pi
を第1の結合器230に出力する。PRBSは、L×J
ビットの長さを有し、ここで、Jはエラー訂正符号化U
MIDにおけるビット数である。そして、エラー訂正符
号化UMIDの各ビットjは、PRBSの長さLの部分
を変調する。第1の結合器230は、エラー訂正符号化
UMIDをPRBSと論理的に組み合わせて、ビットR
iを有するウォータマークを生成する。エラー訂正符号
化UMIDのビットがWj=0である場合、PRBSの
Lビットを反転する。エラー訂正符号化UMIDのビッ
トがWj=1である場合、PRBSの反転を行わない。
したがって、エラー訂正符号化UMIDのビットWjは
PRBSのLビットに亘って拡散される。データ変換器
225は、バイナリの1をシンボル+1に、また、バイ
ナリの0をシンボル−1に変換して、バイナリで0のビ
ットが図5のデコーダで用いられる相関値に?寄与する
ように保証する。
10からビデオ画像Iが供給され、ウェーブレット係数
Ciを第2の結合器240に出力する。ウェーブレット
については後述の「ウェーブレット」のセクションで簡
単に説明する。
i、ウェーブレット係数Ci、ウォータマーク強度αi
が供給され、変更された係数Ci’を出力する。ここ
で、 Ci’=Ci+αiRi である。
れた係数Ci’が供給され、空間領域のウォータマーク
付き画像I’を出力する。
生器200を有している。エラー訂正符号化を用いてエ
ラー訂正符号化UMIDを生成することは、情報が幾ら
か失われてもUMID175を直ちに再構築することが
できるので有利である。これによりウォータマークに対
するその後の処理や攻撃に対して、ある程度の強固性が
得られる。また、擬似ランダムシーケンスPiを用い
て、ウォータマークとして使用するためのスペクトラム
拡散信号を生成することは、多数のビットに亘りエラー
訂正符号化UMID205を拡散することができるので
有利である。また、これによりウォータマークをより効
果的に隠すことができ、ウォータマークの可視性を低減
する。ウォータマークを画像のウェーブレット変換に適
用することは、ウォータマークの知覚可能性を低減する
ので有利である。さらに、ウォータマークの強度をαi
により調整して、ウォータマークが確実に知覚不可能と
なるようにする。
て以下に説明する。エラー訂正符号発生器200はUM
IDが供給される。一般に、UMIDは31バイトから
なるバイナリシーケンスである。エラー訂正符号発生器
200は、通常、511ビットのエラー訂正符号化バイ
ナリシーケンスを出力する。種々のエラー訂正符号化方
式が知られている。1つの手法として、31ビットまで
のエラーを訂正するBCH符号化を用いる。エラー訂正
に役立つUMIDフォーマットの知識を用いることによ
り、エラー訂正レートを高めることができる。このよう
なアプローチの1つとして、無効の日付、時刻、GPS
位置等をチェックする。
レット変換された画像の所定領域に埋め込まれる。最も
好ましいのは、上部水平バンド(hH,lV)と上部垂
直バンド(lH,hV)である。これらの領域に埋め込
まれたウォータマークは容易に知覚することができない
ので、これらのバンドが選択される。擬似ランダムシー
ケンスの長さは、ウォータマークが各ウェーブレット画
像の所定領域を埋めるように選択される。ウォータマー
クが埋め込まれる領域は、変更されていない係数の境界
内にあってもよく、これにより、ウォータマークを失う
ことなく画像を空間的に移動することができる。
計算する。αiは、αi=F{Cn}iとして計算され
る。ここで、{Cn}iはCi以外の変更されていない
ウェーブレット係数のセットであり、このセットはiに
よって変化する。すなわち、αiの各値は、各セット
{Cn}iの関数Fiである。これを図4のステップS
8に示す。
ット{Cn}iの係数は、Ciと同じウェーブレットバ
ンドにあってもよく、また、Ciとは異なるバンドで互
いに異なるバンドにあってもよい。
ましくは、これらはCiに隣接したウィンドウ内にあ
る。例えば、図3に示すように、セットはN個の係数C
i−1〜Ci−Nからなり、この場合について以下に実
施例を説明する。
般的にNをNiとして示す。
ものでもよい。本実施例においてFは、 αi=F{Cn}i=1/Ni・√ΣCn 2 であり、ここで、Ni≠0のとき、n=i−1〜i−N
であり、Ni=0のとき、αi=kである。
けるウェーブレット係数のマップを示す図であり、これ
らの係数はウェーブレット変換のレベル1のものであ
る。好ましい実施例において、上部水平バンドhH,l
V及び上部垂直lH,hVバンドのみの係数Ciを変更
して、ウォータマークを埋め込む。なお、他のバンド及
び/又は他のレベルの係数を変更して、ウォータマーク
を埋め込むようにしてもよい。以下では、バンドhH,
lVのみについて考える。
300(図2中FS1で示した)に記憶されるが、この
具体例では、図3Aに示すように各バンドにグループ化
されて記憶される。係数はシリアルに順序付けられる。
例えば、ラスタスキャンによりシリアルに順序付けるこ
とができる。他のスキャンパターンも知られている。各
バンドにおける係数のシリアルな順序付けを前提とし
て、変更される各係数C iに対して、Ciを除くNi個
の係数からなるセット{Cn}i(ここではウィンドウ
とも呼ぶ)が定義される。セット{Cn}iは、同じラ
インの係数Ciの前のNi個の係数Ci−1〜?Ci−
Niからなり、最大で例えばM個の最も新しい係数を有
する。なお、バンドhH,lVでは、係数C1の前には
係数がなく、C2の前には1つだけ係数があり、という
具合に続く。係数C1に対してαiは所定値Kに設定さ
れる。それに続く係数に対しては、αiのセットは、前
の係数の総計からなる。
i毎に個々に定義される。上述の具体例では、Ciの前
のNi個の変更されていない係数からなるセットにより
定義される。関数Fを適切に選択することにより、画像
劣化を最小限できるようにα iを画像に適合させる。ま
た、後述の「ウォータマーク除去器」のセクションで説
明するが、これにより、元の値に再生された後のウォー
タマーク付き画像の係数からαiを再計算することがで
きる。これにより、元の画像の再生精度を高めることが
できる。
理の具体例は以下のようになる。すなわち、ステップS
2において、計算処理を開始する。ステップS4におい
て、iの値0をに初期設定する。ステップS6におい
て、iを1だけインクリメントし、ステップS8におい
て、係数C1’に対するα1を計算する。ステップS1
0において、変更された係数C1’の値を計算する。そ
して、処理はステップS6に戻り、iをインクリメント
する。全ての係数が変更されるまで処理を続ける。
iの計算を変更してもよい。
TLの場合、αiをαTLまでインクリメントし、上側
の閾値をαTHとして、αi>αTHの場合、αiをα
THまで低減する。
と比較する。|Cn|>CTHの場、Cnはαiの計算
に含まれない。あるいは、|Cn|>CTHの場、Cn
を(Cn/|Cn|)CTHにクリップする。
ク除去器(図5及び図6) ウォータマークデコーダ(図5) 以下、ウォータマークデコーダ140の動作について図
5を参照して詳細に説明する。ウォータマークデコーダ
140は、ウォータマーク付き画像I’が供給され、再
生UMIDを出力する。ウォータマークデコーダ140
は、ウェーブレット変換器310と、基準擬似ランダム
シーケンス(PRBS)発生器320と、相関器330
と、セレクタ340と、エラー訂正符号デコーダ350
とを備えている。擬似ランダムシーケンス発生器320
により生成されたPRBSは、図2のPRBS発生器2
20により生成されたものと同じであり、上述のよう
に、データ変換器(図示せず)により値が+1及び−1
に変換される。
ーク付き画像I’が供給され、既知の方法で、変更され
たウェーブレット係数Ci’を出力する。相関器330
は、擬似ランダムシーケンス発生器320からの値が+
1及び−1のシンボルPiを有する基準擬似ランダムシ
ーケンスPRBSと、ウェーブレット係数Ci’が供給
され、ウォータマーク付き画像ビット相関シーケンス3
35を出力する。ウォータマーク付き画像ビット相関シ
ーケンスは、以下のようにして決定される。
Ci+αiRiであり、RiはUMIDのエラー訂正符
号化ビットWjにより変調されたPRBSのビットであ
る。上述の具体例では、511ビットのWjがある。各
ビットWjがPRBSのLビットを変調する。変調され
たPRBSにはJLビットがある。
トWjに対して、相関値
・T−1であり、Tはエラー訂正符号化ビット数であ
る。この具体例ではT=511である。相関値S’jの
シーケンス335が生成される。
供給れ、セレクタ340は未訂正UMID345を出力
する。セレクタ340は、S’の値が0より大きい場合
は値が「1」のビットを出力し、S’の値が0以下の場
合は値が「0」のビットを出力する。エラー訂正符号デ
コーダ350は未訂正UMID345が供給され、既知
の方法で再生UMID145を出力する。
き画像における変調PRBSに同期される。これにはシ
ンクロナイザ(図示せず)が使用される。このような同
期は当該技術分野では知られている。
ウォータマーク付き画像I’が供給され、再生画像I”
を出力する。ウォータマーク除去器130は、擬似ラン
ダムシーケンス発生器220及び結合器230により生
成されたのと同じ基準擬似ランダムシーケンスPiを発
生する擬似ランダムシーケンス発生器420と、データ
変換器425を介して、再生UMID145と擬似ラン
ダムシーケンスPiから値が+1及び−1のビットを有
する再生ウォータマークRi’を生成するスペクトラム
拡散信号発生器430とを備えている。基準疑似ランダ
ムシーケンスPiは、既知の方法で、ウォータマーク付
き画像における変調シーケンスに同期される。
ウォータマーク付き画像I’から変更されたウェーブレ
ット係数Ci’を生成するウェーブレット変換器410
と、αiを計算する強度推定器460と、以下の式に従
って再生ウェーブレット係数値を計算する結合器440
とを備えている。
450に供給され、逆ウェーブレット変換器450は再
生画像I”を出力する。
ば、上述の「αの計算」のセクションで説明したよう
に、ウォータマーク埋込み器120においてαiを計算
する。図6のウォータマーク除去器130の強度推定器
460は、類似した方法で、元の値に再生された係数C
iからαを再計算する。
示すように、図3Aで示したのと同様に図6のウェーブ
レット変換器400においてFS3として示すフレーム
ストレージ300に、変更された係数Ci’を記憶し、
図3Aを参照して説明したのと同様に、これらの係数を
シリアルに順序付ける。係数Ci’の前には係数がない
ので、α1=kかつC1=C1’−kR1であることが
わかる。その後の各係数Ciについては、Ni個の前の
再生係数からなるセットからαiを計算可能であり、こ
れらの再生係数は全て、 Ci=Ci’−αiRi’ に従って元の値に再生される。
て、計算処理を開始する。ステップS7において、iの
値を0に初期設定する。ステップS9において、iを1
だけインクリメントし、ステップS11において、係数
C1’に対するα1を計算する。ステップS13におい
て、係数C1’から元の値C1を計算する。そして、処
理はステップS9に戻り、iをインクリメントする。全
ての係数Ci’が元の値Ciに再生されるまで処理を続
ける。
様に、以下の方法の一方又は両方によりαの計算を変更
してもよい。
TLの場合、αiをαTLまでインクリメントし、上側
の閾値をαTHとして、αi>αTHの場合、αiをα
THまで低減する。
と比較する。|Cn|>CTHの場、Cnはαiの計算
に含まれない。あるいは、|Cn|>CTHの場、Cn
を(Cn/|Cn|)CTHにクリップする。
る又は元の値に再生される関連した係数Ciに対して異
なるバンドにあってもよい。したがって、例えば図8に
示すように、バンドhH,lVのαiを計算するのに用
いられる係数セット{Cn}iは他のバンドにあっても
よい。図8の具体例では、セット{Cn}iは、係数C
iの位置に関連した位置にある係数C1i、C2i、C
3iを有している。このように、αiの計算の際に他の
バンドにおける画像特性を考慮して、ウォータマークを
確実に知覚不可能とする。
係数C1i、C2i、C3iは、変更されない係数であ
ってもよい。これは、hH,lV等の1以上のバンドの
係数のみを変更し、他のバンドの係数を変更しないでお
くことにより行うことができる。あるいは、Ciの変更
又は再生を行うのに用いられる係数C1i、C2i、C
3iのうちの少なくとも幾つかを変更してもよい。これ
は、図3又は図8に示すようなフレームストレージ30
0に係数を記憶し、図4及び図7の処理が続くような順
序で係数を読み出すことにより行うことができる。
ンドにおける3つの係数C1i、C 2i、C3iのみに
ついて説明したが、実際は多数の係数を用いることがで
き、係数は3バンド以上、1レベル以上のものであって
もよい。
例えばDCT等、他の変換を用いることもできる。
らなるマテリアルを例として説明したが、例えばオーデ
ィオマテリアルやデータマテリアル等、他のマテリアル
に適用してもよい。
Dにおけるビット数である。したがって、UMIDの各
ビットWjはPRBSの長さLの部分を変調する。ま
た、PRBSはLビットの長さを有し、UMIDの各ビ
ットj毎に繰り返してもよい。
として説明したが、ウォータマークとして他のデータを
用いてもよい。
を計算している。他の実施例においては、変更された係
数、又は、変更された係数と変更されていない係数の組
合せを用いてαを計算する。係数Ciはシリアルに順序
付けられる。係数Ciについてαiを計算するのに用い
られる係数は、シリアル順におけるiの前の係数であ
る。
レット変換器210、逆ウェーブレット変換器250、
ウェーブレット変換器410、逆ウェーブレット変換器
450に、フレームストレージFS1、FS2、FS
3、FS4を設ける。フレームストレージFS1及びF
S4は、変更されていない係数を記憶する。フレームス
トレージFS2及びFS3は、変更された係数Ci’を
記憶する。
0とウォータマーク除去器130の両方において、変更
されていない係数と変更された係数からなるシリアルに
順序付けられたセットが使用可能である。
は、フレームストレージFS1の係数Ciは変更される
ので、係数Ci’としてFS2に記憶される。したがっ
て、α iの計算には、変更された係数Ci’が使用可能
である。係数Ciを変更するためのαiの計算に用いら
れるセット{Cn}iは、Ciの前の変更された係数
C’と、任意ではあるがCiの前の変更されていない係
数Cとにより構成される。
れた係数Ci’がフレームストレージFS3に記憶され
る。係数が再生されると、再生係数Ciがフレームスト
レージFS4に記憶される。したがって、αiの計算に
は、変更された係数C’と、任意ではあるが再生係数C
が使用可能である。
前の係数からなるセットは、4つのフレームストレージ
FS1、FS2、FS3、FS4の全てに存在する。
もできる。αiがCiの前の係数のみから計算される場
合、セットはCiのすぐ前の係数からなる。係数がラス
タスキャンによりシリアルに順序付けられる場合、セッ
トはCiと同じスキャンライン上の係数からなる。ある
いは、そのラインと前の1ラインの係数からなる。他の
形式も可能である。
込み、画像からウォータマークを回復及び除去するシス
テム、この具体例ではウォータマーキングシステムの構
成を示すブロック図である。ウォータマーキングシステ
ムは、画像Iのソース110と、ウォータマークを付す
サブシステムAと、ウォータマークを検出及び除去する
サブシステムBと、サブシステムA及びBを接続するチ
ャンネルCと、データベースDとを備えている。
ータマークを付す。ウォータマーク付き画像はチャンネ
ルCを介してサブシステムBに送られ、ウォータマーク
の検出及び除去が行われる。サブシステムBでは劣化を
生じずに元の画像を再生することが望ましい。このた
め、サブシステムAでは、ウォータマーク除去器130
により画像からウォータマークを除去し、再生画像を元
の画像Iと比較して、差異とその差異の画像内の位置を
検出する。データベースDは、差異の位置と、それらの
位置又は差異における元の画像の値となる訂正データを
記憶する。サブシステムBはウォータマークの検出及び
除去を行って、実質的な再生画像を生成する。除去処理
はサブシステムAにおけるのと同じである。訂正位置及
び訂正をデータベースDから読み出して、再生画像に訂
正を施す。実際には、ウォータマーキングシステムは多
数の画像に対して動作する。したがって、データベース
Dにおいて、画像とそれに関連する訂正データを識別す
る必要がある。具体例では、データベースD内の適切な
データへのアクセスに用いられる識別子により各画像を
識別する。好ましくは、識別子はUMIDである。UM
IDについては後述の「UMID」のセクションで説明
する。最も好ましいのは、ウォータマークがUMIDか
らなることである。図1の具体例では、ウェーブレット
変換により画像を変換する。ウェーブレット変換につい
ては後述の「ウェーブレット」のセクションで説明す
る。図1の具体例では、ウェーブレット係数を比較して
上記差異を決定する。
生成する。ウォータマーク埋込み器120は発生器11
5からUMIDが供給され、 Ci’=Ci+αRi に従って、画像のウェーブレット変換(T)のウェーブ
レット係数CiにウォータマークとしてUMIDを埋め
込む。ここで、Ciは第i番目の元の画像係数であり、
Ci’は第i番目の変更された係数であり、Riはウォ
ータマークデータの第i番目のビットであり、αはスケ
ーリング係数である。以下に説明するように、RiはU
MIDデータWiにより変調された擬似ランダムシンボ
ルシーケンスのビットであってもよい。
ークを除去し、 Ci”=Ci’−αRi に従って、再生係数Ci”を生成する。
Ciと比較して、差異とその位置を決定する。差異及び
位置iは、発生器115により生成されたUMIDとと
もに訂正データとしてデータベースDに記憶される。
された係数Ci’には逆変換(T− 1)が施され、チャ
ンネルCに送られる。
タマーク付き画像が供給される。変換器Tは係数Ci’
を再現する。検出及び除去器127によりUMIDの検
出及び除去が行われる。検出されたUMIDは、データ
ベースD内の訂正データへのアクセスに用いられ、訂正
データは、訂正器129における画像係数Ci”に用い
られて元の係数Ciを再生する。元の係数には逆変換
(T−1)が施され、元の画像Iが再生される。
である。所定の固定値αを用いることにより、ウォータ
マークの除去が容易になる。
スがないことが好ましい。すなわち、ウォータマーク付
き空間領域画像に歪みを生じないからである。
ータマーク除去器130の間にチャンネルエミュレータ
121が設けられること以外は、第1の具体例と同じで
ある。チャンネルエミュレータ121は、ウォータマー
ク埋込み器120の出力に、チャンネルCの効果をエミ
ュレートするチャンネルエミュレータ関数を適用する。
ルCをエミュレートする。したがって、チャンネルCに
よるエラーを検出することができ、訂正がデータベース
Dに記憶される。
に有用である。
は異なる。ウォータマーク埋込み器120を図11に示
し、ウォータマーク除去器130を図12に示す。
ブレット係数Ciを供給する接続線があること以外は、
上述の図2と同じである。同様に図12は、図10の比
較器125に再生係数を供給する接続線があること以外
は、上述の図6と同じである。したがって、図11及び
図12について詳細な説明は省略する。
図1〜図9を参照して説明したようにウォータマークの
埋込み及び除去を行うものであるが、他のウォータマー
ク埋込み及び除去技術を用いることもできる。
年発行、シー・バイレンス著「本当に親しみやすいウェ
ーブレットのガイド(A Really Friendly Guide to Wav
elets)」(C Valens, 1999,(http://perso.wanadoo.
fr/polyvalens/clemens/wavelets/wavelets.html)にて
入手可能)に記載されている。
り画像をスケーリングする、サブバンドコーディングに
おいて用いられる反復フィルタバンクとして、離散ウェ
ーブレット変換を行うことができることを示している。
域画像に、ハイパスフィルタ及びローパスフィルタのセ
ットを適用する。フィルタリングの第1段階であるレベ
ル1において、画像を水平及び垂直方向にフィルタリン
グし、各方向において係数2でスケールダウンする。レ
ベル2では、レベル1からのローパス画像をフィルタリ
ングし、レベル1と同様にしてスケーリングする。続く
レベル3以降では、フィルタリング及びスケーリングを
繰り返す。
当該技術分野における通常の表現である。レベル1にお
いて、画像を空間的にフィルタリングし、下部水平及び
垂直バンドlH1,lV1と、上部水平バンドhH1,
lV1と、上部垂直バンドlH1,hV1と、上部水平
及び垂直バンドhH1,hV1の4つのバンドとする。
レベル2では、下部水平及び垂直バンドlH1,lV1
をフィルタリング及びスケーリングして、下部水平及び
垂直バンドlH2,lV2と、上部水平バンドhH2,
lV2と、上部垂直バンドlH2,hV2と、上部水平
及び垂直バンドhH2,hV2とする。レベル3(図1
0では省略)において、下部水平及び垂直バンドl
H2,lV2をさらにフィルタリング及びスケーリング
する。
MPTEジャーナル2000年3月号に説明がある。図
15に拡張UMIDを示す。拡張UMIDは、基本UM
IDからなる32バイトの第1セットと、シグネチャメ
タデータからなる32バイトの第2セットを有してい
る。
ある。以下はその成分である。
として識別するための12バイトのユニバーサルラベ
ル。これは、UMIDが識別するマテリアルのタイプを
定めるとともに、グローバル的にユニークなマテリアル
番号とローカル的にユニークなインスタンス番号を作成
する方法も定める。
の長さ値。
アルインスタンスを区別するのに用いられる3バイトの
インスタンス番号。
6バイトのマテリアル番号。各マテリアル番号は同じマ
テリアルの関連するインスタンスについては同じであ
る。
ムとしての、シグネチャメタデータからなる32バイト
の第2セットは、拡張UMIDを作成するのに用いられ
る。拡張UMIDは、基本UMIDのすぐ後にシグネチ
ャメタデータがくるものであり、シグネチャメタデータ
は以下の成分からなる。
る8バイトの日時コード。
定める12バイトの値。
4バイトのコードが3グループ。
下に説明する。
IDの最初の12バイトは、表1に定めた登録ストリン
グ値によりUMIDの識別を行う。
これらの値は一例である。また、第1〜第12バイト
は、表中に示すもの以外の指定であってよい。表1に示
す例では、第4バイトは、第5〜第12バイトがSMP
TEに合致するデータフォーマットに関することを示
す。第5バイトは、第6〜第10バイトが「ディクショ
ナリ」データに関することを示す。第6バイトは、この
ようなデータが第7〜第10バイトにより定義される
「メタデータ」であることを示す。第7バイトは、第9
及び第10バイトにより定義されるメタデータを含むデ
ィクショナリの一部を示す。第8バイトは、ディクショ
ナリのバーションを示す。第9バイトはデータのクラス
を示し、第10バイトはそのクラスにおける特定アイテ
ムを示す。
割り当てられた固定値を有している。第11バイトは変
数である。図15及び上記表1に示すように、UMID
のラベルの第1〜第10バイトは固定されていることが
わかる。したがって、これらのバイトは、第1〜第10
バイトを表す1バイトの「タイプ」コードTにより置き
換えることができる。タイプコードTの後には長さコー
ドLが来る。これに続いて、一方が表1の第11バイト
であるとともに他方が表1の第12バイトである2バイ
トと、インスタンス番号(3バイト)と、マテリアル番
号(16バイト)がある。また、任意であるが、マテリ
アル番号の後に拡張UMIDのシグネチャメタデータ及
び/又は他のメタデータを配置してもよい。
ように4つの異なるデータタイプをそれぞれ識別するた
めの4つの値を有している。
容の組合せ)のUMID 12バイトのラベルの最後の(第12)バイトは、マテ
リアル及びインスタンス番号を作成する方法を識別す
る。このバイトはトップニブルとボトムニブルに分割さ
れ、トップニブルがマテリアル番号作成方法を定義する
とともに、ボトムニブルがインスタンス番号作成方法を
定義する。
値「13h」と拡張UMIDについての値「33h」を
有する1バイトの数字である。
は、規格で定められた幾つかの手段のうちのいずれによ
り作成されるユニークな3バイトの番号である。インス
タンス番号により、あるクリップの特定の「インスタン
ス」と外部の関連するメタデータとのリンクが得られ
る。このインスタンス番号がないと、全てのマテリアル
が、マテリアルのいずれのインスタンスとも、また、そ
れに関連するメタデータとも結びついてしまう。
タンス番号とともに新たなマテリアル番号の作成が必要
である。したがって、ゼロでないインスタンス番号は、
関連するクリップがソースマテリアルではないことを示
す。インスタンス番号は主として、あるクリップの特定
のインスタンスに関する関連メタデータを識別するのに
使用される。
ル番号は、規格で定められた幾つかの手段のうちのいず
れかにより作成されるゼロでない番号である。この番号
は、6バイトの登録ポートID番号、時間、乱数発生器
によって変わる。
データから成分はいずれも、有意義な値を入れることが
できない場合には、ヌルフィルを行うことができる。ヌ
ルフィルされた成分はいずれも、後段のデコーダに対し
てその成分が有効でないことを明確に示すため、完全に
ヌルフィルされる。
8バイトであり、その最初の4バイトは時間成分に基づ
くUTC(ユニバーサルタイムコード)である。時間
は、内容のタイプによって、AES3の32ビットオー
ディオサンプルクロック又はSMPTE12Mのいずれ
かにより定められる。
義するようなモディファイドジュリアンデータ(MJ
D)に基づくデータを定める。これは、1858年11
月17日午前0時から999,999日をカウントし、
西暦4597年までの日付を可能とする。
以下のように定義される3成分からなる。
でを特定する8個の10進数。
(少数第5位まで有効)を特定する8個の10進数。
(少数第5位まで有効)を特定する8個の10進数。
ルで表したものなので、海水面より低い高度も可能とす
る。
いて静的であるが、全ての場合にあてはまるわけではな
い。乗り物に取り付けたカメラ等の移動ソースから取り
込まれたマテリアルの場合、空間座標値が変化すること
もある。
で定めたセットに応じた短縮形の4バイトの英数字スト
リングである。登録されていない国は、SMPTEレジ
ストレーションオーソリティから登録英数字ストリング
を得ることができる。
に登録された短縮形の4バイトの英数字ストリングであ
る。団体コードは、それらの登録国コードに関してのみ
意味を持つので、団体コードは異なる国においても同じ
値を有することができる。
によりローカル的に割り当てられるが、グローバル的に
登録されてはいない4バイトの英数字ストリングであ
る。ユーザコードは、それらの登録団体コード及び国コ
ードに関してのみ定められるので、ユーザコードは異な
る団体や国においても同じ値を有することができる。
ブロック図である。
り詳細に示す概略ブロック図である。
のビットを埋め込むように変更されている係数Ciに対
してウィンドウがどのように関係しているかを示す図で
ある。
のビットを埋め込むように変更されている係数Ciに対
してウィンドウがどのように関係しているかを示す図で
ある。
ローチャートである。
る。
る。
ローチャートである。
を示す概略図である。
タマーク除去器におけるフレームストレージの動作を説
明する概略図である。
システムの一例を示す概略ブロック図である。
の概略ブロック図である。
である。
る。
る。
Claims (62)
- 【請求項1】 マテリアルへのデータ埋込み方法であっ
て、 マテリアルの変換を表す変換係数Ciを生成するステッ
プと、 係数CiをデータシンボルRiと組み合わせて、 Ci’=Ci+αiRi である変更された係数Ci’を生成するステップとを有
し、 さらに、変換係数Cnからなる所定セット{Cn}iの
関数F{Cn}iとして、変更されていない各係数Ci
についてのαiを決定し、このセットには係数Ciは含
まれず、係数はシリアルに順序付けられ、係数Cnは係
数Ciの前の係数であることを特徴とする方法。 - 【請求項2】 セット{Cn}iの係数はiにより変化
することを特徴とする請求項1記載の方法。 - 【請求項3】 セット{Cn}iの係数の数Niはiに
より変化することを特徴とする請求項1又は2記載の方
法。 - 【請求項4】 セット{Cn}iの係数は、変更される
係数Ciに対して所定の位置関係を有することを特徴と
する請求項1、2又は3記載の方法。 - 【請求項5】 係数はマテリアルの空間周波数変換を表
すことを特徴とする請求項1、2、3又は4記載の方
法。 - 【請求項6】 係数はマテリアルのウェーブレット変換
を表すことを特徴とする請求項1、2、3又は4記載の
方法。 - 【請求項7】 変換により複数の帯域における係数Ci
を生成することを特徴とする請求項6記載の方法。 - 【請求項8】 セット{Cn}iを構成する変換係数は
全て同一帯域にあることを特徴とする請求項7記載の方
法。 - 【請求項9】 セット{Cn}iを構成する変換係数は
複数の帯域にあることを特徴とする請求項7記載の方
法。 - 【請求項10】 上記関数F{Cn}iは、Ni≠0の
とき、n=i−1〜i=Niであり、Ni=0のとき、
αi=kである場合に、 αi=1/Ni・√ΣCn 2 であって、Niはセットiにおける係数Cnの数である
ことを特徴とする請求項1〜9のいずれか1記載の方
法。 - 【請求項11】 上記データシンボルRiは、埋め込ま
れるデータWjにより変調されたシンボルPiを有する
擬似ランダムシンボルシーケンスのシンボルであること
を特徴とする請求項1〜10のいずれか1記載の方法。 - 【請求項12】 マテリアルへのデータ埋込み装置であ
って、 マテリアルの変換を表す変換係数Ciを生成する変換器
と、 係数CiをデータシンボルRiと組み合わせて、 Ci’=Ci+αiRi である変更された係数Ci’を生成する結合器とを有
し、 さらに、変換係数Cnからなる所定セット{Cn}iの
関数F{Cn}iとして、変更されていない各係数Ci
についてのαiを計算する計算機を有し、このセットに
は係数Ciは含まれず、係数はシリアルに順序付けら
れ、係数Cnは係数Ciの前の係数であることを特徴と
する装置。 - 【請求項13】 セット{Cn}iの係数はiにより変
化することを特徴とする請求項12記載の装置。 - 【請求項14】 セット{Cn}iの変更されていない
係数は、変更される係数Ciに対して所定の位置関係を
有することを特徴とする請求項12又は13記載の装
置。 - 【請求項15】 係数はマテリアルの空間周波数変換を
表すことを特徴とする請求項12、13又は14記載の
装置。 - 【請求項16】 係数はマテリアルのウェーブレット変
換を表すことを特徴とする請求項12、13又は14記
載の装置。 - 【請求項17】 変換により複数の周波数帯域における
係数Ciを生成することを特徴とする請求項16記載の
装置。 - 【請求項18】 セット{Cn}iを構成する変換係数
は全て同一帯域にあることを特徴とする請求項17記載
の装置。 - 【請求項19】 セット{Cn}iを構成する変換係数
は複数の帯域にあることを特徴とする請求項18記載の
装置。 - 【請求項20】 上記関数F{Cn}iは、Ni≠0の
とき、n=i−1〜i=Niであり、Ni=0のとき、
αi=kである場合に、 αi=1/Ni・√ΣCn 2 であって、Niはセットiにおける係数Cnの数である
ことを特徴とする請求項12〜19のいずれか1記載の
装置。 - 【請求項21】 データを他のマテリアルに知覚不可能
に埋め込むことを特徴とする請求項1〜20のいずれか
1記載の方法又は装置。 - 【請求項22】 セット{Cn}iは変更されていない
係数からなることを特徴とする請求項1〜21のいずれ
か1記載の方法又は装置。 - 【請求項23】 セット{Cn}iはCiの前の変更さ
れた係数からなり、係数はシリアルに順序付けられるこ
とを特徴とする請求項1〜21のいずれか1記載の方法
又は装置。 - 【請求項24】 セット{Cn}iは、少なくとも1つ
の変更された係数と少なくとも1つの変更されていない
係数を有することを特徴とする請求項1〜21のいずれ
か1記載の方法又は装置。 - 【請求項25】 請求項1〜12のいずれか1記載の方
法によりマテリアルに埋め込まれたデータの除去方法で
あって、 データシンボルRiの値を決定するステップと、 各変更された係数Ci’について、対応する係数Cnの
セット{Cn}iの上記関数F{Cn}iの値を計算し
てαiを決定するステップと、 各変更された係数Ci’について、そこからαiRiを
減算して、変更されていない係数値Ciを再生するステ
ップとを有し、係数はシリアルに順序付けられ、上記セ
ット{Cn}iは、係数Ciの前の変更された係数から
なることを特徴とする方法。 - 【請求項26】 上記セット{Cn}iは再生係数Ci
からなり、他の係数C jを再生するための他の係数セッ
ト{Cn}jの係数として再生係数Ciを用いるステッ
プをさらに有することを特徴とする請求項25記載の方
法。 - 【請求項27】 上記セット{Cn}iは、少なくとも
1つの変更された係数と少なくとも1つの再生係数を有
し、係数はCi’の前の係数であることを特徴とする請
求項25又は26記載の装置。 - 【請求項28】 請求項11記載の方法によりマテリア
ルに埋め込まれたデータビットWjの値を決定するステ
ップは、基準擬似ランダムシンボルシーケンスと変更さ
れた係数Ci’との相関をとり、相関値をデコードする
ことにより、擬似ランダムシーケンスを変調するデータ
Wjを決定し、上記データを用いて基準シーケンスを再
変調してRiを再生することを特徴とする請求項25〜
27のいずれか1記載の方法。 - 【請求項29】 請求項1〜12のいずれか1記載の方
法によりマテリアルに埋め込まれたデータの除去装置で
あって、 シンボルRiの値を決定するプロセッサと、 各変更された係数Ci’について、対応する係数Cnの
セット{Cn}iの上記関数F{Cn}iの値を計算し
てαiを決定する計算機と、 各変更された係数Ci’について、そこからαiRiを
減算して、変更されていない係数値Ciを再生すること
により、変更されていない係数値Ciを、他の係数
Ci’を再生するための変更されていない係数Cnから
なる他のセット{C n}iの変更されていない係数とし
て使用可能にする減算器とを有し、係数はシリアルに順
序付けられ、上記セット{Cn}iは、係数Ciの前の
変更された係数からなることを特徴とする装置。 - 【請求項30】 上記セット{Cn}iは再生係数Ci
からなり、他の係数C i+1を再生するための他の係数
セット{Cn}i+1の係数として再生係数C iを用い
ることを特徴とする請求項29記載の装置。 - 【請求項31】 上記セット{Cn}iは、係数はCi
の前の変更された係数からなることを特徴とする請求項
30記載の装置。 - 【請求項32】 上記セット{Cn}iは、少なくとも
1つの変更された係数と少なくとも1つの再生係数を有
し、係数はCi’の前の係数であることを特徴とする請
求項30記載の装置。 - 【請求項33】 請求項12記載の方法によりマテリア
ルに埋め込まれたデータビットWjの値を決定する手段
は、基準擬似ランダムシンボルシーケンスと変更された
係数Ci’との相関をとる相関器と、相関値をデコード
することにより、シーケンスを変調するデータWjを決
定するデコーダと、上記データを用いて基準シーケンス
を再変調してRiを再生する変調器とを有することを特
徴とする請求項29、30、31又は32記載の装置。 - 【請求項34】 コンピュータ上で動作するとき、請求
項1〜11のいずれか1記載の方法を行うように構成さ
れることを特徴とするコンピュータプログラム製品。 - 【請求項35】 コンピュータ上で動作するとき、請求
項25〜30のいずれか1記載の方法を行うように構成
されることを特徴とするコンピュータプログラム製品。 - 【請求項36】 マテリアルはビデオマテリアルである
ことを特徴とする請求項1〜35のいずれか1記載の方
法又は装置。 - 【請求項37】 マテリアルはオーディオマテリアルで
あることを特徴とする請求項1〜35のいずれか1記載
の方法又は装置。 - 【請求項38】 マテリアルはオーディオ/ビジュアル
マテリアルであることを特徴とする請求項1〜35のい
ずれか1記載の方法又は装置。 - 【請求項39】 マテリアルに埋め込まれたデータの除
去方法であって、 データが埋め込まれたマテリアルが供給されるステップ
と、 データの除去を可能にする情報を記憶する情報ストレー
ジにアクセスするステップと、 ストレージからアクセスした可能化データを用いて上記
データを除去するステップとを有することを特徴とする
方法。 - 【請求項40】 マテリアルにデータを埋め込むステッ
プと、 マテリアルからのデータの除去を可能にする情報を情報
ストレージに記憶するステップとを有することを特徴と
する方法。 - 【請求項41】 マテリアルに埋め込まれたデータの除
去装置であって、 データが埋め込まれたマテリアルが供給される入力部
と、 データの除去を可能にする情報を記憶する情報ストレー
ジと、 ストレージからアクセスした可能化データを用いて上記
データを除去するように構成された除去器とを有するこ
とを特徴とする装置。 - 【請求項42】 マテリアルにデータを埋め込む埋込み
器と、 マテリアルからのデータの除去を可能にする情報を記憶
するストレージと、 上記データがマテリアルに埋め込まれるときに可能化情
報を生成する生成器とを有することを特徴とする装置。 - 【請求項43】 第1のマテリアルのデータを埋め込
み、データが埋め込まれた第2のマテリアルを生成する
ステップと、 第2のマテリアルからデータを除去して、再生マテリア
ルを生成するステップと、 第1のマテリアルと再生マテリアルを比較して、それら
の差異と、その差異の位置を判断するステップと、 上記差異を訂正する訂正と、第1のマテリアルにおいて
差異が発生する上記位置を識別するデータとを記憶する
ステップとを有することを特徴とする方法。 - 【請求項44】 第2のマテリアルをチャンネルエミュ
レーションするステップをさらに有し、除去ステップ
は、エミュレーション関数が適用された第2のマテリア
ルから再生マテリアルを生成することを特徴とする請求
項43記載の方法。 - 【請求項45】 記憶ステップは、第1のマテリアルの
値を上記訂正として記憶し、この値は第1のマテリアル
における上記位置にて発生することを特徴とする請求項
43又は44記載の方法。 - 【請求項46】 記憶ステップは上記差異を記憶するこ
とを特徴とする請求項44又は45記載の方法。 - 【請求項47】 さらに、上記マテリアルを識別する識
別データを記憶することを特徴とする請求項43、4
4、45又は46記載の方法。 - 【請求項48】 上記識別データは第2のマテリアルを
識別する識別子からなることを特徴とする請求項43、
44、45、46又は47記載の方法。 - 【請求項49】 マテリアルに埋め込まれたデータの除
去方法であって、データは請求項5〜10のいずれか1
記載の方法によりマテリアルに埋め込まれ、 第2のマテリアルからデータを除去して、再生マテリア
ルを生成するステップと、 上記差異を訂正する上記訂正と、差異が発生する第1の
マテリアルにおける上記位置を識別する上記データを記
憶するストレージから、上記訂正及び位置を取り出すス
テップと、 上記取り出された訂正を用いて、識別データにより識別
される上記位置にて再生マテリアルを訂正するステップ
とを有することを特徴とする除去方法。 - 【請求項50】 訂正を用いるステップは、識別データ
により識別される上記位置の再生マテリアルの値を、上
記位置の第1のマテリアルの記憶値で置換することを特
徴とする請求項49記載の方法。 - 【請求項51】 訂正を用いるステップは、上記記憶さ
れた差異を用いて、上記位置の再生マテリアルの値を訂
正することを特徴とする請求項49記載方法。 - 【請求項52】第2のマテリアルの識別子を決定し、識
別されたマテリアルに関連する訂正及び位置を上記スト
レージから取り出すステップをさらに有することを特徴
とする請求項49、50又は51記載の方法。 - 【請求項53】 第1のマテリアルのデータを埋め込
み、データが埋め込まれた第2のマテリアルを生成する
埋込み器と、 第2のマテリアルからデータを除去して、再生マテリア
ルを生成する除去器と、 第1のマテリアルと再生マテリアルを比較して、それら
の差異と、その差異の位置を判断する比較器と、 上記位置を識別するデータと上記差異を訂正する訂正と
を記憶するストレージとを有することを特徴とする装
置。 - 【請求項54】 埋込み器と除去器の間にチャンネルエ
ミュレータをさらに有することを特徴とする請求項35
記載の装置。 - 【請求項55】 マテリアルに埋め込まれたデータの除
去装置であって、 上記第2のマテリアルからデータを除去して、再生マテ
リアルを生成する除去器と、 上記ストレージから上記訂正及び位置を取り出す取り出
し器と、 記憶された訂正を用いて、識別データにより識別される
上記位置にて再生マテリアルを訂正するように構成され
た訂正器とを有することを特徴とする除去装置。 - 【請求項56】 チャンネルにより接続された、請求項
53又は54記載の埋込み装置と、請求項55記載の除
去装置とを有することを特徴とするシステム。 - 【請求項57】 上記マテリアルはビデオマテリアルで
あることを特徴とする請求項39〜56のいずれか1記
載の装置又は方法。 - 【請求項58】 上記マテリアルはオーディオマテリア
ルであることを特徴とする請求項39〜56のいずれか
1記載の装置又は方法。 - 【請求項59】 上記マテリアルはオーディオビジュア
ルマテリアルであることを特徴とする請求項39〜56
のいずれか1記載の装置又は方法。 - 【請求項60】 上記データはUMIDからなることを
特徴とする請求項39〜56のいずれか1記載の装置又
は方法。 - 【請求項61】 コンピュータ上で動作するとき、請求
項39〜47及び57〜60のいずれか1記載の方法を
行うように構成されることを特徴とするコンピュータプ
ログラム製品。 - 【請求項62】 コンピュータ上で動作するとき、請求
項49〜52及び57〜60のいずれか1記載の方法を
行うように構成されることを特徴とするコンピュータプ
ログラム製品。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB0029855.4A GB0029855D0 (en) | 2000-04-05 | 2000-12-07 | Embedding data in material and removing the embedded data |
GB0029860A GB0029860D0 (en) | 2000-12-07 | 2000-12-07 | Embedding data in material |
GB0029855.4 | 2000-12-07 | ||
GB0029860.4 | 2000-12-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002314798A true JP2002314798A (ja) | 2002-10-25 |
JP4094284B2 JP4094284B2 (ja) | 2008-06-04 |
Family
ID=26245397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001375050A Expired - Fee Related JP4094284B2 (ja) | 2000-12-07 | 2001-12-07 | データ埋込み及び除去方法、データ埋込み装置、並びに、データ埋込み及び除去システム |
Country Status (3)
Country | Link |
---|---|
US (2) | US7088843B2 (ja) |
EP (1) | EP1215880A3 (ja) |
JP (1) | JP4094284B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006191553A (ja) * | 2004-12-09 | 2006-07-20 | Sony United Kingdom Ltd | データ処理装置及びデータ処理方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2369949B (en) * | 2000-12-07 | 2005-03-16 | Sony Uk Ltd | Embedding data in material |
US7249257B2 (en) * | 2001-03-05 | 2007-07-24 | Digimarc Corporation | Digitally watermarked maps and signs and related navigational tools |
US7061510B2 (en) | 2001-03-05 | 2006-06-13 | Digimarc Corporation | Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets |
US7254249B2 (en) * | 2001-03-05 | 2007-08-07 | Digimarc Corporation | Embedding location data in video |
US8059815B2 (en) * | 2001-12-13 | 2011-11-15 | Digimarc Corporation | Transforming data files into logical storage units for auxiliary data through reversible watermarks |
US7515730B2 (en) * | 2001-12-13 | 2009-04-07 | Digimarc Corporation | Progressive image quality control using watermarking |
WO2003055130A1 (en) * | 2001-12-13 | 2003-07-03 | Digimarc Corporation | Reversible watermarking |
US7187780B2 (en) * | 2001-12-13 | 2007-03-06 | Digimarc Corporation | Image processing methods using reversible watermarking |
US7006662B2 (en) | 2001-12-13 | 2006-02-28 | Digimarc Corporation | Reversible watermarking using expansion, rate control and iterative embedding |
US7190805B2 (en) * | 2002-04-30 | 2007-03-13 | Hewlett-Packard Development Company, L.P. | Method of and system for edge watermarking of an image |
GB2390503A (en) * | 2002-07-04 | 2004-01-07 | Sony Uk Ltd | Detecting data using a reduced-bandwidth version of suspect material |
FR2849980B1 (fr) * | 2003-01-15 | 2005-04-08 | Medialive | Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede |
FR2850515B1 (fr) * | 2003-01-23 | 2005-07-01 | Medialive | Procede et systeme adaptatif et progressif de distribution securisee d'images fixes codees en ondelettes |
FR2853786B1 (fr) * | 2003-04-11 | 2005-08-05 | Medialive | Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction |
JP4227048B2 (ja) * | 2003-04-25 | 2009-02-18 | 株式会社東芝 | 画像処理システム |
TWI228376B (en) * | 2003-12-23 | 2005-02-21 | Ind Tech Res Inst | Watermark encoding method and recording medium thereof |
US7668334B2 (en) * | 2004-07-02 | 2010-02-23 | Digimarc Corp | Conditioning imagery to better receive steganographic encoding |
US8249350B2 (en) * | 2006-06-30 | 2012-08-21 | University Of Geneva | Brand protection and product autentication using portable devices |
US8055708B2 (en) * | 2007-06-01 | 2011-11-08 | Microsoft Corporation | Multimedia spaces |
US10943030B2 (en) | 2008-12-15 | 2021-03-09 | Ibailbonding.Com | Securable independent electronic document |
US9538040B2 (en) * | 2011-12-16 | 2017-01-03 | University Of Maryland, College Park | Active sensing for dynamic spectrum access |
FR2990783B1 (fr) * | 2012-05-21 | 2014-05-02 | St Microelectronics Rousset | Procede de traitement d'une memoire non volatile, en particulier une memoire du type eeprom, pour le stockage puis l'extraction d'une information, et dispositif de memoire correspondant |
CN108492238A (zh) * | 2018-03-07 | 2018-09-04 | 小明太极(湖北)国漫文化有限公司 | 盲水印嵌入方法和提取方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5721788A (en) * | 1992-07-31 | 1998-02-24 | Corbis Corporation | Method and system for digital image signatures |
JPH07212712A (ja) | 1993-10-29 | 1995-08-11 | Eastman Kodak Co | 階層的な画像記憶及び取出しシステムにおいてディジタル透かし模様を付加及び除去する方法及び装置 |
US5530759A (en) * | 1995-02-01 | 1996-06-25 | International Business Machines Corporation | Color correct digital watermarking of images |
DE69636084T2 (de) * | 1995-09-28 | 2006-09-14 | Nec Corp. | Verfahren und Vorrichtung zum Einfügen eines Spreizspektrumwasserzeichens in Multimediadaten |
US5689587A (en) * | 1996-02-09 | 1997-11-18 | Massachusetts Institute Of Technology | Method and apparatus for data hiding in images |
IL118643A (en) | 1996-06-12 | 1999-12-22 | Aliroo Ltd | System for protecting digital images provided to a recipient |
US5889868A (en) * | 1996-07-02 | 1999-03-30 | The Dice Company | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
US6037984A (en) | 1997-12-24 | 2000-03-14 | Sarnoff Corporation | Method and apparatus for embedding a watermark into a digital image or image sequence |
US6332030B1 (en) * | 1998-01-15 | 2001-12-18 | The Regents Of The University Of California | Method for embedding and extracting digital data in images and video |
JP4313873B2 (ja) * | 1998-01-30 | 2009-08-12 | キヤノン株式会社 | 電子機器及びデータ処理方法 |
US6064764A (en) | 1998-03-30 | 2000-05-16 | Seiko Epson Corporation | Fragile watermarks for detecting tampering in images |
US6154571A (en) | 1998-06-24 | 2000-11-28 | Nec Research Institute, Inc. | Robust digital watermarking |
US6694040B2 (en) * | 1998-07-28 | 2004-02-17 | Canon Kabushiki Kaisha | Data processing apparatus and method, and memory medium |
US6704431B1 (en) | 1998-09-04 | 2004-03-09 | Nippon Telegraph And Telephone Corporation | Method and apparatus for digital watermarking |
DE69943294D1 (de) | 1999-01-25 | 2011-05-05 | Nippon Telegraph & Telephone | Verfahren Gerät und Programmspeichermedium zur digitalen Wasserzeicheneinbettung und -detektierung |
DE60031906T2 (de) * | 1999-04-09 | 2007-04-26 | Canon K.K. | Verfahren zum Einfügen eines Wasserzeichens und dazugehöriges Dekodierverfahren |
US6785815B1 (en) * | 1999-06-08 | 2004-08-31 | Intertrust Technologies Corp. | Methods and systems for encoding and protecting data using digital signature and watermarking techniques |
EP1098522A1 (en) | 1999-11-05 | 2001-05-09 | Sony United Kingdom Limited | Method and apparatus for identifying a digital signal with a watermark |
GB0029855D0 (en) * | 2000-04-05 | 2001-01-24 | Sony Uk Ltd | Embedding data in material and removing the embedded data |
JP2002062888A (ja) * | 2000-08-21 | 2002-02-28 | Matsushita Electric Ind Co Ltd | 電子音楽加工装置、電子音楽再生装置及び電子音楽配信システム |
WO2002017214A2 (en) * | 2000-08-24 | 2002-02-28 | Digimarc Corporation | Watermarking recursive hashes into frequency domain regions and wavelet based feature modulation watermarks |
US6714683B1 (en) * | 2000-08-24 | 2004-03-30 | Digimarc Corporation | Wavelet based feature modulation watermarks and related applications |
US6512837B1 (en) * | 2000-10-11 | 2003-01-28 | Digimarc Corporation | Watermarks carrying content dependent signal metrics for detecting and characterizing signal alteration |
AU2002214613A1 (en) * | 2000-11-08 | 2002-05-21 | Digimarc Corporation | Content authentication and recovery using digital watermarks |
JP3576993B2 (ja) * | 2001-04-24 | 2004-10-13 | 株式会社東芝 | 電子透かし埋め込み方法及び装置 |
KR100624751B1 (ko) * | 2003-04-25 | 2006-09-19 | (주)마크텍 | 영상에 워터마크를 삽입하는 방법 및 상기 방법을 이용한디지털 비디오 저장장치 |
-
2001
- 2001-12-03 EP EP01310099A patent/EP1215880A3/en not_active Withdrawn
- 2001-12-06 US US10/006,294 patent/US7088843B2/en not_active Expired - Fee Related
- 2001-12-07 JP JP2001375050A patent/JP4094284B2/ja not_active Expired - Fee Related
-
2005
- 2005-04-11 US US11/103,005 patent/US7203336B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006191553A (ja) * | 2004-12-09 | 2006-07-20 | Sony United Kingdom Ltd | データ処理装置及びデータ処理方法 |
JP4582482B2 (ja) * | 2004-12-09 | 2010-11-17 | ソニー ヨーロッパ リミテッド | データ処理装置及びデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1215880A2 (en) | 2002-06-19 |
US7203336B2 (en) | 2007-04-10 |
EP1215880A3 (en) | 2003-08-13 |
US20050180598A1 (en) | 2005-08-18 |
US7088843B2 (en) | 2006-08-08 |
US20020118859A1 (en) | 2002-08-29 |
JP4094284B2 (ja) | 2008-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002314798A (ja) | マテリアルへのデータ埋込み | |
JP2002271612A (ja) | マテリアルへのデータ埋込み | |
JP4253113B2 (ja) | 素材識別装置及び素材識別方法 | |
JP4591990B2 (ja) | ウォーターマークが付されたマテリアルの処理システム | |
CN101273367B (zh) | 用于媒体鉴别的隐蔽且鲁棒的标记 | |
US6389152B2 (en) | Method and apparatus for superposing a digital watermark and method and apparatus for detecting a digital watermark | |
US7489801B2 (en) | Encoding and decoding signals for digital watermarking | |
JP4205624B2 (ja) | 検証/認証符号化方法および装置 | |
Qiao et al. | Noninvertible watermarking methods for mpeg-encoded audio | |
CA2367467A1 (en) | Method for compensating the digital watermarking distortion on a multimedia signal | |
JP2008252891A (ja) | 埋込データ及び埋込データを検出し、再生する方法及び装置 | |
TW559743B (en) | Apparatus and method for embedding watermark into original information, transmitting watermarked information, and reconstructing the watermark | |
US7085395B2 (en) | Apparatus for detecting and recovering data | |
US7127079B2 (en) | Image processing apparatus | |
US7856119B2 (en) | Embedding data in material | |
JP3805141B2 (ja) | 画像処理方法及び装置と記憶媒体 | |
JP2004522384A (ja) | 信号への補助データの埋め込み | |
US7171017B2 (en) | Apparatus for embedding data into transform and spatial domains of an image | |
JP3901359B2 (ja) | 電子透かし方法、署名画像埋め込み装置、及び記録媒体 | |
JP2000049615A (ja) | 信号処理装置、記録媒体及び信号処理方法 | |
Singhal et al. | Digital watermarking algorithms: a review | |
AU2002320672B2 (en) | Encoding Information in a Watermark | |
Xu et al. | Copyright protection for WAV-table synthesis audio using digital watermarking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070330 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |