JP2003509913A - ディジタル情報の符号化 - Google Patents
ディジタル情報の符号化Info
- Publication number
- JP2003509913A JP2003509913A JP2001522757A JP2001522757A JP2003509913A JP 2003509913 A JP2003509913 A JP 2003509913A JP 2001522757 A JP2001522757 A JP 2001522757A JP 2001522757 A JP2001522757 A JP 2001522757A JP 2003509913 A JP2003509913 A JP 2003509913A
- Authority
- JP
- Japan
- Prior art keywords
- data
- coefficients
- media file
- coefficient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 123
- 230000008569 process Effects 0.000 claims abstract description 67
- 230000000153 supplemental effect Effects 0.000 claims abstract description 25
- 239000013630 prepared media Substances 0.000 claims abstract description 10
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 3
- 230000000694 effects Effects 0.000 claims 1
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 230000008859 change Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 2
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 1
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 1
- 241000934359 Marmara Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
- G06T1/0035—Output size adaptive watermarking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32154—Transform domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
- H04N1/32277—Compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0053—Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
- H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
Description
ィアファイル、体積型データファイル、2次元及び3次元スプライン及び他のデ
ータファイル等に符号化する技術を改良することに関連している。より具体的に
は、本発明は、それらのメディアファイル、特に、圧縮されたオーディオ、画像
、ビデオ、3次元及びその他のメディアファイルなどに、簡単な著作権情報また
は所有権情報あるいは関連する制限情報を符号化する際に、比較的短いシーケン
スと区別される、大きなデータシーケンスを、シームレスかつフレキシブルに埋
め込むことができるようにすること(但し、これに限定されるわけではない)に
関連する。この技術は、他の種類の圧縮データファイル及びフォーマットにも同
様に有効である。 [背景] 従来、データは、アナログ形式で表現されたメディア情報及びフォーマットに
埋め込まれることが多い。この技術は、例えば、テレビやラジオにおいてテキス
トのような補助データを伝送する場合に広く使用されている。しかしながら、こ
の技術では、一般的に、高ビットレートのディジタルデータを伝送することはで
きない。
人為的)操作から防護するために埋め込まれている。典型的なウォーターマーキ
ング(電子透かし技術)は、メディアファイルに共通に適用されるタイプの変換
において保持される信号の全体的特性を利用する。これらの技法もまた、かなり
低ビットレートに制限される。実際のところ、オーディオ用ウォーターマーキン
グ技法におけるビットレートは、1秒当たりわずか数十データビットの程度であ
る。
信号ドメイン)にデータを埋め込んだ場合には、そのようなデータは、圧縮され
ていないか、または、かなり低い圧縮レートのみが可能である。その上、多くの
現在の圧縮ファイルフォーマットは、そのような信号領域表現を使用せず、従っ
て、この技法の使用には適さない。さらに、この技法は、音声ファイルにデータ
を符号化するために使用されるときには、可聴ノイズを発生しがちである。
国特許第4,379,947号(オーディオと同時にデータを送信する処理に関する)、
同第5,185,800号(精神聴覚基準に基づく適応量子化を用いて変換ディジタル放
送信号にビット割り当てを使用することに関する)、同第5,687,236号(ステガ
ノグラフィー:電子迷彩技術)、同第5,710,834号(グラフィックイメージ中を
伝送されるコード信号)、同5,832,119号(実験データ中に埋め込まれた制御信
号により制御するシステムに関する)、同第5,850,481号(埋め込み式文書に関
するが、任意のデータまたはコンピュータコードに関するものではない)、同第
5,889,868号(ディジタルデータにおけるディジタルウォーターマーク)及び同
第5,893,067号(オーディオ信号に隠されたエコーデータ)がある。
よる「Techniques for data hiding」(IBM Systems Journal,Vol.35,Nos.3&4,1
996,p.313-336)、MPEG Spec-ISO/IEC 11172,part I-3,Informatin Technology-
Coding of moving pictures and associated audio for digital storage media
at up to about 1.5Mbit/s(Copyright 1993,ISO/IEC)、ID3v2 Spec(http://
www.id3.org/casy.html 及びhttp://www.id3.org/id3v2.3.0.html)がある。
ウォーターマークを使用する著作権ラベリングの概要については、Langelaar,G.
C.他の「Copy Protection For Multimedia Data based on Labeling Techniques
」に記載されている。(http://www-it.et.tudelft.nl/html/research/smash/pu
blic/benlx96/benelux_cr.html)。
cess Of And System For Seamlessly Embedding Executable Program Code Into
Media File Formats Such As MP3 And The Like For Execution By Digital Me
dia Player And Viewing Systems」と題する同時係属中の米国特許出願において
、本発明の埋め込み概念のいくつかを適用する技法について開示している。もっ
とも、それは、ディジタルメディア再生装置において、1つ以上の事前準備され
たオーディオ、ビデオ、静止画像、3次元または他の一般的に非圧縮のメディア
フォーマットに、付加的なグラフィック、インタラクティブな及び/または電子
商取引のコンテンツ表現を有する事前準備された提示物を追加する拡張機能を組
み込むことに特化したものであるが。
データ埋め込むこと、及び、データの周波数表現を、一般的には、フーリエ変換
、離散コサイン変換、ウェーブレット変換、あるいは、他の周知の関数によって
符号化することに関連する。本発明は、メディアの圧縮ディジタル表現に高レー
トのデータを埋め込むものであり、これには、圧縮データの周波数表現の係数の
下位ビットを変更することによるものが含まれる。これによって、高速に符号化
及び復号化を行うという利益も得られる。なぜなら、長々とした追加の復号化/
符号化処理を行うことなく、圧縮されたメディアの係数を直接変換することがで
きるからである。本発明の技術は、ウォーターマーキングと組み合わせて使用す
ることができる。但し、この場合、ウォーターマーキングは、データの符号化処
理の前に適用される。
り、それらについて説明している。 J.Zhao, E.Kochの「Embedding Robust Labels into Images for Copyright Prot
ection」(Proceedings of the International Congress on Intellectual Prop
erty Rights for Specialized Information, Knowledge and New Technologies,
Vienna, Austria, August 1995)、 E.Koch, J.Zhaoの「Towards Robust and Hidden Image Copyright Labeling」(
Proceedings IEEE Workshop on Nonlinear Signal and Image Processing, Neos
Marmaras,June 1995)、 F.M.Boland,J.J.K O Ruanaidh, C.Dautzenbergの「Watermarking Digital Image
s for Copyright Protection」(Proceedings of the 5th International Confe
rence on Image Processing and its Applications,No.410,Endinburgh,July,19
95)。
グが開示されている。 G.C Langelaar, R.L.Lagendijk, J.Biemondの「Real-time Labeling Methods fo
r MPEG Compressed Video」(18th Symposium on Information Theory in the B
enelux,15-16 May 1997, Veldhoven, The Netherlands)。
他による文献には、本発明が用いる技術のコンポーネントに部分的に類似した符
号化技術のアプローチが開示されているが、本発明が取り組み、本発明によって
得られるところの所望の利点を得つつ全体的な問題を解決することを見越したも
のでも、それらの問題を解決するべく実際上適合したものでもない。
では、JPEGベースの技術を用いて画像に信号を埋め込む。([JPEG]Digital Co
mpression and Coding of Continuous-tone Still Images,Part 1:Requirements
and guidelines,ISO/IEC DIS 10918-1)。先ず、8×8ブロックDCT内の係数の
中間の周波数範囲から選択した3つの係数の大きさの順に信号を符号化する。そ
して、これら3つの係数間の順序関係における9つの順列を次の3つのグループ
に分ける。すなわち、「1」のビットを符号化するグループ(HML、MHL及びHHL
)、「0」のビットを符号化するグループ(MLH、LMH及びLLH)、「データなし
」を符号化する第3のグループ(HLM、LHM及びMMM)である。彼ら(Zhao及びKoc
h)は、この技法をビデオデータのウォーターマーキングにも拡張している。こ
の技法は、変更に対して頑強で(ロバスト性があり)、かつ、柔軟性があるが、
大量のデータを符号化することはできない。なぜなら、それらは、符号化されて
いるデータの近くにデータがあるところのブロックを変更することができるだけ
であり、さもなくば、「データなし」を符号化するよう係数を変更しなければな
らないからである。この技法は、また、係数の大規模な順序関係を変更しなけれ
ばならないので、データを厳密に変更しなければならない。より詳しく後述する
ように、これらのデメリットは、係数内の単一ビットだけを変更することによっ
てデータを符号化する本発明の技法によって克服される。
(DCT Walsh Transform)、または、画像のウェーブレット変換を生成する技法
を用い、選択した係数に1を加えて「1」ビットを符号化するか、または、選択
した係数から1を引いて「0」ビットを符号化する。この技法は、一見したとこ
ろでは、本発明のコンポーネントの1面に幾分類似しているように見えるが、本
発明によって除去される極めて重大な制限、すなわち、符号化された画像を元の
画像と比較することによってのみ情報を抽出することができるという制限を有し
ている。このことは、メディアファイルのウォーターマークされたコピー、及び
、ウォーターマークされていないコピーを、ウォーターマーキングのために同時
に送らなければならないということを意味する。これは、かなり厳しい制限であ
るが、最下位ビット符号化技術の使用を新規に組み込んだ本発明によって解消さ
れる。
施されていない。例えば、Langelaar、Langendijk及びBiemondの文献は、DCT係
数を表す可変長コード(VLC)の最下位ビットを変更することによってMPEGビデ
オストリーム内のデータを符号化する技法について教示している。Langelaar他
の符号化方式では、VLC値のみの置き換えを可能にすることによってファイルの
長さを一定に維持する。それらのVLC値は、同じ長さの別の値で置き換えること
ができ、1だけ大きさが異なっている。この符号化方式は、ファイルを単純に横
断して、全ての適切なVLC値を変更するものである。しかしながら、彼ら(Lange
laar、Langendijk及びBiemond)の技法の欠点は、適切なVLC値が、比較的少ない
(1.4Mビット/秒ビデオファイルにおいて167/秒であり、従って、14
0万ビットの情報中わずか167ビットを符号化できるだけである)ということ
である。
ープまたは組を一緒に変更できるようにすることによって、かかる制限は除去さ
れ、かつ、ファイル長を一定に保持しつつはるかに高いビットレートを実現する
ことができる。本発明の技法は、また、はるかに大量の情報を知覚上の影響を生
じずに記憶することを可能にする。なぜなら、本発明の技法では、変更される係
数の選択を精神知覚モデルが決定することができるからである。
によるレート(300ビット/秒のオーダー)よりも数桁大きなレートで、オー
ディオ、画像、又はビデオファイルへのディジタル情報の符号化が可能である。
後述するように、本発明は、実際に、128,000ビット/秒オーディオファイルに
3000ビット/秒のデータストリームを簡単に埋め込むことができる。
込んでいる。すなわち、典型的には、単純な著作権情報や所有権情報を符号化し
ている。本発明の技法によれば、コンピュータプログラム全体、マルチメディア
注釈、または、長い追加の通知事項などの全く新たな部類のコンテンツをメディ
アファイルに含めることが可能である。前記同時係属中の出願に記載しているよ
うに、メディアファイルに埋め込まれたコンピュータプログラムは、商取引、対
話型コンテンツ、対話型広告及び従来型の広告、世論調査、CDやコンサートチ
ケットの購入などの電子商取引の勧誘を含む、あらゆる種類の拡張された統合型
業務処理メディア、また、ユーザのマウスの動きに反応し、かつ、音楽のビート
に同調したゲームや対話型の音楽ビデオのような完全にリアクティブなコンテン
ツを操作することができる。これによって、テレビや、ソニーのウォークマン(
商標)や任天堂のゲームボーイ(商標)のようなポータブル装置、Rio及びNomad
などのポータブルMP3プレーヤといったソフトウエア及びハードウエアプラット
ホームに、販売のポイントを音楽と統合することができる。本発明によれば、新
しいビジネスモデルを作成することもできる。例えば、歌曲のコピーをやめさせ
ようとしているレコード会社があった場合に、コピーをやめさせるのではなく、
自由でオープンな音楽の配信を促進し、これによって、埋め込まれた広告及び電
子商取引メッセージを、潜在的な顧客である最大限の聴視者に届けるようにする
ことができる。 [本発明の目的] 従って、本発明の主な目的は、上記した従来技術の制限及び欠点を被ることな
く、圧縮されたオーディオ、画像、ビデオ及び他のメディアファイル等にデータ
を埋め込むための新規で改良されたプロセス(処理)、システム及び装置を提供
することであり、従来技術とは対照的に、大きなデータシーケンスを、シームレ
スにかつ容易にそれらの圧縮されたデータメディアファイルに埋め込めるように
し、他の追加のコンテンツ(補足用コンテンツ)の中でもとりわけ、コンピュー
タプログラム全体、マルチメディア注釈、及び長い追加の通信事項(但し、これ
らに限定されるわけではない)を含む新しい部類のコンテンツを追加できるよう
にすることである。
な新規な処理を提供することである(但し、ウォーターマーキングはデータ符号
化処理の前に適用される)。
データファイル、2次元及び3次元スプラインデータポイントファイル、及び他
のデータファイルを包含する、新規な埋め込み技術を提供することである。
囲に示されている。 [概要] 従って、本発明をより広い観点の1つから要約すると、本発明には、事前準備
された圧縮ディジタルメディアファイルに補足用のディジタルデータを埋め込む
ための処理(プロセス)が含まれる。この処理は、圧縮ディジタルメディアファ
イルを事前準備されたメディアファイル情報の1組の係数表現として符号化する
ステップと、選択した係数に補助的ディジタルデータの一部を埋め込んで、ユー
ザが事前準備されたメディアファイル情報と埋め込まれた補助的データの両方を
デコードして再生することができるようにするために、埋め込まれたデータを含
むメディアファイルを生成するステップ、を含む。
に後述する。 [本発明の好適な実施態様の説明] 前述したように、本発明のプロセス及びシステムの重要な用途は、補足用の比
較的大量のデータを、周波数領域変換によって圧縮されている事前準備されたメ
ディアファイルに追加することと、ソースメディアを近似するか、または、ソー
スメディアを表す1組の係数を提供することである。このような大量の補足用デ
ィジタルデータは、シームレスかつ容易にファイルに埋め込まれる。されに、こ
れは、補足用データをディジタルメディア再生装置によって抽出できるようにし
、かつ、既存のメディアプレーヤとの下位互換性が維持されるようなやり方で行
われる。
関数係数(function coefficient)に変換(例えば、フーリエ変換、サイン変換
、コサイン変換、ウェーブレット変換、及びそれらのバリエーション)すること
によって、そのメディアファイルを圧縮するものである。かかる圧縮メディアフ
ォーマットでは、前述したように、1組の係数は、オリジナルのデータファイル
よりもコンパクトな表現であるにもかかわらず、ソースメディア(元のメディア
)を近似する。
載されているMP3、MP2、MPEG及びJPEGフォーマットが含まれるが、これらには限
定されない。圧縮メディアには、ディジタルウォーターマークなどの追加の埋め
込みデータを含めることができる。
ベースファイル、(Java(登録商標)ファイル、Macromedia Director、Shockwa
veまたはFlash、Perl、VRML、TCL、Visual Basic、マシンコード(機械語)、ま
たは、バイトコードのような)実行可能なプログラムコード、画像ファイル、オ
ーディオファイル、3次元ファイル、または、cab(キャブ)、jar(ジャー)ま
たzip(ジップ)等の任意のアーカイブフォーマットが含まれるが、これらには
限定されない。
ンテンツの両方を提示するための再生装置には、メディアファイルを再生し、ま
たは、表示することが可能な任意のコンピュータシステムが含まれる。プレーヤ
の具体的な例には、ポータブルミュージックプレーヤ、パーソナルディジタルア
シスタント(個人用携帯型情報端末:PDA)、ウェブTV、ディジタルテレビ、カ
ーステレオ、家庭用オーディオシステム、ビデオウォール(video wall)、コン
ソール及びポータブルゲーム装置等が含まれるが、これらには限定されない。
本発明の実施の基礎をなすのは、係数に少しの変更を加えることによってディジ
タルデータ信号のビットを符号化するための新規な技術である。事前準備された
データファイルは、ディジタル形式で記憶され、送信されるので、その少しの変
更は完全に保持される。しかしながら、高いビットレートの情報を符号化するた
めに使用される場合には、これらの技術は、データファイルの変更に対して常に
頑強であるとは限らず、データが破損する場合がある。頑強性(ロバスト性)は
、データのくり返しによって、及び、変更する係数を注意深く選択することによ
って改善することができる。しかし、本発明の技術の意図した用途の多くにおい
て、頑強性は、ユーザの圧縮メディアの再生体験を過度におとしめることなく最
大限の情報をを符号化することに比べれば優先順位は低い。
元又は他のマルチメディアデータ等のようなメディアファイルは、前述し、図5
の信号波形及び係数ベースのテーブルに例示的に示すように、フーリエ変換、コ
サイン変換、サイン変換、ウェーブレット変換、あるいは、関連する離散変換表
現を使用してメディアデータの係数表現(このように表記されている)への周波
数変換を行うことによって符号化される。係数表現への変換によって、圧縮メデ
ィアファイルコンテンツフォーマットが生成される。事前準備されたメディアフ
ァイルがすでに係数表現に符号化されている場合には、この変換ステップは、も
ちろん、それ以上必要ではない。しかしながら、更なる圧縮ステップを使用する
こともできる。
意の周知のタイプの符号化処理において、メディアファイルに埋め込むための補
足用のデータコンテンツ(「データ」)に結合された状態で図示されている。こ
のような追加のデータは、前述したように、オーディオ、ビデオ、画像、データ
ベース、テキスト、実行可能コード、または、用途特化型データ等(但し、これ
らに限定されない)を含む、任意のディジタルデータである。こうして、既存の
ファイルフォーマットとの下位互換性に影響を与えることなく、かつ、ユーザの
メディアファイル再生体験に実質的に影響を与えることなく、補足用の埋め込み
データを有するメディアファイルが生成される。さらに、所望であれば、図1の
変換ステップは、符号化処理の一部とすることができ、任意選択的な圧縮ステッ
プを含むことも可能である。あるいは、それらを追加の別個のステップとして適
用することもできる。かかる変換、圧縮及び符号化処理を結合すると、実際に、
知覚的符号技術を使用して、データを埋め込む係数を選択することが可能にある
。
でより詳しく説明する復号化処理(このように表記されている)は、補足用のデ
ータをメディアファイルに埋め込むための図1で使用する符号化処理の種類に依
存する。典型的には、復号化処理は、周知のように符号化処理の単純な逆処理を
伴う。図示のように、メディアファイルは、復号化処理において通常は変化しな
い。これは、データを除去することができないことがしばしばあるということの
他に、そうすることが、図2に示す再生環境におけるメディアプレーヤやビュー
アーによるユーザの再生体験を一般的には改善することにはならないからである
。しかしながら、補足用のデータを、周知のチェックサムやディジタル署名によ
り検証(「検証プロセス」)して、データが、図1において最初に符号化されて
埋め込まれたデータとビット毎に同一であることを保証することができる。
ディアプレーヤボックスとデータ操作環境ボックス間のSYNC線によって、互いに
通信することができ、これによって、補足用データの実行を、メディアファイル
コンテンツの再生と同期化することができる。
に記載されている。本発明の技法へのそのような応用例を図3に示す。図3では
、埋め込まれる補足用のデータは、ビットストリームコードに変換される。この
場合、データのバイトは、ビット毎の表現として抽出され、これによって、デー
タのバイトを、メディアファイル中に小さな変更(または修飾)として挿入する
ことができる。データビット埋め込むメディアファイルコンテンツ内における適
切な位置の選択(このように表記されている)は、ユーザのファイル再生体験に
与える影響を最小限にして、実際のメディアコンテンツになすことができる小さ
な変更を識別することに基づく。しかしながら、かかる変更は、自動化復号処理
、及び回復された情報によって容易に検出することができるようなものでなけれ
ばならない。
ィック符号化処理(前述した引用文献に記載されたものを含む)の任意の1つを
使用することができる。メディアコンテンツを1組の関数係数として表現する本
発明によれば、データビットは、好ましくは、いくつかの選択された係数の最下
位ビットを変更する技法によって埋め込まれる。これについては、さらに詳しく
後述する。
も、下位互換性があり、いくつかの場合には、埋め込み処理によるユーザの再生
体験の劣化はわずかであり、完全に許容可能なものである。
は、図4のシステムを使用することができる。この場合、メディアファイルのウ
ォーターマーキング処理は、符号化処理(このように表記されている)によって
データを埋め込む前に実行される。ディジタルウォーターマーキング処理として
は、前述の引用文献に記載されたものを含み、多くの異なるタイプのものを用い
ることができる。大部分のウォーターマークは頑強であり、従って、メディアフ
ァイルの変更によっては簡単に除去されず、このため、それより後の図4に示す
データを埋め込むための「符号化処理」によっては影響されない。しかしながら
、いくつかのデータ埋め込み技術は、メディアファイルの変更に対して頑強では
ないため、データの埋め込みは、ウォーターマーキングの後で行われる。こうし
て、埋め込みデータを有するウォーターマークされたメディアファイルが生成さ
れ、このファイルは、頑強なウォーターマークを有しており、内部に埋め込まれ
た補足用のデータを含んでいる。
約22(2進数:22ビット)といった、比較的低いビットレートでデータを埋
め込むことができるに過ぎない。本発明によれば、1秒当たり3000ビット以
上のデータを、128,000ビット/秒のビットレートで符号化されたMP3オーディオ
ファイルに簡単に埋め込むことができた。
な試験を成功裏に実施した。我々は、Natalie Merchantによる「Jealousy」とい
う歌曲から取り出したオーディオファイルを使用し、フラウンホーファー(Frau
nhofer)のMP3encエンコーダを用いて 128kビット/秒で(MPEG)MP3として符
号化した。符号化したファイルの部分は30秒の長さであり、大きさは、720キ
ロバイトである。選択した主な符号化技法は、Phase/Magnitude Frequency-Doma
in Low-Bit Coding(位相/振幅 周波数領域下位ビット符号化)技法であり、
ファイル内にデータを符号化した間隔は一様ではなかった。
ァイルデータと符号化システムを参照して説明する。
は、それが、係数領域にまだ符号化されていない場合には、前述した変換によっ
て係数領域に圧縮される。しかしながら、このステップは、オーディオファイル
が、既に、上記したテストにおけるMPEGオーディオコンテンツの場合のようなDC
T領域に符号化されているフォーマットである場合には不要である。図6におい
ては、前述した図3のステガノグラフィック技術を使用するシステムの場合と同
様に、オーディオファイルに埋め込まれる補足用データは、ビットストリームに
変換される。
一定間隔で、オーディオファイル変換の適切な係数の組を選択する。前述したよ
うに、本発明は、選択した係数の単一のビットのみを変更すればよく、この点、
大規模な順序付けが係数の関係において変化する(例えば、前述したZhao及びKo
chの文献のような)従来技術とは異なる。この組は、オーディオファイル内の連
続する一連の係数を単純に選ぶことによって選択することができる。好適な技法
は、オーディオデータ内の広範囲の周波数(図5)を符号化する1組の係数を選
択することである。
化するために、選択された係数と符号化される次のデータビットを結合し、係数
を再変倍(「リスケール」)する。可能であれば、これは、量子化及びリスケー
ルのステップと共に(または関連して)行われるのが好ましく、これにより、変
更する係数を、元の係数と所望の値の近さの度合いに基づいて選択することがで
きる。さらに、量子化及びリスケールの後に、この決定のよりどころとなるほど
多くのデータはない。
おいて、ファイルの大きさを一定に維持するという追加の制約を伴った状態で行
うことができる。このような場合において、フレームレートを維持しつつ単一の
係数を単にリスケールすることによってはビットを符号化することができない場
合には、複数の係数を変更して、それらの圧縮された表現が同じ長さのままであ
り、従って、オーディオファイルの乱れが最小になるようにすることができる。
(図5)によって実施することができる。かかるパリティー符号化によれば、変
更する係数についてより多くの選択を行うことができる。
、それらを加算することによって計算することができる。すなわち、 12+15+5+3+10+6+12+1=64 である。64は偶数なので、これらの係数において現在符号化されているビット
値は0である。しかしながら、この係数の組において1を符号化することが所望
される場合には、パリティーを奇数にするだけでよい。これは、任意の振幅値ま
たは位相値を選択して、1を加えるか引くことによって行うことができる。値の
この選択は、任意に行うことができ、あるいは、前述したMPEG符号化処理におい
て現在使用されている精神聴覚学(または心理音響学)的モデルのタイプに基づ
いて行うことができる。
ow-bit coding)によるデータの符号化において、一連の係数の下位ビットのパ
リティーを使用する場合を例示している。1例として、一連の係数、たとえば8
個の係数においてデータ情報の単一ビットを符号化したい場合を想定する。本発
明によれば、最初(第一)の係数の下位ビットを単に変更するのではなく、8個の
下位ビットのパリティーを変更することによって符号化を実施する。アルゴリズ
ムによって1組の連続する係数が検査され、下位ビットが抜き出され、それらの
うちのいくつがセットされているかが計数される。従って、本発明の技法によれ
ば、セットされているビットの和が偶数(パリティ)であろうと奇数(パリティ
ー)であろうと、データの単一ビットを符号化することができる。これによって
、どの係数(もしあれば)を変更するかを決定することにおいてアルゴリズム選
択が提供されるという利点が得られる。
に適用することができる。1例として、32個の係数の下位ビットを足し合わせ
て、その結果のモジュロ4(4で除したときの余り)を計算することによって、
2つの8個の係数領域にわたって符号化することができるのと同じ量のデータを
、32個の係数にわたって符号化することができる。これによって、同量のデー
タをストリームに挿入できるわけではないが、どの係数を変更するかを選択する
際のフレキシビリティが増すことになる。
理を本発明の実施において使用することができるということを、例えば図1の実
施態様の全体像に関連して説明したが、前述したMPEGレイヤIIIオーディオファ
イル(MP3)の好適な符号化処理を、そのようなMPEGオーディオストリームにつ
いて以下で詳細に説明する。以下の説明では、$xxという表記を、16進符号化
オクテットを示すために使用する。例えば、$00は、2進数00000000を表す。こ
のフレームは、ISO-8859-1(ASCII)文字の「EXEC」である。ID3v2規格書に記
載されているように、この後には、4オクテットのサイズ(Size)ヘッダーと2
オクテットのフラグ(Flag)ヘッダーが続く。この後には、フレーム内において
、ISO-8859-1テキスト符号化を使用することを表すために$00か、または、ISO/
IEC 10646-1(ユニコード)テキスト符号化を使用することを表すために$01が続
く(これらのテキスト符号化は後で言及する)。ヘッダーは最初に作成され、実
行可能コードの説明とそれを埋め込んだ方法の説明を含んでいる。最初のオクテ
ットは、符号のない数であって、グループ化されてビットを表す係数の数を示し
ている。これは、ほとんどの場合8である。この後には、ヘッダー+実行可能コ
ードの長さを表す8オクテットの符号のない数が続く。次は、IETF RFC 2045(
これについては後でも参照する)に記載されているようにISO 8859-1(ASCII)
符号化MIMEタイプの実行可能コンテンツであり、その後には、$00が続く。例え
ば、前述したMacromedia FlashファイルのMIMEタイプは、「application/ex-sho
ckwave-flash」である。この後には、$00で終了するISO-8859-1(ASCII)におけ
る実行可能コードの説明が続く。さらに、この後には、図2に関連して説明した
ように、チェックサムがない場合には$00であり、チェックサムがある場合には$
01である1つのオクテットが続く。チェックサムがある場合には、この後には、
実行可能コードのオクテットを合計し、その結果のモジュロ256を取ることに
よって生成される、チェックサムの単一オクテットが続く。これは有用である。
なぜなら、これによって、実行可能コードを実行する前にこの実行可能コード検
査して、間違った命令を実行する原因となりうる伝送エラーが存在する可能性を
少なくすることができるからである。
トを順に検査し、そのビットを、最上位ビットから最下位ビットへの順でビット
ストリームに配置することによって、ヘッダー+コンテンツの全パッケージが、
ビットストリームに変換される。ビットストリームが生成されると、それをMPEG
オーディオファイルに埋め込む必要がある。これを行うために、本明細書に記載
した任意の技法を使用することができる。1つの好適な技法は、前述したLSBパ
リティー符号化を使用することである。この場合、(任意の数を使用することが
できるが)8個の係数からなるグループのパリティーを変更することができる。
この8個の係数からなるグループは、データファイルの7番目の係数毎に選択す
ることによって選び出される。このようにして、1組56個の係数において全部
で7ビットを符号化することができ、この場合、係数のグループの各々は、広範
囲の周波数を表す係数を含む。前述のパリティー符号化技法を使用して、データ
が完全に埋め込まれるまで、各組の係数におけるビットを符号化することができ
る。データが大きすぎてファイルに収まらない場合には、ビットを表すのに8個
の係数より少ない係数のパリティーを使用することができる。但し、その場合に
は、聴感の品質が低下する場合がある。8個以外の数の係数を使用する場合には
、データファイルの最初のバイトが、8個の係数を使用して符号化され、次に、
最初のバイトにおいて指定された数の係数を使用して続くすべてのバイトが符号
化される。
細に説明した符号化処理を単に逆にしたものである。最初のオクテットがオーデ
ィオデータから抜き出され、そのれ基づいて、後続の全てのビットが同様に抜き
出される。ヘッダー内に符号化されたチェックサムがある場合には、実行可能コ
ードのオクテットが合計され、その結果のモジュロ256がとられ、符号化され
ているチェックサムと比較される。それらが等しければ、実行が続行される。
る。既に説明したapplication/x-shockwave-flashタイプの場合の参考実行環境
は、Macromedia によって、Flash Standardsウェブページ(http://www.macrome
dia.com/software/flash/open/)に記載されている。
可能コードの実行を開始する。追加のアプリケーションプログラミングインター
フェース(API)を、実行環境に関して定義して、再生が行われている間に、オ
ーディオファイルに関連する実行環境の正確な振る舞いを制御することができる
。
術についての更なる詳細は以下の参考文献に記載されている。
オファイル)の使用についてさらに説明を続ける。例えば、既に引用したMPEG及
びMP3に関する文献を参照すると、ファイルの周波数表現における振幅係数の最
下位ビットを使用して、プログラムコンテンツを符号化する(いわゆる、振幅、
周波数領域下位ビット符号化)。例えば、どの係数を変更するかを決定するため
に、繰り返し可能な擬似ランダムシーケンスを使用するか、あるいは、単に係数
を10番目毎に単に変更することによって、例えば音楽ファイルにおいて符号化
する必要があるデータ量に依存して、データを少しの割合の係数中に記憶するこ
とができる。ハフマン符号化の追加ステップを使用してデータをさらに圧縮する
MP3フォーマットに適用される場合には、ハフマン符号化の前に係数を変更する
ことができる。この場合には、ファイルサイズがわずかに変化するであろう。代
替の本発明の好適な実施態様では、前述したように、符号化処理の後に係数を変
更し、または、リスケールする。これによって、ファイルサイズの増加が回避さ
れ、また、データ抽出(データ抜き出し)処理をより迅速に実行することができ
る。
様に、画像ファイルを図7に示すように埋め込むことができる。図示のように、
画像ファイルがまだ符号化されていない場合は、画像ファイルを係数領域に変換
するだけでよい。画像ファイルが、DCT領域で符号化される前述したJPEGのよう
なフォーマットである場合には、このステップは不要である。この場合も、選択
された1組の係数は、好ましくは、画像データにおける広い範囲の周波数を包含
している。パリティー符号化は、データビット符号化の係数のリスケールにおい
て好適であり、前述したように、変更する係数についてより多くの選択を可能に
する。
の変換−圧縮に関する構成を示している。
の領域全体にわたって使用される2次元及び3次元スプラインデータポイントに
関するものである。それらは、係数表現を使用して既に表現されており、2次元
または3次元における助変数方程式(parametric equation)の係数を符号化す
る。このようなスプラインの典型的なタイプの例には、ベジェ曲線やNURBS(non
-uniform rational B-spline)がある。データビットストリーム埋め込みのため
に選択された係数の組は、単に、スプラインデータポイントファイルにおける連
続する一連の係数とすることができる。
)型(volumetric)データファイルにおける補足用データの符号化に適用した例
を示す。体積型データは、「ボクセル」、すなわち、3次元ピクセルを使用して
空間的なデータセットを表すために使用される。ボクセルは、一般的に3次元配
列をなしており、例えば、3次元空間モデル、磁気共鳴像(MRI)データ、空間
的温度分布などのようなものを表すために、3次元モデリングツール及び環境に
よって使用される。現在のところ、このような体積型データ用の共通の圧縮技術
は存在しないので、図示のように、係数領域への変換が必要である。これは、3
次元DCTまたは3次元高速フーリエ変換といった周知の3次元変換を使用して実
施される。
の大きさを表す係数、すなわち振幅係数の最下位ビットを好適に使用することに
ついて説明したが、位相周波数領域下位ビット符号化のような他の技術を使用す
ることもできる。この場合は、メディアファイルの変換周波数表現の位相係数(
図5)の最下位ビットがプログラムを符号化するために使用される。この実施態
様は、データを符号化するために、大きさを表す係数ではなくて位相係数を使用
すること以外は、オーディオコンテンツの場合と同じである。なぜなら、人間の
耳は、音の大きさに対する感度よりも音の位相に対する感度の方が極めて鈍く、
再生中に聞こえる音の歪みは少ないであろうからである。
の範囲に規定された本発明の思想及び範囲内のものである。
概要を示すブロック図兼流れ図である。
同様の図である。復号されたデータは、メディアプレーヤまたはビューアーによ
って再生される。
合の図1と同様の図である。
合の構成を示す。
的な信号波形と、フーリエ変換をベースとして圧縮した後の係数ベースの信号表
現を示す。
ック図兼流れ図であり、オーディオデータは、本発明のプロセスに従って、係数
領域に変換されて圧縮され、データを埋め込まれ、そして、ディジタル的にウォ
ーターマーキングされる。
している。この場合も、画像データは係数領域に変換されて圧縮される。
示している。この場合も、ビデオデータは係数領域に変換されて圧縮される。
用した場合の構成を示す。
Claims (33)
- 【請求項1】 補足用ディジタルデータを事前準備された圧縮ディジタルメディアファイルに
埋め込むためのプロセスであって、 圧縮ディジタルメディアファイルを、事前準備されたメディアファイル情報の
1組の係数表現として符号化するステップと、 補足用ディジタルデータの部分を選択された係数に埋め込んで、そのような埋
め込まれたデータを含むメディアファイルを生成することにより、ユーザが、事
前準備されたメディアファイル情報と埋め込まれた補足用データの両方を復号し
て再生することができるようにするためのステップ を含む、プロセス。 - 【請求項2】 補足用ディジタルデータを事前準備されたディジタルメディアファイルに埋め
込むためのプロセスであって、 メディアファイルを、事前準備されたメディアファイル情報の符号化された周
波数領域における係数表現の組に変換して、そのファイルを圧縮するステップと
、 所定の係数の組を選択するステップと、 選択された係数に補足用ディジタルデータのビットを埋めこんで、そのような
埋め込まれたデータを含む補足用データファイルを生成することにより、ユーザ
が、事前準備されたメディアファイル情報と埋め込まれた補足用データの両方を
復号して再生することができるようにするためのステップ を含む、プロセス。 - 【請求項3】 前記係数が、フーリエ変換、コサイン変換、サイン変換及びウェーブレット変
換からなるグループから選択された離散変換によって準備される、請求項2のプ
ロセス。 - 【請求項4】 前記埋め込むステップが、選択された係数の最下位ビットを使用する、請求項
2のプロセス。 - 【請求項5】 前記選択された係数が、一定間隔で選択された係数である、請求項4のプロセ
ス。 - 【請求項6】 前記係数が、周波数係数と位相係数の一方または両方として選択される、請求
項4のプロセス。 - 【請求項7】 データの1ビットが、前記係数のグループの最下位ビットのパリティーを計算
することによって埋め込まれる、請求項4のプロセス。 - 【請求項8】 知覚符号化技術を使用して、前記係数のグループのどれをデータ埋め込みによ
って変更するかを選択する、請求項7のプロセス。 - 【請求項9】 メディアファイル再生についてのユーザの知覚に与える影響を最小限にしつつ
、前記係数のグループの最下位ビットのパリティーにより、データのビットが埋
め込まれる、請求項8のプロセス。 - 【請求項10】 前記再生は、その再生に使用される装置の下位互換性を維持するものであるこ
とからなる、請求項2のプロセス。 - 【請求項11】 ステガノグラフィック符号化を使用する請求項2のプロセスであって、データ
をビットストリームに変換し、補足用データビットの挿入及び埋め込みが前記再
生中にユーザの知覚に与える影響を最小にするように、メディアファイル情報内
の位置を選択するプロセス。 - 【請求項12】 前記挿入及び埋め込みが、選択された係数の最下位ビットにおいて実施される
、請求項11のプロセス。 - 【請求項13】 補足用データの埋め込みの前に、ディジタルウォーターマーキングがメディア
ファイル情報に適用される、請求項2のプロセス。 - 【請求項14】 ステガノグラフィック符号化を使用する請求項2のプロセスであって、データ
をビットストリームに変換し、メディアファイル情報内のある範囲の周波数を含
むように係数の組を選択し、ビットストリーム内の各ビットについて、選択した
係数と符号化される次のビットを組み合わせて、係数をリスケールし、埋め込む
ビットを符号化する、プロセス。 - 【請求項15】 メディアファイル情報が、オーディオ、画像、ビデオ、2次元スプラインデー
タポイント、3次元スプラインデータポイント、及び体積型データファイルのう
ちの少なくとも1つであるように選択される、請求項14のプロセス。 - 【請求項16】 メディアファイル情報が、MPEGフォーマットにおけるオーディオ情報とビデオ
情報のうちの少なくとも1つである、請求項15のプロセス。 - 【請求項17】 メディアファイル情報が、JPEGフォーマットにおける画像ファイル情報である
、請求項15のプロセス。 - 【請求項18】 スプラインデータが、ベジェ曲線かNURBSである、請求項15のプロセス。
- 【請求項19】 体積型データが、3次元変換を使用して圧縮される、請求項15のプロセス。
- 【請求項20】 メディアファイルが、オーディオ、画像、ビデオ、2次元スプライン、3次元
スプライン、体積型情報、及びマルチメディア情報のうちの1つを含む、請求項
2のプロセス。 - 【請求項21】 補足用ディジタルデータを事前準備されたディジタルメディアファイルに埋め
込むためのシステムであって、 メディアファイル情報を、事前準備されたメディアファイル情報の周波数領域
における係数表現の組に変換し、そのファイルを圧縮するための第1の符号化手
段と、 所定の係数の組を選択するための手段と、 選択された係数に補足用ディジタルデータのビットを埋めこんで、そのような
埋め込まれたデータを含む補足されたメディアファイルを生成することにより、
ユーザが、事前準備されたメディアファイル情報と埋め込まれた補足用データの
両方を再生装置で復号して再生することができるようにするための第2の符号化
手段 を組み合わせて備える、システム。 - 【請求項22】 メディアファイル情報が、オーディオ、画像、ビデオ、2次元スプライン、3
次元スプライン、体積型情報、及びマルチメディア情報からなるグループから選
択される、請求項21のシステム。 - 【請求項23】 前記第1の符号化手段が、フーリエ変換、コサイン変換、サイン変換及びウェ
ーブレット変換のうちの1つによって前記係数を準備する、請求項22のシステ
ム。 - 【請求項24】 動作時に、前記第2の符号化手段が、選択された係数の最下位ビットを使用す
る、請求項21のシステム。 - 【請求項25】 前記選択された係数が、一定間隔で選択された係数である、請求項24のシス
テム。 - 【請求項26】 前記係数が、周波数係数と位相係数の一方または両方として選択される、請求
項24のシステム。 - 【請求項27】 前記第2の符号化手段が、データの1ビットを、前記係数のグループの最下位
ビットのパリティーを計算することによって埋め込む、請求項24のシステム。 - 【請求項28】 知覚符号化技術を使用して、前記係数のグループのどれをデータ埋め込みによ
って変更するかを選択する、請求項27のシステム。 - 【請求項29】 前記第2の符号化手段が、メディアファイル再生についてのユーザの知覚に与
える影響を最小限にしつつ、前記係数のグループの最下位ビットのパリティーに
応答して、データのビットを埋め込む、請求項28のシステム。 - 【請求項30】 前記再生は、再生装置の下位互換性を維持するものである、請求項21のシス
テム。 - 【請求項31】 補足用ディジタルデータを圧縮されたディジタル情報ストリームに埋め込むた
めのプロセスであって、 圧縮されたディジタルデータストリームを、前記情報の1組の係数表現として
符号化するステップと、 補足用ディジタルデータの部分を選択された係数に埋め込んで、そのような埋
め込まれたデータを含むストリームを生成することにより、ユーザが、前記情報
と埋め込まれた補足用データの両方を復号して提示することができるようにする
ためのステップ を含む、プロセス。 - 【請求項32】 補足用ディジタルデータをディジタル情報ストリームに埋め込むためのプロセ
スであって、 前記ストリームを、前記情報の周波数領域における係数表現の符号化された組
に変換して、そのストリーム圧縮するステップと、 所定の係数の組を選択するステップと、 選択された係数に補足用ディジタルデータのビットを埋めこんで、そのような
埋め込まれたデータを含む補足データファイルを生成することにより、ユーザが
、前記情報と埋め込まれた補足用データの両方を復号して提示することができる
ようにするためのステップ を含む、プロセス。 - 【請求項33】 前記選択された係数が、ほぼ一定間隔で選択された係数である、請求項32の
プロセス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/389,941 | 1999-09-03 | ||
US09/389,941 US6748362B1 (en) | 1999-09-03 | 1999-09-03 | Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like |
PCT/IB2000/000227 WO2001019071A1 (en) | 1999-09-03 | 2000-03-06 | Encoding of digital information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003509913A true JP2003509913A (ja) | 2003-03-11 |
JP4429563B2 JP4429563B2 (ja) | 2010-03-10 |
Family
ID=23540408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001522757A Expired - Lifetime JP4429563B2 (ja) | 1999-09-03 | 2000-03-06 | 付加用ディジタルデータを埋め込むためのプロセスまたはシステム |
Country Status (8)
Country | Link |
---|---|
US (1) | US6748362B1 (ja) |
EP (1) | EP1570644A1 (ja) |
JP (1) | JP4429563B2 (ja) |
CN (1) | CN1379952A (ja) |
AU (1) | AU2820300A (ja) |
CA (1) | CA2383953A1 (ja) |
TW (1) | TW488153B (ja) |
WO (1) | WO2001019071A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010535372A (ja) * | 2007-07-31 | 2010-11-18 | ロヴィ・ソリューションズ・コーポレーション | 補助情報をデジタル署名付きコンテンツに埋め込み認証する、コンピュータにより実施される方法およびシステム |
JP2012520481A (ja) * | 2009-03-13 | 2012-09-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 補助データの埋め込み及び抽出 |
US8397072B2 (en) | 2005-05-20 | 2013-03-12 | Rovi Solutions Corporation | Computer-implemented method and system for embedding ancillary information into the header of a digitally signed executable |
US8484476B2 (en) | 2005-05-20 | 2013-07-09 | Rovi Technologies Corporation | Computer-implemented method and system for embedding and authenticating ancillary information in digitally signed content |
JP2014519215A (ja) * | 2011-04-22 | 2014-08-07 | トムソン ライセンシング | データをロッシー圧縮符号化する方法および装置、および、データを再構築する対応する方法および装置 |
JP2015522988A (ja) * | 2012-05-14 | 2015-08-06 | ロッサト、ルカ | 連続座標系を活用する動き補償および動き予測 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7724919B2 (en) | 1994-10-21 | 2010-05-25 | Digimarc Corporation | Methods and systems for steganographic processing |
US7224819B2 (en) * | 1995-05-08 | 2007-05-29 | Digimarc Corporation | Integrating digital watermarks in multimedia content |
US7756892B2 (en) * | 2000-05-02 | 2010-07-13 | Digimarc Corporation | Using embedded data with file sharing |
US7363267B1 (en) * | 1999-06-03 | 2008-04-22 | The Ticket Reserve, Inc. | Contingency-based options and futures for contingent travel accommodations |
US7188186B1 (en) * | 1999-09-03 | 2007-03-06 | Meyer Thomas W | Process of and system for seamlessly embedding executable program code into media file formats such as MP3 and the like for execution by digital media player and viewing systems |
US6947893B1 (en) * | 1999-11-19 | 2005-09-20 | Nippon Telegraph & Telephone Corporation | Acoustic signal transmission with insertion signal for machine control |
CA2400947A1 (en) * | 2000-03-06 | 2001-09-13 | Thomas W. Meyer | Data embedding in digital telephone signals |
JP3630071B2 (ja) * | 2000-04-05 | 2005-03-16 | 日本電気株式会社 | 電子透かし検出器及びそれに用いる電子透かし検出方法 |
US8819723B1 (en) * | 2000-04-27 | 2014-08-26 | The Directv Group, Inc. | System and method for brokering auxiliary data broadcasting services |
US20080082355A1 (en) * | 2000-06-05 | 2008-04-03 | Leach Andrew K | Integrated rights marketplace systems and methods |
US20080103802A1 (en) * | 2000-06-05 | 2008-05-01 | Leach Andrew K | Contingent rights exchange relating to music production |
US20080103803A1 (en) * | 2000-06-05 | 2008-05-01 | Leach Andrew K | Contingent event rights relating to an event participant |
US20080103920A1 (en) * | 2000-06-05 | 2008-05-01 | Leach Andrew K | Contingent rights relating to a weather phenomenon |
US20080109345A1 (en) * | 2000-06-05 | 2008-05-08 | Leach Andrew K | Contingent rights exchange relating to non-post season sporting events |
US20080103801A1 (en) * | 2000-06-05 | 2008-05-01 | Leach Andrew K | Contingent travel rights exchange |
DE60143048D1 (de) | 2000-07-06 | 2010-10-21 | Thomas W Meyer | Steganographishe dateneinbettung in digitalen signalen |
JP2002084539A (ja) * | 2000-09-07 | 2002-03-22 | Asa Systems:Kk | 逐次近似圧縮データへのビットプレーン分解ステガノグラフィの適用技術 |
US20040059918A1 (en) * | 2000-12-15 | 2004-03-25 | Changsheng Xu | Method and system of digital watermarking for compressed audio |
CA2328644C (en) * | 2000-12-15 | 2005-05-10 | Ibm Canada Limited-Ibm Canada Limitee | Methods, systems, signals and media for encouraging users of computer readable content to register |
US7061510B2 (en) | 2001-03-05 | 2006-06-13 | Digimarc Corporation | Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets |
US7197160B2 (en) | 2001-03-05 | 2007-03-27 | Digimarc Corporation | Geographic information systems using digital watermarks |
US7042470B2 (en) | 2001-03-05 | 2006-05-09 | Digimarc Corporation | Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms |
US7249257B2 (en) * | 2001-03-05 | 2007-07-24 | Digimarc Corporation | Digitally watermarked maps and signs and related navigational tools |
US7072908B2 (en) | 2001-03-26 | 2006-07-04 | Microsoft Corporation | Methods and systems for synchronizing visualizations with audio streams |
US8457346B2 (en) | 2001-04-24 | 2013-06-04 | Digimarc Corporation | Digital watermarking image signals on-chip |
GB0110132D0 (en) * | 2001-04-25 | 2001-06-20 | Central Research Lab Ltd | System to detect compression of audio signals |
CN1462443A (zh) * | 2001-05-15 | 2003-12-17 | 皇家菲利浦电子有限公司 | 在信息信号中嵌入辅助数据 |
US7237115B1 (en) * | 2001-09-26 | 2007-06-26 | Sandia Corporation | Authenticating concealed private data while maintaining concealment |
KR100431509B1 (ko) * | 2001-12-20 | 2004-05-14 | 한국전자통신연구원 | 메소드 내장형 컨텐츠 처리 장치 및 그 방법 |
US7003131B2 (en) * | 2002-07-09 | 2006-02-21 | Kaleidescape, Inc. | Watermarking and fingerprinting digital content using alternative blocks to embed information |
US7239981B2 (en) * | 2002-07-26 | 2007-07-03 | Arbitron Inc. | Systems and methods for gathering audience measurement data |
US7356158B2 (en) * | 2002-12-17 | 2008-04-08 | New Jersey Institute Of Technology | Methods and apparatus for lossless data hiding |
WO2004090868A1 (en) * | 2003-04-08 | 2004-10-21 | Koninklijke Philips Electronics N.V. | Updating of a buried data channel |
BRPI0411667A (pt) * | 2003-06-25 | 2006-08-08 | Thomson Licensing | método e aparelho de decodificação para detecção de marcas d'água em um fluxo de bits de vìdeo compactado |
US20060257000A1 (en) * | 2003-06-25 | 2006-11-16 | Boyce Jill M | Decoding method an apparatus for detection of watermarks in a compressed video bitsream |
US20080195925A1 (en) * | 2003-06-26 | 2008-08-14 | Donna Marie Auguste | Compressed Media Files with Intrinsic Supplementary Content |
US20050065915A1 (en) * | 2003-09-23 | 2005-03-24 | Allen Wayne J. | Method and system to add protocol support for network traffic tools |
US7480382B2 (en) * | 2003-09-30 | 2009-01-20 | Microsoft Corporation | Image file container |
US7817817B2 (en) * | 2004-09-10 | 2010-10-19 | University Of Maryland | Method for concealing data in curves of an image |
US20080119953A1 (en) * | 2005-04-07 | 2008-05-22 | Iofy Corporation | Device and System for Utilizing an Information Unit to Present Content and Metadata on a Device |
TW200638335A (en) * | 2005-04-13 | 2006-11-01 | Dolby Lab Licensing Corp | Audio metadata verification |
KR100657322B1 (ko) * | 2005-07-02 | 2006-12-14 | 삼성전자주식회사 | 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치 |
EP1938244A1 (en) * | 2005-09-22 | 2008-07-02 | Thomson Licensing | Digital cinema projector watermarking system and method |
KR101213161B1 (ko) * | 2006-06-14 | 2012-12-17 | 삼성전자주식회사 | 압축영역에서의 비디오 워터마킹 장치 및 그 방법 |
CN100413341C (zh) * | 2006-07-18 | 2008-08-20 | 吉林大学 | 音视频信号同步方法 |
US20080109322A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Rights exchange user interface |
US20080109297A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Methods and systems for pricing contingent rights |
US20080103919A1 (en) * | 2006-09-08 | 2008-05-01 | Leach Andrew K | Contingent consumer product rights exchange |
US20080109233A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Contingent rights exchange relating to a private event, good or service |
US20080109321A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Contingent forward rights exchange |
US20080243532A1 (en) * | 2006-09-08 | 2008-10-02 | Leach Andrew K | Contingent purchase rights associated with consumer products |
US20080109296A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Contingent rights exchange associated with a social network |
US20080109323A1 (en) * | 2006-09-08 | 2008-05-08 | Leach Andrew K | Associating media channels with a contingent rights exchange |
US20090070249A1 (en) * | 2007-09-10 | 2009-03-12 | Leach Andrew K | Contingent event rights relating to team location |
US20100095376A1 (en) * | 2008-03-07 | 2010-04-15 | Rodriguez Tony F | Software watermarking |
KR20090110242A (ko) * | 2008-04-17 | 2009-10-21 | 삼성전자주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
US9667365B2 (en) | 2008-10-24 | 2017-05-30 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US8359205B2 (en) | 2008-10-24 | 2013-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US20100131417A1 (en) * | 2008-11-25 | 2010-05-27 | Hank Risan | Enhancing copyright revenue generation |
US10943030B2 (en) | 2008-12-15 | 2021-03-09 | Ibailbonding.Com | Securable independent electronic document |
US20110035686A1 (en) * | 2009-08-06 | 2011-02-10 | Hank Risan | Simulation of a media recording with entirely independent artistic authorship |
US8300881B2 (en) * | 2009-09-16 | 2012-10-30 | Broadcom Corporation | Method and system for watermarking 3D content |
US8949771B2 (en) | 2011-06-22 | 2015-02-03 | Microsoft Corporation | Media files including programming code and description |
CN102254561B (zh) * | 2011-08-18 | 2012-06-27 | 武汉大学 | 一种基于空间线索的音频信息隐写方法 |
US8784199B1 (en) | 2012-09-27 | 2014-07-22 | Kabam, Inc. | System and method for encoding compressed map information for a game map using a quadrant based PNG image file |
CN102946541A (zh) * | 2012-12-06 | 2013-02-27 | 四川长虹电器股份有限公司 | 基于数字水印的视频内容监管方法 |
US20150039321A1 (en) | 2013-07-31 | 2015-02-05 | Arbitron Inc. | Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device |
US9711152B2 (en) | 2013-07-31 | 2017-07-18 | The Nielsen Company (Us), Llc | Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio |
CN104681033A (zh) * | 2013-12-02 | 2015-06-03 | 联想(北京)有限公司 | 一种信息编码、解码方法及电子设备 |
US10115264B2 (en) * | 2014-05-26 | 2018-10-30 | Lazlo 326, Llc | Encrypted electronic gaming ticket |
CN105894435A (zh) * | 2016-01-26 | 2016-08-24 | 南京风力舰信息技术有限公司 | 一种新型防伪标签的处理方法 |
RU2681360C1 (ru) * | 2017-12-20 | 2019-03-06 | Акционерное общество "Воронежский научно-исследовательский институт "Вега" (АО "ВНИИ "Вега") | Способ передачи изображения по каналу связи |
CN112333348B (zh) * | 2020-10-26 | 2021-08-24 | 吉林大学 | 一种基于预测误差的可逆数据隐藏方法及系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5742892A (en) * | 1995-04-18 | 1998-04-21 | Sun Microsystems, Inc. | Decoder for a software-implemented end-to-end scalable video delivery system |
US5778102A (en) * | 1995-05-17 | 1998-07-07 | The Regents Of The University Of California, Office Of Technology Transfer | Compression embedding |
US6345145B1 (en) * | 1995-08-25 | 2002-02-05 | Sony Corporation | Signal recording/reproducing method and apparatus, signal record medium and signal transmission/reception method and apparatus |
EP0766468B1 (en) * | 1995-09-28 | 2006-05-03 | Nec Corporation | Method and system for inserting a spread spectrum watermark into multimedia data |
US5889868A (en) * | 1996-07-02 | 1999-03-30 | The Dice Company | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
US6031914A (en) * | 1996-08-30 | 2000-02-29 | Regents Of The University Of Minnesota | Method and apparatus for embedding data, including watermarks, in human perceptible images |
US6192138B1 (en) * | 1997-05-08 | 2001-02-20 | Kabushiki Kaisha Toshiba | Apparatus and method for embedding/unembedding supplemental information |
US5960081A (en) * | 1997-06-05 | 1999-09-28 | Cray Research, Inc. | Embedding a digital signature in a video sequence |
US6332030B1 (en) * | 1998-01-15 | 2001-12-18 | The Regents Of The University Of California | Method for embedding and extracting digital data in images and video |
US6233347B1 (en) * | 1998-05-21 | 2001-05-15 | Massachusetts Institute Of Technology | System method, and product for information embedding using an ensemble of non-intersecting embedding generators |
US6314192B1 (en) * | 1998-05-21 | 2001-11-06 | Massachusetts Institute Of Technology | System, method, and product for information embedding using an ensemble of non-intersecting embedding generators |
US6285774B1 (en) * | 1998-06-08 | 2001-09-04 | Digital Video Express, L.P. | System and methodology for tracing to a source of unauthorized copying of prerecorded proprietary material, such as movies |
US6325420B1 (en) * | 1998-08-17 | 2001-12-04 | Inspectron Corporation | Method for embedding non-intrusive encoded data in printed matter and system for reading same |
US6275599B1 (en) * | 1998-08-28 | 2001-08-14 | International Business Machines Corporation | Compressed image authentication and verification |
US6345100B1 (en) * | 1998-10-14 | 2002-02-05 | Liquid Audio, Inc. | Robust watermark method and apparatus for digital signals |
-
1999
- 1999-09-03 US US09/389,941 patent/US6748362B1/en not_active Expired - Lifetime
-
2000
- 2000-03-06 AU AU28203/00A patent/AU2820300A/en not_active Abandoned
- 2000-03-06 CN CN00812410A patent/CN1379952A/zh active Pending
- 2000-03-06 CA CA002383953A patent/CA2383953A1/en not_active Abandoned
- 2000-03-06 WO PCT/IB2000/000227 patent/WO2001019071A1/en not_active Application Discontinuation
- 2000-03-06 EP EP00906545A patent/EP1570644A1/en not_active Withdrawn
- 2000-03-06 JP JP2001522757A patent/JP4429563B2/ja not_active Expired - Lifetime
- 2000-06-01 TW TW089110696A patent/TW488153B/zh not_active IP Right Cessation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8397072B2 (en) | 2005-05-20 | 2013-03-12 | Rovi Solutions Corporation | Computer-implemented method and system for embedding ancillary information into the header of a digitally signed executable |
US8484476B2 (en) | 2005-05-20 | 2013-07-09 | Rovi Technologies Corporation | Computer-implemented method and system for embedding and authenticating ancillary information in digitally signed content |
US8892894B2 (en) | 2005-05-20 | 2014-11-18 | Rovi Solutions Corporation | Computer-implemented method and system for embedding and authenticating ancillary information in digitally signed content |
JP2010535372A (ja) * | 2007-07-31 | 2010-11-18 | ロヴィ・ソリューションズ・コーポレーション | 補助情報をデジタル署名付きコンテンツに埋め込み認証する、コンピュータにより実施される方法およびシステム |
JP2012520481A (ja) * | 2009-03-13 | 2012-09-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 補助データの埋め込み及び抽出 |
JP2014519215A (ja) * | 2011-04-22 | 2014-08-07 | トムソン ライセンシング | データをロッシー圧縮符号化する方法および装置、および、データを再構築する対応する方法および装置 |
US9288453B2 (en) | 2011-04-22 | 2016-03-15 | Thomson Licensing | Method and device for lossy encoding data and corresponding device for reconstructing data |
JP2015522988A (ja) * | 2012-05-14 | 2015-08-06 | ロッサト、ルカ | 連続座標系を活用する動き補償および動き予測 |
Also Published As
Publication number | Publication date |
---|---|
CN1379952A (zh) | 2002-11-13 |
AU2820300A (en) | 2001-04-10 |
TW488153B (en) | 2002-05-21 |
WO2001019071A1 (en) | 2001-03-15 |
US6748362B1 (en) | 2004-06-08 |
EP1570644A1 (en) | 2005-09-07 |
CA2383953A1 (en) | 2001-03-15 |
JP4429563B2 (ja) | 2010-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4429563B2 (ja) | 付加用ディジタルデータを埋め込むためのプロセスまたはシステム | |
US6768980B1 (en) | Method of and apparatus for high-bandwidth steganographic embedding of data in a series of digital signals or measurements such as taken from analog data streams or subsampled and/or transformed digital data | |
US9799372B2 (en) | System and method for embedding supplementary data into digital media files | |
JP4695820B2 (ja) | ディジタル信号内にデータをステガノグラフィック埋め込みするための装置及び方法 | |
US7844074B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data | |
US7664958B2 (en) | Optimization methods for the insertion, protection and detection of digital watermarks in digital data | |
JP3269015B2 (ja) | 電子透かしシステム | |
US7987371B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digital data | |
US7107451B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digital data | |
US7913087B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digital data | |
TW546939B (en) | Method, apparatus and system for data embedding in digital telephone signals and the like, and in particular cellular phone systems, without affecting the backwards compatibility of the digital phone signal | |
JP4443009B2 (ja) | 情報配信システム及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081209 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4429563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |