JP3567975B2 - 電子透かし検出・挿入装置 - Google Patents
電子透かし検出・挿入装置 Download PDFInfo
- Publication number
- JP3567975B2 JP3567975B2 JP2000013835A JP2000013835A JP3567975B2 JP 3567975 B2 JP3567975 B2 JP 3567975B2 JP 2000013835 A JP2000013835 A JP 2000013835A JP 2000013835 A JP2000013835 A JP 2000013835A JP 3567975 B2 JP3567975 B2 JP 3567975B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- unit
- detection
- digital
- dct coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/93—Run-length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準などのデジタル画像に電子透かしを検出・挿入する方法および装置に関し、特に、電子透かしの挿入強度の調整方法に関する。
【０００２】
【従来の技術】
特開平１１−５５６３８号公報には、画像内の少なくとも一部の領域を情報付加領域として設定し、情報付加領域の画像を拡大又は縮小することにより、情報を画像に付加する情報付加装置が開示されている。このように、この特開平１１−５５６３８号公報には、画像の拡大または縮小によって電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−５５６３８号公報は、電子透かしの挿入の強度の調整には触れていない。
【０００３】
特開平１１−９８３４１号公報は、量子化したＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数にランダムに電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−９８３４１号公報も、電子透かしの挿入の強度の調整に触れていない。
【０００４】
特開平１１−２１２４６３号公報は、音声などの一次元データに対して変形離散コサイン変換（ｍｏｄｉｆｉｅｄ ＤＣＴ）を行った後に電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−２１２４６３号公報も、電子透かしの挿入の強度の調整に触れていない。
【０００５】
以上のように上述の４つの公報は、いずれも、電子透かしの挿入アルゴリズムそのものに関するものであり、本発明は電子透かしの挿入の強度調整に関する。
【０００６】
近年、デジタル衛星放送、インターネット配信、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）などの普及によってデジタル画像が容易にユーザのもとに届くようになった。デジタル画像はコピーされても画質劣化が起きないため、その著作権保護が重要な課題である。著作権保護を実現する手段として、著作権情報などをデジタル画像のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数領域において、電子透かしとして、付加する技術が考案されている。
【０００７】
図５を参照すると、ＤＣＴ係数における情報挿入装置として作用する従来の電子透かし検出・挿入装置が示されている。電子透かしは著作権保護のための技術であり、世代情報の管理機能を有する。この電子透かし検出・挿入装置は、第１の電子透かしを挿入された入力デジタル画像をＭＰＥＧ Ｓｔｒｅａｍとして受けた時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。詳細には、この電子透かし検出・挿入装置は、入力デジタル画像から第１の電子透かしを検出した後に、入力デジタル画像から第２の電子透かしを検出できなかった時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。
【０００８】
この電子透かし検出・挿入装置は、電子透かし挿入対象のデジタル画像として、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）を受ける前処理部１０’を有する。前処理部１０’は、画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、通常のＭＰＥＧデコードに近い動作を行う。通常のＭＰＥＧデコードは、ヘッダーサーチ、ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ＝可変長復号化）・量子化・ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ＝逆離散コサイン変換）の４つの動作に大別できるが、図５の電子透かし検出・挿入装置の前処理部１０’は、ＩＤＣＴを行わない。前処理部１０’は、ブロック層以外のデータ（ヘッダーデータ）と、ブロック層のデータをＶＬＤして生成されるランおよびレベル（後に説明する）と、ＤＣＴ係数とを出力する。ＤＣＴ係数は、レベルと量子化係数とを乗算して得られる。量子化係数は、量子化スケールと量子化テーブルとを乗算して得られる。
【０００９】
図５において、電子透かし検出部３０’は、第１の透かしおよび第２の電子透かしの両方を検出できるものであり、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかった時に、電子透かし挿入部２０’に、第２の電子透かし挿入の指示を送出する。電子透かし挿入部２０’は、電子透かし検出部３０’から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。
【００１０】
図５の電子透かし検出・挿入装置の動作を詳細に説明する。
【００１１】
電子透かし検出部３０’は、前処理部１０’からのＤＣＴ係数から、第１の電子透かしの検出動作を行い、検出結果が第１の電子透かしであれば引き続き第２の電子透かしの検出動作を行う。第２の電子透かしが検出されない場合には、電子透かし検出部３０’は、該当データには第２の電子透かしの挿入が必要であると判断して、電子透かし挿入部２０’に対して第２の電子透かし挿入の指示を行う。
【００１２】
電子透かし挿入部２０’では、その指示に従って第２の電子透かしを挿入する。この際、電子透かし挿入部２０’は、前処理部１０’からランおよびレベルを入力し、画像データに第２の電子透かしを挿入する。
【００１３】
ＶＬＣ／ＭＵＸ部６０’は、電子透かし挿入部２０’で変換されたレベルとランに対して、ＶＬＣ(Variable Length Coding＝可変長符号化)を行ってMPEG Streamのブロック層の符号に符号化する。さらに、ＶＬＣ／ＭＵＸ部６０’は、この符号化されたデータと前処理部１０’にて切り離されたヘッダーデータとをＭＵＸ(Multiplex=合成)することにより、MPEG Streamに戻す。
【００１４】
【発明が解決しようとする課題】
このように、電子透かし検出部３０’は、前処理部１０’からＤＣＴ係数を入力し、第１の電子透かしおよびそれに引き続く第２の電子透かしの検出を行う。そして、電子透かし検出部３０’は、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかったときに、電子透かし挿入部２０’に対して第２の電子透かし挿入の指示を通知する。電子透かし挿入部２０’は、この指示に応答して、前処理部１０’からランおよびレベルを入力し、画像データに第２の電子透かしを挿入する。電子透かし挿入部２０’は、一旦、電子透かしの挿入を開始すると、挿入を止める指示を受けない限りは一定の強度の電子透かしを挿入する。
【００１５】
このように構成された電子透かし挿入方法においては、第２の電子透かしの検出強度が弱い画像に対しても、検出強度の強い画像に対しても、一定の強度の電子透かしの挿入しか行えない。
【００１６】
本発明の課題は、電子透かしの挿入強度を自動的に調整することができる電子透かし検出・挿入装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明によれば、第１の電子透かしを挿入された第１のＤＣＴ(Discrete Cosine Transform)係数を有する入力デジタル画像に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された第２のＤＣＴ係数を有する出力デジタル画像を出力する電子透かし検出・挿入装置において、
前記入力デジタル画像から前記第１のＤＣＴ係数を生成する第１のＤＣＴ係数生成部（１０）と、
前記出力デジタル画像から前記第２のＤＣＴ係数を生成する第２のＤＣＴ係数生成部（４０）と、
電子透かし検出部（３０）と、
前記第２のＤＣＴ係数生成部から前記第２のＤＣＴ係数を前記電子透かし検出部に供給するＤＣＴ係数供給部（５０）と、
電子透かし挿入部（２０）とを有し、
前記電子透かし検出部は、前記第１のＤＣＴ係数から前記第１の電子透かしを検出できた場合で、かつ前記第２のＤＣＴ係数から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力デジタル画像に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記第２のＤＣＴ係数を有する前記出力デジタル画像を出力するものであり、
前記電子透かし検出部は、前記ＤＣＴ係数供給部から前記第２のＤＣＴ係数を供給されると、該第２のＤＣＴ係数から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力デジタル画像に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置が得られる。
【００１８】
更に本発明によれば、第１の電子透かしを挿入された入力映像信号に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された出力映像信号を出力する電子透かし検出・挿入装置において、
電子透かし検出部（３０”）と、
前記出力映像信号を前記電子透かし検出部に供給する供給部（５０”）と、
電子透かし挿入部（２０”）とを有し、
前記電子透かし検出部は、前記入力映像信号から前記第１の電子透かしを検出できた場合で、かつ前記入力映像信号から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力映像信号に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記出力映像信号を出力するものであり、
前記電子透かし検出部は、前記供給部から前記出力映像信号を供給されると、該出力映像信号から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力映像信号に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置が得られる。
【００１９】
【発明の実施の形態】
次に本発明の実施例について図面を参照して説明する。
【００２０】
図１を参照すると、本発明の一実施例による電子透かし検出・挿入装置が示されている。この電子透かし検出・挿入装置は、電子透かし挿入対象のデジタル画像が、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）である場合の例である。この電子透かし検出・挿入装置は、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）に第２の電子透かしを埋め込む場合において、埋め込む強度を自動的に強く又は弱く挿入し、検出結果をより良くするものである。
【００２１】
図１において、電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。第２の電子透かしを挿入されたデータは乗算部４０とセレクト部５０を通って電子透かし検出部３０にフィードバックされる。電子透かし検出部３０による検出結果は電子透かし挿入部２０に送出され、電子透かし挿入部２０は、この検出結果を基に、第２の電子透かしの挿入強度を調整する。
【００２２】
ここで、図２を参照して、図１にＭＰＥＧ Ｓｔｒｅａｍで示された、ＭＰＥＧ標準で符号化された画像データについて説明する。
【００２３】
ＭＰＥＧ標準の符号化方法による画像データは、図２のような階層構造を持っている。図２において、シーケンス層は、シーケンスヘッダコード（ＳＨＣ）と、該シーケンスヘッダコード（ＳＨＣ）に続くグループオブピクチャ（ＧＯＰ）層を有する。グループオブピクチャ（ＧＯＰ）層は、ピクチャスタートコード（ＰＳＣ）と、該ピクチャスタートコード（ＰＳＣ）に続くピクチャ層とを有する。
【００２４】
ここで、画像の各フレームまたはフィールドの情報は、ピクチャスタートコード（ＰＳＣ）に続くピクチャ層以下に記述される。各フレームまたはフィールド情報は、Ｉピクチャ（ｉｎｔｒａ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）の３種類のピクチャ形式に符号化される。ＰピクチャおよびＢピクチャは、時間的に離れた他の画像を参照画像とし、その画像との差分値のみを画像情報として符号化する。また、ピクチャはブロックに細分されブロック単位でＤＣＴ（離散コサイン変換）を行い、適当な量子化係数で量子化され、ハフマン符号化される。
【００２５】
各フレームのフィールド情報は、スライススタートコード（ＳＳＣ）に続くスライス層以下にあるマクロブロック（ＭＢ）層内にあり、色差フォーマットが４：２：０である時には、輝度情報Ｙを示すブロック層が４つ、色差情報Ｃｂ、Ｃｒを表わすブロック層が２つの計６つのブロック層により表わされる。
【００２６】
図３を参照して、ハフマン符号を用いた可変長符号化についてさらに説明する。
【００２７】
量子化したＤＣＴ係数はジグザグスキャンの場合には図３に示すような数字の順序で走査され、６４個の１次元系列に変換される。図中の１の位置はＤＣＴ変換領域の直流（ＤＣ）成分を表わしており、この位置から右方向にいくほど水平方向のＤＣＴ変換領域が高域になり、下方向にいくほど垂直方向のＤＣＴ変換領域が高域になる。従って、最初左上隅の１の位置から走査を始め２，３，…，６４の順、すなわちＤＣＴ変換領域の低域から高域に斜め方向にジグザグ走査を行う。これら６４個の１次元系列に対しＤＣＴ係数のＤＣ成分（１次元系列の最初の成分）を除く非ゼロ係数振幅（ゼロに等しくない係数の振幅であり、以下、レベルとよぶ）とそれに先立つゼロ係数（ゼロに等しい係数）の続く長さ（以下、ランとよぶ）とを順に組み合わせていく。これらランとレベルの組合せに対して量子化テーブルと呼ばれる量子化係数のテーブルの値が一意に決まる。通常のＭＰＥＧデコードにおいては、レベルと量子化テーブルの値と、量子化スケールを乗算した値（以下、ＤＣＴ係数と呼ぶ）に対して、逆離散コサイン変換を施した値を映像化する。（以下、量子化テーブルの値と量子化スケールを乗算した値を量子化係数と呼ぶ。）
図１において、この電子透かし検出・挿入装置は、第１の電子透かしを挿入された入力デジタル画像をＭＰＥＧ Ｓｔｒｅａｍとして受けた時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。詳細には、この電子透かし検出・挿入装置は、入力デジタル画像から第１の電子透かしを検出した後に、入力デジタル画像から第２の電子透かしを検出できなかった時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。
【００２８】
図１において、電子透かし検出部３０は、第１の電子透かしおよび第２の電子透かしの両方を検出できるものであり、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかった時に、電子透かし挿入部２０に、第２の電子透かし挿入の指示を送出する。電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。
【００２９】
図１の電子透かし検出・挿入装置の動作を説明する。
【００３０】
前処理部１０は、画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、通常のＭＰＥＧデコードに近い動作を行う。通常のＭＰＥＧデコードは、ヘッダーサーチ、ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ＝可変長復号化）・量子化・ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ＝逆離散コサイン変換）の４つの動作に大別できるが、本発明の前処理部１０は、ＩＤＣＴを行わない。前処理部１０は、ブロック層以外のデータ（ヘッダーデータ）と、ブロック層のデータをＶＬＤして生成されるラン・レベルと、量子化スケールと量子化テーブルを乗算して得られる量子化係数と、レベルと量子化係数を乗算して得られるＤＣＴ係数を後段に出力する。
【００３１】
セレクト部５０は、先ず、前処理部１０からのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。電子透かし検出部３０は、セレクト部５０を介して受けた、前処理部１０からのＤＣＴ係数から、第１の電子透かしの検出動作を行い、検出結果が第１の電子透かしであれば引き続き第２の電子透かしの検出動作を行う。第２の電子透かしが検出されない場合には、電子透かし検出部３０は、該当データには第２の電子透かしの挿入が必要であると判断して、電子透かし挿入部２０に対して第２の電子透かし挿入の指示を行う。
【００３２】
電子透かし挿入部２０では、その指示に従って第２の電子透かしを挿入する。電子透かし挿入部２０では、第２の電子透かしを挿入する際に、前処理部１０より受け取るランとレベルから挿入可能な電子透かし量を計算してレベルに加算する。
【００３３】
ＶＬＣ／ＭＵＸ部６０は、電子透かし挿入部２０で変換されたレベルとランに対して、ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ＝可変長符号化）を行ってＭＰＥＧ Ｓｔｒｅａｍのブロック層の符号に符号化する。さらに、ＶＬＣ／ＭＵＸ部６０は、この符号化されたデータと前処理部１０にて切り離されたヘッダーデータとをＭＵＸ（Ｍｕｌｔｉｐｌｅｘ＝合成）することにより、ＭＰＥＧ Ｓｔｒｅａｍに戻す。
【００３４】
上述したように、電子透かし挿入部２０は、電子透かし検出部３０から、第２の電子透かしを挿入すべきか否かを表わす情報を受ける。電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かしを挿入すべき旨を表わす情報を受けると、第２の電子透かしを挿入する。電子透かしを挿入されたデータは乗算部４０とセレクト部５０を通って電子透かし検出部３０にフィードッバックされ、検出結果から電子透かし挿入部２０は挿入強度を調整する。この際、乗算部４０は、電子透かしを挿入されたデータのレベルと前処理部１０からの量子化係数とを乗算して得られるＤＣＴ係数を出力し、セレクト部５０は、乗算部４０からのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。
【００３５】
以上説明したように本発明では、前処理部１０からのＤＣＴ係数を用いて第１の電子透かしを検出した後、前処理部１０からのランとレベルを用いて第２の電子透かしを挿入するが、乗算部４０において、第２の電子透かしを挿入されたデータに対して再度ＤＣＴ係数を求めて、電子透かし検出部３０において、再度、第２の電子透かしを検出することによって、挿入された第２の電子透かしの強度の判定し、結果を挿入の強度調整に用いることによって、自動的に挿入強度を調整する。
【００３６】
次に図１の電子透かし検出・挿入装置についてさらに詳しく説明する。
【００３７】
図１において、前処理部１０は、入力される画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、ＭＰＥＧのデコード及び情報の保持を行い、ＭＰＥＧ Ｓｔｒｅａｍのデータを、ヘッダーデータ、ランおよびレベル、及び、量子化係数に分解し、レベルと量子化係数からＤＣＴ係数を生成する。
【００３８】
セレクト部５０は、最初は、前処理部１０よりのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。電子透かし検出部３０は、前処理部１０よりのＤＣＴ係数から第１の電子透かしを検出することができたが、それに続いて第２の電子透かしを検出できなかった時に、電子透かし挿入部２０に、第２の電子透かし挿入の指示を出力すると共に、セレクト部５０に、乗算部４０からのＤＣＴ係数を選択的に出力させる指示を出力する。
【００３９】
電子透かし挿入部２０は、電子透かし検出部３０からの挿入の指示を受けた時に、前処理部１０よりラン及びレベルを入力し、第２の電子透かしを挿入してＶＬＣ／ＭＵＸ部６０へ出力する。ＶＬＣ／ＭＵＸ部６０では、ランとレベルに対してＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行い、ヘッダーデータとＭＵＸ（Ｍｕｌｔｉｐｌｅｘ＝合成）し、ＭＰＥＧ Ｓｔｒｅａｍにデータを変換して出力する。
【００４０】
乗算部４０は、前処理部１０から入力される量子化係数と、電子透かし挿入部２０から入力されるレベルとを乗算し、乗算結果をＤＣＴ係数としてセレクト部５０へ出力する。
【００４１】
この際、セレクト部５０は、乗算部４０からのＤＣＴ係数を選択的に出力させる指示を、電子透かし検出部３０から受けているので、セレクト部５０は、乗算部５０よりの、第２の電子透かしの挿入されているＤＣＴ係数を、選択的に電子透かし検出部３０に出力する。
【００４２】
このように、電子透かし挿入部２０によって第２の電子透かしの挿入されたデータに対して、量子化係数とレベルを乗算部４０によって乗算することにより再度ＤＣＴ係数を生成し、セレクト部５０を介して電子透かし検出部３０に入力し、電子透かし検出部３０では挿入された第２の電子透かしの検出の判定を行う。その判定結果によって、電子透かし挿入部２０へ検出の強度を通知し、電子透かし挿入部２０では、検出結果の強度が弱い時には挿入の強度を強くして検出強度を上げるようにし、検出結果の強度が強い時には挿入の強度を弱くして画質劣化を下げるようにする。
【００４３】
このようにして、本実施例では、ＭＰＥＧ標準などのデジタル画像符号化データに対して電子透かしを挿入する際に、挿入強度を調整することによって、検出強度を保つことができる、あるいは、画質劣化を抑えることができる。
【００４４】
図４を参照すると、本発明の他の実施例による電子透かし検出・挿入装置が示されている。 この電子透かし検出・挿入装置は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）信号、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）信号等の映像信号を電子透かし挿入対象の映像信号として受ける。
【００４５】
この電子透かし検出・挿入装置において、セレクト部５０”は、最初は、前述の映像信号を選択的に電子透かし検出部３０”に出力する。電子透かし検出部３０”は、セレクト部５０”を介して受けた映像信号から第１の電子透かしおよび第２の電子透かしの検出を行う。電子透かし検出部３０”は、第１の電子透かしを検出することができたが、それに続いて第２の電子透かしを検出できなかった時に、電子透かし挿入部２０”に、第２の電子透かし挿入の指示を出力すると共に、セレクト部５０”に、電子透かし挿入部２０”からのデータを選択的に出力させる指示を出力する。
【００４６】
電子透かし挿入部２０”は、電子透かし検出部３０”からの挿入の指示を受けた時に、前記映像信号に、第２の電子透かしを挿入し、第２の電子透かしを挿入された映像信号を外部およびセレクト部５０”に出力する。
【００４７】
この際、セレクト部５０”は、電子透かし挿入部２０”からのデータを選択的に出力させる指示を、電子透かし検出部３０”から受けているので、セレクト部５０”は、電子透かし挿入部２０”からの第２の電子透かしの挿入されたデータを、選択的に電子透かし検出部３０”に出力する。
【００４８】
電子透かし検出部３０”では挿入された第２の電子透かしの検出を行い、検出強度を判定する。電子透かし検出部３０”は、判定された第２の電子透かしの検出強度を電子透かし挿入部２０”に通知する。電子透かし挿入部２０”は、通知された検出強度が強ければ挿入強度を弱くし、通知された検出強度が弱ければ挿入強度を強くして、第２の電子透かしの挿入強度を自動的に調整する。
【００４９】
【発明の効果】
以上説明したように本発明によれば、電子透かしの挿入強度を自動的に調整することができる電子透かし検出・挿入装置が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例による電子透かし検出・挿入装置のブロック図である。
【図２】図１にＭＰＥＧ Ｓｔｒｅａｍで示された、ＭＰＥＧ標準で符号化された画像データの説明に使用する図である。
【図３】図１の電子透かし検出・挿入装置における、ハフマン符号を用いた可変長符号化の説明に使用する図である。
【図４】本発明の他の実施例による電子透かし検出・挿入装置のブロック図である。
【図５】従来の電子透かし検出・挿入装置のブロック図である。
【符号の説明】
１０ 前処理部
２０ 電子透かし挿入部
３０ 電子透かし検出部
４０ 乗算部
５０ セレクト部
６０ ＶＬＣ／ＭＵＸ部
２０” 電子透かし挿入部
３０” 電子透かし検出部
５０” セレクト部
１０’ 前処理部
２０’ 電子透かし挿入部
３０’ 電子透かし検出部
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準などのデジタル画像に電子透かしを検出・挿入する方法および装置に関し、特に、電子透かしの挿入強度の調整方法に関する。
【０００２】
【従来の技術】
特開平１１−５５６３８号公報には、画像内の少なくとも一部の領域を情報付加領域として設定し、情報付加領域の画像を拡大又は縮小することにより、情報を画像に付加する情報付加装置が開示されている。このように、この特開平１１−５５６３８号公報には、画像の拡大または縮小によって電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−５５６３８号公報は、電子透かしの挿入の強度の調整には触れていない。
【０００３】
特開平１１−９８３４１号公報は、量子化したＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数にランダムに電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−９８３４１号公報も、電子透かしの挿入の強度の調整に触れていない。
【０００４】
特開平１１−２１２４６３号公報は、音声などの一次元データに対して変形離散コサイン変換（ｍｏｄｉｆｉｅｄ ＤＣＴ）を行った後に電子透かしの挿入を行うという電子透かしの挿入アルゴリズムが示されているが、この特開平１１−２１２４６３号公報も、電子透かしの挿入の強度の調整に触れていない。
【０００５】
以上のように上述の４つの公報は、いずれも、電子透かしの挿入アルゴリズムそのものに関するものであり、本発明は電子透かしの挿入の強度調整に関する。
【０００６】
近年、デジタル衛星放送、インターネット配信、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）などの普及によってデジタル画像が容易にユーザのもとに届くようになった。デジタル画像はコピーされても画質劣化が起きないため、その著作権保護が重要な課題である。著作権保護を実現する手段として、著作権情報などをデジタル画像のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数領域において、電子透かしとして、付加する技術が考案されている。
【０００７】
図５を参照すると、ＤＣＴ係数における情報挿入装置として作用する従来の電子透かし検出・挿入装置が示されている。電子透かしは著作権保護のための技術であり、世代情報の管理機能を有する。この電子透かし検出・挿入装置は、第１の電子透かしを挿入された入力デジタル画像をＭＰＥＧ Ｓｔｒｅａｍとして受けた時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。詳細には、この電子透かし検出・挿入装置は、入力デジタル画像から第１の電子透かしを検出した後に、入力デジタル画像から第２の電子透かしを検出できなかった時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。
【０００８】
この電子透かし検出・挿入装置は、電子透かし挿入対象のデジタル画像として、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）を受ける前処理部１０’を有する。前処理部１０’は、画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、通常のＭＰＥＧデコードに近い動作を行う。通常のＭＰＥＧデコードは、ヘッダーサーチ、ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ＝可変長復号化）・量子化・ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ＝逆離散コサイン変換）の４つの動作に大別できるが、図５の電子透かし検出・挿入装置の前処理部１０’は、ＩＤＣＴを行わない。前処理部１０’は、ブロック層以外のデータ（ヘッダーデータ）と、ブロック層のデータをＶＬＤして生成されるランおよびレベル（後に説明する）と、ＤＣＴ係数とを出力する。ＤＣＴ係数は、レベルと量子化係数とを乗算して得られる。量子化係数は、量子化スケールと量子化テーブルとを乗算して得られる。
【０００９】
図５において、電子透かし検出部３０’は、第１の透かしおよび第２の電子透かしの両方を検出できるものであり、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかった時に、電子透かし挿入部２０’に、第２の電子透かし挿入の指示を送出する。電子透かし挿入部２０’は、電子透かし検出部３０’から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。
【００１０】
図５の電子透かし検出・挿入装置の動作を詳細に説明する。
【００１１】
電子透かし検出部３０’は、前処理部１０’からのＤＣＴ係数から、第１の電子透かしの検出動作を行い、検出結果が第１の電子透かしであれば引き続き第２の電子透かしの検出動作を行う。第２の電子透かしが検出されない場合には、電子透かし検出部３０’は、該当データには第２の電子透かしの挿入が必要であると判断して、電子透かし挿入部２０’に対して第２の電子透かし挿入の指示を行う。
【００１２】
電子透かし挿入部２０’では、その指示に従って第２の電子透かしを挿入する。この際、電子透かし挿入部２０’は、前処理部１０’からランおよびレベルを入力し、画像データに第２の電子透かしを挿入する。
【００１３】
ＶＬＣ／ＭＵＸ部６０’は、電子透かし挿入部２０’で変換されたレベルとランに対して、ＶＬＣ(Variable Length Coding＝可変長符号化)を行ってMPEG Streamのブロック層の符号に符号化する。さらに、ＶＬＣ／ＭＵＸ部６０’は、この符号化されたデータと前処理部１０’にて切り離されたヘッダーデータとをＭＵＸ(Multiplex=合成)することにより、MPEG Streamに戻す。
【００１４】
【発明が解決しようとする課題】
このように、電子透かし検出部３０’は、前処理部１０’からＤＣＴ係数を入力し、第１の電子透かしおよびそれに引き続く第２の電子透かしの検出を行う。そして、電子透かし検出部３０’は、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかったときに、電子透かし挿入部２０’に対して第２の電子透かし挿入の指示を通知する。電子透かし挿入部２０’は、この指示に応答して、前処理部１０’からランおよびレベルを入力し、画像データに第２の電子透かしを挿入する。電子透かし挿入部２０’は、一旦、電子透かしの挿入を開始すると、挿入を止める指示を受けない限りは一定の強度の電子透かしを挿入する。
【００１５】
このように構成された電子透かし挿入方法においては、第２の電子透かしの検出強度が弱い画像に対しても、検出強度の強い画像に対しても、一定の強度の電子透かしの挿入しか行えない。
【００１６】
本発明の課題は、電子透かしの挿入強度を自動的に調整することができる電子透かし検出・挿入装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明によれば、第１の電子透かしを挿入された第１のＤＣＴ(Discrete Cosine Transform)係数を有する入力デジタル画像に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された第２のＤＣＴ係数を有する出力デジタル画像を出力する電子透かし検出・挿入装置において、
前記入力デジタル画像から前記第１のＤＣＴ係数を生成する第１のＤＣＴ係数生成部（１０）と、
前記出力デジタル画像から前記第２のＤＣＴ係数を生成する第２のＤＣＴ係数生成部（４０）と、
電子透かし検出部（３０）と、
前記第２のＤＣＴ係数生成部から前記第２のＤＣＴ係数を前記電子透かし検出部に供給するＤＣＴ係数供給部（５０）と、
電子透かし挿入部（２０）とを有し、
前記電子透かし検出部は、前記第１のＤＣＴ係数から前記第１の電子透かしを検出できた場合で、かつ前記第２のＤＣＴ係数から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力デジタル画像に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記第２のＤＣＴ係数を有する前記出力デジタル画像を出力するものであり、
前記電子透かし検出部は、前記ＤＣＴ係数供給部から前記第２のＤＣＴ係数を供給されると、該第２のＤＣＴ係数から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力デジタル画像に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置が得られる。
【００１８】
更に本発明によれば、第１の電子透かしを挿入された入力映像信号に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された出力映像信号を出力する電子透かし検出・挿入装置において、
電子透かし検出部（３０”）と、
前記出力映像信号を前記電子透かし検出部に供給する供給部（５０”）と、
電子透かし挿入部（２０”）とを有し、
前記電子透かし検出部は、前記入力映像信号から前記第１の電子透かしを検出できた場合で、かつ前記入力映像信号から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力映像信号に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記出力映像信号を出力するものであり、
前記電子透かし検出部は、前記供給部から前記出力映像信号を供給されると、該出力映像信号から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力映像信号に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置が得られる。
【００１９】
【発明の実施の形態】
次に本発明の実施例について図面を参照して説明する。
【００２０】
図１を参照すると、本発明の一実施例による電子透かし検出・挿入装置が示されている。この電子透かし検出・挿入装置は、電子透かし挿入対象のデジタル画像が、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）である場合の例である。この電子透かし検出・挿入装置は、ＭＰＥＧ標準で符号化された画像データ（ＭＰＥＧ Ｓｔｒｅａｍ）に第２の電子透かしを埋め込む場合において、埋め込む強度を自動的に強く又は弱く挿入し、検出結果をより良くするものである。
【００２１】
図１において、電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。第２の電子透かしを挿入されたデータは乗算部４０とセレクト部５０を通って電子透かし検出部３０にフィードバックされる。電子透かし検出部３０による検出結果は電子透かし挿入部２０に送出され、電子透かし挿入部２０は、この検出結果を基に、第２の電子透かしの挿入強度を調整する。
【００２２】
ここで、図２を参照して、図１にＭＰＥＧ Ｓｔｒｅａｍで示された、ＭＰＥＧ標準で符号化された画像データについて説明する。
【００２３】
ＭＰＥＧ標準の符号化方法による画像データは、図２のような階層構造を持っている。図２において、シーケンス層は、シーケンスヘッダコード（ＳＨＣ）と、該シーケンスヘッダコード（ＳＨＣ）に続くグループオブピクチャ（ＧＯＰ）層を有する。グループオブピクチャ（ＧＯＰ）層は、ピクチャスタートコード（ＰＳＣ）と、該ピクチャスタートコード（ＰＳＣ）に続くピクチャ層とを有する。
【００２４】
ここで、画像の各フレームまたはフィールドの情報は、ピクチャスタートコード（ＰＳＣ）に続くピクチャ層以下に記述される。各フレームまたはフィールド情報は、Ｉピクチャ（ｉｎｔｒａ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ）の３種類のピクチャ形式に符号化される。ＰピクチャおよびＢピクチャは、時間的に離れた他の画像を参照画像とし、その画像との差分値のみを画像情報として符号化する。また、ピクチャはブロックに細分されブロック単位でＤＣＴ（離散コサイン変換）を行い、適当な量子化係数で量子化され、ハフマン符号化される。
【００２５】
各フレームのフィールド情報は、スライススタートコード（ＳＳＣ）に続くスライス層以下にあるマクロブロック（ＭＢ）層内にあり、色差フォーマットが４：２：０である時には、輝度情報Ｙを示すブロック層が４つ、色差情報Ｃｂ、Ｃｒを表わすブロック層が２つの計６つのブロック層により表わされる。
【００２６】
図３を参照して、ハフマン符号を用いた可変長符号化についてさらに説明する。
【００２７】
量子化したＤＣＴ係数はジグザグスキャンの場合には図３に示すような数字の順序で走査され、６４個の１次元系列に変換される。図中の１の位置はＤＣＴ変換領域の直流（ＤＣ）成分を表わしており、この位置から右方向にいくほど水平方向のＤＣＴ変換領域が高域になり、下方向にいくほど垂直方向のＤＣＴ変換領域が高域になる。従って、最初左上隅の１の位置から走査を始め２，３，…，６４の順、すなわちＤＣＴ変換領域の低域から高域に斜め方向にジグザグ走査を行う。これら６４個の１次元系列に対しＤＣＴ係数のＤＣ成分（１次元系列の最初の成分）を除く非ゼロ係数振幅（ゼロに等しくない係数の振幅であり、以下、レベルとよぶ）とそれに先立つゼロ係数（ゼロに等しい係数）の続く長さ（以下、ランとよぶ）とを順に組み合わせていく。これらランとレベルの組合せに対して量子化テーブルと呼ばれる量子化係数のテーブルの値が一意に決まる。通常のＭＰＥＧデコードにおいては、レベルと量子化テーブルの値と、量子化スケールを乗算した値（以下、ＤＣＴ係数と呼ぶ）に対して、逆離散コサイン変換を施した値を映像化する。（以下、量子化テーブルの値と量子化スケールを乗算した値を量子化係数と呼ぶ。）
図１において、この電子透かし検出・挿入装置は、第１の電子透かしを挿入された入力デジタル画像をＭＰＥＧ Ｓｔｒｅａｍとして受けた時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。詳細には、この電子透かし検出・挿入装置は、入力デジタル画像から第１の電子透かしを検出した後に、入力デジタル画像から第２の電子透かしを検出できなかった時に、第１の電子透かしに続いて第２の電子透かしを挿入された出力デジタル画像を出力するものである。
【００２８】
図１において、電子透かし検出部３０は、第１の電子透かしおよび第２の電子透かしの両方を検出できるものであり、第１の電子透かしを検出した後に、第２の電子透かしを検出できなかった時に、電子透かし挿入部２０に、第２の電子透かし挿入の指示を送出する。電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かし挿入の指示を受けた時に、第２の電子透かしを挿入する。
【００２９】
図１の電子透かし検出・挿入装置の動作を説明する。
【００３０】
前処理部１０は、画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、通常のＭＰＥＧデコードに近い動作を行う。通常のＭＰＥＧデコードは、ヘッダーサーチ、ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ＝可変長復号化）・量子化・ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ＝逆離散コサイン変換）の４つの動作に大別できるが、本発明の前処理部１０は、ＩＤＣＴを行わない。前処理部１０は、ブロック層以外のデータ（ヘッダーデータ）と、ブロック層のデータをＶＬＤして生成されるラン・レベルと、量子化スケールと量子化テーブルを乗算して得られる量子化係数と、レベルと量子化係数を乗算して得られるＤＣＴ係数を後段に出力する。
【００３１】
セレクト部５０は、先ず、前処理部１０からのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。電子透かし検出部３０は、セレクト部５０を介して受けた、前処理部１０からのＤＣＴ係数から、第１の電子透かしの検出動作を行い、検出結果が第１の電子透かしであれば引き続き第２の電子透かしの検出動作を行う。第２の電子透かしが検出されない場合には、電子透かし検出部３０は、該当データには第２の電子透かしの挿入が必要であると判断して、電子透かし挿入部２０に対して第２の電子透かし挿入の指示を行う。
【００３２】
電子透かし挿入部２０では、その指示に従って第２の電子透かしを挿入する。電子透かし挿入部２０では、第２の電子透かしを挿入する際に、前処理部１０より受け取るランとレベルから挿入可能な電子透かし量を計算してレベルに加算する。
【００３３】
ＶＬＣ／ＭＵＸ部６０は、電子透かし挿入部２０で変換されたレベルとランに対して、ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ＝可変長符号化）を行ってＭＰＥＧ Ｓｔｒｅａｍのブロック層の符号に符号化する。さらに、ＶＬＣ／ＭＵＸ部６０は、この符号化されたデータと前処理部１０にて切り離されたヘッダーデータとをＭＵＸ（Ｍｕｌｔｉｐｌｅｘ＝合成）することにより、ＭＰＥＧ Ｓｔｒｅａｍに戻す。
【００３４】
上述したように、電子透かし挿入部２０は、電子透かし検出部３０から、第２の電子透かしを挿入すべきか否かを表わす情報を受ける。電子透かし挿入部２０は、電子透かし検出部３０から第２の電子透かしを挿入すべき旨を表わす情報を受けると、第２の電子透かしを挿入する。電子透かしを挿入されたデータは乗算部４０とセレクト部５０を通って電子透かし検出部３０にフィードッバックされ、検出結果から電子透かし挿入部２０は挿入強度を調整する。この際、乗算部４０は、電子透かしを挿入されたデータのレベルと前処理部１０からの量子化係数とを乗算して得られるＤＣＴ係数を出力し、セレクト部５０は、乗算部４０からのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。
【００３５】
以上説明したように本発明では、前処理部１０からのＤＣＴ係数を用いて第１の電子透かしを検出した後、前処理部１０からのランとレベルを用いて第２の電子透かしを挿入するが、乗算部４０において、第２の電子透かしを挿入されたデータに対して再度ＤＣＴ係数を求めて、電子透かし検出部３０において、再度、第２の電子透かしを検出することによって、挿入された第２の電子透かしの強度の判定し、結果を挿入の強度調整に用いることによって、自動的に挿入強度を調整する。
【００３６】
次に図１の電子透かし検出・挿入装置についてさらに詳しく説明する。
【００３７】
図１において、前処理部１０は、入力される画像データとしてのＭＰＥＧ Ｓｔｒｅａｍに対して、ＭＰＥＧのデコード及び情報の保持を行い、ＭＰＥＧ Ｓｔｒｅａｍのデータを、ヘッダーデータ、ランおよびレベル、及び、量子化係数に分解し、レベルと量子化係数からＤＣＴ係数を生成する。
【００３８】
セレクト部５０は、最初は、前処理部１０よりのＤＣＴ係数を選択的に電子透かし検出部３０に出力する。電子透かし検出部３０は、前処理部１０よりのＤＣＴ係数から第１の電子透かしを検出することができたが、それに続いて第２の電子透かしを検出できなかった時に、電子透かし挿入部２０に、第２の電子透かし挿入の指示を出力すると共に、セレクト部５０に、乗算部４０からのＤＣＴ係数を選択的に出力させる指示を出力する。
【００３９】
電子透かし挿入部２０は、電子透かし検出部３０からの挿入の指示を受けた時に、前処理部１０よりラン及びレベルを入力し、第２の電子透かしを挿入してＶＬＣ／ＭＵＸ部６０へ出力する。ＶＬＣ／ＭＵＸ部６０では、ランとレベルに対してＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行い、ヘッダーデータとＭＵＸ（Ｍｕｌｔｉｐｌｅｘ＝合成）し、ＭＰＥＧ Ｓｔｒｅａｍにデータを変換して出力する。
【００４０】
乗算部４０は、前処理部１０から入力される量子化係数と、電子透かし挿入部２０から入力されるレベルとを乗算し、乗算結果をＤＣＴ係数としてセレクト部５０へ出力する。
【００４１】
この際、セレクト部５０は、乗算部４０からのＤＣＴ係数を選択的に出力させる指示を、電子透かし検出部３０から受けているので、セレクト部５０は、乗算部５０よりの、第２の電子透かしの挿入されているＤＣＴ係数を、選択的に電子透かし検出部３０に出力する。
【００４２】
このように、電子透かし挿入部２０によって第２の電子透かしの挿入されたデータに対して、量子化係数とレベルを乗算部４０によって乗算することにより再度ＤＣＴ係数を生成し、セレクト部５０を介して電子透かし検出部３０に入力し、電子透かし検出部３０では挿入された第２の電子透かしの検出の判定を行う。その判定結果によって、電子透かし挿入部２０へ検出の強度を通知し、電子透かし挿入部２０では、検出結果の強度が弱い時には挿入の強度を強くして検出強度を上げるようにし、検出結果の強度が強い時には挿入の強度を弱くして画質劣化を下げるようにする。
【００４３】
このようにして、本実施例では、ＭＰＥＧ標準などのデジタル画像符号化データに対して電子透かしを挿入する際に、挿入強度を調整することによって、検出強度を保つことができる、あるいは、画質劣化を抑えることができる。
【００４４】
図４を参照すると、本発明の他の実施例による電子透かし検出・挿入装置が示されている。 この電子透かし検出・挿入装置は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）信号、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）信号等の映像信号を電子透かし挿入対象の映像信号として受ける。
【００４５】
この電子透かし検出・挿入装置において、セレクト部５０”は、最初は、前述の映像信号を選択的に電子透かし検出部３０”に出力する。電子透かし検出部３０”は、セレクト部５０”を介して受けた映像信号から第１の電子透かしおよび第２の電子透かしの検出を行う。電子透かし検出部３０”は、第１の電子透かしを検出することができたが、それに続いて第２の電子透かしを検出できなかった時に、電子透かし挿入部２０”に、第２の電子透かし挿入の指示を出力すると共に、セレクト部５０”に、電子透かし挿入部２０”からのデータを選択的に出力させる指示を出力する。
【００４６】
電子透かし挿入部２０”は、電子透かし検出部３０”からの挿入の指示を受けた時に、前記映像信号に、第２の電子透かしを挿入し、第２の電子透かしを挿入された映像信号を外部およびセレクト部５０”に出力する。
【００４７】
この際、セレクト部５０”は、電子透かし挿入部２０”からのデータを選択的に出力させる指示を、電子透かし検出部３０”から受けているので、セレクト部５０”は、電子透かし挿入部２０”からの第２の電子透かしの挿入されたデータを、選択的に電子透かし検出部３０”に出力する。
【００４８】
電子透かし検出部３０”では挿入された第２の電子透かしの検出を行い、検出強度を判定する。電子透かし検出部３０”は、判定された第２の電子透かしの検出強度を電子透かし挿入部２０”に通知する。電子透かし挿入部２０”は、通知された検出強度が強ければ挿入強度を弱くし、通知された検出強度が弱ければ挿入強度を強くして、第２の電子透かしの挿入強度を自動的に調整する。
【００４９】
【発明の効果】
以上説明したように本発明によれば、電子透かしの挿入強度を自動的に調整することができる電子透かし検出・挿入装置が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例による電子透かし検出・挿入装置のブロック図である。
【図２】図１にＭＰＥＧ Ｓｔｒｅａｍで示された、ＭＰＥＧ標準で符号化された画像データの説明に使用する図である。
【図３】図１の電子透かし検出・挿入装置における、ハフマン符号を用いた可変長符号化の説明に使用する図である。
【図４】本発明の他の実施例による電子透かし検出・挿入装置のブロック図である。
【図５】従来の電子透かし検出・挿入装置のブロック図である。
【符号の説明】
１０ 前処理部
２０ 電子透かし挿入部
３０ 電子透かし検出部
４０ 乗算部
５０ セレクト部
６０ ＶＬＣ／ＭＵＸ部
２０” 電子透かし挿入部
３０” 電子透かし検出部
５０” セレクト部
１０’ 前処理部
２０’ 電子透かし挿入部
３０’ 電子透かし検出部
Claims (8)
- 第１の電子透かしを挿入された第１のＤＣＴ(Discrete Cosine Transform)係数を有する入力デジタル画像に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された第２のＤＣＴ係数を有する出力デジタル画像を出力する電子透かし検出・挿入装置において、
前記入力デジタル画像から前記第１のＤＣＴ係数を生成する第１のＤＣＴ係数生成部と、
前記出力デジタル画像から前記第２のＤＣＴ係数を生成する第２のＤＣＴ係数生成部と、
電子透かし検出部と、
前記第２のＤＣＴ係数生成部から前記第２のＤＣＴ係数を前記電子透かし検出部に供給するＤＣＴ係数供給部と、
電子透かし挿入部とを有し、
前記電子透かし検出部は、前記第１のＤＣＴ係数から前記第１の電子透かしを検出できた場合で、かつ前記第２のＤＣＴ係数から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力デジタル画像に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記第２のＤＣＴ係数を有する前記出力デジタル画像を出力するものであり、
前記電子透かし検出部は、前記ＤＣＴ係数供給部から前記第２のＤＣＴ係数を供給されると、該第２のＤＣＴ係数から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力デジタル画像に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置。 - 請求項１に記載の電子透かし検出・挿入装置において、
前記入力デジタル画像がＭＰＥＧ(Moving Picture Experts Group)標準のデジタル画像であることを特徴とする電子透かし検出・挿入装置。 - 請求項１に記載の電子透かし検出・挿入装置において、
前記ＤＣＴ係数供給部は、前記第２のＤＣＴ係数生成部のみならず前記第１のＤＣＴ係数生成部にも接続され、最初は、前記第１のＤＣＴ係数生成部からの前記第１のＤＣＴ係数を選択的に前記電子透かし検出部に出力し、前記電子透かし検出部が前記第１のＤＣＴ係数から前記第１の電子透かしを検出すると、前記第２のＤＣＴ係数生成部からの前記第２のＤＣＴ係数を選択的に前記電子透かし検出部に出力するセレクト部であることを特徴とする電子透かし検出・挿入装置。 - 請求項１に記載の電子透かし検出・挿入装置において、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度が強ければ前記挿入強度を弱くし、前記検出強度が弱ければ前記挿入強度を強くするように、前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置。 - 第１の電子透かしを挿入された入力映像信号に応答し、前記第１の電子透かしに続いて第２の電子透かしを挿入された出力映像信号を出力する電子透かし検出・挿入装置において、
電子透かし検出部と、
前記出力映像信号を前記電子透かし検出部に供給する供給部と、
電子透かし挿入部とを有し、
前記電子透かし検出部は、前記入力映像信号から前記第１の電子透かしを検出できた場合で、かつ前記入力映像信号から前記第２の電子透かしを検出できなかった場合に、前記第２の電子透かしの挿入指示を出力するものであり、
前記電子透かし挿入部は、前記第２の電子透かしの挿入指示に応答して、前記入力映像信号に、前記第１の電子透かしに続いて前記第２の電子透かしを挿入し、前記第１の電子透かしに続いて前記第２の電子透かしを挿入された前記出力映像信号を出力するものであり、
前記電子透かし検出部は、前記供給部から前記出力映像信号を供給されると、該出力映像信号から前記第２の電子透かしを検出し、前記第２の電子透かしの検出強度を表わす検出結果を前記電子透かし挿入部に出力するものであり、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度に応答して、前記入力映像信号に挿入する前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置。 - 請求項５に記載の電子透かし検出・挿入装置において、
前記入力映像信号がＮＴＳＣ(National Television System Committee)信号あるいはＰＡＬ(Phase Alternation by Line)信号であることを特徴とする電子透かし検出・挿入装置。 - 請求項５に記載の電子透かし検出・挿入装置において、
前記供給部は、最初は、前記入力映像信号を選択的に前記電子透かし検出部に出力し、前記電子透かし検出部が前記入力映像信号から前記第１の電子透かしを検出すると、前記電子透かし挿入部からの前記出力映像信号を選択的に前記電子透かし検出部に出力するセレクト部であることを特徴とする電子透かし検出・挿入装置。 - 請求項５に記載の電子透かし検出・挿入装置において、
前記電子透かし挿入部は、前記検出結果にて表わされた前記検出強度が強ければ前記挿入強度を弱くし、前記検出強度が弱ければ前記挿入強度を強くするように、前記第２の電子透かしの挿入強度を調整するものであることを特徴とする電子透かし検出・挿入装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000013835A JP3567975B2 (ja) | 2000-01-24 | 2000-01-24 | 電子透かし検出・挿入装置 |
| US09/767,483 US6947562B2 (en) | 2000-01-24 | 2001-01-23 | Electronic watermark detecting/inserting device |
| EP20010101541 EP1130924A3 (en) | 2000-01-24 | 2001-01-24 | Electronic watermark detecting/inserting device |
| KR10-2001-0003731A KR100400954B1 (ko) | 2000-01-24 | 2001-01-26 | 전자 워터마크 검출/삽입 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000013835A JP3567975B2 (ja) | 2000-01-24 | 2000-01-24 | 電子透かし検出・挿入装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001203992A JP2001203992A (ja) | 2001-07-27 |
| JP3567975B2 true JP3567975B2 (ja) | 2004-09-22 |
Family
ID=18541372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000013835A Expired - Fee Related JP3567975B2 (ja) | 2000-01-24 | 2000-01-24 | 電子透かし検出・挿入装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6947562B2 (ja) |
| EP (1) | EP1130924A3 (ja) |
| JP (1) | JP3567975B2 (ja) |
| KR (1) | KR100400954B1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7127744B2 (en) * | 2000-03-10 | 2006-10-24 | Digimarc Corporation | Method and apparatus to protect media existing in an insecure format |
| KR100455062B1 (ko) * | 2001-11-23 | 2004-11-06 | 한국전자통신연구원 | 계층적 워터마크 삽입/검출장치 및 그 방법 |
| JP4213592B2 (ja) * | 2001-11-23 | 2009-01-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ウォーターマークの埋め込み |
| US7392394B2 (en) | 2001-12-13 | 2008-06-24 | Digimarc Corporation | Digital watermarking with variable orientation and protocols |
| US7392392B2 (en) * | 2001-12-13 | 2008-06-24 | Digimarc Corporation | Forensic digital watermarking with variable orientation and protocols |
| US20030131350A1 (en) * | 2002-01-08 | 2003-07-10 | Peiffer John C. | Method and apparatus for identifying a digital audio signal |
| TW545061B (en) * | 2002-01-25 | 2003-08-01 | Univ Nat Central | Method for embedding and extracting of watermark in image compression system, and the embedded hardware structure |
| US7424128B2 (en) | 2002-04-10 | 2008-09-09 | Pioneer Corporation | Electronic watermark embedding apparatus, electronic watermark embedding method, record medium having electronic watermark and manufacturing method of record medium |
| EP1561341A4 (en) * | 2002-10-23 | 2010-12-15 | Nielsen Media Res Inc | DEVICE AND METHOD FOR INSERTING DIGITAL DATA FOR USE WITH COMPRESSED AUDIO / VIDEO DATA |
| US20040120404A1 (en) * | 2002-11-27 | 2004-06-24 | Takayuki Sugahara | Variable length data encoding method, variable length data encoding apparatus, variable length encoded data decoding method, and variable length encoded data decoding apparatus |
| US7460684B2 (en) | 2003-06-13 | 2008-12-02 | Nielsen Media Research, Inc. | Method and apparatus for embedding watermarks |
| CA2562137C (en) | 2004-04-07 | 2012-11-27 | Nielsen Media Research, Inc. | Data insertion apparatus and methods for use with compressed audio/video data |
| US8412363B2 (en) | 2004-07-02 | 2013-04-02 | The Nielson Company (Us), Llc | Methods and apparatus for mixing compressed digital bit streams |
| JP4532331B2 (ja) * | 2004-12-08 | 2010-08-25 | 株式会社リコー | 情報埋め込み装置、情報抽出装置、情報埋め込み方法、情報抽出方法、情報埋め込みプログラム、及び情報抽出プログラム |
| CN1881383B (zh) * | 2005-06-17 | 2011-07-27 | 鸿富锦精密工业（深圳）有限公司 | 文本加密系统及方法 |
| CN1881384B (zh) * | 2005-06-17 | 2010-05-26 | 鸿富锦精密工业（深圳）有限公司 | 文本加密系统及方法 |
| CN100583191C (zh) * | 2005-06-17 | 2010-01-20 | 鸿富锦精密工业（深圳）有限公司 | 文本加密系统及方法 |
| CN100583190C (zh) * | 2005-06-17 | 2010-01-20 | 鸿富锦精密工业（深圳）有限公司 | 文本加密系统及方法 |
| EP2958106B1 (en) | 2006-10-11 | 2018-07-18 | The Nielsen Company (US), LLC | Methods and apparatus for embedding codes in compressed audio data streams |
| CN106063274B (zh) | 2014-04-01 | 2020-02-14 | 华为技术有限公司 | 多层结构化编码单元中数据隐藏的方法和装置 |
| US10698986B2 (en) * | 2016-05-12 | 2020-06-30 | Markany Inc. | Method and apparatus for embedding and extracting text watermark |
| US11481678B2 (en) * | 2019-11-14 | 2022-10-25 | Baidu Usa Llc | Systems and methods for learning new watermark algorithms for a data processing accelerator |
| US11582260B2 (en) | 2019-11-14 | 2023-02-14 | Baidu Usa Llc | Systems and methods for verifying a watermark of an AI model for a data processing accelerator |
| US11579928B2 (en) | 2019-11-14 | 2023-02-14 | Baidu Usa Llc | Systems and methods for configuring a watermark unit with watermark algorithms for a data processing accelerator |
| US11574032B2 (en) | 2019-11-14 | 2023-02-07 | Baidu Usa Llc | Systems and methods for signing an AI model with a watermark for a data processing accelerator |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6229924B1 (en) * | 1996-05-16 | 2001-05-08 | Digimarc Corporation | Method and apparatus for watermarking video images |
| JPH1155638A (ja) | 1997-08-04 | 1999-02-26 | Sony Corp | 情報付加装置、情報付加方法、画像データ再生装置及び画像データ再生方法 |
| JPH1169137A (ja) | 1997-08-20 | 1999-03-09 | Canon Inc | 電子透かし方式、電子情報配布システムおよび画像ファイル装置 |
| JPH1173725A (ja) * | 1997-08-29 | 1999-03-16 | Sony Corp | 情報信号記録再生システム、情報記録装置、情報信号再生装置および情報信号記録再生方法 |
| JP3662398B2 (ja) | 1997-09-17 | 2005-06-22 | パイオニア株式会社 | 電子透かし重畳装置及び電子透かし検出装置 |
| JP4064506B2 (ja) | 1997-09-17 | 2008-03-19 | パイオニア株式会社 | 電子透かし重畳方法及び検出方法並びに装置 |
| JP3986150B2 (ja) | 1998-01-27 | 2007-10-03 | 興和株式会社 | 一次元データへの電子透かし |
| KR100327210B1 (ko) * | 1998-03-03 | 2002-05-09 | 윤종용 | 비디오데이터의복제제어장치및그방법 |
| JP3214555B2 (ja) | 1998-05-06 | 2001-10-02 | 日本電気株式会社 | 電子透かし挿入装置 |
| JP3156667B2 (ja) | 1998-06-01 | 2001-04-16 | 日本電気株式会社 | 電子透かし挿入システム、電子透かし特性表作成装置 |
| US6332194B1 (en) * | 1998-06-05 | 2001-12-18 | Signafy, Inc. | Method for data preparation and watermark insertion |
| US6154571A (en) | 1998-06-24 | 2000-11-28 | Nec Research Institute, Inc. | Robust digital watermarking |
| JP4130503B2 (ja) | 1998-11-30 | 2008-08-06 | 株式会社東芝 | 電子透かし埋込み装置 |
-
2000
- 2000-01-24 JP JP2000013835A patent/JP3567975B2/ja not_active Expired - Fee Related
-
2001
- 2001-01-23 US US09/767,483 patent/US6947562B2/en not_active Expired - Fee Related
- 2001-01-24 EP EP20010101541 patent/EP1130924A3/en not_active Withdrawn
- 2001-01-26 KR KR10-2001-0003731A patent/KR100400954B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US6947562B2 (en) | 2005-09-20 |
| EP1130924A2 (en) | 2001-09-05 |
| KR100400954B1 (ko) | 2003-10-10 |
| KR20010074551A (ko) | 2001-08-04 |
| JP2001203992A (ja) | 2001-07-27 |
| EP1130924A3 (en) | 2004-07-07 |
| US20010009581A1 (en) | 2001-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3567975B2 (ja) | 電子透かし検出・挿入装置 | |
| US6798893B1 (en) | Digital watermarking technique | |
| KR100553469B1 (ko) | 전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치 | |
| JP3921923B2 (ja) | 電子透かし挿入装置およびその方法 | |
| JP2000513167A (ja) | ディジタルビデオ信号内に補足データを埋め込む方法及び装置 | |
| JP4035257B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| KR100385407B1 (ko) | 전자 워터마크 데이터를 삽입하기 위한 시스템 및 장치 | |
| JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
| US7529301B2 (en) | Image processing apparatus employing hierarchical encoding | |
| JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
| JP2001223981A (ja) | デジタルコンテンツのコピー制御方法及び装置 | |
| JP2008502256A (ja) | 移動されたオブジェクトにより引き起こされた電子透かし不規則性の補償 | |
| JP3933140B2 (ja) | 電子すかしデータ挿入方法及び装置 | |
| JP2004120415A (ja) | 動画像データストリームの変換装置及び方法 | |
| JP2006270988A (ja) | 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置 | |
| JP2004040446A (ja) | 映像符号化装置 | |
| Liang et al. | Video watermarking combining with hybrid coding scheme | |
| JP2006081065A (ja) | 動画圧縮符号化装置、動画圧縮符号化プログラム | |
| JP2002300586A (ja) | 符号化用画像信号のための電子透かし情報挿入方法及び装置 | |
| JP2005278051A (ja) | 映像符号化装置 | |
| JPH07135656A (ja) | 映像信号符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040608 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080625 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |