JP3698901B2 - 情報埋込み方法および装置 - Google Patents
情報埋込み方法および装置 Download PDFInfo
- Publication number
- JP3698901B2 JP3698901B2 JP34388898A JP34388898A JP3698901B2 JP 3698901 B2 JP3698901 B2 JP 3698901B2 JP 34388898 A JP34388898 A JP 34388898A JP 34388898 A JP34388898 A JP 34388898A JP 3698901 B2 JP3698901 B2 JP 3698901B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- information
- state
- still image
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
- H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は情報埋込み方法および装置に関し、特に、ディジタル化された静止画あるいは動画等のコンテンツ情報にコピー制御情報や著作権情報などの情報を埋め込むための方法および装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などがコンテンツがディジタル化され、記憶媒体あるいは通信ネットワークを介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、コンテンツ情報に人間の視聴覚では気付かない程度の変更を加える形でコピー制御情報や著作権情報を埋め込むことによって、データ処理装置を利用したコンテンツ情報のコピー回数の制限、あるいは不正コピーされたコンテンツ情報から著作権者の特定を可能にする電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、次の２つの要求を満たす必要がある。
(1) コンテンツ情報の劣化の抑制：
例えば、画像データを対象とした電子透かし情報の埋め込みにおいて、画像に加えた変更がコンテンツの鑑賞の妨げないようにすること。すなわち、コンテンツ情報の一部に加えた変更が人間の視聴覚には目立たないこと。
【０００４】
(2) 耐久性の向上：
画像処理や音声処理を加えても埋め込み情報、すなわち、コンテンツ情報に加えた変更が劣化し難いこと。
上記条件を満たすためには、コンテンツの性質に応じて、コンテンツの変更個所と、変更の程度あるいは強度を最適化する必要がある。以下、コンテンツ情報として代表的な画像を例にして、従来の電子透かし技術を分析する。
【０００５】
画像データの場合、一般に、画像の状態変化が比較的平坦な領域では、画素（ピクセル）の状態値（輝度あるいは色）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体のエッジ部分のように画素値の変動の激しい部分では画素に比較的大きな変更を加えても人間の目には目立たないと言う性質がある。この性質に着目して、例えば、情報処理学会論文誌、Vol.38、No.12、1997、第2640頁〜第2647頁には、透かし情報を埋め込むべき画像フレームの輝度変動を分析することによって被写体のエッジ部分を特定し、画素値の変更が目立ちにくい上記エッジ部分では大きな変更を加え、画素値の変更が目立ち易い部分には変更を加えないか、加えるとしても変更の程度を小さくするエッジ保存型電子透かし技術が提案されている。
【０００６】
電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。動画データは、時系列的に配列された複数の静止画フレームから構成されており、動画の鑑賞中にフレームの送りを止めることによって、個々のフレームを静止画として鑑賞する場合がある。
【０００７】
【発明が解決しようとする課題】
上記理由から、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要があり、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化することが望まれる。しかしながら、動画を対象とした電子透かし情報の埋込みに関する従来技術は、例えば、1995 Symposium on Cryptography and Information Security, 31-Gで報告された方式では、静止画としての性質のみが考慮されている。また、1995 Symposium on Cryptography and Information Security, 31-Fで報告された方式は、動画としての性質のみを考慮しており、静止画的性質と動画的性質の両方を考慮して画素値の変更個所と変更強度を最適化した例は未だ報告されていない。
【０００８】
また、画素値変更の目立ちやすさは、例えば、輝度変動のような一つの性質だけで決まるものではなく、色変動のように輝度以外の性質によっても異なる。従って、静止画あるいは動画に透かし情報を埋め込む場合は、これら複数の性質を考慮して、変更個所と変更の度合い（変更強度）とを最適化する必要があるが、従来の電子透かし技術は、画像の一つの性質に依存して画素値変更を最適化しており、複数の性質を考慮した最適化技術は報告されていない。
【０００９】
本発明の第１の目的は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質を考慮して変更個所と変更強度を最適化することにある。
本発明の第２の目的は、特に、動画的性質と静止画的性質の両方を考慮して変更個所と変更強度を最適化した動画への透かし情報埋め込み方法および装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記第１目的を達成するために、本発明による情報埋込み方法は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質について、それぞれの性質に依存した変更個所と変更程度を求めるステップと、上記各性質に依存して求められた複数組の変更個所および変更程度の中から、上記コンテンツ情報に適用する一組の変更個所と変更程度を選択するステップとを有し、上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
実際の応用においては、上記透かし情報の埋め込み対象となるコンテンツ情報を複数のブロックに分割し、各情報ブロック毎に前記複数組の変更個所および変更程度を求め、上記各情報ブロック毎に一組の変更個所と変更程度を選択する。
【００１１】
尚、上記選択ステップでは、変更が目立たないことを優先する場合には、例えば、性質毎に選択した複数組の変更個所についての論理積（AND）演算結果を最終的な変更個所とし、変更個所の個数が最小となるようにすればよい。逆に、変更結果の耐久性を優先する場合は、性質毎に選択した複数組の変更個所の論理和（OR）演算結果を最終的な変更個所とし、変更箇所の数が最大となるようにすればよい。
【００１２】
上記第１目的を達成するために、本発明による情報埋込み方法の他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して変更個所と変更程度とを求める第１ステップと、上記コンテンツ情報が備える上記第１の性質とは異なる第２の性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
【００１３】
上記第１目的を達成するために、本発明による情報埋込み方法の更に他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記コンテンツ情報が備える第２の性質に依存して、該コンテンツ情報の変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記コンテンツ情報の状態を変更することを特徴とする。
本発明によれば、上記複数の規則のそれぞれを上記コンテンツ情報の１つの性質に応じて変更個所と変更程度を規定する内容とし、上記コンテンツ情報の別の性質に依存して選択された一つの規則を適用することによって、上記コンテンツ情報が備える複数の性質を考慮した形で変更個所と変更程度を決定できる。
【００１４】
上記第２の目的を達成するため、本発明は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームから検出された静止画的性質に依存して変更個所と変更程度を求める第１ステップと、上記処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、変更個所と変更程度を求める第２ステップと、上記第２ステップで求めた変更個所と変更程度の中から、上記静止画フレームに適用する変更個所と変更程度の組を選択する第３ステップとを有し、上記選択された変更箇所と変更程度に従って、上記処理対象となる静止画フレームに透かし情報となる画素の変更を加えることを特徴とする。
【００１５】
上記第２の目的を達成するため、本発明の他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、上記各静止画フレームが備える静止画的性質に依存して変更個所と変更程度とを求める第１ステップと、上記静止画フレーム間の関係から求まる動画的性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記静止画フレームに透かし情報となる画素変更を加えることを特徴とする。
【００１６】
上記第２の目的を達成するため、本発明の更に他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記処理対象となる静止画フレームから検出される静止画的性質に依存して、該静止画フレームにおける変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記静止画フレームの画素状態を変更することを特徴とする。
【００１７】
実際の応用においては、上記各静止画フレームを複数の画像ブロックに分割し、各画像ブロック毎に上述した一連の処理ステップする。また、静止画的性質としては、例えば、各静止画フレーム内あるいは各画像ブロック内の輝度の変動を考慮すればよい。動画的性質としては、画像の動き量、すなわち静止画フレーム間の動きベクトルの大きさを考慮すればよい。
【００１８】
本発明による情報埋め込み装置は、上述した各ステップをプログラム処理によって実行するプロセッサと、処理対象となるコンテンツ情報、その他のデータを格納するための記憶装置とによって構成される。その具体的な構成は、以下に説明する実施例によって一層明確になると思われる。
【００１９】
【発明の実施の形態】
本発明の第１の実施例を図１〜図８を参照して説明する。
本実施例では、コンテンツ情報として動画を考える。動画データは時系列的な複数の静止画フレームから構成されており、各静止画フレームの画素の一部に変更を加えることによって、動画に透かし情報を埋め込むことができる。以下に述べる実施例では、各静止画フレームから選ばれた特定の画素に対して、人間の目に違和感を与えない範囲で輝度を変更する。
【００２０】
図１は、本発明による透かし情報の埋め込みを実施するためのハードウェア構成を示し、１は、透かし情報の埋め込み対象となる動画データ、透かし情報、後述する各種の規則等のデータを入力し、透かし情報の埋め込まれた動画像を出力するための入出力装置、２は中央処理装置（プロセッサ）、３は、上記入出力装置から入力された動画データや透かし情報が埋め込まれた動画データを蓄積するための記憶装置を示す。上記記憶装置３は、透かし情報の埋め込み処理に必要な動画データ以外に、中央処理装置が利用する各種データ、規則、プログラム等の蓄積にも利用される。実際の応用においては、プログラムや計算機データを蓄積するための記憶装置は、大きな記憶容量を要する画像蓄積用の記憶装置とは別に用意されるが、ここでは、簡単化のために１つの記憶装置として示してある。
【００２１】
中央処理装置２は、動画を構成する個々の静止画フレームについて、時間軸上で所定フレーム遅れて現れる後続フレームと比較することによって被写体の動き（動画としての性質）を検出し、各フレームの画像が備える静止画としての性質と、上記動き検出で得られた動画的性質の両方を反映させて、透かし情報の埋め込み位置となる画素の選択と画素値の変更量とを決定する。
【００２２】
図２は、上記中央処理装置２が実行するプログラム動作を通して実現される本発明の電子透かし情報埋め込みの第１実施例を示す機能ブロック図である。
機能ブロック２０〜２５は上記中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３５は記憶装置３内に形成されるデータファイルを示しており、例えば、３１は、複数の静止画フレームからなる動画データが格納される動画ファイル、３２は、図５に例示する複数の規則を記憶するための規則ファイル、３３は、上記各静止画フレームを分割して得られる所定サイズの画像ブロック毎に適用すべき規則を記憶するための使用規則ファイル、３４は、動画を構成する各静止画像に埋め込むべき透かし情報を記憶するための挿入情報ファイル、３５は、透かし情報が埋め込まれた動画データを格納するための情報挿入動画ファイルである。
【００２３】
また、２１は、ユーザによって入出力装置１から入力された動画データ、規則データ、透かし情報をそれぞれ上記ファイル３１、３２、３４に書き込むと共に、ユーザからの要求に応じて、情報挿入画像ファイル３５から透かし情報埋め込み済みの動画データを読み出し、これを入出力装置１の表示画面に出力するための入出力ルーチンであり、２０は、上記入出力ルーチンと、動画を構成する各静止画フレーム毎に、後述する静止画間動き検出ルーチン２２、規則選択ルーチン２３、変更個所決定ルーチン２４および画素状態の変更ルーチン２５を順次に起動して透かし情報の埋め込みを実現する制御ルーチンを示す。
【００２４】
静止画間動き検出ルーチン２２は、透かし情報の埋め込み対象として着目中の各静止画（以下、着目フレームという）について、時間軸上でKフレーム後に現れる静止画（以下、参照フレームという）と比較し、上記着目フレーム中に含まれる被写体の動きを検出する。この動き検出処理は、図３で詳述するように、着目フレームを所定サイズ、例えば、１６画素×８画素（＝１２８画素）の複数の画像ブロックに分割し、各画像ブロック毎に参照ブロックとの間の動きベクトルを求める。着目フレームと参照フレームとの間のフレーム間隔を示すパラメータＫの値（例えば、K＝１０）は、本システムの利用者が任意に指定できる。
【００２５】
規則選択ルーチン２３は、静止画間動き検出ルーチン２２から、各画像ブロック毎の動きベクトルを受け取り、この動きベクトルの大きさに応じて、規則集合ファイル３２に記憶してある複数の規則の中の一つを選択し、ブロック別適用規則として使用規則ファイル３３に記憶する。
【００２６】
変更個所決定ルーチン２４は、図７で詳述するように、着目フレームに含まれる静止画像を分析し、各画像ブロック毎の変更容易度を求めた後、上記変更容易度と使用規則ファイル３３から取り出した適用規則とに従って、着目フレーム内の各画像ブロック毎の輝度変更個所（画素）と変更量とを決定する。
変更ルーチン２５は、上記変更個所決定ルーチン２４から着目フレームの各画像ブロック毎の輝度変更個所（画素）と変更量を受け、挿入情報ファイル３４で指定された透かし情報に従って、上記画像ブロック内の画素の状態（輝度）を変更する。
【００２７】
例えば、上記動画を構成する各静止画が７２０×４８０画素からなる場合、これを１６×８画素単位に分割すると、１フレームが４５×６０（＝２７００）個のブロックに分割される。上記フレームに埋め込む透かし情報を６ビット情報（数値０〜６３で表される６４種類の文字コード）とした場合、各ビットに４５０個のブロックを割り当てることができる。
１つのフレームを構成する上記２７００個のブロックをＮ個の文字コードと対応したＮグループに分け、各グループ内において、２７００／Ｎ個のブロックを上記６ビット情報に割り当てると、１ビット当り４５０／Ｎ個のブロックを割り当てることができる。
【００２８】
透かし情報を構成するビットパターンの各ビットを静止画フレーム内の互いに離散した位置関係にある複数の画像ブロックと予め対応付けておき、例えば、あるビット位置にビット情報“１”を書き込む場合は、上記ビット位置と対応した複数の画像ブロックにおいて、上記変更箇所決定ルーチン２４が指定する画素位置で輝度を指定量だけ明るくし、ビット情報“０”を書きこむ場合は、上記決定ルーチン２４が指定する画素位置で輝度を指定量だけ暗くすることによって、各フレームにＮ個の文字コードを透かし情報として埋め込むことができる。
フレーム内の画像の状態によっては、輝度の変更が許されないブロックもでてくるが、各ビットにフレーム内で互いに離散した位置関係にある複数の画像ブロックを割り当てておけば、確率的に少なくとも１つのブロックで輝度変更が可能となり、透かし情報を確実に挿入することができる。
【００２９】
上述した画像ブロックとビット情報との対応関係は、透かし情報が与えられた時点で予めテーブル化して挿入情報ファイル３５に記憶しておき、変更ルーチン２５が、上記挿入情報ファイル３５を参照することによって各ブロック毎の書き込み情報を判断できるようにしておく。
【００３０】
尚、透かし情報は、上記６ビット情報に代えて８ビット情報を適用してもよい。また、上述したように各ビットと画像ブロックとを対応付ける代わりに、例えば、上記６ビット情報で表記できる６４種類の各文字コードと画像ブロックとを対応づけておき、文字コードの有無によって対応する画像ブロックの画素状態を変化させるようにしてもよい。各画素の輝度状態が、例えば、０〜１２７の１２８段階ある場合、変更箇所として指定された各画素について、輝度の段階を指定量だけ変更する代わりに、各画素の輝度変更は１段階に固定して、輝度変更する画素数を上記指定量に応じて可変にするようにしてもよい。
【００３１】
図３は、静止画間動き検出ルーチン２２の詳細フローチャートを示す。
ここで必要とする動き検出は、例えば、日経BP出版センター発行の「ディジタル画像圧縮の基礎」、pp.44-47、１９９６年に示される公知の技術により実現できる。動き検出の結果は、動きベクトルと被写体画像の差分の最小二乗和とで表され、これらの両方の値をしようすることによって、画像の動きに応じた精密な情報挿入制御が可能となるが、説明を簡単化するために、ここでは、動き検出結果を動きベクトルで代表させ、最小二乗和については省略した説明とする。
【００３２】
図に示すように、先ず、動画ファイル３１から着目フレームよりKフレームだけ後に位置した後フレームを参照フレームとして取り出し（ステップ２２１）、着目フレームを１６画素×８画素のブロックに分割する（ステップ２２２）。上記着目フレームの最初のブロックに着目し（ステップ２２３）、着目ブロックと上記後フレームとの間の動きを検出し、求めた動きベクトルを規則選択ルーチン２３に渡す（ステップ２２４）。次に、着目フレームの全ブロックを処理したか否かを判定し（ステップ２２５）し、全ブロックを処理済みの場合はこのルーチンを終了し、そうでない場合は、次のブロックを着目ブロックにして（ステップ２２６）、動きベクトル検出ステップ２２４を繰り返す。
【００３３】
上記静止画間動き検出の結果、図４に示すように、着目フレームの各ブロック２２０ａと対応して動きベクトル２２０ｂを示す動きベクトルテーブル２２０が形成され、その内容が検出ルーチン２２から規則選択ルーチン２３に与えられることになる。
【００３４】
規則選択ルーチン２３は、例えば、図５に示すように、動きベクトルの大きさに応じて選択すべき透かし強度指定テーブルを特定する複数の判定基準Ｒ１、Ｒ２、Ｒ３．．．を有し、着目フレーム内の各ブロック毎に、上記動き検出ルーチン２２で検出された動きベクトル量（絶対値）と対応した規則を上記規則集合ファイル３２から取り出し、画像ブロックと対応させて使用規則ファイル２３に記憶する。
【００３５】
規則集合ファイル３２に用意される規則（強度指定テーブル）３２０は、例えば、図６に示すように、静止画におけるブロックの変更容易度３２０ａとブロック内変更率３２０ｂとの関係を定義している。上記変更容易度３２０ａは、各ブロック毎にどの程度まで輝度変更しても目立たないかを示しており、ここでは、各ブロックで許容される輝度変更量の１画素当りの平均値、すなわち、１画素当り前述の１２８段階のうちの何段階分の輝度変更が許容されるかで表す。また、上記ブロック内変更率３２０ｂは、１ブロック内の何％の画素（ピクセル）を変更するかを表す。
後述するように、静止画フレームの１つのブロックで状態変更可能な画素候補が複数見つかった場合、これら複数個の画素候補の中から上記変更率で指定された個数の画素が輝度変更の対象画素として選択される。従って、上記変更率は、変更画素の位置とブロック内での画素の変更程度とを同時に指定している。
【００３６】
判定基準Ｒ１、Ｒ２、Ｒ３．．．は、動きベクトルが大きいブロックほど、同一の容易度に対してブロック内変更率の高い規則を適用するように、動きベクトルと規則（強度指定テーブル３２０）との関係を記述している。
【００３７】
図７は、変更個所決定ルーチン２４の詳細フローチャートを示す。
先ず、着目フレームの各ブロックについて、例えば、次の手順で、変更容易度を求める（ステップ２４１）。各着目フレームについて、例えば、電子情報通信学会論文誌、Ｄ−２、第Ｊ７９−Ｄ−２巻、第８号、第1347−1353頁に記載された特性をもつ画像フィルタリングによってし、人間の目には知覚できない、コンテンツの参照に妨害にならない範囲内でのノイズ除去（画素値変更）処理を施し、フィルタリング後の画像と元の画像とを差をとることによって、変更量を示す画像データ（以下、差画像フレームという）を生成する。上記フィルタリングは、コンテンツの参照に妨害にならない範囲内での画像処理であるから、上記差画像フレームは、着目フレームに対して許容される画素値変更の候補位置と変更量とを示している。そこで、上記差画像フレームを着目フレームと同様に複数のブロックに分割し、各ブロック毎に画素値（輝度の変更量）の累積値を求め、これをブロック画素数で割ることによって、各ブロックの１画素当りの平均的な輝度変更量、すなわち、図６に示した変更容易度３２０ａを求める。
【００３８】
次に、上記差フレームの各ブロックにおいて、画素値の大きい画素（ピクセル）から順に画素を選択することによってピクセルの変更容易順序を求める（ステップ２４２）。ブロック内の二つの画素ｐ１、ｐ２に対して同一の輝度量で変更を加えた場合、もし、ｐ１の方がｐ２よりも変更容易順序が高ければ、ｐ１の方がｐ２よりも輝度変更が目立たない。
【００３９】
この状態で、着目フレームの最初のブロックに着目して（ステップ２４３）、使用規則ファイル３３から上記着目ブロックと対応する規則（テーブル３２０）を読み出し、上記規則に従って、上記ステップ２４１で既に算出してある最初のブロックの変更容易度３２０ａと対応するブロック内変更率３２０ｂを求める（ステップ２４４）。これによって、上記着目ブロック内の１２８個のピクセルのうち何ピクセルを変更するかが決まる。次に、上記着目ブロックの１２８個のピクセルの中から、ステップ２４２で求めた変更容易順序の高いものから順に、上記ブロック内変更率３２０ｂで示された個数のピクセルを選択し、変更ルーチン２５に指示する（ステップ２４５）。この後、着目フレームの全ブロックについて処理済みか否かを判定し（ステップ２４６）、全ブロックを処理済みの場合にはこのルーチンを終了し、そうでない場合は、着目フレーム内の次のブロックを着目ブロックとし（ステップ２４７）、変更率決定ステップ２４４に戻る。
【００４０】
変更ルーチン２５では、挿入情報ファイル３４を参照して上記着目ブロックに書き込むべき透かし情報を特定し、上記着目ブロック内の１２８個のピクセルのうち、上記変更箇所決定ルーチン２４から指示されたピクセルについて、上記透かし情報に対応した輝度変更を行う。
上記実施例では、ピクセルの輝度の変更量を１段階に固定し、着目ブロック内での輝度変更ピクセルの個数を変えることにより、変更量を制御している。
しかしながら、前述したように、各々のピクセルの輝度変更量を可変御することも可能である。
【００４１】
上述したように、本実施例では、動画を構成する静止画フレーム間の関係を示す動きベクトル（動画的性質）に依存して適用規則を選択し、静止画フレーム内の各ブロックに含まれる被写体の状態（静止画的性質）に依存して決まる輝度変更可能なピクセル群の中から、輝度変更すべきピクセルを上記適用規則に基づいて決定するようにしている。従って、本実施例によれば、透かし情報を挿入するための画素状態の変更位置および変更量の決定に際して、動画と静止画の両方の性質を反映させており、画質劣化を抑制し情報の耐性を向上した透かし情報の埋め込みが可能となる。
【００４２】
図８は、図６に示した規則３２０の変形例を示す。
この例では、ブロックの変更容易度３２０ａと対応して、ブロック内変更率３２０ｂの他に、ピクセル毎の輝度変更量３２０ｃを定義しておくことによって、輝度変更が目立たない動きのあるフレームでは、変更ピクセル数を増やすだけでなく、個々のピクセルの変更量も増加した形で透かし情報の埋め込めるようにしたものである。
【００４３】
図９は、本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図である。
機能ブロック２０〜２８は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２で説明した第１実施例と共通する要素には同一の符号を付してある。第１実施例では、規則集合ファイル３２に複数の規則を用意し、着目フレームの各ブロック毎に、動きベクトルに応じて適用規則を選択するようにしていたが、本実施例では、全てのブロックに対して予め使用規則ファイル３３に格納しておいた１つの規則３２０を適用する。
【００４４】
変更率１の決定ルーチン２６は、静止画間の動き検出ルーチン２２から受け取った着目フレーム内の各ブロックの動きベクトルの大きさに依存して、着目ブロック毎のブロック内変更率を決定し、その結果を変更率１ファイル３６Ａに記憶する。上記ブロック内変更率を決定は、動きベクトルが大きくなるに従って変更率が高くなるように、予め動きベクトルの大きさと変更率との関係を定義した変換テーブルを参照することによって実現できる。
【００４５】
静止画分析ルーチン２７は、図２で説明した変更個所と量の決定ルーチン２４と同様の処理によって各ブロックの変更容易度３２０ａを算出し、使用規則ファイル３３に用意された規則３２０に従って、着目ブロック内の変更率３２０ｂを決定し、その結果を変更率２ファイル３６Ｂに記憶する。
【００４６】
本実施例では、このように、同一の着目ブロックについて、動画的性質である動きベクトルに応じて決定した変更率１と、静止画的性質である変更容易度に応じて決定した変更率２のうちの一方を、変更率決定ルーチン２８によって選択する。変更率決定ルーチン２８は、例えば、輝度変更後の画質を優先するために、上記２つの変更率のうち値の小さい方を選択し、これを変更率ファイル３７に記憶する。もし、埋め込み後の透かし情報の耐性を優先したい場合は、上記２つの変更率のうち値の大きい方を選択すればよい。
【００４７】
変更個所決定ルーチン２４'は、第１実施例における変更箇所決定ルーチン２４と同様の方法で、着目ブロック内の輝度変更可能ピクセルを求め、使用規則ファイル３３の適用規則に代わって、上記変更率ファイル３７に設定された変更率を使用して、変更容易順序の高いピクセルから順に所定個数のピクセルを選択し、これを輝度変更の対象ピクセルとして変更ルーチン２５に通知する。
【００４８】
上述したように、第２の実施例は、動画的性質である動きベクトルによって決まる第１の変更率と、静止画的性質である画像状態によって決まる第２の変更率のうちの一方を選択的に適用することによって、画質劣化の抑制と情報の耐性を向上した透かし情報の埋め込みを可能としている。
【００４９】
図１０は、本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図である。
機能ブロック２０〜２９は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２、図９で説明した第１、第２実施例と共通する要素には同一の符号を付してある。
【００５０】
静止画分析ルーチン２７は、第２実施例と同様に、着目フレームの静止画的性質に基いて、各ブロック毎の変更率を決定し、変更率２ファイル３６Ｂに記憶する。変更率調整ルーチン２９は、静止画間動き検出ルーチン２２から受け取った各ブロック毎の動きベクトルに依存して、上記変更率２ファイル３６Ｂから読み出した変更率２の値を増減し、適用変更率として変更率ファイル３７に記憶する。変更箇所決定ルーチン２４'は、上記変更率ファイル３７に記憶された変更率を適用して、第２実施例と同様に輝度変更の対象ピクセルを決定し、これを変更ルーチン２５に通知する。
【００５１】
上記第３の実施例では、静止画的性質によって決まる変更率２を動画的性質である動きベクトルに応じて調整することによって、最終的な適用変更率を求め、輝度変更ピクセルを決定している。
【００５２】
以上の第１〜第３の実施例では、動画を対象とし、動画的性質と静止画的性質の両方を反映して、透かし情報の埋め込み位置を決定する情報の埋込み方法について説明したが、本発明の技術思想は、上記実施例に限定されるものではなく、例えば、静止画を対象とした透かし情報の埋め込みにおける輝度の変動と色の変動の如く、コンテンツが備える異なる２つの性質を反映して情報の埋め込み位置を決定する他の実施例、音声に代表される画像以外の他のコンテンツにも応用可能である。
また、上述した各実施例では、本発明の方法が中央処理装置２によるソフトウェア（ルーチン２０〜２９）の実行によって実現されているが、これらのソフトウエアがもつ機能の一部は専用化されたハードウェアで実現してもよい。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、コンテンツが備える複数の性質を反映して、状態の変更個所、および／または変更程度を最適化することによって、コンテンツ価値（画質、音質など）の劣化を抑制し、埋め込み情報の耐久性を高めた透かし情報の埋め込みが可能となる。また、本発明を時系列的に配列された複数の静止画フレームから構成される動画データに適用した場合、画素状態の変更個所と変更量を最適化できるため、画質の劣化を表面化することなく、耐久性のある透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【図１】本発明の電子透かし情報埋め込みを実施するためのハードウェア構成図。
【図２】本発明による電子透かし情報埋め込みの第１の実施例を示す機能ブロック図。
【図３】図２における静止画間動き検出ルーチン２２の詳細を示すフローチャート。
【図４】静止画間動き検出ルーチン２２によるブロック毎の動き検出の結果を示す図。
【図５】図２における規則選択ルーチン２３が備える規則選択の判定基準を示す図。
【図６】情報埋込み規則の１例を示す図。
【図７】図２における変更箇所決定ルーチン２４の詳細を示すフローチャート。
【図８】情報埋込み規則の他の例を示す図。
【図９】本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図。
【図１０】本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図。
【符号の説明】
１：入出力装置、２：中央処理装置、３：記憶装置、
２０：制御ルーチン、２１：入出力ルーチン、２２：静止画間動き検出ルーチン、２３：規則選択ルーチン、２４：変更箇所決定ルーチン、２５：変更ルーチン、２６：変更率１の決定ルーチン、２７：静止画分析ルーチン、
２８：変更率決定ルーチン、２９：変更率調整ルーチン、３１：動画ファイル、３２：規則集合ファイル、３３：使用規則ファイル、３４：挿入情報ファイル、３５：情報挿入動画ファイル、３６：変更率ファイル、
３７：適用変更率ファイル、２２０：動きベクトル記憶テーブル、
３２０：変更率決定規則
【発明の属する技術分野】
本発明は情報埋込み方法および装置に関し、特に、ディジタル化された静止画あるいは動画等のコンテンツ情報にコピー制御情報や著作権情報などの情報を埋め込むための方法および装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などがコンテンツがディジタル化され、記憶媒体あるいは通信ネットワークを介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、コンテンツ情報に人間の視聴覚では気付かない程度の変更を加える形でコピー制御情報や著作権情報を埋め込むことによって、データ処理装置を利用したコンテンツ情報のコピー回数の制限、あるいは不正コピーされたコンテンツ情報から著作権者の特定を可能にする電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、次の２つの要求を満たす必要がある。
(1) コンテンツ情報の劣化の抑制：
例えば、画像データを対象とした電子透かし情報の埋め込みにおいて、画像に加えた変更がコンテンツの鑑賞の妨げないようにすること。すなわち、コンテンツ情報の一部に加えた変更が人間の視聴覚には目立たないこと。
【０００４】
(2) 耐久性の向上：
画像処理や音声処理を加えても埋め込み情報、すなわち、コンテンツ情報に加えた変更が劣化し難いこと。
上記条件を満たすためには、コンテンツの性質に応じて、コンテンツの変更個所と、変更の程度あるいは強度を最適化する必要がある。以下、コンテンツ情報として代表的な画像を例にして、従来の電子透かし技術を分析する。
【０００５】
画像データの場合、一般に、画像の状態変化が比較的平坦な領域では、画素（ピクセル）の状態値（輝度あるいは色）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体のエッジ部分のように画素値の変動の激しい部分では画素に比較的大きな変更を加えても人間の目には目立たないと言う性質がある。この性質に着目して、例えば、情報処理学会論文誌、Vol.38、No.12、1997、第2640頁〜第2647頁には、透かし情報を埋め込むべき画像フレームの輝度変動を分析することによって被写体のエッジ部分を特定し、画素値の変更が目立ちにくい上記エッジ部分では大きな変更を加え、画素値の変更が目立ち易い部分には変更を加えないか、加えるとしても変更の程度を小さくするエッジ保存型電子透かし技術が提案されている。
【０００６】
電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。動画データは、時系列的に配列された複数の静止画フレームから構成されており、動画の鑑賞中にフレームの送りを止めることによって、個々のフレームを静止画として鑑賞する場合がある。
【０００７】
【発明が解決しようとする課題】
上記理由から、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要があり、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化することが望まれる。しかしながら、動画を対象とした電子透かし情報の埋込みに関する従来技術は、例えば、1995 Symposium on Cryptography and Information Security, 31-Gで報告された方式では、静止画としての性質のみが考慮されている。また、1995 Symposium on Cryptography and Information Security, 31-Fで報告された方式は、動画としての性質のみを考慮しており、静止画的性質と動画的性質の両方を考慮して画素値の変更個所と変更強度を最適化した例は未だ報告されていない。
【０００８】
また、画素値変更の目立ちやすさは、例えば、輝度変動のような一つの性質だけで決まるものではなく、色変動のように輝度以外の性質によっても異なる。従って、静止画あるいは動画に透かし情報を埋め込む場合は、これら複数の性質を考慮して、変更個所と変更の度合い（変更強度）とを最適化する必要があるが、従来の電子透かし技術は、画像の一つの性質に依存して画素値変更を最適化しており、複数の性質を考慮した最適化技術は報告されていない。
【０００９】
本発明の第１の目的は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質を考慮して変更個所と変更強度を最適化することにある。
本発明の第２の目的は、特に、動画的性質と静止画的性質の両方を考慮して変更個所と変更強度を最適化した動画への透かし情報埋め込み方法および装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記第１目的を達成するために、本発明による情報埋込み方法は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質について、それぞれの性質に依存した変更個所と変更程度を求めるステップと、上記各性質に依存して求められた複数組の変更個所および変更程度の中から、上記コンテンツ情報に適用する一組の変更個所と変更程度を選択するステップとを有し、上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
実際の応用においては、上記透かし情報の埋め込み対象となるコンテンツ情報を複数のブロックに分割し、各情報ブロック毎に前記複数組の変更個所および変更程度を求め、上記各情報ブロック毎に一組の変更個所と変更程度を選択する。
【００１１】
尚、上記選択ステップでは、変更が目立たないことを優先する場合には、例えば、性質毎に選択した複数組の変更個所についての論理積（AND）演算結果を最終的な変更個所とし、変更個所の個数が最小となるようにすればよい。逆に、変更結果の耐久性を優先する場合は、性質毎に選択した複数組の変更個所の論理和（OR）演算結果を最終的な変更個所とし、変更箇所の数が最大となるようにすればよい。
【００１２】
上記第１目的を達成するために、本発明による情報埋込み方法の他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して変更個所と変更程度とを求める第１ステップと、上記コンテンツ情報が備える上記第１の性質とは異なる第２の性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
【００１３】
上記第１目的を達成するために、本発明による情報埋込み方法の更に他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記コンテンツ情報が備える第２の性質に依存して、該コンテンツ情報の変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記コンテンツ情報の状態を変更することを特徴とする。
本発明によれば、上記複数の規則のそれぞれを上記コンテンツ情報の１つの性質に応じて変更個所と変更程度を規定する内容とし、上記コンテンツ情報の別の性質に依存して選択された一つの規則を適用することによって、上記コンテンツ情報が備える複数の性質を考慮した形で変更個所と変更程度を決定できる。
【００１４】
上記第２の目的を達成するため、本発明は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームから検出された静止画的性質に依存して変更個所と変更程度を求める第１ステップと、上記処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、変更個所と変更程度を求める第２ステップと、上記第２ステップで求めた変更個所と変更程度の中から、上記静止画フレームに適用する変更個所と変更程度の組を選択する第３ステップとを有し、上記選択された変更箇所と変更程度に従って、上記処理対象となる静止画フレームに透かし情報となる画素の変更を加えることを特徴とする。
【００１５】
上記第２の目的を達成するため、本発明の他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、上記各静止画フレームが備える静止画的性質に依存して変更個所と変更程度とを求める第１ステップと、上記静止画フレーム間の関係から求まる動画的性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記静止画フレームに透かし情報となる画素変更を加えることを特徴とする。
【００１６】
上記第２の目的を達成するため、本発明の更に他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記処理対象となる静止画フレームから検出される静止画的性質に依存して、該静止画フレームにおける変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記静止画フレームの画素状態を変更することを特徴とする。
【００１７】
実際の応用においては、上記各静止画フレームを複数の画像ブロックに分割し、各画像ブロック毎に上述した一連の処理ステップする。また、静止画的性質としては、例えば、各静止画フレーム内あるいは各画像ブロック内の輝度の変動を考慮すればよい。動画的性質としては、画像の動き量、すなわち静止画フレーム間の動きベクトルの大きさを考慮すればよい。
【００１８】
本発明による情報埋め込み装置は、上述した各ステップをプログラム処理によって実行するプロセッサと、処理対象となるコンテンツ情報、その他のデータを格納するための記憶装置とによって構成される。その具体的な構成は、以下に説明する実施例によって一層明確になると思われる。
【００１９】
【発明の実施の形態】
本発明の第１の実施例を図１〜図８を参照して説明する。
本実施例では、コンテンツ情報として動画を考える。動画データは時系列的な複数の静止画フレームから構成されており、各静止画フレームの画素の一部に変更を加えることによって、動画に透かし情報を埋め込むことができる。以下に述べる実施例では、各静止画フレームから選ばれた特定の画素に対して、人間の目に違和感を与えない範囲で輝度を変更する。
【００２０】
図１は、本発明による透かし情報の埋め込みを実施するためのハードウェア構成を示し、１は、透かし情報の埋め込み対象となる動画データ、透かし情報、後述する各種の規則等のデータを入力し、透かし情報の埋め込まれた動画像を出力するための入出力装置、２は中央処理装置（プロセッサ）、３は、上記入出力装置から入力された動画データや透かし情報が埋め込まれた動画データを蓄積するための記憶装置を示す。上記記憶装置３は、透かし情報の埋め込み処理に必要な動画データ以外に、中央処理装置が利用する各種データ、規則、プログラム等の蓄積にも利用される。実際の応用においては、プログラムや計算機データを蓄積するための記憶装置は、大きな記憶容量を要する画像蓄積用の記憶装置とは別に用意されるが、ここでは、簡単化のために１つの記憶装置として示してある。
【００２１】
中央処理装置２は、動画を構成する個々の静止画フレームについて、時間軸上で所定フレーム遅れて現れる後続フレームと比較することによって被写体の動き（動画としての性質）を検出し、各フレームの画像が備える静止画としての性質と、上記動き検出で得られた動画的性質の両方を反映させて、透かし情報の埋め込み位置となる画素の選択と画素値の変更量とを決定する。
【００２２】
図２は、上記中央処理装置２が実行するプログラム動作を通して実現される本発明の電子透かし情報埋め込みの第１実施例を示す機能ブロック図である。
機能ブロック２０〜２５は上記中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３５は記憶装置３内に形成されるデータファイルを示しており、例えば、３１は、複数の静止画フレームからなる動画データが格納される動画ファイル、３２は、図５に例示する複数の規則を記憶するための規則ファイル、３３は、上記各静止画フレームを分割して得られる所定サイズの画像ブロック毎に適用すべき規則を記憶するための使用規則ファイル、３４は、動画を構成する各静止画像に埋め込むべき透かし情報を記憶するための挿入情報ファイル、３５は、透かし情報が埋め込まれた動画データを格納するための情報挿入動画ファイルである。
【００２３】
また、２１は、ユーザによって入出力装置１から入力された動画データ、規則データ、透かし情報をそれぞれ上記ファイル３１、３２、３４に書き込むと共に、ユーザからの要求に応じて、情報挿入画像ファイル３５から透かし情報埋め込み済みの動画データを読み出し、これを入出力装置１の表示画面に出力するための入出力ルーチンであり、２０は、上記入出力ルーチンと、動画を構成する各静止画フレーム毎に、後述する静止画間動き検出ルーチン２２、規則選択ルーチン２３、変更個所決定ルーチン２４および画素状態の変更ルーチン２５を順次に起動して透かし情報の埋め込みを実現する制御ルーチンを示す。
【００２４】
静止画間動き検出ルーチン２２は、透かし情報の埋め込み対象として着目中の各静止画（以下、着目フレームという）について、時間軸上でKフレーム後に現れる静止画（以下、参照フレームという）と比較し、上記着目フレーム中に含まれる被写体の動きを検出する。この動き検出処理は、図３で詳述するように、着目フレームを所定サイズ、例えば、１６画素×８画素（＝１２８画素）の複数の画像ブロックに分割し、各画像ブロック毎に参照ブロックとの間の動きベクトルを求める。着目フレームと参照フレームとの間のフレーム間隔を示すパラメータＫの値（例えば、K＝１０）は、本システムの利用者が任意に指定できる。
【００２５】
規則選択ルーチン２３は、静止画間動き検出ルーチン２２から、各画像ブロック毎の動きベクトルを受け取り、この動きベクトルの大きさに応じて、規則集合ファイル３２に記憶してある複数の規則の中の一つを選択し、ブロック別適用規則として使用規則ファイル３３に記憶する。
【００２６】
変更個所決定ルーチン２４は、図７で詳述するように、着目フレームに含まれる静止画像を分析し、各画像ブロック毎の変更容易度を求めた後、上記変更容易度と使用規則ファイル３３から取り出した適用規則とに従って、着目フレーム内の各画像ブロック毎の輝度変更個所（画素）と変更量とを決定する。
変更ルーチン２５は、上記変更個所決定ルーチン２４から着目フレームの各画像ブロック毎の輝度変更個所（画素）と変更量を受け、挿入情報ファイル３４で指定された透かし情報に従って、上記画像ブロック内の画素の状態（輝度）を変更する。
【００２７】
例えば、上記動画を構成する各静止画が７２０×４８０画素からなる場合、これを１６×８画素単位に分割すると、１フレームが４５×６０（＝２７００）個のブロックに分割される。上記フレームに埋め込む透かし情報を６ビット情報（数値０〜６３で表される６４種類の文字コード）とした場合、各ビットに４５０個のブロックを割り当てることができる。
１つのフレームを構成する上記２７００個のブロックをＮ個の文字コードと対応したＮグループに分け、各グループ内において、２７００／Ｎ個のブロックを上記６ビット情報に割り当てると、１ビット当り４５０／Ｎ個のブロックを割り当てることができる。
【００２８】
透かし情報を構成するビットパターンの各ビットを静止画フレーム内の互いに離散した位置関係にある複数の画像ブロックと予め対応付けておき、例えば、あるビット位置にビット情報“１”を書き込む場合は、上記ビット位置と対応した複数の画像ブロックにおいて、上記変更箇所決定ルーチン２４が指定する画素位置で輝度を指定量だけ明るくし、ビット情報“０”を書きこむ場合は、上記決定ルーチン２４が指定する画素位置で輝度を指定量だけ暗くすることによって、各フレームにＮ個の文字コードを透かし情報として埋め込むことができる。
フレーム内の画像の状態によっては、輝度の変更が許されないブロックもでてくるが、各ビットにフレーム内で互いに離散した位置関係にある複数の画像ブロックを割り当てておけば、確率的に少なくとも１つのブロックで輝度変更が可能となり、透かし情報を確実に挿入することができる。
【００２９】
上述した画像ブロックとビット情報との対応関係は、透かし情報が与えられた時点で予めテーブル化して挿入情報ファイル３５に記憶しておき、変更ルーチン２５が、上記挿入情報ファイル３５を参照することによって各ブロック毎の書き込み情報を判断できるようにしておく。
【００３０】
尚、透かし情報は、上記６ビット情報に代えて８ビット情報を適用してもよい。また、上述したように各ビットと画像ブロックとを対応付ける代わりに、例えば、上記６ビット情報で表記できる６４種類の各文字コードと画像ブロックとを対応づけておき、文字コードの有無によって対応する画像ブロックの画素状態を変化させるようにしてもよい。各画素の輝度状態が、例えば、０〜１２７の１２８段階ある場合、変更箇所として指定された各画素について、輝度の段階を指定量だけ変更する代わりに、各画素の輝度変更は１段階に固定して、輝度変更する画素数を上記指定量に応じて可変にするようにしてもよい。
【００３１】
図３は、静止画間動き検出ルーチン２２の詳細フローチャートを示す。
ここで必要とする動き検出は、例えば、日経BP出版センター発行の「ディジタル画像圧縮の基礎」、pp.44-47、１９９６年に示される公知の技術により実現できる。動き検出の結果は、動きベクトルと被写体画像の差分の最小二乗和とで表され、これらの両方の値をしようすることによって、画像の動きに応じた精密な情報挿入制御が可能となるが、説明を簡単化するために、ここでは、動き検出結果を動きベクトルで代表させ、最小二乗和については省略した説明とする。
【００３２】
図に示すように、先ず、動画ファイル３１から着目フレームよりKフレームだけ後に位置した後フレームを参照フレームとして取り出し（ステップ２２１）、着目フレームを１６画素×８画素のブロックに分割する（ステップ２２２）。上記着目フレームの最初のブロックに着目し（ステップ２２３）、着目ブロックと上記後フレームとの間の動きを検出し、求めた動きベクトルを規則選択ルーチン２３に渡す（ステップ２２４）。次に、着目フレームの全ブロックを処理したか否かを判定し（ステップ２２５）し、全ブロックを処理済みの場合はこのルーチンを終了し、そうでない場合は、次のブロックを着目ブロックにして（ステップ２２６）、動きベクトル検出ステップ２２４を繰り返す。
【００３３】
上記静止画間動き検出の結果、図４に示すように、着目フレームの各ブロック２２０ａと対応して動きベクトル２２０ｂを示す動きベクトルテーブル２２０が形成され、その内容が検出ルーチン２２から規則選択ルーチン２３に与えられることになる。
【００３４】
規則選択ルーチン２３は、例えば、図５に示すように、動きベクトルの大きさに応じて選択すべき透かし強度指定テーブルを特定する複数の判定基準Ｒ１、Ｒ２、Ｒ３．．．を有し、着目フレーム内の各ブロック毎に、上記動き検出ルーチン２２で検出された動きベクトル量（絶対値）と対応した規則を上記規則集合ファイル３２から取り出し、画像ブロックと対応させて使用規則ファイル２３に記憶する。
【００３５】
規則集合ファイル３２に用意される規則（強度指定テーブル）３２０は、例えば、図６に示すように、静止画におけるブロックの変更容易度３２０ａとブロック内変更率３２０ｂとの関係を定義している。上記変更容易度３２０ａは、各ブロック毎にどの程度まで輝度変更しても目立たないかを示しており、ここでは、各ブロックで許容される輝度変更量の１画素当りの平均値、すなわち、１画素当り前述の１２８段階のうちの何段階分の輝度変更が許容されるかで表す。また、上記ブロック内変更率３２０ｂは、１ブロック内の何％の画素（ピクセル）を変更するかを表す。
後述するように、静止画フレームの１つのブロックで状態変更可能な画素候補が複数見つかった場合、これら複数個の画素候補の中から上記変更率で指定された個数の画素が輝度変更の対象画素として選択される。従って、上記変更率は、変更画素の位置とブロック内での画素の変更程度とを同時に指定している。
【００３６】
判定基準Ｒ１、Ｒ２、Ｒ３．．．は、動きベクトルが大きいブロックほど、同一の容易度に対してブロック内変更率の高い規則を適用するように、動きベクトルと規則（強度指定テーブル３２０）との関係を記述している。
【００３７】
図７は、変更個所決定ルーチン２４の詳細フローチャートを示す。
先ず、着目フレームの各ブロックについて、例えば、次の手順で、変更容易度を求める（ステップ２４１）。各着目フレームについて、例えば、電子情報通信学会論文誌、Ｄ−２、第Ｊ７９−Ｄ−２巻、第８号、第1347−1353頁に記載された特性をもつ画像フィルタリングによってし、人間の目には知覚できない、コンテンツの参照に妨害にならない範囲内でのノイズ除去（画素値変更）処理を施し、フィルタリング後の画像と元の画像とを差をとることによって、変更量を示す画像データ（以下、差画像フレームという）を生成する。上記フィルタリングは、コンテンツの参照に妨害にならない範囲内での画像処理であるから、上記差画像フレームは、着目フレームに対して許容される画素値変更の候補位置と変更量とを示している。そこで、上記差画像フレームを着目フレームと同様に複数のブロックに分割し、各ブロック毎に画素値（輝度の変更量）の累積値を求め、これをブロック画素数で割ることによって、各ブロックの１画素当りの平均的な輝度変更量、すなわち、図６に示した変更容易度３２０ａを求める。
【００３８】
次に、上記差フレームの各ブロックにおいて、画素値の大きい画素（ピクセル）から順に画素を選択することによってピクセルの変更容易順序を求める（ステップ２４２）。ブロック内の二つの画素ｐ１、ｐ２に対して同一の輝度量で変更を加えた場合、もし、ｐ１の方がｐ２よりも変更容易順序が高ければ、ｐ１の方がｐ２よりも輝度変更が目立たない。
【００３９】
この状態で、着目フレームの最初のブロックに着目して（ステップ２４３）、使用規則ファイル３３から上記着目ブロックと対応する規則（テーブル３２０）を読み出し、上記規則に従って、上記ステップ２４１で既に算出してある最初のブロックの変更容易度３２０ａと対応するブロック内変更率３２０ｂを求める（ステップ２４４）。これによって、上記着目ブロック内の１２８個のピクセルのうち何ピクセルを変更するかが決まる。次に、上記着目ブロックの１２８個のピクセルの中から、ステップ２４２で求めた変更容易順序の高いものから順に、上記ブロック内変更率３２０ｂで示された個数のピクセルを選択し、変更ルーチン２５に指示する（ステップ２４５）。この後、着目フレームの全ブロックについて処理済みか否かを判定し（ステップ２４６）、全ブロックを処理済みの場合にはこのルーチンを終了し、そうでない場合は、着目フレーム内の次のブロックを着目ブロックとし（ステップ２４７）、変更率決定ステップ２４４に戻る。
【００４０】
変更ルーチン２５では、挿入情報ファイル３４を参照して上記着目ブロックに書き込むべき透かし情報を特定し、上記着目ブロック内の１２８個のピクセルのうち、上記変更箇所決定ルーチン２４から指示されたピクセルについて、上記透かし情報に対応した輝度変更を行う。
上記実施例では、ピクセルの輝度の変更量を１段階に固定し、着目ブロック内での輝度変更ピクセルの個数を変えることにより、変更量を制御している。
しかしながら、前述したように、各々のピクセルの輝度変更量を可変御することも可能である。
【００４１】
上述したように、本実施例では、動画を構成する静止画フレーム間の関係を示す動きベクトル（動画的性質）に依存して適用規則を選択し、静止画フレーム内の各ブロックに含まれる被写体の状態（静止画的性質）に依存して決まる輝度変更可能なピクセル群の中から、輝度変更すべきピクセルを上記適用規則に基づいて決定するようにしている。従って、本実施例によれば、透かし情報を挿入するための画素状態の変更位置および変更量の決定に際して、動画と静止画の両方の性質を反映させており、画質劣化を抑制し情報の耐性を向上した透かし情報の埋め込みが可能となる。
【００４２】
図８は、図６に示した規則３２０の変形例を示す。
この例では、ブロックの変更容易度３２０ａと対応して、ブロック内変更率３２０ｂの他に、ピクセル毎の輝度変更量３２０ｃを定義しておくことによって、輝度変更が目立たない動きのあるフレームでは、変更ピクセル数を増やすだけでなく、個々のピクセルの変更量も増加した形で透かし情報の埋め込めるようにしたものである。
【００４３】
図９は、本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図である。
機能ブロック２０〜２８は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２で説明した第１実施例と共通する要素には同一の符号を付してある。第１実施例では、規則集合ファイル３２に複数の規則を用意し、着目フレームの各ブロック毎に、動きベクトルに応じて適用規則を選択するようにしていたが、本実施例では、全てのブロックに対して予め使用規則ファイル３３に格納しておいた１つの規則３２０を適用する。
【００４４】
変更率１の決定ルーチン２６は、静止画間の動き検出ルーチン２２から受け取った着目フレーム内の各ブロックの動きベクトルの大きさに依存して、着目ブロック毎のブロック内変更率を決定し、その結果を変更率１ファイル３６Ａに記憶する。上記ブロック内変更率を決定は、動きベクトルが大きくなるに従って変更率が高くなるように、予め動きベクトルの大きさと変更率との関係を定義した変換テーブルを参照することによって実現できる。
【００４５】
静止画分析ルーチン２７は、図２で説明した変更個所と量の決定ルーチン２４と同様の処理によって各ブロックの変更容易度３２０ａを算出し、使用規則ファイル３３に用意された規則３２０に従って、着目ブロック内の変更率３２０ｂを決定し、その結果を変更率２ファイル３６Ｂに記憶する。
【００４６】
本実施例では、このように、同一の着目ブロックについて、動画的性質である動きベクトルに応じて決定した変更率１と、静止画的性質である変更容易度に応じて決定した変更率２のうちの一方を、変更率決定ルーチン２８によって選択する。変更率決定ルーチン２８は、例えば、輝度変更後の画質を優先するために、上記２つの変更率のうち値の小さい方を選択し、これを変更率ファイル３７に記憶する。もし、埋め込み後の透かし情報の耐性を優先したい場合は、上記２つの変更率のうち値の大きい方を選択すればよい。
【００４７】
変更個所決定ルーチン２４'は、第１実施例における変更箇所決定ルーチン２４と同様の方法で、着目ブロック内の輝度変更可能ピクセルを求め、使用規則ファイル３３の適用規則に代わって、上記変更率ファイル３７に設定された変更率を使用して、変更容易順序の高いピクセルから順に所定個数のピクセルを選択し、これを輝度変更の対象ピクセルとして変更ルーチン２５に通知する。
【００４８】
上述したように、第２の実施例は、動画的性質である動きベクトルによって決まる第１の変更率と、静止画的性質である画像状態によって決まる第２の変更率のうちの一方を選択的に適用することによって、画質劣化の抑制と情報の耐性を向上した透かし情報の埋め込みを可能としている。
【００４９】
図１０は、本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図である。
機能ブロック２０〜２９は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２、図９で説明した第１、第２実施例と共通する要素には同一の符号を付してある。
【００５０】
静止画分析ルーチン２７は、第２実施例と同様に、着目フレームの静止画的性質に基いて、各ブロック毎の変更率を決定し、変更率２ファイル３６Ｂに記憶する。変更率調整ルーチン２９は、静止画間動き検出ルーチン２２から受け取った各ブロック毎の動きベクトルに依存して、上記変更率２ファイル３６Ｂから読み出した変更率２の値を増減し、適用変更率として変更率ファイル３７に記憶する。変更箇所決定ルーチン２４'は、上記変更率ファイル３７に記憶された変更率を適用して、第２実施例と同様に輝度変更の対象ピクセルを決定し、これを変更ルーチン２５に通知する。
【００５１】
上記第３の実施例では、静止画的性質によって決まる変更率２を動画的性質である動きベクトルに応じて調整することによって、最終的な適用変更率を求め、輝度変更ピクセルを決定している。
【００５２】
以上の第１〜第３の実施例では、動画を対象とし、動画的性質と静止画的性質の両方を反映して、透かし情報の埋め込み位置を決定する情報の埋込み方法について説明したが、本発明の技術思想は、上記実施例に限定されるものではなく、例えば、静止画を対象とした透かし情報の埋め込みにおける輝度の変動と色の変動の如く、コンテンツが備える異なる２つの性質を反映して情報の埋め込み位置を決定する他の実施例、音声に代表される画像以外の他のコンテンツにも応用可能である。
また、上述した各実施例では、本発明の方法が中央処理装置２によるソフトウェア（ルーチン２０〜２９）の実行によって実現されているが、これらのソフトウエアがもつ機能の一部は専用化されたハードウェアで実現してもよい。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、コンテンツが備える複数の性質を反映して、状態の変更個所、および／または変更程度を最適化することによって、コンテンツ価値（画質、音質など）の劣化を抑制し、埋め込み情報の耐久性を高めた透かし情報の埋め込みが可能となる。また、本発明を時系列的に配列された複数の静止画フレームから構成される動画データに適用した場合、画素状態の変更個所と変更量を最適化できるため、画質の劣化を表面化することなく、耐久性のある透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【図１】本発明の電子透かし情報埋め込みを実施するためのハードウェア構成図。
【図２】本発明による電子透かし情報埋め込みの第１の実施例を示す機能ブロック図。
【図３】図２における静止画間動き検出ルーチン２２の詳細を示すフローチャート。
【図４】静止画間動き検出ルーチン２２によるブロック毎の動き検出の結果を示す図。
【図５】図２における規則選択ルーチン２３が備える規則選択の判定基準を示す図。
【図６】情報埋込み規則の１例を示す図。
【図７】図２における変更箇所決定ルーチン２４の詳細を示すフローチャート。
【図８】情報埋込み規則の他の例を示す図。
【図９】本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図。
【図１０】本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図。
【符号の説明】
１：入出力装置、２：中央処理装置、３：記憶装置、
２０：制御ルーチン、２１：入出力ルーチン、２２：静止画間動き検出ルーチン、２３：規則選択ルーチン、２４：変更箇所決定ルーチン、２５：変更ルーチン、２６：変更率１の決定ルーチン、２７：静止画分析ルーチン、
２８：変更率決定ルーチン、２９：変更率調整ルーチン、３１：動画ファイル、３２：規則集合ファイル、３３：使用規則ファイル、３４：挿入情報ファイル、３５：情報挿入動画ファイル、３６：変更率ファイル、
３７：適用変更率ファイル、２２０：動きベクトル記憶テーブル、
３２０：変更率決定規則
Claims (12)
- 透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度を求める第１ステップと、
上記コンテンツ情報から検出された第２の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度を求める第２ステップと、
上記各状態変化量に依存して求められた複数組の変更個所および変更程度の中から、透かし情報埋め込み後のコンテンツ情報または透かし情報に対する品質要求度に応じて、最適な状態変更個所と変更程度を選択する第３ステップとを有し、
上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる状態変更を加えることを特徴とする情報埋込み方法。 - 透かし情報の埋め込み対象となるコンテンツ情報を複数のブロックに分割し、前記第１、第２ステップで上記ブロック毎に前記状態変更個所および変更程度を求め、上記情報ブロック毎に一組の変更個所と変更程度を選択することを特徴とする請求項１に記載の情報埋め込み方法。
- 透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度とを求める第１ステップと、
上記コンテンツ情報から検出された上記第１の状態変化量とは異なる第２の状態変化量に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、
上記修正された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする情報埋込み方法。 - 透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、予め用意された複数の変更率指定規則のうちの１つを選択する第１ステップと、
上記コンテンツ情報から検出された第２の状態変化量に依存して、透かし情報の埋め込みに適した該コンテンツ情報の状態変更箇所候補を求める第２ステップと、
上記状態変更箇所候補の中から、上記第１ステップで選択された変更率指定規則が指定する変更率に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、
上記選択された変更箇所で上記コンテンツ情報の状態を変更することを特徴とする情報埋込み方法。 - 前記コンテンツ情報を複数のブロックに分割し、前記第１ステップで上記情報ブロック毎に前記複数の変更率指定規則のうちの１つを選択して、前記第２ステップで上記情報ブロック毎に前記変更個所候補を求め、前記第３ステップで上記ブロック毎に上記選択された変更率指定規則に従った変更箇所の選択を行うことを特徴とする請求項４に記載の情報埋め込み方法。
- 前記複数の変更率指定規則が、前記コンテンツ情報の変更の容易度と変更率との関係を定義しており、前記第３ステップにおいて、前記第２ステップで求められた変更箇所候補に基いて上記コンテンツ情報の変更容易度の値を算出し、上記変更箇所候補の中から、前記選択された変更率指定規則が示す上記算出された変更容易度と対応する変更率に従った個数の変更箇所を選択することを特徴とする請求項４または請求項５に記載の情報埋め込み方法。
- 複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
処理対象となる静止画フレームから検出された画素間の状態変化に依存して画素状態の変更個所と変更程度を求める第１ステップと、
上記処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された被写体の動き量に依存して、該処理対象となる静止画フレームの画素状態の変更個所と変更程度を求める第２ステップと、
上記第１、第２ステップで求めた画素状態の変更個所と変更程度の中から、透かし情報埋め込み後の画質または透かし情報に対する品質要求に応じて、上記静止画フレームに適用する画素状態の変更個所と変更程度の組を選択する第３ステップとを有し、
上記選択された変更箇所と変更程度に従って、上記処理対象となる静止画フレームに透かし情報となる画素の変更を加えることを特徴とする情報埋込み方法。 - 前記各静止画フレームを複数の画像ブロックに分割し、各画像ブロック毎に前記第１、第２、第３ステップを実行することを特徴とする請求項７に記載の情報埋め込み方法。
- 複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
上記各静止画フレームから検出された画素間の状態変化に依存して画素状態の変更個所と変更程度とを求める第１ステップと、
上記静止画フレーム間の関係から求まる被写体の動き量に依存して、上記第１ステップで求めた画素状態の変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、
上記修正された変更箇所と変更程度に従って、上記静止画フレームに透かし情報となる画素変更を加えることを特徴とする情報埋込み方法。 - 複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された被写体の動き量に依存して、予め用意された複数の変更率指定規則のうちの１つを選択する第１ステップと、
上記処理対象となる静止画フレームから検出される画素間の状態変化に依存して、該静止画フレームにおける画素状態の変更箇所候補を求める第２ステップと、
上記変更箇所候補の中から、上記第１ステップで選択された変更率指定規則が指定する変更率に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、
上記選択された変更箇所で上記静止画フレームの画素状態を変更することを特徴とする情報埋込み方法。 - 前記各静止画フレームを複数の画像ブロックに分割し、画像ブロック毎に前記複数の変更率指定規則のうちの１つを選択して、上記画像ブロック毎に前記変更個所候補を求め、上記選択された変更率指定規則に従った変更箇所の選択を行うことを特徴とする請求項１０に記載の情報埋め込み方法。
- 透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、上記コンテンツ情報の少なくとも２つの状態変化量に着目して、それぞれの状態変化量に依存した画素状態の変更個所と変更程度を求めるための手段と、
上記各状態変化量に基づいて求められた複数組の変更個所および変更程度の中から、予め指定された選択基準に従って上記コンテンツ情報または透かし情報に最適な一組の変更個所と変更程度を選択するための手段と、
上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えるための手段とを有することを特徴とする情報埋込み装置。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34388898A JP3698901B2 (ja) | 1998-12-03 | 1998-12-03 | 情報埋込み方法および装置 |
| AU61792/99A AU735422C (en) | 1998-12-03 | 1999-11-30 | Control method and apparatus for embedding information in data |
| EP99123774A EP1006730A3 (en) | 1998-12-03 | 1999-11-30 | Method and apparatus for information embedding in image data |
| CA 2291383 CA2291383C (en) | 1998-12-03 | 1999-11-30 | Control method and apparatus for embedding information in data |
| SG9906085A SG80664A1 (en) | 1998-12-03 | 1999-12-01 | Control method and apparatus for embedding information in data |
| TW88121096A TW455759B (en) | 1998-12-03 | 1999-12-02 | Method and apparatus for information embedding in image data |
| KR10-1999-0054383A KR100384959B1 (ko) | 1998-12-03 | 1999-12-02 | 데이터에의 정보 매립 방법과 장치, 콘텐츠 정보 저장용 기록 매체, 및 컴퓨터 판독가능한 기록 매체 |
| RU99125763A RU2219582C2 (ru) | 1998-12-03 | 1999-12-02 | Способ и устройство для встраивания информации, носитель данных |
| CNB991277236A CN1196329C (zh) | 1998-12-03 | 1999-12-03 | 数据中的信息嵌入控制方法及装置 |
| US09/453,578 US6711276B1 (en) | 1998-12-03 | 1999-12-03 | Control method and apparatus for embedding information in data |
| HK01101539A HK1030706A1 (en) | 1998-12-03 | 2001-03-02 | Control method and apparatus for embedding information in data. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34388898A JP3698901B2 (ja) | 1998-12-03 | 1998-12-03 | 情報埋込み方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175019A JP2000175019A (ja) | 2000-06-23 |
| JP3698901B2 true JP3698901B2 (ja) | 2005-09-21 |
Family
ID=18365022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34388898A Expired - Fee Related JP3698901B2 (ja) | 1998-12-03 | 1998-12-03 | 情報埋込み方法および装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US6711276B1 (ja) |
| EP (1) | EP1006730A3 (ja) |
| JP (1) | JP3698901B2 (ja) |
| KR (1) | KR100384959B1 (ja) |
| CN (1) | CN1196329C (ja) |
| CA (1) | CA2291383C (ja) |
| HK (1) | HK1030706A1 (ja) |
| RU (1) | RU2219582C2 (ja) |
| SG (1) | SG80664A1 (ja) |
| TW (1) | TW455759B (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6229924B1 (en) | 1996-05-16 | 2001-05-08 | Digimarc Corporation | Method and apparatus for watermarking video images |
| AU3907900A (en) * | 1999-04-06 | 2000-10-23 | Kwan Software Engineering, Inc. | System and method for digitally marking a file with a removable mark |
| US7366907B1 (en) * | 1999-10-29 | 2008-04-29 | Sony Corporation | Information processing device and method and program storage medium |
| JP2001358935A (ja) * | 2000-06-16 | 2001-12-26 | Sharp Corp | 電子情報埋込み装置および電子情報埋込みプログラムを記録したコンピュータ読取可能な記録媒体 |
| JP3587168B2 (ja) * | 2001-01-23 | 2004-11-10 | 日本ビクター株式会社 | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 |
| US7043051B2 (en) * | 2001-02-21 | 2006-05-09 | Lg Electronics Inc. | Proprietary watermark system for secure digital media and content distribution |
| US20040125130A1 (en) * | 2001-02-26 | 2004-07-01 | Andrea Flamini | Techniques for embedding custom user interface controls inside internet content |
| US7058201B2 (en) * | 2001-03-28 | 2006-06-06 | Lg Electronics Inc. | Method of embedding watermark into digital image |
| KR100493284B1 (ko) * | 2001-05-11 | 2005-06-03 | 엘지전자 주식회사 | 디지털 미디어의 복제 제어 방법 및 시스템 |
| JP3861624B2 (ja) * | 2001-06-05 | 2006-12-20 | ソニー株式会社 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
| JP3861623B2 (ja) * | 2001-06-05 | 2006-12-20 | ソニー株式会社 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
| US7392392B2 (en) * | 2001-12-13 | 2008-06-24 | Digimarc Corporation | Forensic digital watermarking with variable orientation and protocols |
| US7392394B2 (en) * | 2001-12-13 | 2008-06-24 | Digimarc Corporation | Digital watermarking with variable orientation and protocols |
| US7567721B2 (en) * | 2002-01-22 | 2009-07-28 | Digimarc Corporation | Digital watermarking of low bit rate video |
| DE10211982B4 (de) * | 2002-03-18 | 2004-05-06 | Mediasec Technologies Gmbh | Verfahren zur Markierung eines Datensatzes |
| US7424128B2 (en) * | 2002-04-10 | 2008-09-09 | Pioneer Corporation | Electronic watermark embedding apparatus, electronic watermark embedding method, record medium having electronic watermark and manufacturing method of record medium |
| US7606388B2 (en) * | 2002-05-14 | 2009-10-20 | International Business Machines Corporation | Contents border detection apparatus, monitoring method, and contents location detection method and program and storage medium therefor |
| JP2004064582A (ja) * | 2002-07-31 | 2004-02-26 | Hitachi Ltd | 放送コンテンツ著作権保護システム |
| US7577841B2 (en) * | 2002-08-15 | 2009-08-18 | Digimarc Corporation | Watermark placement in watermarking of time varying media signals |
| US20040064702A1 (en) * | 2002-09-27 | 2004-04-01 | Yu Hong Heather | Methods and apparatus for digital watermarking and watermark decoding |
| JP4023324B2 (ja) | 2003-02-04 | 2007-12-19 | 株式会社日立製作所 | 透かし埋め込み及び画像圧縮部 |
| US8812852B2 (en) | 2003-03-19 | 2014-08-19 | Sony Corporation | Method and system for marking digital content |
| KR100948381B1 (ko) * | 2003-05-15 | 2010-03-22 | 삼성전자주식회사 | 인간시각시스템을 이용한 영상 워터마킹 방법 |
| US7446891B2 (en) * | 2003-11-24 | 2008-11-04 | Pitney Bowes Inc. | Fragile watermark for detecting printed image copies |
| US7657750B2 (en) * | 2003-11-24 | 2010-02-02 | Pitney Bowes Inc. | Watermarking method with print-scan compensation |
| US7995246B2 (en) * | 2003-11-24 | 2011-08-09 | Pitney Bowes Inc. | Detecting printed image copies using phase-space-encoded fragile watermark |
| TWI288873B (en) * | 2004-02-17 | 2007-10-21 | Mitsubishi Electric Corp | Method for burying watermarks, method and device for inspecting watermarks |
| US20060020802A1 (en) * | 2004-07-23 | 2006-01-26 | Pitney Bowes Incorporated | Tonal compensation for graphic security features |
| US7551751B2 (en) * | 2004-08-30 | 2009-06-23 | Pitney Bowes Inc. | Watermarking images with wavepackets encoded by intensity and/or phase variations |
| US7643181B2 (en) * | 2004-12-14 | 2010-01-05 | Pitney Bowes Inc. | Method and system for printing an original image and for determining if a printed image is an original or has been altered |
| FR2887389A1 (fr) * | 2005-06-21 | 2006-12-22 | Thomson Licensing Sa | Appareil et procede d'affichage d'images |
| FR2890517A1 (fr) * | 2005-09-08 | 2007-03-09 | Thomson Licensing Sas | Procede et dispositif d'affichage d'images |
| JP2009518945A (ja) | 2005-12-05 | 2009-05-07 | トムソン ライセンシング | ウォーターマークエンコードコンテンツ |
| CA2692456C (en) | 2007-06-29 | 2015-12-01 | Thomson Licensing | Volume marking with low-frequency |
| JP5493709B2 (ja) | 2009-03-13 | 2014-05-14 | 株式会社リコー | 映像編集装置 |
| CN108024114B (zh) * | 2017-11-23 | 2020-01-14 | 华南理工大学 | 一种基于标志位参数修改的大容量无损hevc信息隐藏方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2906202B2 (ja) | 1993-03-31 | 1999-06-14 | 日立ソフトウエアエンジニアリング株式会社 | 文字図形入力方法 |
| US5659726A (en) * | 1995-02-23 | 1997-08-19 | Sandford, Ii; Maxwell T. | Data embedding |
| AU2435297A (en) * | 1996-04-02 | 1997-11-07 | Theodore G Handel | Data embedding |
| US5970140A (en) * | 1996-05-08 | 1999-10-19 | The Regents Of The University Of California | Modular error embedding |
| KR100449354B1 (ko) | 1996-07-16 | 2005-08-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 정보신호내에삽입된워터마크검출방법및장치 |
| US5848155A (en) | 1996-09-04 | 1998-12-08 | Nec Research Institute, Inc. | Spread spectrum watermark for embedded signalling |
| JP3686741B2 (ja) * | 1997-02-19 | 2005-08-24 | 富士通株式会社 | 画像データへの識別情報埋め込み方法，識別情報が埋め込まれた画像データからの識別情報抽出方法，画像データへの識別情報埋め込み装置，識別情報が埋め込まれた画像データからの識別情報抽出装置，及びコンピュータ可読媒体 |
| JPH10290456A (ja) | 1997-04-14 | 1998-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法及び装置 |
| JPH10290406A (ja) | 1997-04-16 | 1998-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 説明表示方法及び画面表示システム及び画面表示端末 |
| US5960081A (en) * | 1997-06-05 | 1999-09-28 | Cray Research, Inc. | Embedding a digital signature in a video sequence |
| EP0901274B1 (en) * | 1997-09-03 | 2004-04-07 | Hitachi, Ltd. | Method and system for embedding information into contents |
-
1998
- 1998-12-03 JP JP34388898A patent/JP3698901B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-30 EP EP99123774A patent/EP1006730A3/en not_active Withdrawn
- 1999-11-30 CA CA 2291383 patent/CA2291383C/en not_active Expired - Fee Related
- 1999-12-01 SG SG9906085A patent/SG80664A1/en unknown
- 1999-12-02 TW TW88121096A patent/TW455759B/zh not_active IP Right Cessation
- 1999-12-02 RU RU99125763A patent/RU2219582C2/ru not_active IP Right Cessation
- 1999-12-02 KR KR10-1999-0054383A patent/KR100384959B1/ko not_active IP Right Cessation
- 1999-12-03 US US09/453,578 patent/US6711276B1/en not_active Expired - Lifetime
- 1999-12-03 CN CNB991277236A patent/CN1196329C/zh not_active Expired - Fee Related
-
2001
- 2001-03-02 HK HK01101539A patent/HK1030706A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000052403A (ko) | 2000-08-25 |
| KR100384959B1 (ko) | 2003-05-22 |
| EP1006730A2 (en) | 2000-06-07 |
| CN1196329C (zh) | 2005-04-06 |
| EP1006730A3 (en) | 2004-12-08 |
| SG80664A1 (en) | 2001-05-22 |
| TW455759B (en) | 2001-09-21 |
| CA2291383C (en) | 2004-01-20 |
| CN1270474A (zh) | 2000-10-18 |
| RU2219582C2 (ru) | 2003-12-20 |
| AU735422B2 (en) | 2001-07-05 |
| US6711276B1 (en) | 2004-03-23 |
| HK1030706A1 (en) | 2001-05-11 |
| AU6179299A (en) | 2000-06-15 |
| CA2291383A1 (en) | 2000-06-03 |
| JP2000175019A (ja) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3698901B2 (ja) | 情報埋込み方法および装置 | |
| US10158893B2 (en) | Selective degradation of videos containing third-party content | |
| JP4621733B2 (ja) | イメージを見てエンハンスする方法及びシステム | |
| US6782143B1 (en) | Method and apparatus for processing an image | |
| KR20000076565A (ko) | 다수의 영상 사이의 유사도 레벨을 결정하기 위한 시스템및 방법과, 그러한 결정을 인에이블하기 위한 세그먼트데이터 구조 | |
| US20080075388A1 (en) | Image data reproducing apparatus, method of controlling same and control program therefor | |
| CN109949199B (zh) | 基于二维预测误差直方图自适应扩展的可逆信息隐藏方法 | |
| KR100746839B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| JP2004289783A (ja) | 二値画像用電子透かし方法 | |
| KR100332033B1 (ko) | 콘텐츠에의 정보 매립 방법 및 시스템 | |
| JP4541632B2 (ja) | 電子透かし埋め込み装置、その方法及び記録媒体 | |
| US20080278629A1 (en) | Image quality adjustment device and image quality adjustment method | |
| US6480632B2 (en) | Method and apparatus to interpolate video frames | |
| US7873226B2 (en) | Image encoding apparatus | |
| JP2008046608A (ja) | ビデオウィンドウ検出器 | |
| JP5270674B2 (ja) | ウォーターマークデータの挿入のためにデータを処理する方法、データソースに埋め込まれたウォーターマークデータを検出する方法、ウォーターマークデータの埋め込み処理により生成された検出データを使用して、データソースに埋め込まれたウォーターマークデータを検出する方法、データソースに埋め込まれたウォーターマークを検出する装置及びプログラム記憶媒体 | |
| JP2004048219A (ja) | 電子透かし情報の挿入方法 | |
| JP3570236B2 (ja) | 画像処理方法およびそのプログラムが記憶された記憶媒体 | |
| JP3628564B2 (ja) | 帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体 | |
| EP1487194B1 (en) | Method of real-time correction of non-functioning pixels in digital radiography | |
| KR20010007261A (ko) | 영상 처리 장치, 영상 처리 방법 및 저장 매체 | |
| US8077926B2 (en) | Method of motion detection using adaptive threshold | |
| US20010054145A1 (en) | Digital information embedding device embedding digital watermark information in exact digital content, computer-readable recording medium having digital information embedding program recorded therein, and method of embedding digital information | |
| JP2001061055A (ja) | 情報埋込み方法及び装置 | |
| JPH07193812A (ja) | 画像圧縮装置および画像圧縮方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050706 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |