JP2004023633A - Information embedding apparatus and information extracting apparatus - Google Patents

Information embedding apparatus and information extracting apparatus Download PDF

Info

Publication number
JP2004023633A
JP2004023633A JP2002178509A JP2002178509A JP2004023633A JP 2004023633 A JP2004023633 A JP 2004023633A JP 2002178509 A JP2002178509 A JP 2002178509A JP 2002178509 A JP2002178509 A JP 2002178509A JP 2004023633 A JP2004023633 A JP 2004023633A
Authority
JP
Japan
Prior art keywords
dct coefficient
dimensional dct
coefficient matrix
blocks
digital information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002178509A
Other languages
Japanese (ja)
Other versions
JP4020302B2 (en
Inventor
Hiromatsu Aoki
青木　博松
Masao Hiramoto
平本　政夫
Hitoshi Hayashi
仁 林
Masahiko Inakage
稲蔭　正彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Panasonic Holdings Corp
Original Assignee
Keio University
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University, Matsushita Electric Industrial Co Ltd filed Critical Keio University
Priority to JP2002178509A priority Critical patent/JP4020302B2/en
Publication of JP2004023633A publication Critical patent/JP2004023633A/en
Application granted granted Critical
Publication of JP4020302B2 publication Critical patent/JP4020302B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus which embeds and extracts information into/from MPEG-encoded moving image data at high speed while suppressing quality deterioration to a minimum and which does not erase the information but maintains it even in geometrical processing. <P>SOLUTION: An MPEG data input control part 120 extracts only an I picture frame and sends it to a decoding part 150. The decoding part 150 decodes the I picture frame and finds a two-dimensional DCT coefficient matrix group. An embedding matrix selecting part 113 divides the two-dimensional DCT coefficient matrix group into a plurality of blocks while defining a plurality of adjacent two-dimensional DCT coefficient matrixes as one block. An embedding part 140 changes the components of the two-dimensional DCT coefficient matrixes included in the plurality of mutually adjacent blocks and determines a relative relationship between the blocks. The digital information is defined by the relative relations between the adjacent blocks. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ中に別な情報を視覚的にわからないように埋め込む電子透かし技術に関し、より特定的には、画像データの周波数成分に情報を埋め込む電子透かし技術に関する。
【０００２】
【従来の技術】
近年、コンピュータの高性能化、低価格化が急激に進行したのに加え、記録メディアの大容量化、インターネットの爆発的普及等の要因が重なり、誰もが容易にデジタル画像、デジタル映像をパソコンに取り込み、流通させることができるようになってきた。一方、産業界においても、デジタル放送が開始され、また、インターネットのブロードバンド化にともない、デジタル映像やデジタル音声の家庭への配信事業が開始される等、コンテンツ・ビジネスへの注目度が急速に高まっている。
【０００３】
このような情勢の下、映画産業においても、コンテンツの制作から保存まで、すべてをデジタル化し、ブロードバンドインターネット経由で映画館や家庭に配信する動きが出てきている（「デジタルシネマ」，映像情報メディア学会誌，Ｖｏｌ．５５，Ｎｏ．７（２００１−７））。
【０００４】
デジタル・データには、品質劣化しないという特徴があるため、不正に二次利用される場合がある。特に、著作物としての価値が高いものほど、その危険性は高い。実際、音楽業界においては、不正コピーによるＣＤ売上減少が指摘されており、これまでのビジネス構造の根幹を揺るがす大きな問題となっている。デジタルシネマにおいても、本質的に同じ問題を内包しており、コンテンツの不正利用をいかに防ぐかが大きな課題になっている。この問題を解決するための手段として注目されているのが、画像データ中に視覚的にわからないようにＩＤ等のデジタル情報を埋め込む電子透かし技術である。
【０００５】
動画にＩＤ等のデジタル情報を埋め込む場合、非圧縮の動画像データにデジタル情報を埋め込むのが現在の主流である（例えば、荒木他：「ウェーブレット変換を用いた動画像向け電子透かし方式」，映像情報メディア学会誌，Ｖｏｌ．５４，Ｎｏ．１１（２０００−１１））。
【０００６】
【発明が解決しようとする課題】
デジタルシネマにおいては、従来の放送よりも高い品質の画像が求められるため、映像は、必然的に高解像度（例えば１９２０×１０８０）になる。そのデータ量は膨大であるので、通常、画像データは、ＭＰＥＧ等の圧縮符号化を施した後に保存、配信される。したがって、デジタルシネマ・コンテンツは、圧縮された状態で保存されることとなる。
【０００７】
そのため、非圧縮画像にデジタル情報を埋め込む方式では、ＭＰＥＧ符号化された動画像データをいったん復号して非圧縮データにし、この非圧縮データに対してデジタル情報を埋め込むこととなる。また、情報抽出の際、この方式では、ＭＰＥＧ符号化された動画像データをいったん復号して非圧縮データにし、この非圧縮データから情報を抽出することとなる。したがって、この方式では、情報の埋め込み・抽出の際、再度の復号化および符号化を要することとなるので、埋め込み・抽出の処理に時間がかかるという問題がある。さらに、この方式では、デジタル情報の埋め込みによる画質劣化の他、ＭＰＥＧ再符号化処理による画質劣化も発生する。
【０００８】
それゆえ、本発明の第１の目的は、ＭＰＥＧ符号化された動画データに対し、品質劣化を最小限に抑えつつ、かつ高速に情報の埋め込みおよび抽出を行なうことができる装置を提供することである。
【０００９】
上記目的を達成するために、ＭＰＥＧ信号に電子透かし情報を直接埋め込む手法が存在する。その代表例は、画像の動きベクトルを操作することにより、情報を埋め込む方式や、ＤＣＴ係数行列における交流成分の係数（ＡＣ係数）を操作することによって情報を埋め込む方式である。
【００１０】
しかし、動きベクトルを操作する方式では、再符号化処理により、簡単にデジタル情報が除去されるという問題がある。また、ＡＣ係数を操作する方式では、画像データの幾何学的変換により、デジタル情報が除去されてしまうという問題がある。
【００１１】
それゆえ、本発明の第２の目的は、解像度変換や回転変換など通常の画像処理で起こりうる幾何学的処理に対しても情報が消失せず残るように、情報を埋め込む装置を提供することである。
【００１２】
【課題を解決するための手段および発明の効果】
第１の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための装置であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出する静止画フレーム抽出手段と、
静止画フレーム抽出手段が抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
埋め込むべきデジタル情報に基づいて、分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定める行列成分変化手段と、
行列成分変化手段によって周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする。
【００１３】
上記第１の発明によれば、圧縮符号化された動画データ中、静止画フレームのみを復号化してデジタル情報を埋め込み、この静止画フレームのみを符号化するので、全てのフレームを復号化、符号化する必要がない。したがって、高速に電子透かし情報を埋め込むことが可能な情報埋め込み装置が提供できる。また、全てのフレームを再復号化しなくてよいので、デジタル情報の埋め込みによる画質劣化を最低限に抑えることができる。また、互いに隣接するブロックに含まれる複数の２次元ＤＣＴ係数行列の成分を変化させることによって、ブロック間の相対関係を決め、デジタル情報を定義することとなる。したがって、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなり、埋め込んだ情報が除去されにくいという効果が生まれる。
【００１４】
第２の発明は、第１の発明において、動画像データは、ＭＰＥＧ方式による動画像データであり、静止画フレームは、Ｉピクチャフレームである。
【００１５】
上記第２の発明によれば、広く用いられているＭＰＥＧ動画データに応用することが可能となり、著作権の保護など、実用面において、非常に有効である。
【００１６】
第３の発明は、第１の発明において、行列成分変化手段は、
２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて、ブロックの画像的な特徴を示す特徴量を算出する特徴量算出手段と、
特徴量算出手段が算出した特徴量に基づいて、ブロックに含まれる２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定する修正値決定手段と、
埋め込むべきデジタル情報に基づいて、ＤＣ成分修正値をＤＣ成分に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分を変化させるＤＣ成分変化手段とを含み、
デジタル情報は、隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定義されていることを特徴とする。
【００１７】
上記第３の発明によれば、画像的な特徴を示す特徴量に基づいて、隣接するブロック上のＤＣ成分を変化させることとなるので、画質劣化をさらに抑圧することが可能となる。
【００１８】
第４の発明は、第３の発明において、特徴量算出手段は、２次元ＤＣＴ係数行列の周波数成分（ｕ，ｖ）に対して、ｕ＝０またはｖ＝０とならない周波数成分をＫ種類の周波数成分とし、２次元ＤＣＴ係数行列に含まれるＫ種類の周波数成分における各成分の絶対値の和を特徴量として算出することを特徴とする。
【００１９】
上記第４の発明によれば、ｕ＝０またはｖ＝０となる周波数以外の周波数成分をＫ種類の周波数成分とし、エッジに関する周波数成分を考慮せずに特徴量を算出してＤＣ成分を変化させるので、画質劣化をさらに抑圧することが可能となる。
【００２０】
第５の発明は、第３の発明において、修正値決定手段は、特徴量があるしきい値以上の場合のＤＣ成分修正値を、特徴量が当該しきい値未満の場合のＤＣ成分修正値よりも大きな値とすることを特徴とする。
【００２１】
特徴量があるしきい値以上である場合、複雑な領域であることを意味する。複雑な領域では、複雑でない領域に比べＤＣ成分を大きく変化させることとなるが、複雑な領域でのＤＣ成分の変化は、視覚的には影響が少ない。
上記第５の発明によれば、複雑な領域では、ＤＣ成分の変化を大きくしているので、幾何学的変換が施されてもデジタル情報が残りやすくなる。
【００２２】
第６の発明は、第３の発明において、１ビットの情報を埋め込む場合において、ＤＣ成分変化手段は、互いに隣接する二つのブロックを選択し、一方のブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加算し、一方のブロックにおける２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を減算して、埋め込みビットに応じてＤＣ成分の大小関係を定める。
【００２３】
上記第６の発明によれば、１ビットの埋め込みに隣接する二つのブロックを用いることとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタル情報が残りやすくなる。
【００２４】
第７の発明は、第３の発明において、行列成分変化手段は、さらに、
特徴量算出手段が算出した特徴量に基づいて、ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
埋め込むべきデジタル情報に基づいて、修正行列を２次元ＤＣＴ係数行列に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列の特徴値を変化させる特徴量変化手段とを含み、
デジタル情報は、さらに、隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によっても定義されていることを特徴とする。
【００２５】
上記第７の発明によれば、さらにＤＣ成分以外の周波数成分を変化させて、隣接するブロックにおける特徴量の大小関係によってデジタル情報を定義する。したがって、ＤＣ成分の変化によるデジタル情報の埋め込みに加え、ＤＣ成分以外の周波数成分の変化によるデジタル情報の埋め込みも行われることとなるので、埋め込むことができる情報量を増やすことが可能となる。また、画像的な特徴を示す特徴量に基づいて、隣接するブロック上のＤＣ成分以外の周波数成分を変化させることとなるので、画質劣化をさらに抑圧することが可能となる。
【００２６】
第８の発明は、第１の発明において、行列成分変化手段は、
２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて、ブロックの画像的な特徴を示す特徴量を算出する特徴量算出手段と、
特徴量算出手段が算出した特徴量に基づいて、ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
埋め込むべきデジタル情報に基づいて、修正行列を２次元ＤＣＴ係数行列に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列の特徴値を変化させる特徴量変化手段とを含み、
デジタル情報は、隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によって定義されていることを特徴とする。
【００２７】
上記第８の発明によれば、画像的な特徴を示す特徴量に基づいて、隣接するブロック上のＤＣ成分以外の周波数成分を変化させることとなるので、画質劣化をさらに抑圧することが可能となる。
【００２８】
第９の発明は、第７または８の発明において、修正行列決定手段によって決定される修正行列は、特徴量があるしきい値未満の場合、修正行列上、幾何学的処理による影響が少ない周波数成分に値が設定されており、特徴量があるしきい値以上の場合、修正行列上、幾何学的処理による影響が少ない周波数成分に、あるしきい値未満の場合における値よりも大きな値が設定されている。
【００２９】
特徴量があるしきい値以上である場合、複雑な領域であることを意味する。複雑な領域では、複雑でない領域に比べＤＣ成分以外の周波数成分を大きく変化させることとなるが、複雑な領域でのこの周波数成分の変化は、視覚的には影響が少ない。
上記第９の発明によれば、複雑な領域では、ＤＣ成分以外の周波数成分の変化を大きくしているので、幾何学的変換が施されてもデジタル情報が残りやすくなる。
【００３０】
第１０の発明は、第７または８の発明において、１ビットの情報を埋め込む場合において、特徴量変化手段は、互いに隣接する二つのブロックを選択し、一方のブロック上における２次元ＤＣＴ係数行列に修正行列を加算し、一方のブロック上における２次元ＤＣＴ係数行列に修正行列を減算して、埋め込みビットに応じて特徴量の大小関係を定める。
【００３１】
上記第１０の発明によれば、１ビットの埋め込みに隣接する二つのブロックを用いることとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタルデータが残りやすくなる。
【００３２】
第１１の発明は、第１の発明において、行列成分変化手段は、２次元ＤＣＴ係数行列郡中、周波数成分を変化させてデジタル情報を埋め込む２次元ＤＣＴ係数行列と、成分を変化させて幾何学的回転に対抗するための情報を埋め込む２次元ＤＣＴ係数行列とを区別し、デジタル情報を埋め込む２次元ＤＣＴ係数行列に基づくブロック間の相対関係によってデジタル情報を定義することを特徴とする。
【００３３】
上記第１１の発明によれば、幾何学的回転に対抗するためのキャリブレーション用の情報が埋め込まれることとなるので、回転等の幾何学変換が行われたとしても、このキャリブレーション用の情報を参照して、ブロックを正しい位置に戻すことができる。したがって、正しい位置に戻ったブロックからデジタル情報を取り出すことが可能となる。
【００３４】
第１２の発明は、複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するための装置であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出する静止画フレーム抽出手段と、
静止画フレーム抽出手段が抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
分割手段によって得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するデジタル情報抽出手段とを備える。
【００３５】
上記第１２の発明によれば、静止画フレームのみを復号化してデジタル情報を抽出することとなるので、抽出に要する処理を高速に行うことが可能となる。また、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列の成分の相対関係によってデジタル情報を定義することとなるので、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなる。したがって、幾何学的変換が施されたとしても、埋め込まれている情報を抽出することができる情報抽出装置が提供できる。
【００３６】
第１３の発明は、第１２の発明において、動画像データは、ＭＰＥＧ方式による動画像データであり、静止画フレームは、Ｉピクチャフレームである。
【００３７】
上記第１３の発明によれば、広く用いられているＭＰＥＧ動画データに応用することが可能となり、著作権の保護など、実用的面において、非常に有効である。
【００３８】
第１４の発明は、第１２の発明において、デジタル情報抽出手段は、隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分の大小関係に基づいて、１ビットの情報を抽出する。
【００３９】
上記第１４の発明によれば、隣接する二つのブロックを用いて１ビットの埋め込みを判断することとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタル情報が残り、抽出できる。
【００４０】
第１５の発明は、第１２の発明において、デジタル情報抽出手段は、２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて特徴量を算出し、隣接する二つのブロックにおける特徴量の大小関係に基づいて１ビットの情報を抽出する。
【００４１】
上記第１５の発明によれば、隣接する二つのブロックを用いて１ビットの埋め込みを判断することとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタル情報が残り、抽出できる。
【００４２】
第１６の発明は、圧縮符号化された静止画にデジタル情報を埋め込むための装置であって、
静止画を復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
埋め込むべきデジタル情報に基づいて、分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定める行列成分変化手段と、
行列成分変化手段によって周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする。
【００４３】
上記第１６の発明によれば、互いに隣接するブロックに含まれる複数の２次元ＤＣＴ係数行列の成分を変化させることによって、ブロック間の相対関係を決め、デジタル情報を定義することとなる。したがって、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなり、埋め込んだ情報が除去されにくいという効果が生まれる。
【００４４】
第１７の発明は、圧縮符号化された静止画に埋め込まれたデジタル情報を抽出するための装置であって、
静止画を復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
分割手段によって得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するデジタル情報抽出手段とを備える。
【００４５】
上記第１７の発明によれば、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列の成分の相対関係によってデジタル情報を定義することとなるので、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなる。したがって、幾何学的変換が施されたとしても、埋め込まれている情報を抽出することができる情報抽出装置が提供できる。
【００４６】
第１８の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための方法であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
埋め込むべきデジタル情報に基づいて、分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定めるステップと、
周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする。
【００４７】
上記第１８の発明による効果は、第１の発明の効果と同様である。
【００４８】
第１９の発明は、複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するための方法であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するステップとを備える。
【００４９】
上記第１９の発明による効果は、第１２の発明の効果と同様である。
【００５０】
第２０の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むためコンピュータ装置で実行されるプログラムであって、他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
埋め込むべきデジタル情報に基づいて、分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定めるステップと、
周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする。
【００５１】
上記第２０の発明による効果は、第１の発明の効果と同様である。
【００５２】
第２１の発明は、複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するためのコンピュータ装置で実行されるプログラムであって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するステップとを備える。
【００５３】
上記第２１の発明による効果は、第１２の発明の効果と同様である。
【００５４】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報埋め込み装置１００の構成を示す図である。図１において、情報埋め込み装置１００は、ＭＰＥＧデータ入力制御部１２０と、ＭＰＥＧデータ出力制御部１３０と、埋め込み部１４０と、復号化部１５０と、符号化部１６０と、埋め込み行列選択部１１３と、特徴量算出部１１４と、埋め込み情報入力制御部１１９と、修正値定義部１７０とを備える。復号化部１５０は、可変長符号復号化部１１１と、逆量子化部１１２とを含む。埋め込み部１４０は、ＤＣ成分修正部１１５と、特徴量修正部１１６とを含む。符号化部１６０は、量子化部１１７と、可変長符号符号化部１１８とを含む。
【００５５】
ＭＰＥＧデータ入力制御部１２０は、デジタル情報（以下、埋め込みデータという）が埋め込まれる前のＭＰＥＧデータを読み込む。ＭＰＥＧデータ入力制御部１２０は、ＭＰＥＧデータ中、Ｉピクチャフレームを可変長符号復号化部１１１に与え、ＢおよびＰピクチャフレームをＭＰＥＧデータ出力部１３０に与える。埋め込み情報入力制御部１１９は、埋め込みデータを読み込む。ＭＰＥＧデータ出力制御部１３０は、埋め込みデータが埋め込まれたＭＰＥＧデータを出力する。
【００５６】
可変長符号復号化部１１１は、ＭＰＥＧデータ入力制御部１２０が読み込んだＭＰＥＧデータの内、Ｉピクチャフレームのみを可変長復号化して出力する。逆量子化部１１２は、可変長符号復号化部１１１が出力したデータを逆量子化して出力する。埋め込み行列選択部１１３は、逆量子化部１１２が出力したデータを８×８単位に分割して複数の２次元ＤＣＴ係数行列を求め、それを２次元ＤＣＴ係数行列群とする。さらに、埋め込み行列選択部１１３は、２次元ＤＣＴ係数行列群の中から埋め込みデータを埋め込むべき２次元ＤＣＴ係数行列を選択する。
【００５７】
特徴量算出部１１４は、埋め込み行列選択部１１３が選択した２次元ＤＣＴ係数行列におけるエッジ成分を除いたＡＣ成分に基づいて、２次元ＤＣＴ係数行列の特徴量を算出する。ここでエッジ成分とは、２次元ＤＣＴ係数行列の周波数成分を（ｕ，ｖ）とした場合、ｕ＝０またはｖ＝０となる周波数成分のことをいう。特徴量は、２次元ＤＣＴ係数行列によって得られる８×８画素の画像上の複雑さを示す量である。特徴量については、後で詳述する。
【００５８】
修正値定義部１７０には、特徴量と対応して、２次元ＤＣＴ係数行列におけるＤＣ成分の修正値（以下、ＤＣ成分修正値という）およびエッジ成分を除いたＡＣ成分の修正行列（以下、ＡＣ成分修正行列という）が定義されている。ＤＣ成分修正値およびＡＣ成分修正行列は、予め実験的に求めておき、修正値定義部１７０に登録しておく。ＤＣ成分修正値およびＡＣ成分修正行列については、後で詳述する。
【００５９】
ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、特徴量算出部１１４が算出した特徴量に対応するＤＣ成分修正値を取得する。さらに、ＤＣ成分修正部１１５は、２次元ＤＣＴ係数行列群を複数のブロックに分割し、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分にＤＣ成分修正値を加算または減算する。ＤＣ成分修正部１１５は、ＤＣ成分が変化された２次元ＤＣＴ係数行列群を特徴量修正部１１６に送る。
【００６０】
特徴量修正部１１６は、修正値定義部１７０を参照して、特徴量算出部１１４が算出した特徴量に対応するＡＣ成分修正行列を取得する。さらに、特徴量修正部１１６は、ＤＣ成分修正部１１５から送られてくる２次元ＤＣＴ係数行列群上、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列のＡＣ成分（エッジ成分を除く）にＡＣ成分修正行列を加算あるいは減算する。特徴量修正部１１６は、ＡＣ成分が変化された２次元ＤＣＴ係数行列群を量子化部１１７に送る。
【００６１】
量子化部１１７は、特徴量修正部１１６から送られてくる２次元ＤＣＴ係数行列を量子化して出力する。可変長符号符号化部１１８は、量子化部１１７が出力する量子化後の２次元ＤＣＴ係数行列を可変長符号化してＭＰＥＧデータのＩピクチャフレームを作成し、ＭＰＥＧデータ出力部１３０に送る。ＭＰＥＧデータ出力制御部１３０は、ＭＰＥＧ入力制御部１２０および可変長符号符号化部１１８から入力されるＭＰＥＧデータのフレームを合わせてピクチャグループを作成し、埋め込みデータが埋め込まれたＭＰＥＧデータを出力する。
【００６２】
次に、情報埋め込み装置１００の動作について説明する。以下に示す動作は、コンピュータ装置を用いてソフトウエア的に行っても良いし、各機能部の処理を行うハードウエア回路によって実現しても良い。
【００６３】
図２は、情報埋め込み装置１００の動作を示すフローチャートである。図３は、情報埋め込み装置１００の動作を具体的に説明するためにＭＰＥＧデータおよび２次元ＤＣＴ係数行列群の構成を模式的に示した図である。以下、図２および図３を参照しながら、情報埋め込み装置１００の動作について説明する。まず、ＭＰＥＧデータ入力制御部１２０は、ＭＰＥＧデータを読み込んでおく。また、埋め込み情報入力制御部１１９は、埋め込みデータを読み込んでおく（ステップＳ１０１）。
【００６４】
次に、ＭＰＥＧデータ入力制御部１２０は、読み込んだＭＰＥＧデータを先頭から順番にフレーム単位で認識し、認識したフレームがＩピクチャであるか否かを判断する（ステップＳ１０２）。
Ｉピクチャでない場合、ＭＰＥＧデータ入力制御部１２０は、認識したフレームをＭＰＥＧデータ出力制御部１３０に送り（ステップＳ１１２）、ステップＳ１０２の動作に戻って次のフレームを認識する。
【００６５】
一方、Ｉピクチャである場合、ＭＰＥＧデータ入力制御部１２０は、当該フレームを可変長符号復号化部１１１に送る。フレームを受け取った可変長符号復号化部１１１は、Ｉピクチャフレームを可変長復号化して、逆量子化部１１２に送る。逆量子化部１１２は、可変長復号化後のデータを逆量化して輝度に関する２次元ＤＣＴ係数行列群を取得して、埋め込み行列選択部１１３に送る（ステップＳ１０３）。
【００６６】
次に、埋め込み行列選択部１１３は、２次元ＤＣＴ係数行列群に含まれる２次元ＤＣＴ係数行列を一つ一つ認識して、埋め込みデータを埋め込むべき２次元ＤＣＴ係数行列であるか否かを判断する（ステップＳ１０４）。この判断は、以下のようにして行う。例えば、２次元ＤＣＴ係数行列が、１フレームの左上端から数えて、水平方向にｉ番目、垂直方向にｊ番目に位置する場合、埋め込み行列選択部１１３は、（ｉ＋ｊ）が奇数であれば当該行列に埋め込みデータを埋め込むと判断し、偶数であれば当該行列に埋め込みデータを埋め込まないと判断する。このような場合、図３に示すように、１枚の２次元ＤＣＴ係数行列群上、情報を埋め込むべき２次元ＤＣＴ係数行列と埋め込まない２次元ＤＣＴ係数行列とは、市松模様状に分布されることとなる。
【００６７】
ステップＳ１０４の判断において、埋め込みを行うべき行列でないと判断した場合、埋め込み行列選択部１１３は、当該行列をＤＣ成分修正部１１５に送り、ステップＳ１０６の動作に進む。一方、埋め込みを行うべき行列であると判断した場合、埋め込み行列選択部１１３は、当該行列を特徴量算出部１１４に送る。特徴量算出部１１４は、送られてきた２次元ＤＣＴ係数行列の特徴量算出係数（エッジ成分を除くＡＣ成分のこと、図３参照）を参照して、特徴量を算出し、２次元ＤＣＴ係数行列と共にＤＣ成分修正部１１５に送り（ステップＳ１０５）、ステップＳ１０６の動作に進む。
【００６８】
エッジ成分は、画面上のエッジ部分に関連することが多い。したがって、特徴量算出係数は、エッジに関係しないＫ種類の係数からなる。ここでは、Ｋ＝４９である。特徴量は、Ｋ種類の特徴量算出係数の絶対値の和で定義される。したがって、特徴量は、領域内のエッジに関係しない輝度変化の大きさの指標といえる。特徴量が大きい場合、すなわち、８×８ピクセル上の輝度変化が大きい場合、８×８ピクセルは、複雑な画像となる。一方、特徴量が小さい場合、すなわち、８×８ピクセル上の輝度変化が小さい場合、８×８ピクセルは、複雑でない単純な画像となる。
【００６９】
ステップＳ１０６の動作において、埋め込み行列選択部１１３は、１フレーム上の２次元ＤＣＴ係数行列群について、埋め込み行列の当否判断が終了したか否かを判断する。終了していない場合、埋め込み行列選択部１１３は、ステップＳ１０４の動作に戻り、埋め込み行列の当否判断を続ける。一方、終了した場合、情報埋め込み装置１００は、ステップＳ１０７の動作に進む。
【００７０】
ステップＳ１０７の動作において、ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＤＣ成分修正値を取得する。ＤＣ成分修正部１１５は、２次元ＤＣＴ係数行列群を複数のブロックに分割して、上下に隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加算または減算し、上下のＤＣ成分の大小関係を設定する。ＤＣ成分修正部１１５は、ＤＣ成分が変化した２次元ＤＣＴ係数行列群を特徴量修正部１１６に送る。
【００７１】
次に、特徴量修正部１１６は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＡＣ成分修正行列を取得する。特徴量修正部１１６は、上下に隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列における特徴量算出係数に、ＡＣ成分修正行列を加算または減算し、上下の特徴量の大小関係を設定する。特徴量修正部１１６は、特徴量算出係数が変化した２次元ＤＣＴ係数行列群を量子化部１１７に送る（ステップＳ１０８）。
【００７２】
次に、量子化部１１７は、特徴量修正部１１６から送られてくる１フレーム分の２次元ＤＣＴ係数行列群を量子化して、可変長符号符号化部１１８に送る（ステップＳ１０９）。次に、可変長符号符号化部１１８は、送られてくる２次元ＤＣＴ係数行列群を可変長符号化してＭＰＥＧデータ出力制御部１３０に送る（ステップＳ１１０）。
【００７３】
次に、ＭＰＥＧデータ出力制御部１３０は、全てのＩピクチャフレームについて、埋め込みデータが埋め込まれたか否か判断する（ステップＳ１１１）。埋め込みが終了していない場合、情報埋め込み装置１００は、ステップＳ１０２の動作に戻り、Ｉピクチャフレームへの埋め込みを続ける。一方、埋め込みが終了している場合、ＭＰＥＧデータ出力制御部１３０は、ＭＰＥＧデータ入力制御部１２０および可変長符号符号化部１１８から取得した複数のフレームをまとめて、ＭＰＥＧデータを完成させて出力し、処理を終了する。
【００７４】
図４は、ステップＳ１０７におけるＤＣ成分修正処理の詳細を示したフローチャートである。以下、図４を参照しながら、ＤＣ成分修正部１１５の動作について詳述する。まず、ＤＣ成分修正部１１５は、ｍｘ×ｍｙ個の２次元ＤＣＴ係数行列を一つのブロック（以下、ＤＣ成分修正ブロックという）として、２次元ＤＣＴ係数行列群を複数のＤＣ成分修正ブロックに分割する（ステップＳ２０１）。図５は、２次元ＤＣＴ係数行列群上でのＤＣ成分修正ブロックを模式的に示す図である。図５では、ｍｘ＝ｍｙ＝３とし、３×３個の２次元ＤＣＴ係数行列を一つのＤＣ成分修正ブロックとしている。
【００７５】
次に、ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、２次元ＤＣＴ係数行列群上の各２次元ＤＣＴ係数行列の特徴量に対応するＤＣ成分修正値を求める（ステップＳ２０２）。修正値定義部１７０には、しきい値Ｔが設定されており、特徴量がしきい値Ｔより小さければ、当該特徴量に対応するＤＣ成分修正値をｗ１とし、特徴量がしきい値Ｔより大きければＤＣ成分修正値をｗ２（ｗ１＜ｗ２）とするようにＤＣ成分修正値が定義されている。先述のように、特徴量は、領域内のエッジに関係しない輝度変化の大きさを示す。したがって、ＤＣ成分修正値は、エッジに関係しない輝度変化が大きいほど（すなわち、特徴量が大きいほど）、大きくなる。
【００７６】
次に、ＤＣ成分修正部１１５は、各ＤＣ成分修正ブロック上の２次元ＤＣＴ係数行列について、情報を埋め込む２次元ＤＣＴ係数行列のＤＣ成分の平均値と、埋め込まない２次元ＤＣＴ係数行列のＤＣ成分の平均値との差Ｄを求める（ステップＳ２０３）。
【００７７】
次に、ＤＣ成分修正部１１５は、上下に隣接するＤＣ成分修正ブロックを一組とする（図５参照）。さらに、ＤＣ成分修正部１１５は、一組とした上側のＤＣ成分修正ブロックにおけるＤＣ成分の平均値の差をＤ１とし、下側のＤＣ成分修正ブロックにおけるＤＣ成分の平均値の差をＤ２とする。さらに、ＤＣ成分修正部１１５は、Ｄ１−Ｄ２の絶対値がしきい値Ｔ１より大きいか否かを判断する（ステップＳ２０４）。
【００７８】
Ｔ１より大きい場合、ＤＣ成分修正部１１５は、Ｄ１とＤ２との大小関係を判断する（ステップＳ２０８）。Ｄ２＞Ｄ１の場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え（ステップＳ２１０）、ステップＳ２１１の動作に進む。一方、Ｄ２≦Ｄ１の場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き（ステップＳ２０９）、ステップＳ２１１の動作に進む。
【００７９】
一方、ステップＳ２０４の判断において｜Ｄ１−Ｄ２｜がＴ１以下であると判断した場合、ＤＣ成分修正部１１５は、次に埋め込む埋め込みデータのビットが“０”であるか“１”であるかを判断する（ステップＳ２０５）。“０”である場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え（ステップＳ２０７）、ステップＳ２１１の動作に進む。一方、“１”である場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き（ステップＳ２０６）、ステップＳ２１１の動作に進む。
【００８０】
ステップＳ２１１の動作において、ＤＣ成分修正部１１５は、１フレーム上の全ての上下組ＤＣ成分修正ブロックに対して、ステップＳ２０４の処理が終了したか否かを判断する。終了していない場合、ＤＣ成分修正部１１５は、ステップＳ２０４の動作に戻り、別の上下の組に対して、ＤＣ成分を修正する。一方、終了している場合、ＤＣ成分修正部１１５は、処理を終了する。
【００８１】
情報を埋め込む２次元ＤＣＴ係数行列における特徴量の平均値と埋め込まない２次元ＤＣ係数行列における特徴量の平均値とは、通常近い値をとる。したがって、Ｄ１，Ｄ２の値は小さい。したがって、Ｄ１−Ｄ２の値も小さい。
【００８２】
｜Ｄ１−Ｄ２｜がしきい値Ｔ１より大きい場合、ステップＳ２０４、２０８〜Ｓ２１０の動作によって、Ｄ１とＤ２との差は、より広がる。したがって、修正値の加算または減算によってもＤ１とＤ２との大小関係は、維持される。ＤＣ成分を修正することは、輝度変化の小さな領域については平均輝度値をあまり変化させず、輝度変化の大きな領域については平均輝度値を大きく変えることになる。輝度変化の大きな領域の平均輝度値を大きく変えても、人間の目には、ほとんど気にならない。
【００８３】
ＤＣ成分修正値は、少なくとも（Ｔ１）／２以上であるように設定されている。したがって、ステップＳ２０６の動作によって、埋め込みビットが“１”の場合、元の２次元ＤＣＴ係数行列におけるＤ２とＤ１との大小に関係なく、修正値の加算または減算によって、必ずＤ２＜Ｄ１となるようにＤＣ成分が修正される。また、埋め込みビットが“０”の場合、元の２次元ＤＣＴ係数行列におけるＤ２とＤ１との大小に関係なく、修正値の加算または減算によって、必ずＤ２≧Ｄ１となるようにＤＣ成分が修正される。
【００８４】
図６は、ステップＳ１０８における特徴量修正処理の詳細を示すフローチャートである。以下、図６を参照しながら、特徴量修正部１１６の動作について詳述する。まず、特徴量修正部１１６は、ｎｘ×ｎｙ個の２次元ＤＣＴ係数行列を一つのブロック（以下、特徴量修正ブロックという）として、２次元ＤＣＴ係数行列群を複数の特徴量修正ブロックに分割する（ステップＳ３０１）。図７は、２次元ＤＣＴ係数行列群上での特徴量修正ブロックを模式的に示す図である。図７では、ｎｘ＝ｎｙ＝３として、３×３個の２次元ＤＣＴ係数行列を一つの特徴量修正ブロックとしている。
【００８５】
次に、特徴量修正部１１６は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＡＣ成分修正行列を求める（ステップＳ３０２）。図８は、特徴量が小さい場合のＡＣ成分修正行列の一例を示す図である。図９は、特徴量が大きい場合のＡＣ成分修正行列の一例を示す図である。図８および図９に示すＡＣ成分修正行列は、実験的に求めることができる。たとえば、図８におけるＡＣ成分ａ１，ａ２は、幾何学的操作による劣化が少ないことが実験的に分かる。そのため、特徴量があるしきい値Ｔよりも小さい場合のＡＣ成分修正行列では、ａ１，ａ２を視覚的にほとんど影響を及ぼすことのない最大限の大きさに設定すればよい。また、図９におけるＡＣ成分ｂ１〜ｂ４は、特徴量があるしきい値Ｔよりも大きい場合、幾何学的操作による劣化が少ないことが実験的に分かった。そのため、特徴量があるしきい値Ｔよりも大きい場合のＡＣ成分修正行列では、ｂ１〜ｂ４を積極的に大きい値（ｂ１＞ａ１、ｂ２＞ａ２）に取るようにすればよい。
【００８６】
次に、特徴量修正部１１６は、上下に隣接する特徴量修正ブロックを一組とし、埋め込みを行う２次元ＤＣＴ係数行列について、上側の特徴量修正ブロックにおける特徴量の平均値をＳ１とし、下側の特徴量修正ブロックにおける特徴量の平均値の平均値をＳ２とする（ステップＳ３０３）。
【００８７】
次に、特徴量修正部１１６は、埋め込むべきビットが“１”であるか“０”であるか判断する（ステップＳ３０４）。“１”である場合、特徴量修正部１１６は、上側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数にＡＣ成分修正行列を加え、下側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数からＡＣ成分修正行列を差し引いて（ステップＳ３０５）、ステップＳ３０７の動作に進む。一方、“０”である場合、特徴量修正部１１６は、上側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数からＡＣ成分修正行列を差し引き、下側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数に対してＡＣ成分修正行列を加え（ステップＳ３０５）、ステップＳ３０７の動作に進む。
【００８８】
ステップＳ３０７の動作において、特徴量修正部１１６は、１フレーム上の特徴量修正ブロックに対して、ステップＳ３０３〜Ｓ３０６の動作が終了したか否かを判断する。終了していない場合、特徴量修正部１１６は、ステップＳ３０３の動作に戻り、別の上下の組を構成して、特徴量の修正を続ける。一方、終了している場合、特徴量修正部１１６は、処理を終了する。
【００８９】
通常、上側の特徴量の平均値と下側の特徴量の平均値とは、非常に近い値である。したがって、ステップＳ３０４〜３０６の処理を施すことによって、埋め込みビットが“１”である場合は、上側の特徴量の平均値の方が必ず大きくなり、埋め込みビットが“０”である場合は、下側の特徴量の平均値の方が必ず大きくなる。
【００９０】
このように、本発明の第１の実施形態によれば、ＭＰＥＧ動画データ中、Ｉピクチャフレームのみを復号化してデジタル情報を埋め込み、このＩピクチャフレームのみを符号化するので、全てのフレームを復号化、符号化する必要がない。したがって、高速に電子透かし情報を埋め込むことが可能な情報埋め込み装置が提供できる。
【００９１】
また、全てのフレームを再復号化しなくてよいので、デジタル情報の埋め込みによる画質劣化を最低限に抑えることができる。
【００９２】
また、互いに隣接する上下のＤＣ成分修正ブロックおよび特徴量修正ブロックに含まれる複数の２次元ＤＣＴ係数行列のＤＣ成分および特徴量算出係数を変化させることによって、周波数成分の大小関係を決め、この大小関係によってデジタル情報を定義することとなる。したがって、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなり、埋め込んだ情報が除去されにくいという効果が生まれる。
【００９３】
また、ＤＣ成分および特徴量算出係数の両方を変化させることに埋め込みデータを埋め込むこととなるので、ＤＣ成分の変化単独の場合に比べ、埋め込むべき情報量を増やすことが可能となる。
【００９４】
なお、上記実施形態では、埋め込まれているデジタル情報を定義するために、上下に隣接した二つのブロックを用いることとしたが、この二つのブロックは、上下に限るものではなく、左右であってもよい。また、三つ以上のブロックの相対関係をＤＣ成分の大きさなどによって決め、埋め込むべきデジタル情報を定義するようにしてもよい。
【００９５】
なお、情報埋め込みを行わない２次元ＤＣＴ係数行列に、幾何学的回転に対抗するためのキャリブレーション用の電子透かし情報（米国特許：ＵＳＰ５６３６２９２、特開２００１−７８０１０等参照）を埋め込むようにしてもよい。この場合、情報抽出装置は、回転等の幾何学変換が行われたとしても、このキャリブレーション用の情報を参照して、ブロックを正しい位置に戻すことができる。したがって、デジタル情報を抽出する場合、情報抽出装置は、正しい位置に戻ったブロックからデジタル情報を取り出すことが可能となる。
【００９６】
なお、情報埋め込みを行わない２次元ＤＣＴ係数行列に対する埋め込みは、キャリブレーション用の電子透かし情報以外の他方式の電子透かし情報であってもよい。
【００９７】
なお、第１の実施形態では、埋め込みデータをＤＣ成分および特徴量算出係数に埋め込むようにしたが、埋め込み情報量が少なくてよいのなら、どちらか一方への埋め込みでよい。
【００９８】
なお、第１の実施形態では、埋め込みを行なう２次元ＤＣＴ係数行列と行なわない２次元ＤＣＴ係数行列を市松模様状に設定することとしたが、別の方法で設定しても構わない。
【００９９】
また、ＤＣ成分や特徴量の修正値の設定方法も別の方法でもよく、埋め込みブロック毎に設定方法を変えても構わない。
【０１００】
また、特徴量の算出に用いる周波数成分の選択方法、算出方法も実施例以外でもよい。
【０１０１】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る情報抽出装置２００の構成を示す図である。図１０において、情報抽出装置２００は、ＭＰＥＧデータ入力制御部２２０と、抽出情報出力部２３０と、抽出部２４０と、復号化部２５０と、抽出行列選択部２１３と、特徴量算出部２１４とを備える。復号化部２５０は、可変長符号復号化部２１１と、逆量子化部２１２とを含む。抽出部２４０は、特徴量比較抽出部２１５と、ＤＣ成分比較抽出部２１６とを含む。
【０１０２】
ＭＰＥＧデータ入力制御部２２０は、埋め込みデータが格納されたＭＰＥＧデータを読み込み、Ｉピクチャフレームのみを可変長符号復号化部２１１に送る。可変長符号復号化部２１１は、ＭＰＥＧデータ入力制御部２２０が読み込んだＩピクチャフレームを可変長復号化して出力する。逆量子化部２１２は、可変長符号復号化部２１１が可変長復号化したデータを逆量子化して出力する。
【０１０３】
抽出行列選択部２１３は、逆量子化部２１２が出力するデータを８×８の２次元ＤＣＴ係数行列に分割し、２次元ＤＣＴ係数行列群を得る。抽出行列選択部２１３は、各２次元ＤＣＴ係数行列に対して、埋め込みデータが埋め込まれているか否かを判断する。抽出行列選択部２１３は、埋め込みデータが埋め込まれている２次元ＤＣＴ係数行列を特徴量算出部２１４に送る。また、抽出行列選択部２１３は、埋め込みデータの有無に関係なく、全ての２次元ＤＣＴ係数行列をＤＣ成分比較抽出部２１６に送る。
【０１０４】
特徴量算出部２１４は、各２次元ＤＣＴ係数行列の特徴量を算出して、特徴量比較抽出部２１５に送る。特徴量比較抽出部２１５は、ｎｘ×ｎｙの２次元ＤＣＴ係数行列を一つの特徴量抽出ブロックとして、２次元ＤＣＴ係数行列群を複数のブロックに分割し、上下組を構成する。特徴量比較抽出部２１５は、上下の特徴量抽出ブロックにおける特徴量平均値の大小関係に基づいて、埋め込みビットを認識して、抽出情報出力部２３０に送る。
【０１０５】
ＤＣ成分比較抽出部２１６は、ｍｘ×ｍｙの２次元ＤＣＴ係数行列を一つのＤＣＴ成分抽出ブロックとして、２次元ＤＣＴ係数行列群を複数のブロックに分割し、上下組を構成する。ＤＣ成分比較抽出部２１６は、上下のＤＣＴ成分抽出ブロックにおけるＤＣ成分の大小関係に基づいて、埋め込みビットを認識して、抽出情報出力部２３０に送る。
【０１０６】
抽出情報出力部２３０は、特徴量比較抽出部２１５およびＤＣ成分比較抽出部２１６から送られてくるビットに基づいて、埋め込みデータを認識して出力する。
【０１０７】
次に、情報抽出装置２００の動作について説明する。図１１は、第２の実施形態に係る情報抽出装置２００の動作を示すフローチャートである。以下、図１１を参照しながら、情報抽出装置２００の動作について説明する。まず、ＭＰＥＧデータ入力制御部２２０は、ＭＰＥＧデータを読み込む（ステップＳ４０１）。
【０１０８】
次に、ＭＰＥＧデータ入力制御部２２０は、フレームがＩピクチャであるか否かを判断する（ステップＳ４０２）。Ｉピクチャでない場合、ＭＰＥＧデータ入力制御部２２０は、ステップＳ４０２の動作を繰り返す。
【０１０９】
一方、Ｉピクチャである場合、ＭＰＥＧデータ入力制御部２２０は、当該フレームを復号化部２５０に送る。復号化部２５０は、当該フレームを可変長復号化して逆量子化して、輝度に関する２次元ＤＣＴ係数行列群を求め、抽出行列選択部２１３に送る（ステップＳ４０３）。
【０１１０】
抽出行列選択部２１３は、輝度に関する２次元ＤＣＴ係数行列群に含まれる各２次元ＤＣＴ係数行列が埋め込み行列であるか否かを判断する（ステップＳ４０４）。埋め込み行列である場合、抽出行列選択部２１３は、特徴量算出部２１４に特徴量を算出させる。特徴量算出部２１４は、算出した特徴量を特徴量比較抽出部２１５に送り（ステップＳ４０５）、ステップＳ４０６の動作に進む。一方、埋め込み行列でない場合、抽出行列選択部２１３は、２次元ＤＣＴ係数行列をＤＣ成分比較抽出部２１６に送り、ステップＳ４０６の動作に進む。
【０１１１】
ステップＳ４０６の動作において、抽出行列選択部２１３は、２次元ＤＣＴ係数行列群上の全ての２次元ＤＣＴ係数行列に対して、埋め込み行列の可否判断が終了したか否かを判断する。終了していない場合、抽出行列選択部２１３は、ステップＳ４０３の動作に戻る。一方、終了している場合、情報抽出装置２００は、ステップＳ４０７の動作に進む。
【０１１２】
ステップＳ４０７の動作において、ＤＣ成分比較抽出部２１６は、上下のＤＣ成分抽出ブロックのＤＣ成分を比較して、埋め込みビットを抽出する（ステップＳ４０７）。次に、特徴量比較抽出部２１５は、上下の特徴量抽出ブロックの特徴量平均値を比較して、埋め込みビットを抽出し（ステップＳ４０８）、ステップＳ４１０の動作に進む。
【０１１３】
ステップＳ４１０の動作において、抽出情報出力部２３０は、全てのフレームについて埋め込み情報を抽出したか否かを判断する。抽出が終了していない場合、情報抽出装置２００は、ステップＳ４０２の動作に戻る。一方、抽出が終了している場合、抽出情報出力部２３０は、抽出されたビットをまとめて埋め込みデータとして出力し、処理を終了する。
【０１１４】
図１２は、ステップＳ４０７におけるＤＣ成分からの埋め込みビット抽出処理の詳細を示すフローチャートである。以下、図１２を参照しながら、ＤＣ成分比較抽出部２１６の動作について詳述する。まず、ＤＣ成分比較抽出部２１６は、１フレームをｍｘ×ｍｙ個の２次元ＤＣＴ係数行列からなるＤＣ成分抽出ブロックに分割する（ステップＳ５０１）。
【０１１５】
次に、ＤＣ成分比較抽出部２１６は、隣接する上下のＤＣ成分抽出ブロックを一組とする。ＤＣ成分比較抽出部２１６は、各ＤＣ成分抽出ブロックに対して、埋め込みが行われている２次元ＤＣＴ係数行列のＤＣ成分の平均値と、埋め込みが行われていない２次元ＤＣＴ係数行列のＤＣ成分の平均値との差Ｄを求める（ステップＳ５０２）。
【０１１６】
次に、ＤＣ成分比較抽出部２１６は、上側の抽出ブロックの平均値の差をＤ１とし、下側の抽出ブロックの平均値の差をＤ２とし、Ｄ１−Ｄ２の絶対値がＴ２より小さいか否かを判断する（ステップＳ５０３）。大きい場合、ＤＣ成分比較抽出部２１６は、埋め込みビットが抽出されていないと判断して、ビット抽出を行うことなく（ステップＳ５０７）、ステップＳ５０８の動作に進む。一方、小さい場合、ＤＣ成分比較抽出部２１６は、Ｄ１とＤ２の大小関係を判断する（ステップＳ５０４）。
【０１１７】
Ｄ１がＤ２以上の場合、ＤＣ成分比較抽出部２１６は、埋め込みビットとして、“１”を抽出して抽出情報出力部２３０に送り（ステップＳ５０５）、ステップＳ５０７の動作に進む。一方、Ｄ１がＤ２よりも小さい場合、ＤＣ成分比較抽出部２１６は、埋め込みビットとして、“０”を抽出して抽出情報出力部２３０に送り（ステップＳ５０６）、ステップＳ５０８の動作に進む。
【０１１８】
ステップＳ５０８の動作において、ＤＣ成分比較抽出部２１６は、２次元ＤＣＴ係数行列群におけるＤＣ成分抽出ブロックの上下組について、ＤＣ成分による埋め込みビットの抽出が終了したか否かを判断する。終了していない場合、ステップＳ５０３の動作に戻り、別の上下組についての判断を続け、ＤＣ成分による埋め込みビットの抽出を続ける。一方、終了している場合、ＤＣ成分比較抽出部２１６は、処理を終了する。
【０１１９】
図１３は、ステップＳ４０８における特徴量からからの埋め込みビット抽出処理の詳細を示すフローチャートである。以下、図１３を参照しながら、特徴量比較抽出部２１５の動作について説明する。まず、特徴量比較抽出部２１５は、２次元ＤＣＴ係数行列群をｎｘ×ｎｙ個の２次元ＤＣＴ係数行列からなる特徴量抽出ブロックに分割する（ステップＳ６０１）。
【０１２０】
特徴量比較抽出部２１５は、各特徴量抽出ブロックに対して、埋め込みが行われている２次元ＤＣＴ係数行列の特徴量の平均値を求める（ステップＳ６０２）。
【０１２１】
次に、特徴量比較抽出部２１５は、隣接する上下の特徴量抽出ブロックを一組とする。特徴量比較抽出部２１５は、上側の抽出ブロックの特徴量の平均値をＳ１とし、下側の抽出ブロックの特徴量の平均値をＳ２とする。特徴量比較抽出部２１５は、Ｓ１がＳ２より大きいか否かを判断する（ステップＳ６０３）。
【０１２２】
大きい場合、特徴量比較抽出部２１５は、埋め込みビットとして“１”が埋め込まれていると判断して、抽出結果を抽出情報出力部２３０に送り（ステップＳ６０４）、ステップＳ６０６の動作に進む。一方、大きくない場合、特徴量比較抽出部２１５は、埋め込みビットとして“０”が埋め込まれていると判断して、抽出結果を抽出情報出力部２３０に送り（ステップＳ６０５）、ステップＳ６０６の動作に進む。ステップＳ６０６の動作は、図１２におけるステップＳ５０８の動作と同様である。
【０１２３】
このように、本発明の第２の実施形態では、Ｉピクチャフレームのみを復号化してデジタル情報を抽出することとなるので、抽出に要する処理を高速に行うことが可能となる。
【０１２４】
また、互いに隣接する上下の二つのブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分および特徴量の大小関係によってデジタル情報を定義することとなるので、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなる。したがって、幾何学的変換が施されたとしても、埋め込まれている情報を抽出することが可能となる。
【０１２５】
さらに、上記実施形態では、埋め込みに用いた２次元ＤＣＴ係数行列すべてを抽出に用いているが、一部だけを用いてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報埋め込み装置１００の構成を示す図である。
【図２】情報埋め込み装置１００の動作を示すフローチャートである。
【図３】情報埋め込み装置１００の動作を具体的に説明するためにＭＰＥＧデータおよび２次元ＤＣＴ係数行列群の構成を模式的に示した図である。
【図４】ステップＳ１０７におけるＤＣ成分修正処理の詳細を示したフローチャートである。
【図５】２次元ＤＣＴ係数行列群上でのＤＣ成分修正ブロックを模式的に示す図である。
【図６】ステップＳ１０８における特徴量修正処理の詳細を示すフローチャートである。
【図７】２次元ＤＣＴ係数行列群上での特徴量修正ブロックを模式的に示す図である。
【図８】特徴量が小さい場合のＡＣ成分修正行列の一例を示す図である。
【図９】特徴量が大きい場合のＡＣ成分修正行列の一例を示す図である。
【図１０】本発明の第２の実施形態に係る情報抽出装置２００の構成を示す図である。
【図１１】情報抽出装置２００の動作を示すフローチャートである。
【図１２】ステップＳ４０７におけるＤＣ成分からの埋め込みビット抽出処理の詳細を示すフローチャートである。
【図１３】ステップＳ４０８における特徴量からからの埋め込みビット抽出処理の詳細を示すフローチャートである。
【符号の説明】
１００　情報埋め込み装置
２００　情報抽出装置
１１１，２１１　可変長符号復号化部
１１２，２１２　逆量子化部
１１３　埋め込み行列選択部
１１４，２１４　特徴量算出部
１１５　ＤＣ成分修正部
１１６　特徴量修正部
１１７　量子化部
１１８　可変長符号符号化部
１１９　埋め込み情報入力制御部
１２０，２２０　ＭＰＥＧデータ入力制御部
１３０　ＭＰＥＧデータ出力制御部
１４０　埋め込み部
１５０，２５０　復号化部
１６０　符号化部
１７０　修正値定義部
２１３　抽出行列選択部
２１５　特徴量比較抽出部
２１６　ＤＣ成分比較抽出部
２３０　抽出情報出力部
２４０　抽出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital watermarking technique for embedding other information in image data so as to be visually invisible, and more particularly to a digital watermarking technique for embedding information in frequency components of image data.
[0002]
[Prior art]
In recent years, in addition to the rapid progress of high performance and low price of computers, factors such as large capacity of recording media and explosive spread of the Internet have overlapped, so that anyone can easily convert digital images and digital images to personal computers. And can be distributed. On the other hand, the interest in the content business has rapidly increased in the industry as well, such as the start of digital broadcasting and the distribution of digital video and digital audio to homes with the broadband Internet. ing.
[0003]
Under such circumstances, in the movie industry, there has been a movement to digitize everything from content creation to storage and distribute it to movie theaters and homes via the broadband Internet (“Digital Cinema”, video information media) Journal, Vol.55, No.7 (2001-7)).
[0004]
Since digital data has a characteristic of not deteriorating quality, it may be illegally secondary-used. In particular, the higher the value of a copyrighted work, the higher its danger. In fact, in the music industry, it has been pointed out that CD sales have decreased due to illegal copying, and this has become a major problem that has shaken the foundation of the business structure up to now. Digital cinema has essentially the same problem, and how to prevent unauthorized use of content is a major issue. Attention has been paid to a digital watermark technique for embedding digital information such as an ID in image data so as not to be visually recognized as a means for solving this problem.
[0005]
When digital information such as ID is embedded in a moving image, the current mainstream is to embed digital information in uncompressed moving image data (for example, Araki et al .: “Digital Watermarking Method for Moving Image Using Wavelet Transform”, video Journal of the Society of Information and Media, Vol. 54, No. 11 (2000-11)).
[0006]
[Problems to be solved by the invention]
In digital cinema, images with higher quality than conventional broadcasting are required, so that the video necessarily has a high resolution (for example, 1920 × 1080). Since the amount of data is enormous, image data is usually stored and distributed after compression coding such as MPEG. Therefore, the digital cinema content is stored in a compressed state.
[0007]
Therefore, in the method of embedding digital information in an uncompressed image, MPEG-encoded moving image data is once decoded into uncompressed data, and digital information is embedded in the uncompressed data. In extracting information, in this method, MPEG-encoded moving image data is once decoded into uncompressed data, and information is extracted from the uncompressed data. Therefore, in this method, when information is embedded / extracted, decoding and encoding need to be performed again, so that there is a problem that it takes time to embed / extract the information. Furthermore, in this method, image quality degradation due to MPEG re-encoding processing occurs in addition to image quality degradation due to embedding digital information.
[0008]
Therefore, a first object of the present invention is to provide an apparatus that can embed and extract information at high speed while minimizing quality deterioration in MPEG-encoded moving image data. is there.
[0009]
In order to achieve the above object, there is a method of directly embedding digital watermark information in an MPEG signal. Typical examples are a method of embedding information by manipulating a motion vector of an image and a method of embedding information by manipulating a coefficient of an AC component (AC coefficient) in a DCT coefficient matrix.
[0010]
However, the method of operating a motion vector has a problem that digital information is easily removed by re-encoding processing. Further, the method of operating the AC coefficient has a problem that digital information is removed due to geometric conversion of image data.
[0011]
Therefore, a second object of the present invention is to provide a device for embedding information so that the information remains without being lost even in geometric processing that can occur in normal image processing such as resolution conversion and rotation conversion. It is.
[0012]
Means for Solving the Problems and Effects of the Invention
A first invention is an apparatus for embedding digital information in compression-encoded moving image data composed of a plurality of frames,
A still image frame extracting means for extracting a still image frame, which is a single still image independently from other frames, from a plurality of frames;
Decoding means for decoding the still image frame extracted by the still image frame extracting means to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, of the blocks obtained by the dividing means, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other are changed, and a relative relationship between these blocks is determined. A matrix component changing means to be determined;
A moving image data output for generating a still image frame by encoding the two-dimensional DCT coefficient matrix whose frequency component has been changed by the matrix component changing means, and outputting moving image data in which digital information is embedded together with other frames. Means,
The digital information is characterized by being defined by a relative relationship between adjacent blocks.
[0013]
According to the first aspect of the present invention, only the still image frame in the compression-encoded moving image data is decoded to embed the digital information, and only the still image frame is encoded. There is no need to convert. Therefore, an information embedding device that can embed digital watermark information at high speed can be provided. Further, since it is not necessary to re-decode all the frames, it is possible to minimize image quality deterioration due to embedding of digital information. Further, by changing the components of a plurality of two-dimensional DCT coefficient matrices included in adjacent blocks, a relative relationship between the blocks is determined, and digital information is defined. Therefore, even if geometric conversion such as resolution conversion is performed, digital information remains in units of blocks, and an effect is obtained that embedded information is difficult to remove.
[0014]
In a second aspect based on the first aspect, the moving image data is moving image data according to the MPEG system, and the still image frame is an I picture frame.
[0015]
According to the second aspect, the present invention can be applied to widely used MPEG moving image data, and is very effective in practical use such as copyright protection.
[0016]
In a third aspect based on the first aspect, the matrix component changing means includes:
Feature value calculating means for calculating a feature value indicating an image feature of the block based on predetermined K types of frequency components on the two-dimensional DCT coefficient matrix;
Correction value determining means for determining a DC component correction value for correcting a DC component on a two-dimensional DCT coefficient matrix included in the block based on the feature amount calculated by the feature amount calculating means;
DC component changing means for adding or subtracting a DC component correction value to or from a DC component based on digital information to be embedded to change a DC component of a two-dimensional DCT coefficient matrix included in an adjacent block,
The digital information is characterized by being defined by a magnitude relationship between DC components in a two-dimensional DCT coefficient matrix included in an adjacent block.
[0017]
According to the third aspect, the DC component on the adjacent block is changed based on the feature amount indicating the image feature, so that it is possible to further suppress the image quality deterioration.
[0018]
In a fourth aspect based on the third aspect, the feature amount calculating means converts K types of frequency components that do not become u = 0 or v = 0 with respect to the frequency components (u, v) of the two-dimensional DCT coefficient matrix. As a frequency component, the sum of the absolute values of the K types of frequency components included in the two-dimensional DCT coefficient matrix is calculated as a feature amount.
[0019]
According to the fourth aspect, frequency components other than the frequency at which u = 0 or v = 0 are set as K types of frequency components, and the DC component is changed by calculating a feature amount without considering the frequency components related to the edge. Therefore, image quality deterioration can be further suppressed.
[0020]
In a fifth aspect based on the third aspect, in the third aspect, the correction value determining means determines a DC component correction value when the feature value is equal to or greater than a certain threshold value, and a DC component correction value when the feature value is less than the threshold value. It is characterized in that it is set to a value larger than that.
[0021]
When the feature value is equal to or larger than a certain threshold value, it means that the region is a complicated region. In a complicated area, the DC component is largely changed as compared with a non-complex area. However, a change in the DC component in the complicated area has little visual effect.
According to the fifth aspect, in a complicated area, the change of the DC component is increased, so that the digital information is likely to remain even if the geometric conversion is performed.
[0022]
In a sixth aspect based on the third aspect, when embedding 1-bit information, the DC component changing means selects two blocks adjacent to each other, and selects a DC of a two-dimensional DCT coefficient matrix included in one of the blocks. The DC component correction value is added to the component, the DC component correction value is subtracted from the DC component of the two-dimensional DCT coefficient matrix in one block, and the magnitude relationship of the DC components is determined according to the embedded bits.
[0023]
According to the sixth aspect, two blocks adjacent to one-bit embedding are used, so that digital information is likely to remain even when geometric conversion such as resolution conversion is performed.
[0024]
In a seventh aspect based on the third aspect, the matrix component changing means further comprises:
Correction matrix determination means for determining a correction matrix for correcting frequency components other than DC components in the two-dimensional DCT coefficient matrix included in the block based on the feature amount calculated by the feature amount calculation means;
Feature value changing means for adding or subtracting a correction matrix to or from a two-dimensional DCT coefficient matrix based on digital information to be embedded to change a feature value of a two-dimensional DCT coefficient matrix included in an adjacent block;
The digital information is further characterized by being defined by the magnitude relation of the feature amounts in the two-dimensional DCT coefficient matrix included in the adjacent block.
[0025]
According to the seventh aspect, the frequency information other than the DC component is further changed, and the digital information is defined by the magnitude relationship between the feature values in the adjacent blocks. Therefore, in addition to embedding digital information due to a change in the DC component, embedding digital information due to a change in a frequency component other than the DC component is also performed, so that the amount of information that can be embedded can be increased. In addition, since the frequency components other than the DC components on the adjacent blocks are changed based on the feature amount indicating the image-like feature, it is possible to further suppress the image quality deterioration.
[0026]
In an eighth aspect based on the first aspect, the matrix component changing means includes:
Feature value calculating means for calculating a feature value indicating an image feature of the block based on predetermined K types of frequency components on the two-dimensional DCT coefficient matrix;
Correction matrix determination means for determining a correction matrix for correcting frequency components other than DC components in the two-dimensional DCT coefficient matrix included in the block based on the feature amount calculated by the feature amount calculation means;
Feature value changing means for adding or subtracting a correction matrix to or from a two-dimensional DCT coefficient matrix based on digital information to be embedded to change a feature value of a two-dimensional DCT coefficient matrix included in an adjacent block;
The digital information is characterized in that it is defined by the magnitude relation of the feature amounts in a two-dimensional DCT coefficient matrix included in an adjacent block.
[0027]
According to the eighth aspect, since the frequency components other than the DC components on the adjacent blocks are changed based on the feature amount indicating the image feature, it is possible to further suppress the image quality deterioration. Become.
[0028]
In a ninth aspect based on the seventh or eighth aspect, the correction matrix determined by the correction matrix determination means is a frequency which is less affected by the geometrical processing on the correction matrix when the feature value is smaller than a certain threshold value. If a value is set for the component and the feature value is equal to or greater than a certain threshold, a value larger than the value in the case where the value is less than a certain threshold is found in the frequency component that is less affected by the geometric processing on the correction matrix. Is set.
[0029]
When the feature value is equal to or larger than a certain threshold value, it means that the region is a complicated region. In a complicated region, a frequency component other than the DC component is largely changed as compared with a non-complex region, but the change in the frequency component in the complicated region has little visual effect.
According to the ninth aspect, in a complex area, the change of the frequency components other than the DC component is increased, so that the digital information is likely to remain even if the geometric conversion is performed.
[0030]
According to a tenth aspect, in the seventh or eighth aspect, when 1-bit information is embedded, the feature amount changing unit selects two blocks adjacent to each other and generates a two-dimensional DCT coefficient matrix on one block. The correction matrix is added, the correction matrix is subtracted from the two-dimensional DCT coefficient matrix on one block, and the magnitude relation of the feature amount is determined according to the embedded bits.
[0031]
According to the tenth aspect, two blocks adjacent to one-bit embedding are used, so that digital data is likely to remain even when geometric conversion such as resolution conversion is performed.
[0032]
In an eleventh aspect based on the first aspect, the matrix component changing means includes a two-dimensional DCT coefficient matrix for embedding digital information by changing a frequency component in the two-dimensional DCT coefficient matrix group, and a geometric component for changing the component. A two-dimensional DCT coefficient matrix in which information for countering rotation is embedded is distinguished from digital information, and digital information is defined by a relative relationship between blocks based on the two-dimensional DCT coefficient matrix in which digital information is embedded.
[0033]
According to the eleventh aspect, since information for calibration for countering geometric rotation is embedded, even if geometric transformation such as rotation is performed, the information for calibration is obtained. To return the block to the correct position. Therefore, it is possible to extract digital information from the block returned to the correct position.
[0034]
A twelfth invention is an apparatus for extracting digital information embedded in compression-coded moving image data composed of a plurality of frames,
A still image frame extracting means for extracting a still image frame, which is a single still image independently from other frames, from a plurality of frames;
Decoding means for decoding the still image frame extracted by the still image frame extracting means to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Digital information extracting means for extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in blocks adjacent to each other among blocks obtained by the dividing means;
[0035]
According to the twelfth aspect, since only the still image frame is decoded to extract the digital information, the processing required for the extraction can be performed at high speed. Further, since the digital information is defined by the relative relationship between the components of the two-dimensional DCT coefficient matrix included in the blocks adjacent to each other, even if a geometric conversion such as a resolution conversion is performed, the digital information is defined in block units. Will remain. Therefore, it is possible to provide an information extraction device that can extract embedded information even when geometric transformation is performed.
[0036]
In a thirteenth aspect based on the twelfth aspect, the moving image data is moving image data according to the MPEG system, and the still image frame is an I-picture frame.
[0037]
According to the thirteenth aspect, the present invention can be applied to widely used MPEG moving image data, and is very effective in practical aspects such as copyright protection.
[0038]
In a fourteenth aspect based on the twelfth aspect, the digital information extracting means extracts 1-bit information based on a magnitude relationship between DC components in a two-dimensional DCT coefficient matrix included in two adjacent blocks.
[0039]
According to the fourteenth aspect, 1-bit embedding is determined using two adjacent blocks, so that digital information remains even if geometric conversion such as resolution conversion is performed, Can be extracted.
[0040]
In a fifteenth aspect based on the twelfth aspect, the digital information extracting means calculates a feature quantity based on predetermined K types of frequency components on the two-dimensional DCT coefficient matrix, and calculates the feature quantity in two adjacent blocks. 1-bit information is extracted based on the magnitude relation.
[0041]
According to the fifteenth aspect, 1-bit embedding is determined using two adjacent blocks. Therefore, even when geometric conversion such as resolution conversion is performed, digital information remains. Can be extracted.
[0042]
A sixteenth invention is an apparatus for embedding digital information in a compression-encoded still image,
Decoding means for decoding a still image to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, of the blocks obtained by the dividing means, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other are changed, and a relative relationship between these blocks is determined. A matrix component changing means to be determined;
A moving image data output for generating a still image frame by encoding the two-dimensional DCT coefficient matrix whose frequency component has been changed by the matrix component changing means, and outputting moving image data in which digital information is embedded together with other frames. Means,
The digital information is characterized by being defined by a relative relationship between adjacent blocks.
[0043]
According to the sixteenth aspect, by changing components of a plurality of two-dimensional DCT coefficient matrices included in mutually adjacent blocks, a relative relationship between the blocks is determined, and digital information is defined. Therefore, even if geometric conversion such as resolution conversion is performed, digital information remains in units of blocks, and an effect is obtained that embedded information is difficult to remove.
[0044]
A seventeenth invention is an apparatus for extracting digital information embedded in a compression-encoded still image,
Decoding means for decoding a still image to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Digital information extracting means for extracting digital information defined by a relative relationship of frequency components in a two-dimensional DCT coefficient matrix included in mutually adjacent blocks among blocks obtained by the dividing means;
[0045]
According to the seventeenth aspect, since the digital information is defined by the relative relationship between the components of the two-dimensional DCT coefficient matrix included in the blocks adjacent to each other, it is assumed that geometric conversion such as resolution conversion has been performed. Also, digital information remains in block units. Therefore, it is possible to provide an information extraction device that can extract embedded information even when geometric transformation is performed.
[0046]
An eighteenth invention is a method for embedding digital information in compression-encoded moving image data composed of a plurality of frames,
Extracting a still image frame, which is a single still image independently from other frames, from a plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, of the blocks obtained by the dividing means, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other are changed, and a relative relationship between these blocks is determined. Defining steps;
Encoding a two-dimensional DCT coefficient matrix with changed frequency components to create a still image frame, and outputting moving image data in which digital information is embedded along with the other frames,
The digital information is characterized by being defined by a relative relationship between adjacent blocks.
[0047]
The effects of the eighteenth aspect are the same as those of the first aspect.
[0048]
A nineteenth invention is a method for extracting digital information embedded in compression-encoded moving image data composed of a plurality of frames,
Extracting a still image frame, which is a single still image independently from other frames, from a plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in adjacent blocks among the obtained blocks.
[0049]
The effects of the nineteenth aspect are the same as the effects of the twelfth aspect.
[0050]
A twentieth invention is a program executed by a computer device for embedding digital information in compression-encoded moving image data composed of a plurality of frames, the program being a single still image independent of other frames. Extracting a still image frame from the plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, of the blocks obtained by the dividing means, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other are changed, and a relative relationship between these blocks is determined. Defining steps;
Encoding a two-dimensional DCT coefficient matrix with changed frequency components to create a still image frame, and outputting moving image data in which digital information is embedded along with the other frames,
The digital information is characterized by being defined by a relative relationship between adjacent blocks.
[0051]
The effect of the twentieth aspect is the same as the effect of the first aspect.
[0052]
A twenty-first invention is a program executed by a computer device for extracting digital information embedded in compression-encoded moving image data composed of a plurality of frames,
Extracting a still image frame, which is a single still image independently from other frames, from a plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in adjacent blocks among the obtained blocks.
[0053]
The effects of the twenty-first aspect are the same as the effects of the twelfth aspect.
[0054]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
FIG. 1 is a diagram showing a configuration of an information embedding device 100 according to the first embodiment of the present invention. 1, the information embedding device 100 includes an MPEG data input control unit 120, an MPEG data output control unit 130, an embedding unit 140, a decoding unit 150, an encoding unit 160, an embedding matrix selection unit 113, It includes a feature amount calculation unit 114, an embedded information input control unit 119, and a correction value definition unit 170. The decoding unit 150 includes a variable length code decoding unit 111 and an inverse quantization unit 112. The embedding unit 140 includes a DC component correcting unit 115 and a feature amount correcting unit 116. The coding section 160 includes a quantization section 117 and a variable length coding section 118.
[0055]
The MPEG data input control unit 120 reads MPEG data before digital information (hereinafter referred to as embedded data) is embedded. The MPEG data input control unit 120 supplies an I picture frame to the variable length code decoding unit 111 and supplies B and P picture frames to the MPEG data output unit 130 in the MPEG data. The embedded information input control unit 119 reads the embedded data. The MPEG data output control unit 130 outputs the MPEG data in which the embedded data is embedded.
[0056]
The variable-length code decoding unit 111 performs variable-length decoding on only I-picture frames in the MPEG data read by the MPEG data input control unit 120 and outputs the result. The inverse quantization unit 112 inversely quantizes the data output from the variable length code decoding unit 111 and outputs the data. The embedding matrix selection unit 113 divides the data output from the inverse quantization unit 112 into 8 × 8 units to obtain a plurality of two-dimensional DCT coefficient matrices, and uses the matrix as a two-dimensional DCT coefficient matrix group. Further, the embedding matrix selection unit 113 selects a two-dimensional DCT coefficient matrix in which the embedding data is to be embedded from the two-dimensional DCT coefficient matrix group.
[0057]
The feature amount calculation unit 114 calculates a feature amount of the two-dimensional DCT coefficient matrix based on the AC components in the two-dimensional DCT coefficient matrix selected by the embedding matrix selection unit 113 except for the edge components. Here, the edge component means a frequency component where u = 0 or v = 0 when the frequency component of the two-dimensional DCT coefficient matrix is (u, v). The feature amount is an amount indicating the complexity of an 8 × 8 pixel image obtained by a two-dimensional DCT coefficient matrix. The feature amount will be described later in detail.
[0058]
The correction value definition unit 170 stores a correction value of a DC component (hereinafter, referred to as a DC component correction value) in a two-dimensional DCT coefficient matrix and a correction matrix of an AC component excluding an edge component (hereinafter, AC) in correspondence with the feature amount. Component correction matrix) is defined. The DC component correction value and the AC component correction matrix are experimentally obtained in advance and registered in the correction value definition unit 170. The DC component correction value and the AC component correction matrix will be described later in detail.
[0059]
The DC component correction unit 115 acquires a DC component correction value corresponding to the feature value calculated by the feature value calculation unit 114 with reference to the correction value definition unit 170. Further, the DC component correction unit 115 divides the group of two-dimensional DCT coefficient matrices into a plurality of blocks, and adds or subtracts DC component correction values to DC components in two-dimensional DCT coefficient matrices included in adjacent blocks. The DC component correction unit 115 sends the two-dimensional DCT coefficient matrix group in which the DC component has been changed to the feature amount correction unit 116.
[0060]
The feature value correction unit 116 acquires an AC component correction matrix corresponding to the feature value calculated by the feature value calculation unit 114 with reference to the correction value definition unit 170. Further, on the two-dimensional DCT coefficient matrix group sent from the DC component correcting unit 115, the feature amount correcting unit 116 converts the AC components (excluding edge components) of the two-dimensional DCT coefficient matrices included in mutually adjacent blocks into AC components. Add or subtract component correction matrices. The feature amount correction unit 116 sends the two-dimensional DCT coefficient matrix group in which the AC component has been changed to the quantization unit 117.
[0061]
The quantization unit 117 quantizes the two-dimensional DCT coefficient matrix sent from the feature amount correction unit 116 and outputs the result. The variable-length coding unit 118 performs variable-length coding on the quantized two-dimensional DCT coefficient matrix output from the quantization unit 117 to create an I-picture frame of MPEG data, and sends it to the MPEG data output unit 130. The MPEG data output control unit 130 creates a picture group by combining the frames of the MPEG data input from the MPEG input control unit 120 and the variable length coding unit 118, and outputs the MPEG data in which the embedded data is embedded.
[0062]
Next, the operation of the information embedding device 100 will be described. The operations described below may be performed by software using a computer device, or may be realized by a hardware circuit that performs processing of each functional unit.
[0063]
FIG. 2 is a flowchart showing the operation of the information embedding device 100. FIG. 3 is a diagram schematically showing a configuration of MPEG data and a two-dimensional DCT coefficient matrix group for specifically explaining the operation of the information embedding apparatus 100. Hereinafter, the operation of the information embedding device 100 will be described with reference to FIGS. First, the MPEG data input control unit 120 reads the MPEG data. Also, the embedded information input control unit 119 reads the embedded data (step S101).
[0064]
Next, the MPEG data input control unit 120 recognizes the read MPEG data in frame units in order from the beginning, and determines whether the recognized frame is an I picture (step S102).
If it is not an I picture, the MPEG data input control unit 120 sends the recognized frame to the MPEG data output control unit 130 (Step S112), and returns to the operation of Step S102 to recognize the next frame.
[0065]
On the other hand, if the picture is an I picture, the MPEG data input control unit 120 sends the frame to the variable-length code decoding unit 111. The variable-length code decoding unit 111 that has received the frame performs variable-length decoding on the I-picture frame and sends the result to the inverse quantization unit 112. The inverse quantization unit 112 inversely quantizes the data after the variable-length decoding to obtain a two-dimensional DCT coefficient matrix group relating to luminance, and sends it to the embedding matrix selection unit 113 (step S103).
[0066]
Next, the embedding matrix selection unit 113 recognizes each of the two-dimensional DCT coefficient matrices included in the two-dimensional DCT coefficient matrix group and determines whether or not the two-dimensional DCT coefficient matrix in which the embedding data is to be embedded. (Step S104). This determination is made as follows. For example, when the two-dimensional DCT coefficient matrix is located at the i-th position in the horizontal direction and the j-th position in the vertical direction, counting from the upper left corner of one frame, the embedding matrix selection unit 113 determines that (i + j) is an odd number. It is determined that the embedded data is to be embedded in the matrix, and if it is an even number, it is determined that the embedded data is not embedded in the matrix. In such a case, as shown in FIG. 3, a two-dimensional DCT coefficient matrix in which information is to be embedded and a two-dimensional DCT coefficient matrix in which information is not embedded are distributed in a checkerboard pattern on one two-dimensional DCT coefficient matrix group. It will be.
[0067]
If it is determined in step S104 that the matrix is not a matrix to be embedded, the embedding matrix selection unit 113 sends the matrix to the DC component correction unit 115, and proceeds to operation in step S106. On the other hand, if it is determined that the matrix is to be embedded, the embedding matrix selection unit 113 sends the matrix to the feature amount calculation unit 114. The feature amount calculation unit 114 calculates the feature amount with reference to the feature amount calculation coefficient (AC component excluding the edge component, see FIG. 3) of the received two-dimensional DCT coefficient matrix, and calculates the two-dimensional DCT coefficient. It is sent to the DC component correction unit 115 together with the matrix (step S105), and the operation proceeds to step S106.
[0068]
The edge component is often related to an edge portion on the screen. Therefore, the feature amount calculation coefficient is composed of K types of coefficients that are not related to the edge. Here, K = 49. The feature amount is defined by the sum of the absolute values of K types of feature amount calculation coefficients. Therefore, the feature amount can be said to be an index of the magnitude of the luminance change not related to the edge in the area. When the feature amount is large, that is, when the luminance change on 8 × 8 pixels is large, 8 × 8 pixels become a complicated image. On the other hand, when the feature amount is small, that is, when the luminance change on 8 × 8 pixels is small, the 8 × 8 pixels become a simple image that is not complicated.
[0069]
In the operation in step S106, the embedding matrix selection unit 113 determines whether or not the embedding matrix correctness determination has been completed for the two-dimensional DCT coefficient matrix group on one frame. If the processing has not been completed, the embedding matrix selection unit 113 returns to the operation of step S104 and continues to determine whether or not the embedding matrix is correct. On the other hand, if the processing has been completed, the information embedding apparatus 100 proceeds to the operation of step S107.
[0070]
In the operation of step S107, the DC component correction unit 115 acquires a DC component correction value corresponding to the feature amount of each two-dimensional DCT coefficient matrix with reference to the correction value definition unit 170. The DC component correction unit 115 divides the two-dimensional DCT coefficient matrix group into a plurality of blocks, and adds or subtracts a DC component correction value to or from a DC component of a two-dimensional DCT coefficient matrix included in two vertically adjacent blocks. , The magnitude relationship between the upper and lower DC components is set. The DC component correction unit 115 sends the two-dimensional DCT coefficient matrix group in which the DC component has changed to the feature amount correction unit 116.
[0071]
Next, the feature value correction unit 116 acquires an AC component correction matrix corresponding to the feature value of each two-dimensional DCT coefficient matrix with reference to the correction value definition unit 170. The feature amount correction unit 116 adds or subtracts an AC component correction matrix to or from a feature amount calculation coefficient in a two-dimensional DCT coefficient matrix included in two vertically adjacent blocks, and sets the magnitude relationship between the upper and lower feature amounts. The feature amount correction unit 116 sends the two-dimensional DCT coefficient matrix group in which the feature amount calculation coefficients have changed to the quantization unit 117 (step S108).
[0072]
Next, the quantization unit 117 quantizes the two-dimensional DCT coefficient matrix group for one frame sent from the feature amount correction unit 116, and sends it to the variable length coding unit 118 (step S109). Next, the variable-length code encoding unit 118 performs variable-length encoding on the received two-dimensional DCT coefficient matrix group and sends the result to the MPEG data output control unit 130 (step S110).
[0073]
Next, the MPEG data output control unit 130 determines whether or not embedded data has been embedded in all I picture frames (step S111). If the embedding has not been completed, the information embedding apparatus 100 returns to the operation of step S102 and continues embedding in the I picture frame. On the other hand, when the embedding has been completed, the MPEG data output control unit 130 completes the MPEG data by combining the plurality of frames obtained from the MPEG data input control unit 120 and the variable length coding unit 118, and outputs the completed data. , And the process ends.
[0074]
FIG. 4 is a flowchart showing details of the DC component correction processing in step S107. Hereinafter, the operation of the DC component correction unit 115 will be described in detail with reference to FIG. First, the DC component correction unit 115 divides the mx × my two-dimensional DCT coefficient matrix into a plurality of DC component correction blocks, as one block (hereinafter, referred to as a DC component correction block). (Step S201). FIG. 5 is a diagram schematically illustrating a DC component correction block on a two-dimensional DCT coefficient matrix group. In FIG. 5, mx = my = 3, and 3 × 3 two-dimensional DCT coefficient matrices are one DC component correction block.
[0075]
Next, the DC component correction unit 115 obtains a DC component correction value corresponding to the feature amount of each two-dimensional DCT coefficient matrix on the two-dimensional DCT coefficient matrix group with reference to the correction value definition unit 170 (step S202). . A threshold value T is set in the correction value definition unit 170. If the feature value is smaller than the threshold value T, the DC component correction value corresponding to the feature value is set to w1, and the feature value is set to the threshold value T. The DC component correction value is defined such that the DC component correction value is set to w2 (w1 <w2) if it is larger. As described above, the feature amount indicates the magnitude of the luminance change not related to the edge in the area. Therefore, the DC component correction value increases as the luminance change unrelated to the edge increases (ie, as the feature amount increases).
[0076]
Next, for the two-dimensional DCT coefficient matrix on each DC component correction block, the DC component correction unit 115 calculates the average value of the DC component of the two-dimensional DCT coefficient matrix in which information is embedded and the DC component of the two-dimensional DCT coefficient matrix that is not embedded. The difference D from the average value is determined (step S203).
[0077]
Next, the DC component correction unit 115 sets DC component correction blocks vertically adjacent to each other as a set (see FIG. 5). Further, the DC component correction unit 115 sets the difference between the average values of the DC components in the upper set of DC component correction blocks as D1 and the difference between the average values of the DC components in the lower DC component correction block as D2. . Further, the DC component correction unit 115 determines whether or not the absolute value of D1-D2 is larger than the threshold value T1 (Step S204).
[0078]
If it is larger than T1, the DC component correction unit 115 determines the magnitude relationship between D1 and D2 (step S208). If D2> D1, the DC component correction unit 115 subtracts the DC component correction value from the DC component of each two-dimensional DCT coefficient matrix in the upper DC component correction block, and calculates each two-dimensional DCT coefficient in the lower DC component correction block. A DC component correction value is added to the DC component of the matrix (step S210), and the operation proceeds to step S211. On the other hand, when D2 ≦ D1, the DC component correction unit 115 adds a DC component correction value to the DC component of each two-dimensional DCT coefficient matrix in the upper DC component correction block, and adds each DC component in the lower DC component correction block. A DC component correction value is subtracted from the DC component of the DCT coefficient matrix (step S209), and the operation proceeds to step S211.
[0079]
On the other hand, if it is determined in step S204 that | D1−D2 | is equal to or smaller than T1, the DC component correction unit 115 determines whether the bit of the data to be embedded next is “0” or “1”. A determination is made (step S205). If the value is “0”, the DC component correction unit 115 subtracts the DC component correction value from the DC component of each two-dimensional DCT coefficient matrix in the upper DC component correction block, and subtracts the two-dimensional DCT in the lower DC component correction block. A DC component correction value is added to the DC component of the coefficient matrix (step S207), and the operation proceeds to step S211. On the other hand, if it is “1”, the DC component correction unit 115 adds a DC component correction value to the DC component of each two-dimensional DCT coefficient matrix in the upper DC component correction block, and adds each DC component in the lower DC component correction block. A DC component correction value is subtracted from the DC component of the dimensional DCT coefficient matrix (step S206), and the operation proceeds to step S211.
[0080]
In the operation of step S211, the DC component correction unit 115 determines whether or not the process of step S204 has been completed for all the upper and lower set DC component correction blocks on one frame. If the processing has not been completed, the DC component correction unit 115 returns to the operation in step S204, and corrects the DC component for another upper and lower pair. On the other hand, if the processing has been completed, the DC component correction unit 115 ends the processing.
[0081]
The average value of the feature value in the two-dimensional DCT coefficient matrix in which information is embedded and the average value of the feature value in the two-dimensional DC coefficient matrix not embedded are usually close values. Therefore, the values of D1 and D2 are small. Therefore, the value of D1-D2 is also small.
[0082]
When | D1−D2 | is larger than the threshold value T1, the difference between D1 and D2 is further increased by the operations of steps S204 and 208 to S210. Therefore, the magnitude relationship between D1 and D2 is maintained even by adding or subtracting the correction value. Correcting the DC component does not change the average luminance value so much in the area where the luminance change is small, but largely changes the average luminance value in the area where the luminance change is large. Even if the average luminance value in a region where the luminance change is large is largely changed, human eyes are hardly noticed.
[0083]
The DC component correction value is set to be at least (T1) / 2 or more. Therefore, if the embedded bit is “1” as a result of the operation of step S206, the addition or subtraction of the correction value always satisfies D2 <D1 regardless of the magnitude of D2 and D1 in the original two-dimensional DCT coefficient matrix. The DC component is corrected. When the embedded bit is “0”, the DC component is always corrected by adding or subtracting the correction value so that D2 ≧ D1 regardless of the magnitude of D2 and D1 in the original two-dimensional DCT coefficient matrix. You.
[0084]
FIG. 6 is a flowchart illustrating details of the feature amount correction processing in step S108. Hereinafter, the operation of the feature amount correcting unit 116 will be described in detail with reference to FIG. First, the feature amount correction unit 116 divides the two-dimensional DCT coefficient matrix group into a plurality of feature amount correction blocks, using the nx × ny two-dimensional DCT coefficient matrix as one block (hereinafter, referred to as a feature amount correction block). (Step S301). FIG. 7 is a diagram schematically illustrating a feature amount correction block on a two-dimensional DCT coefficient matrix group. In FIG. 7, nx = ny = 3, and 3 × 3 two-dimensional DCT coefficient matrices are used as one feature amount correction block.
[0085]
Next, the feature amount correction unit 116 obtains an AC component correction matrix corresponding to the feature amount of each two-dimensional DCT coefficient matrix with reference to the correction value definition unit 170 (step S302). FIG. 8 is a diagram illustrating an example of an AC component correction matrix when the feature amount is small. FIG. 9 is a diagram illustrating an example of an AC component correction matrix when the feature amount is large. The AC component correction matrices shown in FIGS. 8 and 9 can be obtained experimentally. For example, it can be seen experimentally that the AC components a1 and a2 in FIG. Therefore, in the AC component correction matrix in the case where the feature value is smaller than a certain threshold value T, a1 and a2 may be set to the maximum size that hardly visually affects. In addition, it has been experimentally found that the AC components b1 to b4 in FIG. 9 are less deteriorated by the geometric operation when the feature value is larger than a certain threshold value T. Therefore, in the AC component correction matrix when the feature value is larger than a certain threshold value T, b1 to b4 may be positively set to large values (b1> a1, b2> a2).
[0086]
Next, the feature quantity correction unit 116 sets the vertically adjacent feature quantity correction blocks as a set, sets the average value of the feature quantities in the upper feature quantity correction block to S1 for the two-dimensional DCT coefficient matrix for embedding, and sets the lower value to S1. An average value of the average values of the feature amounts in the feature amount correction block on the side is set to S2 (step S303).
[0087]
Next, the feature amount correcting unit 116 determines whether the bit to be embedded is “1” or “0” (step S304). If the value is “1”, the feature amount correction unit 116 adds an AC component correction matrix to the feature amount calculation coefficients of the two-dimensional DCT coefficient matrices in the upper feature amount correction block, and adds two AC component correction matrices in the lower feature amount correction block. The AC component correction matrix is subtracted from the feature amount calculation coefficient of the dimensional DCT coefficient matrix (step S305), and the operation proceeds to step S307. On the other hand, if the value is “0”, the feature amount correction unit 116 subtracts the AC component correction matrix from the feature amount calculation coefficients of the two-dimensional DCT coefficient matrices in the upper feature amount correction block, and obtains the values in the lower feature amount correction block. An AC component correction matrix is added to the feature amount calculation coefficients of each two-dimensional DCT coefficient matrix (step S305), and the operation proceeds to step S307.
[0088]
In the operation of step S307, the feature amount correction unit 116 determines whether or not the operations of steps S303 to S306 have been completed for the feature amount correction block on one frame. If the processing has not been completed, the feature amount correcting unit 116 returns to the operation in step S303, forms another upper and lower set, and continues correcting the feature amount. On the other hand, when the processing has been completed, the feature amount correcting unit 116 ends the processing.
[0089]
Usually, the average value of the upper feature value and the average value of the lower feature value are very close values. Therefore, by performing the processing in steps S304 to S306, if the embedded bit is “1”, the average value of the upper feature amount is always larger, and if the embedded bit is “0”, the lower value is set. The average value of the feature values on the side is always larger.
[0090]
As described above, according to the first embodiment of the present invention, only the I picture frame is decoded and the digital information is embedded in the MPEG moving image data, and only the I picture frame is encoded. Need not be encoded or encoded. Therefore, an information embedding device that can embed digital watermark information at high speed can be provided.
[0091]
Further, since it is not necessary to re-decode all the frames, it is possible to minimize image quality deterioration due to embedding of digital information.
[0092]
Also, by changing the DC components and the feature calculation coefficients of a plurality of two-dimensional DCT coefficient matrices included in the upper and lower DC component correction blocks and the feature correction blocks adjacent to each other, the magnitude relationship between the frequency components is determined. Relationships define digital information. Therefore, even if geometric conversion such as resolution conversion is performed, digital information remains in units of blocks, and an effect is obtained that embedded information is difficult to remove.
[0093]
In addition, since the embedding data is embedded when both the DC component and the feature amount calculation coefficient are changed, the amount of information to be embedded can be increased as compared with the case where the DC component changes alone.
[0094]
In the above-described embodiment, two vertically adjacent blocks are used to define embedded digital information. However, the two blocks are not limited to the upper and lower sides, but may be the left and right sides. Is also good. Further, the relative relationship between three or more blocks may be determined based on the size of the DC component or the like, and digital information to be embedded may be defined.
[0095]
In addition, digital watermark information for calibration (for example, see US Pat. No. 5,636,292, JP-A-2001-78010, etc.) for countering geometric rotation may be embedded in a two-dimensional DCT coefficient matrix in which information is not embedded. Good. In this case, the information extraction device can return the block to the correct position by referring to the information for calibration even if geometric transformation such as rotation is performed. Therefore, when extracting digital information, the information extraction device can extract the digital information from the block that has returned to the correct position.
[0096]
Note that embedding in a two-dimensional DCT coefficient matrix in which information is not embedded may be digital watermark information of a method other than the digital watermark information for calibration.
[0097]
In the first embodiment, the embedding data is embedded in the DC component and the feature amount calculation coefficient. However, if the amount of embedded information is small, the embedding may be performed in one of them.
[0098]
In the first embodiment, a two-dimensional DCT coefficient matrix for embedding and a two-dimensional DCT coefficient matrix for not embedding are set in a checkered pattern, but may be set in another method.
[0099]
Further, the method of setting the correction value of the DC component or the feature amount may be another method, and the setting method may be changed for each embedded block.
[0100]
Further, the method of selecting and calculating the frequency components used for calculating the feature amount may be other than the embodiment.
[0101]
(Second embodiment)
FIG. 10 is a diagram showing a configuration of an information extraction device 200 according to the second embodiment of the present invention. 10, the information extraction device 200 includes an MPEG data input control unit 220, an extraction information output unit 230, an extraction unit 240, a decoding unit 250, an extraction matrix selection unit 213, and a feature amount calculation unit 214. Prepare. The decoding unit 250 includes a variable length code decoding unit 211 and an inverse quantization unit 212. The extraction unit 240 includes a feature amount comparison and extraction unit 215 and a DC component comparison and extraction unit 216.
[0102]
The MPEG data input control unit 220 reads the MPEG data in which the embedded data is stored, and sends only the I picture frame to the variable length code decoding unit 211. The variable-length code decoding unit 211 performs variable-length decoding on the I picture frame read by the MPEG data input control unit 220 and outputs the result. The inverse quantization unit 212 inversely quantizes the data that has been variable-length decoded by the variable-length code decoding unit 211 and outputs the result.
[0103]
The extraction matrix selection unit 213 divides the data output by the inverse quantization unit 212 into an 8 × 8 two-dimensional DCT coefficient matrix, and obtains a two-dimensional DCT coefficient matrix group. The extraction matrix selection unit 213 determines whether or not embedded data is embedded in each two-dimensional DCT coefficient matrix. The extraction matrix selection unit 213 sends the two-dimensional DCT coefficient matrix in which the embedded data is embedded to the feature amount calculation unit 214. Further, the extraction matrix selection unit 213 sends all the two-dimensional DCT coefficient matrices to the DC component comparison and extraction unit 216 irrespective of the presence or absence of the embedded data.
[0104]
The feature amount calculation unit 214 calculates a feature amount of each two-dimensional DCT coefficient matrix and sends the calculated feature amount to the feature amount comparison and extraction unit 215. The feature amount comparison and extraction unit 215 uses the two-dimensional DCT coefficient matrix of nx × ny as one feature amount extraction block, divides the two-dimensional DCT coefficient matrix group into a plurality of blocks, and configures upper and lower sets. The feature value comparison and extraction unit 215 recognizes the embedded bit based on the magnitude relationship between the feature value average values in the upper and lower feature value extraction blocks, and sends it to the extraction information output unit 230.
[0105]
The DC component comparison and extraction unit 216 uses the two-dimensional DCT coefficient matrix of mx × my as one DCT component extraction block, divides the two-dimensional DCT coefficient matrix group into a plurality of blocks, and configures upper and lower sets. The DC component comparison and extraction unit 216 recognizes the embedded bit based on the magnitude relationship between the DC components in the upper and lower DCT component extraction blocks, and sends it to the extraction information output unit 230.
[0106]
The extraction information output unit 230 recognizes and outputs the embedded data based on the bits sent from the feature amount comparison and extraction unit 215 and the DC component comparison and extraction unit 216.
[0107]
Next, the operation of the information extraction device 200 will be described. FIG. 11 is a flowchart illustrating the operation of the information extraction device 200 according to the second embodiment. Hereinafter, the operation of the information extraction device 200 will be described with reference to FIG. First, the MPEG data input control unit 220 reads MPEG data (Step S401).
[0108]
Next, the MPEG data input control unit 220 determines whether or not the frame is an I picture (step S402). If it is not an I picture, the MPEG data input control unit 220 repeats the operation of step S402.
[0109]
On the other hand, if it is an I picture, the MPEG data input control unit 220 sends the frame to the decoding unit 250. The decoding unit 250 performs variable-length decoding and inverse quantization on the frame to obtain a group of two-dimensional DCT coefficient matrices related to luminance and sends the group to the extraction matrix selection unit 213 (step S403).
[0110]
The extraction matrix selection unit 213 determines whether or not each two-dimensional DCT coefficient matrix included in the two-dimensional DCT coefficient matrix group relating to luminance is an embedded matrix (step S404). If it is an embedded matrix, the extraction matrix selection unit 213 causes the feature amount calculation unit 214 to calculate the feature amount. The feature amount calculation unit 214 sends the calculated feature amount to the feature amount comparison and extraction unit 215 (Step S405), and proceeds to the operation of Step S406. On the other hand, if it is not an embedded matrix, the extraction matrix selection unit 213 sends the two-dimensional DCT coefficient matrix to the DC component comparison and extraction unit 216, and proceeds to the operation of step S406.
[0111]
In the operation of step S406, the extraction matrix selection unit 213 determines whether or not the determination of whether or not to embed an embedded matrix has been completed for all the two-dimensional DCT coefficient matrices on the two-dimensional DCT coefficient matrix group. If the processing has not been completed, the extraction matrix selection unit 213 returns to the operation in step S403. On the other hand, if the processing has been completed, the information extraction device 200 proceeds to the operation of step S407.
[0112]
In the operation of step S407, the DC component comparison and extraction unit 216 compares the DC components of the upper and lower DC component extraction blocks and extracts embedded bits (step S407). Next, the feature value comparison and extraction unit 215 compares the feature value average values of the upper and lower feature value extraction blocks to extract embedded bits (step S408), and proceeds to the operation of step S410.
[0113]
In the operation of step S410, the extraction information output unit 230 determines whether or not the embedded information has been extracted for all the frames. If the extraction has not been completed, the information extraction device 200 returns to the operation of step S402. On the other hand, if the extraction has been completed, the extraction information output unit 230 outputs the extracted bits collectively as embedded data, and ends the processing.
[0114]
FIG. 12 is a flowchart showing details of the embedded bit extraction process from the DC component in step S407. Hereinafter, the operation of the DC component comparison and extraction unit 216 will be described in detail with reference to FIG. First, the DC component comparison and extraction unit 216 divides one frame into DC component extraction blocks each including mx × my two-dimensional DCT coefficient matrices (step S501).
[0115]
Next, the DC component comparison and extraction unit 216 sets adjacent upper and lower DC component extraction blocks as a set. For each DC component extraction block, the DC component comparison and extraction unit 216 calculates the average value of the DC component of the embedded two-dimensional DCT coefficient matrix and the DC component of the non-embedded two-dimensional DCT coefficient matrix. The difference D from the average value is determined (step S502).
[0116]
Next, the DC component comparison and extraction unit 216 sets the difference between the average values of the upper extraction blocks as D1, the difference between the average values of the lower extraction blocks as D2, and determines whether the absolute value of D1−D2 is smaller than T2. It is determined (step S503). If it is larger, the DC component comparison and extraction unit 216 determines that the embedded bit has not been extracted, and proceeds to the operation of step S508 without performing bit extraction (step S507). On the other hand, if it is smaller, the DC component comparison and extraction unit 216 determines the magnitude relationship between D1 and D2 (step S504).
[0117]
If D1 is greater than or equal to D2, the DC component comparison and extraction unit 216 extracts “1” as an embedded bit and sends it to the extraction information output unit 230 (Step S505), and proceeds to the operation of Step S507. On the other hand, when D1 is smaller than D2, the DC component comparison and extraction unit 216 extracts “0” as an embedded bit and sends it to the extraction information output unit 230 (Step S506), and proceeds to the operation of Step S508.
[0118]
In the operation of step S508, the DC component comparison and extraction unit 216 determines whether the extraction of the embedded bits by the DC component has been completed for the upper and lower sets of the DC component extraction blocks in the two-dimensional DCT coefficient matrix group. If the processing has not been completed, the process returns to step S503, and the determination of another upper / lower pair is continued, and the extraction of embedded bits by the DC component is continued. On the other hand, if the processing has been completed, the DC component comparison and extraction unit 216 ends the processing.
[0119]
FIG. 13 is a flowchart showing details of the embedded bit extraction process from the feature amount in step S408. Hereinafter, the operation of the feature amount comparison and extraction unit 215 will be described with reference to FIG. First, the feature value comparison / extraction unit 215 divides the two-dimensional DCT coefficient matrix group into feature value extraction blocks composed of nx × ny two-dimensional DCT coefficient matrices (step S601).
[0120]
The feature value comparison and extraction unit 215 obtains the average value of the feature values of the embedded two-dimensional DCT coefficient matrix for each feature value extraction block (step S602).
[0121]
Next, the feature value comparison and extraction unit 215 sets adjacent upper and lower feature value extraction blocks as one set. The feature value comparison and extraction unit 215 sets the average value of the feature values of the upper extraction block to S1, and sets the average value of the feature values of the lower extraction block to S2. The feature amount comparison and extraction unit 215 determines whether S1 is greater than S2 (step S603).
[0122]
If it is larger, the feature value comparison and extraction unit 215 determines that “1” is embedded as an embedded bit, sends the extraction result to the extraction information output unit 230 (Step S604), and proceeds to the operation of Step S606. On the other hand, if it is not large, the feature amount comparison and extraction unit 215 determines that “0” is embedded as an embedded bit, sends the extraction result to the extraction information output unit 230 (step S605), and proceeds to the operation of step S606. move on. The operation in step S606 is the same as the operation in step S508 in FIG.
[0123]
As described above, in the second embodiment of the present invention, only the I picture frame is decoded to extract the digital information, so that the processing required for the extraction can be performed at high speed.
[0124]
Further, since digital information is defined by the magnitude relationship between the DC component and the feature amount of the two-dimensional DCT coefficient matrix included in the upper and lower two blocks adjacent to each other, geometric conversion such as resolution conversion is performed. However, digital information remains in block units. Therefore, embedded information can be extracted even if the geometric transformation is performed.
[0125]
Further, in the above embodiment, all the two-dimensional DCT coefficient matrices used for embedding are used for extraction, but only some of them may be used.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an information embedding device 100 according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the information embedding device 100.
FIG. 3 is a diagram schematically showing a configuration of MPEG data and a two-dimensional DCT coefficient matrix group in order to specifically explain the operation of the information embedding device 100.
FIG. 4 is a flowchart showing details of a DC component correction process in step S107.
FIG. 5 is a diagram schematically illustrating a DC component correction block on a two-dimensional DCT coefficient matrix group.
FIG. 6 is a flowchart illustrating details of a feature amount correction process in step S108.
FIG. 7 is a diagram schematically illustrating a feature amount correction block on a two-dimensional DCT coefficient matrix group.
FIG. 8 is a diagram illustrating an example of an AC component correction matrix when a feature value is small.
FIG. 9 is a diagram illustrating an example of an AC component correction matrix when a feature amount is large.
FIG. 10 is a diagram showing a configuration of an information extraction device 200 according to a second embodiment of the present invention.
FIG. 11 is a flowchart showing the operation of the information extraction device 200.
FIG. 12 is a flowchart illustrating details of embedded bit extraction processing from a DC component in step S407.
FIG. 13 is a flowchart showing details of an embedded bit extraction process from a feature amount in step S408.
[Explanation of symbols]
100 Information embedding device
200 Information extraction device
111, 211 Variable-length code decoding unit
112, 212 Inverse quantization unit
113 Embedding matrix selector
114, 214 feature amount calculation unit
115 DC component correction unit
116 Feature Correction Unit
117 Quantization unit
118 Variable Length Code Encoding Unit
119 Embedded information input control unit
120, 220 MPEG data input control unit
130 MPEG data output control unit
140 Embedding part
150, 250 decoding unit
160 encoding unit
170 Correction value definition section
213 Extraction matrix selection unit
215 Feature amount comparison and extraction unit
216 DC component comparison and extraction unit
230 Extraction information output unit
240 extractor

Claims (21)

複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための装置であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出する静止画フレーム抽出手段と、
前記静止画フレーム抽出手段が抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
埋め込むべきデジタル情報に基づいて、前記分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定める行列成分変化手段と、
前記行列成分変化手段によって周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
前記デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする、情報埋め込み装置。A device for embedding digital information in compression-coded moving image data composed of a plurality of frames,
A still image frame extracting unit that extracts a still image frame that is a single still image independently from other frames from the plurality of frames;
Decoding means for decoding the still image frame extracted by the still image frame extracting means to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other among the blocks obtained by the dividing unit are changed, and a relative relationship between these blocks is changed. Matrix component changing means for determining
Moving image data for generating a still image frame by encoding a two-dimensional DCT coefficient matrix whose frequency components have been changed by the matrix component changing means and outputting moving image data in which digital information is embedded together with other frames Output means,
The information embedding device, wherein the digital information is defined by a relative relationship between adjacent blocks. 前記動画像データは、ＭＰＥＧ方式による動画像データであり、前記静止画フレームは、Ｉピクチャフレームである、請求項１に記載の情報埋め込み装置。The information embedding device according to claim 1, wherein the moving image data is moving image data according to the MPEG system, and the still image frame is an I picture frame. 前記行列成分変化手段は、
２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて、前記ブロックの画像的な特徴を示す特徴量を算出する特徴量算出手段と、
前記特徴量算出手段が算出した特徴量に基づいて、前記ブロックに含まれる２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定する修正値決定手段と、
埋め込むべきデジタル情報に基づいて、前記ＤＣ成分修正値を前記ＤＣ成分に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分を変化させるＤＣ成分変化手段とを含み、
前記デジタル情報は、隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定義されていることを特徴とする、請求項１に記載の情報埋め込み装置。The matrix component changing means,
Feature value calculating means for calculating a feature value indicating an image feature of the block based on predetermined K types of frequency components on the two-dimensional DCT coefficient matrix;
Correction value determining means for determining a DC component correction value for correcting a DC component on a two-dimensional DCT coefficient matrix included in the block, based on the feature quantity calculated by the feature quantity calculating means;
DC component changing means for adding or subtracting the DC component correction value to or from the DC component based on digital information to be embedded, thereby changing a DC component of a two-dimensional DCT coefficient matrix included in an adjacent block.
The information embedding device according to claim 1, wherein the digital information is defined by a magnitude relationship between DC components in a two-dimensional DCT coefficient matrix included in an adjacent block. 前記特徴量算出手段は、２次元ＤＣＴ係数行列の周波数成分（ｕ，ｖ）に対して、ｕ＝０またはｖ＝０とならない周波数成分を前記Ｋ種類の周波数成分とし、２次元ＤＣＴ係数行列に含まれるＫ種類の周波数成分における各成分の絶対値の和を特徴量として算出することを特徴とする、請求項３に記載の情報埋め込み装置。The feature amount calculating means sets the frequency components that do not become u = 0 or v = 0 with respect to the frequency components (u, v) of the two-dimensional DCT coefficient matrix as the K kinds of frequency components, and generates the two-dimensional DCT coefficient matrix. 4. The information embedding apparatus according to claim 3, wherein a sum of absolute values of each of the K kinds of frequency components included is calculated as a feature amount. 前記修正値決定手段は、前記特徴量があるしきい値以上の場合のＤＣ成分修正値を、前記特徴量が当該しきい値未満の場合のＤＣ成分修正値よりも大きな値とすることを特徴とする、請求項３に記載の情報埋め込み装置。The correction value determining means sets a DC component correction value when the feature value is equal to or greater than a certain threshold value to a value larger than a DC component correction value when the feature value is less than the threshold value. The information embedding device according to claim 3, wherein １ビットの情報を埋め込む場合において、前記ＤＣ成分変化手段は、互いに隣接する二つのブロックを選択し、一方のブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加算し、一方のブロックにおける２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を減算して、埋め込みビットに応じてＤＣ成分の大小関係を定める、請求項３に記載の情報埋め込み装置。When embedding 1-bit information, the DC component changing means selects two blocks adjacent to each other, adds a DC component correction value to a DC component of a two-dimensional DCT coefficient matrix included in one block, and 4. The information embedding apparatus according to claim 3, wherein a DC component correction value is subtracted from a DC component of a two-dimensional DCT coefficient matrix in the block of (b) to determine a magnitude relationship between DC components according to embedding bits. 前記行列成分変化手段は、さらに、
前記特徴量算出手段が算出した特徴量に基づいて、前記ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
埋め込むべきデジタル情報に基づいて、前記修正行列を前記２次元ＤＣＴ係数行列に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列の特徴値を変化させる特徴量変化手段とを含み、
前記デジタル情報は、さらに、隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によっても定義されていることを特徴とする、請求項３に記載の情報埋め込み装置。The matrix component changing means further includes:
Correction matrix determination means for determining a correction matrix for correcting frequency components other than DC components in the two-dimensional DCT coefficient matrix included in the block based on the feature quantity calculated by the feature quantity calculation means;
Based on digital information to be embedded, adding or subtracting the correction matrix to or from the two-dimensional DCT coefficient matrix to change a feature value of a two-dimensional DCT coefficient matrix included in an adjacent block.
4. The information embedding device according to claim 3, wherein the digital information is further defined by a magnitude relation of a feature amount in a two-dimensional DCT coefficient matrix included in an adjacent block. 前記行列成分変化手段は、
２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて、前記ブロックの画像的な特徴を示す特徴量を算出する特徴量算出手段と、
前記特徴量算出手段が算出した特徴量に基づいて、前記ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
埋め込むべきデジタル情報に基づいて、前記修正行列を前記２次元ＤＣＴ係数行列に加算または減算して、隣接するブロックに含まれる２次元ＤＣＴ係数行列の特徴値を変化させる特徴量変化手段とを含み、
前記デジタル情報は、隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によって定義されていることを特徴とする、請求項１に記載の情報埋め込み装置。The matrix component changing means,
Feature value calculating means for calculating a feature value indicating an image feature of the block based on predetermined K types of frequency components on the two-dimensional DCT coefficient matrix;
Correction matrix determination means for determining a correction matrix for correcting frequency components other than DC components in the two-dimensional DCT coefficient matrix included in the block based on the feature quantity calculated by the feature quantity calculation means;
Based on digital information to be embedded, adding or subtracting the correction matrix to or from the two-dimensional DCT coefficient matrix to change a feature value of a two-dimensional DCT coefficient matrix included in an adjacent block.
2. The information embedding apparatus according to claim 1, wherein the digital information is defined by a magnitude relation of a feature amount in a two-dimensional DCT coefficient matrix included in an adjacent block. 前記修正行列決定手段によって決定される修正行列は、特徴量があるしきい値未満の場合、前記修正行列上、幾何学的処理による影響が少ない周波数成分に値が設定されており、特徴量があるしきい値以上の場合、前記修正行列上、幾何学的処理による影響が少ない周波数成分に、前記あるしきい値未満の場合における値よりも大きな値が設定されている、請求項７または８に記載の情報埋め込み装置。In the correction matrix determined by the correction matrix determination means, when the feature value is less than a certain threshold, a value is set to a frequency component that is less affected by the geometric processing on the correction matrix, and the feature value is 9. A value larger than a value less than the certain threshold is set to a frequency component less affected by the geometric processing on the correction matrix when the value is equal to or more than a certain threshold. An information embedding device according to claim 1. １ビットの情報を埋め込む場合において、前記特徴量変化手段は、互いに隣接する二つのブロックを選択し、一方のブロック上における２次元ＤＣＴ係数行列に前記修正行列を加算し、一方のブロック上における２次元ＤＣＴ係数行列に前記修正行列を減算して、埋め込みビットに応じて特徴量の大小関係を定める、請求項７または８に記載の情報埋め込み装置。When embedding 1-bit information, the feature amount changing means selects two blocks adjacent to each other, adds the correction matrix to a two-dimensional DCT coefficient matrix on one block, and adds two correction blocks on one block. 9. The information embedding apparatus according to claim 7, wherein the correction matrix is subtracted from a dimensional DCT coefficient matrix to determine a magnitude relationship between feature amounts according to embedding bits. 前記行列成分変化手段は、前記２次元ＤＣＴ係数行列郡中、周波数成分を変化させてデジタル情報を埋め込む２次元ＤＣＴ係数行列と、成分を変化させて幾何学的回転に対抗するための情報を埋め込む２次元ＤＣＴ係数行列とを区別し、前記デジタル情報を埋め込む２次元ＤＣＴ係数行列に基づくブロック間の相対関係によってデジタル情報を定義することを特徴とする、請求項１に記載の情報埋め込み装置。The matrix component changing means includes two-dimensional DCT coefficient matrices for changing frequency components and embedding digital information in the two-dimensional DCT coefficient matrices, and embedding information for changing the components to counter geometric rotation. The information embedding apparatus according to claim 1, wherein the digital information is defined by a relative relationship between blocks based on a two-dimensional DCT coefficient matrix in which the digital information is embedded, distinguishing the two-dimensional DCT coefficient matrix. 複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するための装置であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出する静止画フレーム抽出手段と、
前記静止画フレーム抽出手段が抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
前記分割手段によって得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するデジタル情報抽出手段とを備える、情報抽出装置。A device for extracting digital information embedded in compression-encoded moving image data composed of a plurality of frames,
A still image frame extracting unit that extracts a still image frame that is a single still image independently from other frames from the plurality of frames;
Decoding means for decoding the still image frame extracted by the still image frame extracting means to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
An information extraction apparatus, comprising: digital information extraction means for extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in mutually adjacent blocks among blocks obtained by the division means. 前記動画像データは、ＭＰＥＧ方式による動画像データであり、前記静止画フレームは、Ｉピクチャフレームである、請求項１２に記載の情報抽出装置。13. The information extraction device according to claim 12, wherein the moving image data is moving image data according to the MPEG system, and the still image frame is an I picture frame. 前記デジタル情報抽出手段は、隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分の大小関係に基づいて、１ビットの情報を抽出する、請求項１２に記載の情報抽出装置。13. The information extraction device according to claim 12, wherein the digital information extraction unit extracts 1-bit information based on a magnitude relationship of DC components in a two-dimensional DCT coefficient matrix included in two adjacent blocks. 前記デジタル情報抽出手段は、２次元ＤＣＴ係数行列上における所定のＫ種類の周波数成分に基づいて特徴量を算出し、隣接する二つのブロックにおける特徴量の大小関係に基づいて１ビットの情報を抽出する、請求項１２に記載の情報抽出装置。The digital information extracting means calculates a feature amount based on predetermined K types of frequency components on a two-dimensional DCT coefficient matrix, and extracts 1-bit information based on a magnitude relationship between the feature amounts in two adjacent blocks. The information extraction device according to claim 12, which performs the operation. 圧縮符号化された静止画にデジタル情報を埋め込むための装置であって、
前記静止画を復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
埋め込むべきデジタル情報に基づいて、前記分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定める行列成分変化手段と、
前記行列成分変化手段によって周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
前記デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする、情報埋め込み装置。An apparatus for embedding digital information in a compression-encoded still image,
Decoding means for decoding the still image to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other among the blocks obtained by the dividing unit are changed, and a relative relationship between these blocks is changed. Matrix component changing means for determining
Moving image data for generating a still image frame by encoding a two-dimensional DCT coefficient matrix whose frequency components have been changed by the matrix component changing means and outputting moving image data in which digital information is embedded together with other frames Output means,
The information embedding device, wherein the digital information is defined by a relative relationship between adjacent blocks. 圧縮符号化された静止画に埋め込まれたデジタル情報を抽出するための装置であって、
前記静止画を復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求める復号化手段と、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
前記分割手段によって得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するデジタル情報抽出手段とを備える、情報抽出装置。An apparatus for extracting digital information embedded in a compression-encoded still image,
Decoding means for decoding the still image to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing means for dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
An information extraction apparatus, comprising: digital information extraction means for extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in mutually adjacent blocks among blocks obtained by the division means. 複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための方法であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
埋め込むべきデジタル情報に基づいて、前記分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定めるステップと、
周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
前記デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする、情報埋め込み方法。A method for embedding digital information in compression-encoded moving image data consisting of a plurality of frames,
Extracting a still image frame that is a single still image independently from the other frames from the plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other among the blocks obtained by the dividing unit are changed, and a relative relationship between these blocks is changed. Determining the
Encoding a two-dimensional DCT coefficient matrix with changed frequency components to create a still image frame, and outputting moving image data in which digital information is embedded along with the other frames,
The information embedding method, wherein the digital information is defined by a relative relationship between adjacent blocks. 複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するための方法であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するステップとを備える、情報抽出方法。A method for extracting digital information embedded in compression-encoded moving image data composed of a plurality of frames,
Extracting a still image frame that is a single still image independently from the other frames from the plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in mutually adjacent blocks among the obtained blocks. 複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むためコンピュータ装置で実行されるプログラムであって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
埋め込むべきデジタル情報に基づいて、前記分割手段によって得られたブロックの内、互いに隣接する複数のブロックに含まれる複数の２次元ＤＣＴ係数行列の周波数成分を変化させて、これらのブロック間の相対関係を定めるステップと、
周波数成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
前記デジタル情報は、隣接するブロック間の相対関係によって定義されていることを特徴とする、情報埋め込みプログラム。A program executed by a computer device for embedding digital information in compression-encoded moving image data including a plurality of frames,
Extracting a still image frame that is a single still image independently from the other frames from the plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Based on the digital information to be embedded, the frequency components of a plurality of two-dimensional DCT coefficient matrices included in a plurality of blocks adjacent to each other among the blocks obtained by the dividing unit are changed, and a relative relationship between these blocks is changed. Determining the
Encoding a two-dimensional DCT coefficient matrix with changed frequency components to create a still image frame, and outputting moving image data in which digital information is embedded along with the other frames,
An information embedding program, wherein the digital information is defined by a relative relationship between adjacent blocks. 複数のフレームからなる圧縮符号化された動画像データに埋め込まれたデジタル情報を抽出するためのコンピュータ装置で実行されるプログラムであって、
他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、複数の２次元ＤＣＴ係数行列からなる一つの２次元ＤＣＴ係数行列群を求めるステップと、
隣接する複数の２次元ＤＣＴ係数行列が一つのブロックに含まれるように、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
得られたブロックの内、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列における周波数成分の相対関係によって定義されるデジタル情報を抽出するステップとを備える、情報抽出プログラム。A program executed by a computer device for extracting digital information embedded in compression-encoded moving image data composed of a plurality of frames,
Extracting a still image frame that is a single still image independently from the other frames from the plurality of frames;
Decoding the extracted still image frame to obtain one two-dimensional DCT coefficient matrix group including a plurality of two-dimensional DCT coefficient matrices;
Dividing the two-dimensional DCT coefficient matrix group into a plurality of blocks so that a plurality of adjacent two-dimensional DCT coefficient matrices are included in one block;
Extracting digital information defined by a relative relationship between frequency components in a two-dimensional DCT coefficient matrix included in mutually adjacent blocks among the obtained blocks.
JP2002178509A 2002-06-19 2002-06-19 Information embedding device and information extracting device Expired - Lifetime JP4020302B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002178509A JP4020302B2 (en) 2002-06-19 2002-06-19 Information embedding device and information extracting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002178509A JP4020302B2 (en) 2002-06-19 2002-06-19 Information embedding device and information extracting device

Publications (2)

Publication Number Publication Date
JP2004023633A true JP2004023633A (en) 2004-01-22
JP4020302B2 JP4020302B2 (en) 2007-12-12

Family

ID=31176210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002178509A Expired - Lifetime JP4020302B2 (en) 2002-06-19 2002-06-19 Information embedding device and information extracting device

Country Status (1)

Country Link
JP (1) JP4020302B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023029293A (en) * 2021-08-18 2023-03-03 ネイバー コーポレーション Method and apparatus for extracting fingerprint of video having plurality of frames

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023029293A (en) * 2021-08-18 2023-03-03 ネイバー コーポレーション Method and apparatus for extracting fingerprint of video having plurality of frames
JP7375133B2 (en) 2021-08-18 2023-11-07 ネイバー コーポレーション Method and apparatus for extracting fingerprints from video containing multiple frames

Also Published As

Publication number Publication date
JP4020302B2 (en) 2007-12-12

Similar Documents

Publication Publication Date Title
US6725372B1 (en) Digital watermarking
Sherly et al. A compressed video steganography using TPVD
US20080112490A1 (en) System and method for embedding additional information in video data
JPH11284843A (en) Method and device for incorporating watermark in bit stream representation of digital image sequence
Hzu et al. Digital watermarking for video
JP4353460B2 (en) Movie data processing apparatus and method, and program
WO2010021694A1 (en) Selection of watermarks for the watermarking of compressed video
EP3318064B1 (en) Mpeg-2 video watermarking technique in dc coefficient domain
JP4023324B2 (en) Watermark embedding and image compression unit
Idbeaa et al. A secure and robust compressed domain video steganography for intra-and inter-frames using embedding-based byte differencing (EBBD) scheme
EP2011075A1 (en) Digital watermarking method
US20070291980A1 (en) Video watermarking apparatus in compression domain and method using the same
Ye et al. A new adaptive watermarking for real-time MPEG videos
US8848791B2 (en) Compressed domain video watermarking
Barni et al. Object watermarking for for MPEG-4 video streams copyright protection
JP4945541B2 (en) Digital watermark embedding detection method using degraded host signal
JP5080304B2 (en) Display method of image data with confidential data inserted
CN116095341A (en) Watermark embedding method, device, equipment and storage medium
JP4020302B2 (en) Information embedding device and information extracting device
CN113395475B (en) Data processing method and device, electronic equipment and storage equipment
JP2005109918A (en) Method for inserting secret data into image data, method for detecting secret data and method for displaying image data with secret data inserted
Guo et al. A new data embedding method with a new data embedding domain for JPEG images
Luyen et al. An efficient reversible data hiding based on improved pixel value ordering method
Liu et al. A MPEG-2 video watermarking algorithm with compensation in bit stream
Wang et al. Perceptual differential energy watermarking for H. 264/AVC

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070920

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5