JP2004048219A - 電子透かし情報の挿入方法 - Google Patents
電子透かし情報の挿入方法 Download PDFInfo
- Publication number
- JP2004048219A JP2004048219A JP2002200741A JP2002200741A JP2004048219A JP 2004048219 A JP2004048219 A JP 2004048219A JP 2002200741 A JP2002200741 A JP 2002200741A JP 2002200741 A JP2002200741 A JP 2002200741A JP 2004048219 A JP2004048219 A JP 2004048219A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- motion detection
- compression
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0051—Embedding of the watermark in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0053—Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
Abstract
【課題】コンテンツの質の劣化を抑制し、埋め込み情報の耐久性を向上できる透かし情報の埋め込み方法を提供する。
【解決手段】時系列的に配列された複数の静止画フレームからなる動画データに透かし情報を埋め込む場合に、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動き検出データ）を検出し、この動き検出データを電子透かし挿入処理及び圧縮処理において共用することで、コンテンツの質の劣化を抑制しつつ高速な透かし挿入処理及び圧縮処理を行う。
【選択図】 図１
【解決手段】時系列的に配列された複数の静止画フレームからなる動画データに透かし情報を埋め込む場合に、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動き検出データ）を検出し、この動き検出データを電子透かし挿入処理及び圧縮処理において共用することで、コンテンツの質の劣化を抑制しつつ高速な透かし挿入処理及び圧縮処理を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は情報埋込み方法または装置に関し、特に、ディジタル化された情報に他の情報を埋め込むための方法または装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などのコンテンツがディジタル化され、記憶媒体あるいは通信媒体を介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、コンテンツ情報に人間の視聴覚では気付かない程度の変更を加える方法でコピー制御情報や著作権情報などの他の情報を埋め込むことによって、データ処理装置を利用したコンテンツ情報のコピー回数の制限、あるいは不正コピーされたコンテンツ情報から著作権者の特定を可能にする電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、次の２つの要求を満たす必要がある。
（１） コンテンツ情報の劣化の抑制：
例えば、コンテンツが静止画あるいは動画である場合に、これら画像のデータを対象とした電子透かし情報の埋め込みにおいて、画像に加えた変更がコンテンツの鑑賞の妨げないようにすること。すなわち、コンテンツ情報の一部に加えた変更が人間の視聴覚には目立たないこと。
（２） 耐久性の向上：
画像処理や音声処理を加えても埋め込み情報、すなわち、コンテンツ情報に加えた変更が劣化し難いこと。
【０００４】
上記条件を満たすためには、コンテンツの性質に応じて、コンテンツの変更個所と、変更の程度あるいは強度を最適化する必要がある。以下、コンテンツ情報として代表的な画像を例にして、従来の電子透かし技術を分析する。
【０００５】
画像データの場合、一般に、画像の状態変化が比較的平坦な領域や輪郭部分では、画素（ピクセル）の状態値（輝度あるいは色）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体の画素値の変動の激しい乱雑部分では画素に比較的大きな変更を加えても人間の目には目立たないと言う性質がある。この性質に着目して、例えば、ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ．４５， Ｎｏ．４， ｐｐ． １１５０−１１５８， （１９９９）．には、透かし情報を埋め込むべき画像フレームの輝度変動を分析することによって被写体の乱雑部分を特定し、画素値の変更が目立ちにくい上記乱雑部分では大きな変更を加え、画素値の変更が目立ち易い輪郭部分や平坦部分には変更を加えないか、加えるとしても変更の程度を小さくする電子透かし技術が提案されている。
【０００６】
【発明が解決しようとする課題】
電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。動画データは、時系列的に配列された複数の静止画フレームから構成されており、動画の鑑賞中にフレームの送りを止めることによって、個々のフレームを静止画として鑑賞する場合がある。
【０００７】
このため、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要がある。例えば、特開２０００−１７５０１９号公報（対応ヨーロッパ特許公開公報ＥＰ１００６７３０Ａ２）は、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化する技術を開示している。具体的には、時系列的に配列された複数の静止画フレームからなる動画データに透かし情報を埋め込む場合に、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動画的性質）を検出し、動き量に応じて、各ブロック毎の画素変更率の指定規則を選択し、各ブロック内の画像の状態（静止画的性質）によって決まる輝度変更許容画素のうちから上記規則で指定された個数の画素を選択して、透かし情報となる輝度の変更処理を施す。
【０００８】
しかしながら、動画の性質を考慮するためには、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動画的性質）を検出する必要がある。これは計算量が多く非常に時間のかかる処理であり、出来るだけ高速で透かし挿入を行うことが望まれている。
【０００９】
【課題を解決するための手段】
動画をコンテンツとして流通させる場合は通常、ハードウェアまたはソフトウェアにより実装されるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）やその他の動画圧縮技術を用いた圧縮処理を行っており、これら圧縮処理中においても、動きベクトルと変動量（動画的性質）の検出処理を行なっている。
【００１０】
本発明は、透かし情報の埋め込み対象となるコンテンツ情報が備える動画としての性質を考慮して変更個所と変更強度を最適化するために必要な動きベクトルと変動量を検出する処理をＭＰＥＧ等の圧縮処理と共用することで、一連の処理の負荷を減らす技術を提供する。
【００１１】
本発明による情報埋込み方法の第一の形態は、コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、第一ステップで求めた動きベクトルと変動量を利用して、上記フレームのいずれかに情報を埋め込む第二ステップと、第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第三ステップとを有し、コンテンツに電子透かしを挿入することを特徴とする。
【００１２】
本発明による情報埋込み方法の第二の形態は、圧縮されたコンテンツを構成するフレームに含まれるブロックについて、動きベクトルと変動量を抽出する第一ステップと、上記圧縮されたコンテンツを、情報を埋め込み可能な状態まで伸長して、第一ステップで抽出した動きベクトルと変動量を利用して、上記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第二ステップと、第一ステップで抽出した動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第三ステップとを有し、圧縮されたコンテンツに電子透かしを挿入することを特徴とする。
【００１３】
本発明による情報埋込み方法の第三の形態は、コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、第一ステップで求めた動きベクトルと変動量を利用して上記コンテンツを圧縮する第二ステップと、第二ステップで求めた圧縮したコンテンツを、情報を埋め込み可能な状態にして、第一ステップで求めた動きベクトルと変動量を利用して、上記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第三ステップと、第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第四ステップとを有し、コンテンツに電子透かしを挿入することを特徴とする。
【００１４】
実際の応用においては、埋め込み対象となるコンテンツ情報のその他の性質として、例えば、各静止画フレーム内あるいは各画像ブロック内の輝度の変動を考慮すればよい。
【００１５】
また、別形態において、第一ステップで圧縮コンテンツから動きベクトルと変動量を求めるには、例えば、ＭＰＥＧ等の圧縮がされていて、ブロックマッチング法が用いられている場合は、その動きベクトルと変動量をそのまま用いる。
【００１６】
【発明の実施の形態】
本発明の実施例を図１〜図１０を参照して説明する。なお、以下の各図面において、同じ機能を備える構成要素には同じ番号を付与している。
【００１７】
本実施例では、コンテンツ情報として動画を考える。動画データは時系列的な複数の静止画フレームから構成されており、各静止画フレームの画素の一部に変更を加えることによって、動画に透かし情報を埋め込むことができる。以下に述べる実施例では、各静止画フレームから選ばれた特定の画素に対して、人間の目に違和感を与えない範囲で輝度を変更する。
【００１８】
図１は、第一の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。図１に示すように、透かし情報を挿入する前の動画データである原画１０１及び挿入情報１０２を入力として、透かし挿入及び圧縮処理装置１０３において、透かし情報を挿入した動画データである透かし入り画１０７を生成する。
【００１９】
透かし挿入及び圧縮処理装置１０３内部では、まず最初に動き検出処理装置１０４において、原画１０１を入力として、原画を構成する異なるフレーム間の動き検出処理により、フレーム毎の動きベクトルｖと変動量ｄを求める。以下、フレーム番号と動きベクトルｖと変動量ｄを動き検出データ１０８と総称する。ここで、動き検出処理には、例えばブロックマッチング法など用いられる。
【００２０】
次に電子透かし挿入処理装置１０５において、原画１０１及び各フレーム毎の動き検出データ１０８を入力として、上記動き検出データ１０８を求める元となったフレームのいずれかに対して透かし入り画を生成する。圧縮処理装置１０６においては、動き検出データ１０８及び透かし入り画を入力として、圧縮後透かし入り画１０７を生成する。
【００２１】
図２は、図１で示した電子透かし挿入及び圧縮処理装置１０３の概略構成図であり、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。ＣＰＵ２０１は、電子透かし挿入及び圧縮処理装置１０３全体の動作を制御する装置である。メモリ２０６は、電子透かし挿入及び圧縮処理装置１０３全体の動作を制御する際に、その為の各種処理プログラムや画像データなどのデータを格納する記憶装置である。入力装置２０３は、ＤＶＤ、ＣＤ−ＲＯＭ、ＨＤＤなどの記録媒体上や有線や無線などの通信媒体上の画像データ及び挿入情報の入力を行う装置である。出力装置２０４は、受信した画像データの映像出力を行う装置である。当該画像データに音声データが付加されている場合には、音声出力も行う。通信装置２０５は、インターネットやイントラネットなどのネットワーク、または、ＳＣＳＩやＲＳ４２２などの専用信号線を介して他の処理装置との通信および制御を行う装置である。
【００２２】
電子透かし挿入及び圧縮処理装置１０３は、動き検出処理装置１０４と、電子透かし挿入処理装置１０５と圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、電子透かし挿入及び圧縮処理装置１０３は、入力された原画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。また、各処理装置１０４、１０５、１０６は、制御処理部２０９と同様に、メモリ２０６上に展開されたプログラムにより実現されてもよい。
【００２３】
各プログラムはＣＰＵ２０１により実行されるものである。また、各プログラムの一部または全部は、可搬の記憶媒体から、または、他のサーバから通信媒体を介して、電子透かし挿入及び圧縮処理装置１０３に導入されるものであっても良い。
【００２４】
制御処理２０９は、入力装置２０３により受信された画像データの全部または一部分及び挿入情報を上記画像データ格納領域２０７に処理可能な状態で格納する。
【００２５】
動き検出処理装置１０４は、メモリ２０６上に展開した画像データに対して、フレーム間の動き検出処理を行い、動き検出データ１０８を求め、メモリ２０６上の動き検出データ格納領域へ出力する処理を行う。または、上記動き検出データを透かし挿入処理装置１０５及び圧縮処理装置１０６へ逐次的に出力するようにしても良い。
【００２６】
電子透かし挿入処理装置１０５は、メモリ上に展開された原画に対し、挿入情報及び動き検出データ及び原画より求めた静止画的の性質を用いて、透かし情報の挿入処理を行いメモリ上へ透かし入り画を出力する。
【００２７】
圧縮処理装置１０６は、上記動き検出データを用い、上記透かし入り画に対し、圧縮処理を行いメモリ上へ圧縮後透かし入り画を出力する。
【００２８】
制御処理部２０９は、圧縮処理装置１０５が出力した圧縮後透かし入り画を、出力装置２０３へ出力したり、通信装置２０５を経由して外部の機器に対しての圧縮後透かし入り画を出力したりする処理を行う。
【００２９】
図２に示すように、本実施例において、１０４、１０５、１０６の各処理部、処理装置は、メモリ２０６上のプログラムとして展開されている場合は、耐タンパ領域に格納されることが望ましい。上記電子透かし挿入及び圧縮処理装置１０３がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００３０】
図３は、電子透かし挿入及び圧縮処理装置１０３の処理手順を示すフローチャートである。
【００３１】
ステップ３０１で制御処理部２０９は、入力装置２０３を介して全てまたは一部の原画像データをメモリ２０６内の画像データ格納領域２０７に一時的に格納する。
【００３２】
ステップ３０２で制御処理部２０９は、入力装置２０３を介して入力された全てまたは一部の原画像データのうち、透かし情報の埋め込み対象として着目中の各静止画（以下、着目フレームという）を所定のサイズ、例えば、１６画素×８画素（＝１２８画素）の複数の画像ブロックに分割し、当該画像データを１０３内のメモリ２０６内の画像データ格納領域２０７に格納する。
【００３３】
ステップ３０３で動き検出処理装置１０４は、上記ブロック毎に、時間軸上でＫフレーム離れたフレーム（以下、参照フレームという）と比較し、上記着目フレーム中に含まれる被写体の動きを検出する。この動き検出処理は、図３で詳述するように、上記ブロック毎に動きベクトルと変動量を求める。着目フレームと参照フレームとの間のフレーム間隔を示すパラメータＫの値（例えば、Ｋ＝４）は、圧縮アルゴリズム等に依存し利用者により決定される。
【００３４】
ここで必要とする動き検出は、例えば、ａ ｒｅｖｉｅｗ ａｎｄ ｎｅｗ ｃｏｎｔｒｉｂｕｔｉｏｎ， Ｐｒｏｃ． ＩＥＥＥ， Ｖｏｌ．８３， Ｎｏ．６， ｐｐ． ８５８−８７６， （１９９８）．に示される公知の技術により実現できる。動き検出の結果は、動きベクトルと変動量で表される。動き検出については、図９を用いて後述する。
【００３５】
ステップ３０４で制御処理部２０９は、着目フレームにおいて、全ブロックの動き検出処理がされたかどうか判別し、まだの場合は次のブロックにおいてステップ３０３の処理を行う。
【００３６】
ステップ３０５で電子透かし挿入処理装置１０５は、着目フレームに含まれる静止画像を分析し、画像ピクセル毎の変更容易度を求めた後、ブロック毎に求めた上記動き検出データを用い、着目フレームの各ピクセル毎もしくはブロック毎の変更量を決定し、画素値を変更することで透かしの挿入処理を行う。挿入処理を施した透かし入り画は画像データ格納領域２０７に格納する。
【００３７】
なお、参照フレームに対して透かしの挿入処理を行なうように構成してもよい。
【００３８】
例えば、上記動画を構成する各静止画フレームが７２０×４８０画素からなる場合、これを１６×８画素単位に分割すると、１フレームが４５×６０（＝２７００）個のブロックに分割される。上記フレームに埋め込む透かし情報を６ビット情報（数値０〜６３で表される６４種類の文字コード）とした場合、各ビットに４５０個のブロックを割り当てることができる。
【００３９】
１つのフレームを構成する上記２７００個のブロックをＮ個の文字コードと対応したＮグループに分け、各グループ内において、２７００／Ｎ個のブロックを上記６ビット情報に割り当てると、１ビット当り４５０／Ｎ個のブロックを割り当てることができる。
【００４０】
透かし情報を構成するビットパターンの各ビットを静止画フレーム内の互いに離散した位置関係にある複数の画像ブロックと予め対応付けておき、例えば、あるビット位置にビット情報”１”を書き込む場合は、上記ビット位置と対応した複数の画像ブロックにおいて、輝度を上記ピクセル毎の変更量だけ明るくし、ビット情報”０”を書きこむ場合は、輝度を上記ピクセル毎の変更量だけ暗くすることによって、各フレームにＮ個の文字コードを透かし情報として埋め込むことができる。
【００４１】
フレーム内の画像の状態によっては、輝度の変更が許されないブロックもでてくるが、各ビットにフレーム内で互いに離散した位置関係にある複数の画像ブロックを割り当てておけば、確率的に少なくとも１つのブロックで輝度変更が可能となり、透かし情報を確実に挿入することができる。
【００４２】
上述した画像ブロックとビット情報との対応関係は、透かし情報が与えられた時点で予めテーブル化してメモリ２０６に記憶しておき、電子透かし挿入処理装置１０５がメモリ２０６を参照することによって各ブロック毎の書き込み情報を判断できるようにしておく。
【００４３】
尚、透かし情報は、上記６ビット情報に代えて８ビット情報を適用してもよい。また、上述したように各ビットと画像ブロックとを対応付ける代わりに、例えば、上記６ビット情報で表記できる６４種類の各文字コードと画像ブロックとを対応づけておき、文字コードの有無によって対応する画像ブロックの画素状態を変化させるようにしてもよい。各画素の輝度状態が、例えば、０〜１２７の１２８段階ある場合、変更箇所として指定された各画素について、輝度の段階を指定量だけ変更する代わりに、各画素の輝度変更は１段階に固定して、輝度変更する画素数を上記指定量に応じて可変にするようにしてもよい。
【００４４】
ステップ３０６で圧縮処理装置１０６は、ステップ３０３で求めた動き検出データを用い、画像データ格納領域２０７に格納された透かし入り画に対し圧縮処理を行い、圧縮後の透かし入り画を画像データ格納領域２０７に格納する。ここで、圧縮処理として、例えばＭＰＥＧ圧縮の場合は、ＤＣＴ変換を行ったり、ＤＣＴ係数の量子化を行ったり、可逆圧縮を行ったりする。
【００４５】
ステップ３０７で制御処理部２０９は、全フレームに対し上記の処理がされたかどうか判別し、まだの場合は引き続き次のフレームにおいて３０２からの処理を再開する。
【００４６】
図９は、代表的な動き検出処理であるブロックマッチング法の原理について説明した図である。ブロックマッチング法は、ＭＰＥＧのマクロブロック（１６×１６ピクセル）毎に動きベクトルを推定する代表的な動き検出手法である。具体的な手順は以下の通りである。第一に、着目フレーム画像Ｙ（ｔ）内のマクロブロックと上記ブロック位置から（ｋ， ｌ）だけずれた参照フレームＹ（ｔ’）内のマクロブロックとの差分和Ｄ（ｋ， ｌ）を求める。差分和Ｄは、ｉ， ｊ＝０〜１５の範囲で、
｜Ｙ（ｔ）ｂｘ＋ｉ，ｂｙ＋ｊ−Ｙ（ｔ’）ｂｘ＋ｋ＋ｉ，ｂｙ＋ｌ＋ｊ｜
の絶対値の和を取ったものである。但し、（ｂｘ， ｂｙ）は、マクロブロックの始点を表すピクセル位置である。第二に、算出した差分和Ｄ（ｋ， ｌ）をｋ， ｌの探索範囲内（−１５≦ｋ， ｌ≦１５が一般的）に渡って算出する。すなわち、３１×３１個の差分和が生成される。第三に、３１×３１個の差分和Ｄの中で、最小のものｄを求め変化量ｄとし、その時のベクトルｖを動きベクトルｖとする。
【００４７】
図１０は、ＭＰＥＧ圧縮時に動き検出（ブロックマッチング法）をするときの着目フレームと参照フレームについて説明した図である。ＭＰＥＧ圧縮時に各フレームは、フレーム内の情報のみで圧縮を行うＩフレームと、過去のフレームからフレーム間予測を行うＰフレームと、過去及び未来のフレームからフレーム間予測を行うＢフレームの３つに分類される。ここで、図中の矢印は、動き検出時に比較を行っている２つのフレームを表し、矢印の元は着目フレームであり、矢印の先は参照フレームである。
【００４８】
図４は、第二の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。図４に示すように、圧縮された原画４０１及び挿入情報１０２を入力として、透かし挿入及び圧縮処理装置４０３において、圧縮された透かし入り画１０７を生成する。
【００４９】
透かし挿入及び圧縮処理装置４０３内部では、最初に動き検出処理装置４０４において、ＭＰＥＧ等により圧縮された原画４０１を入力として動き検出データ取得装置により、動き検出データ１０８を取得する。次に電子透かし挿入処理装置４０５において、原画４０１及び動き検出データ１０８を入力として、透かし入り画を生成する。ここで、電子透かし挿入装置４０５は、圧縮画像４０１を完全に伸長するのではなく、透かしが挿入が可能な状態まで伸長する。そして、挿入情報１０２にあわせて、画像の画素値（例えば、ＲＧＢ値、輝度値、色情報など）やＤＣＴ変換を行った後のＤＣＴ係数を指定量だけ上げ下げすることで透かし入り画を作成する。
【００５０】
圧縮処理装置４０６は、動き検出データ１０８及び４０５で生成した透かし入り画を入力とした再圧縮を行ない、圧縮後透かし入り画１０７を生成する。
【００５１】
図５は、第三の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。第三の実施例では、第一、第二の実施例とは異なり、透かし挿入装置と圧縮装置が分離してある。
【００５２】
図５に示すように、最初に透かし挿入装置５０３において、原画１０１及び挿入情報１０２を入力として、動き検出データ１０８と透かし入り画５０７を生成する。
【００５３】
透かし挿入装置５０３内部では、原画１０１を入力として動き検出処理装置５０４により、動き検出データ１０８を求める。次に電子透かし挿入処理装置５０５において、原画１０１及び動き検出データ１０８を入力として、透かし入り画５０７を生成する。
【００５４】
圧縮装置５０８では、生成された動き検出データ１０８と透かし入り画５０７を入力として、圧縮装置１０９において、圧縮後透かし入り画１０７を生成する。
【００５５】
図６は、図５で示した透かし挿入装置５０３及び圧縮処理装置５０８の概略構成図である。図６に示すように、透かし挿入装置５０３及び圧縮処理装置５０８は、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。
【００５６】
透かし挿入装置５０３及び圧縮処理装置５０８は、入力装置２０３や出力装置２０４や通信装置２０５を用いて、画像データや動き検出データや挿入情報などをやりとり可能とする。
【００５７】
透かし挿入装置５０３は、動き検出処理装置１０４と電子透かし挿入処理装置１０５をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、透かし挿入装置５０３は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００５８】
圧縮処理装置５０８は、圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、圧縮処理装置５０８は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、入力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００５９】
上記透かし挿入装置５０３及び圧縮処理装置５０８がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００６０】
図７は、第四の実施例における透かし挿入処理及び圧縮処理の原理を説明するための図である。第四の実施例では、第三の実施例と同様、透かし挿入及び圧縮装置７０８と圧縮装置７０３が分離してある。
【００６１】
図７に示すように、まず最初に圧縮装置７０３において、原画１０１及び挿入情報１０２を入力として、動き検出データ１０８と圧縮後透かし入り画１０７を生成する。圧縮装置７０３内部では、原画１０１を入力として動き検出処理装置１０４により、動き検出データ１０８を求め、次に圧縮処理装置１０５において、原画１０１及び動き検出データ１０８を入力として、圧縮後原画４０１を生成する。
【００６２】
次に、透かし挿入装置７０８において、圧縮装置７０３によって生成された動き検出データ１０８と透かし入り画４０１を入力として、圧縮後透かし入り画１０７を生成する。透かし挿入装置７０８内部では、最初に電子透かし挿入処理装置４０５において、動き検出データ１０８と圧縮後原画４０１と挿入情報１０２を入力として、透かし入り画を生成する。次に、圧縮処理装置４０６において、動き検出データ１０８と生成された透かし入り画４０１を入力として、圧縮後透かし入り画１０７を生成する。
【００６３】
図８は、図７で示した圧縮装置７０３及び透かし挿入装置７０８の概略構成図である。
【００６４】
図８に示すように、圧縮装置７０３及び透かし挿入装置７０８は、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。圧縮装置７０３及び透かし挿入装置７０８は、入力装置２０３や出力装置２０４や通信装置２０５を用いて、画像データや動き検出データや挿入情報などのやりとりを行う。
【００６５】
圧縮装置７０３は、動き検出処理装置１０４と圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、圧縮装置７０３は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、入力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００６６】
透かし挿入装置７０８は、電子透かし挿入処理装置４０５と圧縮処理装置４０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、透かし挿入装置７０８は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００６７】
上記透かし圧縮装置７０３及び透かし挿入装置７０８がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００６８】
上述したように、本実施例では、本来圧縮処理に必要な動き検出データを電子透かし挿入処理に利用することで、動画と静止画の両方の性質を反映させて透かし挿入可能とし、画質劣化を抑制し情報の耐性を向上した高速な透かし情報の埋め込みが可能となる。
【００６９】
【発明の効果】
本発明によれば、高速な透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【図１】透かし挿入及び圧縮処理の原理を説明するための図。
【図２】電子透かし挿入及び圧縮処理装置１０３の概略構成図。
【図３】電子透かし挿入及び圧縮処理装置１０３の処理手順を示すフローチャート。
【図４】第二の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図５】第三の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図６】第三の実施例における透かし挿入装置５０３及び圧縮処理装置５０８の概略構成図。
【図７】第四の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図８】第四の実施例における圧縮装置７０３及び透かし挿入装置７０８の概略構成図。
【図９】代表的な動き検出処理であるブロックマッチング法の原理について説明した図。
【図１０】圧縮時の動き検出において使用する着目フレームと参照フレームについて説明した図。
【符号の説明】
１０１…原画（フレーム画像）、１０２…挿入情報、１０３…透かし挿入及び圧縮装置、１０４…動き検出処理装置（ブロックマッチング）、１０５…電子透かし挿入処理装置、１０６…圧縮処理装置、１０７…圧縮後透かし入り画、１０８…動き検出データ。
【発明の属する技術分野】
本発明は情報埋込み方法または装置に関し、特に、ディジタル化された情報に他の情報を埋め込むための方法または装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などのコンテンツがディジタル化され、記憶媒体あるいは通信媒体を介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、コンテンツ情報に人間の視聴覚では気付かない程度の変更を加える方法でコピー制御情報や著作権情報などの他の情報を埋め込むことによって、データ処理装置を利用したコンテンツ情報のコピー回数の制限、あるいは不正コピーされたコンテンツ情報から著作権者の特定を可能にする電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、次の２つの要求を満たす必要がある。
（１） コンテンツ情報の劣化の抑制：
例えば、コンテンツが静止画あるいは動画である場合に、これら画像のデータを対象とした電子透かし情報の埋め込みにおいて、画像に加えた変更がコンテンツの鑑賞の妨げないようにすること。すなわち、コンテンツ情報の一部に加えた変更が人間の視聴覚には目立たないこと。
（２） 耐久性の向上：
画像処理や音声処理を加えても埋め込み情報、すなわち、コンテンツ情報に加えた変更が劣化し難いこと。
【０００４】
上記条件を満たすためには、コンテンツの性質に応じて、コンテンツの変更個所と、変更の程度あるいは強度を最適化する必要がある。以下、コンテンツ情報として代表的な画像を例にして、従来の電子透かし技術を分析する。
【０００５】
画像データの場合、一般に、画像の状態変化が比較的平坦な領域や輪郭部分では、画素（ピクセル）の状態値（輝度あるいは色）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体の画素値の変動の激しい乱雑部分では画素に比較的大きな変更を加えても人間の目には目立たないと言う性質がある。この性質に着目して、例えば、ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ．４５， Ｎｏ．４， ｐｐ． １１５０−１１５８， （１９９９）．には、透かし情報を埋め込むべき画像フレームの輝度変動を分析することによって被写体の乱雑部分を特定し、画素値の変更が目立ちにくい上記乱雑部分では大きな変更を加え、画素値の変更が目立ち易い輪郭部分や平坦部分には変更を加えないか、加えるとしても変更の程度を小さくする電子透かし技術が提案されている。
【０００６】
【発明が解決しようとする課題】
電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。動画データは、時系列的に配列された複数の静止画フレームから構成されており、動画の鑑賞中にフレームの送りを止めることによって、個々のフレームを静止画として鑑賞する場合がある。
【０００７】
このため、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要がある。例えば、特開２０００−１７５０１９号公報（対応ヨーロッパ特許公開公報ＥＰ１００６７３０Ａ２）は、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化する技術を開示している。具体的には、時系列的に配列された複数の静止画フレームからなる動画データに透かし情報を埋め込む場合に、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動画的性質）を検出し、動き量に応じて、各ブロック毎の画素変更率の指定規則を選択し、各ブロック内の画像の状態（静止画的性質）によって決まる輝度変更許容画素のうちから上記規則で指定された個数の画素を選択して、透かし情報となる輝度の変更処理を施す。
【０００８】
しかしながら、動画の性質を考慮するためには、着目フレーム中の各画像ブロック毎に動きベクトルと変動量（動画的性質）を検出する必要がある。これは計算量が多く非常に時間のかかる処理であり、出来るだけ高速で透かし挿入を行うことが望まれている。
【０００９】
【課題を解決するための手段】
動画をコンテンツとして流通させる場合は通常、ハードウェアまたはソフトウェアにより実装されるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）やその他の動画圧縮技術を用いた圧縮処理を行っており、これら圧縮処理中においても、動きベクトルと変動量（動画的性質）の検出処理を行なっている。
【００１０】
本発明は、透かし情報の埋め込み対象となるコンテンツ情報が備える動画としての性質を考慮して変更個所と変更強度を最適化するために必要な動きベクトルと変動量を検出する処理をＭＰＥＧ等の圧縮処理と共用することで、一連の処理の負荷を減らす技術を提供する。
【００１１】
本発明による情報埋込み方法の第一の形態は、コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、第一ステップで求めた動きベクトルと変動量を利用して、上記フレームのいずれかに情報を埋め込む第二ステップと、第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第三ステップとを有し、コンテンツに電子透かしを挿入することを特徴とする。
【００１２】
本発明による情報埋込み方法の第二の形態は、圧縮されたコンテンツを構成するフレームに含まれるブロックについて、動きベクトルと変動量を抽出する第一ステップと、上記圧縮されたコンテンツを、情報を埋め込み可能な状態まで伸長して、第一ステップで抽出した動きベクトルと変動量を利用して、上記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第二ステップと、第一ステップで抽出した動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第三ステップとを有し、圧縮されたコンテンツに電子透かしを挿入することを特徴とする。
【００１３】
本発明による情報埋込み方法の第三の形態は、コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、第一ステップで求めた動きベクトルと変動量を利用して上記コンテンツを圧縮する第二ステップと、第二ステップで求めた圧縮したコンテンツを、情報を埋め込み可能な状態にして、第一ステップで求めた動きベクトルと変動量を利用して、上記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第三ステップと、第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ上記フレームからなるコンテンツを圧縮する第四ステップとを有し、コンテンツに電子透かしを挿入することを特徴とする。
【００１４】
実際の応用においては、埋め込み対象となるコンテンツ情報のその他の性質として、例えば、各静止画フレーム内あるいは各画像ブロック内の輝度の変動を考慮すればよい。
【００１５】
また、別形態において、第一ステップで圧縮コンテンツから動きベクトルと変動量を求めるには、例えば、ＭＰＥＧ等の圧縮がされていて、ブロックマッチング法が用いられている場合は、その動きベクトルと変動量をそのまま用いる。
【００１６】
【発明の実施の形態】
本発明の実施例を図１〜図１０を参照して説明する。なお、以下の各図面において、同じ機能を備える構成要素には同じ番号を付与している。
【００１７】
本実施例では、コンテンツ情報として動画を考える。動画データは時系列的な複数の静止画フレームから構成されており、各静止画フレームの画素の一部に変更を加えることによって、動画に透かし情報を埋め込むことができる。以下に述べる実施例では、各静止画フレームから選ばれた特定の画素に対して、人間の目に違和感を与えない範囲で輝度を変更する。
【００１８】
図１は、第一の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。図１に示すように、透かし情報を挿入する前の動画データである原画１０１及び挿入情報１０２を入力として、透かし挿入及び圧縮処理装置１０３において、透かし情報を挿入した動画データである透かし入り画１０７を生成する。
【００１９】
透かし挿入及び圧縮処理装置１０３内部では、まず最初に動き検出処理装置１０４において、原画１０１を入力として、原画を構成する異なるフレーム間の動き検出処理により、フレーム毎の動きベクトルｖと変動量ｄを求める。以下、フレーム番号と動きベクトルｖと変動量ｄを動き検出データ１０８と総称する。ここで、動き検出処理には、例えばブロックマッチング法など用いられる。
【００２０】
次に電子透かし挿入処理装置１０５において、原画１０１及び各フレーム毎の動き検出データ１０８を入力として、上記動き検出データ１０８を求める元となったフレームのいずれかに対して透かし入り画を生成する。圧縮処理装置１０６においては、動き検出データ１０８及び透かし入り画を入力として、圧縮後透かし入り画１０７を生成する。
【００２１】
図２は、図１で示した電子透かし挿入及び圧縮処理装置１０３の概略構成図であり、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。ＣＰＵ２０１は、電子透かし挿入及び圧縮処理装置１０３全体の動作を制御する装置である。メモリ２０６は、電子透かし挿入及び圧縮処理装置１０３全体の動作を制御する際に、その為の各種処理プログラムや画像データなどのデータを格納する記憶装置である。入力装置２０３は、ＤＶＤ、ＣＤ−ＲＯＭ、ＨＤＤなどの記録媒体上や有線や無線などの通信媒体上の画像データ及び挿入情報の入力を行う装置である。出力装置２０４は、受信した画像データの映像出力を行う装置である。当該画像データに音声データが付加されている場合には、音声出力も行う。通信装置２０５は、インターネットやイントラネットなどのネットワーク、または、ＳＣＳＩやＲＳ４２２などの専用信号線を介して他の処理装置との通信および制御を行う装置である。
【００２２】
電子透かし挿入及び圧縮処理装置１０３は、動き検出処理装置１０４と、電子透かし挿入処理装置１０５と圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、電子透かし挿入及び圧縮処理装置１０３は、入力された原画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。また、各処理装置１０４、１０５、１０６は、制御処理部２０９と同様に、メモリ２０６上に展開されたプログラムにより実現されてもよい。
【００２３】
各プログラムはＣＰＵ２０１により実行されるものである。また、各プログラムの一部または全部は、可搬の記憶媒体から、または、他のサーバから通信媒体を介して、電子透かし挿入及び圧縮処理装置１０３に導入されるものであっても良い。
【００２４】
制御処理２０９は、入力装置２０３により受信された画像データの全部または一部分及び挿入情報を上記画像データ格納領域２０７に処理可能な状態で格納する。
【００２５】
動き検出処理装置１０４は、メモリ２０６上に展開した画像データに対して、フレーム間の動き検出処理を行い、動き検出データ１０８を求め、メモリ２０６上の動き検出データ格納領域へ出力する処理を行う。または、上記動き検出データを透かし挿入処理装置１０５及び圧縮処理装置１０６へ逐次的に出力するようにしても良い。
【００２６】
電子透かし挿入処理装置１０５は、メモリ上に展開された原画に対し、挿入情報及び動き検出データ及び原画より求めた静止画的の性質を用いて、透かし情報の挿入処理を行いメモリ上へ透かし入り画を出力する。
【００２７】
圧縮処理装置１０６は、上記動き検出データを用い、上記透かし入り画に対し、圧縮処理を行いメモリ上へ圧縮後透かし入り画を出力する。
【００２８】
制御処理部２０９は、圧縮処理装置１０５が出力した圧縮後透かし入り画を、出力装置２０３へ出力したり、通信装置２０５を経由して外部の機器に対しての圧縮後透かし入り画を出力したりする処理を行う。
【００２９】
図２に示すように、本実施例において、１０４、１０５、１０６の各処理部、処理装置は、メモリ２０６上のプログラムとして展開されている場合は、耐タンパ領域に格納されることが望ましい。上記電子透かし挿入及び圧縮処理装置１０３がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００３０】
図３は、電子透かし挿入及び圧縮処理装置１０３の処理手順を示すフローチャートである。
【００３１】
ステップ３０１で制御処理部２０９は、入力装置２０３を介して全てまたは一部の原画像データをメモリ２０６内の画像データ格納領域２０７に一時的に格納する。
【００３２】
ステップ３０２で制御処理部２０９は、入力装置２０３を介して入力された全てまたは一部の原画像データのうち、透かし情報の埋め込み対象として着目中の各静止画（以下、着目フレームという）を所定のサイズ、例えば、１６画素×８画素（＝１２８画素）の複数の画像ブロックに分割し、当該画像データを１０３内のメモリ２０６内の画像データ格納領域２０７に格納する。
【００３３】
ステップ３０３で動き検出処理装置１０４は、上記ブロック毎に、時間軸上でＫフレーム離れたフレーム（以下、参照フレームという）と比較し、上記着目フレーム中に含まれる被写体の動きを検出する。この動き検出処理は、図３で詳述するように、上記ブロック毎に動きベクトルと変動量を求める。着目フレームと参照フレームとの間のフレーム間隔を示すパラメータＫの値（例えば、Ｋ＝４）は、圧縮アルゴリズム等に依存し利用者により決定される。
【００３４】
ここで必要とする動き検出は、例えば、ａ ｒｅｖｉｅｗ ａｎｄ ｎｅｗ ｃｏｎｔｒｉｂｕｔｉｏｎ， Ｐｒｏｃ． ＩＥＥＥ， Ｖｏｌ．８３， Ｎｏ．６， ｐｐ． ８５８−８７６， （１９９８）．に示される公知の技術により実現できる。動き検出の結果は、動きベクトルと変動量で表される。動き検出については、図９を用いて後述する。
【００３５】
ステップ３０４で制御処理部２０９は、着目フレームにおいて、全ブロックの動き検出処理がされたかどうか判別し、まだの場合は次のブロックにおいてステップ３０３の処理を行う。
【００３６】
ステップ３０５で電子透かし挿入処理装置１０５は、着目フレームに含まれる静止画像を分析し、画像ピクセル毎の変更容易度を求めた後、ブロック毎に求めた上記動き検出データを用い、着目フレームの各ピクセル毎もしくはブロック毎の変更量を決定し、画素値を変更することで透かしの挿入処理を行う。挿入処理を施した透かし入り画は画像データ格納領域２０７に格納する。
【００３７】
なお、参照フレームに対して透かしの挿入処理を行なうように構成してもよい。
【００３８】
例えば、上記動画を構成する各静止画フレームが７２０×４８０画素からなる場合、これを１６×８画素単位に分割すると、１フレームが４５×６０（＝２７００）個のブロックに分割される。上記フレームに埋め込む透かし情報を６ビット情報（数値０〜６３で表される６４種類の文字コード）とした場合、各ビットに４５０個のブロックを割り当てることができる。
【００３９】
１つのフレームを構成する上記２７００個のブロックをＮ個の文字コードと対応したＮグループに分け、各グループ内において、２７００／Ｎ個のブロックを上記６ビット情報に割り当てると、１ビット当り４５０／Ｎ個のブロックを割り当てることができる。
【００４０】
透かし情報を構成するビットパターンの各ビットを静止画フレーム内の互いに離散した位置関係にある複数の画像ブロックと予め対応付けておき、例えば、あるビット位置にビット情報”１”を書き込む場合は、上記ビット位置と対応した複数の画像ブロックにおいて、輝度を上記ピクセル毎の変更量だけ明るくし、ビット情報”０”を書きこむ場合は、輝度を上記ピクセル毎の変更量だけ暗くすることによって、各フレームにＮ個の文字コードを透かし情報として埋め込むことができる。
【００４１】
フレーム内の画像の状態によっては、輝度の変更が許されないブロックもでてくるが、各ビットにフレーム内で互いに離散した位置関係にある複数の画像ブロックを割り当てておけば、確率的に少なくとも１つのブロックで輝度変更が可能となり、透かし情報を確実に挿入することができる。
【００４２】
上述した画像ブロックとビット情報との対応関係は、透かし情報が与えられた時点で予めテーブル化してメモリ２０６に記憶しておき、電子透かし挿入処理装置１０５がメモリ２０６を参照することによって各ブロック毎の書き込み情報を判断できるようにしておく。
【００４３】
尚、透かし情報は、上記６ビット情報に代えて８ビット情報を適用してもよい。また、上述したように各ビットと画像ブロックとを対応付ける代わりに、例えば、上記６ビット情報で表記できる６４種類の各文字コードと画像ブロックとを対応づけておき、文字コードの有無によって対応する画像ブロックの画素状態を変化させるようにしてもよい。各画素の輝度状態が、例えば、０〜１２７の１２８段階ある場合、変更箇所として指定された各画素について、輝度の段階を指定量だけ変更する代わりに、各画素の輝度変更は１段階に固定して、輝度変更する画素数を上記指定量に応じて可変にするようにしてもよい。
【００４４】
ステップ３０６で圧縮処理装置１０６は、ステップ３０３で求めた動き検出データを用い、画像データ格納領域２０７に格納された透かし入り画に対し圧縮処理を行い、圧縮後の透かし入り画を画像データ格納領域２０７に格納する。ここで、圧縮処理として、例えばＭＰＥＧ圧縮の場合は、ＤＣＴ変換を行ったり、ＤＣＴ係数の量子化を行ったり、可逆圧縮を行ったりする。
【００４５】
ステップ３０７で制御処理部２０９は、全フレームに対し上記の処理がされたかどうか判別し、まだの場合は引き続き次のフレームにおいて３０２からの処理を再開する。
【００４６】
図９は、代表的な動き検出処理であるブロックマッチング法の原理について説明した図である。ブロックマッチング法は、ＭＰＥＧのマクロブロック（１６×１６ピクセル）毎に動きベクトルを推定する代表的な動き検出手法である。具体的な手順は以下の通りである。第一に、着目フレーム画像Ｙ（ｔ）内のマクロブロックと上記ブロック位置から（ｋ， ｌ）だけずれた参照フレームＹ（ｔ’）内のマクロブロックとの差分和Ｄ（ｋ， ｌ）を求める。差分和Ｄは、ｉ， ｊ＝０〜１５の範囲で、
｜Ｙ（ｔ）ｂｘ＋ｉ，ｂｙ＋ｊ−Ｙ（ｔ’）ｂｘ＋ｋ＋ｉ，ｂｙ＋ｌ＋ｊ｜
の絶対値の和を取ったものである。但し、（ｂｘ， ｂｙ）は、マクロブロックの始点を表すピクセル位置である。第二に、算出した差分和Ｄ（ｋ， ｌ）をｋ， ｌの探索範囲内（−１５≦ｋ， ｌ≦１５が一般的）に渡って算出する。すなわち、３１×３１個の差分和が生成される。第三に、３１×３１個の差分和Ｄの中で、最小のものｄを求め変化量ｄとし、その時のベクトルｖを動きベクトルｖとする。
【００４７】
図１０は、ＭＰＥＧ圧縮時に動き検出（ブロックマッチング法）をするときの着目フレームと参照フレームについて説明した図である。ＭＰＥＧ圧縮時に各フレームは、フレーム内の情報のみで圧縮を行うＩフレームと、過去のフレームからフレーム間予測を行うＰフレームと、過去及び未来のフレームからフレーム間予測を行うＢフレームの３つに分類される。ここで、図中の矢印は、動き検出時に比較を行っている２つのフレームを表し、矢印の元は着目フレームであり、矢印の先は参照フレームである。
【００４８】
図４は、第二の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。図４に示すように、圧縮された原画４０１及び挿入情報１０２を入力として、透かし挿入及び圧縮処理装置４０３において、圧縮された透かし入り画１０７を生成する。
【００４９】
透かし挿入及び圧縮処理装置４０３内部では、最初に動き検出処理装置４０４において、ＭＰＥＧ等により圧縮された原画４０１を入力として動き検出データ取得装置により、動き検出データ１０８を取得する。次に電子透かし挿入処理装置４０５において、原画４０１及び動き検出データ１０８を入力として、透かし入り画を生成する。ここで、電子透かし挿入装置４０５は、圧縮画像４０１を完全に伸長するのではなく、透かしが挿入が可能な状態まで伸長する。そして、挿入情報１０２にあわせて、画像の画素値（例えば、ＲＧＢ値、輝度値、色情報など）やＤＣＴ変換を行った後のＤＣＴ係数を指定量だけ上げ下げすることで透かし入り画を作成する。
【００５０】
圧縮処理装置４０６は、動き検出データ１０８及び４０５で生成した透かし入り画を入力とした再圧縮を行ない、圧縮後透かし入り画１０７を生成する。
【００５１】
図５は、第三の実施例における透かし挿入及び圧縮処理の原理を説明するための図である。第三の実施例では、第一、第二の実施例とは異なり、透かし挿入装置と圧縮装置が分離してある。
【００５２】
図５に示すように、最初に透かし挿入装置５０３において、原画１０１及び挿入情報１０２を入力として、動き検出データ１０８と透かし入り画５０７を生成する。
【００５３】
透かし挿入装置５０３内部では、原画１０１を入力として動き検出処理装置５０４により、動き検出データ１０８を求める。次に電子透かし挿入処理装置５０５において、原画１０１及び動き検出データ１０８を入力として、透かし入り画５０７を生成する。
【００５４】
圧縮装置５０８では、生成された動き検出データ１０８と透かし入り画５０７を入力として、圧縮装置１０９において、圧縮後透かし入り画１０７を生成する。
【００５５】
図６は、図５で示した透かし挿入装置５０３及び圧縮処理装置５０８の概略構成図である。図６に示すように、透かし挿入装置５０３及び圧縮処理装置５０８は、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。
【００５６】
透かし挿入装置５０３及び圧縮処理装置５０８は、入力装置２０３や出力装置２０４や通信装置２０５を用いて、画像データや動き検出データや挿入情報などをやりとり可能とする。
【００５７】
透かし挿入装置５０３は、動き検出処理装置１０４と電子透かし挿入処理装置１０５をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、透かし挿入装置５０３は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００５８】
圧縮処理装置５０８は、圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、圧縮処理装置５０８は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、入力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００５９】
上記透かし挿入装置５０３及び圧縮処理装置５０８がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００６０】
図７は、第四の実施例における透かし挿入処理及び圧縮処理の原理を説明するための図である。第四の実施例では、第三の実施例と同様、透かし挿入及び圧縮装置７０８と圧縮装置７０３が分離してある。
【００６１】
図７に示すように、まず最初に圧縮装置７０３において、原画１０１及び挿入情報１０２を入力として、動き検出データ１０８と圧縮後透かし入り画１０７を生成する。圧縮装置７０３内部では、原画１０１を入力として動き検出処理装置１０４により、動き検出データ１０８を求め、次に圧縮処理装置１０５において、原画１０１及び動き検出データ１０８を入力として、圧縮後原画４０１を生成する。
【００６２】
次に、透かし挿入装置７０８において、圧縮装置７０３によって生成された動き検出データ１０８と透かし入り画４０１を入力として、圧縮後透かし入り画１０７を生成する。透かし挿入装置７０８内部では、最初に電子透かし挿入処理装置４０５において、動き検出データ１０８と圧縮後原画４０１と挿入情報１０２を入力として、透かし入り画を生成する。次に、圧縮処理装置４０６において、動き検出データ１０８と生成された透かし入り画４０１を入力として、圧縮後透かし入り画１０７を生成する。
【００６３】
図８は、図７で示した圧縮装置７０３及び透かし挿入装置７０８の概略構成図である。
【００６４】
図８に示すように、圧縮装置７０３及び透かし挿入装置７０８は、ＣＰＵ２０１と、ＲＯＭ２０２と、入力装置２０３と、出力装置２０４と、通信装置２０５と、メモリ２０６とを有している。圧縮装置７０３及び透かし挿入装置７０８は、入力装置２０３や出力装置２０４や通信装置２０５を用いて、画像データや動き検出データや挿入情報などのやりとりを行う。
【００６５】
圧縮装置７０３は、動き検出処理装置１０４と圧縮処理装置１０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、圧縮装置７０３は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、入力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００６６】
透かし挿入装置７０８は、電子透かし挿入処理装置４０５と圧縮処理装置４０６をＬＳＩチップ上に実装された回路として、制御処理部２０９をメモリ２０６上に展開されたプログラムとして有する。また、透かし挿入装置７０８は、入力された画像データや圧縮前後の透かし入り画を格納する画像データ格納領域２０７と、動き検出処理装置１０４により出力された動き検出データ１０８を格納する動き検出データ格納領域２０８をメモリ２０６内に有する。
【００６７】
上記透かし圧縮装置７０３及び透かし挿入装置７０８がＰＣのようにユーザが比較的容易にプログラムをインストールできる装置である場合に、ＯＳとＯＳ上のアプリケーションの汎用的な機能を利用した受信機能などによって、画像データの受信をおこなった場合にも、上記耐タンパ領域に格納された各処理部を経由して画像データのアクセスが行われるものとする。
【００６８】
上述したように、本実施例では、本来圧縮処理に必要な動き検出データを電子透かし挿入処理に利用することで、動画と静止画の両方の性質を反映させて透かし挿入可能とし、画質劣化を抑制し情報の耐性を向上した高速な透かし情報の埋め込みが可能となる。
【００６９】
【発明の効果】
本発明によれば、高速な透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【図１】透かし挿入及び圧縮処理の原理を説明するための図。
【図２】電子透かし挿入及び圧縮処理装置１０３の概略構成図。
【図３】電子透かし挿入及び圧縮処理装置１０３の処理手順を示すフローチャート。
【図４】第二の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図５】第三の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図６】第三の実施例における透かし挿入装置５０３及び圧縮処理装置５０８の概略構成図。
【図７】第四の実施例における透かし挿入及び圧縮処理の原理を説明するための図。
【図８】第四の実施例における圧縮装置７０３及び透かし挿入装置７０８の概略構成図。
【図９】代表的な動き検出処理であるブロックマッチング法の原理について説明した図。
【図１０】圧縮時の動き検出において使用する着目フレームと参照フレームについて説明した図。
【符号の説明】
１０１…原画（フレーム画像）、１０２…挿入情報、１０３…透かし挿入及び圧縮装置、１０４…動き検出処理装置（ブロックマッチング）、１０５…電子透かし挿入処理装置、１０６…圧縮処理装置、１０７…圧縮後透かし入り画、１０８…動き検出データ。
Claims (3)
- コンテンツに電子透かしを挿入する電子透かし情報の挿入方法であって、
前記コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、
第一ステップで求めた動きベクトルと変動量を利用して、
前記フレームのいずれかに情報を埋め込む第二ステップと、
第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ前記フレームからなるコンテンツを圧縮する第三ステップとを有する
ことを特徴とする電子透かし情報の挿入方法。 - 圧縮されたコンテンツに電子透かしを挿入する電子透かし情報の挿入方法であって、
前記圧縮されたコンテンツを構成するフレームに含まれるブロックについて、動きベクトルと変動量を抽出する第一ステップと、
前記圧縮されたコンテンツを、情報を埋め込み可能な状態まで伸長して、第一ステップで抽出した動きベクトルと変動量を利用して、前記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第二ステップと、
第一ステップで抽出した動きベクトルと変動量を利用して、情報を埋め込んだ前記フレームからなるコンテンツを圧縮する第三ステップとを有することを特徴とする電子透かし情報の挿入方法。 - コンテンツに電子透かしを挿入する電子透かし情報の挿入方法であって、
前記コンテンツを構成するフレームに含まれるブロックについて、他のフレームと比較して動きベクトルと変動量を求める第一ステップと、
第一ステップで求めた動きベクトルと変動量を利用して前記コンテンツを圧縮する第二ステップと、
第二ステップで求めた圧縮したコンテンツを、情報を埋め込み可能な状態にして、第一ステップで求めた動きベクトルと変動量を利用して、前記情報を埋め込み可能な状態になったフレームのいずれかに情報を埋め込む第三ステップと、
第一ステップで求めた動きベクトルと変動量を利用して、情報を埋め込んだ前記フレームからなるコンテンツを圧縮する第四ステップとを有することを特徴とする電子透かし情報の挿入方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002200741A JP2004048219A (ja) | 2002-07-10 | 2002-07-10 | 電子透かし情報の挿入方法 |
| US10/418,287 US20040008923A1 (en) | 2002-07-10 | 2003-04-18 | Method for embedding digital watermark information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002200741A JP2004048219A (ja) | 2002-07-10 | 2002-07-10 | 電子透かし情報の挿入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004048219A true JP2004048219A (ja) | 2004-02-12 |
| JP2004048219A5 JP2004048219A5 (ja) | 2005-09-08 |
Family
ID=30112532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002200741A Pending JP2004048219A (ja) | 2002-07-10 | 2002-07-10 | 電子透かし情報の挿入方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040008923A1 (ja) |
| JP (1) | JP2004048219A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012151535A (ja) * | 2011-01-17 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6590996B1 (en) * | 2000-02-14 | 2003-07-08 | Digimarc Corporation | Color adaptive watermarking |
| US7567721B2 (en) * | 2002-01-22 | 2009-07-28 | Digimarc Corporation | Digital watermarking of low bit rate video |
| KR100556848B1 (ko) * | 2003-05-13 | 2006-03-10 | 엘지전자 주식회사 | 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법 |
| US20060045308A1 (en) * | 2004-09-02 | 2006-03-02 | Microsoft Corporation | Camera and method for watermarking film content |
| JP2008090438A (ja) * | 2006-09-29 | 2008-04-17 | Hitachi Koukiyou Syst Eng Kk | 動画コンテンツの改ざん検出装置及びシステム |
| US8300877B2 (en) * | 2007-02-20 | 2012-10-30 | Sony Mobile Communications Ab | Copy protected information distribution |
| US20090147985A1 (en) * | 2007-12-07 | 2009-06-11 | Xuemin Chen | METHOD AND SYSTEM FOR secure WATERMARK EMBEDDING AND EXTRACTION DATA FLOW ARCHITECTURE |
| US8848791B2 (en) * | 2010-09-29 | 2014-09-30 | Futurewei Technologies, Inc. | Compressed domain video watermarking |
| CN104462886B (zh) * | 2014-11-28 | 2017-10-31 | 重庆市地理信息中心 | 一种基于矢量空间数据对象存储顺序的数字水印方法 |
| JP2019184670A (ja) * | 2018-04-03 | 2019-10-24 | シャープ株式会社 | 画像処理装置、及び表示装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3230263B2 (ja) * | 1992-01-31 | 2001-11-19 | ソニー株式会社 | 動きベクトル検出回路 |
| US5960081A (en) * | 1997-06-05 | 1999-09-28 | Cray Research, Inc. | Embedding a digital signature in a video sequence |
| JP4035257B2 (ja) * | 1998-04-10 | 2008-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
| US7346776B2 (en) * | 2000-09-11 | 2008-03-18 | Digimarc Corporation | Authenticating media signals by adjusting frequency characteristics to reference values |
-
2002
- 2002-07-10 JP JP2002200741A patent/JP2004048219A/ja active Pending
-
2003
- 2003-04-18 US US10/418,287 patent/US20040008923A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012151535A (ja) * | 2011-01-17 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040008923A1 (en) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Darmstaedter et al. | Low cost spatial watermarking | |
| EP0901102B1 (en) | Watermark embedding method and system | |
| US7113613B2 (en) | Watermark information detection method | |
| US6798893B1 (en) | Digital watermarking technique | |
| US7630512B2 (en) | Method for performing recoverable video and image watermarking which survives block-based video and image compression | |
| US7502488B2 (en) | Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data | |
| JP2004500728A (ja) | データ調製及び電子透かし挿入方法 | |
| US7254830B2 (en) | Insertion of messages in digital data | |
| JP5638239B2 (ja) | デジタル透かし入れ方法 | |
| JP2004048219A (ja) | 電子透かし情報の挿入方法 | |
| Ye et al. | A new adaptive watermarking for real-time MPEG videos | |
| JP3762655B2 (ja) | 情報埋め込み装置、検出装置、データ処理方法、プログラム及び記憶媒体 | |
| JP2001119557A (ja) | 電子透かし埋め込み装置および方法 | |
| JP2000175161A (ja) | 動画像に対する透かしデータ埋め込み装置および検出装置 | |
| JP4945541B2 (ja) | 劣化ホスト信号利用の電子透かし埋め込み検出方法 | |
| Sun et al. | A motion location based video watermarking scheme using ICA to extract dynamic frames | |
| JP4042887B2 (ja) | 動画像電子透かし装置 | |
| JP2001008019A (ja) | 画像処理装置およびその方法 | |
| US6944314B2 (en) | Digital information embedding device embedding digital watermark information in exact digital content, computer-readable recording medium having digital information embedding program recorded therein, and method of embedding digital information | |
| CN111065000A (zh) | 视频水印处理方法、装置及存储介质 | |
| JP3566924B2 (ja) | 電子透かし埋め込み方法，検出方法，電子透かし埋め込み装置，検出装置および電子透かし埋め込みプログラムを記録した記録媒体，検出プログラムを記録した記録媒体 | |
| JP4268377B2 (ja) | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム | |
| KR100768669B1 (ko) | 움직임 벡터의 최소변경 기법을 이용한 블라인드 비디오워터마킹의 방법 | |
| Luyen et al. | An efficient reversible data hiding based on improved pixel value ordering method | |
| JP4641041B2 (ja) | 動画像の電子透かし検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050314 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080129 |