JP2001111973A - 動画像電子透かし装置 - Google Patents

動画像電子透かし装置

Info

Publication number
JP2001111973A
JP2001111973A JP2000011978A JP2000011978A JP2001111973A JP 2001111973 A JP2001111973 A JP 2001111973A JP 2000011978 A JP2000011978 A JP 2000011978A JP 2000011978 A JP2000011978 A JP 2000011978A JP 2001111973 A JP2001111973 A JP 2001111973A
Authority
JP
Japan
Prior art keywords
watermark data
embedded
dct
embedding
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000011978A
Other languages
English (en)
Other versions
JP4042887B2 (ja
Inventor
Shigeyuki Sakasawa
茂之 酒澤
Tetsuji Yamashita
鉄司 山下
Yasuhiro Takishima
康弘 滝嶋
Masahiro Wada
正裕 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
DDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DDI Corp filed Critical DDI Corp
Priority to JP2000011978A priority Critical patent/JP4042887B2/ja
Publication of JP2001111973A publication Critical patent/JP2001111973A/ja
Application granted granted Critical
Publication of JP4042887B2 publication Critical patent/JP4042887B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064Geometric transfor invariant watermarking, e.g. affine transform invariant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 他者からフレームを間引く等の攻撃を受けて
も大きな耐性を有する動画像電子透かし装置を提供す
る。 【解決手段】 ブロック分割された画像フレームから、
予め定められた位置にある複数個のブロックM1 〜M4
を抽出し、該抽出された複数個のブロックの各々の少な
くとも一つの係数値に透かしデータを埋め込む。該透か
しデータの埋め込み処理をされる複数個のブロックのパ
ターンを複数個作成する。また、前記DCT処理を施さ
れた複数のブロックの各々の少なくとも一つの係数値に
透かしデータを埋め込むのに代えて、該DCT処理を施
された複数のブロックの各々の少なくとも一つの係数値
に透かしデータを埋め込む処理と埋め込まない処理とを
するようにする。この場合、透かしデータの埋め込み位
置だけでなく、透かしデータの埋め込みの有無で表され
たビット情報をも著作権を明らかにするデータとなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は動画像電子透かし
装置に関し、特に動画像を配信する際に透かしを埋め込
むことにより、著作権の存在を明らかにするための動画
像電子透かし装置に関する。
【0002】
【従来の技術】従来から、静止画像に透かしデータを埋
め込んで、該画像の著作権を明らかにする試みがなされ
ている。この方式は、フーリエ変換、離散コサイン変換
(DCT)、ウェーブレット変換などを用いて、静止画
像に透かしデータを埋め込んでいる。静止画像に透かし
データを埋め込むには大きな演算量を必要とするが、静
止画像の通信は1画面だけであるので、特に問題になっ
ていない。
【0003】また、インターネット等の普及に伴い、動
画像をデジタル画像で通信あるいは流通する機会が増加
することが予想されるが、動画像の著作権を明らかにし
ようとすると、動画像には非常に多数の画像フレームが
存在しているため、全てのフレームに同一の透かしを埋
め込むか、あるいは特定のフレームに透かしを埋め込む
ことが必要になる。この透かしデータの埋め込みに、前
記した静止画像に透かしデータを埋め込む方式を適用し
ようとすると、動画像では多数のフレームに透かしデー
タを埋め込むことが必要になるため、該透かしデータを
埋め込むための演算量が膨大となって実現が難しいとい
う問題がある。また、特定のフレームのみに透かしを埋
め込んだ場合には、該透かしが埋め込まれているフレー
ムを探し出すのが難しいという問題がある。
【0004】一方、動画像に透かしを埋め込む方式とし
て、MPEGの動ベクトルを操作することによって、透
かしを埋め込む方式が提案されている。この方式によれ
ば、画像フレーム中の一つのフレームを特定せずとも、
透かしを抽出することができ、有用である。なお、本発
明と関連する特許として、例えば特開平10−1786
42号公報がある。
【0005】
【発明が解決しようとする課題】しかしながら、前記の
MPEGの動ベクトルを操作する方式では、圧縮データ
を一旦復号化した後再符号化することによって、簡単に
透かしデータを除去されてしまうという問題があった。
また、動画像はMPEGで圧縮された形式で配布される
ことが一般的であるため、MPEGの圧縮された形式の
まま透かしを判定することが求められるが、従来はこの
点について、十分に配慮がされていなかった。
【0006】本発明の目的は、前記した従来技術の問題
点を除去し、MPEG等の圧縮された形式のまま透かし
データを判定することができ、かつ他者からフレームを
間引く等の攻撃を受けても大きな耐性を有する動画像電
子透かし装置を提供することにある。また、他の目的
は、単に透かしデータだけでなく、ビット情報を埋め込
むことができる動画像電子透かし装置を提供することに
ある。また、他の目的は、透かしデータの埋め込みブロ
ックに情報の相関性がなくても、該ブロックに透かしデ
ータが埋め込みまれているかどうかを正確に判定できる
動画像電子透かし装置を提供することにある。また、他
の目的は透かしデータの埋め込み検出を高速で行うこと
ができる動画像電子透かし装置を提供することにある。
【0007】
【課題を解決するための手段】前記した目的を達成する
ために、本発明は、ブロック分割された画像フレームか
ら、予め定められた位置にある複数個のブロックを抽出
し、該抽出された複数個のブロックにDCT処理を施す
手段と、該DCT処理を施された複数のブロックの各々
の少なくとも一つの係数値に透かしデータを埋め込む透
かしデータ埋め込み手段とを具備し、前記透かしデータ
の埋め込み処理をされる複数個のブロックのパターンが
複数パターン存在するようにした点に第1の特徴があ
る。
【0008】また、前記DCT処理を施された複数のブ
ロックの各々の少なくとも一つの係数値に透かしデータ
を埋め込む透かしデータ埋め込み手段に代えて、該DC
T処理を施された複数のブロックの各々の少なくとも一
つの係数値に透かしデータを埋め込む処理と埋め込まな
い処理とをする透かしデータ埋め込み手段を具備した点
に第2の特徴がある。
【0009】前記第1、第2の特徴によれば、画像フレ
ーム列から定期的あるいは不定期的にフレームが抜かれ
る等の妨害を受けても、確実に透かしデータを検出して
著作権等の権利を主張することができるようになる。
【0010】また、前記複数パターンの各ブロックへの
透かしデータの埋め込みを、該複数パターンにまたがっ
て対応付けて行い、該対応付けられたブロックにより透
かしデータ埋め込みDCT係数集合を構成し、該透かし
データ埋め込みDCT係数集合の総合判定により、該透
かしデータ埋め込みDCT係数集合の要素である前記ブ
ロックに透かしデータが埋め込まれているか否かを判定
するようにした点に第3の特徴がある。この特徴によれ
ば、情報の相関性のない透かしデータ埋め込みブロック
がたまたま存在しても、透かしデータが埋め込まれてい
ることを正確に検出できるようになる。
【0011】また、前記透かしデータの埋め込み処理を
された画像をMPEG符号化する手段をさらに具備し、
該MPEG符号化手段の符号化制御を変更して、前記画
像を符号化するようにした点に第4の特徴がある。この
特徴によれば、フレーム中に透かしデータが埋め込まれ
ている位置、すなわち秘密鍵が他人に露呈するのを防止
できるようになる。
【0012】さらに、圧縮された画像データからフレー
ム間予測モードで符号化されたフレームの検査対象ブロ
ックを抽出する手段と、該抽出された検査対象ブロック
中の透かしデータが埋め込まれる予定の位置にDCT係
数が存在するか否かを判定する手段とを具備し、該DC
T係数が存在する場合に、該検査対象ブロックに透かし
データが埋め込まれていると判断するようにした点に第
5の特徴がある。この特徴によれば、透かしデータの検
出を高速で行えるようになる。
【0013】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図1は、本発明に関わる透かしデー
タ埋め込み装置の概略の構成を示すブロック図である。
図において、ブロック分割部1は例えば図2(a) の画像
フレームを8×8画素のブロックbijに分割する。ブロ
ック抽出部2はテンプレート9から指示されたマクロブ
ロック(16×16画素)mxyを抽出する。DCT部3
は該マクロブロックmxyに含まれるブロックmxiyi毎に
離散コサイン変換(DCT)する。DCT係数抽出部4
は該DCTされたマクロブロックmxyの中の一個のブロ
ックmx2y2(図2(b) 参照)のDCT係数xを、前記テ
ンプレート9の指示に従って抽出する。ここに、テンプ
レート9は、後述する透かしデータを埋め込む位置を示
す情報を提供するものであり、前記ブロック抽出部2で
は該透かしデータが埋め込まれる位置のマクロブロック
を抽出し、DCT係数抽出部4では透かしデータが埋め
込まれるDCT係数xを抽出する。
【0014】透かしデータ埋め込み部5は該DCT係数
xに透かしデータを埋め込む。例えば、該DCT係数x
を下式によって得られる係数x´に変化させることによ
り、透かしデータを埋め込む。 x´=sign(x) *(|x|+a) ここに、xは元の係数値、aは透かしデータ、すなわち
埋め込み値、sign(x)はxの符号である。すなわち、該
透かしデータ埋め込み部5は、DCT係数xの+,−の
符号を保持したまま、絶対値が大きくなる方向に該DC
T係数xを変化させる働きをする。例えば、透かしデー
タa=5.0とすると、該DCT係数xが+15.7で
あれば、x´=+20.7となり、該DCT係数xが−
15.7であれば、x´=−20.7となる。
【0015】逆DCT部6は、該透かしデータが埋め込
まれたブロック(マクロブロック)を逆DCTする。ブ
ロック合成部7は、該逆DCTされたブロックを、前記
ブロック抽出部2で抽出されなかったブロックと合成
し、透かしデータが埋め込まれた画像データを生成す
る。MPEG符号化部8は、配布される動画像コンテン
ツを作成するために、該透かしデータが埋め込まれた画
像データをMPEG符号化(量子化およびハフマン符号
化)する。
【0016】本発明の一実施形態では、前記ブロック抽
出部2は動画像のフレームから前記テンプレート9で指
示された複数位置のマクロブロックを抽出し、次いでD
CT係数抽出部4で該テンプレート9によって指示され
た同じまたは異なる位置のDCT係数を、該複数位置の
マクロブロックの各々から抽出して、前記透かしデータ
埋め込み部5で該DCT係数に透かしデータを埋め込む
ことにする。
【0017】すなわち、前記ブロック抽出部2は、図3
に示されているように、あるフレームFに対しては同図
(a) に示されている複数位置の例えば4個のマクロブロ
ックM1 〜M4 を抽出し、他のフレームFに対しては同
図(b) に示されている複数位置の例えば4個のマクロブ
ロックM5 〜M8 を抽出する。
【0018】次いで、DCT係数抽出部4は、前記ブロ
ック抽出部2で抽出された4個のマクロブロックに対し
て、該テンプレート9によって指示された同じ位置のD
CT係数あるいは異なる位置のDCT係数を抽出して、
前記透かしデータ埋め込み部5で透かしデータを埋め込
む。
【0019】いま、前記図3(a) のマクロブロックの抽
出パターンをマークA、(b) のマクロブロックの抽出パ
ターンをマークBと名付けると、同図(c) に示されてい
るような画像フレーム列は、マークAの付されたフレー
ムと、マークBの付されたフレームと、マークの付され
ていないフレームとに分類されることになる。なお、前
記の説明では、前記ブロック抽出部2で抽出されるマク
ロブロックの個数を4個としたが、本発明はこれに限定
されることなく、2個以上であればよい。また、マーク
の個数をA,Bの2個としたが、これに限定されること
なく、1個または3個以上であっても良い。また、図中
の■は埋め込みありのマクロブロックを示し、後述する
□は埋め込みなしのマクロブロックを示す。
【0020】次に、前記透かしデータ埋め込みの第2の
実施形態を、図11を参照して説明する。この実施形態
は、例えばユーザX向けと、ユーザY向けとに同じ内容
の動画像を配布する場合、各動画像フレームの同じ位置
のマクロブロックを透かしデータの埋め込み候補とし、
さらに該マクロブロックに透かしデータを埋め込む、埋
め込まないの選択をして、動画像の配布先を明らかにす
る場合が考えられる。例えば、図11(a) 、(b) に示さ
れているように、ユーザXとYに配布する動画像から透
かしデータの埋め込み候補として抽出されるマクロブロ
ックX1〜X4とY1〜Y4はそれぞれ同位置であり、
ユーザX向けにはマクロブロックX1、X3は透かしデ
ータを埋め込み(=1)、X2、X4には埋め込まない
(=0)処理をし、ユーザY向けにはマクロブロックY
2、Y4は透かしデータを埋め込み(=1)、Y1、Y
3には埋め込まない(=0)処理がなされる場合があ
る。この処理の利点は、透かしデータの埋め込みの有無
で、1ビット情報が表現されているので、例えば101
0の2進データが埋め込まれた動画像はユーザXに配布
されたものであり、0101の2進データが埋め込まれ
た動画像はユーザYに配布されたものであることが分か
り、例えば前記動画像の海賊版が発行された場合には、
該2進データから該海賊版の出処が明らかになる。
【0021】このような場合に、ユーザX向けに配布さ
れた動画像データのDCT係数からユーザY向けに配布
された動画像データのDCT係数が引き算されると、同
図(c) のように、透かしデータが埋め込まれた位置の値
が1または−1となり、他の位置の値は全て0になる。
このため、ユーザに、透かしデータの埋め込み位置、す
なわち秘密鍵が露呈してしまうことになる。
【0022】そこで、本実施形態では、ユーザX,Y等
に透かしデータ入り動画像を提供する際に、符号化制御
パラメータをユーザ毎に変更してMPEG1圧縮をする
ことにより、圧縮画像に含まれる符号化雑音成分をユー
ザ毎に変化させることにする。そうすると、ユーザXと
Yに配布された動画像のDCT係数が引き算されても、
透かしデータが埋め込まれたDCT係数は符号化雑音に
埋もれて、容易に探知されることはなくなる。なお、前
記のようにMPEG1の符号化制御パラメータを変更し
ても、復号に支障はなく、復号された画像の品質には何
らの問題も生じない。
【0023】符号化制御パラメータの変更方法として
は、例えば公知の符号化制御技術(ISO/IEC JTC1/SC29/
WG11/N0400)の「Test Model 5」を用いることができ
る。該Test Model 5では、マクロブロック毎にそれまで
に割り当てられたビット数と実際に発生したビット数か
ら過剰ビット指数dj を計算し、それを用いて下式にて
量子化ステップサイズQj を決定する。 Qj =(dj ×31)/r r=2×(固定パラメータ) ここで、前記rの計算式中で用いられている「2」をパ
ラメータとして異なる値にすることにより、符号化制御
を変更することが可能になる。例えば、ユーザX向けに
は「2」を「1.8」とし、ユーザY向けには「2.
1」としてMPEG1圧縮をする。この符号化制御の変
更は、例えば図1のMPEG符号化部8にて行うことが
できる。なお、Qj が大きいほど発生ビット数は減り、
画像に乗る雑音は多くなる。
【0024】次に、前記のようにして動画像に埋め込ま
れた透かしデータを検出する透かしデータ検出装置につ
いて説明する。図4は、該検出装置の概略の構成を示す
ブロック図である。検査されるべきビデオコンテンツ1
1はMPEG圧縮データの状態にあり、検査対象マクロ
ブロック抽出部12によって、検査対象のマクロブロッ
クが抽出される。この抽出は、テンプレート13からの
指示により行うことができる。このテンプレート13は
図1の前記テンプレート9と同じ物を用いるのが好適で
ある。すなわち、テンプレート13は前記マークA,B
の情報と、マークA,Bの各マクロブロック内のどの位
置のDCT係数に透かしデータxが埋め込まれているか
の情報を出力する。
【0025】テンプレート13からの情報に従って、検
査対象マクロブロック抽出部12によって抽出されたマ
クロブロックはハフマン復号化部14でハフマン復号化
され、次に逆量子化部15にて逆量子化される。逆量子
化されたDCT係数は、透かしデータ検出部16に送ら
れ、透かしデータが埋め込まれているか否かの検出を行
われる。
【0026】具体的には、透かしデータ検出部16にテ
ンプレート13から、DCT係数の透かしデータ埋め込
み位置の情報が指示されるので、透かしデータ検出部1
6は、前記マクロブロックに含まれる4個のブロックm
x1y1〜mx2y2(図5参照)から、該透かしデータ埋め込
み位置に対応する4個のDCT係数x1 ,x2 ,x3,
およびxを抽出する。これらのDCT係数x1 ,x2 ,
x3 ,およびxは、互いに相関があるから、一般的には
ほぼ等しい値である。そこで、透かしデータ検出部16
は下式の演算を行う。 (|x1 |+|x2 |+|x3 |)/3+s<|x| …(1) ここに、xは検査対象係数値、sは|x1 |,|x2
|,|x3 |の標準偏差、あるいは固定値である。
【0027】そして、前記の不等式が成立すれば、透か
しデータが埋め込まれていると判定し、不成立であれ
ば、埋め込まれていないと判定する。多数決判定部17
においては、ビデオコンテンツのフレームのマーク判定
が行われる。すなわち、ビデオコンテンツのあるフレー
ムに対して、前記マークAに用いられる複数のマクロブ
ロックのそれぞれに対して前記の検査結果から透かしデ
ータのありなしの判定を行う。また、該あるフレームに
対して、前記マークBに用いられる複数のマクロブロッ
クのそれぞれに対しても同様の判定を行う。そして、こ
の判定の結果得られた透かしありと判定されるマクロブ
ロックの数が最も多いマークが該フレームに埋め込まれ
たマークと判定される。このようにマーク判定できた場
合には、透かしデータが埋め込まれたビデオコンテンツ
であると判断する。
【0028】この透かしデータ検出の結果、図6に示さ
れているように、前記マークAとマークBとマークなし
のグループが検出されると、動画像のビデオコンテンツ
の配布者は、著作権を主張できるようになる。この場
合、他者によって、フレームを間引くという妨害あるい
は攻撃が加えられても、前記マークAとマークBとマー
クなしのグループを必ず検出することができ、該妨害あ
るいは攻撃に対しても大きな耐性を示すことができるよ
うになる。また、配布先毎に、透かしデータを埋め込む
マクロブロック位置及び/またはDCT係数位置を変え
ておけば、例えば海賊版が出回った時に、自分が著作権
を持っていることを主張できると共に、海賊版の出所を
探知することができるようになる。
【0029】次に、透かしデータを検出する他の方法
を、図7を参照して説明する。この方法は、例えば前記
の(1) 式において、透かしデータ埋め込み位置に対応す
る3個のDCT係数x1 ,x2 ,x3 の中に異常値が存
在すると、該(1) 式の精度が低下するから、該3個のD
CT係数x1 ,x2 ,x3 をふるいにかけて、3個のD
CT係数x1 ,x2 ,x3 の中に異常値が存在した場
合、この異常値を除去して、(1) 式または他の演算をす
るようにしたものである。
【0030】この異常値を除去するために、この実施形
態では、DCT係数x1 ,x2 ,x3 と、それらと同じ
ブロック内に存在するDCT係数x1',x2',x3'を用
いる。図7の例では、注目DCT係数の隣接係数が用い
られる。次に、いま透かしデータ埋め込み操作が行われ
たDCT係数をxとし、その隣接画素のDCT係数を
x' とすると、例えば次の(a) 、(b) 、(c) 、…の判定
をする。 (a) 0≦x' <50であれば、0≦xi'<50(ただ
し、i=1,2,3)を満足するxi のみを判定に用い
る。 (b) 50≦x' <100であれば、50≦xi'<100
を満足するxi のみを判定に用いる。 (c) 100≦x' <150であれば、100≦xi'<1
50を満足するxi のみを判定に用いる。 …… 次に、上記の判定を満足するxi を用いて、次の(2) 式
の条件が満足されるか否かの判断をする。 x−Σxi /N>α …(2) (ここに、Nはふるいにかけられた後に残ったxi の個
数、αは閾値、ただし、該αはふるいの階級によって変
化する) そして、前記の(2) 式の条件が満たされれば、DCT係
数xに透かしデータ埋め込み操作が行われていると判定
する。この判定方法によれば、DCT係数xiの異常値
を予め除去することができるので、透かしデータを精度
良く検出することができるようになる。
【0031】次に、透かしデータを検出するさらに他の
方法である、透かしデータの埋め込みの有無を高速で検
出する方法を説明する。前記した本発明の透かしデータ
の埋め込みは、画像の局所的なDCT係数の類似度を乱
す方式を採っている。このため、例えばMPEG1で符
号化する際のフレーム間予測においては、予測が外れる
ために、必ず透かしデータの埋め込み位置のDCT係数
が0でない値になる。したがって、フレーム間予測符号
化を用いたMPEG1のPフレーム、Bフレームを用い
て、透かしデータの埋め込みの有無を検出することが可
能になる。最も単純な方法としては、前記テンプレート
9、13から提供された透かしデータの埋め込み位置、
換言すれば秘密鍵から分かる位置に、0でない値のDC
T係数が存在するか否かを個別に調べ、それを情報埋め
込みDCT係数集合において多数決判定することによっ
て、透かしデータの埋め込みがなされたかどうか、すな
わちDCT係数が操作されたか否かを高速で判定するこ
とができる。
【0032】図12は、該透かしデータ検出方法を利用
して、例えば図3で示したようなマークA,Bが画像の
フレームに埋め込まれているか否かを検出する方法を説
明するフローチャートである。
【0033】本実施形態では、Pフレーム、Bフレーム
をマーク検出の対象フレームとする。ステップS1で
は、マーク数、換言すれば画像のフレームに透かしデー
タが埋め込まれているマクロブロックの位置のパターン
数をiとし、i=0と置く。図3の例ではマークの個数
は、2である。ステップS2では、最後のマークか否か
の判断をし、この判断が否定の時にはステップS3に進
んでiに1を加算する。ステップS4では、テンプレー
トで示されるi=1のマーク、例えばマークAを選択
し、該マークAに含まれる4個のブロックM1 〜M4 の
各DCT係数の所定位置の値、例えば(0,3)位置の
DCT係数値が0以外の個数を、n(i) とする。なお、
前記所定位置である(0,3)位置は、例えば前記テン
プレートで示される。ステップS5では、該テンプレー
トで示される4か所のDCT(0,3)係数の絶対値和
をa(i) とする。ステップS6では、x(i) =a(i) ×
n(i)を求める。
【0034】その後、再度ステップS2に戻って、次の
サイクルに入る。ステップS4では、テンプレートで示
されるi=2のマーク、例えばマークBが選択され、こ
れに含まれる4個のブロックM5 〜M8 の各DCT係数
の所定位置の値、例えば(0,3)位置のDCT係数値
が0以外の個数を、n(i) とする。ステップS5では、
該テンプレートで示される4か所のDCT(0,3)係
数の絶対値和をa(i)とし、ステップS6では、x(i)
=a(i) ×n(i) を求める。
【0035】その後、再度ステップS2に戻って、前記
の動作が繰返される。この繰返し動作の結果、ステップ
S2の判断が肯定になると、ステップS7に進む。ステ
ップS7では、{x(i) }のうちで最大のx(i) となる
iをマークIとする。いま、埋め込まれている情報を検
出されるフレームのマークが前記マークAであるとする
と、x(1) >x(2) となり、前記マークBであるとする
と、x(2) >x(1) となることは明らかである。
【0036】ステップS8では、x(I) ≧20が成立す
るか否かの判断をし、この判断が肯定であれば、ステッ
プS9に進み、当該フレームにはマークIが埋め込まれ
ていると判定する。一方、ステップS8の判断が否定で
あれば、ステップS10に進んで、当該フレームにはマ
ーク、例えばマークA、Bは埋め込まれていないと判定
する。なお、前記の数値20は一例であり、この数値に
限定されるものではない。
【0037】次に、本発明の他の実施形態を、図8を参
照して説明する。この実施形態では、フレームに透かし
情報を埋め込むマクロブロック位置のパターンを予め複
数パターン決めておき、これをテンプレートとして用意
しておく。例えば、図8に示されているような、グルー
プAとグループBの二つのパターンを用意しておく。図
示の例では、グループAはフレームの左上の画素から右
下の画素に向かう順に「1010」のパターンであり、
グループBは「0010」のパターンである。
【0038】透かし情報の埋め込み者は、埋め込み情報
の2進表現に従って、0の時は埋め込みを行わず、1の
時は埋め込みを行う。なお、□は埋め込みなしのマクロ
ブロックを示し、■は埋め込みありのマクロブロックを
示している。
【0039】透かし情報の抽出者は、前記した透かしデ
ータの検出方法を用いて、画像フレーム列から、透かし
情報の埋め込まれているマクロブロックと埋め込まれて
いないマクロブロックとを検出し、第1実施例と同様
に、グループAとグループBを検出する。そして、該画
像フレーム列から該グループA,Bが検出されると、動
画像のビデオコンテンツの配布者は、著作権を主張でき
るようになる。
【0040】この実施形態によれば、透かしデータの埋
め込み位置だけではなく、透かしデータの埋め込みの有
無で表されたビット情報をも、著作権を明らかにするデ
ータとして使用することができるようになる。
【0041】次に、前記透かしデータ埋め込みのさらに
他の実施形態を、図10を参照して説明する。透かしデ
ータの検出は、前述の説明から明らかになるように、マ
クロブロックの対応する位置のDCT係数が互いに相関
をもつことを利用して行われる。そこで、前記した第1
実施形態では、例えば図8(a) のマクロブロックA1〜
A4 の一つまたは複数個のDCT係数に相関がない事態
が起きた場合、例えば該マクロブロックA1 〜A4 の一
つまたは複数個がたまたま画像の境界部分、たとえば背
景と物体の輪郭を含むようになった場合には、当該マク
ロブロックに埋め込まれた透かしデータが安定的に検出
できなくなり、埋め込みの有無の判定によって抽出され
る「0」と「1」を正確に決定できなくなる恐れが生ず
る。
【0042】この実施形態は、前記の不具合に鑑みてな
されたものであり、まず動画像フレームを複数のグルー
プA,B,…,Nに分類し、各グループ毎に、透かしデ
ータを埋め込むマクロブロックを複数個、例えば4個抽
出する。この複数個のマクロブロックの抽出位置は例え
ば前記テンプレート9で決められ、互いに異なるものと
する。図示の例では、グループAにおいては、マクロブ
ロックA1,A2,A3,およびA4を抽出し、グルー
プBでは、これらと異なる位置のマクロブロックB1,
B2,B3,およびB4を抽出する。また、グループN
においても、同様に、異なる位置のマクロブロックN
1,N2,N3,およびN4を抽出する。そして、透か
しデータの埋め込まれた情報埋め込みDCT係数集合S
1={A1,B1,…,N1}、S2={A2,B2,
…,N2}、S3={A3,B3,…,N3}、および
S4={A4,B4,…,N4}を定義する。
【0043】この実施形態では、抽出されたマクロブロ
ック中の透かしデータ埋め込みの有無を、前記情報埋め
込みDCT係数集合毎に総合的に判定する。例えば、前
記情報埋め込みDCT係数集合毎の多数決判定で決定す
る。例えば、情報埋め込みDCT係数集合S1={A
1,B1,…,N1}に透かしデータが埋め込まれてい
るか否かは、A1〜N1の多数決判定で決定する。した
がって、たまたまマクロブロックA1が画像の境界部分
を含み、そのDCT係数に相関がなく、透かしデータが
埋め込まれていないと検出されたとしても、他のマクロ
ブロックB1〜N1が画像の境界部分を含む可能性は小
さいので、これらのマクロブロックには透かしデータが
埋め込まれていか否かを正しく検出されることになる。
その結果、多数決判定によりS1 全体として透かしデー
タが埋め込まれているか否かが正しく判定され、前記不
具合を回避できるようになる。
【0044】次に、該実施形態(図10)を、高速で動
作させる方法を、図13のフローチャートを参照して説
明する。前記情報埋め込みDCT係数集合をS(j) とす
る。該情報埋め込みDCT係数集合の個数、すなわち図
10の各グループのマクロブロックに付与されている数
字をjとし、ステップS11では、j=0と置く。な
お、図10の場合、情報埋め込みDCT係数の個数は4
である。ステップS12では、最後の情報埋め込みDC
T係数集合であるか否かの判断がなされ、この判断が否
定の時には、ステップS13に進んで、jに1が加算さ
れる。ステップS14では、集合S(j) に含まれるDC
T(0,3)係数のうち、絶対値が11以上の個数をn
(j) とする。ステップS15では、該集合S(j) に含ま
れるDCT(0,3)係数の個数をm(j) とする。ステ
ップS16では、n(j) /m(j) ≧50%が成立するか
否かの判断がなされ、この判断が肯定の時にはステップ
S17に進んで、集合S(j) の全ての要素の情報ビット
は1であると判定する。一方、否定の時にはステップS
18に進んで、集合S(j) の全ての要素の情報ビットは
0であると判定する。
【0045】図4で説明した透かしデータ検出装置で
は、圧縮データであるビデオコンテンツから、復号化せ
ずに透かしデータを検出するようにしたが、本発明はこ
れに限定されることなく、図9に示されているように、
ビデオコンテンツを一旦復号化し、次いで該復号化され
た画像をDCT処理して得た係数を用いて、透かしデー
タを検出するようにしてもよい。
【0046】すなわち、ビデオコンテンツ11をMPE
G復号部21で復号化(ハフマン復号、逆量子化を含
む)し、マクロブロック抽出部22で、テンプレート1
3からの指示により、透かしデータが埋め込まれている
ブロックを抽出する。DCT部23は、該抽出されたブ
ロックをDCT処理する。DCT係数の透かしデータ埋
め込み位置の情報は前記テンプレート13から指示され
るので、透かしデータ検出部16は、前記マクロブロッ
クに含まれる透かしデータ埋め込み位置に対応するDC
T係数を抽出し、前記した手順に従って透かしデータを
検出する。多数決判定部17は、透かしデータ検出部1
6による透かしデータの検出結果を用いて、前記のよう
に多数決判定し、フレームに埋め込まれているマークを
判定する。
【0047】
【発明の効果】前記した説明から明らかなように、請求
項1、2の発明によれば、フレームの透かしデータを埋
め込む複数のブロックの位置に意味を持たせ、該透かし
データを埋め込む複数のブロックのパターンのグループ
化により映像の出処あるいは著作権を明らかにするよう
にしたので、他者からフレームを間引く等の妨害を受け
ても著作権の主張ができなくなるという恐れのない動画
像電子透かしを提供することができるようになる。
【0048】また、請求項3の発明によれば、フレーム
の透かしデータを埋め込む複数のブロックの位置と、透
かしデータを埋め込む埋め込まないの選択とを組み合わ
せたので、透かしデータの埋め込み位置だけではなく、
透かしデータの埋め込みの有無で表されたビット情報を
も著作権を明らかにするデータとして使用できるように
なり、著作権の主張に関してより耐性の強い動画像電子
透かしを提供することができるようになる。
【0049】また、請求項4、5の発明によれば、透か
しデータの埋め込みブロックに情報の相関性がなくて
も、正確にブロックに透かしデータが埋め込まれている
か否かを判定できるようになる。また、請求項6、7の
発明によれば、他人により、秘密鍵の場所を露呈される
のを、防止することができるようになる。
【0050】また、請求項8、9の発明によれば、透か
しデータの有無の検出の精度をより向上させることがで
きるようになる。また、請求項10の発明によれば、フ
レームに透かしデータが埋め込まれていることの検出を
高速で行えるようになる。
【図面の簡単な説明】
【図1】 本発明の動画像に対する透かしデータ埋め込
み装置の一実施形態の概略の構成を示すブロック図であ
る。
【図2】 透かしデータの埋め込み位置の説明図であ
る。
【図3】 本発明の一実施形態の透かしデータの埋め込
み位置の説明図である。
【図4】 透かしデータ検出装置の一実施形態の概略の
構成を示すブロック図である。
【図5】 透かしデータの検出方法の説明図である。
【図6】 透かしデータ検出結果の一例を示す概念図で
ある。
【図7】 透かしデータの他の検出方法の説明図であ
る。
【図8】 本発明の他の実施形態の透かしデータの埋め
込み位置の説明図である。
【図9】 透かしデータ検出装置の他の実施形態の構成
を示すブロック図である。
【図10】 情報埋め込みDCT係数集合を用いて情報
の埋め込みを判定する実施形態の説明図である。
【図11】 秘密鍵の露呈を防止する実施形態の説明図
である。
【図12】 フレームに透かしデータ(マーク)が埋め
込まれているかどうかを高速で判定する実施形態のフロ
ーチャートである。
【図13】 情報埋め込みDCT係数集合を用いて情報
の埋め込みを判定する方法を高速化した実施形態のフロ
ーチャートである。
【符号の説明】
1…ブロック分割部、2…ブロック抽出部、4…DCT
係数抽出部、5…透かしデータ埋め込み部、7…ブロッ
ク合成部、8…MPEG符号化部、9、13…テンプレ
ート、11…ビデオコンテンツ、12…検査対象マクロ
ブロック抽出部、14…ハフマン復号化部、15…逆量
子化部、16…透かしデータ検出部、17…多数決判定
部、21…MPEG復号部、22…マクロブロック抽出
部、23…DCT部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/30 (72)発明者 滝嶋 康弘 埼玉県上福岡市大原2−1−15 株式会社 ケイディディ研究所内 (72)発明者 和田 正裕 埼玉県上福岡市大原2−1−15 株式会社 ケイディディ研究所内 Fターム(参考) 5C059 KK43 MA00 MA05 MA23 MC00 MD02 PP06 PP07 UA02 UA05 5C063 AB03 CA11 CA23 CA40 DA20 5C076 AA02 AA14 AA40 BA06 5C078 BA21 BA57 CA00 CA14 DA00 DA01 DA02 5J104 AA14 NA15

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ブロック分割された画像フレームから、
    予め定められた位置にある複数個のブロックを抽出し、
    該抽出された複数個のブロックにDCT処理を施す手段
    と、 該DCT処理を施された複数のブロックの各々の少なく
    とも一つの係数値に透かしデータを埋め込む透かしデー
    タ埋め込み手段とを具備し、 前記透かしデータの埋め込み処理をされる複数個のブロ
    ックのパターンが複数パターン存在するようにしたこと
    を特徴とする動画像電子透かし装置。
  2. 【請求項2】 請求項1に記載の動画像電子透かし装置
    において、 前記透かしデータの埋め込まれた画像フレーム列の各フ
    レームから透かしデータを検出し、該透かしデータが埋
    め込まれたブロックのパターンを判別し、該各フレーム
    が該パターン別に分類される時、著作権を主張できるよ
    うにしたことを特徴とする動画像電子透かし装置。
  3. 【請求項3】 ブロック分割された画像フレームから、
    予め定められた位置にある複数個のブロックを抽出し、
    該抽出された複数個のブロックにDCT処理を施す手段
    と、 該DCT処理を施された複数のブロックの各々の少なく
    とも一つの係数値に透かしデータを埋め込む処理と埋め
    込まない処理とをする透かしデータ埋め込み手段とを具
    備し、 前記透かしデータ埋め込み手段によって透かしデータの
    埋め込み処理をされる複数個のブロックのパターンが複
    数パターン存在するようにしたことを特徴とする動画像
    電子透かし装置。
  4. 【請求項4】 請求項1ないし3のいずれかに記載の動
    画像電子透かし装置において、 前記複数パターンの各ブロックへの透かしデータの埋め
    込みを、前記複数パターンにまたがって対応付けて行
    い、該対応付けられたブロックにより透かしデータ埋め
    込みDCT係数集合を構成し、該透かしデータ埋め込み
    DCT係数集合の総合判定により、該透かしデータ埋め
    込みDCT係数集合の要素である前記ブロックに透かし
    データが埋め込まれているか否かを判定するようにした
    ことを特徴とする動画像電子透かし装置。
  5. 【請求項5】 請求項4に記載の動画像電子透かし装置
    において、 前記透かしデータ埋め込みDCT係数集合の総合判定
    は、多数決判定であることを特徴とする動画像電子透か
    し装置。
  6. 【請求項6】 請求項1ないし3のいずれかに記載の動
    画像電子透かし装置において、 前記透かしデータの埋め込み処理をされた画像をMPE
    G符号化する手段をさらに具備し、 該MPEG符号化手段の符号化制御を変更して、前記画
    像を符号化するようにしたことを特徴とする動画像電子
    透かし装置。
  7. 【請求項7】 請求項6に記載の動画像電子透かし装置
    において、 前記画像の配布先毎に、前記MPEG符号化手段の符号
    化制御を変更するようにすることを特徴とする動画像電
    子透かし装置。
  8. 【請求項8】 圧縮された画像データのブロックから透
    かしデータの検査対象ブロックを抽出する手段と、 該抽出された検査対象ブロックの透かしデータが埋め込
    まれた第1のDCT係数に対応する近隣のブロックの第
    2のDCT係数をふるいにかけ、異常値をもつ第2のD
    CT係数を除去する手段と、 前記第1のDCT係数値の絶対値が、前記異常値をもつ
    DCT係数を除去された第2のDCT係数値の絶対値平
    均値より、予定の閾値以上異なっている場合に、透かし
    データが埋め込まれていると判定する手段とを具備した
    ことを特徴とする動画像電子透かし装置。
  9. 【請求項9】 請求項8に記載の動画像電子透かし装置
    において、 前記異常値をもつDCT係数を除去された第2のDCT
    係数値は、前記第1のDCT係数の近隣のDCT係数を
    基準として、前記第2のDCT係数値の近隣のDCT係
    数をふるいにかけ、該ふるいにより除去されなかったD
    CT係数に対応する第2のDCT係数値であることを特
    徴とする動画像電子透かし装置。
  10. 【請求項10】 圧縮された画像データからフレーム間
    予測モードで符号化されたフレームの検査対象ブロック
    を抽出する手段と、 該抽出された検査対象ブロック中の透かしデータが埋め
    込まれる予定の位置にDCT係数が存在するか否かを判
    定する手段とを具備し、 該DCT係数が存在する場合に、該検査対象ブロックに
    透かしデータが埋め込まれていると判断するようにした
    ことを特徴とする動画像電子透かし装置。
JP2000011978A 1999-08-04 2000-01-20 動画像電子透かし装置 Expired - Fee Related JP4042887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000011978A JP4042887B2 (ja) 1999-08-04 2000-01-20 動画像電子透かし装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-221610 1999-08-04
JP22161099 1999-08-04
JP2000011978A JP4042887B2 (ja) 1999-08-04 2000-01-20 動画像電子透かし装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005220671A Division JP4169161B2 (ja) 1999-08-04 2005-07-29 動画像電子透かし装置

Publications (2)

Publication Number Publication Date
JP2001111973A true JP2001111973A (ja) 2001-04-20
JP4042887B2 JP4042887B2 (ja) 2008-02-06

Family

ID=26524407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000011978A Expired - Fee Related JP4042887B2 (ja) 1999-08-04 2000-01-20 動画像電子透かし装置

Country Status (1)

Country Link
JP (1) JP4042887B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010074604A (ko) * 2001-05-10 2001-08-04 김주현 엠피이지 비디오 스트림상의 블록 유닛 양자화를 이용한실시간 동영상 워터마크 삽입방법 및 검출방법
JP2007116513A (ja) * 2005-10-21 2007-05-10 Kddi Corp 圧縮動画像の電子透かし編集装置
US7502488B2 (en) 2003-01-15 2009-03-10 Ricoh Company, Ltd. Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data
US8677001B2 (en) 2003-01-20 2014-03-18 Fujitsu Limited Streaming transmission method system, data processing apparatus and computer readable storage medium for making unwanted and malicious data unexecutable from voice or animation data streams
CN113179407A (zh) * 2021-04-23 2021-07-27 山东大学 基于帧间dct系数相关性的视频水印嵌入和提取方法及系统
CN115187444A (zh) * 2022-09-08 2022-10-14 杭州海康威视数字技术股份有限公司 图像溯源信息安全防护方法、装置及电子设备
WO2023169516A1 (zh) * 2022-03-11 2023-09-14 咪咕视讯科技有限公司 一种水印嵌入方法、装置、设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136194B2 (en) 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010074604A (ko) * 2001-05-10 2001-08-04 김주현 엠피이지 비디오 스트림상의 블록 유닛 양자화를 이용한실시간 동영상 워터마크 삽입방법 및 검출방법
US7502488B2 (en) 2003-01-15 2009-03-10 Ricoh Company, Ltd. Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data
US8677001B2 (en) 2003-01-20 2014-03-18 Fujitsu Limited Streaming transmission method system, data processing apparatus and computer readable storage medium for making unwanted and malicious data unexecutable from voice or animation data streams
JP2007116513A (ja) * 2005-10-21 2007-05-10 Kddi Corp 圧縮動画像の電子透かし編集装置
JP4553312B2 (ja) * 2005-10-21 2010-09-29 Kddi株式会社 圧縮動画像の電子透かし編集装置
CN113179407A (zh) * 2021-04-23 2021-07-27 山东大学 基于帧间dct系数相关性的视频水印嵌入和提取方法及系统
WO2023169516A1 (zh) * 2022-03-11 2023-09-14 咪咕视讯科技有限公司 一种水印嵌入方法、装置、设备及可读存储介质
CN115187444A (zh) * 2022-09-08 2022-10-14 杭州海康威视数字技术股份有限公司 图像溯源信息安全防护方法、装置及电子设备

Also Published As

Publication number Publication date
JP4042887B2 (ja) 2008-02-06

Similar Documents

Publication Publication Date Title
EP1164543A2 (en) Digital information embedding/extracting
Piva et al. A DWT-based object watermarking system for MPEG-4 video streams
KR100309521B1 (ko) 비디오데이터인코더
US20020129253A1 (en) Watermarking a compressed information signal
US7502488B2 (en) Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data
CN101326806A (zh) 为编码内容压制水印
JP4553312B2 (ja) 圧縮動画像の電子透かし編集装置
Zou et al. H. 264/AVC stream replacement technique for video watermarking
US20060053292A1 (en) Watermarking of a variable bit-rate signal
JP4042887B2 (ja) 動画像電子透かし装置
US7418110B2 (en) Method and apparatus for compressed-domain watermarking
US20050089189A1 (en) Embedding a watermark in an image signal
JP2000175161A (ja) 動画像に対する透かしデータ埋め込み装置および検出装置
JP2002330279A (ja) 画像へのデータ埋め込み方法及び当該データの抽出方法
KR20010074604A (ko) 엠피이지 비디오 스트림상의 블록 유닛 양자화를 이용한실시간 동영상 워터마크 삽입방법 및 검출방법
JP4641041B2 (ja) 動画像の電子透かし検出装置
Zou et al. H. 264/AVC substitution watermarking: a CAVLC example
JP4169161B2 (ja) 動画像電子透かし装置
Tsai et al. Highly imperceptible video watermarking with the Watson's DCT-based visual model
Seo et al. Low-complexity watermarking based on entropy coding in H. 264/AVC
US20070230708A1 (en) Watermarking a Compressed Information Signal
JP4944966B2 (ja) デジタル画像をデジタル透かしにより印付ける方法
JP2002135736A (ja) 動画像電子透かし装置
Simitopoulos et al. Fast MPEG watermarking for copyright protection
JP4223353B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置及びそれらの方法並びに記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees