JP2007116513A - 圧縮動画像の電子透かし編集装置 - Google Patents

Abstract

【課題】 電子透かしデータの消去、書き替えの編集を効率良く行えることのできる圧縮動画像の電子透かし編集装置を提供することにある。
【解決手段】 全てのテンプレート１３をビデオコンテンツ１１に適用してＤＣＴ係数値を抽出し、適用テンプレート判定部１７では、そのＤＣＴ係数値のペアの絶対値相対差の総和が最大となるテンプレートが、適合テンプレートであると判断する。該適合テンプレートで抽出されたＤＣＴ係数値のペアは、平滑化処理部１８でその相対差が小さくなるように、または係数値ペアの有意差が、統計的に棄却されるまで再帰的に個別の前記相対差を縮小するように処理される。また、前記適合テンプレートで抽出されたＤＣＴ係数値のペアは、新たな編集ビットと置換される。この時、検出された係数値ペアのビットと編集ビットとを比較し、異なる場合のみ、該編集ビットを埋め込むようにする。
【選択図】 図１

Description

本発明は圧縮動画像の電子透かし編集装置に関し、特に挿入済みの電子透かし情報を消去あるいは他の情報に置換する圧縮動画像の電子透かし編集装置に関する。

従来から、動画像の出所を明らかにしたり、海賊版の流通を阻止したりするなどのために、動画像に電子透かしデータを埋め込む技術が研究開発されている。この電子透かしデータは、他人に見破られたり、除去されたりすると、その本来の役割を果たせないから、大きな耐性を有することが必要である。また、電子透かしデータは、簡易にかつ精度良く、埋め込まれているか否かが判定でき、また高速で検出されることが必要である。

上記の要求を満たす従来の動画像電子透かし装置の一例として、例えば下記の特許文献１に示されるものがある。この公報に開示されている発明は、画像フレームからテンプレートを用いて複数個のブロックを抽出し、異なる２箇所の位置のブロックペアに、一方のブロックをビット０，他方のブロックをビット１の表現用と定義し、表現するビットに応じて、該表現するビットに対応するブロックの該当するＤＣＴ係数値の絶対値を、他方のブロックの該当するＤＣＴ係数値の絶対値より大きくするものである。
特開２００２−１３５７３６号公報

しかしながら、前記した従来技術のブロックペアで埋め込まれた電子透かしデータを消去して画質の良い動画像を再生することができるようにしたり、該電子透かしデータを書き替えて別の透かしデータに変える等の編集を行うことが必要になるが、この編集について、何らの提案もされていないという課題があった。

本発明は、前記した従来技術に鑑みてなされたものであり、電子透かしデータの消去、書き替えの編集を効率良く行えることのできる圧縮動画像の電子透かし編集装置を提供することにある。

前記した目的を達成するために、本発明は、２つのＤＣＴ係数値の相対差により情報表現する電子透かしを備えた圧縮動画像の電子透かし編集装置において、動画像に対して、電子透かし埋め込み時に用いられたブロック位置を指示するテンプレートを特定する特定手段と、前記テンプレートで指示されたブロックのＤＣＴ係数値のペア（対）の相対差を平滑化する平滑化手段とを具備し、前記電子透かしを消去するようにした点に第１の特徴がある。

また、本発明は、動画像に対して、電子透かし埋め込み時に用いられたブロック位置を指示するテンプレートを特定する特定手段と、新たに埋め込む電子透かし編集ビットを提供する手段と、前記テンプレートで指示されたブロックのＤＣＴ係数値のペア（対）に、前記編集ビットを埋め込む手段とを具備した点に第２の特徴がある。

本発明によれば、電子透かしデータが埋め込まれた動画像から、簡単な操作で、透かしデータを消去することができるようになる。また、透かしデータが消去されたビデオコンテンツに再度異なる透かしデータを埋め込むことができるようになる。また、透かしデータが消去されたビデオコンテンツを再生した場合には、ノイズのない高画質の映像を得ることができるようになる。

さらに、本発明によれば、簡単な操作で、既に埋め込まれていた透かしデータを、編集ビットに書き替えることができる。このため、同一コンテンツの動画像に対して、配信先等で、異なる電子透かしデータを埋め込むことができるようになる。

以下に図面を参照して、本発明を詳細に説明する。まず、本発明の前提となるブロックペアの電子透かしデータの埋め込みについて説明する。

図９は、電子透かしデータ埋め込み装置の一例を示し、ブロック分割部１は、画像フレームを８×８画素のブロックに分割する。ブロック抽出部２は、テンプレート９から指示されたマクロブロック（１６×１６画素）を複数個抽出する。ＤＣＴ部３は、該マクロブロックに含まれるブロック毎に離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数抽出部４は該ＤＣＴされたマクロブロックの中の１個のブロック（ブロックペアの一方又は他方）のＤＣＴ係数のある位置にあるＤＣＴ係数ｘを抽出する。このＤＣＴ係数ｘの位置は前記テンプレート９の指示に従ってもよいし、または予め決めておいてもよい。透かしデータ埋め込み部５は、該ＤＣＴ係数ｘに透かしデータを埋め込む。

ここに、前記テンプレート９は、透かしデータを埋め込む位置を提供するものであり、抽出するマクロブロックを前記ブロック抽出部２に指示したり、透かしデータを埋め込むブロックペアのＤＣＴ係数ｘをＤＣＴ係数抽出部４および透かしデータ埋め込み部５に指示したりする。なお、透かしデータを埋め込むブロックペアのＤＣＴ係数ｘが予め決まっている場合には、テンプレート９からの指示は不要である。テンプレート９には複数個のテンプレート＃１，＃２，＃３，・・が用意されており、ある特定の規則に基づいて、またはランダムに選択されて、ブロック抽出部２に適用される。複数のテンプレートの一例は、図２に示されている。

この結果、画像フレームにおいて抽出されるＤＣＴブロックのペア（対）は、図１０に示すようになる。図１０において、２１ａ、２１ｂ、２２ａ、２２ｂは、それぞれ８×８画素からなるブロックを示し、前記２１ａ、２１ｂ、および２２ａ、２２ｂは、それぞれ所定の位置関係にあり、例えば、前記ペアのうち、左側に位置するブロック２１ａ、２２ａはビット０用の埋め込みＤＣＴ係数を示し、右側に位置するブロック２１ｂ、２２ｂは、ビット１用の埋め込みＤＣＴ係数を示す。

そこで、ペア２１にビット０を埋め込む時には、ビット０用のブロック２１ａのＤＣＴ係数に透かしデータを埋め込み、ビット１用のブロック２１ｂには透かしデータを埋め込まないようにする。一方、ペア２２にビット１の情報を埋め込む時には、ビット０用のブロック２２ａには透かしデータを埋め込まず、ビット１用のブロック２２ｂに透かしデータを埋め込むようにする。この結果、ビット０を埋め込まれたペアのＤＣＴ係数の大小関係は、例えば、ビット０用のブロック２１ａのＤＣＴ係数の絶対値＞ビット１用のブロック２１ｂのＤＣＴ係数の絶対値となり、一方、ビット１を埋め込まれたペアのＤＣＴ係数の大小関係は、例えば、ビット１用のブロック２２ａのＤＣＴ係数＞ビット０用のブロック２２ｂのＤＣＴ係数となる。

図１１は、画像フレームのペアＡ１〜Ａ４に、ビット“１０１０”を埋め込んだ例であるが、実際にはもっと多数のビット、例えば、１画像フレーム当たり約８０ビットの透かしデータが埋め込まれる。

図９の逆ＤＣＴ部６は前記透かしデータが埋め込まれたブロック（マクロブロック）を逆ＤＣＴする。ブロック合成部７は、逆ＤＣＴされたブロックを、前記ブロック抽出部２で抽出されなかったブロックと合成し、透かしデータが埋め込まれた画像データを生成する。ＭＰＥＧ符号化部８は、配布される動画像コンテンツを作成するために、該透かしデータが埋め込まれた画像データをＭＰＥＧ符号化（量子化およびハフマン符号化）する。

以上のようにして、得られた透かしデータ入り圧縮動画像データから透かしデータを 編集例えば消去編集する本発明の一実施形態を、以下に説明する。図１は、透かしデータを消去編集する装置の概略の構成を示すブロック図である。

テンプレート１３には、透かしデータ埋め込み時に使用したのと同じテンプレート＃１，＃２，＃３，・・（図９のテンプレート１３と同じ）が用意されている。透かしデータを消去されるべきビデオコンテンツ１１はＭＰＥＧ圧縮データの状態にあり、検査対象マクロブロック抽出部１２によって、既に透かしデータが埋め込まれているマクロブロックが抽出される。

ビデオコンテンツ１１の各フレームがテンプレート１３中の複数のテンプレート＃１，＃２，＃３、・・・のうちのどのテンプレートを用いて透かしデータ埋め込み処理をされたかを検出するために、検査対象マクロブロック抽出部１２では、ビデオコンテンツの各フレームに対して、テンプレート１３中の複数のテンプレート＃１，＃２，＃３、・・・を一つずつ適用して、マクロブロックの抽出を行う。図２は、該複数のテンプレート＃１，＃２，＃３の概念図である。テンプレート＃１，＃２，＃３のそれぞれには、マクロブロックと透かしデータが埋め込まれているＤＣＴ係数の位置および必要に応じてビット（１又は０）が指定されている。

いま、テンプレート＃１を適用してマクロブロックを抽出したとすると、該マクロブロックはハフマン復号化部１４でハフマン復号され、次に逆量子化部１５にて逆量子化される。逆量子化されたＤＣＴ係数は、ＤＣＴ係数抽出部１６に送られて、透かしデータが埋め込まれているペアのＤＣＴ係数（ビット０と１用のＤＣＴ係数）を抽出される。抽出されたＣＤＴ係数は、適用テンプレート判定部１７に送られ、各ペア毎のＤＣＴ係数値の絶対値差分の総和が求められる。テンプレート＃１に対しての絶対値差分の総和が求められると、テンプレート１３は次のテンプレート＃２を検査対象マクロブロック抽出部１２に適用して、前記と同様の動作を行い、適用テンプレート判定部１７はテンプレート＃２に対しての絶対値差分の総和を求める。以下、残りのテンプレート＃３、・・・に対しても、前記と同様の動作をする。

適用テンプレートが適合した場合には、該テンプレートで抽出された複数の全てのペアに意図的な操作が加えられているので、前記適用テンプレート判定部１７で求められたペアの絶対値差分の総和は大きくなり、一方適合しない場合には抽出されたペアに意図的な操作がなされていないので、絶対値差分の総和は小さい。そこで、前記適用テンプレート判定部１７は、ペアの絶対値差分の総和が最も大きい時のテンプレートを適用テンプレートとする。

以上の動作を、ビデオコンテンツの各フレームに対して行うことにより、図３に示されているように、各フレーム１，２，３，４，５，・・・に対する適用テンプレート＃３，＃３，＃１，＃１，＃２，・・・が求められる。

ＤＣＴ係数抽出部１６は、前記ようにして求められた適用テンプレートを用いて抽出したＤＣＴ係数を平滑化処理部１８に送る。平滑化処理部１８の一実施例の動作を、図４のフローチャートを参照して説明する。

ステップＳ１では、前記ペアの番号を表す置き数Ｎを１と置く。ステップＳ２では、Ｎ番目のペアのビットは“０”であるか否かの判断がなされる。“０”の場合には、ステップＳ３に進んで、ビット０用のブロックのＤＣＴ係数値を小さくして、ビット１用のブロックのＤＣＴ係数値に等しくする。一方、“１”の場合には、ステップＳ４に進んで、ビット１用のブロックのＤＣＴ係数値を小さくして、ビット０用のブロックのＤＣＴ係数値に等しくする。ステップＳ３またはＳ４の処理が終わるとステップＳ５に進んで、全てのペアに対しての処理が終わったか否かの判断がなされ、この判断が否定の時にはステップＳ６に進んでＮに１が加算される。次いで、ステップＳ２に戻って、前記した動作が繰り返される。この動作が繰り返された結果、ステップＳ５の判断が肯定になると、処理を終了する。

以上の処理により、全てのペアのペア毎のＤＣＴ係数値は等しくなり、透かしデータは消去されたことになる。なお、前記ステップＳ３，Ｓ４において、大きい方のＤＣＴ係数値を小さくしたのは、一般にＤＣＴ係数値が大きいと画像に現れるノイズが大きいので、大きい方のＤＣＴ係数値を小さくする方が該ノイズを小さくできるためである。

次に、平滑化処理部１８の他の実施例の動作を、図５のフローチャートを参照して説明する。

ステップＳ１１，Ｓ１２は、図４のステップＳ１，Ｓ２と同じであるので説明を省略する。ステップＳ１２において、Ｎ番目のペア（ペアＮ）のビットが“０”であると判定されると、ステップＳ１３に進んで、ビット“０”用のブロックのＤＣＴ係数を、有意差をなくすように小さくする。一方、“１”の場合には、ステップＳ１４に進んで、ビット“１”用のブロックのＤＣＴ係数を、有意差をなくすように小さくする。ここに、有意差とは、ペアのＤＣＴ係数値の差が許容できる程度に小さいことを意味する。

ステップＳ１５では、全てのペアに対して前記の処理をしたか否かの判断がなされ、否定の場合にはステップＳ１６に進んで、ペアＮに１が加算され、前記ステップＳ１２〜Ｓ１６の動作が繰り返される。以上の動作の結果、ステップＳ１５の判断が肯定になると、ステップＳ１７に進んで、前記ペア１〜Ｎの有意差を統計的検定（例えば、ｔ検定）により統計的判定する。ステップＳ１８では、まだ有意差が残っているかどうか判定され、有意差が残っている場合には、ステップＳ１１に戻って再度前記動作を繰り返す。有意差がなくなると、すなわち有意差があるペアがなくなると、ステップＳ１８の判断は否定となり、平滑化処理は終了する。

この処理においても、全てのペアに埋め込まれていた透かしデータは、実質的に消去されたことになる。

この平滑化処理が終わると、次に、透かし消去によってなされＤＣＴ係数値の変化が後続のフレームに伝搬するのを防止するために、ドリフト制御を行う。具体的には、後続のフレームの同一位置ブロックのＤＣＴ係数値を逆操作してＤＣＴ係数値の時間的伝搬を抑制する。なお、詳細は、本出願人による特開２００５−１４２８９８号公報にドリフト補償方式を適用できるので、その詳細の説明は省略する。

本実施形態によれば、透かしデータが消去されたビデオコンテンツに再度異なる透かしデータを埋め込むことができるようになる。また、透かしデータが消去されたビデオコンテンツを再生した場合には、ノイズのない高画質の映像を得ることができるようになる。

次に、本発明の他の実施形態である電子透かしの編集処理について説明する。この編集処理は、既に埋め込まれている透かしデータを他の透かしデータに変えることを意味している。

本実施形態の概略の構成を図６に示す。図６において、図１と同じ符号は同一または同等物を示す。なお、テンプレート１３’には、ペア位置はテンプレート１３と同じであるが、該ペア位置に新たに埋め込まれるビット（以下、「編集ビット」という）が格納されているものとする。

ステップＳ２１ではＮ＝１と置かれてステップＳ２２に進み、ステップＳ２２では、ペアＮに編集ビットが埋め込まれる。ステップＳ２３では、全てのペアに対して編集ビットを埋め込む処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ２４に進んでＮに１が加算される。次いで、ステップＳ２２に戻り、（Ｎ＋１）番目のペアに該当する編集ビットを埋め込む処理が行われる。以上の処理を繰り返し行った結果ステップＳ２３の判断が肯定になると、処理を終了する。

この実施形態によれば、簡単な操作で、既に埋め込まれていた透かしデータを、編集ビットに書き替えることができる。

次に、本実施形態の他の実施例を、図８のフローチャートを参照して説明する。この実施例では、図６のＤＣＴ係数抽出部１６の次に透かしデータ検出部（不図示）があり、各ペアのビットが、１であるか０であるかが分かったものとする。

そこで、図８のステップＳ３２では、該透かしデータ検出部で検出されたＮ番目のペアのビット（検出ビット）とテンプレート１３’から指示される編集ビットが等しいか否かの判断がなされる。等しければ、ステップＳ３３をスキップしてステップＳ３４に進む。一方、異なっていれば、ステップＳ３３に進んで、ペアＮに編集ビットを埋め込む。ステップＳ３４では、全てのペアに対して処理をしたか否かの判断がなされ、この判断が否定の時には、ステップＳ３５に進んで、Ｎに１が加算される。以上の処理が繰り返し行われ、ステップＳ３４の判断が肯定になると、処理を終了する。

この実施例では、図７の実施例のように、全てのペアに強制的に編集ビットを埋め込まずに、編集ビットが検出ビットと異なる場合に、そのペアに編集ビットを埋め込むようにした。このため、操作されるペアの数が少なくなり、画質に対する影響を最小限に抑えることができる。

本発明の一実施形態の構成の概略を示すブロック図である。 テンプレートの概念図である。 検出された適用テンプレートの概念図である。 本発明の一実施例の動作を示すフローチャートである。 本発明の他の実施例の動作を示すフローチャートである。 本発明の他の実施形態の構成の概略を示すブロック図である。 本発明の一実施例の動作を示すフローチャートである。 本発明の他の実施形態の構成の概略を示すブロック図である。 透かしデータ埋め込み装置の構成の概略を示すブロック図である。 画像を埋め込むビットの埋め込み情報の表現形式の説明図である。 多数のＤＣＴ係数値ペアにビット情報を埋め込んだ様子を示す説明図である。

符号の説明

１１・・・ビデオコンテンツ、１２・・・検査対象マクロブロック抽出部、１３、１３’・・・テンプレート、１６・・・ＤＣＴ係数抽出部、１７・・・適用テンプレート判定部、１８・・・平滑化処理部、１９・・・編集処理部。

Claims (5)

1. ２つのＤＣＴ係数値の相対差により情報表現する電子透かしを備えた圧縮動画像の電子透かし編集装置において、
   動画像に対して、電子透かし埋め込み時に用いられたブロック位置を指示するテンプレートを特定する特定手段と、
   前記テンプレートで指示されたブロックのＤＣＴ係数値のペア（対）の相対差を平滑化する平滑化手段とを具備し、
   前記電子透かしを消去するようにした圧縮動画像の電子透かし編集装置。
2. 請求項１に記載の圧縮動画像の電子透かし編集装置において、
   前記平滑化手段は、前記動画像に対する係数値ペアの有意差が、統計的に棄却されるまで再帰的に個別の係数値ペアの相対差を縮小するようにした圧縮動画像の電子透かし編集装置。
3. ２つのＤＣＴ係数値の相対差により情報表現する電子透かしを備えた圧縮動画像の電子透かし編集装置において、
   動画像に対して、電子透かし埋め込み時に用いられたブロック位置を指示するテンプレートを特定する特定手段と、
   新たに埋め込む電子透かし編集ビットを提供する手段と、
   前記テンプレートで指示されたブロックのＤＣＴ係数値のペア（対）に、前記編集ビットを埋め込む手段とを具備した圧縮動画像の電子透かし編集装置。
4. 請求項３に記載の圧縮動画像の電子透かし編集装置において、
   予め前記ペアに埋め込まれている係数値ペアのビットを検出する手段を更に具備し、
   前記編集ビットを埋め込む手段は、前記検出された係数値ペアのビットと前記編集ビットとを比較し、異なる場合のみ、該編集ビットを埋め込むようにした圧縮動画像の電子透かし編集装置。
5. 請求項１ないし４のいずれかに記載の圧縮動画像の電子透かし編集装置において、
   前記テンプレートを特定する特定手段は、全てのテンプレートを前記動画像に適用してＤＣＴ係数値を抽出し、そのＤＣＴ係数値のペアの絶対値相対差の総和が最大となるテンプレートが、適合テンプレートであると判断する圧縮動画像の電子透かし編集装置。
   

Images