JP2005341525A

JP2005341525A - ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置

Info

Publication number: JP2005341525A
Application number: JP2004332407A
Authority: JP
Inventors: Yeong-Kyeong Seong; 英慶成; Yoon-Hee Choi; ヨン−ヒー・チョイ; Tae-Sun Choi; テ−スン・チョイ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-05-27
Filing date: 2004-11-16
Publication date: 2005-12-08
Also published as: KR20050112634A; US20050265576A1; KR100643273B1

Abstract

【課題】ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置を提供する。
【解決手段】ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階、及び前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階を含むビデオウォーターマーキング方法。
【選択図】図１

Description

本発明はビデオウォーターマーキングに係り、より詳細には、ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置に関する。

デジタル技術の発展につれて膨大な量のデジタルマルチメディアデータが利用しやすくなった。デジタル情報は、アナログ情報とは違って品質の損失なしに安価で大量コピー可能な特徴を有する。デジタル情報のこのような特徴は著作権の保護という観点からは問題になりうる。デジタルコンテンツに関する著作権の保護方案として議論されている技術の１つが、デジタルウォーターマーキング(Digital Water marking)技術である。

ウォーターマーキング技法は、デジタルコンテンツにユーザのID(Identification)や自分だけの情報を挿入することによって、デジタルコンテンツの不法な複製を防止し、デジタルコンテンツに関する著作権を保護し、所有権を主張できる根拠を提示可能にする技術である。

このようなウォーターマーキング技法は、不法な複製や配布から所有権を証明でき、ウォーターマークを除去しようとする攻撃がある場合にも、本当の機能を発揮しようとするならば、次のような条件を満たさねばならない。

・非可視性(Invisibility)
ウォーターマークを挿入した後にも原本コンテンツの変化がほとんどなく、ウォーターマークの挿入如何を感知できなくすべきである。これはコンテンツの品質を低下させないというウォーターマークの特性を意味するが、挿入されたウォーターマークが視覚的に見えなくすべきである。一部の応用分野では可視的なウォーターマーキング技法を使用することもある。一方、イメージではない、一般のコンテンツの場合には非可視性は非認知性(Imperceptibility)と呼ばれる。

・強じん性(Robustness)
ウォーターマークを信号の重要な部分に挿入して転送や保存のために圧縮する時にウォーターマークの歪曲が発生してはならない。そして、転送中に生じうるノイズや色々な形の変形と攻撃があっても挿入されたウォーターマークを抽出できる特性を強じん性という。強じん性の場合も応用分野によって意図的に弱い(fragile)ウォーターマーキング技法を使用する時がある。これは主に認証用として多用され、Semi-Fragil技法を用いて不法操作の正確な位置なども探し出せる。

・明確性(Unambiguity)
抽出されたウォーターマークが確実な所有権を主張できるように攻撃などに対して正確性を保持すべきである。

・原本なしに抽出(Blindness)
原本映像なしにウォーターマーキングされた映像のみでウォーターマークを検出しなければならない。これはウォーターマーキング技法をオンライン上や多様な応用分野への適用において、正しい所有権者を区別せねばならない現実性を考慮する時、必要な機能である。

・保安性(Security)
関連したキー値等を知っている場合にウォーターマークを確認できなければならない。
この他にも挿入される情報の量(Capacity)、多重ウォーターマーキング(multiple watermarking)など多くの要求条件を満たさねばならない。

一方、最近では、デジタル放送受信機にハードディスクを内蔵した新たなフラットフォームが登場した。ユーザはこのような機器を用いて個人的な目的でテレビ放送を時間変換再生(Time-shift play)のために保存して使用できるが、現在、このような行為は許容される行為範ちゅうに含まれる。しかし、著作権保護のために一度保存された放送データは、その後には他の装置に複製されてはならない。

このように保存される放送データに複製制御情報を挿入し、これを検出するのにウォーターマーキング技法が用いられる。例えば、ウォーターマークに含まれるコピー制御情報として‘copy never’と‘copy freely’を置き、前者が含まれた放送データの場合には他の装置へのコピーを禁止し、後者の場合には他の装置へのコピーを許容しうる。すなわち、デジタル放送受信機は放送データに含まれたコピー制御情報を確認し、その情報が‘copy never’である場合には他の装置、例えばコンピュータやPVRなどの装置への放送データのコピーを禁止する。

デジタル放送プログラムまたはVODサービスで提供される映画についてはリアルタイム(または準リアルタイム)でウォーターマーキングできる方法が必要である。現在までリアルタイムビデオウォーターマーキングを具現するためにいろいろな方法が提案された。例えば、非特許文献１では、圧縮領域でVLC(Variable Length Coding)のコードワードを変更してウォーターマークを挿入する方法が提案されている。しかし、VLC領域でウォーターマークを挿入すれば、不法な攻撃に脆弱な短所がある。非特許文献２では、多解像度ビデオ分析を用いた場面単位のウォーターマークが提案されている。この方式はビデオシーケンスを場面単位に分割し、それぞれの場面に対して時間軸に対するウェーブレット(Wavelet)変換を行う。この方法は場面に基づいてウォーターマークを挿入する方法である。しかし、この方式は計算の複雑性のために現実的にはリアルタイム処理に難点がある。
これにより、少ない計算によるリアルタイムビデオウォーターマーキングの必要性が台頭されている。
「Watermarkng Digital Image and Video Data」（ G．C．Langelaarら）「Multiresolution Scene-Based Video Watermarking Using Perceptual Models」（ M．K．Swanson ）

本発明は前述した必要性によって案出されたものであって計算上の効率の高いリアルタイム(または準リアルタイム)ビデオウォーターマーキングの方法及び装置を提供することをその目的とする。
また本発明は、リアルタイムビデオウォーターマーキング技法を用いたビデオコンテンツの保護方法及び装置を提供することを他の目的とする。
本発明の目的は前述した目的によって制限されず、言及されていないさらに他の目的は下記の記載より当業者に明確に理解されるものであろう。

前記目的を達成するために、本発明の一実施例によるビデオウォーターマーキング方法は、ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階と、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、を含む。

前記目的を達成するために、本発明の他の実施例によるビデオウォーターマーキング方法は、ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する第１係数を得る段階と、前記ビデオシーケンスのインターフレームの動きベクトルを大きさによってウォーターマークの挿入強度を決定する第２係数を得る段階と、イントラフレームに対しては前記第１係数によって決定された挿入強度によってビデオシーケンスにウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数によって決定された挿入強度によってウォーターマークを挿入する段階と、を含む。

前記目的を達成するために、本発明の一実施例によるビデオウォーターマーキング装置は、ビデオシーケンスの場面転換を検出する場面転換検出部と、前記検出された場面の１つまたはそれ以上のフレームでウォーターマークの挿入強度を決定するのに用いる場面のイメージ複雑度を計算するイメージ複雑度計算部と、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、を含む。

前記目的を達成するために、本発明の一実施例によるウォーターマーキングを用いたビデオコンテンツの保護方法は、入力されたビデオシーケンスに関する権限によってウォーターマークに含まれるウォーターマークメッセージを決定する段階と、前記ビデオシーケンスの各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定する段階と、決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、前記ビデオシーケンスに挿入されたウォーターマークを検出し、検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱う段階と、を含む。

前記目的を達成するために、本発明の一実施例によるウォーターマーキングを用いたビデオコンテンツの保護装置は、入力されたビデオシーケンスの権限によってウォーターマークに含まれるウォーターマークメッセージを決定するメッセージ決定部と、前記ビデオシーケンスの場面転換を検出し、検出された各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定し、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、前記ビデオシーケンスに挿入されたウォーターマークを検出するウォーターマーク検出部と、前記検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱うビデオコンテンツ管理部と、を含む。

本発明によれば、少ない計算量によりリアルタイムビデオウォーターマーキングが可能である。また、本発明によれば、リアルタイムビデオウォーターマーキング技法を用いたビデオコンテンツ保護機能を有する放送受信機やビデオ再生装置の生産が可能である。

以下、添付された図面を参照してより詳細な実施例を説明する。
・ウォーターマーキング方法の応用実施例
図１は、本発明の一実施例に係るコピー防止機能を有する放送受信機の構成を示すブロック図である。

放送受信機100はMPEG方式でコーディングされた放送信号を受信し、これをデコーディングして放送コンテンツを再生可能にする。
ネットワークインターフェース部102は受信された放送信号を復調してデジタル信号に変換させる。デジタル信号には複数のプログラムが含まれうる。逆多重化部104はこのように複数のプログラムが多重化されたデジタル信号からユーザが選択したプログラムを抽出する。一方、有料放送プログラムの場合にスクランブルされた状態で放送されて有料ユーザのみが視聴可能にする。スクランブル解除部(descrambler)106はスクランブルされたプログラムのスクランブルを解除する。

逆多重化及びスクランブル解除されたプログラムはMPEGデコーダ108を通じてデコーディングされる。デコーディングされたビデオ情報はビデオ信号生成部110を通じてビデオ信号として出力され、デコーディングされたオーディオ情報はオーディオ信号生成部112を通じてオーディオ信号として出力される。

放送受信機100は受信されたプログラムをハードディスクのような不揮発性保存媒体である保存部122に保存して、ユーザをして放送時間でなくてもプログラムを視聴可能にする。プログラムに対する正当な権利を有するユーザがプログラムを一時的にあるいは永久的に保存し、これを再生することは許容される行為であるが、保存されたプログラムを他の装置にコピーする行為は著作権と関連して問題になる。

したがって、放送受信機100はプログラムを保存する時に付加的な情報を挿入してプログラムに関する権限によってプログラムへの接近を制限することもある。この実施例で付加情報は放送プログラムにプログラムに関する権限を意味するウォーターマークを挿入する。例えば、スクランブルされて受信される有料チャンネルのプログラムに対しては“コピー防止”を意味するウォーターマークを挿入し、自由に使用可能なプログラムについては“コピー可能”を意味するウォーターマークを挿入する。もし、プログラムに関する権限が3回再生である場合、プログラムに“3回再生”を意味するウォーターマークを挿入する。もし、3回再生可能なプログラムを一回再生した場合には再び“2回再生”を意味するウォーターマークを挿入する。一方、望ましくは不法なコピーなどの著作権侵害行為の発生時に、著作権侵害を誘発した行為者が誰であるかが分かるようにウォーターマークに放送受信機100が有する固有一キーを含める。

一方、放送プログラムに対するウォーターマーキングはリアルタイム(または準リアルタイム)で行われる必要があるが、リアルタイムウォーターマーキングの場合に多くの計算時間を必要とする。すなわち、動映像プログラムのあらゆるフレームに対していちいちウォーターマーク挿入強度を演算する場合にはあまりにも多くの計算量を必要とする。本発明の実施例は場面(scene)転換を検出して場面単位でウォーターマークの挿入強度を決定する。このために、場面転換検出部118は逆多重化されたプログラムの場面転換如何を決定する。場面転換如何が決定されれば、ウォーターマーク挿入部120はプリバッファ116に臨時に保存されているプログラムにウォーターマークを挿入する。ウォーターマーキングされたプログラムは保存部122に保存される。

ウォーターマーキングされたプログラムを実行しようとすれば、臨時にビットバッファ124に保存してMPEGデコーダ108でデコーディングする。この時、ウォーターマーク検出部114はプログラムに挿入されたウォーターマークを検出する。検出されたウォーターマークに含まれたメッセージはビデオコンテンツ管理部126に伝えられる。もし、これ以上再生できないプログラムであれば、ビデオコンテンツ管理部126は放送受信機100でプログラムを再生不能にする。もし、再生可能なプログラムであれば、ビデオコンテンツ管理部126は放送受信機100でプログラムを再生することを妨害しない。一方、他の装置にプログラムをコピーしようとする時、コピー防止状態の場合にビデオコンテンツ管理部126は放送受信機100の他の装置へのプログラムのコピーをできなくする。

一方、この実施例では放送受信機100毎に固有メッセージをウォーターマークに含めるが、かかる場合にユーザが故意で放送受信機100を変更させてコピー防止されたプログラムを他の装置にコピーする場合でも、不法コピーされたプログラムに挿入されたウォーターマークを検出して不法流出させたユーザを探し出せる。

ウォーターマーキングを用いてビデオコンテンツを保護できる装置の例として放送受信機を説明したが、これは例示的なものであって、ウォーターマーキングを用いてビデオコンテンツを保護する如何なる装置でも本発明の技術的範囲に含まれると解釈せねばならない。

・ウォーターマーク挿入装置
図２は、本発明の一実施例に係るウォーターマーク挿入装置の構成を示すブロック図である。この実施例ではDCT基盤のビデオコーディングされたビデオストリームに関するウォーターマーキングを中心に説明する。
ウォーターマーク挿入装置200はDCT基盤のビデオコーディング方式、例えばMPEG-2コーディング方式でコーディングされた元のビデオストリームを入力されてウォーターマークされたビデオストリームを出力する。

まず、元のビデオストリームが入力されれば、可変長逆符号化部210は可変長符号化されたビデオストリームを可変長逆符号化する。可変長逆符号化を経てマクロブロック(Macro Block；以下、MBと称する)タイプ情報と、動きベクトル及び量子化されたDCT映像を得られる。

場面転換検出部240はビデオシーケンスの場面転換如何を判断する。この実施例ではMBタイプを用いてビデオシーケンスの場面転換如何を判断するが、これについては後述する。場面転換如何に関する情報はイメージ複雑度計算部230に伝えられる。
逆量子化部220は量子化されたDCT映像を逆量子化してDCT映像を得る。

イメージ複雑度計算部230はDCT映像の複雑度を計算する。計算されたイメージ複雑度はウォーターマーク挿入部250に伝えられてウォーターマーク挿入強度を決定するのに用いられる。イメージ複雑度は場面単位で類似した特性を有するが、この実施例ではこれを用いて場面単位で場面を代表する１つまたは一部のフレームを用いてイメージ複雑度を計算する。

ウォーターマーク挿入部250は動きベクトル大きさとイメージ複雑度とを受け取ってウォーターマーク挿入強度を決定し、決定されたウォーターマーク挿入強度によってDCT映像をウォーターマーキングする。ウォーターマークされたDCT映像は量子化部260を経て量子化されて可変長符号化部270を経て可変長符号化されてウォーターマークビデオストリームに含まれる。ウォーターマーク挿入部250については図3を通じて後述する。

図２のウォーターマーク挿入装置200はMPEG方式(MPEG-2またはMPEG-4)でコーディングされたビデオストリームに対してウォーターマーキングすることを例示として説明した。しかし、ビデオコーディングされていないビデオに対してもウォーターマーキングすることも可能である。この場合にはビデオをMPEG方式でコーディングする過程で得られたDCT映像にウォーターマーキングする。

一方、図２の実施例はMPEG方式でコーディングされたビデオストリームについてのウォーターマーキングを説明したが、これは例示的なものである。すなわち、ウェーブレット基盤のビデオコーディング方式でコーディングされたビデオストリームの場合にも場面転換を検出して場面の代表フレームに関するイメージ複雑度を計算してウォーターマーク挿入強度を決定することも可能である。

図３は、ウォーターマーク挿入部の構成をさらに詳細に示すブロック図である。
ウォーターマーク挿入部300は、ウォーターマークメッセージを決定するメッセージ決定部310と、ウォーターマーク挿入部300の固有一キー値であるウォーターマークキーを保存するウォーターマークキー保存部320と、ウォーターマーク生成部330と、ウォーターマーク挿入強度決定部340と、乗算器350及び加算器360を含む。

ウォーターマークメッセージ決定部310はウォーターマークに含まれたウォーターマークメッセージを決定する。本発明の実施例でウォーターマークに含まれたウォーターマークメッセージはビデオに関する権限によって決定される。例えば、“再生１回”や“コピー可能”を意味するウォーターマークメッセージなどがありえる。

ウォーターマーク生成部330はウォーターマークキー値でウォーターマークメッセージを帯域拡散してウォーターマークを生成する。例えば、ウォーターマークメッセージとウォーターマークキー値とをモジュラス演算してウォーターマークを生成する。
ウォーターマーク挿入強度決定部340はウォーターマーク挿入強度を決定するが、動きベクトル大きさ及びイメージ複雑度などを入力されてウォーターマーク挿入強度を決定する。ウォーターマーク挿入強度の決定に関するさらに詳細な説明は後述する。
ウォーターマークはウォーターマーク挿入強度と乗算器350で乗算される。次いで、DCT映像及び加算器360で加算される。

・ウォーターマーク挿入過程
ビデオシーケンスに関するウォーターマーク挿入過程については図4を通じて説明する。
まず、ビデオシーケンスの場面転換を検出する(S410)。次いで、場面を代表する１つまたは一部のフレームを用いて映像の複雑度を計算する(S420)。映像の複雑度を計算した後、映像の複雑度を用いてウォーターマーク挿入強度を決定する第１係数を決定する(S430)。そして、各フレームがインターフレームであるか否かを判断し(S440)、インターフレームである場合には動きベクトル大きさによって第２係数を決定する(S450)。インターフレームは第１係数及び第２係数でウォーターマーク挿入強度を決定してウォーターマークを挿入し、インターフレームでない場合には第１係数でウォーターマーク挿入強度を決定してウォーターマークを挿入する(S460)。インターフレームはビデオシーケンスの他のフレームを参照してコーディングされるフレームを意味し、MPEG方式のビデオコーディングにおけるPフレームまたはBフレームがこれに該当する。インターフレームでないフレームはイントラフレームともいい、他のフレームを参照せずにコーディングされるフレームを意味する。MPEG方式のビデオコーディングでIフレームがイントラフレームに該当する。

・場面転換検出過程
図５は、本発明の一実施例に係る場面転換検出過程を示す図面である。図５の実施例で場面転換検出は計算を簡略化するためにBフレームのMBタイプを使用する。(a)のように場面S２及びS２の転換がB１フレームより生じた場合にB１及びB２フレームの大部分のMBタイプは逆方向動き補償になる。なぜなら、B１、Ｉ２またはＰ２の場合にほぼ類似した映像であるからである。(b)のように場面Ｓ１及びＳ２の転換がＢ２フレームより生じた場合にB1フレームの大部分のMBタイプは順方向動き補償になり、Ｂ２フレームの大部分のMBタイプは逆方向動き補償になる。(c)のように場面Ｓ１とＳ２の転換がＩ２またはＰ２で発生した場合にＢ１とＢ２フレームの大部分のMBタイプは逆方向動き補償になる。

もし、場面転換が発生しない場合であれば、(a)、(b)、(c)のようにＢ１及びＢ２フレームの大部分のMBタイプが特定の動き補償にはならない。すなわち、MBタイプの動き補償方向を判断して容易に場面転換如何を判断しうる。

・ウォーターマーク挿入強度
図6は、本発明の一実施例に係る挿入強度を決定するパラメータを説明するための図面である。(a)はイメージ複雑度を計算する領域を示し、(b）は動きベクトルの大きさ領域によって第２係数値を決定することを示す。

場面単位によってウォーターマーク挿入強度が決定されるが、各場面を代表する１つまたは一部フレームから場面のイメージ複雑度を計算する。例えば、場面に含まれた最初イントラフレームからイメージ複雑度を計算する。(a)は場面の最初イントラフレームのDCTブロックを示す。DCTブロックで(0,0)はDC成分であってイメージ複雑度計算では除き、AC成分だけでイメージ複雑度を計算する。実際に、あらゆるAC成分でイメージ複雑度を計算してもよく、(a)のように一部のAC成分だけでイメージ複雑度を計算しても良い。イメージ複雑度は多様な方式で決定しても良いが、この実施例では計算を簡単にするために絶対値の和で数学式1のように計算する。

ICはイメージ複雑度を意味し、Aはイメージ複雑度を計算する領域を意味する。DCT(ｉ,ｊ)はDCTブロックの(ｉ,ｊ)ブロックピクセルのDCT係数を意味する。
図６でA={(0,1),(0,2),(0,3),(1,0),(1,1),(1,2),(2,0),(2,1),(3,0)}である。
場面でイメージ複雑度は数式１のようにDCTブロック毎に異ならせて計算できるが、数式２のようにフレーム全体に対して１つに決定することもできる。

kはDCTブロックの番号を意味し、nは１フレームに含まれたDCTブロックの数を意味する。
イメージ複雑度が計算されれば、ウォーターマーク挿入強度を決定する第１係数(α)は次のように決定されうる。

If 場面転換発生
映像の複雑度(IC)計算；
If(IC＞最小複雑度)
α=定数×IC；
Else
α=定数×最小複雑度；
Else
既に計算されたα使用
End

イントラフレームの場合に第１係数(α)だけで挿入強度を決定するが、インターフレームの場合には動きベクトルの大きさによってウォーターマーク挿入強度を増加させうる。(b)では動きベクトルの大きさを示しており、動きベクトルの大きさによって領域を二領域に分離した。領域１は動きベクトルが小さいことを意味し、領域２は動きベクトルが大きいことを意味する。もし、動きベクトルが(4,5)であれば、領域２に属する。動きベクトルが大きい場合には大きな第２係数(β)を与え、動きベクトルが小さい場合には小さな第２係数(β)を与える。すなわち、動きベクトルの大きさが決まった場合に第２係数は数式３のように計算されうる。

ここで、β１及びβ２は各々領域１及び領域２の第２係数であり、β２の値がβ１の値より大きい。
一方、図6では領域を２つに分けたが、領域をさらに細分化することも可能である。
第１係数と第２係数とが決定されれば、ウォーターマーキングされたDCT映像は数式4により決定されうる。

Iは映像のDCT領域での係数を意味し、I’はウォーターマークされた映像のDCT領域での係数を意味する。変更されるDCT領域の係数はAC成分のうち1つ以上の領域を使用する。α及びβは各々第１係数と第２係数とを意味し、Wはウォーターマークを意味する。イントラフレームの場合にも数式4によりウォーターマーキングされたDCT映像を決定できるが、第１係数だけを用いて数式5によりウォーターマーキングされたDCT映像を決定することもできる。前者の場合には第２係数はβ１値を有する。

図７は、本発明の一実施例によってビデオシーケンスにウォーターマーキングを適用することを示す図面である。
ビデオシーケンスがある時、場面１と場面２との転換が検出された場合に場面１のイメージ複雑度は場面１の最初のイントラフレーム710で計算し、場面２のイメージ複雑度は場面２の最初イントラフレーム720で計算しうる。
ウォーターマーク挿入強度の場合、イントラフレームは場面のイメージ複雑度(IC)だけで挿入強度を決定できるが、インターフレームの場合には場面のイメージ複雑度(IC)と動きベクトル(MV)との大きさを何れも考慮して挿入強度を決定する。

-シミュレーション
シミュレーションは本発明に係る実施例の性能をテストするために行われた。シミュレーションは標準イメージシーケンスに対して行われ、実際に放送ビデオシーケンスを受信して行った。シミュレーションされたビデオシーケンスは2309個の352X288サイズのフレームを有する9個の標準イメージシーケンスより構成される。イメージはMPEG-2方式でコーディングされたイメージである。実際放送されたビデオシーケンスは320X240の大きさを有するMPEG-2方式でコーディングされた3000個のフレームである。図8の(a)はAC係数により計算されたイメージ複雑度を示す。ラインプロット(Lined-plot)は第1係数(α)を意味する。(b)は動きベクトルの大きさによって分類された領域を示す。(b)で動きベクトルは大きさによって4つの領域に分け、明るい色の場合に動きベクトルが大きい領域である。
図９Ａないし図９Ｃは、各々ウォーターマークされたイメージと各種攻撃がある時のウォーターマークの検出結果を示す。

本発明は、デジタルコンテンツの不法な複製を防止し、デジタルコンテンツに関する著作権を保護し、所有権を主張可能にするウォーターマーキング技法が用いられる全ての分野に好適に適用されうる。

本発明の一実施例に係るコピー防止機能を有する放送受信機の構成を示すブロック図である。本発明の一実施例に係るウォーターマーク挿入装置の構成を示すブロック図である。ウォーターマーク挿入部の構成をさらに詳細に示すブロック図である。本発明の一実施例に係るウォーターマーク挿入過程を示すフローチャートである。本発明の一実施例に係る場面転換検出過程を示す図面である。本発明の一実施例に係る挿入強度を決定するパラメータを説明するための図面である。本発明の一実施例によってビデオシーケンスにウォーターマーキングを適用することを示す図面である。本発明の実施例によって計算されたイメージ複雑度及び動きベクトルの大きさに係るフレームの領域分類の実験結果を示す図面である。本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。

符号の説明

１０２チューナ
１０４逆多重化部
１０６スクランブル解除部
１０８ＭＰＥＧデコーダ
１１０ディスプレイ信号生成部
１１２オーディオ信号生成部
１１４ウォーターマーク検出部
１１６プリバッファ
１１８場面転換検出部
１２０ウォーターマーク挿入部
１２２保存部
１２４ビットバッファ
１２６ビデオコンテンツ管理部

Claims

ビデオシーケンスの場面転換を検出する段階と、
前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階と、
前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、を含むビデオウォーターマーキング方法。
前記イメージ複雑度計算に用いられるフレームは各場面の最初のイントラフレームである請求項１に記載のビデオウォーターマーキング方法。
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項２に記載のビデオウォーターマーキング方法。
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項３に記載のビデオウォーターマーキング方法。
前記イメージ複雑度が最小イメージ複雑度を超える時に前記係数は、前記イメージ複雑度に所定の比例定数値を乗算して得られ、前記イメージ複雑度が最小イメージ複雑度以下である時に前記係数は、最小イメージ複雑度に前記比例定数値を乗算して得られる請求項１に記載のビデオウォーターマーキング方法。
前記場面転換如何はBフレームのマクロブロックタイプの動き補償方向によって判断される請求項１に記載のビデオウォーターマーキング方法。
ビデオシーケンスの場面転換を検出する段階と、
前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する第１係数を得る段階と、
前記ビデオシーケンスのインターフレームの動きベクトルを大きさによってウォーターマークの挿入強度を決定する第2係数を得る段階と、
イントラフレームに対しては前記第１係数によって決定された挿入強度によってビデオシーケンスにウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数によって決定された挿入強度によってウォーターマークを挿入する段階と、を含むビデオウォーターマーキング方法。
前記イメージ複雑度計算に用いられるフレームは各場面の最初のイントラフレームである請求項７に記載のビデオウォーターマーキング方法。
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項８に記載のビデオウォーターマーキング方法。
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項９に記載のビデオウォーターマーキング方法。
前記イメージ複雑度が最小イメージ複雑度を超える時に前記第1係数は、前記イメージ複雑度に所定の比例定数値を乗算して得られ、前記イメージ複雑度が最小イメージ複雑度以下である時に前記第１係数は、最小イメージ複雑度に前記比例定数値を乗算して得られる請求項７に記載のビデオウォーターマーキング方法。
前記第2係数は前記インターフレームの動きベクトルの大きさ区間別に決定される請求項７に記載のビデオウォーターマーキング方法。
場面転換はBフレームのマクロブロックタイプの動き補償方向によって決定される請求項７に記載のビデオウォーターマーキング方法。
前記挿入されるウォーターマークはウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させて得られる請求項７に記載のビデオウォーターマーキング方法。
ビデオシーケンスの場面転換を検出する場面転換検出部と、
前記検出された場面の１つまたはそれ以上のフレームでウォーターマークの挿入強度を決定するのに用いる場面のイメージ複雑度を計算するイメージ複雑度計算部と、
前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、を含むビデオウォーターマーキング装置。
前記ウォーターマーク挿入部は、ビデオシーケンスにウォーターマークを挿入する時の挿入強度を前記イメージ複雑度と前記ビデオシーケンスのインターフレームの動きベクトルの大きさとを考慮して決定し、前記挿入強度によって前記ビデオシーケンスにウォーターマークを挿入する請求項１５に記載のビデオウォーターマーキング装置。
前記イメージ複雑度計算部は前記イメージ複雑度計算に各場面の最初イントラフレームを使用する請求項１５に記載のビデオウォーターマーキング装置。
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項１７に記載のビデオウォーターマーキング装置。
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項１８に記載のビデオウォーターマーキング装置。
前記イメージ複雑度が最小イメージ複雑度を超える時に前記イメージ複雑度計算部は前記イメージ複雑度に所定の比例定数値を乗算して前記イメージ複雑度を計算し、前記イメージ複雑度が最小イメージ複雑度以下である時に前記イメージ複雑度は最小イメージ複雑度に前記比例定数値を乗算して得られる請求項１５に記載のビデオウォーターマーキング装置。
場面転換検出部はBフレームのマクロブロックタイプの動き補償方向によって場面転換如何を決定する請求項１５に記載のビデオウォーターマーキング装置。
前記ウォーターマーク挿入部は、ウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させてビデオシーケンスに挿入されるウォーターマークを得る請求項１５に記載のビデオウォーターマーキング装置。
入力されたビデオシーケンスに関する権限によってウォーターマークに含まれるウォーターマークメッセージを決定する段階と、
前記ビデオシーケンスの各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定する段階と、
決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、
前記ビデオシーケンスに挿入されたウォーターマークを検出し、検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱う段階と、を含むウォーターマーキングを用いたビデオコンテンツの保護方法。
前記ウォーターマークの挿入強度を決定する段階は、各場面の最初イントラフレームで場面単位のイメージ複雑度を計算して第１係数を得る段階と、各インターフレームの動きベクトルの大きさによって第２係数を得る段階、イントラフレームに対しては前記第１係数によって挿入強度を決定し、インターフレームに対しては前記第１係数及び第２係数によって挿入強度を決定する請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数を用いて計算する請求項２４に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
前記ビデオシーケンスの各場面はBフレームのマクロブロックタイプの動き補償方向によって区別する請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
前記挿入されるウォーターマークは前記決定されたウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させて得られる請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
入力されたビデオシーケンスの権限によってウォーターマークに含まれるウォーターマークメッセージを決定するメッセージ決定部と、
前記ビデオシーケンスの場面転換を検出し、検出された各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定し、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、
前記ビデオシーケンスに挿入されたウォーターマークを検出するウォーターマーク検出部と、
前記検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱うビデオコンテンツ管理部と、を含むウォーターマーキングを用いたビデオコンテンツの保護装置。
前記ウォーターマークの挿入部は各場面の最初イントラフレームで場面単位のイメージ複雑度を計算して第１係数を得、各インターフレームの動きベクトルの大きさによって第2係数を得、イントラフレームに対しては前記第１係数による挿入強度でウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数による挿入強度でウォーターマークを挿入する請求項２８に記載のウォーターマーキングを用いたビデオコンテンツの保護装置。
前記ビデオシーケンスでBフレームのマクロブロックタイプの動き補償方向によって場面転換如何を検出する場面転換検出部をさらに含む請求項２８に記載のウォーターマーキングを用いたビデオコンテンツの保護装置。
請求項１ないし１４と、請求項２３ないし２７のうち何れか１項に記載の方法を実行するためのコンピュータ可読プログラムを記録した記録媒体。