JP2004533143A - 画像の時空間チャネル - Google Patents

Abstract

画像にウォーターマークを施すために、表示器全体にわたる画像の１つまたは以上の表示特性を、それぞれの修正されたフレーム内の順次連続するラインに加えられる時空間パターンに従って変化させることにより、チャネルが画像フレームの系列内へ挿入される。画像がＭＰＥＧ規定で符号化されている場合、Ｂフレームを修正するのが望ましい。ビデオ信号の青色成分は、いくつものペアをなすフレームにおける順次連続するラインの逆位相回転のもとで、ウォーターマーク情報およびその相補値で修正できる。修正は十分な青色明度レベルを有する画像の比較的静止した領域で行われる。ウォーターマーク検出器は、ウォーターマークに関する先験的情報を持ち、かつ、ウォーターマークを含んでいるかもしれない画像の特定の（静止している）領域を時間の経過とともに調べる。検出のために、ピクセル値の差分が、受信した試験フレームと、ａ）非修正画像フレームとの間か、または、ｂ）ペアをなす順次連続するフレームとの間の静止領域で計算される。
【選択図】図１

Description

【開示内容】
【０００１】
本発明は、２０００年９月７日に出願された米国特許出願番号０９／６５６，８９２，代理人名簿番号ＳＡＲ１３８１３，の一部継続出願である。
【発明の技術分野】
【０００２】
本発明は、画像処理に関し、より詳しくはビデオ信号内のデータ伝送チャネルまたはビデオ信号のウォーターマークチャネルに関する。
【関連技術の説明】
【０００３】
画像情報は通常、処理され、記録され、および／またはアナログまたはディジタル形式で記憶されるが、結局は、アナログ形式で記録されたすべての情報はディジタル形式に変換できる。いったんディジタル形式になると、このような情報は簡単に複製され、修正されるか、またはインターネットのような電子媒体を通して流通、配信される。著作権による保護は、いったん有体物の媒体で固定した情報の所有者には与えられるが、不当な複製、不当な修正、またはそれがディジタル形式であれば情報の不当な流通、配信を通しての盗用は、１）容易に成し遂げられ、かつ２）情報自体から発見するのは難しい。例えば、圧縮されたディジタルコンテンツ（例えば、ディジタルビデオディスク（ＤＶＤ）、ディジタル放送、またはディジタル化した映画）の盗用は、所有者や圧縮されたディジタルコンテンツを流通、配信する権利を持つ提供者にとっては深刻な問題である。ディジタル形式では、圧縮されたディジタルコンテンツの「完全な」複製が可能であるが、圧縮されたディジタルコンテンツ内に情報を隠す技術は存在しており、法廷のような場で合法的な所有権または合法的な使用を証明するのに使用される。
【０００４】
総じて、これらの技術はデータ検証技術分野内のものであり、符号化および／または圧縮されたディジタル画像コンテンツに関しては、画像ビデオ信号中に隠された情報を直接画像ビデオ信号中に挿入するディジタルウォーターマークが通常採用されている。ディジタル画像に対する多くのウォーターマーク技術がこれまで開発されており、これによりコンテンツ提供者はコンテンツ材料の源および、彼らの材料が複製され、修正され、または流通、配信されたということを証明できる。さらに、ビデオデータ内に不可視のウォーターマークを挿入する、公開された技術が存在し、例えばＤＶＤフォーラムのコピープロテクションテクニカルワーキンググループ（Ｃｏｐｙ Ｐｒｏｔｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ（ＣＰＴＷＧ））は、ＤＶＤに対して標準化したディジタルウォーターマーク技術を選択することができる。
【０００５】
いくつかの装置では、伝送するビデオ信号上に重畳された別個のデータチャネルがデータ検証に役立つ。上記データチャネルは符号化したビデオ信号データストリーム自体内に追加されるか、または上記データチャネルを、別個にシステム制御、シグナリング、および／または同期化情報に使用される２次的なチャネルで送ることも可能である。上記チャネルは、暗号化キー、ウォーターマークパターンに対応するデータか、または画像コンテンツの合法的な所有者または合法的な流通配信業者に固有の別形式の識別子を伝達するのに用いることができる。
【０００６】
空間的および／または時間的に高い周波数に対する人間の鈍感さを利用し、これらの特性を持った低レベルのウォーターマークを挿入するウォーターマーク技術もある。当業界で知られているように、電子表示装置や画像投影装置は共に、画像の中心から周辺に向かって変化する表示特性を持つ傾向がある。しかしながら、人間の視覚的認知特性によれば、画像を観察するほとんどの人間は、このような微妙な変化を許容し受け入れる。上記表示特性の変化はわずかであるので、たいていの視聴者は表示特性が時間とともにいつ変わったかに気が付かない。
【０００７】
符号化または圧縮されたディジタル画像に対する多くの技術においては、（アナログ）ピクセル自体を修正するか、または（ディジタル）ピクセルの色成分値（例えば赤、緑や青（ＲＧＢ）成分）の選択されたビット値上で修正することにより、画像中にウォーターマークが「スタンプされる（ｓｔａｍｐｅｄ）」。このような技術で挿入したウォーターマークは、ディジタル画像情報に適用される拡大縮小、端切り、回転や圧縮のような普通の画像信号処理方法によって、一般的には品質が低下するかまたは破壊される。さらに、比較的高いビットレートのウォーターマーク技術は、上記ウォーターマークの画像内でより視認性があり、後に続く信号処理の影響を受け易い傾向がある。
【０００８】
不都合なことに、これらウォーターマーク技術は、画像のサイズを変更した時（特に縮小時）または普通に用いられているＭＰＥＧ−１またはＭＰＥＧ−２標準のようなアルゴリズムにより圧縮された時、品質が劣化するかまたは完全に消去されがちである。さらに、ウォーターマークに伴う急激な変化は、画像データを圧縮する信号処理アルゴリズムにより雑音と解釈され、圧縮アルゴリズムの効率を低下させる傾向がある。他のピクセル領域のウォーターマーク技術は、特にウォーターマークを挿入し、またはデータを隠蔽するための手段として、画像中のオブジェクトのエッジを目標にしている。しかしながら、ＭＰＥＧシステム−２で採用しているようなデータ圧縮のアルゴリズムはオブジェクトのエッジにおいて雑音をもたらすので、ウォーターマーク品質の類似の劣化かまたは消滅が起きることがある。
【発明の概要】
【０００９】
本発明は、画像または画像内のデータ通信にウォーターマークを施すことのできるチャネルに関する。上記チャネル自体の存在をウォーターマークと考えてもよいし、またはウォーターマークは上記チャネル中に取り込まれるデータで表してもよい。上記チャネルは、予め決められた時空間（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ）パターンに従って、表示器の画像の表示特性を変化させることにより画像中に挿入される。好ましい実施形態の表示特性の可変性は、画像フレームのペアをなすピクセル、ピクセルライン、ピクセル列または対角ピクセル内の予め決められた時空間パターンに基づいている。いくつかの実施形態では、上記時空間パターンおよび対応する相補的パターンは、対応する順次連続するペアをなすフレームに適用される。
【００１０】
一実施例では、ウォーターマークは、画像を表すビデオ信号に付加される。上記ウォーターマークは、（ａ）第１のウォーターマーク関数を第１のフレーム内の第１組のピクセルに適用し、並びに（ｂ）第１のウォーターマーク関数の相補値を第１のフレーム内の第２組のピクセルに適用することによって、付加される。さらに実施形態では、第１および第２組のピクセルの相対的な位置調整により第１のフレーム内のウォーターマークの可視性を遮蔽するものである。
【００１１】
別の実施例では、ウォーターマークは画像を表すビデオ信号中で検出される。ウォーターマークは、（ａ）第１のフレーム内の第１および第２組のピクセルを識別し、（ｂ）第１および第２組のピクセルの第１の差分値を計算し、並びに（ｃ）ウォーターマークが、第１の差分値に基づき存在するかどうかを判定することにより、検出される。ウォーターマークが存在する場合は、第１の差分値は、第１のウォーターマーク関数を第１組のピクセルへ先行して適用することおよび、第１のウォーターマーク関数の相補値を第２組のピクセルへ先行して適用することに関係している。さらなる実施形態では、第１および第２組のピクセルの相対的な位置調整により、第１のフレーム内のウォーターマークの可視性を遮蔽するのである。
【００１２】
本発明の他の側面、特徴および利点については、以下の詳細な説明、添付された特許請求の範囲および以下の付随した図面から十分に明白となるであろう。
【詳細な説明】
【００１３】
本発明の実施形態によると、チャネルは、予め決められた時空間パターンに基づき、画像を表すデータの表示特性を変えることにより画像中に挿入される。予め決められた時空間パターンは、例えば画像フレーム内のペアをなすピクセル、ピクセル行、ピクセル列、または対角ピクセル（ここでは「ライン」と呼ぶ）に加えられる。上記チャネルは、例えば、１）予め決まった数学的パターン、２）パターン状態の系列もしくはシーケンス、３）繰り返しパターンまたは、４）識別キーに相応するランダムパターンに対応づけられた信号でよい。ここで説明する好ましい実施形態では、画像の表示特性は、人間が視覚的に検出するには難しい方法で変えられているが、上記チャネルおよび／またはウォーターマークに関する先験的知識に基づいてプロセッサーにより検知される。
【００１４】
ここで説明するように、チャネルはフレームの系列もしくはシーケンスからなるビデオ信号に加えられる。上記フレームの系列は、表示されると、時間の経過に伴って表示される画像を構成し、そして好ましい実施形態の説明では「画像」という用語は、時間の経過の中で静止しているか、または変化する画像を指す。「静止画像」という用語はフレームの系列から形成される画像であって、上記フレーム間でほとんど、または全く動かない画像を指す。「動画」という用語は、画像領域内の対象物が時間の経過とともに著しく変化するフレームの系列から形成される画像を指す。当業者には、これら用語は明確化のために使用され、かつ以下の説明中でこれら用語の使用により本発明を限定するものではないということが理解されよう。
【００１５】
図１は本発明の実施例により、ウォーターマークを挿入し、かつ検知するビデオシステム１００を示す。ビデオシステム１００は、ｉ）画像にウォーターマークを施すための本発明の実施例により形成されるチャネルを持つビデオ信号を発生する送信機１２０および、ｉｉ）受信したビデオ信号中のウォーターマークを検知する受信機１２２を有する。
【００１６】
送信機１２０のビデオ発生器１０２は、ビデオカメラ、コンピュータ、または記録する画像を表わすビデオ信号を発生するように構成された類似の装置でよい。ビデオ発生器１０２は、画像を走査し、走査された画像を表すピクセル中の赤、緑及び青（ＲＧＢ）成分からなるビデオフレーム信号を発生できる。上記ビデオ信号はビデオ信号処理モジュール１０４へ送られる。ビデオ信号処理モジュール１０４は、アナログ領域かまたはディジタル領域で信号処理を実行でき、ビデオ信号をサンプリングし走査中に発生した変化を補償するか、または当業界で知られている類似のタイプの画像処理を行う。ビデオ符号化モジュール１０８は、例えばＭＰＥＧ−２のような高品位テレビ標準に基づき、圧縮または、符号化されたビデオ信号を発生するために用いられる。ウォーターマーク挿入器１０６は、ビデオ処理及びビデオ符号化モジュール１０６及び１０８の一方、または両者に結合され、ウォーターマーク情報を上記ビデオ信号で表わされる画像中へ挿入する。
【００１７】
ウォーターマーク挿入器１０６は、例えば後述する画像ピクセルの１つ以上の色成分（例えば赤、緑及び青（ＲＧＢ）成分）を修正する。人間の視覚認知能力は、ビデオ信号の青色成分の変化のように短い波長の変化に比較的鈍感である。さらに、上記短波長を感知する神経細胞は、例えばＫ．Ｔ．Ｍｕｌｌｅｎ氏の「赤−緑と青−黄の色格子に対する人間の色覚のコントラスト感度（Ｔｈｅ ｃｏｎｔｒａｓｔ ｓｅｎｓｉｔｉｖｉｔｙ ｏｆ ｈｕｍａｎ ｃｏｌｏｕｒ ｖｉｓｉｏｎ ｔｏ ｒｅｄ−ｇｒｅｅｎ ａｎｄ ｂｌｕｅ−ｙｅｌｌｏｗ ｃｈｒｏｍａｔｉｃ ｇｒａｔｉｎｇｓ）」Ｊ．Ｐｈｙｓｉｏｌ．ｖｏｌ．３５９（１９８５），ｐｐ３８１−４００．に述べられているように、高い空間周波数の信号に対して鈍感である。
【００１８】
ここに説明する実施例では、青色成分は空間的にも時間的にも比較的高い周波数のウォーターマーク関数に従って変化する。色情報（特定的には「青み帯び」または「青色明度（ｂｌｕｅ−ｌｉｇｈｔｎｅｓｓ）」）の色相は、選択したフレーム内のライン間で交互に現われ、かつ時間の経過とともにフレーム間で変化する。上記ウォーターマーク関数は、ウォーターマーク値Ｗ（ｘ，ｙ）またはその相補値［〜Ｗ（ｘ，ｙ）］のストリームを用いる。ここでｘはラインｙに沿った空間座標（例えば、与えられたｙ行に沿ったｘ列に位置するピクセル）である。便宜上、「ｙ」座標は以下の説明では省略した。ウォーターマーク値Ｗ（ｘ）は特定値であり、その相補値［〜Ｗ（ｘ）］は特定値Ｗ（ｘ）に基づく線形関数である量として定義できる。実施例の説明では、Ｗ（ｘ）は１か０であり、その相補値［１−Ｗ（ｘ）］はその逆の値である（すなわち、Ｗ（ｘ）が１ならば［１−Ｗ（ｘ）］は０であり、Ｗ（ｘ）が０ならば［１−Ｗ（ｘ）］は１である）。
【００１９】
Ｗ（ｘ）および［〜Ｗ（ｘ）］で形成されるパターンが、１フレーム中で或る１つの画像の順次連続するラインのピクセルに適用された場合、その逆パターンを後続フレーム内の対応する後続ラインのピクセルに適用してよい。後続ラインをウォーターマーク値とその相補値間で交番的に修正し、かつ同様に、順次連続するペアをなすフレームで上記パターンとその逆パターンを交番させると、人間の肉眼に可視的な、ウォーターマークの変動（ウォーターマークのアーチファクト（偽像））を取り除けるようになる。
【００２０】
本発明のいくつかの実施形態では、ウォーターマーク情報を、伝送符号化や伝送圧縮のような引き続き行われる信号処理の前（ここでは事前符号化段と称する）と呼ぶ）に、順次連続するフレーム内のビデオ信号へ直接的に適用してよい。本発明の他の実施形態では、例えば符号化したビデオ信号のＤＣＴ係数を修正することにより、ウォーターマーク情報を直接符号化したビデオ信号（ここでは事後符号化段と称する）に適用する。
【００２１】
ウォーターマーク値Ｗ（ｘ）または、その相補値［〜Ｗ（ｘ）］は、対応するピクセルの成分のサンプル値の最下位ビットに付加され、上記成分はピクセルの青色成分（成分Ｂ，Ｖ，ＣｂまたはＰｂで表わされる）か、または青色成分に関係するピクセル内の選択されたＤＣＴ係数を表している。当業者にとっては、ウォーターマーク値とその相補値は、例えばＸＯＲ加算のような他の方法でピクセルに加え得ることが理解できる。
【００２２】
本発明の好ましい実施形態によると、ウォーターマークはＢフレーム中の順次連続するラインの逆位相の摂動として加えられる。いくつかの実施形態では、次のＢフレームのパターンの逆のパターンを適用してよい。Ｂフレームにウォーターマークを施すことにより復号化エラーが抑制されるので、ビデオデータストリームの画像が引き続いて符号化や復号化される時、エラーが他のフレームを通って伝播しない。Ｂフレームはしばしば順次連続するペアとして発生するので、Ｂフレームを使用することにより比較的簡単にビデオ符号化システムでの具現化が可能になる。
【００２３】
図２は本発明の実施例により、ウォーターマークを画像に付加する方法を示す。ステップ２０１で、ウォーターマーク挿入器１０６は、予め定められた領域のビデオ信号（図１の事前符号化段１０４かまたは事後符号化段１０８のいずれかにおける）を監視する。ステップ２０２では、被監視領域を試験し、画像中の予め定められた１つ以上の領域が比較的静止しているフレームの系列を検知する。画像の予め決められた部分における成分値を絶対差分和（ＳＡＤ：Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）法かまたは他の同様な差分積分で試験することにより、それぞれの領域内のピクセル値の相対変動率の尺度を生じさせることができる。実施例の説明では、色成分はそれぞれのフレームでサンプリングされ、ＳＡＤ値はフレーム間で計算される。
【００２４】
例えば、ウォーターマーク挿入器１０６と図２のステップ２０２で用いられる、画像の静止領域を識別する方法の事例を図３に示す。例えば、ステップ３０１で、１つ以上の色成分がフレームにわたりサンプリングされる。図４に示すように、１つの画像のそれぞれ左右のエッジに沿った、いくつかの特定領域４０１ａ−４０１ｃと４０１ｄ−４０１ｆの「静止性」について、それぞれ独立に解析できる。ステップ３０２では、サンプリングされた色成分に対するＳＡＤは、左右の領域４０１ａ−４０１ｃと４０１ｄ−４０１ｆのそれぞれの画像の「静止性」の尺度として、計算される。
【００２５】
ステップ３０３では、試験により、上記ＳＡＤ値が、予め決められた数のフレーム（例えばＮフレーム、Ｎは正の整数）にわたってある閾値以下であるかどうかを判定する。ステップ３０３の試験で、尺度がＮフレーム以上にわたって閾値以下でなかったと判定すると、本方法はステップ３０１に戻る。ステップ３０３の試験で尺度値がＮフレーム以上にわたって閾値以下であると判定すると、ステップ３０４で上記領域は「静止している」と判定される。
【００２６】
図２に戻ると、試験ステップ２０２で、現行のフレーム中で比較的静止した領域が無いと判定すると、本方法はステップ２０１へ戻る。そうでない場合、ステップ２０２で少なくとも１つの領域が比較的静止していると宣言されると、ステップ２０３では、静止していると宣言された領域のピクセルの組のそれぞれに対する（例えば、順次連続するペアをなすライン上の）青色明度成分が検出される。ステップ２０４の試験で、対応するピクセルの青色明度成分が青色明度の閾値レベルを超えたかどうかを判定する。
【００２７】
青色成分のサンプル値かまたは対応するＤＣＴ係数値のいずれかが比較的小さい場合、上記値の修正によりウォーターマーク画像中に可視的なアーチファクト（偽像）が生じることがある。こうして、青色明度の閾値レベルは、ウォーターマーク値により修正する場合、色またはＤＣＴ係数の値が、比較的小さい割合の変化しか生ぜず、ウォーターマークが視覚により検知される可能性を減少させるように決定される。一般的には、上記フレームは、フレームか、またはフレームのグループの画像の予め定められた部分において、明度かまたは他の形の強度の閾値を超えた場合、「輝きを持っている（ｂｒｉｇｈｔ）」と考えられる。輝きを持っているフレームはピクセル、ピクセルのグループ、フレーム領域またはフレームレベルのいずれかに対して定義することができる。
【００２８】
ステップ２０４の試験で青色明度の閾値レベルを超えない場合、本方法はステップ２０７に進み、ウォーターマークを付加するピクセルがもっと残っているかどうかを判定する。ステップ２０４の試験で、青色明度の閾値レベルを超えることが判定されると、上記画像は輝きがあると宣言されて、本方法はステップ２０６に進む。ステップ２０６では、上記画像は比較的静止しており、かつ青色明度の閾値レベルを超えているので、ウォーターマーク挿入器１０６は、ウォーターマーク値Ｗ（ｘ）および［１−Ｗ（ｘ）］のパターンを、事前符号化段でウォーターマークを挿入する場合はピクセル毎に、または、事後符号化段でウォーターマークを挿入する場合はＤＣＴブロック毎に適用する。ウォーターマーク値Ｗ（ｘ）またはその相補値［１−Ｗ（ｘ）］が、青色明度の閾値レベルを超えた場合、成分値の最下位値に加算される。本発明の好ましい実施形態では、ウォーターマーク値またはその相補値を、静止領域内に含まれる、選択されたライン内でステップ２０４の青色明度の閾値試験にかなった、ピクセルに適用する。
【００２９】
ステップ２０７では、静止領域のピクセルに対してまだウォーターマークを付加するピクセル値がもっと残っているかどうかを判定する。ステップ２０７の試験で、まだウォーターマークを付加するピクセル値が残っていると判定した場合、本方法はステップ２０５に進み、そうでなければステップ２０８に進む。ステップ２０８の試験で、まだウォーターマークを付加する静止領域が残っているかどうかを判定し、そうであれば本方法はステップ２０９に進み、次の静止領域のピクセルを得る。そうでなければ、試験ステップ２０８で、現行のフレームにはウォーターマークを付加する静止領域がもう無いと判定した場合は、本方法は次のフレームに対しステップ２０１に戻る。
【００３０】
事後符号化段でウォーターマークが挿入されると、ウォーターマーク値Ｗ（ｘ）およびその相補値［１−Ｗ（ｘ）］は、Ｂフレーム内の順次連続して符号化されたラインの予め選択されたＤＣＴ係数の逆位相の摂動として加えられる。一旦符号化されると、８行のピクセルのグループはＤＣＴ係数の８×８ブロックのシリーズとして符号化される。順次連続して符号化されたブロックの予め選択されたＤＣＴ係数のそれぞれは、青色明度の閾値を越え、かつ比較的静止している画像領域のウォーターマーク値Ｗ（ｘ）により修正される。予め選択されたＤＣＴ係数は、望ましくはその空間周波数が、１）感知される青色信号を生じないように、かつ２）その粗い量子化が、ウォーターマーク本来の摂動を妨げないように選択される。それゆえ、好ましい実施形態では、ウォーターマーク値による修正として、８×８ブロックの第３行第３列（すなわち、（２，２）ＤＣＴ係数）のＤＣＴ係数を使用できる。
【００３１】
事後符号化段でウォーターマークを挿入する場合、ウォーターマークにより誘発されるアーチファクト（偽像）が人間に十分に不可視であるように、２個のディジタル値を単位とする青色明度の閾値（例えば図２のステップ２０４で用いたような）を使用できる。閾値レベルと比較される青色明度値に対して、異なった種々の計算方法が採用可能である。例えば、青色明度値は符号化されたブロックの２本の順次連続するラインに対応する特定のＤＣＴ係数の算術平均として設定してもよい。例えば、上記算術平均は、ラインＬ、行位置ｘでの次のブロックにおけるＤＣＴ係数値に対して：すなわち時刻ｔのラインＬと、時刻ｔのラインＬ＋１、時刻ｔ＋１でのラインＬ、および時刻ｔ＋１でのラインＬ＋１のブロックにおけるＤＣＴ係数値に対して計算できる。
【００３２】
図１に戻って参照すると、システム１００の受信機１２２は、送信機１２０により発生されたウォーターマークの入ったビデオ信号１１０を受信する。システム１００の受信機１２２は、ビデオ復号化モジュール１１２でビデオ信号を復号化できる。ビデオ復号化モジュール１１２は、パケットストリームからのビデオ信号を表すデータを再構成し、ディジタルラインの符号化および／または圧縮を逆変換し、かつＭＰＥＧ−２標準などの標準に従って、画像をフォーマット化するのに使用できる。さらに、再構成されたウォーターマーク入りの画像のディジタル／アナログ処理（例えばフォーマッティング、端の切り取り、回転および／またはカラー情報の修正）は、ビデオ信号を表示器１１８に供給する前に、ビデオフォーマットモジュール１１４により実行される。表示器１１８は、ビデオ信号の色情報を表示スクリーン上のピクセルに変換して、視聴者に画像を提供する標準的な光学投射器、電子投射器、またはＣＲＴでよい。
【００３３】
受信機１２２は受信したビデオ信号の（ウォーターマーク）チャネルを検出するウォーターマーク検出器１１６を含む。ウォーターマーク検出器１１６は、ウォーターマーク情報を抽出する。次にウォーターマーク検出器１１６は、ウォーターマークが存在すれば、チャネルからのデータを復調し、そしてウォーターマーク情報かまたは復調されたデータをもとに、受信した画像のデータ源と受信した画像の完全性を検証する。上記チャネルは空間と時間の両方に関する演算として挿入されているので、ウォーターマーク検出器１１６は、ウォーターマークに関する先験的知識に基づいた技術を採用し、ウォーターマークが存在するか否か、またはウォーターマークの修正を検出する。
【００３４】
１つ以上の成分中に関数が存否を検出することは、画像の中のオブジェクトが時間とともに動いているか、または画像が時間とともにズームされたりパンされたりしている場合はさらに難しい。当業者にとって明らかなように、多くの長編映画、ドキュメンタリ、コマーシャル、そしてスタジオ制作物は、１秒以上の間、比較的静止しており、かつビデオ信号のフレームの系列にわたって分布する画像を含んでいる。従ってウォーターマークの検出は、１）その中の画像または画像の一部分が比較的静止しているフレームの系列を検出すること、および２）比較的静止しているとして検出された画像の部分的な領域内のウォーターマーク自体を検出することの２つの操作からなる。
【００３５】
画像の一部分が比較的静止しているかどうかを検出するために、ウォーターマーク検出器１１６は、フレーム間画像の予め定義された領域に対するフレームの色情報の差異を検出し、それらが「静止」していると宣言できるかどうかを判定する。ウォーターマーク検出器１１６は、青色成分にはウォーターマークが入っていることを先験的に知っており、通常は、残りのウォーターマークの無い色成分の静止性を判定する処理を行う。ウォーターマーク検出器１１６による、これら２つの操作を含むウォーターマーク検出方法の事例を図５に示す。
【００３６】
例えば、ステップ５０１で、図４に示すような予め決められた領域でウォーターマークの無い色成分は、フレーム全体にわたってサンプリングされる。ステップ５０２で、本方法は、図３に関して説明したウォーターマーク挿入器１０６で用いたのと同じ方法により、画像の中の１つ以上の領域が静止しているかどうかを判定する。ステップ５０２では、ウォーターマークの入っていない色成分のＳＡＤ値を、予め決められたフレームの数（例えばＮフレーム、Ｎは正の整数）のフレームにわたって、対応する閾値と比較する。説明した実施例では、ウォーターマークの入っていない色成分（例えば、本実施例では緑／赤成分）は、それぞれのフレームでサンプリングされ、そしてフレーム間のＳＡＤ値が計算される。ステップ５０２の試験で、上記領域の尺度値がＮ個の連続フレームの間、閾値以下でなかった場合は、本方法はステップ５０１に戻る。そうでなければ、上記領域は「静止している」（すなわち画像領域のオブジェクトは、正確にウォーターマークを検出するのに十分なほど、時間的にゆっくり動いている）と判定され、本方法はステップ５０３へ進む。
【００３７】
ウォーターマーク自体を検出するために、ウォーターマーク検出器１１６は画像フレーム内のピクセル処理を始める。ステップ５０３で、「静止している」と判定された１つ以上の領域（例えば図４の領域４０１ａ−４０１ｃおよび４０１ｄ−４０１ｆ）中のピクセル内の、ウォーターマークが付加されている可能性のある、青色成分かまたは対応するＤＣＴ係数値のいずれかの成分が検索される。ステップ５０４で、差分値は、ウォーターマーク情報を含む特定の色成分に関する先験的知識に加えて、さらに４つのケースの中から１つを識別するウォーターマーク処理に関する先験的情報に基づき、ステップ５０３で検索された値から計算される。
【００３８】
ステップ５０４は、受信した画像中に存在する可能性のあるウォーターマークの４つの異なるケースの中の１つに対する差分値を生成する。これら４つのケースは、画像にウォーターマークが付加されるのは、事前符号化段において、または事後符号化段かということ、およびウォーターマーク検出器１１６は、受信したウォーターマークの入ったフレームと比較するため利用可能なウォーターマークの無い画像を持つかどうかに依存して発生する。これら４つのケースに対して、ステップ５０３で実行される処理は次のようにするとよい。
【００３９】
第１番目のケースの処理に関しては、ウォーターマークの無い原画像はウォーターマーク検出器１１６で利用可能であり、かつウォーターマークは事前符号化段でフレームに挿入される。この第１のケースでは、ウォーターマーク検出はフレーム毎に可能であり、かつ順次連続するＢフレーム内のウォーターマーク情報は相互に独立している。例えば、垂直方向位置ｙ（例えばラインｙ、ｙは零かまたは正の整数）、水平方向位置ｘでのウォーターマーク値はＷ（ｘ）であり、かつラインｙ＋１上での位置ｘのウォーターマーク値は［１−Ｗ（ｘ）］である。ウォーターマークは、受信され、ウォーターマークが付加されている可能性のある（「試験」）画像フレーム（ＢＶＴ（ｘ，ｙ））の（ｘ，ｙ）でのピクセルの色成分値と、ウォーターマークの無い（「参照」）画像フレーム（ＢＶＲ（ｘ，ｙ））の（ｘ，ｙ）でのピクセルの色成分値との差分値を評価することにより抽出される。ラインｙに対して計算した差分値はウォーターマーク値であり、ラインｙ＋１に対して計算した差分値は、ウォーターマーク値の相補値である。ウォーターマーク値およびその相補値は、ペアをなすラインに対してそれぞれの差分を計算した後に得られるので、ウォーターマーク検出過程において、エラー検知／訂正をある程度可能にする情報の複製情報が得られる。
【００４０】
第２番目のケースの処理に関しては、ウォーターマークの無い原画像はウォーターマーク検出器１１６で利用可能であり、かつウォーターマークは事後符号化段でフレームに挿入される。この第２のケースでは、検出はフレーム毎に可能であり、かつ順次連続するＢフレーム上のウォーターマーク情報は相互に独立している。それぞれのＢフレームのそれぞれの８×８ブロック中の選択された（２，２）ＤＣＴ係数が、ウォーターマーク値（Ｗ（ｘ）またはその相補値［１−Ｗ（ｘ）］）にしたがって修正される場合、その処理は先に説明した第１のケースのものと類似している。ウォーターマークは、試験画像が符号化されたＢフレーム（ＢＤＴ（ｘ，ｙ））の（ｘ，ｙ）での（２，２）ＤＣＴ係数と、ウォーターマークの無い画像が符号化されたＢフレーム（ＢＤＩ（ｘ，ｙ））の（ｘ，ｙ）での（２，２）ＤＣＴ係数との差分を評価することにより抽出される。この第２のケースでは、ｘは水平方向のブロック番号、ｙは垂直方向のブロック番号であり、ＢＤＴ（ｘ，ｙ）またはＢＤＲ（ｘ，ｙ）は対応する（ｘ，ｙ）のブロックの（２，２）ＤＣＴ係数の値である。第１のケースと同様に、ウォーターマーク情報のエラー検知／訂正を、ある程度可能にするウォーターマーク値情報の複製が得られる。
【００４１】
第３番目のケースの処理に関しては、ウォーターマークの無い原画像はウォーターマーク検出器１１６で利用可能でなく、かつウォーターマークは事前符号化段Ｂフレームに挿入される。この第３番目のケースでは、検出はペアをなすＢフレーム上で可能である。ラインｙ上、水平方向位置ｘのウォーターマーク値はＷ（ｘ）であり、かつラインｙ＋１上、位置ｘのウォーターマーク値はそれの相補値Ｗ［１−Ｗ（ｘ）］である。ウォーターマーク値は、試験画像の水平方向ｘ、垂直方向ｙ、Ｂフレームｚで評価されるピクセルの色成分であるＢＶＴ（ｘ，ｙ，ｚ）に関して、［ＢＶＴ（ｘ，ｙ，ｚ）＋ＢＶＴ（ｘ，ｙ＋１，ｚ＋１）］−［ＢＶＴ（ｘ，ｙ＋１，ｚ）＋ＢＶＴ（ｘ，ｙ，ｚ＋１）］を計算することにより抽出される。
【００４２】
第４番目のケースの処理に関しては、ウォーターマークの無い原画像はウォーターマーク検出器１１６で利用可能でなく、かつウォーターマークは事後符号化段でフレームに挿入される。この第４番目のケースでは、ウォーターマークの検出はペアをなすＢフレームに関して可能である。ＭＰＥＧのそれぞれのＢフレームのそれぞれの８×８ブロック中の（２，２）ＤＣＴ係数が、ウォーターマーク値によって修正される場合、試験画像のラインｙ上、水平方向位置ｘのウォーターマーク値はＷ（ｘ）であり、かつラインｙ＋１上、水平方向位置ｘのウォーターマーク値はＷ［１−Ｗ（ｘ）］である。ウォーターマーク値は、［ＢＤＴ（ｘ，ｙ，ｚ）＋ＢＤＴ（ｘ，ｙ＋１，ｚ＋１）］−［ＢＤＴ（ｘ，ｙ＋１，ｚ）＋ＢＤＴ（ｘ，ｙ，ｚ＋１）］を計算することにより抽出される。ここでｘは水平方向のブロック番号、ｙは垂直方向のブロック番号であり、ＢＤＴ（ｘ，ｙ，ｚ）は符号化された試験画像のＢフレームｚの（ｘ，ｙ）ブロックの（２，２）ＤＣＴ係数値である。
【００４３】
図５に戻ると、一旦ウォーターマーク値が抽出されると、ステップ５０５の試験で、ウォーターマーク値を検出する静止領域のピクセルがもっと残っていると判定した場合、本方法は次の値を得るためにステップ５０８へ進む。そうでなければ本方法はステップ５０６へ進む。ステップ５０６の試験で、ウォーターマークを抽出するための静止領域がまだ残っているかどうかを判定し、そうならば、本方法は次の値を得るためにステップ５０７へ進む。本方法は、ステップ５０７から次の静止領域のピクセル値の処理を始めるためにステップ５０８へ進む。そうでなければ、ステップ５０６の試験で、現行のフレームにはウォーターマークを付加するための静止領域はもう残っていないと判定した場合、本方法は次のフレームを得るためにステップ５０１に戻る。
【００４４】
説明した具現化では、ウォーターマーク情報に基づく変化は青色成分に加えられ、画像の予め決められた領域のカラー情報の色相を微妙に変化させる。この技術は、ウォーターマーク情報をビデオ信号のいくつかの成分へ適用するのに拡張可能である。当業者は、Ｕ，ＣｒまたはＰｒ成分のような他形式の信号成分（またはビデオ信号のＲＧＢから引き出せる他成分）も修正できるということは理解できる。
【００４５】
説明した実施形態に対しては、Ｗ（ｘ）は１か０であり、その相補値［１−Ｗ（ｘ）］はその逆の値である。しかし、本発明はそのように限定するものではなく、かつ当業者ならばＷ（ｘ）およびその相補値［〜Ｗ（ｘ）］に対する他の定義を使用できることは理解できる。例えば、Ｗ（ｘ）を「１」に設定し、［〜Ｗ（ｘ）］を「−１」に設定するか、またはＷ（ｘ）は０から１の間で変化させ、［〜Ｗ（ｘ）］は一定値ＫからＷ（ｘ）を減じてもよい。以下の好ましい実施形態ではＷ（ｘ）はラインのそれぞれのｘ値に対して固定した値としているが、当業者ならば、ウォーターマーク値またはその相補値はｘに依存して上記ライン全体にわたって変化させてもよいということは理解できる。このような変化は、重畳されるデータチャネルのデータ値に対応してもよい。
【００４６】
本発明の好ましい実施形態では、ウォーターマーク値またはその相補値を、静止領域内に含まれる選択されたライン内でステップ２０４の青色明度閾値試験にかなったピクセルに適用する。しかし、ウォーターマーク値またはその相補値は、静止していると宣言された領域に必ずしも含まれていないライン内の、ピクセルの部分集合、又は１つのライン内のすべてのピクセルに加えてもよい。さらに、本発明では、ウォーターマーク値およびその相補値を順次連続するラインに挿入するものとして説明してきたが、当業者ならば、本発明は、比較的密接した間隙を空けているが必ずしも順次連続するラインではない、もしくは逐次的ではないラインのピクセル集合に使用できることを理解する。ウォーターマーク検出過程で、ラインに沿って計算される差分値を平均化することにより性能を改善できる。同様に、同じウォーターマーク値およびその相補値がいくつかのペアをなす順次連続するラインに加えられた場合、これらいくつかのペアをなす順次連続するラインにわたる結果の平均化によっても、検出プロセスの性能改善が可能である。
【００４７】
それぞれのフレーム全体にわたって、異なったピクセルの組において、ウォーターマークを繰り返し適用することにより、ウォーターマークの効果を向上できる。こうして、ウォーターマークが画像全体にわたって加えられた場合、検出器は画像のどの領域が修正されたか識別できる。さらに、ウォーターマーク関数をそれぞれの画像の異なる領域で変えた場合は、相関技術によって不当にウォーターマークが検出されるのを阻止できる。
【００４８】
好ましい実施例では、受信機１２２に知らされている先験的情報は、ウォーターマークが順次連続するライン（または列か対角線）の少なくとも１個の色成分に、（事前符号化段または事後符号化段において）加えられているということである。通常は、先験的情報は、ウォーターマークを含んでいる特定の色成分と、ウォーターマークが事前符号化段か事後符号化段で加えられたかどうかとの情報を含んでいる。説明した実施例に関しては、当業界で知られているように画像の赤、緑および青色成分は空間的にも時間的にも高い相関関係を持つ傾向がある。たいていの検出事象では、青の成分は、埋め込まれているウォーターマーク情報に応じて時間とともに変化するが、一方、赤と緑成分は比較的一定のままである。こうして、どの色成分がウォーターマーク情報を含んでいるかは、すべての色成分を監視し、かつ他の成分より大きく変化するような色成分を選択することにより推定できる。参照画像と呼ばれる、ウォーターマークを含まない原画像の複製を先験的情報として含んでもよい。
【００４９】
これまで、画像にウォーターマーク情報を適用する目的のため望ましい実施形態を説明したが、本発明はそのように制限されるものではなく、別個のデータチャネルを提供するために使用することも可能である。チャネルの存在をウォーターマークとして考えてもよいし、またはチャネル内に持ち込まれたデータがウォーターマーク情報に対応してもよい。受信機で抽出されると、ウォーターマーク情報は、画像データの起源、画像データの所有権または画像情報が修正されたか、またはそうでなければ改悪されたかを識別するために使用できる。画像の創成および画像検証システムに加えて、本発明は複製の管理、広告保全、または操作可能な符号化のためのシステムに適用できる。
【００５０】
本発明は、方法およびこれらの方法を実施するための装置の形態で具現化できる。本発明は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードドライブ、または機械で読むことのできる他のいかなる記憶媒体のように、有体物の媒体に埋め込まれたプログラムコードの形態で実現できる。ここでは、コンピュータのような機械により、プログラムコードが取り込まれ、実行されると、上記機械は本発明を実施する装置となる。本発明はまた、プログラムコードの形態で実現でき、例えば記憶媒体に記憶され、機械により読み込まれ、そして／または実行されるか、または、電線またはケーブルのような伝送媒体を介して、光ケーブルを通って、または電磁放射を介して伝送される。ここでは、上記プログラムコードがコンピュータのような機械に取り込まれ実行されると、上記機械は本発明を実施する装置となる。汎用プロセッサ上で実現すると、上記プログラムコード部分は、プロセッサと結合して特別な論理回路に対して類似の演算をする独特の装置を提供できる。
【００５１】
本発明の本質を説明するために、これまで記載し、図示してきた詳細内容、材料、そして部品の配置に様々な変更を行うことは、以下の請求項に説明するような本発明の原理と範囲から逸脱することなく、当業者により可能であることは、さらに理解されるのであるう。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施例により、ウォーターマークを挿入しかつ検出するビデオシステムを示す。
【図２】本発明の実施例により、ウォーターマークを画像に挿入する方法の事例を示す。
【図３】図１のビデオシステムで使用した、画像内の静止領域を識別する方法の事例を示す。
【図４】本発明の実施例により、ウォーターマークの施された画像の解析領域を示す。
【図５】本発明の実施例により、画像内のウォーターマークを検出する方法の事例を示す。
【符号の説明】
【００５３】
１０２ ビデオ発生器、
１０４ ビデオプロセッサー、
１０６ ウォーターマーク挿入器
１０８ ビデオの符号化、
１１２ ビデオの復号化、
１１４ ビデオのフォーマット化
１１６ ウォーターマーク検出器、
１１８ 表示器
１２２ 受信機

Claims (16)

1. 画像を表すビデオ信号へのウォーターマーク付加方法（２０１−２０９）であって、
   （ａ）第１のウォーターマーク関数を第１のフレーム内の第１組のピクセルに適用するステップ（２０６）と、
   （ｂ）第１のウォーターマーク関数の相補値を第１のフレーム内の第２組のピクセルに適用するステップ（２０６）と、を含み、
   第１および第２組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、方法（２０１−２０９）。
2. さらに、
   （ｃ）第１のフレーム内の第１組のピクセルに対応する、第２のフレーム内の第１組のピクセルに第１のウォーターマーク関数の相補値を適用するステップ（２０６）と、
   （ｄ）第１のフレーム内の第２組のピクセルに対応する、第２のフレーム内の第２組のピクセルに第１のウォーターマーク関数を適用するステップ（２０６）と、を含み、
   ステップ（ａ）から（ｄ）における第１のウォーターマーク関数および該第１のウォーターマーク関数の相補値の適用が、第一のフレームと第２のフレーム間のウォーターマークの可視性を遮蔽するのに役立つ、請求項１記載の方法。
3. 第１のウォーターマーク関数を、第１組のピクセル中の各ピクセルの色成分に適用し、第１のウォーターマーク関数の相補値を、第２組のピクセル中の各ピクセルの対応する色成分に適用する（２０３，２０４，２０６）、請求項１記載の方法。
4. 第１のウォーターマーク関数を、第１組のピクセル中の各ピクセルの色成分に相応する変換係数に適用し、第１のウォーターマーク関数の相補値を、第２組のピクセル中の各ピクセルの相応する色成分に対応付けられた相応の変換係数に適用する、請求項１記載の方法。
5. さらに、
   （ｃ）第２のウォーターマーク関数を第１のフレーム内の第３組のピクセルに適用するステップ（２０５，２０６，２０７）と、
   （ｄ）第２のウォーターマーク関数の相補値を第１のフレーム内の第４組のピクセルに適用するステップ（２０５，２０６，２０７）と、を含み、
   第３および第４組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、請求項１記載の方法。
6. ウォーターマークを、１）フレーム内の１つ以上の領域が静止していると判定した場合は（２０２，３０１−３０４）静止していると判定したフレームへ付加し、２）フレーム内の１つ以上の領域が輝きを持っている（ｂｒｉｇｈｔ）と判定した場合は（２０３，２０４）輝きがあると判定したフレームへ、付加する、請求項１記載の方法。
7. 第１のウォーターマーク関数を適用することにより第１組のピクセルにわたる表示特性が変化し、第１のウォーターマーク関数の相補値を適用することにより第２組のピクセルにわたる表示特性が変化して、第１および第２組のピクセルにわたる表示特性の変化が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、請求項１記載の方法。
8. 青色情報を伝達するピクセル成分に対して、ステップ（ａ）では第１のウォーターマーク関数を適用し、ステップ（ｂ）では第１のウォーターマーク関数の相補値を適用する（２０３）、請求項１記載の方法。
9. 画像を表すビデオ信号内のウォーターマーク検出方法（５０１−５０８）であって、
   （ａ）第１のフレーム内の第１および第２組のピクセルを識別するステップ（５０２，５０３）と、
   （ｂ）第１と第２組のピクセルに対する第１の差分値を計算するステップ（５０４）と、
   （ｃ）第１の差分値に基づきウォーターマークが存在するかどうかを判定するステップ（５０４）であって、ウォーターマークが存在する場合、第１の差分値は、第１のウォーターマーク関数を第１組のピクセルへ先行して適用し、且つ第１のウォーターマーク関数の相補値を第２組のピクセルへ先行して適用することに関連している、前記ステップと、を含み、
   第１および第２組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、方法（５０１−５０８）。
10. ステップ（ａ）はさらに、第２のフレーム内の対応する第１および第２組のピクセルを識別するステップ（５０３）を含み、
    ステップ（ｂ）はさらに、第２のフレーム内の対応する第１および第２組のピクセルの第２の差分値を計算するステップ（５０４）を含み、
    ステップ（ｃ）はさらに、ウォーターマークが存在するかどうかを第２の差分値に基づき判定するステップ（５０４）を含み、ウォーターマークが存在する場合は、第２の差分値は、第１のウォーターマーク関数の相補値を第２のフレーム内の第１組のピクセルへ先行して適用し、且つ第１のウォーターマーク関数を第２のフレーム内の第２組のピクセルへ先行して適用することに関連しており、
    第１のウォーターマーク関数および第１のウォーターマーク関数の相補値を、第１および第２のフレーム内の第１および第２組のピクセルに対して先行して適用することが、第１と第２のフレーム間のウォーターマークの可視性を遮蔽するのに役立つ、請求項９記載の方法。
11. 第１のウォーターマーク関数は、第１組のピクセル中の各ピクセルの色成分に適用され、第１のウォーターマーク関数の相補値は、第２組のピクセル中の各ピクセルの対応する色成分に適用される、請求項９記載の方法。
12. 第１のウォーターマーク関数を、第１組のピクセル中の各ピクセルの色成分に相応する変換係数に適用し、第１のウォーターマーク関数の相補値を、第２組のピクセル中の各ピクセルの相応する色成分に対応付けられた相応の変換係数に適用する、請求項９記載の方法。
13. ウォーターマークは、１）フレーム内の１つ以上の領域が静止していると判定した場合は（２０２，３０１−３０４）静止していると判定されたフレーム内でのみ検出され、２）フレーム内の１つ以上の領域が輝きを持っていると判定した場合は（２０３，２０４）輝きがあると判定したフレーム内でのみ検出される、請求項９記載の方法。
14. 画像を表すビデオ信号へのウォーターマーク付加装置（１２０）であって、
    ウォーターマークを生成し、ウォーターマークの第１のフレーム内の第１および第２組のピクセルを識別するウォーターマーク挿入器（１０６）と、
    ビデオプロセッサー（１０４）であって、該ビデオプロセッサーは、ウォーターマークおよび識別された第１および第２組のピクセルに基づいて、
    （１）第１のウォーターマーク関数を第１のフレーム内の第１組のピクセルに適用し（２０６）、
    （２）第１のウォーターマーク関数の相補値を第１のフレーム内の第２組のピクセルに適用し（２０６）、第１および第２組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、
    ビデオプロセッサー（１０４）と、
    を備える装置（１２０）。
15. 画像を表すビデオ信号内のウォーターマーク検出装置（１２２）であって、
    第１のフレーム内の第１および第２組のピクセルを識別するビデオプロセッサー（１１２，１１４）と、
    ウォーターマーク検出器（１１６）であって、該ウォーターマーク検出器（１１６）は、
    （１）第１および第２組のピクセルに対する第１の差分値を計算し（５０３，５０４）、
    （２）ウォーターマークが存在するかどうかを第１の差分値に基づき判定して（５０４）、ウォーターマークが存在する場合は、第１の差分値は、第１のウォーターマーク関数を第１組のピクセルへ先行して適用し、第１のウォーターマーク関数の相補値を第２組のピクセルへ先行して適用することに関連しており、第１および第２組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、
    ウォーターマーク検出器（１１６）と、
    を備える装置（１２２）。
16. 画像を表す、ウォーターマークの施されたビデオビットストリームを含む媒体（１１０）であって、前記ビットストリームは、
    （ａ）第１のウォーターマーク関数を第１のフレーム内の第１組のピクセルに適用し（２０６）、
    （ｂ）第１のウォーターマーク関数の相補値を第１のフレーム内の第２組のピクセルに適用する（２０６）ことによって、
    ウォーターマークを施してあり、
    第１および第２組のピクセルの相対的な位置調整が第１のフレーム内のウォーターマークの可視性を遮蔽するのに役立つ、
    媒体（１１０）。

Images