JP2006517068A - 動画信号のウォーターマーク埋め込み及び検出方法 - Google Patents

動画信号のウォーターマーク埋め込み及び検出方法 Download PDF

Info

Publication number
JP2006517068A
JP2006517068A JP2006500353A JP2006500353A JP2006517068A JP 2006517068 A JP2006517068 A JP 2006517068A JP 2006500353 A JP2006500353 A JP 2006500353A JP 2006500353 A JP2006500353 A JP 2006500353A JP 2006517068 A JP2006517068 A JP 2006517068A
Authority
JP
Japan
Prior art keywords
image
watermark
value
image region
global characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006500353A
Other languages
English (en)
Other versions
JP4709960B2 (ja
Inventor
レースト アドリアーン ジェイ ファン
リンナルツ ヨハン ピー エム ジー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32748928&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2006517068(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006517068A publication Critical patent/JP2006517068A/ja
Application granted granted Critical
Publication of JP4709960B2 publication Critical patent/JP4709960B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Holo Graphy (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Studio Devices (AREA)

Abstract

ウォーターマークが、手持ち式ビデオカメラにより作成されたコピーにおいて検出されることができるように、映画館の映画にウォーターマークを埋め込み、検出する方法及び装置が開示される。ウォーターマーク埋め込み器は、各画像フレームを2つの領域に分割する。ウォーターマークビット‘+1’は、第1部分の輝度を増加し、第2部分の輝度を減少することによりフレームに埋め込まれる。ウォーターマークビット‘−1’は、前記第1部分の輝度を減少し、前記第2部分の輝度を増加することにより埋め込まれる。本発明により、埋め込まれたウォーターマークが、映写機器と民生カムコーダとの異なるフレームレートにより引き起こされるフリッカを除去するためにしばしば使用される‘フリッカ除去’演算の後に存続することが達成される。

Description

本発明は、映画館で上映される映画のような動画信号にウォーターマークを埋め込む方法及び装置に関する。本発明は、このような動画信号に埋め込まれたウォーターマークを検出する方法及び装置にも関する。
ウォーターマーク埋め込みは、コピープロテクションストラテジの重要な側面である。ほとんどのコピープロテクション方式が電子的に配信されるコンテンツ(放送、記憶媒体)の保護を扱っているが、コピープロテクションは、映画館で上映される映画に対しても望まれている。現今では、手持ち式ビデオカメラを用いた映画マテリアルの違法コピーは、既に一般的な方法である。通常、画質は低いが、違法VHSテープ、CDビデオ及びDVDの経済的影響は莫大である。この理由から、映画館の所有者は、館内でのビデオカメラの存在を防止する義務を負わされる。この規則に従わないと、今後のコンテンツの利用を禁止する制裁措置を受ける可能性がある。これを考慮して、ウォーターマークが上映時間中に加えられることを定められると想定される。このウォーターマークは、映画館、上映時間、技師等を識別すべきである。
幾何学的歪に対するロバスト性(robustness)は、このようなウォーターマーク埋め込み方式に対する重要な要件である。手持ち式カメラは、フィルタリング(スクリーンからカメラまでの光の経路、及びテープへの転送等)によりビデオが著しく劣化するのみならず、ビデオを著しく幾何学的に歪ませる(ずれ、伸縮、回転、せん断、遠近感の変化等)。加えて、これらの幾何学的歪は、フレーム間で変化する可能性がある。
ロバスト性要件を満たす映画館の映画にウォーターマークを埋め込む従来技術の方法は、Jaap Haitsma and Ton Kalker: A Watermarking Scheme for Digital Cinema; Proceedings ICIP, Vol.2, 2001, pp.487-489に開示されている。幾何学的歪に対するロバスト性は、ウォーターマークを埋め込むのに時間軸のみを利用することにより達成される。このウォーターマークは、2つの相異なる値、例えば‘1’及び‘−1’を持つウォーターマークサンプルの周期的な擬似乱数シーケンスである。1つのウォーターマークサンプルが、各画像に埋め込まれる。画像の大域的特性(例えば平均輝度)を増加することにより値‘1’が画像に埋め込まれ、前記大域的特性を減少することにより‘−1’が埋め込まれる。
従来技術のウォーターマーク埋め込み方法は、実際にはフリッカ(flicker)を埋め込む。同じウォーターマークサンプルを複数の連続した画像に埋め込むことにより、前記フリッカは知覚されなくされる(人間の目は低周波フリッカに対して感度が低い)。
記録された映画のフリッカは、a)映写機のフレームレート(毎秒24フレーム)とカムコーダのフレームレート(PALに対して25fps、NTSCに対して29.97fps)との間の典型的な不一致、及びb)2つの表示走査フォーマット(プログレッシブ対インターレース)の間の違いによっても引き起こされる。この種のフリッカは非常に迷惑であり、この結果、フリッカ除去(de-flicker)ツールが一般に幅広く利用可能にされている。例えば、ビデオ取り込み(capturing)及び処理アプリケーション“バーチャルダブ(Virtualdub)”用のフリッカ除去プラグインがインターネット上で見つかっている。
従来技術のウォーターマーク埋め込み方式の問題は、フリッカ除去ツールが、埋め込まれたウォーターマークをも除去することである。
本発明の目的は、従来技術のウォーターマーク埋め込み及び検出方法を改良することである。本発明の目的は、特にフリッカ除去演算(operation)に対してロバストなウォーターマーク埋め込み及び検出方式を提供することである。
このために、本発明による動画信号にウォーターマークを埋め込む方法は、各画像を少なくとも第1画像領域及び第2画像領域に分割するステップを有する。ウォーターマークサンプルの一方の値は、前記第1画像領域の大域的特性(例えば平均輝度)を増加し、前記第2画像領域の前記大域的特性を減少することにより画像に埋め込まれる。前記ウォーターマークサンプルの他方の値は、反対に、即ち前記第1画像領域の前記大域的特性を減少し、前記第2画像領域の前記大域的特性を増加することにより埋め込まれる。
本発明は、フリッカ除去ツールが、低域特性を示すように連続した画像の平均輝度を調整することによりフリッカを除去するという洞察を利用する。前記平均輝度値は、実際に画像の全ての画素に同じ倍率を乗算することにより調整される。この演算は異なる画像領域に加えられる修正(の符号(sign))に影響を与えないので、ウォーターマーク情報は保持される。これを考慮して、前記ウォーターマークを埋め込むために修正される画像領域の大域的特性は、前記画像領域の平均輝度である。
前記方法の好適な実施例において、前記第1画像領域及び前記第2画像領域は、画像の上半分及び下半分である。一般に、映画には縦の運動より多くの水平な運動が存在する。前記水平運動は、より小さな程度で前記平均輝度値に影響を与える。
図1は、本発明によるウォーターマーク埋め込み器(embedder)の概略図である。前記埋め込み器は、フレームkの空間的位置において輝度F(,k)を有するフレーム又は画像のシーケンスを受信する。前記埋め込み器は、更に、長さNの擬似乱数シーケンスw(n)の形式でウォーターマークを受信し、ここでw(n)∈[−1,1]である。この応用例に対するNの適切な値は、N=1024である。この構成は、各画像を第1(例えば上半分)領域及び第2(例えば下半分)領域に分割する分割段10を有する。前記画像領域の輝度は、それぞれF1(,k)及びF2(,k)と示される。
前記ウォーターマーク埋め込み器の最も単純な実施例において、シーケンスw(n)は、埋め込み段11及び12に直接的に加えられる。このような実施例において、埋め込み段11は、前記第1画像領域の画素毎に1つの加えられたウォーターマークサンプルw(n)を追加し、埋め込み段12は、前記第2画像領域の画素毎に同じウォーターマークサンプルを減算する。前記第1画像領域及び前記第2画像領域の平均輝度は、したがって前記ウォーターマークにより反対に調整される。
前記ウォーターマークにより調整されることができる大域的画像特性の他の例は、画像ヒストグラム(前記画像内の輝度値の相対的頻度のリスト)、又は高次モーメント(指数kに対する輝度値の平均)のような前記画像ヒストグラムから算出されるフィーチャである。平均輝度値は、後者の特定の例(k=1)である。
人間視覚システム(HVS)は低い空間周波数のフリッカに対して感度が高いので、この単純な実施例は、特に、動きのない単調な領域でアーチファクトを生じる可能性がある。これらのアーチファクトは、前記ウォーターマークのフリッカ周波数を下げることにより大幅に減少される。これは、所定数Kの連続した画像の間、各ウォーターマークサンプルを繰り返す繰り返し段13により実行される。したがって、同じウォーターマークサンプルが、K個の連続したフレームに埋め込まれる。前記ウォーターマークは、N=1024フレーム毎に繰り返す。フレームkに埋め込まれたウォーターマークサンプルw(n)は、数学的に
Figure 2006517068
により示されることができる。単純のため、この表現は、これ以降、w(k)に省略される。
図1に示される前記埋め込み器の好適な実施例は、更に画像内容(image contents)に応じて埋め込み深度を適合する。このために、前記埋め込み器は、それぞれ局所的な倍率(scaling factor)CF,1(,k)及びCF,2(,k)でウォーターマークサンプルw(k)を乗算する乗算器14及び15を有する。前記局所的な倍率は、それぞれ画像解析器16及び17により前記画像内容から算出される。例えば、前記局所的な倍率は、領域の動きのあるざらざらな部分では大きく、動きのない単調な部分では小さい。埋め込み段11及び12の出力は、以下のように定式化されることができる。
w,1(,k)=F1(,k)+CF,1(,k)w(k)
w,2(,k)=F2(,k)+CF,2(,k)w(k)
両方の埋め込み演算が、適切なソフトウェア制御下で単一の処理回路により時間順次的な(time-sequential)様式で実行されることができることを理解されたい。
前記2つの画像領域は、この後に結合段18により単一のウォーターマーク入り画像Fw(,k)に結合される。
図2は、本発明によるウォーターマーク検出器の概略図である。元の信号は検出の間に利用可能であるが、前記検出器は、前記元の信号に関する情報を使用しない。この構成は、フレームkの空間的位置において輝度Fw(,k)を持つウォーターマーク入りのフレーム又は画像のシーケンスを受信する。前記検出器は、前記埋め込み器の分割段10(図1)と同様な様式で各画像を第1(例えば上半分)領域及び第2(例えば下半分)領域に分割する分割段20を有する。各画像領域の輝度は、それぞれFw,1(,k)及びFw,2(,k)で示される。各画像領域に対し、前記検出器は、更に、
Figure 2006517068
によってそれぞれの画像領域の平均輝度値fw,1(k)及びfw,2(k)(又は可能であれば他の大域的特性)を計算する平均輝度計算回路21、22を含む。
実際に、映画の平均輝度値は、フレーム番号kの関数として(即ち時間の関数として)低域特性を示す。前記検出器は、それぞれの平均輝度値fw,1(k)及びfw,2(k)を低域フィルタリング(25、27)することにより元の(ウォーターマーク無しの)映画の平均輝度値を推定する。前記埋め込み器により取り入れられた平均輝度修正の推定値は、この後にフィルタリングされていない平均輝度値から低域フィルタリングされた平均値を減算(26、27)することにより得られる。前記検出器は、両方の推定値を減算(23)し、符号演算(29)が後に続くことにより前記埋め込まれたウォーターマークサンプルを推定する。フレームkに埋め込まれた前記推定されたウォーターマークサンプルは、v(k)で示される。
したがって、この構成は推定されたウォーターマークサンプルのシーケンスを生成する。相関段(correlation stage)3において、前記推定されたウォーターマークサンプルのシーケンスは、探されるウォーターマークと相関を取られる(correlated)。前記検出器は、この探されるウォーターマークを長さNの擬似乱数シーケンスw(n)の形式で受信し、ここでw(n)∈[−1,1]である。前記検出器は、前記埋め込み器の繰り返し段13と同一の繰り返し段24を有する。前記繰り返し段は、K個の連続した画像の間、各ウォーターマークサンプルを繰り返す。前記ウォーターマークは、N=1024フレーム毎に繰り返す。フレームに対して相関段3に加えられた前記ウォーターマークサンプルは、w(k)で示される。再び、w(k)は、数学的により正確な表現
Figure 2006517068
に対する省略形である。
低域フィルタ/減算器の組み合わせ25、26及び27、28並びに符号演算29がオプションであることに注意すべきである。
図3は、相関段3の概略図である。連続した画像の前記推定されたウォーターマークサンプルは、K個のバッファ31、32、...に分配され、ここでKは上述のように同じウォーターマークサンプルが埋め込まれる連続した画像の数である。各バッファは、N個の推定されたウォーターマークサンプル(又はN個の計算された平均輝度値、若しくはN個の推定された平均輝度修正値)を記憶する。ウォーターマークの長さN及びウォーターマークサンプル毎のフレームKの典型的な値は、それぞれ1024及び5である。したがって、第1バッファ31は、推定されたウォーターマークサンプルv(1)、v(6)、V(11)、...を含み、第2バッファ32は、v(2)、V(7)、V(12)、...を含み、以下同様である。これは、ウォーターマーク検出の粒度(granularity)が、PALビデオに対して約3分25秒であることを意味する。
前記ウォーターマークは、探される基準ウォーターマークw(n)に対する各バッファの内容の類似性を決定することにより検出される。各ウォーターマークは、例えば1つの映画館を識別することができる。類似性の周知の例は、相互相関であるが、他の尺度が可能である。各バッファの内容は、それぞれの相関器(correlators)33、34、...において基準ウォーターマークと相互相関を取られる(cross-correlated)。この相関は、好ましくは、シメトリカル・フェイズ・オンリー・マッチド・フィルタリング(SPOMF、Symmetrical Phase Only Matched Filtering)を使用して実行される。SPOMFの記述については、国際特許出願WO99/45706が参照される。この文書において、相関は、2次元の空間的領域において実行される。N×Nの画像画素のブロックは、N×Nの基準ウォーターマークと相関を取られる。SPOMF演算の結果は、ウォーターマークが埋め込まれた場合に1つ又は複数のピークを示すN×Nの相関値のパターンである。
K個の相関器33、34、...は、1次元の時間領域で動作する。各相関器の出力は、K個のバッファ35、36、...の対応する1つに記憶されたN個の相関値の系列である。ピーク検出器37は、前記K個のバッファにおいて最高相関値を検索し、このピーク値を閾値回路38に加える。前記バッファの少なくとも1つのピーク値が所定の閾値より大きい場合に、前記ウォーターマークが存在すると決定される。そうでない場合には、前記内容はウォーターマーク入りではないと分類される。
ペイロードは、国際特許出願WO−A−99/45705に開示されたものと同様な様式でウォーターマークw(n)のシフトされたバージョンを埋め込むことにより信号内で符号化されることができる。並列な相関器が図3に示されているが、それぞれの動作を時間順次的な様式で実行することが有利であることができることに更に注意すべきである。
本発明を更に詳細に記述するために、従来技術のウォーターマーキング方式の数学的解析、一般に利用可能なフリッカ除去ツールの解析、及び本発明によるウォーターマーキング方式の動作がここで与えられる。
ウォーターマークwは、‘1’及び‘−1’のサンプル値のみを含む周期Mの周期的な擬似乱数シーケンスである。ウォーターマークサンプルw(n)は、K個の連続したフレームk、k+1、...、k+K+1に埋め込まれる。K個の連続したフレームに1つのウォーターマークサンプルを埋め込むことにより、この埋め込みによるフリッカの周波数は減少される。各画素の輝度値を値CF(,k)だけ増加することにより画像に‘1’が埋め込まれる。各画素の輝度値をCF(,k)だけ減少することにより‘−1’が埋め込まれる。ここで、はフレームk内の画素の空間座標である。より数学的には、
Figure 2006517068
であり、ここでFは埋め込まれるべきフレームであり、Fwは埋め込まれたフレームである。変化分CFは、前記ウォーターマークが見えないように選択され、したがってFに依存する。テクスチャ(texture)検出器及び動き検出器がCFを決定するために使用される。結果として、Nをフレーム毎の画素数とすると、ウォーターマーク入りビデオの平均輝度値fw
Figure 2006517068
は、元の平均輝度値に対する変化を示し、
Figure 2006517068
である。ここで、cFは、ウォーターマークwの局所的な深度であり、直接的にCFに関連付けられ、
Figure 2006517068
である。
図4は、(a)において、元のシーケンスの平均輝度値のグラフを示し、(b)においてウォーターマーク埋め込み概念を視覚化する埋め込まれたシーケンスの平均輝度値のグラフを示す。
前記ウォーターマーク埋め込みにより、前記平均輝度値は、適時に前記元の平均輝度値に対して減少又は増加する。式(1)が参照される。実際に、映画の平均輝度値は低域特性を示す。したがって、前記検出器は、ウォーターマーク入りの映画の平均輝度値fwを低域フィルタリングすることにより元のウォーターマーク無しの映画の平均輝度値を推定する。前記検出器は、ウォーターマーク入りの映画の平均輝度値fwからこれらの低域フィルタリングされた平均値を減算し、符号演算が後に続くことによりウォーターマークvを推定する。より数学的には、
Figure 2006517068
であり、ここで、
Figure 2006517068
は(1次元の)コンボリューション(convolution)であり、gは低域フィルタである。ウォーターマークサンプルは、K個の連続したフレームに埋め込まれるので、この演算はウォーターマークwのK個の推定値
Figure 2006517068
を生じ、
Figure 2006517068
である。
これらK個の推定されたウォーターマークのそれぞれ
Figure 2006517068
は、元のウォーターマークwと相関を取られる。絶対相関値
Figure 2006517068
が閾値より大きい場合に、このビデオシーケンスはウォーターマーク入りであると決定される。
映画は毎秒24フレーム(fps)のフレームレートでプログレッシブで上映されるが、しかしながら、標準的なビデオカメラは、25fps(PAL)又は29.97fps(NTSC)でインターレースで記録する。このインターレースにより、シャッタがちょうど開いている又は閉じている可能性があるので、輝度は1フレームの記録を通して同じではない。前記ビデオカメラ及び映写機は同期していないので、この問題はカメラマンにとって解決されるのが難しい。加えて、前記映写機及び前記ビデオカメラのフレームレートは一致しないので、同様な問題が表れ、ある時点で、前記シャッタが半分開いている又は完全に閉じているときにフレームが記録される。これらの不一致の結果は、記録された映画のフリッカである。
バーチャルダブ用の‘フリッカ除去’プラグインは、インターネット上で見つけられることができる。このプラグインは4つのステップで前記フリッカを除去する。
第1パスにおいて、前記映画の平均輝度値
Figure 2006517068
を計算する。
この後に、これらの平均値
Figure 2006517068
を低域フィルタh(デフォルトは長さ12の単純な平均化フィルタ)でフィルタリングする。
次いで、各フレームに対する元の平均値
Figure 2006517068
と前記フィルタリングされた平均値との間の倍率β(k)を計算し、
Figure 2006517068
である。
第2パスにおいて、フレームkの各画素の輝度値は、整数に四捨五入された対応する倍率β(k)を乗算され、これが最大輝度値255を超える場合にはクリッピングされる。
Figure 2006517068
であり、hは低域フィルタであるので、β(k)は全てのkに対して非負であることに注意する。さしあたり四捨五入及びクリッピングを無視する場合、最後のステップにおけるこれらの乗算の結果は、新しい構成されたビデオの平均値
Figure 2006517068

Figure 2006517068
の低域フィルタリングされた平均値に似ることであり、
Figure 2006517068
である。
知覚的に、これは、フリッカが前記フレームの平均輝度値の高周波成分と見なされることができ、ここでフィルタ除去されるので、前記新しい構成されたビデオが、より少ないフリッカを示すことを意味する。
不幸なことに、このウォーターマーキング方式は、知覚されないが、実際にはフリッカである。直接的な結果として、この‘フリッカ除去’プラグインは前記ウォーターマークを除去する。したがって、このウォーターマーク埋め込み方式は、フリッカ除去に対してロバストになるような様式で修正されなければならない。この‘フリッカ除去’ツールが、海賊版コピーからフリッカを取り消すために幅広く使用されるので、これはいっそう当てはまる。
このために、各フレームは2つの部分(例えば左/右又は上/下)に分割され、前記ウォーターマークサンプルは、これらの部分において反対に埋め込まれる。ウォーターマークサンプルを埋め込むために、一方の部分の平均輝度が増加され、他方の部分の平均輝度が減少される。結果的に、ウォーターマーク入り映画の平均輝度値fwは、ここで2つの部分からなり、
w(k)=fw,1(k)+fw,2(k)
であり、(式(1)と比較すると)
Figure 2006517068
である。
カメラで取り込んだ後に、前記‘フリッカ除去’ツールは、平均輝度値
Figure 2006517068
を低域フィルタリングすることにより前記フリッカを除去し、
Figure 2006517068
である。
この修正されたウォーターマーキング方式に対する前記ウォーターマークの検出は、上述の検出方法と同様である。初めに、前記検出器は、両方の部分の平均輝度値を低域フィルタリングすることにより両方の部分に対する元のウォーターマーク無しの映画の輝度値を推定する。次いで、前記検出器は、対応する部分の輝度値から両方の演算の結果を減算する。最後に、前記検出器は、減算の後に続く符号演算(式(2)と比較する)により前記ウォーターマークの推定値
Figure 2006517068
を作成し、
Figure 2006517068
である。
K個の推定値
Figure 2006517068
(式(3)を参照)は同様な様式で得られ、ウォーターマークwと相関を取られる。
前記フリッカ除去ツールは、画像の全ての画素に同じ倍率β(k)で乗算し、これにより前記2つの画像領域の間の輝度の差を実質的にそのまま残すので、この埋め込まれたウォーターマークは前記フリッカ除去演算後も存続する。本発明の効果は、より数学的にも説明されることができる。元のウォーターマーク無しの映画が低域特性を示すと仮定される。前記映画をカメラで取り込んだ後に、ウォーターマーク入りの部分の平均輝度値
Figure 2006517068
及び
Figure 2006517068
は、フリッカを示し、
Figure 2006517068
及び
Figure 2006517068
である。ここで、γ(k)>0はフレームkの平均輝度値の変化分(フリッカ)に対応する。前記‘フリッカ除去’プラグインは、前記平均輝度値を低域フィルタリングすることによりこのフリッカを除去し、
Figure 2006517068
となる。この表現から以下の結果となる。
Figure 2006517068
実際には
Figure 2006517068
は、f(k)と比較して相対的に小さいので、β(k)γ(k)を1で近似することができる。この近似を使うことにより、
Figure 2006517068
となることがわかる。他方の部分について、同様な結果が得られる。
Figure 2006517068
これらの結果を用いて、最終的に
Figure 2006517068
に対して以下の表現が得られ(式(5)を参照)、
Figure 2006517068
ここで、低域フィルタgは前記ウォーターマークを完全にフィルタ除去すると仮定される。cF,1(k)+cF,2(k)は、全てのkに対して非負であるので、前記表現の符号に影響を与えないことに注意する。この表現から、この修正の後では、前記ウォーターマークが実際に前記‘フリッカ除去’後も存続することがわかる。
ウォーターマークが手持ち式ビデオカメラにより作成されたコピーにおいて検出されることができるように映画にウォーターマークを埋め込み、検出する方法及び装置が開示されている。前記ウォーターマーク埋め込み器は、各画像フレームを2つの領域に分割する。ウォーターマークビット‘+1’は、第1部分の輝度を増加し、第2部分の輝度を減少することによりフレームに埋め込まれる。ウォーターマークビット‘−1’は、前記第1部分の輝度を減少し、前記第2部分の輝度を増加することにより埋め込まれる。本発明により、前記埋め込まれたウォーターマークが、映写機器と民生カムコーダとの異なるフレームレートにより引き起こされるフリッカを除去するためにしばしば使用される‘フリッカ除去’演算後も存続することが達成される。
本発明によるウォーターマーク埋め込み器の概略図である。 本発明によるウォーターマーク検出器の概略図である。 図2に示されたウォーターマーク検出器の要素である相関段の概略図である。 元の画像シーケンス及びウォーターマーク入り画像シーケンスの平均輝度値のグラフを示す。 元の画像シーケンス及びウォーターマーク入り画像シーケンスの平均輝度値のグラフを示す。

Claims (10)

  1. 動画信号にウォーターマークを埋め込む方法において、
    それぞれ第1の値又は第2の値を持つウォーターマークサンプルのシーケンスにより前記ウォーターマークを表すステップと、
    前記動画信号の画像を少なくとも第1画像領域及び第2画像領域に分割するステップと、
    前記第1画像領域及び前記第2画像領域の大域的特性を決定するステップと、
    前記ウォーターマークサンプルの前記第1の値を前記画像に埋め込むために、前記第1画像領域の前記大域的特性を増加し、且つ前記第2画像領域の前記大域的特性を減少し、前記ウォーターマークサンプルの前記第2の値を前記画像に埋め込むために、前記第1画像領域の前記大域的特性を減少し、且つ前記第2画像領域の前記大域的特性を増加するように前記画像を修正するステップと、
    を有する方法。
  2. 前記大域的特性が、それぞれの前記画像領域の平均輝度値である、請求項1に記載の方法。
  3. 前記修正するステップが、連続した画像の系列を同じウォーターマークサンプルにより修正するステップを有する、請求項1に記載の方法。
  4. 前記第1画像領域及び前記第2画像領域が、それぞれ前記画像の上半分及び下半分である、請求項1に記載の方法。
  5. 前記第1画像領域及び前記第2画像領域が、それぞれ前記画像の左半分及び右半分である、請求項1に記載の方法。
  6. 動画信号にウォーターマークを埋め込む装置において、
    それぞれ第1の値又は第2の値を持つウォーターマークサンプルのシーケンスにより前記ウォーターマークを表す手段と、
    前記動画信号の画像を少なくとも第1画像領域及び第2画像領域に分割する手段と、
    前記第1画像領域及び前記第2画像領域の大域的特性を決定する手段と、
    前記画像に埋め込まれるべき前記ウォーターマークサンプルの前記第1の値に応答して前記第1画像領域の前記大域的特性を増加し、且つ前記第2画像領域の前記大域的特性を減少するように構成され、前記画像に埋め込まれるべき前記ウォーターマークサンプルの前記第2の値の埋め込みに応答して前記第1画像領域の前記大域的特性を減少し、且つ前記第2画像領域の前記大域的特性を増加するように構成された画像修正手段と、
    を有する装置。
  7. ウォーターマーク入り動画ホスト信号内でウォーターマークを検出する方法において、
    前記ホスト信号の各画像を少なくとも第1画像領域及び第2画像領域に分割するステップと、
    前記第1画像領域及び前記第2画像領域の大域的特性を決定するステップと、
    画像の系列のそれぞれに対して、前記第1画像領域の前記大域的特性と前記第2画像領域の前記大域的特性との間の差を計算するステップと、
    前記画像の系列に対して、それぞれの前記差と検出されるべき前記ウォーターマークとの相関を取るステップと、
    を有する方法。
  8. 前記大域的特性が、それぞれの前記画像領域の平均輝度値である、請求項7に記載の方法。
  9. 前記大域的特性の系列から前記大域的特性の系列の低域フィルタリングされたバージョンを減算するステップを更に含み、減算された信号に対して前記相関を取るステップを適用する、請求項7に記載の方法。
  10. 前記減算された信号の符号を決定するステップを更に含み、前記符号に対して前記相関を取るステップを適用する、請求項9に記載の方法。
JP2006500353A 2003-01-20 2004-01-13 動画信号のウォーターマーク埋め込み及び検出方法 Expired - Fee Related JP4709960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03100109 2003-01-20
EP03100109.2 2003-01-20
PCT/IB2004/050010 WO2004066626A1 (en) 2003-01-20 2004-01-13 Watermark embedding and detection of a motion image signal

Publications (2)

Publication Number Publication Date
JP2006517068A true JP2006517068A (ja) 2006-07-13
JP4709960B2 JP4709960B2 (ja) 2011-06-29

Family

ID=32748928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006500353A Expired - Fee Related JP4709960B2 (ja) 2003-01-20 2004-01-13 動画信号のウォーターマーク埋め込み及び検出方法

Country Status (9)

Country Link
US (1) US7844072B2 (ja)
EP (1) EP1588556B1 (ja)
JP (1) JP4709960B2 (ja)
KR (1) KR20050091094A (ja)
CN (1) CN100380960C (ja)
AT (1) ATE341157T1 (ja)
DE (1) DE602004002561T2 (ja)
ES (1) ES2271835T3 (ja)
WO (1) WO2004066626A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110274A (ja) * 2003-09-29 2005-04-21 Lucent Technol Inc デジタル・ビデオに電子透かしを入れる方法
JP2005252957A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置
JP2006203318A (ja) * 2005-01-18 2006-08-03 Pioneer Electronic Corp 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム
JP2008278454A (ja) * 2007-02-28 2008-11-13 Victor Co Of Japan Ltd 撮像装置及び再生装置
JP2012205168A (ja) * 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2012244601A (ja) * 2011-05-24 2012-12-10 Sharp Corp 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045448A (ja) * 1999-07-30 2001-02-16 Nec Corp ディジタルtv放送における映像データ同期方式
US9609278B2 (en) 2000-04-07 2017-03-28 Koplar Interactive Systems International, Llc Method and system for auxiliary data detection and delivery
ES2271835T3 (es) * 2003-01-20 2007-04-16 Koninklijke Philips Electronics N.V. Incrustacion y deteccion de marcas de agua de una señal de imagen en movimiento.
US7330511B2 (en) 2003-08-18 2008-02-12 Koplar Interactive Systems International, L.L.C. Method and system for embedding device positional data in video signals
US8861922B2 (en) 2003-09-29 2014-10-14 Alcatel Lucent Watermarking scheme for digital video
EP2270591B1 (en) 2005-08-22 2015-01-07 Nds Limited Movie copy protection
BRPI0520528A2 (pt) * 2005-09-09 2009-05-12 Thomson Licensing detecção de marca d'água em vìdeo
BRPI0520527A2 (pt) * 2005-09-09 2009-05-12 Thomson Licensing seleção de coeficiente para sinalização com marca d' água em vìdeo
RU2008120711A (ru) * 2005-10-26 2009-12-10 Конинклейке Филипс Электроникс Н.В. (Nl) Способ внедрения данных в информационный сигнал
JP2009521181A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタルシネマ用のブラインド検知
US20080205848A1 (en) * 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
DE102007027642A1 (de) * 2007-06-15 2008-12-18 Micronas Gmbh Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung
US20090111584A1 (en) 2007-10-31 2009-04-30 Koplar Interactive Systems International, L.L.C. Method and system for encoded information processing
US8582781B2 (en) 2009-01-20 2013-11-12 Koplar Interactive Systems International, L.L.C. Echo modulation methods and systems
US8213673B2 (en) * 2009-06-09 2012-07-03 Avio Technology, Inc. Watermarking of motion pictures
US8715083B2 (en) 2009-06-18 2014-05-06 Koplar Interactive Systems International, L.L.C. Methods and systems for processing gaming data
US9317872B2 (en) 2013-02-06 2016-04-19 Muzak Llc Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
EP2950523A1 (en) * 2014-05-28 2015-12-02 Thomson Licensing Method of estimating flicker on recorded video by camcorder

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289255A (ja) * 1998-01-30 1999-10-19 Canon Inc 電子機器、デ―タ処理方法、電子透かし方式、デ―タ処理システム、及び記憶媒体
JP2002533958A (ja) * 1998-12-18 2002-10-08 シグナファイ、 インコーポレイテッド フィールドベースの電子透かし挿入及び検出
WO2003001813A1 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Embedding and detection of watermark in a motion image signal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590996B1 (en) * 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
WO1999045704A2 (en) * 1998-03-04 1999-09-10 Koninklijke Philips Electronics N.V. Watermark detection
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
US6456727B1 (en) * 1999-09-02 2002-09-24 Hitachi, Ltd. Method of extracting digital watermark information and method of judging but value of digital watermark information
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
DE10216261A1 (de) * 2002-04-12 2003-11-06 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbetten von Wasserzeicheninformationen und Verfahren und Vorrichtung zum Extrahieren von eingebetteten Wasserzeicheninformationen
US7188248B2 (en) * 2002-07-09 2007-03-06 Kaleidescope, Inc. Recovering from de-synchronization attacks against watermarking and fingerprinting
JP3976183B2 (ja) * 2002-08-14 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ受信装置、ネットワークシステム及びプログラム
ES2271835T3 (es) * 2003-01-20 2007-04-16 Koninklijke Philips Electronics N.V. Incrustacion y deteccion de marcas de agua de una señal de imagen en movimiento.
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
JP2006025409A (ja) * 2004-06-11 2006-01-26 Canon Inc 画像処理装置及び画像処理方法
KR101361591B1 (ko) * 2005-07-19 2014-02-11 베리메트릭스 인코퍼레이티드 미디어 식별을 위한 숨겨진 견고한 마크

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289255A (ja) * 1998-01-30 1999-10-19 Canon Inc 電子機器、デ―タ処理方法、電子透かし方式、デ―タ処理システム、及び記憶媒体
JP2002533958A (ja) * 1998-12-18 2002-10-08 シグナファイ、 インコーポレイテッド フィールドベースの電子透かし挿入及び検出
WO2003001813A1 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Embedding and detection of watermark in a motion image signal

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110274A (ja) * 2003-09-29 2005-04-21 Lucent Technol Inc デジタル・ビデオに電子透かしを入れる方法
JP2012186853A (ja) * 2003-09-29 2012-09-27 Alcatel-Lucent Usa Inc デジタル・ビデオに電子透かしを入れる方法
JP2005252957A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置
JP4534530B2 (ja) * 2004-03-08 2010-09-01 三菱電機株式会社 電子透かし検出方法および電子透かし検出装置
JP2006203318A (ja) * 2005-01-18 2006-08-03 Pioneer Electronic Corp 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム
JP4510647B2 (ja) * 2005-01-18 2010-07-28 パイオニア株式会社 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム
JP2008278454A (ja) * 2007-02-28 2008-11-13 Victor Co Of Japan Ltd 撮像装置及び再生装置
JP2012205168A (ja) * 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2012244601A (ja) * 2011-05-24 2012-12-10 Sharp Corp 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体

Also Published As

Publication number Publication date
EP1588556A1 (en) 2005-10-26
US7844072B2 (en) 2010-11-30
ATE341157T1 (de) 2006-10-15
KR20050091094A (ko) 2005-09-14
DE602004002561D1 (de) 2006-11-09
ES2271835T3 (es) 2007-04-16
JP4709960B2 (ja) 2011-06-29
DE602004002561T2 (de) 2007-06-21
US20060129566A1 (en) 2006-06-15
WO2004066626A1 (en) 2004-08-05
CN1739293A (zh) 2006-02-22
CN100380960C (zh) 2008-04-09
EP1588556B1 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
JP4709960B2 (ja) 動画信号のウォーターマーク埋め込み及び検出方法
US8452971B2 (en) Embedding and detection of watermark in a motion image signal
Haitsma et al. A watermarking scheme for digital cinema
KR100841848B1 (ko) 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체
US20090252370A1 (en) Video watermark detection
EP1394738A2 (en) Apparatus for embedding and detection of digital watermark
US20080226125A1 (en) Method of Embedding Data in an Information Signal
EP1929440A1 (en) Video watermarking
US20090226030A1 (en) Coefficient modification for video watermarking
JP4951521B2 (ja) ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
US20080304702A1 (en) Blind Detection for Digital Cinema
van Leest et al. On digital cinema and watermarking
Jung et al. Detecting re-captured videos using shot-based photo response non-uniformity
KR101025311B1 (ko) 복합적 왜곡에 강인한 자기 동기화 신호 기반의 고화질 동영상 워터마킹 시스템
Choi et al. Robust and efficient scene-based watermarking using temporal spread spectrum in compressed video
KR20080043320A (ko) 비디오 워터마크 검출

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100421

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110225

R150 Certificate of patent or registration of utility model

Ref document number: 4709960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees