JP2007500987A - 画像用の電子指紋及び透かし - Google Patents

Abstract

透かし又は指紋の適用のために画像をグリッド領域に分割する方法は、グリッドを中心に合わせるために画像の重心を計算する段階と、画像の一部の重心をグリッドのサイズを設定するために使用する段階とを有する。

Description

本発明は、画像への電子指紋及び／又は電子透かしの適用に係る。

ビデオの指紋付けは、ビデオコンテンツ識別及び関連付けられる適用に使用することが可能である。ビデオ指紋認識は、ビデオコンテンツに、圧縮、スケーリング、又は平行移動といった特定の歪みがある場合でもうまく行うことが可能であることが好適である。

一般的に、ビデオ指紋抽出スキームは、ビデオフレームから特徴を抽出する第１の段階からなる。多くの様々な特徴が、指紋の生成に使用するために提案されている。例えば、ＤＣ（平均輝度）値、輝度及び／又はクロミナンスヒストグラム、及びエッジが含まれる。これらのスキームの共通点は、画像が通常領域（例えば、矩形ブロック）に分割され、各領域について特徴が抽出されることである。このような指紋付けスキームは、特許文献１に開示される。

画像フレームの領域への分割は、画像にスケーリング又は平行移動シフトが行われた場合、認識問題をもたらす。画像を分割するために使用される固定のグリッドは、スケーリング／シフトされた画像について、スケーリング／シフトされていないオリジナルの画像とは異なるコンテンツを有する画像領域をもたらしてしまう。これは、結果として得られる指紋における差をもたらし、これは、しばしばスケーリング／平行移動されたコンテンツが認識されることを阻止してしまう。
国際公開第０２／０６５７８２号

本発明は、上述の不利点に対処することを目的とする。

本発明の第１の面では、画像に電子指紋を適用する／画像中の電子指紋を検出する方法は、画像を領域に分割する段階と、電子指紋を適用する／検出する段階とを有し、領域の位置及び／又はサイズは、画像のコンテンツに基づく。

本発明の第２の面では、電子指紋の適用のために画像を領域に分割する方法は、領域の位置及び／又はサイズを、画像のコンテンツに応じて選択する段階を有する。

画像は、画像の重心の位置に基づいて分割されることが好適である。画像を分割するためのグリッドは、画像の重心の位置に実質的に中心が合わされることが好適である。
グリッドの水平方向の分割のサイズ及び垂直方向の分割のサイズは、互いに独立していることが好適である。

水平方向の分割及び／又は垂直方向の分割のサイズは、画像の一部分のコンテンツ、好適には、画像の一部分の重心に基づくことが好適である。

本発明の方法は、グリッド位置及びサイズが、画像コンテンツに基づいて演算されることを有利に可能にし、それにより、その電子透かしに影響を与えることなく画像のスケーリング及び平行移動を可能にする。

領域は、水平方向及び／又は垂直方向においてオーバーラップし得る。オーバーラップ領域は、より良好な結果のために有利に使用可能であることが分かっている。

本発明の第３の面では、画像中に電子透かしを埋め込みする／画像中の電子透かしを検出する方法は、画像のコンテンツに基づいて透かしパターンのサイズ及び／又は位置を選択する段階と、透かしを埋め込みする／検出する段階とを有する。

グリッド素子として存在することが好適である透かしの位置は、画像の重心の位置に応じて選択されることが好適である。透かしのサイズ、好適には、グリッド素子として存在する透かし用のグリッドのサイズは、画像の一部分のコンテンツ、好適には、画像の一部分の重心に応じて選択されることが好適である。

本発明の第４の面では、第１及び／又は第２の面の方法を動作するようプログラムされるコンピュータ装置が提供される。

本発明の第５の面では、本発明の第１及び／又は第２の面の方法を実行するよう動作可能であるコンピュータプログラムプロダクトである。

ここで記載した全ての特徴は、任意の上述の面と、任意の組み合わせにおいて組み合わせられ得る。

本発明のより良好な理解のために、また、本発明を実行する方法を示すために、添付図面を参照しながら、例示的に、特定の実施例を説明する。

本発明は、コンテンツがスケーリング又は平行移動されている場合の認識率を向上する画像／ビデオコンテンツ用の指紋を導出する技術である。更に、電子透かしが付けられた画像のスケーリング／シフトされたバージョンにおける検出を支援するために、同じ考えを電子透かし付けに適用する方法も説明する。

本発明の開示内容における重要な考えは、画像コンテンツ自体に依存するやり方で画像を領域に分割することである。即ち、フレームを領域に分割するために使用されるグリッドは、画像コンテンツから決定されるべきである。このようにすると、グリッドは、画像コンテンツと同様にスケーリング及びシフトされることが可能であり、それにより、スケーリング／シフトされた画像の指紋は、オリジナルの画像の指紋と可能な限り近くなる。

画像の、コンテンツに依存する分割は、重心（質量中心）演算を使用して達成可能である。輝度Ｉ（ｘ，ｙ）を有する画像領域の重心は、点

であり、ここで、

である。尚、これらは以下の通りに演算可能である。

即ち、この演算は基本的に一次元であり、乗算の数は、ｙ方向に亘ってまずＩ（ｘ，ｙ）を

合計することにより最小化される。従って、重心は、比較的安価な演算である。

重心は、画像コンテンツと同様にシフトする特性を有する。

更に、重心は、画像コンテンツと同様にスケーリングする特性を有する。

これらの計算は、画像コンテンツのアップスケーリング且つシフトされたバージョンにおける画像コンテンツ全体に亘って合計がとられることが前提とされる。実際には、アップスケーリング及びシフトは、オリジナルの画像寸法を保つためにクロッピングが組み合わされる。クロッピングは、画像の必要な辺の長さの比を達成するために１つ以上の縁から画像の一部を除去することが関連する。このクロッピングは、重心位置ではエラーをもたらし、これは、アップスケーリング及びシフトに対する完全な不変性を阻止する。

同様に、ダウンスケーリングも、実際には、オリジナルの画像寸法を保つために新しいコンテンツを用いたパディング（必要な辺の長さの比を達成するために追加のデータを加えることによって）と組み合わされる。パディングが、画素が上述の合計に寄与しないよう値ゼロの画素を用いて行われる場合は、スケーリングの不変性は依然として達成される。

実際のスキームにおけるこのような不完全性にも関わらず、重心は、結果として得られる指紋における相当のロバスト性を達成するために十分に正確にシフト及びスケーリングすることが分かる。

画像のスケーリング／シフトロバスト分割を与えるために重心を使用することは、多数の矩形ブロックからなるグリッドに画像を分割する例について説明する。これは、例えば、特許文献１における指紋スキームに求められる。この文献の内容は、本願に参考として組み込む。この指紋スキームでは、これらのブロック間のＤＣ差が、指紋ビットを導出するよう使用される。この方法は、以下の段階からなる。

画像全体の重心

を計算する。グリッドは、この点に中心が合わされ、画像の平行移動シフトに対するロバスト性を与える。Ｃの左側にある全ての画像画素の水平方向における重心ｘ_ｌｅｆｔを計算する。図１を参照されたい。

Ｃの右側にある全ての画像画素の重心ｘ_{ｒｉｇｈｔ}と、Ｃの上方にある全ての画像画素の垂直方向における重心ｙ_{ａｂｏｖｅ}と、Ｃの下方にある全ての画像画素の重心ｙ_{ｂｅｌｏｗ}も計算する。

ブロック境界を以下のように画成する。

ここでは、ａは、結果として得られるブロックのグリッドの全体サイズを制御するよう選択される倍数である。例えば、ａ＝２に設定すると、オリジナルの画像の殆どをスパンするグリッドをもたらす。何故なら、一般的な画像コンテンツの重心は、通常略中心にあるからである。結果として得られるグリッドは、２Ｍ×２Ｎブロックからなる。

図１において、ｘ_ｌｅｆｔは、画像全体の重心

の左側にある画像の部分の水平方向における重心である。

図２は、例として、ａ＝２、及びＭ＝Ｎ＝３について上述の方法を用いて形成されたブロックのグリッドを示す。図３は、１．１倍だけ水平方向にスケーリングされ、また、２０画素だけ垂直方向にシフトされた同じ画像に対して形成されたグリッドを示す。両方の場合において、各ブロックの画像コンテンツはよく似ており、また、固定グリッドが使用された場合より相当に多くよく似ている。

上述の方法は、特許文献１と同様に、ブロックを形成するために使用され、そのブロックから続けて指紋が得られる。図４及び５は、オリジナルのビデオコンテンツの指紋と同じコンテンツのスケーリング／シフトされたバージョンからの指紋との指紋ビット誤り率（ＢＥＲ）を示す。比較のために、１４４×８０画素の固定ブロックに対する指紋ビット誤り率も示す。新規の重心スキームによる改善は明らかである。

尚、シフト及びアップスケーリングによるＢＥＲは、図５における「ｋｉｔｃｈｇｒａｓｓ」クリップに対するよりも図４における「ｉｎｔｅｒｖ」ビデオクリップに対するほうが低い。これは、「ｉｎｔｅｒｖ」は、その周囲において僅かに太い黒の境界を有するからである。そのような境界の略ゼロの強度値は、重心位置に影響を与えない。従って、ＢＥＲは、クロッピングの作用が行われ始めるより大きいシフト又はアップスケーリングにおいてのみ上がり始める。尚、更に、ダウンスケーリングに対するＢＥＲは、ダウンスケーリングではクロッピングは行われないことが予想されるので、アップスケーリングに対してよりも低い。

提案するスキームの追加の利点は、このスキームは、水平方向及び垂直方向における様々なスケーリング率に対しロバストである、即ち、アスペクト比変化に対しロバストであることである。

透かし入れへの適用
画像のスケーリング及びシフトは、画像中に含まれた透かしの検出を阻止することも可能である。多くの透かし入れスキーム（例えば、国際公開第９９／４５７０５号を参照されたい）と同様に、透かしパターンは、空間領域におけるノイズサンプルのタイルとして作成可能であるとする。この透かしパターンは、透かし入れされた画像を作成するようオリジナルの画像に加えられる。上に提案した発明は、埋め込みされた透かしパターンのサイズ及びシフトが、画像コンテンツ自体の特性（例えば、重心）によって設定されることを可能にする。透かし検出器は、上述の方法を繰り返すことによって受信した画像における透かしパターンの適切なスケーリング及びシフトを自動的に見つけることが可能である。

実際では、透かし検出は一般的にスケーリングに非常に敏感であり、（例えば）重心によって示されるスケーリングの精度は、透かしの検出を可能にするのに十分に高くない場合もある。しかし、本発明は、スケーリング率の第１の推定値を与え、これは、透かしを検出するために検索される必要のあるスケーリング率の数を少なくするために使用することができる。従って、本発明は、依然として、透かし検出器での低減された計算という利点を提供することができる。

この方法は、指紋又は透かしの適用又は検出にも同様に適用可能である。

更なる実験
ここでは、向上されたスケーリング及びシフトロバスト性のための上述の重心に基づいたスキームに関する更なる実験を説明する。

サブタイトル
ビデオクリップにサブタイトルを付加することは、明るい白の画素の領域を画像の下部に加える。このことが、指紋をマッチングする際に顕著なＢＥＲ増加を引き起こすのに十分なくらいに重心位置を乱すかどうか評価する実験が行われた。

サブタイトルは、サブタイトルが付加されるべき領域内に高密度の「ごま塩」雑音を加えることによって「シミュレート」された。一例を図６に示す。

これは、固定ブロックのオリジナルスキームに対する約４％と比較して、重心スキームに対して約７％のＢＥＲをもたらすことが分かった。グリッドの位置及びサイズは、「サブタイトル」の付加によって僅かにだけ影響を受けたことが分かった。サブタイトルの最小限の影響は、単純に、そのサブタイトルが画像画素の総数の小さな一部分のみであることによる。この実験において、サブタイトルは、画像高さの５％を占め、画像幅の６０％を占めたが、即ち画素の３％を占めたに過ぎない。

オーバーラップするブロック
シフト及びスケーリングに対するロバスト性は、ＤＣ差を計算するときに使用されるブロックのサイズに非常に依存する。これは、固定ブロックと重心スキームのどちらにも言えることである。ブロックの実効サイズを増加するために、以下のようにオーバーラップが導入された。

各ブロックは、両側の各ブロックの５０％を覆うよう水平方向に、且つ、同様に垂直方向に拡大される。画像の周囲におけるブロックについては、拡大は、画像の端までにされる。

拡大されたブロックの画素値にハニング窓が適用されて、ＤＣが計算される。

ブロックのオーバーラップの危険性は、各画素が複数の指紋ビットに寄与し、これは、指紋ビット間の相関を増加し得るという点である。所与のフレームからの指紋ビットが相関されると、その場合、指紋ビットは冗長を含む。即ち、より少ない指紋ビットを事実上有し、これは、より高い誤判定率（異なるコンテンツからの指紋のマッチング）をもたらす。上述のオーバーラップ方法は、非オーバーラップブロックの指紋と非常に類似しているように依然として見える指紋を生成することが分かった。このことから、結果として得られる指紋は依然として、異なるコンテンツ間を十分に区別するとみなすことが妥当であると思われる。

通常の攻撃のセットに対する指紋マッチング結果を、２つの例示的ビデオクリップ（星印を有する破線：固定の非オーバーラップブロック、星印を有する実線：オーバーラップを有するブロックを用いた重心スキーム）について示す。ブロックのオーバーラップは、全ての場合において、同様の又は僅かに向上したＢＥＲをもたらすことが分かる。

重心を示す画像フレームを示す図である。 適用されるブロックのグリッドを有する画像を示す図である。 水平スケーリング及び垂直シフトの後の図２の画像を示す図である。 第１の例のビデオクリップと、スケーリング／シフトの後の同じビデオクリップの指紋についてのビット誤り率（ＢＥＲ）を示す図である。 スケーリング／シフトの後の第２の例のビデオクリップについてのＢＥＲを示す図である。 「サブタイトル」が適用されたサンプル画像を示す図である。 サブタイトルが付加された第１の例の画像についてのＢＥＲを示す図である。 サブタイトルが付加された第２の例の画像についてのＢＥＲを示す図である。

Claims (14)

1. 画像に電子指紋を適用する／画像中の電子指紋を検出する方法であって、
   前記画像を領域に分割する段階と、
   前記電子指紋を適用する／検出する段階と、
   を有し、
   前記領域の位置及び／又はサイズは、前記画像のコンテンツに基づく、方法。
2. 電子指紋の適用のために画像を領域に分割する方法であって、
   前記領域の位置及び／又はサイズを、前記画像のコンテンツに応じて選択する段階を有する方法。
3. 前記画像は、前記画像の重心の位置に基づいて分割される請求項１又は２記載の方法。
4. 前記画像を分割するためのグリッドは、前記画像の前記重心の位置に実質的に中心が合わされる請求項３記載の方法。
5. 前記グリッドの分割の水平方向のサイズ及び垂直方向のサイズは、互いに独立している請求項４記載の方法。
6. 前記水平方向の分割及び／又は前記垂直方向の分割のサイズは、前記画像の一部分のコンテンツに基づく請求項５記載の方法。
7. 前記水平方向の分割及び／又は前記垂直方向の分割のサイズは、前記画像の一部分の重心に基づく請求項６記載の方法。
8. 画像中に電子透かしを埋め込みする／画像中の電子透かしを検出する方法であって、
   前記画像のコンテンツに基づいて透かしパターンのサイズ及び／又は位置を選択する段階と、
   前記透かしを埋め込みする／検出する段階と、
   を有する方法。
9. 前記透かしの位置は、前記画像の重心の位置に応じて選択される請求項８記載の方法。
10. 前記透かしは、グリッド素子として存在する請求項９記載の方法。
11. 前記透かしのサイズ、又は、前記透かし用のグリッドのサイズは、前記画像の一部分のコンテンツに応じて選択される請求項１０記載の方法。
12. 前記透かしのサイズ、又は前記透かし用のグリッドのサイズは、前記画像の一部分の重心に応じて選択される請求項１１記載の方法。
13. 請求項１乃至１２のうちいずれか一項記載の方法を動作するようプログラムされるコンピュータ装置。
14. 請求項１乃至１２のうちいずれか一項記載の方法を実行するよう動作可能なコンピュータプログラム。

Images