JP2011529288A - 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法 - Google Patents

Abstract

本発明は構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法に関するものであって、入力される使用者隠蔽情報を複数個に分割し、複数個に分割されたデータをメッセージエンコードして、メッセージエンコードされた複数個のデータを映像信号形態に変調し、画像の２次元移動に対応するための同期化信号を生成し、映像信号形態に変調された複数個のメッセージ信号及び同期化信号を用いて複数個のサブベースパターンを生成し、複数個のサブベースパターンを用いて１つの単位透かしである構造的マルチパターン透かしを生成することにより透かしの情報隠蔽量を増加させ、透かしの構造的特徴によって画像の２次元的な移動だけでなく、一般的な幾何学的変換にも頑健に対応することができる。

Description

本発明はデジタル画像処理に関し、より詳しくは、構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、透かし検出装置及び方法に関する。

電子透かし（Digital watermarking）とは、テキスト、動画、静止画像、オーディオなどのマルチメディアコンテンツに視覚的又は聴覚的に認識することができない信号形態で所定の情報を埋め込んで隠蔽し、隠蔽した情報を抽出して著作権、画像に対する認証及び動画のモニタリングのための付加情報として使用する技術のことを言う。

このような電子透かし技術は次のような互いに相反した特徴(Trade-Off)を有する。

１．不可視性（Invisibility）：人間の目では原本画像と透かしが埋め込まれた画像とを区別することができないこと。

２．頑健性（Robustness）：多様な画像処理、ノイズ（Noise）、画像圧縮、 幾何学的変換（Geometrical Transform）、デジタル-アナログ変換などのようなマルチメディアコンテンツの変形があっても透かしを抽出することができること。

３．情報隠蔽量（Payload）：同一のマルチメディアコンテンツに対してできるだけ多くの情報を埋め込むことができること。

ここで、透かしの頑健性を高めるためには不可視性を低めるか、情報隠蔽量を少なくしなければならない。一方、透かしの情報隠蔽量を高めるためには頑健性を低めるか、不可視性を低めなければならない。

したがって、透かしの情報隠蔽量を高めながら、同時に透かしの頑健性を高めることができる電子透かし技術が求められる。

一方、透かしの頑健性側面で画像の幾何学的変換に対応するための多様な方法が提示されたが、ほとんどの場合、回転（Rotation）、画像サイズ変換（Scaling）及び画像の２次元的な移動（Cropping or Shift）などのような制限的な変換に対してのみ対応することができた。

しかし、実在的には、このような制限的な変換だけでなく、一般的な幾何学的変換にすべて対応することができる方法が求められる。

本発明の目的は、透かしの情報隠蔽量を高めながら、同時に透かしの頑健性を高めることができる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。

本発明の他の目的は、画像の２次元的な移動だけでなく、一般的な幾何学的変換にも対応することができる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。

本発明のまた他の目的は、透かしの検出速度を向上させる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。

前記問題点を解決するための本発明の構造的マルチパターン透かし生成装置の望ましい実施例は、入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、前記複数個に分割されたデータをメッセージエンコード（Message Encoding）するエンコーダーと、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調器と、画像の２次元移動に対応するための同期化信号を生成する同期信号生成部と、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部と、前記複数個のサブベースパターンを用いて１つの単位透かしを生成する単位透かし生成部とを含んでなる。

ここで、前記エンコーダーは、誤り訂正コードを用いて前記複数個に分割されたデータをメッセージエンコードすることを特徴とする。

また、前記データ分割部は、前記入力される使用者隠蔽情報を４Ｎ（ここで、Ｎは自然数）個に分割するが、望ましくは４つに分割して出力することを特徴とし、この時、前記単位透かし生成部は、４つのサブベースパターンをそれぞれ０°、９０°、１８０°、２７０°回転された形態で該当の領域に埋め込んで単位透かしを生成することができ、また前記４つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することもできる。

一方、本発明の構造的マルチパターン透かし生成方法の望ましい実施例は、データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、変調器が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、同期信号生成部が、画像の２次元移動に対応するための同期化信号を生成する段階と、サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階と、単位透かし生成部が、前記複数個のサブベースパターンを用いて１つの単位透かしを生成する段階とを含んでなる。

一方、本発明の構造的マルチパターン透かし埋め込み装置の望ましい実施例は、入力される原画像（Original Image）からローデータ（Raw Data）を抽出するローデータ抽出部と、前記抽出したローデータのカラー空間をＹＵＶ空間に変換し、前記ＹＵＶカラー空間からＹ成分を抽出するＹＵＶ空間変換部と、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する構造的マルチパターン透かし生成器と、前記構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してＹ成分に埋め込む透かし埋め込み器とを含んでなる。

また、前記構造的マルチパターン透かし生成器は、入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、前記複数個に分割されたデータをメッセージエンコードするエンコーダーと、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調部と、画像の２次元移動に対応するための同期化信号を生成する同期信号生成部と、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部と、前記複数個のサブベースパターンを用いて１つの単位透かしを生成する単位透かし生成部とを含んでなることを特徴とする。

また、前記透かし埋め込み器は、下記の数学式１を用いて前記構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むことを特徴とする。

ここで、 Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、αｒ：ローカル透かし埋め込み強度、Ｓ０、Ｓ１：固定係数値を示す。

一方、本発明の構造的マルチパターン透かし埋め込み方法の望ましい実施例は、データ抽出部が、入力される原画像からローデータを抽出する段階と、ＹＵＶ空間変換部が前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出する段階と、構造的マルチパターン透かし生成器が、入力される使用者隠蔽情報を複数個に分割して福数個のサブベースパターンを生成し、前記複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する段階と、透かし埋め込み器が、前記生成された構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してＹ成分に埋め込む段階とを含んでなる。

また、前記構造的マルチパターン透かしを生成する段階は、データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、変調部が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、同期信号生成部が画像の２次元移動に対応するための同期化信号を生成する段階と、サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階と、単位透かし生成部が、前記複数個のサブベースパターンを用いて１つの単位透かしを生成する段階とを含んでなることを特徴とする。また、前記透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してＹ成分に埋め込む段階は、前記抽出したＹ成分を確率的モデル方法でモデリング（Modeling）する段階と、前記モデリングのＭＬ（Maximun Likelihood）又はＭＡＰ（Maximum A Posteriori）推定方法によってＭＷＭＳ（Maximum Watermark Strength）値を求める段階と、前記抽出したＹ成分の画像をｍ×ｍサイズに分割した後、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってローカル透かし埋め込み強度を求める段階と、前記ＭＷＭＳ及びローカル透かし埋め込み強度値を用いて前記構造的マルチパターン透かしを前記Ｙ成分に埋め込む段階とを含んでなることを特徴とする。また、前記構造的マルチパターン透かしを前記Ｙ成分に埋め込む段階は、 下記の数学式２を用いることを特徴とする。

ここで、 Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、αｒ：ローカル透かし埋め込み強度、Ｓ０、Ｓ１：固定係数値を示す。

一方、構造的マルチパターン透かし検出装置の望ましい実施例は、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出するローデータ抽出部と、前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出するＹＵＶ空間変換部と、前記抽出したＹ成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Ｙ成分から構造的マルチパターン透かしを検出する透かし検出器と、前記画像の２次元的な移動に対する同期化を行って画像の２次元的な移動を復元する２次元移動復元部と、前記２次元的な移動が復元された透かし信号からメッセージコードを抽出するメッセージコード抽出部と、前記抽出したメッセージコードから使用者隠蔽情報を抽出する使用者隠蔽情報抽出部とを含んでなる。
また、前記画像の幾何学的変換の程度を予測する幾何学的変換予測部と、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する幾何学的変換復元部とをさらに含んでなることを特徴とする。

ここで、前記幾何学的変換予測部は、前記検出された構造的マルチパターン透かしの自己相関パターン（Auto Correlation Pattern）を測定した後、自己相関度が周期的に高い座標値を抽出して画像の幾何学的変換の程度を予測することを特徴とする。

また、前記幾何学的変換復元部は、前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求めた後、前記逆変換係数を用いて画像の幾何学的変換を復元することを特徴とする。
また、前記幾何学的変換復元部は、前記自己相関度が周期的に高い座標値のうち、ピーク値が最大である４つの座標グループを選定した後、前記４つの座標グループが下記の条件のいずれか１つに該当すれば、画像の幾何学的変換に対する復元をあきらめることを特徴とする。

（１）４つの座標間の各直線距離が原画像から４つの座標間の各直線距離の１/２未満の場合

（２）４つの座標のうち３つの座標を連結して形成される内角が７５°〜１０５°を超過する場合

（３）４つの座標のうち３つの座標を連結して形成される２つの直線の長さ割合が１：２を超過する場合

一方、本発明の構造的マルチパターン透かし検出方法の望ましい実施例は、ローデータ抽出部が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する段階と、ＹＵＶ空間変換部が、前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出する段階と、透かし検出器が、前記抽出したＹ成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Ｙ成分から構造的マルチパターン透かしを検出する段階と、２次元移動復元部が、前記画像の２次元的な移動に対する同期化を行って画像の２次元的な移動を復元する段階と、メッセージコード抽出部が、前記２次元的な移動が復元された透かし信号からメッセージコードを抽出する段階と、使用者隠蔽情報抽出部が前記抽出したメッセージコードから使用者隠蔽情報を抽出する段階とを含んでなる。

また、前記メッセージコードを抽出する段階で、前記メッセージコード抽出部がメッセージコードを抽出できない場合は、幾何学的変換予測部が前記画像の幾何学的変換の程度を予測する段階と、幾何学的変換復元部が、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する段階とをさらに含んでなることを特徴とする。
また、前記画像の幾何学的変換の程度を予測する段階は、前記検出された構造的マルチパターン透かしの自己相関パターンを測定する段階と、前記測定した自己相関度が周期的に高い座標値を抽出する段階とを含んでなることを特徴とする。
また、前記画像の幾何学的変換を復元する段階は、前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求める段階と、前記逆変換係数を用いて画像の幾何学的変換を復元する段階を含んでなることを特徴とする。

本発明の実施例によれば、使用者隠蔽情報を複数個に分割して構造的マルチパターン透かしを形成することにより、透かしの情報隠蔽量を増加させて多様な情報を埋め込むことができる。
そして、構造的マルチパターン透かしの構造的特徴によって、画像の２次元的な移動だけでなく、一般的な幾何学的変換にも頑健に対応することができる。
また、構造的マルチパターン透かしの構造的特徴によって、多様な画像の変形又は編集にも透かしを速い速度で検出することができる。

本発明の構造的マルチパターン透かし生成装置の構成を示すブロック図。 ４つのサブベースパターンを用いて１つの単位透かしを生成する第１の実施例を示す図。 ４つのサブベースパターンを用いて１つの単位透かしを生成する第２の実施例を示す図。 本発明の構造的マルチパターン透かし生成方法を示す順序図。 本発明の構造的マルチパターン透かしを用いた透かし埋め込み装置の構成を示すブロック図。 本発明の構造的マルチパターン透かしを用いた透かし埋め込み方法を示す順序図。 本発明の構造的マルチパターン透かしが適用された透かし検出装置の構成を示すブロック図。 透かし信号の自己相関パターンを示すグラフ。 本発明の構造的マルチパターン透かしが適用された透かしの検出方法を示す順序図。

以下、図１乃至図９を参照して、本発明の構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法の具体的な実施形態を説明する。しかし、これは例示に過ぎず、本発明はこれに限るものではない。

本発明を説明するにおいて、本発明と係わる公知技術に対する具体的な説明が本発明の要旨を不必要に濁すと判断される場合はその詳細な説明を省略することにする。尚、後述する用語は本発明における機能を考慮して定義された用語であって、これは使用者、運用者の意図又は慣例などによって変わることができる。よって、その定義は本明細書の全般の内容に基づいて下さなければならない。

図１は、本発明の構造的マルチパターン透かし生成装置の構成を示すブロック図である。
図１を参照すると、本発明の構造的マルチパターン透かし生成装置１００はデータ分割部（Data Partitioner）１１０と、エンコーダー（Encoder）１２０と、変調器（Modulator）１３０と、同期信号生成部１４０と、サブベースパターン生成部１５０と、単位透かし生成部１６０とを含んでなる。

前記データ分割部１１０は、入力される使用者隠蔽情報を一定の個数に分割して出力する。ここで、使用者隠蔽情報としてはコンテンツ所有者の情報（例えば、氏名、電子メール住所、連絡先など)、固有番号、製作日付などのコンテンツの著作権情報が含まれる。
即ち、前記データ分割部１１０は、入力される使用者隠蔽情報を４Ｎ（ここで、Ｎは自然数）個に分割して出力するが、望ましくは使用者隠蔽情報を４つに分割して出力する。
例えば、使用者隠蔽情報が２８ビットの大きさのデータである時、データ分分割部１１０は前記使用者隠蔽情報を７ビットの大きさのデータ４つに分割して出力する。この時、前記データ分割部１１０は分割されたデータを同時に出力することができ、時間間隔を置いて順次に出力することもできる。

前記エンコーダー１２０は、前記データ分割部１１０で分割されたデータを誤り訂正コードを用いてメッセージエンコードする。ここで、前記誤り訂正コードとしてはＲＳ（Reed-Solomon）コード又はＬＤＰＣ（Low Density Parity Check）コードなどを使用することができる。

前記エンコーダー１２０で誤り訂正コードを用いてメッセージエンコードする理由は、前記分割されたデータが歪曲又は変形されても原データを復元できるようにするためである。
一方、前記データ分割部１１０が分割されたデータを同時に出力する場合、前記エンコーダー１２０は複数個のエンコーダーを並列で構成して、前記分割されたデータを同時にメッセージエンコードすることができる。
一方、前記データ分割部１１０が分割されたデータを順次に出力する場合、 前記エンコーダー１２０は１つのエンコーダーで構成して、入力されるデータを順次にメッセージエンコードすることができる。

前記変調器１３０は、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。この時、前記変調器１３０はスペクトラム拡散（Spread Spectrum）方式を用いたＭ-ａｒｙ変調方式又はバイナリ変調方式を使って前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。

一般的に使用者隠蔽情報として文字列（例えば、「www.cknb.co.kr」)や、ビット列（例えば、「10101100」) など、多様なフォーマットを有する情報が透かしで埋め込まれるが、この場合、透かしの検出時には透かし信号に対する全般的なビット単位の誤り確率よりは、埋め込まれた全体のコードワード（Code Word）単位の誤り確率がさらに意味もあり、重要である。

例えば、ｗｗｗ.ｃｋｎｂ.ｃｏ.ｋｒを用いて総１０２４ビットの大きさの透かし信号が生成された場合、その中で１００ビットが誤って検出されたとしたら、一番前部分で１００ビットが連続的に誤って検出されると「ｗｗ」という文字が文字化けになって透かしが検出されないが、１００ビットがランダムに誤って検出されると、１つのコードワードが完全に壊れなくて透かしを検出することができるようになる。このように透かしの検出有無は透かし信号に対する全般的なビットの誤りで判断されるのではなく、コードワード単位の誤りで判断される。

したがって、本発明では透かし検出時の頑健性を高めるために、スペトクラム拡散方式を用いたＭ-ａｒｙ変調方式又はバイナリ変調方式を使うことにより、シンボル（Symbol）単位に誤り確率を低める。

一方、前記エンコーダー１２０を複数個のエンコーダーが並列で連結されたものに構成にした場合、前記変調器１３０も複数個の変調器が並列で連結されたものに構成することができる。この時、前記複数個の変調器は前記メッセージエンコードされたデータを同時に映像信号形態に変調する。

一方、前記エンコーダー１２０を１つのエンコーダーで構成した場合、前記変調器１３０も１つの変調器で構成することができ、この時、前記変調器１３０はメッセージエンコードされたデータを順次に映像信号形態に変調する。

前記同期信号生成部１４０は画像の２次元的な移動（例えば、Cropping、Shiftなど）に対応するために同期化信号を生成する。

この時、前記同期信号生成部１４０は同期化信号キーを用いて同期化信号を生成するが、前記同期化信号キーは同期化信号を生成するにおいて、シード(Seed) 値、即ち、初期値の役目をする。

前記サブベースパターン生成部１５０は前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する。

例えば、前記データ分割部１１０で使用者隠蔽情報を４つのデータに分割した場合、前記変調器１３０では４つのメッセージ信号を出力することになるが、前記サブベースパターン生成部１５０は前記４つのメッセージ信号と前記同期化信号を用いて４つのサブベースパターンを生成する。

即ち、前記サブベースパターン生成部１５０は互いに異なる情報が含まれた４つのメッセージ信号それぞれを１つの同期化信号と合成して、単位透かしを形成することになる４つのサブベースパターンを生成する。ここで、前記各サブベースパターンはＮ×Ｎの大きさを有する。

一方、前記変調器１３０を複数個の変調器が並列で連結されたものに構成した場合、前記サブベースパターン生成部１５０も複数個のサブベースパターン生成部を並列で連結して構成することができる。この時、前記複数個のサブベースパターン生成部はそれぞれメッセージ信号及び同期化信号を用いて同時にサブベースパターンを生成する。
一方、前記変調器１３０を１つの変調器で構成した場合、前記サブベースパターン生成部１５０も１つのサブベースパターン生成部で構成することができ、この時、前記サブベースパターン生成部１５０は複数個のメッセージ信号及び同期化信号を用いて順次に複数個のサブベースパターンを生成する。

前記単位透かし生成部１６０は前記複数個のサブベースパターンを用いて１つの単位透かしを生成する。

例えば、前記データ分割部１１０で使用者隠蔽情報を４つのデータに分割した場合、前記サブベースパターン生成部１５０は４つのサブベースパターンを生成することになるが、前記単位透かし生成部１６０は４つのサブベースパターンを用いて１つの単位透かしを生成する。ここで、前記各サブベースパターンがＮ×Ｎの大きさを有すると、前記単位透かしは２Ｎ×２Ｎの大きさを有することになる。

この時、前記単位透かし生成部１６０が前記４つのサブベースパターンを用いて１つの単位透かしを生成する方法には次の二つの方法がある。

図２は４つのサブベースパターンを用いて１つの単位透かしを生成する第１の実施例を示す図である。

図２を参照すると、４つのサブベースパターン（Ａ１、Ａ２、Ａ３、Ａ４）が１つの単位透かしを形成するが、この時、第１のサブベースパターン（Ａ１）乃至第４のサブベースパターン（Ａ４）はそれぞれ０°、９０°、１８０°、２７０°回転された形態で埋め込まれる。

図３は４つのサブベースパターンを用いて１つの単位透かしを生成する第２の実施例を示す図である。

図３を参照すると、４つのサブベースパターン（Ａ１、Ａ２、Ａ３、Ａ４）が１つの単位透かしを形成するが、この時、第１のサブベースパターン（Ａ１）乃至第４のサブベースパターン（Ａ４）はそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込まれる。

このように、第１のサブベースパターン（Ａ１）乃至第４のサブベースパターン（Ａ４）をそれぞれ０°、９０°、１８０°、２７０°回転された形態で埋め込むか、元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込んで単位透かしを形成する理由は、頑健性を維持しながら透かし検出時の検出速度を向上させるためである。

本発明の実施例によれば、使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを形成し、複数個のサブベースパターンで１つの単位透かしを形成することになるが、この時に形成される単位透かしを「構造的マルチパターン透かし」と定義する。

本発明の「構造的マルチパターン透かし」によれば、既存方式による同じ大きさの単位透かしに比べて使用者隠蔽情報量を増加させることができる。

例えば、既存方式による２Ｎ×２Ｎの大きさの単位透かしに比べて、本発明によって形成された２Ｎ×２Ｎの大きさの「構造的マルチパターン透かし」はＮ×Ｎの大きさの４つのサブベースパターンを用いて使用者隠蔽情報量を既存方式に比べて最大４倍増加させることができる。

また、本発明の「構造的マルチパターン透かし」によれば、４つのサブベースパターンがそれぞれ０°、９０°、１８０°、２７０°回転された形態で埋め込まれるか、元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込まれる単位透かしを形成するから、単位透かしの構造的特性上、マルチメディアコンテンツに対して多様な編集及び幾何学的変換が発生した場合にも頑健に対応することができ、また透かしの検出時、検出速度を高速化することができる。

図４は本発明の構造的マルチパターン透かし生成方法を示す順序図である。

図４を参照すると、まずデータ分割部１１０が、入力される使用者隠蔽情報を一定の個数に分割して出力する（Ｓ１００）。

ここで、前記データ分割部１１０は入力される使用者隠蔽情報をＮ×Ｎ（ここで、Ｎは定数）の個数に分割して出力し、望ましくは使用者隠蔽情報を４つに分割して出力する。
次に、エンコーダー１２０が、前記データ分割部１１０で分割されたデータを誤り修正コードを用いてメッセージエンコードする（Ｓ１１０）。

ここで、前記誤り修正コードとしてはＲＳコード又はＬＤＰＣコードなどを使用することができる。

次に、変調器１３０が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する（Ｓ１２０）。

この時、前記変調器１３０はスペクトラム拡散方式を用いた Ｍ-ａｒｙ変調方式又はバイナリ変調方式を使って前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。

次に、同期信号生成部１４０が、画像の２次元的な移動（例えば、Cropping、Shiftなど）に対応するための同期化信号を生成する（Ｓ１３０）。

この時、前記同期信号生成部１４０はシードの役目をする同期化信号キーを用いて同期化信号を生成する。

次に、サブベースパターン生成部１５０が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する（Ｓ１４０）。

即ち、前記サブベースパターン生成部１５０は互いに異なる使用者隠蔽情報が含まれた複数個のメッセージ信号それぞれを１つの同期化信号と合成して、単位透かしを形成することになる複数個のサブベースパターンを生成する。

次に、単位透かし生成部１６０が、前記複数個のサブベースパターンを用いて１つの単位透かしである「構造的マルチパターン透かし」を生成する（Ｓ１５０）。
この時、複数個のサブベースパターンはそれぞれ０°、９０°、１８０°、２７０°などの回転された形態で埋め込まれるか、元の位置、左右対称、上下対称、上下左右対称などの形態で埋め込まれて「構造的マルチパターン透かし」を形成する。

図５は本発明の構造的マルチパターン透かしを用いた透かし埋め込み装置の構成を示すブロック図である。

図５を参照すると、本発明の透かし埋め込み装置２００はローデータ抽出部２１０と、ＹＵＶ空間変換部２２０と、構造的マルチパターン透かし生成器 ２３０と、透かし埋め込み器２４０と、データフォーマット変換部２５０とを含んでなる。

前記ローデータ抽出部２１０は入力される原画像からローデータを抽出する。

前記原画像からローデータを抽出する理由は、一般的にマルチメディアコンテンツは特定フォーマットでエンコードされているので、特定フォーマットに依存的ではない非圧縮領域で透かしを埋め込むためである。

前記ＹＵＶ空間変換部２２０は前記抽出したローデータのカラー空間をＹＵＶカラー空間に変換し、ＹＵＶカラー空間からＹ成分（Luminance）を抽出する。

マルチメディアコンテンツは通常ＲＧＢ、ＹＩＱ、ＹＵＶ、ＹＣｒＣｂ、ＨＳＶなど多様なカラー空間に表現される。ここで輝度（Luminance）成分はすべての画像が共通で有している成分であって、これを利用するためにローデータのカラー空間をＹＵＶカラー空間に変換し、変換したＹＵＶカラー空間からＹ成分を抽出する。
また、人間の目は、色差変化に対してよりは輝度変化により少なく敏感であるため、透かしとして輝度成分を利用するのが望ましい。輝度成分を利用することのまた他の長所は色差成分より画像の変換に不変であるということである。

前記構造的マルチパターン透かし生成器２３０は入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する。これに対する詳しい説明は上述のとおりである。

前記透かし埋め込み器２４０は前記生成された構造的マルチパターン透かしを原画像に埋め込むための適応的透かし埋め込み強度を決めた後、前記抽出したＹ成分に前記適応的透かし挿入強度を適用して構造的マルチパターン透かしを埋め込む。
この時、前記透かし埋め込み器２４０は画像ピクセル空間（spatial Domain）で透かしを埋め込むために、原画像のＹ成分を確率的モデル方法でモデリングした後、ＭＬ又はＭＡＰ推定方法によって最適のＭＷＭＳ値を求める。
前記ＭＷＭＳは画像の複雑度によって０〜１の間の値に正規化されるが、ＭＷＭＳが０に近い値を有するほど画像は複雑な領域でノイズが見え難く、ＭＷＭＳが１に近い値を有するほど画像は平坦な領域で少しのノイズにも画像の差を感じやすい。
数学式１はＭＷＭＳを用いた透かし埋め込み式である。

ここで、Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、α：グローバル透かし埋め込み強度を示す。この時、透かし埋め込み強度は透かしの頑健性及び不可視性を調節する核心要素になる。
数学式１を使用すると、原画像に透かしが適応的に埋め込まれるが、透かし埋め込み強度値であるα値が固定定数であるから、複雑な領域が多い画像と平坦領域が多い画像との場合を比べると、逆に平坦領域が多い画像の透かし埋め込み強度が相対的に高い逆転現象が生じる。

即ち、複雑な領域の多い画像と平坦な領域の多い画像におけるＭＷＭＳを比べると、正規化される前のＭＷＭＳは複雑な領域の多い画像が平坦な領域の多い画像より小さいが、正規化されたＭＷＭＳは平坦な領域の多い画像が複雑な領域の多い画像より小さくなる。
この場合、実際の透かし埋め込み段階で、複雑な領域の多い画像の透かし埋め込み強度が平坦な領域の多い画像の透かし埋め込み強度より小くなる逆転現象が生じて、複雑な領域の多い画像においては画質は良いが頑健性が落ち、平坦な領域の多い画像においては頑健性は良いが画質が落ちる現象が生じることになる。
したがって、透かし埋め込み強度値であるα値を各画像の全体的な複雑度によって適応的に調節しなければならない必要がある。これのために、本発明では、数学式２に示すように領域別に適応的なα値を計算する。

ここで、 Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、αｒ：ローカル透かし埋め込み強度、Ｓ０、Ｓ１：固定係数値を示す。

即ち、本発明では ｍ×ｍサイズに画像を分割し、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってｍ×ｍ領域に合うαr値を計算する。

一方、前記透かし埋め込み器２４０は単位透かしである構造的マルチパターン透かしをＹ成分に埋め込む時、全体画像サイズにタイリング（Tiling）して埋め込む。

前記データフォーマット変換部２５０は構造的マルチパターン透かしが埋め込まれたＹ成分を原画像のローデータに適用した後、元の入力画像フォーマットに変換する。
この時、前記データフォーマット変換部２５０は原画像のデータフォーマットと同じく変換するか、使用者が意図する他の形式のデータフォーマットに変換することができる。

図６は本発明の構造的マルチパターン透かしを用いた透かし埋め込み方法を示す順序図である。

図６を参照すると、まず、ローデータ抽出部２１０が、入力される原画像からローデータを抽出する（Ｓ２００）。

次に、ＹＵＶ空間変換部２２０が、前記抽出したローデータのカラー空間を ＹＵＶカラー空間に変換し、ＹＵＶカラー空間からＹ成分を抽出する（Ｓ２１０）。

次に、構造的マルチパターン透かし生成器２３０が、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する（Ｓ２２０）。

次に、透かし埋め込み器２４０が、前記生成された構造的マルチパターン透かしを原画像に埋め込むための適応的透かし埋め込み強度を決定する（Ｓ２３０）。

この時、前記透かし埋め込み器２４０はｍ×ｍサイズに画像を分割し、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってｍ×ｍ領域に合う適応的な透かし埋め込み強度値を計算する。

次に、前記透かし埋め込み器２４０は前記適応的透かし埋め込み強度を用いて前記構造的マルチパターン透かしを前記抽出したＹ成分に埋め込む（Ｓ２４０）。

即ち、前記透かし埋め込み器２４０は数学式２によって原画像のＹ成分に構造的マルチパターン透かしを埋め込む。この時、前記透かし埋め込み器２４０は単位透かしである構造的マルチパターン透かしを全体画像サイズにタイリングしてＹ成分に埋め込む。

次に、データフォーマット変換部２５０が、前記構造的マルチパターン透かしが埋め込まれたＹ成分を原画像のローデータに適用した後（Ｓ２５０）、元の入力画像フォーマットに変換する（Ｓ２６０）。

図７は本発明の構造的マルチパターン透かしが適用された透かし検出装置の構成を示すブロック図である。

図７を参照すると、本発明の透かし検出装置３００はローデータ抽出部３１０と、ＹＵＶ空間変換部３２０と、透かし検出器３３０と、２次元移動復元部３４０と、メッセージコード抽出部３５０と、幾何学的変換予測部３６０と、幾何学的変換復元部３７０と、使用者隠蔽情報抽出部３８０とを含んでなる。

前記ローデータ抽出部３１０は構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する。これは、特定フォーマットに依存的ではない非圧縮領域から透かしを検出するためである。

前記ＹＵＶ空間変換部３２０は前記抽出したローデータのカラー空間をＹＵＶカラー空間に変換し、ＹＵＶカラー空間からＹ成分を抽出する。

前記透かし検出器３３０は前記抽出したＹ成分から構造的マルチパターン透かしを検出するための透かしの検出強度を予測し、前記透かしの検出強度を適用して構造的マルチパターン透かしを検出する。

前記透かし検出器３３０は透かしの検出強度を予測する時、変形されたウィナーフィルタ（Wiener Filter）を使用する。前記ウィナーフィルタで使われるフィルター係数値はそれぞれのピクセルに対して適応的に変形されて多様な画像変形によって歪曲された透かし信号の強度を精密に予測することができる。

即ち、本発明では数学式３に示すように、変形されたウィナーフィルタ式を使用して透かしの検出強度を予測する。

ここで、ｈ（ｎ１，ｎ２）は変形されたウィナーフィルタを示し、σ2ｆは原画像の局所分散を示し、σ2 vは透かし信号の局所分散を示し、Ｍはフィルタの大きさを示す。

この時、前記数学式２の透かし埋め込み強度の算式を用いて透かし信号の局所分散を予測し、原画像の（ｎ１，ｎ２）座標に該当する局所分散値を計算して、数学式４のようなフィルタを構成すれば、透かし埋め込み器で埋め込んだ透かし信号を予測することができる。

前記２次元移動復元部３４０は画像の２次元的な移動に対する同期化を行うことにより画像の２次元的な移動を復元する。

前記２次元移動復元部３４０は２次元的な移動に対する同期化を行うために前処理過程として透かし信号のフォルディング（Folding）技法を使用するが、前記検出された透かし信号を透かし単位で重畳し、数学式４によって予測された透かしの同期信号と基準同期信号との間の相関度（Cross Correlation）を測定して画像の２次元的な移動を復元する。

透かし埋め込み過程で単位透かしである構造的マルチパターン透かしを全体画像サイズにタイリングして埋め込んだので、透かし信号のフォルディング技法を使用する場合、画像の２次元的な移動がないと、予測された透かし信号で透かし信号ではない信号（即ち、誤り信号）は安定化（Saturation）され、予測された透かし信号の重畳は信号強度を極大化することができる。

即ち、透かし信号ではない誤り信号は一般的なガウシアンランダム分布を有するので、各位置当たりの誤り信号の重畳は結局誤り信号の平均値に安定化されて除去されるのに対し、予測された透かし信号は同じ位置で同じ信号が重畳されるので信号強度がますます強くなる。

前記２次元移動復元部３４０は、前記フォルディング技法によって予測された透かし信号のうち、予測された同期信号と基準同期信号との間の相関度を測定した後、相関度が最も高い位置を基準にしてメッセージコードを抽出する。

ここで、前記予測された同期信号と基準同期信号との間の相関度を測定する場合、空間領域（Spatial Domain）で畳み込み（Convolution）演算を行わなければならないので計算量が多くなる。

したがって、本発明ではフーリエ変換（Fourier Transform）を用いて周波数領域（Frequency Domain）で掛け算の演算に切り替えることで計算量を減らす。

前記メッセージコード抽出部３５０は復元された透かし信号からメッセージコードを抽出する。この時、前記メッセージコード抽出部３５０はスペクトラム拡散技法を用いたＭ-ａｒｙ復調方式又はバイナリ復調方式及び類似度測定を通じて前記復元された透かし信号からメッセージコードを抽出する。

Ｍ-ａｒｙ復調方式の場合は、相関デコーダー（Correlation Decoder）を用いてＭ個のテストセット信号のうち、比較信号と最大の類似度を有する信号のシンボルを選択するＭＬ（Maximum Likelihood）方式である。

この場合、相関度値（Correlation Value）は直接的なＬｉｋｅｌｉｈｏｏｄ値を示してはいないが、実際のＬｉｋｅｌｉｈｏｏｄ値と比例関係にあるので、最大の値を有するものは互いに等価になる。

一方、画像に意図的な幾何学的変換が加えられた場合、前記メッセージコード抽出部３５０からメッセージコードを抽出することができないことがある。この時は幾何学的変換の程度を予測し、予測された幾何学的変換を復元する作業を行わなければならない。

したがって、本発明では幾何学的変換予測部３６０を通じて画像の幾何学的変換の程度を予測し、幾何学的変換復元部３７０を通じて予測された幾何学的変換を復元する。

前記幾何学的変換予測部３６０は、２次元空間で自己相関度値が透かし埋め込み時の基本単位である構造的マルチパターン透かしのサイズ（例えば、２Ｎ×２Ｎ）を周期で非常に高いという点と、前記構造的マルチパターン透かしが幾何学的変換によって同じく変更されて元のサイズ及び位置などを分析することができるという点を用いて幾何学的な変換を予測する。

この時、前記幾何学的変換予測部３６０は透かし信号の自己相関度を計算するために、空間領域での畳み込み演算を周波数領域での掛け算の演算に切り替えることで計算量を減らす。

具体的に、前記幾何学的変換予測部３６０は透かし信号の周期的特性を用いて自己相関パターン（Auto Correlation Pattern）を測定した後、自己相関度が高い座標値を抽出する。
図８は透かし信号の自己相関パターンを示すグラフである。図８を参照すると、一定の周期で自己相関度値が非常に高いことが分かる。この時、前記幾何学的変換予測部３６０は自己相関度値が非常に高いピークの位置を検出する。

前記幾何学的変換復元部３７０は前記予測された幾何学的変換に対する逆変換を行って元の画像に復元する。

即ち、前記幾何学的変換復元部３７０は前記検出されたピクセル位置を用いて幾何学的変換に対する逆変換係数（Reverse Affine Parameter）を生成した後、生成された逆変換係数を用いて元の画像を復元する。

数学式４は一般的なアフィン変換（Affine Transform)を示す式である。

ここで、(x、y)は原画像の位置を示し、(x’、y’)は変形された画像の位置を示し、ａ、ｂ、ｃ、ｄはローテーション角度を示すアフィンパラメーター（Affine Parameter）であり、ｅ、ｆは線形移動距離を示すアフィンパラメーターである。一方、数学式４でｅ、ｆは類似度の測定を通じて分かるパラメーターであるので、ここでは略すことにする。

この時、二つの対をなす座標、即ち、（ｘ１、ｙ１）、（ｘ’１、ｙ’１）及び（ｘ２、ｙ２）、（ｘ’２、ｙ’２）を数学式３に適用し、逆行列（Inverse Matrix）を使用することで、画像を復元するための逆変換係数を求めることができる。これを数学式５に示した。

ここで、前記幾何学的変換復元部３７０は数学式５によって求めた逆変換係数を用いて元の画像を復元する。前記幾何学的変換復元部３７０によって復元された画像は透かし検出器３３０に入力されて透かし検出強度予測、メッセージコード抽出、使用者隠蔽情報抽出などを再帰的に行うことになる。

一方、前記幾何学的変換復元部３７０は前記幾何学的変換予測部３６０が検出したピクセルの位置のうちピーク値（Peak Value）が大きい４つの座標グループ（即ち、透かしが２Ｎ×２Ｎ単位で周期的に埋め込まれるので、図８のように複数の４つの座標グループが作られる）を対象で次の条件を満足するかどうかを判断して、下記の条件を満足すれば画像変形によって画像の商業的な質が劣化されたと仮定して画像の復元をあきらめる。

この時、２次元空間で自己相関度値は透かしの基本単位を周期で高く現れるので、４つの座標は単位透かしをなす各頂点の座標に想定することができる。例えば、単位透かしの大きさが３２×３２だとしたら、４つの座標は（０，０）、（０，３２）、（３２，０）、（３２，３２）になる。

i）４つの座標間の各直線距離が原画像から４つの座標間の各直線距離の１/２未満の場合

- 画像の幾何学的変換で画像の全体スケールが原画像の１/２未満に減った場合であって、この時は画像の商業的な質が劣化されたと判断して画像復元をあきらめる。

i i）４つの座標のうち３つの座標を連結して形成される内角が７５°〜１０５°を超過する場合

- 一般的に画像の幾何学的変換がない場合、４つの座標のうち３つの座標を連結して形成される内角は９０°である。しかし、その内角が７５°〜１０５°を超過すると、画像の商業的な質が劣化されたと判断して画像復元をあきらめる。

i i i）４つの座標のうち３つの座標を連結して形成される２つの直線の長さの割合が１：２を超過する場合

- 一般的に画像の幾何学的変換がない場合、４つの座標のうち３つの座標を連結して形成される２つの直線の長さの割合は１：１になる。しかし、画像の幾何学的変換で２つの直線の長さの割合が１：２を超過すると、画像の商業的な質が劣化されたと判断して画像復元をあきらめる。

前記使用者隠蔽情報抽出部３８０は前記抽出したメッセージコードから使用者隠蔽情報を抽出する。ここで、前記使用者隠蔽情報抽出部３８０は誤り訂正コードを用いて、復元可能な誤りを復元することで使用者隠蔽情報を抽出することになる。

この時、誤り訂正コードの復号化のためにＧＭＤ（Generalized Minimum Distance）デコーダーを使用する。これは符号の復号のために硬判定（Hard-Decision）されたデータを利用するより、軟判定（Soft-Decision）されたデータを利用するのがＡＷＧＮ（Additive White Gaussian Noise）チャンネルで約 ２〜３ｄＢ程度の符号化利得（Coding Gain）を得ることができるからである。

また、本発明では透かし埋め込み過程で構造的マルチパターン透かしを単位透かしにしたので、透かしの構造的特性上、画像のフリップ（Flip）、ミラー（Mirror）、９０°、１８０°、２７０°などのような単純変換には不変である座標係を使用することができて、使用者隠蔽情報を高速で抽出することができるようになる。

図９は本発明の構造的マルチパターン透かしが適用された透かしの検出方法を示す順序図である。

図９を参照すると、まずローデータ抽出部３１０が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する（Ｓ３００）。

次に、ＹＵＶ空間変換部３２０が、前記抽出したローデータのカラー空間をＹＵＶカラー空間に変換し、ＹＵＶカラー空間からＹ成分を抽出する（Ｓ３１０）。

次に、透かし検出器３３０が、前記抽出したＹ成分から構造的マルチパターン透かしを検出するための透かしの検出強度を予測する（Ｓ３２０）。

この時、前記透かし検出器３３０は変形されたウィナーフィルタを使って透かしの検出強度を予測するが、前処理過程としてＣｒｏｓｓ-Ｓｈａｐｅｄ Ｆｉｌｔｅｒ又はＳｑｕａｒｅｄ Ｆｉｌｔｅｒなどのような予測フィルタ（Prediction Filter）を画像にまず適用することができる。

次に、前記透かし検出器３３０は前記予測した透かしの検出強度を適用して画像から構造的マルチパターン透かしを検出する（Ｓ３３０）。

その後、２次元移動復元部３４０が画像の２次元的な移動に対する同期化を行って画像の２次元的な移動を復元する（Ｓ３４０）。

即ち、２次元移動復元部３４０は透かし信号のフォルディング技法を使って前記検出された透かし信号を透かし単位で重畳し、前記重畳によって予測された透かし信号のうち、同期信号と基準同期信号との間の相関度を測定して、相関度が最も高い信号を基準にして同期化を行うことにより画像の２次元的な変形を復元する。

次に、メッセージコード抽出部３５０が、前記２次元的な移動が復元された透かし信号からメッセージコードを抽出する（Ｓ３５０）。この時、前記メッセージコード抽出部３５０はスペクトラム拡散技法を用いたＭ-ａｒｙ復調方式又はバイナリ復調方式及び類似度測定を通じて、前記復元された透かし信号からメッセージコードを抽出する。

次に、使用者隠蔽情報抽出部３６０は前記段階Ｓ３５０で、前記メッセージコード抽出部３５０がメッセージコードを成功的に抽出するかどうかを確認して（Ｓ３６０）、メッセージコードを成功的に抽出する場合は、前記抽出したメッセージコードから使用者隠蔽情報を抽出する（Ｓ３７０）。

一方、前記段階Ｓ３５０で、前記メッセージコード抽出部３５０がメッセージコードを成功的に抽出することができなかった場合は、幾何学的変換予測部３６０は画像の幾何学的変換の程度を予測する（Ｓ３８０）。

この時、前記幾何学的変換予測部３６０は透かし信号の周期的特性を用いて自己相関パターンを測定した後、自己相関度が高い座標値を抽出することで、画像の幾何学的変換の程度を予測することになる。

次に、幾何学的変換復元部３７０は前記幾何学的変換予測部３６０によって検出された座標値を用いて幾何学的変換に対する逆変換係数を生成した後、生成された逆変換係数を用いて元の画像を復元する（Ｓ３９０）。

この時、前記幾何学的変換復元部３７０は前記幾何学的変換予測部３６０が検出したピクセルの座標のうち、ピーク値が大きい４つの座標を対象で次の条件を満足するかどうかを判断して、下記の条件を満足すれば画像変形によって画像の商業的な質が劣化されたと仮定して画像復元をあきらめる。

i）４つの座標間の各直線距離が原画像から４つの座標間の各直線距離の１/２未満の場合

i i）４つの座標のうち３つの座標を連結して形成される内角が７５°〜１０５°を超過する場合

i i i）４つの座標のうち３つの座標を連結して形成される２つの直線の長さの割合が１：２を超過する場合

一方、前記幾何学的変換復元部３７０によって復元された画像は透かし検出強度予測（３２０）で使用者隠蔽情報抽出（Ｓ３７０）過程を再帰的に行うことになる。

以上、代表的な実施例を通じて本発明について詳細に説明したが、本発明が属する技術分野における通常の知識を有する者は、上述した実施例に対して本発明の範疇から脱しない限度内で多様な変形が可能であることを理解するはずである。

したがって、本発明の権利範囲は説明された実施例に限れて決めてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって決めければならない。

１００：構造的マルチパターン透かし生成装置 １１０：データ分割部
１２０：エンコーダー １３０：変調器
１４０：同期信号生成部 １５０：サブベースパターン生成部
１６０：単位透かし生成部 ２００：透かし埋め込み装置
２１０：ローデータ抽出部 ２２０：ＹＵＶ空間変換部
２３０：構造的マルチパターン透かし生成器 ２４０：透かし埋め込み器
２５０：データフォーマット変換部 ３００：透かし検出装置
３１０：ローデータ抽出部 ３２０：ＹＵＶ空間変換部
３３０：透かし検出器 ３４０：２次元移動復元部
３５０：メッセージコード抽出部 ３６０：幾何学的変換予測部
３７０：幾何学的変換復元部 ３８０：使用者隠蔽情報抽出部

Claims (33)

1. 入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、
   前記複数個に分割されたデータをメッセージエンコード（Message Encoding）するエンコーダーと、
   前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調器と、
   画像の２次元移動に対応するための同期化信号を生成する同期信号生成部と、
   前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部、及び、
   前記複数個のサブベースパターンを用いて１つの単位透かしを生成する単位透かし生成部とを含んでなる構造的マルチパターン透かし生成装置。
2. 前記エンコーダーは、
   誤り訂正コードを用いて前記複数個に分割されたデータをメッセージエンコードすることを特徴とする請求項１記載の構造的マルチパターン透かし生成装置。
3. 前記データ分割部は、
   前記入力される使用者隠蔽情報を４Ｎ（ここで、Ｎは自然数）個に分割して出力することを特徴とする請求項１記載の構造的マルチパターン透かし生成装置。
4. 前記データ分割部は、
   前記入力される使用者隠蔽情報を４つに分割して出力することを特徴とする請求項３記載の構造的マルチパターン透かし生成装置。
5. 前記単位透かし生成部は、
   前記４つのサブベースパターンをそれぞれ０°、９０°、１８０°、２７０°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項４記載の構造的マルチパターン透かし生成装置。
6. 前記単位透かし生成部は、
   前記４つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項４記載の構造的マルチパターン透かし生成装置。
7. データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、
   エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、
   変調器が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、
   同期信号生成部が、画像の２次元移動に対応するための同期化信号を生成する段階と、
   サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階、及び、
   単位透かし生成部が前記複数個のサブベースパターンを用いて１つの単位透かしを生成する段階とを含んでなる構造的マルチパターン透かし生成方法。
8. 前記データ分割部は、
   前記入力される使用者隠蔽情報を４Ｎ（ここで、Ｎは自然数）個に分割して出力することを特徴とする請求項７記載の構造的マルチパターン透かし生成方法。
9. 前記データ分割部は、
   前記使用者隠蔽情報を４つに分割して出力することを特徴とする請求項８記載の構造的マルチパターン透かし生成方法。
10. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が４つのサブベースパターンをそれぞれ０°、９０°、１８０°、２７０°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項９記載の構造的マルチパターン透かし生成方法。
11. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が４つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項９記載の構造的マルチパターン透かし生成方法。
12. 入力される原画像（Original Image）からローデータ（Raw Data）を抽出するローデータ抽出部と、
    前記抽出したローデータのカラー空間をＹＵＶ空間に変換し、前記ＹＵＶ カラー空間からＹ成分を抽出するＹＵＶ空間変換部と、
    入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する構造的マルチパターン透かし生成器、及び、 前記構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用して Ｙ成分に埋め込む透かし埋め込み器とを含んでなる構造的マルチパターン透かし埋め込み装置。
13. 前記構造的マルチパターン透かし生成器は、
    入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、
    前記複数個に分割されたデータをメッセージエンコードするエンコーダーと、
    前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調部と、
    画像の２次元移動に対応するための同期化信号を生成する同期信号生成部と、
    前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部、及び、
    前記複数個のサブベースパターンを用いて１つの単位透かしを生成する単位透かし生成部とを含んでなることを特徴とする請求項１２記載の構造的マルチパターン透かし埋め込み装置。
14. 前記データ分割部は、
    前記入力される使用者隠蔽情報を４つに分割して出力することを特徴とする請求項１３記載の構造的マルチパターン透かし埋め込み装置。
15. 前記単位透かし生成部は、
    ４つのサブベースパターンをそれぞれ０°、９０°、１８０°、２７０°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項１４記載の構造的マルチパターン透かし埋め込み装置。
16. 前記単位透かし生成部は、
    ４つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項１４記載のマルチパターン透かし埋め込み装置。
17. 前記透かし埋め込み器は、
    下記の数学式１を用いて前記構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むことを特徴とする請求項１２記載の構造的マルチパターン透かし埋め込み装置。
    

    

    ここで、 Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、αｒ：ローカル透かし埋め込み強度、Ｓ０、Ｓ１：固定係数値を示す。
18. データ抽出部が、入力される原画像からローデータを抽出する段階と、
    ＹＵＶ空間変換部が、前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出する段階と、
    構造的マルチパターン透かし生成器が、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで１つの単位透かしである構造的マルチパターン透かしを生成する段階、及び、
    透かし埋め込み器が前記生成された構造的マルチパターン透かしを前記抽出したＹ成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してＹ成分に埋め込む段階とを含んでなる構造的マルチペターン透かし埋め込み方法。
19. 前記構造的マルチパターン透かしを生成する段階は、
    データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、
    エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、
    変調部が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、
    同期信号生成部が、画像の２次元移動に対応するための同期化信号を生成する段階と、
    サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階、及び、
    単位透かし生成部が前記複数個のサブベースパターンを用いて１つの単位透かしを生成する段階とを含んでなることを特徴とする請求項１８記載の構造的マルチパターン透かし埋め込み方法。
20. 前記データ分割部は、
    前記使用者隠蔽情報を４つに分割して出力することを特徴とする請求項１９記載の構造的マルチパターン透かし埋め込み方法。
21. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が４つのサブベースパターンをそれぞれ０°、９０°、１８０°、２７０°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項２０記載の構造的マルチパターン透かし埋め込み方法。
22. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が４つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項２０記載の構造的マルチパターン透かし埋め込み方法。
23. 前記透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してＹ成分に埋め込む段階は、
    前記抽出したＹ成分を確率的モデル方法でモデリング（Modeling）する段階と、
    前記モデリングのＭＬ（Maximun Likelihood）又はＭＡＰ（Maximum A Posteriori）推定方法によってＭＷＭＳ（Maximum Watermark Strength）値を求める段階と、
    前記抽出したＹ成分の画像をｍ×ｍサイズに分割した後、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってローカル透かし埋め込み強度を求める段階、及び、
    前記ＭＷＭＳ及びローカル透かし埋め込み強度値を用いて前記構造的マルチパターン透かしを前記Ｙ成分に埋め込む段階とを含んでなることを特徴とする請求項１８記載の構造的マルチパターン透かし埋め込み方法。
24. 前記構造的マルチパターン透かしを前記Ｙ成分に埋め込む段階は、
    下記の数学式２を用いることを特徴とする請求項２３記載の構造的マルチパターン透かし埋め込み方法。
    

    

    ここで、 Ｉ′ｎ,ｍ：透かしが埋め込まれたコンテンツ、Ｉｎ,ｍ：オリジナルコンテンツ、ｗｎ,ｍ：透かし、αｒ：ローカル透かし埋め込み強度、Ｓ０、Ｓ１：固定係数値を示す。
25. 構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出するローデータ抽出部と、
    前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出するＹＵＶ空間変換部と、
    前記抽出したＹ成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Ｙ成分から構造的マルチパターン透かしを検出する透かし検出器と、
    前記画像の２次元的な移動に対する同期化を行って画像の２次元的な移動を復元する２次元移動復元部と、
    前記２次元的な移動が復元された透かし信号からメッセージコードを抽出するメッセージコード抽出部、及び、
    前記抽出したメッセージコードから使用者隠蔽情報を抽出する使用者隠蔽情報抽出部とを含んでなる構造的マルチパターン透かしの検出装置。
26. 前記画像の幾何学的変換の程度を予測する幾何学的変換予測部、及び、
    前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する幾何学的変換復元部を更に含んでなることを特徴とする請求項２５記載の構造的マルチパターン透かしの検出装置。
27. 前記幾何学的変換予測部は、
    前記検出された構造的マルチパターン透かしの自己相関パターン（Auto Correlation Pattern）を測定した後、自己相関度が周期的に高い座標値を抽出して画像の幾何学的変換の程度を予測することを特徴とする請求項２６記載の構造的マルチパターン透かしの検出装置。
28. 前記幾何学的変換復元部は、
    前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求めた後、前記逆変換係数を用いて画像の幾何学的変換を復元することを特徴とする請求項２７記載の構造的マルチパターン透かしの検出装置。
29. 前記幾何学的変換復元部は、
    前記自己相関度が周期的に高い座標値のうち、ピーク値が最大である４つの座標グループを選定した後、前記４つの座標グループが下記の条件のいずれか１つに該当すれば、画像の幾何学的変換に対する復元をあきらめることを特徴とする請求項２８記載の構造的マルチパターン透かしの検出装置。
    （１）４つの座標間の各直線距離が原画像から４つの座標間の各直線距離の１/２未満の場合
    （２）４つの座標のうち３つの座標を連結して形成される内角が７５°〜１０５°を超過する場合
    （３）４つの座標のうち３つの座標を連結して形成される２つの直線の長さ割合が１：２を超過する場合
30. ローデータ抽出部が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する段階と、
    ＹＵＶ空間変換部が、前記抽出したローデータのカラー空間をＹＵＶ空間に変換した後、前記ＹＵＶカラー空間からＹ成分を抽出する段階と、
    透かし検出器が、前記抽出したＹ成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Ｙ成分から構造的マルチパターン透かしを検出する段階と、
    2次元移動復元部が、前記画像の２次元的な移動に対する同期化を行って画像の２次元的な移動を復元する段階と、
    メッセージコード抽出部が、前記２次元的な移動が復元された透かし信号からメッセージコードを抽出する段階、及び、
    使用者隠蔽情報抽出部が、前記抽出したメッセージコードから使用者隠蔽情報を抽出する段階とを含んでなる構造的マルチパターン透かしの検出方法。
31. 前記メッセージコードを抽出する段階において、前記メッセージコード抽出部がメッセージコードを抽出できない場合は、
    幾何学的変換予測部が、前記画像の幾何学的変換の程度を予測する段階、及び、
    幾何学的変換復元部が、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する段階を更に含んでなることを特徴とする請求項３０記載の構造的マルチパターン透かしの検出方法。
32. 前記画像の幾何学的変換の程度を予測する段階は、
    前記検出された構造的マルチパターン透かしの自己相関パターンを測定する段階、及び、
    前記測定した自己相関度が周期的に高い座標値を抽出する段階を含んでなることを特徴とする請求項３１記載の構造的マルチパターン透かしの検出方法。
33. 前記画像の幾何学的変換を復元する段階は、
    前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求める段階、及び、
    前記逆変換係数を用いて画像の幾何学的変換を復元する段階を含んでなることを特徴とする請求項３２記載の構造的マルチパターン透かしの検出方法。
    

Images