JP2011529288A - 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法 - Google Patents

構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法 Download PDF

Info

Publication number
JP2011529288A
JP2011529288A JP2011519976A JP2011519976A JP2011529288A JP 2011529288 A JP2011529288 A JP 2011529288A JP 2011519976 A JP2011519976 A JP 2011519976A JP 2011519976 A JP2011519976 A JP 2011519976A JP 2011529288 A JP2011529288 A JP 2011529288A
Authority
JP
Japan
Prior art keywords
watermark
unit
pattern
image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011519976A
Other languages
English (en)
Other versions
JP5539348B2 (ja
Inventor
キ−ヒョク ペ
ヒョン−テ キム
イン−ジェ チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CK&B Co Ltd
Original Assignee
CK&B Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CK&B Co Ltd filed Critical CK&B Co Ltd
Publication of JP2011529288A publication Critical patent/JP2011529288A/ja
Application granted granted Critical
Publication of JP5539348B2 publication Critical patent/JP5539348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064Geometric transfor invariant watermarking, e.g. affine transform invariant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法に関するものであって、入力される使用者隠蔽情報を複数個に分割し、複数個に分割されたデータをメッセージエンコードして、メッセージエンコードされた複数個のデータを映像信号形態に変調し、画像の2次元移動に対応するための同期化信号を生成し、映像信号形態に変調された複数個のメッセージ信号及び同期化信号を用いて複数個のサブベースパターンを生成し、複数個のサブベースパターンを用いて1つの単位透かしである構造的マルチパターン透かしを生成することにより透かしの情報隠蔽量を増加させ、透かしの構造的特徴によって画像の2次元的な移動だけでなく、一般的な幾何学的変換にも頑健に対応することができる。

Description

本発明はデジタル画像処理に関し、より詳しくは、構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、透かし検出装置及び方法に関する。
電子透かし(Digital watermarking)とは、テキスト、動画、静止画像、オーディオなどのマルチメディアコンテンツに視覚的又は聴覚的に認識することができない信号形態で所定の情報を埋め込んで隠蔽し、隠蔽した情報を抽出して著作権、画像に対する認証及び動画のモニタリングのための付加情報として使用する技術のことを言う。
このような電子透かし技術は次のような互いに相反した特徴(Trade-Off)を有する。
1.不可視性(Invisibility):人間の目では原本画像と透かしが埋め込まれた画像とを区別することができないこと。
2.頑健性(Robustness):多様な画像処理、ノイズ(Noise)、画像圧縮、 幾何学的変換(Geometrical Transform)、デジタル-アナログ変換などのようなマルチメディアコンテンツの変形があっても透かしを抽出することができること。
3.情報隠蔽量(Payload):同一のマルチメディアコンテンツに対してできるだけ多くの情報を埋め込むことができること。
ここで、透かしの頑健性を高めるためには不可視性を低めるか、情報隠蔽量を少なくしなければならない。一方、透かしの情報隠蔽量を高めるためには頑健性を低めるか、不可視性を低めなければならない。
したがって、透かしの情報隠蔽量を高めながら、同時に透かしの頑健性を高めることができる電子透かし技術が求められる。
一方、透かしの頑健性側面で画像の幾何学的変換に対応するための多様な方法が提示されたが、ほとんどの場合、回転(Rotation)、画像サイズ変換(Scaling)及び画像の2次元的な移動(Cropping or Shift)などのような制限的な変換に対してのみ対応することができた。
しかし、実在的には、このような制限的な変換だけでなく、一般的な幾何学的変換にすべて対応することができる方法が求められる。
本発明の目的は、透かしの情報隠蔽量を高めながら、同時に透かしの頑健性を高めることができる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。
本発明の他の目的は、画像の2次元的な移動だけでなく、一般的な幾何学的変換にも対応することができる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。
本発明のまた他の目的は、透かしの検出速度を向上させる構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法を提供することにある。
前記問題点を解決するための本発明の構造的マルチパターン透かし生成装置の望ましい実施例は、入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、前記複数個に分割されたデータをメッセージエンコード(Message Encoding)するエンコーダーと、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調器と、画像の2次元移動に対応するための同期化信号を生成する同期信号生成部と、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部と、前記複数個のサブベースパターンを用いて1つの単位透かしを生成する単位透かし生成部とを含んでなる。
ここで、前記エンコーダーは、誤り訂正コードを用いて前記複数個に分割されたデータをメッセージエンコードすることを特徴とする。
また、前記データ分割部は、前記入力される使用者隠蔽情報を4N(ここで、Nは自然数)個に分割するが、望ましくは4つに分割して出力することを特徴とし、この時、前記単位透かし生成部は、4つのサブベースパターンをそれぞれ0°、90°、180°、270°回転された形態で該当の領域に埋め込んで単位透かしを生成することができ、また前記4つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することもできる。
一方、本発明の構造的マルチパターン透かし生成方法の望ましい実施例は、データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、変調器が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、同期信号生成部が、画像の2次元移動に対応するための同期化信号を生成する段階と、サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階と、単位透かし生成部が、前記複数個のサブベースパターンを用いて1つの単位透かしを生成する段階とを含んでなる。
一方、本発明の構造的マルチパターン透かし埋め込み装置の望ましい実施例は、入力される原画像(Original Image)からローデータ(Raw Data)を抽出するローデータ抽出部と、前記抽出したローデータのカラー空間をYUV空間に変換し、前記YUVカラー空間からY成分を抽出するYUV空間変換部と、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する構造的マルチパターン透かし生成器と、前記構造的マルチパターン透かしを前記抽出したY成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してY成分に埋め込む透かし埋め込み器とを含んでなる。
また、前記構造的マルチパターン透かし生成器は、入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、前記複数個に分割されたデータをメッセージエンコードするエンコーダーと、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調部と、画像の2次元移動に対応するための同期化信号を生成する同期信号生成部と、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部と、前記複数個のサブベースパターンを用いて1つの単位透かしを生成する単位透かし生成部とを含んでなることを特徴とする。
また、前記透かし埋め込み器は、下記の数学式1を用いて前記構造的マルチパターン透かしを前記抽出したY成分に埋め込むことを特徴とする。
Figure 2011529288
ここで、 I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、αr:ローカル透かし埋め込み強度、S0、S1:固定係数値を示す。
一方、本発明の構造的マルチパターン透かし埋め込み方法の望ましい実施例は、データ抽出部が、入力される原画像からローデータを抽出する段階と、YUV空間変換部が前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出する段階と、構造的マルチパターン透かし生成器が、入力される使用者隠蔽情報を複数個に分割して福数個のサブベースパターンを生成し、前記複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する段階と、透かし埋め込み器が、前記生成された構造的マルチパターン透かしを前記抽出したY成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してY成分に埋め込む段階とを含んでなる。
また、前記構造的マルチパターン透かしを生成する段階は、データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、変調部が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、同期信号生成部が画像の2次元移動に対応するための同期化信号を生成する段階と、サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階と、単位透かし生成部が、前記複数個のサブベースパターンを用いて1つの単位透かしを生成する段階とを含んでなることを特徴とする。また、前記透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してY成分に埋め込む段階は、前記抽出したY成分を確率的モデル方法でモデリング(Modeling)する段階と、前記モデリングのML(Maximun Likelihood)又はMAP(Maximum A Posteriori)推定方法によってMWMS(Maximum Watermark Strength)値を求める段階と、前記抽出したY成分の画像をm×mサイズに分割した後、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってローカル透かし埋め込み強度を求める段階と、前記MWMS及びローカル透かし埋め込み強度値を用いて前記構造的マルチパターン透かしを前記Y成分に埋め込む段階とを含んでなることを特徴とする。また、前記構造的マルチパターン透かしを前記Y成分に埋め込む段階は、 下記の数学式2を用いることを特徴とする。
Figure 2011529288
ここで、 I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、αr:ローカル透かし埋め込み強度、S0、S1:固定係数値を示す。
一方、構造的マルチパターン透かし検出装置の望ましい実施例は、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出するローデータ抽出部と、前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出するYUV空間変換部と、前記抽出したY成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Y成分から構造的マルチパターン透かしを検出する透かし検出器と、前記画像の2次元的な移動に対する同期化を行って画像の2次元的な移動を復元する2次元移動復元部と、前記2次元的な移動が復元された透かし信号からメッセージコードを抽出するメッセージコード抽出部と、前記抽出したメッセージコードから使用者隠蔽情報を抽出する使用者隠蔽情報抽出部とを含んでなる。
また、前記画像の幾何学的変換の程度を予測する幾何学的変換予測部と、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する幾何学的変換復元部とをさらに含んでなることを特徴とする。
ここで、前記幾何学的変換予測部は、前記検出された構造的マルチパターン透かしの自己相関パターン(Auto Correlation Pattern)を測定した後、自己相関度が周期的に高い座標値を抽出して画像の幾何学的変換の程度を予測することを特徴とする。
また、前記幾何学的変換復元部は、前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求めた後、前記逆変換係数を用いて画像の幾何学的変換を復元することを特徴とする。
また、前記幾何学的変換復元部は、前記自己相関度が周期的に高い座標値のうち、ピーク値が最大である4つの座標グループを選定した後、前記4つの座標グループが下記の条件のいずれか1つに該当すれば、画像の幾何学的変換に対する復元をあきらめることを特徴とする。
(1)4つの座標間の各直線距離が原画像から4つの座標間の各直線距離の1/2未満の場合
(2)4つの座標のうち3つの座標を連結して形成される内角が75°〜105°を超過する場合
(3)4つの座標のうち3つの座標を連結して形成される2つの直線の長さ割合が1:2を超過する場合
一方、本発明の構造的マルチパターン透かし検出方法の望ましい実施例は、ローデータ抽出部が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する段階と、YUV空間変換部が、前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出する段階と、透かし検出器が、前記抽出したY成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Y成分から構造的マルチパターン透かしを検出する段階と、2次元移動復元部が、前記画像の2次元的な移動に対する同期化を行って画像の2次元的な移動を復元する段階と、メッセージコード抽出部が、前記2次元的な移動が復元された透かし信号からメッセージコードを抽出する段階と、使用者隠蔽情報抽出部が前記抽出したメッセージコードから使用者隠蔽情報を抽出する段階とを含んでなる。
また、前記メッセージコードを抽出する段階で、前記メッセージコード抽出部がメッセージコードを抽出できない場合は、幾何学的変換予測部が前記画像の幾何学的変換の程度を予測する段階と、幾何学的変換復元部が、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する段階とをさらに含んでなることを特徴とする。
また、前記画像の幾何学的変換の程度を予測する段階は、前記検出された構造的マルチパターン透かしの自己相関パターンを測定する段階と、前記測定した自己相関度が周期的に高い座標値を抽出する段階とを含んでなることを特徴とする。
また、前記画像の幾何学的変換を復元する段階は、前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求める段階と、前記逆変換係数を用いて画像の幾何学的変換を復元する段階を含んでなることを特徴とする。
本発明の実施例によれば、使用者隠蔽情報を複数個に分割して構造的マルチパターン透かしを形成することにより、透かしの情報隠蔽量を増加させて多様な情報を埋め込むことができる。
そして、構造的マルチパターン透かしの構造的特徴によって、画像の2次元的な移動だけでなく、一般的な幾何学的変換にも頑健に対応することができる。
また、構造的マルチパターン透かしの構造的特徴によって、多様な画像の変形又は編集にも透かしを速い速度で検出することができる。
本発明の構造的マルチパターン透かし生成装置の構成を示すブロック図。 4つのサブベースパターンを用いて1つの単位透かしを生成する第1の実施例を示す図。 4つのサブベースパターンを用いて1つの単位透かしを生成する第2の実施例を示す図。 本発明の構造的マルチパターン透かし生成方法を示す順序図。 本発明の構造的マルチパターン透かしを用いた透かし埋め込み装置の構成を示すブロック図。 本発明の構造的マルチパターン透かしを用いた透かし埋め込み方法を示す順序図。 本発明の構造的マルチパターン透かしが適用された透かし検出装置の構成を示すブロック図。 透かし信号の自己相関パターンを示すグラフ。 本発明の構造的マルチパターン透かしが適用された透かしの検出方法を示す順序図。
以下、図1乃至図9を参照して、本発明の構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに、透かし検出装置及び方法の具体的な実施形態を説明する。しかし、これは例示に過ぎず、本発明はこれに限るものではない。
本発明を説明するにおいて、本発明と係わる公知技術に対する具体的な説明が本発明の要旨を不必要に濁すと判断される場合はその詳細な説明を省略することにする。尚、後述する用語は本発明における機能を考慮して定義された用語であって、これは使用者、運用者の意図又は慣例などによって変わることができる。よって、その定義は本明細書の全般の内容に基づいて下さなければならない。
図1は、本発明の構造的マルチパターン透かし生成装置の構成を示すブロック図である。
図1を参照すると、本発明の構造的マルチパターン透かし生成装置100はデータ分割部(Data Partitioner)110と、エンコーダー(Encoder)120と、変調器(Modulator)130と、同期信号生成部140と、サブベースパターン生成部150と、単位透かし生成部160とを含んでなる。
前記データ分割部110は、入力される使用者隠蔽情報を一定の個数に分割して出力する。ここで、使用者隠蔽情報としてはコンテンツ所有者の情報(例えば、氏名、電子メール住所、連絡先など)、固有番号、製作日付などのコンテンツの著作権情報が含まれる。
即ち、前記データ分割部110は、入力される使用者隠蔽情報を4N(ここで、Nは自然数)個に分割して出力するが、望ましくは使用者隠蔽情報を4つに分割して出力する。
例えば、使用者隠蔽情報が28ビットの大きさのデータである時、データ分分割部110は前記使用者隠蔽情報を7ビットの大きさのデータ4つに分割して出力する。この時、前記データ分割部110は分割されたデータを同時に出力することができ、時間間隔を置いて順次に出力することもできる。
前記エンコーダー120は、前記データ分割部110で分割されたデータを誤り訂正コードを用いてメッセージエンコードする。ここで、前記誤り訂正コードとしてはRS(Reed-Solomon)コード又はLDPC(Low Density Parity Check)コードなどを使用することができる。
前記エンコーダー120で誤り訂正コードを用いてメッセージエンコードする理由は、前記分割されたデータが歪曲又は変形されても原データを復元できるようにするためである。
一方、前記データ分割部110が分割されたデータを同時に出力する場合、前記エンコーダー120は複数個のエンコーダーを並列で構成して、前記分割されたデータを同時にメッセージエンコードすることができる。
一方、前記データ分割部110が分割されたデータを順次に出力する場合、 前記エンコーダー120は1つのエンコーダーで構成して、入力されるデータを順次にメッセージエンコードすることができる。
前記変調器130は、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。この時、前記変調器130はスペクトラム拡散(Spread Spectrum)方式を用いたM-ary変調方式又はバイナリ変調方式を使って前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。
一般的に使用者隠蔽情報として文字列(例えば、「www.cknb.co.kr」)や、ビット列(例えば、「10101100」) など、多様なフォーマットを有する情報が透かしで埋め込まれるが、この場合、透かしの検出時には透かし信号に対する全般的なビット単位の誤り確率よりは、埋め込まれた全体のコードワード(Code Word)単位の誤り確率がさらに意味もあり、重要である。
例えば、www.cknb.co.krを用いて総1024ビットの大きさの透かし信号が生成された場合、その中で100ビットが誤って検出されたとしたら、一番前部分で100ビットが連続的に誤って検出されると「ww」という文字が文字化けになって透かしが検出されないが、100ビットがランダムに誤って検出されると、1つのコードワードが完全に壊れなくて透かしを検出することができるようになる。このように透かしの検出有無は透かし信号に対する全般的なビットの誤りで判断されるのではなく、コードワード単位の誤りで判断される。
したがって、本発明では透かし検出時の頑健性を高めるために、スペトクラム拡散方式を用いたM-ary変調方式又はバイナリ変調方式を使うことにより、シンボル(Symbol)単位に誤り確率を低める。
一方、前記エンコーダー120を複数個のエンコーダーが並列で連結されたものに構成にした場合、前記変調器130も複数個の変調器が並列で連結されたものに構成することができる。この時、前記複数個の変調器は前記メッセージエンコードされたデータを同時に映像信号形態に変調する。
一方、前記エンコーダー120を1つのエンコーダーで構成した場合、前記変調器130も1つの変調器で構成することができ、この時、前記変調器130はメッセージエンコードされたデータを順次に映像信号形態に変調する。
前記同期信号生成部140は画像の2次元的な移動(例えば、Cropping、Shiftなど)に対応するために同期化信号を生成する。
この時、前記同期信号生成部140は同期化信号キーを用いて同期化信号を生成するが、前記同期化信号キーは同期化信号を生成するにおいて、シード(Seed) 値、即ち、初期値の役目をする。
前記サブベースパターン生成部150は前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する。
例えば、前記データ分割部110で使用者隠蔽情報を4つのデータに分割した場合、前記変調器130では4つのメッセージ信号を出力することになるが、前記サブベースパターン生成部150は前記4つのメッセージ信号と前記同期化信号を用いて4つのサブベースパターンを生成する。
即ち、前記サブベースパターン生成部150は互いに異なる情報が含まれた4つのメッセージ信号それぞれを1つの同期化信号と合成して、単位透かしを形成することになる4つのサブベースパターンを生成する。ここで、前記各サブベースパターンはN×Nの大きさを有する。
一方、前記変調器130を複数個の変調器が並列で連結されたものに構成した場合、前記サブベースパターン生成部150も複数個のサブベースパターン生成部を並列で連結して構成することができる。この時、前記複数個のサブベースパターン生成部はそれぞれメッセージ信号及び同期化信号を用いて同時にサブベースパターンを生成する。
一方、前記変調器130を1つの変調器で構成した場合、前記サブベースパターン生成部150も1つのサブベースパターン生成部で構成することができ、この時、前記サブベースパターン生成部150は複数個のメッセージ信号及び同期化信号を用いて順次に複数個のサブベースパターンを生成する。
前記単位透かし生成部160は前記複数個のサブベースパターンを用いて1つの単位透かしを生成する。
例えば、前記データ分割部110で使用者隠蔽情報を4つのデータに分割した場合、前記サブベースパターン生成部150は4つのサブベースパターンを生成することになるが、前記単位透かし生成部160は4つのサブベースパターンを用いて1つの単位透かしを生成する。ここで、前記各サブベースパターンがN×Nの大きさを有すると、前記単位透かしは2N×2Nの大きさを有することになる。
この時、前記単位透かし生成部160が前記4つのサブベースパターンを用いて1つの単位透かしを生成する方法には次の二つの方法がある。
図2は4つのサブベースパターンを用いて1つの単位透かしを生成する第1の実施例を示す図である。
図2を参照すると、4つのサブベースパターン(A1、A2、A3、A4)が1つの単位透かしを形成するが、この時、第1のサブベースパターン(A1)乃至第4のサブベースパターン(A4)はそれぞれ0°、90°、180°、270°回転された形態で埋め込まれる。
図3は4つのサブベースパターンを用いて1つの単位透かしを生成する第2の実施例を示す図である。
図3を参照すると、4つのサブベースパターン(A1、A2、A3、A4)が1つの単位透かしを形成するが、この時、第1のサブベースパターン(A1)乃至第4のサブベースパターン(A4)はそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込まれる。
このように、第1のサブベースパターン(A1)乃至第4のサブベースパターン(A4)をそれぞれ0°、90°、180°、270°回転された形態で埋め込むか、元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込んで単位透かしを形成する理由は、頑健性を維持しながら透かし検出時の検出速度を向上させるためである。
本発明の実施例によれば、使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを形成し、複数個のサブベースパターンで1つの単位透かしを形成することになるが、この時に形成される単位透かしを「構造的マルチパターン透かし」と定義する。
本発明の「構造的マルチパターン透かし」によれば、既存方式による同じ大きさの単位透かしに比べて使用者隠蔽情報量を増加させることができる。
例えば、既存方式による2N×2Nの大きさの単位透かしに比べて、本発明によって形成された2N×2Nの大きさの「構造的マルチパターン透かし」はN×Nの大きさの4つのサブベースパターンを用いて使用者隠蔽情報量を既存方式に比べて最大4倍増加させることができる。
また、本発明の「構造的マルチパターン透かし」によれば、4つのサブベースパターンがそれぞれ0°、90°、180°、270°回転された形態で埋め込まれるか、元の位置、左右対称、上下対称、上下左右対称になった形態で埋め込まれる単位透かしを形成するから、単位透かしの構造的特性上、マルチメディアコンテンツに対して多様な編集及び幾何学的変換が発生した場合にも頑健に対応することができ、また透かしの検出時、検出速度を高速化することができる。
図4は本発明の構造的マルチパターン透かし生成方法を示す順序図である。
図4を参照すると、まずデータ分割部110が、入力される使用者隠蔽情報を一定の個数に分割して出力する(S100)。
ここで、前記データ分割部110は入力される使用者隠蔽情報をN×N(ここで、Nは定数)の個数に分割して出力し、望ましくは使用者隠蔽情報を4つに分割して出力する。
次に、エンコーダー120が、前記データ分割部110で分割されたデータを誤り修正コードを用いてメッセージエンコードする(S110)。
ここで、前記誤り修正コードとしてはRSコード又はLDPCコードなどを使用することができる。
次に、変調器130が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する(S120)。
この時、前記変調器130はスペクトラム拡散方式を用いた M-ary変調方式又はバイナリ変調方式を使って前記メッセージエンコードされた複数個のデータを映像信号形態に変調する。
次に、同期信号生成部140が、画像の2次元的な移動(例えば、Cropping、Shiftなど)に対応するための同期化信号を生成する(S130)。
この時、前記同期信号生成部140はシードの役目をする同期化信号キーを用いて同期化信号を生成する。
次に、サブベースパターン生成部150が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する(S140)。
即ち、前記サブベースパターン生成部150は互いに異なる使用者隠蔽情報が含まれた複数個のメッセージ信号それぞれを1つの同期化信号と合成して、単位透かしを形成することになる複数個のサブベースパターンを生成する。
次に、単位透かし生成部160が、前記複数個のサブベースパターンを用いて1つの単位透かしである「構造的マルチパターン透かし」を生成する(S150)。
この時、複数個のサブベースパターンはそれぞれ0°、90°、180°、270°などの回転された形態で埋め込まれるか、元の位置、左右対称、上下対称、上下左右対称などの形態で埋め込まれて「構造的マルチパターン透かし」を形成する。
図5は本発明の構造的マルチパターン透かしを用いた透かし埋め込み装置の構成を示すブロック図である。
図5を参照すると、本発明の透かし埋め込み装置200はローデータ抽出部210と、YUV空間変換部220と、構造的マルチパターン透かし生成器 230と、透かし埋め込み器240と、データフォーマット変換部250とを含んでなる。
前記ローデータ抽出部210は入力される原画像からローデータを抽出する。
前記原画像からローデータを抽出する理由は、一般的にマルチメディアコンテンツは特定フォーマットでエンコードされているので、特定フォーマットに依存的ではない非圧縮領域で透かしを埋め込むためである。
前記YUV空間変換部220は前記抽出したローデータのカラー空間をYUVカラー空間に変換し、YUVカラー空間からY成分(Luminance)を抽出する。
マルチメディアコンテンツは通常RGB、YIQ、YUV、YCrCb、HSVなど多様なカラー空間に表現される。ここで輝度(Luminance)成分はすべての画像が共通で有している成分であって、これを利用するためにローデータのカラー空間をYUVカラー空間に変換し、変換したYUVカラー空間からY成分を抽出する。
また、人間の目は、色差変化に対してよりは輝度変化により少なく敏感であるため、透かしとして輝度成分を利用するのが望ましい。輝度成分を利用することのまた他の長所は色差成分より画像の変換に不変であるということである。
前記構造的マルチパターン透かし生成器230は入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する。これに対する詳しい説明は上述のとおりである。
前記透かし埋め込み器240は前記生成された構造的マルチパターン透かしを原画像に埋め込むための適応的透かし埋め込み強度を決めた後、前記抽出したY成分に前記適応的透かし挿入強度を適用して構造的マルチパターン透かしを埋め込む。
この時、前記透かし埋め込み器240は画像ピクセル空間(spatial Domain)で透かしを埋め込むために、原画像のY成分を確率的モデル方法でモデリングした後、ML又はMAP推定方法によって最適のMWMS値を求める。
前記MWMSは画像の複雑度によって0〜1の間の値に正規化されるが、MWMSが0に近い値を有するほど画像は複雑な領域でノイズが見え難く、MWMSが1に近い値を有するほど画像は平坦な領域で少しのノイズにも画像の差を感じやすい。
数学式1はMWMSを用いた透かし埋め込み式である。
Figure 2011529288
ここで、I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、α:グローバル透かし埋め込み強度を示す。この時、透かし埋め込み強度は透かしの頑健性及び不可視性を調節する核心要素になる。
数学式1を使用すると、原画像に透かしが適応的に埋め込まれるが、透かし埋め込み強度値であるα値が固定定数であるから、複雑な領域が多い画像と平坦領域が多い画像との場合を比べると、逆に平坦領域が多い画像の透かし埋め込み強度が相対的に高い逆転現象が生じる。
即ち、複雑な領域の多い画像と平坦な領域の多い画像におけるMWMSを比べると、正規化される前のMWMSは複雑な領域の多い画像が平坦な領域の多い画像より小さいが、正規化されたMWMSは平坦な領域の多い画像が複雑な領域の多い画像より小さくなる。
この場合、実際の透かし埋め込み段階で、複雑な領域の多い画像の透かし埋め込み強度が平坦な領域の多い画像の透かし埋め込み強度より小くなる逆転現象が生じて、複雑な領域の多い画像においては画質は良いが頑健性が落ち、平坦な領域の多い画像においては頑健性は良いが画質が落ちる現象が生じることになる。
したがって、透かし埋め込み強度値であるα値を各画像の全体的な複雑度によって適応的に調節しなければならない必要がある。これのために、本発明では、数学式2に示すように領域別に適応的なα値を計算する。
Figure 2011529288
ここで、 I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、αr:ローカル透かし埋め込み強度、S0、S1:固定係数値を示す。
即ち、本発明では m×mサイズに画像を分割し、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってm×m領域に合うαr値を計算する。
一方、前記透かし埋め込み器240は単位透かしである構造的マルチパターン透かしをY成分に埋め込む時、全体画像サイズにタイリング(Tiling)して埋め込む。
前記データフォーマット変換部250は構造的マルチパターン透かしが埋め込まれたY成分を原画像のローデータに適用した後、元の入力画像フォーマットに変換する。
この時、前記データフォーマット変換部250は原画像のデータフォーマットと同じく変換するか、使用者が意図する他の形式のデータフォーマットに変換することができる。
図6は本発明の構造的マルチパターン透かしを用いた透かし埋め込み方法を示す順序図である。
図6を参照すると、まず、ローデータ抽出部210が、入力される原画像からローデータを抽出する(S200)。
次に、YUV空間変換部220が、前記抽出したローデータのカラー空間を YUVカラー空間に変換し、YUVカラー空間からY成分を抽出する(S210)。
次に、構造的マルチパターン透かし生成器230が、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する(S220)。
次に、透かし埋め込み器240が、前記生成された構造的マルチパターン透かしを原画像に埋め込むための適応的透かし埋め込み強度を決定する(S230)。
この時、前記透かし埋め込み器240はm×mサイズに画像を分割し、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってm×m領域に合う適応的な透かし埋め込み強度値を計算する。
次に、前記透かし埋め込み器240は前記適応的透かし埋め込み強度を用いて前記構造的マルチパターン透かしを前記抽出したY成分に埋め込む(S240)。
即ち、前記透かし埋め込み器240は数学式2によって原画像のY成分に構造的マルチパターン透かしを埋め込む。この時、前記透かし埋め込み器240は単位透かしである構造的マルチパターン透かしを全体画像サイズにタイリングしてY成分に埋め込む。
次に、データフォーマット変換部250が、前記構造的マルチパターン透かしが埋め込まれたY成分を原画像のローデータに適用した後(S250)、元の入力画像フォーマットに変換する(S260)。
図7は本発明の構造的マルチパターン透かしが適用された透かし検出装置の構成を示すブロック図である。
図7を参照すると、本発明の透かし検出装置300はローデータ抽出部310と、YUV空間変換部320と、透かし検出器330と、2次元移動復元部340と、メッセージコード抽出部350と、幾何学的変換予測部360と、幾何学的変換復元部370と、使用者隠蔽情報抽出部380とを含んでなる。
前記ローデータ抽出部310は構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する。これは、特定フォーマットに依存的ではない非圧縮領域から透かしを検出するためである。
前記YUV空間変換部320は前記抽出したローデータのカラー空間をYUVカラー空間に変換し、YUVカラー空間からY成分を抽出する。
前記透かし検出器330は前記抽出したY成分から構造的マルチパターン透かしを検出するための透かしの検出強度を予測し、前記透かしの検出強度を適用して構造的マルチパターン透かしを検出する。
前記透かし検出器330は透かしの検出強度を予測する時、変形されたウィナーフィルタ(Wiener Filter)を使用する。前記ウィナーフィルタで使われるフィルター係数値はそれぞれのピクセルに対して適応的に変形されて多様な画像変形によって歪曲された透かし信号の強度を精密に予測することができる。
即ち、本発明では数学式3に示すように、変形されたウィナーフィルタ式を使用して透かしの検出強度を予測する。
Figure 2011529288
ここで、h(n1,n2)は変形されたウィナーフィルタを示し、σ2fは原画像の局所分散を示し、σ2 vは透かし信号の局所分散を示し、Mはフィルタの大きさを示す。
この時、前記数学式2の透かし埋め込み強度の算式を用いて透かし信号の局所分散を予測し、原画像の(n1,n2)座標に該当する局所分散値を計算して、数学式4のようなフィルタを構成すれば、透かし埋め込み器で埋め込んだ透かし信号を予測することができる。
前記2次元移動復元部340は画像の2次元的な移動に対する同期化を行うことにより画像の2次元的な移動を復元する。
前記2次元移動復元部340は2次元的な移動に対する同期化を行うために前処理過程として透かし信号のフォルディング(Folding)技法を使用するが、前記検出された透かし信号を透かし単位で重畳し、数学式4によって予測された透かしの同期信号と基準同期信号との間の相関度(Cross Correlation)を測定して画像の2次元的な移動を復元する。
透かし埋め込み過程で単位透かしである構造的マルチパターン透かしを全体画像サイズにタイリングして埋め込んだので、透かし信号のフォルディング技法を使用する場合、画像の2次元的な移動がないと、予測された透かし信号で透かし信号ではない信号(即ち、誤り信号)は安定化(Saturation)され、予測された透かし信号の重畳は信号強度を極大化することができる。
即ち、透かし信号ではない誤り信号は一般的なガウシアンランダム分布を有するので、各位置当たりの誤り信号の重畳は結局誤り信号の平均値に安定化されて除去されるのに対し、予測された透かし信号は同じ位置で同じ信号が重畳されるので信号強度がますます強くなる。
前記2次元移動復元部340は、前記フォルディング技法によって予測された透かし信号のうち、予測された同期信号と基準同期信号との間の相関度を測定した後、相関度が最も高い位置を基準にしてメッセージコードを抽出する。
ここで、前記予測された同期信号と基準同期信号との間の相関度を測定する場合、空間領域(Spatial Domain)で畳み込み(Convolution)演算を行わなければならないので計算量が多くなる。
したがって、本発明ではフーリエ変換(Fourier Transform)を用いて周波数領域(Frequency Domain)で掛け算の演算に切り替えることで計算量を減らす。
前記メッセージコード抽出部350は復元された透かし信号からメッセージコードを抽出する。この時、前記メッセージコード抽出部350はスペクトラム拡散技法を用いたM-ary復調方式又はバイナリ復調方式及び類似度測定を通じて前記復元された透かし信号からメッセージコードを抽出する。
M-ary復調方式の場合は、相関デコーダー(Correlation Decoder)を用いてM個のテストセット信号のうち、比較信号と最大の類似度を有する信号のシンボルを選択するML(Maximum Likelihood)方式である。
この場合、相関度値(Correlation Value)は直接的なLikelihood値を示してはいないが、実際のLikelihood値と比例関係にあるので、最大の値を有するものは互いに等価になる。
一方、画像に意図的な幾何学的変換が加えられた場合、前記メッセージコード抽出部350からメッセージコードを抽出することができないことがある。この時は幾何学的変換の程度を予測し、予測された幾何学的変換を復元する作業を行わなければならない。
したがって、本発明では幾何学的変換予測部360を通じて画像の幾何学的変換の程度を予測し、幾何学的変換復元部370を通じて予測された幾何学的変換を復元する。
前記幾何学的変換予測部360は、2次元空間で自己相関度値が透かし埋め込み時の基本単位である構造的マルチパターン透かしのサイズ(例えば、2N×2N)を周期で非常に高いという点と、前記構造的マルチパターン透かしが幾何学的変換によって同じく変更されて元のサイズ及び位置などを分析することができるという点を用いて幾何学的な変換を予測する。
この時、前記幾何学的変換予測部360は透かし信号の自己相関度を計算するために、空間領域での畳み込み演算を周波数領域での掛け算の演算に切り替えることで計算量を減らす。
具体的に、前記幾何学的変換予測部360は透かし信号の周期的特性を用いて自己相関パターン(Auto Correlation Pattern)を測定した後、自己相関度が高い座標値を抽出する。
図8は透かし信号の自己相関パターンを示すグラフである。図8を参照すると、一定の周期で自己相関度値が非常に高いことが分かる。この時、前記幾何学的変換予測部360は自己相関度値が非常に高いピークの位置を検出する。
前記幾何学的変換復元部370は前記予測された幾何学的変換に対する逆変換を行って元の画像に復元する。
即ち、前記幾何学的変換復元部370は前記検出されたピクセル位置を用いて幾何学的変換に対する逆変換係数(Reverse Affine Parameter)を生成した後、生成された逆変換係数を用いて元の画像を復元する。
数学式4は一般的なアフィン変換(Affine Transform)を示す式である。
Figure 2011529288
ここで、(x、y)は原画像の位置を示し、(x’、y’)は変形された画像の位置を示し、a、b、c、dはローテーション角度を示すアフィンパラメーター(Affine Parameter)であり、e、fは線形移動距離を示すアフィンパラメーターである。一方、数学式4でe、fは類似度の測定を通じて分かるパラメーターであるので、ここでは略すことにする。
この時、二つの対をなす座標、即ち、(x1、y1)、(x’1、y’1)及び(x2、y2)、(x’2、y’2)を数学式3に適用し、逆行列(Inverse Matrix)を使用することで、画像を復元するための逆変換係数を求めることができる。これを数学式5に示した。
Figure 2011529288
ここで、前記幾何学的変換復元部370は数学式5によって求めた逆変換係数を用いて元の画像を復元する。前記幾何学的変換復元部370によって復元された画像は透かし検出器330に入力されて透かし検出強度予測、メッセージコード抽出、使用者隠蔽情報抽出などを再帰的に行うことになる。
一方、前記幾何学的変換復元部370は前記幾何学的変換予測部360が検出したピクセルの位置のうちピーク値(Peak Value)が大きい4つの座標グループ(即ち、透かしが2N×2N単位で周期的に埋め込まれるので、図8のように複数の4つの座標グループが作られる)を対象で次の条件を満足するかどうかを判断して、下記の条件を満足すれば画像変形によって画像の商業的な質が劣化されたと仮定して画像の復元をあきらめる。
この時、2次元空間で自己相関度値は透かしの基本単位を周期で高く現れるので、4つの座標は単位透かしをなす各頂点の座標に想定することができる。例えば、単位透かしの大きさが32×32だとしたら、4つの座標は(0,0)、(0,32)、(32,0)、(32,32)になる。
i)4つの座標間の各直線距離が原画像から4つの座標間の各直線距離の1/2未満の場合
- 画像の幾何学的変換で画像の全体スケールが原画像の1/2未満に減った場合であって、この時は画像の商業的な質が劣化されたと判断して画像復元をあきらめる。
i i)4つの座標のうち3つの座標を連結して形成される内角が75°〜105°を超過する場合
- 一般的に画像の幾何学的変換がない場合、4つの座標のうち3つの座標を連結して形成される内角は90°である。しかし、その内角が75°〜105°を超過すると、画像の商業的な質が劣化されたと判断して画像復元をあきらめる。
i i i)4つの座標のうち3つの座標を連結して形成される2つの直線の長さの割合が1:2を超過する場合
- 一般的に画像の幾何学的変換がない場合、4つの座標のうち3つの座標を連結して形成される2つの直線の長さの割合は1:1になる。しかし、画像の幾何学的変換で2つの直線の長さの割合が1:2を超過すると、画像の商業的な質が劣化されたと判断して画像復元をあきらめる。
前記使用者隠蔽情報抽出部380は前記抽出したメッセージコードから使用者隠蔽情報を抽出する。ここで、前記使用者隠蔽情報抽出部380は誤り訂正コードを用いて、復元可能な誤りを復元することで使用者隠蔽情報を抽出することになる。
この時、誤り訂正コードの復号化のためにGMD(Generalized Minimum Distance)デコーダーを使用する。これは符号の復号のために硬判定(Hard-Decision)されたデータを利用するより、軟判定(Soft-Decision)されたデータを利用するのがAWGN(Additive White Gaussian Noise)チャンネルで約 2〜3dB程度の符号化利得(Coding Gain)を得ることができるからである。
また、本発明では透かし埋め込み過程で構造的マルチパターン透かしを単位透かしにしたので、透かしの構造的特性上、画像のフリップ(Flip)、ミラー(Mirror)、90°、180°、270°などのような単純変換には不変である座標係を使用することができて、使用者隠蔽情報を高速で抽出することができるようになる。
図9は本発明の構造的マルチパターン透かしが適用された透かしの検出方法を示す順序図である。
図9を参照すると、まずローデータ抽出部310が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する(S300)。
次に、YUV空間変換部320が、前記抽出したローデータのカラー空間をYUVカラー空間に変換し、YUVカラー空間からY成分を抽出する(S310)。
次に、透かし検出器330が、前記抽出したY成分から構造的マルチパターン透かしを検出するための透かしの検出強度を予測する(S320)。
この時、前記透かし検出器330は変形されたウィナーフィルタを使って透かしの検出強度を予測するが、前処理過程としてCross-Shaped Filter又はSquared Filterなどのような予測フィルタ(Prediction Filter)を画像にまず適用することができる。
次に、前記透かし検出器330は前記予測した透かしの検出強度を適用して画像から構造的マルチパターン透かしを検出する(S330)。
その後、2次元移動復元部340が画像の2次元的な移動に対する同期化を行って画像の2次元的な移動を復元する(S340)。
即ち、2次元移動復元部340は透かし信号のフォルディング技法を使って前記検出された透かし信号を透かし単位で重畳し、前記重畳によって予測された透かし信号のうち、同期信号と基準同期信号との間の相関度を測定して、相関度が最も高い信号を基準にして同期化を行うことにより画像の2次元的な変形を復元する。
次に、メッセージコード抽出部350が、前記2次元的な移動が復元された透かし信号からメッセージコードを抽出する(S350)。この時、前記メッセージコード抽出部350はスペクトラム拡散技法を用いたM-ary復調方式又はバイナリ復調方式及び類似度測定を通じて、前記復元された透かし信号からメッセージコードを抽出する。
次に、使用者隠蔽情報抽出部360は前記段階S350で、前記メッセージコード抽出部350がメッセージコードを成功的に抽出するかどうかを確認して(S360)、メッセージコードを成功的に抽出する場合は、前記抽出したメッセージコードから使用者隠蔽情報を抽出する(S370)。
一方、前記段階S350で、前記メッセージコード抽出部350がメッセージコードを成功的に抽出することができなかった場合は、幾何学的変換予測部360は画像の幾何学的変換の程度を予測する(S380)。
この時、前記幾何学的変換予測部360は透かし信号の周期的特性を用いて自己相関パターンを測定した後、自己相関度が高い座標値を抽出することで、画像の幾何学的変換の程度を予測することになる。
次に、幾何学的変換復元部370は前記幾何学的変換予測部360によって検出された座標値を用いて幾何学的変換に対する逆変換係数を生成した後、生成された逆変換係数を用いて元の画像を復元する(S390)。
この時、前記幾何学的変換復元部370は前記幾何学的変換予測部360が検出したピクセルの座標のうち、ピーク値が大きい4つの座標を対象で次の条件を満足するかどうかを判断して、下記の条件を満足すれば画像変形によって画像の商業的な質が劣化されたと仮定して画像復元をあきらめる。
i)4つの座標間の各直線距離が原画像から4つの座標間の各直線距離の1/2未満の場合
i i)4つの座標のうち3つの座標を連結して形成される内角が75°〜105°を超過する場合
i i i)4つの座標のうち3つの座標を連結して形成される2つの直線の長さの割合が1:2を超過する場合
一方、前記幾何学的変換復元部370によって復元された画像は透かし検出強度予測(320)で使用者隠蔽情報抽出(S370)過程を再帰的に行うことになる。
以上、代表的な実施例を通じて本発明について詳細に説明したが、本発明が属する技術分野における通常の知識を有する者は、上述した実施例に対して本発明の範疇から脱しない限度内で多様な変形が可能であることを理解するはずである。
したがって、本発明の権利範囲は説明された実施例に限れて決めてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって決めければならない。
100:構造的マルチパターン透かし生成装置 110:データ分割部
120:エンコーダー 130:変調器
140:同期信号生成部 150:サブベースパターン生成部
160:単位透かし生成部 200:透かし埋め込み装置
210:ローデータ抽出部 220:YUV空間変換部
230:構造的マルチパターン透かし生成器 240:透かし埋め込み器
250:データフォーマット変換部 300:透かし検出装置
310:ローデータ抽出部 320:YUV空間変換部
330:透かし検出器 340:2次元移動復元部
350:メッセージコード抽出部 360:幾何学的変換予測部
370:幾何学的変換復元部 380:使用者隠蔽情報抽出部

Claims (33)

  1. 入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、
    前記複数個に分割されたデータをメッセージエンコード(Message Encoding)するエンコーダーと、
    前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調器と、
    画像の2次元移動に対応するための同期化信号を生成する同期信号生成部と、
    前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部、及び、
    前記複数個のサブベースパターンを用いて1つの単位透かしを生成する単位透かし生成部とを含んでなる構造的マルチパターン透かし生成装置。
  2. 前記エンコーダーは、
    誤り訂正コードを用いて前記複数個に分割されたデータをメッセージエンコードすることを特徴とする請求項1記載の構造的マルチパターン透かし生成装置。
  3. 前記データ分割部は、
    前記入力される使用者隠蔽情報を4N(ここで、Nは自然数)個に分割して出力することを特徴とする請求項1記載の構造的マルチパターン透かし生成装置。
  4. 前記データ分割部は、
    前記入力される使用者隠蔽情報を4つに分割して出力することを特徴とする請求項3記載の構造的マルチパターン透かし生成装置。
  5. 前記単位透かし生成部は、
    前記4つのサブベースパターンをそれぞれ0°、90°、180°、270°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項4記載の構造的マルチパターン透かし生成装置。
  6. 前記単位透かし生成部は、
    前記4つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項4記載の構造的マルチパターン透かし生成装置。
  7. データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、
    エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、
    変調器が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、
    同期信号生成部が、画像の2次元移動に対応するための同期化信号を生成する段階と、
    サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階、及び、
    単位透かし生成部が前記複数個のサブベースパターンを用いて1つの単位透かしを生成する段階とを含んでなる構造的マルチパターン透かし生成方法。
  8. 前記データ分割部は、
    前記入力される使用者隠蔽情報を4N(ここで、Nは自然数)個に分割して出力することを特徴とする請求項7記載の構造的マルチパターン透かし生成方法。
  9. 前記データ分割部は、
    前記使用者隠蔽情報を4つに分割して出力することを特徴とする請求項8記載の構造的マルチパターン透かし生成方法。
  10. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が4つのサブベースパターンをそれぞれ0°、90°、180°、270°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項9記載の構造的マルチパターン透かし生成方法。
  11. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が4つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項9記載の構造的マルチパターン透かし生成方法。
  12. 入力される原画像(Original Image)からローデータ(Raw Data)を抽出するローデータ抽出部と、
    前記抽出したローデータのカラー空間をYUV空間に変換し、前記YUV カラー空間からY成分を抽出するYUV空間変換部と、
    入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する構造的マルチパターン透かし生成器、及び、 前記構造的マルチパターン透かしを前記抽出したY成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用して Y成分に埋め込む透かし埋め込み器とを含んでなる構造的マルチパターン透かし埋め込み装置。
  13. 前記構造的マルチパターン透かし生成器は、
    入力される使用者隠蔽情報を複数個に分割して出力するデータ分割部と、
    前記複数個に分割されたデータをメッセージエンコードするエンコーダーと、
    前記メッセージエンコードされた複数個のデータを映像信号形態に変調する変調部と、
    画像の2次元移動に対応するための同期化信号を生成する同期信号生成部と、
    前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成するサブベースパターン生成部、及び、
    前記複数個のサブベースパターンを用いて1つの単位透かしを生成する単位透かし生成部とを含んでなることを特徴とする請求項12記載の構造的マルチパターン透かし埋め込み装置。
  14. 前記データ分割部は、
    前記入力される使用者隠蔽情報を4つに分割して出力することを特徴とする請求項13記載の構造的マルチパターン透かし埋め込み装置。
  15. 前記単位透かし生成部は、
    4つのサブベースパターンをそれぞれ0°、90°、180°、270°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項14記載の構造的マルチパターン透かし埋め込み装置。
  16. 前記単位透かし生成部は、
    4つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項14記載のマルチパターン透かし埋め込み装置。
  17. 前記透かし埋め込み器は、
    下記の数学式1を用いて前記構造的マルチパターン透かしを前記抽出したY成分に埋め込むことを特徴とする請求項12記載の構造的マルチパターン透かし埋め込み装置。
    Figure 2011529288
    ここで、 I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、αr:ローカル透かし埋め込み強度、S0、S1:固定係数値を示す。
  18. データ抽出部が、入力される原画像からローデータを抽出する段階と、
    YUV空間変換部が、前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出する段階と、
    構造的マルチパターン透かし生成器が、入力される使用者隠蔽情報を複数個に分割して複数個のサブベースパターンを生成し、前記複数個のサブベースパターンで1つの単位透かしである構造的マルチパターン透かしを生成する段階、及び、
    透かし埋め込み器が前記生成された構造的マルチパターン透かしを前記抽出したY成分に埋め込むための透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してY成分に埋め込む段階とを含んでなる構造的マルチペターン透かし埋め込み方法。
  19. 前記構造的マルチパターン透かしを生成する段階は、
    データ分割部が、入力される使用者隠蔽情報を複数個に分割して出力する段階と、
    エンコーダーが、前記複数個に分割されたデータをメッセージエンコードする段階と、
    変調部が、前記メッセージエンコードされた複数個のデータを映像信号形態に変調する段階と、
    同期信号生成部が、画像の2次元移動に対応するための同期化信号を生成する段階と、
    サブベースパターン生成部が、前記映像信号形態に変調された複数個のメッセージ信号及び前記同期化信号を用いて複数個のサブベースパターンを生成する段階、及び、
    単位透かし生成部が前記複数個のサブベースパターンを用いて1つの単位透かしを生成する段階とを含んでなることを特徴とする請求項18記載の構造的マルチパターン透かし埋め込み方法。
  20. 前記データ分割部は、
    前記使用者隠蔽情報を4つに分割して出力することを特徴とする請求項19記載の構造的マルチパターン透かし埋め込み方法。
  21. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が4つのサブベースパターンをそれぞれ0°、90°、180°、270°回転された形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項20記載の構造的マルチパターン透かし埋め込み方法。
  22. 前記単位透かしを生成する段階は、
    前記単位透かし生成部が4つのサブベースパターンをそれぞれ元の位置、左右対称、上下対称、上下左右対称になった形態で該当の領域に埋め込んで単位透かしを生成することを特徴とする請求項20記載の構造的マルチパターン透かし埋め込み方法。
  23. 前記透かし埋め込み強度を決めた後、前記決められた透かし埋め込み強度を適用してY成分に埋め込む段階は、
    前記抽出したY成分を確率的モデル方法でモデリング(Modeling)する段階と、
    前記モデリングのML(Maximun Likelihood)又はMAP(Maximum A Posteriori)推定方法によってMWMS(Maximum Watermark Strength)値を求める段階と、
    前記抽出したY成分の画像をm×mサイズに分割した後、分割された画像別に平坦領域、エッジ領域、複雑領域の該当の割合によってローカル透かし埋め込み強度を求める段階、及び、
    前記MWMS及びローカル透かし埋め込み強度値を用いて前記構造的マルチパターン透かしを前記Y成分に埋め込む段階とを含んでなることを特徴とする請求項18記載の構造的マルチパターン透かし埋め込み方法。
  24. 前記構造的マルチパターン透かしを前記Y成分に埋め込む段階は、
    下記の数学式2を用いることを特徴とする請求項23記載の構造的マルチパターン透かし埋め込み方法。
    Figure 2011529288
    ここで、 I′n,m:透かしが埋め込まれたコンテンツ、In,m:オリジナルコンテンツ、wn,m:透かし、αr:ローカル透かし埋め込み強度、S0、S1:固定係数値を示す。
  25. 構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出するローデータ抽出部と、
    前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出するYUV空間変換部と、
    前記抽出したY成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Y成分から構造的マルチパターン透かしを検出する透かし検出器と、
    前記画像の2次元的な移動に対する同期化を行って画像の2次元的な移動を復元する2次元移動復元部と、
    前記2次元的な移動が復元された透かし信号からメッセージコードを抽出するメッセージコード抽出部、及び、
    前記抽出したメッセージコードから使用者隠蔽情報を抽出する使用者隠蔽情報抽出部とを含んでなる構造的マルチパターン透かしの検出装置。
  26. 前記画像の幾何学的変換の程度を予測する幾何学的変換予測部、及び、
    前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する幾何学的変換復元部を更に含んでなることを特徴とする請求項25記載の構造的マルチパターン透かしの検出装置。
  27. 前記幾何学的変換予測部は、
    前記検出された構造的マルチパターン透かしの自己相関パターン(Auto Correlation Pattern)を測定した後、自己相関度が周期的に高い座標値を抽出して画像の幾何学的変換の程度を予測することを特徴とする請求項26記載の構造的マルチパターン透かしの検出装置。
  28. 前記幾何学的変換復元部は、
    前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求めた後、前記逆変換係数を用いて画像の幾何学的変換を復元することを特徴とする請求項27記載の構造的マルチパターン透かしの検出装置。
  29. 前記幾何学的変換復元部は、
    前記自己相関度が周期的に高い座標値のうち、ピーク値が最大である4つの座標グループを選定した後、前記4つの座標グループが下記の条件のいずれか1つに該当すれば、画像の幾何学的変換に対する復元をあきらめることを特徴とする請求項28記載の構造的マルチパターン透かしの検出装置。
    (1)4つの座標間の各直線距離が原画像から4つの座標間の各直線距離の1/2未満の場合
    (2)4つの座標のうち3つの座標を連結して形成される内角が75°〜105°を超過する場合
    (3)4つの座標のうち3つの座標を連結して形成される2つの直線の長さ割合が1:2を超過する場合
  30. ローデータ抽出部が、構造的マルチパターン透かしが埋め込まれた画像からローデータを抽出する段階と、
    YUV空間変換部が、前記抽出したローデータのカラー空間をYUV空間に変換した後、前記YUVカラー空間からY成分を抽出する段階と、
    透かし検出器が、前記抽出したY成分から透かしの検出強度を予測した後、前記透かしの検出強度を適用して前記Y成分から構造的マルチパターン透かしを検出する段階と、
    2次元移動復元部が、前記画像の2次元的な移動に対する同期化を行って画像の2次元的な移動を復元する段階と、
    メッセージコード抽出部が、前記2次元的な移動が復元された透かし信号からメッセージコードを抽出する段階、及び、
    使用者隠蔽情報抽出部が、前記抽出したメッセージコードから使用者隠蔽情報を抽出する段階とを含んでなる構造的マルチパターン透かしの検出方法。
  31. 前記メッセージコードを抽出する段階において、前記メッセージコード抽出部がメッセージコードを抽出できない場合は、
    幾何学的変換予測部が、前記画像の幾何学的変換の程度を予測する段階、及び、
    幾何学的変換復元部が、前記予測された幾何学的変換の程度を用いて前記画像の幾何学的変換を復元する段階を更に含んでなることを特徴とする請求項30記載の構造的マルチパターン透かしの検出方法。
  32. 前記画像の幾何学的変換の程度を予測する段階は、
    前記検出された構造的マルチパターン透かしの自己相関パターンを測定する段階、及び、
    前記測定した自己相関度が周期的に高い座標値を抽出する段階を含んでなることを特徴とする請求項31記載の構造的マルチパターン透かしの検出方法。
  33. 前記画像の幾何学的変換を復元する段階は、
    前記自己相関度が周期的に高い座標値を用いて画像の幾何学的変換に対する逆変換係数を求める段階、及び、
    前記逆変換係数を用いて画像の幾何学的変換を復元する段階を含んでなることを特徴とする請求項32記載の構造的マルチパターン透かしの検出方法。
JP2011519976A 2008-07-24 2009-07-07 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法 Active JP5539348B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2008-0071986 2008-07-24
KR1020080071986A KR100977712B1 (ko) 2008-07-24 2008-07-24 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법
PCT/KR2009/003690 WO2010011035A2 (ko) 2008-07-24 2009-07-07 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를 이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2011529288A true JP2011529288A (ja) 2011-12-01
JP5539348B2 JP5539348B2 (ja) 2014-07-02

Family

ID=41570696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011519976A Active JP5539348B2 (ja) 2008-07-24 2009-07-07 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法

Country Status (4)

Country Link
US (1) US8488837B2 (ja)
JP (1) JP5539348B2 (ja)
KR (1) KR100977712B1 (ja)
WO (1) WO2010011035A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021082242A (ja) * 2019-11-15 2021-05-27 シーケーアンドビー カンパニー リミテッドCk&B Co., Ltd. 正規品認証コンテンツの生成装置およびこれを用いる統合認証システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938618B (zh) * 2010-08-17 2012-08-15 山东省计算中心 一种通用的视频数字水印方法
KR101418394B1 (ko) * 2010-10-26 2014-07-09 한국전자통신연구원 시간축 변조 및 오류정정부호를 이용한 비디오 워터마킹 삽입 및 검출 장치 및 방법
KR101315894B1 (ko) * 2012-06-13 2013-10-08 한국공항공사 항공 감시용 uat 단말기의 메세지 오류 정정 방법
KR101363577B1 (ko) * 2012-08-23 2014-02-17 한국과학기술원 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법
US8874924B2 (en) 2012-11-07 2014-10-28 The Nielsen Company (Us), Llc Methods and apparatus to identify media
JP6216516B2 (ja) * 2013-02-25 2017-10-18 株式会社日立ソリューションズ 電子透かし埋め込み方法および電子透かし検出方法
US9716807B2 (en) 2014-10-13 2017-07-25 Digimarc Corporation Methods for estimating watermark signal strength, an embedding process using the same, and related arrangements
KR101512739B1 (ko) 2014-11-14 2015-04-16 동국대학교 산학협력단 오류 정정 부호를 이용한 데이터 은닉 장치 및 방법
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴(中国)有限公司 水印处理方法及装置
KR101976098B1 (ko) * 2018-11-02 2019-05-29 주식회사 블록젠 은닉 정보를 동영상 데이터에 삽입하는 방법
US11321797B2 (en) * 2020-08-25 2022-05-03 Kyndryl, Inc. Wearable watermarks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101767A (ja) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9806152A (pt) * 1997-09-02 2000-01-11 Koninkl Philips Electronics Nv Processo e arranjo para detectar uma "marca d'água" multi-bit em um sinal, e, processo e arranjo para embutir uma "marca d'água" multi-bit em uma imagem de vìdeo
KR100360721B1 (ko) * 2000-03-15 2002-11-13 주식회사 디지트리얼테크놀로지 대역 분할 방식을 이용한 디지털 정지영상의 저작자증명을 위한 비가시성 디지털 직인 삽입 방법
JP4151222B2 (ja) 2001-01-25 2008-09-17 沖電気工業株式会社 電子透かし埋込み装置、改竄検出装置、及び記録媒体
KR20050078767A (ko) 2004-02-02 2005-08-08 삼성전자주식회사 디지털 영상 워터마킹 장치 및 그 방법
KR100878579B1 (ko) * 2006-06-30 2009-01-15 포스데이타 주식회사 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101767A (ja) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021082242A (ja) * 2019-11-15 2021-05-27 シーケーアンドビー カンパニー リミテッドCk&B Co., Ltd. 正規品認証コンテンツの生成装置およびこれを用いる統合認証システム

Also Published As

Publication number Publication date
KR100977712B1 (ko) 2010-08-24
KR20100010972A (ko) 2010-02-03
US8488837B2 (en) 2013-07-16
WO2010011035A2 (ko) 2010-01-28
JP5539348B2 (ja) 2014-07-02
US20110123065A1 (en) 2011-05-26
WO2010011035A3 (ko) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5539348B2 (ja) 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法
Shi et al. Reversible data hiding: Advances in the past two decades
US7072490B2 (en) Symmetry watermark
Ruanaidh et al. Rotation, scale and translation invariant spread spectrum digital image watermarking
Voloshynovskiy et al. Multibit digital watermarking robust against local nonlinear geometrical distortions
Yang et al. A contrast-sensitive reversible visible image watermarking technique
CN107688731B (zh) 一种基于文本文档保护的数字水印算法
WO2005074249A1 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
JP2004140764A (ja) 画像処理装置及び画像処理方法
US6975745B2 (en) Synchronizing watermark detectors in geometrically distorted signals
Sun A new information hiding method based on improved BPCS steganography
CN104766269A (zh) 基于jnd亮度模型的扩展变换抖动调制水印方法
WO2004095828A1 (ja) 透かし情報埋め込み装置及び方法、透かし情報検出装置及び方法、透かし入り文書
JP2003143388A (ja) 画像処理方法およびその装置ならびに印刷物
CN113179407B (zh) 基于帧间dct系数相关性的视频水印嵌入和提取方法及系统
US20080209220A1 (en) Method of Quantization-Watermarking
Chen et al. Ergodic chaotic parameter modulation with application to digital image watermarking
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
JP2004147253A (ja) 画像処理装置及び画像処理方法
US11423506B2 (en) Video frame to frame difference watermarking with drm metadata
Mareen et al. Blind deep-learning-based image watermarking robust against geometric transformations
Martin et al. An interpolation-based watermarking scheme
CN114390154A (zh) 基于信道匹配网络选择嵌入通道的鲁棒隐写方法及系统
CN113393363A (zh) 水印嵌入、提取方法以及存储介质、电子设备
JP2006186626A (ja) 透かし埋め込み装置と方法ならびに透かし抽出装置と方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

R150 Certificate of patent or registration of utility model

Ref document number: 5539348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250