JP2004520751A - 電子透かしの埋込みおよび検出方法とこれを用いた電子透かしの埋込み／検出装置 - Google Patents

Abstract

電子透かしは空間領域に埋め込まれる。しかし、周波数領域に電子透かしが埋め込まれるのと同一の効果が逆周波数を電子透かしに変換してこれを埋め込む方法により得られる。これにより、従来の、電子透かしを生成してこれを空間領域に加える方法に比して、電子透かしの強靭性が得られる。また、イメージがスターマークを通過しても、リサンプリングを介した逆周波数変換により生成された電子透かしのサイズを大きくすることによって電子透かしが検出され得る。
電子透かしを検出する際に、電子透かしが埋め込まれたイメージの高周波フィルタリングと電子透かしが埋め込まれたイメージの全てのブロックを共に得ることにより、イメージ要素を除去する効果が得られる。従って、電子透かしの検出速度が向上すると共に、検出率も増加する。

Description

【０００１】
（技術分野）
本発明は、デジタルマルチメディアコンテンツに対する電子透かしを記録および検出するための方法およびこれを用いた装置に関する。より詳しくは、電子透かしを変換して空間領域において電子透かしを埋め込んで記録し、これを検出するようにし、処理速度を改善した電子透かしの記録および検出方法、およびこれを用いた記録／検出装置に関する。
【０００２】
（背景技術）
近年、コンピュータとインターネットの普及に伴い、マルチメディアデータの流通が加速化し、それと共に不法複製および流通が盛んに行われるようになり、マルチメディアデータの著作権に対する効率的な保護システムが必要とされるようになった。電子透かし技術は、マルチメディアデータにユーザー情報（電子透かし）をユーザーが認知できないように埋め込むことによって不法複製を防ぎ、著作権者の著作権を保護する技術である。
【０００３】
透かし（ｗａｔｅｒｍａｒｋ）とは、古代にパピルス（紙）を作る過程で、繊維質を水に解いた後、水を切って圧着するために枠を用いる過程において出てきたマークを意味する。中世に製紙業者達が自己の固有商品であることを証明するために紙にマークを埋め込んだのが中世の透かしであり、今日では、紙幣を製造する過程で、紙が濡れている間に印刷をして乾燥させた後両面に印刷すると、光を通してのみ確認することができる絵が中に入るが、これを透かしとも呼ぶ。
【０００４】
最近は、デジタル媒体の増加と共に、電子透かしという概念が登場した。アナログ上の紙がデジタル上の紙の概念に代替されたように、過去、透かしを埋め込んでいたアナログ媒体が全てデジタル化する中で、デジタルイメージ、オーディオ、動画等に隠されるマークとして電子透かしという概念が登場した。すなわち、透かしとは、一連のマルチメディア著作物（Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔｓ）を保護するために、ここに特別な形態の透かしを隠して抽出する全ての技術的方法を意味する。初期には、もとのマルチメディア著作物そのものについて隠匿させる方法を研究したが、現在は、多くの技術的変換方法を用いた強力な透かし技術が開発されている趨勢である。
【０００５】
透かしは、透かしの可視性（Ｖｉｓｉｂｉｌｉｔｙ）の有無によって、可視的透かし（Ｖｉｓｉｂｌｅ Ｗａｔｅｒｍａｒｋｉｎｇ）と非可視的透かし（Ｉｎｖｉｓｉｂｌｅ Ｗａｔｅｒｍａｒｋｉｎｇ）に分類され、非可視的透かしは、透かしを埋め込む方法により、空間領域（Ｓｐａｔｉａｌ Ｄｏｍａｉｎ）透かしと周波数領域（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）透かしに分類される。
【０００６】
可視的透かしは、原本イメージに肉眼で確かめられる著作者の情報を埋め込んで著作権を明示する。可視的透かしは、容易に用いることができるが、原本が損傷される短所がある。
【０００７】
従って、今日のイメージ透かし技術においては、非可視的透かしが主に用いられている。非可視的透かしは、人間視角システム（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ；ＨＶＳ）の感覚限界を利用して、視覚的には感知できないように透かしを埋め込む技術である。空間領域透かしは、透かしの埋込みや抽出が極めて簡単である反面、一般的な信号処理や映像処理（非線形フィルタリング、回転、切断、移動、拡大、縮小変換等）、圧縮により透かしが喪失される可能性が大きい。
【０００８】
一方、周波数領域透かしは、埋込みと抽出のためにフーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）のような変換技法が用いられるので、アルゴリズムが複雑で多くの演算量を要する短所はあるが、フィルタリングや圧縮のような一般的な攻撃に対し強靭であるとの長所を有する。
【０００９】
透かしが見えないように埋め込むためには、広い領域に低い値で埋め込まなければならないが、このような技術として活用されているのが、Ｉｎｇｅｍａｒ Ｊ．Ｃｏｘの拡散スペクトル方式である。拡散スペクトル方式においては、擬似ランダムシーケンスを透かしとして活用するが、このシーケンスは均一分布関数を有し、周波数の全帯域にわたって均一に分布するため、効果的に用いられ得る方法である。
【００１０】
原本の映像を周波数空間に変換する方法としては、一般的に高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、ウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）をよく用いており、変換平面において透かしを埋め込み、もとの状態に復元する方法を取っている。しかし、この方法もイメージの回転や切断、移動、拡大縮小等の攻撃においては、透かしが喪失される可能性が大きい。
【００１１】
前記のように、空間領域や周波数領域における透かし方法はそれなりの長所、短所を有している。他の方法としては、周波数領域透かし方法の弱点である、イメージの回転、拡大縮小における透かしの損傷問題を補完するために、ログ−極座標マッピング（ｌｏｇ−ｐｏｌａｒ ｍａｐｐｉｎｇ）とフーリエ変換を用いた透かし方法が開発された。この方法は、回転、拡大、縮小をログ−極座標マッピングにより単純な移動の形態に変換し、フーリエ変換の震幅が移動に不変であるとの特徴を利用して透かしを検出する。しかし、この方法も圧縮のような映像処理に弱く、映像および透かしの損失が大きいとの短所を有する。
【００１２】
以上で検討したように、一般的に開発された映像の透かし技術は、それなりの長所と短所を有している。また、現在広く用いられている擬似ランダムシーケンス透かしは、イメージにどのようなキー値を有する透かしが埋め込まれているか否かを確認することはできるが、多様な著作権情報を埋め込んで、これを抽出することは難しい。
【００１３】
また、透かしを研究する過程で生じた副産物として、イメージに埋め込まれた透かしを多様な方法で攻撃して無力化させるアンチ透かし（Ａｎｔｉ−Ｗａｔｅｒｍａｒｋｉｎｇ）による問題が発生しており、主な製品としてはＳｔｉｒＭａｒｋ、ＵｎＺｉｇｎ等がある。
【００１４】
ご参考までに、スターマークとは、透かしの除去（Ａｎｔｉ−Ｗａｔｅｒｍａｒｋｉｎｇ）のための製品の一つであって、スターマーク攻撃は、映像をメッシュワーピング（ｍｅｓｈ ｗａｒｐｉｎｇ）させるようにランダムに変形させることにより、任意のピクセル位置を少しずつ変形し、一部の映像を切り出すことにより透かしを破壊する。
【００１５】
（発明の開示）
本発明は、上述の空間領域の方法と周波数領域の方法を混用して電子透かしの埋込みと検出を容易にし、映像の変形に対し強靭になるよう設計することを目的とする。
【００１６】
本発明の他の目的は、電子透かしを埋込みおよび検出するにおいて、周波数領域における変換による処理をせず、空間領域における電子透かしを周波数逆変換して電子透かしを埋込みおよび検出することにより、処理速度を改善することにある。
【００１７】
特に、電子透かしを除去するプログラムであるスターマーク（Ｓｔｉｒｍａｒｋ）等に対し強靭であるようにし、埋込みと検出において迅速性と正確性を満すことを目的とする。
【００１８】
前記のような目的を達成するために、本発明による映像信号に電子透かしを埋め込む方法は、
ユーザーキーと固有キーを用いてそれぞれ擬似雑音符号を生成するステップと、
前記ユーザーキーにより生成された擬似雑音符号と前記固有キーにより生成された擬似雑音符号を加算するステップと、
電子透かしを生成するために前記加算された擬似雑音符号に逆離散コサイン変換を行うステップ、および
前記電子透かしと前記映像信号を加算することを特徴とする。
【００１９】
また、本発明による電子透かしの検出方法は、
映像信号に埋め込まれた電子透かしを検出する方法において、
ユーザーキーと固有キーを用いてそれぞれ擬似雑音符号を生成するステップと、
前記ユーザーキーにより生成された擬似雑音符号と前記固有キーにより生成された擬似雑音符号にそれぞれ逆離散コサイン変換を行うステップと、
前記変換された信号を所定のサイズにスケーリングして電子透かしを形成するステップと、
前記電子透かしと前記映像信号間の相関度を計算するステップ、および
前記相関度に基づいて前記映像信号に埋め込まれた電子透かしを検出するステップを含むことを特徴とする。
【００２０】
前記のように、本発明は既存の空間領域において電子透かしを埋め込む方法と同様に電子透かしを空間領域に埋め込むが、電子透かしを周波数逆変換して埋め込むことにより、周波数領域において電子透かしを埋め込むのと同様の効果を創出する。このようにして、既存の空間領域において単に電子透かしを生成して加える方式より、電子透かしの強靭性を増大させることができる。ここに、周波数逆変換して生成された電子透かしのサイズをリサンプリングにより拡大して電子透かしを作ることにより、スターマークを経た映像であっても電子透かしを検出することができるようにする。
【００２１】
また、本発明においては、電子透かしの検出においては既存の方法とは異なり、電子透かしが埋め込まれた映像に対して高周波フィルタを適用し、電子透かしが埋め込まれた映像の全てのブロックを合わせて映像成分を除去する効果を収めることにより、電子透かしの検出の速度を向上させる一方、電子透かしの検出率を高めた。
【００２２】
また、本発明によるデジタル映像透かし装置および方法によると、ユーザーキー値と電子透かしの相関関係において、４次モメント（Ｋｕｒｔｏｓｉｓ）を用いた先鋭度と最大値およびその位置を用いることにより、電子透かしの検出および認証の正確性を極大化させる特徴を有する。
【００２３】
以下、添付の図面を参照して本発明による電子透かし埋込みおよび検出方法と、これを用いた埋込み／検出装置について詳細に説明する。
【００２４】
（発明を実施するための最良の形態）
図１は、本発明による電子透かしを埋込みおよび検出するための装置の構成を概略的に示すブロック図である。
【００２５】
図１の電子透かし埋込みおよび検出装置は、電子透かし埋込み装置１００および電子透かし検出装置２００からなる。電子透かし埋込み装置１００は入力映像１０をその特性によって所定の形態に変換する映像変換部１１０、電子透かしを生成するための電子透かし生成部１２０、映像変換部１１０の出力された映像信号に電子透かし生成部１２０で生成された電子透かしを加算する加算機１３０および電子透かしが埋め込まれた映像信号を記録する映像記録部１４０を含む。
【００２６】
また、電子透かし検出装置２００は、再生される映像信号を受けてこれを所定の形態のフォーマットに変換する映像変換部２１０、映像変換部２１０の出力信号中に含まれた電子透かしの特性を強化するための前処理部２２０、電子透かしを生成するための電子透かし生成部２３０、映像信号に含まれた電子透かしの特性が強化された信号と電子透かし生成部２３０から出力された電子透かしとの相関関係を計算する相関度計算部２４０、および相関度計算部における出力値によって映像信号中に含まれた電子透かしを検出するための電子透かし検出部２５０を含む。
【００２７】
前記のような構成を有する電子透かし埋込みおよび検出装置における動作をそれぞれ分けて検討する。まず、電子透かし埋込み装置１００における動作は図２乃至図４を参照して検討する。
【００２８】
電子透かしをデジタル映像信号の中に埋め込むための入力映像１０が映像変換部１１０に入力される。映像変換部１１０の動作のフローについて、図２を参照して検討すると、映像変換部１１０は入力映像１０が２４ビットカラー映像であるかをチェックする（Ｓ１００）。若し、入力映像が２４ビットカラーである場合は、下記の数１の式を用いて入力映像のＲＧＢ成分をＹＩＱ（Ｙ：Ｌｕｍｉｎａｎｃｅ（輝度）、Ｉ：Ｉｎｐｈａｓｅ、Ｑ：Ｑｕａｄｒａｔｕｒｅ）フォーマットのモデルに変換する（Ｓ１１０）。
【００２９】
【数１】

変換されたフォーマットのモデルにおいて、Ｉ成分、Ｑ成分は別途に保存し、Ｙ成分のみを抽出してスケーリングを行う（Ｓ１２０）。抽出されたＹ成分は、次のプロセスである電子透かしを埋め込むステップに進む。
【００３０】
Ｓ１００において、入力映像が２４ビットのカラー映像でない場合は、直ちに電子透かし埋込みステップに進む。すなわち、入力映像が２４ビットのカラー映像でない場合は、実際に入力される映像１０が２４ビットの場合のＹ成分と同一の信号に該当するため、ＹＩＱフォーマットへの変換プロセスを行わずに電子透かし埋込みステップに直ちに進むことになる。従って、入力信号が２４ビットでない場合は、映像変換部１１０を別途に備えなくても可能である。また、前記の場合は、ＲＧＢ入力映像をＹＩＱフォーマットに変換して処理したが、Ｒ、Ｇ、Ｂそれぞれのチャネル別に電子透かしを埋め込むこともできる。
【００３１】
前記映像変換部１１０へ映像が入力されると同時に、電子透かし生成部１２０は図３に示される構成により電子透かしを生成する。まず、ユーザーキーを擬似雑音符号発生部１２２に入力すると、これをシード（ｓｅｅｄ）値として用いて擬似雑音符号を発生させる。一方、ユーザーキーとは別に、電子透かしの検出を容易にするために発生させておいた固有キーを擬似雑音符号発生部１２４に入力し、同様の方法で擬似雑音符号を生成する。
【００３２】
このように生成された二つの擬似雑音符号は、互いに加算されるために加算機１２５に伝達される。加算された雑音符号は逆２Ｄ−ＤＣＴ部１２６に入力され、周波数逆変換、すなわち逆ＤＣＴ変換が行われる。このような雑音符号に対する逆ＤＣＴ変換は、信号を周波数領域に変換させなくても、周波数領域において電子透かしを埋め込むのと同様の効果が得られる。このようにして、電子透かしが様々な映像の変形に対し強靭になる。
【００３３】
すなわち、従来は入力映像を対象としてＤＣＴにより周波数領域に変換した後電子透かしを埋込み、さらに電子透かしが埋め込まれた入力映像を逆ＤＣＴにより空間領域に変換した。しかし、電子透かしの側面からみるとき、単に逆ＤＣＴによる処理過程しかないのである。従って、本発明においては、電子透かしを逆ＤＣＴし、これを空間領域に埋め込んでも、埋め込む周波数領域を考慮して電子透かしを設計すれば、周波数領域において電子透かしを埋め込むのと同じ効果が得られる。
【００３４】
このように発生した電子透かしは、スケール変換部１２８を用いて、もとの電子透かしより大きいサイズにリサンプリングされる。リサンプリングされた電子透かしは、映像変換部１１０から出力された映像信号に加算されるために出力される。電子透かしのリサンプリングは加算される映像のブロックとのサイズの差を合わせるためである。
【００３５】
加算機１３０においては、電子透かし生成部１２０で作られた電子透かしと映像変換部１１０から出力された映像信号を加えるために、まず映像を所定のサイズのブロック、すなわち電子透かしのサイズに分割する。分割された映像信号と電子透かしの強度（ｓｔｒｅｎｇｔｈ）を調整する値を適用して電子透かし信号に加える。電子透かしを加える方法は、映像変換部を経てＲ、Ｇ、Ｂ２４ビット映像である場合、フォーマット変換によりＹ成分に電子透かしを埋め込む。また、映像変換部１１０を経ていない場合は、直ちにチャネル毎に、すなわちグレー映像はグレーチャネルに、ＲＧＢ映像（２４ｂｉｔ）はＲ、Ｇ、Ｂそれぞれのチャネルに独立して電子透かしを埋め込むことができるのはもちろんである。電子透かしが埋め込まれた信号が出力されると、この信号は映像記録部１４０に入力され、電子透かしが埋め込まれた映像として保存される。
【００３６】
映像記録部１４０における記録動作は図４を参照して検討する。映像記録部１４０においては、電子透かしが埋め込まれた信号が２４ビット映像であるか否かを判断する（Ｓ２００）。電子透かしが埋め込まれた信号が２４ビット映像である場合は、以前のＹＩＱ成分のうちＹ成分が抽出されて残ったＩＱ成分とＹ成分を合成する（Ｓ２１０）。合成の後にＹＩＱフォーマットの信号を下記の数２の式２を用いてＲＧＢ信号にさらに変換する（Ｓ２２０）。
【００３７】
【数２】

前記のように変換された信号は、電子透かしが埋め込まれた映像として保存媒体に保存される（Ｓ２３０）。
【００３８】
しかし、Ｓ２００において、若し電子透かしが埋め込まれた信号が２４ビットの映像でない場合は、以前の映像変換部１１０で別途の変換過程を経ずに入力された信号であるため前記のような変換が不要であり、直ちにＳ２３０に進んで保存される。また、入力映像をＹＩＱフォーマットに変換せず、ＲＧＢフォーマットで処理するチャネル別に電子透かしを埋め込む場合にも、直ちにＳ２３０に進んで保存される。
【００３９】
前記のような電子透かし埋込み装置１００は、電子透かしの生成時に電子透かしを逆周波数変換して直ちに電子透かしを空間領域に埋め込むことにより、周波数領域において埋め込むのと同様の効果が生じるようにし、また空間領域において直ちに電子透かしを埋め込むことにより、ブロック別に映像を毎回周波数変換する過程を減らすことができるため、電子透かしを埋め込む速度を改善することができる効果がある。
【００４０】
また、前記のように電子透かしが埋め込まれた映像信号から電子透かしを検出する電子透かし検出装置は図１を参照して検討する。
【００４１】
電子透かしが埋め込まれた映像は、様々な経路を通じて不法的なユーザーに流入される可能性があり、また無断複製、変形等が加わえられるおそれがある。しかし、前述の本発明による電子透かし埋込み装置１００によりなる電子透かしは、スターマークのようなプログラムによっても、映像に埋め込まれた電子透かしの形態を維持することができる強靭なものであって、このような方法により記録された電子透かしを検出する装置および方法について検討する。
【００４２】
電子透かし検出装置２００に電子透かしが埋め込まれ記録された映像が入力されると、まず映像変換部２１０により所定の形態の信号に変換される。電子透かし検出装置２００における映像変換部２１０の構成と動作は、電子透かし埋込み装置１００における映像変換部１１０と同一である。すなわち、入力映像が２４ビット映像である場合は、該当入力映像をＲＧＢフォーマットからＹＩＱフォーマットに変換した後、Ｙ成分のみを抽出して電子透かしを検出するために出力する。２４ビット映像でない場合は、該当入力映像を変換せずに出力する。また、入力映像が２４ビットの場合に、ＲＧＢ信号の形態のまま出力してもよい。
【００４３】
映像変換部２１０から出力される映像信号は、前処理部２２０に入力される。前処理部２２０は、映像信号の中に含まれている電子透かしの特徴を強調するためのものであって、その細部構成は、図５に示すように、ハイブーストフィルタ５１０、映像のブロック合算部５２０およびマスク部５３０から構成される。
【００４４】
ハイブーストフィルタ５１０は、映像信号の高周波成分を生かす役割をするものであって、様々なフィルタの形態を有し得る。図６は、映像信号の高周波成分を生かす役割をする種々な空間フィルタの例を示すものであって、図６ａはハイブーストフィルタ、図６ｂはラプラシアンフィルタ、また、図６ｃはＤｏＧフィルタ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）におけるマスクの形態をそれぞれ示すものである。
【００４５】
図６ａにおけるハイブーストフィルタは、電子透かしの検出を助け、電子透かし信号を強調する役割をする。すなわち、映像成分のエネルギーを減らし、電子透かし信号のエネルギーを増大させる役割をする。また、ＤｏＧフィルタは下記の数３の式による。
【００４６】
【数３】

映像のブロック合算部５２０は、電子透かしが埋め込まれた映像を、電子透かしを埋め込む時にブロック別に埋め込んだのと同様にブロック別に加える役割をする。このようなブロック別合算により映像成分のエネルギーは平均に近くなるが、電子透かし成分は益々増大するため、電子透かしの成分を強化する役割をする。
【００４７】
前記のようなフィルタによる処理結果の一例を図７に示した。図７ａは、フィルタリング処理される前の電子透かしが埋め込まれた映像を示し、図７ｂ乃至図７ｃは、それぞれハイブーストフィルタ、ラプラシアンフィルタおよびＤｏＧフィルタにより処理された結果を示す。
【００４８】
最後に、映像成分のエネルギーを減らし、電子透かし成分のエネルギーを強化するために、マスク部５３０を用いて電子透かしを強化する。図８は、電子透かし信号を強化するために用いたマスク部５３０におけるフィルタの一例を示す。
【００４９】
前記のように、前処理部２２０のハイブーストフィルタ２２２、映像ブロック合算部２２４およびマスク２２６で行われる作業は、映像信号のうち電子透かし成分を強化しようとするものであり、これらのうち少なくともいずれか一つの作業でも十分である。
【００５０】
なお、電子透かし検出装置２００の電子透かし生成部２３０は、電子透かし埋込み装置１００の電子透かし生成部１２０とは異なって信号を出力する。すなわち、電子透かし埋込み装置１００における電子透かし生成部１２０は、ユーザーキーと固有キーにより発生した２次元の電子透かし信号を加えて逆２Ｄ−ＤＣＴを行ったが、電子透かし検出装置２００における電子透かし生成部２３０は、図９に示された構成に従って処理が行われる。
【００５１】
すなわち、疑似雑音発生装置２２０、２４０のそれぞれにおいて、ユーザーキーと固有キーとにより発生した両２次元の疑似雑音符号が互いに加算されず逆２Ｄ−ＤＣＴ部２５０に入力されてそれぞれ逆２Ｄ−ＤＣＴ変換され、スケーリング部２６０で電子透かしのサイズをスケーリングする。電子透かしの検出過程において、ピークの位置が、ユーザーキーにより検出したときと固有キーにより検出したとき、同一の位置で示されるか否かを把握するために、検出過程においてはユーザーキーと固有キーにより作られた擬似雑音符号を加えずそれぞれ逆２Ｄ−ＤＣＴ部２５０とスケーリング部２６０を経ることになる。このように電子透かし信号がそれぞれ作られ、相関度計算部２４０に入力され、下記の数４の式を用いて相関度（Ｃｏｒｒ）を求める。固有キーによる電子透かしと電子透かしが埋め込まれた映像との相関度、ユーザーキーによる電子透かしと電子透かしが埋め込まれた映像との相関度をそれぞれ求めることになる。
【００５２】
【数４】

ここで、Ｗ_ｉｍｇは電子透かしが埋め込まれた映像、すなわち前処理過程を経た信号を示し、Ｗ_ｍはユーザーキーと固有キーを用いて電子透かし生成部により発生した映像に埋め込まれた電子透かしを示す。ＩＦＦＴ２は２次元逆高速フーリエ変換を、ＦＦＴ２は２次元高速フーリエ変換を、またｃｏｎｊは共役複素数を示す。
【００５３】
上記の数４の式を用いた相関度の計算は、電子透かしが埋め込まれた映像（Ｗ_ｉｍｇ）を２次元高速フーリエ変換して得られたデータと、電子透かし生成部２３０においてユーザーキーまたは固有キーにより生成された電子透かし（Ｗ_ｍ）を２次元高速フーリエ変換して得られたデータを乗算した後、これをさらに空間領域に変換させるために、逆高速フーリエ変換を行う。このように、周波数領域への変換と乗算による計算を行うことにより、空間領域における電子透かしが埋め込まれた映像に対して電子透かしをコンボルーションする計算を減らすことにより、データの処理をより高速に行うことができる。
【００５４】
図１０は、電子透かしが埋め込まれている場合を仮定して、前記数４の式により計算された相関度をフローティングしたものである。該数４の式により求められる相関関係は、ある一つの値でなく、２次元シーケンスの形態であるため、このような複数個の値を比較して、最大ピーク値とその位置を次の過程を通じて求めることができる。
【００５５】
電子透かし検出部２５０は、図１１に示されるように、ピークが発生すると、電子透かし生成部２３０において固有キーとユーザーキーにより電子透かしを発生させたように、該両キーの値が共に存在するか否か、また同一の位置でピークが生じるか否かを検査する（Ｓ３００）。両ピークが同一の位置で生じると、先鋭度を計算する（Ｓ３１０）。先鋭度の計算は、下記の数５の式の４次モーメント（Ｋｕｒｔｏｓｉｓ；Ｋ）を演算して、Ｋ値が所定のしきい値以上の値を有するか否かを判断し（Ｓ３２０）、二つの条件を全て満した時、電子透かしを検出したものと判断する。
【００５６】
【数５】

ここで、Ｘ_１，．．．，Ｘ_Ｎは両電子透かし（Ｗ_ｍ，Ｗ_ｉｍｇ）間の相関関係の結果値であり、

はＸ_１，．．．，Ｘ_Ｎの平均を、σは標準偏差を示す。
【００５７】
前記ステップにおいて、Ｋ値が所定のしきい値以上の値を有するか否かに対する判断は、電子透かしが埋め込まれた場合は、求められた値においてピークが大きく現れるが、該ピーク値を定められたしきい値と比較して、電子透かしの埋込みの有無を判断する。ここで、しきい値は実験により一定に割り当てられる値で示される。
【００５８】
しかし、Ｓ３２０における条件を満さない時には、電子透かしが検出されないものと判断する。
【００５９】
（産業上の利用可能性）
上述のとおり、本発明は、電子透かしを埋込み、検出する方法と装置に関するものであり、埋込みと検出において、より迅速で正確な抽出ができるように設計され、電子透かしの構成を変換することにより電子透かしの信号変形に対する強靭性を向上させた。
【００６０】
すなわち、既存の電子透かし方法が、空間領域方法と周波数領域方法を独立して適用され電子透かしを埋め込んでいたのとは異なり、この両方法を共に活用して、電子透かしの埋込みの迅速性と非可視性、また強靭性を同時に満すものである。
【００６１】
本発明は、前記実施例を参照して特別に図示され記述されているが、これは例示のためのものであり、本発明が属する分野における通常の知識を有する者であれば、添付の請求の範囲に定義されているように、発明の精神および範囲を外れない限り、様々な修正を行うことができる。
【図面の簡単な説明】
【図１】本発明による電子透かしを埋込みおよび検出するための装置の構成を概略的に示すブロック図である。
【図２】図１の電子透かし埋込み装置における映像変換部の動作のフローを示す図である。
【図３】図１の電子透かし埋込み装置における電子透かし生成部の構成を概略的に示すブロック図である。
【図４】図１の電子透かし埋込み装置における映像記録部の動作のフローを示す図である。
【図５】図１の電子透かし検出装置における前処理部の構成を概略的に示すブロック図である。
【図６ａ】電子透かしの検出を助けるフィルタの例であって、ハイブーストフィルタを示す図である。
【図６ｂ】電子透かしの検出を助けるフィルタの例であって、ラプラシアンフィルタを示す図である。
【図６ｃ】電子透かしの検出を助けるフィルタの例であって、７×７、９×９のマスクを有するＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを示す図である。
【図７ａ】フィルタリング処理される前の電子透かしが埋め込まれた映像の一例を示す図であり、
【図７ｂ】ハイブーストフィルタにより処理された結果の一例を示す図である。
【図７ｃ】ラプラシアンフィルタにより処理された結果の一例を示す図である。
【図７ｄ】ＤｏＧフィルタにより処理された結果の一例を示す図である。
【図８】電子透かしの効果的な検出のために用いられるマスク模様の一例を示す図である。
【図９】図１の電子透かし検出装置における電子透かし生成部の概略的な構成を示すブロック図である。
【図１０】電子透かしが埋め込まれている場合を仮定して数４の式により計算された相関度をフローティングした図である。
【図１１】図１の電子透かし検出装置の電子透かし検出部の動作のフローを示す図である。

Claims (25)

1. 映像信号に電子透かしを埋め込む方法において、
   ユーザーキーと固有キーを用いてそれぞれ疑似雑音符号を生成するステップと、
   前記ユーザーキーにより生成された疑似雑音符号と前記固有キーにより生成された疑似雑音符号を加算するステップと、
   電子透かしを生成するために前記加算された疑似雑音符号に逆離散コサイン変換を行うステップ、および
   前記電子透かしと前記映像信号を加算することを特徴とする電子透かしの埋込み方法。
2. 前記逆離散コサイン変換を行うステップの次に、前記電子透かしを所定のサイズにリサンプリングするステップをさらに含むことを特徴とする請求項１に記載の電子透かしの埋込み方法。
3. 前記リサンプリングは前記電子透かしより大きいサイズでなることを特徴とする請求項２に記載の電子透かしの埋込み方法。
4. 前記電子透かしと前記映像信号の加算は、
   前記映像信号を前記電子透かしのサイズに分割するステップ、および
   分割された映像信号と電子透かしをチャネル別に加算するステップを含むことを特徴とする請求項２に記載の電子透かしの埋込み方法。
5. 前記映像信号が２４ビットのサイズを有し、前記電子透かしと前記映像信号を加算する前にＲＧＢフォーマットで入力される前記映像信号をＹＩＱ（Ｙ：Ｌｕｍｉｎａｎｃｅ、Ｉ：Ｉｎ−Ｐｈａｓｅ、Ｑ：Ｑｕａｄｒａｔｕｒｅ）フォーマットに変換するステップ、および
   前記変換されたＹＩＱフォーマットの成分のうちＹ成分のみを抽出するステップをさらに含み、前記Ｙ成分が前記電子透かしに加算されることを特徴とする請求項４に記載の電子透かしの埋込み方法。
6. 前記映像信号が２４ビットのサイズを有し、ＲＧＢフォーマットで入力される前記映像信号がＲ、Ｇ、Ｂのチャネル別に前記電子透かしに加算されることを特徴とする請求項４に記載の電子透かしの埋込み方法。
7. 前記映像信号と前記電子透かしが加算された映像信号を保存するステップをさらに含み、前記保存ステップは、
   前記ＩＱ成分と前記加算された映像信号を合成するステップと、
   前記合成された信号をＲＧＢフォーマットに変換するステップ、および
   前記変換された信号を保存媒体に記録信号として保存するステップを含むことを特徴とする請求項５に記載の電子透かしの埋込み方法。
8. 前記映像信号が加算された電子透かしを含む映像信号を保存するステップをさらに含むことを特徴とする請求項４に記載の電子透かしの埋込み方法。
9. 映像信号に埋め込まれた電子透かしを検出する方法において、
   ユーザーキーと固有キーを用いてそれぞれ疑似雑音符号を生成するステップと、
   前記ユーザーキーにより生成された疑似雑音符号と前記固有キーにより生成された疑似雑音符号にそれぞれ逆離散コサイン変換を行うステップと、
   前記変換された信号を所定のサイズにスケーリングして電子透かしを形成するステップと、
   前記電子透かしと前記映像信号間の相関度を計算するステップ、および
   前記相関度に基づいて前記映像信号に埋め込まれた電子透かしを検出するステップを含むことを特徴とする電子透かしの検出方法。
10. 前記電子透かしと前記映像信号間の相関度を計算するに先立って、前記映像信号に埋め込まれた電子透かしの成分を強化するステップをさらに含むことを特徴とする請求項９に記載の電子透かしの検出方法。
11. 前記映像信号に埋め込まれた電子透かしの成分を強化するステップを行う前に、
    前記映像信号が２４ビットの信号であるか否かを判断するステップと、
    前記入力映像信号が２４ビットである場合、ＲＧＢフォーマットの入力映像信号をＹＩＱフォーマットに変換するステップ、および
    前記変換されたＹＩＱフォーマットの成分のうちＹ成分のみを抽出するステップをさらに含むことを特徴とする請求項１０に記載の電子透かしの検出方法。
12. 前記映像信号が２４ビットでない場合は、変換なしに前記映像信号に埋め込まれた電子透かしの成分が強化されることを特徴とする請求項１１に記載の電子透かしの検出方法。
13. 前記電子透かしの成分を強化するステップは、
    前記映像信号の高周波成分をフィルタリングするステップと、
    フィルタリングされた前記映像信号をブロック別に合算するステップ、および
    前記映像信号における映像成分のエネルギーを減らし、電子透かし成分のエネルギーを増大させるためにマスキングを行うステップを含むことを特徴とする請求項１０に記載の電子透かしの検出方法。
14. 前記高周波成分をフィルタリングするステップは、ハイブーストフィルタ、ラプラシアンフィルタまたはＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタにより行われることを特徴とする請求項１３に記載の電子透かしの検出方法。
15. 前記相関度の計算は下記の式により行われ、
    Ｃｏｒｒ＝ＩＦＦＴ２（ＦＦＴ２（Ｗ_ｉｍｇ）×ｃｏｎｊ（ＦＦＴ２（Ｗ_ｍ）））
    ここで、 Ｗ_ｉｍｇは電子透かしが埋め込まれた映像信号を示し、 Ｗ_ｍ はユーザーキーと固有キーを用いて生成された電子透かしを、ＩＦＦＴ２は２次元逆高速フーリエ変換を、ＦＦＴ２は２次元高速フーリエ変換を、またｃｏｎｊは共役複素数を示すことを特徴とする請求項９に記載の電子透かしの検出方法。
16. 前記透かしの検出ステップは、
    前記相関度からピーク位置を計算するステップと、
    前記ピークの先鋭度を計算するステップ、および
    前記ピーク位置と前記先鋭度により、前記映像信号の中に電子透かしが含まれているか否かを決定するステップを含み、
    前記ピークは前記ユーザーキーと前記固有キーの存在により生成されることを特徴とする請求項９に記載の電子透かしの検出方法。
17. 電子透かしを映像信号に埋め込む電子透かし埋込み装置において、
    電子透かしを生成するための電子透かし生成手段、および
    前記電子透かしを前記映像信号に加算するための第１の加算手段を含み、
    前記電子透かし生成手段は、
    ａ）ユーザーキーを用いて疑似雑音符号を生成する第１の疑似雑音符号発生手段と、
    ｂ）固有キーを用いて疑似雑音符号を生成する第２の疑似雑音符号発生手段と、
    ｃ）前記第１の疑似雑音符号発生手段と前記第２の疑似雑音符号発生手段で生成された疑似雑音符号を加算するための第１の加算手段、および
    ｄ）前記加算された擬似雑音符号を逆２次元離散コサイン変換して電子透かしを発生する変換手段を含むことを特徴とする電子透かしの埋込み装置。
18. 前記電子透かしを所定のサイズにリサンプリングするサンプリング手段をさらに含むことを特徴とする請求項１７に記載の電子透かしの埋込み装置。
19. 前記サンプリング手段は、前記電子透かしより大きいサイズにリサンプリングすることを特徴とする請求項１８に記載の電子透かしの埋込み装置。
20. 前記第１の加算手段は、
    前記映像信号を前記電子透かしのサイズに分割し、分割された映像信号と前記電子透かしをチャネル毎に加算することを特徴とする請求項１８に記載の電子透かしの埋込み装置。
21. 前記映像信号と前記電子透かしを加算する前に、前記映像信号のフォーマットを変換するための映像変換手段をさらに含み、前記映像変換手段は、
    前記映像信号のヘッダ情報を読み出し、２４ビットの映像であるか否かを判断する第１の判断手段と、
    前記映像信号が２４ビットの映像信号である場合、ＲＧＢフォーマットの前記映像信号をＹＩＱフォーマットに変換する第１の変換手段、および
    前記ＹＩＱフォーマットに変換された映像信号のうちＹ成分のみを抽出する抽出手段を含み、
    前記映像信号が２４ビットでない場合は、変換なしに第１の加算手段により出力されることを特徴とする請求項１７に記載の電子透かしの埋込み装置。
22. 前記第１の加算手段により前記電子透かしが埋め込まれた前記映像信号を保存するための映像保存手段をさらに含み、
    前記映像保存手段は、
    前記映像信号のヘッダ情報を読み出し、２４ビットの映像であるか否かを判断する第１の判断手段と、
    前記映像信号が２４ビットの映像信号である場合、Ｙ成分である前記電子透かしが埋め込まれた映像信号と前記抽出手段により分離されたＩＱ成分を合成する合成手段、および
    前記合成されたＹＩＱフォーマットの信号をＲＧＢフォーマットに変換する第２の変換手段を含んで処理された前記映像信号を記録媒体上に保存することを特徴とする請求項２１に記載の電子透かしの埋込み装置。
23. 映像信号に含まれた電子透かしを検出する装置において、
    再生された前記映像信号に含まれた電子透かしを強調するための前処理手段と、
    電子透かしを生成するための電子透かし生成手段と、
    前記電子透かしが強調された映像信号と前記電子透かし生成手段により生成された電子透かし間の相関度を求めるための相関手段、および
    前記相関度の結果に応じて、前記映像信号に埋め込まれた電子透かしを検出するための検出手段を含み、
    前記電子透かし生成手段は、
    ａ）ユーザーキーを用いて疑似雑音符号を生成する第１の疑似雑音符号発生手段と、
    ｂ）固有キーを用いて疑似雑音符号を生成する第２の疑似雑音符号発生手段と、
    ｃ）前記第１および第２の疑似雑音符号発生手段により生成された疑似雑音符号を、それぞれ逆２次元離散コサイン変換して電子透かしを発生する変換手段、および
    ｄ）前記電子透かしを所定のサイズにスケーリングする手段を含むことを特徴とする電子透かしの検出装置。
24. 前記前処理手段は、
    前記映像信号の周波数成分をフィルタリングするためのフィルタリング手段と、
    フィルタリングされた前記映像信号をブロック別に合算するためのブロック合算手段、および
    前記映像信号中の映像成分のエネルギーを減らし、前記映像信号の中に埋め込まれている電子透かし成分のエネルギーを強化するために、所定の形態のマスクを用いてマスキングを行うマスキング手段を含むことを特徴とする請求項２３に記載の電子透かしの検出装置。
25. 前記検出手段は、前記相関手段により得られる相関度に基づいてピークが発生する位置と前記ピークの先鋭度により、前記映像信号の中に電子透かしが含まれているか否かを決定することを特徴とする請求項２４に記載の電子透かしの検出装置。

Images