JP2009100296A - 電子透かし埋め込み装置、電子透かし検出装置、それらの方法およびそれらのプログラム - Google Patents

Abstract

【課題】再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができる電子透かし埋め込み装置を得る。
【解決手段】入力電子画像１００ａを画像分割部１１で複数の画像領域に分割する。埋め込み禁止画素抽出部１２では、分割電子画像１００ｂ中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する。透かしパターン生成部１３は、埋め込みビットと時刻情報と乱数初期値とに基づいて、時間方向に変化する電子透かしの透かしパターン１３ａを発生させる。埋め込み処理部１４は、分割電子画像１００ｂの領域毎に、埋め込み禁止画素以外の画素に透かしパターン１３ａを加算して電子透かしを埋め込み、埋め込み電子画像１００ｃを出力する。
【選択図】図１

Description

この発明は、映画館のスクリーンなどに投影された画像を再撮影して得られる再撮画像からも電子透かしの検出が容易に行える電子透かし埋め込み装置、電子透かし検出装置、およびそれらの方法とそれらのプログラムに関するものである。

近年、安価で高性能なビデオカメラの普及により、例えば映画館などで上映された映像を直接ビデオカメラで盗撮し、ＤＶＤなどにコピーしたものを違法販売する事件などが発生している。このようなことから映像の著作権の保護が課題となっており、その解決手法として、例えば、特許文献１に示されているような動画信号の電子透かし技術があった。この技術では、著作権を保護する対象の動画像に対して時間方向と空間方向に輝度変化パターンを電子透かしとして埋め込む。また、検出対象映像における映像信号に対して検出パターンとの相関値を取ることにより電子透かしとして埋め込まれた情報を検出する。これにより、著作権情報を電子透かしとして埋め込んでおけば、不正にコピーされた再撮映像からでも上記著作権情報を取り出すことができ、その著作権を主張することができる。これは、再撮影による不正コピーを抑制することにも繋がるものであった。

特表２００６−５１７０６８号公報

上記特許文献１に示されたような従来の再撮映像の電子透かし技術は、当該分野の基本となる考え方である。しかしながら、実際の電子透かし埋め込み装置や電子透かし検出装置の実現を考えた場合、例えば、埋め込まれた電子透かしの十分低い視認性の実現方法や、電子透かし検出時のフレームレート変換や再撮映像の歪み補正方法等、高検出率実現のためには何らかの工夫が必要であり、従来の基本的な電子透かし技術だけでは実現は困難であった。

本発明は上記のような課題を解決するためになされたもので、再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができ、また、この電子透かしを高精度に検出することができる電子透かし埋め込み装置および電子透かし埋め込み装置、更にはそれらの方法とプログラムを得ることを目的とする。

この発明に係る電子透かし埋め込み装置は、映像を複数の画像領域に分割する画像分割部と、映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出部と、所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する電子透かしの透かしパターンを発生させる透かしパターン生成部と、複数の画像領域毎に、埋め込み禁止画素以外の画素に透かしパターンを加算することにより電子透かしを埋め込む埋め込み処理部とを備えたものである。

この発明の電子透かし埋め込み装置は、複数の画像領域毎に埋め込み禁止画素以外の画素に時間方向に変化する透かしパターンを加算して電子透かしを埋め込むようにしたので、再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができる。

実施の形態１．
図１は、この発明の実施の形態１による電子透かし埋め込み装置を示す構成図である。
図において、電子透かし埋め込み装置１０は、画像分割部１１、埋め込み禁止画素抽出部１２、透かしパターン生成部１３、埋め込み処理部１４を備えている。
画像分割部１１は、入力された電子画像（本実施の形態では、図１に示すように、複数のフレームからなる動画像とし、以下、これを入力電子画像と称する）１００ａを複数領域の情報に空間的に分割した分割電子画像１００ｂを生成する機能部である。以降、画像分割部１１は、図２に示すように、入力電子画像１００ａのフレーム画像を６つのブロックセットに分割するよう構成されているとして説明する。尚、図２では、分割した各ブロックセットを区別するためにそれぞれのブロックセットに符号Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを付している。また、各ブロックセットは図２に示すように４つのブロックから構成されており、例えばブロックセットＸ（Ｘ＝Ａ〜Ｆのいずれか）における各ブロックを区別するためにそれぞれのブロックにラスタスキャン順に符号Ｘ１、Ｘ２、Ｘ３、Ｘ４を付している。もちろん、ブロックセットやブロックの数は上記の例の値である必要はなく、任意の組み合わせで実現可能である。

埋め込み禁止画素抽出部１２は、分割電子画像１００ｂの各画素に対して、所定の画素値の変化によって画質劣化が視認されやすいか否かを判定し、視認されやすいと判定された場合には当該画素について埋め込み禁止画素フラグ１２ａとして１を出力し、逆に視認されやすいと判定されなかった場合には当該画素について埋め込み禁止画素フラグ１２ａとして０を出力するよう構成されている。
具体的には、例えば画面の動きが少なくかつ平坦な領域では輝度変化を加えた場合の視認性が向上することから、一例として、下記式（１）
K=|F(x-2,y,t)-F(x,y,t)|+|F(x-1,y,t)-F(x,y,t)|+|F(x,y,t)-F(x,y,t-1)|+|F(x+1,y,t)-F(x,y,t)|+|F(x+2,y,t)-F(x,y,t)| 式(1)
によって得られる値Ｋが予め設定された閾値ＴｈＫ以下であれば動きが少なくかつ平坦な領域であるとして埋め込み禁止画素フラグ１２ａとして１を出力する。逆に前記値Ｋが前記閾値ＴｈＫより大きければ動きが少なくないかもしくは平坦ではない領域であるとして埋め込み禁止画素フラグ１２ａとして０を出力する。

透かしパターン生成部１３は、電子透かしを構成する埋め込みビットと時刻情報に応じて透かしパターン１３ａを生成して埋め込み処理部１４に出力する機能を備えており、図３に示すように番号生成部１３１、波形生成部１３２から構成される。番号生成部１３１は、鍵情報である時刻情報および乱数初期値を参照し、番号列として乱数列を使用して、所定の時刻毎に各ブロックセットに割り当てる透かし波形番号をランダムに決定し出力する。時刻情報は、例えば映像開始時点からのフレーム番号であってよい。また、所定の時刻とは後述する透かし波形の周期であり、本実施の形態では２４フレームとして説明する。

波形生成部１３２は、各ブロックセットの各画素に対して所定の埋め込み情報である埋め込みビットおよび透かし波形番号によって決定される透かし波形を生成し出力する機能部である。具体的には、波形生成部１３２は例えば図４に示す透かし波形番号に対応する位相の異なる透かし波形の正相波形と逆相波形を生成する機能を備えている。そして、入力される透かし波形番号に従って正相波形と逆相波形を決定すると共に、入力される埋め込みビットが「１」の場合にはブロックセット中の左上と右下のブロック（図２のＸ１とＸ４）内の画素に対しては正相波形を、右上と左下のブロック（図２のＸ２とＸ３）内の画素に対しては逆相波形を透かしパターン１３ａとして出力する。一方、入力される埋め込みビットが「０」の場合にはブロックセット中の左上と右下のブロック内の画素に対しては逆相波形を、右上と左下のブロック内の画素に対しては正相波形を透かしパターン１３ａとして出力する。

埋め込み処理部１４は、分割電子画像１００ｂの各画素のうち、埋め込み禁止画素抽出部１２によって埋め込み禁止画素フラグ１２ａとして０が設定された画素に対して、透かしパターン生成部１３より出力される透かしパターン１３ａを加算し、画素値の最大値および最小値でクリッピング処理を行い、埋め込み電子画像１００ｃとして出力する機能部である。

電子透かし埋め込み装置１０は、例えば汎用コンピュータなどを用いて、電子透かし埋め込みプログラムを実行させることによって具現化することができる。即ち、電子透かし埋め込み装置１０をコンピュータで実現する場合、上記の画像分割部１１〜埋め込み処理部１４は、それぞれの機能に対応したソフトウェアと、これらのソフトウェアを実行するためのＣＰＵやメモリ等からなるハードウェアとで構成されることになる。尚、電子透かし埋め込み装置１０を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接かかわるものでないので詳細な記載は省略する。

次に、実施の形態１の電子透かし埋め込み装置の動作について説明する。
図５は、本実施の形態１の電子透かし埋め込み装置１０の動作を示すフローチャートである。
電子透かし埋め込み対象である入力電子画像１００ａは、電子透かし埋め込み装置１０内部の画像分割部１１に入力されると、画像分割部１１は、入力電子画像１００ａをフレーム画像毎にブロックセットおよびブロックに分割した分割電子画像１００ｂを出力する（画像分割ステップ：ステップＳＴ１）。
分割電子画像１００ｂが埋め込み禁止画素抽出部１２に入力されると、埋め込み禁止画素抽出部１２は、入力された画像の各画素に対して所定の画素値の変化によって画質劣化が視認されやすいと判定した場合には埋め込み禁止画素フラグ１２ａとして１を出力し、視認されやすいと判定されなかった場合には埋め込み禁止画素フラグ１２ａとして０を出力する（埋め込み禁止画素抽出ステップ：ステップＳＴ２）。

また、埋め込みビットと時刻情報が透かしパターン生成部１３に入力されると、透かしパターン生成部１３内において、番号生成部１３１が、時刻情報および乱数初期値を参照し、所定の時刻毎に各ブロックセットに割り当てる透かし波形番号をランダムに決定し出力する（透かし波形番号生成ステップ：ステップＳＴ３）。透かしパターン生成部１３内の波形生成部１３２では、透かし波形番号に従って時刻情報と埋め込みビットに応じて各ブロックセット毎に位相の異なる波形を生成し、透かしパターン１３ａとして出力する。例えば、埋め込みビットとして「１」を埋め込むブロックセットに対しては、ブロックセット中の左上と右下のブロック（図２のＸ１とＸ４）内の画素に対して正相波形を、また、右上と左下のブロック（図２のＸ２とＸ３）内の画素に対しては逆相波形を透かしパターン１３ａとして出力する。一方、入力される埋め込みビットが「０」の場合には、ブロックセット中の左上と右下のブロック内の画素に対して逆相波形を、また、右上と左下のブロック内の画素に対しては正相波形を透かしパターン１３ａとして出力する（透かしパターン生成ステップ：ステップＳＴ４）。

分割電子画像１００ｂと透かしパターン１３ａおよび埋め込み禁止画素フラグ１２ａが埋め込み処理部１４に入力されると、各画素に対して埋め込み禁止画素フラグ１２ａとして０が設定された画素に対して、透かしパターン１３ａを加算し、画素値の最大値および最小値でクリッピング処理を行い、埋め込み電子画像１００ｃとして出力される（埋め込み処理ステップ：ステップＳＴ５）。

このように本実施の形態１による電子透かし埋め込み装置１０では、位相の異なる透かし波形をブロックセット毎にランダムに選択されるようにしたので、埋め込み電子画像１００ｃにおいて電子透かしによる画質劣化を少なくすることができる。

尚、上記実施の形態１では埋め込み禁止画素抽出部１２は、画像分割部１１から出力される分割電子画像１００ｂに基づいて処理するようにしたが、入力電子画像１００ａを入力して、埋め込み禁止画素の抽出処理を行うようにしてもよい。

以上のように、実施の形態１の電子透かし埋め込み装置によれば、映像を複数の画像領域に分割する画像分割部と、映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出部と、所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する電子透かしの透かしパターンを発生させる透かしパターン生成部と、複数の画像領域毎に、埋め込み禁止画素以外の画素に透かしパターンを加算することにより電子透かしを埋め込む埋め込み処理部とを備えたので、再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができる。

また、実施の形態１の電子透かし埋め込み装置によれば、透かしパターン生成部は、画像領域毎に、鍵情報として時刻情報及び乱数初期値を使用し、番号列として乱数列を使用して、所定の時刻毎に、予め設定された複数の透かし波形の中からいずれかの透かし波形を決定するための波形番号を出力する番号生成部と、波形番号と所定の埋め込み情報に対応した透かし波形を各画像領域の波形パターンとして生成する波形生成部とを備えたので、埋め込み電子画像において透かし波形がランダムに変化するように見えるため、埋め込みによる視覚的な妨害を低減させることができる。

また、実施の形態１の電子透かし埋め込み装置によれば、波形生成部は、所定の埋め込み情報に対応して波形番号に対応した透かし波形の正相波形と逆相波形を生成するようにしたので、位相の異なる透かし波形がランダムに変化するように見えるため、埋め込みによる視覚的な妨害を更に低減させることができる。

また、実施の形態１の電子透かし埋め込み方法によれば、映像に所定の電子透かしを埋め込む電子透かし埋め込み方法であって、映像を複数の画像領域に分割する画像分割ステップと、映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出ステップと、所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する透かしパターンを発生させる透かしパターン生成ステップと、複数の画像領域毎に、埋め込み禁止画素以外の画素に透かしパターンを加算することにより電子透かしを埋め込む埋め込み処理ステップとを備えたので、映像中に電子透かしを埋め込む場合に、再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができる。

また、実施の形態１の電子透かし埋め込みプログラムによれば、映像に所定の電子透かしを埋め込むコンピュータに、映像を複数の画像領域に分割する画像分割ステップと、映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出ステップと、所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する所定の電子透かしの透かしパターンを発生させる透かしパターン生成ステップと、複数の画像領域毎に、埋め込み禁止画素以外の画素に透かしパターンを加算することにより電子透かしを埋め込む埋め込み処理ステップとを実行させるようにしたので、映像中に電子透かしを埋め込む場合に、再撮映像に対応可能な電子透かしを画質劣化なしに埋め込むことができる電子透かし埋め込み方法をコンピュータ上で実行させることができる。

実施の形態２．
実施の形態２は、検出対象映像の所定の電子透かしが埋め込まれているかを判定する電子透かし検出装置に関するものである。
図６は、実施の形態２の電子透かし検出装置を示す構成図である。
電子透かし検出装置２０は、実施の形態１による電子透かし埋め込み装置１０によって出力される埋め込み電子画像１００ｃが、図示されない表示装置によって表示された際に、撮影装置（その図示は省略している）によって再撮されて得られる再撮電子画像２００ａから、電子透かしを検出する装置であり、フレームレート補正部２１、空間歪補正部２２、画像分割部２３、検出パターン生成部２４、相関算出部２５、透かし判定部２６を備えている。

フレームレート補正部２１は、入力された再撮電子画像２００ａのフレームレート（第二のフレームレート）を実施の形態１に記載の埋め込み電子画像１００ｃのフレームレート（第一のフレームレート）に変換し、レート変換後の画像をレート変換電子画像２００ｃとして出力する機能部である。
図７は、フレームレート補正部２１の詳細を示すブロック図である。
フレームレート補正部２１は、フレーム挿入部２１１と、３：２プルダウン処理部２１２から構成される。
例えば埋め込み電子画像１００ｃのフレームレートがプログレッシブで毎秒２４フレームであり、再撮電子画像２００ａのフレームレートがインタレースで毎秒２９．９７フレームである場合について説明する。
フレーム挿入部２１１は、再撮電子画像２００ａの１０００フレーム毎に１フレーム分をコピーすることにより再撮電子画像２００ａを毎秒３０フレームに変換し、拡張再撮電子画像２００ｂを出力する。３：２プルダウン処理部２１２は、拡張再撮電子画像２００ｂを３：２プルダウンすることによって毎秒２４フレームのプログレッシブ映像であるレート変換電子画像２００ｃとして出力する。

次に、空間歪補正部２２について説明する。空間歪補正部２２は、フレームレート補正部２１から出力されたレート変換電子画像２００ｃの空間歪を補正し歪補正映像を出力する機能部である。即ち、空間歪補正部２２は、表示された映像を再撮した場合の射影変換歪や撮影装置のレンズ歪といった空間歪を補正するための機能部であり、図８にその詳細を示す。
空間歪補正部２２は、画面を複数の画像領域に分割する画面分割部２２１と、特徴点マッチング部２２２と、画面合成部２２３から構成されている。

画面分割部２２１は、入力されたレート変換電子画像２００ｃを複数の画像領域に分割し、分割レート変換電子画像２００ｄとして出力する。特徴点マッチング部２２２は、入力された分割レート変換電子画像２００ｄにおける所定のフレームの所定の画像領域における複数の特徴点の位置情報である再撮映像特徴データと原画像特徴データとを用いて、再撮によって生じた空間歪を補正し、分割歪補正電子画像２００ｅを出力する領域歪補正部である。ここで、原画像特徴データとは、入力電子画像１００ａにおける所定のフレームの所定の画像領域に対応する画像領域における複数の特徴点の位置情報である。また、空間歪を補正する手法としては、例えばPhilippe Nguyen, Raphaele Balter, Nicolas Montfort, Severine Baudry, “Registration methods for nonblind watermark detection in digital cinema applications”, Proceedings of SPIE Volume: 5020, Security and Watermarking of Multimedia Contents V, pp.553-562, Jun 2003に開示された手法を適用する。画面合成部２２３は、フレームを分割した画像領域である分割歪補正電子画像２００ｅを合成し、フレーム毎に合成して歪補正電子画像２００ｆとして出力する。

このように、空間歪補正部２２では、画面を画像領域に分割し、それぞれの画像領域で特徴点マッチングによって再撮映像の空間歪を補正するよう構成されているため、精度よく空間歪が補正され、精度の高い検出が可能となる。

図６に戻り、画像分割部２３は、実施の形態１における画像分割部１１と同様に、入力される歪補正電子画像２００ｆを複数領域の情報に空間的に分割した分割補正電子画像２００ｇを出力する機能部である。

次に、検出パターン生成部２４について説明する。検出パターン生成部２４は、鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する電子透かしの検出パターンを発生させる機能部であり、図９にその詳細を示す。
検出パターン生成部２４は、時刻情報に応じて検出パターン２４ａを生成して相関算出部２５に出力する機能を備えており、番号生成部２４１、検出波形生成部２４２から構成されている。
番号生成部２４１は、鍵情報である時刻情報を参照し、所定の時刻毎に各ブロックセットに割り当てる透かし波形番号が実施の形態１における番号生成部１３１における透かし波形番号と同じ値となる乱数を出力する。検出波形生成部２４２は、各ブロックセットの各画素に対して透かし波形番号によって決定される透かし波形を生成し出力する。具体的には、検出波形生成部２４２は、例えば図４に図示する透かし波形番号に対応する位相の異なる透かし波形の正相波形と逆相波形を生成する機能を備えており、ブロックセット中の左上と右下のブロック（図２のＸ１とＸ４）内の画素に対しては正相波形を、右上と左下のブロック（図２のＸ２とＸ３）内の画素に対しては逆相波形を検出パターン２４ａとして出力する。

次に、相関算出部２５について説明する。相関算出部２５は、補正画像領域の画素値と検出パターン２４ａの相関値を画像分割部２３で分割された複数の画像領域毎に求め、これを、検出相関値として出力する機能部であり、図１０にその詳細を示す。
相関算出部２５は、分割補正電子画像２００ｇの各ブロックセットと、検出パターン２４ａとの相関値を検出パターン２４ａの１周期分毎に算出したものを所定の周期分積算し、積算相関値として出力するよう構成され、動き検出部２５１と、ＤＣ除去切り替えスイッチ２５２と、時間ＤＣ除去部２５３と、空間ＤＣ除去部２５４と、クリッピング部２５５と、相関値算出部２５６から構成されている。
動き検出部２５１は、分割補正電子画像２００ｇの各ブロックセットの検出パターンの周期毎の動き量を検出し出力する。例えば、処理対象ブロックセットの画素値のフレーム差分の絶対和を検出パターンの周期分だけ算出したものを動き量としてもよいし、動き探索を行うことによって得られる動きベクトルの大きさを検出パターンの周期分だけ加算したものを動き量としてもよい。

ＤＣ除去切り替えスイッチ２５２は、動き量と予め設定された動き閾値を比較し、動き量が動き閾値より小さい場合には処理対象ブロックセットが空間ＤＣ除去部２５４に入力されるようにし、逆に動き量が動き閾値より小さくない場合には処理対象ブロックセットが時間ＤＣ除去部２５３に入力されるように切り替える。
時間ＤＣ除去部２５３は、入力される処理対象ブロックセットの画素毎に検出パターンの１周期分の画素値の平均値を時間ＤＣ成分として算出し、各画素の画素値から時間ＤＣ成分を減算してＤＣ除去電子画像２００ｈとして出力する。
空間ＤＣ除去部２５４は、入力される処理対象ブロックセットのフレーム毎に画素値の平均値を空間ＤＣ成分として算出し、各画素の画素値から時間平均値を減算してＤＣ除去電子画像２００ｈとして出力する。
クリッピング部２５５は、ＤＣ除去電子画像２００ｈの各画素の値が、予め設定されたクリッピング最大値ＣＭＡＸとクリッピング最小値ＣＭＩＮの範囲に入るように閾値処理を行い、クリッピング電子画像２００ｉとして出力する。
相関値算出部２５６は、クリッピング電子画像２００ｉと検出パターン２４ａとの相関値を検出パターン２４ａの１周期分毎に算出したものを所定の周期分積算し、積算相関値として出力する。

図６に戻り、透かし判定部２６は、積算相関値と予め設定された閾値を比較することによって電子透かしが再撮電子画像２００ａ中に含まれているかを判定する機能部である。即ち、積算相関値が予め設定された閾値より大きければ検出されたビット情報が「１」であると判定し、積算相関値が予め設定された閾値より大きくなければ検出されたビット情報が「０」であると判定して、検出ビット情報として出力する。

電子透かし検出装置２０は、例えば汎用コンピュータなどを用いて、電子透かし検出プログラムを実行させることによって具現化することができる。即ち、電子透かし検出装置２０をコンピュータで実現する場合、上記のフレームレート補正部２１〜透かし判定部２６は、それぞれの機能に対応したソフトウェアと、これらのソフトウェアを実行するためのＣＰＵやメモリ等からなるハードウェアとで構成されることになる。尚、電子透かし検出装置２０を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接かかわるものでないので詳細な記載は省略する。

次に、実施の形態２の電子透かし検出装置の動作について説明する。
例えば、埋め込み電子画像１００ｃのフレームレートがプログレッシブで毎秒２４フレームであり、再撮電子画像２００ａのフレームレートがインタレースで毎秒２９．９７フレームである場合について説明する。
図１１は、本発明の実施の形態２による電子透かし検出装置２０の動作を示すフローチャートである。
再撮電子画像２００ａがフレームレート補正部２１に入力されると、フレームレート補正部２１は入力された再撮電子画像２００ａのフレームレートを実施の形態１に記載の埋め込み電子画像１００ｃのフレームレートに変換し、レート変換後の画像がレート変換電子画像２００ｃとして出力される（フレームレート変換ステップ：ステップＳＴ１１）。
より詳細には、再撮電子画像２００ａは、フレーム挿入部２１１に入力され、再撮電子画像２００ａの１０００フレーム毎に１フレーム分をコピーすることにより再撮電子画像２００ａを毎秒３０フレームに変換し、拡張再撮電子画像２００ｂが出力される（ステップＳＴ１２）。次に、拡張再撮電子画像２００ｂは、３：２プルダウン処理部２１２に入力され、３：２プルダウンされることによって毎秒２４フレームのプログレッシブ映像であるレート変換電子画像２００ｃとして出力される（ステップＳＴ１３）。

レート変換電子画像２００ｃは、空間歪補正部２２に入力され、空間歪補正が行われて歪補正電子画像２００ｆが出力される（ステップＳＴ１４）。より詳細には、レート変換電子画像２００ｃは画面分割部２２１に入力され、入力されたレート変換電子画像２００ｃは複数の画像領域に分割され、分割レート変換電子画像２００ｄとして出力される（ステップＳＴ１５）。次に、特徴点マッチング部２２２に、分割レート変換電子画像２００ｄと、分割レート変換電子画像２００ｄにおける所定のフレームの所定の画像領域における複数の特徴点の位置情報である再撮映像特徴データおよび入力電子画像１００ａにおける所定のフレームの所定の画像領域に対応する画像領域における複数の特徴点の位置情報である原画像特徴データが入力され、再撮映像特徴データと原画像特徴データを用いて再撮によって生じた空間歪が補正され、分割歪補正電子画像２００ｅとして出力される（ステップＳＴ１６）。更に、分割歪補正電子画像２００ｅは、画面合成部２２３においてフレーム毎に合成され、歪補正電子画像２００ｆとして出力される（ステップＳＴ１７）。

歪補正電子画像２００ｆは画像分割部２３において実施の形態１における画像分割部１１と同様に複数領域の情報に空間的に分割され、分割補正電子画像２００ｇとして出力される（画像分割ステップ：ステップＳＴ１８）。

一方、時刻情報および乱数初期値が検出パターン生成部２４に入力されると、時刻情報および乱数初期値に応じて検出パターン２４ａが生成され出力される（検出パターン生成ステップ：ステップＳＴ１９）。より詳細には、時刻情報および乱数初期値は番号生成部２４１に入力され、所定の時刻毎に各ブロックセットに割り当てる透かし波形番号が実施の形態１の番号生成部１３１における透かし波形番号と同じ値となる乱数として出力される（ステップＳＴ２０）。この透かし波形番号は検出波形生成部２４２に入力され、各ブロックセットの各画素に対して透かし波形番号によって決定される透かし波形が生成され、検出パターン２４ａとして出力される（ステップＳＴ２１）。

分割補正電子画像２００ｇの各ブロックセットと検出パターン２４ａは、相関算出部２５に入力され、相関算出部２５において、分割補正電子画像２００ｇの各ブロックセットと検出パターン２４ａの相関値を検出パターン２４ａの１周期分毎に算出したものが所定の周期分積算され、積算相関値として出力される（相関算出ステップ：ステップＳＴ２２）。より詳細には、分割補正電子画像２００ｇが相関算出部２５の動き検出部２５１に入力されると、分割補正電子画像２００ｇの各ブロックセットの検出パターンの周期毎の動き量が検出され出力される（ステップＳＴ２３）。この動き量は、ＤＣ除去切り替えスイッチ２５２に入力され、動き量と予め設定された動き閾値が比較され、動き量が動き閾値より小さい場合には処理対象ブロックセットが空間ＤＣ除去部２５４に入力されるようにし、逆に、動き量が動き閾値より小さくない場合には処理対象ブロックセットが時間ＤＣ除去部２５３に入力されるように切り替えが行われる（ステップＳＴ２４）。

分割補正電子画像２００ｇの処理対象ブロックセットが時間ＤＣ除去部２５３に入力されると、入力された処理対象ブロックセットの各画素毎に検出パターンの１周期分の画素値の平均値が時間ＤＣ成分として算出され、各画素の画素値から時間ＤＣ成分が減算されてＤＣ除去電子画像２００ｈとして出力される（ステップＳＴ２５）。分割補正電子画像２００ｇの処理対象ブロックセットが空間ＤＣ除去部２５４に入力されると、入力された処理対象ブロックセットのフレーム毎に画素値の平均値が空間ＤＣ成分として算出され、各画素の画素値から時間平均値が減算されてＤＣ除去電子画像２００ｈとして出力される（ステップＳＴ２６）。ＤＣ除去電子画像２００ｈはクリッピング部２５５に入力され、各画素の値が予め設定されたクリッピング最大値ＣＭＡＸとクリッピング最小値ＣＭＩＮの範囲に入るように閾値処理が行われ、クリッピング電子画像２００ｉとして出力される（ステップＳＴ２７）。クリッピング電子画像２００ｉと検出パターン２４ａが相関値算出部２５６に入力されると、クリッピング電子画像２００ｉと検出パターン２４ａとの相関値が検出パターン２４ａの１周期分毎に算出されたものが所定の周期分積算され、積算相関値として出力される（ステップＳＴ２８）。

相関算出部２５から出力された積算相関値は透かし判定部２６に入力され、予め設定された閾値と比較される。積算相関値が予め設定された閾値より大きければ検出されたビット情報が「１」であると判定され、積算相関値が予め設定された閾値より大きくなければ検出されたビット情報が「０」であると判定されて、検出ビット情報として出力される（透かし判定ステップ：ステップＳＴ２９）。

以上のように、実施の形態２の電子透かし検出装置によれば、鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する電子透かしの検出パターンを発生させる検出パターン生成部と、第二のフレームレートで撮影された検出対象映像を第一のフレームレートに変換したレート変換映像を出力するフレームレート変換部と、レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正部と、歪補正映像を、複数の画像領域に対応させた複数の補正画像領域に分割する画像分割部と、補正画像領域の画素値と検出パターンの相関値を複数の画像領域毎に求め、これを、検出相関値として出力する相関算出部と、検出相関値と予め設定された閾値を比較することによって電子透かしが検出対象映像中に含まれているかを判定する透かし判定部とを備えたので、電子透かしが埋め込まれた映像の再撮映像であっても、電子透かしを高精度に検出することができる。

また、実施の形態２の電子透かし検出装置によれば、検出パターン生成部は、鍵情報として時刻情報及び乱数初期値を使用し番号列として乱数列を使用するようにしたので、時間方向に変化する電子透かしの検出パターンを効率よく生成することができる。

また、実施の形態２の電子透かし検出装置によれば、フレームレート変換部は、入力された検出対象映像を３：２プルダウン処理することによってフレームレート変換しレート変換映像を出力する３：２プルダウン部を備えたので、検出パターンとの時間同期が精度よく取れ、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出装置によれば、フレームレート変換部は、入力された検出対象映像の特定のフレーム数を処理する毎に１フレームだけ繰り返し同一のフレームを出力するフレーム挿入部を備えたので、検出パターンとの時間同期が精度よく取れ、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出装置によれば、空間歪補正部は、入力されたレート変換映像を複数の画像領域に分割し画面分割映像を出力する画面分割部と、画面分割映像の各画像領域毎に空間歪補正を行い歪補正画像領域を出力する領域歪補正部と、歪補正画像領域を合成しフレーム毎に歪補正映像として出力する画面合成部とを備えたので、精度よく空間歪が補正され、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出装置によれば、相関算出部は、補正画像領域の各画素毎に所定の時間における画素値の平均値を時間ＤＣ成分として算出し、時間ＤＣ成分を補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する時間ＤＣ成分除去部と、ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、クリッピング映像と検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたので、電子透かしと検出パターンとの相関値が精度良く求められ、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出装置によれば、相関算出部は、補正画像領域毎に各時刻における画素値の平均値を空間ＤＣ成分として算出し、空間ＤＣ成分を補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する空間ＤＣ成分除去部と、ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、クリッピング映像と検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたので、電子透かしと検出パターンとの相関値が精度良く求められ、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出装置によれば、相関算出部は、補正画像領域の各画素毎に所定の時間における画素値の平均値を時間ＤＣ成分として算出し、時間ＤＣ成分を補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する時間ＤＣ成分除去部と、補正画像領域毎に各時刻における画素値の平均値を空間ＤＣ成分として算出し、空間ＤＣ成分を補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する空間ＤＣ成分除去部と、補正画像領域の所定の時間における動きを検出し動き量として出力する動き検出部と、動き量が所定の閾値より大きい場合には空間ＤＣ成分除去部によってＤＣ除去映像を出力し、動き量が所定の閾値より大きくない場合には時間ＤＣ成分除去部によってＤＣ除去映像を出力するよう切り替えるＤＣ除去切り替え部と、ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、クリッピング映像と検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたので、検出対象画像に適したＤＣ成分の除去を行うことができるため、更に、電子透かしと検出パターンとの相関値が精度良く求められ、精度の高い電子透かしの検出を行うことができる。

また、実施の形態２の電子透かし検出方法によれば、検出対象映像に所定の電子透かしが含まれているかを判定する電子透かし検出方法であって、鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する所定の電子透かしの検出パターンを発生させる検出パターン生成ステップと、第二のフレームレートで撮影された検出対象映像を第一のフレームレートに変換したレート変換映像を出力するフレームレート変換ステップと、レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正ステップと、歪補正映像を、複数の画像領域に対応させた複数の補正画像領域に分割する画像分割ステップと、補正画像領域の画素値と検出パターンの相関値を複数の画像領域毎に求め、これを、検出相関値として出力する相関算出ステップと、検出相関値と予め設定された閾値を比較することによって電子透かしが検出対象映像中に含まれているかを判定する透かし判定ステップとを備えたので、電子透かしが埋め込まれた映像の再撮映像であっても、電子透かしを高精度に検出することができる。

また、実施の形態２の電子透かし検出プログラムによれば、検出対象映像に所定の電子透かしが含まれているかを判定するコンピュータに、鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する所定の電子透かしの検出パターンを発生させる検出パターン生成ステップと、第二のフレームレートで撮影された検出対象映像を第一のフレームレートに変換したレート変換映像を出力するフレームレート変換ステップと、レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正ステップと、歪補正映像を、複数の画像領域に対応させた複数の補正画像領域に分割する画像分割ステップと、補正画像領域の画素値と検出パターンの相関値を複数の画像領域毎に求め、これを、検出相関値として出力する相関算出ステップと、検出相関値と予め設定された閾値を比較することによって電子透かしが検出対象映像中に含まれているかを判定する透かし判定ステップとを実行させるようにしたので、電子透かしが埋め込まれた映像の再撮映像であっても、電子透かしを高精度に検出することができる電子透かし検出方法をコンピュータ上で実行させることができる。

この発明の実施の形態１による電子透かし埋め込み装置を示す構成図である。 この発明の実施の形態１による電子透かし埋め込み装置の分割電子画像を示す説明図である。 この発明の実施の形態１による電子透かし埋め込み装置の透かしパターン生成部の構成図である。 この発明の実施の形態１による電子透かし埋め込み装置の透かし波形の説明図である。 この発明の実施の形態１による電子透かし埋め込み装置の動作を示すフローチャートである。 この発明の実施の形態２による電子透かし検出装置の構成図である。 この発明の実施の形態２による電子透かし検出装置のフレームレート補正部の構成図である。 この発明の実施の形態２による電子透かし検出装置の空間歪補正部の構成図である。 この発明の実施の形態２による電子透かし検出装置の検出パターン生成部の構成図である。 この発明の実施の形態２による電子透かし検出装置の相関算出部の構成図である。 この発明の実施の形態２による電子透かし検出装置の動作を示すフローチャートである。

符号の説明

１０ 電子透かし埋め込み装置、１１ 画像分割部、１２ 埋め込み禁止画素抽出部、１２ａ 埋め込み禁止画素フラグ、１３ 透かしパターン生成部、１３ａ 透かしパターン、１４ 埋め込み処理部、２０ 電子透かし検出装置、２１ フレームレート補正部、２２ 空間歪補正部、２３ 画像分割部、２４ 検出パターン生成部、２４ａ 検出パターン、２５ 相関算出部、２６ 透かし判定部、１００ａ 入力電子画像、１００ｂ 分割電子画像、１００ｃ 埋め込み電子画像、１３１ 番号生成部、１３２ 波形生成部、２００ａ 再撮電子画像、２００ｂ 拡張再撮電子画像、２００ｃ レート変換電子画像、２００ｄ 分割レート変換電子画像、２００ｅ 分割歪補正電子画像、２００ｆ 歪補正電子画像、２００ｇ 分割補正電子画像、２００ｈ ＤＣ除去電子画像、２００ｉ クリッピング電子画像、２１１ フレーム挿入部、２１２ ３：２プルダウン処理部、２２１ 画面分割部、２２２ 特徴点マッチング部、２２３ 画面合成部、２４１ 番号生成部、２４２ 検出波形生成部、２５１ 動き検出部、２５２ ＤＣ除去切り替えスイッチ、２５３ 時間ＤＣ除去部、２５４ 空間ＤＣ除去部、２５５ クリッピング部、２５６ 相関値算出部。

Claims (15)

1. 映像を複数の画像領域に分割する画像分割部と、
   前記映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出部と、
   所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する電子透かしの透かしパターンを発生させる透かしパターン生成部と、
   前記複数の画像領域毎に、前記埋め込み禁止画素以外の画素に前記透かしパターンを加算することにより前記電子透かしを埋め込む埋め込み処理部とを備えた電子透かし埋め込み装置。
2. 透かしパターン生成部は、
   画像領域毎に、鍵情報として時刻情報及び乱数初期値を使用し、番号列として乱数列を使用して、所定の時刻毎に、予め設定された複数の透かし波形の中からいずれかの透かし波形を決定するための波形番号を出力する番号生成部と、
   前記波形番号と所定の埋め込み情報に対応した透かし波形を各画像領域の波形パターンとして生成する波形生成部とを備えたことを特徴とする請求項１記載の電子透かし埋め込み装置。
3. 波形生成部は、所定の埋め込み情報に対応して波形番号に対応した透かし波形の正相波形と逆相波形を生成することを特徴とする請求項２記載の電子透かし埋め込み装置。
4. 鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する電子透かしの検出パターンを発生させる検出パターン生成部と、
   第二のフレームレートで撮影された検出対象映像を前記第一のフレームレートに変換したレート変換映像を出力するフレームレート変換部と、
   前記レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正部と、
   前記歪補正映像を、前記複数の画像領域に対応させた複数の補正画像領域に分割する画像分割部と、
   前記補正画像領域の画素値と前記検出パターンの相関値を前記複数の画像領域毎に求め、これを、検出相関値として出力する相関算出部と、
   前記検出相関値と予め設定された閾値を比較することによって前記電子透かしが前記検出対象映像中に含まれているかを判定する透かし判定部とを備えた電子透かし検出装置。
5. 検出パターン生成部は、鍵情報として時刻情報及び乱数初期値を使用し番号列として乱数列を使用することを特徴とする請求項４記載の電子透かし検出装置。
6. フレームレート変換部は、入力された検出対象映像を３：２プルダウン処理することによってフレームレート変換しレート変換映像を出力する３：２プルダウン部を備えることを特徴とする請求項４または請求項５記載の電子透かし検出装置。
7. フレームレート変換部は、入力された検出対象映像の特定のフレーム数を処理する毎に１フレームだけ繰り返し同一のフレームを出力するフレーム挿入部を備えることを特徴とする請求項４から請求項６のうちのいずれか１項記載の電子透かし検出装置。
8. 空間歪補正部は、
   入力されたレート変換映像を複数の画像領域に分割し画面分割映像を出力する画面分割部と、
   前記画面分割映像の各画像領域毎に空間歪補正を行い歪補正画像領域を出力する領域歪補正部と、
   前記歪補正画像領域を合成しフレーム毎に歪補正映像として出力する画面合成部とを備えたことを特徴とする請求項４から請求項７のうちのいずれか１項記載の電子透かし検出装置。
9. 相関算出部は、
   補正画像領域の各画素毎に所定の時間における画素値の平均値を時間ＤＣ成分として算出し、当該時間ＤＣ成分を前記補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する時間ＤＣ成分除去部と、
   前記ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、
   前記クリッピング映像と前記検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたことを特徴とする請求項４から請求項８のうちのいずれか１項記載の電子透かし検出装置。
10. 相関算出部は、
    前記補正画像領域毎に各時刻における画素値の平均値を空間ＤＣ成分として算出し、当該空間ＤＣ成分を前記補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する空間ＤＣ成分除去部と、
    前記ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、
    前記クリッピング映像と前記検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたことを特徴とする請求項４から請求項８のうちのいずれか１項記載の電子透かし検出装置。
11. 相関算出部は、
    補正画像領域の各画素毎に所定の時間における画素値の平均値を時間ＤＣ成分として算出し、当該時間ＤＣ成分を前記補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する時間ＤＣ成分除去部と、
    前記補正画像領域毎に各時刻における画素値の平均値を空間ＤＣ成分として算出し、当該空間ＤＣ成分を前記補正画像領域の各画素の画素値から減算し、ＤＣ除去映像として出力する空間ＤＣ成分除去部と、
    前記補正画像領域の所定の時間における動きを検出し動き量として出力する動き検出部と、
    前記動き量が所定の閾値より大きい場合には前記空間ＤＣ成分除去部によってＤＣ除去映像を出力し、前記動き量が所定の閾値より大きくない場合には前記時間ＤＣ成分除去部によってＤＣ除去映像を出力するよう切り替えるＤＣ除去切り替え部と、
    前記ＤＣ除去映像における画素値が所定のレンジ以内に収まるようにクリッピング処理を行いクリッピング映像として出力するクリッピング部と、
    前記クリッピング映像と前記検出パターンの相関値を算出し検出相関値として出力する相関値算出部とを備えたことを特徴とする請求項４から請求項８のうちのいずれか１項記載の電子透かし検出装置。
12. 映像に所定の電子透かしを埋め込む電子透かし埋め込み方法であって、
    前記映像を複数の画像領域に分割する画像分割ステップと、
    前記映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出ステップと、
    所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する透かしパターンを発生させる透かしパターン生成ステップと、
    前記複数の画像領域毎に、前記埋め込み禁止画素以外の画素に前記透かしパターンを加算することにより電子透かしを埋め込む埋め込み処理ステップとを備えた電子透かし埋め込み方法。
13. 検出対象映像に所定の電子透かしが含まれているかを判定する電子透かし検出方法であって、
    鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する前記所定の電子透かしの検出パターンを発生させる検出パターン生成ステップと、
    第二のフレームレートで撮影された前記検出対象映像を前記第一のフレームレートに変換したレート変換映像を出力するフレームレート変換ステップと、
    前記レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正ステップと、
    前記歪補正映像を、前記複数の画像領域に対応させた複数の補正画像領域に分割する画像分割ステップと、
    前記補正画像領域の画素値と前記検出パターンの相関値を前記複数の画像領域毎に求め、これを、検出相関値として出力する相関算出ステップと、
    前記検出相関値と予め設定された閾値を比較することによって前記電子透かしが前記検出対象映像中に含まれているかを判定する透かし判定ステップとを備えた電子透かし検出方法。
14. 映像に所定の電子透かしを埋め込むコンピュータに、
    前記映像を複数の画像領域に分割する画像分割ステップと、
    前記映像中で画素値の変化が視認されやすい特性を有する画素を埋め込み禁止画素として抽出する埋め込み禁止画素抽出ステップと、
    所定の埋め込み情報と鍵情報とに基づいて、時間方向に変化する前記所定の電子透かしの透かしパターンを発生させる透かしパターン生成ステップと、
    前記複数の画像領域毎に、前記埋め込み禁止画素以外の画素に前記透かしパターンを加算することにより前記電子透かしを埋め込む埋め込み処理ステップとを実行させるための電子透かし埋め込みプログラム。
15. 検出対象映像に所定の電子透かしが含まれているかを判定するコンピュータに、
    鍵情報に基づいて複数の画像領域毎に第一のフレームレートで時間方向に変化する前記所定の電子透かしの検出パターンを発生させる検出パターン生成ステップと、
    第二のフレームレートで撮影された前記検出対象映像を前記第一のフレームレートに変換したレート変換映像を出力するフレームレート変換ステップと、
    前記レート変換映像の空間歪を補正し歪補正映像を出力する空間歪補正ステップと、
    前記歪補正映像を、前記複数の画像領域に対応させた複数の補正画像領域に分割する画像分割ステップと、
    前記補正画像領域の画素値と前記検出パターンの相関値を前記複数の画像領域毎に求め、これを、検出相関値として出力する相関算出ステップと、
    前記検出相関値と予め設定された閾値を比較することによって前記電子透かしが前記検出対象映像中に含まれているかを判定する透かし判定ステップとを実行させるための電子透かし検出プログラム。

Images