JP2004048567A - 信号処理装置およびその方法 - Google Patents

Abstract

【課題】動きのある画像パターンを含む画像の画像信号に電子透かし信号を重畳する場合に、当該画像信号の画質劣化を抑制しながら、電子透かし信号を高い信頼性で検出可能な状態で当該画像信号に重畳できる信号処理装置を提供する。
【解決手段】デジタルビデオ信号ＤＶ０１の動きベクトルＭＶを検出する動き検出部２３と、デジタルビデオ信号ＤＶ０２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、動きベクトルＭＶに基づいてデジタルビデオ信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する変調部２４と、デジタルビデオ信号ＤＶ１に電子透かし信号ＷＭ２を重畳する加算部２５とを有する。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、電子透かし信号を画像信号に重畳する信号処理装置およびその方法に関する。
【０００２】
【従来の技術】
従来、光ディスク等の記録媒体や、放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されるコンテンツデータ等について、いわゆる電子透かしにより著作権の保護を図る方法が提案されている。この方法は、ビデオ信号やオーディオ信号等の再生に影響を与えない程度の微小な信号レベルにより、著作権に関するデータの変調信号等をビデオ信号やオーディオ信号等に重畳して記録するものである。画像、音声、データ等様々なデジタルコンテンツデータが劣化のない状態でコピーされたり配信されたりする可能性のあるデジタルネットワーク時代において、電子透かし技術はコンテンツデータ自身に情報を埋め込むことにより著作権を保護することのできる有力な技術である。
【０００３】
例えばデジタルビデオ信号等の画像信号において、電子透かしを実現する手法について説明する。ここでは画像信号の持つ統計的な性質に基づいて、ＰＮ系列の乱数データを基本パターンとして電子透かしを埋め込む場合について考える。簡単のため輝度信号のフレーム画像データを水平サイズ８画素、垂直サイズ６画素とする。
そして、ＰＮ系列の乱数データＰＮを、例えば、下記式（１）のように規定する。
【０００４】
【数１】

【０００５】
この乱数データＰＮは統計的に総和が０になるように生成される。次に電子透かしデータＤＣをこのような性質を持つ乱数データＰＮによりスペクトラム拡散する。すなわち電子透かしデータＤＣの極性が“１”の場合には、乱数データＰＮのパターンをそのまま使用することにより、電子透かし信号ＷＭは、下記式（２）のように規定される。
【０００６】
【数２】

【０００７】
また電子透かしデータＤＣの極性が“０”の場合には、乱数データＰＮのパターンを反転したものを使用することにより、電子透かし信号ＷＭは、下記式（３）のように規定される。
【０００８】
【数３】

【０００９】
なお、電子透かしデータＤＣが複数の情報ビットから構成される場合には、例えば輝度信号に応じたフレーム画像を適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直交するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【００１０】
一方、デジタルビデオ信号等の画像信号において、近接する輝度信号は同程度の画素値を持つという性質から、輝度信号のデジタルビデオ信号ＤＶ１（フレーム画像データ）を、下記式（４）のように規定する。
【００１１】
【数４】

【００１２】
電子透かしの埋め込みは、デジタルビデオ信号ＤＶ１に電子透かし信号ＷＭを加算することによって実現する。電子透かしデータＤＣの極性が“１”の場合には、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２は、下記式（５）で示される。
【００１３】
【数５】

【００１４】
このようにして電子透かしを埋め込んだデジタルビデオ信号ＤＶ２から、電子透かしデータＤＣを検出するためには、埋め込み時と同一のＰＮ系列の乱数データＰＮを使用する。
元の輝度信号のフレーム画像データＤＶ１と乱数データＰＮとの内積値Ｐ１は、下記式（６）で示される。
【００１５】
【数６】

【００１６】
画像信号の持つ統計的な性質から内積値Ｐ１は０近傍の値となる。これに対して電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮとの内積値Ｐ２は、電子透かしデータＤＣの極性が“１”の場合には、下記式（７）で示される。
【００１７】
【数７】

【００１８】
一方、デジタルビデオ信号ＤＶ２と乱数データＰＮとの内積値Ｐ２は、電子透かしデータ情報ＤＣの極性が“０”の場合には、下記式（８）で示される。
【００１９】
【数８】

【００２０】
上記内積値Ｐ２の絶対値は、乱数データＰＮ自身の内積値ＰＮ^２近傍の値となる。元のデジタルビデオ信号ＤＶ１と乱数データＰＮの内積値Ｐ１および、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮの内積値Ｐ２を様々な画像に対して計算すると、内積値Ｐ１およびＰ２の分布は、図２０に示すような確率密度関数で表現することができる。したがって、下記式（９）に示すように、適当な非負の閾値ＴＨを設定することにより、デジタルビデオ信号ＤＶ２から電子透かしデータＤＣを検出することができる。
【００２１】
【数９】

【００２２】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の２点が重要なポイントである。
電子透かしの有無を正確に判別するためには、図２０における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値ＴＨを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値ＴＨの選択は難しい。
電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にＦａｌｓｅ　Ｐｏｓｉｔｉｖｅと呼び、健全なコンテンツデータ流通を保証するためには極めて小さいＦａｌｓｅ　Ｐｏｓｉｔｉｖｅ値が要求される。したがって電子透かし検出の信頼性を向上するためには、下記式（１０）に示すように、非負のスカラー量Ｃを用いて電子透かしの埋め込み強度を大きくし、下記式（１１）に示すように、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮの内積値Ｐ２を十分に大きくすればよい。
【００２３】
【数１０】

【００２４】
【数１１】

【００２５】
【発明が解決しようとする課題】
電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とはトレードオフの関係にあり、検出精度を向上するために電子透かしの埋め込み強度を大きくすると画質の劣化が無視できないものになり、画質に及ぼす影響を抑制するために電子透かしの埋め込み強度を小さくすると検出の信頼性が確保できなくなる。
電子透かしの重畳・検出に際しては様々な方式が提案されているが、信頼性の高く安定した検出特性と劣化を知覚できないレベルの画質特性は未だ達成されておらず、これらを両立した電子透かし埋め込み方法を効果的に実現する必要がある。
ところで、人間の視覚が静止している電子透かしパターンを感知しやすいような画像信号の動き量が存在し、画像信号の動きがこれらの中間程度の場合には、人間の目が画像信号の動きに追従しながらも静止している電子透かしパターンを感知できる範囲になる。これにより動きのある画像信号においては、画面全体が動く場合には画面全体にわたって、一部の物体が動く場合にはその物体の近傍において、静止している電子透かしパターンが容易に知覚される状態になり、電子透かしの画質に及ぼす影響は無視できないものになってしまう。このためこのような動きのある画像信号においては、人間の視覚特性を考慮して電子透かしの画質に及ぼす影響を効果的に抑制する必要がある。
【００２６】
本発明は、動きのある画像パターンを含む画像の画像信号に電子透かし信号を重畳する場合に、当該画像信号の画質劣化を抑制しながら、電子透かし信号を高い信頼性で検出可能な状態で当該画像信号に重畳できる信号処理装置およびその方法を提供する。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明の信号処理装置は、画像信号の動きベクトルを検出する検出手段と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記動きベクトルに基づいて、前記電子透かし信号を変調する変調手段と、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段とを有する。
【００２８】
第１の発明の信号処理装置の作用は以下のようになる。
検出手段が、画像信号の動きベクトルを検出する。
次に、変調手段が、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記動きベクトルに基づいて、前記電子透かし信号を変調する。
次に、重畳手段が、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する。
【００２９】
第１の発明の信号処理装置は、好ましくは、前記変調手段は、前記検出手段が検出した前記動きベクトルの水平成分が大きくなるに従って前記電子透かし信号の水平周波数成分を減衰率を高め、前記動きベクトルの垂直成分が大きくなるに従って前記電子透かし信号の垂直周波数成分を減衰率を高めるように、前記電子透かし信号を変調する。
【００３０】
第２の発明の信号処理装置は、画像信号によって規定される画像内の予め決められた区分けされた複数の領域毎に動きベクトルを検出する検出手段と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記複数の領域毎に当該領域の前記動きベクトルに基づいて前記電子透かし信号を変調する変調手段と、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段とを有する。
【００３１】
第２の発明の信号処理装置の作用は以下のようになる。
検出手段が、画像信号によって規定される画像内の予め決められた区分けされた複数の領域毎に動きベクトルを検出する。
次に、変調手段が、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記複数の領域毎に当該領域の前記動きベクトルに基づいて前記電子透かし信号を変調する。
次に、重畳手段が、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する。
【００３２】
第３の発明の信号処理装置は、画像信号によって規定される画像内のオブジェクト毎に動きベクトルを検出する検出手段と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記オブジェクト毎に当該オブジェクトの前記動きベクトルに基づいて、前記電子透かし信号を変調する変調手段と、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段とを有する。
【００３３】
第３の発明の信号処理装置の作用は以下のようになる。
検出手段、画像信号によって規定される画像内のオブジェクト毎に動きベクトルを検出する。
次に、変調手段が、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記オブジェクト毎に当該オブジェクトの前記動きベクトルに基づいて、前記電子透かし信号を変調する。
次に、重畳手段が、前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する。
【００３４】
第４の発明の信号処理方法は、画像信号の動きベクトルを検出する第１の工程と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記動きベクトルに基づいて、前記電子透かし信号を変調する第２の工程と、前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程とを有する。
【００３５】
第５の発明の信号処理方法は、画像信号によって規定される画像内の予め決められた区分けされた複数の領域毎に動きベクトルを検出する第１の工程と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記複数の領域毎に当該領域の前記動きベクトルに基づいて前記電子透かし信号を変調する第２の工程と、前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程とを有する。
【００３６】
第６の発明の信号処理方法は、画像信号によって規定される画像内のオブジェクト毎に動きベクトルを検出する第１の工程と、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記オブジェクト毎に当該オブジェクトの前記動きベクトルに基づいて、前記電子透かし信号を変調する第２の工程と、前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程とを有する。
【００３７】
【発明の実施の形態】
第１実施形態
本実施形態は、第１および第４の発明に対応している。
以下、本発明の実施形態に係わる著作権保護システムについて説明する。
図１は、本実施形態の著作権保護システム１０１の全体構成図である。
図１に示す著作権保護システム１０１では、例えば、ビデオソースであるデジタルビデオ信号ＤＶ０１を放送局等より衛星波や地上波、ケーブル等の媒体を介して送信する場合に、電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１に電子透かしデータＤＣ０を付加（重畳）して生成したデジタルビデオ信号ＤＶ０２を送信する。
電子透かしデータＤＣ０はビデオソースの著作権情報等を示し、例えば、“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示している。
また、電子透かし埋込装置１は、例えば、”ＮｅｖｅｒＣｏｐｙ”（コピー不可）を示す電子透かしデータＤＣ０をデジタルビデオ信号ＤＶ０１に付加したデジタルビデオ信号ＤＶ０５を光ディスク８に記録する。
【００３８】
デジタルビデオ信号ＤＶ０２がセットトップボックス等により受信されると、例えば、録画機器２に内蔵された電子透かし検出装置３によって、デジタルビデオ信号ＤＶ０２に埋め込まれた電子透かし信号ＤＣ０が検出され、検出された電子透かし信号ＤＣ０が“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示す場合に、録画機器２に内蔵された電子透かし書換装置４により、電子透かし信号ＤＣ０を書き換えたデジタルビデオ信号ＤＶ０４を光ディスク５に記録する。
ここで書き換えられた電子透かし信号ＤＣ０はビデオソースの著作権情報等により構成され、“ＮｏＭｏｒｅＣｏｐｙ”（これ以上のコピー禁止）を示す。
【００３９】
録画機器６は、このようにして得られた光ディスク５，８に記録されたデジタルビデオ信号ＤＶ０４，ＤＶ０５を再生して、当該デジタルビデオ信号に重畳された電子透かし信号ＤＣ０を検出し、電子透かし信号ＤＣ０が“ＮｏＭｏｒｅＣｏｐｙ”あるいは”ＮｅｖｅｒＣｏｐｙ”を示す場合には、再生したデジタルビデオ信号を光ディスク７に記録するのを中止し、これによりコピー世代を管理する。
【００４０】
著作権保護システム１０１では、電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１の動きベクトルＭＶを検出し、当該動きベクトルＭＶに基づいて、デジタルビデオ信号ＤＶ０１に電子透かし信号を重畳した信号による画像内で当該電子透かし信号による画像が視覚困難になるように、電子透かし信号を変調し、当該変調された電子透かし信号をデジタルビデオ信号ＤＶ０１に重畳してデジタルビデオ信号ＤＶ０２を生成する。
また、電子透かし埋込装置１が同様に、デジタルビデオ信号ＤＶ０５を生成する。
また、電子透かし書換装置４も同様に、書き換えた電子透かし信号を変調し、当該変調された電子透かし信号をデジタルビデオ信号ＤＶ０２に重畳してデジタルビデオ信号ＤＶ０４を生成する。
【００４１】
様々な速さで動く画像パターン（絵柄）を含むデジタルビデオ信号に対して、静止している電子透かしパターンの電子透かし信号を重畳する場合について考える。
このように動いている画像パターンと静止している電子透かしパターンが同時に存在する画像においては、人間の視覚特性は動いている画像パターンの動きの大きさに依存する。
画像パターンが静止しているか、もしくは画像パターンの動きが極めて小さい場合には、人間の目には画像パターンおよび電子透かしパターンの双方が静止しているように認識されるため、電子透かしパターンによる画質の劣化を知覚しにくくなる。
また、画像パターンの動きが極めて大きい場合には、人間の目は画像パターンの動きに追従して静止している電子透かしパターンを感知できなくなり、電子透かしパターンによる画質の劣化を知覚しにくくなる。
【００４２】
これらに対して、人間の視覚が静止している電子透かしパターンを感知しやすいような画像パターンの動き量が存在する。
すなわち、画像パターンの動きが中間程度の場合には、人間の目が画像パターンの動きに追従しながらも静止している電子透かしパターンを感知できる範囲になる。
これにより、画面全体が動く場合には画面全体にわたって、一部の物体が動く場合にはその物体の近傍において、静止している電子透かしパターンが容易に知覚される状態になり、電子透かしの画質に及ぼす影響は無視できないものになってしまう。
著作権保護システム１０１では、電子透かし埋込装置１および電子透かし書換装置４が、デジタルビデオ信号ＤＶ０１，ＤＶ０３の動きベクトルＭＶを検出し、当該動きベクトルＭＶに基づいて、電子透かし信号ＷＭを変調してデジタルビデオ信号ＤＶ０１，ＤＶ０３に重畳することで、電子透かしの埋込強度を適切に保ちながら、電子透かしの画質に及ぼす影響を抑制する。
【００４３】
〔電子透かし埋込装置１〕
図２は、図１に示す電子透かし埋込装置１の機能ブロック図である。
図２に示すように、電子透かし埋込装置１は、例えば、ＰＮ生成部２１、乗算部２２、動き検出部２３、変調部２４および加算部２５を有する。
動き検出部２３が本発明の検出手段に対応し、変調部２４が本発明の変調手段に対応し、加算部２５が本発明の重畳手段に対応している。
また、ＰＮ生成部２１および乗算部２２が本発明の信号生成手段に対応している。
【００４４】
ＰＮ生成部２１は、ＰＮ系列の乱数データＰＮを生成し、これを乗算部２２に出力する。
乗算部２２は、乱数データＰＮを用いて電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部２４に出力する。
これにより、解析困難な電子透かしパターンＷＭ１が生成される。
【００４５】
動き検出部２３は、順次入力されるデジタルビデオ信号ＤＶ０１に対して画像の動き検出を行って動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）を生成し、これを変調部２４に出力する。
動き検出部２３による動き検出は人間の視覚特性を考慮した画像分析手法を基に行われ、動画像符号化の国際標準規格ＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ−２）やサンプリングレート変換等に用いられる。
【００４６】
変調部２４は、動き検出部２３から入力した動きベクトルＭＶを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成し、これを加算部２５に出力する。
具体的には、変調部２４は、動きベクトルＭＶ（＝（ＭＶｘ，ＭＶｙ））の水平成分ＭＶｘが大きくなるに従って電子透かし信号ＷＭ１の水平周波数成分（ＭＶｘの方向に対して垂直に生じるパターンの成分）の減衰率を高め、動きベクトルＭＶの垂直成分ＭＶｙが大きくなるに従って電子透かし信号ＷＭ１の垂直周波数成分（ＭＶｙの方向に対して垂直に生じるパターンの成分）のを減衰率を高めるように、電子透かし信号ＷＭ１を変調する。
例えば、変調部２４は、水平方向成分ＭＶｘが値を有する場合には電子透かし信号ＷＭ１の水平周波数成分を減衰させ、垂直方向成分ＭＶｙが値を有する場合には電子透かし信号ＷＭ１の垂直周波数成分を減衰させる。
これにより、デジタルビデオ信号ＤＶ０１に重畳されたときに、電子透かしパターンを人間の目に感知しにくくできる。
【００４７】
図３および図４は、デジタルビデオ信号ＤＶ０１が規定するフレーム画像内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するための概念図である。
この例は走行している車と背景の家や木、そしてさらに後方の景色といった具合に、フレーム画像内の複数の画像パターンのそれぞれに動きベクトルＭＶが存在している。
時間的に連続する図３（ａ）に示すフレーム画像と、図３（ｂ）に示すフレーム画像とに対して動きベクトル検出を行うと、動きベクトルＭＶは図３（ｃ）に示すように面積比が大きい物体（画像パターン）の動きベクトルになる。
このような図３（ａ），（ｂ）に示すフレーム画像のデジタルビデオ信号ＤＶ０１に、スペクトラム拡散された図３（ｄ）に示す電子透かしパターンの電子透かし信号ＷＭ１をそのまま重畳すると、動きベクトルＭＶの方向に動く絵柄の近傍において静止している図３（ｄ）に示す電子透かしパターンが容易に知覚される状態になり、電子透かしの画質に及ぼす影響は無視できないものになってしまう。
例えば、図３（ａ），（ｂ）に示す動きベクトル方向に動く車や地平線上において、特に動きベクトルに垂直に生じる電子透かしパターンが縦縞状のアーティファクトとなって現れ、画質の劣化を引き起こす。
【００４８】
変調部２４は、このような画質劣化を抑制するため、デジタルビデオ信号ＤＶ０１の動きベクトルＭＶに基づいて、電子透かし信号ＷＭ１を以下に示すように変調する。
すなわち、図３（ｄ）に示す電子透かしパターンの電子透かし信号ＷＭ１を、図４（ｅ）に示すパターンを生じる水平周波数成分と、図４（ｆ）に示すパターンを生じる垂直周波数成分とに分離することができた場合に、変調部２４は、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）の成分と大きさに応じて電子透かし信号ＷＭ１の水平周波数成分と垂直周波数成分とをそれぞれ独立に変調する。
【００４９】
図４の例においては動きベクトルＶ＝（ＭＶｘ，０）であるから、変調部２４は、電子透かしパターンの図４（ｅ）に示す水平周波数成分を図４（ｇ）に示すようにゼロに変調する。あるいは、変調部２４は、ＭＶｘの大きさに応じて当該水平周波数成分を減衰する等の制御を行う。
一方、ＭＶｙ＝０であるから、変調部２４は、電子透かしパターンの図４（ｆ）に示す垂直周波数成分を変調しない。あるいは、変調部２４は、電子透かし信号の水平周波数成分での減衰量を補償するために、図４（ｈ）に示すように、当該垂直周波数成分を増幅してもよい。
このようにすれば、画像信号の動きベクトルに垂直なパターンを生じる電子透かし成分のみを適応的に減衰することができ、人間の目に感知しにくくなるように電子透かしを埋め込むことが可能になり、電子透かしの画質に及ぼす影響を効果的に抑えることができる。
また減衰させた埋め込み量を動きベクトルに平行なパターンを生じる電子透かし成分に再配分することにより、全体の埋め込み強度を一定に保持して電子透かし検出の信頼性を確保することが可能になる。
【００５０】
図５は、図２に示す変調部２４の機能ブロック図である。
図５に示すように、変調部２４は、例えば、フィルタ係数制御部３１、水平フィルタ部３２および垂直フィルタ部３３を有する。
フィルタ係数制御部３１は、図２に示す動き検出部２３から入力した動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）に応じてフィルタ係数Ｃｘ，Ｃｙを生成し、フィルタ係数Ｃｘを水平フィルタ部３２に出力し、フィルタ係数Ｃｙを垂直フィルタ部３３に出力する。
ここで、フィルタ係数ＣｘおよびＣｙは、それぞれ水平フィルタ部３２および垂直フィルタ部３３の周波数特性を決定するパラメータ群であり、例えば遮断周波数（カットオフ周波数）やタップ長（遮断帯域の急峻度）等である。
具体的には、フィルタ係数制御部３１は、動きベクトルＭＶ（＝（ＭＶｘ，ＭＶｙ））の水平周波数成分ＭＶｘが大きくなるに従って電子透かし信号ＷＭ１の水平周波数成分を減衰率を高めるようにフィルタ係数Ｃｘを決定し、動きベクトルＭＶの垂直周波数成分ＭＶｙが大きくなるに従って電子透かし信号ＷＭ１の垂直周波数成分を減衰率を高めるようにフィルタ係数Ｃｙを決定する。
【００５１】
図６は、フィルタ係数制御部３１によるフィルタ係数Ｃｘ，Ｃｙの決定方法を説明するための図である。
フィルタ係数制御部３１は、図６に示すように、フィルタ係数Ｃｘ，Ｃｙを用いて、水平フィルタ部３２および垂直フィルタ部３３のカットオフ周波数を制御する。
例えば、フィルタ係数制御部３１は、動きベクトルＭＶの水平成分ＭＶｘが大きくなるに従って水平フィルタ部３２のカットオフ周波数が小さくなるように、フィルタ係数Ｃｘを決定する。
また、フィルタ係数制御部３１は、動きベクトルＭＶの垂直成分ＭＶｙが大きくなるに従って垂直フィルタ部３３のカットオフ周波数が小さくなるように、フィルタ係数Ｃｙを決定する。
また、図７に示すように、フィルタ係数制御部３１は、フィルタ係数Ｃｘ，Ｃｙを用いて水平フィルタ部３２および垂直フィルタ部３３のタップを指定して、水平フィルタ部３２および垂直フィルタ部３３のフィルタ特性を制御してもよい。
【００５２】
水平フィルタ部３２は、図２に示す乗算部２２から入力した電子透かし信号ＷＭ１の水平周波数成分を、フィルタ係数制御部３１から入力したフィルタ係数Ｃｘに応じたカットオフ周波数でフィルタ処理して電子透かし信号ＷＭ１’を生成し、これを垂直フィルタ部３３に出力する。
垂直フィルタ部３３は、水平フィルタ部３２から入力した電子透かし信号ＷＭ１の垂直周波数成分を、フィルタ係数制御部３１から入力したフィルタ係数Ｃｙに応じたカットオフ周波数でフィルタ処理して電子透かし信号ＷＭ２を生成し、これを図２に示す加算部２５に出力する。
【００５３】
加算部２５は、変調部２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１に加算（重畳）してデジタルビデオ信号ＤＶ０２を生成する。
デジタルビデオ信号ＤＶ０２は、前述したように、変調されて放送されたり、光ディスク８に書き込まれる。
【００５４】
以下、図２に示す電子透かし埋込装置１の動作例を説明する。
図８は、当該動作例を説明するためのフローチャートである。
ステップＳＰ１１：
ＰＮ生成部２１が、ＰＮ系列の乱数データＰＮを生成する。
ステップＳＰ１２：
乗算部２２が、ＰＮ生成部２１が生成したＰＮ系列の乱数データＰＮを用いて、電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部２４に出力する。
ステップＳＰ１３：
動き検出部２３が、デジタルビデオ信号ＤＶ０１内の連続したフレーム画像データを読み込む。
【００５５】
ステップＳＰ１４：
動き検出部２３が、ステップＳＰ１３で読み込まれたフレーム画像データの動き検出を行って動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）を生成し、これを変調部２４に出力する。
ステップＳＰ１５：
変調部２４のフィルタ係数制御部３１が、前述したように、ステップＳＰ１４で入力した動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）に応じてフィルタ係数Ｃｘ，Ｃｙを生成し、フィルタ係数Ｃｘを水平フィルタ部３２に出力し、フィルタ係数Ｃｙを垂直フィルタ部３３に出力する。
ステップＳＰ１６：
変調部２４の水平フィルタ部３２および垂直フィルタ部３３が、ステップＳＰ１５で入力したフィルタ係数Ｃｘ，Ｃｙを基に電子透かし信号ＷＭ１をフィルタ処理（変調）して電子透かし信号ＷＭ２を生成し、これを図２に示す加算部２５に出力する。
【００５６】
ステップＳＰ１７：
図２に示す加算部２５が、変調部２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１（フレーム画像データ）に加算（重畳）してデジタルビデオ信号ＤＶ０２を生成する。
ステップＳＰ１８：
電子透かし埋込装置１が、ステップＳＰ１７で生成したデジタルビデオ信号ＤＶ０２を、送信したり、光ディスク８に書き込む。
ステップＳＰ１９：
電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１の入力が終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ１３の処理に戻る。
【００５７】
〔電子透かし書換装置４〕
電子透かし書換装置４は、基本的に前述した電子透かし埋込装置１と同じ構成を有し、電子透かし検出装置３で検出された電子透かしデータに基づいて、所定の電子透かしデータをデジタルビデオ信号に重畳する。
【００５８】
〔電子透かし検出装置３〕
電子透かし検出装置３は、前述したように、デジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５に重畳された電子透かし信号ＷＭ２を検出する。
図９は、電子透かし検出装置３の機能ブロック図である。
図９に示すように、電子透かし検出装置３は、ＰＮ生成部４１、内積演算部４２および比較判定部４３を有する。
ＰＮ生成部４１は、ＰＮ生成部２１と同じＰＮ系列の乱数データＰＮを生成し、これを内積演算部４２に出力する。
内積演算部４２は、入力したデジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５に対して乱数データＰＮとの内積値を計算し、内積値Ｓを出力する。
比較判定部４３は、この内積値Ｓを最適に設定した閾値と比較することにより、電子透かし情報ＤＣ０の有無、さらには埋め込まれた電子透かしデータＤＣ０の極性を判定する。
すなわち、比較判定部４３は、非負の閾値ＴＨを用いて、下記式（１２）で示される判定基準で判定を行い、判定した電子透かしデータＤＣ０を出力する。
【００５９】
【数１２】

【００６０】
以下、図９に示す電子透かし検出装置３の動作例を説明する。
図１０は、当該動作例を説明するためのフローチャートである。
ステップＳＰ５１：
ＰＮ生成部４１が、ＰＮ生成部２１と同じＰＮ系列の乱数データＰＮを生成し、これを内積演算部４２に出力する。
ステップＳＰ５２：
内積演算部４２が、入力したデジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５内のフレーム画像データを読み込む。
ステップＳＰ５３：
内積演算部４２が、ステップＳＰ５２で読み込まれたフレーム画像データに対して、ステップＳＰ５１で入力された乱数データＰＮとの内積値を計算し、内積値Ｓを比較判定部４３に出力する。
【００６１】
ステップＳＰ５４：
比較判定部４３が、ステップＳＰ５３で入力した内積値Ｓを最適に設定した閾値と比較することにより、電子透かし情報ＤＣ０の有無、さらには埋め込まれた電子透かしデータＤＣ０の極性を判定（検出）する。
ステップＳＰ５５：
比較判定部４３が、ステップＳＰ５４で判定（検出）した電子透かしデータＤＣ０を出力する。
ステップＳＰ５６：
電子透かし検出装置３が、デジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ５２の処理に戻る。
【００６２】
図１に示す録画機器２では、電子透かし検出装置３において検出された電子透かしデータＤＣ０が”ＣｏｐｙＯｎｃｅ”を示す場合に、電子透かし書換装置４に”ＮｏＭｏｒｅＣｏｐｙ”を示すように指示する。
また、録画機器６は、電子透かし検出装置３において検出された電子透かしデータＤＣ０が”ＮｅｖｅｒＣｏｐｙ”を示す場合に、光ディスク５，８から読み出したデジタルビデオ信号ＤＶ０４，ＤＶ０５を光ディスク７に記録することを禁止する（コピー制限する）。
【００６３】
以下、図１に示す著作権保護システム１０１の全体動作例を説明する。
例えば、ビデオソースであるデジタルビデオ信号ＤＶ０１が放送局等より衛星波や地上波、ケーブル等の媒体を介して送信される。
そして、電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１に電子透かしデータＤＣ０を付加して生成したデジタルビデオ信号ＤＶ０２を送信する。
電子透かしデータＤＣ０はビデオソースの著作権情報等を示し、例えば、“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示している。
また、電子透かし埋込装置１は、例えば、”ＮｅｖｅｒＣｏｐｙ”を示す電子透かしデータＤＣ０をデジタルビデオ信号ＤＶ０１に付加したデジタルビデオ信号ＤＶ０５を光ディスク８に記録する。
このとき、電子透かし埋込装置１が、電子透かし信号ＤＣ０を用いて電子透かし信号ＷＭ１を生成すると共に、デジタルビデオ信号ＤＶ０１の動きベクトルＭＶを検出する。
そして、電子透かし埋込装置１が、当該動きベクトルＭＶに基づいて、デジタルビデオ信号ＤＶ０１に電子透かし信号ＷＭを重畳した信号による画像内で電子透かし信号ＷＭによる画像が視覚困難になるように、電子透かし信号ＷＭを変調し、当該電子透かし信号ＷＭをデジタルビデオ信号ＤＶ０１に重畳してデジタルビデオ信号ＤＶ０２を生成して送信する。
また、電子透かし埋込装置１が同様に、デジタルビデオ信号ＤＶ０５を生成して光ディスク８に記録する。
【００６４】
デジタルビデオ信号ＤＶ０２がセットトップボックス等により受信されると、例えば、録画機器２に内蔵された電子透かし検出装置３によって、デジタルビデオ信号ＤＶ０２に埋め込まれた電子透かしデータＤＣ０が検出され、検出された電子透かしデータＤＣ０が“ＣｏｐｙＯｎｃｅ”を示す場合に、録画機器２に内蔵された電子透かし書換装置４により、電子透かし信号ＤＣ０を書き換えたデジタルビデオ信号ＤＶ０４を光ディスク５に記録する。
ここで書き換えられた電子透かし信号ＤＣ０はビデオソースの著作権情報等により構成され、“ＮｏＭｏｒｅＣｏｐｙ”（コピー禁止）を示す。
【００６５】
一方、録画機器６は、このようにして得られた光ディスク５，８に記録されたデジタルビデオ信号ＤＶ０４，ＤＶ０５を再生して、前述したように、当該デジタルビデオ信号に付加された電子透かしデータＤＣ０を検出し、電子透かし信号ＤＣ０が“ＮｏＭｏｒｅＣｏｐｙ”あるいは”ＮｅｖｅｒＣｏｐｙ”を示す場合には、再生したデジタルビデオ信号を光ディスク７に記録するのを中止し、これによりコピー世代を管理する。
【００６６】
以上に説明したように、電子透かし埋込装置１および電子透かし書換装置４によれば、入力したデジタルビデオ信号を処理する際に、入力した時間的に連続するフレーム画像データから構成されるデジタルビデオ信号に対して動きベクトルＭＶの検出を行い、検出された動きベクトルＭＶに基づいて電子透かし信号を対応する周波数成分毎に適応的に変調することにより、フレーム画像データの動きベクトルに垂直なパターンとして現れる電子透かし成分のみを適応的に減衰することができる。
そのため、電子透かし埋込装置１および電子透かし書換装置４によれば、人間の目に感知しにくくなるようにデジタルビデオ信号に電子透かし信号を重畳することが可能になり、電子透かしが画質に及ぼす影響を効果的に抑制することができる。
また、電子透かし埋込装置１および電子透かし書換装置４によれば、減衰させた埋め込み量を画像信号の動きベクトルに平行な電子透かし成分に再配分することにより、全体の埋め込み強度を一定に保持して電子透かし検出装置３による電子透かし検出の信頼性を確保することが可能になる。
これらにより、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【００６７】
第２実施形態
本実施形態は、第２および第５の発明に対応している。
上述した第１実施形態では、図３および図４を用いて説明したように、図２に示す動き検出部２３における動きベクトルＭＶの検出、並びに変調部２４における電子透かし信号ＷＭ１の変調を、フレーム画像データ全体を対象として検出した動きベクトルを用いて行う場合を例示した。
本実施形態の電子透かし埋込装置１ａは、図２に示す動き検出部２３における動きベクトルＭＶの検出、並びに変調部２４における電子透かし信号ＷＭ１の変調を、フレーム画像データ内に規定された複数のブロックについて各ブロックを単位として行う。電子透かし埋込装置１ａのその他の機能は、第１実施形態で説明した電子透かし埋込装置１と同じだといえる。
【００６８】
図１１および図１２は、本実施形態の電子透かし埋込装置１ａによる処理を説明するための図である。
例えば、図１１（ａ），（ｂ）に示すようにデジタルビデオ信号ＤＶ０１内の２枚のフレーム画像データ間で動きベクトルＭＶを検出する場合に、動き検出部２３ａは、図１１（ａ），（ｂ）のフレーム画像データを、図１１（ｃ），（ｄ）に示すように、３×３の６枚のブロックに分割して各ブロック毎に動きベクトルＭＶの検出を行う。
この場合に、動き検出部２３ａが検出した各ブロックの動きベクトルＭＶ（＝（ＭＶｘ，ＭＶｙ））は、例えば、図１２（ｅ）のようになる。
そして、変調部２４が、図１２（ｅ）に示す各ブロックの動きベクトルＭＶを基に、図１２（ｆ）示すようにスペクトラム拡散された電子透かし信号ＷＭ１を各ブロック毎にデジタルビデオ信号ＤＶ０１に重畳する。
変調部２４ａは、各ブロックに対して検出された動きベクトルＶ＝（Ｖｘ，Ｖｙ）の成分と大きさに応じて、第１実施形態と同様に、図１２（ｆ）に示す電子透かしパターンの水平周波数成分と垂直周波数成分とを各ブロック毎に、電子透かし信号に対応した画像がデジタルビデオ信号ＤＶ２に応じた画像内で視覚困難になるように電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
【００６９】
図１１および図１２に示す例においては、車の画像パターンが含まれるブロックでは動きベクトルＶ＝（Ｖｘ，０）（Ｖｘ：大）であるから、変調部２４ａは、電子透かしパターンの水平周波数成分をゼロにし、水平周波数成分での減衰量を補償するために垂直周波数成分を増幅する等の制御を行う。
また、家や木の画像パターンが含まれるブロックでは動きベクトルＶ＝（Ｖｘ，０）（Ｖｘ：小）であるから、変調部２４ａは、電子透かしパターンの水平周波数成分を減衰し、電子透かしパターンの垂直周波数成分を変調しない等の制御を行う。
さらに、その他のブロックでは動きベクトルＶ＝（Ｖｘ，０）（Ｖｘ≒０）またはＶ＝（０，０）であるから、変調部２４ａは、このようなブロックは静止画像であると見なして図１２（ｆ）に示す電子透かしパターンをそのままデジタルビデオ信号ＤＶ０１に重畳する等の制御を行う。
これにより、このように各ブロック毎に適応的な変調を行った電子透かしパターンの水平周波数成分および垂直周波数成分は、それぞれ図１２（ｇ），（ｈ）に示すようになる。
【００７０】
第３実施形態
本実施形態は、第３および第６の発明に対応している。
本実施形態では、電子透かし埋込装置１において、デジタルビデオ信号ＤＶ０１のフレーム画像データを、上述した第２実施形態よりも細密なブロックに分割し、分割を行った上で、複数のブロックから構成されるオブジェクトを特定し、当該オブジェクト毎に動きベクトルの検出、並びに電子透かし信号の変調処理を行う。
【００７１】
図１３および図１４は、本実施形態における動き検出部２３および変調部２４の処理を説明するための図である。
例えば、図１３（ａ），（ｂ）に示すようにデジタルビデオ信号ＤＶ０１内の２枚のフレーム画像データ間で動きベクトルＭＶを検出する場合に、動き検出部２３ｂは、図１３（ａ），（ｂ）のフレーム画像データを、例えば、フレーム画像データ内の種々の画像パターンを特定可能な程度に小さいブロックを単位として分割し、図１３（ｃ），（ｄ）に示すように、複数のブロックを組み合わせて各画像パターンを特定する。
そして、動き検出部２３ｂが、図１４（ｅ）に示すように、当該特定された画像パターン毎に動きベクトルＭＶ（＝（ＭＶｘ，ＭＶｙ））の検出を行う。
そして、変調部２４ｂが、図１４（ｅ）に示す各画像パターンの動きベクトルＭＶを基に、図１４（ｆ）に示すようにスペクトラム拡散された電子透かしパターンを各画像パターン毎にデジタルビデオ信号ＤＶ０１に重畳する。
変調部２４ｂは、各画像パターンに対して検出された動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）の成分と大きさに応じて、第１実施形態と同様に、図１４（ｆ）に示す電子透かしパターンの水平周波数成分と垂直周波数成分とを各画像パターン毎に、電子透かし信号に対応した画像がデジタルビデオ信号ＤＶ２に応じた画像内で視覚困難になるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
【００７２】
図１３および図１４の例においては車のオブジェクトでは動きベクトルＭＶ＝（ＭＶｘ，０）（ＭＶｘ：大）であるから、変調部２４ｂは、電子透かしパターンの水平周波数成分をゼロにし、水平周波数成分での減衰量を補償するために垂直周波数成分を増幅する等の制御を行う。
また、家や木のオブジェクトでは動きベクトルＭＶ＝（ＭＶｘ，０）（ＭＶｘ：小）であるから、変調部２４は、電子透かしパターンの水平周波数成分を減衰し、電子透かしパターンの垂直周波数成分を変調しない等の制御を行う。
さらに、その他の領域では動きベクトルＭＶ＝（ＭＶｘ，０）（ＭＶｘ≒０）またはＭＶ＝（０，０）であるから、変調部２４ｂは、このような領域は静止画像であると見なして図１４（ｆ）に示す電子透かしパターンをそのままデジタルビデオ信号ＤＶ０１に重畳する等の制御を行う。
このように各オブジェクト毎に適応的な変調を行った電子透かしパターンの水平周波数成分および垂直周波数成分は、例えば、それぞれ図１４（ｇ），（ｈ）のようになる。
【００７３】
上述したように、本実施形態の電子透かし埋込装置１ｂによれば、デジタルビデオ信号ＤＶ０１に対してブロック分割等の前処理を施した上で動き検出と適応処理を行うことで、各オブジェクトに対して検出された動きベクトルに基づいて電子透かしパターンを各オブジェクト毎に適応的に変調することができる。
これにより、複数の動きベクトルが存在するようなデジタルビデオ信号ＤＶ０１に対しても動きベクトルＭＶの向きと大きさに応じて適応的に電子透かしを埋め込むことが可能になる。
そのため、電子透かし埋込装置１ｂによれば、デジタルビデオ信号ＤＶ０１の動きベクトルに垂直な電子透かし成分のみを適応的に減衰することができ、人間の目に感知しにくくなるように電子透かしを埋め込むことが可能になり、電子透かしの画質に及ぼす影響を効果的に抑えることができる。また、第１実施形態で説明したように、減衰させた埋め込み量を画像信号の動きベクトルに平行な電子透かし成分に再配分することにより、全体の埋め込み強度を一定に保持して電子透かし検出の信頼性を確保することが可能になる。
【００７４】
第４実施形態
上述した第１実施形態では、図６に示すように、動きベクトルＭＶに基づいて各フィルタのフィルタ係数を制御することで、電子透かし信号ＷＭ１の垂直周波数成分および水平周波数成分を変調する場合を例示した。
本実施形態では、電子透かし信号ＭＷ１をＦＦＴ処理して変調する場合を例示する。
図１５は、本実施形態における図２に示す変調部２４ｃの機能ブロック図である。
本実施形態の電子透かし埋込装置は、変調部２４ｃの構成を除いて、第１実施形態の電子透かし埋込装置１と同じ構成を有している。
【００７５】
図１５に示すように、本実施形態の変調部２４ｃは、例えば、ＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）　部３４、ＦＦＴ係数制御部３５およびＩＦＦＴ（Ｉｎｖｅｒｓｅ
ＦＦＴ）　部３６を有する。
ＦＦＴ部３４は、電子透かし信号ＷＭ１に対してＦＦＴ演算を施し、ＦＦＴ係数ＤＳ１を出力する。すなわち、ＦＦＴ部３４は、電子透かし信号ＷＭ１を周波数領域に変換する。
ＦＦＴ係数制御部３５は、動き検出部２３から入力した動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）に応じてＦＦＴ係数ＤＳ１を適応的に制御し、変調後のＦＦＴ係数ＤＳ２を出力する。
ＩＦＦＴ部３６は、ＦＦＴ係数制御部３５から入力したＦＦＴ係数ＤＳ２にＩＦＦＴ演算を施して電子透かし信号ＷＭ２を生成し、これを図２に示す加算部２５に出力する。
【００７６】
図１６および図１７は、本実施形態の変調部２４ｃのＦＦＴ係数制御部３５の処理を説明するための図である。
図１６および図１７において、横軸は電子透かし信号ＷＭ１の水平周波数成分の値を示し、縦軸は電子透かし信号ＷＭ１の垂直周波数成分の値を示している。そして、縦軸と横軸とによって規定される位置に表示されたパターンは、対応する水平周波数成分および垂直周波数成分を持つ電子透かし信号のパターンを示している。
図１６および図１７に示すように、原点から離れて周波数が高くなるほど上記パターンの縞模様が細かくなっている。
【００７７】
図１５に示すＦＦＴ係数制御部３５は、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）に応じて電子透かし信号ＷＭ１の水平周波数成分および垂直周波数成分を周波数空間において適応的にフィルタ処理する場合に、ＦＦＴ係数ＤＳ１の高周波成分側から減衰するように制御することにより、人間の視覚特性を考慮したＦＦＴ係数ＤＳ２を出力する。
ＦＦＴ係数制御部３５は、例えば、動きベクトルＭＶの水平成分ＭＶｘが大きい場合にはＦＦＴ係数の水平周波数方向にフィルタ処理を行い、動きベクトルの垂直成分ＭＶｙが大きい場合にはＦＦＴ係数の垂直周波数方向にフィルタ処理を行うことにより、動きベクトルＭＶに応じて電子透かしパターンの水平周波数成分および垂直周波数成分を適応的に減衰する。
例えば、ＦＦＴ係数制御部３５は、動きベクトルＭＶ＝（ＭＶｘ，０）の場合にはＦＦＴ係数の水平周波数成分を適応的に減衰し、この減衰量をＦＦＴ係数の垂直周波数成分に再配分することにより、全体の埋め込み強度を一定に保持して電子透かし検出の信頼性を確保する。
【００７８】
以下、本発明の実施形態の電子透かし埋込装置１の動作例を説明する。
図１８は、当該動作例を説明するためのフローチャートである。
ステップＳＰ３１：
ＰＮ生成部２１が、ＰＮ系列の乱数データＰＮを生成する。
ステップＳＰ３２：
乗算部２２が、ＰＮ生成部２１が生成したＰＮ系列の乱数データＰＮを用いて、電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部２４に出力する。
ステップＳＰ３３：
動き検出部２３が、デジタルビデオ信号ＤＶ０１内の連続したフレーム画像データを読み込む。
【００７９】
ステップＳＰ３４：
動き検出部２３が、ステップＳＰ３３で読み込まれたフレーム画像データの動き検出を行って動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）を生成し、これを変調部２４に出力する。
ステップＳＰ３５：
図１５に示す変調部２４のＦＦＴ部３４が、電子透かし信号ＷＭ１に対してＦＦＴ演算を施し、ＦＦＴ係数ＤＳ１を出力する。
ステップＳＰ３６：
ＦＦＴ係数制御部３５が、前述したように、動き検出部２３から入力した動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）に応じてＦＦＴ係数ＤＳ１を適応的に制御し、変調後のＦＦＴ係数ＤＳ２を出力する。
【００８０】
ステップＳＰ３７：
ＩＦＦＴ部３６が、ＦＦＴ係数制御部３５から入力したＦＦＴ係数ＤＳ２にＩＦＦＴ演算を施して電子透かし信号ＷＭ２を生成し、これを図２に示す加算部２５に出力する。
【００８１】
ステップＳＰ３８：
図２に示す加算部２５が、変調部２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１（フレーム画像データ）に加算（重畳）してデジタルビデオ信号ＤＶ０２を生成する。
ステップＳＰ３９：
電子透かし埋込装置１が、ステップＳＰ３８で生成したデジタルビデオ信号ＤＶ０２を出力する。
ステップＳＰ４０：
電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１の入力が終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ３３の処理に戻る。
【００８２】
本発明は上述した実施形態には限定されない。
例えば、第１実施形態の変調部２４は、デジタルビデオ信号ＤＶ０２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、デジタルビデオ信号ＤＶ０１に対応した画像の粗さに基づいて、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成してもよい。
【００８３】
また、例えば、上述した実施形態では、図５に示すように、電子透かし信号ＷＭ１に対して水平フィルタ部３２による水平周数成分についてのフィルタ処理に続いて、垂直フィルタ部３３による垂直周波数成分のフィルタ処理を行ったが、図１９に示すように、電子透かし信号ＷＭ１に対して垂直フィルタ部３３による垂直周数成分についてのフィルタ処理に続いて、水平フィルタ部３２による水平周波数成分のフィルタ処理を行ってもよい。
【００８４】
また上述の実施の形態においては、デジタルビデオ信号の動きベクトルＭＶを検出して電子透かしパターンを適応的に変調する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のエッジ情報等を検出して電子透かしパターンを変調する場合や、デジタルビデオ信号の輝度情報や色情報等の種々の情報を分析して処理する場合等と組み合わせて電子透かしの重畳を行う場合に広く適用することができる。このようにすれば人間の目に感知しにくくなるように電子透かしを埋め込むことが可能になり、電子透かしの画質に及ぼす影響を効果的に抑えることができる。
【００８５】
また上述の実施の形態においては、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【００８６】
また上述の実施の形態においては、著作権情報をＰＮ系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が０になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【００８７】
さらに上述の実施の形態においては、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【００８８】
また上述の実施の形態においては、放送局等よりデジタルビデオ信号を衛星波や地上波、ケーブル等の媒体を介して伝送する場合、および光ディスクにデジタルビデオ信号を記録、再生する場合について述べたが、本発明はこれに限らず、例えばインターネットを介して種々の情報を伝送する場合等に広く適用することができる。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、動きのある画像パターンを含む画像の画像信号に電子透かし信号を重畳する場合に、当該画像信号の画質劣化を抑制しながら、電子透かし信号を高い信頼性で検出可能な状態で当該画像信号に重畳できる信号処理装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態の著作権保護システムの全体構成図である。
【図２】図２は、図１に示す電子透かし埋込装置の機能ブロック図である。
【図３】図３は、本発明の第１実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するたの概念図である。
【図４】図４は、本発明の第１実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するたの概念図である。
【図５】図５は、図２に示す変調部の機能ブロック図である。
【図６】図６は、図５に示すフィルタ係数制御部による制御を説明するための図である。
【図７】図７は、図５に示すフィルタ係数制御部による制御を説明するための図である。
【図８】図８は、図２に示す電子透かし埋込装置の動作例を説明するためのフローチャートである。
【図９】図９は、図１に示す電子透かし検出装置の機能ブロック図である。
【図１０】図１０は、図９に示す電子透かし検出装置の動作例を説明するためのフローチャートである。
【図１１】図１１は、本発明の第２実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するための概念図である。
【図１２】図１２は、本発明の第２実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するための概念図である。
【図１３】図１３は、本発明の第３実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するための概念図である。
【図１４】図１４は、本発明の第３実施形態において、デジタルビデオ信号ＤＶ０１内の画像パターンが水平方向にシフトする場合の動きベクトル検出、並びに電子透かし信号の変調を説明するための概念図である。
【図１５】図１５は、本発明の第４実施形態における図２に示す変調部の機能ブロック図である。
【図１６】図１６は、図１５に示すＦＦＴ係数制御部による制御を説明するための図である。
【図１７】図１７は、図１５に示すＦＦＴ係数制御部による制御を説明するための図である。
【図１８】図１８は、本発明の第４実施形態の電子透かし埋込装置の動作例を説明するための図である。
【図１９】図１９は、図５に示す変調部の変形例を説明するための図である。
【図２０】図２０は、従来技術の問題点を説明するための図である。
【符号の説明】
１…電子透かし埋込装置、３…電子透かし検出装置、４…電子透かし書換装置、２，６…録画機器、２１…ＰＮ生成部、２２…乗算部、２３…動き検出部、２４…変調部、２５…加算部、３１…フィルタ係数制御部、３２…水平フィルタ部、３３…垂直フィルタ部、４１…ＰＮ生成部、４２…内積演算部、４３…比較判定部

Claims (13)

1. 画像信号の動きベクトルを検出する検出手段と、
   前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記動きベクトルに基づいて、前記電子透かし信号を変調する変調手段と、
   前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段と
   を有する信号処理装置。
2. 前記変調手段は、前記検出手段が検出した前記動きベクトルの水平成分が大きくなるに従って前記電子透かし信号の水平周波数成分を減衰率を高め、前記動きベクトルの垂直成分が大きくなるに従って前記電子透かし信号の垂直周波数成分を減衰率を高めるように、前記電子透かし信号を変調する
   請求項１に記載の信号処理装置。
3. 前記変調手段は、
   前記電子透かし信号をフィルタ処理して前記水平周波数成分の大きさを調整する第１のフィルタ回路と、
   前記電子透かし信号をフィルタ処理して前記垂直周波数成分の大きさを調整する第２のフィルタ回路と、
   前記動きベクトルに基づいて、前記第１のフィルタ回路および前記第２のフィルタ回路のフィルタ処理を制御するフィルタ制御回路と
   を有する
   請求項２に記載の信号処理装置。
4. 前記変調手段は、
   前記電子透かし信号を周波数領域に直交変換する直交変換手段と、
   前記直交変換手段によって得られた周波数領域の前記電子透かし信号の前記水平周波数成分および前記垂直周波数成分を、前記動きベクトルに基づいて調整する調整手段と、
   前記調整手段で調整された前記周波数領域の前記電子透かし信号を逆直交変換する逆直交変換手段と
   を有する
   請求項１記載の信号処理装置。
5. 前記変調手段は、
   乱数データを生成し、当該乱数データを基に所定のデータをスペクトル拡散して前記電子透かし信号を生成する信号生成回路
   を有する
   請求項１に記載の信号処理装置。
6. 前記変調手段は、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記画像信号に対応した画像の粗さに基づいて、前記電子透かし信号を変調する
   請求項１に記載の信号処理装置。
7. 画像信号によって規定される画像内の予め決められた区分けされた複数の領域毎に動きベクトルを検出する検出手段と、
   前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記複数の領域毎に当該領域の前記動きベクトルに基づいて前記電子透かし信号を変調する変調手段と、
   前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段と
   を有する信号処理装置。
8. 画像信号によって規定される画像内のオブジェクト毎に動きベクトルを検出する検出手段と、
   前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記オブジェクト毎に当該オブジェクトの前記動きベクトルに基づいて、前記電子透かし信号を変調する変調手段と、
   前記変調手段で変調された前記電子透かし信号を前記画像信号に重畳する重畳手段と
   を有する信号処理装置。
9. 画像信号の動きベクトルを検出する第１の工程と、
   前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記動きベクトルに基づいて、前記電子透かし信号を変調する第２の工程と、
   前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程と
   を有する信号処理方法。
10. 前記第２の工程は、前記第１の工程で検出した前記動きベクトルの水平成分が大きくなるに従って前記電子透かし信号の水平周波数成分を減衰率を高め、前記動きベクトルの垂直成分が大きくなるに従って前記電子透かし信号の垂直周波数成分を減衰率を高めるように、前記電子透かし信号を変調する
    請求項９に記載の信号処理方法。
11. 前記第２の工程は、前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記画像信号に対応した画像の粗さに基づいて、前記電子透かし信号を変調する
    請求項９に記載の信号処理方法。
12. 画像信号によって規定される画像内の予め決められた区分けされた複数の領域毎に動きベクトルを検出する第１の工程と、
    前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記複数の領域毎に当該領域の前記動きベクトルに基づいて前記電子透かし信号を変調する第２の工程と、
    前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程と
    を有する信号処理方法。
13. 画像信号によって規定される画像内のオブジェクト毎に動きベクトルを検出する第１の工程と、
    前記画像信号に電子透かし信号を重畳した信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記オブジェクト毎に当該オブジェクトの前記動きベクトルに基づいて、前記電子透かし信号を変調する第２の工程と、
    前記第２の工程で変調された前記電子透かし信号を前記画像信号に重畳する第３の工程と
    を有する信号処理方法。

Images