JP2004056224A - Signal processing apparatus and method thereof - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a signal processing apparatus capable of detecting an electronic watermark signal with high reliability and superimposing the electronic watermark signal on an image signal in a state of suppressing the effect on the image quality. <P>SOLUTION: A modulation section 24 modulates an electronic watermark signal WM1 to generate an electronic watermark signal WM2 so that an image corresponding to the electronic watermark signal WM2 in an image corresponding to a digital video signal DV02 becomes hardly visible by taking into account visual characteristics of human beings on the basis of characteristic detection data P of a digital video signal DV01 received from an image characteristic detection section 23 and the electronic watermark signal WM2 is superimposed on the digital video signal DV01 with an embedding strength (superimposing strength) within a prescribed range on the basis of embedding strength designation data C received from an embedding strength control section 27. <P>COPYRIGHT: (C)2004,JPO

Description

【０００５】
この乱数データＰＮは統計的に総和が０になるように生成される。次に電子透かしデータＤＣをこのような性質を持つ乱数データＰＮによりスペクトラム拡散する。すなわち電子透かしデータＤＣの極性が“１”の場合には、乱数データＰＮのパターンをそのまま使用することにより、電子透かし信号ＷＭは、下記式（２）のように規定される。
【０００６】
【数２】

【０００７】
また電子透かしデータＤＣの極性が“０”の場合には、乱数データＰＮのパターンを反転したものを使用することにより、電子透かし信号ＷＭは、下記式（３）のように規定される。
【０００８】
【数３】

【０００９】
なお、電子透かしデータＤＣが複数の情報ビットから構成される場合には、例えば輝度信号に応じたフレーム画像を適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直交するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【００１０】
一方、デジタルビデオ信号等の画像信号において、近接する輝度信号は同程度の画素値を持つという性質から、輝度信号のデジタルビデオ信号ＤＶ１（フレーム画像データ）を、下記式（４）のように規定する。
【００１１】
【数４】

【００１２】
電子透かしの埋め込みは、デジタルビデオ信号ＤＶ１に電子透かし信号ＷＭを加算することによって実現する。電子透かしデータＤＣの極性が“１”の場合には、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２は、下記式（５）で示される。
【００１３】
【数５】

【００１４】
このようにして電子透かしを埋め込んだデジタルビデオ信号ＤＶ２から、電子透かしデータＤＣを検出するためには、埋め込み時と同一のＰＮ系列の乱数データＰＮを使用する。
元の輝度信号のフレーム画像データＤＶ１と乱数データＰＮとの内積値Ｐ１は、下記式（６）で示される。
【００１５】
【数６】

【００１６】
画像信号の持つ統計的な性質から内積値Ｐ１は０近傍の値となる。これに対して電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮとの内積値Ｐ２は、電子透かしデータＤＣの極性が“１”の場合には、下記式（７）で示される。
【００１７】
【数７】

【００１８】
一方、デジタルビデオ信号ＤＶ２と乱数データＰＮとの内積値Ｐ２は、電子透かしデータ情報ＤＣの極性が“０”の場合には、下記式（８）で示される。
【００１９】
【数８】

【００２０】
上記内積値Ｐ２の絶対値は、乱数データＰＮ自身の内積値ＰＮ^２近傍の値となる。元のデジタルビデオ信号ＤＶ１と乱数データＰＮの内積値Ｐ１および、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮの内積値Ｐ２を様々な画像に対して計算すると、内積値Ｐ１およびＰ２の分布は、図１１に示すような確率密度関数で表現することができる。したがって、下記式（９）に示すように、適当な非負の閾値ＴＨを設定することにより、デジタルビデオ信号ＤＶ２から電子透かしデータＤＣを検出することができる。
【００２１】
【数９】

【００２２】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の２点が重要なポイントである。
電子透かしの有無を正確に判別するためには、図１１における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値ＴＨを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値ＴＨの選択は難しい。
電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にＦａｌｓｅ　Ｐｏｓｉｔｉｖｅと呼び、健全なコンテンツデータ流通を保証するためには極めて小さいＦａｌｓｅ　Ｐｏｓｉｔｉｖｅ値が要求される。したがって電子透かし検出の信頼性を向上するためには、下記式（１０）に示すように、非負のスカラー量Ｃを用いて電子透かしの埋め込み強度を大きくし、下記式（１１）に示すように、電子透かしを埋め込んだデジタルビデオ信号ＤＶ２と乱数データＰＮの内積値Ｐ２を十分に大きくすればよい。
【００２３】
【数１０】

【００２４】
【数１１】

【００２５】
【発明が解決しようとする課題】
電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とはトレードオフの関係にあり、検出精度を向上するために電子透かしの埋め込み強度を大きくすると画質の劣化が無視できないものになり、画質に及ぼす影響を抑制するために電子透かしの埋め込み強度を小さくすると検出の信頼性が確保できなくなる。
電子透かしの重畳・検出に際しては様々な方式が提案されているが、信頼性の高く安定した検出特性と劣化を知覚できないレベルの画質特性は未だ達成されておらず、これらを両立した電子透かし埋め込み方法を効果的に実現する必要がある。
【００２６】
本発明は、信頼性の高い検出が可能で、しかも画質に及ぼす影響を抑制した状態で電子透かし信号を画像信号に重畳できる信号処理装置およびその方法を提供することを目的とする。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明の信号処理装置は、第１の画像信号の特性を検出して特性検出信号を生成する特性検出手段と、前記第１の画像信号に電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する変調手段と、前記変調手段で変調された前記電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する重畳手段とを有する。
【００２８】
第１の発明の信号処理装置の作用は以下のようになる。
特性検出手段が、第１の画像信号の特性を検出して特性検出信号を生成する。そして、変調手段が、前記第１の画像信号に電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する。
そして、重畳手段が、前記変調手段で変調された前記電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する。
【００２９】
第１の発明の信号処理装置は、好ましくは、前記第２の画像信号に重畳された前記電子透かし信号の強度を検出する強度検出手段と、前記強度検出手段が検出した強度を基に、前記電子透かし信号が所定の強度で前記第１の画像信号に重畳されるように、前記電子透かし信号の強度を前記変調手段に指定する強度指定手段とを有し、前記変調手段は、前記強度指定手段で指定された強度になるように前記電子透かし信号を変調する。
【００３０】
第２の発明の信号処理装置は、第１の画像信号に重畳された第１の電子透かし信号を検出する検出手段と、指定された強度になるように第２の電子透かし信号を変調して第３の電子透かし信号を生成する変調手段と、前記検出手段の検出結果に基づいて前記第１の電子透かし信号の強度を検出し、前記第１の画像信号に前記第３の電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記第３の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記変調手段に前記強度を指定する強度指定手段と、前記第３の電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する重畳手段とを有する。
【００３１】
第２の発明の信号処理装置の作用は以下のようになる。
検出手段が、第１の画像信号に内在する第１の電子透かし信号を検出する。
そして、変調手段が、強度指定手段によって指定された強度になるように第２の電子透かし信号を変調して第３の電子透かし信号を生成する。
そして、重畳手段が、前記第３の電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する。
この過程で、強度指定手段が、前記検出手段の検出結果に基づいて前記第１の電子透かし信号の強度を検出する。
そして、前記強度指定手段が、前記第１の画像信号に前記第３の電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記第３の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記変調手段に前記強度を指定する。
【００３２】
第２の発明の信号処理装置は、好ましくは、第１の画像信号の特性を検出して特性検出信号を生成する特性検出手段をさらに有し、前記変調手段は、前記特性検出信号に基づいて、前記第２の電子透かし信号を変調して前記第３の電子透かし信号を生成する。
【００３３】
第３の発明の信号処理方法は、第１の画像信号の特性を検出して特性検出信号を生成する第１の工程と、前記第１の画像信号に電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する第２の工程と、前記第２の工程で変調された前記電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する第３の工程とを有する。
【００３４】
第４の発明の信号処理方法は、第１の画像信号に内在する第１の電子透かし信号を検出する第１の工程と、指定された強度になるように第２の電子透かし信号を変調して第３の電子透かし信号を生成する第２の工程と、前記第１の工程の検出結果に基づいて前記第１の電子透かし信号の強度を検出し、前記第１の画像信号に前記第３の電子透かし信号を重畳して得られる第２の画像信号に対応した画像内で前記第３の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記第２の工程で用いられる前記強度を指定する第３の工程と、前記第３の電子透かし信号を前記第１の画像信号に重畳して前記第２の画像信号を生成する第４の工程とを有する。
【００３５】
【発明の実施の形態】
第１実施形態
本実施形態は、第１および第３の発明に対応している。
以下、本発明の実施形態に係わる著作権保護システムについて説明する。
図１は、本実施形態の著作権保護システム１０１の全体構成図である。
図１に示す著作権保護システム１０１では、例えば、ビデオソースであるデジタルビデオ信号ＤＶ０１を放送局等に設置された伝送装置から衛星波や地上波、ケーブル等の媒体を介して送信する場合に、伝送装置内の電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１に電子透かしデータＤＣ０を付加（重畳）して生成したデジタルビデオ信号ＤＶ０２を送信する。
電子透かしデータＤＣ０はビデオソースの著作権情報等を示し、例えば、“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示している。
また、電子透かし埋込装置１は、例えば、”ＮｅｖｅｒＣｏｐｙ”（コピー不可）を示す電子透かしデータＤＣ０をデジタルビデオ信号ＤＶ０１に付加したデジタルビデオ信号ＤＶ０５を光ディスク８に記録する。
【００３６】
デジタルビデオ信号ＤＶ０２がセットトップボックス等により受信されると、例えば、録画機器２に内蔵された電子透かし検出装置３によって、デジタルビデオ信号ＤＶ０２に埋め込まれた電子透かし信号ＤＣ０が検出され、検出された電子透かし信号ＤＣ０が“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示す場合に、録画機器２に内蔵された電子透かし書換装置４により、電子透かし信号ＤＣ０を書き換えたデジタルビデオ信号ＤＶ０４を光ディスク５に記録する。
ここで書き換えられた電子透かし信号ＤＣ０はビデオソースの著作権情報等により構成され、“ＮｏＭｏｒｅＣｏｐｙ”（これ以上のコピー禁止）を示す。
【００３７】
録画機器６は、このようにして得られた光ディスク５，８に記録されたデジタルビデオ信号ＤＶ０４，ＤＶ０５を再生して、当該デジタルビデオ信号に重畳された電子透かし信号ＤＣ０を検出し、電子透かし信号ＤＣ０が“ＮｏＭｏｒｅＣｏｐｙ”あるいは”ＮｅｖｅｒＣｏｐｙ”を示す場合には、再生したデジタルビデオ信号を光ディスク７に記録するのを中止し、これによりコピー世代を管理する。
【００３８】
著作権保護システム１０１では、電子透かし埋込装置１が、順次入力されるデジタルビデオ信号ＤＶ０１に対して画像の動き検出を行って生成した動きベクトルＭＶ、並びにデジタルビデオ信号ＤＶ０１に対してエッジ検出を行って生成したエッジデータＥＤのうち、少なくとも一方を示す特性検出データＰを生成する。
そして、電子透かし埋込装置１が、特性検出データＰを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ０２に対応した画像内で電子透かし信号に対応した画像が視覚困難になるように、且つ、後述する処理で得られた埋込強度指定データを基に、電子透かし信号が所定の範囲の埋込強度（重畳強度）でデジタルビデオ信号に重畳されるように、電子透かし信号を変調し、当該変調によって得られた電子透かし信号を重畳したデジタルビデオ信号ＤＶ０２を生成する。
【００３９】
また、電子透かし埋込装置１が同様に、デジタルビデオ信号ＤＶ０５を生成する。
また、電子透かし書換装置４も同様に、書き換えた電子透かし信号を変調し、当該変調された電子透かし信号をデジタルビデオ信号ＤＶ０２に重畳してデジタルビデオ信号ＤＶ０４を生成する。
【００４０】
〔電子透かし埋込装置１〕
図２は、図１に示す電子透かし埋込装置１の機能ブロック図である。
図２に示すように、電子透かし埋込装置１は、例えば、ＰＮ生成部２１、乗算部２２、画像特性検出部２３、変調部２４、加算部２５、電子透かし検出部２６および埋め込み強度制御部２７を有する。
画像特性検出部２３が本発明の特性検出手段に対応し、変調部２４が本発明の変調手段に対応し、加算部２５が本発明の重畳手段に対応している。
また、電子透かし検出部２６および埋め込み強度制御部２７が、本発明の強度指定手段に対応している。
【００４１】
ＰＮ生成部２１は、ＰＮ系列の乱数データＰＮを生成し、これを乗算部２２に出力する。
乗算部２２は、乱数データＰＮを用いて電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部２４に出力する。
これにより、解析困難な電子透かしパターンＷＭ１が生成される。
【００４２】
画像特性検出部２３は、順次入力されるデジタルビデオ信号ＤＶ０１（本発明の第１の画像信号）のフレーム画像データに対して画像の動き検出を行って生成した動きベクトルＭＶ、並びに当該フレーム画像データに対してエッジ検出を行って生成したエッジデータＥＤのうち、少なくとも一方を示す特性検出データＰ（本発明の特性検出信号）を変調部２４に出力する。
画像特性検出部２３による動き検出は人間の視覚特性を考慮した画像分析手法を基に行われ、動画像符号化の国際標準規格ＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ−２）やサンプリングレート変換等に用いられる。
【００４３】
変調部２４は、画像特性検出部２３から入力した特性検出データＰを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ０２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部２７から入力した埋込強度指定データＣを基に、電子透かし信号ＷＭ２が所定の範囲の埋込強度（重畳強度）でデジタルビデオ信号ＤＶ０１に重畳されるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成し、これを加算部２５に出力する。
【００４４】
具体的には、変調部２４は、特性検出データＰが示す動きベクトルＭＶを基に、デジタルビデオ信号ＤＶ０１が静止している場合には電子透かしパターンＷＭ１も静止させ、デジタルビデオ信号ＤＶ０１が動きベクトルＭＶで動いている場合には電子透かしパターンＷＭ１も動きベクトルＭＶで動かすように変調する。すなわち、変調部２４は、電子透かしのパターンを、デジタルビデオ信号内の画像パターンに追従させるように電子透かしパターンＷＭ１を変調する。これにより、デジタルビデオ信号ＤＶ０１に重畳されたときに、電子透かしパターンを人間の目に感知しにくくできる。
【００４５】
また、変調部２４は、特性検出データＰが示すエッジデータＥＤを基に、人間の目が平坦部分などの低周波領域での変化には敏感であるが、エッジ部分などの高周波領域での変化には鈍感であることを利用して、電子透かしパターンを目立ちやすい平坦部分から目立ちにくいエッジ部分に配分あるいは再配分するように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
【００４６】
また、変調部２４は、埋込強度指定データＣが示す埋込強度を達成するように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
【００４７】
加算部２５は、変調部２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１に加算（重畳）してデジタルビデオ信号ＤＶ０１’（本発明の第２の画像信号）を生成し、これを電子透かし検出部２６に出力する。
【００４８】
電子透かし検出部２６は、デジタルビデオ信号ＤＶ０１’に重畳された電子透かし信号ＷＭ２を検出し、検出結果を示す検出結果信号ＤＣ’と、デジタルビデオ信号ＤＶ０１’とを埋め込み強度制御部２７に出力する。
埋め込み強度制御部２７は、検出結果信号ＤＣ’およびデジタルビデオ信号ＤＶ０１’を基に、デジタルビデオ信号ＤＶ０１’に重畳された電子透かし信号ＷＭ２の強度を検出する。
具体的には、電子透かし検出部２６は、例えば、下記式（１２）に相当する演算を行って内積値Ｐ２を得て、当該内積値Ｐ２と、電子透かし信号の埋込の有無を判断する閾値ＴＨとの差分を生成し、当該差分を検出強度として用いる。
【００４９】
【数１２】

【００５０】
埋め込み強度制御部２７は、上述した検出強度を基に、デジタルビデオ信号ＤＶ０１’内の電子透かし信号ＷＭ２が所定の範囲（所定の収束条件を満たす範囲）の検出強度を満たしているか否かを判断し、所定の検出強度を満たしていると判断した場合にはデジタルビデオ信号ＤＶ０１’をデジタルビデオ信号ＤＶ０２として図１に示す電子透かし検出装置３に出力する。
一方、埋め込み強度制御部２７は、デジタルビデオ信号ＤＶ０１’内の電子透かし信号ＷＭ２が上記所定の範囲の検出強度を満たしていないと判断すると、当該所定の範囲の検出強度を満たす電子透かし信号ＷＭ２を生成するように、変調部２４における電子透かし信号ＷＭ２の埋込強度を指定する埋込強度指定データＣを生成し、これを変調部２４に出力する。
すなわち、埋め込み強度制御部２７は、上述したようにして得た検出強度を基に、目標とする検出強度で電子透かし信号ＷＭ２が重畳されたデジタルビデオ信号ＤＶ０２を得るのに必要な埋込強度を予測し、目標とする検出強度を達成する方向に当該埋込強度を改良する（収束させる）ように、埋込強度指定データＣを生成する。
ここで、変調部２４、加算部２５、電子透かし検出部２６および埋め込み強度制御部２７により、デジタルビデオ信号ＤＶ０１に重畳される電子透かし信号ＷＭ２の埋込強度が再帰的に反復して指定される。
【００５１】
変調部２４による電子透かし信号の埋込強度を「Ｃ」とすると、デジタルビデオ信号ＤＶ０１’，ＤＶ０１と、電子透かし信号ＷＭ１との間には、以下式（１３）で示される。
また、変調部２４、加算部２５、電子透かし検出部２６および埋め込み強度制御部２７による再帰処理による、電子透かし信号の埋込強度と検出強度との関係は、例えば、図３に示される。
【００５２】
【数１３】

【００５３】
図３において、横軸が電子透かし信号の埋込強度を示し、縦軸が電子透かし信号の検出強度を示している。
埋込強度と検出強度との相関関係はデジタルビデオ信号のフレーム画像データに大きく依存するが、一般的に両者はほぼ比例関係にあり、埋込強度が大きいほど検出強度も大きくなり、埋込強度が小さいほど検出強度も小さくなる。
そこでこのようなデジタルビデオ信号に対して電子透かし信号を埋め込む際に、図３において点線で示すように目標とする検出強度の範囲を収束条件として設定し、電子透かし検出部２６が得た検出強度がこの収束条件に合致するように埋込強度を反復改良していくことにより、信頼性の高く安定した検出特性を実現することができる。
すなわち埋込強度を何らかの初期値に設定してデジタルビデオ信号に電子透かし信号を埋め込み、このデジタルビデオ信号から電子透かし信号を検出した結果、検出強度が目標範囲に達しない場合には、検出強度が大きくなる方向に埋込強度を改良する。
また、埋め込み強度制御部２７は、デジタルビデオ信号から電子透かし信号を検出した結果、検出強度が目標範囲を越えた場合には、検出強度が小さくなる方向に埋込強度を再帰処理して改良する。このようにして検出強度が再帰処理の終了条件（収束条件）に合致するまで埋込強度の改良を繰り返し、目標とする検出強度を与える最適な埋込強度により電子透かし信号を埋め込んだデジタルビデオ信号を出力すればよい。
【００５４】
これにより、デジタルビデオ信号に対して電子透かし信号を埋め込む際に、十分な検出強度が確保できないフレーム画像データに対して埋込強度を再帰処理していくことにより、信頼性の高い検出強度を実現することができ、フレーム方向の検出強度のばらつきを抑えて安定した検出特性を実現することが可能になる。また、検出強度が過大に確保されているフレーム画像データに対して埋込強度を反復改良していくことにより、過剰な埋め込み量を低減して画質の劣化を抑制することが可能になる。
【００５５】
なお、上述した再帰処理の終了条件としては、目標とする検出強度の範囲の他に、再帰回数の上限を設定することにより所定の演算時間内に処理を完了するように制御することもできる。
また再帰処理時の補正量としては、固定値により埋込強度を改良する他に、目標とする検出強度への収束を加速するような可変値により埋込強度を改良するように制御することもできる。
これは例えば、目標とする検出強度と現在の検出強度との差分に比例するような補正量を用いることにより、収束条件から遠い場合には粗く、収束条件から近い場合には細かくといった具合に適応的に埋込強度の補正量を制御し、目標とする検出強度への収束を加速するものである。
上述したように、埋め込み強度制御部２７は、所定の検出強度が達成されるまで埋込強度を反復改良するように埋込強度指定データＣを出力する。
変調部２４は、画像特性検出部２３が出力する特性検出データＰおよび埋め込み強度制御部２７が出力する埋込強度指定データＣに基づいて電子透かし信号ＷＭ１を変調し、人間の視覚特性を考慮しかつ目標とする検出強度を達成する方向に改良した埋込強度により生成した電子透かし信号ＷＭ２を出力する。
【００５６】
デジタルビデオ信号ＤＶ０２は、前述したように、変調されて放送されたり、光ディスク８に書き込まれる。
【００５７】
以下、図２に示す電子透かし埋込装置１の動作例を説明する。
図４は、当該動作例を説明するためのフローチャートである。
ステップＳＰ１１：
ＰＮ生成部２１が、ＰＮ系列の乱数データＰＮを生成する。
ステップＳＰ１２：
乗算部２２が、ＰＮ生成部２１が生成したＰＮ系列の乱数データＰＮを用いて、電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部２４に出力する。
ステップＳＰ１３：
画像特性検出部２３が、デジタルビデオ信号ＤＶ０１内の連続したフレーム画像データを読み込む。
【００５８】
ステップＳＰ１４：
画像特性検出部２３が、ステップＳＰ１３で読み込んだフレーム画像データに対して画像の動き検出を行って生成した動きベクトルＭＶ、並びにデジタルビデオ信号ＤＶ０１に対してエッジ検出を行って生成したエッジデータＥＤのうち、少なくとも一方を示す特性検出データＰを変調部２４に出力する。
【００５９】
ステップＳＰ１５：
変調部２４が、画像特性検出部２３から入力した特性検出データＰを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部２７から入力した埋込強度指定データＣを基に、電子透かし信号ＷＭ２が所定の範囲の埋込強度でデジタルビデオ信号ＤＶ０１に重畳されるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成し、これを加算部２５に出力する。
【００６０】
ステップＳＰ１６：
図２に示す加算部２５が、変調部２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１（フレーム画像データ）に加算（重畳）してデジタルビデオ信号ＤＶ０１’を生成し、これを電子透かし検出部２６に出力する。
ステップＳＰ１７：
電子透かし検出部２６が、デジタルビデオ信号ＤＶ０１’に重畳された電子透かし信号ＷＭ２を検出し、検出結果を示す検出結果信号ＤＣ’と、デジタルビデオ信号ＤＶ０１’とを埋め込み強度制御部２７に出力する。
そして、埋め込み強度制御部２７が、検出結果信号ＤＣ’およびデジタルビデオ信号ＤＶ０１’を基に、デジタルビデオ信号ＤＶ０１’に重畳された電子透かし信号ＷＭ２の強度を検出する。
【００６１】
ステップＳＰ１８：
埋め込み強度制御部２７が、ステップＳＰ１７で検出した強度（検出強度）が、デジタルビデオ信号ＤＶ０１’内の電子透かし信号ＷＭ２が所定の範囲（所定の収束条件を満たす範囲）の検出強度を満たしているか否か（再帰処理終了条件を満たしているか否か）を判断し、所定の検出強度を満たしていると判断した場合にはステップＳＰ２０の処理に進み、そうでない場合にはステップＳＰ１９の処理に進む。
【００６２】
ステップＳＰ１９：
埋め込み強度制御部２７が、上記所定の範囲の検出強度を満たす電子透かし信号ＷＭ２を生成するように、変調部２４における電子透かし信号ＷＭ２の埋込強度を指定する埋込強度指定データＣを生成し、これを変調部２４に出力し、ステップＳＰ１５の処理に戻る。すなわち、再帰処理を行う。
ステップＳＰ２０：
埋め込み強度制御部２７が、デジタルビデオ信号ＤＶ０１’をデジタルビデオ信号ＤＶ０２として、電子透かし検出装置３に出力したり、光ディスク８に書き込む。
ステップＳＰ２１：
電子透かし埋込装置１の図示しない制御部が、デジタルビデオ信号ＤＶ０１の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ１３の処理に戻る。
【００６３】
〔電子透かし書換装置４〕
電子透かし書換装置４は、基本的に前述した電子透かし埋込装置１と同じ構成を有し、電子透かし検出装置３で検出された電子透かしデータに基づいて、所定の電子透かしデータをデジタルビデオ信号に重畳する。
【００６４】
〔電子透かし検出装置３〕
電子透かし検出装置３は、前述したように、デジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５に重畳された電子透かし信号ＷＭ２を検出する。
図５は、電子透かし検出装置３の機能ブロック図である。
図５に示すように、電子透かし検出装置３は、例えば、ＰＮ生成部４１、内積演算部４２および比較判定部４３を有する。
ＰＮ生成部４１は、前述したＰＮ生成部２１と同じＰＮ系列の乱数データＰＮを生成し、これを内積演算部４２に出力する。
内積演算部４２は、入力したデジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５に対して乱数データＰＮとの内積値を計算し、内積値Ｓを出力する。
比較判定部４３は、この内積値Ｓを最適に設定した閾値と比較することにより、電子透かし情報ＤＣ０の有無、さらには埋め込まれた電子透かしデータＤＣ０の極性を判定する。
すなわち、比較判定部４３は、非負の閾値ＴＨを用いて、下記式（１４）で示される判定基準で判定を行い、判定した電子透かしデータＤＣ０を出力する。
【００６５】
【数１４】

【００６６】
以下、図５に示す電子透かし検出装置３の動作例を説明する。
図６は、当該動作例を説明するためのフローチャートである。
ステップＳＰ５１：
ＰＮ生成部４１が、ＰＮ生成部２１と同じＰＮ系列の乱数データＰＮを生成し、これを内積演算部４２に出力する。
ステップＳＰ５２：
内積演算部４２が、入力したデジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５内のフレーム画像データを読み込む。
ステップＳＰ５３：
内積演算部４２が、ステップＳＰ５２で読み込まれたフレーム画像データに対して、ステップＳＰ５１で入力された乱数データＰＮとの内積値を計算し、内積値Ｓを比較判定部４３に出力する。
【００６７】
ステップＳＰ５４：
比較判定部４３が、ステップＳＰ５３で入力した内積値Ｓを最適に設定した閾値と比較することにより、電子透かし情報ＤＣ０の有無、さらには埋め込まれた電子透かしデータＤＣ０の極性を判定（検出）する。
ステップＳＰ５５：
比較判定部４３が、ステップＳＰ５４で判定（検出）した電子透かしデータＤＣ０を出力する。
ステップＳＰ５６：
電子透かし検出装置３が、デジタルビデオ信号ＤＶ０２，ＤＶ０４，ＤＶ０５の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ５２の処理に戻る。
【００６８】
図１に示す録画機器２では、電子透かし検出装置３において検出された電子透かしデータＤＣ０が”ＣｏｐｙＯｎｃｅ”を示す場合に、電子透かし書換装置４に”ＮｏＭｏｒｅＣｏｐｙ”を示すように指示する。
また、録画機器６は、電子透かし検出装置３において検出された電子透かしデータＤＣ０が”ＮｅｖｅｒＣｏｐｙ”を示す場合に、光ディスク５，８から読み出したデジタルビデオ信号ＤＶ０４，ＤＶ０５を光ディスク７に記録することを禁止する（コピー制限する）。
【００６９】
以下、図１に示す著作権保護システム１０１の全体動作例を説明する。
例えば、ビデオソースであるデジタルビデオ信号ＤＶ０１を放送局等より衛星波や地上波、ケーブル等の媒体を介して送信される。
そして、電子透かし埋込装置１が、デジタルビデオ信号ＤＶ０１に電子透かしデータＤＣ０を付加して生成したデジタルビデオ信号ＤＶ０２を送信する。
電子透かしデータＤＣ０はビデオソースの著作権情報等を示し、例えば、“ＣｏｐｙＯｎｃｅ”（１回コピー可）を示している。
また、電子透かし埋込装置１は、例えば、”ＮｅｖｅｒＣｏｐｙ”を示す電子透かしデータＤＣ０をデジタルビデオ信号ＤＶ０１に付加したデジタルビデオ信号ＤＶ０５を光ディスク８に記録する。
このとき、電子透かし埋込装置１が、電子透かし信号ＤＣ０を用いて電子透かし信号ＷＭ１を生成すると共に、デジタルビデオ信号ＤＶ０１の動きベクトルＭＶを検出する。
そして、電子透かし埋込装置１が、当該動きベクトルＭＶに基づいて、デジタルビデオ信号ＤＶ０１に電子透かし信号ＷＭを重畳した信号による画像内で電子透かし信号ＷＭによる画像が視覚困難になるように、電子透かし信号ＷＭを変調し、当該電子透かし信号ＷＭをデジタルビデオ信号ＤＶ０１に重畳してデジタルビデオ信号ＤＶ０２を生成して送信する。
また、電子透かし埋込装置１が同様に、デジタルビデオ信号ＤＶ０５を生成して光ディスク８に記録する。
【００７０】
デジタルビデオ信号ＤＶ０２がセットトップボックス等により受信されると、例えば、録画機器２に内蔵された電子透かし検出装置３によって、デジタルビデオ信号ＤＶ０２に埋め込まれた電子透かしデータＤＣ０が検出され、検出された電子透かしデータＤＣ０が“ＣｏｐｙＯｎｃｅ”を示す場合に、録画機器２に内蔵された電子透かし書換装置４により、電子透かし信号ＤＣ０を書き換えたデジタルビデオ信号ＤＶ０４を光ディスク５に記録する。
ここで書き換えられた電子透かし信号ＤＣ０はビデオソースの著作権情報等により構成され、“ＮｏＭｏｒｅＣｏｐｙ”（コピー禁止）を示す。
【００７１】
一方、録画機器６は、このようにして得られた光ディスク５，８に記録されたデジタルビデオ信号ＤＶ０４，ＤＶ０５を再生して、前述したように、当該デジタルビデオ信号に付加された電子透かしデータＤＣ０を検出し、電子透かし信号ＤＣ０が“ＮｏＭｏｒｅＣｏｐｙ”あるいは”ＮｅｖｅｒＣｏｐｙ”を示す場合には、再生したデジタルビデオ信号を光ディスク７に記録するのを中止し、これによりコピー世代を管理する。
【００７２】
以上説明したように、電子透かし埋込装置１および電子透かし書換装置４によれば、入力したデジタルビデオ信号を処理する際に、画像特性検出部２３が、順次入力されるデジタルビデオ信号ＤＶ０１に対して画像の動き検出を行って生成した動きベクトルＭＶ、並びにデジタルビデオ信号ＤＶ０１に対してエッジ検出を行って生成したエッジデータＥＤのうち、少なくとも一方を示す特性検出データＰを変調部２４に出力する。そして、変調部２４が、特性検出データＰを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部２７から入力した埋込強度指示データＣを基に、電子透かし信号ＷＭ２が所定の範囲の埋込強度（重畳強度）でデジタルビデオ信号ＤＶ０１に重畳されるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
そのため、電子透かし埋込装置１および電子透かし書換装置４によれば、人間の目に感知しにくくなるようにデジタルビデオ信号に電子透かし信号を重畳することが可能になり、電子透かしが画質に及ぼす影響を効果的に抑制することができる。
【００７３】
電子透かし埋込装置１および電子透かし書換装置４によれば、変調部２４が埋め込み強度制御部２７からの埋込強度指示データＣが示す埋込強度を達成するように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成する。
そのため、電子透かし埋込装置１および電子透かし書換装置４によれば、電子透かし信号ＷＭ２が過剰な埋込強度でデジタルビデオ信号ＤＶ０２に埋め込まれることを回避でき、デジタルビデオ信号ＤＶ０２の画像の画質を適切に保持できる。また、所定の検出強度で検出可能な形態で電子透かし信号ＷＭ２が埋め込まれたデジタルビデオ信号ＤＶ０２を生成することができ、電子透かし信号ＷＭ２の検出の信頼性を高めることができる。
【００７４】
これらにより、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【００７５】
第２実施形態
本実施形態は、第２および第４の発明に対応している。
上述した第１実施形態では、電子透かし埋込装置１および電子透かし書換装置４において、図２に示すように、埋め込み強度制御部２７によって再帰的に埋込強度を変調部２４に指示する場合を例示したが、本実施形態では、デジタルビデオ信号ＤＶ０１に内在する電子透かし信号の検出強度を基に、電子透かし信号ＷＭ２の埋込強度を指定する場合を説明する。
本実施形態の著作権保護システムは、電子透かし埋込装置１および電子透かし書換装置４の代わりに、電子透かし埋込装置１ａおよび電子透かし書換装置４ａを用いる点を除いて、第１実施形態で説明した図１に示す著作権保護システム１０１と基本的に同じ構成を有している。
電子透かし書換装置４ａは、基本的に電子透かし埋込装置１ａと同じ構成を有している。
【００７６】
図７は、図１に示す電子透かし埋込装置１ａの機能ブロック図である。
図７に示すように、電子透かし埋込装置１ａは、例えば、ＰＮ生成部２１、乗算部２２、画像特性検出部２３、変調部１２４、加算部１２５、電子透かし検出部１２６および埋め込み強度制御部１２７を有する。
図７において、図２と同じ符号を付したＰＮ生成部２１、乗算部２２および画像特性検出部２３は第１実施形態で説明したものと同じである。
電子透かし検出部１２６が本発明の検出手段に対応し、埋め込み強度制御部１２７が本発明の強度指定手段に対応し、変調部１２４が本発明の変調手段に対応し、加算部１２５が本発明の重畳手段に対応している。
【００７７】
変調部１２４は、埋め込み強度制御部１２７からの埋込強度指定データＣ１を用いる点を除いて、第１実施形態で説明した変調部２４と基本的に同じ処理を行って、乗算部２２から入力した電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成し、これを加算部１２５に出力する。
【００７８】
加算部１２５は、変調部１２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１に加算（重畳）してデジタルビデオ信号ＤＶ０２を生成し、これを出力する。
【００７９】
電子透かし検出部１２６は、デジタルビデオ信号ＤＶ０１に内在する電子透かし信号ＷＭ３を検出し、その検出結果を示す検出結果信号ＤＣ３を埋め込み強度制御部１２７に出力する。
埋め込み強度制御部１２７は、検出結果信号ＤＣ３を基に、デジタルビデオ信号ＤＶ０１に内在する電子透かし信号ＷＭ３の強度を検出する。
具体的には、電子透かし検出部１２６は、例えば、下記式（１５）に相当する演算を行って内積値Ｓを得て、当該内積値Ｓと、電子透かし信号の埋込の有無を判断する閾値ＴＨとの差分を生成し、当該差分を検出強度として用いる。
【００８０】
【数１５】

【００８１】
埋め込み強度制御部１２７は、上述した検出強度を基に、デジタルビデオ信号ＤＶ０１に検出可能に電子透かし信号ＷＭ２を埋め込む（重畳する）ための最小の埋込強度を予測し、当該予測した埋込強度を指定する埋込強度指定データＣ１を生成し、これを変調部１２４に出力する。これにより、デジタルビデオ信号ＤＶ０２の画質に及ぼす影響を低減した電子透かし信号の埋込特性を実現できる。
【００８２】
図８は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
デジタルビデオ信号ＤＶ０１のフレーム画像データと乱数データＰＮとの内積値の分布Ａ１、並びに電子透かし信号ＷＭ２が重畳されたデジタルビデオ信号ＤＶ０１’のフレーム画像データと乱数データＰＮの内積値の分布Ａ２は、図８に示すような確率密度関数で表現することができる。
図８において、適当な非負の閾値ＴＨを設定することにより、電子透かし信号が埋め込まれたデジタルビデオ信号ＤＶ０２から電子透かし情報（ＤＣ）が検出される。
【００８３】
図８に示すように、電子透かし信号の埋め込み前のデジタルビデオ信号ＤＶ０１のフレーム画像データの上記内積値は、分布Ａ１に示されるように０を中心に位置するが、分布Ａ１はデジタルビデオ信号ＤＶ０１のフレーム画像データの特性に大きく依存するため０からかけ離れた内積値をとることがある。
ここで、図８に示す例では、内積値０のデジタルビデオ信号ＤＶ０１を“電子透かしあり”と判断するためには最小で（ＴＨ−０）の埋込強度が必要であるが、例えば内積値Ｓのデジタルビデオ信号ＤＶ０１を同様に“電子透かしあり”と判断するためには最小で（ＴＨ−Ｓ）の埋込強度があれば十分である。
このように、（ＴＨ−Ｓ）の埋込強度でデジタルビデオ信号ＤＶ０１に電子透かし信号ＷＭ２を埋め込めば、内積値０の画像信号に比して、より少ない埋込強度で、検出の信頼性を確保しつつ、画質を向上できる。
【００８４】
この場合には、埋め込み強度制御部１２７は、上述した検出強度（内積値）と検出閾値ＴＨとを基に、デジタルビデオ信号ＤＶ０１に検出可能に電子透かし信号ＷＭ２を埋め込む（重畳する）最小の埋込強度（ＴＨ−Ｓ）を予測し、当該予測した埋込強度を指定する埋込強度指定データＣ１を生成し、これを変調部１２４に出力する。
【００８５】
このような埋込強度指定データＣ１を基に変調部１２４で生成された電子透かし信号ＷＭ２が重畳されたデジタルビデオ信号ＤＶ０２の内積値の分布Ａ３は、例えば、図９に示すようになる。
本実施形態の電子透かし埋込装置１ａおよび電子透かし書換装置４ａによれば、デジタルビデオ信号ＤＶ０１に必要最小限の埋込強度で電子透かし信号ＷＭ２を埋め込むことができ、電子透かし信号の検出の高い信頼性を保持しながら、画質の劣化を抑制することができる。
【００８６】
以下、図７に示す電子透かし埋込装置１ａの動作例を説明する。
図１０は、当該動作例を説明するためのフローチャートである。
ステップＳＰ３１：
ＰＮ生成部２１が、ＰＮ系列の乱数データＰＮを生成する。
ステップＳＰ３２：
乗算部２２が、ＰＮ生成部２１が生成したＰＮ系列の乱数データＰＮを用いて、電子透かしデータＤＣ０をスペクトラム拡散して電子透かし信号ＷＭ１を生成し、これを変調部１２４に出力する。
ステップＳＰ３３：
画像特性検出部２３が、デジタルビデオ信号ＤＶ０１内の連続したフレーム画像データを読み込む。
【００８７】
ステップＳＰ３４：
画像特性検出部２３が、ステップＳＰ３３で読み込んだフレーム画像データに対して画像の動き検出を行って生成した動きベクトルＭＶ、並びにデジタルビデオ信号ＤＶ０１に対してエッジ検出を行って生成したエッジデータＥＤのうち、少なくとも一方を示す特性検出データＰを変調部１２４に出力する。
【００８８】
ステップＳＰ３５：
電子透かし検出部１２６が、デジタルビデオ信号ＤＶ０１に内在する電子透かし信号ＷＭ３を検出し、その検出結果を示す検出結果信号ＤＣ３を埋め込み強度制御部１２７に出力する。
埋め込み強度制御部１２７が、検出結果信号ＤＣ３を基に、デジタルビデオ信号ＤＶ０１に内在する電子透かし信号ＷＭ３の強度を検出する。
ステップＳＰ３６：
埋め込み強度制御部１２７が、ステップＳＰ３５で検出した検出強度を基に、デジタルビデオ信号ＤＶ０１に検出可能に電子透かし信号ＷＭ２を埋め込む（重畳する）ための最小の埋込強度を予測し、当該予測した埋込強度を指定する埋込強度指定データＣ１を生成し、これを変調部１２４に出力する。
【００８９】
ステップＳＰ３７：
変調部１２４が、画像特性検出部２３から入力した特性検出データＰを基に、人間の視覚特性を考慮して、デジタルビデオ信号ＤＶ２に対応した画像内で電子透かし信号ＷＭ２に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部１２７から入力した埋込強度指定データＣ１を基に、電子透かし信号ＷＭ２が所定の範囲の埋込強度でデジタルビデオ信号ＤＶ０１に重畳されるように、電子透かし信号ＷＭ１を変調して電子透かし信号ＷＭ２を生成し、これを加算部１２５に出力する。
【００９０】
ステップＳＰ３８：
加算部１２５が、変調部１２４から入力した電子透かし信号ＷＭ２をデジタルビデオ信号ＤＶ０１（フレーム画像データ）に加算（重畳）してデジタルビデオ信号ＤＶ０２を生成する。
ステップＳＰ３９：
加算部１２５が、ステップＳＰ３８で生成したデジタルビデオ信号ＤＶ０２を、電子透かし検出装置３に出力したり、光ディスク８に書き込む。
ステップＳＰ４０：
電子透かし埋込装置１ａの図示しない制御部が、デジタルビデオ信号ＤＶ０１の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップＳＰ３３の処理に戻る。
【００９１】
上述したように、本実施形態の電子透かし埋込装置１ａおよび電子透かし書換装置４ａによれば、第１実施形態と同様、人間の目に感知しにくくなるようにデジタルビデオ信号に電子透かし信号を重畳することが可能になり、電子透かしが画質に及ぼす影響を効果的に抑制することができる。
【００９２】
電子透かし埋込装置１ａおよび電子透かし書換装置４ａによれば、電子透かし信号ＷＭ２が過剰な埋込強度でデジタルビデオ信号ＤＶ０２に埋め込まれることを回避でき、デジタルビデオ信号ＤＶ０２の画像の画質を適切に保持できる。また、所定の検出強度で検出可能な形態で電子透かし信号ＷＭ２が埋め込まれたデジタルビデオ信号ＤＶ０２を生成することができ、電子透かし信号ＷＭ２の検出の信頼性を高めることができる。
これらにより、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【００９３】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、電子透かし埋込装置自身の中に対応する電子透かし検出装置を内蔵してデジタルビデオ信号に対して電子透かしの検出を行い、この検出結果に基づいて電子透かしの埋め込み量を制御する場合について述べたが、本発明はこれに限らず、例えばそれぞれの電子透かし重畳・検出手法に固有の処理に基づいて、信頼性の高く安定した検出特性や劣化を知覚できないレベルの画質特性を実現しようとする場合に広く適用することができる。
【００９４】
また、上述した実施形態では、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【００９５】
また、上述した実施形態では、著作権情報をＰＮ系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が０になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【００９６】
また、上述した実施形態では、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【００９７】
また上述の実施の形態においては、放送局等よりデジタルビデオ信号を衛星波や地上波、ケーブル等の媒体を介して伝送する場合、および光ディスクにデジタルビデオ信号を記録、再生する場合について述べたが、本発明はこれに限らず、例えばインターネットを介して種々の情報を伝送する場合等に広く適用することができる。
【００９８】
また、電子透かし埋込装置１，１ａおよび電子透かし書換装置４，４ａは、図４および図１０に示す各工程の処理を記述したプログラムをデータ処理装置で実行して上述した処理を行ってもよい。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、信頼性の高い検出が可能で、しかも画質に及ぼす影響を抑制した状態で電子透かし信号を画像信号に重畳できる信号処理装置およびその方法を提供できる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態の著作権保護システムの全体構成図である。
【図２】図２は、図１に示す電子透かし埋込装置の機能ブロック図である。
【図３】図３は、電子透かし信号の埋込強度と検出強度との関係を説明するための図である。
【図４】図４は、図２に示す電子透かし埋込装置の動作例を説明するためのフローチャートである。
【図５】図５は、図１に示す電子透かし検出装置の機能ブロック図である。
【図６】図６は、図５に示す電子透かし検出装置の動作例を説明するためのフローチャートである。
【図７】図７は、本発明の第２実施形態の電子透かし埋込装置の機能ブロック図である。
【図８】図８は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
【図９】図９は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
【図１０】図１０は、図７に示す電子透かし埋込装置の動作例を説明するためのフローチャートである。
【図１１】図１１は、従来技術の問題点を説明するための図である。
【符号の説明】
１，１ａ…電子透かし埋込装置、３…電子透かし検出装置、４，４ａ…電子透かし書換装置、２，６…録画機器、２１…ＰＮ生成部、２２…乗算部、２３…画像特性検出部、２４，１２４…変調部、２５，１２５…加算部、２６，１２６…電子透かし検出部、２７，１２７…埋め込み強度制御部、４１…ＰＮ生成部、４２…内積演算部、４３…比較判定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing apparatus and method for superimposing a digital watermark signal on an image signal.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed a method of protecting the copyright of a recording medium such as an optical disk, or content data transmitted from a broadcasting station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable by a so-called digital watermark. . In this method, a modulation signal or the like of data relating to copyright is superimposed and recorded on a video signal, an audio signal, or the like at a very small signal level that does not affect reproduction of a video signal, an audio signal, or the like. Digital watermark technology protects copyrights by embedding information in the content data itself in the digital network era where various digital content data such as images, sounds, data, etc. may be copied and distributed without deterioration. It is a powerful technology that can do it.
[0003]
For example, a method for implementing a digital watermark in an image signal such as a digital video signal will be described. Here, a case is considered in which a digital watermark is embedded using random number data of a PN (Pseudorandom @ Noise) sequence as a basic pattern based on the statistical properties of an image signal. For simplicity, the frame image data of the luminance signal has a horizontal size of 8 pixels and a vertical size of 6 pixels.
Then, the PN sequence random number data PN is defined, for example, as in the following equation (1).
[0004]
(Equation 1)

[0005]
The random number data PN is generated so that the total sum becomes zero statistically. Next, the electronic watermark data DC is spectrum-spread by random number data PN having such properties. That is, when the polarity of the digital watermark data DC is “1”, the digital watermark signal WM is defined as in the following equation (2) by using the pattern of the random number data PN as it is.
[0006]
(Equation 2)

[0007]
When the polarity of the digital watermark data DC is “0”, the digital watermark signal WM is defined by the following equation (3) by using a pattern obtained by inverting the pattern of the random number data PN.
[0008]
(Equation 3)

[0009]
When the digital watermark data DC is composed of a plurality of information bits, for example, a frame image corresponding to a luminance signal may be divided into appropriate small areas, and each information bit may correspond to each small area. . In addition, for example, a plurality of different digital watermark patterns that are orthogonal to each other may be used, and each information bit may correspond to each digital watermark pattern. Further, these methods may be used in combination.
[0010]
On the other hand, in an image signal such as a digital video signal, since a luminance signal adjacent thereto has a similar pixel value, the digital video signal DV1 (frame image data) of the luminance signal is defined as in the following equation (4). I do.
[0011]
(Equation 4)

[0012]
The embedding of the digital watermark is realized by adding the digital watermark signal WM to the digital video signal DV1. When the polarity of the digital watermark data DC is “1”, the digital video signal DV2 in which the digital watermark is embedded is represented by the following equation (5).
[0013]
(Equation 5)

[0014]
In order to detect the digital watermark data DC from the digital video signal DV2 in which the digital watermark is embedded in this manner, the same PN sequence random number data PN as at the time of embedding is used.
The inner product value P1 of the frame image data DV1 of the original luminance signal and the random number data PN is represented by the following equation (6).
[0015]
(Equation 6)

[0016]
The inner product value P1 is a value near 0 due to the statistical properties of the image signal. On the other hand, the inner product value P2 of the digital video signal DV2 in which the digital watermark is embedded and the random number data PN is expressed by the following equation (7) when the polarity of the digital watermark data DC is “1”.
[0017]
(Equation 7)

[0018]
On the other hand, the inner product value P2 of the digital video signal DV2 and the random number data PN is represented by the following equation (8) when the polarity of the digital watermark data information DC is “0”.
[0019]
(Equation 8)

[0020]
The absolute value of the inner product value P2 is the inner product value PN of the random number data PN itself.²It becomes a value near. When the inner product value P1 of the original digital video signal DV1 and the random number data PN and the inner product value P2 of the digital video signal DV2 with the digital watermark embedded therein and the random number data PN are calculated for various images, the distribution of the inner product values P1 and P2 is obtained. Can be expressed by a probability density function as shown in FIG. Therefore, as shown in the following equation (9), by setting an appropriate non-negative threshold value TH, the digital watermark data DC can be detected from the digital video signal DV2.
[0021]
(Equation 9)

[0022]
In actualizing a digital watermark, two important points are reliability of digital watermark detection and influence of digital watermark on image quality.
In order to accurately determine the presence or absence of a digital watermark, a threshold value TH that accurately separates the probability density function in the case of “with digital watermark” from the probability density function in the case of “without digital watermark” in FIG. 11 is used. Must be set. In practice, however, the tails of the probability density functions overlap, and it is difficult to select a threshold value TH that can accurately determine the presence or absence of a digital watermark.
In particular, the probability that an electronic watermark is not embedded but is determined to be "with electronic watermark" is particularly called False @ Positive, and a very small False @ Positive value is required to guarantee sound content data distribution. Therefore, in order to improve the reliability of digital watermark detection, as shown in the following equation (10), the embedding strength of the digital watermark is increased using a non-negative scalar amount C, and as shown in the following equation (11): The inner product value P2 of the digital video signal DV2 in which the digital watermark is embedded and the random number data PN may be made sufficiently large.
[0023]
(Equation 10)

[0024]
[Equation 11]

[0025]
[Problems to be solved by the invention]
There is a trade-off between the reliability of digital watermark detection and the effect of digital watermark on image quality.If the embedding strength of digital watermark is increased to improve detection accuracy, deterioration of image quality cannot be ignored, and If the embedding strength of the digital watermark is reduced to suppress the influence, the reliability of detection cannot be ensured.
Various methods have been proposed for superimposition and detection of digital watermarks, but reliable and stable detection characteristics and image quality characteristics at a level at which deterioration cannot be perceived have not yet been achieved. The method needs to be implemented effectively.
[0026]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a signal processing apparatus and method capable of performing highly reliable detection and superimposing a digital watermark signal on an image signal in a state in which an influence on image quality is suppressed.
[0027]
[Means for Solving the Problems]
In order to achieve the above object, a signal processing device according to a first aspect of the present invention includes a characteristic detecting unit configured to detect a characteristic of a first image signal to generate a characteristic detection signal, and to digitally watermark the first image signal. Modulating means for modulating a digital watermark signal based on the characteristic detection signal so that an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing the signal; And superimposing means for superimposing the digital watermark signal modulated by the modulation means on the first image signal to generate the second image signal.
[0028]
The operation of the signal processing device of the first invention is as follows.
A characteristic detecting unit detects a characteristic of the first image signal and generates a characteristic detection signal. And a modulating unit configured to make the image corresponding to the digital watermark signal difficult to visually recognize in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. The digital watermark signal is modulated based on the characteristic detection signal.
Then, superimposing means superimposes the digital watermark signal modulated by the modulating means on the first image signal to generate the second image signal.
[0029]
The signal processing device according to the first invention is preferably configured such that, based on the intensity detected by the intensity detection unit, an intensity detection unit configured to detect an intensity of the digital watermark signal superimposed on the second image signal. Intensity specifying means for specifying the intensity of the digital watermark signal to the modulating means so that the digital watermark signal is superimposed on the first image signal at a predetermined intensity; The digital watermark signal is modulated so as to have the intensity specified by the means.
[0030]
According to a second aspect of the present invention, a signal processing device detects a first digital watermark signal superimposed on a first image signal, and modulates the second digital watermark signal to a specified intensity. Modulating means for generating a third digital watermark signal; detecting the intensity of the first digital watermark signal based on the detection result of the detecting means; and converting the third digital watermark signal to the first image signal. Based on the detected intensity, the modulating means applies the intensity to the image corresponding to the third digital watermark signal so that the image corresponding to the third digital watermark signal becomes difficult to view in the image corresponding to the second image signal obtained by superimposition. And a superimposing means for superimposing the third digital watermark signal on the first image signal to generate the second image signal.
[0031]
The operation of the signal processing device of the second invention is as follows.
Detection means detects a first digital watermark signal inherent in the first image signal.
Then, the modulating means modulates the second digital watermark signal so as to have the intensity specified by the intensity specifying means, and generates a third digital watermark signal.
Then, superimposing means superimposes the third digital watermark signal on the first image signal to generate the second image signal.
In this process, the strength designating means detects the strength of the first digital watermark signal based on the detection result of the detecting means.
An image corresponding to the third digital watermark signal within an image corresponding to a second image signal obtained by superimposing the third digital watermark signal on the first image signal. The intensity is designated to the modulating means based on the detected intensity so that is difficult to see.
[0032]
Preferably, the signal processing device of the second invention further includes a characteristic detecting unit that detects a characteristic of the first image signal to generate a characteristic detection signal, and the modulation unit is configured to detect the characteristic of the first image signal based on the characteristic detection signal. , Modulating the second digital watermark signal to generate the third digital watermark signal.
[0033]
A signal processing method according to a third aspect of the present invention includes a first step of detecting a characteristic of a first image signal and generating a characteristic detection signal, and a step of superimposing a digital watermark signal on the first image signal. A second step of modulating the digital watermark signal based on the characteristic detection signal so that an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to the second image signal; And a third step of superimposing the digital watermark signal modulated in step (1) on the first image signal to generate the second image signal.
[0034]
According to a fourth aspect of the present invention, in the signal processing method, a first step of detecting a first digital watermark signal included in a first image signal, and a step of modulating the second digital watermark signal so as to have a designated intensity. A second step of generating a third digital watermark signal by using the first step, and detecting the intensity of the first digital watermark signal based on the detection result of the first step. Based on the detected intensity so that an image corresponding to the third digital watermark signal becomes difficult to view in an image corresponding to the second image signal obtained by superimposing the digital watermark signal A third step of designating the intensity used in the second step, and a fourth step of generating the second image signal by superimposing the third digital watermark signal on the first image signal. Having.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
First embodiment
This embodiment corresponds to the first and third inventions.
Hereinafter, a copyright protection system according to an embodiment of the present invention will be described.
FIG. 1 is an overall configuration diagram of a copyright protection system 101 according to the present embodiment.
In the copyright protection system 101 shown in FIG. 1, for example, when transmitting a digital video signal DV01 as a video source from a transmission device installed in a broadcast station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable, The digital watermark embedding device 1 in the transmission device transmits a digital video signal DV02 generated by adding (superimposing) digital watermark data DC0 to the digital video signal DV01.
The digital watermark data DC0 indicates copyright information or the like of the video source, and indicates, for example, "CopyOnce" (copy once).
In addition, the digital watermark embedding device 1 records a digital video signal DV05 obtained by adding digital watermark data DC0 indicating “NeverCopy” (copy impossible) to the digital video signal DV01, for example, on the optical disc 8.
[0036]
When the digital video signal DV02 is received by a set-top box or the like, for example, the digital watermark signal DC0 embedded in the digital video signal DV02 is detected and detected by the digital watermark detection device 3 built in the recording device 2. When the digital watermark signal DC0 indicates “CopyOnce” (copy once), the digital video signal DV04 in which the digital watermark signal DC0 is rewritten is recorded on the optical disk 5 by the digital watermark rewriting device 4 built in the recording device 2. .
The rewritten digital watermark signal DC0 is composed of the copyright information of the video source and the like, and indicates "NoMoreCopy" (copy is prohibited any more).
[0037]
The recording device 6 reproduces the digital video signals DV04 and DV05 recorded on the optical disks 5 and 8 thus obtained, detects the digital watermark signal DC0 superimposed on the digital video signal, and outputs the digital watermark signal. When DC0 indicates "NoMoreCopy" or "NeverCopy", the recording of the reproduced digital video signal on the optical disk 7 is stopped, and the copy generation is thereby managed.
[0038]
In the copyright protection system 101, the digital watermark embedding device 1 performs edge detection on a motion vector MV generated by performing motion detection on an image of a digital video signal DV01 that is sequentially input, and on a digital video signal DV01. The characteristic detection data P indicating at least one of the edge data ED generated by the execution is generated.
Then, the digital watermark embedding device 1 makes it difficult to visually recognize an image corresponding to the digital watermark signal in an image corresponding to the digital video signal DV02 in consideration of human visual characteristics based on the characteristic detection data P. In addition, based on the embedding strength designation data obtained by the processing described later, the digital watermark signal is superimposed on the digital video signal so that the digital watermark signal is superimposed with a predetermined range of embedding strength (superimposition strength). The digital video signal DV02 is modulated and superimposed with a digital watermark signal obtained by the modulation.
[0039]
The digital watermark embedding device 1 similarly generates the digital video signal DV05.
Similarly, the digital watermark rewriting device 4 modulates the rewritten digital watermark signal and superimposes the modulated digital watermark signal on the digital video signal DV02 to generate a digital video signal DV04.
[0040]
[Digital watermark embedding device 1]
FIG. 2 is a functional block diagram of the digital watermark embedding device 1 shown in FIG.
As shown in FIG. 2, the digital watermark embedding device 1 includes, for example, a PN generation unit 21, a multiplication unit 22, an image characteristic detection unit 23, a modulation unit 24, an addition unit 25, a digital watermark detection unit 26, and an embedding strength control unit. 27.
The image characteristic detecting section 23 corresponds to the characteristic detecting section of the present invention, the modulating section 24 corresponds to the modulating section of the present invention, and the adding section 25 corresponds to the superimposing section of the present invention.
Further, the digital watermark detecting section 26 and the embedding strength control section 27 correspond to the strength specifying means of the present invention.
[0041]
The PN generation unit 21 generates random number data PN of a PN sequence and outputs this to the multiplication unit 22.
The multiplying unit 22 spreads the spectrum of the digital watermark data DC0 using the random number data PN to generate a digital watermark signal WM1, and outputs this to the modulation unit 24.
As a result, a digital watermark pattern WM1 that is difficult to analyze is generated.
[0042]
The image characteristic detecting unit 23 includes a motion vector MV generated by performing image motion detection on the frame image data of the digital video signal DV01 (first image signal of the present invention) sequentially input, and the frame image data , And outputs the characteristic detection data P (the characteristic detection signal of the present invention) indicating at least one of the edge data ED generated by performing the edge detection to the modulation unit 24.
The motion detection by the image characteristic detection unit 23 is performed based on an image analysis method in consideration of human visual characteristics, and is used for the international standard MPEG2 (Moving Picture Experts Group 2) of moving picture coding, sampling rate conversion, and the like. .
[0043]
Based on the characteristic detection data P input from the image characteristic detection unit 23, the modulation unit 24 considers the visual characteristics of a human and considers the image corresponding to the digital watermark signal WM2 in the image corresponding to the digital video signal DV02. The digital watermark signal WM2 is superimposed on the digital video signal DV01 with a predetermined range of embedding strength (superimposition strength) based on the embedding strength designation data C input from the embedding strength control unit 27 so as to be difficult. Thus, the digital watermark signal WM1 is modulated to generate the digital watermark signal WM2, and this is output to the adding unit 25.
[0044]
Specifically, based on the motion vector MV indicated by the characteristic detection data P, the modulation unit 24 also stops the digital watermark pattern WM1 when the digital video signal DV01 is stationary, and outputs the digital video signal DV01 based on the motion vector MV. If the digital watermark pattern WM1 is moving with the MV, the digital watermark pattern WM1 is also modulated so as to move with the motion vector MV. That is, the modulation unit 24 modulates the digital watermark pattern WM1 such that the digital watermark pattern follows the image pattern in the digital video signal. Thus, when superimposed on the digital video signal DV01, the digital watermark pattern can be hardly detected by human eyes.
[0045]
The modulation unit 24 is sensitive to a change in a low frequency region such as a flat portion of the human eye based on the edge data ED indicated by the characteristic detection data P, but is changed in a high frequency region such as an edge portion. The digital watermark signal WM1 is modulated to generate a digital watermark signal WM2 such that the digital watermark pattern is distributed or redistributed from a flat portion that is conspicuous to an edge portion that is not conspicuous, utilizing the insensitivity of the digital watermark pattern.
[0046]
Further, the modulator 24 modulates the digital watermark signal WM1 to generate the digital watermark signal WM2 so as to achieve the embedding intensity indicated by the embedding intensity designation data C.
[0047]
The adder 25 adds (superimposes) the digital watermark signal WM2 input from the modulator 24 to the digital video signal DV01 to generate a digital video signal DV01 ′ (a second image signal of the present invention), and converts this digital watermark. Output to the detection unit 26.
[0048]
The digital watermark detection unit 26 detects the digital watermark signal WM2 superimposed on the digital video signal DV01 'and outputs a detection result signal DC' indicating the detection result and the digital video signal DV01 'to the embedding strength control unit 27. .
The embedding strength control unit 27 detects the strength of the digital watermark signal WM2 superimposed on the digital video signal DV01 'based on the detection result signal DC' and the digital video signal DV01 '.
Specifically, for example, the digital watermark detection unit 26 obtains the inner product value P2 by performing an operation corresponding to the following equation (12), and determines whether the inner product value P2 and whether or not the digital watermark signal is embedded. A difference from the threshold value TH is generated, and the difference is used as the detection intensity.
[0049]
(Equation 12)

[0050]
The embedding strength control unit 27 determines whether the digital watermark signal WM2 in the digital video signal DV01 'satisfies a predetermined range (a range satisfying a predetermined convergence condition) based on the detection strength described above. If it is determined that the predetermined detection intensity is satisfied, the digital video signal DV01 'is output to the digital watermark detection device 3 shown in FIG. 1 as a digital video signal DV02.
On the other hand, when the embedding strength control unit 27 determines that the digital watermark signal WM2 in the digital video signal DV01 'does not satisfy the detection strength in the predetermined range, the embedding strength control unit 27 converts the digital watermark signal WM2 satisfying the detection strength in the predetermined range into the digital watermark signal WM2. In order to generate the embedding strength data, the embedding strength designation data C for designating the embedding strength of the digital watermark signal WM2 in the modulation unit 24 is generated and output to the modulation unit 24.
That is, the embedding strength control unit 27 determines the embedding strength necessary to obtain the digital video signal DV02 on which the digital watermark signal WM2 is superimposed at the target detection strength based on the detection strength obtained as described above. The embedding strength designation data C is generated so as to predict (improve (converge)) the embedding strength in a direction to achieve a target detection strength.
Here, the embedding strength of the digital watermark signal WM2 superimposed on the digital video signal DV01 is recursively designated by the modulator 24, the adder 25, the digital watermark detector 26 and the embedding strength controller 27. .
[0051]
Assuming that the embedding strength of the digital watermark signal by the modulator 24 is “C”, the following equation (13) is provided between the digital video signals DV01 ′ and DV01 and the digital watermark signal WM1.
FIG. 3 shows, for example, a relationship between the embedding strength of the digital watermark signal and the detection strength by the recursive processing performed by the modulator 24, the adder 25, the digital watermark detector 26, and the embedding strength controller 27.
[0052]
(Equation 13)

[0053]
In FIG. 3, the horizontal axis represents the embedding strength of the digital watermark signal, and the vertical axis represents the detection strength of the digital watermark signal.
The correlation between the embedding strength and the detection strength greatly depends on the frame image data of the digital video signal, but generally the two are almost proportional to each other. The higher the embedding strength, the higher the detection strength. Is smaller, the detection intensity is smaller.
Therefore, when embedding a digital watermark signal in such a digital video signal, a target detection intensity range is set as a convergence condition as shown by a dotted line in FIG. 3, and the detection intensity obtained by the digital watermark detection unit 26 is obtained. However, by repeatedly improving the embedding strength so as to meet this convergence condition, a highly reliable and stable detection characteristic can be realized.
That is, when the embedding strength is set to some initial value and the digital watermark signal is embedded in the digital video signal, and the digital watermark signal is detected from the digital video signal, if the detection strength does not reach the target range, the detection strength becomes Improve the embedding strength in the direction of increasing.
When the detection strength exceeds the target range as a result of detecting the digital watermark signal from the digital video signal, the embedding strength control unit 27 recursively embeds the embedding strength in a direction in which the detection strength decreases to improve the embedding strength. . In this manner, the digital video signal in which the digital watermark signal is embedded with the optimum embedding strength that gives the target detection strength is repeated until the detection strength matches the termination condition (convergence condition) of the recursive processing. Should be output.
[0054]
As a result, when embedding a digital watermark signal in a digital video signal, a reliable detection strength is achieved by recursively processing the embedding strength for frame image data for which sufficient detection strength cannot be secured. It is possible to realize a stable detection characteristic by suppressing the variation in the detection intensity in the frame direction. Further, by repeatedly improving the embedding strength for frame image data for which the detection strength is excessively secured, it is possible to reduce an excessive embedding amount and suppress deterioration of image quality.
[0055]
In addition, as an end condition of the above-described recursive processing, by setting an upper limit of the number of recursions in addition to the range of the target detection intensity, it is also possible to control the processing to be completed within a predetermined calculation time.
In addition, as the correction amount at the time of the recursive processing, in addition to improving the embedding strength by a fixed value, it is also possible to control the embedding strength to be improved by a variable value that accelerates the convergence to the target detection strength. it can.
For example, by using a correction amount that is proportional to the difference between the target detection intensity and the current detection intensity, it is adapted to be coarse when far from the convergence condition and fine when close to the convergence condition. This is to control the correction amount of the embedding strength in order to accelerate the convergence to the target detection strength.
As described above, the embedding strength control unit 27 outputs the embedding strength designation data C so as to repeatedly improve the embedding strength until a predetermined detection strength is achieved.
The modulation unit 24 modulates the digital watermark signal WM1 based on the characteristic detection data P output from the image characteristic detection unit 23 and the embedding strength designation data C output from the embedding strength control unit 27, and considers human visual characteristics. In addition, the digital watermark signal WM2 generated by the embedding strength improved in the direction to achieve the target detection strength is output.
[0056]
The digital video signal DV02 is modulated and broadcast, or written on the optical disk 8, as described above.
[0057]
Hereinafter, an operation example of the digital watermark embedding device 1 shown in FIG. 2 will be described.
FIG. 4 is a flowchart for explaining the operation example.
Step SP11:
The PN generation unit 21 generates PN sequence random number data PN.
Step SP12:
The multiplier 22 uses the PN sequence random number data PN generated by the PN generator 21 to spread the spectrum of the digital watermark data DC0 to generate a digital watermark signal WM1, and outputs the digital watermark signal WM1 to the modulator 24.
Step SP13:
The image characteristic detecting section 23 reads continuous frame image data in the digital video signal DV01.
[0058]
Step SP14:
The image characteristic detection unit 23 detects the motion vector MV generated by performing the motion detection of the image on the frame image data read in step SP13 and the edge data ED generated by performing the edge detection on the digital video signal DV01. The characteristic detection data P indicating at least one of them is output to the modulator 24.
[0059]
Step SP15:
Based on the characteristic detection data P input from the image characteristic detection unit 23, the modulation unit 24 considers the visual characteristics of a human and considers the image corresponding to the digital watermark signal WM2 within the image corresponding to the digital video signal DV2. In such a manner that the digital watermark signal WM2 is superimposed on the digital video signal DV01 with a predetermined range of embedding strength based on the embedding strength designation data C input from the embedding strength control unit 27 so as to be difficult. The digital watermark signal WM1 is modulated to generate a digital watermark signal WM2, which is output to the adding unit 25.
[0060]
Step SP16:
The addition unit 25 shown in FIG. 2 adds (superimposes) the digital watermark signal WM2 input from the modulation unit 24 to the digital video signal DV01 (frame image data) to generate a digital video signal DV01 ', and detects the digital watermark signal. Output to the unit 26.
Step SP17:
The digital watermark detection unit 26 detects the digital watermark signal WM2 superimposed on the digital video signal DV01 ', and outputs a detection result signal DC' indicating the detection result and the digital video signal DV01 'to the embedding strength control unit 27. .
Then, the embedding strength control unit 27 detects the strength of the digital watermark signal WM2 superimposed on the digital video signal DV01 'based on the detection result signal DC' and the digital video signal DV01 '.
[0061]
Step SP18:
Whether the strength (detection strength) detected by the embedding strength control unit 27 in step SP17 satisfies the detection strength of the digital watermark signal WM2 in the digital video signal DV01 'within a predetermined range (a range that satisfies a predetermined convergence condition). It is determined whether or not the recursive processing end condition is satisfied. If it is determined that the predetermined detection intensity is satisfied, the process proceeds to step SP20; otherwise, the process proceeds to step SP19. .
[0062]
Step SP19:
The embedding strength control unit 27 generates embedding strength specifying data C for specifying the embedding strength of the digital watermark signal WM2 in the modulation unit 24 so as to generate the digital watermark signal WM2 satisfying the above-described predetermined range of detection strength. This is output to the modulation unit 24, and the process returns to step SP15. That is, recursive processing is performed.
Step SP20:
The embedding strength control unit 27 outputs the digital video signal DV01 'as the digital video signal DV02 to the digital watermark detection device 3 or writes the digital video signal DV01' to the optical disc 8.
Step SP21:
The control unit (not shown) of the digital watermark embedding device 1 determines whether or not the input of the digital video signal DV01 has been completed. When it is determined that the input has been completed, the process is terminated. Return to processing.
[0063]
[Digital watermark rewriting device 4]
The digital watermark rewriting device 4 has basically the same configuration as the digital watermark embedding device 1 described above, and converts predetermined digital watermark data into digital video signals based on the digital watermark data detected by the digital watermark detection device 3. Superimposed on
[0064]
[Digital watermark detection device 3]
As described above, the digital watermark detection device 3 detects the digital watermark signal WM2 superimposed on the digital video signals DV02, DV04, and DV05.
FIG. 5 is a functional block diagram of the digital watermark detection device 3.
As shown in FIG. 5, the digital watermark detection device 3 includes, for example, a PN generation unit 41, an inner product calculation unit 42, and a comparison determination unit 43.
The PN generation unit 41 generates random number data PN of the same PN sequence as the PN generation unit 21 described above, and outputs this to the inner product calculation unit 42.
The inner product calculation unit 42 calculates an inner product value of the input digital video signals DV02, DV04, DV05 with the random number data PN, and outputs an inner product value S.
The comparison determination unit 43 determines the presence or absence of the digital watermark information DC0, and further determines the polarity of the embedded digital watermark data DC0 by comparing the inner product value S with the optimally set threshold value.
That is, the comparison determination unit 43 makes a determination using the non-negative threshold value TH according to a determination criterion represented by the following equation (14), and outputs the determined digital watermark data DC0.
[0065]
[Equation 14]

[0066]
Hereinafter, an operation example of the digital watermark detection device 3 shown in FIG. 5 will be described.
FIG. 6 is a flowchart for explaining the operation example.
Step SP51:
The PN generation unit 41 generates random number data PN of the same PN sequence as the PN generation unit 21 and outputs this to the inner product calculation unit 42.
Step SP52:
The inner product calculation unit 42 reads the frame image data in the input digital video signals DV02, DV04, DV05.
Step SP53:
The inner product calculation unit 42 calculates the inner product value of the frame image data read in step SP52 with the random number data PN input in step SP51, and outputs the inner product value S to the comparison determination unit 43.
[0067]
Step SP54:
The comparison determination unit 43 determines (detects) the presence or absence of the digital watermark information DC0 and the polarity of the embedded digital watermark data DC0 by comparing the inner product value S input in step SP53 with the optimally set threshold value. .
Step SP55:
The comparison / determination unit 43 outputs the digital watermark data DC0 determined (detected) in step SP54.
Step SP56:
The digital watermark detection device 3 determines whether or not the input of the digital video signals DV02, DV04, and DV05 has been completed. If it is determined that the input has been completed, the process ends. If not, the process proceeds to step SP52. Return.
[0068]
In the recording device 2 shown in FIG. 1, when the digital watermark data DC0 detected by the digital watermark detecting device 3 indicates “CopyOnce”, the digital watermark rewriting device 4 is instructed to indicate “NoMoreCopy”.
When the digital watermark data DC0 detected by the digital watermark detection device 3 indicates “NeverCopy”, the recording device 6 records the digital video signals DV04 and DV05 read from the optical disks 5 and 8 on the optical disk 7. Prohibit (copy restriction).
[0069]
Hereinafter, an overall operation example of the copyright protection system 101 shown in FIG. 1 will be described.
For example, a digital video signal DV01 as a video source is transmitted from a broadcast station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable.
Then, the digital watermark embedding device 1 transmits the digital video signal DV02 generated by adding the digital watermark data DC0 to the digital video signal DV01.
The digital watermark data DC0 indicates copyright information or the like of the video source, and indicates, for example, "CopyOnce" (copy once).
Further, the digital watermark embedding device 1 records a digital video signal DV05 in which digital watermark data DC0 indicating “NeverCopy” is added to the digital video signal DV01, for example, on the optical disc 8.
At this time, the digital watermark embedding device 1 generates the digital watermark signal WM1 using the digital watermark signal DC0 and detects the motion vector MV of the digital video signal DV01.
Then, based on the motion vector MV, the digital watermark embedding device 1 performs the electronic watermarking so that the image based on the digital watermark signal WM becomes difficult to see in the image formed by superimposing the digital watermark signal WM on the digital video signal DV01. The watermark signal WM is modulated, and the digital watermark signal WM is superimposed on the digital video signal DV01 to generate and transmit a digital video signal DV02.
The digital watermark embedding device 1 similarly generates a digital video signal DV05 and records it on the optical disk 8.
[0070]
When the digital video signal DV02 is received by a set-top box or the like, the digital watermark data DC0 embedded in the digital video signal DV02 is detected and detected by the digital watermark detection device 3 built in the recording device 2, for example. When the digital watermark data DC0 indicates “CopyOnce”, a digital video signal DV04 obtained by rewriting the digital watermark signal DC0 is recorded on the optical disk 5 by the digital watermark rewriting device 4 built in the recording device 2.
The digital watermark signal DC0 rewritten here is composed of the copyright information of the video source and the like, and indicates "NoMoreCopy" (copy prohibited).
[0071]
On the other hand, the recording device 6 reproduces the digital video signals DV04 and DV05 recorded on the optical disks 5 and 8 thus obtained, and as described above, the digital watermark data DC0 added to the digital video signals. Is detected, and when the digital watermark signal DC0 indicates “NoMoreCopy” or “NeverCopy”, the recording of the reproduced digital video signal on the optical disc 7 is stopped, and thereby the copy generation is managed.
[0072]
As described above, according to the digital watermark embedding device 1 and the digital watermark rewriting device 4, when processing the input digital video signal, the image characteristic detecting unit 23 detects the digital video signal DV01 that is sequentially input. The characteristic detection data P indicating at least one of the motion vector MV generated by performing the motion detection of the image and the edge data ED generated by performing the edge detection on the digital video signal DV01 is output to the modulation unit 24. . Then, based on the characteristic detection data P, the modulation unit 24 considers human visual characteristics so that the image corresponding to the digital watermark signal WM2 becomes difficult to visually recognize in the image corresponding to the digital video signal DV2. In addition, based on the embedding strength instruction data C input from the embedding strength control unit 27, the digital watermark signal WM2 is superimposed on the digital video signal DV01 with a predetermined range of embedding strength (superimposition strength). The signal WM1 is modulated to generate a digital watermark signal WM2.
Therefore, according to the digital watermark embedding device 1 and the digital watermark rewriting device 4, it is possible to superimpose the digital watermark signal on the digital video signal so as to make it difficult for human eyes to perceive, and the digital watermark affects the image quality. The influence can be suppressed effectively.
[0073]
According to the digital watermark embedding device 1 and the digital watermark rewriting device 4, the modulation unit 24 modulates the digital watermark signal WM1 such that the embedding intensity indicated by the embedding intensity instruction data C from the embedding intensity control unit 27 is achieved. To generate a digital watermark signal WM2.
Therefore, according to the digital watermark embedding device 1 and the digital watermark rewriting device 4, the digital watermark signal WM2 can be prevented from being embedded in the digital video signal DV02 with excessive embedding strength, and the image quality of the digital video signal DV02 can be reduced. Can be held properly. Further, the digital video signal DV02 in which the digital watermark signal WM2 is embedded in a form that can be detected with a predetermined detection strength can be generated, and the reliability of the detection of the digital watermark signal WM2 can be improved.
[0074]
As a result, it is possible to construct a highly reliable copyright protection system with little image quality degradation in the content distribution in the digital network era.
[0075]
Second embodiment
This embodiment corresponds to the second and fourth inventions.
In the first embodiment described above, in the digital watermark embedding device 1 and the digital watermark rewriting device 4, as shown in FIG. 2, the embedding intensity control unit 27 recursively instructs the modulation unit 24 on the embedding intensity. As an example, in the present embodiment, a case will be described in which the embedding strength of the digital watermark signal WM2 is specified based on the detection strength of the digital watermark signal inherent in the digital video signal DV01.
The copyright protection system of the present embodiment differs from the first embodiment in that the digital watermark embedding device 1a and the digital watermark rewriting device 4a are used instead of the digital watermark embedding device 1 and the digital watermark rewriting device 4. It has basically the same configuration as the copyright protection system 101 shown in FIG. 1 described above.
The digital watermark rewriting device 4a has basically the same configuration as the digital watermark embedding device 1a.
[0076]
FIG. 7 is a functional block diagram of the digital watermark embedding device 1a shown in FIG.
As shown in FIG. 7, the digital watermark embedding device 1a includes, for example, a PN generation unit 21, a multiplication unit 22, an image characteristic detection unit 23, a modulation unit 124, an addition unit 125, a digital watermark detection unit 126, and an embedding strength control unit. 127.
7, the PN generation unit 21, the multiplication unit 22, and the image characteristic detection unit 23 denoted by the same reference numerals as those in FIG. 2 are the same as those described in the first embodiment.
The digital watermark detecting unit 126 corresponds to the detecting unit of the present invention, the embedding strength control unit 127 corresponds to the intensity specifying unit of the present invention, the modulating unit 124 corresponds to the modulating unit of the present invention, and the adding unit 125 corresponds to the present invention. Corresponding to the superimposing means.
[0077]
The modulation unit 124 performs basically the same processing as the modulation unit 24 described in the first embodiment except that the embedding intensity designation data C1 from the embedding intensity control unit 127 is used. The digital watermark signal WM1 is modulated to generate a digital watermark signal WM2, which is output to the adding unit 125.
[0078]
The addition unit 125 adds (superimposes) the digital watermark signal WM2 input from the modulation unit 124 to the digital video signal DV01 to generate a digital video signal DV02, and outputs this.
[0079]
The digital watermark detection unit 126 detects the digital watermark signal WM3 included in the digital video signal DV01, and outputs a detection result signal DC3 indicating the detection result to the embedding strength control unit 127.
The embedding strength control unit 127 detects the strength of the digital watermark signal WM3 included in the digital video signal DV01 based on the detection result signal DC3.
Specifically, for example, the digital watermark detection unit 126 obtains the inner product value S by performing an operation corresponding to the following equation (15), and determines whether the inner product value S and whether or not the digital watermark signal is embedded. A difference from the threshold value TH is generated, and the difference is used as the detection intensity.
[0080]
(Equation 15)

[0081]
The embedding strength control unit 127 predicts the minimum embedding strength for embedding (superimposing) the digital watermark signal WM2 in the digital video signal DV01 in a detectable manner based on the above-described detected strength, and estimates the predicted embedding strength. Is generated, and this is output to the modulation unit 124. As a result, it is possible to realize the embedding characteristic of the digital watermark signal in which the influence on the image quality of the digital video signal DV02 is reduced.
[0082]
FIG. 8 is a schematic diagram for explaining the relationship between the embedding strength and the detection threshold when detecting a digital watermark.
The distribution A1 of the inner product value between the frame image data of the digital video signal DV01 and the random number data PN, and the distribution A2 of the inner product value of the frame image data of the digital video signal DV01 ′ with the digital watermark signal WM2 superimposed thereon and the random number data PN are: It can be represented by a probability density function as shown in FIG.
In FIG. 8, by setting an appropriate non-negative threshold value TH, digital watermark information (DC) is detected from the digital video signal DV02 in which the digital watermark signal is embedded.
[0083]
As shown in FIG. 8, the inner product value of the frame image data of the digital video signal DV01 before embedding the digital watermark signal is centered on 0 as shown in the distribution A1, but the distribution A1 is the digital video signal DV01. Since the value greatly depends on the characteristics of the frame image data, an inner product value far from 0 may be taken.
Here, in the example shown in FIG. 8, in order to determine that the digital video signal DV01 having the inner product value of 0 is "with digital watermark", the minimum embedding strength of (TH-0) is required. In order to similarly determine that the digital video signal DV01 of S is "with digital watermark", it is sufficient if the embedding strength is at least (TH-S).
As described above, if the digital watermark signal WM2 is embedded in the digital video signal DV01 with the embedding strength of (TH-S), the detection reliability can be reduced with a smaller embedding strength than the image signal of the inner product value 0. The image quality can be improved while securing the same.
[0084]
In this case, the embedding intensity control unit 127 embeds (superimposes) the digital watermark signal WM2 in the digital video signal DV01 in a minimum embedding manner so as to be detectable based on the above-described detection intensity (inner product value) and the detection threshold TH. The embedding strength (TH-S) is predicted, the embedding strength specifying data C1 for specifying the predicted embedding strength is generated, and this is output to the modulation unit 124.
[0085]
The distribution A3 of the inner product value of the digital video signal DV02 on which the digital watermark signal WM2 generated by the modulator 124 based on the embedding strength designation data C1 is superimposed is, for example, as shown in FIG.
According to the digital watermark embedding device 1a and the digital watermark rewriting device 4a of the present embodiment, the digital watermark signal WM2 can be embedded in the digital video signal DV01 with the minimum necessary embedding strength, and the detection of the digital watermark signal is high. Deterioration of image quality can be suppressed while maintaining reliability.
[0086]
Hereinafter, an operation example of the digital watermark embedding device 1a shown in FIG. 7 will be described.
FIG. 10 is a flowchart for explaining the operation example.
Step SP31:
The PN generation unit 21 generates PN sequence random number data PN.
Step SP32:
The multiplier 22 uses the PN sequence random number data PN generated by the PN generator 21 to spread the spectrum of the digital watermark data DC0 to generate a digital watermark signal WM1, and outputs the digital watermark signal WM1 to the modulator 124.
Step SP33:
The image characteristic detecting section 23 reads continuous frame image data in the digital video signal DV01.
[0087]
Step SP34:
The image characteristic detection unit 23 detects the motion vector MV generated by performing the motion detection of the image on the frame image data read in step SP33 and the edge data ED generated by performing the edge detection on the digital video signal DV01. The characteristic detection data P indicating at least one of them is output to the modulation unit 124.
[0088]
Step SP35:
Digital watermark detection section 126 detects digital watermark signal WM3 inherent in digital video signal DV01, and outputs detection result signal DC3 indicating the detection result to embedded strength control section 127.
The embedding strength control unit 127 detects the strength of the digital watermark signal WM3 included in the digital video signal DV01 based on the detection result signal DC3.
Step SP36:
The embedding strength control unit 127 predicts the minimum embedding strength for embedding (superimposing) the digital watermark signal WM2 in the digital video signal DV01 so as to be detectable based on the detection strength detected in step SP35. The embedding strength designation data C1 for designating the embedding strength is generated and output to the modulation unit 124.
[0089]
Step SP37:
Based on the characteristic detection data P input from the image characteristic detection unit 23, the modulation unit 124 considers the visual characteristics of a human and considers the image corresponding to the digital watermark signal WM2 in the image corresponding to the digital video signal DV2. In such a manner that the digital watermark signal WM2 is superimposed on the digital video signal DV01 with a predetermined range of embedding strength based on the embedding strength designation data C1 input from the embedding strength control unit 127 so as to be difficult. The digital watermark signal WM1 is modulated to generate a digital watermark signal WM2, which is output to the adding unit 125.
[0090]
Step SP38:
The adder 125 adds (superimposes) the digital watermark signal WM2 input from the modulator 124 to the digital video signal DV01 (frame image data) to generate a digital video signal DV02.
Step SP39:
The adding unit 125 outputs the digital video signal DV02 generated in step SP38 to the digital watermark detection device 3 or writes the digital video signal DV02 to the optical disk 8.
Step SP40:
The control unit (not shown) of the digital watermark embedding device 1a determines whether or not the input of the digital video signal DV01 has been completed. When it is determined that the input has been completed, the process is terminated. Return to processing.
[0091]
As described above, according to the digital watermark embedding device 1a and the digital watermark rewriting device 4a of the present embodiment, similarly to the first embodiment, the digital watermark signal is added to the digital video signal so that the digital video signal is hardly perceived by human eyes. It is possible to superimpose, and it is possible to effectively suppress the influence of the digital watermark on the image quality.
[0092]
According to the digital watermark embedding device 1a and the digital watermark rewriting device 4a, the digital watermark signal WM2 can be prevented from being embedded in the digital video signal DV02 with an excessive embedding strength, and the image quality of the digital video signal DV02 can be appropriately adjusted. Can hold. Further, the digital video signal DV02 in which the digital watermark signal WM2 is embedded in a form that can be detected with a predetermined detection strength can be generated, and the reliability of the detection of the digital watermark signal WM2 can be improved.
As a result, it is possible to construct a highly reliable copyright protection system with little image quality degradation in the content distribution in the digital network era.
[0093]
The present invention is not limited to the embodiments described above.
For example, in the above-described embodiment, a corresponding digital watermark detection device is incorporated in the digital watermark embedding device itself to detect a digital watermark for a digital video signal, and the digital watermark is embedded based on the detection result. Although the case where the amount is controlled has been described, the present invention is not limited to this. For example, based on processing unique to each digital watermark superimposition / detection method, a reliable and stable detection characteristic and a level at which deterioration cannot be perceived can be perceived. It can be widely applied when realizing image quality characteristics.
[0094]
Further, in the above-described embodiment, a case has been described in which a digital watermark pattern is generated by spread spectrum of copyright information using random number data and this digital watermark pattern is added to a digital video signal. However, the present invention is not limited to this. Widely applied to various digital watermark embedding methods for superimposing a digital watermark on a baseband signal of a digital video signal, and various digital watermark embedding methods for superimposing a digital watermark on a bit stream signal of a digital video signal can do.
[0095]
Further, in the above-described embodiment, the case where the copyright information is spectrum-spread by the random number data of the PN sequence has been described. However, the present invention is not limited to this, and various numerical patterns such that the total sum becomes 0 statistically are used. It can be widely applied to a case where copyright information is modulated so as to be difficult to analyze.
[0096]
Further, in the above-described embodiment, the case where the copyright information is superimposed has been described. However, the present invention is not limited to this, and can be widely applied to the case where various information is superimposed and transmitted as necessary.
[0097]
In the above-described embodiment, the case where the digital video signal is transmitted from a broadcasting station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable, and the case where the digital video signal is recorded and reproduced on an optical disk have been described. However, the present invention is not limited to this, and can be widely applied to, for example, transmitting various information via the Internet.
[0098]
Also, the digital watermark embedding devices 1 and 1a and the digital watermark rewriting devices 4 and 4a can execute the above-described processing by executing a program describing the processing of each step shown in FIGS. Good.
[0099]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a signal processing apparatus and method capable of performing highly reliable detection and superimposing a digital watermark signal on an image signal while suppressing the effect on image quality.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a copyright protection system according to a first embodiment of the present invention.
FIG. 2 is a functional block diagram of the digital watermark embedding device shown in FIG. 1;
FIG. 3 is a diagram for explaining a relationship between embedding strength and detection strength of a digital watermark signal.
FIG. 4 is a flowchart for explaining an operation example of the digital watermark embedding device shown in FIG. 2;
FIG. 5 is a functional block diagram of the digital watermark detection device shown in FIG. 1;
FIG. 6 is a flowchart for explaining an operation example of the digital watermark detection device shown in FIG. 5;
FIG. 7 is a functional block diagram of a digital watermark embedding device according to a second embodiment of the present invention.
FIG. 8 is a schematic diagram for explaining a relationship between an embedding strength and a detection threshold when detecting a digital watermark;
FIG. 9 is a schematic diagram for explaining a relationship between an embedding strength and a detection threshold when detecting a digital watermark;
FIG. 10 is a flowchart for explaining an operation example of the digital watermark embedding device shown in FIG. 7;
FIG. 11 is a diagram for explaining a problem of the related art.
[Explanation of symbols]
1, 1a: Digital watermark embedding device, 3: Digital watermark detection device, 4, 4a: Digital watermark rewriting device, 2, 6: Recording device, 21: PN generation unit, 22: Multiplication unit, 23: Image characteristic detection unit .., 24, 124... Modulators, 25, 125... Adders, 26, 126... Digital watermark detectors, 27, 127, embedding strength controllers, 41, PN generators, 42.

Claims (14)

Characteristic detecting means for detecting a characteristic of the first image signal and generating a characteristic detection signal;
Based on the characteristic detection signal, an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. Modulating means for modulating a digital watermark signal;
A signal processing device comprising: superimposing means for generating the second image signal by superimposing the digital watermark signal modulated by the modulation means on the first image signal. Intensity detection means for detecting the intensity of the digital watermark signal superimposed on the second image signal;
Intensity designating means for designating the intensity of the digital watermark signal to the modulating means such that the digital watermark signal is superimposed on the first image signal at a predetermined intensity based on the intensity detected by the intensity detecting means. And having
2. The signal processing device according to claim 1, wherein the modulating unit modulates the digital watermark signal so that the digital watermark signal has the intensity specified by the intensity specifying unit. The characteristic detecting means detects edge data of a first image signal, generates the characteristic detection signal indicating the edge data,
The method according to claim 1, wherein the modulation unit modulates the digital watermark signal based on the characteristic detection signal such that the digital watermark signal is superimposed on an edge portion of an image corresponding to the first image signal. The signal processing device according to claim 1. The characteristic detecting means detects motion data of the first image signal, generates the characteristic detection signal indicating the motion data,
The signal according to claim 1, wherein the modulation unit modulates the digital watermark signal based on the characteristic detection signal such that the digital watermark signal follows a movement of an image pattern in the first image signal. Processing equipment. 3. The modulation unit according to claim 2, wherein the intensity designation unit repeatedly designates the intensity of the digital watermark signal to the modulation unit until the intensity of the digital watermark signal superimposed on the second image signal falls within a predetermined range. Signal processing device. Detecting means for detecting a first digital watermark signal inherent in the first image signal;
Modulating means for modulating the second digital watermark signal so as to have a specified intensity to generate a third digital watermark signal;
The intensity of the first digital watermark signal is detected based on the detection result of the detecting means, and the intensity of the first digital watermark signal is detected by superimposing the third digital watermark signal on the first image signal. Intensity designating means for designating the intensity to the modulating means based on the detected intensity so that an image corresponding to the third digital watermark signal in the image becomes difficult to view;
Superimposing means for superimposing the third digital watermark signal on the first image signal to generate the second image signal. The intensity designating unit superimposes the first digital watermark signal on the first image signal with the operation value obtained by performing an operation using the first image signal and a predetermined detection signal. 7. The signal processing apparatus according to claim 6, wherein the intensity is designated to the modulation means based on a difference from a reference value for determining whether or not the modulation is performed. A characteristic detecting unit that detects a characteristic of the first image signal and generates a characteristic detection signal;
7. The signal processing apparatus according to claim 6, wherein the modulation unit modulates the second digital watermark signal based on the characteristic detection signal to generate the third digital watermark signal. A first step of detecting a characteristic of the first image signal and generating a characteristic detection signal;
Based on the characteristic detection signal, an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. A second step of modulating the digital watermark signal;
A third step of generating the second image signal by superimposing the digital watermark signal modulated in the second step on the first image signal. A fourth step of detecting the strength of the digital watermark signal superimposed on the second image signal;
A fifth step of designating the strength of the digital watermark signal such that the digital watermark signal is superimposed on the first image signal at a predetermined strength based on the strength detected in the fourth step. Have more,
The signal processing method according to claim 9, wherein the second step modulates the digital watermark signal so as to have the intensity specified in the fifth step. 11. The signal processing method according to claim 10, wherein in the fifth step, the strength of the digital watermark signal is repeatedly designated until the strength of the digital watermark signal superimposed on the second image signal falls within a predetermined range. . A first step of detecting a first digital watermark signal inherent in the first image signal;
A second step of modulating the second digital watermark signal to a specified intensity to generate a third digital watermark signal;
Detecting the strength of the first digital watermark signal based on the detection result of the first step, and applying the third digital watermark signal to the second image signal obtained by superimposing the third digital watermark signal on the first image signal; A third step of designating the intensity used in the second step based on the detected intensity so that an image corresponding to the third digital watermark signal becomes difficult to view in the corresponding image When,
A fourth step of generating the second image signal by superimposing the third digital watermark signal on the first image signal. In the third step, an operation value obtained by performing an operation using the first image signal and a predetermined detection signal and the first digital watermark signal are superimposed on the first image signal. 13. The signal processing method according to claim 12, wherein the strength is specified based on a difference from a reference value for determining whether or not the strength has been set. A fifth step of detecting a characteristic of the first image signal and generating a characteristic detection signal;
The signal processing method according to claim 12, wherein the second step generates the third digital watermark signal by modulating the second digital watermark signal based on the characteristic detection signal.

Images