JP2004056224A - Signal processing apparatus and method thereof - Google Patents
Signal processing apparatus and method thereof Download PDFInfo
- Publication number
- JP2004056224A JP2004056224A JP2002207443A JP2002207443A JP2004056224A JP 2004056224 A JP2004056224 A JP 2004056224A JP 2002207443 A JP2002207443 A JP 2002207443A JP 2002207443 A JP2002207443 A JP 2002207443A JP 2004056224 A JP2004056224 A JP 2004056224A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- digital watermark
- image
- intensity
- watermark signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、電子透かし信号を画像信号に重畳する信号処理装置およびその方法に関する。
【0002】
【従来の技術】
従来、光ディスク等の記録媒体や、放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されるコンテンツデータ等について、いわゆる電子透かしにより著作権の保護を図る方法が提案されている。この方法は、ビデオ信号やオーディオ信号等の再生に影響を与えない程度の微小な信号レベルにより、著作権に関するデータの変調信号等をビデオ信号やオーディオ信号等に重畳して記録するものである。画像、音声、データ等様々なデジタルコンテンツデータが劣化のない状態でコピーされたり配信されたりする可能性のあるデジタルネットワーク時代において、電子透かし技術はコンテンツデータ自身に情報を埋め込むことにより著作権を保護することのできる有力な技術である。
【0003】
例えばデジタルビデオ信号等の画像信号において、電子透かしを実現する手法について説明する。ここでは画像信号の持つ統計的な性質に基づいて、PN(Pseudorandom Noise)系列の乱数データを基本パターンとして電子透かしを埋め込む場合について考える。簡単のため輝度信号のフレーム画像データを水平サイズ8画素、垂直サイズ6画素とする。
そして、PN系列の乱数データPNを、例えば、下記式(1)のように規定する。
【0004】
【数1】
【0005】
この乱数データPNは統計的に総和が0になるように生成される。次に電子透かしデータDCをこのような性質を持つ乱数データPNによりスペクトラム拡散する。すなわち電子透かしデータDCの極性が“1”の場合には、乱数データPNのパターンをそのまま使用することにより、電子透かし信号WMは、下記式(2)のように規定される。
【0006】
【数2】
【0007】
また電子透かしデータDCの極性が“0”の場合には、乱数データPNのパターンを反転したものを使用することにより、電子透かし信号WMは、下記式(3)のように規定される。
【0008】
【数3】
【0009】
なお、電子透かしデータDCが複数の情報ビットから構成される場合には、例えば輝度信号に応じたフレーム画像を適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直交するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【0010】
一方、デジタルビデオ信号等の画像信号において、近接する輝度信号は同程度の画素値を持つという性質から、輝度信号のデジタルビデオ信号DV1(フレーム画像データ)を、下記式(4)のように規定する。
【0011】
【数4】
【0012】
電子透かしの埋め込みは、デジタルビデオ信号DV1に電子透かし信号WMを加算することによって実現する。電子透かしデータDCの極性が“1”の場合には、電子透かしを埋め込んだデジタルビデオ信号DV2は、下記式(5)で示される。
【0013】
【数5】
【0014】
このようにして電子透かしを埋め込んだデジタルビデオ信号DV2から、電子透かしデータDCを検出するためには、埋め込み時と同一のPN系列の乱数データPNを使用する。
元の輝度信号のフレーム画像データDV1と乱数データPNとの内積値P1は、下記式(6)で示される。
【0015】
【数6】
【0016】
画像信号の持つ統計的な性質から内積値P1は0近傍の値となる。これに対して電子透かしを埋め込んだデジタルビデオ信号DV2と乱数データPNとの内積値P2は、電子透かしデータDCの極性が“1”の場合には、下記式(7)で示される。
【0017】
【数7】
【0018】
一方、デジタルビデオ信号DV2と乱数データPNとの内積値P2は、電子透かしデータ情報DCの極性が“0”の場合には、下記式(8)で示される。
【0019】
【数8】
【0020】
上記内積値P2の絶対値は、乱数データPN自身の内積値PN2近傍の値となる。元のデジタルビデオ信号DV1と乱数データPNの内積値P1および、電子透かしを埋め込んだデジタルビデオ信号DV2と乱数データPNの内積値P2を様々な画像に対して計算すると、内積値P1およびP2の分布は、図11に示すような確率密度関数で表現することができる。したがって、下記式(9)に示すように、適当な非負の閾値THを設定することにより、デジタルビデオ信号DV2から電子透かしデータDCを検出することができる。
【0021】
【数9】
【0022】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の2点が重要なポイントである。
電子透かしの有無を正確に判別するためには、図11における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値THを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値THの選択は難しい。
電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にFalse Positiveと呼び、健全なコンテンツデータ流通を保証するためには極めて小さいFalse Positive値が要求される。したがって電子透かし検出の信頼性を向上するためには、下記式(10)に示すように、非負のスカラー量Cを用いて電子透かしの埋め込み強度を大きくし、下記式(11)に示すように、電子透かしを埋め込んだデジタルビデオ信号DV2と乱数データPNの内積値P2を十分に大きくすればよい。
【0023】
【数10】
【0024】
【数11】
【0025】
【発明が解決しようとする課題】
電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とはトレードオフの関係にあり、検出精度を向上するために電子透かしの埋め込み強度を大きくすると画質の劣化が無視できないものになり、画質に及ぼす影響を抑制するために電子透かしの埋め込み強度を小さくすると検出の信頼性が確保できなくなる。
電子透かしの重畳・検出に際しては様々な方式が提案されているが、信頼性の高く安定した検出特性と劣化を知覚できないレベルの画質特性は未だ達成されておらず、これらを両立した電子透かし埋め込み方法を効果的に実現する必要がある。
【0026】
本発明は、信頼性の高い検出が可能で、しかも画質に及ぼす影響を抑制した状態で電子透かし信号を画像信号に重畳できる信号処理装置およびその方法を提供することを目的とする。
【0027】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明の信号処理装置は、第1の画像信号の特性を検出して特性検出信号を生成する特性検出手段と、前記第1の画像信号に電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する変調手段と、前記変調手段で変調された前記電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する重畳手段とを有する。
【0028】
第1の発明の信号処理装置の作用は以下のようになる。
特性検出手段が、第1の画像信号の特性を検出して特性検出信号を生成する。そして、変調手段が、前記第1の画像信号に電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する。
そして、重畳手段が、前記変調手段で変調された前記電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する。
【0029】
第1の発明の信号処理装置は、好ましくは、前記第2の画像信号に重畳された前記電子透かし信号の強度を検出する強度検出手段と、前記強度検出手段が検出した強度を基に、前記電子透かし信号が所定の強度で前記第1の画像信号に重畳されるように、前記電子透かし信号の強度を前記変調手段に指定する強度指定手段とを有し、前記変調手段は、前記強度指定手段で指定された強度になるように前記電子透かし信号を変調する。
【0030】
第2の発明の信号処理装置は、第1の画像信号に重畳された第1の電子透かし信号を検出する検出手段と、指定された強度になるように第2の電子透かし信号を変調して第3の電子透かし信号を生成する変調手段と、前記検出手段の検出結果に基づいて前記第1の電子透かし信号の強度を検出し、前記第1の画像信号に前記第3の電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記第3の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記変調手段に前記強度を指定する強度指定手段と、前記第3の電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する重畳手段とを有する。
【0031】
第2の発明の信号処理装置の作用は以下のようになる。
検出手段が、第1の画像信号に内在する第1の電子透かし信号を検出する。
そして、変調手段が、強度指定手段によって指定された強度になるように第2の電子透かし信号を変調して第3の電子透かし信号を生成する。
そして、重畳手段が、前記第3の電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する。
この過程で、強度指定手段が、前記検出手段の検出結果に基づいて前記第1の電子透かし信号の強度を検出する。
そして、前記強度指定手段が、前記第1の画像信号に前記第3の電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記第3の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記変調手段に前記強度を指定する。
【0032】
第2の発明の信号処理装置は、好ましくは、第1の画像信号の特性を検出して特性検出信号を生成する特性検出手段をさらに有し、前記変調手段は、前記特性検出信号に基づいて、前記第2の電子透かし信号を変調して前記第3の電子透かし信号を生成する。
【0033】
第3の発明の信号処理方法は、第1の画像信号の特性を検出して特性検出信号を生成する第1の工程と、前記第1の画像信号に電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する第2の工程と、前記第2の工程で変調された前記電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する第3の工程とを有する。
【0034】
第4の発明の信号処理方法は、第1の画像信号に内在する第1の電子透かし信号を検出する第1の工程と、指定された強度になるように第2の電子透かし信号を変調して第3の電子透かし信号を生成する第2の工程と、前記第1の工程の検出結果に基づいて前記第1の電子透かし信号の強度を検出し、前記第1の画像信号に前記第3の電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記第3の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記第2の工程で用いられる前記強度を指定する第3の工程と、前記第3の電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する第4の工程とを有する。
【0035】
【発明の実施の形態】
第1実施形態
本実施形態は、第1および第3の発明に対応している。
以下、本発明の実施形態に係わる著作権保護システムについて説明する。
図1は、本実施形態の著作権保護システム101の全体構成図である。
図1に示す著作権保護システム101では、例えば、ビデオソースであるデジタルビデオ信号DV01を放送局等に設置された伝送装置から衛星波や地上波、ケーブル等の媒体を介して送信する場合に、伝送装置内の電子透かし埋込装置1が、デジタルビデオ信号DV01に電子透かしデータDC0を付加(重畳)して生成したデジタルビデオ信号DV02を送信する。
電子透かしデータDC0はビデオソースの著作権情報等を示し、例えば、“CopyOnce”(1回コピー可)を示している。
また、電子透かし埋込装置1は、例えば、”NeverCopy”(コピー不可)を示す電子透かしデータDC0をデジタルビデオ信号DV01に付加したデジタルビデオ信号DV05を光ディスク8に記録する。
【0036】
デジタルビデオ信号DV02がセットトップボックス等により受信されると、例えば、録画機器2に内蔵された電子透かし検出装置3によって、デジタルビデオ信号DV02に埋め込まれた電子透かし信号DC0が検出され、検出された電子透かし信号DC0が“CopyOnce”(1回コピー可)を示す場合に、録画機器2に内蔵された電子透かし書換装置4により、電子透かし信号DC0を書き換えたデジタルビデオ信号DV04を光ディスク5に記録する。
ここで書き換えられた電子透かし信号DC0はビデオソースの著作権情報等により構成され、“NoMoreCopy”(これ以上のコピー禁止)を示す。
【0037】
録画機器6は、このようにして得られた光ディスク5,8に記録されたデジタルビデオ信号DV04,DV05を再生して、当該デジタルビデオ信号に重畳された電子透かし信号DC0を検出し、電子透かし信号DC0が“NoMoreCopy”あるいは”NeverCopy”を示す場合には、再生したデジタルビデオ信号を光ディスク7に記録するのを中止し、これによりコピー世代を管理する。
【0038】
著作権保護システム101では、電子透かし埋込装置1が、順次入力されるデジタルビデオ信号DV01に対して画像の動き検出を行って生成した動きベクトルMV、並びにデジタルビデオ信号DV01に対してエッジ検出を行って生成したエッジデータEDのうち、少なくとも一方を示す特性検出データPを生成する。
そして、電子透かし埋込装置1が、特性検出データPを基に、人間の視覚特性を考慮して、デジタルビデオ信号DV02に対応した画像内で電子透かし信号に対応した画像が視覚困難になるように、且つ、後述する処理で得られた埋込強度指定データを基に、電子透かし信号が所定の範囲の埋込強度(重畳強度)でデジタルビデオ信号に重畳されるように、電子透かし信号を変調し、当該変調によって得られた電子透かし信号を重畳したデジタルビデオ信号DV02を生成する。
【0039】
また、電子透かし埋込装置1が同様に、デジタルビデオ信号DV05を生成する。
また、電子透かし書換装置4も同様に、書き換えた電子透かし信号を変調し、当該変調された電子透かし信号をデジタルビデオ信号DV02に重畳してデジタルビデオ信号DV04を生成する。
【0040】
〔電子透かし埋込装置1〕
図2は、図1に示す電子透かし埋込装置1の機能ブロック図である。
図2に示すように、電子透かし埋込装置1は、例えば、PN生成部21、乗算部22、画像特性検出部23、変調部24、加算部25、電子透かし検出部26および埋め込み強度制御部27を有する。
画像特性検出部23が本発明の特性検出手段に対応し、変調部24が本発明の変調手段に対応し、加算部25が本発明の重畳手段に対応している。
また、電子透かし検出部26および埋め込み強度制御部27が、本発明の強度指定手段に対応している。
【0041】
PN生成部21は、PN系列の乱数データPNを生成し、これを乗算部22に出力する。
乗算部22は、乱数データPNを用いて電子透かしデータDC0をスペクトラム拡散して電子透かし信号WM1を生成し、これを変調部24に出力する。
これにより、解析困難な電子透かしパターンWM1が生成される。
【0042】
画像特性検出部23は、順次入力されるデジタルビデオ信号DV01(本発明の第1の画像信号)のフレーム画像データに対して画像の動き検出を行って生成した動きベクトルMV、並びに当該フレーム画像データに対してエッジ検出を行って生成したエッジデータEDのうち、少なくとも一方を示す特性検出データP(本発明の特性検出信号)を変調部24に出力する。
画像特性検出部23による動き検出は人間の視覚特性を考慮した画像分析手法を基に行われ、動画像符号化の国際標準規格MPEG2(Moving Picture Experts Group−2)やサンプリングレート変換等に用いられる。
【0043】
変調部24は、画像特性検出部23から入力した特性検出データPを基に、人間の視覚特性を考慮して、デジタルビデオ信号DV02に対応した画像内で電子透かし信号WM2に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部27から入力した埋込強度指定データCを基に、電子透かし信号WM2が所定の範囲の埋込強度(重畳強度)でデジタルビデオ信号DV01に重畳されるように、電子透かし信号WM1を変調して電子透かし信号WM2を生成し、これを加算部25に出力する。
【0044】
具体的には、変調部24は、特性検出データPが示す動きベクトルMVを基に、デジタルビデオ信号DV01が静止している場合には電子透かしパターンWM1も静止させ、デジタルビデオ信号DV01が動きベクトルMVで動いている場合には電子透かしパターンWM1も動きベクトルMVで動かすように変調する。すなわち、変調部24は、電子透かしのパターンを、デジタルビデオ信号内の画像パターンに追従させるように電子透かしパターンWM1を変調する。これにより、デジタルビデオ信号DV01に重畳されたときに、電子透かしパターンを人間の目に感知しにくくできる。
【0045】
また、変調部24は、特性検出データPが示すエッジデータEDを基に、人間の目が平坦部分などの低周波領域での変化には敏感であるが、エッジ部分などの高周波領域での変化には鈍感であることを利用して、電子透かしパターンを目立ちやすい平坦部分から目立ちにくいエッジ部分に配分あるいは再配分するように、電子透かし信号WM1を変調して電子透かし信号WM2を生成する。
【0046】
また、変調部24は、埋込強度指定データCが示す埋込強度を達成するように、電子透かし信号WM1を変調して電子透かし信号WM2を生成する。
【0047】
加算部25は、変調部24から入力した電子透かし信号WM2をデジタルビデオ信号DV01に加算(重畳)してデジタルビデオ信号DV01’(本発明の第2の画像信号)を生成し、これを電子透かし検出部26に出力する。
【0048】
電子透かし検出部26は、デジタルビデオ信号DV01’に重畳された電子透かし信号WM2を検出し、検出結果を示す検出結果信号DC’と、デジタルビデオ信号DV01’とを埋め込み強度制御部27に出力する。
埋め込み強度制御部27は、検出結果信号DC’およびデジタルビデオ信号DV01’を基に、デジタルビデオ信号DV01’に重畳された電子透かし信号WM2の強度を検出する。
具体的には、電子透かし検出部26は、例えば、下記式(12)に相当する演算を行って内積値P2を得て、当該内積値P2と、電子透かし信号の埋込の有無を判断する閾値THとの差分を生成し、当該差分を検出強度として用いる。
【0049】
【数12】
【0050】
埋め込み強度制御部27は、上述した検出強度を基に、デジタルビデオ信号DV01’内の電子透かし信号WM2が所定の範囲(所定の収束条件を満たす範囲)の検出強度を満たしているか否かを判断し、所定の検出強度を満たしていると判断した場合にはデジタルビデオ信号DV01’をデジタルビデオ信号DV02として図1に示す電子透かし検出装置3に出力する。
一方、埋め込み強度制御部27は、デジタルビデオ信号DV01’内の電子透かし信号WM2が上記所定の範囲の検出強度を満たしていないと判断すると、当該所定の範囲の検出強度を満たす電子透かし信号WM2を生成するように、変調部24における電子透かし信号WM2の埋込強度を指定する埋込強度指定データCを生成し、これを変調部24に出力する。
すなわち、埋め込み強度制御部27は、上述したようにして得た検出強度を基に、目標とする検出強度で電子透かし信号WM2が重畳されたデジタルビデオ信号DV02を得るのに必要な埋込強度を予測し、目標とする検出強度を達成する方向に当該埋込強度を改良する(収束させる)ように、埋込強度指定データCを生成する。
ここで、変調部24、加算部25、電子透かし検出部26および埋め込み強度制御部27により、デジタルビデオ信号DV01に重畳される電子透かし信号WM2の埋込強度が再帰的に反復して指定される。
【0051】
変調部24による電子透かし信号の埋込強度を「C」とすると、デジタルビデオ信号DV01’,DV01と、電子透かし信号WM1との間には、以下式(13)で示される。
また、変調部24、加算部25、電子透かし検出部26および埋め込み強度制御部27による再帰処理による、電子透かし信号の埋込強度と検出強度との関係は、例えば、図3に示される。
【0052】
【数13】
【0053】
図3において、横軸が電子透かし信号の埋込強度を示し、縦軸が電子透かし信号の検出強度を示している。
埋込強度と検出強度との相関関係はデジタルビデオ信号のフレーム画像データに大きく依存するが、一般的に両者はほぼ比例関係にあり、埋込強度が大きいほど検出強度も大きくなり、埋込強度が小さいほど検出強度も小さくなる。
そこでこのようなデジタルビデオ信号に対して電子透かし信号を埋め込む際に、図3において点線で示すように目標とする検出強度の範囲を収束条件として設定し、電子透かし検出部26が得た検出強度がこの収束条件に合致するように埋込強度を反復改良していくことにより、信頼性の高く安定した検出特性を実現することができる。
すなわち埋込強度を何らかの初期値に設定してデジタルビデオ信号に電子透かし信号を埋め込み、このデジタルビデオ信号から電子透かし信号を検出した結果、検出強度が目標範囲に達しない場合には、検出強度が大きくなる方向に埋込強度を改良する。
また、埋め込み強度制御部27は、デジタルビデオ信号から電子透かし信号を検出した結果、検出強度が目標範囲を越えた場合には、検出強度が小さくなる方向に埋込強度を再帰処理して改良する。このようにして検出強度が再帰処理の終了条件(収束条件)に合致するまで埋込強度の改良を繰り返し、目標とする検出強度を与える最適な埋込強度により電子透かし信号を埋め込んだデジタルビデオ信号を出力すればよい。
【0054】
これにより、デジタルビデオ信号に対して電子透かし信号を埋め込む際に、十分な検出強度が確保できないフレーム画像データに対して埋込強度を再帰処理していくことにより、信頼性の高い検出強度を実現することができ、フレーム方向の検出強度のばらつきを抑えて安定した検出特性を実現することが可能になる。また、検出強度が過大に確保されているフレーム画像データに対して埋込強度を反復改良していくことにより、過剰な埋め込み量を低減して画質の劣化を抑制することが可能になる。
【0055】
なお、上述した再帰処理の終了条件としては、目標とする検出強度の範囲の他に、再帰回数の上限を設定することにより所定の演算時間内に処理を完了するように制御することもできる。
また再帰処理時の補正量としては、固定値により埋込強度を改良する他に、目標とする検出強度への収束を加速するような可変値により埋込強度を改良するように制御することもできる。
これは例えば、目標とする検出強度と現在の検出強度との差分に比例するような補正量を用いることにより、収束条件から遠い場合には粗く、収束条件から近い場合には細かくといった具合に適応的に埋込強度の補正量を制御し、目標とする検出強度への収束を加速するものである。
上述したように、埋め込み強度制御部27は、所定の検出強度が達成されるまで埋込強度を反復改良するように埋込強度指定データCを出力する。
変調部24は、画像特性検出部23が出力する特性検出データPおよび埋め込み強度制御部27が出力する埋込強度指定データCに基づいて電子透かし信号WM1を変調し、人間の視覚特性を考慮しかつ目標とする検出強度を達成する方向に改良した埋込強度により生成した電子透かし信号WM2を出力する。
【0056】
デジタルビデオ信号DV02は、前述したように、変調されて放送されたり、光ディスク8に書き込まれる。
【0057】
以下、図2に示す電子透かし埋込装置1の動作例を説明する。
図4は、当該動作例を説明するためのフローチャートである。
ステップSP11:
PN生成部21が、PN系列の乱数データPNを生成する。
ステップSP12:
乗算部22が、PN生成部21が生成したPN系列の乱数データPNを用いて、電子透かしデータDC0をスペクトラム拡散して電子透かし信号WM1を生成し、これを変調部24に出力する。
ステップSP13:
画像特性検出部23が、デジタルビデオ信号DV01内の連続したフレーム画像データを読み込む。
【0058】
ステップSP14:
画像特性検出部23が、ステップSP13で読み込んだフレーム画像データに対して画像の動き検出を行って生成した動きベクトルMV、並びにデジタルビデオ信号DV01に対してエッジ検出を行って生成したエッジデータEDのうち、少なくとも一方を示す特性検出データPを変調部24に出力する。
【0059】
ステップSP15:
変調部24が、画像特性検出部23から入力した特性検出データPを基に、人間の視覚特性を考慮して、デジタルビデオ信号DV2に対応した画像内で電子透かし信号WM2に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部27から入力した埋込強度指定データCを基に、電子透かし信号WM2が所定の範囲の埋込強度でデジタルビデオ信号DV01に重畳されるように、電子透かし信号WM1を変調して電子透かし信号WM2を生成し、これを加算部25に出力する。
【0060】
ステップSP16:
図2に示す加算部25が、変調部24から入力した電子透かし信号WM2をデジタルビデオ信号DV01(フレーム画像データ)に加算(重畳)してデジタルビデオ信号DV01’を生成し、これを電子透かし検出部26に出力する。
ステップSP17:
電子透かし検出部26が、デジタルビデオ信号DV01’に重畳された電子透かし信号WM2を検出し、検出結果を示す検出結果信号DC’と、デジタルビデオ信号DV01’とを埋め込み強度制御部27に出力する。
そして、埋め込み強度制御部27が、検出結果信号DC’およびデジタルビデオ信号DV01’を基に、デジタルビデオ信号DV01’に重畳された電子透かし信号WM2の強度を検出する。
【0061】
ステップSP18:
埋め込み強度制御部27が、ステップSP17で検出した強度(検出強度)が、デジタルビデオ信号DV01’内の電子透かし信号WM2が所定の範囲(所定の収束条件を満たす範囲)の検出強度を満たしているか否か(再帰処理終了条件を満たしているか否か)を判断し、所定の検出強度を満たしていると判断した場合にはステップSP20の処理に進み、そうでない場合にはステップSP19の処理に進む。
【0062】
ステップSP19:
埋め込み強度制御部27が、上記所定の範囲の検出強度を満たす電子透かし信号WM2を生成するように、変調部24における電子透かし信号WM2の埋込強度を指定する埋込強度指定データCを生成し、これを変調部24に出力し、ステップSP15の処理に戻る。すなわち、再帰処理を行う。
ステップSP20:
埋め込み強度制御部27が、デジタルビデオ信号DV01’をデジタルビデオ信号DV02として、電子透かし検出装置3に出力したり、光ディスク8に書き込む。
ステップSP21:
電子透かし埋込装置1の図示しない制御部が、デジタルビデオ信号DV01の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップSP13の処理に戻る。
【0063】
〔電子透かし書換装置4〕
電子透かし書換装置4は、基本的に前述した電子透かし埋込装置1と同じ構成を有し、電子透かし検出装置3で検出された電子透かしデータに基づいて、所定の電子透かしデータをデジタルビデオ信号に重畳する。
【0064】
〔電子透かし検出装置3〕
電子透かし検出装置3は、前述したように、デジタルビデオ信号DV02,DV04,DV05に重畳された電子透かし信号WM2を検出する。
図5は、電子透かし検出装置3の機能ブロック図である。
図5に示すように、電子透かし検出装置3は、例えば、PN生成部41、内積演算部42および比較判定部43を有する。
PN生成部41は、前述したPN生成部21と同じPN系列の乱数データPNを生成し、これを内積演算部42に出力する。
内積演算部42は、入力したデジタルビデオ信号DV02,DV04,DV05に対して乱数データPNとの内積値を計算し、内積値Sを出力する。
比較判定部43は、この内積値Sを最適に設定した閾値と比較することにより、電子透かし情報DC0の有無、さらには埋め込まれた電子透かしデータDC0の極性を判定する。
すなわち、比較判定部43は、非負の閾値THを用いて、下記式(14)で示される判定基準で判定を行い、判定した電子透かしデータDC0を出力する。
【0065】
【数14】
【0066】
以下、図5に示す電子透かし検出装置3の動作例を説明する。
図6は、当該動作例を説明するためのフローチャートである。
ステップSP51:
PN生成部41が、PN生成部21と同じPN系列の乱数データPNを生成し、これを内積演算部42に出力する。
ステップSP52:
内積演算部42が、入力したデジタルビデオ信号DV02,DV04,DV05内のフレーム画像データを読み込む。
ステップSP53:
内積演算部42が、ステップSP52で読み込まれたフレーム画像データに対して、ステップSP51で入力された乱数データPNとの内積値を計算し、内積値Sを比較判定部43に出力する。
【0067】
ステップSP54:
比較判定部43が、ステップSP53で入力した内積値Sを最適に設定した閾値と比較することにより、電子透かし情報DC0の有無、さらには埋め込まれた電子透かしデータDC0の極性を判定(検出)する。
ステップSP55:
比較判定部43が、ステップSP54で判定(検出)した電子透かしデータDC0を出力する。
ステップSP56:
電子透かし検出装置3が、デジタルビデオ信号DV02,DV04,DV05の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップSP52の処理に戻る。
【0068】
図1に示す録画機器2では、電子透かし検出装置3において検出された電子透かしデータDC0が”CopyOnce”を示す場合に、電子透かし書換装置4に”NoMoreCopy”を示すように指示する。
また、録画機器6は、電子透かし検出装置3において検出された電子透かしデータDC0が”NeverCopy”を示す場合に、光ディスク5,8から読み出したデジタルビデオ信号DV04,DV05を光ディスク7に記録することを禁止する(コピー制限する)。
【0069】
以下、図1に示す著作権保護システム101の全体動作例を説明する。
例えば、ビデオソースであるデジタルビデオ信号DV01を放送局等より衛星波や地上波、ケーブル等の媒体を介して送信される。
そして、電子透かし埋込装置1が、デジタルビデオ信号DV01に電子透かしデータDC0を付加して生成したデジタルビデオ信号DV02を送信する。
電子透かしデータDC0はビデオソースの著作権情報等を示し、例えば、“CopyOnce”(1回コピー可)を示している。
また、電子透かし埋込装置1は、例えば、”NeverCopy”を示す電子透かしデータDC0をデジタルビデオ信号DV01に付加したデジタルビデオ信号DV05を光ディスク8に記録する。
このとき、電子透かし埋込装置1が、電子透かし信号DC0を用いて電子透かし信号WM1を生成すると共に、デジタルビデオ信号DV01の動きベクトルMVを検出する。
そして、電子透かし埋込装置1が、当該動きベクトルMVに基づいて、デジタルビデオ信号DV01に電子透かし信号WMを重畳した信号による画像内で電子透かし信号WMによる画像が視覚困難になるように、電子透かし信号WMを変調し、当該電子透かし信号WMをデジタルビデオ信号DV01に重畳してデジタルビデオ信号DV02を生成して送信する。
また、電子透かし埋込装置1が同様に、デジタルビデオ信号DV05を生成して光ディスク8に記録する。
【0070】
デジタルビデオ信号DV02がセットトップボックス等により受信されると、例えば、録画機器2に内蔵された電子透かし検出装置3によって、デジタルビデオ信号DV02に埋め込まれた電子透かしデータDC0が検出され、検出された電子透かしデータDC0が“CopyOnce”を示す場合に、録画機器2に内蔵された電子透かし書換装置4により、電子透かし信号DC0を書き換えたデジタルビデオ信号DV04を光ディスク5に記録する。
ここで書き換えられた電子透かし信号DC0はビデオソースの著作権情報等により構成され、“NoMoreCopy”(コピー禁止)を示す。
【0071】
一方、録画機器6は、このようにして得られた光ディスク5,8に記録されたデジタルビデオ信号DV04,DV05を再生して、前述したように、当該デジタルビデオ信号に付加された電子透かしデータDC0を検出し、電子透かし信号DC0が“NoMoreCopy”あるいは”NeverCopy”を示す場合には、再生したデジタルビデオ信号を光ディスク7に記録するのを中止し、これによりコピー世代を管理する。
【0072】
以上説明したように、電子透かし埋込装置1および電子透かし書換装置4によれば、入力したデジタルビデオ信号を処理する際に、画像特性検出部23が、順次入力されるデジタルビデオ信号DV01に対して画像の動き検出を行って生成した動きベクトルMV、並びにデジタルビデオ信号DV01に対してエッジ検出を行って生成したエッジデータEDのうち、少なくとも一方を示す特性検出データPを変調部24に出力する。そして、変調部24が、特性検出データPを基に、人間の視覚特性を考慮して、デジタルビデオ信号DV2に対応した画像内で電子透かし信号WM2に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部27から入力した埋込強度指示データCを基に、電子透かし信号WM2が所定の範囲の埋込強度(重畳強度)でデジタルビデオ信号DV01に重畳されるように、電子透かし信号WM1を変調して電子透かし信号WM2を生成する。
そのため、電子透かし埋込装置1および電子透かし書換装置4によれば、人間の目に感知しにくくなるようにデジタルビデオ信号に電子透かし信号を重畳することが可能になり、電子透かしが画質に及ぼす影響を効果的に抑制することができる。
【0073】
電子透かし埋込装置1および電子透かし書換装置4によれば、変調部24が埋め込み強度制御部27からの埋込強度指示データCが示す埋込強度を達成するように、電子透かし信号WM1を変調して電子透かし信号WM2を生成する。
そのため、電子透かし埋込装置1および電子透かし書換装置4によれば、電子透かし信号WM2が過剰な埋込強度でデジタルビデオ信号DV02に埋め込まれることを回避でき、デジタルビデオ信号DV02の画像の画質を適切に保持できる。また、所定の検出強度で検出可能な形態で電子透かし信号WM2が埋め込まれたデジタルビデオ信号DV02を生成することができ、電子透かし信号WM2の検出の信頼性を高めることができる。
【0074】
これらにより、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【0075】
第2実施形態
本実施形態は、第2および第4の発明に対応している。
上述した第1実施形態では、電子透かし埋込装置1および電子透かし書換装置4において、図2に示すように、埋め込み強度制御部27によって再帰的に埋込強度を変調部24に指示する場合を例示したが、本実施形態では、デジタルビデオ信号DV01に内在する電子透かし信号の検出強度を基に、電子透かし信号WM2の埋込強度を指定する場合を説明する。
本実施形態の著作権保護システムは、電子透かし埋込装置1および電子透かし書換装置4の代わりに、電子透かし埋込装置1aおよび電子透かし書換装置4aを用いる点を除いて、第1実施形態で説明した図1に示す著作権保護システム101と基本的に同じ構成を有している。
電子透かし書換装置4aは、基本的に電子透かし埋込装置1aと同じ構成を有している。
【0076】
図7は、図1に示す電子透かし埋込装置1aの機能ブロック図である。
図7に示すように、電子透かし埋込装置1aは、例えば、PN生成部21、乗算部22、画像特性検出部23、変調部124、加算部125、電子透かし検出部126および埋め込み強度制御部127を有する。
図7において、図2と同じ符号を付したPN生成部21、乗算部22および画像特性検出部23は第1実施形態で説明したものと同じである。
電子透かし検出部126が本発明の検出手段に対応し、埋め込み強度制御部127が本発明の強度指定手段に対応し、変調部124が本発明の変調手段に対応し、加算部125が本発明の重畳手段に対応している。
【0077】
変調部124は、埋め込み強度制御部127からの埋込強度指定データC1を用いる点を除いて、第1実施形態で説明した変調部24と基本的に同じ処理を行って、乗算部22から入力した電子透かし信号WM1を変調して電子透かし信号WM2を生成し、これを加算部125に出力する。
【0078】
加算部125は、変調部124から入力した電子透かし信号WM2をデジタルビデオ信号DV01に加算(重畳)してデジタルビデオ信号DV02を生成し、これを出力する。
【0079】
電子透かし検出部126は、デジタルビデオ信号DV01に内在する電子透かし信号WM3を検出し、その検出結果を示す検出結果信号DC3を埋め込み強度制御部127に出力する。
埋め込み強度制御部127は、検出結果信号DC3を基に、デジタルビデオ信号DV01に内在する電子透かし信号WM3の強度を検出する。
具体的には、電子透かし検出部126は、例えば、下記式(15)に相当する演算を行って内積値Sを得て、当該内積値Sと、電子透かし信号の埋込の有無を判断する閾値THとの差分を生成し、当該差分を検出強度として用いる。
【0080】
【数15】
【0081】
埋め込み強度制御部127は、上述した検出強度を基に、デジタルビデオ信号DV01に検出可能に電子透かし信号WM2を埋め込む(重畳する)ための最小の埋込強度を予測し、当該予測した埋込強度を指定する埋込強度指定データC1を生成し、これを変調部124に出力する。これにより、デジタルビデオ信号DV02の画質に及ぼす影響を低減した電子透かし信号の埋込特性を実現できる。
【0082】
図8は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
デジタルビデオ信号DV01のフレーム画像データと乱数データPNとの内積値の分布A1、並びに電子透かし信号WM2が重畳されたデジタルビデオ信号DV01’のフレーム画像データと乱数データPNの内積値の分布A2は、図8に示すような確率密度関数で表現することができる。
図8において、適当な非負の閾値THを設定することにより、電子透かし信号が埋め込まれたデジタルビデオ信号DV02から電子透かし情報(DC)が検出される。
【0083】
図8に示すように、電子透かし信号の埋め込み前のデジタルビデオ信号DV01のフレーム画像データの上記内積値は、分布A1に示されるように0を中心に位置するが、分布A1はデジタルビデオ信号DV01のフレーム画像データの特性に大きく依存するため0からかけ離れた内積値をとることがある。
ここで、図8に示す例では、内積値0のデジタルビデオ信号DV01を“電子透かしあり”と判断するためには最小で(TH−0)の埋込強度が必要であるが、例えば内積値Sのデジタルビデオ信号DV01を同様に“電子透かしあり”と判断するためには最小で(TH−S)の埋込強度があれば十分である。
このように、(TH−S)の埋込強度でデジタルビデオ信号DV01に電子透かし信号WM2を埋め込めば、内積値0の画像信号に比して、より少ない埋込強度で、検出の信頼性を確保しつつ、画質を向上できる。
【0084】
この場合には、埋め込み強度制御部127は、上述した検出強度(内積値)と検出閾値THとを基に、デジタルビデオ信号DV01に検出可能に電子透かし信号WM2を埋め込む(重畳する)最小の埋込強度(TH−S)を予測し、当該予測した埋込強度を指定する埋込強度指定データC1を生成し、これを変調部124に出力する。
【0085】
このような埋込強度指定データC1を基に変調部124で生成された電子透かし信号WM2が重畳されたデジタルビデオ信号DV02の内積値の分布A3は、例えば、図9に示すようになる。
本実施形態の電子透かし埋込装置1aおよび電子透かし書換装置4aによれば、デジタルビデオ信号DV01に必要最小限の埋込強度で電子透かし信号WM2を埋め込むことができ、電子透かし信号の検出の高い信頼性を保持しながら、画質の劣化を抑制することができる。
【0086】
以下、図7に示す電子透かし埋込装置1aの動作例を説明する。
図10は、当該動作例を説明するためのフローチャートである。
ステップSP31:
PN生成部21が、PN系列の乱数データPNを生成する。
ステップSP32:
乗算部22が、PN生成部21が生成したPN系列の乱数データPNを用いて、電子透かしデータDC0をスペクトラム拡散して電子透かし信号WM1を生成し、これを変調部124に出力する。
ステップSP33:
画像特性検出部23が、デジタルビデオ信号DV01内の連続したフレーム画像データを読み込む。
【0087】
ステップSP34:
画像特性検出部23が、ステップSP33で読み込んだフレーム画像データに対して画像の動き検出を行って生成した動きベクトルMV、並びにデジタルビデオ信号DV01に対してエッジ検出を行って生成したエッジデータEDのうち、少なくとも一方を示す特性検出データPを変調部124に出力する。
【0088】
ステップSP35:
電子透かし検出部126が、デジタルビデオ信号DV01に内在する電子透かし信号WM3を検出し、その検出結果を示す検出結果信号DC3を埋め込み強度制御部127に出力する。
埋め込み強度制御部127が、検出結果信号DC3を基に、デジタルビデオ信号DV01に内在する電子透かし信号WM3の強度を検出する。
ステップSP36:
埋め込み強度制御部127が、ステップSP35で検出した検出強度を基に、デジタルビデオ信号DV01に検出可能に電子透かし信号WM2を埋め込む(重畳する)ための最小の埋込強度を予測し、当該予測した埋込強度を指定する埋込強度指定データC1を生成し、これを変調部124に出力する。
【0089】
ステップSP37:
変調部124が、画像特性検出部23から入力した特性検出データPを基に、人間の視覚特性を考慮して、デジタルビデオ信号DV2に対応した画像内で電子透かし信号WM2に対応した画像が視覚困難になるように、且つ、埋め込み強度制御部127から入力した埋込強度指定データC1を基に、電子透かし信号WM2が所定の範囲の埋込強度でデジタルビデオ信号DV01に重畳されるように、電子透かし信号WM1を変調して電子透かし信号WM2を生成し、これを加算部125に出力する。
【0090】
ステップSP38:
加算部125が、変調部124から入力した電子透かし信号WM2をデジタルビデオ信号DV01(フレーム画像データ)に加算(重畳)してデジタルビデオ信号DV02を生成する。
ステップSP39:
加算部125が、ステップSP38で生成したデジタルビデオ信号DV02を、電子透かし検出装置3に出力したり、光ディスク8に書き込む。
ステップSP40:
電子透かし埋込装置1aの図示しない制御部が、デジタルビデオ信号DV01の入力が終了したか否かを判断し、終了したと判断した場合には処理を終了し、そうでない場合にはステップSP33の処理に戻る。
【0091】
上述したように、本実施形態の電子透かし埋込装置1aおよび電子透かし書換装置4aによれば、第1実施形態と同様、人間の目に感知しにくくなるようにデジタルビデオ信号に電子透かし信号を重畳することが可能になり、電子透かしが画質に及ぼす影響を効果的に抑制することができる。
【0092】
電子透かし埋込装置1aおよび電子透かし書換装置4aによれば、電子透かし信号WM2が過剰な埋込強度でデジタルビデオ信号DV02に埋め込まれることを回避でき、デジタルビデオ信号DV02の画像の画質を適切に保持できる。また、所定の検出強度で検出可能な形態で電子透かし信号WM2が埋め込まれたデジタルビデオ信号DV02を生成することができ、電子透かし信号WM2の検出の信頼性を高めることができる。
これらにより、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【0093】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、電子透かし埋込装置自身の中に対応する電子透かし検出装置を内蔵してデジタルビデオ信号に対して電子透かしの検出を行い、この検出結果に基づいて電子透かしの埋め込み量を制御する場合について述べたが、本発明はこれに限らず、例えばそれぞれの電子透かし重畳・検出手法に固有の処理に基づいて、信頼性の高く安定した検出特性や劣化を知覚できないレベルの画質特性を実現しようとする場合に広く適用することができる。
【0094】
また、上述した実施形態では、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【0095】
また、上述した実施形態では、著作権情報をPN系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が0になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【0096】
また、上述した実施形態では、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【0097】
また上述の実施の形態においては、放送局等よりデジタルビデオ信号を衛星波や地上波、ケーブル等の媒体を介して伝送する場合、および光ディスクにデジタルビデオ信号を記録、再生する場合について述べたが、本発明はこれに限らず、例えばインターネットを介して種々の情報を伝送する場合等に広く適用することができる。
【0098】
また、電子透かし埋込装置1,1aおよび電子透かし書換装置4,4aは、図4および図10に示す各工程の処理を記述したプログラムをデータ処理装置で実行して上述した処理を行ってもよい。
【0099】
【発明の効果】
以上説明したように、本発明によれば、信頼性の高い検出が可能で、しかも画質に及ぼす影響を抑制した状態で電子透かし信号を画像信号に重畳できる信号処理装置およびその方法を提供できる。
【図面の簡単な説明】
【図1】図1は、本発明の第1実施形態の著作権保護システムの全体構成図である。
【図2】図2は、図1に示す電子透かし埋込装置の機能ブロック図である。
【図3】図3は、電子透かし信号の埋込強度と検出強度との関係を説明するための図である。
【図4】図4は、図2に示す電子透かし埋込装置の動作例を説明するためのフローチャートである。
【図5】図5は、図1に示す電子透かし検出装置の機能ブロック図である。
【図6】図6は、図5に示す電子透かし検出装置の動作例を説明するためのフローチャートである。
【図7】図7は、本発明の第2実施形態の電子透かし埋込装置の機能ブロック図である。
【図8】図8は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
【図9】図9は、電子透かし検出時における埋込強度と検出閾値との関係の説明に供する略線図である。
【図10】図10は、図7に示す電子透かし埋込装置の動作例を説明するためのフローチャートである。
【図11】図11は、従来技術の問題点を説明するための図である。
【符号の説明】
1,1a…電子透かし埋込装置、3…電子透かし検出装置、4,4a…電子透かし書換装置、2,6…録画機器、21…PN生成部、22…乗算部、23…画像特性検出部、24,124…変調部、25,125…加算部、26,126…電子透かし検出部、27,127…埋め込み強度制御部、41…PN生成部、42…内積演算部、43…比較判定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing apparatus and method for superimposing a digital watermark signal on an image signal.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed a method of protecting the copyright of a recording medium such as an optical disk, or content data transmitted from a broadcasting station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable by a so-called digital watermark. . In this method, a modulation signal or the like of data relating to copyright is superimposed and recorded on a video signal, an audio signal, or the like at a very small signal level that does not affect reproduction of a video signal, an audio signal, or the like. Digital watermark technology protects copyrights by embedding information in the content data itself in the digital network era where various digital content data such as images, sounds, data, etc. may be copied and distributed without deterioration. It is a powerful technology that can do it.
[0003]
For example, a method for implementing a digital watermark in an image signal such as a digital video signal will be described. Here, a case is considered in which a digital watermark is embedded using random number data of a PN (Pseudorandom @ Noise) sequence as a basic pattern based on the statistical properties of an image signal. For simplicity, the frame image data of the luminance signal has a horizontal size of 8 pixels and a vertical size of 6 pixels.
Then, the PN sequence random number data PN is defined, for example, as in the following equation (1).
[0004]
(Equation 1)
[0005]
The random number data PN is generated so that the total sum becomes zero statistically. Next, the electronic watermark data DC is spectrum-spread by random number data PN having such properties. That is, when the polarity of the digital watermark data DC is “1”, the digital watermark signal WM is defined as in the following equation (2) by using the pattern of the random number data PN as it is.
[0006]
(Equation 2)
[0007]
When the polarity of the digital watermark data DC is “0”, the digital watermark signal WM is defined by the following equation (3) by using a pattern obtained by inverting the pattern of the random number data PN.
[0008]
(Equation 3)
[0009]
When the digital watermark data DC is composed of a plurality of information bits, for example, a frame image corresponding to a luminance signal may be divided into appropriate small areas, and each information bit may correspond to each small area. . In addition, for example, a plurality of different digital watermark patterns that are orthogonal to each other may be used, and each information bit may correspond to each digital watermark pattern. Further, these methods may be used in combination.
[0010]
On the other hand, in an image signal such as a digital video signal, since a luminance signal adjacent thereto has a similar pixel value, the digital video signal DV1 (frame image data) of the luminance signal is defined as in the following equation (4). I do.
[0011]
(Equation 4)
[0012]
The embedding of the digital watermark is realized by adding the digital watermark signal WM to the digital video signal DV1. When the polarity of the digital watermark data DC is “1”, the digital video signal DV2 in which the digital watermark is embedded is represented by the following equation (5).
[0013]
(Equation 5)
[0014]
In order to detect the digital watermark data DC from the digital video signal DV2 in which the digital watermark is embedded in this manner, the same PN sequence random number data PN as at the time of embedding is used.
The inner product value P1 of the frame image data DV1 of the original luminance signal and the random number data PN is represented by the following equation (6).
[0015]
(Equation 6)
[0016]
The inner product value P1 is a value near 0 due to the statistical properties of the image signal. On the other hand, the inner product value P2 of the digital video signal DV2 in which the digital watermark is embedded and the random number data PN is expressed by the following equation (7) when the polarity of the digital watermark data DC is “1”.
[0017]
(Equation 7)
[0018]
On the other hand, the inner product value P2 of the digital video signal DV2 and the random number data PN is represented by the following equation (8) when the polarity of the digital watermark data information DC is “0”.
[0019]
(Equation 8)
[0020]
The absolute value of the inner product value P2 is the inner product value PN of the random number data PN itself.2It becomes a value near. When the inner product value P1 of the original digital video signal DV1 and the random number data PN and the inner product value P2 of the digital video signal DV2 with the digital watermark embedded therein and the random number data PN are calculated for various images, the distribution of the inner product values P1 and P2 is obtained. Can be expressed by a probability density function as shown in FIG. Therefore, as shown in the following equation (9), by setting an appropriate non-negative threshold value TH, the digital watermark data DC can be detected from the digital video signal DV2.
[0021]
(Equation 9)
[0022]
In actualizing a digital watermark, two important points are reliability of digital watermark detection and influence of digital watermark on image quality.
In order to accurately determine the presence or absence of a digital watermark, a threshold value TH that accurately separates the probability density function in the case of “with digital watermark” from the probability density function in the case of “without digital watermark” in FIG. 11 is used. Must be set. In practice, however, the tails of the probability density functions overlap, and it is difficult to select a threshold value TH that can accurately determine the presence or absence of a digital watermark.
In particular, the probability that an electronic watermark is not embedded but is determined to be "with electronic watermark" is particularly called False @ Positive, and a very small False @ Positive value is required to guarantee sound content data distribution. Therefore, in order to improve the reliability of digital watermark detection, as shown in the following equation (10), the embedding strength of the digital watermark is increased using a non-negative scalar amount C, and as shown in the following equation (11): The inner product value P2 of the digital video signal DV2 in which the digital watermark is embedded and the random number data PN may be made sufficiently large.
[0023]
(Equation 10)
[0024]
[Equation 11]
[0025]
[Problems to be solved by the invention]
There is a trade-off between the reliability of digital watermark detection and the effect of digital watermark on image quality.If the embedding strength of digital watermark is increased to improve detection accuracy, deterioration of image quality cannot be ignored, and If the embedding strength of the digital watermark is reduced to suppress the influence, the reliability of detection cannot be ensured.
Various methods have been proposed for superimposition and detection of digital watermarks, but reliable and stable detection characteristics and image quality characteristics at a level at which deterioration cannot be perceived have not yet been achieved. The method needs to be implemented effectively.
[0026]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a signal processing apparatus and method capable of performing highly reliable detection and superimposing a digital watermark signal on an image signal in a state in which an influence on image quality is suppressed.
[0027]
[Means for Solving the Problems]
In order to achieve the above object, a signal processing device according to a first aspect of the present invention includes a characteristic detecting unit configured to detect a characteristic of a first image signal to generate a characteristic detection signal, and to digitally watermark the first image signal. Modulating means for modulating a digital watermark signal based on the characteristic detection signal so that an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing the signal; And superimposing means for superimposing the digital watermark signal modulated by the modulation means on the first image signal to generate the second image signal.
[0028]
The operation of the signal processing device of the first invention is as follows.
A characteristic detecting unit detects a characteristic of the first image signal and generates a characteristic detection signal. And a modulating unit configured to make the image corresponding to the digital watermark signal difficult to visually recognize in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. The digital watermark signal is modulated based on the characteristic detection signal.
Then, superimposing means superimposes the digital watermark signal modulated by the modulating means on the first image signal to generate the second image signal.
[0029]
The signal processing device according to the first invention is preferably configured such that, based on the intensity detected by the intensity detection unit, an intensity detection unit configured to detect an intensity of the digital watermark signal superimposed on the second image signal. Intensity specifying means for specifying the intensity of the digital watermark signal to the modulating means so that the digital watermark signal is superimposed on the first image signal at a predetermined intensity; The digital watermark signal is modulated so as to have the intensity specified by the means.
[0030]
According to a second aspect of the present invention, a signal processing device detects a first digital watermark signal superimposed on a first image signal, and modulates the second digital watermark signal to a specified intensity. Modulating means for generating a third digital watermark signal; detecting the intensity of the first digital watermark signal based on the detection result of the detecting means; and converting the third digital watermark signal to the first image signal. Based on the detected intensity, the modulating means applies the intensity to the image corresponding to the third digital watermark signal so that the image corresponding to the third digital watermark signal becomes difficult to view in the image corresponding to the second image signal obtained by superimposition. And a superimposing means for superimposing the third digital watermark signal on the first image signal to generate the second image signal.
[0031]
The operation of the signal processing device of the second invention is as follows.
Detection means detects a first digital watermark signal inherent in the first image signal.
Then, the modulating means modulates the second digital watermark signal so as to have the intensity specified by the intensity specifying means, and generates a third digital watermark signal.
Then, superimposing means superimposes the third digital watermark signal on the first image signal to generate the second image signal.
In this process, the strength designating means detects the strength of the first digital watermark signal based on the detection result of the detecting means.
An image corresponding to the third digital watermark signal within an image corresponding to a second image signal obtained by superimposing the third digital watermark signal on the first image signal. The intensity is designated to the modulating means based on the detected intensity so that is difficult to see.
[0032]
Preferably, the signal processing device of the second invention further includes a characteristic detecting unit that detects a characteristic of the first image signal to generate a characteristic detection signal, and the modulation unit is configured to detect the characteristic of the first image signal based on the characteristic detection signal. , Modulating the second digital watermark signal to generate the third digital watermark signal.
[0033]
A signal processing method according to a third aspect of the present invention includes a first step of detecting a characteristic of a first image signal and generating a characteristic detection signal, and a step of superimposing a digital watermark signal on the first image signal. A second step of modulating the digital watermark signal based on the characteristic detection signal so that an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to the second image signal; And a third step of superimposing the digital watermark signal modulated in step (1) on the first image signal to generate the second image signal.
[0034]
According to a fourth aspect of the present invention, in the signal processing method, a first step of detecting a first digital watermark signal included in a first image signal, and a step of modulating the second digital watermark signal so as to have a designated intensity. A second step of generating a third digital watermark signal by using the first step, and detecting the intensity of the first digital watermark signal based on the detection result of the first step. Based on the detected intensity so that an image corresponding to the third digital watermark signal becomes difficult to view in an image corresponding to the second image signal obtained by superimposing the digital watermark signal A third step of designating the intensity used in the second step, and a fourth step of generating the second image signal by superimposing the third digital watermark signal on the first image signal. Having.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
First embodiment
This embodiment corresponds to the first and third inventions.
Hereinafter, a copyright protection system according to an embodiment of the present invention will be described.
FIG. 1 is an overall configuration diagram of a
In the
The digital watermark data DC0 indicates copyright information or the like of the video source, and indicates, for example, "CopyOnce" (copy once).
In addition, the digital
[0036]
When the digital video signal DV02 is received by a set-top box or the like, for example, the digital watermark signal DC0 embedded in the digital video signal DV02 is detected and detected by the digital
The rewritten digital watermark signal DC0 is composed of the copyright information of the video source and the like, and indicates "NoMoreCopy" (copy is prohibited any more).
[0037]
The
[0038]
In the
Then, the digital
[0039]
The digital
Similarly, the digital
[0040]
[Digital watermark embedding device 1]
FIG. 2 is a functional block diagram of the digital
As shown in FIG. 2, the digital
The image
Further, the digital
[0041]
The
The multiplying
As a result, a digital watermark pattern WM1 that is difficult to analyze is generated.
[0042]
The image
The motion detection by the image
[0043]
Based on the characteristic detection data P input from the image
[0044]
Specifically, based on the motion vector MV indicated by the characteristic detection data P, the
[0045]
The
[0046]
Further, the
[0047]
The
[0048]
The digital
The embedding
Specifically, for example, the digital
[0049]
(Equation 12)
[0050]
The embedding
On the other hand, when the embedding
That is, the embedding
Here, the embedding strength of the digital watermark signal WM2 superimposed on the digital video signal DV01 is recursively designated by the
[0051]
Assuming that the embedding strength of the digital watermark signal by the
FIG. 3 shows, for example, a relationship between the embedding strength of the digital watermark signal and the detection strength by the recursive processing performed by the
[0052]
(Equation 13)
[0053]
In FIG. 3, the horizontal axis represents the embedding strength of the digital watermark signal, and the vertical axis represents the detection strength of the digital watermark signal.
The correlation between the embedding strength and the detection strength greatly depends on the frame image data of the digital video signal, but generally the two are almost proportional to each other. The higher the embedding strength, the higher the detection strength. Is smaller, the detection intensity is smaller.
Therefore, when embedding a digital watermark signal in such a digital video signal, a target detection intensity range is set as a convergence condition as shown by a dotted line in FIG. 3, and the detection intensity obtained by the digital
That is, when the embedding strength is set to some initial value and the digital watermark signal is embedded in the digital video signal, and the digital watermark signal is detected from the digital video signal, if the detection strength does not reach the target range, the detection strength becomes Improve the embedding strength in the direction of increasing.
When the detection strength exceeds the target range as a result of detecting the digital watermark signal from the digital video signal, the embedding
[0054]
As a result, when embedding a digital watermark signal in a digital video signal, a reliable detection strength is achieved by recursively processing the embedding strength for frame image data for which sufficient detection strength cannot be secured. It is possible to realize a stable detection characteristic by suppressing the variation in the detection intensity in the frame direction. Further, by repeatedly improving the embedding strength for frame image data for which the detection strength is excessively secured, it is possible to reduce an excessive embedding amount and suppress deterioration of image quality.
[0055]
In addition, as an end condition of the above-described recursive processing, by setting an upper limit of the number of recursions in addition to the range of the target detection intensity, it is also possible to control the processing to be completed within a predetermined calculation time.
In addition, as the correction amount at the time of the recursive processing, in addition to improving the embedding strength by a fixed value, it is also possible to control the embedding strength to be improved by a variable value that accelerates the convergence to the target detection strength. it can.
For example, by using a correction amount that is proportional to the difference between the target detection intensity and the current detection intensity, it is adapted to be coarse when far from the convergence condition and fine when close to the convergence condition. This is to control the correction amount of the embedding strength in order to accelerate the convergence to the target detection strength.
As described above, the embedding
The
[0056]
The digital video signal DV02 is modulated and broadcast, or written on the optical disk 8, as described above.
[0057]
Hereinafter, an operation example of the digital
FIG. 4 is a flowchart for explaining the operation example.
Step SP11:
The
Step SP12:
The
Step SP13:
The image
[0058]
Step SP14:
The image
[0059]
Step SP15:
Based on the characteristic detection data P input from the image
[0060]
Step SP16:
The
Step SP17:
The digital
Then, the embedding
[0061]
Step SP18:
Whether the strength (detection strength) detected by the embedding
[0062]
Step SP19:
The embedding
Step SP20:
The embedding
Step SP21:
The control unit (not shown) of the digital
[0063]
[Digital watermark rewriting device 4]
The digital
[0064]
[Digital watermark detection device 3]
As described above, the digital
FIG. 5 is a functional block diagram of the digital
As shown in FIG. 5, the digital
The
The inner
The
That is, the
[0065]
[Equation 14]
[0066]
Hereinafter, an operation example of the digital
FIG. 6 is a flowchart for explaining the operation example.
Step SP51:
The
Step SP52:
The inner
Step SP53:
The inner
[0067]
Step SP54:
The
Step SP55:
The comparison /
Step SP56:
The digital
[0068]
In the
When the digital watermark data DC0 detected by the digital
[0069]
Hereinafter, an overall operation example of the
For example, a digital video signal DV01 as a video source is transmitted from a broadcast station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable.
Then, the digital
The digital watermark data DC0 indicates copyright information or the like of the video source, and indicates, for example, "CopyOnce" (copy once).
Further, the digital
At this time, the digital
Then, based on the motion vector MV, the digital
The digital
[0070]
When the digital video signal DV02 is received by a set-top box or the like, the digital watermark data DC0 embedded in the digital video signal DV02 is detected and detected by the digital
The digital watermark signal DC0 rewritten here is composed of the copyright information of the video source and the like, and indicates "NoMoreCopy" (copy prohibited).
[0071]
On the other hand, the
[0072]
As described above, according to the digital
Therefore, according to the digital
[0073]
According to the digital
Therefore, according to the digital
[0074]
As a result, it is possible to construct a highly reliable copyright protection system with little image quality degradation in the content distribution in the digital network era.
[0075]
Second embodiment
This embodiment corresponds to the second and fourth inventions.
In the first embodiment described above, in the digital
The copyright protection system of the present embodiment differs from the first embodiment in that the digital
The digital watermark rewriting device 4a has basically the same configuration as the digital
[0076]
FIG. 7 is a functional block diagram of the digital
As shown in FIG. 7, the digital
7, the
The digital
[0077]
The
[0078]
The
[0079]
The digital
The embedding
Specifically, for example, the digital
[0080]
(Equation 15)
[0081]
The embedding
[0082]
FIG. 8 is a schematic diagram for explaining the relationship between the embedding strength and the detection threshold when detecting a digital watermark.
The distribution A1 of the inner product value between the frame image data of the digital video signal DV01 and the random number data PN, and the distribution A2 of the inner product value of the frame image data of the digital video signal DV01 ′ with the digital watermark signal WM2 superimposed thereon and the random number data PN are: It can be represented by a probability density function as shown in FIG.
In FIG. 8, by setting an appropriate non-negative threshold value TH, digital watermark information (DC) is detected from the digital video signal DV02 in which the digital watermark signal is embedded.
[0083]
As shown in FIG. 8, the inner product value of the frame image data of the digital video signal DV01 before embedding the digital watermark signal is centered on 0 as shown in the distribution A1, but the distribution A1 is the digital video signal DV01. Since the value greatly depends on the characteristics of the frame image data, an inner product value far from 0 may be taken.
Here, in the example shown in FIG. 8, in order to determine that the digital video signal DV01 having the inner product value of 0 is "with digital watermark", the minimum embedding strength of (TH-0) is required. In order to similarly determine that the digital video signal DV01 of S is "with digital watermark", it is sufficient if the embedding strength is at least (TH-S).
As described above, if the digital watermark signal WM2 is embedded in the digital video signal DV01 with the embedding strength of (TH-S), the detection reliability can be reduced with a smaller embedding strength than the image signal of the inner product value 0. The image quality can be improved while securing the same.
[0084]
In this case, the embedding
[0085]
The distribution A3 of the inner product value of the digital video signal DV02 on which the digital watermark signal WM2 generated by the
According to the digital
[0086]
Hereinafter, an operation example of the digital
FIG. 10 is a flowchart for explaining the operation example.
Step SP31:
The
Step SP32:
The
Step SP33:
The image
[0087]
Step SP34:
The image
[0088]
Step SP35:
Digital
The embedding
Step SP36:
The embedding
[0089]
Step SP37:
Based on the characteristic detection data P input from the image
[0090]
Step SP38:
The
Step SP39:
The adding
Step SP40:
The control unit (not shown) of the digital
[0091]
As described above, according to the digital
[0092]
According to the digital
As a result, it is possible to construct a highly reliable copyright protection system with little image quality degradation in the content distribution in the digital network era.
[0093]
The present invention is not limited to the embodiments described above.
For example, in the above-described embodiment, a corresponding digital watermark detection device is incorporated in the digital watermark embedding device itself to detect a digital watermark for a digital video signal, and the digital watermark is embedded based on the detection result. Although the case where the amount is controlled has been described, the present invention is not limited to this. For example, based on processing unique to each digital watermark superimposition / detection method, a reliable and stable detection characteristic and a level at which deterioration cannot be perceived can be perceived. It can be widely applied when realizing image quality characteristics.
[0094]
Further, in the above-described embodiment, a case has been described in which a digital watermark pattern is generated by spread spectrum of copyright information using random number data and this digital watermark pattern is added to a digital video signal. However, the present invention is not limited to this. Widely applied to various digital watermark embedding methods for superimposing a digital watermark on a baseband signal of a digital video signal, and various digital watermark embedding methods for superimposing a digital watermark on a bit stream signal of a digital video signal can do.
[0095]
Further, in the above-described embodiment, the case where the copyright information is spectrum-spread by the random number data of the PN sequence has been described. However, the present invention is not limited to this, and various numerical patterns such that the total sum becomes 0 statistically are used. It can be widely applied to a case where copyright information is modulated so as to be difficult to analyze.
[0096]
Further, in the above-described embodiment, the case where the copyright information is superimposed has been described. However, the present invention is not limited to this, and can be widely applied to the case where various information is superimposed and transmitted as necessary.
[0097]
In the above-described embodiment, the case where the digital video signal is transmitted from a broadcasting station or the like via a medium such as a satellite wave, a terrestrial wave, or a cable, and the case where the digital video signal is recorded and reproduced on an optical disk have been described. However, the present invention is not limited to this, and can be widely applied to, for example, transmitting various information via the Internet.
[0098]
Also, the digital
[0099]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a signal processing apparatus and method capable of performing highly reliable detection and superimposing a digital watermark signal on an image signal while suppressing the effect on image quality.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a copyright protection system according to a first embodiment of the present invention.
FIG. 2 is a functional block diagram of the digital watermark embedding device shown in FIG. 1;
FIG. 3 is a diagram for explaining a relationship between embedding strength and detection strength of a digital watermark signal.
FIG. 4 is a flowchart for explaining an operation example of the digital watermark embedding device shown in FIG. 2;
FIG. 5 is a functional block diagram of the digital watermark detection device shown in FIG. 1;
FIG. 6 is a flowchart for explaining an operation example of the digital watermark detection device shown in FIG. 5;
FIG. 7 is a functional block diagram of a digital watermark embedding device according to a second embodiment of the present invention.
FIG. 8 is a schematic diagram for explaining a relationship between an embedding strength and a detection threshold when detecting a digital watermark;
FIG. 9 is a schematic diagram for explaining a relationship between an embedding strength and a detection threshold when detecting a digital watermark;
FIG. 10 is a flowchart for explaining an operation example of the digital watermark embedding device shown in FIG. 7;
FIG. 11 is a diagram for explaining a problem of the related art.
[Explanation of symbols]
1, 1a: Digital watermark embedding device, 3: Digital watermark detection device, 4, 4a: Digital watermark rewriting device, 2, 6: Recording device, 21: PN generation unit, 22: Multiplication unit, 23: Image characteristic detection unit .., 24, 124... Modulators, 25, 125... Adders, 26, 126... Digital watermark detectors, 27, 127, embedding strength controllers, 41, PN generators, 42.
Claims (14)
前記第1の画像信号に電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する変調手段と、
前記変調手段で変調された前記電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する重畳手段と
を有する信号処理装置。Characteristic detecting means for detecting a characteristic of the first image signal and generating a characteristic detection signal;
Based on the characteristic detection signal, an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. Modulating means for modulating a digital watermark signal;
A signal processing device comprising: superimposing means for generating the second image signal by superimposing the digital watermark signal modulated by the modulation means on the first image signal.
前記強度検出手段が検出した強度を基に、前記電子透かし信号が所定の強度で前記第1の画像信号に重畳されるように、前記電子透かし信号の強度を前記変調手段に指定する強度指定手段と
を有し、
前記変調手段は、前記強度指定手段で指定された強度になるように前記電子透かし信号を変調する
請求項1に記載の信号処理装置。Intensity detection means for detecting the intensity of the digital watermark signal superimposed on the second image signal;
Intensity designating means for designating the intensity of the digital watermark signal to the modulating means such that the digital watermark signal is superimposed on the first image signal at a predetermined intensity based on the intensity detected by the intensity detecting means. And having
2. The signal processing device according to claim 1, wherein the modulating unit modulates the digital watermark signal so that the digital watermark signal has the intensity specified by the intensity specifying unit.
前記変調手段は、前記特性検出信号を基に、前記第1の画像信号に応じた画像のエッジ部分に、前記電子透かし信号が重畳されるように、前記電子透かし信号を変調する
請求項1に記載の信号処理装置。The characteristic detecting means detects edge data of a first image signal, generates the characteristic detection signal indicating the edge data,
The method according to claim 1, wherein the modulation unit modulates the digital watermark signal based on the characteristic detection signal such that the digital watermark signal is superimposed on an edge portion of an image corresponding to the first image signal. The signal processing device according to claim 1.
前記変調手段は、前記特性検出信号を基に、前記第1の画像信号内の画像パターンの動きに前記電子透かし信号が追従するように、前記電子透かし信号を変調する
請求項1に記載の信号処理装置。The characteristic detecting means detects motion data of the first image signal, generates the characteristic detection signal indicating the motion data,
The signal according to claim 1, wherein the modulation unit modulates the digital watermark signal based on the characteristic detection signal such that the digital watermark signal follows a movement of an image pattern in the first image signal. Processing equipment.
請求項2に記載の信号処理装置。3. The modulation unit according to claim 2, wherein the intensity designation unit repeatedly designates the intensity of the digital watermark signal to the modulation unit until the intensity of the digital watermark signal superimposed on the second image signal falls within a predetermined range. Signal processing device.
指定された強度になるように第2の電子透かし信号を変調して第3の電子透かし信号を生成する変調手段と、
前記検出手段の検出結果に基づいて前記第1の電子透かし信号の強度を検出し、前記第1の画像信号に前記第3の電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記第3の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記変調手段に前記強度を指定する強度指定手段と、
前記第3の電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する重畳手段と
を有する信号処理装置。Detecting means for detecting a first digital watermark signal inherent in the first image signal;
Modulating means for modulating the second digital watermark signal so as to have a specified intensity to generate a third digital watermark signal;
The intensity of the first digital watermark signal is detected based on the detection result of the detecting means, and the intensity of the first digital watermark signal is detected by superimposing the third digital watermark signal on the first image signal. Intensity designating means for designating the intensity to the modulating means based on the detected intensity so that an image corresponding to the third digital watermark signal in the image becomes difficult to view;
Superimposing means for superimposing the third digital watermark signal on the first image signal to generate the second image signal.
請求項6に記載の信号処理装置。The intensity designating unit superimposes the first digital watermark signal on the first image signal with the operation value obtained by performing an operation using the first image signal and a predetermined detection signal. 7. The signal processing apparatus according to claim 6, wherein the intensity is designated to the modulation means based on a difference from a reference value for determining whether or not the modulation is performed.
をさらに有し、
前記変調手段は、前記特性検出信号に基づいて、前記第2の電子透かし信号を変調して前記第3の電子透かし信号を生成する
請求項6に記載の信号処理装置。A characteristic detecting unit that detects a characteristic of the first image signal and generates a characteristic detection signal;
7. The signal processing apparatus according to claim 6, wherein the modulation unit modulates the second digital watermark signal based on the characteristic detection signal to generate the third digital watermark signal.
前記第1の画像信号に電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記電子透かし信号に対応した画像が視覚困難になるように、前記特性検出信号に基づいて電子透かし信号を変調する第2の工程と、
前記第2の工程で変調された前記電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する第3の工程と
を有する信号処理方法。A first step of detecting a characteristic of the first image signal and generating a characteristic detection signal;
Based on the characteristic detection signal, an image corresponding to the digital watermark signal becomes difficult to view in an image corresponding to a second image signal obtained by superimposing a digital watermark signal on the first image signal. A second step of modulating the digital watermark signal;
A third step of generating the second image signal by superimposing the digital watermark signal modulated in the second step on the first image signal.
前記第4の工程で検出した強度を基に、前記電子透かし信号が所定の強度で前記第1の画像信号に重畳されるように、前記電子透かし信号の強度を指定する第5の工程と
をさらに有し、
前記第2の工程は、前記第5の工程で指定された強度になるように前記電子透かし信号を変調する
請求項9に記載の信号処理方法。A fourth step of detecting the strength of the digital watermark signal superimposed on the second image signal;
A fifth step of designating the strength of the digital watermark signal such that the digital watermark signal is superimposed on the first image signal at a predetermined strength based on the strength detected in the fourth step. Have more,
The signal processing method according to claim 9, wherein the second step modulates the digital watermark signal so as to have the intensity specified in the fifth step.
請求項10に記載の信号処理方法。11. The signal processing method according to claim 10, wherein in the fifth step, the strength of the digital watermark signal is repeatedly designated until the strength of the digital watermark signal superimposed on the second image signal falls within a predetermined range. .
指定された強度になるように第2の電子透かし信号を変調して第3の電子透かし信号を生成する第2の工程と、
前記第1の工程の検出結果に基づいて前記第1の電子透かし信号の強度を検出し、前記第1の画像信号に前記第3の電子透かし信号を重畳して得られる第2の画像信号に対応した画像内で前記第3の電子透かし信号に対応した画像が視覚困難になるように、検出された前記強度に基づいて、前記第2の工程で用いられる前記強度を指定する第3の工程と、
前記第3の電子透かし信号を前記第1の画像信号に重畳して前記第2の画像信号を生成する第4の工程と
を有する信号処理方法。A first step of detecting a first digital watermark signal inherent in the first image signal;
A second step of modulating the second digital watermark signal to a specified intensity to generate a third digital watermark signal;
Detecting the strength of the first digital watermark signal based on the detection result of the first step, and applying the third digital watermark signal to the second image signal obtained by superimposing the third digital watermark signal on the first image signal; A third step of designating the intensity used in the second step based on the detected intensity so that an image corresponding to the third digital watermark signal becomes difficult to view in the corresponding image When,
A fourth step of generating the second image signal by superimposing the third digital watermark signal on the first image signal.
請求項12に記載の信号処理方法。In the third step, an operation value obtained by performing an operation using the first image signal and a predetermined detection signal and the first digital watermark signal are superimposed on the first image signal. 13. The signal processing method according to claim 12, wherein the strength is specified based on a difference from a reference value for determining whether or not the strength has been set.
をさらに有し、
前記第2の工程は、前記特性検出信号に基づいて、前記第2の電子透かし信号を変調して前記第3の電子透かし信号を生成する
請求項12に記載の信号処理方法。A fifth step of detecting a characteristic of the first image signal and generating a characteristic detection signal;
The signal processing method according to claim 12, wherein the second step generates the third digital watermark signal by modulating the second digital watermark signal based on the characteristic detection signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002207443A JP2004056224A (en) | 2002-07-16 | 2002-07-16 | Signal processing apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002207443A JP2004056224A (en) | 2002-07-16 | 2002-07-16 | Signal processing apparatus and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004056224A true JP2004056224A (en) | 2004-02-19 |
Family
ID=31931901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002207443A Pending JP2004056224A (en) | 2002-07-16 | 2002-07-16 | Signal processing apparatus and method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004056224A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165895A (en) * | 2004-12-06 | 2006-06-22 | Nippon Hoso Kyokai <Nhk> | Analog electronic watermark embedding device and its program and analog electronic watermark detecting device and its program |
JP2006262486A (en) * | 2005-03-17 | 2006-09-28 | Toshiba Corp | Image processing apparatus, image forming apparatus, and method |
WO2007040112A1 (en) * | 2005-10-03 | 2007-04-12 | Mitsubishi Electric Corporation | Electronic watermark embedding device and electronic watermark detection device |
JP2007117167A (en) * | 2005-10-25 | 2007-05-17 | Aloka Co Ltd | Ultrasonic diagnostic apparatus |
JP2016181744A (en) * | 2015-03-23 | 2016-10-13 | 日本電信電話株式会社 | Moving picture burying device, method and program |
CN112561768A (en) * | 2020-12-02 | 2021-03-26 | 中国电子科技集团公司第十五研究所 | Computer screen optimal watermark type determination method and system based on deep learning |
-
2002
- 2002-07-16 JP JP2002207443A patent/JP2004056224A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165895A (en) * | 2004-12-06 | 2006-06-22 | Nippon Hoso Kyokai <Nhk> | Analog electronic watermark embedding device and its program and analog electronic watermark detecting device and its program |
JP2006262486A (en) * | 2005-03-17 | 2006-09-28 | Toshiba Corp | Image processing apparatus, image forming apparatus, and method |
US8169634B2 (en) | 2005-03-17 | 2012-05-01 | Kabushiki Kaisha Toshiba | Image processing apparatus and image forming apparatus |
WO2007040112A1 (en) * | 2005-10-03 | 2007-04-12 | Mitsubishi Electric Corporation | Electronic watermark embedding device and electronic watermark detection device |
US8406455B2 (en) | 2005-10-03 | 2013-03-26 | Mitsubishi Electric Corporation | Digital watermark embedding device and digital watermark detecting device |
JP2007117167A (en) * | 2005-10-25 | 2007-05-17 | Aloka Co Ltd | Ultrasonic diagnostic apparatus |
JP2016181744A (en) * | 2015-03-23 | 2016-10-13 | 日本電信電話株式会社 | Moving picture burying device, method and program |
CN112561768A (en) * | 2020-12-02 | 2021-03-26 | 中国电子科技集团公司第十五研究所 | Computer screen optimal watermark type determination method and system based on deep learning |
CN112561768B (en) * | 2020-12-02 | 2024-03-29 | 中国电子科技集团公司第十五研究所 | Method and system for determining optimal watermark type of computer screen based on deep learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4764433B2 (en) | Safe, robust and high fidelity watermarking | |
US7797542B2 (en) | Watermark signal generating apparatus | |
US7287163B2 (en) | Digital watermark embedding apparatus and method, and computer program | |
JP4181489B2 (en) | Data processing apparatus and data processing method | |
Lubin et al. | Robust content-dependent high-fidelity watermark for tracking in digital cinema | |
JP3861623B2 (en) | Digital watermark embedding processing apparatus, digital watermark embedding processing method, and program | |
JP3861624B2 (en) | Digital watermark embedding processing apparatus, digital watermark embedding processing method, and program | |
JP2004159309A (en) | Method and apparatus for digital watermarking and watermark decoding | |
US6996250B2 (en) | Digital watermark embedding processor, digital watermark detecting processor, digital watermark embedding-processing method, digital watermark detecting-processing method, and program storage medium and program used therewith | |
JP2004056224A (en) | Signal processing apparatus and method thereof | |
JP2004040751A (en) | Data processing apparatus | |
JP2004048567A (en) | Signal processing apparatus and method therefor | |
JP2004040752A (en) | Data processing apparatus and data processing method | |
KR101019632B1 (en) | Contents transmission system for tracking illegal copy of contents and digital set-top box using the same | |
JP2002359805A (en) | Device and method for processing electronic watermark embedding, and program | |
JP2002369161A (en) | Apparatus for electronic watermark embedding process, method for embedding electronic watermark, and program | |
JP4064215B2 (en) | Low bit rate reversible digital watermarking device for moving picture and program thereof | |
KR101352830B1 (en) | Efficient application of video marking technologies | |
JP2002369160A (en) | Apparatus for electronic watermark embedding process, method for embedding electronic watermark, and program | |
JP2004048096A (en) | Additional information superimposing apparatus, additional information superimposing method, additional information detecting apparatus and additional information detecting method | |
JP3708044B2 (en) | Digital watermark embedding method and apparatus, and digital watermark detection method and apparatus | |
JP2004080153A (en) | Information superimposing apparatus, information superimposing method, information detection apparatus, information detection method, and superimposed information detection system | |
WO2023014530A1 (en) | System and method of digital watermarking | |
JP2003134328A (en) | Electronic watermark burying processor, electronic watermark burying processing method and computer program |