JP2004500728A - データ調製及び電子透かし挿入方法 - Google Patents

Abstract

データ調製及び電子透かし挿入方法。この方法は、その後に行われる第１の電子透かしの挿入のためにデータ特性の少なくとも１つの組を操作することにより、第１の時間にデータを調製するステップを含む。本発明の方法の好ましい形態においては、この方法は、第１の時間の後の第２の時間にデータ特性の組を操作することにより、第１の電子透かしを挿入するステップをさらに含む。本発明の方法の他の好ましい形態においては、この方法は、データ特性の少なくとも１つの組を操作することにより、第１の時間の前、その間あるいはその後の第３の時間に第２の電子透かしを挿入するステップをさらに含む。本発明のバリエーションとして、電子透かしを圧縮データに挿入する方法が提供される。圧縮データは、データ特性の組を有する。この方法は、データ特性の組を操作することにより電子透かしを挿入するステップと、制約の組に対して圧縮データ特性を修正することにより処理されたデータを最適化するステップと、を含む。

Description

【０００１】
本発明は、概して、デジタル化可能なオーディオ、ビデオ及び他のメディアが不法に複写されることを防止することに関し、さらに詳しくは、デジタル化されたデータに電子透かし（Ｗａｔｅｒｍａｒｋ）を挿入する方法に関する。
【０００２】
イメージあるいはオーディオあるいはビデオデータに電子透かしを挿入するさまざまな方法が知られている。このような電子透かしの目的の１つは、コピー（複写）世代管理（ｃｏｐｙ ｇｅｎｅｒａｔｉｏｎ ｍａｎａｇｅｍｅｎｔ）のためである。コピー世代管理においては、例えば、マスターから単一世代のコピーの作成は許容されるが、この第１世代コピーからのその後のいかなるコピーも許容されない。
【０００３】
このような応用においては、「ｃｏｐｙ ｎｅｖｅｒ（コピー禁止）」、「ｃｏｐｙ ｏｎｃｅ（コピー１回のみ）」及び「ｃｏｐｙ ｎｏ ｍｏｒｅ（これ以上のコピー禁止）」の３つの状態を表わす必要がある。「ｃｏｐｙ ｎｅｖｅｒ」状態においては、そのコンテンツのいかなる複写も禁止される。「ｃｏｐｙ ｏｎｃｅ」状態は、単一の世代のコピーのみを許容することを意図している。このように、一世代のコピーは、その状態が、元の「ｃｏｐｙ ｏｎｃｅ」状態から「ｃｏｐｙ ｎｏ ｍｏｒｅ」状態に変化しなければならない。
【０００４】
コピー世代管理は、さまざまな方法で実現が可能である。１つの方法は、元の素材（マテリアル：ｍａｔｅｒｉａｌ）における「ｃｏｐｙ ｎｅｖｅｒ」及び「ｃｏｐｙ ｏｎｃｅ」状態を符号化するために２つの異なる電子透かしを使用することである。そして、コピーが生成されると追加の電子透かしが挿入され、「ｃｏｐｙ ｎｏ ｍｏｒｅ」状態を示す。この方法のいくつかのバリエーションが可能である。第１に、「ｃｏｐｙ ｏｎｃｅ」電子透かしを、「ｃｏｐｙ ｎｏ ｍｏｒｅ」電子透かしの挿入に先立って取り除くことが可能である。実際には、「ｃｏｐｙ ｏｎｃｅ」電子透かしの除去は、データ内では１を越える電子透かしが共存可能であるため、不必要であると思われる。その上、電子透かしを容易に取り除ける場合には、そのコンテンツから「ｃｏｐｙ ｏｎｃｅ」電子透かしを単純に取り除くことによってコピー世代管理システムが直接回避されてしまうだろう。電子透かしを伴わないコンテンツは、自由に複写可能であるとみなされる。
【０００５】
第２に、２つの電子透かしの存在により「ｃｏｐｙ ｏｎｃｅ」状態を示すことが可能である。１つの電子透かしは、除去が困難であり、孤立している状態で検出された場合には、「ｃｏｐｙ ｎｏ ｍｏｒｅ」状態を示す。第２の電子透かしは、除去が容易であり、「ｃｏｐｙ ｎｏ ｍｏｒｅ」電子透かしとともに検出された場合にのみ意味をなし、これらの両者の電子透かしが検出されることにより「ｃｏｐｙ ｏｎｃｅ」状態を示す。この方法の利点としては、慎重に設計された場合に、こわれやすい電子透かしが、実際の市販ベースのＶＨＳテープレコーダによって自動的に取り除かれることである。しかしながら、注意すべきことは、例えば、低域通過フィルタ、色補正及びＭＰＥＧ２圧縮等の、ビデオ製造後処理（ポストプロダクション）や伝送などに共通な信号処理の過程で、こわれやすい電子透かしが生き残らなければならないことである。
【０００６】
電子透かしは、一般には、製造段階でデジタル信号にノイズとして挿入される。電子透かしの挿入は、当業界では公知の多種多様な手順で行うことが可能である。電子透かしは、ノイズとして挿入されるが、人間の知覚に関して不可視でなくてはならず、でなければイメージの質が低下するであろう。このため、製造工程で挿入される電子透かしは、イメージに依存するものであり、電子透かしが不可視であるが信号処理の後にも生残っている程度にロバスト（頑強）であることを保証するために、多くの計算を要求するものである。
【０００７】
一旦、電子透かしが挿入されると、その後で、この電子透かしの存在を検出する必要がある。疑わしいデータ中の電子透かしの存在を判定する一般的な方法は、データの特性あるいはこのデータ特性から導かれた信号のいくつかを、対象となる（ターゲット）電子透かしのパターンと比較する方法である。この比較結果がほぼ同様であることを示した場合は、電子透かしが存在していると判別される。
【０００８】
従来技術における、データに電子透かし入れ（ｗａｔｅｒｍａｒｋｉｎｇ）するための一般的な方法が図１に示されている。図１は、３つの類似するデータの組（ｓｅｔ）と、それぞれその上に示され、検出中にデータ特性から導かれる信号とを示している。元のデータ（オリジナルデータ）１に、電子透かしパターン２が加算される。これらの２つの信号の和が電子透かし入れされたデータ３である。検出処理の間、データ特性から導かれる信号６が、電子透かし入れされたデータ３から抽出され、さらに、抽出された信号６が、対象となる電子透かしパターン５と比較される。電子透かし入れされたデータ３は、元のデータ１と電子透かしパターン２との和であり、所定の線形あるいは非線形の結合のいずれかになる。データ特性から導かれた信号６は、この例では、元のデータから導かれた信号４及び対象となる電子透かしパターン５との線形（あるいは多分、非線形）結合である。一般に、電子透かしの特性と元のデータの特性とは相互に作用し合うため、電子透かし入れされたデータの特性から導かれた信号６と電子透かしの特性から導かれた信号５とは、正確には一致しない。電子透かし入れされたデータの特性から導かれた信号６と電子透かしの特性から導かれた信号５とが類似している場合は、データが電子透かし２を含む可能性があることを示している。この図において注意すべきことは、電子透かし入れされたデータ３内に電子透かし２が存在することを示唆するように、電子透かし入れされたデータの特性から導かれた信号６が、電子透かしの特性から導かれた信号５に類似しているが、元のデータから導かれた信号４と電子透かし入れされたデータの特性から導かれた信号６とは類似していないことである。このことは、元のデータ１は、まだ、電子透かし２を含んでいないことを示している。
【０００９】
図１において注意すべきことは、電子透かし入れ工程においては、抽出された信号６が対象となる電子透かし５と最大限に類似するように、電子透かし入れされたデータ３を生成することが望まれている点である。多くの場合、この類似性は、電子透かしパターン２の相対的振幅すなわち強度（ｓｔｒｅｎｇｔｈ）、すなわちデータ特性から抽出される信号５が大きくなることにつれて増加する。電子透かしの強度を増加させることの欠点は、このことが、電子透かし入れされたデータ３と元のデータ１との類似性をそれぞれ減少させがちであることにある。一般に、データがオーディオ、ビデオあるいはイメージを表わす場合には、この類似性は、人間の視覚及び聴覚系により判断される。このため、電子透かしの強度を増加させることにより、しばしば、オーディオ、ビデオ及びイメージの質の低下がもたらされる。
【００１０】
従来技術における、これらの明らか両立しない関係を処理するための一般的な方法としては、検出用に十分な強度の電子透かしが挿入された場合に知覚の劣化が最小限になるように、電子透かしパターンを修正する方法がある。
【００１１】
従来技術においては、記録段階時に最小限の計算量及びコストでの処理が可能なように、コピー世代管理のためのデジタルデータに電子透かしを挿入する方法が必要である。また、従来技術で使用されていた電子透かしよりも著しく弱い強度の電子透かしを挿入し、この電子透かしを高い確率（尤度）で検出可能である電子透かしの挿入方法が必要である。
【００１２】
このため、本発明は、記録段階で要求される計算量が最小限であるデータ調製（ｐｒｅｐａｒａｔｉｏｎ）及び電子透かし挿入方法を目指している。
【００１３】
さらに本発明は、その後に行われる電子透かしの挿入を、従来技術の方法と比較して安価に行うことができるデータ調製方法を目指している。
【００１４】
さらにまた本発明は、従来技術で行われてきた電子透かしよりも十分に弱い強度であってかつ高い確率で検出することができる電子透かしをもたらす、データ調製及び電子透かし挿入方法を目指している。
【００１５】
本発明はさらに、上述した目的の全てが処理可能である、コピー世代管理用のデータ調製及び電子透かし挿入方法を目指している。
【００１６】
本発明の方法においては、一般の方法と異なり、慎重に選択された電子透かしパターンにより、検出の高い確率と、電子透かし入れされたデータ及び元のデータの間の高い知覚的類似性とのトレードオフを満足させるだけでなく、データ特性と電子透かし特性との間の相互作用を減少するように、元のデータの特性から導かれた特性及び信号が修正される。これにより、十分に低い強度の電子透かしが高い確率で検出可能になる。
【００１７】
従来技術に対するこれらの利点を達成するために、データ調製及び電子透かし挿入方法を提供する。この方法は、その後に行われる第１の電子透かしの挿入のために、データ特性の少なくとも１つの組を操作することにより、第１の時間にデータを調製するステップを備える。さらに、本発明の方法の好ましい形態においては、第１の時間の後の第２の時間にデータ特性の組を操作することにより、第１の電子透かしを挿入するステップを備える。
【００１８】
さらに、本発明の方法の他の好ましい形態においては、データ特性の少なくとも１つの組を操作することにより、第１の時間の前、その間あるいはその後の第３の時間に第２の電子透かしを挿入するステップを備える。
【００１９】
本発明のバリエーションとしては、電子透かしを圧縮データに挿入する方法が提供される。圧縮データはデータ特性の組を有する。この方法は、データ特性の組を操作することにより、電子透かしを挿入するステップと、制約の組に基づいて圧縮データ特性を修正することにより、操作されたデータを最適化するステップとを備える。
【００２０】
本発明の方法のこれら及びその他の特徴、様相及び利点は、以下の記述、付随する請求の範囲及び添付図面等を参照することにより、より理解されるだろう。
【００２１】
本発明は、多種多様なタイプのデジタルデータに適用されるものであるが、特に、デジタルビデオデータ及びコピー世代管理の環境において有用なものである。このため、本発明の適用範囲をデジタルビデオデータ及びコピー世代管理に限定するものではないが、このような環境において本発明を説明する。
【００２２】
ここで説明する技術は、２つのコピー防止（ｃｏｐｙ ｐｒｏｔｅｃｔｉｏｎ）用電子透かしが、イメージ、オーディオあるいはビデオデータに挿入される場合への適用が意図されている。配布前に、十分な計算資源が利用可能である場合、以下の記載では第１の電子透かしと称される電子透かしの挿入のために、データの前処理が行われる。挿入のためにデータが前処理されあるいは調製されるが、実際には、この時点では、第１の電子透かしはまだ挿入されていない。同じく配布前に、第２の電子透かしがデータに挿入されでもよい。第２の電子透かしは、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、ＶＨＳ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｈｏｍｅ Ｓｙｓｔｅｍ）、ＤＡＴ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ）あるいはＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｋ）などの家庭用記録装置に対し、いかなる複製の作成も許可しない、あるいは１つの複製の作成を許可するのいずれかを指示するために用いられる。いかなる複製も許可されない場合、記録装置は、そのような複製を禁止する。１つの複製が許可された場合、記録装置は、複製が認めるが第１の電子透かしを複製物に挿入する。第１の電子透かしが既に存在している場合は、さらなる複製が許可されない。本発明の方法は、第１の電子透かしのためのデータ調製を含み、これに加えて、第１の電子透かしを挿入するステップ、第２の電子透かしを挿入するステップ、及び第１の電子透かしを特に圧縮データに挿入するステップを含む。
【００２３】
本発明の方法を詳細に説明する前に、本発明の好ましい３つのステップの以下の概要を説明する。本発明の方法の好ましい形態においては、この方法は、その後に行われる第１の電子透かし挿入のために、データ特性の少なくとも１つの組を操作することにより、第１の時間にデータの調製を行う第１のステップと、第１の時間の後の第２の時間にデータ特性の組を操作することにより、第１の電子透かしを挿入する第２のステップと、データ特性の少なくとも１つの組を操作することにより、第１の時間の前、その間あるいはその後の第３の時間に第２の電子透かしを挿入する第３のステップと、を備える。これらのステップは以下に詳細に説明されるであろう。なお、第１のステップ自体が従来技術と比較して新規なものであり、第１のステップと次の２つのステップとの組み合わせは例として与えられたに過ぎず、本発明の範囲を限定するものではないことは、いかなる当業者も理解するべきである。
【００２４】
調製：
本発明の方法の新規な特徴は、電子透かし入れされるデータの調製（準備）にある。この調製によって、低い強度の電子透かしがその後に挿入され、この電子透かしが高い確率（尤度）で検出可能になる。
【００２５】
図２を参照して説明する。図２は、その後に行われる第１の電子透かしの挿入のために、元のデータを調製する本発明の方法を示している。電子透かしパターン２の代わりに、以下の記載で第１の電子透かしと称される電子透かしが、従来技術と同様に元のデータ１に直接加えられ、さらに、電子透かしパターン２が、元のデータ１の修正バージョン７に加えられる。元のデータ１から修正バージョン７を生成する修正プロセスは、調製段階と称される。修正されたデータセット７の２つの重要な性質は、修正データセット７が元のデータ１と知覚的に類似していることと、データ特性あるいはこのデータ特性から導かれた信号８が、電子透かし５とは最大限異なることである。
【００２６】
本発明の好ましい応用においては、元のデータは、オーディオ、ビデオあるいは静止イメージである。考えているデータ特性の組は、空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）、時間領域（ｔｅｍｐｏｒａｌ ｄｏｍａｉｎ）及び／または変換領域（ｔｒａｎｓｆｏｒｍｅｄ ｄｏｍａｉｎ）内のデータから導かれることができる。データ特性を導くことが可能な多くの変換領域がある。好ましい実現形においては、データ特性が、空間領域とブロックＤＣＴ領域の両方の領域内のデータから導かれる。ブロックフーリエ変換、アダマール（Ｈａｄａｍａｒｄ）変換、コルテックス（ｃｏｒｔｅｘ）変換、ウェーブレットのような他の局所的な変換領域が、ＤＣＴ変換やフーリエ変換のような大域的な変換領域と同様に、使用され得る。使用可能な空間領域及び時間領域の特性には、標本値、エッジ特性、色特性、テクスチャ及び音素が含まれる。
【００２７】
図２に示した信号、すなわち、元のデータの特性から導かれた信号４、電子透かしの特性から導かれた信号５、電子透かし入れされたデータから導かれた信号６及び調製された元のデータから導かれた信号８は、データ特性から導かれる。データ特性は、いくつかの信号にマッピングされたものであり、これらの信号は、検出プロセスにおける比較の基礎となる測定可能性を有している。データの修正バージョン７は、調製が終了した後、いくつかの基準に一致する信号８として導かれる。好ましい実現形においては、この基準は、導かれた信号の最小分散である。言い換えれば、導かれた信号は、可能な限りフラットになるように探索される。一般的には、データは、導かれた信号が対象となる信号と一致するように、修正される。これは、一般性を失うことなく、式（１）によって定義される誤差関数Ｅを最小にすることとみなすことが可能である。
【００２８】
Ｅ＝Ｓ−Ｔ　　　　　　（１）
ここで、Ｓは導かれた信号８であり、Ｔは対象となる（ターゲット）信号である。好ましい実現形においては、信号Ｔは定数であるとみなすことができる。
【００２９】
第１の電子透かしの挿入：
上述したように、いったん、データが調製されると、第１の電子透かしを加えることができる。再度、図２を参照すると、調製ステップでは、データ特性の組から導かれた信号８が既知の形式となるように、電子透かし入れがなされていないデータが修正されていた。上述した誤差関数を、データ特性を形作るために用いることによって、導かれた信号８は、上で述べたように、ほぼゼロである平均値を有して、好ましくフラットになる。電子透かしパターン２は、特性の同じ組から導かれた信号５（このとき、電子透かしパターンから抽出されている）が、調製データから導かれたフラットでゼロ平均の信号８から著しく異なり、容易に区別できるように、設計される。電子透かし入れされたデータから導かれた信号６が、電子透かしパターンから導かれた信号５とほぼ同様であって、陽性の検出判定を示しながら、調製データ７に対する電子透かしパターン２の振幅あるいは強度を非常に小さくすることができる。
【００３０】
第１の電子透かしの挿入は、データ特性の組あるいはこのデータ特性の組から導かれた信号が既知の電子透かし信号とほぼ一致するように、電子透かし入れがなされていないデータを修正することを伴う。この電子透かし信号は、電子透かしパターンのデータ特性の組から導かれた信号として、交互に参照されるものである。考えているデータ特性の組は、空間領域、時間領域及び／または変換領域内のデータから導くことができる。データ特性を導くことが可能な多くの変換領域がある。好ましい形態においては、データ特性が、空間及びブロックＤＣＴ領域の両方の領域内のデータから導かれる。例えば、ブロックフーリエ変換、アダマール変換、コルテックス変換、ウェーブレットのような他の局所的な変換領域が、ＤＣＴ変換やフーリエ変換のような大域的な変換領域と同様に使用できる。使用可能な空間領域あるいは時間領域の特性には、標本値、エッジ特性、色特性、テクスチャ及び音素が含まれる。空間、時間及び変換領域では、２つのステップの挿入プロセスをデータに対する固定パターンの付加に還元することができる。このような複雑さにおける低減は、一般的な電子透かしの挿入（上述したデータ特性上の依存性）に必要とされるデータ依存の適応的な（アダプティブな）計算が、調製段階に編入されるためである。好ましい形態においては、使用されるデータ特性は、データ内の様々な位置からの多くのブロック＿ＤＣＴ係数の平均値である。
【００３１】
また、挿入ステップも圧縮領域内で実行されてもよい。この方法が適応される一般のビデオ圧縮技術の例としては、ＭＰＥＧ、ＭＰＥＧ２、Ｈ．２６１及びＨ．２６３があり、ＪＰＥＧは、本発明の電子透かし調製及び挿入方法が利用可能な静止画圧縮技術の良い例である。一般に、これらの圧縮技術には、イメージあるいはイメージフレーム（イントラ符号化）あるいは異なるイメージ（インター符号化）のブロックＤＣＴ変換を含む。最後のケースにおいては、その差異は、一般に、時間において隣接する２つのビデオフレームの間の差異になる。この２つのビデオフレームは、１つあるいは両者が、元のフレームであっても、あるいは元のフレームに近似したものであってもよい。また、これらの圧縮技術は、最後のロスレス（損失のない）エントロピー符号化ステップを含む。一般に、圧縮データは、電子透かし挿入の前にエントロピー復号されなければならない。いくつかの圧縮技術は、イントラあるいはインター符号化ブロックの両者が存在する圧縮フレームを許容する。説明した第１の電子透かしは、イントラ符号化ブロックのみに挿入されるのが好ましい。
【００３２】
図３を参照して説明する。図３は、第１の電子透かしを圧縮データに挿入する方法を示しており、この方法は、概して参照符号３００で参照される。圧縮データへの挿入は、各イントラ符号化ブロックが検査及び修正されるプロセスにある。この修正は、これまでに全ての変化が終了したと考え、これからはさらなる変化は何も起こらないと仮定した上で、ある制約に基づいて、電子透かし信号と電子透かし入れデータの特性から導かれた信号との類似性を最適化するために行われる。３つの重要な制約が使用される。忠実度の制約によって、電子透かし入れされたデータと調製データとの間の最大知覚差が限定される。ビットレートの制約は、電子透かし入れされた圧縮データのサイズが、電子透かし入れがなされていない圧縮データのサイズと異ならないことを保証する。レベルの制約は、新規の電子透かしの値を、その後に行われる量子化により変化しないように制限する。このような量子化は、通常、エントロピー符号化の再導入よりも前に行われることが要求される。
【００３３】
要約すると、方法３００は、ステップ３０２において、処理されたデータの各ブロックを解析するステップを備える。全てのブロックの解析が終了すると、方法３００は、ルート３０２ａからステップ３０４に進み、そこで処理が終了する。解析されていないブロックが存在する場合、方法３００は、ルート３０２ｂからステップ３０６に進み、そこでデータ特性の組から信号が導かれる。方法３００は、ステップ３０８において、制約を満たすような全ての起こり得る変化の組を決定する。ステップ３１０において、今後いかなる変化も起こらないと仮定された状態で導かれた信号と対象となる電子透かしとの間の類似性を最適化するような変化が、選択される。方法３００は、次に、ステップ３０２に戻り、全てのブロックが解析されるまでこれらの動作が繰り返される。
【００３４】
図３に示した方法は、一例として与えられたに過ぎず、本発明の範囲を限定するものではないことを理解されたい。
【００３５】
第２の電子透かしの挿入：
第２の電子透かしは、調製あるいは第１の電子透かしの挿入と比較して、いかなる時間にも挿入可能である。第２の電子透かしと第１の電子透かしのための調製とによって、パワフルな応用が可能になる。一般的に、第２の電子透かしのために選択されたデータ特性の組は、２つの電子透かしの間の相互作用を回避したり、あるいは、（第１の電子透かしのための）調製処理及び第２の電子透かし処理の間の相互作用を回避したりするために、第１の電子透かしのために選択されたデータ特性の組からは共通の要素を持たないようにすべきである。しかしながら、共通の要素を持つ組をサポートすることも可能である。
【００３６】
［実施例］
コピー世代管理：
電子透かしがコピー世代管理の方式内で使用される本発明の好ましい形態においては、電子透かしを取り除くことよりも、記録の時に付加的な電子透かしを追加することが好ましい。付加的な電子透かしとは、先に説明した第１の電子透かしである。この第１の電子透かしは、計算量的に容易に挿入でき、これにより、家庭用ＤＶＤ及びＶＨＳ記録装置のような低コストのハードウェア及び／またはソフトウェア上でのその計算が可能になる。また、第１の電子透かしは、イメージの忠実度を劣化させない必要があり、これと同時に、その後に行われる信号変換、例えば、デジタル／アナログ及びアナログ／デジタルへの変換で生き残るなど、ロバストなものである必要がある。
【００３７】
先に第２の電子透かしとして説明してきた「ｃｏｐｙ ｏｎｃｅ」電子透かしの挿入は、計算量的に高価になる。これは、イメージの知覚的に重要な領域を決定するために、イメージの意味的（ｓｉｇｎｉｆｉｃａｎｔ）解析が実行されるためである。このため、このような挿入手順は、第１の電子透かしには不向きであるが、第１の電子透かしは、よりロバストな「ｃｏｐｙ ｏｎｃｅ」電子透かしである第２の電子透かしの特性の多くを有するべきである。本例においては、第１の電子透かしを挿入するために記録装置すなわち再生段階で軽い計算が可能なように、第１の電子透かしに関連する大半の計算が調製段階、一般的には製造時に、オフラインで実行される。
【００３８】
第２の電子透かしは、特に、イメージ内の平均周波数の組に挿入される。第２の電子透かしの挿入の間あるいはその後、平均周波数と共通の要素を持たない組が、その後に行われる第１の電子透かしの挿入のために、平滑化されるかあるいは準備される。
【００３９】
この準備は、例えば、複雑な知覚モデルが、どのようにして平均化周波数を平滑化できるかの最も良い決定のために用いられるように、第２の電子透かしと同様の手順で行われる。この手順により、その後に行われる第１の電子透かしの挿入のためのイメージが調製されることになる。
【００４０】
第１の電子透かしを挿入することにより、「ｃｏｐｙ−ｎｏ−ｍｏｒｅ」状態を表わす唯一の電子透かしが付加されることになる。第１の電子透かしの強度は、一般に第２の電子透かし用に使用されるものの強度よりも十分に小さいものである。これは、第１の電子透かしが、イメージ内に存在する「ノイズ」を圧倒する必要がないためである。このノイズは、イメージである自然発生信号の関数であって、前処理段階で処理され、ゼロにセットされている。
【００４１】
第１の電子透かしは、他の電子透かしと同じ基本構成であり、例えば、好ましくはＮビットのバイナリ（２進）ベクトルと同じ基本構造である。好ましい形態においては、Ｎ＝６４であるが、Ｎが他の値であっても、高いデータレートあるいは安価な計算費コストが得られる値であれば好ましい。
【００４２】
第１の電子透かしのＭＰＥＧ−２ビットストリームへの挿入：
本発明の方法の好ましい例において、ＭＰＥＧ−２ストリームのＤＣＴ係数に第１の電子透かしを直接挿入するアルゴリズムが提供される。第１の電子透かしは、ＭＰＥＧ−２レイヤのイントラ符号化ブロックに挿入される。このレイヤは、ＭＰＥＧ−２ストリームのベースレイヤあるいは拡張（ｅｎｈａｎｃｅｍｅｎｔ）レイヤである。この方法は、有効なＭＰＥＧ−２のベースレイヤとみなされる限りＭＰＥＧ−１データストリームに適用可能である。この電子透かし挿入方法は、全体としてのビットレート及びＭＰＥＧ−２ストリーム内のスライスの開始位置のいずれにもに影響を与えることがない。検出プロセスは、ベースバンドプロセスに直接挿入された第１の電子透かしに対するものと同じであり、また、第２の電子透かしに対するものと同じである。デジタルデータ内の電子透かしの存在を検出するための検出プロセスは、当業界では周知である。
【００４３】
この技術の最終目標は、第１の電子透かしを挿入し（それが検出される確率を増加させ）、全体としてのビットレート及びデータストリーム内のＩフレームの位置を維持し、かつ、検出及び可視性（ｖｉｓｉｂｉｌｉｔｙ）の両者のために第１の電子透かしの強度を制御することである。
【００４４】
この方法は、次のように説明することができる。ＭＰＥＧストリームの８×８イントラ符号化ブロックは、離散コサイン変換（ＤＣＴ）領域に格納されている。イメージ内のブロックの位置及び８×８ブロック内の各係数の位置は、ともに、電子透かしがあるならば、その係数がどの電子透かし要素に寄与するかを規定する。抽出される電子透かしと対象となる電子透かしとの相関に関する係数値が増加する効果が予測できる。この効果もまた、８×８ブロック内の係数の位置及びイメージ内のブロックの位置の両者に依存するだろう。また、現在のブロックを一つのメンバとするマクロブロック（フィールドあるいはフレームベースＤＣＴ）に関する符号化のタイプにも依存する。あるいは、どの変化、ポジティブ、ネガティブあるいは不変（ｎｏｎｅ）が、抽出される電子透かしと対象となる電子透かしとの相関を増加させるかを予測できるようになる。この予測に基づいて、イメージがブロックごとに検査可能になり、予測される相関を増加させるように係数を変化させることができる。相関が増加すると、一般に、相関係数が増加して検出の確実さが増加すると考えられている。
【００４５】
この方法においては、マクロブロックの各スライスあるいはグループの開始位置が変化しないように保証することにより、ビットレートが維持される。これは、いかなる変化が発生する場合にも、符号化のために同じあるいはそれ以下のビットの使用が要求されるためである。それ以下のビットが使用されたり、スライスが短くなったりする場合、データストリーム内の次のスライスの開始位置を格納するために、ビットがスライスの最後尾に付加される。これらの余分なビットは、符号化の際により多くのビットを用いる係数変化を可能にするためにスライス内で使用可能である。これらの余分なビットすなわち貯えられたビットは追跡され、ある変化によって要求される符号化ビットが減少した場合はカウントを増加させ、また、ある変化によって要求される符号化ビットが増加した場合はカウントを減少させる。貯えられたビットのカウントは、ゼロよりも下になってはならない。このように、符号化に要求されるビット数を増加させる変化は、以前の変化から貯えられたいたビットが十分に存在している場合にのみ許可される。スライスの最後尾においては、貯えられたビットのカウントがゼロにリセットされ、さらに、それらのビットがデータストリームに埋め込まれる。
【００４６】
より詳しく言えば、ＭＰＥＧは、実行／値（ｒｕｎ／ｖａｌｕｅ）ペアとして６３個のイントラ符号化ブロックのＡＣ係数を格納しており、ペアは各非ゼロ係数に対するものである。ペアにおける値の要素は、非ゼロ係数の符号付き大きさとして表される。実行の要素は、その非ゼロ係数の直前の非ゼロ係数の数を表す。各実行／値ペアは、特有のバイナリ符号によって符号化され、ＶＬＣ（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅ）と称される。ビットレートを維持するためには、非ゼロ係数のみが考慮され、元のＶＬＣの長さと修正された実行／値ペアの符号化のために必要な長さとに基づいて、起こり得る変化を評価する。
【００４７】
データストリーム内のビットレートの制御の他に、検出及び可視性のために第１の電子透かしの強度を制御することが望まれている。第１の電子透かしがより強固である場合は、より検出されやすくなる（検出の確率が増加する）が、一方では、より可視的になる。各ブロック内においては、単一の値による検出のために、電子透かしの強度が制御される。この単一の値は、ブロック内で許される変化の最大量である。一旦、この変化の最大量に達した場合は、いかなる変化も許可されなくなる。
【００４８】
ブロック内の変化は、周波数に基づく知覚モデルに応じて、非ゼロ係数の間で分配される。これは、挿入された第１の電子透かしの可視状態を制御するためである。周波数に基づく知覚モデルは、８×８ブロック内の６３個のＡＣ　ＤＣＴ係数に対して、相対的にヒト視覚系（ＨＶＳ）に知覚されないものを判別するために使用される。これらの相対的に知覚されないものは、スラック（たわみ：ｓｌａｃｋ）と呼ばれる。これらのスラックは、電流ブロックを一つのメンバとするマクロブロック（フィールドあるいはフレームベースＤＣＴ）に関連する符号化のタイプに依存する。
【００４９】
図４を参照して説明する。図４は、挿入方法のフローチャートを示しており、この方法は、概して、参照符号４００として参照される。ＭａｘＢｌｏｃｋＣｈａｎｇｅ（最大ブロック変化）は、上述したように、検出制御のための強度に関係する。ＮｕｍＣｏｎｔｒｉｂ（寄与数）は、正または負の変化により検出された相関が増加することとなる非ゼロＡＣ係数の数である。これらの係数は、相関に寄与するものである。ＴｏｔａｌＳｌａｃｋ（総スラック）は、ステップ４０２における相関に寄与する全ての係数のスラックの和として初期化される。方法４００においては、ＭＰＥＧジグザグ走査順序内の最も高い値のものから開始して、全ての寄与する係数に対してステップ４０２からステップ４１２までの処理が繰り返し行われる。任意の係数に許される最大変化は、総残存スラックに対する係数のスラックにより重み付けされた、ブロックのためのＲｅｍａｉｎｉｎｇＣｈａｎｇｅ（残存変化）として、ステップ４０４において算出される。実際の変化は、ＭａｘＣｈａｎｇｅ（最大変化）の制約及び先に説明した一定ビットレートの制約の範囲内にある。ＣｏｎｓｔＢｉｔＲａｔｅ（一定ビットレート）は、この変化を生じさせるように作用するとともに、ステップ４０６においてＳａｖｅｄＢｉｔｓ（貯えられたビット）のカウントを更新するように作用する。ＴｏｔａｌＳｌａｃｋが、ステップ４０８において、残存スラックの和を表わすために更新され、また、ＲｅｍａｉｎｉｎｇＣｈａｎｇｅも、ブロック内の残存する寄与する係数が変化し得る最大量を表わすために、ステップ４０８において同様に更新される。ＭＰＥＧジグザグ走査順序内の全ての寄与する係数が処理された後、方法４００の処理がステップ４１４において終了する。
【００５０】
本発明の好ましい形態と考えられるものについて、図示し説明してきたが、本発明の本質から離れることがない範囲内で、形式あるいは細部内のさまざまな修正及び変化を簡単に行うことが可能であることも理解されたい。このため、本発明は、図示及び説明してきたものと正確に一致する形式に限定されることはないが、次に述べる請求項の範囲内に収まる全ての修正を含むように構成される必要がある。
【図面の簡単な説明】
【図１】
図１は、従来技術の電子透かし挿入方法の一般的な方法を示している。
【図２】
図２は、本発明の電子透かし調製及び挿入方法を示している。
【図３】
図３は、全てのイントラ符号化ブロックに対して繰り返される圧縮データに関連する本発明におけるステップを、一般的に説明するためのフローチャートを示している。
【図４】
図４は、全ての寄与係数に対して繰り返し行われる各イントラ符号化ブロックのための圧縮データに関連する本発明におけるステップを、詳細に説明するためのフローチャートを示している。

Claims (34)

1. データがデータ特性の組を有するデータの調製及び電子透かしの挿入方法であって、
   その後に行われる第１の電子透かしの挿入のために、前記データ特性の少なくとも１つの組を操作することにより、第１の時間に前記データを調製するステップを備えるデータ調製及び電子透かし挿入方法。
2. さらに、前記第１の時間の後の第２の時間に前記データ特性の組を操作することにより、前記第１の電子透かしを挿入するステップを備える請求項１に記載の方法。
3. さらに、前記データ特性の少なくとも１つの組を操作することにより、前記第１の時間の前、その間あるいはそののちの第３の時間に第２の電子透かしを挿入するステップを備える請求項１に記載の方法。
4. 前記データは、イメージ、オーディオあるいはビデオを表現するものである請求項１に記載の方法。
5. 前記データ特性の組は、空間及び／または時間領域の特性である請求項１に記載の方法。
6. 前記空間及び／または時間領域の特性は、画素強度、エッジ特性、色特性及びテクスチャからなる群より選ばれる請求項５に記載の方法。
7. 前記データ特性の組は、変換領域の特性である請求項１に記載の方法。
8. 前記変換領域の特性は、ＤＣＴ、ブロックＤＣＴ、ＦＦＴ、ブロックＦＦＴ、ウェーブレット、アダマール変換及びコルテックス変換からなる群より選ばれる請求項７に記載の方法。
9. 前記データ特性から導かれた信号が予め選択された信号と実質的に一致するように、前記データ特性の操作を行う請求項１に記載の方法。
10. 前記予め選択された信号はゼロ分散を有する請求項９に記載の方法。
11. 誤差関数が最小となるように、前記データ特性の操作を行う請求項１に記載の方法。
12. 前記誤差関数は、分散の測度となる請求項１１に記載の方法。
13. 前記導かれた信号は、前記データ特性の組のサブセットを平均化することにより演算される、請求項９に記載の方法。
14. 前記挿入ステップは、空間及び／または時間領域内で起きる請求項２に記載の方法。
15. 前記空間及び／または時間領域の特性は、画素強度、エッジ特性、色特性及びテクスチャからなる群より選ばれる請求項１４に記載の方法。
16. 前記挿入ステップは、変換領域内で起きる請求項２に記載の方法。
17. 前記変換領域の特性は、ＤＣＴ、ブロックＤＣＴ、ＦＦＴ、ブロックＦＦＴ、ウェーブレット、アダマール変換及びコルテックス変換からなる群より選ばれる請求項１６に記載の方法。
18. 前記挿入ステップは、圧縮データをもたらす圧縮領域内で起こる請求項２に記載の方法。
19. 前記圧縮領域は、ＭＰＥＧ１、ＭＰＥＧ２、ＪＰＥＧ、Ｑｕｉｃｋｔｉｍｅ、Ｈ．２６１及びＨ．２６３からなる群より選ばれる請求項１８に記載の方法。
20. 前記圧縮データはビデオであり、前記第１の電子透かしは、前記圧縮ビデオデータのイントラ符号化の部分にのみ挿入される請求項１８に記載の方法。
21. 前記さらなる操作は、制約の組に対して前記圧縮データ特性を修正する最適な処理を含む、請求項１８に記載の方法。
22. 前記最適な処理は、
    （ｉ）前記圧縮データから値の組を得るサブステップと、
    （ｉｉ）前記制約の組を満足させる前記データに対する変化の組を定めるサブステップと、
    （ｉｉｉ）将来のいかなる変化も起こらない場合に前記電子透かしの検出を最適化する前記変化の組から、変化を選択するサブステップと、
    （ｉｖ）全ての前記圧縮データの処理が終了するまでの間、（ｉ）から（ｉｉｉ）までの処理を繰り返すサブステップと、を備える請求項２１に記載の方法。
23. 前記制約の組は、忠実度の制約あるいはビットレートの制約からなる請求項２１または２２に記載の方法。
24. 前記制約の組は、前記圧縮データ内の各値を既知の量子化レベルに制約することからなる請求項２１または２２に記載の方法。
25. 前記第２の電子透かしのために操作された前記データ特性の組は、前記第１の電子透かしのための前記データ特性の操作された組に対して共通の要素を持たない請求項３に記載の方法。
26. 前記第２の電子透かしのために操作された前記データ特性の組と、前記第１の電子透かしのために操作された前記データ特性の組とは、空間領域及び／または時間領域及び／または変換領域内で共通の要素を持たない請求項２５に記載の方法。
27. 前記第１の時間は、データを配布する時間よりも前に発生し、前記第１の電子透かしは、前記データが複写されるときに前記データに挿入される請求項２に記載の方法。
28. さらに、前記第１の電子透かしが存在する場合に前記データの前記複写を禁止するステップを備える請求項２７に記載の方法。
29. 前記禁止ステップは、家庭用の記録装置において実装される請求項２８に記載の方法。
30. 前記記録装置のフォーマットは、ＤＶＤ、ＤＨＶＳ、ＤＡＴ及びＣＤ−Ｒからなる群より選ばれる請求項２９に記載の方法。
31. データ特性の組を有する圧縮データへの電子透かし挿入方法であって、
    前記データ特性の組を操作することにより電子透かしを挿入するステップと、
    制約の組に対して前記圧縮データ特性を修正することにより、操作されたデータを最適化するステップと、を備える電子透かし挿入方法。
32. 前記最適な処理は、
    （ｉ）前記圧縮データから値の組を得るサブステップと、
    （ｉｉ）前記制約の組を満足する前記圧縮データ特性に対する変化の組を決定するサブステップと、
    （ｉｉｉ）将来のいかなる変化も起こらない場合に前記電子透かしの検出を最適化する前記変化の組から、変化を選択するサブステップと、
    （ｉｖ）全ての前記圧縮データの処理が終了するまでの間、（ｉ）から（ｉｉｉ）までの処理を繰り返すサブステップと、を備える請求項３１に記載の方法。
33. 前記制約の組は、忠実度の制約あるいはビットレートの制約からなる請求項３１または３２に記載の方法。
34. 前記制約の組は、前記圧縮データ内の各値を既知の量子化レベルに制約することからなる請求項３１または３２に記載の方法。

Images