JP2008252891A - 埋込データ及び埋込データを検出し、再生する方法及び装置 - Google Patents

Abstract

【課題】異なる相対的重要性を有する複数のデータアイテムであるデータを情報マテリアル内に埋め込む。
【解決手段】データ埋込装置は、各データアイテムを符号化する符号化プロセッサと、符号化データアイテムと情報マテリアルとを結合する結合プロセッサとを備える。例えば、情報マテリアル自体の帯域幅が限られているという理由により、情報マテリアルは、限られたデータ埋込容量を有する。データアイテムのそれぞれは、限られたデータ埋込容量の或る割合がデータアイテムの相対的重要性に応じて符号化されたデータアイテムに割り当てられるよう符号化されるとともに埋め込まれる。そのため、例えば、データアイテムのそれぞれに対するエラー保護の供与量は、制限されたデータ埋込容量が満たされるまで、データアイテムの重要性に応じて調整される。
【選択図】図３

Description

本発明は、データを情報マテリアルに埋め込む方法及び装置、並びに情報マテリアルに埋め込まれたデータを検出し、再生する方法及び装置に関する。

ここで用いている情報マテリアルとは、１つ以上のビデオマテリアル、オーディオマテリアル、データマテリアルを含む。本明細では、ビデオマテリアルは、静止画像及び動画像である。

ステガノグラフィ（Steganography）は、データをビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアルに、データがマテリアルの中で知覚できない方法で埋め込む技術分野のものである。

ウォータマークは、ビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアル内に埋め込まれたデータである。ウォータマークはマテリアル内において知覚可能でも知覚不可能であってもよい。

ウォータマークは、様々な目的で使用することができる。マテリアル所有者の知的財産権の侵害からマテリアルを保護したり、侵害を追跡する目的に、ウォータマークを用いることが知られている。例えば、ウォータマークはマテリアルの所有者を識別することができる。

ウォータマークは、マテリアルから取り除くのが困難だという点で“強固”であると言える。ウォータマークが強固であるということは、ウォータマークを除去、あるいは、蓄積及び／又は伝送のためのビデオ編集又は圧縮等の正当な処理を行おうとして何らかの方法で処理されたマテリアルの出所を追跡するのに有用である。また、ウォータマークは、ウォータマークを除去又はマテリアルを処理しようとする試みを検出するのに有用な処理により、容易に損傷を受けやすいという点では「脆弱（fragile）」とも言える。

可視的なウォータマークは、例えば、顧客がインターネット上で画像を見て、それを購入したいか否かを決定することはできるが、顧客が購入しそうなウォータマークが付されていない画像へのアクセスはできないようにするのに有用である。ウォータマークは画像を劣化させるが、できれば、顧客によってウォータマークを除去することができないことが好ましい。可視的なウォータマークは、それらが埋め込まれたマテリアルの出所を判別するのにも用いられる。

米国の特許番号５，９３０，３６９（コックス等（Cox et al））には、マテリアルを変換領域に変換し、データを変換領域の画像に加えることによって、ウォータマークを形成することが提案されている。画像と、それらの画像の離散ウェーブレット変換（Discrete Wavelet Transform）との例では、変換領域において加えられるデータは、変換領域内に形成される複数のサブバンドのうちの１つのウェーブレット係数と結合される。一般的に、追加されるデータは、擬似ランダムビットシーケンス（Pseudo Random Bit Sequence、以下、ＰＲＢＳという。）のような所定のデータシーケンスを変調するように配置されている。例えば、追加されるデータの各ビットは、ＰＲＢＳのコピーを変調するように配置されており、このコピーは、例えば変換領域の画像の１つのサブバンドに加えられる。その画像はその後、空間領域に逆変換される。

画像から埋め込まれたデータを検出し、再生することが望ましいときは、その画像を再び変換領域に変換して、サブバンドの変換係数と検出装置には既知のＰＲＢＳとの相関を求めることによって、埋め込まれているデータは、変換領域のサブバンドから再生される。データは相関結果から検出される。

一般的に、埋込データは画像のような情報マテリアルに与えるいかなる知覚可能な効果を最小限に抑えることが好ましい。なお、マテリアルにも施されるあらゆる処理の結果により導入されるエラーにもかかわらず、情報マテリアルから埋込データを正確に再生する可能性を増やすことも好ましい。

本発明に係る、情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生装置において、上記データは、システマティック訂正符号に基づいて符号化されて符号化データアイテムを生成する複数のソースデータアイテムを有し、上記符号化データアイテムは、それぞれ対応するソースデータアイテム及び冗長データを有し、上記情報マテリアルに埋め込まれており、上記情報マテリアルから、上記埋め込まれている符号化データの再生バージョンを検出及び生成する埋込データ検出器と、上記再生された符号化データアイテムのそれぞれについて、上記再生された符号化データアイテムが多くのエラーを含むとみなされるかどうかを判定し、多くのエラーを含まないと判定された場合、上記符号化データアイテムを復号して、上記データアイテムの再生バージョンを生成するエラープロセッサと、上記データアイテムの再生バージョンを記憶するデータ格納装置と、上記エラープロセッサが上記復号データアイテムは多くのエラーを含むと判定した場合、上記符号化データアイテムのソースデータアイテムを上記データ格納装置に記憶された少なくとも１つの他のソースデータアイテムと比較するとともに、上記少なくとも１つの他の再生データアイテムの対応値によって、上記エラーを含む符号化データアイテムのソースデータアイテムを推定する再生データプロセッサとを含む。

システマティック符号という用語は、符号化処理によって追加される冗長データとの組合せで符号化データアイテムの一部として現れるオリジナルソースデータのエラー訂正符号又は符号化処理を参照しエラー訂正符号の技術分野で使用される。非システマティック符号化処理として、入力データは符号化データアイテムの一部としては現れない。

本発明の実施の形態は、埋め込み処理又は埋め込まれたデータに情報マテリアル上処理が行われた結果としてデータにエラーが導入された時、情報マテリアルに埋め込みされたデータを再生する技術的問題を定義している。画像のような情報マテリアルの例において、埋め込まれたデータが知覚が困難のように、画像に埋め込まれたデータは、できる限り知覚できないようになっている。強度のような埋め込まれるデータは最小限に減少され、画像から再生できるデータも十分確保する。ところで、もし符号化された圧縮の画像のようにあるやり方で画像が処理されれば、エラーは圧縮符号化処理の結果、埋め込まれたデータを導入する。これは、一般的に圧縮の符号化の効果は、画像構成を変更したりまた捨てたりするためである。それに加えて、不正確性は結果として量子化エラーの例として、埋込データを検出及び再生する時、さらに再生されたデータによってエラーに寄与する。

エラー訂正符号の使用でデータを符号化することによって、エラーから防ぐことで知られている。一般的に、エラー訂正符号化データアイテムは各符号化された語にあるエラー数を訂正でき、及び一般的に各符号化された語に大多数のエラーを検出できる。

本発明の実施の形態は、データアイテムの一部のエラー訂正符号化形状として現れ、埋め込まれるデータアイテムのシステマティックな符号を利用する。一般的に、埋め込まれるデータアイテムは、ある方法で相関される。そういうものとして、もし符号化データアイテムはエラーが多すぎて、それゆえに、エラー訂正デコーダによって再生できなければ、データアイテムはエラー符号化データアイテムから再生ができ、少なくとも１つの他の再生されたデータとデータアイテムを比較することによって、再生されたデータアイテム間の相関性に従ってデータアイテムを推定する。

再生された符号化データアイテムのエラーが多すぎれば、もしエラープロセッサが符号化データアイテムにエラー数を決定できれば、予め決まった境界とエラー数を比較する。もしエラー数が境界より多かったら、そのほかに復号するには安全の、多すぎるエラーは符号化データアイテムによって考えられる。反面に、エラー訂正復号処理は、エラーが多すぎるため、一部としてこの処理は符号化データアイテムを再生できず、表示を提供することによりエラープロセッサは実施される。

エラーデータアイテムは他の再生されたデータアイテムから再生できるにもかかわらず、好ましい実施の形態において、エラーデータアイテムはエラーデータアイテムを以前及び以後の再生されたデータアイテムと比較されることによって再生する。エラーデータアイテムは、以前及び以後のデータアイテム間を補間することによって再生できる。もし同等であれば、もしデータアイテムが異なり又は以前又は以後のデータアイテム値が再生されエラーデータアイテム値を置換する。

本発明の実施の形態において、情報マテリアルに符号化され埋め込まれたエラー訂正はあらゆるデータアイテムを再生するアプリケーションを捜すにもかかわらず、好ましい実施の形態においては、データアイテムは複数のデータフィールドを有する。したがって、好ましい実施の形態において、再生データプロセッサは少なくとも１つの以前と以後のデータアイテムの１つに対応するフィールドと復号できないエラー符号化データアイテムのためにデータフィールドを比較することができ、以前と以後のデータアイテムの１つの対応するデータフィールドと同様に、エラー符号化データアイテムのデータフィールドを置換ができる。データフィールドは以前と以後のデータアイテムの１つの対応するデータフィールド値と置換でき、もし以前と以後のデータアイテムのデータフィールドが同等であれば、又は以前と以後のデータアイテムの対応するデータフィールド値間を補間することによって決定される値によって置換できる。

エラーが多すぎる符号化データアイテムのデータフィールドを置換した後、再生データプロセッサは、置換されたデータフィールドがエラーが多すぎる再生され符号化データアイテムかどうか、そしてもしそのようでなければ、データアイテムの再生版を形成し符号化データアイテムを復号するかどうか、エラープロセッサと組み合わせて決定できる。符号化データアイテムのエラーは、このデータアイテムを通じて分配される傾向にあり、既に復号されたデータアイテムから決定される値とデータフィールドを置換されるように、少なくとも幾つかのエラーは訂正される。そのように、適用した符号化データアイテムのエラー数は、今では数であり、それはエラー訂正デコーダによって訂正できる。したがって、もし符号化データアイテムが再生されるとするならば、エラープロセッサは再適用エラー訂正効果そして全体データアイテムを再生する効果で調節する。

好ましい実施の形態において、データアイテムは情報マテリアルのコンテンツメタデータを表示する。例えば、データアイテムはUniversal Material Identifiers（ＵＭＩＤ）であり、ＵＭＩＤのデータアイテムはデータフィールドである。

発明の実施の形態は、あらゆる情報マテリアルから検出し再生するデータのアプリケーションを捜すのだが、ある特定アプリケーションの発明はビデオ画像又はオーディオ信号を埋込み検出し再生するデータである。

本発明の更なる側面及び機能は、特許請求の範囲に定義している。

本発明の実施の形態を、ビデオ画像にデータを埋め込むウォータマーキングシステムを参照して説明する。どのような種類のデータでも画像に埋め込むことができる。なお、都合が良いことに、画像に埋め込まれたデータは、画像を表し、又は画像自体のコンテンツの属性を識別するメタデータであってもよい。メタデータの例としては、ユニバーサルマテリアル識別子（Universal Material Identifier：ＵＭＩＤ）がある。ＵＭＩＤ用の提案されている構造は、２０００年３月号のＳＭＰＴＥジャーナルに記載されている。ＵＭＩＤの構造の詳細について後述する。

ウォータマーキングシステム
図１は、ウォータマーキングシステムの構成を示すブロック図であり、ウォータマーキングシステム１０は、ウォータマークをビデオ画像１１５内に埋め込み、ウォータマーク付き画像１２５からウォータマークを再生及び除去する。ウォータマーキングシステム１０は、図１に示すように、ウォータマークをビデオ画像に埋め込む画像プロセッサ１００と、ウォータマークを検出及び再生するとともに、ビデオ画像からウォータマークを除去、すなわち「洗浄（washing）」する復号画像プロセッサ１０２とを備える。

ウォータマークをビデオ画像に埋め込む画像プロセッサ１００は、強度アダプタ１８０と、ウォータマーク埋込器１２０とを備える。ウォータマーク埋込器１２０は、ウォータマークを、ソース１１０から生成されたビデオ画像１１５に埋め込むように構成され、画像ウォータマーク付き画像１２５を生成する。ビデオ画像に埋め込まれるウォータマークは、ＵＭＩＤを表すデータ１７５から形成されている。データ１７５は、例えば様々なメタデータのアイテムを表す。また、データ１７５は、例えばＵＭＩＤである。一般的に、メタデータアイテムは、ビデオ画像のコンテンツを識別する。なお、コンテンツ、又は画像の他の属性を識別する異なる種類のメタデータを、ウォータマークを形成するために用いることができることは明らかである。好ましい実施の形態では、ウォータマーク埋込器１２０は、強度アダプタ１８０からの特別な適用強度１８５に基づいて、ＵＭＩＤをビデオ画像１１５に埋め込む。強度アダプタ１８０は、ビデオ画像１１５に対するウォータマークの強度を決定する。適用強度は、ウォータマーク付き画像１２５を見る人に対する知覚可能ないかなる影響も最小限にしながら、ウォータマークを再生できるように決定される。ウォータマークを埋め込んだ後、画像は、伝送、蓄積、あるいは例えば画像を圧縮符号化する等の方法により更なる処理が施される。この後続する処理及び伝送は、図１においては線１２２として、概略的に示されている。

図１に示すように、ウォータマークを検出及び除去する復号画像プロセッサ１０２は、ウォータマークデコーダ１４０と、ストレージ１５０と、画像ウォータマーク付き画像１２５からウォータマークを除去するウォータマーク除去器１３０とを備える。

ウォータマークデコーダ１４０は、ウォータマーク付きビデオ画像からウォータマークを検出し、この実施の形態では、画像ウォータマーク付き画像１２５からメタデータアイテムの再生バージョンを生成する。ウォータマーク除去器１３０は、画像ウォータマーク付き画像１２５からできる限りウォータマークを除去することにより、再生画像１３５を生成する。ある実施の形態では、ウォータマーク除去器１３０は、画像から実質的に跡を残さずウォータマークを除去する機能を有す。そして、再生画像１３５は、ストレージ１５０に記憶され、後の処理のために伝送又はルーティングされる。

ウォータマーク埋込器
ウォータマーク埋込器１２０について、図２を参照しながら、さらに詳細に説明する。図２において、図１に示される同じ回路には、同じ符号を付している。図２に示すように、ウォータマーク埋込器１２０は、擬似ランダムシーケンス発生器２２０と、エラー訂正符号発生器２００と、ウェーブレット変換器２１０と、逆ウェーブレット変換器２５０と、変調器２３０と、結合器２４０とを備える。

第１の実施の形態に基づくエラー訂正符号発生器
ここで、本発明の第１の実施の形態を提供するエラー訂正符号発生器２００について、詳細に説明する。図３は、エラー訂正符号発生器の具体的な構成を示すブロック図である。図１、２に示す回路と同じ回路には、同じ符号を付している。図３に示すように、符号化され、ビデオ画像に埋め込まれるデータは、異なる種類のメタデータをそれぞれ運ぶパラレル導線１７５.１、１７５.２、１７５.３を介して供給される。

この実施の形態では、メタデータを３種類としている。３種類のメタデータは、３つのパラレル導線１７５.１、１７５.２，１７５.３を介して供給される。明らかなように、メタデータには、様々な種類のものがあり、これらは、一般的に、ビデオ画像信号のコンテンツに関連し又は表している。１つのチャンネル上のメタデータは、ＵＭＩＤであり、他の複数のチャンネル上のメタデータは、場所、時間、所有者の識別、ビデオ画像の中に表示される会話の翻訳、又はメタデータの他の種類である。

図３に示すように、３種類のメタデータは、制御プロセッサＣ＿Ｐに供給される。３種類のメタデータは、符号化され、ビデオ画像に埋め込まれる。第１のチャンネル１７５.１上のメタデータの種類は、ビデオ画像１１５のプログラムコンテンツの種類、例えば現代事情、コメディ、スポーツ又は軽い演芸であり、第２のチャンネル１７５.２上のメタデータの種類は、ビデオ画像に含まれる人々の間で交わされる議論の翻訳、例えば会見者及び会見される人の会話の翻訳であり、第３のチャンネル１７５.３上のメタデータの種類は、ビデオ画像を録画中のカメラの設定である。

図３に示す実施の形態では、３つのメタデータの種類は、制御プロセッサＣ＿Ｐの左から右に向かって重要度が増すように表現されていると考えられている。制御プロセッサＣ＿Ｐには、制御チャンネルＣ＿ＣＨＮを介して、３つのメタデータの種類に利用可能なデータ埋込容量を示す制御情報も供給される。さらに、他の実施の形態では、制御チャンネルＣ＿ＣＨＮは、各入力チャンネル１７５.１、１７５.２、１７５.３で受信されるメタデータの相対的重要度を示す制御情報表示を運ぶ。あるいは、この図において、相対的重要度は予め決まっており、すなわちメタデータアイテムの重要度の順番は予め決まっており、したがって、重要度の順序が増えるにつれ、それぞれのパラレルチャンネルを介して制御プロセッサＣ＿Ｐに供給される。

制御プロセッサＣ＿Ｐは、それぞれの相対的重要度に従って、３つのメタデータの種類に対する埋込データ容量の相対的な割当てを決定する。これらの各種類に付与される保護は、この相対的重要度に従って割り当てられる。この結果、第１のチャンネル１７５.１で受信されるプログラム種類メタデータは、接続チャンネル２０２.１を介して第１のエンコーダＥＮＣ.１に供給される。エンコーダＥＮＣ.１は、制御プロセッサＣ＿Ｐにより選択され、制御チャンネルＣＮＴ.１から受信された制御信号で示されるエラー訂正符号、又は予め割り当てられたエラー訂正符号に従って、メタデータの第１の種類を符号化する。例えば、エラー訂正符号は、略１／３の符号化率、すなわちソースデータ対符号化データの比が１：３（比率１／３）を提供するブロック符号である。第２のメタデータアイテムは、第２の接続チャンネル２０２.２を介して第２のエンコーダＥＮＣ.２に供給される。

第１のエンコーダＥＮＣ.１と同様に、第２のエンコーダＥＮＣ.２に供給されるデータの第２の種類は、所定のエラー訂正符号、又は制御チャンネルＣＮＴ.２で受信される制御情報で示されるエラー訂正符号によって、符号化される。したがって、メタデータの第２の種類の相対的に低減された重要度は、第１のエンコーダＥＮＣ.１に適用されるよりも強力でない第２のエンコーダＥＮＣ.２に適用されるエラー訂正符号を予め割り当て、又は選択するために使用される。メタデータアイテムに符号化されたフォームで付加される冗長データの量自体は、第１のエンコーダＥＮＣ.１に比べて減少される。例えば、第２のエンコーダＥＮＣ.２は１／２の符号化率に基づいて動作する。

第３のチャンネル１７５.３で受信される第３のメタデータに対しては、この実施の形態の制御プロセッサは、いずれの符号化も適用せず、第３の種類のメタデータアイテムは、接続チャンネル２０２.３を介して多重化ユニットＭＵＸに供給される。多重化ユニットＭＵＸは、第３のメタデータアイテムの種類のデータアイテムを、第１及び第２のエンコーダＥＮＣ.１、ＥＮＣ.２から供給される符号化データアイテムに結合して、多重化データストリームを形成し、この多重化データストリームを接続チャンネル２０５を介して、図２に示す結合器２４０に供給する。

本発明は、ある特定のエラー訂正符号化方式に限定されるものでなく、ＵＭＩＤを符号化するのに、例えばＢＣＨ（Bose-Chaudhuri-Hocquenghem）符号、リードソロモン符号、畳込み符号を用いることができる。畳込み符号の場合には、データは、同じ畳込み符号を使用して符号化され、相対的なデータの重要度を反映させるためにパンクチャ化することができる。

上述の他の実施の形態に示すように、パラレルチャンネル１７５で受信されるメタデータの相対的重要度は、エラー訂正符号発生器２００には知られない。なお、この場合、メタデータアイテムの相対的重要度は、制御チャンネルＣ＿ＣＨＮを介して制御プロセッサＣ＿Ｐに供給される。この相対的重要度は、ユーザによって選択され、あるいはメニューオプションに基づいて、事前に選択される。同様に、利用可能なデータ埋込容量は、制御プロセッサＣ＿Ｐには知られない、又は動的に変化する。したがって、他の実施の形態では、制御プロセッサＣ＿Ｐは、相対的重要度に基づいて、各メタデータアイテムに適用される符号化量を決定し、利用可能な埋込容量制限内でデータアイテムを符号化する。ところで、この他の実施の形態においては、各メタデータアイテムを符号化するのに使用されたエラー訂正符号を示す制御データを埋め込む必要がある。それに加えて、各メタデータアイテム用の各符号化メタデータアイテムの位置に表示が、符号化データストリームに埋め込まれる。

第２の実施の形態に基づくエラー訂正符号発生器
本発明の第２の実施の形態を提供するエラー訂正符号発生器２００は、メタデータアイテム１７５が供給され、エラー訂正符号化データを生成する。一実施の形態として、エラー訂正符号化データは、ウォータマークデータ１７５として供給されたＵＭＩＤと結合された冗長データを有する。様々なエラー訂正符号化方式がＵＭＩＤを符号化するのに使用できることが好ましい。なお、本発明の実施の形態に基づいて、ＵＭＩＤを符号化するためにエラー訂正符号発生器２００で用いられたエラー訂正符号は、組織的符号である。組織的符号の一例としては、ＵＭＩＤの２４８ソースビットと２６３ビットの冗長パリティビットとからなる５１１ビットのコードワードを出力するＢＣＨ（Bose-Chaudhuri-Hocquenghem）符号がある。これを図４に示す。図４では、後述するが、ＵＭＩＤは３つのデータフィールドしか有しないように書かれている。これは単なる例示にすぎない。データフィールドＤ１、Ｄ２、Ｄ３を用いて、本発明の実施の形態を説明する。

本発明は、ある特定のエラー訂正符号化方式に限定されるものでなく、ＵＭＩＤを符号化するのに、例えば他のＢＣＨ符号、リードソロモン符号、畳込み符号を用いることができる。なお、符号化方式は、組織的符号に基づいて、データアイテム（ＵＭＩＤ）を符号化するように構成されなければならない。この場合、ソースデータは、符号化方式によって加えられた冗長ビットを符号化されたフォームで有するように見える。

データ埋込プロセッサ
図２に示すように、エラー訂正符号化メタデータアイテム２０５は、変調器２３０の第１の入力端子に供給される。擬似ランダムシーケンス発生器２２０は、ＰＲＢＳ２２５を出力し、ＰＲＢＳ２２５は変調器２３０の第２の入力端子に供給される。変調器２３０は、擬似ランダムシーケンス発生器２２０によって発生されたＰＲＢＳの各コピーを、エラー訂正符号化メタデータアイテムの各ビットで変調する。好ましい実施の形態では、データは、ＰＲＢＳの各ビットをバイポーラ形式（「１」が＋１、「０」が−１）で表し、符号化ＵＭＩＤの対応するビットが「０」のときはＰＲＢＳの各ビットの極性を反転し、対応するビットが「１」のときは極性を反転しないことにより、変調される。そして、変調ＰＲＢＳは、結合器２４０の第１の入力端子に供給される。結合器２４０には、第２の入力端子を介して画像が供給され、ＰＲＢＳ変調データが画像に埋め込まれる。なお、データは変換領域において画像と結合される。

ウォータマークのデータを表す拡散スペクトラム信号を生成する擬似ランダムシーケンス発生器２２０を用いることによって、画像に埋め込まれるデータの強度を低減すことができる。変調ＰＲＢＳが加えられた変換領域における画像のデータの相関を求めることにより、変調データビットを検出し、判定することができる所謂相関符号化ゲインを有する相関出力信号が、生成される。このようにして、画像に加えられるデータの強度を低減することができ、これによって、空間領域画像上で知覚できるいかなる影響も低減することができる。また、拡散スペクトラム信号を用いることにより、データがより多くの変換領域データシンボルに拡散されるので、本来備わっている画像の強固性を向上させることができる。

図２に示すように、ウェーブレット変換器２１０は、ソース１１０からビデオ画像１１５が供給され、ウェーブレット画像２１５を結合器２４０に出力する。したがって、ウェーブレット画像２１５は、空間領域からウェーブレット変換領域（以下、単に変換領域ともいう）に変換されている。結合器２４０は、強度アダプタ１８０から供給される適用強度に基づいて、ＰＲＢＳ変調データを変換領域における表現（以下、変換領域の画像ともいう）の画像に加える。そして、ウォータマーク付きウェーブレット画像２４５は、画像ウォータマーク付き画像１２５を生成するために、逆ウェーブレット変換器２５０により空間領域に変換される。結合器２４０の動作については、後で詳しく説明する。

当業者は、ウェーブレット変換及びその変形を熟知している。ウェーブレット変換の詳細については、例えば、１９９９年発行、シー・バイレンス著「本当に親しみやすいウェーブレットのガイド（A Really Friendly Guide to Wavelets）」（C Valens, 1999 c.valens@minless.com）に記載されている。

本発明の実施の形態において、データはウェーブレット変換領域において画像内埋め込まれているが、本発明は、ウェーブレット変換だけに限定されるものではない。本発明では、どのような変換、例えば離散コサイン変換又はフーリエ変換を使用して、画像にデータを加えることができる。さらに、データを、画像の変換領域に変換することなく、空間領域の画像に加えることもできる。

ここで、結合器２４０の動作について詳細に説明する。結合器２４０は、ウェーブレット変換器２１０からウェーブレット画像２１５が、変調器２３０から変調ＰＲＢＳが、強度アダプタ１８０から適用強度１８５が供給される。結合器２４０は、ビットの値にかかわらず、変調ＰＲＢＳの各ビットに、±１にスケーリングされた係数αを加えることにより、ウォータマーク２３５をウェーブレット画像２１５に埋め込む。ウェーブレット画像２１５の選択された部分はウォータマーク２３５を埋め込むため使用される。ウェーブレット画像２１５の所定の領域の各係数は、以下の式により、符号化される。

Ｘ_ｉ’＝Ｘ_ｉ＋α_ｎＷ_ｉ （１）
ここで、Ｘ_ｉはｉ番目のウェーブレット係数であり、α_ｎはｎ番目のＰＲＢＳに対する強度であり、Ｗ_ｉはバイポーラフォームにおける変調ＰＲＢＳのｉ番目のビットである。

ここで、結合器の具体的構成及びその動作について、図５、６を参照しながら、詳細に説明する。図５において、結合器２４０は、変換領域画像をフレームストレージ２３６に供給する接続チャンネル２１５を介して変換領域画像が供給される。フレームストレージ２３６は、変換領域データのフレームを記憶する。結合器２４０は、ＰＲＢＳ（変調ＰＲＢＳデータ）を用いた拡張された後の、拡散スペクトラム符号化及びエラー訂正符号化されたデータが供給される。この実施の形態において、このエラー訂正及び拡散スペクトラム符号化されたフォームのデータ量が、フレームストレージ２３６内の画像フレームに埋め込まれる。したがって、埋め込むことができるデータ量の限界は、画像フレームのデータ量、及び埋め込まれたデータの影響に耐え得る画像の自然さに基づいて定められる。符号化データは、この容量内で画像データの各フレームに埋め込まれる総合データ量を形成する。このため、フレームストレージ２３６は、ウェーブレット変換領域の画像を表すデータのフレームを記憶する。埋め込まれるデータは、結合プロセッサ２３７に供給され、結合プロセッサ２３７は、埋め込まれるデータを、フレームストレージ２３６内に記憶されているウェーブレット変換領域画像の選択された部分に埋め込む。また、結合器２４０は、結合プロセッサ２３７に接続された制御プロセッサ２３８を備える。制御プロセッサ２３８は、強度アダプタ１８０から適用強度１８５が供給され、上記式（１）に示すように、適用強度１８５に基づいて、情報マテリアルへの変調ＰＲＢＳ２２５データの結合を制御する。また、制御プロセッサ２３８は、利用可能なデータ埋込容量をモニタし、そして、この利用可能なデータ埋込容量に基づいて、変調ＰＲＢＳを情報マテリアルに結合する。利用可能なデータ埋込容量を表す信号は、図３に示すエラー訂正符号発生器の制御プロセッサＣ＿Ｐ、変調器２３０等のウォータマーク埋込器１２０の他の部分に送られる。

図６は、一次ウェーブレット変換を示す図である。このウェーブレット変換は、ウェーブレット領域に変換され、フレームストレージ２３６に記憶されている画像のフレームを表している。ウェーブレット変換画像ＷＴ＿ＩＭＧは、画像が分割されたサブバンドを表す４つのウェーブレット領域を有する。ウェーブレットは、水平周波数が低く、垂直周波数が低いサブバンドｌＨ_１ｌＶ_１、水平周波数が高く、垂直周波数が低いサブバンドｈＨ_１ｌＶ_１、水平周波数が低く、垂直周波数が高いサブバンドｌＨ_１ｈＶ_１、水平周波数が高く、垂直周波数が高いサブバンドｈＨ_１ｈＶ_１から構成される。

本発明の実施の形態では、埋め込まれるデータは、垂直周波数が低く、水平周波数が高いサブバンドｈＨ_１ｌＶ_１と、水平周波数が低く、垂直周波数が高いサブバンドｌＨ_１ｈＶ_１にだけ書き込まれる。

２つのサブバンドｈＨ_１ｌＶ_１及びｌＨ_１ｈＶ_１にだけデータを埋め込むことによって、埋め込まれたデータを検出できる可能性は高まり、一方、埋め込まれたデータが得られた画像に及ぼす影響は、低減される。なぜならば、水平周波数が高く、垂直周波数も高いサブバンドｈＨ_１ｈＶ_１のウェーブレット係数は、例えば圧縮、符号化等によって乱される可能性があるからである。ＪＰＥＧ（Joint Photographic Experts group）のような圧縮符号化処理は、画像の高周波成分を削減することにより、画像を圧縮符号化する。したがって、このサブバンドｈＨ_１ｈＶ_１にデータを書き込むことにより、埋め込まれたデータを再生できる可能性は低減する。逆に、垂直周波数が低く、水平周波数も低いサブバンドｌＨ_１ｌＶ_１にも、データは書き込まれない。これは、人間の目は、画像の低周波数成分に対して敏感であるためである。したがって、垂直周波数が低く、水平周波数が低いサブバンド周波数へのデータ書き込みは、画像をより一層劣化させる効果をもたらす。妥協案として、データは、水平周波数が高く、垂直周波数が低いサブバンドｈＨ_１ｌＶ_１と、垂直周波数が低く、水平周波数が高いサブバンドｌＨ_１ｈＶ_１に加えられる。

第１の実施の形態に基づくデコーダ図１に示す復号画像プロセッサ１０２内のウォータマークデコーダ１４０の動作について、図７を参照しながら、詳細に説明する。なお、図１と同じ回路には、同じ符号を付している。ウォータマークデコーダ１４０は、画像ウォータマーク付き画像１２５が供給され、ＵＭＩＤの再生バージョンを出力する。ウォータマークデコーダ１４０は、ウェーブレット変換器３１０と、擬似ランダムシーケンス発生器３２０と、相関器３３０と、エラー訂正デコーダ３５０とを備える。他の実施の形態として、ウォータマークデコーダ１４０は、後で簡単に説明する分析プロセッサ３６０を備えていてもよい。

ウェーブレット変換器３１０は、画像ウォータマーク付き画像１２５を変換領域に変換し、これによって、ウォータマークデータを再生することができる。そして、結合器２４０によって、ＰＲＢＳ変調データが加えられたウェーブレット係数は、ウェーブレット係数のサブバンドｈＨ_１ｌＶ_１，ｌＨ_１ｈＶ_１から読み出される。そして、これらのウェーブレット係数は、ウォータマーク埋込器において用いられた対応するＰＲＢＳとの相関がとられる。通常、相関は、以下の式（２）で表され、ここで、Ｘｎはｎ番目のウェーブレット係数であり、Ｒｎは、擬似ランダムシーケンス発生器３２０によって発生されたＰＲＢＳのｎ番目のビットである。

そして、相関Ｃｎの結果の相対的な符号は、ウォータマーク埋込器内でこのビットを表すのに用いられた符号に対応した埋込データのビットの値を示している。この方法で再生されたデータビットは、エラー訂正符号化ＵＭＩＤを表しており、エラー訂正符号化データは、エラー訂正デコーダ３５０によって、後述するように、復号される。ウォータマーク除去器１３０において、再生データアイテムを用い、ウォータマーク埋込器１２０において実行される動作と逆の動作を行うことにより、ウォータマークをビデオ画像から除去することができる。

図８は、エラー訂正デコーダ３５０の具体的な構成を示す図であり、図７に示す回路と同じ回路には、同じ符号を付している。一般的に、図８に示すデコーダは、図３に示すエンコーダによって実行される符号化とは逆の処理を行うことは明らかである。したがって、相関器３３０からの再生した埋込データストリームは、制御チャンネル３４５を介して制御プロセッサＣ＿Ｐ.Ｄに供給される。３つのデータの種類が符号化された際の所定の順番及び重要度に基づいて、制御プロセッサＣ＿Ｐ.Ｄは、各３つのメタデータの種類に対応した符号化データアイテムを分離して、それらを接続チャンネル３４７.１、３４７.２、３４７.３に供給する。そして、第１、第２の符号化データアイテムは、それぞれ第１デコーダＤＥＣ.１、第２のデコーダＤＥＣ.２に供給され、第３のメタデータアイテムのための第３のデータアイテムのデータは、符号化されていないので、直接出力プロセッサＯＵＴ＿Ｐに供給される。第１及び第２のデコーダＤＥＣ.１、ＤＥＣ.２は、図３に示されるエラー訂正符号発生器２００の第１、第２のエンコーダＥＮＣ.１、ＥＮＣ.２によって適用されたエラー訂正符号に適した復号アルゴリズムを使用して、符号化データアイテムを復号する。そして、再生されたデータアイテムは、出力プロセッサＯＵＴ＿Ｐに供給され、それぞれの出力チャンネル１４５.１、１４５.２、１４５.３から出力される。

図３に示されるエラー訂正符号発生器２００が適用された符号化の配列において、制御プロセッサは、ダイナミックにセットされ、接続チャンネル３４５に伝送され、再生したデータストリームには制御情報が含まれる。制御情報は、それぞれ第１と第２のメタデータアイテムが使用されるエラー訂正符号を示し提供する。それ相当に、制御情報は、再生したデータストリーム内に配置された各符号化されたデータアイテムも示し提供する。本実施の形態によれば、制御プロセッサＣ＿Ｐ.Ｄに従って、制御チャンネルＣＮＴ＿Ｄ.１、ＣＮＴ＿Ｄ.２によってコントロール信号が第１と第２の復号処理に使用されるデコーダに示すように提供されている。復号処理は、適用されたり、又は異なる復号処理が、データアイテムを符号化するエンコーダＥＮＣ.１、ＥＮＣ.２によって使用されるエラー訂正符号と同様に使用される。

代替される実施の形態において、異なるメタデータアイテムは異なるＰＲＢＳを使用し、相対的重要度と比例して埋め込まれる。変調器２３０の導入例は、図９に示される各メタデータアイテムの相対的重要性に比例して、データに応じて埋込影響を与える。図９において、擬似ランダムシーケンス発生器２２０からの３つのパラレル接続チャンネル２２５.１、２２５.２、２２５.３は、それぞれ第１、第２、第３のＰＲＢＳを発生し示される。符号化器からのデータは、デマルチプレックスプロセッサ２０７から接続チャンネルを介して受信される。この図表例において、３つのメタデータの種類は、マルチプレックスのエラー訂正符号発生器２００から受信され、デマルチプレックスプロセッサ２０７は、３つのメタデータの種類に応じてデータアイテムを分離し影響を与えるためと推測される。本実施の形態において、エラー訂正符号発生器２００は、３つの各データ種類からエラー訂正符号を適用されると推測されるが、代替される実施の形態では、異なる符号は第１の実施の形態に使用できる。

３つの各データ種類のための符号化されたデータアイテムは、それぞれの相関器Ｃ１、Ｃ２、Ｃ３に別々に伝送される。３つのメタデータの種類の相関的重要度は、相関器Ｃ１、Ｃ２、Ｃ３のために左から右に行くにつれ、増加すると推測される。各相関器はそれぞれＰＲＢＳ２２５を受信し、符号化されたデータアイテムのデータ信号に応じてＰＲＢＳ２２５を変調する。

図９に示すように、最重要のメタデータアイテムは、最長のＰＲＢＳ Ｐ＿１の６００ビットを提供するために、第１のメタデータアイテムのデータビットが最多量に拡散する。したがって、第２のメタデータアイテムの次に最長のＰＲＢＳ Ｐ_２の４００ビットを提供するために、第２のメタデータアイテムのシンボルは減少された量に従って拡散する。重要度の低いデータ種類においてのみ、ＰＲＢＳ Ｐ＿３の２００ビットは最小量拡散提供され使用される。３つの各結合器Ｃ１、Ｃ２、Ｃ３から構成されたＰＲＢＳは加算器ＡＤＤによりその後結合される。

変調ＰＲＢＳを合わせて結合することによって、複合信号ＣＳは３つの各メタデータアイテムのために拡散スペクトル信号を有効に提供しもたらす。複合信号は、図２で示し既に詳述したように、そこで結合器２４０によって画像と結合される。

図８を参照に既に詳述している通り、３つのメタデータの種類は、ウォータマークデコーダ１４０の相関器３３０から画像を再生される。なお、３つのメタデータの種類を検出し分離するため、図８の相関器は３つのＰＲＢＳ Ｐ＿１、Ｐ＿２、Ｐ＿３の効果を適用し、それぞれ第１、第２、第３メタデータアイテムを再生するために、変換領域画像を分離相関する。これは、３種類のメタデータアイテムを抽出するため、拡散スペクトル符号化データが追加されて画像データシンボルWIに相関される各３つのＰＲＢＳ Ｐ＿１、Ｐ＿２、Ｐ＿３は図１０に表されている。相関器は、倍率器Ｃ＿ＭＴ及び加算器Ｃ＿ＡＤＤによって図式的に表されている。第１の最重要データの場合、最長ＰＲＢＳ Ｐ＿１は、第２又は第３のＰＲＢＳより高い相関結果を発生し、それによって、第２及び第３のメタデータアイテムに関して、第１メタデータアイテムの検出の可能性を増加される。同様に、第２のメタデータアイテムは、第３のメタデータアイテムより正確に再生されやすい。

データを埋め込む拡散スペクトル符号化は、このような方法で埋め込みができるデータ量の限界を表現すると考えられることが望ましい。なぜならば、これは他の変調ＰＲＢＳが、欠如したＰＲＢＳに対してノイズを表しているためである。正確なＰＲＢＳが、データを埋め込むのに使用されるＰＲＢＳを配列する時に、あまりノイズが高くないため相関出力結果でカバーでき、データを再生できる。したがって、最大限のＰＲＢＳは合わせて追加できるが、埋め込まれたデータと欠如したＰＲＢＳの相関から再生できる埋め込まれたデータは、埋め込まれるデータのための制限のある容量を表すと考えることができる。それゆえに、それぞれの各データ種類にとって分配されるＰＲＢＳの長さ又は数量は、相対的重要度に応じて決定できる。代替される実施の形態の場合、データ種類単位当たりの重複する異なる量が提供されるため、データもエラー訂正符号発生器２００により符号化され、そして、重要度に応じて分離ＰＲＢＳに結合される。

図１１は、第２の本発明の実施の形態に従って、エラー訂正デコーダ３５０’のブロック構成図に詳細に説明し提供している。図１１において、相関器３３０によってビデオ画像１１５から再生したエラー訂正符号化されたメタデータは、エラープロセッサ４００によって接続チャンネル３４５から受信されている。本発明の実施の形態をわかりやすく説明すると、メタデータアイテムは、ＵＭＩＤと考えられる。符号化されたＵＭＩＤも、再生プロセッサ４０４によって接続チャンネル３４５から受信される。

図６に戻り、図６に示す分析プロセッサ３６０の目的について以下に説明する。分析プロセッサ３６０は、以前のＵＭＩＤ−１又は以後のＵＭＩＤ−１ ＵＭＩＤからのデータフィールドの価値を取って代わるであろうが、再生プロセッサ４０４が、誤ったＵＭＩＤのデータフィールドを決定するにあたって任意に補助し提供する。この結果、分析プロセッサ３６０は、再生された以前又は以後のＵＭＩＤからウォータマーク付き画像１２５のコンテンツ、同様に、検出し再生された誤ったＵＭＩＤを比較し変調される。分析プロセッサ３６０は、信号表示が再生された誤ったＵＭＩＤからの画像コンテンツと再生された以前及び/又は以後のＵＭＩＤ ＵＭＩＤ−１、ＵＭＩＤ＋１からの画像コンテンツの間に比較され発生し変調される。例えば、画像中の色の柱状図を比較することができる。この比較の信号表示は、接続チャンネル３７０を介して、再生プロセッサ４０４に伝送される。

再生プロセッサ４０４は、画像コンテンツの比較を表す信号を使用し、以前のＵＭＩＤ−１又は以後のＵＭＩＤ＋１に応じて誤ったＵＭＩＤのデータフィールドかどうかを決定する。したがって、例えば、再生された誤ったＵＭＩＤからの画像コンテンツは、再生されたＵＭＩＤ−１の以前のＵＭＩＤからの画像コンテンツに類似されるように比較し決定され、その後、ＵＭＩＤのデータフィールドは、以前のＵＭＩＤから引き出したデータ値に置換するべきである。例えば、クリップＩＤの代表であるデータフィールドは、以前のＵＭＩＤ−１からクリップＩＤを置換するべきである。

エラープロセッサ４００は、ＵＭＩＤの再生を試みるためにエラー検出及び／又は訂正処理を行う。

エラー訂正符号があるエラー数を訂正し、あるエラー数を検出する。一般的に、訂正できる数より検出できるエラー数の方が大きい。このように、エラーを検出するエラー訂正符号能力は、一般的にエラーを訂正する復号能力より優れている。

再生され符号化されたＵＭＩＤのエラー数は、エラー訂正符号化からＵＭＩＤを再生するには大きすぎる。なお、エラープロセッサは、訂正が可能か検出する機能が備わっている。例えば、ＢＣＨ符号、つまりＢＣＨ符号のための復号処理は、訂正が適用されている時、訂正が不可能なことを示すことができる。

あるいは、エラープロセッサ４００は、符号化されたＵＭＩＤのエラー数を検出するために、最初にエラー検出処理を行う。所定の境界よりエラー数が多い時は、符号化されたＵＭＩＤは、符号化されたＵＭＩＤのエラーが多すぎるため再生することが決められない。結果的に、エラー訂正符号を復号できる数よりエラー数の方が多いため、所定の境界は符号化されたＵＭＩＤが間違って復号する可能性を減らすようセットされる。主として、境界はエラー訂正デコーダによってエラー訂正できるエラー数、そして不正確に復号されるのが多きすぎるため、エラー数の可能性を減少されるとおりに妥協しセットされる。

もし符号化されたＵＭＩＤがエラーがありすぎるとすれば、ＵＭＩＤを再生しようと誤ったＵＭＩＤに再生処理を行い、再生プロセッサ４０４が制御チャンネル４０８を介して再生プロセッサ４０４を制御する。

エラープロセッサ４００が、符号化されたＵＭＩＤを表しエラー数を決めると、その後制御プロセッサ４０６は出力チャンネル１４５から出力されるＵＭＩＤの再生版を行うことができる符号化ＵＭＩＤを復号するエラープロセッサ４００を制御する。なお、この再生されたＵＭＩＤは、データ格納４１０内の制御プロセッサ４０６も制御し格納する。

再生プロセッサ４０４の作業に戻ると、図１１に示される本発明の実施の形態は、いつもＵＭＩＤを符号化されるシステマティクなエラー訂正符号の特質を利用する。図４に示すように、ソースデータであるＵＭＩＤは符号化された電信暗号文字の一部として表される。そのようなものとして、再生プロセッサ４０４は、エラーがある形状であっても、ＵＭＩＤにアクセスできるようになっている。再生プロセッサ４０４は、以後のＵＭＩＤをデータ格納４１０に復号し再生し格納するまで、局部的に誤ったＵＭＩＤを格納する。したがって、再生プロセッサ４０４は、そこでＵＭＩＤのデータフィールドである以前の復号できたＵＭＩＤ及び以後の復号できたＵＭＩＤの１つか両方を比較する。これは、ＵＭＩＤ−１とＵＭＩＤ＋１が再生された以前及び以後のＵＭＩＤを代表する図１２で表され、現在のＵＭＩＤ０を示している。ハッシュセクションで表されているように、ＵＭＩＤ０は再生できないものと考えられる。

ＵＭＩＤからデータを再生するため、再生プロセッサ４０４は、ＵＭＩＤのデータフィールドの値を比較する。ＵＭＩＤはクリップを識別し、又はＵＭＩＤが埋め込まれたビデオ画像（クリップＩＤ）を扱うクリップＩＤを含む。したがって、例えば、第１データフィールドＤ１を表す。クリップＩＤ Ｄ１がＵＭＩＤ−１及びＵＭＩＤ＋１内のものと同様である時、再生できないＵＭＩＤ０のデータフィールドＤ１は、クリップＩＤ のＵＭＩＤ−１及びＵＭＩＤ＋１内のものと同様である可能性がある。それがゆえ、再生プロセッサ４０４はＵＭＩＤ−１及びＵＭＩＤ＋１のデータフィールドＤ１を比較し、同等である時、この値にＵＭＩＤ０のデータフィールドＤ１をセットする。

この時点で、制御プロセッサ４０６は、そこで適用し符号化されたＵＭＩＤを復号しようと試みる。もし第１データフィールドＤ１を置換した後も正確に復号される数が少なければ、未だに符号化されたＵＭＩＤにエラー数が存在するために、それゆえＵＭＩＤを再生するためにエラー訂正符号を使用することができる。この数が所定の境界より少ないときは、置換されたデータフィールドＤ１が適用し符号化されたＵＭＩＤは、エラープロセッサ４００に伝送される。前述のエラープロセッサ４００は、エラー訂正符号化によって符号化されたＵＭＩＤを再生できるかを決め、それにより、第２、第３データフィールドＤ２、Ｄ３を含むすべてのＵＭＩＤを再生する。

代りに、第１データフィールドＤ１を置換後も、またもしも適用し符号化されたＵＭＩＤが未だに復号できないとしたら、第２、第３データフィールドＤ２とＤ３は以前と以後のＵＭＩＤのために再生プロセッサ４０４によって比較される。データフィールドＤ２は、例えば時間符号になる。そのように、ビデオ画像１１５の連続するフレームに各ＵＭＩＤが埋め込まれているため、第２データフィールドＤ２のデータは直線的に連続するＵＭＩＤ間で増加すると予想される。その結果、再生プロセッサ４０４は、第２データフィールドＤ２を比較し、もしこれらが所定の境界より少なく違っているならば、そこでエラーに符号化されたＵＭＩＤ０のデータフィールドＤ２は、以前と以後のＵＭＩＤの第２データフィールドのデータ値間で補間することによって計算される。したがって、第２データフィールドＤ２が置換された後、制御プロセッサ４０６は、その後エラープロセッサ４００へ冗長データと再生された符号化されたＵＭＩＤを送り込み、もう一度ＵＭＩＤの復号を試みるか、ただ単に再生されたＵＭＩＤとして出力する。

第２データフィールドＤ２を比較する時、以前と以後のＵＭＩＤのデータフィールドは、所定の境界より量が多く違っていれば、その後分離ビデオクリップに関して、以前と以後の画像フレームからＵＭＩＤを再生されると予想される。データフィールドのようにまた実際ＵＭＩＤ全体としては、以前又は以後の再生されたＵＭＩＤから対応するフィールドによって置換される。同等ビデオクリップに応じて以前又は以後のＵＭＩＤを決定するに従って、ＵＭＩＤ０が再生された時、以前と以後のフレームのビデオ画像１１５コンテンツは比較される。再生されたＵＭＩＤ０の画像は少し後に説明される。したがって、再生されるＵＭＩＤの第２データフィールドＤ２は、以前のＵＭＩＤ又は以後のＵＭＩＤの第２データフィールドＤ２と同じ値にセットされ、そして復号が再適用される。デフォルトとして、誤ったＵＭＩＤは以前のＵＭＩＤと置換される。

再生されたＵＭＩＤの第３データフィールド値間で相関が存在すれば、それでこの相関はエラー符号化されたＵＭＩＤの第３データフィールドＤ３値を推定されるのに使用されるのが望ましい。

すべてのＵＭＩＤのデータフィールドが補間又は置換によって推定された後、エラー訂正復号機３５０は、符号化されたＵＭＩＤをもう一度復号しようと試みる。符号化されたＵＭＩＤが訂正可能であれば、その時符号化されたＵＭＩＤは再生されたＵＭＩＤとして復号され、出力される。なお、万が一訂正不可能であれば、その時は補間された後の適用されたフォームのＵＭＩＤは再生されたＵＭＩＤとして正しく、出力されると予想される。ＵＭＩＤが補間によって正確に再生されるため、なおすべてのエラーが符号化されたＵＭＩＤに多重同等ビットとして表示されるように、符号化されたＵＭＩＤは未だにエラー訂正デコーダ３５０によって訂正は不可能であると考えられる。

エラー訂正、置換及び／又は補間によって一度ＵＭＩＤが再生されれば、その時好都合に、ウォータマーク付き画像１２５のＵＭＩＤからのエラービットを置換する。これは、根本的にエラーのないウォータマーク付き画像を提供し、以後処理がウォータマークを利用できるようにするために、ウォータマーク付き画像１２５を再生成する。

ここで、図１３Ａ、１３Ｂを参照して、ＵＭＩＤの構造を簡単に説明する。ＵＭＩＤは、ＳＭＰＴＥジャーナル２０００年３月に記載されている。図２１Ａ図に拡張ＵＭＩＤを示し、拡張ＵＭＩＤは、図２１Ｂに示す基本ＵＭＩＤからなる３２バイトの第１セットと、シグネチャメタデータからなる３２バイトの第２セットを有している。すなわち、拡張ＵＭＩＤの３２ビットの第１セットは基本ＵＭＩＤである。構成要素は以下のようになっている。

・この第１セットをＳＭＰＴＥ ＵＭＩＤとして識別するための１２バイトのユニバーサルラベル。これは、ＵＭＩＤが識別するマテリアルのタイプを定めるとともに、グローバル的にユニークなマテリアル番号とローカル的にユニークなインスタンス番号を作成する方法も定める。

・ＵＭＩＤの残りの長さを定める１バイトの長さ値。

・同じマテリアル番号を持つ異なるマテリアルインスタンスを区別するのに用いられる３バイトのインスタンス番号。

・各クリップを識別するのに用いられる１６バイトのマテリアル番号。各マテリアル番号は同じマテリアルの関連するインスタンスについては同じである。

１セットのパックされたメタデータアイテムとしての、シグネチャメタデータからなる３２バイトの第２セットは、拡張ＵＭＩＤを作成するのに用いられる。拡張ＵＭＩＤは、基本ＵＭＩＤのすぐ後にシグネチャメタデータがくるものであり、シグネチャメタデータは以下の成分からなる。

・コンテンツユニット作成の日時を識別する８バイトの日時コード。

・コンテンツユニット作成時の空間座標を定める１２バイトの値。

・国、団体、ユーザの各コードを登録する４バイトのコードが３グループ。

ＵＭＩＤ構造の詳細な説明は、係属中の英国特許出願番号０００８４３２．７に記載されている。

更なる実施の形態において、ウェーブレット係数が追加されたＰＲＢＳの適用強度１８５は、相対的重要度に応じて適用できる。それなりに重要なデータは、高適用強度を与えられる可能性がある。

代替される実施の形態では、結合器２４０内の制御プロセッサ２３８は、相対的重要度に従って複数のデータアイテムを形成し、情報マテリアルによって用意された埋込データ容量の限界内にこの相対的重要度の順序に従ってデータアイテムを選択的に埋め込んでもよい。このように、もし埋込容量が限界に近づいたなら最重要データアイテム後に重要度の低いデータアイテムは、埋込容量内で待ち行列に入れられ埋め込まれる。既に説明の通り、低重要度データアイテムは、結合器プロセッサ２３７によって埋め込まれるデータアイテムに十分可能な埋込容量に近づくまで待ち行列に入れられる。データ埋込容量は、情報マテリアルの特徴の結果として又はより重要なアイテムの埋込削減、それによってより重要なデータアイテムがより収容可能なようにとの要求からダイナミックに変更される可能性がある。埋込可能容量は、制御プロセッサ２３８によって決定され、結合器プロセッサ２３７によって制御される。データアイテムは、この目的のためデータ格納（表示されていない）に一時的に格納され待ち行列に入れられる。

データアイテムは、コンテンツを記述したメタデータ又はデータが埋め込まれた前記情報マテリアルの属性が表され提供されているものを含んでいる可能性がある。メタデータは、例えば他のメタデータより高い所定の相対的重要度を与えられたＵＭＩＤが含まれ可能性がある。

本発明の目的からかけ離れることなく、色々な修正が実施の形態に施される。実施の形態において、埋め込まれるデータは変換領域の画像に追加されても、代替される実施の形態においてデータは変換領域で表され、空間領域に逆変換され、空間領域のデータへ追加される。

ウォータマークシステムの構成を示すブロック図である。 図１に示されるウォータマーク埋込器の構成を示すブロック図である。 図２で示されるウォータマーク埋込器を構成するエラー訂正符号発生器の構成を示すブロック図である。 組織的エラー訂正符号を使用して図２で示されるエラー訂正符号発生器によって符号化された代表的なＵＭＩＤの構成を示す図である。 図２で示されるウォータマーク埋込器を構成する結合器の構成を示すブロック図である。 データが結合される代表的な変換領域画像を示す図である。 図１に示されているウォータマークデコーダの構成を示すブロック図である。 図７で示されるウォータマークデコーダを構成するエラー訂正デコーダの構成を示すブロック図である。 本発明の更なる実施の形態に基づき、図２で示される結合器を構成する変調器の構成を示すブロック図である。 本発明の更なる実施の形態に基づき、図７で示されるウォータマークデコーダを構成する変調器の動作を説明する図である。 本発明の更なる実施の形態に基づき、エラー訂正符号発生器の構成を示すブロック図である。 図１１で示されるエラー訂正デコーダを構成する再生プロセッサによって行われるデータアイテム再生の処理を説明するための図である。 基本及び拡張ＵＭＩＤの構造を示す図である。 基本及び拡張ＵＭＩＤの構造を示す図である。

Claims (26)

1. 情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生装置において、
   上記データは、システマティック訂正符号に基づいて符号化されて符号化データアイテムを生成する複数のソースデータアイテムを有し、上記符号化データアイテムは、それぞれ対応するソースデータアイテム及び冗長データを有し、上記情報マテリアルに埋め込まれており、
   上記情報マテリアルから、上記埋め込まれている符号化データの再生バージョンを検出及び生成する埋込データ検出器と、
   上記再生された符号化データアイテムのそれぞれについて、上記再生された符号化データアイテムが多くのエラーを含むとみなされるかどうかを判定し、多くのエラーを含まないと判定された場合、上記符号化データアイテムを復号して、上記データアイテムの再生バージョンを生成するエラープロセッサと、
   上記データアイテムの再生バージョンを記憶するデータ格納装置と、
   上記エラープロセッサが上記復号データアイテムは多くのエラーを含むと判定した場合、上記符号化データアイテムのソースデータアイテムを上記データ格納装置に記憶された少なくとも１つの他のソースデータアイテムと比較するとともに、上記少なくとも１つの他の再生データアイテムの対応値によって、上記エラーを含む符号化データアイテムのソースデータアイテムを推定する再生データプロセッサと備えるデータ検出及び再生装置。
2. 上記エラープロセッサは、上記再生された符号化データアイテムのそれぞれにおけるエラーデータシンボルの数を評価することによって、上記再生された符号化データアイテムのそれぞれに誤りがあるかどうかを判定するとともに、上記エラーデータシンボルの数を所定の閾値と比較し、上記エラーデータシンボルの数が上記閾値以上の場合には、上記再生された符号化データアイテムは、エラーを含むと判定されることを特徴とする請求項１記載のデータ検出及び再生装置。
3. 上記再生データプロセッサは、上記エラーを含む符号化データアイテムのソースデータアイテムを以前及び以後の復号及び再生されたデータアイテムの少なくとも１つと比較するとともに、上記以前及び以後のソースデータアイテムの少なくとも１つに基づいて、上記エラーを含む符号化データアイテムのソースデータアイテムを置換することを特徴とする請求項１又は２記載のデータ検出及び再生装置。
4. 上記再生データプロセッサは、上記以前及び以後のソースデータアイテムが同じ値である場合、上記エラーを含む符号化データアイテムのソースデータアイテムを上記以前及び以後のデータアイテムの値に置換することを特徴とする請求項３記載のデータ検出及び再生装置。
5. 上記再生データプロセッサは、上記以前及び以後のソースデータアイテムの値が異なる場合、上記エラーを含む符号化データアイテムのソースデータアイテムを上記以前及び以後のデータアイテム間を補間して生成される値に置換することを特徴とする請求項４記載のデータ検出及び再生装置。
6. 複数の再生されたソースデータアイテム及び上記エラーを含む符号化データアイテムが検出された情報マテリアルのコンテンツを比較するとともに、上記比較を表すデータを生成する分析プロセッサを備え、
   上記再生データプロセッサは、上記比較を表すデータによって、上記エラーを含む符号化データアイテムのソースデータアイテムを推定することを特徴とする請求項１乃至５記載のデータ検出及び再生装置。
7. 上記ソースデータアイテムのそれぞれは、複数のデータフィールドを有し、上記再生データプロセッサは、上記エラーを含むデータアイテムの少なくとも１つと、上記少なくとも１つの他の再生されたデータアイテムの対応するデータフィールドとを比較するとともに、上記エラーを含む符号化データアイテムのデータフィールドの少なくとも１つを、上記比較に基づいて、上記再生されたデータアイテムの対応するフィールドに置換することを特徴とする請求項１乃至３のいずれか１項記載のデータ検出及び再生装置。
8. 上記再生データプロセッサは、置換される上記ソースデータアイテムのデータフィールドの少なくとも１つにより、置換される上記データフィールドを含む上記再生された符号化データアイテムが多くのエラーを含むとみなされるかどうかを上記エラープロセッサと連動しながら判定し、多くのエラーを含むとみなされない場合、上記符号化データアイテムを復号して上記データアイテムの再生バージョンを生成することを特徴とする請求項７記載のデータ検出及び再生装置。
9. 上記再生データプロセッサは、上記以前及び以後のデータアイテムの対応するデータフィールドが同じ値である場合、上記エラーを含む符号化データアイテムのデータフィールドを、上記以前及び以後のデータアイテムの１つの値に設定することを特徴とする請求項７又は８記載の装置。
10. 上記再生データプロセッサは、以前のデータアイテムと以後のデータアイテムの対応するデータフィールドの値が異なる場合、上記エラーを含む符号化データアイテムのデータフィールドを、上記以前及び以後のデータアイテム間の補間によって生成される値に置換することを特徴とする請求項７又は８記載のデータ検出及び再生装置。
11. 上記再生データプロセッサは、以前のデータアイテムの対応するデータフィールドと以後のデータアイテムの対応するデータフィールドとが異なることを判定し、上記差異が所定の閾値を上回る場合には、復号できない上記エラーを含む符号化データアイテムのフィールドを、上記以前のデータアイテムの値に置換し、上記差異が所定の閾値を上回らない場合には、上記以前及び以後のデータアイテムのフィールド間の補間によって上記置換値を生成することを特徴とする請求項７又は８記載のデータ検出及び再生装置。
12. 以前のデータアイテム、以後のデータアイテム及び上記エラーを含む符号化データアイテムが検出される情報マテリアルのコンテンツを比較して、上記比較を表すデータを生成する分析プロセッサを備え、
    上記再生データプロセッサは、復号できない上記エラーを含む符号化データアイテムのデータフィールドを、上記比較を表すデータによって、上記以前及び以後のデータアイテムの１つのデータフィールドの値に置換することを特徴とする請求項７又は８記載のデータ検出及び再生装置。
13. 上記分析プロセッサは、カラーヒストグラムなどから、情報マテリアルのコンテンツを推定するように構成されていることを特徴とする請求項６又は１２記載の装置。
14. 上記情報マテリアルは、少なくともビデオ、オーディオ、データ又はオーディオ／ビデオマテリアルの１つであり、上記ソースデータアイテムは、上記ビデオ、オーディオ、データ又はオーディオ／ビデオマテリアルに関するコンテンツ又は属性を記述するメタデータを含むことを特徴とする請求項１乃至１３のいずれか１項に記載のデータ検出及び再生装置。
15. 上記データアイテムは、ユニークマテリアル識別子（Unique Material Identifier：ＵＭＩＤ）を含み、上記データフィールドは、上記ユニークマテリアル識別子であり、上記符号化データアイテムは、符号化されたユニークマテリアル識別子であることを特徴とする請求項１４記載のデータ検出及び再生装置。
16. 請求項１０記載のデータ検出及び再生装置と組み合わせたときに、上記補間によって再生される、エラーを含む符号化ユニークマテリアル識別子のデータフィールドは、上記ユニークマテリアル識別子のタイムコードを表すデータを含むことを特徴とする請求項１５記載のデータ検出及び再生装置。
17. 請求項１１記載のデータ検出及び再生装置と組み合わせたときに、上記以前及び以後の再生されたユニークマテリアル識別子のデータフィールド間の差異が所定の閾値を上回っていた結果として、上記データフィールドを以前の符号化ユニークマテリアル識別子の対応するフィールドからのデータに置換することによって再生された、エラーを含む符号化ユニークマテリアル識別子のデータフィールドは、上記ユニークマテリアル識別子のクリップ識別子を表すことを特徴とする請求項１６記載のデータ検出及び再生装置。
18. 複数のソースデータアイテムを含むデータを情報マテリアルに埋め込むデータ埋込装置において、
    システマティック訂正符号に基づいて、上記ソースデータアイテムを符号化して、それぞれが上記ソースデータアイテム及び冗長データを含む符号化データアイテムを生成するエラー訂正符号器と、
    上記符号化データアイテムと上記情報マテリアルとを結合する結合プロセッサとを備えるデータ埋込装置。
19. 上記データアイテムは、ユニークマテリアル識別子などのメタデータを含むことを特徴とする請求項１８記載のデータ埋込装置。
20. 請求項１７又は１８記載のデータ埋込装置によってデータが埋め込まれている情報マテリアルが記録された記録媒体。
21. 請求項１７又は１８記載のデータ埋込装置によって、情報マテリアルにデータを埋め込む装置と、
    請求項１乃至１５のいずれか１項記載のデータ検出及び再生装置によって、上記情報マテリアルから上記データを検出して除去する装置とを備えるデータ埋込及び除去システム。
22. 情報マテリアルに埋め込まれたデータを検出して再生するデータ検出及び再生方法において、
    上記データは、システマティックエラー訂正信号に基づいて符号化されて符号化アイテムを生成する複数のソースデータアイテムを有し、上記符号化データアイテムは、それぞれ対応するソースデータアイテム及び冗長データを有し、上記情報マテリアルに埋め込まれており、
    上記情報マテリアルから、上記符号化データアイテムの再生バージョンを検出及び生成するステップと、
    上記符号化データアイテムのそれぞれについて、上記符号化データアイテムの再生バージョンが多くのエラーを含むとみなされるかどうか判定するステップと、
    上記判定ステップにおいて、多くのエラーを含まないと判定された場合、上記符号化データアイテムを復号して、上記データアイテムの再生バージョンを生成するとともに、上記データアイテムの再生バージョンをデータ格納装置に記憶するステップと、
    上記判定ステップにおいて、上記エラーを含む符号化データアイテムが多くのエラーを含むとみなされる場合、上記エラーを含む符号化データアイテムのソースデータアイテムを、上記データ格納装置からの少なくとも１つの他のソースデータアイテムと比較するとともに、上記少なくとも１つの他の再生データアイテムの対応値によって、上記エラーを含む符号化データアイテムのソースデータアイテムを推定するステップとを有するデータ検出及び再生方法。
23. 複数のソースデータアイテムを含むデータを情報マテリアルに埋め込むデータ埋込方法において、
    システマティックエラー訂正信号に基づいて、上記ソースデータアイテムをそれぞれ符号化して、それぞれが対応する上記ソースデータアイテム及び冗長データを有する符号化データアイテムを生成するステップと、
    上記符号化データアイテムと上記情報マテリアルとを結合するステップとを有することを特徴とするデータ埋込方法。
24. コンピュータにより実行可能な命令を提供するコンピュータプログラムにおいて、
    当該コンピュータプログラムは、データプロセッサ上にロードされたときに、該データプロセッサを請求項１乃至９のいずれか１項記載のデータ検出及び再生装置として動作させることを特徴とするコンピュータプログラム。
25. コンピュータにより実行可能な命令を含むコンピュータプログラムにおいて、
    当該コンピュータプログラムは、データプロセッサ上にロードされたときに、該データプロセッサに請求項２２記載のデータ検出及び再生方法又は請求項２３記載のデータ埋込方法の各ステップを実行させることを特徴とするコンピュータプログラム。
26. 請求項２４又は２５記載のコンピュータプログラムが記録されたコンピュータ読出可能な記録媒体。

Images