JP2004056796A - 重複領域の統計量子化によるウォーターマーキング - Google Patents

重複領域の統計量子化によるウォーターマーキング Download PDF

Info

Publication number
JP2004056796A
JP2004056796A JP2003188929A JP2003188929A JP2004056796A JP 2004056796 A JP2004056796 A JP 2004056796A JP 2003188929 A JP2003188929 A JP 2003188929A JP 2003188929 A JP2003188929 A JP 2003188929A JP 2004056796 A JP2004056796 A JP 2004056796A
Authority
JP
Japan
Prior art keywords
regions
medium
watermark
computer
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003188929A
Other languages
English (en)
Other versions
JP2004056796A5 (ja
JP4313104B2 (ja
Inventor
Ramarathnam Venkatesan
ラマラスナム ベンカテサン
M Kivanc Mihcak
エム.キバンク ミカク
Mustafa Kesal
ムスタファ ケサル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2004056796A publication Critical patent/JP2004056796A/ja
Publication of JP2004056796A5 publication Critical patent/JP2004056796A5/ja
Application granted granted Critical
Publication of JP4313104B2 publication Critical patent/JP4313104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0202Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)

Abstract

【課題】デジタル商品のウォーターマーキングを容易にする技術の実施形態を提供すること。
【解決手段】本明細書で説明する少なくとも1つの実施形態は、デジタル商品の複数の領域のセミグローバル特性に基づいて量子化ウォーターマーキングを実施する。そのような領域は、重複することが許される。本発明の範囲は、特許請求の範囲に指摘されている。
【選択図】    図1

Description

【0001】
【発明の属する技術分野】
本発明は、一般にデジタル商品のウォーターマーキングを容易にする技術に関する。
【0002】
【従来の技術】
デジタル商品はしばしば、イントラネットやインターネットなどの私設および公衆ネットワークを介して消費者に配布される。加えて、これらの商品は、コンパクトディスク(CD−ROM)、デジタル多用途ディスク(DVD)、ソフト磁気ディスケット、またはハード磁気ディスク(例えば、プリロードされたハードドライブ)などの固定のコンピュータ読取可能な媒体を介して消費者に配布される。
【0003】
残念ながら、コンテンツ所有者に犠牲および損害を与えることとなるデジタル商品の初期状態のデジタルコンテンツの無断使用は比較的容易である。ここで、コンテンツ所有者には、コンテンツ作者、発行者、開発者、配布者などが含まれる。コンテンツを製作および配布する業界(例えば、エンターテイメント、音楽、映画など)は、デジタル著作権侵害のために収入が失われることに悩まされている。
【0004】
現代のデジタル著作権の侵害者は、コンテンツ所有者から、法律上正当な対価を効率的に奪っている。コンテンツ所有者の権利を保護する機構が技術によって提供されなければ、創造的な社会や文化は衰えることになる。
【0005】
「デジタル商品」とは、電気的に格納または伝送されるコンテンツの総称である。デジタル商品の例には、イメージ、オーディオクリップ、ビデオ、マルチメディア、ソフトウェア、およびデータが含まれる。デジタル商品はまた、「デジタル信号」、「コンテンツ信号」、「デジタルビットストリーム」、「メディア信号」、「デジタルオブジェクト」、「オブジェクト」などと呼ばれることもある。
【0006】
ウォーターマーキング
ウォーターマーキングは、デジタル商品のコンテンツ所有者の権利を保護する最も有望な技法の1つである。一般に、ウォーターマーキングとは、デジタル商品の知覚的特徴が保持されるようにデジタル商品を変更するプロセスである。より具体的には、「ウォーターマーク」とは、コンテンツ所有者および/または保護される権利を識別するのに使用することができる、デジタル商品に挿入されるビットパターンである。
【0007】
一般に、ウォーターマークは、人間や統計分析ツールに対して不可視、より正確には知覚不能となるように設計される。
【0008】
ウォーターマークをデジタル商品に埋め込むために、ウォーターマークエンベッダ(すなわちエンコーダ)が使用される。ウォーターマークされたデジタル商品中のウォーターマークを検出(または抽出)するために、ウォーターマーク検出器が使用される。ウォーターマーク検出はしばしば、小型の装置上であってもリアルタイムで実施される。
【0009】
ブラインドウォーターマーキング
ウォーターマークを検出するのに、あるウォーターマーキング技法では、元の未マークのデジタル商品、またはマーク済みデジタル商品の初期状態の標本(specimen)にアクセスすることが必要である。もちろん、ウォーターマーク検出器が公に利用可能であると、この技法は望ましくない。公に利用可能である場合、悪意のあるアタッカが、元の未マークのデジタル商品、またはマーク済みデジタル商品の初期状態の標本へのアクセスを取得する可能性がある。したがって、このタイプの技法は、公開の検出器に対しては使用されない。
【0010】
あるいは、ウォーターマーキング技法は「ブラインド」である。これは、元の未マークのデジタル商品、またはマーク済みデジタル商品の初期状態の標本へのアクセスが必要ないことを意味する。もちろん、ウォーターマーク検出器が公に利用可能であるとき、この「ブラインド」ウォーターマーキング技法が望ましい。
【0011】
従来のウォーターマーキング技術
メディア信号をウォーターマークする従来の技術は、人間の知覚力(例えば、人間の聴覚系(HAS)または人間の視覚系(HVS))の不完全性に依存する。例えば、可聴信号の領域では、いくつかの従来型の秘密隠蔽技法により、HASが、時間領域または周波数領域の振幅の小さな変化、ならびに低振幅時間領域エコーの挿入に鈍感であることが探究されている。
【0012】
ウォーターマークは、マスクMによって与えられる、導入される知覚可能なひずみに対する制約下で符号化され、変調されたウォーターマークメッセージbを含む加法的信号(additive signal)wとみなすことができる。
x=s+w(M)
【0013】
一般的に使用される従来型ウォーターマーク埋込み技法は、スペクトラム拡散(SS)方式(しばしば、加法的技法または乗法的(multiplicative)技法を使用して実施される)と、量子化に基づくウォーターマーキング方式に分類することができる。
【0014】
ウォーターマーク、ウォーターマーク埋込み、およびウォーターマーク検出に関連する従来の技法および技術に、当業者は通じているであろう。
【0015】
頑健性
ほとんどのウォーターマーキング応用例では、マーク済み商品は、ウォーターマークされたコンテンツの受信側に到達する前に何らかの方式で処理される可能性が高い。この処理は、損失圧縮、信号増強、またはデジタル−アナログ(D/A)変換およびアナログ−デジタル(A/D)変換である可能性がある。埋め込まれたウォーターマークは、そのような処理により、意図せずに、または誤って損なわれる可能性がある。ウォーターマークの受信を妨害するという明確な目的で、他のタイプの処理が加えられる可能性もある。これは、いわゆる敵対者(adversary)による、ウォーターマーク(またはウォーターマークされた商品)に対するアタックである。
【0016】
ウォーターマーキングの用語では、アタックは、ウォーターマークの検出、またはウォーターマークによって搬送される情報の通信を損ない、またはそのようにすることを意図する任意の処理と考えることができる。さらに、アタックは、ウォーターマークされていないコンテンツに対して偽のアラームを作成し、あたかもウォーターマークされているかのように見せる可能性がある。したがって、この処理されたウォーターマーク済み商品は、アタックされた商品と呼ばれることがある。
【0017】
もちろん、ウォーターマーキング技術の主な性質は、アタックに対して頑健であることである。頑健性の概念は、当業者には直感的に明らかであろう。ウォーターマークを損なうことができず、さらにアタックされた商品の有用性をウォーターマークが低下させることがない場合に、ウォーターマークは頑健である。
【0018】
ウォーターマークの損傷は、いくつかの基準、例えばミスの確率、ビットエラーの確率、またはチャネル容量によって測定することができる。マルチメディアの場合、アタックされたデータの有用性は、その知覚可能な品質またはひずみを考慮することによって測定することができる。したがって、頑健性は、アタックされた商品のウォーターマークの損傷とひずみを同時に考慮することによって評価することができる。
【0019】
【非特許文献1】
Venkatesan, Koon, Jakubowski, and Moulin, ”Robust image hashing,” Proc. IEEE ICIP 2000, Vancouver, Canada, September 2000
【非特許文献2】
Mihcak and Venkatesan, ”A Tool for Robust Audio Information Hiding: A Perceptual Audio Hashing Algorithm”, IHW 2001, Pittsburgh PA
【0020】
【発明が解決しようとする課題】
偽アラームおよびミス
ウォーターマーキングするとき、偽アラームの確率が高くなることは望まれない。それは、ウォーターマークが検出されたが、ウォーターマーキングエージェントがコンテンツを挿入していないときである。これは、生じていない犯罪の証拠を見つけることに似ている。誰かが誤って犯罪で告発される可能性がある。
【0021】
偽アラームの確率が増加するにつれて、ウォーターマーキング技法の信頼性が低下する。例えば、人々は、車のアラームがたいていは実際の車泥棒ではなく偽アラームであることを知っているので、しばしば車のアラームを無視する。
【0022】
同様に、ミスの確率が高くなることは望まれない。「ミス」の事象は、ウォーターマークが検出されたと想定されるのにウォーターマークが検出されない(すなわち、存在しないと宣言される)ときに生じる。これは、犯罪現場で証拠を検出することが、見落としまたはそれを行うこと自体が不能なためにできないことに似ている。このために、犯罪を決して適切に調査することができない。ミスの確率が増加するにつれて、ウォーターマーキング技法の信頼性が低下する。
【0023】
偽アラームとミスの確率はゼロであることが理想的である。実際には、しばしば両者の間で折り合いがつけられる。通常、一方の確率が減少すると、他方の確率が増加する。例えば、偽アラームの確率が減少するにつれ、ミスの確率は増加する。
【0024】
したがって、両者を最小にすると共に、両者の間の適切な平衡を見つけることが望ましい。
【0025】
【課題を解決するための手段】
本明細書では、デジタル商品のウォーターマーキングを容易にする技術を説明する。
【0026】
本明細書で説明する技術は、デジタル商品の複数の領域の非局在特性に基づいてウォーターマーキングを実施する。そのような領域は重複することが許される。
【0027】
この概要自体は、本特許の範囲を制限することを意図するものではない。さらに、本特許の名称は、本特許の範囲を限定することを意図するものではない。本発明をより良く理解するために、添付の図面と共に行われる以下の詳細な説明と、特許請求の範囲を参照されたい。本発明の範囲は、特許請求の範囲に指摘されている。
【0028】
同様の要素および機能を参照するために、図面全体を通して同じ符号を使用する。
【0029】
【発明の実施の形態】
以下の説明では、都合上、本発明を完全に理解できるように特定の数、材料、および構成を述べる。しかし、この特定の例示的な詳細を用いずに本発明を実施できることは当業者には明らかであろう。その他には、本発明の例示的実施の説明を明確にし、それによって本発明をより良く説明する目的で、周知の機能を省略または単純化している。さらに、理解するのが容易となるように、ある方法ステップを別々のステップとして示している。しかし、その別々に示したステップは、それを実施する際に必然的に順序の従属関係があるものと解釈すべきではない。
【0030】
以下の説明では、特許請求の範囲に記載の要素を組み込む、重複領域の統計的量子化によるウォーターマーキングの1つまたは複数の例示的実施形態を述べる。これらの実施形態を、法定の書面の記述の要件、実施可能性要件、および最良の形態の要件と適合するように具体的に説明する。しかし、この記述自体は、本特許の範囲を限定することを意図するものではない。
【0031】
本発明者等は、これらの例示的実施形態が例に過ぎないことを意図する。これらの例示的実施形態が、特許請求の範囲に記載の本発明の範囲を限定することを本発明者等は意図しない。むしろ、本発明者等は、その他の現在または将来の技術に関連して、特許請求の範囲に記載の本発明を、他の方式でも埋め込み、実施できることを企図している。
【0032】
重複領域の統計的量子化によるウォーターマーキングの実施形態の一例を、「例示的ウォーターマーカ」と呼ぶことがある。
【0033】
導入
例示的ウォーターマーカは、図10に示すようなコンピューティングシステムおよびコンピュータネットワーク上で(全体的または部分的に)実施することができる。さらに、例示的ウォーターマーカは、図10に示すようなデジタル商品検証システム上で(全体的または部分的に)実施することができる。例示的ウォーターマーカは多くの応用例を有することができるが、暗号方式、許可、およびセキュリティは特定の応用例の例である。
【0034】
例示的ウォーターマーカは、コンテンツの量子化によりウォーターマーキングデジタル商品と関連付けられる。本明細書で説明する一実施形態では、ウォーターマークが、コンテンツのランダムに選んだ領域のランダム線形統計の量子化により埋め込まれる。このような実施は、コンテンツの重複領域を使用することができ、それにより、ウォーターマークの頑健性/セキュリティ特性が向上する。
【0035】
一般には、例示的ウォーターマーカは、デジタル商品の頑健なセミグローバル特性を導き出す。例示的ウォーターマーカは、デジタル商品のブラインドウォーターマーキングに対しそのような特性を量子化する。
【0036】
本明細書で確率化(randmization)を述べるとき、その種がウォーターマークエンベッダと検出器のどちらにも知られている秘密鍵(K)である擬似乱数ジェネレータによって確率化が実施されることを理解されたい。しかし秘密鍵(K)は敵対者には知られていない。
【0037】
例示的セミグローバルウォーターマーキングアーキテクチャ
図1に、元のコンテンツを製作し、ネットワーク124を介してコンテンツをクライアント126に配布するコンテンツ製作者/提供者122を有するデジタル商品製作/配布アーキテクチャ100(すなわち、デジタル商品検証システム)を示す。コンテンツ製作者/提供者122は、元のコンテンツを含むデジタル商品を格納するコンテンツストレージ130を有する。コンテンツ製作者122は、コンテンツを元のコンテンツとして一意的に識別するウォーターマークを用いてデジタル信号に署名するウォーターマーク埋込みシステム132を有する。ウォーターマーク埋込みシステム132は、スタンドアロンプロセスとして実装することができ、あるいは他のアプリケーションまたはオペレーティングシステムに組み込むこともできる。
【0038】
ウォーターマーク埋込みシステム132は、コンテンツストレージ130からのデジタル信号にウォーターマークを加える。通常、ウォーターマークは、信号中に埋め込まれ、きれいに除去することができないシグニチャを提供するコンテンツ製作者122を識別する。
【0039】
コンテンツ製作者/提供者122は、ネットワーク124(例えばインターネット)を介してウォーターマークしたコンテンツを配布する配布サーバ134を有する。ウォーターマークが埋め込まれた信号は、コンテンツ製作者/提供者122の著作権権限に従って信号が配布されていることを受信側に対して表す。サーバ134はさらに、ネットワーク124を介してコンテンツを配布する前に、従来の圧縮/暗号化技法を用いてコンテンツを圧縮および/または暗号化することができる。
【0040】
通常、クライアント126はプロセッサ140、メモリ142、および1つまたは複数のコンテンツ出力装置144(例えば、ディスプレイ、サウンドカード、スピーカなど)を備える。プロセッサ140は、信号を解凍し、日付を暗号化解除し、コンテンツをフィルタにかけ、および/または信号制御(トーン、ボリュームなど)を加えるツールなどの様々なツールを実行して、マークした信号を処理する。メモリ142は、プロセッサ上で実行されるオペレーティングシステム150(Microsoft(登録商標) Windows XP(登録商標)オペレーティングシステムなど)を格納する。クライアント126は、コンピュータ、ハンドヘルドエンターテイメント装置、セットトップボックス、テレビジョン、アプライアンスなどを含む、多数の異なる形態で具体化することができる。
【0041】
オペレーティングシステム150は、デジタル信号中のウォーターマークを検出するクライアント側ウォーターマーク検出システム152と、コンテンツ出力装置144によってコンテンツを使用するのを容易にするコンテンツローダ154(例えば、マルチメディアプレーヤ、オーディオプレーヤ)とを実装する。ウォーターマークが存在する場合、クライアントはその著作権と、他の関連情報を識別することができる。
【0042】
オペレーティングシステム150および/またはプロセッサ140は、コンテンツ製作者/提供者(または著作権所有者)が課すある規則を実施するように構成することができる。例えば、オペレーティングシステムおよび/またはプロセッサは、有効なウォーターマークを所持しない、偽造のコンテンツまたはコピーされたコンテンツを拒絶するように構成することができる。別の例では、システムは、未検証のコンテンツを忠実度のレベルを下げてロードすることができる。
【0043】
例示的ウォーターマーカ
例示的ウォーターマーカは、重複することが許される擬似ランダムに選んだ領域の擬似ランダム統計を導き出す。この統計の導出は、変換領域(恐らく、イメージの場合はウェーブレットであり、オーディオの場合はMCLT)で実施される。
【0044】
このような擬似ランダム統計の例としては線形統計がある。(擬似ランダムに)選んだ領域のこの線形統計は、その領域内のデータの一次結合を重み付けすることによって与えられる(ただし、重みは擬似ランダムに選ばれる)。
【0045】
ウォーターマーク情報を埋め込むために、例示的ウォーターマーカは、複数(例えば2つ)の量子化器が与えられ、この統計を量子化する。本明細書で説明する例示的ウォーターマーカは、スカラ一様量子化に焦点を当てるが、量子化器は一般にはベクトル量子化器でよい。例えば、格子ベクトル量子化器を使用することができる。格子ベクトル量子化器は、高次元量子化がより扱いやすいからである。
【0046】
さらに、例示的ウォーターマーカは、埋め込まれるウォーターマークベクトルを生成するために、誤り訂正コードを使用して、制御された冗長度を送るべきメッセージに追加することができる(制御された冗長度は、ウォーターマークされた商品ではなく、メッセージに追加される)。デコーダは、どの量子化器が使用された可能性が最も高いかを判定するために、ML(最尤)復号化、または場合によってはそれに対する近似(例えば、最近隣復号化)を使用する。誤り訂正コードを使用する場合、性能を向上させるために、近似MLデコーダの後に、メッセージを復号化する反復的な誤り訂正復号化が続く。
【0047】
通常、ウォーターマークの存在に関する判定は、埋め込まれたウォーターマークと、検出したいウォーターマークとの間の距離のしきい値分けを介して実施される。そのような距離の例はハミング距離である。もちろん、その他の知覚的な距離指標も利用することができる。復号化のさらに別の方法は、検出器が判定に達するために判定統計の対数尤度比に対してしきい値分けを適用するハード復号化ではなく、ソフト復号化である。
【0048】
例示的ウォーターマーカは非重複領域に限定されない。むしろ、例示的ウォーターマーカは重複領域を許容する。例示的ウォーターマーカは初めに、最小ノルム基準を使用して量子化雑音シーケンスを生成する。このような雑音シーケンスの存在は、ある緩い仮定の下で保証される。
【0049】
例示的ウォーターマーカについて少なくとも2つの手法が存在する。1つの手法では、量子化で導入される加法的雑音のノルムが最小限に抑えられる。別の手法では、量子化で導入される均一性に対する乗法的雑音の距離が最小限に抑えられる。
【0050】
局所的特性
従来の量子化ウォーターマーキングは、信号(すなわちデジタル商品)内の局所的特性に依存する。量子化するために、従来の量子化ウォーターマーキングは、もっぱらホスト信号の「個々の要素」の値に依存する。量子化する際、「個々の要素」の局所的特性だけが考慮される。これらの局所的特性は、個々のピクセルの値(カラー、振幅)および相対的ポジショニング(例えば、時間領域および/または周波数領域でのポジショニング)、または変換係数を含むことができる。
【0051】
修正−アタックまたは意図的でない雑音による変更により、信号の局所的特性が、知覚的に顕著になる(例えば、可聴または可視となる)ことなく非常に劇的に変化する可能性がある。例えば、この変化は、知覚されることなく、ピクセルの値、または関連する変換係数、またはオーディオクリップのサンプルの振幅に劇的な影響を及ぼす可能性がある。しかし、そのような変化は、信号のセミグローバル特性にはほとんど影響を及ぼさないと予想される。実際、ほとんど影響を及ぼさないことが設計方法にとって望ましいので、情報をセミグローバル特性に対し埋め込む。
【0052】
セミグローバル特性
セミグローバル特性は、個々の要素のグループまたは集合の一般的特性を表す。例えば、セミグローバル特性は、「領域」(すなわち「セグメント」)の統計または特徴であることがある。セミグローバル特性は、個々の要素の個々の局所的特性を表さない。むしろセミグローバル特性は、グループ(例えばセグメント)全体としての知覚的コンテンツを表す。
【0053】
セミグローバル特性は、グループの数学的または統計的表現によって決定することができる。例えばセミグローバル特性は、グループ中のすべてのピクセルのカラー値の平均であることがある。したがって、このようなセミグローバル特性は、「統計的特性」と呼ぶこともできる。局所的特性は、頑健な統計的特性を表さない。
【0054】
重複領域
頑健なセミグローバル特性のウォーターマーキング用の領域は、互いに連続することが許されるように、または許されないようにすることができる。連続する領域は、重複すると述べることもできる。したがって、そのようなウォーターマーキング方法は部分的に、重複することが許され、または重複しないことが制限される領域を使用する方法として定義することができる。
【0055】
図2に、複数の非重複領域210〜222を有するイメージ200を示す。図2では、各領域は矩形である。各領域はまた、隣接し連続しない。本明細書では、非連続ということは非重複ということである。図示する矩形210〜220のうちどれも、共通のイメージエリアをカバーしないことに留意されたい。図2の矩形は、重複することが制限される領域の擬似ランダム構成の一例を示す。
【0056】
領域が重複することが制限される統計量子化ウォーターマーキングの1つまたは複数の実施形態が記載されている(例えば、2001年4月24日出願の「Derivation and Quantization Of Robust Non−Local Characteristics For Blind Watermarking」と題する、Microsoft Corporationに譲渡された係属中の米国特許出願第09/843,279号参照。)。
【0057】
厳密に非重複の領域の統計にウォーターマークを埋め込む統計量子化ウォーターマーキング方法では、ウォーターマーキングの効果は、複写可能な擬似ランダムに選択された領域(領域218など)に分散する。これらの領域の重複は制限される。重複しない場合、ある領域でのウォーターマーキングの効果が別の領域に影響を及ぼさないからである。領域を重ねるべき場合、クロス効果が互いに相殺される可能性がある。したがって、量子化雑音ベクトルを設計して、統計的量子化によるウォーターマーキングを達成することは難しい(すなわち、簡単ではない)。
【0058】
しかし、重複領域の使用を禁止することにより、望ましくない制限を招来することとなる。その制限の一部は、ウォーターマークの埋込みの比率や、領域のサイズおよび/または量に関する。重複を制限することにより、非重複領域の境界の周りに、知覚可能な人工物(artifacts)がもたらされる。したがって、敵対者がウォーターマークを発見し、および/または害することが容易になる可能性がある。
【0059】
本明細書で説明する例示的ウォーターマーカは、非重複領域に制限されない。むしろ、本明細書で説明する例示的ウォーターマーカが重複領域を使用することが許容される。
【0060】
図3に、複数の重複領域310〜328を有するイメージ300を示す。図3では、領域は矩形である。図示する矩形310〜326のうちの多くは、共通のイメージエリアをカバーすることに留意されたい。ある矩形(328など)は、どの共通イメージエリアもカバーせず、他のどの矩形とも隣接しない。図3の矩形は、重複することが許される領域の擬似ランダム構成の一例を示す。
【0061】
例示的ウォーターマーカでは、各領域を重ねることが可能である。一般には、非重複領域を有する量子化雑音ベクトルを設計することは、重複領域を有する量子化雑音ベクトルを設計することに比べれば取るに足らない仕事である(重複領域を有する場合、量子化雑音ベクトルを設計することは簡単ではない)。例示的ウォーターマーカでは、重複する可能性のある領域のウォーターマーキングを達成するように量子化雑音ベクトルをグローバルに設計することができる。最適化問題に対する解として、所望の量子化雑音ベクトルを求める。
【0062】
したがって、例示的ウォーターマーカは、非重複領域の場合に直面した制限(例えば、埋め込まれるウォーターマーク比率や、ウォーターマーク埋込みで使用される領域のサイズおよび/または量)の一部を回避する。例示的ウォーターマーカはまた、非重複領域の境界の周囲への知覚可能な人工物がもたらされるのを回避する。
【0063】
例示的セミグローバルウォーターマーク埋込みシステム
図4に、例示的な統計量子化ウォーターマーク埋込みシステム400を示す。統計量子化ウォーターマーク埋込みシステム400は、デジタル商品検証システムの一部の実施形態の一例である。このシステムは、図1のウォーターマーク符号化システム132として使用することができる。
【0064】
ウォーターマーク埋込みシステム400は、商品取得器(obtainer)410、変換器420、分割器(partitioner)430、領域統計計算器440、領域量子化器450、量子化雑音ベクトル探知器(finder)460、および商品マーカ470を含む。
【0065】
ウォーターマーク埋込みシステム400は、ウォーターマークをデジタル商品に埋め込む。この例ではデジタル商品はイメージである。したがって、システム400は、擬似ランダムに選んだ領域の1次統計の量子化により、離散的ウェーブレット変換(DWT)のDCサブバンドにウォーターマークを組み込む。もちろん、他の統計、サブバンド、および変換も使用することができる。
【0066】
ウォーターマーク埋込みシステム400は、「加法的量子化外乱のノルム」を最小にすることができる(下記の式(1.2)参照)。あるいは、ウォーターマーク埋込みシステム400は、「均一性に対する乗法的量子化外乱の距離」を最小にすることができる(以下の式(1.7)参照)。
【0067】
商品取得器410は、デジタル商品405(可聴信号またはデジタルイメージなど)を取得する。商品取得器410は、記憶装置、またはネットワーク通信リンクを介してなど、ほぼどんな供給源からも商品を得ることができる。取得することに加えて、商品取得器410は、商品の振幅を正規化することもできる。その場合、商品取得器410は振幅ノーマライザと呼ぶこともできる。
【0068】
変換器420は、商品取得器410から商品を受け取る。変換器420は、1組の変換を用いて商品を標準形式にする。具体的には、離散的ウェーブレット変換(DWT)を使用することができる(特に入力がイメージであるとき)。離散的ウェーブレット変換は、時間および周波数の局在化を通して有意な信号特性をコンパクトに取り込むからである。他の変換を使用することもできる。例えば、シフト不変であり、方向選択性の「複合ウェーブレット」、および他の何らかの適切なオーバーコンプリートウェーブレット表現(例えばステアラブルピラミッドなど)、さらにはウェーブレットパケットが良い候補である(特にイメージの場合)。
【0069】
変換器420はまた、信号の初期変換のDCサブバンドを見つける。変換後の信号のこのDCサブバンドは、分割器430に渡される。
【0070】
例えば商品がイメージIである場合、変換器420は、補間および間引き(decimation)を通してそれを固定サイズにサイズ変更し、得られるイメージにDWTを適用し、DCサブバンドIDCを得ることができる。IDC中の係数の数をNとする。変換器420はIDCを整理し直し、N×1ホストデータsを得る。
【0071】
分割器430は、変換した商品を、複数の擬似ランダムにサイズ変更され、擬似ランダムに配置された領域(すなわちパーティション)に分離する。そのような領域は重なることができる。秘密鍵Kは、この場合擬似乱数生成のための種である。この同じKを使用して、例示的なセミグローバル統計量子化ウォーターマーク検出システム500によって領域を再構築することができる。
【0072】
例えば、商品がイメージである場合、商品は擬似ランダムなサイズおよび位置の2次元ポリゴン(例えば領域)に分割される可能性がある。別の例では、商品が可聴信号である場合、オーディオクリップの(周波数および時間を用いた)2次元表現が、擬似ランダムなサイズおよび位置の2次元ポリゴン(例えば三角形)に分離される可能性がある。
【0073】
この実施形態では、領域は実際に互いに重なることができる。
【0074】
例えば商品が上記で参照したイメージIである場合、分割器430は、
【0075】
【数1】
Figure 2004056796
【0076】
によって表される十分に大きいM個のポリゴン(例えば領域)を、対応する厳密に正の擬似ランダム重みベクトル
【0077】
【数2】
Figure 2004056796
【0078】
と共に擬似ランダムに生成し、それにより、サイズM×Nの対応する擬似ランダム変換行列Tを形成する。したがって、Rに対応する擬似ランダム統計はμによって与えられる。ただし{μ}は、R中のsの重みつき一次結合を介して求められる(重みはベクトル{α}によって与えられる)。その後に、これらの統計は、長さMのウォーターマークベクトルw∈{0,1}を使用して量子化される。
【0079】
各領域について、領域統計計算器440が、分割器430によって生成された複数の領域の統計を計算する。各領域についての統計が計算される。上記の節では、どのように擬似ランダム線形統計を計算するかを説明した。しかし一般には、これらの統計は例えば、任意の有限次モーメントまたはマルチメディアオブジェクトをよく表現することができる他の何らかの特徴でもよい。
【0080】
このような計算についての適切な統計は、各領域中の個々の係数の値の平均である(平均は、ベクトル{α}が領域{R}で一様であり、それ以外のところではゼロとなるようにベクトル{α}を選ぶ特別なケースに対応する)。他の適切な統計とその頑健性が論じられている(例えば、イメージについては非特許文献1、可聴信号については非特許文献2参照。この文書では、情報の埋込みは考慮されていないが、類似の統計が論じられている)。
【0081】
各領域について、領域量子化器450は、領域統計計算器440の出力に対して恐らくは高次元の(例えば、2、3、4)量子化(例えば格子ベクトル量子化)を適用し、量子化データを得る。もちろん、他のレベルの量子化を利用することもできる。量子化器450は加法的でよく、または非加法的でよい。これは、データの埋込みを行う部分である。量子化プロセスでは、組み込みたいウォーターマーキングビットによって索引付けされた特定の量子化器を選ぶ。
【0082】
この量子化は、ランダムに行うこともできる(したがって、コードブック設計で十分な擬似ランダム性が導入される)。これは、ランダム化量子化(またはランダム化丸め)と呼ぶことができる。これは、量子化器がランダムに切上げまた切捨てを判定することができることを意味する。量子化器は、(秘密鍵を使用して)擬似ランダムにそれを行うことができる。これにより、頑健性が増し加えられ、ウォーターマークを隠す助けになる。
【0083】
量子化雑音ベクトル探知器460は、ウォーターマークされたデータ(ウォーターマークされていないホストデータと量子化雑音ベクトルとの和によって与えられる)が量子化統計を有するような最小のノルム量子化雑音ベクトルを見つける。この最小ノルム量子化雑音ベクトルを、「知覚補償ベクトル」cを用いて知覚的に「補正」することが可能である。この知覚補償ベクトルを最小ノルム雑音ベクトルに加えた後、例示的ウォーターマーカは、依然として量子化統計を取得する。しかし、マーク済みデータは、より良好な知覚品質を有する。
【0084】
(本明細書で述べるような)知覚補償ベクトルを求めるのに、いくつかの方法を利用することができる。例示的ウォーターマーカは、反復的な技法を使用してこのベクトルを求める。この反復的方法の一例を手短に説明する。
【0085】
例示的ウォーターマーカが求める知覚補償ベクトルは、加法的量子化外乱の最小ノルム(下記の式(1.2)参照)に基づくことができる。あるいは、知覚補償ベクトルは、均一性に対する乗法的量子化外乱の最小距離(下記の式(1.7)参照)に基づく。特定の応用例についての実装に関する詳細は、下記の「方法論的応用例」の項を参照されたい。
【0086】
商品マーカ470は、設計された量子化雑音ベクトルを使用することによって信号をマークする(例えば、加法的量子化雑音ベクトルの方法の場合、設計された量子化雑音ベクトルが元の未マークのデータに加えられ、マーク済みデータが得られる)。商品マーカは、量子化ウォーターマーキング技法を使用して商品をマークすることができる。このマーク済み商品は、消費者とクライアントに対して公に配布することができる。
【0087】
図4の例示的統計量子化ウォーターマーク埋込みシステム400の前述の構成要素の機能を以下でさらに説明する。
【0088】
例示的な量子化ウォーターマーク検出システム
図5に、デジタル商品検証システムの一部の実施形態の一例である例示的な統計量子化ウォーターマーク検出システム500を示す。このシステムは、図1のウォーターマーク検出システム152として使用することができる。
【0089】
ウォーターマーク検出システム500は、商品取得器510、変換器520、分割器530、セグメント統計計算器540、リコンストラクタ(reconstructor)550、ウォーターマーク検出器560、プレゼンタ(presenter)570、およびディスプレイ580を含む。
【0090】
図5のウォーターマーク検出システム500の商品取得器510、変換器520、分割器530、およびセグメント統計計算器540は、同様に符号を付けた図4のウォーターマーク埋込みシステム400の構成要素と同様に機能する。例外は、これらの構成要素の対象が「元の商品(S)」ではなく、「対象商品(Y)」であることである。「対象」商品の供給源は不明である。対象商品は、ウォーターマークを含む可能性があり、含まない可能性もある。対象商品は、変更されている可能性がある。
【0091】
対象商品Yについての統計ベクトルをμとする。各領域iについて、統計ベクトルμのi番目の成分をμyiとする。リコンストラクタ550は、量子化器0(量子化器1)に対応する直近の再構築点を求め、本明細書ではそれを
【0092】
【数3】
Figure 2004056796
【0093】
と呼ぶ(すなわち、最近隣復号化を実施する)。
【0094】
ウォーターマーク検出器560は、ウォーターマークが存在するかどうかを判定する。ウォーターマーク検出器560は対数尤度比を求める。
【0095】
【数4】
Figure 2004056796
【0096】
L>τである場合、ウォーターマーク検出器560は、ウォーターマークが存在すると宣言する。そうでない場合、ウォーターマークが存在しないと宣言する。ただし、τはあるしきい値であり、アルゴリズムに対する入力パラメータである。もちろん、ウォーターマークの存在が不定であると決定器(determiner)が指定する、しきい値付近の範囲が存在する(例えば、尤度Lがしきい値τに十分近い場合、検出器は結果として「不確定」または「不明」を出力する可能性がある)。
【0097】
プレゼンタ570は、「ウォーターマークあり」、「ウォーターマークなし」、および「不明」の3つの表示のうち1つを提示することができる。この情報は、ディスプレイ580上に提示される。もちろん、このディスプレイはどんな出力装置でもよい。このディスプレイは記憶装置でもよい。
【0098】
図5の例示的統計量子化ウォーターマーク検出システム500の前述の構成要素の機能を以下でさらに説明する。
【0099】
例示的ウォーターマーカのさらに多くの説明
例示的ウォーターマーカの実施形態の以下の説明では、以下のことを仮定する。
【0100】
本明細書では、一般に以下の記法を使用する。太字の小文字はベクトルを表し、太字の大文字は行列を表す。別段の指定がない限り、ユークリッドノルムと、それに対応する内積を使用する。下付き文字は、ベクトルの特定の要素を表す。例えば、aはベクトルaのi番目の要素を表す。上付き文字Tは転置演算子を表す。
【0101】
さらに、Aの零空間をN(A)と表し、Aの範囲空間をR(A)と表す。d(a,b)は、長さの等しい2元ベクトルaとbの間の正規化ハミング距離を表す。ただし正規化は、通常のハミング距離をベクトルの長さで割ることによって実施される。
【0102】
問題定義およびランダム線形統計の量子化
ウォーターマークw(M×1ベクトル)を埋め込むべきN×1次元のホストデータ(すなわち元のデジタル商品)をsと表す。ただし、w∈{0,1},∀。この表記内では、ウォーターマーク符号化の速度はM/Nである。wを埋め込むために、例示的ウォーターマーカは、「ランダムに選んだ」領域Rを考慮する。ただしR⊆{1,2,...,N}(すなわちRは、ウォーターマークを埋め込もうとするsの要素の1組の添字である。さらに、各wについて、例示的ウォーターマーカは、「ランダムに選んだ」重みベクトルαを導入する。ウォーターマークベクトルwは、「ランダム線形統計」ベクトルμに埋め込まれる。
【0103】
【数5】
Figure 2004056796
【0104】
上式で、αijはαのj番目の要素である。
【0105】
ウォーターマークを埋め込むために、例示的ウォーターマーカは、スカラ一様量子化器QおよびQを使用することができる。QおよびQの量子化ビンの統合により、実数直線全体がカバーされる。さらに、Q(Q)の各量子化ビンの長さはΔであり、各量子化ビンは、長さがそれぞれΔであるQ(Q)の2つの量子化ビンによって囲まれる。もちろん、これは単に1つの例示的なコードブック構造に過ぎない。その他の擬似ランダム/高次元コードも、データを埋め込む目的で同様に使用することができる。
【0106】
各量子化器の再構築レベルは、与えられる再構築ビン内でランダムに選ばれる。一般には、各量子化器のビンを、(スカラ量子化の制限内で)重複しないように「ランダムに」選ぶことが可能であることに留意されたい。
【0107】
より一般的なケースでは、ベクトル量子化器QおよびQのボロノイ領域を、重複しないようにランダムに選ぶことができる。その領域内では、各量子化器の各ボロノイ領域の再構築レベル(例えば重心)に心合せされる再構築レベルが、超立方体内でランダムに選ばれる(超立方体の次元は、量子化の次元である)。
【0108】
(Q)を用いたμの量子化バージョンを
【0109】
【数6】
Figure 2004056796
【0110】
とする。次いで、得られる統計が
【0111】
【数7】
Figure 2004056796
【0112】
と等しくなるように量子化雑音シーケンスを設計することによってウォーターマーク埋込みが実施される。ただし、
【0113】
【数8】
Figure 2004056796
【0114】
上式で、
【0115】
【数9】
Figure 2004056796
【0116】

【0117】
【数10】
Figure 2004056796
【0118】

【0119】
【数11】
Figure 2004056796
【0120】
のi番目の要素である。
【0121】
受信側では、課題は、(秘密鍵Kを知った上で)入力データのランダム統計を求め、その後で、量子化器が与えられたとして、それがウォーターマーク復号化および検出を実施することである。受信側は、近似ML復号化規則(例えば、最近隣復号化)を使用して復号化を実施する。次いで、
【0122】
【数12】
Figure 2004056796
【0123】

【0124】
【数13】
Figure 2004056796
【0125】
に対応する対数尤度比を求め、かつ対数尤度比に対してしきい値分けを適用することによって、ウォーターマーク(実際の検出プロセス)の存在に関する判定を実施する。
【0126】
サイズN×1の、ウォーターマークされたデータベクトルをxとする。ここで、エンコーダ側の主な問題は、
【0127】
【数14】
Figure 2004056796
【0128】
からxに「戻り」(すなわち、s,{R},{α},μ,および
【0129】
【数15】
Figure 2004056796
【0130】
が与えられた場合)、
【0131】
【数16】
Figure 2004056796
【0132】
となるようなxを求めることである。
【0133】
ランダムであり、重複することが許される領域の場合、この課題は簡単ではない。例示的ウォーターマーカはこのケースに対処する。
【0134】
例示的ウォーターマーカはランダムであり、重複することが許される領域に対してランダム線形統計の量子化を実施するために少なくとも2つの手法を実施する。一方の手法では、例示的ウォーターマーカは、加法的量子化雑音のノルムが最小となるように量子化を実施する。他方の手法では、例示的ウォーターマーカは、均一性に対する「乗法的量子化雑音」の距離を最小にする。
【0135】
本明細書では以下の用語を使用する。
【0136】
・M×1ベクトルd、ただし
【0137】
【数17】
Figure 2004056796
【0138】
・M×N行列T、ただし
【0139】
【数18】
Figure 2004056796
【0140】
上式で、TijはTの(i,j)番目の要素である。ただし
【0141】
【数19】
Figure 2004056796
【0142】
・N×1ベクトルl、ただし
【0143】
【数20】
Figure 2004056796
【0144】
さらにTs=μであり、例示的ウォーターマーカの少なくとも一部についての目標は、
【0145】
【数21】
Figure 2004056796
【0146】
となるようなxを求めることである。
【0147】
本明細書では、説明の都合上(限定はしないが)、M<Nと仮定し、TはランクMであると仮定する。
【0148】
加法的量子化外乱の最小化
本項では、「加法的量子化外乱の最小化」手法を説明する。この手法は、以下の最小化問題を解くことによってxを設計することを目的とする。
【0149】
【数22】
Figure 2004056796
【0150】
方程式(1.1)に対する解は、以下のように表すことができる。
【0151】
【数23】
Figure 2004056796
【0152】
式(1.2)は、最小ユークリッドノルムの意味で最適な加法的量子化外乱を与える。しかし、しばしばユークリッドノルムは、知覚的な品質のあまり良い尺度ではない。そのような知覚的人工物は、量子化器パラメータΔが増加するにつれて一般的になる。知覚的品質に関して一般に受け入れられている品質尺度はまだ存在しないので、例示的ウォーターマーカは、知覚的に不快な人工物を減少させるために、それ自体の手法を使用する。
【0153】
【数24】
Figure 2004056796
【0154】
とする。
【0155】
s,
【0156】
【数25】
Figure 2004056796
【0157】
が与えられたとして、
【0158】
【数26】
Figure 2004056796
【0159】
によって生成された知覚的人工物が存在する場合、原理的には、
【0160】
【数27】
Figure 2004056796
【0161】
によって生成された視覚的人工物を補償するように「知覚的補償ベクトル」cを設計することが可能である(すなわち、
【0162】
【数28】
Figure 2004056796
【0163】

【0164】
【数29】
Figure 2004056796
【0165】
よりも、知覚的に不快な人工物が少ない)。
【0166】
しかし、cが
【0167】
【数30】
Figure 2004056796
【0168】
を乱す可能性があるという問題がある。一般には、目標は、Tc=0となり(すなわち、cと
【0169】
【数31】
Figure 2004056796
【0170】
が互いに直交する)、かつ「cが
【0171】
【数32】
Figure 2004056796
【0172】
によって最初に生成された知覚的人工物を最小にする」ようなcを求めることである。しかし、知覚的人工物を定量化するという概念ははっきりしない。したがって、この問題を実際に解析的に定式化することは難しい。
【0173】
したがって、例示的ウォーターマーカは以下の手法に従う。
【0174】
【数33】
Figure 2004056796
【0175】
およびsが与えられた場合、例示的ウォーターマーカは、ある実験的技法を使用することにより、知覚的人工物を低減するようにcを設計する。次いで例示的ウォーターマーカは、cをN(T)に射影する。cのN(T)に対する射影をcとする。cに関する式を以下で与える。
【0176】
フルランクM×N実数行列TおよびN×1実数ベクトルcが与えられた場合、N(T)に対するその射影は以下によって与えられる。
【0177】
=(I−T(TT−1)c       (1.3)
上式で、IはN×N恒等行列である。すべての可能な長さNの実数ベクトルcについて、c
【0178】
【数34】
Figure 2004056796
【0179】
と直交することに留意されたい。
【0180】
したがって、知覚的人工物を低減するために、例示的ウォーターマーカは、最小ノルムの制約を緩和する。知覚的に満足な補償ベクトルcを求めた後、例示的ウォーターマーカは、(式(1.3)を介して)N(T)に対するその射影を使用し、得られたcを、最初にウォーターマークしたデータに追加する。原理上は、知覚的な満足を保証するようにこの演算を無限回繰り返すことができる。
【0181】
cを求めるための他の可能な手法の例には、

【0182】
【数35】
Figure 2004056796
【0183】
を求めた後、それにFIR低域フィルタを適用する。
【0184】
【数36】
Figure 2004056796
【0185】
のフィルタバージョンと
【0186】
【数37】
Figure 2004056796
【0187】
の未フィルタバージョンとの差をcとする。
【0188】
・式(1.3)を適用してcを求める。次いで、更新後ウォーターマーキング量子化雑音が
【0189】
【数38】
Figure 2004056796
【0190】
によって与えられる。
【0191】
知覚的に不快な人工物を低減する別の手法は、c∈N(T)となり、かつ
【0192】
【数39】
Figure 2004056796
【0193】
が帯域限定される(すなわち、十分平滑となる)ように補償ベクトルcを求めることである。ある厳しくない仮定の下では、この手法に対する解が以下のように与えられる。
【0194】
Daが周波数範囲[π−πK/N,π+πK/n]内のa∈Rの(場合によっては近似的)DFT(あるいは、DST、DCTなどの周波数分解または近似逆相関変換)係数を与えるような、N×N DFT(あるいは、DST、DCTなどの周波数分解または近似逆相関変換)行列のK×NサブマトリックスをDとする。次いで、
【0195】
【数40】
Figure 2004056796
【0196】
が[0,π−πK/N]に帯域限定され、かつ量子化条件
【0197】
【数41】
Figure 2004056796
【0198】
が満たされるような、cに対する最小ノルム解をcとする。その結果は、
=A(AA−1b           (1.5)
上式で、
【0199】
【数42】
Figure 2004056796
【0200】
および
【0201】
【数43】
Figure 2004056796
【0202】
M+K<Nであり、Aはフルランクであると仮定する。
【0203】
乗法的量子化外乱の最小化
本項では、「乗法的量子化外乱の最小化」を説明する。この目的は、以下の最小化問題を解くことによってxを設計することである。
【0204】
【数44】
Figure 2004056796
【0205】
ただし、x=n
【0206】
【数45】
Figure 2004056796
【0207】
方程式(1.6)に対する解は、
【0208】
【数46】
Figure 2004056796
【0209】
で表される。
【0210】
上式で
【0211】
【数47】
Figure 2004056796
【0212】
であり、Sは、Sii=sとなるようなN×N対角行列である。
【0213】
方法論的適用
イメージウォーターマーキングに対する例示的ウォーターマーカの適用
例示的ウォーターマーカは、デジタルイメージをウォーターマークするとき、2つのプライベートブラインドイメージウォーターマーキング手法の少なくとも一方を利用することができる。どちらの手法も、ランダムに選んだポリゴンの1次統計の量子化により、デジタルイメージに対するウォーターマークをDWT(離散的ウェーブレット変換)のDCサブバンドに埋め込む。
【0214】
一方の手法は、加法的量子化外乱のノルムを最小にする(すなわち、式(1.2)の結果を使用する)。他方の手法は、均一性に対する乗法的量子化外乱の距離を最小にする(すなわち、式(1.7)の結果を使用する)。
【0215】
ウォーターマーク埋込み
図6に、例示的な統計量子化ウォーターマーク埋込みシステム400(またはその一部)の方法論的実施を示す。この方法論的実施は、ソフトウェア、ハードウェア、またはそれらの組合せとして実施することができる。
【0216】
図6の610では、例示的ウォーターマーカは、入力イメージIなどの元の商品を得る。
【0217】
612では、例示的ウォーターマーカはイメージIを変換する。例示的ウォーターマーカは、それを双3次補間によって固定サイズにサイズ変更する。例示的ウォーターマーカは、得られるイメージにDWTを適用し、DCサブバンドIDCを得る。IDC中の係数の数をNとする。例示的ウォーターマーカはIDCを整理し直し、N×1ホストデータsを得る。
【0218】
614では、長さMのウォーターマークベクトルw∈{0,1}が与えられたとすると、例示的ウォーターマーカはイメージを分割し、領域を生成する。そのような領域は、重複することが許される。
【0219】
例示的ウォーターマーカは、
【0220】
【数48】
Figure 2004056796
【0221】
によって表される十分に大きいM個の領域を、対応する厳密に正の擬似ランダム重み
【0222】
【数49】
Figure 2004056796
【0223】
と共にランダムに生成し、それにより、サイズM×Nの対応するランダム変換行列Tを形成する(一実施形態では、シフティング回転クロッピングなどに抵抗するために、同じランダム重みの値を各領域に対して使用する)。
【0224】
ループは620で開始し、620〜640の間のすべて(620および640を含む)を複数回反復する。
【0225】
図6の622では、例示的ウォーターマーカは、第2レベルACサブバンドでしきい値分けを適用することによって、DCサブバンド内の有意な係数位置を求める。この有意性マップに基づいて、例示的ウォーターマーカはTを修正し、Tを得る。ただしTは、有意性マップによる有意でない係数に対応するTの列を削除することによって得られる。Tは、量子化雑音を判定する際に使用し、Tはランダム線形統計を見つける際に使用する。
【0226】
624では、例示的ウォーターマーカは、ランダム線形統計s:μ=Tsを計算する。例示的ウォーターマーカは、量子化統計に埋め込まれたウォーターマーク
【0227】
【数50】
Figure 2004056796
【0228】
を求める。
【0229】
【数51】
Figure 2004056796
【0230】
上式で、QおよびQは、ステップサイズΔを有する2つの一様なスカラ量子化器であり、Q(Q)の各ビンが、Q(Q)の2つのビンによって取り囲まれ、再構築レベルが、対応するビンの中心の周りに心合わせされた、ビンごとの指定のエリア内でランダムに選ばれる。
【0231】
図6の626では、例示的ウォーターマーカは、(加法的量子化外乱についての)最小ノルム量子化雑音
【0232】
【数52】
Figure 2004056796
【0233】
を求める。
あるいは、例示的ウォーターマーカは、均一性に対する乗法的量子化外乱を(式(1.7)を使用して)求めることもできる。
【0234】
628では、例示的ウォーターマーカは、知覚補償因子(すなわちベクトル)を求める。例示的ウォーターマーカは、
【0235】
【数53】
Figure 2004056796
【0236】
に対してIDWTを適用し、空間領域に戻す(すべての高周波数サブバンド内でゼロエントリを仮定する)。空間領域表現をeとする。例示的ウォーターマーカはeの2次元DCTを取り、それをfと呼ぶ。例示的ウォーターマーカは、(DCT領域でのウィンドウ化を介して)fの低周波数部分を保持し、それにIDCTを適用する。その結果をeとする。
【0237】
例示的ウォーターマーカは、eに対してFIR低域フィルタを適用し、eを得る(話を簡単にするために、すべて1つのフィルタを使用する)。例示的ウォーターマーカは、ユーザが決定したある値を超える絶対値を有するeの成分を見つけ、その係数を、ユーザが決定した値にクリップする。その結果をeとする。
【0238】
さらに、例示的ウォーターマーカは、「知覚可能補償ベクトル」c=e−eを求める。例示的ウォーターマーカは、DWTをcに適用し、第2レベルDCサブバンド内の成分を得る。そのベクトルをcとする。例示的ウォーターマーカは、Tの零空間にcを射影し、c:c=c−T(TT−1Tcを得る。
【0239】
例示的ウォーターマーカは、cにIDWTを適用して空間領域に戻し、cを得る。例示的ウォーターマーカは、反復時に方程式を更新する:e=e+c
【0240】
図6の640では、例示的ウォーターマーカは、収束するか、または指定の最大反復回数に達するまでブロック620〜640を反復する(620および640を含む)。
【0241】
650では、ウォーターマークしたデータがx=s+eによって与えられる。ただしeは、反復の終了時に求められる。例示的ウォーターマーカは商品をマークする。660でプロセスは終了する。
【0242】
ウォーターマーク検出
図7に、例示的統計量子化ウォーターマーク検出システム500(またはその一部)の方法論的実施を示す。この方法論的実施は、ソフトウェア、ハードウェア、またはそれらの組合せとして実施することができる。
【0243】
図7の710では、例示的ウォーターマーカは、入力イメージ
【0244】
【数54】
Figure 2004056796
【0245】
などの対象商品を得る。
【0246】
712では、例示的ウォーターマーカはイメージを変換する。例示的ウォーターマーカは、イメージを双3次補間を介して固定サイズにサイズ変更し、得られるイメージにDWTを適用し、DCサブバンド
【0247】
【数55】
Figure 2004056796
【0248】
を得る。
【0249】
【数56】
Figure 2004056796
【0250】
中の係数の数をNとする。例示的ウォーターマーカは、
【0251】
【数57】
Figure 2004056796
【0252】
を整理し直し、N×1入力データyを得る。
【0253】
714では、例示的ウォーターマーカは、図6のブロック630と同様に、ランダム変換行列Tを形成する。例示的ウォーターマーカはまた、μ=Tyも求める。
【0254】
716では、μのi番目の成分(μyiと表す)について、例示的ウォーターマーカは、量子化器0(量子化器1)に対応する直近の再構築点を求め、それを
【0255】
【数58】
Figure 2004056796
【0256】
と呼ぶ(すなわち、最近隣復号化)。
【0257】
718では、例示的ウォーターマーカは、対数尤度比を求める。
【0258】
【数59】
Figure 2004056796
【0259】
720では、L>τである場合、例示的ウォーターマーカは、ウォーターマークが存在すると宣言する。そうでない場合、ウォーターマークが存在しないと宣言する。プロセスは730で終了する。当然、Lがτに十分近い場合、検出器は結果を生成することができず、したがって「不確定」または「不明」を出力する。
【0260】
オーディオウォーターマーキングへの適用
例示的ウォーターマーカは、デジタル可聴信号をウォーターマークするとき、プライベートブラインドイメージウォーターマーキング手法のうちの少なくとも1つを利用することができる。この手法は、ランダムに選んだ矩形の1次統計の量子化により、所与のオーディオクリップに対するウォーターマークを、MCLT(Modulated Complex Lapped Transform)の後に対数値領域に埋め込むことである。ウォーターマークデータを埋め込むのに、オーディオクリップの不可欠な情報が存在する特定の周波数帯が選ばれる。
【0261】
例示的ウォーターマーカは、加法的量子化外乱のノルム(式(1.2)参照)を最小にすることができ、または均一性に対する乗法的量子化外乱の距離(式(1.7)参照)を最小にすることができる。
【0262】
ウォーターマーク埋込み
図8に、例示的統計量子化ウォーターマーク埋込みシステム400(またはその一部)の方法論的実施を示す。この方法論的実施は、ソフトウェア、ハードウェア、またはそれらの組合せとして実施することができる。
【0263】
図8の810では、例示的ウォーターマーカは、入力可聴信号などの元の商品を得る。
【0264】
812では、例示的ウォーターマーカは、ブロックサイズM=2048および重なり50%のそのMCLTの大きさの対数を計算する。それをSと呼ぶ。
【0265】
814では、例示的ウォーターマーカは、周波数帯500Hzから10kHzを選択する。
【0266】
図8の816では、例示的ウォーターマーカは、比率および入力サイズに従って、必要な領域の数を求める。
【0267】
図8の818では、鍵、必要な領域の数、および可聴しきい値に基づいて、例示的ウォーターマーカは、変換行列Tを生成する。次いで、T*S=μを計算する。このμベクトルが、量子化すべき統計である。
【0268】
820では、例示的ウォーターマーカは、反復的に復号化可能なコードに対する入力としてウォーターマークを使用することにより、チャネルコード出力を生成する。
【0269】
822では、例示的ウォーターマーカは、チャネル出力に基づいてμを量子化し、それを
【0270】
【数60】
Figure 2004056796
【0271】
と呼ぶ。
【0272】
824では、例示的ウォーターマーカは、
【0273】
【数61】
Figure 2004056796
【0274】
となるようにSからXにサンプルを更新する。
【0275】
826では、例示的ウォーターマーカは、逆MCLTを介して可聴領域に移り、信号をマークする。830でプロセスは終了する。
【0276】
ウォーターマーク検出
図9に、例示的な統計量子化ウォーターマーク検出システム500(またはその一部)の方法論的実施を示す。この方法論的実施は、ソフトウェア、ハードウェア、またはそれらの組合せとして実施することができる。
【0277】
図9の910では、例示的ウォーターマーカは、入力可聴信号などの対象商品を得る。
【0278】
912では、例示的ウォーターマーカは、ブロックサイズM=2048および重なり50%のそのMCLTの大きさの対数を計算する。それをYと呼ぶ。
【0279】
914では、鍵に基づいて、例示的ウォーターマーカは変換行列Tを生成する。次いで、例示的ウォーターマーカは統計をT*Y=μとして計算する。
【0280】
916では、例示的ウォーターマーカは、取り出した統計の対数尤度を計算する。
【0281】
918では、例示的ウォーターマーカは、エンコーダで使用するチャネルコード用に設計された反復デコーダを使用することによってそれらを復号化する。
【0282】
920では、例示的ウォーターマーカは、得られた対数尤度をしきい値と比較し、前者が後者よりも大きい場合に、ウォーターマークの存在を宣言する。
【0283】
プロセスは930で終了する。
【0284】
例示的コンピューティングシステム/環境
図10に、本明細書で述べた例示的ウォーターマーカを(全体的または部分的に)実装することができる適切なコンピューティング環境1000の一例を示す。コンピューティング環境1000は、本明細書で述べたコンピュータおよびネットワークアーキテクチャで利用することができる。
【0285】
例示的コンピューティング環境1000は、コンピューティング環境の一例に過ぎず、コンピュータおよびネットワークアーキテクチャの使用法または機能の範囲に関して何らかの制限を提案することを意図するものではない。コンピュータ環境1000を、例示的コンピューティング環境1000に示す構成要素のうちのいずれか1つまたはそれらの組合せに関する依存関係または要件を有するものと解釈すべきでもない。
【0286】
例示的ウォーターマーカは、その他の多数の汎用/特殊目的コンピューティングシステム環境/構成を用いて実施することができる。使用するのに適した周知のコンピューティングシステム、環境、および/または構成の例には、限定はしないが、パーソナルコンピュータ、サーバコンピュータ、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、消費者向けプログラマブル電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などが含まれる。
【0287】
例示的ウォーターマーカは、コンピュータによって実行されているプログラムモジュールなどのコンピュータ実行可能命令の一般的コンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。例示的ウォーターマーカはまた、通信ネットワークを介してリンクされるリモート処理装置でタスクが実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含む、ローカルコンピュータ記憶媒体とリモートコンピュータ記憶媒体のどちらにも位置することができる。
【0288】
コンピューティング環境1000は、コンピュータ1002の形の汎用コンピューティング装置を含む。コンピュータ1002の構成要素は、限定はしないが、1つまたは複数のプロセッサまたは処理装置1004と、システムメモリ1006と、プロセッサ1004を含む様々なシステム構成要素をシステムメモリ1006に結合するシステムバス1008とを含むことができる。
【0289】
システムバス1008は、メモリバスまたはメモリコントローラと、周辺バスと、アクセラレーテッドグラフィックスポートと、様々なバスアーキテクチャのうちのいずれかを用いるプロセッサまたはローカルバスとを含むいくつかのタイプのバス構造のうちの1つまたは複数を表す。例えば、限定はしないが、このようなアーキテクチャには、ISA(Industry Standard Architecture)バス、MCA(Micro Channel Architecture)バス、EISA(Enhanced ISA)バス、VESA(Video Electronics Standards Association)ローカルバス、およびメザニンバスとも呼ばれるPCI(Peripheral Component Interconnect)バスを含めることができる。
【0290】
コンピュータ1002は、一般に様々なコンピュータ読取可能な媒体を含む。そのような媒体は、コンピュータ1002がアクセス可能である入手可能などんな媒体でもよく、それには揮発性媒体と不揮発性媒体の両方、取外し可能媒体と固定媒体の両方が含まれる。
【0291】
システムメモリ1006は、ランダムアクセスメモリ(RAM)1010などの揮発性メモリ、および/または読取り専用メモリ(ROM)1012などの不揮発性メモリの形態のコンピュータ読取可能な媒体を含む。起動中などにコンピュータ1002内の要素間で情報を転送する助けになる基本ルーチンを含む基本入出力システム(BIOS)1014が、ROM 1012内に格納される。RAM 1010は一般に、処理装置1004が即座にアクセス可能であり、および/または処理装置1004が現在操作しているデータおよび/またはプログラムモジュールを含む。
【0292】
コンピュータ1002はまた、その他の取外し可能/固定の揮発性/不揮発性のコンピュータ記憶媒体も含むことができる。例えば図10に、固定不揮発性磁気媒体(図示せず)を読み書きするハードディスクドライブ1016と、取外し可能不揮発性磁気ディスク1020(例えば「フロッピー(登録商標)ディスク」)を読み書きする磁気ディスクドライブ1018と、CD−ROM、DVD−ROM、または他の光媒体などの取外し可能不揮発性光ディスク1024を読み書きする光ディスクドライブ1022とを示す。ハードディスクドライブ1016、磁気ディスクドライブ1018、および光ディスクドライブ1022はそれぞれ、1つまたは複数のデータ媒体インターフェース1026によってシステムバス1008に接続される。あるいは、ハードディスクドライブ1016、磁気ディスクドライブ1018、および光ディスクドライブ1022は、1つまたは複数のインターフェース(図示せず)によってシステムバス1008に接続することもできる。
【0293】
ディスクドライブとその関連するコンピュータ読取可能な媒体は、コンピュータ1002に対してコンピュータ読取可能命令、データ構造、プログラムモジュール、および他のデータの不揮発性の記憶を実現する。例ではハードディスク1016、取外し可能磁気ディスク1020、および取外し可能光ディスク1024を示すが、磁気カセットまたは他の磁気記憶装置、フラッシュメモリカード、CD−ROM、デジタル多用途ディスク(DVD)、または他の光記憶装置、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、EEPROM(electrically erasable programmable read−only memory)などの、コンピュータがアクセス可能な、データを格納することのできる他のタイプのコンピュータ読取可能な媒体も例示的コンピューティングシステム/環境を実装するのに利用することができる。
【0294】
例えばオペレーティングシステム1026、1つまたは複数のアプリケーションプログラム1028、他のプログラムモジュール1030、およびプログラムデータ1032を含む任意の数のプログラムモジュールを、ハードディスク1016、磁気ディスク1020、光ディスク1024、ROM 1012、および/またはRAM 1010上に格納することができる。
【0295】
ユーザは、キーボード1034やポインティングデバイス1036(例えば「マウス」)などの入力装置を介して、コンピュータ1002にコマンドおよび情報を入力することができる。他の入力装置1038(具体的には図示せず)には、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、シリアルポート、スキャナなどを含めることができる。これらの入力装置や他の入力装置は、システムバス1008に結合される入出力インターフェース1040を介して処理装置1004に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(USB)などの他のインターフェースおよびバス構造によって接続することもできる。
【0296】
モニタ1042または他のタイプのディスプレイ装置もまた、ビデオアダプタ1044などのインターフェースを介してシステムバス1008に接続することができる。モニタ1042に加えて、他の出力周辺装置には、入出力インターフェース1040を介してコンピュータ1002に接続することができるスピーカ(図示せず)およびプリンタ1046などの構成要素を含めることができる。
【0297】
コンピュータ1002は、リモートコンピューティング装置1048などの1つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク環境で動作することができる。例えば、リモートコンピューティング装置1048は、パーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピア装置、または他の共通ネットワークノードなどでよい。リモートコンピューティング装置1048を、コンピュータ1002に関して本明細書で説明した要素および機能のうちの多数またはすべてを含むことができるポータブルコンピュータとして示す。
【0298】
コンピュータ1002とリモートコンピュータ1048の間の論理接続を、ローカルエリアネットワーク(LAN)1050と、一般的広域ネットワーク(WAN)1052として示す。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。
【0299】
LANネットワーキング環境で実装するとき、コンピュータ1002は、ネットワークインターフェース/アダプタ1054を介してローカルネットワーク1050に接続される。WANネットワーキング環境で実装するとき、コンピュータ1002は通常、モデム1056、または広域ネットワーク1052を介して通信を確立する他の手段を含む。モデム1056はコンピュータ1002に内蔵されていても外付けでもよく、入出力インターフェース1040または他の適切な機構を介してシステムバス1008に接続することができる。図示するネットワーク接続は例であり、コンピュータ1002と1048の間の通信リンクを確立する他の手段も利用できることを理解されたい。
【0300】
コンピューティング環境1000と共に図示するようなネットワーク環境では、コンピュータ1002に関して示したプログラムモジュールまたはその一部をリモートメモリ記憶装置に格納することができる。例えば、リモートアプリケーションプログラム1058は、リモートコンピュータ1048のメモリ装置上に常駐する。説明の都合上、アプリケーションプログラム、ならびにオペレーティングシステムなどの他の実行可能プログラムコンポーネントを別個のブロックとして図示するが、このようなプログラムおよびコンポーネントは、様々な時にコンピューティング装置1002の様々な記憶構成要素内に常駐し、コンピュータのデータプロセッサによって実行されることを理解されたい。
【0301】
コンピュータ実行可能命令
例示的ウォーターマーカの実施形態は、1つまたは複数のコンピュータまたは他の装置で実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的コンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。一般にプログラムモジュールの機能は、様々な実施形態で、望みの通りに組み合わせ、または分散させることができる。
【0302】
例示的動作環境
図10に、例示的ウォーターマーカを実装することができる適切な動作環境1000の一例を示す。具体的には、本明細書で述べた例示的ウォーターマーカは、図10のプログラムモジュール1028〜1030および/またはオペレーティングシステム1026、あるいはそれらの一部によって(全体的または部分的に)実装することができる。
【0303】
この動作環境は、適切な動作環境の一例に過ぎず、本明細書で述べた例示的ウォーターマーカの使用法または機能の範囲に関して何らかの制限を提案することを意図するものではない。使用するのに適した他の周知のコンピューティングシステム、環境、および/または構成には、限定はしないが、パーソナルコンピュータ(PC)、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、消費者向けプログラマブル電子機器、ワイヤレス電話および機器、汎用および専用アプライアンス、特定用途向け集積回路(ASIC)、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などが含まれる。
【0304】
コンピュータ読取可能な媒体
例示的ウォーターマーカの実施形態は、何らかの形態のコンピュータ読取可能な媒体上に格納することができ、またはそれを介して伝送することができる。コンピュータ読取可能な媒体は、コンピュータがアクセスすることのできる利用可能などんな媒体でもよい。例えば、限定はしないが、コンピュータ読取可能な媒体は、「コンピュータ記憶媒体」および「通信媒体」を含むことができる。
【0305】
「コンピュータ記憶媒体」は、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するためのなんらかの方法または技術で実装された揮発性/不揮発性の取外し可能/固定の媒体を含む。コンピュータ記憶媒体には、限定はしないが、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピュータでアクセスすることができる他のどんな媒体も含まれる。
【0306】
「通信媒体」は一般に、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他の移送機構などの変調されたデータ信号で具体化する。通信媒体はまた、どんな情報送達媒体も含む。用語「変調されたデータ信号」とは、その特性集合のうちの1つまたは複数を有する信号、または情報を信号内に符号化するように変化する信号を意味する。例えば、限定はしないが、通信媒体には、ワイヤードネットワークまたはダイレクトワイヤード接続などのワイヤード媒体、ならびに音響、RF、赤外線、および他のワイヤレス媒体などのワイヤレス媒体が含まれる。上記のいずれの組合せもコンピュータ読取可能な媒体の範囲内に含まれるべきである。
【0307】
結論
本発明について構造的特徴および/または方法論的ステップに特有の言葉で説明したが、特許請求の範囲で定義される本発明は必ずしも説明した特定の機能またはステップに限定されないことを理解されたい。むしろ、特定の特徴およびステップは、特許請求の範囲に記載の発明を実装する好ましい形態として開示される。
【図面の簡単な説明】
【図1】本明細書で説明する実施形態によるウォーターマーキングアーキテクチャを示す概略ブロック図である。
【図2】限定的に非重複な実施形態で使用される領域の例を有するイメージを示す図である。
【図3】重複することが許される、本明細書に記載の少なくとも1つを実装する実施形態で使用される領域の例を有するイメージを示す図である。
【図4】本明細書に記載の実施形態(例えば、ウォーターマーク埋込みシステム)を示す概略ブロック図である。
【図5】本明細書に記載の実施形態(例えば、ウォーターマーク検出システム)を示す概略ブロック図である。
【図6】本明細書に記載の例示的な方法論的実施(例えば、ウォーターマーク埋込み)を示す流れ図である。
【図7】本明細書に記載の例示的な方法論的実施(例えば、ウォーターマーク検出)を示す流れ図である。
【図8】本明細書に記載の例示的な方法論的実施(例えば、ウォーターマーク埋込み)を示す流れ図である。
【図9】本明細書に記載の例示的な方法論的実施(例えば、ウォーターマーク検出)を示す流れ図である。
【図10】本明細書に記載の少なくとも1つの実施形態を(全体的または部分的に)実施することができるコンピューティング動作環境の一例である。
【符号の説明】
100 デジタル商品製作/配布アーキテクチャ
122 コンテンツ製作者/提供者
124 ネットワーク
126 クライアント
130 コンテンツストレージ
132 ウォーターマーク埋込みシステム
134 配布サーバ
140 プロセッサ
142 メモリ
144 コンテンツ出力装置
150 オペレーティングシステム
152 クライアント側ウォーターマーク検出システム
154 コンテンツローダ
405 デジタル商品
400 統計量子化ウォーターマーク埋込みシステム
410 商品取得器
420 変換器
430 分割器
440 領域統計計算器
450 領域量子化器
460 量子化雑音ベクトル探知器
470 商品マーカ
500 ウォーターマーク検出システム
510 商品取得器
520 変換器
530 分割器
540 セグメント統計計算器
550 リコンストラクタ
560 ウォーターマーク検出器
570 プレゼンタ
580 ディスプレイ

Claims (42)

  1. コンピュータによって実行されるとデジタル商品の保護を容易にする方法を実行するコンピュータ実行可能命令を有するコンピュータ読取可能な媒体であって、前記方法は、
    デジタル商品を得るステップと、
    前記商品を変換するステップと、
    前記商品の前記変換を、重複することが許される複数の領域に分割するステップと、
    領域の統計が前記領域を表すように、前記複数の領域のうち1つまたは複数の統計を算出するステップと、
    そのような統計を量子化するステップと、
    前記複数の領域の前記量子化された統計の組合せの近似的な表現である知覚補償因子を生成するステップと、
    前記知覚補償因子を用いて前記デジタル商品をマークするステップと
    を含むことを特徴とする媒体。
  2. 前記分割するステップは、複数の重複する領域に変換をセグメント化するステップを含むことを特徴とする請求項1に記載の媒体。
  3. 前記分割するステップは、複数の領域に変換を擬似ランダムにセグメント化するステップを含むことを特徴とする請求項1に記載の媒体。
  4. 前記分割するステップは、複数の領域に変換を擬似ランダムにセグメント化するステップを含み、そのような領域は、重複することが制限されないことを特徴とする請求項1に記載の媒体。
  5. 前記生成するステップは、加法的量子化外乱の最小ノルムを求めるステップを含むことを特徴とする請求項1に記載の媒体。
  6. 前記変換するステップは、乗法的量子化外乱の最小距離を求めるステップを含むことを特徴とする請求項1に記載の媒体。
  7. 前記計算の前記統計は、セグメントの1つまたは複数の有限次モーメントを含むことを特徴とする請求項1に記載の媒体。
  8. 前記マークするステップは、量子化によりウォーターマークを埋め込むステップを含むことを特徴とする請求項1に記載の媒体。
  9. 請求項1に記載の媒体によって生成されることを特徴とする変調された信号。
  10. 請求項1に記載の1つまたは複数のコンピュータ読取可能な媒体を含むことを特徴とするコンピュータ。
  11. コンピュータによって実行されるとデジタル商品の保護を容易にする方法を実行するコンピュータ実行可能命令を有するコンピュータ読取可能な媒体であって、前記方法は、
    デジタル商品を変換するステップと、
    前記商品の前記変換を、複数の領域に分割するステップと、
    領域の統計が前記領域を表すように、領域の統計を算出するステップと、
    前記複数の領域の前記統計の量子化の近似的な表現である量子化雑音因子を生成するステップと、
    前記知覚補償因子を用いて前記デジタル商品をマークするステップと
    を含むことを特徴とする媒体。
  12. 前記分割するステップは、重複することが許される複数の領域に変換をセグメント化するステップを含むことを特徴とする請求項11に記載の媒体。
  13. 前記分割するステップは、複数の重複する領域に変換をセグメント化するステップを含むことを特徴とする請求項11に記載の媒体。
  14. 前記分割するステップは、複数の領域に変換を擬似ランダムにセグメント化するステップを含むことを特徴とする請求項11に記載の媒体。
  15. 前記分割するステップは、複数の領域に変換を擬似ランダムにセグメント化するステップを含み、そのような領域は、重複することが制限されないことを特徴とする請求項11に記載の媒体。
  16. 前記生成するステップは、加法的量子化外乱の最小ノルムを求めるステップを含むことを特徴とする請求項11に記載の媒体。
  17. 前記変換するステップは、乗法的量子化外乱の最小距離を求めるステップを含むことを特徴とする請求項11に記載の媒体。
  18. 前記計算の前記統計は、領域の1つまたは複数の有限次モーメントを含むことを特徴とする請求項11に記載の媒体。
  19. 量子化雑音因子を生成する前記ステップは、
    ウォーターマークしたデータが量子化された統計を有するような最小ノルムの量子化雑音ベクトルを求めるステップと、
    知覚補償ベクトルを用いて前記最小雑音ベクトルを知覚的に補正するステップと
    を含むことを特徴とする請求項11に記載の媒体。
  20. 前記マークするステップは、量子化によりウォーターマークを埋め込むステップを含むことを特徴とする請求項11に記載の媒体。
  21. 請求項11に記載の媒体によって生成されることを特徴とする変調された信号。
  22. 請求項11に記載の1つまたは複数のコンピュータ読取可能な媒体を含むことを特徴とするコンピュータ。
  23. コンピュータによって実行されるとデジタル商品の保護を容易にする方法を実行するコンピュータ実行可能命令を有するコンピュータ読取可能な媒体であって、前記方法は、
    デジタル商品を得るステップと、
    量子化を用いて、前記商品を前記ウォーターマークでウォーターマークするステップであって、そのような量子化は、前記商品の前記領域のセミグローバル特性に基づき、前記領域は重複することが許されるステップと
    を含むことを特徴とする媒体。
  24. 前記セミグローバル特性は、商品の複数の要素の特性を表すことを特徴とする請求項23に記載の媒体。
  25. 前記セミグローバル特性は、前記商品の1つまたは複数の領域を表す統計を含むことを特徴とする請求項23に記載の媒体。
  26. 前記セミグローバル特性は、前記商品の1つまたは複数の重複した領域を表す統計を含むことを特徴とする請求項23に記載の媒体。
  27. 前記セミグローバル特性は、前記商品の1つまたは複数の擬似ランダムな寸法の(pseudorandomly sized)領域を表す統計を含むことを特徴とする請求項23に記載の媒体。
  28. 前記セミグローバル特性は、前記商品の1つまたは複数の擬似ランダムな次元の(pseudorandomly dimensioned)領域を表す統計を含むことを特徴とする請求項23に記載の媒体。
  29. 前記セミグローバル特性は、前記商品の1つまたは複数の擬似ランダムな次元の領域を表す統計を含み、そのような領域は重複することを特徴とする請求項23に記載の媒体。
  30. 請求項23に記載の媒体によって生成されることを特徴とする変調された信号。
  31. 通信ネットワークと通信する際サーバコンピュータを提供する動作と、
    前記通信ネットワークによってクライアントコンピュータから入力を受信する動作であって、前記入力は、請求項23に記載の媒体によって生成される変調された信号を求める要求を示すパラメータを供給する動作と、
    請求項23に記載の媒体によって生成される変調された信号を生成する動作と、
    前記通信ネットワークを介して変調された信号を送信する動作と
    に従って生成されることを特徴とする変調された信号。
  32. 請求項23に記載の1つまたは複数のコンピュータ読取可能な媒体を備えることを特徴とするコンピュータ。
  33. デジタル商品の保護を容易にする方法であって、
    デジタル商品を得るステップと、
    ウォーターマークを得るステップと、
    量子化を用いて、前記商品を前記ウォーターマークでウォーターマークするステップであって、そのような量子化は、前記商品の前記領域のセミグローバル特性に基づき、前記領域は重複することが許されるステップと
    を含むことを特徴とする方法。
  34. 前記セミグローバル特性は、商品の複数の要素の特性を表すことを特徴とする請求項33に記載の方法。
  35. 前記セミグローバル特性は、前記商品の1つまたは複数の領域を表す統計を含むことを特徴とする請求項33に記載の方法。
  36. 前記セミグローバル特性は、前記商品の1つまたは複数の重複した領域を表す統計を含むことを特徴とする請求項33に記載の方法。
  37. 前記セミグローバル特性は、前記商品の1つまたは複数の擬似ランダムな次元の領域を表す統計を含むことを特徴とする請求項33に記載の方法。
  38. 前記セミグローバル特性は、前記商品の1つまたは複数の擬似ランダムな次元の領域を表す統計を含み、そのような領域は隣接し、不連続であることを特徴とする請求項33に記載の方法。
  39. コンピュータによって実行されると請求項33に記載の方法を実行するコンピュータ実行可能命令を有する1つまたは複数のコンピュータ読取可能な媒体を備えることを特徴とするコンピュータ。
  40. デジタル商品の保護を容易にするシステムであって、
    重複することが許される複数の領域にデジタル商品をセグメント化するように構成された分割器と、
    前記複数の領域のうちの1つまたは複数の統計を算出するように構成された領域統計計算器であって、領域の前記統計は前記領域を表す領域統計計算器と、
    領域のそのような統計を量子化するように構成された領域量子化器と、
    前記デジタル商品と知覚補償因子の組合せとほぼ同等な、マーク済み商品を生成するように構成された商品マーカであって、前記因子は、前記複数の領域の前記量子化された統計の組合せの近似的表現である商品マーカとを備えることを特徴とするシステム。
  41. 前記分割器がさらに、前記商品を擬似ランダムにセグメント化するように構成されることを特徴とする請求項40に記載のシステム。
  42. 前記分割器がさらに、前記商品を擬似ランダムにセグメント化するように構成され、そのような領域は重複することを特徴とする請求項40に記載のシステム。
JP2003188929A 2002-06-28 2003-06-30 重複領域の統計量子化によるウォーターマーキング Expired - Fee Related JP4313104B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/187,073 US7095873B2 (en) 2002-06-28 2002-06-28 Watermarking via quantization of statistics of overlapping regions

Publications (3)

Publication Number Publication Date
JP2004056796A true JP2004056796A (ja) 2004-02-19
JP2004056796A5 JP2004056796A5 (ja) 2006-07-27
JP4313104B2 JP4313104B2 (ja) 2009-08-12

Family

ID=29718032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003188929A Expired - Fee Related JP4313104B2 (ja) 2002-06-28 2003-06-30 重複領域の統計量子化によるウォーターマーキング

Country Status (5)

Country Link
US (1) US7095873B2 (ja)
EP (1) EP1376466B1 (ja)
JP (1) JP4313104B2 (ja)
AT (1) ATE377811T1 (ja)
DE (1) DE60317265T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348398A (ja) * 2004-06-01 2005-12-15 Microsoft Corp 量子化およびデータ埋め込みのための対称格子のクラス

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590996B1 (en) * 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6671407B1 (en) * 1999-10-19 2003-12-30 Microsoft Corporation System and method for hashing digital images
US7356188B2 (en) * 2001-04-24 2008-04-08 Microsoft Corporation Recognizer of text-based work
US6996273B2 (en) * 2001-04-24 2006-02-07 Microsoft Corporation Robust recognizer of perceptually similar content
US7020775B2 (en) * 2001-04-24 2006-03-28 Microsoft Corporation Derivation and quantization of robust non-local characteristics for blind watermarking
US6973574B2 (en) 2001-04-24 2005-12-06 Microsoft Corp. Recognizer of audio-content in digital signals
US20040125125A1 (en) * 2002-06-29 2004-07-01 Levy Kenneth L. Embedded data windows in audio sequences and video frames
EP1401188A3 (en) * 2002-09-20 2005-08-10 Canon Kabushiki Kaisha Image sensing apparatus and its method of control
JP3982686B2 (ja) * 2002-11-21 2007-09-26 株式会社リコー 符号生成装置、符号生成プログラム、および記憶媒体
KR100813954B1 (ko) * 2003-01-16 2008-03-14 삼성전자주식회사 암호화 장치 및 암호화 방법
US7266216B2 (en) * 2003-08-07 2007-09-04 International Business Machines Corporation Inserting and detecting watermarks in images derived from a source image
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
KR100561846B1 (ko) * 2003-10-08 2006-03-16 삼성전자주식회사 가중된 비밀 공유 및 복원 방법
US20070064937A1 (en) * 2003-11-28 2007-03-22 Van Leest Adriaan J Method and apparatus for encoding or decoding a bitstream
JP3938176B2 (ja) * 2003-12-10 2007-06-27 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体
US7831832B2 (en) 2004-01-06 2010-11-09 Microsoft Corporation Digital goods representation based upon matrix invariances
US8032754B2 (en) * 2004-01-09 2011-10-04 Microsoft Corporation Systems and methods for embedding media forensic identification markings
CN1910929A (zh) * 2004-01-16 2007-02-07 皇家飞利浦电子股份有限公司 比特流处理的方法
US20050165690A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation Watermarking via quantization of rational statistics of regions
US7770014B2 (en) * 2004-04-30 2010-08-03 Microsoft Corporation Randomized signal transforms and their applications
US7711142B2 (en) * 2005-05-03 2010-05-04 Teselle John Method and system for composing a digital signature graphic appearance and specifying a document display location thereof
US8933889B2 (en) * 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
US7620199B2 (en) * 2005-08-04 2009-11-17 Microsoft Corporation Input complexity adaptive quantization watermarking
US20070076869A1 (en) * 2005-10-03 2007-04-05 Microsoft Corporation Digital goods representation based upon matrix invariants using non-negative matrix factorizations
FR2908952A1 (fr) * 2006-11-16 2008-05-23 Thomson Licensing Sas Procede de tatouage d'un ensemble de donnees numeriques et dispositif implementant ledit procede.
US8438648B2 (en) * 2010-02-16 2013-05-07 Celartem, Inc. Preventing unauthorized font linking
US8392424B2 (en) * 2010-08-24 2013-03-05 Mitsubishi Electric Research Laboratories, Inc. Method for hierarchical signal quantization and hashing
CN102982804B (zh) 2011-09-02 2017-05-03 杜比实验室特许公司 音频分类方法和系统
US9123106B2 (en) 2012-12-13 2015-09-01 Microsoft Technology Licensing, Llc Watermarking screen capture content
US10607261B2 (en) * 2013-02-11 2020-03-31 Viant Technology Llc Upfront advertisement purchasing exchange
JP6668781B2 (ja) * 2016-01-26 2020-03-18 セイコーエプソン株式会社 電子時計
US20180144755A1 (en) * 2016-11-24 2018-05-24 Electronics And Telecommunications Research Institute Method and apparatus for inserting watermark to audio signal and detecting watermark from audio signal
CN108983635B (zh) * 2018-06-19 2022-05-13 兰州交通大学 一种crh5型动车组投入多车网电气耦合系统稳定性分析方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4773039A (en) * 1985-11-19 1988-09-20 International Business Machines Corporation Information processing system for compaction and replacement of phrases
US5210820A (en) 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
EP0514688A2 (en) * 1991-05-21 1992-11-25 International Business Machines Corporation Generalized shape autocorrelation for shape acquisition and recognition
US5721788A (en) 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US5535020A (en) 1992-10-15 1996-07-09 Digital Equipment Corporation Void and cluster apparatus and method for generating dither templates
JPH0773190A (ja) * 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
US6516079B1 (en) * 2000-02-14 2003-02-04 Digimarc Corporation Digital watermark screening and detecting strategies
US7171016B1 (en) * 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
US5875264A (en) * 1993-12-03 1999-02-23 Kaman Sciences Corporation Pixel hashing image recognition system
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
EP0709766A1 (en) * 1994-10-29 1996-05-01 International Business Machines Corporation Method for the transmission of line-oriented data sets
US5774588A (en) * 1995-06-07 1998-06-30 United Parcel Service Of America, Inc. Method and system for comparing strings with entries of a lexicon
US5613004A (en) * 1995-06-07 1997-03-18 The Dice Company Steganographic method and device
US5664016A (en) * 1995-06-27 1997-09-02 Northern Telecom Limited Method of building fast MACS from hash functions
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US5802518A (en) * 1996-06-04 1998-09-01 Multex Systems, Inc. Information delivery system and method
US5778070A (en) * 1996-06-28 1998-07-07 Intel Corporation Method and apparatus for protecting flash memory
US5889868A (en) * 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5915038A (en) 1996-08-26 1999-06-22 Philips Electronics North America Corporation Using index keys extracted from JPEG-compressed images for image retrieval
US6625295B1 (en) * 1996-09-13 2003-09-23 Purdue Research Foundation Authentication of signals using watermarks
US5899999A (en) 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JP3560441B2 (ja) * 1997-04-07 2004-09-02 日本アイ・ビー・エム株式会社 複数フレーム・データ・ハイディング方法及び検出方法
US6081893A (en) * 1997-05-28 2000-06-27 Symantec Corporation System for supporting secured log-in of multiple users into a plurality of computers using combined presentation of memorized password and transportable passport record
US5953451A (en) * 1997-06-19 1999-09-14 Xerox Corporation Method of indexing words in handwritten document images using image hash tables
JP4456185B2 (ja) * 1997-08-29 2010-04-28 富士通株式会社 コピー防止機能を持つ見える透かし入り動画像記録媒体とその作成・検出および録画・再生装置
US6611599B2 (en) 1997-09-29 2003-08-26 Hewlett-Packard Development Company, L.P. Watermarking of digital object
BR9812908B1 (pt) 1997-10-08 2009-08-11 método para proteger contra cópia um sinal de vìdeo digital; método de reproduzir um sinal de vìdeo protegido; gravador de vìdeo digital adaptado para um protocolo de copiar uma vez para um sinal de vìdeo; aparelho de codificação para proteger um sinal de vìdeo; método para habilitar a cópia de um sinal de vìdeo protegido; aparelho para habilitar a cópia de um sinal de vìdeo protegido e método de processar um sinal de vìdeo original para limitar a sua cópia.
JPH11196262A (ja) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
US6101602A (en) * 1997-12-08 2000-08-08 The United States Of America As Represented By The Secretary Of The Air Force Digital watermarking by adding random, smooth patterns
US6233347B1 (en) 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6314192B1 (en) * 1998-05-21 2001-11-06 Massachusetts Institute Of Technology System, method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6285995B1 (en) 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6256409B1 (en) 1998-10-19 2001-07-03 Sony Corporation Method for determining a correlation between images using multi-element image descriptors
US6363381B1 (en) 1998-11-03 2002-03-26 Ricoh Co., Ltd. Compressed document matching
JP2000149004A (ja) 1998-11-10 2000-05-30 Matsushita Electric Ind Co Ltd 画像読み取り装置
US6321232B1 (en) * 1998-12-18 2001-11-20 Xerox Corporation Method for creating a geometric hash tree in a document processing system
WO2000039955A1 (en) * 1998-12-29 2000-07-06 Kent Ridge Digital Labs Digital audio watermarking using content-adaptive, multiple echo hopping
US6532541B1 (en) * 1999-01-22 2003-03-11 The Trustees Of Columbia University In The City Of New York Method and apparatus for image authentication
JP2000332988A (ja) 1999-05-19 2000-11-30 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
JP3740314B2 (ja) 1999-03-11 2006-02-01 キヤノン株式会社 画像処理装置およびその方法
KR100333163B1 (ko) * 1999-03-29 2002-04-18 최종욱 디지털 워터마킹 방법 및 장치
US6782361B1 (en) 1999-06-18 2004-08-24 Mcgill University Method and apparatus for providing background acoustic noise during a discontinued/reduced rate transmission mode of a voice transmission system
WO2001011890A1 (en) 1999-08-06 2001-02-15 Macrovision Corporation A scaling independent technique for watermarking images
US6546114B1 (en) * 1999-09-07 2003-04-08 Microsoft Corporation Technique for detecting a watermark in a marked image
US6574348B1 (en) * 1999-09-07 2003-06-03 Microsoft Corporation Technique for watermarking an image and a resulting watermarked image
US6751343B1 (en) 1999-09-20 2004-06-15 Ut-Battelle, Llc Method for indexing and retrieving manufacturing-specific digital imagery based on image content
WO2001028230A1 (en) 1999-10-12 2001-04-19 Koninklijke Philips Electronics N.V. Method and system for embedding extra information, method and system for decoding
US6671407B1 (en) * 1999-10-19 2003-12-30 Microsoft Corporation System and method for hashing digital images
ATE504063T1 (de) * 1999-12-24 2011-04-15 Ibm Verfahren und system zur erkennung von identischen digitalen daten
US6584465B1 (en) 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
US6701014B1 (en) * 2000-06-14 2004-03-02 International Business Machines Corporation Method and apparatus for matching slides in video
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7020775B2 (en) 2001-04-24 2006-03-28 Microsoft Corporation Derivation and quantization of robust non-local characteristics for blind watermarking
US7398395B2 (en) * 2001-09-20 2008-07-08 Koninklijke Philips Electronics N.V. Using multiple watermarks to protect content material

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348398A (ja) * 2004-06-01 2005-12-15 Microsoft Corp 量子化およびデータ埋め込みのための対称格子のクラス
JP2011176840A (ja) * 2004-06-01 2011-09-08 Microsoft Corp 量子化およびデータ埋め込みのための対称格子のクラス

Also Published As

Publication number Publication date
DE60317265T2 (de) 2008-02-21
US7095873B2 (en) 2006-08-22
DE60317265D1 (de) 2007-12-20
EP1376466A1 (en) 2004-01-02
JP4313104B2 (ja) 2009-08-12
ATE377811T1 (de) 2007-11-15
US20040001605A1 (en) 2004-01-01
EP1376466B1 (en) 2007-11-07

Similar Documents

Publication Publication Date Title
JP4313104B2 (ja) 重複領域の統計量子化によるウォーターマーキング
US7020777B2 (en) Derivation and quantization of robust non-local characteristics for blind watermarking
Shen et al. From single watermark to dual watermark: a new approach for image watermarking
Kim Data hiding by an improved exploiting modification direction
US20050165690A1 (en) Watermarking via quantization of rational statistics of regions
Mishra et al. A survey on digital watermarking techniques
Soleymani et al. Double expanding robust image watermarking based on Spread Spectrum technique and BCH coding
Tsai et al. A wavelet-based semi-fragile watermarking with recovery mechanism
Tiwari et al. A survey of transform domain based semifragile watermarking schemes for image authentication
Singhal et al. Digital watermarking algorithms: a review
Mehto et al. Techniques of digital image watermarking: A review
Rao et al. Implementation of object oriented approach for copyright protection using Hadamard transforms
Lou et al. Robust watermarking technique for digital images utilizing the invariant relation of vector quantization indices
Elayan Robust Watermarking Schemes for Digital Images
Srilakshmi et al. Improved Reversible Watermarking Using Hash Function
Ghaderpanah Spectral schemes for rightful ownership protection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080814

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080909

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees