JP2007535699A - 透かし埋め込み - Google Patents

Abstract

情報信号中に透かしを導入するための新発明スキームによれば、情報信号（１２）は、まず、時間表現（２２）からスペクトル／変調スペクトル表現（３０）に変換される。次いで、情報信号は、スペクトル／変調スペクトル表現（３０）において、取り入れ対象の透かし（１４）に基づく操作が加えられ、変形されたスペクトル／変調スペクトル表現が得られ、続いて、該変形スペクトル／変調スペクトル表現に基づいて、透かしが付加された情報信号（１６）が形成される。利点は、スペクトル／変調スペクトル表現又はレンジにおいて透かし（１４）の埋め込み及び／又は取出しが行われるので、スプレッドバンド変調に基づく透かし技法で使われる従来型のコリレーションアタックが容易には成功しないことである。
【選択図】図１

Description

本発明は、例えば音声信号などの情報信号に、透かしを導入するためのスキームに関する。

インターネットの普及拡大とともに、音楽の著作権侵害も格段に増加した。音楽作品又は一般的音声信号が、多くのサイトからダウンロード用に提供されている。こういった所では、著作権が順守されているのはごく限られた例である。具体的に言うと、著作者が、自分の作品を利用するための許可を求められることはほとんどない。合法的コピーの対価としての著作者への使用料支払いにいたってはさらに稀有である。加えて、作品は無統制なやり方でコピーされ、ほとんどの場合、これも著作権を守らずに行われている。

音楽作品が、音楽作品プロバイダによってインターネットを介して合法的に購入される場合、通常、プロバイダはヘッダ又はデータブロックを生成して音楽作品に付け加え、その中に、例えば顧客番号のような著作権情報を取り入れ、該番号によって現下の購入者を明確に識別する。また、例えば、対象作品のコピーを全く禁止するとか、対象作品のコピーを一回だけ認めるとか、対象作品のコピーを完全に自由にするとかいったもっと別の種類の版権を示すコピー許可情報をこのヘッダに導入するやり方が知られている。顧客は、ヘッダを読み取って、例えば一回だけコピーを可能とし、それ以上のコピーはさせないといった許可された行為を守って処置をするデコーダ又は管理ソフトウエアを持っている。

しかしながら、この著作権順守についての考え方は、合法的に行動する顧客に対してだけ機能することになる。通常、非合法的な顧客は、ヘッダを有する音楽作品を「クラッキング」する相当な独創的能力を持っている。このような場合、前述の著作権保護手順の不利点は明らかである。こういったヘッダは簡単に除去することができる。また、非合法なユーザは、ヘッダの中の個別の入力情報を変更し、「コピー禁止」という入力情報を「コピーは完全に自由」という入力情報に変換するかもしれない。また、非合法顧客が、ヘッダから自分の顧客番号を消去し、インターネット上の自分の又は別人のホームページで、当該音楽作品を提供することも実行可能である。この時点以降は、非合法顧客を特定することはもはや不可能である。なぜなら該顧客の番号が消去されてしまっているからである。

不可聴なデータ信号を音声信号に導入するためのコーディング方法は、国際公開第９７／３３３９１号により知られている。これによれば、ここでは透かしという不可聴なデータ信号を導入する音声信号を周波数領域に変換し、心理音響学的モデルを使って音声信号のマスキング閾値を決定する。音声信号に取り入れられるデータ信号は、擬似ノイズ信号により変調され、周波数拡散データ信号を生成する。次に、周波数拡散データ信号は、周波数拡散データ信号のエネルギーが常にマスキング閾値を下回るように、心理音響学的マスキング閾値によって重み付けされる。最後に、重み付けされたデータ信号は音声信号に重ね合わされ、これが、聞こえないようにデータ信号を取り入れた音声信号を生成する方法である。一方では、データ信号を使って著作者情報を音声信号に加えることができ、あるいは、データ信号を使って音声信号を特徴付け、例えば、コンパクトディスクの形のようなあらゆる音声キャリアに、製造時に個別タグを組み込んでおけば、起こりえる著作権侵害コピーを容易に識別できるようになる。

また、まだ時間領域又は時間領域表現にある、未圧縮の音声信号への透かしの埋め込みが、Ｃ．Ｎｅｕｂａｕｅｒ（ノイバウェル）、Ｊ．Ｈｅｒｒｅ（ヘーレ）「電子透かし及びその音声品質への影響（Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｉｎｇ ａｎｄ Ｉｎｆｌｕｅｎｃｅ ｏｎ Ａｕｄｉｏ Ｑｕａｌｉｔｙ）」第１０５回ＡＥＳコンベンション、１９９８年サンフランシスコ、発表抄録４８２３中及び独国特許出願公開第１９６４０８１４号中に記載されている。

しかしながら、多くの場合、音声信号は、既に圧縮され、例えば、ＭＰＥＧ音声技法の一つによって処理をされた音声信号ストリームとして存在する。前述の透かし埋め込み方法の一つを使って、顧客に配布する前に音楽作品に透かしを付加したとすれば、透かしを導入する前にこれらを完全に解凍し、再度、時間領域のオーディオ値のシーケンスを得なければないことになろう。一方、透かしを埋め込む前に余分なデコーディングをするため、これによって、計算が非常に複雑になるだけでなく、これらの透かしが付加された音声信号を再びコード化する際に、再コーディング時にタンデム・コーディングの影響が生じる危険性がある。

このため、既に圧縮済みの音声信号又は圧縮される音声ビットストリーム中に透かしを埋め込むためのスキームが開発されてきた。これには、何よりも、低レベルの計算複雑性しか必要ないという利点がある、というのは、透かしを付加される音声ビットストリームを完全にはデコードする必要がなく、すなわち、具体的には、音声信号を分析及び合成用フィルタバンクに通すことを省略できるからである。これらの、圧縮音声信号に適用可能な方法のさらなる利点として、量子化ノイズと透かしノイズとを相互に正確に同調可能なため高い音声品質が得られること、透かしが引き続く音声コーダによって「弱められない」ことによって高いロバスト性が得られること、及び、ＰＣＭ（パルス符号変調）透かし技法、又は未圧縮の音声信号を操作する埋め込みスキームとの互換性が達成できるようにスプレッドバンド・パラメータを適切に選定することが可能である。既に圧縮された音声信号中に透かしを埋め込むためのスキームの概要が、Ｃ．ノイバウエル（Ｎｅｕｂａｕｅｒ）、Ｊ．ヘーレ（Ｈｅｒｒｅ）の「ＭＰＥＧ−２ ＡＡＣ ビットストリームの音声ウォーターマーキング（Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ ｏｆ ＭＰＥＧ−２ ＡＡＣ Ｂｉｔ Ｓｔｒｅａｍ）第１０８回ＡＥＳコンベンション、２０００年パリ、発表抄録５１０１中及びさらに独国特許第１０１２９２３９号中に記載されている。

透かしを音声信号に導入する別の改良されたやり方は、まだ圧縮されていない音声信号を圧縮しながら埋め込みを行うスキームに関するものである。この種の埋め込みスキームは、とりわけ、計算複雑性が低レベルである利点を持つ、というのは、透かし埋め込みとコーディングとをまとめることによって、例えば、マスキング・モデルの計算及び音声信号をスペクトルレンジに変換するといった特定の操作を一度実施するだけでよいからである。さらなる利点として、量子化ノイズと透かしノイズとを相互に正確に同調させることができることによる音声品質の向上、透かしが引き続く音声コーダによって「弱められない」ことによる高いロバスト性、およびＰＣＭ透かし技法との互換性を実現するためのスプレッドバンドパラメータの適切な選定の可能性などが挙げられる。圧縮された透かし埋め込み／コーディングの概要が、例えば、シーベンハール（Ｓｉｅｂｅｎｈａａｒ）、フランク（Ｆｒａｎｋ）；ノイバウエル（Ｎｅｕｂａｕｅｒ）、クリスチャン（Ｃｈｒｉｓｔｉａｎ）；ヘーレ（Ｈｅｒｒｅ）、ユルゲン（Ｊｕｒｇｅｎ）の「音声信号のための圧縮／ウォーターマーキング組合せ（Ｃｏｍｂｉｎｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ／Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ａｕｄｉｏ Ｓｉｇｎａｌｓ）」第１１０回ＡＥＳコンベンション、アムステルダム、発表抄録５３４４、及び、Ｃ．ノイバウエル（Ｎｅｕｂａｕｅｒ）、Ｒ．クレッサ（Ｋｕｌｅｓｓａ）及びＪ．ヘーレ（Ｈｅｒｒｅ）の「ＭＰＥＧ−音声のためのビットストリーム・ウォーターマーキングシステムの互換性ファミリー（Ａ Ｃｏｍｐａｔｉｂｌｅ Ｆａｍｉｌｙ ｏｆ Ｂｉｔｓｔｒｅａｍ Ｗａｔｅｒｍａｒｋｉｎｇ Ｓｙｓｔｅｍｓ ｆｏｒ Ａｕｄｉｏ Ｓｉｇｎａｌｓ）」第１１０回ＡＥＳコンベンション、２０００年５月アムステルダム、発表抄録５３４６中及び独国特許出願公開第１９９４７８７７号中に記載されている。

要するに、コード化済み及び未コード化の音声信号に対する透かしのいろいろな変形が知られている。透かしを使って、ロバストで不可聴なやり方で追加情報を音声信号内に入れて転送することができる。現在では、前記に示したように、例えば、時間領域、周波数領域などといった領域の異なるいろいろな透かし埋め込み方法、及び、例えば、量子化、個別値消去などといったいろいろな埋め込みの型がある。既存の方法の要約説明が、Ｍ．ファン・デル・ヴェーン（ｖａｎ ｄｅｒ Ｖｅｅｎ）、Ｆ．ブルッカース（Ｂｒｕｋｅｒｓ）らの「ロバスト、多機能及び高品質の音声透かし技術（Ｒｏｂｕｓｔ， Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ ａｎｄ Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）」第１１０回ＡＥＳコンベンション、２００２年５月アムステルダム、発表抄録５３４５、及び、ヤープ・ジャイツマ（Ｊａａｐ Ｈａｉｔｓｍａ）、ミシェル・ファン・デル・ヴェーン（Ｍｉｃｈｉｅｌ ｖａｎ ｄｅｒ Ｖｅｅｎ）、トン・カルカー（Ｔｏｎ Ｋａｌｋｅｒ）およびフォン・ブルッカース（Ｆｏｎｓ Ｂｒｕｋｅｒｓ）の「監視及びコピー防止のための音声透かし（Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ｍｏｎｉｔｏｒｉｎｇ ａｎｄ Ｃｏｐｙ Ｐｒｏｔｅｃｔｉｏｎ）」ＡＣＭワークショップ２０００、ロサンゼルス、及び前記の独国特許出願第１９６４０８１４号中に記載されている。

前に簡単に説明した、透かしを音声信号中に埋め込むスキームのタイプは、既に大きく進展しているが、これら既存の透かし技法には不利点があり、高い取り込み速度及び高いロバスト性で、透かしを不可聴に元の音声信号に埋め込むという目標、すなわち、信号を変形した後においてもうまく使える透かし特性を持たせるという目標に、ほぼ全力がつぎ込まれている。しかして、大方の用途分野では、焦点はロバスト性となっている。前記の国際公開第９７／３３３９１号に典型的に示されているような、最も普及している、音声信号に透かしを付加する方法（すなわち、スプレッドバンド変調）は、非常にロバストで安全であるといわれている。

この普及度の高さと、スプレッドバンド変調に基づく透かし方法の原理がよく知られている事実とのため、逆に、これらの方法によって透かしを付加された音声信号の透かしを破壊する方法が知られてくる危険がある。このため、新しい高品質のスプレッドバンド変調の代わりとして使える新しい高品質の方法の開発が非常に重要である。

国際公開第９７／３３３９１号公報 独国特許出願公開第１９６４０８１４号公報 独国特許第１０１２９２３９号公報 独国特許出願公開第１９９４７８７７号公報 Ｃ．Ｎｅｕｂａｕｅｒ（ノイバウェル）、Ｊ．Ｈｅｒｒｅ（ヘーレ）「電子透かし及びその音声品質への影響（Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｉｎｇ ａｎｄ Ｉｎｆｌｕｅｎｃｅ ｏｎ Ａｕｄｉｏ Ｑｕａｌｉｔｙ）」第１０５回ＡＥＳコンベンション、１９９８年サンフランシスコ、発表抄録４８２３ Ｃ．ノイバウエル（Ｎｅｕｂａｕｅｒ）、Ｊ．ヘーレ（Ｈｅｒｒｅ）の「ＭＰＥＧ−２ ＡＡＣ ビットストリームの音声ウォーターマーキング（Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ ｏｆ ＭＰＥＧ−２ ＡＡＣ Ｂｉｔ Ｓｔｒｅａｍ）第１０８回ＡＥＳコンベンション、２０００年パリ、発表抄録５１０１ シーベンハール（Ｓｉｅｂｅｎｈａａｒ）、フランク（Ｆｒａｎｋ）；ノイバウエル（Ｎｅｕｂａｕｅｒ）、クリスチャン（Ｃｈｒｉｓｔｉａｎ）；ヘーレ（Ｈｅｒｒｅ）、ユルゲン（Ｊｕｒｇｅｎ）の「音声信号のための圧縮／ウォーターマーキング組合せ（Ｃｏｍｂｉｎｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ／Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ａｕｄｉｏ Ｓｉｇｎａｌｓ）」第１１０回ＡＥＳコンベンション、アムステルダム、発表抄録５３４４ Ｃ．ノイバウエル（Ｎｅｕｂａｕｅｒ）、Ｒ．クレッサ（Ｋｕｌｅｓｓａ）及びＪ．ヘーレ（Ｈｅｒｒｅ）の「ＭＰＥＧ−音声のためのビットストリーム・ウォーターマーキングシステムの互換性ファミリー（Ａ Ｃｏｍｐａｔｉｂｌｅ Ｆａｍｉｌｙ ｏｆ Ｂｉｔｓｔｒｅａｍ Ｗａｔｅｒｍａｒｋｉｎｇ Ｓｙｓｔｅｍｓ ｆｏｒ Ａｕｄｉｏ Ｓｉｇｎａｌｓ）」第１１０回ＡＥＳコンベンション、２０００年５月アムステルダム、発表抄録５３４６ Ｍ．ファン・デル・ヴェーン（ｖａｎ ｄｅｒ Ｖｅｅｎ）、Ｆ．ブルッカース（Ｂｒｕｋｅｒｓ）らの「ロバスト、多機能及び高品質の音声透かし技術（Ｒｏｂｕｓｔ， Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ ａｎｄ Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）」第１１０回ＡＥＳコンベンション、２００２年５月アムステルダム、発表抄録５３４５ ヤープ・ジャイツマ（Ｊａａｐ Ｈａｉｔｓｍａ）、ミシェル・ファン・デル・ヴェーン（Ｍｉｃｈｉｅｌ ｖａｎ ｄｅｒ Ｖｅｅｎ）、トン・カルカー（Ｔｏｎ Ｋａｌｋｅｒ）およびフォン・ブルッカース（Ｆｏｎｓ Ｂｒｕｋｅｒｓ）の「監視及びコピー防止のための音声透かし（Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ｍｏｎｉｔｏｒｉｎｇ ａｎｄ Ｃｏｐｙ Ｐｒｏｔｅｃｔｉｏｎ）」ＡＣＭワークショップ２０００、ロサンゼルス

従って、透かしを情報信号に導入するための、完全に新規性があって安全性もあるスキームを提供することが本発明の目的である。

この目的は、請求項１又は２２による装置、及び請求項２３又は２４による方法によって達成される。

透かしを情報信号に導入するための独創的なスキームによれば、情報信号は、まず、時間表現からスペクトル／変調スペクトル表現に変換される。次いで、情報信号は、スペクトル／変調スペクトル表現において、取り込み対象の透かしに基づいて操作され、変形されたスペクトル／変調スペクトル表現が得られ、続いて、変形されたスペクトル／変調スペクトルに基づいて透かしを付加された情報信号が生成される。

透かしを付加された情報信号から透かしを抽出する独創的なスキームによれば、透かし付加情報信号は、同様に、時間表現からスペクトル／変調スペクトル表現に変換され、続いて、該スペクトル／変調スペクトル表現に基づいて透かしが導き出される。

本発明では、本発明による透かしがスペクトル／変調スペクトル表現及びレンジにおいて埋め込み、取り出しが行われるため、スプレッドバンド変調に基づいた透かし技法で使われるような、従来型のコリレーション・アタックは簡単には成功しないという利点がある。これは、スペクトル／変調スペクトルレンジにおける信号の分析が、潜んでいるアタッカーに対してまだ新しい領域であることのプラス効果でもある。

さらに、本発明は、スペクトル／変調スペクトルレンジ又は２次元の変調スペクトル／スペクトル・レベルにおける透かしの埋め込みによって、例えば、このレベルの埋め込みをどの「位置」にローカライズするかといった、従来の技術よりかなり多くの埋め込みパラメータ変化量を提供する。また、時間変化とともに対応位置の選択を行うこともできる。

情報信号が音声信号である場合、さらに、スペクトル／変調スペクトル・レンジにおいて透かしを埋め込むことによって、従来型の、例えば、聴取閾値といったような心理音響学的パラメータの複雑な計算をせずに、不可聴に透かしを埋め込むことができ、かくて、ほとんど複雑になることなく、なお透かしの不可聴性を確実にすることができる。ここでの変調値の変形を、例えば、変調スペクトルレンジにおけるマスキング効果を利用して実施することができる。

以降では、添付の図を参照しながら本発明の好適な実施形態について説明する。

引き続いて、図１−３を参照しながら、透かしを音声信号中に埋め込むためのスキームを説明する。このスキームにおいて、最初に、着信音声信号、あるいは、時間領域又は時間表現にある音声入力はブロック単位で時間／周波数表現に変換され、それから周波数／変調周波数表現に変換される。次に、透かしに応じて周波数／変調周波数領域表現の変調値を変形することによって、このような表現形式の音声信号中に透かしが取り入れられる。このように変形された音声信号は、次に、再度、時間／周波数領域に、これからさらに時間領域に変換されることになる。

図１−３のスキームによる透かしの埋め込みは、以降透かし埋め込み装置といい参照番号を１０で示す図１による装置により実行される。埋め込み装置１０は、透かしを中に導入する音声入力信号を受信するための入力部１２を含む。埋め込み装置１０は、例えば、顧客番号のような透かしを入力部１４で受信する。埋め込み装置１０は、入力部１２及び１４とは別に、透かしを付加された出力信号を出力するための出力部１６を含む。

埋め込み装置１０は、その内部に窓処理手段１８及び第１フィルタバンク２０を含み、これらは入力部１２の後に直列に接続されていて、入力部１２の音声信号を、ブロック単位の処理によって時間領域２２から時間／周波数領域２４に変換する役割を持つ。フィルタバンク２０の出力の後には振幅／位相検出手段２６が続き、音声信号の時間／周波数領域表現を振幅と位相とに分割する。第２フィルタバンク２８は、検出手段２６に接続されており、時間／周波数領域表現の振幅の部分を取得して、該振幅部分を周波数／変調周波数領域３０に変換し、このようにして音声信号１２の周波数／変調周波数表現を生成する。ブロック１８、２０、２６、２８は、かくて、音声信号の周波数／変調周波数表現への変換を実施する、埋め込み装置１０の分析部分を示している。

透かし埋め込み手段３２は、第２フィルタバンク２８に接続され、これから音声信号１２の周波数／変調周波数表現を受信する。透かし埋め込み手段３２の別の入力端は埋め込み装置１０の入力部１４に接続されている。透かし埋め込み手段３２は、変形された周波数／変調周波数表現を生成する。

透かし埋め込み手段３２の出力端は、第２フィルタバンク２８とは逆のフィルタバンク３４の入力端に接続されており、フィルタバンク３４は、時間／周波数領域２４への再変換の役割を担っている。位相処理手段３６は検出手段２６に接続されており、音声信号の時間／周波数領域表現２４の位相部分を取得し、後記するように、それに操作を加えた形態で再合成手段３８に転送する。該再合成手段は、さらに逆フィルタバンク３４の出力端に接続されており、音声信号の時間／周波数表現の変形された振幅部分を取得する。再合成手段３８は、位相処理手段３６によって変形された位相部分と、透かしによって変形された音声信号の時間／周波数領域表現の振幅部分とを結合させ、その結果、すなわち、透かしを付加された音声信号の時間／周波数表現を、第１フィルタバンク２０と逆のフィルタバンク４０に出力する。窓処理手段４２は、逆フィルタバンク４０の出力端と出力部１６との間に接続されている。構成要素３４、３８、４０、４２による部分を、埋め込み装置１０の合成部分と見なすことができる、というのはこの部分は変形された周波数／変調周波数表現から、透かしを付加された時間表現における音声信号を生成する役割を果たしているからである。

前述した埋め込み装置１０のセットアップについて、その機能モードを以下に説明する。

埋め込みは、入力部１２の音声信号を、手段１８及び２０によって時間表現から時間／周波数表現に変換することから開始され、入力部１２の入力音声信号は、所定のサンプル周波数でサンプルされた形、すなわち、サンプル又はオーディオ値のシーケンスであると想定されている。音声信号が、まだそのようなサンプル形態にされていない場合には、サンプリング手段として対応Ａ／Ｄコンバータをここに使用することができる。

窓処理手段１８は音声信号を受信し、そこからオーディオ値のブロックのシーケンスを抽出する。このため、窓処理手段１８は、入力部１２で音声信号の所定数の連続するオーディオ値を結合し、その各々が時間ブロックを形成し、音声信号１２から時間窓を表すこれらの時間ブロックを、例えば、サイン窓、ＫＢＤ窓などといった窓関数又は重み付け関数によって、乗算又は窓処理する。このプロセスを窓処理といい、典型的には、個々の時間ブロックが、例えば、半分ずつ重なり合う音声信号の時間セクションを参照して、各々のオーディオ値が２つの時間ブロックに割り当てられるようにして実行される。

手段１８による典型的窓処理のさらなる詳細プロセスを、５０％のオーバーラップを例として図２に示す。図２には、矢印５０によって、どのようにしてオーディオ値が入力部１２に到着したのかについての時間シーケンスにおけるオーディオ値のシーケンスが示されている。これらは時間領域２２における音声信号１２を表している。図２の指数ｎは、矢印の方向に増えてゆくオーディオ値の指数を表す。５２は、窓処理手段１８が時間ブロックに適用する窓関数を示す。最初の２つの時間ブロックに対する最初の２つの窓関数を、それぞれ２ｍ及び２ｍ＋１の指数で示す。見れば分かるように、時間ブロック２ｍ及び次の時間ブロック２ｍ＋１は、半分すなわち５０％ずつオーバーラップし、各々はそのオーディオ値の半分を共有している。手段１８によって生成され、フィルタバンク２０に転送されたブロックは、窓処理関数５２による、時間ブロックに含まれるオーディオ値の重み付け、又はそれらへの乗算処理に対応している。

フィルタバンク２０は、図２の矢印５４で示されているように、時間ブロックまたは窓処理されたオーディオ値のブロックを受信し、それらをブロック単位で、時間／周波数変換によってスペクトル表現に変換する。かくて、フィルタバンクは、設計に従って、スペクトルレンジを所定の周波数バンド又はスペクトル成分に所定どおり分割する。該スペクトル表現は、典型例として、周波数ゼロから該音声信号がベースとする最大の音声周波数、例として４４．１ｋＨｚ、までの相互に隣り合った周波数を持つスペクトル値を含む。図２は、例として、１０のサブバンドへの分割のケースを表す。

ブロックごとの変換が図２に複数の矢印５８で示されている。各々の矢印は、一つの時間ブロックの周波数領域への変換に対応している。例として図２のボックスの列で示すように、時間ブロック２ｍはスペクトル値６２のブロック６０に変換される。スペクトル値の各々は、それぞれ異なった周波数成分又は異なった周波数バンドを表し、図２では、これらに沿って、軸６４によって周波数ｋが示されている。前述したように、１０個だけのスペクトル成分を想定しているが、この数字は例示的なものであって、実際はおそらくもっと多くの数となろう。

フィルタバンク２０は、時間ブロック単位でスペクトル値６２の１ブロック６０を生成するので、時間経過とともに、いくつものスペクトル値６２のシーケンス、すなわち、スペクトル成分ｋ又はサブバンドｋごとに１つのシーケンスが得られる。図２では、これらの時間シーケンスは、矢印６６が示すラインの方向に進む。かくて、矢印６６は時間／周波数表現の時間軸を表し、矢印６４は、この表現の周波数軸を表す。「サンプル周波数」、又は個別サブバンド内のスペクトル値の繰り返し距離は、音声信号からの時間ブロックの周波数又は繰り返し距離に対応する。次に、該時間ブロック繰り返し周波数は、音声信号のサンプル周波数を、時間ブロックごとのオーディオ値の数で除した数の２倍に対応する。このように、矢印６６は、それが時間ブロックの時間シーケンスの特徴を表す限りにおいて、時間ディメンションに対応する。

図から分かるように、これら時間ブロックの継続中、いくつかの数、ここでの例では８個の連続した時間ブロックによって、音声信号の時間／周波数領域表現２４を表すスペクトル値６２のマトリックス６８が形成される。

フィルタバンク２０によって、時間ブロックに対しブロック単位で行われる時間／周波数変換５６は、例えば、ＤＦＴ、ＤＣＴ、ＭＤＣＴなどである。変換によっては、ブロック６０内の個々のスペクトル値は、いくつかのサブバンドに分けられる。各サブバンドに対して、各ブロック６０は１つ以上のスペクトル値６２を含むことができる。全体として見れば、時間ブロックの間、それぞれのサブバンドの時間形態を表すスペクトル値のシーケンスが得られ、図２ではサブバンド又はスペクトル成分ごとにライン８４の方向に流れる。

フィルタバンク２０は、スペクトル値６２のブロック６０を、ブロック単位で振幅／位相検出手段２６に転送する。後者は、複素スペクトル値を処理し、その振幅だけをフィルタバンク２８に転送することになる。しかしながら、スペクトル値６２の位相は位相処理手段３６に転送される。

フィルタバンク２８は、フィルタバンク２０と同様に、サブバンドごとのスペクトル値６２の振幅のシーケンス７０を処理し、つまり、これらのシーケンスを、ブロック単位で、望ましくは同様に窓処理されオーバーラップされたブロックを使って、スペクトル表現又は変調周波数表現に変換する。ここで、すべてのサブバンドの基本ブロックは、望ましくは、相互に等しく時間合わせされている。別の言い方をすると、フィルタバンク２８はスペクトル値の振幅のＮ個のスペクトルブロック６０の各々を同時に又はまとめて処理する。スペクトル値振幅のＮ個のスペクトルブロック６０は、スペクトル値振幅のマトリックス６８を形成する。例えば、Ｍ個のサブバンドがある場合には、フィルタバンク２８は各々がＮ＊Ｍのスペクトル値振幅のマトリックス中のスペクトル値振幅を処理することになる。図３は、Ｍ＝Ｎの例示的ケースを想定しており、図２では例として、Ｎ＝１０、Ｍ＝８を想定している。スペクトル値の振幅６８のこのようなマトリックス６８の振幅部分のフィルタバンク２８への転送が、図２中の矢印７２によって示されている。

次のスペクトルブロック又はマトリックス６８の振幅部分Ｎを受信した後、フィルタバンク２８は、各サブバンド別々に、それぞれのサブバンドのスペクトル値の振幅のブロック、すなわちマトリックス５８中の行を、時間領域６６から周波数表現に変換することになり、前述したように、ここで、スペクトル値の振幅を窓処理してエイリアシング影響を回避することができる。言い換えれば、フィルタバンク２８は、これらのスペクトル値振幅ブロックの各々を、それぞれのサブバンドの時間形態を表すシーケンス７０からスペクトル表現に変換し、これにより、サブバンドごとの変調値の１ブロックを生成することになり、これは図２中の７４によって示されている。各ブロック７４は、図２に示されていないいくつかの変調値を包含する。ブロック７４内のこれらの変調値の各々は、異なった変調周波数に関連しており、図２中では軸７６に沿って示され、かくて該軸は周波数／変調周波数表現の変調周波数軸を表している。軸７８沿いのサブバンド周波数に従ってブロック７４を整列させることによって、変調値のマトリックス８０は、マトリックス６８における時間セクションの中の、入力部１２で音声信号の周波数／変調周波数領域表現を表す形となる。

前述したように、アーチファクトを回避するため、フィルタバンク２８又は手段２６には、フィルタバンク２８によるそれぞれの変調周波数領域３０への時間／変調周波数変換８０によってブロック７４を得る前に、スペクトル値の変換ブロックすなわちマトリックス６８の行を、サブバンドごとに窓関数８２によって窓処理するための内部窓処理手段（図示せず）を含めることができる。

前述の５０％オーバーラップ窓処理の典型例において、時間的に５０％オーバーラップされたマトリックス８０のシーケンスは、前述のやり方で処理されることを再度明確にしておく。言い換えると、フィルタバンク２８は、図２中の、次のマトリックスに対する窓処理を表わす半弧の窓関数８４によって例示するように、マトリックス８０の各々が、Ｎ個の、半分ずつオーバーラップした時間ブロックに対応するようにして、一連のＮ個の時間ブロックに対するマトリックス８０を形成する。

フィルタバンク２８から出力される周波数／変調周波数領域表現３０の変調値は、透かし埋め込み手段３２に着信する。透かし埋め込み手段３２は、このとき、音声信号１２の変調マトリックス８０、又は変調マトリックス８０の個別の又はいくつかの変調値を変形する。手段３２による変形については、例えば、変調サブバンド・スペクトルの個々の変調周波数／周波数セグメント又は周波数／変調周波数領域表現の相乗重み付け、すなわち、軸７６と７８とによって展開される周波数／変調周波数空間の特定領域内の変調値を重み付けすることによって実施することができる。また、該変形には、個別のセグメント又は変調値を、特定の値に設定することを含めることもできよう。

相乗重み付け又は特定値は、入力部１４において所定の方法で得られる透かしに基づくものとなる。したがって、個別の変調値又は変調値セグメントの特定値への設定は、信号適応的なやり方で、すなわち、音声信号それ自体にさらに依存して行われることになる。

二次元変調サブバンドスペクトルの個別セグメントは、一方では、音響周波数軸７８を周波数グループに再分割して得ることができ、他方では、変調周波数軸７６を変調周波数グループに再分割することによって、さらなる区分けを行うことができる。図１において、周波数軸を５つのグループに、変調周波数軸を４つのグループに区分し２０のセグメントを得る例が示されている。黒色のセグメントは、例として、手段３２が変調マトリックス８０を変形した位置を示しており、前述したように、変形に使用する位置を時間とともに変えることができる。望ましくは、該位置は、変形の影響がマスキングされることによって、周波数／変調周波数表現における音声信号中の変化が不可聴又はほとんど不可聴なように選定される。

手段３２が変調マトリックス８０を変形した後、該手段は変調マトリックス８０の変形された変調値を、逆フィルタバンク３４に送信し、該フィルタバンクは、フィルタバンク２８とは逆向きに変換する方法、例えば、ＩＤＦＴ、ＩＦＦＴ、ＩＤＣＴ、ＩＭＤＣＴなどによって、変調マトリックス８０を、変調周波数軸７６に沿って、ブロック７４単位ですなわちサブバンドごとに分けて、時間／周波数領域表現２４に再変換し、これによりスペクトル値の変形された振幅部分を得る。言い換えれば、逆フィルタバンク３４は、ある特定のサブバンドに属する変形された変調値７４の各ブロックを、変換８６とは逆向きの変換によって、サブバンドごとの振幅部分スペクトル値のシーケンスに変換し、前記の実施形態によれば、Ｎ×Ｍ個の振幅部分スペクトル値を得る。

逆フィルタバンク３４からの振幅部分スペクトル値は、当然ながら透かしで変形された形態ではあるが、スペクトル値のシーケンス・ストリームからの二次元ブロック又はマトリックスに必ず関連している。例示の実施形態では、これらの各ブロックは５０％ずつオーバーラップしている。例示の手段３４内に具わっている手段（図示せず）は、そこで、この例の５０％オーバーラップしているケースにおいては、連続する変調マトリックスの再変換で得られたスペクトル値の連続するマトリックスの再結合されたスペクトル値にオーバーラップ部を加えることによって窓処理を補正する。ここにおいて、変形されたスペクトル値のストリーム又はシーケンスが、変形スペクトル値の個々のマトリックスから、サブバンドごとに一組再形成される。これらのシーケンスは、手段２０によって出力されたスペクトル値の変形前のシーケンス７０の振幅部分だけに対応している。

再合成手段３８は、逆フィルタバンク３４の振幅部分スペクトル値と、第１フィルタバンク２０による変換５６の直ぐ後で検出手段２６によって分離されたスペクトル値６２の位相部分とを組み合わせ合成して、サブバンドのストリームを形成するが、位相は位相処理３６によって変形された形態になっている。位相処理手段３６は、手段３２による透かし埋め込みとは別なやり方で位相部分を変形するが、検出装置又はデコーダ・システム（これについては後記で図３を参照しながら説明する）の透かし検出能が、出力部１６から出力される透かしを含む出力信号中の透かし信号をよりよく検出及び／又は音響的にマスキングし、これにより透かしの不可聴性を向上させるように、手段３２の埋め込みに依存することがある。再合成手段３８は、サブバンドごとの変形された振幅部分スペクトル値のシーケンスに対し、マトリックス６８単位で又は連続的に再合成することができる。入力部１２の音声信号の時間／周波数表現の位相部分の取り扱いに関する、操作手段３２による周波数／変調周波数表現への選択的な依存を、図１中の破線で示した矢印８８によって示す。該再合成は、例えば、スペクトル値の位相を、フィルタバンク３４から出力される、対応する変形されたスペクトル値の位相部分に加えることによって行うことができる。

このようなやり方で、手段３８は、変形前の音声信号についてフィルタバンク２０の直後で得られるような、サブバンドごとのスペクトル値のシーケンス、すなわち透かしによって変形されたシーケンス７０を生成し、手段３８によって再合成、出力され、振幅部分に関して変形されたスペクトル値が、透かしを付加された音声信号の時間／周波数表現を表すようにする。

こうして、逆フィルタバンク４０は、再び、変形されたスペクトル値のシーケンス、すなわちサブバンドごとに１つのシーケンスを得る。言い換えれば、逆フィルタバンク４０は、サイクルごとに変形スペクトル値の１ブロック、すなわち、１つの時間セクションに関する透かし付加音声信号の１つの周波数表現を得る。これに対応して、フィルタバンク４０は、このようなスペクトル値のブロックの各々すなわち周波数軸７０に沿って整列されたスペクトル値に対して、フィルタバンク２０による変換５６とは逆向きの変換を行い、結果として、変形され窓処理された時間ブロック、又は窓処理された変形されたオーディオ値の時間ブロックを得る。その次の窓処理手段４２は、窓処理手段１８によって加えられた窓処理を、オーバーラップ域の相互に一致するオーディオ値を加えることによって補正し、その結果は、出力部１６での時間領域表現２２における透かし付加出力信号となる。

前述した図１−２の実施形態による埋め込みに続いて、図３を参照しながら、埋め込み装置１０によって生成された、透かしを付加された出力信号をうまく分析し、透かし付加出力信号中に有用な音声情報とともに包含されている透かしを、該信号から、望ましくは人間の耳には不可聴なやり方で再構築又は再検出するのに適した装置について引き続き説明する。

図３に、全体を１００として示されている透かしデコーダは、透かし付加音声信号を受信するための音声信号入力部１１２、及び透かしを付加された音声信号から抽出された透かしを出力するための出力部１１４を含む。入力部１１２の後に、以下に記載する順序で直列に、窓処理手段１１８、フィルタバンク１２０、振幅／位相検出手段１２６、及び第２フィルタバンク１２８が接続され、これらの機能及び動作モードは、埋め込み装置１０のブロック１８、２０、２６及び２８のものに対応する。このことは、入力部１１２の透かし付加音声信号は、窓処理手段１１８及びフィルタバンク１２０によって時間領域１２２から時間周波数領域１２４に変換され、次いで、検出手段１２６及び第２フィルタバンク１２８によって入力部１１２における音声信号の周波数／変調周波数領域１３０への変換が行われる、ということである。透かしを付加された音声信号は、次に、元の音声信号に関し図２を参照して説明したような、手段１１８、１２０、１２６及び１２８による処理と同じ処理を受ける。但し、その結果得られる変調マトリックスは、埋め込み装置１０の透かし埋め込み手段３２によって出力されたものとは完全には一致しない、というのは、再合成手段３８の位相再合成によって、変形された変調マトリックスの一部の変調部分が、手段３２から出力された状態から変形されており、これにより、透かし付加出力信号がいくらか変化した形で表現されているからである。また、デコーダ１００において、逆窓処理又はＯＬＡも、変調部分を変化させ、変調スペクトル分析を更新する。

フィルタバンク１２８に接続された、透かし付加入力信号の周波数／変調周波数領域表現又は変調マトリックスを得るための透かしデコーディング手段１３２は、この表現から当初埋め込み装置１０によって取り込まれた透かしを抽出し、これを出力部１１４に出力するよう構成されている。埋め込み装置１０が埋め込みに使った位置に相当する変調マトリックスの所定位置で抽出が行われる。この位置選定の整合については、例えば、対応する標準化によって確実にする。

埋め込み装置１０の手段３２で生成された変調マトリックスと比べて、透かしデコーディング手段１３２に供給される変調マトリックスに生じる変化は、透かし付加入力信号が、その生成時又は出力部１６からの出力時と、検出装置１００又は入力部１１２における受信時との間で何らかの形で、例えば、オーディオ値等の粗すぎる量子化などによって劣化することによっても生じる。

透かしを音声信号に埋め込むスキームの別の実施形態、これは、図１から３までを参照して説明したスキームとは、音声信号の時間領域から周波数／変調周波数領域への変換の型とやり方とが異なるだけのスキームであり、これを図４及び５を参照しながら説明するが、その前に、前記で説明した埋め込みスキームを有効に活用する典型的用途分野又は方法について引き続き説明する。以下の例は、これに沿って、放送モニタリング、及び、例えば従来型のＷＭ（透かし）システムのようなＤＲＭシステムにおける用途分野の典型例を挙げたものである。しかしながら、後記の用途可能性は、以下に説明する図４及び５の実施形態だけには適用されない。

一つの用途として、前述の音声信号中への透かしの埋め込みの実施形態を使って著作者を証明することができる。入力部１２に着信する元の音声信号は、例として音楽作品である。音楽作品を提供しながら、埋め込み装置１０によって著作者情報を透かしの形で音声信号に導入することができ、その結果を透かし付加音声信号として出力部１６から出力できる。第三者が、対象となる音楽作品又はミュージックタイトルの著作者であると主張する場合、透かしを使って実際の著作権を証明することができ、該透かしは、検出装置１００を使って、通常の再生では不可聴な透かし付加音声信号などから抽出することができる。

前記で説明した透かし埋め込みの別の可能な使い方として、ＴＶ及びラジオ放送局の放送番組での使用記録に透かしを用いることがある。多くの場合、放送番組は、例えば、個別ミュージックタイトル、ラジオドラマ、コマーシャルなどのいろいろな部分に分けられている。音声信号の著作者、あるいは、少なくともあるミュージックタイトル又はコマーシャルで利益を得ることを許され、そう望む人は、埋め込み装置１０によって自分の音声信号に透かしを付加し、該透かし付加音声信号を放送運営者の使用に供することができる。このようなやり方でミュージックタイトルやコマーシャルにそれぞれ明白な透かしを付加することができる。例えば、放送番組での使用記録をとるために、コンピュータで放送信号中の透かしをチェックし、検知された透かしを使うことができる。検出された透かしのリストを使って、対象放送局の放送リストを簡単に作成することができ、会計及び請求処理が容易になる。

別の用途分野には、透かしを不法なコピーの判定に使用することがある。この面では、特に、インターネットによる音楽配信に対する透かしの使用は効果がある。顧客が音楽作品を購入すると、音楽データを顧客に送信するに際し、透かしを使って明瞭な顧客番号がデータ中に埋め込まれる。これによりミュージックタイトルには、不可聴に透かしが埋め込まれる。後の時点において、例えば、交換サイトのような、承認を受けていないインターネットサイトにおいて音楽作品が検知された場合、図３によるデコーダを使って、この作品の透かしをチェックすることができ、透かしを使って当初の顧客を識別することができる。また、後者の用途は、現在のＤＲＭ（デジタル著作権管理）対処策として重要な役割を果たすかもしれない。ここでは、透かし付加音声信号中の透かしを一種の「第２の防衛線」として役立たせることができ、これにより、透かし付加音声信号の暗号保護が回避された場合にも、当初の顧客を追跡することができる。

さらなる透かしの用途が、例えば、Ｃｈｒ． ノイバウエル（Ｎｅｕｂａｕｅｒ）、Ｊ． ヘーレ（Ｈｅｒｒｅ）の論文「改良型透かし及びその応用（Ａｄｖａｎｃｅｄ Ｗａｔｅｒｍａｒｋｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ）」第１０９回Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙコンベンション、ロサンジェルス、２０００年９月発表抄録５１７６に記載されている。

引き続いて、図１−３の実施形態とは別の、音声信号の時間領域から周波数／変調周波数領域への変換法を使った埋め込みスキームの実施形態を参照しながら、埋め込み装置及び透かしデコーダを説明する。以下の説明において、図１及び３のものと同一又は同じ目的を持つ図中の要素には、図１及び３に示したのと同一の参照番号を付与し、これら要素については、機能のモード及び目的のさらなる詳細説明のため図１−３の説明に追加する説明を行うだけとし重複を避ける。

全体を２１０で示されている図４の埋め込み装置は、図１の埋め込み装置と同様に、音声信号入力１２、透かし入力部１４、及び透かし付加音声信号を出力するための出力部１６を含む。入力部１２に続いて窓処理手段１８及び第１フィルタバンク２０があり、音声信号をブロック単位でスペクトル値６２のブロック６０に変換し（図２）、これによってフィルタバンク２０の出力端に形成されるスペクトル値ブロックのシーケンスは音声信号の時間／周波数領域表現２４を表す。但し、図１の埋め込み装置１０とは対照的に、複素スペクトル値６２は、振幅と位相とに分離されず、複素スペクトル値はそのまま処理され、音声信号から周波数／変調周波数領域に変換される。かくて、サブバンドの一連のスペクトル値のシーケンス７０は、振幅と位相とを取り入れたスペクトル表現にブロック単位で変換される。但し、各サブバンドのスペクトル値シーケンス７０を復調にかける前である。ミキサ２１２は、各シーケンス７０、すなわち、連続する時間ブロックを特定のサブバンドに対するスペクトルレンジに変換して得たスペクトル値のシーケンスに対し、搬送周波数測定手段２１４が、スペクトル値から、具体的には音声信号の時間／周波数領域表現のこれらのスペクトル値の位相部分から測定した変調搬送波成分の共役複素数を乗じる。手段２１２及び２１４は、時間ブロックの繰り返し距離は、必ずしも、音声信号の搬送周波数成分、すなわち平均として音声信号の搬送周波数を表す可聴周波数の周期時間と同調していないという事実に対し補正を行う機能を持つ。同調差が生じた場合には、一連の時間ブロックは、異なる位相オフセットによって音声信号の搬送周波数へとシフトされる。このことは、フィルタバンク２０から出力されるスペクトル値の各ブロック６０は、搬送周波数の位相部分に対するそれぞれの時間ブロックの位相オフセットに応じ、個別時間ブロックの位相オフセットにトレースバック可能な、すなわち勾配及び軸部分が位相オフセットによって決まる、リニアな位相増加を含む、という結果をもたらす。連続する時間ブロックの間の位相オフセットは、最初は常に増加することになるので、スペクトル値６２の各ブロック６０に対する位相オフセットに帰還される位相増加の勾配もまた、位相オフセットが再度ゼロになるまで増加することになる。

前記の説明は、スペクトル値の個別のブロック６０だけについて述べたものである。しかしながら、前記の説明から、同一のサブバンドに対する連続する時間ブロックで得られるスペクトル値に対しても、リニア位相増加、すなわち図２のマトリックス６８中のライン沿いの位相増加が検出できることは明白である。この位相増加もまたトレースバックすることができ、これは連続する時間ブロックの位相オフセットにより決まる。全体的に見れば、マトリックス６８中のスペクトル値は、引き続く時間ブロックの時間オフセットによって、軸６６と６４とで展開されるスペースに平面として示される累積位相変化をたどることになる。

しかして、搬送周波数測定手段２１４は、例えば、誤差最小二乗アルゴリズムのような妥当な方法によって、マトリックス６０のスペクトル値６２のアンラップ位相、又は位相アンラップによる位相、又は位相展開、又は位相部分のラインアップに平面を当てはめ、これから、マトリックス６８内の個々のサブバンドのスペクトル値のシーケンス７０内に生ずる時間ブロックの位相オフセットに帰還する位相増加を推定する。全体として、サブバンドごとの結果は、求める変調搬送波成分に対応する推定位相増加となる。手段２１４はこれをミキサ２１２に転送し、該ミキサは、そのスペクトル値のそれぞれのシーケンス７０に、共役複素数又は_{ｅｘｐ｛−ｊ（ｗ＊ｍ ＋φ）｝}を乗じる。ここで、ｗは所定の搬送波を表し、ｍはスペクトル値に対する指数であり、φは、対象となるＮ個の時間ブロックの時間セクションにおける所定搬送波の位相オフセットである。当然ながら、搬送周波数測定手段２１４は、マトリックス６８内のスペクトル値６２の個別シーケンス７０の位相形態に直接的に一次元当てはめを実施して、時間ブロックの位相オフセットに戻る個々の位相増加分を得ることもできる。ミキサ２１２による復調の後、マトリックス６８のスペクトル値の位相部分はこのように「水平化」されて、位相ゼロの周辺を、音声信号自体の形状によって変動するだけとなる。

ミキサ２１２は、このように変形されたスペクトル値６２をフィルタバンク２８に転送し、該フィルタバンクは、これをマトリックス（図２中のマトリックス６８）ごとに周波数／変調周波数領域に変換する。図１−３の実施形態と同様に、結果は変調値のマトリックスとなるが、但し、今回は、この時間／周波数領域表現２４では、移送及び振幅双方が検討されている。図１の例と同様に、５０％オーバーラップ等の窓処理が行われる。

このようなやり方で生成された連続変調マトリックスは、透かし埋め込み手段２１６に転送され、該手段は別の入力部から透かし１４を受信する。透かし埋め込み手段２１６は、典型的には、図１の埋め込み装置１０の埋め込み手段３２が行ったのと同様に動作する。但し、周波数／変調周波数領域表現３０内の埋め込み位置は、必要に応じ、埋め込み手段３２の場合と違ったマスキング効果を考慮したルールを使って選定される。手段３２と同様に、埋め込み位置は、変形された変調値が、後に、埋め込み装置２１０の出力部から出力される透かし付加音声信号に対して可聴な影響を与えないように選定すべきである。

変更された変調値、もしくは変更又は変形された変調マトリックスは逆フィルタバンク３４に転送され、これは、変形された変調マトリックスから変形されたスペクトル値のマトリックスを形成するようにされている。これらの変形されたスペクトル値について、ミキサ２１２による復調によって生じた位相補正も反転される。このことが、ミキサ２１８を使って、サブバンドごとに逆フィルタバンク３４によって出力された変形されたスペクトル値のブロックと復調搬送波成分との混合又は相乗を行う理由であって、該成分は、復調のため周波数／変調周波数領域に変換する前に、当該サブバンドに対しミキサ２１２が用いた共役複素数であり、これは、これらブロックに対し_{ｅｘｐ｛ｊ（ｗ＊ｍ ＋φ）｝}を乗ずることである。ここで、ｗは、前記同様、それぞれのサブバンドに対する所定搬送波を示し、ｍは変形スペクトル値に対する指数であり、φはそれぞれの対象サブバンドに対するＮ個の時間ブロックによる時間セクションにおける所定搬送波の位相オフセットである。それぞれのサブバンドに対するそれぞれのモジュレータは、所定のサブバンド・ブロックの成分に関し、又はブロック分割の後、変調２１２、２１４によって用いられたものであり、次のブロック併合の前に再度反転される。

このようにして得られたスペクトル値は、まだブロック形状、すなわちサブバンドごとに一つの変形スペクトル値のブロック形状であり、必要に応じ、例えば、図１の３４に関して説明したようなやり方で、逆変換窓処理のためにＯＬＡ又は併合操作が行われる。このようにして得られた窓処理解除されたスペクトル値は、このときサブバンドごとの変形スペクトル値のストリームとして利用可能となり、透かしを付加された音声信号の時間／周波数領域表現を表している。ミキサ２１８からの出力の後に続くのは、逆フィルタバンク４０及び窓処理手段４２であり、これらは透かし付加音声信号の時間／周波数領域表現を時間領域２２へ変換し、その結果は、出力部１６における、透かし付加音声信号を表すオーディオ値のシーケンスとなる。

図４によるプロシージャの、図１のプロシージャと比べての利点は、位相及び振幅を一緒に用いて周波数／変調周波数領域への変換が行われるため、位相と変形された振幅部分を再合成する際の変調部分の再取り込みが必要ないということである。

埋め込み装置２１０から出力される透かし付加音声信号を処理して、これから透かしを抽出するために適切な透かしデコーダを図５に示す。全体を３１０で示したデコーダ３１０は、透かし付加音声信号を受信するための入力部３１２、及び抽出した透かしを出力するための出力部３１４を含む。デコーダ３１０の入力部３１２に続くのは、以下の記載順序で直列に連結された、窓処理手段３１８、フィルタバンク３２０、ミキサ４１２、及びフィルタバンク３２８であり、ミキサ４１２の別の入力端は、フィルタバンク３２０の出力端につながる入力端を具えた搬送周波数測定手段４４０の出力端に接続されている。構成要素３１８、３２０、４１２、３２８、及び４１４は、埋め込み装置２１０の構成要素１８、２０、２１２、２８、及び２１４が行うのと同じ目的のために同じやり方で機能する。このように、透かし付加入力信号は、デコーダ３１０において、時間領域３２２から、時間周波数領域３２４を介して周波数／変調周波数領域表現に変換され、透かしデコーディング手段３３２は、透かし付加音声信号の周波数／変調周波数領域表現を受信、処理して透かしを抽出し、これをデコーダ３１０の出力部３１４に出力する。前に述べたように、デコーダ３１０中のデコーディング手段３３２に供給される変調マトリックスは、図１−３の実施形態中のデコーディング手段１３２に供給されるマトリックスと埋め込み手段２１６に供給されるマトリックスとの差よりも違いが少ない、というのは、図４の埋め込み装置システムにおいては、位相部分と変形された振幅部分との間での再合成がないからである。

以上のように、前記の実施形態は、今までに知られていない主題分野、「サブバンド変調スペクトル分析」と「電子透かし」との関係に関しており、一方には透かしを導入する埋め込み装置システム、他方には検出装置システムによって全体的システム形成する。埋め込み装置システムは透かしを導入する役割を果たす。該システムは、サブバンド変調スペクトル分析、分析で得られた信号表現の変調を行う埋め込み作業ステージ、及び変調された表現の信号の合成で構成される。これと対照的に、検出装置システムは、透かしを付加された音声信号に存在する透かしを認識する機能を持つ。このシステムは、サブバンド変調スペクトル分析、及び分析から得られた信号表現を使って透かしを認知し判断する検出ステージで構成されている。

なお、透かしの埋め込み又は抽出のために使用する周波数／変調周波数領域中の位置、又は周波数／変調周波数領域中の変調値の選定に関しては、この選定を心理音響学的に行って、透かし付加音声信号を再生するときに透かしが不可聴であることを確実にすべきである。適切な選定のために、変調スペクトルレンジにおけるマスキング効果を使うこともできよう。これについては、例えば、Ｔ．ハウトガスト（Ｈｏｕｔｇａｓｔ）の「振幅変調検出における周波数選択性（Ｆｒｅｑｕｅｎｃｙ Ｓｅｌｅｃｔｉｖｉｔｙ ｉｎ Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）」Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．、Ｖｏｌ．８５、Ｎｏ．４、１９８９年４月を参照でき、この論文は、周波数／変調周波数領域における変形対象変調値の不可聴な選定に関して、本明細書に組み込まれる。

変調スペクトル分析について全体的な理解を高めるために、変調変換を用いた音声コーディングを記載した下記の発表を参照する。これらの発表では、信号は、変換されて周波数バンドに分割され、続いて振幅と位相に分離され、次に、位相はそれ以上処理されないが、各サブバンドの振幅は、いくつかの変換ブロックを介する第２変換において再度変換される。結果は、それぞれのサブバンドの時間エンベロープの「変調係数」への周波数分割となる。こういった一連の文書には以下が含まれる：Ｍ．ビントン（Ｖｉｎｔｏｎ）及びＬ．アトラス（Ａｔｌａｓ）の論文「拡張及び発展型音声コーデック（Ａ Ｓｃａｌａｂｌｅ ａｎｄ Ｐｒｏｇｒｅｓｓｉｖｅ Ａｕｄｉｏ Ｃｏｄｅｃ）」２００１ ＩＥＥＥ ＩＣＡＳＳＰの発表予稿、２００１年５月７−１１日、ソルトレークシティ；Ａｔｌａｓらによる米国公開出願第２００２／０１７６３５３号、名称「拡張型及び知覚的分類による信号コーディング及びデコーディング（Ｓｃａｌａｂｌｅ Ａｎｄ Ｐｅｒｃｅｐｔｕａｌｌｙ Ｒａｎｋｅｄ Ｓｉｇｎａｌ Ｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ）」；Ｊ．トムソン（Ｔｈｏｍｐｓｏｎ）及びＬ．アトラス（Ａｔｌａｓ）の論文「時間分解能増大による、音声コーディングのための不均一変調変換（Ａ Ｎｏｎ−ｕｎｉｆｏｒｍ Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｏｒｍ ｆｏｒ Ａｕｄｉｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｉｎｃｒｅａｓｅｄ Ｔｉｍｅ Ｒｅｓｏｌｕｔｉｏｎ）」２００３ ＩＥＥＥ ＩＣＡＳＳＰの発表予稿、２００３年４月６−１０日、香港；及びＬ．アトラス（Ａｔｌａｓ）の論文「ジョイント音響及び変調周波数（ｊｏｉｎｔ Ａｃｏｕｓｔｉｃ Ａｎｄ Ｍｏｄｕｌａｔｉｏｎ Ｆｒｅｑｕｅｎｃｙ）」Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ７ ＥＵＲＡＳＩＰ、６６８−６７５頁、２００３年。

前記の実施形態は、音声レコーディングに、操作に対して頑強で不可聴な追加情報を付加できるようにし、これにより、いわゆるサブバンド変調スペクトルレンジにおいて透かしを取り入れ、サブバンド変調スペクトルレンジにおいて検出を行うための典型的やり方だけを表している。しかしながら、これら実施形態の各種の変形を作ることができる。前に述べた窓処理手段にブロック形成だけをさせる、すなわち、乗算又は重み付けを省略することもできよう。さらに、前述した三角関数の振幅以外の窓関数を使うこともできよう。また、５０％のブロック・オーバーラッッピングを省略するか又は違ったやり方で実施することもできよう。同様に、合成の側でのブロック・オーバーラッッピングについても、次に続く時間ブロック中のオーディオ値との整合作業の追加と違った作業を含めることができよう。さらに、第２変換ステージにおける窓処理作業も同様に変えることができよう。

さらに、必ずしも、音声信号の取入れを時間領域から周波数／変調周波数領域表現に行う必要はなく、また、これから再度逆に時間領域表現に変換する必要はないこともある。さらに、前に述べた２つの実施形態を変形し、再合成手段３８又はミキサ２１８から出力される値を結合し、時間／周波数領域におけるビットストリーム中の透かし付与音声信号として形成することも可能であろう。

さらに、第２実施形態中で用いた復調を、例えば、マトリックス６８内のスペクトル値ブロックの位相形態を一定の複素搬送波と単なる相乗以外の手段によって変化させるといった、異なった設計にすることもできよう。

図３及び５を参照して説明した、実施可能なデコーダについての前記の実施形態に関して、その透かし・デコーダ手段と関連埋め込み装置からの対応入力の入力部との間に配列されたブロックは同じものなので、埋め込み装置のこれらの手段に関連して前述したすべての変形可能性は、図３及び５の透かしデコーダにも同様に適用されることを指摘しておく。

また、前述の実施形態については、音声信号への透かし埋め込みだけに関連させてきたが、本透かし埋め込みスキームを、例えば、制御信号、測定信号、映像信号などといった異なる情報信号に用いて、例えばその信憑性についてこれらをチェックできることも指摘しておく。これらすべてのケースにおいて、本明細書で提案するスキームによって、例えば、測定結果の解析又は映像の光学的効果などの透かしを付加された形の情報信号を普通に使用することを妨げないようにして、情報埋め込みを実施することは可能であり、このことが、こういったケースにおいても、埋め込まれる追加データが電子透かしと呼ばれる理由である。

なお、状況に応じ、本発明のスキームをソフトウエアに搭載することができる。このような搭載は、デジタル記憶媒体、具体的には電子的に読み出しができて制御信号を具えたディスク又はＣＤに行うことができ、これとプログラム可能なコンピュータシステムとを共用して対応方法を実行することができる。また、通常、本発明を、このようにマシン可読媒体に格納したプログラムコードを具えたコンピュータプログラム製品中に入れ、該コンピュータプログラム製品をコンピュータに実行させて本発明の方法を実施する。すなわち、本発明を、このようにプログラムコードを具えたコンピュータプログラムとして実現し、コンピュータプログラムをコンピュータに実行させて本方法を実施することもできる。

図１は、本発明の実施形態による、音声信号中に透かしを埋め込むための装置のブロック図である。 図２は、図１の装置がこれに基づくものであり、音声信号から周波数／変調周波数領域への変換を示すための図解図である。 図３は、図１の装置によって埋め込まれた透かしを、透かしを付加された音声信号から抽出するための装置のブロック図である。 図４は、本発明の別の実施形態による、透かしを音声信号中に埋め込むための装置のブロック回路図である。 図５は、図４の装置によって埋め込まれた透かしを、透かしを付加された音声信号から抽出するための装置のブロック図である。進歩的な符号器の好ましい一実施形態のブロック図である。

Claims (25)

1. 透かしを情報信号中に導入するための装置であって、
   前記情報信号を時間表現（２２）からスペクトル／変調スペクトル表現（３０）に変換するための手段（１８、２０、２６、２８；１８、２０、２１２、２１４、２８）と、
   導入される透かしに応じ、前記スペクトル／変調スペクトル表現における前記情報信号を変形して変形されたスペクトル／変調スペクトル表現を得るための手段（３２；２１６）と、
   変形されたスペクトル／変調スペクトル表現に基づいて透かしを付加された情報信号を形成するための手段（３４、３８、４０、４２；３４、２１８、４０、４２）とを含む、装置。
2. 前記スペクトル／変調スペクトル表現に変換するための手段は、
   前記情報信号をブロック単位で変換することによって、前記情報信号を時間／スペクトル表現に変換するための手段（１８、２０）と、
   前記情報信号を前記時間／スペクトル表現から前記スペクトル／変調スペクトル表現に変換するための手段（２６、２８；２１２、２１４、２８）とを含む、請求項１に記載の装置。
3. 前記情報信号を時間／スペクトル表現に変換するための手段（１８、２０）は、前記時間／スペクトル表現を複数のスペクトル成分に分割してスペクトル成分ごとにスペクトル値のシーケンスを取得し、また、前記情報信号を前記時間／スペクトル表現から前記スペクトル／変調スペクトル表現に変換するための前記手段（２６、２８；２１２、２１４、２８）は、スペクトル値のシーケンスを、所定のスペクトル成分ごとに、ブロック単位でスペクトル的に分割して、前記スペクトル／変調スペクトル表現の一部を得るための手段（２６、２８；２１２、２１４、２８）を含む、請求項２に記載の装置。
4. スペクトル値のシーケンスを所定スペクトル成分ごとにブロック単位でスペクトル的に分割するための手段（２１２、２１４、２８）は、まず、スペクトル値のシーケンスにブロック単位で複素搬送波を乗じ（２１２）、スペクトル値のシーケンスの位相形態の平均勾配の大きさを低減させてスペクトル値の復調されたブロックを取得し、次いで、スペクトル値の復調ブロックを、ブロック単位でスペクトル的に分割（２８）して変形されたスペクトル／変調スペクトル表現の一部を得るように形成されている、請求項３に記載の装置。
5. スペクトル値のシーケンスを所定スペクトル成分ごとにブロック単位でスペクトル的に分割するための手段（２１２、２１４、２８）は、前記情報信号の時間／スペクトル表現に応じ、スペクトル値のシーケンスに乗じられる前記複素搬送波をブロック単位で変化させるための手段（２１４）を含む、請求項４に記載の装置。
6. 前記変化手段（２１４）は、前記複素搬送波をブロック単位で変化させるため、スペクトル値のシーケンスにおけるスペクトル値の位相をブロック単位でアンラップして位相形態を取得し、前記位相形態の平均勾配を測定し、前記平均勾配に基づいて前記複素搬送波を測定するように形成されている、請求項５に記載の装置。
7. 前記変化手段（２１４）は、前記位相形態から前記位相形態の軸部分を測定し、さらに前記軸部分に基づいて前記複素搬送波を測定するように形成されている、請求項６に記載の装置。
8. 前記透かし付加情報信号を形成するための手段（３４、２１８、４０、４２）は、
   前記情報信号を、変形されたスペクトル／変調スペクトル表現から変形された時間／スペクトル表現に再変換し、前記所定スペクトル成分に対するスペクトル値の変形された復調ブロックを得るための手段（３４）と、
   スペクトル値の変形された復調ブロックに、前記複素搬送波に対して複素共役な搬送波をブロック単位で乗じ、スペクトル値の変形されたブロックを得るための手段（２１８）と、
   スペクトル値の変形された復調ブロックを結合し、スペクトル値の変形されたシーケンスを形成して、透かし付加情報信号の時間／スペクトル表現の一部を得るための手段とを含む、請求項４ないし請求項７のいずれかに記載の装置。
9. 前記形成手段は、
   前記透かし付加情報信号を、前記時間／スペクトル表現から前記時間表現に再変換するための手段をさらに含む、請求項８に記載の装置。
10. スペクトル値のシーケンスを所定スペクトル成分ごとにブロック単位でスペクトル的に分割するための手段（２６、２８）は、まず、スペクトル値のシーケンスに対し振幅計算（２６）を実施してスペクトル値の振幅のシーケンスを取得し、次いで、スペクトル値の振幅のシーケンスをブロック単位で変調スペクトル表現（２８）に変換して、前記スペクトル／変調スペクトル表現の一部を得るように形成されている、請求項３に記載の装置。
11. 前記透かし付加情報信号を形成するための手段（３４、２１８、４０、４２）は、
    前記情報信号を変形されたスペクトル／変調スペクトル表現から変形された時間／スペクトル表現に再変換して所定のスペクトル成分に対するスペクトル値の変形されたシーケンスを得るための手段（３４）と、
    スペクトル値の変形されたシーケンスを、スペクトル値のシーケンスの位相に基づいた位相と再結合して、前記透かし付加情報信号の時間／スペクトル表現の一部を得るための手段（３８）とを含む、請求項１０に記載の装置。
12. 前記情報信号を時間表現からスペクトル／変調スペクトル表現に変換する手段（１８、２０）は、
    前記情報信号からの情報値のブロックのシーケンスを形成するためのブロック形成手段（１８）と、
    情報値のブロックのシーケンスの各々をスペクトル的に分割してスペクトル値ブロックのシーケンスを得るための手段であって、各スペクトル値ブロックは、複数の所定スペクトル成分の各々に対するスペクトル値を含み、スペクトル値ブロックのシーケンスがスペクトル成分ごとのスペクトル値のシーケンスを形成するようにする手段（２０）と、
    シーケンスの中の所定シーケンスをスペクトル的に分割して変調値のブロックを得るための手段（２６、２８；２１２、２１４、２８）とを含み、
    前記変形手段（３２、２１６）は、導入される前記透かしに応じて変調値のブロックを変形して変調値の変形されたブロックを取得し、前記形成手段（３４、３８、４０、４２；３４、２１８、４０、４２）は、変調値の変形されたブロックに基づいて前記透かし付加情報信号を形成するように形成されている、請求項１に記載の装置。
13. 前記形成手段（３４、３８、４０、４２；３４、２１８、４０、４２）は、変調値の変形されたブロックをスペクトル分割（３４、３８；３４、２１８）から再変換してスペクトル値の変形されたシーケンスを取得し、スペクトル値の変形されたシーケンスに基づく変形されたスペクトル・ブロックのシーケンスを再変換（４０）して情報値の変形されたブロックのシーケンスを取得し、情報値の変形されたブロックを結合（４２）して前記透かし付加情報信号を得るように形成されている、請求項１２に記載の装置。
14. 前記ブロック形成手段（１８）は、情報値のブロックが、相互に半分ずつオーバーラップする前記情報信号の連続する時間セクションに対応するように、前記情報信号から情報値のブロックを抽出するように形成されており、前記形成手段（４２）は、結合するときに、変形された時間ブロックを相互に半分ずつオーバーラップさせて、隣接する情報ブロックの情報値を整列させて合せるように形成されている、請求項１２または請求項１３に記載の装置。
15. 情報値のブロックのシーケンスの各々をスペクトル的に分割するための手段（２０）は、スペクトル的に分割するとき、スペクトル成分ごとに複素スペクトル値のシーケンスを供給するように形成され、スペクトル値のシーケンスの中の所定シーケンスをスペクトル的に分割するための手段（２６、２８）は、前記複素スペクトル値の振幅だけをスペクトル的に分割（２８）して変調値のブロックを得るように形成されている、請求項１２ないし請求項１４のいずれかに記載の装置。
16. 前記形成手段は、変調値の変形されたブロックをスペクトル分割から再変換（３４）してスペクトル値の変形されたシーケンスを取得し、前記変形手段が行った変形に基づいて複素スペクトル値のシーケンスの位相を調整（３６）して調整された位相値のシーケンスを取得し、調整された位相値のシーケンスをスペクトル値の変形されたシーケンスと再結合（３８）してスペクトル値の再結合変形シーケンスを取得し、スペクトル値の前記再結合変形シーケンスに基づいた変形されたスペクトル値ブロックのシーケンスを再変換（４０）して情報値の変形されたブロックを得るように形成されている、請求項１５に記載の装置。
17. 情報値のブロックのシーケンスの各々をスペクトル的に分割するための手段（２０）は、スペクトル的に分割を行うとき、スペクトル成分ごとに複素スペクトル値のシーケンスを供給するように形成されており、スペクトル値のシーケンスの中の所定シーケンスを前記スペクトル／変調スペクトル表現に変換する手段（２１２、２１４、２８）は、まず、スペクトル値のシーケンスに操作（２１２）を加え、スペクトル値の少なくとも一つのシーケンスのスペクトル値の位相を、シーケンスとともに連続的に増加又は減少するようなレベルで増加又は減少させてスペクトル値の位相操作されたシーケンスを取得し、次いで、スペクトル値の位相操作シーケンスをスペクトル的に分割（２８）して変調値の少なくとも一つのブロックを得るよう形成されており、前記形成手段は（３４、２１８、４０、４２）は、変調値の変形されたブロックをスペクトル分割から再変換してスペクトル値の変形されたシーケンスを取得し、スペクトル値のシーケンスの中の所定シーケンスをスペクトル的に分割して、スペクトル値の少なくとも一つのシーケンスのスペクトル値の位相をシーケンスとともに連続的に増加又は減少するようなレベルで増加又は減少させてスペクトル値の操作シーケンスを得るための手段（２１２）とは逆向きにスペクトル値のシーケンスを操作（２１８）し、スペクトル値の変形されたシーケンスに基づく変形されたスペクトル・ブロックのシーケンスを再変換（４０）して情報値の変形されたブロックのシーケンスを取得し、情報値の変形されたブロックを結合（４２）して前記透かし付加情報信号を得るように形成されている、請求項１２に記載の装置。
18. 前記変形手段（３２；２１６）は、時間によって変化する前記スペクトル／変調スペクトル表現の位置で変調を実行するように調整されている、請求項１ないし請求項１７のいずれかに記載の装置。
19. 前記変形手段（３２；２１６）は、前記情報信号に合わせて変調を実行するよう調整されている、請求項１ないし請求項１８のいずれかに記載の装置。
20. 前記変形手段（３２；２１６）は、心理音響学的マスキング効果によって、変調により前記透かし付加情報信号が可聴な変形を生じないように変調を実行するように調整されている、請求項１ないし請求項１９のいずれかに記載の装置。
21. 前記透かしは著作者情報、前記情報信号を特定する識別番号、又は顧客番号を表す、請求項１ないし請求項２０のいずれかに記載の装置。
22. 透かしを付加された情報信号から透かしを抽出する装置であって、
    前記透かし付加情報信号を時間表現からスペクトル／変調スペクトル表現に変換するための手段（１１８、１２０、１２６、１２８；３１８、３２０、４１４、４１２、３２８）と、
    前記スペクトル／変調スペクトル表現に基づいて前記透かしを導き出すための手段（１３２；３３２）とを含む、装置。
23. 情報信号に透かしを導入するための方法であって、
    前記情報信号を時間表現（２２）からスペクトル／変調スペクトル表現（３０）に変換する工程（１８、２０、２６、２８；１８、２０、２１２、２１４、２８）と、
    導入される前記透かしに応じ、前記スペクトル／変調スペクトル表現における前記情報信号を変形して変形されたスペクトル／変調スペクトル表現を得る工程（３２；２１６）と、
    変形されたスペクトル／変調スペクトル表現に基づいて透かしを付加された情報信号を形成する工程（３４、３８、４０、４２；３４、２１８、４０、４２）とを含む、方法。
24. 透かしを付加された情報信号から透かしを抽出する方法であって、
    前記透かし付加情報信号を時間表現からスペクトル／変調スペクトル表現に変換する工程（１１８、１２０、１２６、１２８；３１８、３２０、４１４、４１２、３２８）と、
    前記スペクトル／変調スペクトル表現に基づいて前記透かしを導き出す工程（１３２；３３２）とを含む、方法。
25. コンピュータでコンピュータプログラムを実行して、請求項２３又は２４による前記方法を実行するためのプログラムコードを具えた、コンピュータプログラム。

Images