JP2004318126A - デジタルオーディオ処理 - Google Patents

Abstract

【課題】可聴ウォータマークを埋め込んだデジタルオーディオ信号から可聴ウォータマークを取り除いた形で再生する際に、元のオーディオ信号を完全に復元するようにウォータマーク付与処理を行う。
【解決手段】各周波数帯域における音の貢献を表す帯域データ成分を含むスペクトル符号化オーディオ信号を処理する信号処理装置において、１以上の帯域データ成分のサブセットを変更し、変更された帯域データ成分を有する帯域変更デジタルオーディオ信号を生成し、変更された帯域データ成分の元の値を再構築するための復元データを生成する。
【選択図】図４ａ

Description

本発明は、デジタルオーディオ処理に関する。

可聴ウォータマーク法（audible watermarking method）は、オーディオ信号に他の（ウォータマーク）信号を結合して伝送又は記録することによりオーディオ信号を保護する技術であり、ここでは、元の信号は、識別及び／又は評価のためには十分にクリアであるが、ウォータマークが付された形式では商業的には使用できないようにウォータマークが付される。ウォータマーク付与処理の価値を高めるために、ウォータマーク付与処理は、正当な権原を有さない者がウォータマークを取り除こうとする行為を防ぐ必要がある。

ウォータマーク信号は、その信号が有用な情報（例えば著作権、広告又は他の識別データ）を伝えるように選択してもよい。適切なソフトウェア及び復号キーがあれば、元のソースマテリアルを参照することなく、ウォータマークが付された信号から元の信号を完全に復元できるウォータマーク付与法が望ましい。

欧州特許公開番号第１１８９３７２号明細書（松下）は、オーディオ信号を不正使用から保護する様々な手法を開示している。一手法においては、オーディオ信号は、ユーザに配信される前に、圧縮及び暗号化される。ユーザは、オーディオ信号を再生するためには、復号キーが必要となる。ユーザは、オーディオ信号を再生するために、復号キーを購入することができる。オーディオ信号は、ユーザが復号キーを購入するまでは再生されない。他の手法では、可聴ウォータマークをオーディオ信号に埋め込んで、オーディオ信号を保護する。一手法では、オーディオ信号は、所定の規則に則って可聴ウォータマーク信号と結合される。ウォータマーク信号は、オーディオ信号の音質を低下させる。結合された信号は、圧縮されてプレーヤに伝送される。プレーヤは、音質が悪いオーディオ信号を伸張及び再生し、これによりユーザは、ウォータマークを取り除くための「キー」を購入するか否かを判断することができる。ウォータマークは、伸張された低音質のオーディオ信号に、振幅が等しく極性が逆の可聴信号（equal and opposite audible signal）を加えることによって取り除くことができる。ウォータマークは、オーディオ信号の音質を下げるいかなる信号であってもよい。ウォータマークは、雑音であってもよい。ウォータマークは、「この音楽はサンプル再生です。」等のお知らせであってもよい。

例えばＭＰ３（ＭＰＥＧ−１レイヤ３）信号、ＡＴＲＡＣ（商標）信号、フィリップス（Phillips：商標）ＤＣＣ（商標）信号、又はドルビー（Dolby：商標）ＡＣ−３（商標）信号等のデータ圧縮信号を始めとする周波数符号化（「スペクトル符号化」とも呼ばれる）オーディオ信号では、オーディオ情報は、一連の周波数帯域として表現されている。所謂音響心理学的な技術を用いて、オーディオ信号を表現するために符号化しなくてはならない帯域の数を削減することができる。上述した可聴ウォータマーク法は、周波数符号化オーディオ信号には適用されない。可聴ウォータマークをオーディオ信号に付与し、後に取り除くことを可能にするためには、周波数符号化オーディオ信号を再生可能な形式に戻すよう復号する必要がある。しかしながら、損失が多いシステムにおいては、オーディオ信号を符号化及び復号するたびに、オーディオ信号が劣化してしまうという問題がある。

本発明に係る信号処理装置は、各周波数帯域における音の貢献を表す帯域データ成分を含むスペクトル符号化オーディオ信号を処理する信号処理装置において、１以上の帯域データ成分のサブセットを変更し、変更された帯域データ成分を有する帯域変更デジタルオーディオ信号を生成するステップと、変更された帯域データ成分の元の値を再構築するための復元データを生成するステップとを有する。

本発明は、周波数符号化オーディオファイルからスペクトル情報を選択的に取り除き又は歪ませて価値を減じた場合、この価値を減じたファイルを復号して再生すれば、ファイルの元の理解可能性（intelligibility）及び／又は整合性がある程度維持されるという原理に基づいている。ファイルの元の品質が維持される程度は、除去されない周波数帯域の数及びファイルの全体的なスペクトルコンテンツにおける、除去される帯域の割合に依存する。元のファイルからの複数の周波数成分（又は「ライン」）は、単純に除去されるだけではなく、任意に選択された「ウォータマーク」ファイル（これも周波数符号化されている）から抽出された同じ周波数ラインのデータと置換（又は混合）され、これにより復号される出力データにおいて、両方のファイルについて、ある程度の理解可能性が維持される。

このため、ファイルのスペクトル帯域の一部又は全部を同様に符号化されたウォータマーク信号からの同等の帯域によって置換（又は結合）することによって、可聴ウォータマークを付与することができる。この処理は、いずれの信号も時間領域（オーディオサンプル）データに戻すことなく実行できる。変更されたスペクトル帯域の元の状態は、好ましくは、暗号化して、後に復元するために、周波数符号化ファイルのancillary_dataセクション（又はこの他の領域）に保存される。

本発明のこの他の様々な側面及び特徴は添付の特許請求の範囲に記載されている。独立請求項の特徴は、請求項において明示している場合に限らず、従属請求項の特徴に適切に組み合わせることができる。

以下では、ＭＰ３方式に則して本発明を説明するが、この技術（及び本発明）は、ＭＰ３に限定されるものではなく、例えば（以下に限定されるものではないが）、ＡＴＲＡＣ（商標）フォーマット、フィリップス（Phillips：商標）ＤＣＣ（商標）フォーマット、又はドルビー（Dolby：商標）ＡＣ−３（商標）フォーマット等の他の種類のスペクトル符号化（周波数符号化）オーディオファイル又はストリームデータにも同様に適用することができる。

図１は、オーディオデータ処理装置の構成を示しており、このオーディオデータ処理装置は、システムユニット１０と、ディスプレイ２０と、キーボードやマウス等のユーザ入力装置３０とを有し、ソフトウェアによって制御される汎用パーソナルコンピュータを用いて実現されている。

システムユニット１０は、例えば、中央演算処理装置（central processing unit：以下、ＣＰＵという。）４０と、ランダムアクセスメモリ（random access memory：以下、ＲＡＭという。）５０と、ディスクストレージ６０（固定及びリムーバブルオプティカルディスク７０等のリムーバブルディスク用）と、インターネット接続等のネットワーク接続９０へのリンクを提供するネットワークインタフェースカード（network interface card：以下、ＮＩＣという）８０とを備える。このシステムユニット１０は、例えば固定ディスク又はリムーバブルディスク等のストレージ媒体又はネットワーク接続等の伝送媒体を介して提供されるソフトウェアプログラムを実行することにより、以下に説明するデータ処理動作の一部又は全てを実現する。

図２は、後述する実施例の商業的な用途を説明する図である。図２には、インターネット接続１２０によって接続された２つのデータ処理システム１００、１１０を示している。ここでは、一方のデータ処理システム１００をＭＰ３−圧縮オーディオファイルの「オーナ（Owner）」と呼び、他方のデータ処理システム１１０は、ファイルのユーザ（prospective purchaser）と呼ぶ。

第１のステップにおいて、ユーザは、オーディオファイルのダウンロード又は転送を要求する。第２のステップにおいて、オーナは、ウォータマークが付された形式でファイルをユーザに転送する。ユーザは、（ステップ３において）ウォータマークが付されたファイルを試聴する。ウォータマークが付されたバージョンは、ユーザにファイルの購入を促し、これによりユーザは、ステップ４において、オーナにキーを要求する。このキーの要求は、オーナを受取人とする会計処理（例えば、クレジットカード決済）を含んでいてもよい。

ステップ５において、オーナは、オーディオファイル内の所謂復元データ（recovery data）を復号するためのキーをユーザに供給する。復元データにより、ウォータマークを取り除き、完全な品質のファイルを再生することができる（もちろん、ファイルが圧縮されている場合、ここで言う「完全な品質」は、元のバージョンから若干劣化している場合もある。しかしながら、この劣化は、聴覚的には全く感知されないか、一般ユーザには殆どわからない程度のものである）。ユーザは、ステップ６において復元データを復号し、ステップ７において、ウォータマークが付されていないファイルを聴取する。

なお、ネットワークを介して、上述した全てのステップを必ずしも実行する必要はない。ユーザは、例えば雑誌の付録として添付されているコンパクトディスクからウォータマークが付されたマテリアル（ステップ２）を入手してもよい。これにより、上述したステップ１及びステップ２は省略される。

周波数符号化を用いたデータ圧縮
オーディオデータ圧縮のための一連の符号化処理は、（例えば多相フィルタを用いて）オーディオ信号を異なる周波数帯域に分割し、（フーリエ変換等の手法を用いて）異なる帯域の信号を周波数領域データに変換し、周波数領域においてデータを解析し、例えば音響心理学的な現象（例えば、隣接帯域マスキング効果及び雑音マスキング効果等）を利用して、再構築されるオーディオ信号を大きく劣化させることなく、信号成分を間引き又は量子化する処理を含む。

圧縮は、解析の結果に基づいて、スペクトルデータの帯域別再量子化（band-specific re-quantisation）を行うことによって実現される。処理の最終段では、スペクトルデータと関連するデータとを、デコーダによって逆パック化できる形式にパック化する。再量子化処理は、不可逆的であり、したがって、圧縮された形式からは、元のオーディオ情報は正確には復元できず、このため圧縮は「損失がある（lossy）」処理と言われる。所定の規格のデコーダは、符号化されたビットストリームからスペクトルデータを逆パック化し、スペクトル情報を時間領域サンプルに変換することによって、元のデータ（のバージョン）を効果的に再合成する。

「ＭＰ３」規格と呼ばれるＭＰＥＧ１及びＭＰＥＧ２オーディオ符号化規格（レイヤ３）は、概略的に上述した一連の処理を行う。ＭＰ３圧縮データファイルは、複数の独立したフレームから構成され、各フレームは、header（ヘッダ）、side_info（副情報）、main_data（主データ）、ancillary_data（補助データ）の４つのセクションから構成されている。ＭＰ３の完全な定義については、ＩＳＯ規格１１１７２−３ＭＰＥＧ−１レイヤ３（ISO Standard 11172-3 MPEG-1 layer III）に開示されている。

図３の上段の図は、上述した構造、すなわち、header（Ｈ）、side_info（Ｓ）、main_data（Ｍ）、ancillary_data（Ａ）からなるＭＰ３フレーム１５０を示している。フレームヘッダは、フレーム内の他のデータに関する、例えばビットレート、元のデータのサンプリングレート、符号化レベル、ステレオデータ組織（stereo-data-organisation）等の包括的な情報を含んでいる。全てのフレームは、効果的に独立しているが、この包括的な情報のフレーム毎の相違については、現実的には一定の制約がある。各フレームの総データ長は、常にフレームヘッダ内の情報から導き出すことができる。副情報セクションは、後続する主データセクションにおけるデータの組織を記述し、帯域換算係数（band scalefactor）やルックアップテーブル指示情報（lookup table indicator）等を提供する。

図３の中段に示す主データセクション１６０は、big_value領域（Ｂ）と、Count_1領域（Ｃ）とを有する。主データセクション１６０は、実際のオーディオスペクトル情報を提供し、ヘッダ及び副情報セクションに基づいて、複数の可能な異なるグループのうちの１つに分類される。なお、概略的に言えば、データは、周波数昇順に並べられた量子化された周波数帯域値として表現される。これらのうちの幾つかは、特定の周波数帯域におけるデータの有無を示す単純な１ビットフィールド（count_1サブセクション）及びデータが存在する場合の符号（sign）である。また、これらのうちの幾つかは、符号化情報がないために、暗黙のうちに０（zero_dataサブセクションにおける）とされる。main_dataセクションは、それぞれbig_value領域と呼ばれる３個の領域に分割される。これらの領域において、エンコーダは、スペクトル値をハフマンテーブルの参照値として格納する。ハフマン符号化は、より頻繁に用いられるスペクトル値をより短い符号で表すことによって、ビットレートを低減させるという機能のみを有する。

big_value領域におけるあらゆる任意の周波数ラインのための実際のスペクトル値は、次の３個の異なるデータに基づいて決定される。
・そのスペクトルラインのために用いられるハフマン符号（main_dataにおいて特定される）
・所定のハフマンテーブルの組からどのハフマンテーブルを用いるか（side_infoにおいて特定される）
・その周波数ラインに対して、いかなる換算係数を用いるか（side_info及びmain_dataにおいて特定される）
これらのデータは、全て、フレーム毎に異なるものであってもよい。

ancillary_data領域は、main_dataに続く現在未使用の領域である。エンコーダ間において、オーディオフレームに含まれるデータ量に関する規格は存在しないため、オーディオデータのサイズ、したがってancillary_dataのサイズは、フレーム毎に大きく異なるものであってもよい。ancillary_dataセクションのサイズは、先行するセクションのパック化の効率、スペクトルデータの量子化の度合い、ファイルの公称ビットレートの増減等によって変化することもある。

ウォータマーク技術
以下、ＭＰ３圧縮オーディオファイルへのウォータマーク付与の具体例を用いて、本発明に基づく技術を説明する。なお、本発明に基づく技術は、データフォーマット及び組織を適切に（周知の手法で）変更すれば、他のスペクトル符号化方式にも同様に適用できる。また、本発明は、このような状況に限定されるわけではないが、ＭＰ３ファイルは、ウォータマークが付与されていない状態では、十分な品質を有し（すなわち、圧縮処理によって生じる劣化は十分小さく）、したがって、ユーザは、ファイルを使用するためにウォータマークを取り除くことを望む。

説明を容易にするために、この実施例では、ウォータマーク及びソースファイルの初期のフォーマットは類似している（サンプリングレート、ＭＰＥＧバージョン及びレイヤ、ステレオ符号化及びショート／ロングブロック利用（long block utilisation）が同じである）とする。但し、これは処理において必要不可欠な条件ではない。

この技術では、可聴ウォータマークは、ファイルにおける一部又は全てのスペクトル帯域を、同様に符号化されたウォータマーク信号の同じ帯域で置換（又は結合）することによって実現される。この処理は、ＭＰ３符号化レベル（又はハフマン符号化後のレベル（post-Huffman-lookup level））において、符号化ビットストリームを、いずれの信号も時間領域（オーディオサンプル）データに復号することなく行われる。変更された各スペクトル帯域の元の状態は、暗号化されてＭＰ３ファイルのancillary_dataセクションに格納され、後に復元される。このようなデータを格納する空間は、ancillary_dataセクションを拡張することによって確保してもよく、既存の空間を用いてもよい。このため、オーディオデータの完全な復号及び再符号化を行う必要がなく、したがってオーディオ信号の更なる劣化（復号及び再符号化処理によって生じる）を回避することができる。

この説明では、次のような用語を用いる。
・ソースファイル：これは、ウォータマークが適用されるオーディオマテリアルを含むＭＰ３ファイルである。
・ウォータマークファイル：これは、可聴ウォータマーク信号を含むＭＰ３ファイルである。

次に周波数ラインを置換するための処理（policy）を設定する。この設定は、単に予め定められている固定されたラインの組を用いることによって行ってもよく、ソースファイル及びウォータマークファイルのコンテンツに基づいてラインを変更してもよい。第１の実施例では、単純な固定されたラインの組を選択する。これに代わる処理については、後に説明する。

このとき、どの処理を選択するかに応じて、復元データを保存するためにancillary_dataセクションにどれほどの空間が必要かが判断される。上述のように、この判断は、単にウォータマークデータの出力ビットレートを高めることによって行ってもよい。多くの場合、単にビットレートを次に高い規定値（legal value）に高める（及びこれを用いて保存できる復元データの量を制限する）ことで適切な処理を行うことができる。可変ビットレートを用いる符号化法では、より精密にビットレートを変更することもできる。

ＭＰ３エンコーダは、多くの場合、各フレーム内の空き領域を最小化しようとし、優れた又は理想的なエンコーダは、ancillary_data領域における空き領域をゼロにする。フレームにおいて使用可能な空間があるか否かを判定するためには、フレームヘッダを解析する必要がある。

暗号化された復元データを保存するためにフレームにおいて必要とされるデータ空間のサイズは、状況に応じて異なるが、復元ヘッダ情報を格納するために、フレーム毎に少なくとも数バイトの容量が必要である。変更されたスペクトルラインのための復元データを格納するために必要なデータ容量は、変更されたラインの数及び性質に依存する。この手法の実験的な試行によれば、ウォータマークが付されるマテリアルの初期ビットレートが１２８ｋｂｉｔ／ｓの場合、フレーム毎に約１００バイトが必要となるが、この数値は、ビットレートが１２８ｋｂｉｔ／ｓから１６０ｋｂｉｔ／ｓに増加すれば、必要なフレームサイズもこれに影響されて（これに応じて）更に１００バイト増加する。この計算については、後に説明する。

全体のビットレート「Ｂ」を変数として、データフレーム毎のバイト数「ｂｐｆ」は、数式によって求めることができる。ＭＰＥＧ１レイヤ３の場合、この数式は以下の通りとなる。

bpf = 144 * B / SR
「通常の」（すなわち、非可変ビットレート（non-'variable bit rate：non-BVR））ＭＰ３ファイルにおけるビットレートは、限られた数の規定値のうちの１つとして選択される。例えば、ＭＰＥＧ１レイヤ３の場合、これらの規定値は、３２，４０，４８，５６，６４，８０，９６，１１２，１２８，１６０，１９２，２２４，２５６，３２０ｋｂｉｔ／ｓである。

したがって、オーディオサンプリングレートが４４．１ｋＨｚのファイルについて、ビットレートが１２８ｋｂｉｔ／ｓから１６０ｋｂｉｔ／ｓに増加したとすると、これにより必要となる追加的な容量は、以下のようになる。

144 * (160,000 - 128,000) / 44100 = 約104.5 バイト／フレーム
ビットレートを同じに維持しながら、与えられたいかなるオーディオフレームにおいても、補助的データ（ancillary data）をmain_dataに添付できることを保証することは難しいため、高いビットレートへの移行は非常に有効であると考えられる。これは、エンコーダの裁量によってオーディオフレームを３個のデータフレームに亘って格納できる、所謂「ビット貯蓄（bit reservoir）」のためである。オーディオフレームが（補助的領域の添付、main_data値の変更又は他のなんらかの処理によって）拡張されると、波及効果（multiple knock-on effect）が生じる虞があり、これにより後続するフレームを、利用可能な空間に格納できなくなることがある。以下、基本的な処理について、図４ａに示すフローチャートを用いて説明する。

ステップ２００において、ウォータマークをメモリに読み込み、（フレーム毎に、又はその全体に亘って）逆アセンブルする。次に、ウォータマーク付与処理によって要求されるウォータマークからのスペクトル情報を保存する。この処理段階において、実際のスペクトル値を利用できるように、関連するハフマンテーブル及び他の関連する情報（例えば、換算係数）を参照するとよい。

ステップ２０５において、初期のソースフレームヘッダ（及び幾つかの初期フレームの場合もある。）を読み出し、フレームフォーマット、使用可能な復元データ用の空間等を判定する。続いて、各ソースファイルフレームについて適用されるループ処理（ステップ２１０〜ステップ２４０）が開始される。

ステップ２１０において、次のソースファイルフレーム及び次のウォータマークファイルフレームを読み出す。ステップ２１５において、現在の処理に基づいて、変更すべきスペクトルラインを判定し、その処理に関連するソースファイルフレームの周波数ラインのスペクトル情報を復元領域（例えば、ＲＡＭ５０の一部）に保存する。

次に、ステップ２２０において、現在のソースファイルフレームにウォータマークの現在のフレームを適用する。この処理は、ループ処理として繰り返されるので、ウォータマークの第１のフレームがソースファイルの第１のフレームに適用され、以下、第２のフレームについても同様な処理が行われる。ウォータマークのフレーム数がソースファイルのフレーム数より少ない場合、ウォータマークフレームを繰り返して用いる。

処理によって決定される各スペクトル線の元の値は、以下に示す２つの手法のうちのいずれかに基づいて変更される。
・ウォータマークからのシーケンス内の対応するフレームを参照して、ウォータマーク内の対応するラインの値によって元の値を置き換える。このとき換算係数ｋによる乗算又は換算係数ｋを用いたこの他の変更を行ってもよい。（換算係数ｋは、多くの場合１又は０であってもよく、或いは１又は０以外の値でもよい。換算係数ｋは、変数であってもよく、この場合、換算係数は、復元データとともに保存される。また、この換算係数は、少なくとも特定のソースファイルに対しては固定の値であってもよく、この場合、そのファイルにおいて１回のみ値が示され、又は保存される）。
・元の値をウォータマークからの関連する値と結合する。例えば、５０：５０の平均化処理を行う。

これらの手法はいずれも、元の値を置き換えるスペクトル値が元のラインについて用いられたハフマンテーブルと同じハフマンテーブルから導出されている場合、最もうまく機能する。置換処理において要求される正確な値をテーブルが含んでいない場合、最も近い値を返すハフマン符号が用いられる。いずれの場合も、置換値を決定する際に、各ラインに影響を与える換算係数を考慮に入れてもよい。

ウォータマークを適用した後、ステップ２２５において、変更したヘッダ情報を含む、各フレームについて変更したフレームデータを保存する（例えば、ディスクストレージ６０に保存する）。ステップ２３０において、そのフレームに適用できる復元データを暗号化して保存する。

ステップ２２５においては、既存のオーディオフレームにウォータマークを適用し、復元データ（ステップ２１５において保存された）をオーディオフレームのmain_data領域にancillary_dataとして追加するために必要な更なる空間を確保するために、ビットレートを高めるようにフレームヘッダを変更してもよい。最初に書き込むべき情報は、どのスペクトル帯域が保存されているか、及び可能なＵＭＩＤ（ＳＭＰＴＥユニバーサルマテリアル識別子）又はメタデータ情報であり、次に実際の保存された帯域を書き込む。更に、認証を受けていない者が元のデータを復元することを防ぐために、データを暗号化する必要があり、ここでは、周知のキーを用いたソフトウェア符号化法を用いる。

ヘッダデータを変更し、復元データを保存するために、使用可能なデータ容量を増加させる処理を図６ａ及び図６ｂを用いて説明する。図６ａでは、ヘッダは、あるビットレートを特定し、これにより各フレームのサイズが定まる。図６ｂでは、ヘッダは、より高い規定値（例えば、次に高い規定値）に変更されている。これにより、フレームサイズを大きくできる。ヘッダ、side_info及びmain_data部分のサイズは大きくならないため、フレームサイズが大きくなった分、ancillary_data領域が増加する。

ステップ２４０において、全てのソースファイルが処理されたか否かを判定する。全てのソースファイルが未だ処理されていない場合、ステップ２１０〜ステップ２４０を繰り返し、全てのソースファイルが処理されるまで、必要に応じてウォータマークをファイルを繰り返し使用する。図５ａ〜図５ｃは、この処理を示しており、ここでは、ウォータマークファイル３１０は、ソースファイル３００より短い。ウォータマークファイル３１０は、ソースファイル全体にウォータマークを適用するために必要な回数だけ繰り返して用いられている。

全てのソースファイルの処理が終了すると、ステップ２５０において、そのファイルに関するこのフローチャートに示す処理が終了する。

変更されたスペクトルラインデータ及び暗号化された復元データを含むウォータマークが付されたファイルは、例えばディスク６０に保存され、及び／又はネットワーク９０を介して送信される。

上述の手法では、変更は、オーディオフレーム毎に行っている。ＭＰ３規格では、複数のデータフレームに亘ってオーディオフレームを設けることを許容している。

図４ｂは、ウォータマークが付されたファイルからウォータマークを取り除く処理を説明するフローチャートである。

ステップ２５５において、ウォータマークが付されたファイルのフレームをロードする（例えば、図１に示すＲＡＭ５０にロードする）。ステップ２６０において、上述したキーを用いて、そのフレームに関連する復元データを復号する。ステップ２６５において、復元データをウォータマークが付されたファイルに適用し、ヘッダ及びオーディオデータを含む対応するソースファイルを再構築する。ここで用いる「適用する（applied）」という用語は、先に行ったソースファイルにウォータマークを適用する処理とは逆の効果を有する処理を行うことを意味する。実際には、復元段階では、処理を設定する必要がなく、帯域を選択する必要がない等のため、この処理は、ウォータマークの適用に比べて、潜在的により単純である。各フレームに対して、次のような処理を行う。
ａ．復元情報を復号する（最初のデータは、例えば暗号化された「データ長」フィールドである）。
ｂ．復元データの処理部分を解析し、どの位置に何を戻すことが適切かを確認する。これは、全てのフレームについて同じである場合もあり、この場合、非ストリーミングウォッシング（non-streaming washing、例えば処理自体）のために第１のフレームにおいてのみ解析を行ってもよい。また、これは、実際のスペクトル情報と同様にフレーム毎に異なる場合もある（処理に依存してもよい）。ストリームを復元するためには、復元データが全てのフレームに対する処理を含むことが好ましい。
ｃ．復元データを用いて、フレーム内の変更されたデータをその（元の）値によって上書き又は変更する。
ｄ．新たなフレームヘッダ（元のフレームレートを再設定する。）、side_info、main_dataを書き込む。但し、復元データは書き込まない。

ウォータマーク付与処理と同様に、上述の処理は、オーディオフレームがデータフレームと１：１の関係を必ずしも有していないために、データフレームを解放する前に何らかのバッファリング処理が必要になる場合があるため、複雑な処理となることがある。

なお、（ウォータマーク付与処理と同様）、元のマテリアルの復元は、データを時間領域データ（オーディオサンプル）レベルに復号することなく実行することができる。

ステップ２７０において、ウォータマークが付された更なるフレームを処理すべき場合、処理は、ステップ２５５に戻る。この他の場合、処理は、ステップ２７５に進み、終了する。

変形例
上述した基本的な処理は、幾つかの手法で変形することができる。以下では、幾つかの変形例を説明し、これらの変形例を個別に又は組み合わせて用いて、上述した基本的な処理を変更することができる。

１．置換される周波数ラインを選択する手法
基本的な処理では、単純に、固定された周波数ラインの組を変更した。この処理を図７ａ〜図７ｃに示す。図７ａは、ソースファイルの１個のフレームの１６個の周波数ラインのグループを示している。図７ｂは、ウォータマークファイルの対応するフレームにおける対応する１６個の周波数ラインのグループを示している。ウォータマークファイルのラインは、影付きで示している。図７ｃでは、所定の（固定された）置換処理に基づいて、ソースファイルの（図面の上から下の順の序数として）第２、第４、第８、第１０、第１４、第１６のラインがウォータマークファイルの対応するラインによって置換されている。

マテリアルの性質に応じて処理を変更する変形例により、よりよい結果（例えば、より主観的に理解できる結果）が期待できる。以下、３個の変形例１．１、１．２、１．３を示す。

変形例１．１
ウォータマークを分析することによって変更するスペクトルラインを選択する。ステップ２００においてウォータマークを逆アセンブルするとき、スペクトル情報を調べ、各フレームにおいてどの周波数ラインが優勢であるかに基づいて、重み付けテーブルを作成する。全てのウォータマークフレームが読み出されると、（ウォータマークファイル全体に亘って平均化された）最も頻繁に優勢であったスペクトルラインを用いて、ソースファイルフレームにおいて使用可能な空間を考慮に入れて、全てのフレームにウォータマークを付す。

変形例１．２
各ウォータマークフレームにおいて優勢なラインに基づいて、変更するソースファイルラインをフレーム毎に変更する。各ウォータマークフレームについて、優勢な度合いによってソートされた周波数ラインテーブルを作成する。各ソースファイルフレームを処理するとき、現在のウォータマークフレームにおいて最も優勢な周波数ラインを変更するように選択する。この処理を図８ａ〜図８ｃに示す。上述の場合と同様、図８ａは、ソースファイルの１個のフレームの１６個の周波数ラインのグループを示し、図８ｂは、ウォータマークファイルの対応するフレームにおける対応する１６個の周波数ラインのグループを示している。図８ｃは、ウォータマークフレームの最も優勢なライン（図８ｂにおける最も長いライン）を用いてソースファイルのラインを置き換えた結果を示している。ここでは、４個のラインのみを置換している。これは、後述する変形例１．４において説明する適応置換処理（adaptive substitution process）を示している。

変形例１．３
ウォータマークファイル及びソースファイルのスペクトルデータに基づいて、変更すべきソースファイルのラインを変更する。一具体例として、ウォータマークが付される前のラインと、ウォータマークが付された後のラインとの差に基づいて、重みを算出し、最も高い得点を得るライン（差が大きいほど、ウォータマークによってソースファイルの価値が下がる程度が大きくなる）を選択する。これにより、ソースファイルのハフマン符号化テーブルがウォータマーク値を含んでいない可能性を低くできる。この処理を図９ａ〜図９ｃに示す。図９ａは、ソースファイルの１個のフレームの１６個の周波数ラインのグループを示し、図９ｂは、ウォータマークファイルの対応するフレームにおける対応する１６個の周波数ラインのグループを示している。図９ｃは、２つのフレームの対応するライン間の「距離」（この図式的表現における長さの差）を表している。現在の処理が幾つのラインを置換できるかに応じて、最も距離が大きいものから順に、ｎ個のラインを選択して置換する。

変形例１．４
ここでは、擬似ランダム的にラインを選択する。換算するラインは、シード値によってシードされた擬似ランダム順に基づいて決定することができる。シード値は、ファイル全体に対する復元データの一部であってもよく、復号キーから導出してもよい。

上述した全ての手法、すなわち基本的な処理及び変形例１．１〜１．４は、ソースファイルラインをウォータマークファイルラインで置き換える方式、又はソースファイルラインをウォータマークファイルラインに基づいて変更する方式、及びこれらを組み合わせた方式のいずれにも適用できる。処理を固定する基本的な方式では、どのラインが変更されたかに関する情報を各フレーム毎に保存する必要はない。より適応化された処理では、単純な手法としては、どのラインが変更されたかを示す情報を復元データとともに保存する。実際には、復元データを復号することにより、復元情報が与えられたラインを復元データが特定するので、どのラインが変更されたかを示す情報は暗示される。

変形例１．５
ここでは、変更されるラインの数を適応化する。所定の又は固定されたラインの数を変更する必要は必ずしもない。ラインが固定された処理（上述した基本的な処理）においても、各フレームについて、変更するラインの数を変えることができる。この処理は、所望の順序（order of preference）（及び、変更が許可されるラインの最大数）に基づいて、ラインの数を変えることができる。ステップ２１０（図４ａ）において、ancillary_dataセクションの予備の空間の容量を判定することができる。必要な復元データのデータ量がancillary_dataにおいて使用可能な容量に適合するように、変更する複数のラインを選択する。ファイルの全体のビットレートを変更することによってancillary_dataの容量が増加する場合は、この増加も考慮する。

上述した変形例１．２、１．３では、変更すべき周波数ラインは、フレーム毎に変えられている。選択された帯域の変化のレートが高すぎると、可聴な副次的効果が生じる。このような副次的効果は、関連する重み付け処理の結果を低域通過フィルタリングすることによって、換言すれば、変更されるスペクトルラインの組に許可されるフレーム間の変化の量を制限することによって低減することができる。また、変更される周波数ラインのオーディオ周波数が高すぎる場合にも、好ましくない副次的効果が生じることがある。このような問題を回避するために、変更される周波数ラインによって表されるオーディオ周波数を制限してもよい。

同様に、ウォータマークファイル及びソースファイルの周波数ラインが短い又は長いブロック内にある場合、これらを直接置換することは好ましくない。更なる復号又は再符号化のいずれかが行われる場合もあり、又は置換が元のソースファイルと同じ符号になる場合もある。このような点に鑑み、ＭＰ３ファイルは、時間領域と空間領域との間の変換について、２つの異なるモディファイド離散コサイン変換（modified discrete cosine transform：以下、ＭＤＣＴという。）ブロック長に基づくスペクトル情報を保存してもよい。所謂「長いブロック（long block）」は、１８個のサンプルから構成され、「短いブロック（short block）」は、６個のサンプルから構成される。このように２つのブロックサイズを設ける目的は、時間分解能又は周波数分解能のいずれかについて、変換を最適化し又は少なくとも向上させるためである。短いブロックは、時間解像度に優れているが周波数解像度に劣っており、長いブロックはこの逆である。ＭＤＣＴ変換は、２個のブロックサイズについて異なるので、一方のタイプのブロックからの係数の組（すなわち、周波数ライン）は、他方のタイプのブロックに直接置換することができない。

更に、ウォータマークのステレオ符号化モードがソースファイルのステレオ符号化モードと異なる場合にも、好ましくない結果が生じる虞がある。このような場合、ウォータマークに対する更なる復号及び再符号化を用いてもよい。

変形例１．１〜１．５の全てにおいて、ウォータマーク付与処理において変更されるソースファイル周波数ラインの数は、固定され数（処理により導出される数、ユーザによって指定された数、又はハードコーディングされた数）に制限してもよく、又は使用可能な復元データ用空間によって制限してもよく、これら両方の手法を組み合わせてもよい。どの手法（単純な固定ライン法も含む）が最も好適かは、利用可能な処理パワー、ソースファイル及びウォータマークの性質、ソースファイルの価値を（ウォータマークによって）どれほど低下させる必要があるか等を含む様々な要素に依存する。

２．ハフマンテーブル及び換算係数の変更
以上では、main_dataスペクトル情報の変更（及び復元データ保存）のみに関する説明を行った。ここで、例えば特定の周波数ラインのスペクトルデータに対して用いられるハフマンテーブル等、元のデータの他の要素を変更することもできる。これは、変更されたスペクトルデータに対して、正確な符号（及び近似的なポストルックアップ値（post-lookup value）を与える正確ではない符号）。

同様に、side_info及びmain_dataにおける換算係数も、ウォータマークスペクトルデータのスペクトルレベルをより正確に表現するように変更してもよい。これにより、（例えば）ウォータマークが付されたマテリアル内のウォータマークのレベルが、ソースファイルマテリアル内のレベルに応じて変化するといった好ましくない効果を低減することができる。

３．復元データを保存する手法
上述のように、復元データを隠す最適な手法は、各オーディオフレーム内のancillary_dataスペースを用いることである。これは、既存の空間を用いて行ってもよく、ビットレートを高めて追加的な空間を生成して行ってもよい。この手法は、保存された復元データが関連するフレーム内に格納され、各フレームが、他のフレームを参照することなく復元できるという利点がある。ここで、次のような他の手法を用いることもできる。
・ＭＰ３フォーマットは、ファイルの一部、通常はファイルの最初又は最後に特別なＩＤフレームを設けることを許容している。このような特別なＩＤフレームを用いて、例えばＵＭＩＤ及びメタデータ情報、ウォータマーク方式、固定ウォータマークマスク等、全てのフレームに共通な、ウォータマーク処理に関する情報を保存してもよい。
・復元データは、データブロック（ＭＰ３フォーマットである必要はない。）として単にＭＰ３に添付してもよい。

４．big_value領域以外における周波数ラインの使用
４．１ ウォータマークのCount_1領域の使用
上述の手法では、ウォータマークを付すために、main_dataセクションのbig_value領域内のスペクトルデータを変更している。ウォータマークファイル及びソースファイルのスペクトルデータもそれぞれのmain_dataセクションのcount_1領域に保存される。これらの領域からのデータをウォータマークの付与に用いることができ、（例えば）count_1領域内にウォータマークが重要なスペクトル情報を有している場合に、ウォータマークが付されたファイルの品質を向上させることができる。

４．２ ソースファイルの領域境界の再定義
ソースファイルは、ソースファイルのbig_value領域又はソースファイルのcount_1領域のいずれか（又は全て）の長さを長くすることによって、より容易にウォータマークを格納することができる。例えば、ウォータマークは、ソースファイルフレームのcount_1領域内の周波数ラインに対応する周波数ラインをbig_value領域内に有していてもよい。又は、ウォータマークは、ソースファイルフレームのゼロ領域内の周波数ラインに対応する周波数ラインをcount_1に有していてもよい。これは、例えば領域の境界の変更を考慮に入れる等、更なる復元情報が必要な場合に要求される。

５．ファイルとストリーミング
上述の説明では、ウォータマークシステムの入力データと出力データをＭＰ３ファイルと仮定している。このシステムを拡張又は変更して、例えば放送環境（この場合、処理がデータストリームの最初又は最後にアクセスする可能性が低い。）等において、ストリーミングデータを処理するようにしてもよい。したがって、上述の説明では「ファイル」という用語を用いているが、同じ技術をストリーミング信号である可能性があるオーディオ「信号」にも同様に適用する必要がある。ここでは、各フレームが、全ての変更ライン処理情報及びウォータマーク（によって変更される）に使用されるラインの記述又は定義を含む、そのフレームの復元に必要な全ての復元データを含み、復元データ用の復号キーは、全てのフレームについて同じであるか、又は各フレーム内のデータから算出可能である（キー自体の公開キー符号化方式を利用してもよい）ことを確実にする必要がある。更に、パッドビットによってデータフレームのサイズが変化することを考慮する必要もある。フレームサイズは、フレーム毎の平均ビットレートを一定に維持するために変更される。

６． 固定トーンウォータマーク（Fixed tone watermarks）
上述の実施例では、ウォータマーク信号は、ウォータマークファイルに由来し、ソースファイルの長さに適合させるために必要な回数だけ繰り返して用いている。この変形例として、ウォータマークスペクトルデータを固定トーン（fixed tone）、雑音源、又はこの他の循環的又は反復的信号生成器から直接生成してもよい。この手法は場合によっては複雑であり、ソースファイル信号のコンテンツに適合するように制御する必要があるが、これにより、不正なウォータマークの除去をより困難にするような変調を行うことができる。

この手法は、（例えば）ソースファイルの自動的な価値の低減が要求され、且つ特別なウォータマークコンテンツが要求されない場合に有用である。後述する変形例７．１、７．２では、これに関連するこの他の手法を説明している。

７．スペクトルラインのインタリーブ
ウォータマークからのスペクトルラインを用いてソースファイルのラインを変更又は置換することに代えて、インタリーブ処理を用いることもできる。この手法では、ソースファイルのラインを、独立したウォータマークファイル又は直接生成された信号を参照することなく、交換し、換算し、又は削除する。ソースファイルの元の状態を復元するために必要なデータは、復元データとして保存する。交換し、換算し又は削除するラインは、フレーム毎に又はこの他の間隔で変更してもよい。変形例７．１、７．２のいずれにおいて処理されるラインも、上述した処理のいずれに基づいて選択してもよい。変形例７．１、７．２は、組み合わせて適用してもよい。

変形例７．１ インタリーブ／交換
一変形例においては、ソースファイルにおいて、ラインのグループを交換（interchange）する。この変形例に関連する復元データは、ラインを特定するのみのデータでよく、したがって、比較的小さなデータとすることができる。ラインの交換は、シード値によってシードされた擬似ランダム順に基づいて実行してもよい。この場合、シード値がファイル全体及び復号キーの復元データを構成してもよい。スペクトルラインのインタリーブ／交換は、必ずしも単一のフレーム内に限定されるわけではない。スペクトルラインのインタリーブ／交換は、フレーム間（例えば、連続するフレーム間）で行ってもよい。

この手法の具体例を図１１ａ及び図１１ｂに示す。上述と同様、図１１ａは、ソースファイルの１個のフレームの１６個の周波数ラインのグループを示している。図１１ｂは、ウォータマークファイルの対応するフレームにおける対応する１６個の周波数ラインのグループを示している。これらのラインは、隣り合う対同士が交換され、すなわちソースファイルの第１のラインと第２のライン（図面の上から下に番号を振っている）、第３のラインと第４のライン、第５のラインと第６のラインを交換している。これは、説明を明瞭にするための単純な具体例である。もちろん、これより複雑な交換規則を用いて、適切なキーがなくては復元が困難になるようにしてもよい。

変形例７．２ 削除（Deletion）
ここでは、ソースファイルの選択されたスペクトルラインを削除する。この手法に関連する復元データは、削除されたラインを表すデータである必要がある。

８．複数のレベル
例えばそれぞれ異なるキーによってアクセスされる２組以上の復元データを設けてもよい。第１のレベルでは、全てのウォータマークメッセージ（例えば、口頭メッセージ（spoken message））を取り除くことができるが、未処理の雑音（劣化）が残留し、このためプロフェッショナルの用途又は高い忠実度が求められる用途には適さない。第２のレベルでは、このような雑音も取り除くことができる。ユーザが第２のレベルに対応するキーを入手するために、ユーザに対してより高い料金を要求してもよく、及び／又は第２のレベルに対応するキーの使用をプロフェッショナルユーザ等、特定のクラスのユーザのみに限定してもよい。

９．部分的復元
ユーザが所定の料金を支払って、ある期間（例えば、タイムコード０１：３０：４５：００から０１：３１：４４：２９までの６０秒間）のデータの復元を可能とするようにしてもよい。このためには、ユーザの支払いに対応する期間を特定し、その期間のみに関して復元データを適用する追加的な処理が必要になる。

このような部分的な復元のための上述の処理の変形例を次に示す。
・ウォータマーク処理の間、個々のフレーム（又はフレームのグループ）の復元データを異なるキーの予測可能なシーケンスによって符号化する。
・ウォッシング（復元）時には、要求されたセグメントの範囲に対応するフレームのみを復元する。これらは、ａ．元のビットレートによって独立したファイルとして書き込んでもよく、ｂ．ウォータマークファイル内に埋め込まれた復元されたセグメントとして書き込んでもよく、この場合、全てのフレームは、高められたビットレートで書き込まれる（ファイルのセクションが異なるビットレートを有することは、推奨されている規格に違反する）。

応用例
図１０ａは、ウォータマークファイルを受け取り、処理する構成の具体例を示している。デジタル放送信号は、アンテナ４００（例えば、デジタルオーディオ放送アンテナ又は衛星放送アンテナ）を介して供給され、ケーブル接続（図示せず）からセットトップボックス（set-top box：ＳＴＢ）４１０に供給される。「セットトップボックス」とは、放送信号又はケーブル信号を処理する復調器及び／又は復号器及び／又は平文化器を指す。なお、ＳＴＢ４１０は、文字通りテレビジョンセット又はこの他のセットの上に設置する必要はなく、また、「セット」もテレビジョンセットである必要はない。

ＳＴＢ４１０は、電話回線（モデム）接続４２０を介してコンテンツプロバイダ（図示せず。但し、図２に示す「オーナ」１００と同等）に接続されている。コンテンツプロバイダは、上述した可聴ウォータマークが適用されて、故意に価値が低減されたウォータマークが付されたオーディオファイルを供給する。ＳＴＢ４１０は、これらの信号を「ベースバンド」（アナログ）フォーマットに復号する。このベースバンド信号は、テレビジョンセット、ラジオセット又は増幅器４３０によって増幅され、これに基づく音がラウドスピーカ４４０から出力される。

実際の動作においては、ユーザは、ウォータマークが付されたオーディオコンテンツを受け取り、これを試聴する。ここで、ユーザが、ウォータマークが付されていないバージョンを望んだ場合、ユーザは、（例えば）ＳＴＢ４１０上の又はリモートのコマンド装置（図示せず）上の「支払い」ボタン４５０を操作する。ユーザがプロバイダに対してアカウント（支払い方法）を確立している場合、ＳＴＢ４１０は、単に、電話回線接続４２０を介してコンテンツプロバイダに要求を送信し、これに応じて復号キー４２０を受け取り、この復号キー４２０を用いて、上述したように、ウォータマークが付されたファイルから復元データを復号することができる。支払い方法が確立されていない場合、ユーザは、例えばＳＴＢ４１０にクレジットカード番号を入力（タイプ又はスワイプ（swipe））し、このクレジットカード番号は、この取引に関連付けてコンテンツプロバイダに送信される。

コンテンツプロバイダによって提供されているサービスに応じて、ユーザは、ウォータマークが付されていないコンテンツを１回だけ再生する権利を購入することもでき、又はユーザが望む限り何度でも再生する権利を購入することもでき、又は制限された回数のみ再生する権利を購入することもできる。

図１０ｂに示す第２の構成例では、受信機４６０は、少なくとも復調器、復号器、平文化器及びオーディオ増幅器を備え、これによりアンテナ４００（又はケーブル接続）を介して供給されてくるウォータマークが付されたオーディオデータを処理する。受信機４６０は、更に、「スマートカード（smart card）」リーダ４７０を備え、このスマートカードリーダ４７０には、スマートカード４８０が挿入される。現在の他の放送サービスと同様に、スマートカード４８０は、ユーザが受け取ることのできるコンテンツサービスの組を特定する。ユーザがどのコンテンツサービスを享受できるかは、ユーザと、コンテンツプロバイダ又は放送業者との間で確立された支払い契約に基づいて決定される。

コンテンツプロバイダは、上述のようにしてウォータマークが付されたコンテンツを放送する。このコンテンツは、適切な受信機を有する全ての者が受け取り、試聴することができる（但し、ウォータマークが付された、すなわち価値が低減された形式で）。これにより、ウォータマークが付されていないマテリアルを受け取るために、料金を支払うことをユーザに促すことができる。コンテンツを聴取することを許可するスマートカードを有するユーザは、復元データを復号し、ウォータマークによって価値が減じられていないコンテンツを聴くことができる。例えば、復号キーは、スマートカードに格納することができ、これにより電話回線に接続して復号キーを受け取る必要がなくなる。

もちろん、図１０ａ及び図１０ｂに示す具体例の間でスマートカードと電話回線を介した支払い処理は、交換することができる。これら２つの手法を組み合わせて用いることもでき、これによりユーザは、スマートカードを用いてサービスの基本セットを聴取し、電話回線を用いて、他の（プレミア）コンテンツサービスに関するキーを受け取ることができる。

上述した本発明の実施例の少なくとも一部は、ソフトウェアによって制御されるデータ処理装置によって実現することができ、このようなソフトウェア制御を提供するコンピュータプログラム、及びこのようなコンピュータプログラムを記録又は伝送する記録媒体又は伝送媒体も本発明の範囲内にある。なお、上述した構成及び変形例の一部では、復元されたファイルは、ウォータマークが付される前の元のファイルとビット単位で同一ではない場合もある。ここで、ＭＰ３と他の符号化法とで同等に音を表現する手法があり、したがって、入力ファイルとビット単位で同一ではない最終的なファイルも、入力ファイルと同じように再生される。例えば、データフレームが異なっていてもよく、ancillary_dataにおける未使用領域の大きさが異なっていてもよい。このような相違は、本発明の実施の形態において許容される。

添付の図面を用いて本発明の実施例を詳細に説明したが、本発明はこれらの詳細な実施例に限定されるものではなく、当業者は、添付の特許請求の範囲に定義された本発明の範囲及び思想から逸脱することなく、ここに説明した実施例を様々に変形及び変更することができる。

オーディオデータ処理装置の構成を示すブロック図である。 本発明の商業的な利用を説明する図である。 ＭＰ３フレームの構造を示す図である。 ソースファイルにウォータマークを適用する処理を説明するフローチャートである。 ウォータマークが付されたファイルからウォータマークを取り除く処理を説明するフローチャートである。 ソースファイルへのウォータマークの適用を説明する図である。 ビットレート変更を説明する図である。 ソースファイルの周波数ラインの置換を説明する図である。 ソースファイルの周波数ラインを最も顕著なウォータマーク周波数ラインによって置換する処理を説明する図である。 ソースファイルとウォータマークファイルの周波数ラインの間の距離の検出を説明する図である。 ウォータマークデータを受け取り、処理する装置の構成を示す図である。 ソースファイルの周波数ラインの交換を説明する図である。

Claims (42)

1. 各周波数帯域における音の貢献を表す帯域データ成分を含むスペクトル符号化オーディオ信号を処理する信号処理装置において、
   １以上の上記帯域データ成分のサブセットを変更し、変更された帯域データ成分を有する帯域変更デジタルオーディオ信号を生成するステップと、
   上記変更された帯域データ成分の元の値を再構築するための復元データを生成するステップとを有する信号処理方法。
2. 上記復元データを暗号化するステップを有する請求項１記載の信号処理方法。
3. 上記復元データは、上記帯域データ成分のサブセットを含むことを特徴とする請求項１記載の信号処理方法。
4. 上記帯域データ成分のサブセットを変更するステップは、１以上の上記帯域データ成分を、換算係数に乗算された、スペクトル符号化デジタルオーディオウォータマーク信号からの対応する帯域データ成分によって置換するステップを有することを特徴とする請求項１記載の信号処理方法。
5. 上記帯域データ成分のサブセットを変更するステップは、スペクトル符号化デジタルオーディオウォータマーク信号からの対応する帯域データ成分によって置換するステップを有することを特徴とする請求項１記載の信号処理方法。
6. 上記帯域データ成分のサブセットは、上記帯域データ成分の所定のサブセットであることを特徴とする請求項１記載の信号処理方法。
7. 上記復元データは、上記帯域データ成分のサブセットにどの帯域データ成分が含まれるかを定義することを特徴とする請求項１記載の信号処理方法。
8. 上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定し、該最も顕著な帯域データ成分によって上記帯域データ成分のサブセットを構成するステップを有する請求項４記載の信号処理方法。
9. 上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定するステップは、どの帯域データ成分が該ウォータマーク信号の全体において最も顕著であるかを判定するステップであることを特徴とする請求項８記載の信号処理方法。
10. 上記ウォータマーク信号と上記デジタルオーディオ信号は、それぞれ該ウォータマーク信号と該デジタルオーディオ信号の各期間を表す連続するデータフレームとして符号化され、上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定するステップは、
    ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号における１以上の上記データフレームのグループにおいて最も顕著であるかを判定し、該最も顕著な帯域データ成分によって、上記デジタルオーディオ信号の対応する１以上のフレームのグループに関して、上記帯域データ成分のサブセットを構成するステップを有することを特徴とする請求項８記載の信号処理方法。
11. 上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定し、該最も顕著な帯域データ成分によって上記帯域データ成分のサブセットを構成するステップを有する請求項５記載の信号処理方法。
12. 上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定するステップは、どの帯域データ成分が該ウォータマーク信号の全体において最も顕著であるかを判定するステップであることを特徴とする請求項１１記載の信号処理方法。
13. 上記ウォータマーク信号と上記デジタルオーディオ信号は、それぞれ該ウォータマーク信号と該デジタルオーディオ信号の各期間を表す連続するデータフレームとして符号化され、上記ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号の少なくとも一部において最も顕著であるかを判定するステップは、
    ウォータマーク信号のどの帯域データ成分が該ウォータマーク信号における１以上の上記データフレームのグループにおいて最も顕著であるかを判定し、該最も顕著な帯域データ成分によって、上記デジタルオーディオ信号の対応する１以上のフレームのグループに関して、上記帯域データ成分のサブセットを構成するステップを有することを特徴とする請求項１１記載の信号処理方法。
14. 上記ウォータマーク信号及びデジタルオーディオ信号の少なくとも対応する部分において、該ウォータマーク信号のどの帯域データ成分が該デジタルオーディオ信号の対応する帯域データ成分から最も顕著に異なるかを判定し、該最も顕著に異なる帯域データ成分によって上記帯域データ成分のサブセットを構成するステップを有する請求項４記載の信号処理方法。
15. 上記ウォータマーク信号及びデジタルオーディオ信号の少なくとも対応する部分において、該ウォータマーク信号のどの帯域データ成分が該デジタルオーディオ信号の対応する帯域データ成分から最も顕著に異なるかを判定し、該最も顕著に異なる帯域データ成分によって上記帯域データ成分のサブセットを構成するステップを有する請求項５記載の信号処理方法。
16. 上記帯域データ成分のサブセットを構成する上記帯域データ成分は、擬似ランダム関数によって定義されることを特徴とする請求項７記載の信号処理方法。
17. 上記デジタルオーディオ信号は、少なくとも、
    該デジタルオーディオ信号を保存するために使用可能なデータ領域の量を特定するフォーマット定義データと、
    上記帯域データ成分と、
    ０以上の補助データ空間とを含むフォーマットを有することを特徴とする請求項１記載の信号処理方法。
18. 上記復元データを補助データ空間に格納するステップを有する請求項１７記載の信号処理方法。
19. 上記フォーマット定義データを変更し、上記デジタルオーディオ信号を保存するためのより大きなデータ領域を特定して、上記補助データ空間のサイズを大きくするステップを有する請求項１７記載の信号処理方法。
20. 上記復元データを上記帯域変更デジタルオーディオ信号に添付するステップを有する請求項１記載の信号処理方法。
21. 上記復元データのために使用できるデータ容量に応じて、上記帯域データ成分のサブセットにおける帯域データ成分の数を調整するステップを有する請求項１記載の信号処理方法。
22. 各周波数帯域における音の貢献を表す帯域データ成分と、該帯域データ成分のサブセットの元の値を表す復元データとを含むスペクトル符号化オーディオ信号を処理する信号処理方法において、上記復元データに基づいて上記帯域データ成分のサブセットを変更することにより、該帯域データ成分のサブセットの上記元の値を再構築するステップを有する信号処理方法。
23. 上記復元データを復号するステップを有する請求項２２記載の信号処理方法。
24. スペクトル符号化オーディオコンテンツマテリアルを配信する配信方法において、
    請求項１記載の信号処理方法に基づいて、上記スペクトル符号化オーディオコンテンツマテリアルを処理して帯域変更デジタルオーディオ信号及び復元データを生成するステップと、
    上記復元データを暗号化し、被暗号化復元データを生成するステップと、
    上記帯域変更デジタルオーディオ信号及び上記被暗号化復元データを受信ユーザに提供するステップと、
    上記被暗号化復元データを復号するための復号キーを上記受信ユーザに提供するステップとを有する信号配信方法。
25. 上記復号キーを提供するステップは、上記受信ユーザから所定の料金が支払われた場合にのみ実行されることを特徴とする請求項２４記載の信号配信方法。
26. スペクトル符号化オーディオコンテンツマテリアルを受信する信号受信方法において、
    請求項１記載の信号処理方法に基づいて生成された帯域変更デジタル信号及び暗号化された復元データをコンテンツプロバイダから受信するステップと、
    上記暗号化された復元データを復号する復号キーを受信するステップと、
    上記暗号化された復元データを復号し復号された復元データを生成するステップと、
    請求項２２記載の信号処理方法に基づいて、上記復号された復元データを用いて上記帯域変更デジタル信号を処理するステップとを有する信号受信方法。
27. 上記コンテンツプロバイダに料金を支払うステップを有する請求項２６記載の信号処理方法。
28. 請求項１記載の信号処理方法を実行するためのプログラムコードを有するコンピュータソフトウェア。
29. 請求項２８記載のコンピュータソフトウェアを提供する提供媒体。
30. 上記提供媒体は、ストレージ媒体であることを特徴とする請求項２９記載の提供媒体。
31. 上記提供媒体は、伝送媒体であることを特徴とする請求項２９記載の提供媒体。
32. 請求項２２記載の信号処理方法を実行するためのプログラムコードを有するコンピュータソフトウェア。
33. 請求項３２記載のコンピュータソフトウェアを提供する提供媒体。
34. 上記提供媒体は、ストレージ媒体であることを特徴とする請求項３３記載の提供媒体。
35. 上記提供媒体は、伝送媒体であることを特徴とする請求項３３記載の提供媒体。
36. 各周波数帯域における音の貢献を表す帯域データ成分を含むスペクトル符号化オーディオ信号を処理する信号処理装置において、
    １以上の上記帯域データ成分のサブセットを変更し、変更された帯域データ成分を有する帯域変更デジタルオーディオ信号を生成するデータ変更器と、
    上記変更された帯域データ成分の元の値を再構築するための復元データを生成するデータ生成器とを有する信号処理装置。
37. 上記復元データを暗号化する暗号化器を備える請求項３６記載の信号処理装置。
38. 各周波数帯域における音の貢献を表す帯域データ成分と、該帯域データ成分のサブセットの元の値を表す復元データとを含むスペクトル符号化オーディオ信号を処理する信号装置方法において、上記復元データに基づいて上記帯域データ成分のサブセットを変更することにより、該帯域データ成分のサブセットの上記元の値を再構築するデータ変更器を備える信号処理装置。
39. 上記復元データを復号する復号器を備える請求項３８記載の信号処理装置。
40. 請求項３８記載の信号処理装置を備えるセットトップボックス。
41. 請求項３８記載の信号処理装置を備えるオーディオ受信機。
42. フォーマット定義データと、
    帯域データ成分と、
    上記帯域データ成分の変更を定義する暗号化された復元データとを備えるスペクトル符号化オーディオデータ。
    

Images