JP6608380B2 - 耐雑音性を改良した通信システム、方法および装置 - Google Patents

Description

関連出願
[0001]本出願は、それら開示全体が参照により本明細書に組み込まれる、２０１４年２月１０日に出願した米国仮特許出願第６１／９３８，０７２号、および、２０１４年４月１７日に出願した米国仮特許出願第６１／９８１，０１０号の優先権を主張するものである。

[0002]本発明は一般的に電子通信に関し、より詳細には、耐雑音性を改良した通信システム、方法、および装置に関する。

[0003]今日の社会において、我々は、セルラーフォン、無線機などの現代の通信システムに広く依存している。これら装置の大衆性、および、日常生活における該装置の重要性はひたすら増加することであろう。

[0004]雑音および／またはひずみに対する耐雑音性を改良した通信システム、方法、および装置が開示される。一実施形態では、システム、方法、および装置は、雑音によって潜在的にマスキングされる信号の１つまたは複数の要素を特定し、信号を符号化する（例えば、要素を種々の周波数、ドメインなどに移動させる）ことで、信号は送信の中で存在し続ける可能性が高くなる。受信装置は、有効である場合、符号化された信号を復号し、かつ、復号された信号の了解度および／または品質を高めるための追加の処理（例えば、主要な要素を増幅する、雑音を減衰するまたは再生しないなど）を行うことができる。信号を復号できる装置は、「イネーブル装置」と呼ばれる場合がある。有効ではない受信装置は、改良された耐雑音性に対する符号化を知覚せずに信号を受信することになる。

[0005]送信前または送信中のどちらかに１つまたは複数の受信機に対してオーディオ信号が処理可能であるシステム、方法、および装置を提供することが目的である。追加の器械は、送信後（例えば中継局で）信号を処理するために使用されてよい。信号処理によって、音源に存在する場合がある、または、送信中に取得される場合がある望ましくない雑音および／またはひずみの送信に対するオーディオ−ビデオ信号（例えば、音声、音楽など）の耐性を改良することができる。本明細書で使用されるように、耐性は、信号が雑音および／またはひずみの影響を受けにくくするプロセスを指す。

[0006]さらなる目的は、追加の情報を含む処理済みオーディオ−ビデオ信号が未処理のオーディオ−ビデオ信号から知覚的に区別できない場合があるため、処理済み信号を復号しない受信装置のユーザに対して信号品質に知覚的に影響を与えずに、オーディオ−ビデオ了解度および／または音質を改良するシステム、方法、および装置を提供することである。

[0007]通信時の耐雑音性を改良するための方法が開示される。一実施形態では、方法は、（１）少なくとも１つのコンピュータプロセッサが受信された信号の関心領域を判断すること、（２）該少なくとも１つのコンピュータプロセッサが信号の関心領域内でサロゲート候補を判断すること、および、（３）該少なくとも１つのコンピュータプロセッサが関心領域以外の信号の領域におけるサロゲートとしてサロゲート候補を符号化すること、を含むことができる。

[0008]一実施形態では、信号はオーディオ信号を含むことができる。別の実施形態では、信号はビデオ信号を含むことができる。さらに別の実施形態では、信号はその両方を含むことができる。

[0009]一実施形態では、関心領域は信号内の雑音帯域を含むことができる。
[0010]一実施形態では、サロゲート候補は、関心領域内の強度を下回る強度を有する信号の要素を含むことができる。

[0011]一実施形態では、方法は、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用して信号のスペクトル表現を生成することをさらに含むことができる。

[0012]一実施形態では、関心領域以外の信号の領域におけるサロゲートとしてサロゲート候補を符号化するステップは、少なくとも１つのコンピュータプロセッサが信号の位相要素におけるサロゲート候補を符号化することを含むことができる。

[0013]一実施形態では、関心領域以外の信号の領域におけるサロゲートとしてサロゲート候補を符号化するステップは、少なくとも１つのコンピュータプロセッサが強力な周波数要素のマスキング広がり領域内のサロゲート候補を符号化することを含むことができる。

[0014]一実施形態では、関心領域以外の信号の領域におけるサロゲートとしてサロゲート候補を符号化するステップは、少なくとも１つのコンピュータプロセッサが強力な周波数要素のあらかじめ定められた領域内のサロゲート候補を符号化することを含むことができる。

[0015]一実施形態では、方法は、少なくとも１つのコンピュータプロセッサがサロゲートを含む信号を第２の装置へ送信することをさらに含むことができる。
[0016]一実施形態では、方法は、少なくとも１つのコンピュータプロセッサがサロゲートを含む信号から再生信号を生成しかつ再生信号を第２の装置へ送信することをさらに含むことができる。

[0017]別の実施形態によると、通信時の耐雑音性を改良するための方法は、（１）少なくとも１つのコンピュータプロセッサが信号におけるサロゲートとして符号化されたサロゲート候補を特定することと、（２）少なくとも１つのコンピュータプロセッサが信号におけるサロゲート候補を復元することと、（３）少なくとも１つのコンピュータプロセッサが復元されたサロゲート候補を有する信号から再生信号を生成することとを含むことができる。

[0018]一実施形態では、方法は、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用してサロゲートを含む信号のスペクトル表現を生成することをさらに含むことができ、サロゲートはスペクトル表現において特定されてよい。

[0019]一実施形態では、サロゲートは、信号の位相要素にあってよい。別の実施形態では、サロゲートは強力な周波数要素のマスキング広がり領域内にあってよい。さらに別の実施形態では、サロゲートは強力な周波数要素のあらかじめ定められた領域内にあってよい。

[0020]一実施形態では、方法は、少なくとも１つのコンピュータプロセッサがサロゲートを増幅することをさらに含むことができる。
[0021]一実施形態では、方法は、少なくとも１つのコンピュータプロセッサが受信された信号における関心領域を判断することと、少なくとも１つのコンピュータプロセッサが関心領域内の少なくとも１つの信号要素の強度を減衰させることとをさらに含むことができる。

[0022]通信装置が開示される。一実施形態では、通信装置は、メモリと、以下、つまり、信号における関心領域を判断すること、信号の関心領域内のサロゲート候補を判断すること、および、関心領域以外の信号の領域におけるサロゲートとしてサロゲート候補を符号化することを行う少なくとも１つのコンピュータプロセッサと、第２の通信装置と通信するためのインターフェースとを含むことができる。

[0023]一実施形態では、通信装置は、信号を受信するためのマイクロフォンおよびカメラなどの入力装置を含むことができる。別の実施形態では、信号はメモリから受信されてよい。別の実施形態では、信号は通信ネットワークから受信されてよい。

[0024]一実施形態では、通信装置は再生信号を出力するためのスピーカおよび／またはディスプレイなどの出力装置を含んでよい。
[0025]一実施形態では、少なくとも１つのコンピュータプロセッサは、さらに、受信された信号におけるサロゲートとして符号化されたサロゲート候補を特定し、信号におけるサロゲート候補を復元し、復元されたサロゲート候補を有する信号から再生信号を生成し、再生信号を出力することができる。

[0026]一実施形態では、少なくとも１つのコンピュータプロセッサは、さらに、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用して信号のスペクトル表現を生成し、該スペクトル表現を第２の通信装置へ送信することができる。サロゲート候補は、信号のスペクトル表現において符号化されてよい。

[0027]一実施形態では、少なくとも１つのコンピュータプロセッサは、さらに、サロゲートを含む信号から再生信号を生成し、再生信号を第２の通信装置へ送信することができる。

[0028]一実施形態では、少なくとも１つのコンピュータプロセッサは、さらに、サロゲートを増幅することができる。
[0029]一実施形態では、信号はオーディオ信号を含むことができる。別の実施形態では、信号はビデオ信号を含むことができる。さらに別の実施形態では、信号はその両方を含むことができる。

[0030]一実施形態では、関心領域は信号内の雑音帯域を含むことができる。
[0031]一実施形態では、サロゲート候補は、関心領域内の強度を下回る強度を有する信号の要素を含むことができる。

[0032]一実施形態では、サロゲート候補は信号の位相要素において符号化されてよい。別の実施形態では、サロゲート候補は、強力な周波数要素のマスキング広がり領域内で符号化されてよい。さらに別の実施形態では、サロゲート候補は、強力な周波数要素のあらかじめ定められた領域内で符号化されてよい。

[0033]別の実施形態によると、通信装置は、メモリと、以下、つまり、受信された信号におけるサロゲートを特定すること、および、特定されたサロゲートに基づいて受信された信号から再生信号を生成し、かつ、サロゲート候補を有する信号から再生信号を生成すること、を行う少なくとも１つのコンピュータプロセッサとを含むことができる。

[0034]一実施形態では、少なくとも１つのコンピュータプロセッサは、さらに、信号における特定されたサロゲートを復元することができる。
[0035]一実施形態では、通信装置は、再生信号を出力するためのスピーカおよび／またはディスプレイなどの出力装置を含んでよい。

[0036]一実施形態では、受信された信号は第２の通信装置から受信されてよい。別の実施形態では、信号はメモリから受信されてよい。別の実施形態では、信号は通信ネットワークから受信されてよい。

[0037]本発明、ならびに、本発明の目的および利点のより詳細な理解のために、添付の図面に関連してここで以下の説明を参照する。

[0038]一実施形態による、改良された耐雑音性に対する例示のシステムを示す図である。 [0039]有効送信または受信装置についての例示のブロック図である。 [0040]一実施形態による、雑音／ひずみ耐性を改良するための例示の方法を示す図である。 [0041]一実施形態による、サロゲートを符号化する例示の方法のスペクトル例を示す図である。 一実施形態による、サロゲートを符号化する例示の方法のスペクトル例を示す図である。 一実施形態による、サロゲートを符号化する例示の方法のスペクトル例を示す図である。 一実施形態による、サロゲートを符号化する例示の方法のスペクトル例を示す図である。 [0042]埋め込まれたサロゲートを有する受信された信号を復号するための例示の方法を示す図である。 [0043]一実施形態による、狭帯域フィルタを実現するための例示の方法を示す図である。 一実施形態による、狭帯域フィルタを実現するための例示の方法を示す図である。 [0044]隣接している狭帯域フィルタ群を使用して、一実施形態による雑音／ひずみ耐性を改良するための例示の方法を示す図である。

[0045]本発明のいくつかの実施形態、およびそれらの利点は、図１〜図７を参照することによって理解できる。これらの図において、同様の参照符号は同様の要素を指す。本明細書に開示される実施形態は、後述されるように、無限時間にわたる集積を伴う変換を使用して有限時間間隔にわたる解析の固有問題に起因して、オーディオ信号送信の複雑なケースの状況の中にある場合がある。この問題は、ビデオ信号送信の基本単位である「フレーム」が有限数の信号要素（画素）から成る有限エンティティであるため、ビデオ画像では生じない。

[0046]一般に、フーリエ変換、または、このタイプの任意の他の変換は、時間関数を周波数スペクトルに変える。これらの変換は、時間ｔ＝−無限からｔ＝＋無限までの無限時間にわたる平均を含む。また、時間関数は変動しないものであると仮定する（例えば、そのスペクトルは時間と共に変化しない）。本明細書に述べられるオーディオ信号は時間と共に変化する場合があるため、時間信号における関心領域が有限の継続時間の重み関数、例えば、有限の継続時間の方形波によって乗算される短期の周波数変換が使用可能である。この数式処理によって、時間関数は時限重み関数の継続時間に等しい期間によって周期的であるとの仮定を可能にすることができる。

[0047]この仮定された周期関数のフーリエ変換は、関心領域にわたる時変信号の「短期スペクトル」を判断する。周期信号を除いて、実在の信号の解析においてフーリエ変換を適用する度に短期スペクトルを生じさせることは留意すべきである。しかしながら、「短期スペクトル」という用語は、重み関数の継続時間が比較的長い、例えば、オーディオ信号を解析する時の人間の耳の平均化時間を超える時、通常使用されない。省略された用語である「スペクトル」が代わりに使用される。本明細書で使用される専門用語はこの従来の慣例に従う。

[0048]用語「短期スペクトル」またはより一般的な用語「時間周波数要素」は、時変信号の重要な短期の時間的特性を考慮に入れるために短期間の重み関数が必要とされる時使用される場合がある。

[0049]図１は、一実施形態による改良された耐雑音性に対するシステムを示す。システム１００は、例えば、送信装置１１０、通信ネットワーク１２０、ならびに、受信装置１３０および１４０を含むことができる。

[0050]一実施形態では、送信装置１１０および受信装置１３０／１４０は、アナログおよびデジタル信号を含む、オーディオ信号、オーディオ／ビデオ信号、および／または、データ信号を送信および／または受信できる任意の適した装置であってよい。例は、モバイルフォン／装置、固定電話、補聴器、個人用増幅装置、補助聴取装置、ビデオおよびオーディオ会議システム、ヴォイスオーバーＩＰ装置、ストリーミング無線装置、送受信兼用無線機、タブレットコンピュータ、デスクトップおよびノートブックコンピュータ、ワークステーション、電子読み取り装置などを含む。これを開示する目的で、送信装置１１０および受信装置１３０／１４０はオーディオ信号またはオーディオ／ビデオ信号送信および受信両方を行うことができるが、送信および受信のそれぞれは、会話または送信の一部におけるその役割に基づいて参照されるものになる。例えば、会話が開始される時、装置１１０は送信機として、装置１３０は受信機として機能でき、次いで、装置１３０を送信機として機能させて、および、装置１１０を受信機として機能させて、後に会話における役割を切り換えることができる。

[0051]通信ネットワーク１２０は、送信装置１１０と１つまたは複数の受信装置１３０／１４０との間の通信を可能にしてよい。例は、アナログ信号による音声通話システム（ＰＯＴＳ）、セルラーネットワーク、ＷｉＦｉネットワーク、インターネット、衛星ネットワーク、近距離無線通信ネットワーク、ブルートゥースネットワーク、および、それらの任意の組み合わせを含む。任意の適した通信ネットワークは必要に応じておよび／または要望に応じて使用できる。

[0052]一実施形態では、送信装置１１０は、信号を１つまたは複数の受信装置１３０／１４０へ送信する前に信号処理を行うことができる。
[0053]一実施形態では、受信装置１３０は、雑音／ひずみ耐性を改良するために受信された信号を処理／復号することができるが、一方、受信装置１４０は、かかる処理能力を含まなくてよい。

[0054]この開示において、送信装置および受信装置で生じるような処理について説明されるが、処理は、これらの装置から分離できる追加のハードウェア（図示せず）を伴ってよいことが認識されるべきである。さらに、通信ネットワークにおける追加のまたは代替的なハードウェア（例えば、専用中継器、増幅器、コンピュータサーバ、電話局システム、携帯電話基地局など）はさらに、必要に応じておよび／または要望に応じて、通信信号を処理してよい。例えば、中継器は、入力信号を、その雑音／ひずみに対する耐性を改良するために処理することができる。同様に、通信経路に沿った送信機は、例えば、信号のスパーススペクトル表現を生成かつ送信でき、そのスパーススペクトル表現を、逆演算を行うことができる次の受信機へ通信できる。本明細書で使用されるように、「スパーススペクトル表現」は、信号のスペクトル成分が除去されているものである。典型的なスパーススペクトル表現は、例えば、信号の極めて重要な情報保持スペクトル成分を含むことができる。スパーススペクトル表現の１つの性質は、それぞれ、信号のスパーススペクトル表現を記憶または送信するのに必要とされるビットまたはチャンネル容量が少なくなっていることである。

[0055]図２は、有効送信または受信装置についてのブロック図を示す。一実施形態によると、送信または受信装置２００は、ソフトウェア、ファームウェア、ハードウェア、または、それらの組み合わせにおいて実装されてよい。一実施形態では、本システムの一部は、実行可能プログラムとしてソフトウェアに実装され、専用のデジタル信号プロセッサもしくはマイクロコンピュータ、パーソナルコンピュータなどの汎用デジタルコンピュータ、パーソナルデータアシスタント、スマートフォン、ワークステーション、ミニコンピュータ、または、メインフレームコンピュータによって実行される。例えば、一実施形態では、送信または受信装置２００は、プロセッサ２０５、メモリ２１０、受信機／送信機２１５、１つまたは複数の入出力（Ｉ／Ｏ）装置２３０、（装置を有効にするための）符号器／復号器２２５、および、インターフェース２３５を介して通信可能に結合される雑音／ひずみ耐性を改良するためのプロセッサ２２０を含んでよい。ローカルインターフェース２３５は、例えば、当技術分野で既知であるような１つまたは複数のバス、または、他の有線もしくは無線接続とすることができるが、これらに限定されない。

[0056]一実施形態では、受信装置は、雑音／ひずみ耐性を改良するためのプロセッサ２２０、および符号器／復号器２２５のうちの１つまたは複数を含む必要はない。
[0057]一実施形態では、本明細書に開示される「サロゲート」は、サロゲートを復号することができない受信装置のユーザが、サロゲートが復号されないか、その他の場合処理されない場合の了解度および／または品質の変更を知覚しないように符号化されてよい。本明細書で使用されるように、「サロゲート」は、信号の別の部分に（例えば、異なる周波数、時間、または位相領域に）存在するように記録される時間−周波数信号要素を指す。

[0058]図３は、一実施形態による雑音／ひずみ耐性を改良するための方法を示す。ステップ３０５では、オーディオ信号は送信の準備をする。従来の信号処理は、デジタル処理に向けて信号を準備するために使用される。これは、デジタルプロセッサのダイナミックレンジを効率的に使用するための増幅および前白色化を含んでよい。オーディオ信号の最高周波数の２倍を上回るサンプリングレートは、エイリアシング誤差を回避するために使用される。一実施形態では、オーディオ信号は、送受信装置、例えば、セルラーフォン、タブレットコンピュータ、スマートフォン、送受信兼用無線機などで受信されてよい。一実施形態では、オーディオ信号は、直接的に（例えば人が話しかける）、または、間接的に（例えば、ハードワイヤードのもしくは無線磁気または電磁接続を介して受信される）などで受信されてよい。

[0059]一実施形態では、オーディオ信号は望まれない雑音／ひずみを含む場合がある。例えば、背景雑音（例えば、電子装置からの６０Ｈｚの「ハム」、空調機などの周囲室内雑音、人込みの雑音、往来、背後の声、残響など）が存在する場合がある。

[0060]一実施形態では、送信装置はオプションで信号前処理を行うことができる。例えば、オーディオ信号はデジタル処理に向けた準備の際に標本化されてよい。信号対雑音比、信号強度、スペクトル形状、ラウドネス、オーディオ信号の物理的および知覚品質などのさまざまなオーディオ信号性能測定基準を改良するための、当技術分野で周知の追加の前処理技法は、信号前処理中に適用されてよい。これらの従来の前処理技法は、信号前白色化、周波数フィルタリング、圧縮増幅、および雑音減衰などを含むことができるが、これらに限定されない。前述の従来の前処理技法またはその他の技法の１つまたは任意の組み合わせは、必要に応じておよび／または要望に応じて利用されてよい。

[0061]ステップ３１０では、信号に関連付けられた１つまたは複数のリスク領域または雑音帯域が判断できる。用語「雑音帯域」は、信号の周波数帯域または他の領域（位相、時間、振幅）内の雑音に加えて、信号のひずみを含むことができる。一実施形態では、雑音帯域は、雑音または他のひずみが音声了解度および／または音質に干渉することになる送信チャンネルにおけるスペクトルまたは時間的領域であってよい。リスク領域は、雑音帯域と同じスペクトルおよび時間的構造を有することができるが、重要な違いは、雑音帯域における干渉が明白であるのに対し、リスク領域における干渉は明白ではなく、生じる確率または可能性が高い場合があることである。雑音帯域またはリスク領域における干渉はランダムであってよい（電子構成部品において生じる熱雑音など）、または、周期的干渉（例えば電気装置からのハム）、予測可能な過渡的干渉（スイッチング回路によって生じるカチッという音など）、または、他の通信チャンネルとのクロストークから生じる背後の声といった、予測可能なまたは一部予測可能な波形によって決定論的であってよい。さらに、雑音帯域／リスク領域は、周波数、位相、振幅、または時間的ひずみ、およびそれらの組み合わせを含むことができる。

[0062]「標準的な」聴力の人、および、難聴の人に対して、雑音帯域またはリスク領域が特定できる。とりわけ、２つ以上の雑音帯域／リスク領域、および／または、ひずみの形を超えるものが存在する場合がある。

[0063]一実施形態では、雑音帯域またはリスク領域は、１０００Ｈｚを下回る全周波数（例えば、かなりの環境雑音の一般的な周波数領域）など、あらかじめ定められてよい。別の実施形態では、雑音帯域またはリスク領域は、例えば音声信号における一時停止中に背景雑音を特定するなど、動的に判断されてよい。別の実施形態では、保存が要望されるオーディオ信号のいずれの周波数要素も符号化されてよい。さらに別の実施形態では、雑音帯域またはリスク領域は、通信リンクの相手方で送信機／受信機からのフィードバックに基づいて判断されてよい。雑音帯域またはリスク領域を特定する他のやり方は、必要に応じておよび／または要望に応じて使用されてよい。

[0064]ステップ３１５では、信号のスパーススペクトル表現（または他の低ビット表現）が生成できる。一実施形態では、信号のスパーススペクトル表現は、フルスペクトル表現とは知覚的に異なっていない場合があるが、スパーススペクトル表現はより少ないビットが指定される。すなわち、信号のスパーススペクトル表現を送信または記憶するのに必要とされるチャンネル容量は少なくなる。サロゲートのスパーススペクトル表現の使用は、実質的に、サロゲートを符号化する効率を高めることができる。

[0065]スパーススペクトル表現を生成するために使用できる適した変換は、例えば、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換などを含むことができる。任意の他の適した変換または数学演算は必要に応じておよび／または要望に応じて使用できる。

[0066]一実施形態では、スパーススペクトル表現における周波数要素のそれぞれは、強度値、周波数値、および位相値を有してよい。
[0067]一実施形態では、スパーススペクトル表現の周波数要素は、周波数要素の強度値を判断するために解析できる。その後、周波数要素は、強度値の降順にランク付けされてよい。後の処理のために選択される周波数要素は、最も強力な周波数要素のサブセットであってよい。要素の数は、音声信号のコンテンツ、または、送信経路の雑音帯域およびリスク領域の数ならびに幅に依存するあらかじめ定められた数または動的数に基づいてよい。一実施形態では、高強度の周波数要素は、信号処理全体にわたって任意の適用可能な段階において動的に選択できる。一実施形態では、選択された周波数要素は、オーディオ信号の最も了解性のある要素を伝達する強度を有してよい。同様に、周波数要素の強度値は、あらかじめ定められるか動的であるやり方で順序付けられてよい。該実施形態では、周波数要素の強度値は、音声信号の了解度および／または音質を改良するために解析かつ修正されてよい。

[0068]位相、振幅、パワーといった、周波数要素を順序付けるための他のパラメータは、必要に応じておよび／または要望に応じて使用されてよい。ウェーブレット、ログオン、有限の継続時間の時間関数によって変調される周波数要素、種々の周波数領域に位置する時間的要素、または、時間−周波数構造を有する他のかかる要素といった、他のタイプの要素が使用できる。時間−周波数要素を順序付け、かつ、どの時間−周波数要素を棄却するかまたは修正するかを決定するための基準は、信号を符号化するまたは復号する、要望される方法に応じて変化してよい。一実施形態では、可聴ではない低強度の時間−周波数要素は、耐雑音性、音声了解度および／もしくは音質、または、音楽を含むオーディオ信号の他の要望される性質を改良するために符号化の際に使用できる情報を含有する不可聴の時間−周波数要素に置き換えられてよい。低強度の時間−周波数要素は、マスキングされる時間−周波数要素によって、同時に生じる、または、時間および／または周波数では極めて接近したより強力な時間−周波数要素によってマスキングされる結果として不可聴とすることができる。別の実施形態では、低強度の時間−周波数要素ではなく高強度の時間−周波数要素が修正または除去されてよい。聞こえるダイナミックレンジが低減した人々（年長者、難聴の人々）についての一実施形態では、最も強力な時間−周波数要素は、送信または受信される信号のダイナミックレンジを聴取者の聞こえるダイナミックレンジに適合させるために強度が低減されてよい。

[0069]ステップ３２０では、「サロゲート候補」が判断できる。サロゲート候補は、送信時に失われやすい信号要素（周波数要素、時間−周波数要素、または時間要素）である。一実施形態では、サロゲート候補は、雑音帯域またはリスク領域内であってよい信号要素であってよい。別の実施形態では、サロゲート候補は、雑音帯域またはリスク領域において失われやすい（不可聴であるまたは了解性のない）低強度信号である場合がある。これらのサロゲート候補は、周波数および／または時間で、１つまたは複数のリスクのないもしくは雑音のない領域におけるサロゲートに変換できる。リスクのないまたは雑音のない領域における変換済み信号要素は、リスクがある信号要素のサロゲート（サロゲート候補）である。

[0070]雑音帯域／リスク領域が未知である、確実に判断できない、または、送信された信号の全周波数スペクトルを包含する場合、送信された信号の周波数要素の全てがサロゲートとして符号化される二重符号化が使用できる。かかる実装形態の例は、周波数スペクトルを二部、例えばＡ部およびＢ部に分割することである。Ａ部の周波数要素はＢ部のサロゲートとして符号化され、Ｂ部の周波数要素はＡ部のサロゲートとして符号化される。送信時に失われる周波数スペクトルのいずれの部分も、送信時の周波数要素がスペクトルの５０パーセントを超えて失われないならば、周波数スペクトルの別の部分におけるサロゲートを有することになる。送信時に失われやすいスペクトルが５０パーセントを上回る場合、それぞれの周波数要素のサロゲートが信号スペクトルの２つの他の場所において符号化される三重符号化が使用できる。スパーススペクトル技法または他の低ビット表現がサロゲートを符号化する際に使用できることによる効率が与えられる、サロゲートの複数の符号化が使用できる。

[0071]一実施形態では、例えば、１６の最も強力な周波数要素のみを使用する音声のスパーススペクトル表現は、雑音および／またはひずみに対する耐性をもたらすためにサロゲートとして符号化されてよい。このタイプのスパーススペクトル表現は、未処理の音声信号とほとんど同じように聞こえる。例示の１６の周波数要素を上回って使用される場合、スパーススペクトル表現は、フルスペクトル表現と知覚的に区別できない場合がある。かかる高度な信号処理の例は、Ｈ．Ｌｅｖｉｔｔ、Ｍ．Ｂａｋｋｅ、Ｊ．Ｋａｔｅｓ、Ａ．Ｎｅｕｍａｎ ＆ Ｍ．Ｗｅｉｓｓによる「Ａｄｖａｎｃｅｄ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｈｅａｒｉｎｇ ａｉｄｓ（高度信号処理補聴器）」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｄａｎａｖｏｘ Ｊｕｂｉｌｅｅ Ｓｙｍｐｏｓｉｕｍ、３３３〜３５８頁、Ｃｏｐｅｎｈａｇｅｎ：Ｓｔｏｕｇａａｒｄ Ｊｅｎｓｅｎ １９９３年、および、Ｔ．Ｆ．ＱｕａｒｔｉｅｒｉおよびＲ．Ｊ．ＭｃＡｕｌａｙによる「Ｓｐｅｅｃｈ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｂａｓｅｄ ｏｎ ａ ｓｉｎｕｓｏｉｄａｌ ｍｏｄｅｌ（正弦波モデルに基づく音声変換）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕｓｔｉｃｓ、Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、３４、１４４９〜１４６４頁、１９８６年に開示される。これらの文献の開示全体が参照により組み込まれる。

[0072]ステップ３２５では、サロゲート候補は、周波数および／または時間で、１つまたは複数のリスクのないまたは雑音のない領域に変換できる。すなわち、雑音帯域またはリスク領域において失われやすい信号はサロゲート信号要素として符号化できる。一実施形態では、サロゲートは信号の位相要素において符号化できる。別の実施形態では、サロゲートは、強力な周波数要素のマスキング広がり領域内で符号化できる。例えば、サロゲートは、送信された信号における強力な周波数要素のあらかじめ定められた領域内で挿入されてよい。上方へのマスキング広がりは人間の耳における下方へのマスキング広がりより大幅に大きいため、サロゲートは、強力な周波数要素の周波数を上回る（例えば、５０Ｈｚ上回る、あるパーセント値上回る）周波数で配置されてよい。サロゲートは、送信された信号における強力な周波数要素の上方へのマスキング広がり領域内に配置されてよい。スパーススペクトル表現を得るために相対強度の点から周波数要素を順序付ける方法を使用して、サロゲートをマスキングするのに十分強力な周波数要素を特定できる。サロゲートは人間の耳に対してマスキングされるまたは部分的にマスキングされてよいが、電子復号器に対してマスキングされない。サロゲートを雑音のないかつリスクのない周波数領域に符号化するこの方法は、サロゲートが雑音またはひずみのある送信経路を通る送信の中で存在し続ける可能性を改良することができる。

[0073]別の実施形態では、（大型のものの中にメッセージを隠す）他の形態のステガノグラフィを使用して、サロゲートに関するデータ（例えば、サロゲートの本来の周波数、強度、位相など）を符号化することができる。これらのデータは、復号中サロゲートを再生または調整するために使用されてよい。フルスペクトル表現のサロゲートのスパーススペクトル表現を符号化することは、スパーススペクトルがその仕様について必要とするビットが少なくなり、音声、音楽または他の重要な音のいくつかのスパーススペクトルが、人間の耳によって検出されずに、フルスペクトル表現において秘匿できる点においてステガノグラフィの効率的な形態である。

[0074]別の実施形態では、連続した数個の時間窓（それぞれの窓における主なスペクトルピークなど）における情報保持信号要素のスパーススペクトル表現は、時間窓の全配列が除去される雑音バーストまたはドロップアウトの影響と闘うために使用できる。損なわれていない窓における失われた時間窓のスパーススペクトル表現は、失われた窓において信号を再生するために使用できる。

[0075]異なる形態のステガノグラフィを使用する実施形態では、オーディオ信号またはオーディオ−ビデオ信号は従来のバイナリコードを使用してデジタル化されてよく、雑音帯域／リスク領域における重要な情報保持信号要素のサロゲートは、雑音のない帯域でデジタル信号の最下位ビットで符号化できる。

[0076]別の実施形態では、サロゲートは、聴力の標準的な領域外の周波数領域において符号化できる。一実施形態では、サロゲートの周波数は、一定のオフセットで聴力の不可聴領域に高められる（例えば＋２０ＫＨｚ）。

[0077]例えば、狭帯域信号の送信を伴う別の実施形態（例えば、３．３ｋＨｚ帯域幅の旧来の電話）では、送信される狭帯域信号の帯域幅の範囲を超える広帯域信号の周波数は、送信される狭帯域信号において符号化できる。受信先では、有効受信機は、広帯域周波数要素を復号し、かつ、それらを本来の周波数で再生することで、受信先で広帯域信号を再作成できる。一実施形態では、広帯域信号要素の符号化は、サロゲートを復号できない装置を使用する聴取者が信号の了解度および／または音質の変化を感知しないようにされてよい。

[0078]狭帯域送信チャンネルにわたって広帯域信号を送信するこの方法は、狭帯域送信チャンネルの帯域幅内の情報保持周波数要素が未利用であり、かつ、帯域幅削減のためのいずれの形態の信号処理も行われていないステガノグラフィの形態が使用できるという点において、帯域幅削減の在来の方法と異なる。一実施形態では、弱い不可聴の周波数要素のみが広帯域周波数要素の不可聴のサロゲートと置き換えられる。他の周波数要素は必要に応じておよび／または要望に応じて置き換えられてよい。帯域幅削減の在来の方法とのもう１つの違いは、サロゲートを復号できない装置を使用する人がまた、低帯域幅信号の了解度および／または音質の変化を感知せずに開示されたシステムを使用する場合があることである。

[0079]例えば、モノラル信号の送信を伴う別の実施形態では、「立体音響共役」と呼ばれる信号の第２のバージョンは、送信されるモノラル信号におけるサロゲートとして符号化されてよい。モノラル信号の立体音響共役は、立体音響信号のチャンネル間の振幅差および位相差に相当するやり方において振幅および位相が異なる。受信先では、有効受信機は、立体音響サロゲートを復号し、かつ、それをモノラル信号と同期するように再生することで立体音響信号を作成することができる。一実施形態では、立体音響サロゲートの符号化は、サロゲートを復号できない装置を使用する聴取者がモノラル信号の了解度および／または音質の変化を感知しないようにされてよい。

[0080]別の実施形態では、サロゲートを符号化するために継時マスキングが使用できる。例えば、情報保持時間−周波数要素（すなわち、時間および周波数両方において指定される短期間の信号要素）は、強度値の降順でランク付けされてよい。サロゲートは、送信された信号における強力な時間−周波数要素直後に時間−周波数領域において符号化されてよい。サロゲートは、高強度信号要素が、後に続く低強度信号要素をマスキングする継時マスキングの結果、不可聴となる。サロゲートは、人間の耳に対してマスキング可能であるが、電子復号器に対してマスキングされない。サロゲートを雑音のないかつリスクのない時間−周波数領域に符号化するこの方法は、サロゲートが雑音のあるまたはひずみのある送信経路を通る送信の中で存在し続ける可能性を高めることができる。

[0081]上記技法の１つまたは複数の組み合わせが使用可能である。さらに、サロゲートを符号化するための任意の他の適切な方法は必要に応じておよび／または要望に応じて使用可能である。

[0082]一実施形態では、最大限に効率的なスパーススペクトル表現ではなくサロゲートのフルスペクトル表現が符号化できる。別の実施形態では、サロゲートは、必要とされるか要望される耐性の程度に応じて、最大限に効率的なスパーススペクトル表現より多い周波数要素、および、フルスペクトル表現より少ないスペクトル要素を使用して、符号化できる。効率は落ちるがより堅牢なスパーススペクトル表現の使用は、公称の雑音のない領域に全体的に雑音がないわけではない場合、有用である場合がある。

[0083]マスキング広がりは、標準的な聴力の人々より難聴の人々の方が大幅に大きい。この母集団について、強力な信号付近のマスキング広がりの領域はより大きく、サロゲートの信号要素が多いほど、より大きいマスキング広がり領域内で符号化できる。難聴の人々に対して設計される一実施形態では、サロゲートの了解度および／または品質を改良可能な追加の信号要素が符号化できる。一実施形態では、近接する母音の強度に対して弱い子音の強度は、了解度および／または音質を改良するために高められてよい。

[0084]一実施形態では、サロゲートの符号化は、サロゲートを復号できない装置を使用する聴取者が信号の了解度および／または音質の変化を感知しないようにすることができる。

[0085]図３を再び参照すると、ステップ３３０では、受信装置が時間ドメイン信号の代わりの信号のスペクトル表現または他の符号化を受信できるかどうか判断するために、オプションのチェックが行われてよい。一実施形態では、スペクトル表現が時間ドメイン信号の代わりに送信できる場合、ステップ３４０において、信号のスペクトル表現が送信可能である。スパーススペクトル表現は、信号の連続時間関数よりも、デジタル変換、処理、および／または送信に必要であるビットを少なくすることができる。このことは、チャンネル容量が限定されるまたは低い通信経路を介して信号を送信する際にとりわけ有利である。音声了解度および／または音質が失われることがないより少ないビットの送信はまた、通信ネットワークの性能測定基準に関連付けられる追加の改良点をもたらすことができる。実現可能である改良された性能測定基準の例は、ネットワーク利用およびネットワークスループットなどを含むがこれらに限定されない。

[0086]一実施形態では、ステップ３３０におけるオプションのチェックは行われなくてもよく、時間ドメイン信号は受信装置へ常に送られてよい。
[0087]ステップ３３５では、受信装置が信号のスペクトル表現または他の符号化を受信不可能である場合、または、受信装置が信号のスペクトル表現または他の符号化を受信可能であるかどうか判断できない場合、または、オプションのチェックが行われない場合、時間信号を再生するために逆変換が適用されてよく、時間ドメイン信号は受信装置へ送信されてよい。逆変換の例は、逆フーリエ変換、逆離散フーリエ変換、逆高速フーリエ変換、逆ガーボル変換、および、逆ガーボル−ウィグナー変換を含むがこれらに限定されない。

[0088]一実施形態では、逆周波数時間変換は、周波数ドメインにおける信号のフルスペクトル表現に適用されてよい。符号化されたサロゲートが埋め込まれた、再生された時間信号が次いで送信される。別の実装形態では、周波数ドメイン信号のスパーススペクトル表現が、導出可能であり、時間−ドメイン信号に変換でき、送信可能である。しかしながら、このスパーススペクトル表現は、サロゲートと共に符号化された周波数要素を含むことになり、送信可能である最大のスパーススペクトル表現ではない。未処理信号と知覚的に区別できないようにするために最小数の周波数要素を有するスパーススペクトルは、符号化されたサロゲートを有する周波数要素を含有しない場合がある。追加の周波数要素がサロゲートを符号化するために必要とされるため、埋め込まれたサロゲートを有するスパーススペクトルはサロゲートがないものよりスパースになる場合が少ない。送信された信号に必要とされるチャンネル容量を最小限に抑えるように設計される別の実施形態では、最小限のスパーススペクトルは、最小限のスパースサロゲートを埋め込むために使用されてよい。最小限のスパースサロゲートの使用は、数個の近接する時間窓からのサロゲートが窓に埋め込まれて一連の窓が失われる雑音バーストまたはドロップアウトに対する耐性をもたらすことができるという追加の利点を有する。

[0089]埋め込まれたサロゲートを有する、再生された時間ドメイン信号は、次いで、ステップ３３５において送信される。受信装置が、時間ドメイン信号の代わりに信号のスペクトル表現または他の符号化を受信可能である場合、スペクトル表現または他の符号化は、ステップ３３０に関して述べられるように、ステップ３４０において受信装置へ送信可能である。

[0090]図４Ａ〜図４Ｄは、一実施形態による、サロゲートを符号化する方法の例を示す。図４Ａは、サロゲートを符号化することなく受信された信号のスペクトル表現を示す。時間信号は１２ｋＨｚのサンプリングレートでデジタル化された。離散フーリエ変換は２００の試料の時間窓に適用された（１６．７ミリ秒の継続時間）。結果として生じる離散周波数スペクトルは、それぞれの窓に対して１００Ｈｚの間隔があけられた６０の周波数要素（線スペクトル）から成る。青の周波数要素は音声を表し、赤の周波数要素は送信源でまたは送信時に取得された雑音を表す。信号の帯域幅は６ｋＨｚである。３ｋＨｚを下回る周波数領域において実質的な雑音があり、この周波数領域は雑音帯域として特定される。３ｋＨｚ〜６ｋＨｚの周波数領域は低雑音または「雑音のない」領域である。

[0091]図４Ｂは、雑音を取得する前の送信された信号のスパーススペクトル表現を示す。この例において、スパーススペクトル表現は、１０の周波数要素から成り、その１周波数要素にはそれぞれスペクトルの主要なピークがある。スパーススペクトル表現の１つの重要な性質は、それぞれのスペクトルピークが実質的な音声情報を含有し、スパーススペクトル表現に十分なピークが含まれる場合、逆周波数時間変換から得られた結果として生じる時間信号は、本来の未処理時間信号と知覚的に区別できないものになることである。通信チャンネルにおける雑音の影響を低減する効果的なやり方は、雑音帯域／リスク領域においてスペクトルピークのサロゲートを導出し、かつ、雑音のない領域においてこれらのサロゲートを符号化することである。有効受信装置は、受信された信号においてサロゲートを復号し、かつ、受信された信号の雑音のある周波数要素をそれらの本来の周波数への変換後の雑音のないサロゲートと置き換えることができる。

[0092]図４Ｃは、雑音帯域／リスク領域における主要なピークのサロゲートが信号の雑音のない領域において符号化できる実施形態を示す。矢印は雑音のない領域の最も高いピークを示す。この強力なピークは、マスキングの実質的な上方への広がりをもたらす。破線は、強力なピークのものを上回る周波数での周波数要素の可聴度の閾値を示す。破線下の周波数要素は、人間の耳には可聴ではないが、イネーブル装置によって復号できる。

[0093]一実施形態では、雑音帯域における４つの主要なピークは、破線下の領域における４つのサロゲート周波数要素として符号化されてよい。４つのサロゲートは図４Ｃにおいて４つの緑の周波数要素によって表される。これら４つのサロゲートの強度はそれぞれ、２５ｄＢ未満の雑音帯域における４つのスペクトルピークの強度と同じである。２５ｄＢの一定の減衰は、サロゲートのどれもが破線によって表される可聴度の閾値を超えないことを保証するために使用される。サロゲート周波数要素の位相成分は、サロゲートの本来の周波数を符号化するために使用される。

[0094]図４Ａは、サロゲートが符号化されていない場合の受信された信号のスペクトル表現を示し、一方、図４Ｃは、符号化されたサロゲートを有する受信された信号のスペクトル表現を示す。２つのスペクトル表現は、図４Ｃにおける破線下の周波数要素のレベルおよび位相の違い以外はほとんど同一である。破線下の周波数要素は可聴ではない場合があり、時間信号へ変換し戻される時の２つのスペクトル表現は知覚的に区別できない場合がある。

[0095]図４Ｄは、イネーブル装置によって復号された後の受信された信号のスペクトル表現を示す。この実施形態では、雑音帯域における雑音のある周波数要素の全ては除去されていて、４つの復号されたサロゲートはそれらの本来の周波数および振幅で再生されている。受信された信号のスペクトルは、雑音帯域におけるスパーススペクトル、および、低雑音領域におけるフルスペクトルを有する。他の復号する方法は、増幅された復号済みサロゲートを減衰した雑音のある周波数要素と組み合わせることができる。

[0096]別の実施形態は、高忠実度再生を必要とする音楽および他のオーディオ信号の音質を改良するために、サロゲートのスパース符号化の使用を少なくすることができる。この例では、低雑音領域ではほとんど聞こえないある低レベルの雑音があるため、復号済み信号はまた、本図の赤い周波数要素によって示されるように、ほとんど聞こえないある低レベルの雑音を有することになる。

[0097]図５は、埋め込まれたサロゲートを有する受信された信号を復号するための方法を示す。ステップ５０５では、時間ドメイン信号は受信装置によって受信可能であり、ステップ５１０では、受信装置が有効とされない受信装置である場合、信号は、サロゲートの処理または復号を行わずに、ステップ５１０において聴取者に対して出力される。

[0098]ステップ５２０では、受信装置がイネーブル装置である場合、スペクトル表現は、図３のステップ３１５において利用される変換を使用して受信された時間信号から生成可能である。一実施形態では、送信装置から直接受信される場合、スペクトル表現を再生することは必要ではない場合がある。

[0099]ステップ５２５では、サロゲートは、周波数要素がサロゲートである、または、周波数要素にサロゲートが符号化されていることを最初に特定することによって回復されてよい。一実施形態では、サロゲートとしての役割を果たす、または、サロゲートがその中で符号化されている周波数要素は、位相値において符号化されたサロゲートの本来の周波数を有することができる。サロゲートではない、または、サロゲートがその中で符号化されていない周波数要素は、０〜３６０度の範囲内で位相値を有することになる。３６０度を上回る位相値を有する周波数要素は、サロゲートとして特定できる、または、その中で符号化されたサロゲート有していてよく、（遅延の形態で示される）３６０度を超えるその位相値は、サロゲートの本来の周波数であってよい。サロゲートを符号化する、ならびに、強力な周波数要素、位相要素、周波数オフセットなどのマスキング領域どれかにおいて、サロゲートおよびそれらの本来の周波数を特定する他の形態は、必要に応じてまたは要望に応じて実装できる。

[00100]ステップ５３０では、サロゲートは、周波数および時間のそれらの本来の値に変換し戻すことによって復元できる。一実施形態では、サロゲートしての役割を果たす、またはサロゲートと共に符号化された周波数要素は、逆周波数時間変換を適用する前に復号されてよい。雑音帯域／リスク領域における周波数要素は、除去されるかまたは低減され、それらの本来の周波数でサロゲートに置き換えられる。サロゲートはまた増幅できる。別の実施形態では、雑音帯域／リスク領域における周波数要素は、再生され、かつ、復元されたサロゲートの同様の周波数要素と組み合わせられてよい。雑音帯域／リスク領域における雑音のある受信された周波数要素と、復元されたサロゲートの同様の周波数要素との組み合わせは、了解度および／または音質の付随する改良と共に音声対雑音比を改良することができる。

[00101]雑音帯域／リスク領域における周波数要素と、復元されたサロゲートの同様の周波数要素とを組み合わせる方法は、音声対雑音比、了解度、および／または音質を改良するために、増幅に加えてまたは増幅の代わりに他の形態の処理を使用することができる。信号処理の選択された方法は、受信装置が、イネーブル装置のユーザへ、可能である最高品質の信号を送出可能とすることができる。

[00102]一実施形態は、送信された周波数要素およびそれらのサロゲートが両方とも音声対雑音比を低減させた状態に対処する。方法は、雑音のある送信された周波数要素およびそれらの雑音のあるサロゲートを組み合わせることで、音声対雑音比を最大にする。２つの雑音のある周波数要素を組み合わせる効率的な方法は、それぞれの周波数要素に割り当てられた重みがその周波数要素における雑音の標準偏差の逆数である、周波数要素の加重和を使用することである。

[00103]ステップ５３５では、サロゲートをそれらの本来の周波数に復元した後、ステップ５２０で使用された変換に対応する逆変換が、時間信号を再生するために使用されてよい。再生された時間信号は、上述の処理の結果として、改良された音声対雑音比を有することができる。再生された時間信号は、ラウドスピーカ、ヘッドフォン、または、信号を受信装置のユーザへ送出する他の手段を介して、ユーザへ送出可能である。

[00104]上で述べられる実施形態のいくつかにおいて、信号処理は、一般的に、フーリエ変換といった時間周波数変換後に周波数ドメインにおいて行われるとして説明される。時間周波数変換および関連の周波数時間逆変換の使用を伴わない実施形態では、信号処理の一部または全ては時間ドメインにおいて行われてよい。時間ドメインにおける動作の利点は、必要とされる信号処理が強力でなくてもよいことである。１つのかかる実施形態では、隣接している狭帯域フィルタ群が使用でき、このフィルタでは、それぞれのフィルタの出力は、その狭帯域フィルタの中心周波数で振幅および位相がゆっくりと変化する略正弦波信号である。高レベルの信号出力のフィルタは、低レベルの出力の近接するフィルタの信号をマスキングすることになる。マスキングされた低レベルの信号は、周波数−ドメイン処理で使用されるのと類似したやり方で、雑音帯域／リスク領域からのサロゲートと置き換えられてよい。

[00105]一実施形態では、それぞれの狭帯域フィルタは周波数−ドメイン実施形態における周波数要素の時間−ドメインアナログであってよい。例えば、周波数−ドメイン実装形態では、「基本周波数要素」と呼ばれる最低周波数要素は、周波数−ドメイン実装形態を公式化する際に使用される短期フーリエ変換の時間窓の１／継続時間に等しい周波数を有する。次に高い周波数要素は、基本周波数要素の２倍に等しい周波数を有する。その次に高い周波数要素は、基本周波数要素の３倍に等しい周波数を有し、そして以下同様に続く。時間−ドメインアナログでは、最低周波数を有する狭帯域フィルタは、周波数−ドメイン実装形態において基本周波数に等しい中心周波数を有する。次に高い狭帯域フィルタは、基本周波数要素の２倍に等しい中心周波数を有し、その次に高い狭帯域フィルタは、基本周波数要素の３倍に等しい中心周波数を有し、そして以下同様に続く。

[00106]時間−ドメイン実装形態の別の利点は、周波数−ドメイン実装形態における窓間不連続の問題が回避できることである。周波数−ドメイン実装形態では、時間信号は、短期スペクトル解析および関連の周波数−ドメイン処理をそれぞれの時間窓内で行うことを可能にする一連の時間窓に細分される。フーリエ変換といった、計算集約的な時間周波数変換は、時間ドメインに戻すことで装置のユーザが処理された信号を聞くことができるように、逆フーリエ変換といった、関連の計算集約的な周波数時間変換の前に必要とされる場合がある。しかしながら、時間ドメインに変換し戻す際に、連続した時間窓間の境界で不連続が生じる場合がある。よって、重複加算法といった平滑化演算は、連続した時間窓間の境界における不連続を除去するために使用できる。平滑化性の例は、Ｓｍｉｔｈ、Ｓ．Ｗ．による「Ｓｃｉｅｎｔｉｓｔｓ ａｎｄ Ｅｎｇｉｎｅｅｒｓ Ｇｕｉｄｅ ｔｏ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（科学者および技術者用デジタル信号処理入門書）」、１９９７年、Ｃａｌｉｆｏｒｎｉａ Ｔｅｃｈｎｉｃａｌ Ｐｕｂｌｉｓｈｉｎｇに開示され、この開示全体が参照により組み込まれる。

[00107]時間−ドメイン処理において、高レベルの周波数成分（または、継時マスキングを用いる高レベルの時間−周波数成分）を、低レベルの不可聴信号成分から分離するために使用される狭帯域フィルタは、フィルタバンクの周波数応答において知覚できるリップルを導入することができる。実際的な狭帯域フィルタにおいて、通過帯域の両端で無限レートの減衰を有することはできない。通過帯域を超える有限レートの減衰は、「ロールオフ」と呼ばれる。よって、近隣の狭帯域フィルタは、それぞれのフィルタの有限ロールオフの結果として重なり合うことになる。

[00108]周波数ドメイン処理に非常に類似した一実施形態では、それぞれの狭帯域フィルタのインパルス応答は、周波数−ドメイン実装形態において対応する周波数要素の時間展開に等しい。別の実施形態では、インパルス応答は、通過帯域外部の狭帯域フィルタのロールオフを低減するために重み関数によって変調される。二乗余弦関数などの重み関数の考察は、Ｂｌａｃｋｍａｎ Ｒ．Ｂ．ａｎｄ Ｔｕｋｅｙ Ｊ．Ｗ．による「Ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｐｏｗｅｒ Ｓｐｅｃｔｒａ（パワースペクトルの測定）」、１９５８年、Ｄｏｖｅｒ Ｐｕｂｌｉｃａｔｉｏｎｓ，Ｉｎｃ．において提供され、この開示全体が参照により組み込まれる。

[00109]一実施形態では、隣接している狭帯域フィルタ群におけるリップルは、それぞれの狭帯域フィルタの振幅および位相応答を指定することによって除去できることで、２つ以上の隣接している狭帯域フィルタの出力が共に追加される時、重なり合うフィルタにおける信号が適切な振幅で位相を追加するようにし、それによって、リップルのない組み合わせられた周波数応答をもたらす。しかしながら、これらのフィルタの設計を考慮に入れる必要がある基本制約がある。例えば、一実施形態では、フィルタバンクにおけるそれぞれの狭帯域フィルタは、２つ以上の隣接している狭帯域フィルタの組み合わせ済み周波数応答にリップルがないような、理想周波数応答を有する。フィルタの理想周波数応答の逆フーリエ変換はフィルタの理想インパルス応答である。しかしながら、フィルタが有限の帯域幅を有する場合、対応するインパルス応答は実際的な装置にとって理想的でない無限の継続時間を有することになる。同様に、フィルタのインパルス応答が有限の継続時間を有する場合、フィルタの周波数応答は無限になる。しかしながら、この基本制約は、それぞれの狭帯域フィルタが、人間の耳の平均化時間、および無限である周波数応答に匹敵する有限の継続時間を有するが、知覚できない場合がある理想周波数応答からの偏差を有するインパルス応答を有するフィルタバンクを除外しない。

[00110]それぞれの狭帯域フィルタのインパルス応答の継続時間は、その継続時間が人間の耳の平均化時間に匹敵するように短縮されてよい。難聴の人々用に設計された別の実装形態では、それぞれの狭帯域フィルタのインパルス応答の継続時間は、その継続時間が障害のある人間の耳の平均化時間に匹敵するように短縮されてよい。

[00111]サロゲートを効率的に符号化できるフィルタを有する目的で、音声信号の構造の短期の変化を追跡するために短いインパルス応答を有し、一方で、同時に、狭い周波数要素のサロゲートを効率的に符号化するのに十分小さい帯域幅を有するフィルタが使用されてよい。図６Ａおよび図６Ｂは、この基本制約の限界に近づくサロゲートを符号化するのに適切な狭帯域フィルタの実現のための方法の例示の実施形態を示す。該方法の実装形態は人間の耳の限界も考慮に入れる。

[00112]図６Ａを参照すると、ステップ６０５では、狭帯域フィルタの理想周波数応答が指定できる。このフィルタ応答は有限の帯域幅を有する。この実施形態では、それぞれの狭帯域フィルタは聴力の臨界帯域を下回る帯域幅を有し、聴力の臨界帯域の幅は周波数とともに増加する場合がある。臨界帯域を測定する方法は、例えば、Ｂ．Ｃ．Ｊ．Ｍｏｏｒｅによる「Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｐｓｙｃｈｏｌｏｇｙ ｏｆ Ｈｅａｒｉｎｇ（聴覚心理学入門）」、第六版、２０１３年、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓに開示されており、この開示全体が参照により組み込まれる。一実施形態では、１／５オクターブの公称帯域幅が使用できる。別の実施形態では、全周波数において例えば５０Ｈｚの一定の帯域幅といった、周波数が変化しない帯域幅を有するフィルタ群が使用できる。狭帯域フィルタの周波数応答は、通過帯域において１の振幅を有することができる。近隣の低周波数フィルタによる重複領域において、周波数応答は、ｓｉｎｅ^２に比例して０から１まで増加可能である。近隣の高周波数フィルタによる重複領域において、周波数応答は、ｃｏｓｉｎｅ^２に比例して１から０まで減少可能である。近隣のフィルタはまた、重複領域における位相にあってよく、それによって、２つのフィルタにおける信号は重複領域における全周波数において算術的に１を加える。ｓｉｎｅ^２＋ｃｏｓｉｎｅ^２＝１であるため、隣接している理想狭帯域フィルタの組み合わせ済み周波数応答は、全周波数において１であり、それによって、組み合わせ済み周波数応答においてリップルの生成を防ぐ。

[00113]ステップ６１０では、反復法はｉ＝１で開始されてよい。ステップ６１５では、逆フーリエ変換が、フィルタの理想インパルス応答を得るために理想周波数応答に適用されてよい。理想インパルス応答は、フィルタ帯域幅が有限であるため無限の継続時間となる。インパルス応答は、ステップ６２０において、耳の平均化時間に匹敵する継続時間に短縮されてよい。例えば、インパルス応答は、２０ミリ秒程度の継続時間に限定できる。

[00114]ステップ６２５では、短縮されたインパルス応答には、フィルタの周波数応答を得るためにフーリエ変換が行われる場合がある。インパルス応答が短縮されているため、もはや理想インパルス応答ではなく、結果として生じる周波数応答はもはや理想的ではない。しかし、それは理想周波数応答の近似である。

[00115]図６Ｂに進むと、ステップ６３５では、反復ｉ＋１が開始されてよい。ステップ６４０では、図６Ａのステップ６２５で得られた周波数応答は近似ｉとしてメモリに記憶される。この段階では、ｉ＝１である。近似ｉは無限の周波数応答を有するが、これは、近似ｉが有限の継続時間のインパルス応答のフーリエ変換であるからである（図６Ａのステップ６２５）。フィルタの公称帯域幅の範囲を超える周波数応答の成分は小さいが無視できないものである。

[00116]ステップ６４５では、その公称帯域幅の範囲外にある近似ｉの周波数成分は除去されてよい。この周波数応答はここでは、有限の帯域幅を有する理想周波数応答の推定である。

[00117]ステップ６５０では、ステップ６４５における周波数応答には、そのインパルス応答を得るために逆フーリエ変換が行われてよい。ステップ６４５における周波数応答がその公称有限帯域幅に短縮されているため、結果として生じるインパルス応答は無限の継続時間を有することになる。

[00118]ステップ６５５では、無限のインパルス応答は再び短縮可能である。反復法のこの段階では、２０ミリ秒を上回った継続時間でのインパルス応答のエネルギー量は、図６Ａのステップ６２０においてインパルス応答が先に短縮された時のエネルギー量を下回る。

[00119]短縮されたインパルス応答には、周波数応答を得るためにステップ６６０においてフーリエ変換が行われてよい。前と同じように、短縮されたインパルス応答の周波数応答は無限大までに及ぶ周波数成分を有することになるが、フィルタの公称帯域幅の範囲を超える周波数応答の成分は前回の反復におけるより小さくなる。この周波数応答は、有限の継続時間のインパルス応答にとって理想周波数応答の改良された近似である。この周波数応答は近似ｉ＋１として特定されてよく、ステップ６６５では、メモリに記憶された近似ｉと比較できる。ステップ６７０において、近似ｉ＋１がメモリに記憶される近似ｉと大幅に異なる場合、ステップ６８０では、指数ｉは１増加させ、反復は繰り返し可能である。例えば、大きな違いは、近似ｉが近似ｉ＋１とは知覚的に違うというものになる場合がある。それぞれの反復によって、近似ｉ＋１は理想周波数応答により一層近づく。

[00120]近似ｉ＋１が反復ｉと知覚できない程度に異なるような反復に至る時、後の反復は意図される応用についての重要性のさらなる改良をもたらさない場合があり、ステップ６７５では、反復法は終了されてよい。

[00121]上述の反復方法によって設計されるフィルタは、有限のインパルス応答を有するフィルタに対して公称フィルタ帯域幅の範囲を超えるエネルギー量を最小限に抑えることができる。この用例では、耳の平均化時間に匹敵する継続時間を有するインパルス応答が使用された。耳の平均化時間よりはるかに長い有限のインパルス応答を有するフィルタは、公称帯域幅の範囲を超える周波数成分をさらに一層低減することができるが、処理された信号の明白な残響、またはフィルタのリンギングといった、他の知覚的により顕著なひずみを導入するという代償を払っている。耳の平均化時間よりはるかに短いインパルス応答は、狭帯域フィルタの公称帯域幅の範囲を超える周波数成分が大きいほど、理想周波数応答の近似への収束が劣る場合がある。

[00122]別の実施形態では、狭帯域フィルタは、フィルタバンクの周波数応答において知覚できるリップルの低減を評価する知覚試験を使用して設計されてよい。この実施形態では、反復法は、近隣のフィルタ間の重複領域における理想周波数応答からの偏差を最小限に抑えることができる実現可能なフィルタに収束できる。これらの反復における知覚的比較（ステップ６７０）は、リップルの知覚の低減をそれぞれの反復と比較することができる。この方法は、知覚できるリップルの問題に直接対処するが、有限のインパルス応答を有するフィルタについて公称フィルタ帯域幅の範囲を超える周波数成分を最小限に抑えられない場合がある。

[00123]別の実施形態では、反復法は、隣接している狭帯域フィルタ群におけるリップルの知覚を最小限に抑えるための反復法の前に、有限のインパルス応答を有するフィルタについての公称フィルタ帯域幅の範囲を超える周波数成分を最小限に抑える状態に最初に収束するために使用できる。この２段階の反復法は、近隣のフィルタの敏感な重複領域から離れて理想周波数応答から最小偏差を伝えることによって、リップルの知覚を最小限に抑える反復法の前に、人間の聴力用のフィルタにおける周波数分解能および時間分解能を両方とも最大にするための理論的限界に最も近い実用的近似をもたらすことができる。

[00124]別の実施形態では、反復法は、ステップ６７０において知覚基準ではなく目的を使用して終了させてよい。例えば、反復法は、反復ｉ＋１での公称フィルタ帯域幅の範囲を超える周波数成分の和が、反復ｉで得られたもののあらかじめ定められたパーセンテージ未満で低減する時、終了させてよい。例えば、あらかじめ定められたパーセンテージは小さくてよい。あらかじめ定められたパーセンテージは必要に応じておよび／または要望に応じて変化してよい。

[00125]図７は、信号処理が時間ドメインで行われる一実施形態による雑音／ひずみ耐性を改良するための方法を示す。狭帯域フィルタのセットは、聴力の臨界帯域を下回る帯域幅で使用されてよい。例えば、５０Ｈｚの帯域幅を有する狭帯域フィルタが使用可能である。よって、１０，０００Ｈｚの全帯域幅を有するシステムについて、フィルタバンクは２００のフィルタから成ることになる。

[00126]ステップ７０５では、オーディオ信号は送信の準備をする。この準備は、信号プロセッサのダイナミックレンジを効率的に使用するために増幅および前白色化を含むことができる。アナログまたはデジタル信号処理は使用されてよい。デジタル信号処理が使用される場合、オーディオ信号の最高周波数の２倍を上回るサンプリングレートは、エイリアシング誤差を回避するために使用される。

[00127]一実施形態では、オーディオ信号は、送受信装置、例えば、セルラーフォン、タブレットコンピュータ、スマートフォン、送受信兼用無線機、または任意の適切な装置で受信できる。一実施形態では、オーディオ信号は、直接的に（例えば人が話しかける）、または、間接的に（ハードワイヤードまたは無線の磁気または電磁接続を介して受信される）受信されてよい。

[00128]ステップ７１０では、雑音帯域／リスク領域が特定される。これは、上で述べられるステップ３１０と同様であってよい。
[00129]次いで、サロゲート候補がステップ７１５で判断される。一実施形態では、雑音帯域／リスク領域が既知である場合、サロゲート候補は、雑音帯域／リスク領域の領域におけるそれらの狭帯域フィルタの出力であってよい。別の実施形態では、雑音帯域／リスク領域が未知である場合、あらゆる狭帯域フィルタの出力はサロゲート候補である。雑音帯域／リスク領域が未知である別の実施形態では、雑音および／またはひずみからの耐性を得るためにマスキーフィルタ出力のサロゲートを符号化するに十分である場合がある。

[00130]上で述べられるように、最も強力なフィルタ出力のみのサロゲートを符号化するための理由は、１６を超える最も強力な周波数要素を使用するスパーススペクトル表現が音声のフルスペクトル表現とほとんど知覚的に区別できないことを示す実験的証拠に基づく。よって、一実施形態では、雑音帯域／リスク領域が未知である時に雑音および／またはひずみからの耐性を得るために、フィルタ出力全てのサロゲートを符号化するのではなく、例えば２０のマスキーフィルタ出力のサロゲートを符号化するので十分である場合がある。周波数要素および／またはマスキーフィルタ出力の数は、必要に応じておよび／または要望に応じて選択できる。

[00131]ステップ７２０では、それぞれのフィルタの短期出力レベルが得られてよい。短期出力レベルは、ｄＢ ＳＰＬに変換されるそれぞれのフィルタの出力におけるエネルギーの移動平均である。人間の耳のものに匹敵する平均化時間は、それぞれの狭帯域フィルタの出力における短期のエネルギーを判断する際に使用可能である。

[00132]ステップ７２５では、狭帯域フィルタの出力レベルは、それらの相対的レベルの点からランク付けすることができる。ステップ７３０では、最高出力レベルのフィルタは「マスキングフィルタ」として特定される。一実施形態では、最高出力レベルの２０のフィルタが特定可能であり、他の数のフィルタは必要に応じておよび／または要望に応じて特定可能である。

[00133]ランク付けは経時変化する場合があるため、ランク付けは、例えば規則的間隔で更新できる。一実施形態では、ランク付けは、出力レベルを得る際に使用される平均化時間内に２回以上更新できる。これは、フィルタがマスキーフィルタとして特定されるのに関して変更がある時に円滑な移行を得るために行われる。最高出力レベルのフィルタ（例えば２０のフィルタ）はまた、スパーススペクトル表現が音声を効率的に表すために使用できる同じやり方で音声信号を表すために使用できる。

[00134]ステップ７３５では、より強いマスカフィルタによってマスキングされる、低出力レベルのフィルタはマスキーフィルタとして特定される。マスキーフィルタの出力は、不可聴であり、ステップ７４０において符号化されたサロゲートに置き換えられてよい。符号化されたサロゲートも不可聴である。符号化されたサロゲートのフォーマットを符号化する方法は、未処理フィルタ出力のものと異なっているため、有効受信機はフィルタ出力が符号化されたサロゲートに置き換えられていることを特定できる。

[00135]符号化されたサロゲートを有するオーディオ信号は、ステップ７４５において送信装置へ送出されてよく、ステップ７５０において有効受信装置によって受信される。
[00136]一実施形態では、受信された信号は、ステップ７５５において解析されて、どのフィルタ出力が符号化されたサロゲートを含有するかを判断することができる。受信機が有効でない場合、送信されたフィルタ出力はさらなる処理もなくユーザへ送出される。一実施形態では、受信された信号の符号化は、サロゲートを復号できない装置を使用する聴取者が信号の了解度および／または音質の変化を感知しないようにされてよい。

[00137]ステップ７６０では、サロゲートは復号可能であり、周波数および時間の本来の値に変換し戻されてよい。雑音帯域／リスク領域にある受信された信号におけるフィルタ出力は、除去または低減されてよく、それらの本来の周波数でサロゲートに置き換えられてよい。

[00138]一実施形態では、サロゲートは増幅されてもよい。別の実施形態では、雑音帯域／リスク領域におけるフィルタ出力は、再生可能であり、復元されたサロゲートと組み合わせられてよい。雑音帯域／リスク領域における雑音のあるフィルタ出力と、復元されたサロゲートの同様の周波数要素との組み合わせは、了解度および／または音質の付随する改良と共に音声対雑音比を改良することができる。

[00139]雑音帯域／リスク領域におけるフィルタ出力と、復元されたサロゲートの同様の周波数要素とを組み合わせる方法は、音声対雑音比、了解度、および／または音質を改良するために、増幅に加えてまたは増幅の代わりに他の形態の処理を使用することができる。信号処理の選択された方法は、受信装置が、イネーブル装置のユーザへ、可能である最高品質の信号を送出可能とすることができる。

[00140]一実施形態は、送信されたフィルタ出力およびそれらのサロゲート両方とも音声対雑音比が低減された状態に対処する。該方法は、雑音のある送信されたフィルタ出力およびそれらの雑音のあるサロゲートを組み合わせることで、音声対雑音比を最大にする。２つの雑音のある周波数要素を組み合わせる効率的な方法は、それぞれの周波数要素に割り当てられた重みがその周波数要素における雑音の標準偏差の逆数である、周波数要素の加重和を使用することである。

[00141]先の用例では、オーディオ信号の雑音および／またはひずみに対する改良された耐性についての実施形態を説明した。オーディオ信号は、無限時間にわたる集積を伴う変換を使用して有限継続時間のオーディオ信号を解析かつ処理することがより複雑であるため、用例に対して選択された。オーディオ信号の雑音および／またはひずみへの耐性を改良するために使用される方法は、容易にビデオ信号に適用できる。オーディオ信号送信時の耐雑音性のために使用されるのに類似した一実施形態では、それぞれのビデオ画像は、２つの領域：１）不完全な通信ネットワークにおける送信または記憶の結果として、雑音またはひずみが生じることになる、または、生じやすい雑音／リスク領域、および、２）雑音および／またはひずみが生じる可能性が非常に低い、雑音のない領域に分割される。ある画像における２つのオブジェクト間の境界を特定する画素といった、重要な情報保持画素、または、目が特別敏感になる明るさまたは色の急激な変化が特定され、これら画素のサロゲートは、雑音のない領域において符号化されかつ記憶される。雑音のない領域は、同じ画像フレーム、または近接する画像フレームにあってよい。一実施形態では、サロゲートは、マスキング範囲内のより強力な画素によって人間の目に対してマスキングされるように記憶できる。別の実施形態では、サロゲートは最下位ビットのデジタル化された画像に記憶できる。

[00142]ビデオディスプレイは有限のダイナミックレンジを有し、一実施形態では、サロゲートはディスプレイのダイナミックレンジを超えるように符号化できる。すなわち、サロゲートは、ディスプレイのダイナミックレンジの両端で白または黒画素と同じであるように見える場合があるが、電子復号器は、ビデオディスプレイのダイナミックレンジを超える画素に送出される情報を取り出すことができる。アナログまたはデジタル信号を使用するステガノグラフィの他の方法は、必要に応じておよび／または要望に応じて、サロゲートを記憶しかつ検索するために使用できる。

[00143]さまざまな構成要素（例えば、プロセッサ、メモリなど）の間の通信をもたらすために、および、該構成要素が、必要に応じておよび／または要望に応じて任意の他の構成要素と通信できるようにするために（例えば、該構成要素がさらなる命令を得ることができる、リモートメモリストアにアクセスできる、およびそれを使用できるように、など）さまざまな技術が使用できる。かかる通信をもたらすために使用されるかかる技術は、例えば、ネットワーク、インターネット、イントラネット、エクストラネット、ＬＡＮ、イーサネット、携帯電話基地局または通信衛星を介した無線通信、または、通信をもたらす任意のクライアントサーバシステムを含むことが可能である。かかる通信技術は、例えば、ＴＣＰ／ＩＰ、ＵＤＰ、またはＯＳＩといった任意の適切なプロトコルを使用することができる。したがって、さまざまな異なる構成が意図される。

[00144]以降、本発明のシステム、装置、および方法の実装形態の一般的な態様について説明される。
[00145]本発明のシステム、または本発明のシステムの一部は、例えば、汎用コンピュータといった「処理構成要素」の形態にあってよい。本明細書で使用されるように、「処理構成要素」という用語は、少なくとも１つのメモリを使用する少なくとも１つのプロセッサを含むと理解されるものとする。少なくとも１つのメモリは命令セットを記憶する。命令は、処理機械のメモリに永続的にまたは一時的に記憶されてよい。プロセッサは、データを処理するために、メモリに記憶される命令を実行する。命令セットは、上述のタスクといった、特定的なタスクを行うさまざまな命令を含むことができる。特定的なタスクを行うためのかかる命令セットは、プログラム、ソフトウェアプログラム、または、単なるソフトウェアとして特徴付けられてよい。

[00146]上で記されたように、処理機械は、データを処理するためにメモリに記憶される命令を実行する。このデータの処理は、例えば、処理機械のユーザによるコマンドに応答して、先の処理に応答して、別の処理機械および／または任意の他の入力による要求に応答して行われてよい。

[00147]上で記されたように、本発明を実装するために使用される処理機械は、汎用コンピュータであってよい。しかしながら、上述の処理機械は、特殊用途のコンピュータ、例えば、マイクロコンピュータ、ミニコンピュータ、もしくはメインフレームを含むコンピュータシステム、プログラムされたマイクロプロセッサ、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（顧客別集積回路）もしくはＡＳＩＣ（特定用途向け集積回路）、縮小命令セットコンピュータ（ＲＩＳＣ）もしくは他の集積回路、論理回路、デジタル信号プロセッサ、ＦＰＧＡ、ＰＬＤ、ＰＬＡ、もしくはＰＡＬなどのプログラム可能論理装置、または、本発明のプロセスのステップを実施することができる任意の他の装置もしくは装置の配置構成を含む多種多様な他の技術のいずれかを用いることもできる。これらの処理機械のいずれかまたは全ては、モバイルフォン／装置、固定電話、補聴器、個人用増幅装置、補助聴取装置、ビデオおよびオーディオ会議システム、ヴォイスオーバーＩＰ装置、ストリーミング無線装置、双方向無線機、タブレットコンピュータ、デスクトップおよびノートブックコンピュータ、ワークステーション、電子読み取り装置などのさまざまな装置において実装されてよい。

[00148]本発明を実施するために使用される処理機械は適切なオペレーティングシステムを用いることができる。よって、本発明の実施形態は、ｉＯＳオペレーティングシステム、ＯＳ Ｘオペレーティングシステム、Ａｎｄｒｏｉｄオペレーティングシステム、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）８オペレーティングシステム、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）７オペレーティングシステム、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）Ｖｉｓｔａ（登録商標）オペレーティングシステム、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）ＸＰ（登録商標）オペレーティングシステム、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）ＮＴ（登録商標）オペレーティングシステム、Ｗｉｎｄｏｗｓ（登録商標）２０００オペレーティングシステム、Ｕｎｉｘオペレーティングシステム、Ｌｉｎｕｘオペレーティングシステム、Ｘｅｎｉｘオペレーティングシステム、ＩＢＭ社のＡＩＸ（登録商標）オペレーティングシステム、ヒューレット・パッカード社のＵＸ（登録商標）オペレーティングシステム、Ｎｏｖｅｌｌ社のＮｅｔｗａｒｅ（登録商標）オペレーティングシステム、サンマイクロシステムズ社のＳｏｌａｒｉｓ（登録商標）オペレーティングシステム、ＯＳ／２（登録商標）オペレーティングシステム、ＢｅＯＳ（登録商標）オペレーティングシステム、Ｍａｃｉｎｔｏｓｈオペレーティングシステム、Ａｐａｃｈｅオペレーティングシステム、ＯｐｅｎＳｔｅｐ（登録商標）オペレーティングシステム、または、別のオペレーティングシステムもしくはプラットフォームを実行する処理機械を含むことができる。

[00149]上述のように本発明の方法を実践するために、処理機械のプロセッサおよび／またはメモリが同じ物理的または地理的場所に物理的に位置する必要がないことは理解されたい。すなわち、処理機械によって使用されるプロセッサおよびメモリのそれぞれは、地理的に異なる場所に位置し、任意の適切なやり方で通信するように接続されてよい。さらに、プロセッサおよび／またはメモリのそれぞれが種々の物理的な機器から構成できることは理解されたい。したがって、プロセッサが１つの場所におけるある単一の１機器である、および、メモリが別の場所における別の単一の１機器である必要はない。すなわち、プロセッサは、２つの異なる物理的場所における２つの機器である場合があることが企図される。２つの異なる機器は、任意の適切なやり方で接続されてよい。さらに、メモリは、２つ以上の物理的場所においてメモリの２つ以上の部分を含んでよい。

[00150]さらに説明すると、上述の処理はさまざまな構成要素およびさまざまなメモリによって行われる。しかしながら、上述の２つの異なる構成要素によって行われる処理は、本発明のさらなる実施形態に従って、単一の構成要素によって行われてよいことを理解されたい。また、上述の１つの異なる構成要素によって行われる処理は、２つの異なる構成要素によって行われてよい。同様のやり方で、上述の２つの異なるメモリ部分によって行われる記憶保存は、本発明のさらなる実施形態に従って、単一のメモリ部分によって行われてよい。さらに、上述の１つの異なるメモリ部分によって行われる記憶保存は、２つのメモリ部分によって行われてよい。

[00151]さらに、さまざまなプロセッサおよび／またはメモリの間の通信をもたらすために、および、本発明のプロセッサおよび／またはメモリが、任意の他のエンティティと通信できるようにするために、すなわち、例えば、さらなる命令を得るように、または、リモートメモリストアにアクセスできる、およびそれを使用できるように、さまざまな技術が使用できる。かかる通信をもたらすために使用されるかかる技術は、例えば、ネットワーク、インターネット、イントラネット、エクストラネット、ＬＡＮ、イーサネット、携帯電話基地局または通信衛星を介した無線通信、または、通信をもたらす任意のクライアントサーバシステムを含む場合がある。かかる通信技術は、例えば、ＴＣＰ／ＩＰ、ＵＤＰ、またはＯＳＩといった任意の適切なプロトコルを使用することができる。

[00152]上述のように、命令セットは本発明の処理に使用されてよい。命令セットはプログラムまたはソフトウェアの形態であってよい。ソフトウェアは、例えば、システムソフトウェアまたはアプリケーションソフトウェアの形態であってよい。ソフトウェアはまた、例えば、別個のプログラムのコレクション、大型プログラム内のプログラムモジュール、またはプログラムモジュールの一部分の形態である場合がある。使用されるソフトウェアは、オブジェクト指向プログラミングの形態のモジュラープログラミングを含む場合もある。ソフトウェアは、処理されるデータをどう扱うかを処理機械に命じる。

[00153]さらに、本発明の実装形態および動作において使用される命令、または命令セットは、処理機械が命令を読み出すことができるような適切な形態であってよいことを理解されたい。例えば、プログラムを形成する命令は、機械語またはオブジェクトコードに変換されて、プロセッサが命令を読み出すことができるようにする、適切なプログラミング言語の形態であってよい。すなわち、特定的なプログラミング言語におけるプログラミングコードまたはソースコードの書き込まれた行は、コンパイラ、アセンブラ、またはインタプリタを使用して機械語に変換される。機械語は、特定的なタイプの処理機械、すなわち、例えば特定的なタイプのコンピュータに特有のバイナリコード化された機械命令である。コンピュータは機械語を理解する。

[00154]本発明のさまざまな実施形態に従って、任意の適切なプログラミング言語が使用可能である。実例として、使用されるプログラミング言語は、例えば、アセンブリ言語、Ａｄａ、ＡＰＬ、Ｂａｓｉｃ、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ｄＢａｓｅ、Ｆｏｒｔｈ、Ｆｏｒｔｒａｎ、Ｊａｖａ、Ｍｏｄｕｌａ−２、Ｐａｓｃａｌ、Ｐｒｏｌｏｇ、ＲＥＸＸ、Ｖｉｓｕａｌ Ｂａｓｉｃ、および／またはＪａｖａＳｃｒｉｐｔを含むことができる。さらに、本発明のシステムおよび方法の動作に関連して単一タイプの命令または単一のプログラミング言語が用いられる必要はない。むしろ、任意の数の異なるプログラミング言語が、必要に応じておよび／または要望に応じて用いられてよい。

[00155]また、本発明を実践する際に使用される命令および／またはデータは、要望される場合がある任意の圧縮もしくは暗号化技法、またはアルゴリズムを用いてよい。暗号化モジュールは、データを暗号化するために使用できる。さらに、ファイルまたは他のデータは、例えば適切な復号化モジュールを使用して復号されてよい。

[00156]上述のように、本発明は、実例として、コンピュータまたはコンピュータシステムを含む、例えば、少なくとも１つのメモリを含む処理機械の形態で具現できる。例えば、コンピュータオペレーティングシステムが上述の動作を行うことができるようにする命令セット、すなわち、ソフトウェアが、要望に応じて多種多様の媒体のいずれかに含有されてよいことを理解されたい。さらに、命令セットによって処理されるデータも、多種多様の媒体のいずれかに含有可能である。すなわち、本発明において使用される命令セットおよび／またはデータの保有に用いられる特定的な媒体、すなわち、処理機械におけるメモリは、例えば、さまざまな物理的形態または送信のいずれかを呈することができる。実例として、媒体は、紙、透明紙、コンパクトディスク、ＤＶＤ、集積回路、ハードディスク、フロッピーディスク、光ディスク、磁気テープ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ワイヤ、ケーブル、ファイバー、通信チャンネル、衛星送信機、メモリカード、ＳＩＭカード、または、他の遠隔送信、および、本発明のプロセッサによって読み取り可能な任意の他の媒体またはデータソースの形態であってよい。

[00157]さらに、本発明を実装する処理機械において使用されるメモリは、メモリが、要望に応じて、命令、データ、または他の情報を保有できるようにするために多種多様の形態のいずれかであってよい。よって、メモリはデータを保有するためにデータベースの形態であることができる。データベースは、例えば、フラットファイル配置構成または関係データベース配置構成などの任意の要望されるファイル配置構成を使用できる。

[00158]本発明のシステムおよび方法では、さまざまな「ユーザインターフェース」を用いて、ユーザが、本発明を実装するために使用される処理機械とインターフェースで接続できるようにすることが可能である。本明細書で使用されるように、ユーザインターフェースは、ユーザが処理機械とインターフェースで接続できるようにする処理機械によって使用される任意のハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせを含む。ユーザインターフェースは、例えば、ダイアログ画面の形態であることができる。ユーザインターフェースは、マウス、タッチスクリーン、キーボード、キーパッド、音声リーダ、音声認識装置、ダイアログ画面、メニューボックス、リスト、チェックボックス、トグルスイッチ、プッシュボタン、または、処理機械が命令セットを処理する際に、ユーザが、処理機械の動作に関する情報を受信できるようにする、および／または、処理機械に情報を提供する任意の他の装置を含むこともできる。したがって、ユーザインターフェースは、ユーザと処理機械との間に通信をもたらす任意の装置である。ユーザインターフェースを通してユーザによって処理機械に提供される情報は、例えば、コマンド、データの選択、または何らかの他の入力の形態であってよい。

[00159]上述のように、処理機械がユーザ用にデータを処理するように命令セットを実行する処理機械によってユーザインターフェースが用いられる。ユーザインターフェースは典型的には、処理機械によって、ユーザと対話して、情報を伝達するか、またはユーザから情報を受信するかのどちらかに使用される。しかしながら、本発明のシステムおよび方法のいくつかの実施形態によると、人間であるユーザが、本発明の処理機械によって使用されるユーザインターフェースと実際に対話する必要がないことは理解されるべきである。むしろ、本発明のユーザインターフェースが、人間であるユーザではなく別の処理機械と対話する、すなわち、情報を伝達しかつ受信することができることも企図される。したがって、他の処理機械はユーザとして特徴付けられる場合がある。さらに、本発明のシステムおよび方法において用いられるユーザインターフェースが、一部では人間であるユーザとも対話しながら、一部では別の処理機械と対話できることが企図される。

[00160]本発明が広範なユーティリティおよびアプリケーションに影響されやすいことは、当業者によって容易に理解されるだろう。本明細書に記載されるもの以外の本発明の多くの実施形態および適応、ならびに多くの変形、修正、および均等物の配置構成は、本発明の実体または範囲から逸脱することなく、本発明および本発明の前述の説明から明らかになる、または、これらによって合理的に示唆されるであろう。

[00161]したがって、本発明が、その実施形態に関してここで詳細に説明されたが、この発明は、本発明の実例および例示に過ぎず、本発明の実施可能な発明を提供するためになされることは理解されたい。したがって、前述の発明は、本発明を限定するものと解釈されることまたは限定することは意図されておらず、あるいはその他の場合、任意の他のかかる実施形態、適応、変形、修正、または均等物の配置構成を除くことは意図されていない。

Claims (30)

1. 通信時の耐雑音性を改良するための方法であって、
   少なくとも１つのコンピュータプロセッサが、受信オーディオ信号の関心領域を判断するステップと、
   前記少なくとも１つのコンピュータプロセッサが、前記受信オーディオ信号の前記関心領域内のサロゲート候補を判断するステップと、
   前記少なくとも１つのコンピュータプロセッサが、前記受信オーディオ信号の領域であって、前記関心領域とは異なる周波数、時間、または位相領域におけるサロゲートとして前記サロゲート候補を符号化するステップと、
   を含む、方法において、
   前記サロゲートは、前記受信オーディオ信号のスペクトル成分を含む、
   方法。
2. 前記関心領域は前記受信オーディオ信号内の雑音帯域を含む、請求項１に記載の方法。
3. 前記サロゲート候補は、前記関心領域内の強度を下回る強度を有する前記受信オーディオ信号の要素を含む、請求項１又は２に記載の方法。
4. 前記受信オーディオ信号のスペクトル成分は、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用して生成される、請求項１〜３のいずれか一項に記載の方法。
5. 前記受信オーディオ信号の領域であって、前記関心領域とは異なる周波数、時間、または位相領域におけるサロゲートとして前記サロゲート候補を符号化するステップは、
   前記少なくとも１つのコンピュータプロセッサが前記受信オーディオ信号の位相要素における前記サロゲート候補を符号化するステップ、
   を含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記受信オーディオ信号の領域であって、前記関心領域とは異なる周波数、時間、または位相領域におけるサロゲートとして前記サロゲート候補を符号化するステップは、
   前記少なくとも１つのコンピュータプロセッサが強力な周波数要素のマスキング広がり領域内の前記サロゲート候補を符号化するステップ、
   を含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記受信オーディオ信号の領域であって、前記関心領域とは異なる周波数、時間、または位相領域におけるサロゲートとして前記サロゲート候補を符号化するステップは、
   前記少なくとも１つのコンピュータプロセッサが強力な周波数要素のあらかじめ定められた領域内の前記サロゲート候補を符号化するステップ、
   を含む、請求項１〜５のいずれか一項に記載の方法。
8. 前記少なくとも１つのコンピュータプロセッサが前記サロゲートを含む前記受信オーディオ信号を第２の装置へ送信するステップをさらに含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記少なくとも１つのコンピュータプロセッサが前記サロゲートを含む前記受信オーディオ信号から再生信号を生成しかつ前記再生信号を第２の装置へ送信するステップをさらに含む、請求項１〜８のいずれか一項に記載の方法。
10. 通信時の耐雑音性を改良するための方法であって、
    少なくとも１つのコンピュータプロセッサが受信オーディオ信号におけるサロゲートとして符号化されたサロゲート候補を特定するステップであって、前記サロゲートは、前記受信オーディオ信号のスペクトル成分を含むステップと、
    前記少なくとも１つのコンピュータプロセッサが前記受信オーディオ信号における前記サロゲート候補を復元するステップと、
    前記少なくとも１つのコンピュータプロセッサが前記復元されたサロゲート候補を有する前記受信オーディオ信号から再生信号を生成するステップと、
    を含む、方法。
11. 前記受信オーディオ信号のスペクトル成分は、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用して生成される、請求項１０に記載の方法。
12. 前記サロゲートは前記受信オーディオ信号の位相要素にある、請求項１０又は１１に記載の方法。
13. 前記サロゲートは強力な周波数要素のマスキング広がり領域内にある、請求項１０〜１２のいずれか一項に記載の方法。
14. 前記サロゲートは強力な周波数要素のあらかじめ定められた領域内にある、請求項１０〜１２のいずれか一項に記載の方法。
15. 前記少なくとも１つのコンピュータプロセッサが前記サロゲートを増幅するステップをさらに含む、請求項１０〜１４のいずれか一項に記載の方法。
16. 前記少なくとも１つのコンピュータプロセッサが前記受信オーディオ信号における関心領域を判断するステップと、
    前記少なくとも１つのコンピュータプロセッサが前記関心領域内の少なくとも１つの信号要素の強度を減衰させるステップと、
    をさらに含む、請求項１０〜１５のいずれか一項に記載の方法。
17. メモリと、
    受信オーディオ信号における関心領域を判断するステップと、
    前記受信オーディオ信号の前記関心領域内のサロゲート候補を判断するステップと、
    前記受信オーディオ信号の領域であって、前記関心領域以外の前記受信オーディオ信号とは異なる周波数、時間、または位相領域におけるサロゲートとして前記サロゲート候補を符号化するステップであって、前記サロゲートは、前記受信オーディオ信号のスペクトル成分を含むステップと、
    を行う少なくとも１つのコンピュータプロセッサと、
    第２の通信装置と通信するためのインターフェースと、
    を備える、通信装置。
18. 前記少なくとも１つのコンピュータプロセッサは、
    前記受信オーディオ信号におけるサロゲートとして符号化されたサロゲート候補を特定すること、
    前記受信オーディオ信号における前記サロゲート候補を復元すること、
    前記復元されたサロゲート候補を有する前記受信オーディオ信号から再生信号を生成すること、および、
    前記再生信号を出力すること、
    をさらに行う、請求項１７に記載の通信装置。
19. 前記再生信号を出力するためのスピーカを備える、前記再生信号を出力するための出力装置をさらに含む、請求項１８に記載の通信装置。
20. 前記受信オーディオ信号のスペクトル成分は、フーリエ変換、高速フーリエ変換、離散フーリエ変換、ガーボル変換、および、ガーボル−ウィグナー変換から成るグループから選択される変換を使用して生成される、請求項１７〜１９のいずれか一項に記載の通信装置。
21. 前記少なくとも１つのコンピュータプロセッサは、
    前記サロゲートを含む前記受信オーディオ信号から再生信号を生成すること、および、
    前記再生信号を前記第２の通信装置へ送信すること、をさらに行う、請求項１７〜２０のいずれか一項に記載の通信装置。
22. 前記少なくとも１つのコンピュータプロセッサは、サロゲートを増幅することをさらに行う、請求項１７〜２１のいずれか一項に記載の通信装置。
23. 前記関心領域は前記受信オーディオ信号内の雑音帯域を含む、請求項１７〜２２のいずれか一項に記載の通信装置。
24. 前記サロゲート候補は、前記関心領域内の強度を下回る強度を有する前記受信オーディオ信号の要素を含む、請求項１７〜２３のいずれか一項に記載の通信装置。
25. 前記サロゲート候補は前記受信オーディオ信号の位相要素において符号化される、請求項１７〜２４のいずれか一項に記載の通信装置。
26. 前記サロゲート候補は、強力な周波数要素のマスキング広がり領域内で符号化される、請求項１７〜２５のいずれか一項に記載の通信装置。
27. 前記サロゲート候補は、強力な周波数要素のあらかじめ定められた領域内で符号化される、請求項１７〜２５のいずれか一項に記載の通信装置。
28. 前記受信オーディオ信号は、マイクロフォンを備える入力装置から受信される、請求項１７〜２７のいずれか一項に記載の通信装置。
29. 前記受信オーディオ信号は前記メモリから受信される、請求項１７〜２８のいずれか一項に記載の通信装置。
30. 前記受信オーディオ信号は通信ネットワークから受信される、請求項１７〜２９のいずれか一項に記載の通信装置。