JP2022551015A - マルチバンド・リミッタ・モードおよびノイズ補償方法 - Google Patents

Abstract

いくつかの実装は、オーディオ・データを含むコンテンツ・ストリームを受領し、オーディオ・データの再生に関する少なくとも1つのタイプのレベル調整指示を受領し、少なくとも1つのタイプのレベル調整指示に基づいて、入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成することに関わる。いくつかの例は、少なくとも部分的にはレベル調整指示のタイプに基づいて、マルチバンド・リミッタ構成を決定し、マルチバンド・リミッタをレベル調整されたオーディオ・データに適用して、マルチバンド制限されたオーディオ・データを生成し、マルチバンド制限されたオーディオ・データをオーディオ環境の一つまたは複数のオーディオ再生トランスデューサに提供することを含む。

Description

関連出願への相互参照
本願は、2019年12月9日に出願された米国仮出願第62/945,292号、2020年11月30日に出願された第63/198,995号、2019年12月9日に出願された第62/945,303号、2020年11月30日に出願された第63/198,996号、2020年11月30日に出願された第63/198,997号、2019年12月9日に出願された第62/945,607号、2020年11月30日に出願された第63/198,998号、2020年11月30日に出願された第63/198,999号の優先権を主張する。このそれぞれは全体が参照により援用される。

技術分野
本開示は、ノイズ補償のためのシステムおよび方法に関する。

テレビおよび関連したオーディオ装置を含むがそれに限定されないオーディオおよびビデオ装置は、広く展開されている。そのような装置のいくつかは、環境内のノイズを補償しようとするノイズ補償アルゴリズムを実装するように構成される。ノイズ補償のための既存のシステムおよび方法は利点を提供するが、改善されたシステムおよび方法が望ましい。

記法および名称
特許請求の範囲を含め、本開示全体を通じて、用語「スピーカー」、「ラウドスピーカー」、「オーディオ再生トランスデューサ」は、単一のスピーカー・フィードによって駆動される任意の放音トランスデューサ（またはトランスデューサの集合）を表すために同義で使用される。ヘッドフォンの典型的なセットは、2つのスピーカーを含む。スピーカーは、単一の共通スピーカー・フィードまたは複数のスピーカー・フィードによって駆動されうる複数のトランスデューサ（たとえば、ウーファーおよびツイーター）を含むように実装されうる。いくつかの例では、スピーカー・フィードは、異なるトランスデューサに結合された異なる回路分枝において異なる処理を受けることができる。

特許請求の範囲を含め、本開示全体を通じて、信号またはデータ「に対して」動作を実行するという表現（たとえば、信号またはデータのフィルタリング、スケーリング、変換、または利得の適用）は、広い意味で使用され、信号またはデータに対して該動作を直接実行すること、または信号またはデータの処理されたバージョンに対して（たとえば、該動作の実行前に予備的なフィルタリングまたは前処理を受けた該信号のバージョンに対して）該動作を実行することを示す。

特許請求の範囲を含む本開示全体を通じて、「システム」という表現は、広い意味で装置、システム、またはサブシステムを示すために使用される。たとえば、デコーダを実装するサブシステムがデコーダ・システムと称されることがあり、そのようなサブシステムを含むシステム（たとえば、複数の入力に応答してX個の出力信号を生成するシステムであって、そのサブシステムが入力のうちのM個を生成し、他のX－M個の入力は外部ソースから受領されるシステム）もデコーダ・システムと称することもできる。

特許請求の範囲を含む本開示全体を通じて、用語「プロセッサ」は、データ（たとえば、オーディオ、ビデオまたは他の画像データ）に対して動作を実行するために、プログラム可能なまたは他の仕方で（たとえば、ソフトウェアまたはファームウェアを用いて）構成可能なシステムまたは装置を示すために広い意味で使用される。プロセッサの例は、フィールドプログラマブルゲートアレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他の音声データに対してパイプライン処理を実行するようにプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラマブルな汎用プロセッサまたはコンピュータ、およびプログラマブルなマイクロプロセッサチップまたはチップセットを含む。

特許請求の範囲を含む本開示全体を通じて、用語「結合する」または「結合され」は、直接的または間接的接続を意味するために使用される。よって、第1の装置が第2の装置に結合する場合、その接続は、直接接続を通じて、または他の装置および接続を介した間接接続を通じてでありうる。

本明細書で使用されるところでは、「スマート装置」とは、Bluetooth、Zigbee、近接場通信、Wi-Fi、光忠実度（Li-Fi）、3G、4G、5Gなどのさまざまな無線プロトコルを介して、一つまたは複数の他の装置（またはネットワーク）と通信するように一般的に構成された電子装置であって、ある程度対話的におよび／または自律的に動作することができるものである。スマート装置のいくつかの顕著なタイプは、スマートフォン、スマートカー、スマートサーモスタット、スマートドアベル、スマートロック、スマート冷蔵庫、ファブレットとタブレット、スマートウォッチ、スマートバンド、スマートキーチェーン、スマート・オーディオ装置である。「スマート装置」という用語は、人工知能のようなユビキタスコンピューティングのある特性を示す装置を指すこともある。

本明細書で使用されるところでは、「スマート・オーディオ装置」という表現は、単一目的のオーディオ装置または多目的のオーディオ装置（たとえば、バーチャル・アシスタント機能の少なくともいくつかの側面を実装するオーディオ装置）のいずれかであるスマート装置を示す。単一目的のオーディオ装置は、少なくとも1つのマイクロフォン（および、任意的には少なくとも1つのスピーカーおよび／または少なくとも1つのカメラを含むかまたはそれに結合される）を含むかまたはそれに結合される装置（たとえば、テレビ（TV））であって、大部分がまたは主として単一目的を達成するように設計されたものである。たとえば、テレビは、典型的には、番組素材からオーディオを再生することができる（また、再生することができると考えられる）が、ほとんどの場合、現代のテレビは、何らかのオペレーティングシステムを実行し、その上でテレビ視聴アプリケーションを含むアプリケーションがローカルに動作する。この意味で、スピーカーおよびマイクロフォンを有する単一目的のオーディオ装置は、しばしば、スピーカーおよびマイクロフォンを直接使用するローカル・アプリケーションおよび／またはサービスを実行するように構成される。いくつかの単一目的の諸オーディオ装置が、ゾーンまたはユーザー構成されたエリアにわたるオーディオの再生を達成するよう、グループ化するように構成されうる。

多目的オーディオ装置の一つの一般的なタイプは、バーチャル・アシスタント機能の少なくともいくつかの側面を実装するオーディオ装置であるが、バーチャル・アシスタント機能の他の側面は、多目的オーディオ装置が通信するように構成されている一つまたは複数のサーバーのような一つまたは複数の他の装置によって実装されてもよい。そのような多目的オーディオ装置は、本明細書では「バーチャル・アシスタント」と称されることがある。バーチャル・アシスタントは、少なくとも1つのマイクロフォンを含むまたはそれに結合される（および、任意的には、少なくとも1つのスピーカーおよび／または少なくとも1つのカメラを含むまたはそれに結合される）装置（たとえば、スマート・スピーカーまたは音声アシスタント統合装置）である。いくつかの例では、バーチャル・アシスタントは、ある意味ではクラウドで可能にされる、または他の仕方で完全にはバーチャル・アシスタント自体の中または上には実装されていないアプリケーションのために複数の装置（そのバーチャル・アシスタントとは異なる）を利用する能力を提供することができる。言い換えると、バーチャル・アシスタント機能の少なくともいくつかの側面、たとえば、音声認識機能は、バーチャル・アシスタントがインターネットなどのネットワークを介して通信することができる一つまたは複数のサーバーまたは他の装置によって（少なくとも部分的に）実装されてもよい。バーチャル・アシスタントどうしは、時に、たとえば離散的で、条件付きで定義された仕方で、協働することがある。たとえば、2以上のバーチャル・アシスタントは、そのうちの一つ、たとえば、ウェイクワードを聞いたことに最も自信があるバーチャル・アシスタントがそのワードに応答するという意味で、協働することができる。接続された諸バーチャル・アシスタントは、いくつかの実装では、一種のコンステレーションを形成することができ、これは、バーチャル・アシスタントであってもよい（またはそれを実装してもよい）1つのメイン・アプリケーションによって管理されてもよい。

ここで、「ウェイクワード」とは、任意の音（たとえば、人間によって発声された単語、または何らかの他の音）を意味するために広義で使用され、スマート・オーディオ装置は、その音の検出（「聞く」）（スマート・オーディオ装置に含まれるかまたはそれに結合される少なくとも1つのマイクロフォン、または少なくとも1つの他のマイクロフォンを使用する）に応答して、覚醒するように構成される。この文脈において、「覚醒」とは、装置が音声コマンドを待つ（すなわち、音声コマンドがあるかどうか傾聴する）状態に入ることを表す。いくつかの事例では、本明細書において「ウェイクワード」と称されうるものは、複数の単語、たとえば、フレーズを含んでいてもよい。

ここで、「ウェイクワード検出器」という表現は、リアルタイムの音声（たとえば、発話）特徴とトレーニングされたモデルとの間の整列を連続的に探すよう構成された装置（または装置を構成するための命令を含むソフトウェア）を表す。典型的には、ウェイクワードが検出された確率が所定の閾値を超えることがウェイクワード検出器によって判別されるときは常に、ウェイクワード・イベントがトリガーされる。たとえば、閾値は、誤受理率と誤拒否率との間の合理的な妥協を与えるように調整された所定の閾値であってもよい。ウェイクワード・イベントに続いて、装置は、それがコマンドを待ち受け、受け取ったコマンドをより大きな、より計算集約的な認識器に渡す状態（「覚醒した」状態または「注視」状態と呼ばれてもよい）にはいってもよい。

本明細書で使用されるところでは、用語「プログラムストリーム」および「コンテンツ・ストリーム」は、一つまたは複数のオーディオ信号の集合を指し、場合によっては少なくとも一部が一緒に聴取されることが意図されるビデオ信号を指す。例は、音楽、映画のサウンドトラック、映画、テレビ番組、テレビ番組のオーディオ部分、ポッドキャスト、ライブ音声通話、スマートアシスタントからの合成音声応答などのセレクションを含む。いくつかの事例では、コンテンツ・ストリームは、オーディオ信号の少なくとも一部の複数のバージョン、たとえば、複数の言語での同じダイアログを含むことがある。そのような事例において、一時には、オーディオ・データまたはその一部の1つのバージョン（たとえば、単一言語に対応するバージョン）のみが再生されることが意図されている。

本開示の少なくともいくつかの側面は、コンテンツ・ストリーム処理方法を含むがこれに限定されない、一つまたは複数のオーディオ処理方法を介して実装されうる。いくつかの事例では、本方法（単数または複数）は、少なくとも部分的に、制御システムによって、および／または一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）によって実装されうる。いくつかのそのような方法は、入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して受領することに関わる。いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、オーディオ・データの再生に関連する少なくとも1つのタイプのレベル調整指示を受領することに関わる。いくつかのそのような方法は、制御システムによって、少なくとも1つのタイプのレベル調整指示に基づいて入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、制御システムによって、少なくとも部分的には前記少なくとも1つのタイプのレベル調整指示に基づいて、マルチバンド・リミッタ構成を決定することに関わる。いくつかのそのような方法は、制御システムによって、マルチバンド・リミッタ構成に従ってマルチバンド・リミッタを構成することに関わる。いくつかのそのような方法は、レベル調整されたオーディオ・データにマルチバンド・リミッタを適用して、マルチバンド制限されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサにマルチバンド制限されたオーディオ・データを提供することに関わる。

いくつかの実装によれば、前記少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して受領されたユーザー入力レベル調整指示および／またはノイズ補償モジュールから受領されたノイズ補償レベル調整指示を含んでいてもよい。いくつかの例では、前記少なくとも1つのタイプのレベル調整指示を受領することがユーザー入力レベル調整指示を受領することに関わる場合、マルチバンド・リミッタ構成を決定することは、音色保存構成を決定することに関わってもよい。いくつかの例によれば、前記少なくとも1つのタイプのレベル調整指示を受領することが、ノイズ補償レベル調整指示を受領することに関わる場合、マルチバンド・リミッタ構成を決定することは、音色保存機能を変更することに関わってもよい。場合によっては、音声保存機能を変更することは、少なくとも部分的に音色保存機能を無効にすることに関わってもよい。いくつかの例によれば、ノイズ補償レベル調整指示は、オーディオ環境における周囲ノイズのレベルに対応してもよい。いくつかのそのような例では、音色保存機能を変更することは、少なくとも部分的には周囲のノイズのレベルに基づいて、音色保存機能を変更することに関わってもよい。音色保存機能を変更することは、場合によっては、少なくとも部分的には周囲ノイズのレベルに基づいてもよい。いくつかの例は、マルチバンド制限されたオーディオ・データをオーディオ環境の一つまたは複数のオーディオ再生トランスデューサ上で再生して、再生されたオーディオ・データを提供することに関わってもよい。いくつかのそのような例は、再生されたオーディオ・データに対する周囲ノイズのレベルのマスキング効果を決定または推定することに関わってもよい。場合によっては、音色保存機能の変更は、少なくとも部分的にはマスキング効果に基づいていてもよい。いくつかの例では、音色保存構成は、周波数帯依存であってもよい。

いくつかの事例では、前記少なくとも1つのタイプのレベル調整指示を受領することは、ユーザー入力レベル調整指示およびノイズ補償レベル調整指示の両方を受領することに関わってもよい。いくつかのそのような例では、マルチバンド・リミッタ構成を決定することは、少なくとも部分的にはユーザー入力レベル調整指示およびノイズ補償レベル調整指示の加重平均に基づく音色保存構成を決定することに関わってもよい。

いくつかの例は、また、マルチバンド制限されたオーディオ・データが、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるときに、ノイズ補償モジュール動作の変更を引き起こすことを含んでいてもよい。いくつかの事例では、制御システムは、少なくとも部分的にはノイズ補償レベル調整指示および／またはノイズ推定値に基づいて、オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを線形範囲の外側で動作させることができる。いくつかの例では、ノイズ補償モジュール動作の変更は、ノイズ補償モジュールのエコー・キャンセラ機能を変更することに関わってもよい。いくつかの例によれば、ノイズ補償モジュール動作の変更は、ノイズ補償モジュールに、ノイズ補償モジュールのノイズ推定器への入力として静かな再生区間のみを使用させることを含んでいてもよい。静かな再生区間は、少なくとも1つの周波数帯域および／またはまたは少なくとも1つの時間区間における、閾値レベル以下のオーディオ信号のインスタンスであってもよい。いくつかの事例では、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるマルチバンド制限されたオーディオ・データは、オーディオ環境における周囲ノイズの高いレベルに対応するノイズ補償レベル調整に基づいてもよい。

いくつかの実装によれば、ノイズ補償モジュールは、制御システムのサブシステムであってもよい。いくつかの例では、制御システムのレベル調整モジュールは、レベル調整されたオーディオ・データを生成するために入力オーディオ・データのレベルを制御するように構成されてもよい。いくつかのそのような例によれば、方法は、マルチバンド・リミッタからレベル調整器モジュールへのマルチバンド・リミッタ・フィードバックを提供することに関わってもよい。いくつかの事例では、マルチバンド・リミッタ・フィードバックは、マルチバンド・リミッタがレベル調整されたオーディオ・データの複数の周波数帯域のそれぞれに適用する制限の量を示してもよい。いくつかの例はまた、少なくとも部分的にマルチバンド・リミッタ・フィードバックに基づいて、前記複数の周波数帯域の一つまたは複数の周波数帯域のレベルをレベル調整器モジュールによって制御することを含んでいてもよい。

本開示のいくつかの代替的な側面は、コンテンツ・ストリーム処理方法を含むがそれに限定されない、一つまたは複数のオーディオ処理方法を介して実装されてもよい。いくつかの事例では、本方法（単数または複数）は、少なくとも部分的に、制御システムおよび／または一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）を介して実装されてもよい。いくつかのそのような方法は、入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して受領し、制御システムによってマルチバンド・リミッタをオーディオ・データまたはオーディオ・データの処理されたバージョンに適用して、マルチバンド制限されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、マルチバンド制限されたオーディオ・データが、一つまたは複数のオーディオ再生トランスデューサを通じて再生されたときに、オーディオ環境の該一つまたは複数のオーディオ再生トランスデューサを、線形範囲外で動作させるかどうかを判定し、マルチバンド制限されたオーディオ・データがオーディオ環境の該一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるかどうかに少なくとも部分的に基づいて、音響エコー・キャンセラが一つまたは複数のフィルタ係数を更新するかどうか、または、ノイズ推定器がノイズ推定値を更新するかどうかを、制御システムによって、制御することに関わる。いくつかのそのような方法は、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサにマルチバンド制限されたオーディオ・データを提供することに関わる。

いくつかの例では、音響エコー・キャンセラが一つまたは複数のフィルタ係数を更新するかどうかを制御することは、マルチバンド制限されたオーディオ・データがオーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させる場合には、前記一つまたは複数のフィルタ係数を更新しないように音響エコー・キャンセラを制御することを含んでいてもよい。いくつかの実装は、制御システムによって、オーディオ・データの再生に関する少なくとも1つのタイプのレベル調整指示を受領し、制御システムによって、前記少なくとも1つのタイプのレベル調整指示に少なくとも部分的に基づいて、マルチバンド・リミタ構成を決定し、制御システムによって、マルチバンド・リミタ構成に従ってマルチバンド・リミッタを構成することに関わってもよい。いくつかのそのような例は、制御システムによって、前記少なくとも1つのタイプのレベル調整指示に基づいて、入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成することを含んでいてもよい。マルチバンド・リミッタをオーディオ・データまたはオーディオ・データの処理されたバージョンに適用することは、マルチバンド・リミッタをレベル調整されたオーディオ・データに適用することに関わってもよい。いくつかの例において、前記少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して受領されたユーザー入力レベル調整指示および／または音響エコー・キャンセラを含むノイズ補償モジュールから受領されたノイズ補償レベル調整指示を含んでいてもよい。

いくつかの例によれば、前記少なくとも1つのタイプのレベル調整指示を受領することがユーザー入力レベル調整指示を受領することに関わる場合、マルチバンド・リミッタ構成を決定することは、音色保存構成を決定することに関わってもよい。いくつかの実装によれば、前記少なくとも1つのタイプのレベル調整指示を受領することが、ノイズ補償レベル調整指示を受領することに関わる場合、マルチバンド・リミッタ構成を決定することは、音色保存機能を変更することに関わってもよい。場合によっては、音色保存機能を変更することは、少なくとも部分的に音色保存機能を無効にすることに関わってもよい。いくつかの例では、ノイズ補償レベル調整指示は、オーディオ環境における周囲ノイズのレベルに対応してもよい。いくつかのそのような例では、音色保存機能を変更することは、少なくとも部分的には周囲ノイズのレベルに基づいて、音色保存機能を変更することに関わってもよい。いくつかの例は、オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサ上でマルチバンド制限されたオーディオ・データを再生してて、再生されたオーディオ・データを提供することを含んでいてもよい。いくつかのそのような例は、再生されたオーディオ・データに対する周囲ノイズのレベルのマスキング効果を決定または推定することを含んでいてもよい。音色保存機能の変更は、少なくとも部分的にはマスキング効果に基づいてもよい。いくつかの例では、音色保存構成は、周波数帯依存であってもよい。

いくつかの例では、前記少なくとも1つのタイプのレベル調整指示を受領することは、ユーザー入力レベル調整指示およびノイズ補償レベル調整指示の両方を受領することに関わってもよい。いくつかのそのような例では、マルチバンド・リミッタ構成を決定することは、少なくとも部分的にはユーザー入力レベル調整指示およびノイズ補償レベル調整指示の加重平均に基づく音色保存構成を決定することに関わってもよい。

いくつかの実装によれば、制御システムは、少なくとも部分的にはノイズ補償レベル調整指示および／またはノイズ推定値に基づいて、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲の外側で動作させることができる。いくつかのそのような例では、制御システムは、オーディオ環境における周囲ノイズの高いレベルに対応するノイズ補償レベル調整に少なくとも部分的に基づいて、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを、線形範囲外で動作させることができる。

いくつかの例は、マルチバンド制限されたオーディオ・データがオーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるとき、一つまたは複数の追加的なノイズ補償モジュール動作変更を引き起こすことを含みうる。追加的なノイズ補償モジュール動作変更は、ノイズ補償モジュールに、ノイズ補償モジュールのノイズ推定器への入力として、静かな再生区間のみを使用させることを含みうる。静かな再生区間は、少なくとも1つの周波数帯域における閾値レベル以下のオーディオ信号のインスタンス、および／または少なくとも1つの時間区間の間閾値レベル以下であるオーディオ信号のインスタンスであってもよい。いくつかの実装では、ノイズ補償モジュールは、制御システムのサブシステムであってもよい。

いくつかの例によれば、制御システムのレベル調整モジュールは、入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成するように構成されてもよい。いくつかのそのような例は、マルチバンド・リミッタからレベル調整器モジュールへのマルチバンド・リミッタ・フィードバックを提供することを含んでいてもよい。マルチバンド・リミッタ・フィードバックは、たとえば、マルチバンド・リミッタがレベル調整されたオーディオ・データの複数の周波数帯のそれぞれに適用している制限の量を示してもよい。いくつかのそのような例は、また、レベル調整器モジュールによって、マルチバンド・リミッタ・フィードバックに少なくとも部分的に基づいて、前記複数の周波数帯域のうち一つまたは複数の周波数帯域のレベルを制御することを含んでいてもよい。

本明細書に記載された動作、機能および／または方法の一部または全部は、一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）に従って一つまたは複数の装置によって実行されてもよい。そのような非一時的媒体は、ランダムアクセスメモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むがそれに限定されない、本明細書に記載されるもののようなメモリデバイスを含んでいてもよい。よって、本開示に記載された主題のいくつかの革新的な側面は、ソフトウェアを記憶している一つまたは複数の非一時的媒体を介して実装されることができる。

本開示の少なくともいくつかの側面は、装置を介して実装されうる。たとえば、一つまたは複数のデバイスが、少なくとも部分的に、本明細書に開示される方法を実施することができてもよい。いくつかの実装では、装置は、インターフェース・システムおよび制御システムを有するオーディオ処理システムであるか、またはこれを含む。制御システムは、一つまたは複数の汎用の単一チップまたはマルチチップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、離散ハードウェア・コンポーネント、またはそれらの組み合わせを含んでいてもよい。

本明細書に記載される主題の一つまたは複数の実装の詳細が、添付の図面および以下の説明に記載される。他の特徴、側面、および利点は、明細書、図面、および特許請求の範囲から明白となるであろう。以下の図の相対的な寸法は、縮尺通りに描かれない場合があることに留意されたい。

1A、1Bおよび1Cは、線形範囲におけるラウドスピーカー動作の例を示す。 1D、1Eおよび1Fは、非線形範囲におけるラウドスピーカー動作の例を示す。 1G、1Hおよび1Iは、マルチバンド・リミッタ動作の例を示す。 1J、1Kおよび1Lは、ある実装による音色保存マルチバンド・リミッタ動作の例を示す。 1Mは、ノイズ補償システムの例を示す。 1Nは、マルチバンド・リミッタからの圧縮フィードバック信号に従って、レベル調整されたオーディオ・データを修正するように構成されたレベル調整器の一例を含むノイズ補償システムの一部を示す。 一例による、図 1Nのより詳細なバージョンを示す。 マルチバンド・リミッタについての閾値および他のパラメータを設定するためのグラフィカルユーザーインターフェース（GUI）の例を示す。 マルチバンド・リミッタについての閾値および他のパラメータの別の例を示す。 ある周波数範囲についての閾値の例を示すグラフである。 ある周波数範囲についての閾値の別の例を示すグラフである。 本開示のさまざまな側面を実装できる装置のコンポーネントの例を示すブロック図である。 開示された方法の例を概説するフロー図である。 音色保存修正器モジュールの例を示す。 音色保存修正器モジュールの例を示す。 周波数帯域隔離修正器の例を示す。 別の開示された方法の例を概説するフロー図である。 ラウドスピーカーがオーバードライブされる時間区間の例を示すグラフである。 図6Aのグラフに対応するエコー・キャンセラに送信されうる信号の例を示す。 システム内で発生する「オーバードライブ」の量に少なくとも部分的に基づいて、自動エコーキャンセラ（AEC）を制御するように構成されたシステムの例を示す。 オーバードライブの量を決定するように構成されたシステムの例を示す。 一例によるノイズ推定値と出力レベルのグラフである。 この例における居住空間であるオーディオ環境のフロアプランの例を示す。

さまざまな図面における同様の参照符号および記号は、同様の要素を示す。

ノイズ補償アルゴリズムは、本明細書で「オーディオ環境」と称されうるものにおいて、ノイズを補償するように設計される。本明細書で使用されるところでは、「オーディオ環境」という用語は、オーディオ・システムのコンポーネント、たとえば、オーディオ再生トランスデューサ、増幅器などに限定されない。その代わりに、「オーディオ環境」という用語は、一般に、そのようなコンポーネントが存在しうる環境、および／または1人以上の聴取者が再生されるオーディオを聴くことができる環境を指す。オーディオ環境は、いくつかの例では、家庭オーディオ環境であってもよい。そのような場合、オーディオ環境は、家庭の一つまたは複数の部屋に対応してもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車またはバス環境、道路または歩道環境、公園または他の屋外環境、または他のタイプの環境であってもよい。

ノイズ補償方法は、たとえば、オーディオ環境内のノイズの量に少なくとも部分的に基づいて、一つまたは複数のオーディオ再生トランスデューサを通じた出力信号のレベルを調整することによって、オーディオ環境内のノイズを補償するように設計されてもよい。ノイズ補償方法を実装する際の課題の一つは、物理的な世界でオーディオ再生トランスデューサが線形に動作する範囲が限定されていることである。

図 1A、1Bおよび1Cは、線形範囲におけるラウドスピーカー動作の例を示す。図 1Aは、増幅器によって出力され、ラウドスピーカー101に提供される信号100の例を与えるグラフである。図 1Bは、ラウドスピーカー101を通る断面の例を示す。この例では、信号100は、10ボルトのピーク対ピーク範囲を有する正弦波入力信号である。この範囲内の信号がラウドスピーカー101に提供されるときに引き起こされるボイスコイル変位の範囲では、ボイスコイル102が磁石103によって生成される磁場の、磁場強度が均一または実質的に均一である部分内に留まる。よって、ボイスコイル102およびダイヤフラム104の変位は、線形範囲内にある。

図 1Cは、ラウドスピーカー101が信号100によって駆動される場合のボイスコイル102およびダイヤフラム104の変位の例を示すグラフである。この例では、変位は正弦波であり、信号100の入力電圧に比例する。よって、信号100は、歪みを生じず、ラウドスピーカー101は、線形範囲で動作する。

再生トランスデューサなどのオーディオ装置が線形範囲外で動作すると、オーディオ装置が歪んで不快に聞こえることがある。図 1D、1E、および1Fは、非線形範囲におけるラウドスピーカー動作の例を示す。図 1Dは、増幅器によって出力され、ラウドスピーカー101に提供される信号100の別の例を提供するグラフである。図1Eは、ラウドスピーカー101を通る断面の別の例を示す。この例では、信号100は、20ボルトのピーク対ピーク範囲を有する正弦波入力信号である。この範囲内の信号がラウドスピーカー101に提供されるときに引き起こされるボイスコイル変位の範囲では、ボイスコイル102は、磁石103によって生成された磁場が、磁場強度において均一または実質的に均一である部分内に常に留まるとは限らない。よって、ボイスコイル102およびダイヤフラム104の変位は、非線形範囲内にある。ラウドスピーカー101における非線形性の別の源は、サスペンション弾性である。ダイヤフラム104は、サスペンション105によってフレームの周においてフレームに接続されている。ダイヤフラム104が前後に動くにつれて、サスペンション105は、この動きを受け入れるために伸長する。しかしながら、この材料の弾性には限界があり、ダイヤフラム104がより強力に駆動され、ダイヤフラム104の動きがこの限界の端に近づくにつれて、動きを引き起こす駆動力は、弾性サスペンション105がその中立位置に戻ろうとするときの弾性サスペンション105の対抗する力を克服することができにくくなる。磁気的非線形性と同様に、この条件は、出力信号がもはや入力と同じではない結果となる。

図 1Fは、ラウドスピーカー101が信号100によって駆動される場合のボイスコイル102およびダイヤフラム104の変位の例を示すグラフである。この例では、変位は非正弦波であり、信号100の入力電圧に比例しない。入力電圧に比例するのではなく、図1Fに示される出力は、入力電圧およびラウドスピーカー歪み効果の両方に対応する。したがって、この例では、信号100は歪みを生じ、ラウドスピーカー101は非線形範囲で動作する。

エコー・キャンセラは、適応的な線形フィルタを介して、または機械学習を介して（たとえば、トレーニングされたニューラルネットワークを介して）実装されることが多く、多くのノイズ補償システムにとって必須の構成要素である。エコー・キャンセラは、非線形システムに適合するとき（たとえば、非線形範囲で動作するスピーカーに応答するとき）、そもそもエコー・キャンセラがうまく適合するとしても、はるかに性能が悪い。さらに、非線形範囲での拡張されたラウドスピーカー動作は、ラウドスピーカーへの損傷を引き起こしやすい。

マルチバンド・リミッタは、ラウドスピーカーのダイナミックレンジに対する周波数依存の制御を可能にする。マルチバンド・リミッタは、通常、ラウドスピーカーが非線形歪みを導入しないことを保証しつつ、ラウドスピーカーが生成できる音圧を増加させるように構成される。

図 1G、1H、および1Iは、マルチバンド・リミッタ動作の例を示す。図1Gは、マルチバンド・リミッタに提供されるオーディオ信号100の例を提供するグラフである。この例では、オーディオ信号100は、各周波数帯域についてレベルが同じである「白色」入力スペクトルに対応する。

図 1Hは、複数の周波数帯域のそれぞれについてのマルチバンド・リミッタ閾値の例を示す。この例では、各閾値は、入力オーディオ信号100のレベル以下である。マルチバンド・リミッタ閾値は、たとえば、特定のラウドスピーカーの能力（たとえば、歪みプロファイル）に対応してもよく、そのラウドスピーカーによって、またはそのラウドスピーカーのために実装されてもよい。いくつかのそのような例では、マルチバンド・リミッタ閾値は、ラウドスピーカーが製造される工場で事前設定されてもよい。

図 1Iは、図 1Gに示される入力オーディオ信号100が与えられたときの、図 1Hに示される閾値を有するマルチバンド・リミッタの出力の例を示すグラフである。この例では、各閾値は入力オーディオ信号100のレベル以下であるため、各周波数帯域の出力は、その周波数帯域のマルチバンド・リミッタ閾値に対応する。よって、この例では、入力オーディオ信号100の周波数内容または音色は保存されなかった。

前述の例に示されるように、マルチバンド・リミッタは、入力オーディオ信号のスペクトルコンテンツまたは音色を著しく変化させることがある。マルチバンド・リミッタを制約なしで動作させることは、出力オーディオ信号の音色に悪影響を及ぼすことがあり、よって、音楽コンテンツの楽しみのレベルを低下させる可能性がある。

本譲受人によって開発されたいくつかのマルチバンド・リミッタは、入力オーディオ信号の音色の音色を少なくとも部分的に保存することができる。図 1J、1K、1Lは、ある実装による音色保存マルチバンド・リミッタ動作の例を示す。用語「音色保存（timbre-preserving）」は、本明細書中で使用される多様な意味を有することができる。大まかに言えば、「音色保存」方法とは、入力音声信号の周波数内容、すなわち音色を少なくとも部分的に保持する方法である。いくつかの音色保存方法は、入力オーディオ信号の周波数内容を完全に、またはほぼ完全に保持しうる。音色保存方法は、少なくともいくつかの周波数帯域の出力信号レベルを、出力信号レベルおよび／または少なくともいくつかの他の周波数帯域の課された閾値に応じて、制約することを含んでいてもよい。いくつかの例において、「音色保存」方法は、少なくともある程度、すべての隔離されていない周波数帯域の出力信号レベルを制約することを含みうる。しかしながら、本明細書にさらに詳細に記載されるように、いくつかの例では、周波数帯域は完全に隔離されていてもよいが、他の例では、周波数帯域は部分的に隔離されているだけでもよい。

図 1Jは、マルチバンド・リミッタに提供されるオーディオ信号100の例を提供するグラフである。この例では、図 1Gのように、オーディオ信号100のレベルは、各周波数帯域について同じである。

図 1Kは、複数の周波数帯のそれぞれについてマルチバンド・リミッタ閾値の例を示す。この例では、各閾値は、入力オーディオ信号100のレベル以下である。マルチバンド・リミッタ閾値は、たとえば、特定のラウドスピーカーの能力に対応してもよく、そのラウドスピーカーによって、またはそのラウドスピーカーのために実装されてもよい。

図 1Lは、図 1Jに示される入力オーディオ信号100が与えられたときの、図 1Kに示される閾値を有する音色保存マルチバンド・リミッタの出力の例を示すグラフである。この例では、各周波数帯域についての出力は、その周波数帯域についてのマルチバンド・リミッタ閾値に対応しない。その代わりに、各周波数帯域の出力信号レベルを最小マルチバンド・リミッタ閾値に制約することによって、オーディオ信号100の音色が保存される。この例は、100%音色を保存するマルチバンド・リミッタの極端な場合を示している。ほとんどの実装では、音色の保存はこれほど極端ではない。たとえば、いくつかの音色保存実装は、一部のベース〔低音〕周波数帯が少なくとも部分的に隔離されることを許容する一方で、上の周波数範囲の周波数帯域では音色を保存することができる。代替的または追加的に、いくつかの音色保存方法は、ある周波数帯域の出力信号レベルを、出力信号レベルおよび／または他のすべての周波数帯域よりも少ない課された閾値に応じて、（少なくともある程度）制約することを含みうる。

図 1Mは、ノイズ補償システムの例を示す。この例では、ノイズ補償システム150は、レベル調整器152と、マルチバンド・リミッタ154と、ラウドスピーカー156と、マイクロフォン157と、ノイズ推定器159とを含む。この例（および、図 1Nおよび1Oに示される例を含むがそれに限定されない、本明細書に開示されるノイズ補償システムの他の例）によれば、レベル調整器152、マルチバンド・リミッタ154、およびノイズ推定器159は、図2Eを参照して後述される制御システム210のインスタンスでありうる制御システム110によって実装される。いくつかの例によれば、マイクロフォン157も、制御システム110によって制御され、かつ／または、制御システム110の一部を含むことができる。本明細書の他の箇所に記載されているように、制御システム110は、具体的な実装に依存して、単一の装置内または複数の装置内に存在してもよい。レベル調整器152、マルチバンド・リミッタ154および／またはノイズ推定器159は、いくつかの例において、たとえば一つまたは複数の非一時的媒体に記憶された命令に従って、（少なくとも部分的に）ソフトウェアを介して実装されてもよい。

本開示の他の図と同様に、図 1Mに示される要素のタイプ、数および配置は、単に例である。他の実装は、より多くの、より少ない、および／または異なる要素を含みうる。たとえば、いくつかの実装は、複数のオーディオ再生トランスデューサを含んでいてもよい。いくつかの実装は、複数のマイクロフォンを含んでいてもよい。

この実装によれば、ノイズ補償システム150は、ノイズ補償システム150を含むオーディオ環境内の音を検出し、対応するマイクロフォン信号158をノイズ推定器159に提供するように構成されたマイクロフォン157を含む。音は、ラウドスピーカー156によって生成される音と、オーディオ環境における周囲のノイズ（本稿では環境ノイズまたは背景ノイズと称されることもある）とを含んでいてもよい。本稿の他の箇所に記載されているように、「オーディオ環境」という用語は、オーディオ再生トランスデューサ、増幅器などのオーディオ・システムのコンポーネントに限定されることは意図されていない。その代わりに、「オーディオ環境」という用語は、一般に、そのようなコンポーネントが存在しうる環境、および／または1人以上の聴取者が再生されるオーディオを聴くことができる環境を指す。オーディオ環境は、いくつかの例では、家庭オーディオ環境であってもよい。そのような場合、オーディオ環境は、家庭の一つまたは複数の部屋に対応してもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、道路または歩道環境、公園環境などであってもよい。

この例では、ノイズ推定器159は、背景ノイズのレベルを推定するように構成される。この例によれば、ノイズ推定器159は、エコー・キャンセラを実装するように構成され、ラウドスピーカー156によって再生されるオーディオ・データが背景ノイズ推定値の一部である可能性を低減する。この例では、ノイズ推定器159は、ラウドスピーカー156にも提供されるマルチバンド・リミッタ154によって出力されるマルチバンド制限されたオーディオ・データ155を受領するように構成される。マルチバンド制限された〔マルチバンド・リミットされた〕オーディオ・データ155は、本明細書で「スピーカー基準（speaker reference）」、「ラウドスピーカー基準（loudspeaker reference）」またはノイズ推定器159によって実装されるエコー・キャンセラのための「エコー基準（echo reference）」と称されることがあるものの一例である。ノイズ推定器159にエコー・キャンセラを実装することにより、ラウドスピーカー156によって生成される音に基づく正のフィードバック・ループを防止することができる。この例では、ノイズ推定器159は、周囲ノイズのノイズ推定値を計算し、ノイズ推定器出力160をレベル調整器152に提供するように構成される。いくつかの例では、ノイズ推定器出力160は、スペクトル・ノイズ推定値を含む。たとえば、ノイズ推定器出力160は、複数の周波数帯域の各周波数帯域についてのノイズ推定値を含んでいてもよい。この例では、レベル調整器152は入力オーディオ・データ151を受領するように示されている。場合によっては、入力オーディオ・データ151は、ビデオ・データを含むコンテンツ・ストリームに対応してもよい。ここで、レベル調整器152は、入力オーディオ・データ151のレベルを制御する（たとえば、上げる、下げる、または維持する）ように構成される。この例によれば、レベル調整器152は、少なくとも部分的には、マイクロフォン157を用いて測定されたノイズのレベルに基づいて、入力オーディオ・データ151のレベルを制御するように構成される。いくつかの例によれば、レベル調整器152は、少なくとも部分的には、ノイズ推定器出力160に基づいて入力オーディオ・データ151のレベルを制御するように構成される。よって、ノイズ推定器出力160は、本明細書で「レベル調整指示（level adjustment indication）」と称されることがあるものの例である。より具体的には、ノイズ推定器出力160は、本明細書で「ノイズ補償レベル調整指示」と称されることがあるものの例である。

この例では、レベル調整器152は、レベル調整に対応するユーザー入力163を受け取るように示されており、これは、本明細書でレベル調整指示と称されることがあるものの別の例である。より具体的には、ユーザー入力163は、本明細書で「ユーザー入力レベル調整指示」と称されることがあるものの例である。レベル調整器152は、通常、ユーザー入力163を連続的に受領するのではなく、通例は、ユーザーが、たとえば音声コマンド（たとえば、マイクロフォン157を介して制御システム110によって受領された音声コマンド）を介して、手動リモートコントロールを介して、などで入力を提供することによってオーディオ再生レベルを調整しようとする時に、断続的にユーザー入力163を受領するだけでことが理解されるであろう。レベル調整器152（または制御システム110の他の要素）は、たとえば、直近のユーザー入力163に対応するメモリ装置における値を記憶することができる。この例では、レベル調整器152は、少なくとも1つのタイプのレベル調整指示に基づいて入力オーディオ・データ151のレベルを制御するように構成されている。ここで、レベル調整器152は、マルチバンド・リミッタ154にレベル調整されたオーディオ・データ153を提供するように構成される。

いくつかの例によれば、レベル調整器152は、少なくとも部分的には、ノイズ推定器159の状態および／またはユーザー入力163に基づいて、ノイズ補償方法を決定するように構成されてもよい。よって、いくつかの実装では、レベル調整器152は、少なくとも部分的には、ノイズ推定器出力160および／またはユーザー入力163に基づいてノイズ補償方法を決定するように構成されてもよい。

いくつかの例では、ノイズ推定器159は、どのノイズ補償方法がレベル調整器152によって実装されるべきかを決定することができる。いくつかのそのような例では、ノイズ推定器出力160は、レベル調整器152によって実装されるべきノイズ補償方法を（たとえば、ノイズ推定器出力160および／または追加的情報を介して）レベル調整器152に示すことができる。

ノイズ推定器159が複数周波数帯域ノイズ推定器であるいくつかの実装では、ノイズ推定値が、閾値量の時間（たとえば、1秒、2秒、3秒、4秒、5秒などの秒のオーダー）にわたって更新されていない一組の非更新周波数帯域を（たとえば、上の周波数帯域において）有する場合、更新される周波数帯域におけるノイズ推定値の品質は依然として高いが、非更新周波数帯域におけるノイズ推定値の品質は低いので、ノイズ推定器出力160は、ノイズ補償方法が音色保存モードに切り換えるべきであることを示してもよい。代替的または追加的に、いくつかの実装では、ノイズ推定器は、ノイズ補償ブロックに品質メトリックまたは信頼スコアを提供するように構成されてもよく、ノイズ補償ブロックは、どのモードにあるべきか（または部分的に入っているべきか）を決定するためにそれを使用してもよい。たとえば、ノイズ補償ブロックは、品質メトリックまたは信頼スコアがノイズ推定値の品質が低いことを示している場合、ノイズ補償方法が音色保存モードであるべきであると決定することができる。

いくつかの実装では、制御システム110（たとえば、ノイズ推定器159）は、特許文献１、特に16～18ページのギャップ信頼度値およびギャップ信頼度値の使用に関する議論に記載されている複数周波数帯域ノイズ推定器機能を提供するように構成されてもよい。これは、参照により本明細書に組み込まれる。
「ギャップ信頼度を用いた背景ノイズ推定」と題される、2019年4月24日に出願された国際公開第WO2019/209973号

いくつかの実装によれば、ノイズ補償器、マルチバンド・リミッタ、またはその両方のための音色保存周波数範囲（たとえば、後述する図2Bの隔離されていない周波数帯域の周波数範囲）にある周波数帯域は、ノイズ推定値についての品質のメトリックに従って選択されうる。ノイズ推定値についての品質のメトリックは、たとえば、周波数帯域についてのノイズ推定が更新されて以降の時間の量に対応してもよい。

いくつかの例では、1つの周波数帯域において（たとえば、ノイズ補償器によって）適用される利得は、別の周波数帯域において適用される利得に関して、たとえば、隣接する周波数帯域において適用される利得に対して、制約されなくてもよい。よって、入力オーディオ信号のスペクトル内容は、一般に、このタイプのノイズ補償方法によれば保存されない。よって、このタイプのノイズ補償方法は、本明細書では、「制約されない」ノイズ補償方法または非音色保存ノイズ補償方法と称されることがある。

いくつかの例によれば、マルチバンド・リミッタ154は、少なくとも部分的には、マルチバンド・リミッタ154の事前の較正または「チューニング」に基づいて、ラウドスピーカー156（および、いくつかの場合には、オーディオ環境の他のオーディオ再生トランスデューサ）における歪みを防止するために、レベル調整されたオーディオ・データ153に圧縮を適用するように構成されてもよい。いくつかのそのような例では、マルチバンド制限されたオーディオ・データ155は、ラウドスピーカー156において歪みを生じさせず、そのためラウドスピーカー156が線形範囲で動作する。このチューニングは、複数の周波数帯域のそれぞれについてのマルチバンド・リミッタ閾値に対応してもよい。マルチバンド・リミッタ閾値は、たとえば、ラウドスピーカー156の能力（たとえば、歪みプロファイル）に対応してもよく、そのラウドスピーカーによって、またはそのラウドスピーカーのために実装されてもよい。いくつかの例では、マルチバンド・リミッタ閾値は、ラウドスピーカー156が製造される工場であらかじめ設定されてもよい。

しかしながら、いくつかの例では、マルチバンド・リミッタ154は、ラウドスピーカー156および／またはオーディオ環境の一つまたは複数の他のオーディオ再生トランスデューサにおける少なくともいくらかの歪みを許容するレベル調整されたオーディオ・データ153への圧縮を適用するように構成されてもよい。そのような例では、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサは、少なくとも一時的に、線形範囲外で動作することが許されてもよい。いくつかのそのような例では、制御システムは、少なくとも部分的には、ノイズ補償レベル調整指示および／またはノイズ推定値に基づいて、たとえば、ノイズ推定器159からのノイズ推定器出力160に基づいて、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させてもよい。いくつかのそのような例はまた、マルチバンド制限されたオーディオ・データ155が、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるときに、ノイズ補償モジュール動作の変更を引き越すことを含みうる。いくつかの詳細な例が、本稿の他の箇所で開示されている。

いくつかの実装によれば、制御システム110（たとえば、レベル調整器152）は、少なくとも部分的には一つまたは複数のタイプの受領されたレベル調整指示に基づいて、マルチバンド・リミッタ構成を決定するように構成されてもよい。いくつかのそのような例では、ユーザー入力レベル調整指示が受領された場合、マルチバンド・リミッタ構成は音色保存構成であってもよい。音色保存構成のさまざまな例が本明細書に開示される。いくつかのそのような例では、マルチバンド・リミッタの構成を決定することは、ノイズ補償レベル調整指示が受領された場合に、マルチバンド・リミッタ154の音色保存機能を変更することを含んでいてもよい。いくつかのそのような例では、制御システム110（たとえば、レベル調整器152またはマルチバンド・リミッタ154自体）は、決定されたマルチバンド・リミッタ構成に従ってマルチバンド・リミッタ154を構成してもよい。いくつかの実装では、制御システム110（たとえば、レベル調整器152）は、少なくとも部分的にはラウドスピーカー156の出力レベルおよび／または能力に基づいて、マルチバンド・リミッタ154および／またはノイズ推定器159を制御するように構成されてもよい。

図 1Mに示される例によれば、レベル調整器152は、制御信号161を介してマルチバンド・リミッタ154を制御するように構成される。いくつかの実装では、受領されたレベル調整指示がユーザー入力レベル調整指示である場合、マルチバンド・リミッタ154の音色保存設定は、マルチバンド・リミッタ154がもともと、たとえば工場においてチューニングされていた状態に保持されてもよい。そのような実装は、ユーザーがボリューム制御を調整しているときに、ユーザーが快適な体験をすることを保証するのに役立つことがありうる。

いくつかの例によれば、受領されたレベル調整指示がノイズ補償レベル調整指示である場合、マルチバンド・リミッタ154の音色保存設定は、徐々に、たとえばノイズ補償レベル調整指示に比例して、オフにされてもよい。いくつかのそのような例では、ノイズが存在するとき、忠実度の喪失がノイズ源によってマスクされて、再生されるオーディオ・コンテンツがノイズに対して、いまだ了解可能であることがある。

いくつかの実装では、制御システム110（たとえば、レベル調整器152）が音色保存ノイズ補償モードを実施している場合、レベル調整器152は、マルチバンド・リミッタ154に（たとえば、制御信号161を介して）通知してもよく、その結果、マルチバンド・リミッタ154も音色保存モードで動作し、ラウドスピーカー156のオーバードライブを許容しない。いくつかの例によれば、制御システム110が制約されないノイズ補償モードを実施している場合、マルチバンド・リミッタ154は、ボリュームを最大にするために（たとえば、ラウドスピーカー156をオーバードライブするために）、比較的制約の少ないモードで動作することもできる（たとえば、図2Aおよび2Bを参照して後述するように）。

逆に、マルチバンド・リミッタ154が制限している場合には、いくつかの実装では、たとえノイズ補償モードが以前は音色保存ノイズ補償モードであったとしても、制御システム110は、ボリュームが最大化できるように、ノイズ補償モードを制約されないノイズ補償モードにしてもよい。

図1 Mに示される例では、マルチバンド・リミッタ154は、任意的な圧縮フィードバック信号162をレベル調整器152に送るように構成されている。圧縮フィードバック信号162は、たとえば、マルチバンド・リミッタ154がレベル調整されたオーディオ・データ153に適用している制限の量を示すことができる。いくつかの例では、圧縮フィードバック信号162は、マルチバンド・リミッタ154がレベル調整されたオーディオ・データ153の複数の周波数帯域のそれぞれに適用している制限の量を示すことができる。

図1 Nは、マルチバンド・リミッタからの圧縮フィードバック信号に従って、レベル調整されたオーディオ・データを修正するように構成されたレベル調整器の例を含むノイズ補償システムの一部を示す。この例では、レベル調整器152は、ベース強化モジュール167とノイズ補償レベル調整器169とを含む。図1 Nはまた、ベース強化モジュール167によって処理され、この例では、ノイズ補償レベル調整器169に提供されるマルチチャネル・ストリーム168をも示す。いくつかの例によれば、ベース強化モジュール167は、1つのラウドスピーカーからのベースを一つまたは複数の他のラウドスピーカーに拡散させるように構成される。いくつかの例では、ベース強化モジュール167は、少なくとも部分的には、圧縮フィードバック信号162に基づいて、入力ベースが他のスピーカーにどれくらい拡散されるべきかを決定するように構成される。

いくつかの実装では、ベース強化モジュール167は、心理音響的なベース強化（たとえば、図 1Ｏを参照して後述するように、幻の基音現象を活用する仮想ベース）を実装するように構成される。いくつかの例によれば、ベース強化モジュール167は、少なくとも部分的には圧縮フィードバック信号162に基づいて、どのくらいの仮想ベースが実装されるべきかを決定するように構成されてもよい。

いくつかの実装では、ベース強化モジュール167は、ノイズ推定値160を受領するように構成される。ベース強化モジュール167は、たとえば、ベース拡散および／または仮想ベースの積極性を制御するために、ノイズ推定値160を使用してもよい。いくつかのそのような例では、ノイズ・レベルが高い場合、ベース強調モジュール167は、ボリューム制限がユーザー入力によるとした場合よりも、オーディオの拡散において相対的に、より積極的であり、拡散されているのがベース周波数だけでなく、人間にとって可聴なスペクトルの大部分または全部であるほどになる（たとえば、ベース強調モジュール167は、ベース周波数よりも高い周波数をすべてのラウドスピーカーに拡散してもよい）。「積極性」のさらなる例は後述する。いくつかの実装によれば、ベース強化モジュール167は、仮想ベース処理の導入を、ボリューム制限が完全にユーザーのボリューム制御に起因するとした場合よりも早く開始することができる。

図 1Ｏは、一例による、図 1Nのより詳細なバージョンを示す。本開示の他の図と同様に、図 1Ｏに示される要素のタイプ、数、および配列は、単に例である。他の実装は、より多くの、より少ない、および／または異なる要素を含みうる。いくつかの代替的な例では、たとえば、ノイズ補償がベース強化を制御するために使用されたとした場合、処理フローは、図 1Ｏに示されたものとは異なっていてもよい。

図 1Ｏに示される例では、レベル調整器152は、ベース強化モジュール178およびノイズ補償レベル調整器169の例を含む。本明細書の他の箇所に記載されているように、いくつかの例によれば、レベル調整器152は、少なくとも部分的にはノイズ推定器159の状態および／またはユーザー入力163に基づいてノイズ補償方法を決定するように構成されてもよい。よって、いくつかの実装では、ノイズ補償レベル調整器169は、少なくとも部分的にはノイズ推定器出力160および／またはユーザー入力163に基づいて、ノイズ補償方法を決定するように構成されてもよい。いくつかのそのような例は、図 1Mを参照して上述されている。さらなる例は、特許文献２の図 7および図 17ならびに対応する記述（第18列第29行ないし第26列第46行および第34列第41行ないし第35列第11）に開示されており、これらは参照により本明細書に組み込まれる。
米国特許第8,090,120号

図 1Ｏに示される例によれば、入力オーディオ・データ151は、2つの入力チャネル（たとえば、ステレオチャネル）CH1およびCH2として示されている。図 1Ｏでは、ノイズ推定値160（これは、図 1Mのノイズ推定器159によって提供されてもよい）が、ノイズ補償レベル調整器169に提供される。この例では、レベル調整器152に提供される圧縮フィードバック信号162は、マルチバンド・リミッタ154で行われている制限の量を示す。いくつかの例によれば、圧縮フィードバック信号162は、任意的に、ベース強化モジュール178およびノイズ補償レベル調整器169の両方に提供される。いくつかのそのような例によれば、圧縮フィードバック信号162は仮想ベース（virtual bass、VB）ブロック171に提供されてもよい。圧縮フィードバック信号162がノイズ補償レベル調整器169に提供される場合、いくつかの例では、圧縮フィードバック信号162は、ノイズ補償レベル調整器169内で使用される全体的な予測される出力レベルを修正するために使用されてもよい。

いくつかの例では、ノイズ補償レベル調整器169は、任意的に、心音響的なボリューム制御を実装する。そのようないくつかの例によれば、知覚されるスペクトルの変化を引き起こす可能性がある、全周波数帯域を通じて同量の利得変化をもたらす広帯域利得を適用するのではなく、特定ラウドネス・スケーリング因子（specific loudness scaling factor）がボリューム制御の調整に関連付けられてもよい。いくつかのそのような例では、複数の周波数帯域のそれぞれにおける利得は、理想的には知覚されるスペクトルに変化がないように、人間の聴覚モデルを考慮に入れた量だけ変化させられる。いくつかの関連する例が、参照により本明細書に組み込まれている特許文献２の「ボリューム制御に適した時間不変かつ周波数不変な関数」セクション（第26列第48行ないし第28列第13行）に開示されている。

いくつかの心理音響的なボリューム制御実装は、下流の処理コンポーネント内の利得の量などを考慮に入れた、デジタル／電気領域の音響領域へのマッピング（たとえば、フルスケールに対するデシベル（decibels relative to full scale、dBFS）と音圧レベルのデシベル（decibels of sound pressure level、dBSPL）との間のマッピング）に関わってもよい。いくつかのそのような例では、心理音響的なボリューム制御は、マルチバンド・リミッタ154がアクティブでないシステムの領域において較正されてもよい。これは、マルチバンド・リミッタ154がアクティブである場合、デジタルから音圧レベル（SPL）へのマッピングがしばしば正しくないことを意味する（一般に固定マッピングであるため）。マルチバンド・リミッタ154が制限していることをレベル調整器152に（たとえば、ノイズ補償レベル調整器169に）示すことによって、デジタルからSPLへのマッピングを補正することができ、よって、必要とされるノイズ補償の量が過小評価されることはない。

図 1Oに示されているブロックの配置および動作のシーケンスは、ノイズ補償レベル調整器169が心音響的なボリューム制御を実施するいくつかの例によれば、ノイズ補償レベル調整器169が、ノイズ推定値に対してボリュームレベルを制御するための心理音響的なベース強化のラウドネス曲線を組み込みうるという事実に起因する。よって、ベース強化ブロック・オーディオ処理後にノイズ補償ブロック・オーディオ処理をもつことは、音響領域からデジタル領域への変換がより少なくてすむ。その後者〔デジタル領域〕が、心理音響的なシステムがこの例に従って動作するドメインである。さらに、ノイズ補償レベル調整器169が利得のヘッドルーム〔上昇余地〕を使い果たすいくつかのシステムでは、ノイズ補償システム150がそのピーク・ラウドネスに達することができることを保証するために、レベル調整器152の他のブロック（ブロック167および／または171など）が、ノイズ補償レベル調整器169によって、実行する処理の量を増加させるよう命令されてもよい。ヘッドルームから使い果たすノイズ補償レベル調整器169は、マルチバンド・リミッタ154が制限し、圧縮フィードバック信号162をノイズ補償レベル調整器169に提供することによって示されてもよい。ノイズ補償レベル調整器169は、いくつかの場合には、高レベルのノイズに応答して補償することによって、ヘッドルームを使い果たすことがある。さらに、ノイズ補償レベル調整器169がレベル調整器152の他のブロックを制御しているいくつかの実装では、ノイズ補償レベル調整器169は、マルチバンド・リミッタ154に信号161を送信し、マルチバンド・リミッタ154が音色保持モードで動作することをやめる、および／または一つまたは複数のラウドスピーカーのオーバードライブを許容するべきであることを示してもよい。

この例によれば、ベース強化モジュール178は、ベース抽出モジュール177、ミキサー172、179、および仮想ベース（VB）ブロック171を含む。この例では、VBブロック171は、ノイズ補償レベル調整器169に出力168を提供する。いくつかの例では、ベース抽出モジュール177のそれぞれは、ランタイムで制御可能な一組の動的クロスオーバーフィルタとして実装されうる。いくつかのそのような例では、マルチバンド・リミッタ154が低周波数帯域において制限しているときに、ベース（たとえば、対応する低周波数帯域）が抽出されてもよい。いくつかのそのような実装によれば、ベース抽出モジュール177は、クロスオーバー周波数より上の高周波数範囲における高周波数内容（高域通過フィルタリングされた信号175）と、クロスオーバー周波数より下の低周波数範囲における低周波数内容（ベース抽出されたオーディオ173）を（入力チャネルCH1およびCH2から）抽出するように構成されてもよい。いくつかの例では、ベース抽出モジュール177は、少なくとも部分的には圧縮フィードバック信号162に基づいて、クロスオーバー周波数を制御するように構成されてもよい。クロスオーバー周波数は、マルチバンド・リミッタ154において実行されている制限の量（圧縮フィードバック信号162によって示される）によって制御されてもよい。いくつかの例では、制限は、たとえば500Hzまでの低い周波数範囲においてのみであってもよいが、代替的な例では、制限は、より広い、または全周波数範囲においてであってもよい。いくつかの例では、圧縮フィードバック信号162は、マルチバンド・リミッタ154によって、低い周波数範囲（たとえば、500Hzまで）の少なくとも2つの低周波帯域のそれぞれにおいて適用される圧縮の量を示しうる（そして、クロスオーバー周波数はかかる圧縮の量によって決定されうる）。代替的に、圧縮フィードバック信号162は、マルチバンド・リミッタ154によって、より広いまたは全周波数範囲における周波数帯域において適用される圧縮の量を示してもよい（そして、クロスオーバー周波数はかかる圧縮の量によって決定されうる）。

この例では、入力チャネルCH1およびCH2の両方から抽出されたベース・オーディオ173は、低域通過フィルタリングされ、ミキサー172に提供されており、該ミキサー172が、抽出されたベース・オーディオ173を単一チャネルにダウンミックスする。この例によれば、ミキサー172は、両方のチャネルに拡散されるべき（つまり、両方のチャネルに混合し戻されるべき）ダウンミックスされたベース174をミキサー179に提供する。この例では、ミキサー179は、ダウンミックスされたベース174と、ベース抽出されていない高域通過フィルタリングされた信号175とを混合し、修正されたチャネル170を出力する。いくつかの例によれば、修正されたチャネル170は、マルチバンド・リミッタ挙動およびノイズ推定値160に基づいて（および／または、ノイズ補償制御に基づいた利得と比較した、ユーザー入力163に対応する利得の割合に基づいて）、両方のチャネルにわたってベースを拡散させている。

この例では、ノイズ推定値160は、任意的に、ベース抽出モジュール177およびVBブロック171に提供される。この実装では、ベース強化モジュール178は、ノイズ推定値160（および／または、ユーザー制御に対応するボリュームと比較した、ノイズ補償レベル調整器169によって制御されたシステム・ボリュームの割合）をも考慮に入れる。いくつかの例によれば、ノイズ推定値160が高い場合、抽出される周波数は、一般に、ノイズ推定値が低い場合よりも、スペクトルの多くの部分から構成される。いくつかのそのような例によれば、ベース強化モジュール178は、ノイズ推定値160に基づいて、本明細書で周波数抽出の「積極性」と呼ばれうるものを調整するように構成されうる。本明細書中で使用されるところでは、用語「積極性（aggressiveness）」は、ベース・ボリューム強化の程度を指すパラメータである。

いくつかのそのような例では、ベース抽出モジュール177は、以下の式に従ってクロスオーバー周波数（以下の式において「targeted_crossover」）を決定するように構成されてもよい。
targeted_crossover＝total_gain_ratio*max_freq_limiting*aggressiveness （式1）
式1において、「aggressiveness」は、ベース・ボリューム強化の積極性を示すパラメータを表す。いくつかの例では、「aggressiveness」パラメータは、システムが、ダウンミックスされたベース174において過剰または過少なエネルギーを含まないことを保証するために、耳によって、たとえばユーザーによって、またはノイズ補償システムのプロバイダーによって、チューニングされうる。いくつかの例によれば、「aggressiveness」パラメータの線形補間が、2つの「aggressiveness」設定（たとえば、ノイズに起因する1つの高いボリューム設定と、ユーザー入力に起因するもう一つの高いボリューム設定）の間でフェードするために使用されてもよい。

式1において、「max_freq_limiting」は、マルチバンド・リミッタ154において制限されている帯域によってカバーされる最大周波数を表す。いくつかの例では、「max_freq_limiting」は、マルチバンド・リミッタ154によって制限されている最高周波数帯域の最高周波数によって決定されてもよく、または、該最高周波数から直接導かれてもよい。いくつかの実装では、「max_freq_limiting」は、ベース抽出モジュール177がサポートする範囲にクリップされてもよい。

いくつかの例では、
"total_gain_ratio"＝total_gain/max_possible_gain （式2）
式2において、「max_possible_gain」は、ベース抽出モジュール177によって抽出されうるすべての帯域（または、いくつかの実施形態では、マルチバンド・リミッタ154において制限されうるすべての帯域）について、マルチバンド・リミッタ154によって（その時点で）制限されているすべての帯域の最大利得の合計を表す。いくつかの例では、「max_possible_gain」は、最大クロスオーバー周波数を超えない周波数を有するビンについてマルチバンド・リミッタ154によって適用されうるすべての利得の最大積分（the maximum integral）でありうるという意味で、「max_possible_gain」は、ベース抽出されうるすべての帯域についてマルチバンド・リミッタ154によって適用されうる最大利得の合計であってもよい。

式2において、「total_gain」は、ベース抽出されうるすべての帯域（または、いくつかの実施形態では、制限されうるすべての帯域）に適用されているすべての利得（たとえば、各周波数帯域についての圧縮フィードバック信号162によって示される）の合計を表す。

式1および式2において、「total_gain_ratio」は、マルチバンド・リミッタ154が、ベース抽出モジュール177によってベース抽出されうるすべての帯域内で全体としてどのくらい制限しているかの指標を表す。式2において、「total_gain_ratio」は（「max_possible_gain」パラメータによって）正規化され、それにより「total_gain_ratio」は、可変数の帯域について行われる制限の全体的な量の、よりよい指標を与える。

いくつかの実装では、マルチバンド・リミッタ154がより多く制限を適用するとき（たとえば、式1および式2における「total_gain_ratio」が増大させられるとき）、適用されるベース強化の量を増加させるために、フィルタ205および206のそれぞれについてのクロスオーバー周波数（式1の「targeted_crossover」）を増加させることができる。いくつかの実装では、マルチバンド・リミッタ154がより少ない制限を適用するとき（たとえば、式1および式2の「total_gain_ratio」が減少させられるとき）、適用されるベース強化の量を減少させるために、クロスオーバー周波数を減少させることができる。クロスオーバー周波数（たとえば、式1および式2の「targeted_crossover」）は、ユーザーがパンにおける突然のジャンプに気付かないことを保証するために、いくつかの例では、アタックおよびリリースに関して平滑化されてもよい。

この例によれば、VBモジュール171は、幻の基音現象に基づくベース知覚を生成する。いくつかの例によれば、VBモジュール171は、入力信号の周波数内で、ベース周波数の高調波のところにある信号を注入することによって、増大したベースの知覚を作り出すように構成されてもよい。いくつかのそのような例では、注入される高調波の数および該高調波の振幅は、対応する圧縮フィードバック信号162およびノイズ推定値160（または、ユーザー入力に対応するボリュームと比較した、ノイズ補償レベル調整器169によって制御されるボリュームの割合）の両方によって決定されうる。ノイズ推定値160が高い場合、いくつかの例では、仮想ベースの量（たとえば、高調波の数およびその振幅）は、ノイズ推定値が低い場合に比べて増加する（たとえば、式1および式2の積極性を調整することにより）。いくつかの実装では、仮想ベースの量は、次のように決定される：
virtual_bass_gains＝min_virtual_bass_gain＋（（1＋0.01×A）^{-limiter_gain}－1） （式3）

式3において、「limiter_gain」は、マルチバンド・リミッタ154がVBモジュール171の一方または両方に提供しうる最低周波数帯域についてのマルチバンド・リミッタ利得値を表す。式3において、「A」は、仮想ベース適用の積極性（たとえば、マルチバンド・リミッタ利得の量当たりどのくらいの仮想ベースが適用されるか）を示すパラメータを表す。一例では、A＝－25であるが、Aは、代替例では、より高くても低くてもよい。式3において、「min_virtual_bass_gain」は、適用可能な仮想ベース利得の最小量を表す。いくつかの例によれば、「aggressiveness」パラメータの線形補間を使用して、2つの「aggressiveness」設定（たとえば、ノイズに起因する1つの高いボリューム設定と、ユーザー入力に起因する別の高いボリューム設定）の間でフェードしてもよい。

図 1Mに示される例に戻ると、この実装では、レベル調整器152は、任意的な制御信号164をノイズ推定器159に送るように構成される。いくつかの実装では、マルチバンド・リミッタ154は、任意的な制御信号167をノイズ推定器159に送信するように構成されてもよい。本明細書の他の箇所でより詳細に説明するように、いくつかの例において、レベル調整器152は、いくらかの歪みを許容して、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるようにマルチバンド・リミッタ154を構成してもよい（たとえば、周囲ノイズの存在時に再生ボリュームを増加させるために）。そのような場合、ラウドスピーカー156からマイクロフォン157へのオーディオ経路165は、ラウドスピーカー156の非線形歪みに対応する少なくともいくつかの音を含むことができる。少なくとも部分的には、エコー・キャンセラは一般に線形アルゴリズムに基づいているので、エコー・キャンセラは、ラウドスピーカー156の非線形歪みに対応する音を適切に打ち消すことができない。

したがって、いくつかのそのような例によれば、レベル調整器152が、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるようにマルチバンド・リミッタ154を構成する場合、レベル調整器152は、制御信号164をノイズ推定器159にも送信して（またはマルチバンド・リミッタ154もノイズ推定器159に制御信号167を送信して）、ノイズ推定器159が動作モードを変更すべきであることを示してもよい。いくつかのそのような例では、制御信号164（または制御信号167）は、ノイズ推定器159によって実装されたエコー・キャンセラが、マルチバンド制限されたオーディオ・データ155の静かな再生区間のみを入力として使用すべきであることを示すことができる。いくつかのそのような例では、静かな再生区間は、一つまたは複数の周波数帯域における閾値レベル以下のオーディオ信号のインスタンスであってもよい。代替的または追加的に、いくつかの例では、静かな再生区間は、ある時間区間の間閾値レベル以下であるオーディオ信号のインスタンスであってもよい。静かな再生区間は、本明細書では「ギャップ」とも呼ばれることもある。

いくつかの実装では、レベル調整器152がマルチバンド・リミッタ154を構成し、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させる場合、制御信号164（または制御信号167）は、エコー・キャンセラの一つまたは複数の機能が無効にされるまたは一時停止されるべきであることを示すことができる。たとえば、エコー・キャンセラは、通常、複数の周波数帯のそれぞれについて適応フィルタの係数を更新することによって動作することができる。いくつかのそのような実装では、マルチバンド制限されたオーディオ・データ155がラウドスピーカー156（またはオーディオ環境の一つまたは複数の他のオーディオ再生トランスデューサ）を線形範囲外で動作させる場合、制御信号164（または制御信号167）は、フィルタ係数を更新しないように音響エコー・キャンセラを制御してもよい。

図2Aは、マルチバンド・リミッタについての閾値および他のパラメータを設定するためのグラフィカルユーザーインターフェース（GUI）の例を示す。GUI 200は、たとえば、制御システムによって実行されるソフトウェアに従って、表示装置上に提示されてもよい。ユーザーは、たとえば、GUI 200が提示されているディスプレイ上のタッチスクリーンを介して、マウスを介して、キーボードを介して、音声コマンドを介して、などでユーザー入力を提供することによって、GUI 200と対話することができる。本明細書に提示されている他の図面と同様に、要素のタイプおよび数、ならびに示されている特定の値は、単に示として示されている。

この実装では、y軸は0dBから－60dBの範囲のデシベルを示し、x軸は周波数をHzで示す。この例では、GUI 200は、複数の周波数帯域217のそれぞれについての一組の例示的な閾値201を示す。この例によれば、各閾値201は、対応する周波数帯域217を表す垂直線内のドットによって示される。周波数帯域217のそれぞれの中心周波数は、周波数帯域217を表す垂直線に隣接して示される。いくつかの実装では、閾値201は、対応する周波数帯域において信号が超えることを許されないレベルである。入力レベルが閾値201を超える場合、レベルを閾値201に制限する負の利得が適用されうる。

閾値201のレベルは、オーディオ再生トランスデューサによって再生されるときに、対応する周波数帯域において依然として線形出力応答を有する最大入力値に関連してもよい。たとえば、図2Aに示される具体的な諸閾値201は、特定のオーディオ再生トランスデューサの能力に応じてあらかじめ設定されてもよい。この例では、閾値201は、一般に、最低の諸周波数帯域において、より低い。これは、特定のオーディオ再生トランスデューサが、高周波数よりも低周波数において、より低いレベルで歪めることを示す。この例では、844Hzを超える周波数は、その特定のデバイスについての最大ボリュームにおいて制限されない。

この例によれば、要素213は、特定の周波数帯域についての隔離（isolation）設定を示す。ある周波数帯域が隔離されるように設定されている場合、その周波数帯域におけるオーディオのみが、適用される制限利得に影響を及ぼす。図2Aに示される例では、周波数帯域のいずれも隔離されていない。

図2Bは、マルチバンド・リミッタについての閾値および他のパラメータの別の例を示す。図2Bは、4つの要素213が、4つの対応するベース周波数帯域が隔離されることを示すGUI 200の例を示す。いくつかの場合には、ベース周波数帯域のような特定の諸周波数帯域が、音色保存への寄与なしに、完全に隔離して動作することを可能にすることが望ましいことがある。たとえば、いくつかのオーディオ・システムは、スピーカー・サイズが小さいために、ベース周波数においてきわめて低い固定閾値をもつことがある。これらのベース周波数帯域が音色保存計算に寄与することが許される場合、全体的な再生レベルが劇的に低下することがある。そのような場合、これらのベース周波数帯域を図2Bに示されるように独立して動作させ、残りの周波数帯域に音色保存方法を適用することが望ましいことがある。

いくつかの代替的な実装では、完全に隔離されているか、または完全に隔離されていない代わりに、ある周波数帯域が部分的に隔離されていてもよい（たとえば、25%隔離、50%隔離、75%隔離など）。いくつかのそのような例において、周波数帯域が隔離される程度は、要素213のうちの一つまたは複数（たとえば、それぞれ）に対応するスライダーまたは他の仮想ユーザー入力デバイスを含むGUI 200の代替バージョンを介して選択可能であってもよい。他の例では、ある周波数帯域が隔離される程度は、オーディオ環境における周囲ノイズのレベルの変化など、変化する条件のため自動的に変化させられてもよい。いくつかの例が、図4Cを参照して後述される。

図2Aおよび図2Bに示される例において、いくつかの周波数帯域におけるドット218は、本明細書で「オーバードライブ」またはオーディオ再生トランスデューサの線形範囲外の動作と称されることがあるもについての例示的なチューニングを示す。さまざまな例が本明細書に開示される。ドット201とドット218との間では、オーディオ再生トランスデューサは、線形範囲で動作しない。いくつかの例によれば、ドット218は、それを越えたところではオーディオ再生トランスデューサが駆動されないハードリミットを表す。いくつかの代替的な実装では、ドット218は、オーディオ再生トランスデューサが、状況によっては、それを越えたところで駆動されうるソフト・リミットを表す。いくつかの実装では、そのような明示的なオーバードライブ・チューニングは任意的であってもよく、いくつかの代替的な例では、そのような明示的なオーバードライブ・チューニングは存在しなくてもよい。いくつかの実装では、明示的なオーバードライブ・チューニングは、すべての帯域を通じて固定値であってもよい（たとえば、閾値201に加えられる3dB）。

図2Aおよび2Bに示される例では、要素212は、ユーザー（たとえば、装置製造業者の従業員）が音色保存設定を選択することを許容する。これらの例では、ユーザーは、スライダー部分212aを動かすことによって、および／またはウィンドウ部分212bに数値を入力することによって、要素212と対話することができる。いくつかの実装では、音色保存設定は、ある周波数帯域の信号が、他の周波数帯域に適用される利得、たとえば、一つまたは複数の近傍の周波数帯域に適用される（たとえば、それらの周波数帯域が隔離されていない場合）利得に影響しうる程度に対応する。

いくつかの実装では、音色保存設定1.00は、すべての隔離されていない周波数帯域b＝1,…,Bにわたるすべての周波数帯域信号x_b[n]およびすべての固定閾値L_bの関数として計算される時間変化する閾値T_b[n]：
T_b[n]＝TPF（{x_i[n],L_i|i＝1,…,B}）
に対応してもよい。固定閾値L_bは、たとえば、閾値201に対応してもよい。次いで、各周波数帯域についての利得g_b[n]は、g_b[n]＝CF（x_b[n],T_b[n]）として計算されうる。

1.00未満の音色保存設定については、各閾値T_b[n]は、隔離されていない周波数帯域の、複数だが全部ではない周波数帯域信号x_b[n]および／または複数だが全部ではない固定閾値L_bの関数として、計算されうる。たとえば、0.50の音色保存設定では、各閾値T_b[n]は、隔離されていない周波数帯域の、周波数帯域信号x_b[n]および固定閾値L_bの半分の関数として計算されうる。

いくつかの例では、ある周波数帯域についての時間変化する閾値は、その最近傍の隔離されていない諸周波数帯域またはある範囲の近傍の隔離されていない諸周波数帯域に基づいて計算できる。

いくつかの例では、隔離されていない周波数帯が、その固定閾値を上回っているため、有意な利得低下を受ける場合、他の隔離されていない周波数帯域の時間変化する閾値も、いくらかの利得低下を受けるために低下させられてもよい。その周波数帯域についての時間変化する閾値は、それぞれの固定閾値未満に減らされるので、マルチバンド・リミッタ154は、音色への変更が緩和されるか、さもなければ防止されうる一方で、歪みを減少させる。

いくつかの例では、制御システム（たとえば、マルチバンド・リミッタ154）が、各周波数帯域におけるオーディオ入力信号の平均差およびそのそれぞれの固定閾値L_bを計算するように構成されてもよい。各周波数帯域における時間変化する閾値は、そのような帯域におけるオーディオ入力信号レベルからこの平均差を引いたものとすることができる。

代替的または追加的に、時間変化する閾値は、少なくとも利得g_b[n]以上に、経時的に平滑化されてもよい。すなわち、閾値を計算するために使用されるオーディオ入力信号のレベルは、利得g_b[n]を計算するために使用される信号（たとえば、e_b[n]）よりも強く平滑化されることができる。そのような一例では、より長い時定数を有する一極平滑化器（one pole smoother）が、よりなめらかなエネルギー信号s_b[n]を計算するために使用できる：

この場合、従来のマルチバンド・リミッタの10倍のオーダーのアタックおよびリリース時間が使用できる。次いで、なめらかなエネルギー信号は、以下のようにdBで表されてもよい：
S_b[n]＝10log₁₀(s_b[n])
各周波数帯域におけるなめらかなエネルギー信号と各周波数帯域における固定閾値L_bとの間の差は、やはりdBで表され：
D_b[n]＝S_b[n]－L_b
として計算されてもよく、すべての周波数帯域にわたるこれらの距離の最小値が見出されてもよい：

諸周波数帯域にわたるこれらの差の加重平均が、次のように計算されてもよい：

ここで、βは重み付け因子を表す。

β＝1のときは、差の真の平均が計算され、β＞1のときは、差が大きいほど、平均により大きく寄与する。言い換えると、閾値L_bをより大きく上回るエネルギーを有する周波数帯域が、より多く寄与する。いくつかの例では、β＝8が適切な重み付けを与えることが見出された。最後に、閾値T_b[n]は、この閾値が固定閾値L_bより小さいときは、ある周波数帯域内のなめらかな信号エネルギーから平均差を引いたものとして計算されてもよい。そうでなければ、いくつかの実装によれば、時間変化する閾値は、たとえば以下のように、固定された閾値に等しく維持されてもよい：

いくつかの代替的な実装では、重み付けされた平均〔加重平均〕ではなく、距離D_b[n]うちの最大からの閾値が計算されてもよい：

次いで、各閾値は、この閾値が固定閾値より小さい場合には、周波数帯域におけるなめらかな信号エネルギーから最大距離を引いて何らかの許容値D_tolを加えたものとして計算されてもよい：

許容値D_tolは、たとえば、各周波数帯域に適用される圧縮の量のいくらかの変動を許容するように設計されてもよい。ある具体的な実施形態においては、D_tol＝12dBの実際的な値が、十分な変動を許容することが見出されている。

図2Bに示される例では、閾値201aは、隔離されていない周波数帯域についての最低の閾値である。いくつかのそのような例では、要素212を介して100%の音色保存が選択されたとしたら、他の隔離されていない周波数帯域はどれも、その閾値を超えることができない。

図2Cは、周波数の範囲についての閾値の例を示すグラフである。図2Cのグラフ200Cにおいて、縦軸は振幅を表し、横軸は周波数を表す。グラフ200Cに示される各周波数についての閾値は、線セグメント203Cおよび205Cによって表される。線セグメント203Cは、ベース範囲内の隔離された周波数帯域についての閾値を表す。線セグメント203Cは、ベース範囲内の4つの隔離された周波数帯域のうち、図2Bに示される閾値にほぼ対応するように意図されている。

線セグメント205Cは、音色保存方法が適用された、図2Bの高いほうの諸周波数帯域（ベース範囲内の4つの隔離された周波数帯域より上の周波数帯域）の励起を表す。ここで、破線204Cは、独立した周波数帯域と音色保存周波数帯域との間の境界を示す。いくつかの例では、独立したまたは隔離された周波数帯域と音色保存周波数帯域との間に2つ以上の境界がある場合がある。

この例では、図2Bの高いほうの諸周波数帯域の閾値は異なるが、音色保存法の出力は、線セグメント205Cによって表されるすべての周波数の励起を、図2Bの閾値201aである図2Bの高いほうの諸周波数帯域の最も低い閾値に制限したことがわかる。

グラフ200Cの例では、制御システム（たとえば、図 1Mのレベル調整器152を実装している制御システム）は、ユーザー入力を介して受領されたユーザー入力レベル調整指示に応答して、マルチバンド・リミッタ構成を決定した。たとえば、ボリュームを調節するためにユーザーがリモートコントロール装置を使用したのであってもよい。この実装によれば、マルチバンド・リミッタ構成を決定することは、少なくとも1つのタイプの受領されたレベル調整指示がユーザー入力レベル調整指示であったので、音色保存構成を決定することに関わる。この例では、図 1Gおよび1Jに示される例のように、入力オーディオは、マルチバンド・リミッタにおいて制限を引き起こすレベルにあるホワイトノイズに対応する。図2Cおよび図2Dに示される例において、レベル調整器は、ユーザー入力を介して、またはノイズ推定器からの入力を介して受領されたのであってもよい一つまたは複数のレベル調整指示に基づいて、入力オーディオをこのレベルに調整した。線セグメント205Cに対応する周波数帯域について、出力された励起において、音色が完全に保存されていることがわかる。

図2Dは、ある周波数範囲についての閾値の別の例を示すグラフである。図2Dのグラフ200Dでは、縦軸は振幅を表し、横軸は周波数を表す。グラフ200Dに示される各周波数についての閾値は、線セグメント203Dおよび205Dによって表される。線セグメント203Dは、ベース範囲内の隔離された周波数帯域についての閾値を表す。線セグメント203Dは、ベース範囲内の4つの隔離された周波数帯域のうち、図2Bに示される閾値にほぼ対応するように意図されている。この例では、線セグメント203Dは、図2Cの線セグメント203Cと同じであることが意図される。この例では、線セグメント205Dは、図2Bの高いほうの諸周波数帯域（ベース範囲内の4つの隔離された周波数帯域より上の周波数帯域）の励起を表し、これらの周波数帯域には通常、音色保存方法が適用される。ここで、破線204Dは、独立した周波数帯域と通常音色保存方法が適用されるであろう周波数帯域との間の境界を示す。いくつかの例では、独立した周波数帯域と通常音色保存方法が適用されるであろう周波数帯域との間には、2つ以上の境界が存在してもよい。

グラフ200Dの例では、制御システム（たとえば、図 1Mのレベル調整器152を実装している制御システム）は、ノイズ補償モジュールから（たとえば、図 1Mのノイズ推定器159から）受領されたノイズ補償レベル調整指示に応答して、マルチバンド・リミッタ構成を決定している。この例によれば、マルチバンド・リミッタの構成を決定することは、少なくとも1つのタイプの受領されるレベル調整指示がノイズ補償レベル調整指示であったので、音色保存機能を変更することに関わる。この実装では、音色保存機能を変更することは、少なくとも部分的に音色保存機能を無効にすることに関わる。

この例によれば、ノイズ補償レベル調整指示は、オーディオ環境における周囲ノイズのレベルに対応し、音色保存機能を変更することは、少なくとも部分的には、周囲ノイズのレベルに基づいて、音色保存機能を変更することを含む。この例では、ノイズ補償レベル調整指示は、高いレベルの周囲ノイズを示す、および／またはそれに応答する。グラフ200Dには、以前に従属的でありかつ音色を保存するようにチューニングされた図2Bの周波数帯域（線セグメント205Dに対応する周波数帯域）が、この例においては完全に独立であることが許容されることがわかる。この例では、入力オーディオは、マルチバンド・リミッタにおいて制限を引き起こすレベルにあるホワイトノイズに対応する。

いくつかの事例では、一つまたは複数の以前に受領されたユーザー入力レベル調整指示は、一つまたは複数の周波数帯域の入力レベルを、マルチバンド・リミッタ構成の制限領域（limiting region）に前もって押し込んでいてもよい。いくつかのそのような例によれば、結果として得られるマルチバンド・リミッタ構成は、205Dおよび205Cの線形結合（たとえば、2つの間のクロスフェード）であってもよい。いくつかの他の実装では、ノイズ補償レベル調整指示に応答するマルチバンド・リミッタ構成は、ユーザー入力レベル調整指示に対する音色保存応答をオーバーライドしてもよい。下記にいくつかの例が記載される。

図2Eは、本開示のさまざまな側面を実装することが可能な装置の構成要素の例を示すブロック図である。本明細書で提供される他の図と同様に、図2Eに示される要素のタイプおよび数は、単に例として提供される。他の実装は、より多くの、より少ない、および／または異なるタイプおよび／または数の要素を含みうる。いくつかの例によれば、装置240は、本明細書に開示された方法の少なくとも一部を実行するように構成されてもよい。いくつかの実装では、装置240は、テレビジョン、オーディオ・システムの一つまたは複数の構成要素、モバイル・デバイス（たとえば携帯電話）、ラップトップ・コンピュータ、タブレット・デバイス、スマート・スピーカー、または他のタイプのデバイスであってもよく、またはそれらを含んでいてもよい。いくつかの実装では、装置240は、テレビジョン制御モジュールであってもよく、テレビジョン制御モジュールを含んでいてもよい。テレビジョン制御モジュールは、具体的な実装に依存して、テレビジョンに統合されても、されなくてもよい。いくつかの実装では、テレビジョン制御モジュールは、テレビジョンから別個の装置であってもよく、また、一部の例では、テレビジョンから別個に販売されてもよく、または、購入したテレビジョンに含まれていてもよいアドオンまたはオプションの装置として販売されてもよい。いくつかの実装では、テレビジョン制御モジュールは、テレビジョン番組、映画等のプロバイダーのようなコンテンツプロバイダーから取得可能であってもよい。

いくつかの代替的な実装によれば、装置240は、サーバーであってもよく、サーバーを含んでいてもよい。いくつかのそのような例において、装置240は、エンコーダであってもよく、またはエンコーダを含んでいてもよい。よって、いくつかの事例では、装置240は、家庭オーディオ環境のようなオーディオ環境内で使用するように構成された装置であってもよく、他方、他の事例では、装置240は、「クラウド」で使用するように構成された装置、たとえばサーバーであってもよく、または、これを含んでいてもよい。

この例では、装置240は、インターフェース・システム207および制御システム210を含む。インターフェース・システム207は、いくつかの実装において、オーディオ環境の一つまたは複数の他の装置と通信するように構成されてもよい。オーディオ環境は、いくつかの例では、家庭オーディオ環境であってもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、街路または歩道環境、公園環境などの他のタイプの環境であってもよい。インターフェース・システム207は、いくつかの実装では、制御情報および関連データをオーディオ環境のオーディオ装置と交換するように構成されてもよい。制御情報および関連データは、いくつかの例において、装置240が実行している一つまたは複数のソフトウェアアプリケーションに関連しうる。

インターフェース・システム207は、いくつかの実装では、コンテンツ・ストリームを受領または提供するように構成されてもよい。コンテンツ・ストリームは、オーディオ・データを含んでいてもよい。オーディオ・データは、オーディオ信号を含んでいてもよいが、これに限定されなくてもよい。場合によっては、オーディオ・データは、チャネルデータおよび／または空間メタデータのような空間データを含んでいてもよい。

インターフェース・システム207は、一つまたは複数のネットワークインターフェースおよび／または一つまたは複数の外部デバイスインターフェース（一つまたは複数のユニバーサルシリアルバス（USB）インターフェースなど）を含んでいてもよい。いくつかの実装によれば、インターフェース・システム207は、一つまたは複数の無線インターフェースを含んでいてもよい。インターフェース・システム207は、一つまたは複数のマイクロフォン、一つまたは複数のスピーカー、ディスプレイ・システム、タッチセンサーシステム、および／またはジェスチャーセンサーシステムのような、ユーザーインターフェースを実装するための一つまたは複数の装置を含んでいてもよい。いくつかの例では、インターフェース・システム207は、図2Eに示されるオプションのメモリシステム215のような、制御システム210とメモリシステムとの間の一つまたは複数のインターフェースを含んでいてもよい。しかしながら、制御システム210は、いくつかの事例ではメモリシステムを含んでいてもよい。インターフェース・システム207は、いくつかの実装では、環境内の一つまたは複数のマイクロフォンからの入力を受領するように構成されてもよい。

制御システム210は、たとえば、汎用の単一またはマルチチップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他のプログラマブル・ロジック・デバイス、離散ゲートまたはトランジスタ・ロジック、および／または離散ハードウェア・コンポーネントを含んでいてもよい。

いくつかの実装では、制御システム210は、2つ以上の装置に存在してもよい。たとえば、いくつかの実装では、制御システム210の一部分は、オーディオ環境内の装置に存在してもよく、制御システム210の別の一部分は、サーバー、モバイル装置（たとえば、スマートフォンまたはタブレットコンピュータ）など、オーディオ環境外にある装置に存在してもよい。他の例では、制御システム210の一部分は、本明細書に示される環境の1つの中の装置に存在してもよく、制御システム210の別の一部分は、オーディオ環境の一つまたは複数の他の装置に存在してもよい。たとえば、制御システムの機能性は、オーディオ環境の複数のスマート・オーディオ装置に分散されてもよく、オーケストレーション装置（たとえば、本明細書ではスマートホームハブと称されることのあるもの）およびオーディオ環境の一つまたは複数の他の装置によって共有されてもよい。他の例では、制御システム210の一部は、サーバーなどのクラウドベースのサービスを実装している装置に存在してもよく、制御システム210の別の一部は、別のサーバー、メモリデバイスなどの、クラウドベースのサービスを実装している別の装置に存在してもよい。また、インターフェース・システム207は、いくつかの例では、2つ以上のデバイスに存在してもよい。

いくつかの実装では、制御システム210は、少なくとも部分的に、本明細書に開示された方法を実行するために構成されてもよい。いくつかの例によれば、制御システム210は、コンテンツ・ストリーム処理の方法を実装するために構成されてもよい。

本明細書に記載された方法の一部または全部は、一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）に従って一つまたは複数の装置によって実行されうる。そのような非一時的媒体は、ランダムアクセスメモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むが、これらに限定されない、本明細書に記載されたもののようなメモリデバイスを含んでいてもよい。前記一つまたは複数の非一時的媒体は、たとえば、図2Eに示される任意的なメモリシステム215および／または制御システム210に存在してもよい。よって、本開示に記載された主題のさまざまな革新的な側面は、ソフトウェアを格納した一つまたは複数の非一時的媒体に実装されることができる。ソフトウェアは、たとえば、コンテンツ・ストリームを処理する、コンテンツ・ストリームをエンコードする、コンテンツ・ストリームをデコードするなどするように、少なくとも1つのデバイスを制御するための命令を含んでいてもよい。ソフトウェアは、たとえば、図2Eの制御システム210のような制御システムの一つまたは複数の構成要素によって実行可能であってもよい。

いくつかの例では、装置240は、図2Eに示される任意的なマイクロフォンシステム220を含んでいてもよい。任意的なマイクロフォンシステム220は、一つまたは複数のマイクロフォンを含んでいてもよい。いくつかの実装では、該マイクロフォンのうちの一つまたは複数は、スピーカーシステムのスピーカー、スマートオーディオデバイス等のような別のデバイスの一部であってもよく、またはそれに関連付けられてもよい。いくつかの例では、装置240は、マイクロフォンシステム220を含まなくてもよい。しかしながら、いくつかのそのような実装では、装置240はそれにもかかわらず、インターフェース・システム210を介して、オーディオ環境内の一つまたは複数のマイクロフォンについてのマイクロフォン・データを受領するように構成されてもよい。いくつかのそのような実装では、装置240のクラウドベースの実装は、マイクロフォン・データまたは少なくとも部分的には該マイクロフォン・データに対応するノイズメトリックを、オーディオ環境内の一つまたは複数のマイクロフォンから、または少なくとも1つのマイクロフォンを含むオーディオ環境内の一つまたは複数のデバイスから、インターフェース・システム210を介して受領するように構成されてもよい。

いくつかの実装によれば、装置240は、図2Eに示される任意的なラウドスピーカーシステム225を含んでいてもよい。任意的なラウドスピーカーシステム225は、本明細書では「スピーカー」またはより一般に「オーディオ再生トランスデューサ」と称されることもある一つまたは複数のラウドスピーカーを含むことができる。いくつかの例（たとえば、クラウドベースの実装）では、装置240はラウドスピーカーシステム225を含まなくてもよい。しかしながら、いくつかのそのような例では、オーディオ環境の一つまたは複数の他の装置が、ラウドスピーカーシステム225を実装してもよい。

いくつかの実装では、装置240は、図2Eに示される任意的なセンサーシステム230を含んでいてもよい。任意的なセンサーシステム230は、一つまたは複数のタッチセンサー、ジェスチャーセンサー、動き検出器などを含んでいてもよい。いくつかの実装によれば、任意的なセンサーシステム230は、一つまたは複数のカメラを含んでいてもよい。いくつかの実装では、カメラは自立型カメラであってもよい。いくつかの例において、任意的なセンサーシステム230の一つまたは複数のカメラは、単一目的のオーディオ装置または仮想アシスタントであってもよいスマート・オーディオ装置内に存在してもよい。いくつかのそのような例において、任意的なセンサーシステム230の一つまたは複数のカメラは、テレビジョン、携帯電話、またはスマート・スピーカーに存在してもよい。いくつかの例では、装置240は、センサーシステム230を含まなくてもよい。しかしながら、いくつかのそのような実装では、装置240は、それにもかかわらず、インターフェース・システム210を介して、オーディオ環境内の一つまたは複数のセンサーのためのセンサーデータを受領するように構成されてもよい。

いくつかの実装では、装置240は、図2Eに示される任意的なディスプレイ・システム235を含んでいてもよい。任意的なディスプレイ・システム235は、一つまたは複数の発光ダイオード（LED）ディスプレイのような一つまたは複数のディスプレイを含んでいてもよい。場合によっては、任意的なディスプレイ・システム235は、一つまたは複数の有機発光ダイオード（OLED）ディスプレイを含んでいてもよい。いくつかの例では、任意的なディスプレイ・システム235は、テレビジョンの一つまたは複数のディスプレイを含んでいてもよい。他の例では、任意的なディスプレイ・システム235は、ラップトップディスプレイ、モバイルデバイスディスプレイ、または別のタイプのディスプレイを含んでいてもよい。装置240がディスプレイ・システム235を含むいくつかの例では、センサーシステム230は、ディスプレイ・システム235の一つまたは複数のディスプレイに近接する、タッチセンサーシステムおよび／またはジェスチャーセンサーシステムを含んでいてもよい。いくつかのそのような実装によれば、制御システム210は、ディスプレイ・システム235を制御して、一つまたは複数のグラフィカル・ユーザー・インターフェース（GUI）を提示するように構成されてもよい。

いくつかのそのような例によれば、装置240は、スマート・オーディオ装置であってもよく、またはスマート・オーディオ装置を含んでいてもよい。いくつかのそのような実装では、装置240は、ウェイクワード検出器であってもよく、または、ウェイクワード検出器を含んでいてもよい。たとえば、装置240は、仮想アシスタントであってもよく、または仮想アシスタントを含んでいてもよい。

図3は、開示された方法の例を概説するフロー図である。方法300のブロックは、本明細書に記載される他の方法と同様に、必ずしも示される順序で実行されるわけではない。さらに、そのような方法は、図示および／または記載されているよりも多いまたは少ないブロックを含んでいてもよい。

方法300は、図2Eに示され、上述した装置240のような装置またはシステムによって実行されてもよい。いくつかの例では、方法300のブロックは、オーディオ環境内の一つまたは複数の装置、たとえばオーディオシステムコントローラ、またはオーディオ・システムの別の構成要素、たとえばスマート・スピーカー、テレビジョン、テレビジョン制御モジュール、モバイル装置などによって実行されてもよい。いくつかの実装では、オーディオ環境は、家庭環境の一つまたは複数の部屋を含んでいてもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、街路または歩道環境、公園環境などの他のタイプの環境であってもよい。しかしながら、代替的な実装では、方法300の少なくとも一部のブロックは、サーバーなどのクラウドベースのサービスを実装する装置によって実行されてもよい。

この例では、ブロック301は、入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して、（たとえば、制御システム210によって、図2Eのインターフェース・システム207を介して）受領することを含む。いくつかの例では、コンテンツ・ストリームは、オーディオ・データに対応するビデオ・データを含んでいてもよい。いくつかの実装では、制御システムおよびインターフェース・システムは、図2Eに示され、上述された制御システム210およびインターフェース・システム207であってもよい。いくつかの実装では、制御システムは、図 1Mに示され、上述された制御システム110であってもよい。いくつかの例では、ブロック301は、図 1Mのレベル調整器152が入力オーディオ・データ151を受領することを含んでいてもよい。いくつかの実装によれば、ブロック301は、エンコードされたコンテンツ・ストリームを受領することを含んでいてもよい。そのような実装では、ブロック301は、エンコードされたコンテンツ・ストリームをデコードすることを含んでいてもよい。コンテンツ・ストリームは、たとえば、映画、テレビジョン番組、音楽、音楽ビデオ、ポッドキャスト等に対応してもよい。

この実装では、ブロック305は、制御システムおよびインターフェース・システムを介して、オーディオ・データの再生に関連する少なくとも1つのタイプのレベル調整指示を受領することを含む。いくつかの事例では、前記少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して、たとえばリモートコントロールを介して、音声コマンド等を介してなどで受領されたユーザー入力レベル調整指示を含んでいてもよい。いくつかの実装によれば、ブロック305は、図 1Mのレベル調整器152がユーザー入力163を受領することを含んでいてもよい。

代替的または追加的に、前記少なくとも1つのタイプのレベル調整指示は、ノイズ補償モジュールから受領されるノイズ補償レベル調整指示を含んでいてもよい。いくつかの実装によれば、ブロック305は、図 1Mのレベル調整器152がノイズ推定器出力160を受領することを含んでいてもよい。ノイズ補償レベル調整指示は、たとえば、ノイズ補償モジュールによって検出された、またはノイズ補償モジュールがそこからマイクロフォン信号を受領するように構成されている一つまたは複数のマイクロフォンによって検出された周囲ノイズのレベルに応答することができる。いくつかの実装によれば、ブロック305は、図 1Mのレベル調整器152がノイズ推定器出力160を受領することを含んでいてもよい。

この例では、ブロック310は、前記少なくとも1つのタイプのレベル調整指示に基づいて、入力オーディオ・データのレベルを制御システムによって制御して、レベル調整されたオーディオ・データを生成することを含む。いくつかの実装によれば、ブロック310において、図 1Mのレベル調整器152は、ユーザー入力163および／またはノイズ推定器出力160に基づいてレベル調整されたオーディオ・データ153を生成することができる。

この例によれば、ブロック315は、制御システムによって、前記少なくとも1つのタイプのレベル調整指示に少なくとも部分的に基づいて、マルチバンド・リミッタ構成を決定することを含む。いくつかの例によれば、図 1Mに示された制御システム110は、少なくとも部分的にはユーザー入力163および／またはノイズ推定器出力160に基づいて、マルチバンド・リミッタ構成を決定することができる。いくつかのそのような例において、図 1Mのレベル調整器152は、少なくとも部分的に、ユーザー入力163および／またはノイズ推定器出力160に基づいて、マルチバンド・リミッタ構成を決定することができる。

いくつかの実装によれば、マルチバンド・リミッタ構成を決定することは、レベル調整指示（たとえば、唯一のレベル調整指示）がユーザー入力レベル調整指示である場合に、音色保存構成を決定することを含んでいてもよい。音色保存構成は、いくつかの例では、周波数帯域依存であってもよい。たとえば、いくつかの周波数帯域は、部分的にまたは完全に隔離されていてもよい。いくつかの例によれば、完全に隔離された周波数帯域のレベルは、他の周波数帯域のレベルおよび／または閾値を参照することなく、独立して制御されうる。

いくつかの例では、マルチバンド・リミッタ構成を決定することは、少なくとも1つのタイプのレベル調整指示がノイズ補償レベル調整指示である場合、音色保存機能を変更することを含みうる。いくつかのそのような例では、音色保存機能を変更することは、少なくとも部分的に音色保存機能を無効にすることを含んでいてもよい。いくつかの実装では、ノイズ補償レベル調整指示は、オーディオ環境における周囲ノイズのレベルに対応しうる。いくつかのそのような例では、音色保存機能は、少なくとも部分的に、周囲ノイズのレベルに基づいて変更されうる。

いくつかの実装によれば、ユーザー入力レベル調整指示およびノイズ補償レベル調整指示の両方が受領されてもよい。いくつかのそのような実装では、マルチバンド・リミッタ構成を決定することは、ユーザー入力レベル調整指示に対応するマルチバンド・リミッタ構成と、ノイズ補償レベル調整指示に対応するマルチバンド・リミッタ構成との平均（たとえば、重み付けされた平均）に少なくとも部分的に基づく、部分的に音色を保存する構成を決定することを含んでいてもよい。

この例では、ブロック320は、制御システムによって、マルチバンド・リミッタ構成に従ってマルチバンド・リミッタを構成することを含む。いくつかのそのような例において、図 1Mのレベル調整器152は、マルチバンド・リミッタ154が適用されるためのマルチバンド・リミッタ構成を示す制御信号161を送信することができる。いくつかの実装では、受領されるレベル調整指示がユーザー入力レベル調整指示である場合、マルチバンド・リミッタ154の音色保存設定は、マルチバンド・リミッタ154がたとえば工場においてもともとチューニングされたときのように保持されてもよい。そのような実装は、ユーザーがボリューム制御を調整しているときに、ユーザーが快適な体験をすることを確実にするのに役立つ可能性がある。

いくつかの例によれば、受領されたレベル調整指示がノイズ補償レベル調整指示である場合、マルチバンド・リミッタ154の音色保存設定は、たとえばノイズ補償レベル調整指示に比例して、徐々にオフにされてもよい。いくつかのそのような例では、ノイズが存在するとき、忠実度の損失がノイズ源によってマスクされて、再生されたオーディオ・コンテンツは、いまだ、ノイズよりも大きく、了解可能でありうる。

この実装によれば、ブロック325は、レベル調整されたオーディオ・データにマルチバンド・リミッタを適用して、マルチバンド制限されたオーディオ・データを生成することを含む。いくつかのそのような例では、図 1Mのマルチバンド・リミッタ154は、ブロック325においてマルチバンド制限されたオーディオ・データ155を生成してもよい。いくつかの実装では、方法300は、マルチバンド制限されたオーディオ・データをオーディオ環境の一つまたは複数のオーディオ再生トランスデューサ上で再生して、再生されたオーディオ・データを提供することを含むことができる。たとえば、方法300は、マルチバンド制限されたオーディオ・データ155を、図 1Mのラウドスピーカー156を介して再生することを含んでいてもよい。

図4Aおよび4Bは、音色保存修正器モジュールの例を示す。音色保存修正器モジュールは、たとえば、図 1Mの制御システム110または図2Eの制御システム210を介して実装されてもよい。いくつかの例では、音色保存修正器モジュール403Aおよび403Bは、図 1Mのレベル調整器152を介して実装されてもよい。いくつかの代替的な実装では、音色保存修正器モジュール403Aおよび403Bは、図 1Mのマルチバンド・リミッタ154を介して、または図 1Mに示されていない、制御システム110の別の要素を介して実装されてもよい。

図4Aに示される例では、音色保存修正器モジュール403Aは、任意の時点で使用される音色保存の量を制御するように構成される。この例では、音色保存修正器モジュール403Aは、少なくとも部分的には、ノイズ推定値402Aに基づいて音色保存の量を制御するように構成される。この例では、要素401Aは、マルチバンド・リミッタのもとの音色保存設定を表す。たとえば、要素401Aは、図2Aおよび2Bに示される例において要素212によって示される音色保存設定、たとえば図2Bのウィンドウ部分212bにおける数値を表していてもよい。

ノイズ推定値402Aは、本明細書でノイズ補償レベル調整指示と呼ばれることがあるものの一例である。いくつかの例において、ノイズ推定値402Aは、可聴周波数の範囲にわたる、または可聴周波数帯域のサブセットにわたる、平均、中央値または最大のノイズ・レベルでありうる。いくつかの例では、ノイズ推定値402Aは、レベル調整器152に提供される、ノイズ推定器159によって決定された周囲ノイズのスペクトル・ノイズ推定値であってもよい。いくつかの事例では、レベル調整器152（または制御システムの別の構成要素）は、ノイズ推定器出力160に基づいてノイズ推定値402Aを決定するように構成されてもよい。

この例によれば、ノイズ推定値402Aがノイズ・レベルが高いことを示す場合、音色保存修正器モジュール403Aは、修正された音色保存量404Aにおける音色保存量を低く制御するように構成される。逆に、ノイズ推定値402Aがノイズ・レベルが低いことを示す場合、音色保存修正器モジュール403Aは、修正された音色保存量404Aにおける音色保存の量を高く（または未修正であるよう）制御するように構成される。

図4Bに示される例では、音色保存修正器モジュール403Bは、少なくとも部分的には、ノイズ推定値402Aおよびユーザー・ボリューム設定463に基づいて、音色保存の量を制御するように構成される。ユーザー・ボリューム設定463は、本明細書でユーザー入力レベル調整指示と呼ばれるものの一例である。

この例によれば、音色保存修正器モジュール403Bは、次式に従って、修正された音色保存量404Bを決定するように構成される：
音色保存量（Timbre Preservation Amount）＝A*gain_user＋B*gain_noisecomp（式4）

式4において、Aは、この例における要素401Aに対応するもとの音色保存量を表す。たとえば、Aは、図2Aおよび2Bに示される例における要素212によって示される音色保存設定、たとえば、図2Bのウィンドウ部分212bにおける数値を表すことができる。ここで、gain_userは、図4Bに示される例におけるユーザー・ボリューム設定463である、ユーザーによって適用される利得を表す。式4において、gain_noisecompは、図4Bに示される例におけるノイズ推定値402Aであるノイズ補償レベル調整指示を表す。ブロードバンド・ノイズ補償システムの場合、gain_noisecompはブロードバンド利得でありうる。あるいはまた、マルチバンドノイズ補償システムによって適用される重み付けされた平均利得であってもよい。式4では、Bは音色保存値を表す。音色保存値Bは、たとえば、許容される音色保存の最低量を示すことができる。音色保存値Bは、たとえば、ボリュームが主にノイズ補償器（noise compensator）によって調整されたときにシステムがどの程度の音色保存を有するかを示すことができる。音色保存値Bは、たとえば、装置のチューニング動作中にメーカーによって設定されてもよい。

いくつかの実装によれば、式4の「gain」〔利得〕の項は、修正されていない利得を表すことは意図しておらず、むしろ、制御システムによって適用される前記利得の割合を表すことが意図されている。たとえば、制御システムによって適用された前記利得の75%がユーザー・ボリューム設定463に基づいていたとしたら、gain_userは0.75となる。よって、前記利得の25%は、ノイズ推定値402Aに基づいており、よって、gain_noisecompは、0.25となる。

この例によれば、ノイズ推定値402Aが低い場合、音色保存量は、もとのチューニング音色保存値（A利得項によって表される）に近くなる。この例では、ユーザー・ボリューム設定463が高く、ノイズ推定値402Aも高い場合には、ユーザー・ボリューム設定463およびノイズ推定値402Aの相対値に比例して、音色が部分的に保存される。この例によれば、ノイズ推定値402Aが高く、ユーザー・ボリューム設定463が低い場合、式4のB利得項が支配的になり、音色は保持されなくなる。

図4Cは、周波数帯域隔離修正器の例を示す。周波数帯域隔離修正器405は、たとえば、図2Eの制御システム210を介して実装されてもよい。いくつかの実装では、周波数帯域隔離修正器405は、図 1Mの制御システム110を介して、たとえばレベル調整器152および／またはマルチバンド・リミッタ154によって実装されうる。いくつかの実装では、周波数帯域隔離修正器405は、音色保存修正器モジュール403Aまたは音色保存修正器モジュール403Bを含む実装に対する代替として実装されてもよい。しかしながら、いくつかの実装は、周波数帯域隔離修正器405を、音色保存修正器モジュール403Aまたは音色保存修正器モジュール403Bとともに含んでいてもよい。これはたとえば、完全に隔離されているように示されている図2Bの4つのベース帯域のような、ベース帯域の周波数帯域隔離修正を許容するためである。

この例では、周波数帯域隔離修正器405は、複数の周波数帯域のそれぞれについての隔離設定413を受領することが示されている。複数の周波数帯域は、いくつかの事例では、すべての周波数帯域を含んでいてもよい。他の例では、複数の周波数帯域は、普通なら音色保存が適用されるであろう周波数帯域、たとえば、図2Bの隔離されていない周波数帯域を含んでいてもよい。

この例によれば、周波数帯域隔離修正器405はまた、任意的なユーザー・ボリューム設定463およびノイズ推定値402Aを受領することが示されている。いくつかの例において、ノイズ推定値402Aは、特定の周波数帯域についてのものであってもよい。代替的な例では、ノイズ推定値402Aは、周波数帯域のサブセットについてのものであってもよい。たとえば、周波数帯域隔離修正器405によって隔離値が修正される可能性がありうる周波数帯域のサブセットである。いくつかの例において、ノイズ推定値402Aは、すべての周波数帯域についてのものであってもよい。

この例では、周波数帯域隔離修正器405は、周波数帯域の隔離値を修正するかどうかを決定し、もしそうなら、その周波数帯域について、修正された周波数帯域隔離値407を生成するように構成される。周波数帯域隔離値修正は、特定の実装に依存して、バイナリ修正または非バイナリ修正であってもよい。バイナリ修正の場合、いくつかの例では、周波数帯域隔離値は、周囲ノイズ・レベルが高い場合には、非隔離から隔離に転換されてもよい。いくつかのそのような例では、周囲ノイズ・レベルが低い場合、または周波数帯域がすでに隔離されている場合、周波数帯域隔離値に変化がなくてもよい。いくつかの例では、周囲ノイズ・レベルは、全周波数スペクトルに基づいていてもよい。他の例では、周囲ノイズ・レベルは、隔離が修正される可能性のある帯域周波数に固有のものであってもよい。

いくつかの代替的な実装では、完全に隔離されているか、または完全に隔離されていないかである代わりに、周波数帯域が部分的に隔離されてもよい（たとえば、25%隔離、50%隔離、75%隔離など）。いくつかのそのような例では、周波数帯域が隔離される程度は、オーディオ環境における周囲ノイズのレベルに対応してもよい。周波数帯域が隔離される程度は、たとえば、音色保存方法において、選択された周波数帯域に、隔離されない周波数帯域よりも小さな重みをかけるために使用される重み付け値に対応してもよい。

いくつかのそのような例では、ある周波数帯域の、音色保存アルゴリズムに対する寄与が重み付けされる程度は、たとえば、（1－I）に対応してもよく、ここで、Iは周波数帯域が隔離される程度を表す。そのような一例では、周波数帯域が75%隔離される場合、Iは0.75に等しくなり、その周波数帯域の、音色保存アルゴリズムに対する寄与が重み付けされる度合いは0.25になる。そのような別の例では、ある周波数帯域が100%隔離される場合、Iは1.0に等しくなり、その周波数帯域の、音色保存アルゴリズムに対する寄与が重み付けされる度合いは0.0になる。換言すれば、その周波数帯域に対応する閾値は、音色保存計算において使用されない。

図3に戻ると、いくつかの例では、方法300は、制御システムが、たとえば、所定の入力、メトリックおよび／または状況に応答して、ノイズ補償モジュール動作変更を引き起こすことを含んでいてもよい。たとえば、図 1Mを参照して上述したように、いくつかの実装では、レベル調整器152は、制御信号164をノイズ推定器159に送信するように構成されてもよい。いくつかの実装では、マルチバンド・リミッタ154は、制御信号167をノイズ推定器159に送信するように構成されてもよい。いくつかの例において、制御信号164および／または制御信号167は、ノイズ補償モジュール動作変更（たとえば、ノイズ推定器159の機能性の変化）を引き起こすことができる。ノイズ補償モジュールは、たとえば、図 1Mに示されるように、制御システムのサブシステムまたはモジュールであってもよい。

いくつかのそのような例は、マルチバンド制限されたオーディオ・データ（たとえば、マルチバンド・リミッタ154によって出力されるマルチバンド制限されたオーディオ・データ155）が、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサ（たとえば、ラウドスピーカー156）を線形範囲外で動作させる場合に、ノイズ補償モジュール動作変更を引き起こすことを含みうる。いくつかのそのような事例では、制御システムは、少なくとも部分的には、ノイズ補償レベル調整指示および／または周囲ノイズ推定値に基づいて、オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを線形範囲の外側で動作させることができる。たとえば、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるマルチバンド制限されたオーディオ・データは、オーディオ環境における周囲ノイズの高いレベルに対応するノイズ補償レベル調整に基づいてもよい。

いくつかの例によれば、ノイズ補償モジュール動作変更は、ノイズ補償モジュールのエコー・キャンセラ機能を変更することに関わってもよい。たとえば、ノイズ補償モジュール動作変更は、ノイズ補償モジュールに、「静かな」再生区間のみを、ノイズ補償モジュールのノイズ推定器への入力として使用させることを含んでいてもよい。「静かな」再生区間は、周波数帯域または時間区間の少なくとも1つにおける、閾値レベル（たとえば、所定の閾値レベル）以下のオーディオ信号のインスタンスであってもよい。いくつかの実装では、「静かな」再生区間は、オーディオ環境のオーディオ再生トランスデューサがその線形範囲内で動作する間のインスタンスであってもよい。

本明細書の他の箇所に記載されているように、いくつかの実装では、制御システムのレベル調整器モジュール（たとえば、図 1Mのレベル調整器152）は、入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データ（たとえば、レベル調整オーディオ・データ153）を生成するように構成されてもよい。いくつかのそのような実装では、方法300は、たとえば、図 1Mに示される制御信号162を介して、マルチバンド・リミッタからレベル調整器モジュールにマルチバンド・リミッタ・フィードバックを提供することを含みうる。いくつかのそのような例によれば、マルチバンド・リミッタ・フィードバックは、マルチバンド・リミッタがレベル調整されたオーディオ・データの複数の周波数帯域のそれぞれに適用している制限の量を示すことができる。

いくつかのそのような実装では、方法300はまた、レベル調整モジュールによって、マルチバンド・リミッタ・フィードバックに少なくとも部分的に基づいて、複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを制御することを含んでいてもよい。いくつかのそのような例において、方法300は、一つまたは複数の周波数帯域または他の周波数帯域のレベルが制限されていることを示すマルチバンド・リミッタ・フィードバックに少なくとも部分的に基づいて、複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを低下させることを含んでいてもよい。いくつかの例では、レベル調整器は、図 1Nを参照して上述したように、マルチバンド・リミッタからの圧縮フィードバック信号に従って、レベル調整されたオーディオ・データを修正するように構成されてもよい。

図5は、別の開示された方法の例を概説するフロー図である。方法500のブロックは、本明細書に記載される他の方法と同様に、必ずしも示される順序で実行されるわけではない。さらに、そのような方法は、図示および／または記載されているよりも多いまたは少ないブロックを含んでいてもよい。

方法500は、図2Eに示され、上述した装置240のような装置またはシステムによって実行されてもよい。いくつかの例では、方法500のブロックは、オーディオ環境内の一つまたは複数の装置、たとえば、オーディオシステムコントローラ、またはオーディオ・システムの別の構成要素、たとえば、スマート・スピーカー、テレビジョン、テレビジョン制御モジュール、スマート・スピーカー、モバイル・デバイスなどによって実行されてもよい。いくつかの実装では、オーディオ環境は、家庭環境の一つまたは複数の部屋を含んでいてもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、街路または歩道環境、公園環境などの他のタイプの環境であってもよい。しかしながら、代替的な実装では、方法500の少なくともいくつかのブロックは、サーバーなどのクラウドベースのサービスを実装する装置によって実行されてもよい。

この例では、ブロック505は、入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して、（たとえば、制御システム210によって、図2Eのインターフェース・システム207を介して）受領することを含む。いくつかの例では、コンテンツ・ストリームは、オーディオ・データに対応するビデオ・データを含みうる。いくつかの実装では、制御システムおよびインターフェース・システムは、図2Eに示され上述された制御システム210およびインターフェース・システム207であってもよい。いくつかの実装では、制御システムおよびインターフェース・システムは、図 1Mに示され上述された制御システム110であってもよい。いくつかの例では、ブロック505は、図 1Mのレベル調整器152が入力オーディオ・データ151を受領することを含んでいてもよい。いくつかの実装によれば、ブロック505は、エンコードされたコンテンツ・ストリームを受領することを含んでいてもよい。そのような実装では、ブロック505は、エンコードされたコンテンツ・ストリームをデコードすることを含んでいてもよい。コンテンツ・ストリームは、たとえば、映画、テレビジョン番組、音楽、音楽ビデオ、ポッドキャスト等に対応しうる。

この例によれば、ブロック510は、制御システムによって、オーディオ・データまたはオーディオ・データの処理されたバージョンに対してマルチバンド・リミッタを適用して、マルチバンド制限されたオーディオ・データを生成することを含む。いくつかのそのような例では、図 1Mのマルチバンド・リミッタ154は、ブロック510においてマルチバンド制限されたオーディオ・データ155を生成することができる。

この例では、ブロック515は、マルチバンド制限されたオーディオ・データが、一つまたは複数のオーディオ再生トランスデューサ上で再生されたときに、オーディオ環境の該一つまたは複数のオーディオ再生トランスデューサを、線形範囲外で動作させるかどうかを決定することを含む。いくつかのそのような例において、制御システムは、少なくとも部分的に、ノイズ補償レベル調整指示またはノイズ推定値の少なくとも1つに基づいて、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させてもよい。たとえば、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるマルチバンド制限されたオーディオ・データは、オーディオ環境における周囲ノイズの高いレベルに対応するノイズ補償レベル調整に基づいてもよい。

いくつかの実装では、ブロック515は、複数の周波数帯帯域のそれぞれについて、線形範囲内の動作のための最大レベルを示すデータ構造を参照することを含んでいてもよい。いくつかのそのような例において、これらの最大線形範囲レベルは、図2Aおよび2Bのドット201に対応しうる。たとえば、制御システムは、メモリから最大線形範囲レベルを取り出すことができる。いくつかの例では、ブロック515は、複数の周波数帯域のそれぞれについて、非線形範囲内の動作のための最大レベルを示すデータ構造を参照することを含んでいてもよい。いくつかのそのような例において、これらの最大非線形範囲レベルは、図2Aおよび2Bのドット218に対応してもよい。

この例によれば、ブロック520は、音響エコー・キャンセラは、マルチバンド制限されたオーディオ・データがオーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるかどうかに基づいて、一つまたは複数のフィルタ係数を更新するかどうかを制御することを含む。いくつかのそのような例によれば、音響エコー・キャンセラが一つまたは複数のフィルタ係数を更新するかどうかを制御することは、マルチバンド制限されたオーディオ・データがオーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させる場合には、一つまたは複数のフィルタ係数を更新しないように音響エコー・キャンセラを制御することに関わってもよい。いくつかの例では、ブロック520は、マルチバンド制限されたオーディオ・データがオーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるかどうかに基づいて、ノイズ推定器がノイズ推定値を更新するかどうかを制御することを含に関わってもよい。いくつかのそのような例によれば、ノイズ推定器は、音響エコー・キャンセラを実装するように構成されなくてもよい。

たとえば、音響エコー・キャンセラは、通常、複数の周波数帯域のそれぞれについて適応フィルタの係数を更新する（たとえば、周期的に更新する）ことによって動作することができる。音響エコー・キャンセラは、いくつかの事例では、図 1Mのノイズ推定器159によって実装されてもよい。いくつかのそのような実装では、マルチバンド制限されたオーディオ・データ155がラウドスピーカー156（またはオーディオ環境の一つまたは複数の他のオーディオ再生トランスデューサ）を線形範囲外で動作させるであろう場合には、制御信号164（または制御信号167）は、フィルタ係数を更新しないよう、ノイズ推定器159の音響エコー・キャンセラを制御しうる。いくつかの実装によれば、ノイズ補償システム150は、ウェイクワード検出器として構成される一つまたは複数の装置を含んでいてもよい。いくつかのそのような実装では、マイクロフォン信号158のエコーキャンセルされたバージョンが、ウェイクワード検出器に提供されてもよい。音響エコー・キャンセラは、いくつかの事例では、ウェイクワード検出器として構成される装置によって実装されてもよい。マルチバンド制限されたオーディオ・データ155がオーディオ環境の一つまたは複数の他のオーディオ再生トランスデューサを線形範囲外で動作させる場合にフィルタ係数を更新しないことによって、ウェイクワード検出器の性能を改善することができる。これは、少なくとも部分的には、ウェイクワード検出器に提供されるマイクロフォン信号158のエコーキャンセルされたバージョンが、ウェイクワード検出器に提供される音声コマンドとより正確に対応しうるためである。ここで、ブロック525は、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサにマルチバンド制限されたオーディオ・データを提供することを含む。

いくつかの例では、方法500（たとえば、ブロック510）は、たとえば、図3を参照して上述したように、レベル調整されたオーディオ・データにマルチバンド・リミッタを適用することを含んでいてもよい。そのような例では、レベル調整されたオーディオ・データは、ブロック510で参照される「オーディオ・データの処理されたバージョン」の例である。そのような例は、制御システムによって、少なくとも1つのタイプのレベル調整指示に基づいて入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成することを含んでいてもよい。いくつかのそのような例は、制御システムによって、オーディオ・データの再生に関する少なくとも1つのタイプのレベル調整指示を受領し、制御システムによって、少なくとも1つのタイプのレベル調整指示に少なくとも部分的に基づいて、マルチバンド・リミッタ構成を決定し、制御システムによって、マルチバンド・リミッタ構成に従ってマルチバンド・リミッタを構成することを含んでいてもよい。いくつかの例では、少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して受領されるユーザー入力レベル調整指示、または音響エコー・キャンセラを含むノイズ補償モジュールから受領されるノイズ補償レベル調整指示のうちの少なくとも1つを含んでいてもよい。

いくつかの実装によれば、マルチバンド・リミッタ構成を決定することは、レベル調整指示（たとえば、唯一のレベル調整指示）がユーザー入力レベル調整指示である場合に、音色保持構成を決定することを含んでいてもよい。音色保存構成は、いくつかの例では、周波数帯域依存であってもよい。たとえば、いくつかの周波数帯域は、部分的にまたは完全に隔離されていてもよい。完全に隔離された周波数帯域のレベルは、他の周波数帯域のレベルおよび／または閾値を参照することなく、独立して制御されうる。

いくつかの例では、マルチバンド・リミッタ構成を決定することは、少なくとも1つのタイプのレベル調整指示を受領することがノイズ補償レベル調整指示である場合、音色保存機能を変更することを含みうる。いくつかのそのような例では、音色保存機能を変更することは、少なくとも部分的に音色保存機能を無効にすることを含んでいてもよい。いくつかの実装では、ノイズ補償レベル調整指示は、オーディオ環境における周囲ノイズのレベルに対応してもよい。いくつかのそのような例では、音色保存機能は、少なくとも部分的に、周囲ノイズのレベルに基づいて変更されうる。

いくつかの実装によれば、ユーザー入力レベル調整指示およびノイズ補償レベル調整指示の両方が受領されてもよい。いくつかのそのような実装では、マルチバンド・リミッタ構成を決定することは、ユーザー入力レベル調整指示に対応するマルチバンド・リミッタ構成と、ノイズ補償レベル調整指示に対応するマルチバンド・リミッタ構成との平均（たとえば、重み付けされた平均）に少なくとも部分的に基づく音色保存構成を決定することを含んでいてもよい。

いくつかの例では、方法500は、マルチバンド制限されたオーディオ・データをオーディオ環境の一つまたは複数のオーディオ再生トランスデューサ上で再生して、再生されたオーディオ・データを提供することを含んでいてもよい。

いくつかの例によれば、ノイズ補償モジュール動作変更は、ノイズ補償モジュールの代替的または追加的なエコー・キャンセラ機能を変更することを含んでいてもよい。たとえば、ノイズ補償モジュール動作変更は、ノイズ補償モジュールに、ノイズ補償モジュールのノイズ推定器への入力として「静かな」再生区間のみを使用させることを含みうる。「静かな」再生区間は、周波数帯域または時間区間の少なくとも1つにおける閾値レベル（たとえば、所定の閾値レベル）以下のオーディオ信号のインスタンスであってもよい。

いくつかのそのような実装では、方法500は、たとえば図 1Mに示される制御信号162を介して、マルチバンド・リミッタからレベル調整器モジュールへのマルチバンド・リミッタ・フィードバックを提供することを含みうる。いくつかのそのような例によれば、マルチバンド・リミッタ・フィードバックは、マルチバンド・リミッタがレベル調整されたオーディオ・データの複数の周波数帯域のそれぞれに適用している制限の量を示すことができる。

いくつかのそのような実装では、方法500は、また、レベル調整器モジュールによって、マルチバンド・リミッタ・フィードバックに少なくとも部分的に基づいて、複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを制御することを含んでいてもよい。いくつかのそのような例では、方法500は、一つまたは複数の周波数帯域または他の周波数帯域のレベルが制限されていることを示すマルチバンド・リミッタ・フィードバックに少なくとも部分的に基づいて、複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを低減することを含んでいてもよい。

図6Aは、ラウドスピーカーがオーバードライブされている時間区間の例を示すグラフである。図6Aの要素は以下の通りである。
・601：エコー基準の振幅軸。これは、本明細書では、エコー・キャンセラのための「スピーカー基準」または「ラウドスピーカー基準」とも呼ばれることもある。エコー基準の一例は、図 1Mのマルチバンド制限されたオーディオ・データ155である；
・602：エコー基準の時間軸。時間軸602は、図6Bのグラフと同じスケールを有する；
・603：オーディオ環境のオーディオ・システムを介して再生されるコンテンツ（オーディオデータ）の一部。この例では、オーディオ・データは正弦波として表現され、ラウドスピーカーはオーバードライブされていない。よって、音響エコー・キャンセラは、対応する時間区間の間にそのフィルタ係数を更新する;
・604：ラウドスピーカーがオーバードライブされる時間間隔の始点；
・605：制御システムがラウドスピーカーのオーバードライブを許容しないとした場合にマルチバンド・リミッタが制限するであろうオーディオ・データを表す、より大きな振幅の正弦波；
・606：スピーカーがオーバードライブされている時間区間の終点；
・607：スピーカーが再びその線形範囲内で動作する時間区間の間のオーディオ・データを表す、より小さな振幅の正弦波；
・614：この特定の周波数範囲についてスピーカーからマイクロフォンへの間の経路がもはや線形ではなくなる限界を示す。図6Aの閾値614を超えているとき、ラウドスピーカー156からマイクロフォン157へのオーディオ経路165（図 1M参照）は、ラウドスピーカー156の非線形歪みに対応する少なくともいくつかの音を含むことができる。いくつかの例では、閾値614は、特定の周波数帯域に対する単一の閾値（たとえば、図2Aの閾値201）に対応しうる。この閾値614を越えると、エコー・キャンセラは、システムをモデル化するのに問題がある。なぜなら、エコー・キャンセラがモデル化している再生音の少なくとも一部は、非線形歪みを含むからである。しかしながら、多くの場合、図6Bの対応するオーバードライブ設定が短い時間期間についてのものであるという事実のために、エコー・キャンセラがその時間中にモデルを更新しないことが許容されうる。なぜなら、オーバードライブ時間区間の前の直近に計算された係数のほうがより正確であるからである。同様に、ノイズ推定器に提供されるマイクロフォン信号に含まれる周囲ノイズは、オーバードライブ時間区間の間に非線形歪みを含むので、いくつかの実装では、制御システムは、ノイズ推定器がオーバードライブ時間区間の間は更新されたノイズ推定値を提供しないようにする。

図6Bは、図6Aのグラフに対応するエコー・キャンセラに送られうる信号の例を示す。この例では、図6Bの信号は、制御システムが「オーバードライブ」モードを実施しているときを示す。「オーバードライブ」モードの間、制御システム（たとえば、図 1Mのレベル調整器152）は（たとえば、周囲ノイズの存在下で再生ボリュームを増加させるために）、いくらかの歪みを許容して、オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるようにマルチバンド・リミッタを構成してもよい。「オーバードライブ」モードは、特定の実装に応じて変化してもよい。たとえば、「オーバードライブ」モード中に許容されるオーバードライブの量は、周波数依存であってもよく、いくつかの例においては、チューニング・プロセス（たとえば、工場のチューニング・プロセス）の間に設定されてもよい。いくつかの事例では、より低い周波数で許容されるオーバードライブの量は、より高い周波数で許容されるオーバードライブの量よりも多くてもよい。なぜなら、人間は、人間にとって可聴な周波数範囲内にある、より高い周波数の場合よりも、より低い周波数において、歪みに対して、より敏感でないからである。この例によれば、図6Bの信号は、音響エコー・キャンセラがそのフィルタ係数を更新すべきか否かを示す。

図6Bの信号は、たとえば、図 1Mのノイズ推定器159によって実装されるエコー・キャンセラに送られてもよい。図6Bの信号は、たとえば、マルチバンド・リミッタ154によってノイズ推定器159に送られる信号167の例であってもよい。代替的な例では、図6Bの信号は、ブロードバンド・リミッタによって、または図 1Mのレベル調整器152によって、エコー・キャンセラに送られてもよい。

この例では、図6Bの要素は以下の通りである：
・608：オーバードライブ信号軸。この例では、オーバードライブ信号は、ラウドスピーカーがオーバードライブされている場合は1であり、ラウドスピーカーがオーバードライブされていない場合は0である；
・609：時間軸；
・610：ラウドスピーカーが線形駆動からオーバードライブに変化するクロスオーバー時間；
・611：1のオーバードライブ信号値によって示される、ラウドスピーカーがオーバードライブされている時間区間；
・612：ラウドスピーカーがオーバードライブから線形動作に変化するクロスオーバー時間；
・613：0のオーバードライブ信号値によって示される、ラウドスピーカーが線形に動作している時間区間。

よって、この例では、エコー・キャンセラに提供される信号は、エコー基準と、スピーカーがその線形領域の外側で動作しているか否かを示すオーバードライブ信号値とを含む。オーバードライブ信号値が高い場合（たとえば、1）、いくつかの例では、ノイズ推定値が正確なままであることを保証するために、ノイズ推定器のノイズ推定値は更新されない。いくつかの実装によれば、オーバードライブ信号値が高い場合、ノイズ推定器は、ノイズ推定値を提供することを停止または一時停止させられてもよく、または同じ更新されていないノイズ推定値を提供させられてもよい。いくつかの実装では、オーバードライブ信号値は、スペクトル全体についての単一ビットのみからなり、時間領域で機能する。そのような実装は、スピーカーの非線形モデルを必要としないという利点を有する。いくつかの実装では、オーバードライブ信号は、該追加のビットをオーディオ・ストリーム自体の一部として（たとえば、最下位ビットとして）埋め込むことによって実装されてもよい。

いくつかの代替的な実装では、オーバードライブ信号は、帯域毎に提供されてもよい。いくつかのそのような実装では、歪み生成物（distortion products）は高調波歪みまたは相互変調歪み（たとえば、もとの内容の高調波級数を使って予言される高調波歪みおよびボルテラ級数を用いた相互変調）であると想定され、よって、歪み生成物が現れる周波数帯域は予測可能であるはずである。いくつかのそのような例によれば、歪み生成物の周波数が既知であれば、エコー・キャンセラは、ラウドスピーカーがこれらの周波数を発生する周波数帯域においてオーバードライブされることが知られている場合には、それらの周波数を更新しない。いくつかの例において、歪み生成物の周波数が既知である場合、ノイズ推定器は、ラウドスピーカーがそれらの周波数を発生する周波数帯域においてオーバードライブされることが知られているとき、それらの周波数については更新されたノイズ推定値を提供しない。

図7は、システムにおいて発生する「オーバードライブ」の量に少なくとも部分的に基づいて、音響エコーキャンセラ（AEC）を制御するように構成されたシステムの例を示す。いくつかの関連する実装では、図7に示されるようなシステムは、AECに加えて、またはAECの代わりに、ノイズ推定器を制御することができる。いくつかの例では、図7のブロックは、図2Eの制御システム210のインスタンス、または図 1Mの制御システム110のインスタンスによって実装される。この実装によれば、図7の要素は以下の通りである：
・701A：マルチバンド・リミッタへの入力信号；
・702A：マルチバンド・リミッタ。これはこの例では、複数の周波数帯域のそれぞれについての閾値を含むチューニングを有し、その閾値を超えると、ラウドスピーカーはその線形領域の外側で動作する。この例では、マルチバンド・リミッタ702Aはまた、ラウドスピーカー歪みの増大という代償を払って、追加的なボリュームを提供するために（たとえば、周囲のノイズ・レベルが高い期間）、これらの閾値を越えてオーバードライブする／これらの閾値をオーバーライドする能力をも実装する;
・703A：システムで発生しているオーバードライブの量。いくつかの例では、要素703Aは、図6Aおよび6Bを参照して上述されているオーバードライブ信号に対応してもよい；
・704A：AECコントローラ。この例では、AECコントローラ704Aは、一つまたは複数のラウドスピーカーによって生成される歪みの量に基づいて、AEC 707Aがその係数を更新すべきかどうかを示すように構成される；
・705A：AEC 707Aがその係数を更新すべきかどうかを示す信号；
・706A：エコー基準（またはスピーカーフィード）。一例は、図 1Mのマルチバンド制限されたオーディオ・データ155である；
・707A AEC。この例では、AEC 707Aは、信号705Aに基づいてその係数を任意的に更新することができる線形エコー・キャンセラである。

図8は、オーバードライブの量を決定するように構成されたシステムの例を示す。この実装によれば、図8の要素は以下の通りである：
・801A：マルチバンド・リミッタへの入力信号。いくつかの例において、入力信号801Aは、図 1Mのレベル調整されたオーディオ・データ153に対応してもよい；
・802A：オーディオ環境の一つまたは複数のラウドスピーカーの能力に基づいて、複数の周波数帯域のそれぞれについてのリミッタ閾値を含むことができるラウドスピーカー・モデル。いくつかの実装では、ラウドスピーカー・モデル802Aは、オーディオ環境の最も能力の低いラウドスピーカーに対応しうる。ラウドスピーカー・モデル802Aは、いくつかの事例において、高調波歪みモデルまたは相互変調歪みモデルのような、より複雑なモデルであってもよい；
・803A：オーバードライブ決定モジュール。いくつかの例では、オーバードライブ決定モジュール803Aは、図2Eの制御システム210のインスタンス、または図 1Mの制御システム110のインスタンスによって実装されてもよい。いくつかの例では、オーバードライブ決定モジュール803Aは、マルチバンド・リミッタによって実装されてもよい。いくつかの例では、オーバードライブ決定モジュール803Aは、システムがオーディオ環境の一つまたは複数のラウドスピーカーのためのスピーカー・フィード信号において提供されることを許容するオーバードライブの量を決定するように構成される。いくつかの例では、オーバードライブ決定モジュール803Aは、ノイズ推定値に従ってオーバードライブの量を決定するように構成されてもよい：ノイズ推定値が高い場合、いくつかのそのような例では、システムは、オーバードライブによって引き起こされる任意の歪みがマスクされるという想定の下、オーバードライブすることを許容される。いくつかの例では、オーバードライブ決定モジュール803Aは、スピーカーが生成するであろう歪みの量を予測するために、高調波歪みモデルのような、より複雑なモデルを組み込むように構成されてもよい。
・804A：マルチバンド・リミッタにおいて使用するオーバードライブ設定；
・805A：周囲ノイズの指示。

図9は、一例によるノイズ推定値および出力レベルのグラフである。この例では、制限および音色保存もしくはオーバードライブの量が、背景ノイズ・レベルに基づいて決定される。この例によれば、背景ノイズ・レベルが低い場合、システムの音色保存は最大に保たれる。この例では、背景ノイズ・レベルが高い場合、システムのボリュームを最大にするために、音色保存がオフにされる。いくつかの実装では、オーバードライブの量は、背景ノイズ・レベルが高いかどうかに基づいて決定されうる。

この例によれば、図9の要素は以下の通りである：
・901：ヘルツ単位での周波数軸；
・902：システムの音響レベル、dBでの音圧レベル（SPL）；
・903：オーディオを再生するオーディオ再生トランスデューサの出力レベル；
・904：高いSPL背景ノイズ推定値の例。高いSPL背景ノイズ推定値のため、いくつかの実装では、制御システムは、オーディオの比較的大量の音響マスキングが可能でありうることを判別または推定することができる;
・905：中程度のSPL背景ノイズ推定値の例。中程度のSPL背景ノイズ推定値のため、いくつかの実装では、制御システムは、オーディオのいくらかの音響マスキングが可能でありうることを判別または推定することができる;
・906：低SPL背景ノイズ推定値の例。低いSPL背景ノイズ推定値のため、いくつかの実装では、制御システムは、オーディオの音響マスキングがほとんど、または全く可能でないことを判別または推定することができる;
・907：高いSPL背景レベルと、システムの再生されるオーディオの音響レベルとの差。この例では、制御システムは、マルチバンド・リミッタを動作させ、大部分の帯域において音色保存を下げている。いくつかの例によれば、オーバードライブの量は、ノイズとオーディオ信号のレベルの間の差が閾値（たとえば、差分907が少なくとも2dB、3dB、4dB、5dBなど）以上に保持されることを保証するように増加されうる。いくつかのそのような実装では、ノイズ推定器/AECは、図7を参照して上述したように通知されるであろう。いくつかのそのような実装では、制御システムがオーディオの比較的大量の音響マスキングが可能であり、よって、導入される歪みがおそらく可聴でないことを判別または推定したため、制御システムは、オーディオ再生トランスデューサがオーバードライブされることを許してもよい。
・908：低いSPL背景レベルとシステムの再生されるオーディオの音響レベルとの間の差。いくつかのそのような例において、制御システムは、音色保存をその最大レベル、または少なくとも高い背景ノイズのインスタンスの間よりも高いレベルにして、マルチバンド・リミッタを動作させるであろう。いくつかの例によれば、「最大」レベルの音色保存は、低ノイズまたは無ノイズ条件についてベースライン音色保存設定（たとえば、工場での設定）と一致してもよい。いくつかの実装では、制御システムがオーディオの音響マスキングがほとんどまたは全く生じず、よって、導入された歪みが可聴である可能性が高いことを判別または推定したので、制御システムは、オーディオ再生トランスデューサを過剰駆動させない。
・909：中程度のSPL背景レベルとシステムの再生されるオーディオの音響レベルとの間の差。いくつかの実装では、音色保存の量は、要素908および907を参照して上述した量の間にある。いくつかのそのような例では、制御システムが、オーディオの中程度の量の音響マスキングのみが発生し、よって、導入される歪みが可聴である可能性があると判別または推定したので、システムのオーバードライブは必要ではなく、望ましくない。

図10は、この例の居住空間であるオーディオ環境のフロアプランの例を示している。本明細書で提供される他の図と同様に、図10に示される要素のタイプおよび数は、単に一例として提供される。他の実装は、より多くの、より少ない、および／または異なるタイプおよび数の要素を含みうる。

この例によれば、環境1000は、左上に居間1010、中央下にキッチン1015、右下に寝室1022を含む。居住空間にわたって分布する四角および円は、スペースに都合のよい位置に配置されているが、標準で規定されたレイアウトには準拠しない（任意に配置された）ラウドスピーカー1005a～1005hのセットを表す。それらのラウドスピーカーの少なくともいくつかは、いくつかの実装ではスマート・スピーカーであってもよい。いくつかの例では、テレビジョン1030は、少なくとも部分的に、一つまたは複数の開示された実施形態を実装するように構成されてもよい。この例では、環境1000は、環境を通じて分散されたカメラ1011a～1011eを含む。いくつかの実装では、環境1000内の一つまたは複数のスマートオーディオデバイスも、一つまたは複数のカメラを含んでいてもよい。該一つまたは複数のスマートオーディオデバイスは、単一目的のオーディオデバイスまたは仮想アシスタントであってもよい。いくつかのそのような例において、任意的なセンサーシステム130の一つまたは複数のカメラは、テレビジョン1030内またはテレビジョン1030上、携帯電話内、またはラウドスピーカー1005b、1005d、1005e、または1005hのうちの一つまたは複数などのスマート・スピーカー内に存在してもよい。カメラ1011a～1011eは、本開示において提示される環境1000のすべての図に示されているわけではないが、それにもかかわらず、環境1000のそれぞれは、いくつかの実装において、一つまたは複数のカメラを含んでいてもよい。

本開示のいくつかの側面は、開示された方法の一つまたは複数の例を実行するように構成された（たとえば、プログラムされた）システムまたは装置と、開示された方法またはそのステップの一つまたは複数の例を実装するためのコードを記憶する有形のコンピュータ読み取り可能媒体（たとえば、ディスク）とを含む。たとえば、いくつかの開示されたシステムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサ、またはマイクロプロセッサであって、開示された方法の実施形態またはそのステップを含む多様な動作のいずれかをデータに対して実行するようソフトウェアまたはファームウェアでプログラムされた、および／または他の仕方で構成されたものであってもよく、またはそれらを含むことができる。そのような汎用プロセッサは、入力装置、メモリ、および、それに呈されたデータに応答して開示された方法（またはそのステップ）の一つまたは複数の例を実行するようにプログラムされた（および／または他の仕方で構成された）処理サブシステムを含むコンピュータ・システムであってもよく、または、それを含んでいてもよい。

いくつかの実施形態は、開示された方法の一つまたは複数の例の実行を含む、オーディオ信号に対して必要な処理を実行するように構成された（たとえば、プログラムされた、および他の方法で構成された）構成可能な（たとえば、プログラム可能な）デジタル信号プロセッサ（DSP）として実装されてもよい。代替的に、開示されたシステム（またはその要素）の実施形態は、開示された方法の一つまたは複数の例を含む多様な動作のいずれかを実行するようにソフトウェアまたはファームウェアでプログラムされた、および／または他の仕方で構成された汎用プロセッサ（たとえば、パーソナルコンピュータ（PC）または他のコンピュータ・システムまたはマイクロプロセッサであって、入力装置およびメモリを含んでいてもよい）として実装されてもよい。代替的に、本発明のシステムのいくつかの実施形態の要素は、開示された方法の一つまたは複数の例を実行するように構成された（たとえば、プログラムされた）汎用プロセッサまたはDSPとして実装され、システムはまた、他の要素（たとえば、一つまたは複数のラウドスピーカーおよび／または一つまたは複数のマイクロフォン）を含んでいてもよい。開示された方法の一つまたは複数の例を実行するように構成された汎用プロセッサは、入力装置（たとえば、マウスおよび／またはキーボード）、メモリ、およびディスプレイ装置に結合されてもよい。

本開示のある側面は、開示される方法の一つまたは複数の例またはそのステップを実行するためのコード（たとえば実行するために実行可能なコーダ）を記憶しているコンピュータ読み取り可能媒体（たとえば、ディスクまたは他の有形記憶媒体）である。

本開示の個別的な実施形態および本開示の用途が本明細書に記載されているが、本明細書に記載されている実施形態および用途の多くの変形が、本明細書に記載され特許請求される開示の範囲から逸脱することなく可能であることは、当業者には明らかであろう。本開示のある種の形が示され説明されたが、本開示は、説明され示された特定の実施形態または説明された特定の方法に限定されないことが理解されるべきである。

本開示の個別的な実施形態および本開示の用途が本明細書に記載されているが、本明細書に記載されている実施形態および用途の多くの変形が、本明細書に記載され特許請求される開示の範囲から逸脱することなく可能であることは、当業者には明らかであろう。本開示のある種の形が示され説明されたが、本開示は、説明され示された特定の実施形態または説明された特定の方法に限定されないことが理解されるべきである。
いくつかの態様を記載しておく。
〔態様１〕
オーディオ処理方法であって：
入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して受領する段階と；
前記制御システムによって、マルチバンド・リミッタを前記オーディオ・データまたは該オーディオ・データの処理されたバージョンに適用して、マルチバンド制限されたオーディオ・データを生成する段階と；
前記マルチバンド制限されたオーディオ・データが、一つまたは複数のオーディオ再生トランスデューサ上で再生されたときに、オーディオ環境の該一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるかどうかを決定する段階と；
前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させるかどうかに基づいて、音響エコー・キャンセラが一つまたは複数のフィルタ係数を更新するかどうか、またはノイズ推定器がノイズ推定値を更新するかどうかを前記制御システムによって制御する段階と；
前記マルチバンド制限されたオーディオ・データを、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサに提供する段階とを含む、
方法。
〔態様２〕
前記音響エコー・キャンセラが前記一つまたは複数のフィルタ係数を更新するかどうかを制御することが、前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させる場合に、前記一つまたは複数のフィルタ係数を更新しないよう前記音響エコー・キャンセラを制御することを含む、態様１に記載のオーディオ処理方法。
〔態様３〕
前記制御システムによって、前記オーディオ・データの再生に関連する少なくとも1つのタイプのレベル調整指示を受領する段階と；
前記制御システムによって、前記少なくとも1つのタイプのレベル調整指示に少なくとも部分的に基づいて、マルチバンド・リミッタ構成を決定する段階と；
前記制御システムによって、前記マルチバンド・リミッタの構成に従って前記マルチバンド・リミッタを構成する段階とをさらに含む、
態様１または２に記載のオーディオ処理方法。
〔態様４〕
前記制御システムによって、前記少なくとも1つのタイプのレベル調整指示に基づいて前記入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成する段階をさらに含み、前記マルチバンド・リミッタを前記オーディオ・データまたは該オーディオ・データの前記処理されたバージョンに適用することは、前記マルチバンド・リミッタを前記レベル調整されたオーディオ・データに適用することを含む、態様３に記載のオーディオ処理方法。
〔態様５〕
前記少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して受領されたユーザー入力レベル調整指示、または、前記音響エコー・キャンセラを含むノイズ補償モジュールから受領された、またはノイズ補償レベル調整指示のうちの少なくとも一方を含む、態様３または４に記載のオーディオ処理方法。
〔態様６〕
前記マルチバンド・リミッタ構成を決定することは、前記少なくとも1つのタイプのレベル調整指示を受領することが前記ユーザー入力レベル調整指示を受領することを含む場合に、音色保存構成を決定することを含む、態様５に記載の方法。
〔態様７〕
前記マルチバンド・リミッタ構成を決定することは、前記少なくとも1つのタイプのレベル調整指示を受領することが前記ノイズ補償レベル調整指示を受領することを含む場合に、音色保存機能を変更することを含む、態様５または６に記載の方法。
〔態様８〕
前記音色保存機能を変更することは、少なくとも部分的に前記音色保存機能を無効にすることを含む、態様７に記載の方法。
〔態様９〕
前記ノイズ補償レベル調整指示は、前記オーディオ環境における周囲ノイズのレベルに対応し、前記音色保存機能を変更することは、少なくとも部分的に周囲ノイズのレベルに基づいて、音色保存機能を変更することを含む、態様７または８に記載の方法。
〔態様１０〕
前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサ上で前記マルチバンド制限されたオーディオ・データを再生して、再生されたオーディオ・データを提供する段階をさらに含み、前記再生されたオーディオ・データに対する周囲ノイズのレベルのマスキング効果を決定する段階をさらに含み、前記音色保存機能を変更することは、少なくとも部分的に前記マスキング効果に基づいて、前記音色保存機能を変更するステップを含む、態様９に記載の方法。
〔態様１１〕
前記音色保存構成は、周波数帯依存である、態様６ないし１０のうちいずれか一項に記載の方法。
〔態様１２〕
前記少なくとも1つのタイプのレベル調整指示を受領することは、前記ユーザー入力レベル調整指示と前記ノイズ補償レベル調整指示の両方を受領することを含み、前記マルチバンド・リミッタ構成を決定することは、少なくとも部分的には前記ユーザー入力レベル調整指示と前記ノイズ補償レベル調整指示の重み付けされた平均に基づく音色保存構成を決定することを含む、態様５に記載の方法。
〔態様１３〕
前記制御システムは、少なくとも部分的にはノイズ補償レベル調整指示またはノイズ推定値の少なくとも一方に基づいて、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させる、態様１ないし１２のうちいずれか一項に記載の方法。
〔態様１４〕
前記制御システムは、少なくとも部分的には前記オーディオ環境における高いレベルの周囲ノイズに対応するノイズ補償レベル調整に基づいて、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させる、態様１３に記載の方法。
〔態様１５〕
前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させるときに、追加的なノイズ補償モジュール動作変更を引き起こす段階をさらに含む、態様５ないし１４のうちいずれか一項に記載の方法。
〔態様１６〕
前記追加的なノイズ補償モジュール動作変更は、前記ノイズ補償モジュールに、前記ノイズ補償モジュールのノイズ推定器への入力として静かな再生区間のみを使用させることを含み、前記静かな再生区間は、周波数帯域または時間区間の少なくとも一方において閾値レベル以下のオーディオ信号のインスタンスである、態様１５に記載の方法。
〔態様１７〕
前記ノイズ補償モジュールは、前記制御システムのサブシステムである、態様５ないし１４のうちいずれか一項に記載の方法。
〔態様１８〕
前記制御システムのレベル調整器モジュールは、前記入力オーディオ・データのレベルを制御して、前記レベル調整されたオーディオ・データを生成するように構成され、前記マルチバンド・リミッタからのマルチバンド・リミッタ・フィードバックを前記レベル調整器モジュールに提供することをさらに含む、態様４ないし１２または１３ないし１７のうちいずれか一項に記載の方法。
〔態様１９〕
前記マルチバンド・リミッタ・フィードバックは、前記マルチバンド・リミッタが前記レベル調整されたオーディオ・データの複数の周波数帯域のそれぞれに適用している制限の量を示す、態様１８に記載の方法。
〔態様２０〕
前記レベル調整器モジュールによって、少なくとも部分的には前記マルチバンド・リミッタ・フィードバックに基づいて、前記複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを制御することをさらに含む、態様１９に記載の方法。
〔態様２１〕
態様１ないし２０のうちいずれか一項に記載の方法を実装するように構成された装置。
〔態様２２〕
態様１ないし２０のうちいずれか一項に記載の方法を実装するように構成されたシステム。
〔態様２３〕
ソフトウェアを記憶している一つまたは複数の非一時的媒体であって、前記ソフトウェアは態様１ないし２０のうちいずれか一項に記載の方法を実行するよう一つまたは複数の装置を制御するための命令を含む、媒体。

Claims (23)

1. オーディオ処理方法であって：
   入力オーディオ・データを含むコンテンツ・ストリームを、制御システムによって、インターフェース・システムを介して受領する段階と；
   前記制御システムによって、マルチバンド・リミッタを前記オーディオ・データまたは該オーディオ・データの処理されたバージョンに適用して、マルチバンド制限されたオーディオ・データを生成する段階と；
   前記マルチバンド制限されたオーディオ・データが、一つまたは複数のオーディオ再生トランスデューサ上で再生されたときに、オーディオ環境の該一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させるかどうかを決定する段階と；
   前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させるかどうかに基づいて、音響エコー・キャンセラが一つまたは複数のフィルタ係数を更新するかどうか、またはノイズ推定器がノイズ推定値を更新するかどうかを前記制御システムによって制御する段階と；
   前記マルチバンド制限されたオーディオ・データを、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサに提供する段階とを含む、
   方法。
2. 前記音響エコー・キャンセラが前記一つまたは複数のフィルタ係数を更新するかどうかを制御することが、前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させる場合に、前記一つまたは複数のフィルタ係数を更新しないよう前記音響エコー・キャンセラを制御することを含む、請求項１に記載のオーディオ処理方法。
3. 前記制御システムによって、前記オーディオ・データの再生に関連する少なくとも1つのタイプのレベル調整指示を受領する段階と；
   前記制御システムによって、前記少なくとも1つのタイプのレベル調整指示に少なくとも部分的に基づいて、マルチバンド・リミッタ構成を決定する段階と；
   前記制御システムによって、前記マルチバンド・リミッタの構成に従って前記マルチバンド・リミッタを構成する段階とをさらに含む、
   請求項１または２に記載のオーディオ処理方法。
4. 前記制御システムによって、前記少なくとも1つのタイプのレベル調整指示に基づいて前記入力オーディオ・データのレベルを制御して、レベル調整されたオーディオ・データを生成する段階をさらに含み、前記マルチバンド・リミッタを前記オーディオ・データまたは該オーディオ・データの前記処理されたバージョンに適用することは、前記マルチバンド・リミッタを前記レベル調整されたオーディオ・データに適用することを含む、請求項３に記載のオーディオ処理方法。
5. 前記少なくとも1つのタイプのレベル調整指示は、ユーザー入力を介して受領されたユーザー入力レベル調整指示、または、前記音響エコー・キャンセラを含むノイズ補償モジュールから受領された、またはノイズ補償レベル調整指示のうちの少なくとも一方を含む、請求項３または４に記載のオーディオ処理方法。
6. 前記マルチバンド・リミッタ構成を決定することは、前記少なくとも1つのタイプのレベル調整指示を受領することが前記ユーザー入力レベル調整指示を受領することを含む場合に、音色保存構成を決定することを含む、請求項５に記載の方法。
7. 前記マルチバンド・リミッタ構成を決定することは、前記少なくとも1つのタイプのレベル調整指示を受領することが前記ノイズ補償レベル調整指示を受領することを含む場合に、音色保存機能を変更することを含む、請求項５または６に記載の方法。
8. 前記音色保存機能を変更することは、少なくとも部分的に前記音色保存機能を無効にすることを含む、請求項７に記載の方法。
9. 前記ノイズ補償レベル調整指示は、前記オーディオ環境における周囲ノイズのレベルに対応し、前記音色保存機能を変更することは、少なくとも部分的に周囲ノイズのレベルに基づいて、音色保存機能を変更することを含む、請求項７または８に記載の方法。
10. 前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサ上で前記マルチバンド制限されたオーディオ・データを再生して、再生されたオーディオ・データを提供する段階をさらに含み、前記再生されたオーディオ・データに対する周囲ノイズのレベルのマスキング効果を決定する段階をさらに含み、前記音色保存機能を変更することは、少なくとも部分的に前記マスキング効果に基づいて、前記音色保存機能を変更するステップを含む、請求項９に記載の方法。
11. 前記音色保存構成は、周波数帯依存である、請求項６ないし１０のうちいずれか一項に記載の方法。
12. 前記少なくとも1つのタイプのレベル調整指示を受領することは、前記ユーザー入力レベル調整指示と前記ノイズ補償レベル調整指示の両方を受領することを含み、前記マルチバンド・リミッタ構成を決定することは、少なくとも部分的には前記ユーザー入力レベル調整指示と前記ノイズ補償レベル調整指示の重み付けされた平均に基づく音色保存構成を決定することを含む、請求項５に記載の方法。
13. 前記制御システムは、少なくとも部分的にはノイズ補償レベル調整指示またはノイズ推定値の少なくとも一方に基づいて、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させる、請求項１ないし１２のうちいずれか一項に記載の方法。
14. 前記制御システムは、少なくとも部分的には前記オーディオ環境における高いレベルの周囲ノイズに対応するノイズ補償レベル調整に基づいて、前記オーディオ環境の前記一つまたは複数のオーディオ再生トランスデューサを線形範囲外で動作させる、請求項１３に記載の方法。
15. 前記マルチバンド制限されたオーディオ・データが前記オーディオ環境の一つまたは複数のオーディオ再生トランスデューサを前記線形範囲外で動作させるときに、追加的なノイズ補償モジュール動作変更を引き起こす段階をさらに含む、請求項５ないし１４のうちいずれか一項に記載の方法。
16. 前記追加的なノイズ補償モジュール動作変更は、前記ノイズ補償モジュールに、前記ノイズ補償モジュールのノイズ推定器への入力として静かな再生区間のみを使用させることを含み、前記静かな再生区間は、周波数帯域または時間区間の少なくとも一方において閾値レベル以下のオーディオ信号のインスタンスである、請求項１５に記載の方法。
17. 前記ノイズ補償モジュールは、前記制御システムのサブシステムである、請求項５ないし１４のうちいずれか一項に記載の方法。
18. 前記制御システムのレベル調整器モジュールは、前記入力オーディオ・データのレベルを制御して、前記レベル調整されたオーディオ・データを生成するように構成され、前記マルチバンド・リミッタからのマルチバンド・リミッタ・フィードバックを前記レベル調整器モジュールに提供することをさらに含む、請求項４ないし１２または１３ないし１７のうちいずれか一項に記載の方法。
19. 前記マルチバンド・リミッタ・フィードバックは、前記マルチバンド・リミッタが前記レベル調整されたオーディオ・データの複数の周波数帯域のそれぞれに適用している制限の量を示す、請求項１８に記載の方法。
20. 前記レベル調整器モジュールによって、少なくとも部分的には前記マルチバンド・リミッタ・フィードバックに基づいて、前記複数の周波数帯域のうちの一つまたは複数の周波数帯域のレベルを制御することをさらに含む、請求項１９に記載の方法。
21. 請求項１ないし２０のうちいずれか一項に記載の方法を実装するように構成された装置。
22. 請求項１ないし２０のうちいずれか一項に記載の方法を実装するように構成されたシステム。
23. ソフトウェアを記憶している一つまたは複数の非一時的媒体であって、前記ソフトウェアは請求項１ないし２０のうちいずれか一項に記載の方法を実行するよう一つまたは複数の装置を制御するための命令を含む、媒体。

Images