JP2020108143A - 複数の音響ストリームの空間的再位置決め - Google Patents

Abstract

【課題】好ましくは室内応答を含む個人化された空間音響伝達関数と音響入力信号を組み合わせるプロセッサを具備する音響レンダリングシステムを提供すること。【解決手段】個人化された空間音響伝達関数は、複数の個人のインイヤーマイク測定結果に由来する複数の候補伝達関数データセットを有するデータベースから選択される。あるいは、個人化された伝達関数データセットは、受聴者の実際のインイヤー測定結果に由来する。フォアグラウンドおよびバックグラウンド方向および距離について、フォアグラウンドおよびバックグラウンド位置が指定されるとともに、選択データセットからの伝達関数対とのマッチがなされる。音声および音楽等の入力音響の２つのチャネルが処理される。電話等の音声通信を受けた場合は、個人化された伝達関数の使用により、レンダリング対象の音楽がフォアグラウンドから、バックグラウンド空間音響位置に対応するバックグラウンドチャネルへと移動する。音声通話は、同時にフォアグラウンドチャネルへ伝達される。【選択図】図２

Description

関連出願の相互参照
本願は、２０１８年１月７日に出願された米国特許出願第６２／６１４，４８２号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」と、２０１５年１２月３１日に出願されたシンガポール特許出願第１０２０１５１０８２２Ｙ号「Ａ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＣＵＳＴＯＭＩＺＥＤ／ＰＥＲＳＯＮＡＬＩＺＥＤ ＨＥＡＤ ＲＥＬＡＴＥＤ ＴＲＡＮＳＦＥＲ ＦＵＮＣＴＩＯＮ」の優先権の利益を主張する、２０１６年１２月２８日に出願された国際特許出願第ＰＣＴ／ＳＧ２０１６／０５０６２１号「Ａ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＣＵＳＴＯＭＩＺＥＤ／ＰＥＲＳＯＮＡＬＩＺＥＤ ＨＥＡＤ ＲＥＬＡＴＥＤ ＴＲＡＮＳＦＥＲ ＦＵＮＣＴＩＯＮ」と、の開示内容の全体を援用するものであり、そのすべての内容を本明細書に援用する。さらに、本願は、２０１８年５月２日に出願された米国特許出願第１５／９６９，７６７号「ＳＹＳＴＥＭ ＡＮＤ Ａ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＦＯＲ ＣＵＳＴＯＭＩＺＩＮＧ ＡＵＤＩＯ ＥＸＰＥＲＩＥＮＣＥ」および２０１８年９月１９日に出願された米国特許出願第１６／１３６，２１１号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」の開示内容の全体を援用するものである。

本発明は、ヘッドフォンを介してレンダリングするために音響を生成する方法およびシステムに関する。より詳細には、本発明は、音響ストリームと併せて空間音響位置と関連付けられた室内インパルス応答情報を有する個人化された空間音響伝達関数のデータベースを用いるとともに、個人化された空間音響伝達関数を用いて空間音響位置を生成することにより、ヘッドフォンを介してよりリアルな音響レンダリングを生成することに関する。

ユーザは、電話機の着信時に音楽を聴いていることが多く、音楽を中断せずに聴き続けたい場合がある。残念ながら、ほとんどの電話機は、着信を受ける際に音楽を消音するように構成されている。そこで、着信を受ける際にも音楽等の音響を中断せずに聴き続けることができ、また、２つの異なる音響源をユーザが識別できるようにし得る改良されたシステムが求められている。

上記を実現するため、本発明は、様々な実施形態において、バイノーラル信号をヘッドフォンに与えるように構成されたプロセッサ・システムであって、フォアグラウンド位置等の第１の位置において、音響を第１の入力音響チャネルに配置する手段と、バックグラウンド位置等の第２の位置において、音響を第２の入力音響チャネルに配置する手段と、を備えた、システムを提供する。

本発明の実施形態のうちのいくつかにおいて、このシステムは、少なくとも２つの音響ストリームと併せて空間音響位置と関連付けられた室内インパルス応答情報（ＨＲＴＦまたはＢＲＩＲ等）を有する個人化された空間音響伝達関数のデータベースを含む。これと併せて、少なくとも２つの場所に関する個人化されたＢＲＩＲを２つの入力音響ストリームと併用することにより、フォアグラウンド空間音響源およびバックグラウンド空間音響源を確立して、受聴者がヘッドフォンを通じて没入型の体験を得られるようにする。

本発明のいくつかの実施形態に係る、処理された音響の空間音響位置を示した図である。 本発明のいくつかの実施形態に係る、異なる空間音響位置における複数の異なる種類のメディアおよび音声通信のいずれか等からの音響源を提示するシステムを示した図である。 本発明の実施形態に係る、カスタマイズ用のＢＲＩＲを生成し、カスタマイズ用の受聴者特性を取得し、受聴者のカスタマイズＢＲＩＲを選択し、ＢＲＩＲにより修正された音響をレンダリングするシステムを示した図である。

以下、本発明の好適な実施形態を詳しく参照する。好適な実施形態の例を添付の図面に示す。本発明をこれら好適な実施形態に関連して説明するが、本発明をこのような好適な実施形態に限定する意図ではないことが理解される。むしろ、添付の特許請求の範囲により規定される本発明の主旨および範囲に含むことができる代替、改良、および同等物をカバーすることが意図される。以下の説明において、多くの具体的詳細は、本発明の十分な理解を可能にするために示している。本発明は、これら具体的詳細の一部または全部を伴わずに実施することができる。他の例では、本発明を不必要に分かりにくくすることのないように、周知のメカニズムを詳細には説明していない。

本明細書においては、さまざまな図面の全体にわたって、同じ番号が同じ部分を表すことに留意するものとする。本明細書において図示および説明するさまざまな図面は、本発明のさまざまな特徴を示すのに用いている。特定の特徴がある図面において示され、別の図面では示されていない限り、別段の指定または当該特徴の構造上の本質的な組み込み禁止がある場合を除いて、これらの特徴は、十分に図示されているかの如くその他の図に表された実施形態に含まれるように適応できることが理解されるものとする。別段の指定のない限り、図面は必ずしも原寸に比例していない。図面上の如何なる寸法も、本発明の範囲を制限することを意図したものではなく、ほんの一例に過ぎない。

バイノーラル技術は、両耳に関する技術または両耳に用いられる技術を一般的に表すが、ユーザによる３次元場での音響の認識を可能にする。これは、いくつかの実施形態においては、バイノーラル室内インパルス応答（ＢＲＩＲ）およびその関連するバイノーラル室内伝達関数（ＢＲＴＦ）の決定および使用により実現される。ＢＲＩＲは、スピーカからの音波と受聴者の耳、頭部および胴体、さらには室内の壁および他の物体との相互作用をシミュレートする。あるいは、いくつかの実施形態においては、頭部伝達関数（ＨＲＴＦ）が用いられる。ＨＲＴＦは、無響環境における相互作用を表すインパルス応答に対応する周波数領域の伝達関数である。すなわち、インパルス応答はここで、受聴者の耳、頭部および胴体との音の相互作用を表す。

ＨＲＴＦまたはＢＲＴＦを決定する既知の方法によれば、実在の室内のいくつかのスピーカ位置それぞれについて、ステレオインパルス応答（ＩＲ）を記録するのに、実在のまたはダミーのヘッドマイクおよびバイノーラルマイクが用いられる。すなわち、各位置について、片耳に１つずつ、一対のインパルス応答が生成される。この対をＢＲＩＲと称する。そして、これらのＢＲＩＲを用いて音楽トラックまたは他の音響ストリームの畳み込み（フィルタリング）を行うとともに、結果をミキシングして、ヘッドフォンを介して再生することができる。正しいイコライゼーションが適用された場合は、ＢＲＩＲが記録された室内のスピーカ位置で再生されているかのように、音楽のチャネルが聞こえることになる。

ユーザは、電話機の着信時に音楽を聴いていることが多く、着信を受ける際に音楽を中断せずに聴き続けたい場合がある。消音機能を呼び出すのではなく、２つの別個の音響信号すなわち電話および音楽を同じチャネルに供給することができる。しかしながら、人間にとって、一般的に、同じ方向から来る音源を識別することは難しい。この問題を解決するため、一実施形態によれば、電話の着呼時に、音楽が第１の位置から、バックグラウンド位置等の第２の位置におけるスピーカまたはチャネルへと向けられる。すなわち、音楽および音声通信は、異なる位置に配置される。残念ながら、これらレンダリング音響ストリームを位置決めする方法は、マルチスピーカセットアップと併用される場合に、音源の分離を可能にするものの、今日の音声通信の大部分は携帯電話経由であり、これらは通例、マルチチャネルスピーカセットアップに接続されていない。さらに、このような方法をマルチチャネルセットアップと併用する場合であっても、スピーカの物理的な位置と完全には一致しない位置に対して、パンにより音響源が指定される場合には、最適な結果が得られない。これは、知覚された音響位置をマルチチャネルスピーカ位置の間の場所に移動させる従来のパンの方法により、当該位置を近似する場合に、受聴者が空間音響位置を厳密に定位するのが困難である点に一部起因する。

本発明は、ＨＲＴＦ等の使用により、少なくとも個人の頭部、胴体、および耳が音響に及ぼす影響をシミュレートする伝達関数を用いて仮想化された位置を使用することにより、音声通話および音楽を異なる空間音響位置に自動的に位置決めすることによって、ヘッドフォンを介した音声通信の問題を解決する。より好ましくは、ＢＲＩＲにより音響ストリームを処理することによって、音響に対する室内の影響が考慮される。しかしながら、個人化されていない市販のＢＲＩＲデータセットは、ほとんどのユーザに、良好ではない方向性の感覚、および知覚される音源に対する良好でない距離の感覚を与える。このことは、音源を区別するに際して困難性を生じさせるかもしれない。

これらの更なる問題を解決するため、本発明では、いくつかの実施形態において、個人化されたＢＲＩＲを使用する。一実施形態において、個人化されたＨＲＴＦまたはＢＲＩＲデータセットは、マイクを受聴者の耳に挿入し、記録セッションにおいてインパルス応答を記録することにより生成される。これは、時間の掛かるプロセスであり、携帯電話または他の音響ユニットの販売に含めるのが不都合となる場合がある。別の実施形態において、音声および音楽の音源は、個々の受聴者について、画像ベースの特性の抽出に由来する個人化されたＢＲＩＲ（または、関連するＢＲＴＦ）を用いることにより、第１（たとえば、フォアグラウンド）および第２（たとえば、バックグラウンド）の別個の場所に定位される。前記特性は、測定される複数の個人について、個人化された空間音響伝達関数の候補プールを有するデータベースから、適切な個人化されたＢＲＩＲを決定するのに用いられる。少なくとも２つの別個の空間音響位置それぞれに対応する個人化されたＢＲＩＲは、第１および第２の音響ストリームを２つの異なる空間音響位置へと向けるのに用いられるのが好ましい。

さらに、受聴者により２つの音源の一方がより近いと判定され、２つの音源の他方がより遠いと判断された場合に、人間は２つの音源をより良好に識別可能であることが知られているため、いくつかの実施形態においては、抽出された画像ベースの特性を用いて導出された個人化されたＢＲＩＲをて、バックグラウンド空間位置のある距離に音楽が自動的に配置され、より近くの距離に音声が配置される。

別の一実施形態において、抽出される画像ベースの特性は、携帯電話により生成される。別の実施形態において、音声通話の優先度が低いと判断され、例えばスイッチを作動させることにより生成される、受聴者からの制御信号が受信されると、音声通話がフォアグラウンドバックグラウンドへと向けられ、音楽がフォアグラウンドへと向けられる。さらに別の実施形態においては、音声通話の優先度が低いと判断され、且つ受聴者からの制御信号が受信されると、同じ方向の異なる距離に対応する個人化されたＢＲＩＲを用いて、音声通話の見かけの距離が増加され、音楽の見かけの距離が減少される。

本明細書の実施形態のほとんどがヘッドフォンと併用される個人化されたＢＲＩＲを記載していることが理解理解されるべきであるが、記載の音声通信と併せてメディアストリームを位置決めする技術は、図３に関して記載するステップに従って、ユーザに対してカスタマイズされた任意の適切な伝達関数にも拡張可能である。

本発明の範囲は、それぞれの第１の音響源および音声通信をユーザの周囲の任意の位置に配置することをカバーすることを意図するものであることが理解されるものとする。さらに、本明細書において用いられるフォアグラウンドおよびバックグラウンドは、受聴者の前方または受聴者の後方の各エリアに限定されるものであると意図されるものではない。むしろ、フォアグラウンドは、その最も一般的な意味において、２つの別個の位置の目立つまたは重要な方を表すものとして解釈されるべきであり、一方のバックグラウンドは、別個の位置の目立たない方を表す。さらに、本発明の範囲は、ごく一般的な意味において、本明細書に記載の技術に従ってＨＲＴＦまたはＢＲＩＲを用いて、第１の音響ストリームを第１のへに、第２の音響ストリームを第２の空間音響位置に向けることにあることに留意するものとする。さらに、本発明のいくつかの実施形態は、近い距離をフォアグラウンド位置に割り当て、遠い距離をバックグラウンド位置に割り当てる代わりに、信号の減衰の同時適用により、フォアグラウンド位置またはバックグラウンド位置のいずれかについて、ユーザの周囲の任意の方向位置の選択へと拡張可能であることに留意するものとする。以下、本発明の実施形態に係る、二対のＢＲＩＲの適用によりフォアグラウンド位置およびバックグラウンド位置を表すフィルタリング回路をその最も簡単な形態において最初に示す。

図１は、本発明のいくつかの実施形態に係る、処理された音響の空間音響位置を示した図である。まず、受聴者１０５は、ヘッドフォン１０３を通じて、音楽等の第１の音響信号を聴くことができる。第１の音響ストリームに適用されたＢＲＩＲを用いて、受聴者は、第１の音響ストリームが第１の音響位置１０２から到来していることを知覚する。いくつかの実施形態において、これは、フォアグラウンド位置である。一実施形態において、ある技術は、このフォアグラウンド位置を、受聴者１０５に対して０°位置に配置する。一実施形態における電話呼の着信等、トリガーとなるイベントが発生した場合は、第１の音響信号が第２の位置１０４へと案内される一方、第２のストリーム（たとえば、音声通信または電話呼）が第１の位置（１０２）へと案内される。図示の例示的な実施形態において、この第２の位置は、２００°位置に配置されており、いくつかの実施形態においては、目立たないまたはバックグラウンド位置として説明される。２００°位置は、非限定的な一例として選択されるに過ぎない。この第２の位置における音響ストリームの配置は、対象となる受聴者の第２の位置の方位角、仰角、および距離に対応するＢＲＩＲ（または、ＢＲＴＦ）を用いて実現されるのが好ましい。

一実施形態においては、第１の音響ストリームの第２の位置（たとえば、バックグラウンド）への移行は、第１の音響ストリームが中間の空間位置を通って移動している感覚を一切与えることなく、突然発生する。これを、中間の空間位置を示さない経路１１０によって図示する。別の実施形態においては、音響が中間点１１２および１１４に短い異動期間で位置決めされ、フォアグラウンド位置１０２からバックグラウンド位置１０４まで直接、またはこれに換えて円弧状に移動する感覚を与える。好適な一実施形態においては、中間点１１２および１１４に対するＢＲＩＲを使用して、音響ストリームを空間的に位置決めする。代替実施形態において、移動の感覚は、フォアグラウンド位置およびバックグラウンド位置に対するＢＲＩＲを使用し、これらフォアグラウンド位置およびバックグラウンド位置に対応する仮想スピーカ間をパンすることによって実現される。いくつかの実施形態において、ユーザは、音声通信（たとえば、電話）が優先ステータスに値しないことを認識するとともに、電話を第２の位置（たとえば、バックグラウンド位置）あるいはユーザが選択する第３の位置へと格下げし、音楽を第１の（たとえば、フォアグラウンド）位置に戻すことを選ぶことができる。一実施形態において、これは、音楽に対応する音響ストリームをフォアグラウンド（第１の）位置１０２に送り返し、音声通信をバックグラウンド位置１０４へと送ることにより実行される。別の実施形態において、この優先度の再格付けは、音声通話を受聴者の頭部１０５から遠ざけ、音楽を近づけることによって実行される。これは、異なる距離で捕捉され、捕捉された測定結果からの計算または補間によって新たな距離を表す、受聴者についての新たなＨＲＴＦまたはＢＲＴＦを割り当てることにより行われるのが好ましい。たとえば、音楽の優先度をバックグラウンド位置１０４から高くするため、見かけの距離を空間音響位置１１８または１１６まで短くすることができる。このような距離の短縮は、音楽の音響ストリームの新たなＨＲＴＦまたはＢＲＴＦによる処理によって実現されるのが好ましいが、これにより、音声通信信号に対して音楽の音量が大きくなる。いくつかの実施形態においては、この場合も捕捉ＨＲＴＦ／ＢＲＴＦ値の選択または補間によって、受聴者の頭部１０５からの音声信号の距離を同時に増加させることができる。この補間／計算は、３つ以上の点を用いて行うことができる。たとえば、２本の線（ＡＢおよびＣＤ）の交点である点を得るためには、補間／計算には、点Ａ、Ｂ、Ｃ、およびＤを要する場合がある。

これに換えて、音声通信を生成する空間音響位置は、再格付けステップにおいて固定位置に維持されるか、または増加されることができる。いくつかの実施形態において、２つの別個の音響ストリームは、等しい目立つ度合いを享受する。

さらに他の実施形態において、ユーザは、ユーザインターフェースから、上記ストリームのうちの少なくとも１つに対する空間音響位置を選定可能であり、より好ましくは、上記ストリームのすべてに対する単一または複数の場所を選定可能である。

図２は、本発明のいくつかの実施形態に係る、異なる空間音響位置における音響源および音声通信をシミュレートするシステムを示した図である。図２は、第１の空間音響位置に対して別個のフィルタ対（すなわち、フィルタ２０７、２０８）を使用し、第２の空間音響位置に対してフィルタ２０９、２１０を使用することにより空間音響位置決めシステムに入る２つの異なるストリーム（２０２および２０４）を大略示している。すべてのフィルタリング済みストリームには、ヘッドフォンの左カップ用信号が加算器２１４で加算され、ヘッドフォン２１６の右カップ用のフィルタリング結果が同様に加算器２１５で加算される前に、利得２２２〜２２５を適用することができる。この一群のハードウェアモジュールは、関与する基本原理を示しているが、他の実施形態は、図３に示すように、（携帯電話等の）音響レンダリングモジュール７３０のメモリ７３２等のメモリに記憶されたＢＲＲＩまたはＨＲＴＦを使用する。いくつかの実施形態において、受聴者は、個人のＨＲＴＦのほか、室内応答を有する伝達関数を選択することによって第１および第２の空間音響位置が生成されるという事実により、これらの空間音響位置の識別が補助される。好適な実施形態において、第１および第２の位置は、受聴者に対してカスタマイズされたＢＲＩＲを用いて決定される。

ヘッドフォンを介してレンダリングするシステムおよび方法は、直接的なインイヤーマイク測定あるいはインイヤーマイク測定が用いられない場合の個人化されたＢＲＩＲ／ＨＲＩＲデータセットによりＨＲＴＦまたはＢＲＴＦが受聴者に対して個別化される場合に最も良く作用する。本発明の好適な実施形態によれば、ＢＲＩＲを生成するあるカスタム法が用いられるが、これは、図３により大略示すように、画像ベースの特性のユーザからの抽出およびＢＲＩＲ候補プールからの適切なＢＲＩＲの決定を含む。より詳細には、図３は、本発明の実施形態に係る、カスタマイズ用のＨＲＴＦを生成し、カスタマイズ用の受聴者特性を取得し、受聴者のカスタマイズＨＲＴＦを選択し、相対的なユーザ頭部の移動で正しく機能するように適応された回転フィルタを提供し、ＢＲＩＲにより修正された音響をレンダリングするシステムを示している。抽出デバイス７０２は、受聴者の音響関連物理的特性を識別して抽出するように構成されたデバイスである。好適な実施形態においては、これらの特性（たとえば、耳の高さ）を直接測定するようにブロック７０２を構成可能であるが、関連する測定結果は、少なくともユーザの片耳または両耳を含むように取得されたユーザの画像から抽出される。これらの特性の抽出に必要な処理は、抽出デバイス７０２において行われるのが好ましいものの、他の場所で行われてもよい。非限定的な一例として、これらの特性は、画像センサ７０４からの画像の受信後に、リモートサーバ７１０のプロセッサにより抽出することも可能である。

好適な一実施形態においては、画像センサ７０４がユーザの耳の画像を取得し、プロセッサ７０６は、ユーザの関連する特性を抽出してリモートサーバ７１０に送信するように構成されている。たとえば、一実施形態においては、動的形状モデルの使用により、耳介画像中のランドマークを識別するとともに、これらのランドマーク、それぞれの幾何学的関係、および直線距離を用いて、記憶されたＢＲＩＲデータセットの集合すなわちＢＲＩＲデータセットの候補プールからのカスタマイズＢＲＩＲの生成に関連するユーザの特性を識別することができる。他の実施形態においては、ＲＧＴモデル（回帰ツリーモデル）の使用により、特性を抽出する。さらに他の実施形態においては、ニューラルネットワーク等の機械学習および他の形態の人工知能（ＡＩ）の使用により、特性を抽出する。ニューラルネットワークの一例は、畳み込みニューラルネットワークである。新たな受聴者の固有の物理的特性を識別する複数の方法の詳細については、２０１６年１２月２８日に出願された国際特許出願第ＰＣＴ／ＳＧ２０１６／０５０６２１号「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ ａ ｃｕｓｔｏｍｉｚｅｄ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ」に記載されており、そのすべての開示内容を本明細書に援用する。

リモートサーバ７１０は、インターネット等のネットワークを介してアクセス可能であることが好ましい。リモートサーバは、メモリ７１４にアクセスし、抽出デバイス７０２において抽出された物理的特性または他の画像関連特性を用いて、最もマッチするＢＲＩＲデータセットを決定する選択プロセッサ７１０を具備するのが好ましい。選択プロセッサ７１２は、複数のＢＲＩＲデータセットを有するメモリ７１４にアクセスするのが好ましい。すなわち、方位角および仰角と、おそらくは頭部傾斜についても、好ましくは適切な角度の点ごとに、候補プールの各データセットがＢＲＩＲ対を有することになる。たとえば、方位角および仰角の３°ごとの測定結果の取得により、ＢＲＩＲ候補プールを構成する、サンプリング個人のＢＲＩＲデータセットを生成することができる。

上述の通り、これらは、中規模（すなわち、１００人超）の集団に対するインイヤーマイクを用いた測定により導出されるのが好ましいものの、より小さな個人群でも正しく機能し得るとともに、各ＢＲＩＲセットと関連付けられた類似の画像関連特性とともに記憶される。これらは、一部が直接測定により生成され、一部が補間により生成されて、ＢＲＩＲ対の球面グリッドを構成することができる。部分に測定され／部分的に補間されたグリッドであっても、適切な方位角および仰角値によって、ＢＲＩＲデータセットからの点の適切なＢＲＩＲ対が識別されたら、グリッド線上に位置しない別の点についても補間可能となる。たとえば、任意の適切な補間法を使用することができ、好ましくは周波数領域において、隣接線形補間、双線形補間、および球面三角補間が挙げられるが、これらに限定されない。

一実施形態において、メモリ７１４に記憶されたＢＲＩＲデータセットはそれぞれ、少なくとも受聴者の全球グリッドを含む。このような場合は、音源の配置に関して、（受聴者の周りの水平面上の、すなわち耳の高さにおける）方位角または仰角の如何なる角度をも選択することができる。他の実施形態においては、ＢＲＩＲデータセットがより限定されており、一例においては、従来のステレオ配置にマッチする、室内におけるスピーカ配置（すなわち、まっすぐ前のゼロポジションに対して＋３０°および−３０°、または、全球グリッドの別の部分集合において、５．１システムもしくは７．１システム等に限定されないマルチチャネル配置のためのスピーカ配置）の生成に必要なＢＲＩＲ対に限定されている。

ＨＲＩＲは、頭部インパルス応答である。これは、無響条件下における時間領域での音源から受信者までの音の伝播を完全に記述する。これに含まれる情報のほとんどは、測定対象の人物の生理機能および人体測定に関する。ＨＲＴＦは、頭部伝達関数である。これは、周波数領域における記述である点を除いて、ＨＲＩＲと同じである。ＢＲＩＲは、バイノーラル室内インパルス応答である。これは、室内で測定されるため、捕捉された具体的構成の室内応答を付加的に包含する点を除いて、ＨＲＩＲと同じである。ＢＲＴＦは、ＢＲＩＲの周波数領域版である。本明細書においては、ＢＲＩＲをＢＲＴＦで容易に置き換え可能であり、同様に、ＨＲＩＲをＨＲＴＦで容易に置き換え可能であるため、これらを具体的に記載していなくても、本発明の実施形態がこれら容易に置き換え可能なステップをカバーする意図であることが理解されるものとする。このため、たとえば記載内容が別のＢＲＩＲデータセットへのアクセスを表している場合は、別のＢＲＴＦへのアクセスがカバーされていることが理解されるものとする。

図３は、メモリに記憶されたデータについて、サンプルの論理関係をさらに示している。メモリは、列７１６に複数の個人のＢＲＩＲデータセット（たとえば、ＨＲＴＦ ＤＳ１Ａ、ＨＲＴＦ ＤＳ２Ａ等）を含むものとして示している。これらは、各ＢＲＩＲデータセットと関連付けられた特性、好ましくは画像関連特性によりインデックス付けされ、アクセスされる。列７１５に示される関連特性は、新たな受聴者の特定と、測定され列７１６、７１７、および７１８に記憶されたＢＲＩＲと関連付けられた特性をマッチングすることができる。すなわち、これらの列に示すＢＲＩＲデータセットの候補プールのインデックスとして作用する。列７１７は、基準位置ゼロにおいて記憶されたＢＲＩＲを表し、ＢＲＩＲデータセットのその他と関連付けられており、受聴者の頭部回転のモニタリングおよびその対応に際して回転フィルタと組み合わせることにより、効率的な記憶および処理が可能となる。この選択肢の詳細については、２０１８年９月１９日に出願された同時係属出願第１６／１３６，２１１号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」に詳しく記載されており、そのすべての内容を本明細書に援用する。

一般的に、ＢＲＩＲ（または、ＨＲＴＦ）データセットの候補プールにアクセスする１つの目的は、ある人物に対してカスタマイズされた音響応答特性（ＢＲＩＲデータセット等）を生成することである。いくつかの実施形態においては、上述の通り、これらを使用して、第１の位置および第２の位置と関連付けられた空間音響を正確に認識するために、音声通信およびメディアストリーム等の入力音響信号を処理して位置決めする。いくつかの実施形態において、個人化されたＢＲＩＲ等のカスタマイズされた音響応答特性を生成することは、個人のバイオメトリックデータ等の画像関連特性を抽出することを含む。たとえば、このバイオメトリックデータには、耳介、一般的には当該人物の耳、頭部、および／または肩と関連するデータを含み得る。別の実施形態においては、（１）マルチプルマッチ（ｍｕｌｔｉｐｌｅ ｍａｔｃｈ）、（２）マルチプルレコグナイザ（ｍｕｌｔｉｐｌｅ−ｒｅｃｏｇｎｉｚｅｒ）型、および（３）クラスタ（ｃｌｕｓｔｅｒ）ベース等の処理方法の使用により、（複数のヒットが得られた場合に）後で組み合わされて個人のカスタマイズＢＲＩＲデータセットを生成する中間データセットを生成する。これらは、数ある方法の中でもとりわけ、加重和を用いて組み合わせ可能である。場合により、マッチするものが１つしかない場合は、中間結果を組み合わせる必要がない。一実施形態において、中間データセットは、抽出特性に対する（候補プールからの）引き出しＢＲＩＲデータセットのマッチの近さに少なくとも一部が基づく。他の実施形態においては、マルチプルレコグナイザマッチステップが用いられることにより、プロセッサは、バイオメトリックデータに対応する複数のトレーニングパラメータに基づいて、１つまたは複数のデータセットを引き出す。さらに他の実施形態においては、クラスタベースの処理方法が用いられることにより、抽出データ（たとえば、バイオメトリックデータ）に基づいて、潜在的なデータセットがクラスタリングされる。クラスタには、一体的なクラスタリングまたはグルーピングによって、画像からの抽出データ（たとえば、バイオメトリック）とマッチする対応するＢＲＩＲデータセットとともにモデルを構成する関係を有する複数のデータセットを含む。

本発明のいくつかの実施形態においては、２つ以上の距離球面が記憶される。これは、受聴者から２つの異なる距離に対して生成された球面グリッドを表す。一実施形態においては、２つ以上の異なる球面グリッド距離球面に対して、１つの基準位置ＢＲＩＲが記憶されるとともに関連付けられる。他の実施形態においては、各球面グリッドがそれ自体の基準ＢＲＩＲを有し、適用可能な回転フィルタと併用することになる。選択プロセッサ７１２は、新たな受聴者に関して抽出デバイス７０２から受信された抽出特性に対してメモリ７１４中の特性をマッチングさせるのに用いられる。正しいＢＲＩＲデータセットが由来され得るように、さまざまな方法の使用によって、関連特性をマッチングさせる。上述の通り、これらには、マルチプルマッチ（Ｍｕｌｔｉｐｌｅ−ｍａｔｃｈ）ベース処理方法、マルチプルレコグナイザ（Ｍｕｌｔｉｐｌｅ ｒｅｃｏｇｎｉｚｅｒ）処理方法、クラスタ（Ｃｌｕｓｔｅｒ）ベース処理方法によるバイオメトリックデータの比較を含むほか、２０１８年５月２日に出願された米国特許出願第１５／９６９，７６７号「ＳＹＳＴＥＭ ＡＮＤ Ａ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＦＯＲ ＣＵＳＴＯＭＩＺＩＮＧ ＡＵＤＩＯ ＥＸＰＥＲＩＥＮＣＥ」に記載の方法もあり、そのすべての開示内容を本明細書に援用する。列７１８は、第２の距離で測定された個人のＢＲＩＲデータセットの組を表す。すなわち、この列は、測定された個人について記録された第２の距離でのＢＲＩＲデータセットを示す。別の例として、列７１６の第１のＢＲＩＲデータセットは、１．０ｍ〜１．５ｍで取得することができる一方、列７１８のＢＲＩＲデータセットは、受聴者から５ｍで測定されたデータセットを表すことができる。ＢＲＩＲデータセットは、全球グリッドを構成するのが理想的ではあるものの、本発明の実施形態は、従来のステレオセット、５．１マルチチャネル配置、７．１マルチチャネル配置のＢＲＩＲ対を含む部分集合、ならびに、方位角および仰角の両者において３°以下ごとのＢＲＩＲ対のほか、密度が不規則な球面グリッドを含むその他すべての球面グリッドの変形および部分集合を含むが、これらに限定されないその他すべての球面グリッドの変形および部分集合を含む、全球グリッドのありとあらゆる部分集合に当てはまる。たとえば、受聴者の後方位置よりも前方位置でグリッド点の密度がはるかに高い球面グリッドを含む可能性もある。さらに、列７１６および７１８の内容の構成は、測定および補間に由来して記憶されたＢＲＩＲ対のみならず、前者から回転フィルタを含むＢＲＩＲへの変換を反映したＢＲＩＲデータセットを生成することによりさらに改良されたＢＲＩＲ対にも当てはまる。

１つまたは複数のマッチングするＢＲＩＲデータセットまたは演算されたＢＲＩＲデータセットの決定後、これらのデータセットが音響レンダリングデバイス７３０に送信され、新たな受聴者に関して上述したマッチングもしくは他の技術によって決まるＢＲＩＲデータセット全体、またはいくつかの実施形態においては、選択された立体化された(spatialized)音響位置に対応する部分集合が記憶される。次いで、音響レンダリングデバイスは、一実施形態において、所望の方位角または仰角の位置のＢＲＩＲ対を選択し、これらを入力音響信号に適用して、空間音響をヘッドフォン７３５に提供する。他の実施形態において、選択されたＢＲＩＲデータセットは、音響レンダリングデバイス７３０および／またはヘッドフォン７３５に結合された別個のモジュールに記憶される。他の実施形態において、レンダリングデバイスの利用可能な容量が限られている場合、レンダリングデバイスは、受聴者に最もマッチする関連特性データの識別情報または最もマッチするＢＲＩＲデータセットの識別情報のみを記憶し、リモートサーバ７１０から必要に応じて、（選択された方位角および仰角の）所望のＢＲＩＲ対を実時間でダウンロードする。上述の通り、これらのＢＲＩＲ対は、中規模（すなわち、１００人超）の集団に対するインイヤーマイクを用いた測定により導出され、各ＢＲＩＲデータセットと関連付けられた類似の画像関連特性とともに記憶されるのが好ましい。これらは、７２００個すべての点を取得するのではなく、一部が直接測定により生成され、一部が補間により生成されて、ＢＲＩＲ対の球面グリッドを構成することができる。部分的に測定され／部分的に補間されたグリッドであっても、適切な方位角および仰角値を用いて、ＢＲＩＲデータセットからの点の適切なＢＲＩＲ対が識別されたら、グリッド線上に位置しない別の点についても補間可能となる。

カスタム選択されたＨＲＴＦまたはＢＲＩＲデータセットが個人に対して選択されると、これら個人化された伝達関数の使用により、ユーザまたはシステムは、メディアストリームおよび音声通信をそれぞれ位置決めする少なくとも第１および第２の空間音響位置を与えることができる。言い換えると、第１および第２の空間音響位置それぞれに対して一対の伝達関数を使用することにより、これらのストリームを仮想的に配置し、それによって、それらの別個の空間音響位置により、受聴者が選好する音響ストリーム（たとえば、電話またはメディアストリーム）に集中することを可能とする。本発明の範囲は、これに限定されるものではないが、映像と関連付けられた音響および音楽を含むすべてのメディアストリームをカバーすることが意図される。

上記発明は、明瞭な理解を目的として少し詳しく説明したが、添付の特許請求の範囲内で一定の変更および改良を実現可能であることが明らかとなるであろう。したがって、本実施形態は、説明のためであって、何ら限定的なものではないと考えられるべきである。また、本発明は、本明細書に記載の詳細に限定されず、添付の特許請求の範囲および同等物の範囲内で改良できるものとする。

１０２ 第１の音響位置（フォアグラウンド位置）
１０３ ヘッドフォン
１０４ 第２の音響位置（バックグラウンド位置）
１０５ 受聴者
１１０ 経路
１１２ 中間点
１１４ 中間点
１１６ 空間音響位置
１１８ 空間音響位置
２０２ ストリーム
２０４ ストリーム
２０７ フィルタ
２０８ フィルタ
２０９ フィルタ
２１０ フィルタ
２１４ 加算器
２１５ 加算器
２１６ ヘッドフォン
２２２ 利得
２２３ 利得
２２４ 利得
２２５ 利得
７０２ 抽出デバイス
７０４ 画像センサ
７０６ プロセッサ
７１０ リモートサーバ
７１２ 選択プロセッサ
７１４ メモリ
７１５ 列
７１６ 列
７１７ 列
７１８ 列
７２０ ＢＲＩＲ生成
７３０ 音響レンダリングデバイス
７３２ メモリ
７３５ ヘッドフォン

Claims (20)

1. 空間音響位置伝達関数データセットを用いてイベントを処理する音響処理デバイスであって、
   少なくとも第１の空間音響位置および第２の空間音響位置のうちの選択された位置において、少なくとも音声通信ストリームおよびメディアストリームをそれぞれ含む第１の音響信号および第２の音響信号を位置決めするように構成された音響レンダリングモジュールであって、前記第１の空間音響位置および前記第２の空間音響位置がそれぞれ、前記空間音響位置伝達関数データセットからの第１の伝達関数および第２の伝達関数をそれぞれ用いてレンダリングされる、音響レンダリングモジュールと、
   電話呼の着信を含む音声通信イベントの開始をモニタリングし、前記電話呼が開始されると、前記音声通信を前記第１の空間音響位置に位置決めし、前記メディアストリームを前記第２の空間音響位置に位置決めすることにより、前記第１の音響信号および前記第２の音響信号を処理するモニタリングモジュールと、
   ２つの出力チャネルを介して、結果として得られる音響をヘッドフォンにレンダリングするように構成された出力モジュールと、
   を備えた、音響処理デバイス。
2. 前記空間音響位置伝達関数データセットが、個人に対してカスタマイズされたデータセットである個人化された頭部インパルス応答（ＨＲＩＲ）データセットまたは個人化されたバイノーラル室内インパルス応答（ＢＲＩＲ）データセットの一方である、請求項１に記載の音響処理デバイス。
3. 前記個人の画像ベースの特性を入力画像から抽出し、個人の集団に対して提供された複数のＨＲＩＲまたはＢＲＩＲデータセットの候補プールを有するメモリから、前記個人化されたＨＲＩＲデータセットまたは前記個人化されたＢＲＩＲデータセットを決定するように構成された選択プロセッサに前記画像ベースの特性を送信するように構成された第２のプロセッサであり、前記ＨＲＩＲまたはＢＲＩＲデータセットがそれぞれ、対応する画像ベースの特性と関連付けられた、第２のプロセッサをさらに備えた、請求項２に記載の音響処理デバイス。
4. 前記選択プロセッサが、前記個人の抽出された画像ベースの特性を前記候補プールの抽出特性に対して比較することにより、前記候補プールにアクセスすることによって、前記個人化されたＢＲＩＲデータセットを決定して、近さの尺度に基づいて１つまたは複数のＢＲＩＲデータセットを識別するとともに、使用する処理方法が、マルチプルマッチ、マルチプルレコグナイザ型、およびクラスタベースのうちの１つである、請求項３に記載の音響処理デバイス。
5. 前記決定された個人化されたＢＲＩＲデータセットからの前記第１の空間音響位置および前記第２の空間音響位置が、前記メモリ中の捕捉データセットから補間または他の演算方法により導出され、前記第１の空間音響位置および前記第２の空間音響位置がそれぞれ、フォアグラウンド位置およびバックグラウンド位置を含む、請求項２に記載の音響処理デバイス。
6. 前記個人の受聴者により前記音声通話の優先順位が低いと判断され、対応する制御信号が生成されると、前記音声通話が前記バックグラウンド位置へと向けられ、音楽が前記フォアグラウンド位置へと向けられる、請求項５に記載の音響処理デバイス。
7. 前記個人の受聴者により前記音声通話の優先順位が低いと判断され、対応する制御信号が生成されると、同じ方向の異なる距離に対応する個人化されたＢＲＩＲを用いて、前記音声通話の見かけの距離が増加され、音楽の見かけの距離が減少される、請求項２に記載の音響処理デバイス。
8. 前記音声通信および前記メディアストリームのそれぞれの初期位置から前記第１の空間音響位置および前記第２の空間音響位置への位置決めが、突然行われる、請求項２に記載の音響処理デバイス。
9. 前記入力画像を取得するように構成された携帯用画像捕捉デバイスをさらに備え、前記音響処理デバイスが、前記画像を取得し前記画像ベースの特性を抽出する携帯電話、通信デバイス、またはタブレットのうちの１つである、請求項２に記載の音響処理デバイス。
10. 前記音声通信ストリームが終了すると、前記メディアストリームを前記第１の空間音響位置に再位置決めするように構成された、請求項１に記載の音響処理デバイス。
11. 前記メディアストリームが、音楽を含む、請求項１に記載の音響処理デバイス。
12. 同じ方向の異なる距離に対応する個人化されたＢＲＩＲからの第１の空間音響位置音伝達関数および第２の空間音響位置音伝達関数をそれぞれ用いて、音声通話の見かけの距離が増加され、音楽の見かけの距離が減少される、請求項１に記載の音響処理デバイス。
13. 前記出力モジュールが、無線接続および有線接続のうちの一方を介して前記ヘッドフォンに結合された、請求項１に記載の音響処理デバイス。
14. 前記出力モジュールが、デジタル−アナログ変換器を備え、前記ヘッドフォンへの結合が、アナログポートを通じて行われる、請求項１に記載の音響処理デバイス。
15. 前記出力モジュールが、デジタル信号を前記ヘッドフォンに受け渡すように構成され、前記ヘッドフォンが、デジタル−アナログ変換器を備えた、請求項１に記載の音響処理デバイス。
16. 前記第１の空間音響位置および前記第２の空間音響位置の少なくとも一方の場所を選択するように構成されたユーザインターフェースをさらに備えた、請求項１に記載の音響処理デバイス。
17. ヘッドフォンへの音響ストリームを処理する方法であって、
    少なくとも第１の空間音響位置および第２の空間音響位置のうちの選択された位置において、少なくとも音声通信ストリームおよびメディアストリームをそれぞれ含む第１の音響信号および第２の音響信号を位置決めすることであって、前記第１の空間音響位置および前記第２の空間音響位置がそれぞれ、空間音響位置伝達関数データセットからの第１の伝達関数および第２の伝達関数をそれぞれ用いてレンダリングされる、ことと、
    電話呼の着信を含む音声通信イベントの開始をモニタリングし、前記電話呼が開始されると、前記音声通信を前記第１の空間音響位置に位置決めし、前記メディアストリームを前記第２の空間音響位置に位置決めすることにより、前記第１の音響信号および前記第２の音響信号を処理することであって、前記第２の空間音響位置に対して、少なくとも１つの関連する室内インパルス応答が存在する、ことと、
    ２つの出力チャネルを介して、結果として得られる音響をヘッドフォンにレンダリングすることと、
    を含む、方法。
18. 前記空間音響位置伝達関数データセットが、個人に対してカスタマイズされたＨＲＩＲデータセットまたはＢＲＩＲデータセットの一方である、請求項１７に記載の方法。
19. 前記カスタマイズが、前記個人の画像ベースの特性を入力画像から抽出し、個人の集団に対して提供された複数のＨＲＩＲまたはＢＲＩＲデータセットの候補プールを有するメモリから、個人化されたＨＲＩＲデータセットまたは個人化されたＢＲＩＲデータセットを決定するように構成された選択プロセッサに前記画像ベースの特性を送信することを含み、前記ＨＲＩＲまたはＢＲＩＲデータセットがそれぞれ、対応する画像ベースの特性と関連付けられた、請求項１８に記載の方法。
20. 前記個人化されたＢＲＩＲデータセットを決定することが、前記候補プールの既存のＢＲＩＲデータセット間の補間を含む、請求項１９に記載の方法。

Images