JP2020500492A - 空間的アンビエントアウェア型の個人用オーディオ供給デバイス - Google Patents

Abstract

オーディオデバイスにおける少なくとも１つのセンサにより検出された音を示す信号が受信される。オーディオデバイスは、耳介を少なくとも部分的に覆っていてよく、検出された音は、少なくとも人体の胴と相互作用してよいが、頭および肩とも相互作用することができる。信号が非線形伝達関数で変調されて、オーディオデバイスが耳介を少なくとも部分的に覆っている間に、検出された音の位置を空間的に特定するための１つまたは複数のオーディオキューを示す変調信号が生成される。当該変調信号に基づいて、オーディオデバイスにより音が出力される。

Description

本開示は、米国特許法第１１９条（ｅ）の定めにより、２０１６年１１月１４日に出願された「Ｓｐａｔｉａｌｌｙ Ａｍｂｉｅｎｔ Ａｗａｒｅ Ａｕｄｉｏ Ｈｅａｄｓｅｔ」と題する米国特許仮出願第６２／４２１，３８０号、２０１６年１１月２０日に出願された「Ｈｅａｄ Ａｎａｔｏｍｙ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ ＨＲＴＦ Ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ」と題する米国特許仮出願第６２／４２４，５１２号、２０１７年３月８日に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｔｏ Ｃａｐｔｕｒｅ ａｎｄ Ｃｈａｒａｃｔｅｒｉｚｅ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ａｎａｔｏｍｙ Ｕｓｉｎｇ Ｍｏｂｉｌｅ Ｄｅｖｉｃｅ」と題する米国特許仮出願第６２／４６８，９３３号、２０１６年１１月１３日に出願された「Ｐｅｒｓｏｎａｌｉｚｅｄ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題する米国特許仮出願第６２／４２１，２８５号、および、２０１７年３月２日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ａｎａｔｏｍｙ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｉｎ Ｒｅａｌ Ｔｉｍｅ」と題する米国特許仮出願第６２／４６６，２６８号の優先権の利益を主張するものであり、これらの各々の内容全体が参照により本明細書に組み込まれる。

本開示は、＿に出願された「Ｍｅｔｈｏｄ， Ｓｙｓｔｅｍ， ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｈｅａｄ Ｓｉｚｅ Ｕｓｉｎｇ ａ Ｍａｇｎｅｔｉｃ Ｓｅｎｓｏｒ Ｍｏｕｎｔｅｄ ｏｎ ａ Ｐｅｒｓｏｎａｌ Ａｕｄｉｏ Ｄｅｌｉｖｅｒｙ Ｄｅｖｉｃｅ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６ ０００４ ＯＲＧ ＵＳ１、＿に出願された「Ｉｍａｇｅ ａｎｄ Ａｕｄｉｏ Ｂａｓｅｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ａ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ｓｙｓｔｅｍ ｆｏｒ Ｐｅｒｓｏｎａｌｉｚｅｄ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６ ０００２ ＯＲＧ ＵＳ１、＿に出願された「Ａｕｄｉｏ Ｂａｓｅｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ａ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ｓｙｓｔｅｍ ｆｏｒ Ｐｅｒｓｏｎａｌｉｚｅｄ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６ ０００７ ＯＲＧ ＵＳ１、および、＿に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｔｏ Ｃａｐｔｕｒｅ Ｉｍａｇｅ ｏｆ Ｐｉｎｎａ ａｎｄ Ｃｈａｒａｃｔｅｒｉｚｅ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ａｎａｔｏｍｙ ｕｓｉｎｇ Ｉｍａｇｅ ｏｆ Ｐｉｎｎａ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６ ０００８ ＯＲＧ ＵＳ１にも関連しており、これらの各々の内容全体が参照により本明細書に組み込まれる。

本開示は、コンシューマグッズ、より具体的には、音の空間的位置特定を容易にする個人用オーディオ供給デバイスに関連する。空間的位置特定は、個人用オーディオ供給デバイスを着用している人に、音が発せられている方向を示すオーディオキューを提供することによって容易になる。

人間の聴覚系は、外耳、中耳および内耳を含む。人間の聴覚系は、外耳、中耳および内耳を用いて音を聞くことができる。例えば、室内ラウドスピーカなどの音源が音を出力し得る。外耳の耳介がその音を受信し、音を外耳の外耳道に導く。次に、外耳の外耳道は、音を中耳に導く。人間の聴覚系の中耳は、音を内耳液に伝達して神経インパルスに変換する。次に、脳が神経インパルスを読み取って、音が聞こえる。更に、人間の聴覚系は、音が発せられている方向を感知することができる。音源の方向の感知は、人体構造との相互作用に基づいて行われる。この相互作用には、頭、肩および耳介に反射および／または反響する音、および、頭、肩および耳介を回折する音が含まれる。この相互作用によって、音が発せられている方向を感知するために脳が解読するオーディオキューが生成される。

現在では、ヘッドフォン、ヒアラブル、イヤバッド、スピーカまたは補聴器などの個人向けオーディオ供給デバイスを着用して音を聴くことがより一般的になりつつある。個人向けオーディオ供給デバイスは、音、例えば、音楽を外耳の外耳道に出力する。例えば、あるユーザが、音を外耳道に出力するイヤカップを耳介に固定して着用する。或いは、骨伝導ヘッドセットが中耳の骨を振動させて、音を人間の聴覚系に伝える。個人向けオーディオ供給デバイスは、音を正確に再生する。しかし、音源からの音と違って、個人向けオーディオ供給デバイスからの音は、音が発せられている方向を正確に感知できるように人体構造と相互作用することはない。耳介にイヤカップを固定すると、個人用オーディオ供給デバイスからの音は耳介と相互作用することができず、骨伝導は耳介を完全に迂回し得る。方向を示すオーディオキューが生成されない結果、その人は、音が発せられている方向を感知することができない。

以下の説明、添付の請求項、および添付の図面に関連して、ここに開示される技術の特徴、態様および利点をより深く理解することができる。

音の空間的位置特定に使用される様々なパラメータを視覚化したものの例である。

音の空間的位置特定における人体構造の態様を示している。

人体構造が両耳間のオーディオキューに与える影響の例を示している。

人体構造の耳介の詳細図を示している。

音の空間的位置特定のための例示的なシステムを示している。 音の空間的位置特定のための例示的なシステムを示している。

音の空間的位置特定のための例示的なシステムにおける処理エンジンの例示的な構成を示している。 音の空間的位置特定のための例示的なシステムにおける処理エンジンの例示的な構成を示している。

個人用オーディオ供給デバイスを着用している人に聞こえる実世界の音の空間的位置特定を提供することに関する機能の例示的フローチャートである。

音の空間的位置特定と関連付けられる非線形伝達関数の例を示している。

非線形伝達関数を決定することと関連付けられる例示的な構成を示している。 非線形伝達関数を決定することと関連付けられる例示的な構成を示している。 非線形伝達関数を決定することと関連付けられる例示的な構成を示している。 非線形伝達関数を決定することと関連付けられる例示的な構成を示している。 非線形伝達関数を決定することと関連付けられる例示的な構成を示している。

図面は例示的な実施形態を示すことを目的としているが、これらの実施形態が図面に示されている構成および手段に限定されるわけではないことが解る。

ある音源が音を出力し得る。音が発せられる方向が、１つまたは複数のオーディオキューを用いて人間の聴覚系により特定され得る。オーディオキューは、音の空間的位置、例えば、音が発せられている場所を示す音（例えば、反射および反響）であってよい。オーディオキューは、人間の聴覚系に到達する前に、音と、環境中の物体と、人体構造との相互作用から生成され得る。例えば、物体からの反響および反射がオーディオキューを生成し得る。更にまたは或いは、頭の形状、頭のサイズ、肩の形状、肩のサイズ、および外耳（耳介）の構造といった人体構造の態様がオーディオキューを生成し得る。各人が異なる人体構造を有し得る。この点で、ある人が音の位置を空間的に特定するために使用するオーディオキューが、別の人にとっては異なっていてよい。

図１は、音源１０２により出力された音の位置を空間的に特定することを容易にするパラメータを視覚化したものの例１００である。１つまたは複数のパラメータが、リスナー１０４の位置と音源１０２との関係を表し得る。パラメータには、方位角１０６、仰角１０８、並びに、距離１１０および／または速度１１２が含まれ得る。方位角１０６は、リスナー１０４と音源１０２との間の水平面における角度であってよい。仰角１０８は、リスナー１０４と音源１０２との間の垂直面における角度であってよい。距離１１０は、リスナー１０４と音源１０２との隔たりであってよい。速度１１２は、音源１０２の移動速度を表し得る。方向を示す他のパラメータが使用されてもよい。

図２は、音の位置特定に使用される人体構造の態様２０２から２０８を示している。人体構造との音の相互作用に基づいて、オーディオキューが生成され得る。オーディオキューは、音が発せられる空間的位置を示し得る。図示されている人体構造は、胴２０２、耳２０６を含めた頭２０４、および、耳介２０８を含む。

胴２０２からの音の反射は、音が発せられている場所からの仰角および距離のうちの１つまたは複数を示すオーディオキューを生成し得る。これらの反射は、胴の影響としてモデル化される。耳の対称性および両耳２０６間の距離Ｄを含む頭２０４の全体形状が、音が発せられている場所からの方位角および仰角のうちの１つまたは複数に関するオーディオキューを生成し得る。これは頭の影響としてモデル化される。最後に、音が耳介２０８の形状、サイズおよび構造とどのように相互作用するかが、音が発せられる場所からの仰角、方位角、距離および速度のうちの１つまたは複数に関するオーディオキューを生成し得る。

図３は、方位角を示すオーディオキューがどのように生成されるかを示している。音源３０４から一定の距離をあけた所に人３０２が位置付けられ得る。音源３０４は音３０６を出力し得る。次に、その人は、左耳３０８および右耳３１０において音３０６を感知する。

両耳間時間差（ＩＴＤ）は、２つの耳３０８、３１０の間の到達時間の差を表す。音源３０４により生成された音ｘ（ｔ）が左耳３０８へ到達するのに要する時間はＴ_Ｌであり、右耳３１０へ到達するのに要する時間はＴ_Ｒである。ＩＴＤはＴ_ＬとＴ_Ｒとの差を表す。同様に、任意の時間ｔにおいて、左耳３０８における音圧レベルＸ_Ｌ（ｔ）は、右耳３１０において得られる音圧レベルＸ_Ｒ（ｔ）とは異なる。この強度差は、両耳間レベル差（ＩＬＤ）オーディオキューで表される。頭の形状およびサイズが異なると、これらのオーディオキュー（ＩＴＤおよびＩＬＤ）は異なっていてよい。頭がより大きいと、すなわち、左耳３０８と右耳３１０との間の距離がより長いと、頭がより小さい場合よりも大きな時間差および強度差が生じる。

ＩＴＤオーディオキューおよびＩＬＤオーディオキューは、リスナーと音源との間の方位角に正比例し得る。この点で、音源の方位角が感知され得る。しかしながら、仰角、距離および速度の観点から見ると、ＩＴＤおよびＩＬＤでは、音の方向の位置を更に特定するのに不十分であるかもしれない。

図４は、耳介４００の解剖学的構造の詳細図、および、音がどのように変換され得るかを示している。耳介４００は様々な特徴を有し得る。これらの特徴には、耳介４００の高さ、幅、形状および深さが含まれ得る。更に、これらの特徴には、数ある特徴の中でも、耳輪４０２、窩４０４、耳甲介舟４０６、耳甲介腔４０８、耳珠４１０、耳切痕４１２、対耳輪４１４および対耳珠４１６が含まれ得る。これらの特徴は、１つまたは複数の空洞を形成する。１つまたは複数の空洞の内部では、音が共鳴および／または反射し得る。例えば、耳介の構造に起因して、音源からの音の振幅が周波数により増加したり減少したりする。こうした増加および／または減少は、耳介４００の特徴と関連付けられる反射および／または反響に起因し得る。音の変換によってオーディオキューが生成され得る。次に、これらのオーディオキューは、仰角、距離および速度の観点から音の方向の位置を更に特定するために使用され得る。

ヘッドフォン、イヤバッド、イヤフォン、スピーカ、ヒアラブルおよび補聴器などの個人用オーディオ供給デバイスは、人間の聴覚系に音を直接出力し得る。例えば、ヘッドフォンのイヤカップが耳介に配置されてよく、イヤカップ内のトランスデューサが人間の聴覚系の外耳道に音を出力してよい。しかしながら、イヤカップは耳介を覆っていてもよいし、部分的に覆っていてもよい。別の例を挙げると、あるイヤバッドはイヤカップを有さないかもしれないが、依然として、耳介を部分的に覆いながら人間の聴覚系の外耳道に音を出力し得る。その結果、耳介がそのような音と相互作用して、音が発せられている方向を感知するためのオーディオキューを生成することはないかもしれない。

本明細書で説明される実施形態は、個人用オーディオ供給デバイスを着用している人に聞こえる実世界の音の位置を空間的に特定するように構成されている個人用オーディオ供給デバイスを対象にしている。実世界の音は、個人用オーディオ供給デバイス以外の音源により出力される音であってよい。そうでなければ、人が実世界の音の位置を空間的に正確に特定すること、例えば、音が発せられている場所を決定することはできないであろう。なぜなら、個人用オーディオ供給デバイスを着用すると、実世界の音は、耳介と相互作用して、空間的位置を示すオーディオキューを生成することができないからである。音の空間的位置特定には、特に、人がスポーツに従事しながら音楽を聴いているかもしれない、ランニングおよびサイクリングなどのスポーツにおいて多くの利益がある。例えば、車道でランニングまたはサイクリングをしている人が、車道における車のクラクションおよび緊急用サイレンなど、自らの周囲の音を空間的に認識することもできるため、その人は、音が発せられている方向に基づいて自らの行動を訂正して、安全な状態を保つことができる。音の空間的位置特定には他の利益もある。

例を挙げると、空間的位置特定を容易にするオーディオキューが、例えば、頭部伝達関数（ＨＲＴＦ）とも呼ばれる非線形伝達関数、または、オーディオキューの生成を容易にし得る伝達関数（線形であっても非線形であってもよい）に基づいて人為的に生成され得る。非線形伝達関数は、頭、胴、肩、耳介、および、人間の聴覚的な位置特定に影響を与える人体構造の他の部分との相互作用に基づいて、音が人間の聴覚系にどのように受信されるかの特徴を示し得る。非線形伝達関数は、音源の方位角、仰角、距離および／または速度を決定するためのオーディオキューを人為的に生成するために使用され得る。

図５Ａは、空間的位置特定のための例示的なシステム５００を示している。システム５００は、音声または音楽などの音を出力するヘッドセットなどの個人用オーディオ供給デバイス５０２と、処理エンジン５０４とを含み得る。

個人用オーディオ供給デバイス５０２は、耳介５０８に着用されるイヤカップ５０６を有し得る。耳介５０８はイヤカップ５０６が着用されると外部から見えないかもしれないが、例示を目的として、耳介５０８は見えるものとして示されている。イヤカップ５０６は、１つまたは複数のトランスデューサ５１０および１つまたは複数のセンサ５１２を有し得る。トランスデューサ５１０は、音を表す電気信号の変換に基づいて可聴音を出力するスピーカであってよい。センサ５１２は、可聴音を検出し、かつ、可聴音を電気信号に変換する、マイクの形態を取ってよい。

個人用オーディオ供給デバイス５０２は、音が個人用オーディオ供給デバイス５０２以外の音源により生成され得る環境において使用され得る。これらの音は、実世界の音と呼ばれる。例えば、個人用オーディオ供給デバイス５０２のトランスデューサ５１０により出力される音楽とは対照的に、音源は車のクラクション、緊急用の車両音、他の人々などであってよい。センサ５１２は、この音を検出し、この音を電気信号に変換し得る。場合によっては、イヤカップ５０２上のセンサ５１２が耳介５０８および／またはトランスデューサ５１０と反対の方向を向くように装着され、トランスデューサ５１０により出力される音と比較すれば実世界の音のサンプリングが向上し得る。処理エンジン５０４は、センサおよび／またはトランスデューサと関連付けられる信号を処理し得る。

図５Ｂは、空間的位置特定のための別の例示的なシステム５５０を示している。システム５５０は、音声または音楽などの音を外耳道に出力するイヤバッド５５２などの個人用オーディオ供給デバイスと、処理エンジン５５４とを含み得る。個人用オーディオ供給デバイス５０２とは違って、イヤバッド５５２は、外耳道に挿入した状態にすることによって、耳介５５８上の定位置に保持され得る。その結果、イヤバッド５５２は、イヤカップ５０６と比較すれば耳介５５８を覆っている部分が少ないかもしれない。例示的なシステム５５０は、処理エンジン５５４、トランスデューサ５６０およびセンサ５６２を含んでもよい。

一般に、個人用オーディオ供給デバイス（オーディオ供給デバイスとも呼ばれる）は、様々な形態を取ってよい。個人用オーディオ供給デバイスは、上記のようなヘッドセットまたはイヤバッドであってよい。或いは、個人用オーディオ供給デバイスは、ヒアラブルまたは補聴器であってよい。他の変形例も適用可能であり、開示されている空間的位置特定は、個人用オーディオ供給デバイスが取る形態により限定されない。

図６Ａおよび図６Ｂは、空間的位置特定のための例示的なシステムにおける処理エンジン５０４の例示的な構成を示している。処理エンジンは、数ある構成の中でも、プロセッサまたはサーバの形態を取ってよい。

図６Ａは、プロセッサ６０２の形態の処理エンジンを有する個人用オーディオ供給デバイス６００の構成を示している。プロセッサ６０２は、メモリなどの記憶装置に記憶されているコンピュータ命令を実行して１つまたは複数のセンサ６０４および１つまたは複数のトランスデューサ６０６と関連付けられる信号を処理する、個人用オーディオ供給デバイス６００のローカルな中央処理装置（ＣＰＵ）であってよい。プロセッサ６０２が個人用オーディオ供給デバイス６００と一体化されている場合は、プロセッサ６０２がローカルであってよい。

図６Ｂは、個人用オーディオ供給デバイス６１０、および、ネットワーク６１４を介して連結されているサーバ６１２の形態の処理エンジンの構成を示している。サーバ６１２は、ネットワークベースのコンピューティングシステムであってよい。サーバ６１２は、１つまたは複数のセンサ６０４および１つまたは複数のトランスデューサ６０６と関連付けられる信号を処理し得る。サーバ６１２は、ネットワーク６１４を介して個人用オーディオ供給デバイスからアクセス可能であってよい。ネットワーク６１４は、有線ネットワークまたは無線ネットワークの形態を取ってよい。個人用オーディオ供給デバイス６１０は、トランスデューサおよび／またはセンサと関連付けられる信号の処理が容易になるよう、例えば、Ｗｉ−Ｆｉまたはイーサネット（登録商標）を介して、サーバ６１２と信号６１８を通信するための通信回路６１６を有し得る。

ローカルプロセッサは、サーバと比較すれば、１つまたは複数のトランスデューサにより出力された音、および／または、１つまたは複数のマイクにより検出された音と関連付けられる信号を処理することと関連付けられるレイテンシが少ないかもしれない。サーバへの通信と関連付けられる遅延がないので、レイテンシは少ないかもしれない。個人用オーディオ供給デバイスは電池式であってよい。ローカルプロセッサで信号を処理すると、バッテリ電源の充電または交換が必要となる前に個人用オーディオ供給デバイスが動作し得る時間が減少し得る。１つまたは複数のトランスデューサ、および／または、１つまたは複数のマイクにより出力された音と関連付けられる信号の処理によって、バッテリからの電源が消費され得る。そうでなければ、バッテリからの電源は、個人用オーディオ供給デバイスが音を出力するために使用されるであろう。

処理エンジンは他の形態も取ってよい。例えば、処理エンジンは、サーバおよび個人用オーディオ供給デバイスのローカルなＣＰＵの形態を取ってよい。すなわち、信号の処理は、個人用オーディオ供給デバイスにおけるプロセッサによりローカルに実行されてよく、サーバにおいて遠隔的に実行されてよい。更に他の変形例も適用可能である。

図７は、個人用オーディオ供給デバイスを着用している人に聞こえる実世界の音の位置を空間的に特定することと関連付けられる機能のフローチャート７００である。これらの機能は、個人用オーディオ供給デバイスおよび処理エンジンを含む例示的なシステム５００により実行され得る。

簡単に言うと、７０２では、特定の人体構造、例えば、胴、頭および／または肩と相互作用する音が、イヤカップに位置付けられるマイクにより検出される。イヤカップは耳介に着用されてよく、音は胴と相互作用する実世界の音であってよい。７０４では、検出された音を示す第１信号がマイクにより出力される。７０６では、第１信号で非線形伝達関数が変調されて、検出された音の空間的位置特定を容易にする１つまたは複数のオーディオキューを示す第２信号が生成される。７０８では、個人用オーディオ供給デバイスにより出力された音を示す第３信号が受信される。７１０では、第２信号が第３信号と混合され得る。７１２では、イヤカップが耳介に着用されている間に、１つまたは複数のオーディオキューに基づいて、検出された音の空間的位置特定が容易になるよう、混合された信号が個人用オーディオ供給デバイスのイヤカップのトランスデューサにより出力される。

本明細書で開示される方法および他のプロセスは、１つまたは複数の動作、機能または行為を含み得る。ブロックは順番に示されているが、これらのブロックは、並行して、および／または、本明細書で説明されているものとは異なる順序で実行されてもよい。また、所望の実装に基づいて、これらの様々なブロックを組み合わせてより少ないブロックにしてよく、更なるブロックに分割してよく、および／または、除去してよい。

更に、本明細書で開示される方法、並びに、他のプロセスおよび方法として、フローチャートは、本実施形態の１つの適用可能な実装の機能および動作を示している。この点で、各ブロックがプログラムコードの一部、セグメントまたはモジュールを表し得る。プログラムコードは、プロセスにおける特定の論理機能または段階を実装するための、プロセッサにより実行可能な１つまたは複数の命令を含む。プログラムコードは、任意のタイプのコンピュータ可読媒体、例えば、ディスクまたはハードドライブを含む記憶デバイスなどに記憶され得る。コンピュータ可読媒体は、非一時的コンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュおよびランダムアクセスメモリ（ＲＡＭ）のように短期間にわたってデータを記憶するコンピュータ可読媒体などを含み得る。コンピュータ可読媒体は、例えば、リードオンリメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）のような、二次記憶装置または永続的長期記憶装置などの非一時的媒体を含んでもよい。コンピュータ可読媒体は、任意の他の揮発性記憶システムまたは不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体とみなされてもよいし、有形の記憶デバイスとみなされてもよい。更に、図中のブロックはそれぞれ、プロセスにおいて特定の論理機能を実行するために配線されている回路を表し得る。

ある個人が個人用オーディオ供給デバイスを着用し得る。個人用オーディオ供給デバイスは、個人が耳介に着用するイヤカップを有し得る。７０２に戻って参照すると、耳介に着用されるイヤカップに位置付けられるマイクにより音が検出される。マイクは、サンプルホールド回路または他のアナログ−デジタル変換回路を用いて音をデジタルサンプリングすることにより音を検出し得る。検出される音は、イヤカップを着用している人の特定の人体構造、例えば、胴、頭および／または肩と相互作用する実世界の音であってよい。実世界の音は、トランスデューサにより出力される音であるかもしれないし、出力される音ではないかもしれない。幾つかの例を挙げると、マイクは、イヤカップに位置付けられるトランスデューサにより出力されている任意の音ではなく、実世界の音を検出するのが容易になるよう、イヤカップが着用される耳介と反対の方向に向けられ得る。

７０４において、マイクは、検出された音を示す第１信号を出力し得る。第１信号は、検出された音の１つまたは複数のサンプルを定義し得る。第１信号は処理エンジンに提供され得る。更にまたは或いは、マイクは、検出された音が発せられる方向の指標となるものを出力し得る。例えば、マイクは、一定の方向から発せられる音を拾う指向性マイクであってよい。別の例として、マイクはマイクアレイであってよい。マイクアレイの各マイクが一定の方向に向けられ得る。幾つかのマイクが他のマイクよりも多くの音を拾う場合は、より多くの音を拾うそれらのマイクの向きが音の方向を示し得る。マイクアレイに基づく方向の決定は一般的に、ビームフォーミングとして知られている。マイクは方向の指標となるものを出力してよく、および／または、方向はマイクの出力に基づいて決定されてよい。

個人用オーディオ供給デバイスが２つのイヤカップを有する場合は、各イヤカップと関連付けられる、対応するマイクが実世界の音をサンプリングし得る。左マイクが左耳介付近の音をサンプリングしてよく、右マイクが右耳介付近の音をサンプリングしてよい。一例を挙げると、サンプリングは、各マイクが、段階７０４から段階７１２に従って処理される、対応する信号を出力できるように個別に行われ得る。更に、音を受信する複数のマイクは、例えばビームフォーミングにより、音が発せられる方向を決定するために使用され得る。次に、ビームフォーミングは、当該方向に基づく非線形伝達関数を、左マイクおよび右マイクと関連付けられる、サンプリングされた音に適用するために使用される。別の例を挙げると、各マイクにより出力された対応する信号は合成されてよく、合成されたこの信号は、段階７０４から段階７１２に従って処理されてよい。他の変形例も適用可能である。

実世界の音は、特定の人体構造、例えば、胴、頭および／または肩と相互作用し得る。しかしながら、個人用オーディオ供給デバイスのイヤカップが耳介を覆っているかもしれない、または、部分的に覆っているかもしれないので、実世界の音は、耳介と適切に相互作用しないかもしれない。その結果、実世界の音が発せられる方向を決定するのが容易になるよう、耳介と関連付けられるオーディオキューが生成されることはないかもしれない。

７０６では、非線形伝達関数が第１信号で変調される。幾つかの例を挙げると、非線形伝達関数は、時間領域において第１信号に畳み込まれる、または、周波数領域において第１信号と乗算される、インパルス応答であってよい。この変調により、この非線形伝達関数に基づいて第１信号が調整され、変調信号が形成されることになる。

非線形伝達関数は、音が耳介によってどのように変換されるかの特徴を示し得る。実世界の音が耳介と相互作用しないので、音の空間的位置と関連付けられるオーディオキューは見つからないかもしれない。非線形伝達関数による第１信号の変調によって、見つからないこれらのオーディオキューが人為的に生成されることになり得る。特に、音源の仰角、方位角、距離および／または速度を決定するためのオーディオキューが生成され得る。これらのオーディオキューは、実世界の音の空間的位置特定を容易にするために使用され得る。例えば、車のクラクション、緊急用の車両サイレン、および人々からの音の位置が空間的に特定されることで、個人用オーディオ供給デバイスを着用しているユーザの安全性が高まり得る。この点で、変調信号は、検出された音の空間的位置特定を容易にする１つまたは複数のオーディオキューを示す第２信号であってよい。

図８は、見つからないオーディオキューを生成するための非線形伝達関数の例８００を示している。横軸８０２が、耳介において聞こえる、例えばＨｚ単位での周波数を表し得る一方で、縦軸８０４は、例えばｄＢ単位での周波数応答を表し得る。非線形伝達関数は、耳介が音をどのように変換するかの特徴を示し得る。例えば、非線形伝達関数は、音源の様々な仰角における耳介の周波数応答を示す波形を定義し得る。例えば、各波形が音源の特定の仰角と関連付けられ得る。更に、各波形が音源の同じ方位角と関連付けられ得る。この点で、音が所与の仰角および方位角から発せられると、当該所与の仰角の波形が耳介の周波数応答を定義し得る。更に、領域８０６は耳介の周波数応答におけるノッチを表してよく、領域８０８は耳介の周波数応答におけるピークを表してよい。

非線形伝達関数は他の形態を取ってもよい。例えば、非線形伝達関数は、所与の方位角に関する仰角に対する耳介の周波数応答、および、所与の仰角に関する方位角に対する耳介の周波数応答のうちの１つまたは複数を表し得る。非線形伝達関数は、距離、速度、仰角および／または方位角を含む複数の大きさに対する周波数応答を表し得る場合もある。

ここで、変調プロセスがより詳しく説明され得る。７０２において音を検出するマイクは、音が発せられている方向を検出してもよい。１つまたは複数のマイクにより検出された音の方向は、マイクにより検出された音の位置を空間的に特定するために非線形伝達関数と併せて使用され得る。方向と関連付けられる非線形伝達関数の周波数応答が、検出された音と関連付けられる音声信号で変調されて、検出された音の空間的位置特定を容易にする１つまたは複数のオーディオキューが生成され得る。例えば、マイクにより検出された音は、所与の方位角および仰角から発せられているかもしれない。非線形伝達関数は、音が所与の方位角および仰角から発せられると、耳介の周波数応答を示す波形を定義し得る。これらの波形が音声信号で変調されて、１つまたは複数のオーディオキューを示す第２信号が生成され得る。当該オーディオキューによって、ユーザは、検出された音が所与の方位角および仰角から発せられているのを感知できるかもしれない。

図９Ａから図９Ｅは、非線形伝達関数を決定することと関連付けられる例示的な構成を示している。非線形伝達関数は様々なやり方で決定され得る。

図９Ａは、直接測定により非線形伝達関数を決定することと関連付けられる例示的な構成９００を示している。段階７０６においてオーディオキューが生成される個人９０６の外耳道９０４の入口付近に、マイク９０２が配置され得る。次に、個人９０６の周囲で音源９０８が動かされ得る。音源９０８は、個人の周囲で、方位角、仰角、距離および／または速度の面で複数の空間的位置に動かされてよく、その例が位置Ａ、ＢおよびＣとして示されている。各位置において、音源９０８は、人間の可聴域、すなわち２０Ｈｚ〜２０ｋＨｚにおいて周波数が変化する、チャープ信号の形態を取り得る音を出力してよい。２０Ｈｚ〜２０ｋＨｚに帯域制限されている、インパルスなどの他の音が使用されてもよい。耳介９０４内のマイク９０２により測定される、複数の空間的位置に関する耳介９０４の周波数応答が、非線形伝達関数を示し得る。場合によっては、複数の非線形伝達関数が決定され得る。複数の非線形伝達関数は、数ある中でも、所与の方位角に関する仰角に対する耳介の周波数応答、所与の距離に関する仰角に対する耳介の周波数応答、および／または、所与の速度に関する仰角に対する耳介の周波数応答のうちの１つまたは複数を表し得る。別の個人の耳介９０２について実行される直接測定により異なる非線形伝達関数がもたらされるよう、この非線形伝達関数は個人９０６に特有のものであってよい。

或いは、７０６でオーディオキューが生成される個人とは異なる複数の個人について、学習プロセスで直接測定が実行され得る。複数の個人のうちの所与の個人について実行される直接測定が、所与の非線形伝達関数を決定することになり得る。更に、幾つかの例を挙げると、耳介の画像が所与の個人について決定され、かつ、所与の個人について所与の非線形伝達関数と関連付けられ得る。この点で、当該学習プロセスには、複数の非線形伝達関数、および／または、関連付けられる耳介の画像を決定することが伴い得る。

図９Ｂは、耳介の画像を決定するための例示的な構成９２０を示している。耳介９２２の画像は、７０６においてオーディオキューが生成される個人とは異なる個人９２６について、カメラまたは携帯電話などの撮像デバイス９２４により撮像され得る。

図９Ｃは、７０６においてオーディオキューが生成される個人に関する非線形伝達関数を決定するための例示的な構成９５０を示しており、図９Ａに示されているような直接測定をその個人について実行する必要はない。

例示的な構成９５０は、データベース９５２およびコンパレータ９５４を含み得る。データベース９５２およびコンパレータ９５４は、個人用オーディオ供給デバイス、サーバ、または、何らかの他のデバイスに存在し得る。データベース９５２は、学習プロセスで決定された複数の非線形伝達関数を記憶し得る。更に、幾つかの例を挙げると、データベース９５２は、学習プロセスで決定された複数の非線形伝達関数と関連付けられる耳介の画像を記憶し得る。例えば、データベース９５２内のエントリ９５６が、対応する非線形伝達関数９５８を定義してよく、そうした場合は、当該対応する非線形伝達関数と関連付けられる個人の耳介の画像９６０を定義してよい。データベースは複数のエントリ１：Ｎを有し得る。例示的な構成は、基準センサ出力９６２を含んでもよい。幾つかの例を挙げると、基準センサ出力９６２は、オーディオキューが生成される個人に関する耳介の１つまたは複数の周波数応答を示し得る。

図９Ｄは、１つまたは複数の周波数応答がどのように決定され得るかの例を示している。ある個人が個人用オーディオ供給デバイスを着用し得る。個人用オーディオ供給デバイスは、個人９２６が耳介９２２に着用するイヤカップ９３２を有し得る。イヤカップ９３２は耳介９２２と接触しているかもしれないが、例示を目的として、イヤカップ９３２はそのようには示されていない。イヤカップ９３２は、オーディオサウンドを出力するための１つまたは複数のトランスデューサ９３０と、耳介９２２の周囲の特定の位置に位置付けられる１つまたは複数のマイク９３４とを有し得る。例えば、イヤカップ９３２は、窩、耳甲介舟、耳甲介腔および耳切痕など、耳介の４つの特定の特徴に位置付けられる４つのマイク９３４を有し得る。

第１の音を示す信号が１つまたは複数のトランスデューサ９３０に提供されて、イヤカップ９３２内の１つまたは複数のトランスデューサ９３０に第１の音を出力させ得る。第１の音は様々な形態を取ってよく、場合によっては、学習プロセスで使用される音と同様であってよい。例えば、第１の音は、人間の可聴域、すなわち２０Ｈｚ〜２０ｋＨｚにおいて周波数が変化する、チャープ信号の形態を取ってよい。或いは、第１の音はインパルスの形態を取ってよい。２０Ｈｚ〜２０ｋＨｚに帯域制限されている他の音が使用されてもよい。

第１の音が出力される際、第１の音が耳介の特徴の内部で反射および共鳴することで、音声散乱が生じる。イヤカップ９３２内の１つまたは複数のマイクの各マイク９３４が、対応する第２の音を検出し得る。あるマイクについて検出された対応する第２の音は、当該マイクにより受信された音であり、別のマイクについて検出された対応する音とは異なっていてよい。１つまたは複数のマイク９３４の各々の、検出された対応する第２の音は、第１の音と耳介との相互作用により生じた、イヤカップが着用される耳介の、マイク９３４の位置における周波数応答を示し得る。１つまたは複数のトランスデューサ９３０により出力された第１の音は、１つまたは複数のマイク９３４の各々の、検出された対応する第２の音が耳介の特徴を一意的に示すよう選択されたかもしれない。

イヤカップが４つのマイクを有する場合は、基準センサ出力９６２は、これら４つのマイクの位置に対応する、検出された対応する第２の音を少なくとも４つ含み得る。コンパレータ９５４は、エントリ１：Ｎのうち基準センサ出力９６２に近い（例えば、それと同様の）非線形伝達関数９５８を特定するために、それぞれの非線形伝達関数９５８と関連付けられる周波数応答を、基準センサ出力９６２と関連付けられる１つまたは複数のマイク９３４の各々により検出された対応する第２の音と比較するように構成され得る。一致の度合いは、数ある基準の中でも、非線形伝達関数９５８と関連付けられる耳介の周波数応答のうちの１つまたは複数と、１つまたは複数のマイクの各々の、検出された対応する第２の音との隔たりに基づいていてよい。コンパレータ９５４は、度合い（例えば、一致度が最も高いもの）と関連付けられる非線形伝達関数９６４を出力し得る。

幾つかの例を挙げると、基準センサ出力９６２は、オーディオキューが生成される個人に関する耳介の画像であってよい。コンパレータ９５４は、基準センサ出力９６２に近い耳介の画像９６０を特定するために、基準センサ出力９６２と関連付けられる耳介の特徴の特性を、非線形伝達関数９５８と関連付けられる耳介の画像９６０と関連付けられる耳介の１つまたは複数の特徴の、対応する特性と比較するように構成され得る。耳介の特徴を特定して画像から当該特徴を抽出した後に当該特徴の特性を決定することを含め、耳介の特徴の特性を決定するために、処理エンジンにより様々な画像処理技法が使用され得る。これらの特性には、以下に限定されるわけではないが、耳介の全体的なサイズおよび形状（例えば、長さ、幅、半径）と、数ある特徴の中でも、耳輪、窩、耳甲介舟、耳甲介腔、耳珠、耳切痕、対耳輪および対耳珠のサイズおよび形状（例えば、長さ、幅、半径）と、数ある特徴の中でも、耳輪、窩、耳甲介舟、耳甲介腔、耳珠、耳切痕、対耳輪および／または対耳珠間の相対距離とが含まれ得る。コンパレータ９５４は、基準センサ出力９６２に近い（例えば、一致度が最も高い）耳介の画像９６０と関連付けられる非線形伝達関数９６４を出力し得る。

更に別の例を挙げると、１つまたは複数のマイクの各々の、検出された対応する第２の音、および、オーディオキューが生成される個人に関する耳介の画像は共に、非線形伝達関数９６４を特定するために使用され得る。コンパレータ９５４は、それぞれの非線形伝達関数９５８と関連付けられる耳介の画像９６０を、基準センサ出力９６２と関連付けられる耳介の画像と比較するように構成され得る。この比較には第１相関スコアが割り当てられ得る。更に、コンパレータ９５４は、それぞれの非線形伝達関数９５８の周波数応答を、基準センサ出力９６２と関連付けられる、１つまたは複数のマイクの各々により検出された対応する第２の音と比較するように構成され得る。この比較には第２相関スコアが割り当てられ得る。同じ非線形伝達関数に関する、それぞれの相関スコアが合成、例えば、合計されて、合成スコアが形成され得る。コンパレータ９５４は、複数の非線形伝達関数のうち、最も高い合成スコアを有する非線形伝達関数９５８を、非線形伝達関数９６４として出力し得る。

この点で、非線形伝達関数９６４を決定するために、個人の耳介に対する直接測定を実行する必要はないかもしれない。代わりに、非線形伝達関数９６４は、学習プロセスで決定され、データベース９５２に記憶され、かつ、非線形伝達関数９６４を決定するためにリアルタイムで使用される、複数の非線形伝達関数に基づいていてよい。

非線形伝達関数９６４は、段階７０６で変調される非線形伝達関数であってよい。この点で、非線形伝達関数９６４を決定するために、７０６においてオーディオキューが生成される個人の耳介について直接測定を実行する必要はないかもしれない。代わりに、非線形伝達関数９６４は、学習プロセスで決定され、データベース９５２に記憶され、かつ、非線形伝達関数９６４を決定するためにリアルタイムで使用される、複数の非線形伝達関数に基づいていてよい。

幾つかの例を挙げると、７０６においてオーディオキューが生成される個人に関する非線形伝達関数９６４は、データベース９５２に記憶されている複数の非線形伝達関数のうちの１つまたは複数の合成に基づいていてよい。例えば、非線形伝達関数９６４を決定するために、複数の非線形伝達関数のうちの１つまたは複数が重み付けされ得る。

重み付けは、基準センサ出力９６２と関連付けられる、検出された対応する第２の音と、複数の非線形伝達関数のうちの非線形伝達関数９５８の周波数応答との類別、例えば、一致の度合いまたは類似性に基づいていてよい。例えば、一致度がより高いと重み付けがより大きくなり得る一方で、一致度がより低いと重み付けがより小さくなり得る。次に、重み付けされた非線形伝達関数が合成、例えば、合計されて、段階７０６と関連付けられる非線形伝達関数９６４が形成され得る。

図９Ｅは、７０６においてオーディオキューが決定される個人に関する非線形伝達関数を決定するための別の例示的な構成９８０を示している。学習プロセスで決定された、複数の非線形伝達関数および／または関連付けられる耳介の画像は、入力９８４および出力９８６を持つ関数９８２を定義するために、数値解析手法によりパラメータ化され得る。関数９８２への入力９８４は、基準センサ出力９６２と関連付けられる、耳介の画像、および／または、検出された対応する第２の音であってよく、関数９８２の出力９８６は、非線形伝達関数であってよい。関数は様々な形態を取ってよい。

例えば、関数９８２は、ニューラルネットワークなどの周知のデータ適合技法を用いて学習フェーズで決定された、複数の非線形伝達関数および／または関連付けられる耳介の画像に適合させられているモデルの形態を取ってよい。７０６においてオーディオキューが生成される個人について画像センサにより撮像された耳介の画像の形態の入力が、当該モデルに入力されてよく、当該モデルは、この入力に関する非線形伝達関数を出力してよい。更にまたは或いは、基準センサ出力９６２と関連付けられる、検出された対応する第２の音の形態の入力が、当該モデルに入力されてよく、当該モデルは、センサ出力に関する非線形伝達関数を出力してよい。この出力は、段階７０６において変調される非線形伝達関数であってよい。

＿に出願された「Ｉｍａｇｅ ａｎｄ Ａｕｄｉｏ Ｂａｓｅｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ａ Ｈｕｍａｎ Ａｕｄｉｔｏｒｙ Ｓｙｓｔｅｍ ｆｏｒ Ｐｅｒｓｏｎａｌｉｚｅｄ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６ ０００２ ＯＲＧ ＵＳ１には、個人用オーディオ供給デバイスを着用している個人に関する非線形伝達関数を決定するための更なる詳細が記載されており、その内容全体が参照により本明細書に組み込まれる。

場合によっては、７０２においてマイクにより検出される音は、トランスデューサにより出力される音を含み得る。これは、マイクが耳介および／またはトランスデューサと反対の方向に向けられているかもしれないとしても、マイクの固有の感度に起因して起こり得る。処理エンジンは、トランスデューサにより出力されるこの音を変調前に消去し得る。この消去を実行するには、周知のエコー消去技法が使用され得る。或いは、処理エンジンは、トランスデューサにより出力されるこの音を変調プロセスにおいて消去し得る。他の変形例も適用可能である。

７０８では、個人用オーディオ供給デバイスにより出力される音を示す第３信号が処理エンジンによって受信される。個人用オーディオ供給デバイスは、トランスデューサを介して人間の聴覚系に音を出力し得る。音は、音楽、音声または他のコンテンツであるかもしれない。第２信号は、記憶デバイスから受信されてもよいし、更には、処理デバイス自体により生成されてもよい。第２信号はこの音を表し得る。

７１０では、第２信号（例えば、変調信号）が第３信号と混合され得る。混合された信号によって、ユーザは、個人用オーディオ供給デバイスにより出力される音だけではなく、実世界の音と関連付けられるオーディオキューも聞くことができるので、実世界の音の空間的位置特定が容易になる。

第２信号は、様々な割合で第３信号と混合され得る。第２信号が第３信号と混合される割合は、ユーザ設定に基づいていてよい。一例を挙げると、第２信号および第３信号は、第３信号と関連付けられる音よりも大きな１つまたは複数のオーディオキューがユーザに聞こえるように混合され得る。例えば、第２信号が第３信号よりも大きく重み付けされた後に合計されて、混合された信号が形成され得る。別の例を挙げると、第２信号および第３信号は、第３信号と関連付けられる音よりも小さな１つまたは複数のオーディオキューがユーザに聞こえるように混合され得る。例えば、第２信号が第３信号よりも小さく重み付けされた後に合計されて、混合された信号が形成され得る。更に別の例を挙げると、重み付けは、検出される音のタイプに基づいていてよい。例えば、処理エンジンは、検出された音がサイレンまたは車のクラクションなど、車両と関連付けられるものであるかどうかを決定し得る。この決定は、検出された音が車両と関連付けられるものであるという示唆をアルゴリズムが提供するような類別およびトレーニングプロセスによって実行され得る。この決定に基づいて、第２信号が第３信号よりも大きく重み付けされて、ユーザに音を空間的に認識させ得る。他の変形例も適用可能である。

７０８では、イヤカップが耳介に着用されている間に、１つまたは複数のオーディオキューに基づいて、検出された音の空間的位置特定が容易になるよう、混合された信号が個人用オーディオ供給デバイスのイヤカップにより出力される。混合された信号は、トランスデューサに入力されてよく、トランスデューサは当該信号を可聴音に変換する。混合された信号は見つからないオーディオキューを人為的に生成し得るので、個人用オーディオ供給デバイスのイヤカップが耳介を覆っているかもしれないとしても、ユーザは実世界の音が発せられる方向を感知することができる。その結果、人は個人用オーディオ供給デバイスを着用しながら周囲の音を空間的に認識し得る。例えば、混雑した交差点を歩きながら個人用オーディオ供給デバイスを着用している人は、周囲の車の音を聞くことができるだけではなく、車の音が発せられている方向を感知することもできる。これによって、個人用オーディオ供給デバイスを着用しているときのユーザの安全性が高まり得る。更に、個人用オーディオ供給デバイスが実世界の音、例えば、音楽と関連付けられるもの以外の音も出力するかどうかに関わりなく、この感知は可能であってよい。

段階７０２から７１２と関連付けられる処理は、イヤカップごとに実行され得る。一方のイヤカップが左耳に固定されてよく、もう一方のイヤカップが右耳に固定されてよい。この点で、左イヤカップは、左耳における空間的位置特定のための、対応するオーディオキューを出力してよく、右イヤカップは、右耳における空間的位置特定のための、対応するオーディオキューを出力してよい。しかしながら、他の例を挙げると、各マイクにより出力された対応する信号が合成されてよく、合成されたこの信号は、段階７０４から段階７１２に従って処理されてよい。この場合は、各イヤカップが同じオーディオキューを出力し得る。他の変形例も適用可能である。

幾つかの例を挙げると、オーディオキューは、段階７０８および段階７１０と関連付けられる段階を実行することなくイヤカップにより出力され得る。この場合、第１信号と関連付けられる、検出された音の空間的位置特定を容易にするには、個人用オーディオ供給デバイスがオーディオキューを出力するだけでよい。

更に、幾つかの例を挙げると、段階７１０における混合は、変調後の段階としてではなく、段階７０６における変調プロセスの一部として実行され得る。非線形伝達関数、第１信号および第２信号は、他のやり方でも合成され得る。

上記の説明では、数ある中でも、様々な例示的なシステム、方法、装置および製品を開示している。当該製品には、数ある構成要素の中でも、ハードウェアで実行されるファームウェアおよび／またはソフトウェアが含まれる。そのような例は例示に過ぎず、限定とみなされるべきではないことが解る。例えば、ファームウェア、ハードウェアおよび／またはソフトウェアの態様または構成要素のうちの何れかまたは全てが、ハードウェアだけで、ソフトウェアだけで、ファームウェアだけで、または、ハードウェア、ソフトウェアおよび／もしくはファームウェアの任意の組み合わせで具現化され得ると考えられる。従って、提供されている例は、そのようなシステム、方法、装置および／または製品を実装する唯一のやり方ではない。

更に、本明細書では「例」および／または「実施形態」に言及することで、この例および／または実施形態との関連で説明されている特定の特徴、構造または特性が、発明の少なくとも１つの例および／または実施形態に含まれ得ることを意味する。本明細書中の様々な箇所に出現するこの言い回しは、必ずしも全てが同じ例および／または実施形態を指しているとは限らないし、他の例および／または実施形態を互いに排除し合う別個のまたは代替的な例および／または実施形態であるというわけでもない。故に、当業者であれば明示的かつ黙示的に理解する、本明細書で説明されている例および／または実施形態は、他の例および／または実施形態と組み合わされ得る。更には、マイクに言及することで、１つのマイク、または、マイクアレイなどの複数のマイクを指すことができる。

本明細書は概して、ネットワークに連結されているデータ処理デバイスの動作に直接的または間接的に似ている、例示的な環境、システム、手順、段階、論理ブロック、処理、および他の記号表現の観点から提示されている。プロセスに関するこれらの説明および表現は通常、当業者が自らの研究の本質を他の当業者へ最も効果的に伝えるために使用される。本開示を十分に理解できるよう、数々の具体的な詳細が記載されている。しかしながら、当業者であれば、本開示の幾つかの実施形態が幾つかの具体的な詳細なくして実施され得ることが解る。他の事例では、実施形態の態様を不必要に不明瞭にすることを避けるべく、周知の方法、手順、構成要素および回路については詳しく説明されていない。従って、本開示の範囲は、実施形態の上述の説明ではなく、添付の請求項により定義される。

添付の請求項のうちの何れかが純粋にソフトウェアおよび／またはファームウェアの実装をカバーするものと解釈される場合は、少なくとも１つの例における要素のうちの少なくとも１つが、メモリ、ＤＶＤ、ＣＤ、ブルーレイ（登録商標）などといった、ソフトウェアおよび／またはファームウェアを記憶する有形の非一時的媒体を含むものと、ここで明示的に定義される。

［例示的な実施形態］ 例示的な実施形態は以下を含む。

実施形態１：オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信する段階であって、当該オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された当該音は、少なくとも身体の胴と相互作用する、受信する段階と、当該オーディオデバイスが当該耳介を少なくとも部分的に覆っている間に、検出された当該音の空間的位置特定が容易になるよう、非線形伝達関数で当該信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成する段階と、当該オーディオデバイスが当該変調信号を出力する段階とを備える方法。

実施形態２：当該少なくとも１つのセンサにより検出された当該音を示す当該信号は、第１信号であり、当該オーディオデバイスが当該変調信号を出力する段階は、当該変調信号を第２信号と混合する段階を含む、実施形態１に記載の方法。

実施形態３：当該変調信号を当該第２信号と混合する段階は、検出された当該音の音タイプに基づいて、当該混合する段階において当該変調信号および当該第２信号の重み付けをする段階を含む、実施形態１または２に記載の方法。

実施形態４：当該オーディオデバイスにおける少なくとも１つのセンサにより検出された音を示す当該第１信号を受信する段階は、当該オーディオデバイスにおける少なくとも１つのマイクにより検出された当該音を示す当該第１信号を受信する段階を含む、実施形態１から３の何れかに記載の方法。

実施形態５：当該少なくとも１つのマイクは、当該耳介と反対の方向に向けられる、実施形態１から４の何れかに記載の方法。

実施形態６：当該１つまたは複数のオーディオキューは、検出された当該音と関連付けられる音源の仰角、方位角、距離および速度のうちの１つまたは複数に基づいている、実施形態１から５の何れかに記載の方法。

実施形態７：当該非線形伝達関数で当該信号を変調する段階は、検出された当該音が発せられている方向を決定する段階と、当該方向と関連付けられる当該非線形伝達関数の１つまたは複数の波形を特定する段階とを含む、実施形態１から６の何れかに記載の方法。

実施形態８：当該耳介の周波数応答を他方の耳介の複数の周波数応答と比較する段階であって、当該他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する段階と、当該比較に基づいて、当該他方の耳介の当該複数の他の周波数応答のうち、当該周波数応答に最も近い１つを決定する段階と、当該非線形伝達関数を、当該複数の他の周波数応答のうちの当該１つと関連付けられる当該対応する非線形伝達関数として特定する段階とを更に備える、実施形態１から７の何れかに記載の方法。

実施形態９：メモリに記憶され、かつ、プロセッサにより実行可能である、プログラムコードを備える１つまたは複数の非一時的コンピュータ可読媒体であって、当該プログラムコードは、オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信することであって、当該オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された当該音は、少なくとも身体の胴と相互作用する、受信することと、当該オーディオデバイスが当該耳介を少なくとも部分的に覆っている間に、検出された当該音の空間的位置特定が容易になるよう、非線形伝達関数で当該信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成することと、当該オーディオデバイスが当該変調信号を出力することとを行うためのものである、１つまたは複数の非一時的コンピュータ可読媒体。

実施形態１０：当該少なくとも１つのセンサにより検出された当該音を示す当該信号は、第１信号であり、当該オーディオデバイスが当該変調信号を出力するための当該プログラムコードは、当該変調信号を第２信号と混合することを含む、実施形態９に記載の１つまたは複数の非一時的機械可読媒体。

実施形態１１：当該変調信号を当該第２信号と混合するための当該プログラムコードは、検出された当該音の音タイプに基づいて、当該混合することの間に当該変調信号および当該第２信号の重み付けをすることを含む、実施形態９または１０に記載の１つまたは複数の非一時的機械可読媒体。

実施形態１２：当該オーディオデバイスにおける少なくとも１つのセンサにより検出された音を示す当該第１信号を受信するための当該プログラムコードは、当該オーディオデバイスにおける少なくとも１つのマイクにより検出された当該音を示す第１信号を受信することを含む、実施形態１０または１１に記載の１つまたは複数の非一時的機械可読媒体。

実施形態１３：当該少なくとも１つのマイクは、当該耳介と反対の方向に向けられる、実施形態１０から１２の何れかに記載の１つまたは複数の非一時的機械可読媒体。

実施形態１４：当該１つまたは複数のオーディオキューは、検出された当該音と関連付けられる音源の仰角、方位角、距離および速度のうちの１つまたは複数に基づいている、実施形態１０から１３の何れかに記載の１つまたは複数の非一時的機械可読媒体。

実施形態１５：当該非線形伝達関数で当該信号を変調するための当該プログラムコードは、検出された当該音が発せられている方向を決定することと、当該方向と関連付けられる当該非線形伝達関数の１つまたは複数の波形を特定することとを含む、実施形態１０から１４の何れかに記載の１つまたは複数の非一時的機械可読媒体。

実施形態１６：当該プログラムコードは更に、当該耳介の周波数応答を他方の耳介の複数の周波数応答と比較することであって、当該他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較することと、当該比較に基づいて、当該他方の耳介の当該複数の他の周波数応答のうち、当該周波数応答に最も近い１つを決定することと、当該非線形伝達関数を、当該複数の他の周波数応答のうち、当該周波数応答に最も近い当該１つと関連付けられる当該対応する非線形伝達関数として特定することとを備える、実施形態１０から１５の何れかに記載の１つまたは複数の非一時的機械可読媒体。

実施形態１７：オーディオデバイスと、メモリに記憶され、かつ、プロセッサにより実行可能である、コンピュータ命令とを備えるシステムであって、当該コンピュータ命令は、当該オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信する機能であって、当該オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された当該音は、少なくとも身体の胴と相互作用する、受信する機能と、当該オーディオデバイスが当該耳介を少なくとも部分的に覆っている間に、検出された当該音の空間的位置特定が容易になるよう、当該音の当該方向に基づいて選択された非線形伝達関数で当該信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成する機能と、当該オーディオデバイスが当該変調信号を出力する機能とを実行するためのものである、システム。

実施形態１８：メモリに記憶され、かつ、当該プロセッサにより実行可能である、当該非線形伝達関数で当該信号を変調するための当該コンピュータ命令は、検出された当該音が発せられている方向を決定する機能と、当該方向と関連付けられる当該非線形伝達関数の１つまたは複数の波形を特定する機能とを含む、実施形態１７に記載のシステム。

実施形態１９：当該耳介の周波数応答を他方の耳介の複数の周波数応答と比較する機能であって、当該他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する機能と、当該比較に基づいて、当該他方の耳介の当該複数の他の周波数応答のうち、当該周波数応答に最も近い１つを決定する機能と、当該非線形伝達関数を、当該複数の他の周波数応答のうち、当該周波数応答に最も近い当該１つと関連付けられる当該対応する非線形伝達関数として特定する機能とを実行するための、メモリに記憶され、かつ、当該プロセッサにより実行可能である、コンピュータ命令を更に備える、実施形態１７または１８に記載のシステム。

実施形態２０：当該１つまたは複数のオーディオキューは、検出された当該音と関連付けられる音源の仰角、距離、方位角および速度のうちの１つまたは複数を示す、実施形態１７から１９の何れかに記載のシステム。

Claims (20)

1. オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信する段階であって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信する段階と、
   前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、非線形伝達関数で前記信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成する段階と、
   前記オーディオデバイスが前記変調信号を出力する段階と
   を備える方法。
2. 前記少なくとも１つのセンサにより検出された前記音を示す前記信号は、第１信号であり、前記オーディオデバイスが前記変調信号を出力する段階は、前記変調信号を第２信号と混合する段階を含む、請求項１に記載の方法。
3. 前記変調信号を前記第２信号と混合する段階は、検出された前記音の音タイプに基づいて、前記混合する段階において前記変調信号および前記第２信号の重み付けをする段階を含む、請求項２に記載の方法。
4. 前記オーディオデバイスにおける少なくとも１つのセンサにより検出された音を示す前記第１信号を受信する段階は、前記オーディオデバイスにおける少なくとも１つのマイクにより検出された前記音を示す前記第１信号を受信する段階を含む、請求項１に記載の方法。
5. 前記少なくとも１つのマイクは、前記耳介と反対の方向に向けられる、請求項４に記載の方法。
6. 前記１つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、方位角、距離および速度のうちの１つまたは複数に基づいている、請求項１に記載の方法。
7. 前記非線形伝達関数で前記信号を変調する段階は、検出された前記音が発せられている方向を決定する段階と、前記方向と関連付けられる前記非線形伝達関数の１つまたは複数の波形を特定する段階とを含む、請求項１に記載の方法。
8. 前記耳介の周波数応答を他方の耳介の複数の周波数応答と比較する段階であって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する段階と、
   前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い１つを決定する段階と、
   前記非線形伝達関数を、前記複数の他の周波数応答のうちの前記１つと関連付けられる前記対応する非線形伝達関数として特定する段階と
   を更に備える、請求項１に記載の方法。
9. メモリに記憶され、かつ、プロセッサにより実行可能である、プログラムコードを備える１つまたは複数の非一時的コンピュータ可読媒体であって、前記プログラムコードは、
   オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信することであって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信することと、
   前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、非線形伝達関数で前記信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成することと、
   前記オーディオデバイスが前記変調信号を出力することと
   を行うためのものである、１つまたは複数の非一時的コンピュータ可読媒体。
10. 前記少なくとも１つのセンサにより検出された前記音を示す前記信号は、第１信号であり、前記オーディオデバイスが前記変調信号を出力するための前記プログラムコードは、前記変調信号を第２信号と混合することを含む、請求項９に記載の１つまたは複数の非一時的機械可読媒体。
11. 前記変調信号を前記第２信号と混合するための前記プログラムコードは、検出された前記音の音タイプに基づいて、前記混合することの間に前記変調信号および前記第２信号の重み付けをすることを含む、請求項１０に記載の１つまたは複数の非一時的機械可読媒体。
12. 前記オーディオデバイスにおける少なくとも１つのセンサにより検出された音を示す前記第１信号を受信するための前記プログラムコードは、前記オーディオデバイスにおける少なくとも１つのマイクにより検出された前記音を示す前記第１信号を受信することを含む、請求項９に記載の１つまたは複数の非一時的機械可読媒体。
13. 前記少なくとも１つのマイクは、前記耳介と反対の方向に向けられる、請求項１２に記載の１つまたは複数の非一時的機械可読媒体。
14. 前記１つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、方位角、距離および速度のうちの１つまたは複数に基づいている、請求項９に記載の１つまたは複数の非一時的機械可読媒体。
15. 前記非線形伝達関数で前記信号を変調するための前記プログラムコードは、検出された前記音が発せられている方向を決定することと、前記方向と関連付けられる前記非線形伝達関数の１つまたは複数の波形を特定することとを含む、請求項９に記載の１つまたは複数の非一時的機械可読媒体。
16. 前記プログラムコードは更に、
    前記耳介の周波数応答を他方の耳介の複数の周波数応答と比較することであって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較することと、
    前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い１つを決定することと、
    前記非線形伝達関数を、前記複数の他の周波数応答のうち、前記周波数応答に最も近い前記１つと関連付けられる前記対応する非線形伝達関数として特定することと
    を含む、請求項９に記載の１つまたは複数の非一時的機械可読媒体。
17. オーディオデバイスと、
    メモリに記憶され、かつ、プロセッサにより実行可能である、コンピュータ命令と
    を備えるシステムであって、前記コンピュータ命令は、
    前記オーディオデバイスの少なくとも１つのセンサにより検出された音を示す信号を受信する機能であって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信する機能と、
    前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、前記音の方向に基づいて選択された非線形伝達関数で前記信号を変調して、１つまたは複数のオーディオキューを示す変調信号を生成する機能と、
    前記オーディオデバイスが前記変調信号を出力する機能と
    を実行するためのものである、システム。
18. メモリに記憶され、かつ、前記プロセッサにより実行可能である、前記非線形伝達関数で前記信号を変調するための前記コンピュータ命令は、検出された前記音が発せられている方向を決定する機能と、前記方向と関連付けられる前記非線形伝達関数の１つまたは複数の波形を特定する機能とを含む、請求項１７に記載のシステム。
19. 前記耳介の周波数応答を他方の耳介の複数の周波数応答と比較する機能であって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する機能と、
    前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い１つを決定する機能と、
    前記非線形伝達関数を、前記複数の他の周波数応答のうち、前記周波数応答に最も近い前記１つと関連付けられる前記対応する非線形伝達関数として特定する機能と
    を実行するための、メモリに記憶され、かつ、前記プロセッサにより実行可能である、コンピュータ命令を更に備える、請求項１７に記載のシステム。
20. 前記１つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、距離、方位角および速度のうちの１つまたは複数を示す、請求項１７に記載のシステム。