JP2019523581A - ユーザの耳におけるイヤピースの存在の判定 - Google Patents

ユーザの耳におけるイヤピースの存在の判定 Download PDF

Info

Publication number
JP2019523581A
JP2019523581A JP2018562063A JP2018562063A JP2019523581A JP 2019523581 A JP2019523581 A JP 2019523581A JP 2018562063 A JP2018562063 A JP 2018562063A JP 2018562063 A JP2018562063 A JP 2018562063A JP 2019523581 A JP2019523581 A JP 2019523581A
Authority
JP
Japan
Prior art keywords
user
earpiece
ear
audio signal
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018562063A
Other languages
English (en)
Inventor
ノーム ペトランク
ノーム ペトランク
Original Assignee
ブガトーン リミテッド
ブガトーン リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブガトーン リミテッド, ブガトーン リミテッド filed Critical ブガトーン リミテッド
Publication of JP2019523581A publication Critical patent/JP2019523581A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04Systems determining presence of a target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05Detection of connection of loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03Aspects of the reduction of energy consumption in hearing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/11Aspects relating to vents, e.g. shape, orientation, acoustic properties in ear tips of hearing devices to prevent occlusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Abstract

本開示に記載される主題は、全体として、方法、システム、およびコンピュータ可読装置において具現化されることができる。オーディオ処理装置が、ユーザイヤピースの電気音響変換器でソースオーディオ信号を再生し、同じ電気音響変換器によって感知される音響信号を記録する。オーディオ処理装置は、ユーザイヤピースが位置する空間の特性を示す音響信号の1つまたは複数の特徴の値を決定する。オーディオ処理装置は、音響信号の1つまたは複数の特徴の決定された値を1つまたは複数の特徴の既定値と比較する。比較の結果に基づいて、オーディオ処理装置は、ユーザイヤピースがユーザの耳に位置するかどうかを判定する。

Description

関連出願の相互参照
本出願は、2016年8月24日に出願された米国特許出願第62/379,160号、2016年5月27日に出願された米国特許出願第62/342,872号、2016年5月27日に出願された米国特許出願第62/342,871号および2016年5月27日に出願された米国特許出願第62/342,869号の恩典を主張する。これらの出願の内容は全体として参照により本明細書に組み入れられる。
背景
近年のモバイルコンピューティング装置の普及に伴い、ユーザは、そのようなモバイルコンピューティング装置を通して利用可能になる、増加するオーディオコンテンツの供給を聴くために、イヤバッド、ヘッドホン、および他のタイプのヘッドセットにますます注目するようになった。たとえば、スマートホンは一般的に、ユーザがヘッドセットをスマートホンに接続することを可能にするヘッドホンジャックを含み、それを通して、ユーザは、メディアライブラリまたはストリーミングサービス、ポッドキャスト、ビデオからのオーディオトラック、およびユーザの好みの多様な他のコンテンツソースから歌を聴き得る。また、ユーザは、ハンズフリーのモバイル通話体験のために、イヤバッドおよびユーザの口の近くに配置された外部マイクを含むヘッドセットを使用して電話での通話を保持し得る。モバイル装置(または他のコンピューティング装置)のヘッドセットを通してオーディオを聴いているとき、ユーザは、一定の期間、オーディオを聴くのをやめることを含め、ユーザの注意を要求する様々なイベントによって中断される場合がある。場合によっては、ユーザは、アクセス制限された装置上のアプリケーションまたは他のリソースと対話することもある。場合によっては、ユーザは、オーディオコンテンツをユーザにとって聴きにくくする騒がしい環境の中でオーディオコンテンツを聴こうとすることもある。
概要
本明細書は全体として、オーディオ処理装置(たとえば電話機)に接続された音響ヘッドセットを、多様なサービスをユーザに提供するために装置が導入することができるデータを収集するためのセンサとして適用する技術を含む、オーディオ信号処理に関する。たとえば、本明細書に記載される技術は、装置上のソフトウェアプラットフォームが、市販のイヤホンを、ユーザの特性およびユーザの環境をリアルタイムで感知することができる強力な外部マルチセンサとして利用することを可能にし得る。本明細書に記載される技術のいくつかの実施形態は、ユーザの耳におけるイヤピースの存在を検出すること、ユーザの耳の音響特性に基づいて人の身元を確認すること、事前に記録された音を使用してアクティブノイズキャンセルを実行すること、およびイヤピースの変換器を使用して様々な環境の温度を計算することを含む。
1つまたは複数の実施形態の詳細が添付図面および以下の詳細な説明に記載される。他の特徴、目的、および利点は、詳細な説明および図面ならびに特許請求の範囲から明らかになる。
一対のイヤバッドを使用して、スマートホンを通して再生されるソースオーディオ信号を聴く、ユーザの概念図を示す。ソースオーディオ信号が再生されるとき、イヤバッドは、オーディオ信号が再生されるときユーザの耳の内部で生じる音響信号を捕らえるためのマイクとしても同時に機能する。 本明細書に記載される技術の様々なものを実行するように構成されている例示的なオーディオ処理装置のブロック図である。 符号化/復号化コンポーネント(一般に「コーデック」と呼ばれる)とイヤピースとの間の、イヤピースの変換器を使用する同時再生・記録のための構成を示す回路図である。 符号化/復号化コンポーネントとイヤピースとの間の、イヤピースの変換器を使用する同時再生・記録のための別の構成を示す回路図である。 符号化/復号化コンポーネントと2つのイヤピースとの間の、イヤピースの変換器を使用する同時再生・記録のための構成を示す回路図である。 ユーザの耳の音響特性に基づいてユーザを本人認証する例示的プロセスのフローチャートである。プロセスは、(i)特定のユーザの音響シグネチャを生成し、ユーザのアカウントに登録する登録段階、および(ii)ユーザと関連する音響信号からの特徴とユーザのアカウントに登録されている音響シグネチャとの比較に基づいてユーザの身元を確認する確認段階を含む。 本人認証手順の登録段階でユーザの音響シグネチャを生成する例示的プロセスのフローチャートである。 本人認証手順の確認段階でユーザの身元の確認する例示的プロセスのフローチャートである。 イヤピースが位置する空間の音響エコー(wa)のインパルス応答を決定するための、たとえば、ユーザの音響シグネチャを生成する、ユーザの耳におけるイヤピースの存在を検出する、またはユーザを本人認証する例示的プロセスのフローチャートである。 ソースオーディオ信号の再生中に記録された音響信号から導出された特徴に基づいてユーザの耳におけるイヤピースの存在を検出する例示的プロセスのフローチャートである。 ユーザがヘッドセットを通してソースオーディオ信号を聴くときユーザの環境の中で再生される事前に記録されたオーディオ信号から生じる干渉をキャンセルするために事前に記録されたオーディオ信号の記憶されたインスタンスを使用するプロセスである。 変換器を使用してユーザおよび環境の温度を決定するプロセスを示す。 図9Aの続きを示す。 図9Bの続きを示す。 図9Cの続きを示す。 変換器を使用してユーザおよび環境の温度を決定する別のプロセスを示す。 本明細書に記載されるコンピュータ実装方法および他の技術を実行するように構成され得る例示的コンピュータを示す。いくつかの例において、オーディオ処理装置は、図2Aに関して記載したような、ハードウェアとソフトウェアとの組み合わせを含み得る。
様々な図面を通して類似の符番が類似の要素を指す。
詳細な説明
本明細書は全体として、オーディオ信号を処理するためのシステム、方法、装置、および他の技術を記載する。いくつかの実施形態において、これらの技術は、イヤピース(たとえばヘッドホンまたはイヤバッド)を使用し、イヤピース中の同じ電気音響変換器を、再生されるオーディオ信号を出力するためのスピーカとして、および、オーディオ処理装置によって記録されることができる音響信号(聴覚信号)を感知するためのマイクとして使用することによって、実施され得る。いくつかの例において、オーディオ処理装置は、イヤピースによって感知されたオーディオ信号を処理し、その感知されたオーディオ信号を、同時に再生されるオーディオ信号と比較して、イヤピースが現在、ユーザの耳に位置しているかどうかを判定することができる。いくつかの例において、オーディオ処理装置は、イヤピースによって感知されたオーディオ信号を処理して、ユーザの耳の音響特性に基づいてユーザの身元を確認する本人認証手順を実行することができる。いくつかの例において、オーディオ処理装置は、ユーザの環境の周囲ノイズ中に発生する既知のオーディオ信号を検出することにより、また、検出されたオーディオ信号の事前に記録されたインスタンスを使用して、ユーザがヘッドセットを通して聴いているソースオーディオ信号を変更することにより、アクティブノイズキャンセルを実行し得る。
図1を参照すると、イヤバッド106を通して再生されているソースオーディオ信号sを聴くユーザ102の概念図が示されている。ソースオーディオ信号sは、この例においてはスマートホンであるオーディオ処理装置104によって再生される。イヤバッド106は、ユーザ102がソースオーディオ信号sを聴くことができる音響チャンバを形成するために、ユーザの耳106に詰められている。ソースオーディオ信号sは、多様なオーディオコンテンツ、たとえば音楽、スピーチ、電話での通話または映画、テレビ番組もしくは他のビデオまたはメディアコンテンツからのオーディオトラックのいずれをも伝搬し得る。
拡大区域108に示すように、イヤバッド106は、ソースオーディオ信号sを出力することができ、かつ、音響オーディオ信号rを感知することもできる。特に、イヤバッド106は、ソースオーディオ信号sに対応する電気信号を、ユーザ102が聴くことができる音波に変換する電気音響変換器を含む。電気音響変換器は、電気エネルギーを音響エネルギー(すなわち音波)に変換することにより、スピーカとして機能する。しかし、電気音響変換器はまた、その環境中の音響エネルギー(電気音響変換器を振動させ、それにより、電気信号を発生させる)を機械的に感知できる。したがって、電気音響変換器はまた、音響オーディオ信号rを感知することができ、いくつかの実施形態においては、音響オーディオ信号rを感知しながら同時にオーディオソース信号sを出力することさえできる。いくつかの例において、電気音響変換器は振動板を含み得、この振動板が、その前面に位置する空気に加わる圧力によって前後に動いて音波を発生させる。電気信号が、多様な技術のいずれかを使用して、たとえば電磁石に巻かれたコイルまたは圧電結晶により、振動板の動きを駆動し得る。
概して、音響オーディオ信号rは、ソースオーディオ信号sがイヤバッド106を通して再生されるときイヤバッド106が位置する空間中に生じるオーディオ信号である。たとえば、ユーザの耳に詰められたイヤバッド106がソースオーディオ信号sを再生するときマイクがイヤバッド106に隣接して配置される場合、そのマイクによって捕らえられる信号が音響オーディオ信号rに対応するであろう。当然、音響信号rは、空間中で再生されるソースオーディオ信号sを主に反映するであろうが、他の要因、たとえばイヤバッド106の内部特性およびソースオーディオ信号sが再生される空間を少なくとも部分的に画定するユーザの耳に特有の音響特性をさらに反映する場合もある。説明のために、図1の拡大図108は、ユーザの耳の外に位置するイヤバッドを示すが、実際には、ユーザ102は典型的に、耳に詰められたイヤバッド106によってオーディオ信号sを聴くということに留意されたい。
いくつかの実施形態において、オーディオ処理装置104は、イヤバッド106の同じ電気音響変換器によって出力されるソースオーディオ信号sを再生するように、および、イヤバッド106の同じ電気音響変換器によって感知される音響オーディオ信号rを記録するように、それぞれ構成され得る。オーディオ処理装置104のサウンドカードまたは他の処理回路が、(たとえば、イヤピースのスピーカとは別個の専用マイクを含むイヤピースの)同じ電気音響変換器を介してオーディオ信号の出力および記録を行うように構成され得る。たとえば、電子抵抗コンポーネントが、イヤピース変換器とオーディオ処理装置とを電気的に接続する回路の1つまたは複数の導体の間に接続されてもよい。抵抗器の配置は、音響オーディオ信号rに対応する電気信号を感知し、たとえばデジタルサンプリングし、記録することができる位置を電気インタフェース中に提供する分圧器を形成し得る。オーディオ処理装置104の処理回路が、ソースオーディオ信号sを再生しながらも同時に音響オーディオ信号rを記録するための電気音響変換器への電気信号を駆動し得る。いくつかの実施形態において、処理回路は、ソースオーディオ信号sを再生するためのモードと、音響オーディオ信号rを記録するためのモードとの間で交互に切り替わり得る(たとえば高い頻度で)。この切り替えは、ユーザ102がソースオーディオ信号sの再生のどんな中断も知覚しないよう、十分に高い頻度で起こり得る。
いくつかの実施形態において、イヤバッド106は、たとえば専用マイクを含む高級なヘッドセットの一部であってもよい。専用マイクは、たとえば、音響オーディオ信号rを記録するために使用されてもよいし、たとえばアクティブノイズキャンセルの場合に実施され得るように、環境ノイズを記録するために使用されてもよい。たとえば、専用マイクは埋め込み型マイク(たとえば210a、210b)であってもよいし、外部マイク(たとえばマイク212)が用いられてもよい。
パラメータの決定
本明細書に記載される技術の様々なものは、オーディオ信号、イヤピース、イヤピースが位置する空間(たとえばユーザの外耳道)、またはそれらの組み合わせと関連するパラメータの決定を含む。これらのパラメータのいくつかは、オーディオ処理装置によって記録される音響オーディオ信号rをこれらのパラメータの関数として表す以下のモデル(式1)に反映される。
r=s*(w0+T・wΔ+wa)+e+n
(式1)
注:演算子*は畳み込みを示す。
式1のモデルにおけるパラメータは概して以下を示す。
Figure 2019523581
したがって、式1のモデルは、記録される音響オーディオ信号rが以下の3つのオーディオ信号の関数であることを示す:(1)オーディオ処理装置によって再生されたソースオーディオ信号s、(2)環境ノイズe、および(3)オーディオ処理装置の電気ノイズn。しかし、ソースオーディオ信号sは3つの要因のせいで歪められる場合があり、この歪みが、sと(w0+T・wΔ+wa)との畳み込みによって表される。パラメータw0およびwΔは、イヤピースの内部パラメータであり、所与のイヤピースの設計に固有である。したがって、耳の中に嵌まるイヤバッドは、耳を覆うイヤホンとは異なるパラメータw0およびwΔ値を有し得る。同様に、特定の製造業者による特定のモデルの第一のイヤバッドは、異なる製造業者による異なるモデルの第二のイヤバッドとは異なるw0およびwΔパラメータを有し得る。これらのパラメータは概して、イヤピースの形状および全体構成が、そのイヤピースを通して再生されるオーディオ信号sをどのように変化させる(たとえば歪める)ように作用するのかを示す。w0パラメータは、ベースライン温度T0(たとえば20℃)でイヤピースがオーディオ信号sをどのように変化させるのかを示し、一方で、wΔパラメータは、T0からの温度差の関数としてイヤピースがオーディオ信号sをどのように変化させるのかを示す。
概して、w0およびwΔはいずれも、イヤピースが配置される空間から独立して、イヤピースによって付与されるオーディオ信号sの変形特性を表す。いくつかの実施形態において、w0およびwΔはそれぞれ、イヤピースのそれぞれのインパルス応答特性を集合的に示す複数の値(たとえば数十または数百の値)を含む。たとえば、w0は、イヤピースの電気エコーのインパルス応答関数を示すことができ、wΔは、イヤピースの電気エコーの温度依存性インパルス応答関数を示すことができる。
インパルス応答関数を記述する簡略化された方法は、インパルス音がイヤピースに提供されるとき生じるエコーを想像する方法である。たとえば、システムが1000Hzでサンプリングすると仮定すると、システムは、イヤピース電圧の振幅を0.001秒ごとにサンプリングするであろう。インパルス音が時間0で出力されるならば、インパルス応答は、イヤピースが聴くであろう、かつインパルス音の出力によるエコーを記録し得る(この例においては、0.001秒ごとの振幅計測値として記録される)。そのようなものとして、インパルス応答は、インパルス関数の再生後0.001秒ごとに1つ記録される値のベクトルまたは配列とみなされ得る。このエコーは、イヤピースの特性に基づく不変の特性(たとえばw0)およびイヤピース温度に基づく可変性の特性(たとえばT・wΔ)を有すると決定することができる。
エコーはまた、オーディオ信号が再生される空間(たとえばユーザの外耳道)の音響特性を表すさらなる変形特性(たとえばwa)によって影響されるが、この変形特性は、後でさらに詳細に説明され、特定の計測に関しては無視してもよい。少しの間だけ環境ノイズおよび電気ノイズに目をつぶると、変換器を使用してとられた記録rは、どのようにして、変換器を使用して再生された音sを、その音が反響して記録のために変換器に戻るのにどれほど長くかかるかを示す複数のインパルス応答(おそらく、ユーザの耳およびイヤピースの異なる表面での異なるエコーに起因して複数の異なる時点で出現する)と畳み込んだものの組み合わせであるか、ならびに、そのエコーが様々な時点でどれほどの大きさであるのか、を見ることができる。
再び変形特性を説明すると、イヤピースの内部パラメータ(w0およびwΔ)は、事前に画定され、複数の異なるイヤピースの内部パラメータを記憶するデータベースに記憶され得る。オーディオ処理装置は、これらのパラメータをデータベースから特定し得る(たとえば、自らのイヤピースの型番を示すユーザ入力から、または自動検出能力に基づいて)。いくつかの実施形態において、内部パラメータは、工場または検査室で校正され、ユーザの集団にアクセス可能にされ得る。いくつかの実施形態において、内部パラメータは、個々のユーザにより、それぞれのオーディオ処理装置を用いて校正されてもよい。
いくつかの実施形態において、環境ノイズ信号eは、イヤピースが定位置にあるが、そのイヤピースを通して再生されるオーディオソース信号sがないとき生じるオーディオ信号を記録することによって決定される。いくつかの実施形態において、環境ノイズ信号eは、イヤピースの電気音響変換器以外の第二のマイク、たとえばイヤピースのユーザの環境中に位置する外部マイクによって感知される信号から記録され得る。いくつかの実施形態において、環境ノイズ信号eは、システムが温度Tおよび音響エコーパラメータwaを決定したのち計算される。理由は、他の変数および定数は既知であるかまたは既に計算済であり得るからである(回路板ノイズNは既知であり得るか、または環境ノイズ信号eと回路板ノイズNとの組み合わせが組み合わせて計算され得るかのいずれかである)。
音響エコーパラメータwaは、オーディオソース信号sを再生しているときイヤピースが位置する空間の音響特性を示し得る。たとえば、waパラメータは、イヤピースが配置されている物理的空間がどのようにオーディオ信号sに歪みを付与するのかを示し、概して、イヤピースそのものがどのようにオーディオ信号sに歪みを付与するのかとは無関係である。イヤピースが位置する空間のサイズ、形状、構成および材料がすべてwaパラメータに影響し得る。したがって、同じイヤピースが異なる空間中でソースオーディオ信号sを再生するとき、ソースオーディオ信号sは、それぞれの空間の具体的な特性に基づいて、いくぶん異なるふうに歪められ得る。音響エコーパラメータwaは、様々な他の値、たとえばオーディオソース信号s、音響オーディオ信号r、ならびに変形特性w0およびT・wΔが既知であるとき、導出され得る。
本明細書においてさらに詳細に説明するように、音響エコーパラメータwaは、様々な状況で、たとえば、イヤピースのための空間を形成するユーザの耳の構造に基づいてユーザに特有の音響シグネチャを生成するために、ユーザの身元を確認するために、イヤピースがユーザの耳の中に配置されているかどうかを検出するために、およびイヤピースまたはイヤピースが位置する空間の温度を決定するために、適用され得る。いくつかの実施形態において、音響エコーパラメータwaは、イヤピースが位置する空間のインパルス応答を集合的に示す複数の値(たとえば数十または数百の値)を含むことができる。したがって、インパルス応答関数は、イヤピースが位置する空間の音響特性に起因するオーディオ信号sの変形または歪みをモデル化することができる。
いくつかの実施形態において、オーディオ処理装置は、他の関連するパラメータが特定されたならば、値を求めて式1を解くことにより、温度Tおよび音響エコーパラメータwaの値を決定し得る。上記式1を使用してTおよびwaを決定するかまたは求めるための例示的プロセス600が図6のフローチャートに示されている。いくつかの実施形態において、プロセス600は、オーディオ信号を出力し、かつ感知するための電気音響変換器を有する従来のイヤピース(たとえばイヤバッドまたはイヤホン)を使用するオーディオ処理装置によって実行され得る。所与の空間に関してTおよびwaを導出するためには、イヤピースをその空間に配置し、その間、イヤピースを通してオーディオソース信号sを再生し(段階602)、イヤピース変換器によって生成される電気信号から音響信号rを記録する(段階604)。たとえば、ユーザは、イヤピースをユーザの耳の定位置に配置し、かつプロセス600の実行を開始させるオーディオ処理装置上の制御を選択することにより、ユーザの耳の片方に関して音響エコーパラメータwaの決定を促すこともできる。場合によっては、waの値は、一部には、空間中のイヤピースの位置および向きに依存し得、したがって、ユーザは、waパラメータの決定のためにイヤピースを空間中の所望の位置またはその近くに配置するように注意し得る。いくつかの実施形態において、空間はwaパラメータ値の複数セットと関連し得、各セットが、空間中のイヤピースの異なる位置に対応する。
段階606で、オーディオ処理装置は、イヤピース内部パラメータw0およびwΔを特定する。これらのパラメータは、オーディオ処理装置上で局所的に校正されてもよいし、オーディオ処理装置に記憶されてもよいし、オーディオ処理装置から離れたコンピューティングシステム(たとえば、インターネットベースのサーバシステム)から得られてもよい。オーディオ処理装置は、ユーザが装着するイヤピースに特異的に適用される内部パラメータの値を特定し得る。これらの値は、イヤピースの配置または空間中のイヤピースの位置に基づいて変化し得ない。
段階608で、オーディオ処理装置は、オーディオソース信号sの第一のセグメントおよび音響信号rの対応するセグメントを初期反復における処理のために選択する。音響信号rの選択されたセグメントは、選択されたrのセグメントが、オーディオ信号sの第一のセグメントがイヤピースの電気音響変換器によって再生され、空間中に出力された同じ期間に発生した音響信号を示すという点で、オーディオソース信号sの第一のセグメントに対応する。たとえば、システムがオーディオを1000Hzで再生し、記録しているならば、選択されたrおよびsセグメントは、0.001秒の時間間隔で再生される信号の電圧または0.001秒ごとに記録される信号の電圧を含み得る。
段階610で、オーディオ処理装置はソースを引いた音響信号rを決定する。ソースを引いた音響信号rは、記録された音響信号rの選択されたセグメントから、オーディオソース信号sおよびw0の選択されたセグメントの畳み込みを差し引くことによって計算することができる(すなわち、r=r−s*w0)。式1を分析することから明らかになるように、rは、記録に対するイヤピースのw0効果を除いた、記録された音の部分を表す。
段階612で、オーディオ処理装置は、温度依存性音響信号rΔを、オーディオソース信号sおよびwΔの選択されたセグメントの畳み込みとして決定する(すなわち、rΔ=s*wΔ)。同じく式1を分析することから明らかになるように、rΔは、記録に対するイヤピースのw0効果を除いた、記録された音の部分を表す。
次いで、段階614で、オーディオ処理装置は温度T(絶対温度Tまたはベースライン温度T0からのオフセットを表す温度)を決定することができる。この温度Tは、rとTおよびrΔの畳み込みとの間の差を最小化するTの値(すなわち、T=argminT(r−T*rΔ))を特定することによって決定することができる。いくつかの実施形態において、この式を最小化するTの値は、最小二乗推定技術を使用して決定することができる。特定されたTの値が、決定されたイヤピースの温度であることができる。式1を分析することから明らかになるように、このTの特定は、wa、eおよびNが付与し得る、記録される信号に対する効果を考慮しない。理由は、waは、最適であると仮定され得、eおよびNは、様々な係数値の初期決定中、Tの特定に対して無視し得る影響しか有し得ないからである。
Tの値を決定したならば(段階614)、次に段階616で、オーディオ処理装置は、音響信号音響エコーraの値を決定する。音響信号音響エコーは概して、イヤピースによって再生されたオーディオから生じる記録された音響信号rの成分であり、イヤピースの音響特性の結果としてオーディオソース信号sに付与される歪みである(たとえば、wa、eおよびNを考慮しない。音響信号音響エコーraは、記録された信号rを特定し、それから(1)オーディオソース信号sおよびw0の選択されたセグメントの畳み込み、および(2)T、オーディオソース信号sおよびwΔの選択されたセグメントの畳み込みを差し引くことによって計算することができる(すなわち、ra=r−s*w0−T*s*wΔ)。
実際には、Tの値、ひいてはraの値は急速に変化する傾向にある。イヤピースは、たとえば、ユーザの耳に詰められている時間がより長ほど、または歌の様々なセグメント中のソースオーディオ信号sの強さ増大に基づいて、またはユーザがソースオーディオ信号sを再生する音量を上げる結果として、暖まり得る。これらの急速に変化する値を考慮するために、プロセス600は、音響エコーパラメータwaの値を計算する前に、オーディオソース信号sおよび記録される音響信号rの複数の小さなセグメントそれぞれの新たなTおよびra値を決定し得る。たとえば、Tおよびraが、rおよびsの小さなセグメント(たとえば0.05〜2秒)に関して計算され、その後、より長い時間(たとえば2〜10秒)が経過したのち、waが、複数のセグメントから決定された値に基づいて計算され得る。これらの値は、段階622で平均化または他のやり方で組み合わされ得る。いくつかの実施形態において、waの値は0.2秒ごと(すなわち、0.2秒ごとのraの間隔のサイズ)に再計算されることができる。いくつかの実施形態において、waを計算するためのこれらの間隔は、さらに小さい、たとえば0.05または0.1秒ごとであることさえできる。各間隔で計算されたraの値は、連結により、すなわち、rを異なるセグメントへと分割し、セグメントごとに対応するTの値を見いだし、raを計算し、それらを連結することにより、組み合わせることができる。waを決定する(段階622)前に処理されるべきソース信号sおよび音響信号rのさらなるセグメントが残るならば、段階620で、オーディオ処理装置は、信号sおよびrの次のセグメントを選択し、さらなる反復のために段階610に戻る。プロセス600は、反復のしきい回数に達するまで、または別の条件が満たされるまで、これらの反復を継続し得る。
次いで、段階622で、オーディオ処理装置は音響エコーパラメータwaの値を決定する。いくつかの実施形態において、waの値は、式||s*wa−ra||を最小化する値として計算することができる。この式を最小化する値は、最小二乗推定法のような様々な技術を使用して決定し得る。式1を分析することから明らかになるように、音響エコーパラメータwaの決定は、eおよびNの値を考慮しなくてもよい。
Tおよびwaを計算したならば、eおよびNを計算し得る。システムは、イヤピースの温度を横ばい状態にするために、決められた期間(たとえば少なくとも5または10秒)だけ待ったのち、そのような計算を実行し得る。この時点で、式1の他すべての値は既知であり得、eとNとの組み合わせを計算し得る。システムがいずれかの信号の特性を決定することができるならば、eの値をNの値から分けることが可能であり得る(たとえば、もう1つのマイクを使用して、両方の記録に共通であるeの変化を記録する)。
再び図2Aを参照すると、本明細書に記載される様々な方法の動作を実行するように構成され得る例示的なオーディオ処理装置202のブロック図が示されている。装置202は、たとえば、ポータブルメディアプレーヤ、スマートホン、タブレットコンピューティング装置、ウェアラブルコンピューティング装置、ノートブックもしくはデスクトップコンピュータ、テレビまたは概してオーディオ信号を再生し、記録し、処理することができる他のタイプのコンピューティング装置であり得る。
装置202は、オーディオソース信号を再生するためのプレーヤ222と、マイク212によって感知された信号を記録するレコーダ224とを有するオーディオプロセッサ220を含む。一対のイヤピース206aおよび206b(それぞれの電気音響変換器208a、208bおよび任意で別々のマイク210a、210bを含む)を有するイヤセット204が、ポート226(たとえば標準3.5mmオーディオジャック)を介してオーディオ処理装置202に接続し得る。イヤセット204は、イヤピースに内蔵された専用マイクを有しない従来の市販品装置であってもよい。いくつかの実施形態において、イヤセット204は、たとえば内蔵マイク210a、210bを含む専用装置であってもよい。いくつかの実施形態において、オーディオ処理装置202は、装置によって実行される動作を協調させるコントローラ218;音響ベースのユーザの本人認証を実行する本人認証エンジン228;ユーザの音響エコーwaの値および音響シグネチャを生成する音響モデル化エンジン238;周囲音および周囲音中の事前に記録されたオーディオ信号の発生を特定するための外部ノイズ検出器236;ならびに外部ノイズ検出器236によって特定された事前に記録されたオーディオ信号に関する情報を使用してアクティブノイズキャンセルを実行するためのノイズキャンセルエンジン240を含む。装置はさらに、たとえば事前に記録された音を特定し、かつ事前に記憶された音響エコーwaのモデルを得るためにネットワーク216を介してサーバ214と通信する通信インタフェース242を含み得る。いくつかの実施形態において、オーディオ処理装置202は、これらのコンポーネントのすべてよりも少ないコンポーネントを有してもよいし、これらのコンポーネントの特定の組み合わせまたはサブセットのみを含んでもよい。実例として、イヤホンがBLUETOOTHまたは他の無線接続を介してオーディオ処理装置に接続される例においては、オーディオ処理の少なくともいくらかが、ヘッドホンにおける回路によって実行されてもよい(たとえば、コーデック、デジタル・アナログ出力変換および入力アナログ・デジタル変換がヘッドホンにおいて実行されてもよい)。外部マイク212もまた、永久的なハードワイヤ接続を介して(たとえば、解放可能な3.5mmオーディオジャックを通してではなく)オーディオ処理装置202に接続されるのではなく、永久的なハードワイヤ接続によってヘッドホン中のオーディオ処理回路に直に接続されてもよい。オーディオ処理装置202によって実行される動作の詳細は以下のセクションで説明される。
同時再生・記録の構成
システムは、1つの変換器を使用してオーディオの再生および記録の両方を実施することができる。実例として、市販品イヤセット中の変換器は、外耳道に向けて発される音を生成するように配置されてもよく、したがって、以下に記載される、本文献に記載される技術の所期の用途を考慮すると理解されるように、その変換器をマイクとしても使用することは、音を受けるために外耳道への向きを与えられるならば、有用であり得る。オーディオの再生および録音の両方へのイヤセット変換器の使用は、再生機能と記録機能とを交互に行うことによって、または再生および録音を同時に実施することによってのいずれかで達成されてもよい。前者においては、サウンドカード出力ポートおよびサウンドカード入力ポートの両方が変換器に接続され得、サウンドカードは、たとえば、オーディオを200mSの間、再生し、次いで10mSの間、記録することを繰り返すことにより、変換器への信号の出力と、変換器によって生成される信号の記録とを交互に実施し得る。
第二の選択肢に関しては、オーディオの再生および記録を同時に実施することが可能である。そうすることは、コンピューティングシステムが、再生されるオーディオと記録されるオーディオとの間の差異を分析することを可能にし、それは、コンピューティングシステムが、オーディオが再生された環境の特性(たとえば、環境の温度、環境からの音、および環境の音響反射特性、たとえば形状)を決定することを可能にするため、有用であることができる。しかし、オーディオの同時再生・記録を機能強化するためには、イヤピース変換器とサウンドカード(たとえばサウンドカードコーデック)との間の典型的な標準接続を変更することが役立つ。変更は、変換器とオーディオ回路出力または入力のいずれかとの間に抵抗器を挿入することを含むことができる。事実上、この挿入は、オーディオ回路の出力ポートと入力ポートとの間に抵抗器を挿入することと同じであり得る。この挿入された抵抗器が図2BにR追加として示されている。この抵抗器の追加によって提供される恩恵を論じる前に、本開示は、いくぶん簡略化された変換器動作の概要を手短に提供する。
次に図2Bを参照すると、この図面はコーデック250を左側に示し、これは、電気信号を変換器に出力する(たとえばV再生出力ポートを介して)ことができ、かつ変換器から受信された電気信号を入力/分析する(たとえばV記録入力ポートを介して)ことができる回路を表す。コーデックは、モバイル装置(たとえば電話機)中に位置してもよいし、ヘッドセット中に(たとえば、Bluetooth接続イヤホンの回路中に)位置してもよい。図面の右側には、変換器を含むイヤピース260がある。この例において、V再生ポートおよびV記録ポートはいずれも、スピーカ構成およびマイク構成の両方で使用される変換器に接続されている。これは、変換器がスピーカとして使用されるのか、マイクとして使用されるのかに依存してV記録ポートまたはV再生ポートの一方だけが変換器に接続されるであろう典型的な動作とは対照をなす。
変換器がスピーカとしてオーディオ回路のV再生ポートに接続されるとき、変換器は、V再生において出力される電圧にしたがって音波を生成するように働く。典型的なオーディオ変換器の構造および機能に関するいくらかの説明が、音がどのように生成され、記録されるか、および本明細書に記載される構成がどのようにオーディオの同時再生・記録を機能強化するかを説明するのに役立ち得る。典型的な変換器の主なコンポーネントの1つがコーンである。これは、前後に動いて音波を発生させる変換器の部分であり、スピーカを正面から見たとき見えるものである。これは、紙、紙複合材およびラミネートまたはプラスチック材料のような様々な可撓性材料でできていることができる。コーンが内部で動くスピーカの固定フレームがバスケットと呼ばれ、同じく紙、プラスチックまたはゴム材料であり得る、縁の周囲のガスケットによってコーンがバスケットに接続される。コーンの中心にはコイルがあり、コイルは典型的に、コーンの背面に接続され、スピーカーを正面から見たとき見えない。コイルはコーンに接続され、コイルが接続されるコーンの中心が空間中に吊され得るため(コーンはその外周だけで接続される)、コイルはコーンとともに前後に動くことができる。コイルを包囲するが、空気によってコイルから隔てられているものが、フレームに固定されている電磁石である。電磁石に電圧を印加すると、電場を誘導して、コイルを電磁石に引き寄せることができる。電磁石はコイルから移動し得るため、電場の誘導はコイルを前後に移動させ得る。そのようなものとして、電磁石への電圧の印加は、コイルに接続されているコーンの位置に影響する。それでもなお、コーンは、ガスケットおよびコーンの屈曲性によってそれに加えられる付勢力を有し得るため、所与の電圧はコーンの固定位置に必ずしも対応し得ない。実際に、電圧またはオーディオ信号は典型的に、変換器の移動を通して出力する様々な振動数を表すように振動し、変換器に印加される電圧の履歴がその配置に影響する。この例においては、電圧は、オーディオ回路によってV再生ポートを介して変換器に提供されるであろう。
しかし、変換器の位置は、V再生ポートにおいて提供される電圧によって完全に決まるわけではない。実際に、変換器がオーディオを再生している間にユーザがコーンを押す場合または衝撃波が変換器に衝突する場合を想像してみる。両状況において、コーンの位置は、外部からの影響がない場合に予想されるであろう位置を逸脱する。そのうえ、任意の外部影響によるコーンの動きは、電磁石にかかる電圧に影響する。実際に、発電機がコンポーネントを電磁石に対して動かしてその電磁石にかかる電圧信号を誘導することによって作動するのと同様に、変換器のコーンおよびコイルの動きが電磁石の端子間に電圧および電気信号を誘導することができる。事実、これが、図2Bに示す回路が記録装置として機能することもできる方法である―イヤピース/変換器がV記録ポートだけに接続されている(V再生ポートには接続されていない)場合。このような例において、変換器に衝突する圧力波(たとえば音)は電磁石によって電圧に変換され、その電圧がV記録ポートに供給されて、コーデックが、そのポートにおける変化する電圧値をサンプリングし、変換器によって記録された音を表すデジタルデータストリームを出力することを可能にするであろう。
そのようなものとして、V再生またはV記録ポートを少なくとも一度に1つずつ変換器に接続することが、どのようにして、その変換器を使用するオーディオの再生またはオーディオの記録を可能にすることができるのかを見ることができる。しかし、両方を同時に変換器に接続することは効果的とはいえない。理由は、その場合、V再生およびV記録がいっしょに短絡し、同じ電圧に駆動されるからである(たとえば、0.1、0.5または1オーム未満の抵抗値の導体との接続を介して)。V再生ポートとV記録ポートの間に接続された抵抗器(たとえば、少なくとも2、5、10、50または100オームの抵抗値を有する)を導入し、次いで変換器をV再生およびV記録ポートの一方に直に接続すること(たとえば、ここでもまた、上記抵抗値の導体を用いて)が、V再生およびV記録における電圧が異なることを可能にして、V記録が、変換器にかかる電圧がV再生における電圧とどのように異なるのかを感知することを可能にする。この例においては、抵抗器はV再生ポートと変換器との間に配置され、V記録ポートが変換器に直に接続されるものとして示されるが、代替的に、抵抗器をV記録ラインに加え、V再生を変換器に直に接続することもできる。
R追加抵抗器の追加は、V記録における電圧がV再生に存在する電圧と異なることを可能にする。V記録は変換器と大地との間に接続されるため、変換器と同じく、V記録はしたがって変換器の電圧を感知することができる。たとえば、V再生に5Vが存在すると仮定すると、変換器にかかる電圧は、R追加とR変換器との間での電圧分割のせいで、4Vであると予想されよう。外部音によって影響される変換器の動きのせいで変換器にかかる電圧が4Vとは異なる、たとえば4.1Vになるとしても、V記録はこの電圧を計測する。すると、コンピューティングシステムは、予想電圧4Vと、その瞬間に計測された電圧との間に0.1Vの偏差があったと判定することができる。この決定を規則的に実行しながら、コンピューティングシステムは、V再生信号とは異なる、記録される信号V記録の成分の、相対的に小さい、ただし時間とともに変動する信号を抽出することができる。
いくつかの例において、R追加を回路に挿入することは、変換器の性能に有意に影響することはないが、抵抗器がV再生ポートに配置されているか、V記録ポートに配置されているかに依存して、それぞれ変換器に提供される電圧またはV記録で記録される電圧の振幅を減らし得る。この減少は、変換器によって出力される音量または記録の量を同様に減らし得る。そのようなものとして、コンピューティングシステムは、コンピューティングシステムがオーディオを同時に再生・記録するよう指示されたとき、たとえば抵抗器を回路の中に切り替えるだけで、R追加抵抗器を回路の中および外に切り替えるように構成され得る。抵抗器が回路の外に切り替えられると、イヤピースポートは、上記のように、最小抵抗値の導体により、適切なV再生またはV記録ポートに直に接続され得る。同時に、コンピューティングシステムは、V記録をイヤピースに接続するスイッチを開き得るため、R追加が取り外されても、V再生およびV記録がいっしょに短絡することはない。
いくつかの例において、V記録ポートは、典型的に専用マイク(たとえば、ユーザの声を捕らえるための、ヘッドホンからコード上にぶら下がるマイク)のために指定されるポートであり得る。そのようなものとして、コンピュータシステムは、コンピューティングシステムが1つの変換器でオーディオを同時に再生・記録するよう指示されたとき、V記録ポートがV再生ポートと同じ変換器に接続されるように切り替えるように構成され得る。そのようなものとして、ヘッドホンがその典型的な動作にあり得るとき、コンピューティングシステムは、V記録ポートを開けたままにしてもよいし、異なるマイクに接続させてもよい。そのような例において、コンピューティングシステムは、専用マイクが利用可能であるとき、または望まれるときには、専用マイクを使用することができ、専用マイクが利用可能でないとき、またはオーディの再生および記録の両方に同じ変換器を使用することが望ましいときには、同じ変換器をスピーカまたはマイクとして使用することができる。
次に図2Cを参照すると、この図は、ADC(アナログ・デジタル変換器)およびDAC(デジタル・アナログ変換器)を左側に有し、ユーザのためのヘッドホンの表示を右側に有する回路図を示す。2つの間には抵抗器Rが接続されている。この回路図は、図2Cに示すものに類似し、DACがV再生に相当し、ADCがV記録に相当し、RがR追加に相当し、HがR変換器に相当する(コーデックのアース接続は図2Cには示されていない)。図2Bの回路図との主な違いは、ADCが、抵抗器Rのイヤピース側だけに接続するのではなく、抵抗器Rをはさんで接続された正および負の端子を含むということである。この構成は、正および負の端子を有する差動ADCを含むコーデックにおいて使用され得、ADCが抵抗器R上の電圧差を計測することができる差動回路を表し得る。いくつかの実施形態において、このような構成は、図2Bに示す構成に比較して、増大したダイナミックレンジを提供し得る。コーデックまたは別の計算装置による処理は、図2Bの回路図によって実行される処理に類似し得る。たとえば、抵抗器R上の電圧は、ヘッドホンイヤピースHの抵抗値を変化させる圧力波のせいで、DACによって提供される所与の出力の場合に予想される電圧とは異なり得る。コーデック(または別の計算装置)は、抵抗器Rをはさんで期待値と実測値とをADCによって比較することにより、ヘッドホンイヤピースに対するこのような圧力波の影響を決定することができる。
次に図2Dを参照すると、この図は、2つのADC、2つのDAC、および2つの抵抗器Rを有する回路図を示す。この回路図は、図2Cに関して提示されたものに類似するが、1チャネル例ではなく、2チャネル実施形態(左右チャネル)を示す。簡潔にいうと、各チャネルは、それぞれのチャネルにオーディオ信号を出力するそれ自体のDACと、そのDACと、ユーザイヤピースに至るオーディオジャック(または、オーディオジャックを含まない無線実施形態においては、対応する変換器に至るワイヤ)への対応する入力端子との間のそれ自体の抵抗器Rと、抵抗器Rをはさんでの差を計測するためのそれ自体のADCとを有する。また、この例においては、たとえばオーディオジャックとイヤピースとの間のコードにインラインに位置し得るマイクのためのマイク入力のためのADCがある。この特定のオーディオコーデックは、抵抗器RRおよびRLにかかる電圧を計測するために使用可能である余分のADC入力を有してもよい。ADC正および負入力は、図2Cにおけるものに比較して逆であるが、正および負ACD入力を異なる回路構成で用いて差動回路を構成し得る。
音響ベースのユーザの本人認証
いくつかの実施形態においては、イヤピースの1つまたは複数の電気音響変換器を通して再生され、記録されるオーディオ信号を使用して、ユーザの身元を確認することができる本人認証機能を実装し得る。本人認証は、2つの主要段階:(i)登録、および(ii)確認に大きく分けることができる。これらの段階が図3のフローチャートに示されている。登録段階(302)中、ユーザは、オーディオ処理装置と対話して、ユーザのアカウントに登録される1つまたは複数の音響シグネチャを生成する。音響シグネチャとは、たとえば、異なる音響特性を提供するユーザの外耳道の特有の形状から生じる、ユーザと関連する特有の指紋のようなものである。確認段階(304)中、オーディオ処理装置は、ユーザの耳における音響信号の特徴が、ユーザと関連する音響シグネチャ(たとえば、ユーザのアカウントに登録されたもの)と一致するかどうかを判定し、かつユーザーの身元を確認する一致が判定されたかどうかに基づいて異なる動作を発動させる。
たとえば、ユーザが銀行ウェブサイトのログインページに到達すると、ユーザが認証情報をページに打ち込む代わりに、ユーザのコンピューティング装置が、本明細書に記載される音響による本人認証処置を自動的に実行してユーザの身元を確認し得る。ユーザが本人認証されるならば、ユーザは、ユーザと関連する銀行アカウントのポータルサイトにログインすることを許可され得る。
しかし、音響ベースの本人認証は、個別の本人認証例(たとえば、制限されたサイトへのユーザアクセスを許可するかどうかを決定するためのユーザの身元のワンタイム確認)に限定されない。いくつかの実施形態において、本明細書に記載される音響技術は、経時的に、たとえば制限されたアクティビティの過程中に、ユーザを連続的かつ繰り返し本人認証するために使用されることができる。たとえば、ユーザが自らの銀行アカウントのポータルサイトにログインしている間、ユーザは、一対のイヤピースをユーザの耳に配置するヘッドセットを装着し得る。ユーザが銀行サイトと対話するとき、装置は、装置上で銀行サイトが開いている間、たとえば図5のプロセス500にしたがってそのヘッドセットを通して音を再生し、記録して、ユーザの状態をモニタし、認可ユーザが存在することを連続的に確認し得る。ユーザがヘッドセットを取り外すならば、本人認証手順は、認可ユーザがもはやそこにいないと判定し、自動的に装置をサイトからログアウトさせることができ、それにより、無認可ユーザが認可ユーザのアカウントを乗っ取ることができないことを保証する。いくつかの実施形態において、本人認証が失敗するならば、サイトは、ユーザに対し、自らの身元を明らかにするよう促し得る、または、ただちに、もしくは所定の遅延ののち、ユーザをサイトから自動的にログアウトさせ得る。
図4は、ユーザの音響シグネチャを生成し、登録することを含む、ユーザをオーディオ処理装置に登録する例示的プロセス400を示す。
段階402で、オーディオ処理装置は、登録を開始するための入力を受ける。いくつかの実施形態において、装置は、ユーザに登録を促し、ユーザに求められる動作のステップごとの指示、たとえばイヤバッドを耳に挿入する、イヤバッドの位置を調節する、音が聞こえることを確認する、などの指示を提供するユーザインタフェースを提示し得る。
段階404で、オーディオ処理装置がイヤピースを通してソースオーディオ信号sを再生する。オーディオ処理装置は、たとえば、イヤピース中の電気音響変換器の振動板を駆動して、イヤピースをしてオーディオ信号sのための音波を発生させ得る。様々なタイプのオーディオコンテンツがソースオーディオ信号sによって表現され得る。いくつかの実施形態において、ソースオーディオ信号sは、聞き覚えのある歌、ポッドキャストまたはユーザが所与の時点で聴くことを選択した他のオーディオトラックであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されたならばユーザに聞こえるであろうホワイトノイズであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されるとしてオーディオソース信号sもユーザには聞こえないように、人の正常聴力範囲の外(たとえば20キロヘルツ超)であってもよい。不可聴ソース信号sは、たとえば、不要な音でユーザを乱すことなくイヤピース検出手順の実行を可能にするために、またはユーザが無音または最小限のノイズを好み得る他の環境において、有益であり得る。いくつかの実施形態において、不可聴ソース信号sは、ユーザによって検出されることなく、ユーザが装置上で再生することをすでに選択した可聴信号(たとえば音楽または他のオーディオコンテンツ)に付加されることができる。いくつかの実施形態において、オーディオ処理装置は、物理的または仮想的インタフェースを提供し得(たとえば、オーディオ処理装置の電子ディスプレイ上に提示されたグラフィカルユーザインタフェースを通して)、これが、ユーザが、耳内検出のために再生されるオーディオ信号sのタイプ(たとえばホワイトノイズ、不可聴または事前に記録された可聴音信号)を選択することを可能にする。オーディオ信号は、相対的に短い時間、たとえば0.05〜3秒間または連続的に再生され得る。
段階406で、オーディオ処理装置は、オーディオソース信号sが再生される間にイヤピースが位置するユーザの耳で発生する音の音響オーディオ信号rを記録する。いくつかの実施形態において、音響信号rは、オーディオソース信号sを出力する同じイヤピース変換器によって感知された情報に基づいてオーディオ処理装置によって記録されることができる。オーディオ処理装置は、オーディオソース信号sを再生すると同時に音響オーディオ信号rを記録し得る(たとえば、変換器を駆動するのと同じ瞬間に変換器の電圧を計算することにより、または、再生および記録を、再生が記録によって中断されていることをユーザが知覚しないよう、時分割二重スキームにおいて高頻度で交互に、たとえばそれぞれを1ms、0.1msまたは0.01ms以下の長さで交互に実行することにより)。いくつかの実施形態において、オーディオソース信号sおよび音響オーディオ信号rは、段階を交代させることなく、実際に同時並行で再生・記録されてもよい。いくつかの実施形態において、イヤピースは、第一の変換器とは別個の第二の変換器を含んでもよく、その場合、第二の変換器は専用マイクとして働き、第一の変換器は専用スピーカとして働く。
段階408で、オーディオ処理装置は、装置がオーディオソース信号sを再生し、音響信号rを記録する期間中、イヤピースの現在位置と関連する音響エコーwa(たとえば、イヤピースの音響エコーのインパルス応答)の値を決定する。この段階(408)で決定された音響エコーwaは、イヤピースが現在位置する空間の特性を示す。次いで、決定された音響エコーwaの値に基づいて音響シグネチャが生成される。いくつかの実施形態においては、音響エコーwaの値そのものが音響シグネチャを形成する。いくつかの実施形態においては、音響エコーの値をさらに処理、フィルタリング、および/または暗号化して、ユーザの音響シグネチャを生成してもよい。
いくつかの実施形態において、オーディオ処理装置は、登録段階中、ユーザの複数の(たとえば5〜10の)音響シグネチャのセットを生成し得る。音響シグネチャのそれぞれのコンテキストを特定する異なる属性が音響シグネチャの異なるそれぞれに割り当てられ得る。たとえば、属性は、登録中にユーザが提供する、イヤピースに対応する音響シグネチャについての、特定のイヤピースタイプ、型、またはモデルを示し得る。属性はさらに、イヤピースの側(たとえば、ユーザの左耳用か右耳用か)および耳におけるイヤピースの位置を示し得る。オーディオ処理装置は、可能なシグネチャの集合を決定し、ユーザと関連させることができるよう(それらのいずれかが、確認段階中、ユーザがのちにイヤバッドを自らの耳の中に配置する位置に依存して有効になり得る)、たとえば、ユーザに対し、イヤバッドを耳の中で異なる位置へと回転するよう促し得る。段階412で、音響シグネチャはユーザのアカウントとともに記憶される。
段階414で、オーディオ処理装置は、さらなる耳内位置におけるシグネチャをユーザに要求するかどうかを決定する。たとえば、オーディオ処理装置は、ユーザが登録を完了するために既定数nの音響シグネチャが生成され、登録されることを要求し得、プロセス400は、有効なシグネチャの数nに達するまで継続し得る。さらなる音響シグネチャが要求されるならば、プロセス400は段階418に進み、装置は、ユーザに対し、イヤピースを新たな位置に調節するよう促す。次いで、プロセス400は、段階404から繰り返して、変更されたイヤピースの位置のためのユーザの音響シグネチャを生成する。十分なセットの音響シグネチャが生成されたならば、登録は完了する(段階416)。
図5に目を転じると、ユーザの身元を確認する(すなわち、ユーザを本人認証する)ための例示的プロセス500のフローチャートが示されている。プロセス500は概して、ユーザが装置で登録し、音響ベースの本人認証サービスをアクティブ化したのち、実行される。
段階502で、オーディオ処理装置は、本人認証手順を開始するための命令を受ける。命令は、装置へのユーザ入力の形態であってもよいし、装置上のオペレーティングシステムまたはアプリケーション、たとえば音響ベースの本人認証サービスと関連するAPIを呼び出すアプリケーションからの命令であってもよい。
段階504で、オーディオ処理装置はイヤピースを通してソースオーディオ信号sを再生する。オーディオ処理装置は、たとえば、イヤピース中の電気音響変換器の振動板を駆動して、イヤピースをしてオーディオ信号sのための音波を発生させ得る。様々なタイプのオーディオコンテンツがソースオーディオ信号sによって表現され得る。いくつかの実施形態において、ソースオーディオ信号sは、聞き覚えのある歌、ポッドキャストまたはユーザが所与の時点で聴くことを選択した他のオーディオトラックであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されたならばユーザに聞こえるであろうホワイトノイズであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されるとしてもオーディオソース信号sがユーザには聞こえないように、人の正常聴力範囲の外(たとえば20キロヘルツ超)であってもよい。不可聴ソース信号sは、たとえば、不要な音でユーザを乱すことなくイヤピース検出手順の実行を可能にするために、またはユーザが無音または最小限のノイズを好み得る他の環境において、有益であり得る。いくつかの実施形態において、オーディオ処理装置は、物理的または仮想的インタフェースを提供し得(たとえば、オーディオ処理装置の電子ディスプレイ上に提示されたグラフィカルユーザインタフェースを通して)、これが、ユーザが、耳内検出のために再生されるオーディオ信号sのタイプ(たとえばホワイトノイズ、不可聴または事前に記録された可聴音信号)を選択することを可能にする。オーディオ信号は、相対的に短い時間、たとえば0.05〜3秒間または連続的に再生され得る。
段階506で、オーディオ処理装置は、オーディオソース信号sが再生される間にイヤピースが位置するユーザの耳で発生する音響オーディオ信号rを記録する。いくつかの実施形態において、音響信号rは、オーディオソース信号sを出力する同じイヤピース変換器によって感知された情報に基づいてオーディオ処理装置によって記録されることができる。オーディオ処理装置は、上記のように、オーディオソース信号sを再生すると同時に音響オーディオ信号rを記録し得る(たとえば、オーディオソース信号sおよび音響オーディオ信号rは、段階を交代させることなく、同時並行で再生・記録される)。いくつかの実施形態において、イヤピースは、第一の変換器とは別個の第二の変換器を含んでもよく、その場合、第二の変換器は専用マイクとして働き、第一の変換器は専用スピーカとして働く。
段階508で、オーディオ処理装置は、装置がオーディオソース信号sを再生し、音響信号rを記録する期間中、イヤピースの現在位置と関連する音響エコーwa(たとえば、イヤピースの音響エコーのインパルス応答)の値を決定する。この段階(508)で決定された音響エコーwaは、イヤピースが現在位置する空間の特性を示す。
段階510で、オーディオ処理装置は、段階508で決定された音響エコーwaの値を、ユーザと関連する記憶された音響シグネチャと比較する。一致が特定される場合(段階512)、指定されたアクティビティ、たとえば制限されたアカウントへのログインまたはスマートホンのロック解除を実行することを許可し得る(段階514)。一致が特定されない場合、指定されたアクティビティが拒否されるか、または異なる動作がオーディオ処理装置によって実施され得る(段階514)。
いくつかの実施形態において、装置は、装置を使用する複数の異なる人々の音響シグネチャを記憶し得る。その場合、本人認証プロセス500は、装置に登録された音響シグネチャを有する複数の異なるユーザの中から特定のユーザを特定するために実行されることができる。たとえば、タブレットコンピューティング装置は、複数の家族メンバーからなる一家の異なる家族メンバーの間で共用される場合がある。装置は、ユーザがイヤホンを配置する(たとえば音楽、ポッドキャスト、ビデオサウンドトラックを聴くために)音響本人認証手順に基づいて、だれが装置と対話しているのかを決定し得、そのユーザのwa値を特定し、そのwa値を、一家の異なる家族メンバーと関連する音響シグネチャに対して比較する。比較は、だれの音響シグネチャが導出されたwa値ともっとも近く一致するかに基づいて、家族メンバーのうちのだれが現在その装置を使用しているのかを明らかにし得る。いくつかの実施形態においては、音響特定に基づいてコンテンツが特定のユーザに向けられてもよい。たとえば、ビデオストリーミングアプリケーションは、装置上の複数の人と関連するアカウントまたはプロフィールを有し得る。ビデオストリーミングアプリケーションは、音響ベースの確認を使用して、だれのアカウントまたはプロフィールが開いているのかを自動的に決定し得る。いくつかの実施形態においては、装置上の所与のユーザの特定に基づいて、コンテンツの提案または推奨がユーザに提供されてもよい。たとえば、装置は、異なるユーザによって再生された音楽またはビデオの記録を維持し得、その記録を、それぞれのユーザアカウントまたはユーザのそれぞれの音響シグネチャと関連付け得る。人物が確認されると、装置は、その人物によって以前に再生されたメディアの記録にアクセスし、その人物に再生または提案すべきさらなるコンテンツを決定し得る。いくつかの実施形態において、音響ベースの本人認証の確認段階は、ユーザには見えないように実行されることができる。たとえば、ユーザがヘッドセットを通してメディアファイルを聴くとき、装置は、ユーザ確認プロセスを連続的に、または特定の時点で実行して、メディアファイルを聴いているユーザを特定して、そのユーザのコンテンツの好みに関する情報を収集したり、ユーザへの個人化されたコンテンツ選択および推奨を作成したり、他のやり方で装置上の経験をユーザの個人的好みに適合させたりし得る。
ユーザの耳におけるイヤピースの検出
いくつかの実施形態において、オーディオ処理装置は、イヤピースがユーザの耳に位置するのか、またはユーザの耳から離れたところに位置するのかを検出するように動作可能であり得る。耳の中に詰められるように構成されているイヤバッドの場合、オーディオ処理装置は、イヤバッドがユーザの耳に挿入されたとき、またはイヤバッドがユーザの耳から取り出されたときを決定し得る。イヤホン(たとえば、ヘッドホン装置からの)の場合、オーディオ処理装置は、イヤホンがユーザの耳の上に配置されたとき、またはユーザの耳から外されたときを決定し得る。以下の段落に記載するように、ユーザの耳におけるイヤピースの存在もしくは非存在の検出またはユーザの耳に対するイヤピースの位置の変化の検出が、指定された動作が、オーディオ処理装置またはオーディオ処理装置と連絡する別のコンピューティング装置もしくはシステムによって実行されるように発動し得る。たとえば、ユーザが自らのオーディオ処理装置を通して音楽または別のオーディオソース信号sを聴いているとき、ユーザが自らの注意を別のアクティビティに向けるためにイヤピースを自分の耳から意図的に取り外すならば、オーディオ処理装置は、イヤピースが耳から取り外されたことを検出し、自動的に、装置上のメディアプレーヤアプリケーションをして音楽を一時停止させ得る。その後、ユーザが再び音楽を聴き始めるとき、ユーザは、イヤピースを耳に配置するだけで、装置をして自動的に、ミュージックトラック中の、トラックが先に一時停止した同じ位置から音楽の再生を再開させ得る。
図7を参照すると、示されているフローチャートは、ユーザの耳に対するイヤピースの現在位置を決定するための、特に、イヤピースがユーザの耳に位置するのか、ユーザの耳から離れたところに位置するのかを決定する例示的プロセス700を示す。このプロセスは、単にイヤピースの近くの任意の物体の存在を決定することとは対照的に、イヤピースがユーザの耳の中に位置するかどうかを具体的に判定することができる。いくつかの実施形態において、プロセス700は、本明細書に記載される装置およびシステム、たとえばオーディオ処理装置202(図2A)によって実行され得る。
段階702で、オーディオ処理装置はイヤピースを通してソースオーディオ信号sを再生する。オーディオ処理装置は、たとえば、イヤピース中の電気音響変換器の振動板を駆動して、イヤピースをしてオーディオ信号sのための音波を発生させ得る。様々なタイプのオーディオコンテンツがソースオーディオ信号sによって表現され得る。いくつかの実施形態において、ソースオーディオ信号sは、聞き覚えのある歌、ポッドキャストまたはユーザが所与の時点で聴くことを選択した他のオーディオトラックであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されたならばユーザに聞こえるであろうホワイトノイズであり得る。いくつかの実施形態において、ソースオーディオ信号sは、イヤピースがユーザの耳に配置されるとしてもオーディオソース信号sがユーザには聞こえないように、人の正常聴力範囲の外(たとえば20キロヘルツ超)であってもよい。不可聴ソース信号sは、たとえば、不要な音でユーザを乱すことなくイヤピース検出手順の実行を可能にするために、またはユーザが無音または最小限のノイズを好み得る他の環境において、有益であり得る。いくつかの実施形態において、オーディオ処理装置は、物理的または仮想的インタフェースを提供し得(たとえば、オーディオ処理装置の電子ディスプレイ上に提示されたグラフィカルユーザインタフェースを通して)、これが、ユーザが、耳内検出のために再生されるオーディオ信号sのタイプ(たとえばホワイトノイズ、不可聴または事前に記録された可聴音信号)を選択することを可能にする。オーディオ信号は、相対的に短い時間、たとえば0.05〜3秒間または連続的に再生され得る。
段階704で、オーディオ処理装置は、オーディオソース信号sが再生される間にイヤピースが位置する空間中に生じる音の音響オーディオ信号rを記録する。いくつかの実施形態において、音響信号rは、オーディオソース信号sを出力する同じイヤピース変換器によって感知された情報に基づいてオーディオ処理装置によって記録されることができる。オーディオ処理装置は、オーディオソース信号sを再生すると同時に音響オーディオ信号rを記録してもよいし、再生および記録をたとえば時分割二重スキームで交互に実行してもよい。いくつかの実施形態において、イヤピースは、第一の変換器とは別個の第二の変換器を含んでもよく、その場合、第二の変換器は専用マイクとして働き、第一の変換器は専用スピーカとして働く。
段階706で、オーディオ処理装置は、装置がオーディオソース信号sを再生し、音響信号rを記録する期間中、イヤピースの現在位置と関連する音響エコーwaの値を決定する。この段階(706)で決定された音響エコーwaは、イヤピースが現在位置する空間の特性を示す。イヤピースが現在、ユーザの耳に位置するのか、ユーザの耳から離れたところに位置するのかに依存して、waの値は有意に異なり得、それにより、wa値からイヤピースの位置の決定を可能にする。いくつかの実施形態において、オーディオ処理装置は、前記のように、図6に記載されたプロセス600にしたがってwaの値を決定する。
段階708で、オーディオ処理装置は、以前にユーザの耳に位置すると判定されたイヤピースと関連する事前に記憶された音響エコーの値wa-記憶にアクセスする。したがって、wa-記憶の値は、イヤピースがユーザの耳に位置するならば期待されるであろう値を表す。wa-記憶の値は、イヤピースが、(i)装置が段階706でwaを決定した同じユーザの耳、(ii)他のユーザ(たとえば、耳内検出サービスの提供者と関連するユーザまたはテスタ)の耳、または(iii)段階706の同じユーザおよび他のユーザ両方の耳に、位置すると判定された以前の例からの音響エコーの分析に基づいて決定され得る。いくつかの実施形態において、wa-記憶の値は、サーバシステムからオーディオ処理装置にプッシュされる更新値に基づいて、またはイヤピースの位置の以前の判定が正確であったかどうかを示す、オーディオ処理装置のユーザからのフィードバックに基づいて、自動的に更新され得る。
いくつかの実施形態において、オーディオ処理装置は、ユーザが装着する特定のイヤピースに基づいて、またはイヤピースの予測位置に基づいて、異なるwa-記憶値にアクセスし得る。音響エコーパラメータwaの値は、イヤピースが位置する空間の音響特性に影響する、イヤピース設計の間の差およびユーザの耳におけるイヤピースの位置の差に敏感であり得るため、オーディオ処理装置は、プロセス700の過程中にユーザのイヤピースの状態にもっとも近く一致する事前に記憶されたwa-記憶値を特定し得る。たとえば、装置は、装置に接続されたイヤセットがIPHONEイヤバッドであると認識し得、かつこれらのタイプのイヤバッドと適切に関連するwa-記憶の値を選択し得る。いくつかの実施形態において、装置は、ユーザが過去にイヤピースを自らの耳に配置した頻度に関する情報を記憶し得、まず、ユーザがもっとも頻繁にイヤピースを自らの耳に配置する1つまたは複数の位置に対応する事前に記憶されたwa-記憶値にアクセスし得る。wa-記憶の値は、単に非耳物体の近く、または非耳物体の内側に配置されたイヤピースから決定された音響エコーとは異なり得る。換言するならば、wa-記憶の値は1人または複数のユーザの耳に特有であり得る。いくつかの実施形態において、wa-記憶の値は、任意の物体(耳物体であろうとなかろうと)の近くに配置されたイヤピースから決定された音響エコーを反映し得、オーディオ処理装置は、イヤピースが任意の物体の近くにあるかどうかを判定することができるようになる。
段階710で、オーディオ処理装置は、waの値(段階706で導出された)をwa-記憶の値(段階708で導出された)と比較する。いくつかの実施形態において、装置は、waの値がwa-記憶の値にどれほど近く一致するかを示す類似度スコアを決定する。概して、値の間の一致がより近いと、イヤピースの現在位置がユーザの耳である可能性がより高いことを示す。段階712で、オーディオ処理装置は、類似度スコアをしきい値スコアに対して評価し得る。類似度スコアがしきい値を満たす(たとえば、しきい値スコア以上である)ならば、プロセス700は段階714に進み、装置は、イヤピースがユーザの耳の中にあるという表示を出力する。類似度スコアがしきい値を満たさないならば、プロセス700は段階718に進み、装置は、イヤピースがユーザの耳の中に位置しないという表示を出力する。いくつかの実施形態において、オーディオ処理装置は、1つまたは複数のwaの値を、記憶されたwa-記憶の値または所定の関数、しきい値、パラメータまたは許容差に比較して、イヤピースが任意の物体(必ずしも耳ではない)の近くにあるかどうかを判定する。イヤピースが物体の近くにある、または物体の近くにないという判定に応答して、オーディオ処理装置は、イヤピースが物体の近くにある、または物体の近くにないという表示を出力して、対応する動作を発動させ得る。
いくつかの実施形態においては、イヤピースがユーザの耳の中に位置すると判定されるかどうかに基づいて、オーディオ処理装置または別の装置上で様々な動作が実行され得る。たとえば、イヤピースがユーザの耳に位置するという特定に基づいて第一の動作が実行れ得(段階716);あるいはまた、イヤピースがユーザの耳から離れたところに位置するという特定に基づいて第二の動作が実行され得る(段階720)。いくつかの実施形態において、オーディオ処理装置はイヤピースの位置を連続的にモニタし得、イヤピースがユーザの耳へと動かされたという特定またはイヤピースがユーザの耳から離されたという特定に基づいて動作が発動され得る。
ユーザの耳に対するイヤピースの位置決定に応答してオーディオ処理装置または別のコンピューティング装置上で実行され得る様々なタイプの動作は、メディアファイルを再生する動作、メディアファイルを一時停止する動作、メディアファイルを停止する動作、一時停止されたメディアファイルの再生を再開する動作、電子ディスプレイをアクティブにする動作、電子ディスプレイのバックライトの明るさ設定を調節する動作、装置をロックモードに入れる動作、装置をロックモードから外す動作、電話での通話を開始する動作、電話での通話を終了する動作、アプリケーションを起動する動作、またはアプリケーションを終了する動作を含む。たとえば、ユーザのイヤピースがユーザの耳から落ちるならば、メディアプレーヤは歌を一時停止し得;ユーザのイヤピースがもはやユーザの耳において検出されないならば、電話アプリケーションは、通話を終了し、スピーカホンまたは装置の他の内部スピーカに切り替え、または通話上の当事者に警告を発し得;または、イヤピースがユーザの耳における位置に動かされたという判定に応答して、メディアアプリケーションは歌または他のメディアファイルの再生を開始し得る。いくつかの実施形態において、たとえば、装置は、ユーザがイヤピースを自らの耳に入れ戻したことを検出すると、イヤピースが取り外される前に存在したモードに復帰し得る、たとえば、電話での通話中にスピーカホンからイヤピース使用に戻し得る。
事前に記録された音を使用するアクティブノイズコントロール
いくつかの実施形態において、オーディオ処理装置は、事前に記録された音を使用するアクティブノイズキャンセルを実行し得る。概して、これらの技術は、装置が、事前に記録されたオーディオ信号の記憶されたインスタンスにアクセスし、その事前に記録されたオーディオ信号の記憶されたインスタンスを使用して、ユーザの環境中、その同じ事前に記録されたオーディオ信号の別のインスタンスの再生によって生じる干渉またはノイズをキャンセルすることを可能にする。たとえば、ユーザは、ジムでのワークアウト中にイヤホンを装着して、個人的なプレイリスト中の歌を聴く場合がある。しかし、ジムは、スピーカを通して音楽を流す(または大音量で流す)場合があり、ジムのスピーカからの音楽の存在が、ユーザが自らの好みのオーディオコンテンツを聴くことを困難にする場合がある。したがって、ユーザのオーディオ装置と関連するマイク(たとえば、再生されるオーディオ信号を出力する変換器と同じ電気音響変換器であるマイク、ユーザのヘッドセット上の別個のマイク、オーディオ装置の外にあり、ユーザのヘッドセットから切り離されているマイク、ユーザのヘッドセットに内蔵されているマイクまたはこれらのマイクの2つ以上)が、ジムのスピーカを通して流される音楽を含むユーザの周囲の環境ノイズを特定するオーディオ信号を記録し得る。装置は、その記録されたオーディオ信号を処理して、ジムのスピーカを通して流される特定の音楽(たとえばレディー・ガガの歌、ローリング・ストーンズの歌またはプリンスの歌)を特定し得、次いで、同じ音楽のコピーにアクセスし、そのコピーを使用して、ユーザの環境中でスピーカを通して流されている歌から生じるノイズをどのようにしてキャンセルするかをリアルタイムで予測し得る。
アクティブノイズキャンセルのために事前に記録された音を使用する1つの顕著な利点は、変更され、ノイズキャンセルされたオーディオ信号を生成する際の待ち時間を、他のアクティブノイズキャンセル手法と比べ、実質的に減らすことができることである。理由は、事前に記録されたオーディオ信号の記憶されたインスタンスが、オーディオ処理装置が環境音をそれが生じる前にさえ予測するために使用することができるマップとして効果的に働くことができるからである。
事前に記録された音を用いる例示的なノイズキャンセルのための例示的プロセス800が図8のフローチャートに示されている。段階802で、オーディオ処理装置は、ユーザの耳に位置するイヤピース変換器を通してソースオーディオ信号sを再生する。たとえば、ユーザは、ポッドキャストを聴いているが、騒がしい環境、たとえばレストラン、コーヒーショップ、または公共交通機関にいる場合がある。段階804で、装置は、装置に接続されたマイクによって感知されたオーディオ信号を捕らえる(たとえば、マイクが、ソースオーディオ信号sを再生した同じ変換器であることもできる場合)。記録されたオーディオ信号は環境ノイズ(すなわち、ユーザの周囲の外部または周囲ノイズ)を含む。段階806で、装置は、捕らえられた環境ノイズ中に発生する事前に記録されたオーディオ信号pを特定する。例として、事前に記録されたオーディオ信号は、店またはレストランの中でバックグラウンドノイズとしてラジオで流される特定の歌であり得る。装置は、事前に記録されたオーディオ信号のデータベースにアクセスし、マイクから記録されたオーディオ信号pのサンプルを、データベースに記憶されているオーディオ信号の部分と比較することにより、その特定の歌を特定し得る。段階808で、装置は、事前に記録されたオーディオ信号p'の記憶されたインスタンスにアクセスする。次いで、装置は、事前に記録されたオーディオ信号p'の記憶されたインスタンスを、外部ノイズ中に発生するオーディオ信号pと同期化する(この同期化は、歌がバックグラウンドで流され続けるときリアルタイムで起こることができる)。段階512で、装置は、事前に記録されたオーディオ信号p'を使用して、事前に記録されたオーディオ信号pをオーディオソース信号sからキャンセルする。たとえば、事前に記録されたオーディオ信号p'(または、事前に記録されたオーディオ信号p'から導出された処理された信号)を、それがバックグラウンドオーディオ信号pと同期化されるやり方で差し引いて、事前に記録されたオーディオ信号p'が、バックグラウンドオーディオ信号pによってオーディオ信号sに付与された歪みをキャンセルするようにし得る。アクティブノイズキャンセルを実行するためのさらなる技術が、全体として参照により本明細書に組み入れられるWIPO Publication WO2014/178054に記載されている。
いくつかの実施形態において、事前に記録されたオーディオ信号を用いるアクティブノイズキャンセルは、ノイズを再生し、捕らえるための、イヤピース中の一般的な変換器を使用して、以下のように実行されることができる。事前に記録されたオーディオ信号はpと表される。マイク(たとえばイヤピース中の一般的な変換器)から記録される信号はaと表される。このシナリオで使用される別のパラメータがwルーム、すなわち、pとaの関係を記述するルームインパルス応答である。特に、aはwルームとpとの畳み込みである。注:この例は「ルーム(部屋)」および「ルームインパルス応答(部屋でのインパルス応答)」を参照して、多くの場合、スピーカがオーディオコンテンツを出力する少なくとも部分的に閉じられた環境であるユーザの環境を指す。
wルームパラメータの値は、ユーザが部屋の中を動き回るとき変化し得、ユーザが位置する部屋そのものの特性に依存して変化することができる。概して、wルームは、ユーザが位置する所与の部屋の構造、部屋の中のユーザの位置、部屋の中のスピーカの位置およびユーザ(すなわちユーザのマイク)とスピーカとの相対位置に敏感である。ユーザの位置および部屋の中の条件が変化しないならば、wルームの値は概して不変的なままであり得るが、他方、ユーザの位置または部屋の他の条件が変化するならば、wルームの値は相応に変化し得る。概して、非常に小さな時間間隔(たとえば0.01秒、0.1秒)の場合、wルームは1つの間隔から次の間隔までで有意には変化しない。
ユーザがソースオーディオ信号sを聴き、1つまたは複数のマイク(たとえば、ユーザの耳に詰められたイヤピースの電気音響変換器)がオーディオ信号aを感知するとき、ユーザのオーディオ処理装置はwルームを連続的かつ繰り返し再校正し得る。装置がwルームを決定し、装置が環境ノイズから事前に記録されたオーディオ信号pを特定したならば、装置は、次の時間間隔(たとえばwルームが直前の時間間隔から相対的に一定のままである0.1秒)のpとw_roomとの畳み込みとしてaを予測することができる。いくつかの実施形態において、オーディオ処理装置は、待ち時間を減らすために、さらにより高い頻度で、たとえば0.1〜3ミリ秒ごとにwルームを再計算し、ノイズキャンセルの間隔を予測してもよい。装置がaを決定したならば、装置は、バックグラウンドノイズをキャンセルするために、信号を「逆にする」、たとえばヘッドホンから再生されるとき−aを出力する信号sを見いだすためのアルゴリズムを実行することができる。
温度計測
本文献に記載される技術を使用して、装置は、変換器、たとえば、オーディオを再生するためのイヤピース中に位置する変換器を使用して温度を計測し得る。計測される温度はイヤピースの温度であり得るが、本明細書に記載される様々な機構を使用して、ユーザの耳の温度またはイヤピースが位置する環境の温度を推測し得る。専用の温度計ではなくイヤピースを使用して温度計測を実行することには様々な利点がある。主な利点は、いくつかの実施形態において、イヤピースの変更が求められることなく、すでに市販されているイヤピースを温度感知装置に転換し得ることである。そのようなものとして、専用温度センサを加えることなく、イヤピースが接続され得る電話機および他の装置を、ユーザまたは環境の温度を感知するようにプログラムすることができる。そのうえ、温度専用のセンサ(たとえばサーミスタ)を含むようにイヤピースまたはモバイル装置を設計したとしても、ユーザ、電話機またはイヤピースによって生成される熱が温度専用センサの温度に影響し得るため、本明細書に記載される技術は貴重である。
モバイル装置がイヤピースによって温度を計測することを可能にすることは、多くの有益な用途に役立つ。たとえば、フィットネストラッカのような健康アプリケーションは、規則的にユーザの体温を記録し、それを経時的にプロットし得る。そのようなものとして、ユーザまたはコンピューティングシステムは、最新のユーザ体温を過去のユーザ体温に比較して、ユーザが病気にかかっていないか、またはユーザの生理機能が変化していないかを決定することができ、そのような変化をユーザに通知し得る。統計結果を記録して、たとえば、アスリートによって消費されるカロリーをより良く推定したり、ワークアウト中に起こり得る高体温症をアスリートに警告したり、女性の排卵日を推定したりしてもよい。そのような機構はまた、環境温度を運動能力の関数として追跡し得る(たとえば、ランニング時間を外気温に対してチャート化することにより)。
少なくとも2つの例示的機構が、変換器を使用して温度を計測することができる。第一の例示的機構は、イヤホン温度がイヤホンの電気的性質に及ぼす影響に基づいて、イヤホン(たとえば変換器コイル)そのものの温度を推定するための機構である。この機構は、本文献中で先に記載されている式1を使用して、様々な時点におけるTを決定する。そのような機構は、システムがそのタイプのイヤホンの校正情報を有する限り、大部分またはすべてのイヤホンに関して働き得る。それでもなお、イヤホンは、その環境の温度まで暖まる、または冷えるためにはいくらかの時間を要し得、そのため、本明細書に記載される機構は、イヤホンの温度変化を分析して、未来のイヤホン温度を推定することができる。未来のイヤホン温度を校正データに比較して、現在の環境および/またはユーザ温度を推定することができる。第二の例示的機構は、記録された音を分析して、ユーザの外耳道中の空気の性質を決定するための機構である。温度のような空気の性質はその空気を通過する音の再生に影響することができるため、記録された音を分析することによって温度を演繹し得る。以下、本開示はこれらの温度決定機構それぞれを詳細に説明する。
第一の機構:イヤピース温度計測
第一の機構において、前記のように、システムは、オーディオ(可聴または不可聴)を同時に再生・記録し、イヤホン(たとえばそのコイル)の温度変化によるイヤホンの電気的性質の変化を検出することにより、温度を計測する。この状況は、抵抗が温度と相関し、回路の1つの部分が固定出力電圧(たとえばサウンドカード出力)に接続され、かつ回路の別の部分が電圧計(たとえばサウンドカード入力)に接続されている抵抗器を含む電気回路の状況に類似している。この構成を用いると、回路の電流インパルス応答を決定することができる。電流インパルス応答を、以前に記憶された温度依存性インパルス応答に比較して、抵抗器の現在温度を決定することができる。このプロセスは、プロセス900に関して記載される、プロセスの特定の部分に関して詳細に説明される(図9A〜Dを参照)。
ボックス902で、コンピューティングシステムは、いくつかのオーディオサンプルrを記録し、再生されるオーディオサンプルsおよび再生されたオーディオ信号に影響するイヤピースの既知の変形特性、たとえばw0およびwΔを与えられると、温度がどのようにrに影響したかを決定することにより、Tを決定する。そうすることは式1の使用を含む。
ボックス904で、プロセス600(図6を参照)の少なくとも一部分を使用することにより、ボックス902の動作を実行することができる。特に、コンピューティングシステムは、Tを決定するために、プロセス600の工程602〜624を実行することができる。
ボックス906で、コンピューティングシステムは、Tを求めて解き、ただし、高周波ノイズを出力オーディオ信号sに加えることにより、プロセス600の変形を実行する。他のやり方ではsは特定の時点でオーディオを含まないこともあり得、また、温度計測は高周波信号でより効果的になり得るため、この高周波信号sの付加は有用であり得る。このようにsを変更することは、以下、ボックス908〜914に関して記載するいくらかの変形を加えてプロセス600を実行することを含むことができる。
ボックス908で、コンピューティングシステムはs=s0+s高周波と定め得る。例示的な高周波信号は20,000Hzサイン波であり得る。
ボックス910で、コンピューティングシステムは、上記のように高周波値を含むように変更されたs値を用いてr=r−s*w0を計算することにより、ボックス610の動作を実行し得る。
ボックス912で、コンピューティングシステムは、rΔ=s高周波*wΔを計算することにより、ボックス612の動作を実行し得る。この例において、動作はsに代えてs高周波を用いる。理由は、s高周波は、温度を計算する場合、より適し得るからである(ただし、他の計算、たとえばwaの決定にはs=s0+s高周波を使用してもよい)。s高周波は可聴でない場合もあり、したがって、waに有意に影響し得ないが、いくつかの例においては、s高周波は、waの決定のためにsに加えられない。
ボックス914で、コンピューティングシステムは、rとTおよびrΔの畳み込みとの間の差を最小化する温度T(すなわちT=argminT(r−T*rΔ))を決定することにより、ボックス614の動作を実行し得る。しかし、rおよびrΔの値は、s高周波の付加によって影響を受けている場合もある。
ボックス916で、コンピューティングシステムは、決められた期間にわたって複数のTの値を組み合わせ得る。たとえば、システムは、長さ0.03、0.05、0.1、0.2または0.5秒である期間にわたって決定された温度計測値を連結し得る。組み合わせの例示的なタイプは平均化および線形回帰を含む。
ボックス920で、コンピューティングシステムは、ボックス916で決定された比例温度Tを使用して絶対温度を決定する。値Tは絶対温度を提供し得ず、単に、温度に基づいて変化し、オフセットおよびスケーリング定数を提供することによって絶対温度(たとえば摂氏度)に変換されることができる電圧値であり得るため、この決定は実行され得る。本明細書に記載される温度は複数あるため、ボックス916で特定される絶対温度をTCと指定し、相対温度をTbと指定する。これらの値を、オフセットを特定するためのβおよびスケーリングを表すためのαとともに式に合わせると、Tb=TCα+βが得られる。
ボックス922で、コンピューティングシステム(または別のシステム)はαおよびβの値を校正する。この校正は事前に実行されてもよい(たとえば、任意の温度計測が実施される前に)。たとえば、校正は、ユーザが特定のイヤピースをはじめて使用するとき実行されてもよいし、イヤピースの製造者によって、または別の第三者機関によって実行されることもできる。これら後者の例において、校正値は、モバイル装置またはヘッドホンとともに出荷されてもよいし、インターネットデータベースを通してアクセス可能であってもよい。最後に、以下、ボックス924〜934に関して記載される、これらの校正値を決定するための6つの機構がある。
ボックス924で、第一の機構において、ユーザがイヤピースを決められた期間(たとえば5または10分間)だけ装着し、その期間後のイヤピース温度を典型的なユーザ体温と仮定する。たとえば、イヤピース温度は、人の平均体温(たとえば36.7度)であると仮定または推定されてもよい。ユーザ体温の計測を実施しなくてもよい。むしろ、イヤピースは人の平均体温であると仮定するだけでよい。いくつかの例において、温度は、平均室温の部屋の中にいる平均体温のユーザの耳の中に配置されたイヤピースの典型的な温度であると推定される。
ボックス926で、第二の機構において、ユーザはイヤピースを決められた期間だけ装着し、システムが、ユーザに対し、ユーザの体温またはイヤピースおよび周囲温度の平均温度であり得る温度Tcを入力するよう依頼する。
ボックス928で、第三の機構において、イヤピースを部屋の中に配置し、決められた期間ののち、ユーザに対し、部屋の温度を入力するよう依頼する。
ボックス930で、第四の機構において、イヤピースの温度を1日の異なる時点および/または異なる日に複数回計測する。そのような例における平均またはメジアン温度計測値をTbと指定し得、一方で、過去の気象データによるそのような時点におけるモバイル装置およびイヤピースの場所における平均またはメジアン温度をTcと指定し得る。
ボックス932で、第五の機構において、イヤピースを部屋または他の環境の中に配置し得、システムを外部センサに接続し得る。この外部センサは、イヤピースを使用してその相対温度Tbを計測する間、イヤピースが位置する環境の絶対温度Tcを決定する。
ボックス934で、第六の機構において、すでに校正された第一のイヤピースに基づいて第二のイヤピースを校正し得る。第一に、上記機構のいずれかを使用して第一のイヤピースを校正し得る。第二に、システムはwΔ=wΔ(アルファ)と定め得る(たとえば、wΔに係数を掛け、それを新たなwΔと定めることにより)。第三に、wΔの何らかの特徴を計算し、Cと指定し得る(たとえば、2ノルム、C=||wΔ||またはwΔの周波数応答に対する何らかの重み、または2つの周波数におけるイヤホンの応答の間の何らかの分画)。第四に、ユーザが第二のイヤピースを装置に接続し得、装置がwΔの同じ特徴を計算し、その特徴をDと指定し得る。第五に、装置は、第一のイヤピースのC、DおよびwΔを与えられると、以下の式:wΔ-第二のイヤピース=C/D wΔ-第一のイヤピースを使用して第二のイヤピースのwΔを計算し得る。また、wΔの代わりにw0を使用する類似の機構が適用される。
より高速の温度予測
ときに、イヤピースの熱伝達係数は小さい。それは、イヤピースコイルおよびメンブレンがその環境の温度に達するまでいくらかの時間を要することを意味する。一例として、一部のイヤピースにおいて、時定数は約100秒である。それは、イヤホンが30℃のポケットから取り出され、15℃の環境に配置されるならば、イヤホンが15℃(±0.5℃)を達成するために、5分を超える時間を要することもできることを意味する。
ボックス940で、コンピューティングシステムはイヤピースの定常状態温度を特定する。これは、イヤピースが、環境中で一定期間ののち、横ばい状態になり得る温度である。換言するならば、イヤピースは、定常状態ではその環境と同じ温度を有し得る。
ボックス942で、コンピューティングシステムは、イヤピースの温度を定常状態イヤピース温度と指定する前に、決められた期間(たとえば、上記例においては5分)だけ待ち得る。本質的に、コンピューティングシステムは、計測された温度を定常状態イヤピース温度と指定する前に、イヤピース温度が暖まる、または冷めるまで待ち得る。いくつかの例において、この時間の決定は、コンピューティングシステムが、温度が変化を停止したとき、または温度の変化率が決められたしきい値よりも低く低下したことを決定することを含む。
ボックス944で、コンピューティングシステムは、イヤピース温度がまだ変化中であり得、かつ定常状態に達していないとしても、校正されたイヤピース経時的温度変化のモデルをイヤピース温度の最新の変化とともに使用して、未来のイヤピース温度(たとえば定常状態)を推定し得る。このモデルを使用すると、イヤピース定常状態を、イヤピースが暖まる、または冷えるまで何分か待つよりも速やかに推定することを可能にし得る。ボックス946〜952を参照しながら4つのそのようなモデルを以下に記載する。イヤピースは、コイル、プラスチック、メンブレンおよび潜在的に他の特徴を有する複雑なボディを有し得るため、ニュートンの冷却の法則は、いくつかのシナリオでは、イヤホン温度の不十分な推定しか提供し得ない。理由は、ニュートンの冷却の法則は、抵抗温度検出器などの簡単な材料にいちばん良く適用され得るからである。
ボックス946で、第一の例として、たとえば、ニュートンの冷却の法則がイヤホン温度の十分な推定を提供するであろうシナリオにおいて、ニュートンの冷却の法則を使用して変換器の未来の温度を決定し得る。
Figure 2019523581
この式中、eは時間tにおける温度であり、rは、イヤピースのタイプに依存する熱伝達係数であり、T環境は環境の温度である。T環境を推定するための温度サンプルを読む目的をもって、システムは、rが未校正であるとき、以下の4つの工程を使用して温度を予測することができる:(1)時間t1、t2、・・・tnにおけるT1、T2、・・・Tnを入力として使用し;(2)近似値
Figure 2019523581
を使用し;(3)式T'(t)=−r(T環境−T(t))を使用してML
Figure 2019523581
を解き;かつ(4)r=b、
Figure 2019523581
と定める。
rが校正されるならば、以下の2つの工程を実行し得る:(1)時間t1、t2、・・・tnにおけるT1、T2、・・・Tnを入力として使用し;(2)以下のMLSQ:
Figure 2019523581
を解く。rがすでに校正されているため、この第二の演算のセットは第一の演算のセットよりも迅速に実行され得る。したがって、rが校正されたならば、システムは、rを再校正することなく、第二の演算のセットを実行し得る。
ボックス948で、第二の例として、一般モデルを使用して、未来のある時点における温度を決定し得る。(F+, F-→0)を満たすような減少関数F+, F->0が存在し、
T(t0)<T環境の場合: T(t+t0)=T環境−F+ -1(t+F+(F+(t0)−T環境))であり、
T(t0)>T環境の場合: T(t+t0)=T環境+F- -1(t+F-(F+(t0)−T環境))である。
関数F+、F-はイヤホンのモデルおよび材料に依存する。これらの式は、線形最小二乗アルゴリズムを使用して解き得る。
ボックス950で、第三の例として、一般線型モデルを使用して、未来のある時点における温度を予測し得、関数F:
T'(t)=F(T環境−T(t))
を使用する。
これを考慮に入れ、時間t1、t2、・・・tnにおける温度計測値T1、T2、・・・Tnおよび校正されたeの入力を使用して、温度予測を実行し得る。次いで、システムは、列挙、二分探索、または何らかの他の方法を使用して、以下の最適化問題を解くことができる。
Figure 2019523581
ボックス952で、第四の例として、指数和モデリングを使用して、未来のある時点における温度
Figure 2019523581
を予測し得る。この例において、定数aiおよびriは、イヤホンのモデルに依存する係数である。この式は、線形最小二乗アルゴリズムを使用して解き得る。
いくつかの実施形態において、図示された例は、コンピュータシステムが相対温度を絶対温度に変換した後の定常状態温度の計算を提示するが、システムは、温度が相対温度から絶対温度に変換される前に定常状態温度を計算してもよい。その場合、定常状態温度の計算ののち、変換を実施し得る。
体温計測(第一の手法)
システムがイヤピースの温度を計測したならば(たとえば、決められた期間だけ待つことにより(ボックス942を参照)、または上記温度モデルを使用して未来のイヤピース温度を計算することにより(ボックス944を参照))、ユーザの耳/体温、たとえば鼓室温度を決定し得る。イヤピースコイルは、ユーザの鼓膜から離れている場合もあり、したがって、ユーザの耳の温度と環境温度との組み合わせに基づく温度を有する場合もある。
本開示は、イヤピースの温度が既知であるときユーザ体温および環境温度さえをも決定するための機構を説明する。実際、以下の説明は、スピーカおよびマイクの両方として使用される変換器を参照して説明されるが、プロセスは、他のタイプの温度感知装置、たとえば専用マイク、温度計、抵抗温度検出器およびサーミスタを使用する体温および環境温度決定にも適用される。理由は、以下の説明は、ときには温度感知装置(この例においては、たまたま変換器である)のみを使用してユーザまたは環境温度を決定する方法を説明するからである。
より具体的には、上記のように、イヤピース(または別の温度感知装置)の温度は、周囲温度およびユーザの体温、たとえば外耳道温度に依存する。そのようなものとして、体温の決定は、ときに、複数の温度計測値を経時的に得ることを含み得る。それでもなお、複数の温度計測値から構築することができる温度曲線は、所与の周囲/環境温度に関して特有であり得る。したがって、システムは、温度曲線の形状を使用して、ユーザの体温および周囲温度を決定することができる。このプロセスは4つの基本工程を含み、これらを順に説明する。
ボックス960で、コンピューティングシステムは、複数の周囲温度における温度曲線の挙動を校正することができる。
ボックス962で、コンピューティングシステムは、多くの異なる周囲温度において耳温度をイヤピース温度に対して校正することができる。たとえば、システムは、複数のイヤピース温度それぞれに関し、その特定のイヤピースおよび周囲温度のセットに対応する複数の周囲温度およびユーザ体温を記憶し得る。換言するならば、システムは3つの温度の多くのセットを記憶して、またはそのような情報を他のやり方で使用して、予測式を使用して中間値を補間し得る。
これら両方の校正ステップは、事前に、たとえば任意のリアルタイムの温度計測が実施される前に実行されてもよい。実際、校正は、工場で実施され、イヤピースまたはモバイル装置に事前にインストールされてもよいし、インターネットデータベースを介してアクセス可能であってもよい。
ボックス964で、コンピューティングシステムは複数のイヤピース温度計測値を記憶し得る。
ボックス966で、コンピューティングシステムは、複数のイヤピース温度計測値およびボックス960で特定された校正情報を使用して、周囲温度を決定することができる。
ボックス968で、コンピューティングシステムは、複数のイヤピース温度計測値の1つまたは複数およびボックス962に関して特定された校正情報を使用して、ユーザ体温を決定することができる。たとえば、システムは、決定されたイヤピース温度および決定された周囲温度と一致するユーザ体温を特定し得る。
一連の温度計測値および校正値を与えられると、周囲およびユーザ温度を計算するために使用することができるモデルが少なくとも2つある。
第一のそのようなモデルは一般モデルである。T(t0)<αT+(1−α)T周囲の場合に(F+, F-, G-, G+→0)を満たすような減少関数F+, F-, G ,G+>0が存在する。
関数F+、F-は様々な特性(たとえばイヤピースモデル、材料、および設計)に依存する。
Figure 2019523581
当該一般モデルを解くために、システムはまず、周囲温度およびαの様々な値の場合のFおよびGに関して校正することができる。次いで、システムは、MLSQを使用して、T周囲およびTを導き出し得る。
第二のそのようなモデルはニュートンのモデルである。
Figure 2019523581
この例において、P(T周囲, T)は、周囲温度がT周囲であり、鼓膜温度がT環境であるときの、イヤピースの最終温度である。R[T周囲]は、周囲温度を使用する関数である。このモデルにおいて、熱係数は周囲温度に依存し得る。ニュートンのモデルを解くために、システムは5つの工程を実行し得る。第一に、システムは、周囲温度およびPのいくつかの値に関してR(T周囲)を校正し得る。第二に、システムはR(T周囲)を補間し得る(たとえば、少なくとも2つの点の間に直線をプロットして、2つの点の間または2つの点の側方の点の推定を可能にすることにより)。第三に、システムは、イヤピース温度を連続的に記録することによってrを演繹し得る。第四に、システムは、R(T周囲)=rを満たすようなT周囲を見いだし得る。理由は、T周囲は既知であり得、T推測は計測され得る(いくらかの時間だけ待つこと、または上記温度予測技術を使用することのいずれかにより)からである。第五に、上記式を使用して、Tを求めて以下の式を解くことにより、Tを決定し得る。理由は、Pは既知であり得、T周囲は既知であり得、T推測は既知であり得る(予測を使用:T推測=P(T周囲, T周囲))からである。
体温計測(第二の手法)
この代替手法において、コンピューティングシステムは、前記のようにイヤピース温度を計算するが、イヤピースはユーザの耳の外に位置すると判定され、したがって主に周囲温度によって影響されるため、イヤピース温度は周囲温度と指定される(プロセス700に関して記載された耳内検出技術を使用して、イヤピースが耳の外にあるときを特定する)。イヤピースが耳の中にあると判定されたならば、周囲温度が既知であり、イヤピース温度が既知であり、システムは、様々な周囲温度に関して耳温度をイヤピース温度にマッピングする、以前に実行された校正へのアクセスを有し得るため、システムはユーザ体温を決定することができる。このプロセスは、ボックス980〜986に関してより詳細に説明される。
ボックス980で、コンピューティングシステムは、たとえば耳内検出プロセス700を使用して、イヤピースがユーザの耳の中にあるかどうかを判定する。コンピューティングシステムは、イヤピースがユーザの耳の中にないと判定するまで、このプロセスを規則的に実行し得、ユーザの耳の中にないと判定された時点で、コンピューティングシステムは、ボックス982の動作を実行して、温度計測プロセスを効果的に開始し得る。
ボックス982で、コンピューティングシステムは、絶対定常状態イヤピース温度を決定し、この温度を周囲温度と指定し得る。絶対定常状態イヤピース温度の決定は、ボックス900〜940の動作を実行してイヤピースの定常状態温度を計算することを含み得る。この場合、イヤピースはユーザの耳の中にないため、イヤピースは、イヤピースが位置する空間の周囲温度と同じ、または少なくともそれに近いと仮定することができる。ボックス940に関して記載したように、定常状態温度の決定は、イヤピースが周囲温度に達するまでの決められた期間だけ待つこと(ボックス942)を含むこともできるし、モデルを使用して未来の定常状態温度を計算すること(ボックス944)を含むこともできる。
ボックス984で、コンピューティングシステムは、たとえば耳内検出プロセス700を使用して、イヤピースがユーザの耳の中にあるかどうかを判定する。イヤピースがユーザの耳の中にないと判定されるならば、システムは、絶対定常状態イヤピース温度の決定(ボックス982)を続ける。システムが、イヤピースが今、ユーザの耳の中に位置すると判定するならば、コンピューティングシステムはボックス966の動作を実行する。様々な例において、コンピューティングシステムは、イヤピースの温度を記録し続け、イヤピースがユーザの耳の中に移されたかどうかをコンピューティングシステムが判定するまでは、定常状態イヤピース温度を決定するためのボックス982の動作を実行しない。周囲温度を決定するための待機は、コンピューティングシステムが、単に最後の温度読みを使用するのか(たとえば、イヤピースが定常状態環境温度に達したため)、温度モデリングを使用するのか(たとえば、イヤピース温度がまだ変化していたため)の間で選択を行うことを可能にする。
ボックス986で、コンピューティングシステムは、ボックス962に関して先に記載したように、複数の周囲温度に関して耳温度をイヤピース温度に対して(たとえば、複数のイヤピース温度に関して耳温度を周囲温度に対して)校正する。
ボックス990で、コンピューティングシステムは、絶対定常状態イヤピース温度、決定された周囲温度および耳−イヤピース−周囲温度を校正したデータを使用して、耳温度を決定する。たとえば、コンピューティングシステムは、決定されたイヤピース温度と一致する校正データからイヤピース温度を特定し、次いで、そのイヤピース温度のために記憶された複数の周囲温度から、記憶された周囲温度と一致する周囲温度を選択し、すでに選択されたこれら2つの値を用いて、対応する耳温度をデータセットから選択し得る。いくつかの例において、校正データは、記録された値が校正データと同一ではない場合、補間または類似のプロセスを使用する。
第二の機構:環境の特性の計測
温度が変化すると、イヤピースが位置する環境の音響特性が変化し得る。たとえば、温度は、環境中の音の速度ならびに振幅および他の特性に影響することができる。そのようなものとして、音速および振幅によって影響される音響エコーraおよび音響応答waは、温度が変化するとともに変化し得る。したがって、音響エコーraまたは音響応答waのいずれかを、様々な温度に関して校正されている対応する値に比較すると、システムがユーザの耳の内部の温度を決定することを可能にすることができる。このプロセスは、プロセス1000(図10)およびボックス1002〜1008に関して以下に記載される。
ボックス1002で、コンピューティングシステムは、プロセス600に関して先に記載したように、オーディオが再生される間に音響エコーraまたは音響応答waを抽出する。
ボックス1004で、コンピューティングシステムは、温度値ごとに少なくとも1つの事前に校正された値がある、事前に校正された音響エコーまたは応答のセットにアクセスする。
ボックス1006で、コンピューティングシステムは、抽出された音響エコーraまたは音響応答waを、推定温度(ここではX℃と指定)に関して校正された、事前に校正された音響エコーまたは応答Paに比較する。
ボックス1008で、コンピューティングシステムは、抽出された音響エコーraまたは音響応答waからの特徴を使用し、その特徴を、事前に校正された音響エコーまたは応答Paの同じ特徴に比較して、一致する外耳道温度を特定する。第一の例として、システムは、音速に対する温度の影響にしたがって温度と相関し得る、再生信号と記録信号との間の時間差を抽出し得る。第二の例として、システムは、記録信号の振幅を再生信号の振幅に比較し得る。別の例として、システムは、再生信号と記録信号との間の全インパルス応答を見いだし、それをX℃でのインパルス応答に比較し、音速による収縮のモデルを使用し得る。そのような機構を使用して、耳の相対温度を決定し得る。
ボックス1010で、コンピューティングシステムは、たとえば、ボックス920の動作を実行することにより、決定された耳の相対温度を耳の絶対温度に変換する。
図11はコンピュータシステム1100の模式図である。システム1100は、1つの実施形態にしたがって、前記コンピュータ実装方法のいずれかと関連して記載された動作を実行するために使用されることができる。システム1100は、様々な形態のデジタルコンピュータ、たとえばラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームおよび他の適切なコンピュータを含むことを意図したものである。システム1100はまた、モバイル装置、たとえばパーソナルデジタルアシスタント、携帯電話、スマートホンおよび他の類似のコンピューティング装置を含むことができる。加えて、システムは、USB(Universal Serial Bus)フラッシュドライブのようなポータブル記憶媒体を含むことができる。たとえば、USBフラッシュドライブはオペレーティングシステムおよび他のアプリケーションを記憶し得る。USBフラッシュドライブは、別のコンピューティング装置のUSBポートに挿入され得る、ワイヤレストランスミッタまたはUSBコネクタのような入出力コンポーネントを含むことができる。
システム1100は、プロセッサ1110、メモリ1120、記憶装置1130および入出力装置1140を含む。コンポーネント1110、1120、1130および1140それぞれは、システムバス1150を使用して相互接続されている。プロセッサ1110は、システム1100内で実行するための命令を処理することができる。プロセッサは、多数のアーキテクチャのいずれかを使用して設計され得る。たとえば、プロセッサ1110は、CISC(複合命令セットコンピュータ)プロセッサ、RISC(縮小命令セットコンピュータ)プロセッサまたはMISC(最小命令セットコンピュータ)プロセッサであり得る。
1つの実施形態において、プロセッサ1110は単一スレッドプロセッサである。別の実施形態において、プロセッサ1110はマルチスレッドプロセッサである。プロセッサ1110は、メモリ1120内または記憶装置1130上に記憶された命令を処理して、ユーザインタフェースのためのグラフィカル情報を入出力装置1140上に表示することができる。
メモリ1120は情報をシステム1100内に記憶する。1つの実施形態において、メモリ1120はコンピュータ可読媒体である。1つの実施形態において、メモリ1120は揮発性メモリユニットである。別の実施形態において、メモリ1120は不揮発性メモリユニットである。
記憶装置1130は、システム400のための大容量記憶装置を提供することができる。1つの実施形態において、記憶装置1130はコンピュータ可読媒体である。様々な異なる実施形態において、記憶装置1130は、フロッピーディスク装置、ハードディスク装置、光学ディスク装置またはテープ装置であり得る。
入出力装置1140は、システム400のための入出力操作を提供する。1つの実施形態において、入出力装置1140はキーボードおよび/またはポインティング装置を含む。別の実施形態において、入出力装置1140は、グラフィカルユーザインタフェースを提供するためのディスプレイユニットを含む。
前記特徴は、デジタル電子回路またはコンピュータハードウェア、ファームウェア、ソフトウェアもしくはそれらの組み合わせで具現化されることができる。装置は、プログラム可能プロセッサによる実行のために情報担体、たとえば機械読み取り可能記憶装置中に有形的に具現化されたコンピュータプログラム製品として具現化されることができ;方法ステップは、命令のプログラムを実行して、入力データに処理を加え、出力を生成することによって前記実施形態の機能を実行するプログラム可能プロセッサによって実行されることができる。前記特徴は、有利には、データ記憶システム、少なくとも1つの入力装置および少なくとも1つの出力装置からデータおよび命令を受け、データ記憶システム、少なくとも1つの入力装置および少なくとも1つの出力装置にデータおよび命令を送るように結合された少なくとも1つのプログラム可能プロセッサを含むプログラム可能システム上で実行可能である1つまたは複数のコンピュータプログラムとして具現化されることができる。コンピュータプログラムとは、コンピュータ中で直接的または間接的に使用されて、特定のアクティビティを実行する、または特定の結果をもたらすことができる命令のセットである。コンピュータプログラムは、コンパイルまたは解釈される言語を含む任意の形態のプログラミング言語で書かれることができ、かつ独立型プログラムを含む任意の形態で、またはモジュール、コンポーネント、サブルーチンもしくはコンピューティング環境における使用に適した他のユニットとして展開されることができる。
命令のプログラムの実行に適したプロセッサは、例として、汎用および専用のマイクロプロセッサならびに任意の種類のコンピュータの唯一のプロセッサまたは多数のプロセッサの1つを含む。概して、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受ける。コンピュータの不可欠な要素は、命令を実行するためのプロセッサならびに命令およびデータを記憶するための1つまたは複数のメモリである。概して、コンピュータはまた、データファイルを記憶するための1つまたは複数の大容量記憶装置を含む、またはそれと通信するように機能的に結合され;そのような装置は、磁気ディスク、たとえば内部ハードディスクおよびリムーバブルディスク;磁気光学ディスク;ならびに光学ディスクを含む。コンピュータプログラム命令およびデータを有形的に具現化するのに適した記憶装置は、すべての形態の不揮発性メモリ、たとえば半導体メモリ装置、たとえばEPROM、EEPROMおよびフラッシュメモリ装置;磁気ディスク、たとえば内部ハードディスクおよびリムーバブルディスク;磁気光学ディスク;ならびにCD-ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリは、ASIC(特定用途向け集積回路)によって補足されることもできるし、それに組み込まれることもできる。
ユーザとの対話を提供するために、特徴は、情報をユーザに表示するための表示装置、たとえばCRT(陰極線管)またはLCD(液晶表示装置)モニタならびにユーザが入力をコンピュータに提供することができるキーボードおよびポインティング装置、たとえばマウスまたはトラックボールを有するコンピュータ上で具現化されることができる。さらに、そのようなアクティビティは、タッチスクリーン・フラットパネル表示装置および他の適切な機構を介して具現化されることができる。
特徴は、バックエンドコンポーネント、たとえばデータサーバを含む、またはミドルウェアコンポーネント、たとえばアプリケーションサーバもしくはインタネットサーバを含む、またはフロントエンドコンポーネント、たとえばグラフィカルユーザインタフェースもしくはインタネットブラウザを有するクライアントコンピュータを含む、またはそれらの組み合わせを含むコンピュータシステム中で具現化されることができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、たとえば通信ネットワークによって接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、ピア・トゥ・ピアネットワーク(臨時または固定のメンバーを有する)、グリッドコンピューティングインフラストラクチャおよびインタネットを含む。
コンピュータシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは概して互いに離れており、典型的に、前記のようなネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で作動し、互いにクライアント・サーバ関係を有するコンピュータプログラムのおかげで生じる。
本明細書は多くの具体的な実施形態の詳細を含むが、これらは、任意の発明または特許請求され得るものの範囲に対する限定と解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の特徴の記載と解釈されるべきである。また、別々の実施形態に関して本明細書に記載される特定の特徴が組み合わされて1つの実施形態として具現化されることもできる。逆に、1つの実施形態に関して記載される様々な特徴が、別々に、または任意の適当な部分的組み合わせで、複数の実施形態として具現化されることもできる。そのうえ、特徴は、特定の組み合わせにおいて作用するものとして先に記載され、はじめにそのようなものとして特許請求されることもあり得るが、特許請求される組み合わせからの1つまたは複数の特徴が場合によってはその組み合わせから切り離されることができ、特許請求される組み合わせは、部分的組み合わせまたは部分的組み合わせの変形に関する場合もある。
同様に、図面には動作が特定の順序で示されているが、これは、所望の結果を達成するために、そのような動作が示される特定の順番もしくは順序で実行されること、または図示されるすべての動作が実行されることを要求するものと理解されるべきではない。特定の状況において、マルチタスキングおよび並列処理が好都合であり得る。そのうえ、上記実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を要求するものと理解されるべきではなく、記載されたプログラムコンポーネントおよびシステムは概して、1つのソフトウェア製品として統合されることもできるし、複数のソフトウェア製品へとパッケージングされることもできることが理解されるべきである。
このように、主題の特定の実施形態が記載された。他の実施形態が特許請求の範囲内である。場合によっては、特許請求の範囲に記載される動作は、異なる順序で実行されるとしても、所望の結果を達成することができる。加えて、添付図面に描写されるプロセスは、所望の結果を達成するために、必ずしも、図示された特定の順番または順序を要求しない。特定の実施形態において、マルチタスキングおよび並列処理が好都合であり得る。
事前に記録された音
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程を含む。当該方法はさらに、ソースオーディオ信号を再生しながら、ユーザの環境内に存在する音を示す周囲オーディオ信号をオーディオ処理装置で記録する工程を含む。当該方法はさらに、周囲オーディオ信号の分析に基づいて、事前に記録されたオーディオ信号が周囲オーディオ信号中に発生していることを特定する工程を含む。当該方法はさらに、事前に記録されたオーディオ信号の第二のインスタンスにアクセスする工程を含む。当該方法はさらに、事前に記録されたオーディオ信号をソースオーディオ信号から少なくとも部分的に除去するために、事前に記録されたオーディオ信号の記憶されたインスタンスを、周囲オーディオ信号中に発生している事前に記録されたオーディオ信号の表現として使用しながら、ユーザイヤピースの電気音響変換器によって出力されたソースオーディオ信号をオーディオ処理装置で変更する工程を含む。
実施形態2は実施形態1の方法である。ソースオーディオ信号は、歌または音声コンテンツのうちの少なくとも1つからのオーディオ信号を含む。
実施形態3は実施形態1の方法である。事前に記録されたオーディオ信号は、歌、音声コンテンツ、映画またはテレビ番組の少なくとも1つからのオーディオ信号を含む。
実施形態4は実施形態1の方法である。事前に記録されたオーディオ信号が周囲オーディオ信号中に発生していることを特定する工程は、周囲オーディオ信号をオーディオ処理装置でフィルタリングして、事前に記録されたオーディオ信号を周囲オーディオ信号から抽出する工程;および周囲オーディオ信号から抽出された事前に記録されたオーディオ信号が、複数の異なる事前に記録されたオーディオ信号の1つと一致することを決定する工程を含む。
実施形態5は実施形態1の方法である。事前に記録されたオーディオ信号が周囲オーディオ信号中に発生していることを特定する工程は、周囲オーディオ信号の少なくとも一部分を特徴づけるオーディオデータを、オーディオ処理装置からネットワークを介して、オーディオ処理装置から遠隔に位置するサーバに送る工程;および事前に記録されたオーディオ信号を特定するデータを、サーバに送られたオーディオデータへの応答として、オーディオ処理装置において受ける工程を含む。
実施形態6は実施形態5の方法である。事前に記録されたオーディオ信号の記憶されたインスタンスにアクセスする工程は、事前に記録されたオーディオ信号の第二のインスタンスを、サーバに送られたオーディオデータへの応答の一部として、オーディオ処理装置において受ける工程を含む。
実施形態7は、実施形態1〜6のいずれか1つの方法である。当該方法は、周囲オーディオ信号中に発生する事前に記録されたオーディオ信号の現在の時間的位置を決定する工程;および決定された現在の時間的位置に基づいて、事前に記録されたオーディオ信号の第二のインスタンスを、周囲オーディオ信号中に発生する事前に記録されたオーディオ信号と同期化する工程を含む。
実施形態8は実施形態7の方法である。事前に記録されたオーディオ信号をソースオーディオ信号から少なくとも部分的に除去するためにソースオーディオ信号を変更する工程は、ソースオーディオ信号を、事前に記録されたオーディオ信号の同期化された第二のインスタンスでリアルタイムにフィルタリングする工程を含む。
実施形態9は、実施形態1〜8のいずれか1つの方法である。当該方法は、事前に記録されたオーディオ信号がもはや周囲オーディオ信号中に発生していないことを特定する工程;および事前に記録されたオーディオ信号がもはや周囲オーディオ信号中に発生していないという特定に応答して、事前に記録されたオーディオ信号をソースオーディオ信号から少なくとも部分的に除去するためのソースオーディオ信号の変更をやめる工程を含む。
実施形態10は実施形態9の方法である。当該方法は、ソースオーディオ信号の変更をやめたのち、事前に記録されたオーディオ信号が周囲オーディオ信号中で再開したことを特定する工程;および事前に記録されたオーディオ信号が周囲オーディオ信号中で再開したという特定に応答して、事前に記録されたオーディオ信号をソースオーディオ信号から少なくとも部分的に除去するためのソースオーディオ信号の変更を再開する工程を含む。
実施形態11は、実施形態1〜10のいずれか1つの方法である。周囲オーディオ信号を記録する工程は、周囲オーディオ信号をユーザイヤピースの電気音響変換器で感知する工程を含む。
実施形態12は、実施形態1〜10のいずれか1つの方法である。周囲オーディオ信号を記録する工程は、周囲オーディオ信号を、ユーザイヤピースに対して外にあるマイクで感知する工程を含む。
実施形態13は実施形態12の方法である。マイクはさらに、オーディオ処理装置に対して外にある。
実施形態14は実施形態12の方法である。マイクは、オーディオ処理装置に組み込まれたコンポーネントである。
実施形態15は、実施形態1〜14のいずれか1つの方法である。ユーザイヤピースの電気音響変換器によって出力されたソースオーディオ信号出力を変更する工程は、事前に記録されたオーディオ信号の第二のインスタンスをソースオーディオ信号から差し引く工程を含む。
実施形態16は、実施形態1〜15のいずれか1つの方法である。イヤピースはヘッドホンまたはイヤバッドを含む。
実施形態17は、実施形態1〜16のいずれか1つの方法である。オーディオ処理装置は、ポータブルデジタルメディアプレーヤ、スマートホン、タブレットコンピューティング装置、ノートブックコンピューティング装置、デスクトップコンピューティング装置またはウェアラブルコンピューティング装置を含む。
実施形態18はコンピューティングシステムである。コンピューティングシステムは、1つまたは複数のプロセッサおよび1つまたは複数のコンピュータ可読媒体を含む。1つまたは複数のコンピュータ可読媒体は、1つまたは複数のプロセッサによって実行されると、実施形態1〜17の方法のうちのいずれかを実行する動作を実行させる、該媒体上に記憶された命令を有する。
実施形態19は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1〜17の方法のうちのいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
耳存在
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程;ユーザイヤピースの電気音響変換器を使用して、音響信号をオーディオ処理装置で記録する工程;ソースオーディオ信号の再生の結果として、ユーザイヤピースが位置する空間の特性を示す、音響信号の1つまたは複数の特徴の値を決定する工程;音響信号の1つまたは複数の特徴の決定された値を1つまたは複数の特徴の既定値と比較する工程;および音響信号の1つまたは複数の特徴の決定された値と1つまたは複数の特徴の既定値との比較の結果に基づいて、ユーザイヤピースがユーザの耳に位置するかどうかを判定する工程を含む。
実施形態2は実施形態1の方法である。当該方法は、ユーザイヤピースがユーザの耳に位置するかどうかに基づいて、指定された動作を実行するかどうかを決定する工程を含む。
実施形態3は実施形態1の方法である。当該方法は、第一の時間において、ユーザイヤピースがユーザの耳に位置すると判定する工程;第一の時間の後の第二の時間において、ユーザイヤピースの位置がユーザの耳にある状態からユーザの耳にない状態へと変化していると判定する工程;およびユーザイヤピースの位置がユーザの耳にある状態からユーザの耳にない状態へと変化していると判定することに応答して、指定された動作を実行する工程を含む。
実施形態4は実施形態1の方法である。当該方法は、第一の時間において、ユーザイヤピースがユーザの耳に位置しないと判定する工程;第一の時間の後の第二の時間において、ユーザイヤピースの位置がユーザの耳にない状態からユーザの耳にある状態へと変化していると判定する工程;およびユーザイヤピースの位置がユーザの耳にない状態からユーザの耳にある状態へと変化していると判定することに応答して、指定された動作を実行する工程を含む。
実施形態5は、実施形態2〜4のいずれか1つの方法である。指定された動作は、メディアファイルを再生する動作、メディアファイルを一時停止する動作、メディアファイルを停止する動作、一時停止されたメディアファイルの再生を再開する動作、電子ディスプレイをアクティブにする動作、電子ディスプレイのバックライトの明るさ設定を調節する動作、装置をロックモードに入れる動作、装置をロックモードから外す動作、電話での通話を開始する動作、電話での通話を終了する動作、アプリケーションを起動する動作、またはアプリケーションを終了する動作のうちの少なくとも1つを含む。
実施形態6は、実施形態1〜5のいずれか1つの方法である。当該方法は、ユーザイヤピースがユーザの耳に位置するかどうかを一定期間にわたり繰り返し判定して、ユーザイヤピースの位置の、(i)ユーザの耳にない状態からユーザの耳にある状態への変化、または(ii)ユーザの耳にある状態からユーザの耳にない状態への変化をモニタする工程を含む。
実施形態7は、実施形態1〜6のいずれか1つの方法である。当該方法は、ソースオーディオ信号をオーディオ処理装置で再生するのと同時並行で音響信号をオーディオ処理装置で記録する工程を含む。
実施形態8は、実施形態1〜6のいずれか1つの方法である。ユーザイヤピースの電気音響変換器は、(i)ソースオーディオ信号を可聴的に出力するスピーカとして、および(ii)ソースオーディオ信号が再生される間に音響信号を感知するマイクとして同時並行で機能する。
実施形態9は、実施形態1〜8のいずれか1つの方法である。音響信号の1つまたは複数の特徴は、ユーザイヤピースが位置する空間の音響エコーのインパルス応答を含む。
実施形態10は、実施形態1〜9のいずれか1つの方法である。1つまたは複数の特徴の既定値は、ユーザの耳の中の空間を特徴づけるモデルを含む。
実施形態11は、実施形態1〜10のいずれか1つの方法である。1つまたは複数の特徴の既定値は、ユーザイヤピースがユーザの耳に位置すると判定されたときにソースオーディオ信号または別のオーディオ信号の再生から生じた音響信号の1つまたは複数の特徴の以前に決定された値に少なくとも部分的に基づいて決定される。
実施形態12は、実施形態1〜10のいずれか1つの方法である。1つまたは複数の特徴の既定値は、ユーザイヤピースがユーザ以外の1人または複数のユーザのそれぞれの耳に位置していたときにソースオーディオ信号または別のオーディオ信号の再生から生じた音響信号の1つまたは複数の特徴の値に少なくとも部分的に基づいて決定される。
実施形態13は、実施形態1〜12のいずれか1つの方法である。イヤピースはヘッドホンまたはイヤバッドを含む。
実施形態14は、実施形態1〜13のいずれか1つの方法である。オーディオ処理装置は、ポータブルデジタルメディアプレーヤ、スマートホン、タブレットコンピューティング装置、ノートブックコンピューティング装置、デスクトップコンピューティング装置またはウェアラブルコンピューティング装置を含む。
実施形態15は、実施形態1〜14のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、ホワイトノイズを再生することを含む。
実施形態16は、実施形態1〜14のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、オーディオ処理装置のユーザに歌または音声コンテンツを再生することを含む。
実施形態17は、実施形態1〜16のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、20キロヘルツよりも高い平均周波数を有する音を再生することを含み、該再生される音は人の聴力の正常周波数限界よりも高い。
実施形態18はコンピューティングシステムである。コンピューティングシステムは、1つまたは複数のプロセッサおよび1つまたは複数のコンピュータ可読媒体を含む。1つまたは複数のコンピュータ可読媒体は、1つまたは複数のプロセッサによって実行されると、実施形態1〜17の方法のうちのいずれかを実行する動作を実行させる、該媒体上に記憶された命令を有する。
実施形態19は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1〜17の方法のうちのいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
ユーザの本人認証
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程を含む。当該方法はさらに、ユーザイヤピースの電気音響変換器によって感知される音響信号をオーディオ処理装置で記録する工程を含む。当該方法はさらに、オーディオソース信号を再生する結果として、ユーザイヤピースが位置する空間の特性を示す音響信号の1つまたは複数の特徴の値を決定する工程を含む。当該方法はさらに、音響信号の1つまたは複数の特徴の値に基づいて、ユーザの音響シグネチャを生成する工程を含む。当該方法はさらに、音響シグネチャをユーザアカウントに登録する工程を含む。
実施形態2は実施形態1の方法である。当該方法はさらに、音響シグネチャをユーザアカウントに登録したのち、第二のソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、第二のソースオーディオ信号をオーディオ処理装置で再生する工程;ユーザイヤピースの電気音響変換器によって感知される第二の音響信号をオーディオ処理装置で記録する工程;第二の音響信号の1つまたは複数の特徴の値を決定する工程;第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致するかどうかを判定する工程;および第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致するかどうかに基づいて、指定された動作を実行するかどうかを決定する工程を含む。
実施形態3は実施形態2の方法である。指定された動作を実行するかどうかを決定する工程は、第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致するかどうかに基づいて、ユーザイヤピースのユーザを本人認証する工程を含む。
実施形態4は実施形態2の方法である。指定された動作は、ユーザアカウントまたは別のアカウントにログインする動作を含む。
実施形態5は実施形態2の方法である。当該方法は、第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致すると判定する工程;および第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致するという判定に応答して、指定された動作の実行を許可する工程を含む。
実施形態6は実施形態2の方法である。当該方法は、第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致しないと判定する工程;および第二の音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている音響シグネチャと一致しないという判定に応答して、指定された動作の実行をブロックする工程を含む。
実施形態7は実施形態2の方法である。当該方法は、オーディオ処理装置が、指定された動作と関連する第一のモードにある間に、第二の音響信号の1つまたは複数の特徴の値を繰り返し決定する工程;繰り返し決定する工程の繰り返しにおいて決定された第二の音響信号の1つまたは複数の特徴の値が、ユーザアカウントに登録されている音響シグネチャと一致する限り、指定された動作と関連する、オーディオ処理装置の第一のモードにとどまると決定する工程を含む。
実施形態8は実施形態7の方法である。当該方法はさらに、第二の音響信号の1つまたは複数の特徴の値がもはや、ユーザアカウントに登録されている音響シグネチャと一致しないという判定に応答して、指定された動作と関連する第一のモードから、指定された動作と関連する第二のモードへと移行すると決定する工程を含む。
実施形態9は実施形態7の方法である。指定された動作と関連する第一のモードは、制限されたユーザアカウントにログインしているモードを含む。
実施形態10は実施形態8の方法である。指定された動作と関連する第一のモードは、制限されたユーザアカウントにログインしているモードを含み、指定された動作と関連する第二のモードは、制限されたユーザアカウントからログアウトしているモードを含む。
実施形態11は、実施形態1〜10のいずれか1つの方法である。当該方法は、音響シグネチャを、ユーザの耳におけるユーザイヤピースの第一の位置と関連付ける工程を含む。
実施形態12は、実施形態1〜11のいずれか1つの方法である。当該方法は、ユーザの複数の音響シグネチャを生成するために、再生、記録、決定および生成の工程の複数回の繰り返しを実行する工程;複数回の繰り返しの繰り返しごとにユーザイヤピースをユーザの耳の異なる位置に動かすようユーザを促す工程;およびユーザの複数の音響シグネチャのうちの少なくとも2つを、ユーザの耳におけるユーザイヤピースの少なくとも2つの異なる位置と関連付ける工程を含む。
実施形態13は、実施形態1〜12のいずれか1つの方法である。当該方法は、ソースオーディオ信号をオーディオ処理装置で再生するのと同時並行で音響信号をオーディオ処理装置で記録する工程を含む。
実施形態14は、実施形態1〜13のいずれか1つの方法である。ユーザイヤピースの電気音響変換器は、(i)ソースオーディオ信号を可聴的に出力するスピーカとして、および(ii)ソースオーディオ信号が再生される間に音響信号を感知するマイクとして、同時並行で機能する。
実施形態15は、実施形態1〜14のいずれか1つの方法である。音響信号の1つまたは複数の特徴は、ユーザイヤピースが位置する空間の音響エコーのインパルス応答を含む。
実施形態16は、実施形態1〜15のいずれか1つの方法である。1つまたは複数の特徴の既定値は、ユーザの耳の中の空間を特徴づけるモデルを含む。
実施形態17は、実施形態1〜16のいずれか1つの方法である。ユーザイヤピースはヘッドホンまたはイヤバッドを含む。
実施形態18は、実施形態1〜17のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、ホワイトノイズを再生することを含む。
実施形態19は、実施形態1〜17のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、オーディオ処理装置のユーザに歌または音声コンテンツを再生することを含む。
実施形態20は、実施形態1〜17のいずれか1つの方法である。ソースオーディオ信号を再生する工程は、20キロヘルツよりも高い平均周波数を有する音を再生することを含み、該再生される音は人の聴力の正常周波数限界よりも高い。
実施形態21はコンピューティングシステムである。コンピューティングシステムは、1つまたは複数のプロセッサおよび1つまたは複数のコンピュータ可読媒体を含む。1つまたは複数のコンピュータ可読媒体は、1つまたは複数のプロセッサによって実行されると、実施形態1〜20の方法のいずれかを実行する動作を実行させる、該媒体上に記憶された命令を有する。
実施形態22は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1〜20の方法のいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
音響シグネチャの使用
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程を含む。当該方法はさらに、ユーザイヤピースの電気音響変換器によって感知される音響信号をオーディオ処理装置で記録する工程を含む。当該方法はさらに、オーディオソース信号を再生する結果として、ユーザイヤピースが位置する空間の特性を示す音響信号の1つまたは複数の特徴の値を決定する工程を含む。当該方法はさらに、音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている1つまたは複数の音響シグネチャと一致するかどうかを判定する工程を含む。当該方法はさらに、音響信号の1つまたは複数の特徴が、ユーザアカウントに登録されている1つまたは複数の音響シグネチャと一致するかどうかに基づいて、指定された動作を実行するかどうかを決定する工程を含む。
実施形態2はコンピューティングシステムである。コンピューティングシステムは、1つまたは複数のプロセッサおよび1つまたは複数のコンピュータ可読媒体を含む。1つまたは複数のコンピュータ可読媒体は、1つまたは複数のプロセッサによって実行されると、実施形態1の方法を実行する動作を実行させる、該媒体上に記憶された命令を有する。
実施形態3は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1の方法を実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
同時再生・記録の構成
実施形態1は、同じ変換器を使用してオーディオを同時に再生・記録するためのシステムである。システムは、オーディオ出力接続、オーディオ入力接続およびアース接続を含むオーディオ処理回路を含む。システムは、第一の電気接続および第二の電気接続を含む変換器を含む。システムは、オーディオ処理回路のオーディオ出力接続とオーディオ処理回路のオーディオ入力接続との間に接続される抵抗器を含む。システムは、変換器の第一の電気接続と、オーディオ処理回路のオーディオ出力接続またはオーディオ処理回路のオーディオ入力接続のいずれかとの間に第一の電気導体を含む。システムは、変換器の第二の電気接続と、オーディオ処理回路のアース接続との間に第二の電気導体を含む。
実施形態2は、第一の電気導体がワイヤであり、第二の電気導体がワイヤである、実施形態1のシステムである。
実施形態3は、変換器の第一の電気接続とオーディオ処理回路のオーディオ出力接続との間の抵抗値が1オーム未満である、または変換器の第一の電気接続とオーディオ処理回路のオーディオ入力接続との間の抵抗値が1オーム未満である、実施形態1のシステムである。
実施形態4は、抵抗器が5オーム超の抵抗値を有する、実施形態1のシステムである。
実施形態5は、抵抗器が50オーム超の抵抗値を有する、実施形態1のシステムである。
実施形態6は、オーディオ出力接続とオーディオ入力接続との間に接続されている抵抗器を、抵抗器がもはやオーディオ出力接続とオーディオ入力接続との間に接続されないように切り替えるように構成されている第一の回路要素をさらに含む、実施形態1のシステムである。
実施形態7は、抵抗器がもはやオーディオ出力接続とオーディオ入力接続との間に接続されないように切り替えられる結果として、変換器の第一の電気接続を変換器のオーディオ出力接続または変換器のオーディオ入力接続に接続するように構成されている第一の回路要素または第二の回路要素を含む、実施形態6のシステムである。
実施形態8は、第一の電気導体が変換器の第一の電気接続とオーディオ処理回路のオーディオ入力接続との間に接続されている、実施形態1のシステムである。
実施形態9は、オーディオ入力接続が、抵抗器の第一の側に接続されている第一の入力接続と、抵抗器の第二の側に接続されている第二の入力接続とを含み、第一の入力接続と第二の入力接続とが抵抗器をはさんで接続されている、実施形態1のシステムである。
温度計測機構
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程を含む。当該方法は、ソースオーディオ信号を再生しながら、ユーザイヤピースの電気音響変換器を使用して、記録されたオーディオ信号をオーディオ処理装置で記録する工程を含む。当該方法は、ユーザイヤピースの性質が電気音響変換器によるソースオーディオ信号の再生にどのように影響するかを示す1つまたは複数のパラメータをオーディオ処理装置によって特定する工程を含み、1つまたは複数のパラメータの少なくとも1つは温度依存性である。当該方法は、1つまたは複数のパラメータの適用によって起こるソースオーディオ信号への変化を考慮しながら、オーディオ処理装置によって再生されたソースオーディオ信号が記録されたオーディオ信号を生じさせると推定される温度値を、オーディオ処理装置によって決定する工程を含む。
実施形態2は、1つまたは複数のパラメータの少なくとも1つがユーザイヤピースの温度依存性インパルス応答である、実施形態1のコンピュータ実装方法である。
実施形態3は、1つまたは複数のパラメータの少なくとも1つがユーザイヤピースの温度依存性周波数応答である、実施形態1のコンピュータ実装方法である。
実施形態4は、温度値が変換器の相対温度値を表す、実施形態1のコンピュータ実装方法である。当該方法はさらに、オフセット定数およびスケーリング定数を使用して温度値を変更して、ユーザイヤピースの絶対温度値を生成する工程を含み、オフセット定数およびスケーリング定数は、ユーザイヤピースまたはユーザイヤピースのタイプのために校正された値である。
実施形態5は、温度値が変換器の温度値を表す、実施形態1のコンピュータ実装方法である。当該方法はさらに、決定された温度値を使用して、経時的なイヤピース温度変化特性を表すモデルを使用して未来の時点におけるユーザイヤピースの温度を特定することにより、ユーザイヤピースが位置する環境の環境温度値を推定する工程を含む。
実施形態6は、温度値が変換器の温度値を表す、実施形態1のコンピュータ実装方法である。当該方法はさらに、決定された温度値およびユーザイヤピースが位置する環境の環境温度値を使用して、ユーザ体温値を、互いに関連する、ユーザ体温、ユーザイヤピース温度、および環境温度の以前に校正されたセットに関連付けることにより、ユーザイヤピースが隣接し、接触するユーザの体のユーザ体温値を推定する工程を含む。
実施形態7は、実施形態1のコンピュータ実装方法である。当該方法はさらに、ユーザイヤピースがユーザの耳の中に位置しないことをオーディオ処理装置によって決定する工程を含み、ソースオーディオ信号の再生および記録されたオーディオ信号の記録は、オーディオ処理装置が、ユーザイヤピースがユーザの耳の中に位置しないと判定したとき起こり、それにより決定された温度値が環境温度値と指定される。
実施形態8は、実施形態7のコンピュータ実装方法である。当該方法はさらに、ユーザイヤピースがユーザの耳の中に位置しないと判定されたのち、オーディオ処理装置により、ユーザイヤピースが今やユーザの耳の中に位置すると判定する工程を含み、応答して、(i)電気音響変換器を使用して第二のソースオーディオ信号をオーディオ処理装置で再生する工程、(ii)第二のソースオーディオ信号を再生しながら第二の記録されたオーディオ信号をオーディオ処理装置で記録する工程、および(iii)1つまたは複数のパラメータの適用によって起こる第二のソースオーディオ信号への変化を考慮しながら、オーディオ処理装置により、オーディオ処理装置によって再生された第二のソースオーディオ信号が第二の記録されたオーディオ信号を生じさせると推定される第二の温度値を決定する工程を含み、イヤピースがユーザの耳の中に配置されたのちイヤピースの温度が変化したため、第二の温度値は、環境温度値と指定される決定された温度値と異なる。当該方法はさらに、オーディオ処理装置により、環境温度値と指定される決定された温度値および第二の温度値を使用して、ユーザ体温値を推定する工程を含む。
実施形態9は、決定された温度値および第二の温度値を使用してユーザ体温を推定する工程が、ユーザ体温値を、互いに関連する、ユーザ体温、ユーザイヤピース温度および環境温度の事前に校正されたセットに関連付ける工程を含む、実施形態8のコンピュータ実装方法である。
実施形態10は、1つまたは複数のプロセッサ;および1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、請求項1〜9の方法のいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体を含む、コンピューティングシステムである。
実施形態11は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、請求項1〜9の方法のいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
別の温度計測機構
実施形態1はコンピュータ実装方法である。当該方法は、ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程を含む。当該方法は、ソースオーディオ信号を再生しながら、ユーザイヤピースの電気音響変換器を使用して、記録されたオーディオ信号をオーディオ処理装置で記録する工程を含む。当該方法は、イヤピースの性質が電気音響変換器によるソースオーディオ信号の再生にどのように影響するかを示す1つまたは複数のパラメータをオーディオ処理装置によって特定する工程を含む。当該方法は、イヤピースの性質がソースオーディオ信号の再生にどのように影響するかをを示す1つまたは複数のパラメータの適用によって起こるソースオーディオ信号への変化を考慮しながら、ユーザイヤピースが位置するユーザ耳環境の性質が、オーディオ処理装置によって再生されたソースオーディオ信号にどのように影響するかを示すパラメータをオーディオ処理装置によって決定する工程を含む。当該方法は、オーディオ処理装置により、ユーザ耳の性質がソースオーディオ信号にどのように影響するかを示すパラメータを使用して温度値を決定する工程を含む。
実施形態2は、温度値がユーザ耳環境の相対温度値を表す、実施形態1のコンピュータ実装方法である。当該方法はさらに、オフセット定数およびスケーリング定数を使用して温度値を変更して、ユーザ耳環境の絶対温度値を生成する工程を含み、オフセット定数およびスケーリング定数は、ユーザイヤピースまたはユーザイヤピースのタイプのために校正された値である。
実施形態3は、1つまたは複数のプロセッサ;および1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1〜2の方法のいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体を含む、コンピューティングシステムである。
実施形態4は、1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、実施形態1〜2の方法のいずれかを実行する動作を実行させる、1つまたは複数のコンピュータ可読媒体である。
いくつかの実施形態において、オーディオ処理装置は、耳内検出技術、事前に記録された音技術を用いるアクティブノイズキャンセルおよび音響ベースの本人認証技術の2つ以上を含む、本明細書に記載される技術の様々な組み合わせを実行するように構成され得る。
いくつかの実施形態において、本明細書に記載される技術は、ワイヤレス接続(たとえばBLUETOOTH)を介してコンピューティング装置と通信可能に結合されているワイヤレスイヤピースを使用して実行され得る。たとえば、ワイヤレスイヤピースは、記録された音をデジタルサンプリングし、その音をヘッドセットで局所的に処理するか、または記録された信号を別個のオーディオ処理装置に送信するかのいずれかにより、たとえば音響ベースの本人認証、耳内検出および/または事前に記録された音を用いるアクティブノイズキャンセルを実行し得る。

Claims (20)

  1. ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程;
    該ユーザイヤピースの同じ該電気音響変換器を使用して、音響信号を該オーディオ処理装置で記録する工程;
    該ソースオーディオ信号の再生の結果として、該ユーザイヤピースが位置する空間の特性を示す、該音響信号の1つまたは複数の特徴の値を決定する工程;
    該音響信号の該1つまたは複数の特徴の決定された値を所定の値と比較する工程;および
    該音響信号の該1つまたは複数の特徴の決定された値と該所定の値との比較の結果に基づいて、該ユーザイヤピースがユーザの耳に位置するかどうかを判定する工程
    を含む、コンピュータ実装方法。
  2. 前記ユーザイヤピースが前記ユーザの耳に位置するかどうかに基づいて、指定された動作を実行するかどうかを決定する工程をさらに含む、請求項1記載のコンピュータ実装方法。
  3. 第一の時間において、前記ユーザイヤピースが前記ユーザの耳に位置すると判定する工程;
    該第一の時間の後の第二の時間において、該ユーザイヤピースの位置が該ユーザの耳にある状態から該ユーザの耳にない状態へと変化していると判定する工程;および
    該ユーザイヤピースの位置が該ユーザの耳にある状態から該ユーザの耳にない状態へと変化していると判定することに応答して、指定された動作を実行する工程
    をさらに含む、請求項1記載のコンピュータ実装方法。
  4. 前記指定された動作が、メディアファイルを再生する動作、メディアファイルを一時停止する動作、メディアファイルを停止する動作、一時停止されたメディアファイルの再生を再開する動作、電子ディスプレイをアクティブにする動作、電子ディスプレイのバックライトの明るさ設定を調節する動作、装置をロックモードに入れる動作、装置をロックモードから外す動作、電話での通話を開始する動作、電話での通話を終了する動作、アプリケーションを起動する動作、またはアプリケーションを終了する動作のうちの少なくとも1つを含む、請求項3記載のコンピュータ実装方法。
  5. 第一の時間において、前記ユーザイヤピースが前記ユーザの耳に位置しないと判定する工程;
    該第一の時間の後の第二の時間において、該ユーザイヤピースの位置が該ユーザの耳にない状態から該ユーザの耳にある状態へと変化していると判定する工程;および
    該ユーザイヤピースの位置が該ユーザの耳にない状態から該ユーザの耳にある状態へと変化していると判定することに応答して、指定された動作を実行する工程
    をさらに含む、請求項1記載のコンピュータ実装方法。
  6. 前記指定された動作が、メディアファイルを再生する動作、メディアファイルを一時停止する動作、メディアファイルを停止する動作、一時停止されたメディアファイルの再生を再開する動作、電子ディスプレイをアクティブにする動作、電子ディスプレイのバックライトの明るさ設定を調節する動作、装置をロックモードに入れる動作、装置をロックモードから外す動作、電話での通話を開始する動作、電話での通話を終了する動作、アプリケーションを起動する動作、またはアプリケーションを終了する動作のうちの少なくとも1つを含む、請求項5記載のコンピュータ実装方法。
  7. 前記ユーザイヤピースが前記ユーザの耳に位置するかどうかを一定期間にわたり繰り返し判定して、該ユーザイヤピースの位置の、(i)該ユーザの耳にない状態から該ユーザの耳にある状態への変化、または(ii)該ユーザの耳にある状態から該ユーザの耳にない状態への変化をモニタする工程をさらに含む、請求項1記載のコンピュータ実装方法。
  8. 前記ソースオーディオ信号を前記オーディオ処理装置で再生するのと同時並行で前記音響信号を該オーディオ処理装置で記録する工程をさらに含む、請求項1記載のコンピュータ実装方法。
  9. 前記ユーザイヤピースの同じ前記電気音響変換器が、(i)前記ソースオーディオ信号を可聴的に出力するスピーカとして、および(ii)該ソースオーディオ信号が再生される間に前記音響信号を感知するマイクとして、同時並行で機能する、請求項1記載のコンピュータ実装方法。
  10. 前記音響信号の1つまたは複数の特徴が、前記ユーザイヤピースが位置する空間の音響エコーのインパルス応答を含む、請求項1記載のコンピュータ実装方法。
  11. 前記所定の値が、前記ユーザの耳の中の空間を特徴づけるモデルを含む、請求項1記載のコンピュータ実装方法。
  12. 前記所定の値が、前記ユーザイヤピースが前記ユーザの耳に位置すると判定されたときに前記ソースオーディオ信号または別のオーディオ信号の再生から生じた音響信号の1つまたは複数の特徴の以前に決定された値に少なくとも部分的に基づいて決定される、請求項1記載のコンピュータ実装方法。
  13. 前記所定の値が、前記ユーザイヤピースが前記ユーザ以外の1人または複数のユーザのそれぞれの耳に位置していたときに前記ソースオーディオ信号または別のオーディオ信号の再生から生じた音響信号の1つまたは複数の特徴の値に少なくとも部分的に基づいて決定される、請求項1記載のコンピュータ実装方法。
  14. 前記イヤピースが、ヘッドホンまたはイヤバッドを含む、請求項1記載のコンピュータ実装方法。
  15. 前記オーディオ処理装置が、ポータブルメディアプレーヤ、スマートホン、タブレットコンピューティング装置、ノートブックコンピューティング装置、デスクトップコンピューティング装置、またはウェアラブルコンピューティング装置を含む、請求項1記載のコンピュータ実装方法。
  16. 前記ソースオーディオ信号を再生する工程が、ホワイトノイズを再生することを含む、請求項1記載のコンピュータ実装方法。
  17. 前記ソースオーディオ信号を再生する工程が、前記オーディオ処理装置のユーザに歌または音声コンテンツを再生することを含む、請求項1記載のコンピュータ実装方法。
  18. 前記ソースオーディオ信号を再生する工程が、20キロヘルツよりも高い平均周波数を有する音を再生することを含み、該再生される音が人の聴力の正常周波数限界よりも高い、請求項1記載のコンピュータ実装方法。
  19. 1つまたは複数のプロセッサ;ならびに
    1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が該1つまたは複数のプロセッサによって実行されると、該命令が、
    ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程;
    該ユーザイヤピースの同じ該電気音響変換器を使用して、音響信号を該オーディオ処理装置で記録する工程;
    該ソースオーディオ信号の再生の結果として、該ユーザイヤピースが位置する空間の特性を示す、該音響信号の1つまたは複数の特徴の値を決定する工程;
    該音響信号の該1つまたは複数の特徴の決定された値を所定の値と比較する工程;および
    該音響信号の該1つまたは複数の特徴の決定された値と該所定の値との比較の結果に基づいて、該ユーザイヤピースがユーザの耳に位置するかどうかを判定する工程
    を含む動作を実行させる、1つまたは複数のコンピュータ可読媒体
    を含む、コンピューティングシステム。
  20. 1つまたは複数のコンピュータ可読媒体であって、該媒体上に記憶された命令を有し、該命令が1つまたは複数のプロセッサによって実行されると、該命令が、
    ソースオーディオ信号をユーザイヤピースの電気音響変換器によって可聴的に出力させることを含む、ソースオーディオ信号をオーディオ処理装置で再生する工程;
    該ユーザイヤピースの同じ該電気音響変換器を使用して、音響信号を該オーディオ処理装置で記録する工程;
    該ソースオーディオ信号の再生の結果として、該ユーザイヤピースが位置する空間の特性を示す、該音響信号の1つまたは複数の特徴の値を決定する工程;
    該音響信号の該1つまたは複数の特徴の決定された値を所定の値と比較する工程;および
    該音響信号の該1つまたは複数の特徴の決定された値と該所定の値との比較の結果に基づいて、該ユーザイヤピースがユーザの耳に位置するかどうかを判定する工程
    を含む動作を実行させる、1つまたは複数のコンピュータ可読媒体。
JP2018562063A 2016-05-27 2017-05-26 ユーザの耳におけるイヤピースの存在の判定 Pending JP2019523581A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662342872P 2016-05-27 2016-05-27
US201662342869P 2016-05-27 2016-05-27
US201662342871P 2016-05-27 2016-05-27
US62/342,869 2016-05-27
US62/342,872 2016-05-27
US62/342,871 2016-05-27
US201662379160P 2016-08-24 2016-08-24
US62/379,160 2016-08-24
PCT/IB2017/053123 WO2017203484A1 (en) 2016-05-27 2017-05-26 Determining earpiece presence at a user ear

Publications (1)

Publication Number Publication Date
JP2019523581A true JP2019523581A (ja) 2019-08-22

Family

ID=59067715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562063A Pending JP2019523581A (ja) 2016-05-27 2017-05-26 ユーザの耳におけるイヤピースの存在の判定

Country Status (8)

Country Link
US (3) US10097914B2 (ja)
EP (1) EP3466106A1 (ja)
JP (1) JP2019523581A (ja)
KR (1) KR20190013880A (ja)
CN (1) CN109196879A (ja)
AU (1) AU2017268930A1 (ja)
CA (1) CA3025726A1 (ja)
WO (1) WO2017203484A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071299A1 (ja) * 2020-09-30 2022-04-07 フォスター電機株式会社 ヘッドセット
WO2022118526A1 (ja) * 2020-12-04 2022-06-09 パナソニックIpマネジメント株式会社 イヤホンおよび装着感調整方法

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US11178478B2 (en) 2014-05-20 2021-11-16 Mobile Physics Ltd. Determining a temperature value by analyzing audio
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
EP3466106A1 (en) 2016-05-27 2019-04-10 Bugatone Ltd. Determining earpiece presence at a user ear
JP6900955B2 (ja) * 2016-09-16 2021-07-14 日本電気株式会社 個人認証装置、個人認証方法および個人認証プログラム
EP3513724B1 (en) * 2016-09-16 2022-04-06 Nec Corporation Personal authentication device, personal authentication method, and recording medium
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801532D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801527D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801661D0 (en) 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
CN109754821B (zh) * 2017-11-07 2023-05-02 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
KR102488001B1 (ko) * 2018-01-22 2023-01-13 삼성전자주식회사 오디오 신호를 이용하여 사용자를 인증하는 전자 장치 및 그 방법
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
JP6610693B2 (ja) * 2018-03-20 2019-11-27 株式会社Jvcケンウッド 車両用撮像記録装置、車両用撮像制御方法及びプログラム
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
CN108391205B (zh) * 2018-03-30 2021-01-22 Oppo广东移动通信有限公司 左右声道切换方法和装置、可读存储介质、终端
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
CN108810787B (zh) * 2018-05-28 2021-08-31 Oppo广东移动通信有限公司 基于音频设备的异物检测方法和装置、终端
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10956546B2 (en) * 2018-06-05 2021-03-23 Cirrus Logic, Inc. Methods, apparatus and computer-readable mediums related to biometric authentication
WO2020014853A1 (zh) * 2018-07-17 2020-01-23 万魔声学科技有限公司 耳机、耳机入耳检测的方法及系统
CN110740396A (zh) * 2018-07-18 2020-01-31 安克创新科技股份有限公司 一种降噪耳机
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
JP7120313B2 (ja) * 2018-08-31 2022-08-17 日本電気株式会社 生体認証装置、生体認証方法およびプログラム
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10878796B2 (en) * 2018-10-10 2020-12-29 Samsung Electronics Co., Ltd. Mobile platform based active noise cancellation (ANC)
US20210397649A1 (en) * 2018-10-29 2021-12-23 Nec Corporation Recognition apparatus, recognition method, and computer-readable recording medium
US10491981B1 (en) 2018-12-14 2019-11-26 Apple Inc. Acoustic in ear detection for a hearable device
JP7317448B2 (ja) * 2018-12-18 2023-07-31 三星電子株式会社 生体情報検出装置
JP7300091B2 (ja) * 2018-12-19 2023-06-29 日本電気株式会社 情報処理装置、装着型機器、情報処理方法及び記憶媒体
EP3900630A4 (en) * 2018-12-19 2021-12-22 NEC Corporation INFORMATION PROCESSING DEVICE, WEARABLE DEVICE, INFORMATION PROCESSING METHODS AND STORAGE MEDIUM
WO2020174681A1 (ja) * 2019-02-28 2020-09-03 日本電気株式会社 状態推定装置、状態推定方法、及びコンピュータ読み取り可能な記録媒体
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
JP2020161949A (ja) 2019-03-26 2020-10-01 日本電気株式会社 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム
CN110087161B (zh) * 2019-04-23 2020-07-07 青岛恒茂电子有限公司 一种蓝牙耳机的佩戴状态切换方法、耳机及存储介质
US11483664B2 (en) 2019-04-29 2022-10-25 Cirrus Logic, Inc. Methods, apparatus and systems for biometric processes
GB2594839B (en) 2019-04-29 2022-05-04 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for biometric processes
US11531738B2 (en) * 2019-04-29 2022-12-20 Cirrus Logic, Inc. Methods, apparatus and systems for biometric processes
GB2584495B (en) * 2019-04-29 2021-09-01 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11172298B2 (en) * 2019-07-08 2021-11-09 Apple Inc. Systems, methods, and user interfaces for headphone fit adjustment and audio output control
CN110278509A (zh) * 2019-07-26 2019-09-24 歌尔股份有限公司 一种无线耳机控制方法、装置及无线耳机和存储介质
US10880667B1 (en) * 2019-09-04 2020-12-29 Facebook Technologies, Llc Personalized equalization of audio output using 3D reconstruction of an ear of a user
CN110769354B (zh) * 2019-10-25 2021-11-30 歌尔股份有限公司 一种用户语音检测装置、方法及耳机
CN110677768A (zh) * 2019-10-31 2020-01-10 歌尔科技有限公司 一种无线耳机控制方法、装置及无线耳机和存储介质
EP4052485A1 (en) * 2019-11-01 2022-09-07 Starkey Laboratories, Inc. Ear-based biometric identification
WO2021089980A1 (en) * 2019-11-04 2021-05-14 Cirrus Logic International Semiconductor Limited Methods, apparatus and systems for personal audio device diagnostics
US11900730B2 (en) * 2019-12-18 2024-02-13 Cirrus Logic Inc. Biometric identification
CN111200769B (zh) * 2020-01-08 2022-01-28 昆山泰芯微电子有限公司 一种用于蓝牙耳机设备的通信方法以及蓝牙耳机设备
CN111343534A (zh) * 2020-03-02 2020-06-26 昆山众赢昌盛贸易有限公司 无线耳机入耳检测方法及无线耳机
CN111491234B (zh) * 2020-04-16 2022-01-28 广东思派康电子科技有限公司 一种头戴式降噪耳机
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US20210393168A1 (en) * 2020-06-22 2021-12-23 Bose Corporation User authentication via in-ear acoustic measurements
US11183205B1 (en) * 2020-07-08 2021-11-23 Cirrus Logic, Inc. Methods and apparatus for biometric processes
US11941319B2 (en) 2020-07-20 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11122350B1 (en) 2020-08-18 2021-09-14 Cirrus Logic, Inc. Method and apparatus for on ear detect
US20230370760A1 (en) * 2022-05-16 2023-11-16 Microsoft Technology Licensing, Llc Earbud location detection based on acoustical signature with user-specific customization

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6017052Y2 (ja) 1979-06-21 1985-05-27 ソニー株式会社 テ−プレコ−ダ
CN2162063Y (zh) 1993-05-07 1994-04-13 王建军 录放音耳机
US5787187A (en) 1996-04-01 1998-07-28 Sandia Corporation Systems and methods for biometric identification using the acoustic properties of the ear canal
US5990784A (en) 1996-12-17 1999-11-23 Yosemite Investment, Inc. Schmitt trigger loud alarm with feedback
JPH11205166A (ja) 1998-01-19 1999-07-30 Mitsubishi Electric Corp ノイズ検出装置
JP2000059876A (ja) 1998-08-13 2000-02-25 Sony Corp 音響装置およびヘッドホン
GB2375205A (en) 2001-05-03 2002-11-06 Orange Personal Comm Serv Ltd Determining identity of a user
US7359504B1 (en) 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
GB2434708B (en) 2006-01-26 2008-02-27 Sonaptic Ltd Ambient noise reduction arrangements
US7706821B2 (en) 2006-06-20 2010-04-27 Alon Konchitsky Noise reduction system and method suitable for hands free communication devices
US20070297634A1 (en) 2006-06-27 2007-12-27 Sony Ericsson Mobile Communications Ab Earphone system with usage detection
US7773759B2 (en) 2006-08-10 2010-08-10 Cambridge Silicon Radio, Ltd. Dual microphone noise reduction for headset application
US8249265B2 (en) 2006-09-15 2012-08-21 Shumard Eric L Method and apparatus for achieving active noise reduction
US8652040B2 (en) 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
JP5007561B2 (ja) 2006-12-27 2012-08-22 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、ノイズ低減処理用プログラム、ノイズ低減音声出力装置およびノイズ低減音声出力方法
GB2441835B (en) 2007-02-07 2008-08-20 Sonaptic Ltd Ambient noise reduction system
US20090003617A1 (en) 2007-06-28 2009-01-01 Goldman Stuart O Noise cancellation for buildings and/or structures
US8229145B2 (en) * 2007-09-05 2012-07-24 Avaya Inc. Method and apparatus for configuring a handheld audio device using ear biometrics
EP2214554B1 (en) 2007-11-27 2012-01-18 Koninklijke Philips Electronics N.V. Aural heart monitoring apparatus and method
JP4572945B2 (ja) 2008-03-28 2010-11-04 ソニー株式会社 ヘッドフォン装置、信号処理装置、信号処理方法
ATE548725T1 (de) 2008-10-31 2012-03-15 Austriamicrosystems Ag Aktive rauschsteueranordnung, aktiver rauschsteuerungskopfhörer und kalibrierungsverfahren
KR100986527B1 (ko) 2008-12-04 2010-10-07 한국기술교육대학교 산학협력단 음악선곡시스템 및 그 방법
JP4521461B2 (ja) * 2008-12-25 2010-08-11 株式会社東芝 音響処理装置、音響再生装置、及び音響処理方法
EP2202998B1 (en) 2008-12-29 2014-02-26 Nxp B.V. A device for and a method of processing audio data
US20100174390A1 (en) 2009-01-02 2010-07-08 Peter Garrett Solid-State Music Player And Host Docking System
US8705784B2 (en) * 2009-01-23 2014-04-22 Sony Corporation Acoustic in-ear detection for earpiece
US8699719B2 (en) * 2009-03-30 2014-04-15 Bose Corporation Personal acoustic device position determination
WO2010117714A1 (en) * 2009-03-30 2010-10-14 Bose Corporation Personal acoustic device position determination
US8184822B2 (en) 2009-04-28 2012-05-22 Bose Corporation ANR signal processing topology
US20100296666A1 (en) 2009-05-25 2010-11-25 National Chin-Yi University Of Technology Apparatus and method for noise cancellation in voice communication
US8737636B2 (en) 2009-07-10 2014-05-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation
US8401200B2 (en) * 2009-11-19 2013-03-19 Apple Inc. Electronic device and headset with speaker seal evaluation capabilities
US8509882B2 (en) 2010-06-08 2013-08-13 Alivecor, Inc. Heart monitoring system usable with a smartphone or computer
US8774875B1 (en) 2010-10-20 2014-07-08 Sprint Communications Company L.P. Spatial separation-enabled noise reduction
US8693700B2 (en) 2011-03-31 2014-04-08 Bose Corporation Adaptive feed-forward noise reduction
WO2012167234A1 (en) * 2011-06-02 2012-12-06 Cedars-Sinai Medical Center Earphones and hearing aids
US20130196721A1 (en) 2011-07-26 2013-08-01 Aloft Technologies, Inc. Wireless headset
US8750528B2 (en) * 2011-08-16 2014-06-10 Fortemedia, Inc. Audio apparatus and audio controller thereof
TW201330645A (zh) 2012-01-05 2013-07-16 Richtek Technology Corp 降低雜訊的錄音裝置及其方法
US9344815B2 (en) * 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Method for augmenting hearing
US9467776B2 (en) * 2013-03-15 2016-10-11 Cirrus Logic, Inc. Monitoring of speaker impedance to detect pressure applied between mobile device and ear
KR102045600B1 (ko) 2013-05-02 2019-11-15 부가톤 엘티디. 이어폰 능동 노이즈 제어
TWI551153B (zh) * 2013-11-01 2016-09-21 瑞昱半導體股份有限公司 驅動揚聲器的電路及方法
EP3066820B1 (en) * 2013-11-06 2018-03-21 Sony Corporation Method in an electronic mobile device, and such a device
US20150168996A1 (en) * 2013-12-17 2015-06-18 United Sciences, Llc In-ear wearable computer
US9560445B2 (en) * 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
US9524731B2 (en) 2014-04-08 2016-12-20 Doppler Labs, Inc. Active acoustic filter with location-based filter characteristics
US9557960B2 (en) 2014-04-08 2017-01-31 Doppler Labs, Inc. Active acoustic filter with automatic selection of filter parameters based on ambient sound
US9825598B2 (en) 2014-04-08 2017-11-21 Doppler Labs, Inc. Real-time combination of ambient audio and a secondary audio source
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
WO2015166482A1 (en) 2014-05-01 2015-11-05 Bugatone Ltd. Methods and devices for operating an audio processing integrated circuit to record an audio signal via a headphone port
CN105097000A (zh) * 2014-05-05 2015-11-25 昆山研达电脑科技有限公司 智能控制离开人耳的耳机及智能控制耳机离开人耳的方法
CA2949479C (en) * 2014-05-13 2019-06-25 Crutchfield Corporation Virtual simulation of spatial audio characteristics
FR3021180B1 (fr) 2014-05-16 2016-06-03 Parrot Casque audio a controle actif de bruit anc avec prevention des effets d'une saturation du signal microphonique "feedback"
KR20170007451A (ko) 2014-05-20 2017-01-18 부가톤 엘티디. 이어폰 출력 스피커로부터의 청각적 측정
WO2016067942A1 (ja) 2014-10-28 2016-05-06 株式会社三菱ケミカルホールディングス 検体情報処理装置、情報処理方法、情報処理プログラム、及び同プログラムを記録したコンピュータ読み取り可能な記録媒体
DK3062532T3 (en) * 2015-02-27 2018-10-22 Bernafon Ag PROCEDURE FOR ADAPTING A HEARING DEVICE TO A USER'S EAR AND A HEARING DEVICE
CN105451111B (zh) * 2015-12-10 2019-03-19 小米科技有限责任公司 耳机播放控制方法、装置及终端
EP3466106A1 (en) 2016-05-27 2019-04-10 Bugatone Ltd. Determining earpiece presence at a user ear
US20180357470A1 (en) * 2017-06-08 2018-12-13 Stmicroelectronics, Inc. Biometric ear identification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071299A1 (ja) * 2020-09-30 2022-04-07 フォスター電機株式会社 ヘッドセット
WO2022118526A1 (ja) * 2020-12-04 2022-06-09 パナソニックIpマネジメント株式会社 イヤホンおよび装着感調整方法

Also Published As

Publication number Publication date
US20170347180A1 (en) 2017-11-30
AU2017268930A1 (en) 2018-12-06
US10659867B2 (en) 2020-05-19
CN109196879A (zh) 2019-01-11
EP3466106A1 (en) 2019-04-10
WO2017203484A1 (en) 2017-11-30
US10334350B2 (en) 2019-06-25
CA3025726A1 (en) 2017-11-30
KR20190013880A (ko) 2019-02-11
US20190273982A1 (en) 2019-09-05
US20180376234A1 (en) 2018-12-27
US10097914B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
US10659867B2 (en) Identifying an acoustic signal for a user based on a feature of an aural signal
US9848263B2 (en) Enhancing audio using a mobile device
AU2016213897B2 (en) Adaptive room equalization using a speaker and a handheld listening device
US11534100B2 (en) On-ear detection
JP2015513832A (ja) オーディオ再生システム及び方法
US11558697B2 (en) Method to acquire preferred dynamic range function for speech enhancement
JP2015206989A (ja) 情報処理装置、情報処理方法及びプログラム
US9525954B2 (en) Audio device and audio producing method
WO2021123710A1 (en) Biometric identification
US11178478B2 (en) Determining a temperature value by analyzing audio
JP2017161775A (ja) 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法
US11206502B1 (en) System and method for evaluating an ear seal using normalization
US20230362570A1 (en) Playback Device Self-Calibration Using PCA-Based Room Response Estimation
WO2022047606A1 (en) Method and system for authentication and compensation
JP2013098731A (ja) 情報処理装置および補正制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190320