JP2019152861A - 集中レベルに基づく、知覚される周囲音の制御 - Google Patents

集中レベルに基づく、知覚される周囲音の制御 Download PDF

Info

Publication number
JP2019152861A
JP2019152861A JP2019035968A JP2019035968A JP2019152861A JP 2019152861 A JP2019152861 A JP 2019152861A JP 2019035968 A JP2019035968 A JP 2019035968A JP 2019035968 A JP2019035968 A JP 2019035968A JP 2019152861 A JP2019152861 A JP 2019152861A
Authority
JP
Japan
Prior art keywords
ambient
level
user
signal
concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019035968A
Other languages
English (en)
Other versions
JP7306838B2 (ja
Inventor
ディ センソ ダビデ
Di Censo Davide
ディ センソ ダビデ
ボーランガー アダム
Boulanger Adam
ボーランガー アダム
ヴァーベック ジョセフ
Verbeke Joseph
ヴァーベック ジョセフ
マルティ ステファン
Marti Stefan
マルティ ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of JP2019152861A publication Critical patent/JP2019152861A/ja
Application granted granted Critical
Publication of JP7306838B2 publication Critical patent/JP7306838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01Input selection or mixing for amplifiers or loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Abstract

【課題】集中レベルに基づく、知覚される周囲音の制御の提供。【解決手段】一実施形態において、集中アプリケーションは、ユーザによって知覚される周囲音を制御する。動作中、集中アプリケーションは、ユーザに関連した生体認証信号に基づいてユーザに関連した集中レベルを決定する。集中アプリケーションは、次いで、集中レベルに基づいて周囲認識レベルを決定する。その後、集中アプリケーションは、ユーザによって知覚される周囲音の少なくとも1つの特性を周囲認識レベルに基づいて変更する。【選択図】図3

Description

各種実施形態は、一般にオーディオシステムに関し、より具体的には、知覚される周囲音を集中レベルに基づいて制御することに関する。
様々な聴取及び通信システムのユーザは、音楽及び他の種類の音を聴くために個人用聴覚デバイスを利用する。例えば、MP3プレーヤ、CDプレーヤ、ストリーミングオーディオプレーヤなどを介して送信された録音済みの音楽を聴くために、ユーザは、有線または無線ヘッドホンを着用してもよい。ユーザがヘッドホンを着用している間、ヘッドホン内に含まれるスピーカは、要求された音をユーザの外耳道にスピーカ(複数可)を介して直接伝達する。
ユーザの聴取体験をカスタマイズするために、一部のヘッドホンは、ヘッドホンを介してユーザが聞く周囲音の音量をユーザが手動で制御することを可能にする機能をも含む。周囲音とは、ユーザの周囲の環境から生じる音を指す。例えば、一部の周囲認識型ヘッドホンは、ユーザの耳との「密着した」フィット感を提供するイヤーバッドを含む。これらの種類のイヤホンがユーザによって着用されているとき、イヤーバッドのそれぞれは、動作中に外部環境に漏れる音の音量を低下させるために、ユーザの耳に対して相対的に密閉された音響室を作り出す。
密閉されたイヤーバッドは、(例えば、漏れによる)音の過度な劣化を伴わずにユーザに音を伝達することが可能であるが、密閉されたイヤーバッドは、話し言葉、警告音などの様々な種類の環境音からユーザを隔離し得る。従って、ユーザが環境音を選択的に知覚することを可能にするために、ヘッドホンは、周囲環境から周囲音を受信する外向きのマイクロホンを含んでもよい。ユーザは、次いで、周囲音をヘッドホンによってどのように再現するかを手動で調整してもよく、それにより、選択された周囲音を、音楽などの他のオーディオコンテンツと共に出力してもよい。例えば、ユーザが特定のタスクに注力しており、周囲環境の音によって気を散らされたくない場合、ユーザは、周囲音を抑制するために、スピーカによって再生される周囲音の音量を手動で低下させてもよい。これに対し、ユーザが周囲環境を認識することを望んでいる場合、ユーザは、周囲音を聞くことができるように、スピーカによって再生される周囲音の音量を手動で増大させてもよい。
ヘッドホンによって周囲音が再生される程度をユーザに手動で制御するように求めることは、ある種類のタスクを行うユーザの能力を低下させ得る。例えば、ユーザがタスクに注力しているとき、スマートフォンを検索し、スマートフォンを介してヘッドホン設定アプリケーションを実行し、次いでヘッドホン設定アプリケーションを介して手動選択を行うことにより、タスクに注力するユーザの能力が低下し得る。更に、時として、ユーザは、このような手動選択を行うことができない、またはこのような手動選択を行うことを望まない場合がある。例えば、周囲音の音量を調整するように構成される物理的ボタンまたはスライダの位置をユーザが忘れている場合、ユーザは、ヘッドホンによって周囲音が再生される程度を制御することができない場合がある。別の例では、ユーザが手袋を着用している場合、ユーザは、ユーザによって聞くことができる周囲音の音量を適切に調整するためにボタンまたはスライダを適切に操作することができない場合がある。
以上の事項が示すように、ユーザによって知覚される周囲音を制御するためのより効果的な技術が有用となる。
一実施形態は、ユーザによって知覚される周囲音を制御するための方法を記載する。方法は、ユーザに関連した生体認証信号に基づいて集中レベルを決定することと;集中レベルに基づいて周囲認識レベルを決定することと;ユーザによって知覚される周囲音の少なくとも1つの特性を周囲認識レベルに基づいて変更することとを含む。
更なる実施形態は、特に、上述した方法を実施するように構成されたシステム及びコンピュータ可読媒体を提供する。
従来技術に対する開示された技術の少なくとも1つの技術的利点は、周囲音がユーザによってどのように知覚されるか、及び/または周囲音がユーザによって知覚されるかどうかを、ユーザからの手動入力を必要とすることなく、集中レベルに基づいて自動的に制御できることである。例えば、周囲環境内の気が散る音、または周囲音レベルを手動で調整する必要があることなどの邪魔が入ることなくタスクに注力することをユーザに可能にするために、ユーザによって周囲音を聞くことができる程度を上昇または低下させることができる。従って、所与のタスクに注力するユーザの能力が改善される。
上述した特徴を詳細に理解することができるように、上で簡潔に要約された各種実施形態のより具体的な説明を、ある実施形態を参照することによって行うことができる。これらの実施形態のいくつかは添付図面に示されている。しかしながら、添付図面は、典型的な実施形態のみを示しており、従って、範囲を制限するものとみなされるべきではないことに注意されたい。なぜなら、企図された実施形態は、他の同様に効果的な実施形態を容認し得るためである。
本発明は、例えば、以下を提供する。
(項目1)
ユーザによって知覚される周囲音を制御する方法であって、
前記ユーザに関連した生体認証信号に基づいて集中レベルを決定することと、
前記集中レベルに基づいて周囲認識レベルを決定することと、
前記ユーザによって知覚される周囲音の少なくとも1つの特性を前記周囲認識レベルに基づいて変更することと
を含む、前記方法。
(項目2)
前記ユーザによって知覚される前記周囲音の少なくとも1つの特性を変更することは、
前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと、
前記周囲調整信号に基づいてスピーカ信号を生成することと
を含む、上記項目に記載の方法。
(項目3)
前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、上記項目のいずれか一項に記載の方法。
(項目4)
前記周囲調整信号をキャンセルすることは、前記オーディオ入力信号の反転バージョンを生成することを含む、上記項目のいずれか一項に記載の方法。
(項目5)
前記周囲認識レベルを決定することは、
前記集中レベルを閾値レベルと比較することと、
前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、
前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することと
を含む、上記項目のいずれか一項に記載の方法。
(項目6)
前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、上記項目のいずれか一項に記載の方法。
(項目7)
前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、
前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、上記項目のいずれか一項に記載の方法。
(項目8)
脳波計測センサ、心拍センサ、機能的近赤外線分光センサ、皮膚電気反応センサ、加速度センサ、または視線センサから前記生体認証信号を受信することを更に含む、上記項目のいずれか一項に記載の方法。
(項目9)
前記スピーカは、乗り物の内部に搭載され、または一対のヘッドホン内に含まれる、上記項目のいずれか一項に記載の方法。
(項目10)
コンピュータ可読記憶媒体であって、プロセッサによって実行されるとき、
ユーザに関連した第1の生体認証信号に基づいて集中レベルを決定するステップと、
前記集中レベルに基づいて周囲認識レベルを決定するステップと、
前記周囲認識レベルに基づいて受動的ノイズキャンセル動作、能動的ノイズキャンセル動作、または音響透過動作を実行するステップと
を実行することにより、前記プロセッサに、前記ユーザによって知覚される周囲音を制御させる命令を含む、前記コンピュータ可読記憶媒体。
(項目11)
前記受動的ノイズキャンセル動作、前記能動的ノイズキャンセル動作、または前記音響透過動作を実行することは、
前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと、
前記周囲調整信号に基づいてスピーカ信号を生成することと
を含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目12)
前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目13)
前記周囲認識レベルを決定することは、
前記集中レベルを閾値レベルと比較することと、
前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、
前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することと
を含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目14)
前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目15)
前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、
前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目16)
前記第1の生体認証信号は、前記ユーザに関連した神経活動を指定する、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目17)
前記集中レベルを決定することは、
第1のセンサから受信された前記第1の生体認証信号に基づいてタスク集中を推定することと、
第2のセンサから受信された第2の生体認証信号に基づいてタスク需要を推定することと、
前記タスク集中及び前記タスク需要に基づいて前記集中レベルを計算することと
を含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目18)
前記集中レベルを決定することは、動機となる言葉について前記ユーザが考えているということを前記第1の生体認証信号に基づいて決定することと、前記動機となる言葉に基づいて前記集中レベルを設定することとを含む、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
(項目19)
ユーザによって知覚される周囲音を制御するシステムであって、
命令を記憶するメモリと、
プロセッサであって、前記メモリに結合され、前記命令を実行するとき、
前記ユーザに関連した生体認証信号に基づいて集中レベルを決定し、
前記集中レベルと、周囲音に関連したオーディオ入力信号とに基づいて周囲調整信号を生成し、
前記周囲調整信号に基づいて前記ユーザに関連したスピーカを制御する、
ように構成される、前記プロセッサと
を含む、前記システム。
(項目20)
前記ユーザは乗り物の第1の乗員であり、前記オーディオ入力信号は、前記乗り物の外部に位置する第1のマイクロホン及び前記乗り物の第2の乗員に関連した第2のマイクロホンのうちの少なくとも一方によって受信される、上記項目のいずれか一項に記載のシステム。
(摘要)
一実施形態において、集中アプリケーションは、ユーザによって知覚される周囲音を制御する。動作中、集中アプリケーションは、ユーザに関連した生体認証信号に基づいてユーザに関連した集中レベルを決定する。集中アプリケーションは、次いで、集中レベルに基づいて周囲認識レベルを決定する。その後、集中アプリケーションは、ユーザによって知覚される周囲音の少なくとも1つの特性を周囲認識レベルに基づいて変更する。
各種実施形態に係る、ユーザによって知覚される周囲音を制御するように構成されるシステムを示す。 各種実施形態に係る、図1の集中アプリケーションのより詳細な説明である。 各種実施形態に係る、図2のトレードオフエンジンによって実施可能である種々のマッピングの例を示す。 各種実施形態に係る、ユーザによって知覚される周囲音を制御するための方法ステップのフロー図である。 各種実施形態に係る、図2の環境サブシステムが環境認識レベルに応じて実施し得る3つの相の例を示す。
以下の説明では、各種実施形態のより徹底した理解を提供するために多くの具体的な詳細事項が記載される。しかしながら、当業者にとっては、これらの具体的な詳細事項のうちの1つ以上がなくても各種実施形態を実施可能であることが明らかであろう。
システム概観
図1は、各種実施形態に係る、ユーザによって知覚される周囲音を制御するように構成されるシステム100を示す。システム100は、2つのマイクロホン130、2つのスピーカ120、生体認証センサ140及び計算インスタンス110を含むが、これらに限定されることはない。説明目的のために、類似のオブジェクトの複数のインスタンスは、必要な所で、オブジェクトを識別する参照番号及びインスタンスを識別する括弧付きの数によって示される。
代替的な実施形態において、システム100は、任意の組み合わせで、任意の数のマイクロホン130、任意の数のスピーカ120、任意の数の生体認証センサ140及び任意の数の計算インスタンス110を含んでもよい。更に、システム100は、他の種類の感覚機器ならびに任意の数及び種類のオーディオ制御デバイスを含み得るが、これらに限定されることはない。例えば、いくつかの実施形態において、システム100は、全地球測位システム(global positioning system:GPS)センサ及び音量制御スライダを含んでもよい。
図に示すように、システム100は、内向きの組み込みスピーカ120及び外向きの組み込みマイクロホン130を備えたヘッドホンを含む。ヘッドホンがユーザによって着用されているとき、スピーカ120(1)はユーザの一方の耳を対象とし、スピーカ120(2)はユーザの他方の耳を対象とする。動作中、スピーカ120(i)は、スピーカ信号122(i)を、対象となる耳に向けて導かれる音に変換する。音に変えられ、ユーザの耳に送信されると、スピーカ信号122は、全体的な聴取体験を提供する。いくつかの実施形態では、ステレオの聴取体験が指定されてもよく、スピーカ信号122(1)とスピーカ信号122(2)とのコンテンツが異なってもよい。他の実施形態では、モノラルの聴取体験が指定されてもよい。このような実施形態では、スピーカ信号122(1)とスピーカ信号122(2)とを、ユーザの両耳で受けることが意図される単一信号に置き換えてもよい。
マイクロホン130(i)は、マイクロホン130(i)によって検出された周囲音をマイクロホン信号132(i)に変換する。本明細書において参照される場合、「周囲音」は、システム100のユーザの周囲の領域内に存在するが、システム100によって生成されない任意の音を含み得る。周囲音は、本明細書において「環境音」とも呼ばれる。周囲音の例としては、音声、交通ノイズ、鳥の鳴き声、電化製品などが挙げられるが、これらに限定されることはない。
スピーカ信号122(i)は、スピーカ120(i)を対象とする要求された再生信号(図1に図示せず)及び周囲調整信号(図1には図示せず)を含むが、これらに限定されることはない。要求された再生信号は、任意の数の聴取及び通信システムから要求された音を表す。聴取及び通信システムの例としては、MP3プレーヤ、CDプレーヤ、ストリーミングオーディオプレーヤ、スマートフォンなどが挙げられるが、これらに限定されることはない。
周囲調整信号は、ヘッドホンを着用しているときにユーザによって知覚される周囲音をカスタマイズする。周囲調整信号のそれぞれは、認識信号またはキャンセル信号を含む。スピーカ信号122(i)内に含まれる認識信号は、マイクロホン信号132(i)によって表された周囲音の少なくとも一部を表す。逆に、スピーカ信号122(i)に関連したキャンセル信号は、マイクロホン信号132(i)によって表された周囲音の少なくとも一部をキャンセルする。
一般に、ユーザによって知覚される周囲音をカスタマイズする従来のヘッドホンは、従来のヘッドホンを介してユーザが聞く周囲音の音量を手動で制御することをユーザに可能にする機能を含む。例えば、一部の従来のヘッドホンにおいて、ユーザは、ヘッドホンによって再生される周囲音の全てまたは一部を手動で調整してもよい。スピーカは、次いで、手動で選択された周囲音を、要求された音と共に出力する。
ヘッドホンによって周囲音が再生される程度をユーザが手動で制御する必要があると、ある種類のタスクを行うユーザの能力が低下し得る。例えば、ユーザがタスクに注力しているとき、スマートフォンを検索し、スマートフォンを介してヘッドホン設定アプリケーションを実行し、次いでヘッドホン設定アプリケーションを介して手動選択を行うことにより、タスクに注力するユーザの能力が低下し得る。更に、時として、ユーザは、このような手動選択を行うことができない、またはこのような手動選択を行うことを望まない場合がある。例えば、周囲音の音量を調整するように構成される物理的ボタンまたはスライダの位置をユーザが忘れている場合、ユーザは、ヘッドホンによって周囲音が再生される程度を制御することができない場合がある。別の例では、ユーザが手袋を着用している場合、ユーザは、ユーザによって聞くことができる周囲音の音量を適切に調整するためにボタンまたはスライダを適切に操作することができない場合がある。
集中レベルに基づく、聴取体験の自動的な最適化
ユーザによって知覚される周囲音を手動でカスタマイズすることに関する上述の制限に対処するために、システム100は、生体認証センサ140及び集中アプリケーション150を含むが、これらに限定されることはない。生体認証センサ140は、生体認証信号142を介してユーザに関連した神経活動を指定する。例えば、いくつかの実施形態において、生体認証センサ140は、脳の電気的活動を測定して生体認証信号142を生成する脳波計測(electroencephalography:EEG)センサを含む。生体認証センサ140は、ユーザに関連した神経活動を測定することを生体認証センサ140に可能にする任意の技術的に実現可能な方法で位置していてもよい。例えば、図1に示した実施形態において、生体認証センサ140は、ヘッドホンのヘッドバンド内に組み込まれ、ユーザの脳に近接している。
同一または他の実施形態において、システム100は、任意の数の生体認証センサ140を含んでもよい。生体認証センサ140のそれぞれは、ユーザに関連した集中レベルを決定することに関連するユーザの生理的態様または行動態様を種々の生体認証信号142を介して指定する。生体認証センサ140の更なる例としては、機能的近赤外線分光(functional near−infrared spectroscopy:fNIRS)センサ、皮膚電気反応センサ、加速度センサ、視線センサ、眼瞼センサ、瞳孔センサ、眼筋センサ、脈拍センサ、心拍センサなどが挙げられるが、これらに限定されることはない。
図2に関連してより詳細に説明されるように、集中アプリケーション150は、生体認証信号(複数可)142に基づいてユーザに関連した集中レベルを決定する。集中レベルは、ユーザによる注力の度合いを示す。その後、集中アプリケーション150は、集中レベルと、集中レベルと周囲認識レベルとの間のマッピングとに基づき、周囲認識レベルを設定する。周囲認識レベルは、ユーザによって知覚される周囲音(複数可)の1つ以上の特性を指定する。例えば、周囲認識レベルは、ヘッドホンを着用しているときにユーザが受ける周囲音の全音量を指定することができる。一般に、マッピングは、タスクに注力するユーザの能力と、周囲環境と関わるユーザの能力との間の関係を含む。
有利なことに、ユーザは、自分の活動及び周囲環境に合うように自分の聴取体験を変えるべく手動選択を行うことを必要としない。例えば、いくつかの実施形態では、ユーザが特定のタスクに集中している場合、集中アプリケーション150は、周囲認識レベルを自動的に低下させて、タスクに集中するユーザの能力を向上させてもよい。しかしながら、ユーザがどのタスクにも集中していない場合、集中アプリケーション150は、周囲認識レベルを自動的に上昇させて、自分の周囲環境内の人や物と関わるユーザの能力を向上させてもよい。
スピーカ120(i)のそれぞれについて、集中アプリケーション150は、周囲認識レベル及びマイクロホン信号132(i)に基づいて周囲調整信号を生成する。特に、マイクロホン信号132(i)について、周囲調整信号は、周囲認識レベルに基づいたノイズキャンセル信号または認識信号を含む。スピーカ120(i)のそれぞれについて、集中アプリケーション150は、次いで、対応する周囲調整信号及び要求された再生信号(図1には図示せず)に基づき、スピーカ信号122(i)を生成する。要求された再生信号は、スピーカ120(i)を対象とするオーディオコンテンツ(例えば、音楽)を表す。
図に示すように、集中アプリケーション150は、計算インスタンス110内に含まれるメモリ116内に存在し、計算インスタンス110内に含まれるプロセッサ112上で実行される。プロセッサ112及びメモリ116は、任意の技術的に実現可能な方法で実装されてもよい。例えば、限定されることはないが、各種実施形態において、プロセッサ112とメモリ116との任意の組み合わせは、スタンドアロンチップとして、または特定用途向け集積回路(application−specific integrated circuit:ASIC)もしくはシステム・オン・チップ(system−on−a−chip:SoC)として実装される、より包括的な解決策の一部として実装されてもよい。代替的な実施形態において、集中アプリケーション150のために本明細書で説明した機能の全てまたは一部は、任意の技術的に実現可能な方法でハードウェア内に実装されてもよい。
いくつかの実施形態では、図1に示したように、計算インスタンス110は、限定されることはないが、メモリ116とプロセッサ112との両方を含み、システム100に関連した物理的オブジェクト(例えば、プラスチック製ヘッドバンド)内に組み込まれ、または当該オブジェクト上に載置されてもよい。代替的な実施形態において、システム100は、任意の技術的に実現可能な方法で実装されている任意の数のプロセッサ112及び任意の数のメモリ116を含んでもよい。更に、計算インスタンス110、プロセッサ112及びメモリ116は、任意の数の物理的位置に位置する任意の数の物理的リソースを介して実装されてもよい。例えば、いくつかの代替的な実施形態において、メモリ116はクラウド(すなわち、カプセル化された共有リソース、ソフトウェア、データなど)内に実装されてもよく、プロセッサ112はスマートフォン内に含まれてもよい。更に、集中アプリケーション150内に含まれる機能は、任意の数のメモリ116内に記憶され、任意の数のプロセッサ112を介して実行される任意の数のアプリケーションにわたって分割されてもよい。
プロセッサ112は、一般に、入力データを操作するようにプログラム命令を実行するプログラム可能なプロセッサを含む。プロセッサ112は、任意の数の処理コア、メモリ、及びプログラムの実行を容易にするための他のモジュールを含んでもよい。一般に、プロセッサ112は、任意の数の入力デバイス(例えば、マイクロホン130、マウス、キーボードなど)を介して入力を受信してもよく、任意の数の出力デバイス(例えば、スピーカ120、ディスプレイデバイスなど)のための出力を生成してもよい。
メモリ116は、一般に、アプリケーションプログラム及びプロセッサ112による処理のためのデータを記憶する、ランダムアクセスメモリ(random access memory:RAM)チップなどの記憶チップを含む。各種実施形態において、メモリ116は、光学ドライブ、磁気ドライブ、フラッシュドライブまたは他の記憶装置などの不揮発性メモリを含む。いくつかの実施形態において、記憶装置(図示せず)は、メモリ116を補完してもよく、または置き換えてもよい。記憶装置は、プロセッサ112にアクセス可能である任意の数及び種類の外部メモリを含んでもよい。例えば、限定されることはないが、記憶装置としては、セキュアデジタルカード、外部フラッシュメモリ、可搬型コンパクトディスクリードオンリーメモリ(compact disc read−only memory:CD−ROM)、光学記憶デバイス、磁気記憶デバイス、または以上の任意の好適な組み合わせを挙げることができる。
本明細書で説明したシステム100及び技術は、限定的ではなく例示的であり、企図された実施形態のより広範な思想及び範囲から逸脱することなく変更可能であることに注意されたい。システム100及び集中アプリケーション150によって提供される機能に対する多くの変更及び変形は、説明した実施形態の範囲及び思想から逸脱することなく当業者にとって明らかとなるであろう。例えば、いくつかの実施形態において、集中アプリケーション150は、集中レベル及び種々の設定入力に基づき、ユーザの耳のそれぞれについて異なる周囲認識レベルを計算してもよい。更に、設定入力は、耳の一方がユーザに関連した集中レベルに関わらず周囲音から音響的に隔離されるべきである一方、他方の耳がユーザに関連した集中レベルに基づいて周囲音から選択的に隔離されるべきであることを指定してもよい。
単に説明目的のために、集中アプリケーション150は、図1に示したヘッドホンをシステム100が含む文脈において本明細書で説明されている。しかしながら、当業者は認識するであろうが、代替的な実施形態において、システム100は、ユーザが知覚する周囲音を制御しつつ任意の数及び種類の聴取及び通信システムから音楽及び他の要求された音を受けることを任意の数のユーザに可能にする任意の種類のオーディオシステムを含んでもよい。聴取及び通信システムの例としては、MP3プレーヤ、CDプレーヤ、ストリーミングオーディオプレーヤ、スマートフォンなどが挙げられるが、これらに限定されることはない。
いくつかの代替的な実施形態において、システム100は、任意の数及び組み合わせのオーディオデバイスを介して任意の数のユーザに任意の種類の聴取体験を与えてもよい。オーディオデバイスの例としては、イヤーバッド、ヒアラブル、補聴器、個人用増音器、個人用増音製品、ヘッドホンなどが挙げられるが、これらに限定されることはない。同一または他の実施形態において、システム100は、任意の数のユーザに任意の種類の聴取体験を与える任意の数のスピーカ120を含んでもよい。例えば、スピーカ120は、モノラルの聴取体験、ステレオの聴取体験、2次元(2D)サラウンドの聴取体験、3次元(3D)空間の聴取体験などを与えてもよい。各ユーザについて、集中アプリケーション150が内部に実装されているオーディオシステムに関わりなく、集中アプリケーション150は、聴取体験を最適化することにより、ユーザが任意の種類のデバイスまたはアプリケーションと明示的に対話することを必要とせずに、多様な活動を行うユーザの能力を向上させる。
いくつかの代替的な実施形態において、システム100は、乗り物の各乗員について、乗員が知覚する乗り物外部の音及び乗り物内からの(例えば、他の乗員に関連した)音を制御する乗り物搭載オーディオシステムを含む。乗り物搭載オーディオシステムは、集中アプリケーション150、種々の乗員を対象とする種々のスピーカ120、乗り物の外側に搭載されているマイクロホン130、種々の乗員を対象とする種々のマイクロホン130、及びヘッドレスト内に組み込まれた生体認証センサ140を含むが、これらに限定されることはない。
各乗員について、集中アプリケーション150は、乗員に近接した生体認証センサ140に基づいて乗員の集中レベルを決定する。各乗員について、集中アプリケーション150は、次いで、乗員の集中レベルに基づき、乗員に関連した周囲認識レベルを決定する。その後、各乗員について、集中アプリケーション150は、乗員に関連した周囲認識レベルと、マイクロホン信号132とに基づき、乗員を対象とする周囲調整信号を生成する。最後に、各乗員について、集中アプリケーション150は、乗員を対象とする要求されたオーディオコンテンツを表す要求された再生信号を、乗員を対象とする周囲認識信号と合成して、乗員に関連したスピーカ信号122を生成する。
いくつかの代替的な実施形態において、乗り物搭載オーディオシステムは、集中アプリケーション150、種々の乗員を対象とする任意の数のスピーカ120、乗り物の外側に搭載されているマイクロホン130、種々の乗員を対象とする種々のマイクロホン130、及びヘッドレスト内に組み込まれた生体認証センサ140を含むが、これらに限定されることはない。スピーカ120のそれぞれは、乗り物と一体化されてもよく、乗り物の乗員によって着用された無線イヤーバッドに内蔵されてもよく、または乗り物に結線され、乗り物の乗員によって着用されたイヤーバッドに内蔵されてもよい。
各種の代替的な実施形態において、集中アプリケーション150の機能を、システム100の能力に基づいて変えてもよい。例えば、一般的な事項として、システム100は、知覚される周囲音を制御するための任意の数の技術を可能にしてもよく、集中アプリケーション150は任意の数の技術を実施してもよい。知覚される周囲音を制御するための技術のいくつかの例としては、限定されることはないが、音響透過技術、能動的ノイズキャンセル技術及び受動的ノイズキャンセル技術を含む。音響透過技術は、周囲音の電子音響的伝導を伴う。能動的ノイズキャンセル技術は、周囲音の電子音響的キャンセルを伴う。受動的ノイズキャンセル技術は、物理的構成要素(複数可)を介してユーザの耳を周囲音から選択的に遮断する。
図1に関連して説明したヘッドホンを含むシステム100は、音響透過技術と能動的ノイズキャンセル技術との両方を実施する。マイクロホン130(i)によって検出された周囲音の少なくとも一部を知覚することをユーザに可能にするために、集中アプリケーション150は、任意の組み合わせで、マイクロホン信号132(i)に対して任意の数及び種類の音響透過動作を実行して認識信号を生成する。音響透過動作の例としては、再現動作、フィルタリング動作、低減動作及び増強動作が挙げられるが、これらに限定されることはない。マイクロホン130(i)によって検出された周囲音をユーザが知覚しないにようにするために、集中アプリケーション150は、マイクロホン信号132(i)の反転バージョンであるキャンセル信号を生成する。
代替的な実施形態において、システム100は、受動的ノイズキャンセル技術を実施するヘッドホンを含んでもよい。例えば、いくつかの実施形態において、ヘッドホンは、ヘッドホンを通じてユーザの耳に「漏れる」周囲音を調整するために徐々に開く、または閉じることが可能な物理フラップを含んでもよい。このような実施形態において、集中アプリケーション150は、任意の技術的に実現可能な方法で、周囲認識レベルを反映するように物理フラップを制御してもよい。
図2は、各種実施形態に係る、図1の集中アプリケーション150のより詳細な説明である。図に示すように、集中アプリケーション150は、感知エンジン210、トレードオフエンジン230、環境サブシステム290及び再生エンジン270を含むが、これらに限定されることはない。一般に、集中アプリケーション150は、ユーザに関連した任意の数の生体認証信号142と、任意の数(ゼロを含む)の設定入力234とに基づき、ユーザの聴取体験をカスタマイズする。動作中、集中アプリケーション150がマイクロホン信号132及び要求された再生信号272を受信すると、集中アプリケーション150はスピーカ信号122を生成する。
感知エンジン210は、生体認証信号142に基づいてユーザに関連した集中レベル220を決定する。感知エンジンは、任意の技術的に実現可能な方法で集中レベル220を決定してもよい。例えば、いくつかの実施形態において、感知エンジン210は、EEGセンサから生体認証信号142を受信する。感知エンジン210は、生体認証信号142を介して受信された集合データに対し、ノイズ低減動作を含む前処理動作を実行して、フィルタリングされた生体認証信号を生成する。感知エンジン210は、次いで、フィルタリングされた生体認証信号を評価して、集中時の挙動に関することが知られている神経活動を選別する。集中アプリケーション150が神経活動を選別するために実施し得る技術のいくつかの例としては、複数半球の同期、フーリエ変換、ウェーブレット変換、固有ベクトル技術、自己回帰技術または他の特徴抽出技術が挙げられるが、これらに限定されることはない。
代替的な実施形態において、感知エンジン210は、エピソード記憶、戦略形成、計画立案及び注意に関する前頭前皮質領域内の血中酸素濃度を測定するfNIRSセンサから生体認証信号142を受信してもよい。このような実施形態において、感知エンジン210は、生体認証信号142を評価して、より高い集中レベル220に関連した認識活動を示し得る血中酸素濃度の増加を検出してもよい。
各種実施形態において、感知エンジン210は、集中の下位分類に基づいて集中レベル220を決定するために生体認証信号142の組み合わせを評価する。例えば、感知エンジン210は、EEGセンサから受信された生体認証信号142に基づいてタスク集中を推定し、fNIRSセンサから受信された生体認証信号142に基づいてタスク需要を推定することができる。本明細書において参照される場合、「タスク需要」は、現在のタスクに関連した認識リソースの量を示す。例えば、fNIRSセンサから受信された生体認証信号142が、ユーザが積極的に問題を解決している、または複雑な作業記憶を働かせていることを示している場合、感知エンジン210は、相対的に高いタスク需要を推定することになる。感知エンジン210は、次いで、タスク集中及びタスク需要に基づいて集中レベル220を計算することができる。
別の例では、感知エンジン210が、ユーザが集中していることを示している特徴をEEGセンサから受信された生体認証信号142が含むと判定した場合、感知エンジン210は、追加的な生体認証信号142を評価して集中レベル220を正確に決定することができる。例えば、感知エンジンは、加速度センサ及び視線センサから受信された生体認証信号142を評価して、頭部運動量及びサッカード量をそれぞれ決定することができる。一般に、ユーザの集中が高まると、頭部運動量とサッカード量との両方が減少する。
代替的な実施形態において、感知エンジン210は、EEGセンサから受信された生体認証信号142がユーザが特定の動機について考えているということを示しているときに集中レベル220を特定の値に設定するように訓練されてもよい。例えば、感知エンジン210は、「実行している」、「試験を受けている」または「作業している」という言葉についてユーザが考えるとき、ユーザが深く集中していることを示すための集中レベル220を設定するように訓練することができる。感知エンジン210は、鍵となる考えを任意の技術的に実現可能な方法で識別するように訓練することができる。例えば、感知エンジン210は、EEGセンサから受信された生体認証信号142を感知エンジン210が監視しつつ、選択された動機についてユーザが繰り返し考える設定プロセス中に訓練することができる。
トレードオフエンジン230は、集中レベル220、マッピング232及び任意の数の設定入力234に基づいて周囲認識レベル240を計算する。マッピング232は、タスクに注力するユーザの能力と、自分の周囲環境と関わるユーザの能力との間の関係を指定する。一般に、マッピング232は、集中レベル220と周囲認識レベル240との間の任意の関係を任意の技術的に実現可能な方法で指定してもよい。
単に説明目的のために、本明細書において参照される場合、集中レベル220は0から1の範囲をとる。ここで、0は、ユーザが全く集中していないことを示し、1は、ユーザが完全に集中していることを示す。更に、周囲認識レベル240は0から1の範囲をとる。ここで、0は、ユーザが周囲音を全く知覚しないことを示し、1は、ユーザが全ての周囲音を知覚することを示す。代替的な実施形態において、集中レベル220は、ユーザの集中を任意の技術的に実現可能な方法で表してもよく、周囲認識レベル240は、ユーザが知覚すべきである周囲音を任意の技術的に実現可能な方法で表してもよい。
いくつかの実施形態において、マッピング232は、集中レベル220と周囲認識レベル240との間の反比例関係を指定する。ユーザが次第に集中していくにつれて、集中アプリケーション150は、周囲音を知覚するユーザの能力を低下させる。その結果、ユーザは、注力する必要のあるタスクをより効率的に行うことが可能である。これに対し、ユーザが次第に集中を失っていくにつれて、集中アプリケーション150は、周囲音を知覚するユーザの能力を向上させる。その結果、ユーザは、ユーザの周囲の環境及び活動とより効率的に関わることが可能である。
他の実施形態において、マッピング232は、集中レベル220と周囲認識レベル240との間の比例関係を指定する。ユーザが次第に集中していくにつれて、集中アプリケーション150は、周囲音を知覚するユーザの能力を向上させて、より社会的な環境をユーザに提供する。これに対し、ユーザが次第に集中を失っていくにつれて、集中アプリケーション150は、周囲音を知覚するユーザの能力を低下させて、注力する必要のあるタスクに集中するようにユーザに促す。例えば、比例関係は、特定の詳細事項に過度に集中することなく、課題の全体的な解決に進展するように十分集中すべくユーザに促すことができる。
更に他の実施形態において、マッピング232は、閾値によるステップ状の無効化を指定する。ここで、ゼロから閾値までの集中レベル220は、1の周囲認識レベル240にマッピングされ、他の集中レベル220は、0の周囲認識レベル240にマッピングされる。その結果、集中アプリケーション150は、(閾値によって指定されるように)ユーザが十分集中しているときにのみ周囲音をキャンセルする。これに対し、他の実施形態において、マッピング232は、閾値によるステップ状の有効化を指定する。ここで、ゼロから閾値までの集中レベル220は、0の周囲認識レベル240にマッピングされ、他の集中レベル220は、1の周囲認識レベル240にマッピングされる。その結果、集中アプリケーション150は、(閾値によって指定されるように)ユーザが十分集中しているときにのみ周囲音を知覚することをユーザに可能にする。
トレードオフエンジン230は、マッピング232及びマッピング232に関連した任意のパラメータ(例えば、閾値)を任意の技術的に実現可能な方法で決定してもよい。例えば、いくつかの実施形態において、トレードオフエンジン230は、デフォルトマッピング232を実施してもよい。同一または他の実施形態において、トレードオフエンジン230は、設定入力234のうちの1つ以上に基づいてマッピング232及び任意の関連パラメータを決定してもよい。設定入力234の例としては、ユーザの位置、可変パラメータ(例えば、閾値)及びクラウドソースのデータが挙げられるが、これらに限定されることはない。
例えば、設定入力234が、ユーザが現在図書館にいることを示している場合、ユーザは、重要なタスクに注力している可能性がある。従って、トレードオフエンジン230は、閾値によるステップ状の無効化を指定するマッピング232を選択し、相対的に低い値に閾値を設定することができる。これに対し、設定入力234が、ユーザが現在ビーチにいることを示している場合、ユーザは、状況を楽しんでいる可能性がある。従って、トレードオフエンジン230は、閾値によるステップ状の有効化を指定するマッピング232を選択し、相対的に低い値に閾値を設定することができる。
図に示すように、環境サブシステム290は、周囲認識レベル240を受信し、周囲調整信号280を生成する。環境認識サブシステム290は、音響透過エンジン250及びノイズキャンセルエンジン260を含むが、これらに限定されることはない。任意の所与の時刻において、環境サブシステム290は、周囲調整信号280を生成してもよく、または生成しなくてもよい。更に、環境サブシステム290が周囲調整信号280を生成する場合、任意の所与の時刻において、周囲調整信号280は、音響透過エンジン250によって生成された認識信号252またはノイズキャンセルエンジン260によって生成されたノイズキャンセル信号262のいずれかを含む。周囲認識レベル240に基づいて環境認識サブシステム290によって実施され得る3つの相の例を図5に関連して説明する。
より正確には、周囲認識レベル240がゼロではない場合、環境サブシステム290は、ノイズキャンセルエンジン260を無効にする。更に、周囲認識レベル240に応じて、環境サブシステム290は、マイクロホン信号132及び周囲認識レベル240に基づいて認識信号252を生成するように音響透過エンジン250を構成してもよい。従って、図2に示したように、周囲調整信号280は周囲認識信号252を含み得る。しかしながら、周囲認識レベル240がゼロである場合、環境サブシステム290は、音響透過エンジン250を無効にし、マイクロホン信号132に基づいてキャンセル信号262を生成するようにノイズキャンセルエンジン260を構成する。従って、周囲調整信号280はキャンセル信号262を含む。
この方法では、音響透過エンジン250及びノイズキャンセルエンジン260は、知覚される周囲音の連続をユーザに提供してもよい。例えば、いくつかの実施形態において、ヘッドホンは、ユーザの耳と完全には密着しないフィット感を提供し、従って、周囲音は、ヘッドホンを通じてユーザに「伝播する」。周囲認識レベル240がゼロである場合、ノイズキャンセルエンジン260は、ユーザによって知覚される周囲音を最小化するために、ヘッドホンを通じて伝播する周囲音を能動的にキャンセルするキャンセル信号250を生成する。しかしながら、ヘッドホンを通じて伝播する周囲音をユーザが受けるべきであることを周囲認識レベル240が示している場合、周囲サブシステム290は、いずれの周囲調整信号280も生成しない。従って、ユーザは、いくつかの周囲音を知覚する。しかしながら、ヘッドホンを通じて伝播しない周囲音をユーザが受けるべきであることを周囲認識レベル240が示している場合、音響透過エンジン250は、マイクロホン信号132及び周囲認識レベル240に基づいて認識信号252を生成する。その結果、ユーザは、種々の機構を介して多様な周囲音を知覚し得る。
代替的な実施形態において、環境サブシステム290は、任意の数及び種類の技術を実施して、ユーザによって知覚される周囲音をカスタマイズしてもよい。例えば、いくつかの実施形態において、環境サブシステム290は、ノイズキャンセルエンジン260ではなく音響透過エンジン250を含む。他の実施形態において、環境サブシステム290は、音響透過エンジン250、及びシステム100に関連した物理的ノイズ抑制構成要素を制御する受動的キャンセルエンジンを含む。
音響透過エンジン250は、任意の組み合わせで、マイクロホン信号132に対して任意の数及び種類の音響透過動作を実行して、周囲調整信号280を生成してもよい。音響透過動作の例としては、再現動作、フィルタリング動作、低減動作及び増強動作が挙げられるが、これらに限定されることはない。例えば、いくつかの実施形態において、周囲認識レベル240が相対的に高いとき、音響透過エンジン250は、マイクロホン信号132によって表される音声の音量を、マイクロホン信号132によって表される他の音の音量を維持または低減しつつ増大させてもよい。
同一または他の実施形態において、周囲認識レベル240が相対的に低い場合、音響透過エンジン250は、通常は集中に寄与しない全ての音をフィルタリングして除去し、マイクロホン信号132を介して残りの音を送信するように構成されてもよい。集中に寄与するとみなすことができる音の例としては、自然の音(例えば、鳥の鳴き声、風、波、川音など)、及びファンまたは電化製品などのユーザの近くのデバイスからのホワイト/ピンク・マスキング音が挙げられるが、これらに限定されることはない。代替的な実施形態において、音響透過エンジン250は、設定入力234に基づいてフィルタリングするための音の種類を決定してもよい。このような設定入力としては、ユーザの位置、可変パラメータ、クラウドソースのデータ、及び集中を高める傾向がある音の種類を示す機械学習データなどがある。
いくつかの実施形態において、音響透過エンジン250は、マイクロホン信号132に対して動作を実行して、周囲信号を生成し、任意の数のシミュレーションされた信号を生成し、次いでシミュレーションされた信号を周囲信号と合成することによって認識信号252を生成してもよい。例えば、周囲認識レベル240が相対的に低い場合、音響透過エンジン250は、落ち着く音楽、予め録音された自然の音、及び/またはホワイト/ピンク・マスキングノイズを表すシミュレーションされた信号を生成することができる。代替的な実施形態において、音響透過エンジン250は、シミュレーションするための音の種類を設定入力234に基づいて決定してもよい。
図に示すように、関連する周囲調整信号280(i)を受信すると、再生エンジン270は、周囲調整信号280(i)及び要求された再生信号272(i)に基づいてスピーカ信号122(i)を生成する。再生エンジン270は、任意の技術的に実現可能な方法でスピーカ信号122(i)を生成してもよい。例えば、再生エンジン270は、周囲調整信号280(i)と対応する再生信号272(i)とを合成して、スピーカ信号122(i)を生成することができる。再生エンジン270は、次いで、スピーカ信号122(i)のそれぞれを対応するスピーカ120(i)に送信する。その結果、要求されたオーディオコンテンツをユーザが受信しつつ、ユーザは、ユーザの全体的な聴取体験を最適化する周囲音をも知覚する。
本明細書で説明した及び技術は、限定的ではなく例示的であり、企図された実施形態のより広範な思想及び範囲から逸脱することなく変更可能であることに注意されたい。システム100及び集中アプリケーション150によって提供される機能に対する多くの変更及び変形は、説明した実施形態の範囲及び思想から逸脱することなく当業者にとって明らかとなるであろう。
例えば、いくつかの実施形態において、各スピーカ120について、トレードオフエンジン230は、種々の設定入力234に基づいて集中レベル220を種々の周囲認識レベル240にマッピングする。例えば、設定入力234(1)は、スピーカ120(1)を介してユーザによって知覚される周囲音をトレードオフエンジン230が最小化すべきであることを指定することができる。これに対し、設定入力234(2)は、集中レベル220と、スピーカ120(2)に関連した周囲認識レベル240(2)との間の反比例のマッピング232をトレードオフエンジン230が実施すべきであることを指定することができる。その結果、トレードオフエンジン230は、スピーカ220(1)に関連した周囲認識レベル240(1)を集中レベル220に関わらず1に設定し、スピーカ220(2)に関連した周囲認識レベル240(2)を集中レベル220に基づいて変化させる。
同一または他の実施形態において、環境サブシステム290は、マイクロホン130とスピーカ120との任意の数の種々の組み合わせに基づいて任意の数の周囲調整信号280を生成してもよい。より正確には、特定のスピーカ120について、環境サブシステム290は、任意の数のマイクロホン信号132と、スピーカ120に対応する集中レベル220とに基づき、対応する周囲調整信号280を生成してもよい。例えば、システム100が乗り物搭載インフォテインメントシステムを含む場合、乗員の各々は、複数のマイクロホン130及び複数のスピーカ120に関連していてもよい。更に、スピーカ120のそれぞれは、種々の設定入力234に関連していてもよい。従って、特定のユーザを対象とするスピーカ120のそれぞれについて、環境サブシステム290は、他の乗員に関連した音を表すマイクロホン信号132と、スピーカ120に関連した集中レベル220とに基づき、対応する環境調整信号280を生成することができる。
周囲認識レベルに対する集中レベルのマッピング
図3は、各種実施形態に係る、図2のトレードオフエンジン230によって実施可能である種々のマッピング232の例を示す。代替的な実施形態において、トレードオフエンジン230は、任意の数及び種類のマッピング232を実施してもよい。マッピング232(i)のそれぞれおいて、集中レベル220(i)は、0(ユーザが全く集中していない)から1(ユーザが完全に集中している)の範囲をとる実線によって示されている。対応する周囲認識レベル240(i)は、0(ユーザが周囲音を全く知覚しない)から1(ユーザが全ての周囲音を知覚する)の範囲をとる破線によって示されている。
図に示すように、マッピング232(1)は、集中レベル220(1)と周囲認識レベル240(1)との間の反比例関係を指定する。トレードオフエンジン230がマッピング232(1)を実施するとき、ユーザが次第に集中していくにつれて、トレードオフエンジン230は周囲認識レベル240(1)を低下させる。その結果、集中アプリケーション150は、周囲音を知覚するユーザの能力を低下させる。これに対し、ユーザが次第に集中を失っていくにつれて、トレードオフエンジン230は周囲認識レベル240(1)を上昇させる。その結果、集中アプリケーション150は、周囲音を知覚するユーザの能力を向上させる。
マッピング232(2)は、集中レベル220(2)と周囲認識レベル240(2)の間の正比例関係を指定する。トレードオフエンジン230がマッピング232(2)を実施するとき、ユーザが次第に集中していくにつれて、トレードオフエンジン230は周囲認識レベル240(2)を上昇させる。その結果、集中アプリケーション150は、周囲音を知覚するユーザの能力を向上させる。これに対し、ユーザが次第に集中を失っていくにつれて、トレードオフエンジン230は周囲認識レベル240(2)を低下させる。その結果、集中アプリケーション150は、周囲音を知覚するユーザの能力を低下させる。
マッピング232(3)は、閾値によるステップ状の無効化を指定する。トレードオフエンジン230がマッピング232(3)を実施するとき、集中レベル220(3)がゼロと閾値310(3)との間にある場合、トレードオフエンジン230は周囲認識レベル240(3)を1に設定する。さもなければ、トレードオフエンジン230は周囲認識レベル240(3)を0に設定する。その結果、集中アプリケーション150は、(閾値310(3)によって指定されるように)ユーザが十分集中しているときに全ての周囲音をユーザが知覚しないようにすることと、全ての周囲音を知覚することをユーザに可能にすることとの間で切り替わる。
マッピング232(4)は、閾値によるランプ状の無効化を指定する。トレードオフエンジン230がマッピング232(4)を実施するとき、集中レベル220(4)がゼロと閾値310(4)との間にある場合、トレードオフエンジン230は周囲認識レベル240(4)を1に設定する。集中レベル220(4)が閾値310(4)を過ぎて上昇するにつれて、トレードオフエンジン230は、周囲認識レベル240(4)が0になるまで周囲認識レベル240(4)を徐々に低下させる。集中レベル220(4)が引き続き上昇すると、トレードオフエンジン230は周囲認識レベル240(4)を引き続き0に設定する。
マッピング232(5)は、閾値によるステップ状の有効化を指定する。トレードオフエンジン230がマッピング232(5)を実施するとき、集中レベル220(5)がゼロと閾値310(5)との間にある場合、トレードオフエンジン230は周囲認識レベル240(5)を0に設定する。さもなければ、トレードオフエンジン230は周囲認識レベル240(5)を1に設定する。その結果、集中アプリケーション150は、(閾値310(5)によって指定されるように)ユーザが十分集中しているときに全ての周囲音を知覚することをユーザに可能にすることと、あらゆる周囲音をユーザが知覚しないようにすることとの間で切り替わる。
図4は、各種実施形態に係る、ユーザによって知覚される周囲音を制御するための方法ステップのフロー図である。方法ステップは、図1〜3のシステムに関連して説明されているが、当業者は、任意の順序で方法ステップを実施するように構成された任意のシステムが、企図された実施形態の範囲内に含まれることを理解するであろう。図4
図に示すように、方法400は、ステップ402から始まる。このステップで、感知エンジン210は生体認証信号142を受信する。ステップ404で、感知エンジン210は、生体認証信号142に基づいて集中レベル220を決定する。ステップ406で、トレードオフエンジン232は、集中レベル220及び必要に応じて任意の数の設定入力234に基づいて周囲認識レベル240を計算する。代替的な実施形態において、図2に関連して詳細に説明したように、スピーカ120のそれぞれについて、トレードオフエンジン232は、種々の設定入力234に基づき、異なる集中レベル220を計算してもよい。
ステップ408で、スピーカ220のそれぞれについて、環境サブシステム290は、対応するマイクロホン信号132及び周囲認識レベル240に基づき、対応する周囲調整信号280を生成する。代替的な実施形態において、スピーカ220のそれぞれについて、環境サブシステム290は、任意の数のマイクロホン信号132に基づいて任意の数の周囲調整信号280を生成してもよい。特に、図2に関連して詳細に説明したように、特定のスピーカ120について、環境サブシステム290は、任意の数のマイクロホン信号132と、スピーカ120によって対象とされるユーザに関連した集中レベル220とに基づき、対応する周囲調整信号280を生成してもよい。
ステップ410で、スピーカ120のそれぞれについて、再生エンジン270は、対応する周囲調整信号280及び対応する要求された再生信号272に基づき、対応するスピーカ信号122を生成する。有利なことに、スピーカ信号122は、ユーザが知覚する周囲音を自動的に最適化しつつ、スピーカ120に、要求されたオーディオコンテンツをユーザに提供させる。その後、方法400は終了する。
図5は、各種実施形態に係る、図2の環境サブシステム290が周囲認識レベル240に応じて実施し得る3つの相の例を示す。図に示すように、周囲認識レベル240は点線によって示されており、キャンセル信号262は実線によって示されており、認識信号252は破線によって示されている。代替的な実施形態において、周囲サブシステム290は、任意の技術的に実現可能な方法で周囲認識レベル240に応答してもよい。
第1相の間、周囲認識レベル240は低い範囲内にある。従って、環境サブシステム290は、ユーザが知覚する周囲音を最小化するキャンセル信号262を生成する。第1相の間、周囲サブシステム290は認識信号252を生成しないことに注意されたい。第2相の間、周囲認識レベル240は中間の範囲内にある。従って、環境サブシステム290は、キャンセル信号262も認識信号252も生成しない。周囲サブシステム290がキャンセル信号262も認識信号252も生成しないため、いくつかの周囲音がユーザに伝播する。第3相の間、周囲認識レベル240は高い範囲内にある。従って、周囲サブシステム290は、周囲音をユーザに通過させる認識信号252を生成する。第3相の間、周囲サブシステム290はキャンセル信号262を生成しないことに注意されたい。
要約すれば、開示された技術を使用して、ユーザによって知覚される周囲音をユーザの集中レベルに基づいて調整することができる。集中アプリケーションは、感知エンジン、トレードオフエンジン、環境サブシステム及び再生エンジンを含むが、これらに限定されることはない。環境サブシステムは、音響透過エンジン及びノイズキャンセルエンジンを含むが、これらに限定されることはない。動作中、感知エンジンは、生体認証センサから任意の数の生体認証信号を受信し、その生体認証信号に基づいてユーザに関連した集中レベルを決定する。トレードオフエンジンは、次いで、その集中レベル及び必要に応じて任意の数の設定入力に基づいて周囲認識レベルを決定する。設定入力の例としては、ユーザの位置、可変パラメータ(例えば、閾値レベル)及びクラウドソースのデータなどが挙げられるが、これらに限定されることはない。周囲認識レベル及び外部音を表すマイクロホン信号に基づき、環境サブシステムは、外部音を反映する認識信号、または外部音をキャンセルするキャンセル信号を生成する。最後に、再生エンジンは、要求されたオーディオコンテンツ(例えば、歌)及び認識信号またはキャンセル信号に基づいてスピーカ信号を生成する。
従来技術に対する集中アプリケーションの1つの技術的利点は、周囲音及び生体認証信号に基づいてオーディオコンテンツを生成することの一部として、タスクに注力するユーザの能力と自分の周囲環境と関わるユーザの能力との間のトレードオフを集中アプリケーションが自動的に最適化できることである。特に、ユーザは、自分の活動及び周囲環境に合うように自分の聴取体験を変えるべく手動選択を行うことを必要としない。例えば、いくつかの実施形態では、集中アプリケーションが、ユーザが特定のタスクに集中していることを感知した場合、集中アプリケーションは、周囲認識レベルを自動的に低下させて、タスクに集中するユーザの能力を向上させてもよい。しかしながら、集中アプリケーションが、ユーザがどのタスクにも集中していないことを感知した場合、集中アプリケーションは、任意の数及び組み合わせの生体認証信号と、設定入力とに基づいてユーザの目標を決定してもよい。ユーザの目標がタスクに集中すべきことである場合、集中アプリケーションは、周囲認識レベルを自動的に低下させて、タスクに集中するユーザの能力を向上させてもよい。ユーザの目標がどのタスクにも集中しないことである場合、集中アプリケーションは、周囲認識レベルを自動的に上昇させて、自分の周囲環境内の人や物と関わるユーザの能力を向上させてもよい。一般に、集中アプリケーションは、任意の種類のオーディオデバイスまたはアプリケーションとユーザが明示的に対話することを必要とせずに、多様な活動を行うユーザの能力を向上させる。
1.いくつかの実施形態において、ユーザによって知覚される周囲音を制御する方法は、前記ユーザに関連した生体認証信号に基づいて集中レベルを決定することと;前記集中レベルに基づいて周囲認識レベルを決定することと;前記ユーザによって知覚される周囲音の少なくとも1つの特性を前記周囲認識レベルに基づいて変更することとを含む。
2.前記ユーザによって知覚される前記周囲音の少なくとも1つの特性を変更することは、前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと;前記周囲調整信号に基づいてスピーカ信号を生成することとを含む、条項1に記載の方法。
3.前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、条項1または2に記載の方法。
4.前記周囲調整信号をキャンセルすることは、前記オーディオ入力信号の反転バージョンを生成することを含む、条項1〜3のいずれかに記載の方法。
5.前記周囲認識レベルを決定することは、前記集中レベルを閾値レベルと比較することと;前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することとを含む、条項1〜4のいずれかに記載の方法。
6.前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、条項1〜5のいずれかに記載の方法。
7.前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、条項1〜6のいずれかに記載の方法。
8.脳波計測センサ、心拍センサ、機能的近赤外線分光センサ、皮膚電気反応センサ、加速度センサ、または視線センサから前記生体認証信号を受信することを更に含む、条項1〜7のいずれかに記載の方法。
9.前記スピーカは、乗り物の内部に搭載され、または一対のヘッドホン内に含まれる、条項1〜8のいずれかに記載の方法。
10.いくつかの実施形態において、コンピュータ可読記憶媒体は、プロセッサによって実行されるとき、ユーザに関連した第1の生体認証信号に基づいて集中レベルを決定するステップと;前記集中レベルに基づいて周囲認識レベルを決定するステップと;前記周囲認識レベルに基づいて受動的ノイズキャンセル動作、能動的ノイズキャンセル動作、または音響透過動作を実行するステップとを実行することにより、前記プロセッサに、前記ユーザによって知覚される周囲音を制御させる命令を含む。
11.前記受動的ノイズキャンセル動作、前記能動的ノイズキャンセル動作または前記音響透過動作を実行することは、前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと;前記周囲調整信号に基づいてスピーカ信号を生成することとを含む、条項10に記載のコンピュータ可読記憶媒体。
12.前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、条項10または条項11に記載のコンピュータ可読記憶媒体。
13.前記周囲認識レベルを決定することは、前記集中レベルを閾値レベルと比較することと;前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することとを含む、条項10〜12のいずれかに記載のコンピュータ可読記憶媒体。
14.前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、条項10〜13のいずれかに記載のコンピュータ可読記憶媒体。
15.前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、条項10〜14のいずれか記載のコンピュータ可読記憶媒体。
16.前記第1の生体認証信号は、前記ユーザに関連した神経活動を指定する、条項10〜15のいずれかに記載のコンピュータ可読記憶媒体。
17.前記集中レベルを決定することは、第1のセンサから受信された前記第1の生体認証信号に基づいてタスク集中を推定することと;第2のセンサから受信された第2の生体認証信号に基づいてタスク需要を推定することと;前記タスク集中及び前記タスク需要に基づいて前記集中レベルを計算することとを含む、条項10〜16のいずれかに記載のコンピュータ可読記憶媒体。
18.前記集中レベルを決定することは、動機となる言葉について前記ユーザが考えているということを前記第1の生体認証信号に基づいて決定することと、前記動機となる言葉に基づいて前記集中レベルを設定することとを含む、条項10〜17のいずれかに記載のコンピュータ可読記憶媒体。
19.いくつかの実施形態において、ユーザによって知覚される周囲音を制御するためのシステムは、命令を記憶するメモリと;プロセッサであって、前記メモリに結合され、前記命令を実行するとき、前記ユーザに関連した生体認証信号に基づいて集中レベルを決定し、前記集中レベルと、周囲音に関連したオーディオ入力信号とに基づいて周囲調整信号を生成し、前記周囲調整信号に基づいて前記ユーザに関連したスピーカを制御するように構成される前記プロセッサとを含む。
20.前記ユーザは乗り物の第1の乗員であり、前記オーディオ入力信号は、前記乗り物の外側に位置する第1のマイクロホン及び前記乗り物の第2の乗員に関連した第2のマイクロホンのうちの少なくとも一方によって受信される、条項19に記載のシステム。
請求項のいずれかに記載された特許請求の範囲の要素のいずれか及び/または本出願で説明された任意の要素のいずれかの任意の組み合わせ及び全ての組み合わせは、任意の方法で、本実施形態の企図された範囲内に含まれる。
各種実施形態の説明は、例示の目的で与えられているが、網羅的であることも開示された実施形態に限定されることも意図しない。多くの変更及び変形が、説明した実施形態の範囲及び思想から逸脱することなく当業者にとって明らかとなるであろう。
本実施形態の態様は、システム、方法またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとることができる。これらの態様は全て、一般に、本明細書において「モジュール」または「システム」と呼ぶことができる。更に、本開示の態様は、1つ以上のコンピュータ可読媒体(複数可)であって、当該媒体上に具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読媒体内に具現化されたコンピュータプログラム製品の形態をとることができる。
1つ以上のコンピュータ可読媒体(複数可)の任意の組み合わせを利用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線もしくは半導体システム、装置もしくはデバイス、または以上の任意の適切な組み合わせとすることができるが、これらに限定されることはない。コンピュータ可読記憶媒体のより具体的な例(非限定なリスト)としては、1本以上の電線を有する電気接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(erasable programmable read−only memory:EPROM、もしくはフラッシュメモリ)、光ファイバ、可搬型コンパクトディスクリードオンリーメモリ(CD−ROM)、光学記憶装置、磁気記憶装置、または以上の任意の適切な組み合わせが挙げられる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、または記憶することが可能な任意の有形媒体とすることができる。
本開示の態様は、開示の実施形態に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート説明及び/またはブロック図を参照して上述されている。フローチャート説明及び/またはブロック図の各ブロック、ならびにフローチャート説明及び/またはブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、機械を作製するために、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。それにより、コンピューまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令は、フローチャート及び/またはブロック図の1つまたは複数のブロック内で指定された機能/動作の実施態様を可能にする。このようなプロセッサは、限定されることはないが、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサまたはフィールドプログラマブルゲートアレイであってもよい。
図面内のフローチャート及びブロック図は、本開示の各種実施形態に係るシステム、方法及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能及び動作を示す。この点に関して、フローチャートまたはブロック図内の各ブロックは、指定された論理関数(複数可)を実施するための1つ以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部を表してもよい。いくつかの代替的な実施態様において、ブロック内に記述された機能は、図面内に記述された順序以外で行われてもよいことに留意すべきである。例えば、連続して示された2つのブロックは、実際には、実質的に同時に実行されてもよく、または、それらのブロックは、時には、関連する機能に応じて逆の順序で実行されてもよい。ブロック図及び/またはフローチャート説明の各ブロック、ならびにブロック図及び/またはフローチャート説明内のブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実施できることにも留意されよう。
前述の事項は本開示の実施形態を対象としているが、本開示の他の実施形態及び更なる実施形態は、本開示の基本的範囲から逸脱せずに考案することができ、本開示の範囲は、後続する特許請求の範囲によって決まる。

Claims (20)

  1. ユーザによって知覚される周囲音を制御する方法であって、
    前記ユーザに関連した生体認証信号に基づいて集中レベルを決定することと、
    前記集中レベルに基づいて周囲認識レベルを決定することと、
    前記ユーザによって知覚される周囲音の少なくとも1つの特性を前記周囲認識レベルに基づいて変更することと
    を含む、前記方法。
  2. 前記ユーザによって知覚される前記周囲音の少なくとも1つの特性を変更することは、
    前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと、
    前記周囲調整信号に基づいてスピーカ信号を生成することと
    を含む、請求項1に記載の方法。
  3. 前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記周囲調整信号をキャンセルすることは、前記オーディオ入力信号の反転バージョンを生成することを含む、請求項3に記載の方法。
  5. 前記周囲認識レベルを決定することは、
    前記集中レベルを閾値レベルと比較することと、
    前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、
    前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することと
    を含む、請求項1に記載の方法。
  6. 前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、請求項5に記載の方法。
  7. 前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、
    前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、請求項1に記載の方法。
  8. 脳波計測センサ、心拍センサ、機能的近赤外線分光センサ、皮膚電気反応センサ、加速度センサ、または視線センサから前記生体認証信号を受信することを更に含む、請求項1に記載の方法。
  9. 前記スピーカは、乗り物の内部に搭載され、または一対のヘッドホン内に含まれる、請求項1に記載の方法。
  10. コンピュータ可読記憶媒体であって、プロセッサによって実行されるとき、
    ユーザに関連した第1の生体認証信号に基づいて集中レベルを決定するステップと、
    前記集中レベルに基づいて周囲認識レベルを決定するステップと、
    前記周囲認識レベルに基づいて受動的ノイズキャンセル動作、能動的ノイズキャンセル動作、または音響透過動作を実行するステップと
    を実行することにより、前記プロセッサに、前記ユーザによって知覚される周囲音を制御させる命令を含む、前記コンピュータ可読記憶媒体。
  11. 前記受動的ノイズキャンセル動作、前記能動的ノイズキャンセル動作、または前記音響透過動作を実行することは、
    前記周囲認識レベルと、前記周囲音に応答してマイクロホンから受信されたオーディオ入力信号とに基づいて周囲調整信号を生成することと、
    前記周囲調整信号に基づいてスピーカ信号を生成することと
    を含む、請求項10に記載のコンピュータ可読記憶媒体。
  12. 前記周囲調整信号を生成することは、前記周囲認識レベルに基づいて前記オーディオ入力信号をキャンセルすること、再現すること、フィルタリングすること、低減すること及び増強することのうちの少なくとも1つを含む、請求項11に記載のコンピュータ可読記憶媒体。
  13. 前記周囲認識レベルを決定することは、
    前記集中レベルを閾値レベルと比較することと、
    前記集中レベルが前記閾値レベルを超えた場合、前記周囲認識レベルを第1の値と等しく設定すること、または、
    前記集中レベルが前記閾値レベルを超えていない場合、前記周囲認識レベルを第2の値と等しく設定することと
    を含む、請求項10に記載のコンピュータ可読記憶媒体。
  14. 前記ユーザの位置、可変パラメータ及びクラウドソースのデータのうちの少なくとも1つに基づいて前記閾値レベルを決定することを更に含む、請求項13に記載のコンピュータ可読記憶媒体。
  15. 前記周囲認識レベルを決定することは、前記集中レベルにマッピングを適用することを含み、
    前記マッピングは、前記周囲認識レベルと前記集中レベルとの間の反比例関係、または前記周囲認識レベルと前記集中レベルとの間の正比例関係を指定する、請求項10に記載のコンピュータ可読記憶媒体。
  16. 前記第1の生体認証信号は、前記ユーザに関連した神経活動を指定する、請求項10に記載のコンピュータ可読記憶媒体。
  17. 前記集中レベルを決定することは、
    第1のセンサから受信された前記第1の生体認証信号に基づいてタスク集中を推定することと、
    第2のセンサから受信された第2の生体認証信号に基づいてタスク需要を推定することと、
    前記タスク集中及び前記タスク需要に基づいて前記集中レベルを計算することと
    を含む、請求項10に記載のコンピュータ可読記憶媒体。
  18. 前記集中レベルを決定することは、動機となる言葉について前記ユーザが考えているということを前記第1の生体認証信号に基づいて決定することと、前記動機となる言葉に基づいて前記集中レベルを設定することとを含む、請求項10に記載のコンピュータ可読記憶媒体。
  19. ユーザによって知覚される周囲音を制御するシステムであって、
    命令を記憶するメモリと、
    プロセッサであって、前記メモリに結合され、前記命令を実行するとき、
    前記ユーザに関連した生体認証信号に基づいて集中レベルを決定し、
    前記集中レベルと、周囲音に関連したオーディオ入力信号とに基づいて周囲調整信号を生成し、
    前記周囲調整信号に基づいて前記ユーザに関連したスピーカを制御する、
    ように構成される、前記プロセッサと
    を含む、前記システム。
  20. 前記ユーザは乗り物の第1の乗員であり、前記オーディオ入力信号は、前記乗り物の外部に位置する第1のマイクロホン及び前記乗り物の第2の乗員に関連した第2のマイクロホンのうちの少なくとも一方によって受信される、請求項19に記載のシステム。
JP2019035968A 2018-03-05 2019-02-28 集中レベルに基づく、知覚される周囲音の制御 Active JP7306838B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/912,516 2018-03-05
US15/912,516 US10362385B1 (en) 2018-03-05 2018-03-05 Controlling perceived ambient sounds based on focus level

Publications (2)

Publication Number Publication Date
JP2019152861A true JP2019152861A (ja) 2019-09-12
JP7306838B2 JP7306838B2 (ja) 2023-07-11

Family

ID=65493836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019035968A Active JP7306838B2 (ja) 2018-03-05 2019-02-28 集中レベルに基づく、知覚される周囲音の制御

Country Status (5)

Country Link
US (1) US10362385B1 (ja)
EP (1) EP3537726B1 (ja)
JP (1) JP7306838B2 (ja)
KR (1) KR102594155B1 (ja)
CN (1) CN110234050B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021090136A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
WO2024003988A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 制御装置、制御方法、およびプログラム
JP7410557B2 (ja) 2020-02-04 2024-01-10 株式会社Agama-X 情報処理装置及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4162867A1 (en) * 2018-06-04 2023-04-12 Zeteo Tech, Inc. Hearing protection system for a dog
WO2020033595A1 (en) 2018-08-07 2020-02-13 Pangissimo, LLC Modular speaker system
GB2604496B (en) * 2019-11-04 2023-09-06 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for biometric processes
CN112992114A (zh) * 2019-12-12 2021-06-18 深圳市韶音科技有限公司 噪声控制系统和方法
EP4035153A4 (en) 2019-12-12 2022-09-28 Shenzhen Shokz Co., Ltd. NOISE CONTROL SYSTEMS AND METHODS
US11602287B2 (en) * 2020-03-31 2023-03-14 International Business Machines Corporation Automatically aiding individuals with developing auditory attention abilities
CN114391166A (zh) * 2020-08-04 2022-04-22 华为技术有限公司 主动降噪方法、主动降噪装置以及主动降噪系统
US11755277B2 (en) * 2020-11-05 2023-09-12 Harman International Industries, Incorporated Daydream-aware information recovery system
US11595749B2 (en) * 2021-05-28 2023-02-28 Gmeci, Llc Systems and methods for dynamic noise reduction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173369A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Nttドコモ 音出力装置および音出力装置における音の再生方法
WO2017056604A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913753B1 (ko) * 2007-02-12 2009-08-24 한국과학기술원 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법
SG177606A1 (en) * 2009-07-13 2012-03-29 Widex As A hearing aid adapted fordetecting brain waves and a method for adapting such a hearing aid
EP2560412A1 (en) * 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing
EP3917167A3 (en) * 2013-06-14 2022-03-09 Oticon A/s A hearing assistance device with brain computer interface
WO2015047032A1 (ko) * 2013-09-30 2015-04-02 삼성전자 주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US20150294662A1 (en) * 2014-04-11 2015-10-15 Ahmed Ibrahim Selective Noise-Cancelling Earphone
US10085091B2 (en) * 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US20180034951A1 (en) * 2016-07-26 2018-02-01 Bragi GmbH Earpiece with vehicle forced settings
US10067737B1 (en) * 2017-08-30 2018-09-04 Daqri, Llc Smart audio augmented reality system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173369A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Nttドコモ 音出力装置および音出力装置における音の再生方法
WO2017056604A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021090136A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US11856355B2 (en) 2019-12-03 2023-12-26 Agama-X Co., Ltd. Information processing system and non-transitory computer readable medium storing program
JP7410557B2 (ja) 2020-02-04 2024-01-10 株式会社Agama-X 情報処理装置及びプログラム
WO2024003988A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 制御装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
JP7306838B2 (ja) 2023-07-11
CN110234050A (zh) 2019-09-13
EP3537726B1 (en) 2023-10-11
KR20190105519A (ko) 2019-09-17
US10362385B1 (en) 2019-07-23
CN110234050B (zh) 2022-12-02
EP3537726A1 (en) 2019-09-11
KR102594155B1 (ko) 2023-10-25

Similar Documents

Publication Publication Date Title
JP7306838B2 (ja) 集中レベルに基づく、知覚される周囲音の制御
US11122359B2 (en) Acoustic output apparatus and method thereof
US20180234754A1 (en) Reproduction of Ambient Environmental Sound for Acoustic Transparency of Ear Canal Device System and Method
JP6559420B2 (ja) 音を選択的に使用者に提供する耳栓
US8855341B2 (en) Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
KR102192361B1 (ko) 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치
JP4684234B2 (ja) 音像定位装置
US11184723B2 (en) Methods and apparatus for auditory attention tracking through source modification
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
EP3873105B1 (en) System and methods for audio signal evaluation and adjustment
US20200301653A1 (en) System and method for processing audio between multiple audio spaces
CN109310525A (zh) 媒体补偿通过和模式切换
EP3981174A1 (en) Contextual guidance for hearing aid
CN108737930A (zh) 车辆导航系统中的可听提示
US20220122630A1 (en) Real-time augmented hearing platform
US11750984B2 (en) Machine learning based self-speech removal
US11877133B2 (en) Audio output using multiple different transducers
US20240112661A1 (en) Environmentally Adaptive Masking Sound
WO2022250854A1 (en) Wearable hearing assist device with sound pressure level shifting
CN115866489A (zh) 用于上下文相关的自动音量补偿的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R150 Certificate of patent or registration of utility model

Ref document number: 7306838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150