JP2020500492A5 - 空間的アンビエントアウェア型の個人用オーディオ供給デバイスに関する方法、プログラムおよびシステム - Google Patents

空間的アンビエントアウェア型の個人用オーディオ供給デバイスに関する方法、プログラムおよびシステム Download PDF

Info

Publication number
JP2020500492A5
JP2020500492A5 JP2019546780A JP2019546780A JP2020500492A5 JP 2020500492 A5 JP2020500492 A5 JP 2020500492A5 JP 2019546780 A JP2019546780 A JP 2019546780A JP 2019546780 A JP2019546780 A JP 2019546780A JP 2020500492 A5 JP2020500492 A5 JP 2020500492A5
Authority
JP
Japan
Prior art keywords
sound
pinna
transfer function
audio device
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019546780A
Other languages
English (en)
Other versions
JP2020500492A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2017/061413 external-priority patent/WO2018089952A1/en
Publication of JP2020500492A publication Critical patent/JP2020500492A/ja
Publication of JP2020500492A5 publication Critical patent/JP2020500492A5/ja
Pending legal-status Critical Current

Links

Claims (16)

  1. オーディオデバイスの少なくとも1つのセンサにより検出された音を示す信号を受信する段階であって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信する段階と、
    前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、非線形伝達関数で前記信号を変調して、1つまたは複数のオーディオキューを示す変調信号を生成する段階と、
    検出された前記音の音タイプを判定する段階と、
    前記変調信号を、前記オーディオデバイスによって出力されるオーディオを示す信号と混合する段階であって、前記変調信号は、判定された前記音タイプに基づいて前記混合において重み付けされる、段階と、
    前記オーディオデバイスが、混合された前記変調信号を出力する段階と
    を備える方法。
  2. 前記オーディオデバイスにおける少なくとも1つのセンサにより検出された音を示す前記信号を受信する段階は、前記オーディオデバイスにおける少なくとも1つのマイクにより検出された前記音を示す前記信号を受信する段階を含む、請求項1に記載の方法。
  3. 前記少なくとも1つのマイクは、前記耳介と反対の方向に向けられる、請求項に記載の方法。
  4. 前記1つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、方位角、距離および速度のうちの1つまたは複数に基づいている、請求項1から3のいずれか一項に記載の方法。
  5. 前記非線形伝達関数で前記信号を変調する段階は、検出された前記音が発せられている方向を決定する段階と、前記方向と関連付けられる前記非線形伝達関数の1つまたは複数の波形を特定する段階とを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記耳介の周波数応答を他方の耳介の複数の他の周波数応答と比較する段階であって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する段階と、
    前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い1つを決定する段階と、
    前記非線形伝達関数を、前記複数の他の周波数応答のうちの前記1つと関連付けられる前記対応する非線形伝達関数として特定する段階と
    を更に備える、請求項1から5のいずれか一項に記載の方法。
  7. メモリに記憶され、かつ、プロセッサにより実行可能である、プログラムであって、前記プログラムは
    オーディオデバイスの少なくとも1つのセンサにより検出された音を示す信号を受信することであって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信することと、
    前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、非線形伝達関数で前記信号を変調して、1つまたは複数のオーディオキューを示す変調信号を生成することと、
    検出された前記音の音タイプを判定することと、
    前記変調信号を、前記オーディオデバイスによって出力されるオーディオを示す信号と混合することであって、前記変調信号は、判定された前記音タイプに基づいて前記混合において重み付けされる、混合することと、
    前記オーディオデバイスが、混合された前記変調信号を出力することと
    を行うためのものである、プログラム
  8. 前記オーディオデバイスにおける少なくとも1つのセンサにより検出された音を示す前記信号を受信するための前記プログラムは、前記オーディオデバイスにおける少なくとも1つのマイクにより検出された前記音を示す前記信号を受信することを含む、請求項に記載のプログラム
  9. 前記少なくとも1つのマイクは、前記耳介と反対の方向に向けられる、請求項に記載のプログラム。
  10. 前記1つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、方位角、距離および速度のうちの1つまたは複数に基づいている、請求項7から9のいずれか一項に記載のプログラム
  11. 前記非線形伝達関数で前記信号を変調するための前記プログラムは、検出された前記音が発せられている方向を決定することと、前記方向と関連付けられる前記非線形伝達関数の1つまたは複数の波形を特定することとを含む、請求項7から10のいずれか一項に記載のプログラム
  12. 前記プログラムは更に、
    前記耳介の周波数応答を他方の耳介の複数の他の周波数応答と比較することであって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較することと、
    前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い1つを決定することと、
    前記非線形伝達関数を、前記複数の他の周波数応答のうち、前記周波数応答に最も近い前記1つと関連付けられる前記対応する非線形伝達関数として特定することと
    を含む、請求項7から11のいずれか一項に記載のプログラム
  13. オーディオデバイスと、
    メモリに記憶され、かつ、プロセッサにより実行可能である、コンピュータ命令と
    を備えるシステムであって、前記コンピュータ命令は、
    前記オーディオデバイスの少なくとも1つのセンサにより検出された音を示す信号を受信する機能であって、前記オーディオデバイスは、耳介を少なくとも部分的に覆っており、検出された前記音は、少なくとも身体の胴と相互作用する、受信する機能と、
    前記オーディオデバイスが前記耳介を少なくとも部分的に覆っている間に、検出された前記音の空間的位置特定が容易になるよう、前記音の方向に基づいて選択された非線形伝達関数で前記信号を変調して、1つまたは複数のオーディオキューを示す変調信号を生成する機能と、
    検出された前記音の音タイプを判定する機能と、
    前記変調信号を、前記オーディオデバイスによって出力されるオーディオを示す信号と混合する機能であって、前記変調信号は、判定された前記音タイプに基づいて前記混合において重み付けされる、機能と、
    前記オーディオデバイスが、混合された前記変調信号を出力する機能と
    を実行するためのものである、システム。
  14. メモリに記憶され、かつ、前記プロセッサにより実行可能である、前記非線形伝達関数で前記信号を変調するための前記コンピュータ命令は、検出された前記音が発せられている方向を決定する機能と、前記方向と関連付けられる前記非線形伝達関数の1つまたは複数の波形を特定する機能とを含む、請求項13に記載のシステム。
  15. 前記耳介の周波数応答を他方の耳介の複数の他の周波数応答と比較する機能であって、前記他方の耳介の各周波数応答が、対応する非線形伝達関数と関連付けられる、比較する機能と、
    前記比較に基づいて、前記他方の耳介の前記複数の他の周波数応答のうち、前記周波数応答に最も近い1つを決定する機能と、
    前記非線形伝達関数を、前記複数の他の周波数応答のうち、前記周波数応答に最も近い前記1つと関連付けられる前記対応する非線形伝達関数として特定する機能と
    を実行するための、メモリに記憶され、かつ、前記プロセッサにより実行可能である、コンピュータ命令を更に備える、請求項13または14に記載のシステム。
  16. 前記1つまたは複数のオーディオキューは、検出された前記音と関連付けられる音源の仰角、距離、方位角および速度のうちの1つまたは複数を示す、請求項13から15のいずれか一項に記載のシステム。
JP2019546780A 2016-11-13 2017-11-13 空間的アンビエントアウェア型の個人用オーディオ供給デバイス Pending JP2020500492A (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662421285P 2016-11-13 2016-11-13
US62/421,285 2016-11-13
US201662421380P 2016-11-14 2016-11-14
US62/421,380 2016-11-14
US201662424512P 2016-11-20 2016-11-20
US62/424,512 2016-11-20
US201762466268P 2017-03-02 2017-03-02
US62/466,268 2017-03-02
US201762468933P 2017-03-08 2017-03-08
US62/468,933 2017-03-08
PCT/US2017/061413 WO2018089952A1 (en) 2016-11-13 2017-11-13 Spatially ambient aware personal audio delivery device

Publications (2)

Publication Number Publication Date
JP2020500492A JP2020500492A (ja) 2020-01-09
JP2020500492A5 true JP2020500492A5 (ja) 2021-01-07

Family

ID=62106984

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019546782A Pending JP2019536395A (ja) 2016-11-13 2017-11-13 耳介の画像を撮像し、耳介の画像を用いて人間の聴覚の解剖学的構造の特徴を示すためのシステムおよび方法
JP2019546780A Pending JP2020500492A (ja) 2016-11-13 2017-11-13 空間的アンビエントアウェア型の個人用オーディオ供給デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019546782A Pending JP2019536395A (ja) 2016-11-13 2017-11-13 耳介の画像を撮像し、耳介の画像を用いて人間の聴覚の解剖学的構造の特徴を示すためのシステムおよび方法

Country Status (4)

Country Link
US (6) US10362432B2 (ja)
EP (2) EP3539304A4 (ja)
JP (2) JP2019536395A (ja)
WO (2) WO2018089952A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
CN109691139B (zh) * 2016-09-01 2020-12-18 安特卫普大学 确定个性化头部相关传递函数和耳间时间差函数的方法和设备
US10507137B2 (en) * 2017-01-17 2019-12-17 Karl Allen Dierenbach Tactile interface system
US10880669B2 (en) * 2018-09-28 2020-12-29 EmbodyVR, Inc. Binaural sound source localization
EP3866492A4 (en) * 2018-10-10 2021-12-08 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
US11166115B2 (en) 2018-10-18 2021-11-02 Gn Hearing A/S Device and method for hearing device customization
US11158154B2 (en) * 2018-10-24 2021-10-26 Igt Gaming system and method providing optimized audio output
JP7206027B2 (ja) * 2019-04-03 2023-01-17 アルパイン株式会社 頭部伝達関数学習装置および頭部伝達関数推論装置
US11863959B2 (en) 2019-04-08 2024-01-02 Harman International Industries, Incorporated Personalized three-dimensional audio
CN109905831B (zh) * 2019-04-15 2021-01-15 南京影风智能科技有限公司 一种立体声辅助音频设备
AU2020203290B2 (en) * 2019-06-10 2022-03-03 Genelec Oy System and method for generating head-related transfer function
US10743128B1 (en) * 2019-06-10 2020-08-11 Genelec Oy System and method for generating head-related transfer function
CN114175142A (zh) * 2019-08-02 2022-03-11 索尼集团公司 音频输出装置和使用该装置的音频输出系统
US10812929B1 (en) * 2019-08-28 2020-10-20 Facebook Technologies, Llc Inferring pinnae information via beam forming to produce individualized spatial audio
WO2021048893A1 (ja) * 2019-09-09 2021-03-18 日本電信電話株式会社 集音放音装置、集音放音方法、およびプログラム
CN110767028B (zh) * 2019-11-11 2022-02-01 中国人民解放军第四军医大学 一种飞行员空间听觉能力训练系统
CN111050244A (zh) * 2019-12-11 2020-04-21 佳禾智能科技股份有限公司 耳机的环境音监听方法、电子设备、计算机可读存储介质
CN111818441B (zh) * 2020-07-07 2022-01-11 Oppo(重庆)智能科技有限公司 音效实现方法、装置、存储介质及电子设备
US11778408B2 (en) 2021-01-26 2023-10-03 EmbodyVR, Inc. System and method to virtually mix and audition audio content for vehicles
KR102654283B1 (ko) * 2021-11-26 2024-04-04 대전보건대학교 산학협력단 이어 스캐너
US20230275617A1 (en) * 2022-01-31 2023-08-31 Bose Corporation Audio device with hall effect sensor proximity detection and independent coupling

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3045051B2 (ja) * 1995-08-17 2000-05-22 ソニー株式会社 ヘッドホン装置
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
JP4226142B2 (ja) * 1999-05-13 2009-02-18 三菱電機株式会社 音響再生装置
IL141822A (en) 2001-03-05 2007-02-11 Haim Levy A method and system for imitating a 3D audio environment
US20030035551A1 (en) * 2001-08-20 2003-02-20 Light John J. Ambient-aware headset
JP3521900B2 (ja) 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
AU2003235202A1 (en) 2002-10-31 2004-05-25 Korea Institute Of Science And Technology Image processing method for removing glasses from color facial images
US7430300B2 (en) * 2002-11-18 2008-09-30 Digisenz Llc Sound production systems and methods for providing sound inside a headgear unit
WO2005025270A1 (ja) * 2003-09-08 2005-03-17 Matsushita Electric Industrial Co., Ltd. 音像制御装置の設計ツールおよび音像制御装置
US20060013409A1 (en) 2004-07-16 2006-01-19 Sensimetrics Corporation Microphone-array processing to generate directional cues in an audio signal
JP2006203850A (ja) * 2004-12-24 2006-08-03 Matsushita Electric Ind Co Ltd 音像定位装置
US8027481B2 (en) 2006-11-06 2011-09-27 Terry Beard Personal hearing control system and method
US8050444B2 (en) * 2007-01-19 2011-11-01 Dale Trenton Smith Adjustable mechanism for improving headset comfort
WO2009049320A1 (en) * 2007-10-12 2009-04-16 Earlens Corporation Multifunction system and method for integrated hearing and communiction with noise cancellation and feedback management
JP2009105559A (ja) * 2007-10-22 2009-05-14 Nec Saitama Ltd 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器
WO2009106783A1 (fr) 2008-02-29 2009-09-03 France Telecom Procede et dispositif pour la determination de fonctions de transfert de type hrtf
US8155340B2 (en) * 2008-07-24 2012-04-10 Qualcomm Incorporated Method and apparatus for rendering ambient signals
US20100215198A1 (en) 2009-02-23 2010-08-26 Ngia Lester S H Headset assembly with ambient sound control
EP2362678B1 (en) 2010-02-24 2017-07-26 GN Audio A/S A headset system with microphone for ambient sounds
WO2012028906A1 (en) 2010-09-03 2012-03-08 Sony Ericsson Mobile Communications Ab Determining individualized head-related transfer functions
US20130177166A1 (en) 2011-05-27 2013-07-11 Sony Ericsson Mobile Communications Ab Head-related transfer function (hrtf) selection or adaptation based on head size
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
JP2013150190A (ja) * 2012-01-20 2013-08-01 Nec Casio Mobile Communications Ltd 情報端末装置、セキュリティ確保方法、及びコンピュータプログラム
US20130279724A1 (en) 2012-04-19 2013-10-24 Sony Computer Entertainment Inc. Auto detection of headphone orientation
JP2014075753A (ja) * 2012-10-05 2014-04-24 Nippon Hoso Kyokai <Nhk> 音響品質推定装置、音響品質推定方法及び音響品質推定プログラム
KR20150092220A (ko) * 2012-11-29 2015-08-12 스티븐 체이스 비디오 헤드폰들, 시스템, 플랫폼, 방법들, 장치들 및 미디어
US9270244B2 (en) 2013-03-13 2016-02-23 Personics Holdings, Llc System and method to detect close voice sources and automatically enhance situation awareness
US9426589B2 (en) 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
KR101496659B1 (ko) 2013-07-16 2015-02-27 유한회사 청텍 초소형 카메라 모듈이 구비된 이어폰 장치
US9271077B2 (en) 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US9900722B2 (en) 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
DK2947898T3 (da) * 2014-05-20 2019-05-13 Oticon As Høreanordning
US10181328B2 (en) 2014-10-21 2019-01-15 Oticon A/S Hearing system
CN107996028A (zh) 2015-03-10 2018-05-04 Ossic公司 校准听音装置
US9544706B1 (en) * 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US10182710B2 (en) 2015-07-23 2019-01-22 Qualcomm Incorporated Wearable dual-ear mobile otoscope
WO2017047309A1 (ja) 2015-09-14 2017-03-23 ヤマハ株式会社 耳形状解析方法、耳形状解析装置および耳形状モデル生成方法
SG10201510822YA (en) * 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
WO2017197156A1 (en) * 2016-05-11 2017-11-16 Ossic Corporation Systems and methods of calibrating earphones
KR102483042B1 (ko) 2016-06-17 2022-12-29 디티에스, 인코포레이티드 근거리/원거리 렌더링을 사용한 거리 패닝
US10154365B2 (en) 2016-09-27 2018-12-11 Intel Corporation Head-related transfer function measurement and application

Similar Documents

Publication Publication Date Title
JP2020500492A5 (ja) 空間的アンビエントアウェア型の個人用オーディオ供給デバイスに関する方法、プログラムおよびシステム
IL307592A (en) Spatial audio for mixed reality
EP2823353B1 (en) System and method for mapping and displaying audio source locations
WO2018038990A3 (en) Detection and prevention of malicious shell exploits
US9258647B2 (en) Obtaining a spatial audio signal based on microphone distances and time delays
WO2018053094A8 (en) Intelligent wake-up system
MY192514A (en) Vehicle identification methods and systems
EP3379385A3 (en) Automatic remote sensing and haptic conversion system
JP2017527223A5 (ja)
GB2542054A (en) Virtual simulation of spatial audio characteristics
EP4273696A3 (en) Multiple digital assistant coordination in vehicular environments
WO2015134544A3 (en) Converter device and system including converter device
MX2015004848A (es) Metodo que se relaciona con granularidad de presencia con realidad aumentada.
WO2013137958A3 (en) Sonar system for automatically detecting location of devices
IN2014MN01717A (ja)
EP3318974A3 (en) Framework for developing and deploying applications
MX2018005090A (es) Aparato, metodo o programa de computadora para generar una descripcion de campo de sonido.
WO2012049613A3 (en) Device, method and system of testing financial derivative instruments
CN106465012B (zh) 使用通信来定位声音并提供实时世界坐标的系统和方法
JP2016015722A5 (ja)
GB2515920A (en) Physical Performance Assessment
JP2015512082A5 (ja)
TWI687919B (zh) 音頻訊號處理方法、音頻定位系統以及非暫態電腦可讀取媒體
WO2017095476A8 (en) Representing results from various speech services as a unified conceptual knowledge base
EP2595134A3 (en) Remote control system and method