JP2018511212A5 - - Google Patents

Download PDF

Info

Publication number
JP2018511212A5
JP2018511212A5 JP2017542487A JP2017542487A JP2018511212A5 JP 2018511212 A5 JP2018511212 A5 JP 2018511212A5 JP 2017542487 A JP2017542487 A JP 2017542487A JP 2017542487 A JP2017542487 A JP 2017542487A JP 2018511212 A5 JP2018511212 A5 JP 2018511212A5
Authority
JP
Japan
Prior art keywords
user
smartphone
audio
microphones
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017542487A
Other languages
English (en)
Other versions
JP2018511212A (ja
JP6738342B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2016/018132 external-priority patent/WO2016131064A1/en
Publication of JP2018511212A publication Critical patent/JP2018511212A/ja
Publication of JP2018511212A5 publication Critical patent/JP2018511212A5/ja
Application granted granted Critical
Publication of JP6738342B2 publication Critical patent/JP6738342B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (32)

  1. 聴力を改善するためのシステムであって、
    エンクロージャの外部から音響信号を受信し、マイクロフォン出力信号を生成するための複数のマイクロフォンと、
    ユーザの位置に関する情報を受信し、前記ユーザの頭部の位置を計算するユーザ位置処理回路と、
    前記マイクロフォン出力信号および前記ユーザの頭部の位置に関する情報を受信し、前記マイクロフォンによって受信され、前記ユーザの聴覚欠損プロファイルに同調された前記音響信号と比較して音響音質が向上したオーディオ出力信号を生成する処理回路と、
    オーディオ出力信号を前記ユーザに提供する補助聴覚装置と
    を備えるシステム。
  2. 前記ユーザ位置処理回路は、
    前記ユーザの頭部の光学画像を取得するための視野を有するカメラと、
    ユーザの頭部の位置および注視の向きを計算する位置処理回路とを含み、
    前記位置および注視の向きは、前記オーディオ出力信号の方向、強度、角度および品質のうち少なくとも1つを最適化するために前記処理回路によって受信される、請求項1に記載のシステム。
  3. 前記複数のマイクロフォン、ユーザ位置処理回路およびオーディオ送信機が、卓上型装置、スマートウォッチ、電子タブレット、および身体着用型装置のうち1つの中に位置する、請求項1に記載のシステム。
  4. スマートフォン形態の卓上型装置を含み、前記複数のマイクロフォンは、前記スマートフォンから出退可能である出退自在な繰出し片上に位置する、請求項3に記載のシステム。
  5. 前記複数のマイクロフォンはビーム形成マイクロフォンを備え、前記処理回路は各マイクロフォンのビーム形成パターンを規定するビーム形成アルゴリズムを実行する、請求項1に記載のシステム。
  6. 前記ユーザのジェスチャーを検出し、前記オーディオ出力信号の特性を制御するための制御信号を出力するセンサを含む、請求項1に記載のシステム。
  7. 前記センサは、前記ユーザの長時間にわたる注視ジェスチャーを検出し、長時間にわたる注視ジェスチャーの検出により、前記ユーザに対する通知が起動される、請求項6に記載のシステム。
  8. ヘッドセットをさらに含み、前記ヘッドセットは、複数のマイクロフォンおよび頭部の動きと位置とを検出するためのセンサのうち少なくとも1つを含む、請求項1に記載のシステム。
  9. 前記センサおよびマイクロフォンアレイは、組み合わされかつ眼鏡の形態である、請求項8に記載のシステム。
  10. 前記ヘッドセットは、小型イヤホン(earbud)、イヤホン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳、およびヘッドホンの少なくとも1つの形態である、請求項8に記載のシステム。
  11. 前記補助聴覚装置は、オーディオスピーカ、無線搭載補聴器、BLUETOOTH(登録商標)ヘッドセット、小型イヤホン、ヘッドホン、骨伝導聴覚装置および人工内耳のうち少なくとも1つを備える、請求項1に記載のシステム。
  12. 前記補助聴覚装置は小型イヤホンであり、前記小型イヤホンはEEGセンサを有し、前記オーディオ出力は前記EEGセンサの出力に応じるものである、請求項1に記載のシステム。
  13. 前記オーディオ出力信号を前記補助聴覚装置に送信するためのオーディオ送信機をさらに含む、請求項1に記載のシステム。
  14. 前記複数のマイクロフォンおよび処理回路は、エンクロージャに組み込まれたウェブカムと会議電話通話およびビデオ会議能力とを有する会議パック(conference puck)の形態である、請求項1に記載のシステム。
  15. 前記会議パックは、前記ユーザの場所を検出するウェブカムを含む、請求項14に記載のシステム。
  16. 携帯型装置が水平面で平らに横たわることができるよう前記ユーザの頭部を指すように適合されたミラーを有する前記携帯型装置を含む、請求項1に記載のシステム。
  17. 遅延再生または繰り返し再生のために前記オーディオ出力信号を記憶するためのオーディオ記憶媒体をさらに含む、請求項1に記載のシステム。
  18. 眼球運動、EEG活性、頭部位置またはユーザのタッチのうち少なくとも1つを検出するセンサをさらに含む、請求項1に記載のシステム。
  19. 注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択、ノイズキャンセルおよび抑制、ならびに音声増幅のうち少なくとも1つを実行するクライアントシステムをさらに備える、請求項1に記載のシステム。
  20. 前記クライアントシステムは、ケーシングと、入力ソケットと、出力ソケットと、少なくとも1つのスピーカと、透明な電池表示を有する第2の表示灯とを有する音声パック(sound puck)を備える、請求項19に記載のシステム。
  21. 前記クライアントシステムは、ベース取付片、スマートフォン取付片およびスマートフォンを有するスマートフォンホルダをさらに備える、請求項19に記載のシステム。
  22. 聴力を改善するための方法であって、
    スマートフォンを、前記スマートフォンを持つユーザを前記スマートフォンに含まれるカメラで見ることができる位置で保持して、前記ユーザの場所を検出するステップと、
    前記スマートフォンに含まれる複数のマイクロフォンによってオーディオ信号を取得するステップと、
    前記複数のビーム形成マイクロフォンの角度および強度を定めるビーム形成アルゴリズムを用いる前記ビーム形成マイクロフォンのうち少なくとも1つから処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップとを含む方法
  23. 前記複数のマイクロフォンは、マイクロフォンアレイ、音声パック、会議パックおよびスマートフォンからなる群から選択される形態である、聴力を改善するための請求項22に記載の方法
  24. 前記ユーザの頭部位置および注視を判定するために利用される複数のカメラを使用することを含む、聴力を改善するための請求項22に記載の方法
  25. 前記ユーザの頭部位置を検出するためのセンサを有する小型イヤホンを使用することを含む、聴力を改善するための請求項22に記載の方法
  26. 前記向上したオーディオ信号は、少なくとも1つの外部スピーカ、少なくとも1つまたは複数の外部パラメトリックスピーカ、少なくとも1つの小型イヤホンを有するかあるいは有しない前記スマートフォン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳、骨伝導聴覚装置および一組のヘッドホンからなる群から選択される装置によって出力される、聴力を改善するための請求項22に記載の方法
  27. 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも1つも行う、聴力を改善するための請求項22に記載の方法
  28. 実行されたときに、ユーザに向上したオーディオ信号を提供するための方法を実行する命令を記憶した非一時的コンピュータ記憶媒体であって、前記方法が、
    スマートフォンに含まれる複数のビーム形成マイクロフォンによってオーディオ信号を受信するステップと、
    前記ユーザが見えるように焦点が合わされかつ倍率が拡大されたカメラを有する前記スマートフォンによって、前記ユーザの位置を監視するステップと、
    前記複数のビーム形成マイクロフォンを用いて処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップと
    を含む非一時的コンピュータ記憶媒体
  29. 前記スマートフォンは、マイクロフォンアレイ、音声パックおよびスマートフォンホルダからなる群から選択されるクライアントシステムに接続される、請求項28に記載の非一時的コンピュータ記憶媒体
  30. ユーザの頭部位置および注視を判定するために複数のカメラが利用される、請求項28に記載の非一時的コンピュータ記憶媒体
  31. 前記向上したオーディオ信号は、外部スピーカ、前記スマートフォンに含まれる小型イヤホン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳および一組のヘッドホンからなる群から選択される装置によって出力される、請求項28に記載の非一時的コンピュータ記憶媒体
  32. 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも1つを実行する、請求項28に記載の非一時的コンピュータ記憶媒体
JP2017542487A 2015-02-13 2016-02-16 聴力を改善するためのシステムおよび方法 Expired - Fee Related JP6738342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562116231P 2015-02-13 2015-02-13
US62/116,231 2015-02-13
PCT/US2016/018132 WO2016131064A1 (en) 2015-02-13 2016-02-16 System and method for improving hearing

Publications (3)

Publication Number Publication Date
JP2018511212A JP2018511212A (ja) 2018-04-19
JP2018511212A5 true JP2018511212A5 (ja) 2019-03-22
JP6738342B2 JP6738342B2 (ja) 2020-08-12

Family

ID=56615706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542487A Expired - Fee Related JP6738342B2 (ja) 2015-02-13 2016-02-16 聴力を改善するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US10856071B2 (ja)
EP (1) EP3257266A4 (ja)
JP (1) JP6738342B2 (ja)
AU (1) AU2016218989B2 (ja)
CA (1) CA2975955A1 (ja)
WO (1) WO2016131064A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10856068B2 (en) 2015-09-16 2020-12-01 Apple Inc. Earbuds
US9716937B2 (en) * 2015-09-16 2017-07-25 Apple Inc. Earbuds with biometric sensing
WO2017194084A1 (en) * 2016-05-09 2017-11-16 Advanced Bionics Ag Neural stimulation system
WO2018048846A1 (en) 2016-09-06 2018-03-15 Apple Inc. Earphone assemblies with wingtips for anchoring to a user
US10512750B1 (en) 2016-12-28 2019-12-24 X Development Llc Bone conduction speaker patch
US10284982B1 (en) 2016-12-28 2019-05-07 X Development Llc Bone conduction speaker patch
US10133544B2 (en) 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
JP2018191145A (ja) * 2017-05-08 2018-11-29 オリンパス株式会社 収音装置、収音方法、収音プログラム及びディクテーション方法
WO2019013811A1 (en) 2017-07-14 2019-01-17 Hewlett-Packard Development Company, L.P. MICROWAVE IMAGE PROCESSING TO DIRECT THE BEAM DIRECTION OF A MICROPHONE NETWORK
US10157628B1 (en) * 2017-11-07 2018-12-18 Fortemedia, Inc. Sound identification device with microphone array
US10540015B2 (en) * 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
CN112544089B (zh) * 2018-06-07 2023-03-28 索诺瓦公司 提供具有空间背景的音频的麦克风设备
CN108831472B (zh) * 2018-06-27 2022-03-11 中山大学肿瘤防治中心 一种基于唇语识别的人工智能发声系统及发声方法
JP7127683B2 (ja) * 2018-06-27 2022-08-30 ヤマハ株式会社 音響装置および情報管理システム
EP3945735A1 (en) 2020-07-30 2022-02-02 Koninklijke Philips N.V. Sound management in an operating room
US11290837B1 (en) * 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
EP4093046A1 (en) * 2021-05-21 2022-11-23 Nokia Technologies Oy Multi-microphone audio capture
US11478184B1 (en) 2021-09-14 2022-10-25 Applied Cognition, Inc. Non-invasive assessment of glymphatic flow and neurodegeneration from a wearable device
US11689841B2 (en) * 2021-09-29 2023-06-27 Microsoft Technology Licensing, Llc Earbud orientation-based beamforming
WO2023237923A1 (en) * 2022-06-08 2023-12-14 Wehear Hearing Solutions Llp A sound receiver watch for non-surgical hearing aid
DE102022121636A1 (de) * 2022-08-26 2024-02-29 Telefónica Germany GmbH & Co. OHG System, Verfahren, Computerprogramm und computerlesbares Medium

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61234699A (ja) * 1985-04-10 1986-10-18 Tokyo Tatsuno Co Ltd 補聴器
EP0845958B1 (en) 1995-07-21 2003-05-28 Stethtech Corporation Electronic stethoscope
JPH09327097A (ja) * 1996-06-07 1997-12-16 Nec Corp 補聴器
DE69904822T2 (de) * 1999-10-07 2003-11-06 Zlatan Ribic Verfahren und Anordnung zur Aufnahme von Schallsignalen
JP2001292212A (ja) * 2000-04-07 2001-10-19 Mitsubishi Electric Corp 携帯電話機
US8116489B2 (en) 2004-10-01 2012-02-14 Hearworks Pty Ltd Accoustically transparent occlusion reduction system and method
WO2007052185A2 (en) * 2005-11-01 2007-05-10 Koninklijke Philips Electronics N.V. Hearing aid comprising sound tracking means
EP2030476B1 (en) 2006-06-01 2012-07-18 Hear Ip Pty Ltd A method and system for enhancing the intelligibility of sounds
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
US8301193B1 (en) * 2008-11-03 2012-10-30 Sprint Communications Company L.P. Differential planes for video I/O in a hearing impaired application
CN102204281B (zh) 2008-11-05 2015-06-10 希尔Ip有限公司 用于产生定向输出信号的系统和方法
US8154588B2 (en) * 2009-01-14 2012-04-10 Alan Alexander Burns Participant audio enhancement system
US20100317413A1 (en) * 2009-06-15 2010-12-16 Qing Song Tan Portable phone holder and solar charger
US8947978B2 (en) 2009-08-11 2015-02-03 HEAR IP Pty Ltd. System and method for estimating the direction of arrival of a sound
US8538049B2 (en) * 2010-02-12 2013-09-17 Audiotoniq, Inc. Hearing aid, computing device, and method for selecting a hearing aid profile
US8654999B2 (en) * 2010-04-13 2014-02-18 Audiotoniq, Inc. System and method of progressive hearing device adjustment
TWI401015B (zh) * 2010-06-08 2013-07-01 Htc Corp 具有連動支撐件的手持裝置
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
WO2012017270A1 (en) * 2010-08-05 2012-02-09 Nokia Corporation An apparatus
US9396717B2 (en) 2010-11-18 2016-07-19 HEAR IP Pty Ltd. Systems and methods for reducing unwanted sounds in signals received from an arrangement of microphones
WO2012083989A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
US20130177166A1 (en) * 2011-05-27 2013-07-11 Sony Ericsson Mobile Communications Ab Head-related transfer function (hrtf) selection or adaptation based on head size
US20130028443A1 (en) * 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
DE102011085361A1 (de) * 2011-10-28 2013-05-02 Sennheiser Electronic Gmbh & Co. Kg Mikrofoneinrichtung
US9104048B2 (en) * 2012-01-25 2015-08-11 International Business Machines Corporation Three dimensional image projector with single modulator
US8781142B2 (en) * 2012-02-24 2014-07-15 Sverrir Olafsson Selective acoustic enhancement of ambient sound
EP2832111B1 (en) * 2012-03-26 2018-05-23 University of Surrey Acoustic source separation
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US20140189586A1 (en) * 2012-12-28 2014-07-03 Spritz Technology Llc Methods and systems for displaying text using rsvp
US8995698B2 (en) * 2012-07-27 2015-03-31 Starkey Laboratories, Inc. Visual speech mapping
KR102060712B1 (ko) * 2013-01-31 2020-02-11 엘지전자 주식회사 이동 단말기, 및 그 동작방법
US10347269B2 (en) 2013-03-12 2019-07-09 Hear Ip Pty Ltd Noise reduction method and system
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
US9280972B2 (en) 2013-05-10 2016-03-08 Microsoft Technology Licensing, Llc Speech to text conversion
EP3917167A3 (en) 2013-06-14 2022-03-09 Oticon A/s A hearing assistance device with brain computer interface
US9596437B2 (en) * 2013-08-21 2017-03-14 Microsoft Technology Licensing, Llc Audio focusing via multiple microphones
US20150117695A1 (en) * 2013-10-28 2015-04-30 Aliphcom Orienting earbuds and earbud systems
US20150118959A1 (en) * 2013-10-28 2015-04-30 Nicolas Jean Petit Platform framework for wireless media device simulation and design
US8891800B1 (en) 2014-02-21 2014-11-18 Jonathan Everett Shaffer Earbud charging case for mobile device
KR20200092424A (ko) * 2014-03-03 2020-08-03 아이웨이 비전 엘티디. 눈 투영 시스템
US9426568B2 (en) * 2014-04-15 2016-08-23 Harman International Industries, LLC Apparatus and method for enhancing an audio output from a target source
US20150382129A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Driving parametric speakers as a function of tracked user location
US10284956B2 (en) * 2015-06-27 2019-05-07 Intel Corporation Technologies for localized audio enhancement of a three-dimensional video
US20170243582A1 (en) * 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Hearing assistance with automated speech transcription

Similar Documents

Publication Publication Date Title
JP2018511212A5 (ja)
JP6738342B2 (ja) 聴力を改善するためのシステムおよび方法
US11095985B2 (en) Binaural recording for processing audio signals to enable alerts
JP6747538B2 (ja) 情報処理装置
US9264824B2 (en) Integration of hearing aids with smart glasses to improve intelligibility in noise
KR102378762B1 (ko) 지향성의 사운드 변형
US9980054B2 (en) Stereophonic focused hearing
US9510112B2 (en) External microphone array and hearing aid using it
US10257637B2 (en) Shoulder-mounted robotic speakers
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
US10922044B2 (en) Wearable audio device capability demonstration
US11893997B2 (en) Audio signal processing for automatic transcription using ear-wearable device
CN106302974B (zh) 一种信息处理的方法及电子设备
US10553196B1 (en) Directional noise-cancelling and sound detection system and method for sound targeted hearing and imaging
WO2018166081A1 (zh) 一种耳机
JP6290827B2 (ja) オーディオ信号を処理する方法及び補聴器システム
US11750984B2 (en) Machine learning based self-speech removal
Hoffmann et al. Quantitative assessment of spatial sound distortion by the semi-ideal recording point of a hear-through device
JP6930280B2 (ja) メディアキャプチャ・処理システム
WO2022051097A1 (en) Eyeglass augmented reality speech to text device and method
US20210134321A1 (en) Real-time augmented hearing platform
US11163522B2 (en) Fine grain haptic wearable device
JP2024504379A (ja) マイクロホンビームステアリングを用いる頭部装着型コンピューティングデバイス
TW201508376A (zh) 用於眼鏡之聲音感應耳部揚聲器