JP2018511212A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2018511212A5 JP2018511212A5 JP2017542487A JP2017542487A JP2018511212A5 JP 2018511212 A5 JP2018511212 A5 JP 2018511212A5 JP 2017542487 A JP2017542487 A JP 2017542487A JP 2017542487 A JP2017542487 A JP 2017542487A JP 2018511212 A5 JP2018511212 A5 JP 2018511212A5
- Authority
- JP
- Japan
- Prior art keywords
- user
- smartphone
- audio
- microphones
- hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims 7
- 239000007943 implant Substances 0.000 claims 4
- 230000003321 amplification Effects 0.000 claims 3
- 238000004458 analytical method Methods 0.000 claims 3
- 239000000203 mixture Substances 0.000 claims 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims 3
- 210000000988 Bone and Bones Anatomy 0.000 claims 2
- 241000974044 Puck Species 0.000 claims 2
- 238000001514 detection method Methods 0.000 claims 2
- 230000001702 transmitter Effects 0.000 claims 2
- 206010011878 Deafness Diseases 0.000 claims 1
- 208000004559 Hearing Loss Diseases 0.000 claims 1
- 206010011879 Hearing loss Diseases 0.000 claims 1
- 230000003111 delayed Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
- 230000004424 eye movement Effects 0.000 claims 1
- 239000011521 glass Substances 0.000 claims 1
- 230000004886 head movement Effects 0.000 claims 1
- 231100000888 hearing loss Toxicity 0.000 claims 1
- 230000003287 optical Effects 0.000 claims 1
- 230000001629 suppression Effects 0.000 claims 1
- 239000003826 tablet Substances 0.000 claims 1
Claims (32)
- 聴力を改善するためのシステムであって、
エンクロージャの外部から音響信号を受信し、マイクロフォン出力信号を生成するための複数のマイクロフォンと、
ユーザの位置に関する情報を受信し、前記ユーザの頭部の位置を計算するユーザ位置処理回路と、
前記マイクロフォン出力信号および前記ユーザの頭部の位置に関する情報を受信し、前記マイクロフォンによって受信され、前記ユーザの聴覚欠損プロファイルに同調された前記音響信号と比較して音響音質が向上したオーディオ出力信号を生成する処理回路と、
オーディオ出力信号を前記ユーザに提供する補助聴覚装置と
を備えるシステム。 - 前記ユーザ位置処理回路は、
前記ユーザの頭部の光学画像を取得するための視野を有するカメラと、
ユーザの頭部の位置および注視の向きを計算する位置処理回路とを含み、
前記位置および注視の向きは、前記オーディオ出力信号の方向、強度、角度および品質のうち少なくとも1つを最適化するために前記処理回路によって受信される、請求項1に記載のシステム。 - 前記複数のマイクロフォン、ユーザ位置処理回路およびオーディオ送信機が、卓上型装置、スマートウォッチ、電子タブレット、および身体着用型装置のうち1つの中に位置する、請求項1に記載のシステム。
- スマートフォン形態の卓上型装置を含み、前記複数のマイクロフォンは、前記スマートフォンから出退可能である出退自在な繰出し片上に位置する、請求項3に記載のシステム。
- 前記複数のマイクロフォンはビーム形成マイクロフォンを備え、前記処理回路は各マイクロフォンのビーム形成パターンを規定するビーム形成アルゴリズムを実行する、請求項1に記載のシステム。
- 前記ユーザのジェスチャーを検出し、前記オーディオ出力信号の特性を制御するための制御信号を出力するセンサを含む、請求項1に記載のシステム。
- 前記センサは、前記ユーザの長時間にわたる注視ジェスチャーを検出し、長時間にわたる注視ジェスチャーの検出により、前記ユーザに対する通知が起動される、請求項6に記載のシステム。
- ヘッドセットをさらに含み、前記ヘッドセットは、複数のマイクロフォンおよび頭部の動きと位置とを検出するためのセンサのうち少なくとも1つを含む、請求項1に記載のシステム。
- 前記センサおよびマイクロフォンアレイは、組み合わされかつ眼鏡の形態である、請求項8に記載のシステム。
- 前記ヘッドセットは、小型イヤホン(earbud)、イヤホン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳、およびヘッドホンの少なくとも1つの形態である、請求項8に記載のシステム。
- 前記補助聴覚装置は、オーディオスピーカ、無線搭載補聴器、BLUETOOTH(登録商標)ヘッドセット、小型イヤホン、ヘッドホン、骨伝導聴覚装置および人工内耳のうち少なくとも1つを備える、請求項1に記載のシステム。
- 前記補助聴覚装置は小型イヤホンであり、前記小型イヤホンはEEGセンサを有し、前記オーディオ出力は前記EEGセンサの出力に応じるものである、請求項1に記載のシステム。
- 前記オーディオ出力信号を前記補助聴覚装置に送信するためのオーディオ送信機をさらに含む、請求項1に記載のシステム。
- 前記複数のマイクロフォンおよび処理回路は、エンクロージャに組み込まれたウェブカムと会議電話通話およびビデオ会議能力とを有する会議パック(conference puck)の形態である、請求項1に記載のシステム。
- 前記会議パックは、前記ユーザの場所を検出するウェブカムを含む、請求項14に記載のシステム。
- 携帯型装置が水平面で平らに横たわることができるよう前記ユーザの頭部を指すように適合されたミラーを有する前記携帯型装置を含む、請求項1に記載のシステム。
- 遅延再生または繰り返し再生のために前記オーディオ出力信号を記憶するためのオーディオ記憶媒体をさらに含む、請求項1に記載のシステム。
- 眼球運動、EEG活性、頭部位置またはユーザのタッチのうち少なくとも1つを検出するセンサをさらに含む、請求項1に記載のシステム。
- 注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択、ノイズキャンセルおよび抑制、ならびに音声増幅のうち少なくとも1つを実行するクライアントシステムをさらに備える、請求項1に記載のシステム。
- 前記クライアントシステムは、ケーシングと、入力ソケットと、出力ソケットと、少なくとも1つのスピーカと、透明な電池表示を有する第2の表示灯とを有する音声パック(sound puck)を備える、請求項19に記載のシステム。
- 前記クライアントシステムは、ベース取付片、スマートフォン取付片およびスマートフォンを有するスマートフォンホルダをさらに備える、請求項19に記載のシステム。
- 聴力を改善するための方法であって、
スマートフォンを、前記スマートフォンを持つユーザを前記スマートフォンに含まれるカメラで見ることができる位置で保持して、前記ユーザの場所を検出するステップと、
前記スマートフォンに含まれる複数のマイクロフォンによってオーディオ信号を取得するステップと、
前記複数のビーム形成マイクロフォンの角度および強度を定めるビーム形成アルゴリズムを用いる前記ビーム形成マイクロフォンのうち少なくとも1つから処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップとを含む方法。 - 前記複数のマイクロフォンは、マイクロフォンアレイ、音声パック、会議パックおよびスマートフォンからなる群から選択される形態である、聴力を改善するための請求項22に記載の方法。
- 前記ユーザの頭部位置および注視を判定するために利用される複数のカメラを使用することを含む、聴力を改善するための請求項22に記載の方法。
- 前記ユーザの頭部位置を検出するためのセンサを有する小型イヤホンを使用することを含む、聴力を改善するための請求項22に記載の方法。
- 前記向上したオーディオ信号は、少なくとも1つの外部スピーカ、少なくとも1つまたは複数の外部パラメトリックスピーカ、少なくとも1つの小型イヤホンを有するかあるいは有しない前記スマートフォン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳、骨伝導聴覚装置および一組のヘッドホンからなる群から選択される装置によって出力される、聴力を改善するための請求項22に記載の方法。
- 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも1つも行う、聴力を改善するための請求項22に記載の方法。
- 実行されたときに、ユーザに向上したオーディオ信号を提供するための方法を実行する命令を記憶した非一時的コンピュータ記憶媒体であって、前記方法が、
スマートフォンに含まれる複数のビーム形成マイクロフォンによってオーディオ信号を受信するステップと、
前記ユーザが見えるように焦点が合わされかつ倍率が拡大されたカメラを有する前記スマートフォンによって、前記ユーザの位置を監視するステップと、
前記複数のビーム形成マイクロフォンを用いて処理された向上したオーディオ信号によって、前記ユーザに聴覚情報をフィードバックするステップと
を含む非一時的コンピュータ記憶媒体。 - 前記スマートフォンは、マイクロフォンアレイ、音声パックおよびスマートフォンホルダからなる群から選択されるクライアントシステムに接続される、請求項28に記載の非一時的コンピュータ記憶媒体。
- ユーザの頭部位置および注視を判定するために複数のカメラが利用される、請求項28に記載の非一時的コンピュータ記憶媒体。
- 前記向上したオーディオ信号は、外部スピーカ、前記スマートフォンに含まれる小型イヤホン、補聴器、補助聴覚装置、BLUETOOTH(登録商標)ヘッドセット、人工内耳および一組のヘッドホンからなる群から選択される装置によって出力される、請求項28に記載の非一時的コンピュータ記憶媒体。
- 前記フィードバックするステップは、ユーザの頭部位置の検出、注視追跡、ノイズキャンセル、注視追跡の解析、マイクロフォンの組合せの選択および音声増幅のうち少なくとも1つを実行する、請求項28に記載の非一時的コンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562116231P | 2015-02-13 | 2015-02-13 | |
US62/116,231 | 2015-02-13 | ||
PCT/US2016/018132 WO2016131064A1 (en) | 2015-02-13 | 2016-02-16 | System and method for improving hearing |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018511212A JP2018511212A (ja) | 2018-04-19 |
JP2018511212A5 true JP2018511212A5 (ja) | 2019-03-22 |
JP6738342B2 JP6738342B2 (ja) | 2020-08-12 |
Family
ID=56615706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017542487A Expired - Fee Related JP6738342B2 (ja) | 2015-02-13 | 2016-02-16 | 聴力を改善するためのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10856071B2 (ja) |
EP (1) | EP3257266A4 (ja) |
JP (1) | JP6738342B2 (ja) |
AU (1) | AU2016218989B2 (ja) |
CA (1) | CA2975955A1 (ja) |
WO (1) | WO2016131064A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10856068B2 (en) | 2015-09-16 | 2020-12-01 | Apple Inc. | Earbuds |
US9716937B2 (en) * | 2015-09-16 | 2017-07-25 | Apple Inc. | Earbuds with biometric sensing |
WO2017194084A1 (en) * | 2016-05-09 | 2017-11-16 | Advanced Bionics Ag | Neural stimulation system |
WO2018048846A1 (en) | 2016-09-06 | 2018-03-15 | Apple Inc. | Earphone assemblies with wingtips for anchoring to a user |
US10512750B1 (en) | 2016-12-28 | 2019-12-24 | X Development Llc | Bone conduction speaker patch |
US10284982B1 (en) | 2016-12-28 | 2019-05-07 | X Development Llc | Bone conduction speaker patch |
US10133544B2 (en) | 2017-03-02 | 2018-11-20 | Starkey Hearing Technologies | Hearing device incorporating user interactive auditory display |
JP2018191145A (ja) * | 2017-05-08 | 2018-11-29 | オリンパス株式会社 | 収音装置、収音方法、収音プログラム及びディクテーション方法 |
WO2019013811A1 (en) | 2017-07-14 | 2019-01-17 | Hewlett-Packard Development Company, L.P. | MICROWAVE IMAGE PROCESSING TO DIRECT THE BEAM DIRECTION OF A MICROPHONE NETWORK |
US10157628B1 (en) * | 2017-11-07 | 2018-12-18 | Fortemedia, Inc. | Sound identification device with microphone array |
US10540015B2 (en) * | 2018-03-26 | 2020-01-21 | Chian Chiu Li | Presenting location related information and implementing a task based on gaze and voice detection |
CN112544089B (zh) * | 2018-06-07 | 2023-03-28 | 索诺瓦公司 | 提供具有空间背景的音频的麦克风设备 |
CN108831472B (zh) * | 2018-06-27 | 2022-03-11 | 中山大学肿瘤防治中心 | 一种基于唇语识别的人工智能发声系统及发声方法 |
JP7127683B2 (ja) * | 2018-06-27 | 2022-08-30 | ヤマハ株式会社 | 音響装置および情報管理システム |
EP3945735A1 (en) | 2020-07-30 | 2022-02-02 | Koninklijke Philips N.V. | Sound management in an operating room |
US11290837B1 (en) * | 2020-10-23 | 2022-03-29 | Facebook Technologies, Llc | Audio system using persistent sound source selection for audio enhancement |
EP4093046A1 (en) * | 2021-05-21 | 2022-11-23 | Nokia Technologies Oy | Multi-microphone audio capture |
US11478184B1 (en) | 2021-09-14 | 2022-10-25 | Applied Cognition, Inc. | Non-invasive assessment of glymphatic flow and neurodegeneration from a wearable device |
US11689841B2 (en) * | 2021-09-29 | 2023-06-27 | Microsoft Technology Licensing, Llc | Earbud orientation-based beamforming |
WO2023237923A1 (en) * | 2022-06-08 | 2023-12-14 | Wehear Hearing Solutions Llp | A sound receiver watch for non-surgical hearing aid |
DE102022121636A1 (de) * | 2022-08-26 | 2024-02-29 | Telefónica Germany GmbH & Co. OHG | System, Verfahren, Computerprogramm und computerlesbares Medium |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61234699A (ja) * | 1985-04-10 | 1986-10-18 | Tokyo Tatsuno Co Ltd | 補聴器 |
EP0845958B1 (en) | 1995-07-21 | 2003-05-28 | Stethtech Corporation | Electronic stethoscope |
JPH09327097A (ja) * | 1996-06-07 | 1997-12-16 | Nec Corp | 補聴器 |
DE69904822T2 (de) * | 1999-10-07 | 2003-11-06 | Zlatan Ribic | Verfahren und Anordnung zur Aufnahme von Schallsignalen |
JP2001292212A (ja) * | 2000-04-07 | 2001-10-19 | Mitsubishi Electric Corp | 携帯電話機 |
US8116489B2 (en) | 2004-10-01 | 2012-02-14 | Hearworks Pty Ltd | Accoustically transparent occlusion reduction system and method |
WO2007052185A2 (en) * | 2005-11-01 | 2007-05-10 | Koninklijke Philips Electronics N.V. | Hearing aid comprising sound tracking means |
EP2030476B1 (en) | 2006-06-01 | 2012-07-18 | Hear Ip Pty Ltd | A method and system for enhancing the intelligibility of sounds |
US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
US9445193B2 (en) | 2008-07-31 | 2016-09-13 | Nokia Technologies Oy | Electronic device directional audio capture |
US20100074460A1 (en) * | 2008-09-25 | 2010-03-25 | Lucent Technologies Inc. | Self-steering directional hearing aid and method of operation thereof |
US8301193B1 (en) * | 2008-11-03 | 2012-10-30 | Sprint Communications Company L.P. | Differential planes for video I/O in a hearing impaired application |
CN102204281B (zh) | 2008-11-05 | 2015-06-10 | 希尔Ip有限公司 | 用于产生定向输出信号的系统和方法 |
US8154588B2 (en) * | 2009-01-14 | 2012-04-10 | Alan Alexander Burns | Participant audio enhancement system |
US20100317413A1 (en) * | 2009-06-15 | 2010-12-16 | Qing Song Tan | Portable phone holder and solar charger |
US8947978B2 (en) | 2009-08-11 | 2015-02-03 | HEAR IP Pty Ltd. | System and method for estimating the direction of arrival of a sound |
US8538049B2 (en) * | 2010-02-12 | 2013-09-17 | Audiotoniq, Inc. | Hearing aid, computing device, and method for selecting a hearing aid profile |
US8654999B2 (en) * | 2010-04-13 | 2014-02-18 | Audiotoniq, Inc. | System and method of progressive hearing device adjustment |
TWI401015B (zh) * | 2010-06-08 | 2013-07-01 | Htc Corp | 具有連動支撐件的手持裝置 |
JP2012029209A (ja) * | 2010-07-27 | 2012-02-09 | Hitachi Ltd | 音処理システム |
WO2012017270A1 (en) * | 2010-08-05 | 2012-02-09 | Nokia Corporation | An apparatus |
US9396717B2 (en) | 2010-11-18 | 2016-07-19 | HEAR IP Pty Ltd. | Systems and methods for reducing unwanted sounds in signals received from an arrangement of microphones |
WO2012083989A1 (en) * | 2010-12-22 | 2012-06-28 | Sony Ericsson Mobile Communications Ab | Method of controlling audio recording and electronic device |
US20130177166A1 (en) * | 2011-05-27 | 2013-07-11 | Sony Ericsson Mobile Communications Ab | Head-related transfer function (hrtf) selection or adaptation based on head size |
US20130028443A1 (en) * | 2011-07-28 | 2013-01-31 | Apple Inc. | Devices with enhanced audio |
DE102011085361A1 (de) * | 2011-10-28 | 2013-05-02 | Sennheiser Electronic Gmbh & Co. Kg | Mikrofoneinrichtung |
US9104048B2 (en) * | 2012-01-25 | 2015-08-11 | International Business Machines Corporation | Three dimensional image projector with single modulator |
US8781142B2 (en) * | 2012-02-24 | 2014-07-15 | Sverrir Olafsson | Selective acoustic enhancement of ambient sound |
EP2832111B1 (en) * | 2012-03-26 | 2018-05-23 | University of Surrey | Acoustic source separation |
US9746916B2 (en) | 2012-05-11 | 2017-08-29 | Qualcomm Incorporated | Audio user interaction recognition and application interface |
US20140189586A1 (en) * | 2012-12-28 | 2014-07-03 | Spritz Technology Llc | Methods and systems for displaying text using rsvp |
US8995698B2 (en) * | 2012-07-27 | 2015-03-31 | Starkey Laboratories, Inc. | Visual speech mapping |
KR102060712B1 (ko) * | 2013-01-31 | 2020-02-11 | 엘지전자 주식회사 | 이동 단말기, 및 그 동작방법 |
US10347269B2 (en) | 2013-03-12 | 2019-07-09 | Hear Ip Pty Ltd | Noise reduction method and system |
US10365716B2 (en) * | 2013-03-15 | 2019-07-30 | Interaxon Inc. | Wearable computing apparatus and method |
US9280972B2 (en) | 2013-05-10 | 2016-03-08 | Microsoft Technology Licensing, Llc | Speech to text conversion |
EP3917167A3 (en) | 2013-06-14 | 2022-03-09 | Oticon A/s | A hearing assistance device with brain computer interface |
US9596437B2 (en) * | 2013-08-21 | 2017-03-14 | Microsoft Technology Licensing, Llc | Audio focusing via multiple microphones |
US20150117695A1 (en) * | 2013-10-28 | 2015-04-30 | Aliphcom | Orienting earbuds and earbud systems |
US20150118959A1 (en) * | 2013-10-28 | 2015-04-30 | Nicolas Jean Petit | Platform framework for wireless media device simulation and design |
US8891800B1 (en) | 2014-02-21 | 2014-11-18 | Jonathan Everett Shaffer | Earbud charging case for mobile device |
KR20200092424A (ko) * | 2014-03-03 | 2020-08-03 | 아이웨이 비전 엘티디. | 눈 투영 시스템 |
US9426568B2 (en) * | 2014-04-15 | 2016-08-23 | Harman International Industries, LLC | Apparatus and method for enhancing an audio output from a target source |
US20150382129A1 (en) * | 2014-06-30 | 2015-12-31 | Microsoft Corporation | Driving parametric speakers as a function of tracked user location |
US10284956B2 (en) * | 2015-06-27 | 2019-05-07 | Intel Corporation | Technologies for localized audio enhancement of a three-dimensional video |
US20170243582A1 (en) * | 2016-02-19 | 2017-08-24 | Microsoft Technology Licensing, Llc | Hearing assistance with automated speech transcription |
-
2016
- 2016-02-16 CA CA2975955A patent/CA2975955A1/en not_active Abandoned
- 2016-02-16 US US15/045,199 patent/US10856071B2/en active Active
- 2016-02-16 AU AU2016218989A patent/AU2016218989B2/en active Active
- 2016-02-16 EP EP16750075.0A patent/EP3257266A4/en active Pending
- 2016-02-16 WO PCT/US2016/018132 patent/WO2016131064A1/en active Application Filing
- 2016-02-16 JP JP2017542487A patent/JP6738342B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018511212A5 (ja) | ||
JP6738342B2 (ja) | 聴力を改善するためのシステムおよび方法 | |
US11095985B2 (en) | Binaural recording for processing audio signals to enable alerts | |
JP6747538B2 (ja) | 情報処理装置 | |
US9264824B2 (en) | Integration of hearing aids with smart glasses to improve intelligibility in noise | |
KR102378762B1 (ko) | 지향성의 사운드 변형 | |
US9980054B2 (en) | Stereophonic focused hearing | |
US9510112B2 (en) | External microphone array and hearing aid using it | |
US10257637B2 (en) | Shoulder-mounted robotic speakers | |
JP2017521902A (ja) | 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード | |
US10922044B2 (en) | Wearable audio device capability demonstration | |
US11893997B2 (en) | Audio signal processing for automatic transcription using ear-wearable device | |
CN106302974B (zh) | 一种信息处理的方法及电子设备 | |
US10553196B1 (en) | Directional noise-cancelling and sound detection system and method for sound targeted hearing and imaging | |
WO2018166081A1 (zh) | 一种耳机 | |
JP6290827B2 (ja) | オーディオ信号を処理する方法及び補聴器システム | |
US11750984B2 (en) | Machine learning based self-speech removal | |
Hoffmann et al. | Quantitative assessment of spatial sound distortion by the semi-ideal recording point of a hear-through device | |
JP6930280B2 (ja) | メディアキャプチャ・処理システム | |
WO2022051097A1 (en) | Eyeglass augmented reality speech to text device and method | |
US20210134321A1 (en) | Real-time augmented hearing platform | |
US11163522B2 (en) | Fine grain haptic wearable device | |
JP2024504379A (ja) | マイクロホンビームステアリングを用いる頭部装着型コンピューティングデバイス | |
TW201508376A (zh) | 用於眼鏡之聲音感應耳部揚聲器 |