CN109922417A - 适于导航的听力装置或系统 - Google Patents
适于导航的听力装置或系统 Download PDFInfo
- Publication number
- CN109922417A CN109922417A CN201811489755.7A CN201811489755A CN109922417A CN 109922417 A CN109922417 A CN 109922417A CN 201811489755 A CN201811489755 A CN 201811489755A CN 109922417 A CN109922417 A CN 109922417A
- Authority
- CN
- China
- Prior art keywords
- user
- signal
- hearing
- sound
- hearing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 9
- 238000009740 moulding (composite fabrication) Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000000638 stimulation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 3
- 230000001681 protective effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 41
- 210000001508 eye Anatomy 0.000 description 38
- 238000012545 processing Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 28
- 238000002570 electrooculography Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 23
- 210000000613 ear canal Anatomy 0.000 description 18
- 210000003477 cochlea Anatomy 0.000 description 14
- 239000007943 implant Substances 0.000 description 13
- 238000000537 electroencephalography Methods 0.000 description 12
- 230000002708 enhancing effect Effects 0.000 description 12
- 230000005611 electricity Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 230000003321 amplification Effects 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000005424 photoluminescence Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000002513 implantation Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 210000003625 skull Anatomy 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 3
- 210000000860 cochlear nerve Anatomy 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000000959 ear middle Anatomy 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010358 mechanical oscillation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- AOQBFUJPFAJULO-UHFFFAOYSA-N 2-(4-isothiocyanatophenyl)isoindole-1-carbonitrile Chemical compound C1=CC(N=C=S)=CC=C1N1C(C#N)=C2C=CC=CC2=C1 AOQBFUJPFAJULO-UHFFFAOYSA-N 0.000 description 1
- 102100032219 Cathepsin D Human genes 0.000 description 1
- 102000002322 Egg Proteins Human genes 0.000 description 1
- 108010000912 Egg Proteins Proteins 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 101000869010 Homo sapiens Cathepsin D Proteins 0.000 description 1
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002768 hair cell Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004681 ovum Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 108091008706 proprioceptors Proteins 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004599 slow eye movement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/06—Hearing aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/39—Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
- H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
- H04R25/606—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers acting directly on the eardrum, the ossicles or the skull, e.g. mastoid, tooth, maxillary or mandibular bone, or mechanically stimulating the cochlea, e.g. at the oval window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Dermatology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Navigation (AREA)
Abstract
本申请公开了适于导航的听力装置或系统，其中听力系统包括适于由用户佩戴的听力装置及包括：音频输入单元，配置成接收多个包括来自用户周围环境中的多个定位的声源的声音的音频信号；及传感器单元，配置成从一个或多个传感器接收和/或提供传感器信号，所述一个或多个传感器位于所述环境中和/或形成所述听力系统的一部分；及第一处理器，配置成随时间产生和更新表示用户环境的地图的数据，所述数据称为地图数据，所述环境包括多个固定不动的或者移动的陆标，所述陆标包括多个定位的声源，及所述地图数据表示所述环境中的陆标相对于用户的物理位置；其中所述听力系统配置成基于所述音频信号和所述传感器信号随时间产生和更新地图数据。
Description
技术领域
本发明涉及听力装置如助听器，尤其涉及在通常空间有限的用户环境中佩戴一个或多个听力装置的用户相对于两个以上声源的定位。
背景技术
听者/助听器用户在多声学对象的场景中可能具有分离、跟随及将注意力聚焦于给定动态听觉对象的问题。对于耳背的听者尤其如此。尽管现代助听器产生声源的一些分离的能力，例如使用多传声器波束形成(及进一步降噪)，仍需要加强用户聚焦的声音。
发明内容
提出配置一种听力装置如助听器，其适于由用户佩戴以随时间产生和更新表示用户当前环境的地图的数据(这样的数据称为“地图数据”)。还提出配置听力装置以与地图数据交互作用而相对于用户的物理环境中的一个或多个声源定位用户。物理环境例如可由包括多个物理对象的房间或其它场所构成，包括一个或多个(定位的)声源(如人或其它声音传送者)。用户在给定房间或其它场所中的位置可绝对或相对地确定(估计)(如坐标)。用户在给定房间或其它场所中的位置(相对于一个或多个可能被识别的声源)例如可经用户界面如图形用户界面显示在例如遥控器、智能电话或类似装置上。结合定位和建图(例如使用同时定位和建图(SLAM)方法)的听力装置如助听器相较现有技术听力装置如助听器具有明显的提高，如本发明中描述的。在实施例中，本发明提供基于无线电场和磁扰的地图。从而几个并行的地图，例如基于来自例如视觉、音频、磁、无线电场源等的传感器的观察结果，可用于追踪感兴趣的对象(如声源)和/或相对于这样的对象定位用户。使用用户周围的对象(如定位的声源)的空间知识，可确定用户的左和右耳的对象(位置)特有头部相关传递函数(HRTF)(例如从数据库取得)并应用于从这些对象接收的相应声音(以有助于用户感觉声源相对于用户的定位)。
本发明提出一种听力装置如助听器或者听力系统如助听器系统，包括：
-传声器阵列，包括多个用于从佩戴听力装置或听力系统的用户的环境拾取声音的传声器及提供相应传声器信号；
-波束形成器滤波单元，连接到传声器阵列并配置成提供一个或多个(例如多个)朝向用户环境中当前感兴趣的一个或多个(例如两个以上)声源的波束形成器；
-多个传感器(和/或来自这些传感器的数据的存取)，用于提供标示声源的性质或者用户环境的性质的传感器信号；
-处理器，用于基于所述传感器信号和所述传声器信号随时间产生和更新表示佩戴听力装置或听力系统的用户相对于(物理)环境中的声源及可能其它陆标的物理位置的地图的数据；
其中听力装置或听力系统配置成根据地图数据随时间控制和更新波束形成器滤波单元。
每一波束形成器通道(即波束形成器滤波单元(提供波束形成器阵列)的指定方向的输出)可包括单通道降噪滤波器(有时称为后滤波器，例如维纳滤波器、DNN/CNN)，其在有噪声通道中进一步使目标(在语音信号的情形下)与背景噪声分离。
听力系统可被体现为一个或多个彼此通信的、分开的部分或装置，例如完全或部分集成在眼镜架中。一个或多个分开的部分或装置可包括时域位于用户耳朵处或耳朵后面的耳后(BTE)部分，和/或适于位于用户耳道处或耳道中的耳内(ITE)部分，和/或配置成完全或部分植入在用户头部中的部分，及眼镜架适于佩戴在用户眼睛处(例如架在鼻子和/或耳朵上)并包括多个传声器和传感器，例如运动传感器、图像传感器、磁场传感器、无线信号强度传感器、及用于从用户头部拾取电信号如脑电波信号或EOG电位的传感器中的一个或多个。听力系统可包括一个或两个位于用户耳朵处或耳朵中的听力装置及包括眼镜架，眼镜架中或眼镜架上安装一个或多个传感器。一个或两个听力装置与眼镜架(如传感器)之间的通信可以是有线或无线通信。
听力系统
在本申请的一方面，提供一种包括听力装置如助听器的听力系统。听力装置适于由用户佩戴。听力系统包括：
-音频输入单元，配置成接收多个包括来自用户周围环境中的多个定位的声源的声音的音频信号；
-传感器单元，配置成从一个或多个传感器接收和/或提供传感器信号，所述一个或多个传感器位于所述环境中和/或形成所述听力系统的一部分；及
-第一处理器，配置成随时间产生和更新表示用户环境的地图的数据，所述数据称为地图数据，所述环境包括多个固定不动的或者移动的陆标，所述陆标包括多个定位的声源，及所述地图数据表示所述环境中的陆标相对于用户的物理位置。
听力系统配置成，优选持续地(或反复地，例如以预定如有规律的时间间隔)，基于所述音频信号和所述传感器信号随时间产生和更新地图数据。
从而可提供一种改进的听力系统。
听力装置可包括音频输入单元(或者其一部分)。听力装置可包括传感器单元(或者其一部分)。听力装置可包括第一处理器。也可实施其它划分。在实施例中，音频输入单元(或者其一部分)体现在头部穿戴结构如眼镜框中。在实施例中，传感器单元(或者其一部分)体现在头部穿戴结构如眼镜框中。在实施例中，第一处理器(或者其一部分)体现在便携装置如智能电话或类似装置中，或者体现在头部穿戴结构如眼镜框中。在实施例中，听力装置体现在头部穿戴结构如眼镜框中。
听力系统从而配置成根据地图数据估计用户相对于定位的声源的目前位置。
在本说明书中，术语“定位的声源”指在给定时间点在空间中具有特定起点(与分散相反)，例如源自讲话的人(或自定位的声音变换器如扬声器)的语音源。在实施例中，固定不动的或移动的、定位的声源的数量N大于或等于2，例如大于或等于3或4。
在本说明书中，术语“陆标”包括用户环境中其位置可通过传感器进行估计的、固定的对象。这样的对象的例子为定位的声源(例如来自讲话的人或者扬声器)。然而，术语陆标还可包括展现物理性质的特征(如特别小或特别大)值的、环境的定位的区域，物理性质如场强度(如磁场或电磁信号，例如FM信号等)，例如因用户环境中的物理对象(如墙壁、窗户、金属结构等)引起。
给定环境的陆标包括定位的声源，而且可包括另外的对象或信号源；或者，作为备选，可仅由声源构成。
术语“处理器”用于指适合基于适当的输入数据执行处理算法如定位算法的数字处理器。
在实施例中，用户的当前环境空间有限。“佩戴听力系统的用户周围空间有限的环境”例如可以是室内，例如由包括不同对象如家具或设备例如声音产生设备的房间构成，或者由包括多个房间的建筑构成。
听力系统可包括连接到音频输入单元并配置成基于多个音频信号提供一个或多个波束形成器的波束形成器滤波单元。在实施例中，波束形成器滤波单元配置成提供预定的多个波束形成器，例如两个或三个或更多(例如对应于给定时间所有定位的声源)。在实施例中，波束形成器滤波单元适于使得所述多个波束形成器可配置，例如由用户如经用户接口配置。波束形成器滤波单元可配置成使得预定的多个波束形成器朝向当前感兴趣的定位的声源，例如经用户接口指明或确定。在实施例中，波束形成器滤波单元例如波束形成器之一包括线性约束最小方差(LCMV)波束形成器，如MVDR波束形成器。
听力系统可包括输出单元，用于基于表示或包括来自一个或多个定位的声源的声音的、处理后的电输出信号提供可由用户感知为声音的刺激。
第一处理器可配置成使用户能将至少一定位的声源选择为当前感兴趣的声源。第一处理器可配置成使用户能将一个以上定位的声源选择为当前感兴趣的声源，例如按区分优先次序的方式，例如指明它们之间的相对权重，例如对于三个当前感兴趣的声源，60％、20％、20％。
第一处理器可配置成使得一个或多个波束形成器中的至少一个朝向相应的定位的声源。在实施例中，第一处理器配置成根据地图数据随时间控制和更新波束形成器滤波单元，使一个或多个波束形成器朝向用户环境中的一个或多个定位的声源。第一处理器可配置成产生和更新所述波束形成器以随时间追踪所述定位的声源(中的至少部分，如两个以上，如全部)。在实施例中，听力系统配置成使用户能将通过所述波束形成器提供的所述定位的声源的任何组合选择为处理后的电输出信号。
处理后的电输出信号可包括一个或多个基于一个或多个波束形成器的定位的声源。
听力系统可配置成基于地图数据及非必须地基于用户输入自动使波束形成器朝向定位的声源。
听力系统可包括存储器及可配置成将表示近似随时间而变的地图的数据存储在所述存储器中，从而使能追踪所述用户和/或所述环境中的所述定位的声源随时间的移动。不管是头部转动还是陆标和/或用户的平移(房间中的移动)，优选均提供追踪。听力系统可包括适当的运动传感器(如头部跟踪器)，第二使能跟踪用户相对于固定或移动坐标系的运动。
音频输入单元可包括传声器阵列，其包括用于从所述环境拾取声音的多个传声器并提供包括来自所述多个定位的声源的声音的相应传声器信号及提供所述多个音频信号中的至少部分。多个传声器中的至少部分可配置成由用户佩戴。多个传声器例如可包括传声器阵列。在实施例中，多个传声器由一个或多个传声器阵列构成。传声器阵列可配置成由用户佩戴。多个传声器可包括一个或多个固定不动的传声器，每一传声器例如相对于用户位于固定的位置，例如桌上。多个传声器可包括一个或多个移动传声器，例如位于相对于用户移动的对象如人上。
听力系统可包括头部穿戴框架或结构，所述多个传声器中的至少部分如全部位于其上。在实施例中，头部穿戴框架或结构包括眼镜架或头带。
听力系统可包括一个或多个无线接收器，每一无线接收器包括对应的天线和接收器电路，及每一无线接收器配置成接收电磁谱的一部分。在实施例中，接收器电路包括FM接收器。在实施例中，接收器电路包括蓝牙接收器，例如包括BLE接收器。在实施例中，听力系统配置成经所述天线和接收器电路接收包括来自所述多个定位的声源的声音的所述音频信号中的至少一个。在实施例中，接收器电路包括光敏接收器，例如红外光接收器(例如IR光电二极管)。
在实施例中，传感器单元包括超声波接收器，例如传声器，例如特别调整的传声器，如MEMS传声器。
传感器单元可包括加速计、陀螺仪和磁力计中的一个或多个。听力系统的一个或多个另外的传感器例如可包括用于映射环境中磁场的变化的磁力计。一个或多个另外的传感器例如可包括超声传感器，例如用于估计到声源的距离。听力系统的一个或多个另外的传感器例如可包括加速计，例如3D加速计。听力系统的一个或多个另外的传感器例如可包括陀螺仪，例如3D陀螺仪。
传感器单元可包括所述传感器中的一个或多个，及其中一个或多个传感器中的至少一个包括用于拾取身体信号的电极，例如眼动电图描记法(EOG)电位和/或脑电波电位，如脑电描记法(EEG)电位。
传感器单元可包括一个或多个图像传感器，例如摄像机。一个或多个传感器可包括摄像机(例如朝向相对于用户的前面方向，例如朝向用户前面的陆标(例如参见[Davison；2003]、[Pax et al.；2008]或[Lupton&Sukkarieh；2008]))。在实施例中，一个或多个传感器包括计算机视觉系统。在实施例中，一个或多个传感器包括头部安装的、用于眼睛跟踪的眼睛摄像机(例如参见[Richardson&Spivey；2004])。
第一处理器可包括同时定位和建图(SLAM)算法。SLAM(同时定位和建图)的想法是，如名称所表明的，联合解决定位和建图这两个问题，基本上均与相对测量有关。一个人通常具有代理人、机器人、汽车等(在本发明中，“机器人”为用户)，其配备有在移动时测量环境的传感器。基于该传感器数据，任务是相对于固定的框架(其可任意地定义，但通常定义为机器人的第一位置和定向)估计环境的位置、方向及其它特征，同时使用环境中估计的东西来定位他自身。前述算法的输出数据为自我(用户)位置、定向、速度等的当前状态及环境中感兴趣的东西的相对位置、方向等。估计过程通常被加诸为概率推理问题，感兴趣的参数则被处理为由状态-空间模型表示的时变随机变量。简要地，SLAM推理问题包括：
-向地图添加新的目标(陆标)(及可能去除不可能的目标)；
-使测量结果与目标相关联；
-随着得到新数据更新估计量；
-当没有测量结果时向前预测估计量(具有相关联的不确定性)。
来自定位的声源的声音的到达方向(DOA)可被确定(例如如[Skoglund et al.；2017]中讨论的)并馈给SLAM算法。一般地，仅DOA被提供，我们不知道用户与目标之间的距离。在该情形下，用户与一些陆标之间的距离优选可从用户的两个或以上位置(例如使用超声波或其它“雷达类”技术)进行测量，及如果与关于(一些)陆标之间的距离的另外的信息、假设或知识结合，则目标声源的位置可被估计，同时，自我位置和定向(鼻子)可从估计的目标位置确定。
在实施例中，SLAM算法配置成相对于自我鼻子跟踪场景中感兴趣的每一目标，以相对于这些目标进行波束形成。也就是说，来自SLAM的估计量应输入数据给装置内的波束形成器及其它决策模块。
第一处理器可包括卡尔曼滤波器或扩展卡尔曼滤波器。
第一处理器可包括面部识别算法，用于辨别用户环境中(例如在陆标之中)的一个或多个面部。与建图(如SLAM)结合，面部识别可使听力系统能辨识一个或多个特定人相对于用户的当前位置(听力系统例如包括一个或多个听力装置，可能与眼镜框结合，其中或其上安装一个或多个传感器，包括图像传感器例如摄像机)。
听力装置例如可包括助听器、头戴式耳机、耳麦、耳朵保护装置或者组合。
在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理器。
在实施例中，听力装置包括输出单元，用于基于处理后的电信号提供由用户感知为声学信号的刺激。在实施例中，输出单元包括耳蜗植入物的多个电极或者骨导听力装置的振动器。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中，听力装置包括用于提供表示声音的电输入信号的输入单元。在实施例中，输入单元包括用于将输入声音转换为电输入信号的输入变换器如传声器。在实施例中，输入单元包括用于接收包括声音的无线信号并提供表示所述声音的电输入信号的无线接收器。
在实施例中，听力装置包括定向传声器系统(如波束形成器滤波单元)，其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。在实施例中，定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中，传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。本发明不限于一种具体类型的波束形成器，而是如通过实践应用确定的可结合任何类型的波束形成器一起使用。最小方差无失真响应(MVDR)波束形成器为线性约束最小方差(LCMV)波束形成器的例子。可使用来自该组的不同于MVDR波束形成器的其它波束形成器，例如多通道维纳滤波器(MWF)波束形成器。在实施例中，提出了量化感知波束形成方案，其使用包括量化噪声(QN)的系统噪声的修正的互功率谱密度(CPSD)。然而，最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地，MVDR波束形成器保持来自目标方向(也称为视向)的信号不变，而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示，其相较原始形式的直接实施提供计算和数字表示优点。不同波束形成器的几种教科书和刊物存在，例如参见[Lorenz&Boyd；2005]作为后者的例子。
在实施例中，听力装置包括用于从另一装置如从娱乐设备(例如电视机)、通信装置、无线传声器或另一听力装置接收直接电输入信号的天线和收发器电路(如无线接收器)。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，听力装置包括用于对所接收的直接电输入进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说，听力装置的天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在两个装置之间建立，例如在娱乐设备(如TV)与听力装置之间，或者在两个听力装置之间，例如经第三中间装置(如处理装置，例如遥控装置、智能电话等)。在实施例中，无线链路在功率约束条件下使用，例如由于听力装置是或包括便携式(通常电池驱动的)装置。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。在实施例中，经无线链路的通信根据特定调制方案进行安排，例如模拟调制方案，如FM(调频)或AM(调幅)或PM(调相)，或数字调制方案，如ASK(幅移键控)如开-关键控、FSK(频移键控)、PSK(相移键控)如MSK(最小频移键控)或QAM(正交调幅)等。
在实施例中，听力装置与另一装置之间的通信在基带中(音频频率范围，例如在0到20kHz之间)。优选地，听力装置与另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地，用于在听力装置和另一装置之间建立通信链路的频率低于70GHz，例如位于从50MHz到70GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中，听力装置为便携装置，如包括本机能源如电池例如可再充电电池的装置。
在实施例中，听力装置包括输入单元(如输入变换器，例如传声器或传声器系统和/或直接电输入(如无线接收器))和输出单元如输出变换器之间的正向或信号通路。在实施例中，信号处理器位于该正向通路中。在实施例中，信号处理器适于根据用户的特定需要提供随频率而变的增益。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率fs进行采样，fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的Nb比特表示声信号在tn时的值，Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度，如50μs，对于fs＝20kHz。在实施例中，多个音频样本按时间帧安排。在实施例中，一时间帧包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
在实施例中，听力装置包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
在实施例中，听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。通常，采样率fs大于或等于最大频率fmax的两倍，即fs≥2fmax。在实施例中，听力装置的正向通路和/或分析通路的信号拆分为NI个(例如均匀宽度的)频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。在实施例中，助听器适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中，听力装置包括多个检测器，其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
在实施例中，多个检测器中的一个或多个对全带信号起作用(时域)。在实施例中，多个检测器中的一个或多个对频带拆分的信号起作用((时-)频域)，例如在有限的多个频带中。
在实施例中，多个检测器包括用于估计正向通路的信号的当前电平的电平检测器。在实施例中，预定判据包括正向通路的信号的当前电平是否高于或低于给定(L-)阈值。在实施例中，电平检测器作用于全频带信号(时域)。在实施例中，电平检测器作用于频带拆分信号((时-)频域)。
在特定实施例中，听力装置包括话音检测器(VD)，用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，听力装置包括自我话音检测器，用于估计特定输入声音(如话音，如语音)是否(或以何种概率)源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
在实施例中，多个检测器包括运动检测器，例如加速度传感器。在实施例中，运动检测器配置成检测用户的面部肌肉或/或骨头的运动，例如因语音或咀嚼引起的运动(例如颌部运动)，并提供标示其的检测器信号。
多个检测器可包括生物传感器，例如包括用于从用户身体拾取信号的电极。前述信号的例子可以是EOG、EEG、MEG等。
在实施例中，听力装置包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”由下面的一个或多个定义：
a)物理环境(如包括当前电磁环境，例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；
b)当前声学情形(输入电平、反馈等)；
c)用户的当前模式或状态(运动、温度、认知负荷等)；
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
在实施例中，听力装置还包括用于所涉及应用的其它适宜功能，如压缩、降噪等。
在实施例中，听力装置包括听音装置，例如助听器，例如听力仪器，例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器，例如头戴式耳机、耳麦、耳朵保护装置或其组合。
应用
一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。在实施例中，提供在包括音频分布的系统中的应用。在实施例中，提供在包括一个或多个助听器(如听力仪器)、头戴式耳机、耳麦、主动耳朵保护系统等的系统中的应用，例如在免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
一方面，本申请还提供包括听力装置如助听器的听力系统的运行方法，听力装置适于由用户佩戴。所述方法包括：
-接收包括来自用户周围环境中的多个定位的声源的声音的音频信号；
-从一个或多个传感器接收和/或提供传感器信号，所述一个或多个传感器位于所述环境中和/或形成所述听力系统的一部分；
-随时间产生和更新表示用户环境的地图的数据，所述数据称为地图数据，所述环境包括多个固定不动的或者移动的陆标，所述陆标包括多个定位的声源，及所述地图数据表示所述环境中的陆标相对于用户的物理位置；及
-基于所述音频信号和所述传感器信号随时间产生和更新地图数据。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的系统和装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应系统和装置一样的优点。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制，前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外，本申请提供包括指令的计算机程序(产品)，当该程序由计算机运行时，导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
听力系统
另一方面，听力系统包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置，此外还提供辅助装置。
在实施例中，听力系统适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号，可能音频信号)可进行交换或者从一装置转发给另一装置。
在实施例中，听力系统包括辅助装置，例如遥控器、智能电话、或者其它便携或可穿戴电子设备如智能手表等。
在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中，辅助装置是或包括音频网关设备，其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
在实施例中，辅助装置是或包括另一听力装置。在实施例中，听力系统包括适于实施双耳听力系统如双耳助听器系统的两个听力装置。
APP
另一方面，本发明还提供称为APP的非短暂应用。APP包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或(例如双耳)听力系统的用户接口。在实施例中，该APP配置成在辅助装置如移动电话例如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
在实施例中，听力系统配置成使用户能经例如智能电话的用户界面查看环境中的声源相对于用户的位置(例如如图2中所示)。在实施例中，通过用户界面显示的声源根据本发明基于地图数据例如使用SLAM算法确定。在实施例中，用户随时间相对于声源的移动通过用户界面示出。在实施例中，用户界面配置成使用户能指明所示声源中的哪一个(或更多个)为当前感兴趣的声源(例如通过点击所涉及的声源符号)。在实施例中，听力系统(包括用户界面)配置成使用户能指明每一声源的权重，如果一个以上被选择的话，每一权重在经听力装置的输出单元呈现给用户时应用于相应声源。换言之，听力系统(包括辅助装置)配置成将关于所选声源的信息(可能及它们的相互相对权重)传给听力系统的听力装置(或者左和右听力装置)以使它们能将呈现给用户耳朵的处理后的输出信号聚焦于所选声源。
定义
在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如助听器例如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。扬声器可连同听力装置的其它元件一起设置在壳体中，或者本身可以是外部单元(可能与柔性引导元件如圆顶件组合)。
更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路(如信号处理器，例如包括可配置(可编程)的处理器，例如数字信号处理器)、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理器可适于在时域或者在多个频带处理输入信号。在一些听力装置中，放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件，用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息，例如由信号处理电路提供)。在一些听力装置中，输出单元可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出单元可包括一个或多个用于提供电信号的输出电极(例如用于电刺激耳蜗神经的多电极阵列)。
在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中，例如经到编程装置(验配系统)的接口上传到听力装置，并由听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)、或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成广播系统、耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如卡拉OK)系统、远程会议系统、教室放大系统等的一部分或者与它们交互。
本发明的实施例如可用在如便携听力装置的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1A和1B分别示出了根据本发明的听力系统实施例的俯视图和主视图，其包括配置成佩戴在用户头上的传感器集成装置，例如包括头部穿戴支架如眼镜架。
图2示出了同时定位和建图技术，其中在空间中移动期间用户定位的几个时间戳(三角形)被标示。
图3示出了通过磁场传感器产生的地图数据，其反映包括两个定位的声源及听者(用户)的环境中磁场的变化。
图4示出了包括多个(同时或断续)讲话者形式的多个陆标、多个安静的人及另外的陆标、及佩戴根据本发明的听力系统的用户的场合。
图5A示出了包括头部穿戴框架的增强装置，头部穿戴框架支撑包括多个传声器(如MEMS传声器)的传声器阵列。
图5B示出了相对于前面方向具有0度水平角的波束形成器。
图5C示出了相对于前面方向具有30度水平角的波束形成器。
图5D示出了图5C的30度波束形成器处于严重混响条件下的情形。
图6示出了根据本发明的听力装置的波束形成器使用EarEOG控制的情形。
图7示出了根据本发明的听力装置的波束形成器使用EarEEG控制的情形。
图8A示出了一对耳后(BTE)听力装置，其包括ITE部分的模件表面上的电极。
图8B示出了一对听力装置，其包括用户耳道中及耳道外面的电极，以及用于与单独的处理部分通信的无线接口。
图8C示出了包括双峰听力系统的听力系统，其包括空气传导听力装置及耳蜗植入听力装置。
图9A示出了根据本发明的听力装置的第一实施例。
图9B示出了根据本发明的听力装置的第二实施例。
图10示出了根据本发明的听力系统的用户界面。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本申请涉及听力系统领域，其例如包括一个或多个听力装置如助听器，尤其涉及适于在佩戴听力装置的用户的空间有限的环境如室内中提供改善的声源感觉的听力装置。
本申请涉及包括增强用户聚焦的声音的传感器集成装置(例如形成听力装置的一部分，如集成在听力装置中或者与听力装置通信)的听力系统。
在实施例中，听力系统如听力装置包括室内导航装置，用于用户定位、用户周围的声源的多目标建图和跟踪。在实施例中，听力系统配置成使能使用用户的眼睛凝视跟踪增强/加强用户(当前)聚焦的声源。
用户需要帮助以跟踪多个声学对象、分离这些声学对象、及指明哪一声学对象是目前感兴趣的对象，以及为了声音场景的自然感知的听觉显示。
解决方案由四个元素组成：
A、用户定位及多目标建图和跟踪(SLAM)；
B、确定用户目前注意力聚焦的(声)源；
C、加强/增强用户聚焦的声源；
D、计算增强的声音场景的听觉显示(将呈现给左和右耳的声音)并将此传给一对助听器。
图1A和1B分别示出了根据本发明的听力系统实施例的俯视图和主视图，其包括配置成佩戴在用户头上的传感器集成装置，例如包括头部穿戴支架如眼镜架。
图1A和1B分别示出了用于承载根据本发明的听力系统实施例的眼镜架的(示意性)俯视图和主视图。听力系统包括安装在眼镜架上的左和右听力装置及多个传感器。听力系统HS包括多个分别与左和右听力装置HD1,HD2相关联(例如形成其一部分或者连接到左和右听力装置)的传感器S1i,S2i,(i＝1,…,NS)。NS为位于眼镜架的每一侧上的传感器的数量(在图1A、1B的例子中，假定对称，但不必须如此)。第一、第二、第三和第四传感器S11,S12,S13,S14及S21,S22,S23,S24安装在眼镜GL的镜框上。在图1A的实施例中，传感器S11,S12和S21,S22安装在相应侧杆(SB1和SB2)上，而传感器S13和S23安装在与右和左侧杆(SB1和SB2)具有铰接连接的横梁CB上。最后，传感器S14和S24安装在第一和第二鼻子子梁(NSB1,NSB2)上，其从横梁CB延伸并适于架在用户鼻子上。眼镜的镜片或透镜LE安装在横梁CB和鼻子子梁(NSB1,NSB2)上。左和右听力装置(HD1,HD2)包括相应的BTE部分(BTE1,BTE2)，及例如还可包括相应的ITE部分(ITE1,ITE2)。ITE部分例如可包括用于从用户拾取身体信号的电极，例如形成传感器S1i,S2i(i＝1,…,NS)的一部分，用于监视用户的生理功能例如大脑活动或眼球运动活动或温度。类似地，眼镜架上的一个或多个传感器可包括用于从用户拾取身体信号的电极。在实施例中，传感器S11,S14和S21,S24(黑色矩形)可表示用于拾取身体信号如眼动电图描记法(EOG)电位和/或脑电波电位如脑电描记法(EEG)电位的传感器电极，例如参见EP3185590A1。安装在眼镜架上的传感器例如可包括下述之一或多个：加速计、陀螺仪、磁力计、雷达传感器、眼球摄像机(例如用于监视瞳孔测定)、摄像机(例如用于用户环境的对象成像)、或用于定位佩戴听力系统的用户感兴趣的声源(或其它陆标)或者贡献于其定位的其它传感器。位于横梁CB上传感器(S13,S23)和/或位于侧杆(SB1,SB2)上的传感器(如S12,S22)例如可包括一个或多个用于监视环境的摄像机或雷达或超声传感器。听力系统还包括多个传声器，在此被配置在分别位于右、左侧杆和(正面)横梁上的三个分开的传声器阵列(MAR,MAL,MAF)中。每一传声器阵列(MAR,MAL,MAF)包括多个传声器(分别为MICR,MICL,MICF)，在此分别为4个、4个和8个。传声器可形成听力系统的一部分(例如分别与右和左听力装置相关联)，及贡献于对来自用户周围环境的相应声源的声音定位和空间上滤波，例如参见本申请的申请人在2017年7月4日在欧洲专利局申请的、发明名称为“Direction Of ArrivalEstimation In Miniature Devices Using A Sound Sensor Array”的未决欧洲专利申请17179464.7。
A、用户定位及多目标建图和跟踪(SLAM)
在SLAM中，(用户的)定位及(目标的)建图问题同时解决，及可取得多个传感器输入来逐步建立定位和建图。在图2中，三角形可分别表示用户的真实和估计的位置(位置)和定向。在实施例中，听力系统配置成还估计陆标的位置和定向。在实施例中，仅位置被估计(而其定向被忽略)。陆标的定向例如可用摄像机(作为传感器之一)进行估计。代表声源(如讲话的人)的陆标的定向对使眼睛凝视估计有资格有用，因为不太可能用户注意不面向用户的声源。
图2示出了同时定位和建图(SLAM)技术，其中在空间中移动期间用户定位的几个时间戳(三角形)被标示。时间戳通过指数k表示。在图2中，用户从左向右的移动(轨迹)(参见在包括多个由太阳符号表示的陆标m(例如LM1,…,LM5)的环境中，用户(由白三角形表示)的位置Xk-1,Xk,Xk+1,Xk+2)。用户在给定时间点的估计和真实位置分别由灰色阴影三角形和空(没有阴影的、白)三角形标示。陆标在给定时间点的估计和真实位置分别由实心(黑色)和空(白色)太阳符号标示。用户可固定不动(坐在餐桌边)或者移动(在博物馆中走动)。陆标可以是相对于听者具有给定方向(到达方向DOA)和距离的静止声音对象，但它们也可以是动态对象(例如由同时在博物馆中移动的、讲话的人表示)。DOA例如可从助听器传声器阵列(例如由用户佩戴，参见图1A、1B)、从桌子处或安装在房间中的多个连接的传声器、或从靠近声源的远程传声器(例如每一讲话者佩戴无线传声器)确定。其它静止陆标可包括其位置可从能够感测所涉及对象的物理性质(如其磁性质)的传感器估计的对象。这样的对象可在通过传感器随时间产生的地图中标识，例如参见图3中的磁力计地图，其绘出了房间中的静态磁变化。其它静态陆标可以是信标(如BT发射器，无线电的短宽带脉冲，或磁场发射器)，或者来自远程静态FM发射器的信号(FM无线电带，产生房间中所接收的信号强度的变化)，或者来自跨房间的WiFi发射器的信号强度。图3示出了在具有两个声源和一个听者(用户)的房间中的用户。
在实施例中，一个或多个图像传感器如摄像机可用于贡献于环境的建图，例如下述之一或多个：
-单目摄像机(例如参见[Davison；2003])；
-立体摄像机(例如参见[Pax et al.；2008])；及
-IMU与单目或立体摄像机的组合(例如参见[Lupton；2008])。
图3示出了通过磁场传感器产生的地图数据，其反映包括两个定位的声源及听者(用户)的环境中磁场的变化。图例(跨越从0到100微泰斯拉(μT)的磁场强度)被标示在该图的右部(参见记为“MFS图例”的列)。同样的信息计划(粗略地)由字母L、M、H给出，其分别标示用户环境的描画部分中相对低、中等和相对高的场强度。L、M和H例如分别大约与20、50和80μT相关联。磁场强度(假定相对静态)可用于标识陆标(声源S1,S2)和/或用户U的目前位置，可能与其它随位置而变的数据结合。
例子
传感器的组合可怎样用在助听器中的例子在下面提供。提出了连同惯性传感器一起使用机会信号如88-106MHz频带中的FM无线电的室内定位方法。
输入
-听力装置中的天线和接收器电路，其对88-106MHz FM频带(可能及其它另外的频带)敏感，提供表示听力装置处的FM信号的电信号。
-惯性传感器，其为位于听力装置中的3D加速计、3D陀螺仪和3D磁力计，提供表示用户的线性和角运动及听力装置处的磁场强度的传感器信号。
输出
-反映访问的位置的无线电环境的FM信号针对所选频率的接收的信号强度(RSS)的地图，具有不确定性(在用户在环境中移动期间记录)。
-听力装置的2D位置和3D定向，具有它们相应的不确定性估计量。
为什么对研究多频率RSS的机会使用用于室内定位有兴趣有几个原因。FM无线电和TV信号几乎在任何地方均存在因此例如可被用在其中预先安装的基础设施不被信任的第一应答机场合。信号衰落特性取决于频率及周围环境，导致不同的RSS地图。这些地图结合相较仅单一地图自然可提供更多信息。
无线电信号以极复杂的方式与物理环境交互作用。其经历随距离而变的衰减(通路损失)及无线电信号被从不同的物体反射、绕障碍物折射及从物体发散。因此，接收器将接收许多(失真和延迟的)信号分量。这些多通路分量的建设性和破坏性添加是快速波动的原因，其作为RSS值的对所有非视线(NLOS)无线电频道通常的空间位移的函数，这是在此的典型情形。该现象称为多通路衰落。除多通路衰落之外，天线定向和遮蔽也影响测量结果。
无线电环境模型
RSS指纹是在不同位置在不同频率收集的一组平均信号强度值。RSS指纹向量中的每一频率假定为其在2D空间中的位置的函数。在室内定位中，指纹被预先测量并用作地图。另一备选是利用信号源位置如WiFi接入点(AP)及无线电频道通路损失模型，其描述信号怎样按距每一信号源的距离的函数衰减。在一些情形下，这些方法均不起作用，例如，如果地图不能预先获得、无线电源位置未知，或者如果使用通路损失模型描述信号没有意义。则备选方案是用高斯处理(GP)对RSS建模，其局部地描述信号RSS怎样按2D位置的函数变化。
惯性导航
惯性导航是众所周知的、用于借助于惯性传感器计算位置、速度、定向和其它量的技术。在本申请中，惯性导航用于计算位置和定向估计量。在没有另外的信息的情形下，位置和定向估计量的误差分别二次地及线性地增加。
RSS SLAM
同时定位和建图(SLAM)为联合估计移动传感器的位置及传感器测量的信号的地图的方法。在本申请中，RSS地图被表示为跨遍历区域的GP。惯性导航用于提供位置和定向估计量，这些估计量在统计滤波框架中使用RSS地图校正。当一区域被再次访问时，这些校正最有用，因为其可能完全消除误差。
RSS SLAM的处理包括下述步骤：
-提供无线电和IMU数据
-预处理
-RSS SLAM
-位置和地图
在SLAM中，静态陆标/源被不同于动态/移动源地进行处理。因此，五个不同的应用场合被描述如下。
下面的表1描述了可按不同组合用于解决五个不同场合的SLAM问题的多个传感器，其根据声源是固定不动还是移动、听者(用户)是固定不动还是移动、及SLAM解决方案是考虑单一房间还是建筑物(具有几个房间)进行。
传感器根据下面的组安排在表中：
-3D加速计；
-3D陀螺仪；
-3D磁力计；
-EEG/EOG电极；
-加强装置(MEMS)传声器；
-无线电天线接收器；
-无线电天线发射器；
-磁性天线(T线圈)；
-蓝牙发射器；
-蓝牙接收器；
-超声传感器；
-正面摄像机；
-眼球摄像机。
表1：可按不同组合用于解决SLAM问题的多个传感器
在下面，使用术语“加强装置”。加强装置包括多个传声器及可例如形成听力装置的一部分或者可以是与听力装置通信的单独装置。
SLAM的应用情形
1、房间中一个固定不动的听者(用户)和N个固定不动的声源(会议场合、餐厅)
图4示出了在佩戴根据本发明的听力系统(HS)的用户(U)周围环境中包括多个(同时或断续)讲话者形式的多个陆标(LMi,i＝1,2,3,4,5)的场合。该环境(例如表示餐厅)进一步包括多个安静的人(SP)和另外的陆标(例如记为LM6,LM7的对象，例如桌子或其它环境结构)。
在此，3D加速计、3D陀螺仪和3D磁力计可用于估计听者(用户U)的头部转动(HR)。眼睛凝视角(EGA)例如可使用眼球跟踪摄像机或者用于测量眼动电图描记法(EOG)电位的电极确定。
加强装置(MEMS)传声器例如被集成在听力系统的眼镜架中并组合使用以估计N个固定不动声源的到达方向，例如参见[Skoglund et al.；2017]。
-在传感器集成装置上使用同样的传声器，例如参见[Farmani et al.；2015]。
-组合远程传声器和头部穿戴传声器。
超声传感器例如用于测量到N个固定不动声源中的每一声源的距离。正面摄像机例如用于对N个固定不动声源建图。
2、房间中一个固定不动的听者和N个移动的声源(事件，如戏院)
在此，3D加速计、3D陀螺仪和3D磁力计用于估计听者的头部转动。
加强装置(MEMS)传声器组合使用以跟踪N个移动的声源的到达方向。在实施例中，(MEMS)传声器的数量大于4，如12个以上。在实施例中，加强装置(如传声器)用于通过多普勒效应估计目标速度。
超声传感器用于测量到N个移动的声源中的每一声源的距离。正面摄像机用于对N个移动的声源建图。
3、房间中一个移动的听者和N个移动的声源(动态鸡尾酒会)
3D加速计、3D陀螺仪、3D磁力计、无线电天线接收器、磁性线圈(T线圈)和蓝牙接收器用于跟踪移动的听者的位置及该听者的头部转动。
加强装置(MEMS)传声器组合使用以跟踪N个移动的声源的到达方向。超声传感器用于测量到N个移动的声源中的每一声源的距离。正面摄像机用于对N个移动的声源建图。
4、建筑物中一个移动的听者及N个固定不动的声源(空的博物馆)
3D加速计、3D陀螺仪、3D磁力计、无线电天线接收器、磁性线圈(T线圈)和蓝牙接收器用于跟踪移动的听者的位置及该听者的头部转动。
加强装置(MEMS)传声器组合使用以跟踪N个固定不动的声源的到达方向。
无线电天线发射器和蓝牙发射器用于与信标通信。超声传感器用于测量到N个固定不动的声源中的每一声源的距离。正面摄像机用于对N个固定不动的声源建图。
5、建筑物中一个移动的听者和N个移动的声源(拥挤的博物馆)
3D加速计、3D陀螺仪、3D磁力计、无线电天线接收器、磁性线圈(T线圈)和蓝牙接收器用于跟踪移动的听者的位置及该听者的头部转动。
加强装置(MEMS)传声器组合使用以跟踪N个移动的声源的到达方向。
无线电天线发射器和蓝牙发射器用于与信标通信。超声传感器用于测量到N个移动的声源中的每一声源的距离。正面摄像机用于对N个移动的声源建图。
B、确定用户目前注意力聚焦的(声)源
放置电极(干电极)，其中皮肤接触装置，至少两个电极
a、估计头部在物理场景中的位置和转动(参见上面)
b、估计相对于头部的眼睛凝视向量
i、在上面的SLAM解决方案中结合a和b
1、补偿EOG中缺失的DC分量
a、通过使用“航迹推算”/建模/眼睛凝视的估计(位置)
b、使此与陆标有关(对于SLAM的该部分，我们可假定我们知道陆标)，并使用在线再校准到陆标或零凝视角。
2、当头部运动(IMU)和眼球运动(EOG)被集成在一个SLAM模型内时对不同行为建
模
a、注视。如果估计量分类我们处于注视状态，我们具有两个源用于估计眼睛位置：
i、EOG信号
ii、对向的IMU信号。在此，假设(及文献)表明，当你注视时，动眼系统试图在视网膜上保持固定的图片。因此，头部运动在平衡器官(及颈部肌肉圈中的本体感受器)中注册，及(通过反馈控制系统)直接影响眼睛肌肉反向运动以补偿头部运动。因而，头部运动和眼球运动紧密联系。这样，在该模型中(注视)，IMU(也)将用相反的符号注册眼球运动。
b、扫视。模型扫视，即当人从注视朝向新目标切换时。
c、平滑跟随。模型平滑跟随，即慢的眼球运动(通常跟随某一距离处的目标)。很难用EOG检测，因为变化率太慢(相较于DC漂移因而被滤掉)，可能可从IMU追踪。
3、给定稳定和可靠的眼睛凝视信号，查看看行为的统计以验证陆标及将其与其它
传感器组合(DOA估计)。
眼睛凝视用于控制听力装置如波束形成器例如在EP3185590A1中描述。
作为备选，如果大小和功耗允许，眼球摄像机可被包括在装置中，其跟踪瞳孔(REFS，移动的眼睛，pupillabs.com)。这例如在EP2813175A2中涉及。
C、加强/增强用户聚焦的源
给定SLAM定位和建图及估计的眼睛凝视方向，N个波束从加强装置传声器(MEMS)信号计算，每一声源一个波束并指向DOA估计量的方向。例如，MVDR波束形成器。用户聚焦的源定义为绝对坐标系中眼睛凝视向量指向的源。
此外，DNN或其它噪声抵消技术(如Virtanen et al.2017)可用于进一步抑制用户未聚焦的声源。
另一补充解决方案(例如连同使用眼睛凝视一起或者代替眼睛凝视的使用)是结合本发明的教导使用面部识别和流分离(例如使用标准面部识别算法，以将面部位置放在地图上)。通过使用图像传感器如正面摄像机/场景摄像机，及通过使用面部识别算法(例如参见http://www.face-rec.org/algorithms/)，可逐视频帧确定一个或多个面部在图像/视频中的位置。图像传感器可位于眼镜架如横梁上以提供相对于用户的正面视场(例如参见图1A、1B，例如传感器S13,S23)。与听力系统的其它传感器组合(如IMU、RSS、声学DOA、磁场)，面部的位置可在参考坐标系中确定。
另一补充解决方案是使用基于视频和音频的声源分类。通过组合视频和音频数据，有几种方式确定人类对象在参考坐标系中的位置，通过具有面部识别的场景摄像机的视觉方式(参见上面)或通过讲话的对象的DOA和分析的声学方式。
图5A示出了包括头部穿戴框架的加强装置，头部穿戴框架支撑包括多个传声器(如MEMS传声器)的传声器阵列。
图5B示出了相对于前面方向具有0度水平角的波束形成器。
图5C示出了相对于前面方向具有30度水平角的波束形成器。
图5D示出了图5C的30度波束形成器处于严重混响条件下的情形。
使用眼睛凝视向量对不同波束形成器的相对振幅加权(加权函数为相对于眼睛凝视向量的角度的函数)(以使聚焦的声学对象被增强，但未完全消除其它声学对象，提出约12dB的目标增强)。
图6示出了根据本发明的听力装置使用EarEOG(耳朵EOG)控制波束形成器的情形。可控实时波束形成器可被实施在听力装置中。在实施例中，EarEOG控制信号用于操纵波束形成器朝向凝视方向的最大灵敏度角度。
图6的场合例如在中讨论。其示出了具有准恒定位置的多个偶然讲话者/听者(S1-S5)的桌子情形。在实施例中，根据本发明的听力系统的听力装置提供眼睛凝视控制(即包括用于拾取身体电位的电极，及适于基于其交换放大的电压以提供表示用户当前的眼睛凝视方向(图6中的EyeGD)的控制信号，例如相对于用户的视向(图6中的LookD))。每一听力装置包括用于提供朝向目标声源在此为用户附近的讲话者的波束(即传声器系统在特定方向具有最大灵敏度)，其受用户的眼睛凝视控制。对于这样的情形，用于提供朝向用户环境中的相应定位的声源的多个波束形成器的波束形成器滤波单元使用根据本发明的地图数据提供。作为备选或另外，预定视向量(从声源到传声器的传递函数或者对应的相对传递函数)和/或对应于特定方向的滤波器权重可被确定并存储在听力装置的存储器单元MEM中，使得在给定讲话者被选择时，它们可被快速载入波束形成器。从而朝向用户当前感兴趣的声源的波束形成器可经眼睛凝视控制进行启动。从而不活跃的波束可被认为表示一次可启动一个的虚拟传声器。
图6示出了根据本发明的听力系统应用于分离多声源环境中的各个声源。在图6中，声源为位于用户U(在图示时间为听者)周围的人(在给定时间为讲话者或听者)。用户U佩戴根据本发明的听力系统，其使能分离每一讲话者及使用户能根据当前正讲话的人(S1,S2,S3,S4,S5)调整，如(主要)包围用户周围的人之一的、角宽度(Δθ)足够小的(示意性)椭圆形波束所示。在图6的例子中，讲话的人由S2标示，及声音系统聚焦于该人，如用户的眼睛凝视方向θ(EyeGD)及包括讲话者(S2)的粗椭圆形波束所示。
在实施例中，用户U佩戴的听力系统的听力装置为根据本发明的听力装置。优选地，听力系统包括两个听力装置，其形成双耳听力系统如双耳助听器系统的一部分。在实施例中，听力装置的传感器部分包括多个电磁传感器，每一传感器包括感测电极，配置成在听力装置在工作时安装在用户身上时连接到用户头部的表面(如耳朵处或耳朵周围或者耳道中)。在实施例中，传感器部分包括用于感测电位的电位传感器。在另一实施例中，传感器部分包括用于感测(例如用户身体产生的，例如源自用户头部如大脑中的神经活动地点)磁场的磁场传感器。在实施例中，电位和/或磁场传感器配置成分别感测电和/或磁脑电波信号。在实施例中，感测电极配置成在听力装置在工作时安装在用户身上时电容性或电感性耦合到用户头部的表面。在实施例中，电位传感器包括感测电极，配置成在听力装置在工作时安装在用户身上时连接到用户头部的表面(如耳朵处或周围或者耳道中)。在实施例中，感测电极配置成在听力装置在工作时安装在用户身上时直接(如电(流电))连接到用户头部的表面(例如经用户皮肤与(导电)感测电极之间的“干”或“湿”接触区域)。
另一补充解决方案是使用基于视觉的眼球跟踪器，例如具有摄像机的眼镜或者具有EOG的眼镜(例如参见Jins Meme,https://jins-meme.com/en/eyewear-apps/)。
通过对来自(耳朵)EOG传感器(或其它眼球跟踪器)的输出进行卡尔曼滤波，相对于头部的鼻子指向方向(例如参见图6中的LookD)的眼球角度(例如参见图6中的角度θ)可被估计。通过对来自靠近耳朵头级放置的9DOF传感器(9自由度传感器，3D加速计、3D陀螺仪、3D磁力计)或其他运动跟踪装置的输出进行卡尔曼滤波，可确定相对于局部磁场和/或局部重力场的绝对头部角度。在所涉及房间的局部磁场和局部重力场已知(例如分别通过磁场传感器和加速计测量)的情形下，可确定相对于房间的绝对头部角度。通过组合来自(耳朵)EOG和9DOF的输出，可进行另一(或同样的)卡尔曼滤波，其输出为相对于房间的绝对眼球角度。
通过对来自相对于房间的绝对眼球角度用于同时定位和建图(SLAM)的输出进一步进行卡尔曼滤波(例如使用另一或同样的卡尔曼滤波器)，可估计一类“热点”，其中一些眼睛凝视角度相较其它角度更似真(相较背景处的人，人可能更多地看向场景中的人)。原理的想法是扩展卡尔曼滤波器，其中眼睛凝视角为状态，具有多个状态/参数描述相对于“热点”的角度(按一般的机器人术语，地图)。如果在多个离散的热点之间切换，该原理很好地工作，如本申请中一样。地图可以是点或正常分布，假设眼睛凝视角遵循高斯分布的混合。
扩展卡尔曼滤波器
在扩展卡尔曼滤波器(EKF)中，状态转变和观察模型不需要为状态的线性函数，而是可以是可微函数。
xk＝f(xk-1,uk-1)+wk
zk＝h(xk)+vk
其中wk和vk为处理和观察噪声，这些噪声均被假定为零平均多变量高斯噪声，分别具有协方差Qk和Rk。uk-1为控制向量。
函数f可用于从先前的估计量计算预测的状态，类似地，函数h可用于从预测的状态计算预测的测量结果。然而，f和h不能直接应用于协方差。而是，偏导数的矩阵(雅可比)被计算。
在每一时步，雅可比用当前预测的状态评估。这些矩阵可在卡尔曼滤波器等式中使用。该处理实质上使关于当前估计量的非线性函数线性化。
如果我们例如使用粒子滤波用于SLAM，已知为FastSLAM，则函数h()和f()甚至不需要可微。
将智能电话(或者也许几个智能电话，例如属于其它用户、声源(陆标))包括在环路内，它们的机载传感器也可被听力系统利用，或独自或与听力装置结合(例如体现在眼镜和/或助听器中)。在实施例中，智能电话可用于计算声源的到达方向(DOA)，例如在餐厅场合，例如参见图6，例如与听力装置结合(其提供更多传声器，例如传声器对)。用户与听力装置之间的相对位置和定向可例如经IMU、智能电话装置、DOA或其它方法计算。其也可用作远程传声器(阵列)，可能改善波束形成等。
图7示出了根据本发明的听力装置使用EarEEG控制波束形成器的情形。图7示出了其中配置成使用户能将定位的声源之一选择为当前感兴趣的声源的控制单元包括用户接口的情形，其基于使用用于从用户大脑拾取EEG电位的电极进行脑电波的检测。不同的定位的声源可按照本发明提出的(例如使用SLAM算法)标识，及例如顺序地(或同时地)通过使波束形成器朝向声源而呈现给用户，及使用户经记录的EEG信号与例如通过波束形成器提取的各个声音信号的比较选择当前感兴趣的声源。这样的随脑电波而变的音频处理的例子例如在US20140098981A1中给出。
图8A示出了一对耳后(BTE)听力装置，其包括ITE部分的模件表面上的电极。图8A的实施例示出了电极(E1,E2,E3)位于包括第一和第二听力装置(HD1,HD2)的听力系统(HS)的(定制)耳内模件(ITE)的表面上，但也可应用于更一般目的的圆顶件或ITE部分，或者可被集成在耳后部分(BTE)中。在实施例中，电极为用于在皮肤与电极之间建立直接电接触的“传统的(干或湿)电极”。
图8B示出了一对听力装置，其包括用户耳道中及耳道外面的电极，以及用于与单独的处理部分通信的无线接口。在图8B的实施例中，第一和第二听力装置(HD1,HD2)分别包括第一和第二部分(P1,P2)，每一部分部分位于耳道中及部分位于用户耳道外面(例如在外耳或耳廓中或耳后)。此外，第一和第二听力装置(HD1,HD2)中的每一个包括EEG电极或EOG电极或者其混合(ExGe1,ExGe2)，及包括参考电极(REFe1,REFe2)，分别设置在相应耳件(EarP1,EarP2)的外表面上。第一和第二部分(P1,P2)中的每一部分包括多个EEG和/或EOG电极(ExGe1,ExGe2)，在此示出四个(但根据应用，在实践中可存在更多或更少的电极)，及包括参考电极(REFe1,REFe2)。从而通过第二部分(P2)的参考电极(REFe2)拾取的参考电压(VREF2)可用作通过第一部分(P1)的EEG或EOG电极(ExGe1)拾取的EEG或EOG电位(VExG1i)的参考电压，反之亦然。在实施例中，第一和第二听力装置(HD1,HD2)实施双耳听力系统如双耳助听器系统。参考电压(VREF1,VREF2)可经电接口EI(例如有线或无线连接，及非必须地，到或经辅助装置PRO，参见有线或无线链路WLCon)从一部分传给另一部分(P1<->P2)。两组EEG信号电压差(ΔVExG1,ΔVExG2)可在第一和第二听力装置(HD1,HD2)的每一相应听力装置中单独地使用(例如以控制输入音频信号的处理或者选择多个音频源之一)，或者在听力装置之一和/或辅助装置(PRO，用于显示和/或进一步处理)中组合使用。
图8C示出了包括双峰听力系统的听力系统，其包括空气传导听力装置及耳蜗植入听力装置。图8C示出了根据本发明的混合(双峰)听力装置(HD)的实施例，其包括用于声刺激用户耳朵的外部部分(ITE)及用于电刺激用户的(同一)耳朵的听觉神经的植入部分(IMP)。混合听力装置包括适于插入到用户耳道内的部分(ITE)，以使能从位于ITE部分中或者位于听力装置的与ITE部分声学通信(例如经管)的另一部分中的扬声器声刺激耳膜。植入部分(IMP)适于植入在用户头部中。听力装置(HD)还包括适于位于耳朵处如耳后(BTE)的BTE部分，及经连接元件CON1电连接到BTE部分的另一外部部分(ANT)。另一外部部分(ANT)包括用于通过用户的皮肤在BTE部分(BTE)与植入部分(IMP)之间提供通信的天线(如电感器线圈)和收发器电路。BTE部分还经连接元件CON2电连接到ITE部分。植入部分(IMP)包括使能在另一外部部分(ANT)与植入部分(IMP)之间建立无线链路的天线(如电感器线圈)和收发器电路。植入部分(IMP)位于用户皮肤下面，相对于另一外部部分(ANT)适当设置以使能在两个部分之间交换数据及使能量能从外部部分传给植入部分。ITE部分(ITE)和植入部分(IMP)均包括电极(E1,E2,E3,E4,E5,E6)，用于经与用户耳朵处或耳道中的皮肤和/或组织的电接触(电极E1,E2,E3,E4)及与用户皮肤下面的皮肤和/或颅骨组织电接触(电极E5,E6)而(例如从大脑)拾取(如诱发)电位或者从用户的眼睛拾取EOG电位。植入部分包括分别经电连接CON3和CON4(如电导体)电连接到植入部分(IMP)的电极阵列(EA)和参考电极(REF)。参考电极(REF)优选通过组织与电极阵列(EA)分离，例如电极阵列插入在耳蜗中，而参考电极位于耳蜗外面。
在图8C的实施例中，ITE部分包括电声变换器(如扬声器)，用于经在耳膜前面的残余腔中播放从而传到耳膜进而经中耳传到耳蜗的声音SED声刺激第一(如较低)频率范围。
在图8C的实施例中，植入部分包括用于电刺激第二(较高)频率范围的电极阵列(EA)，在电极阵列位于听觉神经处如耳蜗中时，其经施加到电极阵列的至少部分电极的单独的电刺激进行。
图8C的混合助听器(HD)包括耳内接收器式(RITE)助听器和耳蜗植入型(CI)助听器。适于位于耳廓后面的BTE部分(BTE)分别经电连接CON2和CON1服务于ITE部分和植入部分(IMP)。BTE部分(BTE)包括两个输入变换器(在此为传声器)(M1,M2)，每一输入变换器用于提供表示来自听力装置环境中的声源(S)的输入声音信号的电输入音频信号。BTE部分还包括两个无线接收器(WLR1,WLR2)，用于提供相应的直接接收的辅助音频和/或去往/来自其它装置的信息。BTE部分(BTE)还包括衬底(SUB)，其上安装多个电子元件，功能上根据所涉及的应用进行划分(模拟、数字、无源元件等)，但包括可配置的信号处理单元(SPU)，彼此连接并经电导体Wx连接到输入和输出单元。可配置的信号处理单元(SPU)适于分别向ITE部分和植入部分(IMP)提供分开的第一和第二增强的信号，从而使能用户耳朵处的分开的(同时)声和电刺激。ITE部分(ITE)包括扬声器(接收器)形式的输出单元，用于将来自BTE单元的第一增强的信号转换为包括第一频率范围中的频率的声信号(从而提供或贡献于耳膜处的声信号SED)。植入部分(IMP)配置成基于从BTE单元到电极阵列(EA)的第二增强的信号产生或传送表示第二频率范围的电刺激。
BTE部分(BTE)还包括电池(BAT)，用于对助听器的电子元件(例如包括ITE部分、ANT单元和植入部分(IMP)的电子元件)供电。
D、计算增强的声音场景的听觉显示(将呈现给左和右耳的声音)及将其传给一对助听器
a、计算声输出的听觉显示
i、针对N个声学对象中的每一对象计算左和右耳头部相关传递函数(HRTF)，例如根据CIPIC数据库的HRTF。
ii、用上面的加权函数例如基于眼睛凝视或面部识别等通过(针对每一耳朵)对N个声学对象求和而计算加强的听觉显示。
b、将左和右输出传给对应耳朵的接收器
i、经电缆
ii、经无线通信(例如从传感器集成装置到听力仪器)以避免线缆(例如BLE、NFR、拾音线圈)。
图9A示出了根据本发明的包括听力装置的听力系统的实施例。该听力系统包括听力装置(HD)如助听器，适于由用户佩戴并配置成随时间产生和更新表示用户当前环境的地图的数据。听力装置配置成与地图数据交互作用相对于用户环境中的一个或多个声源定位用户。听力系统包括用于从多个信号源(AIU)和/或从一个或多个传感器(XS Rx/Tx,SU)接收信号的接收器电路。接收器电路提供对应的电输入信号。多个信号源包括多个(N个)定位的声源(音频信号、传感器信号)。接收器电路例如可包括多个(M个)传声器，配置成相对于用户固定不动，每一传声器适于从环境中的声源拾取声音并提供包括声音的电输入声音信号(IN1,…,INM)。音频输入单元(AIU)包括M个输入单元(IU1,…,IUM)，例如包括M个输入变换器如传声器或者输入变换器与无线音频接收器的混合，及对应数量的模数转换器和分析滤波器组，只要适当，以按时频表示提供电输入声音信号(IN1,…,INM)(音频信号)(作为多个时变子频带信号)。
听力系统(HD)还包括第一处理器(1st PRO(地图数据))，用于优选持续估计环境中的N个固定不动或移动的定位的声源相对于用户的定位数据，这样的针对给定声源的定位数据例如包括声音的到达方向和/或从给定声源到用户的距离，估计基于来自传声器阵列的多个电输入声音信号，及非必须地、另外地基于来自一个或多个传感器的传感器信号(和/或来自用户接口UI的输入UC)。
第一处理器(1st PRO)配置成(持续，例如具有特定频率/重复率)处理所述电输入信号(音频信号和传感器信号)并提供表示空间有限的环境的大约随时间而变的地图的数据，其包括多个固定不动或移动的陆标(包括N个定位的声源)的目前位置，及提供用户相对于空间有限的环境中的多个陆标的目前位置的估计量。第一处理器(1st PRO)例如可使用SLAM算法产生地图数据。
传感器单元(SU)可包括多个内部传感器并提供多个对应的内部传感器信号。听力装置(HD)还可包括或者作为备选可包括多个接收器(XS,Rx/Tx如无线接收器)，用于从外部传感器(例如来自智能电话的传感器或者来自FM发射器的信号等)接收信号并将对应的外部传感器信号提供给传感器单元(SU)。传感器单元(SU)配置成将内部和外部传感器信号转发给第一处理器(1st PRO)，参见记为“传感器信号(外部/内部)”的粗箭头。
第一处理器(1st PRO)配置成优选持续估计用户环境中存在的声源之中用户当前感兴趣的一个或多个优选声源(完全或部分基于来自用户接口(UI)的控制信号UC)。所得的包括用户当前感兴趣的声源(或声源的加权混合)的音频信号RES由选择器/混合器(SEL/MIX)基于来自波束形成器滤波单元(BFU)的当前的p个波束成形信号YBF1,YBF2,…,YBFp(例如参见图6朝向当前感兴趣的声源S1-S5的波束)及控制信号SEL(例如基于来自用户接口(UI)的输入(UC)或受其影响)提供。
听力系统(非必须地)还包括另一处理器(FP)，用于增强N个声源中的优选声源RES并提供处理后的电输出信号OUT。处理后的电输出信号OUT馈给输出单元OU(经合成滤波器组FBS和数模转换(DA)电路，只要适当)。输出单元提供可由用户感知为声音的刺激(参见图9B中的“Sound stimuli-out”)。
图9B示出了根据本发明的听力装置(HD)的第二实施例。图9B的实施例包括与图9A的实施例同样的功能元件。听力装置如助听器(HD)包括从用于拾取声音或接收表示声音(图9B中的‘Sound-in’,‘Audio-in’)的电信号的M个输入单元(IU1,…,IUM)到用于提供表示所述声音并可由佩戴听力装置的用户感知为声音的刺激(‘Sound stimuli-out’)的输出单元(OU)的正向通路。正向通路还包括在工作时连接到每一输入单元(IU1,…,IUM)的M个模数转换器(AD)和分析滤波器组(FBA)，只要必要，并按时频表示提供相应的数字化的电输入信号IN1,…,INM，每一数字化的电输入信号包括K个子频带信号IN1(k,m),…,INM(k,m)，k和m分别为频率和时间指数，k＝1,…,K。正向通路还包括波束形成器滤波单元(BFU)或者加权单元，将电输入信号IN1,…,INM接收为输入并提供所得的波束成形信号BF1,….,BFp(其中p为听力装置提供的波束形成器的数量)，每一波束成形信号提供M个电输入信号的加权组合。换言之，BFx＝IN1(k,m)*w1x(k,m),…,INM(k,m)*wMx(k,m)，其中wix,i＝1,…,M为给定波束形成器BFx(x＝1,…,p)的实数或复数(一般地，随时间和频率而变的)权重。正向通路还包括选择器/混合器(SEL/MIX)，用于选择用户当前感兴趣的信号或信号组合RES。选择器(SEL)受来自控制单元(CONT)的眼睛凝视控制信号EOGCtr的控制。正向通路还包括信号处理器(FP)，用于进一步处理所得的信号RES并提供处理后的信号OUT。信号处理器(FP)例如配置成根据用户的需要(例如听力受损)应用随电平和/或频率而变的增益或衰减和/或增强信号RES。正向通路还包括合成滤波器组(FBS)，用于将子频带信号OUT转换为单一时域信号，及非必须地包括数模转换单元(DA)以将数字、处理后的时域信号转换为给输出单元(OU)的模拟电输出信号。
听力装置(HD)还包括生物信号单元(BSU)，用于从用户身体拾取生物信号。生物信号单元(BSU)包括传感器部分(E1,E2,…,EN)，适于位于耳朵处或耳朵中和/或完全或部分植入在用户头部中。传感器部分包括电位传感器，用于从用户身体尤其是从头部感测电位，例如因大脑活动或眼球运动引起的电位。在图9B中，传感器部分被体现为电极E1,E2,…,EN，其为听力装置的、配置成在听力装置在工作时安装在用户身上(如耳道中)时或者植入在用户头部中时接触用户头部的皮肤或组织的电极(参见图8A、8B或8C)。生物信号单元(BSU)还包括连接到电位传感器部分的电子电路形式的放大器(AMP)以提供放大的输出。放大器如差分放大器从电极E1,E2,…,EN接收多个电位P1,P2,…,PN及从参考电极(REF)接收参考电位P0，并提供相应的放大的电压AV1,AV2,…,AVN。放大的电压馈给相应的模数转换器(AD)，从而提供数字化的放大的电压DAVi(i＝1,.2.…,N)。在实施例中，放大器(AMP)包括模数转换或者由模数转换器构成。
在实施例中，至少一(如所有)输入单元包括输入变换器如传声器，用于将声音(Sound-in)转换为表示声音的电信号。在实施例中，至少一(如所有)输入单元包括无线收发器如无线接收器，例如配置成接收表示远程(无线)传声器拾取的声音的信号(Audio-in)。
听力装置还包括检测器单元(DET)，其包括多个(NDI个)检测器，用于提供表示用户和/或用户环境中的陆标在固定坐标系(例如相对于特定位置如房间)或在跟随用户的可动坐标系中的当前位置的传感器数据(信号DIS)，例如表示用户的头部。在实施例中，位置传感器包括头部跟踪器。在实施例中，位置传感器包括加速计和陀螺仪。在实施例中，位置传感器包括9自由度传感器，包括3D加速计、3D陀螺仪和3D磁力计。检测器信号DIS馈给控制单元(CONT)进行比较和处理，例如以提供或更新地图数据。
听力装置(HD)配置成从外部传感器接收传感器信号，例如关于局部环境的性质，和/或从电磁发射器如FM发射器、蓝牙发射器等接收传感器信号，例如经无线链路(D-WL)和对应的天线和收发器电路或者无线电接收器(ANT Rx/Tx)。在听力装置(HD)中，这些“外部传感器信号”被记为DXS(例如表示NDX个传感器)并馈给控制单元(CONT)及与来自内部传感器的检测器信号DIS一起用于贡献于地图数据的更新的产生。
听力装置还包括无线接收器(Rx/Tx)和适当的天线电路，从而使能从另一装置如对侧听力装置接收生物信号BioV及将生物信号BioV传给另一装置，例如表示眼球运动的放大的电压AV1,AV2,…,AVN，其经无线链路(X-WL)进行，参见图9B中记为“去往/来自其它装置”的波浪形带箭头的线。来自对侧听力装置的生物信号BioV被馈给计算单元(CALC)并与对应的本地产生的生物信号DAVi(如放大的电压V1,V2,…,VN)比较。在实施例中，EarEOG信号为左和右放大的电压AVleft和AVright之间的差的函数(f)，EarEOG＝f(AVleft-AVright)。在实施例中，每一对电压AV1,left和AV1,right,….,AVN,left和AVN,right可提供对应的耳朵EOG信号，例如EarEOG1＝f(AV1,left-AV1,right),…,EarEOG1＝f(AVN,left–AVN,right)。在实施例中，在给定时间所得的耳朵EOG信号可被发现为N个耳朵EOG信号的平均(例如加权平均；例如根据所涉及的电极距眼睛的距离)。
生物信号单元(BSU)和计算/滤波单元(CALC-FIL)形成用户接口UIa的一部分。听力装置或系统可包括与控制单元(CONT)通信的另一用户接口UIb，例如使用户能影响用户当前感兴趣的一个或多个声源的选择(例如它们的相互权重，如果在给定时间用户对一个以上声源感兴趣)，例如经遥控装置如智能电话的APP。
听力装置还包括处理单元，相当于图9A的第一处理器(1st PRO)，用于基于EarEOG信号提供控制听力装置的功能的控制信号，例如控制波束形成器滤波单元(BFU)，例如根据眼睛凝视控制信号EOGCtr选择多个预定波束形成器之一(在此在选择器(SEL)中)。预定波束形成器(BF1,BF2,…,BFp)例如可被存储在听力装置的存储器中(如控制单元CONT中)，参见存储器MEM，例如存储为多组波束形成器滤波系数，每一系数对应于感兴趣声源的多个预定位置中的给定位置。波束形成器(因而及多组波束形成器滤波系数或权重)优选使用本发明中提出的地图数据更新。处理单元(PU)包括计算单元(CALC)，配置成将传感器数据DIS和DXS与表示来自(本地)生物信号单元(BSU)及从另一装置如对侧听力装置的生物信号单元(BSU)接收的(耳朵)EEG和/或(耳朵)EOG信号的数字化的放大的电压DAVi(i＝1,.2.…,N)组合(例如参见图9B中的无线链路X-WL)，以提供组合的地图数据和所得的陆标(当前音频源和用户)位置。处理单元(PU)还可包括卡尔曼滤波器(FIL)(或者一个或多个卡尔曼滤波器)，用于对位置数据进行滤波并在固定或相对坐标系中提供眼睛凝视角，参见EOG数据信号EOGD。EOG数据信号EOGD被转发给控制单元CONT。控制单元CONT基于EOG数据信号EOGD向选择器SEL提供控制信号EOGCtr。控制单元还配置成(根据地图数据)确定相对于用户朝向声源的当前位置的更新的波束形成器(例如波束形成器滤波系数)。
在图9A或9B的实施例中，至少一输入单元(IU1,…,IUM)可被实施为传声器(IT1,…,ITM)。输出单元(OU)例如可按下述之一或多个体现：扬声器、用于骨导助听器的振动器、和耳蜗植入助听器的电极阵列。
图10示出了根据本发明的听力系统的用户界面。图10示出了听力系统的实施例，其实施包括与辅助装置(AD)如移动电话通信的左和右听力装置(HD1,HD2)(如助听器)的双耳听力系统，辅助装置包括用于该系统的用户界面(UI)，例如用于查看(可能及影响用户当前感兴趣的声源的选择)双耳听力系统的环境中的当前声源(Ss)。
左和右听力装置(HD1,HD2)例如按结合图9A或9B所述实施。左和右听力装置(HD1,HD2)及辅助装置(AD)中的每一个包括相应天线和收发器电路，用于在听力装置之间(链路IA-WL)及至少一或每一听力装置与辅助装置之间(链路WL-RF)建立无线通信链路。左和右听力装置的每一个中为建立两个链路需要的天线和收发器电路在图10中分别记为RF-IA-RX/Tx-l和RF-IA-RX/Tx-r。在实施例中，耳间链路IA-WL基于近场通信(如基于感应耦合)，但作为备选，可基于辐射场(例如根据蓝牙标准，和/或基于利用蓝牙低功率标准的音频传输)。在实施例中，辅助装置与听力装置之间的链路WL-RF基于辐射场(例如根据蓝牙标准，和/或基于利用蓝牙低功率标准的音频传输)，但作为备选，也可基于近场通信(例如基于感应耦合)。链路(IA-WL,WL-RF)的带宽优选适于使声源信号(或者至少其部分，例如所选频带和/或时间段)和/或标识声源的当前位置(或其它陆标和/或地图数据)的定位参数能在装置之间传送(例如去往/来自辅助装置)。在实施例中，系统的处理(如声源分离)和/或遥控器的功能被完全或部分实施在辅助装置AD(如智能电话)中。在实施例中，用户界面UI由可能运行APP(称为用于声源定位和选择的SLAM app)的智能电话实施，从而使能经智能电话控制音频处理装置的功能，例如利用智能电话的显示器实施图形界面(例如与文本输入选项结合)。
在实施例中，双耳听力系统配置成使用户能经智能电话的用户界面(UI)查看环境中的声源相对于用户的位置(例如如图2中所示)(当智能电话被拿在用户U的手中时，方便经触敏显示器查看和交互)。由用户界面(UI)显示的声源LM1-LM5根据本发明基于地图数据确定，例如使用SLAM算法。在图10所示的例子中，示出了5个声源LM1,LM2,LM3,LM4和LM5的位置。在图10的例子中，示出了用户随时间相对于声源的移动，及用户界面UI配置成使用户能指明当前对哪一(或多个)所示声源感兴趣(例如通过点击所涉及的声源符号，如果一个以上被选择，可能指明每一声源的权重)。双耳听力系统(包括辅助装置)配置成将关于所选声源(可能及它们的相互相对权重)的信息传给左和右听力装置(HD1,HD2)以使它们能将呈现给用户的左和右耳的处理后的输出信号聚焦于所选声源。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非另行指明，在此公开的任何方法的步骤不精确限于相应说明的顺序。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
因而，本发明的范围应依据权利要求进行判断。
参考文献
·EP3185590A1(Oticon)28.06.2017
·[Skoglund et al.；2017]European patent application number17179464.7filed with the European Patent Office on 4th of July 2017and havingthe title Direction Of Arrival Estimation In Miniature Devices Using A SoundSensor Array.
·[Farmani et al.；2015]Mojtaba Farmani；Michael Syskind Pedersen；Zheng-Hua Tan；Jesper Jensen,Informed TDoA-based direction of arrivalestimation for hearing aid applications,IEEE 2015Global Conference on Signaland Information Processing(GLOBALSIP),p.953-957
·EP2813175A2(Oticon)17.12.2014
·US20140098981A1(Oticon)10.04.2014
·[Davison；2003],A.J.Davison.Real-time simultaneous localisation andmapping with a single camera.In Proceedings of the 9th IEEE InternationalConference on computer vision,pages 1403–1410,Nice,France,13-16 Oct.2003.
·[Pax et al.；2008]L.M.Paz,P.Piniés,J.D.Tardós and J.Neira,"Large-Scale6-DOF SLAM With Stereo-in-Hand,"in IEEE Transactions on Robotics,vol.24,no.5,pp.946-957,Oct.2008.
·[Lupton&Sukkarieh；2008]T.Lupton and S.Sukkarieh.“Removing scalebiases and ambiguity from 6DoF monocular SLAM using inertial”.In Proceedingsof the International Conference on Robotics and Automation(ICRA),pages 3698–3703,Pasadena,California,USA,2008.IEEE.
·[Lorenz&Boyd；2005]Robert G.Lorenz,and Stephen P.Boyd,Robust MinimumVariance Beamforming,IEEE Transactions on Signal Processing,Vol.53,No.5,May2005.
·[Richardson&Spivey；2004]Richardson DC,Spivey MJ.“Eye tracking:Research areas and applications”.In:Wnek GE,Bowlin GL,editors.Encyclopedia ofBiomaterials and Biomedical Engineering.London,UK:Taylor&Francis；2004.pp.573–582.
Claims (16)
1.一种包括适于由用户佩戴的听力装置的听力系统，所述听力系统包括：
-音频输入单元，配置成接收多个包括来自用户周围环境中的多个定位的声源的声音的音频信号；及
-传感器单元，配置成从一个或多个传感器接收和/或提供传感器信号，所述一个或多个传感器位于所述环境中和/或形成所述听力系统的一部分；及
-第一处理器，配置成随时间产生和更新表示用户环境的地图的数据，所述数据称为地图数据，所述环境包括多个固定不动的或者移动的陆标，所述陆标包括多个定位的声源，及所述地图数据表示所述环境中的陆标相对于用户的物理位置；
其中所述听力系统配置成
-基于所述音频信号和所述传感器信号随时间产生和更新地图数据。
2.根据权利要求1所述的听力系统，包括连接到音频输入单元并配置成基于多个音频信号提供一个或多个波束形成器的波束形成器滤波单元。
3.根据权利要求2所述的听力系统，其中所述波束形成器滤波单元包括线性约束最小方差波束形成器。
4.根据权利要求1所述的听力系统，包括输出单元，用于基于表示或包括来自一个或多个定位的声源的声音的、处理后的电输出信号提供可由用户感知为声音的刺激。
5.根据权利要求1所述的听力系统，其中第一处理器配置成使用户能将至少一定位的声源选择为当前感兴趣的声源。
6.根据权利要求2所述的听力系统，其中第一处理器配置成使得一个或多个波束形成器中的至少一个朝向相应的定位的声源。
7.根据权利要求6所述的听力系统，其中所述处理后的电输出信号包括所述定位的声源中基于一个或多个波束形成器的一个或多个定位的声源。
8.根据权利要求2所述的听力系统，配置成基于地图数据及非必须地基于用户输入自动使波束形成器朝向定位的声源。
9.根据权利要求1所述的听力系统，包括存储器及配置成将表示近似随时间而变的地图的数据存储在所述存储器中，从而使能追踪所述用户和/或所述环境中的所述定位的声源随时间的移动。
10.根据权利要求2所述的听力系统，其中音频输入单元包括传声器阵列，其包括用于从所述环境拾取声音的多个传声器并提供包括来自所述多个定位的声源的声音的相应传声器信号及提供所述多个音频信号中的至少部分。
11.根据权利要求10所述的听力系统，包括头部穿戴框架或结构，所述多个传声器中的至少部分位于其上和/或所述传感器中的一个或多个位于其上。
12.根据权利要求11所述的听力系统，其中听力装置与所述传声器和/或一个或多个传感器之间的通信为有线或无线通信。
13.根据权利要求1所述的听力系统，其中所述传感器单元包括下述之一或多个：加速计、陀螺仪、磁力计、用于拾取身体信号的电极、及图像或视觉传感器。
14.根据权利要求1所述的听力系统，其中所述第一处理器包括同时定位和建图算法。
15.根据权利要求1所述的听力系统，其中所述第一处理器包括面部识别算法，用于辨别用户环境中的一个或多个面部。
16.根据权利要求1所述的听力系统，其中听力装置包括助听器、头戴式耳机、耳麦、耳朵保护装置或者组合。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17205683 | 2017-12-06 | ||
| EP17205683.0 | 2017-12-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109922417A true CN109922417A (zh) | 2019-06-21 |
| CN109922417B CN109922417B (zh) | 2022-06-14 |
Family
ID=60627473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811489755.7A Expired - Fee Related CN109922417B (zh) | 2017-12-06 | 2018-12-06 | 适于导航的听力装置或系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10820121B2 (zh) |
| EP (1) | EP3496417A3 (zh) |
| CN (1) | CN109922417B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220107686A1 (en) * | 2020-10-01 | 2022-04-07 | Agama-X Co., Ltd. | Information processing apparatus and non-transitory computer readable medium |
| CN114711777A (zh) * | 2022-02-21 | 2022-07-08 | 大连理工大学 | 一种可穿戴单导通用入耳式脑电传感器 |
| WO2023005560A1 (zh) * | 2021-07-28 | 2023-02-02 | Oppo广东移动通信有限公司 | 音频处理方法、装置、终端及存储介质 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6953247B2 (ja) * | 2017-09-08 | 2021-10-27 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
| US11057720B1 (en) | 2018-06-06 | 2021-07-06 | Cochlear Limited | Remote microphone devices for auditory prostheses |
| US10931972B2 (en) * | 2019-01-24 | 2021-02-23 | Dell Products, L.P. | Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments |
| JP7235534B6 (ja) * | 2019-02-27 | 2024-02-08 | 本田技研工業株式会社 | マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム |
| TWI723376B (zh) * | 2019-04-15 | 2021-04-01 | 美律實業股份有限公司 | 輔助聽力裝置 |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| US11234073B1 (en) * | 2019-07-05 | 2022-01-25 | Facebook Technologies, Llc | Selective active noise cancellation |
| US11197083B2 (en) | 2019-08-07 | 2021-12-07 | Bose Corporation | Active noise reduction in open ear directional acoustic devices |
| EP4011094A1 (en) * | 2019-08-08 | 2022-06-15 | GN Hearing A/S | A bilateral hearing aid system and method of enhancing speech of one or more desired speakers |
| EP3772735B1 (en) * | 2019-08-09 | 2024-05-15 | Honda Research Institute Europe GmbH | Assistance system and method for providing information to a user using speech output |
| US11778392B2 (en) | 2019-11-14 | 2023-10-03 | Starkey Laboratories, Inc. | Ear-worn electronic device configured to compensate for hunched or stooped posture |
| US11297448B2 (en) * | 2020-01-23 | 2022-04-05 | Oticon A/S | Portable system for gathering and processing data from EEG, EOG, and/or imaging sensors |
| US20230108217A1 (en) | 2020-02-17 | 2023-04-06 | TK&H Holding AS | Hearing aid system integrable in an eyeglass frame |
| CN111343420A (zh) * | 2020-02-18 | 2020-06-26 | 维沃移动通信有限公司 | 一种语音增强方法及穿戴设备 |
| CN111246336B (zh) * | 2020-02-27 | 2022-03-08 | 深迪半导体(绍兴)有限公司 | 耳机和电子设备 |
| US11410669B2 (en) | 2020-02-28 | 2022-08-09 | Bose Corporation | Asymmetric microphone position for beamforming on wearables form factor |
| US11134349B1 (en) * | 2020-03-09 | 2021-09-28 | International Business Machines Corporation | Hearing assistance device with smart audio focus control |
| CN113058156B (zh) * | 2020-05-26 | 2021-12-07 | 复旦大学 | 一种人工耳蜗的植入装置 |
| US11990129B2 (en) | 2020-06-29 | 2024-05-21 | Innovega, Inc. | Display eyewear with auditory enhancement |
| DE102020209050B4 (de) * | 2020-07-20 | 2022-05-25 | Sivantos Pte. Ltd. | Verfahren zum Betrieb eines Hörsystems, Hörsystem, Hörgerät |
| EP3962099A1 (en) * | 2020-08-28 | 2022-03-02 | Oticon A/s | Hearing devicve adapted for orientation |
| US11507185B1 (en) * | 2021-09-13 | 2022-11-22 | Lenovo (United States) Inc. | Electrooculography-based eye tracking using normalized electrode input |
| US20230388721A1 (en) | 2022-05-31 | 2023-11-30 | Oticon A/S | Hearing aid system comprising a sound source localization estimator |
| WO2023250171A1 (en) * | 2022-06-24 | 2023-12-28 | Rovi Guides, Inc. | Systems and methods for orientation-responsive audio enhancement |
| US20230421983A1 (en) * | 2022-06-24 | 2023-12-28 | Rovi Guides, Inc. | Systems and methods for orientation-responsive audio enhancement |
| KR20240038294A (ko) * | 2022-09-16 | 2024-03-25 | 올리브유니온(주) | 보청기를 이용한 사용자 또는 객체의 위치 추정에 따라 마이크 지향성을 자동 설정하는 방법 및 장치 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1703065A (zh) * | 2004-05-26 | 2005-11-30 | 株式会社日立制作所 | 语音通信系统 |
| CN102947878A (zh) * | 2010-06-01 | 2013-02-27 | 高通股份有限公司 | 用于音频均衡的系统、方法、装置、设备和计算机程序产品 |
| WO2013155217A1 (en) * | 2012-04-10 | 2013-10-17 | Geisner Kevin A | Realistic occlusion for a head mounted augmented reality display |
| CN103916734A (zh) * | 2013-12-31 | 2014-07-09 | 华为终端有限公司 | 一种声音信号处理方法及终端 |
| CN104661152A (zh) * | 2013-11-25 | 2015-05-27 | 奥迪康有限公司 | 用于听力系统的空间滤波器组 |
| CN104980845A (zh) * | 2014-04-07 | 2015-10-14 | 哈曼贝克自动系统股份有限公司 | 声波场产生 |
| US20160165336A1 (en) * | 2014-12-08 | 2016-06-09 | Harman International Industries, Inc. | Directional sound modification |
| US20160295323A1 (en) * | 2015-03-30 | 2016-10-06 | Microsoft Technology Licensing, Llc | Adjustable audio beamforming |
| EP3185590A1 (en) * | 2015-12-22 | 2017-06-28 | Oticon A/s | A hearing device comprising a sensor for picking up electromagnetic signals from the body |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2560412A1 (en) | 2012-10-08 | 2013-02-20 | Oticon A/s | Hearing device with brain-wave dependent audio processing |
| EP3917167A3 (en) | 2013-06-14 | 2022-03-09 | Oticon A/s | A hearing assistance device with brain computer interface |
| EP3185580B1 (en) | 2015-12-23 | 2022-03-23 | Harman Becker Automotive Systems GmbH | Loudspeaker arrangement for a car interior comprising a hemispherical loudspeaker array |
-
2018
- 2018-12-04 EP EP18210000.8A patent/EP3496417A3/en not_active Withdrawn
- 2018-12-05 US US16/210,365 patent/US10820121B2/en active Active
- 2018-12-06 CN CN201811489755.7A patent/CN109922417B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1703065A (zh) * | 2004-05-26 | 2005-11-30 | 株式会社日立制作所 | 语音通信系统 |
| CN102947878A (zh) * | 2010-06-01 | 2013-02-27 | 高通股份有限公司 | 用于音频均衡的系统、方法、装置、设备和计算机程序产品 |
| WO2013155217A1 (en) * | 2012-04-10 | 2013-10-17 | Geisner Kevin A | Realistic occlusion for a head mounted augmented reality display |
| CN104661152A (zh) * | 2013-11-25 | 2015-05-27 | 奥迪康有限公司 | 用于听力系统的空间滤波器组 |
| CN103916734A (zh) * | 2013-12-31 | 2014-07-09 | 华为终端有限公司 | 一种声音信号处理方法及终端 |
| CN104980845A (zh) * | 2014-04-07 | 2015-10-14 | 哈曼贝克自动系统股份有限公司 | 声波场产生 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| US20160165336A1 (en) * | 2014-12-08 | 2016-06-09 | Harman International Industries, Inc. | Directional sound modification |
| US20160295323A1 (en) * | 2015-03-30 | 2016-10-06 | Microsoft Technology Licensing, Llc | Adjustable audio beamforming |
| EP3185590A1 (en) * | 2015-12-22 | 2017-06-28 | Oticon A/s | A hearing device comprising a sensor for picking up electromagnetic signals from the body |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220107686A1 (en) * | 2020-10-01 | 2022-04-07 | Agama-X Co., Ltd. | Information processing apparatus and non-transitory computer readable medium |
| US11635816B2 (en) * | 2020-10-01 | 2023-04-25 | Agama-X Co., Ltd. | Information processing apparatus and non-transitory computer readable medium |
| WO2023005560A1 (zh) * | 2021-07-28 | 2023-02-02 | Oppo广东移动通信有限公司 | 音频处理方法、装置、终端及存储介质 |
| CN114711777A (zh) * | 2022-02-21 | 2022-07-08 | 大连理工大学 | 一种可穿戴单导通用入耳式脑电传感器 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3496417A3 (en) | 2019-08-07 |
| US10820121B2 (en) | 2020-10-27 |
| EP3496417A2 (en) | 2019-06-12 |
| CN109922417B (zh) | 2022-06-14 |
| US20190174237A1 (en) | 2019-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922417A (zh) | 适于导航的听力装置或系统 | |
| US10431239B2 (en) | Hearing system | |
| CN110035366B (zh) | 配置成定位目标声源的听力系统 | |
| US10123134B2 (en) | Binaural hearing assistance system comprising binaural noise reduction | |
| CN107360527B (zh) | 包括波束形成器滤波单元的听力装置 | |
| US20170180882A1 (en) | Hearing device comprising a sensor for picking up electromagnetic signals from the body | |
| US11715451B2 (en) | Acoustic devices | |
| CN108600907A (zh) | 定位声源的方法、听力装置及听力系统 | |
| CN109121056A (zh) | 用于捕获眼动电图信号的系统 | |
| CN110060666A (zh) | 听力装置的运行方法及基于用语音可懂度预测算法优化的算法提供语音增强的听力装置 | |
| JP2017521902A (ja) | 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード | |
| CN109996165A (zh) | 包括适于位于用户耳道处或耳道中的传声器的听力装置 | |
| EP3962099A1 (en) | Hearing devicve adapted for orientation | |
| CN112911477A (zh) | 包括个人化波束形成器的听力系统 | |
| US20200296523A1 (en) | Acoustic spot identification | |
| US20220174428A1 (en) | Hearing aid system comprising a database of acoustic transfer functions | |
| CN115240697A (zh) | 声学装置 | |
| US11689845B2 (en) | Open acoustic device | |
| US20230054213A1 (en) | Hearing system comprising a database of acoustic transfer functions | |
| US20230388721A1 (en) | Hearing aid system comprising a sound source localization estimator | |
| WO2023199248A1 (en) | Mapping environment with sensory prostheses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220614 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |