CN117319912A - 使用正常事物的听力性能和康复和/或复原增强 - Google Patents
使用正常事物的听力性能和康复和/或复原增强 Download PDFInfo
- Publication number
- CN117319912A CN117319912A CN202311158310.1A CN202311158310A CN117319912A CN 117319912 A CN117319912 A CN 117319912A CN 202311158310 A CN202311158310 A CN 202311158310A CN 117319912 A CN117319912 A CN 117319912A
- Authority
- CN
- China
- Prior art keywords
- microphone
- recipient
- data
- sound
- exemplary embodiment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000013707 sensory perception of sound Effects 0.000 title claims abstract description 252
- 238000000034 method Methods 0.000 claims description 171
- 230000009471 action Effects 0.000 claims description 54
- 230000008447 perception Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000006854 communication Effects 0.000 abstract description 83
- 238000004891 communication Methods 0.000 abstract description 83
- 230000004044 response Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 description 38
- 239000007943 implant Substances 0.000 description 34
- 238000004458 analytical method Methods 0.000 description 28
- 230000001413 cellular effect Effects 0.000 description 20
- 238000012546 transfer Methods 0.000 description 18
- 210000003477 cochlea Anatomy 0.000 description 15
- 230000003993 interaction Effects 0.000 description 12
- 238000005406 washing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 208000032041 Hearing impaired Diseases 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 210000000959 ear middle Anatomy 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000000613 ear canal Anatomy 0.000 description 5
- 210000000883 ear external Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 210000002768 hair cell Anatomy 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Substances [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 230000004936 stimulating effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 208000000781 Conductive Hearing Loss Diseases 0.000 description 3
- 206010010280 Conductive deafness Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 210000000860 cochlear nerve Anatomy 0.000 description 3
- 208000023563 conductive hearing loss disease Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 206010011891 Deafness neurosensory Diseases 0.000 description 2
- 208000009966 Sensorineural Hearing Loss Diseases 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 208000011977 language disease Diseases 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 210000004049 perilymph Anatomy 0.000 description 2
- 229910052697 platinum Inorganic materials 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 231100000879 sensorineural hearing loss Toxicity 0.000 description 2
- 208000023573 sensorineural hearing loss disease Diseases 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 241000878128 Malleus Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000001323 spiral ganglion Anatomy 0.000 description 1
- 210000001050 stape Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 235000019722 synbiotics Nutrition 0.000 description 1
- 210000003582 temporal bone Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
- H04R25/305—Self-monitoring or self-testing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/39—Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/01—Transducers used as a loudspeaker to generate sound aswell as a microphone to detect sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/558—Remote control, e.g. of amplification, frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
- H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
- H04R25/606—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers acting directly on the eardrum, the ossicles or the skull, e.g. mastoid, tooth, maxillary or mandibular bone, or mechanically stimulating the cochlea, e.g. at the oval window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Prostheses (AREA)
Abstract
本公开涉及使用正常事物的听力性能和康复和/或复原增强。一种系统包括:非身体承载的设备的第一麦克风;以及处理器,该处理器被配置为基于由所述第一麦克风捕获的声音来接收输入并且对接收到的输入进行分析以:确定由第一麦克风捕获的所声音是否指示在人之间的尝试通信,该人位于麦克风所位于的结构中,响应于确定声音指示在人之间的尝试通信,对通信的成功进行评估。
Description
本申请是2019年09月12日提交的201980048933.9号的发明专利申请(名称为“使用正常事物的听力性能和康复和/或复原增强”)的分案申请。
背景技术
可能由于许多不同原因而引起的听力损失通常有两种类型:传导性的和感觉神经性的。感觉神经性听力丧失是由于耳蜗中的毛细胞缺失或者破坏,而毛细胞将声音信号转换成神经冲动。各种听力假体在市场上可买到以向患有感觉神经性听力损失的个体提供感知声音的能力。听力假体的一个示例是耳蜗植入物。当向耳蜗中的毛细胞提供声音的正常机械路径受到阻碍时(例如由于对听骨链或者耳道的损伤),发生传导性听力损失。因为耳蜗中的毛细胞可能保持未受损,因此患有传导性听力损失的个体可能保留某种形式的残余听力。
患有听力损失的个体通常接纳声学助听器。常规助听器依赖空气传导的原理来向耳蜗传送声学信号。具体地,助听器通常使用被定位在接受者的耳道中或者外耳上的布置来放大由接受者的外耳接收到的声音。该放大的声音到达耳蜗,引起外淋巴的运动和对听觉神经的刺激。通常借助于骨传导助听器来治疗传导性听力损失的病例。与常规助听器相反,这些设备使用被耦合到颅骨的机械致动器来施加放大的声音。与主要依赖空气传导的原理的助听器相反,某些类型的听力假体(通常被称为耳蜗植入物)将接收到的声音转换为电刺激。将电刺激施加到耳蜗,这引起对接收到的声音的感知。许多设备(诸如与接受者进行接口连接的医疗设备)具有结构特征和/或功能特征,其中在为单独的接受者调整这种特征时,具有实用价值。与接受者进行接口或以其他方式由接受者使用的设备针对接受者的特定需要或者特定需求或者特定特点而被定制或者定做或者调整的过程通常被称为适配。在向个体接受者如此进行适配时具有实用价值的一种医疗设备是上述耳蜗植入物。
发明内容
在示例性实施例中,存在一种系统,包括:非身体承载的设备的第一麦克风;以及处理器,被配置为基于由第一麦克风捕获的声音来接收输入并且对接收到的输入进行分析以:确定由第一麦克风捕获的声音是否指示尝试与人进行的通信,该人位于麦克风所在的结构中;以及在确定声音指示尝试与人进行的通信之后,对该通信的成功和/或成功概率和/或人理解通信所需的努力进行评估。
在示例性实施例中,存在一种系统,包括:非听力假体设备的第一麦克风;以及处理器,被配置为:基于由第一麦克风捕获的数据(诸如,例如语音)来接收输入,并且实时地对接收到的输入进行分析以标识用于改进听力假体的接受者的感知的变化。
在示例性实施例中,存在一种方法,该方法包括:在第一时间段期间,利用具有相应的声音捕获装置的多个不同电子设备来多方面地捕获声音,这些相应的声音捕获装置在第一时间段期间是固定的,同时还利用听力假体来在第一时间段期间单独地捕获声音;对基于来自相应的声音捕获设备中的至少一个声音捕获设备的输出的数据进行评估;以及基于经评估的数据来标识用于在第一时间段期间改进听力假体的接受者对声音的感知的动作。
一种非暂态计算机可读介质,其上记录有用于执行方法的至少一部分的计算机程序,该计算机程序包括:用于对基于由非听力假体部件捕获的数据的第一数据进行分析的代码;以及用于基于对第一数据的分析来标识听力冲击影响特征的代码。进一步地,在该实施例的示例性实施例中,还存在:用于与由非听力假体部件捕获的数据同时地对基于指示听力假体的接受者对暴露于接受者的环境声音的反应的数据的第二数据进行分析的代码,其中用于基于对第一数据的分析来标识听力冲击影响特征的代码包括:用于基于对第一数据的分析结合对第二数据的分析来标识听力冲击影响特征的代码。
附图说明
下面参照附图描述了实施例,其中:
图1是在本文中详细描述的教导中的至少一些教导适用的示例性听力假体的透视图;
图2A至图3呈现了示例性系统;
图4A至图4C呈现了另外的示例性系统;
图5呈现了房屋中的麦克风的示例性布置;
图6呈现了根据示例性实施例的另一示例性系统;
图7呈现了根据示例性实施例的另一示例性系统;
图8呈现了根据示例性实施例的另一示例性系统;
图9呈现了示例性方法的示例性流程图;
图10呈现了示例性方法的另一示例性流程图;
图11和图12呈现了示例性方法的另外的示例性流程图。
具体实施方式
将根据耳蜗植入物来描述实施例,但是应该注意,在本文中详细描述的教导可以适用于其他类型的听力假体,并且也适用于其他类型的感觉假体,诸如,例如视网膜植入物等。首先将描述耳蜗植入物的示例性实施例和与其他部件一起利用耳蜗植入物的系统的示例性实施例,其中植入物和系统可以被利用来实施在本文中详细描述的教导中的至少一些教导。在示例性实施例中,本文中麦克风或者其他声音捕获设备和激发听力感知的设备的任何公开内容与备选实施例的公开内容对应,在该备选实施例中,用光学感测设备来代替麦克风或者其他声音捕获设备,并且用激发视力感知的设备(例如再一次是例如视网膜植入物的部件)来代替激发听力感知的设备。
图1是被植入接受者的耳蜗植入物(被称为耳蜗植入物100)的透视图,在本文中详细描述的一些实施例和/或其变化适用于该耳蜗植入物。如下面将详细描述的,耳蜗植入物100是系统10的一部分,在一些实施例中,该系统10可以包括外部部件。另外,应该注意,在本文中详细描述的教导还适用于其他类型的听力假体,诸如仅通过示例的方式而非通过限制的方式:骨传导设备(经皮的、主动经皮的和/或被动经皮的)、直接声学耳蜗刺激器、中耳植入物和常规助听器等。实际上,应该注意,在本文中详细描述的教导还适用于所谓的多模式设备。在示例性实施例中,这些多模式设备向将接受者施加电刺激和声学刺激。在示例性实施例中,这些多模式设备经由电听力和骨传导听力来激发听力感知。因此,除非另有说明,或者除非基于当前的技术状态,其公开内容与给定设备不兼容,否则本文中关于这些类型的听力假体中的一种听力假体的任何公开内容对应于这些类型的听力假体中的另一种听力假体或者用于该听力假体的任何医疗设备的公开内容。因此,在至少一些实施例中,在本文中详细描述的教导适用于向接受者、患者或者其他使用者提供广泛的治疗益处的可部分植入和/或可完全植入的医疗设备,包括具有植入式麦克风的听力植入物、听觉大脑刺激器、视觉假体(例如仿生眼)、传感器等。
鉴于上述内容,应该理解,在本文中详细描述的至少一些实施例和/或其变化涉及体戴式感觉补充医疗设备(例如图1所示听力假体,即使在没有自然听力能力(例如由于先前的自然听力能力的退化或者由于例如从出生起缺乏任何自然听力能力)的实例中,该听力假体也补充听觉)。应该注意,一些感觉补充医疗设备的至少一些示例性实施例涉及诸如常规助听器(这些常规助听器在保留有一些自然听力能力的实例中补充听觉)和视觉假体(这两者都适用于具有一些自然视觉能力的接受者和没有自然视觉能力的接受者)等设备。因此,在本文中详细描述的教导适用于能够按照实用的方式来在其中使用在本文中详细描述的教导的任何类型的感觉补充医疗设备。在这点上,短语“感觉补充医疗设备”是指用于向接受者提供感觉而不管适用的自然感觉是否仅部分受损或者完全受损或者甚至从来不存在的任何设备。实施例可以包括:与耳蜗植入物、中耳植入物、骨传导设备(经皮的、被动经皮的和/或主动经皮的)或者常规助听器等一起利用本文中的教导。
接受者具有外耳101、中耳105和内耳107。下面描述外耳101、中耳105和内耳107的组成部分,然后描述耳蜗植入物100。
在全功能的耳朵中,外耳101包括耳廓110和耳道102。声学压力或者声波103由耳廓110收集,并且被引导进入并且穿过耳道102。在耳道102的远端设置有响应于声波103而振动的鼓膜104。该振动通过中耳105的三根骨而被耦合到卵圆窗或者椭圆窗112,该三根骨被统称为听小骨106并且包括锤骨108、砧骨109和镫骨111。中耳105的骨108、109和111用于对声波103进行滤波和放大,从而使椭圆窗112响应于鼓膜104的振动而进行关节运动或者振动。该振动在耳蜗140内建立了外淋巴的流体运动的波动。这种流体运动又激活在耳蜗140的内部的微小毛细胞(未示出)。激活毛细胞引起产生适当的神经冲动并且通过螺旋神经节细胞(未示出)和听觉神经114将其传递给大脑(也未示出),在大脑中,神经冲动被感知为声音。
如图所示,耳蜗植入物100包括被暂时或者永久植入接受者的一个或多个部件。在图1中示出了耳蜗植入物100以及外部设备142,该外部设备142是系统10的一部分(与耳蜗植入物100一起),如下面描述的,该系统10被配置为向植入物提供功率,并且其中植入的耳蜗植入物包括电池,通过从外部设备142提供的功率来对该电池进行再充电。
在图1的说明性布置中,外部设备142可以包括被设置在耳后(BTE)单元126中的电源(未示出)。外部设备142还包括经皮能量传递链路的部件,被称为外部能量传递组件。经皮能量传递链路用于向耳蜗植入物100传递功率和/或数据。可以使用各种类型的能量传递(诸如红外(IR)传递、电磁传递、电容传递和电感传递)来将功率和/或数据从外部设备142传递给耳蜗植入物100。在图1的说明性实施例中,外部能量传递组件包括形成感应射频(RF)通信链路的一部分的外部线圈130。外部线圈130通常是由多匝电绝缘的单股或者多股铂线或者金线组成的接线天线线圈。外部设备142还包括被定位在外部线圈130的接线的匝内的磁体(未示出)。应该了解,在图1中示出的外部设备仅仅是说明性的,并且可以与实施例一起使用其他外部设备。
耳蜗植入物100包括可以被定位在与接受者的耳廓110相邻的颞骨的凹部中的内部能量传递组件132。如下面详细描述的,内部能量传递组件132是经皮能量传递链路中的部件,并且从外部设备142接收功率和/或数据。在说明性实施例中,能量传递链路包括感应RF链路,并且内部能量传递组件132包括主要的内部线圈136。内部线圈136通常是由多匝电绝缘的单股或者多股铂线或者金线组成的接线天线线圈。
耳蜗植入物100还包括主要可植入部件120和细长电极组件118。在一些实施例中,内部能量传递组件132和主要可植入部件120气密密封在生物相容性壳体内。在一些实施例中,主要可植入部件120包括可植入麦克风组件(未示出)和声音处理单元(未示出),以将通过内部能量传递组件132中的可植入麦克风接收到的声音信号转换为数据信号。也就是说,在一些备选实施例中,可植入麦克风组件可以位于与主要可植入部件120(例如经由在单独的可植入部件与主要可植入部件120之间的引线等)进行信号通信的单独的可植入部件(例如,具有其自己的壳体组件的可植入部件等)中。在至少一些实施例中,可以与任何类型的可植入麦克风布置一起利用在本文中详细描述的教导和/或其变化。
主要可植入部件120还包括基于数据信号来生成电刺激信号的刺激器单元(也未示出)。电刺激信号经由细长电极组件118被传递给接受者。
细长电极组件118具有被连接到主要可植入部件120的近端以及被植入耳蜗140的远端。电极组件118从主要可植入部件120通过乳突骨119延伸到耳蜗140。在一些实施例中,电极组件118至少可以被植入在基部区域116中,并且有时可以被植入得更深。例如,电极组件118可以向耳蜗140的顶端(被称为耳蜗顶点134)延伸。在某些情况下,电极组件118可以经由耳蜗造口术122被插入到耳蜗140中。在其他情况下,可以通过圆窗121、卵圆窗112、岬123或者通过耳蜗140的顶回147来形成耳蜗造口术。
电极组件118包括沿着其长度设置的电极148的纵向对齐并且向远侧延伸的阵列146。如提到的,刺激器单元生成由电极148施加到耳蜗140的刺激信号,从而刺激听觉神经114。
图2A描绘了根据示例性实施例的示例性系统210,包括:听力假体100,在示例性实施例中,该听力假体100与上面详细描述的耳蜗植入物100对应;以及便携式身体承载的设备(例如,如在图2A中看到的便携式手持设备、手表、小型设备等)240,该便携式身体承载的设备240为具有显示器242的移动计算机形式。该系统包括在便携式手持设备240与听力假体100之间的无线链路230。在实施例中,假体100是植入接受者99的植入物(如在功能上由图2A中的虚线框100表示的)。
在示例性实施例中,系统210被配置成使得听力假体100和便携式手持设备240具有共生关系。在示例性实施例中,共生关系是显示与听力假体100的一个或多个功能性相关的数据的能力,以及在至少一些示例中是控制听力假体100的一个或多个功能性的能力。在示例性实施例中,可以经由手持设备240经由无线链路230(但是在其他示例性实施例中,可以利用其他类型的链路(诸如通过示例的方式:有线链路))从听力假体100接收数据的能力来实现这一点。如下面也将详细描述的,可以经由与在地理上遥远的设备的通信来实现这一点,该在地理上遥远的设备经由链路(诸如仅通过示例的方式而非通过限制的方式:互联网连接或者蜂窝电话连接)来与听力假体100和/或便携式手持设备240通信。在一些这种示例性实施例中,系统210还可以包括在地理上遥远的装置。此外,下面将更详细地描述这一点的另外的示例。
如上面提到的,在示例性实施例中,便携式手持设备240包括移动计算机和显示器242。在示例性实施例中,显示器242是触摸屏显示器。在示例性实施例中,便携式手持设备240还具有便携式蜂窝电话的功能性。在这点上,仅通过示例的方式而非通过限制的方式,设备240可以是智能电话,因为该短语被普遍利用。即,在示例性实施例中,便携式手持设备240包括智能电话,再次因为该术语被普遍利用。
应该注意,在一些其他实施例中,设备240不必是计算机设备等。其可以是低技术记录器或者可以实现本文中的教导的任何设备。
短语“移动计算机”需要被配置为实现人机交互的设备,其中预期在正常使用期间将计算机从固定地点移走。此外,在示例性实施例中,便携式手持设备240是智能电话,因为该术语被普遍利用。然而,在其他实施例中,可以利用没那么复杂(或者更复杂)的移动计算设备来实施在本文中详细描述的教导和/或其变化。在至少一些实施例中,可以利用可以使得能够实践在本文中详细描述的教导和/或其变化的任何设备、系统和/或方法。(如下面将详细描述的,在一些实例中,设备240不是移动计算机,而是远程设备(远离听力假体100。下面将描述这些实施例中的一些实施例)。)
在示例性实施例中,便携式手持设备240被配置为:从听力假体接收数据,并且基于接收到的数据来在显示器上呈现多个不同的界面显示中的某一界面显示。有时将根据从听力假体100接收到的数据来描述示例性实施例。然而,应该注意,本公开还囊括也适用于从手持设备240传送给听力假体的数据的任何公开内容,除非另有说明或者与相关技术不兼容(反之亦然)。
应该注意,在一些实施例中,系统210被配置成使得耳蜗植入物100和便携式设备240具有关系。仅通过示例的方式而非通过限制的方式,在示例性实施例中,该关系是设备240经由无线链路230用作用于假体100的远程麦克风的能力。因此,设备240可以是远程麦克风。也就是说,在备选实施例中,设备240是独立的记录/声音捕获设备。
应该注意,在至少一些示例性实施例中,设备240与如在美国自2018年6月6日起可用于商业购买的Apple WatchTM系列1或者系列2对应。在示例性实施例中,设备240与如在美国自2018年6月6日起可用于商业购买的Samsung Galaxy GearTMGear 2对应。该设备被编程和配置为与假体通信和/或起作用以实现在本文中详细描述的教导。
在示例性实施例中,电信基础架构可以与听力假体100和/或设备240通信。仅通过示例的方式而非通过限制的方式,电传线圈249或者某一其他通信系统(蓝牙等)用于与假体和/或远程设备通信。图2B描绘了示例性准功能示意图,该示意图描绘了外部通信系统249(例如电传线圈)与听力假体100和/或手持设备240之间分别通过链路277和279的通信(注意,图2B描绘了听力假体100与外部音频源249之间以及手持设备与外部音频源249之间的双向通信–在备选实施例中,通信仅是一种方式(例如从外部音频源249到相应的设备))。
关于以下内容,可能具有实用价值:使或者实现听力假体的接受者和/或其护理者和/或重要的其他人和/或家庭成员和/或其他朋友、同事等理解或者获知他们可以做什么来改进接受者的听力结果和/或如何帮助接受者进行康复和/或复原和/或仅估计康复和/或复原的发生情况。
此外,关于在参与复原计划和/或性能测试或者问卷调查的接受者未确定其进展的情况下进行上述内容中的任何内容,可能具有实用价值。实际上,在示例性实施例中,关于在不干扰接受者的日常活动的情况下和/或在不使接受者感到疲劳(因为复原计划和/或性能测试或者问卷调查可能使人感到疲劳)的情况下进行上述内容中的任何内容,可能具有实用价值。关于通过利用捕获接受者和/或正在与接受者说话的其他人的语音的被动系统等来进行上述内容中的任何内容,也可能具有实用价值,其中利用非专用硬件系统和/或不一定附接到接受者或者由接受者承载的设备(至少除了与接受者的听力假体相关联的设备之外)来执行这种捕获。关于实时地对捕获的声音进行分析和/或实时地/准实时地提供反馈,也可能具有实用价值。在这点上,关于对捕获的声音进行分析和/或在时间上紧接捕获到声音的时间提供反馈,可能具有实用价值。
示例性实施例利用可能在房屋等中或者在工作场所环境中发现的现有麦克风来捕获与接受者相关联的声音。利用这些麦克风来捕获可能未捕获的声音,或者至少捕获具有与之相关联的元数据等的声音,该元数据等可以被利用,其中在不利用这些麦克风的情况下,可能不存在这种元数据。在这点上,人们家中有越来越多的高性能麦克风阵列,例如Amazon Echo(7个麦克风)、Google Home(2个麦克风)、Apple HomePod(7个麦克风)等。这些麦克风阵列连接到云,并且允许第三方编写使用麦克风阵列的能力的特定软件–例如Amazon Alexa 7-Mic Far Field Dev Kit。此外,麦克风在许多设备中无处不在,诸如膝上型计算机、计算机、智能电话、智能手表、一般的电话(甚至19世纪后期的电话都具有在未使用电话或者电话“挂断”时对声音做出反应的麦克风–在一些实施例中,即使当未出于通信目的利用电话时,也可以利用一般的电话来捕获声音)、玩具、游戏机、电视机、汽车、立体声音响等。根据在本文中详细描述的教导的至少一些示例性实施例结合处理器装置来利用这些家用系统/办公室系统/运输系统,该处理器装置可以是听力假体的一部分,和/或可以是在本文中详细描述的给定系统的单独的部件,以提供被动监测以便进行康复和/或复原和/或性能评估和/或性能改进或者以便进行性能改变。
通过利用可以实现在本文中详细描述的教导的现有硬件或者其他部件(这些现有硬件或者其他部件放置在房间中的固定点处)而不需要专门的硬件,关于在本文中详细描述的教导中的一些教导,可能具有实用价值。在至少一些示例性实施例中,这些系统上的麦克风阵列能够区分处于给定地点的声音发起者(例如扬声器)的地点,并且能够从多个扬声器获得高质量音频,诸如仅通过示例的方式而非通过限制的方式:通过波束成型、噪声消除和/或回声消除。此外,在一些实施例中,这些系统可以支持对结果的实时串流和/或基于云的分析,这可以提供比在处理器上或者甚至在iPhone/智能电话上可进行的处理更多的处理。
在示例性实施例中,存在一种系统,具有以下模块中的一个或多个模块,其中术语“模块”用于指代硬件和/或软件和/或固件的汇编,无论是不同的还是结合其他模块,该硬件和/或软件和/或固件被配置为执行详细操作(例如,被编程为进行XYZ、作为组件的一部分或者与麦克风进行信号通信或者从麦克风接收信号或者基于来自麦克风的信号的处理器等),或者是在本文中公开的具有其功能性的任何设备和/或系统的特征:
●用于与在系统中利用的(多个)麦克风进行交互并且实时地获得具有相关联的方向和距离(如果可能的话)的语音信号的模块。
●用于一般地与听力假体及其逻辑/控制部件(例如,声音处理器)进行交互并且用于实时地获得自身语音数据和/或响度信息的模块。
●用于处理来自听力假体和/或一个或多个麦克风阵列的输入以进行以下中的一项或多项的模块:
○确定扬声器中的每个扬声器的位置和/或移动以及接受者的位置和/或移动;
○标识说话者和/或确定用于表征每个说话者–频谱信息等的附加的参数以提供给声音处理器;
○确定每个说话者正在说话的时间;或者
○基于特定于语言的启发法来对话语进行分类,诸如,例如问题、语句、说明、响应等。
●用于从话音数据中提取性能/结果度量的模块:
○特定于说话者的轮流;
○接受者注意力转换,诸如,例如转头;
○将接受者定向话音与无意中听到的话音分类;
○标识固定源,诸如,例如电视机、收音机和/或人类源;
○标识来自接受者的说明提示/不适当的话语,诸如,例如对问题的响应。
●用于通过话音数据来执行/监测复原锻炼的模块:
○将交互与预期交互相比较;
○使用话音识别来提供自然的交互,诸如,例如启动有声读物、开始脚本化交谈。
●用于向接受者/护理者等提供反馈的报告模块。
实施例包括:可以执行上面列出的功能性中的任何一种或多种功能性的系统和/或包括实现上面列出的功能性的动作中的任何一个或多个动作的方法。在示例性实施例中,如下面将更详细地描述的,处理器装置3401具有上面提到的模块中的一个或多个或者所有模块,并且另外被配置为具有上面提到的功能性中的一些和/或所有功能性的功能性。
图2C呈现了表示概念性示例性实施例的准概念性高级功能示意图。
现在将在一些示例性实施例下描述详情中的一些详情的一些另外的细节。
图3描绘了系统310的示例性实施例,该系统包括前述智能电话,该智能电话经由无线链路330与中央处理器装置3401进行信号通信,下面将详细描述其细节。在该示例性实施例中,智能电话240(在一些其他实施例中,该智能电话240还可以是通用蜂窝电话)被配置为:利用其麦克风来捕获声音,并且将经由链路330捕获的声音提供给处理器装置3401。在示例性实施例中,链路330被利用来通过RF发射器对由电话240的麦克风捕获的音频信号进行串流,并且处理器装置3401包括接收所传送的RF信号的RF接收器。也就是说,在示例性实施例中,电话240利用机载处理器等来对信号进行评估,并且基于捕获的声音来向处理器装置3401提供指示评估的信号。下面将更详细地描述这一点的一些另外的特征。
图4A描绘了麦克风440被利用来捕获声音的系统410的备选实施例。在示例性实施例中,麦克风440根据上面关于图3详细描述的麦克风进行操作。也就是说,在示例性实施例中,麦克风440可以是智能麦克风的麦克风,该智能麦克风在其组件中包括处理器等,该处理器等可以对在该地点捕获的声音进行评估并且经由无线链路430向处理器装置3401提供信号,根据上面关于图3详细描述的备选实施例,该信号包括基于由麦克风440捕获的声音的数据。图4B描绘了包括经由相应的无线链路431来进行信号通信的多个麦克风440的系统411的备选实施例。此外,多个麦克风可以与作为相应的麦克风的多个智能电话对应,其中多个麦克风可以与作为家庭设备(诸如前述Amazon Echo或者Alexa设备或者计算机)的一部分的麦克风或者作为可以具有实用价值或者实现在本文中详细描述的教导的家庭设备的一部分的任何其他麦克风对应。进一步地,应该注意,一个或多个麦克风440可以是为了实施在本文中详细描述的教导而没有其他目的所呈现或者定位在给定结构(房屋、建筑物等)内的麦克风。在这点上,示例性实施例包括被配置为象征性地投放在房屋的各个地点处的一系列麦克风-发射器组件,这些组件具有其自己的电源和可以彼此和/或与中央处理器装置3401和/或与如下面将描述的听力假体通信(中继目的)的已知发射器。更进一步地,在示例性实施例中,利用作为消费电子设备的一部分的麦克风,其中可以经由物联网或者可以实现在本文中详细描述的教导的任何其他布置来获得来自麦克风的信号。
要清楚,应该注意,在至少一些示例性实施例中,中央处理器装置3401可以是听力假体100。也就是说,在备选实施例中,其是相对于听力假体100的单独的部件。图4C呈现了中央处理器装置3401与假体100进行信号通信的示例性实施例。中央处理器装置可以是接受者或看护理者的智能电话,和/或可以是位于房屋中的个人计算机等,和/或可以是经由链路(诸如经由互联网等)来将基于由麦克风收集到的或者获得的数据的输入提供给远程处理器的大型计算机等。
还要清楚,应该注意,本文中对麦克风的任何引用都可以与听力假体的麦克风、个人手持或者身体承载的设备(诸如蜂窝电话或者智能电话)的麦克风和/或商业电子产品的麦克风和/或专用于实施在本文中详细描述的教导的部件的麦克风对应,除非另有注释。
鉴于上述内容,应该理解,在示例性实施例中,存在一种系统,包括:中央处理器装置,被配置为从多个声音捕获设备(诸如,例如智能电话240和/或上面详细描述的麦克风440和/或一个或多个听力假体的(多个)麦克风)和/或从听力假体和/或其他人的听力假体的麦克风或者其他声音捕获设备接收输入(在示例性实施例中,一个或多个声音捕获设备是在该区域中的人们的听力假体的相应声音捕获设备,其中听力假体与中央处理器通信(直接地或者间接地,诸如关于后者,通过智能电话或者蜂窝电话等),这种实施例还可以实现动态系统,在该动态系统中,麦克风从一个地点移动到另一地点,例如智能电话也可以是这种情况。输入可以是来自声音捕获设备的麦克风的原始信号/经修改的信号(例如放大的信号和/或所提取的一些特征/可以向其应用压缩技术)。输入可以基于原始信号/经修改的信号等。在这点上,短语“基于来自麦克风的数据的数据”可以与麦克风的原始输出信号、作为麦克风的原始输出信号的修改版本的信号、作为对原始输出的解释的信号等对应。
因此,在示例性实施例中,存在一种系统,包括被配置为输出指示相应的捕获的声音的相应信号的麦克风。该系统还被配置为将相应信号和/或基于相应信号的经修改的信号提供给中央处理器装置作为来自多个声音捕获设备的输入。相反,在一些实施例中,输入可以是基于由麦克风捕获的声音的信号,但是该信号是由对麦克风的处理或者评估引起的数据信号,该数据信号被提供给中央处理器装置3401。在该示例性实施例中,中央处理器装置被配置为共同地对来自多个声音捕获设备的输入进行评估。
在示例性实施例中,处理器装置包括处理器,处理器装置的该处理器可以是由软件或者固件等支持的标准微处理器,该软件或者固件等被编程为对从(多个)声音捕获设备接收到的或者基于该(多个)声音捕获设备的信号或者其他数据进行评估。仅通过示例的方式而非通过限制的方式,在示例性实施例中,通过示例的方式,微处理器可以访问具有与对给定声音信号的频谱分析相关联的数据的查找表等,并且可以比较输入信号的特征以及将那些特征与查找表中的特征相比较,并且经由查找表中与那些特征相关联的相关数据,进行有关输入信号的确定,从而进行与声音相关的确定和/或对声音进行分类。在示例性实施例中,处理器是声音分析器的处理器。声音分析器可以是基于FFT的或者基于另一操作原理。声音分析器可以是在智能电话等上可用的标准的声音分析器。声音分析器可以是标准的音频分析器。处理器可以是声波分析器的一部分。此外,应该特别注意,虽然上述附图的实施例提出了处理器装置3401,并且因此,提出了其处理器,但是作为远离听力假体和/或智能电话和/或麦克风和具有麦克风的部件等的设备,作为代替,处理器可以是听力假体的设备或者便携式电子设备(例如智能电话或者关于实施在本文中详细描述的教导,可以具有实用价值的任何其他设备)或者固定的电子设备中的一个设备的一部分。仍然,与上述教导一致,应该注意,在一些示例性实施例中,处理器可以远离假体和智能电话或者其他便携式消费电子设备。
仅通过示例的方式而非通过限制的方式,在示例性实施例中,在本文中详细描述的系统的设备中的任何一个或多个设备可以经由蓝牙技术或者其他RF信号通信系统来彼此和/或与远程服务器进行信号通信,该远程服务器经由例如互联网等链接到远程处理器。实际上,在至少一些示例性实施例中,处理器装置3401是完全远离系统的其他部件的设备。也就是说,在示例性实施例中,处理器装置3401是具有按照全局方式在空间上位于不同位置处的部件的设备,这些部件可以经由互联网等来彼此进行信号通信。在示例性实施例中,可以经由互联网来将从声音捕获设备接收到的信号提供给该远程处理器,随后对信号进行分析,并且然后,经由互联网,可以将指示与数据(该数据与听力假体的接受者相关)相关的指令的信号提供给讨论中的设备,使得设备可以输出该信号。还要注意,在示例性实施例中,由处理器接收到的信息可以简单地是分析的结果,随后处理器可以对分析的结果进行分析,并且标识信息,如下面将更详细地描述的,该信息然后将被输出。应该注意,如在本文中利用的术语“处理器”可以与链接在一起的多个处理器以及一个单个处理器对应,并且关于短语“中央处理器”,也是这种情况。
在示例性实施例中,该系统包括一般的声音分析器,并且在一些实施例中,包括特别的话音分析器,诸如仅通过示例的方式而非通过限制的方式:被配置为执行频谱测量和/频谱分析测量和/或持续时间测量和/或基频测量的话音分析器。仅通过示例的方式而非通过限制的方式,这可以与被配置为执行SIL Language Technology Speech AnalyzerTM程序的计算机的处理器对应。在这点上,程序可以被加载到系统的存储器上,并且处理器可以被配置为访问针对分析器的程序或者对话音进行评估。在备选实施例中,话音分析器可以是可从Rose Medical获得的话音分析器,该程序设计可以是加载到系统的存储器的程序设计。此外,在示例性实施例中,可以利用机器学习系统(诸如仅通过示例的方式而非通过现在的方式:神经网络和/或深度神经网络等)来实施在本文中详细描述的任何一个或多个方法动作和/或在本文中详细描述的设备和/或系统的功能性。在这点上,在示例性实施例中,通过神经网络(诸如深度神经网络)或者机器学习的任何其他产品来分析或者操纵或者研究或者执行被利用来实现在本文中提出的实用价值的各种数据。在一些实施例中,在听力假体中实施人工智能系统或者机器学习的其他产品,而在其他实施例中,可以在本文中公开的其他设备中的任何设备(诸如智能电话或者个人计算机或者远程计算机等)中实施人工智能系统或者机器学习的其他产品。
在示例性实施例中,中央处理组件可以包括音频分析器,该音频分析器可以对以下参数中的一个或多个参数进行分析:谐波、噪声、增益、电平、互调失真、频率响应、信号的相对相位等。应该注意,上述声音分析器和/或话音分析器还可以对前述参数中的一个或多个参数进行分析。在一些实施例中,音频分析器被配置为产生时域信息,从而根据时间来瞬时地标识振幅。在一些实施例中,音频分析器被配置为测量互调失真和/或相位。在示例性实施例中,音频分析器被配置为测量信噪比和/或总谐波失真加噪声。
要清楚,在一些示例性实施例中,中央处理器装置可以包括处理器,该处理器被配置为访问软件、固件和/或硬件,该软件、固件和/或硬件被“编程”或者配置为执行前述分析中的一项或多项分析。仅通过示例的方式而非通过限制的方式,中央处理器装置可以包括以下电路形式的硬件:这些电路被配置为实现上面和/或下面详细描述的分析,这种电路系统的输出由处理器接收,使得处理器可以利用该输出来执行在本文中详细描述的教导。在一些实施例中,处理器装置利用模拟电路和/或数字信号处理和/或FFT。在示例性实施例中,分析器引擎被配置为提供AC/DC电压表值(峰值和RMS)的高精度实施方式,分析器引擎包括高通和/或低通和/或加权滤波器,分析器引擎可以包括带通和/或陷波滤波器和/或频率计数器,它们全部被布置为对传入的信号执行分析以对该信号进行评估并且标识其某些特点,如下面将更详细地描述的,这些特点与预定场景或者预定指令和/或预定指示相关。还应该注意,在基于数字的系统中,中央处理器装置被配置为利用基于FFT的计算来实施信号分析,并且在这点上,处理器被配置为执行基于FFT的计算。
在示例性实施例中,中央处理器被配置为利用前述特征中的一个或多个或者所有特征来对来自麦克风的输入进行分析或者基于麦克风的输出来对输入进行分析以实施根据至少一些示例性实施例在本文中详细描述的分析或者确定。
在示例性实施例中,中央处理器装置是给定建筑物(环境结构)的固定装置。备选地,和/或除此之外,中央处理器装置是位于可以被带到给定地点的壳体等中的独立便携式设备。在示例性实施例中,中央处理器装置可以是个人计算机(诸如膝上型计算机),该个人计算机包括USB端口输入和/或输出和/或RF接收器和/或发射器,并且同样被编程(例如计算机可以具有蓝牙能力和/或移动蜂窝电话能力等)。备选地,或者除此之外,中央处理器装置是具有准单一目的以根据本文的教导起作用的通用电子设备。在示例性实施例中,中央处理器装置被配置为利用前述特征或者任何其他特征来接收输入和/或提供输出。
与上述教导一致,在建筑物(家庭、办公室、教室、学校等)中“预先放置”有多个麦克风,在示例性实施例中,图5描绘了与房屋对应的示例性结构环境,该房屋包括卧室502、503和504、洗衣间501/杂物间501、客厅505、餐厅506,这些区域表示说话者或者产生声音的某人或者某物可能所在的(多个)区域。在该示例性实施例中,在环境中存在多个麦克风:第一麦克风441、第二麦克风442、第三麦克风443、第四麦克风444、第五麦克风445和第六麦克风446。在一些实施例中,可以利用更少的或者更多的麦克风。在该示例性实施例中,麦克风可以按照已知方式就位,这些坐标被提供给中央处理器装置。在示例性实施例中,麦克风44X(该麦克风44X是指麦克风441至446)包括全球定位系统部件和/或包括与蜂窝系统等通信的部件,该蜂窝系统等使得能够经由中央处理器装置来确定这些麦克风的自动位置。在示例性实施例中,系统被配置为对各种麦克风与彼此和/或相对于系统中的另一部件或者另一行动者(例如假体或者接受者等)的相对地点进行三角测量或者确定这些相对地点。在示例性实施例中,麦克风具有标记,诸如红外指示器和/或RFID指示器和/或RFID应答器,它们被配置为向另一设备(诸如中央处理器装置)和/或彼此提供输出,可以基于输出来将麦克风的空间地点确定为一维、二维和/或三维,这些位置可以相对于各种麦克风和/或相对于另一部件(诸如中央处理组件)或者不与系统相关联的另一部件,诸如相对于房屋的中心、接受者度过大量时间的房间(例如接受者卧室502)。更进一步地,在一些实施例中,麦克风的设备可以是被动设备,诸如反射器等,这些反射器等仅将激光束反射回到询问设备,基于反射,设备可以确定麦克风相对于彼此和/或相对于另一个点的空间地点。
在示例性实施例中,人员可以承载他的或者她的蜂窝电话/智能电话四处移动,以及将电话放到给定麦克风旁边,并且激活电话的特征,该特征将使麦克风的地点与固定地点相关。仅通过示例的方式而非通过限制的方式,可以利用应用(诸如使一块土地的界址线的地点能够相对于智能电话的定位落点的智能电话应用等)来确定麦克风的位置等。在示例性实施例中,可以利用光捕获设备(诸如与处理器进行信号通信的视频摄像头等)来获得房间的图像,并且按照自动和/或手动的方式(例如人员点击麦克风的计算机屏幕上的地点),标识图像中的麦克风,从而从中提取地点数据。在至少一些示例性实施例中,可以利用可以使得能够确定麦克风的位置地点以实现在本文中详细描述的教导的任何设备、系统和/或方法。在示例性实施例中,利用图像识别系统来确定或者映射麦克风放置。
也就是说,在一些实施例中,不需要定位信息,或者不利用定位信息来实施教导中的一些教导。
在示例性实施例中,麦克风44X与中央处理器装置进行有线和/或无线通信。
应该注意,虽然在本文中详细描述的实施例集中于大约6个或者更少的声音捕获设备/麦克风,但是在示例性实施例中,可以利用1个、2个、3个、4个、5个、6个、7个、8个、9个、10个、11个、12个、13个、14个、15个、16个、17个、18个、19个、20个、21个、22个、23个、24个、25个、26个、27个、28个、29个、30个、31个、32个、33个、34个、35个、36个、37个、38个、39个或者40个或者50个或者60个或者70个或者80个或者90个或者100个麦克风或者更多的麦克风(或者其间增量为1的任何值或者值范围)来执行在本文中详细描述的教导,这些麦克风可以全部同时或者仅它们中的一些同时被利用来对音频环境进行采样或者捕获音频环境,如此从H个麦克风的池中同时利用F个麦克风,其中F和H可以是为2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39或者40或者50或者60或者70或者80或者90或者100的任何数目(或者其中增量为1的任何数目),条件是H至少比F大1。在示例性实施例中,麦克风中的一些麦克风可以在整个采样时段期间静态地位于声音环境中,而其他麦克风可以四处移动或者被四处移动。实际上,在示例性实施例中,麦克风的一个子集在采样期间保持静态,而其他麦克风在采样期间被四处移动。
应该注意,在至少一些示例性实施例中,在给定时间段期间,可以每隔或者至少1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39或者40或者50或者60或者70或者80或者90或者100(或者其中增量为1的任何数目)秒、分钟(或者其任何变化或者其间增量为0.01秒的任何范围)执行一次采样,并且在一些其他实施例中,可以在或者至少在0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39或者40或者40或者50或者60或者70或者80或者90或者100(或者其中增量为1的任何数目)秒或者分钟或者小时或者天内连续地发生声音捕获。在一些实施例中,利用在前述时间段期间保持在适当位置并且未被移动的至少一些麦克风来执行前述声音捕获。在示例性实施例中,每当执行采样时,可以基于此来执行在本文中详细描述的方法动作中的一个或多个或者所有方法动作。也就是说,在示例性实施例中,可以利用采样作为整体样本,以及或者,可以对采样进行统计管理(例如进行平均),并且可以在本文的方法中利用统计管理结果。在示例性实施例中,除了听力假体的(多个)麦克风和/或(多个)智能电话或者其他便携式电话的麦克风之外,其余麦克风也保持在适当位置,以及或者,在给定时间段(诸如在本文中详细描述的时间段中的任何时间段)期间相对于地点是静态的。也就是说,在一些实施例中,在蜂窝电话之下的智能电话在时间段期间相对于位置也是静态的。实际上,在示例性实施例中,可以将智能电话等放在房间内的给定地点处,诸如在工作台面或者夜间办公桌上,在该给定地点处,该设备的该麦克风在给定时间段内将是静态的。还要注意,静态位置是相对的。通过示例的方式,内置到汽车等中的麦克风相对于汽车的环境结构是静态的,即使汽车可能正在移动。要清楚,在至少一些实施例中,虽然在本文中详细描述的教导一般地集中于建筑物等,但是在本文中详细描述的教导还适用于从点移动到点的汽车或者其他结构。在这点上,应该注意,在汽车和/或船或者轮船和/或公共汽车或者其他交通工具等的至少一些实施例中,在这种装置中通常存在一个或多个内置麦克风。例如,汽车通常具有免提麦克风,并且在一些实例中,取决于搭乘者的数目等,交通工具中可能存在一个或者两个或者三个或者四个或者五个或者六个或者更多的移动电话和/或一个或者两个或者三个或者更多的个人电子设备或者一个或者两个或者三个或者更多个膝上型计算机等。实际上,交通工具呈现出具有挑战性的收听情景或者具有挑战性的交谈情景的示例性情景。因此,关于在听力假体的接受者在以高速公路速度在高速公路上行进或者以道路速度在道路上行进等的交通工具(诸如汽车)中时利用在本文中详细描述的教导,在本文中详细描述的教导可以具有实用价值。在至少一些示例性实施例中,在执行在本文中详细描述的方法中的一种或多种或者所有方法的时间段期间,未移动麦克风。在示例性实施例中,超过90%、80%、70%、60%或者50%的麦克风保持静态,并且在本文的方法的执行过程期间未移动。实际上,在示例性实施例中,这与完全同时从不同数目的已知地点捕获声音的概念共存。要清楚,在至少一些示例性实施例中,在没有人将麦克风从一个地点移动到另一地点的情况下执行在本文中详细描述的方法。在本文中详细描述的教导可以被利用来通过利用来自给定声音环境中的多个麦克风的信号实时地或者接近实时地建立声场。与仅在给定时刻标识在单个点处的音频状态相反,本文的实施例可以提供建立真实声场的能力。
与在本文中详细描述的教导一致,由于能够从保持恒定的静态位置反复地对声学环境进行采样,诸如能够根据前述时间段和/或根据在前述时间段内的若干时间来这样做,因此,本文的设备、系统和/或方法可以解决和处理音频信号和/或与接受者相关联的音频电平的快速变化。
在示例性实施例中,在本文中详细描述的方法、设备和系统可以包括:连续地对音频环境进行采样。仅通过示例的方式而非通过限制的方式,在示例性实施例中,可以利用多个麦克风来对音频环境进行采样,其中每个麦克风实际上完全同时捕获声音,并且因此,采样实际上完全同时发生。
在示例性实施例中,中央处理器装置被配置为接收与给定听力假体的特定特征有关的输入。仅通过示例的方式而非通过限制的方式,诸如在中央处理器装置是膝上型计算机的示例性实施例中,接受者可以利用键盘来输入这种输入。备选地,和/或除此之外,可以结合鼠标等和/或触摸屏系统利用图形用户界面以输入与给定听力假体的特定特征有关的输入。在示例性实施例中,中央处理器装置还被配置为共同地对来自多个声音捕获设备的输入进行评估。
与上述教导一致,如将理解的,在示例性实施例中,该系统还可以包括在空间上彼此间隔开的多个麦克风。在示例性实施例中,麦克风中的一个或多个或者所有麦克风彼此间隔少于、多于或者大约等于X米,其中在一些实施例中,X为0.1、0.2、0.3、0.4、0.5、0.75、1、1.5、2、2.5、3、3.5、4、4.5、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30或者更多或者其间增量为0.01的任何值或者值范围(例如4.44、45.59、33.33至36.77等)。
在示例性实施例中,与上述教导一致,麦克风被配置为输出指示相应的捕获的声音的相应信号。系统还被配置为将相应信号和/或基于相应信号的经修改的信号提供给中央处理器装置作为来自多个声音捕获设备的输入。
与上述教导一致,实施例包括图3所示系统310或者图6所示系统610,其中各种单独的智能电话240或者其他类型的消费电子产品包括麦克风或者经由相应的链路630来与中央处理器装置3401进行信号通信,在示例性实施例中,给定系统的麦克风可以是分别作为除了与系统一起使用之外,还具有实用性的相应产品的一部分的麦克风。仅通过示例的方式而非通过限制的方式,在示例性实施例中,麦克风可以是作为家庭设备(例如交互式系统,诸如Alexa等)的部分的麦克风或者作为在空间上位于房屋中的相应计算机的部分的相应麦克风(并且在一些实施例中,麦克风可以与反向利用的扬声器对应,诸如电视机的扬声器和/或立体声系统的扬声器),这些相应计算机以中央处理器装置已知的位置(相对的或者实际的)位于给定房屋中,和/或麦克风可以是机构建筑物(学校、剧院、教堂等)的其他部件的部分。仍然,与图6的实施例一致,麦克风可以是相应蜂窝电话的相应部分。在该示例性实施例中,仅通过示例的方式而非通过限制的方式,麦克风可以是物联网的一部分。
在示例性实施例中,蜂窝电话240的蜂窝系统可以被利用来查明或者确定给定蜂窝电话的相对位置和/或实际位置,从而可以确定系统的给定麦克风的相对位置和/或实际位置。关于拥有或者具有相应蜂窝电话的人们将四处移动或者不处于静态位置或者将不位于预定位置的实施例,这可以具有实用价值。
在示例性实施例中,图6的实施例利用蓝牙等通信系统。备选地,和/或除此之外,可以利用蜂窝电话系统。在这点上,链路630可以不一定是直接链路。相反,仅通过示例的方式而非通过限制的方式,链路可以延伸穿过蜂窝电话系统等所在的蜂窝电话塔。当然,在一些实施例中,链路可以延伸穿过诸如从地理上讲,中央处理器装置远离创建环境的结构的服务器等,该结构包括声音捕获设备。
更进一步地,在至少一些示例性实施例中,声音捕获设备可以是给定人员的听力假体的麦克风(10X–可以涉及一个以上假体(例如在人员具有双侧系统的情况下,或者在一个以上的人员具有听力假体的情况下等),其中可以根据本文的教导和/或确定位置的其他方法来在输入之间进行关联。在一些实施例中,听力假体可以被配置为对声音进行评估并且基于声音来提供评估数据,使得系统可以基于评估进行操作。例如,与智能电话等一样,听力假体可以包括用于对在本文中详细描述的声音或者其变化进行分析的程序中的任何程序并且被配置为运行这些程序,以从声音中提取信息。实际上,在示例性实施例中,未经修改的假体的声音处理器被配置为进行该操作(例如经由其波束成型和/或噪声消除例程),并且假体被配置为从声音处理器输出指示声音的特征的数据,否则,本该不输出该数据。而且,给定听力假体的声音处理能力可以包括在本文的系统的其他部件中。实际上,在一些方面中,除了处理器更强大和/或更有权使用更多功率的情况之外,其他部件可以与听力假体的声音处理器对应。
图6还包括作为中央处理器装置3401的一部分的显示器661的特征。也就是说,在备选实施例中,显示器可以是远离中央处理器装置3401,或者可以是与中央处理器装置3401分离的部件。实际上,在示例性实施例中,显示器可以是智能电话或者蜂窝电话240上的显示器或者客厅中的电视机的显示器等。因此,在示例性实施例中,如下面将描述的,该系统还包括被配置为提供数据/根据本文中具有输出的实施例中的任何实施例的输出的显示装置。
应该注意,虽然在本文中详细描述的实施例描绘了各种部件之间的双向链路,但是在一些实施例中,链路仅是单向链路。仅通过示例的方式而非通过限制的方式,在示例性实施例中,中央处理器装置只能从智能电话接收输入,而不能向智能电话输出这种输入。
应该注意,虽然图3至图6的实施例集中于声音捕获设备与中央处理组件之间的通信或者声音捕获设备与听力假体之间的通信,但是实施例还包括中央处理组件与假体之间的通信。仅通过示例的方式而非通过限制的方式,图7描绘了示例性系统—系统710,该系统710包括在声音捕获设备240与麦克风(此处,该麦克风可以与蜂窝电话对应,但是在一些备选实施例中,可以与专用于系统的麦克风对应等)之间的链路730和中央处理组件3401。进一步地,图7描绘了在中央处理器装置3401与假体100之间的链路731。下面将更详细地描述其分支。然而,在示例性实施例中,中央处理器装置3401被配置为经由无线链路730向假体100提供指示更有益于听力的空间位置的RF信号和/或IR信号。在示例性实施例中,假体100被配置为向接受者提供指示该内容的指示。在示例性实施例中,听力假体100被配置为基于接收到的输入来激发人造听力感知。
还要注意,如可以了解到的,麦克风44X与中央处理器3401、假体100和智能电话24X通信。
图8描绘了备选示例性实施例,其中中央处理装置是听力假体100的一部分,并且因此,由麦克风捕获的声音或者基于由系统的各种麦克风捕获的声音的数据最终被提供给听力假体100。此外,应该注意,实施例还可以包括:利用交通工具(诸如汽车等)中的麦克风和其他设备,并且可以利用这种内置麦克风。
对在本文中详细描述的系统的利用的示例性场景可以是以下场景:对于孩子接受者,孩子的母亲和父亲在客厅505中,并且母亲正在与接受者一起玩耍,而父亲正在相同的房间中用电话进行通话。Amazon Echo麦克风444捕获声音,并且系统确定母亲与孩子之间存在交互,并且还确定父亲本质上是干扰信号。系统可以对捕获的声音进行分析,并且确定相对于当母亲在父亲说话的同时说话时,母亲与接受者之间的轮流在父亲未与母亲同时说话时实际上有所不同。系统可以按照以下指示来提供反馈:父亲在另一房间中进行电话交谈将更实用,可以实时地提供这一点,或者稍后提供这一点,其中反馈是:未来的电话交谈应该在单独的房间中发生。在示例性实施例中,这可以与发给父亲和/或母亲的电话的文本消息对应,可以是发给父亲或者母亲或者父亲和母亲的电子邮件,和/或可以是放在客厅505中的电视机上的消息等。
备选地,系统可以提议向声音处理器的输入应用滤波器以抑制在电话交谈期间来自父亲的干扰。(抑制还可以自动发生。)
因此,可以看出,在示例性实施例中,该系统还被配置为:基于对通信的成功的评估,执行动作以改进作为通信的一部分的通信成功和/或以改进之后的通信。此外,如从上面可以了解到的,在示例性实施例中,该系统还被配置为:基于对通信的成功的评估,提供推荐以提高在所有事物相同的情况下未来通信将更加成功的可能性。
可以在至少一些示例性实施例中利用提供推荐和/或采取动作的任何设备、系统和/或方法,条件是其在本领域中具有实用性。
另一示例性场景可能再次是以下情况:其中接受者是孩子,接受者的父亲给孩子接受者阅读睡前故事,其中孩子在他的卧室502中。同样,在客厅505中发生着交谈。已经用房屋的住户的频谱特征更新了系统,并且因此,系统可以确定接受者在卧室502中,从而仅监测卧室502。其监测父亲与孩子之间的交互,并且如果存在与孩子的交互,则仅检测父亲的语音。系统还对孩子的指示孩子未入睡的呼吸进行分类。复原系统向父亲建议技巧以使阅读更具互动性以提高活动的发展价值。
鉴于上述内容,可以了解到:在示例性实施例中,存在一种系统,包括非假体设备和/或非身体承载的设备的第一麦克风。该系统还包括处理器,该处理器被配置为基于由第一麦克风捕获的声音来接收输入并且对接收到的输入进行分析。接收到的输入可以直接来自麦克风,并且可以是麦克风的原始输出,或者可以是处理信号,或者可以是基于信号的数据,并且不一定是音频信号或者音频数据。可以在至少一些示例性实施例中利用可以被利用来实施在本文中详细描述的教导的任何数据。
在示例性实施例中,系统被配置为对接收到的输入进行分析以确定由第一麦克风捕获的声音是否指示在人之间的尝试通信,这些人位于麦克风所在的结构中。这与包括话音的声音相反,该声音可能源自电视机或者收音机等,或者可能是人在与他自己或者她自己说话,或者可能是人可能发出的不是通信的其他声音。在示例性实施例中,系统被配置为利用在本文中详细描述的声音处理策略中的任何声音处理策略或者其变化(诸如,例如语音到文本转换,然后是文本分析),以对捕获的语音声音进行评估。这可以与对房屋等或者其他结构的住户的已知语音模式的频谱分析结合。此外,在示例性实施例中,可以用指示在区域中/在麦克风附近/在建筑物中的人员的数据来周期性地更新系统,这可以帮助系统确定给定的捕获的声音是否指示人类通信。
可以在至少一些实施例中利用可以被利用来对来自麦克风的数据或者基于由麦克风捕获的声音的数据进行分析的任何设备、系统和/或方法,它们可以使得能够确定给定声音是否指示在人之间的尝试通信。因此,在示例性实施例中,前述中央处理器装置被编程或者配置为使得能够进行这种评估确定。
进一步地,在示例性实施例中,系统被配置成使得在确定声音指示在人之间的尝试通信之后,系统自动对该通信的成功进行评估。可以经由对由麦克风捕获的语音内容的自动分析来实现这一点。在示例性实施例中,如果捕获的词语指示成功的交谈(例如询问问题并且提供了答案),则确定该通信成功,而在示例性实施例中,如果捕获的词语指示未成功的交谈(例如询问问题但是没有提供答案或者存在沉默,或者一个人员一直在讲话而没有来自另一人员的语音数据等),则确定该通信未成功。仅通过示例的方式而非通过限制的方式,可以在至少一些示例性实施例中利用实施Alexa系统(Amazon Echo系统或者免提拨号等)的算法中的任何算法以对由(多个)麦克风捕获的话音进行评估,并且确定话音是否指示人之间的交谈或者该交谈是否成功。
而且,应该注意,在示例性实施例中,存在一种系统,包括:非身体承载的设备的第一麦克风;以及处理器,被配置为基于由第一麦克风捕获的声音来接收输入并且对接收到的输入进行分析以:确定由第一麦克风捕获的声音是否指示尝试与人进行的通信,该人位于麦克风所在的结构中;以及在确定声音指示尝试与人进行的通信之后,对该通信的成功和/或成功概率和/或人理解通信所需的努力进行评估。
在示例性实施例中,与上述教导一致,由第一麦克风捕获的指示尝试与人进行的通信的声音是由第一麦克风捕获的指示在人之间的尝试通信的声音,这些人位于麦克风所在的结构中,并且处理器被配置为:在确定声音指示在人之间的尝试通信之后,对该通信的成功进行评估(即,在前面几段中描述的内容)。也就是说,评估可以是该通信的成功和/或成功概率。在这点上,应该理解,在至少一些示例性实施例中,通信的成功和/或通信的成功概率和与理解通信相关联的努力之间可以存在相关性。关于通信的低成功概率可以指示比由具有高成功概率的通信将引起的情况更难理解或者花费更多努力来理解的通信。对此的推论是:对于听力假体接受者听见或者明白/理解基于与他或者她的通信而激发的听力感知而言所花费的努力越多,接受者将越快变得疲惫,在所有事物都相同的情况下,这将对降低接受者在之后的通信中将能够明白告知他或者她的内容的可能性具有多米诺效应。换句话说,接受者由于他或者她已经花费很多时间理解与他或者她的通信而变得越疲惫,理解之后的通信将越困难。因此,在示例性实施例中,可以利用通信的成功概率作为针对接受者进行收听所需的“努力”程度的代理。需要更多努力的听力通常不像没那么需要努力的听力一样实用(但是存在需要更多努力的听力实用的一些场景,诸如在正在训练或者锻炼接受者听见更困难的声音-大致类似于举重教练向重量到卧推杆添加重量的情况下等)。因此,关于标识通信是否是引起需要更努力地进行收听的通信,可能具有实用价值,即使该通信100%会成功。要清楚,只有10%的成功可能性的通信仍然可以成功。只是,该通信在其成功的程度上可能比以下情况需要更多努力:将是通信被认为80%或者90%可能成功的情况。
要清楚,在至少一些示例性场景中,听力受损的听众可以利用策略和/或信号改进技术,这些策略和/或信号改进技术不仅可以帮助接受者接收给定消息,而且可以帮助轻松地接收消息。这可能与接受者发现进行收听所需的努力程度和/或接受者在交谈结束时和/或甚至在一天结束时和/或过了一天中的半天而变得疲惫的程度等相关。因此,前述处理器等可以被配置为:对数据进行评估,并且确定接受者参与通信所需的努力程度。可以利用机器学习等或者经过训练的神经网络等来进行这一点。至少一些示例性实施例可以利用可以实现这一点的任何布置。进一步地,可以利用统计分析。
应该注意,关于“指示尝试与人进行的通信”,这可以是机器与人的通信,诸如,例如由电视机或者收音机或者电话或者警报器(例如具有语音警报的烟雾探测器)、自动指示系统或者有声读物等产生的声音。而且,在一些实施例中,声音是非基于语音的。利用非基于语音的声音的一些示例性实施例还可以是烟雾探测器或者烤箱定时器或者时钟铃声(警报的广义)或者闹钟等。
在这点上,在示例性场景中,可以按照以下顺序发生交互。人员A位于客厅505中,并且向餐厅506中的接受者大喊一些指令。在利用根据在本文中详细描述的教导的系统的示例性场景中,系统检测人员A的语音并且基于可以利用的任何内容识别技术或者可以利用的任何其他系统来将其标识为指令。因此,系统已经确定由麦克风444、442和/或443中的一个或多个麦克风捕获的声音指示在人之间的尝试通信。系统还检测或者确定缺少对人员A的响应。因此,系统将该通信的成功评估为未成功。相反,在备选场景中,系统检测人员A的语音并且将其标识为与亲密对象的交谈(例如在电视机上显示出电视体育赛事期间在电视机前大喊、孩子在向玩偶等说话等)。系统确定捕获的声音不指示在人之间的尝试通信,而是指示人们可能将与无生命的对象的这种交谈分类为什么内容,并且因此,即使电视机或者玩偶没有向人员A回话,也不会存在与该通信的成功相关联的问题。
更进一步地,在人员A正在从房间505向房间506大喊的示例性场景中,在示例性实施例中,与此同时或者接近于此,系统还可以测量在房屋的房间中的一个或多个房间的信噪比,并且因此,可以确定与餐厅506中的麦克风441相关联的信噪比。系统可以确定:房间441中的信噪比太低而不能容易地检测语音。在示例性实施例中,系统切换到中继模式,并且通过在与接受者相同的房间中的智能麦克风或者设备(例如Alexa)来中继指令。接受者确认指令,并且然后转移到人员A以使交谈继续。
鉴于上述内容,可以了解到:包括非假体设备和/或非身体承载的设备的第一麦克风的上述系统包括处理器,该处理器被配置为:基于由第一麦克风捕获的语音来接收输入,并且实时地对接收到的输入进行分析以标识用于改进听力假体接受者的话音感知的变化。实时地,在标识变化之后可以几乎立即(包括立即)实施变化的场景中,变化可以影响两个或更多人之间的当前通信。例如,在上面详细描述的场景中,其中对人员A的初始指令没有响应,人员A可能会重复指令,并且如果在此之前实施了变化,则会影响两个人之间的当前通信。这与进行给定指令的场景相反,并且在数小时之后,进行另一给定指令,并且由于变化,识别指令。这并不是说实时地实施的实施例不会具有这种结果。这就是说,在未实时地进行实施的情况下,在时间上接近初始指令重复指令不会受变化的影响。
鉴于上述内容,可以了解到:在至少一些示例性实施例中,上面详细描述的系统的是非身体承载的麦克风的第一麦克风是作为固定的家用消费电子设备的一部分的麦克风,诸如,例如台式个人计算机的麦克风和/或Alexa设备的麦克风等。进一步地,在示例性实施例中,第一麦克风可以是智能设备(诸如Alexa设备)的一部分。此外,与上面详细描述的教导共存,多个麦克风可以是系统的一部分,该多个麦克风是非假体设备的麦克风,这些麦克风位于结构(诸如家或者办公大楼或者学校)中的不同空间位置处。在至少一些示例性实施例中,麦克风与处理器进行信号通信,无论该信号通信是经由利用Wi-Fi等的直接系统还是经由间接系统,麦克风以及与之相关联的设备经由互联网等来与处理器进行信号通信。此外,可以在至少一些示例性实施例中利用可以被利用来实施在本文中详细描述的教导的任何布置。
仍然,如上面提到的,一些实施例也完全可能包括:利用接受者所承载的麦克风和/或说话者或者其他人员所承载的麦克风(在一些实施例中,房屋/汽车/办公室/建筑物等中存在一个以上听力受损人员–实施例包括:执行方法动作并且使用设备来执行其功能性,其中结构中存在两个、三个、四个、五个、六个或者更多个听力受损人员等),诸如仅通过示例的方式而非通过限制的方式:耳蜗植入物或者植入的听力假体的耳后设备的麦克风和/或听力假体的耳内麦克风。因此,在示例性实施例中,存在一种系统,除了一个或多个第一麦克风之外,还包括作为听力假体的一部分的第二麦克风。在使用这种系统的示例性场景中,再次参考人员A向另一房间中的人员大喊的场景,在人员A在房间505中并且听力假体的接受者在房间503(该房间503不包括作为系统的一部分的固定麦克风)中的场景中进行说明,可以基于听力假体的麦克风的输出和/或在接受者承载着智能电话等或者智能电话位于房间503中的实施例中,基于智能电话的麦克风的输出来对房间503中的信噪比进行比较。
人们可以设想以下场景:始终利用听力假体的麦克风并且在一些实例中,听力假体的麦克风仅是针对系统所利用的麦克风,其中不断地对信噪比进行分析,并且在确定信噪比很高之后,系统可以指示应该采取动作以降低信噪比。然而,这没有考虑接受者想要在他或者她当前所处的环境中具有高信噪比的概率。因此,利用其他麦克风和系统的其他部分以及系统的处理能力和程序设计来对是否已经尝试发生交谈进行评估。实际上,在示例性实施例中,接受者的大部分非睡眠生活可能与非交谈时间相关联,并且因此,当未发生交谈时,不断地缩小或者调整接受者的环境将没那么实用。因此,在示例性实施例中,在本文中详细描述的教导实现在很大程度上不唐突的系统,暂时来说,直到对于系统唐突而言,具有实用价值为止。
利用系统的另一示例性场景可以如下。关于成年人接受者,接受者可以要求她的Apple HomePod开始阅读有声读物作为听力练习(将帮助使她的听力能力复原和/或康复的练习)。在示例性实施例中,接受者位于房间504中,并且根据在本文中详细描述的教导的系统利用程序设计被配置为使接受者能够指示她已经错过了词语并且使错过的词语重复,诸如当她错过多个词语中的某个词语时,通过简单地大声说出“重复”。系统还可以利用定向麦克风来相对于以下操作将产生的情况确保提高可能性:针对与收听有声读物相关联的时间段或者在有声读物进行播放时按照实用方式来监测她的话音。在示例性实施例中,系统被配置为监测她的重复请求和/或还被配置为监测环境噪声的水平和/或监测可能影响她听到或者感知在她周围的声音的能力的其他特征。系统被配置为尝试关联与有声读物不相关的声音,诸如仅通过示例的方式而非通过限制的方式:房间501中的洗衣机的声音和接受者错过的某些词语。因此,系统执行对捕获的声音的分析,并且利用其已编程的逻辑,建议使用更具定向性的麦克风设置和/或建议接受者应该在噪声练习中练习或者执行另外的话语和/或建议接受者应该移动到距离洗衣机更远的另一房间和/或关门和/或关闭洗衣机或者使洗衣机处于延迟循环等。
鉴于上述内容,可以了解到:示例性实施例的处理器可以被配置为:基于由第一麦克风捕获的语音来接收输入(诸如“重复”命令),并且实时地对接收到的输入进行分析以标识用于改进听力假体的接受者的感知的变化。
简要地,洗衣机的情况引起另一个实施例的另一方面。除了位于房屋中的麦克风之外,还可以从其他源获得数据。在这点上,随着智能设备和集成家用电器的出现,系统可以接收指示某些设备是否开启的输入,诸如,例如洗衣机或者干衣机或者房屋空调风扇是否在运行等。这些电器可以与系统通信,并且指示这种发声设备是否在运行,这些数据也可以由系统利用。系统对该数据进行分析,并且可以基于该数据进行进一步的确定。此外,与可以利用物联网的系统共存,系统可以从多个源获得数据(这些源不与声音/非麦克风源相关联)以根据在本文中详细描述的教导进行利用。在示例性实施例中,可以修改与智能电话或者个人电子设备等相关联的使得能够监测或者控制家庭电器的应用或者将这些应用包括进来作为系统的一部分以获得指示系统是否在运行的数据。也可以利用其他设备来确定其是否在运行。仅通过示例的方式而非通过限制的方式,可以将安培计与干衣机所在的220伏电路相关联(干衣机可能是在该电路上的唯一设备),并且当发现功率流过电路时,可以确定干衣机在运行。可以在至少一些示例性实施例中利用以下任何布置:这些任何布置可以使得能够按照自动方式获得基于非麦克风部件的数据并且利用该数据来按照实用方式实施在本文中详细描述的教导。
鉴于以上内容,可以了解到:根据在本文中详细描述的教导的系统可以被配置为:基于不基于由麦克风捕获的声音的数据来接收第二输入,该数据指示在接受者所在的结构内的设备的操作;并且实时地与接收到的输入一起对接收到的第二输入进行分析以标识用于改进听力假体的接受者的感知的变化。
返回参考处理器被配置为标识用于改进听力假体的接受者的感知的变化的示例性实施例,在示例性实施例中,变化是用于改进听力假体的接受者的话音感知的、与话音相关联的当事人的动作的变化。在示例性实施例中,当事人的动作的变化是:在父亲在通过电话进行通话时让父亲去另一房间和/或关门。在示例性实施例中,当事人的动作的变化是:让父亲做一些使阅读更具互动性的事情,诸如,例如通过在进行阅读期间询问孩子的问题(在说话者距离接受者很远的实施例中,当事人的动作的变化可能是让说话者更靠近接受者的大喊出的指令等)。
应该注意,变化可以是为了改进听力假体的接受者的话音感知,针对作为系统的一部分的设备的变化,诸如,例如相对于系统切换到中继模式,在该中继模式中,将人员A所大喊的指令中继给接受者所在的房间中的智能设备。该智能设备成为系统的一部分或者是系统的一部分。
在示例性实施例中,变化是针对听力假体的变化。在示例性实施例中,这可以是:在女子正在利用Apple HomePod的示例性场景中利用如上面提到的更具定向性的麦克风设置。这可以包括:调整假体的增益;启用噪声消除系统、场景分类系统;或者对假体的任何其他调整,这些调整可以具有实用价值。
如上所述,示例性实施例包括一种系统,该系统被配置为向接受者和/或与接受者相关联的其他人提供对可以被执行以改进听力假体的接受者的感知的变化的指示。变化可以是在本文中详细描述的变化中的任何变化。如上面提到的,系统可以向任何相关当事人提供电子邮件等,或者可以在电视机等上或者在智能设备或者非智能设备的显示屏幕上显示消息。进一步地,可以诸如通过电视机或者立体声系统或者智能设备等上的扬声器来提供音频消息。此外,可以经由听力假体来提供消息。该信息可以基于由假体激发的听力感知。可以在至少一些示例性实施例中利用可以被利用来向当事人提供对变化的指示的任何布置。
此外,在示例性实施例中,系统可以被配置为与接受者和/或关联于接受者的其他人执行交互式过程以改变作为系统的一部分的设备的状态。参考系统建议利用更具定向性的麦克风的上述示例性场景,在示例性实施例中,系统被编程为“进行提议”以实施定向麦克风使用或者麦克风的调整过的定向性。仅通过示例的方式而非通过限制的方式,系统可以直接经由假体或者经由与接受者一起在房间中的通用扬声器向接受者呈现音频消息,诸如“您希望实施麦克风定向性吗。”接受者可以大声说“是的”,并且系统将利用系统的麦克风中的一个麦克风来捕获声音“是的”,从而相应地实施定向性。再次参考上面详细描述的场景中的另一场景,其中系统检测到父亲在按照以下方式进行通话:关于母亲与孩子之间的通信,没那么实用,系统可以向父母中的一个提议至少在电话交谈的持续时间内,向听力假体的声音处理器的输入应用滤波器以抑制来自父亲的语音的干扰。在示例性实施例中,这可以与呈现来自母亲和孩子所在的房间中的扬声器的音频消息和母亲和孩子所在的房间中的电视机屏幕上的消息(如可以是发给母亲的蜂窝电话的可以经由文本出现在屏幕上的消息)对应,并且可以将电话设置为振动或者提供某种类型的小调音频指示符以指示有消息,和/或还可以是传达给父亲的以下消息:该消息指示父亲的语音对于她回到母亲与孩子之间的交谈没那么实用的消息,并且提示父亲提供实施进行滤波的授权。
备选地,系统可以简单地自动实施针对系统的滤波或者变化等,并且向相关当事人指示发生了这种情况,并且可能询问相关当事人是否要取消变化,并且在接收到这种取消之后,将删除变化,或者系统会恢复到其原状态。
如上面了解到的,实施例可以利用输出设备(诸如扬声器和显示屏幕)来与当事人通信。因此,在至少一些示例性实施例中,这些部件也可以是系统的一部分。此外,这与物联网的概念一致。
利用系统的另一示例性场景可能需要接受者与一些朋友或者亲戚进行席间交谈,这两者不一定是相互排斥的。至少当存在发生背景噪声时,系统可以检测到接受者很难听到在他的非植入侧的人员的声音。在示例性实施例中,系统自动提取人(在非植入侧的人员)的语音的频谱特征,并且自动向具有该频谱特征或者接近该频谱特征的特征的语音或者声音应用增强和/或系统降低产生背景中的噪声的设备(诸如,例如立体声系统或者电视机)的音量,从而提高信噪比。
在该示例性实施例中,可以了解到:系统不仅具有从房屋或者建筑物中的设备获得数据和信息和/或向那些设备传达或者利用哪些设备来与当事人通信的能力,而且系统具有控制设备和建筑物或者对设备和建筑物施加某种权限的能力。因此,在示例性实施例中,系统被配置为控制与接受者的听力假体无关或者与声音捕获无关的部件以便进行收听。因此,在示例性实施例中,系统被配置为标识变化,其中变化是用于获得听力假体的感知激发所基于的数据的针对家庭中与听力假体无关并且与声音捕获无关的设备的变化。例如,可以标识针对电视机或者立体声系统或者收音机的变化,该变化可以与调整其音量或者关闭设备对应。在示例性实施例中,设备是电器。在备选实施例中,设备是固定装置,诸如窗户。在示例性实施例中,变化可以是关闭窗口。在示例性实施例中,变化可以是停用房屋风扇或者中央空调单元的风扇。在示例性实施例中,变化可以是暂时使洗衣机或者干衣机或者风扇或者空调等暂停。还要注意,在至少一些示例性实施例中,至少在接受者尝试按照不将音频内容不串流到听力假体的方式来收听设备的情况下,变化可以与讨论中的设备的音量的增加对应。
因此,如在上面可以了解到的,在示例性实施例中,系统是包括位于家庭四处的各种声音捕获设备、各种通信设备(诸如可以用于向各个当事人传送信息的电视机和收音机以及显示屏幕和电话等)的系统,并且系统还可以与固定装置和家庭电器和消费电子装置等的控制部件对应,其中进行控制以改进接受者的感知的能力可以具有实用价值。
对上述内容的推论是:应该注意,系统还被配置为在系统确定以下内容之后使部件的状态返回到在变化之前的原状态:关于改进接受者的感知,至少关于首先实施变化的结果的给定逻辑,变化不再实用。仅通过示例的方式而非通过限制的方式,系统可以继续对交谈进行分析,并且在确定在接受者的非植入侧的人员不再位于非植入侧(无论出于何种原因)之后,系统然后可以将音乐的音量提高到在变化之前的情况。在系统被配置为使洗衣机、干衣机或者房屋风扇停止或者暂停的系统中,在确定不再存在以下条件之后,可以重新激活洗衣机、干衣机或者房屋风扇或者使其回到与在变化之前的情况对应的操作状态:提示确定可能存在用于改进接受者的感知的变化。
如将理解的,一些示例性实施例涉及自动系统。一些实施例可以利用复杂的算法(诸如人工智能和机器学习)来从由麦克风捕获的语音中识别或者提取目的/意图。在这点上,系统可以被配置为:标识语句的目的,并且尝试确定捕获的后续声音是否指示行动者识别到目的并且基于该目的进行行动,这是已经按照适当的实用方式感知话音的指示符。实际上,在示例性实施例中,可以利用潜在变量来确定听力假体的接受者是否已经按照实用方式理解或者感知了有关他或者她的声音。可以使得能够确定接受者是否正在感知声音的任何布置都是实用的。
还要注意,虽然至少一些示例性实施例已经集中于与由麦克风捕获的数据对应的语音等的体验,但是在一些其他实施例中,非语音声音可以是数据的基础。实际上,例如,如果发生警报或者警告,而接受者无法采取动作,则这可以指示接受者未充分利用听力假体。不管警报如何,都考虑以下场景:玻璃掉在地上并且破裂等,或者存在某种其他大声的噪声。系统可以记录该场景或者标识正在发生该场景,并且对听力假体的接受者是否对此做出了响应进行评估。如果接受者没有对他或者她应该做出响应的声音做出响应,则这可以作为系统推荐变化或者指示接受者的未产生特定的期望结果的康复和/或复原方案存在问题的基础。此外,这可以作为进行干预的基础,诸如确保正在传送警告和/或中继/重放/使用视觉警告作为替代等。虽然可以按照自动方式来实施前述示例性场景,但是应该注意,在其他示例性实施例中,可以按照自动方式来对针对尖锐的噪声或者外来噪声等对数据集进行评估,以标识这种尖锐的噪声或者外来噪声,并且然后,专业人员可以手动执行分析以确定接受者是否相应地做出了响应。
还应该注意,虽然在本文中公开的实施例涉及捕获住在房屋中或者利用建筑物等的各个当事人的语音,但是其他实施例涉及仅集中于听力假体的接受者的语音。因此,相对于捕获声音等,一些实施例可以专门以假体的接受者为目标,以排除其他人。在这点上,关于限制针对对接受者的话音进行评估以对接受者听到声音的能力进行评估的方法存在的数据量,这种实施例具有实用价值。在其他实施例中,标识多个目标,并且系统获得有关目标中的所有目标的数据,诸如,例如接受者和尝试与接受者通信的任何人,而不管接受者所佩戴的麦克风是否检测到尝试进行通信。
还要注意,关于在一些实例中同时利用多个麦克风来捕获相同的声音这一事实,具有实用价值。在示例性实施例中,可以将各种麦克风的输出与彼此相比较,并且利用对给定声音最有用的输出,而排除其他输出,和/或共同地对各种输出进行分析以确定事件的真实发生,而仅来自一个麦克风的输出可能导致误报。
应该注意,虽然有时根据系统对设备的肯定控制来描述在本文中描述的实施例,但是在备选实施例中,作为代替,系统可以按照控制这些设备来简单地提出所建议的动作。仅通过示例的方式而非通过限制的方式,系统可以向接受者建议使房间中的音乐降低,这将要求接受者肯定地控制音乐制造者的音量(这可以简单地与接受者大声说出诸如“降低音乐的音量”等内容对应,其中系统可以对该命令做出反应,从而降低音乐的音量–此外,所有这些都与物联网或者集成系统一致,但是应该注意,一个单一系统不一定需要是所利用的那个系统–通过标识变化的系统,用于控制房屋等中的各种电器的系统可以是单独的系统(例如在房屋中变得越来越普遍的通用系统,而不管接受者是否具有任何损伤))。对此的推理是:系统可以执行动作,并且然后,通知当事人已经发生该动作,然后询问是否应该撤消该动作。也就是说,在一些实施例中,可能不一定存在系统关于是否应该撤销动作的请求。相反,系统可以简单地提供发生这种动作的指示。系统可以反复地提醒接受者正在发生这种情况。仅通过示例的方式而非通过限制的方式,系统可以周期性地提醒接受者或者该事项的其他当事人已经使洗衣机停止,从而使当事人有责任重新激活洗衣机。
如上面提到的,系统可以包括或者标识针对建筑物中的设备的变化,该建筑物包括家、学校、工作场所等,这些设备与听力假体无关。仅通过示例的方式而非通过限制的方式,将使用于听力假体的远程控制设备(诸如将作为手持无线设备的远程控制设备或者被利用来至少部分地控制听力假体的智能电话)与听力假体相关。专用于与没有其他目的的听力假体一起使用的远程麦克风等也将是与假体相关的设备。进一步地,通过为了获得听力假体的听力感知激发所基于的数据的与声音捕获无关的变化,另一房间中未被利用来激发听力感知的麦克风与此对应。这区别于听力假体的麦克风或者智能电话等的麦克风,这些麦克风将音频信号串流到信号所基于的听力假体。实际上,在示例性实施例中,变化与麦克风无关,和/或与具有麦克风的设备无关。
在另一示例性场景中,系统可以根据教育当事人来提供有关他们可能如何不同地行动或者可能进行以增强对接受者的感知等的变化的信息。在示例性场景中,参考上面提到的晚宴,系统可以向接受者或者护理者提供有关双侧植入的实用价值和/或用于在餐桌上或者在会议中安排人们的位置的策略的信息。在这点上,系统可以被认为是某种康复和/或复原工具,因为其可以长期帮助接受者或者与之相关联的人们更好地听到声音。下面对此有更多说明。
图9呈现了根据示例性实施例的用于示例性方法(方法900)的示例性算法。方法900包括方法动作910,该方法动作910包括:在第一时间段期间,利用具有相应的声音捕获装置的多个不同电子设备多方面地捕获声音,同时还利用听力假体在第一时间段期间单独地捕获声音,这些相应的声音捕获装置在第一时间段期间是固定的。也就是说,在备选实施例中,利用具有相应的声音捕获装置的一个或多个不同电子设备来执行方法动作910,这些相应的声音捕获装置在第一时间段期间是固定的,同时还利用听力假体来在第一时间段期间单独地捕获声音。
不同电子设备可以与上面或者在本文中详细描述的那些电子设备中的任何电子设备对应,这些声音捕获装置在第一时间段期间是固定的。在示例性实施例中,蜂窝电话或者智能电话或者甚至由接受者拿着的电话不是固定的,因为将存在与之相关联的一些移动。相反,Alexa麦克风或者膝上型计算机的麦克风或者立体声系统的麦克风等可以在第一时间段期间是固定的。而且,放在桌子等上的蜂窝电话或者智能电话的麦克风也可以是固定的。接受者所承载的个人记录设备的麦克风或者听力假体的麦克风将不是固定的,除非接受者正在睡觉或者进行诸如此类的事。无论如何,方法动作910都还特别需要以下动作:还利用听力假体来在第一时间段期间单独地捕获声音。因此,多个不同电子设备将必定不得不与接受者的听力假体不同(包括双侧设备,其中该双侧设备被统称为听力假体,即使该双侧设备可能是不得不使两个单独的麦克风中的声音处理系统分离的单独的部件)。
还应该注意,利用电子设备多方面地捕获的声音不一定需要是由听力假体捕获的相同声音。此外,参考人员A在客厅中向在另一房间中的接受者大喊的上述场景。接受者的听力假体的麦克风不一定可以捕获正在大喊的声音。还应该注意,时间段可以具有与(多个)电子设备相关联的相对于捕获声音的动作不一定需要同时发生或者重叠的长度,诸如具有持续数秒或者一分钟左右或者更长时间的时间段的情况。仅通过示例的方式而非通过限制的方式,关于父亲正在进行电话交谈的场景,存在以下场景:父亲的由电子设备捕获的词语不与正在给孩子进行阅读或者与孩子交谈的母亲的词语重叠。也就是说,在一些其他场景中,捕获的声音在时间上重叠。
方法900还包括方法动作920,该方法动作920包括:对基于来自相应的声音捕获设备中的至少一个声音捕获设备的输出的数据进行评估。此处,不必对由听力假体捕获的声音进行评估,但是如下面将更详细地描述的,在其他实施例中,同样对该声音进行评估。实际上,在示例性实施例中,系统可以自主地并且与听力假体分开运行。因此,在本文中详细描述的系统中的一些系统的示例性实施例中,系统特定地不包括听力假体和/或系统不与听力假体的部件进行信号通信,而在其他实施例中,如上面详细描述的,情况相反。
可以基于来自家庭中的仅一个电子设备中的仅一个声音捕获设备的输出来执行方法动作920。实际上,在示例性实施例中,系统可以串行地对来自不同麦克风的输出进行评估,并且方法动作920可能需要来自多个麦克风的第一评估。更进一步地,在示例性实施例中,系统可以集中于来自特定麦克风的输出,而排除其他麦克风。要清楚,关于方法动作920,从两个或更多个麦克风捕获声音这一事实不需要对由那些麦克风捕获的声音进行评估。也就是说,在一些实施例中,可以在一些备选方法中对与给定系统相关联的所有麦克风的输出进行评估。可以在至少一些示例性实施例中利用执行在本文中详细描述的教导的任何方法。
方法900还包括方法动作930,该方法动作930包括:基于经评估的数据来标识用于在第一时间段期间改进听力假体的接受者对声音的感知的动作。这可以与在本文中详细描述的所涉及的动作中的任何动作对应。
在示例性实施例中,由相应的声音捕获设备中的至少一个声音捕获设备捕获的声音与由听力假体捕获的声音不同。此外,在电子设备的麦克风位于一个房间中而接受者位于另一房间中的场景中,存在听力假体的麦克风不捕获由消费电子设备的麦克风捕获的声音的概率。也就是说,在一些其他实施例中,由设备捕获的声音是相同的。实际上,在示例性实施例中,声音由电子设备的麦克风和听力假体捕获,但是听力假体的接受者不具有基于由听力假体捕获的声音而激发的听力感知,或者不有意义地感知基于由听力假体捕获的声音而激发的听力感知。因此,不管与麦克风相关联的动作如何,最终的结果都可能是相同的:接受者不能按照实用方式来对声音做出响应,如果接受者具有不有意义地激发的任何听力感知,则将是这种情况。换句话说,被感知为喃喃自语的话音或者可以容易地被感知为背景声音的声音(特别是对于耳蜗植入物而言似乎是合理的)不是被有意义地感知的内容,即使它们被感知。
图10呈现了用于示例性实施例的示例性方法—方法1000,该方法1000包括方法动作1010,该方法动作1010包括执行方法900。方法1000还包括方法动作1020,该方法动作1020还包括:对基于来自听力假体的麦克风的输出的第二数据进行评估。简要地,应该注意,动作的时间顺序不一定需要按照所描绘的顺序发生。在这点上,方法1000包括在方法动作930之前执行方法动作1020的场景。因此,本文中的任何方法动作的任何公开内容与按照将引起实用价值的任何顺序来实践或者执行那些方法动作的公开内容对应,而不管本公开中的呈现顺序如何,除非另有说明或者除非本领域无法实现这一点。
在方法1000的示例性实施例中,标识用于在第一时间段期间改进听力假体的接受者对声音的感知的动作的动作还基于经评估的第二数据。在这点上,再次参考人员A正在从客厅大喊的示例性场景,听力假体接受者可以按照系统的另一麦克风而不是听力假体的麦克风未接收到(例如在接受者所在的房间中没有麦克风,或者接受者非常轻地说话,这可能是在答复使用“他压低嗓音”说出的粗言秽语等的场景中的情况)的方式来进行答复。进一步地,听力假体的接受者可能根本不进行回复。因此,将对由麦克风捕获的声音进行分析以确定没有回复或者没有确认从客厅大喊的内容。因此,在实施例中,麦克风是被利用来执行方法1000的系统的一部分。因此,在一些实施例中,存在在听力假体的麦克风是系统的一部分并且被利用来对可以采取的动作进行评估的情况下被执行的方法,而在其他实施例中,存在在听力假体的麦克风不是系统的一部分和/或没有被利用来对可以采取的动作进行评估的情况下被执行的方法。
与在本文中详细描述的教导一致,电子设备中的至少一个电子设备是作为身体承载的设备的智能设备。在示例性实施例中,电子设备都不是作为身体承载的设备的智能设备。相反,在示例性实施例中,电子设备中的至少一个电子设备是作为身体承载的设备的智能设备(例如智能电话)。在示例性实施例中,电子设备中的至少一个电子设备是作为身体承载的设备的非智能设备(例如非智能电话)。
如上面提到的,方法900是包括在第一时间段内被执行的动作的方法。在示例性实施例中,第一时间段少于0.01、0.02、0.03、0.04、0.05、0.06、0.07、0.08、0.09、0.1、0.125、0.15、0.175、0.2、0.3、0.4、0.5、0.75、1、1.5、2、2.5、3、3.5、4、4.5、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、35、40、45、50、60、70、80、90、100、110或者120分钟或者其间增量为0.001的任何值或者值范围。在示例性实施例中,实时地执行方法900和方法1000的动作和/或在本文中详细描述的其他动作中的任何动作。也就是说,在备选实施例中,相对于在本文中详细描述的方法的其他动作,具体不实时地执行各种方法的一些动作。
与利用家庭电子设备的教导一致,在方法900和/或方法1000的至少一些示例性实施例中,除了与基于经评估的数据来标识用于在第一时间段期间改进听力假体的接受者对声音的感知的动作相关联的功能之外,电子设备中的至少一个电子设备还具有至少一个其他功能。此外,在示例性实施例中,电子设备中的一个电子设备可以是智能电话或者智能设备或者哑设备。在示例性实施例中,电子设备中的至少一个电子设备仅与捕获声音以执行在本文中详细描述的一个或多个方法动作相关。这与以下示例性实施例一致:在该示例性实施例中,将麦克风放在房屋各处仅是为了执行在本文中详细描述的相对于为了改进接受者性能而进行的声音捕获的教导。仍然,在示例性实施例中,电子设备是家庭设备,并且方法900和/或方法1000还包括:利用从其获得声音捕获设备中的至少一个声音捕获设备的输出以进行与听力假体的接受者无关的事情的电子设备。这可以包括:利用电话作为电话。这可以包括:出于听写目的利用计算机的扬声器。
在示例性实施例中,在方法动作930中标识的动作是听力康复和/或复原动作。下面将描述该听力康复和/或复原动作的另外的细节。相反,在示例性实施例中,在方法动作930中标识的动作是对改进接受者对声音的感知具有快速结果的动作。此外,诸如自动调整听力假体的增益或者调整听力假体的波束成型特征或者引入噪声消除,我们向接受者或者护理者等提供可能发生的情况。即使与为了进行这种确定而获得的数据同时提供这一点,这也与呈现双侧植入物的实用价值和/或详细描述接受者在未来的交谈中应该如何相反。
应该注意,除非另有说明,否则在本文中详细描述的任何方法动作与用于执行该方法动作的计算机代码的对应公开内容对应,条件是本领域使得能够实现这一点。在这点上,在本文中详细描述的任何方法动作都可以是其上记录有用于执行方法的至少一部分的计算机程序的非暂态计算机可读介质,计算机程序包括用于执行该给定方法动作的代码。将根据一种方法来描述以下内容,但是应该注意,还可以利用计算机代码来实施以下方法。
在这点上,图11描绘了用于示例性方法(方法1100)的示例性算法,该示例性方法包括方法动作1110,该方法动作1110包括:对基于由非听力假体部件捕获的数据的第一数据进行分析。简要地,与涉及计算机可读介质的实施例一致,在示例性实施例中,存在用于对基于由非听力假体部件捕获的数据的第一数据进行分析的代码的代码。无论如何,方法动作1110可以基于由在本文中详细描述的麦克风中的任何麦克风捕获的数据,这些麦克风是位于在建筑物四处的各个位置的电子设备的一部分。在示例性实施例中,该方法还包括:对各种输入进行评估,并且基于由非听力假体部件捕获的数据来确定输入是否与数据对应或者其是否是基于由听力假体部件捕获的数据的数据。在这点上,在示例性实施例中,可以对进入中央处理器装置的各种输入进行标记,或者这些各种输入可以包括指示最终接收到数据的地方的代码。备选地,和/或除此之外,中央处理器装置可以被配置为基于相对于系统的另一输入线的输入线等来对数据的最终源进行评估。
按照基于数据的数据,意味着输入可以是来自麦克风的原始输出信号,或者可以是基于来自麦克风的信号而生成的信号,或者可以是来自麦克风的原始输出的概要或者摘要等。因此,基于数据的数据可以是完全相同的信号,或者可以是两个单独的信号,一个信号基于另一个信号。
方法1100还包括方法动作1120,该方法动作1120包括:与由非听力假体部件捕获的数据同时地对基于指示听力假体的接受者对暴露于接受者的环境声音的反应的数据的第二数据进行分析。此外,在与非暂态计算机可读介质相关的示例性实施例中,存在用于与由非听力假体部件捕获的数据同时地对基于指示听力假体的接受者对暴露于接受者的环境声音的反应的数据的第二数据进行分析的代码。
可以根据在本文中详细描述的教导中的任何教导来执行方法动作1120。此外,可以利用查找表或者预编程的逻辑或者甚至人工智能系统来实施方法动作1120。
在方法动作1120的示例性实施例中,存在父亲正在给孩子进行阅读并且孩子未进行响应的示例性场景。因此,方法动作1120可能需要对由系统的麦克风捕获的声音进行分析以标识孩子是否做出响应或者孩子做出响应的方式。此外,如果确定孩子未做出响应,则对方法动作1120的分析可以是:相对于与该方法动作相关联的时间段,继续着发生不太实用事件。
简要地提出:第二数据可以是来自听力假体的数据,或者可以是来自与方法动作1110相关联的同一麦克风的数据,或者是这两者,或者来自三个或更多个源。实际上,在示例性实施例中,执行方法1100,而不管与听力假体相关联的输入和/或输出。方法动作1110可以由仅依赖于非听力假体部件和/或非体戴式麦克风设备和/或非身体承载的麦克风设备等的系统执行。还简要地提出:除非另有说明,否则本文中体戴式或者身体承载的设备的任何公开内容可以与非体戴式和/或非身体承载的设备的公开内容对应,条件是本领域使得能够实现这一点,反之亦然。除非另有说明,否则本文中具有麦克风的任何第一设备的任何公开内容与本文中公开为具有麦克风的任何其他设备的公开内容对应,条件是本领域使得能够实现这一点。即,在本文中详细描述的任何方法动作或者公开一种具有麦克风的部件的任何系统和/或设备与一种麦克风代替另一种麦克风或者另一种设备等的公开内容对应。
方法1100还包括方法动作1130,该方法动作1130包括:基于对第一数据的分析结合对第二数据的分析来标识听力冲击影响特征。此外,与在本文中详细描述的各种方法动作可以与用于执行那些方法动作的代码的公开内容对应这一事实一致,在示例性实施例中,存在一种非暂态计算机可读介质,其上记录有用于执行该方法的至少一部分的计算机程序,该计算机程序包括用于基于对第一数据的分析结合对第二数据的分析来标识听力冲击影响特征的代码。
如上所述,图12呈现了用于示例性方法(方法1200)的示例性算法,该算法比图11所示算法更广泛。在这点上,该方法包括方法动作1210,该方法动作1210包括:对基于由非听力假体部件捕获的数据的第一数据进行分析。简要地,与涉及计算机可读介质的实施例一致,在示例性实施例中,存在用于对基于由非听力假体部件捕获的数据的第一数据进行分析的代码的代码。无论如何,方法动作1210可以基于由在本文中详细描述的麦克风中的任何麦克风捕获的数据,这些麦克风是位于在建筑物四处的各个位置的电子设备的一部分。
方法1200还包括方法动作1220,该方法动作1220包括:基于对第一数据的分析来标识听力冲击影响特征。
听力冲击影响特征可以是在本文中详细描述的特征中的任何特征,诸如背景噪声、说话者的定位、康复和/或复原方案等。
在与方法1100和/或方法1200相关联的示例性实施例中,存在确定第一数据和第二数据是否同时发生的动作,并且因此,存在用于这样做的代码。在这点上,在示例性实施例中,方法1100和/或方法1200由根据在本文中详细描述的教导中的任何教导的系统执行,并且可以包括上面详细描述的中央处理器装置。该中央处理器装置可以同时和/或在时间上间隔开地从各个位置接收输入。关于确定输入是否彼此同时发生和/或其是否不彼此同时发生,系统可以具有实用价值。关于忽视或者无视某些数据和/或使某些数据优先于其他数据,这可以具有实用价值。
而且,可以在利用这种处理的一些实施例中利用的中央/边缘处理的另一方面是:在任何点处,可以按照以下方式来使话音/语音数据参数化或者修改话音/语音数据:在不传送或者存储实际话音信息的情况下,仍然可以确定实用特点。可以执行这一点以实现基本的隐私和/或安全措施。实际上,可以利用表示数据的代理。可以利用加密和代码。可以在实施例利用基于计算机的系统和/或机器学习系统的情况下实施这一点。实际上,数据可以使得没有人可以对数据进行评估以获得其基础内容。在一些实施例中,存在机制,诸如,例如联邦学习,在该联邦学习中,对AI模型进行局部训练并且全局共享参数以保护隐私,同时允许整个系统不仅基于在单个家庭中发生的事情而且基于全州的或者全国的或者全世界的家庭(或者任何其他所利用的实体/结构)进行改进。
进一步地,在示例性实施例中,存在确定数据是否与执行对听力冲击影响特征的标识相关的方法。在这点上,此外,诸如在多个麦克风位于建筑物中的场景中,数据可以由中央处理装置接收,其中数据基于在建筑物四处的不同空间位置收集到的数据。在示例性实施例中,系统被配置为:自动对接收到的数据进行分析,并且确定是否与实施在本文中详细描述的教导相关。仅通过示例的方式而非通过限制的方式,系统可以被配置或者编程为对由各种麦克风捕获的语音执行频谱分析,以确定给定语音是否相关。这可以与输入到系统中的其他数据(诸如各个当事人相对于彼此的地点)结合。例如,关于父亲正在给孩子进行阅读的实施例,在确定不与实施在本文中详细描述的教导相关之后,可以忽视或者无视基于在另一房间中的母亲的语音的数据。例如,如果父亲和孩子接受者所在的房间中的麦克风未拾取母亲的语音声音,则可以确定母亲的语音不影响与孩子感知父亲在说什么的能力相关联的事件。相反,如果在父亲和孩子接受者所在的房间中的麦克风确实正在拾取母亲的声音,则可以确定这与执行对听力冲击影响特征的标识相关。应该注意,可以同时利用相关性和同时发生的特征来确定部署数据的方式。仅通过示例的方式而非通过限制的方式,即使在父亲和孩子所在的房间中的麦克风拾取了母亲的语音,如果母亲的语音按照不影响孩子接受者理解父亲或者感知父亲的话语的能力的方式暂时交错,则也可以忽视与母亲的语音相关联的数据。
因此,在示例性实施例中,可以存在一种介质,包括用于确定第一数据和第二数据和/或第一数据和/或其他数据和/或第二数据和其他数据是否同时发生和/或是否与执行对听力冲击影响特征的标识相关的代码。
与上面详细描述的教导一致,在示例性实施例中,诸如在利用计算机程序来执行在本文中详细描述的方法动作中的一些方法动作的情况下,在示例性实施例中,计算机程序是家庭物联网和/或建筑物物联网的一部分。更进一步地,在示例性实施例中,与在本文中详细描述的动作中的任何动作相关联的介质中的任何介质可以被存储在从排布在建筑物中的各种数据收集设备接收输入的系统中,这些数据收集设备是关于除标识听力冲击影响特征外的利用的两用设备。
鉴于上述内容,可以了解到:在一些实施例中,在本文中详细描述的教导可以被利用来标识和/或修改存在听力假体的接受者的环境。在一些实施例中,在本文中详细描述的教导可以被配置为标识用于操纵环境的环境策略和/或方式,关于接受者的康复和/或复原或者关于接受者利用假体来具有已改进的体验(相对于假体,将是这种情况),这些环境策略和/或方式可以是实用的。当然,与上述教导一致,在一些实施例中,系统被配置为实际操纵环境。
一些实施例涉及完全实施在家庭或者建筑物中的自含式系统。也就是说,在一些其他实施例中,部分地与远离房屋等的处理中心一起使用在本文中详细描述的教导。仅通过示例的方式而非通过限制的方式,在示例性实施例中,可以提供利用系统的部件收集到的数据和/或可以将基于这种数据的数据提供给远程处理中心,在该远程处理中心中,对该数据进行分析,并且然后,远程处理中心远程控制房屋中的部件和/或可以提供推荐。因此,实施例包括:利用集中式处理中心来处理数据并且因此,实施在本文中详细描述的教导中的至少一些教导。
进一步地,虽然许多实施例集中于按照自动方式执行在本文中详细描述的方法动作中的一些或者更多或者所有方法动作的系统,但是一些其他实施例利用经过训练的专业人员(诸如听力学家等)来对数据进行评估。在这点上,可以出于长期或者详细数据收集目的利用在本文中详细描述的教导,而无需进行自动评估或者机械化评估。可以手动地对收集到的数据进行评估,并且推荐可以基于与评估相关联的人们的专业知识。
上面公开的一些实施例提供了基于从非听力假体部件收集到的数据来调整听力假体的特征的场景。在示例性实施例中,调整可以实时地发生。在示例性实施例中,可以基于对由各种麦克风获得的数据的分析来调整听力假体的麦克风特征中的任何麦克风特征,条件是这具有实用价值,无论这种数据是否包括与听力假体的麦克风相关联的数据。可以基于评估来实施频率选择,使得听力假体将基于分析来向不同的频率应用不同的增益。在示例性实施例中,这具有实用价值,因为其他麦克风可能具有“更干净的”目标信号,并且因此,可以更准确地作为对调整(这些调整可以是实用的)的建议的基础以从噪声中连贯地提取出有用的分量/信号。此处,存在以下实施例:在该实施例中,另一麦克风可以连续地传送可以由处理器或者系统用于已改进的噪声消除的相干包络。这是给定系统的两个系统/部件可能按照半连续方式来进行交互的方式的示例的示例性实施例。
还应该注意,在至少一些示例性实施例中,可以利用部件的各种麦克风作为用于听力假体的声音捕获设备。在示例性实施例中,这些麦克风中的任何麦克风都可以充当用于听力假体的所谓的远程麦克风。在示例性实施例中,实时地将基于由各种麦克风捕获的声音的音频信号串流到假体,并且利用这些音频信号作为声音处理器的输入,并且基于流式数据来激发听力感知。此外,在示例性实施例中,声音处理器的特征(实际上是声音处理器本身的功能性)存在于系统的部件中的一个或多个部件中。在示例性实施例中,在远离假体的部件处执行声音处理。然后,实时地将基于处理器声音的信号串流到假体,该假体利用该流式信号来基于其直接激发听力感知。
介于两者之间的场景可以包括:系统执行听力假体的处理中不与纯声处理相关的某一处理以激发听力感知。例如,假体可以包括场景分类系统和/或噪声消除确定系统和/或波束成型控制系统等,这些系统中的所有系统都将利用听力假体的处理能力。在一些示例性实施例中,这可能使听力假体的计算能力重负,并且因此,可能影响声音处理功能。因此,在示例性实施例中,处理中的一些处理由系统的与听力假体分离的部分卸载或者执行,并且然后,该数据被提供给听力假体,并且因此,被利用来控制听力假体。
还应该注意,虽然在本文中详细描述的教导集中于助听器和可植入的假体,但是一些其他实施例包括对在传统意义上本身不是助听器的个人声音放大设备的利用。这些教导也可以适用于此。
同样与上面详细描述的教导一致,在示例性实施例中,方法1100还包括经由共同的家庭部件(例如电视机、扬声器、邮箱等)来向与所标识的听力冲击影响特征有关的人提供数据的动作和/或存在基于所标识的听力冲击影响来自动控制在其中捕获到声音的建筑物中的部件的动作。
返回到指示父亲在他的儿子或者女儿面前如何表现他自己的示例性场景,听力冲击影响特征是除了接受者之外的人员的行为方面。
上面简要地提出:与听力假体相关联的特征可以被利用来实施在本文中详细描述的教导。在示例性实施例中,系统的在本文中公开的设备和方法及其变化还可以利用自身语音检测来进一步实施教导。简要地提出:虽然通常在听力假体中实施自身语音检测系统,但是在一些其他实施例中,系统本身可以利用语音检测算法等,并且可以利用由听力假体利用来标识自身语音的算法及其变化来标识接受者的语音,因为根据在本文中详细描述的教导中的至少一些教导,在很多情况下,接受者集中于实用价值。因此,示例性实施例包括非假体部件,这些非假体部件还包括自身语音文本,并且该检测涉及:相对于其他当事人,检测接受者的语音。
在示例性实施例中,根据美国专利第2016/0080878号的教导中的任何一个或多个教导来执行自身语音检测,和/或按照触发该应用的控制技术的方式来执行对与本文中检测资深语音相关联的教导的实施。因此,在至少一些示例性实施例中,假体100和/或设备240和/或在本文中详细描述的系统的其他部件中的一个部件可以被配置为执行在该专利申请中详细描述的动作中的一个或多个或者所有动作或者包括用于执行该一个或多个或者所有动作的结构。此外,实施例包括:执行与在该专利申请中详细描述的一个或多个方法动作的执行对应的方法。
在示例性实施例中,根据WO 2015/132692的教导中的任何一个或多个教导来执行自身语音检测,和/或按照触发该应用的控制技术的方式来执行对与本文中检测自身语音相关联的教导的实施。因此,在至少一些示例性实施例中,假体100和/或设备240和/或在本文中详细描述的系统的其他部件中的一个部件被配置为执行在该专利申请中详细描述的动作中的一个或多个或者所有动作或者包括用于执行该一个或多个或者所有动作的结构。此外,实施例包括:执行与在该专利申请中详细描述的一个或多个方法动作的执行对应的方法。
在方法1100的示例性实施例中,方法动作被执行为听力康复和/或复原程序和/或实时听力感知改进程序的一部分。在示例性实施例中,诸如在计算机可读介质中对方法1100的方法动作进行编码的情况下,计算机程序可以是两用听力康复和/或复原程序和实时听力感知改进程序。在这点上,参考人员正在与一些朋友进行席间交谈的示例性场景,实施与方法1100相关联的计算机代码的系统可以提供推荐以使正在播放的音乐降低或者甚至控制音乐本身,从而实现实时听力感知改进,并且还可以稍后或者同时为此提供指示接受者应该如何在未在他的或者她的非植入侧就坐的人们之间移动或者与双侧植入物相关联的实用价值的数据,从而提供康复和/或复原数据。
关于长期改进接受者利用他的或者她的听力假体或者实现这些听力假体的实用价值的能力,根据在本文中详细描述的教导的康复和/或复原特征可以具有实用价值。而且,根据在本文中详细描述的教导的康复和/或复原特征可以提供指示接受者进行得多好或者多不好的数据。
一些实施例链接复原工具和/或内容,使得实施例可以基于通过一个或多个动作收集到的数据来提供针对自我训练和规定干预的定制推荐,并且在一些实施例中,还允许接受者、父母或者专业人员追踪并且监测进展轨迹。在示例性实施例中,这些动作可以至少部分地基于由与在本文中详细描述的教导相关联的部件中的任何部件收集到的数据。一些实施例包括复原资源&工具的库,并且可以包括资源的广泛组合以支持接受者和与他们一起工作的跨所有年龄和阶段的专业人员。在示例性实施例中,标识可以采取以改进感知的动作的动作可以包括:对这些复原资源和/或工具进行评估并且向接受者或者护理者等提供推荐。
要清楚,在一些实施例中,在本文中详细描述的教导中的任何教导可以仅涉及复原/康复系统(而其他实施例具体排除是复原/康复系统)。具有康复/复原特征的系统的实施例包括:利用这些康复/复原特征来影响接受者/护理者行为,使得他们参与随着时间的推移支持已改进的结果的活动,这种影响或者至少针对影响的推荐自动发生。示例性实施例包括:系统不断地或者周期性地监测人们与接受者的交互,反之亦然,并且再次基于根据在文本中详细描述的教导而获得的数据来对与接受者相关联的其他当事人的接受者进行复原/康复的程度进行评估,在至少一些示例性实施例中,系统可以提供关于针对康复和/或复原的推荐的指示。
应该注意,在本文的至少一些实例中,利用词语“康复”或者词语“复原”,而不是短语“康复和/或复原”。本文的任何公开内容都与这两者的公开内容对应,除非另有说明。
一些实施例包括:利用由非听力假体部件获得的数据来进行与康复和/或复原相关联的分析和预测和/或推荐。此处,系统可以被实施为使用输入数据集来确定诸如以下事情:例如使用者属于哪个同生群;与同生群的其余者相比较,使用者所在的地方;以及答案是否是合理的答案。系统还可以根据现状来预测接受者性能统计将在何处和/或预测来自不同干预或者复原活动的潜在性能效益。利用根据在本文中详细描述的教导而获得的数据,可以建立与康复和/或复原相关联的预测或者评估。
一些实施例包括用于生成推荐的推荐引擎。该推荐引擎可以使用一组输入数据和预测。通过与用户的同生群的相对性能和预测,结果可以是:确定是否需要干预,对复原活动进行排名,诸如,例如按照潜在性能效益。
仅通过示例的方式而非通过限制的方式,系统可以被配置为对从在本文中详细描述的各种部件获得的数据进行评估以确定接受者在哪里进行有限数目的交谈和/或进行仅很简短的交谈,这可以指示接受者未康复和/或复原对于给定同生群的该接受者应该达到的量。在示例性实施例中,存在根据可懂度等级来对话音产生偏差进行分析和/或测量,这可以被监测,并且可以用作关于接受者在康复和/或复原过程中是否有进展的指示符。可以对所有这些进行分析以确定或者衡量康复和/或复原的水平,并且以标识动作,关于改进康复和/或复原,这些动作可以是实用的。
此外,接受者所说的和/或向接受者说的内容可以是接受者在康复和/或复原过程中是否有进展的指示符。在这点上,如果接受者在说话时经常使用短词语和有限的词汇,则即使对于成年人等而言,这也可以是接受者的康复和/或复原受到阻碍或者没有按照可以发展的方向取得进展的指示符。可以经由在本文中详细描述的部件来获得被利用来确定接受者说话的方式的数据。此外,如果接受者缓慢地说话和/或如果向接受者说话的人们缓慢地说话,则那也可以是接受者的康复和/或复原受到阻碍或者没有按照可以发展的方向取得进展的指示符。此外,可以利用在本文中公开的部件来获得数据。发音也可以是指示符。如果按照将与诊断出言语障碍的某人类似的方式对词语进行发音,其中接受者未诊断出言语障碍,则这可以是缺乏进展的指示符。因此,根据示例性实施例,存在任何系统的一种方法,该方法用于捕获指示前述指示符中的任何指示符的数据,对该数据进行分析,并且有关接受者的康复和/或复原进行确定和/或关于改进康复和/或复原,确定什么可能是实用的。
在这点上,一些示例性方法包括:对捕获的语音进行分析并且对非语音数据和/或系统可以获得的其他数据进行分析以标识以下至少一项:(i)在听力受损人员的康复和/或复原方案中的弱点或者(ii)通过使用语音声音和/或数据和/或功能性收听行为数据作为潜在变量而标识的真实世界场景。关于前者,在示例性实施例中,标识在听力受损人员的康复和/或复原方案中的弱点包括:确定是否干预方案。因此,一些示例性方法包括关于干预是否实用的确定。因此,在示例性实施例中,在本文中详细描述的教导中的至少一些教导可以被利用来检测或者确定康复和/或复原方案存在问题,并且还可以确定不存在康复和/或复原方案。
如从上面了解到的,实施例包括:对捕获的语音和通过本文的方法获得的数据进行分析以标识应该被执行或者不应该再被执行的康复和/或复原动作。因此,至少一些示例性实施例包括:对根据在本文中详细描述的教导中的任何教导获得的数据中的任何数据进行分析以标识应该被执行或者不应该再被执行的康复和/或复原动作。
在与确定听力康复和/或复原相关特征的动作相关联的示例性实施例中,这可以与在本文中详细描述的与听力的康复和/或复原相关联的动作中的任何动作对应。仅通过示例的方式而非通过限制的方式,在语音声音环境中增加时间和/或通过集中练习来利用音乐重新连接可以是与康复和/或复原相关特征。仍然进一步仅通过示例的方式而非通过限制的方式,康复和/或复原特征可以是对这种最终目标有害的特征,诸如仅通过示例的方式而非通过限制的方式:确定接受者经常不使用听力假体,可能能够从由各种部件获得的数据得出这一点。
示例性实施例包括:利用于2018年7月25日在美国专利商标局将Jeanette Oliver列为发明人而提交的标题为“habilitation and/or rehabilitation methods andsystems”的美国临时专利申请第62/703,373序列号中详细描述的教导中的任何教导,其中根据在本文中详细描述的教导来获得为了执行那些教导而获得的数据,和/或与之相关联的方法被配置为削弱根据前述专利申请的教导来执行康复和/或复原方案的结果。
简要地提出,在至少一些示例性实施例中,专注于两个当事人之间的语音和交谈以及交互是在本文中详细描述的教导的重点。在一些实施例中,不一定需要发生交谈。与上面详细描述的与接受者的音乐和/或收听模式相关联的教导共存,在示例性实施例中,在本文中详细描述的系统的部件可以被利用来收集与交谈无关的数据。在示例性实施例中,收集到的数据与接受者的音乐收听偏好/模式、接受者的电视机收听或者收音机收听偏好/模式、接受者在高背景噪声环境中利用听力假体的时间量等对应。因此,实施例包括:获得不与交谈相关联的数据并且对数据进行分析以开发有关康复和/或复原的推荐和/或以开发可以实时地提高接受者听到或者感知声音的能力的推荐。
简要地提出,在本文中详细描述的教导的至少一些示例性实施例中,系统可以依赖于人类标识数据和/或人类落点数据来增强或者补充由系统获得的数据。在这点上,在示例性实施例中,虽然在本文中详细描述的教导中的一些教导集中于利用语音标识来确定或者标识人们在给定建筑物中和/或相对于接受者的落点,但是在一些备选实施例中,可以利用其他技术,诸如,例如可以向系统提供输入的RFID追踪设备,该输入可以使系统能够在时间上有关的基础上确定人们和/或部件的空间位置。备选地,和/或除此之外,可以利用视觉方法(诸如利用视频摄像头等)来标识人们和/或部件的位置等。所有这些都可以实时地或者准实时地进行以提供与相对于实施本文的教导而获得的数据相关联的更好的细节。
还应该注意,在至少一些示例性实施例中,可以利用复杂的程序来考虑建筑物等结构。仅通过示例的方式而非通过限制的方式,程序可以包括与房屋的布局和/或关联于房屋的声学相关联的特征,这些声学和/或布局可以被利用来更好地对由设备的各种部件提供数据进行分析以确定是否要采取某些动作。仅通过示例的方式而非通过限制的方式,在以下场景中,系统可能肯定地确定将不会干预,因为正常的听力人员将可能不能听到人员A的声音:人员A在地下室中并且听力假体接受者在房屋的二楼或者三楼上,而人员A尝试引起接受者的注意,人员A没有足够大声地大喊。仍然进一步通过示例的方式,系统可以配置为对与父亲在进行通话相关联的空间数据进行评估,并且如果确定父亲距离孩子和母亲足够远,则即使系统确定孩子与母亲之间的交互存在问题,系统也可能由于与其相关联的空间位置而忽视父亲在进行通话这一事实。
关键是:系统可以被配置为获得和/或利用数据,不仅仅是由位于房屋或者其他建筑物四处的各种麦克风捕获的声音引起的数据。
实际上,也许在极端示例中,系统可以被配置为获得指示接受者是否接通了他的或者她的听力假体的数据并且基于该数据来确定这一点。如果系统确定未使用听力假体,则系统可以被配置为不根据在本文中详细描述的教导来实施任何动作,或许除了通过在本文中详细描述的通信场景中的任何通信场景的方式之外,接受者应该开始佩戴他的或者她的听力假体。因此,在示例性实施例中,在本文中详细描述的教导不是警报系统或者增强接受者听到声音的能力或者用于通知接受者他或者她应该听到他或者她未听到的内容的设备。换句话说,根据一些实施例的示例性实施例不是用于接受者的拐杖,而再次是康复和/或复原工具,并且改进了听力假体的整体使用体验。
简要地提出,在示例性实施例中,利用耳蜗植入物100和/或设备240和/或在本文中详细描述的任何其他部件来捕获接受者和/或向接受者说话的人们的话音/语音。简要地提出,本文中语音的任何公开内容(例如捕获语音、对语音进行分析等)与使用话音(例如捕获话音、对话音进行分析等)的备选实施例的公开内容对应,反之亦然,除非另有说明,条件是本领域使得能够实现这一点。这并不是说两者是同义词。这就是说,出于文本经济,我们正基于一种用法提出多项公开内容。还应该注意,在本文的至少一些实例中,使用短语“语音声音”。这与一个人的语音声音对应,并且也可以被称为“语音”。
应该注意,在至少一些示例性实施例中,根据美国专利申请公开号2017/0359659的教导来执行声音场景分类。因此,在至少一些示例性实施例中,假体100和/或设备240和/或系统的其他部件被配置为或者包括用于执行在该专利申请中详细描述的动作中的一个或多个或者所有动作的结构。此外,实施例包括:执行与在该专利申请中详细描述的一个或多个方法动作的执行对应的方法。
在示例性实施例中,在于测试环境之外的正常交谈期间执行捕获语音的动作。实际上,在示例性实施例中,对于在本文中详细描述的方法中的所有方法都是这种情况。关于获得与听力受损人员相关联的数据,在本文中详细描述的教导可以具有实用价值,因为听力受损人员过着正常的生活经历。关于可以相对于在有限的测试环境中的情况获得更多数据这一事实,这可以是实用的。进一步地,相对于如果将数据限于仅测试环境而将成为的情况,可以获得更多的动态数据/可以更频繁地获得数据。
在这点上,在至少一些示例性实施例中,包括:在社交通信参与期间捕获语音和/或声音。在这点上,至少一些示例性实施例包括:仅在这种参与期间捕获声音。对此的推论是:在至少一些示例性实施例中,包括:在听力传达的社交通信场景期间捕获声音。
在示例性实施例中,根据在本文中详细描述的教导而捕获和/或利用的语音的至少50%、55%、60%、65%、70%、75%、80%、85%、91%、92%、93%、94%、95%、96%、97%、98%、99%或者100%是在于测试环境之外的正常交通期间捕获的语音和/或是与听力传达的社交通信相关联的语音。注意,正常交谈可以包括婴儿与成年人之间的语音交互,并且因此,在这点上,交谈的概念是非常广泛的概念。也就是说,在一些其他实施例中,正常交谈是复杂的交谈,其限于在智力上发育完全的人们之间的交谈。
在示例性实施例中,在本文中详细描述的方法还可以包括:在确定需要干预之后确定干预方案。
与在本文中详细描述的教导一致,其中可以按照自动方式来执行在本文中详细描述的方法动作中的任何一个或多个方法动作,除非另有说明,在示例性实施例中,可以自动执行确定干预方案的动作。
应该注意,在本文中详细描述的任何方法还与被配置为执行在本文中详细描述的方法动作中的一个或多个或者所有方法动作的设备和/或系统的公开内容对应。在示例性实施例中,该设备和/或系统被配置为按照自动方式来执行方法动作中的一个或多个或者所有方法动作。也就是说,在备选实施例中,设备和/或系统被配置为在人类进行提示之后执行方法动作中的一个或多个或者所有方法动作。还应该注意,在本文中详细描述的设备和/或系统的任何公开内容与制造和/或使用该设备和/或系统的方法对应,包括根据在本文中详细描述的功能性来使用该设备的方法。
在备选实施例中,在本文中公开的由假体100执行的任何动作都可以由设备240和/或在本文中详细描述的任何系统的另一部件执行,除非另有说明或者除非本领域不能实现这一点。因此,在备选实施例中,假体100的任何功能性都可以存在于设备240和/或任何系统的另一部件中。因此,假体100的功能性的任何公开内容与设备240和/或在本文中详细描述的任何系统的另一部件的结构对应,该结构被配置为执行该功能性或者具有功能性或者执行该方法动作。
在备选实施例中,在本文中公开的由设备240执行的任何动作都可以由假体100和/或在本文中公开的任何系统的另一部件执行,除非另有说明或者除非本领域不能实现这一点。因此,在备选实施例中,设备240的任何功能性都可以存在于假体100和/或在本文中公开的任何系统的另一部件中。因此,设备240的功能性的任何公开内容与假体100和/或在本文中公开的任何系统的另一部件的结构对应,该结构被配置为执行该功能性或者具有功能性或者执行该方法动作。
在备选实施例中,在本文中公开的由本文中所公开的任何系统的部件执行的任何动作都可以由设备240和/或假体100执行,除非另有说明或者除非本领域不能实现这一点。因此,作为备选实施例,在本文中详细描述的系统的部件的任何功能性都可以存在于设备240和/或假体100中。因此,本文中部件的功能性的任何公开内容与设备240和/或假体100的结构对应,该结构被配置为执行该功能性或者具有功能性或者执行该方法动作。
还应该注意,在本文中详细描述的设备和/或系统的任何公开内容也与提供该设备和/或系统的公开内容对应。
还应该注意,本文中制造或者提供设备的任何过程的任何公开内容与由此产生的设备和/或系统对应。还应该注意,本文中任何设备和/或系统的任何公开内容与生产或者提供或者制造该设备和/或系统的方法的公开内容对应。
在本文中公开的任何实施例或者任何特征可以与在本文中公开的任何一个或多个或者其他实施例和/或其他特征结合,除非明确地指出和/或除非本领域不能实现这一点。可以从与在本文中公开的任何一个或多个其他实施例和/或其他特征一起使用中明确地排除在本文中公开的任何实施例或者任何特征,除非明确地指出结合该实施例或者特征和/或除非本领域不能实现这种排出。虽然上面已经描述了本发明的各种实施例,但是应该理解,仅通过示例的方式而非限制呈现本发明的各种实施例。对于相关领域的技术人员而言将显而易见的是:在不脱离本发明的精神和范围的情况下,可以进行形式和细节上的各种变化。
Claims (11)
1.一种用于处理声音的方法,包括:
捕获与可穿戴听力设备的接受者的对话能力相关联的数据,
其中,所述数据是使用所述可穿戴听力设备中的至少一个麦克风和固定设备中的至少一个麦克风被捕获的;
基于所述数据使用机器学习系统对所述接受者的对话能力的成功进行评估。
2.根据权利要求1所述的方法,其中:
由所述固定设备中的至少一个麦克风捕获的所述数据是与由所述可穿戴听力设备中的至少一个麦克风捕获的数据不同的数据。
3.根据权利要求1所述的方法,其中:
所述可穿戴听力设备的所述接受者不具有基于由所述可穿戴听力设备的至少一个麦克风捕获的数据的被激发的听力感知,或者不有意义地感知基于由所述可穿戴听力设备的至少一个麦克风捕获的数据的被激发的听力感知。
4.根据权利要求1所述的方法,还包括:
基于对所述对话能力的成功的所述评估,执行动作以改进作为所述对话能力的一部分的对话能力的成功和/或以改进之后的对话能力。
5.根据权利要求4所述的方法,其中:
所述动作是听力康复和/或复原动作。
6.根据权利要求4所述的方法,其中:
所述动作是对改进所述接受者对声音的感知具有快速结果的动作。
7.根据权利要求1所述的方法,还包括:
基于对所述对话能力的成功的所述评估,提供推荐以在所有事物相同的情况下,提高未来对话能力将更加成功的可能性。
8.根据权利要求1所述的方法,还包括:
还对第二数据进行评估,所述第二数据基于来自所述可穿戴听力设备的所述至少一个麦克风的输出,其中,
对所述对话能力的成功的所述评估还基于经评估的所述第二数据。
9.根据权利要求1所述的方法,其中:
所述固定设备是智能设备,所述智能设备不是身体承载的设备。
10.根据权利要求1所述的方法,其中:
除与对所述对话能力的成功的所述评估相关联的功能之外,所述固定设备还具有至少一个其他功能。
11.根据权利要求1至10中任一项所述的方法,其中:
所述固定设备是家庭设备;以及
所述方法还包括:利用所述固定设备来进行与所述可穿戴听力设备的所述接受者无关的事情,所述固定设备的至少一个麦克风的所述输出从所述固定设备被获得。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862730676P | 2018-09-13 | 2018-09-13 | |
US62/730,676 | 2018-09-13 | ||
PCT/IB2019/057714 WO2020053814A1 (en) | 2018-09-13 | 2019-09-12 | Hearing performance and habilitation and/or rehabilitation enhancement using normal things |
CN201980048933.9A CN112470496B (zh) | 2018-09-13 | 2019-09-12 | 使用正常事物的听力性能和康复和/或复原增强 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980048933.9A Division CN112470496B (zh) | 2018-09-13 | 2019-09-12 | 使用正常事物的听力性能和康复和/或复原增强 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117319912A true CN117319912A (zh) | 2023-12-29 |
Family
ID=69776852
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311158310.1A Pending CN117319912A (zh) | 2018-09-13 | 2019-09-12 | 使用正常事物的听力性能和康复和/或复原增强 |
CN201980048933.9A Active CN112470496B (zh) | 2018-09-13 | 2019-09-12 | 使用正常事物的听力性能和康复和/或复原增强 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980048933.9A Active CN112470496B (zh) | 2018-09-13 | 2019-09-12 | 使用正常事物的听力性能和康复和/或复原增强 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11825271B2 (zh) |
CN (2) | CN117319912A (zh) |
WO (1) | WO2020053814A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018118772A1 (en) | 2016-12-19 | 2018-06-28 | Lantos Technologies, Inc. | Manufacture of inflatable membranes |
WO2021226503A1 (en) | 2020-05-08 | 2021-11-11 | Nuance Communications, Inc. | System and method for data augmentation for multi-microphone signal processing |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3490663B2 (ja) | 2000-05-12 | 2004-01-26 | 株式会社テムコジャパン | 補聴器 |
WO2004110099A2 (en) * | 2003-06-06 | 2004-12-16 | Gn Resound A/S | A hearing aid wireless network |
US8170677B2 (en) * | 2005-04-13 | 2012-05-01 | Cochlear Limited | Recording and retrieval of sound data in a hearing prosthesis |
EP2624252B1 (en) | 2010-09-28 | 2015-03-18 | Panasonic Corporation | Speech processing device and speech processing method |
US20130177188A1 (en) | 2012-01-06 | 2013-07-11 | Audiotoniq, Inc. | System and method for remote hearing aid adjustment and hearing testing by a hearing health professional |
EP2962300B1 (en) | 2013-02-26 | 2017-01-25 | Koninklijke Philips N.V. | Method and apparatus for generating a speech signal |
KR102127640B1 (ko) | 2013-03-28 | 2020-06-30 | 삼성전자주식회사 | 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법 |
EP2984855B1 (en) | 2013-04-09 | 2020-09-30 | Sonova AG | Method and system for providing hearing assistance to a user |
CN106688247A (zh) * | 2014-09-26 | 2017-05-17 | Med-El电气医疗器械有限公司 | 确定房间混响以用于信号增强 |
US20180124527A1 (en) | 2014-11-03 | 2018-05-03 | Sonova Ag | Hearing assistance method utilizing a broadcast audio stream |
EP3430821B1 (en) * | 2016-03-17 | 2022-02-09 | Sonova AG | Hearing assistance system in a multi-talker acoustic network |
US10238333B2 (en) | 2016-08-12 | 2019-03-26 | International Business Machines Corporation | Daily cognitive monitoring of early signs of hearing loss |
US11253193B2 (en) | 2016-11-08 | 2022-02-22 | Cochlear Limited | Utilization of vocal acoustic biomarkers for assistive listening device utilization |
-
2019
- 2019-09-12 CN CN202311158310.1A patent/CN117319912A/zh active Pending
- 2019-09-12 CN CN201980048933.9A patent/CN112470496B/zh active Active
- 2019-09-12 WO PCT/IB2019/057714 patent/WO2020053814A1/en active Application Filing
- 2019-09-12 US US17/269,019 patent/US11825271B2/en active Active
-
2023
- 2023-11-20 US US18/514,611 patent/US20240089676A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210329390A1 (en) | 2021-10-21 |
CN112470496B (zh) | 2023-09-29 |
US11825271B2 (en) | 2023-11-21 |
WO2020053814A1 (en) | 2020-03-19 |
CN112470496A (zh) | 2021-03-09 |
US20240089676A1 (en) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110072434B (zh) | 用于辅助听力设备使用的声音声学生物标记的使用 | |
CN111492672B (zh) | 听力设备及其操作方法 | |
US20240089676A1 (en) | Hearing performance and habilitation and/or rehabilitation enhancement using normal things | |
CN112602337B (zh) | 被动适配技术 | |
US20230352165A1 (en) | Dynamic virtual hearing modelling | |
US20220076663A1 (en) | Prediction and identification techniques used with a hearing prosthesis | |
US20210225365A1 (en) | Systems and Methods for Assisting the Hearing-Impaired Using Machine Learning for Ambient Sound Analysis and Alerts | |
CN114731477A (zh) | 声音捕获系统退化识别 | |
US20240321290A1 (en) | Habilitation and/or rehabilitation methods and systems | |
Ricketts et al. | Directional microphone hearing aids in school environments: Working toward optimization | |
EP3930346A1 (en) | A hearing aid comprising an own voice conversation tracker | |
CN110139201A (zh) | 根据用户需要验配听力装置的方法、编程装置及听力系统 | |
CN111133774B (zh) | 声学点识别 | |
Bhowmik et al. | Hear, now, and in the future: Transforming hearing aids into multipurpose devices | |
US20230329912A1 (en) | New tinnitus management techniques | |
US11877123B2 (en) | Audio training | |
US20220054842A1 (en) | Assessing responses to sensory events and performing treatment actions based thereon | |
EP4280628A1 (en) | Use of hearing instrument telecoils to determine contextual information, activities, or modified microphone signals | |
US20240348992A1 (en) | Hearing aid with cognitive adaptation and methods thereof | |
WO2024194762A1 (en) | Speech perception for a hearing device in an environment with a plurality of sound sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |