CN112911478A - 用于训练听力设备的听力情形分类器的方法 - Google Patents
用于训练听力设备的听力情形分类器的方法 Download PDFInfo
- Publication number
- CN112911478A CN112911478A CN202011405751.3A CN202011405751A CN112911478A CN 112911478 A CN112911478 A CN 112911478A CN 202011405751 A CN202011405751 A CN 202011405751A CN 112911478 A CN112911478 A CN 112911478A
- Authority
- CN
- China
- Prior art keywords
- hearing
- situation
- signal
- user
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 230000008450 motivation Effects 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 241001077262 Conga Species 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 208000009205 Tinnitus Diseases 0.000 description 1
- 241000982634 Tragelaphus eurycerus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 231100000886 tinnitus Toxicity 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
- H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
在根据本发明的用于训练听力设备的听力情形分类器的方法中,借助终端设备(3、4)向用户呈现多个声学信号,要求用户针对该或者相应的呈现的信号提供关于信号源的说明,并且根据用户侧的关于所呈现的信号或者必要时所呈现的多个信号中的一个的说明,调整用于听力情形分类器的训练数据,并且借助训练数据,对听力情形分类器进行更新。
Description
技术领域
本发明涉及一种用于训练听力设备的听力情形分类器的方法。此外,本发明涉及一种特别是被配置为用于执行前面提到的方法的听力系统。
背景技术
听力设备特别是以助听器的形式,用于至少部分对具有听力障碍的人员的听力障碍进行补偿。为此,常见的听力设备通常包括用于检测来自环境的声音的至少一个麦克风以及用于处理检测到的声音的信号处理器,并且在此特别是根据个人的听力障碍(特别是以特定于频率的方式)对检测到的声音进行放大和/或衰减。信号处理器借(通常扬声器形式的)助输出转换器,进一步传导处理后的麦克风信号,以输出至相应的听力设备佩戴者的耳朵。根据听力障碍的类型,作为输出转换器,也使用对听觉进行机械或者电刺激的所谓的骨传导耳机或者人工耳蜗。但是术语“听力设备”也包括其它设备、例如头戴式耳机、所谓的耳鸣掩蔽器或者耳麦。
特别是助听器经常具有所谓的听力情形分类器(简称为:分类器),其用于特别是根据检测到的声音推断出存在特定的预先定义的“听力情形”。在此,这些听力情形的特征通常在于特定的信噪比、语音的存在、比较高的音调等。然后,通常根据识别出的听力情形,改变信号处理。例如,对于听力设备佩戴者仅与一个人员对话的情形,需要定向麦克风的窄的方向性,而在没有对话的户外活动中,全向方向性可能是有利的。为了识别对话情形,经常在分类器中处理语音识别算法。
此外,通常借助例如存储有对于特定的听力情形已知的音频示例的数据库,对分类器进行“训练”(或者编程),以便能够在常规运行中,将尽可能多的声学情形相应地与正确的听力情形相关联。然而仍然可能出现分类器可能(至少对于听力设备佩戴者主观地)错误地对声学情形进行分类,或者根本不进行分类。然后,在这种情况下,可能进行听力设备佩戴者不满意的信号处理。
发明内容
本发明要解决的技术问题是,使得能够更好地将听力情形与声学情形相关联。
根据本发明,上述技术问题通过具有本发明的特征的方法来解决。此外,根据本发明,上述技术问题通过具有本发明的特征的听力系统来解决。在下面的描述中说明本发明的部分本身具有创造性的有利的实施方式和扩展方案。
根据本发明的方法用于训练听力设备、特别是助听器的听力情形分类器(简称为:“分类器”)。在此,根据本方法,借助终端设备向(特别是该终端设备的)用户呈现一定数量的声学信号。然后,要求用户针对该或者相应的呈现的信号关于信号源进行说明。特别是对于呈现多个声学信号的情况,优选在每一次单独的呈现之后,在进行下一次呈现之前,相应地要求用户进行其说明。根据关于所呈现的信号或者必要时所呈现的多个信号中的一个的用户侧的说明,调整用于听力情形分类器的训练数据,并且借助(特别是调整后的)训练数据对听力情形分类器进行更新。
根据本发明的听力系统被配置为用于,(优选自动地、即自主地、但是特别是也在与用户的交互中)执行在此以及下面描述的方法。在此,听力系统包括前面提到的类型的至少一个终端设备、优选通过算法、特别是神经网络、自学习软件等形成的分类器以及控制器。控制器优选至少用于执行所述方法的一部分(例如调整训练数据)。
优选用户是听力设备的用户,下面也称为听力设备佩戴者。
通过用户(至少间接地)参与分类器的训练,可以有利地利用可能超出通常存储在训练数据库中的针对分类器的训练数据的知识和经验。此外,由此使得能够也持续地进一步改善分类器,即特别是总是进一步对分类器进行训练,从而通过分类器实现的结果可以变得更准确。
因此,所述方法和听力系统具有相同的在此和下面描述的优点。优选所述方法同样还使用听力系统提供的物理特征和/或听力系统提供的其它数据。
终端设备优选是如下的移动设备,该移动设备具有相关联的处理器,并且优选还具有与(可选地移动)数据网络的接口。在此,在一个变形方案中,终端设备是优选具有无线接口的听力设备(特别是听力设备佩戴者的助听器),无线接口用于接入(可选地移动)数据网络,或者至少用于与中间设备、例如智能电话、平板计算机、智能手表、笔记本计算机等连接,中间设备与这种数据网络连接。但是在一个优选的变形方案中,终端设备是这种中间设备、特别地是智能电话、平板计算机等。特别是在后一种情况下,用户也可以与听力设备佩戴者无关,也就是说例如甚至本身不使用听力设备。但是原则上用户也可以是听力设备佩戴者。
在此,经由听力设备的扬声器或者其它输出转换器,可选地以通过形成终端设备的中间设备(即例如通过智能电话)进行控制的方式,或者通过终端设备本身(即特别是通过智能电话的扬声器等),进行相应的信号的声学呈现。在后一种情况下,优选通过用户例如在智能电话等的触敏屏幕上进行手动输入来进行说明。替换地,必要时也在后一种情形下,作为语音输入来进行说明。在这种情况下,可选地,也可以通过数字助理来形成终端设备,数字助理被配置并且设置为用于由用户进行语音控制。
在一个优选的方法变形方案中,所呈现的信号或者必要时所呈现的多个信号中的一个,形成表征分类器未知声学情形的信号。换言之,所呈现的信号(或者必要时所呈现的多个信号中的至少一个)表征这种未知声学情形。在这种情况下,术语“未知”在此并且在下面特别是应当理解为,分类器无法将该声学情形与任何已知的、特别是经过训练的听力情形相关联,或者将该声学情形与如下听力情形相关联,即,由于与其相关的信号处理设置(或者调节),该听力情形导致该或者至少一个用户(特别是可选地多个听力设备佩戴者中的一个)不满意的听觉印象。也就是说,在这种情况下,可以有利地使用关于该表征未知声学情形的信号的用户(可选地即听力设备佩戴者)的说明,来调整用于分类器的训练数据,从而将来可以识别出相同的声学情形或者优选也识别类似的声学情形,或者可以以足够高的精密性来关联相同或者类似的声学情形。
在前述方法变形方案的一个优选的扩展方案中,仅使用关于这种表征未知声学情形的信号的用户说明来调整训练数据。相反,优选不考虑关于与已知信号源或者声学情形相关联的信号的说明,来改变训练数据。
在一个特别适宜的方法变形方案中,表征未知听力情形的信号包括实际(声学)情形的记录。在此,优选由这种记录形成该信号。由此,可以有利地使分类器匹配于迄今为止(还)没有映射或者包含在训练数据中的实际情形。
在一个优选的扩展方案中,如果至少一个听力设备佩戴者提供表征对通过分类器进行的设置不满意的输入,和/或如果分类器仅能够以低于极限值的概率值将经过训练的(即已知的)听力情形与实际(声学)情形相关联,那么进行前面描述的实际(声学)情形的记录。在此,进行表征的输入,特别是理解为在(特别是通过听力设备本身自动基于分类进行的)信号处理设置的改变之后进行的用户侧的例如音量的改变,或者“程序”的手动切换(即特别是切换为与另一听力情形相关联的信号处理设置)。附加地,也可以在听力设备的遥控器上、例如在例如安装在智能电话上的相关联的控制应用中进行这种输入。附加地或者替换地,分类器被配置为用于,在进行分类时,创建当前声学情形与已知听力情形以什么概率对应的概率值。附加地或者进一步替换地,也可以由另外的(第三)人员、例如听力学家等特别是借助一种远程访问来开始当前声学情形的记录。
优选借助听力设备或者必要时存在的其它终端设备(例如智能电话等)的可选地多个麦克风中的至少一个进行记录。
特别是在记录的开始的前两个变形方案(根据听力设备佩戴者的输入和/或自动基于可能有错误的分类)的情况下,在一个适宜的方法变形方案中,如果存在前述用于开始记录的两个事件中的一个,那么至少借助听力设备的可选地多个麦克风,在预先给定的“样本”或者“片段”持续时间上持续地、特别是滑动地创建(并且优选临时存储)记录,然后仅针对进一步的使用进行存储。这具有以下优点,即,在开始进行记录时,在某些情况下可能已经不再能够听见导致可能的(至少主观的)错误分类(或者导致未识别)的大部分声音印象(特别是声音)。因此,对于这种情况,提高在开始进行记录时相应的声音包含在记录中的概率。对于不开始进行记录的情况,适宜丢弃、优选持续丢弃先前的记录(特别是临时存储的记录)。
在一个适宜的方法变形方案中,将表征未知声学情形的信号,即特别是前面描述的实际(声学)情形的记录,存储在中央数据库(例如通过云服务提供的数据库)中,并且从该中央数据库特别是向相应的终端设备提供,以进行呈现。由此,有利地以简单的方式使得能够向多个用户呈现一致的、特别是相同的信号。
在另一个适宜的方法变形方案中,根据用户提供的关于信号源的说明,将未知声学情形,作为已知听力情形,特别是具体地作为已知听力情形的示例,可选地也作为“新产生的”听力情形,添加到训练数据中。
为了提高未知声学情形是特定听力情形的概率,在前述方法变形方案的一个有利的扩展方案中,向多个用户(例如听力设备佩戴者)呈现表征未知听力情形的信号,并且当预先给定的多数用户(例如向其呈现了该信号的一定百分比或者具体数量的用户)提供一致的关于该信号的信号源的说明时,才将该未知声学情形作为已知听力情形(或者作为已知听力情形的示例)添加到训练数据中。因此,有利地,在训练数据中将未知声学情形“登记”为已知听力情形,需要不仅仅是一个、而是多个听力设备佩戴者相同地辨别出该声学情形(特别是与相同的信号源相关联)。
在一个适宜的方法变形方案中,向用户或者相应的用户呈现来自已知信号源的多个声学信号,并且根据该用户关于与相应的信号相关联的信号源的说明,特别是根据其说明的正确性,来确定适应性值(Eignungswert)。在这种下,优选仅当针对用户确定的适应性值超过预先给定的值时,才向该用户呈现表征未知听力情形的信号。由此,有利地能够实现仅以高的可靠性将已知声学情形与“正确的”信号源相关联的用户提供关于未知声学情形的说明。由此,又可以提高尽可能接近现实地将未知声学情形与信号源(其也可以包括多个单源;例如嵌入自然声音等中的电气设备的声音)相关联的概率。
优选借助所谓的游戏化(Gamifikation)来确定前面描述的对相应的用户的适应性的“评估”。在此,特别是使用用户从游戏中已知的元素(特别是一种奖励系统),优选以便通过不同的激励来增加用户参与的动机。例如,在听力测试程序、听力训练程序或者游戏(其例如由听力设备制造商作为用于用户、特别是听力设备佩戴者的前面提到的类型的智能电话或者数字助理的软件应用来提供)的过程中,例如首先向用户呈现可以比较简单地识别出的声学信号,用户必须特别是通过从呈现的信号源的列表中进行选择,将这些声学信号与信号源相关联。在程序开始时,特别是在“初学者水平”或者“初学者等级”,与用于选择的“正确的”信号源并行地提供的信号源的“距离”(即特别是差异)比较大。例如,播放鼓的声音,并且除了鼓之外,还提供钢琴、长笛和吉他,作为另外的选择可能性。如果用户正确地进行了选择(正确地选择该音频示例或者多个音频示例中的一定的百分比),那么在相应的“更高的等级”,增大另外的选择可能性与正确的解决方案的距离和/或所呈现的信号的复杂度。例如,在播放行军鼓的声音时,提供铜鼓(Pauke)、康加鼓(Konga)和邦戈鼓(Bongos)作为另外的选择可能性。作为各个乐器的替换,特别是在“更高的”水平或者等级,也可以提供应当相应地保持分开的复杂的声音,例如具有不同的“附加物”、例如经过的有轨电车、挖掘机的交通声音,或者例如咖啡屋中、公共汽车中、街道上的不同的听力情形。如果用户完成了预先给定的数量的等级,那么适宜地提高其适应性值(例如根据其正确答案的总百分比)和/或将其理解为足够高。
优选(相对于前面提到的所需要的多数)附加地或者可选地替换地,当具有相应地超过目标值的适应性值的预先给定的数量的用户,提供一致的关于该信号的信号源的说明时,才将未知声学情形作为已知听力情形(或者作为已知听力情形的示例)添加到训练数据中。在此,可选地,该目标值高于前面提到的预先给定的值,从该预先给定的值开始,才首先向用户呈现表征未知听力情形的信号。也就是说,可选地,由此也可以对不同的用户的答案(特别是根据其适应性值)进行加权。
在一个适宜的方法变形方案中,将用户或者相应的用户的说明馈送至前面描述的或者附加的中央数据库,并且由在该数据库上实现的算法特别是关于适应性值进行评估。因此,以中央的方式确定相应的用户是否适合于对未知声学情形的可能的辨别,特别是确定其适应性值是否相应地可以理解为高。特别是当前面描述的程序(例如游戏)被设计为“在线程序”(即例如被设计为“在线游戏”)时,这是适宜的,由数据库向该程序提供相应的(首先已知的)“音频示例”。
替换地,特别是借助前面描述的程序,例如通过作为数据包(Paket)添加程序的已知的音频示例,来“离线地”确定适应性值。然后,适宜地,在等级足够高的情况下,可选地在征得用户同意之后,该程序与数据库建立连接,以调取该或者至少一个表征未知声学情形的信号,其必要时具有由数据库可选地根据第一分类创建的针对信号源的建议。
在一个适宜的方法变形方案中,给将该或者相应的前面描述的对实际情形的该或相应的的记录与元数据相关联。这些元数据特别是包含关于如下内容的信息:由分类器关联的听力情形的信息、(特别是借助位置传感器确定的)听力设备的当前位置(借助位置传感器确定)、背景噪声水平、可选地由此推导出的信噪比、与源的距离的估计值、听力设备和/或听力设备的运行操作软件的制造日期以及附加地或者替换地包含用于进行记录所使用的麦克风的数量(以及必要时麦克风的年龄)。可选地,附加地或者替换地,这些元数据还包含关于在记录期间实现进行的噪音消除、自语音处理等的信息。
此外,在一个优选的方法变形方案中,在呈现实际情形之前,将该或者相应的实际情形的记录,标准化为表征未知声学情形的信号。由此,特别是对于要向用户呈现多个未知声学情形的情况,能够实现不同的呈现的尽可能高的统一。但是,适宜地,如果该或者相应的记录不对应于预先给定的标准,并且也不能标准化,那么也丢弃、即特别是删除该记录。
在一个适宜的扩展方案中,在之前前面描述的标准化的范围内过程中,使该或者相应的记录(片段)关于其的(随时间上的)长度和/或其数据格式与适应额定格式相适配。例如,在最后一种下,可选地在相应的中央数据库上,将记录转换为可以由所有终端设备优选与平台无关地相同地处理、优选与平台无关的数据格式。作为用于相应的记录的长度,例如考虑使用2至和10秒之间、特别是大约3至7秒的时间段持续时间。
在另一个适宜的扩展方案中,在前面描述的标准化的过程中,基于元数据(例如推导出的信噪比、与声音源的距离的估计值、记录的长度、一个或者多个麦克风的堵塞程度、麦克风的年龄等),对该或者相应的记录(即片段)分配质量值。在此,优选仅向该或者相应的用户呈现具有足够高的质量值的记录。例如,由此,尤其是可以在呈现之前,丢弃如下记录,即,例如由于背景噪音覆盖所有有用信号、一个或者多个麦克风的堵塞程度高等,由此同样在记录中几乎不包含可用信息,因而这些记录比较“没有用”或者“无法识别”。特别是在前面提到的游戏化的应用中,这可以得到用户继续参与的动机,或者保持用户继续参与的动机足够高,因为用户不会面临(至少在主观上)无法解决的任务。优选借助自学习算法进行质量值的分配,自学习算法优选在相应的中央数据库上进行处理。在此,可选地,在多个步骤或者“水平”中,借助相应的对应地调整后的或者经过学习的自学习算法,通过借助相应的“更敏感”或者更准确的算法逐步挑选出没有用的记录,来进行选择。
在前面描述的标准化的又一另外的适宜的扩展方案中,附加地或者替换地,将多个记录的声学内容进行比较,并且对具有足够类似的声学内容的记录进行分组。换言之,优选形成听起来类似的记录的多个组。在一个简单的变形方案中,由听力设备侧的分类器例如根据初始的分类进行这种分组。为了提高准确性,附加地或者替换地,(优选在相应的数据库上)例如使用模式识别方法,模式识别方法使得能够对不同的记录的声学内容进行比较,并且优选也对不同的记录的声学内容进行比较。
可选地,前面提到的控制器是中央微控制器。但是优选控制器由分布式系统、例如通过一个或者必要时多个数据库和终端设备形成,其中,特别是在相应的数据库上评估用户的说明,并且创建用于分类器的训练数据。在此,优选前面描述的软件应用在终端设备上运行,或者至少以能够运行的方式安装在终端设备上。
优选听力系统(特别是作为多个终端设备中的一个)包括具有信号处理器的听力设备,优选在信号处理器上,特别是以(进行自学习并且经过训练的)算法的形式,实现前面描述的分类器。
在一个替换的实施方案中,听力系统包括中央分类器,中央分类器特别是构造为“云分类器”,并且优选在前面提到的中央数据库或者必要时也在另外的中央数据库上实现。在这种情况下,听力设备优选以前面描述的方式向云分类器发送(特别是具有元数据的)记录。云分类器使用通常比听力设备更丰富的系统资源(特别是计算能力和/或计算存储器),对记录进行分析,并且将分类结果传输回听力设备。
此外,在一个在数据保护方面有利的方法变形方案的范围内,丢弃包含语音、特别是能够识别出人员说出的单词和/或声音的片段,或者可选地也去除语音部分。
这里以及下面,连词“和/或”特别是应当理解为,借助该连词连结的特征不仅可以共同构造,而且也可以构造为彼此的替换。
附图说明
下面,借助附图详细说明本发明的实施例。在附图中:
图1以示意性的视图示出了听力系统,以及
图2以示意性的流程图示出了由听力系统执行的方法。
在所有附图中,彼此相应的部分始终设置有相同的附图标记。
具体实施方式
在图1中示意性地示出了听力系统1。在此,听力系统1包括多个单独的、即分别与听力设备佩戴者(或者:用户,没有详细示出)相关联的子系统2。在此,每个子系统2具有至少一个助听器(简称为“听力设备1”)和移动设备,移动设备在此相应地作为智能电话4示出。在此,相应的智能电话4形成相应的听力设备佩戴者的终端设备,并且被配置为用于与相应的听力设备3进行双向通信。在常规运行中,相应的听力设备3也与其相关联的智能电话4连接。
此外,在相应的智能电话4上安装有控制应用(简称为:“控制App”6),借助控制应用,例如可以在听力设备3上进行调节(或者设置),例如改变音量和/或切换听力程序。
此外,听力系统1具有至少一个中央数据库8,其被配置为用于,特别是通过因特网,与相应的子系统2的相应的智能电话4进行通信。在此,数据库8提供关于相应的听力设备3的信息,例如也提供固件更新以及控制App 6供下载。
在一个可选的实施例中,在数据库8上实现听力情形分类器(简称为:“分类器”),从而可以针对听力系统1的子系统2进行中央分类。在这种情况下,听力设备3通过智能电话4向数据库8发送关于存在的声学情形的数据。那里的分类器对这些数据进行分析,并且将分类结果,具体地将识别出、即存储并且根据示例“经过学习”或者经过训练的听力情形,发送回智能电话4,该听力情形又与存储在听力设备3上的听力程序相关联。在简单的实施方案中,智能电话4仅将该听力情形转发到听力设备3,并且听力设备3针对识别出的听力情形调整其信号处理(切换听力程序,例如从听力程序“谈话”切换为听力程序“看电视”)。
替换地,数据库8向智能电话4发送多个针对识别出的听力情形可能的“程序建议”(例如“个人娱乐”、“看电视”、“听音乐”),从而相应的听力设备佩戴者可以选择看起来适合于其的听力程序。然后,将该听力程序发送至听力设备3。
在一个替换的实施例中,在每个听力设备3中单独实现前面描述的分类器。也就是说,在这种情况下,对当前声学情形的分类在本地(或者也称为:“离线地”,因为不需要与数据库8连接)执行。
为了娱乐相应的听力设备佩戴者,数据库还提供软件应用、特别是游戏应用、特别是与倾听本身结合的游戏,即供下载。这些游戏特别是被设置并且构造为用于进行有趣的听力训练或者听力测试。在所示出的实施例中,这种游戏应用(简称为:游戏App 10)安装在所示出的智能电话4中的每一个上。该游戏App 10也被设置为用于进行听力训练。
为此,在游戏过程中,(在所示出的实施例中借助相应的听力设备3)向相应的听力设备佩戴者播放听力设备佩戴者必须辨别出的记录(即呈现声学信号)。为此,还在相应的智能电话4的显示器12上向听力设备佩戴者显示解决方案建议(具体地,正确的解决方案和至少一个替换的、但是“错误的”答案)供选择。如果听力设备佩戴者正确地识别出记录的内容(例如鼓的声音),那么在下一“回合”或者更高的等级中(例如在几次正确地回答之后才)增加困难程度。例如,记录的声学内容更复杂(例如两种乐器),和/或解决方案建议“更容易”与正确的解决方案混淆。
为了使得能够针对相应的听力设备佩戴者不满意当前声学情形的分类的情况,或者在分类器无法以足够的概率将情形与存储的听力情形相关联的情况下,事后学习下面称为“未知的”这种声学情形,听力系统1执行下面将根据图2详细示出的方法。
如果听力设备佩戴者确定分类器预先给定的听力情形和与所分配的听力程序相关联的设置,不产生主观上令人满意的声音印象,因此在听力设备3本身上或者在控制App6中改变听力设备设置(例如音量或者听力程序),或者如果分类器本身给出了错误分类的高的概率值(或者相应地相反,对于已知听力情形的存在,给出了低于极限值的概率值),那么在第一方法步骤20中,触发当前声学情形的记录。在此,首先本来就借助相应的听力设备3的至少一个麦克风,在滑动的时间窗上连续临时存储当前声学情形的记录。然而,在触发器停止时,又丢弃该记录。相反,在触发时,作为“片段(Snippet)”存储当前时间窗上(即触发之前和触发之后的时间段内)的记录,并且通过智能电话3、具体地通过控制App 6发送到数据库8。在此,对相应的记录添加元数据,元数据包含信噪比、听力设备和一个或者多个麦克风的年龄、进行记录使用的麦克风的数量以及分类的结果。
在随后的方法步骤30中,在数据库8中,将记录(即片段)标准化,即如果需要,将记录变换为与听力系统1连接的所有听力设备3可处理的数据格式,并且根据利用元数据传输的分类,分拣到具有其它记录的组中。此外,根据信噪比和一个或者多个麦克风的年龄确定质量值。如果该质量值(例如由于不存在或者几乎不能确定的有用信号部分)低于预先给定的值,那么数据库丢弃该记录。
如果质量值足够高,那么在另一个方法步骤40中,作为声学信号提供记录,用于由游戏App 10调取。
如果听力设备佩戴者在其智能电话4上玩游戏App 10,那么首先以前面描述的方式向听力设备佩戴者呈现已知声学情形的声学信号(方法步骤50),随后在方法步骤60中,查询关于声学信号(即所呈现的记录)的内容的说明。在前面描述的增加困难程度的情况下,在游戏App 10的范围内重复方法步骤50和60。在此,随着游戏App 10侧(或者还有数据库8侧)的游戏的相应的进展,增加该听力设备佩戴者的适应性值。如果该适应性值足够高(例如正确答案的份额为85%或者以上),那么在方法步骤70中,向听力设备佩戴者提供“特殊等级”,在该特殊等级中,听力设备佩戴者有望积极参与分类器的训练。
如果听力设备佩戴者接受该提供,那么向其播放未知声学情形的记录中的至少一个。在此,可选地,为听力设备佩戴者提供免费的输入面罩,用于其声学情形或者可能的答案的评估。将听力设备佩戴者的答案存储在数据库8中。
如果足够大的数量、具体地预先给定的数量(例如100个、500个、1000个或者更多个)的听力设备佩戴者,达到相应地高的适应性值,并且随后输出关于相同的未知声学情形的答案,那么数据库对关于相应的未知声学情形的这些答案进行比较。如果相同答案的百分比或者绝对数量超过预先给定的值,那么在方法步骤80中,数据库将相应的记录作为已知声学情形,与通过答案形成的听力情形一起进行存储,或者基于一致的答案,将记录与已经存在的听力情形相关联,来作为另外的训练示例。因此,借助实际情形,对用于分类器的训练数据进行更新。随后,在更新后(调整后)的训练数据的范围内,使用这样重新确定的训练示例或者新的听力情形(在后一种情况下,在优选事先由相应的开发人员制订相关联的听力程序的情况下),来对分类器进行训练。对于已经经过训练的分类器,在更新的过程中,使用更新后的训练数据。
本发明的主题不局限于前面描述的实施例。相反,本领域技术人员可以从前面的描述中推导出本发明的其它实施方式。
附图标记列表
1 听力系统
2 子系统
3 听力设备
4 智能电话
6 控制App
8 数据库
10 游戏App
12 显示器
20 方法步骤
30 方法步骤
40 方法步骤
50 方法步骤
60 方法步骤
70 方法步骤
80 方法步骤
Claims (16)
1.一种用于训练听力设备(3)的听力情形分类器的方法,其中,根据所述方法,
-借助终端设备(3、4)向用户呈现多个声学信号,
-要求所述用户针对所述或者相应的呈现的信号,提供关于信号源的说明,
-根据用户侧的关于所呈现的信号或者必要时所呈现的多个信号中的一个的说明,调整用于听力情形分类器的训练数据,并且借助训练数据,对听力情形分类器进行更新。
2.根据权利要求1所述的方法,
其中,所呈现的信号或者必要时所呈现的多个信号中的一个,形成表征听力情形分类器未知的声学情形的信号。
3.根据权利要求2所述的方法,
其中,表征未知声学情形的信号包括实际情形的记录。
4.根据权利要求3所述的方法,
其中,如果听力设备佩戴者提供表征对通过听力情形分类器进行的设置不满意的输入,和/或如果听力情形分类器仅能够以低于极限值的概率值,将经过训练的听力情形与实际情形相关联,那么进行实际情形的记录。
5.根据权利要求2至4中任一项所述的方法,
其中,将表征未知声学情形的信号存储在中央数据库(8)中,并且从所述中央数据库(8)提供,以进行呈现。
6.根据权利要求2至5中任一项所述的方法,
其中,根据所提供的关于信号源的说明,将未知声学情形作为已知听力情形添加到训练数据中。
7.根据权利要求6所述的方法,
其中,向多个用户呈现表征未知声学情形的信号,并且当预先给定的多数用户提供一致的关于所述信号的信号源的说明时,才将未知声学情形作为已知听力情形添加到训练数据中。
8.根据权利要求1至7中任一项所述的方法,
其中,向所述或者相应的用户呈现来自已知信号源的多个声学信号,并且根据用户关于与相应的信号相关联的信号源的说明,来确定适应性值,并且其中,仅当针对用户确定的适应性值超过预先给定的值时,向该用户呈现表征未知声学情形的信号。
9.根据权利要求1至8中任一项所述的方法,
其中,将所述或者相应的用户的说明,馈送至所述或者附加的中央数据库(8),并且由在该数据库(8)上实现的算法,特别是关于所述或者相应的用户的适应性值,对所述或者相应的用户的说明进行评估。
10.根据权利要求3至9中任一项所述的方法,
其中,对所述或者相应的实际情形的记录分配元数据,所述元数据具有关于如下内容的信息:由听力情形分类器关联的听力情形、听力设备的当前位置、背景噪声水平、与声音源的距离的估计值、听力设备(3)和/或操作软件的制造日期和/或进行记录使用的麦克风的数量。
11.根据权利要求3至10中任一项所述的方法,
其中,在呈现之前,将所述或者相应的实际情形的记录,标准化为表征未知听力情形的信号。
12.根据权利要求11所述的方法,
其中,在标准化的过程中,使所述或者相应的记录的长度和/或数据格式适应额定格式。
13.根据权利要求11或12所述的方法,
其中,在标准化的过程中,基于元数据,对所述或者相应的记录分配质量值,并且其中,仅向所述或者相应的用户呈现具有足够高的质量值的记录。
14.根据权利要求11至13中任一项所述的方法,
其中,对多个记录的声学内容进行比较,并且对具有足够类似的声学内容的记录进行分组。
15.一种听力系统(1),其包括至少一个终端设备(3、4)、听力情形分类器和控制器,被配置为用于执行根据权利要求1至14中任一项所述的方法。
16.根据权利要求15所述的听力系统(1),其包括听力设备(3),所述听力设备具有信号处理器,在所述信号处理器上实现所述听力情形分类器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019218808.7A DE102019218808B3 (de) | 2019-12-03 | 2019-12-03 | Verfahren zum Trainieren eines Hörsituationen-Klassifikators für ein Hörgerät |
DE102019218808.7 | 2019-12-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112911478A true CN112911478A (zh) | 2021-06-04 |
CN112911478B CN112911478B (zh) | 2022-10-21 |
Family
ID=73448795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011405751.3A Active CN112911478B (zh) | 2019-12-03 | 2020-12-03 | 用于训练听力设备的听力情形分类器的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11310608B2 (zh) |
EP (1) | EP3833052A1 (zh) |
CN (1) | CN112911478B (zh) |
DE (1) | DE102019218808B3 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021010997A1 (en) | 2019-07-17 | 2021-01-21 | Google Llc | Systems and methods to verify trigger keywords in acoustic-based digital assistant applications |
DE102019220408A1 (de) * | 2019-12-20 | 2021-06-24 | Sivantos Pte. Ltd. | Verfahren zur Anpassung eines Hörinstruments und zugehöriges Hörsystem |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1523219A2 (de) * | 2003-10-10 | 2005-04-13 | Siemens Audiologische Technik GmbH | Verfahren zum Nachtrainieren und Betreiben eines Hörgeräts und entsprechendes Hörgerät |
US20110051963A1 (en) * | 2009-08-28 | 2011-03-03 | Siemens Medical Instruments Pte. Ltd. | Method for fine-tuning a hearing aid and hearing aid |
DE102013205357A1 (de) * | 2013-03-26 | 2014-10-02 | Siemens Ag | Verfahren zum automatischen Einstellen eines Geräts und Klassifikator |
CN105519138A (zh) * | 2013-08-20 | 2016-04-20 | 唯听助听器公司 | 具有自适应分类器的助听器 |
US20160249144A1 (en) * | 2015-02-24 | 2016-08-25 | Sivantos Pte. Ltd. | Method for ascertaining wearer-specific use data for a hearing aid, method for adapting hearing aid settings of a hearing aid, hearing aid system and setting unit for a hearing aid system |
CN107431868A (zh) * | 2015-03-13 | 2017-12-01 | 索诺瓦公司 | 用于基于所记录的声音分类数据来确定有用听力设备特征的方法 |
CN108696813A (zh) * | 2017-04-03 | 2018-10-23 | 西万拓私人有限公司 | 用于运行听力设备的方法和听力设备 |
CN109391891A (zh) * | 2017-08-14 | 2019-02-26 | 西万拓私人有限公司 | 用于运行听力设备的方法和听力设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE59609754D1 (de) * | 1996-06-21 | 2002-11-07 | Siemens Audiologische Technik | Programmierbares Hörgerätesystem und Verfahren zum Ermitteln optimaler Parametersätze bei einem Hörhilfegerät |
DE60204902T2 (de) * | 2001-10-05 | 2006-05-11 | Oticon A/S | Verfahren zum programmieren einer kommunikationseinrichtung und programmierbare kommunikationseinrichtung |
US6862359B2 (en) * | 2001-12-18 | 2005-03-01 | Gn Resound A/S | Hearing prosthesis with automatic classification of the listening environment |
US7889879B2 (en) * | 2002-05-21 | 2011-02-15 | Cochlear Limited | Programmable auditory prosthesis with trainable automatic adaptation to acoustic conditions |
US7319769B2 (en) * | 2004-12-09 | 2008-01-15 | Phonak Ag | Method to adjust parameters of a transfer function of a hearing device as well as hearing device |
EP1691572B8 (en) * | 2005-02-09 | 2019-09-11 | Oticon A/s | Method and system for training a hearing aid using a self-organising map |
DK1906700T3 (da) * | 2006-09-29 | 2013-05-06 | Siemens Audiologische Technik | Fremgangsmåde til tidsstyret indstilling af et høreapparat og tilsvarende høreapparat |
WO2008083315A2 (en) * | 2006-12-31 | 2008-07-10 | Personics Holdings Inc. | Method and device configured for sound signature detection |
WO2008154706A1 (en) * | 2007-06-20 | 2008-12-24 | Cochlear Limited | A method and apparatus for optimising the control of operation of a hearing prosthesis |
WO2008084116A2 (en) * | 2008-03-27 | 2008-07-17 | Phonak Ag | Method for operating a hearing device |
US20130070928A1 (en) * | 2011-09-21 | 2013-03-21 | Daniel P. W. Ellis | Methods, systems, and media for mobile audio event recognition |
US9031663B2 (en) * | 2013-02-22 | 2015-05-12 | Cochlear Limited | Genetic algorithm based auditory training |
CA2921547C (en) * | 2013-08-20 | 2020-09-15 | Widex A/S | Hearing aid having a classifier |
EP3120578B2 (en) * | 2014-03-19 | 2022-08-17 | Bose Corporation | Crowd sourced recommendations for hearing assistance devices |
EP3264799B1 (en) * | 2016-06-27 | 2019-05-01 | Oticon A/s | A method and a hearing device for improved separability of target sounds |
US11785396B2 (en) * | 2016-12-30 | 2023-10-10 | Starkey Laboratories, Inc. | Listening experiences for smart environments using hearing devices |
US10536786B1 (en) * | 2018-06-27 | 2020-01-14 | Google Llc | Augmented environmental awareness system |
DE102019203786A1 (de) * | 2019-03-20 | 2020-02-13 | Sivantos Pte. Ltd. | Hörgerätesystem |
DE102020208720B4 (de) * | 2019-12-06 | 2023-10-05 | Sivantos Pte. Ltd. | Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems |
US11871184B2 (en) * | 2020-01-07 | 2024-01-09 | Ramtrip Ventures, Llc | Hearing improvement system |
-
2019
- 2019-12-03 DE DE102019218808.7A patent/DE102019218808B3/de active Active
-
2020
- 2020-11-12 EP EP20207333.4A patent/EP3833052A1/de not_active Withdrawn
- 2020-12-03 CN CN202011405751.3A patent/CN112911478B/zh active Active
- 2020-12-03 US US17/110,509 patent/US11310608B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1523219A2 (de) * | 2003-10-10 | 2005-04-13 | Siemens Audiologische Technik GmbH | Verfahren zum Nachtrainieren und Betreiben eines Hörgeräts und entsprechendes Hörgerät |
US20110051963A1 (en) * | 2009-08-28 | 2011-03-03 | Siemens Medical Instruments Pte. Ltd. | Method for fine-tuning a hearing aid and hearing aid |
DE102013205357A1 (de) * | 2013-03-26 | 2014-10-02 | Siemens Ag | Verfahren zum automatischen Einstellen eines Geräts und Klassifikator |
CN105519138A (zh) * | 2013-08-20 | 2016-04-20 | 唯听助听器公司 | 具有自适应分类器的助听器 |
US20160249144A1 (en) * | 2015-02-24 | 2016-08-25 | Sivantos Pte. Ltd. | Method for ascertaining wearer-specific use data for a hearing aid, method for adapting hearing aid settings of a hearing aid, hearing aid system and setting unit for a hearing aid system |
CN107431868A (zh) * | 2015-03-13 | 2017-12-01 | 索诺瓦公司 | 用于基于所记录的声音分类数据来确定有用听力设备特征的方法 |
CN108696813A (zh) * | 2017-04-03 | 2018-10-23 | 西万拓私人有限公司 | 用于运行听力设备的方法和听力设备 |
CN109391891A (zh) * | 2017-08-14 | 2019-02-26 | 西万拓私人有限公司 | 用于运行听力设备的方法和听力设备 |
Non-Patent Citations (1)
Title |
---|
DANIELE BARCHIESI, DIMITRIOS GIANNOULIS, DAN STOWELL, MARK D. PL: "Acoustic Scene Classification_ Classifying environments from the sounds they produce", 《IEEE SIGNAL PROCESSING MAGAZINE》 * |
Also Published As
Publication number | Publication date |
---|---|
US20210168535A1 (en) | 2021-06-03 |
CN112911478B (zh) | 2022-10-21 |
DE102019218808B3 (de) | 2021-03-11 |
US11310608B2 (en) | 2022-04-19 |
EP3833052A1 (de) | 2021-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110072434B (zh) | 用于辅助听力设备使用的声音声学生物标记的使用 | |
CN113812173B (zh) | 处理音频信号的听力装置系统及方法 | |
US9782131B2 (en) | Method and system for self-managed sound enhancement | |
JP4860748B2 (ja) | 補聴器のフィッティング方法,補聴器のフィッティング・システム,および補聴器 | |
US10356535B2 (en) | Method and system for self-managed sound enhancement | |
DK2109934T3 (en) | CUSTOMIZED SELECTION OF AUDIO PROFILE IN SOUND SYSTEM | |
CN1897766B (zh) | 助听器和调节助听器的相应方法 | |
US8447042B2 (en) | System and method for audiometric assessment and user-specific audio enhancement | |
CN112911478B (zh) | 用于训练听力设备的听力情形分类器的方法 | |
US11601765B2 (en) | Method for adapting a hearing instrument and hearing system therefor | |
US11882413B2 (en) | System and method for personalized fitting of hearing aids | |
US10334376B2 (en) | Hearing system with user-specific programming | |
CN108810778B (zh) | 用于运行听力设备的方法和听力设备 | |
CN108696813A (zh) | 用于运行听力设备的方法和听力设备 | |
US20190141462A1 (en) | System and method for performing an audiometric test and calibrating a hearing aid | |
DK1906702T4 (en) | A method of controlling the operation of a hearing aid and a corresponding hearing aid | |
US11627398B2 (en) | Hearing device for identifying a sequence of movement features, and method of its operation | |
KR100929617B1 (ko) | 네트워크를 이용한 청력도 기반 이퀄라이제이션 시스템 | |
CN111752522A (zh) | 用于听力设备的基于加速度计的音频源的选择 | |
AU2017202620A1 (en) | Method for operating a hearing device | |
KR102350890B1 (ko) | 휴대용 청력검사장치 | |
US20210177309A1 (en) | Method for determining the auditory threshold of a test subject, hearing aid system, method for setting hearing aid parameters and computer readable medium for performing the method | |
CN113766403B (zh) | 一种助听器适应性训练纠正方法及装置 | |
WO2023193686A1 (zh) | 用于听力辅助设备的监控方法和装置 | |
US20240107248A1 (en) | Headphones with Sound-Enhancement and Integrated Self-Administered Hearing Test |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |