CN111201802A - 听力假体中的层次环境分类 - Google Patents
听力假体中的层次环境分类 Download PDFInfo
- Publication number
- CN111201802A CN111201802A CN201880066429.7A CN201880066429A CN111201802A CN 111201802 A CN111201802 A CN 111201802A CN 201880066429 A CN201880066429 A CN 201880066429A CN 111201802 A CN111201802 A CN 111201802A
- Authority
- CN
- China
- Prior art keywords
- classification
- sound
- hearing prosthesis
- environment
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007613 environmental effect Effects 0.000 title description 8
- 230000005236 sound signal Effects 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 47
- 239000007943 implant Substances 0.000 claims description 47
- 230000000638 stimulation Effects 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 5
- 208000009205 Tinnitus Diseases 0.000 claims description 4
- 231100000886 tinnitus Toxicity 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 22
- 238000013507 mapping Methods 0.000 description 10
- 206010011891 Deafness neurosensory Diseases 0.000 description 6
- 208000009966 Sensorineural Hearing Loss Diseases 0.000 description 6
- 238000011045 prefiltration Methods 0.000 description 6
- 231100000879 sensorineural hearing loss Toxicity 0.000 description 6
- 208000023573 sensorineural hearing loss disease Diseases 0.000 description 6
- 206010011878 Deafness Diseases 0.000 description 5
- 210000003477 cochlea Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 230000008140 language development Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 208000000781 Conductive Hearing Loss Diseases 0.000 description 3
- 206010010280 Conductive deafness Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 208000023563 conductive hearing loss disease Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000002768 hair cell Anatomy 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Substances [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 231100000893 auditory nerve damage Toxicity 0.000 description 1
- 210000003030 auditory receptor cell Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000008133 cognitive development Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000000959 ear middle Anatomy 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000002847 impedance measurement Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 230000010004 neural pathway Effects 0.000 description 1
- 210000000118 neural pathway Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/75—Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
Abstract
本文提出了用于生成在听力假体处接收的一组声音信号的层次分类的技术。层次分类包括与在听力假体处接收的一组声音信号相关联的声音环境的多个嵌套分类,包括主分类和各自表示声音环境的不同特性的一个或多个二次分类。主分类表示声音环境的基本分类,而二次分类限定相关联的主分类和/或其它二次分类的子类别/细分。
Description
背景
技术领域
本发明大体上涉及听力假体中的层次环境分类。
背景技术
听力损失可能由许多不同原因造成,通常为两种类型:传导型和/或感觉神经型。当例如听骨链或耳道损伤阻碍了外耳和/或中耳的正常机械路径时,就发生传导型听力损失。当存在内耳损伤或从内耳到脑部的神经路径损伤时,会发生感觉神经型听力损失。
患有传导型听力损失的个体通常可能保留一定形式的残余听力,因为耳蜗中的毛细胞可能未受到损害。因而,患有传导型听力损失的个体通常接收产生耳蜗流体运动的听觉假体。此类听觉假体包括例如声学听力辅助装置、骨传导装置和直接声学刺激器。
然而,在很多全聋的人中,耳聋的原因是感觉神经型听力损失。患有一些形式的感觉神经型听力损失的人无法从产生耳蜗流体的机械运动的听力假体适当获益。这样的个体可以受益于可植入听觉假体,其以其他方式(例如,电、光学等)刺激接受者的听觉系统的神经细胞。当感觉神经型听力损失是由于将声音信号转换成神经脉冲的耳蜗毛细胞不存在或破坏造成时,通常建议耳蜗植入物。听觉脑干刺激器是另一类刺激听觉假体,其也可以在接受者因听觉神经损坏而经历感觉神经型听力损失时建议。
某些个体仅受到部分感觉神经听力损失,因此保留至少一些残余听力。这些个体可能是电声听觉假体的候选者。
发明内容
在一方面,提供了一种方法。所述方法包括:在听力假体处:接收一组声音信号;从所述一组声音信号确定与所述声音信号相关联的当前声音环境的主分类;以及从所述一组声音信号确定所述当前声音环境的一个或多个二次分类,其中所述一个或多个二次分类是所述主分类的衍生物。
在另一方面,提供了一种听力假体。所述听力假体包括:一个或多个输入元件,所述一个或多个输入元件被配置成接收至少一组声音信号;存储器;以及一个或多个处理器,所述一个或多个处理器耦合到所述存储器和所述一个或声音输入元件,且被配置成:将所述一组声音信号转换成一个或多个输出信号,以用于将刺激递送至所述听力假体的接受者,以及生成所述至少一组声音信号的层次分类,其中,所述层次分类包括与所述至少一组声音信号相关联的声音环境的多个嵌套分类。
在另一方面,提供了一种方法。所述方法包括:在听力假体处:接收一组声音信号;将所述一组声音信号转换成一个或多个输出信号,以用于将刺激递送至所述听力假体的接受者;以及生成所述一组声音信号的层次分类,其中,所述层次分类包括与所述声音信号相关联的声音环境的多个嵌套分类。
附图说明
在本文中结合附图描述本发明的实施例,其中:
图1A是示出根据本文提出的某些实施例的耳蜗植入物的示意图;
图1B是图1A的耳蜗植入物的框图;
图1C是示出图1A的耳蜗植入物的控制单元的一个实施例的示意图,控制单元被配置成实施本文提出的层次环境分类技术;
图2是根据本文提出的某些实施例的完全可植入耳蜗植入物系统的框图;
图3A是示出被配置成实施本文提出的层次环境分类技术的听力假体的另外细节的功能框图;
图3B是示出根据本文提出的某些实施例的层次环境分类模块的另外细节的功能框图;
图4A是根据本文提出的实施例的可以由层次环境分类模块实现的层次分类结构的示意图;
图4B是示出根据图4A的一个实施例在一段时间内生成的层次分类数据集的示例性信息内容的示意图;
图5和图6是示出根据本文提出的某些实施例的示例性二次分类的示意图;
图7是根据本文提出的某些实施例的方法的流程图;以及
图8是根据本文提出的某些实施例的另一方法的流程图。
具体实施方式
本文提出了用于生成在听力假体处接收的一组声音信号的层次分类的技术。层次分类包括与所述一组声音信号相关联的声音环境的多个嵌套分类。与所述一组声音信号相关联的声音环境可以为听力假体所位于的周围环境(即,当声音信号是周围声音信号时)和/或非周围声音环境(即,当声音信号是所接收的非周围声音信号时,例如,无线音频信号等)。声音环境的多个嵌套分类包括主分类和一个或多个二次分类,二次分类中的每一个表示声音环境的不同特性。主分类表示声音环境的基本分类,而二次分类限定相关联的主分类和/或其它二次分类的子类别/细分。
存在许多不同类型的可实施本发明的实施例的听力假体。然而,仅为了便于说明,主要参考一种类型的听力假体,即耳蜗植入物来描述本文提出的技术。应当领会,本文提出的技术可以用于其他听力假体,例如听觉脑干刺激器、听力辅助装置、电声听力假体等。
图1A是配置成实现本发明的实施例的示例性耳蜗植入物100的示意图,而图1B是耳蜗植入物100的框图。为了便于说明,将一起描述图1A和图1B。
耳蜗植入物100包括外部部件102和内部/可植入部件104。外部部件102直接或间接地附接到接受者的身体,并且通常包括外部线圈106,以及通常相对于外部线圈106固定的磁体(图1中未示出)。外部部件102还包括用于在声音处理单元112处接收声音信号的一个或多个输入元件113。在此实例中,一个或多个输入元件113包括声音输入元件108(例如,由接受者的外耳110定位的麦克风、电传线圈等)、数据输入元件109(例如,通用串行总线(USB)端口、电缆端口等)和无线收发器111(例如,以接收无线声音/音频信号),它们各自位于声音处理单元中、位于声音处理单元上或附近。
例如,声音处理单元112还包括至少一个电池107、射频(RF)收发器121和控制单元125。控制单元125包括声音处理器127和层次环境分类模块140。声音处理器127被配置成将由声音输入108生成的电信号转换成经处理信号131。
如下文进一步描述的,层次环境分类模块140被配置成评估/分析由耳蜗植入物100的一个或多个输入元件(例如,声音输入元件108)接收的一组声音信号的属性。基于所述一组声音信号的分析,层次环境分类模块140被配置成生成所述一组声音信号的“层次分类”。层次分类可包括耳蜗植入物100的声音环境的主分类和是主分类的衍生物的一个或多个相关联的二次分类。也就是说,一个或多个二次分类被相关联的主分类涵盖,并对主分类进行子分类。
可植入部件104包括内部/可植入线圈122、植入主体114、引线区116和细长耳蜗内刺激组件118。如图1B中所示,植入主体114包括刺激器单元120和射频(RF)接口电路124。RF接口电路124连接到可植入线圈122,并且通常连接到相对于内部线圈122固定的磁体(未示出)。
外部部件102和可植入部件104中的磁体有利于外部线圈106与可植入线圈122的操作对准。线圈的操作对准使可植入线圈122能够从外部线圈106接收电力和/或数据。更具体地,在某些实例中,RF收发器121被配置成经由外部线圈106和可植入线圈122之间的RF链路将电信号(例如,电力和数据)传输至可植入线圈122。可植入线圈122通常是由多匝电绝缘单股或多股铂丝或金丝组成的线天线线圈。可植入线圈122的电绝缘由柔性模制件(例如,硅酮模制件)提供。然而,各种类型的能量传输,例如红外(IR)、电磁、电容和电感传输可以用于将电力和/或数据从外部装置传输到耳蜗植入物,并且因此,图1A和1B仅示出了一种示例性布置。
细长刺激组件118被配置成至少部分地植入在耳蜗130中,并且包括多个纵向间隔开的耳蜗内电刺激触点(电极)128,该触点共同形成触点阵列126。刺激组件118延伸穿过耳蜗130中的开口(例如,内耳开窗132、圆形窗134等),并具有经由引线区116连接到刺激器单元120的近端,所述引线区延伸穿过乳突骨119。引线区116将刺激组件118联接到植入主体114,并且更具体地,联接到刺激器单元120。
如所指出,声音处理单元112中的声音处理器127被配置成执行声音处理和编码以将检测到的声音转换成经处理声音信号131。这些经处理声音信号131经由外部线圈106和可植入线圈122之间的RF链路发送至可植入部件104。刺激器单元120被配置成利用经处理声音信号131来生成电刺激信号,所述电刺激信号经由一个或多个刺激触点128递送至接受者的耳蜗。这样,耳蜗植入物刺激接受者的听神经细胞,绕过通常将声振动转化为神经活动的缺失或有缺陷的毛细胞。
如所指出,声音处理单元112包括控制单元125,所述控制单元包括声音处理器127和层次环境分类模块140。图1C是示出根据本文提出的某些实施例的控制单元125的一个布置的图。在此实例中,控制单元125包括一个或多个处理器135和存储器162。存储器162包括声音处理器逻辑127和层次环境分类逻辑140。也就是说,在此实例中,声音处理器127和层次环境分类模块140被实施为控制单元125的软件元件。如下文进一步描述的,存储器162还可以存储与层次环境分类模块140相关联的其他数据。
存储器162可以是只读存储器(ROM)、随机存取存储器(RAM)或另一类型的物理/有形存储器存储装置。因此,一般来说,存储器185可包括用编码有软件的一个或多个有形(非暂时性)计算机可读存储介质(例如,存储器装置),所述软件包括计算机可执行指令(即声音处理器逻辑127和层次环境分类逻辑140),在所述软件由一个或多个处理器135执行时,所述一个或多个处理器可操作以执行本文中参考声音处理器127和层次环境分类模块140描述的操作。
如所指出,图1C示出了声音处理器127和层次环境分类模块140的软件实施。然而,应当理解,与声音处理器127和层次环境分类模块140相关联的一个或多个操作可以在一个或多个专用集成电路(ASIC)中用数字逻辑门部分或完全地实现。
图1A-1C示出了耳蜗植入物100包括外部部件的布置。然而,应当理解,本发明的实施例可以在具有替代布置的耳蜗植入物系统中实施。例如,图2是被配置成实施本发明的实施例的示例性完全可植入耳蜗植入物200的功能框图。由于耳蜗植入物200是完全可植入的,耳蜗植入物200的所有部件被配置成植入在接受者的皮肤/组织205下方。因为所有部件都是可植入的,因此耳蜗植入物200不需要外部装置在至少有限的时间段内操作。外部装置202可以用于例如为内部电源(电池)207充电。外部装置202可以是专用充电器或常规的耳蜗植入物声音处理器。
如上文参考图1所述,耳蜗植入物200包括植入主体(主要可植入部件)214、用于接收声音信号的一个或多个输入元件213(例如,一个或多个可植入麦克风208和无线收发器211)、可植入线圈222和细长耳蜗内刺激组件118。麦克风208和/或可植入线圈222可以设置在植入主体214中或电连接至所述植入主体。植入主体214还包括电池207、RF接口电路224、控制单元225和刺激器单元220(其类似于图1A-1C的刺激器单元120)。控制单元225可以类似于图1A-1C的控制单元125,并且包括声音处理器227和层次环境分类模块240。
一个或多个可植入麦克风208被配置成接收声音信号。声音处理器227被配置成执行声音处理和编码以将所接收/检测的声音信号(例如,由麦克风208接收)转换成经处理的声音信号231。如上所述,图1A和图1B示出了外部部件102包括声音处理器127的实施例。因此,在图1A和图1B的说明性布置中,经处理的声音信号131经由在外部线圈106和内部线圈122之间的RF链路提供给植入的刺激器单元120。然而,在图2的实施例中,声音处理器227被植入到接受者中。因而,在图2的实施例中,经处理的声音信号231不横穿RF链路,而是直接提供到刺激器单元220。刺激器单元220被配置成利用经处理的声音信号231生成电刺激信号,所述电刺激信号通过一个或多个刺激通道递送至接受者的耳蜗。
如所指出,植入主体214包括层次环境分类模块240。类似于图1A-图1C的布置,层次环境分类模块240被配置成评估/分析由一个或多个输入元件(例如,可植入麦克风208或无线收发器211)接收的一组输入声音信号的属性,并且基于分析确定该组声音信号的多个“层次分类”。
本文提出的层次环境分类技术可以在许多不同的听力假体中实施,例如包括外部部件的听力假体、完全可植入听力假体等。然而,为便于描述,层次环境分类技术的另外细节大体上将参照图1A-1C的耳蜗植入物100来描述。
更具体地,图3A是示出耳蜗植入物100的声音处理单元112的另外细节的功能框图。为便于说明,已从图3A省略与声音处理和层次环境分类技术无关的元件。
如所指出,耳蜗植入物100包括一个或多个输入元件113。在图3A的实例中,输入元件113包括第一麦克风108A、第二麦克风108B和至少一个辅助输入115(例如,音频输入端口、电缆端口、电传线圈、无线收发器等)。如果不以电气形式存在,声音输入元件113将所接收/输入的声音信号转换成电信号153,在本文中称为电输入信号,其表示所接收的声音信号。如图3A中所示,电输入信号153包括来自麦克风108A的电输入信号153A、来自麦克风108B的电输入信号153B和来自辅助输入115的电输入信号153C。电输入信号153提供给预滤波器组处理模块154。
预滤波器组处理模块154被配置成根据需要组合从声音输入元件108接收的电输入信号153,并准备那些信号以用于后续处理。然后,预滤波器组处理模块154生成预滤波输出信号155,该输出信号如下文进一步描述的是进一步处理操作的基础。预滤波输出信号155表示在给定的时间点在声音输入元件108处接收到的总声音信号。
声音处理单元112包括声音处理器127,所述声音处理器通常被配置成执行声音处理并且编码以将预滤波输出信号155转换成表示电刺激以递送至接受者的输出信号。通常,声音处理器127执行表示一系列操作,这些操作由执行来自控制单元125(图1C)的存储器162的声音处理逻辑135的一个或多个处理器137执行。在图3A中,声音处理器127的操作由块154、156、158、160和162表示,这些块共同组成声音处理路径151。
声音处理路径151包括滤波器组模块(滤波器组)156、后滤波器组处理模块158、通道选择模块160以及通道映射和编码模块162。在操作中,由预滤波器组处理模块154生成的预滤波输出信号155提供至滤波器组模块156。滤波器组模块156生成合适的一组带宽有限通道或频率分区,每个频率分区包括所接收的声音信号的频谱分量。也就是说,滤波器组模块156包括多个带通滤波器,所述带通滤波器将预滤波输出信号155分离成多个分量/通道,每一个都携带原始信号的频率子带(即,所接收的声音信号的频率分量)。
由滤波器组模块156创建的通道在本文中有时被称为声音处理通道,并且在每一个声音处理通道内的声音信号分量在本文中有时被称为带通滤波信号或通道化信号。由滤波器组模块156创建的带通滤波或通道化信号在通过声音处理路径151时被处理(例如,修改/调节)。因此,带通滤波或通道化信号在声音处理路径151的不同阶段被不同地提及。然而,将了解到的是,在本文中提到带通滤波信号或通道化信号可以指在声音处理路径151内的任何点处所接收声音信号的频谱分量(例如,预处理、处理、选择等)。
在滤波器组模块156的输出处,通道化信号在本文中最初被称为预处理信号157。由滤波器组模块156生成的通道和预处理信号157的数目“m”可以取决于许多不同的因素,包括但不限于植入设计、有源电极的数目、编码策略和/或接受者偏好。在某些布置中,二十二(22)个通道化信号被创建,声音处理路径151被认为包括22个通道。
预处理信号157提供给后滤波器组处理模块158。后滤波器组处理模块158被配置成对预处理信号157执行许多声音处理操作。例如,这些声音处理操作包括在一个或多个通道中用于听力损失补偿的通道化增益调整(例如,对声音信号的一个或多个离散频率范围的增益调整)、降噪操作、语音增强操作等。在执行声音处理操作之后,后滤波器组处理模块158输出多个经处理通道化信号159。
在图3A的具体布置中,声音处理路径151包括通道选择模块160。通道选择模块160被配置成根据一项或多项选择规则执行通道选择过程,以选择“m”个通道中的哪个应当用在听力补偿中。在通道选择模块160处选择的信号在图3A中由箭头161表示,并且在本文中被称为选择的通道化信号,或者更简单地称为选择信号。
在图3A的实施例中,通道选择模块156选择用于生成电刺激以递送至接受者的‘m’个经处理通道化信号159中的子集‘n’(即,声音处理通道从“m”个通道减少到“n”个通道)。在一个具体实例中,从“m”个可用的组合通道信号/掩蔽信号产生“n”个最大幅值通道(极大值),其中“m”和“n”在假体的初始适配和/或操作期间可编程。应当理解,可以使用不同的通道选择方法,并且不限于极大值选择。
还应当理解,在某些实施例中,通道选择模块160可以被省略。例如,某些布置可以使用连续交替采样(CIS)、基于CIS-或其他非通道选择声音编码策略。
声音处理路径151还包括通道映射模块162。通道映射模块162被配置成将选定信号161的振幅(或在不包括通道选择的实施例中的经处理通道化信号159)映射到一组输出信号(例如,刺激命令),所述一组输出信号表示将递送至接受者的电刺激信号的属性,以便诱发对所接收声音信号的至少一部分的感知。例如,此通道映射可以包括阈值和舒适级映射、动态范围调整(例如,压缩)、音量调整等,并且可涵盖各种顺序和/或同时刺激策略的选择。
在图3A的实施例中,表示电刺激信号的一组刺激命令被编码以作为经处理声音信号131(图1B)经皮传输(例如,经由RF链路)到可植入部件104。在图3A的具体实例中的通道映射模块162处执行此编码操作。因而,通道映射模块162在本文中有时被称作通道映射和编码模块,并且作为输出块操作,其被配置成将多个通道化信号转换成多个输出信号163。
图3A还示出了层次环境分类模块140和存储器162。为便于描述,层次环境分类模块140被描述为与存储器162分离的独立元件。然而,如上所述,层次环境分类模块140可以包括存储在存储器162中的逻辑(软件),其可由一个或多个处理器135(图1C)执行。
层次环境分类模块140(例如,执行存储在存储器162中的层次环境分类逻辑140的处理器135)被配置成评估/分析一组输入声音信号的属性,并且基于分析,确定该组声音信号的“层次分类”。如本文所使用,“层次分类”是由相同组的声音信号生成的但表示声音信号的不同特性的一组链接/相关的“嵌套”分类。一组层次分类包括“主”或“主要”分类以及被“嵌套”在一起的一个或多个“二次”或“衍生”分类。如本文中所使用,当一个或多个二次分类由相关联的主分类涵盖时(即重叠且不相互排斥关系),一个或多个二次分类与相关联的主分类“嵌套”,一个或多个二次分类对关联的主分类进行子分类(即进一步限定主分类的特定特性/属性)。如下文进一步描述的,主分类表示声音环境的基本分类(例如,耳蜗植入物100所位于的周围环境和/或所接收的声音信号的环境),而一个或多个二次分类限定相关联主分类的子类别,并且在某些实例中,限定其它二次分类的子类别。如下文进一步描述的,层次环境分类模块140生成层次分类输出161,其表示/包括所确定的一组声音信号的层次分类。
如图3A中所示,层次分类输出161存储在存储器162中。随着时间的推移,多个层次分类输出161由层次环境分类模块140生成并存储在存储器162中,以形成层次分类数据集/日志164。如下文进一步描述的,层次分类数据集164可以用于许多不同目的。在一个实施例中,层次分类数据集164可用于设定或调整耳蜗植入物100的一个或多个参数,并因此改善耳蜗植入物100的性能。
更具体地,层次环境分类模块140(例如,执行存储在存储器162中的层次环境分类逻辑140的处理器135)或不同于分类模块的另一处理模块,例如仅被设计为分析数据日志的模块,被配置成分析在一个时间段(例如,一秒、一分钟、一小时、一天、一星期、一个月等)内从在声音输入108处接收的多组不同声音信号生成的层次分类数据集164。所分析的时间帧可以变化,并且在某些实例中,可以基于短期因素(例如,对特定声音反应的增益需求)在非常短的时间帧(例如,几秒钟)内调整声音处理选项。在更长的时间段内,所记录的数据可以提供关于环境或长期趋势的信息,因此所得的调整可以被视为“微调”而不是对特定事件的反应。数据日志也可以由临床专家或机器学习算法分析,以确定趋势、识别问题等。缓慢反应的一些实例可以是分析许多天内的数据日志,并且与其他输入信号(诸如噪声和音乐)相比,查看已经捕获多少外部语音。该分析可以从这个信息决定声音路径是否应该被优化以相比其他信号(例如,具有更大量的语音增强或降噪)更加强语音。或者,如果音乐比外部语音或自身语音高很多百分比,则可能会对于更基于音乐的信号输入而不是语音优化声音路径。此类改变将依赖于在长时间段内收集的数据。
如所指出,基于此分析(由图3A中的箭头163表示),层次环境分类模块140可以基于层次分类数据集164(即,基于随时间推移生成的包括在数据集内的嵌套分类)自动调适/调整声音处理路径151的一个或多个操作。如虚线箭头165所表示,层次环境分类模块140可以调整预滤波器组处理模块154、滤波器组模块156、后滤波器组处理模块158、通道选择模块160和/或映射和编码模块162的操作以调整由耳蜗植入物100生成的表示刺激的输出信号的方式。因此,在某些实施例中,递送至接受者的刺激基于随时间推移生成的嵌套分类,所述分类作为层次分类数据集164的一部分存储。换句话说,层次环境分类模块140可以被配置成实施自动化学习或调适过程以响应于不同的环境条件来调整声音处理器127的设置/参数(即,假体学习在存在某些类别和子类别时的适当设置)。
在图3A的实例中,使用来自麦克风108A的电输入信号153A执行层次环境分类模块140的操作。在某些实施例中,麦克风108A是提供来自所有方向的完整语音输入集的前向面向的全向麦克风。然而,应当理解,层次环境分类模块140可以使用所接收的声音信号的其他版本(诸如由预滤波器组处理模块154生成的预滤波输出信号155、预处理信号157、来自辅助输入的电信号153C(例如,来自有线或无线附件的信号))、在耳蜗植入物100中可用的其他音频信号和/或其组合生成层次分类。
图3B是示出图3A的层次环境分类模块140的另外细节的功能框图。如图所示,层次环境分类模块140包括主分类器块142和多个二次分类器块144(1)-144(N)。主分类器块142和多个二次分类器块144(1)-144(N)在本文中有时被统称为“层次分类器块”,因为由二次分类器块144(1)-144(N)做出的每个子类别是由主分类器块142(即,彼此操作链接的多个分类结构)做出的一个或多个主分类的衍生物或函数。也就是说,如下文进一步描述,主分类器块142和多个二次分类器块144(1)-144(N)各自执行特定类型的分类,但二次分类器块144(1)-144(N)的二次分类与主分类、在某些实施例中与一个或多个其它二次分类中的至少一个(即,子分类)有关。
根据本文提出的某些实施例,主分类器块142被配置成使用一组声音信号以“分类”或“归类”声音信号的声音环境。主分类器块142可以被配置成将声音环境分类成多个类/类别。在一个说明性实例中,主分类器块142被配置成将声音环境分类为六(6)种类别中的一种,包括“语音”、“噪声”、“噪声中的语音”、“音乐”、“风”和“安静”。
在某些实施例中,主分类器块142和二次分类器块144(1)-144(N)各自操作以使用从传入声音信号提取多个特征的一类决策结构(例如,决策树)确定所述一组声音信号的类别或子类别,相对于预确定值分析(例如,比较)所提取信号的特征值(例如,将特征值与预确定阈值进行比较),并基于分析结果,确定所述一组声音信号的最可能类别或子类别。
在主分类器块142和每一个二次分类器块144(1)-144(N)内从所述一组声音信号提取的多个信号特征取决于由相关联分类器块做出的特定分类/归类。例如,主分类器块142可提取信号特征,例如调幅、频谱分布、谐波、振幅发生等,而二次分类器块144(1)-144(N)可提取相同或不同信号特征。还应了解,主分类器块142和/或一个或多个二次分类器块144(1)-144(N)可提取信号特征或不同信号特征的重叠集合。
如所指出的,在提取信号特征之后,主分类器块142和每一个二次分类器块144(1)-144(N)分析相关联的提取信号特征以生成关于从其提取特征的所述一组声音信号的特定分类的确定。通常,通过分类器块做出的确定是从特征空间到决策空间的映射,其中,对于特征空间中的每个点,定义对应的类别。通常通过使用声音数据的预训练发现类/子类之间的边界。例如,此确定可以利用:基于规则的分类(例如,分类之间的边界与特征轴线正交的线);最小距离分类(例如,测量观察与所有类的距离,并且选择最短距离的类);贝叶斯分类(例如,使用类别特定概率的直方图进行分类)、一个或多个神经网络、一个或多个隐藏马尔可夫模型(HMM)等。
如所指出,主分类器块142和每一个二次分类器块144(1)-144(N)生成相关联的特定分类。由主分类器块142生成的主分类由图3B中箭头146表示,而由二次分类器块144(1)-144(N)产生的二次分类分别由图3B中箭头148(1)-148(N)表示。
在某些实例中,主分类器块142和每一个二次分类器块144(1)-144(N)是单独分类器,其独立地且并行操作,以生成相应的主分类146和二次分类148(1)-148(N)。在下文进一步描述的其它实施例中,二次分类器块144(1)-144(N)可在多个延时阶段中操作,其中二次分类器块144(1)-144(N)中的某一个或多个仅响应于具体的主分类器146或具体的其它二次分类148(1)-148(N)被激活(例如,通过仅在主分类器块识别特定主分类时计算子类别来节省处理周期和/或可基于可能导致主分类器块确定新的主分类的增大的概率被提前占先)。在又一些其它实施例中,主分类器块142和每一个二次分类器块144(1)-144(N)可以是单个多级分类器的一部分,所述单个多级分类器可并行或在多个延时阶段生成主分类和二次分类。
在图3B的实例中,层次环境分类模块140包括关系块150,其分析主分类146和相对于彼此的二次分类148(1)-148(N)。具体地,关系块150被配置成使用二次分类148(1)-148(N)中的一个或多个来对主分类146进行子分类。换句话说,关系块150操作以使一个或多个二次分类148(1)-148(N)与主分类相关联,并且因此限定由主分类表示的声音环境的特定特征。关系块150还可以使用二次分类148(1)-148(N)中的至少一个对二次分类148(1)-148(N)中的一个或多个其它分类进行子分类(即,关系块150可以操作以使二次分类148(1)-148(N)中的一个或多个与二次分类中的一个或多个其它分类相关联)。在某些实例中,当主分类是“语音”时,二次分类(例如,自身相对外部语音)仅由关系块150“记录”。对于其他类别和子类别是类似的
关系块150生成层次分类输出161,如上所述,所述层次分类输出包括所确定的所述一组声音信号的层次分类。同样如上所述,层次分类输出161作为层次分类数据集164的一部分存储在存储器162中。下面进一步描述了关于对层次分类数据集164进行分析的更多细节。另外,通过以下说明性实例,可以进一步理解层次环境分类模块140的操作和对层次分类数据集164的分析。
首先参考图4A,示出了根据本文提出的实施例的可以在层次环境分类模块(诸如层次环境分类模块140)内实现的层次分类结构455的示意图。在此实例中,层次分类结构455包括声音环境的五(5)个主分类446。五个主分类446包括“语音”分类446(1)、“噪声中的语音”分类446(2)、“音乐”分类446(3)、“安静”分类446(4)和“噪声”分类446(5)。这五个主分类表示在此特定实例中相关联的听力假体可从一组声音信号检测的五种类型的声音环境。也就是说,在此实例中,层次环境分类模块包括主分类块,所述主分类块被配置成分析一组声音信号以确定在接收所述一组声音信号时听力假体处于这五个环境中的哪一个环境。如本文中别处所述,这些具体的声音环境分类是说明性的。
在图4A的实例中,层次分类结构455还包括两(2)个二次分类448。两个二次分类包括“自身语音”分类448(1)和“外部语音”分类448(2)。自身语音分类448(1)和外部语音分类448(2)分别是语音分类446(1)和噪声中的语音分类446(2)两者的衍生物且进一步限定所述两者。也就是说,如果主分类器确定听力假体位于语音环境或噪声中的语音环境中,那么环境被子分类为自身语音(即,在一组声音信号内听力假体接受者正在说话)或外部语音(即,在一组声音信号内除了听力假体接受者以外的人正在说话)。
在图4A的实施例中,自身语音分类448(1)和外部语音分类448(2)由单个二次分类器块生成。因此,图4A表示这样的实施例,其中层次环境分类模块包括具有五个相关联类别的一个主分类器块和具有两个相关联子类别的一个二次分类器块。如本文中其它地方所描述,仅使用一个二次分类器块是说明性的,且其它实施例可包括多个主分类和/或多个二次分类器。还应了解,本文提出的实施例可包括两个以上级别的分类。
如所指出,针对单组声音信号(即,由听力假体的声音输入检测/接收的一个或多个声音)生成主分类446,并且在某些情况下生成二次分类448。随着时间的推移,可由听力假体的声音输入检测多组不同的声音信号。因此,随着时间推移,层次环境分类模块还可以从不同组的声音信号生成多个主分类446,并且根据它生成多个二次分类448,其被存储(例如,在存储器中)作为层次分类数据集的一部分(例如,图3A的层次分类数据集164)。
图4B是示出根据图4A的实施例在一段时间内生成的层次分类数据集的信息内容的示意图。更具体地,图4B包括圆环图470,其展示根据图4A在某一时间段(总使用时间)内针对被分析听力假体的示例性分类。在此实例中,听力假体位于:(1)时间段的30%为语音类,(2)时间段的35%为安静类,(3)时间段的25%为噪声中的语音类,(4)时间段的5%为噪声类,以及(5)时间段的5%为音乐类,其各自被确定为主分类446(图4A)。通过添加二次分类448(图4A),可以看出,虽然在语音类中,听力假体检测到这时间的10%(即,30%的10%)为自身语音,并且尽管在噪声中的语音类中,听力假体检测在该时间的5%为自身语音(即,25%的5%)。应当理解,这些具体百分比仅仅是根据本文提出的实施例的可以形成层次分类数据集的部分的主分类和二次分类。
如上文详细描述,层次分类数据集表示主分类(即,声音环境的类型)和在时间段期间识别的主分类的任何衍生二次分类(即,不同声音环境的任何子类别)。层次分类数据集可用于许多不同目的以改进相关联的听力假体的操作。
例如,已经证明儿童的语言和认知发展强烈地取决于其语言环境。护理者语言的定量特征(诸如给儿童接受者说话的词语数量以及他们参与的会话轮次的数量)已被证明是儿童发展轨迹的良好预测指标。类似地,对于老年接受者来说,产生的语音的量可以是评估其语言沟通能力的相关度量。在常规布置中,量化自然语言环境的此类特征是耗时且昂贵的,因此将观察结果限制为每个接受者几个小时。
本文提出的技术增加了听力假体内自动化听觉场景分类的科学和临床价值,例如检测穿戴者自身的语音将是至关重要的情况。在这些情形中,本文提出的技术能够记录语言体验的不同重要特征,包括自身语音的数量(这是语言开发的良好指标)。护理者语音的数量和交谈轮次数量反映了语言输入的质量和充分性。这两种措施都可以提供接受者的社会融合和参与指示,并且可向临床医生提供重要信息,以指导他们的治疗,并帮助研究人员提高对带听力假体人员的日常经历的了解。接受者的社交融合和参与的指示可采取多种不同形式(例如,数据报告等)中的任何一种以向父母、护理者、临床医生等呈现。
因而,根据本文提出的实施例生成的层次分类数据集可用作分析听力假体由听力假体接受者使用的声音环境的特性/属性的工具。此分析可实现对听力假体的操作的调整,所述听力假体专门针对接受者和/或针对其它目的定制。在一个实例中,层次分类数据集能够确定随时间推移产生的语音量,这些语音量作为语言开发监测的工具和/或作为用于监测听觉材料(即,倾听)的工具,使得临床医生/语言病理学家可以指导治疗,并可向接受者、父母、护理者等提供适当的建议。层次分类数据集还可以或可以替代地用于例如通过平均语句长度(MLU)、会话轮次分析、语言复杂性分析等检测劣质语音输入,监测语言开发。
在一个具体实例中,层次分类数据集可以用于分析接受者“空中时间(time-on-air)”,这表示接受者说话的频度(即,多久检测到自身语音)。例如,这种空中时间确定可与接受者在语音相关环境中的时间量(例如,语音环境、噪声中的语音环境等)相关。此相关性可指示接受者何时沉默寡言,比正常情况更少使用听力假体等。空中时间和语音相关环境的相关性可以用于启动一个或多个诊断操作。例如,这些诊断操作可以包括对线圈断开(coil-off)时间(和可能的出现次数)的评估,对当前源的合规性的评估,阻抗测量(以检查波动阻抗)等。可对照环境检查这些诊断操作中的一个或多个以查看这些事件是否导致人们避免本不该避免的情况(例如,是否小于语音或音乐中的也与上文的一个或多个诊断条件发生相关联的通常时间)。
如上所述,在某些实施例中,层次分类数据集可以用于在听力假体本身内(诸如声音处理路径的操作中)调整/设置参数或设置(例如,降噪设置、耳鸣掩蔽设置、麦克风设置、增益设置、通道动态范围、极大值选择、舒适度设置等)。例如,可以记录接受者对某些设置的选择(即在打开和关闭设置时记录)。可以相对于在某时间段期间使用设置的声音环境的属性来分析接受者在该时间段期间使用此设置,以响应于不同环境条件而获得对接受者的偏好的洞察。此信息接着可用于将听力假体的操作调适为接受者偏好。例如,如上所述,接受者响应不同环境条件使用的设置可作为由听力假体实施的自动化学习或适应过程的部分使用(即,在某些类别和子类别存在下假体学习适当的设置)。
在其他实例中,层次分类数据集可用于分析接受者对附件的使用。例如,听力假体可检测何时附件(例如,无线麦克风等)在使用,并将该信息与层次分类数据集中的信息相关联。在一个说明性实例中,如果附件的使用与会话语言的增加或者可能更大的外部语音暴露相关联,那么这可以指示附件使用对于增加语言暴露和鼓励会话轮次(例如,在儿童中)是有帮助的。
在另一个实例中,当检测到接受者自身的语音时,听力假体可操作以减少增益,使得用户自身的语音对于自己的倾听而言并不太大。在又一个实例中,如果主分类“音乐”类分解为不同的流派,则可以启动适当的动作,以将假体设置定制为特定类型的音乐或接受者偏好(例如,如果先前指征表明接受者不喜欢爵士音乐,则二次分类为“奏爵士乐”可能导致直接增益减少)。在另一实例中,听力假体可操作以在检测到自身语音时将在“噪声中的语音”类施加的降噪量调适到更少,但当检测到外部语音时施加更多的降噪。
如所指出,上文描述的特定的主分类和二次分类是说明性的,并且本发明的实施例可以利用许多不同的主分类或二次分类。例如,除上述主分类外,额外或替代的主分类可包括但不限于“风”分类、“雨”分类、“动物”分类、“汽车”分类、“室内”分类、“户外”分类等。这些主分类中的每一个也可以以一种或多种方式进行子分类(即,每一个可以与一个或多个二次分类相关联)。例如,“风”分类可被子分类为“疾风”、“和风”或“低风”,而“雨”分类可被子分类为“暴雨”、“小雨”等。“动物”分类和“汽车”分类可分别子分类成不同动物类型或汽车类型。在一个实例中,“室内”分类可以被子分类为房间大小,而“室外”分类可以被子分类为不同的自然环境(例如,海洋/海滩、森林等)。再一次,这些具体实例是说明性的。
语音相关环境(例如,语音分类、噪声中语音分类等)可以进一步基于所检测语音的属性进行子分类。如所指出,两个基于语音的子分类是参考图4A和4B描述的自身语音分类和外部语音分类。其它示例性的基于语音的子分类包括:(1)“男性”分类(即确定在一组声音信号中说话者为男性),(2)“女性”分类(即确定在一组声音信号中说话者为女性),(3)“儿童”分类(即确定在一组声音信号中说话者为儿童),(4)“成人”分类(即确定在一组声音信号中说话者为成人),(5)“独白”分类(即确定在一组声音信号中语音为单个个体的加长语音的部分),(6)“对话”分类(即确定在一组声音信号中语音为多个个体之间的对话的部分),(7)“接近语音”分类(即语音在接受者的预定接近度内),(8)“距离语音”分类(即语音在接受者的预定接近度之外),(9)“电子媒体”分类(即语音来自电视或其它电子媒体源),(10)“儿童导向语音”类,(11)“说话者身份”分类(即说话者的具体确定,例如,母亲、父亲等)等。这些基于语音的子分类可基于例如基频分析、声道长度分析等来确定。
在另一个实例中,噪声相关环境(例如,噪声分类、噪声中的语音分类等)可以进一步基于所检测语音的属性进行子分类。例如,噪声相关环境子分类可以是“噪声类型”分类。在这些实例中,可以对所述一组声音信号中的噪声源的类型进行分类(例如,为运动场噪声、教室噪声、交通噪声、机械噪声等)。此类信息可向接受者、护理者或其他用户提供关于接受者受噪声影响的频率以及噪声的可能原因/来源、时间等的信息
图5是示出根据本文提出的某些实施例的另一示例性二次分类(子类别)的示意图。更具体地,图5示出了根据本文提出的实施例的层次分类结构555的一部分,其可以由层次环境分类模块(诸如层次环境分类模块140)来实现。图5示出了单个主分类546(1),但应当理解,层次分类结构555还包括声音环境的其他主分类(例如,噪声中的语音、噪声、安静等),为了便于说明,已从图5中省略。
在图5的实例中,层次分类结构555包括八(8)个二次分类548,它们是来自语言分类546(1)的衍生物,并进一步限定所述语言分类。二次分类被组织为两个层级/层,即549(1)和549(2)。第一层549(1)包括六个二次分类,显示为“男性”分类548(1)、“女性”分类548(2)、“自身语音”分类548(3)、“外部语音”分类548(4)、“成人”分类548(5)和“儿童”分类538(6)。也就是说,如果主分类器块确定听力假体位于语音环境中,那么通过三个不同的二次分类器块以三种不同方式对环境进行子分类。具体地,在548(1)和548(2)处,二次分类器块(即,性别分类器块)确定在所述一组声音信号中的个别相关联语音的性别(即,确定说话者是男性还是女性)。在548(3)和548(4)处,另一二次分类器块确定所述一组声音信号中的语音是否是接受者自身的语音(即,在所述一组声音信号内听力假体接受者正在说话)或者语音是否是外部语音(即,在所述一组声音信号内除了听力假体接受者之外的某人正在说话)。在548(5)和548(6)处,又一二次分类器块确定该组声音中的语音是否与儿童或成人相关联(即,确定说话者是儿童还是成人)。可对一组声音信号进行每一二次分类。
在图5的实施例中,第七和任一二次分类548(7)和548(8)是“独白”分类和“对话”分类,其是从每一个“自身语音”和“外部语音”分类548(3)和548(4)分类的衍生物。如上所述,独白分类548(7)指示一组声音信号中的语音是独白的一部分(即,单个个体的语音),而对话分类548(8)指示该组声音信号中的语音是对话的一部分(即,会话)。
图5表示这样的实施例,其中层次环境分类模块包括一个主分类器块和四个二次分类器块(即,一个用于男性/女性分类,一个用于自身/外部语音分类,一个用于成人/儿童分类,一个用于独白/对话分类)。如本文中其它地方所描述,四个二次分类器块的使用是说明性的,且其它实施例可包括其它数目的二次分类器块。图5还示出了包括三级分类的实例。还应了解,本文提出的实施例可包括超过三级的分类。
图6是示出根据本文提出的某些实施例的又一示例性二次分类(子类别)的示意图。更具体地,图6示出了根据本文提出的实施例的层次分类结构655的一部分,其可以由层次环境分类模块(诸如层次环境分类模块140)来实现。图6示出了单一主分类,即“音乐”分类646(1)。然而,应当理解,层次分类结构655还包括声音环境的其他主分类(例如,语音、噪声中的语音、噪声、安静等),为了便于说明,已从图6中省略。
在图6的实例中,层次分类结构655包括三(3)个二次分类648,它们是来自音乐分类646(1)的衍生物,并进一步限定所述音乐分类。三种二次分类包括“剧院”分类648(1)、“露天”分类648(2)和“流派/风格”分类648(3)。也就是说,如果主分类器确定听力假体位于音乐环境中,那么以至少三种不同方式对环境进行子分类。具体地,在648(1)处,二次分类器块确定音乐环境是否是“剧院”环境,而在648(2)处,二次分类器确定音乐环境是否是露天环境(例如,室外音乐会场地)。在648(3)处,二次分类器确定在所述一组声音信号中检测到的音乐的流派或风格。三个二次分类648(1)、648(2)和648(3)中的每一个可针对一组声音信号产生。
图7是根据本文提出的某些实施例的方法780的流程图。方法780在782处开始,在该处,在听力假体的一个或多个输入元件处接收一组声音信号。在784处,听力假体从一组声音信号确定与所述一组声音信号相关联的当前声音环境的主分类。在786处,听力假体从所述一组声音信号确定声音环境的一个或多个二次分类,其中一个或多个二次分类是主分类的衍生物。
图8是根据本文提出的某些实施例的方法890的流程图。方法890在892处开始,在该处,在听力假体的一个或多个输入元件处接收一组声音信号。在894处,将所述一组声音信号转换成一个或多个输出信号,以用于将刺激递送至听力假体的接受者。在896处,生成所述一组声音信号的层次分类,其中层次分类包括与所述一组声音信号相关联的声音环境的多个嵌套分类。
很多极度失聪的儿童在早期接受了耳蜗植入物。耳蜗植入物允许不能从常规听力辅助装置受益的儿童接触其声学环境,并获得口语。然而,这些儿童的口语形成轨迹广泛地变化。有耳蜗植入物的儿童的口语形成的一些变化可以通过他们听觉材料中的差异来解释。
一般而言,正常听力儿童的口语形成是通过他们所暴露的语言来形成的。其语言环境的两个重要方面是(1)暴露量和(2)交互性。低龄的语言学习者必须处理大量语音,以正确地将单词映射成含义并提取模式和规则。需要交互以引导学习者的注意力,定制儿童需求的输入,并传达语言使用的社会实际方面。具有耳蜗植入物的儿童具有相同的需求,但他们面临另外的困难,这些困难会增加接受不充分语言接触的风险。
首先,耳蜗植入物接受者更容易受到噪声影响。噪声严重地影响耳蜗植入物用户的语音理解,因此减少可分析的语音输入的量,并且妨碍从听到的语音的伴随学习。当在噪音中听声音时,耳蜗植入物接受者也必须花费更多的认知资源,这为其他任务留下更少资源并导致倾听疲劳。同时,在儿童的家庭和校园环境中噪音几乎无所不在。其次,父母与儿童之间的互动可能受到儿童听力损伤的影响。具有耳蜗植入物的婴儿可能对儿童导向语音做出不同反应,听到的成人可能不确定如何与听力受损儿童互动。此类中断可进一步降低语言暴露的数量和交互性。
充分的语音输入和交互式沟通体验是推动口语形成的方式。然而,有耳蜗植入物的幼儿有高风险错过这些经历。同时,具有耳蜗植入物的幼儿无法完全为自己辩护。因此,他们的护理者应监测他们的听觉环境,识别风险,并在必要时进行干预。本文提出的层次环境分类技术使得这种监测能够具有在常规技术中不可用的特异性水平。具体地,使用二次分类对基本声音环境进行子分类为接受者、护理者、临床医生或其他用户提供了对接受者遇到的声音环境的属性的更好理解。例如,本文提出的技术可以用于区分儿童导向语音和儿童语音,确定儿童自身的语言产生,推断护理者-儿童沟通的数量和交互性等。儿童产生的语音量可有助于评估儿童的语言形成,并且如上所述,语音的数量和交互性是其环境有利性的关键指标。
应了解,上文所描述的实施例不相互排斥,且各种实施例可以各种方式和布置组合。
本文描述和要求保护的发明在范围上不受本文公开的具体优选实施例的限制,原因是这些实施例旨在作为举例说明,而不是限制本发明的几个方面。任何等同的实施例都意图在本发明的范围内。实际上,除了本文中示出和描述的那些之外,根据前述描述,本发明的各种修改对于本领域技术人员将变得显而易见。这样的修改也意图落入所附权利要求的范围内。
Claims (31)
1.一种方法,包括:
在听力假体处:
接收一组声音信号;
从所述一组声音信号确定与所述声音信号相关联的当前声音环境的主分类;以及
从所述一组声音信号确定所述当前声音环境的一个或多个二次分类,
其中所述一个或多个二次分类是所述主分类的衍生物。
2.根据权利要求1所述的方法,还包括:
在所述听力假体处生成层次分类输出,所述层次分类输出表示所述主分类和所述一个或多个二次分类;以及
在所述听力假体的存储器中存储所述层次分类输出,作为层次分类数据集的一部分。
3.根据权利要求2所述的方法,还包括:
基于所述层次分类数据集调整所述听力假体的一个或多个设置。
4.根据权利要求3所述的方法,其中基于所述层次分类数据集调整所述听力假体的一个或多个参数包括:
在所述听力假体处,自动调整所述听力假体的所述一个或多个设置。
5.根据权利要求3所述的方法,其中所述一个或多个设置包括以下各项中的至少一项:降噪设置、耳鸣掩蔽设置、麦克风设置、增益设置、通道动态范围、极大值选择和舒适度设置。
6.根据权利要求1所述的方法,其中所述一个或多个二次分类中的至少一个是另一二次分类的衍生物。
7.根据权利要求1所述的方法,其中所述主分类指示所述当前声音环境是包括语音的环境,并且其中,确定所述当前声音环境的所述一个或多个二次分类包括:
基于所述语音的属性对所述当前声音环境进行子分类。
8.根据权利要求7所述的方法,其中基于所述语音的属性对所述当前声音环境进行子分类包括:
确定所述一组声音信号中的语音是接受者自己的语音还是外部语音。
9.根据权利要求1所述的方法,其中所述主分类指示所述当前声音环境是包括噪声的环境,并且其中,确定所述当前声音环境的所述一个或多个二次分类包括:
对所述当前声音环境中的噪声类型进行子分类。
10.根据权利要求1所述的方法,还包括:
基于所述一组声音信号生成刺激以递送至所述听力假体的接受者。
11.根据权利要求10所述的方法,其中基于所述一组声音信号,生成刺激以递送至所述听力假体的接受者包括:
基于所述一组声音信号生成电刺激以递送至所述接受者。
12.一种听力假体,包括:
一个或多个输入元件,所述一个或多个输入元件被配置成接收至少一组声音信号;
存储器;以及
一个或多个处理器,所述一个或多个处理器耦合到所述存储器和一个或多个声音输入元件,并且被配置成:
将所述一组声音信号转换成一个或多个输出信号,以用于将刺激递送至所述听力假体的接受者,以及
生成所述至少一组声音信号的层次分类,其中,所述层次分类包括与所述至少一组声音信号相关联的声音环境的多个嵌套分类。
13.根据权利要求12所述的听力假体,其中所述多个嵌套分类包括所述声音环境的主分类和限定所述主分类的子类别的一个或多个二次分类。
14.根据权利要求13所述的听力假体,其中所述一个或多个二次分类中的至少一个对所述一个或多个二次分类中的另一个进行子分类。
15.根据权利要求13所述的听力假体,其中所述主分类指示所述声音环境是包括语音的环境,并且其中为确定所述声音环境的所述一个或多个二次分类,所述一个或多个处理器被配置成:
基于所述语音的属性对所述声音环境进行子分类。
16.根据权利要求15所述的听力假体,其中为基于所述语音的属性对所述声音环境进行子分类,所述一个或多个处理器被配置成:
确定所述一组声音信号中的语音是接受者自己的语音还是外部语音。
17.根据权利要求13所述的听力假体,其中所述主分类指示所述声音环境是包括噪声的环境,并且其中为确定所述声音环境的所述一个或多个二次分类,所述一个或多个处理器被配置成:
对所述声音环境中的噪声类型进行子分类。
18.根据权利要求12所述的听力假体,其中所述一个或多个处理器被配置成:
生成层次分类输出,所述层次分类输出表示所述多个嵌套分类;以及
在所述听力假体的存储器中存储所述层次分类输出,作为层次分类数据集的一部分。
19.根据权利要求18所述的听力假体,其中所述一个或多个处理器被配置成:
基于所述层次分类数据集自动调整所述听力假体的一个或多个设置。
20.根据权利要求19所述的听力假体,其中所述一个或多个设置包括以下各项中的至少一项:降噪设置、耳鸣掩蔽设置、麦克风设置、增益设置、通道动态范围、极大值选择和舒适度设置。
21.根据权利要求20所述的听力假体,其中所述听力假体是耳蜗植入物。
22.一种方法,包括:
在听力假体处:
接收一组声音信号;
将所述一组声音信号转换成一个或多个输出信号,以用于将刺激递送至所述听力假体的接受者;以及
生成所述一组声音信号的层次分类,其中,所述层次分类包括与所述声音信号相关联的声音环境的多个嵌套分类。
23.根据权利要求22所述的方法,其中生成层次分类包括:
从所述一组声音信号确定所述声音环境的主分类;以及
从所述一组声音信号确定一个或多个二次分类,所述一个或多个二次分类限定所述主分类的子类别。
24.根据权利要求23所述的方法,其中所述一个或多个二次分类中的至少一个对所述一个或多个二次分类中的另一个进行子分类。
25.根据权利要求23所述的方法,其中所述主分类指示所述声音环境是包括语音的环境,并且其中从所述一组声音信号确定限定所述主分类的子类别的一个或多个二次分类包括:
基于所述语音的属性生成对所述声音环境进行子分类的二次分类。
26.根据权利要求25所述的方法,其中,基于所述语音的属性生成对所述声音环境进行子分类的二次分类包括:
确定所述一组声音信号中的语音是接受者自己的语音还是外部语音。
27.根据权利要求23所述的方法,其中所述主分类指示所述声音环境是包括噪声的环境,并且其中从所述一组声音信号确定限定所述主分类的子类别的一个或多个二次分类包括:
对所述声音环境中的噪声类型进行子分类。
28.根据权利要求22所述的方法,还包括:
生成层次分类输出,所述层次分类输出表示所述多个嵌套分类;以及
在所述听力假体的存储器中存储所述层次分类输出,作为层次分类数据集的一部分。
29.根据权利要求22所述的方法,还包括:
基于所述层次分类数据集调整所述听力假体的一个或多个设置。
30.根据权利要求29所述的方法,其中基于所述层次分类数据集调整所述听力假体的一个或多个参数包括:
在所述听力假体处,自动调整所述听力假体的所述一个或多个设置。
31.根据权利要求29所述的方法,其中所述一个或多个设置包括以下各项中的至少一项:降噪设置、耳鸣掩蔽设置、麦克风设置、增益设置、通道动态范围、极大值选择和舒适度设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310581295.5A CN116668928A (zh) | 2017-10-17 | 2018-10-10 | 听力假体中的层次环境分类 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762573226P | 2017-10-17 | 2017-10-17 | |
US62/573,226 | 2017-10-17 | ||
PCT/IB2018/057847 WO2019077443A1 (en) | 2017-10-17 | 2018-10-10 | HIERARCHICAL ENVIRONMENTAL CLASSIFICATION IN A HEARING PROSTHESIS |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310581295.5A Division CN116668928A (zh) | 2017-10-17 | 2018-10-10 | 听力假体中的层次环境分类 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111201802A true CN111201802A (zh) | 2020-05-26 |
Family
ID=66174321
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880066429.7A Pending CN111201802A (zh) | 2017-10-17 | 2018-10-10 | 听力假体中的层次环境分类 |
CN202310581295.5A Pending CN116668928A (zh) | 2017-10-17 | 2018-10-10 | 听力假体中的层次环境分类 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310581295.5A Pending CN116668928A (zh) | 2017-10-17 | 2018-10-10 | 听力假体中的层次环境分类 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11337011B2 (zh) |
CN (2) | CN111201802A (zh) |
WO (1) | WO2019077443A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11722826B2 (en) * | 2017-10-17 | 2023-08-08 | Cochlear Limited | Hierarchical environmental classification in a hearing prosthesis |
WO2020049472A1 (en) * | 2018-09-04 | 2020-03-12 | Cochlear Limited | New sound processing techniques |
US11006200B2 (en) * | 2019-03-28 | 2021-05-11 | Sonova Ag | Context dependent tapping for hearing devices |
CN112947174B (zh) * | 2021-02-03 | 2023-04-07 | 昆明理工大学 | 一种可拓展多微波源协同输出的智能微波反应器系统 |
EP3996390A1 (en) * | 2021-05-20 | 2022-05-11 | Sonova AG | Method for selecting a hearing program of a hearing device based on own voice detection |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191799A1 (en) * | 2000-04-04 | 2002-12-19 | Gn Resound A/S | Hearing prosthesis with automatic classification of the listening environment |
CN1813491A (zh) * | 2003-06-24 | 2006-08-02 | Gn瑞声达A/S | 带有协调声音处理的双耳助听器系统 |
CN101515454A (zh) * | 2008-02-22 | 2009-08-26 | 杨夙 | 一组用于语音、音乐、噪音自动分类的信号特征提取方法 |
CN102088648A (zh) * | 2009-12-03 | 2011-06-08 | 奥迪康有限公司 | 当听电输入时动态抑制周围噪声的方法 |
US20140336448A1 (en) * | 2013-05-13 | 2014-11-13 | Rami Banna | Method and System for Use of Hearing Prosthesis for Linguistic Evaluation |
WO2016162758A1 (en) * | 2015-04-10 | 2016-10-13 | Marcus Andersson | Systems and method for adjusting auditory prostheses settings |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK1708543T3 (en) | 2005-03-29 | 2015-11-09 | Oticon As | Hearing aid for recording data and learning from it |
US20110137656A1 (en) | 2009-09-11 | 2011-06-09 | Starkey Laboratories, Inc. | Sound classification system for hearing aids |
US9364669B2 (en) | 2011-01-25 | 2016-06-14 | The Board Of Regents Of The University Of Texas System | Automated method of classifying and suppressing noise in hearing devices |
US9775998B2 (en) | 2013-07-23 | 2017-10-03 | Advanced Bionics Ag | Systems and methods for detecting degradation of a microphone included in an auditory prosthesis system |
US10319390B2 (en) * | 2016-02-19 | 2019-06-11 | New York University | Method and system for multi-talker babble noise reduction |
US11253193B2 (en) * | 2016-11-08 | 2022-02-22 | Cochlear Limited | Utilization of vocal acoustic biomarkers for assistive listening device utilization |
-
2018
- 2018-10-10 CN CN201880066429.7A patent/CN111201802A/zh active Pending
- 2018-10-10 CN CN202310581295.5A patent/CN116668928A/zh active Pending
- 2018-10-10 WO PCT/IB2018/057847 patent/WO2019077443A1/en active Application Filing
- 2018-10-10 US US16/755,744 patent/US11337011B2/en active Active
-
2023
- 2023-05-17 US US18/318,978 patent/US20230292060A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191799A1 (en) * | 2000-04-04 | 2002-12-19 | Gn Resound A/S | Hearing prosthesis with automatic classification of the listening environment |
CN1813491A (zh) * | 2003-06-24 | 2006-08-02 | Gn瑞声达A/S | 带有协调声音处理的双耳助听器系统 |
CN101515454A (zh) * | 2008-02-22 | 2009-08-26 | 杨夙 | 一组用于语音、音乐、噪音自动分类的信号特征提取方法 |
CN102088648A (zh) * | 2009-12-03 | 2011-06-08 | 奥迪康有限公司 | 当听电输入时动态抑制周围噪声的方法 |
US20140336448A1 (en) * | 2013-05-13 | 2014-11-13 | Rami Banna | Method and System for Use of Hearing Prosthesis for Linguistic Evaluation |
WO2016162758A1 (en) * | 2015-04-10 | 2016-10-13 | Marcus Andersson | Systems and method for adjusting auditory prostheses settings |
Also Published As
Publication number | Publication date |
---|---|
US20230292060A1 (en) | 2023-09-14 |
WO2019077443A1 (en) | 2019-04-25 |
CN116668928A (zh) | 2023-08-29 |
US11337011B2 (en) | 2022-05-17 |
US20210127215A1 (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230292060A1 (en) | Hierarchical environmental classification in a hearing prosthesis | |
CN110072434B (zh) | 用于辅助听力设备使用的声音声学生物标记的使用 | |
US20210030371A1 (en) | Speech production and the management/prediction of hearing loss | |
US20190111262A1 (en) | Systems and methods for non-obtrusive adjustment of auditory prostheses | |
CN107103901B (zh) | 人工耳蜗声音场景识别系统和方法 | |
JP2019036959A (ja) | 補聴器の作動方法および補聴器 | |
US20230007415A1 (en) | Individualized own voice detection in a hearing prosthesis | |
US20230283971A1 (en) | Feature extraction in hearing prostheses | |
US20110093039A1 (en) | Scheduling information delivery to a recipient in a hearing prosthesis | |
CN112602337B (zh) | 被动适配技术 | |
US9775998B2 (en) | Systems and methods for detecting degradation of a microphone included in an auditory prosthesis system | |
US20230352165A1 (en) | Dynamic virtual hearing modelling | |
US10003895B2 (en) | Selective environmental classification synchronization | |
CN109417674B (zh) | 听力假体中的电声适配 | |
US11722826B2 (en) | Hierarchical environmental classification in a hearing prosthesis | |
US20230329912A1 (en) | New tinnitus management techniques | |
US11877123B2 (en) | Audio training | |
US20220076663A1 (en) | Prediction and identification techniques used with a hearing prosthesis | |
US20220054842A1 (en) | Assessing responses to sensory events and performing treatment actions based thereon |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200526 |
|
RJ01 | Rejection of invention patent application after publication |