CN109200469A - 一种增强人工耳蜗音调感知的优化编码方法及系统 - Google Patents
一种增强人工耳蜗音调感知的优化编码方法及系统 Download PDFInfo
- Publication number
- CN109200469A CN109200469A CN201811243530.3A CN201811243530A CN109200469A CN 109200469 A CN109200469 A CN 109200469A CN 201811243530 A CN201811243530 A CN 201811243530A CN 109200469 A CN109200469 A CN 109200469A
- Authority
- CN
- China
- Prior art keywords
- frequency
- channel
- electrode
- stimulation
- tone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003477 cochlea Anatomy 0.000 title claims abstract description 56
- 230000008447 perception Effects 0.000 title claims abstract description 39
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 27
- 230000000638 stimulation Effects 0.000 claims abstract description 55
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 210000000860 cochlear nerve Anatomy 0.000 claims abstract description 13
- 210000002569 neuron Anatomy 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 25
- 230000004936 stimulating effect Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 2
- 230000036279 refractory period Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 5
- 230000033764 rhythmic process Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 3
- 241000237858 Gastropoda Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 231100000895 deafness Toxicity 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 238000002513 implantation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000541 pulsatile effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
- A61N1/36039—Cochlear stimulation fitting procedures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Otolaryngology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Prostheses (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本发明公开了一种增强人工耳蜗音调感知的优化编码方法及系统，对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；其中，对音调信息中各次谐波的频率进行频率位置映射编码，获得音调信息对应的电极通道频率；以音调信息中基频周期为“时间窗”对各电极通道信号出现的时刻进行时间优化编码，即计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的刺激时刻。该优化编码方法结合了听觉的位置编码和时间编码，更准确地传递声音的音调特征，且符合人耳听神经响应特性，可增强人工耳蜗话音声调和音乐旋律的感知。
Description
技术领域
本公开涉及人工听觉技术领域，特别是涉及一种增强人工耳蜗音调感知的优化编码方法及系统。
背景技术
人工耳蜗是通过电脉冲直接刺激耳聋患者的听觉神经，使患者恢复听觉的医用植入设备。通过手术植入人工耳蜗，可以帮助深重度耳聋患者恢复听觉，患者的言语识别率高达90％以上。然而，在音调和音乐感知方面，人工耳蜗植入者的音乐和音调感知效果较差，远远不能满足重度以上耳聋患者欣赏音乐的基本要求。
人工耳蜗的关键技术是声音编码策略和电极阵列技术。
目前，人工耳蜗的植入者高达几十万人，其植入内耳的电极已经固定且不可改变，所以要想提高对语音和音乐信号的感知能力，只能从声音编码策略方面进行改进或优化。
发明人在研究中发现，当前，连续脉冲间隔采样编码(CIS)技术是公认的、应用最广泛的语言编码策略，但CIS编码主要传递了声音信号的谱包络信息，而忽略了声音中某些精细结构信息。Zachary M.Smith等学者在2002年通过希尔伯特变换把声音信号分解成包络和精细结构进行分析，研究发现包络信息在语音理解方面有重要作用，而精细结构在声调和音乐感知方面有重要作用。所以CIS编码方案虽然可以很好的识别言语信息，而不能够很好的感知声调和音乐旋律信息。
发明内容
为了解决现有技术的不足，本公开提供了一种增强人工耳蜗音调感知的优化编码方法，在不改变电极分布的情况下，该方法可以在实现良好的语言感知的同时，又可以增强语言声调和音乐感知的能力。
为了实现上述目的，本申请采用以下技术方案：
一种增强人工耳蜗音调感知的优化编码方法，包括：
对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；
其中，对音调信息中各次谐波的频率按照就近原则与各电极通道的中心频率相对应进行频率位置映射编码，获得音调信息对应的各电极通道频率；
以音调信息中基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间优化编码：计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的刺激时刻。
上述技术方案，通过频率位置映射编码获得音调信息的各特征频率与耳蜗中电极通道频率在位置上的对应。在确定通道电极对应频率后，还需要确定电极的工作时刻，因此需要进行时间编码，将各电极通道的工作时刻与听神经元可响应的最小刺激间隔进行就近对齐，使得在满足表达声音频域包络的前提下更准确地传递声音的音调特征，且符合人耳听神经反应特性，可增强人工耳蜗话音声调和音乐旋律的感知。
进一步的技术方案，在进行频率位置映射编码之前需要对声音信号中有效信息进行采集及预处理，预处理后提取信号的基频周期。
更进一步的技术方案，声音信号的预处理包括信号的分帧、加窗、降噪，基频周期的提取方法包括但不限于通过自相关法、倒谱法。
上述技术方案中，对声音信号的预处理便于后续得到更为准确的信号，继而实现为后续声音信号的频率位置映射编码、时间优化编码做准备。
进一步的技术方案，在声音信号预处理之后，再对信号进行各通道信号的带通滤波，获得各频带输出信号，之后进行全波整流、低通滤波，然后进行量化，获取各频带信号幅度包络，以各通道带通滤波输出的包络值为刺激电极信号的幅度。
上述技术方案中，带通滤波处理后得到各个频带的信号，每个频带的信号对应信号的幅值，各个频带的幅值组成声音信号的频域幅度变化曲线(也称频域包络)，每个频带对应的幅值与刺激听神经的电流脉冲幅值相对应，这样，人工耳蜗就能在不同频带上获得对应强度的声音刺激信号。
进一步的技术方案，在进行频率位置映射编码时，当多个谐波频率均落入某个通道的频带内时，利用就近原则将该通道中心频率与距离最近的谐波频率对应、进行匹配；若某两个谐波频率与某电极通道的中心频率间隔相等，则丢弃较高次谐波，选择该中心频率映射为低次谐波频率。
进一步的技术方案，在时间优化编码上，以基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间优化编码，对应电极刺激信号出现时刻应以映射后的谐波周期为间隔，以听神经不应期间隔(例如1ms)为最小(或基本)间隔步长、遵循“就近对齐”原则划分具体刺激时刻，即当某谐波周期时刻不在间隔步长的整倍数时间上，需将该时刻就近变到距离到最小刺激间隔的整倍数时间上。这样，随声音不同时段基频的变化，各电极的刺激间隔会对应呈现出不同刺激速率的变化。这是由于目前电极个数较少，每个通道不是一个频率，而是一段频带，带内有不同的频率，所以映射后对应电极刺激间隔便有多种可能。这就是变频表达音高信息的方法。
更进一步的技术方案，听神经元可响应的最小刺激间隔步长为d ms(毫秒)，各电极刺激间隔须满足不低于d ms，当各电极刺激间隔步长小于d ms时，设定刺激间隔步长为dms。
在具体实施例子中，此处的听神经元可响应的最小刺激间隔步长可以为1ms。
进一步的技术方案，在获得各个频带信号幅度包络值、各电极通道刺激时刻和各个频带对应的刺激电极通道频率后，便得到各通道电极脉冲刺激序列。
进一步的技术方案，得到各通道电极脉冲刺激序列后对其进行射频编码形成发送编码数据包，人工耳蜗体内接收器接收数据包同时解码数据包并送到各通道电极，各通道电极根据数据包驱动电流源工作，完成声音信号的传递。
本申请还公开了增强人工耳蜗音调感知的优化编码系统，采用以下技术方案：
增强人工耳蜗音调感知的优化编码系统，包括：
编码单元，用于对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；
编码单元包括：频率位置映射编码单元，对音调信息中基频及各次谐波的频率按照就近原则与各电极通道的中心频率相对应进行频率位置映射编码，获得音调信息对应的各电极通道频率；
时间优化编码单元，以音调信息中基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间编码：计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的具体刺激时刻。
本申请还公开了一种人工耳蜗的固定电极阵列，采用以下技术方案：
一种人工耳蜗的固定电极阵列，采用上述增强人工耳蜗音调感知的优化编码方法，驱动电流源工作，完成声音信号的传递。
以上编码方法既适合于单电流源工作模式，也适合于多电流源的工作模式。
与现有技术相比，本公开的有益效果是：
本公开是针对目前的人工耳蜗电极布局提出的编码策略的改进，具有实际应用意义，本公开将声音中的音调特征以基频周期为“时间窗”，考虑了各谐波与基波的‘锁相’关系，结合听觉的位置编码和时间编码关系，进行优化处理，更准确地传递声音的音调特征，且符合人耳听神经反应特性，可增强人工耳蜗话音声调和音乐旋律的感知。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本申请一些实施例子的改进的编码策略原理框图；
图2为本申请一些实施例子的神经放电时间间隔图；
图3为本申请一些实施例子的钢琴音符G3的频谱图；
图4为本申请一些实施例子的刺激脉冲序列图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明实施例提供一种在目前临床应用的人工耳蜗电极阵列分布不变的情况下，增强人工耳蜗音调感知的优化编码策略。这使得人工耳蜗的植入者在现有电极植入体的情况下，只需通过更改言语编码策略，即可增强对音调和音乐感知能力。同时也为增强人工耳蜗的音乐感知编码策略提供新的思路。
本申请的一种典型的实施例子，公开了一种增强人工耳蜗音调感知的优化编码方法，整体实现方法如下：
在连续脉冲间隔采样(CIS)编码策略的基础上，以‘锁相’原理为基础，改进声音信号在各通道电极上的位置编码和时间编码，具体方法：1)以声音信号短时平稳时段为分析步长，提取声音中(主)音调的基音周期(t0)；同时对全通带声音信号进行对应电极通道的各子带滤波、检波、低通、量化，提取电极通道幅度(Ej)；2)将(主)基频(f0＝1/t0)及各次谐波的频率(nf0)按照“就近原则”与各电极通道的中心频率(Fj)对应，作频率位置映射编码；3)以基音周期t0为“时间窗”，对各通道输出幅度出现的时刻按谐波与时序的对应关系进行时间优化编码，以神经放电最小间隔为基本步长(即听神经可接受的最高刺激速率，通常为<＝1000次/s，或刺激间隔>＝1ms)，对各通道Ej出现的时序作调整，进而形成发送和接收的数据包，驱动电极对应电流源工作。这样，基于基音周期t0为“时间窗”的优化编码，可将声音信号的时间精细结构特征、频率特征及听神经细胞传导基本特性以变速率的方式送到刺激电极上，更合理地传递了声音中的音高结构信息，以达到优化语音声调和音乐音高的感知效果。
本申请的另一种典型的实施例子，如图1所示，给出了更为详细的实施例子步骤，一种增强人工耳蜗音调感知的优化编码方法，主要包括声音信号采集，预处理，基音周期(t0)提取，带通滤波，检波、低通、量化，各次谐波频率(nf0)与各通带中心频率(Fj)进行频率位置优化编码，上述各次谐波频率包括基频f0，当n＝1时，谐波频率就是基频f0，以t0为“时间窗”对各通带输出包络(Ej)出现的时刻进行时间优化编码，形成发送编码数据包，接收数据包并解码，各通道驱动电流源工作。具体的包括：
(1)声音信号采集：首先，人工耳蜗体外部分的麦克风采集语音或音乐信号S(t)；
(2)预处理：对采集到的信号进行一些预处理S(n)，为后面信号分析做准备，包括信号的分帧、加窗、降噪都在此环节进行；
(3)基音周期t0的提取：基音周期t0是响亮声音激励源的一个重要特征，基音周期的提取可以通过自相关法、倒谱法等多种方法来实现；在该实施例子中，声音包括语音和乐音。
(4)带通滤波：对预处理信号进行带通滤波；若设J个通道带通滤波器，就对应J个刺激电极，这就是位置编码；
(5)整流、低通、量化：通过整流、低通、量化可以提取各频带输出信号包络，其对应刺激电极的电流脉冲幅值；
(6)各次谐波频率(nf0)与各通带中心频率(Fj)映射，进行频率位置优化编码：设共N次谐波(1<＝n<＝N)，共J个通道(1<＝j<＝J)，按照“就近原则”使nf0一一映射到Fj。例如：当某两次谐波n1、n2(n1<n2)都靠近某一通带中心频率Fj时，谁最邻近Fj，就将谁映射到Fj；若两者与Fj等距离，则丢弃较高次谐波，选择映射低次谐波；
(7)以t0为“时间窗”，对各通带输出包络(Ej)出现的时刻进行时间优化编码:根据提取的基音周期t0，按照基波和谐波的“锁相”关系，计算映射后通道对应的谐波幅度信号的出现时刻，即可能为t0、1/2t0、1/3t0、1/4t0，…等，并将各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”。这里需要注意，参照人耳听神经可接受的最高刺激速率一般不超过1000次/s，故，单通道的刺激间隔通常大于1ms。(注意，每个刺激脉冲信号时长一般远小于刺激步长时间)。
(8)优化后的编码数据序列构成发送数据包，并发送：按照上述步骤得到的各通道电极刺激脉冲序列数据包，对其进行射频编码发送；
(9)接收数据包，解码，驱动电流源工作：植入体内的数据接收器接收编码数据包并解码，根据刺激脉冲序列驱动电流源工作，刺激对应听神经。
上述实施例子中，声音信号包括采集语音或音乐信号S(t)，同时对采集的信号进行模数转换得到S(n)。
预处理包括降噪、加窗分帧；其中降噪处理是去除噪声信号，为后续处理提供相对纯净的信号，便于准确提取包络特征。分帧是把非平稳的语音信号进行分段处理，通常认为10ms到30ms之间的语音信号是平稳的，同时分帧既保证信号在时域具有一定的分辨率，又可以实现较高的频域分辨率。加窗包括矩形窗、海明窗或者汉宁窗，可以实现帧与帧之间的平滑过渡，保持其连续性。
基音周期(t0)提取是后面频率位置编码优化和时间优化编码优化的基础，基音周期t0是重要的语音信号特征，基音对音乐信息的感知尤其重要。基音周期估计方法有自相关法、平均幅度差函数法、倒谱法等。根据提取的基音信息f0按照音乐音符的谐波关系可以计算出各次谐波nf0。
带通滤波是对语音信号进行滤波处理，只允许特定频带的信号通过，这样就得到各频段信号。若设J个通道带通滤波器，就对应J个刺激电极。各频段信号的不同频率成分刺激基底膜不同部位这就是位置编码。从蜗底到蜗顶，基底膜上不同位置对频率的响应不同，其中靠近蜗底部分对高频信号响应大，靠近蜗顶部分对低频信号响应大。
整流、低通、量化是对各带通滤波器的输出进行全波整流、低通滤波，然后进行量化提取各频带信号包络，得到信号幅度变化曲线，对应刺激听神经的电流脉冲幅值Ej。
具体的，各次谐波频率(nf0)与各通带中心频率(Fj)进行频率位置编码优化须按照“就近原则”，使各次谐波频率nf0(1<＝n<＝N，N为实时信号最高次谐波的次数)一一映射到各通带中心频率Fj，以各通道带通滤波输出的包络值Ej为刺激电极信号的幅度进行频率位置编码优化。设共J个刺激电极，则共J个通道(1<＝j<＝J)，按照“就近原则”使nf0映射到Fj。由于电极个数较少，存在多个谐波对应一个通道，例如：当某两次谐波n1、n2(n1<n2)都靠近某一通带中心频率Fj时，谁最邻近Fj，就将谁映射到Fj；若两者与Fj等距离，则丢弃较高次谐波，选择映射低次谐波。
人耳可以听到20Hz到20kHz的音频信号。对于年轻人来说人耳的听觉上限是20kHz，对于20岁以上的人群人耳的听觉上限为16kHz，同时在50Hz附近存在电子噪声，所以根据物理和心理声学的理论，本发明主要研究的各次谐波信号的频率范围为100Hz到8kHz。
在实际应用中，每通道单个刺激脉冲的时间宽度约为70us，而人耳有效的神经响应时间不小于1ms，所以这里每个通道刺激速率上限可选择1kHz。
本发明对100Hz到1kHz之间的各次谐波主要依据时间优化编码进行优化，1kHz到8kHz的各次谐波主要依据频率位置编码进行优化。
以t0为“时间窗”对各通带输出包络(Ej)出现的时刻进行时间编码优化是根据提取的基音周期t0，按照基波和谐波的“锁相”关系，计算映射后通道对应的谐波幅度信号的刺激时刻，“锁相”原理即某一特定的神经纤维只能在刺激波形周期的特定相位或特定时间进行放电。
图2是理想神经放电时间间隔图，其表示理想化的基底膜的各部位与输入谐波频率的对应神经放电间隔关系，其中f0表示输入声音的基频，竖线的长度表示在基底膜特定位置和特定时间间隔出现神经放电的概率大小。
最小刺激间隔参照人耳可接受的最高刺激速率1000次/s，也就是最小刺激间隔为1ms，各电极刺激间隔须满足不应低于1ms。所以当各电极刺激间隔小于1ms时，刺激间隔采用1ms，这样既去除了无效的电极刺激，同时又对人工耳蜗工作减小能量消耗具有积极作用。
“就近对齐”原则是当某电极某刺激时刻不满足最小刺激间隔d ms(毫秒)的整数倍时，该电极刺激时刻就近对齐最小刺激间隔的整倍数时间上。例如，最小刺激间隔为1ms，若某电极刺激时刻为3.2ms时，则该电极刺激时刻应就近对齐到3ms上；若某电极刺激时刻为3.7ms，则该电极刺激时刻应就近对齐到4ms，此时时间编码就近对齐精度为1/2ms。
形成发送编码数据包是按照上述步骤可以得到各通道电极刺激脉冲序列数据包，对其进行射频编码发送；
接收数据包并解码是人工耳蜗体内接收器接收数据包，同时解码数据包并送到各通道电极对应电流源上。
各通道驱动电流源工作是各通道电极根据数据包驱动电流源工作，完成声音信号的传递。
本申请针对当前的人工耳蜗电极阵列采用上述的编码策略，对一些已经植入人工耳蜗的患者，只需改变编码策略就可以提高音调感知能力。
总的来说，本实施例子针对临床应用的人工耳蜗的固定电极阵列提出一种增强音调感知的优化编码策略，同时结合部位编码和时间编码，在更多的传递信号包络的同时，增加精细结构信息的传递，这样不仅可以实现对言语的准确感知，同时增强了人工耳蜗对音调和音乐的感知能力，为已植入人工耳蜗的患者欣赏音乐提供可能，具有实际应用意义。
本申请的再一实施例子，还公开了增强人工耳蜗音调感知的优化编码系统，采用以下技术方案：
增强人工耳蜗音调感知的优化编码系统，包括：
编码单元，用于对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；
编码单元包括：频率位置映射编码单元，对音调信息中基频及各次谐波的频率按照就近原则与各电极通道的中心频率相对应进行频率位置映射编码，获得音调信息对应的各电极通道；
时间优化编码单元，以音调信息中基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间编码：计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的具体刺激时刻。
以上编码方法既适合于单电流源工作模式，也适合于多电流源的工作模式。需要说明的是在多电流源工作模式下，该编码方法可以实现比单电流源模式获得更精细的时间优化编码。
上述实施例子中各个模块单元所采用的具体策略可参见增强人工耳蜗音调感知的优化编码方法的具体技术，此处不再赘述。
本申请的又一实施例子，本申请还公开了一种人工耳蜗的固定电极阵列，采用以下技术方案：
一种人工耳蜗的固定电极阵列，采用上述实施例子中的增强人工耳蜗音调感知的优化编码方法，驱动电流源工作，完成声音信号的传递。
另外，为了更好地验证本申请的增强人工耳蜗音调感知的优化编码方法的实际技术效果，本申请还公开了具体实例，在实例处理中，选择钢琴音符G3进行说明，其基频频率为200Hz。钢琴音G3的频谱图如图3所示，从图3中可以看到，钢琴音为全谐波，且各次谐波与基频成明显倍数关系。理论上对于一个钢琴音较低音符(例如G3＝200Hz)在频域上包含几十个谐波，所以根据基频与各次谐波对应关系，G3音符各次谐波分别为200Hz，400Hz，600Hz，800Hz，1000Hz，1200Hz…等。
注意到音符G3的6次谐波频率为1200Hz，其5次谐波以上均大于1000Hz，这里只选择钢琴音G3的前6次谐波进行分析，所以按照人耳听神经反应特性，6次谐波以上各次谐波的分析同6次谐波分析相同。具体分析参考某人工耳蜗产品电极中心频率分布及音符基频频率对应关系表，如表1所示。那么按照本实施例子提出的新的编码策略，钢琴音G3基频为200Hz，其2次谐波为400Hz，其3次谐波为600Hz，4次谐波为800Hz，其5次谐波为1000Hz，其6次谐波为1200Hz。
按照频率位置映射编码的“就近原则”本发明对各次谐波频率与电极进行映射，可以得到前6次谐波分别对应电极通道22，电极通道21，电极通道20，电极通道18，电极通道17，电极通道16。
同时，可以计算得到其刺激间隔分别为5ms，2.5ms，1.67ms，1.25ms，1ms，0.83ms，因为6次谐波频率以上均大于1kHz，所以其刺激间隔均采用1ms。
所以按照时间优化编码的“就近对齐”原则，根据包络值、刺激间隔和对应的刺激电极通道号(或频率)，可以得到电极脉冲刺激序列图，如图4所示，其中，图4中用省略号表示了6次谐波以上的各次谐波，对应的各通道刺激序列与电极通道16相同。
表1某人工耳蜗产品电极中心频率分布及与音符基频频率大致对应关系
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种增强人工耳蜗音调感知的优化编码方法，其特征是，包括：
对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；
其中，对音调信息中各次谐波的频率按照就近原则与各电极通道的中心频率相对应进行频率位置映射编码，获得音调信息对应的各电极通道频率；
以音调信息中基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间优化编码：计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的刺激时刻。
2.如权利要求1所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，在进行频率位置映射编码之前需要对声音信号中有效信息进行采集及预处理，预处理后提取信号的基频周期。
3.如权利要求2所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，在声音信号预处理之后，再对信号进行各通道信号的带通滤波，获得各频带输出信号，之后进行全波整流、低通滤波，然后进行量化，获取各频带信号幅度包络，以各通道带通滤波输出的包络值为刺激电极信号的幅度。
4.如权利要求1所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，在进行频率位置映射编码时，当多个谐波频率均落入某个通道的频带内时，利用就近原则将该通道中心频率与距离最近的谐波频率对应、进行匹配；若某两个谐波频率与某电极通道的中心频率间隔相等，则丢弃较高次谐波，选择该中心频率映射为低次谐波频率。
5.如权利要求1所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，在时间优化编码上，以基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间优化编码，对应电极刺激信号出现时刻应以映射后的谐波周期为间隔，以听神经不应期间隔为最小间隔步长、遵循“就近对齐”原则划分具体刺激时刻，即当某谐波周期时刻不在最小刺激间隔的整倍数时间上，需将该时刻就近变到距离最近的刺激间隔上。
6.如权利要求5所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，听神经元可响应的最小刺激间隔为d ms，各电极刺激间隔须满足不低于d ms，当各电极刺激间隔小于d ms时，设定刺激间隔为d ms。
7.如权利要求4所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，在获得各个频带信号幅度包络值、各电极通道刺激时刻和各个频带对应的刺激电极通道频率后，便得到各通道电极脉冲刺激序列。
8.如权利要求7所述的一种增强人工耳蜗音调感知的优化编码方法，其特征是，得到各通道电极脉冲刺激序列后对其进行射频编码，形成发送编码数据包，人工耳蜗体内接收器接收数据包同时解码数据包并送到各通道电极，各通道电极根据数据包驱动电流源工作，完成声音信号的传递。
9.增强人工耳蜗音调感知的优化编码系统，其特征是，包括：
编码单元，用于对声音信号中音调信息在各通道电极上进行频率位置映射编码和时间优化编码；
编码单元包括：频率位置映射编码单元，对音调信息中基频及各次谐波的频率按照就近原则与各电极通道的中心频率相对应进行频率位置映射编码，获得音调信息对应的各电极通道频率；
时间优化编码单元，以音调信息中基频周期为“时间窗”对各电极通道幅值出现的时刻进行时间编码：计算频率位置映射后通道对应的谐波幅度信号的刺激时刻，并将计算的各通道可能出现的刺激时刻与听神经元可响应的最小刺激间隔在时序上“就近对齐”，获得各个电极的具体刺激时刻。
10.一种人工耳蜗的固定电极阵列，采用上述权利要求1-8任一所述的增强人工耳蜗音调感知的优化编码方法，驱动电流源工作，完成声音信号的传递；
以上编码方法既适合于单电流源工作模式，也适合于多电流源的工作模式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811243530.3A CN109200469B (zh) | 2018-10-24 | 2018-10-24 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
| PCT/CN2019/107111 WO2020082951A1 (zh) | 2018-10-24 | 2019-09-20 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811243530.3A CN109200469B (zh) | 2018-10-24 | 2018-10-24 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109200469A true CN109200469A (zh) | 2019-01-15 |
| CN109200469B CN109200469B (zh) | 2020-05-05 |
Family
ID=64996308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811243530.3A Active CN109200469B (zh) | 2018-10-24 | 2018-10-24 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109200469B (zh) |
| WO (1) | WO2020082951A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082951A1 (zh) * | 2018-10-24 | 2020-04-30 | 山东大学 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
| CN111905262A (zh) * | 2020-09-07 | 2020-11-10 | 复旦大学附属眼耳鼻喉科医院 | 一种识别音乐的人工耳蜗音频通道分布方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1868427A (zh) * | 2005-05-24 | 2006-11-29 | 北京大学科技开发部 | 适合汉语语音编码策略的人工耳蜗方法 |
| CN101055717A (zh) * | 2007-05-14 | 2007-10-17 | 南方医科大学 | 采用atf编码技术的人工耳蜗实现方法及atf人工耳蜗 |
| CN101716108A (zh) * | 2009-11-20 | 2010-06-02 | 中国科学院声学研究所 | 一种电子耳蜗信号处理及电刺激编码系统及其处理方法 |
| WO2010150002A1 (en) * | 2009-06-23 | 2010-12-29 | Medical Research Council | Cochlear implant apparatus |
| CN102058453A (zh) * | 2010-10-28 | 2011-05-18 | 中国科学院声学研究所 | 一种电刺激听觉音调感知测试与评估系统 |
| US20110319965A1 (en) * | 2005-10-28 | 2011-12-29 | Advanced Bionics, Llc | Optimizing Pitch Allocation in a Cochlear Stimulation System |
| CN103892939A (zh) * | 2014-04-11 | 2014-07-02 | 浙江诺尔康神经电子科技股份有限公司 | 提高汉语声调识别率的人工耳蜗言语处理器和方法 |
| CN104013480A (zh) * | 2014-06-13 | 2014-09-03 | 山东大学 | 可感知音乐旋律的人工耳蜗听神经传导电极阵列 |
| CN104616659A (zh) * | 2015-02-09 | 2015-05-13 | 山东大学 | 相位对重构语音声调感知影响方法及在人工耳蜗中应用 |
| CN104856784A (zh) * | 2015-03-26 | 2015-08-26 | 深圳大学 | 一种电听觉假体信号处理方法及其系统 |
| WO2017062701A1 (en) * | 2015-10-09 | 2017-04-13 | Med-El Elektromedizinische Geraete Gmbh | Estimation of harmonic frequencies for hearing implant sound coding using active contour models |
| EP3167799A1 (en) * | 2014-08-13 | 2017-05-17 | Huawei Technologies Co., Ltd. | Movement recognition method and apparatus based on surface electromyographic signal |
| WO2017180809A1 (en) * | 2016-04-14 | 2017-10-19 | Med-El Elektromedizinische Geraete Gmbh | Multichannel optogenetic stimulation and inhibition |
| CN107614058A (zh) * | 2015-09-01 | 2018-01-19 | Med-El电气医疗器械有限公司 | 患者特定的频率调制适应 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8185383B2 (en) * | 2006-07-24 | 2012-05-22 | The Regents Of The University Of California | Methods and apparatus for adapting speech coders to improve cochlear implant performance |
| CN101642399B (zh) * | 2008-12-16 | 2011-04-06 | 中国科学院声学研究所 | 一种基于频率调制信息的人工耳蜗语音处理方法及处理器 |
| WO2010111320A2 (en) * | 2009-03-24 | 2010-09-30 | Med-El Elektromedizinische Geraete Gmbh | Musical fitting of cochlear implants |
| CN104123947B (zh) * | 2013-04-27 | 2017-05-31 | 中国科学院声学研究所 | 基于带限正交分量的声音编码方法和系统 |
| CN109200469B (zh) * | 2018-10-24 | 2020-05-05 | 山东大学 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
-
2018
- 2018-10-24 CN CN201811243530.3A patent/CN109200469B/zh active Active
-
2019
- 2019-09-20 WO PCT/CN2019/107111 patent/WO2020082951A1/zh active Application Filing
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1868427A (zh) * | 2005-05-24 | 2006-11-29 | 北京大学科技开发部 | 适合汉语语音编码策略的人工耳蜗方法 |
| US20110319965A1 (en) * | 2005-10-28 | 2011-12-29 | Advanced Bionics, Llc | Optimizing Pitch Allocation in a Cochlear Stimulation System |
| CN101055717A (zh) * | 2007-05-14 | 2007-10-17 | 南方医科大学 | 采用atf编码技术的人工耳蜗实现方法及atf人工耳蜗 |
| WO2010150002A1 (en) * | 2009-06-23 | 2010-12-29 | Medical Research Council | Cochlear implant apparatus |
| CN101716108A (zh) * | 2009-11-20 | 2010-06-02 | 中国科学院声学研究所 | 一种电子耳蜗信号处理及电刺激编码系统及其处理方法 |
| CN102058453A (zh) * | 2010-10-28 | 2011-05-18 | 中国科学院声学研究所 | 一种电刺激听觉音调感知测试与评估系统 |
| CN103892939A (zh) * | 2014-04-11 | 2014-07-02 | 浙江诺尔康神经电子科技股份有限公司 | 提高汉语声调识别率的人工耳蜗言语处理器和方法 |
| CN104013480A (zh) * | 2014-06-13 | 2014-09-03 | 山东大学 | 可感知音乐旋律的人工耳蜗听神经传导电极阵列 |
| EP3167799A1 (en) * | 2014-08-13 | 2017-05-17 | Huawei Technologies Co., Ltd. | Movement recognition method and apparatus based on surface electromyographic signal |
| CN104616659A (zh) * | 2015-02-09 | 2015-05-13 | 山东大学 | 相位对重构语音声调感知影响方法及在人工耳蜗中应用 |
| CN104856784A (zh) * | 2015-03-26 | 2015-08-26 | 深圳大学 | 一种电听觉假体信号处理方法及其系统 |
| CN107614058A (zh) * | 2015-09-01 | 2018-01-19 | Med-El电气医疗器械有限公司 | 患者特定的频率调制适应 |
| WO2017062701A1 (en) * | 2015-10-09 | 2017-04-13 | Med-El Elektromedizinische Geraete Gmbh | Estimation of harmonic frequencies for hearing implant sound coding using active contour models |
| WO2017180809A1 (en) * | 2016-04-14 | 2017-10-19 | Med-El Elektromedizinische Geraete Gmbh | Multichannel optogenetic stimulation and inhibition |
Non-Patent Citations (4)
| Title |
|---|
| FAJIANG MA ET AL: "Study on the Relationship between Melody", 《2ND INTERNATIONAL CONFERENCE ON ELECTRICAL, AUTOMATION AND MECHANICAL ENGINEERING (EAME 2017)》 * |
| FAN-GANG ZENG ET AL: "Cochlear Implants:System Design, Integration, and", 《IEEE REVIEWS IN BIOMEDICAL ENGINEERING》 * |
| 毛弈韬 等: "人工耳蜗技术与音乐转换研究现状", 《中华耳科学杂志》 * |
| 陈雪勤 等: "基于听觉模型的汉语耳语音声调检测", 《电子学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082951A1 (zh) * | 2018-10-24 | 2020-04-30 | 山东大学 | 一种增强人工耳蜗音调感知的优化编码方法及系统 |
| CN111905262A (zh) * | 2020-09-07 | 2020-11-10 | 复旦大学附属眼耳鼻喉科医院 | 一种识别音乐的人工耳蜗音频通道分布方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020082951A1 (zh) | 2020-04-30 |
| CN109200469B (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nie et al. | Encoding frequency modulation to improve cochlear implant performance in noise | |
| CN100502819C (zh) | 制造适合汉语语音编码策略的人工耳蜗的方法 | |
| CN101645267B (zh) | 一种应用于电子耳蜗的语音处理方法 | |
| Lan et al. | A novel speech-processing strategy incorporating tonal information for cochlear implants | |
| CN101716108B (zh) | 一种电子耳蜗信号处理及电刺激编码系统 | |
| CA2383718C (en) | Improved sound processor for cochlear implants | |
| CN111768802B (zh) | 一种人工耳蜗语音处理方法及系统 | |
| CN109200469A (zh) | 一种增强人工耳蜗音调感知的优化编码方法及系统 | |
| CN104307100B (zh) | 一种提高人工耳蜗音高感知能力的方法及系统 | |
| AU2016317088B2 (en) | Rate and place of stimulation matched to instantaneous frequency | |
| US20150080980A1 (en) | Dynamic Stimulation Channel Selection | |
| CN100589783C (zh) | 具有s参数控制的基于汉语特征的电子耳蜗语音处理方法 | |
| Grayden et al. | A cochlear implant speech processing strategy based on an auditory model | |
| CN104123947B (zh) | 基于带限正交分量的声音编码方法和系统 | |
| EP3302696B1 (en) | Patient specific frequency modulation adaption | |
| AU2021102795A4 (en) | Optimized coding method and system for enhancing tone perception of cochlear implant | |
| CN109982744A (zh) | 使用改编精细结构处理的基于双耳间相干的耳蜗刺激 | |
| CN111150934B (zh) | 人工耳蜗汉语声调编码策略的评估系统 | |
| WO2003099179A1 (en) | Generation of electrical stimuli for application to a cochlea | |
| CN109963615A (zh) | 使用改编包络处理的基于双耳间相干的耳蜗刺激 | |
| Liu et al. | An improved speech coding strategy for cochlear implants | |
| CN107924072A (zh) | 多信道光电机械刺激 | |
| Liu et al. | A novel speech coding algorithm for cochlear implants | |
| Tabibi et al. | A new adaptive frequency and amplitude modulation encoding in multi channel cochlear implant | |
| Barda et al. | CODING AND ANALYSIS OF SPEECH IN COCHLEAR IMPLANT: A REVIEW. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |