CN115906960B - 基于生物学习神经网络的声音识别方法 - Google Patents

Abstract

本发明提供了一种基于生物学习神经网络的声音识别方法，包括：对生物体的原代神经元进行提取和培养，得到接种有神经元细胞的生物芯片；利用多通道生物信号采集系统记录生物芯片的放电信号；采用随机点电刺激的方式对生物芯片的每个区域进行多种刺激模板的学习，学习完成后得到生物学习神经网络；获取待识别的声音信号，并将声音信号编码为音乐模板；将音乐模板作用于生物学习神经网络；利用支持向量机对生物学习神经网络的放电响应进行分类，识别出声音信号。本发明中采用随机点电刺激，可以简单安全有效的抑制神经网络的同步爆发，提升生物学习神经网络的学习能力，构建具有稳定输出的网络，以低能高效、高准确性执行完成声音识别任务。

Description

基于生物学习神经网络的声音识别方法

技术领域

本申请涉及生物学习神经网络技术领域，特别是涉及基于生物学习神经网络的声音识别方法。

背景技术

随着信息技术(IT)在过去几十年中的巨大发展，现在有许多方法和系统可用于执行各种计算任务，例如计算、数据优化、数据分类、自然语言处理和翻译、图像和视频处理和识别。近年来认知计算的发展，包括机器学习、深度学习、模仿生物神经网络的神经网络人工神经计算。人工神经计算进一步试图在家中、社交媒体和工作中，以及在深海、太空等对人类不利的环境中，为人类提供人工智能，帮助他们完成所有任务，如声音识别，物体和面部识别、自然语言处理(NLP)和情感分析，核反应堆等。然而，当前硅基计算环境(包括软件和硬件)的一个主要限制是它们执行复杂的认知任务所需的功率过高。硅基系统的功耗比具有类似性能的生物系统(例如大脑)高一个数量级。另一个限制是要求至少一些显式逻辑编程和结构化数据表示，这使得它们今天不适合实现尚未被人类科学理解和建模的概念，例如更高级别的认知过程、创造性思维和意识。

随着生物技术(BT)的迅猛发展，BT-IT融合为实现如声音识别等复杂认知任务提供了一种新的方法。然而，目前的BT-IT融合系统，没有经过任何的学习训练，直接将信息经过预处理后作为输入信息输入到系统中，输入与输出的映射关系实现认知功能与计算。由于生物神经网络为复杂系统，其网络动力学复杂多变，未经过学习训练时鲁棒性较差，对于相同的输入刺激，每次的输出响应也不尽相同，多次执行相同的认知任务效率低、准确性差。同时，生物神经网络的活动模式主要为单个峰电位散发和同步爆发，其中同步爆发反应了网络高度同步性，会不断加固已有的突触连接，削弱由外部刺激诱发的不稳定连接。

因此，现有的生物神经网络并不具备处理复杂时空信息的能力，无法实现对声音的识别与分类。

发明内容

有鉴于此，本发明提供了一种基于生物学习神经网络的声音识别方法，利用体外培养生物神经网络处理复杂时空信息，实现对声音的识别与分类。

为此，本发明提供了以下技术方案：

本发明提供了一种基于生物学习神经网络的声音识别方法，所述方法包括：

对生物体的原代神经元进行提取和体外培养，得到接种有神经元细胞的生物芯片；

采用随机点电刺激的方式对所述生物芯片的每个区域进行多种刺激模板的学习，并进行自发电记录，学习完成后得到生物学习神经网络；所述刺激模版包括时间序列刺激模版和音乐刺激模版2种类型，每类刺激模版中都含有4种不同的刺激模版；所述时间序列刺激模版中，每个模版中每两个刺激之间的时间间隔不同，刺激采用±500mV的双极脉冲刺激，先正后负，持续时间200微秒；所述音乐模版中，每个模版中每两个刺激之间的时间间隔不同，采用双极脉冲刺激，先正后负，持续时间200微秒，幅值在±300～±500之间；

获取待识别的声音信号，并将所述声音信号编码为音乐模板；

将所述音乐模板作用于所述生物学习神经网络，并采用多通道生物信号采集系统记录所有通道的放电响应；

对所述放电响应进行数据处理和分析，得到声音分类特征矩阵；

利用支持向量机对所述声音分类特征矩阵进行分类，识别出所述声音信号。

进一步地，对所述声音信号进行编码，得到待识别的音乐模板，包括：

将所述声音信号中的每一个语音编码为一个电刺激，其中声音的时间信息编码为音乐模版中两刺激之间的间隔，空间信息编码为刺激多通道生物信号采集系统中不同的区域，语音的高低编码为刺激幅值的高低。

进一步地，对所述放电响应进行数据处理和分析，得到声音分类特征矩阵，包括：

检测峰电位，识别峰值的时间和位置；

检测神经元爆发，并统计爆发中包含的峰电位个数，爆发持续时间以及有多少个电极在同一时间产生了爆发事件；

将预设时长的音乐模版序列分成若干个等长的时间窗，提取每个通道每个时间窗中的峰电位的数量，构建特征矩阵，并通过主成分分析对所述特征矩阵降维；得到声音分类特征矩阵。

进一步地，检测峰电位之前还包括：

使用带通滤波器对记录的原始数据进行滤波，去除背景噪声。

进一步地，还包括：

对于所述音乐模版，在每次刺激中的放电率进行求和平均，得到平均放电率；

基于所述平均放电率进行分析，评估学习过程对神经网络的影响。

进一步地，对生物体的原代神经元进行提取和体外培养，包括：

从生物体分离皮层神经元；

对所述皮层神经元进行皮层组织解离，得到神经元细胞；

将所述神经元细胞接种于生物芯片中；

将生物芯片放置在预设温度的二氧化碳培养箱中预设时间；

每隔预设周期更换维持培养基。

本发明的优点和积极效果：本发明中，采用随机点电刺激，可以简单安全有效的抑制神经网络的同步爆发，提升生物学习神经网络的学习能力，构建具有稳定输出的网络，以低能高效、高准确性执行完成声音识别任务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的实验流程示意图；

图2为本发明实施例中的时间序列模版分类任务；

图3为本发明实施例中的音乐模版分类任务。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面从四个部分对本发明实施例中基于生物学习神经网络的声音识别方法进行详细说明，四个部分包括：原代神经元提取与培养、实验方案、数据分析和实验结果。如图1所示，图1A示出了多电极阵列MEAs；图1B示出了MEAs芯片中电极阵列；图1C示出了MEAs实验刺激位点；蓝色区域、橙色区域、紫色区域和红色区域，共计四个区域为刺激的位点；图1D示出了时间序列刺激模版示意图；每两个刺激之间时间间隔不等，刺激采用±500mV的双极脉冲刺激，先正后负，持续时间200微秒；蓝色表示template1、橙色表示template2、紫色表示template3、红色表示template4；图1E示出了音乐刺激模版示意图；每两个刺激之间的时间间隔不同，采用双极脉冲刺激，先正后负，持续时间200微秒，幅值在±300～±500之间不等；蓝色表示template1、橙色表示template2、紫色表示template3、红色表示template4。

1、原代神经元提取与培养

本发明实施例中使用的实验动物取自孕18天(E18)的Wistar大鼠。

取鼠：手术前对母鼠施以水合氯醛麻醉，使用70％医用酒精对手术台操作台消毒。在腹部以T型剖开，小心取出胎鼠，放入置于冰上的D-hanks溶液中，取出所需的胎鼠后，应尽快将其转移到超净台。

分离皮层神经元：在超净台环境中，使用4℃的D-hanks溶液保持组织活性。首先用眼科剪配合精细镊撕开头盖骨上附着的皮肤，小心地剪开胎鼠颅骨，向上挑起胎鼠头皮，避免造成脑组织损坏，影响后续脑组织提取。随后使用镊子顺大脑腹面分离完整大脑。剥离左右皮层并放入冰镇的D-hanks缓冲液中。

解离皮层组织：为了将组织消化为单细胞，向放有组织的西林瓶中加入0.125％的胰蛋白酶，并置于37℃二氧化碳培养箱中酶解。每隔4分钟摇晃一次。10分钟后取出，加入4mL种植培养基终止消化。用200目筛网过滤，收集细胞悬液，并调整细胞浓度至1000-1500cells/μL。

种植：取80-90μL细胞悬液接种于多聚赖氨酸预处理的生物芯片中，随后将生物芯片在37℃二氧化碳培养箱中静置4小时，使细胞充分贴壁。4小时后更换维持培养基(Neurobasal+B27plus，双抗，1％ Glutamax)，以后每次使用该配方半量换液，每隔3天换液一次直到实验结束。

2、实验方案

本发明实施例中使用的MEAs(多通道系统，MCS)，如图1A所示，由59个TiN/SiN平面圆形电极(直径30μm，电极中心间距200μm)，以8×8电极阵列排布在正方形网格中，如图1B所示，不包括边角。通过MEA60系统(MCS)记录所有培养物的放电信号，该系统由多通道系统放大器(带宽1Hz-3kHz)和多通道系统数据采集卡组成。每个通道的信号在10kHz处进行采样。使用MC_Rack软件(MCS)对数据进行在线监测和记录。为了降低实验过程中细胞的热应力，通过控制恒温器(MCS)将MEAs保持在37℃，并用PDMS盖子覆盖在生物芯片圆孔上，以避免蒸发和防止渗透压的变化。

实验开始，每个芯片记录自发电5min。进行随机点刺激，500mv，先正后负，电刺激10min，放入培养箱中休息30分钟。记录自发电5min，接下来进行学习阶段，对每个区域进行一种模版的学习，如图1C所示，蓝色区域、橙色区域、紫色区域和红色区域，共计四个区域为刺激的位点。本次实验共有两种不同类别刺激模版，每类刺激模版中都含有4种不同的刺激模版。如图1D所示为时间序列刺激模版，每个模版中每两个刺激之间的时间间隔不同，刺激采用±500mV的双极脉冲刺激，先正后负，持续时间200微秒。如图1E所示为音乐刺激模版，每个模版中每两个刺激之间的时间间隔不同，采用双极脉冲刺激，先正后负，持续时间200微秒，幅值在±300～±500之间不等。首先对每个区域进行10次循环刺激，每个区域40s，共160s，为一轮，一轮结束后，细胞休息5min，记录自发电5min，共6轮学习。学习完成后进行测试，测试前记录自发放电模式，按照模版循环测试，共20个测试，测试后进行自发电记录，细胞完成实验。

3、数据分析：

(1)识别峰电位(spike)

采用高密度多电极阵列仪器记录的是神经元胞外的局部电位，导致采集到的电信号幅值较小，同时电刺激会给电极记录带来大量的噪声，峰电位与多噪声波形混合在一起，很难辨别出有意义的神经元放电信号。因此，在进行数据分析前要完成检测峰电位的工作，利用峰电位幅值明显大于噪声的显著特征，从背景噪声中识别出峰电位，提取过程称为峰电位识别(spike detection)。最常用且最简单的识别峰电位的方法为阈值法，本发明实施例中使用AxlS软件自带的spike detection功能模块完成基本的数据处理，在进行此步骤之前，使用300～3000Hz的带通滤波器对原始数据进行滤波，去除背景噪声，提高数据的信噪比。下面进行峰电位检测，该峰值检测处理器是神经数据可视化和分析的基础处理器，可识别峰值的时间和位置。设置一个适当的检测阈值对于准确识别峰电位至关重要。较低的阈值会增加假阳性的错误(小噪声事件被错误识别为峰值)；较高的阈值可能无法检测到较小的振幅动作电位。本发明实施例使用6倍标准差的自适应阈值，以尽量减少假阳性和遗漏检测。

(2)检测爆发(Burst)

几乎所有的类型的神经元细胞，只要以足够的密度进行培养，都会发育成一个自发活跃的网络。伴随着突触数量的增加，网络整体变得活跃，在电镀后的最初几天就开始了。最初只是孤立的神经元放电，慢慢逐渐形成小的孤立但相互连接的亚群，以短暂的局部爆发的形式进行振荡爆发。在7-10天后，这些孤立的网络振荡开始凝聚成爆发性的活动，使网路中多个神经元参与其中。简而言之，每个电极的尖峰序列都被单独定义为爆发事件(至少有四个峰电位的序列，峰电位间歇期小于设定的阈值)，最小爆发持续时间为10ms。当网络中多个神经元同一时间产生了爆发，定义为网络的同步爆发事件。本发明实施例中使用AxlS中自带的Burst Detection功能进行爆发检测，并统计爆发中包含的峰电位个数，爆发持续时间以及有多少个电极在同一时间产生了爆发事件。

(3)SVM分类器

前面已经完成了数据预处理的工作，得到了较理想的分类数据，下面基于神经元放电信号完成声音识别任务，由于不同学习模版对应的电极位置和区域不同，自然网络对于每个学习模版之间的响应情况也存在差异性，同时在每一个学习模版中，刺激之间的时间间隔不是固定不变的，学习模版中还包含了时间信息，所以说在声音识别的学习模版中包含了时间和空间信息。将学习模版4s钟的刺激划分为8个bin，即每个bin为500ms，所以根据每个学习模版中每个电极的响应，以及每个电极每个bin中的峰电位个数作为声音分类的特征，组成一64x8的矩阵，该矩阵中既包含了时间信息又包含了空间信息，并且差异性较大，是分类的理想特征。由于数据较少，所以选择了基于提取特征且适用于小数据集分类的SVM分类器。数据集采用7-3百分比进行分配，70％作为训练集，30％作为测试集。

4、实验结果：

如图2所示，其示出了本发明实施例中的时间序列模版分类任务，图2A示出了4种时间序列模版刺激响应光栅图；蓝色表示template1、橙色表示template2、紫色表示template3、红色表示template4；图2B示出了对与4种时间序列模版刺激的分类结果；黄色表示template1、蓝色表示template2、绿色表示template3、红色表示template4；图2C示出了4种时间序列模版刺激放电率统计图；黄色表示template1、蓝色表示template2、绿色表示template3、红色表示template4；图2D示出了体外培养分离神经网络放电热图。纵轴为每一轮模版刺激中刺激出现次序，横轴为每一个500ms的时间窗。

观察到体外培养神经网络对每种时间序列模版的刺激具有不同的响应模式，对每一种时间序列模版的刺激每个通道都有相似的相应模式，如图2A所示，这是一个从MEA所有通道记录的峰电位响应光栅图，分别将四种时间序列模版作用到体外培养神经网络，记录MEA上所有通道电极的响应。每种时间序列模版都包含了网络的空间信息以及时间信息，因为同一模版刺激中两次刺激的时间间隔编码时间信息，每一种模版刺激体外培养神经网络的不同位置，编码了空间信息。所以可以观察到体外培养神经网络能够对不同的时间信息和空间信息产生不同的响应，能够识别出不同的时间序列模版。

从第一个刺激开始，将4s长的时间模版序列每500ms分为一个时间窗，共计分为8个等长的时间窗，提取每个通道，每个时间窗中的峰电位的数量，构建64X8的特征矩阵，通过主成分分析(PCA)降维后，使用支持向量机(SVM)进行分类，其中70％的样本数据用于训练，30％的样本数据用于分类，分类结果如图2B所示。体外培养神经网络能够将四种时间序列模版进行较为准确的分类，每一种时间序列的模版分类准确率均大于25％的随机水平，说明体外培养神经网络能够准确识别出包含时间和空间信息的时间序列模版，进而区分出不同的时间序列模版。

对每一时间序列模版在每次刺激中的放电率进行求和平均，得到平均放电率如图2C所示。可以观察到，每一种时间序列模版刺激体外培养神经网络过程中，在不同时刻都具有不同的平均放电率，说明体外培养神经网络，对于不同时间序列模版刺激具有不同的放电模式，进一步说明体外培养神经网络能够识别出具有不同时间和空间信息的时间序列模版，响应不同的放电模式。

声音相对于静止的图像而言，是一种动态的信号，包含了多种信息，其中主要包含时间信息、空间信息、语音语调等信息。在此，本发明实施例中将声音信号编码为音乐模版，每一个语音编码为一个电刺激，其中声音的时间信息编码为音乐模版中两刺激之间的间隔，空间信息编码为刺激MEA中不同的区域，语音的高低编码为刺激幅值的高低。

如图3所示，其示出了本发明实施例中的音乐模版分类任务，图3A示出了4种音乐模版刺激响应光栅图；蓝色表示音乐1、橙色表示音乐2、紫色表示音乐3、红色表示音乐4；图3B示出了对与4种时间序列模版刺激的分类结果；黄色表示音乐1、蓝色表示音乐2、绿色表示音乐3、红色表示音乐4；图3C示出了4种时间序列模版刺激放电率统计图；黄色表示音乐1、蓝色表示音乐2、绿色表示音乐3、红色表示音乐4；图3D示出了体外培养分离神经网络放电热图；纵轴为每一轮模版刺激中刺激出现次序，横轴为每一个500ms的时间窗。

可以同样观察到体外培养神经元网络对每种音乐模版的刺激具有不同的响应模式，对每一种时间序列模版的刺激每个通道都有相似的响应模式，如图3A所示，这是一个从MEA所有通道记录的峰电位响应光栅图，分别将四种音乐模版刺激作用到体外培养神经网络，采用微电极记录MEA上所有通道的响应。由于每种音乐模版都包含了声音的空间信息、时间信息以及语音的高低信息，可以观察到体外培养的分离神经网络能够对不同的音乐模版刺激产生不同的响应，所以说明体外培养神经网络能够识别出不同的音乐模版刺激。

从第一个刺激开始，将4s长的音乐模版序列每500ms分为一个时间窗，共计分为8个等长的时间窗，提取每个通道，每个时间窗中的峰电位的数量，构建64X8的特征矩阵，通过主成分分析(PCA)降维后，使用支持向量机(SVM)进行分类，其中70％的样本数据用于训练，30％的样本数据用于分类，分类结果如图3B所示。体外培养神经网络能够将四种时间序列模版进行较为准确的分类，每一种音乐模版刺激的分类准确率均大于25％的随机水平，说明体外培养神经网络能够准确识别出包含时间、空间以及语音高低信息的音乐模版，进而区分出不同的音乐模版刺激。

对每一音乐模版刺激，在每次刺激中的放电率进行求和平均，得到平均放电率如图3C所示。可以观察到，每一种音乐模版刺激培养的分离神经网络过程中，在不同时刻都具有不同的平均放电率，说明体外培养神经网络，对于不同音乐模版刺激具有不同的放电模式，进一步说明体外培养的分离神经网络能够识别出具有不同时间、空间以及语音高低信息的音乐模版，响应出不同的放电模式。

由此可以得出以下结论：

体外培养神经网络对于每种不同的时间序列模版刺激，具有不同的光栅图响应模式，说明体外培养神经网络能够识别出具有不同时间和空间信息的时间序列模版。

体外培养神经网络通过提取每一时间序列模版刺激中每个等长的时间窗中峰电位的数量作为特征，进行主成分分析降维后，采用支持向量机分类，可以得到大于随机水平的分类结果，说明体外培养神经网络能够区分出具有不同时间和空间信息的时间序列模版。

体外培养神经网络对于每种不同的时间序列模版刺激，响应出不同的放电模式，在每一时刻具有不同的放电率，说明体外培养神经网络能够识别出具有不同时间和空间信息的时间序列模版，响应出不同的放电模式。

体外培养神经网络对于每种不同的音乐模版刺激，具有不同的光栅图响应模式，说明体外培养神经网络能够识别出具有不同时间、空间以及语音高低信息的音乐序列模版。

体外培养神经网络通过提取每一时间序列模版刺激中每个等长的时间窗中峰电位的数量作为特征，进行主成分分析降维后，采用支持向量机分类，可以得到大于随机水平的分类结果，说明体外培养神经网络能够区分出具有不同时间、空间以及语音高低信息的音乐序列模版。

体外培养神经网络对于每种不同的音乐序列模版刺激，响应出不同的放电模式，在每一时刻具有不同的放电率，说明体外培养神经网络能够识别出具有不同时间、空间和语音高低信息的音乐序列模版，响应出不同的放电模式。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于生物学习神经网络的声音识别方法，其特征在于，所述方法包括：

对生物体的原代神经元进行提取和体外培养，得到接种有神经元细胞的生物芯片；

采用随机点电刺激的方式对所述生物芯片的每个区域进行多种刺激模版的学习，并进行自发电记录，学习完成后得到生物学习神经网络；所述刺激模版包括时间序列刺激模版和音乐刺激模版2种类型，每类刺激模版中都含有4种不同的刺激模版；所述时间序列刺激模版中，每个模版中每两个刺激之间的时间间隔不同，刺激采用±500mV的双极脉冲刺激，先正后负，持续时间200微秒；每种时间序列刺激模版都包含了网络的空间信息以及时间信息，同一模版刺激中两次刺激的时间间隔编码时间信息，每一种模版刺激体外培养神经网络的不同位置，编码了空间信息；所述音乐刺激模版中，每个模版中每两个刺激之间的时间间隔不同，采用双极脉冲刺激，先正后负，持续时间200微秒，幅值在±300～±500之间；

获取待识别的声音信号，并将所述声音信号编码为音乐模版；

其中，将所述声音信号编码为音乐模版，包括：

将所述声音信号中的每一个语音编码为一个电刺激，其中声音的时间信息编码为音乐模版中两刺激之间的间隔，空间信息编码为刺激多通道生物信号采集系统中不同的区域，语音的高低编码为刺激幅值的高低；

将所述音乐模版作用于所述生物学习神经网络，并采用多通道生物信号采集系统记录所有通道的放电响应；

对所述放电响应进行数据处理和分析，得到声音分类特征矩阵，包括：

检测峰电位，识别峰值的时间和位置；

检测神经元爆发，并统计爆发中包含的峰电位个数，爆发持续时间以及有多少个电极在同一时间产生了爆发事件；

将预设时长的音乐模版序列分成若干个等长的时间窗，提取每个通道每个时间窗中的峰电位的数量，构建特征矩阵，并通过主成分分析对所述特征矩阵降维；得到声音分类特征矩阵；

利用支持向量机对所述声音分类特征矩阵进行分类，识别出所述声音信号。

2.根据权利要求1所述的一种基于生物学习神经网络的声音识别方法，其特征在于，检测峰电位之前还包括：

使用带通滤波器对记录的原始数据进行滤波，去除背景噪声。

3.根据权利要求1所述的一种基于生物学习神经网络的声音识别方法，其特征在于，还包括：

对于所述音乐模版，在每次刺激中的放电率进行求和平均，得到平均放电率；

基于所述平均放电率进行分析，评估学习过程对神经网络的影响。

4.根据权利要求1所述的一种基于生物学习神经网络的声音识别方法，其特征在于，对生物体的原代神经元进行提取和体外培养，包括：

从生物体分离皮层神经元；

对所述皮层神经元进行皮层组织解离，得到神经元细胞；

将所述神经元细胞接种于生物芯片中；

将生物芯片放置在预设温度的二氧化碳培养箱中预设时间；

每隔预设周期更换维持培养基。