CN108985332A

CN108985332A - 基于动作电位发放间隔的自然图像随机森林成像方法

Info

Publication number: CN108985332A
Application number: CN201810618396.4A
Authority: CN
Inventors: 师丽; 王治忠; 王松伟; 牛晓可
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2018-06-15
Filing date: 2018-06-15
Publication date: 2018-12-11

Abstract

本发明公开了基于动作电位发放间隔的自然图像随机森林成像方法，旨在解决直接利用生物视觉系统作为摄像系统，通过解码视皮层的动作电位信号，获得自然图像，进而实现对外界自然图像场景成像的问题；通过选取自然图像刺激动物，采集所述动物视皮层的动作电位信号，对所述动作电位信号进行集群发放间隔特征提取，采用随机森林模型算法对提取的集群发放间隔特征进行成像，得到自然图像；实现过程简单，自然图像的成像效果好，成像正确率高。

Description

基于动作电位发放间隔的自然图像随机森林成像方法

技术领域

本发明涉及信息科学领域，具体涉及基于动作电位发放间隔的自然图像随机森林成像方法。

背景技术

当脑科学研究的序幕开启、人类开始走进神经科学研究的领域之后，依托于计算机的人工智能正逐渐成为新的“智力”活动代表。视觉系统是脑的重要组成部分。其中，视觉系统是动物观察外界环境的主要感官系统。研究证明，动物大脑所接收的外界信息中，视觉信息占80％以上。通过植入式微电极阵列检测脑神经元动作电位信号，提取响应特征，构建重建模型，实现视觉感知信息的重建是一个极具挑战性的问题。

动作电位尖峰信号包含大量的外界刺激信息，从中提取有效特征可以对动物大脑的机制进行探究。在此之前许多神经学家利用动作电位尖峰序列对动物大脑进行了研究。1991年，Bialek等人采用随机的移动光栅作为视觉刺激，构造了苍蝇小叶板H1神经元的动作电位序列解码器，有效估算了刺激模式的速率，并对解码误差进行了评估。1997年，Warland等人采用线性和非线性两种算法解码了视网膜神经节细胞集群动作电位序列编码的亮度信息，发现亮度刺激的大部分信息能够利用线性的方法从动作电位序列中提取出来。1997年，HJ Sun等人利用动作电位的发放信息将运动物体与背景颜色的的联系，发现了同一细胞对不同背景色的响应不同。2011年，Ryu等人对视网膜神经节细胞编码视觉输入信息的机制进行了研究，提取了动作电位序列发放特征，利用支持向量机作为解码器，解码的精度用原始刺激和解码出的刺激之间的相似度来衡量。2014年，Aubie等人提取了动作电位发放率特征，利用最大似然估计器精确地解码出了刺激的持续时间。

视频图像获取的主要途径为摄像机、照相机，但是专业摄像机、相机体积大，操作繁杂。镶嵌在手机等设备上的小型相机不能很好的解放双手并及时有效的记录瞬间，且记录的内容不具有针对性。

发明内容

本发明的目的在于：提供基于动作电位发放间隔的自然图像随机森林成像方法，解决了目前无法通过生物脑电信号获取外界自然图像刺激内容的技术问题。

本发明采用的技术方案如下：

基于动作电位发放间隔的自然图像随机森林成像方法，包括以下步骤：

步骤1：选取不同自然图像刺激动物，采集所述动物视皮层的动作电位信号；

步骤2：对所述动作电位信号进行集群发放间隔特征提取；

步骤3：采用随机森林算法利用提取的集群发放间隔特征构建自然图像重建模型，得到重建的自然图像。

进一步的，所述步骤1具体为：

S101：向所述动物播放刺激，所述刺激的刺激模式为：选取不同自然图像刺激，利用刺激播放器分别从右往左、从下往上依次播放刺激图像；

S102：播放一幅刺激图像，采集一次动物视皮层的动作电位信号，直至所有的刺激图像播放完毕。

进一步的，所述步骤2中集群发放间隔特征提取的算法为：

S201：将刺激s_i(i＝1，2，...，M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(1)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

S202：统计每一帧刺激图像刺激后动作电位发放总个数Num，则可获得Num-1个动作电位发放间隔；

S203：查询Num-1个动作电位发放间隔对应时间窗口，并将所述动作电位发放间隔归放于对应的时间窗口中，构成实际刺激响应下的特征矩阵R，所述特征矩阵R如下：

其中，表示在第i个刺激图像刺激时，神经元v的动作电位信号在第j个时间窗口的发放间隔，即为特征提取算法提取的特征。

进一步的，所述刺激图像的灰度矩阵S为：

其中，s_ei表示在第i个刺激图像第e个像素点处的灰度值，E表示像素点的个数。

进一步的，所述步骤3具体为：

S301：选取自然图像重建模型中决策树的个数N_T；

S302：从特征矩阵R中有放回地随机抽取N_T个与特征矩阵R大小相等的训练样本集{T_k，k＝1，2...，N_T}，所述训练样本集对应的标签集合为灰度矩阵S，对每个训练样本集T_k构造一个对应的决策树，k表示训练样本集的序号；

S303：在对决策树每个节点进行分裂时，从所述训练样本集中特征的特征属性中等概率随机抽取一个属性子集，所述属性子集中的数据用于对随机森林中每个决策树进行训练，获得自然图像重建模型；

S304：将训练样本集输入所述自然图像重建模型进行训练，完成自然图像的重建，获得重建的自然图像矩阵U：

其中，u_ei表示第i个刺激图像第e个像素点处的自然图像重建值，M表示刺激图像的总帧数。

进一步的，还包括步骤4：对所述成像过程进行参数优化。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.自然图像的成像效果好，成像正确率达0.9以上。

2.本发明采用扫屏模式，将图片进行了有效分割，从而保证了在生物神经元在不动的情况下可以看到整张图片，然后在神经元响应中找到了有效表征相应像素块的特征即发放率特征，之后利用集群信息得到较好的成像结果；

3.本发明充分利用了动物视觉系统在复杂场景下快速目标提取与识别能力，可以随时记录外界场景的信息。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的流程图；

图2是本发明自然图像刺激图像示意图；

图3是本发明中动物一个刺激的感受野；

图4是本发明自然图像成像过程的示意图；

图5是本发明中自然图像刺激的成像结果；

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1-5对本发明作详细说明。

向所述动物播放刺激，所述刺激的刺激模式为：选取不同自然图像刺激动物，利用刺激播放器分别从右往左、从下往上依次播放刺激图像；每播放一幅刺激图像，采集一次动物视皮层的动作电位信号，直至所有的刺激图像播放完毕。

步骤2：对所述动作电位信号进行集群发放间隔特征提取；

将刺激s_i(i＝1，2，...，M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(5)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

统计每一帧刺激后动作电位发放总个数Num，则可获得Num-1个动作电位发放间隔；

查询Num-1个动作电位发放间隔对应时间窗口，并将其归放于对应的时间窗口中，构成实际刺激响应下的特征矩阵R，所述特征矩阵R如下：

所述刺激图像的灰度矩阵S为：

步骤3：采用随机森林算法利用提取的集群发放间隔特征构建自然图像重建模型，得到重建的自然图像。所述随机森林重建模型算法包括以下步骤：

S301：选取自然图像重建模型中决策树的个数N_T；

S302：从特征矩阵R中有放回地随机抽取N_T个与特征矩阵R大小相等的训练样本集{T_k，k＝1，2，..，N_T}，所述训练样本集对应的标签集合为灰度矩阵S，对每个训练样本集T_k构造一个对应的决策树，k表示训练样本集的序号；

步骤4：对所述成像过程进行参数优化。

具体实施例

包括对实验动物进行手术：

在进行实验之前需要选定合适的实验对象进行手术，手术的目的是将32通道微电极阵列植入动物视皮层的神经元中，以便后续的动作电位信号的采集。手术需要的器材包含：1)手术防震台；2)立体定位仪；3)颅钻；4)冷光源；5)显微镜；6)微型操作器；7)动物颅骨微创手术器具；8)药剂；9)胶质海绵；10)微电极阵列等，其中微电极阵列采用32通道，试验中根据具体实际情况选择其中某些通道进行重建。

搭建实验平台：

本试验平台的搭建是为了实现对动物视皮层动作电位信号的采集与记录。实验平台的搭建主要包含两部分，1)刺激模式生成系统的搭建；2)信号采集系统的搭建。其中，刺激系统主要包含刺激播放计算机和与之同屏连接的刺激屏幕，其主要是在实验中作为动物实验动物的刺激源。信息采集系统用于采集动物视皮层试验区的动作电位信号，由于动物的脑电信号微弱，需要经过前置放大器对信号进行放大处理才能够被记录。

在进行实验之前，需要生成感受野刺激并寻找到感受野较好的神经元通道，然后针对这些神经元实现对不同自然图像的重建。本实验中主要包含两幅自然图像，每一幅自然图像刺激包含0-255之间的随机亮度值。刺激图像在刺激播放计算机方面进行播放，其播放模式分别从右至左，从上到下依次移动2个像素点大小，直至将所有图像像素播放完毕。

步骤2：对所述动作电位信号进行特征提取；获得采集到的信号之后，需要从中提取便于重建的有效特征。本发明中经过多次特征的提取与变换，最终选择提取的是动作电位信号的发放率特征，就是在刺激开始后截取一段时间长度，计算每个通道的时间窗中动作电位信号的发放个数。

具体算法如下：

将刺激s_i(i＝1，2，...M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(9)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

其中，表示在第i个刺激图像刺激时，神经元v的动作电位信号在第j个时间窗口的发放个数，即为特征提取算法提取的特征。

选择像素点个数E＝4，则刺激的灰度矩阵S为：

其中，s_ei表示在第i个刺激图像第e个像素点处的灰度值。

步骤3：采用随机森林模型算法对集群发放间隔特征进行成像，得到成像的自然图像。

所述随机森林模型算法包括以下步骤：

决策树个数选取：

决策树个数选择较少会使成像效果变差，数目较大会使降低运行效率，因此通过实验选取决策树个数为N_T＝200；

从原特征样本集R中有放回地随机抽取N_T个与原样本集同样大小的训练样本集{T_k，k＝1，2，..，N_T}(每次约有37％的样本未被抽中)，对应的标签集合为灰度矩阵S，每个训练样本集T_k构造一个对应的决策树。

在对决策树每个节点进行分裂时，从全部属性中等概率随机抽取一个属性子集(通常取[log₂(M*N+1)+1]个属性，M*N+1为特征总数)，并利用这些数据进行随机森林中每个决策树的训练；

随进森林重建模构建完成后，利用训练数据集进行自然图像的重建，自然图像重建成像获得的矩阵为U并采用正确率的方式进行质量的评价。

步骤4：对所述成像过程进行参数优化。

由于利用动作电位信号对自然图像重建的效果与有效神经元个数(num)、刺激持续时间(T)、时间窗(bin)、刺激开始时间(after_time)有着密切的关系，所以在对自然图像刺激成像之前需要选出最优重建参数。在白色背景下，首先设定持续时间T＝0.2s，时间窗口bin＝5ms，刺激开始时间after_time＝0ms，在此参数下，采用两种方法分别对单通道动作电位序列进行重建，然后根据单通道重建结果选择较好的通道，最后选择通道较好的11个通道。随后分别选择bin的尺度、刺激持续时间大小、刺激开始时间大小，最后经过测试得到最优参数为num＝8，bin＝8ms，T＝250ms，after_time＝6ms，在此参数下，随机森林模型算法有较高的重建正确率。Decodel对应随机森林模型。

Claims

1.基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：包括以下步骤：

步骤2：对所述动作电位信号进行集群发放间隔特征提取；

2.根据权利要求1所述的基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：所述步骤1具体为：

3.根据权利要求1所述的基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：所述步骤2中集群发放间隔特征提取的算法为：

S201：将刺激s_i(i＝L2，...，M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(1)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

4.根据权利要求3所述的基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：所述刺激图像的灰度矩阵S为：

5.根据权利要求4所述的基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：所述步骤3具体为：

S301：选取自然图像重建模型中决策树的个数N_T；

6.根据权利要求1所述的基于动作电位发放间隔的自然图像随机森林成像方法，其特征在于：还包括步骤4：对所述成像过程进行参数优化。