CN108875632A

CN108875632A - 基于动物神经元动作电位信号的字符逆映射模型重建方法

Info

Publication number: CN108875632A
Application number: CN201810616600.9A
Authority: CN
Inventors: 王治忠; 师丽; 闫文明; 王松伟; 牛晓可
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2018-06-15
Filing date: 2018-06-15
Publication date: 2018-11-23

Abstract

本发明公开了一种基于神经元动作电位信号的字符逆映射模型重建方法，旨在解决直接利用生物视觉系统作为摄像系统，通过解码视皮层的Spike信号，获得字符图像，进而实现对外界字符图像场景自动拍照的问题；选取字符与背景具有不同对比度的刺激图像刺激动物，采集所述动物视皮层的动作电位信号；对所述动作电位信号进行集群发放率特征提取；采用逆映射模型算法对提取的集群发放率特征进行重建，得到重建字符；该方法实现过程简单，字符重建效果好，重建正确率高。

Description

基于动物神经元动作电位信号的字符逆映射模型重建方法

技术领域

本发明涉及信息科学领域，具体涉及基于动物神经元动作电位信号的字符逆映射模型重建方法。

背景技术

随着科技的发展，人类对世界的认知越来越清晰，但是对于大脑的认识则相对落后。这恰恰是促使人类对脑科学研究的动力。视觉系统是大脑的重要组成部分。其中，视觉系统是动物观察外界环境的主要感官系统。研究证明，动物大脑所接收的外界信息中，视觉信息占80％以上。通过植入式微电极阵列检测脑神经元Spike信号，提取响应特征，构建重建模型，实现视觉感知信息的重建是一个极具挑战性的问题。

动作电位尖峰信号包含大量的外界刺激信息，从中提取有效特征可以对动物大脑的机制进行探究。在此之前许多神经学家利用动作电位尖峰序列对动物大脑进行了研究。1991年，Bialek等人采用随机的移动光栅作为视觉刺激，构造了苍蝇小叶板H1神经元的动作电位序列解码器，有效估算了刺激模式的速率，并对解码误差进行了评估。1997年，Warland等人采用线性和非线性两种算法解码了视网膜神经节细胞集群动作电位序列编码的亮度信息，发现亮度刺激的大部分信息能够利用线性的方法从动作电位序列中提取出来。1997年，HJ Sun等人利用动作电位的发放信息将运动物体与背景颜色的的联系，发现了同一细胞对不同背景色的响应不同。2011年，Ryu等人对视网膜神经节细胞编码视觉输入信息的机制进行了研究，提取了动作电位序列发放特征，利用支持向量机作为解码器，解码的精度用原始刺激和解码出的刺激之间的相似度来衡量。2014年，Aubie等人提取了动作电位发放率特征，利用最大似然估计器精确地解码出了刺激的持续时间。

视频图像获取的主要途径为摄像机、照相机，但是专业摄像机、相机体积大，操作繁杂。镶嵌在手机等设备上的小型相机不能很好的解放双手并及时有效的记录瞬间，且记录的内容不具有针对性。

发明内容

本发明的目的在于：提供基于动物神经元动作电位信号的字符逆映射模型重建方法，解决了目前难以对外界字符图像场景进行重建的技术问题。

本发明采用的技术方案如下：

基于动物神经元动作电位信号的字符逆映射模型重建方法，包括以下步骤：

步骤1：选取字符与背景具有不同对比度的刺激图像刺激动物，采集所述动物视皮层的动作电位信号；

步骤2：对所述动作电位信号进行集群发放个数特征提取；

步骤3：采用逆映射模型算法对提取的集群发放个数特征进行重建，得到重建字符。

进一步的，所述步骤1具体为：

S101：向所述动物播放刺激，所述刺激的刺激模式为：选取字符与背景具有不同对比度的刺激图像，利用刺激播放器分别从右往左、从下往上依次播放刺激图像；

S102：播放一幅刺激图像，采集一次动物视皮层的动作电位信号，直至所有的刺激图像播放完毕。

进一步的，所述步骤2中集群发放个数特征提取的算法为：

S201：将刺激s_i(i＝1，2，...，M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(1)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

S202：计算每个神经元每个时间窗下动作电位的发放个数，构成实际刺激响应下的特征矩阵R，所述特征矩阵R如下：

其中，表示在第i个刺激图像刺激时，神经元v的动作电位信号在第j个时间窗口的发放个数，即为特征提取算法提取的特征。

进一步的，所述刺激图像的灰度矩阵S为：

其中，s_ei表示在第i个刺激图像第e个像素点处的灰度值，E表示像素点的个数。

进一步的，所述逆映射模型算法包括以下步骤：

S301：构建矩阵F^T：

其中，表示神经元v的逆映射模型在jΔt时刻的值，a表示所述逆映射模型的恒定补偿量，所述与a均为E维列向量。

S302：利用最小二乘法，使(S-U)^T(S-U)最小，其中U＝R·F，推导出逆映射模型矩阵F＝(R^TR)^-1×(R^TS)(5)，其中U为最终的字符重建值；

S303：利用逆映射模型矩阵F得到字符重建值U＝R·F＝R(R^TR)^-1R^TS(6)，

其中，u_ei表示第i个刺激图像第e个像素点处的字符重建值，M表示刺激图像的总帧数。

进一步的，还包括步骤4：对所述重建过程进行参数优化。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.字符重建效果好，重建正确率达0.9以上。

2.本发明采用扫屏模式，将图片进行了有效分割，从而保证了在生物神经元在不动的情况下可以看到整张图片，然后在神经元响应中找到了有效表征相应像素块的特征即发放率特征，之后利用集群信息得到较好的重建结果；

3.本发明充分利用了动物视觉系统在复杂场景下快速目标提取与识别能力，可以随时记录外界场景的信息。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的流程图；

图2是本发明字符刺激图像示意图；

图3是本发明中动物一个刺激的感受野；

图4是本发明字符重建过程的示意图；

图5是本发明中白色背景下的重建结果；

图6是本发明中黑色背景下的重建结果。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1-6对本发明作详细说明。

向所述动物播放刺激，所述刺激的刺激模式为：选取字符与背景具有不同对比度的刺激图像，利用刺激播放器分别从右往左、从下往上依次播放刺激图像；每播放一幅刺激图像，采集一次动物视皮层的动作电位信号，直至所有的刺激图像播放完毕。

步骤2：对所述动作电位信号进行集群发放个数特征提取；

将刺激s_i(i＝1，2，...，M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(8)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

计算每个神经元每个时间窗下动作电位的发放个数，构成实际刺激响应下的特征矩阵R，所述特征矩阵R如下：

所述刺激图像的灰度矩阵S为：

步骤3：采用逆映射模型算法对集群发放个数特征进行重建，得到重建字符。

所述逆映射模型算法包括以下步骤：

构建矩阵F^T：

利用最小二乘法，使(S-U)^T(S-U)最小，其中U＝R·F，推导出逆映射模型矩阵F＝(R^TR)^-1×(R^TS)(12)，其中U为最终的字符重建值；

利用逆映射模型矩阵F得到字符重建值U＝R·F＝R(R^TR)^-1R^TS(13)，

步骤4：对所述重建过程进行参数优化。

具体实施例

包括对实验动物进行手术：

在进行实验之前需要选定合适的实验对象进行手术，手术的目的是将32通道微电极阵列植入动物视皮层的神经元中，以便后续的动作电位信号的采集。手术需要的器材包含：1)手术防震台；2)立体定位仪；3)颅钻；4)冷光源；5)显微镜；6)微型操作器；7)动物颅骨微创手术器具；8)药剂；9)胶质海绵；10)微电极阵列等，其中微电极阵列采用32通道，试验中根据具体实际情况选择其中某些通道进行重建。

搭建实验平台：

本试验平台的搭建是为了实现对动物视皮层动作电位信号的采集与记录。实验平台的搭建主要包含两部分，1)刺激模式生成系统的搭建；2)信号采集系统的搭建。其中，刺激系统主要包含刺激播放计算机和与之同屏连接的刺激屏幕，其主要是在实验中作为动物实验动物的刺激源。信息采集系统用于采集动物视皮层试验区的动作电位信号，由于动物的脑电信号微弱，需要经过前置放大器对信号进行放大处理才能够被记录。

在进行实验之前，需要生成感受野刺激并寻找到感受野较好的神经元通道，然后针对这些神经元实现对不同对比度字符实现重建。本实施例对每一个字符设计了八种字符模式，背景亮度为255时，字符亮度分别是0，64，128，192，以及背景亮度为0时，字符亮度分别是255，192，128，64，背景亮度为0时，字符亮度分别是255，192，128，64。刺激图像在刺激播放计算机方面进行播放，其播放模式分别从右至左，从上到下依次移动2个像素点大小，直至将所有图像像素播放完毕。

步骤2：对所述动作电位信号进行特征提取；获得采集到的信号之后，需要从中提取便于重建的有效特征。本发明中经过多次特征的提取与变换，最终选择提取的是动作电位信号的发放率特征，就是在刺激开始后截取一段时间长度，计算每个通道的时间窗中动作电位信号的发放个数。

具体算法如下：

将刺激s_i(i＝1，2，...M)产生后的时间(T-after_time)均分为N个时间窗，每个时间窗的时间长度为：Δt＝(T-after_time)/N(15)，其中i表示刺激图像的序号，M表示刺激图像的总帧数；

选择像素点个数E＝4，则刺激的灰度矩阵S为：

其中，s_ei表示在第i个刺激图像第e个像素点处的灰度值。

步骤3：采用线性逆映射模型算法对集群发放个数特征特征进行重建，得到重建字符。

所述线性逆映射模型算法包括以下步骤：

由于像素点个数为4，则构建矩阵F^T：

其中，表示神经元v的多维逆映射模型在jΔt时刻的值，a表示所述多维逆映射模型的恒定补偿量，所述与a均为4维列向量。

利用最小二乘法，使(S-U)^T(S-U)最小，其中U＝R·F，推导出多维逆映射模型矩阵F＝(R^TR)^-1×(R^TS)(19)，其中U为最终的字符重建值；

利用多维逆映射模型矩阵F得到字符重建值U＝R·F＝R(R^TR)^-1R^TS(20)，

步骤4：对所述重建过程进行参数优化。

由于利用动作电位信号对字符重建的效果与有效神经元个数(num)、刺激持续时间(T)、时间窗(bin)、刺激开始时间(after_time)有着密切的关系，所以在对字符刺激重建之前需要选出最优重建参数。在白色背景下，首先设定持续时间T＝0.2s，时间窗口bin＝5ms，刺激开始时间after_time＝0ms，在此参数下，采用两种方法分别对单通道动作电位序列进行重建，然后根据单通道重建结果选择较好的通道，最后选择通道较好的11个通道。随后分别选择bin的尺度、刺激持续时间大小、刺激开始时间大小，最后经过测试得到最优参数为num＝11，bin＝6ms，T＝230ms，after_time＝0ms，在此参数下，线性逆映射模型算法有较高的重建正确率。为了保证图像在最优参数下重建，对于黑色背景以同样的方法进行重建，得到最优参数为num＝11，bin＝6ms，T＝230ms，after_time＝0ms，在此参数下，两种方法均有较高的重建正确率。白色背景与黑色背景下的不停对比度字符的重建结果如图5和图6所示，图5是背景亮度为255时，字符亮度分别是0，64，128，192时的重建结果。其中，Mode1，Mode2，Mode3，Mode4分别对应上述四个亮度刺激；图6是背景亮度为0时，字符亮度分别是255，192，128，64时的重建结果，Mode5，Mode6，Mode7，Mode8分别对应上述四个亮度刺激；Decode1对应多元线性逆映射模型。

Claims

1.基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：包括以下步骤：

步骤2：对所述动作电位信号进行集群发放个数特征提取；

2.根据权利要求1所述的基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：所述步骤1具体为：

3.根据权利要求1所述的基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：所述步骤2中集群发放个数特征提取的算法为：

4.根据权利要求3所述的基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：所述刺激图像的灰度矩阵S为：

5.根据权利要求4所述的基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：所述逆映射模型算法包括以下步骤：

S301：构建矩阵F^T：

S302：利用最小二乘法，使(S-U)^T(S-U)最小，其中U＝R·F，推导出逆映射模型矩阵F＝(R^TR)^-1×(R^TS) (5)，其中U为最终的字符重建值；

S303：利用逆映射模型矩阵F得到字符重建值U＝R·F＝R(R^TR)^-1R^TS (6)，

6.根据权利要求1所述的基于动物神经元动作电位信号的字符逆映射模型重建方法，其特征在于：还包括步骤4：对所述重建过程进行参数优化。