CN103279958A - 一种基于Spiking神经网络的图像分割方法 - Google Patents

Abstract

一种Spiking神经网络的图像分割方法，采用群体神经元对图像像素灰度值进行编码，其次设计一个含二维竞争输出层的递归Spiking网络，通过对网络进行训练，最终基于神经元的时间绑定特性并通过对图像进行解码得到分割结果。其可得到更佳的分割结果，采用含延时的递归网络，可反映时域信息，并体现出不同的动态性;采用winner-takes-all与STDP相结合的竞争学习规则，winner的设计便于处理时空图像信息；加入抑制型神经元可防止网络过度兴奋；设计相应的网络对象结构并采用同步与异步相结合的仿真策略实现MATLAB环境下的仿真；训练过程中调整“长期非winner神经元”的权值和阈值可避免局部收敛。

Description

一种基于Spiking神经网络的图像分割方法

技术领域

本发明涉及神经网络、机器学习、图像处理等领域，具体涉及基于Spiking神经网络——利用其时间编码同步绑定特性进行图像分割的方法。

背景技术

图像分割是指按一定规则将一幅图像划分为若干互不交叠的区域，它是数字图像处理的一个关键环节，其结果直接影响到后续的图像识别、图像理解。图像分割一直以来是比较热门的研究课题，每当有新的技术产生，科研工作人员总是热衷于将其应用到图像分割中。然而图像分割本身是一个病态问题，分割的目的是为了理解，但理想的分割结果又往往需要理解后的结果作为先验知识。

人类的视觉系统相较于计算机有着不可比拟的优势。大脑经过早期的学习、记忆，对于给定的图像可以一眼就能得到自己感兴趣的图像部分。所以，对人类视觉系统进行研究，得到相应的数学模型，并应用于数字图像分割是非常有意义的。人工神经网络即为对生物大脑进行模拟仿真得出的科研成果，越来越多的科研人员将人工神经网络应用于图像分割中并取得了不错的研究成果。

Spiking神经网络是人工神经网络的最新研究成果，被称作第三代神经网络。较之前两代神经网络，它可以采用时间编码对外部信息进行处理，本身具备时间域信息处理功能。Spiking神经网络的神经元模型、学习算法等与前两代神经网络大有不同，但同时具备更强的计算能力，其本身是神经网络领域内的一个研究热点。

将目前仿生性能最好的Spiking神经网络应用到图像分割中是比较有研究意义的，神经网络的原理在于基于神经元模型按一定的网络结构通过不断的训练以期达到所需的结果。其神经元模型并不复杂，但加上分层的网络结构却能模拟任意函数，完成对信息的处理。Spiking神经网络应用到图像分割关键在于设计适合的网络结构并在训练过程中找到好的学习规则。

发明内容

本发明要解决的技术问题是提供一种基于Spiking神经网络的图像分割方法，使其能够有效的分割出图像。现有的基于Spiking神经网络的图像分割技术并不成熟，多是采用脉冲发放率对信息进行编码（当采用的仿真时间步较大时，会存在明显的精度问题），亦或是采用Spiking神经网络与其它网络相结合，并不能完全体现Spiking神经网络的优越性。

为解决上述技术问题，本发明采用如下技术方案：

一种基于Spiking神经网络的图像分割方法，其特征在于包括如下步骤：

步骤1、基于高斯接受域的方法采用群体神经元对图像像素灰度值编码，即采用10个SRM神经元编码像素灰度值得到相应的脉冲发放时间，编码后，每个像素对应9个兴奋型神经元以及1个抑制型神经元；

步骤2、根据上述编码后的脉冲发放时间，将其作为“二维输出层”递归网络的输入，这里的“二维输出层”是由于在竞争网络中通常只包含一个输入层和一个输出层，而考虑到图像自身特征以及Spiking网络的时间编码特性，这里采用包括一个特征绑定层及一个图像分割层的“二维输出层”，

其中特征绑定层内的神经元个数为图像像素数的10倍，图像分割层的神经元个数为图像分割后的所需区域数；

特征绑定层内存在层内的横向连接，以及向图像分割层的前馈连接；

图像分割层存在向特征绑定层内的反馈连接；

该“二维输出层”内的神经元均采用含突触延时的0阶SRM神经元模型；

步骤3、对上述“二维输出层”内神经元按照STDP与winner-takes-all的学习规则以及同步与异步相结合的仿真策略在指定的迭代次数下进行训练；

具体而言，每次训练过程中，从脉冲发放时间的优先队列中选取一个或多个winner神经元，按照STDP规则仅改变与winner神经元存在连接的神经元间的权值，同时保证兴奋型突触的连接权值为正，抑制型神经元的连接权值为负，与此同时，对神经元的突触延时进行动态改变，与winner神经元存在输入关系的神经元之间的延时增加，存在输出关系的神经元之间的延时减少，并保证在1-9ms之间；

步骤4、采用竞争机制，具有相似像素灰度特征的神经元越来越同步，而具有不同特征的神经元的脉冲输出时间差异越来越大，最终特征绑定层内的神经元的脉冲输出映射至不同的分割区域中，基于特征绑定层内的神经元输出时间对图像进行解码，根据脉冲发放时间的不同按分割后的区域数重置图像矩阵，最终得到分割结果。

上述技术方案中，所述同步与异步相结合的网络对象仿真策略，具体步骤如下：

21)、对于每一次仿真，重新开始计时：

22)、对每个神经元，检查其属性，若其值为1，取出该神经元的lastFiringTime属性的值并更新至firing优先队列中；

23）、在优先队列中，winner神经元（可能不止一个）出队；

24）、若winner神经元为输出层神经元，由于存在递归连接，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间。对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间；

25）、若winner神经元为中间层神经元，层内与其横向连接的神经元权值增加，延时不变，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间。对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间；

26）、仿真次数递增，若小于给定的迭代次数，继续下一次仿真，否则结束仿真。

上述技术方案中，权值修改规则，包括以下步骤：

31）、初始化权值矩阵及延时矩阵，初始化输出层的脉冲发放时间为10ms，根据神经元模型，找出第一个脉冲发放的神经元作为winner，若存在多个神经元的脉冲发放时间皆为最短，则都记为winner神经元，记录其neuronID以及脉冲发放所需的时间；

32）、与winner神经元无连接的权值不改变，有连接的按照STDP规则修改连接权值，并符合如下规则：

若winner神经元为中间层神经元，则与其相连的那个输出层神经元之间的延时减少5%，其他延时不变，若中间层内有抑制型神经元与其相连，权值按STDP规则修改后若大于0，将其重置为之前负的权值；

若winner神经元为输出层神经元，则中间层兴奋型神经元与输出层神经元之间的延时增加5%，输出层到中间层兴奋型神经元之间的延时减少5%，但都保证在2-9ms之间。若中间层的兴奋型神经元按照STDP规则修改后其连接权值小于0，则将其重置为之前正的连接权值。若有连接的按照上式STDP规则进行权值改变；

33)、重新开始下一次仿真，按照神经元模型计算脉冲发放所需的时间，若有神经元发放脉冲且时间小于winner神经元脉冲发放的时间，则取脉冲发放时间最短的神经元作为winner神经元，记录其neuronID以及脉冲发放所需的时间。若脉冲发放的时间大于winner神经元脉冲发放的时间或无神经元脉冲发放，则之前的winner仍然为winner神经元；

34）、重复32）、33）直至达到设定的迭代次数。

与现有技术相比，本发明具有以下有益效果：训练过程中采用二维的反馈网络按照给定的学习规则不断迭代，最终基于神经元脉冲发放时间的同步来实现图像分割。

A.    整个网络采用神经元脉冲发放的精确时间进行编码，前两代网络中采用的脉冲发放率编码并不能完全捕获来自动作电位交互引起的系统动态变化。采用时间编码，将会得到更高的精确度，神经元间的同步绑定更为精确。

B.    图像编码层采用群体神经元对像素进行编码，而不是常见的一个像素对应一个神经元，编码过程中若编码后低于10个，则增加至10个，增加的神经元脉冲发放时间为10ms，这样保证了编码的有效性。

C.    训练过程中采用时空模式下的竞争学习规则更符合生物的认知过程，较好的模拟了生物视觉研究中观察到的感受野、侧抑制等现象。权值与阈值的动态改变规则可以防止网络陷入局部最小值。

D.    不同于以往竞争网络中只用一个输出层，使用二维的分层反馈网络可以得到更优的性能。反馈网络包含一个延时单元，可以反应网络不同的动态性和记忆存储能力。

E.    特征绑定层存在层内的横向连接，这符合生物依据，并能加快网络的同步绑定效率以及对时空模式信息的处理。

F.    分割层采用的神经元个数为实际所需的分割后图像的区域数，这样可以同步时间信息，防止过分割或欠分割。

G.    由于采用时间编码，可以采用异步的仿真策略，较之同步仿真策略可以提高仿真速度。

H.    仿真对象设计中脉冲发放的时间序列采用优先队列的数据结构进行存储，可以更快的得到winner神经元，提升仿真的时间复杂度。

附图说明

图1为图像分割整体流程图；

图2为图像分割整体分层网络结构；

图3为群体神经元编码算法；

图4为图像编码后连接；

图5为2维输出层内部的突触延时；

图6为权值改变流程图；

图7为STDP学习规则；

图8为动态阈值改变图；

图9为仿真策略流程图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

参见图1,一种基于Spiking网络的图像分割方法，首先将待输入的图像根据其大小及分割后的区域数构建Spiking网络，接着利用高斯接受域的方法采用10个gauss函数对图像像素灰度值编码，得到特征绑定层内神经元的脉冲发放时间。然后根据给定的迭代次数按照网络对象中的训练方法对网络训练得到最终的神经元脉冲发放时间。最后重置图像矩阵得到分割后的图像。

具体而言，整个分层反馈网络结构如图2所示。其中包括图像编码层、特征绑定层、图像分割层。

图像编码层用于将输入图像的信息转化为离散的脉冲时间序列，该层将m×n像素的图像编码为10倍的脉冲发放时间序列，若某个像素值经编码后的个数低于10个，则增加神经元直至达到10个，增加的神经元的脉冲发放时间为10ms，此种时间编码方法可以较好的保持原来的图像特征信息。

中间层为特征绑定层，这里的特征指的是神经元发放的时间，绑定即为用时间来表示这一系列神经元的特征，它是通过脉冲的同步发放形成的，即利用时间编码外部图像信息，相似的刺激将会导致脉冲行为上的同步，反之，不同的刺激导致其行为异步。该层包含两种类型的神经元，即兴奋型神经元和抑制型神经元，抑制型神经元用来抑制与之相连的兴奋型神经元，特别是winner神经元，这符合生物中存在的侧抑制现象；包含两种类型的突触横向连接，即兴奋型神经元之间的递归连接以及兴奋型与抑制型神经元之间的连接，其中兴奋型神经元与抑制型神经元的数量存在大约9:1的比例，这与人类大脑皮层中“兴奋型—抑制型”突触的比例是一致的。

输出层为图像分割层，它包含s个兴奋型神经元，其中s与图像分割后的区域数相同。该层与特征绑定层存在递归的全连接，加入分割层是为了防止图像欠分割或过分割。

图3为采用Gauss接受域的思想利用群体神经元进行时间编码的方法。它将要编码的归一化的图像灰度值利用10个高斯函数转化为具体的脉冲发放时间序列，经过该编码，相似的像素将会形成相同的脉冲时间响应。由于我们将特征绑定层的脉冲发放时间限定在一个10ms的时间窗口中，若输入为1则编码为早期的发放时间0ms，输入为0则编码为晚期的发放时间10ms。例如灰度值0.2被编码为2.0212 、0.6007、0.0051、0.4062、1.6876、3.4988、5.4102、7.0751、8.3174、9.1263。

图像经上述编码后，图像矩阵大小为原来的10倍，设原图像大小为M×N，经编码后矩阵大小为M×10N，设定Neuron结构体的属性neuronID按该矩阵行优先的策略进行从1开始递增，图4表明了5×2的图像矩阵编码后的神经元阵列。

其中，编号为10的倍数的为抑制型神经元，即为图中的黑色的神经元，用其余为兴奋型神经元，用浅灰色表示。对于输入大小为M×N的图像，中间层神经元i、j之间是否存在连接按照如下规则：

若i%10≠0并且j%10≠0 (i、j皆为兴奋型神经元)

    当|i-j|=1或|i-j|=10×N时，神经元i、j之间存在连接；

否则 i%10=0 或 j%10=0时（i、j至少有一个为抑制型神经元）

    当|i-j|=1或|i-j|=10×N±1时，神经元i、j之间存在连接；

其余所有情况，神经元i、j之间都不存在连接。

图5为2维输出层神经元间的延时参数。神经元模型采用0阶SRM神经元。突触延时的不同将会形成不同的动态性和记忆存储能力，灰色的神经元代表兴奋型神经元，深色的为抑制型神经元。延迟时间的设置按如下规则：中间层存在相互连接的神经元其延时统一设定为1ms，这是因为中间层存在连接的两个神经元都位于各自邻域内，层与层之间的最小延时为2ms，最大为9ms。其中抑制型神经元与输出层神经元的权值设为2ms，这可以防止输出层神经元过度兴奋，中间层与输出层兴奋型神经元连接的延迟时间是动态改变的，当中间层神经元脉冲发放时，其与输出层神经元的延时会相应减少，反之若输出层神经元脉冲发放，中间层到输出层的连接延时会相应增加，而输出层至中间层的递归连接延时会减少。

图6为“二维输出层”网络训练过程中采用的权值修改规则。具体步骤如下：

（1）初始化权值矩阵及延时矩阵，初始化输出层的脉冲发放时间为10ms，根据神经元模型，找出第一个脉冲发放的神经元作为winner，若存在多个神经元的脉冲发放时间皆为最短，则都记为winner神经元，记录其neuronID以及脉冲发放所需的时间；

（2）与winner神经元无连接的权值不改变，有连接的按照STDP规则修改连接权值，并符合如下规则：

若winner神经元为中间层神经元，则与其相连的那个输出层神经元之间的延时减少5%，其他延时不变，若中间层内有抑制型神经元与其相连，权值按STDP规则修改后若大于0，将其重置为之前负的权值；

若winner神经元为输出层神经元，则中间层兴奋型神经元与输出层神经元之间的延时增加5%，输出层到中间层兴奋型神经元之间的延时减少5%，但都保证在2-9ms之间。若中间层的兴奋型神经元按照STDP规则修改后其连接权值小于0，则将其重置为之前正的连接权值。若有连接的按照上式STDP规则进行权值改变；

（3）重新开始下一次仿真，按照神经元模型计算脉冲发放所需的时间，若有神经元发放脉冲且时间小于winner神经元脉冲发放的时间，则取脉冲发放时间最短的神经元作为winner神经元，记录其neuronID以及脉冲发放所需的时间。若脉冲发放的时间大于winner神经元脉冲发放的时间或无神经元脉冲发放，则之前的winner仍然为winner神经元；

（4）重复（2）（3）直至达到设定的迭代次数；

由于STDP规则及动态延时可以很好的反应时域信息，而且中间层内的神经元之间仅存在邻域内的横向连接，所以该规则可用于处理时空数据。其中上述规则中的STDP规则的模型示意图如图7所示，它是ANN中经典学习规则即Hebbian规则在时间维上的一个扩展。其学习机制是依据突触前后脉冲发放的时间差来修改神经元连接权值的行为，该机制依赖于Markram等人的相关实验，实验指出，同样的外部刺激，只要突触前神经元的脉冲发放时间领先突触后神经元脉冲发放的时间10ms，前者就会对后者产生长时程的激励（LTP）作用，反之，会产生长时程抑制（LTD），该实验强调了发放时序不对称的重要性。图7所示的STDP形式一般用于其在线仿真中，具体而言，突触前神经元i与突触后神经元j相连，其脉冲发放时刻分别为                                                

、

，当神经元发放脉冲后，会留下一个与权值调整相关的迹函数

、。随着时间的增加，迹函数会以指数形式衰减。

学习规则不仅包括权值的修改规则，同样包括阈值修改规则，在标准的0阶SRM模型中，其阈值固定为θ，这与生物中相关的记忆机制是有偏差的。这里给出一个动态阈值的学习改进方案，如图8所示。其中

为SRM神经元j第f次发放脉冲的时刻，为j的绝对不应期阶段，

为动态阈值，在绝对不应期内其阈值为无穷大，在相对不应期内，权值按指数递减至原来的阈值。

值得注意的是，在实际仿真过程中，采用上述权值调整算法可导致某些神经元长期成为不了winner神经元。考虑到winner神经元对整个网络的重要性，可以对那些神经元采用进一步的权值和阈值调整算法以增强其成为winner神经元的概率。阈值方面，可以在某次迭代过后，适当按一定比例降低其阈值。

经过迭代训练后，得到特征绑定层神经元的输出时间。然而对于M×10N个特征绑定层内的神经元，我们需要将其转化为M×N个时间信息用来绑定分割后的图像，方法如下述公式所示。

其中M,N为图像矩阵的维数，i、j标识原图像二维矩阵中的第i行j列。ft(i)表示neuronID为i的神经元最后一次脉冲发放的时间。t(i,j)表示M×N图像矩阵中其第i行第j列所映射的像素“时间值”，即采用“时间值”表征图像特征。我们所期待的结果是该M×N时间矩阵t内的值只有s个，不用的值用不同的图像灰度值进行重置。实际上大约会存在0.1ms内的误差，将误差考虑进去，就可得到最终的分割结果。

图9为同步与异步相结合的网络对象仿真策略。具体步骤如下：

（1）对于每一次仿真，重新开始计时：

（2）对每个神经元，检查其firingState属性，若其值为1，取出该神经元的lastFiringTime属性的值并更新至firing优先队列中；

（3）在优先队列中，winner神经元（可能不止一个）出队；

（4）若winner神经元为输出层神经元，由于存在递归连接，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间。对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间。

（5）若winner神经元为中间层神经元，层内与其横向连接的神经元权值增加，延时不变，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间。对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间。

（6）仿真次数递增，若小于给定的迭代次数，继续下一次仿真，否则结束仿真。

Claims (3)

1.一种基于Spiking神经网络的图像分割方法，其特征在于包括如下步骤：

步骤1、基于高斯接受域的方法采用群体神经元对图像像素灰度值编码，即采用10个SRM神经元编码像素灰度值得到相应的脉冲发放时间，编码后，每个像素对应9个兴奋型神经元以及1个抑制型神经元；

步骤2、根据上述编码后的脉冲发放时间，将其作为“二维输出层”递归网络的输入，该递归网络包括一个特征绑定层及一个图像分割层，

其中特征绑定层内的神经元个数为图像像素数的10倍，图像分割层的神经元个数为图像分割后的所需区域数；

特征绑定层内存在层内的横向连接，以及向图像分割层的前馈连接；

图像分割层存在向特征绑定层内的反馈连接；

该“二维输出层”递归网络内的神经元均采用含突触延时的0阶SRM神经元模型；

步骤3、对上述“二维输出层”网络内的神经元按照STDP与winner-takes-all的学习规则以及同步与异步相结合的网络对象仿真策略在指定的迭代次数下进行训练；

具体而言，每次训练过程中，从脉冲发放时间的优先队列中选取一个或多个winner神经元，按照STDP规则仅改变与winner神经元存在连接的神经元间的权值，同时保证兴奋型突触的连接权值为正，抑制型神经元的连接权值为负，与此同时，对神经元的突触延时进行动态改变，与winner神经元存在输入关系的神经元之间的延时增加，存在输出关系的神经元之间的延时减少，并保证在1-9ms之间；

步骤4、采用竞争机制，具有相似像素灰度特征的神经元越来越同步，而具有不同特征的神经元的脉冲输出时间差异越来越大，最终特征绑定层内的神经元的脉冲输出映射至不同的分割区域中，基于特征绑定层内的神经元输出时间对图像进行解码，根据脉冲发放时间的不同按分割后的区域数重置图像矩阵，最终得到分割结果。

2. 根据权利要求1所述的一种基于Spiking神经网络的图像分割方法，其特征在于：所述步骤3中所述同步与异步相结合的网络对象仿真策略，具体步骤如下：

21)、对于每一次仿真，重新开始计时：

22)、对每个神经元，检查其属性，若其值为1，取出该神经元的lastFiringTime属性的值并更新至firing优先队列中；

23）、在优先队列中，winner神经元出队；

24）、若winner神经元为输出层神经元，由于存在递归连接，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间，对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间；

25）、若winner神经元为中间层神经元，层内与其横向连接的神经元权值增加，延时不变，对每一个突触前脉冲发放的神经元，减少它与winner之间的连接权值，增加突触延迟时间。对每一个突触后脉冲发放的神经元，增加它与winner之间的连接权值，减少突触延迟时间；

26）、仿真次数递增，若小于给定的迭代次数，继续下一次仿真，否则结束仿真。

3.根据权利要求2所述的一种基于Spiking神经网络的图像分割方法，其特征在于：权值修改规则，包括以下步骤：

31）、初始化权值矩阵及延时矩阵，初始化输出层的脉冲发放时间为10ms，根据神经元模型，找出第一个脉冲发放的神经元作为winner，若存在多个神经元的脉冲发放时间皆为最短，则都记为winner神经元，记录其neuronID以及脉冲发放所需的时间；

32）、与winner神经元无连接的权值不改变，有连接的按照STDP规则修改连接权值，并符合如下规则：

若winner神经元为中间层神经元，则与其相连的那个输出层神经元之间的延时减少5%，其他延时不变，若中间层内有抑制型神经元与其相连，权值按STDP规则修改后若大于0，将其重置为之前负的权值；

若winner神经元为输出层神经元，则中间层兴奋型神经元与输出层神经元之间的延时增加5%，输出层到中间层兴奋型神经元之间的延时减少5%，但都保证在2-9ms之间，若中间层的兴奋型神经元按照STDP规则修改后其连接权值小于0，则将其重置为之前正的连接权值。若有连接的按照上式STDP规则进行权值改变；

33)、重新开始下一次仿真，按照神经元模型计算脉冲发放所需的时间，若有神经元发放脉冲且时间小于winner神经元脉冲发放的时间，则取脉冲发放时间最短的神经元作为winner神经元，记录其neuronID以及脉冲发放所需的时间，若脉冲发放的时间大于winner神经元脉冲发放的时间或无神经元脉冲发放，则之前的winner仍然为winner神经元；

34）、重复32）、33）直至达到设定的迭代次数。

Images