CN106127740B - 一种基于视通路多感受野朝向性关联的轮廓检测方法 - Google Patents

Abstract

本发明公开了一种基于视通路多感受野朝向性关联的轮廓检测方法，本发明从视通路中各层级的感受野空间尺度特性以及同一层级感受野的相互关联性出发，模拟视通路中视网膜神经元的经典感受野特性和LGN(外侧膝状体)细胞的非经典感受野特性，同时有朝向性地将多个LGN细胞的矩形感受野进行关联，用于模拟V1(初级视皮层)简单细胞的方向选择特性，提出一种基于视通路多感受野朝向性关联的轮廓检测方法，充分发挥上述视觉特性在轮廓检测中的重要作用。

Description

一种基于视通路多感受野朝向性关联的轮廓检测方法

技术领域

本发明属于视觉神经计算领域，主要涉及一种基于视通路多感受野朝向性关联的轮廓检测方法。

背景技术

轮廓是图像中主体目标的关键属性，它的准确检测对于提高后期目标识别以及图像理解等高级视觉性能具有重要的意义。通常轮廓检测需要对目标进行准确定位，凸显主体轮廓连续性，同时抑制背景纹理边缘。然而在实际场景中，由于光照、重影、纹理轮廓相似性等干扰因素的存在，传统的轮廓检测方法难以同时满足以上要求。考虑到视觉神经系统具有突出的识别与理解能力，但目前以生物视觉机制和神经信息编码为基础的轮廓检测方法，通常以简化的感受野模型来模拟视皮层功能，忽略了视觉通路中不同层级感受野的空间尺度特性，以及同一层级感受野之间的朝向关联性。

现在模拟视觉机制的轮廓检测方法一般是从纯计算模型的角度出发，直接把图像像素作为模型的操作对象，而忽略了视觉系统中最基础的电生理活动，即数以千亿计神经元电活动与视觉认知的内在关联性；(2)目前对视觉机制的建模通常局限于视通路的单个层级，而且大都以单个神经元感受野模型来模拟视皮层功能，即使考虑到了多个层级的感受野特性，也通常只给出单一的“输入——输出”关系，并没有考虑到视觉信息在视觉通路加工和处理过程中的层级关联特性以及这种特性所依赖的生理学结构基础，容易造成视觉信息丢失或冗余，与主观的视觉感知结果存在差异。

发明内容

本发明针对现有技术的不足，提出了一种基于视通路多感受野朝向性关联的轮廓检测方法。

本专利申请从视通路中各层级的感受野空间尺度特性以及同一层级感受野的相互关联性出发，模拟视通路中视网膜神经元的经典感受野特性和LGN(外侧膝状体)细胞的非经典感受野特性，同时有朝向性地将多个LGN细胞的矩形感受野进行关联，用于模拟V1(初级视皮层)简单细胞的方向选择特性，提出一种基于视通路多感受野朝向性关联的轮廓检测方法，充分发挥上述视觉特性在轮廓检测中的重要作用。

本专利申请多处提到感受野的概念，为了进一步区分不同层级神经元的感受野，按视通路：视网膜层(Retina)——外侧膝状体层(LGN)——初级视皮层(V1)，对感受野作如下标记：

Retina层的经典感受野——记为RF1

LGN层的非经典感受野——记为RF2

LGN层的矩形感受野——记为RF3

V1方位敏感性感受野——记为RF4

本方法主要包括以下步骤：

步骤(1)分别构建on、off型双高斯差全局模板对输入的灰度图像IG(x,y)进行空间滤波，即把函数值作为空间分布权值，通过二维卷积计算图像像素点所对应的空间线性总和；随后对滤波结果进行非负半波整流，即对滤波结果中的负数置零，非负数保持不变，进一步得到RF1的响应其中，μ表示感受野的兴奋型或抑制型极性，具体取值为on或off，下同；σ_r是RF1抑制区域高斯函数的标准差。

步骤(2)建立与灰度图像相同尺寸的神经元网络GN(x,y)；网络中每个神经元的突触权值在空间距离上呈高斯分布，神经元采用LIF简化模型；将步骤(1)得到的RF1响应以一一对应的方式输到神经元网络GN(x,y)，统计一个响应周期内各神经元的脉冲发放次数，计算脉冲发放频率，作为视网膜对轮廓信息的编码结果

步骤(3)由于LGN细胞与视网膜神经元相比，具有更大的感受野，即通常RF1偏好于捕捉图像的局部细节，而RF2更多地关注图像的全局特征；因此，将步骤(2)的编码结果进行局部信息融合：对于某个特定点，以它为中心构建局部窗口，计算窗口覆盖区域的平均值，得到全局特征图并将其作为RF2中心区域的输入；如式(6)所示；

其中，ws是局部方窗的窗长；step为移动步长，设置与窗长相等。此时全局特征图的大小与原图相比，将有所缩小；考虑到LGN细胞nCRF大外周区对感受野中心区域的调节作用，构建三高斯差函数的二次半波整流模型TDoG_HR(x,y)，如式(7)所示；

式中，Temp(x,y)是第一次半波整流结果，σ_sur、σ_inh与σ_exc分别是RF2大外周区域、周边抑制区域以及中心兴奋区域的高斯函数标准差，根据式(8)获取RF2大外周区对中心区域输入的调节量

并将全局特征图与负指数化后的调节量以权值α相减，用双线性插值方法把相减结果调整为原灰度图大小，即为RF2的响应如式(9)所示；

其中resize表示双线性插值放大运算，δ是负指数化的强度参数，取0.2；nCRF表示非经典感受野，默认权值α＝0.6；

步骤(4)构建N个on型与N个off型，共2N个尺寸为w×w的LGN细胞矩形感受野RF3，其中1≤N≤round(min(m,n)/w)，m、n分别表示输入灰度图像的宽和高，round为取整运算，min表示取较小值；所构建的2N个RF3在空间位置上相邻分布，并且呈现特定的朝向性关联：

首先，在空间上任意确定一个位置点作为2N个RF3的综合重心，记作comCenter，并围绕comCenter建立一个三元素的元胞集合SetRF3来表示2N个RF3的相对位置，如式(1)所示。

式中，μ_i为第i个RF3的极性，r_i为第i个RF3中心位置到comCenter的距离，是第i个RF3中心位置与comCenter的连线相对于水平方向的夹角；显然极坐标确定了2N个RF3的相对位置与整体朝向性。

其次，每个RF3分别按照其在朝向性关联中的相对位置，从RF2响应中获取具体输出值，并记作如式(2)所示。

其中，表示极坐标转换到直角坐标后每个RF3的输出值相对于RF2响应的位置偏移量。

步骤(5)基于视通路中感受野的层级关联特性——V1(初级视皮层)简单细胞由若干相邻的LGN细胞同心圆式感受野的输出相连而成，根据步骤(4)中2N个RF3的朝向性关联输出，建立V1方位敏感性感受野RF4的多感受野朝向性关联模型，用于实现V1简单细胞的方向选择特性：将步骤(4)确定的综合重心comCenter作为RF4的中心，同时计算2N个RF3输出的几何平均值作为RF4的方向选择结果os_θ(x,y；σ_r),如式(3)所示；

其中，θ表示RF4的偏好方向，由集合SetRF3确定；

步骤(6)考虑到不同偏好方向的RF4结构相似而输入来源不同，说明对于其他偏好方向的RF4，同样具有2N个RF3输入，只是这些RF3的采取了其他朝向的关联，因此，通过调整集合SetRF3中每个元胞的极坐标方向进一步获取其他RF4的方向选择结果如式(4)所示。

其中，θ_k表示其他偏好方向，k＝1,...,Orens表示方向索引，Orens为方向个数，一般可设为24，在空间中均匀分布；为朝向性关联时的角度增量。

步骤(7)根据RF4的方向选择结果针对每个(x,y)，选择当前位置在RF4全部方向选择结果中的最大值，重构得到初级视皮层轮廓响应RV1(x,y；σ_r)，同时记录最大值所在的方向，得到最优方向矩阵BO(x,y)。

步骤(8)根据最优方向矩阵BO(x,y)，对初级视皮层轮廓响应RV1(x,y；σ_r)做非极大值抑制处理，得到轮廓响应的细化结果thin(x,y；σ_r)。

步骤(9)对细化结果做滞后阈值处理，得到轮廓响应二值图BC(x,y；σ_r)。

本发明具有的有益效果为：

1、根据视网膜神经元的感受野特性，改进了LIF神经元模型，使其具有空间高斯分布的感受野内突触连接特性，更符合视网膜神经元的空间信息加工机制，为后续处理作了前级准备；

2、模拟了LGN神经元感受野的整体感知特性以及非经典感受野的调节作用，在轮廓整体感知结果上进行非经典感受野调节，有利于进一步获取主体轮廓信息，抑制背景纹理的干扰；

3、基于外侧膝状体感受野的层级关联特性，构建了初级视皮层方位敏感性感受野的多感受野朝向性关联模型，有效实现了初级视皮层简单细胞的方向选择特性，从而更加高效地捕捉各个方向的轮廓信息。

附图说明

图1为本发明的方法流程图。

具体实施方式

结合附图1，本发明具体的实施步骤为：

步骤(1)首先定义高斯函数如式(1)所示。

构建兴奋型(on)、抑制型(off)双高斯差全局模板如式(2)所示。

其中，μ表示感受野的兴奋型或抑制型极性，具体取值为on或off，下同；σ_r是RF1抑制区域高斯函数的标准差，并且设置RF1兴奋区域高斯函数的标准差为0.5σ_r。

对于输入的灰度图像IG(x,y)，将函数值作为空间分布权值，通过二维卷积计算图像像素点所对应的空间线性总和，并经过非负半波整流得到RF1的响应如式(3)所示。

其中，*表示二维卷积运算；max表示取最大值运算，下同。

步骤(2)假设灰度图像IG(x,y)的宽和高分别为m和n，下同。构建与图像大小相同的神经元网络GN(x,y)，每个神经元采用如式(4)所示的LIF简化模型。

式中，v是神经元膜电压，c_m是膜电容，g_l是漏电导；I_xy是神经元的突触激励电流，对应于的归一化值；SR是突触连接范围，ω_xy是突触的高斯分布权值，按式(5)计算；v_th为脉冲发放阈值，v_reset为静态电势，ref为绝对不应期，v_G为脉冲发放峰值。当v大于v_th时，神经元膜电压将瞬间达到v_G，同时v又被快速重置为v_reset，开始进入绝对不应期。

ω_xy＝Gauss(x,y,σ_s),(x,y)∈SR (5)

其中，突触高斯权值的标准差σ_s一般可取为1.2左右，突触连接范围SR可设为以当前神经元为中心，半径为1～3个像素的区域。

将归一化后输入到GN(x,y)神经元网络，统计一个响应周期内各神经元的脉冲发放次数，计算脉冲发放频率，作为视网膜对轮廓信息的编码结果

步骤(3)由于LGN细胞与视网膜神经元相比，具有更大的感受野，即通常RF1偏好于捕捉图像的局部细节，而RF2更多地关注图像的全局特征。因此对步骤(2)的编码结果进行局部信息融合：即对于某个特定点，以其为中心构建局部窗口，计算窗口覆盖区域的平均值，得到全局特征图并将其作为RF2中心区域的输入，如式(6)所示。

其中，ws是局部方窗的窗长；step为移动步长，设置与窗长相等。此时全局特征图的大小与原图相比，将有所缩小。

考虑到LGN细胞nCRF(非经典感受野)大外周区对感受野中心区域的调节作用，构建三高斯差函数的二次半波整流模型TDoG_HR(x,y)，如式(7)所示。

式中，Temp(x,y)是第一次半波整流结果，σ_sur、σ_inh与σ_exc分别是RF2大外周区域、周边抑制区域以及中心兴奋区域的高斯函数标准差，一般周边抑制区域的高斯函数标准差可设置为大外周区域的4倍，而中心兴奋区域的高斯函数标准差与大外周区域相等。根据式(8)获取RF2大外周区域对中心区域输入的调节量

并将全局特征图与负指数化后的调节量以权值α相减(默认权值α＝0.6)，用双线性插值方法把相减结果调整为原灰度图大小，即为RF2响应如式(9)所示。

其中resize表示双线性插值放大运算，δ是负指数化的强度参数，取0.2；

步骤(4)构建N个on型与N个off型，共2N个尺寸为w×w的LGN细胞矩形感受野RF3，其中1≤N≤round(min(m,n)/w)，m、n分别表示输入灰度图像的宽和高，round为取整运算，min表示取较小值；所构建的2N个RF3在空间位置上相邻分布，并且呈现特定的朝向性关联：

首先，在空间上任意确定一个位置点作为2N个RF3的综合重心，记作comCenter，并围绕comCenter建立一个三元素的元胞集合SetRF3来表示2N个RF3的相对位置，如式(10)所示。

式中，μ_i为第i个RF3的极性，r_i为第i个RF3中心位置到comCenter的距离，是第i个RF3中心位置与comCenter的连线相对于水平方向的夹角；显然极坐标确定了2N个RF3的相对位置与整体朝向性。

其次，每个RF3分别按照其在朝向关联中的相对位置，从RF2响应中获取具体输出值，并记作如式(11)所示。

其中，表示极坐标转换到直角坐标后每个RF3的输出值相对于RF2响应的位置偏移量。

步骤(5)基于视通路中感受野的层级关联特性——V1(初级视皮层)简单细胞由若干相邻的LGN细胞同心圆式感受野的输出相连而成，根据步骤(4)中2N个RF3的朝向性关联输出，建立V1方位敏感性感受野RF4的多感受野朝向性关联模型，用于实现V1简单细胞的方向选择特性：将步骤(4)确定的综合重心comCenter作为RF4的中心，同时计算2N个RF3输出的几何平均值作为RF4的方向选择结果os_θ(x,y；σ_r),如式(12)所示；

其中，θ表示RF4的偏好方向，由集合SetRF3确定；

步骤(6)考虑到不同偏好方向的RF4结构相似而输入来源不同，说明对于其他偏好方向的RF4，同样具有2N个RF3输入，只是这些RF3的采取了其他朝向的关联，因此，通过调整集合SetRF3中每个元胞的极坐标方向进一步获取其他RF4的方向选择结果如式(13)所示。

其中，θ_k表示其他偏好方向，k＝1,...,Orens表示方向索引，Orens为方向个数，一般可设为24，在空间中均匀分布；为朝向性关联时的角度增量。

步骤(7)对给定位置(x,y)选择其在全部方向选择结果中的最大值，重构得到初级视皮层轮廓响应RV1(x,y；σ_r)，同时记录每个位置最大值所在的方向，得到最优方向矩阵BO(x,y)。如式(14)、(15)所示。

步骤(8)根据最优方向矩阵BO(x,y)，对初级视皮层轮廓响应RV1(x,y；σ_r)做非极大值抑制处理，得到轮廓响应的细化结果thin(x,y；σ_r)，如式(16)所示。

其中(p1,p2)＝interpolate(BO(x,y),RV1(x,y；σ_r))，interpolate表示RV1(x,y；σ_r)在其8邻域中根据最优方向BO(x,y)进行梯度插值，p1、p2为RV1(x,y；σ_r)在其最优方向BO(x,y)的8邻域插值结果。

步骤(9)对细化结果做滞后阈值处理，得到轮廓响应二值图BC(x,y；σ_r)，如式(17)所示。

式中，t为滞后阈值，edge表示已经确定的轮廓点，表示8邻域连接。

Claims (1)

1.一种基于视通路多感受野朝向性关联的轮廓检测方法，其特征在于，该方法具体包括以下步骤：

步骤(1)分别构建on、off型双高斯差全局模板对输入的灰度图像IG(x,y)进行空间滤波，即把函数值作为空间分布权值，通过二维卷积计算图像像素点所对应的空间线性总和；随后对滤波结果进行非负半波整流，即对滤波结果中的负数置零，非负数保持不变，进一步得到RF1的响应其中，μ表示感受野的兴奋型或抑制型极性，具体取值为on或off，下同；σ_r是RF1抑制区域高斯函数的标准差；

步骤(2)建立与灰度图像相同尺寸的神经元网络GN(x,y)；网络中每个神经元的突触权值在空间距离上呈高斯分布，神经元采用LIF简化模型；将步骤(1)得到的RF1响应以一一对应的方式输到神经元网络GN(x,y)，统计一个响应周期内各神经元的脉冲发放次数，计算脉冲发放频率，作为视网膜对轮廓信息的编码结果

步骤(3)由于LGN细胞与视网膜神经元相比，具有更大的感受野，即通常RF1偏好于捕捉图像的局部细节，而RF2更多地关注图像的全局特征；因此，将步骤(2)的编码结果进行局部信息融合：对于某个特定点，以它为中心构建局部窗口，计算窗口覆盖区域的平均值，得到全局特征图并将其作为RF2中心区域的输入；如式(1)所示；

其中，ws是局部方窗的窗长；step为移动步长，设置与窗长相等；此时全局特征图的大小与原图相比，将有所缩小；考虑到LGN细胞nCRF大外周区对感受野中心区域的调节作用，构建三高斯差函数的二次半波整流模型TDoG_HR(x,y)，如式(2)所示；

式中，Temp(x,y)是第一次半波整流结果，σ_sur、σ_inh与σ_exc分别是RF2大外周区域、周边抑制区域以及中心兴奋区域的高斯函数标准差，根据式(3)获取RF2大外周区对中心兴奋区域输入的调节量

并将全局特征图与负指数化后的调节量以权值α相减，用双线性插值方法把相减结果调整为原灰度图大小，即为RF2的响应如式(4)所示；

其中resize表示双线性插值放大运算，δ是负指数化的强度参数，取0.2；nCRF表示非经典感受野，默认权值α＝0.6；

步骤(4)构建N个on型与N个off型，共2N个尺寸为w×w的LGN细胞矩形感受野RF3，其中1≤N≤round(min(m,n)/w)，m、n分别表示输入灰度图像的宽和高，round为取整运算，min表示取较小值；所构建的2N个RF3在空间位置上相邻分布，并且呈现特定的朝向性关联：

首先，在空间上任意确定一个位置点作为2N个RF3的综合重心，记作comCenter，并围绕comCenter建立一个三元素的元胞集合SetRF3来表示2N个RF3的相对位置，如式(5)所示；

式中，μ_i为第i个RF3的极性，r_i为第i个RF3中心位置到comCenter的距离，是第i个RF3中心位置与comCenter的连线相对于水平方向的夹角；显然极坐标确定了2N个RF3的相对位置与整体朝向性；

其次，每个RF3分别按照其在朝向性关联中的相对位置，从RF2响应中获取具体输出值，并记作如式(6)所示；

其中，表示极坐标转换到直角坐标后每个RF3的输出值相对于RF2响应的位置偏移量；

步骤(5)基于视通路中感受野的层级关联特性——V1简单细胞由若干相邻的LGN细胞同心圆式感受野的输出相连而成，根据步骤(4)中2N个RF3的朝向性关联输出，建立V1方位敏感性感受野RF4的多感受野朝向性关联模型，用于实现V1简单细胞的方向选择特性：将步骤(4)确定的综合重心comCenter作为RF4的中心，同时计算2N个RF3输出的几何平均值作为RF4的方向选择结果os_θ(x,y；σ_r),如式(7)所示；

其中，θ表示RF4的偏好方向，由集合SetRF3确定；V1表示初级视皮层；

步骤(6)考虑到不同偏好方向的RF4结构相似而输入来源不同，说明对于其他偏好方向的RF4，同样具有2N个RF3输入，只是这些RF3采取了其他朝向的关联，因此，通过调整集合SetRF3中每个元胞的极坐标方向进一步获取其他RF4的方向选择结果如式(8)所示；

其中，θ_k表示其他偏好方向，k表示方向索引，k＝1,...,Orens，Orens为方向个数，在空间中均匀分布；为朝向性关联时的角度增量；

步骤(7)根据RF4的方向选择结果针对每个(x,y)，选择当前位置在RF4全部方向选择结果中的最大值，重构得到初级视皮层轮廓响应RV1(x,y；σ_r)，同时记录最大值所在的方向，得到最优方向矩阵BO(x,y)；

步骤(8)根据最优方向矩阵BO(x,y)，对初级视皮层轮廓响应RV1(x,y；σ_r)做非极大值抑制处理，得到轮廓响应的细化结果thin(x,y；σ_r)；

步骤(9)对细化结果做滞后阈值处理，得到轮廓响应二值图BC(x,y；σ_r)；

Retina为视网膜层，LGN为外侧膝状体层，V1为初级视皮层，对感受野作如下标记：

Retina层的经典感受野——记为RF1；

LGN层的非经典感受野——记为RF2；

LGN层的矩形感受野——记为RF3；

V1方位敏感性感受野——记为RF4。