CN110929734B - 一种基于双侧非对称感受野机制的显著轮廓提取方法 - Google Patents

Abstract

本发明提出了一种基于双侧非对称感受野机制的显著轮廓提取方法。针对复杂图像轮廓提取时纹理信息处理不足的问题，首先提取图像初级轮廓响应；接着引入非对称感受野结构对于局部区域对比度差异度的凸显作用，同时考虑到单侧的非对称感受野会造成对图像初级轮廓的不均衡，提出基于双侧非对称感受野多尺度抑制的权重信息融合策略，得到融合后的抑制权重系数；最后对图像初级轮廓响应进行局部区域不同强度的纹理抑制，实现显著轮廓提取。本发明能够有效提高纹理边缘和主体轮廓区分的有效性，对后续图像目标的理解和分析具有重要的意义。

Description

一种基于双侧非对称感受野机制的显著轮廓提取方法

技术领域

本发明属于视觉机制和图像处理领域，具体涉及一种基于双侧非对称感受野机制的显著轮廓提取方法。

背景技术

图像中显著轮廓的提取是计算机视觉中一个基础性的核心问题，是许多视觉感知任务处理的基础，因此轮廓提取在视觉感知中具有重要的作用，它们对目标识别、表面的重构以及图像的理解至关重要。以生物视觉机制为基础，建立仿视觉机制的数学模型，例如DOG函数模型、Gabor函数模型、LOG函数模型，这些模型能较好地描述大脑对输入图像的端点、边缘、线段、角度、方位等空间特征感知和认知机制，但缺乏视觉内在机制的研究；部分方法考虑非经典感受野抑制机理，提出例如两个外周抑制算法、改进非经典感受野模型的结构、基于两个尺度的自适应的端区抑制模型等，实现图像纹理抑制和轮廓检测任务，但这些算法很难检测到由其他视觉特征定义的轮廓。以上关于感受野模型的研究都是基于经典感受野和非经典感受野组成的对称型结构。近几年，相关研究提出青蛙的R3细胞中存在非对称的感受野结构，其对图像的不同区域形成较强的对比度差异，极大程度地抑制了图像的纹理，对增强图像显著轮廓的提取具有重要意义。但相关研究仅考虑单侧的非对称感受野，本质上会造成对图像初级轮廓抑制强度的不均衡，因此并不能真正表征显著轮廓的信息。

发明内容

本发明提出一种基于双侧非对称感受野机制的显著轮廓提取方法。首先提取输入图像的初级轮廓响应；其次考虑到非对称的感受野结构能够加强局部区域的对比度差异度，构建非对称感受野模型；接着在双目视觉的启发下结合非对称感受野的生理结构、依据图像主要的亮度对比度特征，提出了一种基于双侧非对称感受野多尺度抑制的权重信息融合策略，并得到融合后的抑制权重系数；最后对图像初级轮廓响应进行局部区域不同强度的纹理抑制，实现显著轮廓的提取。本发明包括如下步骤：

步骤1：获取输入图像I(x,y)的初级轮廓响应，x、y分别表示像素的行坐标和列坐标。考虑到二维高斯函数的偏导函数能提取图像多方向边界信息，引入二维高斯函数的偏导函数模拟V1区朝向选择性神经元的经典感受野CRF特性，同时采用winner-take-all策略和响应强度系数μ(x,y)的调节，最终得到初级轮廓响应E(x,y；θ,σ_CRF)，θ∈[0，π)表示神经元经典感受野的最优朝向，σ_CRF表示标准差，决定了初级视皮层细胞感受野大小，具体如式(1)～(4)所示。

e_i(x,y；θ_i,σ_CRF)＝|I(x,y)*G_CRF(x,y；θ_i,σ_CRF)| (2)

E(x,y；θ,σ_CRF)＝μ(x,y)·max{e_i(x,y；θ,σ_CRF)} (4)

其中

表示二维高斯函数；

max表示取集合中的最大值；*表示卷积运算；|·|表示绝对值运算；exp表示以e为底的指数运算；N_θ代表方向数；θ_i∈[0,π)表示某一特定方位，i＝1,2,...,N_θ；γ表示滤波器的椭圆率，取γ＝0.5。

步骤2：获取局部区域的对比度差异度，用于调制非对称经典感受野NCRF的抑制强度，具体如式(5)～(7)所示。

其中C(x,y)表示线性归一化后的亮度对比度特征，即C∈[0,1]，用于调制非对称非经典感受野的抑制强度；

S_xy为包含11×11像素的局部窗口，(x_j,y_j)表示以(x,y)为中心的局部窗口S_xy中第j个像素坐标；ω(x_j,y_j)表示余弦加权的局部窗口权重函数；L(x,y)表示亮度对比度；δ指局部窗口S_xy的半径，为5个像素。

步骤3：建立基于视觉特征的非对称各向异性感受野模型。基于双侧非对称感受野计算图像的两个CRF响应，分别记为D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，σ_{L_CRF}和σ_{R_CRF}表示左侧和右侧的初级视皮层细胞感受野尺寸。

其中非对称各向异性感受野模型,定义如式(8)所示。

其中

表示NCRF与CRF的中心偏移量；G_NCRF(x,y；θ,σ_NCRF)表示初级视皮层细胞的非经典感受野的二维高斯函数；σ_NCRF表示标准差，决定了初级视皮层细胞的非经典感受野大小；ρ表示NCRF与CRF的尺寸比率，即σ_NCRF＝ρσ_CRF，考虑到外周的直径一般为CRF大小的2～5倍，设置ρ＝4。

3.1令

σ_CRF＝σ_{L_CRF}，σ_NCRF＝σ_{L_NCRF}，

其中σ_{L_NCRF}表示左侧初级视皮层细胞非经典感受野大小，

表示左侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算左侧非对称感受野CRF响应D_L(x,y；θ,σ_{L_CRF}),得到式(9)。

3.2令

σ_CRF＝σ_{R_CRF}，σ_NCRF＝σ_{R_NCRF}，

其中σ_{R_NCRF}表示右侧初级视皮层细胞非经典感受野大小，

表示右侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算右侧非对称感受野CRF响应D_R(x,y；θ,σ_{R_CRF}),得到式(10)。

步骤4：将步骤3获得的CRF响应D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，结合步骤2亮度对比度特征C(x,y)，计算双侧非对称感受野左侧抑制权重系数W_{C_L_NCRF}(x,y)和右侧抑制权重系数W_{C_R_NCRF}(x,y)，然后进行多尺度抑制权重信息融合，并最终得到融合后的抑制权重系数W_{S_NCRF}(x,y)。

外周对CRF中心(x,y)的抑制权重系数W_C(x,y)计算过程，如式(11)所示，下标C对应于亮度对比度特征C(x,y)，Dist表示两像素坐标之间的欧式距离计算函数；WΔC(x,y,x_j,y_j；σ_ΔC)表示亮度对比度特征调制权重系数，如式(12)所示；W_d(x,y)表示空间距离权重系数，如式(13)所示；σ_ΔC决定了外周抑制强度随亮度对比度特征差别增大而衰减的速率，取为0.05；ΔC(x,y,x_j,y_j)表示位于外周空间的点(x_j,y_j)与CRF中心点(x,y)处的亮度对比度差异，如式(14)所示，其中(x_j,y_j)需要满足(x_j,y_j)∈R_NCRF,R_NCRF表示由DOG⁺函数确定的外周空间范围，DOG⁺函数定义如式(15)和(16)所示，上标+表示为非负的运算，||·||₁表示L₁范数。

ΔC(x,y,x_j,y_j)＝|C(x,y)-C(x_j,y_j)| (14)

DOG⁺(x,y)＝H(D(x,y；θ,σ_CRF)) (15)

令σ_ΔC＝σ_{L_CRF}，代入式(11)，计算在亮度对比度下的左侧非经典感受野对经典感受野的抑制权重系数W_{C_L_NCRF}(x,y)，如式(17)所示；再令σ_ΔC＝σ_{R_CRF}，代入式(11)，计算在亮度对比度下的右侧非经典感受野对经典感受野的抑制权重系数W_{C_R_NCRF}(x,y)，如式(18)所示。

计算融合后的抑制权重系数W_{S_NCRF}(x,y)，如式(19)所示，其中ΔD(x,y)定义如式(20)所示，Φ(·)表示线性归一化处理。

ΔD(x,y)＝Φ(D_L(x,y；θ,σ_{L_CRF}))-Φ(D_R(x,y；θ,σ_{R_CRF})) (20)

步骤5：对步骤1得到的初级轮廓响应E(x,y；θ,σ_CRF)进行局部区域不同强度的纹理抑制，抑制权重系数为W_{S_NCRF}(x,y)，实现显著轮廓提取R_contour(x,y)，如式(21)和(22)所示。

Inh(x,y)＝E(x,y；θ,σ_CRF)W_d(x,y) (21)

R_contour(x,y)＝H(E(x,y；θ,σ_CRF)-W_{S_NCRF}(x,y)Inh(x,y)) (22)

Inh(x,y)表示仅考虑基于距离权重下的抑制量。

本发明具有的有益效果为：

1、构建一种双侧非对称感受野模型。由于R3细胞的经典感受野和非经典感受野区域是非对称的，如果只考虑单侧非经典感受野的局部区域的抑制强度很容易导致对图像纹理的抑制不够彻底。因此本发明结合双侧非对称感受野多尺度抑制权重信息融合策略，建立基于蛙眼视觉特征的非对称各向异性感受野模型。

2、提出一种双侧非对称感受野多尺度信息融合策略。本发明根据青蛙的R3细胞存在非对称感受野结构的生理特性，将双侧非对称感受野模型得到的信息进行多尺度信息融合，增强图像不同区域的对比度差异，抑制图像的纹理。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的双侧非对称感受野轮廓提取模型框架原理图；

图2双侧非对称感受野原理示意图；

图3为本发明的多尺度双侧非对称感受野抑制权重融合示意图。

具体实施方式

下面结合附图对本说明本发明作进一步说明。

如图1所示，基于双侧非对称感受野机制的显著轮廓提取方法的具体实施步骤如下：

步骤1：获取输入图像I(x,y)的初级轮廓响应，x、y分别表示像素的行坐标和列坐标。考虑到二维高斯函数的偏导函数能提取图像多方向边界信息，引入二维高斯函数的偏导函数模拟V1区朝向选择性神经元的经典感受野CRF特性，同时采用winner-take-all策略和响应强度系数μ(x,y)的调节，最终得到初级轮廓响应E(x,y；θ,σ_CRF)，θ∈[0，π)表示神经元经典感受野的最优朝向，σ_CRF表示标准差，决定了初级视皮层细胞感受野大小，具体如式(1)～(4)所示。

e_i(x,y；θ_i,σ_CRF)＝|I(x,y)*G_CRF(x,y；θ_i,σ_CRF)| (2)

E(x,y；θ,σ_CRF)＝μ(x,y)·max{e_i(x,y；θ,σ_CRF)} (4)

其中

表示二维高斯函数；

max表示取集合中的最大值；*表示卷积运算；|·|表示绝对值运算；exp表示以e为底的指数运算；N_θ代表方向数；θ_i∈[0,π)表示某一特定方位，i＝1,2,...,N_θ；γ表示滤波器的椭圆率，取γ＝0.5。

步骤2：获取局部区域的对比度差异度，用于调制非对称经典感受野NCRF的抑制强度，具体如式(5)～(7)所示。

其中C(x,y)表示线性归一化后的亮度对比度特征，即C∈[0,1]，用于调制非对称非经典感受野的抑制强度；

S_xy为包含11×11像素的局部窗口，(x_j,y_j)表示以(x,y)为中心的局部窗口S_xy中第j个像素坐标；ω(x_j,y_j)表示余弦加权的局部窗口权重函数；L(x,y)表示亮度对比度；δ指局部窗口S_xy的半径，为5个像素。

步骤3：如图2所示，建立基于视觉特征的非对称各向异性感受野模型。基于双侧非对称感受野计算图像的两个CRF响应，分别记为D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，σ_{L_CRF}和σ_{R_CRF}表示左侧和右侧的初级视皮层细胞感受野尺寸。

其中非对称各向异性感受野模型,定义如式(8)所示。

其中

表示NCRF与CRF的中心偏移量；G_NCRF(x,y；θ,σ_NCRF)表示初级视皮层细胞的非经典感受野的二维高斯函数；σ_NCRF表示标准差，决定了初级视皮层细胞的非经典感受野大小；ρ表示NCRF与CRF的尺寸比率，即σ_NCRF＝ρσ_CRF，考虑到外周的直径一般为CRF大小的2～5倍，设置ρ＝4。

3.1令

σ_CRF＝σ_{L_CRF}，σ_NCRF＝σ_{L_NCRF}，

其中σ_{L_NCRF}表示左侧初级视皮层细胞非经典感受野大小，

表示左侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算左侧非对称感受野CRF响应D_L(x,y；θ,σ_{L_CRF}),得到式(9)。

3.2令

σ_CRF＝σ_{R_CRF}，σ_NCRF＝σ_{R_NCRF}，

其中σ_{R_NCRF}表示右侧初级视皮层细胞非经典感受野大小，

表示右侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算右侧非对称感受野CRF响应D_R(x,y；θ,σ_{R_CRF}),得到式(10)。

步骤4：如图3所示，将步骤3获得的CRF响应D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，结合步骤2亮度对比度特征C(x,y)，计算双侧非对称感受野左侧抑制权重系数W_{C_L_NCRF}(x,y)和右侧抑制权重系数W_{C_R_NCRF}(x,y)，然后进行多尺度抑制权重信息融合，并最终得到融合后的抑制权重系数W_{S_NCRF}(x,y)。

外周对CRF中心(x,y)的抑制权重系数W_C(x,y)计算过程，如式(11)所示，下标C对应于亮度对比度特征C(x,y)，Dist表示两像素坐标之间的欧式距离计算函数；W_ΔC(x,y,xj,yj；σ_ΔC)表示亮度对比度特征调制权重系数，如式(12)所示；W_d(x,y)表示空间距离权重系数，如式(13)所示；σ_ΔC决定了外周抑制强度随亮度对比度特征差别增大而衰减的速率，取为0.05；ΔC(x,y,x_j,y_j)表示位于外周空间的点(x_j,y_j)与CRF中心点(x,y)处的亮度对比度差异，如式(14)所示，其中(x_j,y_j)需要满足(x_j,y_j)∈R_NCRF,R_NCRF表示由DOG⁺函数确定的外周空间范围，DOG⁺函数定义如式(15)和(16)所示，上标+表示为非负的运算，||·||₁表示L₁范数。

ΔC(x,y,x_j,y_j)＝|C(x,y)-C(x_j,y_j)| (14)

DOG⁺(x,y)＝H(D(x,y；θ,σ_CRF)) (15)

令σ_ΔC＝σ_{L_CRF}，代入式(11)，计算在亮度对比度下的左侧非经典感受野对经典感受野的抑制权重系数W_{C_L_NCRF}(x,y)，如式(17)所示；再令σ_ΔC＝σ_{R_CRF}，代入式(11)，计算在亮度对比度下的右侧非经典感受野对经典感受野的抑制权重系数W_{C_R_NCRF}(x,y)，如式(18)所示。

计算融合后的抑制权重系数W_{S_NCRF}(x,y)，如式(19)所示，其中ΔD(x,y)定义如式(20)所示，Φ(·)表示线性归一化处理。

ΔD(x,y)＝Φ(D_L(x,y；θ,σ_{L_CRF}))-Φ(D_R(x,y；θ,σ_{R_CRF})) (20)

步骤5：对步骤1得到的初级轮廓响应E(x,y；θ,σ_CRF)进行局部区域不同强度的纹理抑制，抑制权重系数为W_{S_NCRF}(x,y)，实现显著轮廓提取R_contour(x,y)，如式(21)和(22)所示。

Inh(x,y)＝E(x,y；θ,σ_CRF)W_d(x,y) (21)

R_contour(x,y)＝H(E(x,y；θ,σ_CRF)-W_{S_NCRF}(x,y)Inh(x,y)) (22)

Inh(x,y)表示仅考虑基于距离权重下的抑制量。

Claims (1)

1.一种基于双侧非对称感受野机制的显著轮廓提取方法，其特征在于，该方法具体包括以下步骤：

步骤1、获取输入图像I(x,y)的初级轮廓响应，x、y分别表示像素的行坐标和列坐标；然后引入二维高斯函数的偏导函数模拟V1区朝向选择性神经元的经典感受野CRF特性，同时采用winner-take-all策略和响应强度系数μ(x,y)的调节，最终得到初级轮廓响应E(x,y；θ,σ_CRF)，θ∈[0，π)表示神经元经典感受野的最优朝向，σ_CRF表示标准差，决定了初级视皮层细胞感受野大小，具体如式(1)～(4)所示；

e_i(x,y；θ_i,σ_CRF)＝|I(x,y)*G_CRF(x,y；θ_i,σ_CRF)| (2)

E(x,y；θ,σ_CRF)＝μ(x,y)·max{e_i(x,y；θ,σ_CRF)} (4)

其中

表示二维高斯函数；

max表示取集合中的最大值；*表示卷积运算|·|表示绝对值运算；exp表示以e为底的指数运算；N_θ代表方向数；θ_i∈[0,π)表示某一特定方位，i＝1,2,...,N_θ；γ表示滤波器的椭圆率，取γ＝0.5；

步骤2、获取局部区域的对比度差异度，用于调制非对称经典感受野NCRF的抑制强度，具体如式(5)～(7)所示；

其中C(x,y)表示线性归一化后的亮度对比度特征，即C∈[0,1]，用于调制非对称非经典感受野的抑制强度；

S_xy为包含11×11像素的局部窗口，(x_j,y_j)表示以(x,y)为中心的局部窗口S_xy中第j个像素坐标；ω(x_j,y_j)表示余弦加权的局部窗口权重函数；L(x,y)表示亮度对比度；δ指局部窗口S_xy的半径，为5个像素；

步骤3、建立基于视觉特征的非对称各向异性感受野模型；基于双侧非对称感受野计算图像的两个CRF响应，分别记为D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，σ_{L_CRF}和σ_{R_CRF}表示左侧和右侧的初级视皮层细胞感受野尺寸；

其中非对称各向异性感受野模型,定义如式(8)所示；

其中

表示NCRF与CRF的中心偏移量；G_NCRF(x,y；θ,σ_NCRF)表示初级视皮层细胞的非经典感受野的二维高斯函数；σ_NCRF表示标准差，决定了初级视皮层细胞的非经典感受野大小；ρ表示NCRF与CRF的尺寸比率，即σ_NCRF＝ρσ_CRF，设置ρ＝4；

3.1、令

σ_CRF＝σ_{L_CRF}，σ_NCRF＝σ_{L_NCRF}，

其中σ_{L_NCRF}表示左侧初级视皮层细胞非经典感受野大小，

表示左侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算左侧非对称感受野CRF响应D_L(x,y；θ,σ_{L_CRF}),得到式(9)；

3.2、令

σ_CRF＝σ_{R_CRF}，σ_NCRF＝σ_{R_NCRF}，

其中σ_{R_NCRF}表示右侧初级视皮层细胞非经典感受野大小，

表示右侧非对称感受野NCRF相对于CRF的中心偏移量，代入式(8)计算右侧非对称感受野CRF响应D_R(x,y；θ,σ_{R_CRF}),得到式(10)；

步骤4、将步骤3获得的CRF响应D_L(x,y；θ,σ_{L_CRF})和D_R(x,y；θ,σ_{R_CRF})，结合步骤2亮度对比度特征C(x,y)，计算双侧非对称感受野左侧抑制权重系数W_{C_L_NCRF}(x,y)和右侧抑制权重系数W_{C_R_NCRF}(x,y)，然后进行多尺度抑制权重信息融合，并最终得到融合后的抑制权重系数W_{S_NCRF}(x,y)；

外周对CRF中心(x,y)的抑制权重系数W_C(x,y)计算过程，如式(11)所示，下标C对应于亮度对比度特征C(x,y)，Dist表示两像素坐标之间的欧式距离计算函数；W_△C(x,y,x_j,y_j；σ_△C)表示亮度对比度特征调制权重系数，如式(12)所示；W_d(x,y)表示空间距离权重系数，如式(13)所示；σ_△C决定了外周抑制强度随亮度对比度特征差别增大而衰减的速率，取为0.05；△C(x,y,x_j,y_j)表示位于外周空间的点(x_j,y_j)与CRF中心点(x,y)处的亮度对比度差异，如式(14)所示，其中(x_j,y_j)需要满足(x_j,y_j)∈R_NCRF,R_NCRF表示由DOG⁺函数确定的外周空间范围，DOG⁺函数定义如式(15)和(16)所示，上标+表示为非负的运算，||·||₁表示L₁范数；

△C(x,y,x_j,y_j)＝|C(x,y)-C(x_j,y_j)| (14)

DOG⁺(x,y)＝H(D(x,y；θ,σ_CRF)) (15)

令σ_△C＝σ_{L_CRF}，代入式(11)，计算在亮度对比度下的左侧非经典感受野对经典感受野的抑制权重系数W_{C_L_NCRF}(x,y)，如式(17)所示；再令σ_△C＝σ_{R_CRF}，代入式(11)，计算在亮度对比度下的右侧非经典感受野对经典感受野的抑制权重系数W_{C_R_NCRF}(x,y)，如式(18)所示；

计算融合后的抑制权重系数W_{S_NCRF}(x,y)，如式(19)所示，其中△D(x,y)定义如式(20)所示，Φ(·)表示线性归一化处理；

△D(x,y)＝Φ(D_L(x,y；θ,σ_{L_CRF}))-Φ(D_R(x,y；θ,σ_{R_CRF})) (20)

步骤5、对步骤1得到的初级轮廓响应E(x,y；θ,σ_CRF)进行局部区域不同强度的纹理抑制，抑制权重系数为W_{S_NCRF}(x,y)，实现显著轮廓提取R_contour(x,y)，如式(21)和(22)所示；

Inh(x,y)＝E(x,y；θ,σ_CRF)W_d(x,y) (21)

R_contour(x,y)＝H(E(x,y；θ,σ_CRF)-W_{S_NCRF}(x,y)Inh(x,y)) (22)

Inh(x,y)表示仅考虑基于距离权重下的抑制量。

Images