CN113362356B

CN113362356B - 一种基于双侧注意通路的显著轮廓提取方法

Info

Publication number: CN113362356B
Application number: CN202110616753.5A
Authority: CN
Inventors: 范影乐; 许亚楠; 武薇
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2024-02-02
Anticipated expiration: 2041-06-02
Also published as: CN113362356A

Abstract

本发明涉及一种基于双侧注意通路的显著轮廓提取方法。首先改进视皮层下单拮抗感受野模型，构建基于局部亮度特征的单拮抗动态调节模型，实现亮度和颜色边界的联合编码；接着模拟经典感受野的方向敏感特性，提出一种最佳方位区间多方向微动方法，实现方向选择的精细化；随后当初级视皮层信号传递至高级视皮层时，模拟背侧流和腹侧流之间的信息响应特性，构建双侧信息流交互模型，利用高斯金字塔和稀疏编码模型，分别获取背侧空间显著轮廓和腹侧神经元稀疏响应；最后通过加权融合策略将双侧注意通路的信息融合，以多视通路之间的信息互补来增强显著轮廓和抑制纹理背景。

Description

一种基于双侧注意通路的显著轮廓提取方法

技术领域

本发明属于生物视觉和图像处理领域，具体涉及一种基于双侧注意通路的显著轮廓提取方法。

背景技术

轮廓是图像目标的重要形态特征，通常湮没在图像噪声和纹理背景中，如何准确地在复杂场景中提取显著轮廓，对于后续的计算机图像处理至关重要。显著轮廓提取的难点主要体现在：(1)在光照不均或弱对比度下，轮廓信息更易被纹理干扰而难以提取；(2)在凸显轮廓和抑制纹理的过程中，难以保证剔除大量纹理的同时又保留完整的轮廓。

随着视觉生理实验和计算模型的发展，视觉仿生型轮廓感知方法逐渐受到学者们的关注。例如有研究基于视觉系统中各级神经元的解剖特性，构建高斯差分(Differenceof Gaussian,DOG)模型来描述中心-周边型的感受野结构，揭示了单拮抗感受野(Single-Opponent Receptive Field,SORF)感知颜色信息时所呈现的拮抗特性；有研究提出基于经典感受野(Classical Receptive Field,CRF)的最佳方位多层级细化方法，利用高斯导函数的角度细分实现目标方向的精细感知；还有研究指出视皮层拥有背侧流和腹侧流构成的双侧通路，且两者不同层级之间存在着相互调节作用；而视觉感知过程根据场景特征和视觉任务特性，可解释为Bottom-Up和Top-Down两种视觉注意模型，利用其可有效地提取显著目标；后续也有研究在多视通路和多层次视觉信息的基础上，整合多条平行通路的视觉特征，通过不同视通路间的信息融合获取显著轮廓。需要指出的是，上述方法都要预设CRF的偏向角或感受野的调控参数，无法保证不同场景图像的检测效果；并且仅在单一视通路上考虑轮廓和纹理的差异性，忽略或简化了视觉信息分流机制对细节信息的调制作用，易造成弱轮廓的漏检现象；此外，现有方法大都未从多视通路的信息交互层面出发，缺乏多通路信息互补对显著轮廓的修正作用。

发明内容

本发明构建双侧注意通路交互与融合模型，通过模拟视觉信息的分流传递和交互响应特性来提取显著轮廓。模拟视网膜神经节和膝状体(LGN)层(统称为视皮层下)特性，构建基于局部亮度特征的单拮抗动态调节模型，通过亮度和颜色边界的联合编码，获取图像目标的初级边界响应；模拟初级视皮层(V1区)特性，基于经典感受野的方向敏感特性，提出最佳方位区间多方向微动方法，实现方向选择的精细化；模拟V1区与高级视皮层的视觉信号传递特性，构建双侧信息流交互模型，将视通路划分为背侧和腹侧注意通路，利用高斯金字塔和稀疏编码模型，分别获取背侧空间显著轮廓和腹侧神经元稀疏响应；最后通过加权融合策略将双侧注意通路的信息融合，以多视通路之间的功能互补、信息互补，来实现显著轮廓的快速提取。

本发明提出了一种基于双侧注意通路的显著轮廓提取方法，包含如下步骤：

步骤(1)模拟视皮层下神经元的颜色拮抗特性，构建基于局部亮度特征的单拮抗动态调节模型，得到初级边界响应I_border(x,y)，(x,y)表示图像的横纵坐标。

步骤1.1针对输入图像I(x,y)，分解出亮度分量L(x,y)，以L(x,y)每个像素点为中心，计算出H×H区域内的亮度均值L_avg(x,y)，如式(1)所示。

其中，(i,j)表示H×H区域内的坐标，step表示移动步长，默认取H＝5，step＝3；为解决边界溢出问题，以L(x,y)的边缘像素填充边界。

然后利用L(x,y)与L_avg(x,y)的大小关系，判断点(x,y)是否归属于局部暗区域，从而确定该点是否需要增强处理，得到亮度调节响应L_rod(x,y)，如式(2)所示。

其中，a∈(0,1)表示亮度调节因子，默认取a＝0.8。

步骤1.2针对输入图像I(x,y)，模拟锥细胞的颜色(红、绿、蓝、黄)分离作用，分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应，经过单拮抗编码后形成4种颜色拮抗通道，分别记为R⁺/G^-、G⁺/R^-、B⁺/Y^-及Y⁺/B^-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算，结果记为如式(3)所示。

其中，*表示卷积运算符；γ、σ表示感受野的椭圆率和尺度，默认值分别取γ＝0.5和σ＝1.5；C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应，可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y)；下标C⁺/S^-表示对应的颜色拮抗通道，可能的选项为R⁺/G^-、G⁺/R^-、B⁺/Y^-或Y⁺/B^-；k(x,y)表示对立颜色响应权重，取决于局部区域内的颜色和亮度强度，具体表现为：在局部亮区域内锥细胞可感知颜色和亮度，对立颜色差异大则k(x,y)→0；而局部暗区域内锥细胞只对颜色敏感，对立颜色差异小则k(x,y)→1，k(x,y)的具体设置规则如下：

按式(1)同理计算，获得L_rod(x,y)的局部亮度均值并将/>经过非线性激活处理后，作为k(x,y)的动态调节因子，如式(4)所示。

利用k(x,y)对图像I(x,y)进行单拮抗动态编码，得到的颜色边界响应记为及/>

步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍，为满足边界的完整性感知，按特定比例(默认取0.1:0.9)融合和L_rod(x,y)，得到初级边界响应I_border(x,y)，如式(5)所示。

步骤(2)模拟V1区经典感受野的方向敏感特性，提出多方向微动方法，得到初级轮廓响应E(x,y)。

首先引入如式(3)所示的高斯导函数Gau(x,y)模拟多方向上的刺激响应，结果记为e(x,y；θ)，θ∈[0,π)表示感受野的方向角；接着选取Q个方向响应强度最大值作为初始轮廓e_max(x,y；θ_std)，如式(6)所示，其中θ_std表示多方向响应最大值所对应的方向角，即最优方向。

然后以最优方向θ_std为中心轴，按特定幅度进行方向微动，每次微动所生成的方向角记为θ_r，r＝1,2,…,M，如式(7)所示，其中M决定了方向微动的幅度。根据式(7)可知即最佳方位区间，其中/>表示初始轮廓中相邻方向的角度差。最后，在最佳方位区间内采用winner-take-all策略，将微动响应e(x,y；θ_r)通过竞争机制得到初级轮廓响应E(x,y)，如式(8)所示。

E(x,y)＝max{e(x,y；θ_r)|r＝1,2,…,M} (8)

步骤(3)模拟视觉信息分流传递和交互响应特性，构建双侧信息流交互模型，分别得到背侧空间显著轮廓和腹侧神经元稀疏响应/>

步骤3.1根据背侧注意通路的空间响应特性，强化空间显著轮廓。

由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点，为覆盖多尺度的空间特征，首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图，记为I_z(x,y)，z＝0,1,2,3,4，如(9)所示，其中I₀(x,y)默认为I(x,y)。然后引入高斯差分函数DOG(x,y)计算出多层特征图I_p,q(x,y)，如式(10)所示，其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图，且中心与周边层的层级差为1或2，可能的结果为I_2,1(x,y)、I_3,1(x,y)、I_3,2(x,y)、I_4,2(x,y)或I_4,3(x,y)。

其中，W(m,n)表示高斯金字塔核，默认大小为5×5；I_p(x,y)和I_q(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图；Θ表示高斯差分计算，N(·)表示归一化算子；σ_off和σ_on分别表示DOG(x,y)周边和中心层的尺度参数，默认取σ_off＝3.5，σ_on＝2。

经过不同尺度层级差分和归一化处理，得到背侧注意通路的空间特征图D(x,y)，如式(11)所示。最后计算D(x,y)中每个像素点的空间强度F(x,y)，并将F(x,y)作为E(x,y)的空间调制系数，得到背侧空间显著轮廓如式(12)所示。

其中，D_min(x,y)和D_max(x,y)分别表示D(x,y)的最小值和最大值；weight∈(0,1]表示空间强化权重，默认取weight＝0.6。

步骤3.2根据腹侧神经元的稀疏响应特性，抑制冗余纹理。

由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应，且腹侧神经元集群自身具备的稀疏响应特性，能有效区分纹理和显著轮廓。因此本发明采用改进的LIF模型模拟腹侧神经元，将背侧空间显著轮廓作为神经元的输入激励，利用稀疏编码描述腹侧信息流的稀疏性，如式(13)～(14)所示。

其中，c_m、g_l表示腹侧神经元的膜电容和漏电导；表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图，V为/>的空间维度；||·||_L表示L范数，L＝1,2。在的刺激下，当腹侧神经元的膜电压大于脉冲发放阈值(即v＞v_th)时，脉冲发放达到峰值v_G，并瞬间被重置为相应的静态电势v_reset；在进入绝对不应期ref后，不再发放脉冲，最后得到腹侧神经元稀疏响应/>

步骤(4)模拟多视通路信息融合机制，提出基于双侧信息流的加权融合策略，得到最终显著轮廓

由于双侧注意通路的视觉信息均从V1区分流而来，根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重，记为β_l，l＝1,2，获得最终显著轮廓如式(15)～(16)所示。

本发明具有的有益效果为：

1.构建了一种利用单拮抗感受野特性实现亮度和颜色边界联合编码的动态调节模型。考虑到图像光强对单拮抗响应的干扰，本发明改进视皮层下单拮抗感受野模型，提出一种基于局部亮度特征的单拮抗动态调节模型。根据亮度分量的像素值与其局部均值间的线性关系调节亮度信息，并将亮度调节响应的局部均值作为颜色响应权重的动态调节因子，实现亮度和颜色边界的联合编码。

2.提出了一种基于经典感受野的最佳方位区间多方向微动方法。考虑到经典感受野的方向敏感特性，根据初始轮廓的最优方向，以其左右邻域区间为最佳方位区间，在区间内进行多方向微动偏移，实现方向选择的精细化。

3.构建了一种基于双侧注意通路的信息交互模型。考虑到V1区与高级视皮层的视觉信号传递特性，将单一视通路划分为背侧和腹侧注意通路加以探究。根据双侧各自功能以及两者间的信息交互特性，分别获取背侧空间显著轮廓和腹侧神经元稀疏响应。

4.提出了一种基于双侧信息流的加权融合策略，以双侧注意通路的视觉信息互补，实现轮廓信息的快速响应和完整性融合，得到最终显著轮廓。

附图说明

图1为本发明的图像轮廓检测流程图。

图2为本发明的单拮抗动态调节示意图。

图3为本发明的单拮抗动态调节补充示意图。

图4为本发明的最佳方位区间多方向微动示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

实施例1

如图1所示的一种基于双侧注意通路的显著轮廓提取方法，包含如下步骤：

其中，a∈(0,1)表示亮度调节因子，默认取a＝0.8。

步骤1.2如图2和图3所示，针对输入图像I(x,y)，模拟锥细胞的颜色(红、绿、蓝、黄)分离作用，分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应，经过单拮抗编码后形成4种颜色拮抗通道，分别记为R⁺/G^-、G⁺/R^-、B⁺/Y^-及Y⁺/B^-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算，结果记为如式(3)所示。

步骤(2)如图4所示，模拟V1区经典感受野的方向敏感特性，提出多方向微动方法，得到初级轮廓响应E(x,y)。

E(x,y)＝max{e(x,y；θ_r)|r＝1,2,…,M} (8)

步骤3.2根据腹侧神经元的稀疏响应特性，抑制冗余纹理。

Claims

1.一种基于双侧注意通路的显著轮廓提取方法，其特征在于，包括以下步骤：

步骤(1)：模拟视皮层下神经元的颜色拮抗特性，构建基于局部亮度特征的单拮抗动态调节模型，得到初级边界响应I_border(x,y)，(x,y)表示图像的横纵坐标；

步骤(2)模拟V1区经典感受野的方向敏感特性，提出多方向微动方法，得到初级轮廓响应E(x,y)；

首先引入高斯导函数Gau(x,y)模拟多方向上的刺激响应，结果记为e(x,y；θ)，θ∈[0,π)表示感受野的方向角；接着选取Q个方向响应强度最大值作为初始轮廓e_max(x,y；θ_std)，公式如下：

其中θ_std表示多方向响应最大值所对应的方向角，即最优方向；

然后以最优方向θ_std为中心轴，按设定幅度进行方向微动，每次微动所生成的方向角记为θ_r，r＝1,2,…,M，公式如下：

其中M决定了方向微动的幅度；可知即最佳方位区间，其中表示初始轮廓中相邻方向的角度差；

最后，在最佳方位区间内采用winner-take-all策略，将微动响应e(x,y；θ_r)通过竞争机制得到初级轮廓响应E(x,y)，公式如下：

E(x,y)＝max{e(x,y；θ_r)|r＝1,2,…,M}

由于双侧注意通路的视觉信息均从V1区分流而来，根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重，记为β_l，l＝1,2，获得最终显著轮廓公式如下：

2.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法，其特征在于，所述的步骤(1)包括以下子步骤：

步骤1.1针对输入图像I(x,y)，分解出亮度分量L(x,y)，以L(x,y)每个像素点为中心，计算出H×H区域内的亮度均值L_avg(x,y)，公式如下：

其中，(i,j)表示H×H区域内的坐标，step表示移动步长；为解决边界溢出问题，以L(x,y)的边缘像素填充边界；

然后利用L(x,y)与L_avg(x,y)的大小关系，判断点(x,y)是否归属于局部暗区域，从而确定该点是否需要增强处理，得到亮度调节响应L_rod(x,y)，公式如下：

其中，a∈(0,1)表示亮度调节因子；

步骤1.2针对输入图像I(x,y)，模拟锥细胞的颜色红、绿、蓝、黄的分离作用，分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)4种颜色响应，经过单拮抗编码后形成4种颜色拮抗通道，分别记为R⁺/G^-、G⁺/R^-、B⁺/Y^-及Y⁺/B^-；再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算，结果记为公式如下：

其中，*表示卷积运算符；

γ、σ表示感受野的椭圆率和尺度；C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应，取值范围为R(x,y)、G(x,y)、B(x,y)或Y(x,y)；下标C⁺/S^-表示对应的颜色拮抗通道，取值范围为R⁺/G^-、G⁺/R^-、B⁺/Y^-或Y⁺/B^-；k(x,y)表示对立颜色响应权重，取决于局部区域内的颜色和亮度强度，具体表现为：在局部亮区域内锥细胞可感知颜色和亮度，对立颜色差异大则k(x,y)→0；而局部暗区域内锥细胞只对颜色敏感，对立颜色差异小则k(x,y)→1，k(x,y)的具体设置规则如下：

按式步骤1.1同理计算，获得L_rod(x,y)的局部亮度均值并将/>经过非线性激活处理后，作为k(x,y)的动态调节因子，公式如下：

利用k(x,y)对图像I(x,y)进行单拮抗动态编码，得到的颜色边界响应记为及/>步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍，为满足边界的完整性感知，按比例融合/>和L_rod(x,y)，得到初级边界响应I_border(x,y)，公式如下：

3.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法，其特征在于，所述的步骤(3)包括以下子步骤：

步骤3.1根据背侧注意通路的空间响应特性，强化空间显著轮廓；

由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点，为覆盖多尺度的空间特征，首先采用高斯金字塔将I(x,y)分解出5个不同尺度的特征图，记为I_z(x,y)，z＝0,1,2,3,4，公式如下：

其中I₀(x,y)默认为I(x,y)；

然后引入高斯差分函数DOG(x,y)计算出多层特征图I_p,q(x,y)，公式如下：

其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图，且中心与周边层的层级差为1或2，取值范围为I_2,1(x,y)、I_3,1(x,y)、I_3,2(x,y)、I_4,2(x,y)或I_4,3(x,y)；

其中，W(m,n)表示高斯金字塔核，默认大小为5×5；I_p(x,y)和I_q(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图；Θ表示高斯差分计算，N(·)表示归一化算子；σ_off和σ_on分别表示DOG(x,y)周边和中心层的尺度参数，默认取σ_off＝3.5，σ_on＝2；

经过不同尺度层级差分和归一化处理，得到背侧注意通路的空间特征图D(x,y)，公式如下：

最后计算D(x,y)中每个像素点的空间强度F(x,y)，并将F(x,y)作为E(x,y)的空间调制系数，得到背侧空间显著轮廓公式如下：

其中，D_min(x,y)和D_max(x,y)分别表示D(x,y)的最小值和最大值；

weight∈(0,1]表示空间强化权重，默认取weight＝0.6；

步骤3.2根据腹侧神经元的稀疏响应特性，抑制冗余纹理；

由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应，且腹侧神经元集群自身具备的稀疏响应特性，能有效区分纹理和显著轮廓；采用改进的LIF模型模拟腹侧神经元，将背侧空间显著轮廓作为神经元的输入激励，利用稀疏编码描述腹侧信息流的稀疏性，公式如下：

其中，c_m、g_l表示腹侧神经元的膜电容和漏电导；表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图，V为/>的空间维度；||·||_L表示L范数，L＝1,2；在的刺激下，当腹侧神经元的膜电压大于脉冲发放阈值v>v_th时，脉冲发放达到峰值v_G，并瞬间被重置为相应的静态电势v_reset；在进入绝对不应期ref后，不再发放脉冲，最后得到腹侧神经元稀疏响应/>