CN113362356A - 一种基于双侧注意通路的显著轮廓提取方法 - Google Patents

一种基于双侧注意通路的显著轮廓提取方法 Download PDF

Info

Publication number
CN113362356A
CN113362356A CN202110616753.5A CN202110616753A CN113362356A CN 113362356 A CN113362356 A CN 113362356A CN 202110616753 A CN202110616753 A CN 202110616753A CN 113362356 A CN113362356 A CN 113362356A
Authority
CN
China
Prior art keywords
response
formula
color
ventral
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110616753.5A
Other languages
English (en)
Other versions
CN113362356B (zh
Inventor
范影乐
许亚楠
武薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110616753.5A priority Critical patent/CN113362356B/zh
Publication of CN113362356A publication Critical patent/CN113362356A/zh
Application granted granted Critical
Publication of CN113362356B publication Critical patent/CN113362356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双侧注意通路的显著轮廓提取方法。首先改进视皮层下单拮抗感受野模型,构建基于局部亮度特征的单拮抗动态调节模型,实现亮度和颜色边界的联合编码;接着模拟经典感受野的方向敏感特性,提出一种最佳方位区间多方向微动方法,实现方向选择的精细化;随后当初级视皮层信号传递至高级视皮层时,模拟背侧流和腹侧流之间的信息响应特性,构建双侧信息流交互模型,利用高斯金字塔和稀疏编码模型,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应;最后通过加权融合策略将双侧注意通路的信息融合,以多视通路之间的信息互补来增强显著轮廓和抑制纹理背景。

Description

一种基于双侧注意通路的显著轮廓提取方法
技术领域
本发明属于生物视觉和图像处理领域,具体涉及一种基于双侧注意通路的显著轮廓提取方法。
背景技术
轮廓是图像目标的重要形态特征,通常湮没在图像噪声和纹理背景中,如何准确地在复杂场景中提取显著轮廓,对于后续的计算机图像处理至关重要。显著轮廓提取的难点主要体现在:(1)在光照不均或弱对比度下,轮廓信息更易被纹理干扰而难以提取;(2)在凸显轮廓和抑制纹理的过程中,难以保证剔除大量纹理的同时又保留完整的轮廓。
随着视觉生理实验和计算模型的发展,视觉仿生型轮廓感知方法逐渐受到学者们的关注。例如有研究基于视觉系统中各级神经元的解剖特性,构建高斯差分(Differenceof Gaussian,DOG)模型来描述中心-周边型的感受野结构,揭示了单拮抗感受野(Single-Opponent Receptive Field,SORF)感知颜色信息时所呈现的拮抗特性;有研究提出基于经典感受野(Classical Receptive Field,CRF)的最佳方位多层级细化方法,利用高斯导函数的角度细分实现目标方向的精细感知;还有研究指出视皮层拥有背侧流和腹侧流构成的双侧通路,且两者不同层级之间存在着相互调节作用;而视觉感知过程根据场景特征和视觉任务特性,可解释为Bottom-Up和Top-Down两种视觉注意模型,利用其可有效地提取显著目标;后续也有研究在多视通路和多层次视觉信息的基础上,整合多条平行通路的视觉特征,通过不同视通路间的信息融合获取显著轮廓。需要指出的是,上述方法都要预设CRF的偏向角或感受野的调控参数,无法保证不同场景图像的检测效果;并且仅在单一视通路上考虑轮廓和纹理的差异性,忽略或简化了视觉信息分流机制对细节信息的调制作用,易造成弱轮廓的漏检现象;此外,现有方法大都未从多视通路的信息交互层面出发,缺乏多通路信息互补对显著轮廓的修正作用。
发明内容
本发明构建双侧注意通路交互与融合模型,通过模拟视觉信息的分流传递和交互响应特性来提取显著轮廓。模拟视网膜神经节和膝状体(LGN)层(统称为视皮层下)特性,构建基于局部亮度特征的单拮抗动态调节模型,通过亮度和颜色边界的联合编码,获取图像目标的初级边界响应;模拟初级视皮层(V1区)特性,基于经典感受野的方向敏感特性,提出最佳方位区间多方向微动方法,实现方向选择的精细化;模拟V1区与高级视皮层的视觉信号传递特性,构建双侧信息流交互模型,将视通路划分为背侧和腹侧注意通路,利用高斯金字塔和稀疏编码模型,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应;最后通过加权融合策略将双侧注意通路的信息融合,以多视通路之间的功能互补、信息互补,来实现显著轮廓的快速提取。
本发明提出了一种基于双侧注意通路的显著轮廓提取方法,包含如下步骤:
步骤(1)模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标。
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),如式(1)所示。
Figure BDA0003097998510000021
其中,(i,j)表示H×H区域内的坐标,step表示移动步长,默认取H=5,step=3;为解决边界溢出问题,以L(x,y)的边缘像素填充边界。
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),如式(2)所示。
Figure BDA0003097998510000022
其中,a∈(0,1)表示亮度调节因子,默认取a=0.8。
步骤1.2针对输入图像I(x,y),模拟锥细胞的颜色(红、绿、蓝、黄)分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为
Figure BDA0003097998510000023
如式(3)所示。
Figure BDA0003097998510000024
其中,*表示卷积运算符;
Figure BDA0003097998510000025
γ、σ表示感受野的椭圆率和尺度,默认值分别取γ=0.5和σ=1.5;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,可能的选项为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式(1)同理计算,获得Lrod(x,y)的局部亮度均值
Figure BDA0003097998510000031
并将
Figure BDA0003097998510000032
经过非线性激活处理后,作为k(x,y)的动态调节因子,如式(4)所示。
Figure BDA0003097998510000033
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为
Figure BDA0003097998510000034
Figure BDA0003097998510000035
Figure BDA0003097998510000036
步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按特定比例(默认取0.1:0.9)融合
Figure BDA0003097998510000037
和Lrod(x,y),得到初级边界响应Iborder(x,y),如式(5)所示。
Figure BDA0003097998510000038
步骤(2)模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y)。
首先引入如式(3)所示的高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),如式(6)所示,其中θstd表示多方向响应最大值所对应的方向角,即最优方向。
Figure BDA0003097998510000039
然后以最优方向θstd为中心轴,按特定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,如式(7)所示,其中M决定了方向微动的幅度。根据式(7)可知
Figure BDA0003097998510000041
即最佳方位区间,其中
Figure BDA0003097998510000042
表示初始轮廓中相邻方向的角度差。最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),如式(8)所示。
Figure BDA0003097998510000043
E(x,y)=max{e(x,y;θr)|r=1,2,…,M} (8)
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓
Figure BDA0003097998510000044
和腹侧神经元稀疏响应
Figure BDA0003097998510000045
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓。
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,如(9)所示,其中I0(x,y)默认为I(x,y)。然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),如式(10)所示,其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,可能的结果为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y)。
Figure BDA0003097998510000046
Figure BDA0003097998510000047
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2。
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),如式(11)所示。最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓
Figure BDA0003097998510000051
如式(12)所示。
Figure BDA0003097998510000052
Figure BDA0003097998510000053
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;weight∈(0,1]表示空间强化权重,默认取weight=0.6。
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理。
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓。因此本发明采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓
Figure BDA0003097998510000054
作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,如式(13)~(14)所示。
Figure BDA0003097998510000055
Figure BDA0003097998510000056
其中,cm、gl表示腹侧神经元的膜电容和漏电导;
Figure BDA0003097998510000057
表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为
Figure BDA0003097998510000058
的空间维度;||·||L表示L范数,L=1,2。在
Figure BDA0003097998510000059
的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值(即v>vth)时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应
Figure BDA00030979985100000510
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
Figure BDA00030979985100000511
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓
Figure BDA0003097998510000061
如式(15)~(16)所示。
Figure BDA0003097998510000062
Figure BDA0003097998510000063
本发明具有的有益效果为:
1.构建了一种利用单拮抗感受野特性实现亮度和颜色边界联合编码的动态调节模型。考虑到图像光强对单拮抗响应的干扰,本发明改进视皮层下单拮抗感受野模型,提出一种基于局部亮度特征的单拮抗动态调节模型。根据亮度分量的像素值与其局部均值间的线性关系调节亮度信息,并将亮度调节响应的局部均值作为颜色响应权重的动态调节因子,实现亮度和颜色边界的联合编码。
2.提出了一种基于经典感受野的最佳方位区间多方向微动方法。考虑到经典感受野的方向敏感特性,根据初始轮廓的最优方向,以其左右邻域区间为最佳方位区间,在区间内进行多方向微动偏移,实现方向选择的精细化。
3.构建了一种基于双侧注意通路的信息交互模型。考虑到V1区与高级视皮层的视觉信号传递特性,将单一视通路划分为背侧和腹侧注意通路加以探究。根据双侧各自功能以及两者间的信息交互特性,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应。
4.提出了一种基于双侧信息流的加权融合策略,以双侧注意通路的视觉信息互补,实现轮廓信息的快速响应和完整性融合,得到最终显著轮廓。
附图说明
图1为本发明的图像轮廓检测流程图。
图2为本发明的单拮抗动态调节示意图。
图3为本发明的单拮抗动态调节补充示意图。
图4为本发明的最佳方位区间多方向微动示意图。
具体实施方式
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体说明。
实施例1
如图1所示的一种基于双侧注意通路的显著轮廓提取方法,包含如下步骤:
步骤(1)模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标。
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),如式(1)所示。
Figure BDA0003097998510000071
其中,(i,j)表示H×H区域内的坐标,step表示移动步长,默认取H=5,step=3;为解决边界溢出问题,以L(x,y)的边缘像素填充边界。
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),如式(2)所示。
Figure BDA0003097998510000072
其中,a∈(0,1)表示亮度调节因子,默认取a=0.8。
步骤1.2如图2和图3所示,针对输入图像I(x,y),模拟锥细胞的颜色(红、绿、蓝、黄)分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为
Figure BDA0003097998510000073
如式(3)所示。
Figure BDA0003097998510000074
其中,*表示卷积运算符;
Figure BDA0003097998510000075
γ、σ表示感受野的椭圆率和尺度,默认值分别取γ=0.5和σ=1.5;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,可能的选项为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式(1)同理计算,获得Lrod(x,y)的局部亮度均值
Figure BDA0003097998510000081
并将
Figure BDA0003097998510000082
经过非线性激活处理后,作为k(x,y)的动态调节因子,如式(4)所示。
Figure BDA0003097998510000083
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为
Figure BDA0003097998510000084
Figure BDA0003097998510000085
Figure BDA0003097998510000086
步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按特定比例(默认取0.1:0.9)融合
Figure BDA0003097998510000087
和Lrod(x,y),得到初级边界响应Iborder(x,y),如式(5)所示。
Figure BDA0003097998510000088
步骤(2)如图4所示,模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y)。
首先引入如式(3)所示的高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),如式(6)所示,其中θstd表示多方向响应最大值所对应的方向角,即最优方向。
Figure BDA0003097998510000089
然后以最优方向θstd为中心轴,按特定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,如式(7)所示,其中M决定了方向微动的幅度。根据式(7)可知
Figure BDA00030979985100000810
即最佳方位区间,其中
Figure BDA00030979985100000811
表示初始轮廓中相邻方向的角度差。最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),如式(8)所示。
Figure BDA0003097998510000091
E(x,y)=max{e(x,y;θr)|r=1,2,…,M} (8)
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓
Figure BDA0003097998510000092
和腹侧神经元稀疏响应
Figure BDA0003097998510000093
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓。
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,如(9)所示,其中I0(x,y)默认为I(x,y)。然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),如式(10)所示,其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,可能的结果为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y)。
Figure BDA0003097998510000094
Figure BDA0003097998510000095
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2。
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),如式(11)所示。最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓
Figure BDA0003097998510000096
如式(12)所示。
Figure BDA0003097998510000101
Figure BDA0003097998510000102
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;weight∈(0,1]表示空间强化权重,默认取weight=0.6。
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理。
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓。因此本发明采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓
Figure BDA0003097998510000103
作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,如式(13)~(14)所示。
Figure BDA0003097998510000104
Figure BDA0003097998510000105
其中,cm、gl表示腹侧神经元的膜电容和漏电导;
Figure BDA0003097998510000106
表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为
Figure BDA0003097998510000107
的空间维度;||·||L表示L范数,L=1,2。在
Figure BDA0003097998510000108
的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值(即v>vth)时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应
Figure BDA0003097998510000109
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
Figure BDA00030979985100001010
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓
Figure BDA00030979985100001011
如式(15)~(16)所示。
Figure BDA0003097998510000111
Figure BDA0003097998510000112

Claims (3)

1.一种基于双侧注意通路的显著轮廓提取方法,其特征在于,包括以下步骤:
步骤(1)模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标;
步骤(2)模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y);
首先引入高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),公式如下:
Figure FDA0003097998500000011
其中θstd表示多方向响应最大值所对应的方向角,即最优方向;
然后以最优方向θstd为中心轴,按设定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,公式如下:
Figure FDA0003097998500000012
其中M决定了方向微动的幅度;可知
Figure FDA0003097998500000013
即最佳方位区间,其中Δθ=π/Q表示初始轮廓中相邻方向的角度差;
最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),公式如下:
E(x,y)=max{e(x,y;θr)|r=1,2,…,M}
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓
Figure FDA0003097998500000014
和腹侧神经元稀疏响应
Figure FDA0003097998500000015
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
Figure FDA0003097998500000016
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓
Figure FDA0003097998500000021
公式如下:
Figure FDA0003097998500000022
Figure FDA0003097998500000023
2.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法,其特征在于,所述的步骤(1)包括以下子步骤:
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),公式如下:
Figure FDA0003097998500000024
其中,(i,j)表示H×H区域内的坐标,step表示移动步长;为解决边界溢出问题,以L(x,y)的边缘像素填充边界;
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),公式如下:
Figure FDA0003097998500000025
其中,a∈(0,1)表示亮度调节因子;
步骤1.2针对输入图像I(x,y),模拟锥细胞的颜色(红、绿、蓝、黄)分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-;再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为
Figure FDA0003097998500000027
公式如下:
Figure FDA0003097998500000026
其中,*表示卷积运算符;
Figure FDA0003097998500000031
γ、σ表示感受野的椭圆率和尺度;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,可能的选项为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式步骤1.1同理计算,获得Lrod(x,y)的局部亮度均值
Figure FDA0003097998500000032
并将
Figure FDA0003097998500000033
经过非线性激活处理后,作为k(x,y)的动态调节因子,公式如下:
Figure FDA0003097998500000034
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为
Figure FDA0003097998500000035
Figure FDA0003097998500000039
步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按比例融合
Figure FDA0003097998500000036
和Lrod(x,y),得到初级边界响应Iborder(x,y),公式如下:
Figure FDA0003097998500000037
3.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法,其特征在于,所述的步骤(3)包括以下子步骤:
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓;
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,公式如下:
Figure FDA0003097998500000038
其中I0(x,y)默认为I(x,y);
然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),公式如下:
Figure FDA0003097998500000041
其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,可能的结果为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y);
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2;
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),公式如下:
Figure FDA0003097998500000042
最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓
Figure FDA0003097998500000043
公式如下:
Figure FDA0003097998500000044
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;
weight∈(0,1]表示空间强化权重,默认取weight=0.6;
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理;
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓;因此本发明采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓
Figure FDA0003097998500000045
作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,公式如下:
Figure FDA0003097998500000051
Figure FDA0003097998500000052
其中,cm、gl表示腹侧神经元的膜电容和漏电导;
Figure FDA0003097998500000053
表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为
Figure FDA0003097998500000054
的空间维度;||·||L表示L范数,L=1,2;在
Figure FDA0003097998500000055
的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值(即v>vth)时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应
Figure FDA0003097998500000056
CN202110616753.5A 2021-06-02 2021-06-02 一种基于双侧注意通路的显著轮廓提取方法 Active CN113362356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616753.5A CN113362356B (zh) 2021-06-02 2021-06-02 一种基于双侧注意通路的显著轮廓提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110616753.5A CN113362356B (zh) 2021-06-02 2021-06-02 一种基于双侧注意通路的显著轮廓提取方法

Publications (2)

Publication Number Publication Date
CN113362356A true CN113362356A (zh) 2021-09-07
CN113362356B CN113362356B (zh) 2024-02-02

Family

ID=77531399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110616753.5A Active CN113362356B (zh) 2021-06-02 2021-06-02 一种基于双侧注意通路的显著轮廓提取方法

Country Status (1)

Country Link
CN (1) CN113362356B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342612A (zh) * 2023-05-31 2023-06-27 深圳市微特智能系统有限公司 PCB板mark点提取的方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法
WO2020211522A1 (zh) * 2019-04-15 2020-10-22 京东方科技集团股份有限公司 图像的显著性区域的检测方法和装置
CN112712526A (zh) * 2020-12-31 2021-04-27 杭州电子科技大学 基于非对称卷积神经网络双通道的视网膜血管分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211522A1 (zh) * 2019-04-15 2020-10-22 京东方科技集团股份有限公司 图像的显著性区域的检测方法和装置
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法
CN112712526A (zh) * 2020-12-31 2021-04-27 杭州电子科技大学 基于非对称卷积神经网络双通道的视网膜血管分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342612A (zh) * 2023-05-31 2023-06-27 深圳市微特智能系统有限公司 PCB板mark点提取的方法、装置及存储介质

Also Published As

Publication number Publication date
CN113362356B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN106169081B (zh) 一种基于不同照度的图像分类及处理方法
CN104318569B (zh) 基于深度变分模型的空间显著性区域提取方法
Grossberg et al. Texture segregation, surface representation and figure–ground separation
CN109489576B (zh) 一种基于初级视觉通路计算模型的轮廓检测方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN106326937A (zh) 基于卷积神经网络的人群密度分布估计方法
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN107204025A (zh) 基于视觉感知的自适应服装动画建模方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
Yu et al. Artificial bee colony approach to information granulation-based fuzzy radial basis function neural networks for image fusion
CN111402285B (zh) 一种基于视觉机制暗边缘增强的轮廓检测方法
CN104778696B (zh) 一种基于视通路方位敏感的图像边缘分级检测方法
CN111652817B (zh) 一种基于人眼视觉感知机理的水下图像清晰化方法
Shapley et al. Computational theories of visual perception
Zhang et al. Application of binocular disparity and receptive field dynamics: A biologically-inspired model for contour detection
WO2015010164A1 (en) Enhancing vision for a vision impaired user
Groen et al. Low-level contrast statistics are diagnostic of invariance of natural textures
CN113362356A (zh) 一种基于双侧注意通路的显著轮廓提取方法
CN106780468B (zh) 基于视觉感知正反馈的显著性检测方法
CN111179294A (zh) 一种基于x、y并行视觉通道响应的仿生型轮廓检测方法
CN108537852B (zh) 一种基于图像局部对比度的自适应颜色恒常性方法
CN112613427B (zh) 基于视觉信息流分区投射编码模型的道路障碍物检测方法
CN105716609B (zh) 一种机器人室内视觉定位方法
CN107169958A (zh) 机器学习、背景抑制与感知正反馈相结合的视觉显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant