CN106485247B - 基于神经元感受野空间结构的显著性检测方法 - Google Patents

Abstract

本发明公开一种基于神经元感受野空间结构的显著性检测方法，首先将红绿拮抗颜色边缘图像、蓝黄拮抗颜色边缘图像、红青拮抗颜色边缘图像和绿洋红拮抗颜色边缘图像进行整合得到综合边缘图像；然后利用各个拮抗边缘图像对相应的拮抗颜色显著图进行调节和整合得到一个显著图，同时采用综合边缘图像对各个拮抗颜色显著图进行调节和整合得到另一个显著图；最后对2个显著图进行竞争，得到最终的显著图。本发明在某种程度上模拟了大脑中视觉信息的传输和处理机制，能够检测出图像中的显著颜色区域和显著方向信息。显著性区域检测效果强于经典的显著性模型，可以视为模拟视网膜神经节细胞，外侧膝状体和初级视觉皮层的结构层次的显著性模型或检测方法。

Description

基于神经元感受野空间结构的显著性检测方法

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于神经元感受野空间结构的显著性检测方法。

背景技术

多年来，研究者对视觉系统各级神经元形态，结构和电生理特征等方面进行大量深入的研究。神经元感受野的空间结构，是人类理解神经元功能机制的一种有效途径，也会不断涌出新理论和新发现。如何依据神经元感受野的空间结构来建立显著性检测模型已成为研究者关注的焦点。根据人类对神经元功能机制的理解，研究人员提出了各种显著性模型和检测方法。一般而言，显著性模型主要包括自底向上(bottom-up)和自顶向下(top-down)模型。神经生理学领域的大量研究显示V1区细胞具有大范围视觉信息整合的能力。鉴于目前人类对神经元功能机制并没有完全理解，如何建立更加符合视觉神经机制的显著图整合模型是一个难题。因为显著性模型是模拟大脑中视觉信息的传输和处理机制而建立的模型，视觉信息在视觉通路中的传递和加工是一个复杂的多层次过程。

发明内容

本发明所要解决的技术问题是提供一种基于神经元感受野空间结构的显著性检测方法，能够检测出图像中的显著颜色区域和显著方向信息。

为解决上述问题，本发明是通过以下技术方案实现的：

基于神经元感受野空间结构的显著性检测方法，包括如下步骤：

步骤1、将输入图像分解为红色、绿色、蓝色和黄色这4个颜色分量；

步骤2、采用加法颜色混合计算方法，获得2个修正拮抗颜色分量，即红青拮抗颜色分量和绿洋红拮抗颜色分量；

步骤3、对步骤1所得的4个颜色分量和步骤2所得2个修正拮抗颜色分量进行边缘检测，得到红绿拮抗颜色边缘图像、蓝黄拮抗颜色边缘图像、红青拮抗颜色边缘图像和绿洋红拮抗颜色边缘图像；

步骤4，综合步骤3所得的4个边缘图像，得到综合颜色边缘图像E(x,y)，

E(x,y)＝max[e_ci(x,y)，ci∈{rg，by，rc，gm}]⁺

式中，[·]⁺表示半波校正，e_rg(x,y)为红绿拮抗颜色边缘图像，e_by(x，y)为蓝黄拮抗颜色边缘图像，e_rc(x，y)为红青拮抗颜色边缘图像，e_gm(x,y)为绿洋红拮抗颜色边缘图像；

步骤5，对步骤3所得的4个拮抗颜色边缘图像分别建立高斯金字塔，并通过跨尺度抽样产生红绿拮抗颜色边缘特征映射、蓝黄拮抗颜色边缘特征映射、红青拮抗颜色边缘特征映射和绿洋红拮抗颜色边缘特征映射；

步骤6、对步骤5所得的4个拮抗颜色边缘特征映射采用Itti视觉注意模型的跨尺度等一系列操作，得到红绿拮抗颜色显著图、蓝黄拮抗颜色显著图、红青拮抗颜色显著图和绿洋红拮抗颜色显著图；

步骤7，计算步骤3所得的4个拮抗颜色边缘图像的权重和步骤4所得的综合颜色边缘图像的权重；

步骤8、基于4个拮抗颜色边缘图像的权重，对步骤5所得的4个拮抗颜色显著图进行整合，获得第一显著图S₁(x，y)；

步骤9，基于综合颜色边缘图像的权重，对步骤5所得的4个拮抗颜色显著图进行整合，获得的第二显著图S₂(x,y)；

步骤10，对第一显著图S₁(x,y)和第二显著图S₂(x，y)进行显著性竞争，取两者的最大值，可得到总体显著图E(x,y)。

上述步骤3中，采用高斯滤波器分别对4个颜色分量进行高斯差操作，并且采用Gabor滤波器分别对2个修正拮抗颜色分量进行边缘检测。

上述步骤7中，采用logistic函数来计算4个拮抗颜色边缘图像和综合颜色边缘图像的权重。

上述步骤8中，第一显著图S₁(x,y)为：

式中，w(e_rg)为红绿拮抗颜色边缘图像的权重，w(e_by)为蓝黄拮抗颜色边缘图像的权重，w(e_rc)为红青拮抗颜色边缘图像的权重，w(e_gm)为绿洋红拮抗颜色边缘图像的权重；为红绿拮抗颜色的显著图，为蓝黄拮抗颜色的显著图，为红青拮抗颜色的显著图，为绿洋红拮抗颜色的显著图。

上述步骤9中，第二显著图S₂(x,y)为：

式中，w(E)为综合颜色边缘图像的权重；为红绿拮抗颜色的显著图，为蓝黄拮抗颜色的显著图，为红青拮抗颜色的显著图，为绿洋红拮抗颜色的显著图。

作为改进，上述基于神经元感受野空间结构的显著性检测方法，还进一步包括如下步骤：步骤11、采用精确度、返回率、F值和/或绝对平均误差来评价显著性检测性能。

与现有技术相比，本发明关注基于神经元感受野空间结构来进行显著性检测，提出动态调制功能的新型显著图整合方法。基于神经元感受野空间结构的显著性模型可看作为基于动态调制机制的显著性检测方法，专门用于图像显著性区域检测，并且比经典的显著性模型和方法更加符合神经元功能机制。它整合了单拮抗感受野，双拮抗感受野，拮抗颜色(包括修正拮抗颜色)和动态调制机制的优点，它在某种程度上模拟了大脑中视觉信息的传输和处理机制，能够检测出图像中的显著颜色区域和显著方向信息。显著性区域检测效果强于经典的显著性模型，可以视为模拟视网膜(retina)神经节细胞，外侧膝状体(LGN)和初级视觉皮层(V1)的结构层次的显著性模型或检测方法。

具体实施方式

为了充分利用视觉神经元机制来进行显著性检测，本发明提出了一种新颖的模型来检测图像显著性区域，它被称之为基于视觉感受野空间结构的显著性模型。显著性模型根据视觉感受野空间结构的功能属性来定义，它在某种程度上模拟了模拟大脑中视觉信息的传输和处理机制，能够检测出图像中的显著颜色区域和显著方向信息。显著性检测效果强于经典的显著性模型，可以视为模拟视网膜(retina)神经节细胞，外侧膝状体(LGN)和初级视觉皮层(V1)的结构层次的显著性模型或者显著性检测方法。

一种基于神经元感受野空间结构的显著性检测方法，包括如下步骤：

(1)将输入图像分解为四个颜色分量：红色(R)，绿色(G)，蓝色(B)和黄色(Y)，它们分别定义为：

其中，[.]⁺表示半波校正操作，并且将所有负值设为0值。r，g和b分别表示输入图像的红、绿和蓝颜色通道，它们的像素值取值范围为[0，1]。

(2)神经生理学领域的研究表明，在视网膜(retina)神经节细胞，外侧膝状体(LGN)中，还存在红青(red-cyan)细胞和绿洋红(green-magenta)细胞，其中青色(cyan)和洋红(magenta)采用加法颜色混合而获得，因此本发明增加红青(red-cyan)细胞和绿洋红(green-magenta)细胞的拮抗作用来修正拮抗颜色。红青拮抗颜色(RC)和绿洋红拮抗颜色(GM)分别定义为：

RC＝(R+Y)-(G+B) (5)

GM＝(G+Y)-(R+B) (6)

(3)本发明采用单拮抗和双拮抗感受野空间结构模型应用于抽取颜色特征和边缘检测。一般情况下，视网膜神经节细胞和外侧膝状体细胞具有相似的感受野属性，均为单拮抗细胞感受野。它们主要具有颜色拮抗和空间低通属性。本发明采用高斯滤波器来对R，G，B和Y通道进行滤波操作，其中高斯滤波器的标准偏差δ＝5.0，则它们的滤波图像分别表示为R(x,y)，G(x,y)，B(x,y)和Y(x，y)。

红绿(RG)拮抗颜色的感受野反应可以定义为：

蓝黄(BY)拮抗颜色的感受野反应可以定义为：

鉴于在初级视觉皮层V1中，存在大量具有空间和颜色双重拮抗的神经元细胞，其中朝向性双拮抗细胞在彩色边缘检测中起到非常重要的作用。为了模拟它们的感受野空间结构属性，本发明采用Gabor滤波器来计算每个通道的边缘响应。Gabor滤波器的定义如下：

其中，X＝xcosθ+ysinθ，Y＝-xsinθ+ycosθ，θ为滤波器的方向，k＝1，2，..，N_θ，γ为椭圆率，λ为波长，δ为标准方差。本发明设置N_θ＝6，γ＝0，25，λ＝0.56和δ＝2.333。

对红绿(RG)拮抗颜色分量进行Gabor滤波后可得：

其中，表示卷积运算，则红绿(RG)拮抗颜色的边缘图像e_rg(x，y)可以表示为：

e_rg(x,y)＝max{e_rg(x,y,θ_i)|i＝1,2,..，N_θ} (11)

其中，max{...}表示取极大值。

同理，对蓝黄(BY)拮抗颜色分量进行Gabor滤波后，可以得到蓝黄(BY)拮抗颜色的边缘图像e_by(x,y)。

(4)本发明采用单拮抗和双拮抗感受野空间结构模型，对红青拮抗颜色(RC)和绿洋红拮抗颜色(GM)进行边缘特征抽取。在单拮抗细胞感受野中，本发明将红青拮抗颜色(RC)和绿洋红拮抗颜色(GM)细胞的神经元反应分别定义为：

在双拮抗细胞感受野中，本发明对红青拮抗颜色(RC)和绿洋红拮抗颜色(GM)进行Gabor滤波，同样可以得到它们对应的边缘图像e_rc(x，y)和e_gm(x，y)。

(5)采用单拮抗和双拮抗感受野模型所抽取的最终边缘信息E(x，y)为：

E(x，y)＝max[e_ci(x,y)，ci∈{rg，by，rc，gm}]⁺ (14)

式中，[.]⁺表示半波校正，并将所有负值设为0值。

(6)借鉴经典的Itti视觉注意模型对上述边缘图像e_rg，e_by，e_rc和e_gm建立高斯金字塔，分别表示为e_rg(σ)，e_by(σ)，e_rc(σ)和e_gm(σ)。高斯金字塔的层数为6层，即σ∈[0...5]。通过跨尺度抽样并产生所谓的特征映射。

例如，红绿(RG)拮抗颜色所对应边缘的特征映射可定义为：

式中，操作符表示中心-周边差操作，e_rg(c)表示红绿(RG)拮抗颜色所对应边缘的中心信号，e_rg(s)表示红绿(RG)拮抗颜色所对应边缘的周边信号。

同理，可以获得e_by(σ)，e_rc(σ)和e_gm(σ)的特征映射F(c,s,e_by)，F(c，s,e_rc)和F(c,s,e_gm)。

(7)通过Itti视觉注意模型的跨尺度等一系列操作，根据边缘图像e_rg，e_by，e_rc和e_gm可分别得到它们对应拮抗颜色的显著图，其中

红青拮抗颜色的显著图为：

绿洋红拮抗颜色的显著图为：

红绿拮抗颜色的显著图为：

蓝黄拮抗颜色的显著图为：

其中，表示Itti视觉注意模型中的局部最大化操作。

(8)特征显著图的整合。一般情况下，双拮抗细胞感受野所抽取的信息对应于显著性区域的边缘，将显著图和边缘信息进行交互，可以使得显著区域能够比较好地对应于目标，所以本发明采用边缘信息E(x,y)和e_ci(x,y)，ci∈{rg，by，rc，gm}用于判断显著性大小或者作为权重，并采用动态模式来实现显著图整合。为了实现动态地调制各种特征对总体显著图的贡献，本发明采用logistic函数来决定权重，权重定义如下：

在本发明中设置β＝0.2，a＝0.5。

针对输入图像，图像中所有像素点都有一个权重值w(ψ)，其中ψ∈{e_rg(x,y)，e_by(x,y)，e_rc(x,y)，e_gm(x,y)，E(x,y)}。鉴于权重值w(ψ)，颜色信息和边缘信息三者之间有着非常密切的关系，所以本发明首先将各种拮抗颜色显著图整合为两种颜色显著图：

其中，S₁(x,y)是依据边缘信息e_ci(x,y)，ci∈{rg，by，rc，gm}为权重进行调制和整合而获得的显著图；S₂(x,y))是依据边缘信息E(x,y)为权重进行调制和整合而获得的显著图。

(9)本发明对S₁(x,y)和S₂(x,y)进行显著性竞争，取两者的最大值，可得到总体显著图S(x,y)为：

S(x，y)＝max{S₁(x，y)，S₂(x，y)} (23)

(10)采用精确度，返回率，F值和绝对平均误差(MAE)来评价显著性检测性能。采用精确度，返回率和F值来评价性能，其中考虑固定阈值和自适应阈值的两种方式。

Claims (5)

1.基于神经元感受野空间结构的显著性检测方法，其特征是，包括如下步骤：

步骤1、将输入图像分解为红色、绿色、蓝色和黄色这4个颜色分量；

步骤2、采用加法颜色混合得到青色和洋红，并获得2个修正拮抗颜色分量，即红青拮抗颜色分量和绿洋红拮抗颜色分量；

RC＝(R+Y)-(G+B)

GM＝(G+Y)-(R+B)

其中，RC表示红青拮抗颜色分量，GM表示绿洋红拮抗颜色分量，R表示红色，G表示绿色，B表示蓝色，Y表示黄色；

步骤3、对步骤1所得的4个颜色分量和步骤2所得2个修正拮抗颜色分量进行边缘检测，得到红绿拮抗颜色边缘图像、蓝黄拮抗颜色边缘图像、红青拮抗颜色边缘图像和绿洋红拮抗颜色边缘图像；

步骤4，综合步骤3所得的4个边缘图像，得到综合颜色边缘图像E(x，y)，

E(x，y)＝max[e_ci(x,y)，ci∈{rg，by，rc，gm}]⁺

式中，[·]⁺表示半波校正，并且将所有负值设为0值，e_rg(x,y)为红绿拮抗颜色边缘图像，e_by(x,y)为蓝黄拮抗颜色边缘图像，e_rc(x,y)为红青拮抗颜色边缘图像，e_gm(x,y)为绿洋红拮抗颜色边缘图像；

步骤5，对步骤3所得的4个拮抗颜色边缘图像分别建立高斯金字塔，并进行中心周边差操作和跨尺度整合，得到红绿拮抗颜色显著图、蓝黄拮抗颜色显著图、红青拮抗颜色显著图和绿洋红拮抗颜色显著图；

步骤6，计算步骤3所得的4个拮抗颜色边缘图像的权重和步骤4所得的综合颜色边缘图像的权重；

步骤7、基于4个拮抗颜色边缘图像的权重，对步骤5所得的4个拮抗颜色显著图进行整合，获得第一显著图；

步骤8，基于综合颜色边缘图像的权重，对步骤5所得的4个拮抗颜色显著图进行整合，获得的第二显著图；

步骤9，对第一显著图和第二显著图进行显著性竞争，取两者的最大值，可得到总体显著图。

2.根据权利要求1所述基于神经元感受野空间结构的显著性检测方法，其特征是，步骤6中，采用logistic函数来计算4个拮抗颜色边缘图像和综合颜色边缘图像的权重。

3.根据权利要求1所述基于神经元感受野空间结构的显著性检测方法，其特征是，步骤7中，第一显著图S₁(x,y)为：

式中，w(e_rg)为红绿拮抗颜色边缘图像的权重，w(e_by)为蓝黄拮抗颜色边缘图像的权重，w(e_rc)为红青拮抗颜色边缘图像的权重，w(e_gm)为绿洋红拮抗颜色边缘图像的权重；为红绿拮抗颜色的显著图，为蓝黄拮抗颜色的显著图，为红青拮抗颜色的显著图，为绿洋红拮抗颜色的显著图。

4.根据权利要求1所述基于神经元感受野空间结构的显著性检测方法，其特征是，步骤8中，第二显著图S₂(x,y)为：

式中，w(E)为综合颜色边缘图像的权重；为红绿拮抗颜色的显著图，为蓝黄拮抗颜色的显著图，为红青拮抗颜色的显著图，为绿洋红拮抗颜色的显著图。

5.根据权利要求1所述基于神经元感受野空间结构的显著性检测方法，其特征是，还进一步包括如下步骤：步骤11、采用精确度、返回率、F值和/或绝对平均误差来评价显著性检测性能。