CN110210502B - 整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法 - Google Patents

Abstract

本发明公开一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法，通过关注蜜蜂和哺乳动物(包括人类)视觉感知机制的优势来进行特征提取和图像检索，提出了一种整合了蜜蜂色彩感知机制的颜色特征提取方法、以及哺乳动物(包括人类)方向敏感神经元机制的边缘提取方法，通过模拟蜜蜂辨识颜色的机制和人类方向敏感神经元的空间和颜色双重拮抗作用，最终获得更加符合视觉神经机制、更精确的颜色特征和边缘特征，并且应用于图像检索，本发明提出的方法更加符合仿生学原理。

Description

整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法。

背景技术

哺乳动物(包括人类)的视觉系统已经进化成为一个高度发达的神经元系统。视觉系统是人类感知周边环境的主要感觉器官，因此研究视觉神经机制已经成为模式识别，计算机视觉，认知科学和视觉神经科学等领域的热点。鉴于视觉系统是一个极为复杂的系统，人类对神经元功能机制的认识和理解还不够全面，如何建立高效的视觉计算模型并且应用于图像检索是一个非常值得深入研究的主题。

颜色信息可以帮助动物(包括人类)区分物体的表面属性和边界，从而提高识别能力。人类辨识颜色的方式深受周围环境光照变化的影响，但蜜蜂在不同的环境光照中都能辨识同样的颜色。蜜蜂头部主要有两只复眼，背侧有三只单眼(ocelli)，每只单眼包含两个感光器，它可以完美地感应环境光照。蜜蜂辨识颜色的机制可以使大脑忽视环境中自然光亮的影响，从而避免其对于颜色分辨产生的干扰，由蜜蜂单眼所获得的信息则以某种方式整合到复眼所感知的颜色信息之中。蜜蜂和人类的视觉系统都具有各自的优势，蜜蜂辨识颜色的机制，可以使大脑忽视环境中自然光亮的影响，从而避免其对于颜色分辨产生的干扰。很多哺乳动物(包括人类)的视觉系统存在大量的方向敏感性神经元，它们具有空间和颜色双重拮抗作用。然而，如何整合蜜蜂和人类视觉感知机制来进行特征提取和图像检索，目前非常罕见。

发明内容

本发明提供一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法，其能够利用直方图来表达颜色、边缘和空间特征，并且吸收了蜜蜂感知色彩机制和人类方向敏感视觉神经元机制的优势，以便于提取更精确的颜色信息和边缘信息，最终获得更加符合视觉神经机制的颜色特征和边缘特征，并且应用于图像检索。

为解决上述问题，本发明是通过以下技术方案实现的：

一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法，其具体包括步骤如下：

步骤1、根据Von Kries校正系数，计算彩色图像的红、绿和蓝3个颜色通道在光谱波长λ下所对应的响应值；

步骤2、基于红、绿和蓝3个颜色通道在光谱波长λ下所对应的响应值，利用蜜蜂背侧单眼两个感光器重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像，绿色分量重构图像和蓝色分量重构图像；

步骤3、利用红色分量重构图像，绿色分量重构图像和蓝色分量重构图像重构出彩色重构图像；

步骤4、在RGB颜色空间中计算彩色重构图像的拮抗颜色，获得红绿拮抗颜色分量图像，蓝黄拮抗颜色分量图像和黑白拮抗颜色分量图像；

步骤5、利用Gabor滤波器分别对红绿拮抗颜色分量图像，蓝黄拮抗颜色分量图像和黑白拮抗颜色分量图像进行滤波，得到红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像；

步骤6、利用主成分分析算法对所有红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像进行降维，以得到整合权重；基于所获得的整合权重将所有降维后的红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像整合为一幅边缘图像；

步骤7、对步骤3所得到的彩色重构图像进行量化，得到颜色索引图；同时对步骤6所得到的边缘图像进行量化，得到边缘索引图；

步骤8、分别构建颜色索引图的直方图和边缘索引图的直方图；

步骤9、将颜色索引图的直方图和边缘索引图的直方图应用于图像检索，并且采用L1距离来进行图像匹配；即当2个图的颜色索引图的直方图之间的L1距离满足颜色阈值，且2个图的边缘索引图的直方图之间的L1距离满足边缘阈值时，则认定2个图像相匹配；否则，认定2个图像不匹配。

上述步骤2的具体过程如下：

步骤2.1、利用红色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的红色光强度

和蜜蜂背侧单眼右感光器所感知的红色光强度/>

其中：

同时，利用绿色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的绿色光强度

和蜜蜂背侧单眼右感光器所感知的绿色光强度/>

其中：

同时，利用蓝色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的蓝色光强度

和蜜蜂背侧单眼右感光器所感知的蓝色光强度/>

其中：

步骤2.2、利用蜜蜂背侧单眼左感光器所感知的红色光强度

和蜜蜂背侧单眼右感光器所感知的红色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_r，其中：

同时，利用蜜蜂背侧单眼左感光器所感知的绿色光强度

和蜜蜂背侧单眼右感光器所感知的绿色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_g，其中：

同时，利用蜜蜂背侧单眼左感光器所感知的蓝色光强度

和蜜蜂背侧单眼右感光器所感知的蓝色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_g，其中：

式中，E(λ)表示光谱波长λ下，色温T_c所对应的日光光谱辐照度；S_L(λ)表示光谱波长λ下，蜜蜂背侧单眼左感光器的光谱灵敏度；S_S(λ)表示光谱波长λ下，蜜蜂背侧单眼右感光器的光谱灵敏度；ρ_r(λ)表示红色通道在光谱波长λ下的响应值；ρ_g(λ)表示绿色通道在光谱波长λ下的响应值；ρ_b(λ)表示蓝色通道在光谱波长λ下的响应值；λ表示光谱波长；T_c表示色温。

与现有技术相比，本发明关注蜜蜂和哺乳动物(包括人类)视觉感知机制的优势来进行特征提取和图像检索，提出了一种整合了蜜蜂色彩感知机制的颜色特征提取方法、以及哺乳动物(包括人类)方向敏感神经元机制的边缘提取方法，通过模拟蜜蜂辨识颜色的机制和人类方向敏感神经元的空间和颜色双重拮抗作用，最终获得更加符合视觉神经机制、更精确的颜色特征和边缘特征，并且应用于图像检索，本发明提出的方法更加符合仿生学原理。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

本发明通过模拟蜜蜂和人类视觉感知机制来处理颜色、边缘信息以及空间信息，以便于提取更精确的颜色信息和边缘信息，最终获得更加符合视觉神经机制的颜色特征和边缘特征，并且应用于图像检索。

一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法，其具体包括步骤如下：

步骤1、计算彩色图像颜色通道的响应值。

本发明将彩色图像的三个颜色通道(R、G和B)，根据Von Kries校正系数，计算出它们在光照环境下的响应值ρ_r，ρ_g和ρ_b，采用下面公式：

其中，

和/>

Mean(.)表示某个颜色通道的颜色平均值，K表示RGB颜色通道的颜色平均值。

步骤2、重构环境光照损耗的光谱功率分布。

蜜蜂背侧单眼两个感光器所感知的光强度为：

其中，I_L和I_S表示蜜蜂背侧单眼中的两种感光器，E(λ)表示光谱波长λ下，色温T_c所对应的日光光谱辐照度，S_i(λ)表示光谱波长λ下，蜜蜂背侧单眼感光器I_L或I_S的光谱灵敏度，光谱波长λ取值范围为300nm到650nm。

在间隔Δλ及相应色温取值为T_c时，它反映了两种感光器I_L和I_S对光强响应的比率：

其中，T_c表示色温，Δλ表示蜜蜂背侧单眼中两种感光器I_L和I_S最大吸收波长之间的间隔，设其为Δλ＝140。在两个感光器中，能保持恒定的感光器定义为I_S，而在最大吸收波长顶峰之间变动的感光器作为I_L。

在重构环境光照损耗的光谱功率分布(SPD)时，将蜜蜂背侧单眼所感知的频谱分辨率定义为：

步骤3、在RGB颜色空间中计算彩色重构图像的拮抗颜色，获得红绿拮抗颜色分量图像C_rg，蓝黄拮抗颜色分量图像C_by和黑白拮抗颜色分量图像C_wb。

由于神经细胞对某些波长放电频率高，表现出兴奋，但对某些波长放电频率低，则表现出抑制，因此可以将红绿拮抗(RG)颜色图像C_rg包括兴奋响应C_r+g-和抑制响应C_r+g+，其分别代表兴奋作用和抑制作用。其中C_r+g-＝R-G；C_r-g+＝R+G。同理，蓝黄拮抗(BY)颜色图像C_by包括兴奋响应C_b+y-和抑制响应C_b-y+，其分别代表兴奋作用和抑制作用。其中C_b+y-＝B-(R+G)；C_b-y+＝B+(R+G)。然而，黑白拮抗颜色(WB)C_wb不区分兴奋和抑制，即C_wb＝(R+G+B)/3。其中R表示彩色重构图像的红色分量，G表示彩色重构图像的绿色分量，B表示彩色重构图像的蓝色分量。

步骤4、利用Gabor滤波器分别对红绿拮抗颜色分量图像，蓝黄拮抗颜色分量图像和黑白拮抗颜色分量图像进行滤波，得到红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像。

为了模拟方向敏感神经元的感受野空间结构属性，本发明采用Gabor滤波器来计算每个通道的边缘响应。本发明拟采用16个尺度和4个方向

构成，共计64个Gabor滤波器，其中在每个尺度每个位置都存在4个方向Gabor单元。Gabor滤波器的定义如下：

其中，X＝xcosθ+ysinθ，Y＝-xsinθ+ycosθ，θ为滤波器的方向，

γ为椭圆率，λ为波长，δ为标准方差，为了获得16个尺度，设置初始值σ₀＝1.0，然后逐步递增，最佳增量值需实验确定。

本发明初步拟定，γ＝0.20和λ＝0.56，最佳参数需要实验来确定。在某个尺度下δ_i，对红绿拮抗(RG)颜色图像C_rg进行Gabor滤波后可得：

其中：

在红绿拮抗(RG)颜色图像C_rg下标中，符号“+”和“-”分别代表兴奋作用和抑制作用，其/>

表示卷积运算。

同理，可获得蓝黄拮抗(BY)颜色和黑白(WB)拮抗颜色的边缘图像E_by(x，y，δ_i，θ_j)和E_wb(x，y，δ_i，θ_j)，共计获得64+64+64＝192幅边缘图像。

步骤5、采用PCA(主成分分析)算法对这些边缘图像进行降维，以便于获得整合权重，实现边缘图像的整合，得到一幅边缘图像e(x，y)。

步骤6、对彩色重构图像和边缘图像分别进行量化，得到颜色索引图和边缘索引图。

将模拟蜜蜂视觉机制得到的颜色图像(包括三个分量图像SR_r，SR_g和SR_b)和边缘图像e(x，y)进行量化，其中SR_r，SR_g和SR_b分量图像分别量化为4柄，4柄和4柄，得到64种颜色组合或者颜色索引图C(x，y)。将边缘图像量化为64种边缘组或者边缘索引图E(x，y)。

步骤8、构建颜色索引图C(x，y)和边缘索引图E(x，y)的直方图。

假设(x，y)和(x′，y′)为两个相邻像素，并且它们的颜色索引值为C(x，y)＝v₁，C(x′，y′)＝v₂；边缘索引值为E(x，y)＝e₁和E(x′，y′)＝e₂；设(x，y)和(x′，y′)两个像素之间的距离为1，则图像特征直方图定义如下:

H＝conca{H_C[i]，H_E[j]} (9)

式中，H_C[i]和H_E[j]分别表示描述颜色和边缘信息的特征直方图，conca{.}表示将上述H_C[i]和H_E[j]两个直方图串联起来形成一个最终的特征向量直方图，i和j用做直方图的下标，其中i和j表示颜色和边缘的索引值。

其中，描述颜色特征的直方图方法如下：

假设在颜色索引图像C(x，y)中，坐标点(x，y)对应的颜色索引值为MC(x，y)，则以索引值MC(x，y)作为直方图下标，将此处的蜜蜂背侧单眼两个感光器所感知的光强度值(I_L(x，y)和I_S(x，y))累加到对应直方图中，历遍整幅图像则可以得到一个基于颜色特征的直方图，并且对直方图进行自然对数(Log)变换，则可以得到描述颜色的直方图，它可以表示为：

同理可得，描述边缘信息的特征直方图：

步骤8、将两个颜色索引图的直方图H_c和图的边缘索引图的直方图H_E串联起来，可以得到一个图像总特征直方图H{.}应用于图像检索，并且采用L1距离来进行图像匹配，即只有在2个图像的颜色索引图的直方图H_C和边缘索引图的直方图H_E同时匹配时，则认定，2个图像相匹配；否则，认定2个图像不匹配。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (1)

1.一种整合蜜蜂和人类视觉感知机制的特征提取和图像检索方法，其特征是，其具体包括步骤如下：

步骤1、根据Von Kries校正系数，计算彩色图像的红、绿和蓝3个颜色通道在光谱波长λ下所对应的响应值；

步骤2、基于红、绿和蓝3个颜色通道在光谱波长λ下所对应的响应值，利用蜜蜂背侧单眼两个感光器重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像，绿色分量重构图像和蓝色分量重构图像；即：

步骤2.1、利用红色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的红色光强度

和蜜蜂背侧单眼右感光器所感知的红色光强度/>

其中：

同时，利用绿色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的绿色光强度

和蜜蜂背侧单眼右感光器所感知的绿色光强度/>

其中：

同时，利用蓝色通道在光谱波长下的响应值分别计算蜜蜂背侧单眼左感光器所感知的蓝色光强度

和蜜蜂背侧单眼右感光器所感知的蓝色光强度/>

其中：

步骤2.2、利用蜜蜂背侧单眼左感光器所感知的红色光强度

和蜜蜂背侧单眼右感光器所感知的红色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_r，其中：

同时，利用蜜蜂背侧单眼左感光器所感知的绿色光强度

和蜜蜂背侧单眼右感光器所感知的绿色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_g，其中：/>

同时，利用蜜蜂背侧单眼左感光器所感知的蓝色光强度

和蜜蜂背侧单眼右感光器所感知的蓝色光强度/>

重构彩色图像的环境光照损耗的光谱功率分布，获得红色分量重构图像SR_g，其中：

式中，E(λ)表示光谱波长λ下，色温T_c所对应的日光光谱辐照度；S_L(λ)表示光谱波长λ下，蜜蜂背侧单眼左感光器的光谱灵敏度；S_S(λ)表示光谱波长λ下，蜜蜂背侧单眼右感光器的光谱灵敏度；ρ_r(λ)表示红色通道在光谱波长λ下的响应值；ρ_g(λ)表示绿色通道在光谱波长λ下的响应值；ρ_b(λ)表示蓝色通道在光谱波长λ下的响应值；λ表示光谱波长；T_c表示色温；

步骤3、利用红色分量重构图像，绿色分量重构图像和蓝色分量重构图像重构出彩色重构图像；

步骤4、在RGB颜色空间中计算彩色重构图像的拮抗颜色，获得红绿拮抗颜色分量图像，蓝黄拮抗颜色分量图像和黑白拮抗颜色分量图像；

步骤5、利用Gabor滤波器分别对红绿拮抗颜色分量图像，蓝黄拮抗颜色分量图像和黑白拮抗颜色分量图像进行滤波，得到红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像；

步骤6、利用主成分分析算法对所有红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像进行降维，以得到整合权重；基于所获得的整合权重将所有降维后的红绿拮抗颜色的边缘图像，蓝黄拮抗颜色的边缘图像和黑白拮抗颜色的边缘图像整合为一幅边缘图像；

步骤7、对步骤3所得到的彩色重构图像进行量化，得到颜色索引图；同时对步骤6所得到的边缘图像进行量化，得到边缘索引图；

步骤8、分别构建颜色索引图的直方图和边缘索引图的直方图；

步骤9、将颜色索引图的直方图和边缘索引图的直方图应用于图像检索，并且采用L1距离来进行图像匹配；即当2个图的颜色索引图的直方图之间的L1距离满足颜色阈值，且2个图的边缘索引图的直方图之间的L1距离满足边缘阈值时，则认定2个图像相匹配；否则，认定2个图像不匹配。