CN113313773A - 一种仿猛禽中脑竞争性选择机制的环境显著性检测方法 - Google Patents

Abstract

本发明公开一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变；步骤二：统一图像光照强度，gamma校正；步骤三：仿猛禽颜色机制区域分割；步骤四：仿猛禽注意力机制的显著区域检测；步骤五：猛禽核团感受野模拟；步骤六：颜色信息与动态目标信息融合。本发明优点：一、鲁棒性强，根据仿猛禽眼颜色机制以及仿猛禽中脑竞争性选择机制设计算法，兼顾显著区域的静态特征与动态特征，保证显著检测结果的准确性；二、框架简洁，节省目标检测计算量，大幅减小机载计算载荷要求；三、考虑光照不同、显著物特征不同为显著目标检测带来的困难，对于变化环境下的显著目标检测具有更强的适应性。

Description

一种仿猛禽中脑竞争性选择机制的环境显著性检测方法

技术领域

本发明是一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，属于计算机视觉领域。

背景技术

随着科技不断发展，在现代战争中，对于场景快速感知与目标搜索有较高的需求。视觉传感器相比于超声波、激光等传感器具有适应性强、灵敏度高、获取信息量丰富等优点。在视频信息越来越丰富的同时，对大量信息的处理所需要的计算资源、存储资源和时间资源等各方面需求都会有很大提升。场景中的冗余信息将提高计算复杂度，给计算机视觉识别任务带来干扰。面对一个相对复杂的场景时，若能够首先关注少数几个特殊的区域，并对这些区域进行优先处理，将大大提高检测效率。

显著性检测就是利用计算机去模拟生物的视觉系统来识别出图像或视频中最吸引注意力的区域。其中，图像或视频的显著性区域来源于目标区域及其领域非目标区域之间的对比差异。心理学研究表明，图像或视频的显著性目标区域的这种通过对比感知的差异性是由生物类视觉系统决定的。当面对复杂场景时，生物的视觉系统依靠强大的信息处理能力快速从场景中定位到具有区分性和吸引力的目标，这种能力被称为视觉注意机制。猛禽的视觉系统通过视觉注意机制，对周围环境信息做出分析，选取感兴趣的特定区域，为该区域分配更多的视觉处理资源进行精细分析处理，确保视觉系统能在处理大量信息的同时对周围环境做出准确反应。利用仿猛禽中脑竞争性选择机制的环境显著性检测机制能够快速预定位目标，为后续处理提供指导，在提高目标的感知概率同时减少计算时间。

由于猛禽类的生活环境及捕食环境复杂多变，且存在各种不同的因素会影响视网膜接收到的图像的亮度、光谱分布、对比度等。多项研究结果表明显著性、独特性、意外性、对比度等是影响猛禽捕食行为中的目标选择的典型因素，而这些特征均与视觉注意有着重要关系。此外，众多研究者对猛禽——仓鸮的视觉注意机制进行了研究，视觉注意机制能够帮助仓鸮更加准确地对目标进行锁定，并将更多的后续视觉处理资源分配到目标区域。

本发明借鉴猛禽中脑竞争性选择机制，归纳模型应用于环境显著性检测。

发明内容

本发明目的是提供一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，旨在提高复杂环境中目标的检测效率，从而实现在多干扰场景下，目标的快速识别定位，能够应用于侦察与反打击场景。

本发明是一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，采用单目摄像头作为视觉感知设备，该方法的框架如图1所示，具体实现步骤如下：

步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变

步骤二：统一图像光照强度，gamma校正

为了增强仿猛禽中脑竞争性选择机制的环境显著性检测方法的适应性和鲁棒性，首先对输入图像进行gamma校正，经过校正后的图像能够避免图像曝光过度或光线过暗的问题。

I_out＝(I_in)^gamma (1)

其中，I_out为输出图像，I_in为输入图像，gamma为校正系数。

步骤三：仿猛禽颜色机制的区域分割

根据猛禽色觉的拮抗机制，在不同视锥细胞接收信号类型相同的前提下，三种长、中和短波段敏感型视锥细胞在提取可见光中的信号以后，将进入猛禽眼的后处理机制进行相互拮抗作用，从而形成四条后感受器通路：亮度通路(U通路)，用来描述光线中的亮度信息；长波通路(L通路)，用来描述光线中的长波段信号；中波通路(M通路)，用来描述光线中的中波段信号；短波通路(S通路)，用来描述光线中的短波段信号。不同的颜色刺激信号在后处理机制中相互拮抗获得色差信号，每一条后感受器通路代表每一种颜色类型视锥细胞信号相对其他视锥颜色信号的对比响应。

根据猛禽的色觉机制构建视觉模型：L型通路主要吸收彩色图像中的红色信号，并对其他颜色的信号进行抑制；M通路、S通路则分别吸收彩色图像中的绿色和蓝色信号，并对其他颜色信号进行抑制，而U通路则吸收了图像中的亮度信号。

其中I_L、I_M、I_S和I_U分别为长波、中波、短波以及紫外波段四个通路对图像的输出响应。r、g、b是输入彩色图像中三个颜色通道的灰度值，max为取最大值符号，min为取最小值符号。

将输入的RGB图像转换至LMS颜色空间，并分别构建黄色输入分量、蓝-黄(S-Y)拮抗模型和明亮敏感拮抗模型。

其中，I_LM表示L兴奋M抑制的L-M拮抗，I_ML表示M兴奋，L抑制的L-M拮抗；I_YS表示Y兴奋，S抑制的Y-S拮抗，I_SY表示S兴奋，Y抑制的Y-S拮抗；I_W+表示明亮兴奋的拮抗，I_W-表示明亮抑制的拮抗。

以L兴奋、M抑制的L-M单拮抗细胞为例，感受野细胞的响应可近似为：

C_L+M-(x,y；σ_c)＝I_LM(x,y)*G(x,y；σ_c) (4)

其中，C_L+M-(x,y；σ_c)表示在图像坐标(x,y)处以σ_c为感受野大小的细胞响应；G(x,y；σ_c)为二维各向同性高斯滤波核，σ为高斯滤波核的标准差；*表示卷积操作。同理可以计算单拮抗细胞响应C_M+L-(x,y；σ_c)、C_S+L-(x,y；σ_c)、C_L+S-(x,y；σ_c)。

根据双拮抗细胞响应的结构，用两个不同感受野大小的拮抗细胞响应构造双拮抗细胞的响应，以L-M双拮抗细胞为例，可表示为：

D_LM(x,y；σ_c)＝C_L+M-(x,y；σ_c)+k·C_M+L-(x,y；λσ_c) (5)

其中，σ_c和λσ_c表示双拮抗细胞中心和周边感受野的尺度，k为周边感受野的比重。同理可以计算双拮抗细胞响应D_SL(x,y；σ_c)。

明亮敏感型双拮抗细胞的响应表示为：

D_W(x,y)＝C_W+(x,y；σ_c)+k·C_W-(x,y；λσ_c) (6)

将双拮抗细胞的输出转换至与图像一致的LMS空间：

将LMS颜色空间的输出转换至RGB颜色空间：

其中，L、S、M分别表示图像在LMS空间中的L分量、S分量以及M分量；R、G、B分别表示图像在RGB空间中的R分量、G分量以及B分量。

步骤四：仿猛禽注意力机制的显著区域检测

自然界中，猛禽在自由观察自然场景时，对某个物体的显著值感知与其呈现出的特征及出现的位置有关。某个像素点处引起视觉注意的概率可以表示为似然函数：

其中，o表示出现在背景中的显著物体，P(x|o)代表目标显著区域的后验概率，c(z)表示背景像素，P(x|c(z),o)为条件概率，表示显著区域与背景间的关系，P(c(z)|o)为先验概率，表示显著区域出现的概率，Xc表示图像位置向量集合，m(x)为概率表达式符号，可反映图像显著度信息。

根据猛禽注意力机制模型，条件概率可由下式解得：

P(x|c(z),o)＝D(x-z) (10)

其中，D代表显著区域x与背景区域z之间的相对距离与相对角度关系。

其中，I为图像背景的响应强度，ω_σ为高斯函数，z为区域背景坐标，x*为显著物体坐标，σ为高斯函数方差。a为约束系数，由于P为概率，取值必位于0、1之间，设立a作为约束系数控制P取值。

步骤五：猛禽核团感受野模拟

为模拟猛禽脑视丘核团对轮廓的感知能力，采用高斯滤波核进行纹理信息获取。根据图像显著性原理，获得猛禽脑视丘核团动态感知模型：

其中H_i为目标图像的傅里叶变换，G_i为高斯滤波器的傅里叶变换，F_i为先验信息图像的傅里叶变换。

则根据上式根据猛禽脑视丘核团动态感知模型，有如下优化目标：

其中，⊙为矩阵按位相乘符号，i为图像序列中图像的索引号。

在步骤四中，需控制a值大小来满足0<P<1的约束，根据a值取值，将式(13)转化为以下求解：

其中，y为图像特征列向量，w和f分别为空间正则化矩阵和仿猛禽中脑竞争性选择机制的滤波器。α_k为权重系数。*为卷积操作符号，

为图像学习特征序列，

为D中的部分特征，T为集合D的特征序列个数，d为特征序号索引，μ为正则化系数。

式(14)的求解过程，主要通过下式进行迭代优化：

其中，η为学习率。对于共有n张图像的动态图像序列，通过迭代可解得动态信息显著度H_n，记为H(x)。

步骤六：颜色信息与动态目标信息融合

将步骤一到步骤四求得的颜色显著度概率m(x)与步骤五得到的动态信息显著度H(x)进行融合，得到最终的仿猛禽中脑竞争性选择机制的环境显著性检测方法处理结果。

S(x)＝max(m(x),H(x)) (16)

本发明一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，其优点及功效在于：可提高复杂环境中目标的检测效率，从而实现在多干扰场景下，目标的快速识别定位，能够应用于侦察与反打击场景。由于该算法多应用于机载相机，无人机在侦查过程中移动速度较快，该方法能够适应快速移动平台下的目标检测任务，具有较高鲁棒性。算法整体计算量小于主流深度学习方法，在减小计算量的情况下兼顾目标检测准确性。借鉴鹰眼生物机制，融合鹰类高空搜索环境中猎物目标的生物机理，实现高效显著目标定位。

附图说明

图1本发明方法流程框图

图2 P-R曲线图

图中标号及符号说明如下：

L——长波通路

M——中波通路

S——短波通路

U——亮度通路

G——核团模拟高斯滤波核

t——迭代次数

T——迭代次数上限

具体实施方式

下面通过具体的无人靶机小目标识别任务来验证本发明所提出方案的有效性。在本实例中，实验计算机配置为Intel Core i7-7700HQ处理器，2.80Ghz主频，8G内存，软件为MATLAB 2017a版本。

仿猛禽眼中脑回路返回抑制机制的无人靶机目标检测方法，其实现流程如图1所示，该实例的具体实践步骤如下：

步骤一：摄像头标定

需要对用作场景显著度检测的相机实物进行标定。基于线性模型的标定法、两步法、双平面标定法等均为常用的相机标定法。其中，张正友标定法最为经典，也是目前应用最广泛的标定法之一。它只需要相机对标定板在不同方向上采集的多张图像即可完成标定。在场景中设置标定板，利用场景中的相机模型拍摄标定板图像，完成矫正：即将实验用相机固定，移动标准标定板，在距离相机光心以及成像平面不同距离、相差不同角度的位置摆放标定板并拍照，之后将拍摄的图片统一计算，得到相机参数。

标定后相机内部参数矩阵为：

相机的畸变矩阵为：

[-0.4308125 0.1816358 0 0 0]

步骤二：统一图像光照强度，gamma校正

为了增强仿猛禽中脑竞争性选择机制的环境显著性检测方法的适应性和鲁棒性，首先对输入图像进行gamma校正，gamma取值0.45，经过校正后的图像能够避免图像曝光过度或光线过暗的问题。

步骤三：仿猛禽颜色机制的区域分割

根据猛禽的色觉机制构建视觉模型：L型通路主要吸收彩色图像中的红色信号，并对其他颜色的信号进行抑制；M通路、S通路则分别吸收彩色图像中的绿色和蓝色信号，并对其他颜色信号进行抑制，而U通路则吸收了图像中的亮度信号。根据公式(2)求出I_L、I_M、I_S和I_U。

分别构建黄色输入分量、蓝-黄(S-Y)拮抗模型和明亮敏感拮抗模型。计算I_LM、I_ML、I_YS、I_SY、I_W+以及I_W-的值。之后，根据式(4)计算感受野但拮抗细胞响应C_M+L-(x,y；σ_c)、C_S+L-(x,y；σ_c)、C_L+S-(x,y；σ_c)，再根据式(5)计算双拮抗细胞的响应D_LM(x,y；σ_c)、D_SL(x,y；σ_c)。最后根据公式(7)和(8)将拮抗响应转换为RGB图像。

步骤四：仿猛禽注意力机制的显著区域检测

自然界中，猛禽在自由观察自然场景时，对某个物体的显著值感知与其呈现出的特征及出现的位置有关。由公式(9)得到某个像素点处引起视觉注意的概率。

步骤五：猛禽核团感受野模拟

为模拟猛禽脑视丘核团对轮廓的感知能力，采用高斯滤波核进行纹理信息获取。根据公式(12)求解动态显著图H_i，更新过程根据(13)和(14)进行迭代，直到最大迭代次数为止。完成迭代后得到输出图像H。

步骤六：颜色信息与动态目标信息融合

将步骤一到步骤四求得的颜色显著度图像m(x)与步骤五得到的动态信息显著度图像H(x)根据公式(16)进行融合，得到最终的仿猛禽中脑竞争性选择机制的环境显著性检测方法处理结果。

测试结果如图2所示，在公开图库上对本方法进行测试，对比算法包括：基于直方图对比方法(Histogram-based Contrast method，HC)、频率调谐显著性检测(Frequency-tuned salient region detection，FT)以及基于图的显著性区域检测(Graph-basedvisual saliency，GB)。图2给出了P-R对比结果。

Claims (3)

1.一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，采用单目摄像头作为视觉感知设备，其特征在于：步骤如下：

步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变

步骤二：统一图像光照强度，gamma校正

步骤三：仿猛禽颜色机制的区域分割

步骤四：仿猛禽注意力机制的显著区域检测

自然界中，猛禽在自由观察自然场景时，对某个物体的显著值感知与其呈现出的特征及出现的位置有关；某个像素点处引起视觉注意的概率可以表示为似然函数：

其中，o表示出现在背景中的显著物体，P(x|o)代表目标显著区域的后验概率，c(z)表示背景像素，P(x|c(z),o)为条件概率，表示显著区域与背景间的关系，P(c(z)|o)为先验概率，表示显著区域出现的概率，X^c表示图像位置向量集合，m(x)为概率表达式符号，可反映图像显著度信息；

根据猛禽注意力机制模型，条件概率可由下式解得：

P(x|c(z),o)＝D(x-z) (2)

其中，D代表显著区域x与背景区域z之间的相对距离与相对角度关系；

其中，I为图像背景的响应强度，ω_σ为高斯函数，z为区域背景坐标，x*为显著物体坐标，σ为高斯函数方差；a为约束系数，由于P为概率，取值必位于0、1之间，设立a作为约束系数控制P取值；

步骤五：猛禽核团感受野模拟

步骤六：颜色信息与动态目标信息融合

将步骤一到步骤四求得的颜色显著度概率与步骤五得到的动态信息显著度H进行融合，得到最终的仿猛禽中脑竞争性选择机制的环境显著性检测方法处理结果；

S(x)＝max(m(x),H(x)) (4)。

2.根据权利要求1所述的一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，其特征在于：步骤五中包括：为模拟猛禽脑视丘核团对轮廓的感知能力，采用高斯滤波核进行纹理信息获取；根据图像显著性原理，获得猛禽脑视丘核团动态感知模型：

其中H_i为目标图像的傅里叶变换，G_i为高斯滤波器的傅里叶变换，F_i为先验信息图像的傅里叶变换。

3.根据权利要求2所述的一种仿猛禽中脑竞争性选择机制的环境显著性检测方法，其特征在于：步骤五进一步包括：

根据猛禽脑视丘核团动态感知模型，进行如下优化目标：

其中，⊙为矩阵按位相乘符号，i为图像序列中图像的索引号；

在步骤四中，需控制a值大小来满足0<P<1的约束，根据a值取值，将式(13)转化为以下求解：

其中，y为图像特征列向量，w和f分别为空间正则化矩阵和仿猛禽中脑竞争性选择机制的滤波器；α_k为权重系数；*为卷积操作符号，

为图像学习特征序列，

为D中的部分特征，T为集合D的特征序列个数，d为特征序号索引，μ为正则化系数；

式(14)的求解过程，主要通过下式进行迭代优化：

其中，η为学习率；对于共有n张图像的动态图像序列，通过迭代可解得动态信息显著度H_n，记为H(x)。

Images