CN112215902A - 仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法 - Google Patents

Abstract

本发明公开一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变；步骤二：仿猛禽颜色恒常的光照处理，恢复图像正常光照下的色彩信息；步骤三：仿鹰中脑开‑关相应机制图像预处理；步骤四：基于鹰视敏度函数的显著区域提取；步骤五：基于鹰中脑返回抑制机制的目标输出。本发明的优点在于：一、借鉴鹰眼生物图像处理机制，提取鹰中脑回路返回抑制目标检测框架，应用于无人靶机小目标检测；二、本方法能适应各类环境中的靶机小目标检测问题，去除光照、对比度等外部因素影响，增加算法适应性；三、本发明方法框架简洁，节省了目标检测计算量，大幅减小机载计算载荷要求。

Description

仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法

技术领域

本发明是一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，属于计算机视觉领域。

背景技术

靶机是一种用于模拟空中机动目标的军用飞行器，在对空武器的研制、检验及部队的战训等方面具有非常重要的作用。随着材料、电子、传感器和电池的发展，无人靶机技术也在不断的发展。靶机技术能够为包括无人侦察机、无人战斗机、无人水下航行器、无人水面艇、无人智能化坦克和装甲车、军用机器人等多种类型设备提供先进经验，集中了微电子、光电子、纳米、微机电、计算机、通信、新材料、新动力以及航空航天等高新技术的许多尖端成果。多年来，世界各国将研究聚焦在靶机的识别技术，该技术直接影响了作战飞机自身飞行性能、机载武器、航空电子设备、电子或红外干扰设备的发展。目前，战斗机广泛采用了雷达或红外隐身措施，普通侦查手段无法完全捕获战斗机信息，使对空武器系统打击这些目标更加困难。因此，为评估对空武器系统对于空中目标的打击效果，开展专项试验，需要具有能够反应目标运动与光电特性的空中机动靶目标。由此可见，靶机在对空武器的研制、生产和检验过程中具有极其重要的作用。一个国家的靶机目标检测水平也间接反映了其对空武器系统的综合性能，靶机的目标检测从根本上决定了对空武器装备的最终作战效能。

常用的靶机目标检测方法有惯性测量技术、卫星测量技术、雷达测量技术等。在现代战场对于机动单位高度智能化的要求下，飞行器需要具有极高的自主性，这依赖于精准的外部感知功能。光学探测手段中的主动目标检测是主流方案之一，借助目标检测可以获得较为完整的环境信息，同时拥有较广的探测区域，拥有捕获移动小目标的能力。鹰隼类动物生活在复杂多变的环境内，生存与捕食都面临极大的挑战。环境中的各种不确定因素会导致鹰视网膜接收到的图像有较大的差异，包含图像的亮度、对比度以及图像光谱分析等等。研究表明，鹰类具有极高的视觉敏感度，即具有从远处分辨小目标的能力。鹰善于从远距离锁定猎物，能够从嘈杂多变的背景下将小目标猎物分辨出来，并对小目标持续跟踪。由于鹰的捕食场景不断变化，不论是天空、丛林、山地或是湖泊，在不同的气象条件下，鹰眼对小目标识别具有极强的适应性。这样卓越的小目标检测能力不仅源于鹰眼构造，更重要的是鹰中脑网络对视网膜图像信息的处理。返回抑制存在于视顶盖-峡核之间的反馈回路中，具有极强的无关干扰信息抑制功能。故将鹰中脑返回抑制机制应用于无人靶机的目标检测，极大提高目标搜索效率。

小目标图像处理过程包含图像校正、图像预处理、目标检测等，目前图像校正与图像预处理技术较为成熟，目标检测过程直接影响无人靶机的探测效果，也是目标检测技术的关键部分。当前属于研究热门的深度学习方法也有小目标检测方面的应用，但由于深度学习方法普遍对于算力要求较高，空中平台无法满足计算载荷的需求。深度学习方法计算量大，对硬件的需求较高，且模型设计过程繁琐，部分技术缺乏理论支撑，对于参数调整有一定依赖性。且深度学习方法对于噪声较为敏感，容易受干扰影响而忽略目标信息。仿鹰眼中脑网络返回抑制机制的小目标检测算法稳定性高，抗干扰能力强，能够从较大的场景中迅速锁定移动小目标位置并持续跟踪。鹰具有生物中最优越的视觉系统，本发明借鉴鹰中脑回路的返回抑制机制，归纳模型应用于无人靶机目标的提取步骤。

发明内容

本发明目的是提供一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，旨在提高无人靶机目标探测的快速性与准确性，从而实现多场景下的无人靶机小目标识别，为后续导航制导攻击目标提供基础。

本发明是一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，采用单目摄像头作为视觉感知设备，该方法的框架如图1所示，具体实现步骤如下：

步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变

需要对实验中的相机模型进行标定。基于线性模型的标定法、两步法、双平面标定法等均为常用的相机标定法。其中，张正友标定法最为经典，也是目前应用最广泛的标定法之一。它只需要相机对标定板在不同方向上采集的多张图像即可完成标定。在VR场景中设置标定板，利用VR场景中的相机模型拍摄标定板图像，完成矫正。

步骤二：仿猛禽颜色恒常的光照处理，恢复图像在正常光照下的色彩信息

根据猛禽色觉的拮抗机制，将输入的RGB图像转换至LMS颜色空间，并分别构建黄色输入分量、蓝-黄(S-Y)拮抗模型和明亮敏感拮抗模型。

其中，I_LM表示L兴奋M抑制的L-M拮抗，I_ML表示M兴奋，L抑制的L-M拮抗；I_YS表示Y兴奋，S抑制的Y-S拮抗，I_SY表示S兴奋，Y抑制的Y-S拮抗；I_W+表示明亮兴奋的拮抗，I_W-表示明亮抑制的拮抗。

以L兴奋、M抑制的L-M单拮抗细胞为例，感受野细胞的响应可近似为：

C_L+M-(x,y；σ_c)＝I_LM(x,y)*G(x,y；σ_c) (2)

其中，C_L+M-(x,y；σ_c)表示在图像坐标(x,y)处以σ_c为感受野大小的细胞响应；G(x,y；σ_c)为二维各向同性高斯滤波核，σ为高斯滤波核的标准差；*表示卷积操作。同理可以计算单拮抗细胞响应C_M+L-(x,y；σ_c)、C_S+L-(x,y；σ_c)、C_L+S-(x,y；σ_c)。

根据双拮抗细胞响应的结构，用两个不同感受野大小的拮抗细胞响应构造双拮抗细胞的响应，以L-M双拮抗细胞为例，可表示为：

D_LM(x,y；σ_c)＝C_L+M-(x,y；σ_c)+k·C_M+L-(x,y；λσ_c) (3)

其中，σ_c和λσ_c表示双拮抗细胞中心和周边感受野的尺度，k为周边感受野的比重。同理可以计算双拮抗细胞响应D_SL(x,y；σ_c)。

明亮敏感型双拮抗细胞的响应表示为：

D_W(x,y)＝C_W+(x,y；σ_c)+k·C_W-(x,y；λσ_c) (4)

将双拮抗细胞的输出转换至与图像一致的LMS空间：

将LMS颜色空间的输出转换至RGB颜色空间：

由于神经元对刺激产生响应，响应方式大多是非负的，需要先对LSM空间中的双拮抗细胞为负值的响应置零。假设图像中的场景为单一光源，并且整幅图像的照射光在空间上分布均匀，颜色一致。基于这种假设，光照数据

可以利用池化操作得到：

其中P()表示对全图双拮抗细胞响应通道之间的池化操作，采用max pooling方式进行池化操作。

步骤三：仿鹰中脑开-关相应机制图像预处理

若无人靶机处于低能见度环境下，图像中目标检测标志物清晰度将受到严重影响，利用仿鹰中脑开-关相应机制图像预处理还原无气候环境影响下的清晰图像。包括：

S31、圆形区域对比度计算：

对于步骤二处理后图像，首先定义圆形区域：

根据圆形区域定义局部对比度：

S32、仿鹰中脑开-关相应机制对比度增强；

根据Retinex增强方法进行改进，利用该模型仿真开-关相应细胞生物模型，首先将图像分解：

C_k(x,y)＝L(x,y)·R(x,y) (10)

其中C_k(x,y)代表(9)式对比度处理结果；L(x,y)代表环境光的照射分量；R(x,y)表示携带图像细节信息的目标物体的反射分量。对(10)式两侧同时取对数操作：

Log(R(x,y))＝Log(C_k(x,y))-Log(I(x,y)*G(x,y)) (11)

其中*代表卷积，G(x,y)代表高斯核。

进行多尺度综合：

上式中R_MSR(x,y)为预处理后图像，将处理结果输入到步骤四中。

步骤四：基于鹰视敏度函数的显著区域提取，提取出图像中的显著区域

鹰眼部的对比敏感度函数程倒U形形状，利于图像中高频和低频无效信息的去除，从而提取出有用信息。映射到三维空间，鹰眼部的对比敏感度函数呈现同心圆式增强与抑制区域。鹰的感受野分为中央区与周边区，中央区对频率的衰减响应较为缓慢，而周边区则对频率衰减较快。从生物机制来看，图像低频部分受到中央区与周边区的共同作用，周边区表现出抑制功能；在图像的高频部分，周边区对频率的衰减较快，与中央区作用叠加。根据对比敏感度函数的生物实验数据，利用高斯差分模型拟合得到仿鹰眼对比敏感度函数模型：

CSF(x,y)＝K_cexp(-απ(x²+y²))-K_sexp(-βπ(x²+y²)) (13)

其中，exp()为自然指数符号，(x,y)为图像中任意一点，CSF(x,y)为该点经过对比敏感度处理后的结果。

则经过鹰视敏度函数处理的图像为：

c_out＝R_MSR*CSF (14)

步骤五：基于鹰中脑返回抑制机制的目标输出，具体包括：

S51、运动特征计算

返回抑制(inhibition of return)的作用是在短时间内抑制曾经出现过刺激位置的再次刺激作用，而对长时间的刺激无影响。生物研究结果表明，在短时间内(小于100毫秒)，感受野如果出现之前没有提示过的刺激，神经对目标的反应通常会增强；反之，如果出现提示过的刺激，感受野中神经对目标的反应会被抑制。图2为IOR机制示意图，图中in输入与out输入表示刺激作用，视顶盖细胞与峡核大细胞部细胞2之间箭头表示正向刺激增益，峡核大细胞部细胞1与峡核大细胞部细胞2之间箭头表示除法抑制作用，峡核大细胞部细胞1与视顶盖之间箭头表示减法抑制作用，这两种抑制作用共同构成了返回抑制。

首先计算输入刺激：

其中，D为刺激量，

为k时刻步骤四的输出图像，T为刺激阈值。

计算运动特征刺激：

其中，

为取反操作，

为异或运算。

取M_k与M_k-1中的图像块p和q，计算距离响应：

上式中，D_is为距离响应，c为(i,j)处感光细胞距离响应值，N₁、N₂分别为像素块p和q的像素个数，v_p、v_q分别为像素块p和q的特征向量。

S52、目标显著图像计算

根据IOR机制，将感光细胞距离响应c_i,j反向输入中层细胞，达到背景抑制效果，计算最终的显著图像：

其中，T^IOR为目标显著图像，N为像素块个数，m、n分别为中脑细胞响应偏移量。

本发明的仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，优点在于：一、借鉴鹰眼生物图像处理机制，提取鹰中脑回路返回抑制目标检测框架，将该机制应用于无人靶机小目标检测；二、仿鹰开-关相应机制的图像预处理方法能够令本发明适应各类环境中的靶机小目标检测问题，去除光照、对比度等外部因素的影响，增加算法的适应性；三、仿鹰中脑回路返回抑制目标检测方法框架简洁，节省了目标检测的计算量，大幅减小机载计算载荷的要求。

附图说明

图1本发明方法流程框图

图2 IOR机制神经结构示意图

图3 P-R曲线图

图中标号及符号说明如下：

I——输入图像

Ck——对比度图像

Dk——输入刺激图像

M’k——运动特征中间量

Mk——运动特征刺激

T——刺激响应阈值

具体实施方式

下面通过具体的无人靶机小目标识别任务来验证本发明所提出方案的有效性。在本实例中，实验计算机配置为Intel Core i7-7700HQ处理器，2.80Ghz主频，8G内存，软件为MATLAB 2017a版本。

仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其实现流程如图1所示，该实例的具体实践步骤如下：

步骤一：摄像头标定

需要对Matlab Simulink 3D Animation中的相机模型进行标定。基于线性模型的标定法、两步法、双平面标定法等均为常用的相机标定法。其中，张正友标定法最为经典，也是目前应用最广泛的标定法之一。它只需要相机对标定板在不同方向上采集的多张图像即可完成标定。在场景中设置标定板，利用场景中的相机模型拍摄标定板图像，完成矫正。

标定后相机内部参数矩阵为：

相机的畸变矩阵为：

[-0.4117 0.2063 0 0 0]

步骤二：仿猛禽颜色恒常的光照处理

根据猛禽色觉的拮抗机制，将输入的RGB图像转换至LMS颜色空间，并分别构建黄色输入分量、蓝-黄(S-Y)拮抗模型和明亮敏感拮抗模型。计算I_LM、I_ML、I_YS、I_SY、I_W+以及I_W-的值。之后，根据式(2)计算感受野但拮抗细胞响应C_M+L-(x,y；σ_c)、C_S+L-(x,y；σ_c)、C_L+S-(x,y；σ_c)，再根据式(3)计算双拮抗细胞的响应D_LM(x,y；σ_c)、D_SL(x,y；σ_c)。再将得到的响应值根据式(6)转换到RGB空间，根据式(7)进行maxpooling池化操作，得到

进而得到颜色还原图像。

步骤三：仿鹰中脑开-关相应机制图像预处理

利用仿鹰中脑开-关相应机制图像预处理还原无气候环境影响下的清晰图像。对于步骤二处理后图像，根据式(8)定义的圆形区域

计算局部对比度图像C_k，利用式(10)对图像进行分解，之后利用式(12)进行多尺度综合。

步骤四：基于鹰视敏度函数的显著区域提取

鹰眼部的对比敏感度函数程倒U形形状，利于图像中高频和低频无效信息的去除，从而提取出有用信息。映射到三维空间，鹰眼部的对比敏感度函数呈现同心圆式增强与抑制区域。鹰的感受野分为中央区与周边区，中央区对频率的衰减响应较为缓慢，而周边区则对频率衰减较快。从生物机制来看，图像低频部分受到中央区与周边区的共同作用，周边区表现出抑制功能；在图像的高频部分，周边区对频率的衰减较快，与中央区作用叠加。根据对比敏感度函数的生物实验数据，利用高斯差分模型拟合得到仿鹰眼对比敏感度函数模型，其中，Kc＝17，Ks＝30，α＝0.01，β＝0.02。利用式(14)式将CSF函数与步骤三中得到的结果进行卷积处理。

步骤五：基于鹰中脑返回抑制机制的目标输出

通过步骤一至步骤四的处理，将得到的图像利用式(16)计算输入刺激D_k，根据式(17)(18)计算运动特征刺激M_k，之后取图像块，计算前后帧图像块的距离响应C_i,j，再根据式(20)计算最终的目标检测图像T^IOR。

测试结果如图3所示，在公开图库上对本方法进行测试，对比算法包括：基于贝叶斯概率的显著图计算方法(Saliency Using Natural Statistics，SUN)、图正则显著性检测(Graph-Regularized Saliency Detection，GR)以及频率调谐显著性区域检测(Frequency-tuned Salient Region Detection，FT)。图3给出了P-R对比结果。

Claims (6)

1.一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：该方法具体实现步骤如下：

步骤一：摄像头标定，获取摄像头内外参数，矫正图像畸变；

步骤二：仿猛禽颜色恒常的光照处理，恢复图像在正常光照下的色彩信息；

步骤三：仿鹰中脑开-关相应机制图像预处理，具体包括：

S31、圆形区域对比度计算；

S32、仿鹰中脑开-关相应机制对比度增强；

步骤四：基于鹰视敏度函数的显著区域提取，提取出图像中的显著区域；

步骤五：基于鹰中脑返回抑制机制的目标输出，具体包括：

S51、运动特征计算

S52、目标显著图像计算。

2.根据权利要求1所述的一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：所述步骤二的过程如下：

根据猛禽色觉的拮抗机制，将输入的RGB图像转换至LMS颜色空间，并分别构建黄色输入分量、蓝-黄S-Y拮抗模型和明亮敏感拮抗模型；

其中，I_LM表示L兴奋M抑制的L-M拮抗，I_ML表示M兴奋，L抑制的L-M拮抗；I_YS表示Y兴奋，S抑制的Y-S拮抗，I_SY表示S兴奋，Y抑制的Y-S拮抗；I_W+表示明亮兴奋的拮抗，I_W-表示明亮抑制的拮抗；

L兴奋、M抑制的L-M单拮抗细胞，其感受野细胞的响应为：

C_L+M-(x,y；σ_c)＝I_LM(x,y)*G(x,y；σ_c) (2)

其中，C_L+M-(x,y；σ_c)表示在图像坐标(x,y)处以σ_c为感受野大小的细胞响应；G(x,y；σ_c)为二维各向同性高斯滤波核，σ为高斯滤波核的标准差；*表示卷积操作；同理计算单拮抗细胞响应C_M+L-(x,y；σ_c)、C_S+L-(x,y；σ_c)、C_L+S-(x,y；σ_c)；

根据双拮抗细胞响应的结构，用两个不同感受野大小的拮抗细胞响应构造双拮抗细胞的响应，L-M双拮抗细胞可表示为：

D_LM(x,y；σ_c)＝C_L+M-(x,y；σ_c)+k·C_M+L-(x,y；λσ_c) (3)

其中，σ_c和λσ_c表示双拮抗细胞中心和周边感受野的尺度，k为周边感受野的比重；同理计算双拮抗细胞响应D_SL(x,y；σ_c)；

明亮敏感型双拮抗细胞的响应表示为：

D_W(x,y)＝C_W+(x,y；σ_c)+k·C_W-(x,y；λσ_c) (4)

将双拮抗细胞的输出转换至与图像一致的LMS空间：

将LMS颜色空间的输出转换至RGB颜色空间：

由于神经元对刺激产生响应，需要先对LSM空间中的双拮抗细胞为负值的响应置零；假设图像中的场景为单一光源，并且整幅图像的照射光在空间上分布均匀，颜色一致；基于这种假设，光照数据E＝(e_L,e_M,e_s)可以利用池化操作得到：

其中P()表示对全图双拮抗细胞响应通道之间的池化操作，采用max pooling方式进行池化操作。

3.根据权利要求1所述的一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：所述步骤S31、圆形区域对比度计算，具体如下：

对于步骤二处理后图像，首先定义圆形区域：

Q_(x0,y0,r)＝{(x,y)∣(x-x₀)²+(y-y₀)²≤r²} (8)

根据圆形区域定义局部对比度：

4.根据权利要求1所述的一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：所述步骤S32、仿鹰中脑开-关相应机制对比度增强，具体如下；

根据Retinex增强方法，利用仿真开-关相应细胞生物模型，首先将图像分解：

C_k(x,y)＝L(x,y)R(x,y) (10)

其中C_k(x,y)代表(9)式对比度处理结果；L(x,y)代表环境光的照射分量；R(x,y)表示携带图像细节信息的目标物体的反射分量；对(10)式两侧同时取对数操作：

Log(R(x,y))＝Log(C_k(x,y))-Log(I(x,y)*G(x,y)) (11)

其中*代表卷积，G(x,y)代表高斯核；

进行多尺度综合：

上式中R_MSR(x,y)为预处理后图像，将处理结果输入到步骤四中。

5.根据权利要求1所述的一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：

所述步骤S51、运动特征计算，具体如下：

首先计算输入刺激：

其中，D为刺激量，

为k时刻步骤四的输出图像，T为刺激阈值；

计算运动特征刺激：

其中，

为取反操作，

为异或运算；

取M_k与M_k-1中的图像块p和q，计算距离响应：

上式中，D_is为距离响应，c为(i,j)处感光细胞距离响应值，N₁、N₂分别为像素块p和q的像素个数，v_p、v_q分别为像素块p和q的特征向量。

6.根据权利要求1所述的一种仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法，其特征在于：所述步骤S52、目标显著图像计算，具体如下：

根据IOR机制，将感光细胞距离响应c_i,j反向输入中层细胞，达到背景抑制效果，计算最终的显著图像：

其中，T^IOR为目标显著图像，N为像素块个数，m、n分别为中脑细胞响应偏移量。

Images