CN113610109A

CN113610109A - 一种基于放大镜观测效应的可见光伪装目标识别方法

Info

Publication number: CN113610109A
Application number: CN202110764075.7A
Authority: CN
Inventors: 蔡伟; 蒋昕昊; 杨志勇; 杨必武; 梁有为; 赵晓枫; 徐佩伟; 姜波
Original assignee: Rocket Force University of Engineering of PLA
Current assignee: Rocket Force University of Engineering of PLA
Priority date: 2021-07-06
Filing date: 2021-07-06
Publication date: 2021-11-05
Anticipated expiration: 2041-07-06
Also published as: CN113610109B

Abstract

本发明涉及一种基于放大镜观测效应的可见光伪装目标识别方法。根据使用放大镜观测图像中伪装目标的方法原理进行网络设计，构建出MAGNet方法，用模拟放大镜观测效应设计放大聚焦模块，包括感受野放大模块和关键点聚焦模块。同时，为解决训练过拟合现象，依据场景多样、气象条件多样、类别多样、目标尺度多样、目标状态和工况多样、目标伪装效果多样的数据集构建原则，构建出可见光伪装目标数据集。与现有技术相比，本发明的有益效果是：方法结构简单，可以为伪装目标识别提供强大的数据支撑，可以为所设计的伪装目标识别方法的训练、验证及测试环节提供输入数据，识别伪装目标时，四个常用指标上均获得了最佳效果。

Description

一种基于放大镜观测效应的可见光伪装目标识别方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于放大镜观测效应的可见光伪装目标识别方法。

背景技术

在自然界，部分生物为了提升生存能力，可以对自身外形特征进行伪装，或者根据优胜劣汰的原则保留与栖息环境相似的外形特征，从而避免被攻击者捕食以及更好地埋伏猎物。前者如变色龙，身体表皮颜色可以随外界环境做出变化，后者如白蛾与黑蛾的适者生存实例。

近年来，随着科学技术的进步，可见光伪装技术在高科技战争中得到了广泛应用，如不断推陈出新的迷彩服和伪装网，并且还根据战场环境的差异针对性设计出了如荒漠迷彩、丛林迷彩等具有高伪装性能的伪装装备。狙击手可以利用伪装技术埋伏敌方高级将领，特种车辆、装甲车可以利用伪装技术骗过敌方可见光侦察。

目前，相关学者对于伪装目标识别开展了一系列研究，并且取得了一定的进展。西北工业大学的张秀伟等申请了专利《基于块对角与低秩表示的高光谱伪装目标检测方法》，南京理工大学的顾国华等申请了专利《基于K-means聚类和偏振信息提取的伪装目标识别方法》，上述两个专利通过使用偏振、高光谱等其他技术识别伪装目标，虽一定程度上降低了可见光识别目标的局限性影响，但可见光波段的伪装目标识别难题仍亟待解决。

在可见光波段方面：2020年，济南大学的周静等在济南大学学报(自然科学版)上发表论文《基于光流场分割的伪装色运动目标检测》，提出了基于光流场分割的运动目标检测方法，但该方法对单帧图像不适用。阿联酋人工智能研究所(IIAI)的Deng-Ping Fan提出了比较完备通用伪装目标数据集，并在CVPR上发表论文《Camouflaged ObjectDetection》，但该数据集未收录迷彩伪装目标数据集。2021年，曹铁勇等申请了专利《一种基于改进YOLO方法的伪装目标检测方法》，通过使用改进的YOLO方法检测伪装目标，但该方法仅可框出目标大概位置，无法实现目标精细分割。祝世平等申请了专利《一种基于边缘协同监督与多级约束的伪装物体检测》，但该技术网络结构较为复杂。梅海洋等人模拟动物捕食过程提出了基于分心挖掘的伪装物体分割，在CVPR上发表了《Camouflaged ObjectSegmentation with Distraction Mining》，并申请了专利《基于信息挖掘的伪装目标图像分割方法》，但该方法由粗到细的定位聚焦比较耗时。

综上所述，尽管在实际应用中，可以通过多波段融合检测识别伪装目标，但可见光波段的伪装目标精确识别仍是需要解决的技术问题。因此，必须提出一种可提高可见光波段伪装目标识别准确率的方法。

发明内容

为了克服现有伪装目标识别技术的不足，实现可见光波段的伪装目标精准识别，本发明提供了一种基于放大镜观测效应的可见光伪装目标识别方法。

现将本发明的发明构思和具体步骤叙述如下：

本发明的基本构思是：为识别出图像中与背景有高相似度的伪装目标，根据使用放大镜观测图像中伪装目标的方法原理进行网络设计，构建出MAGNet方法，用模拟放大镜观测效应设计放大聚焦模块，包括感受野放大模块和关键点聚焦模块。同时，为解决训练过拟合现象，依据场景多样、气象条件多样、类别多样、目标尺度多样、目标状态和工况多样、目标伪装效果多样的数据集构建原则，构建出可见光伪装目标数据集。

本发明公开的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于，包括以下步骤：

步骤1：基于放大镜观测效应构建MAGNet(Magnifier Network)方法

由特征提取模块(Featrue Extract Module，FEM)、放大聚焦模块(Magnify andFocus Module，MFM)、多尺度特征图融合模块(multi-scale Feature Fusion Module，FFM)三部分组成，待检测的原始图片F_original依次通过三种模块进行特征提取操作(OP_FE)、放大聚焦操作(OP_MF)和特征融合操作(OP_FF)，最终获得高精度的伪装目标识别图F_result；

F_result＝OP_FF(OP_MF(OP_FE(F_original))) (1)

步骤1.1：特征提取模块FEM用来提取出图片中的各尺度特征信息，针对伪装目标的多尺度现象，使用较为成熟的Res2Net-50特征提取网络，将输入网络的待识别图像F_original通过Res2Net-50特征提取网络分阶段检测出低层特征和高层特征，特征层由低到高分别表示为F₁∶F₅，F₁是F_original经过一组卷积CONV、正则化BN、激活Relu、池化Pool操作后得到的特征图，F₂∶F₅是前一层的特征图经过相对应的Res2Net特征提取模块Reslayers处理后得到的特征层，本模块最终将后三层特征分别输入至相应的放大聚焦模块；

OP_FE(F_original)＝{F₃；F₄；F₅}＝{Reslayers(Reslayers(F₁))；Reslayers(F₃)；Reslayers(F₄)} (2)

F₁＝Pool(Relu(BN(CONV(F_original))) (3)

步骤1.2：放大聚焦模块MFM用来模拟放大镜观测效应，由感受野放大模块RFAM(Receptive Field Amplification Module,)和关键点聚焦模块KPFM(Key Point FocusModule,)两部分组成，分别用来执行增大观测感受野操作OP_RFA和聚焦定位伪装目标关键点操作OP_KPF；最终生成新特征图

其中，a＝3,4，5。

OP_MF(OP_FE(F_original))＝OP_MF{F₃；F₄；F₅}

＝{OP_KPF(OP_RFA(F₃))；OP_KPF(OP_RFA(F₄))；OP_KPF(OP_RFA(F₅))}

＝{F₃ ^new；F₄ ^new；F₅ ^new} (4)

步骤1.2.1：感受野放大模块RFAM用来执行增大观测感受野操作OP_RFA，通过将特征提取模块FEM提取到的后三层特征图F_a，a＝3,4,5，分别等分成四个分支B_i，i＝1,2,3,4，各个分支分别使用不同膨胀因子的空洞卷积DConv_i，以达到多尺度放大感受野的目的，而后将四个经历过不同尺度感受野放大的分支特征图FB_i拼接，再与原始特征图进行长连接融合操作，获得最终的感受野放大后的特征图F_a ^enlarge：

步骤1.2.2：关键点聚焦模块KPFM用来执行聚焦定位伪装目标关键点操作OP_KPF，分为两个步骤：关键点信息嵌入和关键点注意力生成。关键点信息嵌入是利用两个一维池化操作Pool_w、Pool_h，分别将图像中关键点横向和纵向的输入特征聚合为一对关键点方向感知特征图

而关键点注意力生成则首先对级联后的方向感知特征图进行卷积操作，而后切分为两个单独的张量F_g ^w、

经卷积编码为两个保存位置信息的注意力图

最后两个注意力图与原特征图

相乘生成包含关键点方向和位置信息的新特征图

其中，a＝3,4,5；

其中，

步骤1.3：多尺度特征图融合模块FFM用来对放大聚焦模块输出的各尺度特征图F₃ ^new,F₄ ^new,F₅ ^new进行融合，主要采取上采样OP_UP与卷积OP_CONV相互交替使用的方式，特征图间的融合方式采用哈达玛乘积(*)，可以做到多尺度信息的有效利用，最终生成高精度高辨识度的预测分割图F_final，即F_result：

F_result＝OP_FF(OP_MF(OP_FE(F_original)))＝OP_FF{F₃ ^new；F₄ ^new；F₅ ^new}＝F_final (10)

F_final＝OP_CONV(OP_CONV(F₃ ^ff)) (11)

F₃ ^ff＝OP_CONV(OP_UP(F₄ ^ff))*OP_CONV(OP_UP(F₃ ^new)) (12)

F₄ ^ff＝OP_CONV(OP_UP(F₅ ^ff))*OP_CONV(OP_UP(F₄ ^new))*F₃ ^new (13)

F₅ ^ff＝OP_CONV(OP_UP(F₅ ^new))*F₄ ^new (14)

步骤2：构建可见光伪装目标数据集用于方法训练、验证及测试。伪装目标数据集由普通伪装目标数据集和典型迷彩伪装目标数据集两部分组成。

步骤2.1：考虑到仅使用单一少量迷彩伪装目标数据进行训练，容易产生过拟合现象，会使得方法仅在训练数据上表现较好，而对于其他场景则检测能力较弱，所以本发明的数据集纳入了普通伪装目标数据集。普通伪装目标数据集由网络公开的COD10K数据集和CAMO数据集组成，用来提升迷彩伪装目标识别的泛化能力，对两组数据集进行筛选，共选取6316张有伪装目标的图片组成数据集；

步骤2.2：典型迷彩伪装目标数据集为自建数据集。为提高不同场景识别的泛化能力，增强识别率，数据集的构建应满足以下原则：场景多样、气象条件多样、目标类别多样、目标尺度多样、目标状态和工况多样、目标伪装效果多样；

步骤2.2.1：通过可见光摄像机实地采集、网络搜集方法获取典型迷彩伪装目标数据，而后对获取到的图像数据通过图像裁剪、图像增强手段进行预处理，最后依据上述数据集构建原则挑选出合格图片进行人工标注；

步骤2.2.2：依据数据集，场景涵盖荒漠背景、丛林背景、雪地背景、草地背景战争背景；气象条件为无恶劣天气的白天，也涵盖雨雪烟霾极端天气情况；

步骤2.2.3：典型迷彩伪装目标类别包含迷彩伪装特种车辆、装甲车、特种车辆、作战人员、地物建筑；目标尺度相较于全图尺寸比较多样，且尺度大小分布比较均衡；目标状态和工况多样，既有静止目标，又有运动目标；目标的伪装效果也存在差异性。

步骤3：将可见光伪装目标数据集输入MAGNet方法进行权重训练及方法验证。

步骤3.1：所述方法权重训练过程分为数据集划分、网络超参数的选取与设置、数据集输入MAGNet方法进行权重更新迭代三部分。数据集划分根据数据集规模确定采用9∶1∶1的比例划分为训练集、验证集和测试集，分别在权重训练、方法验证及方法测试三个阶段使用；网络超参数的选取与设置应结合硬件平台与方法复杂度等因素具体综合考量；数据集输入MAGNet方法进行权重更新迭代时应注意保存最优结果时的权重文件，以作为最终使用的权重文件。

步骤3.2：所述方法验证过程评价指标选取常用的MAE、S-Measure(S_m)、自适应E-Measure(adpE_m)和自适应F-Measure(adpF_m)四种指标，通过计算预测分割图F_result与分割真值图GT之间四种评价指标的数值，而后与其他典型或最新方法进行对比，进行方法的优化调整与效果验证。

与现有技术相比，本发明的有益效果是：

1、本发明将使用放大镜观测图像中伪装目标的思想方法引入可见光伪装目标识别，设计提出了一种基于放大镜观测效应的可见光伪装目标识别方法MAGNet方法，该方法结构简单，由特征提取模块、放大聚焦模块、多尺度特征图融合模块组成，最终生成高精度伪装目标预测图，可以有效解决可见光伪装目标识别难题。

2、本发明建立了完备的可见光迷彩伪装目标数据集，可以为迷彩伪装目标识别提供强大的数据支撑，可以为所设计的伪装目标识别方法的训练、验证及测试环节提供输入数据。

3、本发明的实验结果可以证明，提出的MAGNet方法由于具有放大聚焦效应，因此识别伪装目标时，四个常用指标上(MAE、adpE_m、adpF_m)均获得了最佳效果。

附图说明

图1：本发明MAGNet方法的网络流程图

图2：本发明使用放大镜观测图像中伪装目标的放大聚焦效应的对比效果图

图3：本发明MAGNet方法中感受野放大模块的结构图

图4：本发明所建立的伪装目标数据集部分典型图片

图5：不同方法识别特种车辆伪装目标的可视化效果

具体实施方式

下面结合附图对本发明作进一步实施具体说明。以下所描述的实施例仅用于说明本发明的技术方案，是本发明一部分实施例，而不是对本发明保护范围的限制。

本发明实施例公开了一种针对可见光图像的基于放大镜观测效应的特种车辆伪装目标识别方法，包括以下步骤：

步骤1：基于图2所示的放大镜观测效应构建MAGNet方法，方法结构图如图1所示；

方法主要由特征提取模块、放大聚焦模块、多尺度特征图融合模块组成；特征提取部分针对特种车辆迷彩伪装目标的多尺度现象使用Res2Net-50特征提取网络，将输入网络的待识别图像F_tank分阶段检测出低层特征和高层特征F₁∶F₅，而后将后三层特征分别输入相应的放大聚焦模块；放大聚焦模块用来模拟放大镜观测效应，用来执行增大观测感受野操作OP_RFA和聚焦定位伪装目标关键点操作OP_KPF，由感受野放大模块和关键点聚焦模块两部分组成，感受野放大模块结构如图3所示；多尺度特征图融合模块用来对通过放大聚焦模块的各尺度特征图进行融合，主要采取上采样与卷积相互交替的方式，通过特征图间的相乘融合，有效做到多尺度信息的有效利用，最终生成特种车辆伪装目标分割图F_result；

F_result＝OP_FF(OP_MF(OP_FE(F_tank))) (15)

步骤：2：构建特种车辆伪装目标数据集用于方法训练、验证及测试；

特种车辆伪装目标数据集由普通伪装目标数据集和典型特种车辆伪装目标数据集两部分组成；普通伪装目标数据集由网络公开的COD10K数据集和CAMO数据集组成，共6316张，用来提升特种车辆伪装目标识别的泛化能力；典型特种车辆伪装目标数据集为自建数据集，通过可见光摄像机实地采集、网络搜集典型特种车辆伪装目标数据，而后对获取到的图像数据进行预处理，最后依据数据集构建原则挑选出合格图片进行人工标注；最终选取1000张特种车辆伪装目标进行标注，形成典型特种车辆伪装目标数据集部分典型图片如图4所示；

步骤3：将特种车辆伪装目标数据集输入MAGNet方法进行权重训练及方法验证；所述网络权重训练过程分为数据集划分、网络超参数的选取与设置、数据集输入MAGNet方法进行权重更新迭代三部分；

实验训练测试阶段使用的硬件平台配置为：显卡为NVIDIA Quadro GV100，显存为32G，使用Pytorch深度学习开发框架。CPU为Inter Xeon Silver 4210，操作系统为win10操作系统；

数据集采用9∶1∶1的比例划分为训练集、验证集和测试集，分别在权重训练、方法验证及方法测试三个阶段使用。评价指标选取常用的MAE、S-Measure(S_m)、自适应E-Measure(adpE_m)和自适应F-Measure(adpF_m)；

本发明提出的MAGNet方法与其他方法在普通伪装目标数据集上的实验结果对比如表1所示，表1中的数据均为同一测试集测试结果。

表1各个方法在普通伪装目标数据集上的对比结果

方法	MAE	S<sub>m</sub>	adpE<sub>m</sub>	adpF<sub>m</sub>
					PSPNet	0.094	0.490	0.320	0.123
Unet++	0.067	0.678	0.763	0.551
					BASNet	0.097	0.663	0.732	0.487
F3Net	0.060	0.759	0.841	0.654
					SCRN	0.052	0.791	0.799	0.616
PraNet	0.045	0.799	0.866	0.688
					SINet	0.038	0.822	0.883	0.711
MAGNet	0.036	0.819	0.902	0.757

可以看出，本发明提出的MAGNet方法在MAE、adpE_m、adpF_m三项指标中优于对比方法，具有较好的泛化能力。

在特种车辆伪装目标数据集上的实验结果对比如表2所示，表2中对比实验选取了在普通伪装目标数据集中表现最好的SINet方法和PraNet方法，各项数据均为同一测试集测试结果。

表2各个方法在特种车辆伪装目标数据集上的对比结果

由表2可以看出MAGNet方法对特种车辆伪装目标识别有较强的针对性，四项指标均优于对比方法。

图5为不同方法识别普通伪装目标的可视化效果，可以看出本发明可以较好地排除干扰，精准定位伪装目标，清晰地识别出目标轮廓。

Claims

1.一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于，包括以下步骤：

步骤1：基于放大镜观测效应构建MAGNet方法

由特征提取模块FEM、放大聚焦模块MFM、多尺度特征图融合模块FFM三部分组成，待检测的原始图片F_original依次通过三种模块进行特征提取操作(OP_FE)、放大聚焦操作(OP_MF)和特征融合操作(OP_FF)，最终获得高精度的伪装目标识别图F_result；

F_result＝OP_FF(OP_MF(OP_FE(F_original))) (1)

步骤2：构建可见光伪装目标数据集用于方法训练、验证及测试；伪装目标数据集由普通伪装目标数据集和典型迷彩伪装目标数据集两部分组成。

2.根据权利要求1所述的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于：步骤1中所述的“基于放大镜观测效应构建MAGNe方法”具体由下述步骤实现：

步骤1.1：特征提取模块FEM用来提取出图片中的各尺度特征信息，针对迷彩伪装目标的多尺度现象，使用较为成熟的Res2Net-50特征提取网络，将输入网络的待识别图像F_original通过Res2Net-50特征提取网络分阶段检测出低层特征和高层特征，特征层由低到高分别表示为F₁∶F₅，F₁是F_original经过一组卷积CONV、正则化BN、激活Relu、池化Pool操作后得到的特征图，F₂∶F₅是前一层的特征图经过相对应的Res2Net特征提取模块Reslayers处理后得到的特征层，本模块最终将后三层特征分别输入至相应的放大聚焦模块；

F₁＝Pool(Relu(BN(CONV(F_original))) (3)

步骤1.2：放大聚焦模块MFM用来模拟放大镜观测效应，由感受野放大模块RFAM(Receptive Field Amplification Module，)和关键点聚焦模块KPFM(Key Point FocusModule，)两部分组成，分别用来执行增大观测感受野操作OP_RFA和聚焦定位伪装目标关键点操作OP_KPF；最终生成新特征图

其中，a＝3，4，5；

步骤1.3：多尺度特征图融合模块FFM用来对放大聚焦模块输出的各尺度特征图F₃ ^new，F₄ ^new，F₅ ^new进行融合，主要采取上采样OP_UP与卷积OP_CONV相互交替使用的方式，特征图间的融合方式采用哈达玛乘积(*)，可以做到多尺度信息的有效利用，最终生成高精度高辨识度的预测分割图F_final，即F_result：

F_result＝OP_FF(OP_MF(OP_FE(F_original)))＝OP_FF{F₃ ^new；F₄ ^new；F₅ ^new}＝F_final (5)

F_final＝OP_CONV(OP_CONV(F₃ ^ff)) (6)

F₃ ^ff＝OP_CONV(OP_UP(F₄ ^ff))*OP_CONV(OP_UP(F₃ ^new)) (7)

F₄ ^ff＝OP_CONV(OP_UP(F₅ ^ff))*OP_CONV(OP_UP(F₄ ^new))*F₃ ^new (8)

F₅ ^ff＝OP_CONV(OP_UP(F₅ ^new))*F₄ ^new (9)。

3.根据权利要求2所述的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于：步骤1.2中所述的“放大聚焦模块MFM用来模拟放大镜观测效应”具体由下述步骤实现：

步骤1.2.1：感受野放大模块RFAM用来执行增大观测感受野操作OP_RFA，通过将特征提取模块FEM提取到的后三层特征图F_a，a＝3，4，5，分别等分成四个分支B_i，i＝1，2，3，4，各个分支分别使用不同膨胀因子的空洞卷积DConv_i，以达到多尺度放大感受野的目的，而后将四个经历过不同尺度感受野放大的分支特征图FB拼接，再与原始特征图进行长连接融合操作，获得最终的感受野放大后的特征图

而关键点注意力生成则首先对级联后的方向感知特征图进行卷积操作，而后切分为两个单独的张量

经卷积编码为两个保存位置信息的注意力图

最后两个注意力图与原特征图

相乘生成包含关键点方向和位置信息的新特征图

其中，a＝3，4，5；

其中，

4.根据权利要求1所述的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于：步骤2中所述的“构建可见光伪装目标数据集用于方法训练、验证及测试”，具体实现步骤如下：

步骤2.2：典型迷彩伪装目标数据集为自建数据集，为提高不同场景识别的泛化能力，增强识别率，数据集的构建应满足以下原则：场景多样、气象条件多样、目标类别多样、目标尺度多样、目标状态和工况多样、目标伪装效果多样。

5.根据权利要求1所述的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于：步骤3中所述的“将可见光伪装目标数据集输入MAGNet方法进行权重训练及方法验证”，具体实现步骤如下：

步骤3.1：所述方法权重训练过程分为数据集划分、网络超参数的选取与设置、数据集输入MAGNet方法进行权重更新迭代三部分。数据集划分根据数据集规模确定采用9∶1∶1的比例划分为训练集、验证集和测试集，分别在权重训练、方法验证及方法测试三个阶段使用；网络超参数的选取与设置应结合硬件平台与方法复杂度等因素具体综合考量；数据集输入MAGNet方法进行权重更新迭代时应注意保存最优结果时的权重文件，以作为最终使用的权重文件；

6.根据权利要求4中所述的一种基于放大镜观测效应的可见光伪装目标识别方法，其特征在于：步骤2.2中“典型迷彩伪装目标数据集为自建数据集”，自建数据集要满足构建原则，满足方法的训练、验证及测试要求，自建步骤内容如下：

步骤2.2.3：典型迷彩伪装目标类别包含迷彩伪装坦克、装甲车、特种车辆、作战人员、地物建筑；目标尺度相较于全图尺寸比较多样，且尺度大小分布比较均衡；目标状态和工况多样，既有静止目标，又有运动目标；目标的伪装效果也存在差异性。