CN113449727A - 一种基于深度神经网络的伪装目标检测识别方法 - Google Patents

一种基于深度神经网络的伪装目标检测识别方法 Download PDF

Info

Publication number
CN113449727A
CN113449727A CN202110812766.XA CN202110812766A CN113449727A CN 113449727 A CN113449727 A CN 113449727A CN 202110812766 A CN202110812766 A CN 202110812766A CN 113449727 A CN113449727 A CN 113449727A
Authority
CN
China
Prior art keywords
network
target
disguised
camouflage
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110812766.XA
Other languages
English (en)
Inventor
李晓冬
李新德
张琮委
罗子娟
李雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202110812766.XA priority Critical patent/CN113449727A/zh
Publication of CN113449727A publication Critical patent/CN113449727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度神经网络的端到端的伪装目标的检测识别方法。该方法设计了一种‘分割‑识别’的双路神经网络。‘分割’路利用目标的整体图像信息,以反注意力卷积模块为主体,加入了Receptive Field Block以保证网络获得更大的感受野,其整体设计上采用了U‑net网络结构,能够更有效、精准的捕获伪装目标的颜色、纹理等深度视觉特征。‘识别’路采用双分支的Resnet结构,将目标像素信息转换为语义信息,以识别具体的目标类型。实验结果表明,该方法能够有效解决常规目标检测识别方法对于伪装目标难以检测、难以完整分割等问题,在多种复杂环境下如海洋、丛林、雪地、沙漠等区域中,有效分离并识别多种伪装目标如动植物、人体、军事设施等。

Description

一种基于深度神经网络的伪装目标检测识别方法
技术领域
本发明涉及目标检测与计算机视觉技术领域,具体涉及一种基于深度神经网络的伪装目标检测与识别方法。
背景技术
伪装是指事物为了达到某种目的采用各种方法隐真示假的方式或者手段。伪装技术广泛存在于自然界和人类社会当中,如各种动植物采取伪装方式捕获食物或躲避天敌;现代军事上广泛采用伪装技术作为一种非常重要的反侦察手段,达到提供虚假的信息,迷惑对手的目的。根据伪装的特征种类可以将伪装类型分为:相似颜色与纹理伪装,假目标伪装,烟雾伪装,遮盖伪装等。目前主流伪装目标的检测与处理方法可以分为基于数字图像处理与机器学习相结合的伪装目标检测方法和基于深度学习的伪装目标检测方法。
数字图像处理与机器学习相结合的伪装目标检测方法主要是围绕相似颜色与纹理伪装这一具有较为明显的特征的伪装方式而进行研究的。其主要方法特点是,采用数字图像处理的方法人工的提取一些伪装信息的特征,比如纹理与颜色的不连续性、亮度差异、特征角点等。之后采用机器学习理论如PCA(Principal Component Analysis,主成分分析)降维、SVM(support vector machines,支持向量机)等方法进行特征分类,经图像的合成处理后得到分类检测结果。如Hongxing Guo等人提出了一种基于贝叶斯分类和高斯混合模型的背景在视觉监控应用中的伪装前景与背景划分方法,通过对视频帧进行序列平均来减小伪装目标图像帧方差,提高了对视频中伪装对象检测的准确率。如Galun等人提出了一种新的伪装目标的纹理分割方法,该方法首先识别纹理的子元素类型,利用相关参量表征它们,将它们应用于纹理伪装目标检测中,达到了较高的识别准确率。
基于深度学习的伪装目标检测较传统方法而言,其适用的伪装类型更广,识别的准确率也相对较高。在基于深度学习的方法中,采用深层神经网络的方式中取代了传统方法中的数字图像处理来提取伪装信息特征,和传统方式相比,这种方式适应能力更强,更有利于发掘更深层次的伪装特征。此外,深度学习方法的特征分类器也较传统方法更容易进行非线性激活,因而可以较好的处理非线性分类、回归问题,在伪装目标检测任务中表现为较好的图像分割效果与较高的识别准确率。如Jia-Xing Zhao等人提出EGNet,它改善了显著边缘信息和显著物体信息在全卷积神经网络中的不利表达,利用显著边缘特征帮助显著物体特征更准确的定位物体的边缘,其相关的方法与成果也可应用于伪装目标检测。又如Deng-Ping Fan等人建立COD10K伪装目标数据集,并提出了SINet网络,该网络融入了搜索和识别的思想方法,通用性比较强,并在伪装目标识别的准确率与分割的精度上均取得了很好的效果。
受制于伪装目标的图像背景和目标的信息复杂性,现有的神经网络结构仍然难以满足高精度的分割要求,会出现分割不完整或者分割区域与实际区域不符合等问题。另外,现有伪装目标检测模型大多着力于伪装目标图像的分割,进行伪装目标类别识别的工作的模型则相对较少。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于深度神经网络的伪装目标检测识别方法,该方法能够在多种复杂的背景环境下,仅通过图像信息,准确的检测伪装目标是否存在,同时能够较为精准的从图像中分割出伪装目标的二值化区域,并识别多种如人、动物、军事目标等伪装物体。
为了解决上述技术问题,本发明公开了一种基于深度神经网络的伪装目标检测识别方法,包括如下步骤:
步骤1、构建伪装目标数据集:包括采集伪装目标数据、图像预处理、人工标注和数据集划分;所述数据集划分指将数据集划分为训练集数据、验证集数据和测试集数据;
步骤2、搭建伪装目标检测模型:所述伪装目标检测模型用于输入伪装目标图像,输出伪装目标图像分割与识别结果;
步骤3、训练伪装目标检测模型:使用训练集数据对搭建的伪装目标检测模型进行训练,训练过程中周期性的使用验证集数据对训练结果进行初步测试,并根据初步测试的反馈结果调整伪装目标检测模型细节;
步骤4、测试伪装目标检测模型:使用测试集数据对步骤3训练后得到的伪装目标检测模型进行检测效果测试,并计算测试评价指标。
进一步的,步骤1包含:
步骤1.1,采集复杂背景下的伪装目标数据,采集数据类型可以为静态的图像数据或者动态的视频数据;所述复杂背景包括海洋、丛林、雪地和沙漠区域;
步骤1.2,数据预处理:将采集的伪装目标数据统一裁剪为大小为480×480×3的单帧彩色图像,之后进行标准化处理,即将图像RGB像素值归一化为ImageNet公开数据集的均值与方差,获得伪装目标图像;
步骤1.3,人工标注:对获得的伪装目标图像采用人工方式标注出伪装目标的实际区域,并添加标签,标注其目标种类;
步骤1.4,数据集划分:将步骤步骤1.3处理后的数据集划分为为训练集数据、验证集数据和测试集数据,三者占总数据集的比例分别为70%、15%和15%。
通过步骤1构建完整的伪装目标数据集,为后续训练与测试伪装目标检测模型奠定数据基础。
进一步的,步骤2中所述伪装目标检测模型包括分割网络和识别网络:
所述分割网络是一种全卷积神经网络,用于提取伪装目标图像的ROI(region ofinterest,感兴趣区域)区域;分割网络的输入为伪装目标图像,输出为包含伪装目标ROI区域的二值化黑白图像;所述分割网络包括前半部分网络、中间部分网络和后半部分网络,所述前半部分网络对伪装目标图像进行编码,获得伪装目标图像的特征图;将获得到的特征图输入到所述中间部分网络进行特征融合,获得特征融合结果;利用后半部分网络对特征融合结果进行解码,获得包含伪装目标ROI区域的二值化黑白图像;
所述识别网络采用双分支的残差网络Resnet设计,用于识别伪装目标的种类;识别网络的输入为伪装目标图像和由所述分割网络获得的包含伪装目标ROI区域的二值化黑白图像,输出为伪装目标识别结果。
所述伪装目标检测模型针对两种不同的任务类型设计了不同的网络结构。其采用分割与识别方式相较于常规的的边框检测方式能够提供更为精确的检测区域。并且将分割网络的输出输入到识别网络中,有利于识别网络快速的掌握区域性的高维特征,提高识别网络的准确率。
进一步的,所述分割网络的前半部分网络采用U型网络U-net结构,所述U-net结构指获得的特征图的分辨率由大变小再变大的U型转变;U-net结构的左半部分是由Imagenet预训练得到的Resnet-50主干网络组成,用于对伪装目标图像多尺度特征信息进行提取与编码,获得四个初步编码特征;U-net结构的右半部分是由四个级联的普通卷积块组成,用于对左半部分网络得到的四个初步编码特征进行细化分类和解码,获得四个初步解码特征。
所采用的U-net设计能够显著扩大网络的扩展路径,提高模型对伪装目标信息的定位能力。同时将主干网络与上采样部分对应尺寸进行跳远连接,降低信息在网络流动中的损失。
进一步的,所述分割网络的中间部分网络是感受野模块(Receptive FieldBlock,RFB),所述感受野模块将U-net结构的右半部分的四个输出中的每一个输出再分叉为四个分支,每一个分支采用不同大小的卷积核以及不同空洞率的卷积方式;之后采用卷积和乘法融合四个分支特征,获得四个特征融合结果。
进一步的,所述分割网络的后半部分网络是反注意力模块,输入分割网络前半部分得到的四个初步解码特征和中间部分得到的四个特征融合结果,获得四个包含伪装目标ROI区域的二值化黑白图像,包括:分割网络的前半部分网络获得的初步解码特征经由Sigmoid激活函数得到注意力系数,将注意系数与数值1做差值得到反注意力系数;将反注意力系数与分割网络的中间部分网络获得的特征融合结果做哈达玛积,并将计算结果输入到单层卷网络中获得包含伪装目标ROI区域的二值化黑白图像。
分割网络中间部分和后半部分是在网络末端设计的细化模块,其作用是进一步提高网络输出图像的质量。常规的细化模块多采用编码-解码结构,会堆叠较多的卷积层,占用大量的计算量;且常规方式大多只利用网络的最终层进行细化和调整,并没有利用到其他特征图的信息,利用的信息过于单一。所述分割网络中间部分改进了感受野模块,能后增强网络局部的非线性性能。后半部分引入反注意力机制,使网络强调或选择伪装处理对象的重要信息,并且抑制一些无关的细节信息。
进一步的,所述识别网络采用双分支的Resnet结构,将伪装目标图像直接输入到一Resnet分支,将由分割网络获得的包含伪装目标ROI区域的二值化黑白图像经由卷积网络扩增通道后输入到另一Resnet分支;将两个Resnet分支输出的特征图合并后,经由连续的三层卷积网络进行特征融合,之后输入到两层BP(Back Propagation,反向传播)神经网络,获得伪装目标识别结果。
所述识别网络同时利用了原始图像信息与分割网络输出的二值化图形信息,从而避免了直接从复杂的伪装目标背景信息中去学习特征;使识别网络更容易训练和收敛。
进一步的,步骤3中训练伪装目标检测模型时,所述分割网络的损失函数为混合损失函数,其用公式表示如下:
Figure BDA0003169040480000051
其中Ln表示分割网络部分的损失函数,predi表示分割网络输出的包含伪装目标ROI区域的二值化黑白图像,gt表示真值图像,lbce_loss、liou_loss和lssim_loss分别表示二值化黑白图像和伪装区域图像之间的BCE(Binary Cross Entropy,二元交叉熵)损失、IOU(Intersection Over Union,交并比)损失和SSIM(Structural Similarity,结构相似性)损失,λ1、λ2和λ3表示损失权重系数,默认取值均为1,i=1,2,3,4对应于所述分割网络的四个输出值。
所述混合损失函数能够有效从像素、区域、整体多个角度评价图像间的差异,有效缓解因物体尺寸不同对分割性能带来的消极影响。
进一步的,步骤3中训练伪装目标检测模型时,所述识别网络进行训练时采用交叉熵损失函数Lrn进行训练,公式如下:
Lm=lcross_entropy(predk,label)
其中predk表示识别网络输出的目标种类对应的向量,label表示实际目标种类对应的向量;训练采用Adam优化器,设置初始超参数批处理尺寸batch_size=32、学习率learning_rate=0.0001和训练总轮次epoch=40。
进一步的,步骤4中所述测试评价指标,对于分割网络,采用平均绝对误差MAE(Mean Absolute Error)、增强匹配指标E-MEASURE(Enhanced-alignment Measure)和F值F-MEASURE指标评价伪装目标的分割精确度;对于识别网络,采用模型的平均识别正确率评价伪装目标识别的准确程度。
有益效果:
1、本申请实施例利用深度神经网络实现了对伪装目标的识别与伪装区域的分割。相较于现有技术多采用边框直接去检测伪装目标,本申请所提出的方法既能分割伪装区域又能识别伪装目标的类型,其功能比较全面。
2、本申请实施例提出的神经网络模型为仅使用图像信息作为输入,无需借助其他传感器设备,且网络结构采用端到端设计,因此本申请实施例具有部署简单、易于实际应用等特点。
3、本申请实施例设计了新颖的深度神经网络模型,并引入了感受野模块、反注意力机制,改进了损失函数,上述做法使得模型在伪装目标图像分割精度上和目标识别的准确率上均取得了较好的效果,在现有的伪装目标检测方法中具有较强的竞争力。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本申请实施例提出的伪装目标检测识别方法的整体流程图;
图2是建立伪装目标数据集时需要标注的信息示例;
图3是本申请实施例提出的伪装目标检测方法分割网络部分的结构图;
图4是感受野模块Receptive Field Block模块的结构图;
图5是反注意力Reverse Attention模块的结构图;
图6是本申请实施例提出的伪装目标检测方法识别网络部分的结构图;
图7是本申请实施例提出的伪装目标检测方法在COD10K公开伪装目标数据集上部分数据的检测效果展示;
图8是本申请实施例提供的一种基于深度神经网络的伪装目标检测识别方法的应用场景示意图。
图9是本申请实施例提出的伪装目标检测方法在公开伪装目标数据集上的分割效果与其他目标分割算法的定性对比示意图。
具体实施方式
下面结合附图和具体实例对本发明的技术方案做更进一步的说明。
本发明提出了一种基于深度神经网络的端到端的伪装目标检测识别方法。该方法采用了“分割-识别”的双路设计,能够实现在较复杂环境下精确的分割出伪装目标的二值化图像,并准确的识别伪装目标的种类。测试结果表明该方法能够在多种复杂背景环境下如海洋、丛林、雪地、沙漠等区域,有效分离并识别多种伪装目标如动植物、人、军事设施等。如图8所示是本申请实施例提供的一种基于深度神经网络的伪装目标检测识别方法的应用场景示意图。
如图1所示,本发明提出了一种基于深度神经网络的伪装目标检测识别方法,建立所述方法具体步骤如下:
步骤1,构建伪装目标数据集。根据不同的伪装检测目标需要建立不同的数据集,可以更有针对性的训练,以提高目标检测的准确率。构建数据集的方法见如下四个子步骤,也可以选取伪装目标的公开数据集如COD10K、CAMO等进行模型训练,用这些数据集训练出来的模型的泛用性较强,但由于伪装目标的种类较多,其模型的相关性能指标可能会比较一般。
步骤1.1,采集伪装目标数据。寻找合适的伪装背景与伪装物体,采集其RGB彩色照片或者视频信息。图像需要有足够的大小,要保证其尺寸能够覆盖整个的伪装目标。将所有采集到的图像视频转化为单帧的图片,并确保每一类需要检测的伪装目标至少有500张以上的图像,这样才能保证本申请实施例所建立的深度神经网络有足够的数据去拟合特征。伪装背景包括海洋、丛林、雪地和沙漠区域等,伪装物体包括动植物、人、军事设施等。
步骤1.2,数据预处理。由于神经网络的输入通常有固定的形式,因此需要对步骤1.1采集到的图像进行统一处理。这里首先将图像统一裁剪到大小为480×480×3。之后为了消除色彩种类、亮度强度对特征的影响,对裁剪后的图像进行标准化处理,即将图像RGB三像素值分别归一化为Imagenet的均值[0.485,0.456,0.406]和方差[0.229,0.224,0.225],获得伪装目标图像。
步骤1.3,人工标注。根据步骤1.2预处理获得的每张伪装目标图像image,人工标注一张等大小的二值化图像gt和一个类别标签label。如图2所示,gt中黑色区域是非伪装区域,白色区域是伪装区域。此步骤要求标注应当足够精细,应当能明显的划分伪装与非伪装区域,以确保数据集整体信息的可靠性。一般使用photoshop或者labelme进行伪装区域标注。
步骤1.4,数据集划分。将步骤1.3标注后的数据集对全部随机打乱,之后取出70%作为训练集数据,15%作为验证集数据,15%作为测试集数据。
步骤2,搭建伪装目标检测模型。采用深度学习框架搭建深度神经网络模型,模型主要分为两部分,分割网络和识别网络。
本实施例中,所述分割网络是一种全卷积神经网络,用于提取伪装目标图像的ROI区域,主要结构见图3;分割网络的输入为伪装目标图像,输出为包含伪装目标ROI区域的二值化黑白图像;所述分割网络包括前半部分网络、中间部分网络和后半部分网络,所述前半部分网络对伪装目标图像进行编码,获得伪装目标图像的特征图;将获到的特征图输入到所述中间部分网络进行特征融合,获得特征融合结果;利用后半部分网络对特征融合结果进行解码,获得包含伪装目标ROI区域的二值化黑白图像;
所述识别网络采用双分支的Resnet设计,用于识别伪装目标的种类,主要结构见图6;识别网络的输入为伪装目标图像和由所述分割网络获得的包含伪装目标ROI区域的二值化黑白图像,输出为伪装目标识别结果。
分割网络的前半部分网络采用U-net结构,指获得的特征图的分辨率由大变小再变大的U型转变,如图3所示。U-net结构的左半部分是由Imagenet预训练得到的Resnet-50主干网络组成,用于对图像多尺度特征信息的提取与编码,获得初步编码特征;U-net结构的右半部分是由四个级联的普通卷积块组成,用于对左半部分网络得到的四个初步编码特征进行细化分类和解码,获得四个初步解码特征。
分割网络的中间部分网络是感受野模块Receptive Field Block,如图4所示,将U-net结构的右半部分的四个输出中的每一个输出再分叉为四个分支,每一个分支采用不同大小的卷积核以及不同空洞率的卷积方式;之后采用卷积和乘法融合四个分支特征,获得四个特征融合结果。
分割网络的后半部分网络是反注意力模块,采用卷积层实现,用于对前半部分网络得到的特征图进行解码,如图5所示。输入分割网络前半部分得到的四个初步解码特征和中间部分得到的四个特征融合结果,获得四个包含伪装目标ROI区域的二值化黑白图像,包括:分割网络的前半部分网络获得的初步解码特征经由Sigmoid激活函数得到注意力系数,将注意系数与数值“1”做差值得到反注意力系数;反注意力系数与分割网络的中间部分网络获得的特征融合结果做哈达玛积,将计算结果输入到单层卷网络中获得解码结果,即包含伪装目标ROI区域的二值化黑白图像。
识别网络采用双分支的Resnet结构,如图6所示,有两个输入。伪装目标图像信息直接输入到一Resnet分支,将由分割网络获得的包含伪装目标ROI区域的二值化黑白图像经由卷积网络扩增通道后输入到另一Resnet分支;将两个Resnet分支输出的特征图合并后,经由连续的三层卷积网络进行特征融合,之后输入到两层BP神经网络,获得伪装目标识别结果。
步骤3,训练伪装目标检测模型。利用深度学习框架,将数据读入伪装目标检测模型开始训练。分割网络部分采用混合损失函数,表示如下:
Figure BDA0003169040480000091
其中Ln表示分割网络部分的损失函数,predi表示分割网络输出的包含伪装目标ROI区域的二值化黑白图像,gt上文标注的伪装区域图像,lbce_loss、liou_loss和lssim_loss分别表示二值化黑白图像和伪装区域图像之间的BCE损失、IOU损失和SSIM损失,λ1、λ2和λ3表示损失权重系数,默认取值均为1,i=1,2,3,4对应于所述分割网络的四个输出值。
识别网络部分采用交叉熵损失函数Lrn进行训练,公式如下:
Lm=lcross_entropy(predk,label)
其中predk表示识别网络输出的目标种类对应的向量,label表示实际目标种类对应的向量,如图7海洋背景所示实际目标种类是蝙蝠鱼,海洋背景下所有目标种类为[尖嘴鱼,蝙蝠鱼,海马,…,小丑鱼]T,则label=[0,1,0,…,0]T,predk=[0.1,0.88,0.01,…,0]T。训练采用Adam优化器,设置初始超参数批处理尺寸batch_size=32、学习率learning_rate=0.0001、训练总轮次epoch=40,其余超参数按照一般神经网络训练规则设定。
在每个训练轮次结束后,采用验证集数据测试此轮训练的效果,并根据测试结果微调伪装目标检测模型内部超参数,以使训练达到更好的效果。
步骤4,测试伪装目标检测模型。将步骤3中训练好的伪装目标检测模型单独导出,使用测试集数据输入伪装目标检测模型,根据得到的输出结果,计算相关任务评价指标。对于分割网络部分,使用MAE、E-MEASURE、F-MEASURE等指标评价;对于识别网络部分,计算模型的平均识别正确率。若相关指标达到实际要求,则可以进行下一步工作,否则调整数据集或者模型超参数并重新训练。本实施例中,要求在COD10K公开数据集上,分割精度指标MAE、E-MEASURE和F-MEASURE分别达到0.05,0.55和0.8以上,识别精度指标平均识别正确率达到85%以上。
如图7所示是本申请实施例提出的伪装目标检测方法在COD10K公开伪装目标数据集上部分数据的检测效果展示,在所示海洋和丛林背景下,所提出方法清晰的分割出了伪装目标的前景区域,并正确出识别伪装目标的类型;图9是本申请实施例方法和目前较新的六种目标分割技术(边界感知网络BASNet、门网络GateNet、嵌套式U型网络U2Net、逐级特征删选网络PFPN、多尺度特征交互网络MINet、搜索识别网络SINet)在伪装公开数据集的分割效果的定性对比,从图中可以看出,无论是在多种复杂背景环境下还是针对尺寸差异较大的伪装物体,本申请实施例提出的方法均获得了很好的分割效果;表1是本申请实施例所用方法和常用目标分割方法在分割指标方面的定量对比,从下表可以看出本申请实施例所提出的方法在多个公开数据集和各个指标下均取得了一定程度的领先。
表1
Figure BDA0003169040480000101
本发明提供了一种基于深度神经网络的伪装目标检测识别方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于深度神经网络的伪装目标检测识别方法,其特征在于,包括以下步骤:
步骤1、构建伪装目标数据集:包括采集伪装目标数据、图像预处理、人工标注和数据集划分;所述数据集划分指将数据集划分为训练集数据、验证集数据和测试集数据;
步骤2、搭建伪装目标检测模型:所述伪装目标检测模型用于输入伪装目标图像,输出伪装目标图像分割与识别结果;
步骤3、训练伪装目标检测模型:使用训练集数据对搭建的伪装目标检测模型进行训练,训练过程中周期性的使用验证集数据对训练结果进行初步测试,并根据初步测试的反馈结果调整伪装目标检测模型细节;
步骤4、测试伪装目标检测模型:使用测试集数据对步骤3训练后得到的伪装目标检测模型进行检测效果测试,并计算测试评价指标。
2.根据权利要求1所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,步骤1包含:
步骤1.1,采集复杂背景下的伪装目标数据,采集数据类型为静态的图像数据或者动态的视频数据;所述复杂背景包括海洋、丛林、雪地和沙漠区域;
步骤1.2,数据预处理:将采集的伪装目标数据统一裁剪为大小为480×480×3的单帧彩色图像,之后进行标准化处理,即将图像RGB像素值归一化为ImageNet公开数据集的均值与方差,获得伪装目标图像;
步骤1.3,人工标注:对获得的伪装目标图像采用人工方式标注出伪装目标的实际区域,并添加标签,标注其目标种类;
步骤1.4,数据集划分:将步骤1.3处理后的数据集划分为为训练集数据、验证集数据和测试集数据,三者占总数据集的比例分别为70%、15%和15%。
3.根据权利要求1所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,步骤2中所述伪装目标检测模型包括分割网络和识别网络:
所述分割网络是一种全卷积神经网络,用于提取伪装目标图像的ROI区域;分割网络的输入为伪装目标图像,输出为包含伪装目标ROI区域的二值化黑白图像;所述分割网络包括前半部分网络、中间部分网络和后半部分网络,所述前半部分网络对伪装目标图像进行编码,获得伪装目标图像的特征图;将获得到的特征图输入到所述中间部分网络进行特征融合,获得特征融合结果;利用后半部分网络对特征融合结果进行解码,获得包含伪装目标ROI区域的二值化黑白图像;
所述识别网络采用双分支的Resnet设计,用于识别伪装目标的种类;识别网络的输入为伪装目标图像和由所述分割网络获得的包含伪装目标ROI区域的二值化黑白图像,输出为伪装目标识别结果。
4.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,所述分割网络的前半部分网络采用U-net结构,所述U-net结构指获得的特征图的分辨率由大变小再变大的U型转变;U-net结构的左半部分是由Imagenet预训练得到的Resnet-50主干网络组成,用于对伪装目标图像多尺度特征信息进行提取与编码,获得四个初步编码特征;U-net结构的右半部分是由四个级联的普通卷积块组成,用于对左半部分网络得到的四个初步编码特征分别进行细化分类和解码,获得四个初步解码特征。
5.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,所述分割网络的中间部分网络是感受野模块Receptive Field Block,所述感受野模块将U-net结构的右半部分的四个输出中的每一个输出再分叉为四个分支,每一个分支采用不同大小的卷积核以及不同空洞率的卷积方式;之后采用卷积和乘法融合四个分支特征,获得四个特征融合结果。
6.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,所述分割网络的后半部分网络是反注意力模块,输入分割网络前半部分得到的四个初步解码特征和中间部分得到的四个特征融合结果,获得四个包含伪装目标ROI区域的二值化黑白图像,包括:分割网络的前半部分网络获得的初步解码特征经由Sigmoid激活函数得到注意力系数,将注意系数与数值1做差值得到反注意力系数;将反注意力系数与分割网络的中间部分网络获得的特征融合结果做哈达玛积,并将计算结果输入到单层卷网络中获得包含伪装目标ROI区域的二值化黑白图像。
7.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,所述识别网络采用双分支的Resnet结构,将伪装目标图像直接输入到一Resnet分支,将由分割网络获得的包含伪装目标ROI区域的二值化黑白图像经由卷积网络扩增通道后输入到另一Resnet分支;将两个Resnet分支输出的特征图合并后,经由连续的三层卷积网络进行特征融合,之后输入到两层BP神经网络,获得伪装目标识别结果。
8.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,步骤3中训练伪装目标检测模型时,所述分割网络的损失函数为混合损失函数,其用公式表示如下:
Figure FDA0003169040470000031
其中Ln表示分割网络部分的损失函数,predi表示分割网络输出的包含伪装目标ROI区域的二值化黑白图像,gt表示步骤1.3中标注的伪装区域图像,lbce_loss、liou_loss和lssim_loss分别表示二值化黑白图像和伪装区域图像之间的BCE损失、IOU损失和SSIM损失,λ1、λ2和λ3表示损失权重系数,i=1,2,3,4对应于所述分割网络的四个输出值。
9.根据权利要求3所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,步骤3中训练伪装目标检测模型时,所述识别网络进行训练时采用交叉熵损失函数Lrn进行训练,公式如下:
Lm=lcross_entropy(predk,label)
其中predk表示识别网络输出的目标种类对应的向量,label表示实际目标种类对应的向量;训练采用Adam优化器,设置初始超参数批处理尺寸batch_size=32、学习率learning_rate=0.0001和训练总轮次epoch=40。
10.根据权利要求1所述的一种基于深度神经网络的伪装目标检测识别方法,其特征在于,步骤4中所述测试评价指标,对于分割网络,包括平均绝对误差MAE、增强-匹配指标E-MEASURE和F值F-MEASURE评价指标;对于识别网络,采用模型的平均识别正确率。
CN202110812766.XA 2021-07-19 2021-07-19 一种基于深度神经网络的伪装目标检测识别方法 Pending CN113449727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110812766.XA CN113449727A (zh) 2021-07-19 2021-07-19 一种基于深度神经网络的伪装目标检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110812766.XA CN113449727A (zh) 2021-07-19 2021-07-19 一种基于深度神经网络的伪装目标检测识别方法

Publications (1)

Publication Number Publication Date
CN113449727A true CN113449727A (zh) 2021-09-28

Family

ID=77816583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110812766.XA Pending CN113449727A (zh) 2021-07-19 2021-07-19 一种基于深度神经网络的伪装目标检测识别方法

Country Status (1)

Country Link
CN (1) CN113449727A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241277A (zh) * 2021-12-22 2022-03-25 中国人民解放军国防科技大学 注意力引导的多特征融合伪装目标检测方法、装置、设备及介质
CN114495176A (zh) * 2022-03-30 2022-05-13 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN114627299A (zh) * 2022-04-21 2022-06-14 杭州电子科技大学 一种模仿人类视觉系统对伪装目标检测与分割方法
CN114782406A (zh) * 2022-05-21 2022-07-22 上海贝特威自动化科技有限公司 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法
CN114881537A (zh) * 2022-06-20 2022-08-09 中国电子科技集团公司第二十八研究所 基于指标体系的设施安全评估量化的计算方法、装置
CN115019140A (zh) * 2022-06-02 2022-09-06 杭州电子科技大学 一种注意力引导的伪装目标检测方法
CN115054209A (zh) * 2022-04-14 2022-09-16 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法
CN115311255A (zh) * 2022-09-14 2022-11-08 西安理工大学 一种基于全卷积神经网络的伪装物体分割方法
CN116935189A (zh) * 2023-09-15 2023-10-24 北京理工导航控制科技股份有限公司 一种基于神经网络的伪装目标检测方法、装置及存储介质
CN117079142A (zh) * 2023-10-13 2023-11-17 昆明理工大学 无人机自动巡检的反注意生成对抗道路中心线提取方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241277A (zh) * 2021-12-22 2022-03-25 中国人民解放军国防科技大学 注意力引导的多特征融合伪装目标检测方法、装置、设备及介质
CN114495176A (zh) * 2022-03-30 2022-05-13 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN115054209B (zh) * 2022-04-14 2023-09-26 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法
CN115054209A (zh) * 2022-04-14 2022-09-16 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法
CN114627299A (zh) * 2022-04-21 2022-06-14 杭州电子科技大学 一种模仿人类视觉系统对伪装目标检测与分割方法
CN114627299B (zh) * 2022-04-21 2023-10-27 杭州电子科技大学 一种模仿人类视觉系统对伪装目标检测与分割方法
CN114782406A (zh) * 2022-05-21 2022-07-22 上海贝特威自动化科技有限公司 一种基于resnext50深度分割网络的汽车涂胶视觉检测方法
CN115019140B (zh) * 2022-06-02 2023-11-21 杭州电子科技大学 一种注意力引导的伪装目标检测方法
CN115019140A (zh) * 2022-06-02 2022-09-06 杭州电子科技大学 一种注意力引导的伪装目标检测方法
CN114881537B (zh) * 2022-06-20 2023-04-18 中国电子科技集团公司第二十八研究所 基于指标体系的设施安全评估量化的计算方法、装置
CN114881537A (zh) * 2022-06-20 2022-08-09 中国电子科技集团公司第二十八研究所 基于指标体系的设施安全评估量化的计算方法、装置
CN115311255A (zh) * 2022-09-14 2022-11-08 西安理工大学 一种基于全卷积神经网络的伪装物体分割方法
CN116935189A (zh) * 2023-09-15 2023-10-24 北京理工导航控制科技股份有限公司 一种基于神经网络的伪装目标检测方法、装置及存储介质
CN116935189B (zh) * 2023-09-15 2023-12-05 北京理工导航控制科技股份有限公司 一种基于神经网络的伪装目标检测方法、装置及存储介质
CN117079142A (zh) * 2023-10-13 2023-11-17 昆明理工大学 无人机自动巡检的反注意生成对抗道路中心线提取方法
CN117079142B (zh) * 2023-10-13 2024-01-26 昆明理工大学 无人机自动巡检的反注意生成对抗道路中心线提取方法

Similar Documents

Publication Publication Date Title
CN113449727A (zh) 一种基于深度神经网络的伪装目标检测识别方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN114202696A (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111563418A (zh) 一种基于注意力机制的非对称多模态融合显著性检测方法
CN115994230A (zh) 一种融合人工智能和知识图谱技术的智慧档案构建方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN109766918A (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN115331024A (zh) 一种基于深度监督和逐步学习的肠道息肉检测方法
CN111401368A (zh) 一种基于深度学习的新闻视频标题提取方法
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
Conrad et al. Two-stage seamless text erasing on real-world scene images
CN114049289B (zh) 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法
CN116168328A (zh) 一种甲状腺结节超声检查系统及方法
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
CN115620049A (zh) 一种基于偏振图像线索的伪装目标检测方法及其应用
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN115100681A (zh) 一种衣着识别方法、系统、介质及设备
CN111813996B (zh) 基于单帧和连续多帧抽样并行的视频搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination