CN115661692A - 一种基于改进CenterNet检测网络的无人机检测方法及系统 - Google Patents

一种基于改进CenterNet检测网络的无人机检测方法及系统 Download PDF

Info

Publication number
CN115661692A
CN115661692A CN202211352996.3A CN202211352996A CN115661692A CN 115661692 A CN115661692 A CN 115661692A CN 202211352996 A CN202211352996 A CN 202211352996A CN 115661692 A CN115661692 A CN 115661692A
Authority
CN
China
Prior art keywords
sample set
training sample
target
predicted
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211352996.3A
Other languages
English (en)
Inventor
刘娟
吴宏彬
朱清维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhaobang Intelligent Polytron Technologies Inc
Original Assignee
Guangdong Zhaobang Intelligent Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhaobang Intelligent Polytron Technologies Inc filed Critical Guangdong Zhaobang Intelligent Polytron Technologies Inc
Priority to CN202211352996.3A priority Critical patent/CN115661692A/zh
Publication of CN115661692A publication Critical patent/CN115661692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开一种基于改进CenterNet检测网络的无人机检测方法及系统，包括以下步骤：根据若干图像构建训练样本集；将训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升骨干网络对于特定目标的关注度，对训练样本集中的图像进行下采样，得到若干特征图像；对若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；对预测关键点热图进行投射，生成预测热力图；利用损失函数得到训练样本集的损失值和检测框的定位质量损失值；通过训练样本集的损失值和检测框的定位质量损失值优化检测网络，输出预测目标类别和预测目标位置信息。本发明实现对无人机高效且精确的检测。

Description

一种基于改进CenterNet检测网络的无人机检测方法及系统
技术领域
本发明涉及目标检测与跟踪技术领域，具体涉及一种基于改进CenterNet检测网络的无人机检测方法及系统。
背景技术
无人机目前被广泛应用于航空拍摄、农业、军事等领域，但是随着无人机越来越普及，给空中航路安全、公共安全以及军事安全带来了巨大的威胁。另外由于无人机使用者的数量越来越多，其中部分使用者还缺乏自觉性，相关的法律法规监管也不完善，无人机“黑飞”、“滥飞”等的现象频发。从而导致无人机引起的事故数量大幅度增加，甚至存在利用无人机进行毒品运输、恐怖袭击等违法犯罪活动。因此，通过对无人机进行有效的检测，从而逐步形成对无人机的监管是很有必要的。
无人机是典型的“低小慢”目标，其具有飞行高度低、速度慢、有效探测面积较小以及不容易被侦测等的特点。无人机的这些特点意味着传统的空中探测系统已经不再适用，必须针对无人机的这些特点研发相应的反无人机系统从而实现对无人机的有效检测。目前现有的技术是通过卷积神经网络穷举所有潜在目标的位置，然后通过交并比和非极大值抑制等措施挑选出最具可能性的一个，这样繁琐的操作无疑会带来时间上的消耗，从而影响检测的效率，难以满足对检测时效性的要求。此外，此类方法对于小目标的检测并不敏感，会出现较多的误检和漏检。
发明内容
为了克服现有技术的不足，本发明提供一种基于改进CenterNet检测网络的无人机检测方法及系统，用于解决现有的检测方法对无人机的检测精确度不高以及效率低的技术问题，从而实现对无人机高效且精确的检测。
为解决上述问题，本发明所采用的技术方案如下：
一种基于改进CenterNet检测网络的无人机检测方法，包括以下步骤：
接收到目标无人机的视频流后，对所述视频流进行处理，得到若干图像，根据所述若干图像构建一训练样本集；
将所述训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升所述骨干网络对于特定目标的关注度，并通过提升后的骨干网络对所述训练样本集中的图像进行下采样，得到若干特征图像；
对所述若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
对所述预测关键点热图进行投射，生成预测热力图；
利用损失函数，并通过所述预测热力图、所述预测目标尺寸图以及所述预测目标中心点坐标图得到所述训练样本集的损失值，利用所述损失函数得到检测框的定位质量损失值；
通过所述训练样本集的损失值和所述检测框的定位质量损失值优化所述CenterNet检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
作为本发明优选的实施方式，在通过自注意力模块提升所述骨干网络对于特定目标的关注度时，包括：
将所述训练样本集中的图像输入所述自注意力模块；
所述自注意力模块将所述训练样本集中的图像压缩至一维后，分别嵌入第一θ向量、第一
Figure BDA0003919648200000021
向量以及第一g向量中，得到第二θ向量、第二
Figure BDA0003919648200000022
向量以及第二g向量；
将所述第二θ向量和所述第二
Figure BDA0003919648200000031
向量的转置进行相乘，并通过softmax函数进行激活，得到一激活向量；
将所述激活向量与所述第二g向量进行相乘后，进行卷积和跨跃连接操作，提升所述骨干网络对于特定目标的关注度。
作为本发明优选的实施方式，在进行卷积和跨跃连接操作时，包括：
对所述训练样本集中的图像所有点之间的响应值进行标准化，具体如公式1所示：
Figure BDA0003919648200000032
其中，f(xi,yi)为所述训练样本集中的图像x中i，j两个点相关关系的标量，g(xj)为所述训练样本集中的图像x中j点的值，c(x)为总样本集；
作为本发明优选的实施方式，在利用损失函数得到所述训练样本集的损失值时，包括：
利用中心点损失函数，并通过所述预测热力图得到所述训练样本集的中心点损失值，具体如公式2所示：
Figure BDA0003919648200000033
其中，Lk为中心点损失值，N为关键点个数，下标k为第k张图像，
Figure BDA0003919648200000034
为预测值，Yxyz为标注值，α是参数值为2的超参数，β是参数值为4的超参数。
作为本发明优选的实施方式，在利用损失函数得到所述训练样本集的损失值时，还包括：
利用L1损失函数，并通过所述预测目标尺寸图得到所述训练样本集的物体尺寸损失值，具体如公式3所示：
Figure BDA0003919648200000041
其中，所述损失函数包括L1损失函数，Lsize为物体尺寸损失值，
Figure BDA0003919648200000042
为预测的物体尺寸，s为标签真实尺寸。
作为本发明优选的实施方式，根据权利要求5所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在利用损失函数得到所述训练样本集的损失值时，还包括：
利用L1损失函数，并通过所述预测目标中心点坐标图得到所述训练样本集的中心点偏移损失值，具体如公式4所示：
Figure BDA0003919648200000043
其中，Loff为中心点偏移损失值，
Figure BDA0003919648200000044
为预测的中心点偏移；
Figure BDA0003919648200000045
为实际中心点偏移；P为标签真实中心点坐标，
Figure BDA0003919648200000046
为预测的中心点坐标；
将中心点损失值Lk、物体尺寸损失值Lsize以及中心点偏移损失值Loff进行加权求和，得到所述训练样本集的损失值，具体如公式5所示：
Ldet＝Lk+λsize Lsize+λoffLoff (公式5)；
其中，Ldet为训练样本集的损失值，λsize＝0.1，λoff＝1为权值。
作为本发明优选的实施方式，在得到检测框的定位质量损失值时，包括：
利用MIOU损失函数得到定位质量损失值，包括：将所述预测目标尺寸图和所述预测目标中心点坐标图解码为预测框，通过所述预测框和真值框的重合程度得到所述定位质量损失值，具体如公式6所示：
Figure BDA0003919648200000047
其中，LMIOU为定位质量损失值，m1～m4分别为预测框和真值框四条边界中心点之间的曼哈顿距离，d为能够同时包含预测框和真值框的最小闭包区域的对角线的欧式距离，IOU为交并比。
作为本发明优选的实施方式，在获得所述曼哈顿距离和所述欧式距离时，具体如公式7和公式8所示：
Figure BDA0003919648200000051
d＝|x1-x2|+|y1-y2| (公式8)；
其中，(x1，y1)和(x2,y2)为点坐标。
作为本发明优选的实施方式，在生成预测热力图时，包括：
将标识框进行缩放，得到缩放后的标识框；获取目标中心点坐标并取整，并将取整后的目标中心点坐标作为真值框目标中心；根据所述缩放后的标识框的大小，并通过椭圆高斯散射核将所述真值框目标中心投射到所述预测关键点热图上，生成所述预测热力图，具体如公式9、公式10以及公式11所示：
Figure BDA0003919648200000052
其中，Yxyc为椭圆高斯散射核，
Figure BDA0003919648200000053
为目标中心点坐标，(σx，σy)为具有自适应大小的目标标准差。
Figure BDA0003919648200000054
其中，W为标识框的宽度，min_iou为超参数，用于限制椭圆高斯散射核投射区域的面积；
Figure BDA0003919648200000055
其中，H为标识框的高度。
一种基于改进CenterNet检测网络的无人机检测系统，包括：
训练样本集构建单元：用于接收到目标无人机的视频流后，对所述视频流进行处理，得到若干图像，根据所述若干图像构建一训练样本集；
特征提取单元：用于将所述训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升所述骨干网络对于特定目标的关注度，并通过提升后的骨干网络对所述训练样本集中的图像进行下采样，得到若干特征图像；
预测单元：用于对所述若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
热力图生成单元：用于对所述预测关键点热图进行投射，生成预测热力图；
损失值获取单元：用于利用损失函数，并通过所述预测热力图、所述预测目标尺寸图以及所述预测目标中心点坐标图得到所述训练样本集的损失值，利用所述损失函数得到检测框的定位质量损失值；
输出单元：用于通过所述训练样本集的损失值和所述检测框的定位质量损失值优化所述CenterNet检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
相比现有技术，本发明的有益效果在于：
(1)本发明采用CenterNet检测网络，并通过自注意力模块提升CenterNet检测网络的骨干网络对于特定目标的关注度，从而使用较少的网络层级就能实现对无人机的精确检测；
(2)由于本发明使用较少的网络层级，有效降低了因深层网络带来时间上的消耗，从而提升检测效率；
(3)本发明通过定位质量损失进一步约束物体中心点和目标尺寸，得到更加贴合目标的标识框，进一步地提升无人机检测的准确性；
(4)本发明针对无人机目标边界框的长宽比例，将圆形高斯散射核改为椭圆高斯散射核进行投射，以获得更精准的目标中心点定位，更进一步地提升无人机检测的准确性。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1-是本发明实施例的基于改进CenterNet检测网络的无人机检测方法步骤；
图2-是本发明实施例的基于改进CenterNet检测网络的无人机检测方法流程图；
图3-是本发明实施例的CenterNet检测网络结构图；
图4-是本发明实施例的CenterNet自注意力模块示意图；
图5-是本发明实施例的MIOU损失示意图。
具体实施方式
本发明提供的基于改进CenterNet检测网络的无人机检测方法，如图1和图2所示，包括以下步骤：
步骤S1：接收到目标无人机的视频流后，对视频流进行处理，得到若干图像，根据若干图像构建一训练样本集；
步骤S2：将训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升骨干网络对于特定目标的关注度，并通过提升后的骨干网络对训练样本集中的图像进行下采样，得到若干特征图像；
步骤S3：对若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
步骤S4：对预测关键点热图进行投射，生成预测热力图；
步骤S5：利用损失函数，并通过预测热力图、预测目标尺寸图以及预测目标中心点坐标图得到训练样本集的损失值，利用损失函数得到检测框的定位质量损失值；
步骤S6：通过训练样本集的损失值和检测框的定位质量损失值优化Center Net检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
本发明提供的检测方法有效解决了检测无人机目标时，常用的目标检测网络会因目标过小需要更深层网络，无法较好平衡检测精度和检测速度的问题。
CenterNet检测网络将检测目标看作一个点，将检测问题转变成关键点估计问题，通过回归策略来获取目标的尺寸特征。相比于其他利用锚框的目标检测器，少了非极大值抑制这一步骤，因此更加简洁、快速、可靠，属于一种端到端可微的无锚框单阶段目标检测算法。无人机目标具有“低小慢”的典型特点，适合通过其中心点来定位位置，因此本发明通过优化后CenterNet检测网络可实现对小目标无人机精确且高效的检测。
进一步地，骨干网络为ResNet50骨干网络。
在上述步骤S1中，在得到若干图像后，包括：将若干图像缩放到512×512像素大小。
在上述步骤S2中，通过四次下采样，提取深层特征，得到若干特征图像。
在上述步骤S2中，如图4所示，在通过自注意力模块提升骨干网络对于特定目标的关注度时，包括：
将训练样本集中的图像输入自注意力模块；
自注意力模块将训练样本集中的图像压缩至一维后，分别嵌入第一θ向量、第一
Figure BDA0003919648200000081
向量以及第一g向量中，得到第二θ向量、第二
Figure BDA0003919648200000082
向量以及第二g向量；
将第二θ向量和第二
Figure BDA0003919648200000083
向量的转置进行相乘，并通过softmax函数进行激活，得到一激活向量；
将激活向量与第二g向量进行相乘后，进行卷积和跨跃连接操作，提升骨干网络对于特定目标的关注度。
进一步地，自注意力模块为Non-local自注意力模块。
Non-local自注意力模块是借鉴了Non-local图片滤波算法、序列化处理的前馈神经网络和自注意力机制等工作，提出的一种提取特征图全局联系的通用模型结构，着力于学习特征图中的点与点之间的相关程度特征。
目前大多数目标检测器利用小卷积核提取局部信息，并通过不断堆叠卷积层和下采样层来扩大感受野，从而判断某一区域内是否存在目标。但是浅层特征信息在下采样过程中会不断损失，最终无法获得表征两个目标之间关系的全局信息。因此在骨干网络ResNet50提取特征时引入一种Non-local自注意力模块的非局部信息统计机制，以捕捉长距离特征之间的依赖关系，使得多个无人机小目标之间相互关联、相互激活，减少漏检现象。
进一步地，本发明在通过四次下采样提取目标的深层特征的过程中，引入Non-local自注意力模型，在图像的每一个点上通过衡量与其他点的全局相关关系，来突出重点信息以优化分类效果。自注意力模型用于捕捉通道间的依赖关系，通过权重分配达到凸显无人机目标的目的，使检测网络共享权重，从而提升检测精度。
进一步地，在进行卷积和跨跃连接操作时，包括：
对训练样本集中的图像所有点之间的响应值进行标准化，具体如公式1所示：
Figure BDA0003919648200000091
其中，f(xi,yi)为训练样本集中的图像x中i，j两个点相关关系的标量，g(xj)为训练样本集中的图像x中j点的值，c(x)为总样本集；
在上述步骤S3中，如图3所示，对若干特征图像进行上采样，并通过第一分支卷积网络热图变换得到预测关键点热图，对若干特征图像进行上采样，并通过第二分支卷积网络进行尺寸矩阵变换得到预测目标尺寸图，对若干特征图像进行上采样，并通过第三分支卷积网络进行中心点矩阵变换得到预测目标中心点坐标图；其中，CenterNet检测网络包括第一分支卷积网络、第二分支卷积网络以及第三分支卷积网络。
进一步地，得到的预测关键点热图、预测目标尺寸图以及预测目标中心点坐标图为128×128像素大小，为输入图像的四分之一大小。
在上述步骤S5中，在利用损失函数得到训练样本集的损失值时，包括：
利用中心点损失函数，并通过预测热力图得到训练样本集的中心点损失值，具体如公式2所示：
Figure BDA0003919648200000101
其中，Lk为中心点损失值，N为关键点个数，下标k为第k张图像，
Figure BDA0003919648200000102
为预测值，Yxyz为标注值，α是参数值为2的超参数，β是参数值为4的超参数。
在上述步骤S5中，在利用损失函数得到训练样本集的损失值时，还包括：
利用L1损失函数，并通过预测目标尺寸图得到训练样本集的物体尺寸损失值，具体如公式3所示：
Figure BDA0003919648200000103
其中，损失函数包括L1损失函数，Lsize为物体尺寸损失值，
Figure BDA0003919648200000104
为预测的物体尺寸，s为标签真实尺寸。
在上述步骤S5中，在利用损失函数得到训练样本集的损失值时，还包括：
利用L1损失函数，并通过预测目标中心点坐标图得到训练样本集的中心点偏移损失值，具体如公式4所示：
Figure BDA0003919648200000111
其中，Loff为中心点偏移损失值，
Figure BDA0003919648200000112
为预测的中心点偏移；
Figure BDA0003919648200000113
为实际中心点偏移；P为标签真实中心点坐标，
Figure BDA0003919648200000114
为预测的中心点坐标；
将中心点损失值Lk、物体尺寸损失值Lsize以及中心点偏移损失值Loff进行加权求和，得到训练样本集的损失值，具体如公式5所示：
Ldet＝Lk+λsize Lsize+λoffLoff (公式5)；
其中，Ldet为训练样本集的损失值，λsize＝0.1，λoff＝1为权值。
在上述步骤S5中，如图5所示，在得到检测框的定位质量损失值时，包括：
利用MIOU损失函数得到定位质量损失值，包括：将预测目标尺寸图和预测目标中心点坐标图解码为预测框，通过预测框和真值框的重合程度得到定位质量损失值，具体如公式6所示：
Figure BDA0003919648200000115
其中，LMIOU为定位质量损失值，m1～m4分别为预测框和真值框四条边界中心点之间的曼哈顿距离，d为能够同时包含预测框和真值框的最小闭包区域的对角线的欧式距离，IOU为交并比。
进一步地，在获得曼哈顿距离和欧式距离时，具体如公式7和公式8所示：
Figure BDA0003919648200000116
d＝|x1-x2|+|y1-y2| (公式8)；
其中，(x1，y1)和(x2,y2)为点坐标。
CenterNet对物体的中心点以及尺寸的训练是独立的，这也是检测框的定位质量不佳的重要原因。为了解决小目标定位质量普遍较差的问题，采用MIOU损失对定位质量进行度量，在计算损失的过程中将预测的中心点位置以及目标尺寸解码为预测框，将预测框和真值框的重合程度作为训练的监督项，使得检测网络可以获得更加精准的检测框。
在上述步骤S4中，在生成预测热力图时，包括：
将标识框进行缩放，得到缩放后的标识框；获取目标中心点坐标并取整，并将取整后的目标中心点坐标作为真值框目标中心；根据缩放后的标识框的大小，并通过椭圆高斯散射核将真值框目标中心投射到预测关键点热图上，生成预测热力图，具体如公式9、公式10以及公式11所示：
Figure BDA0003919648200000121
其中，Yxyc为椭圆高斯散射核，
Figure BDA0003919648200000122
为目标中心点坐标，(σx，σy)为具有自适应大小的目标标准差；
Figure BDA0003919648200000123
其中，W为标识框的宽度，min_iou为超参数，用于限制椭圆高斯散射核投射区域的面积；
Figure BDA0003919648200000124
其中，H为标识框的高度。
进一步地，将标识框缩放至128×128像素大小。
原始的CenterNet检测网络是使用圆形高斯散射核将真值框目标中心进行投射，但物体的长和宽通常是不一致的，对于长宽相差比较大的物体，预测中心点在x轴方向和y轴方向偏移同样的距离应当获得不同的误差。因此使用椭圆高斯散射核进行投射，可以获得更精准的目标中心点定位。
本发明提供的基于改进CenterNet检测网络的无人机检测系统，包括：
训练样本集构建单元：用于接收到目标无人机的视频流后，对视频流进行处理，得到若干图像，根据若干图像构建一训练样本集；
特征提取单元：用于将训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升骨干网络对于特定目标的关注度，并通过提升后的骨干网络对训练样本集中的图像进行下采样，得到若干特征图像；
预测单元：用于对若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
热力图生成单元：用于对预测关键点热图进行投射，生成预测热力图；
损失值获取单元：用于利用损失函数，并通过预测热力图、预测目标尺寸图以及预测目标中心点坐标图得到训练样本集的损失值，利用损失函数得到检测框的定位质量损失值；
输出单元：用于通过训练样本集的损失值和检测框的定位质量损失值优化所述CenterNet检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
相比现有技术，本发明的有益效果在于：
(1)本发明采用CenterNet检测网络，并通过自注意力模块提升CenterNet检测网络的骨干网络对于特定目标的关注度，从而使用较少的网络层级就能实现对无人机的精确检测；
(2)由于本发明使用较少的网络层级，有效降低了因深层网络带来时间上的消耗，从而提升检测效率；
(3)本发明通过定位质量损失进一步约束物体中心点和目标尺寸，得到更加贴合目标的标识框，进一步地提升无人机检测的准确性；
(4)本发明针对无人机目标边界框的长宽比例，将圆形高斯散射核改为椭圆高斯散射核进行投射，以获得更精准的目标中心点定位，更进一步地提升无人机检测的准确性。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于改进CenterNet检测网络的无人机检测方法，其特征在于，包括以下步骤：
接收到目标无人机的视频流后，对所述视频流进行处理，得到若干图像，根据所述若干图像构建一训练样本集；
将所述训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升所述骨干网络对于特定目标的关注度，并通过提升后的骨干网络对所述训练样本集中的图像进行下采样，得到若干特征图像；
对所述若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
对所述预测关键点热图进行投射，生成预测热力图；
利用损失函数，并通过所述预测热力图、所述预测目标尺寸图以及所述预测目标中心点坐标图得到所述训练样本集的损失值，利用所述损失函数得到检测框的定位质量损失值；
通过所述训练样本集的损失值和所述检测框的定位质量损失值优化所述CenterNet检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
2.根据权利要求1所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在通过自注意力模块提升所述骨干网络对于特定目标的关注度时，包括：
将所述训练样本集中的图像输入所述自注意力模块；
所述自注意力模块将所述训练样本集中的图像压缩至一维后，分别嵌入第一θ向量、第一
Figure FDA0003919648190000011
向量以及第一g向量中，得到第二θ向量、第二
Figure FDA0003919648190000012
向量以及第二g向量；
将所述第二θ向量和所述第二
Figure FDA0003919648190000021
向量的转置进行相乘，并通过softmax函数进行激活，得到一激活向量；
将所述激活向量与所述第二g向量进行相乘后，进行卷积和跨跃连接操作，提升所述骨干网络对于特定目标的关注度。
3.根据权利要求2所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在进行卷积和跨跃连接操作时，包括：
对所述训练样本集中的图像所有点之间的响应值进行标准化，具体如公式1所示：
Figure FDA0003919648190000022
其中，f(xi,yi)为所述训练样本集中的图像x中i，j两个点相关关系的标量，g(xj)为所述训练样本集中的图像x中j点的值，c(x)为总样本集。
4.根据权利要求1所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在利用损失函数得到所述训练样本集的损失值时，包括：
利用中心点损失函数，并通过所述预测热力图得到所述训练样本集的中心点损失值，具体如公式2所示：
Figure FDA0003919648190000023
其中，Lk为中心点损失值，N为关键点个数，下标k为第k张图像，
Figure FDA0003919648190000024
为预测值，Yxyz为标注值，α是参数值为2的超参数，β是参数值为4的超参数。
5.根据权利要求4所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在利用损失函数得到所述训练样本集的损失值时，还包括：
利用L1损失函数，并通过所述预测目标尺寸图得到所述训练样本集的物体尺寸损失值，具体如公式3所示：
Figure FDA0003919648190000031
其中，所述损失函数包括L1损失函数，Lsize为物体尺寸损失值，
Figure FDA0003919648190000032
为预测的物体尺寸，s为标签真实尺寸。
6.根据权利要求5所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在利用损失函数得到所述训练样本集的损失值时，还包括：
利用L1损失函数，并通过所述预测目标中心点坐标图得到所述训练样本集的中心点偏移损失值，具体如公式4所示：
Figure FDA0003919648190000033
其中，Loff为中心点偏移损失值，
Figure FDA0003919648190000034
为预测的中心点偏移；
Figure FDA0003919648190000035
为实际中心点偏移；P为标签真实中心点坐标，
Figure FDA0003919648190000036
为预测的中心点坐标；
将中心点损失值Lk、物体尺寸损失值Lsize以及中心点偏移损失值Loff进行加权求和，得到所述训练样本集的损失值，具体如公式5所示：
Ldet＝Lk+λsizeLsize+λoffLoff (公式5)；
其中，Ldet为训练样本集的损失值，λsize＝0.1，λoff＝1为权值。
7.根据权利要求1所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在得到检测框的定位质量损失值时，包括：
利用MIOU损失函数得到定位质量损失值，包括：将所述预测目标尺寸图和所述预测目标中心点坐标图解码为预测框，通过所述预测框和真值框的重合程度得到所述定位质量损失值，具体如公式6所示：
Figure FDA0003919648190000037
其中，LMIOU为定位质量损失值，m1～m4分别为预测框和真值框四条边界中心点之间的曼哈顿距离，d为能够同时包含预测框和真值框的最小闭包区域的对角线的欧式距离，IOU为交并比。
8.根据权利要求7所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在获得所述曼哈顿距离和所述欧式距离时，具体如公式7和公式8所示：
Figure FDA0003919648190000041
d＝|x1-x2|+|y1-y2| (公式8)；
其中，(x1，y1)和(x2,y2)为点坐标。
9.根据权利要求1所述的基于改进CenterNet检测网络的无人机检测方法，其特征在于，在生成预测热力图时，包括：
将标识框进行缩放，得到缩放后的标识框；获取目标中心点坐标并取整，并将取整后的目标中心点坐标作为真值框目标中心；根据所述缩放后的标识框的大小，并通过椭圆高斯散射核将所述真值框目标中心投射到所述预测关键点热图上，生成所述预测热力图，具体如公式9、公式10以及公式11所示：
Figure FDA0003919648190000042
其中，Yxyc为椭圆高斯散射核，
Figure FDA0003919648190000043
为目标中心点坐标，(σx，σy)为具有自适应大小的目标标准差；
Figure FDA0003919648190000044
其中，W为标识框的宽度，min_iou为超参数，用于限制椭圆高斯散射核投射区域的面积；
Figure FDA0003919648190000051
其中，H为标识框的高度。
10.一种基于改进CenterNet检测网络的无人机检测系统，其特征在于，包括：
训练样本集构建单元：用于接收到目标无人机的视频流后，对所述视频流进行处理，得到若干图像，根据所述若干图像构建一训练样本集；
特征提取单元：用于将所述训练样本集输入到CenterNet检测网络的骨干网络中，通过自注意力模块提升所述骨干网络对于特定目标的关注度，并通过提升后的骨干网络对所述训练样本集中的图像进行下采样，得到若干特征图像；
预测单元：用于对所述若干特征图像进行上采样，分别得到预测关键点热图、预测目标尺寸图和预测目标中心点坐标图；
热力图生成单元：用于对所述预测关键点热图进行投射，生成预测热力图；
损失值获取单元：用于利用损失函数，并通过所述预测热力图、所述预测目标尺寸图以及所述预测目标中心点坐标图得到所述训练样本集的损失值，利用所述损失函数得到检测框的定位质量损失值；
输出单元：用于通过所述训练样本集的损失值和所述检测框的定位质量损失值优化所述CenterNet检测网络，并利用优化后的CenterNet检测网络输出预测目标类别和预测目标位置信息。
CN202211352996.3A 2022-11-01 2022-11-01 一种基于改进CenterNet检测网络的无人机检测方法及系统 Pending CN115661692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352996.3A CN115661692A (zh) 2022-11-01 2022-11-01 一种基于改进CenterNet检测网络的无人机检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352996.3A CN115661692A (zh) 2022-11-01 2022-11-01 一种基于改进CenterNet检测网络的无人机检测方法及系统

Publications (1)

Publication Number Publication Date
CN115661692A true CN115661692A (zh) 2023-01-31

Family

ID=84995938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352996.3A Pending CN115661692A (zh) 2022-11-01 2022-11-01 一种基于改进CenterNet检测网络的无人机检测方法及系统

Country Status (1)

Country Link
CN (1) CN115661692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861741A (zh) * 2023-03-01 2023-03-28 小米汽车科技有限公司 目标标定方法、装置、电子设备、存储介质及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统
CN114241053A (zh) * 2021-12-31 2022-03-25 北京工业大学 基于改进的注意力机制FairMOT多类别跟踪方法
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统
CN114241053A (zh) * 2021-12-31 2022-03-25 北京工业大学 基于改进的注意力机制FairMOT多类别跟踪方法
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈东伟 等: "基于脑电图信号在复杂场景下的新型联合算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861741A (zh) * 2023-03-01 2023-03-28 小米汽车科技有限公司 目标标定方法、装置、电子设备、存储介质及车辆
CN115861741B (zh) * 2023-03-01 2023-10-17 小米汽车科技有限公司 目标标定方法、装置、电子设备、存储介质及车辆

Similar Documents

Publication Publication Date Title
Zhang et al. CAD-Net: A context-aware detection network for objects in remote sensing imagery
CN109740413B (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
US20210248378A1 (en) Spatiotemporal action detection method
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN110246141B (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN104408482A (zh) 一种高分辨率sar图像目标检测方法
CN108830185B (zh) 基于多任务联合学习的行为识别及定位方法
Park et al. Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization
CN111507138A (zh) 图像识别方法、装置、计算机设备及存储介质
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN115661692A (zh) 一种基于改进CenterNet检测网络的无人机检测方法及系统
Saha et al. Unsupervised deep learning based change detection in Sentinel-2 images
Deng et al. Ship detection from optical satellite image using optical flow and saliency
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Yuan et al. Multi-objects change detection based on Res-Unet
CN115471782B (zh) 一种面向无人艇的红外舰船目标检测方法及装置
CN111767919A (zh) 一种多层双向特征提取与融合的目标检测方法
CN111401286B (zh) 一种基于部件权重生成网络的行人检索方法
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113378598A (zh) 一种基于深度学习的动态条码检测方法
Kao et al. Passenger detection, counting, and action recognition for self-driving public transport vehicles
Saini et al. SOLARNet: A single stage regression based framework for efficient and robust object recognition in aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination