CN114255407A - 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 - Google Patents
基于高分辨率的反无人机多目标识别和跟踪视频探测方法 Download PDFInfo
- Publication number
- CN114255407A CN114255407A CN202111516816.6A CN202111516816A CN114255407A CN 114255407 A CN114255407 A CN 114255407A CN 202111516816 A CN202111516816 A CN 202111516816A CN 114255407 A CN114255407 A CN 114255407A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- target
- image
- dbl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000256626 Pterygota <winged insects> Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于高分辨率的反无人机多目标识别和跟踪视频探测方法，所述方法包括：采用4K高清监控相机进行光电数据采集；获取训练样本并对训练样本标注；将样本分割为多个图像，将分割之后的图像进行标注；构建多尺度深度目标检测网络；将样本库的图像输入多尺度深度目标检测网络进行模型训练，获得训练好的参数模型；参数模型对分割后的图像和分割前的图像分别进行识别，综合图像分割前后的识别结果得到无人机位置信息；识别到无人机目标框后，将无人机目标锁定；本发明的优点在于：有效提升了视场范围，跟踪目标较容易，更快更方便的捕获无人机，有效提高识别的准确性，大大减少误报的可能，缩短无人机搜寻时间。
Description
技术领域
本发明涉及反无人机技术领域，更具体涉及基于高分辨率的反无人机多目标识别和跟踪视频探测方法。
背景技术
截至2019年底，全行业无人机拥有者注册用户达37.1万个，其中个人用户32.4万个，企业、事业、机关法人单位用户4.7万个，全行业注册无人机共39.2万架。随着无人机的兴起，引发许多“黑飞”事件，给人民生产生活和国家安全带来威胁。目前在涉及到国家机密和安全的机构，如监狱、机场、电厂、化工厂、军营、科研保密等单位对反无人机系统的需求尤为迫切。
目前市场的反无人机系统有雷达探测、无线电侦测和光电探测系统。现有的光电识别系统，例如中国专利公开号CN110398720A，公开的一种反无人机探测跟踪干扰系统及光电跟踪系统工作方法，一般在寻找无人机时需要较长时间或者出现误报。这是由于无人机的体积小，飞行高度高距离远，探测设备捕捉到距离较远(500米外)的无人机像素尺寸较小，如主流200万像素图像，无人机约占500个像素左右，然后在识别算法的预处理下图像归一化到更小的尺寸，如将200万像素图像压缩到608×608后，无人机仅有50个像素左右，大小在7×7左右，无人机图像的轮廓和纹理特征丧失，和天空中的鸟类、飞虫，建筑物上的玻璃反光等无法区分，给识别带来巨大困难，或需人工协助判定。为了获取较清晰的无人机画面，只能拉大相机的放大倍数，获取适合识别的无人机画面，但这样做会使画面视场变小，想要第一时间在画面中捕获无人机变得困难。而且视场变小后即使捕获了无人机，在进行无人机跟踪时，无人机也很容易飞出画面，给跟踪也带来困难。
发明内容
本发明所要解决的技术问题在于现有技术反无人机系统存在寻找无人机需要较长时间，难以捕获无人机，跟踪困难，误报的可能性大的问题。
本发明通过以下技术手段实现解决上述技术问题的：基于高分辨率的反无人机多目标识别和跟踪视频探测方法，所述方法包括：
步骤一：采用4K高清监控相机进行光电数据采集；
步骤二：获取训练样本并对训练样本标注；
步骤三：将样本中图像中出现无人机，且无人机像素小于110×90的高清图像分割为608×608大小的多个图像，将分割之后的图像进行标注，标注好的分割图像、不需要分割的图像以及分割之前的图像形成样本库；
步骤四：构建多尺度深度目标检测网络；
步骤五：将样本库的图像输入多尺度深度目标检测网络进行模型训练，获得训练好的参数模型；
步骤六：对实时采集的目标图像进行无人机识别判定，将图像进行608×608的分割处理，参数模型对分割后的图像和分割前的图像分别进行识别，综合图像分割前后的识别结果得到无人机位置信息；
步骤七：识别到无人机目标框后，连续三帧进行目标调整匹配，确认是同一无人机目标框后，驱动云台的跟踪伺服机进行自动跟踪目标，将无人机目标锁定。
本发明使用高清相机有效提升了视场范围，更快速的锁定目标，跟踪目标较容易，更快更方便的捕获无人机；训练图片时将原本大图片分割为有交叠的小图片，克服深度学习算法图片预处理时将图片压缩，远距离小目标特征丢失的问题，进一步提高了分辨率，有效提高识别的准确性，大大减少误报的可能，缩短无人机搜寻时间。
进一步地，所述4K高清监控相机分辨率为3840×2160，距离500米时可视画面范围为65m×36m，无人机占用像素为30×15。
进一步地，所述步骤二包括：通过公开的无人机数据集以及试点架设的4K高清监控相机采集的监控视频制作样本，使用LabelImg软件实现样本中无人机目标框的标注，删除没有出现无人机的图像帧，保留多种型号和姿态的无人机的图像。
进一步地，所述步骤三中分割的图像之间保留10像素以上重叠，使用LabelImg软件实现分割后的图像中无人机目标框的标注，标注过程中按照原图与分割后图像比例和相对位置关系进行位置坐标转换，使标注框适合分割后图像，将分割后的图像中完全没有无人机特征部位的图像删除。
进一步地，所述步骤四包括：通过对不同输出尺度进行融合建立无人机入侵场景中的用于检测图像中由于位置远近不同造成的不同尺寸的无人机信息的多尺度深度目标检测网络，所述多尺度深度目标检测网络为针对无人机入侵场景的YOLOv4网络；所述对不同输出尺度进行融合是通过对具有不同感受野的输出进行上采样后与相同尺度的输出进行融合。
更进一步地，所述YOLOV4网络包括CSPDarknet53结构、多个DBL结构及SPP结构，所述CSPDarknet53结构包括顺次级联的输入层、DBM结构以及顺序编号的第一CSPX结构至第四CSPX结构，第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构然后再输入到一个DBL结构之后进行上采样得到第一上采样结果，第三CSPX结构的输出结果输入到一个DBL结构之后与第一上采样结果融合之后输入5个级联的DBL结构然后一方面输入一个DBL结构之后经过上采样得到第二上采样结果，另一方面直接下采样得到第一下采样结果，再一方面输入一个DBL结构后卷积操作得到Y2输出，第二CSPX结构的输出结果输入到一个DBL结构后与第二上采样结果融合然后输入5个级联的DBL结构再次融合之后再次输入5个级联的DBL结构，然后一方面与第一下采样结果融合后输入一个DBL结构后卷积操作得到Y1输出，另一方面进行下采样得到第二下采样结果，第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构之后的输出结果与第二下采样结果融合然后经过5次卷积之后输入一个DBL结构再进行一次卷积之后得到Y3输出；所述DBL结构包括卷积层、归一化层、激活函数，卷积层、归一化层、激活函数顺次级联。
更进一步地，所述YOLOV4网络过滤掉识别到的目标框中置信度低于阈值的目标框，然后使用非极大值抑制算法去除所有目标框筛中重复的目标框。
进一步地，所述步骤六在对目标图像进行目标识别过程中，同时对分割后的图像和分割前的图像进行识别，分割前的图像的识别结果中，满足目标尺寸在110×90以上的目标保留，目标尺寸小于110×90的与其分割后的图像的识别结果合并，无法合并的丢弃处理，合并方法为对分割后的图像识别的目标位置转换到原图并与原图进行重叠目标合并。
进一步地，所述图像的识别和处理使用多核处理器加多线程运算。
更进一步地，所述步骤七包括：识别到无人机目标框后，连续三帧无人机目标框达到阈值要求，判定为有效识别，驱动云台的跟踪伺服机对无人机目标进行跟踪，并通过无人机在画面中比例大小以及相机缩放计算出无人机位置信息，使用卡尔曼滤波器对无人机位置进行跟踪，确定每个无人机轨迹，并将轨迹信息记录到数据库中。
本发明的优点在于：
(1)本发明使用高清相机有效提升了视场范围，更快速的锁定目标，跟踪目标较容易，更快更方便的捕获无人机；训练图片时将原本大图片分割为有交叠的小图片，克服深度学习算法图片预处理时将图片压缩，远距离小目标特征丢失的问题，进一步提高了分辨率，有效提高识别的准确性，大大减少误报的可能，缩短无人机搜寻时间。
(2)本发明使用多核多线程加速计算，解决增大分辨率和分割图片后带来计算量增大的性能问题，满足识别实时性需求。
附图说明
图1为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法的算法流程图；
图2为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络的结构示意图；
图3为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络中DBL结构的示意图；
图4为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络中DBM结构的示意图；
图5为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络中SPP结构的示意图；
图6为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络中CSPX结构(Csp_Resblock_body)的示意图；
图7为本发明实施例所公开的基于高分辨率的反无人机多目标识别和跟踪视频探测方法中YOLOv4网络中Res Unit结构的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于高分辨率的反无人机多目标识别和跟踪视频探测方法，所述方法包括：
S1：采用4K高清监控相机进行光电数据采集；本实施例中使用海康威视800万监控相机DS-2CD3T86FWDV2-I5S进行光电数据采集。将相机安装到云台架上以便和云台进行联动。相机分辨率为3840×2160，距离500米时可视画面范围约65m×36m，无人机占用像素约为30×15，边缘轮廓细节特征明显，满足光电识别样本要求。
S2：获取训练样本并对训练样本标注；通过公开的无人机数据集以及试点架设的高清监控视频制作样本，使用LabelImg软件实现无人机边界框的标注，删除没有出现无人机的图像帧，保留多种型号和姿态的无人机的图像。
S3：将样本中图像中出现无人机，且无人机像素小于110×90的高清图像分割为608×608大小的多个图像，将分割之后的图像进行标注，标注好的分割图像、不需要分割的图像以及分割之前的图像形成样本库；分割的图片之间保留10像素以上重叠，将无人机边界框的标注按照原图与分割后图像比例和相对位置关系进行位置坐标转换，使标注框适合分割后图像，分割过程中无人机图像可能被分割为若干块，其中完全没有无人机特征的部位的图片不参加训练，需要全部删除。
本实施例中：(1)收集开源的数据集包含有“drone”或者“UAV”标记的数据集，共有4,785张不同场景的图像，将标注格式转换成PASCAL VOC格式，保存在对应图片名称的XML文件中；(2)分别在研究所、监狱、行政中心、机场、车站设置反无人机监控高清相机，获取其监控视频，通过对监控视频进行抽帧采样并为采样图片进行重新命名，对图像进行标注，删除没有出现无人机的图像帧，收集得到10,911张图像；(3)将上述共15,696张样本图片中无人机的像素小于110×90的图片分割为608×608大小的多个小图片，最终收集到13,093张分割后样本图片。(4)合并上述三种样本，按照PASCAL VOC数据库形式分别放在命名为JPEGImages图片文件夹和Annotations标记文件夹下，建立共包含28,789张图像的无人机数据库，以9:1的比例划分为训练集和验证集，生成样本索引文件train.txt和val.txt，存放在ImageSets下Main文件夹中。(5)针对(2)中的样本采集，需要满足以下要求：1)从无人机入侵不同的场景(包括研究所、监狱、行政中心、机场、车站等)选择图像；2)图像中无人机应具有类型和姿态的多样性。
S4：构建多尺度深度目标检测网络；在本实施例中：如图2至图7所示，使用的基础深度目标检测网络为YOLOv4网络，YOLOv4使用CSPDarknet53作为骨干网络，CSPDarknet53是在Darknet53的每个大残差块上加上CSP，CSPDarknet53可以增强CNN的学习能力，能够在轻量化的同时保持准确性、降低计算瓶颈、降低内存成本。SPP为Neck的附加模块，增加了网络的感受野。对图2中网络结构图基本组成部件进行说明：DBM：由卷积层、批量归一化层、Mish激活函数三者组成。DBL：由卷积层(Conv Layer)、批量归一化层(BN Layer)、激活函数(Leakyrelu)三者组成。Res unit：残差网络结构，其中Add为张量相加，不会扩充维度，对应于cfg文件中的shortcut操作。CSPX：借鉴CSPNet网络结构，增加一个大的残差边(N个Resunit)将输入数据和最后的输出数据进行堆叠。SPP：采用1×1，5×5，9×9，13×13的最大池化(MAX Pool)的方式，进行多尺度融合。Concat：张量拼接，维度会扩充，和Yolov3中的解释一样，对应于cfg文件中的route操作。
如图2至图7所示，所述YOLOV4网络采用CSPX模块将基础层的特征映射进行划分，然后跨阶段层次结构将它们合并，轻量化网络的同时，增强了CNN的学习能力，保证识别的准确率；YOLOV4通过在FPN层(图2中虚线框内包括了FPN、上采样及下采样)后添加了自底向上的特征金字塔，先自上而下后自下而上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合，进一步提高特征提取能力。YOLOV4包括CSPDarknet53结构、多个DBL结构及SPP结构，所述CSPDarknet53结构包括顺次级联的输入层、DBM结构以及顺序编号的第一CSPX结构至第四CSPX结构，所述输入层卷积核大小608×608×3，所述DBM结构卷积核大小608×608×32，第一CSPX结构有1个且卷积核大小304×304×64，第二CSPX结构有8个且卷积核大小76×76×256，第三CSPX结构有8个且卷积核大小38×38×512，第四CSPX结构有4个且卷积核大小19×19×1024；第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构然后再输入到一个DBL结构之后进行上采样得到第一上采样结果，第三CSPX结构的输出结果输入到一个DBL结构之后与第一上采样结果融合之后输入5个级联的DBL结构然后一方面输入一个DBL结构之后经过上采样得到第二上采样结果，另一方面直接下采样得到第一下采样结果，再一方面输入一个DBL结构后卷积操作得到Y2输出，第二CSPX结构的输出结果输入到一个DBL结构后与第二上采样结果融合然后输入5个级联的DBL结构再次融合之后再次输入5个级联的DBL结构，然后一方面与第一下采样结果融合后输入一个DBL结构后卷积操作得到Y1输出，另一方面进行下采样得到第二下采样结果，第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构之后的输出结果与第二下采样结果融合然后经过5次卷积之后输入一个DBL结构再进行一次卷积之后得到Y3输出；所述DBL结构包括卷积层、归一化层、激活函数，卷积层、归一化层、激活函数顺次级联。YOLOV4网络中其他模块的具体结构参阅附图，在此不做过多描述。
S5：将样本库的图像输入多尺度深度目标检测网络进行模型训练，获得训练好的参数模型；在本实施例中训练阶段搭建算法训练环境，硬件要求为：配备NVIDIA GeForceGTX 2080Ti的GPU，内存32G以上的服务器，安装CUDA 10.0、CUDNN 7.6.0、Python3.6及相关依赖库、OpenCV3.4.2、Visual Studio 2013等；训练参数设置分别为：批处理图片数量Batch Size：64，初始学习速率Learning Rate：0.001，Anchor Numbers：9，迭代训练Iteration：200000次。
S6：对实时采集的目标图像进行无人机识别判定，将图像进行608×608的分割处理，参数模型对分割后的图像和分割前的图像分别进行识别，综合图像分割前后的识别结果得到无人机位置信息；在本实施例中：(1)在图像识别处理的过程中，使用多核处理器加多线程运算解决由于图像数量增多带来的计算实时性问题计算量陡增。(2)目标检测网络同时输出分割后的图像和原始图片的识别结果，并对所有识别到的目标首先使用CSPDarknet53参数阈值，过滤置信度低的目标框，然后使用非极大值抑制(NMS)算法将所有目标框筛去除重复的检测框。(3)一张一张图片进行识别结果整合操作：对图片分割后的图像识别结果按照原图与分割后图像比例和相对位置关系进行目标位置转换，转换到到原图上并进行重叠目标合并处理；对原始图像的识别结果进行如下处理：满足目标尺寸在110×90以上的保留，目标尺寸小于110×90的和分割后图片识别结果合并的进行合并，无法合并的丢弃处理。(5)从分割后图片识别到的目标框转换到原图的目标框时，对处于分割边缘的识别框需要判定和其他分割图片的位于相连接边缘有没有相互重合，如果有需要将识别框进行整合。此功能实现如下：
1)判定目标框是位于切割边缘位置附近，其边框与切割边缘距离不小于10像素。
2)对于在切割边缘位置的目标框，只要有相互交叉，即认为是同一目标框，将其合并为新目标框。新目标框大小为合并前目标框的并集。
S7：识别到无人机目标框后，连续三帧进行目标调整匹配，确认是同一无人机目标框后，驱动云台的跟踪伺服机进行自动跟踪目标，将无人机目标锁定。在本实施例中识别到无人机后，满足连续三帧目标框达到阈值要求，既判定为有效识别，驱动云台的跟踪伺服机对无人机目标进行跟踪，并通过无人机在画面大小以及相机缩放计算出无人机位置信息，使用卡尔曼滤波对位置信息进行跟踪，确定每个无人机轨迹，并将轨迹信息记录到数据库中。
卡尔曼跟踪算法为现有成熟算法，卡尔曼跟踪算法过程如下：设无人机在t时刻的坐标为(x，y)，以及在x轴与y轴方向的速度为vx,vy。
xt＝[x,y,vx,vy]
基于k-1时刻无人机状态预测无人机在k时刻状态X：
Xk|k-1＝AXk-1|k-1+BUk-1。其中A是状态转移矩阵，B为控制矩阵，Uk-1为k时刻外界对系统作用。
基于k-1的误差预测k时刻的误差P：
Pk|k-1＝APk-1|k-1AT+Q。其中Q为预测噪声协方差矩阵。
无人机状态校正为：
Kk＝Pk|k-1HT(HPk|k-1HT+R)-1。其中Kk为k时刻kalman增益，H为观察矩阵。R为测量噪声协方差矩阵。
无人机k时刻状态校正值，也是最终输出值：
Xk|k＝Xk|k-1+Kk(Zk-HXk|k-1)。其中Zk为K时刻观察值。
误差矩阵更新：
Pk|k＝(1-KkH)Pk|k-1
通过以上技术方案，本发明使用高清相机有效提升了视场范围，更快速的锁定目标，跟踪目标较容易，更快更方便的捕获无人机；训练图片时将原本大图片分割为有交叠的小图片，克服深度学习算法图片预处理时将所有图片压缩，远距离小目标特征丢失的问题，进一步提高了分辨率，有效提高识别的准确性，大大减少误报的可能，分辨率提高，缩短无人机搜寻时间。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述方法包括：
步骤一：采用4K高清监控相机进行光电数据采集；
步骤二：获取训练样本并对训练样本标注；
步骤三：将样本图像中出现无人机，且无人机像素小于110×90的高清图像分割为608×608大小的多个图像，将分割之后的图像进行标注，标注好的分割图像、不需要分割的图像以及分割之前的图像形成样本库；
步骤四：构建多尺度深度目标检测网络；
步骤五：将样本库的图像输入多尺度深度目标检测网络进行模型训练，获得训练好的参数模型；
步骤六：对实时采集的目标图像进行无人机识别判定，将图像进行608×608的分割处理，参数模型对分割后的图像和分割前的图像分别进行识别，综合图像分割前后的识别结果得到无人机位置信息；
步骤七：识别到无人机目标框后，连续三帧进行目标调整匹配，确认是同一无人机目标框后，驱动云台的跟踪伺服机进行自动跟踪目标，将无人机目标锁定。
2.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述4K高清监控相机分辨率为3840×2160，距离500米时可视画面范围为65m×36m，无人机占用像素为30×15。
3.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述步骤二包括：通过公开的无人机数据集以及试点架设的4K高清监控相机采集的监控视频制作样本，使用LabelImg软件实现样本中无人机目标框的标注，删除没有出现无人机的图像帧，保留多种型号和姿态的无人机的图像。
4.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述步骤三中分割的图像之间保留10像素以上重叠，使用LabelImg软件实现分割后的图像中无人机目标框的标注，标注过程中按照原图与分割后图像比例和相对位置关系进行位置坐标转换，使标注框适合分割后图像，将分割后的图像中完全没有无人机特征部位的图像删除。
5.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述步骤四包括：通过对不同输出尺度进行融合建立无人机入侵场景中的用于检测图像中由于位置远近不同造成的不同尺寸的无人机信息的多尺度深度目标检测网络，所述多尺度深度目标检测网络为针对无人机入侵场景的YOLOv4网络；所述对不同输出尺度进行融合是通过对具有不同感受野的输出进行上采样后与相同尺度的输出进行融合。
6.根据权利要求5所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述YOLOV4网络包括CSPDarknet53结构、多个DBL结构及SPP结构，所述CSPDarknet53结构包括顺次级联的输入层、DBM结构以及顺序编号的第一CSPX结构至第四CSPX结构，第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构然后再输入到一个DBL结构之后进行上采样得到第一上采样结果，第三CSPX结构的输出结果输入到一个DBL结构之后与第一上采样结果融合之后输入5个级联的DBL结构然后一方面输入一个DBL结构之后经过上采样得到第二上采样结果，另一方面直接下采样得到第一下采样结果，再一方面输入一个DBL结构后卷积操作得到Y2输出，第二CSPX结构的输出结果输入到一个DBL结构后与第二上采样结果融合然后输入5个级联的DBL结构再次融合之后再次输入5个级联的DBL结构，然后一方面与第一下采样结果融合后输入一个DBL结构后卷积操作得到Y1输出，另一方面进行下采样得到第二下采样结果，第四CSPX结构的输出结果依次经过两个DBL结构、SPP结构、三个DBL结构之后的输出结果与第二下采样结果融合然后经过5次卷积之后输入一个DBL结构再进行一次卷积之后得到Y3输出；所述DBL结构包括卷积层、归一化层、激活函数，卷积层、归一化层、激活函数顺次级联。
7.根据权利要求5所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述YOLOV4网络过滤掉识别到的目标框中置信度低于阈值的目标框，然后使用非极大值抑制算法去除所有目标框筛中重复的目标框。
8.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述步骤六在对目标图像进行目标识别过程中，同时对分割后的图像和分割前的图像进行识别，分割前的图像的识别结果中，满足目标尺寸在110×90以上的保留，目标尺寸小于110×90的和分割后图片与其分割后的图像的识别结果合并，无法合并的丢弃处理，合并方法为对分割后的图像识别的目标位置转换到原图并与原图进行重叠目标合并。
9.根据权利要求1所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述图像的识别和处理使用多核处理器加多线程运算。
10.根据权利要求7所述的基于高分辨率的反无人机多目标识别和跟踪视频探测方法，其特征在于，所述步骤七包括：识别到无人机目标框后，连续三帧无人机目标框达到阈值要求，判定为有效识别，驱动云台的跟踪伺服机对无人机目标进行跟踪，并通过无人机在画面中比例大小以及相机缩放计算出无人机位置信息，使用卡尔曼滤波器对无人机位置进行跟踪，确定每个无人机轨迹，并将轨迹信息记录到数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516816.6A CN114255407B (zh) | 2021-12-13 | 2021-12-13 | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516816.6A CN114255407B (zh) | 2021-12-13 | 2021-12-13 | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114255407A true CN114255407A (zh) | 2022-03-29 |
| CN114255407B CN114255407B (zh) | 2022-12-16 |
Family
ID=80792061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111516816.6A Active CN114255407B (zh) | 2021-12-13 | 2021-12-13 | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114255407B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973143A (zh) * | 2022-06-17 | 2022-08-30 | 湖南中科助英智能科技研究院有限公司 | 一种融合运动特征的低空飞行器鲁棒检测方法 |
| CN115984672A (zh) * | 2023-03-17 | 2023-04-18 | 成都纵横自动化技术股份有限公司 | 基于深度学习的高清图像内小目标的检测方法和装置 |
| CN116580290A (zh) * | 2023-07-11 | 2023-08-11 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
| CN117079196A (zh) * | 2023-10-16 | 2023-11-17 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816695A (zh) * | 2019-01-31 | 2019-05-28 | 中国人民解放军国防科技大学 | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 |
| CN113298053A (zh) * | 2021-07-26 | 2021-08-24 | 季华实验室 | 多目标无人机追踪识别方法、装置、电子设备及存储介质 |
| CN113344932A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种半监督的单目标视频分割方法 |
-
2021
- 2021-12-13 CN CN202111516816.6A patent/CN114255407B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816695A (zh) * | 2019-01-31 | 2019-05-28 | 中国人民解放军国防科技大学 | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 |
| CN113344932A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种半监督的单目标视频分割方法 |
| CN113298053A (zh) * | 2021-07-26 | 2021-08-24 | 季华实验室 | 多目标无人机追踪识别方法、装置、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973143A (zh) * | 2022-06-17 | 2022-08-30 | 湖南中科助英智能科技研究院有限公司 | 一种融合运动特征的低空飞行器鲁棒检测方法 |
| CN115984672A (zh) * | 2023-03-17 | 2023-04-18 | 成都纵横自动化技术股份有限公司 | 基于深度学习的高清图像内小目标的检测方法和装置 |
| CN115984672B (zh) * | 2023-03-17 | 2023-05-30 | 成都纵横自动化技术股份有限公司 | 基于深度学习的高清图像内小目标的检测方法和装置 |
| CN116580290A (zh) * | 2023-07-11 | 2023-08-11 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
| CN116580290B (zh) * | 2023-07-11 | 2023-10-20 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
| CN117079196A (zh) * | 2023-10-16 | 2023-11-17 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
| CN117079196B (zh) * | 2023-10-16 | 2023-12-29 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114255407B (zh) | 2022-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114255407B (zh) | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 | |
| CN110674746B (zh) | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 | |
| US10719940B2 (en) | Target tracking method and device oriented to airborne-based monitoring scenarios | |
| US10452951B2 (en) | Active visual attention models for computer vision tasks | |
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN110197231B (zh) | 基于可见光和红外光图像融合的鸟情探测设备及识别方法 | |
| CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
| EP2874097A2 (en) | Automatic scene parsing | |
| CN113705108B (zh) | 实时滑坡灾害监测预警方法及系统 | |
| CN104106260A (zh) | 基于地理图的控制 | |
| CN111126184B (zh) | 一种基于无人机视频的震后建筑物损毁检测方法 | |
| CN109241902B (zh) | 一种基于多尺度特征融合的山体滑坡检测方法 | |
| Ghorbanzadeh et al. | Dwelling extraction in refugee camps using cnn–first experiences and lessons learnt | |
| CN112686172B (zh) | 机场跑道异物检测方法、装置及存储介质 | |
| CN110147714B (zh) | 基于无人机的煤矿采空区裂缝识别方法及检测系统 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| CN108320304A (zh) | 一种无人机航拍视频媒体的自动编辑方法与系统 | |
| CN111444801A (zh) | 一种无人机红外目标实时检测方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN114038193B (zh) | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 | |
| CN112053391A (zh) | 一种基于动态三维模型的监控预警方法、系统及存储介质 | |
| CN116719339A (zh) | 一种基于无人机的电力线路巡检控制方法及系统 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| Ahmad et al. | FPN-GAN: multi-class small object detection in remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |