CN116630888A - 无人机监测方法、无人机监测装置、电子设备及存储介质 - Google Patents

无人机监测方法、无人机监测装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116630888A
CN116630888A CN202310595662.7A CN202310595662A CN116630888A CN 116630888 A CN116630888 A CN 116630888A CN 202310595662 A CN202310595662 A CN 202310595662A CN 116630888 A CN116630888 A CN 116630888A
Authority
CN
China
Prior art keywords
data
detection
feature map
aggregation
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310595662.7A
Other languages
English (en)
Inventor
李佳琳
王健宗
张东宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310595662.7A priority Critical patent/CN116630888A/zh
Publication of CN116630888A publication Critical patent/CN116630888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种无人机监测方法、无人机监测装置、电子设备及存储介质，属于人工智能技术领域，通过获取边缘端发送的图像序列，根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型，通过目标检测子模型对图像序列进行目标检测，得到目标检测数据，将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据，轨迹预测数据包括第一检测数据的第一预测数据，计算第一预测数据与第二检测数据之间的第一相似度数据，根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息，提高了对无人机监测的准确性。

Description

无人机监测方法、无人机监测装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种无人机监测方法、无人机监测装置、电子设备及存储介质。
背景技术
相关技术中，云端系统只能对接入系统的无人机进行监测，无法对未注册的无人机进行监测，且在高密度环境(如低空环境等等)中常常由于环境背景复杂、存在遮挡等原因导致对无人机监测的结果不准确。因此，如何提高对无人机监测的准确性，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种无人机监测方法、无人机监测装置、电子设备及存储介质，旨在提高对无人机监测的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种无人机监测方法，应用于边缘计算端，所述方法包括：
获取边缘端发送的图像序列；其中所述图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，所述下一图像帧是所述当前时刻的下一时刻图像帧；
根据所述图像序列从云端获取无人机监测模型，所述无人机监测模型包括目标检测子模型和目标跟踪子模型；
通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据；其中，所述目标检测数据包括所述当前图像帧的第一检测数据和所述下一图像帧的第二检测数据；
将所述第一检测数据输入所述目标跟踪子模型进行轨迹预测，得到轨迹预测数据；所述轨迹预测数据包括所述第一检测数据的第一预测数据；
计算所述第一预测数据与所述第二检测数据之间的第一相似度数据；
根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息。
在一些实施例，所述目标检测子模型包括特征提取网络、空间金字塔池化网络、路径聚合网络和分类检测网络，所述通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据，包括：
通过所述特征提取网络对所述图像序列进行特征提取，得到第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述第四初始特征图的特征图尺寸依次减小；
通过所述空间金字塔池化网络对所述第四初始特征图进行池化处理，得到池化特征图；
通过所述路径聚合网络对所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述池化特征图进行特征聚合，得到目标特征聚合图；
将所述目标特征聚合图输入所述分类检测网络进行目标检测，得到所述目标检测数据。
在一些实施例，所述通过所述路径聚合网络对所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述池化特征图进行特征聚合，得到目标特征聚合图，包括：
通过所述路径聚合网络所述第三初始特征图和所述池化特征图进行特征聚合，得到第一聚合特征图；
对所述第二初始特征图和所述第一聚合特征图进行特征聚合，得到第二聚合特征图；
对所述第一初始特征图和所述第二聚合特征图进行特征聚合，得到第三聚合特征图；
对所述第三聚合特征图和所述第二聚合特征图进行特征聚合，得到第四聚合特征图；
将所述第一聚合特征图和所述第四聚合特征图进行特征聚合，得到第五聚合特征图；
将所述池化特征图和所述第五聚合特征图进行特征聚合，得到第六聚合特征图；
根据所述第三聚合特征图、所述第四聚合特征图、所述第五聚合特征图和所述第六聚合特征图得到所述目标特征聚合图。
在一些实施例，所述目标特征聚合图包括所述第三聚合特征图、所述第四聚合特征图、所述第五聚合特征图和所述第六聚合特征图，所述分类检测网络包括第一分类检测层、第二分类检测层、第三分类检测层和第四分类检测层，所述将所述目标特征聚合图输入所述分类检测网络进行目标检测，得到所述目标检测数据，包括：
通过所述第一分类检测层对所述第三聚合特征图进行目标检测，得到第一检测子数据；所述第一检测子数据包括第三聚合特征图内第一对象的位置信息、置信度和类别特征；
通过所述第二分类检测层对所述第四聚合特征图进行目标检测，得到第二检测子数据；所述第二检测子数据包括第四聚合特征图内第二对象的位置信息、置信度和类别特征；
通过所述第三分类检测层对所述第五聚合特征图进行目标检测，得到第三检测子数据；所述第三检测子数据包括第五聚合特征图内第三对象的位置信息、置信度和类别特征；
通过所述第四分类检测层对所述第六聚合特征图进行目标检测，得到第四检测子数据；所述第四检测子数据包括第六聚合特征图内第四对象的位置信息、置信度和类别特征；
根据所述第一检测子数据、所述第二检测子数据、所述第三检测子数据和所述第四检测子数据得到所述目标检测数据。
在一些实施例，所述计算所述第一预测数据与所述第二检测数据之间的第一相似度数据，包括：
将所述第一预测数据与所述第二检测数据进行表观信息比对，得到表观比对数据；所述表观比对数据用于表征所述第一预测数据与所述第二检测数据的表观信息的相似程度；
将所述第一预测数据与所述第二检测数据进行运动信息比对，得到运动比对数据；所述运动比对数据用于表征所述第一预测数据与所述第二检测数据的运动信息的相似程度；
将所述表观比对数据和所述运动比对数据进行数据叠加，得到所述第一相似度数据。
在一些实施例，所述轨迹预测数据还包括所述第一检测数据的第二预测数据，所述根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息，包括：
若所述第一相似度数据小于预设的第一相似度阈值，则根据所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息；
若所述第一相似度数据大于或者等于所述第一相似度阈值，则将所述第二预测数据和所述第一预测数据进行合并，得到候选预测数据，计算所述候选预测数据与所述第二检测数据之间的第二相似度数据，根据所述第二相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息。
在一些实施例，所述根据所述第二相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息，包括：
若所述第二相似度数据大于预设的第二相似度阈值，则根据所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息；
若所述第二相似度数据小于或者等于所述第二相似度阈值，则对所述第二检测数据进行轨迹创建，得到轨迹数据，确定所述候选预测数据的数据状态，并根据所述轨迹数据、所述数据状态和所述候选预测数据对所述轨迹预测数据进行更新，得到所述监测信息。
为实现上述目的，本申请实施例的第二方面提出了一种无人机监测装置，应用于边缘计算端，所述装置包括：
第一获取模块，用于获取边缘端发送的图像序列；其中所述图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，所述下一图像帧是所述当前时刻的下一时刻图像帧；
第二获取模块，用于根据所述图像序列从云端获取无人机监测模型，所述无人机监测模型包括目标检测子模型和目标跟踪子模型；
目标检测模块，用于通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据；其中，所述目标检测数据包括所述当前图像帧的第一检测数据和所述下一图像帧的第二检测数据；
轨迹预测模块，用于将所述第一检测数据输入所述目标跟踪子模型进行轨迹预测，得到轨迹预测数据；所述轨迹预测数据包括所述第一检测数据的第一预测数据；
计算模块，用于计算所述第一预测数据与所述第二检测数据之间的第一相似度数据；
更新模块，用于根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的无人机监测方法。
为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机监测方法。
本申请提出的无人机监测方法、无人机监测装置、电子设备及计算机可读存储介质,其通过获取边缘端发送的图像序列，根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型，通过将无人机监测模型从云端下载到边缘计算端，能够对任意的无人机进行监测，解决了云端无法对未注册无人机进行监测的问题。进一步地，通过目标检测子模型对图像序列进行目标检测，得到目标检测数据，目标检测数据包括当前图像帧的第一检测数据和下一图像帧的第二检测数据，通过目标检测子模型能够在复杂背景下对无人机进行准确识别。更进一步地，将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据，轨迹预测数据包括第一检测数据的第一预测数据，以便于根据轨迹预测数据对无人机这种动态目标进行监测。最后，计算第一预测数据与第二检测数据之间的第一相似度数据，根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息，能够准确预测当前图像帧中的无人机在下一图像帧所处的位置，以对无人机的运动轨迹进行追踪，提高了对无人机监测的准确性。
附图说明
图1是本申请实施例提供的无人机监测方法的流程图；
图2是图1中的步骤S130的流程图；
图3是图2中的步骤S230的流程图；
图4是图2中的步骤S240的流程图；
图5是图1中的步骤S150的流程图；
图6是图1中的步骤S160的流程图；
图7是图6中的步骤S620的流程图；
图8是本申请实施例提供的无人机监测装置的结构示意图；
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
低空无人机是具有低空飞行、体积较小、慢速飞行等全部或者部分特征的无人机，其飞行高度在1000m以下、飞行速度低于200km/h、雷达反射面积小于2m2，是典型的“低小慢”，与传统无人机相比，低空无人机以其超低空飞行、慢速和小型的特点呈现出智能化、模块化和集群化的发展趋势。
相关技术中，采用高精度导航系统例如全球定位系统(Global PositioningSystem，GPS)、广播式自动监测系统(Automatic Dependent Surveillance-Broadcast，ADS-B)对低空无人机进行监测，但是在高密度环境中由于环境背景复杂、存在遮挡等原因，使高精度导航系统监测的无人机位置与真实无人机位置存在较大误差，导致对无人机监测的结果不准确。此外，用于监测无人机的云端系统只能对主动接入系统的无人机进行监测，无法对未注册的无人机进行监测。因此，如何提高对无人机监测的准确性，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种无人机监测方法、无人机监测装置、电子设备及计算机可读存储介质，旨在提高对无人机监测的准确性。
本申请实施例提供的无人机监测方法、无人机监测装置、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的无人机监测方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的无人机监测方法，涉及人工智能技术领域。本申请实施例提供的无人机监测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现无人机监测方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的无人机监测方法的一个可选的流程图，图1中的方法应用于边缘计算端，可以包括但不限于包括步骤S110至步骤S160。
步骤S110，获取边缘端发送的图像序列；其中图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，下一图像帧是当前时刻的下一时刻图像帧；
步骤S120，根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型；
步骤S130，通过目标检测子模型对图像序列进行目标检测，得到目标检测数据；其中，目标检测数据包括当前图像帧的第一检测数据和下一图像帧的第二检测数据；
步骤S140，将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据；轨迹预测数据包括第一检测数据的第一预测数据；
步骤S150，计算第一预测数据与第二检测数据之间的第一相似度数据；
步骤S160，根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息。
本申请实施例所示意的步骤S110至步骤S160，通过获取边缘端发送的图像序列，根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型，通过将无人机监测模型从云端下载到边缘计算端，能够对任意的无人机进行监测，解决了云端无法对未注册无人机进行监测的问题。进一步地，通过目标检测子模型对图像序列进行目标检测，得到目标检测数据，目标检测数据包括当前图像帧的第一检测数据和下一图像帧的第二检测数据，通过目标检测子模型能够在复杂背景下对无人机进行准确识别。更进一步地，将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据，轨迹预测数据包括第一检测数据的第一预测数据，以便于根据轨迹预测数据对无人机这种动态目标进行监测。最后，计算第一预测数据与第二检测数据之间的第一相似度数据，根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息，能够准确预测当前图像帧中的无人机在下一图像帧所处的位置，以对无人机的运动轨迹进行追踪，提高了对无人机监测的准确性。
在一些实施例的步骤S110中，无人机监测平台包括边缘端、边缘计算端和云端，其中边缘端主要通过雷达、摄像头等边缘设备采集监控区域的视频、声波和无线信号等信息，并将该信息以数据流的方式实时发送到边缘计算端；边缘计算端由多个边缘计算节点构成，在接收到边缘端发送的信息后，根据该信息调用从云端下载的AI算法包对无人机是否符合标准、是否合规飞行以及推测危害程度进行实时判断，以对非法飞行、推测危害程度较大或者不符合标准规格无人机进行实时监测，并将监测信息实时上报到云端；云端即云服务端，将边缘计算端上报的监测信息进行存储作为模型迭代的数据集，并通知相关人员根据监测信息对非法飞行、不符合规格标准或者推测危害程度较大的目标低空无人机进行处理。在通信覆盖方面，由于无线通信容易受到环境干扰、卫星通信成本较高、地面移动通信基础设施无法有效覆盖空中通信需求等原因，导致无人机与地面无法进行有效通信，从而使地面无法实时对无人机进行监测。本申请实施例通过无人机监测平台中边缘端、边缘计算端和云端的相互作用，能够实现对无人机进行实时监测。无人机监测平台可搭载反制设备，根据监测信息对无人机进行反制，相比于人工反制，大幅度缩短了反制时间。
需要说明的是，边缘计算端的物端硬件设备上部署有消息服务高可用的Kafka集群，通过将消息服务作为物端设备和云服务之间的网关，实现设备监测、消息服务及对应业务处理，即使某个边缘计算节点发生故障，也能保证无人机监测平台的高可用性和零停机时间，达到边缘计算节点与云服务器之间通信的高吞吐率。通过部署分布式消息集群，实现了边缘计算端与云服务端的实时消息通信，通过消息订阅实时响应云服务端的设备清单配置、物端设备状态上报、边缘端设备和软件开发工具包(Software Development Kit，SDK)管理、边缘端设备控制、AI算法调用和预警结果上报、算法服务升级、预警视频流上传、物端运行日志获取等功能，以使云服务端能够对部分高优先级预警信息进行判断和提醒。
需要进一步说明的是，边缘端的信息采集设备需要与各自的Kafka集群相集成，实现将数据发送给作为网关的Kafka群集，通过网关式的Kafka架构方案进行边缘计算设备与本地网关的通信，可以在Kafka集群网关上可以直接在本地进行分析，对数据进行过滤、转换处理，实现将数据发送并聚合到远程大型的Kafka集群中。
需要进一步说明的是，边缘计算端对应的终端软件平台具有消息推送、数据推送、算法服务接入、设备管理等功能，其中消息推送功能使边缘计算端能够自动接入消息中心，并自动接收推送到边缘服务的消息，数据推送功能将边缘计算端接收到的数据进行本地存储，实现数据的实时推送以及后置推送，算法服务接入功能包括算法库列表管理、算法库升级或回滚、算法参数配置等功能，设备管理功能包括动态接入边缘设备、动态修改设备、视频流动态拉取、视频流动态分发、设备远程控制、设备在线监测等功能。
在一些实施例中，边缘计算端接入边缘端的边缘设备，动态拉取边缘设备采集的图像序列，该图像序列可以是视频流或者多个图像，图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，下一图像帧是当前时刻的下一时刻图像帧。
在一些实施例的步骤S120中，边缘计算端从云端调用AI算法判断图像序列显示的无人机是否符合标准规格、是否正常飞行并推测该无人机的危害程度，若无人机不符合标准规格或者非法飞行或者危害程度较大，则从云端下载无人机监测模型，利用无人机监测模型对该无人机进行实时监测，其中无人机监测模型包括目标检测子模型和目标跟踪子模型。
请参阅图2，在一些实施例中，目标检测子模型包括特征提取网络、空间金字塔池化网络、路径聚合网络和分类检测网络，步骤S130可以包括但不限于包括步骤S210至步骤S240：
步骤S210，通过特征提取网络对图像序列进行特征提取，得到第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图的特征图尺寸依次减小；
步骤S220，通过空间金字塔池化网络对第四初始特征图进行池化处理，得到池化特征图；
步骤S230，通过路径聚合网络对第一初始特征图、第二初始特征图、第三初始特征图和池化特征图进行特征聚合，得到目标特征聚合图；
步骤S240，将目标特征聚合图输入分类检测网络进行目标检测，得到目标检测数据。
在一些实施例的步骤S210中，采用目标检测子模型默认尺寸的先验框会影响无人机检测的准确性，本申请实施例采用无监督聚类算法对目标检测子模型的参数进行优化，重新生成先验框。具体地，计算每一初始候选框与聚类中心框之间的相似度数据，根据相似度数据进行聚类生成先验框。相似度数据的计算方法如公式(1)所示。
d(bbox,ccentroid)＝1-IOU(bbox,ccentroid) 公式(1)
其中，bbox表示初始候选框；ccentroid表示聚类中心框；IOU(bbox,ccentroid)表示初始候选框与聚类中心框的交并比。
通过采用IOU进行相似度度量，而非采用欧式距离进行相似度度量，能够避免因初始候选框尺寸的不同造成聚类结果偏离。
由于低空无人机的体积较小，当图像帧中低空无人机的尺寸小于8×8时，会导致对低空无人机的检测准确率下降，为了增强目标检测的准确性，本申请实施例通过四个尺度的特征图增加图像的分辨率，以对低空无人机进行目标检测。将CSPDarknet-53网络作为主干特征提取网络对图像序列进行特征提取，CSPDarknet-53包括DarknetConv2D卷积模块、五个残差块和三个卷积层，DarknetConv2D卷积模块包括卷积层、归一化层和激活层，五个残差块分别是第一残差块、第二残差块、第三残差块、第四残差块和第五残差块，第一残差块包括1个残差单元，第二残差块包括2个残差单元，第三残差块和第四残差块均包括8个残差单元，第五残差块包括4个残差单元，每个残差单元是通过在Darknet-53的原有残差块上添加跨阶段局部网络(Cross Stage Partial Network，CSPNet)得到，通过CSPDarknet-53网络增强了目标检测子模型的学习能力，减少了计算量并降低了内存成本。
具体地，将图像序列中图像帧的尺寸统一裁剪为608×608，通过卷积层对图像帧进行二维卷积，得到卷积特征图，通过批归一化层对卷积特征图进行批归一化处理，得到归一化特征图，通过激活层对归一化特征图进行特征映射，得到初始特征图，通过第一残差块对初始特征图进行特征提取得到残差特征图，通过第二残差块对残差特征图进行特征提取，得到第一初始特征图，通过第三残差块对第一初始特征图进行特征提取，得到第二初始特征图，通过第四残差块对第二初始特征图进行特征提取，得到第三初始特征图，通过第五残差块对第三初始特征图进行特征提取，得到第四初始特征图，其中第一初始特征图的特征图尺寸为152×152，第二初始特征图的特征图尺寸为76×76，第三初始特征图的特征图尺寸为38×38，第四初始特征图的特征图尺寸为19×19。
下面对残差特征图的特征提取过程进行说明，第一残差块包括一个残差单元，该残差单元包括Darknet-53的原有残差块和三个卷积层，其中三个卷积层均为1×1卷积，分别是第一卷积层、第二卷积层和第三卷积层。通过第一卷积层对初始特征图进行卷积操作得到第一卷积特征，通过第二卷积层对初始特征图进行卷积操作得到第二卷积特征，通过原有残差块对第二卷积特征进行特征提取，得到第三卷积特征，通过跨阶段局部网络将第一卷积特征和第三卷积特征进行特征聚合，得到第四卷积特征，通过第三卷积层对第四卷积特征进行卷积操作，得到残差特征图。第二残差块、第三残差块、第四残差块和第五残差块中每个残差单元均与第一残差块残差单元的结构相同，此处不再赘述。通过第一卷积层和第二卷积层对初始特征图进行特征变换，能够实现特征通道数减半，减少了计算量，通过跨阶段局部网络能够得到更丰富的特征组合，提高了特征的表达能力。
需要说明的是，激活层采用自正则化非单调函数Mish函数作为激活函数，与LeakyReLU激活函数相比，Mish函数无上边界，能够避免因激活值过大而导致的函数饱和，提高目标检测的准确率，其中Mish的定义如公式(2)所示。
Mish＝x*tanh(ln(1+ex)) 公式(2)
在一些实施例的步骤S220中，通过CSPDarknet-53网络的三个卷积层对第四初始特征图进行卷积处理，将前一卷积层的输出作为后一卷积层的输入，得到卷积处理后的第四初始特征图。通过空间金字塔池化网络(spatial pyramid pooling，SPP)对卷积处理后的第四初始特征图进行最大池化处理，得到池化特征图。具体地，通过1×1、5×5、9×9和13×13的池化核分别对第四初始特征图进行最大池化处理，得到四个最大池化特征图，对该四个最大池化特征图进行特征聚合，得到池化特征图。通过SPP网络能够增加目标检测子模型的感受野，能够显著分离图像帧中重要的上下文特征，提高目标检测子模型对低空无人机的检测能力。
在一些实施例的步骤S230中，路径聚合网络(Path-Aggregation Network,PANet)采用自底向上的路径聚合策略，能够将高层语义特征传播到低层网络，将高层语义特征与底层语义特征融合，进一步增强了网络的特征提取能力。通过对第一初始特征图、第二初始特征图、第三初始特征图和池化特征图进行特征聚合，以完成多尺度特征融合，得到目标特征聚合图，提高了小目标语义信息的表征能力。
在一些实施例的步骤S240中，分类检测网络为YOLO检测头，将目标特征聚合图输入分类检测网络进行目标检测，得到目标检测数据，能够快速并准确地从图像帧中检测到低空无人机，实现了检测速度与检测准确度之间的高度平衡。
通过上述步骤S210至步骤S240，能够准确且快速地提取图像帧中的低空无人机特征，从而提高目标检测子模型对无人机进行识别的准确性和速度。
请参阅图3，在一些实施例中，步骤S230可以包括但不限于包括步骤S310至步骤S370：
步骤S310，通过路径聚合网络第三初始特征图和池化特征图进行特征聚合，得到第一聚合特征图；
步骤S320，对第二初始特征图和第一聚合特征图进行特征聚合，得到第二聚合特征图；
步骤S330，对第一初始特征图和第二聚合特征图进行特征聚合，得到第三聚合特征图；
步骤S340，对第三聚合特征图和第二聚合特征图进行特征聚合，得到第四聚合特征图；
步骤S350，将第一聚合特征图和第四聚合特征图进行特征聚合，得到第五聚合特征图；
步骤S360，将池化特征图和第五聚合特征图进行特征聚合，得到第六聚合特征图；
步骤S370，根据第三聚合特征图、第四聚合特征图、第五聚合特征图和第六聚合特征图得到目标特征聚合图。
在一些实施例的步骤S310中，对第三初始特征图进行上采样后，将上采样后的第三初始特征图和池化特征图进行特征聚合，得到第一聚合特征图，实现高层语义特征向低层的传播，以将多个不同尺度的特征进行连接，使得模型能够提取到不同大小的目标的特征信息，提高目标检测子模型对不同目标的检测性能。
在一些实施例的步骤S320中，对卷积处理后的第一聚合特征图进行上采样处理，对第二初始特征图和上采样处理后的第一聚合特征图进行特征聚合，得到第二聚合特征图。
在一些实施例的步骤S330中，对第一初始特征图和上采样处理后的第二聚合特征图进行特征聚合，得到第三聚合特征图。
在一些实施例的步骤S340中，对第三聚合特征图进行下采样处理，将下采样处理后的第三聚合特征图和第二聚合特征图进行特征聚合，得到第四聚合特征图。
在一些实施例的步骤S350中，将第一聚合特征图和下采样处理后的第四聚合特征图进行特征聚合，得到第五聚合特征图。
在一些实施例的步骤S360中，将池化特征图和下采样处理后的第五聚合特征图进行特征聚合，得到第六聚合特征图。
在一些实施例的步骤S370中，将第三聚合特征图、第四聚合特征图、第五聚合特征图和第六聚合特征图作为目标特征聚合图，其中第三聚合特征图、第四聚合特征图、第五聚合特征图和第六聚合特征图的特征图尺寸依次减小。
上述步骤S310至步骤S370，通过多尺度特征融合，能够提取到低空无人机更细粒度的语义特征，以从图像帧中准确识别到低空无人机。
请参阅图4，在一些实施例中，目标特征聚合图包括第三聚合特征图、第四聚合特征图、第五聚合特征图和第六聚合特征图，分类检测网络包括第一分类检测层、第二分类检测层、第三分类检测层和第四分类检测层，步骤S240可以包括但不限于包括步骤S410至步骤S450：
步骤S410，通过第一分类检测层对第三聚合特征图进行目标检测，得到第一检测子数据；第一检测子数据包括第三聚合特征图内第一对象的位置信息、置信度和类别特征；
步骤S420，通过第二分类检测层对第四聚合特征图进行目标检测，得到第二检测子数据；第二检测子数据包括第四聚合特征图内第二对象的位置信息、置信度和类别特征；
步骤S430，通过第三分类检测层对第五聚合特征图进行目标检测，得到第三检测子数据；第三检测子数据包括第五聚合特征图内第三对象的位置信息、置信度和类别特征；
步骤S440，通过第四分类检测层对第六聚合特征图进行目标检测，得到第四检测子数据；第四检测子数据包括第六聚合特征图内第四对象的位置信息、置信度和类别特征；
步骤S450，根据第一检测子数据、第二检测子数据、第三检测子数据和第四检测子数据得到目标检测数据。
在一些实施例的步骤S410中，第一分类检测层包括3×3卷积层和1×1卷积层，通过3×3卷积层对第三聚合特征图进行卷积处理，并通过1×1卷积层对卷积处理后的第三聚合特征图进行再次卷积处理，得到第一检测子数据，其中第一检测子数据包括第三聚合特征图内第一对象的位置信息、置信度和类别特征，位置信息包括边界框的中心点坐标、边界框的宽度和高度。通过在大尺度的特征图进行微小尺度的目标检测，能够准确从图像帧中准确检测出小目标。
在一些实施例的步骤S420中，通过第二分类检测层对第四聚合特征图进行小尺度目标检测，第二分类检测层与第一分类检测层进行目标检测的方法相同，此处不再赘述。
在一些实施例的步骤S430中，通过第三分类检测层对第五聚合特征图进行中尺度目标检测，第三分类检测层与第一分类检测层进行目标检测的方法相同，此处不再赘述。
在一些实施例的步骤S440中，通过第四分类检测层对第六聚合特征图进行大尺度目标检测，第四分类检测层与第一分类检测层进行目标检测的方法相同，此处不再赘述。
在一些实施例的步骤S450中，将第一检测子数据、第二检测子数据、第三检测子数据和第四检测子数据作为目标检测数据，从图像帧中识别出低空无人机。
上述步骤S410至步骤S450，通过四个YOLO检测头对图像帧进行微小尺度、小尺度、中尺度和大尺度目标检测，能够在复杂的环境背景下快速定位低空无人机，减小对无人机监测位置的误差。
在一些实施例的步骤S140中，若置信度小于预设的置信度阈值，则去除该置信度对应的边界框，并通过非极大值抑制算法去除重叠的边界框，得到筛选后的目标检测数据，筛选后的目标检测数据包括第一检测数据和第二检测数据。由于低空无人机易受环境影响，为了实现实时稳定的动态检测，将第一检测数据输入目标跟踪子模型，通过卡尔曼滤波算法进行轨迹预测，得到轨迹预测数据，轨迹预测数据包括第一检测数据的第一预测数据，第一预测数据是数据状态为确定状态的轨迹。需要说明的是，轨迹预测数据表示某一时刻低空无人机的轨迹状态，采用八维空间定义，该空间包含边界框中心位置(u,v)，纵横比γ，高度h，参数/>为u,v,γ,h相对于图像坐标的速度。
请参阅图5，在一些实施例中，步骤S150可以包括但不限于包括步骤S510至步骤S530：
步骤S510，将第一预测数据与第二检测数据进行表观信息比对，得到表观比对数据；表观比对数据用于表征第一预测数据与第二检测数据的表观信息的相似程度；
步骤S520，将第一预测数据与第二检测数据进行运动信息比对，得到运动比对数据；运动比对数据用于表征第一预测数据与第二检测数据的运动信息的相似程度；
步骤S530，将表观比对数据和运动比对数据进行数据叠加，得到第一相似度数据。
在一些实施例的步骤S510中，对第一预测数据和第二检测数据分别进行表观特征提取，得到第一预测数据的第一表观特征和第二检测数据的第二表观特征，通过最小余弦距离将第一预测数据与第二检测数据进行表观信息比对，以进行目标外观信息关联，来适应运动的不确定性。最小余弦距离的计算方法如公式(3)所示。
其中，d(1)(i,j)为最小余弦距离，rj是第二检测数据第j个检测框的表面特征描述符即第二表观特征，为对rj进行转置运算的结果，||rj||＝1,Rk＝/>用于存放第一预测数据第i个预测框最新的Lk个表面特征描述符即第一表观特征。
在一些实施例的步骤S520中，对第一预测数据和第二检测数据分别进行运动特征提取，得到第一预测数据的第一运动特征和第二检测数据的第二运动特征，通过马氏距离将第一预测数据与第二检测数据进行运动信息比对，以进行目标运动信息关联。马氏距离的计算方法如公式(4)所示。
其中，d(2)(i,j)表示马氏距离，dj表示第二检测数据第j个检测框的位置信息即第二运动特征，yi表示第一预测数据中第i个预测框的位置信息即第一运动特征，(dj-yi)T为对(dj-yi)进行转置运算的结果，si是检测位置与预测位置之间的协方差矩阵。
在一些实施例的步骤S530中，由于马氏距离仅适用于连续性运动，当运动的不确定性较高时，会使第一预测数据与第二检测数据之间的差异度较大，造成大量第一预测数据与第二检测数据不匹配，而采用最小余弦距离可以适应运动的不确定性，当表观比对数据小于预设的表观比对阈值，且运动比对数据小于预设的运动比对阈值，则将表观比对数据和运动比对数据进行数据叠加，得到第一相似度数据，当表观比对数据大于预设的表观比对阈值，或者运动比对数据大于预设的运动比对阈值，说明第一预测数据与第二检测数据之间的差异度较大，则删除第一预测数据。第一相似度数据的计算方法如公式(5)所示。
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j) 公式(5)
其中，ci,j为第一相似度数据。
通过上述步骤S510至步骤S530，能够得到第一预测数据与第二检测数据之间的相似度数据，以根据该相似度数据进行目标检测，能够在下一图像帧中检测到当前图像帧中的目标无人机，以对目标无人机进行动态检测，同时也提高了对长时间遮挡无人机进行监测的准确率。
请参阅图6，在一些实施例中，轨迹预测数据还包括第一检测数据的第二预测数据，步骤S160可以包括但不限于包括步骤S610或者步骤S620：
步骤S610，若第一相似度数据小于预设的第一相似度阈值，则根据第二检测数据对轨迹预测数据进行更新，得到监测信息；
步骤S620，若第一相似度数据大于或者等于第一相似度阈值，则将第二预测数据和第一预测数据进行合并，得到候选预测数据，计算候选预测数据与第二检测数据之间的第二相似度数据，根据第二相似度数据和第二检测数据对轨迹预测数据进行更新，得到监测信息。
在一些实施例的步骤S610中，第一相似度阈值处于表观比对阈值和运动比对阈值构成的交集，当第一相似度数据小于第一相似度阈值，说明第一预测数据与第二检测数据相似，第一预测数据与第二检测数据匹配成功，在下一图像帧中能够检测到当前图像帧中的低空无人机，则对第二检测数据进行卡尔曼滤波，得到新的轨迹预测数据，用新的轨迹预测数据更新原有的轨迹预测数据，以对无人机进行连续动态检测，得到监测信息。
在一些实施例的步骤S620中，若第一相似度数据大于或者等于第一相似度阈值，说明第一预测数据与第二检测数据未匹配，将第二预测数据和第一预测数据进行合并，得到候选预测数据，其中第二预测数据是数据状态为非确定状态的轨迹预测数据。计算候选预测数据与第二检测数据之间的交并比IOU数据，将交并比IOU数据作为第二相似度数据，根据第二相似度数据和第二检测数据对轨迹预测数据进行更新，得到监测信息。
通过上述步骤S610至步骤S620，能够对无人机进行连续的动态检测，并对长时间遮挡的无人机进行检测，提高对无人机监测的准确性。
请参阅图7，在一些实施例中，步骤S620可以包括但不限于包括步骤S710或者步骤S720：
步骤S710，若第二相似度数据大于预设的第二相似度阈值，则根据第二检测数据对轨迹预测数据进行更新，得到监测信息；
步骤S720，若第二相似度数据小于或者等于第二相似度阈值，则对第二检测数据进行轨迹创建，得到轨迹数据，确定候选预测数据的数据状态，并根据轨迹数据、数据状态和候选预测数据对轨迹预测数据进行更新，得到监测信息。
在一些实施例的步骤S710中，若第二相似度数据大于预设的第二相似度阈值，说明候选预测数据与第二检测数据匹配，则对第二检测数据进行卡尔曼滤波得到新的轨迹预测数据，根据新的轨迹预测数据对原有轨迹预测数据进行更新，得到监测信息。
在一些实施例的步骤S720中，若第二相似度数据小于或者等于第二相似度阈值，说明候选预测数据与第二检测数据不匹配，对第二检测数据进行轨迹创建即创建新的目标I D，得到轨迹数据，根据轨迹数据对轨迹预测数据进行更新，确定候选预测数据的数据状态，若数据状态为非确定状态，则删除候选预测数据，若数据状态为确定状态，则获取候选预测数据与第二检测数据的未匹配次数，若未匹配次数大于或者等于预设的未匹配次数阈值，则删除候选预测数据，若未匹配次数小于未匹配次数阈值，则根据候选预测数据对轨迹预测数据进行更新，得到监测信息。其中，确定状态是指预测数据与检测数据匹配的次数超过预设的匹配次数阈值，非确定状态是指预测数据与检测数据未匹配的次数超过预设的未匹配次数阈值。
通过上述步骤S710至步骤S720，能够对多个图像帧中的目标低空无人机进行动态检测，得到监测信息，提高了对低空无人机监测的准确性。
请参阅图8，本申请实施例还提供一种无人机监测装置，应用于边缘计算端，可以实现上述无人机监测方法，该装置包括：
第一获取模块810，用于获取边缘端发送的图像序列；其中图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，下一图像帧是当前时刻的下一时刻图像帧；
第二获取模块820，用于根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型；
目标检测模块830，用于通过目标检测子模型对图像序列进行目标检测，得到目标检测数据；其中，目标检测数据包括当前图像帧的第一检测数据和下一图像帧的第二检测数据；
轨迹预测模块840，用于将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据；轨迹预测数据包括第一检测数据的第一预测数据；
计算模块850，用于计算第一预测数据与第二检测数据之间的第一相似度数据；
更新模块860，用于根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息。
该无人机监测装置的具体实施方式与上述无人机监测方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述无人机监测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器910，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器920，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器920可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行本申请实施例的无人机监测方法；
输入/输出接口930，用于实现信息输入及输出；
通信接口940，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线950，在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息；
其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述无人机监测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的无人机监测方法、无人机监测装置、电子设备及计算机可读存储介质，其通过获取边缘端发送的图像序列，根据图像序列从云端获取无人机监测模型，无人机监测模型包括目标检测子模型和目标跟踪子模型，通过将无人机监测模型从云端下载到边缘计算端，能够对任意的无人机进行监测，解决了云端无法对未注册无人机进行监测的问题。进一步地，通过目标检测子模型对图像序列进行目标检测，得到目标检测数据，目标检测数据包括当前图像帧的第一检测数据和下一图像帧的第二检测数据，通过目标检测子模型能够在复杂背景下对无人机进行准确识别。更进一步地，将第一检测数据输入目标跟踪子模型进行轨迹预测，得到轨迹预测数据，轨迹预测数据包括第一检测数据的第一预测数据，以便于根据轨迹预测数据对无人机这种动态目标进行监测。最后，计算第一预测数据与第二检测数据之间的第一相似度数据，根据第一相似度数据和第二检测数据对轨迹预测数据进行更新，得到无人机的监测信息，能够准确预测当前图像帧中的无人机在下一图像帧所处的位置，以对无人机的运动轨迹进行追踪，提高了对无人机监测的准确性。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.无人机监测方法，其特征在于，应用于边缘计算端，所述方法包括：
获取边缘端发送的图像序列；其中所述图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，所述下一图像帧是所述当前时刻的下一时刻图像帧；
根据所述图像序列从云端获取无人机监测模型，所述无人机监测模型包括目标检测子模型和目标跟踪子模型；
通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据；其中，所述目标检测数据包括所述当前图像帧的第一检测数据和所述下一图像帧的第二检测数据；
将所述第一检测数据输入所述目标跟踪子模型进行轨迹预测，得到轨迹预测数据；所述轨迹预测数据包括所述第一检测数据的第一预测数据；
计算所述第一预测数据与所述第二检测数据之间的第一相似度数据；
根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息。
2.根据权利要求1所述的无人机监测方法，其特征在于，所述目标检测子模型包括特征提取网络、空间金字塔池化网络、路径聚合网络和分类检测网络，所述通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据，包括：
通过所述特征提取网络对所述图像序列进行特征提取，得到第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述第四初始特征图的特征图尺寸依次减小；
通过所述空间金字塔池化网络对所述第四初始特征图进行池化处理，得到池化特征图；
通过所述路径聚合网络对所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述池化特征图进行特征聚合，得到目标特征聚合图；
将所述目标特征聚合图输入所述分类检测网络进行目标检测，得到所述目标检测数据。
3.根据权利要求2所述的无人机监测方法，其特征在于，所述通过所述路径聚合网络对所述第一初始特征图、所述第二初始特征图、所述第三初始特征图和所述池化特征图进行特征聚合，得到目标特征聚合图，包括：
通过所述路径聚合网络所述第三初始特征图和所述池化特征图进行特征聚合，得到第一聚合特征图；
对所述第二初始特征图和所述第一聚合特征图进行特征聚合，得到第二聚合特征图；
对所述第一初始特征图和所述第二聚合特征图进行特征聚合，得到第三聚合特征图；
对所述第三聚合特征图和所述第二聚合特征图进行特征聚合，得到第四聚合特征图；
将所述第一聚合特征图和所述第四聚合特征图进行特征聚合，得到第五聚合特征图；
将所述池化特征图和所述第五聚合特征图进行特征聚合，得到第六聚合特征图；
根据所述第三聚合特征图、所述第四聚合特征图、所述第五聚合特征图和所述第六聚合特征图得到所述目标特征聚合图。
4.根据权利要求3所述的无人机监测方法，其特征在于，所述目标特征聚合图包括所述第三聚合特征图、所述第四聚合特征图、所述第五聚合特征图和所述第六聚合特征图，所述分类检测网络包括第一分类检测层、第二分类检测层、第三分类检测层和第四分类检测层，所述将所述目标特征聚合图输入所述分类检测网络进行目标检测，得到所述目标检测数据，包括：
通过所述第一分类检测层对所述第三聚合特征图进行目标检测，得到第一检测子数据；所述第一检测子数据包括第三聚合特征图内第一对象的位置信息、置信度和类别特征；
通过所述第二分类检测层对所述第四聚合特征图进行目标检测，得到第二检测子数据；所述第二检测子数据包括第四聚合特征图内第二对象的位置信息、置信度和类别特征；
通过所述第三分类检测层对所述第五聚合特征图进行目标检测，得到第三检测子数据；所述第三检测子数据包括第五聚合特征图内第三对象的位置信息、置信度和类别特征；
通过所述第四分类检测层对所述第六聚合特征图进行目标检测，得到第四检测子数据；所述第四检测子数据包括第六聚合特征图内第四对象的位置信息、置信度和类别特征；
根据所述第一检测子数据、所述第二检测子数据、所述第三检测子数据和所述第四检测子数据得到所述目标检测数据。
5.根据权利要求1所述的无人机监测方法，其特征在于，所述计算所述第一预测数据与所述第二检测数据之间的第一相似度数据，包括：
将所述第一预测数据与所述第二检测数据进行表观信息比对，得到表观比对数据；所述表观比对数据用于表征所述第一预测数据与所述第二检测数据的表观信息的相似程度；
将所述第一预测数据与所述第二检测数据进行运动信息比对，得到运动比对数据；所述运动比对数据用于表征所述第一预测数据与所述第二检测数据的运动信息的相似程度；
将所述表观比对数据和所述运动比对数据进行数据叠加，得到所述第一相似度数据。
6.根据权利要求1至5任一项所述的无人机监测方法，其特征在于，所述轨迹预测数据还包括所述第一检测数据的第二预测数据，所述根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息，包括：
若所述第一相似度数据小于预设的第一相似度阈值，则根据所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息；
若所述第一相似度数据大于或者等于所述第一相似度阈值，则将所述第二预测数据和所述第一预测数据进行合并，得到候选预测数据，计算所述候选预测数据与所述第二检测数据之间的第二相似度数据，根据所述第二相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息。
7.根据权利要求6所述的无人机监测方法，其特征在于，所述根据所述第二相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息，包括：
若所述第二相似度数据大于预设的第二相似度阈值，则根据所述第二检测数据对所述轨迹预测数据进行更新，得到所述监测信息；
若所述第二相似度数据小于或者等于所述第二相似度阈值，则对所述第二检测数据进行轨迹创建，得到轨迹数据，确定所述候选预测数据的数据状态，并根据所述轨迹数据、所述数据状态和所述候选预测数据对所述轨迹预测数据进行更新，得到所述监测信息。
8.无人机监测装置，其特征在于，应用于边缘计算端，所述装置包括：
第一获取模块，用于获取边缘端发送的图像序列；其中所述图像序列包括无人机在当前时刻的当前图像帧和下一图像帧，所述下一图像帧是所述当前时刻的下一时刻图像帧；
第二获取模块，用于根据所述图像序列从云端获取无人机监测模型，所述无人机监测模型包括目标检测子模型和目标跟踪子模型；
目标检测模块，用于通过所述目标检测子模型对所述图像序列进行目标检测，得到目标检测数据；其中，所述目标检测数据包括所述当前图像帧的第一检测数据和所述下一图像帧的第二检测数据；
轨迹预测模块，用于将所述第一检测数据输入所述目标跟踪子模型进行轨迹预测，得到轨迹预测数据；所述轨迹预测数据包括所述第一检测数据的第一预测数据；
计算模块，用于计算所述第一预测数据与所述第二检测数据之间的第一相似度数据；
更新模块，用于根据所述第一相似度数据和所述第二检测数据对所述轨迹预测数据进行更新，得到所述无人机的监测信息。
9.电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的无人机监测方法。
10.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的无人机监测方法。
CN202310595662.7A 2023-05-24 2023-05-24 无人机监测方法、无人机监测装置、电子设备及存储介质 Pending CN116630888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310595662.7A CN116630888A (zh) 2023-05-24 2023-05-24 无人机监测方法、无人机监测装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310595662.7A CN116630888A (zh) 2023-05-24 2023-05-24 无人机监测方法、无人机监测装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116630888A true CN116630888A (zh) 2023-08-22

Family

ID=87641288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310595662.7A Pending CN116630888A (zh) 2023-05-24 2023-05-24 无人机监测方法、无人机监测装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116630888A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557789A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种海上目标的智能化检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557789A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种海上目标的智能化检测方法及系统
CN117557789B (zh) * 2024-01-12 2024-04-09 国研软件股份有限公司 一种海上目标的智能化检测方法及系统

Similar Documents

Publication Publication Date Title
JP7254823B2 (ja) 物体の検出および特徴付けのためのニューラルネットワーク
KR20220119396A (ko) 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
CN111291697B (zh) 用于识别障碍物的方法和装置
CN117157678A (zh) 用于基于图的全景分割的方法和系统
US11724721B2 (en) Method and apparatus for detecting pedestrian
CN116630888A (zh) 无人机监测方法、无人机监测装置、电子设备及存储介质
CN111583716A (zh) 一种车辆避障方法、装置、电子设备及存储介质
CN117115414B (zh) 基于深度学习的无gps无人机定位方法及装置
CN114140841A (zh) 点云数据的处理方法、神经网络的训练方法以及相关设备
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN116678424A (zh) 高精度车辆定位、矢量化地图构建及定位模型训练方法
CN116583891A (zh) 用于车辆核查和验证的危急场景识别
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
US20230196749A1 (en) Training Neural Networks for Object Detection
CN113593256B (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN113269301A (zh) 基于神经网络估计多目标跟踪系统参数的方法及系统
US20240221215A1 (en) High-precision vehicle positioning
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN117152650B (zh) 海量视频的视频内容分析方法和视频事件信息网络
US20240220817A1 (en) System and method for self-supervised federated learning for automotive applications
EP3944137A1 (en) Positioning method and positioning apparatus
US20240135705A1 (en) Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination