CN116486290A - 一种无人机监测追踪方法、装置、电子设备及存储介质 - Google Patents
一种无人机监测追踪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116486290A CN116486290A CN202310739854.0A CN202310739854A CN116486290A CN 116486290 A CN116486290 A CN 116486290A CN 202310739854 A CN202310739854 A CN 202310739854A CN 116486290 A CN116486290 A CN 116486290A
- Authority
- CN
- China
- Prior art keywords
- tracking
- unmanned aerial
- aerial vehicle
- target
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 95
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013461 design Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机监测追踪方法、装置、电子设备及存储介质，本发明通过机器视觉技术来实现追踪目标的自动识别，并可在识别出追踪目标后，在无人机拍摄的图像序列中，实现追踪目标的跟踪处理，从而得到追踪目标在不同时刻时的像素坐标；如此，基于不同时刻时的像素坐标，则可得到追踪目标在不同时刻时的真实位置，而后，基于该真实位置，即可生成无人机的追踪指令，由此，本发明相比于传统技术，监测效率得到了大幅提高，且无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广。
Description
技术领域
本发明属于基于无人机的目标识别跟踪技术领域，具体涉及一种无人机监测追踪方法、装置、电子设备及存储介质。
背景技术
近年来，无人机系统在农业监控、濒危动物保护、物流运输、抢险救援、疾病监控、地质勘测、电力巡查、采访报道、影视作品拍摄等等方面都有应用，也正是由于其具有适用范围广、使用方式多样等优点，世界各国，尤其是发达国家目前都在积极扩展其应用范围与技术水平。
对于无人机平台而言，物体的检测、识别以及跟踪对其起到了十分重要的作用，而目前，对于目标的跟踪检测，需要在开始跟踪时，人工对无人机监控图像中的目标进行标记，然后对其进行追踪，同时，在跟踪时，还无法完全脱离手动控制，如此，前述方法则存在以下不足：由于需要人工识别目标物体，以进行标记来实现追踪操作，导致存在监测追踪效率较低的问题，且需要人工介入，其使用便捷性较差；由此，如何提供一种可自动识别出需要跟踪的目标，并可进行自动跟踪的无人机监测追踪方法，已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种无人机监测追踪方法、装置、电子设备及存储介质，用以解决现有技术所存在的监测追踪效率较低，以及使用便捷性较差的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种无人机监测追踪方法，包括：
获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；
获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；
获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；
根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；
基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
基于上述公开的内容，本发明预先构建有目标检测模型，其中，在实际应用时，只需要将无人机在第一时刻拍摄的第一监控图像输入至该目标检测模型中，即可得到第一监控图像中需要追踪的目标；而后，以该追踪目标为基础，并在下一时刻拍摄到第二监控图像时，在第二监控图像中对该追踪目标进行目标跟踪处理，即可得到其在第二监控图像中的像素坐标；接着，则可基于无人机的飞行姿态参数和该像素坐标，来实现坐标的转换，也就是将追踪目标的像素坐标，映射至世界坐标系，从而得到追踪目标在第二时刻时的世界坐标（即真实位置）；最后，根据追踪目标的真实位置，即可计算出无人机与追踪目标之间的距离，而基于该距离以及追踪目标的真实位置，即可生成包含有无人机移动位置和追踪线速度的追踪指令；如此，无人机则可基于该指令，来实现追踪目标的跟踪监测。
通过上述设计，本发明构建了目标检测模型，可通过机器视觉技术来实现待追踪目标的自动识别，并可在识别出待追踪目标后，在无人机拍摄的图像序列中，实现待追踪目标的跟踪处理，从而得到待追踪目标在不同时刻时的像素坐标；而后，根据像素坐标，则可得到待追踪目标的世界坐标；最后，基于待追踪目标的世界坐标，即可确定出包含有无人机的移动位置和追踪线速度的追踪指令，如此，基于该指令则可实现目标的自动追踪；由此，本发明相比于传统技术，无需人工识别目标物体，以及人工进行标记来实现追踪操作，监测效率得到了大幅提高，且本发明实现了无人机对目标的自动跟踪，无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广。
在一个可能的设计中，所述目标检测模型是以样本追踪目标的海量样本监控图像为输入，每个样本监控图像的目标检测识别结果为输出而训练得到的，其中，任一样本监控图像的目标检测识别结果包括对所述样本追踪目标的分类预测概率值，所述样本追踪目标在所述任一样本监控图像中的预测像素坐标，以及所述样本追踪目标在所述任一样本监控图像中所处先验框的预测宽度和预测高度；
其中，所述目标检测模型的训练损失函数为：
（1）
上述公式（1）中，表示所述训练损失函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的坐标误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的先验框标定误差函数，/>和/>均表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的检测置信度误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的目标识别误差函数。
在一个可能的设计中，所述坐标误差函数、所述先验框标定误差函数、所述目标识别误差函数以及两检测置信度误差函数，依次采用如下述公式（2）、公式（3）、公式（4）、公式（5）和公式（6）来计算得出；
（2）
（3）
（4）
（5）
（6）
上述公式（2）中，表示所述目标检测模型在以所述任一样本监控图像为输入进行训练时，所述目标检测模型在所述任一样本监控图像中的第n个网格的第m个先验框内进行所述样本追踪目标的目标检测的置信度，/>为所述目标检测模型将所述任一样本监控图像进行网格划分时所得到的网格总数，/>表示第n个网格中的先验框总数，/>表示所述样本追踪目标所在先验框的真实宽度，/>表示所述样本追踪目标所在先验框的真实高度，/>，/>依次表示所述样本追踪目标的真实像素坐标中的横坐标和纵坐标，/>，/>依次表示所述样本追踪目标的预测像素坐标中的横坐标和纵坐标；
上述公式（3）中，表示损失权重，/>表示所述样本追踪目标所在先验框的预测宽度，/>表示所述样本追踪目标所在先验框的预测高度；
上述公式（4）中，表示所述样本追踪目标属于类别s的分类预测概率值，/>表示所述样本追踪目标属于类别s的分类实际概率值，S表示类别集合；
上述公式（5）和公式（6）中，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的预测概率，/>表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的真实概率。
在一个可能的设计中，所述飞行姿态参数包括：所述无人机的偏航角、俯仰角以及横滚角；
其中，基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，包括：
基于所述无人机的偏航角、俯仰角以及横滚角，构建出所述无人机的机身坐标系相对于世界坐标系的坐标变换矩阵；
获取无人机上摄像头的内参矩阵，并对所述内参矩阵进行校正处理，以得到校正内参矩阵；
依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置。
在一个可能的设计中，对所述内参矩阵进行校正处理，以得到校正内参矩阵，包括：
获取无人机上摄像头的标定角度，基于所述标定角度，并按照如下公式（7），对所述内参矩阵进行校正处理，以得到校正内参矩阵；
（7）
上述公式（7）中，表示校正内参矩阵，/>表示所述内参矩阵中的摄像头焦距，依次表示所述无人机的摄像头对应相机坐标系的中心点的横坐标和纵坐标，/>为所述相机坐标系的x轴方向的物理尺寸，/>为所述相机坐标系的y轴方向的物理尺寸，/>表示所述标定角度，且所述标定角度是相机坐标系的z轴方向，相对于第二监控图像所在平面之间的偏离角度。
在一个可能的设计中，依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置，包括：
基于所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，并按照如下公式（8），计算出所述追踪目标的真实位置；
（8）
上述公式（8）中，依次表示所述追踪目标在世界坐标系下的横坐标、纵坐标和z轴坐标，/>依次表示所述追踪目标的像素坐标中的横坐标和纵坐标，/>表示摄像头的误差矩阵，/>表示所述校正内参矩阵，/>表示平移向量，/>表示所述坐标变换矩阵，E表示坐标变换比例系数；
其中，（9）
上述公式（9）中，表示所述无人机上的摄像头焦距，/>表示所述无人机的高度，表示所述俯仰角，/>表示所述横滚角，/>表示所述偏航角，/>表示投影系数。
在一个可能的设计中，基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，包括：
获取所述无人机的最大飞行速度，以基于所述最大飞行速度和所述追踪目标相对于所述无人机的距离，并按照如下公式（10），计算出所述无人机的追踪线速度；
（10）
上述公式（10）中，表示所述无人机的追踪线速度，d表示所述追踪目标相对于所述无人机的距离，/>表示所述最大飞行速度，/>表示最大距离阈值，/>表示最小距离阈值；
根据所述追踪目标的真实位置，确定出所述无人机的移动位置，并基于所述移动位置和所述无人机的追踪线速度，生成所述追踪指令。
第二方面，提供了一种无人机监测追踪装置，包括：
图像获取单元，用于获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；
图像获取单元，用于获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；
位置单元，用于获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；
距离确定单元，用于根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；
追踪单元，用于基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
第三方面，提供了另一种无人机监测追踪装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述无人机监测追踪方法。
第四方面，提供了一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述无人机监测追踪方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述无人机监测追踪方法。
有益效果：
（1）本发明构建了目标检测模型，可通过机器视觉技术来实现待追踪目标的自动识别，并可在识别出待追踪目标后，在无人机拍摄的图像序列中，实现待追踪目标的跟踪处理，从而得到待追踪目标在不同时刻时的像素坐标；而后，根据像素坐标，则可得到待追踪目标的世界坐标；最后，基于待追踪目标的世界坐标，即可确定出包含有无人机的移动位置和追踪线速度的追踪指令，如此，基于该指令则可实现目标的自动追踪；由此，本发明相比于传统技术，无需人工识别目标物体，以及人工进行标记来实现追踪操作，监测效率得到了大幅提高，且本发明实现了无人机对目标的自动跟踪，无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广。
附图说明
图1为本发明实施例提供的无人机监测追踪方法的步骤示意图；
图2为本发明实施例提供的无人机监测追踪装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的无人机监测追踪方法，通过机器视觉技术来实现追踪目标的自动识别，并可在识别出追踪目标后，在无人机拍摄的图像序列中，实现追踪目标的跟踪处理，从而得到追踪目标在不同时刻时的像素坐标；如此，基于不同时刻时的像素坐标，则可得到追踪目标在不同时刻时的真实位置，而后，基于该真实位置，即可生成无人机的追踪指令，由此，本发明相比于传统技术，监测效率得到了大幅提高，且无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广；同时，举例本方法可以但不限于在无人机侧运行，可以理解的是，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。
S1. 获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；在本实施例中，举例第一时刻可以但不限于为无人机的跟踪开始时刻，如此，相当于是使用目标检测模型，来对无人机跟踪开始时刻对应的第一监控图像进行目标检测，以自动识别出该第一监控图像中的追踪目标（如车辆、行人等目标）；而后，即可在无人机后续拍摄的图像中，来对该追踪目标进行跟踪检测处理，从而得到该追踪目标在不同时刻的监控图像中所对应的像素坐标，以便后续基于不同时刻的像素坐标，来确定出该追踪目标在不同时刻时的真实位置，从而依据追踪目标的真实位置，来控制无人机运动，以最终实现对追踪目标的自动跟踪监测。
可选的，举例目标检测模型可以但不限于采用YOLOv3神经网络模型，且该目标检测模型是以样本追踪目标的海量样本监控图像为输入，每个样本监控图像的目标检测识别结果为输出而训练得到的；在本实施例中，举例任一样本监控图像的目标检测识别结果可包括对该样本追踪目标的分类预测概率值，所述样本追踪目标在所述任一样本监控图像中的预测像素坐标，以及所述样本追踪目标在所述任一样本监控图像中所处先验框的预测宽度和预测高度；如此，即可基于前述参数，来计算YOLOv3神经网络模型的训练损失函数，从而判断模型是否达到最优。
更进一步的，本实施例对YOLOv3神经网络模型的训练损失函数进行了改进，通过加入目标检测的权重，来改变模型对检测目标尺寸的检测敏感度，从而使图像中的检测目标能够得到更好的关注；具体的，举例训练损失函数可以但不限于如下述公式（1）所示。
（1）
上述公式（1）中，表示所述训练损失函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的坐标误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的先验框标定误差函数，/>和/>均表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的检测置信度误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的目标识别误差函数；如此，本实施例所提供的训练损失函数，由5个函数项构成，且涵盖了目标检测的像素坐标、先验框、置信度以及目标识别的误差，基于此，以该损失函数来判定模型是否收敛，可提高模型训练的准确度。
在本实施例中，举例前述坐标误差函数、所述先验框标定误差函数、所述目标识别误差函数以及两检测置信度误差函数，依次采用如下述公式（2）、公式（3）、公式（4）、公式（5）和公式（6）来计算得出。
其中，（2）
（3）
（4）
（5）
（6）
上述公式（2）中，表示所述目标检测模型在以所述任一样本监控图像为输入进行训练时，所述目标检测模型在所述任一样本监控图像中的第n个网格的第m个先验框内进行所述样本追踪目标的目标检测的置信度，/>为所述目标检测模型将所述任一样本监控图像进行网格划分时所得到的网格总数，/>表示第n个网格中的先验框总数，/>表示所述样本追踪目标所在先验框的真实宽度，/>表示所述样本追踪目标所在先验框的真实高度，/>，/>依次表示所述样本追踪目标的真实像素坐标中的横坐标和纵坐标，/>，/>依次表示所述样本追踪目标的预测像素坐标中的横坐标和纵坐标；在本实施例中，/>则表示加入的目标检测的权重。
上述公式（3）中，表示损失权重（在本实施例中，可以但不限于取0.5），/>表示所述样本追踪目标所在先验框的预测宽度，/>表示所述样本追踪目标所在先验框的预测高度；上述公式（4）中，/>表示所述样本追踪目标属于类别s的分类预测概率值，/>表示所述样本追踪目标属于类别s的分类实际概率值，S表示类别集合；上述公式（5）和公式（6）中，/>表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的预测概率，/>表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的真实概率。
在本实施例中，前述公式（2）至公式（6）中的各个真实值，则是该任一样本监控图像的标签数据，是预先进行标注得到的。
由此通过前述对目标检测模型的详细阐述，一方面，通过该目标检测模型，可实现追踪目标的自动识别，从而避免了传统技术需要人工识别目标物体，以及人工进行标记来实现追踪操作的问题，其监测效率得到了大幅提高；另一方面，通过将检测目标的权重引入至损失函数，可使图像中的检测目标能够得到更好的关注，如此，可提高检测的准确性，基于此，本发明在提高监测效率的同时，保证了目标识别的准确性，可为后续目标的追踪，提供精准数据。
在完成无人机对应追踪目标的自动识别后，则可获取无人机在第二时刻拍摄的第二监控图像，从而在第二监控图像中对该追踪目标进行跟踪检测，以得出其在第二监控图像中的像素坐标；如此，即可根据其对应的像素坐标，计算出追踪目标在第二时刻时的真实位置；具体的，对追踪目标进行跟踪检测处理的过程，可以但不限于如下述步骤S2所示。
S2. 获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；在本实施例中，举例可以但不限于采用CAED目标跟踪算法来实现对追踪目标的跟踪检测，其中，CAED目标跟踪算法是基于目标的轮廓，实现在每帧图像中对追踪目标的识别与跟踪，其可在每一帧图像中都快速检测到目标物体（即追踪目标）的像素中心（即像素坐标）；如此，基于该算法，即可实现无人机在不同时刻时所拍摄图像中，追踪目标的跟踪，从而得到其在每张图像中的像素坐标；当然，也可使用基于卡尔曼滤波器或粒子滤波器的目标跟踪算法来进行追踪目标的跟踪检测，同时，前述算法都是图像中目标跟踪检测的常用算法，其原理不再赘述。
在得到追踪目标在第二监控图像中的像素坐标后，即可基于该像素坐标来进行坐标转换，从而得到追踪目标在第二时刻时所处的真实位置，以便基于追踪目标在第二时刻的真实位置，来得出无人机的追踪指令，其中，坐标转换过程可以但不限于如下述步骤S3所示。
S3. 获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；在具体应用时，举例前述飞行姿态参数可以但不限于包括有所述无人机的偏航角、俯仰角以及横滚角，其中，前述飞行姿态参数可通过无人机在x、y、z 轴上的加速度向量与陀螺仪向量计算得到，当然，无人机可自动输出该飞行姿态参数。
同时，前述追踪目标的真实位置的计算过程，可以但不限于如下述步骤S31～S33所示。
S31. 基于所述无人机的偏航角、俯仰角以及横滚角，构建出所述无人机的机身坐标系相对于世界坐标系的坐标变换矩阵；在本实施例中，可以但不限于采用如下公式（11）来构建出坐标变换矩阵。
（11）
上述公式（11）中，表示所述坐标变换矩阵，/>表示所述俯仰角，/>表示所述横滚角，/>表示所述偏航角。
在基于前述公式（11），构建出无人机的机身坐标系相对于世界坐标系的坐标变换矩阵后，则可对无人机上摄像头的内参矩阵进行校正，其校正过程可以但不限于如下述步骤S32所示。
S32. 获取所述无人机上摄像头的内参矩阵，并对所述内参矩阵进行校正处理，以得到校正内参矩阵；在本实施例中，前述内参矩阵可预先存储至无人机中，且其可以但不限于在对摄像头进行标定时获取，其中，摄像头的标定技术为常用技术，其原理不再赘述。
由于线性的摄像头模型往往默认相机坐标系的z轴与图像坐标系相垂直（即摄像头拍摄图像所在平面相垂直）；但是，在实际应用过程中，二者并不是完全垂直的，因此，若不考虑到二者所造成的偏角误差，那么，在坐标转换时，则会产生较大的误差，如此，本实施例则先标定无人机上摄像头对应相机坐标系的z轴，相对于其采集到的监控图像所在平面之间的偏离角度，并基于此，来进行内参矩阵的校正处理。
具体的，则先获取无人机上摄像头的标定角度，然后基于所述标定角度，并按照如下公式（7），对所述内参矩阵进行校正处理，以得到校正内参矩阵。
（7）
上述公式（7）中，表示校正内参矩阵，/>表示所述内参矩阵中的摄像头焦距，依次表示所述无人机的摄像头对应相机坐标系的中心点的横坐标和纵坐标，/>为所述相机坐标系的x轴方向的物理尺寸，/>为所述相机坐标系的y轴方向的物理尺寸，/>表示所述标定角度，且所述标定角度是相机坐标系的z轴方向，相对于第二监控图像所在平面之间的偏离角度；在本实施例中，图像坐标系的x轴和y轴相当于是第二监控图像的宽度和高度方向，如此，标定角度则相当于是第二监控图像所在平面的偏离角度，（当然，其余各个监控图像也是如此）；而后，基于前述公式（7），即可完成内参矩阵的校正；在本实施例中，标定角度预先设置在无人机内，使用于调用即可。
在完成无人机上摄像头的内参矩阵的校正处理后，则可进行追踪目标在第二时刻时的真实位置的计算，其中，其计算过程可以但不限于如下述步骤S33所示。
S33. 依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置；在本实施例中，可以但不限于按照如下公式（8），来计算出所述追踪目标的真实位置。
（8）
上述公式（8）中，依次表示所述追踪目标在世界坐标系下的横坐标、纵坐标和z轴坐标，/>依次表示所述追踪目标的像素坐标中的横坐标和纵坐标，/>表示摄像头的误差矩阵，/>表示所述校正内参矩阵，/>表示平移向量（也是在摄像头标定时所获取的，可预先存储至无人机中），/>表示所述坐标变换矩阵，E表示坐标变换比例系数；
其中，（9）
上述公式（9）中，表示所述无人机上的摄像头焦距，/>表示所述无人机的高度，表示所述俯仰角，/>表示所述横滚角，/>表示所述偏航角，/>表示投影系数
更进一步的，举例误差矩阵可以但不限于采用如下公式（12）计算得到：
（12）
上述公式（12）中，表示摄像头的安装误差角度，/>依次表示摄像头中心坐标，与无人机中心坐标之间差值（即横坐标、纵坐标以及z轴坐标之间的差值）；当然，前述安装误差角度，以及摄像头中心坐标与无人机中心坐标之间差值，均为无人机的固有属性，可直接预设至无人机中。
由此通过前述步骤S31～S33，即可基于追踪目标在第二监控图像中的像素坐标，计算出其处理第二时刻时的真实位置；而后，基于该真实位置，即可生成无人机的追踪指令，如下述步骤S4和步骤S5所示。
S4. 根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；在本实施例中，根据真实位置以及无人机本身的位置（均是指世界坐标系中的坐标），即可计算出二者间的距离；而后，依据二者间的距离，则可计算出无人机的追踪线速度，如下述步骤S5所示。
S5. 基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置；在具体应用时，举例可以但不限于采用如下步骤S51和步骤S52，来计算出无人机的追踪线速度以及移动位置。
S51. 获取所述无人机的最大飞行速度，以基于所述最大飞行速度和所述追踪目标相对于所述无人机的距离，并按照如下公式（10），计算出所述无人机的追踪线速度。
（10）
上述公式（10）中，表示所述无人机的追踪线速度，d表示所述追踪目标相对于所述无人机的距离，/>表示所述最大飞行速度，/>表示最大距离阈值，/>表示最小距离阈值；在本实施例中，最大飞行速度、最大距离阈值以及最小距离阈值，均预设至无人机中；同时，追踪线速度是指无人机在追踪目标移动方向上的速度，其正负代表着运动方向，基于此，即可依据追踪目标与无人机之间的距离，与最大和最小距离阈值之间的关系，来调整其运动方向；更进一步的，当d处于/>之间时，则无需调整无人机的速度以及方向，按照原本线速度运动即可。
在计算出无人机的追踪线速度后，则可依据追踪目标的真实位置，来确定出无人机的移动位置，如下述步骤S52所示。
S53. 根据所述追踪目标的真实位置，确定出所述无人机的移动位置，并基于所述移动位置和所述无人机的追踪线速度，生成所述追踪指令；在本实施例中，可以但不限于设置无人机相对于追踪目标处于固定的水平距离、高度等等（为预设参数），如此，基于前述真实位置和预测参数，则可确定出无人机的移动位置，从而使无人机与追踪目标之间保持固定的距离；而后，利用前述移动位置和追踪线速度，即可组成追踪指令；基于此，无人机即可以该追踪线速度，向其对应的移动位置处运动，从而完成对追踪目标的跟踪监测。
当然，在本实施例中，追踪目标在处于第二时刻之后的跟踪方法，与前述第一时刻与第二时刻之间的跟踪方法相同，其原理不再赘述；如此，按照该方法，不断的确定出追踪目标在无人机所拍摄的每一帧图像中的像素坐标，即可完成对追踪目标的不间断跟踪监测。
由此通过前述设计，本发明通过机器视觉技术来实现追踪目标的自动识别，并可在识别出追踪目标后，在无人机拍摄的图像序列中，实现追踪目标的跟踪处理，从而得到追踪目标在不同时刻时的像素坐标；如此，基于不同时刻时的像素坐标，则可得到追踪目标在不同时刻时的真实位置，而后，基于该真实位置，即可生成无人机的追踪指令，由此，本发明相比于传统技术，监测效率得到了大幅提高，且无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广。
如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的无人机监测追踪方法的硬件装置，包括：
图像获取单元，用于获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标。
图像获取单元，用于获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后。
位置单元，用于获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标。
距离确定单元，用于根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离。
追踪单元，用于基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第二方面，于此不再赘述。
如图3所示，本实施例第三方面提供了另一种无人机监测追踪装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的无人机监测追踪方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的无人机监测追踪方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例第一方面所述的无人机监测追踪方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的无人机监测追踪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种无人机监测追踪方法，其特征在于，包括：
获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；
获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；
获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；
根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；
基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
2.根据权利要求1所述的方法，其特征在于，所述目标检测模型是以样本追踪目标的海量样本监控图像为输入，每个样本监控图像的目标检测识别结果为输出而训练得到的，其中，任一样本监控图像的目标检测识别结果包括对所述样本追踪目标的分类预测概率值，所述样本追踪目标在所述任一样本监控图像中的预测像素坐标，以及所述样本追踪目标在所述任一样本监控图像中所处先验框的预测宽度和预测高度；
其中，所述目标检测模型的训练损失函数为：
（1）
上述公式（1）中，表示所述训练损失函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的坐标误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的先验框标定误差函数，/>和/>均表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的检测置信度误差函数，/>表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的目标识别误差函数。
3. 根据权利要求2所述的方法，其特征在于，所述坐标误差函数、所述先验框标定误差函数、所述目标识别误差函数以及两检测置信度误差函数，依次采用如下述公式（2）、公式（3）、公式（4）、公式（5）和公式（6）来计算得出；
（2）
（3）
（4）
（5）
（6）
上述公式（2）中，表示所述目标检测模型在以所述任一样本监控图像为输入进行训练时，所述目标检测模型在所述任一样本监控图像中的第n个网格的第m个先验框内进行所述样本追踪目标的目标检测的置信度，/>为所述目标检测模型将所述任一样本监控图像进行网格划分时所得到的网格总数，/>表示第n个网格中的先验框总数，/>表示所述样本追踪目标所在先验框的真实宽度，/>表示所述样本追踪目标所在先验框的真实高度，/>，/>依次表示所述样本追踪目标的真实像素坐标中的横坐标和纵坐标，/>，/>依次表示所述样本追踪目标的预测像素坐标中的横坐标和纵坐标；
上述公式（3）中，表示损失权重，/>表示所述样本追踪目标所在先验框的预测宽度，表示所述样本追踪目标所在先验框的预测高度；
上述公式（4）中，表示所述样本追踪目标属于类别s的分类预测概率值，/>表示所述样本追踪目标属于类别s的分类实际概率值，S表示类别集合；
上述公式（5）和公式（6）中，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的预测概率，/>表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的真实概率。
4.根据权利要求1所述的方法，其特征在于，所述飞行姿态参数包括：所述无人机的偏航角、俯仰角以及横滚角；
其中，基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，包括：
基于所述无人机的偏航角、俯仰角以及横滚角，构建出所述无人机的机身坐标系相对于世界坐标系的坐标变换矩阵；
获取无人机上摄像头的内参矩阵，并对所述内参矩阵进行校正处理，以得到校正内参矩阵；
依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置。
5.根据权利要求4所述的方法，其特征在于，对所述内参矩阵进行校正处理，以得到校正内参矩阵，包括：
获取无人机上摄像头的标定角度，基于所述标定角度，并按照如下公式（7），对所述内参矩阵进行校正处理，以得到校正内参矩阵；
（7）
上述公式（7）中，表示校正内参矩阵，/>表示所述内参矩阵中的摄像头焦距，/>依次表示所述无人机的摄像头对应相机坐标系的中心点的横坐标和纵坐标，/>为所述相机坐标系的x轴方向的物理尺寸，/>为所述相机坐标系的y轴方向的物理尺寸，/>表示所述标定角度，且所述标定角度是相机坐标系的z轴方向，相对于第二监控图像所在平面之间的偏离角度。
6.根据权利要求4所述的方法，其特征在于，依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置，包括：
基于所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，并按照如下公式（8），计算出所述追踪目标的真实位置；
（8）
上述公式（8）中，依次表示所述追踪目标在世界坐标系下的横坐标、纵坐标和z轴坐标，/>依次表示所述追踪目标的像素坐标中的横坐标和纵坐标，/>表示摄像头的误差矩阵，/>表示所述校正内参矩阵，/>表示平移向量，/>表示所述坐标变换矩阵，E表示坐标变换比例系数；
其中，（9）
上述公式（9）中，表示所述无人机上的摄像头焦距，/>表示所述无人机的高度，/>表示所述俯仰角，/>表示所述横滚角，/>表示所述偏航角，/>表示投影系数。
7.根据权利要求1所述的方法，其特征在于，基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，包括：
获取所述无人机的最大飞行速度，以基于所述最大飞行速度和所述追踪目标相对于所述无人机的距离，并按照如下公式（10），计算出所述无人机的追踪线速度；
（10）
上述公式（10）中，表示所述无人机的追踪线速度，d表示所述追踪目标相对于所述无人机的距离，/>表示所述最大飞行速度，/>表示最大距离阈值，/>表示最小距离阈值；
根据所述追踪目标的真实位置，确定出所述无人机的移动位置，并基于所述移动位置和所述无人机的追踪线速度，生成所述追踪指令。
8.一种无人机监测追踪装置，其特征在于，包括：
图像获取单元，用于获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；
图像获取单元，用于获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；
位置单元，用于获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；
距离确定单元，用于根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；
追踪单元，用于基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的无人机监测追踪方法。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的无人机监测追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739854.0A CN116486290B (zh) | 2023-06-21 | 2023-06-21 | 一种无人机监测追踪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739854.0A CN116486290B (zh) | 2023-06-21 | 2023-06-21 | 一种无人机监测追踪方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486290A true CN116486290A (zh) | 2023-07-25 |
| CN116486290B CN116486290B (zh) | 2023-09-05 |
Family
ID=87227191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310739854.0A Active CN116486290B (zh) | 2023-06-21 | 2023-06-21 | 一种无人机监测追踪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486290B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117405563A (zh) * | 2023-12-14 | 2024-01-16 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101656519B1 (ko) * | 2016-07-13 | 2016-09-09 | 아이디어주식회사 | 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기 |
| CN108731587A (zh) * | 2017-04-14 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN108920996A (zh) * | 2018-04-10 | 2018-11-30 | 泰州职业技术学院 | 一种基于机器人视觉的小目标检测方法 |
| CN109823552A (zh) * | 2019-02-14 | 2019-05-31 | 深圳市多翼创新科技有限公司 | 基于视觉的无人机精确降落方法、存储介质、装置及系统 |
| CN113228103A (zh) * | 2020-07-27 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、无人机、系统及可读存储介质 |
| CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
| CN115482489A (zh) * | 2022-09-20 | 2022-12-16 | 广东电网有限责任公司广州供电局 | 基于改进YOLOv3的配电房行人检测和轨迹追踪方法及系统 |
| CN115861860A (zh) * | 2023-02-24 | 2023-03-28 | 杭州靖安科技有限公司 | 一种无人机的目标跟踪定位方法和系统 |
| CN115951620A (zh) * | 2023-03-10 | 2023-04-11 | 众芯汉创(江苏)科技有限公司 | 一种无人机智能化设备管控系统 |
-
2023
- 2023-06-21 CN CN202310739854.0A patent/CN116486290B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101656519B1 (ko) * | 2016-07-13 | 2016-09-09 | 아이디어주식회사 | 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기 |
| CN108731587A (zh) * | 2017-04-14 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN108920996A (zh) * | 2018-04-10 | 2018-11-30 | 泰州职业技术学院 | 一种基于机器人视觉的小目标检测方法 |
| CN109823552A (zh) * | 2019-02-14 | 2019-05-31 | 深圳市多翼创新科技有限公司 | 基于视觉的无人机精确降落方法、存储介质、装置及系统 |
| CN113228103A (zh) * | 2020-07-27 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、无人机、系统及可读存储介质 |
| CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
| CN115482489A (zh) * | 2022-09-20 | 2022-12-16 | 广东电网有限责任公司广州供电局 | 基于改进YOLOv3的配电房行人检测和轨迹追踪方法及系统 |
| CN115861860A (zh) * | 2023-02-24 | 2023-03-28 | 杭州靖安科技有限公司 | 一种无人机的目标跟踪定位方法和系统 |
| CN115951620A (zh) * | 2023-03-10 | 2023-04-11 | 众芯汉创(江苏)科技有限公司 | 一种无人机智能化设备管控系统 |
Non-Patent Citations (6)
| Title |
|---|
| SOLOMON NEGUSSIE TESEMA等: "DenseYOLO: Yet Faster, Lighter and More Accurate YOLO", 《2020 11TH IEEE ANNUAL INFORMATION TECHNOLOGY, ELECTRONICS AND MOBILE COMMUNICATION CONFERENCE (IEMCON)》, pages 0534 - 0539 * |
| VATSANAI JAITON等: "Neural control and online learning for speed adaptation of unmanned aerial vehicles", 《FRONTIERS IN NEURAL CIRCUITS》, vol. 16, pages 1 - 24 * |
| YI CHENG等: "Positioning method research for unmanned aerial vehicles based on Meanshift tracking algorithm", 《2017 29TH CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》, pages 989 - 994 * |
| 时来富: "基于视觉的四旋翼无人机目标跟踪系统研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, vol. 2023, no. 02, pages 031 - 918 * |
| 李天舒等: "基于YOLOv3的二次设备保护压板状态图像识别", 《电力大数据》, vol. 26, no. 01, pages 19 - 25 * |
| 陈洪玮: "船载无人机自主跟踪降落系统关键技术研究", 《万方数据》, pages 1 - 89 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117405563A (zh) * | 2023-12-14 | 2024-01-16 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
| CN117405563B (zh) * | 2023-12-14 | 2024-03-19 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486290B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113359810B (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
| Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
| CN113870343B (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
| EP3771198B1 (en) | Target tracking method and device, movable platform and storage medium | |
| CN105955308A (zh) | 一种飞行器的控制方法和装置 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN105652891A (zh) | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 | |
| US20210342620A1 (en) | Geographic object detection apparatus and geographic object detection method | |
| CN111091023B (zh) | 一种车辆检测方法、装置及电子设备 | |
| CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
| CN116486290B (zh) | 一种无人机监测追踪方法、装置、电子设备及存储介质 | |
| CN109715498A (zh) | 无人自主交通工具中的自适应运动滤波 | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN115451964B (zh) | 基于多模态混合特征的船舶场景同时建图与定位方法 | |
| CN114782548B (zh) | 基于全局图像的雷视数据标定方法、装置、设备及介质 | |
| CN112947550A (zh) | 一种基于视觉伺服的非法飞行器打击方法及机器人 | |
| CN114034296A (zh) | 一种导航信号干扰源检测与识别方法及系统 | |
| CN116202489A (zh) | 输电线路巡检机与杆塔协同定位方法及系统、存储介质 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| CN115665553B (zh) | 一种无人机的自动跟踪方法、装置、电子设备及存储介质 | |
| CN117215327A (zh) | 基于无人机的公路巡检检测及智能飞行控制方法 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| CN117115252A (zh) | 一种基于视觉的仿生扑翼无人机空间位姿估计方法 | |
| CN107767366A (zh) | 一种输电线路拟合方法及装置 | |
| CN105787963A (zh) | 一种视频目标跟踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |