CN117495898A - 无人机目标识别追踪方法、装置、设备及存储介质 - Google Patents

无人机目标识别追踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117495898A
CN117495898A CN202311585351.9A CN202311585351A CN117495898A CN 117495898 A CN117495898 A CN 117495898A CN 202311585351 A CN202311585351 A CN 202311585351A CN 117495898 A CN117495898 A CN 117495898A
Authority
CN
China
Prior art keywords
target object
unmanned aerial
aerial vehicle
target
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311585351.9A
Other languages
English (en)
Inventor
但远宏
李金岩
石晓辉
程东
和超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Century Jinghua Intelligent Technology Research Institute Co ltd
Original Assignee
Chongqing Century Jinghua Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Century Jinghua Intelligent Technology Research Institute Co ltd filed Critical Chongqing Century Jinghua Intelligent Technology Research Institute Co ltd
Priority to CN202311585351.9A priority Critical patent/CN117495898A/zh
Publication of CN117495898A publication Critical patent/CN117495898A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及数据处理技术领域，公开了一种无人机目标识别追踪方法、装置、设备及存储介质，该方法包括：获取目标物的初始图像数据；将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；对所述目标物的位置坐标进行坐标变换处理；根据变换处理后的位置坐标进行所述目标物的位置解算。应用本申请的技术方案，能够解决无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低的问题，降低无人机目标检测跟踪的时延，提升识别速度和准确度。

Description

无人机目标识别追踪方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，具体涉及一种无人机目标识别追踪方法、装置、设备及计算机可读存储介质。
背景技术
目前，在科技的大力持续发展下，无人机产业也得以快速发展。对于普通消费者来说，功能丰富、价格便宜、操作方便的无人机已不再是触不可及，以至于在城市里的日常生活场景中无人机随处可见。同时，随着人工智能的普及，传统的产业也在不断发生着改变，机器视觉与深度学习的技术也更加智能，无人机技术已在航拍、运输、植物保护、救灾等工业、民用场景得到推广使用。
针对无人机具有高空、大范围、高速等特点，可以拍摄到传统拍摄设备难以拍摄到的图像和视频，同时应用计算机视觉技术对这些数据进行分析和处理，实现无人机视野下的目标检测、目标跟踪等功能。但目前大多数无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低。
发明内容
鉴于上述问题，本申请提供了一种无人机目标识别追踪方法、装置、设备及计算机可读存储介质，用于解决无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低的问题。
根据本申请实施例的一个方面，提供了一种无人机目标识别追踪方法，所述方法包括：
获取目标物的初始图像数据；
将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
对所述目标物的位置坐标进行坐标变换处理；
根据变换处理后的位置坐标进行所述目标物的位置解算。
在一种可选的示例性实施例中，所述获取目标物的初始图像数据的步骤之前，还包括：
获取无人机的N组图像样本数据；
根据N组所述图像样本数据构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集；
优化所述目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，以形成所述预设训练模型。
在一种可选的示例性实施例中，所述将所述初始图像数据进行降采样处理的步骤，具体为：
基于边界填充将所述目标物的图像数据进行降采样处理；
根据降采样处理的图像数据获取目标像素的降采样图像。
在一种可选的示例性实施例中，所述初始图像数据包括初始图像宽度和初始图像高度，所述降采样处理后的降采样图像包括降采样图像宽度和降采样图像高度；所述对所述目标物的位置坐标进行坐标变换处理的步骤，包括：
计算所述目标物的降采样图像宽度与初始图像宽度之间的宽度比值，以及所述目标物的降采样图像高度与初始图像高度的高度比值；
确定所述宽度比值和所述高度比值的大小，并提取出较小相对值；
根据所述初始图像宽度、初始图像高度、降采样图像宽度、降采样图像高度、降采样图像的第一位置坐标、降采样图像的第二位置坐标和较小相对值计算坐标变换处理后的位置坐标。
在一种可选的示例性实施例中，所述无人机具有摄像头，所述摄像头与地面垂直构建成第一连线，所述摄像头与所述目标物之间构建成第二连线，垂直于所述摄像头的光心平面构建成第三连线；
所述根据变换处理后的位置坐标进行所述目标物的位置解算的步骤，具体为：
根据变换处理后的位置坐标计算所述第一连线和第二连线之间的夹角，所述第一连线和第三连线之间的夹角，第二连线与第三连线之间的夹角，所述摄像头与地面的垂直高度，以及所述无人机实际飞行距离。
在一种可选的示例性实施例中，所述无人机具有摄像头，所述根据变换处理后的位置坐标进行所述目标物的位置解算的步骤，包括：
根据目标物的位置坐标、变换后的位置坐标、以及所述摄像头的光心平面与对应位置坐标点之间的夹角进行实际位置标定，以构建所述目标物的实际位置数据表；
根据所述目标物的实际位置数据表计算所述无人机实际飞行距离。
在一种可选的示例性实施例中，所述无人机的俯仰控制方式、滚转控制方式、偏航控制方式、以及所述无人机的平面方向、高度方向之间采用串级PID进行运动控制。
根据本申请实施例的另一方面，提供了一种无人机目标识别追踪装置，所述装置包括：
图像获取模块，用于获取目标物的初始图像数据；
坐标预测模块，用于将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
坐标变换模块，用于对所述目标物的位置坐标进行坐标变换处理；
位置解算模块，用于根据变换处理后的位置坐标进行所述目标物的位置解算。
根据本申请实施例的另一方面，提供了一种电子设备，包括：
控制器；
存储器，用于存储一个或多个程序，当一个或多个程序被控制器执行时，使得控制器实现上述中的无人机目标识别追踪方法。
根据本申请实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在无人机目标识别追踪装置/设备上运行时，使得无人机目标识别追踪装置/设备执行如上所述的无人机目标识别追踪方法的操作。
本申请实施例通过无人机目标识别追踪方法中获取目标物的初始图像数据，将初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；然后对目标物的位置坐标进行坐标变换处理，根据变换处理后的位置坐标进行目标物的位置解算。其中，目标物基于Yolov5进行获取预测，实现控制指令的精准接收，目标物的高精度的识别监控，能够解决无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低的问题，降低无人机目标检测跟踪的时延，提升识别速度和准确度。
上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请提供的无人机目标识别追踪方法的一实施例的流程示意图；
图2示出了本申请提供的无人机目标识别追踪方法中缩放填充一实施例的示意图；
图3示出了本申请提供的无人机目标识别追踪方法中坐标变换一实施例的示意图；
图4示出了本申请提供的无人机目标识别追踪方法中目标物追踪一实施例的示意图；
图5示出了本申请提供的无人机目标识别追踪方法中串级PID控制一实施例的示意图；
图6示出了本申请提供的无人机目标识别追踪方法中飞行控制器一实施例的结构示意图；
图7示出了本申请提供的无人机目标识别追踪方法中目标物追踪一实施例的流程示意图；
图8示出了本申请提供的无人机目标识别追踪装置的一实施例的结构示意图；
图9示出了本申请提供的电子设备的实施例的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了无人机目标识别追踪方法，请参阅图1-图7所示，无人机目标识别追踪方法包括以下步骤：
步骤S110，获取目标物的初始图像数据；
其中，初始图像数据是无人机上的摄像头对目标物进行拍摄，从而得到具有目标物的图片数据。
步骤S120，将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；
本实施例中，所述目标物基于Yolov5进行获取预测，以实现系统的高精度识别，提升目标的识别准确性，实现对目标物的监测。
其中，在获取目标物的初始图像数据之前，为了使得预设训练模型能够直接在本方案中使用，需要将预设训练模型内置于系统中，在无人机的摄像头拍摄到初始图像数据并进行降采样处理后，可以直接对目标物的位置坐标进行预测。具体地，在获取目标物的初始图像数据之前，首先获取无人机的N组图像样本数据，根据N组图像样本数据构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，优化目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，以形成预设训练模型。
进一步地，对实际视觉图像中无人机监测的目标物进行检测定位，获取目标物的全局图像，对目标细粒度识别模型进行改进，可以是引入尺度自适应注意力机制和联合概率预测，以提升识别精度，获得尺度自适应注意力机制目标细粒度识别模型。本实施例中的目标细粒度识别训练样本集对尺度自适应注意力机制目标细粒度识别模型进行训练，采用训练后的尺度自适应注意力机制目标细粒度识别模型对获得的目标物全局图像进行提取和识别。
需要说明的是，N组图像样本数据中的N可以是50、100、150等，根据实际应用情况设定，此处不做具体限定。
在一可选的示例性实施例中，请参阅图2所示，将所述初始图像数据进行降采样处理的步骤，包括：基于边界填充将所述目标物的图像数据进行降采样处理，根据降采样处理的图像数据获取目标像素的降采样图像。需要说明的是，将摄像头拍摄的初始图像数据使用边界填充进行降采样到640x640像素的图像，此处降采样的图像分辨率根据实际应用情况设定，此处不做具体限定。
步骤S130，对所述目标物的位置坐标进行坐标变换处理；
其中，初始图像数据包括初始图像宽度和初始图像高度，降采样处理后的降采样图像包括降采样图像宽度和降采样图像高度。
本实施例中，请参阅图3所示，对于目标物的位置坐标进行变换，具体为：计算所述目标物的降采样图像宽度与初始图像宽度之间的宽度比值，以及所述目标物的降采样图像高度与初始图像高度的高度比值；
确定所述宽度比值和所述高度比值的大小，并提取出较小相对值；
根据所述初始图像宽度、初始图像高度、降采样图像宽度、降采样图像高度、降采样图像的第一位置坐标、降采样图像的第二位置坐标和较小相对值计算坐标变换处理后的位置坐标。
首先，计算降采样图像与初始图像的宽高之比，具体为：
r_w＝kInputW/imgW；
r_h＝kInputH/imgH；
其中，kInputW、kInputH为降采样图像宽和高，imgW、imgH为原图的宽和高，r_w为降采样图像和初始图像的像素宽的比值，r_h为降采样图像和初始图像的像素高的比值，r_x为r_w和r_h中较小的一个值，img_x为初始图像像素的宽或高。
然后，需要计算目标物的位置坐标进行变换，具体为：
l＝(lt_x-rd_x/2)/r_x；
r＝(lt_x+rd_x/2)/r_x；
t＝(lt_y-rd_y/2-(kInputH-r_w*img_x)/2)/r_x；
b＝(lt_y+rd_y/2-(kInputH-r_w*img_x)/2)/r_x；
其中l、r、t、b分别为初始图像对应的左上角x、y坐标和右下角x、y坐标。
步骤S140，根据变换处理后的位置坐标进行所述目标物的位置解算。
本实施例中，为了解决无人机追踪目标物时，摄像头倾斜捯导致所求出的无人机与目标物的实际距离有偏差，导致无人机来回抖动。本实施例中，假设目标物位小车，追踪的目标小车在无人机正前方行驶，此时无人机自身保持以一定的俯仰角向目标驶去。
请参阅图4所示，摄像头与地面垂直构建成第一连线，摄像头与目标物之间构建成第二连线，垂直于摄像头的光心平面构建成第三连线；根据变换处理后的位置坐标进行所述目标物的位置解算的步骤，具体为：根据变换处理后的位置坐标计算所述第一连线和第二连线之间的夹角，所述第一连线和第三连线之间的夹角，第二连线与第三连线之间的夹角，所述摄像头与地面的垂直高度，以及所述无人机实际飞行距离。
具体地，图中的α,β,γ分别代表摄像头中心与目标以及摄像头竖直方向上所成角度，垂直相机光心平面与物体所成的角度，摄像头倾斜与竖直平面所成的角度，同时γ还可以根据推算互余得出即为无人机产生的俯仰角。最终的目标x即为所要求的实际距离，h为摄像头和地面的高度。其中，摄像头的两个方向视场角为48°、72°，像素为height*width＝720*1280。tagx和tagy是摄像头识别目标而发布的目标的像素点坐标。
根据下述公式即可得到无人机实际飞行距离，公式如下：
β＝tagx/width/2*36；
α＝β-γ；
x＝tanα*h；
需要说明的是，上述只考虑了目标小车在正前方，无人机产生了俯仰角，同时无人机也会产生横滚角，此时对于无人机的横滚角的计算方法与上述俯仰角计算相同，只是相对应的像素应变为height＝360，视场角应用24°，实现β的求解。同时，如果出现无人机在跟踪目标小车前方，所计算α就需要加上对应产生的横滚角和俯仰角。通过本实施例中的技术方案，以解决无人机追踪目标物时，摄像头倾斜捯导致所求出的无人机与目标物的实际距离有偏差，导致无人机来回抖动的问题，提升无人机实际飞行距离计算的准确性。
在另一实施例中，为了解决无人机追踪目标物时，摄像头倾斜捯导致所求出的无人机与目标物的实际距离有偏差，导致无人机来回抖动。还可以根据目标物的位置坐标、变换后的位置坐标、以及所述摄像头的光心平面与对应位置坐标点之间的夹角进行实际位置标定，以构建所述目标物的实际位置数据表；根据所述目标物的实际位置数据表计算所述无人机实际飞行距离。
具体地，进行实际位置标定的位置数据表如下表1：
表1
需要说明的是，该表1中以每三行为一组，第一行代表以中心像素为0，0转换后的像素，第二行为初始图像中的像素坐标，第三行为无人机摄像头光心连接目标物后在竖直方向所成的角，从而可根据tan求得无人机实际飞行距离值dx。通过本实施例中的技术方案，以解决无人机追踪目标物时，摄像头倾斜捯导致所求出的无人机与目标物的实际距离有偏差，导致无人机来回抖动的问题，提升无人机实际飞行距离计算的准确性。
上述实施例中，请参阅图5所示，无人机的俯仰控制方式、滚转控制方式、偏航控制方式、以及所述无人机的平面方向、高度方向之间采用串级PID进行运动控制，也即无人机在平面上的X方向位置控制、Y方向位置控制和Z方向高度控制，以及无人机的俯仰控制、滚转控制、偏航控制是采用串级PID控制，串级PID控制具体如下公式：
U＝kp(xd-x)+ki∫xd-xdt+kdd(xd-x)/dt；
具体是，通过无人机的旋翼控制系统实现无人机X方向位置控制和Y方向位置控制，基于X方向位置控制、Y方向位置控制实现无人机的俯仰控制和滚转控制，俯仰控制和滚转控制反馈至旋翼控制系统，旋翼控制系统又反馈相关数据信息至平面方向控制器和俯仰/滚转控制器；同样，通过无人机的旋翼控制系统实现无人机Z方向高度控制，基于Z方向高度控制实现无人机的偏航控制，偏航控制反馈至旋翼控制系统，旋翼控制系统又反馈相关数据信息至Z方向高度控制器。
需要说明的是，对于上述实施例的无人机目标识别追踪方法，通过yolov-5的检测算法，以及图6所示的N3飞行控制器实现控制指令精准接收，系统的高精度识别和精准作业。识别主要依托jetson开发板平台，主要通过Yolov5算法和深度学习的环境，提升识别准确率。控制方面可以是N3飞行控制器，基于ros系统，订阅发布话题消息，实现jetson开发板平台与N3飞行控制器的通信，完成运动指令的下达，实现轨迹跟踪，路径规划，从而完成了整个系统的功能，以运用于车辆识别跟踪。
进一步地，上述实施例中，请参阅如图7所示，无人机要实现对目标物的追踪，并基于预设训练模型预测目标物的位置坐标，需要无人机沿第一段路线飞行到第一个目标点，判断是否到达第一目标点，若未到达，则继续沿第一段路线飞行，若到达，则沿第二段路线飞行至第二目标点，然后判断是否达到第二目标点，若未到达，则继续沿第二段路线飞行，若到达，则沿第三段路线飞行至第三目标点，再接着判断是否达到第三目标点，若未到达，则继续沿第三段路线飞行，若到达，则无人机开始目标追踪，直到最后到达终点降落。
上述具体的预设训练模型采用卡尔曼滤波，根据前一时刻的位置预测下一时刻的位置。
Pt -＝FPt-1FT+Q；
首先进行预测，为先验值，Pt -为协方差，F、B为关系矩阵，Q为超参数。
Ki＝Pi -HT(HPt -HT+R)-1；
pi＝(I-KiH)Pi -；
然后进行更新，求出x的最优估计值，首先更新Ki为卡尔曼增益，再由观测值zi、H矩阵，以及先验值求出真实值，再更新协方差矩阵pi，从而反复迭代，进行未来的位置最优值估计求解。
应理解的是，上述各实施例中涉及的无人机的飞行控制器采用N3飞行控制器，来实现整体无人机的控制，采内置双IMU冗余设计，可实现数据实时互为备份，结合无人机的内减震结构设计，赋予无人机高可靠性，拥有高性能导航模块的支持，实现无人机丰富的应用扩展。同时具备失控保护，低电压保护，高度，距离限制，输出动力缺失保护，航向锁定，返航锁定，保证了整个系统的稳定性和姿态，高度，速度等信息的确定性。Jetson开发板作为系统的运算核心，在安装ros系统的基础上，在编译安装Onboard SDK进行二次开发，同时，在高性能显卡训练下的yolov5模型最终实现tensorrt模型转换实现.engine文件生成，实现目标识别的功能。无人机的图传采用基于统一局域网下面的wifi图传，采用2.4GHz频段，当摄像头识别到目标时，基于yolov5算法会生成目标框，在进行TCP/IP的协议的传输下，实现目标框的传输，从而实现精准的定位目标。上位机采用匿名上位机，通过串口数传的方式，可以实现实时无人机姿态，角度，三轴信息，电池电量等信息的显示。
图8示出了本申请无人机目标识别追踪装置的实施例的结构示意图。请参阅图8所示，该无人机目标识别追踪装置300包括：图像获取模块310、坐标预测模块320、坐标变换模块330和位置解算模块340；
图像获取模块310，用于获取目标物的初始图像数据；
坐标预测模块320，用于将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
坐标变换模块330，用于对所述目标物的位置坐标进行坐标变换处理；
位置解算模块340，用于根据变换处理后的位置坐标进行所述目标物的位置解算。
本申请实施例无人机目标识别追踪装置300通过图像获取模块310获取目标物的初始图像数据，坐标预测模块320将初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；然后坐标变换模块330对目标物的位置坐标进行坐标变换处理，位置解算模块340根据变换处理后的位置坐标进行目标物的位置解算。其中，目标物基于Yolov5进行获取预测，实现控制指令的精准接收，目标物的高精度的识别监控，能够解决无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低的问题，降低无人机目标检测跟踪的时延，提升识别速度和准确度。
需要说明的是，上述实施例所提供的无人机目标识别追踪装置300与前述实施例所提供的无人机目标识别追踪方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
图9示出了本申请电子设备的实施例的结构示意图，其示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
请参阅图9所示，该电子设备包括：控制器；存储器，用于存储一个或多个程序，当一个或多个程序被控制器执行时，以执行上述的无人机目标识别追踪方法。
请继续参阅图9所示，该电子设备的计算机系统500包括中央处理单元(CentralProcessing Unit，CPU)501，其可以根据存储在只读存储器(Read-Only Memory，ROM)502中的程序或者从存储部分508加载到随机访问存储器(Random Access Memory，RAM)503中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的无人机目标识别追踪方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括至少一可执行指令，该可执行指令在无人机目标识别追踪装置/设备上运行时，使得无人机目标识别追踪装置/设备执行如上所述的无人机目标识别追踪方法。
可执行指令具体可以用于使得无人机目标识别追踪装置/设备执行以下操作：
获取目标物的初始图像数据；
将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
对所述目标物的位置坐标进行坐标变换处理；
根据变换处理后的位置坐标进行所述目标物的位置解算。
在一种可选的方式中，可执行指令具体还可以用于使得无人机目标识别追踪装置/设备执行以下操作：
获取无人机的N组图像样本数据；
根据N组所述图像样本数据构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集；
优化所述目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，以形成所述预设训练模型。
在一种可选的方式中，可执行指令具体还可以用于使得无人机目标识别追踪装置/设备执行以下操作：
基于边界填充将所述目标物的图像数据进行降采样处理；
根据降采样处理的图像数据获取目标像素的降采样图像。
在一种可选的方式中，可执行指令具体还可以用于使得无人机目标识别追踪装置/设备执行以下操作：
计算所述目标物的降采样图像宽度与初始图像宽度之间的宽度比值，以及所述目标物的降采样图像高度与初始图像高度的高度比值；
确定所述宽度比值和所述高度比值的大小，并提取出较小相对值；
根据所述初始图像宽度、初始图像高度、降采样图像宽度、降采样图像高度、降采样图像的第一位置坐标、降采样图像的第二位置坐标和较小相对值计算坐标变换处理后的位置坐标。
在一种可选的方式中，所述无人机具有摄像头，所述摄像头与地面垂直构建成第一连线，所述摄像头与所述目标物之间构建成第二连线，垂直于所述摄像头的光心平面构建成第三连线；可执行指令具体还可以用于使得无人机目标识别追踪装置/设备执行以下操作：
根据变换处理后的位置坐标计算所述第一连线和第二连线之间的夹角，所述第一连线和第三连线之间的夹角，第二连线与第三连线之间的夹角，所述摄像头与地面的垂直高度，以及所述无人机实际飞行距离。
在一种可选的方式中，所述无人机具有摄像头，可执行指令具体还可以用于使得无人机目标识别追踪装置/设备执行以下操作：
根据目标物的位置坐标、变换后的位置坐标、以及所述摄像头的光心平面与对应位置坐标点之间的夹角进行实际位置标定，以构建所述目标物的实际位置数据表；
根据所述目标物的实际位置数据表计算所述无人机实际飞行距离。
本申请实施例通过获取目标物的初始图像数据，将初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；然后对目标物的位置坐标进行坐标变换处理，根据变换处理后的位置坐标进行目标物的位置解算。其中，目标物基于Yolov5进行获取预测，实现控制指令的精准接收，目标物的高精度的识别监控，能够解决无人机的目标检测及目标跟踪延时较高、识别速度较低和准确度较低的问题，降低无人机目标检测跟踪的时延，提升识别速度和准确度。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不相同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本申请实施例的一个方面，还提供了一种计算机系统，包括中央处理单元(Central Processing Unit，CPU)，其可以根据存储在只读存储器(Read-Only Memory，ROM)中的程序或者从存储部分加载到随机访问存储器(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM中，还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(Input/Output，I/O)接口也连接至总线。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。
本申请书中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。

Claims (10)

1.一种无人机目标识别追踪方法，其特征在于，所述方法包括：
获取目标物的初始图像数据；
将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
对所述目标物的位置坐标进行坐标变换处理；
根据变换处理后的位置坐标进行所述目标物的位置解算。
2.根据权利要求1所述的方法，其特征在于，所述获取目标物的初始图像数据的步骤之前，还包括：
获取无人机的N组图像样本数据；
根据N组所述图像样本数据构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集；
优化所述目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，以形成所述预设训练模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述初始图像数据进行降采样处理的步骤，具体为：
基于边界填充将所述目标物的图像数据进行降采样处理；
根据降采样处理的图像数据获取目标像素的降采样图像。
4.根据权利要求3所述的方法，其特征在于，所述初始图像数据包括初始图像宽度和初始图像高度，所述降采样处理后的降采样图像包括降采样图像宽度和降采样图像高度；所述对所述目标物的位置坐标进行坐标变换处理的步骤，包括：
计算所述目标物的降采样图像宽度与初始图像宽度之间的宽度比值，以及所述目标物的降采样图像高度与初始图像高度的高度比值；
确定所述宽度比值和所述高度比值的大小，并提取出较小相对值；
根据所述初始图像宽度、初始图像高度、降采样图像宽度、降采样图像高度、降采样图像的第一位置坐标、降采样图像的第二位置坐标和较小相对值计算坐标变换处理后的位置坐标。
5.根据权利要求1所述的方法，其特征在于，所述无人机具有摄像头，所述摄像头与地面垂直构建成第一连线，所述摄像头与所述目标物之间构建成第二连线，垂直于所述摄像头的光心平面构建成第三连线；
所述根据变换处理后的位置坐标进行所述目标物的位置解算的步骤，具体为：
根据变换处理后的位置坐标计算所述第一连线和第二连线之间的夹角，所述第一连线和第三连线之间的夹角，第二连线与第三连线之间的夹角，所述摄像头与地面的垂直高度，以及所述无人机实际飞行距离。
6.根据权利要求1所述的方法，其特征在于，所述无人机具有摄像头，所述根据变换处理后的位置坐标进行所述目标物的位置解算的步骤，包括：
根据目标物的位置坐标、变换后的位置坐标、以及所述摄像头的光心平面与对应位置坐标点之间的夹角进行实际位置标定，以构建所述目标物的实际位置数据表；
根据所述目标物的实际位置数据表计算所述无人机实际飞行距离。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述无人机的俯仰控制方式、滚转控制方式、偏航控制方式、以及所述无人机的平面方向、高度方向之间采用串级PID进行运动控制。
8.一种无人机目标识别追踪装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标物的初始图像数据；
坐标预测模块，用于将所述初始图像数据进行降采样处理，并基于预设训练模型预测目标物的位置坐标；其中，所述目标物基于Yolov5进行获取预测；
坐标变换模块，用于对所述目标物的位置坐标进行坐标变换处理；
位置解算模块，用于根据变换处理后的位置坐标进行所述目标物的位置解算。
9.一种电子设备，其特征在于，包括：
控制器；
存储器，用于存储一个或多个程序，当一个或多个程序被控制器执行时，使得控制器实现权利要求1至7中任一项所述的无人机目标识别追踪方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在无人机目标识别追踪装置/设备上运行时，使得无人机目标识别追踪装置/设备执行如权利要求1至7任意一项所述的无人机目标识别追踪方法的操作。
CN202311585351.9A 2023-11-24 2023-11-24 无人机目标识别追踪方法、装置、设备及存储介质 Pending CN117495898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311585351.9A CN117495898A (zh) 2023-11-24 2023-11-24 无人机目标识别追踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311585351.9A CN117495898A (zh) 2023-11-24 2023-11-24 无人机目标识别追踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117495898A true CN117495898A (zh) 2024-02-02

Family

ID=89682842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311585351.9A Pending CN117495898A (zh) 2023-11-24 2023-11-24 无人机目标识别追踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117495898A (zh)

Similar Documents

Publication Publication Date Title
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
CN108230361B (zh) 用无人机探测器和追踪器融合来增强目标追踪方法及系统
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
US10671068B1 (en) Shared sensor data across sensor processing pipelines
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
US11430199B2 (en) Feature recognition assisted super-resolution method
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN112650300A (zh) 一种无人机避障方法和装置
CN114815851A (zh) 机器人跟随方法、装置、电子设备以及存储介质
CN114419095A (zh) 车机协同目标丢失跟踪方法、装置、设备及其存储介质
CN117058209B (zh) 一种基于三维地图的飞行汽车视觉图像深度信息计算方法
CN116486290B (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
CN117518198A (zh) 一种自适应障碍物检测方法和系统
CN113111787A (zh) 目标检测方法、装置、设备以及存储介质
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
CN117495898A (zh) 无人机目标识别追踪方法、装置、设备及存储介质
CN116868239A (zh) 静态占用跟踪
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
Canhoto et al. Image sequence processing applied to autonomous aerial navigation
CN117576150B (zh) 一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination