CN107748860A - 无人机的目标跟踪方法、装置、无人机及存储介质 - Google Patents

无人机的目标跟踪方法、装置、无人机及存储介质 Download PDF

Info

Publication number
CN107748860A
CN107748860A CN201710778404.7A CN201710778404A CN107748860A CN 107748860 A CN107748860 A CN 107748860A CN 201710778404 A CN201710778404 A CN 201710778404A CN 107748860 A CN107748860 A CN 107748860A
Authority
CN
China
Prior art keywords
unmanned plane
target
default
tracking
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710778404.7A
Other languages
English (en)
Inventor
周翊民
王欣
吕琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201710778404.7A priority Critical patent/CN107748860A/zh
Publication of CN107748860A publication Critical patent/CN107748860A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用计算机技术领域，提供了一种无人机的目标跟踪方法、装置、设备及存储介质，该方法包括：通过无人机上的光线传感器获取无人机飞行环境的光线强度，通过与该光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像是否存在跟踪目标，当存在时，将场景图像、无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，生成融合后的、跟踪目标的传感数据，将传感数据发送到无人机的控制设备，根据无人机的控制设备返回的飞行控制指令对无人机进行飞行控制，从而有效地提高了无人机目标跟踪的定位准确度，有效地提高了无人机目标跟踪的准确度和全面性。

Description

无人机的目标跟踪方法、装置、无人机及存储介质
技术领域
本发明属于无人机技术领域，尤其涉及一种无人机的目标跟踪方法、装置、无人机及存储介质。
背景技术
无人机以其无人化、造价低、灵活机动的特点，逐渐取代大型载人侦察机成为战场前沿最主要的侦察力量，在对嫌疑目标进行跟踪时，相较于传统的跟踪方式，无人机在效率和可靠性上有着无以比拟的天然优势，具体表现在无人机的体型较小，可进入因环境本身存在危险性和复杂性而难以进入的区域并执行侦探目标任务，无人机还可在短时间内针对较大区域范围内的信息进行搜集，一定程度地保证了信息获取的实时性。
在无人机的侦察技术实现方面，无人机基于摄影测量、图像处理和信息处理等技术来确定嫌疑目标，计算嫌疑目标的运动变化规律并分析该规律的属性，分析嫌疑目标对周围其他对象的相关制约、相互影响的关系，最终能够预判嫌疑目标的威胁和意图。无人机在执行侦察飞行任务时，地面操作人员在昼夜以及不良气候的条件下，可以通过控制系统克服无人机在飞行过程中的振动或其他外部干扰，通过GPS实时得出目标准确实时的三维位置坐标。
目前，针对无人机的目标检测，研究人员已提出了SURF特征稳像和光流法向量相结合的方法、基于四个形态边缘滤波器快速检测航拍图像目标的方法、基于中值背景差分的目标检测方法、以及利用背景消除和背景配准技巧来识别目标的方法，这些方法大多基于Haar-like、SURF、HoG、Harris角点、SIFT等特征进行目标识别。然而，SURF特征稳像和光流法向量相结合的方法适用于背景像素移动的情形，对目标静止情形并不适用；基于四个形态边缘滤波器快速检测航拍图像目标的方法仅仅基于形状进行目标检测，易产生过拟合现象；基于中值背景差分的目标检测方法采用中值差分算法，导致目标的速度越大检测出的区域越大；利用背景消除和背景配准技巧来识别目标的方法对场景的要求较高，场景变化太大会对该方法的目标识别结果产生较大的影响。由于无人机视频场景复杂，现有的目标检测算法仍无法适用于所有情况，尤其地，当环境光很弱或是在夜晚，目标检测的准确率和全面性均有待提高。
发明内容
本发明的目的在于提供一种无人机的目标跟踪方法、装置、无人机及存储介质，旨在解决现有无人机目标跟踪方法中目标检测的准确度不高，导致无人机适用场景有限的问题。
一方面，本发明提供了一种无人机的目标跟踪方法，所述方法包括下述步骤：
通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；
通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；
当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；
将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；
将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。
另一方面，本发明提供了一种无人机的目标跟踪装置，所述装置包括：
视觉传感器切换单元，用于通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；
目标检测识别单元，用于通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；
速度位置测量单元，用于当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；
数据融合单元，用于将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度、所述无人机的移动速度和所述无人机的位置信息进行融合，得到融合后的、所述跟踪目标的传感数据；以及
飞行控制单元，用于将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。
另一方面，本发明还提供了一种无人机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述无人机的目标跟踪方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述无人机的目标跟踪方法所述的步骤。
本发明通过无人机上的光线传感器获取当前飞行环境的光线强度，将无人机上的视觉传感器切换为与该光线强度对应的视觉传感器，使得无人机能够进行24小时实时的目标检测和目标跟踪，提高了无人机目标跟踪的全面性，将无人机的位置信息、视觉传感器获取的视觉信息、跟踪目标相对于无人机的移动速度和无人机的移动速度进行融合，以便无人机的控制设备根据融合后的数据对无人机进行飞行控制，从而通过多传感器数据的融合不仅实现了无人机动态实时的目标跟踪，而且有效地提高了无人机目标跟踪的准确度。
附图说明
图1是本发明实施例一提供的无人机的目标跟踪方法的实现流程图；
图2是本发明实施例二提供的无人机的目标跟踪装置的结构示意图；
图3是本发明实施例二提供的无人机的目标跟踪装置的优选结构示意图；以及
图4是本发明实施例三提供的无人机的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的无人机的目标跟踪方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，通过无人机上预设的光线传感器获取无人机飞行环境的光线强度，将无人机上的视觉传感器切换为与该光线强度对应的视觉传感器。
在本发明实施例中，由于无人机进行目标跟踪的环境比较复杂，尤其在进行24小时的目标跟踪时，环境中的光线强度变化明显，因此可通过无人机上预设的光线传感器采集无人机飞行环境的光线信号，并将采集到的光线信号转换为电信号，通过电信号对无人机上的视觉传感器进行切换，从而将无人机上的视觉传感器切换为适宜无人机飞行环境光线强度的视觉传感器。其中，光线强度为光线信号的强弱程度。
优选地，无人机上的视觉传感器包括变焦彩色相机和变焦红外相机，变焦彩色相机适宜在光线比较充足的环境中使用，变焦红外相机适宜在光线较暗或没有光线的环境中使用，当光线传感器采集到的光线信号的强度超过预设的强度阈值时，将无人机上的视觉传感器切换为变焦彩色相机，否则切换为变焦红外相机，从而有效解决无人机目标跟踪对环境光线要求较高的问题，使得无人机能够进行24小时实时的目标跟踪。
在步骤S102中，通过视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别场景图像中是否存在预设的跟踪目标。
在本发明实施例中，可通过切换后的视觉传感器获取无人机所在环境的场景图像，通过预设的特征提取算法提取场景图像中的图像特征(例如颜色、边缘轮廓、形状等)，将该图像特征输入预先训练好的目标检测模型，以检测场景图像中是否存在预设的感兴趣目标，其中，感兴趣目标可包括人和各类物体，例如可能在跟踪过程提供关键信息的车辆、动物等。当检测到感兴趣目标时，通过预先训练好的目标识别模型，识别检测出来的感兴趣目标中是否存在预设的跟踪目标，例如识别检测出来的车辆中是否存在需要进行跟踪的车辆。其中，用户可将跟踪过程中需要跟踪的人或物体的特征预先设置为跟踪目标。
优选地，预先建立样本空间，样本空间中可存储包含车辆、动物、路牌等物体以及人的图像，在样本空间中进行车辆、动物、路牌等物体以及人的检测，以学习训练得到目标检测模型，预先设置训练过程中的跟踪目标，在样本空间中进行该跟踪目标的监测，以学习训练得到目标识别模型，从而通过预先训练好目标检测模型和目标识别模型，有效地提高了无人机目标跟踪时的目标检测效率和目标识别效率。作为实例地，学习训练算法可为Faster-RCNN或者YOLO算法。
在步骤S103中，当在场景图像中检测到跟踪目标时，获取无人机的位置信息，并通过无人机上预设的测速传感器、预设的光流传感器分别测量跟踪目标的相对移动速度和无人机的移动速度。
在本发明实施例中，当在场景图像中检测到跟踪目标时，可通过无人机上预设的测速传感器实时测量跟踪目标的相对移动速度，即跟踪目标相对于无人机的移动速度，可通过无人机上预设的光流传感器实时测量无人机的移动速度，可通过无人机上预设的定位系统实时获取无人机的位置信息，以根据这些速度信息和位置信息对无人机进行飞行控制。
优选地，当在场景图像中检测到跟踪目标时，将跟踪目标的信息发送给无人机的控制设备，例如无人机的遥控器、控制台，以便用户根据控制设备接收到的跟踪目标的信息，判断是否对跟踪目标进行跟踪。当接收到控制设备返回的跟踪指令时，可将提取到的跟踪目标的特征添加到预设的跟踪列表中，再对无人机和跟踪列表中的跟踪目标进行速度、位置的测量，从而有效地提高了无人机目标跟踪的准确度。其中，当获取场景图像的视觉传感器为变焦彩色相机时，跟踪目标的信息为跟踪目标的种类和颜色，当获取场景图像的视觉传感器为变焦红外相机时，跟踪目标的信息为跟踪目标的种类。
优选地，根据预设的互补滤波算法，对定位系统获得的无人机的位置信息和光流传感器获得的无人机的移动速度进行补偿修正，以提高无人机姿态信息的精度和稳定性。其中，定位系统可为GPS系统。
在步骤S104中，将场景图像、无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，生成融合后的、跟踪目标的传感数据。
在本发明实施例中，可通过D-S证据理论算法将场景图像、跟踪目标的相对移动速度、无人机的移动速度和无人机的位置信息进行融合，即对无人机上多个传感器测量得到的数据进行融合，以解决单一传感器引起的无法识别或错识别现象，有效地提高传感数据的准确率。
在步骤S105中，将传感数据发送给无人机的控制设备，接收控制设备返回的飞行控制指令，通过飞行控制指令对无人机进行飞行控制。
在本发明实施例中，将融合后的传感数据发送给无人机的控制设备，根据无人机的控制设备返回的飞行控制指令对无人机进行飞行控制，从而实现无人机的目标跟踪。
在本发明实施例中，通过与无人机飞行环境的光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像中是否存在跟踪目标，当存在时，将无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，将融合后的数据发送给无人机的控制设备，并根据控制设备返回的飞行控制指令对无人机进行飞行控制，从而使得无人机能够对跟踪目标进行24小时实时动态的监控和跟踪，有效地提高了无人机目标跟踪的准确度和全面性，另外，通过光流传感器和定位系统的结合有效地提高了无人机目标跟踪中定位的准确度。
实施例二：
图2示出了本发明实施例二提供的无人机的目标跟踪装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
视觉传感器切换单元21，用于通过无人机上预设的光线传感器获取无人机飞行环境的光线强度，将无人机上的视觉传感器切换为与光线强度对应的视觉传感器。
在本发明实施例中，由于无人机进行目标跟踪的环境比较复杂，尤其在进行24小时的目标跟踪时，环境中的光线强度变化明显，因此可通过无人机上预设的光线传感器采集无人机飞行环境的光线信号，并将采集到的光线信号转换为电信号，通过电信号对无人机上的视觉传感器进行切换，从而将无人机上的视觉传感器切换为适宜无人机飞行环境光线强度的视觉传感器。其中，光线强度即光线信号的强弱程度。
目标检测识别单元22，用于通过视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别场景图像中是否存在预设的跟踪目标。
在本发明实施例中，可通过切换后的视觉传感器获取无人机所在环境的场景图像，通过预设的特征提取算法提取场景图像中的图像特征(例如颜色、边缘轮廓、形状等)，将该图像特征输入预先训练好的目标检测模型，以检测场景图像中是否存在预设的感兴趣目标，其中，感兴趣目标可包括人和各类物体，例如可能在跟踪过程提供关键信息的车辆、动物等。当检测到感兴趣目标时，通过预先训练好的目标识别模型，识别检测出来的感兴趣目标中是否存在预设的跟踪目标，例如识别检测出来的车辆中是否存在需要进行跟踪的车辆。其中，用户可将跟踪过程中需要跟踪的人或物体的特征预先设置为跟踪目标。
优选地，预先建立样本空间，样本空间中可存储包含车辆、动物、路牌等物体以及人的图像，在样本空间中进行车辆、动物、路牌等物体以及人的检测，以学习训练得到目标检测模型，预先设置训练过程中的跟踪目标，在样本空间中进行该跟踪目标的监测，以学习训练得到目标识别模型，从而通过预先训练好目标检测模型和目标识别模型，有效地提高了无人机目标跟踪时的目标检测效率和目标识别效率。作为实例地，离线学习算法可为Faster-RCNN或者YOLO算法。
速度位置测量单元23，用于当在场景图像中检测到跟踪目标时，获取无人机的位置信息，并通过无人机上预设的测速传感器、预设的光流传感器分别测量跟踪目标的相对移动速度和无人机的移动速度。
在本发明实施例中，当在场景图像中检测到跟踪目标时，可通过无人机上预设的测速传感器实时测量跟踪目标的相对移动速度，即跟踪目标相对于无人机的移动速度，可通过无人机上预设的光流传感器实时测量无人机的移动速度，可通过无人机上预设的定位系统实时获取无人机的位置信息，以根据这些速度信息和位置信息对无人机进行飞行控制。
优选地，当在场景图像中检测到跟踪目标时，将跟踪目标的信息发送给预设的无人机的控制设备，例如无人机的遥控器、控制台，以便用户根据无人机的控制设备接收到的跟踪目标的信息，判断是否对跟踪目标进行跟踪。当接收到控制设备返回的跟踪指令时，可将提取到的跟踪目标的特征添加到预设的跟踪列表中，再对无人机和跟踪列表中的跟踪目标进行速度、位置的测量，从而有效地提高了无人机目标跟踪的准确度。其中，当获取场景图像的视觉传感器为变焦彩色相机时，跟踪目标的信息为跟踪目标的种类和颜色，当获取场景图像的视觉传感器为变焦红外相机时，跟踪目标的信息为跟踪目标的种类。
优选地，根据预设的互补滤波算法，对定位系统获得的无人机的位置信息和光流传感器获得的无人机的移动速度进行补偿修正，以提高无人机姿态信息的精度和稳定性。其中，定位系统可为GPS系统。
数据融合单元24，用于将场景图像、无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，得到融合后的、跟踪目标的传感数据。
在本发明实施例中，可通过D-S证据理论算法将场景图像、跟踪目标的相对移动速度、无人机的移动速度和无人机的位置信息进行融合，即对无人机上多个传感器测量得到的数据进行融合，以解决单一传感器引起的无法识别或错识别现象，有效地提高传感数据的准确率。
飞行控制单元25，用于将传感数据发送给无人机的控制设备，接收控制设备返回的飞行控制指令，通过飞行控制指令对无人机进行飞行控制。
在本发明实施例中，将融合后的传感数据发送给无人机的控制设备，根据无人机的控制设备返回的飞行控制指令对无人机进行飞行控制，从而实现无人机的目标跟踪。
优选地，如图3所示，视觉传感器切换单元21包括：
光线强度检测单元311，用于通过无人机上的光线传感器采集无人机飞行环境的光线强度，检测光线强度是否超过预设的强度阈值；以及
相机启动单元312，用于当光线强度超过强度阈值时，将无人机上的视觉传感器切换为无人机上预设的变焦彩色相机，否则，将无人机上的视觉传感器切换为无人机上预设的变焦红外相机。
在本发明实施例中，无人机上的视觉传感器包括变焦彩色相机和变焦红外相机，变焦彩色相机适宜在光线比较充足的环境中使用，变焦红外相机适宜在光线较暗或没有光线的环境中使用，当光线传感器采集到的光线信号的强度超过预设的强度阈值时，将无人机上的视觉传感器切换为变焦彩色相机，否则切换为变焦红外相机，从而有效解决无人机目标跟踪对环境光线要求较高的问题，使得无人机能够进行24小时实时的目标跟踪。
优选地，数据融合单元24包括：
数据融合子单元341，用于通过预设的D-S证据理论算法，将场景图像、跟踪目标的相对移动速度、无人机的移动速度和无人机的位置信息进行融合，生成传感数据。
在本发明实施例中，通过与无人机飞行环境的光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像中是否存在跟踪目标，当存在时，将无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，将融合后的数据发送给无人机的控制设备，并根据控制设备返回的飞行控制指令对无人机进行飞行控制，从而使得无人机能够对跟踪目标进行24小时实时动态的监控和跟踪，有效地提高了无人机目标跟踪的准确度和全面性，另外，通过光流传感器和定位系统的结合有效地提高了无人机目标跟踪中定位的准确度。
在本发明实施例中，无人机的目标跟踪装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例三提供的无人机的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的无人机4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，通过与无人机飞行环境的光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像中是否存在跟踪目标，当存在时，将无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，将融合后的数据发送给无人机的控制设备，并根据控制设备返回的飞行控制指令对无人机进行飞行控制，从而使得无人机能够对跟踪目标进行24小时实时动态的监控和跟踪，有效地提高了无人机目标跟踪的准确度和全面性，另外，通过光流传感器和定位系统的结合有效地提高了无人机目标跟踪中定位的准确度。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，通过与无人机飞行环境的光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像中是否存在跟踪目标，当存在时，将无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，将融合后的数据发送给无人机的控制设备，并根据控制设备返回的飞行控制指令对无人机进行飞行控制，从而使得无人机能够对跟踪目标进行24小时实时动态的监控和跟踪，有效地提高了无人机目标跟踪的准确度和全面性，另外，通过光流传感器和定位系统的结合有效地提高了无人机目标跟踪中定位的准确度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机的目标跟踪方法，其特征在于，所述方法包括下述步骤：
通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；
通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；
当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；
将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；
将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。
2.如权利1所述的方法，其特征在于，通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器的步骤，包括：
通过所述无人机上的所述光线传感器采集所述无人机飞行环境的光线强度，检测所述光线强度是否超过预设的强度阈值；
当所述光线强度超过所述强度阈值时，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦彩色相机，否则，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦红外相机。
3.如权利要求2所述的方法，其特征在于，检测并识别所述场景图像中是否存在预设的跟踪目标的步骤之后，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度的步骤之前，所述方法还包括：
当在所述场景图像中检测到所述跟踪目标时，将所述跟踪目标的识别信息发送给所述控制设备；
当接收到所述控制设备返回的跟踪指令时，将所述跟踪目标添加到预设的跟踪列表中，以对所述跟踪目标进行跟踪。
4.如权利要求1所述的方法，其特征在于，通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标的步骤，包括：
提取所述场景图像的图像特征，通过所述目标检测模型和所述图像特征，检测所述场景图像中是否存在预设的感兴趣目标；
当检测到所述场景图像中存在所述感兴趣目标时，通过所述目标识别模型识别所述感兴趣目标中是否存在所述跟踪目标。
5.如权利要求1所述的方法，其特征在于，将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据的步骤，包括：
通过预设的D-S证据理论算法，将所述无人机的位置信息、所述场景图像、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，生成所述传感数据。
6.一种无人机的目标跟踪装置，其特征在于，所述装置包括：
视觉传感器切换单元，用于通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；
目标检测识别单元，用于通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；
速度位置测量单元，用于当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；
数据融合单元，用于将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；以及
飞行控制单元，用于将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。
7.如权利要求6所述的装置，其特征在于，所述视觉传感器切换单元包括：
光线强度检测单元，用于通过所述无人机上的所述光线传感器采集所述无人机飞行环境的光线强度，检测所述光线强度是否超过预设的强度阈值；以及
相机启动单元，用于当所述光线强度超过所述强度阈值时，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦彩色相机，否则，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦红外相机。
8.如权利要求6所述的装置，其特征在于，所述数据融合单元包括：
数据融合子单元，用于通过预设的D-S证据理论算法，将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，生成所述传感数据。
9.一种无人机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201710778404.7A 2017-09-01 2017-09-01 无人机的目标跟踪方法、装置、无人机及存储介质 Pending CN107748860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710778404.7A CN107748860A (zh) 2017-09-01 2017-09-01 无人机的目标跟踪方法、装置、无人机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710778404.7A CN107748860A (zh) 2017-09-01 2017-09-01 无人机的目标跟踪方法、装置、无人机及存储介质

Publications (1)

Publication Number Publication Date
CN107748860A true CN107748860A (zh) 2018-03-02

Family

ID=61255595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710778404.7A Pending CN107748860A (zh) 2017-09-01 2017-09-01 无人机的目标跟踪方法、装置、无人机及存储介质

Country Status (1)

Country Link
CN (1) CN107748860A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492569A (zh) * 2018-05-02 2018-09-04 苏州诺登德智能科技有限公司 一种基于无人机的交通追踪控制系统
CN108573259A (zh) * 2018-03-10 2018-09-25 王洁 无人机飞行方向分析系统及方法
CN108897007A (zh) * 2018-04-02 2018-11-27 上海扩博智能技术有限公司 基于无人机的干扰源定位系统及方法
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109445465A (zh) * 2018-10-17 2019-03-08 深圳市道通智能航空技术有限公司 基于无人机的追踪方法、系统、无人机及终端
CN109976386A (zh) * 2019-04-04 2019-07-05 中国电子科技集团公司信息科学研究院 一种多无人机协同跟踪目标的方法和系统
CN110347035A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 自主跟踪方法及装置、电子设备、存储介质
CN110832419A (zh) * 2018-07-25 2020-02-21 深圳市大疆创新科技有限公司 一种无人机控制方法、系统及无人机
WO2020042156A1 (zh) * 2018-08-31 2020-03-05 深圳市道通智能航空技术有限公司 一种运动区域检测方法、装置和无人机
CN111009012A (zh) * 2019-11-29 2020-04-14 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111666871A (zh) * 2020-06-03 2020-09-15 南京航空航天大学 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN112269401A (zh) * 2020-09-04 2021-01-26 河南大学 基于跟踪精度与风险控制的自适应主动传感器跟踪方法
CN112465868A (zh) * 2020-11-30 2021-03-09 浙江大华汽车技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN113228103A (zh) * 2020-07-27 2021-08-06 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN113759986A (zh) * 2021-09-27 2021-12-07 深圳市道通智能航空技术股份有限公司 一种无人机监测追踪方法、装置、设备及存储介质
CN114253289A (zh) * 2021-12-07 2022-03-29 歌尔科技有限公司 飞行器及其控制方法、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN105929850A (zh) * 2016-05-18 2016-09-07 中国计量大学 一种具有持续锁定和跟踪目标能力的无人机系统与方法
CN106897716A (zh) * 2017-04-27 2017-06-27 广东工业大学 一种宿舍安全监控系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN105929850A (zh) * 2016-05-18 2016-09-07 中国计量大学 一种具有持续锁定和跟踪目标能力的无人机系统与方法
CN106897716A (zh) * 2017-04-27 2017-06-27 广东工业大学 一种宿舍安全监控系统及方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573259A (zh) * 2018-03-10 2018-09-25 王洁 无人机飞行方向分析系统及方法
CN108573259B (zh) * 2018-03-10 2019-06-25 东营市远信电器与技术有限责任公司 无人机飞行方向分析系统及方法
CN108897007A (zh) * 2018-04-02 2018-11-27 上海扩博智能技术有限公司 基于无人机的干扰源定位系统及方法
CN110347035A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 自主跟踪方法及装置、电子设备、存储介质
CN108492569A (zh) * 2018-05-02 2018-09-04 苏州诺登德智能科技有限公司 一种基于无人机的交通追踪控制系统
CN110832419A (zh) * 2018-07-25 2020-02-21 深圳市大疆创新科技有限公司 一种无人机控制方法、系统及无人机
WO2020042156A1 (zh) * 2018-08-31 2020-03-05 深圳市道通智能航空技术有限公司 一种运动区域检测方法、装置和无人机
CN109445465A (zh) * 2018-10-17 2019-03-08 深圳市道通智能航空技术有限公司 基于无人机的追踪方法、系统、无人机及终端
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109976386A (zh) * 2019-04-04 2019-07-05 中国电子科技集团公司信息科学研究院 一种多无人机协同跟踪目标的方法和系统
CN111009012A (zh) * 2019-11-29 2020-04-14 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111009012B (zh) * 2019-11-29 2023-07-28 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111666871A (zh) * 2020-06-03 2020-09-15 南京航空航天大学 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN111666871B (zh) * 2020-06-03 2024-02-09 南京航空航天大学 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN111860613B (zh) * 2020-06-30 2023-10-27 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN113228103A (zh) * 2020-07-27 2021-08-06 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN112269401A (zh) * 2020-09-04 2021-01-26 河南大学 基于跟踪精度与风险控制的自适应主动传感器跟踪方法
CN112269401B (zh) * 2020-09-04 2021-07-20 河南大学 基于跟踪精度与风险控制的自适应主动传感器跟踪方法
CN112465868A (zh) * 2020-11-30 2021-03-09 浙江大华汽车技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN112465868B (zh) * 2020-11-30 2024-01-12 浙江华锐捷技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN113759986A (zh) * 2021-09-27 2021-12-07 深圳市道通智能航空技术股份有限公司 一种无人机监测追踪方法、装置、设备及存储介质
CN114253289A (zh) * 2021-12-07 2022-03-29 歌尔科技有限公司 飞行器及其控制方法、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107748860A (zh) 无人机的目标跟踪方法、装置、无人机及存储介质
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
CN105760824B (zh) 一种运动人体跟踪方法和系统
Carrio et al. Onboard detection and localization of drones using depth maps
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
US20200174112A1 (en) Method and apparatus for enhanced camera and radar sensor fusion
US7239719B2 (en) Automatic target detection and motion analysis from image data
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
Rozantsev et al. Flight dynamics-based recovery of a UAV trajectory using ground cameras
CN105159452A (zh) 一种基于人脸姿态估计的控制方法与系统
Li et al. A visual-inertial localization method for unmanned aerial vehicle in underground tunnel dynamic environments
Cigla et al. Onboard stereo vision for drone pursuit or sense and avoid
Wang et al. An automatic self-calibration approach for wide baseline stereo cameras using sea surface images
Long et al. RGB-D-inertial SLAM in indoor dynamic environments with long-term large occlusion
EP4089649A1 (en) Neuromorphic cameras for aircraft
CN105631431B (zh) 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法
CN114092522A (zh) 一种机场飞机起降智能捕获跟踪方法
CN112465867A (zh) 一种基于卷积神经网络的红外点目标实时检测跟踪方法
NL2019877B1 (en) Obstacle detection using horizon-based learning
Shen et al. A benchmark for vision-based multi-UAV multi-object tracking
Cao et al. Vision-based flying targets detection via spatiotemporal context fusion
Fuad et al. Robot Orientation Estimation Based on Single-Frame of Fish-eye Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination