CN108399642B - 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 - Google Patents

一种融合旋翼无人机imu数据的通用目标跟随方法和系统 Download PDF

Info

Publication number
CN108399642B
CN108399642B CN201810078674.1A CN201810078674A CN108399642B CN 108399642 B CN108399642 B CN 108399642B CN 201810078674 A CN201810078674 A CN 201810078674A CN 108399642 B CN108399642 B CN 108399642B
Authority
CN
China
Prior art keywords
target
unmanned aerial
aerial vehicle
rotor unmanned
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810078674.1A
Other languages
English (en)
Other versions
CN108399642A (zh
Inventor
杜晨阳
陈果
韩龙
李扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Shenshi Information Technology Co ltd
Original Assignee
Shanghai Deepsight Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Deepsight Information Technology Co ltd filed Critical Shanghai Deepsight Information Technology Co ltd
Priority to CN201810078674.1A priority Critical patent/CN108399642B/zh
Publication of CN108399642A publication Critical patent/CN108399642A/zh
Application granted granted Critical
Publication of CN108399642B publication Critical patent/CN108399642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及旋翼无人机技术领域。一种融合旋翼无人机IMU数据的通用目标跟随方法，包括如下步骤，步骤一，通过实时获取旋翼无人机IMU数据获得旋翼无人机飞行的姿态数据；步骤二，通过旋翼无人机的视觉处理系统中，实时获取摄像头的图像数据；视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；步骤三，利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；飞控系统根据目标姿态数据调整旋翼无人机追随目标飞行。有效提高旋翼无人机跟随目标的准确度，该算法亦有比较鲁棒的表现。

Description

一种融合旋翼无人机IMU数据的通用目标跟随方法和系统
技术领域
本发明涉及旋翼无人机技术领域，具体涉及目标跟随方法和系统。
背景技术
消费级拍照旋翼无人机，通常为四旋翼无人机，在旋翼无人机头部配置有摄像头，该摄像头无云台配置，或者带有一个自由度的可俯仰旋转的云台，并且搭载了IMU模块。
IMU模块作为消费级旋翼无人机的常规配置，输出的数据并不稳定通常会随着时间会逐渐漂移，并不足以仅靠IMU的数据来引导旋翼无人机追随目标。
基于视觉的目标追踪通常假设相机保持静止或者匀速运动的状态，而在旋翼无人机应用中，用于拍摄的相机与旋翼无人机的运动状态是时刻同步的。尤其在没有云台的情况下，与旋翼无人机刚性连接的相机无时无刻不在受外界气流干扰机身振动等因素影响，输出的图像因此难免会掺杂各种抖动。
在这样的条件下，无论是直接进行目标检测跟踪算法处理，还是在目标跟踪算法之前先进行电子稳像eis处理，都不可避免的带来额外计算量的提升，然而计算资源却非常有限。
发明内容
本发明的目的在于，提供一种融合旋翼无人机IMU数据的通用目标跟随方法，以解决上述至少一个问题。
本发明的目的在于，提供一种融合旋翼无人机IMU数据的通用目标跟随系统，以解决上述至少一个问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于，包括如下步骤，
步骤一，通过实时获取旋翼无人机IMU数据获得旋翼无人机飞行的姿态数据；
步骤二，通过旋翼无人机的视觉处理系统中，实时获取摄像头的图像数据；
视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；
步骤三，利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；
飞控系统根据目标姿态数据调整旋翼无人机追随目标飞行。
该方法融合了当前飞机的姿态数据能有效提高旋翼无人机跟随目标的准确度，特别是在旋翼无人机机身有较大震动或者受到气流影响时，由于预先考虑了飞机相机姿态对摄取图像的影响，该算法亦有比较鲁棒的表现。
步骤一中的，IMU数据通过惯性测量单元测量获取；
IMU采样频率250HZ。
步骤一中，旋翼无人机的姿态数据包括偏航角，俯仰角，滚转角；
通过实时获取旋翼无人机IMU数据得到在偏航角方向上、俯仰角方向上、滚转角方向上的角速度，对角速度进行积分得到对应的偏航角，俯仰角，滚转角，并缓存这些姿态数据。
步骤二中，摄像头是一前置摄像头，前置摄像头以每秒30帧的速度采集图像数据，传给视觉处理系统。
步骤二中，用户控制端可以实时接收到前置摄像头采集到的图像数据；
用户从中标记要进行跟踪的目标；
用户控制端把要进行跟踪的目标传回旋翼无人机的视觉处理系统；
视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角。
便于实时更换跟踪目标。
用于对要进行跟踪的目标进行标记时，可以选取同一对象进行至少两处不同方位的标记。便于跟踪同一对象的精准性。
步骤二中，首先用获取到的每一帧图像的时间戳，查询距离该时间戳最接近的两个IMU数据，对查询到的IMU数据进行插值，得到该帧图像对应的IMU数据，也即摄取该图像时飞机的姿态。
通过KCF算法追踪设定的目标；接下来在获取到的每一帧图像应用KCF算法，在进行跟踪计算处理之前，利用上一步匹配得到的相邻两帧图像对应的IMU姿态数据，计算得到一个旋转变换矩阵，通过该矩阵对上一帧计算得到的目标区域坐标进行变换，得到变换后对应于当前帧的目标坐标，在此基础上以变换得到的目标坐标为起始的周边区域进行搜索，融合KCF算法以得到最终的目标所在的位置；
用当前帧检测到的目标坐标，计算出目标相对于中心位置在水平以及垂直方向上的偏移量，并以此估计目标对象单位时间的前进、后退、左右运动的位移，根据水平方向的位移以及当前飞机偏航角估计目标偏航角，根据垂直方向上的位移以及当前飞机俯仰角估计目标俯仰角。
在进行视觉处理时，该方法仅对目标的坐标进行变换得到下一帧的目标坐标可以有效避免额外计算量的大幅增加，节约了计算资源。
步骤二中，旋转变换矩阵的获得方式为利用当前帧与上一帧的IMU数据差，计算出飞机坐标系中飞机姿态从上一帧到当前帧的旋转变换矩阵M；
考虑摄像头的摄像方向与机身所处平面偏下夹角a，摄像头与IMU模块的相对位置T(dx,dy,dz)，以及标定得到的相机参数I，计算出相机对应的变换矩阵M'：
M'＝S*I*M*P,
S为一个缩放系数，I为相机的内参矩阵，M为相机在两帧之间相机的运动的变换矩阵，P是图像从2D到3D的投影矩阵。
M＝T*R,
R与T可以看成是相机从IMU的位置经过平移T(dx,dy,dz)，旋转R进行拍摄。R是通过两帧之间的IMU数据差以及相机与飞机本身夹角a计算得到。
R(ΔYaw，ΔPitch，ΔRoll)＝r(ΔYaw)*r(ΔPitch)*r(ΔRoll),
俯仰角(pitch),偏航角(yaw),翻滚角(roll)，其中ΔYaw，ΔPitch，ΔRoll包含了IMU数据差以及相机夹角a，r(θ)为在对应坐标轴上旋转角度θ的矩阵，
Figure GDA0003087199290000031
把计算出的变换矩阵M'应用到上一帧追踪的目标坐标Ln-1(x,y)，得到当前帧图像中目标的估计位置：Ln(x,y)＝Ln-1(x,y)M'；
以该估计得到的目标位置为起始点的周围区域，融合到KCF跟踪算法处理当前帧图像，得到当前帧目标位置Tn(x,y)，通过该目标位置与相机中心点位置做差，估计出目标物体在偏航角方向上、俯仰角方向上的偏转角度；
飞控系统综合视觉处理系统输出的偏转角度，以及历史姿态数据，利用融合滤波器得到旋翼无人机的目标姿态数据，目标姿态数据包括目标偏航角，目标俯仰角，目标滚转角；
根据目标姿态数据调整旋翼无人机的目标姿态，从而跟随目标飞行。
一种融合旋翼无人机IMU数据的通用目标跟随系统，其特征在于，包括惯性测量单元，实时测量旋翼无人机飞行的姿态数据；
包括一视觉处理系统，实时获取摄像头的图像数据，利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；
利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；
还包括一飞控系统，根据目标姿态数据调整旋翼无人机追随目标飞行。
附图说明
图1为本发明一种融合旋翼无人机IMU数据的通用目标跟随系统部分示意图；
图2为本发明一种融合旋翼无人机IMU数据的通用目标跟随方法跟随目标状态下摄取图像的一种示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。
参照图1、图2，一种融合旋翼无人机IMU数据的通用目标跟随方法，包括如下步骤，步骤一，通过实时获取旋翼无人机IMU数据获得旋翼无人机飞行的姿态数据；步骤二，通过旋翼无人机的视觉处理系统2中，实时获取摄像头的图像数据；视觉处理系统2利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；步骤三，利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；飞控系统3根据目标姿态数据调整旋翼无人机追随目标飞行。该方法融合了当前飞机的姿态数据能有效提高旋翼无人机跟随目标的准确度，特别是在旋翼无人机机身有较大震动或者受到气流影响时，由于预先考虑了飞机相机姿态对摄取图像的影响，该算法亦有比较鲁棒的表现。
步骤一中的，IMU数据通过惯性测量单元测量获取；IMU采样频率250HZ。
步骤一中，旋翼无人机的姿态数据包括偏航角，俯仰角，滚转角；通过实时获取旋翼无人机IMU数据得到在偏航角方向上、俯仰角方向上、滚转角方向上的角速度，对角速度进行积分得到对应的偏航角，俯仰角，滚转角，并缓存这些姿态数据。
步骤二中，摄像头是一前置摄像头4，前置摄像头4以每秒30帧的速度采集图像数据，传给视觉处理系统。
步骤二中，用户控制端可以实时接收到前置摄像头4采集到的图像数据；用户从中标记要进行跟踪的目标；用户控制端把要进行跟踪的目标传回旋翼无人机的视觉处理系统；视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角。便于实时更换跟踪目标。
用于对要进行跟踪的目标进行标记时，可以选取同一对象进行至少两处不同方位的标记。便于跟踪同一对象的精准性。
步骤二中，首先用获取到的每一帧图像的时间戳，查询距离该时间戳最接近的两个IMU数据，对查询到的IMU数据进行插值，得到该帧图像对应的IMU数据，也即摄取该图像时飞机的姿态。
通过KCF算法追踪设定的目标；接下来在获取到的每一帧图像应用KCF算法，在进行跟踪计算处理之前，利用上一步匹配得到的相邻两帧图像对应的IMU姿态数据，计算得到一个旋转变换矩阵，通过该矩阵对上一帧计算得到的目标区域坐标进行变换，得到变换后对应于当前帧的目标坐标，在此基础上以变换得到的目标坐标为起始的周边区域进行搜索，融合KCF算法以得到最终的目标所在的位置；用当前帧检测到的目标坐标，计算出目标相对于中心位置在水平以及垂直方向上的偏移量，并以此估计目标对象单位时间的前进、后退、左右运动的位移，根据水平方向的位移以及当前飞机偏航角估计目标偏航角，根据垂直方向上的位移以及当前飞机俯仰角估计目标俯仰角。在进行视觉处理时，该方法仅对目标的坐标进行变换得到下一帧的目标坐标可以有效避免额外计算量的大幅增加，节约了计算资源。
步骤二中，旋转变换矩阵的获得方式为利用当前帧与上一帧的IMU数据差，计算出飞机坐标系中飞机姿态从上一帧到当前帧的旋转变换矩阵M；
考虑摄像头的摄像方向与机身所处平面偏下夹角a，摄像头与IMU模块的相对位置T(dx,dy,dz)，以及标定得到的相机参数I，计算出相机对应的变换矩阵M'：
M'＝S*I*M*P,
S为一个缩放系数，I为相机的内参矩阵，M为相机在两帧之间相机的运动的变换矩阵，P是图像从2D到3D的投影矩阵。
M＝T*R,
R与T可以看成是相机从IMU的位置经过平移T(dx,dy,dz)，旋转R进行拍摄。R是通过两帧之间的IMU数据差以及相机与飞机本身夹角a计算得到。
R(ΔYaw，ΔPitch，ΔRoll)＝r(ΔYaw)*r(ΔPitch)*r(ΔRoll),
俯仰角(pitch),偏航角(yaw),翻滚角(roll)，其中ΔYaw，ΔPitch，ΔRoll包含了IMU数据差以及相机夹角a，r(θ)为在对应坐标轴上旋转角度θ的矩阵，
Figure GDA0003087199290000061
把计算出的变换矩阵M'应用到上一帧追踪的目标坐标Ln-1(x,y)，得到当前帧图像中目标的估计位置：Ln(x,y)＝Ln-1(x,y)M'；
以该估计得到的目标位置为起始点的周围区域，融合到KCF跟踪算法处理当前帧图像，得到当前帧目标位置Tn(x,y)，通过该目标位置与相机中心点位置做差，估计出目标物体在偏航角方向上，俯仰角方向上的偏转角度；飞控系统综合视觉处理系统输出的偏转角度，以及历史姿态数据，利用融合滤波器得到旋翼无人机的目标姿态数据，目标姿态数据包括目标偏航角，目标俯仰角，目标滚转角；根据目标姿态数据调整旋翼无人机的目标姿态，从而跟随目标飞行。
一种融合旋翼无人机IMU数据的通用目标跟随系统，包括惯性测量单元1，实时测量旋翼无人机飞行的姿态数据；包括一视觉处理系统2，实时获取摄像头4的图像数据，利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；还包括一飞控系统3，根据目标姿态数据调整旋翼无人机追随目标飞行。
一种融合旋翼无人机IMU数据的通用目标跟随系统，还包括一通用目标运动轨迹分析模块，所述通用目标运动轨迹分析模块分析摄像头采集到的目标的运动姿势以及运动方向，对目标的下一步运动轨迹进行预测；当运动目标是人体时(并不限于人体)，通用目标运动轨迹分析模块分析人体的运动姿势以及方向，运动姿势包括行走、奔跑、跳跃、站立、爬行、坐中的任意一种。便于根据目标的运动姿势，对目标的下一步运动轨迹进行预测，便于目标的定位精度。
一种融合旋翼无人机IMU数据的通用目标跟随系统，还包括一远程控制终端，发起人体追踪启动指令；
图像处理系统将摄像头采集到的图像中所有检测出的人体位置发送回远程控制终端，由远程控制终端选择其中一个需要跟踪的人体位置，人体追踪系统在接收到跟踪目标后开始进入跟踪流程；
远程控制终端以人体的头部与脚部两处作为人体位置的标识点，旋翼无人机跟随选择的两个标识点。摄像头摄像的范围覆盖以两个标识点之间的中点为中心，直径为两个标识点之间间距的1.2倍。
便于根据采集到画面中，两个标识点位置所处的区域，调整摄像方向，实现两个标识点的中心靠近摄像头摄像的区域的中心。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于，包括如下步骤，
步骤一，通过实时获取旋翼无人机IMU数据获得旋翼无人机飞行的姿态数据；
步骤二，通过旋翼无人机的视觉处理系统，实时获取摄像头的图像数据；
视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；
步骤三，利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；
飞控系统根据目标姿态数据调整旋翼无人机追随目标飞行；
步骤二中，首先用获取到的每一帧图像的时间戳，查询距离该时间戳最接近的两个IMU数据，对查询到的IMU数据进行插值，得到该帧图像对应的IMU数据，也即摄取该帧图像对应的旋翼无人机的姿态；
通过KCF算法追踪设定的目标；接下来在获取到的每一帧图像应用KCF算法，在进行跟踪计算处理之前，利用上一步匹配得到的相邻两帧图像对应的IMU姿态数据，计算得到一个旋转变换矩阵，通过该矩阵对上一帧计算得到的目标区域坐标进行变换，得到变换后对应于当前帧的目标坐标，在此基础上以变换得到的目标坐标为起始的周边区域进行搜索，融合KCF算法以得到最终的目标所在的位置；
用当前帧检测到的目标坐标，计算出目标相对于中心位置在水平以及垂直方向上的偏移量，并以此估计目标对象单位时间的前进、后退、左右运动的位移，根据水平方向的位移以及当前飞机偏航角估计目标偏航角，根据垂直方向上的位移以及当前飞机俯仰角估计目标俯仰角。
2.根据权利要求1所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：步骤一中的，IMU数据通过惯性测量单元测量获取；
IMU采样频率为250HZ。
3.根据权利要求1所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：步骤一中，旋翼无人机的姿态数据包括偏航角，俯仰角，滚转角；
通过实时获取旋翼无人机IMU数据得到在偏航角方向上、俯仰角方向上、滚转角方向上的角速度，对角速度进行积分得到对应的偏航角，俯仰角，滚转角，并缓存这些姿态数据。
4.根据权利要求1所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：步骤二中，摄像头是一前置摄像头，前置摄像头以每秒30帧的速度采集图像数据，传给视觉处理系统。
5.根据权利要求1所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：步骤二中，用户控制端可以实时接收到前置摄像头采集到的图像数据；
用户从中标记要进行跟踪的目标；
用户控制端把要进行跟踪的目标传回旋翼无人机的视觉处理系统；
视觉处理系统利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角。
6.根据权利要求1所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：步骤二中，旋转变换矩阵的获得方式为利用当前帧与上一帧的IMU数据差，计算出飞机坐标系中飞机姿态从上一帧到当前帧的旋转变换矩阵M；
考虑摄像头的摄像方向与机身所处平面的夹角a，以及标定得到的相机参数，计算出相机对应的变换矩阵M'，把这个矩阵应用到上一帧追踪的目标坐标Ln-1(x,y)，得到当前帧图像中目标的估计位置：Ln(x,y) = Ln-1 (x,y)* M'；
以该估计得到的目标位置为起始点的周围区域，融合到KCF跟踪算法处理当前帧图像，得到当前帧目标位置Tn (x,y)，通过该目标位置与相机中心点位置做差，估计出目标物体在偏航角方向上，俯仰角方向上的偏转角度；
飞控系统综合视觉处理系统输出的偏转角度，以及历史姿态数据，利用融合滤波器得到旋翼无人机的目标姿态数据，目标姿态数据包括目标偏航角、目标俯仰角、目标滚转角；
根据目标姿态数据调整旋翼无人机的目标姿态，从而跟随目标飞行。
7.根据权利要求5所述的一种融合旋翼无人机IMU数据的通用目标跟随方法，其特征在于：用于对要进行跟踪的目标进行标记时，选取同一对象进行至少两处不同方位的标记。
8.一种融合旋翼无人机IMU数据的通用目标跟随系统，其特征在于，包括惯性测量单元，实时测量旋翼无人机飞行的姿态数据；
包括一视觉处理系统，实时获取摄像头的图像数据，利用KCF算法结合IMU数据对该目标进行检测跟踪，把跟踪到的结果转换成旋翼无人机的目标偏航角，目标俯仰角；
利用一个融合滤波器把旋翼无人机的历史姿态数据跟视觉处理系统跟踪到的结果进行融合得到旋翼无人机的目标姿态数据；
还包括一飞控系统，根据目标姿态数据调整旋翼无人机追随目标飞行；
所述融合旋翼无人机IMU数据的通用目标跟随系统采用权利要求1-7中任意一项所述的融合旋翼无人机IMU数据的通用目标跟随方法实现目标跟随。
CN201810078674.1A 2018-01-26 2018-01-26 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 Active CN108399642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078674.1A CN108399642B (zh) 2018-01-26 2018-01-26 一种融合旋翼无人机imu数据的通用目标跟随方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078674.1A CN108399642B (zh) 2018-01-26 2018-01-26 一种融合旋翼无人机imu数据的通用目标跟随方法和系统

Publications (2)

Publication Number Publication Date
CN108399642A CN108399642A (zh) 2018-08-14
CN108399642B true CN108399642B (zh) 2021-07-27

Family

ID=63094992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078674.1A Active CN108399642B (zh) 2018-01-26 2018-01-26 一种融合旋翼无人机imu数据的通用目标跟随方法和系统

Country Status (1)

Country Link
CN (1) CN108399642B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086756A (ja) * 2018-11-21 2020-06-04 富士ゼロックス株式会社 自律移動装置およびプログラム
CN110018692A (zh) * 2019-04-24 2019-07-16 五邑大学 一种无人机制导方法、系统、装置及存储介质
CN110244756B (zh) * 2019-04-29 2021-09-24 福州大学 无人机快速追踪协同避障方法
CN110222581B (zh) * 2019-05-13 2022-04-19 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110069071B (zh) * 2019-05-15 2022-06-14 深圳铂石空间科技有限公司 无人机导航方法与装置、存储介质、电子设备
CN110244771A (zh) * 2019-05-22 2019-09-17 安徽翔翼智能科技有限公司 一种无人机任务载荷实训自适应跟踪控制方法
CN110428603B (zh) * 2019-07-26 2021-04-23 北京主线科技有限公司 集装箱卡车编队中跟随车行驶控制方法及装置
CN110824479A (zh) * 2019-10-28 2020-02-21 兰州大方电子有限责任公司 一种用于短临预报的雷达数据处理方法
WO2021184359A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN111596693B (zh) * 2020-06-17 2023-05-26 中国人民解放军国防科技大学 基于云台相机的无人机对地面目标跟踪控制方法及系统
CN111595303A (zh) * 2020-07-03 2020-08-28 成都微宇科技有限责任公司 一种筛选航片的方法
CN111736190B (zh) * 2020-07-24 2022-01-25 广东电网有限责任公司 一种无人机机载目标检测系统及方法
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN111984036B (zh) * 2020-08-28 2022-09-16 中国人民解放军国防科技大学 一种基于云台相机的固定翼无人机对快速运动目标的跟踪方法
CN112233141B (zh) * 2020-09-28 2022-10-14 国网浙江省电力有限公司杭州供电公司 电力场景下基于无人机视觉的运动目标追踪方法及系统
CN112861622A (zh) * 2020-12-31 2021-05-28 厦门唯识筋斗云科技有限公司 一种基于无人机平台的智能识别方法、设备及系统
CN112882489A (zh) * 2021-01-12 2021-06-01 深圳市慧明捷科技有限公司 一种基于大数据的无人机数据采集系统
CN113406964B (zh) * 2021-05-19 2022-11-18 浙江华飞智能科技有限公司 运动参数调节方法、装置、存储介质及电子装置
CN115811712B (zh) * 2021-09-13 2024-08-06 海鹰航空通用装备有限责任公司 一种天线引导方法、天线引导装置以及天线跟踪系统
CN113776538B (zh) * 2021-09-16 2024-08-06 中国人民解放军91388部队 基于指显平台对目标航迹的实时数据融合方法
CN117055599B (zh) * 2023-08-31 2024-05-14 北京航翊科技有限公司 无人机飞行控制方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104006787A (zh) * 2014-05-01 2014-08-27 哈尔滨工业大学 空间飞行器姿态运动模拟平台高精度姿态确定方法
EP2779675A2 (en) * 2013-03-15 2014-09-17 Immersion Corporation Computer-implemented method and system of providing haptic feedback
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN105652891A (zh) * 2016-03-02 2016-06-08 中山大学 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106989744A (zh) * 2017-02-24 2017-07-28 中山大学 一种融合机载多传感器的旋翼无人机自主定位方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2779675A2 (en) * 2013-03-15 2014-09-17 Immersion Corporation Computer-implemented method and system of providing haptic feedback
CN104006787A (zh) * 2014-05-01 2014-08-27 哈尔滨工业大学 空间飞行器姿态运动模拟平台高精度姿态确定方法
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN105652891A (zh) * 2016-03-02 2016-06-08 中山大学 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN106989744A (zh) * 2017-02-24 2017-07-28 中山大学 一种融合机载多传感器的旋翼无人机自主定位方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel active tracking system for robotic fish based on cascade control structure;X. Yang et al;《2016 IEEE International Conference on Robotics and Biomimetics》;20161231;第749-754页 *
基于视觉的无人机地面目标自主跟踪系统;成慧等;《人工智能》;20171231(第6期);第52-61页 *

Also Published As

Publication number Publication date
CN108399642A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108399642B (zh) 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN112567201B (zh) 距离测量方法以及设备
JP6743191B2 (ja) マルチセンサ画像手ぶれ補正技術
EP3347789B1 (en) Systems and methods for detecting and tracking movable objects
EP3273318B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et localisation améliorée de la cible
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
EP2615580B1 (en) Automatic scene calibration
WO2017050279A1 (zh) 无人机深度图像的获取方法、装置及无人机
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN107289910B (zh) 一种基于tof的光流定位系统
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN111226154B (zh) 自动对焦相机和系统
JP2007240506A (ja) ３次元形状と３次元地形計測法
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
CN105096346B (zh) 一种防抖的运动目标拍摄处理系统
CA2737451A1 (en) Method and apparatus for displaying stereographic images of a region
CN108496201A (zh) 图像处理方法和设备
WO2019000325A1 (zh) 用于无人机航拍的增强现实方法、处理器及无人机
CN109754420B (zh) 一种目标距离估计方法、装置及无人机
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN113218407A (zh) 一种基于vio和卫星导航系统融合的地图生成方法及装置
CN110139038A (zh) 一种自主环绕拍摄方法、装置以及无人机
CN105807083B (zh) 一种无人飞行器实时测速方法及系统
CN114554030B (zh) 设备检测系统以及设备检测方法
Barry et al. FPGA vs. pushbroom stereo vision for MAVs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 709-3, Building 2, No. 21 Intercity Road, Suzhou High tech Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou Shenshi Information Technology Co.,Ltd.

Country or region after: China

Address before: 200241, room 1027, building B, 555 Dongchuan Road, Shanghai, Minhang District

Patentee before: SHANGHAI DEEPSIGHT INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China