CN113674310A - 一种基于主动视觉感知的四旋翼无人机目标跟踪方法 - Google Patents

一种基于主动视觉感知的四旋翼无人机目标跟踪方法 Download PDF

Info

Publication number
CN113674310A
CN113674310A CN202110513594.6A CN202110513594A CN113674310A CN 113674310 A CN113674310 A CN 113674310A CN 202110513594 A CN202110513594 A CN 202110513594A CN 113674310 A CN113674310 A CN 113674310A
Authority
CN
China
Prior art keywords
target
track
unmanned aerial
apparent
quad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110513594.6A
Other languages
English (en)
Other versions
CN113674310B (zh
Inventor
张平
梁观鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110513594.6A priority Critical patent/CN113674310B/zh
Publication of CN113674310A publication Critical patent/CN113674310A/zh
Application granted granted Critical
Publication of CN113674310B publication Critical patent/CN113674310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于主动视觉感知的四旋翼无人机目标跟踪方法。所述方法包括以下步骤：选择跟踪目标；根据基于深度关联度量的多轨道孪生网络目标跟踪算法，对目标进行图像位置跟踪；估计和预测目标的运动状态；计算未来N步时间的最优控制序列，控制四旋翼无人机保距跟踪目标以及相机对准目标。本发明使用目标检测算法识别常见感兴趣物体类别，对于移动物体初始跟踪框的选取可以起到明显的辅助作用。本发明在保证算法实时性的基础上增加了目标识别的成功率和容错性，同时能够反映目标的丢失情况并且在目标丢失后进行全局目标重定位搜索，实现对目标的长时视觉目标跟踪，为目标的状态估计提供基本的保障。

Description

一种基于主动视觉感知的四旋翼无人机目标跟踪方法
技术领域：
本发明涉及的领域有四旋翼无人机技术、机器视觉以及航迹规划，涉及一种 基于主动视觉感知的四旋翼无人机目标跟踪方法。
背景技术：
现有四旋翼无人机目标跟踪系统主要需要解决两方面问题，一是利用机载 传感器对目标进行识别和定位；二是规划无人机的运动轨迹，控制无人机对目 标展开跟踪，使传感器可以持续观测到目标。
根据目标识别与定位的实现手段，现有无人机目标跟踪系统的实现可以分 为两类，一是要求目标携带GPS或类似其他电子信标，无人机通过信标的获取 目标定位信息；这类方法具有很大的局限性。二是要求无人机搭载视觉传感器， 无人机通过视觉目标跟踪算法获取目标在图像中的像素坐标，并且基于三维坐 标解算方法得到目标在地理坐标系下的三维坐标；这类方法使用的视觉目标跟 踪算法多为传统算法或者相关滤波算法，其跟踪精度较差或者容易在长时跟踪 中累计误差导致漂移出错，不能直接用于无人机目标跟踪任务。
此外，在目标跟踪过程中，目标为规避无人机的跟踪，会产生较强的机动变 化。然而，现有无人机目标跟踪系统的轨迹规划和跟踪控制方法大多只考虑当前 时刻的目标状态，缺乏一种主动机制应对目标的规避行为。
现有技术中有，首先利用改进的FDSST算法对目标进行视觉跟踪，然后通 过扩展卡尔曼滤波方法进行目标状态估计，最后根据目标和无人机状态，利用 PID控制器实现无人机自主保距跟踪目标(刘奇胜.基于视觉的四旋翼无人机目 标跟踪系统的设计与实现[D].电子科技大学,2019)。但是，该现有技术中提出的 改进FDSST算法仍属于相关滤波算法类别，其跟踪精度较差并且容易积累误差 导致永久性跟踪出错。此外，该现有技术中的PID控制器只考虑当前时刻的目 标状态，当目标移动较快或者目标机动较强时，容易发生跟踪滞后问题，即无法 维持期望的跟踪距离，继而导致目标丢失。
这些情况都影响了无人机目标跟踪系统的实用性，是应用场景具有局限性 的主要原因。
发明内容：
本发明的出发点在于克服现有类似系统的不足，提供了一种基于主动视觉 感知的四旋翼无人机目标跟踪方法。本发明首先通过目标检测方法辅助选择跟 踪目标；然后通过基于深度关联度量的多轨道孪生网络目标跟踪算法在线跟踪 目标的图像位置和尺度，实现对目标在像素意义上的位置追踪与尺度追踪；接着 结合无人机的其他传感器信息，将目标在像素意义上的位置转换到在地理坐标 系下的位置，并且使用卡尔曼滤波估计目标的运动状态和预测目标的未来N步 时间运动状态；最后根据目标在未来N步时间的运动状态和环境信息，计算未 来N步时间的无人机最优控制序列，实现四旋翼无人机对目标的主动跟踪。
本发明的目的至少通过如下技术方案之一实现。
一种基于主动视觉感知的四旋翼无人机目标跟踪方法，包括以下步骤：
S1、选择跟踪目标；
S2、根据基于深度关联度量的多轨道孪生网络目标跟踪算法，对目标进行图 像位置跟踪；
S3、估计和预测目标的运动状态；
S4、计算未来N步时间的最优控制序列，控制四旋翼无人机保距跟踪目标 以及相机对准目标。
进一步地，步骤S1中，地面站计算机在线接收和显示四旋翼无人机回传的 图像，运行目标检测算法或者人工选择跟踪目标，得到初始目标包围框区域；
根据四旋翼无人机的飞行高度和相机内参、跟踪目标的图像位置和大小，通 过单目测距原理和三角相似方法估算目标的身高h。
进一步地，步骤S2中，当四旋翼无人机接收到新的图像帧时，运行基于深 度关联度量的多轨道孪生网络目标跟踪算法，获得目标的最新图像位置和尺度；
若目标丢失，则将基于深度关联度量的多轨道孪生网络目标跟踪算法从局 部跟踪切换到全局目标重定位搜索。
进一步地，步骤S2中，所述基于深度关联度量的多轨道孪生网络目标跟踪 算法具体包括以下步骤：
S2.1、构建深度目标验证器，建立目标轨道，将目标轨道标记为已确认状态； 根据步骤S1所选择目标，基于深度目标验证器提取初始目标包围框区域的深度 嵌入表观特征向量F0，并且以F0初始化目标轨道的历史表观特征向量池；设置 历史表观特征向量池的最大容量为L个表观特征向量，并且在池满时以先进先 出的方式更新；基于初始目标包围框的位置和尺度提取运动特征向量，初始化描 述目标运动变化的卡尔曼滤波器，完成对目标轨道的初始化；以初始目标包围框 区域作为目标模板，完成对孪生网络跟踪器的初始化；
S2.2、当四旋翼无人机接收到新的图像帧时，以上一帧的目标包围框区域为 中心提取局部搜索区域S；使用孪生网络跟踪器在局部搜索区域S内提取多个 候选包围框，同时获得候选包围框的响应得分；通过非极大值抑制和预设的重叠 率阈值t7和孪生网络跟踪器响应得分阈值t0，过滤重叠率高于阈值t7的冗余包 围框和响应得分低于阈值t0的低质量包围框，得到候选对象包围框；
响应得分是每个候选对象包围框的固有属性，由孪生网络跟踪器生成，其值 是0-1.0之间，值越大代表包围框的质量越好。阈值参数t0和t7的值根据详细实 施例的情况手动设置，根据经验设置；非极大值抑制是一种在计算机视觉领域用 于去除重叠包围框的通用方法。
S2.3、基于深度目标验证器对步骤S2.2所得到的候选对象包围框提取深度 嵌入表观特征向量；基于候选对象包围框的位置和尺度提取候选对象包围框的 运动特征向量；基于卡尔曼滤波器预测目标轨道的运动特征向量；若存在干扰对 象轨道，基于卡尔曼滤波器预测所有干扰对象轨道的运动特征向量；
S2.4、将目标轨道或者匹配成功次数大于n的干扰对象轨道表示为已确认轨 道，根据候选对象包围框的深度嵌入表观特征向量以及已确认轨道的历史表观 特征向量池，利用余弦距离计算两者之间的表观代价；若表观代价高于预设的表 观不匹配阈值t1，则判断候选对象包围框与对应的已确认轨道不匹配，将该表观 代价修改为浮点类型的最大表示值；根据不同候选对象包围框与不同已确认轨 道之间的表观代价，生成可用于关联匹配的表观代价矩阵；
根据候选对象包围框的运动特征向量以及已确认轨道的预测运动特征向量， 利用Mahalanobis距离计算两者之间的几何代价；若几何代价高于预设的几何距 离阈值t2，并且当其对应的候选对象包围框与对应的已确认轨道之间的表观代价 高于预设的表观可靠匹配阈值t3时，判断候选对象包围框与轨道不可匹配，修 改该表观代价为浮点数的最大表示值；
根据不同候选对象包围框与不同已确认轨道之间的几何代价，生成可用于 关联匹配的几何代价矩阵；
S2.5、根据步骤S2.2中响应得分最高的候选对象包围框的深度嵌入表观特 征向量以及初始目标包围框区域的深度嵌入表观特征向量F0，利用余弦距离计 算该候选对象包围框与目标轨道之间的初始表观代价，若初始表观代价低于预 设的表观可靠匹配阈值t3，则判断该候选对象包围框与目标轨道成功匹配，更新 匹配结果集，并且移除表观代价矩阵和几何代价矩阵中该候选对象包围框和目 标轨道所在的行和列；
S2.6、基于匈牙利匹配方法，利用执行步骤S2.5后的表观代价矩阵对未匹 配的候选对象包围框和未匹配的已确认轨道进行二部图匹配，更新匹配结果集、 未匹配候选对象集以及未匹配轨道集；
S2.7、将匹配成功次数小于等于n的干扰对象轨道表示为未确认干扰对象轨 道，将所有未确认干扰对象轨道加入到未匹配轨道集；根据未匹配候选对象集中 的未匹配候选对象包围框的运动特征向量和未匹配轨道集中的轨道的预测运动 特征向量，计算两者之间的交并比(IOU)；根据不同未匹配候选对象包围框与 未匹配轨道集中不同的轨道的IOU，生成IOU代价矩阵；基于匈牙利匹配方法， 利用IOU代价矩阵对未匹配候选对象集和未匹配轨道集中的元素进行第二次二 部图匹配，更新匹配结果集、未匹配候选对象集和未匹配轨道集；
S2.8、遍历匹配结果集，利用匹配结果中的候选对象包围框的运动特征向量 更新所匹配轨道的卡尔曼滤波参数，如果该匹配结果的表观代价低于预设的历 史表观特征向量池更新阈值t4，则利用候选对象包围框的表观特征向量更新所匹 配轨道的历史表观特征向量池，并且在池满时基于先进先出的原则丢失旧特征 向量，如果所匹配轨道是未确认干扰对象轨道，并且其匹配成功次数大于n，则 将该干扰对象轨道标记为已确认状态；
S2.9、遍历未匹配轨道集，如果是干扰对象轨道，并且距离其最近一次匹配 成功的间隔大于m帧，则删除该干扰对象轨道；
遍历未匹配候选对象集，为每一个未匹配候选对象包围框新建单独的干扰 对象轨道，并且利用未匹配候选对象包围框的深度嵌入表观特征向量初始化对 应干扰对象轨道的历史表观特征向量池，设置其历史表观特征向量池的最大容 量为L个表观特征向量，并且在池满时以先进先出的方式更新，利用未匹配候 选对象包围框的运动特征向量初始化描述干扰对象运动变化的卡尔曼滤波器， 完成对干扰对象轨道的初始化；
S2.10、如果目标轨道匹配成功，则跳转到步骤S3，以目标轨道所匹配候选 对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离其最近 一次匹配成功间隔小于k帧，则跳转到步骤S3，以步骤S2.2中最高响应得分的 候选对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离其 最近一次匹配成功间隔大于或等于k帧，则判断目标丢失，将目标跟踪从局部 区域跟踪调整到全局目标重定位搜索；
S2.11、当四旋翼无人机接收到新的图像帧时，基于滑动窗口机制产生覆盖 完整图像的重定位搜索区域集合；输入所有重定位搜索区域到孪生网络跟踪器， 用于提取候选包围框，同时获得候选包围框的响应得分；基于非极大值抑制、预 设的重叠率阈值t7和预设的孪生网络跟踪器响应得分阈值t0，丢弃过滤重叠率 高于阈值t7的冗余包围框和响应得分低于阈值t0的低质量包围框，得到全局图 像的候选对象包围框；
S2.12、基于深度目标验证器对步骤S2.11得到的全局图像的候选对象包围 框提取深度嵌入表观特征向量；
根据全局图像的候选对象包围框的深度嵌入表观特征向量和目标轨道的历 史表观特征向量池，利用余弦距离计算两者之间的表观代价；根据全局图像的候 选对象包围框的深度嵌入表观特征向量和初始目标包围框区域的深度嵌入表观 特征向量F0，利用余弦距离计算它们之间的初始表观代价；通过计算表观代价 和初始表观代价的加权和，得到全局图像的候选对象包围框与目标轨道的全局 搜索表观代价；
根据全局图像的不同候选对象包围框与目标轨道的全局搜索表观代价，获 取最小全局搜索表观代价；若最小全局搜索表观代价低于全局搜索匹配阈值t5， 则判断目标轨道被重新成功匹配，跳转回步骤S2.2，并且以最小全局搜索表观 代价所对应的候选对象包围框作为图像位置跟踪结果，否则跳转步骤S2.11。
进一步地，步骤S2.1中，深度目标验证器是离线预训练的残差神经网络， 其作用是通过特征嵌入将不同包围框映射到同一个距离空间，提取目标包围框 的深度嵌入表观特征向量，用于计算不同图像块之间的相似度；深度目标验证器 的构建具体包括以下步骤：
S2.1.1、选择网络结构和损失函数：
使用ResNet50作为目标验证网络的骨干网络，并且在骨干网络后接上128 维输出的全连接层构成目标验证网络；使用余弦距离衡量特征相似度，以三元组 损失作为损失函数；
S2.1.2、三元组训练样本的生成：
使用ImageNet DET和VID数据集作为训练数据集，基于以下操作生成三 元组训练样本：
S2.1.2.1、随机从训练数据集中选择一个视频，选择其初始的目标块作为锚；
S2.1.2.2、随机的在视频中选择一帧作为正样本；
S2.1.2.3、随机从属于不同目标类的视频中选择一帧作为负样本；
S2.1.3、训练策略：
使用ImageNet的权重来对目标验证网络的骨干网络进行初始化；在 ImageNetDET和VID数据集上随机生成三元组训练样本，并基于该训练样本使 用随机梯度下降对目标验证网络进行端到端训练；联合孪生网络跟踪器和初步 训练的目标验证网络模型，在ImageNet DET和VID数据集上进行跟踪和验证， 将验证有误的样本收集到困难样本数据集；根据困难样本数据集，在ImageNet DET、VID数据集上重新生成包括困难样本的三元组训练样本，并基于该训练样 本使用随机梯度下降对现有目标验证网络模型进行再次训练，得到深度目标验 证器。
进一步地，步骤S3具体包括以下步骤：
S3.1、通过单目测距原理和三角相似方法，利用目标的图像位置和尺度、步 骤S1所得目标的身高h，解算目标在相机坐标系下的位置坐标；获取四旋翼无 人机在地理坐标系下的位置坐标和姿态；
S3.2、根据步骤S3.1所得目标和四旋翼无人机的位置坐标，利用卡尔曼滤 波估计目标在地理坐标系下的位置坐标和速度；根据目标的运动学模型以及当 前时刻目标状态，利用卡尔曼滤波预测目标在未来N步时间的运动状态。
进一步地，步骤S3.2中，利用卡尔曼滤波估计目标在地理坐标系下的位置 坐标和速度，具体包括以下步骤：
S3.2.1、对目标进行运动学模型建模：
以目标的位置、速度以及转弯率作为状态量，建立目标的匀转弯率运动学模 型；
S3.2.2、对目标进行测量模型建模：
以目标在相机坐标系下的位置坐标作为观测量，根据相机坐标系与地理坐 标系的转换关系，以及四旋翼无人机在地理坐标系下的位置坐标，建立观测量与 状态量之间的测量模型；
S3.2.3、根据步骤S3.2.1和步骤S3.2.2所建立的运动学模型和测量模型，利 用当前时刻目标的观测量对目标状态进行卡尔曼滤波估计，更新目标状态和状 态协方差矩阵，得到目标在地理坐标系下的位置坐标和速度。
进一步地，步骤S4具体包括以下步骤：
S4.1、根据目标在未来N步时间的运动状态，结合优化目标和约束条件， 运行基于模型预测控制的最优控制序列计算方法，得到未来N步时间的四旋翼 无人机最优控制序列；
S4.2、将步骤S4.1所得到的最优控制序列的前e步作为四旋翼无人机底层 速度控制器的输入，控制四旋翼无人机保距追踪目标；
S4.3、根据目标和四旋翼无人机在地理坐标系下的位置坐标，计算四旋翼无 人机的期望滚动角，以期望滚动角作为四旋翼无人机底层姿态控制器的输入，控 制四旋翼无人机相机对准目标，使目标保持在相机图像的中心；
S4.4、若跟踪任务没有结束，返回步骤S2.2。
进一步地，步骤S4.1中，所述基于模型预测控制的最优控制序列计算方法 具体包括以下步骤：
S4.1.1、假设四旋翼无人机主动追踪目标的优化目标包括：
优化目标1：与目标保持一个期望距离；
优化目标2：匹配四旋翼无人机与跟踪目标的速度；
优化目标3：平滑四旋翼无人机轨迹；
S4.1.2、假设四旋翼无人机主动追踪跟踪目标的约束条件为：
约束条件1：安全避障；
约束条件2：无人机性能约束；
约束条件3：边界约束；
S4.1.3、根据现有四旋翼无人机不可避免的定位误差，通过引入软约束变量 到约束不等式，并且将软约束变量作为优化目标之一，将涉及四旋翼无人机位置 坐标的硬约束转换为软约束；联合所有优化目标和约束条件，得到四旋翼无人机 在N步未来时间下追踪目标的最优控制序列计算公式如下：
Figure BDA0003061232580000071
x(n+1)＝Ax(n)+Bu(n)
Figure BDA0003061232580000072
s.t.x-obsi+l＞＝dsafe
x-obsi-l＜＝-dsafe
x-xj+l＞＝dsafe
x-xj-l＜＝-dsafe
xmin＜＝xi＜＝xmax
umin＜＝ui＜＝umax
0＜＝l＜＝lmax
其中，优化函数J的右一项表示优化目标1，右二项表示优化目标2，右三 项表示优化目标3，右四项表示软约束参数优化目标；x和u分别表示四旋翼无 人机在地理坐标系下的位置和速度控制量；dp表示四旋翼无人机与目标的距离； dr表示期望距离；dsafe表示安全距离；ut表示目标的运动速度；l代表软约束量； w代表优化目标的权值；obs代表已知静态障碍物的位置；xj代表其他四旋翼无 人机的位置；
根据优化函数J及其约束项，利用ipopt优化器进行最优化计算，得到四旋 翼无人机最优控制序列的解。
相比于现有技术，本发明的优点在于：
(1)本发明使用目标检测算法识别常见感兴趣物体类别，对于移动物体初 始跟踪框的选取可以起到明显的辅助作用。
(2)本发明的基于深度关联度量的多轨道孪生网络目标跟踪方法具有多 轨道跟踪、模板更新、目标验证以及跟踪恢复等特点，在保证算法实时性的基础 上增加了目标识别的成功率和容错性，同时能够反映目标的丢失情况并且在目 标丢失后进行全局目标重定位搜索，实现对目标的长时视觉目标跟踪，为目标的 状态估计提供基本的保障。
(3)在目标的状态估计和状态预测上，对跟踪目标进行了运动模型和测量 模型建模，使用卡尔曼滤波完成对目标的位置滤波和速度估计，并且预测得到目 标在未来N步时间的运动状态，为四旋翼无人机最优控制序列的计算提供有效 稳定的输入量。
在无人机跟踪控制方面，考虑到非合作目标规避跟踪的行为，本发明基于目 标在未来N步时间的预测运动状态，计算未来N步时间的无人机最优控制序列， 通过提前做出跟踪控制调整，减少无人机跟踪目标的滞后时间，提高无人机的主 动性，减少非合作目标规避跟踪导致的跟踪失败。
附图说明：
图1是本发明实施例中基于主动视觉感知的四旋翼无人机目标跟踪方法的 流程图；
图2是本发明实施例中基于深度关联度量的多轨道孪生网络目标跟踪流程 图；
图3是本发明实施例中深度目标验证器的网络架构图；
图4是本发明实施例中估计和预测目标的运动状态的流程图；
图5是本发明实施例中最优控制序列计算以及跟踪控制的流程图。
具体实施方式：
下面结合附图对本开发方案做进一步的说明，以方便本领域的技术人员更 好的理解本发明。需要注意的是，在以下描述中，当已知功能和设计的详细描述 也许会淡化本发明的主要内容，这些描述在这里将被忽略。
实施例：
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
Offboard：外部控制模式；
Yolov3：实时目标检测算法；
SiamRPN：孪生区域回归网络跟踪器；
CKF：卡尔曼滤波算法；
NMPC：模型预测控制方法；
在本实施例中，一种基于主动视觉感知的四旋翼无人机目标跟踪方法，如图 1所示，包括以下步骤：
S1、选择跟踪目标；
系统上电和初始化，调整四旋翼无人机的控制模式为offboard，控制四旋翼 无人机竖直起飞到3.5m处，并且悬停，同时相机以50Hz的频率向地面站传输 图像；
地面站计算机实时接收和显示四旋翼无人机回传的图像，本实施例中，运行Yolov3目标检测算法提取感兴趣目标的包围框，通过鼠标点击包围框的方式选 择跟踪目标；若Yolov3目标检测算法提取感兴趣目标失败，则通过手动圈取的 方式选择跟踪目标；根据四旋翼无人机的飞行高度和相机内参、目标的图像位置 和大小，通过单目测距原理和三角相似方法计算目标身高h；
S2、根据基于深度关联度量的多轨道孪生网络目标跟踪算法，对目标进行图 像位置跟踪；
当四旋翼无人机接收到新的图像帧时，运行基于深度关联度量的多轨道孪 生网络目标跟踪算法，获得目标的最新图像位置和尺度；
若目标丢失，则将基于深度关联度量的多轨道孪生网络目标跟踪算法从局 部跟踪切换到全局目标重定位搜索。
如图2所示，所述基于深度关联度量的多轨道孪生网络目标跟踪算法具体 包括以下步骤：
S2.1、构建深度目标验证器，建立目标轨道，将目标轨道标记为已确认状态； 将步骤S1选择的目标图像块缩放至128×128，以目标图像块为深度目标验证 器的输入，提取初始目标包围框区域的深度嵌入表观特征向量F0，并且以F0初 始化目标轨道的历史表观特征向量池，设置历史表观特征向量池的最大容量为 200个表观特征向量，并且在池满时以先进先出的方式更新；以初始目标包围框 的中心坐标、面积以及长宽比作为目标的初始运动特征向量(x0,y0,s0,a0)，利用 (x0,y0,s0,a0)初始化描述目标运动变化的卡尔曼滤波器，完成对目标轨道的初始化； 将步骤S1选择的目标图像块缩放至127×127，以此作为目标模板，完成对孪生 网络跟踪器SiamRPN的初始化；
深度目标验证器的构建具体包括以下步骤：
S2.1.1、选择网络结构和损失函数：
使用ResNet50作为目标验证网络的骨干网络，并且在骨干网络后接上128 维输出的全连接层构成目标验证网络；使用余弦距离衡量特征相似度，以三元组 损失作为损失函数，
L＝max(d(a,p)-d(a,n)+margin，0)； (1)
其中(a,p,n)为输入三重态训练样本到目标验证网络后得到输出特征。A代 表锚的网络输出特征，p代表与a同类的正样本的网络输出特征，n是与a不同 类的负样本的网络输出特征，margin为偏置值。最终的优化目标是拉近a与p的 距离，拉远a与n的距离。
S2.1.2、三元组训练样本的生成：
使用ImageNet DET和VID数据集作为训练数据集，基于以下操作生成三 元组训练样本：
S2.1.2.1、随机从训练数据集中选择一个视频，选择其初始的目标块作为锚；
S2.1.2.2、随机的在视频中选择一帧作为正样本；
S2.1.2.3、随机从属于不同目标类的视频中选择一帧作为负样本；
S2.1.3、训练策略：
使用ImageNet的权重来对目标验证网络的骨干网络进行初始化；在 ImageNetDET和VID数据集上随机生成三元组训练样本，并基于该训练样本使 用随机梯度下降对目标验证网络进行端到端训练，动量设置为0.9，批的大小为 64，训练周期为70，每个周期使用60000个三元组训练样本进行训练；学习率 初始值设置为10-2，每20个时期逐渐衰减1/10，得到初步训练的目标验证器网 络模型；联合孪生网络跟踪器和初步训练的目标验证器网络模型，在ImageNet DET和VID数据集上进行目标跟踪验证，将目标验证有误的样本收集到困难样 本数据集；根据困难样本数据集，在ImageNet DET、VID数据集上生成包括困 难样本的三元组训练样本，并基于该训练样本使用随机梯度下降对现有目标验 证网络模型进行再次训练，得到深度目标验证器。
S2.2、当四旋翼无人机接收到新的图像帧时，以上一帧的目标包围框区域(初 始用S1选择的目标图像位置)为中心提取局部搜索区域S；局部搜索区域S的 长宽为上一帧目标的图像尺度的1.5倍；将局部搜索区域S的图像块缩放至255 ×255，以此作为搜索图像输入到SiamRPN，利用SiamRPN提取多个候选包围 框，同时获得候选包围框的响应得分；通过非极大值抑制和预设的重叠率阈值 t7＝0.2和预设的孪生网络跟踪器响应得分阈值t0＝0.85，过滤重叠率高于0.2的 冗余包围框和响应得分低于0.85的低质量包围框，得到候选对象包围框；
S2.3、基于深度目标验证器对步骤S2.2所得到的候选对象包围框提取深度 嵌入表观特征向量；基于候选对象包围框的位置和尺度提取候选对象包围框的 运动特征向量；基于卡尔曼滤波器预测目标轨道的运动特征向量；若存在干扰对 象轨道，基于卡尔曼滤波器预测所有干扰对象轨道的运动特征向量；
S2.3、对步骤S2.2得到所有候选对象包围框的图像块缩放到128×128，基 于深度目标验证器对候选对象包围框的图像块提取深度嵌入表观特征向量；根 据候选对象包围框的中心坐标、面积以及长宽比提取候选对象包围框的运动特 征向量；基于卡尔曼滤波器预测目标轨道的运动特征向量；若存在干扰对象轨道， 基于卡尔曼滤波器预测所有干扰对象轨道的运动特征向量；
S2.4、将目标轨道或者匹配成功次数大于3的干扰对象轨道表示为已确认轨 道，根据候选对象包围框的深度嵌入表观特征向量以及已确认轨道的历史表观 特征向量池，利用余弦距离计算两者之间的表观代价；若表观代价高于预设的表 观不匹配阈值t1＝0.9，则判断候选对象包围框与对应的已确认轨道不匹配，将该 表观代价修改为浮点类型的最大表示值；根据不同候选对象包围框与不同已确 认轨道之间的表观代价，生成可用于关联匹配的表观代价矩阵；
根据候选对象包围框的运动特征向量以及已确认轨道的预测运动特征向量， 利用Mahalanobis距离计算两者之间的几何代价；若几何代价高于预设的几何距 离阈值t2＝15，并且当其对应候选对象包围框与对应的已确认轨道之间的表观代 价高于预设的表观可靠匹配阈值t3＝0.2时，判断候选对象包围框与轨道不可匹配， 修改该表观代价为浮点数的最大表示值；
根据不同候选对象包围框与不同已确认轨道之间的几何代价，生成可用于 关联匹配的几何代价矩阵；
S2.5、根据步骤S2.2中响应得分最高的候选对象包围框的深度嵌入表观特 征向量以及初始目标包围框区域的深度嵌入表观特征向量F0，利用余弦距离计 算该候选对象包围框与目标轨道之间的初始表观代价，若初始表观代价低于预 设的表观可靠匹配阈值t3＝0.2，则判断该候选对象包围框与目标轨道成功匹配， 更新匹配结果集，并且移除表观代价矩阵和几何代价矩阵中该候选对象包围框 和目标轨道所在的行和列；
S2.6、基于匈牙利匹配方法，利用执行步骤S2.5后的表观代价矩阵对未匹 配的候选对象包围框和未匹配的已确认轨道进行二部图匹配，更新匹配结果集、 未匹配候选对象集以及未匹配轨道集；
S2.7、将匹配成功次数小于等于3的干扰对象轨道表示为未确认干扰对象轨 道，将所有未确认干扰对象轨道加入到未匹配轨道集；根据未匹配候选对象集中 的未匹配候选对象包围框的运动特征向量和未匹配轨道集中的轨道的预测运动 特征向量，计算两者之间的交并比(IOU)；根据不同未匹配候选对象包围框与 未匹配轨道集中不同的轨道的IOU，生成IOU代价矩阵；基于匈牙利匹配方法， 利用IOU代价矩阵对未匹配候选对象集和未匹配轨道集中的元素进行第二次二 部图匹配，更新匹配结果集、未匹配候选对象集和未匹配轨道集；
S2.8、遍历匹配结果集，利用匹配结果中的候选对象包围框的运动特征向量 更新所匹配轨道的卡尔曼滤波参数，如果该匹配结果的表观代价低于预设的历 史表观特征向量池更新阈值t4＝0.3，则利用候选对象包围框的表观特征向量更新 所匹配轨道的历史表观特征向量池，并且在池满时基于先进先出的原则丢失旧 特征向量，如果所匹配轨道是未确认干扰对象轨道，并且其匹配成功次数大于3， 则将该干扰对象轨道标记为已确认状态；
S2.9、遍历未匹配轨道集，如果是干扰对象轨道，并且距离其最近一次匹配 成功的间隔大于50帧，则删除该干扰对象轨道；
遍历未匹配候选对象集，为每一个未匹配候选对象包围框新建单独的干扰 对象轨道，并且利用未匹配候选对象包围框的深度嵌入表观特征向量初始化对 应干扰对象轨道的历史表观特征向量池，设置其历史表观特征向量池的最大容 量为200个表观特征向量，并且在池满时以先进先出的方式更新，利用未匹配 候选对象包围框的运动特征向量初始化描述干扰对象运动变化的卡尔曼滤波器， 完成对干扰对象轨道的初始化；
S2.10、如果目标轨道匹配成功，则跳转到步骤S3，以目标轨道所匹配候选 对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离其最近 一次匹配成功间隔小于20帧，则跳转到步骤S3，以步骤S2.2中最高响应得分 的候选对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离 其最近一次匹配成功间隔大于或等于20帧，则判断目标丢失，将目标跟踪从局 部区域跟踪调整到全局目标重定位搜索；
S2.11、当四旋翼无人机接收到新的图像帧时，基于滑动窗口机制产生覆盖 完整图像的重定位搜索区域集合；输入所有重定位搜索区域到孪生网络跟踪器， 用于提取候选包围框，同时获得候选包围框的响应得分；基于非极大值抑制和预 设的重叠率阈值t7＝0.2和预设的孪生网络跟踪器响应得分阈值t0＝0.85，丢弃重 叠率高于0.2的冗余包围框和响应得分低于0.85的低质量包围框，得到全局图 像的候选对象包围框；
S2.12、基于深度目标验证器对步骤S2.11得到的全局图像的候选对象包围 框提取深度嵌入表观特征向量；
根据全局图像的候选对象包围框的深度嵌入表观特征向量和目标轨道的历 史表观特征向量池，利用余弦距离计算两者之间的表观代价；根据全局图像的候 选对象包围框的深度嵌入表观特征向量和初始目标包围框区域的深度嵌入表观 特征向量F0，利用余弦距离计算它们之间的初始表观代价；通过计算表观代价 和初始表观代价的加权和，得到全局图像的候选对象包围框与目标轨道的全局 搜索表观代价；
根据全局图像的不同候选对象包围框与目标轨道的全局搜索表观代价，获 取最小全局搜索表观代价；若最小全局搜索表观代价低于全局搜索匹配阈值 t5＝0.8，则判断目标轨道被重新成功匹配，跳转回步骤S2.2，并且以最小全局搜 索表观代价所对应的候选对象包围框作为图像位置跟踪结果，否则跳转步骤 S2.11。
S3、估计和预测目标的运动状态，如图4所示，具体包括以下步骤：
S3.1、通过单目测距原理和三角相似方法，利用目标的图像位置和尺度、步 骤S1所得目标的身高h，解算目标在相机坐标系下的位置坐标；获取四旋翼无 人机在地理坐标系下的位置坐标和姿态；
S3.2、根据步骤S3.1所得目标和四旋翼无人机的位置坐标，利用卡尔曼滤 波估计目标在地理坐标系下的位置坐标和速度；根据目标的运动学模型以及当 前时刻目标状态，利用卡尔曼滤波预测目标在未来N步时间的运动状态，本实 施例中，假设无人机在地理坐标系z轴的高度不变，估计目标在地理坐标系下的 位置(x,y,z)和速度
Figure BDA0003061232580000133
具体包括以下步骤：
S3.2.1、对目标进行运动学模型建模：
以目标的位置、速度以及转弯率作为目标的状态量，建立目标的匀转弯率运 动学模型：
Figure BDA0003061232580000131
其中x表示目标的状态量；Ω表示转弯率；T表示时间步长,为当前帧与上 一帧时间差；v表示过程噪声向量，其协方差矩阵为Q，具体形式为：
Figure BDA0003061232580000132
S3.2.2、对目标进行测量模型建模：
以目标在相机坐标系下的位置坐标(xc,yc,zc)作为观测量，根据相机坐标系与 地理坐标系的转换关系，以及四旋翼无人机在地理坐标系下的位置坐标(xch,ych,zch)，建立观测量与状态量之间的测量模型：
Figure BDA0003061232580000141
其中，Rc代表相机坐标系到机身坐标系的旋转变换矩阵；Rw代表机身坐标 系到地理坐标系的旋转变换矩阵；εt表示测量噪声向量，Bt表示测量噪声协方差 矩阵，具体形式为：
Figure BDA0003061232580000142
其中，εx,εy,εz分别代表目标的观测量在x,y,z方向的误差波动幅度，通过实 验获得；
S3.2.3、根据步骤S3.2.1和步骤S3.2.2所建立的运动学模型和测量模型，利 用当前时刻目标的观测量对目标状态进行卡尔曼滤波估计，更新目标状态和状 态协方差矩阵，得到目标在地理坐标系下的位置坐标和速度。
S4、计算未来N步时间的最优控制序列，控制四旋翼无人机保距跟踪目标 以及相机对准目标，如图5所示，具体包括以下步骤：
S4.1、四旋翼无人机根据S3得到目标在未来N步时间的运动状态，结合优 化目标和约束条件，运行基于NMPC的最优控制计算方法，得到未来N步时间 的四旋翼无人机最优控制序列[u0,u1...,un-1]，具体包括以下步骤：
S4.1.1、假设四旋翼无人机主动追踪目标的优化目标包括：
优化目标1：与目标保持一个期望距离；
优化目标2：匹配四旋翼无人机与跟踪目标的速度；
优化目标3：平滑四旋翼无人机轨迹；
S4.1.2、假设四旋翼无人机主动追踪跟踪目标的约束条件为：
约束条件1：安全避障；
约束条件2：无人机性能约束；
约束条件3：边界约束；
S4.1.3、根据现有四旋翼无人机不可避免的定位误差，通过引入软约束变量 到约束不等式，并且将软约束变量作为优化目标之一，将涉及四旋翼无人机位置 坐标的硬约束转换为软约束；联合所有优化目标和约束条件，得到四旋翼无人机 在N步未来时间下追踪目标的最优控制序列计算公式如下：
Figure BDA0003061232580000151
x(n+1)＝Ax(n)+Bu(n)
Figure BDA0003061232580000152
Figure BDA0003061232580000153
其中，优化函数J的右一项表示优化目标1，右二项表示优化目标2，右三 项表示优化目标3，右四项表示软约束参数优化目标；x和u分别表示四旋翼无 人机在地理坐标系下的位置和速度控制量；dp表示四旋翼无人机与目标的距离； dr表示期望距离；dsafe表示安全距离；ut表示目标的运动速度；l代表软约束量； w代表优化目标的权值；obs代表已知静态障碍物的位置；xj代表其他四旋翼无 人机的位置；
以公式(4)为NMPC的优化代价函数和约束，利用ipopt优化器进行最优 化计算，得到四旋翼无人机最优控制序列的解。
S4.2、所得到的最优控制序列的u0,u1,u2作为四旋翼无人机底层速度控制器 的连续3个时间步输入，控制四旋翼无人机保距追踪目标；
S4.3、根据目标和四旋翼无人机在地理坐标系下的位置坐标，计算四旋翼无 人机的期望yaw角，以期望yaw角作为四旋翼无人机底层yaw角PID控制器的 输入，控制四旋翼无人机的相机对准目标，使目标保持在相机图像的中心；
S4.4、若跟踪任务没有结束，返回步骤S2.2。
本发明通过计算未来N步时间的四旋翼无人机最优控制序列，主动做出及 时的跟踪控制调整，控制四旋翼无人机保距跟踪目标以及相机对准目标，实现四 旋翼无人机主动跟踪目标。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域 的技术人员理解本发明。但需要进一步说明，本发明不限于具体实施方式的范围， 对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求书限定和 确定的本发明精神和范围内，这些变化是显而易见的，一切利用本发明构思的发 明创造均在保护之列。

Claims (10)

1.一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，包括以下步骤：
S1、选择跟踪目标；
S2、根据基于深度关联度量的多轨道孪生网络目标跟踪算法，对目标进行图像位置跟踪；
S3、估计和预测目标的运动状态；
S4、计算未来N步时间的最优控制序列，控制四旋翼无人机保距跟踪目标以及相机对准目标。
2.根据权利要求1所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S1中，地面站计算机在线接收和显示四旋翼无人机回传的图像，运行目标检测算法或者人工选择跟踪目标，得到初始目标包围框区域；
根据四旋翼无人机的飞行高度和相机内参、跟踪目标的图像位置和大小，通过单目测距原理和三角相似方法估算目标的身高h。
3.根据权利要求1所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S2中，当四旋翼无人机接收到新的图像帧时，运行基于深度关联度量的多轨道孪生网络目标跟踪算法，获得目标的最新图像位置和尺度；
若目标丢失，则将基于深度关联度量的多轨道孪生网络目标跟踪算法从局部跟踪切换到全局目标重定位搜索。
4.根据权利要求3所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S2中，所述基于深度关联度量的多轨道孪生网络目标跟踪算法具体包括以下步骤：
S2.1、构建深度目标验证器，建立目标轨道，将目标轨道标记为已确认状态；根据步骤S1所选择目标，基于深度目标验证器提取初始目标包围框区域的深度嵌入表观特征向量F0，并且以F0初始化目标轨道的历史表观特征向量池；设置历史表观特征向量池的最大容量为L个表观特征向量，并且在池满时以先进先出的方式更新；基于初始目标包围框的位置和尺度提取运动特征向量，初始化描述目标运动变化的卡尔曼滤波器，完成对目标轨道的初始化；以初始目标包围框区域作为目标模板，完成对孪生网络跟踪器的初始化；
S2.2、当四旋翼无人机接收到新的图像帧时，以上一帧的目标包围框区域为中心提取局部搜索区域S；使用孪生网络跟踪器在局部搜索区域S内提取多个候选包围框，同时获得候选包围框的响应得分；通过非极大值抑制和预设的重叠率阈值t7和孪生网络跟踪器响应得分阈值t0，过滤重叠率高于阈值t7的冗余包围框和响应得分低于阈值t0的低质量包围框，得到候选对象包围框；
S2.3、基于深度目标验证器对步骤S2.2所得到的候选对象包围框提取深度嵌入表观特征向量；基于候选对象包围框的位置和尺度提取候选对象包围框的运动特征向量；基于卡尔曼滤波器预测目标轨道的运动特征向量；若存在干扰对象轨道，则基于卡尔曼滤波器预测所有干扰对象轨道的运动特征向量；
S2.4、将目标轨道或者匹配成功次数大于n的干扰对象轨道表示为已确认轨道，根据候选对象包围框的深度嵌入表观特征向量以及已确认轨道的历史表观特征向量池，利用余弦距离计算两者之间的表观代价；若表观代价高于预设的表观不匹配阈值t1，则判断候选对象包围框与对应的已确认轨道不匹配，将该表观代价修改为浮点类型的最大表示值；根据不同候选对象包围框与不同已确认轨道之间的表观代价，生成可用于关联匹配的表观代价矩阵；
根据候选对象包围框的运动特征向量以及已确认轨道的预测运动特征向量，利用Mahalanobis距离计算两者之间的几何代价；若几何代价高于预设的几何距离阈值t2，并且当其对应的候选对象包围框与对应的已确认轨道之间的表观代价高于预设的表观可靠匹配阈值t3时，判断候选对象包围框与轨道不可匹配，修改该表观代价为浮点数的最大表示值；
根据不同候选对象包围框与不同已确认轨道之间的几何代价，生成可用于关联匹配的几何代价矩阵；
S2.5、根据步骤S2.2中响应得分最高的候选对象包围框的深度嵌入表观特征向量以及初始目标包围框区域的深度嵌入表观特征向量F0，利用余弦距离计算该候选对象包围框与目标轨道之间的初始表观代价，若初始表观代价低于预设的表观可靠匹配阈值t3，则判断该候选对象包围框与目标轨道成功匹配，更新匹配结果集，并且移除表观代价矩阵和几何代价矩阵中该候选对象包围框和目标轨道所在的行和列；
S2.6、基于匈牙利匹配方法，利用执行步骤S2.5后的表观代价矩阵对未匹配的候选对象包围框和未匹配的已确认轨道进行二部图匹配，更新匹配结果集、未匹配候选对象集以及未匹配轨道集；
S2.7、将匹配成功次数小于等于n的干扰对象轨道表示为未确认干扰对象轨道，将所有未确认干扰对象轨道加入到未匹配轨道集；根据未匹配候选对象集中的未匹配候选对象包围框的运动特征向量和未匹配轨道集中的轨道的预测运动特征向量，计算两者之间的交并比(IOU)；根据不同未匹配候选对象包围框与未匹配轨道集中不同的轨道的IOU，生成IOU代价矩阵；基于匈牙利匹配方法，利用IOU代价矩阵对未匹配候选对象集和未匹配轨道集中的元素进行第二次二部图匹配，更新匹配结果集、未匹配候选对象集和未匹配轨道集；
S2.8、遍历匹配结果集，利用匹配结果中的候选对象包围框的运动特征向量更新所匹配轨道的卡尔曼滤波参数，如果该匹配结果的表观代价低于预设的历史表观特征向量池更新阈值t4，则利用候选对象包围框的表观特征向量更新所匹配轨道的历史表观特征向量池，并且在池满时基于先进先出的原则丢失旧特征向量，如果所匹配轨道是未确认干扰对象轨道，并且其匹配成功次数大于n，则将该干扰对象轨道标记为已确认状态；
S2.9、遍历未匹配轨道集，如果是干扰对象轨道，并且距离其最近一次匹配成功的间隔大于m帧，则删除该干扰对象轨道；
遍历未匹配候选对象集，为每一个未匹配候选对象包围框新建单独的干扰对象轨道，并且利用未匹配候选对象包围框的深度嵌入表观特征向量初始化对应干扰对象轨道的历史表观特征向量池，设置其历史表观特征向量池的最大容量为L个表观特征向量，并且在池满时以先进先出的方式更新，利用未匹配候选对象包围框的运动特征向量初始化描述干扰对象运动变化的卡尔曼滤波器，完成对干扰对象轨道的初始化；
S2.10、如果目标轨道匹配成功，则跳转到步骤S3，以目标轨道所匹配候选对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离其最近一次匹配成功间隔小于k帧，则跳转到步骤S3，以步骤S2.2中最高响应得分的候选对象包围框作为图像位置跟踪结果；如果目标轨道未匹配成功，并且距离其最近一次匹配成功间隔大于或等于k帧，则判断目标丢失，将目标跟踪从局部区域跟踪调整到全局目标重定位搜索；
S2.11、当四旋翼无人机接收到新的图像帧时，基于滑动窗口机制产生覆盖完整图像的重定位搜索区域集合；输入所有重定位搜索区域到孪生网络跟踪器，用于提取候选包围框，同时获得候选包围框的响应得分；基于非极大值抑制、预设的重叠率阈值t7和预设的孪生网络跟踪器响应得分阈值t0，丢弃过滤重叠率高于阈值t7的冗余包围框和响应得分低于阈值t0的低质量包围框，得到全局图像的候选对象包围框；
S2.12、基于深度目标验证器对步骤S2.11得到的全局图像的候选对象包围框提取深度嵌入表观特征向量；
根据全局图像的候选对象包围框的深度嵌入表观特征向量和目标轨道的历史表观特征向量池，利用余弦距离计算两者之间的表观代价；根据全局图像的候选对象包围框的深度嵌入表观特征向量和初始目标包围框区域的深度嵌入表观特征向量F0，利用余弦距离计算它们之间的初始表观代价；通过计算表观代价和初始表观代价的加权和，得到全局图像的候选对象包围框与目标轨道的全局搜索表观代价；
根据全局图像的不同候选对象包围框与目标轨道的全局搜索表观代价，获取最小全局搜索表观代价；若最小全局搜索表观代价低于全局搜索匹配阈值t5，则判断目标轨道被重新成功匹配，跳转回步骤S2.2，并且以最小全局搜索表观代价所对应的候选对象包围框作为图像位置跟踪结果，否则跳转步骤S2.11。
5.根据权利要求4所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S2.1中，深度目标验证器是离线预训练的残差神经网络，其作用是通过特征嵌入将不同包围框映射到同一个距离空间，提取目标包围框的深度嵌入表观特征向量，用于计算不同图像块之间的相似度。
6.根据权利要求5所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，深度目标验证器的构建具体包括以下步骤：
S2.1.1、选择网络结构和损失函数：
使用ResNet50作为目标验证网络的骨干网络，并且在骨干网络后接上128维输出的全连接层构成目标验证网络；使用余弦距离衡量特征相似度，以三元组损失作为损失函数；
S2.1.2、三元组训练样本的生成：
使用ImageNet DET和VID数据集作为训练数据集，基于以下操作生成三元组训练样本：
S2.1.2.1、随机从训练数据集中选择一个视频，选择其初始的目标块作为锚；
S2.1.2.2、随机的在视频中选择一帧作为正样本；
S2.1.2.3、随机从属于不同目标类的视频中选择一帧作为负样本；
S2.1.3、训练策略：
使用ImageNet的权重来对目标验证网络的骨干网络进行初始化；在ImageNet DET和VID数据集上随机生成三元组训练样本，并基于该训练样本使用随机梯度下降对目标验证网络进行端到端训练；联合孪生网络跟踪器和初步训练的目标验证网络模型，在ImageNetDET和VID数据集上进行跟踪和验证，将验证有误的样本收集到困难样本数据集；根据困难样本数据集，在ImageNet DET、VID数据集上重新生成包括困难样本的三元组训练样本，并基于该训练样本使用随机梯度下降对现有目标验证网络模型进行再次训练，得到深度目标验证器。
7.根据权利要求4所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S3具体包括以下步骤：
S3.1、通过单目测距原理和三角相似方法，利用目标的图像位置和尺度、步骤S1所得目标的身高h，解算目标在相机坐标系下的位置坐标；获取四旋翼无人机在地理坐标系下的位置坐标和姿态；
S3.2、根据步骤S3.1所得目标和四旋翼无人机的位置坐标，利用卡尔曼滤波估计目标在地理坐标系下的位置坐标和速度；根据目标的运动学模型以及当前时刻目标状态，利用卡尔曼滤波预测目标在未来N步时间的运动状态。
8.根据权利要求7所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S3.2中，利用卡尔曼滤波估计目标在地理坐标系下的位置坐标和速度，具体包括以下步骤：
S3.2.1、对目标进行运动学模型建模：
以目标的位置、速度以及转弯率作为状态量，建立目标的匀转弯率运动学模型；
S3.2.2、对目标进行测量模型建模：
以目标在相机坐标系下的位置坐标作为观测量，根据相机坐标系与地理坐标系的转换关系，以及四旋翼无人机在地理坐标系下的位置坐标，建立观测量与状态量之间的测量模型；
S3.2.3、根据步骤S3.2.1和步骤S3.2.2所建立的运动学模型和测量模型，利用当前时刻目标的观测量对目标状态进行卡尔曼滤波估计，更新目标状态和状态协方差矩阵，得到目标在地理坐标系下的位置坐标和速度。
9.根据权利要求8所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S4具体包括以下步骤：
S4.1、根据目标在未来N步时间的运动状态，结合优化目标和约束条件，运行基于模型预测控制的最优控制序列计算方法，得到未来N步时间的四旋翼无人机最优控制序列；
S4.2、将步骤S4.1所得到的最优控制序列的前e步作为四旋翼无人机底层速度控制器的输入，控制四旋翼无人机保距追踪目标；
S4.3、根据目标和四旋翼无人机在地理坐标系下的位置坐标，计算四旋翼无人机的期望滚动角，以期望滚动角作为四旋翼无人机底层姿态控制器的输入，控制四旋翼无人机相机对准目标，使目标保持在相机图像的中心；
S4.4、若跟踪任务没有结束，返回步骤S2.2。
10.根据权利要求9所述的一种基于主动视觉感知的四旋翼无人机目标跟踪方法，其特征在于，步骤S4.1中，所述基于模型预测控制的最优控制序列计算方法具体包括以下步骤：
S4.1.1、假设四旋翼无人机主动追踪目标的优化目标包括：
优化目标1：与目标保持一个期望距离；
优化目标2：匹配四旋翼无人机与跟踪目标的速度；
优化目标3：平滑四旋翼无人机轨迹；
S4.1.2、假设四旋翼无人机主动追踪跟踪目标的约束条件为：
约束条件1：安全避障；
约束条件2：无人机性能约束；
约束条件3：边界约束；
S4.1.3、根据现有四旋翼无人机不可避免的定位误差，通过引入软约束变量到约束不等式，并且将软约束变量作为优化目标之一，将涉及四旋翼无人机位置坐标的硬约束转换为软约束；联合所有优化目标和约束条件，得到四旋翼无人机在N步未来时间下追踪目标的最优控制序列计算公式如下：
Figure FDA0003061232570000061
x(n+1)＝Ax(n)+Bu(n)
Figure FDA0003061232570000062
s.t.x-obsi+l＞＝dsafe
x-obsi-l＜＝-dsafe
x-xj+l＞＝dsafe
x-xj-l＜＝-dsafe
xmin＜＝xi＜＝xmax
umin＜＝ui＜＝umax
0＜＝l＜＝lmax
其中，优化函数J的右一项表示优化目标1，右二项表示优化目标2，右三项表示优化目标3，右四项表示软约束参数优化目标；x和u分别表示四旋翼无人机在地理坐标系下的位置和速度控制量；dp表示四旋翼无人机与目标的距离；dr表示期望距离；dsafe表示安全距离；ut表示目标的运动速度；l代表软约束量；w代表优化目标的权值；obs代表已知静态障碍物的位置；xj代表其他四旋翼无人机的位置；
根据优化函数J及其约束项，利用ipopt优化器进行最优化计算，得到四旋翼无人机最优控制序列的解。
CN202110513594.6A 2021-05-11 2021-05-11 一种基于主动视觉感知的四旋翼无人机目标跟踪方法 Active CN113674310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110513594.6A CN113674310B (zh) 2021-05-11 2021-05-11 一种基于主动视觉感知的四旋翼无人机目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110513594.6A CN113674310B (zh) 2021-05-11 2021-05-11 一种基于主动视觉感知的四旋翼无人机目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113674310A true CN113674310A (zh) 2021-11-19
CN113674310B CN113674310B (zh) 2024-04-26

Family

ID=78538098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110513594.6A Active CN113674310B (zh) 2021-05-11 2021-05-11 一种基于主动视觉感知的四旋翼无人机目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113674310B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998747A (zh) * 2022-07-21 2022-09-02 南京应用数学中心 一种基于深度学习模板匹配的长航迹实时识别方法
WO2023236733A1 (zh) * 2022-06-08 2023-12-14 珠海一微半导体股份有限公司 一种机器人视觉跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN111915648A (zh) * 2020-07-16 2020-11-10 郑州轻工业大学 一种基于常识和记忆网络的长期目标运动跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN111915648A (zh) * 2020-07-16 2020-11-10 郑州轻工业大学 一种基于常识和记忆网络的长期目标运动跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236733A1 (zh) * 2022-06-08 2023-12-14 珠海一微半导体股份有限公司 一种机器人视觉跟踪方法
CN114998747A (zh) * 2022-07-21 2022-09-02 南京应用数学中心 一种基于深度学习模板匹配的长航迹实时识别方法

Also Published As

Publication number Publication date
CN113674310B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
Scherer et al. River mapping from a flying robot: state estimation, river detection, and obstacle mapping
Mejias et al. Visual servoing of an autonomous helicopter in urban areas using feature tracking
Shen et al. Autonomous multi-floor indoor navigation with a computationally constrained MAV
CN102722697B (zh) 一种无人飞行器视觉自主导引着陆的目标跟踪方法
CN111474953B (zh) 多动态视角协同的空中目标识别方法及系统
WO2018148195A1 (en) Robotic tracking navigation with data fusion
CN102298070A (zh) 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
CN113674310B (zh) 一种基于主动视觉感知的四旋翼无人机目标跟踪方法
Jia et al. A Survey of simultaneous localization and mapping for robot
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Wu et al. Vision-based target detection and tracking system for a quadcopter
Wang et al. Precision uav landing control based on visual detection
Roggeman et al. Embedded vision-based localization and model predictive control for autonomous exploration
CN115686052A (zh) 无人机避障路径规划方法、装置、计算机设备及存储介质
Marks et al. Gamma‐SLAM: Visual SLAM in unstructured environments using variance grid maps
CN112991400A (zh) 一种无人艇的多传感器辅助定位方法
Ta et al. Monocular parallel tracking and mapping with odometry fusion for mav navigation in feature-lacking environments
Wang et al. Asynchronous localization of ground objects using a 2-UAV system
Prazenica et al. Receding Horizon Control for MAVs with Vision-Based State and Obstacle Estimation
Ellingson et al. Deep RC: Enabling remote control through deep learning
Tomono Monocular slam using a rao-blackwellised particle filter with exhaustive pose space search
Prazenica et al. Vision-Based Receding Horizon Control for Micro Air Vehicles in Urban Environments
Mills Visual guidance for fixed-wing unmanned aerial vehicles using feature tracking: application to power line inspection
Yao Resource-Constrained State Estimation with Multi-Modal Sensing.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant