CN112037260B - 一种跟踪目标的位置估计方法、装置及无人飞行器 - Google Patents

一种跟踪目标的位置估计方法、装置及无人飞行器 Download PDF

Info

Publication number
CN112037260B
CN112037260B CN202010896152.XA CN202010896152A CN112037260B CN 112037260 B CN112037260 B CN 112037260B CN 202010896152 A CN202010896152 A CN 202010896152A CN 112037260 B CN112037260 B CN 112037260B
Authority
CN
China
Prior art keywords
target
tracking target
position information
estimated
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010896152.XA
Other languages
English (en)
Other versions
CN112037260A (zh
Inventor
黄金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN202010896152.XA priority Critical patent/CN112037260B/zh
Publication of CN112037260A publication Critical patent/CN112037260A/zh
Priority to PCT/CN2021/108888 priority patent/WO2022042184A1/zh
Priority to US18/173,935 priority patent/US20230215024A1/en
Application granted granted Critical
Publication of CN112037260B publication Critical patent/CN112037260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例涉及一种跟踪目标的位置估计方法、装置及无人飞行器，该方法包括：根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；获取跟踪目标在图像中的实际宽度和实际高度；根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。通过确定该估计宽度和估计高度与获取的实际宽度和实际高度，计算跟踪目标在图像中的误差项，更新跟踪目标在下一个时刻的目标位置信息，本发明能够实现稳定地估计跟踪目标的位置。

Description

一种跟踪目标的位置估计方法、装置及无人飞行器
技术领域
本发明实施例涉及无人飞行器领域，特别涉及一种跟踪目标的位置估计方法、装置及无人飞行器。
背景技术
在无人飞行器的目标跟随系统中，通常希望实现对目标的实时跟随，且跟随过程中图像中的目标框大小基本保持不变，即保持无人飞行器与目标间“定高、恒距”。因此，稳定地估计目标的位置则显得尤为重要。
目前，较精确的目标估计方法有反投影法，利用无人飞行器上的双目相机，将获得的深度数据反投影至图像中，根据投影点是否落在目标框中，来确定目标的三维位置，该类方法精度较高，但是要求目标能出现在双目相机的视场角内，且在双目相机的测量范围内。对于远距离跟踪来说，目标物往往在双目相机的视场外或者测量范围外，这直接导致该类方法失效。
另一类方法利用飞机的高度信息和云台的俯仰角信息，大致计算出目标物的位置，该类方法严重依赖了无人飞行器融合的对地高度信息，然而高度信息会随着无人飞行器的飞行时间的累积，精度越来越差，而且当目标距离过远时，俯仰角变化小，无法准确的反映出目标的移动距离。
发明人在实现本发明过程中，发现相关技术中至少存在如下问题：在目标距离较远时，目标的位置估计精度不足，无法稳定地估计目标的位置。
发明内容
本发明实施例的目的在于提供一种跟踪目标的位置估计方法、装置及无人飞行器，以解决在目标距离较远时，跟踪目标的位置估计精度不足，无法稳定地估计跟踪目标的位置的问题，实现稳定地估计跟踪目标的位置。
第一方面，本发明实施例提供一种跟踪目标的位置估计方法，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，所述方法包括：
根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；
根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；
获取跟踪目标在图像中的实际宽度和实际高度；
根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框。
在一些实施例中，所述对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框，包括：
将所述跟踪目标建模为球体，并根据所述跟踪目标的长度、宽度以及高度，确定所述跟踪目标对应的球体的半径R；
确定跟踪目标对应的球体在图像中对应的目标框。
在一些实施例中，所述根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，其中，所述估计的目标位置信息为世界坐标系下的世界位置信息；
根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息。
在一些实施例中，所述根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，包括：
假设所述估计的目标位置信息，则所述估计的目标位置信息对应的状态向量/>，则所述跟踪目标在相机坐标系下的相机位置信息，其中，/>为跟踪目标在相机坐标系下的三维坐标，/>为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移向量。
在一些实施例中，所述根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息，包括：
假设所述跟踪目标在像素坐标系下的像素位置信息，则，其中，/>为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标。
在一些实施例中，所述云台相机的内参矩阵，其中，为云台相机的焦距，/>为主点坐标。
在一些实施例中，所述确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
根据所述目标框在纵轴方向上的最高点和最低点以及横轴方向上的最左点和最右点，分别确定所述目标框在图像中的估计高度和估计宽度。
在一些实施例中，所述确定所述目标框在图像中的估计高度，包括：
假设所述跟踪目标在图像中的目标框在纵轴方向上的最高点为a，最低点为b，所述最高点a对应所述球体的切点为A，所述最低点b对应所述球体的切点为B，所述切点A在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最高点a和最低点b的高度差为/>，则确定所述目标框在图像中的估计高度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述确定所述目标框在图像中的估计宽度，包括：
假设所述跟踪目标在图像中的目标框在横轴方向上的最左点为c，最右点为d，所述最左点c对应所述球体的切点为C，所述最右点d对应所述球体的切点为D，所述切点C在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最左点c和最右点d的宽度差为/>，则所述目标框在图像中的估计宽度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
根据所述跟踪目标在图像中的估计高度和估计宽度，确定所述估计高度对跟踪目标的状态向量的第一雅克比矩阵以及所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵，其中，所述状态向量为估计的目标位置信息的转置矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述第一雅克比矩阵为，所述第二雅克比矩阵为/>，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，所述根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
在预测阶段，将所述跟踪目标在当前时刻的初始位置信息对应的状态向量作为扩展卡尔曼滤波器的估计值，根据预测方程，估计所述跟踪目标在下一个时刻的目标位置信息的预测值，其中，所述预测方程包括状态向量方程和协方差方程；
在更新阶段，根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益；
根据所述卡尔曼增益、估计值以及预测值，更新所述预测方程，确定更新后的预测方程，并获取更新值；
根据所述更新值，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述预测方程为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为跟踪目标在当前时刻的位置对应的状态向量的估计值，为系统状态转移矩阵，/>为协方差预测值，/>为协方差估计值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
在一些实施例中，所述根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益，包括：
卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵或第二雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为协方差预测值，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
在一些实施例中，所述根据所述卡尔曼增益、测量值以及预测值，更新所述预测方程，确定更新后的预测方程，包括：
更新后的预测方程为：，其中，/>为跟踪目标在下一个时刻的目标位置信息对应的状态向量的预测值，/>为卡尔曼增益，/>为目标框的高度或宽度的测量值，/>为第一雅克比矩阵/>代表的目标框的高度的预测值或者第二雅克比矩阵/>代表的目标框的宽度的预测值，为协方差预测值，/>为状态到观测的转换矩阵。
在一些实施例中，所述根据所述更新后的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
将更新阶段获得的更新值代入所述预测阶段的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述方法还包括：
将所述更新的位置信息作为估计的目标位置信息，迭代更新所述跟踪目标在下一个时刻的目标位置信息。
第二方面，本发明实施例提供一种跟踪目标的位置估计装置，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，所述装置包括：
目标位置信息估计单元，用于根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；
估计单元，用于根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；
实际单元，用于获取跟踪目标在图像中的实际宽度和实际高度；
误差项单元，用于根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
更新单元，用于根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述估计单元，具体用于：
对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框。
在一些实施例中，所述估计单元，具体用于：
将所述跟踪目标建模为球体，并根据所述跟踪目标的长度、宽度以及高度，确定所述跟踪目标对应的球体的半径R；
确定跟踪目标对应的球体在图像中对应的目标框。
在一些实施例中，所述估计单元，包括：
相机位置模块，用于根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，其中，所述估计的目标位置信息为世界坐标系下的世界位置信息；
像素位置模块，用于根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息。
在一些实施例中，所述相机位置模块，具体用于：
假设所述估计的目标位置信息，则所述估计的目标位置信息对应的状态向量/>，则所述跟踪目标在相机坐标系下的相机位置信息，其中，/>为跟踪目标在相机坐标系下的三维坐标，/>为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移向量。
在一些实施例中，所述像素位置模块，具体用于：
假设所述跟踪目标在像素坐标系下的像素位置信息，则，其中，/>为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标。
在一些实施例中，所述云台相机的内参矩阵，其中，为云台相机的焦距，/>为主点坐标。
在一些实施例中，所述估计单元，包括：
估计高度模块，用于根据所述目标框在纵轴方向上的最高点和最低点，确定所述目标框在图像中的估计高度；
估计宽度单元，用于根据所述目标框在横轴方向上的最左点和最右点，确定所述目标框在图像中的估计宽度。
在一些实施例中，所述估计高度模块，具体用于：
假设所述跟踪目标在图像中的目标框在纵轴方向上的最高点为a，最低点为b，所述最高点a对应所述球体的切点为A，所述最低点b对应所述球体的切点为B，所述切点A在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最高点a和最低点b的高度差为/>，则确定所述目标框在图像中的估计高度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述估计宽度单元，具体用于：
假设所述跟踪目标在图像中的目标框在横轴方向上的最左点为c，最右点为d，所述最左点c对应所述球体的切点为C，所述最右点d对应所述球体的切点为D，所述切点C在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最左点c和最右点d的宽度差为/>，则所述目标框在图像中的估计宽度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述更新单元，具体用于：
根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述更新单元，具体用于：
根据所述跟踪目标在图像中的估计高度和估计宽度，确定所述估计高度对跟踪目标的状态向量的第一雅克比矩阵以及所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵，其中，所述状态向量为估计的目标位置信息的转置矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述第一雅克比矩阵为，所述第二雅克比矩阵为/>，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在一些实施例中，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，所述更新单元，具体用于：
在预测阶段，将所述跟踪目标在当前时刻的初始位置信息对应的状态向量作为扩展卡尔曼滤波器的估计值，根据预测方程，估计所述跟踪目标在下一个时刻的目标位置信息的预测值，其中，所述预测方程包括状态向量方程和协方差方程；
在更新阶段，根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益；
根据所述卡尔曼增益、估计值以及预测值，更新所述预测方程，确定更新后的预测方程，并获取更新值；
根据所述更新值，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述预测方程为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为跟踪目标在当前时刻的位置对应的状态向量的估计值，为系统状态转移矩阵，/>为协方差预测值，/>为协方差估计值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
在一些实施例中，所述卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵或第二雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为协方差预测值，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
在一些实施例中，所述更新后的预测方程为：，其中，/>为跟踪目标在下一个时刻的目标位置信息对应的状态向量的预测值，/>为卡尔曼增益，/>为目标框的高度或宽度的测量值，/>为第一雅克比矩阵/>代表的目标框的高度的预测值或者第二雅克比矩阵/>代表的目标框的宽度的预测值，/>为协方差预测值，为状态到观测的转换矩阵。
在一些实施例中，所述更新单元，具体用于：
将更新阶段获得的更新值代入所述预测阶段的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息。
在一些实施例中，所述装置还包括：
迭代单元，用于将所述更新的位置信息作为估计的目标位置信息，迭代更新所述跟踪目标在下一个时刻的目标位置信息。
第三方面，本发明实施例提供一种无人飞行器，所述无人飞行器包括机身、与所述机身相连的机臂、设于所述机臂的动力系统、设置于所述机身的跟踪系统；其中，所述跟踪系统包括控制器，所述控制器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的跟踪目标的位置估计方法。
第四方面，一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人飞行器执行时，使所述无人飞行器执行如上所述的跟踪目标的位置估计方法。
本发明实施例的有益效果在于：通过提供一种跟踪目标的位置估计方法，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，所述方法包括：根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；获取跟踪目标在图像中的实际宽度和实际高度；根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。通过计算跟踪目标在图像中的误差项，更新跟踪目标在下一个时刻的目标位置信息，本发明实施例能够实现稳定地估计跟踪目标的位置。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种应用场景的示意图；
图2是本发明实施例提供的一种无人飞行器的结构示意图；
图3a是本发明实施例提供的一种模型与图像的对应关系示意图；
图3b是本发明实施例提供的另一种模型与图像的对应关系示意图；
图4是本发明实施例提供的一种跟踪目标的位置估计方法的流程示意图；
图5是图4中的步骤S20的细化流程图；
图6是图4中的步骤S50的细化流程图；
图7是图6中的步骤S52的细化流程图；
图8是本发明实施例提供的一种跟踪目标的位置估计装置的结构示意图；
图9是本发明实施例提供的一种无人飞行器的跟踪系统的控制器的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的跟踪目标的位置估计方法可以应用于如图1所示的应用场景，在图1所示的应用场景中，包括无人飞行器100和跟踪目标300。无人飞行器100可以用于对所述跟踪目标300进行跟踪，在无人飞行器100对跟踪目标300进行跟踪的过程中，有可能会遇到障碍物400。无人飞行器100需要在对跟踪目标300进行跟踪的同时躲避障碍物400，以实现正常飞行。
其中，无人飞行器100可以为合适的无人飞行器，包括固定翼无人飞行器和旋转翼无人飞行器，例如直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。无人飞行器100还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇、无人热气球和机器人等。
其中，跟踪目标300可以为任何合适的可移动或不可移动物体，包括交通工具、人、动物、建筑物、山川河流等。障碍物400例如建筑物、山体、树木、森林、信号塔或其他可移动或不可移动物体（图1中只示出了一个障碍物，实际应用中可能会有更多障碍物或者没有障碍物）。
其中，在一些实施例中，请参照图2，图2是本发明实施例提供的一种无人飞行器的结构示意图；
如图2所示，该无人飞行器100包括机身10、与所述机身10相连的机臂（图中未示出）、设于机臂的动力系统（图中未示出）和设于机身10的控制系统。动力系统用于提供无人飞行器100飞行的推力、升力等，控制系统是无人飞行器100的中枢神经，可以包括多个功能性单元，例如飞控系统20、跟踪系统30、路径规划系统50、视觉系统40以及其他具有特定功能的系统。
跟踪系统30和视觉系统40均包括摄像装置和控制芯片，其中，所述摄像装置为云台相机，跟踪系统30用于获得跟踪目标的状态、跟踪距离(即无人飞行器100距跟踪目标的距离)等，视觉系统40用于提供环境地图或无人飞行器周围环境的原始点云等。
飞控系统20包括各类传感器（例如陀螺仪、加速计等），飞控系统20用于获得实时的无人飞行器位置以及控制无人飞行器飞行姿态等。路径规划系统50用于对路径进行规划，并指示飞控系统20控制无人飞行器100的飞行姿态以使无人飞行器100按指定路径飞行。
在实际应用时，飞控系统20、路径规划系统50可以设置于机身10内部，跟踪系统30和视觉系统40可以设置于机身10外部并固定于机身10上。跟踪系统30和视觉系统40的摄像装置可以组成单目或双目视觉系统，其中，摄像装置可以为高清数码相机或其他摄像装置，摄像装置可以设置于任何利于拍摄的合适位置，在一些实施例中，跟踪系统30的摄像装置通过云台安装于机身10的底部，视觉系统40的摄像装置设置于机身10的前部和/或下部。其中，各个系统可以分别设置，在一些实施例中，上述系统中的部分或全部也可以集成在一个或多于一个的装置中。
在一些实施例中，无人飞行器100根据目标特征对所述跟踪目标进行跟踪，其中，在部分实施例中，目标特征事先存储于无人飞行器100中，在部分实施例中，目标特征通过其他途径获得。在无人飞行器100的一些应用场景中还包括电子设备200，目标特征可以通过电子设备200发送给无人飞行器100。
具体的，电子设备200可以显示无人飞行器100拍摄的图片，由用户对图片中的目标进行框选，用户框选的目标图片上传无人飞行器100后，无人飞行器100可以根据该框选的目标图片提取目标特征。无人飞行器100和电子设备200之间，可以通过分别设置在各自内部的无线通信模块（例如信号接收器、信号发送器等）建立通信连接，上传或者下发数据/指令。其中，电子设备200例如智能手机、平板电脑、电脑、遥控器等。
无人飞行器100在对跟踪目标进行跟踪和躲避障碍物飞行的过程中，需要根据跟踪目标的位置规划合适的路径，按规划的路径飞行以在保持跟踪的前提下躲避障碍物。因此，目标位置的估计至关重要。本发明实施例利用多种方法获得目标位置的相关值，并将该目标位置的相关值作为扩展卡尔曼滤波器的测量值，利用扩展卡尔曼滤波器进行递推估计获得目标位置的估计值。
在本发明实施例中，通过对跟踪目标进行建模，确定所述跟踪目标对应的模型，其中，本发明实施例以跟踪目标被建模为球体为例进行说明。
请一并参阅图3a和图3b，图3a是本发明实施例提供的一种模型与图像的对应关系示意图；图3b是本发明实施例提供的另一种模型与图像的对应关系示意图；
具体的，根据跟踪目标的长度、宽度、高度，确定与跟踪目标建模对应的球体的半径R，具体的，根据跟踪目标的长a，宽b，高c，确定球体半径为：，其中，a为跟踪目标的长度，b为跟踪目标的宽度，c为跟踪目标的高度，R为跟踪目标对应的球体的半径。
可以理解的是，跟踪目标的长宽高不需要十分精确，大致表达物体的形状和尺寸即可，例如：跟踪目标为一般小轿车，可使用通用尺寸4.7*1.5*1.8。
其中，在确定跟踪目标对应的模型之后，需要建立模型与图像之间的投影关系，其中，所述图像为云台相机获取到的云台图像，所述跟踪目标被建模为球体，则如图3a所示，假设所述跟踪目标在图像的纵轴方向的最高点为a，最低点为b，而最高点为a对应球体的切点A，最低点b对应球体的切点B。其中，在远距离跟踪时，近似地认为切点A与跟踪目标的目标中心O的连线OA垂直于云台相机光心G（即光学中心G）与目标中心O的连线OG，并且，切点B与跟踪目标的目标中心O的连线OB也垂直于云台相机光心G与目标中心O的连线OG，并且近似地认为切点A、B两点的连线经过目标中心O；
并且，如图3b所示，假设所述跟踪目标在图像的横轴方向的最左点为c，最右点为d，而最左点c对应球体的切点C，最右点对应球体的切点D，其中，在远距离跟踪时，近似地认为切点C与跟踪目标的目标中心O的连线OC垂直于云台相机光心G与目标中心O的连线OG，并且，切点D与跟踪目标的目标中心O的连线OD垂直于云台相机光心G与目标中心O的连线OG，并且近似地认为切点C和切点D两点的连线经过目标中心O。
通过对跟踪目标进行建模，将跟踪目标建模为球体，本发明实施例能够基于建模的球体，对跟踪目标的位置进行估计。
请再参阅图4，图4是本发明实施例提供的一种跟踪目标的位置估计方法的流程示意图；其中，该跟踪目标的位置估计方法应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像。
如图4所示，该跟踪目标的位置估计方法，包括：步骤S10：根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；
可以理解的是，跟踪目标的当前目标位置未知，为了估计跟踪目标的当前目标位置，需要给定所述初始位置信息作为扩展卡尔曼滤波算法的输入，以收敛到所述跟踪目标的实际位置，其中，所述跟踪目标在当前时刻的初始位置信息由无人飞行器的处理器给出，所述初始位置信息由无人飞行器根据所述跟踪目标的实际情况估计得出，通过估计所述跟踪目标的初始位置，将估计得到的位置作为跟踪目标在当前位置的初始位置信息，相比随机给定，其能够提高收敛速度。当给定所述跟踪目标在当前时刻的初始位置信息之后，将所述初始位置信息作为所述跟踪目标的当前世界位置信息，然后根据当前位置估算下一位置，下一位置又变为当前位置的迭代过程，直至收敛到误差小于预设阈值，停止迭代过程。
具体的，将所述初始位置信息作为扩展卡尔曼滤波（extended kalman filter，EKF）算法的输入，通过扩展卡尔曼滤波算法估计所述跟踪目标在下一个时刻的目标位置信息，得到估计的目标位置信息，其中，所述估计的目标位置信息为世界坐标信息。其中，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，扩展卡尔曼滤波算法的核心思想在于预测+测量反馈，它由两部分组成，第一部分是状态预测方程，第二部分是观测方程。在预测阶段，要通过系统状态方程计算的预测值作为先验信息，之后在观测部分再重新更新这个信息。
在预测阶段，预测方程包括状态向量方程和协方差方程，分别为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为跟踪目标在当前时刻的位置对应的状态向量的测量值，为系统状态转移矩阵，/>为协方差预测值，/>为协方差测量值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
在本发明实施例中，系统状态转移矩阵可以为/>。
步骤S20：根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；
具体的，所述图像为云台相机获取到的云台图像，所述根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度，包括：对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框。
具体的，所述对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框，包括：
将所述跟踪目标建模为球体，并根据所述跟踪目标的长度、宽度以及高度，确定所述跟踪目标对应的球体的半径R；
确定跟踪目标对应的球体在图像中对应的目标框。
具体的，将所述跟踪目标建模为球体，计算所述跟踪目标的长度、宽度以及高度的平均值，将所述球体的半径R确定为长度、宽度以及高度的平均值，即，其中，a为跟踪目标的长度，b为跟踪目标的宽度，c为跟踪目标的高度，R为跟踪目标对应的球体的半径。
确定跟踪目标对应的球体在图像中对应的目标框，具体的，将与所述跟踪目标对应的球体投影到图像中，确定与所述球体对应的目标框。
具体的，将所述跟踪目标对应的球体投影到图像中，所述跟踪目标对应的球体从三维形态投影到图像中的二维形态，在所述跟踪目标对应的球体被投影到图像中之后，在图像中形成一目标框，在本发明实施例中，所述目标框为圆形框。可以理解的是，由于与所述球体对应的目标框为圆形框，则根据圆形框的圆心所在的位置以及半径，即可确定目标框在图像中的位置。具体的，所述确定与所述球体对应的目标框，包括：确定所述目标框的圆心位置以及半径，根据所述目标框的圆心位置以及半径，确定与所述球体对应的目标框在图像中的位置信息。
如图3a所示，假设所述跟踪目标在图像的纵轴方向的最高点为a，最低点为b，而最高点为a对应球体的切点A，最低点b对应球体的切点B。其中，在远距离跟踪时，近似地认为切点A与跟踪目标的目标中心O的连线OA垂直于云台相机光心G（即光学中心G）与目标中心O的连线OG，并且，切点B与跟踪目标的目标中心O的连线OB也垂直于云台相机光心G与目标中心O的连线OG，并且近似地认为切点A、B两点的连线经过目标中心O；
并且，如图3b所示，假设所述跟踪目标在图像的横轴方向的最左点为c，最右点为d，而最左点c对应球体的切点C，最右点对应球体的切点D，其中，在远距离跟踪时，近似地认为切点C与跟踪目标的目标中心O的连线OC垂直于云台相机光心G与目标中心O的连线OG，并且，切点D与跟踪目标的目标中心O的连线OD垂直于云台相机光心G与目标中心O的连线OG，并且近似地认为切点C和切点D两点的连线经过目标中心O。
具体的，请再参阅图5，图5是图4中的步骤S20的细化流程图；
如图5所示，所述步骤S20：根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
步骤S21：根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，其中，所述估计的目标位置信息为世界坐标系下的世界位置信息；
其中，所述估计的目标位置信息为世界坐标系下的世界位置信息，具体的，假设所述跟踪目标在下一个时刻的世界位置信息，即估计的目标位置信息为/>，则所述跟踪目标的目标位置信息对应的状态向量，则所述跟踪目标在相机坐标系下的相机位置信息/>，即估计的相机位置信息为/>，可以理解的是，所述估计的相机位置信息为所述目标中心O对应的相机位置信息，其中，/>为跟踪目标在相机坐标系下的三维坐标，即/>为跟踪目标的目标中心O在相机坐标系下的三维坐标，/>为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移向量。
其中，切点A、B在相机坐标系下的坐标分别表示为：
其中，为目标中心在相机坐标系下的坐标，/>为切点A在相机坐标系下的坐标，/>为切点B在相机坐标系下的坐标，/>为目标中心O在相机坐标系下的坐标，/>，R为球体半径。其中，切点A对应最高点a，其在图像中的像素坐标为/>，切点B对应最低点b，其在图像中的像素坐标为/>。
其中，切点C、D在相机坐标系下的坐标分别表示为：
其中，为切点C在相机坐标系下的坐标，/>为切点D在相机坐标系下的坐标，/>为目标中心O在相机坐标系下的坐标，/>，R为球体半径。其中，切点C对应最左点c，其在图像中的像素坐标为/>，切点D对应最右点d，其在图像中的像素坐标为/>。
步骤S22：根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息。
具体的，假设所述跟踪目标在像素坐标系下的像素位置信息，则，其中，/>为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标，可以理解的是，/>为跟踪目标的目标中心O在相机坐标系下的三维坐标，/>为估计的目标位置信息在世界坐标系下的三维坐标。
具体的，根据相机坐标系到像素坐标系的转换关系：
其中，为焦距，/>为主点坐标，其中，焦距和主点坐标均可以通过云台相机标定获得，将所述转换关系转化为矩阵形式：
其中，为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标。在本发明实施例中，云台相机的内参矩阵，其中，/>为云台相机的焦距，/>为主点坐标。
在本发明实施例中，通过将跟踪目标在当前时刻的世界位置信息转化为所述跟踪目标在图像中的像素位置信息，有利于确定跟踪目标在图像中的位置变化，以方便对跟踪目标进行位置估计。
具体的，所述确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
根据所述目标框在纵轴方向上的最高点和最低点以及横轴方向上的最左点和最右点，分别确定所述目标框在图像中的估计高度和估计宽度。
具体的，所述确定所述目标框在图像中的估计高度，包括：
假设所述跟踪目标在图像中的目标框在纵轴方向上的最高点为a，最低点为b，所述最高点a对应所述球体的切点为A，所述最低点b对应所述球体的切点为B，所述切点A在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最高点a和最低点b的高度差为/>，则确定所述目标框在图像中的估计高度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
具体的，根据切点A、B、C、D在相机坐标系下的坐标，确定所述目标框在图像的纵轴方向上的最高点和最低点以及横轴方向上的最左点和最右点，参阅图3a和图3b，其中，切点A对应最高点a，其在图像中的像素坐标为，切点B对应最低点b，其在图像中的像素坐标为/>，切点C对应最左点c，其在图像中的像素坐标为/>，切点D对应最右点d，其在图像中的像素坐标为/>；
其中，确定所述目标框在图像中的估计高度，相当于确定所述切点A对应的最高点a与切点B对应的最低点b在图像中的距离，具体的，切点A和切点B在图像中的距离，即估计高度可以表示为：
其中，为云台相机的内参矩阵，/>为切点B在相机坐标系下的三维坐标，为切点B在世界坐标系下的三维坐标，/>为切点A在相机坐标系下的三维坐标，为切点A在世界坐标系下的三维坐标，在本发明实施例中，所述云台相机的内参矩阵通过事先标定获得，例如通过相机标定技术获取。
由于切点A和切点B两者之间只有y轴坐标不一致，因此，上式height=，可以被简化为：
相当于，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
具体的，所述确定所述目标框在图像中的估计宽度，包括：
假设所述跟踪目标在图像中的目标框在横轴方向上的最左点为c，最右点为d，所述最左点c对应所述球体的切点为C，所述最右点d对应所述球体的切点为D，所述切点C在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最左点c和最右点d的宽度差为/>，则所述目标框在图像中的估计宽度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
具体的，确定所述目标框在图像中的估计宽度，相当于确定所述切点C对应的最左点c与切点D对应的最右点d在图像中的距离，同理，切点C和切点D在图像中的距离，即估计宽度可以表示为：
其中，为云台相机的内参矩阵，/>为切点D在相机坐标系下的三维坐标，为切点C在相机坐标系下的三维坐标，z为跟踪目标在相机坐标系下的Z轴坐标，上式，可以被简化为：
通过根据所述跟踪目标在图像中的像素位置信息，确定所述跟踪目标在图像中的高度差和宽度差，有利于确定跟踪目标的在图像中的位置，为估计图像在下一时刻的位置提供有利条件。
步骤S30：获取跟踪目标在图像中的实际宽度和实际高度；
具体的，所述跟踪目标在图像中的实际宽度和实际高度由外部模块获取，例如通过跟踪模块获取所述跟踪目标在图像中的目标框，并测量所述目标框的实际宽度和实际高度。
步骤S40：根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
具体的，所述高度差为所述估计高度和实际高度之差的绝对值，即高度差=|估计高度-实际高度|，所述宽度差为所述估计宽度与实际宽度之差，即宽度差=|估计宽度-实际宽度|。
步骤S50：根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
其中，扩展卡尔曼滤波（extended kalman filter，EKF），是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。
请再参阅图6，图6是图5中的步骤S50的细化流程图；
如图6所示，所述步骤S50：根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，具体的，包括如下步骤：
步骤S51：根据所述跟踪目标在图像中的估计高度和估计宽度，确定所述估计高度对跟踪目标的状态向量的第一雅克比矩阵以及所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵，其中，所述状态向量为估计的目标位置信息的转置矩阵；
具体的，所述跟踪目标在图像中的估计高度为，所述跟踪目标的状态向量为所述跟踪目标的世界位置信息的转置矩阵，即所述跟踪目标的估计的目标位置信息对应的状态向量/>，则所述估计高度对跟踪目标的状态向量的第一雅克比矩阵为：/>
简化后，可得：
其中，为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标，/>为世界坐标系到相机坐标系的旋转矩阵。
具体的，所述跟踪目标在图像中的宽度为，所述跟踪目标的状态向量为所述跟踪目标的世界位置信息的转置矩阵，即所述跟踪目标的估计的目标位置信息对应的状态向量/>，则所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵为：
简化后，可得：
其中，为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标，/>为世界坐标系到相机坐标系的旋转矩阵。
步骤S52：根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
具体的，请再参阅图7，图7是图6中的步骤S52的细化流程图；
如图7所示，该步骤S52：根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
步骤S521：在预测阶段，将所述跟踪目标在当前时刻的初始位置信息对应的状态向量作为扩展卡尔曼滤波器的估计值，根据预测方程，估计所述跟踪目标在下一个时刻的目标位置信息的预测值，其中，所述预测方程包括状态向量方程和协方差方程；
具体的，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，扩展卡尔曼滤波算法的核心思想在于预测+测量反馈，它由两部分组成，第一部分是状态预测方程，第二部分是观测方程。在预测阶段，要通过系统状态方程计算的预测值作为先验信息，之后在观测部分再重新更新这个信息。
在预测阶段，预测方程包括状态向量方程和协方差方程，分别为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，即估计的跟踪目标在下一个时刻的目标位置信息，/>为跟踪目标在当前时刻的位置对应的状态向量的测量值，/>为系统状态转移矩阵，/>为协方差预测值，/>为协方差测量值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
在本发明实施例中，系统状态转移矩阵可以为/>
步骤S522：在更新阶段，根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益；
具体的，所述卡尔曼增益，其中，为协方差预测值，/>为第一雅克比矩阵和第二雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为协方差预测值，/>为状态到观测的转换矩阵的转置矩阵，为测量噪声方差。
其中，所述为第一雅克比矩阵或第二雅克比矩阵的转置矩阵，具体的，针对目标框的高度，所述/>为第一雅克比矩阵/>，即/>，此时计算得到的卡尔曼增益为第一卡尔曼增益，具体的，根据所述第一雅克比矩阵，确定第一卡尔曼增益，具体包括：
第一卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
具体的，针对目标框的宽度，所述为第二雅克比矩阵/>，即/>，此时计算得到的卡尔曼增益为第二卡尔曼增益，具体的，根据所述第二雅克比矩阵，确定第二卡尔曼增益，具体包括：
第二卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
步骤S523：根据所述卡尔曼增益、估计值以及预测值，更新所述预测方程，确定更新后的预测方程，并获取更新值；
具体的，根据所述第一卡尔曼增益、第二卡尔曼增益、测量值以及预测值，更新所述预测方程，确定更新后的预测方程，并获得更新值。
具体的，更新后的预测方程为：，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为卡尔曼增益，/>为第一雅克比矩阵/>代表的图像中的目标框的高的测量值或者第二雅克比矩阵/>代表的图像中的目标框的宽的测量值，/>为估计出的跟踪目标在图像中的高和宽的预测值，/>为协方差预测值，/>为状态到观测的转换矩阵。
其中，当所述为第一雅克比矩阵/>代表的图像中的目标框的高度的测量值时，所述卡尔曼增益/>为第一卡尔曼增益/>，此时/>，其中，为目标框的最高点b在像素坐标系下的纵坐标，/>为目标框的最低点a在像素坐标系下的纵坐标。
其中，当所述为第二雅克比矩阵/>代表的图像中的目标框的宽度的测量值时，所述卡尔曼增益/>为第二卡尔曼增益/>，此时/>，其中，/>为目标框的最右点d在像素坐标系下的纵坐标，/>为目标框的最左点c在像素坐标系下的纵坐标。
通过分别确定目标框的高的测量值、目标框的宽的测量值，分别利用第一卡尔曼增益和第二卡尔曼增益/>，从而确定跟踪目标在下一个时刻的位置对应的状态向量的预测值/>，即/>，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为第一卡尔曼增益，/>为第二卡尔曼增益，/>为第一雅克比矩阵/>代表的图像中的目标框的高的测量值，/>为第二雅克比矩阵/>代表的图像中的目标框的宽的测量值，/>为目标框的最高点b在像素坐标系下的纵坐标，/>为目标框的最低点a在像素坐标系下的纵坐标，/>为目标框的最右点d在像素坐标系下的纵坐标，/>为目标框的最左点c在像素坐标系下的纵坐标。
在本发明实施例中，通过分别计算目标框的长、宽的更新值，从而确定跟踪目标在下一个时刻的位置对应的状态向量的预测值，有利于更好地估计跟踪目标的位置。
步骤S524：根据所述更新值，更新所述跟踪目标在下一个时刻的目标位置信息。
具体的，在确定更新后的预测方程之后，将所述更新阶段获得的更新值代入所述预测阶段的预测方程，估计所述跟踪目标在下一个时刻的目标位置信息，具体的，将更新后的作为/>，/>作为/>，代入所述预测方程/>，从而得到预测的跟踪目标的状态量，将所述状态量作为所述跟踪目标在下一个时刻的目标位置信息，从而得到所述跟踪目标在下一个时刻的目标位置信息。
在本发明实施例中，所述方法还包括：
将所述更新的位置信息作为估计的目标位置信息，迭代更新所述跟踪目标在下一个时刻的目标位置信息。
具体的，将所述更新的位置信息作为估计的目标位置信息，重复根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度及其之后的步骤，迭代更新所述跟踪目标在下一个时刻的目标位置信息，直至收敛到误差小于预设阈值，则停止迭代过程，通过迭代的方式，本发明能够更好地使估计的目标位置信息收敛到实际位置信息。
在本发明实施例中，通过提供一种跟踪目标的位置估计方法，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，所述方法包括：根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；获取跟踪目标在图像中的实际宽度和实际高度；根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。通过计算跟踪目标在图像中的误差项，更新跟踪目标在下一个时刻的目标位置信息，本发明能够实现稳定地估计跟踪目标的位置。
请参阅图8，图8是本发明实施例提供的一种跟踪目标的位置估计装置的结构示意图；
其中，该跟踪目标的位置估计装置应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，如图8所示，所述跟踪目标的位置估计装置80，包括：
目标位置信息估计单元81，用于根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；
估计单元82，用于根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；
实际单元83，用于获取跟踪目标在图像中的实际宽度和实际高度；
误差项单元84，用于根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
更新单元85，用于根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。
在本发明实施例中，所述估计单元，具体用于：
对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框。
在本发明实施例中，所述估计单元，具体用于：
将所述跟踪目标建模为球体，并根据所述跟踪目标的长度、宽度以及高度，确定所述跟踪目标对应的球体的半径R；
确定跟踪目标对应的球体在图像中对应的目标框。
在本发明实施例中，所述估计单元，包括：
相机位置模块，用于根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，其中，所述估计的目标位置信息为世界坐标系下的世界位置信息；
像素位置模块，用于根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息。
在本发明实施例中，所述相机位置模块，具体用于：
假设所述估计的目标位置信息，则所述估计的目标位置信息对应的状态向量/>，则所述跟踪目标在相机坐标系下的相机位置信息，其中，/>为跟踪目标在相机坐标系下的三维坐标，/>为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移向量。
在本发明实施例中，所述像素位置模块，具体用于：
假设所述跟踪目标在像素坐标系下的像素位置信息，则，其中，/>为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标。
在本发明实施例中，所述云台相机的内参矩阵，其中，为云台相机的焦距，/>为主点坐标。
在一些实施例中，所述估计单元，包括：
估计高度模块，用于根据所述目标框在纵轴方向上的最高点和最低点，确定所述目标框在图像中的估计高度；
估计宽度单元，用于根据所述目标框在横轴方向上的最左点和最右点，确定所述目标框在图像中的估计宽度。
在本发明实施例中，所述估计高度模块，具体用于：
假设所述跟踪目标在图像中的目标框在纵轴方向上的最高点为a，最低点为b，所述最高点a对应所述球体的切点为A，所述最低点b对应所述球体的切点为B，所述切点A在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最高点a和最低点b的高度差为/>，则确定所述目标框在图像中的估计高度为/>，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在本发明实施例中，所述估计宽度单元，具体用于：
假设所述跟踪目标在图像中的目标框在横轴方向上的最左点为c，最右点为d，所述最左点c对应所述球体的切点为C，所述最右点d对应所述球体的切点为D，所述切点C在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最左点c和最右点d的宽度差为/>，则所述目标框在图像中的估计宽度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在本发明实施例中，所述更新单元，具体用于：
根据所述跟踪目标在图像中的估计高度和估计宽度，确定所述估计高度对跟踪目标的状态向量的第一雅克比矩阵以及所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵，其中，所述状态向量为估计的目标位置信息的转置矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
在本发明实施例中，所述第一雅克比矩阵为，所述第二雅克比矩阵为/>，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
在本发明实施例中，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，所述更新单元，具体用于：
在预测阶段，将所述跟踪目标在当前时刻的初始位置信息对应的状态向量作为扩展卡尔曼滤波器的估计值，根据预测方程，估计所述跟踪目标在下一个时刻的目标位置信息的预测值，其中，所述预测方程包括状态向量方程和协方差方程；
在更新阶段，根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益；
根据所述卡尔曼增益、估计值以及预测值，更新所述预测方程，确定更新后的预测方程，并获取更新值；
根据所述更新值，更新所述跟踪目标在下一个时刻的目标位置信息。
在本发明实施例中，所述预测方程为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为跟踪目标在当前时刻的位置对应的状态向量的估计值，为系统状态转移矩阵，/>为协方差预测值，/>为协方差估计值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
在本发明实施例中，所述卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵或第二雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为协方差预测值，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
在本发明实施例中，所述更新后的预测方程为：，其中，/>为跟踪目标在下一个时刻的目标位置信息对应的状态向量的预测值，/>为卡尔曼增益，/>为目标框的高度或宽度的测量值，/>为第一雅克比矩阵/>代表的目标框的高度的预测值或者第二雅克比矩阵/>代表的目标框的宽度的预测值，/>为协方差预测值，为状态到观测的转换矩阵。
在本发明实施例中，所述更新单元，具体用于：
将更新阶段获得的更新值代入所述预测阶段的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息。
在本发明实施例中，所述装置还包括：
迭代单元，用于将所述更新的位置信息作为估计的目标位置信息，迭代更新所述跟踪目标在下一个时刻的目标位置信息。
需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
在本发明实施例中，通过提供一种跟踪目标的位置估计装置，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，所述装置包括：目标位置信息估计单元，用于根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；估计单元，用于根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；实际单元，用于获取跟踪目标在图像中的实际宽度和实际高度；误差项单元，用于根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；更新单元，用于根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。通过计算跟踪目标在图像中的误差项，更新跟踪目标在下一个时刻的目标位置信息，本发明能够实现稳定地估计跟踪目标的位置。
请再参阅图9，图9是本发明实施例提供的一种无人飞行器的跟踪系统的控制器的硬件结构示意图；
如图9所示，该控制器31包括：一个或多个处理器31a以及存储器31b，图9中以一个处理器31a为例。
处理器31a和存储器31b可以通过总线或者其他方式连接，图9中以通过总线连接为例。
处理器31a，用于根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；获取跟踪目标在图像中的实际宽度和实际高度；根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；根据所述误差项，更新所述跟踪目标在下一个时刻的目标位置信息。
存储器31b作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的跟踪目标的位置估计方法对应的程序指令/模块。处理器31a通过运行存储在存储器31b中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的跟踪目标的位置估计方法。
存储器31b可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据控制器的使用所创建的数据等。此外，存储器31b可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器31b可选包括相对于处理器31a远程设置的存储器，这些远程存储器可以通过网络连接至控制器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器31b中，当被所述一个或者多个处理器31a执行时，执行上述任意方法实施例中的跟踪目标的位置估计方法，例如，执行以上描述的图4中的方法步骤S10至步骤S50；实现图8中的模块的功能。
需要说明的是，上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图9中的一个处理器31a，可使得上述一个或多个处理器可执行上述任意方法实施例中的跟踪目标的位置估计方法，执行以上描述的图4中的方法步骤S10至步骤S50；实现图8中的模块的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory, ROM)或随机存储记忆体(RandomAccessMemory, RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (19)

1.一种跟踪目标的位置估计方法，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，其特征在于，所述方法包括：
根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；具体为，将初始位置信息作为扩展卡尔曼滤波算法的输入，通过扩展卡尔曼滤波算法估计所述跟踪目标在下一个时刻的目标位置信息；
根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；具体为，对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框，根据所述目标框在纵轴方向上的最高点和最低点以及横轴方向上的最左点和最右点，分别确定所述目标框在图像中的估计高度和估计宽度；
获取跟踪目标在图像中的实际宽度和实际高度；具体为，通过测量所述跟踪目标在图像中的目标框得到所述跟踪目标在图像中的实际宽度和实际高度；
根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框，包括：
将所述跟踪目标建模为球体，并根据所述跟踪目标的长度、宽度以及高度，确定所述跟踪目标对应的球体的半径R；
确定跟踪目标对应的球体在图像中对应的目标框。
3.根据权利要求2所述的方法，其特征在于，所述根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度，包括：
根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，其中，所述估计的目标位置信息为世界坐标系下的世界位置信息；
根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据估计的目标位置信息，确定所述跟踪目标在相机坐标系下的相机位置信息，包括：
假设所述估计的目标位置信息，则所述估计的目标位置信息对应的状态向量/>，则所述跟踪目标在相机坐标系下的相机位置信息，其中，/>为跟踪目标在相机坐标系下的三维坐标，/>为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移向量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述跟踪目标在相机坐标系下的相机位置信息，确定所述跟踪目标在像素坐标系下的像素位置信息，包括：
假设所述跟踪目标在像素坐标系下的像素位置信息，则，其中，/>为云台相机的内参矩阵，/>为跟踪目标在相机坐标系下的三维坐标，/>为跟踪目标在世界坐标系下的三维坐标。
6.根据权利要求5所述的方法，其特征在于，所述云台相机的内参矩阵，其中，/>为云台相机的焦距，/>为主点坐标。
7.根据权利要求2所述的方法，其特征在于，所述确定所述目标框在图像中的估计高度，包括：
假设所述跟踪目标在图像中的目标框在纵轴方向上的最高点为a，最低点为b，所述最高点a对应所述球体的切点为A，所述最低点b对应所述球体的切点为B，所述切点A在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最高点a和最低点b的高度差为/>，则确定所述目标框在图像中的估计高度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
8.根据权利要求2所述的方法，其特征在于，所述确定所述目标框在图像中的估计宽度，包括：
假设所述跟踪目标在图像中的目标框在横轴方向上的最左点为c，最右点为d，所述最左点c对应所述球体的切点为C，所述最右点d对应所述球体的切点为D，所述切点C在像素坐标系下的像素坐标为，所述切点B在像素坐标系下的像素坐标为/>，所述最左点c和最右点d的宽度差为/>，则所述目标框在图像中的估计宽度为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标。
9.根据权利要求1所述的方法，其特征在于，所述根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
根据所述跟踪目标在图像中的估计高度和估计宽度，确定所述估计高度对跟踪目标的状态向量的第一雅克比矩阵以及所述估计宽度对跟踪目标的状态向量的第二雅克比矩阵，其中，所述状态向量为估计的目标位置信息的转置矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
10.根据权利要求9所述的方法，其特征在于，所述第一雅克比矩阵为，所述第二雅克比矩阵为，其中，/>为云台相机的内参矩阵，R为球体的半径，z为跟踪目标在相机坐标系下的Z轴坐标，/>为世界坐标系到相机坐标系的旋转矩阵。
11.根据权利要求10所述的方法，其特征在于，所述扩展卡尔曼滤波算法包括预测阶段和更新阶段，所述根据所述第一雅克比矩阵和第二雅克比矩阵，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
在预测阶段，将所述跟踪目标在当前时刻的初始位置信息对应的状态向量作为扩展卡尔曼滤波器的估计值，根据预测方程，估计所述跟踪目标在下一个时刻的目标位置信息的预测值，其中，所述预测方程包括状态向量方程和协方差方程；
在更新阶段，根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益；
根据所述卡尔曼增益、估计值以及预测值，更新所述预测方程，确定更新后的预测方程，并获取更新值；
根据所述更新值，更新所述跟踪目标在下一个时刻的目标位置信息。
12.根据权利要求11所述的方法，其特征在于，所述预测方程为：
，其中，/>为跟踪目标在下一个时刻的位置对应的状态向量的预测值，/>为跟踪目标在当前时刻的位置对应的状态向量的估计值，/>为系统状态转移矩阵，/>为协方差预测值，/>为协方差估计值，/>为系统状态转移矩阵的转置矩阵，/>为噪声矩阵。
13.根据权利要求12所述的方法，其特征在于，所述根据所述第一雅克比矩阵和第二雅克比矩阵，计算卡尔曼增益，包括：
卡尔曼增益，其中，/>为协方差预测值，/>为第一雅克比矩阵或第二雅克比矩阵的转置矩阵，/>为状态到观测的转换矩阵，/>为状态到观测的转换矩阵的转置矩阵，/>为测量噪声方差。
14.根据权利要求13所述的方法，其特征在于，所述根据所述卡尔曼增益、测量值以及预测值，更新所述预测方程，确定更新后的预测方程，包括：
更新后的预测方程为：，其中，/>为跟踪目标在下一个时刻的目标位置信息对应的状态向量的预测值，/>为卡尔曼增益，/>为目标框的高度或宽度的测量值，/>为第一雅克比矩阵/>代表的目标框的高度的预测值或者第二雅克比矩阵/>代表的目标框的宽度的预测值，为协方差预测值，/>为状态到观测的转换矩阵。
15.根据权利要求14所述的方法，其特征在于，所述根据所述更新后的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息，包括：
将更新阶段获得的更新值代入所述预测阶段的预测方程，更新所述跟踪目标在下一个时刻的目标位置信息。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
将所述更新的位置信息作为估计的目标位置信息，迭代更新所述跟踪目标在下一个时刻的目标位置信息。
17.一种跟踪目标的位置估计装置，应用于无人飞行器，所述无人飞行器包括云台相机，所述云台相机用于获取图像，其特征在于，所述装置包括：
目标位置信息估计单元，用于根据给定的跟踪目标在当前时刻的初始位置信息，估计所述跟踪目标在下一个时刻的目标位置信息；具体为，将初始位置信息作为扩展卡尔曼滤波算法的输入，通过扩展卡尔曼滤波算法估计所述跟踪目标在下一个时刻的目标位置信息；
估计单元，用于根据估计的目标位置信息，确定所述跟踪目标在图像中的估计宽度和估计高度；具体为，对所述跟踪目标进行建模，确定所述跟踪目标对应的模型，根据所述跟踪目标对应的模型，确定所述跟踪目标在图像中的目标框，根据所述目标框在纵轴方向上的最高点和最低点以及横轴方向上的最左点和最右点，分别确定所述目标框在图像中的估计高度和估计宽度；
实际单元，用于获取跟踪目标在图像中的实际宽度和实际高度；具体为，通过测量所述跟踪目标在图像中的目标框得到所述跟踪目标在图像中的实际宽度和实际高度；
误差项单元，用于根据所述估计宽度和估计高度与所述实际高度和实际宽度，确定误差项，所述误差项包括高度差和宽度差；
更新单元，用于根据所述误差项，基于扩展卡尔曼滤波算法，更新所述跟踪目标在下一个时刻的目标位置信息。
18.一种无人飞行器，其特征在于，所述无人飞行器包括机身、与所述机身相连的机臂、设于所述机臂的动力系统、设置于所述机身的跟踪系统；其中，所述跟踪系统包括控制器，所述控制器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-16任一项所述的方法。
19.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人飞行器执行时，使所述无人飞行器执行如权利要求1-16任一项所述的方法。
CN202010896152.XA 2020-08-31 2020-08-31 一种跟踪目标的位置估计方法、装置及无人飞行器 Active CN112037260B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010896152.XA CN112037260B (zh) 2020-08-31 2020-08-31 一种跟踪目标的位置估计方法、装置及无人飞行器
PCT/CN2021/108888 WO2022042184A1 (zh) 2020-08-31 2021-07-28 一种跟踪目标的位置估计方法、装置及无人飞行器
US18/173,935 US20230215024A1 (en) 2020-08-31 2023-02-24 Position estimation method and apparatus for tracking target, and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896152.XA CN112037260B (zh) 2020-08-31 2020-08-31 一种跟踪目标的位置估计方法、装置及无人飞行器

Publications (2)

Publication Number Publication Date
CN112037260A CN112037260A (zh) 2020-12-04
CN112037260B true CN112037260B (zh) 2024-05-28

Family

ID=73587202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896152.XA Active CN112037260B (zh) 2020-08-31 2020-08-31 一种跟踪目标的位置估计方法、装置及无人飞行器

Country Status (3)

Country Link
US (1) US20230215024A1 (zh)
CN (1) CN112037260B (zh)
WO (1) WO2022042184A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037260B (zh) * 2020-08-31 2024-05-28 深圳市道通智能航空技术股份有限公司 一种跟踪目标的位置估计方法、装置及无人飞行器
CN114399528B (zh) * 2021-11-29 2024-06-07 深圳先进技术研究院 基于二维图像的三维空间运动目标跟踪方法及相关装置
CN114445467A (zh) * 2021-12-21 2022-05-06 贵州大学 基于视觉的四旋翼无人机特定目标识别与追踪系统
CN115511955B (zh) * 2022-11-18 2023-03-10 西湖大学 分布式地对空协同对未知无人机状态估计方法及其应用
CN115713565A (zh) * 2022-12-16 2023-02-24 盐城睿算电子科技有限公司 一种双目伺服相机目标定位方法
CN116091546B (zh) * 2023-01-12 2024-04-19 北京航天飞行控制中心 光学相机推扫模式下的观测构建方法
CN116188533B (zh) * 2023-04-23 2023-08-08 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116952081B (zh) * 2023-07-26 2024-04-16 武汉巨合科技有限公司 灭火弹落点参数图像空中监测系统及监测方法
CN117495900B (zh) * 2023-11-06 2024-06-07 长沙理工大学 基于相机运动趋势估计的多目标视觉跟踪方法
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质
CN118604818A (zh) * 2024-08-08 2024-09-06 南京莱斯电子设备有限公司 一种围界的雷视探测和球机校准跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080580A (ja) * 2002-08-21 2004-03-11 Japan Aviation Electronics Industry Ltd カメラ雲台の追尾方法および追尾カメラ雲台
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110268224A (zh) * 2017-02-10 2019-09-20 深圳市大疆创新科技有限公司 用于无人机实时位置跟踪的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048958A (ko) * 2010-11-08 2012-05-16 재단법인대구경북과학기술원 객체 추적 및 위치 추정 방법
CN108802707B (zh) * 2018-08-31 2021-03-26 中国科学院电子学研究所 改进的用于目标跟踪的卡尔曼滤波方法
CN112037260B (zh) * 2020-08-31 2024-05-28 深圳市道通智能航空技术股份有限公司 一种跟踪目标的位置估计方法、装置及无人飞行器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080580A (ja) * 2002-08-21 2004-03-11 Japan Aviation Electronics Industry Ltd カメラ雲台の追尾方法および追尾カメラ雲台
CN110268224A (zh) * 2017-02-10 2019-09-20 深圳市大疆创新科技有限公司 用于无人机实时位置跟踪的系统和方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法

Also Published As

Publication number Publication date
CN112037260A (zh) 2020-12-04
US20230215024A1 (en) 2023-07-06
WO2022042184A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112037260B (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
US20210012520A1 (en) Distance measuring method and device
US10565732B2 (en) Sensor fusion using inertial and image sensors
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
EP3158293B1 (en) Sensor fusion using inertial and image sensors
Heng et al. Self-calibration and visual slam with a multi-camera system on a micro aerial vehicle
EP3158417B1 (en) Sensor fusion using inertial and image sensors
CN110570463B (zh) 一种目标状态估计方法、装置和无人机
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US10740986B2 (en) Systems and methods for reconstructing a moving three-dimensional object
CN111338383A (zh) 基于gaas的自主飞行方法及系统、存储介质
CN114667541A (zh) 使用人体关节校准无人驾驶飞行器上的摄影机
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
CN110989619A (zh) 用于定位对象的方法、装置、设备和存储介质
Li et al. Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN113790711B (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN112904895B (zh) 基于图像的飞机引导方法、装置
US10636205B2 (en) Systems and methods for outlier edge rejection
CN113432595A (zh) 设备状态获取方法、装置、计算机设备及存储介质
CN118210329A (zh) 一种基于双目深度点云的无人机高精度相对定位方法
Zhu et al. Architecture for Asymmetric Collaborative Navigation–Considerations for Real Time Implementation of the Collaborative Robust Integrated Sensor Positioning (CRISP) System
AZRAD et al. A209 Localization of MAV in GPS-Denied Environment Using Embedded Stereo Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant