CN110910423B - 一种目标跟踪方法及存储介质 - Google Patents

一种目标跟踪方法及存储介质 Download PDF

Info

Publication number
CN110910423B
CN110910423B CN201911122595.7A CN201911122595A CN110910423B CN 110910423 B CN110910423 B CN 110910423B CN 201911122595 A CN201911122595 A CN 201911122595A CN 110910423 B CN110910423 B CN 110910423B
Authority
CN
China
Prior art keywords
frame image
imu data
target
current frame
previous frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911122595.7A
Other languages
English (en)
Other versions
CN110910423A (zh
Inventor
檀冲
刘兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Puppy Vacuum Cleaner Group Co Ltd
Original Assignee
Xiaogou Electric Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaogou Electric Internet Technology Beijing Co Ltd filed Critical Xiaogou Electric Internet Technology Beijing Co Ltd
Priority to CN201911122595.7A priority Critical patent/CN110910423B/zh
Publication of CN110910423A publication Critical patent/CN110910423A/zh
Application granted granted Critical
Publication of CN110910423B publication Critical patent/CN110910423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法及存储介质，该方法包括以下步骤：获取目标在运动状态下的前一帧图像和当前帧图像；确定前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量；根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。本发明能够在目标的视觉特征不具有平移不变性且目标进行高速平移时得到更鲁棒的特征跟踪，跟踪速度也会更快。

Description

一种目标跟踪方法及存储介质
技术领域
本发明属于视觉追踪技术领域，具体涉及一种目标跟踪方法及存储介质。
背景技术
惯性导航利用IMU(Inertial measurement unit，惯性测量单元)测量得到的角速度、加速度信息进行惯性导航解算得到运载体的位置、速度、姿态(含航向)等信息，具有实时性好、动态性能好等优点；但是由于其积分式特点，使得传感器和算法解算的误差会持续累积，导致长时间的情况下精度很低，特别是对于低端IMU。
视觉信息包含了丰富的三维场景信息，通过视觉跟踪可以对运载体的运动进行测量，视觉测量可以给出运动增量。惯性与视觉融合算法利用视觉观测与IMU预测联合得到重投影误差作为观测量来进行系统状态估计，视觉惯性融合算法包括一个视觉前端，进行特征提取和跟踪。理想的视觉特征(视觉特征是指图像中提取出的具体特征方向/梯度的像素块，可以用基于各种曲率特征的特征名和/或描述子来描述，例如FAST、Harris、ORB、SIFT等特征)具备旋转和平移不变性，这样纯视觉特征也能够给出较好的特征跟踪效果，但是在运动比较剧烈或极端时也会跟踪失效，这是视觉特征的缺点；一般的视觉特征还不具备旋转不变性和平移不变性，特别是平移不变性。为了提高特征跟踪的效果，一般采取使用IMU中的陀螺仪进行特征的转动预测，给出先前帧的特征在当前帧中的预测位置，然后使用视觉跟踪给出特征在当前帧的最终位置。
当前的补偿算法加入了特征点旋转的预测，可以提高机器人转动时的特征跟踪；但是在机器人平移，特别是快速平移时，且特征不具备平移不变性时，特征跟踪效果不好，容易跟丢。
现在亟须一种目标跟踪方法及存储介质。
发明内容
本发明所要解决的技术问题是现有的目标跟踪方法仅考虑目标视觉特征点的旋转，并未考虑目标视觉特征点的平移，特别是快速平移且视觉特征点不具备平移不变性时，目标跟踪效果不好，甚至跟丢的问题。
针对上述问题，本发明提供了一种目标跟踪方法及存储介质。
第一方面，本发明提供了一种目标跟踪方法，包括以下步骤：
获取目标在运动状态下的前一帧图像和当前帧图像；
确定前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量；
根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；
通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。
根据本发明的实施例，优选地，确定前一帧图像与当前帧图像之间目标的相对旋转量，具体包括以下步骤：
获取前一帧图像与当前帧图像之间的多帧IMU数据；
分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；
根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量。
根据本发明的实施例，优选地，通过以下表达式，求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵：
Ci＝I+sin(Δθi)(u×)+(1-cos(Δθi))(u×)2
其中，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，I为单位矩阵，Δθi为第i帧与第i+1帧IMU数据之间的角增量，u×为角增量的单位向量的反对称矩阵。
根据本发明的实施例，优选地，通过以下表达式，根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量：
Figure BDA0002275836020000021
其中，
Figure BDA0002275836020000022
为前一帧图像与当前帧图像之间目标的相对旋转量，Cn为第n帧与第n+1帧IMU数据之间的姿态矩阵，n+1为前一帧图像与当前帧图像之间的IMU数据的帧数量。
根据本发明的实施例，优选地，确定前一帧图像与当前帧图像之间目标的相对平移量，具体包括以下步骤：
获取前一帧图像与当前帧图像之间的多帧IMU数据；
分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；
根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定每相邻两帧IMU数据之间的位置增量；
根据每相邻两帧IMU数据之间的位置增量确定前一帧图像与当前帧图像之间目标的相对平移量。
根据本发明的实施例，优选地，通过以下表达式，根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定每相邻两帧IMU数据之间的位置增量：
Figure BDA0002275836020000031
其中，Δpi为第i帧与第i+1帧IMU数据之间的位置增量，vi为第i帧IMU数据处的速度测量值，vi+1＝vi+CiaiΔt+gnΔt，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，ai为第i帧与第i+1帧IMU数据之间的IMU加速度，gn为重力加速度，Δt为IMU数据采样周期。
根据本发明的实施例，优选地，通过以下表达式，根据每相邻两帧IMU数据之间的位置增量确定前一帧图像与当前帧图像之间目标的相对平移量：
Figure BDA0002275836020000032
其中，t为前一帧图像与当前帧图像之间目标的相对平移量，Δpi为第i帧与第i+1帧IMU数据之间的位置增量。
根据本发明的实施例，优选地，通过以下表达式，根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标：
Figure BDA0002275836020000033
其中，x'为当前帧图像的视觉特征像素坐标，K为相机内参，
Figure BDA0002275836020000034
为前一帧图像与当前帧图像之间目标的相对旋转量，t为前一帧图像与当前帧图像之间目标的相对平移量，x为前一帧图像的视觉特征像素坐标。
根据本发明的实施例，优选地，基于KLT算法通过当前帧图像的视觉特征像素坐标进一步确定目标的精确位置。
第二方面，本发明提供了一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
应用本发明的目标跟踪方法，根据前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪，能够快速、准确地得到当前帧图像对应的目标的精确位置，提高在目标的视觉特征不具有平移不变性且目标进行高速平移时的鲁棒性。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1示出了本发明实施例一目标跟踪方法的流程图；
图2示出了本发明实施例二对实施例一中步骤S2进行改进的目标跟踪方法的流程图；
图3示出了本发明实施例二对实施例二中步骤S2进行改进的目标跟踪方法的流程图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
实施例一
为解决现有技术中存在的上述技术问题，本发明实施例提供了目标跟踪方法。
参照图1，本实施例的目标跟踪方法，包括以下步骤：
S1，获取目标在运动状态下的前一帧图像和当前帧图像；
在这里，通过对运动状态下的目标进行视频拍摄获取目标在运动状态下的前一帧图像和当前帧图像。
S2，确定前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量；
在这里，可以通过在目标的前一帧图像与当前帧图像之间的时间间隙内采集的IMU数据计算前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量。
S3，根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；
在这里，前一帧图像的视觉特征像素坐标是指根据前一帧图像建立图像坐标系，该图像坐标系以图像左上角为原点建立以视觉特征像素为单位的直角坐标系，其中，视觉特征像素的横坐标与纵坐标分别是在其图像数组中所在的列数与所在行数。
在一示例中，视觉特征是指图像中提取出的具体特征方向/梯度的像素块，可以用基于各种曲率特征的特征名和/或描述子来描述，例如可以是FAST、Harris、ORB、SIFT等特征。
可以通过以下公式
Figure BDA0002275836020000051
确定当前帧图像的视觉特征像素坐标，其中，x'为当前帧图像的视觉特征像素坐标，K为相机内参，
Figure BDA0002275836020000052
为前一帧图像与当前帧图像之间目标的相对旋转量，t为前一帧图像与当前帧图像之间目标的相对平移量，x为前一帧图像的视觉特征像素坐标。
S4，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。
在这里，将x′作为光流跟踪算法初值，可以通过光流跟踪算法快速确定当前帧图像所对应的目标的精确位置，实现对目标的跟踪。其中光流跟踪算法可以为KLT算法或LK算法等，在此不作限定。
本实施例采用了基于IMU旋转和平移预测的光流跟踪算法，与现有技术中多为纯图像的光流跟踪，或是仅加入基于IMU的旋转预测的光流跟踪相比，特别是在机器人快速直线行驶的应用场景下，现有技术的预测限制了机器人的动态性，而本实施例在考虑旋转的同时还加入了平移的预测，提高了特征跟踪的鲁棒性和快速性。
本实施例根据光流跟踪算法实现了光流特征跟踪，即提取时间上连续的前后两帧图片间相同的特征，找出同一特征在前后两帧中的位置，进而给出各个光流场，速度快，效率高。
应用本发明的目标跟踪方法，根据前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪，能够快速、准确地得到当前帧图像对应的目标的精确位置，提高在目标的视觉特征不具备平移不变性且目标进行高速平移时的鲁棒性。
实施例二
为解决现有技术中存在的上述技术问题，本发明实施例基于实施例一提供了目标跟踪方法，其中，本发明实施例的目标跟踪方法对实施例一中步骤S2进一步改进。
参照图2，本实施例的目标跟踪方法，包括以下步骤：
S1，获取目标在运动状态下的前一帧图像和当前帧图像；
S21，获取前一帧图像与当前帧图像之间的多帧IMU数据；
S22，分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；
S23，根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量；
S24，确定前一帧图像与当前帧图像之间目标的相对平移量；
S3，根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；
S4，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。
在步骤S22中，可以根据罗德里格斯(Rodrigues)公式求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵：
Ci＝I+sin(Δθi)(u×)+(1-cos(Δθi))(u×)2
其中，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，i为正整数，I为单位矩阵，Δθi为第i帧与第i+1帧IMU数据之间的角增量，u×为角增量的单位向量的反对称矩阵。其中，第i帧与第i+1帧IMU数据之间的角增量为Δθi＝[Δθix Δθiy Δθiz]T,i＝1…10，该角增量通过以下表达式
Figure BDA0002275836020000071
获取，其中，
Figure BDA0002275836020000072
为IMU输出的陀螺仪角速率，Δt为IMU数据采样周期。
在步骤S23中，通过以下表达式，根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量：
Figure BDA0002275836020000073
其中，
Figure BDA0002275836020000074
为前一帧图像与当前帧图像之间目标的相对旋转量，Cn为第n帧与第n+1帧IMU数据之间的姿态矩阵，n+1为前一帧图像与当前帧图像之间的IMU数据的帧数量。
具体地，以两帧图像间对应10帧IMU数据为例解释前一帧图像与当前帧图像之间目标的相对旋转量的计算过程：
一般情况下，图像的采样帧率比IMU的采样帧率的低，两帧图像间对应整数N(在这里，N＝10)帧IMU数据。
先根据罗德里格斯(Rodrigues)公式：Ci＝I+sin(Δθi)(u×)+(1-cos(Δθi))(u×)2,i＝1,2…9，求得相邻的第i帧与第i+1帧IMU数据之间的姿态矩阵Ci，I为3x3单位矩阵，
Figure BDA0002275836020000075
为角增量的单位向量，u×为单位向量u的反对称矩阵，姿态矩阵Ci与相应角增量Δθi一一对应。
再逐个积分(左乘)相邻两帧IMU数据之间的姿态矩阵Ci，求取两个图像帧之间的姿态矩阵
Figure BDA0002275836020000076
Figure BDA0002275836020000077
此时，两个图像帧之间的姿态矩阵
Figure BDA0002275836020000078
为前一帧图像与当前帧图像之间目标的相对旋转量。
本实施例通过前一帧图像与当前帧图像之间的多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵，确定前一帧图像与当前帧图像之间目标的相对旋转量，相对旋转量的计算速度快而且简化计算过程。本实施例确定当前帧图像的视觉特征像素坐标时在考虑旋转的同时还加入了平移的预测，提高了特征跟踪的鲁棒性和快速性。
参照图3，本实施例的目标跟踪方法，包括以下步骤：
S1，获取目标在运动状态下的前一帧图像和当前帧图像；
S21’，确定前一帧图像与当前帧图像之间目标的相对旋转量；
S22’，获取前一帧图像与当前帧图像之间的多帧IMU数据；
S23’，分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；
S24’，根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定每相邻两帧IMU数据之间的位置增量；
S25’，根据每相邻两帧IMU数据之间的位置增量确定前一帧图像与当前帧图像之间目标的相对平移量；
S3，根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；
S4，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。
在步骤S24’中，
在一示例中，可以通过IMU中加速度计得到第i帧与第i+1帧IMU数据之间的IMU加速度ai，将第i帧与第i+1帧IMU数据之间的IMU加速度ai进行积分能够得到第i帧IMU数据处的速度测量值vi。
根据公式vi+1＝vi+CiaiΔt+gnΔt计算得到第i+1帧IMU数据处的速度测量值vi+1，其中，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，gn为重力加速度，Δt为IMU数据采样周期。
通过公式
Figure BDA0002275836020000081
计算得到第i帧与第i+1帧相邻两帧IMU数据之间的位置增量Δpi，以此类推，根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定能够得到每相邻两帧IMU数据之间的位置增量。
在一示例中，前一帧图像与当前帧图像之间目标的相对平移量t为N个相邻两帧IMU数据之间的位置增量Δpi的加和，即
Figure BDA0002275836020000091
其中，N为正整数。以两帧图像间对应10帧IMU数据为例进行说明，第i帧与第i+1帧图像之间的目标的相对平移量
Figure BDA0002275836020000092
在步骤S3中，在一示例中，根据前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标的关系：
Figure BDA0002275836020000093
可以确定当前帧图像的视觉特征像素坐标。其中，x'为当前帧图像的视觉特征像素坐标，K为相机内参，
Figure BDA0002275836020000094
为前一帧图像与当前帧图像之间目标的相对旋转量，t为前一帧图像与当前帧图像之间目标的相对平移量，x为前一帧图像的视觉特征像素坐标。
更详细地，以下举例说明当前帧图像的视觉特征像素坐标的计算过程：
使用前一帧图像的视觉特征像素坐标、前一帧图像与当前帧图像之间目标的相对旋转量(前一帧图像与当前帧图像之间的姿态矩阵)
Figure BDA0002275836020000095
相机内参预测当前帧图像的视觉特征像素坐标：
按照针孔模型可以得到前一帧图像的视觉特征像素坐标与世界系坐标X关系为
x＝K[I 0]X
以上表达式为在摄像机坐标系与世界坐标系重合时的结果，即以前一帧图像为参考。
Figure BDA0002275836020000096
以上表达式考虑了两帧图像之间的运动，摄像机坐标系不重合；
Figure BDA0002275836020000097
为前一帧图像原点在当前帧图像中的坐标，
Figure BDA0002275836020000098
表示两帧图像之间的姿态矩阵。
其中，K为相机内参，可预先标定获取，
Figure BDA0002275836020000099
由前一步IMU的陀螺仪数据计算得到。其中，K和
Figure BDA00022758360200000910
都是3x3矩阵，x和x′取齐次向量形式，世界坐标系点X也采用齐次化表示，即：x＝[x1 x2 1]T，X＝[X1 Y1 Z1 1]，在求取x′后做一次齐次化即可，即形如x′＝[x′1 x′2 1]T。
Figure BDA0002275836020000101
Figure BDA0002275836020000102
其中，x′1和x′2为归一化后的位置。
根据x＝K[I 0]X和
Figure BDA0002275836020000103
可以得到旋转和平移的运动补偿公式：
Figure BDA0002275836020000104
其中，
Figure BDA0002275836020000105
为平移量。
平移量t可以通过以下方法得到：
以两帧图像间对应10帧IMU数据为例进行说明，平移量t通过加速度计积分得到，位置取梯形积分，积分公式为：
Figure BDA0002275836020000106
其中，
Figure BDA0002275836020000107
vi+1＝vi+CiaiΔt+gnΔt，Δpi为第i个IMU周期的位置增量，Δt为IMU数据采样周期，vi为第i帧IMU数据处的速度测量值，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，ai为第i帧与第i+1帧IMU数据之间的加速度测量值，即每个IMU周期的加速度测量值，实际是平均加速度，Δt为IMU数据采样周期，gn为重力加速度，i＝1…9。
在这里，通过求取
Figure BDA0002275836020000108
这个3x4矩阵即可根据前一帧图像的视觉特征像素坐标为x获取当前帧图像的视觉特征像素坐标为x′。
在步骤S4中，通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，在这里，该位置为精确位置，具体实现过程如下：
假定对于前一帧图像的像素I(x，y，t)在到当前帧图像过程中的移动量为(dx,dy)，用时dt。在光强不变的假设条件下，两个时刻的光强一样，即：
I(x,y,t)＝I(x+dx,y+dy,t+dt)
即I(x)＝I(x′)
对I(x,y,t)＝I(x+dx,y+dy,t+dt)做泰勒级数分解，取一阶近似可得：
fxdx+fydy+ft＝0
其中，
Figure BDA0002275836020000111
Figure BDA0002275836020000112
Figure BDA0002275836020000113
Figure BDA0002275836020000114
fxdx+fydy+ft＝0称为光流方程，fx和fy是图像梯度，反映了以图像xy平面为自变量的曲面曲率情况，ft是时变梯度，(u，v)或(dx，dy)可以使用KLT(Kanade-Lucas-Tomasi，光流跟踪)算法求解得到。
基于运动连续假设，相邻像素的运动类似。KLT算法使用特征点即前一帧图像的视觉特征像素坐标点周围的3x3像素块，具体地，fx为前一帧图像中这3x3像素块中每一个特征像素点的像素坐标(x，y)的x方向的梯度，fy为前一帧图像中这3x3像素块中每一个特征像素点的像素坐标(x，y)的y方向的梯度，ft为这3x3像素块中每一个特征像素点对应的当前帧图像与前一帧图像的灰度值的差值。3x3像素块有相同的运动，将根据这3x3像素块中每一个特征像素点的像素坐标获取的(fx，fy，ft)代入公式fxdx+fydy+ft＝0，计算得到变量dx、dy的值。具体过程如下：
Figure BDA0002275836020000121
Figure BDA0002275836020000122
重新列写为矩阵方程：
Figure BDA0002275836020000123
其中，令：
Figure BDA0002275836020000124
为量测矩阵；
Figure BDA0002275836020000125
为量测量；
Figure BDA0002275836020000126
为待估计状态量；
使用最小二乘解可得：Y＝(HTH)-1HTZ，计算得到dx、dy的值。
在一示例中，还可以采用递推最小二乘解法对3x3像素块进行推理求解得到dx、dy的值。上述仅仅是求解dx、dy的值的示例，还可以采用其他的迭代算法进行计算，在此不做一一限定。。
在一示例中，在基于3x3像素块利用最小二乘法求解dx、dy过程中，为了简化最小二乘法求解的计算过程，可以将3x3像素块周围的8个特征像素点的像素坐标(fx，fy，ft)代入公式fxdx+fydy+ft＝0进行求解，例如可以为3x3像素块中的8个外围特征像素点，这8个外围特征像素点为不包括3x3像素块的中心位置的特征像素点的特征像素点。
将3x3像素块中的8个外围特征像素点(fx，fy，ft)代入公式fxdx+fydy+ft＝0进行求解，得到4对方程：
Figure BDA0002275836020000131
上式可以重新列写如下：
Figure BDA0002275836020000132
其中，令：
Figure BDA0002275836020000133
为量测矩阵；
Figure BDA0002275836020000134
为量测量；
Figure BDA0002275836020000135
为待估计状态量；
对
Figure BDA0002275836020000136
迭代4次可得最小二乘解。
在一示例中，还可以采用递推最小二乘解法对8个像素点进行推理求解得到dx、dy的值。上述仅仅是求解dx、dy的值的示例，还可以采用其他的迭代算法进行计算，在此不做一一限定。最后，前一帧图像的视觉特征像素坐标的x与求取的dx的加和为当前帧图像所对应的目标的位置的x坐标，前一帧图像的视觉特征像素坐标的y与求取的dy的加和为当前帧图像所对应的目标的位置的y坐标。
本发明使用前一帧图像的视觉特征像素坐标x与当前帧图像的视觉特征像素坐标为x′的差分得到的增量(Δ＝x′-x)为递推最小二乘法的初值，能够快速、准确地得到递推结果，避免跟丢数据。
本实施例采用了基于IMU旋转和平移预测的光流跟踪算法，实现了光流特征跟踪，即提取时间上连续的前后两帧图片间相同的特征，找出同一特征在前后两帧中的位置，进而给出各个光流场，提高了特征跟踪的鲁棒性和快速性。
实施例三
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质。
本实施例的存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中目标跟踪方法的步骤。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种目标跟踪方法，其特征在于，包括以下步骤：
获取目标在运动状态下的前一帧图像和当前帧图像；
确定前一帧图像与当前帧图像之间目标的相对旋转量和相对平移量，其中，确定前一帧图像与当前帧图像之间目标的相对旋转量，具体包括以下步骤：获取前一帧图像与当前帧图像之间的多帧IMU数据；分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量；
根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标；
通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置，以实现对目标的跟踪。
2.根据权利要求1所述的方法，其特征在于，通过以下表达式，求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵：
Ci＝I+sin(Δθi)(u×)+(1-cos(Δθi))(u×)2
其中，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，I为单位矩阵，Δθi为第i帧与第i+1帧IMU数据之间的角增量，u×为角增量的单位向量的反对称矩阵。
3.根据权利要求2所述的方法，其特征在于，通过以下表达式，根据每相邻两帧IMU数据之间的姿态矩阵确定前一帧图像与当前帧图像之间目标的相对旋转量：
Figure FDA0003674856010000011
其中，
Figure FDA0003674856010000012
为前一帧图像与当前帧图像之间目标的相对旋转量，Cn为第n帧与第n+1帧IMU数据之间的姿态矩阵，n+1为前一帧图像与当前帧图像之间的IMU数据的帧数量。
4.根据权利要求1所述的方法，其特征在于，确定前一帧图像与当前帧图像之间目标的相对平移量，具体包括以下步骤：
获取前一帧图像与当前帧图像之间的多帧IMU数据；
分别求取所述多帧IMU数据中的每相邻两帧IMU数据之间的姿态矩阵；
根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定每相邻两帧IMU数据之间的位置增量；
根据每相邻两帧IMU数据之间的位置增量确定前一帧图像与当前帧图像之间目标的相对平移量。
5.根据权利要求4所述的方法，其特征在于，通过以下表达式，根据每相邻两帧IMU数据之间的姿态矩阵、IMU加速度以及IMU数据采样周期确定每相邻两帧IMU数据之间的位置增量：
Figure FDA0003674856010000021
其中，Δpi为第i帧与第i+1帧IMU数据之间的位置增量，vi为第i帧IMU数据处的速度测量值，vi+1＝vi+CiaiΔt+gnΔt，Ci为第i帧与第i+1帧IMU数据之间的姿态矩阵，ai为第i帧与第i+1帧IMU数据之间的IMU加速度，gn为重力加速度，Δt为IMU数据采样周期。
6.根据权利要求5所述的方法，其特征在于，通过以下表达式，根据每相邻两帧IMU数据之间的位置增量确定前一帧图像与当前帧图像之间目标的相对平移量：
Figure FDA0003674856010000022
其中，t为前一帧图像与当前帧图像之间目标的相对平移量，Δpi为第i帧与第i+1帧IMU数据之间的位置增量。
7.根据权利要求1所述的方法，其特征在于，通过以下表达式，根据相对旋转量、相对平移量以及前一帧图像的视觉特征像素坐标确定当前帧图像的视觉特征像素坐标：
Figure FDA0003674856010000023
其中，x'为当前帧图像的视觉特征像素坐标，K为相机内参，
Figure FDA0003674856010000024
为前一帧图像与当前帧图像之间目标的相对旋转量，t为前一帧图像与当前帧图像之间目标的相对平移量，x为前一帧图像的视觉特征像素坐标。
8.根据权利要求1所述的方法，其特征在于，基于KLT算法通过当前帧图像的视觉特征像素坐标进一步确定当前帧图像所对应的目标的位置。
9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
CN201911122595.7A 2019-11-15 2019-11-15 一种目标跟踪方法及存储介质 Active CN110910423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911122595.7A CN110910423B (zh) 2019-11-15 2019-11-15 一种目标跟踪方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911122595.7A CN110910423B (zh) 2019-11-15 2019-11-15 一种目标跟踪方法及存储介质

Publications (2)

Publication Number Publication Date
CN110910423A CN110910423A (zh) 2020-03-24
CN110910423B true CN110910423B (zh) 2022-08-23

Family

ID=69816791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911122595.7A Active CN110910423B (zh) 2019-11-15 2019-11-15 一种目标跟踪方法及存储介质

Country Status (1)

Country Link
CN (1) CN110910423B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118369687A (zh) * 2021-12-14 2024-07-19 华为技术有限公司 一种目标跟踪方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN107274439A (zh) * 2017-07-04 2017-10-20 西北工业大学 基于地基鱼眼相机阵列的无人机光学跟踪定位方法
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN110084832A (zh) * 2019-04-25 2019-08-02 亮风台（上海）信息科技有限公司 相机位姿的纠正方法、装置、系统、设备和存储介质
CN110427055A (zh) * 2019-08-05 2019-11-08 厦门大学 一种舞台追光灯自动控制系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN107274439A (zh) * 2017-07-04 2017-10-20 西北工业大学 基于地基鱼眼相机阵列的无人机光学跟踪定位方法
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN110084832A (zh) * 2019-04-25 2019-08-02 亮风台（上海）信息科技有限公司 相机位姿的纠正方法、装置、系统、设备和存储介质
CN110427055A (zh) * 2019-08-05 2019-11-08 厦门大学 一种舞台追光灯自动控制系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Relative Translation and Rotation Calibration Between Optical Target and Inertial Measurement Unit;Manthan Pancholi等;《S-CUBE 2016: Sensor Systems and Software》;20170720;第175-186页 *
单目视觉移动机器人行走控制技术研究与实现;陶学宇;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20181015(第10期);第I140-202页 *
面向增强现实的实时三维跟踪;董子龙;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20110815(第08期);第I138-74页 *

Also Published As

Publication number Publication date
CN110910423A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN109676604B (zh) 机器人曲面运动定位方法及其运动定位系统
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107862719B (zh) 相机外参的标定方法、装置、计算机设备和存储介质
CN109102525B (zh) 一种基于自适应位姿估计的移动机器人跟随控制方法
CN109523589B (zh) 一种更鲁棒的视觉里程计的设计方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN111754579B (zh) 多目相机外参确定方法及装置
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN109087394A (zh) 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN110455301A (zh) 一种基于惯性测量单元的动态场景slam方法
CN114217665B (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN105324792A (zh) 用于估计移动元件相对于参考方向的角偏差的方法
Fang et al. Self-supervised camera self-calibration from video
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
CN110910423B (zh) 一种目标跟踪方法及存储介质
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN113436267A (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN114812601A (zh) 视觉惯性里程计的状态估计方法、装置、电子设备
CN112819898A (zh) 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 7-605, 6th floor, building 1, yard a, Guanghua Road, Chaoyang District, Beijing 100026

Patentee after: Beijing dog vacuum cleaner Group Co.,Ltd.

Address before: 7-605, 6th floor, building 1, yard a, Guanghua Road, Chaoyang District, Beijing 100026

Patentee before: PUPPY ELECTRONIC APPLIANCES INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.