CN112037258B - 目标跟踪方法、装置、设备和存储介质 - Google Patents

目标跟踪方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112037258B
CN112037258B CN202010865594.8A CN202010865594A CN112037258B CN 112037258 B CN112037258 B CN 112037258B CN 202010865594 A CN202010865594 A CN 202010865594A CN 112037258 B CN112037258 B CN 112037258B
Authority
CN
China
Prior art keywords
frame
tracking
target
graph
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010865594.8A
Other languages
English (en)
Other versions
CN112037258A (zh
Inventor
罗汉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010865594.8A priority Critical patent/CN112037258B/zh
Publication of CN112037258A publication Critical patent/CN112037258A/zh
Application granted granted Critical
Publication of CN112037258B publication Critical patent/CN112037258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明实施例公开了一种目标跟踪方法、装置、终端设备和存储介质。该方法包括：确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；根据第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定第二前序帧中目标跟踪图的运动参数；基于运动参数对第二前序帧中的目标跟踪图进行运动预测，得到目标模版图在当前跟踪帧中的运动预测结果；根据运动预测结果对当前跟踪帧进行高效二阶最小化跟踪，以得到当前跟踪帧中与目标模版图对应的目标跟踪图；目标跟踪图通过单应性矩阵进行表征。本方案降低了搜索失败的概率，缩短了单帧图像的搜索时长。

Description

目标跟踪方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及目标跟踪方法、装置、终端设备和存储介质。
背景技术
在计算机视觉系统中，物体跟踪是其中一项重要功能。例如用户给定一个目标模版图，需要计算视觉系统不断地在视频中定位出跟踪目标模版图得到的目标跟踪图(在本方案中，将给定的目标模版图和对应目标模版图的跟踪结果在命名上区别表达)。
发明人在实施现有的跟踪方案时发现，现有的目标模版图匹配跟踪通常通过高效二阶最小化(Efficient Second Order Minimization，ESM)方法实现，但是通过高效二阶最小化方法进行匹配跟踪需要给定一个初始搜索位置，该初始搜索位置越接近目标模版图在当前跟踪帧的真实位置，则搜索成功的可能性越高，搜索的速度也更快；反之，可能因为搜索过程无法收敛导致无法找到当前跟踪帧中的目标跟踪图，也即搜索成功的可能降低，即使搜索成功，速度也相对较慢。在现有的方案中，初始搜索位置一般是前一帧中跟踪得到的目标跟踪图所在的位置，从该位置开始的跟踪搜索失败的概率较高或单帧搜索时间较长。
发明内容
本发明提供了一种目标跟踪方法、装置、终端设备和存储介质，以解决现有技术在进行图像匹配跟踪时搜索失败的概率较高或单帧搜索时间较长的技术问题。
第一方面，本发明实施例提供了一种目标跟踪方法，包括：
确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；
根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；
基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；
根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；
所述目标跟踪图通过单应性矩阵进行表征。
第二方面，本发明实施例还提供了一种目标跟踪装置，包括：
结果确定单元，用于确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；
参数确定单元，用于根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；
运动预测单元，用于基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；
目标跟踪单元，用于根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；
所述目标跟踪图通过单应性矩阵进行表征。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的目标跟踪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的目标跟踪方法。
上述目标跟踪方法、装置、终端设备和存储介质，确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；所述目标跟踪图通过单应性矩阵进行表征。通过对两帧前序帧中的目标跟踪图的变化计算运动参数，并根据运动参数和图像生成时间预测当前跟踪帧中的目标跟踪图的大概范围，实现了在一个更逼近真实位置的初始搜索位置开始当前跟踪帧中的目标跟踪，降低了搜索失败的概率，缩短了单帧图像的搜索时长。
附图说明
图1为本发明实施例一提供的一种目标跟踪方法的流程图；
图2为目标模版图与目标跟踪图的映射示意图；
图3为连续三帧中的目标跟踪图的变化示意图；
图4为本发明实施例二提供的一种目标跟踪方法的流程图；
图5为对运动预测结构进行修正得到初始搜索范围的示意图；
图6为在当前跟踪帧中搜索得到目标跟踪图的过程示意图；
图7为摄像头坐标系与世界坐标系的关系示意图；
图8为本发明实施例三提供的一种目标跟踪装置的结构示意图；
图9为本发明实施例四提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。
例如，在实施例一的一个实施方式中，记载了一个技术特征：通过基准位置的位置差异确定相邻两帧中的目标跟踪图的运动距离，在实施例二的一个实施方式中，记载了另一个技术特征：基于目标跟踪图计算摄像头的内参矩阵。由于以上两个技术特征不互相矛盾，本领域技术人员在阅读本申请说明书后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式。
另外需要注意的是，本方案的实施形态也不是实施例一中记载的所有技术特征的集合，其中某些技术特征的描述是为了方案的优化实现，实施例一中记载的若干技术特征的组合如果可以实现本方案的设计初衷，其即可作为一种未独立的实施方式，当然也可以作为一种具体的产品形态。
下面对各实施例进行详细说明。
实施例一
图1为本发明实施例一提供的一种目标跟踪方法的流程图。实施例中提供的目标跟踪方法可以由用于跟踪目标模版图的各种操作设备执行，该操作设备可以通过软件和/或硬件的方式实现，该操作设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。
具体的，参考图1，该目标跟踪方法具体包括：
步骤S101：确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图。
摄像头采集图像过程中生成的视频数据以帧结构的方式进行组织，具体按生成的时序进行组织。实现本方案中的目标跟踪一般需要视频数据中的连续三帧，在本方案中，按生成的时序将该连续三帧依次定义为第一前序帧、第二前序帧和当前跟踪帧，其中第一前序帧和第二前序帧是已经完成目标跟踪并且均跟踪到目标跟踪图的两帧，当前跟踪帧是待跟踪的一帧。
在基于计算机视觉的物体跟踪过程中，会先给定一张矩形的电子图片作为目标模版图，在采集视频数据时，摄像头所处的环境中存在有目标模版图的展示(可以通过电子设备展示或平面打印展示)，展示的目标模版图在处于摄像头的采集范围内时能被采集到视频数据中，物体跟踪的目标是识别到视频数据中可能拍摄到的目标模版图。当然，在实际拍摄到的视频数据中，因为拍摄角度和拍摄范围的原因，目标模版图并不一定以矩形形态和/或完整形态对应存在，为区别于预先确定的目标模版图，视频数据中对应拍摄目标模版图得到的图像区域定义为目标跟踪图。请参考图2，其中I为目标模版图的示意，I`为目标跟踪图在视频数据的某帧中的示意，目标模版图被摄像头采集到视频数据中之后，目标模版图中的每个像素都能对应存在于视频数据中，但是因为拍摄角度的原因，目标模版图中的像素并不能在视频数据中以重叠的方式一一对应，只能以单应性矩阵映射的方式进行变换映射。
对于图2中目标模版图中的像素x及其在某帧中对应的像素x`,可以通过单应性矩阵H描述变换映射关系，即对于目标模版图中的任意像素c＝[x，y，1]T，及其对应在某帧中的像素c′＝[x′，y′，1]T，有：
sc′＝Hc
其中s为尺度参数，可以为任意值，单应性矩阵H可以作为目标跟踪图的数学表达。单应性矩阵H＝[h1，h2，h3]为3×3矩阵，hi为矩阵的第i列。
在具体的物体跟踪过程中，如果当前跟踪帧是开始跟踪的第一帧或第二帧，此时其没有足够的前序帧提供基础信息进行更精确的物体跟踪，只能基于现有的物体跟踪方案在当前跟踪帧的整帧范围内进行大范围的搜索。当然，也可能存在当前跟踪帧不是开始跟踪后的第一帧或第二帧，即当前跟踪帧存在足够的前序帧，但是当前跟踪帧之前的两帧前序帧中可能存在没有跟踪到目标跟踪图的情况，在当前跟踪帧中进行的跟踪过程不能得到足够的信息预先缩小跟踪范围，此时也需要在整帧范围进行大范围的搜索。
整体而言，当所述当前跟踪帧没有前序帧或者所述当前跟踪帧的前一帧没有跟踪到目标跟踪图，则在所述当前跟踪帧的全部数据范围内进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图。
步骤S102：根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数。
对于存在目标跟踪图的第一前序帧和第二前序帧，因为第一前序帧和第二前序帧的像素尺寸相同，且第一前序帧中的目标跟踪图和第二前序帧中的目标跟踪图位置已知，再结合相邻两帧图像的生成时间间隔，可以大体计算目标模版图从第一前序帧中目标跟踪图所处位置到第二前序帧中目标跟踪图所处位置的运动过程，该运动过程的运动参数可以通过运动速度和运动方向进行表征。
在具体实现过程中，步骤S102可以通过步骤S1021-S1023实现。
步骤S1021：确定所述第一前序帧的生成时刻和对应的目标跟踪图的基准点，得到第一时刻和第一基准位置。
步骤S1022：确定所述第二前序帧的生成时刻和对应的目标跟踪图的基准点，得到第二时刻和第二基准位置。
步骤S1023：根据所述第一时刻和第二时刻的时差，以及第一基准位置和第二基准位置的方位差，确定所述目标跟踪图在第二时刻的速度参数。
在具体计算过程中，目标跟踪图的基准点可以是中心点，也可以是某个顶点，不管采用那个点作为基准点，第一前序帧中的目标跟踪图和第二前序帧中的目标跟踪图的基准点相同才能保证运动参数的计算准确。请参考图3，设定目标模版图I的宽为w，高为h，点为目标模版图的中心点位置，对于第一前序帧中的目标跟踪图的中心点c′p-2，第二前序帧中的目标跟踪图的中心点c′p-1，结合第一前序帧的拍摄时刻tp-2和第二前序帧的拍摄时刻tp-1，可以得到通过以下公式：
vp-1＝(c′p-1-c′p-2)/(tp-1-tp-2)
估算得到拍摄第二前序帧时目标跟踪图的速度参数，其中c′p-1-c′p-2表示两个中心点的距离，tp-1-tp-2表示两帧图像的拍摄时差。
步骤S103：基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到目标模版图在所述当前跟踪帧中的运动预测结果。
对于数据采集而言，连续三帧之间的时间间隔较短，一般而言，在这个时间间隔内，目标模版图如果相对于摄像头处于运动状态，其运动参数在连续三帧这个时间间隔内的变化较小，此时，可以将目标跟踪图的运动参数在连续三帧内的运动视为匀速运动。即目标跟踪图从第一前序帧中所在位置到第二前序帧中所在位置的运动速度，与从第二前序帧中所在位置到当前跟踪帧中所在位置的运动速度相同。基于此，再结合第二前序帧和当前跟踪帧的时间间隔，即可得到当前跟踪帧中目标跟踪图的大概位置。需要说明的是，表述为大概位置是因为匀速运动只是理想状态，实际速度和方向的变化都会导致真实位置与计算位置的偏移，所以，本方案中只限定从该计算位置开始进行目标模版图的搜索跟踪，而不是限定只在该计算位置进行目标模版图的搜索跟踪。
具体实现时，步骤S103可以通过步骤S1031-S1032实现。
步骤S1031：根据所述运动参数、第二时刻和当前跟踪帧确定所述第二前序帧中的目标跟踪图的运动偏移量。
步骤S1032：对所述第二前序帧中的目标跟踪图根据所述运动偏移量进行位移，得到所述目标模版图在所述当前跟踪帧中的运动预测结果。
进一步结合图3，目标模版图在当前跟踪帧中的位置相对于第二前序帧的位置变化通过运动偏移量dmotion进行表达，dmotion即图3中当前跟踪帧中预测的目标跟踪图的中心点c′p相对于第二前序帧中的目标跟踪图的中心点c′p-1的运动偏移量dp，dmotion具体通过以下公式计算：
dmotion＝[dx，dy，0]T＝vp-1*(tp-tp-1)
其中，tp表示当前跟踪帧的拍摄时刻。
在第二前序帧中的目标跟踪图的数学表达Hp-1的基础上，对其进行dmotion位移，得到运动预测结果Hmotion。
步骤S104：根据运动预测结果对当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图。
高效二阶最小化跟踪从运动预测结果对应的区域范围开始，也即在目标模版图的基础上，根据Hmotion进行变换后对应的像素区域范围开始。如果在运动预测结果对应的区域范围内跟踪到目标跟踪图，对于当前跟踪帧而言，有效提高了跟踪效率；如果在运动预测结果对应的区域范围内没有跟踪到目标跟踪图，则对该区域范围之外的像素继续跟踪，直到跟踪到目标跟踪图或者确认当前跟踪帧中跟踪不到目标跟踪图。由此可见，相比于现有技术对每帧均进行全范围跟踪，本方案中先从可能目标跟踪图最可能存在的区域开始跟踪，能尽可能减少对无效区域的图像数据处理，提高跟踪效率和跟踪成功率。
上述，目标跟踪方法、装置、终端设备和存储介质，确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；所述目标跟踪图通过单应性矩阵进行表征。通过对两帧前序帧中的目标跟踪图的变化计算运动参数，并根据运动参数和图像生成时间预测当前跟踪帧中的目标跟踪图的大概范围，实现了在一个更逼近真实位置的初始搜索位置开始当前跟踪帧中的目标跟踪，降低了搜索失败的概率，缩短了单帧图像的搜索时长。
实施例二
请参考图5，其为本发明实施例二提供的一种目标跟踪方法的方法流程图，如图所示，该目标跟踪方法具体包括：
步骤S201：确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图。
步骤S202：根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数。
步骤S203：基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到目标模版图在所述当前跟踪帧中的运动预测结果。
步骤S204：基于所述运动预测结果确定所述目标模版图中的每个特征点在所述当前跟踪帧中的预测位置。
目标模版图中特征点可以使用ORB(Oriented FAST and Rotated BRIEF,有方向的FAST特征提取算法和基于旋转的BRIEF描述算法)、SURF(Speed-up robust features，加速健壮特征)、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)等方法实现，特征点在目标模版图中的二维坐标集合M＝{xi|0≤i＜m}，其中m为特征点的数目，例如取30、50、60个点，具体不做限定。
基于运动预测结果Hmotion，对二维坐标集合中记录的特征点位置进行映射，获得所有特征点在当前跟踪帧的预测位置对应的坐标并对应保存到预测的预测坐标集合
步骤S205：通过光流法在所述当前跟踪帧搜索每个所述特征点对应的匹配点，所述匹配点从对应的预测位置开始搜索。
通过光流法在当前跟踪帧搜索每个特征点对应的匹配点，在具体搜索过程中，匹配点从对应的预测位置，即从坐标集合中对应记录的坐标开始搜索，直至在当前跟踪帧找到对应的匹配点。光流法在现有技术中已有成熟实现，在此不做重复说明。
步骤S206：根据所有所述特征点对应的所述匹配点和所述预测位置的偏移量确定偏移量均值。
步骤205中匹配得到的是特征点在当前跟踪帧中的实际位置，基于运动预测结果得到的特征点的预测位置仅仅是基于前序帧的预测，这也导致特征点的匹配到的位置与预测的位置存在偏差，也就说，如果直接从运动预测结果开始搜索目标跟踪图，在目标模版图的像素数量较多的情况下，这种偏差会影响到每个像素的搜索，最终导致整个搜索过程中的无效计算。因此，在本方案中，进一基于匹配点与对应的预测位置的偏差进行修正，以减少无效计算。
具体来说，对于所有匹配成功的特征点，对其偏移量求偏移量均值dklt，
其中n表示匹配成功的特征点的数量。
步骤S207：基于所述偏移量均值对所述运动预测结果进行修正，得到初始搜索范围。
在运动预测结果Hmotion的基础上，进行dklt位移，得到更为精确的初始搜搜范围Hinit；
以上修正过程可以参考图5，例如在目标模版图中取两个特征点x0和x1，x0和x1对应的预测点位置为和/>基于/>和/>进行搜索得到特征点在当前跟踪帧的真实位置x0′和x1′，基于/>和/>及其对应的x0′和x1′可以得到每个特征点对应的预测的偏移量，并进一步基于所有特征点的偏移量均值对预测位置进行修正，以得到尽可能接近目标跟踪图的真实位置的搜索范围作为初始搜索范围。
步骤S208：在所述初始搜索范围内进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图。
本实施例中的目标跟踪过程可以参考图6，其中I′p-1为第二前序帧，在第二前序帧中跟踪得到目标跟踪图Hp-1，基于Hp-1的运动预测和偏移量修正，得到初始搜索范围Hinit，从初始搜索范围Hinit开始进行跟踪，进而得到在当前跟踪帧中的目标跟踪图Hp。目标跟踪图除了底层的数学表达，还可以在视频中对目标跟踪中的标记显示，例如为其添加四边形轮廓作为标记。
需要说明的是，以上过程是最终能在当前跟踪帧搜索到目标跟踪图的情况，如果在跟踪过程中，最终不能在当前跟踪帧搜索到完整的目标跟踪图，则根据能跟踪到的部分进行跟踪定位，具体搜索到目标跟踪图的情况，根据现有技术进行搜索结果的呈现即可。
步骤S209：基于多次进行高效二阶最小化跟踪得到的单应性矩阵，确定采集所述视频数据的摄像头的内参矩阵。
计算摄像头的内参矩阵需要一张目标模版图和多张搜索到目标跟踪图的图像帧，一般需要20帧以上，例如30帧、40帧等。
请参考图7，其示意了本方案中摄像头坐标系与世界坐标系的关系。目标模版图中的内容在真实世界中的展示实际在一个平面上完成，该平面区域上的位置可以通过世界坐标系下的三维点X＝[X，Y，1]T进行表达，其中一个维度(Z轴)是固定的，也就是可以将X当作是XY二维平面上的一个点。真实世界中展示的目标模版图被摄像头采集到图像中对应的投影坐标为x＝[u，v，1]T，它们之间有关系sx＝K[r1，r2，t]X。其中，K为摄像头的3×3内参矩阵，R，t分别为世界坐标系到摄像头坐标系的3×3旋转矩阵和3×1平移向量，定义R＝[r1，r2，r3]，r1，r2表示3×3旋转矩阵的第一列，第二列。s为尺度参数，可以为任意值。所以，我们也可以认为单应性矩阵H能够将二维平面上的点X映射到图像的二维点x上，单应性矩阵表示了两个平面图像的几何关系。单应性矩阵H在以上坐标系关系的基础上定义：
H＝K[r1，r2，t]＝[Kr1，Kr2，Kt]＝[h1，h2，h3]
其中，H为3×3矩阵，hi为矩阵的第i列。x＝K[r1，r2，t]X由此可以重新表达为：
sx＝HX
根据以上公式进一步可以得到：
r1＝K-1h1
r2＝K-1h2
而r1，r2分别为3×3旋转矩阵R的第1、2列向量。旋转矩阵中，列向量间互相垂直，并且范数为1，即r1 Tr2＝0，r1 Tr1＝r2 Tr2＝1。将该旋转矩阵中的列向量关系代入前一组对应的公式，可以得到：
进一步设定B＝K-TK-1，B包含了摄像头内参信息，并且因为B是一个3×3对称矩阵，有：
设定b＝[B0，B1，B2，B3，B4，B5]T，进一步结合目标模板图和目标跟踪图之间的单应性矩阵H，单应性矩阵H＝[h1，h2，h3]列向量hi＝[hi1，hi2，hi3]T，通过展开旋转矩阵中的列向量关系的变形，可以得到：
其中，vij(H)＝[hi1hj1，hi1hj2+hi2hj1，hi2hj2，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]，展开旋转矩阵中的列向量关系也可以进一步表达为：
对于每个单应性矩阵，可以获得两个有关摄像头内参信息向量b的约束。如果有p个单应性矩阵阵Hi，则可以写成：
V是一个2p×6的矩阵，如果p≥3，b具有唯一解。当b求出后，可根据以下公式式获得摄像头内参矩阵K的值：
uc＝(B1B4-B2B3)/d
vc＝(B1B3-B0B4)/d
其中，
整体而言，在多帧图像的搜索结果的基础上进行摄像头内参矩阵的计算，能在提高跟踪效率的基础上，有效提高摄像头内参矩阵的计算效率，完成摄像头的在线标定。
实施例三
图8为本发明实施例三提供的一种目标跟踪装置的结构示意图。参考图8，该目标跟踪装置包括：结果确定单元301、参数确定单元302、运动预测单元303和目标跟踪单元304。
其中，结果确定单元301，用于确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；参数确定单元302，用于根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；运动预测单元303，用于基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；目标跟踪单元304，用于根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；所述目标跟踪图通过单应性矩阵进行表征。
在上述实施例的基础上，所述目标跟踪单元304，包括：
位置预测模块，用于基于所述运动预测结果确定所述目标模版图中的每个特征点在所述当前跟踪帧中的预测位置；
光流跟踪模块，用于通过光流法在所述当前跟踪帧搜索每个所述特征点对应的匹配点，所述匹配点从对应的预测位置开始搜索；
偏移确定模块，用于根据所有所述特征点对应的所述匹配点和所述预测位置的偏移量确定偏移量均值；
位置修正模块，用于基于所述偏移量均值对所述运动预测结果进行修正，得到初始搜索范围；
区域跟踪模块，用于在所述初始搜索范围内进行高效二阶最小化跟踪。
在上述实施例的基础上，所述装置，还包括：
全图跟踪单元，用于当所述当前跟踪帧没有前序帧或者所述当前跟踪帧的前一帧没有跟踪到目标跟踪图，则在所述当前跟踪帧的全部数据范围内进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图。
在上述实施例的基础上，所述参数确定单元302，包括：
第一确定模块，用于确定所述第一前序帧的生成时刻和对应的目标跟踪图的基准点，得到第一时刻和第一基准位置；
第二确定模块，用于确定所述第二前序帧的生成时刻和对应的目标跟踪图的基准点，得到第二时刻和第二基准位置；
速度确定模块，用于根据所述第一时刻和第二时刻的时差，以及第一基准位置和第二基准位置的方位差，确定所述目标跟踪图在第二时刻的速度参数。
在上述实施例的基础上，所述运动预测单元303，包括：
偏移量计算模块，用于根据所述运动参数、第二时刻和当前跟踪帧确定所述第二前序帧中的目标跟踪图的运动偏移量；
位移跟踪模块，用于对所述第二前序帧中的目标跟踪图根据所述运动偏移量进行位移，得到所述目标模版图在所述当前跟踪帧中的运动预测结果。
在上述实施例的基础上，所述装置，还包括：
内参矩阵确定单元，用于基于多次进行高效二阶最小化跟踪得到的单应性矩阵，确定采集所述视频数据的摄像头的内参矩阵。
本发明实施例提供的目标跟踪装置包含在目标跟踪设备中，且可用于执行上述实施例中提供的任一目标跟踪方法，具备相应的功能和有益效果。
实施例四
图9为本发明实施例四提供的一种终端设备的结构示意图，该终端设备是前文所述目标跟踪设备的一种具体的硬件呈现方案。如图9所示，该终端设备包括处理器410、存储器420、输入装置430、输出装置440以及通信装置450；终端设备中处理器410的数量可以是一个或多个，图9中以一个处理器410为例；终端设备中的处理器410、存储器420、输入装置430、输出装置440以及通信装置450可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的目标跟踪方法对应的程序指令/模块(例如，目标跟踪装置中的结果确定单元301、参数确定单元302、运动预测单元303和目标跟踪单元304)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的目标跟踪方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
上述终端设备包含目标跟踪装置，可以用于执行任意目标跟踪方法，具备相应的功能和有益效果。
实施例五
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的目标跟踪方法中的相关操作，且具备相应的功能和有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。
因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；
根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；
基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；
根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；
所述目标跟踪图通过单应性矩阵进行表征。
2.根据权利要求1所述的方法，其特征在于，所述根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，包括：
基于所述运动预测结果确定所述目标模版图中的每个特征点在所述当前跟踪帧中的预测位置；
通过光流法在所述当前跟踪帧搜索每个所述特征点对应的匹配点，所述匹配点从对应的预测位置开始搜索；
根据所有所述特征点对应的所述匹配点和所述预测位置的偏移量确定偏移量均值；
基于所述偏移量均值对所述运动预测结果进行修正，得到初始搜索范围；
在所述初始搜索范围内进行高效二阶最小化跟踪。
3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
当所述当前跟踪帧没有前序帧或者所述当前跟踪帧的前一帧没有跟踪到目标跟踪图，则在所述当前跟踪帧的全部数据范围内进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数，包括：
确定所述第一前序帧的生成时刻和对应的目标跟踪图的基准点，得到第一时刻和第一基准位置；
确定所述第二前序帧的生成时刻和对应的目标跟踪图的基准点，得到第二时刻和第二基准位置；
根据所述第一时刻和第二时刻的时差，以及第一基准位置和第二基准位置的方位差，确定所述目标跟踪图在第二时刻的速度参数。
5.根据权利要求1所述的方法，其特征在于，所述基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果，包括：
根据所述运动参数、第二时刻和当前跟踪帧确定所述第二前序帧中的目标跟踪图的运动偏移量；
对所述第二前序帧中的目标跟踪图根据所述运动偏移量进行位移，得到所述目标模版图在所述当前跟踪帧中的运动预测结果。
6.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
基于多次进行高效二阶最小化跟踪得到的单应性矩阵，确定采集所述视频数据的摄像头的内参矩阵。
7.一种目标跟踪装置，其特征在于，包括：
结果确定单元，用于确定在当前跟踪帧之前的第一前序帧和第二前序帧中分别跟踪到与预存的目标模版图对应的目标跟踪图，所述第一前序帧、第二前序帧和当前跟踪帧是视频数据中的连续三帧；
参数确定单元，用于根据所述第一前序帧中的目标跟踪图和第二前序帧中目标跟踪图确定所述第二前序帧中目标跟踪图的运动参数；
运动预测单元，用于基于所述运动参数对所述第二前序帧中的目标跟踪图进行运动预测，得到所述目标模版图在所述当前跟踪帧中的运动预测结果；
目标跟踪单元，用于根据所述运动预测结果对所述当前跟踪帧进行高效二阶最小化跟踪，以得到所述当前跟踪帧中与所述目标模版图对应的目标跟踪图；
所述目标跟踪图通过单应性矩阵进行表征。
8.根据权利要求7所述的装置，其特征在于，所述目标跟踪单元，包括：
基于所述运动预测结果确定所述目标模版图中的每个特征点在所述当前跟踪帧中的预测位置；
通过光流法在所述当前跟踪帧搜索每个所述特征点对应的匹配点，所述匹配点从对应的预测位置开始搜索；
根据所有所述特征点对应的所述匹配点和所述预测位置的偏移量确定偏移量均值；
基于所述偏移量均值对所述运动预测结果进行修正，得到初始搜索范围；
在所述初始搜索范围内进行高效二阶最小化跟踪。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的目标跟踪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的目标跟踪方法。
CN202010865594.8A 2020-08-25 2020-08-25 目标跟踪方法、装置、设备和存储介质 Active CN112037258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010865594.8A CN112037258B (zh) 2020-08-25 2020-08-25 目标跟踪方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010865594.8A CN112037258B (zh) 2020-08-25 2020-08-25 目标跟踪方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112037258A CN112037258A (zh) 2020-12-04
CN112037258B true CN112037258B (zh) 2024-03-08

Family

ID=73580076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010865594.8A Active CN112037258B (zh) 2020-08-25 2020-08-25 目标跟踪方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112037258B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570913A (zh) * 2016-11-04 2017-04-19 上海玄彩美科网络科技有限公司 基于特征的单目slam快速初始化方法
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN109360225A (zh) * 2018-10-16 2019-02-19 北京理工大学 一种运动模型的优化系统及方法
CN109544590A (zh) * 2018-11-27 2019-03-29 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN110796686A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 目标跟踪方法及设备、存储装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101129328B1 (ko) * 2010-03-03 2012-03-26 광주과학기술원 타겟 추적 장치 및 방법
US20140369557A1 (en) * 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570913A (zh) * 2016-11-04 2017-04-19 上海玄彩美科网络科技有限公司 基于特征的单目slam快速初始化方法
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN109360225A (zh) * 2018-10-16 2019-02-19 北京理工大学 一种运动模型的优化系统及方法
CN109544590A (zh) * 2018-11-27 2019-03-29 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN110796686A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 目标跟踪方法及设备、存储装置

Also Published As

Publication number Publication date
CN112037258A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN110657803B (zh) 机器人定位方法、装置以及存储装置
CN108717710B (zh) 室内环境下的定位方法、装置及系统
US9495389B2 (en) Client-server based dynamic search
CN107566688B (zh) 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置
CN111311684B (zh) 一种进行slam初始化的方法与设备
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN110147750B (zh) 一种基于运动加速度的图像搜索方法、系统及电子设备
US11657485B2 (en) Method for expanding image depth and electronic device
CN115423846A (zh) 多目标轨迹跟踪方法以及装置
CN110930453A (zh) 目标物体定位方法、装置及可读存储介质
CN110599586A (zh) 一种半稠密场景重建方法、装置、电子设备及存储介质
CN111950370B (zh) 动态环境下线拓展视觉里程计方法
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
WO2020099951A1 (en) Object tracking based on a user-specified initialization point
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN112037258B (zh) 目标跟踪方法、装置、设备和存储介质
JP2013218396A (ja) 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
CN110223320B (zh) 物体检测跟踪方法和检测跟踪装置
CN111507999B (zh) 一种基于fdsst算法的目标追踪方法及装置
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN115431270A (zh) 一种基于二维码标签的机器人辅助定位方法、设备及介质
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN114998755A (zh) 在遥感图像中地标匹配的方法及装置
CN113033578A (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN109242894B (zh) 一种基于移动最小二乘法的图像对齐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant