CN110992393A

CN110992393A - 一种基于视觉的目标运动跟踪方法

Info

Publication number: CN110992393A
Application number: CN201911161203.8A
Authority: CN
Inventors: 郑俊; 曹如军
Original assignee: Hangzhou Dingre Technology Co ltd
Current assignee: Hangzhou Scantech Co
Priority date: 2019-11-24
Filing date: 2019-11-24
Publication date: 2020-04-10
Anticipated expiration: 2039-11-24
Also published as: CN110992393B

Abstract

本申请公开了一种基于视觉的目标运动跟踪方法、装置、系统及图像分析设备，方案包括：通过历史图像序列确定目标物体在过去一段时间的位姿，并据此预测目标物体在未来时刻的位姿，进而确定目标物体未来时刻在像空间的兴趣区域，最终控制图像采集设备仅传输目标物体的兴趣区域数据，因此，该方案可大大减少无效数据的传输，可以在保持被跟踪目标数据分辨率的同时，有效地减少数据传输量，提高跟踪相机的数据传输帧率，从而有效地对运动速度快、或运动范围大的运动目标进行实时跟踪。

Description

一种基于视觉的目标运动跟踪方法

技术领域

本申请涉及数字摄影测量、计算机技术领域，特别涉及一种基于视觉的目标运动跟踪方法、装置、系统及图像分析设备。

背景技术

在基于视觉的目标自动跟踪系统中，图像或视频输入是整个系统的前端输入，图像或视频数据质量决定整个系统的目标跟踪性能及质量。

衡量输入图像或视频质量的因素包括：图像的空间分辨率、时间分辨率，及光谱分辨率等。空间分辨率通常以图像的像素阵列表示，如400万像素、1200万像素，或2048*1536像素等；时间分辨率则以单位时间内成像频数表示，即帧率，一种常用的描述方式是每秒成像次数fps(frames per second)；光谱分辨率则由图像的成像光谱范围(波段)、功率响应区间(量化范围)决定，即，常见的灰度(全色)、彩色(RGB等)、红外波段，以及8、12或16位(bit)图像等。一般来说，确定的相机(镜头、传感器等)设计决定图像的这些参数(图像质量因素)。

为提高跟踪系统的准确度及精度，需要提高输入数据(图像或视频)的分辨率。高空间分辨率的图像，成像更清晰，可以分辨出更细小或更远处的目标；高时间分辨率(帧率)则可以精准确定目标运动轨迹，对运动速度更快的目标进行有效跟踪。但是，在数据传输带宽(信道容量)确定的情况下，无法同时提高数据的空间分辨率和帧率，即，单张图像数据量*传输帧率<信道容量，其中单张图像数据量由其空间分辨率及光谱分辨率决定，或，图像数据量＝像素*波段数*位深度。

以上分析表明，在既定传输信道容量的情况下，图像分辨率与帧率是相互制约的，即，不能同时提高图像序列(视频)的分辨率和帧率。因此，在基于视觉的目标自动跟踪系统中，高分辨率相机虽然可对目标清晰成像，提高目标的识别精度，但是其低帧率的特性导致容易丢失运动范围大、速度快的目标。

目前的改进方法主要是提升传输信道容量，如，用万兆网替代千兆网，USB3.0替代2.0等；或者是在分辨率与帧率之间进行折衷；或者是将图像压缩后再传输。上述改进措施，或增加系统成本(更高传输带宽的信道硬件)，或增加处理时间(数据压缩解压)，难以满足目标跟踪的性能、或实时性要求。

可见，如何解决在基于视觉的目标自动跟踪系统中难以兼顾图像分辨率和帧率的问题，在避免高成本的前提下，保证系统的目标跟踪效果和实时性，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于视觉的目标运动跟踪方法、装置、系统及图像分析设备，用以解决在基于视觉的目标自动跟踪系统中图像分辨率与帧率相互制约，导致系统难以兼顾目标跟踪效果或实时性的问题。其具体方案如下：

第一方面，本申请提供了一种基于视觉的目标运动跟踪方法，应用于图像分析设备，包括：

获取图像采集设备所采集的图像序列；

对所述图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；

根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据；

根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域；

根据所述兴趣区域生成控制信号，并将所述控制信号发送至所述图像采集设备，以便所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据。

优选的，所述对所述图像序列中的目标进行识别，包括：

若所述目标物体为已知，则根据先验知识构建所述目标物体的特征模型，并根据所述特征模型对所述图像序列中的目标进行识别；

若所述目标物体为未知，则根据运动目标检测算法对所述图像序列中的目标进行识别。

优选的，所述根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域，包括：

根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的运动区域；根据第一预设规则对所述运动区域进行扩充，得到兴趣区域。

若所述在未来时刻的位姿数据为在物方空间的位姿数据，则将所述在物方空间的位姿数据映射为在像空间的位姿数据；根据所述在像空间的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域。

优选的，在所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据之后，还包括：

若检测到所述兴趣区域数据中不存在所述目标物体，则根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备。

优选的，在所述根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备之后，还包括：

若检测到扩充后的兴趣区域数据中不存在所述目标物体，则重复根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备的操作，直至接收到的兴趣区域数据中存在所述目标物体，或当前的兴趣区域大小为原始的兴趣区域大小的预设倍数；

在当前的兴趣区域大小为原始的兴趣区域大小的预设倍数时，生成视野调整信号并发送至所述图像采集设备，以调整所述图像采集设备的视野范围。

优选的，所述根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据，包括：

根据所述在过去一段时间的位姿数据，预测所述目标物体在未来多个时刻的位姿数据。

第二方面，本申请提供了一种基于视觉的目标运动跟踪装置，应用于图像分析设备，包括：

图像获取模块：用于获取图像采集设备所采集的图像序列；

目标识别模块：用于对所述图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；

位姿预测模块：用于根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据；

兴趣区域确定模块：用于根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域；

控制模块：用于根据所述兴趣区域生成控制信号，并将所述控制信号发送至所述图像采集设备，以便所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据。

第三方面，本申请提供了一种图像分析设备，应用于基于视觉的目标运动跟踪系统，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种基于视觉的目标运动跟踪方法的步骤。

第四方面，本申请提供了一种基于视觉的目标运动跟踪系统，包括图像采集设备，还包括如上所述的图像分析设备。

本申请所提供的一种基于视觉的目标运动跟踪方法，应用于图像分析设备，包括：获取图像采集设备所采集的图像序列；对图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；根据在过去一段时间的位姿数据，预测目标物体在未来时刻的位姿数据；根据在未来时刻的位姿数据，确定未来时刻目标物体在像空间中的兴趣区域；根据兴趣区域生成控制信号，并将控制信号发送至图像采集设备，以便图像采集设备根据控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输兴趣区域数据。

可见，考虑到在一般的目标跟踪系统中，被识别或被跟踪的目标投影在成像设备中所形成的“像”仅占据整个图像中的较小区域，而图像中的目标“像”以外的其他区域数据作为背景数据，具备变化小且不需要进行处理的特点。因此，该方法通过历史图像序列确定目标物体在过去一段时间的位姿，并据此预测目标物体在未来时刻的位姿，进而确定目标物体未来时刻在像空间的兴趣区域，最终控制图像采集设备仅传输目标物体的兴趣区域数据，可大大减少无效数据的传输，可以在保持被跟踪目标数据分辨率的同时，有效地减少数据传输量，提高跟踪相机的数据传输帧率，从而有效地对运动速度快、或运动范围大的运动目标进行实时跟踪。

此外，本申请还提供了一种基于视觉的目标运动跟踪装置、系统及图像分析设备，其技术效果与上述方法的技术效果相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于视觉的目标运动跟踪方法实施例一的实现流程图；

图2为本申请所提供的一种基于视觉的目标运动跟踪方法实施例二的实现流程图；

图3为本申请所提供的一种基于视觉的目标运动跟踪方法实施例二中目标识别的实现装置的示意图；

图4为本申请所提供的一种基于视觉的目标运动跟踪方法实施例二中目标跟踪实现装置的示意图；

图5为本申请所提供的一种基于视觉的目标运动跟踪方法实施例二中位姿预测的实现装置的示意图；

图6为本申请所提供的一种基于视觉的目标运动跟踪方法实施例三中成像示意图；

图7为本申请所提供的一种基于视觉的目标运动跟踪装置实施例的功能框图；

图8为本申请所提供的一种图像分析设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在基于视觉的目标跟踪系统中，在传输信道容量一定的情况下，图像分辨率与帧率是相互制约的。目前的改进方法主要是提升传输信道容量，比如用万兆网替代千兆网，USB3.0替代2.0等。但是，现阶段高分辨率工业相机的像素分辨率通常大于1000万像素，以千兆以太网为例，分辨率为1000万与1400万像素(24位3通道彩色)的相机的帧速率分别为10fps和7fps，即使使用USB3.0信道，其帧率也仅为14fps和10fps。可见，这种改进方式一方面增加系统成本，另一方面改进效果并不理想。除此之外，还有通过压缩图像的改进方法，该方法需要进行数据压缩和解压，增加了图像处理时间，降低了目标跟踪的实时性。

针对上述问题，本申请提供一种基于视觉的目标运动跟踪方法、装置、系统及图像分析设备，通过仅传输目标物体的兴趣区域数据，在保持被跟踪目标数据分辨率的同时，有效地减少数据传输量，提高跟踪相机的数据传输帧率，从而有效地对运动速度快、或运动范围大的运动目标进行实时跟踪。

下面对本申请提供的一种基于视觉的目标运动跟踪方法实施例一进行介绍，参见图1，实施例一应用于图像分析设备，包括：

S101、获取图像采集设备所采集的图像序列；

S102、对所述图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；

S103、根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据；

S104、根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域；

S105、根据所述兴趣区域生成控制信号，并将所述控制信号发送至所述图像采集设备，以便所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据。

在基于视觉的目标运动跟踪系统中，主要包括图像采集设备和图像分析设备。其中图像采集设备具体包括采集装置和数据传输控制装置，采集装置用于采集被检测空间(如三维欧氏空间，物方空间)的数据，俗称成像，即将物方空间映射到像空间。在大多数情况下，被跟踪目标物体的运动范围落入采集装置的数据采集空间范围内。数据传输控制装置将采集装置所采集的数据输出，并且可以控制输出的内容，即根据相关控制信号可选择输出图像的部分区域或整张图像，比如选择输出兴趣区域数据。需要说明的是，数据传输目的地可以是预先标示的图像分析设备，也可以是其他任意图像分析设备。

如上所述，图像采集设备用于采集包含目标物体的图像，并将整张图像或部分区域图像传输至图像分析设备，图像分析设备进而对接收到的图像进行分析处理，从而实现对目标物体的运动跟踪。本实施例应用于图像分析设备，下面对图像分析设备的实施过程进行介绍。

数据获取过程，目的在于获取图像采集设备在过去一段时间内采集到的图像。可以理解的是，实际过程中图像采集设备可以采集视频数据，并直接将视频传输至图像分析设备，由图像设备从视频中抽取图像帧得到上述图像序列；作为一种优选的实施方式，也可以在图像采集设备一侧对视频进行图像帧抽取，进而将抽取得到的图像序列传输至图像分析设备，从而减少数据传输量。

目标识别过程，目的在于依据目标物体的固有特征(如几何、光谱、纹理)识别出目标物体在像空间或物方空间的位置和姿态。具体的，若所述目标物体为已知，则根据先验知识构建所述目标物体的特征模型，并根据所述特征模型对所述图像序列中的图像进行目标识别；若所述目标物体为未知，则根据运动目标检测算法对所述图像序列中的图像进行目标识别。

目标跟踪过程，目的在于确定目标物体在一段时间内不同时刻的空间位置及姿态。具体的，根据对目标的有效描述，在图像序列中寻找与目标模板最相似的候选目标区位置，以图像序列所记录的时间特征，记录目标在像空间或物方空间中的位姿。

位姿预测过程，依据运动空间的连续性以及目标的运动惯性或运动相似性，根据目标物体过去一段时间的位姿预测其在未来时刻的位姿。具体可基于某种统计模型或参数模型实现位姿预测，常用的预测算法有Kalman滤波、扩展的Kalman滤波及粒子滤波方法等。其中Kalman滤波通过状态方程和观测方程来描述一个动态系统，基于系统以前的状态序列对下一个状态作最优估计，而扩展Kalman滤波可用以处理非线性系统。本实施例对选取何种预测算法不做限定，具体可以根据实际需求自行选择。

兴趣区域确定过程，根据目标物体在过去一段时间内的运动状态和运动趋势，进而预测目标物体在未来时刻的位姿，最终根据在未来时刻的位姿确定目标物体在像空间的兴趣区域(Region of support,ROS)。值得一提的是，由于预期得到的是在像空间的兴趣区域，因此需要确保目标物体在未来时刻的位姿也是处于像空间的。具体的，若前述预测得到的在未来时刻的位姿数据为在物方空间的位姿数据，则首先将所述在物方空间的位姿数据映射为在像空间的位姿数据，即将物方空间的位姿根据成像模型映射到像空间；进而根据所述在像空间的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域。

传输控制过程，图像分析设备在通过分析得出未来时刻的兴趣区域之后，根据兴趣区域生成控制信号，以控制图像采集设备在采集到未来时刻的图像之后，首先从图像中裁剪出兴趣区域数据，再仅传输兴趣区域数据。最终，形成图像分析设备获取图像采集设备采集的图像序列，进而通过对图像序列的分析处理控制图像采集设备的传输内容的过程。

综上，为解决高分辨率图像采集设备数据传输性能瓶颈(带宽一定的情况下，数据量大则帧率低)的问题。本实施例提供一种基于视觉的目标运动跟踪方法，该方法应用于图像分析设备，通过历史图像序列确定目标物体在过去一段时间的位姿，并据此预测目标物体在未来时刻的位姿，进而确定目标物体未来时刻在像空间的兴趣区域，最终控制图像采集设备仅传输目标物体的兴趣区域数据，可大大减少无效数据的传输，可以在保持被跟踪目标数据分辨率的同时，有效地减少数据传输量，提高跟踪相机的数据传输帧率，从而有效地对运动速度快、或运动范围大的运动目标进行实时跟踪。

下面开始详细介绍本申请提供的一种基于视觉的目标运动跟踪方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

参见图2，实施例二应用于图像分析设备，包括：

S201、获取图像采集设备所采集的图像序列；

S202、对所述图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；

首先，对目标物体进行检测或识别。根据目标已知或未知，可分为以下两类检测方法：

检测方法1、目标未知，不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标；

检测方法2、目标已知，依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。

对于未知目标，目标检测则主要针对场景变化，识别出运动目标。目标检测即为从图像序列中提取出变化区域，将其从背景图像中分割出来。常用的从静态背景下检测出运动物体的算法包括，背景差法、帧间差法、GMM法，或光流法等。对图像采集设备位姿固定的应用场景而言，常用的运动目标检测方法是背景相减法，可以对背景的光照变化、噪声或场景内的周期性运动等进行建模，使系统在各种不同情况下都可以有效地检测出运动目标。

对于已知目标，则根据目标的固有特征，如几何特征、光谱或纹理特征等，对目标进行建模后，在图像或图像序列(视频)中检测、识别出与出目标模型的投影相匹配的目标特征。以几何特征为例，可利用单目立体重建算法、双目立体重建、或多视立体重建等方法，重建出被检测对象的三维几何特征，与已知的几何模型匹配后即可准确识别出被检测或被跟踪目标。

然后，进行目标跟踪。在目标跟踪过程中，主要包括特征提取和特征匹配过程。如图3所示，特征提取过程可以分析并处理光谱特征、纹理特征、三维几何特征以及二维几何特征等。

对于特征提取部分，作为一种优选的实施方式，本实施例可以基于描述目标特性的视觉特征(如形状、纹理、边缘、轮廓、或区域等)、统计特征(如直方图、各阶统计矩等)、变换域特征(如频域变换，傅立叶算子、小波变换等)，或多特征的组合来提高目标跟踪的可靠性。

对于特征匹配部分，主要基于某种相似性度量，如欧氏距离、街区距离、棋盘距离、加权距离、Hausdorff距离或相关系数等，对所描述的特征进行度量，进而识别并跟踪目标。目标跟踪的精度以及跟踪方法的鲁棒性取决于对运动目标的描述以及相似性度量的定义及相似度阈值的选择，跟踪方法的实时性取决于目标搜索策略以及目标预测算法。

所谓目标跟踪，即确定目标物体在其所描述空间中一段时间内不同时刻的位姿或运动轨迹，也就是说，跟踪、记录并存储目标的运动时间序列以及与时间序列所对应的位姿数据，其功能结构如图4所示，包括时间记录器、位姿记录器，其中位姿记录器可记录二维、三维位姿信息。目标跟踪过程可用如下函数表述(位姿S是时间t的函数)：

S＝f(t),其中t∈R⁺，可以是离散量或连续量。

对于图像序列，t通常为时间采样(时刻)，此时的运动轨迹是离散序列(或轨迹采样点)。

S203、根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据；若此时得到的在未来时刻的位姿数据为在物方空间的位姿数据，则将所述在物方空间的位姿数据映射为在像空间的位姿数据；

目标运动预测，对目标运动位姿函数S＝f(t)而言，运动预测，则是利用已知的过去的若干时刻(t₁,t₂,...,t_k)的运动位姿(S₁,S₂,...,S_k)，预测其在下一时刻t_k+1时的运动状态S_k+1：

S_i＝f(t_i),(i＝1,2,...,k)；

S_k+1＝f(t_k+1)。

从实现结构上来说，如图5所示，目标运动预测的功能结构可以包括统计模型预测器、参数估计器(参数模型预测器)、映射器、预测兴趣区ROS生成器等。其中，统计模型预测器可基于统计模型对目标的运动状态进行预测或估计，如常见的Kalman滤波、扩展Kalman滤波、粒子滤波等；参数估计器可基于已知运动状态估计运动目标的几何模型、概率模型的参数，实现对运动目标的运动估计(预测)；映射器则将物方空间映射到像空间，或将像空间映射到物方空间；预测兴趣区ROS生成器，包括ROS扩张器、多ROS合并器，以及ROS规则化器。

S204、根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的运动区域；根据第一预设规则对所述运动区域进行扩充，得到兴趣区域；

作为一种优选的实施方式，本实施例考虑到运动估计误差、观测噪声等，首先根据目标在未来时刻的位姿数据，确定目标在像空间所对应的运动区域，最终所预测的兴趣区域通常包括但不限于运动区域。上述用于扩充运动区域的第一预设规则，可以根据实际应用场景进行适当的调整，本实施例对此不做具体限定。

考虑到运动的连续性，可基于目标运动模型，估计目标在若干未来时刻(t_k+1,t_k+2,...)的位姿，进而形成预测时段内的兴趣区域。在后续的图像或视频传输中，仅传输预测兴趣区域。通常情况下，兴趣区域远小于整个图像区域。这样，在其他因素保持不变的情况下，就可以显著地提高数据传输帧率，同时可以减少目标识别、跟踪时的搜索(匹配)空间，实现对目标的实时跟踪。

S205、根据所述兴趣区域生成控制信号，并将所述控制信号发送至所述图像采集设备，以便所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据；

S206、若检测到接收到的兴趣区域数据中不存在所述目标物体，则根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备。

在目标跟踪过程中，可能出现目标丢失的现象。这通常是由于目标被遮挡，或运动目标脱离跟踪设备成像空间或视野范围，参考图6中的最外侧虚线范围，也可能是预测兴趣区域错误导致目标丢失。在这种情况下，可以根据第二预设规则自动扩大兴趣区域范围。

作为一种具体的实施方式，若检测到扩充后的兴趣区域数据中仍然不存在所述目标物体，可以重复根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备的操作，直至接收到的兴趣区域数据中存在所述目标物体，或当前的兴趣区域大小为原始的兴趣区域大小的预设倍数；在当前的兴趣区域大小为原始的兴趣区域大小的预设倍数时，可以生成视野调整信号并发送至所述图像采集设备，以调整所述图像采集设备的视野范围。

本实施例提供的一种基于视觉的目标运动跟踪方法，在实施例一的基础上，考虑到运动估计误差、观测噪声等，通过对运动区域进行扩充得到兴趣区域，提升了可靠性和抗干扰性。此外，本实施例还介绍了目标丢失时的处理方式，提升了方案的场景适应性。

根据上述基于视觉的目标运动跟踪方法实施例，下面以具体应用场景为例，对目标运动跟踪过程进行详细介绍。具体的，本申请在实施例三中以目标已知为例对其运动跟踪过程进行说明，并在实施例四中就目标未知与目标已知的运动跟踪过程的区别进行介绍。

实施例三：目标已知，单目或双目立体重建，三维空间运动估计。

对特征已知的目标，可利用已知信息(如几何特征中的形状、平行、垂直、长度比或交比等)构建目标的特征模型。基于单目视觉或双目立体等方法，恢复出待识别对象在某三维参考坐标系下的位姿。重建出待检测对象后，将其与已知模型匹配，若满足相似度约束条件，则认为所识别对象即是被跟踪的目标。识别过程所应用的图像数据的时间信息或时刻信息，以及被识别目标在参考三维空间中的位姿形成时间、位姿有序对。跟踪过程则是从序列图像中按时间顺序检测、记录若干时间、位姿有序组，生成一组运动位姿序列，如表1所示：

表1

时刻	t1	t2	t3	……	tk
						位姿	S1	S2	S3	……	Sk

目标运动预测可基于所跟踪的运动位姿序列，估计其在参考三维空间中潜在的运动状态。以参数模型估计法为例，假设其运动状态符合某种参数模型(如，多项式、样条曲线，圆锥曲线、螺线等，或符合某种概率分布等)，则依据其已知观测状态，可估计出运动模型的参数。利用所估计的运动模型，可估计出目标在预测时刻t_k+1时的运动状态S_k+1，或t_k+j时的位姿S_k+j。

将所预测的目标运动状态，依据成像设备的成像模型(如小孔成像或透视成像、相机内外方位元素)，将目标模型特征映射到像空间，即为兴趣区域。考虑到观测误差、运动预测模型误差等，需要将目标映射所生成的运动区域适当扩大后形成兴趣区域。此外，考虑到运动的连续性，一般基于目标的运动预测模型，估计运动目标其后的若干时刻的位姿，进而生成预测时段内的兴趣区域集合。将此集合合并后，作为预测时段内的兴趣区域。

预测时段内的兴趣区设置，则以相应预测时段的兴趣区域为基准，为便于后续分析处理，通常将此兴趣区域规则化(如矩形、圆等规则图形)，以便于几何描述、分析处理，或简化计算等，进而形成最终预测时段的兴趣区域。在后续的图像数据或视频数据传输中，仅传输兴趣区域内的数据。

基于上述预测模型设置兴趣区域后，可在很大程度上避免由于预测错误导致的跟踪目标丢失的情形发生。实际应用中，丢失目标时，则可通过某些策略或算法找回被跟踪的目标。根据丢失原因的不同，可以实施不同策略，如：由于预测误差(如，目标运动轨迹与预测运动模型不符、或速度过快等)，则可基于最近的实际观测值调整预测模型后生成新的兴趣区域，并将该兴趣区域适当扩大后再次检测、跟踪目标；若目标远离成像设备(如沿相机透视成像主轴、小孔成像中轴远离成像设备，如图6所示，t₁时刻相较于t₂时刻，目标远离，其对应所成的像区域P_2aP_2b小于P_1aP_1b)，则无须更新设置兴趣区域，其中原因是，目标映射到像空间中的“像”过小导致检测不出目标，此时，只需等待目标重新回到合适的成像空间；由于目标被遮挡导致的跟踪丢失，也可以设置扩大后的兴趣区域，再持续检测目标。当然，上述策略可以直接简化为，将整个成像空间设置为兴趣区域。可以理解的是，相比之下，这种策略效率略低。

实施例四：目标未知，像空间匹配检测，像空间运动估计。

相较于实施例三，未知目标、像空间目标跟踪、预测，其差别主要在于目标检测及运动预测。对于未知目标，则先基于成像数据与背景数据的差，或图像序列的帧间差，或光流法等检测出变化区域，或运动目标。运动估计通常基于Kalman滤波，其基本步骤包括：输入观测值Z_k、计算估计值X_k,k-1、更新协方差矩阵P_k+1,k、计算预测值X_k+1,k。由于是在成像空间预测运动模型，可直接将所预测的区域转换为兴趣区域，相比实施例三，无需再将运动目标映射到成像空间。兴趣区域的设置，目标丢失后的找回策略与应用实施例三相同或类似，此处不再赘述。

下面对本申请实施例提供的一种基于视觉的目标运动跟踪装置进行介绍，下文描述的一种基于视觉的目标运动跟踪装置与上文描述的一种基于视觉的目标运动跟踪方法可相互对应参照。

本实施例的目标运动跟踪装置应用于图像分析设备，如图7所示，该装置包括：

图像获取模块701：用于获取图像采集设备所采集的图像序列；

目标识别模块702：用于对所述图像序列中的目标进行识别，得到目标物体在过去一段时间内的位姿数据；

位姿预测模块703：用于根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据；

兴趣区域确定模块704：用于根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域；

控制模块705：用于根据所述兴趣区域生成控制信号，并将所述控制信号发送至所述图像采集设备，以便所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据。

本实施例的基于视觉的目标运动跟踪装置用于实现前述的基于视觉的目标运动跟踪方法，因此该装置中的具体实施方式可见前文中的基于视觉的目标运动跟踪方法的实施例部分，例如，图像获取模块701、目标识别模块702、位姿预测模块703、兴趣区域确定模块704、控制模块705，分别用于实现上述基于视觉的目标运动跟踪方法中步骤S101，S102，S103，S104，S105。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的基于视觉的目标运动跟踪装置用于实现前述的基于视觉的目标运动跟踪方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种图像分析设备，应用于基于视觉的目标运动跟踪系统，如图8所示，该图像分析设备包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现如上文所述的一种基于视觉的目标运动跟踪方法的步骤。

最后，本申请提供了一种基于视觉的目标运动跟踪系统，包括图像采集设备，还包括如上文所述的图像分析设备。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于视觉的目标运动跟踪方法，其特征在于，应用于图像分析设备，包括：

获取图像采集设备所采集的图像序列；

2.如权利要求1所述的方法，其特征在于，所述对所述图像序列中的目标进行识别，包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域，包括：

4.如权利要求3所述的方法，其特征在于，所述根据所述在未来时刻的位姿数据，确定未来时刻所述目标物体在像空间中的兴趣区域，包括：

5.如权利要求1所述的方法，其特征在于，在所述图像采集设备根据所述控制信号从未来时刻的图像中截取兴趣区域数据，并仅传输所述兴趣区域数据之后，还包括：

6.如权利要求5所述的方法，其特征在于，在所述根据第二预设规则扩充所述兴趣区域，根据扩充后的兴趣区域生成新的控制信号并发送至所述图像采集设备之后，还包括：

7.如权利要求1-6任意一项所述的方法，其特征在于，所述根据所述在过去一段时间的位姿数据，预测所述目标物体在未来时刻的位姿数据，包括：

8.一种基于视觉的目标运动跟踪装置，其特征在于，应用于图像分析设备，包括：

图像获取模块：用于获取图像采集设备所采集的图像序列；

9.一种图像分析设备，其特征在于，应用于基于视觉的目标运动跟踪系统，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种基于视觉的目标运动跟踪方法的步骤。

10.一种基于视觉的目标运动跟踪系统，其特征在于，包括图像采集设备，还包括如权利要求9所述的图像分析设备。