CN103259962B - 一种目标追踪方法和相关装置 - Google Patents

Abstract

本发明实施例公开了一种目标追踪方法和相关装置，用于达到对目标的实时追踪处理。本发明实施例方法包括：根据目标在前一帧的视频监控图像中的位置，使用为目标建立的运动预测模型对目标在当前帧的视频监控图像中的位置进行预测，得到目标的预测位置；在预测位置分布的图像区域内根据为目标建立的检测模型进行目标检测，得到目标的检测位置；在预测位置分布的图像区域内根据为目标建立的跟踪模型进行目标跟踪，得到目标的跟踪位置；根据图像位置重叠率对检测位置和跟踪位置进行加权融合，得到目标在当前帧的视频监控图像中的追踪位置；根据目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对目标的追踪。

Description

一种目标追踪方法和相关装置

技术领域

本发明涉及智能视频监控领域，尤其涉及一种目标追踪方法和相关装置。

背景技术

智能视频监控是一种主动监控目标的方法，通过视频分析技术，实现对场景的智能化监控，不需要人工干预，越来越受到市场的青睐。

现有技术中智能视频监控通过视频分析技术对摄像机监控的视场图像进行实时分析、处理，一旦出现突发事件，可以对目标（例如行人、车辆）进行锁定、主动报警，并通过控制设备调整摄像机方向、视角、焦距对目标进行持续跟踪，从而达到对目标的智能追踪。现有技术在锁定目标后，由于目标位置的不确定性，常用的目标追踪方法是在摄像机的视频监控范围内对图像进行全图搜索，来查找目标，存在盲目性，并且随着监控图像的高清化，这种方法的计算复杂度将变得更大，导致较大的时延，故现有的这种目标追踪方法很难做到实时跟踪。而且，由于监控图像中的目标是现实世界中三维目标对象在二维平面上的投影，真实的目标形态多变、容易受遮挡，当目标受遮挡或者形态变化太快时，都会使追踪的目标丢失，导致目标追踪方法鲁棒性不足。

发明内容

本发明实施例提供了一种目标追踪方法和相关装置，用于达到对目标的实时追踪处理。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种目标追踪方法，包括：

根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；

在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；

在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；

根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；

根据所述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

结合第一方面，在第一方面的第一种可能的实现方式中，所述的根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置之后还包括：

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述运动预测模型；

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述检测模型；

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述的根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，包括：

根据所述运动预测模型获取所述目标在t时刻的运动速度预测值v(t)，其中，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right){+\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i,$ 所述所述a_i为a中的第i个值，0≤i≤k，所述a为最小化所述目标的观测位置和预测位置之间的距离得到，所述x₁(t+1)为所述目标的预测位置，所述x₀(t)为所述目标在前一帧的视频监控图像中的位置，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5$ ，所述所述a₁、a₂、a₃、a₄、a₅为所述a中的第1、2、3、4、5个值；

通过如下方式的运动预测模型和所述运动速度预测值v(t)预测出所述目标的预测位置：x₁(t+1)=x₀(t)+v(t)。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述a通过如下方式获取：

$\mathrm{\α}=\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right),$

其中，所述w是权值衰减系数，所述m是距离所述当前帧的帧数，所述x₀(t)为所述目标在t时刻的观测位置，所述x₁(t)为所述目标在t时刻的预测位置，所述 $\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right)$ 为使 ${\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-1}\·\left|\right|x_0\left(t\right)-x_1\left(t\right)\left|\right|$ 取得最小值时所述a的取值。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述的在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，包括：

在所述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，根据预设的检测特征从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；

将每个特征值组合的多个特征值输入所述检测模型，计算出所述每个特征值组合是所述目标的概率，生成目标概率列表，所述目标概率列表中包括所述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于所述概率门限的概率；

计算所述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；

根据所述重叠率对所述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，所述N为非零自然数；

从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个所述目标的检测位置。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述的在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，包括：

在所述预测位置分布的图像区域内获取所述目标在当前帧的视频监控图像中的跟踪特征，生成第一跟踪特征列表，所述第一跟踪特征列表包括所述目标在当前帧的视频监控图像中的跟踪特征；

将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，所述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；

根据所述匹配的特征对序列计算变换矩阵，所述变换矩阵为所述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；

根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述的目标在当前帧的视频监控图像中的跟踪特征为F₁，所述的目标在前一帧的视频监控图像中的跟踪特征为F₀，

所述的将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配具体通过如下方式：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||，

其中，所述[F₀(p),F₁(s)]为匹配的特征对序列，其中，所述F₀(p)为所述F₀中的第p个值，所述F₁(s)为所述F₁中的第s个值，所述p、s为非零自然数；

所述的根据所述匹配的特征对序列计算变换矩阵具体通过如下方式获取：

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，

其中，所述H为变换矩阵，所述x₀(d)为所述F₀(d)对应的位置，所述F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

所述的根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置具体通过如下方式获取：

RT₃=H·RT₀，

其中，所述RT₀为所述目标在前一帧的视频监控图像中的位置，所述RT₃为所述目标的跟踪位置。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第七种可能的实现方式中，所述的根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，包括：

通过如下方式获取所述目标在当前帧的视频监控图像中的追踪位置：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),$

其中，所述RT₂(i)为RT₂中的第i个值，所述RT₂为所述目标的检测位置，所述N为所述RT₂的个数，所述RT₃为所述目标的跟踪位置，所述RT₄为所述目标的追踪位置，r＝{r₁,r₂,……,r_N}是所述RT₂中各个检测位置的权值，所述r₀为归一化系数。

第二方面，本发明实施例还提供了一种目标跟踪装置，包括：

预测模块，用于根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；

检测模块，用于在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；

跟踪模块，用于在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；

融合模块，用于根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；

追踪模块，用于根据所述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

结合第二方面，在第二方面的第一种可能的实现方式中，所述装置还包括：更新模块，用于根据所述目标在当前帧的视频监控图像中的追踪位置更新所述运动预测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述检测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述预测模块，包括：

第一获取子模块，用于根据所述运动预测模型获取所述目标在t时刻的运动速度预测值v(t)，其中，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right){+\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i,$ 所述所述a_i为a中的第i个值，0≤i≤k，所述a为最小化所述目标的观测位置和预测位置之间的距离得到，所述x₁(t+1)为所述目标的预测位置，所述x₀(t)为所述目标在前一帧的视频监控图像中的位置，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5,$ 所述所述a₁、a₂、a₃、a₄、a₅为所述a中的第1、2、3、4、5个值；

预测子模块，用于通过如下方式的运动预测模型和所述运动速度预测值v(t)预测出所述目标的预测位置：x₁(t+1)=x₀(t)+v(t)。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述检测模块，包括：

搜索子模块，用于在所述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，根据预设的检测特征从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；

第二获取子模块，用于将每个特征值组合的多个特征值输入所述检测模型，计算出所述每个特征值组合是所述目标的概率，生成目标概率列表，所述目标概率列表中包括所述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于所述概率门限的概率；

第三获取子模块，用于计算所述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；

聚类子模块，用于根据所述重叠率对所述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，所述N为非零自然数；

检测子模块，用于从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个所述目标的检测位置。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述跟踪模块，包括：

第四获取子模块，用于在所述预测位置分布的图像区域内获取所述目标在当前帧的视频监控图像中的跟踪特征，生成第一跟踪特征列表，所述第一跟踪特征列表包括所述目标在当前帧的视频监控图像中的跟踪特征；

匹配子模块，用于将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，所述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；

第五获取子模块，用于根据所述匹配的特征对序列计算变换矩阵，所述变换矩阵为所述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；

跟踪子模块，用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置。

结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述匹配子模块，具体用于将第二跟踪特征列表中的特征与第一跟踪特征列表中的特征进行匹配具体通过如下方式：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||，

其中，所述[F₀(p),F₁(s)]为匹配的特征对序列，其中，所述F₀(p)为F₀中的第p个值，F₁(s)为所述F₁中的第s个值，所述的目标在当前帧的视频监控图像中的跟踪特征为F₁，所述的目标在前一帧的视频监控图像中的跟踪特征为F₀，所述p、s为非零自然数；

所述第五获取子模块，具体用于根据所述匹配的特征对序列计算变换矩阵具体通过如下方式获取：

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，

其中，所述H为变换矩阵，所述x₀(d)为所述F₀(d)对应的位置，所述F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

所述跟踪子模块，具体用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置具体通过如下方式获取：

RT₃=H·RT₀，

其中，所述RT₀为所述目标在前一帧的视频监控图像中的位置，所述RT₃为所述目标的跟踪位置。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述融合模块，具体用于通过如下方式获取所述目标在当前帧的视频监控图像中的追踪位置：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),$

其中，所述RT₂(i)为RT₂中的第i个值，所述RT₂为所述目标的检测位置，所述N为所述RT₂的个数，所述RT₃为所述目标的跟踪位置，所述RT₄为所述目标的追踪位置，r＝{r₁,r₂,……,r_N}是所述RT₂中各个检测位置的权值，所述r₀为归一化系数。

从以上技术方案可以看出，本发明实施例具有以下优点：

由上可见，在本发明实施例中，通过引入运动预测模型预测出目标的预测位置，然后根据预测位置分布的图像区域进行目标检测和目标跟踪，由于只需要在预测位置分布的图像区域即预测位置的附近来做数据处理，故可以避免陷入繁琐的全图搜索，加快目标检测和目标追踪的效率，以达到实时处理。另外，本发明实施例中通过目标检测和目标追踪的互补最后融合出目标的追踪位置，增强了目标跟踪的鲁棒性，当目标因为遮挡而丢失后，也可以通过检测来继续追踪。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种目标追踪方法的流程方框示意图；

图2为本发明实施例提供的目标追踪方法的一种实现方式示意图；

图3为本发明实施例提供的运动预测模型中目标运动速度曲线的示意图；

图4为本发明实施例提供的目标检测方法的算法流程示意图；

图5为本发明实施例提供的MRBP特征所包括的子特征示意图；

图6为本发明实施例提供的特征跟踪方法的算法流程示意图；

图7为本发明实施例提供的特征匹配方法的匹配过程示意图；

图8为本发明实施例提供的更新检测模型DM时选定正负样本的示意图；

图9-a为本发明实施例提供的一种目标追踪装置的组成结构示意图；

图9-b为本发明实施例提供的另一种目标追踪装置的组成结构示意图。

具体实施方式

本发明实施例提供了一种目标追踪方法和相关装置，用于达到对目标的实时追踪。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

以下分别进行详细说明。

本发明目标追踪方法的一个实施例，可以包括：根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；根据所述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

请参阅图1所示，本发明一个实施例提供的目标追踪方法，可以包括：

101、根据目标在前一帧的视频监控图像中的位置，使用为上述目标建立的运动预测模型对上述目标在当前帧的视频监控图像中的位置进行预测，得到上述目标的预测位置。

其中，上述运动预测模型用于描述上述目标的运动速度和位移随时间变化的趋势。

在本发明的一些实施例中，目标指的是已经锁定的追踪对象，例如可以是行人、车辆、动物等。本发明实施例中为目标建立了运动预测模型，在目标追踪开始时，运动预测模型中的速度曲线先初始化，并在目标追踪的过程中可以对运动预测模型中的系统不断的迭代更新，以保证该运动预测模型预测出目标的预测位置能够更接近目标在视频监控图像中的位置。

在实际应用中，根据目标在前一帧的视频监控图像中的位置，使用上述运动预测模型对上述目标在当前帧的视频监控图像中的位置进行预测，得到上述目标的预测位置。其中预测位置是指根据运动预测模型以及目前在前一帧的视频监控图像中的位置预测得到目标在当前帧中的位置，该预测位置只是指明目标在当前帧中可能会出现的位置，能够缩小目标在视频监控图像中出现的区域范围，也就是说目标有可能出现在预测位置的附近。通常假设目标在很短时间内运动速度是连续的，则在前一帧到当前帧的一个帧内目标出现的位置就可以通过运动预测模型和前一帧中的位置进行预测，估计出目标可能出现的位置，极大缩小目标检测和目标追踪的图像区域，可以避免耗时耗工的全图搜索，本发明实施例中为目标建立的运动预测模型可以是根据多个帧中目标出现的位置，为每一个位置设置相应的系统，进行多次迭代更新，不断的训练这个模型得到，具体的运动预测模型可参阅后续实施例中的说明。

102、在上述预测位置分布的图像区域内根据为上述目标建立的检测模型进行目标检测，得到上述目标的检测位置。

其中，上述检测模型用于通过目标分类器获取在上述预测位置分布的图像区域内存在的上述目标的检测位置。

在本发明实施例中，预测位置分布的图像区域是整个视频监控图像的很小一部分区域，也称之为预测位置的附近区域。为目标建立的检测模型用于在预测位置确定出的图像区域内根据目标的特征对象进行检测，从而通过检测模型找到在预测位置附近的区域内是否出现了该目标的特征对象，可以理解的是认为出现了该目标的特征对象也只能是一个概率问题，可以认为检测到特征符合该目标的特征对象的概率超过了设定的门限值就是出现了该目标的特征对象，从而定义出目标可能出现的位置，本发明中称为对目标的检测位置，可以理解的是，根据建立的检测模型找到的检测位置可能是一个，也可能是多个，此处不做限定。

另外，本发明的一些实施例中，具体可以在上述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；将每个特征值组合输入上述检测模型，计算出上述每个特征值组合是上述目标的概率，生成目标概率列表，该目标概率列表中包括上述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于上述概率门限的概率；计算上述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；根据上述重叠率对上述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，N为非零自然数；从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个上述目标的检测位置。

其中，在预测位置分布的图像区域内在每一个滑窗的搜索位置，都可以认为这是一个目标的疑似检测位置，在每一个疑似检测位置上都可以提取出一个特征值组合，该特征值组合包括多个特征值，具体的，可以使用通用多尺度随机二值特征（MRBP，Multi_ScaleRandomBinaryPattern）来表征目标的特征对象，重叠率指的是两个位置对应的图像块中重叠区域面积占该图像块的概率。

假设概率门限设置为0.5，在10个搜索位置建立了10个疑似检测位置，从这10个疑似检测位置上可以提取出10个特征值组合，其中有4个特征值组合是目标的特征对象的概率分别为0.58、0.89、0.76、0.89，其它6个特征值组合是目标的特征对象的概率都小于0.5，则这4个特征值组合（分别为特征值组合a、特征值组合b、特征值组合c、特征值组合d）对应的4个疑似检测位置（分别为疑似检测位置a、疑似检测位置b、疑似检测位置c、疑似检测位置d）和4个概率值都包括在了目标概率列表，具体可以为如下表1所示：

表1

疑似检测位置a	0.58
		疑似检测位置b	0.89
疑似检测位置c	0.76
		疑似检测位置d	0.89

接下来计算4个疑似检测位置中两两之间的重叠率，即需要计算疑似检测位置a、b对应的图像块中重叠区域面积占a、b组成的图像块的概率，需要计算疑似检测位置a、c对应的图像块中重叠区域面积占a、c组成的图像块的概率，需要计算疑似检测位置a、d对应的图像块中重叠区域面积占a、d组成的图像块的概率，需要计算疑似检测位置b、c对应的图像块中重叠区域面积占b、c组成的图像块的概率，需要计算疑似检测位置b、d对应的图像块中重叠区域面积占b、d组成的图像块的概率，需要计算疑似检测位置c、d对应的图像块中重叠区域面积占c、d组成的图像块的概率，根据计算出的重叠率对这4个疑似检测位置进行聚类，根据重叠率的不同假设得到2个类别的疑似检测位置列表，从各个类别的疑似检测位置列表中选取出各个疑似检测位置列表中概率最大的疑似检测位置作为目标的检测位置，得到目标的2个检测位置。

另外，本发明的一些实施例中，检测模型具体可以是一个基于随机森林的目标分类器，对检测出的特征是否符合该目标的特征进行分类，在目标跟踪开始时，检测模型需要初始化，在目标跟踪的过程中需要不断的迭代更新。

103、在上述预测位置分布的图像区域内根据为上述目标建立的跟踪模型进行目标跟踪，得到上述目标的跟踪位置。

其中，上述的跟踪模型用于根据上述目标在前一帧的视频监控图像中的位置和跟踪特征获取上述目标的跟踪位置。

在本发明的一些实施例中，具体可以首先在上述预测位置分布的图像区域内进行特征检测，得到上述目标在当前帧的视频监控图像中的跟踪特征，以此生成第一跟踪特征列表，第一跟踪特征列表包括上述目标在当前帧的视频监控图像中的跟踪特征。其中，在预测位置分布的图像区域内进行特征检测具体可以使用ORB（OrientedFASTandRotatedBRIEF）特征定义目标的跟踪特征，也可以使用多尺度块特征（multi_scaleorientedpatch，MSOP）来定义目标的跟踪特征，具体可以根据实现场景来判断采取哪种类型的特征，当然也可以用其它描述特征的方式来表征目标的跟踪特征，此处不做限定。

在预测位置分布的图像区域内进行特征检测，得到目标在当前帧的视频监控图像中的跟踪特征，那么按照同样的方式，当在前一帧的视频监控图像中预测出预测位置后，根据前一帧的预测位置就可以同样的获取到目标在前一帧的视频监控图像中的跟踪特征，生成第二跟踪特征列表，第二跟踪特征列表包括上述目标在前一帧的视频监控图像中的跟踪特征，经过比对前后帧的视频图像中的跟踪特征就可以估计出目标可能出现的位置，本发明中定义为目标的跟踪位置。

在实际应用中，可以将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，上述第一跟踪特征列表包括上述目标在当前帧的视频监控图像中的跟踪特征，上述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；根据上述匹配的特征对序列计算变换矩阵，变换矩阵为上述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；根据上述变换矩阵和上述目标的预测位置计算出上述目标的跟踪位置。

其中，变换矩阵由对前后帧的视频监控图像中目标的跟踪特征做前后匹配得到，变换矩阵指明了目标前一帧的跟踪特征变换到当前帧中的变化趋势，通过变换矩阵以及目标在前一帧的位置就可以计算出目标可能出现的位置，本发明中定义为目标的跟踪位置。

104、根据图像位置重叠率对上述检测位置和上述跟踪位置进行加权融合，得到上述目标在当前帧的视频监控图像中的追踪位置。

其中，图像位置重叠率为上述检测位置相对于上述跟踪位置的图像重叠率。

在本发明的一些实施例中，根据每个检测位置和跟踪位置的图像位置重叠率分别为每个检测位置计算权重，然后将每个检测位置与各自权重相乘，最后再与上述跟踪位置进行融合，就可以得到上述目标在当前帧的视频监控图像中的追踪位置。该追踪位置是基于检测位置和跟踪位置的融合，可以更好的表征上述目标在当前帧的视频监控图像中可能出现的位置，本发明中定义为目标的追踪位置。

105、根据上述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对上述目标的追踪。

在确定出目标在当前帧的视频监控图像中的追踪位置之后，就可以根据该追踪位置调整智能监控设备，以使目标实时的出现在智能视频监控设备的监控画面中，实现对目标的实时追踪。

另外，在本发明的一些实施例中，根据图像位置重叠率对上述检测位置和上述跟踪位置进行加权融合，得到上述目标在当前帧的视频监控图像中的追踪位置之后，还可以根据上述目标在当前帧的视频监控图像中的追踪位置更新上述运动预测模型；根据上述目标在当前帧的视频监控图像中的追踪位置更新上述检测模型。

其中，获取到上述目标在当前的视频监控图像中的追踪位置之后，根据这个追踪位置进一步的训练运动预测模型、检测模型和跟踪模型，这种在线学习的方式能够保证该运动预测模型预测出目标的预测位置能够更接近目标在视频监控图像中的位置，同时保证检测模型检测出目标的检测位置更加精准，保证跟踪模型对目标的跟踪更加准确。

由上可见，在本发明实施例中，通过引入运动预测模型预测出目标的预测位置，然后根据预测位置分布的图像区域进行目标检测和目标跟踪，由于只需要在预测位置分布的图像区域即预测位置的附近来做数据处理，故可以避免陷入繁琐的全图搜索，加快目标检测和目标跟踪的效率，以达到实时处理。另外，本发明实施例中通过目标检测和目标跟踪的互补最后融合出目标的追踪位置，增强了目标追踪的鲁棒性，当目标因为遮挡而丢失后，也可以通过检测来继续追踪。

为便于更好的理解和实施本发明实施例的上述方案，下面举例几个应用场景来进行具体说明。

请参阅如图2所示，为本发明目标追踪方法的实现方式示意图，包括：

201、运动预测。根据目标在前一帧的视频监控图像中的位置RT₀，使用运动预测模型VM对目标在当前帧的视频监控图像中的位置进行预测，得到目标的预测位置RT₁。

其中，运动预测方法假设跟踪目标在短时间内运动速度变化是连续的，则可以用多项式来近似描述目标运动速度变化的趋势，运动模型VM具体可以如下公式（1）所示：

$x_1(t+1)=x_0\left(t\right)+v\left(t\right)=x_0\left(t\right)+{\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i---\left(1\right)$

其中，x₀(t)是目标在前一帧的位置值，x₁(t+1)是目标的预测位置值，v(t)是在t时刻到（t＋1）时刻运动速度的预测值，k是多项式的最高阶，a={a₀,a₁,a₂,……,a_k}是多项式系数。根据t时刻观测到的前一帧的位置x₀(t)和t时刻到（t＋1）时间段内的运动速度预测值v(t)，可以预测（t＋1）时刻目标的预测位置x₁(t+1)，从而得到当前帧的目标位置预测值RT₁=x₁(t+1)。

另外，运动模型VM还可以如下公式（2）所示：

$x_1(t+1)=x_0\left(t\right)+v\left(t\right)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5---\left(2\right)$

其中，a₁、a₂、a₃、a₄、a₅为a中的第1、2、3、4、5个值。

另外，上述公式（1）和（2）中，速度函数v(t)中多项式的系数a是通过最小化跟踪目标位置观测值和预测值之间的距离得到，如下公式（3）所示：

$\mathrm{\α}=\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right)---\left(3\right)$

其中，公式（3）中，w是权值衰减系数，m是选取有效结果数量，即距离当前帧的帧数，通过设置m过滤影响较小结果，速度曲线v(t)可以如图3所示，在目标追踪开始时，速度曲线需要初始化，在目标追踪的过程中不断迭代更新。x₀(t)为目标在t时刻的观测位置，x₁(t)为目标在t时刻的预测位置， $\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right)$ 为使 ${\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·\left|\right|x_0\left(t\right)-x_1\left(t\right)\left|\right|$ 取得最小值时上述a的取值。

202、目标检测。在预测位置分布的图像区域内根据检测模型DM进行目标检测，得到目标的检测位置RT₂。

其中，目标检测方法的算法流程包括如下两个步骤，如图4所示：

1．目标检测。首先，通过目标的预测位置RT1可以得到目标分布的图像区域；然后在目标分布的图像区域内，进行多尺度的滑窗搜索，对每个搜索位置都对应一个疑似检测位置，从每个疑似检测位置上提取出一个特征值组合，并将每个特征值组合代入检测模型DM中，计算每个特征值组合是该目标的概率，将概率大于概率门限的特征值组合所对应的疑似检测位置挑出，以及大于概率门限的各个概率挑出，从而得到目标概率列表，其中目标概率列表具体可以为目标列表OL和概率列表PL，即将挑出的疑似检测位置和挑出的概率分别放置在两个列表中。

其中，可以为目标定义MRBP特征进行目标检测。每个MRBP特征是由T组子特征构成的串f表示，T为非零自然数，每个子特征包括区域内的两个块，每个子特征的值是两个块灰度均值的大小关系，若第一块大于第二块，则子特征的值是1，否则子特征的值就是0，如下公式（4）所示：

f=f₁,f₂,f₃,......,f_T（4）

其中，目标的MRBP特征由f₁,f₂,f₃,......,f_T共T组的子特征组成的串f表示，例如f=1,0,1,…,1。MRBP特征的特点是多尺度、随机性，体现在不同的子特征块的尺度s可能不同，子特征中两个块的位置关系r可能不同，如图5所示，以子特征f₁,f₂,f₃为例进行说明，图5中以箭头线表示一个子特征的两个块，则根据子特征f₁,f₂,f₃中每个子特征的两个块的灰度关系，就可以得到各个子特征的值。s、r是在目标追踪前随机生成，而追踪过程中保持不变。

其中，检测模型DM可以是一个基于随机森林的目标分类器，如下表2所示：

表2

其中，该目标分类器共有T个子特征，对应于T个模式，其各个模式对应的检测结果如上表最后一列所示，在进行滑窗搜索时，对每一个搜索位置对应的疑似检测位置提取特征f，输入到检测模型DM中可以得到一个概率值，当概率大于0.5时认为是目标对象（1，正样本），当概率小于0.5时是非目标对象（0，负样本）。在目标追踪开始时，检测模型DM需要初始化，在目标追踪的过程中不断迭代更新。

2.目标聚类。首先计算目标列表OL中，疑似检测位置两两之间的重叠率，将OL中的疑似检测位置按照重叠率进行聚类，得到多个类别的疑似检测位置列表；然后，分别取各类中概率最高的疑似检测位置作为目标检测的结果输出到RT2，RT2中的检测位置个数就是类别的个数，可以是多个，也可以是1个。

203、特征跟踪。根据目标在当前帧的视频监控图像中的跟踪特征F₁、目标在前一帧的视频监控图像中的跟踪特征F₀和目标在前一帧的视频监控图像中的位置RT₀生成目标的跟踪位置RT₃。

其中，特征跟踪方法是基于特征匹配的思想，即通过匹配的特征对，估计图像之间的变换矩阵，从而估计出目标在当前帧的位置，如图6所示为特征跟踪方法的流程示意图，包括：

1.特征提取。通过目标的预测位置RT₁可以得到目标的分布区域，在分布区域里提取ORB（OrientedFASTandRotatedBRIEF）特征，得到特征列表F₁。

2.特征匹配。将目标在前一帧的视频监控图像中的位置RT₀中的跟踪特征F₀匹配到F₁中，得到匹配的特征对的序列，即对F₀中的任意特征F₀(p)，在F₁中找到与之距离最小的特征F₁(s)，作为匹配的特征对，如下公式（5）所示：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||（5）

如图7所示，为特征匹配方法的匹配方式示意图，在位置RT₀中的特征分别为F₀(1)、F₀(2)、F₀(3)匹配到F₁中，则由图7可知，特征F₀(1)和F₁(1)相匹配，作为一对匹配的特征对，特征F₀(2)和F₁(3)相匹配，作为一对匹配的特征对，特征F₀(3)和F₁(4)相匹配，作为一对匹配的特征对。

3.目标定位。根据匹配的特征对，计算前后帧图像之间的变换矩阵H，如下公式（6），从而通过如下公式（7）计算目标在当前帧的视频监控图像中的位置作为跟踪位置RT₃输出。

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，(6)

其中，H为变换矩阵，x₀(d)为F₀(d)对应的位置，F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

RT₃=H·RT₀，（7）

其中，RT₀为目标在前一帧的视频监控图像中的位置，RT₃为目标的跟踪位置。

204、目标融合。根据图像位置重叠率对检测位置RT₂和跟踪位置RT₃进行加权融合，得到目标在当前帧的视频监控图像中的追踪位置RT₄。

其中，目标融合方法通过公式（8）获取目标在当前帧的视频监控图像中的追踪位置RT₄：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),---\left(8\right)$

其中，RT₂(i)为RT₂中的第i个值，RT₂为目标的检测位置，N为RT₂的个数，RT₃为目标的跟踪位置，RT₄为目标的追踪位置，r＝{r₁,r₂,……,r_N}是RT₂中各个检测位置的权值，r₀为归一化系数。

205、在线学习。根据目标在当前帧的视频监控图像中的追踪位置更新运动预测模型；根据目标在当前帧的视频监控图像中的追踪位置更新检测模型；根据目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

其中，在线学习方法主要目的是迭代更新运动预测中的运动预测模型VM，目标检测中的检测模型DM，特征跟踪中的前一帧目标的位置RT₀。

如下分别进行描述:

1.更新运动检测模型VM。将RT₄作为当前帧目标的追踪位置，通过最小化观测值和预测值之间的距离，迭代更新运动模型VM中多项式系数a，如公式（3）所示。

2．更新检测模型DM。首先，将RT₄作为当前帧目标的位置，在和RT₄重叠率大于阈值μ₀的区域内随机切出一部分正样本，在和RT₄重叠率大于0且小于μ₁的区域随机切出一部分负样本，如图8所示。然后，提取正、负样本的特征，分别标记为1、0，通过这些已标记特征迭代更新检测模型DM。

3.更新目标的位置RT₀，目标前一帧的位置更新为RT₀=RT₄，并将当前帧的目标区域RT₄内的特征作为下一帧跟踪的特征F₀=in(F₁,RT4)。

由上可见，在本发明实施例中，通过引入运动预测模型预测出目标的预测位置，然后根据预测位置分布的图像区域进行目标检测和目标跟踪，由于只需要在预测位置分布的图像区域即预测位置的附近来做数据处理，故可以避免陷入繁琐的全图搜索，加快目标检测和目标跟踪的效率，以达到实时处理。另外，本发明实施例中通过目标检测和目标跟踪的互补最后融合出目标的追踪位置，增强了目标追踪的鲁棒性，当目标因为遮挡而丢失后，也可以通过检测来继续追踪。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图9-a所示，本发明实施例提供的一种目标追踪装置900，可以包括：预测模块901、检测模块902、跟踪模块903、融合模块904、追踪模块905，其中，

预测模块901，用于根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；

检测模块902，用于在预测模块901预测出的预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；

跟踪模块903，用于在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；

融合模块904，用于根据图像位置重叠率对检测模块902检测出的检测位置和跟踪模块903追踪到的跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；

追踪模块905，用于根据融合模块904获取到的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

请参阅图9-b所示，在本发明的一些实施例中，目标追踪装置900还可包括：更新模块，用于根据所述目标在当前帧的视频监控图像中的追踪位置更新所述运动预测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述检测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

在本发明的一些实施例中，预测模块901，可以包括：第一获取子模块9011和预测子模块9012，其中，

第一获取子模块9011，用于根据所述运动预测模型获取所述目标在t时刻的运动速度预测值v(t)，其中，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+{\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i,$ 所述所述a_i为a中的第i个值，0≤i≤k，所述a为最小化所述目标的观测位置和预测位置之间的距离得到，所述x₁(t+1)为所述目标的预测位置，所述x₀(t)为所述目标在前一帧的视频监控图像中的位置，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5,$ 所述所述a₁、a₂、a₃、a₄、a₅为所述a中的第1、2、3、4、5个值；

预测子模块9012，用于通过如下方式的运动预测模型和所述运动速度预测值v(t)预测出所述目标的预测位置：x₁(t+1)=x₀(t)+v(t)。

在本发明的一些实施例中，检测模块902，可以包括：搜索子模块9021、第二获取子模块9022、第三获取子模块9023、聚类子模块9024和检测子模块9025，其中，

搜索子模块9021，用于在所述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，根据预设的检测特征从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；

第二获取子模块9022，用于将每个特征值组合的多个特征值输入所述检测模型，计算出所述每个特征值组合是所述目标的概率，生成目标概率列表，所述目标概率列表中包括所述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于所述概率门限的概率；

第三获取子模块9023，用于计算所述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；

聚类子模块9024，用于根据所述重叠率对所述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，所述N为非零自然数；

检测子模块9025，用于从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个所述目标的检测位置。

在本发明的一些实施例中，跟踪模块903，可以包括：第四获取子模块9031、匹配子模块9032、第五获取子模块9033和跟踪子模块9034，其中，

第四获取子模块9031，用于在所述预测位置分布的图像区域内获取所述目标在当前帧的视频监控图像中的跟踪特征，生成第一跟踪特征列表，所述第一跟踪特征列表包括所述目标在当前帧的视频监控图像中的跟踪特征；

匹配子模块9032，用于将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，所述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；

第五获取子模块9033，用于根据所述匹配的特征对序列计算变换矩阵，所述变换矩阵为所述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；

跟踪子模块9034，用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置。

进一步的，所述匹配子模块9032，具体用于将第二跟踪特征列表中的特征与第一跟踪特征列表中的特征进行匹配具体通过如下方式：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||，

其中，所述[F₀(p),F₁(s)]为匹配的特征对序列，其中，所述F₀(p)为所述F₀中的第p个值，所述F₁(s)为所述F₁中的第s个值，所述的目标在当前帧的视频监控图像中的跟踪特征为F₁，所述的目标在前一帧的视频监控图像中的跟踪特征为F₀，所述p、s为非零自然数；

所述第五获取子模块9033，具体用于根据所述匹配的特征对序列计算变换矩阵具体通过如下方式获取：

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，

其中，所述H为变换矩阵，所述x₀(d)为所述F₀(d)对应的位置，所述F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

所述跟踪子模块9034，具体用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置具体通过如下方式获取：

RT₃=H·RT₀，

其中，所述RT₀为所述目标在前一帧的视频监控图像中的位置，所述RT₃为所述目标的跟踪位置。

在本发明的一些实施例中，融合模块904，具体用于通过如下方式获取所述目标在当前帧的视频监控图像中的追踪位置：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),$

其中，所述RT₂(i)为RT₂中的第i个值，所述RT₂为所述目标的检测位置，所述N为所述RT₂的个数，所述RT₃为所述目标的跟踪位置，所述RT₄为所述目标的追踪位置，r＝{r₁,r₂,……,r_N}是所述RT₂中各个检测位置的权值，所述r₀为归一化系数。

需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明前述实施例所示的方法实施例中的叙述，此处不再赘述。

由上可见，在本发明实施例中，通过引入运动预测模型预测出目标的预测位置，然后根据预测位置分布的图像区域进行目标检测和目标跟踪，由于只需要在预测位置分布的图像区域即预测位置的附近来做数据处理，故可以避免陷入繁琐的全图搜索，加快目标检测和目标跟踪的效率，以达到实时处理。另外，本发明实施例中通过目标检测和目标追踪的互补最后融合出目标的追踪位置，增强了目标跟踪的鲁棒性，当目标因为遮挡而丢失后，也可以通过检测来继续追踪。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种目标追踪方法和相关装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种目标追踪方法，其特征在于，包括：

根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；

在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；

在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；

根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；

根据所述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

2.根据权利要求1所述的方法，其特征在于，所述的根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置之后还包括：

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述运动预测模型；

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述检测模型；

根据所述目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

3.根据权利要求1或2所述的方法，其特征在于，所述的根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，包括：

根据所述运动预测模型获取所述目标在t时刻的运动速度预测值v(t)，其中，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+{\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i,$ 所述所述a_i为a中的第i个值，0≤i≤k，所述a为最小化所述目标的观测位置和预测位置之间的距离得到，所述x₁(t+1)为所述目标的预测位置，所述x₀(t)为所述目标在前一帧的视频监控图像中的位置，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5,$ 所述所述a₁、a₂、a₃、a₄、a₅为所述a中的第1、2、3、4、5个值；

通过如下方式的运动预测模型和所述运动速度预测值v(t)预测出所述目标的预测位置：x₁(t+1)=x₀(t)+v(t)。

4.根据权利要求3所述的方法，其特征在于，所述a通过如下方式获取：

$\mathrm{\α}=\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right),$

其中，所述w是权值衰减系数，所述m是距离所述当前帧的帧数，所述x₀(t)为所述目标在t时刻的观测位置，所述x₁(t)为所述目标在t时刻的预测位置，所述 $\arg \min ({\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·||x_0\left(t\right)-x_1\left(t\right)|\left|\right)$ 为使 ${\mathrm{\Σ}}_{t=n-m+1}^n{w}^{n-t}\·\left|\right|x_0\left(t\right)-x_1\left(t\right)\left|\right|$ 取得最小值时所述a的取值。

5.根据权利要求1或2所述的方法，其特征在于，所述的在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，包括：

在所述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，根据预设的检测特征从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；

将每个特征值组合的多个特征值输入所述检测模型，计算出所述每个特征值组合是所述目标的概率，生成目标概率列表，所述目标概率列表中包括所述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于所述概率门限的概率；

计算所述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；

根据所述重叠率对所述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，所述N为非零自然数；

从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个所述目标的检测位置。

6.根据权利要求1或2所述的方法，其特征在于，所述的在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，包括：

在所述预测位置分布的图像区域内获取所述目标在当前帧的视频监控图像中的跟踪特征，生成第一跟踪特征列表，所述第一跟踪特征列表包括所述目标在当前帧的视频监控图像中的跟踪特征；

将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，所述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；

根据所述匹配的特征对序列计算变换矩阵，所述变换矩阵为所述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；

根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置。

7.根据权利要求6所述的方法，其特征在于，所述的目标在当前帧的视频监控图像中的跟踪特征为F₁，所述的目标在前一帧的视频监控图像中的跟踪特征为F₀，

所述的将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配具体通过如下方式：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||，

其中，所述[F₀(p),F₁(s)]为匹配的特征对序列，其中，所述F₀(p)为所述F₀中的第p个值，所述F₁(s)为所述F₁中的第s个值，所述p、s为非零自然数；

所述的根据所述匹配的特征对序列计算变换矩阵具体通过如下方式获取：

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，

其中，所述H为变换矩阵，所述x₀(d)为所述F₀(d)对应的位置，所述F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

所述的根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置具体通过如下方式获取：

RT₃=H·RT₀，

其中，所述RT₀为所述目标在前一帧的视频监控图像中的位置，所述RT₃为所述目标的跟踪位置。

8.根据权利要求1或2所述的方法，其特征在于，所述的根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，包括：

通过如下方式获取所述目标在当前帧的视频监控图像中的追踪位置：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),$

其中，所述RT₂(i)为RT₂中的第i个值，所述RT₂为所述目标的检测位置，所述N为所述RT₂的个数，所述RT₃为所述目标的跟踪位置，所述RT₄为所述目标的追踪位置，r＝{r₁,r₂,……,r_N}是所述RT₂中各个检测位置的权值，所述r₀为归一化系数。

9.一种目标追踪装置，其特征在于，包括：

预测模块，用于根据目标在前一帧的视频监控图像中的位置，使用为所述目标建立的运动预测模型对所述目标在当前帧的视频监控图像中的位置进行预测，得到所述目标的预测位置，所述运动预测模型用于描述所述目标的运动速度和位移随时间变化的趋势；

检测模块，用于在所述预测位置分布的图像区域内根据为所述目标建立的检测模型进行目标检测，得到所述目标的检测位置，所述检测模型用于通过目标分类器获取在所述预测位置分布的图像区域内存在的所述目标的检测位置；

跟踪模块，用于在所述预测位置分布的图像区域内根据为所述目标建立的跟踪模型进行目标跟踪，得到所述目标的跟踪位置，所述的跟踪模型用于根据所述目标在前一帧的视频监控图像中的位置和跟踪特征获取所述目标的跟踪位置；

融合模块，用于根据图像位置重叠率对所述检测位置和所述跟踪位置进行加权融合，得到所述目标在当前帧的视频监控图像中的追踪位置，所述图像位置重叠率为所述检测位置相对于所述跟踪位置的图像重叠率；

追踪模块，用于根据所述目标在当前帧的视频监控图像中的追踪位置调整智能视频监控设备，实现对所述目标的追踪。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：更新模块，用于根据所述目标在当前帧的视频监控图像中的追踪位置更新所述运动预测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述检测模型；根据所述目标在当前帧的视频监控图像中的追踪位置更新所述跟踪模型。

11.根据权利要求9或10所述的装置，其特征在于，所述预测模块，包括：

第一获取子模块，用于根据所述运动预测模型获取所述目标在t时刻的运动速度预测值v(t)，其中，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+{\mathrm{\Σ}}_{i=0}^k{a}_i\·t^i,$ 所述所述a_i为a中的第i个值，0≤i≤k，所述a为最小化所述目标的观测位置和预测位置之间的距离得到，所述x₁(t+1)为所述目标的预测位置，所述x₀(t)为所述目标在前一帧的视频监控图像中的位置，

若所述运动预测模型为： $x_1(t+1)=x_0\left(t\right)+a_1\·e^{(a_2\·t+a_3)}+a_4\·t+a_5,$ 所述所述a₁、a₂、a₃、a₄、a₅为所述a中的第1、2、3、4、5个值；

预测子模块，用于通过如下方式的运动预测模型和所述运动速度预测值v(t)预测出所述目标的预测位置：x₁(t+1)=x₀(t)+v(t)。

12.根据权利要求9或10所述的装置，其特征在于，所述检测模块，包括：

搜索子模块，用于在所述预测位置分布的图像区域内进行多尺度的滑窗搜索，其中，在每个搜索位置对应一个疑似检测位置，根据预设的检测特征从每个疑似检测位置上提取出一个特征值组合，每一个特征值组合包括多个特征值；

第二获取子模块，用于将每个特征值组合的多个特征值输入所述检测模型，计算出所述每个特征值组合是所述目标的概率，生成目标概率列表，所述目标概率列表中包括所述概率大于概率门限的特征值组合所对应的疑似检测位置以及大于所述概率门限的概率；

第三获取子模块，用于计算所述目标概率列表中包括的概率大于概率门限的特征值组合所对应的疑似检测位置中两两之间的重叠率；

聚类子模块，用于根据所述重叠率对所述概率大于概率门限的特征值组合所对应的疑似检测位置进行聚类，得到N个类别的疑似检测位置列表，其中，所述N为非零自然数；

检测子模块，用于从每个类别的疑似检测位置列表中分别选取各个疑似检测位置列表中概率最大的疑似检测位置作为所述目标的检测位置，得到N个所述目标的检测位置。

13.根据权利要求9或10所述的装置，其特征在于，所述跟踪模块，包括：

第四获取子模块，用于在所述预测位置分布的图像区域内获取所述目标在当前帧的视频监控图像中的跟踪特征，生成第一跟踪特征列表，所述第一跟踪特征列表包括所述目标在当前帧的视频监控图像中的跟踪特征；

匹配子模块，用于将第二跟踪特征列表中的跟踪特征与第一跟踪特征列表中的跟踪特征进行匹配，得到匹配的特征对序列，所述第二跟踪特征列表包括所述目标在前一帧的视频监控图像中的跟踪特征；

第五获取子模块，用于根据所述匹配的特征对序列计算变换矩阵，所述变换矩阵为所述目标在当前帧的视频监控图像中的位置和在前一帧的视频监控图像中的位置之间的变换关系；

跟踪子模块，用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置。

14.根据权利要求13所述的装置，其特征在于，所述匹配子模块，具体用于将第二跟踪特征列表中的特征与第一跟踪特征列表中的特征进行匹配具体通过如下方式：

[F₀(p),F₁(s)]=argmin||F₀(p)-F₁(s)||，

其中，所述[F₀(p),F₁(s)]为匹配的特征对序列，其中，所述F₀(p)为F₀中的第p个值，F₁(s)为所述F₁中的第s个值，所述的目标在当前帧的视频监控图像中的跟踪特征为F₁，所述的目标在前一帧的视频监控图像中的跟踪特征为F₀，所述p、s为非零自然数；

所述第五获取子模块，具体用于根据所述匹配的特征对序列计算变换矩阵具体通过如下方式获取：

H＝argmin(Σ|x₁(d)-H·x₀(d)|)，

其中，所述H为变换矩阵，所述x₀(d)为所述F₀(d)对应的位置，所述F₀(d)为所述F₀中的第d个值，所述x₁(d)为所述F₁(d)对应的位置，所述F₁(d)为所述F₁中的第d个值，所述d为非零自然数；

所述跟踪子模块，具体用于根据所述变换矩阵和所述目标在前一帧的视频监控图像中的位置计算出所述目标的跟踪位置具体通过如下方式获取：

RT₃=H·RT₀，

其中，所述RT₀为所述目标在前一帧的视频监控图像中的位置，所述RT₃为所述目标的跟踪位置。

15.根据权利要求9或10所述的装置，其特征在于，所述融合模块，具体用于通过如下方式获取所述目标在当前帧的视频监控图像中的追踪位置：

${\mathrm{RT}}_4=r_0({\mathrm{\Σ}}_{i=1}^N{r}_i\·{\mathrm{RT}}_2\left(i\right)+{\mathrm{RT}}_3),$

其中，所述RT₂(i)为RT₂中的第i个值，所述RT₂为所述目标的检测位置，所述N为所述RT₂的个数，所述RT₃为所述目标的跟踪位置，所述RT₄为所述目标的追踪位置，r＝{r₁,r₂,……,r_N}是所述RT₂中各个检测位置的权值，所述r₀为归一化系数。