CN105701840A - 视频中多物体实时追踪系统及其实现方法 - Google Patents

Abstract

本发明公开了一种视频中多物体实时追踪系统及其实现方法，该系统包括在线视频播放器、OpenCV解码器、RAW数据处理器、智能跟踪器、以及输出设备，其特征在于：所述智能跟踪器包括三通道RGB图像转换模块、高斯模糊处理模块、三矩形汉宁窗模块、傅里叶变换和快速傅里叶变换模块、跟踪算法模块、以及多目标跟踪模块。本发明的有益效果是，通过核心计算对三矩形汉宁窗模块的有效判断，在只进行半个一维计算的状态下就可以得到所需的最终二维汉宁窗值，速度极快。通过对跟踪算法模块中的计算公式优化设计加速实现了跟踪算法值。精准度也大幅提高。

Description

视频中多物体实时追踪系统及其实现方法

技术领域

本发明涉及视频技术领域，尤其是涉及一种视频中多物体实时追踪的系统及其实现方法。

背景技术

人类在获取外部信息的过程中，80％的信息是由视觉获得的。说明通过视觉获取的信息量大、利用率高。同时也说明了赋予机器人类视觉功能对发展智能机器是及其重要的。

随着计算机技术、图像传感技术及信息处理技术的发展，人们成功的通过图像获取装置获取外部信息，根据像素分布、亮度和颜色等信息转化为数字信息，供其分析处理的过程，形成了一门独立的学科——计算机视觉。

在视频中跟踪快速移动的物体有助于对指定目标的精准定位和相应信息的准确传递，是图像处理、人工智能识别等技术基础。

现有技术在跟踪过程中往往存在计算速度慢、精准度不够等不足。为了解决上述问题，本案发明人结合自身经验研发了一种计算速度快且精准度高的视频中多物体实时追踪系统，并提出了其实现的方法。

发明内容

本发明的目的在于提供一种结构科学合理、计算速度快且精准度高的视频中多物体实时追踪系统及其实现方法。

为实现上述目的，本发明提供如下技术方案：

本发明首先提供了一种视频中多物体实时追踪系统，该系统包括在线视频播放器、OpenCV解码器、RAW数据处理器、智能跟踪器、以及输出设备，其特征在于：所述智能跟踪器包括用以将经过所述RAW数据处理器格式加工后的图像转换成灰度图的三通道RGB图像转换模块、用以获取图像样本模板的高斯模糊处理模块、用以消除跟踪过程中所出现的高频干扰和漏能的三矩形汉宁窗模块、用以将经过上述模块处理后的图片信息分解成幅值谱并进行初步计算的傅里叶变换和快速傅里叶变换模块、跟踪算法模块、以及多目标跟踪模块。

本发明还提供了一种视频中多物体实时追踪的实现方法，该方法包括以下步骤：

步骤S01、打开任意多个在线视频，在任意想追踪的多个物体上均用鼠标拉一个小框，该小框内的图像内容将被定为目标物体；

步骤S02、利用OpenCV解码器将上述步骤S01中所选定的目标物体进行图像解码；

步骤S03、利用RAW数据处理器对上述步骤S02中解码后的图像进行加工处理，该加工处理主要包括给解码后的原始图像添加噪声扰动、光照扰动、以及白化扰动，以提高上述原始图像在跟踪过程中对环境的适应能力，同时利用三矩形汉宁窗模块消除跟踪过程中所出现的高频干扰和漏能；

步骤S04、将经过上述步骤S03中加工处理后的目标物体及其区域作为指定目标，并利用三通道RGB图像转换模块将该指定目标所对应的图像转换成灰度图，以便减少信息量，提升运算速度；

步骤S05、将上述步骤S04中经过三通道RGB图像转换模块转换后的指定目标的尺寸扩大1.5倍，得到可以作为跟踪检测的有效区域样本模板；

步骤S06、任意取下一帧画面信息与上述步骤S05中所得到的样本模板进行平移比对，并利用跟踪算法模块来快速精准判断指定目标在下一帧的准确位置和尺寸大小；

步骤S07、同样利用跟踪算法模块实现多个指定目标跟踪锁定。

本发明的有益效果是，通过核心计算对三矩形汉宁窗模块的有效判断，在只进行半个一维计算的状态下就可以得到所需的最终二维汉宁窗值，速度极快。通过对跟踪算法模块中的计算公式优化设计加速实现了跟踪算法值。精准度也大幅提高。

附图说明

图1是本发明：视频中多物体实时追踪系统的框架示意图；

图2是本发明：视频中多物体实时追踪的实现方法的结构图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示的一种视频中多物体实时追踪系统，该系统包括在线视频播放器1、OpenCV解码器2、RAW数据处理器3、智能跟踪器4、以及输出设备5。其中，所述智能跟踪器4包括用以将经过所述RAW数据处理器3格式加工后的图像转换成灰度图的三通道RGB图像转换模块41、用以获取图像样本模板的高斯模糊处理模块42、用以消除跟踪过程中所出现的高频干扰和漏能的三矩形汉宁窗模块43、用以将经过上述模块处理后的图片信息分解成幅值谱并进行初步计算的傅里叶变换和快速傅里叶变换模块44、跟踪算法模块45、以及多目标跟踪模块46。在所述智能跟踪器4中还内置有一可动态设置比对尺寸的物体形变及尺度变化自适应模块47。

其中，所述三矩形汉宁窗模块43为只进行x方向和y方向计算的二维汉宁窗模块，该二维汉宁窗模块的运行计算如下式所示：

$h\left(n\right)=\{0.5-0.5cos\left(\frac{2\mathrm{\π}n}{N-1}\right)$ 其中，(0≤n＜N-1)

h(n)表示高频脉冲响应，N为波长；

为了满足苛刻的时间要求，实现实时跟踪，本发明首先对x方向和y方向上的汉宁窗N值进行判断，若Nx＝Ny，则，本发明只需计算x方向上的汉宁窗，不计算y方向，并将所得计算值直接进行矩阵相乘，进而得到所需的最终二维汉宁窗值；

其中，当n为偶数时，只需计算x方向上0ˉ(n/2)-1的汉宁窗值，

当n为奇数时，只需计算x方向上0ˉ((n+1)/2)-1的汉宁窗值，至此，x方向上一维的汉宁窗计算完毕，进而可得，本发明是将上述二维汉宁窗模块的运行计算转化成了半个一维计算。

如图2所示的一种视频中多物体实时追踪的实现方法，该实现方法包括以下步骤：

步骤S01、选目标：打开任意多个在线视频，在任意想追踪的多个物体上均用鼠标拉一个小框，该小框内的图像内容将被定为目标物体；

步骤S02、解码：利用OpenCV解码器将上述步骤S01中所选定的目标物体进行图像解码；

步骤S03、加工处理：利用RAW数据处理器对上述步骤S02中解码后的图像进行加工处理，该加工处理主要包括给解码后的原始图像添加噪声扰动、光照扰动、以及白化扰动，以提高上述原始图像在跟踪过程中对环境的适应能力，同时利用三矩形汉宁窗模块消除跟踪过程中所出现的高频干扰和漏能；

步骤S04、转换为指定目标：将经过上述步骤S03中加工处理后的目标物体及其区域作为指定目标，并利用三通道RGB图像转换模块将该指定目标所对应的图像转换成灰度图，以便减少信息量，提升运算速度；

步骤S05、扩大尺寸：将上述步骤S04中经过三通道RGB图像转换模块转换后的指定目标的尺寸扩大1.5倍，得到可以作为跟踪检测的有效区域样本模板；

步骤S06、模板匹配计算：任意取下一帧画面信息与上述步骤S05中所得到的样本模板进行平移比对，并利用跟踪算法模块来快速精准判断指定目标在下一帧的准确位置和尺寸大小。该跟踪算法最根本的本质在于模板匹配，现有同类技术的模板匹配速度极慢，而本发明所提供的模板匹配技术有三大特点：

1)不仅会匹配正样本，也会匹配负样本，从而提高了正负样本的区分性，而同类技术的模板匹配只匹配正样本。

2)基于人体图像特征在频率域进行匹配，而通常的模板匹配算法是基于像素匹配并且是在空间域做的，效果差，速度慢。为了对人体图像特征的计算进行加速，本发明使用了Intel的SSE2指令集进行了加速。

3)本发明采取了类似于SVM的核函数来将低维度的非线性分类问题映射到高维度的线性分类问题，其中，本发明使用的是高斯核函数。

所述步骤S06中所述的跟踪算法模块将通过如下分步骤来实现加速计算：

步骤S061、模板训练：给跟踪算法模块假设并给定一些模板训练样本及其回归值，如{(x₁，y₁)，(x₂，y₂)，...，(x_i，y_i)，...}；

步骤S062、找函数：使得该模板训练样本的最终目标是找到一个函数f(z)＝w^Tz，并使得如下残差函数最小：

$\underset{w}{\min }\underset{i}{\Σ}{\left(f\right(x_i)-y_i)}^2+\mathrm{\λ}\left|\right|w|{|}^2$

步骤S063、给出系数表示公式：将要求解的系数W表示为以下形式：

进而使最终要求解的参数由w变为系数Alpha且表示如下式：

$f\left(z\right)=w^{T}z=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i\mathrm{\κ}(z,x_i))$

其中，系数表示从低纬度空间向高纬度空间映射的函数；

步骤S064、求系数值：用如下公式求得系数Alpha在频域空间的值：

${\widehat{\mathrm{\α}}}^{*}=\frac{\hat{y}}{{\hat{k}}^{xx}+\mathrm{\λ}}$

其中：

步骤S065、获得响应公式：在得到系数alpha值后，通过如下公式获得响应：

其中，参数λ＝0.0001，取这个参数的目的是为了防止分母出现较小的值导致结构溢出；。

步骤S066、跟踪保存：每一帧跟踪完毕后，瞬间保存为一个模板供下次使用，其中，模板的更新率为0.015秒，每一帧最多的尺寸变化率支持1.5％—2.6％；

步骤S067、跟踪缩放：将待跟踪目标的窗口尺寸按比例缩小到64x64，并将搜索范围扩大2.5倍，以加速实现该跟踪算法。

步骤S07、多目标跟踪：同样利用跟踪算法模块实现多个指定目标跟踪锁定。

所述步骤S07中所述的多个指定目标跟踪锁定，包括至少使用了多线程和多进程两种方式来实现，其中，所述多线程和多进程可以很方便的在程序中通过宏来切换。

其中，多线程版本速度快，多进程版本模块独立。程序的流程是，每当用户需要跟踪一个新的目标，通过信号量唤醒提前开辟好的线程池中的一个一个线程，该线程得到该帧图像和目标位置后调用该算法(因此，该算法在编码的时候也实现了线程安全性)进行目标跟踪，同时主线程wait。举例：如果有2个目标同时在被跟踪，就要启动2个WorkThread来进行跟踪，每一个目标占用一个线程。每一个线程跟踪完毕该帧图像后，会发出一个信号量给主线程，告诉主线程“我干完了，其他线程干没干完我不知道”。当主线程接受到了所有目标线程发出的消息后，接下来就轮到主线程来显示跟踪结果了。本发明还给主线程配置了一套镜头切换检测算法，这个时候主线程会询问该镜头切换检测算法当前帧是否镜头切换了，如果镜头切换了，那么主线程认为所有跟踪目标丢失，如果没有镜头切换发生，那么主线程将所有跟踪的目标框显示在视频上。

综上所述，本发明所述的各算法无时无刻不在考虑着速度的问题，本发明所述技术在笔记本i5cpu上，Video分辨率1280x720，运行不支持规模性的算法速度为4ms/帧(fps＝250)，运行支持规模性的算法速度为12ms/帧(fps＝83)，完全可以满足实时直播的需求。而同类算法TLD，在这么大的分辨率下，至少需要500ms/帧(fps＝2)。对于多目标而言，由于采取了多线程，在本技术的双核4线程上跟踪4个目标，支持规模性的版本速度为20ms/帧，也可以达到实时。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.视频中多物体实时追踪系统，该系统包括在线视频播放器、OpenCV解码器、RAW数据处理器、智能跟踪器、以及输出设备，其特征在于：所述智能跟踪器包括用以将经过所述RAW数据处理器格式加工后的图像转换成灰度图的三通道RGB图像转换模块、用以获取图像样本模板的高斯模糊处理模块、用以消除跟踪过程中所出现的高频干扰和漏能的三矩形汉宁窗模块、用以将经过上述模块处理后的图片信息分解成幅值谱并进行初步计算的傅里叶变换和快速傅里叶变换模块、跟踪算法模块、以及多目标跟踪模块。

2.根据权利要求1所述的视频中多物体实时追踪系统，其特征在于：在所述智能跟踪器中还内置有一可动态设置比对尺寸的物体形变及尺度变化自适应模块。

3.根据权利要求1所述的视频中多物体实时追踪系统，其特征在于：所述三矩形汉宁窗模块为只进行x方向和y方向计算的二维汉宁窗模块，该二维汉宁窗模块的运行计算如下式所示：

$h\left(n\right)=\{0.5-0.5cos\left(\frac{2\mathrm{\π}n}{N-1}\right)$ 其中，(0≤n＜N-1)

h(n)表示高频脉冲响应，N为波长；

为了满足苛刻的时间要求，实现实时跟踪，本发明首先对x方向和y方向上的汉宁窗N值进行判断，若Nx＝Ny，则，本发明只需计算x方向上的汉宁窗，不计算y方向，并将所得计算值直接进行矩阵相乘，进而得到所需的最终二维汉宁窗值；

其中，当n为偶数时，只需计算x方向上0ˉ(n/2)-1的汉宁窗值，

当n为奇数时，只需计算x方向上0ˉ((n+1)/2)-1的汉宁窗值，至此，x方向上一维的汉宁窗计算完毕，进而可得，本发明是将上述二维汉宁窗模块的运行计算转化成了半个一维计算。

4.一种视频中多物体实时追踪的实现方法，其特征在于，该实现方法包括以下步骤：

步骤S01、打开任意多个在线视频，在任意想追踪的多个物体上均用鼠标拉一个小框，该小框内的图像内容将被定为目标物体；

步骤S02、利用OpenCV解码器将上述步骤S01中所选定的目标物体进行图像解码；

步骤S03、利用RAW数据处理器对上述步骤S02中解码后的图像进行加工处理，该加工处理主要包括给解码后的原始图像添加噪声扰动、光照扰动、以及白化扰动，以提高上述原始图像在跟踪过程中对环境的适应能力，同时利用三矩形汉宁窗模块消除跟踪过程中所出现的高频干扰和漏能；

步骤S04、将经过上述步骤S03中加工处理后的目标物体及其区域作为指定目标，并利用三通道RGB图像转换模块将该指定目标所对应的图像转换成灰度图，以便减少信息量，提升运算速度；

步骤S05、将上述步骤S04中经过三通道RGB图像转换模块转换后的指定目标的尺寸扩大1.5倍，得到可以作为跟踪检测的有效区域样本模板；

步骤S06、任意取下一帧画面信息与上述步骤S05中所得到的样本模板进行平移比对，并利用跟踪算法模块来快速精准判断指定目标在下一帧的准确位置和尺寸大小；

步骤S07、同样利用跟踪算法模块实现多个指定目标跟踪锁定。

5.根据权利要求4所述的一种视频中多物体实时追踪的实现方法，其特征在于，所述步骤S06中所述的跟踪算法模块将通过如下步骤来实现加速计算：

步骤S061、给跟踪算法模块假设并给定一些模板训练样本及其回归值，如(x₁，y₁)，(x₂，y₂)，...，(x_i，y_i)，...}；

步骤S062、使得该模板训练样本的最终目标是找到一个函数f(z)＝w^Tz，并使得如下残差函数最小：

$\underset{w}{\min }\underset{i}{\Σ}{\left(f\right(x_i)-y_i)}^2+\mathrm{\λ}\left|\right|w|{|}^2$

步骤S063、将要求解的系数W表示为以下形式：

进而使最终要求解的参数由w变为系数Alpha且表示如下式：

$f\left(z\right)=w^{T}z=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i\mathrm{\κ}\left(z,x_i\right))$

其中，系数表示从低纬度空间向高纬度空间映射的函数；

步骤S064、用如下公式求得系数Alpha在频域空间的值：

${\widehat{\mathrm{\α}}}^{*}=\frac{\hat{y}}{{\hat{k}}^{xx}+\mathrm{\λ}}$

其中：

步骤S065、在得到系数alpha值后，通过如下公式获得响应：

其中，参数λ＝0.0001，取这个参数的目的是为了防止分母出现较小的值导致结构溢出；。

步骤S066、每一帧跟踪完毕后，瞬间保存为一个模板供下次使用，其中，模板的更新率为0.015秒，每一帧最多的尺寸变化率支持1.5％—2.6％；

步骤S067、将待跟踪目标的窗口尺寸按比例缩小到64x64，并将搜索范围扩大2.5倍，以加速实现该跟踪算法。

6.根据权利要求4所述的一种视频中多物体实时追踪的实现方法，其特征在于，所述步骤S07中所述的多个指定目标跟踪锁定，包括至少使用了多线程和多进程两种方式来实现，其中，所述多线程和多进程可以很方便的在程序中通过宏来切换。