CN102930556A - 实现多摄像机目标跟踪的视频图像结构化描述处理的方法 - Google Patents

Abstract

本发明涉及一种计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，属于视频处理技术领域。本发明的方法中，多个摄像机分别对视频图像进行分割，提取目标；跟踪目标；更新目标特征模型；并进行目标的显著特征提取；而后系统计算各目标之间的距离，并匹配相同的目标，进而控制多个摄像机进行目标的协同跟踪；最终对目标进行结构化描述产生对应的文本信息，能够应用于对于重要目标的视频跟踪检索。利用该方法，大幅降低了监控人员的工作强度，提高了视频检索的准确性和效率，且本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其实现方式简便，成本低廉，应用范围广泛。

Description

实现多摄像机目标跟踪的视频图像结构化描述处理的方法

技术领域

本发明涉及视频处理技术领域，特别涉及多摄像头目标跟踪技术领域，具体是指一种实现多摄像机目标跟踪的视频图像结构化描述处理的方法。

背景技术

随着计算机视觉的发展和安全防控意识的增强，视频监控技术得到了充分重视和有力推动。由于视频监控中真正需要干预的只是一些发生概率较小的事件，安全监控人员不可能长时间不间断地将注意力集中在大量的监控视频上，注意力的降低将极大地影响监控的及时性和有效性，因此如何有效地、自动地跟踪与分析目标越来越受到人们的关注。

各国研究者在基于视频的目标跟踪与分析方面也取得了一些值得关注的研究成果。视频结构化描述是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

视频结构化描述技术紧紧抓住视频内容信息处理和网络化共享应用的主线，力争经过若干年的技术攻关和系统建设，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为公安工作可用的情报；实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能;全方位拓展视频在警务工作中的应用模式，大幅度提高技术的易用性，实现以业务民警为中心的随时随地的灵活、简单和多样的视频按需服务应用。

然而，现有的研究大多是基于单个摄像机的，其缺点是监控范围非常有限且存在场景遮挡问题。采用多摄机进行实时目标跟踪与分析可以扩展信息采集的区域，从而扩大监视范围和角度，有助于解决单个摄像机中目标遮挡及景深难题，有效克服单个摄像机中存在的盲点问题。多摄像机条件提供了比单个摄像机更丰富的目标信息，因此有效地融合这些信息将在目标跟踪与分析理解中将发挥更大的作用。

目前监控摄像机布设范围较广，多摄像机的目标跟踪在广域监控场景中倍受关注。如何有效地融合不同摄像机间的有用数据，如何自动、及时地提取运动目标，进行可靠地分析，如何使监控技术在复杂的自然环境和多变的运动目标跟踪中具有稳定性，成为该领域亟待解决的问题。这些技术的研究将进一步促进监控系统的自动化、智能化，大大降低了监控人员的工作强度。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种结合多个摄像机采集的图像，对同一目标进行检测、跟踪、匹配，并在此基础上实现对目标的协同跟踪，进而对目标进行结构化描述，最终实现对于重要目标的视频跟踪检索，从而大幅降低监控人员的工作强度，提高视频检索的准确性和效率，且实现方式简便，成本低廉，应用范围广泛的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法。

为了实现上述的目的，所述的计算机系统连接有多个摄像机，本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法包括以下步骤：

（1）所述的多个摄像机对所拍摄的视频图像进行分割，提取目标；

（2）所述的多个摄像机对各自提取的目标进行跟踪；

（3）所述的多个摄像机对各自跟踪的目标更新目标特征模型；

（4）所述的多个摄像机对各自跟踪的目标进行显著特征提取；

（5）所述的系统计算各目标之间的距离；

（6）所述的系统判断各目标间是否匹配，若是，则进入步骤（7），若否，则返回步骤（1）；

（7）所述的系统控制所述的多个摄像机进行目标协同跟踪；

（8）所述的系统对目标进行结构化描述产生对应的文本信息。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（1）包括以下步骤：

（11）所述的各摄像机采集图像序列；

（12）所述的各摄像机根据所采集的图像序列基于高斯混合背景建模进行图像分割，获得运动的目标。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的多个摄像机对各自提取的目标进行跟踪，具体为：所述的各摄像机基于改进的三维背景加权颜色直方图的均值漂移和卡尔曼滤波对目标进行跟踪。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（3）具体包括以下步骤：

（31）所述的各摄像机，在所述的采用均值漂移和卡尔曼滤波对目标进行跟踪的过程中，进行干扰检测；

（32）所述的各摄像机对于干扰检测结果的强弱，根据不同的比例因子对卡尔曼滤波预测结果与均值漂移结果进行线性加权；

（33）所述的各摄像机对所跟踪的目标的特征模型进行在线更新。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（4）具体包括以下步骤：

（41）所述的各摄像机对分割获得的区域进行多级小波变换，并用零树结构表示；

（42）所述的各摄像机根据所述的零树结构构造显著图；

（43）所述的各摄像机根据所述显著图查找显著点并进行显著点数目自适应控制；

（44）所述的各摄像机对显著点提取显著值及其周围的颜色信息作为显著特征。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（5）具体包括以下步骤：

（51）所述的系统根据各目标的显著特征判断相似的目标；

（52）所述的系统根据各摄像机之间的距离计算各相似目标之间的欧氏距离。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（6）具体包括以下步骤：

（61）所述的系统建立各目标的局部特征模型；

（62）所述的系统根据所述的各目标的局部特征模型，对所述各摄像机跟踪的目标进行匹配，查找相同的目标。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（7）具体包括以下步骤：

（71）所述的系统根据所述的匹配结果，控制跟踪所匹配的目标的多个摄像机进行目标协同跟踪；

（72）所述的系统将所匹配的目标的显著特征与系统的目标模型库进行直接匹配。

该计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，所述的步骤（8）具体包括以下步骤：

（81）所述的系统根据目标的显著特征对目标进行对象识别；

（82）所述的系统根据对象识别结果查询系统的描述信息库，获取对应的描述信息；

（83）所述的系统根据所述的描述信息产生可供计算机和人理解的文本信息。

采用了该发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，多个摄像机分别对视频图像进行分割，提取目标；跟踪目标；更新目标特征模型；并进行目标的显著特征提取；而后系统计算各目标之间的距离，并匹配相同的目标，进而控制多个摄像机进行目标的协同跟踪；最终对目标进行结构化描述产生对应的文本信息，能够应用于对于重要目标的视频跟踪检索。利用本发明的方法，能够大幅降低监控人员的工作强度，提高了视频检索的准确性和效率，且本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其实现方式简便，成本低廉，应用范围广泛。

附图说明

图1为本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法的步骤流程图。

图2为本发明实际应用中的基于两个摄像机信息融合的视频结构化描述方法示意图。

图3为本发明的实际应用中目标模型建立与更新过程示意图。

图4为本发明的实际应用中视频结构化描述过程示意图。

图5为本发明的小波系数之间的零树结构关系示意图。

具体实施方式

为了能够更清楚地理解本发明的技术页面，特举以下实施例详细说明。

请参阅图1所示，为本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法的步骤流程图。

在一种实施方式中，所述的计算机系统连接有多个摄像机，所述的方法包括以下步骤：

（1）所述的多个摄像机对所拍摄的视频图像进行分割，提取目标；

（2）所述的多个摄像机对各自提取的目标进行跟踪；

（3）所述的多个摄像机对各自跟踪的目标更新目标特征模型；

（4）所述的多个摄像机对各自跟踪的目标进行显著特征提取；

（5）所述的系统计算各目标之间的距离；

（6）所述的系统判断各目标间是否匹配，若是，则进入步骤（7），若否，则返回步骤（1）；

（7）所述的系统控制所述的多个摄像机进行目标协同跟踪；

（8）所述的系统对目标进行结构化描述产生对应的文本信息。

在一种较优选的实施方式中，所述的步骤（1）包括以下步骤：

（11）所述的各摄像机采集图像序列；

（12）所述的各摄像机根据所采集的图像序列基于高斯混合背景建模进行图像分割，获得运动的目标。

在另一种较优选的实施方式中，所述的多个摄像机对各自提取的目标进行跟踪，具体为：

所述的各摄像机基于改进的三维背景加权颜色直方图的均值漂移和卡尔曼滤波对目标进行跟踪，所述的步骤（3）具体包括以下步骤：

（31）所述的各摄像机，在所述的采用均值漂移和卡尔曼滤波对目标进行跟踪的过程中，进行干扰检测；

（32）所述的各摄像机对于干扰检测结果的强弱，根据不同的比例因子对卡尔曼滤波预测结果与均值漂移结果进行线性加权；

（33）所述的各摄像机对所跟踪的目标的特征模型进行在线更新。

在进一步优选的实施方式中，所述的步骤（4）具体包括以下步骤：

（41）所述的各摄像机对分割获得的区域进行多级小波变换，并用零树结构表示；

（42）所述的各摄像机根据所述的零树结构构造显著图；

（43）所述的各摄像机根据所述显著图查找显著点并进行显著点数目自适应控制；

（44）所述的各摄像机对显著点提取显著值及其周围的颜色信息作为显著特征。

在更进一步优选的实施方式中，所述的步骤（5）具体包括以下步骤：

（51）所述的系统根据各目标的显著特征判断相似的目标；

（52）所述的系统根据各摄像机之间的距离计算各相似目标之间的欧氏距离。

在更优选的实施方式中，所述的步骤（6）具体包括以下步骤：

（61）所述的系统建立各目标的局部特征模型；

（62）所述的系统根据所述的各目标的局部特征模型，对所述各摄像机跟踪的目标进行匹配，查找相同的目标。

所述的步骤（7）具体包括以下步骤：

（71）所述的系统根据所述的匹配结果，控制跟踪所匹配的目标的多个摄像机进行目标协同跟踪；

（72）所述的系统将所匹配的目标的显著特征与系统的目标模型库进行直接匹配。

且所述的步骤（8）具体包括以下步骤：

（81）所述的系统根据目标的显著特征对目标进行对象识别；

（82）所述的系统根据对象识别结果查询系统的描述信息库，获取对应的描述信息；

（83）所述的系统根据所述的描述信息产生可供计算机和人理解的文本信息。

在实际应用中，要实现多个摄像机的目标跟踪，并对视频图像进行结构化描述处理，首先要从摄像机的不同图像序列中找到运动目标位置，提取目标的特征，利用这些特征找到目标在不同角度间的对应关系，其匹配的结果直接影响后续的目标分析、数据融合等。

多摄像机目标协同跟踪的关键在于目标的匹配。目前存在的研究方法可以按提取什么类型的特征，或是否进行摄像机的标定，又或摄像机之间的信息融合是采用基于点的方法还是基于区域的方法等来划分等。多摄像机之间的目标匹配问题可以转化为：在不降低目标匹配准确率的前提下，尽可能地减少约束条件。其中约束条件可以是计算复杂度、目标遮挡程度、场景情况、摄像机参数设置等。

本发明所选用的是具有局部特性的小波显著特征，小波显著特征是提取目标的显著点邻域的颜色信息。小波显著点检测器利用了小波的多分辨率分析和空频分析特性，能自动地对人视觉系统感兴趣的区域进行定位。其检测到的点是图像的关键点，主要分布在最能表现图像内容的感兴趣区域上。因此，根据显著点的位置提取关于感兴趣区域的局部有效信息，能大大提高图像处理和分析的效率。本发明利用小波显著特征作为运动目标跟踪与匹配的线索，在不用对摄像机进行标定的前提下，简单且有效地对运动目标进行协同跟踪。为了实现多摄像机之间的跟踪，需要首先对单摄像机内的跟踪进行处理，每个摄像机都采用了基于高斯混合模型法分割出运动目标区域，再利用均值偏移对目标进行有效跟踪。为了提高目标匹配的准确率与运算速度，本发明只针对运动目标区域进行显著特征提取。

具体而言，实际应用中本发明的方法如图2所示，可以包括以下步骤：

（1）在复杂场景下的单摄像机运动目标的提取与跟踪，对每个摄像机所采集的图像序列，采用高斯混合背景建模的方法对运动目标进行分割。单摄像机运动目标的提取与跟踪是多摄像机进行目标匹配的基础，主要是找到运动目标的准确位置。

（2）采用基于改进的三维背景加权颜色直方图的均值漂移跟踪算法，该算法对目标旋转变形、部分遮挡具有较好的适应性，并且计算简单、实时性好。

（3）采用结合均值漂移和卡尔曼滤波的目标跟踪算法，该算法对跟踪过程中受到的干扰进行检测，根据目标所受干扰的强弱，采用不同的比例因子将卡尔曼滤波预测结果与均值漂移算法得到的结果进行线性加权，算法中对被跟踪目标的特征模型进行在线更新，提高了跟踪的可靠性，原理如下图3所示。

（4）在目标分割后的运动区域进行显著特征的提取，其过程如下：首先把分割得到的区域进行多级小波变换，用零树结构表示；其次构造显著图，找到显著点并进行显著点数目自适应控制；最后提取显著值及其周围的颜色信息作为显著特征。该步骤具体包括以下步骤：

（41）小波系数的零树结构，

由前一小节可知，对图像I进行了-r(r≤-1)级小波分解后，将得到每个尺度2j(r≤j≤-1)下的四个子图像，一个为图像I的近似图像A2rI和另三个细节图像。然后，我们可以基于零树理论构造小波系数的一个等级数据结构。零树结构能很好地描述数据的分支和层次关系，小波系数之间的零树结构关系如图5所示。小波系数的零树结构构造方法有几下步骤:

1．把像素点p(x,y)作为树的根结点。

2．在位置p(x,y)上，每一个根结点p(x,y)有三个子结点，分别是同一尺度下三个细节图像的小波系数W¹(x,y)、W²(x,y)和W³(x,y)。

3．由于小波变换过程具有下采样特性，细节子带的小波系数W^S(x,y)(s=1,2,3)与上一尺度D中位于同一子带的2x2点区域对应。该区域位于(2x,2y)，包含(2x,2y)、(2x,2y+1)、(2x+l,2y)、(2x+1,2y+1)四个点。这四个点共同构成小波系数W^S(x,y)(s=1,2,3)的子节点。

4．零树数据结构相当于四叉树，每一个小波系数W^S(x,y)(s=1,2,3)均有四个子节点。由D中位于(2x,2y)的2x2点区域所对应的小波系数组成。

按照以上方法，可以构造出小波分解后系数的零树数据结构。

（42）显著图构造，

利用前一小节完成的小波系数的零树结构表示图，可以构造图像的显著图。分辨率为N×M=2^k+1(N=2^k，M=2^L)的图像I经过-r层小波分解后，在每一个尺度为其建立一张显著图S，-r个尺度共有-r张显著图。显著图S在尺度-r下能反映出重要的小波系数信息。每个显著值的计算都要考虑零树数据结构所有尺度的信息，因此s包含了最重要的显著值。

（43）显著点查找，

一旦小波显著图构造完，我们要反过来找到原图像I对应的显著点位置。由前面的零树结构图可以构造显著四叉树结构。根据前面介绍的零树数据结构理论，在显著图s的基础上，利用小波系数构造出四叉树的层次等级结构，称为显著值四叉树。每一棵四叉树的根节点为-r尺度下显著值，在-r+1尺度显著图S中2x2的显著值区域作为-r尺度的显著图S的四叉树子节点，构造方法类似前面的小波系数零树结构的构造方法，每个父节点s对应4个子节点，这4个子节点由s中与s(x,y)对应的4个显著值组成。按照这种方法，可以递归地建立2^K+1+2r棵四叉树，每棵四叉树的高度为-r用T表示第i棵显著值四又树，我们获得了2^k+1+2r棵显著值四叉树排序后的序列L：

L={T1，．．．，T^2k+1+2r}

要找到原图像，所对应的显著点的位置，根据构造的显著树里，我们要找到每一棵树T最具有显著性的分枝，称为显著枝SB(i)，过显著枝的位置来确定图像显著点的位置。

（44）显著点的数目控制，

采用上面方法得2k+1+2r个显著点，但实际上，只要一部分显著值较大的显著点就能表示出目标的大概情况。因此需要自适应地控制目标的显著点数目，去除那些作用不大的显著点，保留那些很好体现图像内容的显著点，其算法如下：把显著图S中2k+l+2r个非空显著值从大到小依次排列，组成序列C。计算C中显著值的总能量E，设C中前S个显著值的能量与总能量的百分比为H(s)。最后，通过设定一个能量阈值W，自适应地控制显著点的数目。

（5）建立目标的局部特征模型进行不同摄像机间的目标匹配以进行多摄像机协同跟踪，并与目标直接匹配法进行比较。

（6）采用视频结构化描述对跟踪的信息进行描述,它是一种视频内容信息提取的技术，对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术，如下图4所示。

采用了该发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法中，多个摄像机分别对视频图像进行分割，提取目标；跟踪目标；更新目标特征模型；并进行目标的显著特征提取；而后系统计算各目标之间的距离，并匹配相同的目标，进而控制多个摄像机进行目标的协同跟踪；最终对目标进行结构化描述产生对应的文本信息，能够应用于对于重要目标的视频跟踪检索。利用本发明的方法，能够大幅降低监控人员的工作强度，提高了视频检索的准确性和效率，且本发明的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其实现方式简便，成本低廉，应用范围广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (9)

1.一种计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，所述的计算机系统连接有多个摄像机，其特征在于，所述的方法包括以下步骤：

（1）所述的多个摄像机对所拍摄的视频图像进行分割，提取目标；

（2）所述的多个摄像机对各自提取的目标进行跟踪；

（3）所述的多个摄像机对各自跟踪的目标更新目标特征模型；

（4）所述的多个摄像机对各自跟踪的目标进行显著特征提取；

（5）所述的系统计算各目标之间的距离；

（6）所述的系统判断各目标间是否匹配，若是，则进入步骤（7），若否，则返回步骤（1）；

（7）所述的系统控制所述的多个摄像机进行目标协同跟踪；

（8）所述的系统对目标进行结构化描述产生对应的文本信息。

2.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（1）包括以下步骤：

（11）所述的各摄像机采集图像序列；

（12）所述的各摄像机根据所采集的图像序列基于高斯混合背景建模进行图像分割，获得运动的目标。

3.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的多个摄像机对各自提取的目标进行跟踪，具体为：

所述的各摄像机基于改进的三维背景加权颜色直方图的均值漂移和卡尔曼滤波对目标进行跟踪。

4.根据权利要求3所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（3）具体包括以下步骤：

（31）所述的各摄像机，在所述的采用均值漂移和卡尔曼滤波对目标进行跟踪的过程中，进行干扰检测；

（32）所述的各摄像机对于干扰检测结果的强弱，根据不同的比例因子对卡尔曼滤波预测结果与均值漂移结果进行线性加权；

（33）所述的各摄像机对所跟踪的目标的特征模型进行在线更新。

5.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（4）具体包括以下步骤：

（41）所述的各摄像机对分割获得的区域进行多级小波变换，并用零树结构表示；

（42）所述的各摄像机根据所述的零树结构构造显著图；

（43）所述的各摄像机根据所述显著图查找显著点并进行显著点数目自适应控制；

（44）所述的各摄像机对显著点提取显著值及其周围的颜色信息作为显著特征。

6.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（5）具体包括以下步骤：

（51）所述的系统根据各目标的显著特征判断相似的目标；

（52）所述的系统根据各摄像机之间的距离计算各相似目标之间的欧氏距离。

7.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（6）具体包括以下步骤：

（61）所述的系统建立各目标的局部特征模型；

（62）所述的系统根据所述的各目标的局部特征模型，对所述各摄像机跟踪的目标进行匹配，查找相同的目标。

8.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（7）具体包括以下步骤：

（71）所述的系统根据所述的匹配结果，控制跟踪所匹配的目标的多个摄像机进行目标协同跟踪；

（72）所述的系统将所匹配的目标的显著特征与系统的目标模型库进行直接匹配。

9.根据权利要求1所述的计算机系统中为实现多摄像机目标跟踪功能对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤（8）具体包括以下步骤：

（81）所述的系统根据目标的显著特征对目标进行对象识别；

（82）所述的系统根据对象识别结果查询系统的描述信息库，获取对应的描述信息；

（83）所述的系统根据所述的描述信息产生可供计算机和人理解的文本信息。

Images