CN102568003B - 一种基于视频结构化描述的多摄像机目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视频结构化描述的多摄像机目标跟踪方法，其包括视频结构化描述功能和多摄像间目标接力跟踪功能，用于对场景中的感兴趣目标进行跟踪，并对该目标的特征进行结构化描述；采用高斯混合模型从视频场景中提取目标轮廓；通过Blob连通区域分析获取完整的目标轮廓并获取目标位置与大小；计算目标的色彩直方图；根据目标在两帧中的位置特征，实现目标在场景中的跟踪；当目标出现在另一摄像机场景中时，将其坐标信息与色彩信息与文件中信息进行对比，若符合条件，则进行接力跟踪。本发明使用多摄像机有利于解决遮挡问题、场景混乱、光照突变等情况下的目标跟踪问题。

Description

一种基于视频结构化描述的多摄像机目标跟踪方法

技术领域

本发明涉及摄像机目标跟踪的技术领域，特别涉及一种基于视频结构化的多摄像机目标跟踪方法，它是利用计算机视觉技术对视频数据中的感兴趣目标进行结构化描述，并实现多摄像机间的目标接力跟踪。

背景技术

计算机智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题。伴随网络技术和数字视频技术的飞速发展，监控技术向着智能化、网络化不断前进。

计算机视觉和应用研究学者适时提出了新一代监控系统，在没有人为干预的情况下，利用计算机视觉和分析技术对摄像机拍录的视频序列进行自动分析，实现对场景中感兴趣目标的跟踪。

运动目标的检测和跟踪技术在安防监控、视频会议、人机交互和医疗诊断等方面具有广泛的应用前景和经济价值，因此激发了各国的研究人员的广泛研究兴趣，目前世界上有许多大型科研机构都在对这一领域进行研究，如在美国，英国等国家已经开展了大量的研究工作。在我国各大研究机构和高校也对该技术开展了深入研究。

1997年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；美国国际商用机器公司(IBM)与美国马里兰大学联合开发的W4系统，该系统不仅能定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测并分割出人携带的物品，该系统主要可应用于室内或光线较暗的场景。

发明内容

本发明要解决的技术问题：提供一种基于视频结构化的多摄像机目标跟踪方法，即采用视频结构化描述技术将场景中感兴趣目标进行特征提取，并将特征与结构化文本进行表述，并实现多摄像机之间的目标跟踪。

本发明解决上述技术问题的技术方案：一种基于视频结构化描述的多摄像机目标跟踪方法，该跟踪方法包括：视频结构化描述功能和多摄像间目标接力跟踪功能；其特征在于，将视频场景中的感兴趣目标进行结构化描述，其步骤如下：

(1)前景目标提取：包括对场景中敏感区域进行高斯混合模型处理，检测目标区域。

(2)获取完整目标轮廓：包括采用Blob分析方法获取目标轮廓，根据轮廓之间的位置关系，将属于同一目标的轮廓进行合并，并计算目标颜色直方图特征。

(3)目标结构化描述：将目标的坐标特征与颜色直方图特征数值化，并采用可扩展标记语言(XML)进行描述。

(4)场景中的目标跟踪：根据目标在单摄像机场景中的位置信息，计算两帧之间目标的位置关系，判断是否为同一物体，并进行跟踪；记录目标在场景中的运动轨迹。

(5)多摄像机间目标跟踪：对场景中新出现的目标计算颜色直方图信息，将其与系统已有XML文件颜色直方图信息进行对比，若属于同一物体，则实现多摄像之间的接力跟踪。

其中，所述的视频结构化描述功能，即利用图像处理技术，对摄像头传来的图像数据进行前景目标提取，将前景运动目标从场景中分离；通过Blob分析，获取完整的目标轮廓及在场景中的坐标；计算目标轮廓的颜色直方图；将目标的坐标信息与颜色直方图信息用标准的结构化文本语言进行描述，该文本语言为计算机可理解语言。

其中，所述的目标结构化描述，即将提取的目标坐标信息与颜色直方图信息用可扩展标记语言(XML)进行描述。

其中，所述多摄像机之间的目标跟踪，即将出现在另一场景中目标进行图像处理，提取其颜色直方图特征与坐标信息，并转化为结构化文本信息；将它与原有的结构化文本信息进行对比，若判断为同一物体，则进行继续跟踪。

其中，所述的前景目标提取，即采用高斯混合模型方法，将前景目标从场景中分离。

其中，所述的Blob分析方法，指通过对分离出得前景目标进行连通区域计算，分析出完整的目标轮廓；同时对复杂环境中，造成的目标不同部分分离的情况进行处理，并确定目标的所处视频帧位置；设目标A的坐标为(Ax₁，Ay₁，Bx₁，By₁，Cx₁，Cy₁，Dx₁，Dy₁)，目标B(Ax₂，Ay₂，Bx₂，By₂，Cx₂，Cy₂，Dx₂，Dy₂)，

若Dy₁-Dy₂≤T_c，其中T_c为设置阈值，则将目标A与目标B合并。

其中，所述的场景中的目标跟踪，是指通过判断两帧中目标的位置关系来实现跟踪；假设在第n帧，目标矩形的中心点坐标为(x_n，y_n)，第n+1帧，目标矩形的中心点坐标为(x_n+1，y_n+1)。如满足以下条件则判断为同一物体，继续跟踪，其中t，q为阈值：

$\left\{\begin{array}{c}|y_{n+1}-y_n|\≤t\\ |x_{n+1}-x_n|\≤q\end{array}\right.$

本发明与基于单摄像机的目标跟踪相比的优点在于：

1、单摄像机视野域有限，而多摄像可监控大范围场景。

2、使用多摄像机有利于解决遮挡问题、场景混乱、光照突变等情况下的目标跟踪问题。

3、基于多摄像机的目标跟踪在人机交互、视频检索、视频会议等方面有广泛应用前景。

附图说明

图1为一种基于视频结构化的多摄像机目标跟踪方法流程示意图；

图2为视频结构化功能工作流程图；

图3为多摄像机间目标跟踪功能流程图；

图4为轮廓合并示意图；

图5为场景中目标跟踪示意图；

图6为一种基于视频结构化的多摄像机目标跟踪系统结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细说明。

如图1所示，该系统软件部分主要分为三部分。视频解码部分将视频帧从视频样本中提取；视频结构化模块是系统核心，它通过对图像进行处理，提取感兴趣目标的特征，并对特征进行结构化描述；多摄像机目标跟踪模块是对多摄像机之间的目标进行跟踪处理。

如图2所示，视频结构化功能工作流程图。

该部分是系统软件部分核心，处理步骤如下：

步骤2-1，进行图像预处理，如平滑、去噪与目标增强等操作，突出目标特征。

步骤2-2，对图像进行高斯混合模型处理，经过该步骤处理后，将得到场景中前景目标的完整形态，在二值化图像中，前景目标为1即白色，背景为0为黑色。

步骤2-3，对高斯混合模型处理后的前景目标进行形态学处理，进行腐蚀和膨胀操作，去除大部分噪声点，同时对目标物体内的空洞进行填充。

步骤2-4，对目标进行Blob分析，得出前景目标连通区域的位置信息和大小信息。

步骤2-5，判断不同连通区域的位置关系，若符合条件则判断为同一物体进行合并，若不属于同一物体，则分别编号。

步骤2-6，记录目标的坐标位置。

步骤2-7，计算目标的颜色直方图信息。

步骤2-8，将颜色直方图信息与坐标位置信息进行结构化描述，即将数据用XML方式进行描述。

步骤2-9，若为最后一帧，则跳至2-10，若不是最后一帧则跳至步骤2-1。

步骤2-10，该工作流程结束。

如图3所示，多摄像机间目标跟踪功能流程图。即当场景中出现新目标时，提取该目标的相关信息，将该信息与已有的视频结构化数据进行对比，若满足条件，则继续跟踪。

步骤3-1，提取目标颜色直方图信息。

步骤3-2，将颜色直方图信息与视频结构化数据对比。

步骤3-3，若满足条件，则跳至步骤3-4，否则跳至3-5。

步骤3-4，对目标继续跟踪。

步骤3-5，该工作流程结束。

如图4所示，为同一目标的不同轮廓之间的合并示意图。如图所示，初始Blob1和Blob2的坐标分别为(Ax₁，Ay₁，Bx₁，By₁，Cx₁，Cy₁，Dx₁，Dy₁)，(Ax₂，Ay₂，Bx₂，By₂，Cx₂，Cy₂，Dx₂，Dy₂)。合并后取它们坐标的极值，得到新的Blob  块的坐标为(Ax_max，Ay_min，Bx_max，By_max，Cx_min，Cy_min，Dx_min，Dy_max)，如果一个目标的Blob连通区域有两个以上，方法以此类推。通过这个步骤人体目标将被完整的提取，同时也避免了由于噪声点干扰导致一个物体被分割为多个物体的问题。

如图5所示，假设在第n帧，目标矩形的中心点坐标为(x_n，y_n)；第n+1帧，目标矩形的中心点坐标为(x_n+1，y_n+1)。设定阈值t，q，当满足下列条件时，认为第n帧目标与第n+1帧目标为同一物体，继续跟踪。

$\left\{\begin{array}{c}|y_{n+1}-y_n|\≤t\\ |x_{n+1}-x_n|\≤q\end{array}\right.$

如图6所示，利用上述方法的系统可以采用如下实施方式：该系统包括主机，摄像头。摄像头将所在区域图像采集成视频帧传送给主机；主机对视频图像做分析处理，将感兴趣目标的特征进行结构化描述。当目标出现在另一场景时，根据结构化特征信息进行接力跟踪。

本发明未详细阐述的部分属于本领域公知技术。

Claims (1)

1.一种基于视频结构化描述的多摄像机目标跟踪方法，该跟踪方法包括：视频结构化描述功能和多摄像间目标接力跟踪功能；其特征在于：将视频场景中的感兴趣目标进行结构化描述，即采用视频结构化描述技术将场景中感兴趣目标进行特征提取，并将特征与结构化文本进行表述，并实现多摄像机之间的目标跟踪，其步骤如下：

(1)前景目标提取：包括对场景中敏感区域进行高斯混合模型处理，检测目标区域；

(2)获取完整目标轮廓：包括采用Blob分析方法获取目标轮廓，根据轮廓之间的位置关系，将属于同一目标的轮廓进行合并，并计算目标颜色直方图特征；

(3)目标结构化描述：将目标的坐标特征与颜色直方图特征数值化，并采用可扩展标记语言(XML)进行描述；

(4)场景中的目标跟踪：根据目标在单摄像机场景中的位置信息，计算两帧之间目标的位置关系，判断是否为同一物体，并进行跟踪；记录目标在场景中的运动轨迹；

(5)多摄像机间目标跟踪：对场景中新出现的目标计算颜色直方图信息，将其与系统已有XML文件颜色直方图信息进行对比，若属于同一物体，则实现多摄像之间的接力跟踪；

所述的视频结构化描述功能，即利用图像处理技术，对摄像头传来的图像数据进行前景目标提取，将前景运动目标从场景中分离；通过Blob分析，获取完整的目标轮廓及在场景中的坐标；计算目标轮廓的颜色直方图；将目标的坐标信息与颜色直方图信息用标准的结构化文本语言进行描述，该文本语言为计算机可理解语言；

所述的目标结构化描述，即将提取的目标坐标信息与颜色直方图信息用可扩展标记语言进行描述；

所述多摄像机之间的目标跟踪，即将出现在另一场景中目标进行图像处理，提取其颜色直方图特征与坐标信息，并转化为结构化文本信息；将它与原有的结构化文本信息进行对比，若判断为同一物体，则进行继续跟踪；

所述的前景目标提取，即采用高斯混合模型方法，将前景目标从场景中分离；

所述的Blob分析方法，指通过对分离出得前景目标进行连通区域计算，分析出完整的目标轮廓；同时对复杂环境中，造成的目标不同部分分离的情况进行处理，并确定目标的所处视频帧位置；设目标A的坐标为(Ax₁,Ay₁,Bx₁,By₁,Cx₁,Cy₁,Dx₁,Dy₁)，目标B(Ax₂,Ay₂,Bx₂,By₂,Cx₂,Cy₂,Dx₂,Dy₂)，若Dy₁-Dy₂≤T_c，其中T_c为设置阈值，则将目标A与目标B合并；得到新的Blob块的坐标为(Ax_max,Ay_min,Bx_max,By_max,Cx_min,Cy_min,Dx_min,Dy_max)，如果一个目标的Blob连通区域有两个以上，方法以此类推；通过这个步骤人体目标将被完整的提取，同时也避免了由于噪声点干扰导致一个物体被分割为多个物体的问题；

所述的场景中的目标跟踪，是指通过判断两帧中目标的位置关系来实现跟踪；假设在第n帧，目标矩形的中心点坐标为(x_n，y_n)，第n+1帧，目标矩形的中心点坐标为(x_n+1，y_n+1)；如满足以下条件则判断为同一物体，继续跟踪，其中t，q为阈值：

$\left\{\begin{array}{c}|y_{n+1}-y_n|\≤t\\ |x_{n+1}-x_n|\≤q\end{array}\right.;$

由于单摄像机视野域有限，而多摄像可监控大范围场景，该跟踪方法使用多摄像机有利于解决遮挡问题、场景混乱、光照突变情况下的目标跟踪问题；

其中，视频结构化描述功能的处理步骤如下：

步骤2-1，进行图像预处理，进行平滑、去噪与目标增强操作，突出目标特征；

步骤2-2，对图像进行高斯混合模型处理，经过该高斯混合模型处理后，将得到场景中前景目标的完整形态，在二值化图像中，前景目标为1即白色，背景为0为黑色；

步骤2-3，对高斯混合模型处理后的前景目标进行形态学处理，进行腐蚀和膨胀操作，去除大部分噪声点，同时对目标物体内的空洞进行填充；

步骤2-4，对目标进行Blob分析，得出前景目标连通区域的位置信息和大小信息；

步骤2-5，判断不同连通区域的位置关系，若符合条件则判断为同一物体进行合并，若不属于同一物体，则分别编号；

步骤2-6，记录目标的坐标位置；

步骤2-7，计算目标的颜色直方图信息；

步骤2-8，将颜色直方图信息与坐标位置信息进行结构化描述，即将数据用XML方式进行描述；

步骤2-9，若为最后一帧，则跳至2-10，若不是最后一帧则跳至步骤2-1；

步骤2-10，该工作流程结束；

其中，在多摄像机间目标跟踪功能中，即当场景中出现新目标时，提取该目标的相关信息，将该信息与已有的视频结构化数据进行对比，若满足条件，则继续跟踪，具体步骤如下：

步骤3-1，提取目标颜色直方图信息；

步骤3-2，将颜色直方图信息与视频结构化数据对比；

步骤3-3，若满足条件，则跳至步骤3-4，否则跳至3-5；

步骤3-4，对目标继续跟踪；

步骤3-5，该工作流程结束。