CN103870815A - 球机视频监控的人车结构化描述方法及系统 - Google Patents

Abstract

本发明公开了一种球机视频监控的人车结构化描述方法及系统，本发明通过构建新颖的多视角人车样本的SIFT描述子来表示不同视角情况下的尺度不敏感的人车模型，采用局部特征匹配的方法来实现变场景图像条件下的目标检测；再通过构建检测目标的外观模型来提取目标的空间像素编码特征，并结合在线样本更新机制实现目标多姿态地鲁棒性追踪。本发明通过构建多视角人车样本的SIFT特征，实现在球机条件下的变场景监控视频的结构化描述。

Description

球机视频监控的人车结构化描述方法及系统

技术领域

本发明涉及计算机视觉领域和人工智能领域，具体涉及一种球机视频监控的人车结构化描述技术。

背景技术

目前，面向社会安全的大型公共场所监控和管理，直接关系到人民的生命财产安全、社会稳定和国家的安危。现阶段，中国正进入“突发公共事件的高发期”和“社会高风险期”，如何应对这“两高”，是中国政府的当务之急。尤其是在大型活动和场所中，需要对一系列事件进行自动预警和统一协调，包括团体活动态势、人员危险警戒、个人身份确认、危化品的全程跟踪管理、单兵的有效指挥调度等等。最新的微电子、自动化、机械、计算机等技术为场景目标的感知监控提供了各种解决方案，各种枪机、球机、多摄像头等的关联网络成为公共安全保障的强大支撑。

球机全称为球型摄像机，是现代电视监控发展的代表。她继承彩色一体化摄像机、云台、解码器、防护罩等多功能与一体，安装方便、使用简单但功能强大。球机具有体积小、外形美观、功能强大、安装方便、使用简单、维护容易等特点，广泛应用于开阔区域的监控，如家庭安全监控、交通安全监控、公共场所安全监控、工厂安全监控等。

然而，球机的可变视野和可变聚焦等赋予业务应用灵活方便性的同时却带给结构化描述技术巨大难题。视频结构化描述技术是对视频内容按语义关系，采用时空分割、特征提取、对象识别等手段，组织成可供计算机和人理解的文本信息的技术。

目标提取是视频图像结构化描述的最重要前提，主要包括两种途径：一、通过对关注目标特征进行建模，直接通过图像局部匹配的方法实现目标检测；二、通过对背景进行建模，在视频图像去掉背景来实现前景目标的间接提取。在变场景的视频监控和侦查中，由于背景特征的多样化，导致对背景进行建模是非常困难的。对于球机，由于本身物理参数不断变化，很难用传统的方法对背景进行建模。

发明内容

针对变场景监控条件下的现有人车结构化描述技术所存在的问题，本发明的目的在于提供一种球机平台下变场景监控中的人车结构化描述方法，并能够实现变场景复杂条件下的目标检测和追踪，解决实现变场景监控视频条件下的目标检测的问题。

同时，本发明的另一目的在于提供一种球机视频监控的人车结构化描述系统。

为了达到上述目的，本发明采用如下技术方案：

球机视频监控的人车结构化描述方法，所述描述方法包括：

步骤1，采集多视角人车图片样本，构建新颖的人车SIFT(scale-invariantfeature transform)特征描述子，并采用局部特征匹配的方法来实现变场景图像条件下的目标检测；

步骤2，构建检测目标的外观特征，并结合在线样本学习机制实现目标鲁棒性追踪。

在描述方法的优选实例中，所述步骤（1）具体包括如下过程：

（1-1）构造人车的多视角模型，计算模型的sift特征；

（1-2）利用局部特征匹配扫描当前图像实现变场景条件下目标检测。

进一步的，所述步骤（2）具体包括如下过程：

（2-1）提取目标区域的外观空间约束化的像素编码特征，并计算当前视频帧的样本区域的外观空间约束化的像素编码特征；

（2-2）通过相似度量实现给定目标特征和采样目标特征匹配，并引入基于粒子滤波的追踪器对目标进行后续的追踪；

（2-3）构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。

一种球机视频监控的人车结构化描述系统，所述描述系统包括：

视频采集模块，所述视频采集模块采集监控视频；

目标模型数据模块，所述目标模型数据模块存储人和车的多视角模型；

目标检测分类模块，所述目标检测分类模块分别与视频采集模块和目标模型数据模块数据相接，调取目标模型数据模块中存储的人和车的多视角模型检测视频采集模块采集的监控视频中的多视角多尺度的人、车目标；

目标追踪模块，所述目标追踪模块与目标检测分类模块数据相接，跟踪目标检测分类模块中检测到的人、车目标；

输出模块，所述输出模块与目标追踪模块数据相接，输出人、车目标分类及跟踪的结果。

在描述系统的优选实例中，所述目标追踪模块通过构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。

根据上述方案，本发明建立球机下变场景条件下的人车检测，并结合特征的在线学习实现目标的鲁棒性追踪和目标特征的结构化描述。该方法提升了监控系统的灵活性和自动化程度，大大减少了系统对人力的依靠，具有广阔的应用发展空间。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明的流程图；

图2为人车模型示例图；

图3为本发明在某监控区域的实例图；

图4为本发明的系统框图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本发明在球机摄像机的系统平台下，通过图像局部特征匹配实现变场景条件下进行目标检测和定位，并借助特征在线学习实现目标的鲁棒性追踪和结构化表述。

参见图1，其所示为本发明实现球机视频监控的人车结构化描述的流程图。由图可知，整个人车结构化描述过程分为两个大步骤：1.多视角目标检测；2.基于在线更新的目标追踪。

对于步骤1，本发明在球机摄像机平台下实现变场景条件下多视角人、车目标检测，具体采用如下三个子步骤来完成：

1.1采集多视角人、车图像样本；1.2构建人、车多视角模型sift特征；1.3通过局部特征匹配实现变场景条件下人、车目标的检测。

其中，步骤1.1负责收集人、车在不同视角条件下的图像样本。

步骤1.2中，对于多视角人车特征采用sift特征描述子表示，构建多视角人车sift描述子集合，在图像局部尺度下提取sift描述子特征，对给定目标模板特征与检测样本特征进行匹配，可以实现变场景复杂环境下的尺度不敏感的人车识别。

步骤1.3，根据多变场景的特点，采用基于局部sift特征匹配的方法实现人车目标的检测。具体方法是通过提取当前帧图像的局部sift特征与系统初始化阶段给定目标的sift特征相匹配，借助相似性测度对匹配结果进行衡量来实现目标的识别和定位。

该步骤中，基于sift特征的图像特征匹配方法中的相似性度量采用均方差算法（Mean Square Difference），具体公式如下：

$d(f,g)=\frac{1}{M_1{M}_2}\underset{i=0}{\overset{m_1-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{M_2-1}{\mathrm{\Σ}}}|f(i,j)-g(m+i,n+j)|2^{}---\left(1\right)$

其中f,g是两幅匹配图像，M₁和M₂为两幅图像上的特征点个数，m和n为图像尺度下的偏移量。

步骤2，在步骤1实现目标检测和捕获后，基于在线更新机制对目标进行追踪。主要包括目标的特征计算，特征在线更新学习和匹配。

首先，对当前帧图像检测出的目标区域进行特征计算。通过提取目标样本区域的灰度信息来初始化给定目标的模板特征，灰度特征的计算方式可参考公式（2）：

$q_u=c\underset{i=1}{\overset{n_p}{\mathrm{\Σ}}}k\left({\left|\right|x_i\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u],u=1...m,---\left(2\right)$

上式中m是像素直方图的维数，δ是克罗内克尔函数（Kronecker function），k是核函数，b(x_i)是像素x_i的特征直方图中对应的簇号，||x_i||是当前点x_i和采样模板的中心点，n_p是采样模板中的像素个数，C是一个正规化常数。

通过追踪过程的初始化，可以利用公式（2）计算出给定目标的特征模板。对于追踪，本方案采用粒子滤波器实现目标的鲁棒性追踪。在随后的追踪过程中，通过粒子采样实现特征的提取。对于采集的目标样本同样采用公式（2）进行特征计算。然后通过公式（3）实现给定特征模板q和采样特征p间的特征匹配。

$(q,p)\frac{{\mathrm{\Σ}}_{i=1}^N\mathrm{\ρ}\[q^i,p^i\]}{N}---\left(3\right)$

N是直方图的数量，qⁱ和pⁱ分别是特征模板和采样区域的第i个子区域的直方图。ρ是巴氏距离（Bhattacharyya distance），其计算方程为

$\mathrm{\ρ}(q^i,p^i)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{q_u^i\·p_u^i}$

m是直方图中的特征簇的数量，qⁱ和pⁱ分别是特征模板和采样区域的第i个子区域的直方图。

进一步的，通过设定特征模板的更新阀值可以实现在线特征学习。主要的更新机制为：

通过检测算法提取出目标物体并交由粒子追踪器进行后续追踪，追踪开始时首先初始化追踪系统参数。引入追踪过程中的在线更新机制实现目标的鲁棒性追踪，在初始化阶段需要设定更新阀值Y，通过相似测量方法实现给定特征模板和采样特征的相似匹配并返回相似测度值。当物体姿态发生变化时，原始的给定特征模板无法很好的匹配采样特征，因此，特征匹配的相似测度值相对降低。当相似测度低于预设更新阀值Y时，此刻更新模板以调整特征向量分布从而实现目标的鲁棒性追踪。

上述方案在具体实施时，对视频图像进行检测、描述全部自动完成。自动方式是指对视频图像进行检测描述的工作全部由系统独立完成，中间没有人工的参与或干预。

下面通过一具体实施例案来进一步说明本方法：

以某监控路口为例，图2所示为所提取出的若干人车模型，构建人车多视角情况下的SIFT特征模型。图3所示为某监控区域，计算该场景的SIFT特征。通过给定的多视角人车SIFT特征表示模型，借助局部特征匹配寻找与给定特征表示模型相匹配的SIFT特征区域，从而实现变场景条件下的人车检测功能。检测到的目标交由追踪系统进行后续的目标追踪，通过追踪过程的图像区域的局部采样，计算采样区域的SIFT特征。将当前帧的采样特征与追踪初始化的给定特征模板相匹配寻找相似测度最高的样本。当大量采样样本与给定模板的匹配度低于预设更新阀值时，系统启动在线更新机制，以适应追踪过程中目标姿态的变化，从而实现鲁棒的多姿态目标追踪。

参见图4，其所示为本发明提供一种球机视频监控的人车结构化描述系统的框图。由图可知，该球机视频监控的人车结构化描述系统包括：视频采集模块01、目标模型数据模块02、目标检测分类模块03、目标追踪模块04和输出模块05。其中：

视频采集模块01，其用于采集监控视频，具体可采用球形摄像机。

目标模型数据模块02，其用于存储人和车的多视角模型，为目标检测分类模型提供检测用的模型。

目标检测分类模块03，其分别与视频采集模块和目标模型数据模块数据相接，调取目标模型数据模块中存储的人和车的多视角模型检测采集模块捕捉监控视频中的多视角多尺度的人、车目标。通过人车多视角SIFT特征描述模型，实时检测视频图像中的人车目标。

目标追踪模块04，其与目标检测分类模块数据相接，跟踪目标检测分类模块中检测到的人、车目标。

具体的该模块通过追踪器实现视频图像下目标的连续捕获，并引入在线更新机制，设定更新阀值，当目标姿态变化是，追踪算法中的特征匹配度下降，当特征匹配相似度低于预设的更新阀值时，启动在线更新算法，学习更新特征模板。通过基于在线学习的追踪方法，本专利能够实现多姿态目标的鲁棒性追踪。

输出模块05，所述输出模块与目标追踪模块数据相接，输出人、车目标分类及跟踪的结果。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.球机视频监控的人车结构化描述方法，其特征在于，所述描述方法包括：

步骤1，通过提取多视角人车图片样本，构建新颖的多视角人车SIFT描述子，并采用局部特征匹配的方法来实现变场景图像条件下的目标检测；

步骤2，构建检测目标的外观特征，并结合在线样本学习机制实现目标鲁棒性追踪。

2.根据权利要求1所述的球机视频监控的人车结构化描述方法，其特征在于，所述步骤（1）具体包括如下过程：

（1-1）构造人车的多视角模型，计算模型的sift特征；

（1-2）利用局部特征匹配扫描当前图像实现变场景条件下目标检测。

3.根据权利要求1所述的球机视频监控的人车结构化描述方法，其特征在于，所述步骤（2）具体包括如下过程：

（2-1）提取目标区域的外观空间约束化的像素编码特征，并计算当前视频帧的样本区域的外观空间约束化的像素编码特征；

（2-2）通过相似度量实现给定特征向量模板和检测样本特征向量的特征匹配，并引入基于粒子滤波的追踪器对目标进行后续的追踪；

（2-3）构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。

4.一种球机视频监控的人车结构化描述系统，其特征在于，所述描述系统包括：

视频采集模块，所述视频采集模块采集监控视频；

目标模型数据模块，所述目标模型数据模块存储人和车的多视角模型；

目标检测分类模块，所述目标检测分类模块分别与视频采集模块和目标模型数据模块数据相接，调取目标模型数据模块中存储的人和车的多视角模型检测视频采集模块采集的监控视频中的多视角多尺度的人、车目标；

目标追踪模块，所述目标追踪模块与目标检测分类模块数据相接，跟踪目标检测分类模块中检测到的人、车目标；

输出模块，所述输出模块与目标追踪模块数据相接，输出人、车目标分类及跟踪的结果。

5.根据权利要求4所述的一种球机视频监控的人车结构化描述系统，其特征在于，所述目标追踪模块通过构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。

Images