CN103530638B - 多摄像头下的行人匹配方法 - Google Patents

Abstract

本发明提出了一种多摄像头下的行人匹配方法，首先进行模型训练，训练出适用于摄像头使用环境下的行人模型；然后进行行人检测及存档，对检测得到行人目标区域和准确行人区域的颜色、轮廓、纹理特征加权组成一个综合特征，将行人目标图片片段、出现位置、出现时间和所述综合特征记录下来进行存档；最后进行行人匹配。优点是：能够从多个不同摄像头拍摄的视频流的图片序列中检测出行人，并使用结合了颜色、轮廓、纹理的综合特征对检出的行人根据用户指定的目标进行匹配，提取相似的行人图片片段；用户可以根据自己对颜色、轮廓和纹理这三个不同特征的关心程度设置各特征对最终匹配结果的影响。

Description

多摄像头下的行人匹配方法

技术领域

本发明涉及一种多摄像头下的行人检测及匹配方法，属于计算机视觉、数字图像处理领域。

背景技术

随着信息技术的不断发展，摩尔定律不断被证实，大量的网络监控摄像头作为城市基础设施被部署在各个公共场所。这些设施拍摄的监控视频包含了大量信息，但如何从这些基础自动有效地获取信息成为硬件建设完成后一个主要的问题。计算机视觉领域各项技术的不断发展使得计算机逐渐可以自动地从各种公共场所的监控视频流中利用相关的方法识别出视频流中蕴含的各项信息。单个摄像头中的行人已经可以较大的概率被识别出并提取目标的各项信息。

发明内容

本发明提出了一种多摄像头下的行人匹配方法，用于从多个不同摄像头拍摄的视频流中检测出行人，并使用结合了颜色、轮廓、纹理的综合特征对检出的行人根据用户指定的目标进行匹配。

本发明首先进行模型训练：使用公共行人样本库结合从各摄像头所在场景下采集到的行人样本库提取正、负样本的梯度方向直方图特征并使用支持向量机训练出适用于摄像头使用环境下的行人模型；

然后进行行人检测及存档：对各摄像头拍摄的视频流中的图像序列进行如下操作：

(1)对背景采用混合高斯模型进行背景建模和前景分割；

(2)对前景二值化处理得到前景二值化图；

(3)在所述前景二值化图在原始图像中标示出的区域中使用所述行人模型和搜索窗口的梯度方向直方图特征，在不同缩放比下检索行人，合并检索出的相同行人，得到行人目标，记录下该行人目标信息，记录下该行人目标的梯度方向直方图即轮廓特征；

(4)结合步骤（1）的前景分割结果对步骤（3）得到的行人目标进一步提取准确行人区域；

(5)对步骤（4）中提取的准确行人区域提取HSV颜色空间下的归一化颜色直方图，即颜色特征；

(6)对步骤（3）得到的行人目标提取LBP纹理特征；

(7)对得到的颜色、轮廓、纹理特征加权组成一个综合特征，将行人目标图片片段、出现位置、出现时间和所述综合特征记录下来进行存档；

最后进行行人匹配：当用户指定某一摄像头拍摄的图像中包含行人目标的图片片段时，进行如下步骤：

a、在存档中找到用户指定的行人目标的综合特征；

b、在其他每一个摄像头拍摄的图像中检索出的所有行人目标中检索出和用户指定的行人目标综合特征向量的Bhattacharyya距离最小的1个或多个行人目标，组成一个集合，即为对用户指定行人目标的匹配结果。

所述提取准确行人区域的方法为，用步骤（1）中前景分割得到的前景区域和步骤（3）得到的行人目标区域在待检测图像中进行投影，两个投影的重叠区域即为所述准确行人区域。

用户根据自己对颜色、轮廓和纹理特征三者的关心程度设置步骤（7）中三个特征的权值。

本发明的优点是：能够从多个不同摄像头拍摄的视频流的图片序列中检测出行人，并使用结合了颜色、轮廓、纹理的综合特征对检出的行人目标根据用户指定的行人目标进行匹配，提取相似的行人目标图片片段；用户可以根据自己对颜色、轮廓和纹理（材质）这三个不同特征的关心程度设置各特征对最终匹配结果的影响。最终，用户指定某一摄像头下拍摄的图像中的包含行人目标的图片片段，通过本发明，即可检索出其他摄像头拍下的相似行人目标图片片段，也可以标示出该行人目标出现的位置和时间。

附图说明

图1是本发明的总体流程示意图。

图2是本发明的行人检测及存档流程示意图

具体实施方式

以下结合附图和实施例对本发明进行进一步说明。

本发明整体流程包括：模型训练、行人检测及存档和行人匹配三个子过程，如图1所示。

首先进行模型训练。使用公共行人样本库结合从各摄像头所在场景下采集到的行人样本库提取正、负样本的梯度方向直方图特征并使用支持向量机训练出适用于摄像头使用环境下的行人模型。

然后进行行人检测及存档。对各摄像头拍摄的视频流中的图像序列进行处理：背景采用混合高斯模型进行背景建模和前景分割，再进行前景二值化处理得到前景二值化图；然后在所述前景二值化图在原始图像中标示出的区域中使用所述行人模型和搜索窗口的梯度方向直方图特征，在不同缩放比下检索行人，合并检索出的相同行人，得到行人目标，记录下该行人目标信息，记录下该行人目标的梯度方向直方图即轮廓特征；再结合前景分割结果对行人检测得到的行人目标进一步提取准确行人区域，提取准确行人区域的HSV颜色空间下的归一化颜色直方图，即颜色特征；再对所述行人目标提取LBP纹理特征；最后对得到的颜色、轮廓、纹理特征加权组成一个综合特征，将行人目标图片片段、出现位置、出现时间和所述综合特征记录下来进行存档。

最后进行行人匹配。当用户指定已经存档的某一摄像头拍摄的图像中的包含行人目标的图片片段，首先在存档中找到用户指定的行人目标的综合特征，再在其他每一个摄像头拍摄的图像中检索出的所有行人目标中检索出和用户指定的行人目标综合特征向量的Bhattacharyya距离最小的1个或多个行人目标，组成一个集合，即为对用户指定行人目标的匹配结果。

以下为一个具体的实施例。

1模型训练

（1.1）训练样本库准备。

首先选择“INRIA”样本库作为基础样本库，该样本库包含1805个从各种场景提取下的64*128分辨率的行人图片的正样本，和1000张不包含行人的图片；另外为了实现更好的行人检测效果，还需要在摄像头部署地采集数目大于1805的正样本，共计3610个正样本；同时采集1000张特定场景的不包含行人的图片，共计2000张不包含行人的图片作为随机选取负样本的素材。

（1.2）模型训练。

a、在2000张不包含行人的图片中随机摘取3610个64*128分辨率的子图片作为负样本。

b、分别计算正、负样本的梯度方向直方图特征值，存储到正、负样本特征值文件中。梯度方向特征值计算的参数为：最小格大小是6*6，块大小是3*3个最小格，块重叠程度为二分之一的块大小，梯度方向直方图的柱区间大小是20度，即把梯度按照0～360度区间上的18个区域进行分类。

c、分别将正、负样本加上正、负标记输入进SVM模型进行训练，得到能够代表行人特征的分类模型。

d、从剩下的1000张不包含行人的特定场景下的图片中随机抽选出18050个64*128的负样本，使用步骤c中产生的分类模型进行分类。

e、将步骤d中模型M1分类成正结果的负样本加入至步骤a中产生的负样本。

f、循环执行步骤b，c，d，e两次，得到最终的分类模型。

2行人检测及存档。

行人检测及存档对每个摄像头均执行以下操作，提取每个摄像头中出现的所有行人目标的图片片段、出现时间点和综合特征值并记录下来，如图2所示。

（2.1）背景建模、前景分割。

首先采用混合高斯模型，结合图像的颜色和梯度，对原视频图像中的每帧图像进行建模分析，然后对图像进行建模和背景差分，判定前景与背景的区域位置。

（2.2）前景二值化处理。

根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图，包括：

为原视频图像的每帧图像建立对应的一帧分辨率相同的待处理图像；

将所述待处理图像中，对应于相应的原视频图像前景区域的像素赋予白色色值，将所述待处理图像中，对应于相应的原视频图像背景区域的像素赋予黑色色值，获得初级二值图；

对所述初级二值图进行腐蚀运算，去除噪声；

对经过去除噪声处理的初级二值图进行膨胀运算，获得最终的用于标记前景与背景区域位置的二值图。

计算一个矩形，使之能够把所有前景区域包括在内，记录下矩形框的位置。

（2.3）行人检测。

检测过程中经常采用金字塔式的穷尽搜索法，我们设psize表示图像尺寸，step表示缩放步长（每次缩放比例），winsize表示检测窗口尺寸；分别将上述矩形框内的待检测图像以自然数（1，2，3...）倍率进行缩小（直到带检测图像高小于128或者宽小于64停止），并在每一步缩小的图像上进行穷尽式搜索，即将搜索窗口按照1个像素为步进在检测图像上滑动，并对每个位置的图像使用分类模型进行分类，得到的初步分类为行人的候选位置（为包含行人的矩形区域）。

一个行人可能在不同的尺度上被检测出多次，将重复检测出的行人进行合并得到最终检测出的行人区域，称为行人目标，并记录下该行人目标的轮廓特征，即梯度方向直方图

（2.4）准确行人区域提取。

用前景分割得到的前景区域和行人检测步骤检测到的行人目标区域在待检测图像中进行投影，两个投影的重叠区域即为准确行人区域。

（2.5）颜色特征提取。

对步骤（2.4）中提取的准确行人区域提取HSV颜色空间下的归一化颜色直方图，即颜色特征

（2.6）LBP纹理特征提取。

首先，对行人检测步骤中检测到的行人目标分成16×16的子区域（cell），对每个子区域中的每个像素子采用其环形邻域内的8个点进行比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，得到该像素的8位二进制值，统计子区域的直方图，归一化，最后将所有子区域的直方图拼接形成行人LBP纹理特征向量

（2.7）综合特征提取。

最后根据得到综合特征向量：

$\stackrel{\→}{N}=(\stackrel{\→}{C},\mathrm{\α}\stackrel{\→}{H},\mathrm{\β}\stackrel{\→}{L})$

其中α、β为可调权重，用于调节三种特征对于最终匹配结果的影响。例如a越大，轮廓特征对综合特征的影响就越大，最终对匹配结果影响也越大。

将行人目标图片片段、出现位置、出现时间和所述综合特征记录下来进行存档。

3多摄像头目标匹配。

本步骤利用行人检测及存档记录的所有其他摄像头检出的所有目标行人结果及其特征，根据用户指定已经存档的某一摄像头拍摄的图像中的包含行人目标的图片片段，匹配出其他每一个摄像头检出的所有行人中和待匹配行人目标的综合特征的Bhattacharyya距离最小或者最k小的作为最相似的一个或k个结果，并可以检索出对应结果的出现时间、位置。

Claims (3)

1.多摄像头下的行人匹配方法，其特征是：

首先进行模型训练：使用公共行人样本库结合从各摄像头所在场景下采集到的行人样本库提取正、负样本的梯度方向直方图特征并使用支持向量机训练出适用于摄像头使用环境下的行人模型；

然后进行行人检测及存档：对各摄像头拍摄的视频流中的图像序列进行如下操作：

步骤（1）、对背景采用混合高斯模型进行背景建模和前景分割；

步骤（2）、对前景二值化处理得到前景二值化图；

步骤（3）、在所述前景二值化图在原始图像中标示出的区域中使用所述行人模型和搜索窗口的梯度方向直方图特征，在不同缩放比下检索行人，合并检索出的相同行人，得到行人目标，记录下该行人目标信息，记录下该行人目标的梯度方向直方图即轮廓特征；

步骤（4）、结合步骤（1）的前景分割结果对步骤（3）得到的行人目标进一步提取准确行人区域；

步骤（5）、对步骤（4）中提取的准确行人区域提取HSV颜色空间下的归一化颜色直方图，即颜色特征；

步骤（6）、对步骤（3）得到的行人目标提取LBP纹理特征；

步骤（7）、对得到的颜色、轮廓、纹理特征加权组成一个综合特征，将行人目标图片片段、出现位置、出现时间和所述综合特征记录下来进行存档；

最后进行行人匹配：当用户指定某一摄像头拍摄的图像中包含行人目标的图片片段时，进行如下步骤：

a、在存档中找到用户指定的行人目标的综合特征；

b、在其他每一个摄像头拍摄的图像中检索出的所有行人目标中检索出和用户指定的行人目标综合特征向量的Bhattacharyya距离最小的1个或多个行人目标，组成一个集合，即为对用户指定行人目标的匹配结果。

2.如权利要求1所述多摄像头下的行人匹配方法，其特征是，步骤（4）所述提取准确行人区域的方法为，用步骤（1）中前景分割得到的前景区域和步骤（3）得到的行人目标区域在待检测图像中进行投影，两个投影的重叠区域即为所述准确行人区域。

3.如权利要求1所述多摄像头下的行人匹配方法，其特征是，用户根据自己对颜色、轮廓和纹理特征三者的关心程度设置步骤（7）中三个特征的权值。