CN103473570A

CN103473570A - 自适应视频场景的行人检测方法

Info

Publication number: CN103473570A
Application number: CN 201310358963
Authority: CN
Inventors: 叶茂; 占伟鹏; 徐培; 庞锋; 蔡小路; 谢易道
Original assignee: University of Electronic Science and Technology of China; Shenzhen Bocom Multimedia Display Technology Co Ltd
Current assignee: University of Electronic Science and Technology of China; Shenzhen Bocom Multimedia Display Technology Co Ltd
Priority date: 2013-08-16
Filing date: 2013-08-16
Publication date: 2013-12-25

Abstract

本发明公开了一种自适应视频场景的行人检测方法，具体为通过对新场景使用初始行人检测器完成粗检测，人工分类筛选出场景下正样本与负样本，省去了对新场景视频逐帧裁切制作样本的大量人工成本；最后通过计算旧样本集与新样本集的余弦相似度来刷新旧样本集，保证了训练样本集随新场景而更新，同时训练样本集的大小不会因为新场景的加入增大而导致巨额训练负担。本发明的方法能够生成自动适应于场景的鲁棒、高效的行人检测器，在工程应用上展现了优秀的效果，更进一步的优点及细节在具体实施方式中得以描述和展示。

Description

自适应视频场景的行人检测方法

技术领域

本发明属于计算机视觉和模式识别技术领域，涉及一种普适于智能视频监控中的行人检测方法。

背景技术

智能视频监控技术是计算机视觉领域近年来新兴的一个研究方向，它是一种基于人工智能的计算机视觉技术，以视频场景中的行人、交通工具和运动物体为研究分析对象。在智能视频监控研究领域，关于行人的检测技术的研究备受关注。

在安全和法律方面，智能视频监控系统对从监控摄像机传来的监控场景的视频信息进行处理，对场景中可疑的人和事件进行报警，从而阻止犯罪，灾难性事件的发生，以保障人民群众的生命和财产安全；在交通应用上，智能视频监控系统监测交通中行人的违法或不安全行为；在商业活动中，智能视频监控系统统计各购物场所和娱乐场所消费者人数，监视公众场合中行人的阻塞情况和拥挤程度以免发生踩踏事件。在视频监控的场景中，人是活动主体，所以监控系统必须能实时地检测与识别出人；在出现人和人遮挡，人和环境遮挡，光照变化，非刚体轮廓变形，和交接运动时，也能正常工作。

目前针对行人安全检测的研究大多集中在运动行人的检测和跟踪方面，且实验环境大都比较理想，对复杂环境和混合交通下的行人检测还没用获得实时性、鲁棒性都比较好的算法。在行人检测的技术方法上，普遍采用基于单目视觉的方法，利用人体边缘、纹理等特征建立模板并综合运用神经网络、支持向量机、级联分类器这些机器学习方法。

所以，现有的机器学习方法行人检测技术在产生鲁棒的行人检测器上主要面临三大问题：1）从特定的监控场景下提取该场景下行人样本需花费大量的人工成本（需逐帧的手工裁切出行人样本）；2）如若省去人工操作，使用国内外开源的行人样本库产生得到的行人检测器只具备一般的普适性，无法在特有场景下展现理想效果；3）对于现代生活中无穷多的视频场景，没有能自动适应于各类场景产生鲁棒高效的行人检测器。

CN101807260A公开了一种变化场景下行人检测的方法，该方法通过将第二场景的少量样本数据辅助优化级联器，使得级联分类器适应于第二场景。但实际上该方案具有以下三个缺点：1）使用级联分类器来训练行人检测器需要多层循环迭代耗费大量时间，远远大于支持向量机训练所耗费的时间；2）从第二场景中提取样本数据仍然是手工截取或裁减，耗费大量人工成本；3）对新加入的第二场景样本与旧场景样本只是简单融合调整，级联生成新的场景下分类器，使得该方法不能自适应于无限多个场景，随着场景的增加，样本数也会增加，更大的加大了循环迭代耗费的时间。

CN103106414A公开了一种智能视频监控中行人的检测方法，该方法通过收集行人数据库，利用支持向量机训练行人检测器，并最后对检测窗口融合来完成检测。但实际上该方案是计算机视觉和模式识别领域内一种公认的基础方法之一：基于机器学习特征的分类方法，具体通过将收集到的样本基于某些特征转换为高维向量，通过支持向量机对这些高维向量进行分类，生成检测器。但生成的检测器的效果极大程度上依赖于收集的样本和支持向量机的训练方法，并且没有自适应场景的功能，每个场景下都需要耗费大量人工成本制作样本。

发明内容

本发明的目的是为了解决现有技术存在的上述问题，提出了一种自适应视频场景的行人检测方法。

本发明的技术方案为：一种自适应视频场景的行人检测方法，包括以下步骤：

S1.选取行人的正样本集P和负样本集N；

S2.将正负样本集P、N中每一个样本转换为特征向量，将所述特征向量作为支持向量机SVM的输入，生成初始行人检测器；

S3.使用初始行人检测器对新场景下视频进行检测，保存所有被检测出的目标图像，对保存的图像分成两类：准确包含行人的图像集合定义为P*，未能准确包含行人即误报图像的集合定义为N*；

S4.将准确包含行人的图像集合P*里的图像转换成特征向量与正样本集P所转换成的特征向量进行相似度计算，使用P*替换掉正样本集P中对应于P*里所有样本相似度最低的部分样本，完成新场景下正样本集的更新；

将未能准确包含行人即误报图像的集合N*里的图像转换成特征向量与负样本集N所转换成的特征向量进行相似度计算，使用N*替换掉负样本集N中对应于N*里所有样本相似度最低的部分样本，完成新场景下负样本集的更新；

S5.将更新后的正负样本集P、N转换成特征向量作为支持向量机的输入，生成适用于该场景下的行人检测器，进而完成该场景下的行人检测；

S6.对于之后每一次新来场景，可重复步骤S2到步骤S5的过程。

进一步的，上述步骤S2具体包括如下步骤：

S21.将正负样本集P、N中每一个样本图像转换成特征向量；

S22.将正样本集P生成的特征向量全部加上标记1，将负样本集N生成的特征向量全部加上标记-1；

S23.将加上标记的特征向量作为支持向量机SVM的输入，SVM训练出满足全部特征向量正负分布规律的超平面，所述超平面的维度和特征向量的维度相同。

更进一步的，将样本图像转换成特征向量的具体过程如下：

将样本图像按照规则分成等大小的若干块区域，对每一块区域内的像素点进行编码；具体编码规则为：比较一个像素点与其周围八个像素点像素强度，所述像素强度的范围为：[0,m]，如果中心像素点的强度大于或等于一个邻居像素点强度，在这个邻居像素点对应位置标记为1，小于的情况下标记为0；

编码完成后，按照顺序将八个邻居像素点对应的标记位串联起来成为一个八位的二进制编码，转换为十进制后的值即为该中心像素点的普查变换值，所述普查变换值表征了中心像素点与邻居像素的关系；

统计每一块区域的直方图，直方图横坐标为普查变换值，纵坐标为像素点个数；

将样本图像中每一块区域的直方图串联起来，即得到维度为(m+1)*n的特征向量，n为若干块区域的具体个数。

进一步的，上述步骤S3具体包括如下步骤：

S31.对新场景下视频每一帧都进行缩放并进行滑动窗口扫描，将每次滑动窗口内图像转换为特征向量，作为初始行人检测器的输入；

S32.将被初始行人检测器判断为符合正样本分布规律的特征向量所对应的滑动窗口图像保存下来；

S33.对被保存的图像进行人工筛选分类，具体分为：准确包含行人的图像集合与非能准确包含行人的图像集合。

进一步的，上述步骤S4所述的新场景下正样本集的更新的具体过程如下：

S41.假设样本集P中包含M张样本即生成M个特征向量，样本集P*中包含N张样本即生成N个特征向量；

S42.计算样本集P中每一个特征向量与P*中全部N个特征向量的余弦相似度之和，即P中每一个样本都有一个与P*的相似度值，共有M个相似度值；

S43.统计这M个相似度值由高到低排列，去掉相似度最低的N个特征向量所对应的样本；

S44.将删减后的样本集P与P*并集融合，生成新的包含M个样本的样本集P，完成对样本集P的更新。

进一步的，余弦相似度是通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性，维度为n的特征向量A、B之间的余弦相似度计算公式如下：

similarity = \cos (θ) = \frac{A \cdot B}{| | A | | \cdot | | B | |} = \frac{Σ_{i = 1}^{n} (A_{i} {\times B}_{i})}{\sqrt{Σ_{i = 1}^{n} {(A_{i})}^{2}} \times \sqrt{Σ_{i = 1}^{n} {(B_{i})}^{2}}},

其中，A_i、B_i表示特征向量A、B第i维度上的特征值，||A||、||B||表示特征向量A、B的模。

本发明的有益效果：本发明的方法通过对新场景使用初始行人检测器完成粗检测，人工分类筛选出场景下正样本与负样本，省去了对新场景视频逐帧裁切制作样本的大量人工成本；最后通过计算旧样本集与新样本集的余弦相似度来刷新旧样本集，保证了训练样本集随新场景而更新，同时训练样本集的大小不会因为新场景的加入增大而导致巨额训练负担。本发明的方法能够生成自动适应于场景的鲁棒、高效的行人检测器，在工程应用上展现了优秀的效果，更进一步的优点及细节在具体实施方式中得以描述和展示。

附图说明

图1为本发明实施例中自适应行人检测流程图。

图2为本发明实施例中自适应行人检测流程图。

图3为本发明实施例中超块的构成示意图。

图4为本发明实施例中场景1检测示意图。

图5为本发明实施例中场景2检测示意图。

图6为本发明实施例中场景3检测示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是基于已实例化的工程项目进行阐述，相关实例图表在附图中示出。

本发明的自适应视频场景的行人检测方法流程如图1所示，包括以下步骤：

S1.选取行人的正样本集P和负样本集N；

S6.对于之后每一次新来场景，可重复步骤S2到步骤S5的过程。

在本实施里中步骤S2具体包括如下步骤：

S21.将正负样本集P、N中每一个样本图像转换成特征向量；

这里将样本图像转换成特征向量可以采用如下的一种方式：

在这里，m可以根据实际情况选取，本实施例中m=255。

在本实施例中，将样本图像按照规则分成等大小的若干块区域，具体的规则为：假设样本图像为M*N，等分成大小为M'*N'的子块，共M/M'*N/N'个子块，以子块为单位，按照K*K个子块大小滑动窗口，每次滑动窗口的偏移距离是一个子块大小，形成(M/M'-(K-1))*(N/N'-(K-1))个超块（即n=(M/M'-(K-1))*(N/N'-(K-1))，不同超块之间会有子块的重叠，），所述K满足K≤min(M/M',N/N')。

在本实施里中骤S3具体包括如下步骤：

在本实施里中步骤S4所述的新场景下正样本集的更新的具体过程如下：

下面结合一个例子具体分析：

如图2所示，对于初始正负样本集，正样本集包含一万张行人图像，负样本集包含六万张非行人图像。正负样本集内的图像大小均为36像素*108像素。收集的是行业内公开并公认的效果良好且姿态丰富的正、负样本数据集。

特征向量计算：将36*108大小的图像等分成4*9块9*12像素大小的子块，每2*2个子块组成一个超块，得到3*8个超块，一个超块的大小是18*24像素。

超块的构成类似2*2子块大小的滑动窗口对图像进行滑窗，每次滑动窗口的偏移距离是一个子块大小，即超块与超块之间的区域是可重叠的，具体示意如图3所示。在实际工程运用上的时候，对于36*108或者30*80的样本，用的是2*2的方式得到超块，超块个数不能太少，主要是为了保证特征维度大一些。

对每个超块内的像素点，采用如下计算方式：

中央像素强度为64，中央像素正左边的像素强度为32，小于中央像素强度，对应符号位取1。中央像素正右边的像素强度为96，大于中央像素强度，对应符号位取0。在依次比较完成周围八个像素点后，把对应符号位按照从左到右、从上到下的方式串联起来，形成八位二进制数“11010110”，转换为十进制值214，即此中央像素点的CT值为214。这里的CT值即为普查变换值，表明普查了周围的像素点后变换得到的值，表征了中心像素点与邻居像素的关系。

对于超块内的每一个像素均有0～255的CT值，统计一个超块内CT值的直方图，直方图横坐标为0～255的CT值，纵坐标为像素点个数；一张样本图像包含3*8个超块，即3*8个直方图。故一张样本图像通过特征转换为的高维向量维度为3*8*256=6144。

将正样本图像转换为的一万个6144维向量与负样本图像转换为的六万个6144维向量分别加上正负标记，作为支持向量机SVM的输入，得到初始行人检测器。初始行人检测器也是一个6144维的向量，每个维度上有正或负的浮点小数。

逐帧读入拍摄的新场景视频，每帧大小856*480像素。每帧图像不同比例缩放成五张图像，对这五张图像分别进行36*108大小的滑动窗口扫描。将每次滑动窗口内的图像进行CENTRIST特征计算，得到的特征向量与初始行人检测器进行逐维度加权相加。相加结果大于零时，初始行人检测器认为当前滑动窗口内的图像是行人并保存滑动窗口内图像。

初始行人检测器对新场景进行检测时，由于普适性会检测出新场景下部分行人，但又因为没有对新场景极好的适应性，必然将一些非行人图像作为行人检测出。如图2中“被检测出并保存图像”内有准确包含行人的图像和非准确包含行人的图像（误报）。

在新场景下共检测并保存3152张图像，对所有图像进行手工分类，得到1164张准确包含行人的图像与1988张非准确包含行人的图像（误报）。由于图像大小均是滑动窗口36*108像素大小，保证了这些图像均可以直接作为训练样本参与训练。手工分类大大缩短了以往需对场景进行逐帧裁剪制作样本所需花费的大量时间。

将1164张准确包含行人的图像与1988张非准确包含行人的图像（误报）分别与初始正样本集与初始负样本集进行相似度计算。对于准确包含行人的图像与初始正样本集，将每一个初始正样本集内样本图像对应的特征向量与1164张图像转换为的特征向量进行余弦相似度计算并相加，即每一个初始正样本集内样本都得到一个分布范围[0～1164]的相似度值。

相似度值越高，说明初始正样本集内这张样本图像与新场景越相似，反之越不相似。

余弦相似度是通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性，对于两个高维特征向量，余弦相似度的值为0～1之间，越接近于1，表明这两个特征向量越相似，维度为n的特征向量A、B之间的余弦相似度计算如下：

similarity = \cos (θ) = \frac{A \cdot B}{| | A | | \cdot | | B | |} = \frac{Σ_{i = 1}^{n} (A_{i} {\times B}_{i})}{\sqrt{Σ_{i = 1}^{n} {(A_{i})}^{2}} \times \sqrt{Σ_{i = 1}^{n} {(B_{i})}^{2}}},

对这一万个相似度值进行由高到底排序，保留初始正样本集内相似度值高的8836张图像，将新场景下1164张准确包含行人图像替换掉初始正样本集内相似度值低的1164张图像。

对于非准确包含行人的图像（误报）与初始负样本集，与正样本集替换方式相似，将新场景下1988张图像替换掉初始负样本集内相似度最高的1988张图像（负样本集需保持多样性）。通过相似度计算并刷新样本集的方式，保证了每次适应新场景时训练的稳定性和鲁棒性，不会因为多场景多次训练导致训练过程冗余或崩溃。

将更新后的正、负样本集作为支持向量机SVM的输入，得到新场景下的行人检测器。由于通过相似度计算并刷新后的正、负样本集包含了新场景下的图像，保证了训练出的行人检测器对新场景具有优秀的检测效果，在实例化的工程中也得到了验证。

图4、图5、图6为本发明实施例中场景1、2、3检测示意图，其中，图4a、5a、6a是初始行人检测器对新场景下的检测效果；图4b、5b、6b是是自适应后的新行人检测器对新场景下的检测效果。

从图中可以看出，本发明的检测方法能够生成自动适应于场景的鲁棒、高效的行人检测器，在工程应用上展现了优秀的效果。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims

1.一种自适应视频场景的行人检测方法，包括以下步骤：

S1.选取行人的正样本集P和负样本集N；

S6.对于之后每一次新来场景，可重复步骤S2到步骤S5的过程。

2.根据权利要求1所述的自适应视频场景的行人检测方法，其特征在于，步骤S2具体包括如下步骤：

S21.将正负样本集P、N中每一个样本图像转换成特征向量；

3.根据权利要求2所述的自适应视频场景的行人检测方法，其特征在于，步骤S21中将样本图像转换成特征向量的具体过程如下：

4.根据权利要求2或3所述的自适应视频场景的行人检测方法，其特征在于，步骤S3具体包括如下步骤：

5.根据权利要求4所述的自适应视频场景的行人检测方法，其特征在于，步骤S4所述的新场景下正样本集的更新的具体过程如下：

6.根据权利要求5所述的自适应视频场景的行人检测方法，其特征在于，所述余弦相似度具体通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性，维度为n的特征向量A、B之间的余弦相似度计算公式如下：

similarity = \cos (θ) = \frac{A \cdot B}{| | A | | \cdot | | B | |} = \frac{Σ_{i = 1}^{n} (A_{i} {\times B}_{i})}{\sqrt{Σ_{i = 1}^{n} {(A_{i})}^{2}} \times \sqrt{Σ_{i = 1}^{n} {(B_{i})}^{2}}},

7.根据权利要求5所述的自适应视频场景的行人检测方法，其特征在于，步骤S21中所述的规则具体为：假设样本图像为M*N，等分成大小为M'*N'的子块，共M/M'*N/N'个子块，以子块为单位，按照K*K个子块大小滑动窗口，每次滑动窗口的偏移距离是一个子块大小，形成(M/M'-(K-1))*(N/N'-(K-1))个超块，所述K满足K≤min(M/M',N/N')。