CN103324956B - 一种基于分布式视频检测的座位统计方法 - Google Patents

Abstract

本发明属于视频处理技术领域，具体为一种基于分布式视频检测的座位统计方法。本发明包括样本库和特征库的建立、分布式视频检测、样本库纠正三个部分。其中，样本库和特征库的建立是实现视频检测设备虚拟化的前提，它将视频中关键帧抽取传递到缓冲池，让检测设备能稳定有序的获取关键帧并进行处理；分布式视频检测是动态地分配任务给多台检测设备组成的计算集群，优化资源配置，进行最大效率的计算处理，检测完成后，通过座位空间域和关键帧时间域的两层融合实时获得检测结果；样本库纠正采用缓冲队列形式，将置信度较低的结果传递给人工判定，添加到样本库，从而有效地提高了二次检测准确率。本发明对于座位统计管理具有很高的应用价值。

Description

一种基于分布式视频检测的座位统计方法

技术领域

本发明属于数字视频处理、多媒体信息管控技术领域，具体涉及一种基于分布式视频检测的座位统计方法。

背景技术

随着多媒体技术的发展，人们对于大型场所的管理已经不满足于进出门的管控，还希望在场所进行活动的同时，采取相应的检测分析，获得统计信息。

现有的座位统计系统中，大多都是采用传感器作为数据采集方式来进行会场人员座位状态的管理。上述方案存在以下的缺陷：①传感器损坏以及维护问题。②传感器无法区分人与物体的问题。③如果场所中座位较多，便会存在红外感应器安装和线路铺设的问题。④仅有座位有人/无人的数据信号，没有可视化的信息展示。

目前，常用的基于视频检测的座位统计方法，是利用高清相机进行视频数据采集，然后对视频进行关键帧抽取，最后在对关键帧采用上座率检测算法进行检测。然而经过大量考察，我们发现，关键帧中的座位有两个主要特点：座位数量多，重复性较大。针对这些特点常用的视频检测方案存在严重局限性：①对于关键帧采用上座率检测的耗时比较大，并且不利于并行操作；②正负样本采集难度较大；③关键帧处理上是串行处理，无法达到实时。

本方法是在上述的基于视频检测的座位统计方法上进行了多方面的改进。根据关键帧的座位数量多，重复性大的特点，本方法采用视频座位分割模型算法，将处理的最小单元缩小到单个座位，利用多线程并行处理单个座位，同时采用分布式体系，从时域上将关键帧隔离，实现设备和程序的嵌套虚拟化，快速分割、检测、融合得出最终结果，极大缩短了处理耗时。

发明内容

本发明的目的在于提供一种耗时省，检测准确性高的基于分布式视频检测的座位统计方法。

本发明提供的基于分布式视频检测的座位统计方法，在充分考虑传统的基于视频检测的座位统计方法的基础上，引入了分布式体系和并行处理技术，从空间和时间上将过程并行处理，嵌套设备虚拟化和程序虚拟化，这样合理优化了资源配置，缩短了处理时间，并在样本的采集和重复使用上提供了很大的便利，同时提高了系统的检测准确性。

设备虚拟化和程序虚拟化不是简单的多台机器和多线程并行计算，而是把有限的固定的资源根据不同需求进行动态规划以达到最大利用率，通过统一的接口隐藏数据和操作的差异性，抽象处理过程。

本发明的流程框架如图1所示，包括：样本库和特征库的建立，分布式视频检测，在线和离线样本库纠正三个部分。具体描述如下：

1.样本库和特征库的建立。从视频数据中抽取关键帧，将其进行旋转角度计算和座位分割，得出关键帧的旋转角度和切割座位的图像位置信息等参数，并获得16×16到32×32像素大小的座位图像，采集到一定量的座位图像加入正、负样本库（正样本库即上座率检测算法或者认为判定有人的座位的图片样本，负样本即上座率检测算法或者认为判定无人的座位的图片样本），并对所有的正、负样本进行特征提取，根据大量实验结果，从而选择提取检测效果较好的方向梯度直方图特征HOG、尺度不变转换特征SIFT、场景描述特征GIST三个特征以此建立好正、负样本的特征库。

2.分布式视频检测，是从时域上分割关键帧，从空间上分离座位，虚拟化检测设备和检测程序，共享处理结果。分布式视频检测的具体步骤如下：

（1）关键帧抽取：在检测过程中，该方法每个0.1秒抽取一帧图像，在检测过程中为了减少计算量，只对整数秒的图像进行全部座位区域检测，对于非整数秒的图像通过前景检测算法，只提取前景变化区域的图像。

前景检测算法分为以下四个步骤：

①背景模型初始化，在开始前景检测前，用一段时间采集N个模型中对应关键帧每个座位的变量样本（N一般取15-30，通常取为20）。

②前景点背景点区分，在完成初始化后，比较新关键帧的像素点与模型中该像素点对应位置的N个样本的距离，计算距离小于距离阈值R的样本数量N₀，若N₀小于数量阈值T，则认为该像素点为前景点，并继续处理下一帧，否则记为背景点，并继续一下步骤。

③更新当前像素点背景模型，随机生成一个0到N-1之间的整数r，将背景点的值赋给变量及中的样本r。

④更新邻近像素点背景模型，随机生成一个0到N-1之间的整数r以及一个随机的偏移变量，将背景点值赋给经过随机偏移后的变量样本r。完成该步骤后，继续处理下一关键帧。

（2）关键帧分配管理：将抽取的所有关键帧附上视频时间标签，连同该帧需要处理的单元座位位置一起打包好，推送到缓冲池，供检测设备动态获取。关键帧被检测设备获取时，会给一个延时标签，在延时时间内完成空间融合，关键帧管理程序会将关键帧移出缓冲池，否则延时标签失效，设备可以继续获取并处理该帧。这样的设计可以在部分设备出现故障时，仍能保证系统正常工作。

（3）关键帧座位分割（附图2）：空闲设备拿到关键帧，将其进行角度旋转和座位分割，得出关键帧旋转角度和切割座位的图像位置空间信息。

（4）单元座位特征提取：利用特征提取方法，提取单个座位的视觉特征。视觉特征包括：HOG特征、SIFT特征、GIST特征；

上面特征以及这里提到的特征的提取方法为：①HOG特征的提取，是先进行伽马颜色校正；接着计算图像梯度，然后建立每个像素各方向以梯度幅值为权重的直方图（为了消除区域块边界的影响，通常施加高斯权重窗口）；再正规化每个区域块的同一方向的梯度直方图；最后将各区域块直方图按照从上到下、从左到右的方式连接起来，得到了HOG特征。②SIFT特征的提取，是先从高斯核差分的尺度空间提取灰度变化的极值点；接着舍弃对比度低和边缘的点，确定关键点；然后对关键点周围区域采样像素的各梯度方向进行直方图统计，并以10度为一个方向，通过高斯加权来确定关键点的方向；最后由关键点的尺度、位置以及方向，来确定一个SIFT特征。③GIST特征的提取，是利用不同方向和空间分辨率的Gabor滤波器对图像进行下采样滤波，把滤波后的图像分成4x4的网格，在每个网格内取平均值，最后把各方向、各尺度网格内得到的平均值放在一个向量里，这样就得到了一个GIST特征。

（5）单元座位特征检测：在上述提取座位特征的基础上，采用支持向量机方法即SVM方法分别对座位特征进行匹配检测（SVM方法是已有技术，最早由台湾林智仁教授提出）；SVM方法根据已有的训练样本的多维空间分布，利用多个超平面进行分类，再计算新的检测样本到各个超平面的距离，以此来确定新的检测样本的分类；同时用线性分类器对其进行拟合，最后输出座位特征的检测置信度。

（6）空间融合：对座位特征的检测置信度结果，利用座位分割中每个座位所附带的图像位置空间信息，进行座位的空间还原融合，得到关键帧。

（7）时域融合：针对计算机处理有快慢问题，还需要对附带有时间标签的关键帧，进行时间上的排序，得到最终的检测结果。

3.样本库的纠正。样本库的纠正有在线和离线两种方式。离线方式是通过人工将单元座位样本进行区分，并对应加入到正负样本库中。在线方式是通过系统检测后，挑选出置信度较低的判决结果进行人工判定，并根据人工判定结果，将样本对应加入正负样本库中。

在上述分布式视频检测的过程中，由于起始样本库数量较小，导致最后单特征检测结果的置信度可能会较低。针对这种情况，加入了在线样本纠正方法。具体是将单特征检测置信度较低的座位区域图像输出到人工纠正缓冲队列，利用人工识别的方式，对这些座位区域图像进行判别，判别结束后，根据人工判别结果，将该座位区域图像传到正负样本库中，以此来提高样本库和特征库的数量和种类，从而提高检测精度。

本发明综合多方位考虑了检测效率问题，具有以下特点：①分离关键帧时域联系，分割座位空间关联，将中间检测过程拆分，分布式并行处理，加快处理速度；②将已有的模型和方法进行改良，适用于本方法；③针对300个座位以内的视频数据，检测速度能做到实时。

附图说明

图1是本发明基于分布式的视频检测座位的流程架构框图。

图2是本发明关键帧座位分割方法图。

具体实施方式

图1是本发明基于分布式的视频检测座位的系统架构框图，包括样本库和特征库离线提取模块，分布式视频座位检测模块和在线样本纠正模块。

下面结合附图对本发明视频检测的座位统计方法做进一步说明，所有用于样本采集和测试的视频格式都属于以下格式中的一种：3gp、avi、mp4、flv，时长在两小时以内。所有的测试视频是针对同一教室区域不同角度进行拍摄的A、B组视频。从A、B两组中各选出一定数量的视频（本方法通常是10个）进行样本提取，通过提取整数秒关键帧，再利用视频座位分割算法得到单个座位样本，最后通过人工区分的手段，将上述所有样本存入正负样本库中。接着对正负样本库中的的样本进行特征提取，形成检测特征库。将之前没有进行样本选取的测试视频A、B两组分成四组，分别为A1、B1、A2、B2。对A1、B2两组测试用例，分别进行部分座位遮挡处理。得到新的四组测试用例，再对其进行关键帧抽取、关键帧分配管理，关键帧座位分割、单元座位特征提取、单元座位特征检测、空间融合、时域融合、在线样本纠错，得到最终检测结果；该方法对于两组组测试用例有很高的准确率。对于置信度较低，人工检测错误的座位，将其通过在线纠正的方法更新到样本库中，样本库在定时更新特征库（更新特征库时间可以人工设定）。对两组视频进行二次检测时，之前座位的错误判别可以得到修正。由此可见，该方法通过多特征多角度融合和在线纠错的方法可以使视频检测有更高的准确率，很大程度上解决视频遮挡问题。

Claims (2)

1.一种基于分布式视频检测的座位统计方法，其特征在于包括：样本库和特征库的建立，分布式视频检测，在线和离线样本库纠正三个部分；其中：

（一）样本库和特征库的建立

从视频数据中抽取关键帧，将其进行旋转角度计算和座位分割，得出关键帧的旋转角度和切割座位的图像位置信息参数，并获得16×16到32×32像素大小的座位图像，采集到一定量的座位图像加入正、负样本库，并对所有的正、负样本进行特征提取，根据大量实验结果，从而选择提取检测效果较好的方向梯度直方图特征HOG、尺度不变转换特征SIFT、场景描述特征GIST三个特征以此建立好正、负样本的特征库；

（二）分布式视频检测

从时域上分割关键帧，从空间上分离座位，虚拟化检测设备和检测程序，共享处理结果，分布式视频检测的具体步骤如下：

（1）关键帧抽取：在检测过程中，每个0.1秒抽取一帧图像，在检测过程中只对整数秒的图像进行全部座位区域检测，对于非整数秒的图像通过前景检测算法，只提取前景变化区域的图像；

（2）关键帧分配管理：将抽取的所有关键帧附上视频时间标签，连同该帧需要处理的单元座位位置一起打包好，推送到缓冲池，供检测设备动态获取；关键帧被检测设备获取时，给一个延时标签，在延时时间内完成空间融合，关键帧管理程序将关键帧移出缓冲池，否则延时标签失效，设备继续获取并处理该帧；

（3）关键帧座位分割：空闲设备拿到关键帧，将其进行角度旋转和座位分割，形成单个座位的图像，并附带座位在原图片中位置空间信息；

（4）单元座位特征提取：利用特征提取方法，提取单个座位的视觉特征；视觉特征包括：HOG特征、SIFT特征、GIST特征；

（5）单元座位特征检测：在上述提取座位特征的基础上，采用支持向量机方法即SVM方法分别对座位特征进行匹配检测；SVM方法根据已有的训练样本的多维空间分布，利用多个超平面进行分类，再计算新的检测样本到各个超平面的距离，以此来确定新的检测样本的分类；同时用线性分类器对其进行拟合，最后输出座位特征的检测置信度；

（6）空间融合：对座位特征的检测置信度结果，利用座位分割中附带的图像位置空间信息，进行座位的空间还原融合，得到关键帧；

（7）时域融合：针对计算机处理有快慢问题，对附带有时间标签的关键帧，进行时间上的排序，得到最终的检测结果；

（三）样本库的纠正

样本库的纠正有在线和离线两种方式；离线方式是通过人工将单元座位样本进行区分，并对应加入到正负样本库中；在线方式是通过系统检测后，挑选出置信度较低的判决结果进行人工判定，并根据人工判定结果，将样本对应加入正负样本库中。

2.根据权利要求1所述的基于分布式视频检测的座位统计方法，其特征在于：所述提取前景变化区域的图像的步骤为：

①背景模型初始化，在开始前景检测前，用一段时间采集N个模型中对应关键帧每个座位的变量样本，N取15-30；

②前景点背景点区分，在完成初始化后，比较新关键帧的像素点与模型中该像素点对应位置的N个样本的距离，计算距离小于距离阈值R的样本数量N₀，若N₀小于数量阈值T，则认为该像素点为前景点，并继续处理下一帧，否则记为背景点，并继续下一步骤；

③更新当前像素点背景模型，随机生成一个0到N-1之间的整数r，将背景点的值赋给变量中的样本r；

④更新邻近像素点背景模型，随机生成一个0到N-1之间的整数r以及一个随机的偏移变量，将背景点值赋给经过随机偏移后的变量样本r；完成该步骤后，继续处理下一关键帧。