CN104320617B - 一种基于深度学习的全天候视频监控方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的全天候视频监控方法，该方法包括以下步骤：实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；对于得到的速度采样图样本进行时空矫正；基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；利用得到的深度学习模型对于实时视频流进行人群状态分析。本发明对于不同环境、光照强度、天气情况以及摄像头角度均具有良好的适应性；对于大流量人群涌出等人群拥挤环境，可以保证较高的准确率；计算量小，可以满足实时视频处理的要求，能够广泛地应用于对于公交、地铁和广场等滞留人群密集的公共场所的监控和管理。

Description

一种基于深度学习的全天候视频监控方法

技术领域

本发明属于模式识别技术领域，特别涉及一种基于深度学习的全天候视频监控方法，尤其适用于大流量人群状态的分析。

背景技术

目前我国城市化水平已超过50％，大量流动人口的涌入使城市人口的密度越来越大，大规模人群活动变得日益频繁，由于人流拥挤踩踏而发生重大事故的现象屡见不鲜。因此，如何对人群进行监控管理，在群体性事件发生的初期进行主动识别和及时预警，成为当前各个国家视频监控领域的研究热点之一。为了更好地对群体性异常事件进行识别和预警，从而减少灾难的发生，实时对人群规模变化的掌握是一个关键的因素。基于智能视频监控的人群分析，是对特定监控场景内的运动物进行行为分析，可以对其行为规律作出描述，从而实现利用机器智能进行异常事件自动检测，还可以学习建立相关行为模型，为公共空间设计、智能环境等提供参考。然而，由于监控场景的不同、摄像机安装角度的差异、天气以及日照强度的变化，使得智能监控系统在全天候监控时，发挥作用甚小。

卷积神经网络，作为一种深度学习方法，是为二维图像处理而特别设计的一个多层感知器。它具有一些传统技术所没有的优点：良好的容错能力、并行处理能力和自学能力，可处理环境信息复制，背景知识不清楚，推理规则不明确情况下的问题，允许有较大的缺损、畸变，运行速度快，自适应性能好，具有较高的分辨能力。因此，卷积神经网络，可以解决全天候监控中的问题，可以保证智能监控系统在各种情况下的较高的稳定的准确率。

发明内容

本发明的目的是提供一种基于深度学习的全天候视频监控方法，可以全天候的分析视频中人群状态，尤其是人群的数量。

为了实现上述目的，本发明提出的一种基于深度学习的全天候视频监控方法包括以下步骤：

步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；

步骤2，对于得到的速度采样图样本进行时空矫正；

步骤3，基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；

步骤4，利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。

本发明与目前国内外最新方法相比具有几个明显的优点：1)对不同环境、光照强度、天气情况以及摄像头角度的不同设置，均具有良好的适应性；2)对大流量人群涌出等人群拥挤环境，可以保证较高的准确率；3) 计算量小，可以满足实时视频处理的要求。

附图说明

图1是本发明基于深度学习的全天候视频监控方法的流程图；

图2是本发明几何校正的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的思想要点是：1)人进出门(或虚拟门)行为，可以通过固定位置采样将动态行为转换成静态图片，以方便人群的分析；2)通过透视矫正以及速度矫正，使得该方法在不同摄像头角度设置下保证较高的准确率；3)深度学习模型有助于自动发现最有效的特征，并通过串联多特征保证人群状态分析的准确率在不同场景下的稳定性。下面对于本发明中所涉及到的技术细节予以说明。

本发明基于深度学习的全天候视频监控方法的流程图如图1所示，如图1所示，所述基于深度学习的全天候视频监控方法包括以下步骤：

步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；

在本发明一实施例中，为了统计的方便，首先，对于所述视频流中的每帧图像，在行人进出门的位置处，设置一个宽度固定为n像素(在本发明一实施例中，n＝3)、长度覆盖整个门的标定线l_n，作为人进出的虚拟门界限，其中，所述标定线的位置根据视频场景中需要统计人数的位置而定，其可以是任意角度，优选为与门的长度方向垂直，比如，如果门正对着摄像头，则标定线可设置为横向放置，如果门与摄像头的拍摄方向垂直，则标定线可设置为纵向放置；然后，提取所述视频流中每隔f(在本发明一实施例中，f＝2)帧的图像F中所述标定线覆盖的像素，由于标定线的宽度是n像素，因此每完成一次采样，就会得到n行的像素数据，经过固定时间间隔t(在本发明一实施例中，t＝300帧)，采样得到的所有像素累积组成原始采样图像I，进而对于视频流可以得到多幅原始采样图样本。在本发明一实施例中，按照时间采样的顺序，将采样得到的每行图像像素数据，由上到下按行填充，得到原始采样图像I。

所述速度采样图为行人运动方向图，本发明中，行人的运动方向有两种可能，即在垂直于标定线的方向上，向标定线的两侧行走。因此，在速度采样图中，本发明使用RBG不同的通道表示行人不同的运动方向：其中，R通道和G通道表示两个不同运动方向的像素点，B通道表示没有运动的像素点。具体地，当对于所述视频流进行采样得到原始采样图像的同时，使用光流法计算相应标定线覆盖的每个像素点的速度Speed(F_t(l_n))与运动方向Orient(F_t(l_n))，基于计算得到的像素点的运动方向值，经过类似的相同固定时间间隔t的累积，得到速度采样图I_s。

由上，一段时间的视频流中的人群信息，可以通过原始采样图和速度采样图获得，即：

I(n*t％3/3)＝F_t(l_n)，

I_s(n*t％3/3)＝Orient(F_t(l_n))，

其中，

其中，F_t(l_n)表示时间t时，图像帧F中标定线l_n覆盖的像素点，Orient(F_t(l_n)) 表示时间t时，图像帧F中标定线l_n覆盖的像素点的运动方向，％表示取余操作。

步骤2，对于得到的速度采样图样本进行时空矫正，以保证最终人群状态分析较高的准确率；

(1)对于所述速度采样图样本进行空间矫正；

由于相机安装角度的不同，场景在图像平面上的投影会存在比较严重的透视现象，即同样的物体，离摄像机近看起来大，离摄像机远看起来小时，需要对图像平面上不同像素的贡献进行加权处理。本发明中，假设地面是平面，而人垂直于地面。

图2是本发明几何校正的示意图，图2中，XOY为图像坐标系，p₁p₂p₃p₄为世界坐标系中的四个点坐标，假设在P₁P₂和P₃P₄处各有一个3D物体，且大小相同、高度一致，y与y_r为 这两个3D物体的高度1/2处在图像坐标系中的参考线，y_v为消逝点在图像坐标系中的参考线，ΔW与ΔH为p₃p₄处物体的长宽表示，ΔWr与ΔHr为p₁p₂处物体的长宽表示，如图2所示，设消逝点P_v的坐标为(x_v，y_v)，则图像坐标系中任意一个像素I(x，y)的几何贡献因子可以表示为：

(2)对于所述速度采样图样本进行时间矫正；

由于人的运动速度不同，因此会造成行人在所述速度采样图中显示出的高矮不同或胖瘦不同，这样会影响对于人群分析的准确率，因此需要对于所述速度采样图进行时间矫正。

在本发明一实施例中，通过由光流法计算出标定线覆盖的像素点的速度对于所述速度采样图进行时间矫正，矫正系数表示为：

S(F_t(l_n))＝Speed(F_t(l_n))/N_s，

其中，N_s为标准速度值，在本发明一实施例中取为1像素/帧，Speed(F_t(l_n)) 表示时间t时图像帧F中标定线l_n覆盖的像素点的速度大小。

经过上述空间和时间矫正后的速度采样图I’_s表示为：

I’_s＝I_s*S_C(x，y)*S(F_t(l_n))。

步骤3，基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；

在人群状态分析模型中，深度学习模型有两种，一种是分类模型，通过速度采样图样本可以训练得到分类模型，比如可根据速度采样图样本中人的行走方向将速度采样图分为四个类别：速度采样图中只有进入的人、速度采样图中只有出的人、速度采样图中有进有出的人、速度采样图中无人进出，以方便统计进出虚拟门的人群信息；另一种是统计模型，通过原始采样图样本和速度采样图中有进有出的样本训练得到统计模型，从而获得原始采样图中的总人数和速度采样图中的进入人数的比例，其中，统计模型又分为两种，一种是统计原始采样图中人群总人数的模型，称为统计人群数量模型，另一种是统计有进有出的速度采样图中进入人群所占比例的模型，称为统计进出人群模型，在本发明一实施例中，这两种统计模型使用相同的卷积神经网络，训练过程相同。得到所述分类模型和统计模型后，综合两种模型信息，就可以获得一定时间段内进出人群的累积数量信息。

(1)统计模型的训练

本发明一实施例构建的统计模型的卷积神经网络采用9层网络结构，包括输入层，5个卷积层，即：C1～C5，2个全连接层F6和F7以及输出层O8。模型训练的初期先构建网络结构，同时对于网络的权值采用不同的小随机数进行初始化，所述小随机数一般介于[-1，1]范围内，偏置初始化置为0。

A)前向传播阶段

输入层目标图像为I，大小各异，输入到第一个卷积层的图像为两幅：所述目标图像的大小归一化图、大小归一化图左右翻转的图像，在本发明一实施例中，归一化大小为224*224。卷积层包括卷积操作以及下采样操作，其中：

卷积操作是使用多个卷积核对输入图像进行二维卷积，加上偏置，再通过非线性激励函数实现，即得到卷积结果

其中，n代表层数，S代表第n层的神经元数，w_ij表示连接第i个输入图像和第j个输出图像的卷积，其中C1层卷积核的大小为11*11，C2层卷积核的大小为5*5，C3、C4和C5层卷积核的大小为3*3，φ_i是第j个输出图像的阈值(偏置)，f(*)为ReLU函数：f(x)＝max(x，0)；

下采样操作采用stochastic pooling采样方法，即：

其中，t表示第t个输出图像，R_t为下采样层的采样窗口大小，在本发明一实施例中，下采样层采样窗口大小均设为2*2，I_j为采样窗口中的一元素值。

对全连接层F6和F7进行全连接操作后，计算得到输出层O8的实际输出O_k为：

其中，k为输出层的单元数，θ_k为输出单元的阈值(偏置)，l为F7的单元数，V_tk为连接全连接层的输出的卷积，f(*)为softmax函数。

B)反向传播阶段

反向传播阶段采用梯度下降法反向调整神经网络各层的权值和阈值，其中，所使用的统计误差函数为：

其中，d表示对应目标矢量，即速度采样图或原始采样图样本的标签，O_k为深度学习网络的输出，m为样本总数。

当E＜ε时，其中，ε为预先设置的最小误差参数，训练结束，并将得到的各层权值和阈值保存下来。

这时所述统计模型的卷积神经网络结构的各个参数已经稳定。

(2)分类模型的训练

分类模型同样使用卷积神经网络，同样将速度采样图作为样本来训练分类模型，在本发明一实施例中，所述分类模型的类别数为4类，因此建立的网络深度不需要太深，该实施例中，选择网络层数为6层，包括输入层、3个卷积层、1个全连接层，以及输出层。输入层不做任何处理直接将RGB速度采样图样本归一化为96*96后输入到第一层卷积层。与统计模型的训练相同，分类模型的训练也使用随机数据进行初始化。其中，前向传播阶段训练方式，以及反向传播阶段训练方式与统计模型的训练方式均相同，此处不再赘述，不同的地方在于：分类模型中3个卷积层的卷积核大小均为5*5。最终训练得到的分类模型可以用于速度采样图的分类。

步骤4，利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。

所述步骤4进一步包括以下步骤：

步骤41，与所述步骤1类似，基于所述实时视频流获取多幅原始采样图以及速度采样图；

与所述步骤1类似，该步骤中，将对实时视频流采样得到图像帧中虚拟门处的像素累积得到原始采样图，并使用光流法计算原始采样图中虚拟门相应位置处像素的速度，并将计算得到的速度累积成速度采样图。

步骤42，与所述步骤2类似，对于所述步骤41得到的速度采样图分别进行时空矫正，以保证人群状态分析较高的准确率。

步骤43，利用所述深度学习模型中的分类模型对于所述速度采样图分别进行分类，判断得到所述速度采样图所属的类别；

使用所述深度学习模型中的分类模型对于所述速度采样图进行分类，得到所述速度采样图所属的类别：速度采样图中只有进入的人、速度采样图中只有出去的人、速度采样图中有进有出的人、速度采样图中无人进出。

步骤44，根据所述速度采样图所属的类别，使用所述深度学习模型中的统计模型分别分析原始采样图中的人群信息；

具体地，该步骤根据所述分类模型的分类结果选择相应的统计模型进行人群状态统计，比如对于速度采样图中无人进出的类别，人群数量统计为零；对于速度采样图中只有出去和只有进入的类别，使用所述统计模型中的统计人群数量模型统计人群数量；对于速度采样图中有进有出的类别，使用所述统计模型中的统计进出人群模型统计得到进入人数所占的比例，并结合所述统计人群数量模型得到的人群数量统计结果，最终分别获得进入和出去的人数。

步骤45，对于多幅原始采样图对应的人群信息进行整合，获得所述实时视频流对应时段内的精确人群信息。

根据所述统计模型和分类模型的判断结果，可以分别累积得到所述实时视频流对应时段内进出人群的数量信息，进而可以获得该时段内累积的进出人群规模。通过检测人群规模的异常，可以达到视频预警的目的。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的全天候视频监控方法，其特征在于，该方法包括以下步骤：

步骤1，实时采集视频流，基于得到的视频流通过对预先设定的标定线区域内覆盖的像素进行采样获得多幅原始采样图样本，以及速度采样图样本；

步骤2，对于得到的速度采样图样本进行时空矫正；

步骤3，基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；

步骤4，利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。

2.根据权利要求1所述的方法，其特征在于，所述步骤1进一步包括以下步骤：

首先，对于所述视频流中的每帧图像，在行人进出门的位置处，设置一个宽度固定为n像素、长度覆盖整个门的标定线l_n，作为人进出的虚拟门界限；

然后，提取所述视频流中每隔f帧的图像F中所述标定线覆盖的像素，每经过固定时间间隔t，采样得到的所有像素组成原始采样图像I；

在采样标定线覆盖的像素时，使用光流法计算每个像素的速度与运动方向，每经过固定时间间隔t，采样得到的所有像素的运动方向组成速度采样图。

3.根据权利要求1所述的方法，其特征在于，所述速度采样图中，使用RBG不同的通道表示行人不同的运动方向，其中，R通道和G通道表示两个不同运动方向的像素点，B通道表示没有运动的像素点。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中，利用图像平面上不同像素的贡献对于所述速度采样图样本进行空间矫正，利用不同像素点的速度值对于所述速度采样图进行时间矫正。

5.根据权利要求4所述的方法，其特征在于，经过空间和时间矫正后的速度采样图I’_s表示为：

I_s＝I_s*S_C(x，y)*S(F_t(l_n))，

其中，I_s表示空间和时间矫正前的速度采样图，S_C(x，y)表示图像平面上任意一个像素I(x，y)的几何贡献因子，S(F_t(l_n))表示时间矫正系数：S(F_t(l_n))＝Speed(F_t(l_n))/N_s，N_s为标准速度值，Speed(F_t(l_n))表示时间t时图像帧F中标定线l_n覆盖的像素点的速度大小。

6.根据权利要求1所述的方法，其特征在于，所述分类模型可将速度采样图分为4类：速度采样图中只有进入的人、速度采样图中只有出的人、速度采样图中有进有出的人、速度采样图中无人进出。

7.根据权利要求1所述的方法，其特征在于，所述统计模型进一步包括统计人群数量模型和统计进出人群模型，其中，所述统计人群数量模型用于统计原始采样图中人群的总数量；所述统计进出人群模型用于统计有进有出类别的速度采样图中进入人群所占的比例。

8.根据权利要求1所述的方法，其特征在于，所述统计模型使用卷积神经网络训练得到，其中，用于训练统计人群数量模型的卷积神经网络包括输入层、5个卷积层、2个全连接层以及输出层；用于训练统计进出人群模型的卷积神经网络包括输入层、3个卷积层、1个全连接层以及输出层。

9.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤41，与所述步骤1类似，基于所述实时视频流对预先设定的标定线区域内覆盖的像素进行采样获取多幅原始采样图以及速度采样图；

步骤42，与所述步骤2类似，对于所述步骤41得到的速度采样图分别进行时空矫正；

步骤43，利用所述深度学习模型中的分类模型对于所述速度采样图分别进行分类，判断得到所述速度采样图所属的类别；

步骤44，根据所述速度采样图所属的类别，使用所述深度学习模型中的统计模型分别分析原始采样图中的人群信息；

步骤45，对于多幅原始采样图对应的人群信息进行整合，获得所述实时视频流对应时段内的精确人群信息。

10.根据权利要求9所述的方法，其特征在于，所述步骤44中，对于无人进出的类别，人群数量统计为零；对于-只有出去和只有进入的类别，使用所述统计模型中的统计人群数量模型统计人群数量；对于有进有出的类别，使用所述统计模型中的统计进出人群模型统计得到进入人数所占的比例，并结合所述统计人群数量模型得到的人群数量统计结果，最终分别获得进入和出去的人数。