CN110705394B - 一种基于卷积神经网络的景区人群行为分析方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的景区人群行为分析方法，包括步骤构建人群密度分类神经网络和人群热度图估计卷积神经网络，所述人群密度分类神经网络使用一个CNN将人群密度分为低密度、中密度和高密度3类，所述人群热度图估计卷积神经网络分为三列，每个不同人群密度类别被送到相应的人群热度图估计卷积神经网络的列中进行训练；结合颜色相似性和DBSCAN聚类算法对采集到的热度图中的人群区域进行分割；计算所述人群区域的相似度；根据所述相似度分析人群行为。与现有技术相比，本发明能有效地评估景区的人群行为，以便于及时指挥调度，疏散景区中的游客。

Description

一种基于卷积神经网络的景区人群行为分析方法

技术领域

本发明涉及旅游景区的人群行为分析领域，尤其涉及一种基于卷积神经网络的景区人群行为分析方法。

背景技术

2015年，国家旅游局提出″智慧景区”的建设要求，并通过将旅游和互联网结合在一起，在今年之内，把国内5A级旅游景区都建为“智慧旅游景区”。因此，建设“智慧景区”已经成为我国旅游业不断发展的迫切需要。对于景区管理者来说，旅游管理中需要面对的种种问题。例如：如何获知人群热度以便及时指挥调度，疏散景区中的游客，这些都是国内传统景区转型中亟需攻克的难点。其次，景区作为旅游业的重要组成部分，是游客旅游的目的地和聚集地，极易导致人群秩序混乱而发生拥堵、踩踏等公共安全事故，如何保障游客安全变得至关重要。现有的人群密度估计的方法多种多样，有面向空域的，也有针对时域的，大致总结出如下四种方法，即基于像素、基于纹理、基于个体分割和基于深度学习的密度估计方法。这四种方法根据其实用领域以及场合的不同，各有优势。

Celik H,Hanjalic A,Hendriks E.Towards a robust solution to peoplecounting[C].In:Proc.of the IEEE int.conf.on image processing,2006:pp 2401–2404，通过统计建立图像中的人移动像素的量与人数之间的关系来实现密度估计，但是在遮挡情况下准确性较差。2001年Chow T W S,Cho S Y.Industrial neural vision systemfor underground railway station platform surveillance[J].Advanced EngineeringInformatics,2002(16):72-80通过使用单个图像来估计复杂背景中拥挤场景中的人数，提取头部轮廓的像素特征，放入支持向量机中分析，采用透视变换技术来估计人群密度，从而通过回归的方法来估计人群密度。

Chan A B,Vasconcelos N.Modeling clustering and segmenting video withmixtures of dynamic textures[J].IEEE Transactions on Pattern Analysis andMachine,2008,30(5):909-926提出了动态纹理是视频的时空生成模型，其表示视频序列作为线性动态系统的观察，为了学习模型的参数，使用了期望最大化(EM)算法，将传统的纹理改进为混合的动态纹理，该方法可以实现人群密度的大致估计。候鹏鹏.基于GLCM纹理特征分析的人群密度估计方法实现[J].中国安防.2014(23):88-90采用灰度共生矩阵(GLCM)构建的五个特征量作为参数，通过计算纹理特征量，训练SVM分类器，最后使用SVM分类器进行密度分类。Srivastava S,Ng K K,Delp E J.Crowd flow estimation using multiplevisual features forscenes with changing crowd densities[C].Proceedings of 8thIEEE International Conference on Advanced Video and Signal BasedSurveillance,Klagenfurt,2011,60-65将场景的一个区域制定为虚拟行程线，并在选定的时间段内累积前景像素的总和，并通过实验验证累积像素数与通过比例因子的行程线路的人数有关，利用其纹理，确定拥挤度并选择最合适的比例因子。

通过后面学者的实验研究表明，通过CNN学到的特征优于传统设计的特征，精度优于其它方法。Wang T,Li G,Lei J.Crowd Counting Based on MMCNN in Still Images[C].Scandinavian Conference on Image Analysis,2017:468-479受LeCun等人启发，提出了一个适用于人群计数的深度卷积神经网络模型，交替回归图像块的人群密度和人群总数来实现人数估计，此外还提出了一种从训练数据中选择样本来微调预训练好的CNN模型的方法，在人群密度估计领域取得了很大的成功。Zhang Y,Zhou D,Chen S,et al.Single-Image Crowd Counting via Multi-Column Convolutional Neural Network[J].Computer Vision&Pattern Recognition,2016:589-597以及Bansal A,Venkatesh KS.People Counting in High Density Crowds from Still Images[J].ComputerScience,2015提出了多列卷积神经网络结构从一个单幅的图像中准确地估计任意人群密度任意角度的人群数目。有的研究者们如Sindagi V A,Patel V M.Cnn-based cascadedmultitask learning of high-level prior and density estimation for crowdcounting[C].In Advanced Video and Signal Based Surveillance(AVSS),14th IEEEInternational Conference on,pages 1–6.2017和Sindagi V A,Patel V A.Generatinghigh-quality crowd density maps using contextual pyramid cnns[C].2017 IEEEInternational Conference on Computer Vision,2017通过提出不同的网络模型，对人群密度估计的精度进行改善，但是只是针对单张图像进行研究，并没有考虑视频中每帧图像的时空关联性。

发明内容

为克服现有技术的不足，本发明提出一种基于卷积神经网络的景区人群行为分析方法，本发明的技术方案是这样实现的，一种基于卷积神经网络的景区人群行为分析方法，包括

步骤1，构建人群密度分类神经网络和人群热度图估计卷积神经网络，所述人群密度分类神经网络使用一个CNN将人群密度分为低密度、中密度和高密度3类，所述人群热度图估计卷积神经网络分为三列，每个不同人群密度类别被送到相应的人群热度图估计卷积神经网络的列中进行训练；

步骤2，结合颜色相似性和DBSCAN聚类算法对采集到的热度图中的人群区域进行分割；

步骤3，计算所述人群区域的相似度；

步骤4，根据所述相似度分析人群行为。

进一步地，所述人群密度分类神经网络包括Conv1和Conv2两个卷积层，其中Conv1采用32个7x7的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化；Conv2采用64个5x5的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化。

更进一步地，所述所述人群密度分类神经网络的损失函数为：

进一步地，所述人群热度图估计卷积神经网络包括FC1、FC2和FC3三个全连接层，其中FC1全连接层1000神经元；FC2全连接层400神经元；FC3全连接层3个神经元，采用Softmax loss函数作为网络输出的损失。

更进一步地，所述人群热度图估计卷积神经网络损失函数为：

更进一步地，所述人群热度图估计卷积神经网络使用欧氏距离度量估计热度图与标签图的距离，其中在景区人数较多时，欧式距离计算公式为：

当景区人数较少时，欧式距离计算公式为：

进一步地，步骤2包括步骤：

S21，输入人群热度图D，所述人群热度图D包括背景区域D₁和热度区域D₂；

S22，将背景区域D₁中的像素点视为无效点，并作出相应标记，将热度区域D₂中的点标记为未处理点；

S23，搜索热度区域D₂中的像素点，将区域中的每一个点进行判断，并归为三类：边界点、核心点、噪点，将每一类的点做好相应标记；

S24，搜索红色的像素点，假如搜索到点p，则从热度图中红色点p开始，判断点p是否同时满足核心点和未处理两个条件，如满足则将p及其邻域内的点，聚类为一个新的热度区域C_i，然后判断p邻域中的点q是否也同时满足以上两个条件，如果满足，则找出q邻域中未处理的点，并将它们全部添加到C_i中；

S25，重复步骤S4，直到D₂中所有点都处理完；

S26，在所有已经处理过的点中，对于不满足任何类的条件、不属于任何类的点进行就近处理，即将这些点归到与其他颜色平均值最相似，且在空间位置也接近的热度区域中；

S27，分割出热度图中的所有人群区域C_i；

S28，输出聚类后的人群区域。

进一步地，步骤,3包括步骤：

S31，基于区域直方图特征的相似度计算；

S32，基于区域形状特征的相似度计算；

S33，基于区域聚类中心点之间的相似度计算；

S34，基于所述区域直方图特征的相似度、区域形状特征的相似度、区域聚类中心点之间的相似度的综合相似度计算。

进一步地，步骤4中所述人群行为分为人群扩大、人群消失，和人群滞留。

本发明的有益效果在于，与现有技术相比，本发明能有效地评估景区的人群行为，以便于及时指挥调度，疏散景区中的游客。

附图说明

图1是本发明，一种基于卷积神经网络的景区人群行为分析方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明一种基于卷积神经网络的景区人群行为分析方法，包括

步骤1，构建人群密度分类神经网络和人群热度图估计卷积神经网络，所述人群密度分类神经网络使用一个CNN将人群密度分为低密度、中密度和高密度3类，所述人群热度图估计卷积神经网络分为三列，每个不同人群密度类别被送到相应的人群热度图估计卷积神经网络的列中进行训练；

步骤2，结合颜色相似性和DBSCAN聚类算法对采集到的热度图中的人群区域进行分割；

步骤3，计算所述人群区域的相似度；

步骤4，根据所述相似度分析人群行为。

在景点中各个时段的人群密度是在不断变化的，当视频帧中人群密度分布稀疏或者密集的时候，训练得到的网络也是不同的，图像中的人群密度分布不均匀时，难以训练紧凑的神经网络。为了得到紧凑的网络，本发明提出了一种密度预分类的新方法来提高热度图估计网络的紧凑性。人群密度分类神经网络使用一个CNN网络用于将人群密度分为低密度、中密度和高密度3类，每个类别被送到相应的人群热度图估计卷积神经网络进行训练和估计。

其中所述人群密度分类神经网络包括Conv1：采用32个7x7的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化(Max-Pooling1)；和Conv2：采用64个5x5的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化(Max-Pooling2)。

所述人群热度图估计卷积神经网络包括FC1：全连接层1000神经元；FC2：全连接层400神经元；FC3：全连接层3个神经元，采用Softmax loss函数作为该网络输出的损失。

所述人群密度分类神经网络的损失函数：

人群热度图估计卷积神经网络的损失函数：

所述人群热度图估计卷积神经网络的三列网络单独预训练去生成估计热度图，预训练有助于学习初始的特征以提高fine-tuning的基础。使用欧氏距离度量估计热度图与标签图的距离，在景区人数较多时，如下所示：

当景点中的人是稀疏的时候，会出现估计效果不好的情况，为了解决这个问题，将损失函数进行改进，如下式所示：

前面构建的景区热度图，上面的像素点是按照人数的多少这样的规律生成的，人群聚集大的地方，像素点的颜色呈现为红色，其次是黄色，这些像素点的集合在图上即成为一个个连续的区域。其次，这些连续的区域，可以通过密度聚类的方式进行分割，分割的目标是把在热度图上连续的区域，并且相邻像素的颜色相似的区域分割出来，结果热度图上每一个区域都聚成一个类。步骤2实现的过程包括如下步骤：

S21，输入人群热度图D，所述人群热度图D包括背景区域D₁和热度区域D₂；

S22，将背景区域D₁中的像素点视为无效点，并作出相应标记，将热度区域D₂中的点标记为未处理点；

S23，搜索热度区域D₂中的像素点，将区域中的每一个点进行判断，并归为三类：边界点、核心点、噪点，将每一类的点做好相应标记；

S24，搜索红色的像素点，假如搜索到点p，则从热度图中红色点p开始，判断点p是否同时满足核心点和未处理两个条件，如满足则将p及其邻域内的点，聚类为一个新的热度区域C_i，然后判断p邻域中的点q是否也同时满足以上两个条件，如果满足，则找出q邻域中未处理的点，并将它们全部添加到C_i中；

S25，重复步骤S4，直到D₂中所有点都处理完；

S26，在所有已经处理过的点中，对于不满足任何类的条件、不属于任何类的点进行就近处理，即将这些点归到与其他颜色平均值最相似，且在空间位置也接近的热度区域中；

S27，分割出热度图中的所有人群区域C_i；

S28，输出聚类后的人群区域。

在数学中可以模型来表示网络，其中集合V中的元素称为G顶点(或节点、点)，而集合E中的元素称为边。图中的节点和边分别表示被研究对象、其对象之间的相互关系。

在对人群行为的关系网络建模过程中，我们以人群聚类区域为节点，以相邻帧区域之间的相似性为边权重。对于一张张序列图像，假如聚类得到的人群区域有m个，则建立描述区域之间关系的邻接矩阵A：

上式(5)中，矩阵中的每一个元素代表一个权重值，且该权重是对应节点之间的，元素的改变，是节点之间发生了某种变化，也是群体区域之间的关系发生了变化。

本发明的一实实施例中，步骤3一般步骤：

S31，基于区域直方图特征的相似度计算：

图像中相邻帧的区域直方图是对该区域进行统计分析的重要手段。设

和

分别为两个区域的RGB统计直方图数据，则两区域之间的相似度用巴氏距离(Bhattacharyya coefficient)来计算，计算公式如下：

其中

S32，基于区域形状特征的相似度计算：

通过了解，除了直方图特征，区域形状也是一个重要描述特性，经过前面热度图区域的聚类，我们得到了一个个人群区域，对这些区域分别提取各自的轮廓，通过查找，找出轮廓上的像素点，获取每个像素的坐标位置。用Freeman链码表示轮廓边界，设区域轮廓上的像素数量为Q，其链码表示为h₁，h₂，h₃…h_Q，计算其傅里叶系数作为特征。令：

则参变量t_q的计算方式为：

通过上式计算可知，计算出来的傅里叶系数C_n，作为区域的特征描述。接着计算其相似度，这里我们假设区域r_ik的特征向量为

同样，区域r_jl特征向量为

通过使用欧氏距离进行计算，其计算公式如下：

使用欧式距离来度量，值越大相似度越小，值越小相似度越大。

S33，基于区域聚类中心点之间的相似度计算：

假设区域r_ik的聚类中心点坐标为X＝(x₁,y₁)，区域r_jl的聚类中心点坐标为Y＝(x₂,y₂)，则两区域聚类中心点中间的相似度C(X,Y)，可以通过欧氏距离来计算，如下式所示：

然后将值归一化到[0,1]，方式为：

S34，两区域综合相似度计算：

综上描述了从区域不同的特征来计算第k帧到第k+1帧区域的相似度，下面从区域综合特征来计算两区域的相似度。相似度的计算按下式进行：

根据上面得到模型可以分析人群扩大、消失、滞留等人群行为。

1)人群消失，如果第k帧中的某一区域和k+60帧中的某一区域没有边相连，即模型中一个节点消失，则认为区域消失了。

2)人群扩大，如果第k帧中的区域和第k+60帧中聚类区域个数不变，区域人数变多，则认为区域发生了扩大的情况。

3)人群滞留，如果第k帧中的区域和k+60帧中聚类区域个数不变、聚类中心点位置不变、相似度很高，则认为区域发生了滞留的情况。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于卷积神经网络的景区人群行为分析方法，其特征在于，包括

步骤1，构建人群密度分类神经网络和人群热度图估计卷积神经网络，所述人群密度分类神经网络使用一个CNN将人群密度分为低密度、中密度和高密度3类，所述人群热度图估计卷积神经网络分为三列，每个不同人群密度类别被送到相应的人群热度图估计卷积神经网络的列中进行训练；

步骤2，结合颜色相似性和DBSCAN聚类算法对采集到的热度图中的人群区域进行分割；

步骤3，计算所述人群区域的相似度，包括步骤：

S31，基于区域直方图特征的相似度计算：

设

和

分别为两个区域的RGB统计直方图数据，则两区域之间的相似度用巴氏距离来计算，计算公式如下：

其中

S32，基于区域形状特征的相似度计算：

经过热度图区域的聚类，得到了一个个人群区域，对这些区域分别提取各自的轮廓，通过查找，找出轮廓上的像素点，获取每个像素的坐标位置，用Freeman链码表示轮廓边界，设区域轮廓上的像素数量为Q，其链码表示为h₁，h₂，h₃…h_Q，计算其傅里叶系数作为特征，令：

则参变量t_q的计算方式为：

计算出来的傅里叶系数C_n，作为区域的特征描述，然后计算相似度，假设区域r_ik的特征向量为

同样，区域r_jl特征向量为

通过使用欧氏距离进行计算，其计算公式如下：

S33，基于区域聚类中心点之间的相似度计算：

假设区域r_ik的聚类中心点坐标为X＝(x₁,y₁)，区域r_jl的聚类中心点坐标为Y＝(x₂,y₂)，则两区域聚类中心点中间的相似度C(X,Y)，可以通过欧氏距离来计算，如下式所示：

然后将值归一化到[0,1]，方式为：

公式(13)中，dist(X,Y)为两个聚类中心X、Y的欧式距离，区域r_ik的聚类中心点坐标为X＝(x₁,y₁)，区域r_jl的聚类中心点坐标为Y＝(x₂,y₂)；

S34，两区域综合相似度计算：

相似度的计算按下式进行：

步骤4，根据所述相似度分析人群行为，包括步骤：分析人群行为：

1)人群消失，如果第k帧中的某一区域和k+60帧中的某一区域没有边相连，即模型中一个节点消失，则认为人群消失；

2)人群扩大，如果第k帧中的区域和第k+60帧中聚类区域个数不变，区域人数变多，则认为人群扩大；

3)人群滞留，如果第k帧中的区域和k+60帧中聚类区域个数不变、聚类中心点位置不变、相似度高，则认为区域发生了人群滞留。

2.如权利要求1所述的基于卷积神经网络的景区人群行为分析方法，其特征在于，所述人群密度分类神经网络包括Conv1和Conv2两个卷积层，其中Conv1采用32个7x7的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化；Conv2采用64个5x5的卷积核，步长为1，进行卷积，接着以2x2大小，步长为2，进行最大池化。

3.如权利要求2所述的基于卷积神经网络的景区人群行为分析方法，其特征在于，所述所述人群密度分类神经网络的损失函数为：

4.如权利要求1所述的基于卷积神经网络的景区人群行为分析方法，其特征在于，所述人群热度图估计卷积神经网络包括FC1、FC2和FC3三个全连接层，其中FC1全连接层1000神经元；FC2全连接层400神经元；FC3全连接层3个神经元，采用Softmax loss函数作为网络输出的损失。

5.如权利要求4所述的基于卷积神经网络的景区人群行为分析方法，其特征在于，所述人群热度图估计卷积神经网络损失函数为：

6.如权利要求1所述的基于卷积神经网络的景区人群行为分析方法，其特征在于，步骤2包括步骤：

S21，输入人群热度图D，所述人群热度图D包括背景区域D₁和热度区域D₂；

S22，将背景区域D₁中的像素点视为无效点，并作出相应标记，将热度区域D₂中的点标记为未处理点；

S23，搜索热度区域D₂中的像素点，将区域中的每一个点进行判断，并归为三类：边界点、核心点、噪点，将每一类的点做好相应标记；

S24，搜索红色的像素点，假如搜索到点p，则从热度图中红色点p开始，判断点p是否同时满足核心点和未处理两个条件，如满足则将p及其邻域内的点，聚类为一个新的热度区域C_i，然后判断p邻域中的点q是否也同时满足以上两个条件，如果满足，则找出q邻域中未处理的点，并将它们全部添加到C_i中；

S25，重复步骤S4，直到D₂中所有点都处理完；

S26，在所有已经处理过的点中，对于不满足任何类的条件、不属于任何类的点进行就近处理，即将这些点归到与其他颜色平均值最相似，且在空间位置也接近的热度区域中；

S27，分割出热度图中的所有人群区域C_i；

S28，输出聚类后的人群区域。

Images