CN110543867A - 一种多摄像头条件下的人群密度估测系统及方法 - Google Patents

Abstract

本发明涉及一种多摄像头条件下的人群密度估测系统及方法，包括多摄像头获取宽视场场景图像模块、基于显著性检测的显著性区域提取模块、针对显著性区域的人脸特征检测模块及基于长时短时深度学习神经网络的显著性区域人群密度估测模块。本发明主要完成对于场景人群的人群密度特征等宏观特征的梳理和分析，并估测密集人群的密度特征等功能。用户可根据多摄像机条件下获取的宽视场图像，分析获取其中人群所在的重点区域，并从中分析得到人群密度等特征信息。

Description

一种多摄像头条件下的人群密度估测系统及方法

技术领域

本发明涉及一种多摄像头条件下的人群密度估测系统及方法，具体说是一种针对特殊警情预警的宽视场全景监测模式下的人群密度估测并预警系统及方法，属于监测预警安保领域。

背景技术

目前，全景视觉采集到的区域场景数据信息主要被用于提取视觉特征，来完成对于目标识别、快速跟踪、自主定位的任务。然而利用全景图像进行人脸识别和人群密度监测的方法还没能真正投入到现实使用中，全景图像其宽视场大视角的优势没能很好地得到使用。

对于全景图像中的特征提取，主要可以划分为两类，全局视觉特征和局部视觉特征。全局视觉特征主要描述的是全景视觉图像整体特性，全局视觉特征在提取速度上更加快速，并且在对于整张全景图像之间的比较和匹配任务中也表现良好，有着快速的匹配效率，但是由于其使用整张全景图像作为特征提取对象，因此受到环境的光线条件变化和动态遮挡情况影响比较严重，对外界环境变化导致的图像采集差异敏感，因此其鲁棒性和特征提取精度较差。局部视觉特征是对单镜头中重点区域进行特征识别，局部视觉特征在提取过程中需要更精准的提取过程，由于其重点描述局部区域的特征信息，所以其拥有更强大的区分判别能力，受到因为遮挡引起的视觉误差较小，对于遮挡问题能够具有良好的鲁棒性，局部视觉特征的有效选择可以有效减少应为外界光线条件变化导致的影响，实现对图像旋转、平移、尺度变化的不敏感性，目前，特征提取主要研究关键问题是特征提取算法的实时性和准确性，使得特征提取这一过程贯彻运动始终，持续有效的提供特征匹配结果。

目前全向视觉已经在监测领域取得了相关研究成果，但是对于将其完全投入到现实应用的过程里还存在一些技术挑战，其中不仅有计算机视觉领域传统沿袭下来的共性问题，也有着由于引用全景视觉技术导致的新问题出现。如何在动态环境变化和光线条件变化下保持具有连续性的图像处理和图像理解能力是目前计算机视觉应用于安保预警领域中富有挑战性的问题。当摄像机在非常规的非结构化环境下工作，通过计算机视觉的自主导航算法一般需要提取图像中的视觉特征来完成目标识别和定位匹配，而由于局部视觉特征相比全局视觉特征拥有更良好的鲁棒性和特征识别能力，对于动态遮挡情况拥有更良好的鲁棒性，但是由于局部视觉特征算法计算消耗大，特征提取时间长，所以这些固有的代价条件导致局部视觉特征很难满足实际工程中对于实时性要求，特征提取的过程经常导致摄像机拍摄的不连续性和延时性，这不仅使得承载摄像机的机器人运动不协调，还导致了无法有效应对紧急情况的功能缺陷。对于更加鲁棒快速的针对全景视觉图像的视觉特征提取算法的研究依然是目前的研究重心之一。

此外，目前对于计算机视觉的应用中，大多都使用到了利用各种算子提取图像中的视觉特征信息，这一过程虽然能有效的描述图像数据的特征，但是这并不完全符合人类对于世界的理解方式，如何有效利用目前已有目标识别领域中的研究成果，和基于全向视觉的目标识别甚至是类人层面上的全向视觉图像语义层次上的理解分析相结合，这也是目前利用全向视觉完成自主监测目标场景问题的发展方向之一。

本发明着眼于显示监控系统应用于警用预警机器人需求，以提高监控系统对于目标场景中人群变化态势和事件发展的监控，瞄准场景中人群密度变化这一重要特征参数，利用全景摄像头宽视场的优势扩大监控范围和监控力度，使用基于主成分分析的贝叶斯决策方法获取全景图像中定位人群所在的感兴趣区域，通过基于长时短时的深度卷积神经网络学习特殊警情下人群密度变化，进行实际人群密度的估测、匹配和预警，为广阔公共环境下的人群目标监测和特殊警情实时预警提供了技术支持。

科学研究方面，满足警用机器人研究人员开展针对警用预警机器人研究需要，通过构建可移动可运载的多摄像头全景条件下的人群密度估测系统，为警用机器人获取巡逻场景周围信息提供了环境友好的视觉信息采集方式，同时为警用机器人对与人群密度变化和时间态势发展情况提供了有效的决策方法。

发明内容

本发明技术解决问题：克服现有技术不足，提供了一种多摄像头条件下的人群密度估测系统及方法，以保证监控目标区域时获得人群密度特征并对特殊事件进行预警。

本发明采用如下的技术方案：一种多摄像头条件下的人群密度估测系统，包括：广阔场景图像获取模块、显著性区域检测模块、人脸特征检测模块、人群密度估测模块；其中：

广阔场景图像获取模块：负责完成周围目标场景图像获取，通过多摄像头拍摄的多个角度的目标场景图像，获取到整个空间内连续的画面，全面覆盖监控区域；拍摄到的图像包括水平方向360度垂直方向180度的连续目标场景图像；根据每个摄像头所拍摄到的不同角度目标场景图像，利用观测角度重合部分场景图像的颜色信息，使用图像拼接技术提取相邻两张场景图像重合部分中对应的特征点，将对应的特征点坐标重合而保留两张场景图像的其他部分，依次使用该图像拼接技术将连续角度的目标场景图像拼接成为全景图像，获取到观测场景下的全景图像，最后将拼接而成的全景图像作为宽视场图像数据输入到显著性区域检测模块；广阔场景图像获取模块负责场景图像的采集工作和全景图像的拼接工作，将拼接完成的全景图像作为输入数据传递给显著性区域检测模块，是显著性检测步骤的前置工作；

显著性区域检测模块：负责对广阔场景图像获取模块获取到的全景图像进行显著性检测，划分出人群所在的显著性区域；所述显著性区域包括图像中人群所在区域，作为描述目标场景属性特征信息的显著性区域；划分出人群所在的显著性区域时，采用基于显著性检测的显著性区域提取技术标记全景图像中的人群区域，检测显著性区域的相关参数包括图像尺寸大小、人群区域显著性程度阈值、显著性区域尺寸；其中用户自主选择图像尺寸大小、人群区域显著性程度阈值和显著性区域尺寸，对目标场景图像进行显著性区域提取；显著性区域检测模块接受广阔场景图像获取模块传递的全景图像作为输入，对全景图像进行了人群区域的显著性区域检测，将全景图像和提取出来的显著性区域框选结果作为输出，继续传递给人脸特征检测模块；

人脸特征检测模块：负责检测提取人脸特征，对于标记为显著性区域的人群图像，使用基于多任务卷积神经网络的人脸识别算法，根据输入人面图像、输入图像光照条件、人面检测识别结果分类，使用完成预训练的多任务卷积神经网络模型对全景图像中显著性区域进行人面识别的检测，检测显著性区域中人脸信息，反馈给使用者对应人员的个人信息；人脸识别检测的相关参数包括输入图像尺寸、输出结果种类数、个人信息种类，其中用户可以自主导入特殊人群人面图像作为重点检测对象；

人群密度估测模块：负责获取人脸识别输出并统计人脸检测的结果，根据识别到的数量估测人群密度，完成目标场景中人群密度的检测和估测；根据基于长时短时深度学习神经网络所建立的人群密度特征变化检测模型，学习整个人群事件中人群密度的发展演化过程，形成人群的光流场特征、人群密度特征的梳理和学习，通过获取待检测图像的能量图和密度图来进行积分，从而完成人群密度的估测和人群密度变化过程的分析，得到目标场景下人群密度的分析结果和当前人群态势发展结果；通过在不同特殊警情下的训练结果，最终学习到不同特殊警情下人群密度变化的演变过程，从而按照用户的需求进行不同危险程度的预警与提示，实现多摄像头条件下的目标场景大范围的人群密度感知和人群态势分析。

所述广阔场景图像获取模块具体实现如下：

(1)目标场景图像获取，根据用户设定目标场景位置，多个摄像头拍摄获得连续角度下的目标场景的图像image1-imageN，其中N为摄像头个数，默认为8个；

(2)全景图像拼接，对相邻角度目标场景图像的重叠区域进行特征点匹配，对于相应的特征点坐标重合，其余部分保留，将相邻角度目标场景图像进行图像拼接，依次将所有角度的拍摄图像拼接成为全景图像imageAll，将全景图像传递给显著性区域检测模块。

所述显著性区域检测模块具体实现如下：

(1)显著性区域检测，解析全景图像imageAll，依次计算图像中每个像素p在整个图像上的全局对比度，即将全景图像中每个像素点和p计算直方图上的欧氏距离并求和，将其作为p点在全图中的显著性特征值，记录已经计算的显著性特征值来避免重复计算。计算每一个像素p的显著性特征值，将全图的显著性特征值归一化到0-255的区间内，对于每一个像素p，其显著性特征值对应到灰度图中，其亮度等于特征值大小，由此得到显著性图imageCon；

(2)框选显著性区域，扫描显著性图imageCon，对于亮度大于128的像素点，框选出来作为显著性区域，将框选出显著性区域的imageCon和全景图像传递给人脸特征检测模块。

所述人脸特征检测模块具体实现如下：

(1)人脸特征检测，将全景图像imageAll和显著性图imageCon传入多任务卷积神经网络中，在多任务卷积神经网络中实现了人脸检测与五点标定的模型，通过CNN模型级联实现多任务学习网络，输出识别到的人脸特征信息humFace；

(2)人脸识别与统计，将人脸信息humFace与人脸数据库中的信息向匹配；如果匹配到人脸数据库中的人脸信息，则反馈给使用者该人员在数据库中的个人信息，如果这个人是特殊人员，则进行预警，给予用户预警提示；如果没有匹配到人脸数据库中的人脸信息，则不操作；将匹配到的人脸识别结果humInf和识别到的人脸数目hunNum传递给人群密度估测模块。

所述人群密度估测模块具体实现如下：

(1)人群密度估测，将人脸特征检测模块获得的人脸检测数目humNum和人脸识别结果humInf作为输入，根据拍摄过程中前后帧的humNum信息，整合当前帧中人脸识别加权数量humNumAvg，根据当前帧显著性区域的面积humArea和人脸识别加权数量humNumAvg计算得到人群密度humDen＝hunNumAvg/hunArea；

(2)将当前帧的人群密度humDen和前后帧的人群密度传入基于长时短时深度学习神经网络所建立的人群密度特征变化检测模型，将人群密度变化过程与训练样本的中示例警情人群密度变化相匹配，模型输出当前人群态势密度识别结果humRes和对应的概率humPro，将概率与用户设定的默认阈值humProDef进行对比，

a.如果humPro>＝humProDef，则确认当前态势需要进行预警，提示用户当前人群密度变化符合人群态势识别结果humRes，需要警惕目标场景的人群态势；

b.如果humPro<humProDef，则认为当前态势不需要预警，不作处理。

本发明的一种多摄像头条件下的人群密度估测方法，步骤如下：

(1)用户使用可视化控件构建管理模块可视化界面，使用输入框类型记录用户输入数据，将用户输入的用户名和密码信息以字符串数组的形式进行传递，呈递给系统登入后端；获得用户信息后，根据查找用户表，记录查询状态，根据返回值判断其登入状态，登入状态分为匹配成功和匹配失败两种：如若匹配成功，则根据找人群密度检测数据库中用户表中的用户ID获取其用户信息并返回，提示登陆成功并给予其相应身份的权限；如若匹配失败，则弹出消息框，显示信息错误，允许输入者重新输入登入信息；

(2)通过将多摄像头全景摄像机设置与目标地点，实地拍摄目标场景的全景信息，来获取目标场景附近的全景图像信息；多摄像头全景摄像机相关参数包括拍摄相机型号、单摄像头拍摄分辨率、单摄像头覆盖视场角度、摄像头数目、摄像头编号、镜头内参数矩阵；通过获取摄像头编号将多张图像排序，根据各个摄像头视场覆盖的角度和角度重叠边界的像素信息，利用图像拼接技术将多张图像拼接为一张完整的全景图像，全景图像要求在水平平面上覆盖360度、在竖直平面上覆盖180度的目标场景像素信息；全景图像传递给之后的显著性区域检测模块进行显著性检测；

(3)根据获取到的全景图像，为了获取到人群所在的显著性区域，遍历整张图像上所有的像素点，计算任意两个像素点之间颜色直方图上的欧式距离并记录，对于任意一个像素，计算该像素点与其他像素颜色直方图上的欧式距离的和，之后将整张图片上所有像素点与其他像素点颜色直方图上的欧式距离的和归一化到0-255的区间作为像素点的显著性特征值，将每个像素点的显著性特征值对应到等值的灰度图上，获得到一张显著性图；对于显著性图中亮度大于128的点进行框选，将框选后的显著性图和全景图像传递给人脸检测模块；

(4)对于获取到的重点人群区域，作为输入传入基于多任务卷积神经网络的人脸识别模型，基于多任务卷积神经网络的人脸识别模型首先通过一个浅层的卷积神经网络启发提议式神经网络快速产生一系列的候选窗口，获取到脸部区域的窗口与边界的边框回归，获得的面部区域窗口会通过边框回归的结果进行校正，然后使用非最大压制合并重叠窗口；之后通过另一个卷积神经网络精炼重提取神经网络过滤掉大部分的非人脸候选窗口，继续校正边框回归的结果并进行合并，获取到能够正确框选面部的待选窗口，得到的结果继续传递，在第三阶段为结果输出卷积神经网络对于框选人脸的窗口区域进行更进一步的提取，寻找人脸上面的五个标记点，五个标记点分别为左眼、右眼、鼻子、左嘴角和右嘴角，通过定位人脸的特征标记点，以此来进行人脸识别；根据识别出来的人脸结果，讲信息传递到后台人员信息数据库，查询识别到的人员是否为重点监测对象，如果匹配成功则说明该人员是需要特殊监测的对象，则返回需要监测，并根据重点监测人员数据表中的信息返回该人员的身份信息，如果匹配失败，则说明该人员不是需要特殊检测的对象，不做其他处理；

(5)对于获取到的重点区域的人群，为获取全景图像中人群所在的显著性区域的人群密度等时效信息，将人群区域像素信息传递给基于长时短时神经网络的人群密度估测模型，提取当前帧的前后帧信息提升人群密度估计；基于长时短时神经网络的人群密度估测模型使用针对感兴趣区域计数，即估计一块区域的人群总数，基于长时短时神经网络的人群密度估测模型利用多个高斯卷积核计算出原始图像中人脸位置的密度分布图，之后传入到预训练好的基于长时短时神经网络中，使用基于回归的方法计算人群计数，回归过程使用学习训练到的回归函数和映射，将整体和局部特征映射到一个人群总数和人群密度图，使用高斯过程回归来估测人群密度，将估测结果反馈给用户并显示；

(6)将当前帧的人群密度与前后帧相关联，将一段时间内的人群密度变化进行整合统计，获得一段时间内人群数量变化过程，利用学习特殊警情得到的基于长短时的卷积神经网络模型，获取当前人群密度变化对应的事件，将结果与用户设置的警情参数进行对比，如果超过用户设置的预警阈值，则反馈给用户预警信息，提示现在人群密度变化符合特殊警情事件特征，需要用户进行警惕和预防，如果没有超过用户设定的预警阈值，则判断当前情况为正常人群流动，仅反馈用户当前人群密度，不进行预警行为。

本发明与现有技术相比的优点在于：

(1)本发明所在用的全景相机获取监测场景图像信息，具有以下优点：能获得宽视场大视角的视觉信息，能够充分采集目标场景周围的环境信息，能够扩大监测范围。除此之外，信息采取方式对于环境足够友好，不会影响到目标场景人群的正常活动，信息采集方式十分安全。

(2)与现有技术相比，本发明将全景视觉与人群监控相结合，使得将全景相机普及到监控系统提供了技术支持，全景相机比传统相机能够更好地获取到监控目标周围的环境信息，且能获取到更充分的人群变化状态过程，能够更准确快速的定位显著性区域和实时预警。

(3)本发明所使用的基于长时短时卷积神经网络具有如下特点：联系当前帧与前后帧之间的关系，获取到一段时间内显著性区域的变化过程，不同于传统卷积神经网络将各个帧的状态独立分析，基于长时短时卷积神经网络的人群密度估测模型根据人均密度变化联系事态发生前后的视觉信息，做到了针对不同警情不同特殊事件，联系不同时长前后信息，分析多种特殊事件并进行预警。

附图说明

图1为本发明的系统结构图。

具体实施方式

下面结合附图对本发明系统的具体实施方式进一步说明。

在图1本发明的总体系统结构图中，该系统主要划分为四个模块，即：广阔场景图像获取模块、显著性区域检测模块、人脸特征检测模块、人群密度估测模块。

如图1所示，首先通过多摄像头获取到目标场景周围的环境信息，利用图像拼技术将多个摄像头获取到的图像拼接成为全景图像，其中包括了图像拼接、颜色渲染操作。对于获取到的全景图像信息，传递到基于显著性检测的显著性区域提取模块，通过基于全局对比度的策略算法获取到人群所在的显著性区域，并将显著性区域框选。被框选出人群显著性区域的全景图像继续传递给针对显著性区域的人脸特征检测模块，利用基于多任务的深度卷积神经网络的人脸识别模型进行人脸面部识别和匹配，对于匹配到需要特殊监测的特殊人员进行预警和反馈，将人群的面部识别结果显示。人群特征信息继续被基于长时短时深度学习神经网络的显著性区域人群密度估测模块所使用，利用联系前后帧的人群信息，对人群密度变化进行估测和跟踪，与学习的特殊警情向匹配，如果与特殊事件下人群密度变化相匹配，则对用户进行预警，否则只向用户显示当前人群密度特征信息估测结果。

上述各模块的具体实现过程如下：

1.广阔场景图像获取模块

(1)目标场景图像获取，根据用户设定目标场景位置，多个摄像头拍摄获得连续角度下的目标场景的图像image1-imageN；默认情况下使用8个摄像头，即拍摄到目标场景图像image1-image8，每张目标场景图像应对应一个角度的摄像头，8个摄像头之间拍摄角度存在重叠部分，重叠部分的图像被用于全景图像的拼接过程；

(2)全景图像拼接，对相邻角度目标场景图像的重叠区域进行特征点匹配，特征点匹配采用SIFT算法，通过提取图像中的尺度不变特征寻找对于光线、噪声、视角改变容忍度高的特征点，相邻拍摄角度中重叠部分里相应的特征点坐标重合，并将相邻拍摄角度目标场景图像其余部分保留，将相邻角度目标场景图像进行图像拼接，依次将所有角度的拍摄图像拼接成为全景图像imageAll，将全景图像传递给显著性区域检测模块；

2.显著性区域检测模块具体实现步骤如下：

(1)显著性区域检测，解析全景图像imageAll，依次计算图像中每个像素p在整个图像上的全局对比度，即将全景图像中每个像素点和p计算颜色直方图上的欧氏距离并求和，将其作为p点在全图中的显著性特征值，计算公式为：

S(p)＝Σ_q∈Id(p,q)

其中，S(p)为像素p点的显著性特征值，q为全景图像I上的一个像素点，d(p,q)为像素点p和像素点q在颜色直方图上的欧氏距离。计算每一个像素p的显著性特征值，将全图的显著性特征值归一化到0-255的区间内，对于每一个像素p，其显著性特征值对应到灰度图中，其亮度等于特征值大小，由此得到显著性图imageCon，显著性图是一张和原图片尺寸相等的图像，每一个像素点不再记录原始图像中的颜色信息，而是记录该点的显著性信息，在显著性图上，若一个像素点的亮度值越接近255，则表示这个像素点在全局范围内显著性越高，若一个像素点的亮度值越接近0，则表示这个像素点在全局范围内显著性越低；

(2)框选显著性区域，扫描显著性图imageCon，对于亮度大于128的像素点，框选出来作为显著性区域，即选择显著性大于平均水平的像素点作为显著性区域，将框选出显著性区域的imageCon和全景图像传递给人脸特征检测模块；

3.人脸特征检测模块具体实现步骤如下：

(1)人脸特征检测，将全景图像imageAll和显著性图imageCon传入多任务卷积神经网络中，在多任务卷积神经网络中实现了人脸检测与五点标定的模型，通过卷积神经网络模型级联实现了多任务学习网络，整个模型分为三个阶段，第一阶段通过一个浅层的卷积神经网络快速产生一系列的人脸候选窗口，第二阶段通过一个深层卷积神经网络过滤掉非人脸候选窗口，排除无法检测出人脸五点标定的候选窗口，第三部分对于人脸窗口进行识别，检测人脸标定五点，对人脸信息进行识别，输出识别到的人脸特征信息humFace；

(2)人脸识别与统计，将人脸信息humFace与人脸数据库中的信息向匹配；

a.如果匹配到人脸数据库中的人脸信息，则反馈给使用者该人员在数据库中的个人信息，如果这个人是特殊人员，则进行预警，给予用户预警提示；

b.如果没有匹配到人脸数据库中的人脸信息，则不操作；

将匹配到的人脸识别结果humInf和识别到的人脸数目hunNum传递给人群密度估测模块；

4.人群密度估测模块具体实现步骤如下：

(1)人群密度估测，将人脸特征检测模块获得的人脸检测数目humNum和人脸识别结果humInf作为输入，根据拍摄过程中前后帧的humNum信息，整合当前帧中人脸识别加权数量humNumAvg，计算公式如下：

HumNumAvg＝α*humNum_前+(1-α)humNum_后

其中，α为加权参数，默认为0.7，humNum_前和humNum_后为当前帧前后帧内人脸检测数目。根据当前帧显著性区域的面积humArea和人脸识别加权数量humNumAvg计算得到人群密度humDen＝hunNumAvg/hunArea；

(2)将当前帧的人群密度humDen和前后帧的人群密度传入基于长时短时深度学习神经网络所建立的人群密度特征变化检测模型，将人群密度变化过程与训练样本的中示例警情人群密度变化相匹配，模型输出当前人群态势密度识别结果humRes和对应的概率humPro，将概率与用户设定的默认阈值humProDef进行对比；

a.如果humPro>＝humProDef，则确认当前态势需要进行预警，提示用户当前人群密度变化符合人群态势识别结果humRes，需要警惕目标场景的人群态势；

b.如果humPro<humProDef，则认为当前态势不需要预警，不作处理。

Claims (6)

1.一种多摄像头条件下的人群密度估测系统，其特征在于，包括：广阔场景图像获取模块、显著性区域检测模块、人脸特征检测模块、人群密度估测模块；其中：

广阔场景图像获取模块：负责完成周围目标场景图像获取，通过多摄像头拍摄的多个角度的目标场景图像，获取到整个空间内连续的画面，全面覆盖监控区域；拍摄到的图像包括水平方向360度垂直方向180度的连续目标场景图像；根据每个摄像头所拍摄到的不同角度目标场景图像，利用观测角度重合部分场景图像的颜色信息，使用图像拼接技术提取相邻两张场景图像重合部分中对应的特征点，将对应的特征点坐标重合而保留两张场景图像的其他部分，依次使用该图像拼接技术将连续角度的目标场景图像拼接成为全景图像，获取到观测场景下的全景图像，最后将拼接而成的全景图像作为宽视场图像数据输入到显著性区域检测模块；广阔场景图像获取模块负责场景图像的采集工作和全景图像的拼接工作，将拼接完成的全景图像作为输入数据传递给显著性区域检测模块，是显著性检测步骤的前置工作；

显著性区域检测模块：负责对广阔场景图像获取模块获取到的全景图像进行显著性检测，划分出人群所在的显著性区域；所述显著性区域包括图像中人群所在区域，作为描述目标场景属性特征信息的显著性区域；划分出人群所在的显著性区域时，采用基于显著性检测的显著性区域提取技术标记全景图像中的人群区域，检测显著性区域的相关参数包括图像尺寸大小、人群区域显著性程度阈值、显著性区域尺寸；其中用户自主选择图像尺寸大小、人群区域显著性程度阈值和显著性区域尺寸，对目标场景图像进行显著性区域提取；显著性区域检测模块接受广阔场景图像获取模块传递的全景图像作为输入，对全景图像进行了人群区域的显著性区域检测，将全景图像和提取出来的显著性区域框选结果作为输出，继续传递给人脸特征检测模块；

人脸特征检测模块：负责检测提取人脸特征，对于标记为显著性区域的人群图像，使用基于多任务卷积神经网络的人脸识别算法，根据输入人面图像、输入图像光照条件、人面检测识别结果分类，使用完成预训练的多任务卷积神经网络模型对全景图像中显著性区域进行人面识别的检测，检测显著性区域中人脸信息，反馈给使用者对应人员的个人信息；人脸识别检测的相关参数包括输入图像尺寸、输出结果种类数、个人信息种类，其中用户可以自主导入特殊人群人面图像作为重点检测对象；

人群密度估测模块：负责获取人脸识别输出并统计人脸检测的结果，根据识别到的数量估测人群密度，完成目标场景中人群密度的检测和估测；根据基于长时短时深度学习神经网络所建立的人群密度特征变化检测模型，学习整个人群事件中人群密度的发展演化过程，形成人群的光流场特征、人群密度特征的梳理和学习，通过获取待检测图像的能量图和密度图来进行积分，从而完成人群密度的估测和人群密度变化过程的分析，得到目标场景下人群密度的分析结果和当前人群态势发展结果；通过在不同特殊警情下的训练结果，最终学习到不同特殊警情下人群密度变化的演变过程，从而按照用户的需求进行不同危险程度的预警与提示，实现多摄像头条件下的目标场景大范围的人群密度感知和人群态势分析。

2.根据权利要求1所述的多摄像头条件下的人群密度估测系统，其特征在于：所述广阔场景图像获取模块具体实现如下：

(1)目标场景图像获取，根据用户设定目标场景位置，多个摄像头拍摄获得连续角度下的目标场景的图像image1-imageN，其中N为摄像头个数；

(2)全景图像拼接，对相邻角度目标场景图像的重叠区域进行特征点匹配，对于相应的特征点坐标重合，其余部分保留，将相邻角度目标场景图像进行图像拼接，依次将所有角度的拍摄图像拼接成为全景图像imageAll，将全景图像传递给显著性区域检测模块。

3.根据权利要求1所述的多摄像头条件下的人群密度估测系统，其特征在于：所述显著性区域检测模块具体实现如下：

(1)显著性区域检测，解析全景图像imageAl l，依次计算图像中每个像素p在整个图像上的全局对比度，即将全景图像中每个像素点和p计算直方图上的欧氏距离并求和，将其作为p点在全图中的显著性特征值，记录已经计算的显著性特征值来避免重复计算；计算每一个像素p的显著性特征值，将全图的显著性特征值归一化到0-255的区间内，对于每一个像素p，其显著性特征值对应到灰度图中，其亮度等于特征值大小，由此得到显著性图imageCon；

(2)框选显著性区域，扫描显著性图imageCon，对于亮度大于128的像素点，框选出来作为显著性区域，将框选出显著性区域的imageCon和全景图像传递给人脸特征检测模块。

4.根据权利要求1所述的多摄像头条件下的人群密度估测系统，其特征在于：所述人脸特征检测模块具体实现如下：

(1)人脸特征检测，将全景图像imageAl l和显著性图imageCon传入多任务卷积神经网络中，在多任务卷积神经网络中实现了人脸检测与五点标定的模型，通过CNN模型级联实现多任务学习网络，输出识别到的人脸特征信息humFace；

(2)人脸识别与统计，将人脸信息humFace与人脸数据库中的信息向匹配；如果匹配到人脸数据库中的人脸信息，则反馈给使用者该人员在数据库中的个人信息，如果这个人是特殊人员，则进行预警，给予用户预警提示；如果没有匹配到人脸数据库中的人脸信息，则不操作；将匹配到的人脸识别结果humInf和识别到的人脸数目hunNum传递给人群密度估测模块。

5.根据权利要求1所述的多摄像头条件下的人群密度估测系统，其特征在于：所述人群密度估测模块具体实现如下：

(1)人群密度估测，将人脸特征检测模块获得的人脸检测数目humNum和人脸识别结果humInf作为输入，根据拍摄过程中前后帧的humNum信息，整合当前帧中人脸识别加权数量humNumAvg，根据当前帧显著性区域的面积humArea和人脸识别加权数量humNumAvg计算得到人群密度humDen＝hunNumAvg/hunArea；

(2)将当前帧的人群密度humDen和前后帧的人群密度传入基于长时短时深度学习神经网络所建立的人群密度特征变化检测模型，将人群密度变化过程与训练样本的中示例警情人群密度变化相匹配，模型输出当前人群态势密度识别结果humRes和对应的概率humPro，将概率与用户设定的默认阈值humProDef进行对比，

a.如果humPro>＝humProDef，则确认当前态势需要进行预警，提示用户当前人群密度变化符合人群态势识别结果humRes，需要警惕目标场景的人群态势；

b.如果humPro<humProDef，则认为当前态势不需要预警，不作处理。

6.一种多摄像头条件下的人群密度估测方法，其特征在于，步骤如下：

(1)用户使用可视化控件构建管理模块可视化界面，使用输入框类型记录用户输入数据，将用户输入的用户名和密码信息以字符串数组的形式进行传递，呈递给系统登入后端；获得用户信息后，根据查找用户表，记录查询状态，根据返回值判断其登入状态，登入状态分为匹配成功和匹配失败两种：如若匹配成功，则根据找人群密度检测数据库中用户表中的用户ID获取其用户信息并返回，提示登陆成功并给予其相应身份的权限；如若匹配失败，则弹出消息框，显示信息错误，允许输入者重新输入登入信息；

(2)通过将多摄像头全景摄像机设置与目标地点，实地拍摄目标场景的全景信息，来获取目标场景附近的全景图像信息；多摄像头全景摄像机相关参数包括拍摄相机型号、单摄像头拍摄分辨率、单摄像头覆盖视场角度、摄像头数目、摄像头编号、镜头内参数矩阵；通过获取摄像头编号将多张图像排序，根据各个摄像头视场覆盖的角度和角度重叠边界的像素信息，利用图像拼接技术将多张图像拼接为一张完整的全景图像，全景图像要求在水平平面上覆盖360度、在竖直平面上覆盖180度的目标场景像素信息；全景图像传递给之后的显著性区域检测模块进行显著性检测；

(3)根据获取到的全景图像，为了获取到人群所在的显著性区域，遍历整张图像上所有的像素点，计算任意两个像素点之间颜色直方图上的欧式距离并记录，对于任意一个像素，计算该像素点与其他像素颜色直方图上的欧式距离的和，之后将整张图片上所有像素点与其他像素点颜色直方图上的欧式距离的和归一化到0-255的区间作为像素点的显著性特征值，将每个像素点的显著性特征值对应到等值的灰度图上，获得到一张显著性图；对于显著性图中亮度大于128的点进行框选，将框选后的显著性图和全景图像传递给人脸检测模块；

(4)对于获取到的重点人群区域，作为输入传入基于多任务卷积神经网络的人脸识别模型，基于多任务卷积神经网络的人脸识别模型首先通过一个浅层的卷积神经网络启发提议式神经网络快速产生一系列的候选窗口，获取到脸部区域的窗口与边界的边框回归，获得的面部区域窗口会通过边框回归的结果进行校正，然后使用非最大压制合并重叠窗口；之后通过另一个卷积神经网络精炼重提取神经网络过滤掉大部分的非人脸候选窗口，继续校正边框回归的结果并进行合并，获取到能够正确框选面部的待选窗口，得到的结果继续传递，在第三阶段为结果输出卷积神经网络对于框选人脸的窗口区域进行更进一步的提取，寻找人脸上面的五个标记点，五个标记点分别为左眼、右眼、鼻子、左嘴角和右嘴角，通过定位人脸的特征标记点，以此来进行人脸识别；根据识别出来的人脸结果，讲信息传递到后台人员信息数据库，查询识别到的人员是否为重点监测对象，如果匹配成功则说明该人员是需要特殊监测的对象，则返回需要监测，并根据重点监测人员数据表中的信息返回该人员的身份信息，如果匹配失败，则说明该人员不是需要特殊检测的对象，不做其他处理；

(5)对于获取到的重点区域的人群，为获取全景图像中人群所在的显著性区域的人群密度等时效信息，将人群区域像素信息传递给基于长时短时神经网络的人群密度估测模型，提取当前帧的前后帧信息提升人群密度估计；基于长时短时神经网络的人群密度估测模型使用针对感兴趣区域计数，即估计一块区域的人群总数，基于长时短时神经网络的人群密度估测模型利用多个高斯卷积核计算出原始图像中人脸位置的密度分布图，之后传入到预训练好的基于长时短时神经网络中，使用基于回归的方法计算人群计数，回归过程使用学习训练到的回归函数和映射，将整体和局部特征映射到一个人群总数和人群密度图，使用高斯过程回归来估测人群密度，将估测结果反馈给用户并显示；

(6)将当前帧的人群密度与前后帧相关联，将一段时间内的人群密度变化进行整合统计，获得一段时间内人群数量变化过程，利用学习特殊警情得到的基于长短时的卷积神经网络模型，获取当前人群密度变化对应的事件，将结果与用户设置的警情参数进行对比，如果超过用户设置的预警阈值，则反馈给用户预警信息，提示现在人群密度变化符合特殊警情事件特征，需要用户进行警惕和预防，如果没有超过用户设定的预警阈值，则判断当前情况为正常人群流动，仅反馈用户当前人群密度，不进行预警行为。