CN110879990A - 一种预计机场安检旅客排队等候时长的方法及其应用 - Google Patents

Abstract

本发明公开了一种预计机场安检旅客排队等候时长的方法，包括以下步骤：1）对正在排队等候安检的旅客进行判定；2）对判定成功的旅客进行识别，计算出正在等候安检的排队旅客的人数；3）通过大数据分析，获得每个旅客的平均安检时长；4）计算安检等候人数与平均安检时长的乘积，即为预计机场安检旅客排队等候时长。并根据该方法提供了其具体的应用，即一种辅助机场旅客安检系统，系统包括实现上述方法的计算存储模块、数据采集模块、反馈模块。本发明中的排队时长预计方法针对场所明显，因此可以保证预计准确性，方便旅客选择等待时间最少的队伍排队，协助机场内部安检系统对安检的人流进行控制和管理，适宜在机场安检过程中机进行推广应用。

Description

一种预计机场安检旅客排队等候时长的方法及其应用

技术领域

本发明涉及人工智能识别技术领域，具体是指一种预计机场安检旅客排队等候时长的方法及其应用。

背景技术

随着全球经济与贸易日益繁荣，航空运输业快速发展，机场客流量不断攀升，因此，机场安检面临极大挑战，为提高机场服务效率，多窗口并行服务或动态增减窗口是目前诸多机场所取手段。旅客人流与人工服务资源间的权衡博弈问题以及如何在有限服务资源前提下提高旅客人流通过效能，亟待研究和优化。

现有的机场的安检系统高低峰时段安检口个数不一致，开启或是关闭安检口，纯靠通过人工或是广播的方式通知，因机场地理位置有限，安检区域的占地面积有固定的比例，安检口无法继续扩充，人们习惯性的排到最近的安检口，有些安检口设置到比较隐蔽的安检口，靠人工或是广播来控制人流走向，机场的安检效率难以得到提高，一些匆忙的赶机旅客甚至会错过飞机，使旅客的安检和出行极为不便。

现有的目前非基于人脸技术的排队时间检测系统中，通常使用RFID或NFC等无线传输方式来确定人员进出队列的时间。通过时间戳比较，此类方法虽然能够测量队列的等待时间，但是对于需要绑定人员信息的应用场合，此类方法无法在获取人员进入或退出时刻进行人体标定和识别，只能做统计意义上的数据采集。

另外一些基于人脸技术的排队系统，侧重于依据人脸来代替传统的打卡方式。此类系统通常使用单个摄像头获取打卡时刻的信息，因此无法用于估计排队时间。虽然可以获取人员鉴定相关信息，但此类信息属于出队后的历史信息，无法立即反馈给当前其他系统，用于决策调整和优化。另外一些基于人脸的系统通过使用多组摄像头，比较出入口处采集的人脸图像，估算排队等待时长，但是均不完善，统计误差较大，实际使用过程中，效果不明显，作用微弱。

现有专利CN105139040B，专利名称为：一种排队状态信息检测方法及其系统，虽然公开了一种通过人体特征识别的方式来进行信息监测的方法，但是较为复杂，虽然能获取队列其它信息，且考虑了人员离开等因素，虽然精准程度大为提高，但是较为复杂，使用成本极高，容错率较低，不适宜用于机场安检旅客的预计时长的预计。

发明内容

针对现有技术的不足，本发明的目的在于提供一种专门针对机场安检，较为简单，容错率高，相对准确，能明显辅助机场管理，并明显帮助到旅客的预计机场安检排队旅客等候时长的方法。

本发明的另一个目的在于提供上述方法的具体应用。

为了实现上述目的，本发明通过下述技术方案实现：一种预计机场安检旅客排队等候时长的方法，包括以下步骤：

(1)对正在排队等候安检的旅客进行判定；

(2)对判定成功的旅客进行识别，计算出正在等候安检的排队旅客的人数；

(3)通过大数据分析，获得每个旅客的平均安检时长；

(4)计算安检等候人数与平均安检时长的乘积，即为预计机场安检旅客排队等候时长。

机场安检的排队旅客相较于一般的其他排队旅客具有比较突出的特点。首先，旅客队伍长度有限，能够通过一个摄像头便可获取整队排队旅客的影响信息；其次，机场安检标准程度高，每个旅客安检的时间虽然有所差异，但是由于对行李重量，种类的限制，导致每个旅客通过安检的时间相对来说偏差不明显；再次，机场安检管理相对严格，极少出现插队等不文明现象发生，因此，旅客排队过程相对稳定。基于上述机场安检的特殊性，本技术方案针对的是机场旅客进行安检的排队时长预计，并且增设旅客判定的过程，因此可以大大提高对排队时长预计的准确性，另外，本技术方案是通过大数据分析获得的每个旅客的平均安检时长，因此数据更为可靠，可以进一步保证预计等候时长的准确性，为旅客和机场管理，提供好的信息支持。

为了更好地实现本发明的方法，进一步地，所述步骤(1)中对正在排队等候安检旅客的判定过程为：进行排队识别区域的划分，处于排队识别区域内的旅客停留10秒以上时，判定该旅客为等候安检的旅客。

为了更好地实现本发明的方法，进一步地，所述排队识别区域的划分主要通过机场安置的可移动的临时警戒带来进行排队识别区域的划分。

为了更好地实现本发明的方法，进一步地，所述步骤(2)中对判定成功的旅客进行识别过程主要是通过摄像头对临时警戒带内的排队旅客进行识别。

为了更好地实现本发明的方法，进一步地，所述步骤(2)中对判定成功的旅客的计数采用基于深度学习的人群计数算法来进行正在等候安检的排队旅客的人数的计算。

为了更好地实现本发明的方法，进一步地，所述基于深度学习的人群计数算法主要通过各种能够进行深度学习的网络模型进行人群密度图的生成，然后通过人群密度图进行人数的计算。

为了更好地实现本发明的方法，进一步地，所述能够进行深度学习的网络模型包括MCNN网络模型，CP-CNN网络模型、CSRNet网络模型、iC-CNN网络模型、Switch-CNN网络模型。

针对上述一种预计机场安检旅客排队等候时长的方法，提供了该方法的其中一种具体应用，提供了一种辅助机场旅客安检系统，所述系统包括实现上述方法的计算存储模块、数据采集模块、反馈模块；

所述数据采集模块按照计算存储模块设计的数据采集要求对排队旅客进行影像数据采集，并将该影像数据传输给数据计算储存模块；

所述计算储存模块对影像数据进行判定，判定出计算目标，然后计算出正在等候安检的排队旅客的人数以及预计出机场安检旅客排队等候时长，并将预计出机场安检旅客排队等候时长传输给反馈模块；

所述反馈模块包括对外的设置在机场安检口的对外的信息显示装置，以及对内的信息传输装置，所述对外的信息显示装置向正在排队的旅客展示排队时长的预计信息，所述对内的信息传输装置向机场管理人员反馈预计的排队时长。

为了进一步晚上上述辅助机场旅客安检系统，进一步地，所述计算存储装置包括判定模块、图像获取模块、检测模块、深度学习人群计数模块、等候时长计算模块；

所述判定模块通过接收的影像数据，判断出正在排队等候安检的旅客；

所述图像获取模块从影像数据通过定格的方式获进行人数取识别的图像；

所述检测模块结合判定模块的判断，对图像获取模块获取的图像进行检测，检测出正在排队的旅客图像；

所述深度学习人群计数模块对检测模块检测出的排队旅客图像进行计数；

所述等候时长计算模块储存有通过大数据分析获得的每个旅客的平均安检时长，通过深度学习人群计数模块提供的排队旅客数量，预计出机场安检旅客排队等候时长。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明中的排队时长预计方法针对场所明显，因此可以保证预计准确性，方便旅客选择等待时间最少的队伍排队，同时协助机场内部安检系统对安检的人流进行控制和管理；

(2)本发明提高旅客安检流程体验，降低人工服务成本，最大程度提高人工资源利用率，以及旅程安检体验，适宜在机场安检过程中机进行广泛推广应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更为明显：

图1为本发明中人群计数时，MCNN的网络结构图；

图2为本发明中人群计数时，CP-CNN的网络结构图；

图3为本发明中人群计数时，CSRNet的网络结构图；

图4为本发明中人群计数时，ic-CNN的网络结构图；

图5为本发明中人群计数时，HR-CNN的网络结构图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此，在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的范围内。

为使本发明的目的、工艺条件及优点作用更加清楚明白，结合以下实施实例，对本发明作进一步详细说明，此处所描述的具体实施实例仅用以解释本发明，并不用于限定本发明。

实施例1：

本实施例的一种预计机场安检旅客排队等候时长的方法，包括以下步骤：

(1)对正在排队等候安检的旅客进行判定；

(2)对判定成功的旅客进行识别，计算出正在等候安检的排队旅客的人数；

(3)通过大数据分析，获得每个旅客的平均安检时长；

(4)计算安检等候人数与平均安检时长的乘积，即为预计机场安检旅客排队等候时长。

其中，步骤(1)中对正在排队等候安检旅客的判定过程为：进行排队识别区域的划分，处于排队识别区域内的旅客停留10秒以上时，判定该旅客为等候安检的旅客。所述排队识别区域的划分主要通过机场安置的可移动的临时警戒带来进行排队识别区域的划分。

步骤(2)中对判定成功的旅客进行识别过程主要是通过摄像头对临时警戒带内的排队旅客进行识别。

对判定成功的旅客的计数的方法包括两种：即

基于目标检测的方法:这类方法就是通过对图像上每个行人或这人头进行定位与识别，再根绝结果统计人数。

基于回归的方法：这类方法可以叫做人群数目估计，没有精确定位行人位置，而是对大概的人群数目给出个估计值；其中，基于回归的方法又分为直接回归：如在深度学习的卷积神经网络中输入人群图像，直接输出一个人群数目估计值；

2)密度图回归：密度图回归的意思是已知的数据集是这样的，每一张人群图像中的每个人头所在近似中心位置的坐标作为人工标注，根据已知的每个人头位置，再估计该位置所在人头的大小，这样可以得到该人头的覆盖区域，通过构建数学模型，将该区域转化为该区域内可能为人头的概率，该区域概率和为1。最终我们可以得到一张人群密度图。

本实施例采用密度图回归，并结合使用深度学习来进行排队人群的计数。利用深度学习的学历能力得到图像到其相应的人群密度图或者数量。

传统的方法通常都是输入图像的一个patch，并且通常分为两个步骤：特征的提取，回归或者分类，而基于深度学习的卷积神经网络的方法则输入是一种完整的图片，并且进行end-to-end的训练。

本实施例采用基于深度学习的卷积神经网络的人群计数算法主要通过各种能够进行深度学习的网络模型进行人群密度图的生成，然后通过人群密度图进行人数的计算。

实施例2：

本实施例在上述实施例的基础上，进一步地限定使用的深度学习的卷积神经网络为MCNN时，人群计数的过程：使用3个不同尺度的卷积网络提取图像的多尺度特征，并使用1×1的卷积核将多尺度的特征融合到一起。其网络结构如图1所示。这类利用多个网络的模型具有较多的参数，计算量大，无法进行实时的人群计数预测。而且多阵列的网络并不能如所描述的一般，提取不同的尺度的人头特征。

密度图的生成

人群计数的数据集，通常是标记了人头的位置，就需要根据人头位置的数据来生成相应的人群密度图。MCNN种提出了一种自适应卷积核的方法，来生成相应的密度图。

在由标记生成密度图的过程，首先将每个人头对应的位置设置为1，然后对该图像进行高斯卷积。

具体代码如下：

这种构建的密度图是假设人头相对于图像平面是独立存在的，事实上，由于透视畸变的村子，不同位置人头对应着不同大小的像素区域。因此，要想生成精确的人群密度图像，就要考虑单应性引起的畸变，但是畸变参数是不容易得到的。故，作者假设每个头部周围的人群分布比较均匀，那么头部与其最近的k个邻居之间的平均距离，给出了一个合理的几何失真估计(由透视效果引起)。而且作者在拥挤的场景中，头部的大小通常与相邻两个人中心的距离有关。作为一种折衷，对于那些拥挤场景的密度图，建议根据每个人与其邻居的平均距离来自适应地确定每个人的扩展参数，也就是高斯卷积核的方差。

也是就，其为每个人头位置根据其与周围相邻的人头的距离来构建卷积的方差，然后将所有人头点卷积后的结果累加到一起，就是最终生成的密度图。具体代码如下：

实施例3：

本实施例在上述实施例的基础上，进一步地限定使用的深度学习的卷积神经网络为CP-CNN时，使用图像的全局和局部特征信息生成估计人群图像的密度图，其网络结构如图2所示。

最上层子网络表示对整张输入图像做特征提取并分类，并将分类结果张成一个与密度特征具有相同高和宽的图像；最下层子网络对原图中割出的patch做同样的操作，得到局部上下文。最终将全局和局部上下文特征与原图产生的中间部分的密度图，在通道维度拼接(concate)。通过一幅图像中人群的全局密度和局部密度信息，最后对整个特征做约束，使得网络对任何一张图像都自适应的学到相应密度等级的特征。

实施例4：

本实施例在上述实施例的基础上，进一步地限定使用的深度学习的卷积神经网络为CSRNet，群计数的过程。

CSRnet网络模型主要分为前端和后端网络，采用剔除了全连接层的VGG-16作为CSRnet的前端网络，提取图像的特征，输出密度图的大小为原始输入图像的1/8。采用空洞卷积神经网络作为后端网络，在保持分辨率的同时扩大感知域，生成高质量的人群分布密度图，其网络结构如图3所示。

采用剔除了全连接层的VGG-16网络，并且采用3×3的卷积核。研究表明，对于相同大小的感知域，卷积核越小，卷积层数越多的模型要优于那些有着更大卷积核且卷积层数较少的模型。为了平衡准确性和资源开销，这里的VGG-16网络采用10层卷积层和3层池化层的组合。后端网络采用六层空洞卷积层，空洞率相同。最后采用一层1×1的普通卷积层输出结果，使用预训练的VGG进行特征提取，后面再使用空洞卷积，在扩大感受野的同时，生成人群的密度图。

实施例5：

本实施例在上述实施例的基础上，进一步地限定使用的深度学习的卷积神经网络为ic-CNN时，人群计数过程为：

其采取的思路是首先生成低分辨率的密度图，然后进一步的细化来生成高分辨率的密度图。该网络结构由两个卷积神经网络分支组成，一个分支用来生成低分辨率的密度图，另一个使用生成的低分辨率的密度图以及提取的特征图的基础上，生成高分辨率的密度图。其网络结构如图4所示。

该网络的输入是一个三元组D＝{(X₁,Y₁,Z₁),…,(X_n,Y_n,Z_n)}，D＝{(X₁,Y₁,Z₁),…,(X_n,Y_n,Z_n)}，其中X_i是输入的图像，Y_i是和原图像相同分辨率的密度图，Z_i则是低分辨率的密度图。

对于生成低分辨率密度图的分支LR-CNN，其输入是X_i，则可以用如下公式表示：

其中，

是生成的低分辨率的密度图。

对于生成高分辨率的分支HR-CNN，其输入则是

其表示如下

其损失函数为：

使用HR-CNN输出的高分辨率的密度图作为最终的输出结果。

实施例6：

本实施例在上述实施例的基础上，进一步地限定使用的深度学习的卷积神经网络为HR-CNN时，人群计数过程为：

该方法同样考虑要提取每个图像的多个尺度的人头信息，但并不采取类似MCNN的多阵列网络结构，其使用了类似于Inception架构的模块，在每个卷积层都同时使用不同大小的卷积核，最后通过反卷积得到最终的密度图。简单来说，就是使用一系列的Inception结构提取不同尺度的特征，再使用反卷积(Transposed CONV)生成高分辨率的密度图。其网络结构如图5所示。

实施例7：

本实施例针对上述预计机场安检旅客排队等候时长的方法，提供其一种具体应用，具体为一种辅助机场旅客安检系统，所述系统包括实现权利要求1～7所述方法的计算存储模块、数据采集模块、反馈模块；

所述数据采集模块按照计算存储模块设计的数据采集要求对排队旅客进行影像数据采集，并将该影像数据传输给数据计算储存模块；

所述计算储存模块对影像数据进行判定，判定出计算目标，然后计算出正在等候安检的排队旅客的人数以及预计出机场安检旅客排队等候时长，并将预计出机场安检旅客排队等候时长传输给反馈模块；

所述反馈模块包括对外的设置在机场安检口的对外的信息显示装置，以及对内的信息传输装置，所述对外的信息显示装置向正在排队的旅客展示排队时长的预计信息，所述对内的信息传输装置向机场管理人员反馈预计的排队时长。

其中，所述计算存储装置包括判定模块、图像获取模块、检测模块、深度学习人群计数模块、等候时长计算模块；

所述判定模块通过接收的影像数据，判断出正在排队等候安检的旅客；

所述图像获取模块从影像数据通过定格的方式获进行人数取识别的图像；

所述检测模块结合判定模块的判断，对图像获取模块获取的图像进行检测，检测出正在排队的旅客图像；

所述深度学习人群计数模块对检测模块检测出的排队旅客图像进行计数；

所述等候时长计算模块储存有通过大数据分析获得的每个旅客的平均安检时长，通过深度学习人群计数模块提供的排队旅客数量，预计出机场安检旅客排队等候时长。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种预计机场安检旅客排队等候时长的方法，其特征在于，包括以下步骤：

（1）对正在排队等候安检的旅客进行判定；

（2）对判定成功的旅客进行识别，计算出正在等候安检的排队旅客的人数；

（3）通过大数据分析，获得每个旅客的平均安检时长；

（4）计算安检等候人数与平均安检时长的乘积，即为预计机场安检旅客排队等候时长。

2.根据权利要求1所述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述步骤（1）中对正在排队等候安检旅客的判定过程为：进行排队识别区域的划分，处于排队识别区域内的旅客停留10秒以上时，判定该旅客为等候安检的旅客。

3.根据权利要求2所述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述排队识别区域的划分主要通过机场安置的可移动的临时警戒带来进行排队识别区域的划分。

4.根据权利要求3所述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述步骤（2）中对判定成功的旅客进行识别过程主要是通过摄像头对临时警戒带内的排队旅客进行识别。

5.根据权利要求4所述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述步骤（2）中对判定成功的旅客的计数采用基于深度学习的人群计数算法来进行正在等候安检的排队旅客的人数的计算。

6.根据权利要求5所述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述基于深度学习的人群计数算法主要通过各种能够进行深度学习的卷积神经网络模型进行人群密度图的生成，然后通过人群密度图进行人数的计算。

7.根据权利要求6述的一种预计机场安检旅客排队等候时长的方法，其特征在于，所述能够进行深度学习的卷积神经网络模型包括MCNN网络模型，CP-CNN网络模型、CSRNet网络模型、iC-CNN网络模型、Switch-CNN网络模型。

8.一种辅助机场旅客安检系统，其特征在于，所述系统包括实现权利要求1~7所述方法的计算存储模块、数据采集模块、反馈模块；

所述数据采集模块按照计算存储模块设计的数据采集要求对排队旅客进行影像数据采集，并将该影像数据传输给数据计算储存模块；

所述计算储存模块对影像数据进行判定，判定出计算目标，然后计算出正在等候安检的排队旅客的人数以及预计出机场安检旅客排队等候时长，并将预计出机场安检旅客排队等候时长传输给反馈模块；

所述反馈模块包括对外的设置在机场安检口的对外的信息显示装置，以及对内的信息传输装置，所述对外的信息显示装置向正在排队的旅客展示排队时长的预计信息，所述对内的信息传输装置向机场管理人员反馈预计的排队时长。

9.根据权利要求8所述的一种辅助机场旅客安检系统，其特征在于，所述计算存储装置包括判定模块、图像获取模块、检测模块、深度学习人群计数模块、等候时长计算模块；

所述判定模块通过接收的影像数据，判断出正在排队等候安检的旅客；

所述图像获取模块从影像数据通过定格的方式获进行人数取识别的图像；

所述检测模块结合判定模块的判断，对图像获取模块获取的图像进行检测，检测出正在排队的旅客图像；

所述深度学习人群计数模块对检测模块检测出的排队旅客图像进行计数；

所述等候时长计算模块储存有通过大数据分析获得的每个旅客的平均安检时长，通过深度学习人群计数模块提供的排队旅客数量，预计出机场安检旅客排队等候时长。

Images