CN115303901B - 一种基于计算机视觉的电梯交通流量识别方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的电梯交通流量识别方法，(1)多个摄像头采集视频，获取电梯厅视频帧图像、轿厢内视频帧图像；(2)通过计算透视权重改进现有人群计数模型，并利用改进模型对摄像头所采集的电梯厅视频帧图像进行检测，获取电梯厅内人数统计；(3)对轿厢内视频帧图像进行检测，利用开关门分类器与楼层识别模型获取电梯停靠的楼层；(4)设计通过量计数模型，通过轿厢内视频帧图像生成切片叠堆图像，并训练输出为流量图的网络模型，通过对流量图积分获取电梯进出人数统计；(5)对电梯厅内人数与电梯轿厢停靠某楼层后进出乘客数量进行分析，提出减少乘客等待时间的方法。

Description

一种基于计算机视觉的电梯交通流量识别方法

技术领域

本发明涉及智能流量统计领域，具体涉及一种基于计算机视觉的电梯交通流量识别方法。

背景技术

随着城市的发展，城市中出现了越来越多的高楼大厦，而且高楼的层数也越来越多。电梯作为高楼垂直交通的主要工具，其运载能力及交通情况分析一直是一个热门话题。但是，现有依靠外部设备统计流量的方法耗财费力，得不到多数商厦的普及。如果仅依靠本身存在的电梯轿厢及电梯厅内部摄像头即可获取商厦电梯流量数据，将会大大节省硬件方面的压力。

公告号为CN112158692A的中国专利，公开了一种电梯人流量计数装置，该装置包括控制器、红外发射器和红外接收器。红外发射器和红外接收器分别设置于电梯轿厢的厢门两侧,并连接控制器。红外接收器有两个，两个红外接收器并排设置于红外发射器的厢门对侧。控制器通过对两个红外接收器根据所述红外发射器所发射的红外信号被阻挡的先后，对进入所述电梯轿厢的人和从电梯轿厢出去的人分别进行计数。计数结果通过显示屏或通过通信模块上传。

但是，该项目依靠的外部设备众多，对系统硬件要求较高，不可能广泛应用于二三线城市商厦、居民楼等，同时电梯与装置的高度耦合使得更换电梯时要配套拆卸装置，材料费以及维修拆装费用使得其实际应用场景不高。

新疆爱华盈通信息技术有限公司于公告号为CN112158692A的中国专利，公开了一种行人流量统计方法。包括：获取拍摄时间连续的多帧拍摄图像；根据多帧拍摄图像，确定实像区域图像与虚像区域图像，实像区域图像中的实像与虚像区域图像中的虚像互为镜像关系；在每帧拍摄图像中标记每个实像区域图像和/或虚像区域图像；根据标记后的每帧拍摄图像，统计行人流量。

但是，此方法适用于人群密集，且人数众多的场景下进行计数，在这些场景中，每个画面中都有大量的人，人工已经难以计数，估计值即使比真实人数相差几十，也会因为庞大的人群计数，使得准确率较高。但是电梯轿厢场景十分特殊，由于空间有限，所以人群虽然拥挤密集，但是人群中的人数较少，至多几十人，空间小拥挤遮挡严重，每次通过的人数较少但要求精确计数。

总之，现有技术对电梯流量数据的获取存在着硬件设备上的高度依赖，大量消耗人力、物力资源；而现有模型对开阔场地的模糊计数也无法适用于电梯内部狭小空间的流量精确识别需求。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于计算机视觉的电梯交通流量识别方法，不需要任何外部设备辅助，仅通过电梯中自带的摄像头设备采集数据，适用性更强；并通过改进人群计数、设计通过量计数等模型，解决镜面成像、相互遮挡、尺寸变化等实际问题，实现轿厢拥挤场景下的精确计数，实现对流量的监控。

本发明技术解决方案：一种基于计算机视觉的电梯交通流量识别方法，包括以下步骤：

(1)多个摄像头采集视频，并对所述视频进行处理，获取电梯厅视频帧图像、轿厢内视频帧图像；

(2)通过计算透视权重改进现有人群计数模型，采用密度真值地图作为深度卷积网络模型训练目标，并利用改进的人群计数模型对摄像头所采集的电梯厅视频帧图像进行检测，获取电梯厅内人数统计；

(3)对轿厢内视频帧图像进行检测，通过训练二分类模型实现开关门分类器，检测识别电梯开关门状态，且通过楼层识别模型获取电梯停靠的楼层；

(4)设计通过量计数模型，通过轿厢内视频帧图像生成切片叠堆图像，并训练输出为流量图的通过量计数模型，通过对流量图积分获取乘客流量；

(5)对电梯厅内人数与电梯轿厢停靠某楼层后进出乘客数量进行分析，得到进出电梯人数与电梯往返时间关系，调整电梯到达时间间隔与电梯等待时间等行为，以减少乘客等待时间。

进一步，所述步骤(2)中采用密度真值地图作为深度卷积网络模型的训练目标，具体包括：

S1、对所述摄像头所采集的电梯厅视频帧图像进行检测，对于乘客相互拥挤、遮挡导致视频中无法对乘客整体提取特征的现象，使用边界框标记其中每位乘客的头部，通过标记，计算得到透视权值图，在透视权值图中选择标记对应的尺寸权重，以生成对应尺寸的密度真值地图；

S2、由于视角畸变，乘客距离电梯厅固定摄像头的距离不同，乘客最终在画面中显示的尺寸也不同，在距离摄像头越近的区域，乘客尺寸越大，需要更多像素才能描绘出一个乘客的头部，因此密度地图中点密度小。根据乘客所在位置的透视权值进行加权，得到积分区域，获得乘客的数量；

S3、在距离摄像头越远的区域，乘客尺寸越小，密度地图中像素的值越大，同理只需对位置加权后区域内点的值进行积分获得乘客的数量。

进一步，所述步骤(3)中，训练二分类模型的实现为：

对电梯门处的视频帧进行图像分类，判断当前帧是电梯开门时的状态，还是电梯关门时的状态，并使用投票法，利用前5帧的分类结果进行投票确定当前帧的类别，得到的二分类模型，在测试数据集取得100％的正确率。

进一步，所述步骤(4)中，设计通过量计数模型以获取乘客流量。通过设置兴趣线获取切片堆叠图像，并以切片堆叠图像为输入、流量图为输出训练通过量计数模型，具体包括：

S1、使用电梯开关门分类器，获取电梯停靠且开门时的视频序列，并利用Farneback光流法计算视频序列的稠密光流，得到HSV光流视频序列。通过稠密光流，可以获取每个像素的移动速度信息，从而获得乘客的速度信息；

S2、统计离开和进入电梯轿厢乘客的高度坐标信息，得到LOI(Line of Interest兴趣线)的范围；以水平线作为参照，在LOI范围内，设置一条基线，计算乘客的高度与乘客所在位置的基线高度之间的差值，通过差值的分布，确定LOI的高度，再计算对应高度处的LOI的斜率，最后确定进入乘客与离开乘客头部运动信息的两条兴趣线；

S3、在HSV光流视频序列上对兴趣线进行采样，将采样到的所有线堆叠形成切片堆叠图像；

S4、使用边界框标记乘客的头部，并为每个边界框设置一个单独的编号，以进、出电梯为标准分类，通过标注保留并计算获得每一帧的速度权重和尺寸信息，分别生成进入和离开电梯乘客的流量图；

S5、对于流量图中的一个像素p，p的坐标为(i,j)，p的值表示在第j帧，i处乘客的瞬时流量大小，通过对流量图积分，得出这段视频序列中进、出电梯乘客的数量；

S6、以切片堆叠图像为输入，流量图为输出，搭建一个卷积神经网络，并分别训练用于进入电梯乘客计数与离开电梯乘客计数的通过量计数模型，通过对模型输出的流量图积分获取乘客流量。

本发明与现有技术相比的有益效果是：

(1)本发明不需要安装额外设备：使用电梯内部现有监控摄像头就可以完成原始视频采集，不需要安装红外设备，或者在电梯顶部额外安装摄像头。以往相关专利都需要单独安装相关设备；而且把视频处理成一张图像：使用创新的方法，把多帧图像组成的视频，处理成一张图像(流量图)，可以减少计算量，提高计算速度。

(2)采用密度真值地图作为训练目标，解决了基于检测的人群计数方法不适用于密集拥挤的场景下的计数问题。使用模型将原始图片生成一个密度地图，对密度地图进行积分，就可以获得乘客的最终人数。并且使用边界框代替传统的点标注，在数据集中，保留了乘客的尺寸信息，完美地适应了电梯轿厢内部近大远小的特征。

(3)对二分类模型使用投票法确定当前帧属于开门或关门状态，比之传统开关门分类器具有更高的识别准确率，在测试集下达到100％准确性。

(4)设计发明了适用于电梯轿厢的通过量计数模型，摒弃了红外接收器等外部设备，只依靠轿厢内视频便可获取流量信息。通过检测开关门状态筛取开门时视频用于检测，解决电梯门镜面反射问题。通过计算光流获取速度信息忽略个体关注流量，解决遮挡、拥挤问题。通过保留乘客尺寸信息解决近大远小的尺寸变化问题。

(5)本发明基于计算机视觉实现通过量计数，采集数据源均为电梯中自带的摄像头设备，不需要硬件设备辅助，可无缝适配各个商厦的电梯系统，具有良好的推广前景。并且通过改进训练模型提高识别精确度，获得了不低于硬件设备支持的测试结果。

附图说明

图1为本发明的方法流程图；

图2为本发明中人群计数方法图；

图3为本发明中电梯停靠楼层获取流程图；

图4为本发明中通过量计数方法图。

具体实施方式

下面结合附图及实例对本发明进行详细说明。

如图1所示，本发明的基于计算机视觉的电梯交通数据统计方法，包括以下步骤：

(1)通过摄像头实时采集电梯厅与轿厢内部图片。

(2)通过计算透视权重改进现有人群计数模型，并利用改进模型对摄像头所采集的电梯厅视频中帧图像进行检测，获取电梯厅内人数统计。

如图2所示，具体包括以下步骤：

S1、使用边界框代替传统的点标注，在数据集中，标注乘客的尺寸信息；

S2、对图像中乘客头部的尺寸进行统计，并将统计的结果求平均，获取一个视角透视权值图。具体过程为：获取数据集中所有的边界框所组成的集合，对该距离处所有边界框的宽度求平均值，再除以最大的宽度平均值，以把权值映射到(0,1]范围内。

S3、如下所示，更新生成密度地图的公式，并生成密度地图。在根据标记生成密度地图时，会依照边界框中点的y坐标，在透视权值图中选择该标记对应的尺寸权重，以生成对应尺寸的密度地图。

其中，p_map_i是第i个乘客P_i的透视权值，β是预设的参数，用于控制高斯函数的方差与透视权值之间的比值。I是当前的密度地图，p是密度地图中所有的像素。P为所有值为1的像素点的集合。N(p；P_i,p_map_iβ1_1×1)是均值为P_i，方差为p_map_iβ1_1×1的二维的高斯函数。

在密度地图中，每个点的值为该点的人群密度。把一个密度地图中所有点的值相加求积分，得到的值就是这种密度地图中所包含的总人数。

S4、以密度真值地图为训练目标，训练深度卷积网络模型。构建一个包含16层卷积层的神经网络。网络的前半段，采用VGG-16网络模型的前10层卷积层。在后6层的卷积层中使用膨胀的卷积核。所有激活函数采用ReLU激活函数，克服梯度消失的问题，从而加快训练速度。

(3)对轿厢内视频帧图像进行检测，利用开关门分类器与楼层识别模型获取电梯停靠的楼层。

如图3所示，具体包括以下步骤：

S1、截取电梯门上部的子图来进行检测，对于完全关闭的电梯门图像，标记为0，而完全开放时的电梯门图像，标记为1。

S2、使用当前帧的前5帧图片的分类结果进行投票来确定当前帧的分类。

S3、使用卷积网络对开关门图像进行分类，设计5层网络模型，前两层为卷积层，后三层为全连接层。

S4、对于楼层识别，截取出只包含数字的子图，对子图内的数字进行识别。

S5、对各位数上的十个数字的灰度图之间的欧氏距离进行两两求值，验证每个数字对应的图像之间的差别。

S6、选用KNN算法来对数字进行识别。

(4)设计通过量计数模型，通过轿厢内视频帧图像生成切片叠堆图像，并训练输出为流量图的网络模型，通过对流量图积分获取电梯进出人数统计。

如图4所示，具体包括以下步骤：

S1、使用电梯开关门分类器，获取电梯停靠开门时的视频序列。

S2、使用Farneback光流法处理视频序列，获取乘客的速度信息，计算图像中每个像素点的瞬时速度，在一小块子图内，每个像素的光流是相同的，因此，使用Farneback光流法计算光流，还可以保留乘客的轮廓信息。获取得到新的视频序列，其中，不同的颜色表示不同的速度大小和方向。

S3、对新的视频序列进行兴趣线采样，具体包括：

S31、计算乘客高度坐标的分布，分别得到离开轿厢与进入轿厢乘客头部的高度坐标散点图，并根据高度分布在电梯门处设置一条LOI(兴趣线)基线。由于乘客在进入和离开电梯轿厢时，总会经过电梯门，所以会在兴趣线上留下移动轨迹，使得只需关注兴趣线上信息即可，过滤掉拥挤、相互遮挡等所产生的无用信息。

S32、计算乘客高度与乘客所在位置的基线高度之间的差值，通过差值的分布，调整兴趣线的高度，使得差值最小。设定基线公式为：y＝-0.225*x+421.5，差值计算公式为：diff＝y(x_i)-y_i，其中diff是差值，x_i是第i个统计样例的列索引值，y_i是第i个统计样例的行索引值。

S33、由于不同电梯轿厢摄像头安装位置不同，在轿厢内一角安装摄像头会引起画面倾斜，须对LOI(兴趣线)斜率进行自动确定。故根据S32确定的高度，提取对应高度处水平线的斜率，作为此高度处LOI(兴趣线)的斜率。

S34、根据S31、S32、S33结果，对基线进行调整得到两条LOI(兴趣线)，分别记录进入轿厢乘客和离开轿厢乘客的头部运动信息。

S4、将采样得到的所有线堆叠形成切片堆叠图像，以此作为神经网络的输入数据；

S5、使用边界框标记乘客的头部，并为每个边界框设置一个单独的编号，以进出电梯为标准分类。使用边界框进行标注，可以保留乘客在每一帧的尺寸信息。对每个标注进行编号，可以计算乘客在相邻两帧的移动距离，以此计算每个乘客在每一帧的瞬时速度权重，具体如下：

S51、设置乘客进入电梯、离开电梯、其他乘客三个类别，对乘客头部进行标记。确定视频中的乘客在每一帧中的位置，以及在每一帧中的尺寸。

S52、通过边界框左上角的点坐标和右下角的点坐标，计算出乘客头部的中心位置。通过两帧之间，乘客的中心位置移动的坐标，来计算乘客在此时的瞬时速度。

du＝x_i+1-x_i

dv＝y_i+1-y_i

du是乘客在x轴方向的瞬时速度，dv是乘客在y轴方向的瞬时速度。以此公式为基础，对上述公式进行修正，只关注垂直于电梯门的方向上的速度。通过两帧之间的乘客中心点的y坐标相减求在乘客进出电梯方向上的瞬时速度，同时为了消除画面倾斜带来的影响，再减去一个修正速度值。修正速度值的计算公式为：

ε＝k_LOI*du

其中，k_LOI是兴趣线的斜率，du是沿x轴方向的瞬时速度，ε是最后求得的修正值。最后获得乘客在第frame帧时y轴方向上的速度。进而计算出瞬时速度权重：

T_i是第i个乘客的轨迹，t是组成轨迹T_i的一个点，v_t是乘客在t点沿着y轴方向的瞬时速度，v_j是在t_j点沿着y轴方向的瞬时速度。

S6、通过每个乘客在每一帧中瞬时速度、位置和尺寸的信息，生成该段视频的流量图。生成流量图的公式为：

其中，I表示需要生成的流量图，p是生成的流量图中的每个像素点，F(p)是对应的像素点的值。P为标注得到的进入电梯轿厢或者离开电梯轿厢的乘客的集合，P_i表示乘客集合中的第i个乘客。T_i是第i个乘客头部的轨迹，t_j是组成乘客头部中心点轨迹的点的坐标(frame，x)，包含了这时的乘客中心点所在的帧frame和在电梯门具体的横坐标值x。w_j是第i个乘客在t_j点是的瞬时速度权重。N(p；t_j，σ_j ²1_1×1)是以t_j点为中心对称分布，方差为σ_j ²1_1×1的二维高斯核函数。

在计算流量图时，需要乘客头部轨迹T_i的信息。T_i生成公式如下：

其中，P_frame，i是第i个乘客，在第frame帧的位置。y_min是第i个乘客在第frame帧的边界框的最小y值，y_max是第i个乘客在第frame帧的边界框的最大y值。LOI_label(x)是该名乘客对应的分类label的兴趣线在该名乘客的中心点的横坐标x处的取值。当y_min≤LOI_label(x)≤y_max时，说明这个乘客的头部正在穿过兴趣线，兴趣线可以捕捉到他的运动信息。

S7、以光流图LOI处切片堆叠图像作为深度网络模型的输入，以流量图为训练目标，对深度网络模型进行训练。在后6层的卷积层中使用了膨胀的卷积核，网络的前半段，采用VGG-16网络模型的前10层卷积层。网络的输入为3通道的RGB彩色图像，输出为1通道的流量图，激活函数为ReLU激活函数。

S8、对流量图进行积分算出进出电梯的人数。

通过(2)(3)(4)共同获取电梯每层的等待人数、进出人数，以作为电梯交通统计数据进行进一步分析。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (1)

1.一种基于计算机视觉的电梯交通流量识别方法，其特征在于，包括以下步骤：

（1）多个摄像头采集视频，并对所述视频进行处理，获取电梯厅视频帧图像、轿厢内视频帧图像；

（2）通过计算透视权重改进现有人群计数模型，采用密度真值地图作为深度卷积网络模型训练目标，并利用改进的人群计数模型对摄像头所采集的电梯厅视频帧图像进行检测，获取电梯厅内人数统计；

（3）对轿厢内视频帧图像进行检测，通过训练二分类模型实现开关门分类器，检测识别电梯开关门状态，且通过楼层识别模型获取电梯停靠的楼层；

（4）设计通过量计数模型，通过轿厢内视频帧图像生成切片叠堆图像，并训练输出为流量图的通过量计数模型，通过对流量图积分获取乘客流量；

（5）对电梯厅内人数与电梯轿厢停靠某楼层后进出乘客数量进行分析，得到进出电梯人数与电梯往返时间关系，调整电梯到达时间间隔与电梯等待时间等行为，以减少乘客等待时间；

所述步骤（2）中采用密度真值地图作为深度卷积网络模型的训练目标，具体包括：

S1、对所述摄像头所采集的电梯厅视频帧图像进行检测，对于乘客相互拥挤、遮挡导致视频中无法对乘客整体提取特征的现象，使用边界框标记其中每位乘客的头部，通过标记，计算得到透视权值图，在透视权值图中选择标记对应的尺寸权重，以生成对应尺寸的密度真值地图；

S2、由于视角畸变，乘客距离电梯厅固定摄像头的距离不同，乘客最终在画面中显示的尺寸也不同，在距离摄像头越近的区域，乘客尺寸越大，需要更多像素才能描绘出一个乘客的头部，因此密度地图中点密度小，根据乘客所在位置的透视权值进行加权，得到积分区域，获得乘客的数量；

S3、在距离摄像头越远的区域，乘客尺寸越小，密度地图中像素的值越大，同理只需对位置加权后区域内点的值进行积分获得乘客的数量；

所述步骤（3）中，训练二分类模型的实现为：

对电梯门处的视频帧进行图像分类，判断当前帧是电梯开门时的状态，还是电梯关门时的状态，并使用投票法，利用前5帧的分类结果进行投票确定当前帧的类别，得到的二分类模型，在测试数据集取得100%的正确率；

所述步骤（4）中，设计通过量计数模型以获取乘客流量，通过设置兴趣线获取切片堆叠图像，并以切片堆叠图像为输入、流量图为输出训练通过量计数模型，具体包括：

S1、使用电梯门开关分类器，获取电梯停靠且开门时的视频序列，并利用Farneback光流法计算视频序列的稠密光流，得到HSV光流视频序列，通过稠密光流，可以获取每个像素的移动速度信息，从而获得乘客的速度信息；

S2、统计离开和进入电梯轿厢乘客的高度坐标信息，得到LOI（Line of Interest 兴趣线）的范围；以水平线作为参照，在LOI范围内，设置一条基线，计算乘客的高度与乘客所在位置的基线高度之间的差值，通过差值的分布，确定LOI的高度，再计算对应高度处的LOI的斜率，最后确定进入乘客与离开乘客头部运动信息的两条兴趣线；

S3、在HSV光流视频序列上对兴趣线进行采样，将采样到的所有线堆叠形成切片堆叠图像；

S4、使用边界框标记乘客的头部，并为每个边界框设置一个单独的编号，以进、出电梯为标准分类，通过标注保留并计算获得每一帧的速度权重和尺寸信息，分别生成进入和离开电梯乘客的流量图；

S5、对于流量图中的一个像素p，p的坐标为(i, j)，p的值表示在第j帧，i处乘客的瞬时流量大小，通过对流量图积分，得出这段视频序列中进、出电梯乘客的数量；

S6、以切片堆叠图像为输入，流量图为输出，搭建一个卷积神经网络，并分别训练用于进入电梯乘客计数与离开电梯乘客计数的通过量计数模型，通过对模型输出的流量图积分获取乘客流量。