CN111353377A - 一种基于深度学习的电梯乘客数检测方法 - Google Patents

Abstract

一种基于深度学习的电梯乘客数检测方法，首先使用基于深度学习的电梯目标分类训练，采用坐标标定工具，将电梯视频帧中的乘客目标进行框定；其次，进行深度学习网络优化，对神经网络做多级特征图融合，将高层特征与低层特征结合起来堆积在不同的Channel中，矫正目标区域，对冲量常数、权值衰减系数参数作出调整，当loss不再下降或下降极慢时就停止训练，得到相应的目标检测权重文件；最后，输入深度学习所得的权重文件、名称文件与配置文件位置信息，生成动态链接库，将电梯视频以视频帧格式输入，运行检测文件输出电梯实时乘客数。本发明准确检测电梯的乘客数，同时通过参数的优化提高神经网络的准确性，拥有极高的效率与准确性。

Description

一种基于深度学习的电梯乘客数检测方法

技术领域

本发明专利涉及视频大数据、深度学习、神经网络等领域，特别是给出了一种基于深度学习的电梯乘客数检测方法。

背景技术

电梯是人们工作和生活中必不可少的交通工具，然而，随着电梯数量的快速增加以及人们生活节奏的逐步加快，电梯运行安全逐渐成为一个公众关注的社会性热点。充分利用电梯产生的各类数据，结合人工智能技术提高电梯的安全性已经成为学术界和工业界的一个重要课题。电梯视频是一类重要的数据源，蕴含了电梯时时刻刻的运行状态，为分析电梯状态提供了丰富的数据。

对于电梯视频分析框架方面，也已有多位学者进行了相关研究。王雨晴等(浙江大学，2017)提出了一种智能电梯监控系统，可以对电梯的乘客数、乘客身份、乘客行为异常、电梯遗落物等多个方面进行图像分析，结合机器学习与传统图像方法形成电梯异常的检测系统；顾懿超等(浙江大学，2017)提出了一种基于 DSP的智能电梯监控视频处理算法，通过前景提取与跟踪算法检测门标识，从而确认电梯门开关的情况，并把它部署到DSP平台进行应用；刘莉等(新疆大学， 2013)通过将电梯的硬件信号传输至BP神经网络从而开发出了基于机器学习的电梯故障预警系统。

在深度学习视频处理方面，石殷巧等(计算机与现代化,2018)提出了一种基于深度学习的短视频中的物体检测与内容推荐系统，通过深度学习检测短视频中的物体并投放对应广告；郑宗生等(海洋环境科学，2018)提出了一种基于深度学习的近岸海浪等级视频监测方法，通过深度学习检测视频中海浪变化等级；李诚等(计算机工程，2018)提出了一种城镇森林交界域视频烟雾检测算法，通过 Bibe前景提取与Caffe深度学习相结合的方式检测视频中的火灾烟雾；戴诗琪等 (计算机系统应用，2018)提出一种基于深度学习的疲劳驾驶检测算法，通过 HOG特征点与卷积神经网络检测驾驶员的面部表情判断是否疲劳驾驶。

Yolo作为当前热门的目标检测神经网络，在深度学习领域有着极高的效率与准确度；其改革了区域建议框式检测框架，将全图划分为SXS的格子，每个格子负责中心在该格子的目标检测，采用一次性预测所有格子所含目标的bbox范围、定位置信度以及所有类别概率向量来将问题一次性解决，由于其强大的准确度与泛化能力，目前在工业界饱受青睐。

发明内容

为了准确检测电梯中的乘客数，本发明提出一种基于深度学习的电梯乘客数检测方法，该发明使用yolo目标检测网络训练电梯环境数据并生成相应的目标检测文件，能够准确检测电梯环境下的乘客数。

为了解决上述技术问题本发明提供如下的技术方案：

一种基于深度学习的电梯乘客数检测方法，所述方法包括以下步骤：

(1)基于深度学习的电梯目标分类训练，过程如下：

采用坐标标定工具，将电梯视频帧中的乘客目标进行框定，标定完成后得到记录目标位置信息的xml文件；

将目标视频帧图像分为训练集和测试集，设定训练集与测试集的比例；

(2)深度学习网络优化，过程如下：

(2.1)多级特征图融合

乘客目标特征在深度学习网络中拥有自身的结构，其中高层的特征抽象程度高，表示乘客的整体特征，中层的特征抽象程度低，表示乘客的局部特征；

结合不同粒度特征，将不同高分辨率特征和低分辨率特征结合起来堆积在不同的Channel中；

融合多级特征，让不同粒度的特征参与乘客检测，构成更准确的Yolov2神经网络；

(2.2)矫正目标区域

在YOLO检测方法中，图像被分成S×S的网格，候选框在X轴和Y轴上同等密度分布，使用均方误差作损失函数来优化模型参数，即网络输出的S*S*(B* 5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方误差，这个均方误差损失函数表示为：

其中coordError分别代表预测数据与标定数据之间的坐标误差,classError分类误差，iouError代表IOU误差，IOU全称Intersection Over Union，是对于检测目标准确性的评估数据，以预测目标与真实目标的重合度为基准，大于等于 IOU则目标正确，反之则目标错误；

训练时设置参数batch调整迭代要进行训练的图片量，batch指训练时的批数据大小,参数subvision调整batch中的图片再生产子集，参数weight decay调整权值衰减，防止训练过拟合；

(3)基于深度学习的电梯乘客数检测，采用yolo深度学习神经网络对电梯乘客数检测，输入为电梯视频数据，输出为电梯视频每一帧的乘客数，步骤如下：

Step3.1:输入深度学习所得的权重文件、名称文件与配置文件位置信息；

Step3.2:导入训练完成后生成的yolo_cpp_dll.lib和yolo_cpp_dll.dll文件，生成动态链接库；

Step3.3:通过权重文件与配置文件初始化检测器；

Step3.4:通过设置YOLO自带的.name文件输入分类对象名称；

Step3.5:打开电梯视频的实时录像，作为视频帧格式输入；

Step3.6:使用检测器对每帧视频中的物体进行检测并根据分类对象名称进行分类；

Step3.7:对乘客等分类的物体进行计数并记录，作为电梯实时乘客人数；

Step3.8:将程序生成解决方案，并与之前训练生成的dll文件与lib文件放置在同一路径；

Step3.9:运行检测文件输出电梯乘客数，同时后台也将作出记录。

进一步，所述步骤(1)中，标定目标以乘客头肩部分为主，并对乘客的干扰物件进行标定以提高检测目标的数量与精度；

设定训练集与测试集的比例为5:1，在选取训练集时尽量选取光照变化较大，尺度变化较大，乘客姿态丰富，外观服饰多样的目标，从而提升训练的准确度与鲁棒性。

再进一步，所述(2.1)中，乘客的整体特征为乘客的整体轮廓，乘客的局部特征为头肩部分和身体部分。

更进一步，所述(2.2)中，对于相等的误差值，大物体误差对检测的影响应小于小物体误差对检测的影响；相同的位置偏差占大物体的比例远小于同等偏差占小物体的比例，将物体大小的信息项进行求平方根来改进这个问题。

所述(2.2)中，通过增大图片分辨率提升准确率，并将训练时的参数可视化，其中

1)Region Avg IOU表示平均的IOU，即预测的Bounding Box和Ground truth 的交集与并集之比；

2)Class表示标注物体的概率，期望该值趋近于1；

3)AvgRecall表示召回率，期望该值趋近于1，召回率比较高说明效果较好；

4)count表示输出有多少个目标总和；

通过这些参数的变化对神经网络的状态进行实时的判断，当loss不再下降或下降极慢时就可以停止训练了，在训练完成后得到相应的目标检测weight文件。

本发明的有益效果为：本发明利用基于yolo神经网络深度学习模型对电梯视频数据进行分析，准确检测电梯的乘客数，同时通过参数的优化提高神经网络的准确性，拥有极高的效率与准确性。

具体实施方式

下结合某台电梯采集的视频对本发明做进一步说明。

一种基于深度学习的电梯乘客数检测方法，所述方法包括以下步骤：

(1)基于深度学习的电梯乘客目标检测文件，过程如下：

对于电梯视频数据进行乘客和相关物件的标定，首先应截取实际电梯视频中有乘客出现的视频帧，使用标定工具将图片帧中的乘客目标进行框定，实例中框定对象为电梯内乘客人体、手机、书本、旅行箱四种物体，完成后得到记录目标位置信息的xml文件，随后使用yolo-voc统一将得到的xml文件转为txt格式文件，并在.name文件中设置之前各个检测目标的名称，如乘客命名为person，同时在处理时对位置文件批量重命名，最后通过addneme2txt.py将之前的位置信息文件整合成统一的txt文件，并准备好训练相关的cfg配置文件并统一上传至服务器，文件路径要与cfg内设置的路径一致，输入命令参数后开始训练，完成后得到相应的目标检测weight文件；

(2)深度学习网络优化，过程如下：

(2.1)多级特征图融合

根据乘客、手机等目标特征在深度学习网络中的结构性，分别抽取其中的高层整体特征与中层局部特征，如乘客的整体轮廓为高级特征，头肩部分为中级特征。结合不同细粒度特征，分别融合多级特征图，让不同细粒度的特征参与多个目标的检测，构成神经网络；

(2.2)矫正目标区域

在训练神经网络是，使用均方误差作损失函数来优化电梯目标参数，根据目标检测准确度调整预测数据与标定数据之间的坐标误差、IOU误差和分类误差，直到误差率在一定范围内，本实验中batch值与subdivision值设为1，选用的冲量常数0.9，权值衰减系数decay为0.0005，policy设为steps模式，其余参数设为默认值，训练时共有24个卷积层，以开源的神经网络框架Darknet为基础训练样本；对于相等的误差值，可以对物体大小的信息项进行求平方根，减小物体大小对检测准确度带来的影响，当loss值不再下降时停止训练；

(3)基于深度学习的电梯乘客数检测，过程如下；

本实例采用yolo深度学习神经网络对电梯人数进行实时检测，采用动态链接库对深度学习配置文件和权重文件进行动态链接，实时检测电梯视频内物体，步骤如下：

输入训练完成后得到的权重文件、名称文件与配置文件位置信息，导入编译后得到的yolo_cpp_dll.lib和yolo_cpp_dll.dll文件，生成动态链接库，并通过权重文件与配置文件初始化检测器detector并获取分类对象名称，把之前训练所得的dll文件与lib文件放在程序根目录，并配置好附加包含目录与链接器，然后打开电梯视频的实时录像，作为视频帧格式输入，使用之前生成的检测器detector 对每帧视频中的物体进行检测并根据分类对象名称进行分类，将不同分类的目标物体进行实时计数并在后台记录，作为电梯实时乘客人数，并在前台实时输出，最后将程序生成exe解决方案检测电梯实时乘客人数。

本发明使用基于yolo神经网络的深度学习技术训练样本集并通过参数优化提升神经网络准确度，拥有极高的检测效率与准确性，在电梯人数统计与物品检测方面拥有很高的应用价值。

Claims (5)

1.一种基于深度学习的电梯乘客数检测方法，其特征在于，所述方法包括以下步骤：

(1)基于深度学习的电梯目标分类训练，过程如下：

采用坐标标定工具，将电梯视频帧中的乘客目标进行框定，标定完成后得到记录目标位置信息的xml文件；

将目标视频帧图像分为训练集和测试集，设定训练集与测试集的比例；

(2)深度学习网络优化，过程如下：

(2.1)多级特征图融合

乘客目标特征在深度学习网络中拥有自身的结构，其中高层的特征抽象程度高，表示乘客的整体特征，中层的特征抽象程度低，表示乘客的局部特征；

结合不同粒度特征，将不同高分辨率特征和低分辨率特征结合起来堆积在不同的Channel中；

融合多级特征，让不同粒度的特征参与乘客检测，构成更准确的Yolov2神经网络；

(2.2)矫正目标区域

在YOLO检测方法中，图像被分成S×S的网格，候选框在X轴和Y轴上同等密度分布，使用均方误差作损失函数来优化模型参数，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方误差，这个均方误差损失函数表示为：

其中coordError分别代表预测数据与标定数据之间的坐标误差,classError分类误差，iouError代表IOU误差，IOU全称Intersection Over Union，是对于检测目标准确性的评估数据，以预测目标与真实目标的重合度为基准，大于等于IOU则目标正确，反之则目标错误；

训练时设置参数batch调整迭代要进行训练的图片量，batch指训练时的批数据大小,参数subvision调整batch中的图片再生产子集，参数weight decay调整权值衰减，防止训练过拟合；

(3)基于深度学习的电梯乘客数检测，采用yolo深度学习神经网络对电梯乘客数检测，输入为电梯视频数据，输出为电梯视频每一帧的乘客数，步骤如下：

Step3.1:输入深度学习所得的权重文件、名称文件与配置文件位置信息；

Step3.2:导入训练完成后生成的yolo_cpp_dll.lib和yolo_cpp_dll.dll文件，生成动态链接库；

Step3.3:通过权重文件与配置文件初始化检测器；

Step3.4:通过设置YOLO自带的.name文件输入分类对象名称；

Step3.5:打开电梯视频的实时录像，作为视频帧格式输入；

Step3.6:使用检测器对每帧视频中的物体进行检测并根据分类对象名称进行分类；

Step3.7:对乘客等分类的物体进行计数并记录，作为电梯实时乘客人数；

Step3.8:将程序生成解决方案，并与之前训练生成的dll文件与lib文件放置在同一路径；

Step3.9:运行检测文件输出电梯乘客数，同时后台也将作出记录。

2.如权利要求1所述的一种基于深度学习的电梯乘客数检测方法，其特征在于，所述步骤(1)中，标定目标以乘客头肩部分为主，并对乘客的干扰物件进行标定以提高检测目标的数量与精度；

设定训练集与测试集的比例为5:1，在选取训练集时尽量选取光照变化较大，尺度变化较大，乘客姿态丰富，外观服饰多样的目标，从而提升训练的准确度与鲁棒性。

3.如权利要求1或2所述的一种基于深度学习的电梯乘客数检测方法，其特征在于，所述(2.1)中，乘客的整体特征为乘客的整体轮廓，乘客的局部特征为头肩部分和身体部分。

4.如权利要求1或2所述的一种基于深度学习的电梯乘客数检测方法，其特征在于，所述(2.2)中，对于相等的误差值，大物体误差对检测的影响应小于小物体误差对检测的影响；相同的位置偏差占大物体的比例远小于同等偏差占小物体的比例，将物体大小的信息项进行求平方根来改进这个问题。

5.如权利要求1或2所述的一种基于深度学习的电梯乘客数检测方法，其特征在于，所述(2.2)中，通过增大图片分辨率提升准确率，并将训练时的参数可视化，其中

1)Region Avg IOU表示平均的IOU，即预测的Bounding Box和Ground truth的交集与并集之比；

2)Class表示标注物体的概率，期望该值趋近于1；

3)AvgRecall表示召回率，期望该值趋近于1，召回率比较高说明效果较好；

4)count表示输出有多少个目标总和；

通过这些参数的变化对神经网络的状态进行实时的判断，当loss不再下降或下降极慢时就可以停止训练了，在训练完成后得到相应的目标检测weight文件。