CN111275910A

CN111275910A - 一种基于高斯混合模型的扶梯越界行为检测方法及系统

Info

Publication number: CN111275910A
Application number: CN201911071839.3A
Authority: CN
Inventors: 胡芬; 陈南西; 楼阳冰
Original assignee: Hangzhou AIMS Intelligent Technology Co Ltd
Current assignee: Hangzhou AIMS Intelligent Technology Co Ltd
Priority date: 2019-11-05
Filing date: 2019-11-05
Publication date: 2020-06-12
Anticipated expiration: 2039-11-05
Also published as: CN111275910B

Abstract

本发明涉及扶梯安全监控的技术领域，公开了一种基于高斯混合模型的扶梯越界行为检测方法及系统，包括步骤：A）利用OpenPose深度学习网络模型从视频图像中提取人体骨架；B）采用SVM分类器构建分类模型；C）构建高斯混合模型；D）对运动目标图像进行预处理，获得在扶梯扶手带两侧乘客越界检测区域内的运动图像；E）筛选出最小外接矩形面积大于面积阈值的运动目标轮廓；F）获得最小外接矩形中心点到骨架关键点的最小距离；G）进行扶梯越界报警。本发明减少了误检的情况，提高了越界检测的精确度，另外建立高斯混合模型，对乘客乘坐扶梯时的越界行为进行检测与实时报警，越界行为检测准确率高。

Description

一种基于高斯混合模型的扶梯越界行为检测方法及系统

技术领域

本发明涉及扶梯安全监控的技术领域，尤其是涉及一种基于高斯混合模型的扶梯越界行为检测方法及系统。

背景技术

自动扶梯是一种类似于倾斜式传送带的运输装置，主要完成对乘客和货物的输送任务。随着人们对快捷生活方式的不断追求，扶梯的使用越来越普遍，像地铁站、火车站及各种建筑物内等公共场所经常会看到扶梯。随着扶梯的大量使用，扶梯的一些安全问题及顺畅运行问题越来越引起人们的关注，选择人工看护扶梯的方法很难做到对扶梯使用过程中客流情况及其行为的实时监测，很难在第一时间采取应对措施。因而开发一种更智能化的看护扶梯运行的方法及系统很有必要。

例如，一种在中国专利文献上公开的“一种扶梯”，其公告号CN 207158584U，该实用新型公开一种扶梯，包括：盖板和扶手带。盖板具有内侧壁、与内侧壁相对的外侧壁以及位于内侧壁和外侧壁之间的顶壁。扶手带位于盖板的内侧壁上。该实用新型只是对扶梯进行了改进，并不能对正在运行的扶梯上的乘客进行实时检测。

发明内容

本发明是为了解决现有技术无法实现对运行中的扶梯进行实时看护并进行智能化报警的问题，提供一种基于高斯混合模型的扶梯越界行为检测方法及系统。本发明采用SVM分类器构建分类模型，减少了误检的情况，提高了越界检测的精确度，另外建立高斯混合模型对越界行为进行识别和判断，对乘客乘坐扶梯时的越界行为进行检测与实时报警，越界行为检测准确率高。

为了实现上述目的，本发明采用以下技术方案：

一种基于高斯混合模型的扶梯越界行为检测方法，包括步骤：

A)通过摄像头获取扶梯区域监控视频图像，利用OpenPose深度学习网络模型从视频图像中提取人体骨架，收集误检乘客骨架信息和真实乘客骨架信息，将误检乘客骨架信息记为负样本，将真实乘客骨架信息记为正样本；

B)采用SVM分类器构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的骨架信息进行分类，保留真实乘客骨架信息，去除误检乘客骨架信息；判断在扶梯扶手带外侧区域范围内是否存在真实乘客骨架信息，若是，则进入步骤

C)，若否，则返回步骤A)；

C)构建高斯混合模型，获取当前帧图像中的运动目标图像，利用高斯混合模型检测当前帧图像中的运动目标图像；

D)对运动目标图像进行预处理，对预处理后的运动目标图像进行截取，获得在扶梯扶手带两侧乘客越界检测区域内的运动图像；

E)获取运动图像的运动目标轮廓，设置面积阈值，获取各个运动目标轮廓的最小外接矩形面积以及最小外接矩形中心点，筛选出最小外接矩形面积大于面积阈值的运动目标轮廓；

F)设置距离阈值，选取越界检测区域内的骨架关键点，计算最小外接矩形中心点到越界检测区域内各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，设置越界报警计数器，越界报警计数器置1；

G)设置距离阈值和计数器阈值，获取最小外接矩形中心点到骨架关键点的最小距离小于距离阈值的运动目标轮廓个数，将越界报警计数器的数值加上运动目标轮廓个数；

判断越界报警计数器的数值是否大于计数器阈值，若是，则进行扶梯越界报警以及系统现场声音报警，若否，则重复本步骤。

本发明利用OpenPose深度学习网络模型从视频图像中提取行人信息，再采用SVM分类器构建分类模型，去除误检乘客骨架信息，从而减少了误检的情况。混合高斯模型使用多个高斯模型来表征视频图像中各个像素点的特征，在新一帧视频图像获得后实时更新混合高斯模型，用当前视频图像中的每个像素点与混合高斯模型相匹配，如果匹配成功则判定该点为背景点,否则为前景点。步骤E)通过采用边缘检测算法获取运动图像的运动目标轮廓，通过对运动目标轮廓的最小外接矩形面积进行判断分析，从而选取出大面积的越界物。人体的骨架关键点是固定的，包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、左踝或头顶。步骤F)中选取越界检测区域内的骨架关键点，并不包括人体所有的骨架关键点，只考虑在越界检测区域内的人体骨架关键点，然后计算每个最小外接矩形中心点到越界检测区域内各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，每一个运动目标轮廓对应一个最小距离。步骤G)中比较每个运动目标轮廓的最小距离与设置的距离阈值的大小，若运动目标轮廓的最小距离小于距离阈值，说明发生了越界行为，记录最小距离小于距离阈值的运动目标轮廓个数，运动目标轮廓个数越多，说明越界行为越严重，将越界报警计数器的数值加上运动目标轮廓个数，不断地更新越界报警计数器的数值，则随着时间变化不断地累加越界报警计数器的数值，当越界报警计数器的数值超过计数器阈值时，则进行报警计数器。从越界检测区域内越界的运动目标轮廓个数即越界严重性以及越界时间长短两个方面综合考虑越界行为，使得报警更加地智能化。

扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。

进一步地，步骤A)中OpenPose深度学习网络模型为BODY_25、COCO及MPI中的任一种。

不同的模型包含不同的人体骨架关键点，比如COCO模型包含人体18个骨架关键点，18个骨架关键点分别为右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、右髋、左踝、左眼、右眼、左耳、右耳、鼻子和脖子。MPI包含人体15个骨架关键点，15个骨架关键点分别为右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、右髋、左踝、头顶、胸部和脖子。

进一步地，步骤C)中构建高斯混合模型包括将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像

设定阈值T₂，按照式子

逐个对帧差法图像

中每个像素点进行二值化处理，得到帧差法二值化图像，帧差法二值化图像包含实时运动目标图像。

高斯混合模型主要由方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制将直接影响到模型的稳定性、精确性和收敛性。由于本发明是对运动目标的背景提取进行建模，因此需要对高斯混合模型中方差和均值两个参数实时更新。步骤C)中构建高斯混合模型包括将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像

并得到帧差法二值化图像。摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。由于场景中的目标在运动，目标的影像在不同图像帧中的位置也会不同。利用帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现运动目标图像的检测功能。

进一步地，步骤D)中对运动目标图像进行预处理，预处理为腐蚀和/或膨胀。

预处理时采用形态学图像处理中腐蚀和/或膨胀的方法，从运动目标图像中提取图像区域形状中有用的图像分量。

步骤A)中，骨架信息包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、右髋、左踝、头顶、鼻子、左眼、右眼、左耳、右耳、头顶、胸部和/或脖子。

一种基于高斯混合模型的扶梯越界行为检测系统，包括获取模块、骨架提取模块、骨架分析模块、运动目标获取模块、运动目标分析模块和判断模块，

获取模块，用于获取扶梯区域监控视频图像；

骨架提取模块，用于利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架；

骨架分析模块，用于收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据正负样本，采用SVM分类器构建分类模型，利用分类模型对实时骨架信息进行分类，保留真实乘客骨架信息，去除误检乘客骨架信息；

运动目标获取模块，用于判断在扶梯扶手带外侧区域范围内是否存在人体骨架关键点，利用高斯混合模型检测当前帧图像中运动目标；

运动目标分析模块，用于对运动目标图像进行预处理消除噪声，截取在扶梯扶手带两侧乘客越界检测区域内的运动图像，获取运动图像的运动目标轮廓，设置面积阈值，获取各个运动目标轮廓的最小外接矩形面积以及最小外接矩形中心点，筛选出最小外接矩形面积大于面积阈值的运动目标轮廓；设置距离阈值，选取越界检测区域内的骨架关键点，计算最小外接矩形中心点到各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，设置越界报警计数器，越界报警计数器置1；

判断模块，设置距离阈值和计数器阈值，获取最小外接矩形中心点到骨架关键点的最小距离小于距离阈值的运动目标轮廓个数，将越界报警计数器的数值加上运动目标轮廓个数，当越界报警计数器大于计数器阈值时，进行扶梯越界报警及系统现场声音报警。

因此，本发明具有如下有益效果：采用SVM分类器构建分类模型，减少了误检的情况，提高了越界检测的精确度，另外建立高斯混合模型对越界行为进行识别和判断，对乘客乘坐扶梯时的越界行为进行检测与实时报警，越界行为检测准确率高。

附图说明

图1是本发明实施例一的流程框图。

图2是本发明实施例一的系统结构示意图。

图3是本发明实施例一的无人状态下扶梯出入口视频原始图像。

图4是本发明实施例一的骨架提取效果图像。

图5是本发明实施例一的越界检测区域示意图。

图6是本发明实施例一的利用高斯混合模型获得的运动目标效果图。

图7是本发明实施例一的截取越界检测区域内运动目标效果图。

图8是本发明实施例一的腐蚀膨胀处理效果图。

图9是本发明实施例一的人体头部越界检测效果图。

图10是本发明实施例一的人体手臂越界检测效果图。

图11是本发明实施例一的人体脚部越界检测效果图。

100、获取模块，200、骨架提取模块，300、骨架分析模块，400、运动目标获取模块，500、运动目标分析模块，600、判断模块。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的描述。

实施例一，一种基于高斯混合模型的扶梯越界行为检测方法，如图1所示，包括步骤：

A)通过摄像头获取扶梯区域监控视频图像，扶梯区域监控视频图像包括扶梯入口图像和扶梯出口图像，如图3所示，为本发明实施例一无人状态下扶梯出入口视频原始图像。如图4所示，利用OpenPose深度学习网络模型从视频图像中提取人体骨架，OpenPose深度学习网络模型采用MPI模型，MPI模型包括18个人体骨架关键点，分别为右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、右髋、左踝、头顶、胸部和脖子。收集误检乘客骨架信息和真实乘客骨架信息，将误检乘客骨架信息记为负样本，将真实乘客骨架信息记为正样本。

B)采用SVM分类器构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的骨架信息进行分类，保留真实乘客骨架信息，去除误检乘客骨架信息；判断在扶梯扶手带外侧区域范围内是否存在真实乘客骨架信息，若是，则进入步骤C)，若否，则返回步骤A)；

C)构建高斯混合模型，构建高斯混合模型包括将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像

设定阈值T₂，按照式子

逐个对帧差法图像

中每个像素点进行二值化处理，得到帧差法二值化图像，帧差法二值化图像包含实时运动目标图像。获取当前帧图像中的运动目标图像，如图6所示，为利用高斯混合模型获得的运动目标效果图，再利用高斯混合模型检测当前帧图像中的运动目标图像；

D)对运动目标图像进行预处理，预处理为腐蚀和膨胀，如图8所示，为腐蚀膨胀处理后的效果图。对预处理后的运动目标图像进行截取，获得在扶梯扶手带两侧乘客越界检测区域内的运动图像，如图5、图7所示，表明了乘客在扶梯左侧扶手带越界检测区域中的头部越界行为。

F)设置距离阈值，选取越界检测区域内的骨架关键点，计算越界检测区域内各个运动目标轮廓的最小外接矩形中心点到越界检测区域内各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，设置越界报警计数器，越界报警计数器置1；

如图9、图10和图11所示，分别显示了在扶梯运行时人体头部、手臂及脚部发生越界的效果图，在这三种情况下都进行扶梯越界报警以及系统现场声音报警。

一种基于高斯混合模型的扶梯越界行为检测系统，如图2所示，包括获取模块100、骨架提取模块200、骨架分析模块300、运动目标获取模块400、运动目标分析模块500、判断模块600；

获取模块100，用于获取扶梯区域监控视频图像；

骨架提取模块200，用于利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架；骨架分析模块300，用于收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据正负样本，采用SVM分类器构建分类模型，利用分类模型对实时骨架信息进行分类，保留真实乘客骨架信息，去除误检乘客骨架信息；

运动目标获取模块400，用于判断在扶梯扶手带外侧区域范围内是否存在人体骨架关键点，利用高斯混合模型检测当前帧图像中运动目标；

运动目标分析模块500，用于对运动目标图像进行预处理消除噪声，截取在扶梯扶手带两侧乘客越界检测区域内的运动图像，获取运动图像的运动目标轮廓，设置面积阈值，获取各个运动目标轮廓的最小外接矩形面积以及最小外接矩形中心点，筛选出最小外接矩形面积大于面积阈值的运动目标轮廓；设置距离阈值，选取越界检测区域内的骨架关键点，计算最小外接矩形中心点到各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，设置越界报警计数器，越界报警计数器置1；

判断模块600，设置距离阈值和计数器阈值，获取最小外接矩形中心点到骨架关键点的最小距离小于距离阈值的运动目标轮廓个数，将越界报警计数器的数值加上运动目标轮廓个数，当越界报警计数器大于计数器阈值时，进行扶梯越界报警及系统现场声音报警。

本发明采用SVM分类器构建分类模型，减少了误检的情况，提高了越界检测的精确度，另外建立高斯混合模型对越界行为进行识别和判断，对乘客乘坐扶梯时的越界行为进行检测与实时报警，越界行为检测准确率高。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。

Claims

1.一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，包括步骤：

2.根据权利要求1所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，步骤B)中所述扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。

3.根据权利要求1和2所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，步骤A)中所述OpenPose深度学习网络模型为BODY_25、COCO及MPI中的任一种。

4.根据权利要求3所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，步骤C)中构建高斯混合模型包括将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像E_n(x，y)，设定阈值T₂，按照式子

逐个对帧差法图像E_n(x，y)中每个像素点进行二值化处理，得到帧差法二值化图像，所述帧差法二值化图像包含实时运动目标图像。

5.根据权利要求4所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，步骤D)中对运动目标图像进行预处理，所述预处理为腐蚀和/或膨胀。

6.根据权利要求1或5所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，步骤A)中，所述骨架信息包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左膝、右髋、左踝、头顶、鼻子、左眼、右眼、左耳、右耳、头顶、胸部和/或脖子。

7.一种基于高斯混合模型的扶梯越界行为检测系统，适用于如权利要求1至6任一项所述的一种基于高斯混合模型的扶梯越界行为检测方法，其特征是，包括获取模块、骨架提取模块、骨架分析模块、运动目标获取模块、运动目标分析模块和判断模块，

所述获取模块，用于获取扶梯区域监控视频图像；

所述骨架提取模块，用于利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架；所述骨架分析模块，用于收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据正负样本，采用SVM分类器构建分类模型，利用分类模型对实时骨架信息进行分类，保留真实乘客骨架信息，去除误检乘客骨架信息；

所述运动目标获取模块，用于判断在扶梯扶手带外侧区域范围内是否存在人体骨架关键点，利用高斯混合模型检测当前帧图像中运动目标；

所述运动目标分析模块，用于对运动目标图像进行预处理消除噪声，截取在扶梯扶手带两侧乘客越界检测区域内的运动图像，获取运动图像的运动目标轮廓，设置面积阈值，获取各个运动目标轮廓的最小外接矩形面积以及最小外接矩形中心点，筛选出最小外接矩形面积大于面积阈值的运动目标轮廓；设置距离阈值，选取越界检测区域内的骨架关键点，计算最小外接矩形中心点到各个骨架关键点的距离，获得最小外接矩形中心点到骨架关键点的最小距离，设置越界报警计数器，越界报警计数器置1；

所述判断模块，设置距离阈值和计数器阈值，获取最小外接矩形中心点到骨架关键点的最小距离小于距离阈值的运动目标轮廓个数，将越界报警计数器的数值加上运动目标轮廓个数，当越界报警计数器大于计数器阈值时，进行扶梯越界报警及系统现场声音报警。