CN116553327B - 一种家用电梯轿厢内乘客摔倒检测方法及装置 - Google Patents

Abstract

本发明属于电梯轿厢监控和行为识别技术领域，公开了一种家用电梯轿厢内乘客摔倒检测方法及装置。所述方法包括：S1：获取电梯轿厢内的实时图像；S2：提取乘客的骨架信息；S3：在电梯轿厢内放置超声波传感器并获取其实时距离测量信息，计算乘客的位置数据信息；S4：构建初始摔倒行为检测模型，使用数据集对初始摔倒行为检测模型进行训练，得到最终的摔倒行为检测模型；S5：将实时获取的骨架信息和位置信息共同输入最终的摔倒行为检测模型，实现摔倒行为实时检测。本发明将机器视觉和超声波测距技术相结合，利用乘客的骨架信息和位置数据信息共同判断摔倒行为，可有效解决机器视觉受制于外界干扰的问题，检测识别精度更高。

Description

一种家用电梯轿厢内乘客摔倒检测方法及装置

技术领域

本发明属于电梯轿厢监控和行为识别技术领域，具体涉及一种家用电梯轿厢内乘客摔倒检测方法及装置。

背景技术

家用电梯是指安装在私人住宅中，仅供单一家庭成员使用的电梯。目前，家用电梯的数量在逐步增加，其可以为使用者，尤其是老年人，在多楼层间的运动带来便利。但是由于家用电梯的私有性，电梯轿厢中的乘客数量较少，很多情形下仅为单人，其安全问题日显突出。当单人，尤其是老人，乘坐电梯时，可能发生突然摔倒的行为，如不能及时发现，可能危及生命。因此，如果电梯具备能够及时检测乘客摔倒行为的能力，那么对提升电梯整体的安全性是十分有帮助的。

目前，对电梯轿厢内异常行为的检测方法仍然是采用人工视频监控的方法。该方法需要监控人员进行长时间的监控，同时监控人员通常需要对上百台摄像机进行同时监看，异常行为的误检和漏检现象经常发生。虽然近年来基于计算机视觉技术的自动监控方法（如专利CN110765964A：基于计算机视觉的电梯轿厢内异常行为的检测方法）已经逐步改善误检、漏检现象，但是由于机器视觉方法本身的限制，其检测精度仍然有进一步的提升空间。同时，电梯轿厢的环境不是一成不变的，如光线可能会增强或减弱，轿厢中存在镜面等多种干扰因素，这需要检测方法具备在线更新能力，从而能够自适应环境的变化。

中国专利CN116002480A公开了一种电梯轿厢内乘客意外摔倒的自动检测方法和系统，其中，该自动检测方法包括以下步骤：获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像；通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；对N张骨架线条标注图像进行二值化处理以获取N张二值化图像；采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒；根据本发明的电梯轿厢内乘客意外摔倒的自动检测方法，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高；但是，该专利仅使用视觉检测方法，其检测效果会受视觉检测环境制约，如检测光线变化、乘客站立角度、电梯镜面重影等均可能导致骨架信息提取错误或无法提取，这将会直接导致检测方法将失效；此外，该专利的技术方案在提取的骨架信息基础上，使用自定义规则进行的摔倒行为检测，需要在每次检测识别时都进行复杂的规则计算与处理，判断处理过程耗时长、具有一定的滞后性，会影响实际部署中的实时检测效果。

中国专利CN111401144A公开了一种基于视频监控的手扶电梯乘客行为识别方法，包括步骤：1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；2)将提取的骨架划分训练集和验证集；3)搭建合适的图卷积神经网络；4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；6)将每一帧中的所有乘客的骨架坐标及其置信度输入到训练好的最佳模型中进行行为分类；7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为。本发明可有效实现对手扶电梯监控视频的行为识别；但是，该专利仅使用提取的骨架坐标及置信度作为神经网络的输入，当视觉检测环境不佳时，如检测光线变化、乘客站立角度、电梯镜面重影等情形下，骨架坐标容易提取错误或无法提取，此时乘客行为检测效果将受到严重影响，会导致检测结果不准确；此外，骨架坐标仅能反应静态信息，不能全面反应摔倒行为，且其检测模型未进行及时、有效地更新，一直保持初始建模状态，检测模型的检测识别精度有待进一步提高。

发明内容

本发明旨在解决至少一种背景技术中存在的技术问题，提供一种家用电梯轿厢内乘客摔倒检测方法及装置，通过将机器视觉和超声波测距技术相结合，利用乘客的骨架信息和乘客在轿厢中的位置数据信息共同判断乘客是否摔倒，检测识别精度高，检测结果更加可靠、有效。

为实现以上技术目的，本发明采用以下技术方案：

一种家用电梯轿厢内乘客摔倒行为检测方法，所述方法包括如下步骤：

步骤S1：获取电梯轿厢内的实时图像；

步骤S2：基于获取的实时图像，提取乘客的骨架信息，包括乘客的骨架位置信息和骨架位置变化信息；

步骤S3：在电梯轿厢内放置超声波传感器，获取超声波传感器的实时距离测量信息，并计算乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

所述步骤S3具体包括：

步骤S301：在电梯轿厢顶部布置N个超声波传感器，使N个所述超声波传感器的整体检测范围能够覆盖整个轿厢；按检测范围从顶至下读取各超声波传感器的距离测量信息，/>；

步骤S302：计算乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

其中，乘客在轿厢中的位置信息为：将第j个超声波传感器的距离测量信息与其在空轿厢中的距离测量信息/>进行比较，如果/>，则将乘客距离超声波传感器j的位置信息/>设为1，否则设为0；

乘客在轿厢中的位置变化信息为：乘客距离每个超声波传感器的位置信息为1的个数c的变化率/>；

步骤S4：构建初始摔倒行为检测模型，使用数据集对初始摔倒行为检测模型进行训练，得到最终的摔倒行为检测模型；

步骤S5：将步骤S2实时获取的乘客的骨架信息和步骤S3实时获取的乘客的位置数据信息，共同输入最终的摔倒行为检测模型，实现摔倒行为实时检测。

进一步地，所述步骤S1具体包括：

在电梯轿厢内放置高清摄像装置，并确保所述高清摄像装置的拍摄范围能够覆盖整个电梯轿厢；通过所述高清摄像装置获取电梯轿厢内的实时图像。

进一步地，所述步骤S2具体包括：

对步骤S1获取的实时图像进行预处理，调用openpose算法提取人体的骨架关键特征点的图像坐标信息，获取乘客的骨架位置信息和骨架位置变化信息并保存。

更进一步地，在步骤S2中，所述图像坐标的图像坐标系以图像左上角为原点，宽度方向为横坐标，高度方向为纵坐标，骨架关键特征点的坐标表示为；

调用openpose算法提取人体的骨架关键特征点的图像坐标信息时，能够直接提取出的骨架关键特征点的坐标值和/>分别为骨架关键特征点的横坐标和纵坐标，分别对应于图像中的宽度值和高度值；部分无法被提取出的骨架关键特征点的坐标填充设置为填充坐标（-1，-1），以供后续的摔倒行为检测模型训练使用；

获取的骨架位置信息包括：每个骨架关键特征点的位置坐标信息；

获取的骨架位置变化信息包括：每个骨架关键特征点的位置变化率，能够检测到的人体最上端骨架关键特征点和人体最下端骨架关键特征点的横纵坐标差的绝对值/>；其中，能够检测到的人体最上端骨架关键特征点定义为非填充坐标的的纵坐标最小的骨架关键特征点，能够检测到的人体最下端骨架关键特征点定义为非填充坐标的的纵坐标最大的骨架关键特征点。

更进一步地，在步骤S2中，调用openpose算法提取的人体骨架关键特征点包括：鼻子、颈部、左肩、左肘、左腕、右肩、右肘、右腕、左臀、左膝、左脚踝、右臀、右膝、右脚踝、左眼、右眼、左耳和右耳。

进一步地，所述步骤S302中，阈值为10-60cm。

进一步地，所述步骤S4具体包括：

步骤S401：构建由全连接层构成的前馈神经网络模型，包括输入层和输出层，所述输入层和所述输出层之间有若干个隐含层，若干个所述隐含层均使用RELU作为激活函数，且相邻两个隐含层之间使用批标准化统一数据规格；所述输出层包括2个神经元，分别对应未摔倒和摔倒两种状态，并使用softmax激活函数将输出层的输出转化为概率，取计算概率最大的神经元作为输出结果；

步骤S402：预先选取m张图片，并对应采集超声波传感器的数据，人工标注是否摔倒，构建形成数据集，将数据集按比例分为训练集和测试集，对前馈神经网络模型进行训练，得到最终的摔倒行为检测模型。

更进一步地，在步骤S402中，

所述数据集的输入包括乘客的骨架信息和乘客的位置数据信息；

所述数据集的输出为二值输出，包括0和1，其中1为摔倒，0为未摔倒。

进一步地，所述方法还包括如下步骤：

步骤S6：对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据均进行保存，并进行人工确认和标注后增广至原数据集，定期重训练并更新摔倒行为检测模型。

更进一步地，所述步骤S6具体包括：

步骤S601：通过本地存储或云端存储的方法对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据进行保存；

步骤S602：通过人工确认和标注，对误识别和未识别的摔倒行为的图片进行骨架和距离信息的重新提取或记录，并将标注后的数据增广至原数据集中；

步骤S603：当训练样本新增到预设数量时，定期重训练并更新摔倒行为检测模型。

同时，本发明还提供一种家用电梯轿厢内乘客摔倒行为检测装置，用于实施如上所述的任一种方法，所述装置包括图像获取模块、骨架提取模块、距离获取模块、位置计算模块、摔倒行为检测模块和模型更新模块；

所述图像获取模块包括高清摄像装置，用于获取轿厢内的实时图像信息，并传输至骨架提取模块；

所述骨架提取模块用于提取轿厢内乘客的骨架信息并传输至摔倒行为检测模块；所述骨架信息包括乘客的骨架位置信息和乘客的骨架位置变化信息；

所述距离获取模块包括超声波传感器，用于获取轿厢内乘客的实时距离测量信息，并传输至位置计算模块；

所述位置计算模块用于计算轿厢内乘客距离超声波传感器的位置数据信息，并传输至摔倒行为检测模块；所述位置数据信息包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

所述摔倒行为检测模块包括训练得到的摔倒行为检测模型，所述摔倒行为检测模型经数据集训练优化后，根据骨架提取模块实时获取的乘客的骨架信息和位置计算模块实时获取的乘客的位置数据信息，进行摔倒行为实时检测；

所述模型更新模块用于记录漏识别和误识别的摔倒行为数据，并做相应数据整理和标注后增广至原数据集中，并在预设的时间节点对摔倒行为检测模型进行更新。

与现有技术相比，本发明所产生的有益效果是：

（1）本发明提供的家用电梯轿厢内乘客摔倒检测方法及装置，通过将机器视觉和超声波测距技术相结合，利用机器视觉提取出的乘客的骨架信息和超声波传感器获取的乘客在轿厢中的位置数据信息，共同判断乘客是否摔倒，相较于机器视觉单一检测方法，本发明可有效解决机器视觉受制于外界环境干扰的问题，能够在不同场景下、尤其是机器视觉受限的场景下（如检测光线变化、乘客站立角度或电梯镜面重影等情形），确保检测结果的有效性；

（2）本发明提供的家用电梯轿厢内乘客摔倒检测方法及装置，利用神经网络模型进行检测识别，检测识别过程中更加全面地考虑与摔倒相关的指标或特征，如乘客骨架位置信息、乘客骨架位置变化信息、乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息等，并自动优化计算权重系数，检测精度更加准确；同时，相较于现有技术中基于规则的摔倒行为检测方法，本发明基于神经网络模型的摔倒检测方法在训练完成后实际部署使用时检测耗时少，实时性更好；

（3）同时，本发明提供的家用电梯轿厢内乘客摔倒检测方法及装置，在摔倒行为检测模型的基础上，对摔倒识别异常数据进行保存、重新整理和标注，并增广至原训练集进行摔倒行为检测模型的定期更新，可以持续提高检测模型的检测精度，尤其是在不同工作环境中的检测精度，通用性强、检测精度高。

附图说明

图1为本发明实施例1的检测方法的流程示意图；

图2为本发明实施例1的检测方法中的18个骨架关键特征点示意图；

图3为本发明实施例1的检测方法中的超声波传感器的布局及测距结构示意图；

图4为本发明实施例2的检测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

结合图1所示，本发明实施例提供了一种家用电梯轿厢内乘客摔倒行为检测方法，所述方法包括如下步骤：

步骤S1：获取电梯轿厢内的实时图像；

具体可通过在电梯轿厢的顶部靠近后轿壁和左轿壁的角落、或者在电梯轿厢的顶部靠近后轿壁和右轿壁的角落放置高清相机，使得所述高清相机的拍摄范围能够覆盖整个电梯轿厢，并通过所述高清相机获取电梯轿厢内的实时图像。

步骤S2：基于获取的图像，提取乘客的骨架信息，包括乘客的骨架位置信息和骨架位置变化信息；

对步骤S1获取的实时图像进行预处理，调用openpose算法提取人体的骨架关键特征点的图像坐标信息，获取乘客的骨架位置信息和骨架位置变化信息并保存。

所述图像坐标的图像坐标系可以以图像左上角为原点，宽度方向为横坐标，高度方向为纵坐标，骨架关键特征点的坐标表示为；

调用openpose算法提取人体的骨架关键特征点的图像坐标信息时，能够直接提取出的骨架关键特征点的坐标值和/>分别为骨架关键特征点的横坐标和纵坐标，分别对应于图像中的宽度值和高度值；部分无法被提取出的骨架关键特征点的坐标填充设置为填充坐标（-1，-1），以供后续的摔倒行为检测模型训练使用。

一般来说，openpose算法会提取出人体的18个骨架关键特征点，如图2所示，分别包括鼻子0、颈部1、左肩5、左肘6、左腕7、右肩2、右肘3、右腕4、左臀11、左膝12、左脚踝13、右臀8、右膝8、右脚踝10、左眼15、右眼14、左耳17和右耳16；但是如果由于图片角度等问题，可能存在部分骨架关键特征点无法被提取出，此时，则将该部分无法被提取出的骨架关键特征点的坐标可选地填充设置为填充坐标（-1，-1），以供后续的摔倒行为检测模型训练使用。

基于上述图像坐标系，获取的骨架位置信息包括：每个骨架关键特征点的位置坐标信息；获取的骨架位置变化信息包括：每个骨架关键特征点的位置变化率，能够检测到的人体最上端骨架关键特征点和人体最下端骨架关键特征点的横纵坐标差的绝对值/>；其中，能够检测到的人体最上端骨架关键特征点定义为非填充坐标的纵坐标最小的骨架关键特征点，能够检测到的人体最下端骨架关键特征点定义为非填充坐标的纵坐标最大的骨架关键特征点。

由于人站立时，横坐标差值的绝对值应较小，纵坐标差值的绝对值应较大；当人摔倒时，横坐标差值的绝对值可能较大（此处可能是因为人摔倒的方向未知），纵坐标差值的绝对值应较小，因此，选用人体最上端和最下端骨架位置的横、纵坐标差的绝对值这一骨架位置变化信息，可以较好地反映摔倒行为，比仅采用骨架关键特征点的位置变化率进行判断，检测结果更加准确。

预处理图像时，先对输入的图像按比例缩放至高为256像素，然后对缩放后的图像按照下述公式（1）进行标准化预处理：

image_output=（img-mean）×scale（1）

上式（1）中，image_output为标准化预处理后输出的图像RGB值；img为输入图像的RGB值；mean为图像的RGB均值，此处取128；scale为标准化处理系数，此处取1/256。

步骤S3：在电梯轿厢内放置超声波传感器，获取超声波传感器的实时距离测量信息，并计算乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息。

所述步骤S3具体包括如下步骤：

步骤S301：在电梯轿厢顶部靠近高清相机附近布置6个超声波传感器，使得上述6个超声波传感器的整体检测范围能够覆盖整个轿厢；然后按检测范围从顶至下，读取各超声波传感器的距离测量信息，/>。

本发明实施例中，每个超声波传感器的检测范围为：上仰7.5°，下俯7.5°，左摆45°，右摆45°，即每个超声波传感器俯仰检测覆盖的角度范围为15°，左右摆动检测覆盖的角度范围为90°，直线测距最长为4米。如图3所示，以放置在电梯轿厢的顶部靠近后轿壁和左轿壁的角落G点处的超声波传感器为例，其俯仰检测覆盖的检测范围为15°顶角对应的三角形平面GEE'，每个传感器左右摆动检测覆盖的角度范围为90°，即：以平面GEE'为起始平面，向GH边所在的方向旋转45°至平面GHH'所包含的扫描范围，以及向GF边所在的方向旋转45°至平面GFF'所包含的扫描范围，均为该G点处的超声波传感器的测量范围。由于GE边与GC边的夹角为90°，因此，使用6个超声波传感器的俯仰检测角度范围能够覆盖顶角为90°的GEAC切面，且超声波传感器的直线最长检测距离为4米，超过轿厢的最大对角线距离GA，能够确保超声波传感器在对角线方向的测量不受测距范围的限制；加上超声波传感器左右摆动检测覆盖的角度范围为90°，能够确保使用6个超声波传感器完全覆盖整个轿厢空间。

步骤S302：计算轿乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

其中，乘客在轿厢中的位置信息为：将第j个超声波传感器的距离测量信息与其在空轿厢中的距离测量信息/>进行比较，如果/>，则将乘客距离超声波传感器j的位置信息/>设为1，否则设为0；其中，阈值/>可以设置为10-60cm，此处优选为30cm；

乘客在轿厢中的位置变化信息为：乘客距离每个超声波传感器的位置信息为1的个数c的变化率/>。

由于超声波传感器布置的目的是测量人在高度方向的位置，本发明实施例布置了6个传感器，基本可以从上至下覆盖整个电梯的竖直空间。其中，超声波传感器检测到的位置信息可以用来判断人是否进入轿厢：当轿厢为空轿厢时，/>与/>相等，即超声波传感器测得的位置信息/>为0；当轿厢内有人员进入且未摔倒时，/>变小，此时/>，即能检测到人体的超声波传感器测得的位置信息/>均变为1；当轿厢内人员摔倒时，人上半身会在地面，原测量人体上半身的超声波传感器测得的距离会恢复到空轿厢时的测量值，即/>与/>相等，相较于人未摔倒时显著变大，此时/>，即原测量人体上半身的超声波传感器测得的位置信息/>又变为0。

同时，位置信息为1的个数c的变化率/>可以用来判断人是否摔倒：考虑到人有的时候会在电梯轿厢中走动，部分超声波传感器检测的位置信息/>会反复在0、1间变化，因此，本发明实施例未直接使用位置信息/>为1的个数，而使用位置信息/>为1的个数的变化率进行表征摔倒行为；此外，人走动时只会有1-2个超声波传感器检测的位置信息/>由1变为0，而人摔倒时位置变化其实很快，对应的位置信息/>为1的个数的变化率应该是突变的，即瞬间会有多个超声波传感器检测到的位置信息/>由1变为0，所以位置信息/>为1的个数的变化率也可以较好地区分摔倒行为和普通走动行为。

步骤S4：构建初始摔倒行为检测模型，使用数据集对初始摔倒行为检测模型进行训练，得到最终的摔倒行为检测模型；具体包括：

步骤S401：构建由全连接层构成的前馈神经网络模型，包括输入层和输出层，所述输入层有81个神经元，所述输出层有2个神经元，所述输入层和所述输出层之间有3个隐含层，其中，第一隐含层有128个神经元，第二隐含层有64个神经元，第三隐含层有16个神经元，3个所述隐含层均使用RELU作为激活函数，且相邻两个隐含层之间使用批标准化统一数据规格；所述输出层的2个神经元对应未摔倒和摔倒两种状态，并使用softmax激活函数将输出层的输出转化为概率，取计算概率最大的神经元作为输出结果；

在步骤S402：预先选取3000张图片，并对应采集超声波传感器的数据，人工标注是否摔倒，构建形成数据集，将数据集按7：3的比例分为训练集和测试集，对前馈神经网络模型进行训练，得到最终的摔倒行为检测模型。

步骤S402中，所述数据集的输入包括乘客的骨架信息和乘客的位置数据信息；所述数据集的输出为二值输出，包括0或1，其中1为摔倒，0为未摔倒；

所述数据集的输入中，所述骨架信息包括乘客的骨架位置信息和乘客的骨架位置变化信息，具体包括：每个骨架关键特征点的位置坐标信息，每个骨架关键特征点的位置变化率/>，能够检测到的人体最上端骨架关键特征点和人体最下端骨架关键特征点的横纵坐标差的绝对值/>；

所述位置数据信息包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息，具体包括：乘客距离每个超声波传感器的位置信息，乘客距离每个超声波传感器的位置信息/>为1的个数c的变化率/>。

步骤S5：将步骤S2实时获取的乘客的骨架信息和步骤S3实时获取的乘客的位置数据信息，共同输入最终的摔倒行为检测模型，实现摔倒行为实时检测。

实施例2

结合图2所示，本发明实施例提供了一种家用电梯轿厢内乘客摔倒行为检测方法，所述方法除了包括实施例1所述的步骤S1-S5外，还包括如下步骤：

步骤S6：对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据均进行保存，并进行人工确认和标注后增广至原数据集，定期重训练并更新摔倒行为检测模型；具体包括：

步骤S601：通过本地存储或云端存储的方法对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据进行保存；

其中，异常摔倒行为数据主要指的是将未摔倒行为识别为摔倒行为的数据，即当系统检测到摔倒行为时一般会发出紧急通知（警报），救援人员到达后或监控人员人工查看实时监控后，发现并未发生摔倒行为，则将此次数据作为异常摔倒行为数据进行记录保存；

人工监控补充的摔倒行为数据主要指的是自动监控系统未将摔倒行为准确识别出来，此时摔倒者可能自己发出警报或者后期被其他人员发现，在救援前可以保存图像，通过人为补充记录的方式将实际人工监控补充的摔倒行为数据进行保存。

步骤S602：通过人工确认和标注，对误识别和未识别的摔倒行为的图片进行骨架和距离信息的重新提取或记录，并增广至原数据集中，其目的是：在使用过程中持续提升摔倒模型的检测精度。

步骤S603：当训练样本新增到预设数量时，利用更新后的数据集定期重训练并更新摔倒行为检测模型，在本发明实施例中，预设数量可以选取为50。

实施例3

本发明实施例提供了一种家用电梯轿厢内乘客摔倒行为检测装置，用于实施上述实施例1或2所述的方法。

所述装置包括图像获取模块、骨架提取模块、距离获取模块、位置计算模块、摔倒行为检测模块和模型更新模块；其中，

所述图像获取模块包括高清摄像装置，用于获取轿厢内的实时图像信息，并传输至骨架提取模块；

所述骨架提取模块用于提取轿厢内乘客的骨架信息并传输至摔倒行为检测模块；所述骨架信息包括乘客的骨架位置信息和乘客的骨架位置变化信息，具体包括：

所述距离获取模块包括超声波传感器，用于获取轿厢内乘客的实时距离测量信息并传输至位置计算模块；

所述位置计算模块用于计算轿厢内乘客距离超声波传感器的位置数据信息，并传输至摔倒行为检测模块；所述位置数据信息包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

所述摔倒行为检测模块包括摔倒行为检测模型，所述摔倒行为检测模型经数据集训练优化后，根据骨架提取模块实时获取的乘客的骨架信息和位置计算模块实时获取的乘客的位置数据信息，进行摔倒行为实时检测；

所述模型更新模块用于记录漏识别和误识别的摔倒行为数据，并做相应数据整理和标注后增广至原数据集中，并在预设的时间节点对摔倒行为检测模型进行更新。

以上所述仅为本发明的实施例而已，并不用以限制本发明。凡在本发明的申请范围内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种家用电梯轿厢内乘客摔倒行为检测方法，其特征在于，所述方法包括如下步骤：

步骤S1：获取电梯轿厢内的实时图像；

步骤S2：基于获取的实时图像，提取乘客的骨架信息，包括乘客的骨架位置信息和骨架位置变化信息；

步骤S3：在电梯轿厢内放置超声波传感器，获取超声波传感器的实时距离测量信息，并计算乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

所述步骤S3具体包括：

步骤S301：在电梯轿厢顶部布置N个超声波传感器，使N个所述超声波传感器的整体检测范围能够覆盖整个轿厢；按检测范围从顶至下读取各超声波传感器的距离测量信息，；

步骤S302：计算乘客的位置数据信息，包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

其中，乘客在轿厢中的位置信息为：将第j个超声波传感器的距离测量信息与其在空轿厢中的距离测量信息/>进行比较，如果/>，则将乘客距离超声波传感器j的位置信息/>设为1，否则设为0；

乘客在轿厢中的位置变化信息为：乘客距离每个超声波传感器的位置信息为1的个数c的变化率/>；

步骤S4：构建初始摔倒行为检测模型，使用数据集对初始摔倒行为检测模型进行训练，得到最终的摔倒行为检测模型；

步骤S5：将步骤S2实时获取的乘客的骨架信息和步骤S3实时获取的乘客的位置数据信息，共同输入最终的摔倒行为检测模型，实现摔倒行为实时检测。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：

在电梯轿厢内放置高清摄像装置，并确保所述高清摄像装置的拍摄范围能够覆盖整个电梯轿厢；通过所述高清摄像装置获取电梯轿厢内的实时图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

对步骤S1获取的实时图像进行预处理，调用openpose算法提取人体的骨架关键特征点的图像坐标信息，获取乘客的骨架位置信息和骨架位置变化信息并保存。

4.根据权利要求3所述的方法，其特征在于，在步骤S2中，所述图像坐标的图像坐标系以图像左上角为原点，宽度方向为横坐标，高度方向为纵坐标，骨架关键特征点的坐标表示为；

调用openpose算法提取人体的骨架关键特征点的图像坐标信息时，能够直接提取出的骨架关键特征点的坐标值和/>分别为骨架关键特征点的横坐标和纵坐标，分别对应于图像中的宽度值和高度值；部分无法被提取出的骨架关键特征点的坐标填充设置为填充坐标（-1，-1），以供后续的摔倒行为检测模型训练使用；

获取的骨架位置信息包括：每个骨架关键特征点的位置坐标信息；

获取的骨架位置变化信息包括：每个骨架关键特征点的位置变化率，能够检测到的人体最上端骨架关键特征点和人体最下端骨架关键特征点的横纵坐标差的绝对值；其中，能够检测到的人体最上端骨架关键特征点定义为非填充坐标的纵坐标最小的骨架关键特征点，能够检测到的人体最下端骨架关键特征点定义为非填充坐标的纵坐标最大的骨架关键特征点。

5.根据权利要求4所述的方法，其特征在于，在步骤S2中，调用openpose算法提取的人体骨架关键特征点包括：鼻子、颈部、左肩、左肘、左腕、右肩、右肘、右腕、左臀、左膝、左脚踝、右臀、右膝、右脚踝、左眼、右眼、左耳和右耳。

6.根据权利要求1所述的方法，其特征在于，所述步骤S302中，阈值为10-60cm。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4具体包括：

步骤S401：构建由全连接层构成的前馈神经网络模型，包括输入层和输出层，所述输入层和所述输出层之间有若干个隐含层，若干个所述隐含层均使用RELU作为激活函数，且相邻两个隐含层之间使用批标准化统一数据规格；所述输出层包括2个神经元，分别对应未摔倒和摔倒两种状态，并使用softmax激活函数将输出层的输出转化为概率，取计算概率最大的神经元作为输出结果；

步骤S402：预先选取m张图片，并对应采集超声波传感器的数据，人工标注是否摔倒，构建形成数据集，将数据集按比例分为训练集和测试集，对前馈神经网络模型进行训练，得到最终的摔倒行为检测模型。

8.根据权利要求7所述的方法，其特征在于，在步骤S402中，

所述数据集的输入包括乘客的骨架信息和乘客的位置数据信息；

所述数据集的输出为二值输出，包括0和1，其中1为摔倒，0为未摔倒。

9.根据权利要求1-8任一项所述的方法，其特征在于，还包括如下步骤：

步骤S6：对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据均进行保存，并进行人工确认和标注后增广至原数据集，定期重训练并更新摔倒行为检测模型。

10.根据权利要求9所述的方法，其特征在于，所述步骤S6具体包括：

步骤S601：通过本地存储或云端存储的方法对摔倒行为检测模型检测到的异常摔倒行为数据和实际人工监控补充的摔倒行为数据进行保存；

步骤S602：通过人工确认和标注，对误识别和未识别的摔倒行为的图片进行骨架和距离信息的重新提取或记录，并将标注后的数据增广至原数据集中；

步骤S603：当训练样本新增到预设数量时，定期重训练并更新摔倒行为检测模型。

11.一种家用电梯轿厢内乘客摔倒行为检测装置，用于实施如权利要求1-10任一项所述的方法，其特征在于，所述装置包括图像获取模块、骨架提取模块、距离获取模块、位置计算模块、摔倒行为检测模块和模型更新模块；

所述图像获取模块包括高清摄像装置，用于获取轿厢内的实时图像信息，并传输至骨架提取模块；

所述骨架提取模块用于提取轿厢内乘客的骨架信息并传输至摔倒行为检测模块；所述骨架信息包括乘客的骨架位置信息和乘客的骨架位置变化信息；

所述距离获取模块包括超声波传感器，用于获取轿厢内乘客的实时距离测量信息，并传输至位置计算模块；

所述位置计算模块用于计算轿厢内乘客距离超声波传感器的位置数据信息，并传输至摔倒行为检测模块；所述位置数据信息包括乘客在轿厢中的位置信息以及乘客在轿厢中的位置变化信息；

所述摔倒行为检测模块包括训练得到的摔倒行为检测模型，所述摔倒行为检测模型经数据集训练优化后，根据骨架提取模块实时获取的乘客的骨架信息和位置计算模块实时获取的乘客的位置数据信息，进行摔倒行为实时检测；

所述模型更新模块用于记录漏识别和误识别的摔倒行为数据，并做相应数据整理和标注后增广至原数据集中，并在预设的时间节点对摔倒行为检测模型进行更新。