CN114170685A - 一种基于rgbd图像行人搭乘自动扶梯摔倒行为的检测方法 - Google Patents

Abstract

本发明公开了一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其中包括以下步骤：使用双目相机获取到扶梯上行人的RGB图像信息；根据双目相机获取的RGB视图，获取到图像的深度信息；根据RGBD图像进行识别，获得3D人体骨骼坐标信息；根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。本发明通过使用了双目摄像机可远距离获取扶梯行人的RGB图像，进而获取深度信息，通过识别RGBD图像获得的3D人体骨骼坐标信息来判断该对象是否存在摔倒行为，减少因摔倒而造成悲剧事件的发生。

Description

一种基于RGBD图像行人搭乘自动扶梯摔倒行为的检测方法

技术领域

本发明涉及自动扶梯安全领域，具体涉及一种基于RGBD图像的行人搭乘自 动扶梯摔倒行为的检测方法。

背景技术

自动扶梯是人们日常活动必不可少的公共设施，它给人们带来了许多生活上 的便利，但同时也带来了许多潜在的危险。然而目前对于行人搭乘自动扶梯摔倒 事件的检测仍然不够成熟，精度相对较低。

现有技术中，基于计算机视觉技术来进行行人的摔倒检测方法是指利用摄像 头模块获取图像信息，并对数字图像进行处理分析判断行人的跌倒行为。国内沈 秉乾提出一种新的跌倒检测方法，该方法针对的是那些包含跌倒特征的己经录制 结束的视频图像，利用人体姿态估计技术对视频图像进行分析。该方法是对录制 结束的视频信息进行分析，故其不能够满足实时性的要求，无法应用于商场等公 共场所的行人乘坐扶梯摔倒行为的检测。宋菲等人使用OpenCV源视觉库设计出 了一个老年人跌倒检测系统，该系统将体被分成三个区域，提取出每个区域重心， 通过计算重心间的线性比例来进行跌倒的检测。该方法易受到环境噪声的影响， 且并未利用3D信息进行判断，故检测不够稳定。白云飞等人使用嵌入式设备采 集视频图像然后将其传输至计算机，使用计算机对数据信息进行处理进行跌倒检 测。该方法的一个缺陷为使用计算机处理数据很难实现远距离的监控和实时性处理。

中国专利202010971735.4提出基于FasterR-CNN的扶梯行人位姿目标检测 方法和系统，其主要利用RGB视频流进行图像帧的分析来判断的行人的位姿是否 处于危险状态。中国专利202110092028.2则发明了一种行人搭乘扶梯异常行为 检测方法、装置及电子设备，其主要通过获取行人搭乘扶梯的RGB图像并输出相 应的行人骨骼点信息，通过判断该行人骨骼点与扶梯的相对位置关系来判断行人 搭乘扶梯是否符合规范。上述两种方法主要利用了RGB图像信息进行分析，缺乏 对于3D信息的获取及分析，其结果精度相对较低，鲁棒性较差。

以上设备及技术方案都存在应用普适性差、应用难度高、精度较低等缺陷， 故现在需要一种稳定、准确的检测方法来检测老人小孩等行人在自动扶梯上的摔 倒行为，以帮助避免悲剧事件的发生。

发明内容

为解决现有技术和设备的以上缺陷或改进需求，本发明提供了一种基于 RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法。该方法包括以下步骤：

S1使用双目相机获取到扶梯上行人的RGB图像信息。

S2根据双目相机获取的RGB视图，获取到图像的深度信息。

S3根据RGBD图像进行识别，获得3D人体骨骼坐标信息。

S4根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。

所述步骤S1中获取RGB图像信息所选用的相机为双目相机。所述双目相机 同时安装在自动扶梯的入口和出口。

所述步骤S2获取深度信息为将获取到的双目图像输入到深度估计网络，最 终输出对应的深度图像，以获取准确的深度信息。

所述步骤S3的3D人体骨骼坐标信息可以采2.5DHeatmap的形式对单人人体 姿态进行3D骨骼建模以及3D PAFs(PartAffineFields)的形式来对多个人体 姿态进行3D人体骨骼建模

所述3D人体骨骼坐标信息获取步骤如下：

用数学模型来表示3D坐标信息，设3D人体骨骼关键点P的坐标为(x₀，y₀，z₀)， 则定义三个分布H_xy，H_yz，H_xz为

其中函数G定义为二维高斯分布函数，μ＝(x₀，y₀，z₀)，σ为方差，即

将该分布离散化并转化为2D图像的形式以方便进行卷积获取，一共可以得 到3N张Heatmap，其中N为3D骨骼关键点数量。

上述公式适用于单人的人体姿态估计问题，为了拓展到多人的人体姿态估计 问题，还需要定义3D的PAFs。定义3DPAFs如下，

其中

p₁、p₂为肢体的两端关键点3D坐标向量。对于定义的n 个肢体，总共能够获取3n个PAFs图像。

在得到Heatmap和3DPAFs之后，需要对单张Heatmap中的不同关键点以及 不同人体之间的关键点进行匹配。对于相同关键点下所对应的3个Heatmap图像， 利用非极大值抑制的方式得到3个2D坐标，将该3个2D坐标还原至3D坐标系 下进行匹配得到对应的3D坐标值，为了将每个人体的关键点正确的分配给对应 的人体，对于不同关键点之间的坐标点与3D PAFs进行积分，

其中p(u)＝(1-u)d_j1+ud_j2。d_j1、d_j2为肢体两端关键点坐标，d_u为肢体 上坐标点。判断两个关键点是否相连的依据为，该积分值为所有可能连接的积分 值中最大。至此，可以得到一个完整的多人3D骨骼坐标模型。

所述步骤S4对行人是否存在摔倒行为使用二分类器进行判断，若符合摔倒 行为特征，该二分类器会输出一个表示该行为的向量值，反之输出相反的向量值

为了避免之前回归出的不同行人3D骨骼坐标信息之间的差异带来的影响， 在分类前应当做如下预处理：

步骤S41首先计算该3D姿态的各个骨骼关键点坐标的均值与方差值。

步骤S42然后将每个样本的骨骼关键点坐标分别减去对应的均值并除以方 差值。该预处理的过程概括为如下公式：

其中，μ、σ为样本均值与样本方差，x、x′为处理前样本与处理后样本。

本发明通过采用以上技术方案，与现有技术相比具有以下有益效果：

本发明使用计算机视觉技术识别自动扶梯口的行人3D姿态，并以此来判断 行人是否有摔倒行为，帮助减少因摔倒而造成悲剧事件的发生；相比较现有的其 他算法而言，具有较高的实时性，且不依赖于任何穿戴设备，可应用性高，稳定 性高，满足远距离监控和处理要求，同时算法引入了深度信息，使得结果更具有 可靠性；设备方面只需要双目相机一个设备，价格更加低廉，方便携带，且可维 护性更好。

附图说明

图1是本发明的基本流程图；

图2是本发明中双目相机的安放位置；

图3是本发明所采用的3D骨骼关键点示意图；

图4是用于回归出3D骨骼关键点的深度学习网络示意图；

图5为本发明定义的2.5DHeatmap图像；

图6为本发明所处理3个Heatmap中相同关键点匹配的示意图；

图7为本发明定义的3DPAFs(PartAffineFields)图像；

图8是行人摔倒的若干种可能姿态情况；

图9是本发明进行摔倒识别的过程流程图。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步详细的说明。

如图1所示，为本发明的基本流程图，本发明提供一种基于RGBD图像的行 人乘坐自动扶梯摔倒行为的检测方法，具体为：

在自动扶梯口通过双目摄像机进行双目图像左右视图的获取；

将获取的双目图像数据输入到深度识别模块，输出为对应的深度图像；

将深度图像与双目的RGB图像同时输入到深度学习网络，用以获得对应的 3D人体骨骼坐标值；

根据3D人体骨骼坐标值进行判断是否属于摔倒行为，并给出相应反馈；

图2为我们的双目相机安装位置示意图，图中虚线表示行人在双目相机的左 右相机的成像轨迹。由于在扶梯的出口和入口处都是行人摔倒事件经常发生的位 置，所以我们在自动扶梯的入口和出口处都安装一个双目相机，以此来对两处的 行人进行检测，一旦发生摔倒事件，能够及时给出反馈。我们选用双目相机而非 普通的RGB相机或者其他类型的相机，是为了获取到能够包含RGB信息与深度信 息图像。普通相机只能拍摄单张由光学原理成像的RGB图像，而双目相机能够同 时获取到具有左右视差的左右视图的RGB图像，根据该视差能够计算出相对应的 深度信息。

由于深度学习在计算机视觉领域的不断发展，基于深度学习方法的深度估计 算法精度和速度都已经超过了传统的算法，故在我们的一个实例中，为了获取到 更加精确的深度信息，我们选用了基于深度学习的深度估计算法。将我们获取到 的双目图像输入到深度估计网络，最终输出对应的深度图像，获取到较为准确的 深度信息。

相较于其它跌倒检测算法采用的2D关键点算法，我们则使用在世界坐标系 下的3D人体骨骼关键点坐标信息，这样做的好处是能够更加真实地还原出行人 进出扶梯时在3D的真实世界中的姿态。图3为我们描述3D骨骼关键点模型的实 例，图中的序号0-13分别表示人体的胸部0、头部1、右肩2、右肘3、右手4、 右股5、右膝6、右脚7、左肩8、左肘9、左手10、左股11、左膝12以及左脚 13的骨骼关键点。图中坐标系的原点O为相机坐标系的原点，坐标系为相机坐 标系，单位为毫米(mm)。

图4为我们用于回归出3D骨骼关键点的深度学习网络示意图。如图所示， RGB图像与深度图像经过若干层卷积池化神经网络层提取特征图，再经过多个卷 积阶段进行回归得到我们所需要的特征图像，经过关键点的提取和匹配后得到初 步的3D骨骼关键点坐标信息，最后经过全连接层网络输出优化后的3D骨骼关键 点坐标值。

值得注意的是，为了能够让网络学习到3D的人体骨骼姿态信息，怎样用数 学模型去表示出3D坐标信息是至关重要的。在本实例中，我们采2.5DHeatmap 和3D PAFs(PartAffineFields)的形式来对3D人体骨骼建模。我们假设有3D 人体骨骼关键点P的坐标为(x₀，y₀，z₀)，则我们定义三个分布H_xy，H_yz，H_xz为

其中函数G定义为二维高斯分布函数，μ＝(x₀，y₀，z₀)，σ为方差，即

该分布我们离散化并转化为2D图像的形式以方便进行卷积获取，如图5所示， 我们一共可以得到3N张Heatmap图像，其中N为3D骨骼关键点数量。

上述公式适用于单人的人体姿态估计问题，为了拓展到多人的人体姿态估计 问题，还需要定义3D的PAFs。本发明定义3D的PAFs如下，

其中

p₁、p₂为肢体的两端关键点3D坐标向量。如图6所示，我们 对于定义的n个肢体，总共能够获取3n个PAFs图像。

在我们得到Heatmap和3DPAFs之后，需要对单张Heatmap中的不同关键点 以及不同人体之间的关键点进行匹配。对于相同关键点下所对应的3个Heatmap 图像，我们利用非极大值抑制的方式得到3个2D坐标，将该3个2D坐标还原至 3D坐标系下进行匹配得到对应的3D坐标值，如图7所示。为了将每个人体的关 键点正确的分配给对应的人体，我们对于不同关键点之间的坐标点与3D PAFs 进行积分，

其中p(u)＝(1-u)d_j1+ud_j2。d_j1、d_j2为肢体两端关键点坐标，d_u为肢体上坐 标点。判断两个关键点是否相连的依据为，该积分值为所有可能连接的积分值中 最大。至此，我们可以得到一个完整的多人3D骨骼坐标模型。

在我们得到人体骨骼关键点的3D坐标信息后，我们需要根据该信息判断出 行人是否存在摔倒行为。如图8所示，我们将行人的摔倒大致可以归为三类：前 扑式摔倒、后仰式摔倒以及侧卧式摔倒。前扑式摔倒的主要特征为头部在前，身 体前倾。后仰式摔倒的主要特征为身体后仰，头部在后。而侧卧式摔倒的主要特 征是身体侧倾且头部偏于两侧。无论是哪种摔倒，都可以视作是人体负责支撑身 体的双腿发生了重心偏移的结果，这使得我们可以设计出一个分类器对该3D姿 态进行判断。

如图9所示，我们使用一个简单的二分类器来判断该姿态下的行人是否有摔 倒行为，若符合摔倒行为特征，则该二分类器会输出一个表示该行为的向量值， 否则输出为相反的向量值。值得注意的是，为了避免之前回归出的不同行人3D 骨骼坐标信息之间的差异带来的影响，我们在分类前应当做如下预处理：

(1)首先计算该3D姿态的各个骨骼关键点坐标的均值与方差值。

(2)然后将每个样本的骨骼关键点坐标分别减去对应的均值并除以方差值。 该预处理的过程概括为如下公式：

其中，μ、σ为样本均值与样本方差，x、x′为处理前样本与处理后样本。

以上，根据本发明提供了一种基于RGBD图像的行人搭乘自动扶梯摔倒行为 的检测方法，该方法具有精度高、鲁棒性高、成本较低、误检率低且可以广泛应 用于各大具有自动扶梯的公共场所内。

以上所述为本发明的实施例，但此处所描述的具体实施例仅仅用以解释本发 明，并不用于限定本发明。凡在不脱离本发明的原理和精神的情况下依本发明申 请专利范围所做的任何省略、修改、等同替换等，均应包含在本公开的保护范围 之内。

Claims (8)

1.一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于包括以下步骤：

S1,使用双目相机获取到扶梯上行人的RGB图像信息；

S2,根据双目相机获取的RGB视图，获取到图像的深度信息；

S3,根据RGBD图像进行识别，获得3D人体骨骼坐标信息；

S4,根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。

2.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述用来获取RGB图像信息所选用的相机为双目相机。

3.根据权利要求2所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述双目相机同时安装在自动扶梯的入口和出口。

4.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S2获取深度信息为将获取到的双目RGB图像输入到深度估计网络，最终输出对应的深度图像，以获取准确的深度信息。

5.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述3D人体骨骼坐标信息采2.5DHeatmap的形式对单人人体姿态进行3D骨骼建模以及3D PAFs(PartAffineFields)的形式来对多个人体姿态进行3D人体骨骼建模。

6.根据权利要求5所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S3的3D人体骨骼坐标信息获取步骤如下：

用数学模型来表示3D坐标信息，设3D人体骨骼关键点P的坐标为(x₀,y₀,z₀)，则定义三个分布H_xy,H_yz,H_xz为

其中函数G定义为二维高斯分布函数，μ＝(x₀,y₀,z₀)，σ为方差，即

将该分布离散化并转化为2D图像的形式以方便进行卷积获取，一共可以得到3N张Heatmap，其中N为3D骨骼关键点数量；

上述公式适用于单人的人体姿态估计问题，为了拓展到多人的人体姿态估计问题，需要定义3D的PAFs；定义3D的PAFs如下，

其中

p₁、p₂为肢体的两端关键点3D坐标向量；对于定义的n个肢体，总共能够获取3n个PAFs图像；

在得到Heatmap和3DPAFs之后，需要对单张Heatmap中的不同关键点以及不同人体之间的关键点进行匹配；对于相同关键点下所对应的3个Heatmap图像，利用非极大值抑制的方式得到3个2D坐标，将该3个2D坐标还原至3D坐标系下进行匹配得到对应的3D坐标值，为了将每个人体的关键点正确的分配给对应的人体，对于不同关键点之间的坐标点与3DPAFs进行积分，

其中p(u)＝(1-u)d_j1+ud_j2；d_j1、d_j2为肢体两端关键点坐标，d_u为肢体上坐标点；判断两个关键点是否相连的依据为，该积分值为所有可能连接的积分值中最大；至此，得到一个完整的多人3D骨骼坐标模型。

7.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S4行人是否存在摔倒行为使用二分类器进行判断，若符合摔倒行为特征，该二分类器会输出一个表示该行为的向量值，反之输出相反的向量值。

8.根据权利要求7所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：为了避免之前回归出的不同行人3D骨骼坐标信息之间的差异带来的影响，在分类前应当做如下预处理：

S41首先计算该3D姿态的各个骨骼关键点坐标的均值与方差值；

S42然后将每个样本的骨骼关键点坐标分别减去对应的均值并除以方差值；

该预处理的过程概括为如下公式：

其中，μ、σ为样本均值与样本方差，x、x′为处理前样本与处理后样本。

Images