CN109726750B - 一种乘客摔倒检测装置及其检测方法及乘客输送装置 - Google Patents

Abstract

本发明公开了一种乘客摔倒检测装置及其检测方法及乘客输送装置，包括：一乘客输送装置，包括：一通讯装置、一执行模块；一种乘客摔倒检测装置，应用于乘客输送装置，包括：一图像采集装置、一图像处理模块、一运行控制模块；一种乘客摔倒检测方法，应用于乘客输送装置。将乘客摔倒检测装置通过通讯装置与乘客输送装置进行连接，形成一个有效的乘客输送设备对乘客乘坐乘客输送装置的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

Description

一种乘客摔倒检测装置及其检测方法及乘客输送装置

技术领域

本发明涉及乘客输送装置技术领域，尤其涉及一种乘客摔倒检测装置及其检测方法及乘客输送装置。

背景技术

人在运动过程中突发性的中止原进行中的行为，并在非故意的情况下倒于地面或倒于比初始位置更低水平面的行为被定义为摔倒，其主要特征表现为从直立状态到平躺状态的转变，较大的垂直运动速度以及一段时间的平躺无动作行为。

目前，检测乘客在乘坐乘客输送装置过程摔倒的装置，多数是基于视觉判断乘客的高度是否发生变化，此方法的局限在于倾斜段的检测精度大为降低，并且还容易判断错误。

发明内容

针对现有技术中存在的上述问题，现提供一种乘客摔倒检测装置及其检测方法及乘客输送装置。

具体技术方案如下：

一种乘客摔倒检测装置，应用于乘客输送装置，包括：

一图像采集装置；

一图像处理模块，连接所述图像采集装置，用以分析所述图像采集装置采集到的实时图像中是否有乘客摔倒；

一运行控制模块，连接所述图像处理模块，用以向所述乘客输送装置输出停止运行信号。

优选的，所述图像采集装置安装于所述乘客输送装置的上方，用以采集一预定区域的实时图像；

所述图像采集装置的镜头面与所述乘客输送装置的起点至终点的连接平面的角度≥45°，所述镜头面与所述连接平面的法向平面之角度≤45°。

优选的，所述图像处理模块，包括：

一图像获取单元，连接所述图像采集装置，用以接收所述实时图像并分割为复数个图像帧；

一图像计算单元，连接所述图像获取单元，用以接收所述复数个图像帧，并将每个所述图像帧转换为像素特征图；

一第一图像判别单元，连接所述图像计算单元，用以接收所述像素特征图，并判断所述像素特征图中的像素点是否符合摔倒特征，符合所述摔倒特征的所述像素点则记录为候选点，并获取所述候选点所在的运动图像区块；

一第二图像判别单元，连接所述第一图像判别单元，用以获取所述运动图像区块，并于所述运动图像区块是合所述摔倒特征，且所述运动图像区块的面积大于或等于一第一预定阈值时，输出报警信号发送至所述运行控制模块；

所述运行控制模块根据接收到的所述报警信号输出所述停止运行信号。

一种乘客摔倒检测方法，应用于乘客输送装置，包括以下步骤：

步骤S1、获取所述乘客传送装置的实时图像，并将所述实时图像分割为复数个图像帧；

步骤S2、计算每个所述图像帧中每个像素点的运动方向及速度，并得到复数个像素特征图；

步骤S3、提取两帧相邻的所述图像帧对应的所述像素特征图，判断所述像素特征图中的像素点的运动方向及速度是否符合摔倒特征，符合所述摔倒特征的所述像素点则记录为候选点，并获取所述候选点所在的运动图像区块；

步骤S4、计算获得所述运动图像区块的特征参数，作为当前所述图像帧的特征向量；

步骤S5、缓存所述特征向量；

步骤S6、将复数个所述特征向量组成一特征矩阵输入SVM分类器进行分类，以判断是摔倒、逆行或误报。

优选的，所述步骤S2中，利用稠密光流法计算当前图像帧中每个所述运动方向及所述速度，生成所述像素特征图。

优选的，所述特征参数，包括：面积、位移距离、平均速度、速度方差；

获得所述特征参数的步骤包括：

步骤S41：根据所述像素特征图，分别得到所述运动图像区块的x方向与y方向的位移图：

步骤S42：根据所述位移图获取所述运动图像区块的掩模图像

当y_ij≤0时m_ij＝0；当y_ij＞0时其中x_ij＜y_ij时m_ij＝0；否则m_ij＝1，其中m_ij＝0表示，所述位移图中x_ij与y_ij点被掩盖；

步骤S43：对所述掩模图像进行开运算；计算所述掩模图像中m_ij＝1的连通域，计算此连通域面积，即为所述面积；

步骤S44：根据所述掩模图像,所述y方向的位移图计算所述平均速度

步骤S45:根据步骤S44计算的所述平均速度获得所述速度方差

优选的，所述步骤S5-S6中，还需要筛选出所有所述面积大于或等于一第一预定阈值的达标图像帧。

优选的，当所述达标图像帧数量大于一第二预定阈值时，初步判断为疑似摔倒或逆行。

一乘客输送装置,包括上述中任一所述的乘客输送装置，还包括：

一通讯装置，连接所述乘客摔倒检测装置运行控制模块；

一执行模块，连接所述通讯装置，用以接收所述停止运行信号。

优选的，所述执行模块，包括：一输送单元，用以运输乘客，所述输送单元为上下行自动扶梯，或平面自动扶梯。

上述技术方案具有如下优点或有益效果：

上述技术方案可对乘客乘坐乘客输送装置的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

附图说明

图1为本发明一种乘客摔倒检测装置及其检测方法及乘客输送装置实施例的结构示意图；

图2-3为本发明一种乘客摔倒检测装置及其检测方法及乘客输送装置实施例的具体步骤流程示意图；

图4为本发明一种乘客摔倒检测装置及其检测方法及乘客输送装置实施例中，乘客摔倒检测装置的功能模块示意图；

图5为本发明一种乘客摔倒检测装置及其检测方法及乘客输送装置实施例中，乘客输送装置的功能模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图1-5和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种乘客摔倒检测装置及其检测方法及乘客输送装置，包括：

一种乘客摔倒检测装置1，应用于乘客输送装置2，如图4所示，包括：

一图像采集装置6；

一图像处理模块7，连接图像采集装置6，用以分析图像采集装置6采集到的实时图像中是否有乘客摔倒；

一运行控制模块12，连接图像处理模块7，用以向乘客输送装置2输出停止运行信号。

上述技术方案，将图像采集装置6、图像处理模块7、运行控制模块12依次连接，组成一乘客摔倒检测装置1，有效地对乘客乘坐乘客输送装置2的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

作为优选的实施方式，图像采集装置6安装于乘客输送装置2的上方，用以采集一预定区域4的实时图像；

图像采集装置6的镜头面与乘客输送装置2的起点至终点的连接平面的角度≥45°，所述镜头面与所述连接平面的法向平面之角度≤45°。

上述技术方案中，图像采集装置6可以采用高清数字摄像头，根据不同的乘客输送装置2的需求调整镜头面的与乘客运输装置2剖切面的角度，以获得不同的预定区域4，预定区域4一般能覆盖从入口起10-12个梯级。

作为优选的实施方式，图像处理模块7，包括：

一图像获取单元8，连接图像采集装置6，用以接收实时图像并分割为复数个图像帧；

一图像计算单元9，连接图像获取单元8，用以接收复数个图像帧，并将每个图像帧转换为像素特征图；

一第一图像判别单元10，连接图像计算单元9，用以接收像素特征图，并判断像素特征图中的像素点是否符合摔倒特征，符合摔倒特征的像素点则记录为候选点，并获取候选点所在的运动图像区块；

一第二图像判别单元11，连接第一图像判别单元10，用以获取运动图像区块，并于运动图像区块是合摔倒特征，且运动图像区块的面积大于或等于一第一预定阈值时，输出报警信号发送至运行控制模块12；

运行控制模块12根据接收到的报警信号输出停止运行信号。

上述技术方案中，实时地进行摔倒状态的处理检测，得到复数个像素特征图的计算量大，因此，进一步的，作为优选的实施方式，可配置一服务器以进行计算，其中图像获取单元8可采用高速图像处理器，用以将实时图像分割为时间非常短的图像帧，图像计算单元9可采用高速的CPU，计算图像帧中前后每两帧中每个像素点的运动方向及速度，得到复数个像素特征图。

上述技术方案的基础上，第一图像判别单元10对图像帧中像素点进行判定，从而获得符合摔倒特征的像素点所在的运动图像区块，第二图像判别单元11能根据运动图像区块对比阈值，剔除一些小物体掉落的情形，当运动图像区块面积小于阈值时视为误报，当发现运动图像区块符合摔倒特征且不是误报的情况，第二图像判别单元11发送报警信号至运行控制模块12控制乘客输送装置2停止运行，保障乘客生命安全。

一种乘客摔倒检测方法，应用于乘客输送装置2，如图2所示，包括以下步骤：

步骤S1、获取乘客传送装置的实时图像，并将实时图像分割为复数个图像帧；

步骤S2、计算每个图像帧中每个像素点的运动方向及速度，并得到复数个像素特征图；

步骤S3、提取两帧相邻的图像帧对应的像素特征图，判断像素特征图中的像素点的运动方向及速度是否符合摔倒特征，符合摔倒特征的像素点则记录为候选点，并获取候选点所在的运动图像区块；

步骤S4、计算获得运动图像区块的特征参数，作为当前图像帧的特征向量；

步骤S5、缓存特征向量；

步骤S6、将复数个特征向量组成一特征矩阵输入SVM分类器进行分类，以判断是摔倒、逆行或误报。

上述技术方案，将采集的实时图像分割成复数个极小的图像帧，并计算得到复数个像素特征图，并判断像素特征图是否满足摔倒特征，若满足则记录对应像素点为候选点获取该候选点所在的运动图像区块，并计算其特征参数获得当前图像帧特征向量。将复数个特征向量组成特征矩阵输入SVM分类器中，从而得到检测结果。通过有效手段对乘客乘坐乘客输送装置2的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

进一步的，作为优选的实施方式，在步骤S6中，可取3组连续25图像帧的特征向量组成特征矩阵对F中三组向量中的元素分别进行升序排列得到F’。获取不同情况下特征向量F’进行SVM分类器训练并保存训练结果后续分类使用。

作为优选的实施方式，步骤S2中，利用稠密光流法计算当前图像帧中每个运动方向及速度，生成像素特征图。

上述技术方案中，稠密光流法计算可采用L1光流算法，其优点在于，误差函数增长较慢，这样对于大的偏移量的惩罚项也相对较小，从而可以计算偏移量较大的光流。其目标函数的数据项和平滑项由两个绝对值函数组成，具体目标函数如下：

作为优选的实施方式，特征参数，包括：面积、位移距离、平均速度、速度方差；

进一步优选的，如图3所示，获得特征参数的步骤包括：

步骤S41：根据像素特征图，分别得到运动图像区块的x方向与y方向的位移图：

步骤S42：根据位移图获取运动图像区块的掩模图像

当y_ij≤0时m_ij＝0；当y_ij＞0时其中x_ij＜y_ij时m_ij＝0；否则m_ij＝1，其中m_ij＝0表示，位移图中x_ij与y_ij点被掩盖；

步骤S43：对掩模图像进行开运算；计算掩模图像中m_ij＝1的连通域，计算此连通域面积，即为面积；

步骤S44：根据掩模图像,y方向的位移图计算所述平均速度

步骤S45:根据步骤S44计算的平均速度获得速度方差

作为优选的实施方式，步骤S5-S6中，还需要筛选出所有面积大于或等于一第一预定阈值的达标图像帧。

上述技术方案中，通过对比第一预定阈值，避免因小物体掉落而引起误报的情况，提高检测方法的准确性，避免误报造成的财产损失及人力资源的浪费。

作为优选的实施方式，当达标图像帧数量大于一第二预定阈值时，初步判断为疑似摔倒或逆行。

上述技术方案中，第二预定阈值一般为5-6帧，能快速初步判定是否摔倒或逆行，减少运算量，通过第二预定阈值筛选能降低SVM分类器进行无效运算的概率。

一乘客输送装置2,如图5所示，包括上述中任一的乘客输送装置2，还包括：

一通讯装置3，连接乘客摔倒检测装置1运行控制模块12；

一执行模块5，连接通讯装置3，用以接收停止运行信号。

上述技术方案中，将乘客摔倒检测装置1通过通讯装置3与乘客输送装置2进行连接，形成一个有效的乘客输送设备并采用一种乘客摔倒检测方法对乘客乘坐乘客输送装置2的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

作为优选的实施方式，执行模块5，包括：一输送单元13，用以运输乘客，输送单元13为上下行自动扶梯，或平面自动扶梯。

综上所述，如图1所示，本发明提供一种乘客摔倒检测装置1及其检测方法及乘客输送装置2，将乘客摔倒检测装置1通过通讯装置3与乘客输送装置2进行连接，形成一个有效的乘客输送设备对乘客乘坐乘客输送装置2的状态进行实时检测，一旦发现摔倒情况立即采取相应安全措施，保证乘客生命安全，避免未及时处置产生的次生风险。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种乘客摔倒检测方法，其特征在于，应用于乘客输送装置，包括以下步骤：

步骤S1、获取所述乘客输送装置的实时图像，并将所述实时图像分割为复数个图像帧；

步骤S2、计算每个所述图像帧中每个像素点的运动方向及速度，并得到复数个像素特征图；

步骤S3、提取两帧相邻的所述图像帧对应的所述像素特征图，判断所述像素特征图中的像素点的运动方向及速度是否符合摔倒特征，符合所述摔倒特征的所述像素点则记录为候选点，并获取所述候选点所在的运动图像区块；

步骤S4、计算获得所述运动图像区块的特征参数，作为当前所述图像帧的特征向量；

步骤S5、缓存所述特征向量；

步骤S6、将复数个所述特征向量组成一特征矩阵输入SVM分类器进行分类，以判断是摔倒、逆行或误报；

所述步骤S4中，所述特征参数，包括：面积、位移距离、平均速度、速度方差；

获得所述特征参数的步骤包括：

步骤S41：根据所述像素特征图，分别得到所述运动图像区块的x方向与y方向的位移图：

步骤S42：根据所述位移图获取所述运动图像区块的掩模图像

当y_ij≤0时m_ij＝0；当y_ij＞0时其中x_ij＜y_ij时m_ij＝0；否则m_ij＝1，其中m_ij＝0表示，所述位移图中x^ij与y^ij点被掩盖；

步骤S43：对所述掩模图像进行开运算；计算所述掩模图像中m_ij＝1的连通域，计算此连通域面积，即为所述面积；

步骤S44：根据所述掩模图像,所述y方向的位移图计算所述平均速度

步骤S45:根据步骤S44计算的所述平均速度获得所述速度方差

其中，

H表示当前所述图像帧的高度；

W表示当前所述图像帧的宽度；

HxW代表当前所述图像帧的像素；

i和j用于表示当前所述图像帧中每个像素点组成的二维矩阵数组中各个像素点的编号。

2.根据权利要求1所述的一种乘客摔倒检测方法，其特征在于，所述步骤S2中，利用稠密光流法计算当前图像帧中每个所述运动方向及所述速度，生成所述像素特征图。

3.根据权利要求2所述的一种乘客摔倒检测方法，其特征在于，所述步骤S5-S6中，还需要筛选出所有所述面积大于或等于一第一预定阈值的达标图像帧。

4.根据权利要求3所述的一种乘客摔倒检测方法，其特征在于，当所述达标图像帧数量大于一第二预定阈值时，初步判断为疑似摔倒或逆行。

5.一种乘客摔倒检测装置，其特征在于，应用于乘客输送装置，并采用如权利要求1-4中任意一项所述的乘客摔倒检测方法，包括：

一图像采集装置；

一图像处理模块，连接所述图像采集装置，用以分析所述图像采集装置采集到的实时图像中是否有乘客摔倒；

一运行控制模块，连接所述图像处理模块，用以向所述乘客输送装置输出停止运行信号。

6.根据权利要求5所述的一种乘客摔倒检测装置，其特征在于，所述图像采集装置安装于所述乘客输送装置的上方，用以采集一预定区域的实时图像；

所述图像采集装置的镜头面与所述乘客输送装置的起点至终点的连接平面的角度≥45°，所述镜头面与所述连接平面的法向平面之角度≤45°。

7.根据权利要求5所述的一种乘客摔倒检测装置，其特征在于，所述图像处理模块，包括：

一图像获取单元，连接所述图像采集装置，用以接收所述实时图像并分割为复数个图像帧；

一图像计算单元，连接所述图像获取单元，用以接收所述复数个图像帧，并将每个所述图像帧转换为像素特征图；

一第一图像判别单元，连接所述图像计算单元，用以接收所述像素特征图，并判断所述像素特征图中的像素点是否符合摔倒特征，符合所述摔倒特征的所述像素点则记录为候选点，并获取所述候选点所在的运动图像区块；

一第二图像判别单元，连接所述第一图像判别单元，用以获取所述运动图像区块，并于所述运动图像区块是合所述摔倒特征，且所述运动图像区块的面积大于或等于一第一预定阈值时，输出报警信号发送至所述运行控制模块；

所述运行控制模块根据接收到的所述报警信号输出所述停止运行信号。

8.一乘客输送装置,其特征在于，包括如权利要求5-7中任一所述的乘客摔倒检测装置，还包括：

一通讯装置，连接所述乘客摔倒检测装置运行控制模块；

一执行模块，连接所述通讯装置，用以接收所述停止运行信号。

9.根据权利要求8所述的一种乘客输送装置，其特征在于，所述执行

模块，包括：一输送单元，用以运输乘客，所述输送单元为上下行自动扶梯，

或平面自动扶梯。