CN107662875A - 乘客运输机的梯级与梳齿板的啮合状态监检测 - Google Patents

乘客运输机的梯级与梳齿板的啮合状态监检测 Download PDF

Info

Publication number
CN107662875A
CN107662875A CN201610610012.5A CN201610610012A CN107662875A CN 107662875 A CN107662875 A CN 107662875A CN 201610610012 A CN201610610012 A CN 201610610012A CN 107662875 A CN107662875 A CN 107662875A
Authority
CN
China
Prior art keywords
engagement
depth map
foreground
fishback
foreground object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610610012.5A
Other languages
English (en)
Other versions
CN107662875B (zh
Inventor
李建国
N.莫里斯
A.森杰
赵建伟
胡朝霞
李蔷
方辉
贾真
苏安娜
A.M.芬恩
王龙文
李茜
G.盖斯温特娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otis Elevator Co
Original Assignee
Otis Elevator Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otis Elevator Co filed Critical Otis Elevator Co
Priority to CN201610610012.5A priority Critical patent/CN107662875B/zh
Priority to US15/663,435 priority patent/US10071884B2/en
Priority to EP17184137.2A priority patent/EP3299330B1/en
Publication of CN107662875A publication Critical patent/CN107662875A/zh
Application granted granted Critical
Publication of CN107662875B publication Critical patent/CN107662875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B29/00—Safety devices of escalators or moving walkways
    • B66B29/02—Safety devices of escalators or moving walkways responsive to, or preventing, jamming by foreign objects
    • B66B29/06—Combplates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B21/00—Kinds or types of escalators or moving walkways
    • B66B21/02—Escalators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B25/00—Control of escalators or moving walkways
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B25/00—Control of escalators or moving walkways
    • B66B25/003—Methods or algorithms therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B25/00—Control of escalators or moving walkways
    • B66B25/006—Monitoring for maintenance or repair

Landscapes

  • Escalators And Moving Walkways (AREA)

Abstract

本发明提供一种乘客运输机的啮合状态检测系统及其检测方法，属于乘客运输机技术领域。本发明的啮合状态检测系统和检测方法中，使用深度感测传感器对所述乘客运输机的至少梯级与梳齿板的啮合部位进行感测以获取深度图，所述深度图通过处理装置进行分析处理以检测所述梯级与梳齿板的啮合状态是否处于正常状态。所述啮合状态的检测包括梳齿板的梳状齿是否破损、梯级的啮合齿是否破损、和/或啮合线上是否存在异物等。

Description

乘客运输机的梯级与梳齿板的啮合状态监检测
技术领域
本发明属于乘客运输机技术领域，涉及乘客运输机（Passenger Conveyor）的梯级（Step）与梳齿板（Comb Plate）的啮合（engaging）状态的自动检测。
背景技术
乘客运输机（例如扶梯或移动人行道）在地铁、商场、机场等公共场所中应用越来越广泛，其运行的安全性愈发重要。
乘客运输机具有运动的梯级以及固定的梳齿板，梳齿板固定在乘客运输机的出入口处，在运行的过程中，梯级的啮合齿与梳齿板的梳状齿（Comb teeth）之间彼此良好地啮合，从而导致梯级可以平顺地进入返回轨迹、并防止外部的异物被带入乘客输送机中。因此，梯级的啮合齿与梳齿板的梳状齿之间的啮合状态对于乘客输送机的安全运行是非常重要的；例如，发生梯级的啮合齿破损或梳齿板的梳状齿破损，将容易发生乘客的携带物等容易地被卷入等情况，乘坐乘客运输机的风险大大增加；还例如，诸如硬币的外部异物卷入容易导致啮合错位，将容易损坏梯级和梳齿板，并且给乘客带来危险。
因此，及时发现梯级的啮合齿与梳齿板的梳状齿的啮合状态的异常变得非常重要。
发明内容
按照本发明的一方面，提供一种乘客运输机的梯级与梳齿板的啮合状态检测系统，包括：
深度感测传感器，用于对所述乘客运输机的至少梯级与梳齿板的啮合部位进行感测以获取深度图；
处理装置，用于对所述深度图进行分析处理以检测所述梯级与梳齿板的啮合状态是否处于正常状态，其被配置为包括：
背景获取模块，用于基于在所述乘客运输机处于空载且所述啮合状态处于正常状态下感测的深度图获取背景模型；
前景检测模块，用于将实时感测的深度图与所述背景模型进行比对处理以获得前景对象；以及
啮合状态判断模块，用于至少基于所述前景对象进行数据处理以判断所述啮合状态是否处于正常状态。
按照本发明的又一方面，提供一种乘客运输机的梯级与梳齿板的啮合状态检测方法，包括步骤：
通过深度感测传感器对所述乘客运输机的至少梯级与梳齿板的啮合部位进行感测以获取深度图；
基于在所述乘客运输机处于空载且所述啮合状态处于正常状态下感测的深度图获取背景模型；
将实时感测的深度图与所述背景模型进行比对处理以获得前景对象；以及
至少基于所述前景对象进行数据处理以判断所述啮合状态是否处于正常状态。
按照本发明的还一方面，提供一种乘客运输系统，包括乘客运输机和以上所述及的啮合状态检测系统。
根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1是按照本发明第一实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图。
图2是被检测的梯级的啮合齿与梳齿板的梳状齿之间的啮合示意图。
图3是按照本发明一实施例的乘客运输机的感测装置的安装示意图。
图4是按照本发明第一实施例的乘客运输机的梯级与梳齿板的啮合状态检测方法的流程示意图。
图5是按照本发明第二实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图。
图6是按照本发明第二实施例的乘客运输机的梯级与梳齿板的啮合状态检测方法的流程示意图。
图7是按照本发明第三实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图。
图8是按照本发明第三实施例的乘客运输机的梯级与梳齿板的啮合状态检测方法的流程示意图。
具体实施方式
现在将参照附图更加完全地描述本发明，附图中示出了本发明的示例性实施例。但是，本发明可按照很多不同的形式实现，并且不应该被理解为限制于这里阐述的实施例。相反，提供这些实施例使得本公开变得彻底和完整，并将本发明的构思完全传递给本领域技术人员。附图中，相同的标号指代相同的元件或部件，因此，将省略对它们的描述。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同处理装置和/或微控制器装置中实现这些功能实体。
在本发明中，乘客运输机包括自动扶梯（Escalator）和移动人行道（MovingWalker）。以下图示实施例中，以自动扶梯为示例对本发明实施例的啮合状态检测系统和检测方法进行详细说明，但是，应当理解到，以下实施例的针对自动扶梯的啮合状态检测系统和检测方法同样可以类推地应用到移动人行道中，其可能需要发生的例如适用性的改进是本领域技术人员在本发明实施例的教导下能够获知的。
需要说明的是，在本发明中，乘客运输机的梯级与梳齿板的啮合状态处于“正常状态”是指至少不会为乘客带来安全隐患的工况；相反地，“非正常状态”是指啮合状态至少可能会为乘客带来安全隐患的工况，例如，梯级的啮合齿破损、梳齿板的梳状齿破损（例如断裂）、异物被夹入梯级与梳齿板的啮合线等情况的至少一种，或者其他不符合关于啮合状态的相关标准或规定的工况。因此，以下实施例中，对于梳齿板的梳状齿破损、梯级的啮合齿破损、梳齿板与梯级之间的啮合线上的异物的检测，均是属于对梯级与梳齿板的啮合状态的检测的范畴。
图1所示为按照本发明第一实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图，图2是被检测的梯级的啮合齿与梳齿板的梳状齿之间的啮合示意图。结合图1和图2所示实施例的啮合状态检测系统可以用来检测乘客运输机在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的梳齿板903的梳状齿9031是否破损（broken）。
结合图1和图2所示，梳齿板903通常固定在扶梯900的第一端的出入口区域901和第二端的出入口区域902，在正常状态时，梳齿板903的梳状齿9031无破损，梯级904的啮合齿9041无破损，无异物夹入梳齿板903与梯级904之间的啮合线9034上，因此，梳齿板903的梳状齿9031与梯级904的啮合齿9041之间平顺地啮合，啮合状态好，安全性高。在具体的啮合状态下，每个梳状齿9031置于两个梳状齿9031的槽中，其能顺利去掉梯级904上的异物。
然而，如果梳齿板903的梳状齿9031发生破损，例如如图2中所示已断裂的梳状齿9031’，此时，梯级904上的异物（例如乘客的衣物等）容易从梳状齿9031’对应的啮合线9034处卷入扶梯900中，引发严重安全事故。因此，本发明实施例的啮合状态检测系统持续地或定时地对梳齿板903的梳状齿9031进行检测，以及时发现梳状齿9031的破损情况。
图1所示实施例的啮合状态检测系统包括感测装置310与感测装置310耦接的处理装置100，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930等。
感测装置310具体为深度感测传感器（Depth Sensing Sensor），在又一替换实施例中，感测装置310可以为2D成像传感器或者2D成像传感器与深度感测传感器的组合。根据具体需要和传感器所能够监测的区域范围大小，可以在扶梯900上设置一个或多个感测装置310，即多个深度感测传感器，例如，3101至310n，N为大于或等于1的整数。感测装置310以相对能清楚、准确获取扶梯900的啮合状态为准进行安装，其具体安装方式和安装位置不是限制性的。在该实施例中，感测装置310为两个（n=2），其分别被对应设置在扶梯900的两端的出入口区域（901和902）的梳齿板903的大致上方，从而可以分别感测出入区域901和902的梳齿板903以及与该梳齿板903啮合的梯级904。
具体而言，深度感测传感器可以是针对任何1D、2D、3D深度传感器或其组合，为准确感测梳齿板903，可以根据具体应用环境选择相应类型的深度感测传感器。这种传感器可在能够产生对应纹理的深度图（还已知为点云或占据栅格）的光学、电磁或声谱下操作。各种深度感测传感器技术和装置包括但不限于结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、回声定位设备、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列 (FPA)或包括前述中至少一个的组合。不同技术可包括主动（传输和接收信号）或被动（仅接收信号）且可在电磁或声谱（诸如视觉、红外线等）带下操作。使用深度感测可具有超越常规2D成像的特定优点，使用红外线感测可具有超越可见光谱成像的特定益处，替代或此外，使得传感器可以是具有一个或多个像素空间分辨率的红外线传感器，例如被动红外线(PIR)传感器或小型IR焦平面阵列(FPA)。
应注意，2D成像传感器（例如常规监视相机）与1D、2D或3D深度感测传感器之间在深度感测提供许多优点的程度上会存在性质上和数量上的差异。在2D成像中，在从成像器的每个径向方向上的来自第一个对象的反射色彩（波长的混合物）被捕获。接着，2D图像可包括源照明和场景中对象的光谱反射系数的组合光谱。2D图像可由人员解译成图片。在1D、2D或3D深度感测传感器中，不存在色彩（光谱）信息；更确切地说，在从传感器的径向方向（1D）或方向（2D、 3D）上到第一反射对象的距离（深度、范围）被捕获。1D、2D和3D技术可具有固有最大可检测范围极限且可具有相对低于典型2D成像器的空间分辨率。在对环境照明问题的相对免疫方面，与常规2D成像比较，使用1D、2D或3D深度感测可有利地提供改进型操作、对遮蔽对象的较好分离和较好的私密保护。使用红外线感测可具有超过可见光谱成像的特定益处。举例来说，2D图像会无法被转变成深度图且深度图也无法具有被转变成2D图像（例如，至连续深度的人为分配连续色彩或亮度会使人略微类似于人员如何见到2D图像来粗略地解译深度图，其并非常规意义上的图像。）的能力。
深度感测传感器的具体安装方式并不限于图1中所示的方式，在又一替换实施例中，如图3所示，深度感测传感器的感测装置310可以就近于梳齿板903与梯级904之间的啮合线9034而安装，例如，安装在朝向啮合线9034位置的扶梯900的扶手侧板上。这样，深度感测传感器获取的深度图准确，检测结果的准确性也相应地提高。
继续如图1所示，在深度感测传感器的感测装置310对扶梯900的梳齿板903进行感测并实时地获得多个深度图，其中深度图的每个体素或占据栅格也具有对应深度纹理（反映深度信息）。
如果需要全时段地对梳齿板903进行监测，不管在有乘客的运行工况和无乘客的空载运行工况，多个感测装置3101至310n均同时工作获取相应的深度图；如果需要在预定时间对梳齿板903进行检测，在该扶梯900停止运行或扶梯900空载正常运行时，多个感测装置3101至310n均同时工作获取相应的深度图，此时获取的深度图中，不存在乘客或乘客携带的物品对应位于梳状齿9031上，其后的分析处理将相对更准确，因此能更准确地检测出梳状齿破损。多个感测装置3101至310n均同时工作获取相应的深度图，每幅深度图被传输至处理装置100并存储。以上感测装置310感测获取深度图的过程可以被处理装置100或乘客输送机控制器910来控制实现。处理装置100进一步负责用于对每幅深度图进行数据处理，并最终获得扶梯900的梳状齿9031是否处于正常状态的信息，例如确定是否有梳状齿9031发生破损。
继续如图1所示，处理装置100被配置为包括背景获取模块110和前景检测模块120。其中，背景获取模块110中，以扶梯900空载（即不存在乘客时）工况下且梳状齿9031处于正常状态下（即不存在梳状齿9031发生破损）的3D深度图作学习获取至少关于梳状齿9031的背景模型。背景模型的建立可以在啮合状态检测系统初始化的阶段进行，也即，在对日常运行工况的梳状齿9031检测之前对其进行初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（CodeBook Model）或者鲁棒主成分分析（Robust Principle Components Analysis, RPCA）等；对于深度感测传感器获取的深度图学习得到背景模型，其是典型的深度背景模型。
需要理解地是，在其后的梳状齿9031的检测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。
前景检测模块120用于将实时获取的深度图与背景模型进行比对处理以获得前景对象，具体地，在比对处理过程中，对于使用深度感测传感器的情形，实时获取的数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。以上比对处理中存在深度值的求差处理，因此，也可以具体理解为差分处理或差分法。该前景对象在多数情况下对应为乘客及其携带的物品等，当然，如果梳齿板903发生破损，其相应的深度图部分与背景模型的相应部分进行比对处理，获得的前景对象也将包括反映梳齿板903发生破损（如果有）的特征。在一实施例中，前景检测模块120可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理（dilation image processing）技术去除噪音，以更准确地获得前景对象。需要说明的是，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。
在一实施例中，处理装置100还包括前景特征提取模块130，前景特征提取模块130从前景对象提取相应的前景特征，为检测扶梯900的梳齿板903，提取的前景特征包括前景对象的形状和纹理，甚至还包括位置等信息，其中形状信息可以通过提取的边沿（edge）信息体现或获得。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
继续如图1所示，进一步地，处理装置100还包括啮合状态判断模块140，啮合状态判断模块140基于前景特征判断梳齿板903是否处于正常状态。具体而言，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、纹理和位置特征与背景模型中的关于梳齿板903的形状、纹理和位置特征进行比较，判断梳齿板903是否破损。需要说明的是，背景模型中的关于梳齿板903的形状、纹理和位置的特征信息可以在背景获取模块110中获得。
在一实施例中，如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梳齿板903的特征信息比较，可以判断出该前景特征与梳齿板903不相关，并且，根据其位置特征信息可以判断出该前景对象是否位于梳齿板903上，如果判断为“是”，放弃基于当前处理的深度图对梳状齿9031是否破损的判断或放弃当前处理的深度图对应的啮合状态是否处于正常状态的判断结果。这是由于，梳齿板903的梳状齿9031在该情形下必然存在部分被遮挡，因此，是难以判断出遮挡部分的梳状齿9031是否存在破损情况，进入下一深度图的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于梳齿板903上，以该深度图的判断结果作为梳齿板903的检测结果。当然，应当理解，如果前景特征是关于乘客等的前景对象的前景特征，也可以不放弃基于当前深度图的判断处理，从而实现对未遮挡部分的梳状齿9031是否破损的判断。
以深度图数据处理中梳状齿9031破损为例，获取的前景对象将包括分梳齿板903的至少部分梳状齿9031的深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该部分梳齿板903某一位置缺少梳状齿9031，从而直接判断其为破损。
需要说明的是，形状特征（描述符）可以通过方向梯度的直方图（HoG）、泽尼克矩（Zernike moment）、形心相对边界点分布不变（Centroid Invariance to boundary pointdistribution）、轮廓曲率（Contour Curvature）等技术计算；可以提取其他特征对形状（或形态）的匹配或过滤提供额外信息，例如，其他特征可以包括但不限于, 尺度不变特征转换（Scale Invariant Feature Transform, SIFT）、加速鲁棒特征（Speed-Up RobustFeature，SURF）算法, 仿射尺度不变特征变换（Affine Scale Invariant FeatureTransform，ASIFT)、其它SIFT变量、哈里斯角点检测（Harris Corner Detector）、 最小同值分割吸收核（Smallest Univalue Segment Assimilating Nucleus，SUSAN）算法、FAST(Features from Accelerated Segment Test)角点检测、相位相关（Phase Correlation）、归一化互相关（Normalized Cross-Correlation）、 渐变位置方向直方图（GradientLocation Orientation Histogram，GLOH) 算法、 二元鲁棒独立基本特征（Binary RobustIndependent Elementary Features，BRIEF)算法、环绕中心极值（Center SurroundExtremas (CenSure/STAR)）算法、 面向的和旋转的BRIEF（Oriented and Rotated BRIEF，ORB) 算法等特征。
在又一替换实施例中，在一检测情形中，感测装置310获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且梳状齿9031未有任何破损），这样在前景检测模块120中将基本没有前景对象（例如仅存在噪音信息），此时，啮合状态判断模块140可以直接确定梳状齿9031的啮合状态处于正常状态，也即，不存在梳状齿9031破损，从而，不需要基于前景特征提取模块130提取的前景特征进行判断。当然，上述情形也可以理解为，由于前景检测模块120中将基本没有获得前景对象，前景特征提取模块130也不能提取到梳状齿9031相关的特征，啮合状态判断模块140也将基于特征比对，得出梳状齿9031的啮合状态处于正常状态的判断结果。
进一步地，啮合状态判断模块140可以被配置为，基于连续多幅（例如至少两幅）连续的深度图的判断结果为梳齿板903处于同一非正常状态（例如某一梳状齿9031破损）时，啮合状态判断模块140才确定梳齿板903的梳状齿9031破损、啮合状态处于该非正常状态，这样，有利于提高判断的准确性。需要说明的是，连续的深度图可以是当时序列的任何两幅深度图，其不是必须为两幅直接连续深度图。
在该实施例或其他实施例中，形状特征可以被比较或被分类为某一形状，其中，使用诸如以下技术的一个或多个：集群、深层学习（Deep Learning）、卷积神经网络（Convolutional Neural Networks）、递归神经网络（Recursive Neural Networks）、 字典学习（Dictionary Learning）、视觉词袋（Bag of visual words）、支持向量机（SupportVector Machine，SVM）、 决策树（Decision Trees）、模糊逻辑（Fuzzy Logic）等。
以上实施例的处理装置100中的啮合状态判断模块140确定被检测的梳齿板903处于非正常状态时（例如梳齿板903破损），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至驱动部件920降低梯级运行速度，处理装置200还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如播报“梳齿板903破损，注意通过出入口区域”等消息，当然，处理装置200还可以发送信号至楼宇的监控中心940等，提示及时进行现场处理。发现扶梯900的梳齿板903的梳状齿9031破损时所具体采取的措施不是限制性的。
以上图1所示实施例的啮合状态检测系统可以实现对扶梯900的梳齿板903的梳状齿9031进行实时地自动进行检测，基于深度图的检测更准确，而且能够及时发现梳齿板903的梳状齿9031的破损，有利于及时避免安全事故发生。
以下图4示例说明基于图1所示的实施例的啮合状态检测系统进行梳齿板903的梳状齿9031是否破损的方法流程，结合图1和图4进一步说明本发明实施例的啮合状态检测系统的工作原理。
首先，步骤S11，通过深度感测传感器对乘客输送机的梳齿板903的梳状齿9031进行感测以获取深度图。在学习获取背景模型时，深度图是在空载且啮合状态处于正常状态（扶梯900上没有乘客且梳齿板903的梳状齿9031未有任何破损）下感测获取；在其他情形，该深度图是日常运行工况下随时获取，例如可以每秒钟获取30幅深度图，每隔预定时间后获取小于或等于1秒钟时段内的深度图供后续实时分析处理。
进一步，步骤S12，基于在乘客运输机处于空载且梳状齿未破损的正常状态下感测的深度图获取背景模型。该步骤在背景获取模块110中完成，其可以在系统的初始化阶段实现。
具体而言，在学习获取背景模型时，诸如形状、位置、纹理和/或边沿等特征信息会被从多幅深度图中提取，多幅深度图中特征基本未相对改变的栅格或区域将被累加、而特征相对明显改变的栅格或区域（该深度图的）将被放弃，从而学习获得可以准确的背景模型。以上累加所采用的算法例如可以但不限于为以下方法的任何一种或多种：主成分分析（Principal Component Analysis，PCA）、鲁棒主成分分析（Robust Principal ComponentAnalysis，RPCA）、非运动检测的加权平均方法、高斯混合模型（Gaussian Mixture Model，GMM）、码书模型（Code Book Model）等。
进一步，步骤S13，将实时感测的深度图与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块120中完成，并且，该前景对象可以发送至啮合状态判断模块140进行分析处理。以上比对处理为差分处理时，需要说明的是，当前深度图与背景模型的差分处理包括在当前深度图与背景模型的特征（例如集群特征的形心、分离的超平面等）之间计算差别或距离，其中距离可以通过Minkowski-p距离测量、非中心的皮尔森相关（Uncentered Pearson Correlation）方法等方法计算。
进一步，步骤S14，从前景对象提取相应的前景特征。该步骤在前景特征提取模块130中完成，提取的前景特征包括但不限于前景对象的形状和纹理，甚至还包括位置等信息。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
进一步，步骤S15，判断是否存在破损的梳状齿，如果判断为“是”，则表示当前梳齿板903与梯级904的啮合状态处于非正常状态，则进入步骤S16，啮合状态被判断为非正常状态，触发报警并通知监控中心940。该步骤S15和步骤S16在啮合状态判断模块140中完成。具体而言，在步骤S15中，基于前景对象的形状、纹理和位置特征与背景模型中的关于梳齿板903的形状、纹理和位置特征进行比较，判断梳齿板903的梳状齿9031是否破损。需要说明的是，背景模型中的关于梳齿板903的形状、纹理和位置等特征信息是在步骤S12中获得。
在一实施例中，如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梳齿板903的特征信息比较，可以判断出该前景特征与梳齿板903不相关，并且，根据其位置特征信息可以判断出该前景对象是否位于梳齿板903上，如果判断为“是”，放弃基于当前处理的深度图对梳状齿9031是否破损的判断或放弃当前处理的深度图对应的啮合状态是否处于正常状态的判断结果。这是由于，梳齿板903的梳状齿9031在该情形下必然存在部分被遮挡，因此，是难以判断出遮挡部分的梳状齿9031是否存在破损情况，此时进入下一深度图的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于梳齿板903上，以该深度图的判断结果作为梳齿板903的检测结果。当然，应当理解，如果前景特征是关于乘客等的前景对象的前景特征，也可以不放弃基于当前深度图的判断处理，从而实现对未遮挡部分的梳状齿9031是否破损的判断。
以深度图数据处理中梳状齿9031破损为例，获取的前景对象将包括梳齿板903的至少部分梳状齿9031的深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该部分梳齿板903某一位置缺少梳状齿9031，从而直接判断其为破损。
在又一替换实施例中，在一检测情形中，步骤S11获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且梳状齿9031未有任何破损），这样，步骤S13中将基本没有前景对象（例如仅存在噪音信息），此时，步骤S15中可以直接确定梳状齿9031的啮合状态处于正常状态，也即，不存在梳状齿9031破损，从而，不需要执行步骤S14以提取的前景特征进行判断。当然，上述情形也可以理解为，由于步骤S13中将基本没有获得前景对象，步骤S14也不能提取到梳状齿9031相关的特征，步骤S15也将基于特征比对，得出梳状齿9031的啮合状态处于正常状态的判断结果。
在步骤S15中，还可以在基于多幅连续的深度图的判断结果为“是”时，才进入步骤S16，这样，有利于提高判断的准确性，防止误操作。
至此，以上实施例的梳齿板903检测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的梳齿板903的啮合状态。
图5所示为按照本发明第二实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图。结合图5和图2所示实施例的啮合状态检测系统可以用来检测乘客运输机在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的梯级904的啮合齿9041是否破损（broken）。
结合图5和图2所示，每个梯级904在运动时通常在扶梯900的第一端的出入口区域901和第二端的出入口区域902与固定的梳齿板903啮合，在正常状态时，梯级904的啮合齿9041无破损，梳齿板903的梳状齿9031无破损，无异物夹入梯级904与梳齿板903之间的啮合线9034上，因此，梯级904的啮合齿9041与梳齿板903的梳状齿9031之间平顺地啮合，啮合状态好，安全性高。
然而，如果梯级904的啮合齿9041发生破损，例如如图2中所示已断裂的啮合齿9041’，此时，梯级904上的异物容易从啮合齿9041’对应的啮合线9034处卷入扶梯900中，引发严重安全事故。因此，本发明实施例的啮合状态检测系统持续地或定时地对梯级904的啮合齿9041进行检测，以及时发现啮合齿9041的破损情况。
图5所示实施例的啮合状态检测系统包括感测装置310与感测装置310耦接的处理装置200，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930等。
感测装置310具体为深度感测传感器（Depth Sensing Sensor）。深度感测传感器的设置与图1所示实施例的深度感测传感器完全相同，在此不再一一赘述。
继续如图5所示，在深度感测传感器的感测装置310对扶梯900的梯级904进行感测并实时地获得多个深度图，其中深度图的每个体素或占据栅格也具有对应深度纹理（反映深度信息）。
如果需要全时段地对梯级904进行监测，不管在有乘客的运行工况和无乘客的空载运行工况，多个感测装置3101至310n均同时工作获取相应的深度图；如果需要在预定时间对梯级904进行检测，在该扶梯900停止运行或扶梯900空载正常运行时，多个感测装置3101至310n均同时工作获取相应的深度图，此时获取的深度图中，不存在乘客或乘客携带的物品对应位于啮合齿9041上，其后的分析处理将相对更准确，因此能更准确地检测出梳状齿破损。多个感测装置3101至310n均同时工作获取相应的深度图，每幅深度图被传输至处理装置200并存储。以上感测装置310感测获取深度图的过程可以被处理装置200或乘客输送机控制器910来控制实现。处理装置200进一步负责用于对每幅帧进行数据处理，并最终获得扶梯900的啮合齿9041是否处于正常状态的信息，例如确定是否有啮合齿9041发生破损。
继续如图5所示，处理装置200被配置为包括背景获取模块210和前景检测模块220。其中，背景获取模块210中，以扶梯900空载（即不存在乘客时）工况下且啮合齿9041处于正常状态下（即不存在啮合齿9041发生破损）的3D深度图作学习获取至少关于啮合齿9041的背景模型。背景模型的建立可以在啮合状态检测系统初始化的阶段进行，也即，在对日常运行工况的啮合齿9041检测之前对其进行初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（CodeBook Model）或者鲁棒主成分分析（Robust Principle Components Analysis, RPCA）等；对于深度感测传感器获取的深度图学习得到背景模型，其是典型的深度背景模型。
需要理解地是，在其后的啮合齿9041的检测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。
前景检测模块220用于将实时获取的深度图与背景模型进行比对处理以获得前景对象，具体地，在比对处理过程中，对于使用深度感测传感器的情形，实时获取的数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。以上比对处理中存在深度值的求差处理，因此，也可以具体理解为差分处理或差分法。该前景对象在多数情况下对应为乘客及其携带的物品等，当然，如果梯级904发生破损，其相应的深度图部分与背景模型的相应部分进行比对处理，获得的前景对象也将包括反映梯级904发生破损（如果有）的特征。在一实施例中，前景检测模块220可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理（dilation image processing）技术去除噪音，以更准确地获得前景对象。需要说明的是，在本文中，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。
在一实施例中，处理装置200还包括前景特征提取模块230，前景特征提取模块230从前景对象提取相应的前景特征，为检测扶梯900的梯级904，提取的前景特征包括前景对象的形状和纹理，甚至还包括位置等信息，其中形状信息可以通过提取的边沿（edge）信息体现或获得。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
需要说明的是，形状特征（描述符）可以通过方向梯度的直方图（HoG）、泽尼克矩（Zernike moment）、形心相对边界点分布不变（Centroid Invariance to boundary pointdistribution）、轮廓曲率（Contour Curvature）等技术计算；可以提取其他特征对形状（或形态）的匹配或过滤提供额外信息，例如，其他特征可以包括但不限于, 尺度不变特征转换（Scale Invariant Feature Transform, SIFT）、加速鲁棒特征（Speed-Up RobustFeature，SURF）算法, 仿射尺度不变特征变换（Affine Scale Invariant FeatureTransform，ASIFT)、其它SIFT变量、哈里斯角点检测（Harris Corner Detector）、 最小同值分割吸收核（Smallest Univalue Segment Assimilating Nucleus，SUSAN）算法、FAST(Features from Accelerated Segment Test)角点检测、相位相关（Phase Correlation）、归一化互相关（Normalized Cross-Correlation）、 渐变位置方向直方图（GradientLocation Orientation Histogram，GLOH) 算法、 二元鲁棒独立基本特征（Binary RobustIndependent Elementary Features，BRIEF)算法、环绕中心极值（Center SurroundExtremas (CenSure/STAR)）算法、 面向的和旋转的BRIEF（Oriented and Rotated BRIEF，ORB) 算法等特征。
继续如图5所示，进一步地，处理装置200还包括梯级的啮合状态判断模块240，啮合状态判断模块240基于前景特征判断梯级904是否处于正常状态。具体而言，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、纹理和位置特征与背景模型中的关于梯级904的啮合齿9041的形状、纹理和位置特征进行比较，判断梯级904的啮合齿9041是否破损。需要说明的是，背景模型中的关于梯级904（包括啮合齿9041）的形状、纹理和位置的特征信息可以在背景获取模块210中实现。
在该实施例或其他实施例中，形状特征可以被比较或被分类为某一形状，其中，使用诸如以下技术的一个或多个：集群、深层学习（Deep Learning）、卷积神经网络（Convolutional Neural Networks）、递归神经网络（Recursive Neural Networks）、 字典学习（Dictionary Learning）、视觉词袋（Bag of visual words）、支持向量机（SupportVector Machine，SVM）、 决策树（Decision Trees）、模糊逻辑（Fuzzy Logic）等。
在一实施例中，如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梯级904的特征信息比较，可以判断出该前景特征与梯级904不相关，并且，根据其位置特征信息可以判断出该前景对象是否位于与梳齿板903啮合的梯级904上，如果判断为“是”，放弃基于当前处理的深度图对啮合齿9041是否破损的判断或放弃当前处理的深度图对应的啮合状态是否处于正常状态的判断结果。这是由于，梯级904的啮合齿9041在该情形下必然存在部分被遮挡，因此，是难以判断出遮挡部分的啮合齿9041是否存在破损情况，进入下一深度图的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于与梳齿板903啮合的梯级904上，以该深度图的判断结果作为梯级904的检测结果。当然，应当理解，如果前景特征是关于乘客等的前景对象的前景特征，也可以不放弃基于当前深度图的判断处理，从而实现对未遮挡部分的啮合齿9041是否破损的判断。
以深度图数据处理中啮合齿9041破损为例，获取的前景对象将包括分梯级904的至少部分啮合齿9041的深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该部分梯级904某一位置缺少啮合齿9041，从而直接判断其为破损。
在又一替换实施例中，在一检测情形中，感测装置310获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且啮合齿9041未有任何破损），这样在前景检测模块220中将基本没有前景对象（例如仅存在噪音信息），此时，啮合状态判断模块240可以直接确定啮合齿9041的啮合状态处于正常状态，也即，不存在啮合齿9041破损，从而，不需要基于前景特征提取模块230提取的前景特征进行判断。当然，上述情形也可以理解为，由于前景检测模块220中将基本没有获得前景对象，前景特征提取模块230也不能提取到啮合齿9041相关的特征，啮合状态判断模块240也将基于特征比对，得出啮合齿9041的啮合状态处于正常状态的判断结果。
进一步地，啮合状态判断模块240可以被配置为，基于连续多幅（例如至少两幅）连续的深度图的判断结果为梯级904处于同一非正常状态（例如某一啮合齿9041破损）时，啮合状态判断模块240才确定梯级904的啮合齿9041破损、啮合状态处于该非正常状态，这样，有利于提高判断的准确性。
以上实施例的处理装置200中的啮合状态判断模块240确定被检测的梯级904处于非正常状态时（例如梯级904破损），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至驱动部件920降低梯级运行速度，处理装置200还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如播报“梯级904破损，注意通过出入口区域”等消息，当然，处理装置200还可以发送信号至楼宇的监控中心940等，提示及时进行现场处理。发现扶梯900的梯级904的啮合齿9041破损时所具体采取的措施不是限制性的。
以上图5所示实施例的啮合状态检测系统可以实现对扶梯900的梯级904的啮合齿9041进行实时地自动进行检测，基于深度图的检测更准确，而且能够及时发现梯级904的啮合齿9041的破损，有利于及时避免安全事故发生。
以下图6示例说明基于图5所示的实施例的啮合状态检测系统进行梯级904的啮合齿9041是否破损的方法流程，结合图5和图6进一步说明本发明实施例的啮合状态检测系统的工作原理。
首先，步骤S21，通过深度感测传感器对乘客输送机的梯级904的啮合齿9041进行感测以获取深度图。在学习获取背景模型时，深度图是在空载且啮合状态处于正常状态（扶梯900上没有乘客且梯级904的啮合齿9041未有任何破损）下感测获取；在其他情形，该深度图是日常运行工况下随时获取，例如可以每秒钟获取30幅深度图，每隔预定时间后获取小于或等于1秒钟时段内的深度图供后续实时分析处理。
进一步，步骤S22，基于在乘客运输机处于空载且啮合齿9041未破损的正常状态下感测的深度图获取背景模型。该步骤在背景获取模块210中完成，其可以在系统的初始化阶段实现。
具体而言，在学习获取背景模型时，诸如形状、位置、纹理和/或边沿等特征信息会被从多幅深度图中提取，多幅深度图中特征基本未相对改变的栅格或区域将被累加、而特征相对明显改变的栅格或区域（该深度图的）将被放弃，从而学习获得可以准确的背景模型。以上累加所采用的算法例如可以但不限于为以下方法的任何一种或多种：主成分分析（Principal Component Analysis，PCA）、鲁棒主成分分析（Robust Principal ComponentAnalysis，RPCA）、非运动检测的加权平均方法、高斯混合模型（Gaussian Mixture Model，GMM）、码书模型（Code Book Model）等。
进一步，步骤S23，将实时感测的深度图与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块220中完成，并且，该前景对象可以发送至啮合状态判断模块240进行分析处理。
进一步，步骤S24，从前景对象提取相应的前景特征。该步骤在前景特征提取模块230中完成，提取的前景特征包括但不限于前景对象的形状和纹理，甚至还包括位置等信息。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
进一步，步骤S25，判断是否存在破损的接合齿，如果判断为“是”，则表示当前梯级904与梳齿板903的啮合状态处于非正常状态，则进入步骤S26，啮合状态被判断为非正常状态，触发报警并通知监控中心940。该步骤S25和步骤S26在啮合状态判断模块240中完成。具体而言，在步骤S25中，基于前景对象的形状、纹理和位置特征与背景模型中的关于梯级904的形状、纹理和位置特征进行比较，判断梯级904的啮合齿9041是否破损。需要说明的是，背景模型中的关于梯级904的形状、纹理和位置等特征信息是在步骤S22中获得。
在一实施例中，如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梯级904的特征信息比较，可以判断出该前景特征与梯级904不相关，并且，根据其位置特征信息可以判断出该前景对象是否位于梯级904上，如果判断为“是”，放弃基于当前处理的深度图对啮合齿9041是否破损的判断或放弃当前处理的深度图对应的啮合状态是否处于正常状态的判断结果。这是由于，梯级904的啮合齿9041在该情形下必然存在部分被遮挡，因此，是难以判断出遮挡部分的啮合齿9041是否存在破损情况，此时进入下一深度图的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于梯级904上，以该深度图的判断结果作为梯级904的检测结果。当然，应当理解，如果前景特征是关于乘客等的前景对象的前景特征，也可以不放弃基于当前深度图的判断处理，从而实现对未遮挡部分的啮合齿9041是否破损的判断。
以深度图数据处理中啮合齿9041破损为例，获取的前景对象将包括梯级904的至少部分啮合齿9041的深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该部分梯级904某一位置缺少啮合齿9041，从而直接判断其为破损。
在又一替换实施例中，在一检测情形中，步骤S21获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且啮合齿9041未有任何破损），这样，步骤S23中将基本没有前景对象（例如仅存在噪音信息），此时，步骤S25中可以直接确定啮合齿9041的啮合状态处于正常状态，也即，不存在啮合齿9041破损，从而，不需要执行步骤S24以提取的前景特征进行判断。当然，上述情形也可以理解为，由于步骤S23中将基本没有获得前景对象，步骤S24也不能提取到啮合齿9041相关的特征，步骤S25也将基于特征比对，得出啮合齿9041的啮合状态处于正常状态的判断结果。
在步骤S25中，还可以在多幅连续的深度图的判断结果为“是”时，才进入步骤S26，这样，有利于提高判断的准确性，防止误操作。
至此，以上实施例的梯级904检测过程基本结束，该过程可以不但重复循环持续运行，例如，对梯级904运行一周的时间内持续感测与梳齿板903啮合的每个梯级的深度图，从而能够持续检测扶梯900的梯级904的啮合齿9041是否破损，完全对所有梯级904的检测，任意一个梯级904的啮合齿9041存在破损时，均可以被发现。
图7所示为按照本发明第三实施例的乘客运输机的梯级与梳齿板的啮合状态检测系统的结构示意图。结合图7和图2所示实施例的啮合状态检测系统可以用来检测乘客运输机在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的梳齿板903和梯级904之间的啮合线9034上是否存在异物909（例如硬币、乘客的衣物等）。
结合图7和图2所示，每个梯级904在运动时通常在扶梯900的第一端的出入口区域901和第二端的出入口区域902与固定的梳齿板903啮合，在正常状态时，梯级904的啮合齿9041无破损，梳齿板903的梳状齿9031无破损，无异物909存在于梯级904与梳齿板903之间的啮合线9034上，因此，梯级904的啮合齿9041与梳齿板903的梳状齿9031之间能够平顺地啮合，啮合状态好，安全性高。
然而，如果异物909存在梳齿板903和梯级904之间的啮合线9034上（例如如图2中所示处于啮合线9034上的异物909）异物909非常容易在扶梯运行过程中夹入梳齿板903和梯级904之间；当异物909是比较坚硬的物体时，直接会阻止梳齿板903和梯级904之间啮合，引发严重安全事故。因此，本发明实施例的啮合状态检测系统持续地或定时地对梯级904与梳齿板903之间的啮合线9034进行检测，以及时发现啮合线9034上的异物909。
图7所示实施例的啮合状态检测系统包括感测装置310与感测装置310耦接的处理装置300，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930等。
感测装置310具体为深度感测传感器（Depth Sensing Sensor）。深度感测传感器的设置与图1所示实施例的深度感测传感器完全相同，在此不再一一赘述。
继续如图7所示，在深度感测传感器的感测装置310对扶梯900的梯级904进行感测并实时地获得多个深度图，其中深度图的每个体素或占据栅格也具有对应深度纹理（反映深度信息）。
如果需要全时段地对梯级904进行监测，不管在有乘客的运行工况和无乘客的空载运行工况，多个感测装置3101至310n均同时工作获取相应的深度图；当然，也可以在预定时间对梯级904进行检测，但是，在实际应用中，需要及时发现异物存在啮合线9034上，否则容易导致异物夹入，对扶梯900造成损坏并引发安全事故。多个感测装置3101至310n均实时地工作并获取相应的深度图，每幅深度图被传输至处理装置300并存储。以上感测装置310感测获取深度图的过程可以被处理装置300或乘客输送机控制器910来控制实现。处理装置300进一步负责用于对每幅帧进行数据处理，并最终获得扶梯900的啮合线9034是否处于正常状态的信息，例如确定是否在啮合线9034上存在异物。
继续如图7所示，处理装置300被配置为包括背景获取模块301和前景检测模块320。其中，背景获取模块301中，以扶梯900空载（即不存在乘客时）工况下且啮合线9034处于正常状态下（即啮合线9034上不存在异物909）的3D深度图作学习获取至少关于啮合线9034的背景模型。背景模型的建立可以在啮合状态检测系统初始化的阶段进行，也即，在对日常运行工况的啮合线9034检测之前对其进行初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（CodeBook Model）或者鲁棒主成分分析（Robust Principle Components Analysis, RPCA）等；对于深度感测传感器获取的深度图学习得到背景模型，其是典型的深度背景模型。
需要理解地是，在其后的啮合线9034上的异物检测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。
前景检测模块320用于将实时获取的深度图与背景模型进行比对处理以获得前景对象，具体地，在比对处理过程中，对于使用深度感测传感器的情形，实时获取的数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。以上比对处理中存在深度值的求差处理，因此，也可以具体理解为差分处理或差分法。该前景对象在多数情况下对应为乘客及其携带的物品等，相应的深度图部分与背景模型的相应部分进行比对处理，获得的前景对象也将包括反映啮合线9034上存在异物（如果有）的特征。在一实施例中，前景检测模块320可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理（dilation image processing）技术去除噪音，以更准确地获得前景对象。需要说明的是，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。
在一实施例中，处理装置300还包括前景特征提取模块330，前景特征提取模块330从前景对象提取相应的前景特征，为检测扶梯900的啮合线9034上的异物，提取的前景特征包括前景对象的形状和纹理，甚至还包括位置等信息，其中形状信息可以通过提取的边沿（edge）信息体现或获得。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
继续如图7所示，进一步地，处理装置300还包括啮合状态判断模块340，啮合状态判断模块340基于前景特征判断梯级904是否处于正常状态。具体而言，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、纹理和位置特征与背景模型中的关于梯级904的啮合线9034的形状、纹理和位置特征进行比较，判断异物是否位于啮合线9034上，并判断异物的大小形状等。需要说明的是，背景模型中的关于梯级904（包括啮合线9034）的形状、纹理和位置的特征信息可以在背景获取模块301中实现。还需要说明的是，如果啮合状态判断模块340同时具有之前所述的啮合状态判断模块140或啮合状态判断模块240的功能，根据啮合齿9041或梳状齿9031的形状、纹理和位置特征，可以判断出啮合线9034上对应的前景对象是异物还是破损的啮合齿9041’或梳状齿9031’。
以深度图数据处理中啮合线9034上存在异物909为例，获取的前景对象将包括异物909的深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该前景中的异物909并且其位于啮合线9034上，从而直接判断啮合线9034上存在异物。
在又一替换实施例中，在一检测情形中，感测装置310获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且啮合线9034上不存在任何异物），这样在前景检测模块320中将基本没有前景对象（例如仅存在噪音信息），此时，啮合状态判断模块340可以直接确定啮合线9034的啮合状态处于正常状态，也即，在啮合线9034上不存在异物，从而，不需要基于前景特征提取模块330提取的前景特征进行判断。当然，上述情形也可以理解为，由于前景检测模块320中将基本没有获得前景对象，前景特征提取模块330也不能提取到异物相关的特征，啮合状态判断模块340也将基于特征比对，得出不存在异物的判断结果，也即得出啮合线9034的啮合状态处于正常状态的判断结果。
进一步地，啮合状态判断模块340可以被配置为，基于预定时间段（例如2-5秒）连续感测的深度图的判断结果为梯级904处于同一非正常状态（例如某一异物持续位于该啮合线9034上）时，啮合状态判断模块340才确定梯级904与梳齿板903之间的啮合线9034上存在异物、啮合状态处于该非正常状态，这样，有利于提高判断的准确性。这是考虑到，在实时检测的过程中，乘客虽然一般不会踩踏在啮合线9034上，但是在乘客或乘客携带的物品通过啮合线9034时刻获取的深度图中，在啮合线9034上是存在物体的，从前景检测模块320获取的前景对象也包括存在啮合线9034上的前景对象部分，这样，在啮合状态判断模块340中会被容易判断为啮合线9034上存在异物，造成误判断。
在又一替换实施例中，啮合状态判断模块340可以采用光流法技术检测处于梯级904与梳齿板903之间的啮合线9034上的异物的速度。当啮合线9034上的异物速度明显低于扶梯900的梯级的速度（例如扶梯的梯级的三分一或更低）时、或者明显慢于在相邻区域的其他前景对象的速度时，啮合状态判断模块340可以确定异物夹住已经发生或即将发生，啮合状态判断模块340也可以要求异物的相对低速状态保持预定之间（例如1秒）才确定异物夹住已经发生或即将发生。
在以上实施例中，为检测异物的速度，啮合状态判断模块340中可以设置光流估算子模块、校准子模块、时间计算模块和速度计算子模块。光流估算子模块、校准子模块、时间计算模块和速度计算子模块可以基于前景检测模块120获得的关于异物或其它物体的前景对象进行分析处理，以获得它们的速度信息。
具体地，光流估算子模块首先用于计算在深度图中的特征点，使用例如莫拉维克角点检测（Moravec Corner Detection）、哈里斯角点检测（Harris Corner Detection）、弗斯脱纳角点检测（Förstner Corner Detection）、拉普拉斯高斯兴趣点（Laplacian ofGaussian Interest Points）、高斯兴趣点差异（Differences of Gaussians InterestPoints）、海森尺度空间兴趣点（Hessian Scale-space Interest Points）、王-布拉德利角点检测（Wang and Brady Corner detection）、SUSAN角点检测或Trajkovic-Hedley角点检测等；可以通过例如SIFT、SURF、ORB、FAST、BRIEF等局部特征描述来发现特征点。另外，特征点可以基于大面积图案从一幅深度图至下一幅深度图进行匹配，例如使用绝对差之和、卷积技术（convolution technique）、概率技术（probabilistic technique）。
另外地，光流估算子模块还基于光流法计算深度图序列中任何相邻深度图之间的相应特征点在深度图坐标下的移位。光流法具体可以应用Lucas-Kanade光流法，在此具体应用的光流法类型不是限制性的。在此揭示的系统和方法能够同样地应用到深度图序列的任何两幅深度图，其中可以找到两幅深度图的对应的特征点。词语“相邻深度图”应当理解为在深度图之间计算光流的两深度图。
啮合状态判断模块340的校准子模块进一步将上述特征点在深度图坐标中的移位转换为在三维空间坐标下的移位，其中，三维空间坐标例如可以基于成像传感器建立，其建立的基准不是限制性的。该校准过程可以在速度检测之前预先地离线完成，例如，在成像传感器和/或深度感测传感器安装完成后、或者其关键设置变化后，重新进行校准，校准所采用的具体方法不是限制性的。
啮合状态判断模块340的时间计算子模块进一步确定深度图序列中任何相邻深度图之间的时间量。以每秒钟获取30幅深度图为例，相邻深度图之间的时间量大致为1/30秒。具体地，可以在每深度图获取时被标注时间戳（time stamp），从而，任何深度图之间的时间量都是可以获取的。需要理解的是，“相邻深度图”可以是连续（consecutive）获取的深度图。
啮合状态判断模块340的速度计算子模块进一步基于特征点在三维空间坐标下的移位和对应的时间量，计算获得任何相邻深度图对应时间点的速度信息，并进一步组合获得深度图序列的速度信息。以每秒获取的深度图序列为n个为例，每秒可以获得（n-1）个速度信息，该（n-1）个速度信息被组合在一起获得该n个深度图序列的速度信息。 需要说明的是，速度信息可以包括速度大小信息和速度方向信息，啮合状态判断模块340从而可以基于速度大小信息判断啮合线9034上的异物速度是否明显低于扶梯900的梯级的速度或者是否明显慢于在相邻区域的其他前景对象的速度。
以上实施例的处理装置300中的啮合状态判断模块340确定被检测的啮合线9034处于非正常状态时（例如梯级9034上存在异物），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，发送信号至制动部件进行缓慢制动，处理装置300还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如播报“小心夹入异物，注意通过出入口区域”等消息，当然，处理装置300还可以发送信号至楼宇的监控中心940等，提示及时进行现场确认是否夹入异物并清除啮合线9034存在的或夹入的异物。发现扶梯900的啮合线9034存在异物时所具体采取的措施不是限制性的。
以上图7所示实施例的啮合状态检测系统可以实现对扶梯900的啮合线9034进行实时地自动进行检测，基于深度图的检测更准确，而且能够及时发现啮合线9034上的异物，有利于及时清除以防止加入，避免安全事故发生。
以下图8示例说明基于图7所示的实施例的啮合状态检测系统进行梯级904与梳齿板903之间的啮合线9034上是否存在异物的方法流程，结合图7和图8进一步说明本发明实施例的啮合状态检测系统的工作原理。
首先，步骤S31，通过深度感测传感器对乘客输送机的梯级904与梳齿板903之间的啮合线9034进行感测以获取深度图。在学习获取背景模型时，深度图是在空载且啮合状态处于正常状态（扶梯900上没有乘客且梯级904的啮合线9034上没有任何异物909）下感测获取；在其他情形，该深度图是日常运行工况下随时获取，例如可以每秒钟获取30幅深度图，持续获取深度图供后续实时分析处理。
进一步，步骤S32，基于在乘客运输机处于空载且啮合线9034上不存在异物的正常状态下感测的深度图获取背景模型。该步骤在背景获取模块301中完成，其可以在系统的初始化阶段实现。
具体而言，在学习获取背景模型时，诸如形状、位置、纹理和/或边沿等特征信息会被从多幅深度图中提取，多幅深度图中特征基本没有相对改变的栅格或区域将被累加、而特征相对明显改变的栅格或区域（该深度图的）将被放弃，从而学习获得可以准确的背景模型。以上累加所采用的算法例如可以但不限于为以下方法的任何一种或多种：主成分分析（Principal Component Analysis，PCA）、鲁棒主成分分析（Robust Principal ComponentAnalysis，RPCA）、非运动检测加权平均方法、高斯混合模型（Gaussian Mixture Model，GMM）、码书模型（Code Book Model）等。
进一步，步骤S33，将实时感测的深度图与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块320中完成，并且，该前景对象可以发送至啮合状态判断模块340进行分析处理。
进一步，步骤S34，从前景对象提取相应的前景特征。该步骤在前景特征提取模块330中完成，提取的前景特征包括但不限于前景对象的形状和纹理，甚至还包括位置等信息。以深度感测传感器获取的深度图为例，形状、纹理和位置信息通过前景对象中的占据栅格的深度值变化体现出来。
进一步，步骤S35，判断是否存在啮合线9034上存在异物，如果判断为“是”，则表示当前梯级904与梳齿板903的啮合状态处于非正常状态，则进入步骤S36，啮合状态被判断为非正常状态，触发报警、制动并通知监控中心940。该步骤S35和步骤S36在啮合状态判断模块340中完成。
具体而言，在步骤S35中，基于前景对象的形状、纹理和位置特征与背景模型中的关于啮合线9034的形状、纹理和位置特征进行比较，判断梯级904的啮合线9034上是否存在前景对象，如果不是，进一步基于位置特征判断该前景对象是否位于啮合线9034上。需要说明的是，背景模型中的关于梯级904的形状、纹理和位置等特征信息是在步骤S32中获得。
以深度图数据处理中啮合线9034上存在异物909为例，获取的前景对象将包括异物909深度图，基于该对象的深度图，该对象的位置、纹理和3D形状等特征也被提取，进而与背景模型进行比较，例如比较相同位置对应的纹理和3D形状等特征，可以判断出该前景中的异物909并且其位于啮合线9034上，从而直接判断啮合线9034上存在异物。
在又一替换实施例中，在一检测情形中，步骤S31获取的深度图实际上与用于计算得到背景模型的深度图数据基本相同（例如，被检测的扶梯900处于空载且啮合线9034上不存在任何异物），这样在步骤S32中将基本没有前景对象（例如仅存在噪音信息），此时，步骤S35可以直接确定啮合线9034上不存在异物，从而，不需要通过步骤S33提取的前景特征进行判断。当然，上述情形也可以理解为，由于步骤S32中将基本没有获得前景对象，步骤S33也不能提取到异物相关的特征，步骤S35也将基于特征比对，得出不存在异物的判断结果，也即得出啮合线9034的啮合状态处于正常状态的判断结果。
在步骤S35中，还可以在基于预定时间段（例如2-5秒）连续感测的深度图的判断结果为“是”时，进入步骤S36，这样，有利于提高判断的准确性，防止误操作。
具体而言，假设前景特征是不确定的物体（也可能是乘客或乘客的携带物）的前景对象的前景特征，其与背景模型的关于啮合线9034的特征信息比较，可以判断出该前景特征与啮合线9034上的梳状齿9031和啮合齿9041等不相关，并且，根据其位置特征信息可以判断出该前景对象是否位于啮合线903上，如果判断为“否”，则直接当前处理的深度图对应的啮合状态是否处于正常状态，如果判断为“是”，等待后续例如2-5秒时间段内的深度图的判断结果，如果同样判断为“是”，则表示该异物是持续位于啮合线9034上，排除了乘客或乘客的携带物通过啮合线9034时的情形，此时进入以上步骤S36。在又一替换实施例中，还判断啮合线9034上的异物的速度，基于对啮合线9034上的物体的持续（例如1秒）或瞬间处于低速的判断，进入步骤S36，这能够有利于提高判断的准确度，防止误判。
至此，以上实施例的梯级904检测过程基本结束，该过程可以不但重复循环持续运行，从而持续对啮合线9034监测，及时发现啮合线9034上的异物，能有效防止异物加入啮合线9034中。
需要说明的是，以上图1、图5和图7所示实施例的啮合状态检测系统中的处理装置（100或200或300）可以独立地设置，具体也可以设置于楼宇的监控中心940，也可以与扶梯900的控制器910等集成地设置，其具体设置形式不是限制性的。并且，以上图1、图5和图7所示实施例的啮合状态检测系统中的至少两个，可以集成在一起实现，并且共用感测装置310，从而实现对梳齿板903的梳状齿9031、梯级904的啮合齿9041和啮合线9034上的异物中的至少两个实现检测，并且在任意一个被判断为处于非正常状态下，即表示啮合状态处于非正常状态，因此，可以同时实现多种啮合状态同时检测，有利于降低成本。
需要说明的是，本文公开和描绘的元件（包括附图中的流程图和方块图）意指元件之间的逻辑边界。然而，根据软件或硬件工程实践，描绘的元件及其功能可通过计算机可执行介质在机器上执行，计算机可执行介质具有能够执行存储在其上的程序指令的处理器，所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块，或这些的任何组合，且全部这些执行方案可落入本公开的范围内。
虽然不同非限制性实施方案具有特定说明的组件，但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。
虽然示出、公开和要求了特定步骤顺序，但应了解步骤可以任何次序实施、分离或组合，除非另外指明，且仍将受益于本公开。
前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案，然而，本领域的一般技术人员将意识到根据上述教示，各种修改和变更将落入附属权利要求的范围内。因此，将了解在附属权利要求的范围内，可实行除了特定公开之外的公开内容。由于这个原因，应研读附属权利要求来确定真实范围和内容。

Claims (41)

1.一种乘客运输机的梯级与梳齿板的啮合状态检测系统，其特征在于，包括：
深度感测传感器，用于对所述乘客运输机的至少梯级与梳齿板的啮合部位进行感测以获取深度图；
处理装置，用于对所述深度图进行分析处理以检测所述梯级与梳齿板的啮合状态是否处于正常状态，其被配置为包括：
背景获取模块，用于基于在所述乘客运输机处于空载且所述啮合状态处于正常状态下感测的深度图获取背景模型；
前景检测模块，用于将实时感测的深度图与所述背景模型进行比对处理以获得前景对象；以及
啮合状态判断模块，用于至少基于所述前景对象进行数据处理以判断所述啮合状态是否处于正常状态。
2.如权利要求1所述的啮合状态检测系统，其特征在于，所述处理装置还包括：
前景特征提取模块，用于根据啮合状态从所述前景对象提取相应的前景特征；
其中，所述啮合状态判断模块基于所述前景特征判断所述啮合状态是否处于正常状态。
3.如权利要求2所述的啮合状态检测系统，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梳齿板的梳状齿的感测，所述啮合状态判断模块被配置为在所述梳状齿的至少一个破损时所述啮合状态被判断为非正常状态。
4.如权利要求3所述的啮合状态检测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个，所述啮合状态判断模块基于所述前景对象的形状、纹理和位置特征的一个或多个判断所述梳状齿是否破损。
5.如权利要求3所述的啮合状态检测系统，其特征在于，所述啮合状态判断模块还被配置为，基于前景对象的位置特征判断该乘客或乘客携带的物品对应的前景对象是否位于所述梳状齿上，如果判断为“是”，放弃基于当前处理的所述深度图对所述梳状齿是否破损的判断或放弃当前处理的所述深度图对应的所述啮合状态是否处于正常状态的判断结果。
6.如权利要求2所述的啮合状态检测系统，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梯级的啮合齿的感测，所述啮合状态判断模块在所述啮合齿的至少一个破损时被判断为非正常状态。
7.如权利要求6所述的啮合状态检测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个，所述啮合状态判断模块基于所述前景对象的形状、纹理和位置特征的一个或多个判断所述啮合齿是否破损。
8.如权利要求6所述的啮合状态检测系统，其特征在于，所述啮合状态判断模块还被配置为，基于前景对象的位置特征判断该乘客或乘客携带的物品对应的前景对象是否位于所述梯级上，如果判断为“是”，放弃基于当前处理的所述深度图对所述啮合齿是否破损的判断或放弃当前处理的所述深度图对应的所述啮合状态是否处于正常状态的判断结果。
9.如权利要求6所述的啮合状态检测系统，其特征在于，所述深度感测传感器每隔预定时间后感测获取所述梯级运转一周的时段内的深度图供所述处理装置进行数据处理。
10.如权利要求2所述的啮合状态检测系统，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梳齿板与梯级之间的啮合线上的异物的感测，所述啮合状态判断模块被配置为在啮合线上存在异物时所述啮合状态被判断为非正常状态。
11.如权利要求10所述的啮合状态检测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个，所述啮合状态判断模块还被配置为，基于所述前景对象的形状、纹理和位置特征的一个或多个判断前景对象是否与对应为破损的啮合齿或梳状齿的前景对象，如果判断为“否”，进一步基于位置特征判断该异物是否位于所述啮合线上。
12.如权利要求10所述的啮合状态检测系统，其特征在于，所述啮合状态判断模块还被配置为，基于预定时间段连续感测的深度图的判断结果是所述啮合线上存在异物且该异物的速度低于梯级的速度时、或者慢于在该异物的相邻区域的其他前景对象的速度时，确定所述啮合状态处于该非正常状态。
13.如权利要求12所述的啮合状态检测系统，其特征在于，所述啮合状态判断模块被配置为采用光流法检测所述异物和/或所述其他前景对象的速度。
14.如权利要求13所述的啮合状态检测系统，其特征在于，所述啮合状态判断模块被配置为包括：
光流估算子模块，用于基于光流法计算多幅深度图中任何相邻深度图之间的相应特征点在深度图坐标下的移位；
校准子模块，用于将所述特征点在深度图坐标下的移位转换为在三维空间坐标下的移位；
时间计算子模块，用于确定所述序列帧中任何相邻帧之间的时间量；和
速度计算子模块，用于基于所述特征点在三维空间坐标下的移位和对应的时间量计算获得任何相邻深度图对应时间点的速度信息，并进一步组合获得所述多幅深度图的速度信息。
15.如权利要求1所述的啮合状态检测系统，其特征在于，所述深度感测传感器为两个，其分别被对应设置在所述乘客运输机的两端的出入口区域的大致上方以分别感测所述出入口区域的梳齿板以及与梳齿板啮合的梯级。
16.如权利要求3或6或10所述的啮合状态检测系统，其特征在于，所述背景获取模块中，基于在所述啮合状态处于正常状态感测的深度图获取背景模型；所述啮合状态判断模块还被配置为在基本没有所述前景对象时直接确定所述啮合状态处于正常状态。
17.如权利要求3或6或10所述的啮合状态检测系统，其特征在于，所述背景获取模块中，采用高斯混合模型、码书模型和鲁棒主成分分析的一个或多个学习建立所述背景模型。
18.如权利要求3或6或10所述的啮合状态检测系统，其特征在于，所述前景检测模块还被配置为采用腐蚀和膨胀图像处理技术去所述前景对象的除噪音。
19.如权利要求1所述的啮合状态检测系统，其特征在于，所述深度感测传感器的感测装置安装在朝向所梳齿板与梯级之间的啮合线的扶手侧板上。
20.如权利要求1所述的啮合状态检测系统，其特征在于，所述啮合状态检测系统还包括警报单元，所述啮合状态判断模块在确定所述啮合状态是处于非正常状态的情况下触发所述警报单元工作。
21.如权利要求1或18所述的啮合状态检测系统，其特征在于，所述处理装置还被配置为，所述啮合状态判断模块在确定所述啮合状态是处于非正常状态的情况下触发输出信号至所述乘客输送机和/或监控中心。
22.一种乘客运输机的梯级与梳齿板的啮合状态检测方法，其特征在于，包括步骤：
通过深度感测传感器对所述乘客运输机的至少梯级与梳齿板的啮合部位进行感测以获取深度图；
基于在所述乘客运输机处于空载且所述啮合状态处于正常状态下感测的深度图获取背景模型；
将实时感测的深度图与所述背景模型进行比对处理以获得前景对象；以及
至少基于所述前景对象进行数据处理以判断所述啮合状态是否处于正常状态。
23.如权利要求22所述的啮合状态检测方法，其特征在于，还包括步骤：根据啮合状态从所述前景对象提取相应的前景特征；
其中，所述判断啮合状态步骤中，基于所述前景特征判断所述啮合状态是否处于正常状态。
24.如权利要求23所述的啮合状态检测方法，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梳齿板的梳状齿的感测；所述判断啮合状态步骤中，在所述梳状齿的至少一个破损时所述啮合状态被判断为非正常状态。
25.如权利要求24所述的啮合状态检测方法，其特征在于，所述提取前景特征的步骤中，提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个；所述判断啮合状态步骤中，基于所述前景对象的形状、纹理和位置特征的一个或多个判断所述梳状齿是否破损。
26.如权利要求24所述的啮合状态检测方法，其特征在于，所述判断啮合状态步骤中，基于前景对象的位置特征判断该乘客或乘客携带的物品对应的前景对象是否位于所述梳状齿上，如果判断为“是”，放弃基于当前处理的所述深度图对所述梳状齿是否破损的判断或放弃当前处理的所述深度图对应的所述啮合状态是否处于正常状态的判断结果。
27.如权利要求23所述的啮合状态检测方法，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梯级的啮合齿的感测，所述判断啮合状态步骤中，在所述啮合齿的至少一个破损时被判断为非正常状态。
28.如权利要求27所述的啮合状态检测方法，其特征在于，所述提取前景特征步骤中，提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个；所述判断啮合状态步骤中，基于所述前景对象的形状、纹理和位置特征的一个或多个判断所述啮合齿是否破损。
29.如权利要求27所述的啮合状态检测方法，其特征在于，所述判断啮合状态步骤中，基于前景对象的位置特征判断该乘客或乘客携带的物品对应的前景对象是否位于所述梯级上，如果判断为“是”，放弃基于当前处理的所述深度图对所述啮合齿是否破损的判断或放弃当前处理的所述深度图对应的所述啮合状态是否处于正常状态的判断结果。
30.如权利要求27所述的啮合状态检测方法，其特征在于，所述感测步骤中，每隔预定时间后感测获取所述梯级运转一周的时段内的深度图。
31.如权利要求23所述的啮合状态检测方法，其特征在于，对所述梯级与梳齿板的啮合部位的感测包括对梳齿板与梯级之间的啮合线上的异物的感测，所述判断啮合状态步骤中，至少在啮合线上存在异物时所述啮合状态被判断为非正常状态。
32.如权利要求31所述的啮合状态检测方法，其特征在于，所述提取前景特征步骤中，提取的前景特征包括前景对象的形状、纹理和位置特征的一个或多个；所述判断啮合状态步骤中，基于所述前景对象的形状、纹理和位置特征的一个或多个判断前景对象是否与对应为破损的啮合齿或梳状齿的前景对象，如果判断为“否”，进一步基于位置特征判断该异物是否位于所述啮合线上。
33.如权利要求31所述的啮合状态检测方法，其特征在于，所述判断啮合状态步骤中，基于预定时间段连续感测的深度图的判断结果是所述啮合线上存在异物且该异物的速度低于梯级的速度时、或者慢于在该异物的相邻区域的其他前景对象的速度时，确定所述啮合状态处于该非正常状态。
34.如权利要求33所述的啮合状态检测方法，其特征在于，所述判断啮合状态步骤中，采用光流法检测所述异物和/或所述其他前景对象的速度。
35.如权利要求34所述的啮合状态检测方法，其特征在于，检测所述异物和/或所述其他前景对象的速度包括步骤：
基于光流法计算多幅深度图中任何相邻深度图之间的相应特征点在深度图坐标下的移位；
将所述特征点在深度图坐标下的移位转换为在三维空间坐标下的移位；
确定所述序列帧中任何相邻帧之间的时间量；以及
基于所述特征点在三维空间坐标下的移位和对应的时间量计算获得任何相邻深度图对应时间点的速度信息，并进一步组合获得所述多幅深度图的速度信息。
36.如权利要求24或27或31所述的啮合状态检测方法，其特征在于，所述获取模型步骤中，基于在所述啮合状态处于正常状态感测的深度图获取背景模型；所述判断啮合状态步骤中，在基本没有所述前景对象时直接确定所述啮合状态处于正常状态。
37.如权利要求24或27或31所述的啮合状态检测方法，其特征在于，所述获取模型步骤中，采用高斯混合模型、码书模型和鲁棒主成分分析的一个或多个学习建立所述背景模型。
38.如权利要求24或27或31所述的啮合状态检测方法，其特征在于，所述获得前景对象步骤中，采用腐蚀和膨胀图像处理技术去所述前景对象的除噪音。
39.如权利要求22所述的啮合状态检测方法，其特征在于，还包括步骤：在确定所述啮合状态是处于非正常状态的情况下触发报警。
40.如权利要求22或39所述的啮合状态检测方法，其特征在于，在确定所述啮合状态是处于非正常状态的情况下触发输出信号至所述乘客输送机和/或监控中心。
41.一种乘客运输系统，包括乘客运输机和如权利要求1至21中任一项所述的啮合状态检测系统。
CN201610610012.5A 2016-07-29 2016-07-29 乘客运输机的梯级与梳齿板的啮合状态监检测 Active CN107662875B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610610012.5A CN107662875B (zh) 2016-07-29 2016-07-29 乘客运输机的梯级与梳齿板的啮合状态监检测
US15/663,435 US10071884B2 (en) 2016-07-29 2017-07-28 Detection of state of engagement between step and comb plate of passenger conveyor
EP17184137.2A EP3299330B1 (en) 2016-07-29 2017-07-31 Detection of state of engagement between step and comb plate of passenger conveyor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610610012.5A CN107662875B (zh) 2016-07-29 2016-07-29 乘客运输机的梯级与梳齿板的啮合状态监检测

Publications (2)

Publication Number Publication Date
CN107662875A true CN107662875A (zh) 2018-02-06
CN107662875B CN107662875B (zh) 2021-07-06

Family

ID=59506129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610610012.5A Active CN107662875B (zh) 2016-07-29 2016-07-29 乘客运输机的梯级与梳齿板的啮合状态监检测

Country Status (3)

Country Link
US (1) US10071884B2 (zh)
EP (1) EP3299330B1 (zh)
CN (1) CN107662875B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785563A (zh) * 2021-01-14 2021-05-11 吉林大学 一种基于Zernike矩的热电偶质量检测方法
US11644338B2 (en) * 2018-10-19 2023-05-09 Beijing Geekplus Technology Co., Ltd. Ground texture image-based navigation method and device, and storage medium
CN116867723A (zh) * 2021-02-16 2023-10-10 三菱电机楼宇解决方案株式会社 点检乘客输送机的多个梳齿与多个夹板之间的位置关系的状态的点检装置
CN116888061A (zh) * 2021-02-16 2023-10-13 三菱电机楼宇解决方案株式会社 点检乘客输送机的多个梳齿与多个夹板之间的位置关系的状态的点检装置
CN116917222A (zh) * 2021-02-16 2023-10-20 三菱电机楼宇解决方案株式会社 检查乘客输送机的多个梳齿与多个防滑条之间的位置关系的状态的检查装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664705A (zh) * 2016-07-29 2018-02-06 奥的斯电梯公司 乘客运输机的速度检测系统及其速度检测方法
CN107662874B (zh) * 2016-07-29 2021-04-16 奥的斯电梯公司 乘客运输机的扶手入口监测系统及其监测方法
US20180118522A1 (en) * 2016-10-28 2018-05-03 Otis Elevator Company Sensor on escalator landing plate
JP6524288B1 (ja) * 2018-03-01 2019-06-05 東芝エレベータ株式会社 乗客コンベア
JP7053383B6 (ja) * 2018-06-19 2022-06-14 三菱電機ビルソリューションズ株式会社 乗客コンベアの制御装置
JP7299856B2 (ja) * 2020-05-12 2023-06-28 株式会社日立ビルシステム エスカレーターのステップ踏板浮き上がり検知装置及びその設置方法
US11691853B2 (en) * 2020-05-26 2023-07-04 Otis Elevator Company Escalator with distributed state sensors
WO2021255321A1 (en) * 2020-06-16 2021-12-23 Kone Corporation People mover

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1498849A (zh) * 2002-11-06 2004-05-26 因温特奥股份公司 监视自动扶梯和移动步道的摄像机
WO2007031106A1 (en) * 2005-09-16 2007-03-22 Otis Elevator Company Optically monitoring comb-line of escalators and moving walks
JP2014080267A (ja) * 2012-10-16 2014-05-08 Mitsubishi Electric Corp 乗客コンベアの自動監視装置、および乗客コンベアの自動監視方法
CN103863934A (zh) * 2014-04-02 2014-06-18 日立电梯（广州）自动扶梯有限公司 自动扶梯安全检测装置和方法
WO2015171774A1 (en) * 2014-05-06 2015-11-12 Otis Elevator Company Object detector, and method for controlling a passenger conveyor system using the same

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4800998A (en) 1988-01-21 1989-01-31 Otis Elevator Company Escalator comb safety device
JPH06144766A (ja) 1992-10-30 1994-05-24 Mitsubishi Electric Corp マンコンベアの乗降口安全装置
JPH0725575A (ja) 1993-07-14 1995-01-27 Mitsubishi Denki Bill Techno Service Kk エスカレータの櫛歯破損検出装置
AUPN605295A0 (en) 1995-10-18 1995-11-09 Loderway Pty. Limited Systems for the conveyance of standing passengers
US5718319A (en) 1996-02-14 1998-02-17 Gih; Gir Escalator and moving walk comb safety device
JPH09278337A (ja) 1996-04-10 1997-10-28 Otis Elevator Co 人移送装置の安全装置
FR2773791B1 (fr) 1998-01-22 2000-04-07 Otis Elevator Co Procede et dispositif pour le demarrage et l'arret automatiques et securises d'un escalier mecanique ou d'un trottoir roulant
EP1013599A1 (de) 1998-12-21 2000-06-28 Inventio Ag Sicherheitseinrichtung für eine Fahrtreppe oder einen Fahrsteig
DE29907184U1 (de) 1999-04-22 1999-08-26 Thyssen Fahrtreppen Gmbh Fahrtreppe oder Fahrsteig
US6976571B2 (en) 2000-07-31 2005-12-20 Otis Elevator Company Comb plate for people mover
CN1174912C (zh) 2000-08-18 2004-11-10 因温特奥股份公司 用于监视乘客输送设备梳板齿的方法和装置
US7002462B2 (en) 2001-02-20 2006-02-21 Gannett Fleming System and method for remote monitoring and maintenance management of vertical transportation equipment
US6644457B2 (en) 2002-01-10 2003-11-11 Inventio Ag Escalator combteeth force detector
DE10219483B4 (de) 2002-04-30 2005-11-03 Kone Corp. Überwachung von Zahnbrüchen im Bereich einer Personenförderanlage
DE10223393B4 (de) 2002-05-25 2005-11-10 Kone Corp. Einrichtung zur Überwachung von Zahnschäden im Bereich einer Rolltreppe oder eines Rollsteiges
JP4418719B2 (ja) 2004-07-14 2010-02-24 三菱電機ビルテクノサービス株式会社 乗客コンベアのくし板監視装置
US7334672B2 (en) 2005-08-12 2008-02-26 Motor Drives & Controls, Inc. Method for detecting faults in a combplate and sensor combplate
DE102008009458A1 (de) 2008-02-15 2009-08-20 Kone Corp. Rolltreppe oder Rollsteig
JP2011225344A (ja) 2010-04-21 2011-11-10 Hitachi Ltd 乗客コンベア
EP2877420B1 (de) 2012-07-24 2016-06-29 ThyssenKrupp Fahrtreppen GmbH Fahrtreppe oder fahrsteig mit sicherheitseinrichtung
DE102012109390A1 (de) 2012-10-02 2014-04-03 Waldemar Marinitsch Überwachungsvorrichtung, Verfahren zum Überwachen einer sicherheitskritischen Einheit und Beförderungssystem
KR101378851B1 (ko) 2013-06-26 2014-03-27 (주)미주하이텍 에스컬레이터의 안전 콤플레이트
ES2785316T3 (es) 2013-12-20 2020-10-06 Inventio Ag Conjunto de un sensor de supervisión en una escalera mecánica o en un pasillo rodante
JP5795088B2 (ja) 2014-01-09 2015-10-14 東芝エレベータ株式会社 乗客コンベア

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1498849A (zh) * 2002-11-06 2004-05-26 因温特奥股份公司 监视自动扶梯和移动步道的摄像机
WO2007031106A1 (en) * 2005-09-16 2007-03-22 Otis Elevator Company Optically monitoring comb-line of escalators and moving walks
JP2014080267A (ja) * 2012-10-16 2014-05-08 Mitsubishi Electric Corp 乗客コンベアの自動監視装置、および乗客コンベアの自動監視方法
CN103863934A (zh) * 2014-04-02 2014-06-18 日立电梯（广州）自动扶梯有限公司 自动扶梯安全检测装置和方法
WO2015171774A1 (en) * 2014-05-06 2015-11-12 Otis Elevator Company Object detector, and method for controlling a passenger conveyor system using the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644338B2 (en) * 2018-10-19 2023-05-09 Beijing Geekplus Technology Co., Ltd. Ground texture image-based navigation method and device, and storage medium
CN112785563A (zh) * 2021-01-14 2021-05-11 吉林大学 一种基于Zernike矩的热电偶质量检测方法
CN116867723A (zh) * 2021-02-16 2023-10-10 三菱电机楼宇解决方案株式会社 点检乘客输送机的多个梳齿与多个夹板之间的位置关系的状态的点检装置
CN116888061A (zh) * 2021-02-16 2023-10-13 三菱电机楼宇解决方案株式会社 点检乘客输送机的多个梳齿与多个夹板之间的位置关系的状态的点检装置
CN116917222A (zh) * 2021-02-16 2023-10-20 三菱电机楼宇解决方案株式会社 检查乘客输送机的多个梳齿与多个防滑条之间的位置关系的状态的检查装置
CN116917222B (zh) * 2021-02-16 2024-03-01 三菱电机楼宇解决方案株式会社 检查乘客输送机的多个梳齿与多个防滑条之间的位置关系的状态的检查装置

Also Published As

Publication number Publication date
EP3299330A2 (en) 2018-03-28
CN107662875B (zh) 2021-07-06
US10071884B2 (en) 2018-09-11
EP3299330A3 (en) 2018-04-18
EP3299330B1 (en) 2022-03-09
US20180029841A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
CN107662875A (zh) 乘客运输机的梯级与梳齿板的啮合状态监检测
CN107662872A (zh) 乘客运输机的监测系统及其监测方法
CN107665326B (zh) 乘客运输装置的监测系统、乘客运输装置及其监测方法
Foresti A real-time system for video surveillance of unattended outdoor environments
EP3279131B1 (en) Speed detection system and method for a passenger conveyor
EP3275830B1 (en) System and method for monitoring handrail entrance of passenger conveyor
EP1553516B1 (en) Pedestrian extracting apparatus
EP2851841A2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
JP4104867B2 (ja) ナイトビジョンシステム
US10183843B2 (en) Monitoring of step rollers and maintenance mechanics of passenger conveyors
US20030040815A1 (en) Cooperative camera network
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Ran et al. Development of vision-based vehicle detection and recognition system for intelligent vehicles
Tombari et al. Graffiti detection using a time-of-flight camera
Xu et al. A rapid method for passing people counting in monocular video sequences
Khoudour et al. Real-time pedestrian counting by active linear cameras
Modi et al. Neural network based approach for recognition human motion using stationary camera
Sorte et al. Motion detection using optical flow and standard deviation
Teschioni et al. A neural network approach for moving objects recognition in color image sequences for surveillance applications.
Williams Human detection through sensor fusion and convolutional neural networks: a thesis presented in fulfilment of the requirements for the degree of Master of Engineering in Mechatronics at Massey University, Manawatu, New Zealand
Ran et al. Vision-based object detection and recognition system for intelligent vehicles
EP3327620A1 (en) Object recognition system and object recognition method
Fillbrandt et al. Simultaneous localization and tracking of persons in a cluttered scene with a single camera
van den Heuvel et al. HUMAN BODY DETECTI ON METHODS
FORESTI A neural tree-based image understanding system for

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant