CN117576491A - 电梯门故障检测方法、电梯门故障发生率预测方法及装置 - Google Patents
电梯门故障检测方法、电梯门故障发生率预测方法及装置 Download PDFInfo
- Publication number
- CN117576491A CN117576491A CN202410067466.7A CN202410067466A CN117576491A CN 117576491 A CN117576491 A CN 117576491A CN 202410067466 A CN202410067466 A CN 202410067466A CN 117576491 A CN117576491 A CN 117576491A
- Authority
- CN
- China
- Prior art keywords
- door
- key point
- door edge
- elevator
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001133 acceleration Effects 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0018—Devices monitoring the operating condition of the elevator system
- B66B5/0025—Devices monitoring the operating condition of the elevator system for maintenance or repair
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/02—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Maintenance And Inspection Apparatuses For Elevators (AREA)
Abstract
本发明公开了一种电梯门故障检测方法、电梯门故障发生率预测方法及装置，包括：获取电梯门的时间序列图像；对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；计算所述左门边缘关键点和右门边缘关键点之间的距离；根据所述距离判断故障类型。如果没有发现电梯故障，对当前正常电梯门故障发生概率进行智能预测。通过关键点的坐标、速度以及加速度，计算故障发生概率，计算方法简单，判断更准确。
Description
技术领域
本申请涉及电梯门故障检测技术领域，尤其涉及一种电梯门故障检测方法、电梯门故障发生率预测方法及装置。
背景技术
近年来，随着城镇化、旧楼改造、电梯加装等一系列措施，城市电梯数量与日俱增，成为了现代城市建筑中不可或缺的交通工具，为人们的出行带去较大便利。但与此同时，电梯的运行安全问题越来越受人们关注。门故障是电梯常见的故障之一，对门故障的实时准确检测、及时维修保养，一方面可以避免更严重的安全事故发生，另一方面也可降低电梯停梯时长，提升居民的乘坐舒适感。
现有技术中，有多种基于计算机视觉的电梯门故障实时检测方法。有基于门上显著的标识实现，通过识别标识的位置随时间的变化检测电梯门故障，例如中国专利CN2016106376879，但其计算过程复杂，需要收集大量信息，计算负荷大，计算慢。也有通过判定一段时间内电梯门在关门、半开、全开状态变换速度或次数检测电梯门故障，例如中国专利CN112347862A，但其方法均基于门的开启关闭次数以及耗时，判断不够精准。
发明内容
本申请实施例的目的是提供一种电梯门故障检测方法、电梯门故障发生率预测方法及装置，以解决相关技术中存在的计算过程复杂、判断不够精准的技术问题。
根据本申请实施例的第一方面，提供一种电梯门故障检测方法，包括：
获取电梯门的时间序列图像；
对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；
计算所述左门边缘关键点和右门边缘关键点之间的距离；
如果所述距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障。
进一步地，对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；
计算所述门框左侧关键点和门框右侧关键点之间的距离；
如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。第三阈值一般取80%。
进一步地，获取电梯门的时间序列图像，包括：
采集包含有电梯门图像的视频流；
按照预定的时间间隔从所述视频流中截取图像得到电梯门的时间序列图像。
进一步地，对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点，包括：
采用卷积神经网络模型对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点以及门框左侧关键点和门框右侧关键点。
进一步地，所述卷积神经网络模型的处理流程如下：
首先，通过一个维度为64×7×7的卷积层，将输入的3×224×224的图像转化为维度为64×56×56的特征数据；
接着对上一步生成的特征数据进行下采样，通过一个池化窗口3×3步长为1的最大池化层，将上一步的维度为64×56×56的特征数据转化为维度为64×56×56的特征数据。
接下来，模型进行了四次连续的卷积操作，每次使用维度为64×3×3的卷积层，保持特征数据的维度为64×56×56不变；
然后，通过一个维度为128×3×3的卷积层，特征数据的维度从64×56×56转化为128×28×28，接下来的三次卷积操作使用同样维度的128×3×3卷积层，保持特征数据的维度为128×28×28；
接下来，通过一个维度为256×3×3的卷积层，特征数据的维度从128×28×28转化为256×14×14，随后的三次卷积操作使用同样维度的256×3×3卷积层，保持特征数据的维度为256×14×14；
再然后，通过一个维度为512×3×3的卷积层，特征数据的维度从256×14×14转化为512×7×7，接下来的三次卷积操作使用同样维度的512×3×3卷积层，保持特征数据的维度为512×7×7；
最后，通过一个平均池化层，对特征数据进行全局下采样，将维度从512×7×7转化为512×1×1；
在全联接层中，将上一步得到的512×1×1的特征数据展平为一维向量，并通过全连接操作将其转化为维度为8×1的特征数据。
根据本申请实施例的第二方面，提供一种电梯门故障检测装置，包括：
获取模块，用于获取电梯门的时间序列图像；
第一关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点以及门框左侧关键点和门框右侧关键点；
第一计算模块，用于计算所述左门边缘关键点和右门边缘关键点之间的距离，以及，计算所述门框左侧关键点和门框右侧关键点的距离；
第一故障判断模块，用于如果左门边缘关键点和右门边缘关键点之间的距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障；以及，用于如果左门边缘关键点和右门边缘关键点之间的距离最大值小于门框左侧关键点和门框右侧关键点之间的距离平均值的第三阈值，则判定为无法完全开门故障。
进一步地，还包括：
第二关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；
第二计算模块，用于计算所述门框左侧关键点和门框右侧关键点之间的距离；
第二故障判断模块，用于如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。
根据本申请实施例的第三方面，提供一种电梯门故障发生率预测方法，包括：
采用上述的电梯门故障检测方法对电梯进行故障检测；
如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；
根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
根据本申请实施例的第四方面，提供一种电梯门故障发生率预测装置，包括：
故障检测执行模块，用于采用上述的电梯门故障检测方法对电梯进行故障检测；
第三计算模块，用于如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
第四计算模块，用于根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；
第五计算模块，用于根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
第六计算模块，用于计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
第七计算模块，用于根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
根据本申请实施例的第五方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点，再计算所述左门边缘关键点和右门边缘关键点之间的距离，根据所述距离进行重复开关门故障、开关门困难故障以及开关门速度异常故障的判断。
在检测电梯门故障的同时，对当前正常电梯门故障发生概率进行智能预测。通过关键点的坐标、速度以及加速度，计算故障发生概率，计算方法简单，判断更准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种电梯门故障检测方法的流程图。
图2是根据另一示例性实施例示出的一种电梯门故障检测方法的流程图。
图3是根据一示例性实施例示出的关键点的示意图。
图4是根据一示例性实施例示出的卷积神经网络模型的结构示意图。
图5是根据一示例性实施例示出的一种电梯门故障检测装置的框图。
图6是根据另一示例性实施例示出的一种电梯门故障检测装置的框图。
图7是根据一示例性实施例示出的一种故障发生率预测方法的流程图。
图8是根据一示例性实施例示出的一种故障发生率预测装置的框图。
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
其中，门框左侧关键点1、左门边缘关键点2、右门边缘关键点3、门框右侧关键点4。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
实施例1
图1是根据一示例性实施例示出的一种电梯门故障检测方法的流程图，如图1所示，该方法可以包括以下步骤：
S11：获取电梯门的时间序列图像；
具体地，采集包含有电梯门图像的视频流，按照时间间隔截取按时序排列的图像；并按照固定的时间间隔在所述视频流中[t0, t1, t2, ..., ti, ..., tn-1]截取电梯门图像；获取电梯门图像[image0,image1,image2, ..., imagei, ..., imagen-1]；
S12：对所述时间序列图像进行电梯门关键点检测，如图3，得到左门边缘关键点2和右门边缘关键点3；
具体地，基于门关键点检测模型获得关键点，左门边缘关键点2、右门边缘关键点3的坐标；
采用卷积神经网络模型对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点2和右门边缘关键点3。
所述卷积神经网络模型采用Faster R-CNN或Mask R-CNN。
本实施例中，如图4，所述卷积神经网络模型包括：
维度为64×7×7的卷积层，用于将维度3×224×224的图像转化为维度64×56×56的特征数据；
通过一个池化窗口3×3步长为1的最大池化层，将上一步的维度为64×56×56转化为维度64×56×56的特征数据；
维度为64×3×3的卷积层，用于将维度64×56×56转化为维度64×56×56的特征数据；
维度为64×3×3的卷积层，用于将维度64×56×56转化为维度64×56×56的特征数据；
维度为64×3×3的卷积层，用于将维度64×56×56转化为维度64×56×56的特征数据；
维度为64×3×3的卷积层，用于将维度64×56×56转化为维度64×56×56的特征数据；
维度为128×3×3的卷积层，用于将维度64×56×56转化为维度128×28×28的特征数据；
维度为128×3×3的卷积层，用于将维度128×28×28转化为维度128×28×28的特征数据；
维度为128×3×3的卷积层，用于将维度128×28×28转化为维度128×28×28的特征数据；
维度为128×3×3的卷积层，用于将维度128×28×28转化为维度128×28×28的特征数据；
维度为256×3×3的卷积层，用于将维度128×28×28转化为维度256×14×14的特征数据；
维度为256×3×3的卷积层，用于将维度256×14×14转化为维度256×14×14的特征数据；
维度为256×3×3的卷积层，用于将维度256×14×14转化为维度256×14×14的特征数据；
维度为256×3×3的卷积层，用于将维度256×14×14转化为维度256×14×14的特征数据；
维度为512×3×3的卷积层，用于将维度256×14×14转化为维度512×7×7的特征数据；
维度为512×3×3的卷积层，用于将维度512×7×7转化为维度512×7×7的特征数据；
维度为512×3×3的卷积层，用于将维度512×7×7转化为维度512×7×7的特征数据；
维度为512×3×3的卷积层，用于将维度512×7×7转化为维度512×7×7的特征数据；
平均池化层，用于将维度512×7×7转化为维度512×1×1的特征数据；
全联接层，用于将维度512×1×1转化为维度8×1的特征数据，对应4个关键点的x、y坐标。
在某些实施例中，如图3，还可以得到门框左侧关键点1和门框右侧关键点4，基于门关键点检测模型获得关键点，门框左侧关键点1、门框右侧关键点4的坐标。
采用卷积神经网络模型对所述时间序列图像进行电梯门关键点检测，得到门框左侧关键点1和门框右侧关键点4。
S13：计算所述左门边缘关键点和右门边缘关键点之间的距离；
具体地，基于门关键点检测模型获得电梯门图像[image0,image1,image2, ...,imagei, ..., imagen-1]中门的2个呈一条直线排列的关键点，左门边缘关键点2、右门边缘关键点3坐标为[[[x20, y20], [x30, y30]], …, [[x2i, y2i], [x3i, y3i]], …,[[x2 n-1, y2 n-1], [x3 n-1, y3 n-1]]]，左门边缘关键点2的位置设置于电梯左门，右门边缘关键点3的位置设置于电梯右门。
S14：如果所述距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障；
具体地，计算n个时间点门打开的宽度，即左门边缘关键点2与右门边缘关键点3的距离[d230, d231, d232, ..., d23i, ..., d23n-1]，其中，d23i = ((x2i-x3i)2+(y2i-y3i)2)0.5；
重复开关门故障：如果d23在60s内，变大变小的切换次数超过8次，则判定为重复开关门故障；本实施例采用60s作为第一预定时间、变化8次作为第一阈值是根据实际维护经验设置的，也可以是其他参数；
开关门困难故障：d23维持最小或者最大值，超过15s，则判定为开关门困难故障；本实施例采用15s作为第二预定时间是根据实际维护经验设置的，也可以是其他参数；
开关门速度异常故障：d23从最大值到最小值或从最小值到最大值的时间超过15s，则判定为开关门速度异常故障，本实施例采用15s作为第二阈值是根据实际维护经验设置的，也可以是其他参数；
如图2，在某些实施例中，还包括如下步骤：
S15：对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点1和门框右侧关键点4；
具体地，还获得门框左侧关键点1、门框右侧关键点4坐标为[[[x10, y10], [x40,y40]], …, [[x1i, y1i], [x4i, y4i]], …, [[x1n-1, y1 n-1], [x4 n-1, y4 n-1]]]，门框左侧关键点1的位置设置于电梯左门框，门框右侧关键点4的位置设置于电梯右门框。
S16：计算所述门框左侧关键点1和门框右侧关键点4之间的距离；
具体地，计算所述门框左侧关键点1和门框右侧关键点4之间的距离，[d140, d141,d142, ..., d14i, ..., d14n-1]，其中，d14i = ((x2i-x3i)2+(y2i-y3i)2)0.5；
门框左侧关键点1和门框右侧关键点4之间的距离平均值为(d140+d141+d142,..., +d14i, ..., +d14n-1)/n；
S17：如果左门边缘关键点2和右门边缘关键点3之间的距离最大值小于第三阈值，第三阈值为门框左侧关键点1和门框右侧关键点4之间的距离平均值的预定比例；
具体地，此处预定比例以80%为例，即[d230, d231, d232, ..., d23i, ...,d23n-1]中的最大值小于80%*(d140+d141+d142, ..., +d14i, ..., +d14n-1)/n，则判定为无法完全开门故障，当然预定比例也可以是其他值。
在某些实施例中，门框左侧关键点1、左门边缘关键点2、右门边缘关键点3、门框右侧关键点4也可以设置在其他位置只要它们分别处于门框左侧、左门边缘、右门边缘、门框右侧即可，本实施例的设置方法更为直观，呈一条直线的设置更易于门关键点检测模型的捕捉，且减少了计算量。
由上述实施例可知，本申请的电梯在正常运行的情况下，其门打开的宽度以及开关门的速度、时间是一定的，通过门框左侧关键点1、左门边缘关键点2、右门边缘关键点3、门框右侧关键点4的设置，可以方便地监测这些数据的变化，再结合实际运行所积累的经验，合理设置参数，从而判断电梯门是否发生故障，提高了判断的准确性。本实施例采用的第一预定时间、第二预定时间、第一阈值、第二阈值、第三阈值是根据实际运维情况设置的，在某些实施例中，根据电梯品牌型号的不同，也可以为其他值。
本申请仅依靠单个摄像头实时捕捉的视频帧即可作为判断电梯门故障是否发生的依据，通过计算机视觉，以较小的计算量速度快且准确地在本地进行计算，而无需依赖网络和云端计算，故而本申请的方案能够实时、长期、稳定地发挥作用。
与前述的电梯门故障检测方法的实施例相对应，本申请还提供了电梯门故障检测装置的实施例。
图5是根据一示例性实施例示出的一种电梯门故障检测装置框图。参照图5，该装置包括：
获取模块11，用于获取电梯门的时间序列图像；
关键点检测模块12，用于对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；
第一计算模块13，用于计算所述左门边缘关键点2和右门边缘关键点3之间的距离；
第一故障判断模块14，用于如果左门边缘关键点2和右门边缘关键点3之间的距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障。
如图6，在某些实施例中，还包括：
第二关键点检测模块15，用于对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点1和门框右侧关键点4；
第二计算模块16，用于计算门框左侧关键点1和门框右侧关键点4之间的距离；
第二故障判断模块17，用于如果左门边缘关键点1和右门边缘关键点4之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，第三阈值为门框左侧关键点1和门框右侧关键点4之间的距离平均值的预定比例，一般为80%。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施例2
图7是根据一示例性实施例示出的一种电梯门故障发生率预测方法的流程图，如图7所示，该方法可以包括以下步骤：
S21：采用实施例1所述的电梯门故障检测方法对电梯进行故障检测；
具体地，所述电梯门故障检测方法参考实施例1的S11-S14步骤，这里不做赘述。
S22：如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
具体地，左门边缘关键点2的n-1个运动速度[v20, v22, v22, ...,v2i, ...,v2n-2]，其中v2i = (x2i-1 – x2i)/1，1为时间间隔1s，x2i为S14所得到的点的坐标；然后计算电梯门的n-2个加速度[a10, a11, a12, ...,a1i, ...,a1n-2] ，其中a1i = (v1i-1 – v1i)/1，1为时间间隔1s；同理根据右门边缘关键点3的坐标可计算出[v30, v31, v32, ...,v3i,..., v3n-2]与[a30, a31, a32, ...,a3i, ...,a3n-2]；通过S11所采集的图像处理后获得的距离即可进行上述运动速度以及加速度的计算，而不需要重复进行采集识别，减少了计算量，提高了计算速度。
S23：根据所述速度，计算所述左门边缘关键点2和右门边缘关键点3的速度偏差；
具体地，计算左门边缘关键点2和右门边缘关键点3速度偏差bias1i：
bias1i = abs(v2i – v3i)/( v2i + v3i)，
然后计算n-1个bias1i的平均值bias1；
速度偏差bias1用于监测电梯门开关时的速度异常。
S24：根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
具体地，求左门边缘关键点2和右门边缘关键点3在一个电梯开关门循环中：关闭-打开中-打开-关闭中-关闭，其加速度由正数变为0的次数num2以及负数变为0的次数num3，
开关门加速度偏差bias2 = min(1, （abs(num2 - 4) + abs(num3 - 4)) / (4 +4))；
其中公式中4为正常电梯上左门边缘关键点2和右门边缘关键点3在一个开关门循环中其加速度由正数变为0或者负数变为0的次数，abs()为求绝对值，min()取多个值的最小值；开关门加速度偏差bias2用于监测电梯门开关时的加速度异常。
S25：计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
具体地，计算左门边缘关键点2和右门边缘关键点3关于平均中点的距离偏差bias3，中点为左门边缘关键点2和右门边缘关键点3连线的中点，平均中点为n个中点的均值：
计算n个时刻左门边缘关键点2和右门边缘关键点3的坐标的中点坐标：
midi = [(x2i+x3i)/2,(y2i+y3i)/2]，
求n个midi的均值作为平均中点[xmid,ymid]；
左门边缘关键点2与中点距离：d2midi = ((x2i-xmid)2+(y2i-ymid)2)0.5；
右门边缘关键点3与中点距离：d3midi = ((x3i-xmid)2+(y3i-ymid)2)0.5；
n个距离的偏差：bias3i = abs(d2midi – d3midi)/( d2midi + d3midi)，
计算n个bias3i的平均值bias3；
abs()为求绝对值；
距离的偏差bias3用于监测电梯门开关时的距离异常。
S26：根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
具体地，输出将来一段时间发生故障的概率：
p=( bias1 + bias2 + bias3) / 3
本公式将S24-S26的三种故障预兆都考虑进来，通过监测速度、距离、加速度的异常，提前发现电梯门的性能衰退，从而提升了对电梯门故障概率预测的准确性。
与前述的电梯门故障发生率预测方法的实施例相对应，本申请还提供了电梯门故障发生率预测装置的实施例。
图8是根据一示例性实施例示出的一种电梯门故障发生率预测装置框图。参照图8，该装置包括：
故障检测执行模块21，用于采用实施例1所述的电梯门故障检测方法对电梯进行故障检测；
第三计算模块22，用于如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
第四计算模块23，用于根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；
第五计算模块24，用于根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
第六计算模块25，用于计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
第七计算模块26，用于根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施例3
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的电梯门故障检测及故障发生率预测方法。如图9所示，为本发明实施例提供的一种电梯门故障检测装置或电梯门故障发生率预测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的电梯门故障检测方法或电梯门故障发生率预测方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种电梯门故障检测方法，其特征在于，包括：
获取电梯门的时间序列图像；
对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；
计算所述左门边缘关键点和右门边缘关键点之间的距离；
如果所述距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障。
2.根据权利要求1所述的方法，其特征在于，对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；
计算所述门框左侧关键点和门框右侧关键点之间的距离；
如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。
3.根据权利要求1所述的方法，其特征在于，获取电梯门的时间序列图像，包括：
采集包含有电梯门图像的视频流；
按照预定的时间间隔从所述视频流中截取图像得到电梯门的时间序列图像。
4.根据权利要求1所述的方法，其特征在于，对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点，包括：
采用卷积神经网络模型对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点。
5.根据权利要求4所述的方法，其特征在于，所述卷积神经网络模型的处理流程如下：
首先，通过一个维度为64×7×7的卷积层，将输入的3×224×224的图像转化为维度为64×56×56的特征数据；
接着对上一步生成的特征数据进行下采样，通过一个池化窗口3×3步长为1的最大池化层，将上一步的维度为64×56×56的特征数据转化为维度为64×56×56的特征数据；
接下来，模型进行了四次连续的卷积操作，每次使用维度为64×3×3的卷积层，保持特征数据的维度为64×56×56不变；
然后，通过一个维度为128×3×3的卷积层，特征数据的维度从64×56×56转化为128×28×28，接下来的三次卷积操作使用同样维度的128×3×3卷积层，保持特征数据的维度为128×28×28；
接下来，通过一个维度为256×3×3的卷积层，特征数据的维度从128×28×28转化为256×14×14，随后的三次卷积操作使用同样维度的256×3×3卷积层，保持特征数据的维度为256×14×14；
再然后，通过一个维度为512×3×3的卷积层，特征数据的维度从256×14×14转化为512×7×7，接下来的三次卷积操作使用同样维度的512×3×3卷积层，保持特征数据的维度为512×7×7；
最后，通过一个平均池化层，对特征数据进行全局下采样，将维度从512×7×7转化为512×1×1；
在全联接层中，将上一步得到的512×1×1的特征数据展平为一维向量，并通过全连接操作将其转化为维度为8×1的特征数据。
6.一种电梯门故障检测装置，其特征在于，包括：
获取模块，用于获取电梯门的时间序列图像；
第一关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；
第一计算模块，用于计算所述左门边缘关键点和右门边缘关键点之间的距离；
第一故障判断模块，用于如果所述距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障。
7.根据权利要求6所述的装置，其特征在于，还包括：
第二关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；
第二计算模块，用于计算所述门框左侧关键点和门框右侧关键点之间的距离；
第二故障判断模块，用于如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。
8.一种电梯门故障发生率预测方法，其特征在于，包括：
采用权利要求1-5任一项所述的电梯门故障检测方法对电梯进行故障检测；
如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；
根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
9.一种电梯门故障发生率预测装置，其特征在于，包括：
故障检测执行模块，用于采用权利要求1-5任一项所述的电梯门故障检测方法对电梯进行故障检测；
第三计算模块，用于如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；
第四计算模块，用于根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；
第五计算模块，用于根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；
第六计算模块，用于计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；
第七计算模块，用于根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5或8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067466.7A CN117576491B (zh) | 2024-01-17 | 2024-01-17 | 电梯门故障检测方法、电梯门故障发生率预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067466.7A CN117576491B (zh) | 2024-01-17 | 2024-01-17 | 电梯门故障检测方法、电梯门故障发生率预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576491A true CN117576491A (zh) | 2024-02-20 |
| CN117576491B CN117576491B (zh) | 2024-04-26 |
Family
ID=89896017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410067466.7A Active CN117576491B (zh) | 2024-01-17 | 2024-01-17 | 电梯门故障检测方法、电梯门故障发生率预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576491B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006335513A (ja) * | 2005-06-01 | 2006-12-14 | Mitsubishi Electric Building Techno Service Co Ltd | エレベータの故障検出装置及びその故障検出方法並びにエレベータ装置の改修方法 |
| WO2011158301A1 (ja) * | 2010-06-18 | 2011-12-22 | 株式会社 日立製作所 | エレベータシステム |
| CN107298354A (zh) * | 2017-07-13 | 2017-10-27 | 广州日滨科技发展有限公司 | 电梯门机运行状态监测方法、装置和系统 |
| CN108861985A (zh) * | 2018-07-25 | 2018-11-23 | 深圳万发创新进出口贸易有限公司 | 一种电梯门机运行状态智能监测系统 |
| CN110589650A (zh) * | 2019-09-23 | 2019-12-20 | 猫岐智能科技（上海）有限公司 | 设备运行异常判断系统 |
| CN110589647A (zh) * | 2019-08-13 | 2019-12-20 | 福建工程学院 | 一种通过监控对电梯门进行实时故障检测及预测的方法 |
| CN110626900A (zh) * | 2019-09-23 | 2019-12-31 | 猫岐智能科技（上海）有限公司 | 设备运行异常判断方法 |
| CN111731962A (zh) * | 2020-06-29 | 2020-10-02 | 浙江新再灵科技股份有限公司 | 一种用于门的开合故障检测方法及检测预警系统 |
| CN111759213A (zh) * | 2020-03-19 | 2020-10-13 | 广东蓝水花智能电子有限公司 | 一种升降电梯故障监测方法 |
| CN112347862A (zh) * | 2020-10-20 | 2021-02-09 | 浙江新再灵科技股份有限公司 | 一种基于机器视觉的电梯门故障实时检测方法 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN115893136A (zh) * | 2021-09-29 | 2023-04-04 | 株式会社日立制作所 | 电梯故障预警方法及装置 |
| CN116030420A (zh) * | 2023-02-22 | 2023-04-28 | 常熟理工学院 | 多源数据融合的电梯安全运行监测方法 |
| CN116477435A (zh) * | 2023-04-07 | 2023-07-25 | 菱王电梯有限公司 | 一种电梯及其异常检测方法、装置和存储介质 |
| CN116664518A (zh) * | 2023-05-31 | 2023-08-29 | 广州高新兴机器人有限公司 | 消防通道门关门器异常检测方法、系统及电子设备 |
| EP4261172A1 (en) * | 2022-04-14 | 2023-10-18 | Hitachi Building Systems Co., Ltd. | Abnormality diagnosis device for elevator, elevator system, abnormality diagnosis method for elevator, and abnormality diagnosis program for elevator |
-
2024
- 2024-01-17 CN CN202410067466.7A patent/CN117576491B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006335513A (ja) * | 2005-06-01 | 2006-12-14 | Mitsubishi Electric Building Techno Service Co Ltd | エレベータの故障検出装置及びその故障検出方法並びにエレベータ装置の改修方法 |
| WO2011158301A1 (ja) * | 2010-06-18 | 2011-12-22 | 株式会社 日立製作所 | エレベータシステム |
| CN107298354A (zh) * | 2017-07-13 | 2017-10-27 | 广州日滨科技发展有限公司 | 电梯门机运行状态监测方法、装置和系统 |
| CN108861985A (zh) * | 2018-07-25 | 2018-11-23 | 深圳万发创新进出口贸易有限公司 | 一种电梯门机运行状态智能监测系统 |
| CN110589647A (zh) * | 2019-08-13 | 2019-12-20 | 福建工程学院 | 一种通过监控对电梯门进行实时故障检测及预测的方法 |
| CN110589650A (zh) * | 2019-09-23 | 2019-12-20 | 猫岐智能科技（上海）有限公司 | 设备运行异常判断系统 |
| CN110626900A (zh) * | 2019-09-23 | 2019-12-31 | 猫岐智能科技（上海）有限公司 | 设备运行异常判断方法 |
| CN111759213A (zh) * | 2020-03-19 | 2020-10-13 | 广东蓝水花智能电子有限公司 | 一种升降电梯故障监测方法 |
| CN111731962A (zh) * | 2020-06-29 | 2020-10-02 | 浙江新再灵科技股份有限公司 | 一种用于门的开合故障检测方法及检测预警系统 |
| CN112347862A (zh) * | 2020-10-20 | 2021-02-09 | 浙江新再灵科技股份有限公司 | 一种基于机器视觉的电梯门故障实时检测方法 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN115893136A (zh) * | 2021-09-29 | 2023-04-04 | 株式会社日立制作所 | 电梯故障预警方法及装置 |
| EP4261172A1 (en) * | 2022-04-14 | 2023-10-18 | Hitachi Building Systems Co., Ltd. | Abnormality diagnosis device for elevator, elevator system, abnormality diagnosis method for elevator, and abnormality diagnosis program for elevator |
| CN116030420A (zh) * | 2023-02-22 | 2023-04-28 | 常熟理工学院 | 多源数据融合的电梯安全运行监测方法 |
| CN116477435A (zh) * | 2023-04-07 | 2023-07-25 | 菱王电梯有限公司 | 一种电梯及其异常检测方法、装置和存储介质 |
| CN116664518A (zh) * | 2023-05-31 | 2023-08-29 | 广州高新兴机器人有限公司 | 消防通道门关门器异常检测方法、系统及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 包健;魏丽娜;赵建勇;: "基于有限状态机的电梯控制系统故障诊断方法", 计算机应用, no. 06, 1 June 2012 (2012-06-01) * |
| 金晓磊;潘鹏;: "机器人视觉的电梯轿厢门状态识别系统", 单片机与嵌入式系统应用, no. 04, 1 April 2018 (2018-04-01) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576491B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Unsupervised anomaly detection of industrial robots using sliding-window convolutional variational autoencoder | |
| CN107941537B (zh) | 一种机械设备健康状态评估方法 | |
| US10901832B2 (en) | System for maintenance recommendation based on failure prediction | |
| US20070239629A1 (en) | Cluster Trending Method for Abnormal Events Detection | |
| JP2004524609A (ja) | 予測状態監視における変化状態の適応モデリング | |
| CN107886055A (zh) | 一种用于车辆运动方向判定的逆行检测方法 | |
| CN112629905A (zh) | 基于深度学习的设备异常检测方法、系统及计算机介质 | |
| CN102257448B (zh) | 使用切换模型对信号进行滤波的方法和设备 | |
| CN109675935A (zh) | 一种变控制限的ipca轧制过程在线故障诊断方法 | |
| CN111807183A (zh) | 基于深度学习的电梯门状态智能检测方法 | |
| CN115980050B (zh) | 排水口的水质检测方法、装置、计算机设备及存储介质 | |
| CN112597877A (zh) | 一种基于深度学习的厂区人员异常行为检测方法 | |
| CN110597235A (zh) | 一种通用智能故障诊断方法 | |
| CN116343265A (zh) | 一种全监督视频行人重识别方法、系统、设备及介质 | |
| CN117576491B (zh) | 电梯门故障检测方法、电梯门故障发生率预测方法及装置 | |
| US20220201374A1 (en) | Data processing system, data processing method, program, sensor apparatus, and receiving apparatus | |
| CN110727669A (zh) | 一种电力系统传感器数据清理装置及清理方法 | |
| CN113014870B (zh) | 一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法 | |
| CN116055516A (zh) | 一种基于工业物联网的自动化监控系统 | |
| Ye | Fabric defect detection using fuzzy inductive reasoning based on image histogram statistic variables | |
| CN112733446A (zh) | 一种数据驱动的自适应异常检测方法 | |
| CN117723782B (zh) | 用于桥梁结构健康监测的传感器故障识别定位方法及系统 | |
| Abderrezek et al. | Convolutional autoencoder and bidirectional long short-term memory to estimate remaining useful life for condition based maintenance | |
| CN109632308B (zh) | 一种深沟球滚动轴承内圈故障劣化状态识别方法及系统 | |
| CN118025923A (zh) | 基于深度学习电梯按键无效检测方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |