CN113781427A - 电梯组件状态检测方法、装置、电子设备及存储介质 - Google Patents
电梯组件状态检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113781427A CN113781427A CN202111045115.9A CN202111045115A CN113781427A CN 113781427 A CN113781427 A CN 113781427A CN 202111045115 A CN202111045115 A CN 202111045115A CN 113781427 A CN113781427 A CN 113781427A
- Authority
- CN
- China
- Prior art keywords
- image information
- elevator
- steel belt
- traction steel
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 241
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 138
- 239000010959 steel Substances 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 70
- 230000008859 change Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 230000006735 deficit Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本公开关于一种电梯组件状态检测方法、装置、电子设备及存储介质，所述方法包括：获取电梯曳引钢带的实时图像信息；基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。本公开能够提高对电梯曳引钢带的检测效率，降低电梯曳引钢带检测的操作难度。
Description
技术领域
本公开涉及深度学习技术领域，尤其涉及一种电梯组件状态检测方法、装置、电子设备及存储介质。
背景技术
得益于政府惠民政策，解决既有社区多层住宅老年人出行难问题，既有社区住宅电梯将逐渐普及，大部分既有社区可加装电梯空间较小，楼层不高，钢带电梯因具备节省建筑空间、使用寿命长、能源使用率高的优点，成为加梯的首选，但钢带可能存在难以用肉眼进行观测的缺陷，从而增加了电梯运行时的安全隐患。
现有技术中，通过获取钢带表面各点与采集装置之间的距离数据，以实现对钢带表面的破损程度进行实时检测，但是这种钢带缺陷检测方法操作难度大，检测效率低。
发明内容
本公开提供一种电梯组件状态检测方法、装置、电子设备及存储介质，可以提高对电梯曳引钢带的检测效率，降低检测难度。
本公开的技术方案如下：
根据本公开实施例提供一种电梯组件状态检测方法，包括：
获取电梯曳引钢带的实时图像信息；
基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
上述技术方案在对电梯曳引钢带进行损伤检测处理过程中，先获取电梯曳引钢带的实时图像信息，再基于损伤检测网络对电梯曳引钢带的实时图像信息进行图像检测，得到电梯曳引钢带的损伤检测结果；即直接通过损伤检测网络对包含电梯曳引钢带的图像进行检测，可得到相应的电梯曳引钢带检测结果，能够提高对电梯曳引钢带的检测效率，降低电梯曳引钢带检测的操作难度。
在一个可选的实施例中，所述损伤检测网络是从本地获取的，所述损伤检测网络包括特征提取层和分类层；
所述基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果包括：
基于所述特征提取层对所述实时图像信息进行特征提取，得到与所述实时图像信息对应的图像特征信息；
基于所述分类层对所述图像特征信息进行分类，得到与所述实时图像信息对应的电梯曳引钢带的损伤分类结果。
上述技术方案中，可从本地直接获取损伤检测网络，并在本地基于损伤检测网络进行图像检测，而不需要从服务器端获取损伤检测网络，也不需要将获取到的数据上传给服务器以使得服务器来执行图像检测的操作，从而能够减少数据处理端与服务器端的数据交互流程，实现算力前置，提升数据处理效率以及数据处理的抗干扰能力；进一步采用包括特征提取层和分类层的轻量级神经网络进行图像检测，能够提升图像检测的处理速度，减少对数据处理端的资源占用，降低实际应用中对数据处理设备算力的要求。
在一个可选的实施例中，所述方法还包括：
在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常时，确定异常电梯曳引钢带对电梯运行状态的影响等级。
上述技术方案中，根据对包含电梯曳引钢带的损伤检测结果，即可确定相应的电梯曳引钢带的异常信息，进而确定对电梯运行状态的影响等级，从而能够及时发现电梯运行过程中所存在的安全隐患，可操作性强。
在一个可选的实施例中，所述方法还包括：
训练所述损伤检测网络；
所述训练所述损伤检测网络的步骤包括：
获取预训练网络；所述预训练网络为与图像检测相关联的已训练网络；
基于所述预训练网络对电梯曳引钢带的样本图像信息进行图像检测，得到所述样本图像信息中所述电梯曳引钢带的图像检测结果；
基于与所述样本图像信息对应的信息标注结果，以及所述样本图像信息中所述电梯曳引钢带的图像检测结果，确定损失信息；
基于所述损失信息对所述预训练网络进行反向传播训练，得到所述损伤检测网络。
上述技术方案中，基于预训练网络以及迁移学习进行网络训练，生成损伤检测网络；即在已有网络的基础上，进一步结合电梯曳引钢带的样本图像信息进行训练，得到适用于对电梯曳引钢带进行损伤检测的网络，能够降低训练损伤检测网络所需的样本数量，降低网络训练的难度，提升网络的训练速度。
在一个可选的实施例中，所述方法还包括：
基于所述损伤检测网络对待检测图像信息进行检测，得到对所述待检测图像信息中电梯曳引钢带的损伤检测结果；
从所述待检测图像信息中确定异常图像信息；所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述异常图像信息对应的电梯曳引钢带的损伤标注结果不一致；
基于所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述损伤标注结果，对所述损伤检测网络进行训练。
上述技术方案中，基于异常图像信息对应的损伤检测结果以及损伤标注结果，对损伤检测网络再进行训练，以使得损伤检测网络能够充分学习到异常图像信息中的图像特征，从而提高训练后损伤检测网络的网络精度。
在一个可选的实施例中，所述方法还包括：
获取电梯井道的形状变化信息，以及位置变化信息；
基于所述形状变化信息以及所述位置变化信息，确定所述电梯井道的检测结果。
上述技术方案中，在对电梯曳引钢带进行检测的基础上，进一步结合电梯井道的形状变化信息以及位置变化信息，以实现从多维度对电梯组件进行检测，凸显全面性。
在一个可选的实施例中，所述方法还包括：
在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常，以及所述电梯井道的检测结果指示所述电梯井道处于异常状态时，确定异常电梯曳引钢带，以及异常电梯井道对电梯运行状态的影响等级。
上述技术方案中，集合电梯曳引钢带的异常信息以及电梯井道的异常信息，实现了从多维度对电梯进行监控，能够及时发现电梯运行过程中存在的安全隐患，提高电梯异常检测的效率。
另一方面，根据本公开实施例还提供一种电梯组件状态检测装置，包括：
实时图像获取模块，用于获取电梯曳引钢带的实时图像信息；
损伤检测模块，用于基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
在一个可选的实施例中，所述损伤检测网络是从本地获取的，所述损伤检测网络包括特征提取层和分类层；所述损伤检测模块包括：
特征提取模块，用于基于所述特征提取层对所述实时图像信息进行特征提取，得到与所述实时图像信息对应的图像特征信息；
分类模块，用于基于所述分类层对所述图像特征信息进行分类，得到与所述实时图像信息对应的电梯曳引钢带的损伤分类结果。
在一个可选的实施例中，所述装置还包括：
第一确定模块，用于在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常时，确定异常电梯曳引钢带对电梯运行状态的影响等级。
在一个可选的实施例中，所述装置还包括：
损伤检测网络训练模块，用于训练所述损伤检测网络；
所述损伤检测网络训练模块包括：
预训练网络获取模块，用于获取预训练网络；所述预训练网络为与图像检测相关联的已训练网络；
第一检测模块，用于基于所述预训练网络对电梯曳引钢带的样本图像信息进行图像检测，得到所述样本图像信息中所述电梯曳引钢带的图像检测结果；
损失信息确定模块，用于基于与所述样本图像信息对应的信息标注结果，以及所述样本图像信息中所述电梯曳引钢带的图像检测结果，确定损失信息；
反向传播模块，用于基于所述损失信息对所述预训练网络进行反向传播训练，得到所述损伤检测网络。
在一个可选的实施例中，所述装置还包括：
第二检测模块，用于基于所述损伤检测网络对待检测图像信息进行检测，得到对所述待检测图像信息中电梯曳引钢带的损伤检测结果；
第二确定模块，用于从所述待检测图像信息中确定异常图像信息；所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述异常图像信息对应的电梯曳引钢带的损伤标注结果不一致；
重复训练模块，用于基于所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述损伤标注结果，对所述损伤检测网络进行训练。
第二确定模块，用于确定所述电梯曳引钢带的样本图像信息中的异常样本图像信息；
重复训练模块，用于基于所述异常样本图像信息对所述预训练网络进行重复训练。
在一个可选的实施例中，所述装置还包括：
信息获取模块，用于获取电梯井道的形状变化信息，以及位置变化信息；
第三确定模块，用于基于所述形状变化信息以及所述位置变化信息，确定所述电梯井道的检测结果。
在一个可选的实施例中，所述装置还包括：
第四确定模块，用于在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常，以及所述电梯井道的检测结果指示所述电梯井道处于异常状态时，确定异常电梯曳引钢带，以及异常电梯井道对电梯运行状态的影响等级。
另一方面，根据本公开实施例还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的方法。
另一方面，根据本公开实施例还提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例上述任一所述方法。
另一方面，根据本公开实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的上述任一所述方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图；
图2是根据一示例性实施例示出的一种电梯组件状态检测方法的流程图；
图3是根据一示例性实施例示出的一种电梯曳引钢带的损伤检测方法流程图；
图4是根据一示例性实施例示出的损伤检测网络结构示意图；
图5是根据一示例性实施例示出的一种损伤检测网络训练方法流程图；
图6是根据一示例性实施例示出的另一种损伤检测网络训练方法流程图；
图7是根据一示例性实施例示出的一种电梯井道检测方法流程图；
图8是根据一示例性实施例示出的一种电梯组件状态检测装置示意图；
图9是根据一示例性实施例示出的一种用于电梯组件状态检测的电子设备的框图；
图10是根据一示例性实施例示出的一种用于电梯组件状态检测的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。
在一个可选的实施例中，服务器100可以用于训练能够进行电梯曳引钢带检测的损伤检测网络。具体的，服务器100可以是独立服务器，也可以是多个服务器构成的服务器集群或者分布式系统。
在一个可选的实施例中，终端200可以结合服务器100训练出的损伤检测网络对待电梯曳引钢带进行实时检测。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如损伤检测网络也可以在终端200实现等。
本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
图2是根据一示例性实施例示出的一种电梯组件状态检测方法的流程图，如图2所示，该电梯组件状态检测方法可用于终端、服务器、边缘计算节点等电子设备中，该方法可以包括：
S210.获取电梯曳引钢带的实时图像信息。
在一个具体实施例中，可通过安装于电梯轿厢顶部的图像采集设备采集电梯曳引钢带的实时视频信息，由于实时视频信息时动态信息，为了便于后续进行图像检测处理，可以将动态的实时视频信息转换为静态的图像信息，具体可以是对实时视频信息进行帧划分，得到实时图像信息，实时图像信息中包括至少一个图像帧。
S220.基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
在一个可选实施例中，终端、服务器、边缘计算节点等电子设备均可用于训练生成损伤检测网络，本公开实施例不作具体限定。
在一个具体实施例中，损伤检测网络可存储于数据处理端本地，数据处理端具体可以为安装在电梯或者建筑物内部的边缘计算设备或者便于计算终端等，从而在基于数据处理端对电梯曳引钢带进行损伤检测处理时，直接从本地获取损伤检测网络，并在本地基于损伤检测网络进行图像检测，而不需要从其他端获取损伤检测网络，也不需要将获取到的数据上传给服务器以使得服务器来执行图像检测的操作，从而能够减少数据处理端与服务器端的数据交互流程，实现算力前置，提升数据处理效率以及数据处理的抗干扰能力。
在一个可选实施例中，损伤检测网络可包括特征提取层和分类层；相应地，请参阅图3，其示出了一种电梯曳引钢带的损伤检测方法，该方法可包括：
S310.基于所述特征提取层对所述实时图像信息进行特征提取，得到与所述实时图像信息对应的图像特征信息。
S320.基于所述分类层对所述图像特征信息进行分类，得到与所述实时图像信息对应的电梯曳引钢带的损伤分类结果。
上述技术方案中，采用包括特征提取层和分类层的轻量级神经网络进行图像检测，能够提升图像检测的处理速度，减少对数据处理端的资源占用，降低实际应用中对数据处理设备算力的要求。
在一个具体实施例中，请参阅图4，其示出了损伤检测网络示意图；特征提取层可包括M个卷积层以及相应的池化层，分类层包括N个全连接层；即使用M个卷积层以及相应的池化层来提取实时图像信息中的图像特征，通过N个全连接层对图像特征信息进行分类，并将最后一个全连接层的输出作为分类的预测，具体的预测结果可以为实时图像信息中电梯曳引钢带属于每个分类的概率。具体的分类可包括：电梯曳引钢带无损伤、电梯曳引钢带胶皮开裂、电梯曳引钢带胶皮鼓包等。
在一个可选实施例中，为了进一步提高损伤检测网络的训练效率以及使用效率，可使用小尺寸的卷积核来进行图像特征的提取，例如可使用3×3，或者1×1的卷积核，使用小尺寸的卷积核能够有效地减少网络参数的个数，节省网络训练以及使用所需的资源，从而提高网络训练以及使用的效率和速度。
在一个具体实施例中，在损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常时，确定异常电梯曳引钢带对电梯运行状态的影响等级。由于电梯曳引钢带的表面异常可能存在多种类型的异常，对于不同类型的异常，其可能对电梯运行的影响程度是不同的，从而可以基于检测出的电梯曳引钢带的异常分类结果，确定相应的影响等级，以便于维修人员基于相应的影响等级确定相应的维修措施；即能够及时发现电梯运行过程中所存在的安全隐患，可操作性强。
本公开实施例还可包括训练损伤检测网络的方法步骤；在一个可选实施例中，请参阅图5，其示出了一种损伤检测网络训练方法，该方法可包括：
S510.获取预训练网络；所述预训练网络为与图像检测相关联的已训练网络。
S520.基于所述预训练网络对电梯曳引钢带的样本图像信息进行图像检测，得到所述样本图像信息中所述电梯曳引钢带的图像检测结果。
S530.基于与所述样本图像信息对应的信息标注结果，以及所述样本图像信息中所述电梯曳引钢带的图像检测结果，确定损失信息。
S540.基于所述损失信息对所述预训练网络进行反向传播训练，得到所述损伤检测网络。
预训练网络可以是指已经被训练过的网络，为了能够使得训练后的网络能够应用于电梯曳引钢带检测场景中，本公开实施例中获取的预训练网络可以是与图像检测相关联的已训练网络，具体可以是用于非电梯曳引钢带检测领域的图像检测分类的网络，预训练网络已经具备了一定的图像检测分类能力，在该预训练网络的基础上进行迁移学习，采用少量的电梯曳引钢带样本图像信息对预训练网络进行训练，即可得到适用于电梯曳引钢带检测场景的损伤检测网络，从而实现了基于非电梯曳引钢带检测领域的图像检测分类网络进行训练，得到用于电梯曳引钢带检测领域的图像检测分类网络；能够降低训练损伤检测网络所需的样本数量，降低网络训练的难度，提升网络的训练速度。
在一个可选的实施例中，在输出的分类类别数量较多等情况下，为了适配相应的分类类别，也可基于预设的深度学习网络从头开始训练损伤检测网络。
在一个可选的实施例中，请参阅图6，其示出了另一种损伤检测网络训练方法，该方法可包括：
S610.基于所述损伤检测网络对待检测图像信息进行检测，得到对所述待检测图像信息中电梯曳引钢带的损伤检测结果。
S620.从所述待检测图像信息中确定异常图像信息；所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述异常图像信息对应的电梯曳引钢带的损伤标注结果不一致。
S630.基于所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述损伤标注结果，对所述损伤检测网络进行训练。
在一个具体实施例中，待检测图像信息可以是指验证集中的图像信息，也可以是指实际检测过程中的图像信息。若待检测图像信息为验证集中的图像信息，相应会有与待检测图像信息对应的标注信息，采用损伤检测网络对待检测图像信息进行检测，会得到对待检测图像信息中电梯曳引钢带的损伤检测结果，基于损伤检测结果以及相应的标注信息，确定待检测图像信息是否为异常图像信息。若待检测图像信息为实际检测过程中的实际图像信息，需要对实际图像信息进行检测结果标注，然后将基于损伤检测网络得到的损伤检测网络以及标注的检测标注结果进行比较，确定实际图像信息是否为异常图像信息。
在一个具体实施例中，可以预设的时间间隔对实际检测过程中的检测结果数据进行采集并分析，从中确定出异常图像信息，即badcase。
上述技术方案中，对于损伤检测结果与损伤标注结果不一致的异常图像信息，可能是因为损伤检测模型没有充分学习到图像中的特征信息，从而基于异常图像信息对应的损伤检测结果以及损伤标注结果，对损伤检测网络再进行训练，以使得损伤检测网络能够充分学习到异常图像信息中的图像特征，从而提高训练后损伤检测网络的网络精度，相应提高检测分类结果的准确性。
在一个可选的实施例中，请参阅图7，其示出了一种电梯井道检测方法，该方法可包括：
S710.获取电梯井道的形状变化信息，以及位置变化信息；
S720.基于所述形状变化信息以及所述位置变化信息，确定所述电梯井道的检测结果。
在一个可选实施例中，可通过安装于建筑物中的物联感知设备获取电梯井道的倾斜、沉降、位移和扭曲等方面的信息，相应可包括从位移计获取电梯井道的位移数据，从测斜仪获取电梯井道的倾斜角度，从水准仪获取电梯井道的垂直位移沉降值，从应变计获取电梯井道的力值及变形量，将从物联感知设备获取的实际电梯井道数据与预设电梯井道数据进行比较，以确定电梯井道的当前状态信息。其中预设电梯井道数据为可用于表征电梯井道处于正常状态的数据。
上述技术方案中，在对电梯曳引钢带进行检测的基础上，进一步结合电梯井道的形状变化信息以及位置变化信息，以实现从多维度对电梯组件进行检测，凸显全面性。
在一个可选的实施例中，所述方法还包括：
在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常，以及所述电梯井道的检测结果指示所述电梯井道处于异常状态时，确定异常电梯曳引钢带，以及异常电梯井道对电梯运行状态的影响等级。
在检测到电梯曳引钢带处于异常状态，输出第一异常告警信息；在电梯井道也处于异常状态时，输出第二异常告警信息；基于第一告警信息和第二告警信息确定相应的异常等级；根据异常等级启动相对应的应急预案，转线下处置。其中，对于电梯曳引钢带，由于电梯曳引钢带的损伤类型不同，从而导致异常状态不同；对于电梯井道，由于不同时刻物联感知设备所感知的实际电梯井道数据相对于预设电梯井道数据的偏移量可能不同，从而导致电梯井道的异常程度不同。基于电梯曳引钢带的不同损伤类型以及电梯井道的不同异常程度，可确定不同的影响等级。
上述技术方案中，集合电梯曳引钢带的异常信息以及电梯井道的异常信息，实现了从多维度对电梯进行监控，能够及时发现电梯运行过程中存在的安全隐患，提高电梯异常检测的效率。
在一个可选实施例中，数据处理端可以为边缘计算节点，边缘计算节点具体可为边缘网关，边缘网关可以实现运行本地计算、消息通信、数据缓存等功能，可以在无需联网的情况实现设备的本地联动以及数据处理分析。边缘网关可对接收到的数据进行处理，具体地，边缘网关所处理的数据具有异构性，这些数据具有多个来源(物联感知设备、数据库、视频文件等)、采用多种格式、涉及不同领域等。同时，数据还含有一定的噪声，可对其进行滤波、清理以及标注等处理。
边缘网关能够基于输入的电梯曳引钢带的实时图像信息对曳引钢带表面进行损伤检测，判断电梯曳引钢带是否有橡胶皮开裂和鼓包等现象；并结合物联感知技术，监测电梯和电梯井道运行状况，实时数据分析，电梯运行状况评价，及时发出预警；算力前置，边缘网关完成视图结构化处理，数据清理，数据分析等，提升异常事件发现和响应能力，抗干扰能力强。
本公开实施例中的物联感知设备以及边缘网关均可以方便地安装于电梯及建设物内部，提高实用性以及可操作性；基于深度学习的方式对电梯曳引钢带进行图像检测，代替了维保人员肉眼去看的检测方式，以实现对电梯曳引钢带损伤的客观性判断；突破了局限在对电梯本身或者建筑物本身检测的方式，综合多维度的数据对电梯组件的运行状态进行检测，凸显全面性。
由以上述本说明书实施例提供的技术方案可见，本说明书实施例中，在对电梯曳引钢带进行损伤检测处理过程中，先获取电梯曳引钢带的实时图像信息，再基于损伤检测网络对电梯曳引钢带的实时图像信息进行图像检测，得到电梯曳引钢带的损伤检测结果；即直接通过损伤检测网络对包含电梯曳引钢带的图像进行检测，可得到相应的电梯曳引钢带检测结果，能够提高对电梯曳引钢带的检测效率，降低电梯曳引钢带检测的操作难度。
图8是根据一示例性实施例示出的一种电梯组件状态检测装置，包括：
实时图像获取模块810，用于获取电梯曳引钢带的实时图像信息；
损伤检测模块820，用于基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
在一个可选的实施例中，所述损伤检测网络是从本地获取的，所述损伤检测网络包括特征提取层和分类层；所述损伤检测模块820包括：
特征提取模块，用于基于所述特征提取层对所述实时图像信息进行特征提取，得到与所述实时图像信息对应的图像特征信息；
分类模块，用于基于所述分类层对所述图像特征信息进行分类，得到与所述实时图像信息对应的电梯曳引钢带的损伤分类结果。
在一个可选的实施例中，所述装置还包括：
第一确定模块，用于在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常时，确定异常电梯曳引钢带对电梯运行状态的影响等级。
在一个可选的实施例中，所述装置还包括：
损伤检测网络训练模块，用于训练所述损伤检测网络；
所述损伤检测网络训练模块包括：
预训练网络获取模块，用于获取预训练网络；所述预训练网络为与图像检测相关联的已训练网络；
第一检测模块，用于基于所述预训练网络对电梯曳引钢带的样本图像信息进行图像检测，得到所述样本图像信息中所述电梯曳引钢带的图像检测结果；
损失信息确定模块，用于基于与所述样本图像信息对应的信息标注结果，以及所述样本图像信息中所述电梯曳引钢带的图像检测结果，确定损失信息；
反向传播模块，用于基于所述损失信息对所述预训练网络进行反向传播训练，得到所述损伤检测网络。
在一个可选的实施例中，所述装置还包括：
第二检测模块，用于基于所述损伤检测网络对待检测图像信息进行检测，得到对所述待检测图像信息中电梯曳引钢带的损伤检测结果；
第二确定模块，用于从所述待检测图像信息中确定异常图像信息；所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述异常图像信息对应的电梯曳引钢带的损伤标注结果不一致；
重复训练模块，用于基于所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述损伤标注结果，对所述损伤检测网络进行训练。
在一个可选的实施例中，所述装置还包括：
信息获取模块，用于获取电梯井道的形状变化信息，以及位置变化信息；
第三确定模块，用于基于所述形状变化信息以及所述位置变化信息，确定所述电梯井道的检测结果。
在一个可选的实施例中，所述装置还包括：
第四确定模块，用于在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常，以及所述电梯井道的检测结果指示所述电梯井道处于异常状态时，确定异常电梯曳引钢带，以及异常电梯井道对电梯运行状态的影响等级。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于电梯组件状态检测的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
图10是根据一示例性实施例示出的一种用于电梯组件状态检测的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电梯组件状态检测方法。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的电梯组件状态检测方法。
在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的电梯组件状态检测方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的电梯组件状态检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种电梯组件状态检测方法，其特征在于，包括：
获取电梯曳引钢带的实时图像信息；
基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
2.根据权利要求1所述的方法，其特征在于，所述损伤检测网络是从本地获取的，所述损伤检测网络包括特征提取层和分类层；
所述基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果包括：
基于所述特征提取层对所述实时图像信息进行特征提取，得到与所述实时图像信息对应的图像特征信息；
基于所述分类层对所述图像特征信息进行分类，得到与所述实时图像信息对应的电梯曳引钢带的损伤分类结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常时，确定异常电梯曳引钢带对电梯运行状态的影响等级。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
训练所述损伤检测网络；
所述训练所述损伤检测网络的步骤包括：
获取预训练网络；所述预训练网络为与图像检测相关联的已训练网络；
基于所述预训练网络对电梯曳引钢带的样本图像信息进行图像检测，得到所述样本图像信息中所述电梯曳引钢带的图像检测结果；
基于与所述样本图像信息对应的信息标注结果，以及所述样本图像信息中所述电梯曳引钢带的图像检测结果，确定损失信息；
基于所述损失信息对所述预训练网络进行反向传播训练，得到所述损伤检测网络。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述损伤检测网络对待检测图像信息进行检测，得到对所述待检测图像信息中电梯曳引钢带的损伤检测结果；
从所述待检测图像信息中确定异常图像信息；所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述异常图像信息对应的电梯曳引钢带的损伤标注结果不一致；
基于所述异常图像信息对应的电梯曳引钢带的损伤检测结果，与所述损伤标注结果，对所述损伤检测网络进行训练。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取电梯井道的形状变化信息，以及位置变化信息；
基于所述形状变化信息以及所述位置变化信息，确定所述电梯井道的检测结果。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述损伤检测结果指示所述实时图像信息中的所述电梯曳引钢带的表面异常，以及所述电梯井道的检测结果指示所述电梯井道处于异常状态时，确定异常电梯曳引钢带，以及异常电梯井道对电梯运行状态的影响等级。
8.一种电梯组件状态检测装置，其特征在于，包括：
实时图像获取模块，用于获取电梯曳引钢带的实时图像信息；
损伤检测模块，用于基于损伤检测网络对所述实时图像信息进行图像检测，得到所述实时图像信息中所述电梯曳引钢带的损伤检测结果。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的电梯组件状态检测方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的电梯组件状态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045115.9A CN113781427A (zh) | 2021-09-07 | 2021-09-07 | 电梯组件状态检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045115.9A CN113781427A (zh) | 2021-09-07 | 2021-09-07 | 电梯组件状态检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113781427A true CN113781427A (zh) | 2021-12-10 |
Family
ID=78841550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111045115.9A Pending CN113781427A (zh) | 2021-09-07 | 2021-09-07 | 电梯组件状态检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781427A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013203498A (ja) * | 2012-03-27 | 2013-10-07 | Toshiba Corp | エレベータ |
| CN106395557A (zh) * | 2016-06-20 | 2017-02-15 | 南通三洋电梯有限责任公司 | 一种电梯曳引机钢丝绳状态在线检测系统及其检测方法 |
| CN108510488A (zh) * | 2018-03-30 | 2018-09-07 | 安徽理工大学 | 基于残差网络的输送带四种损伤检测方法 |
| CN109626166A (zh) * | 2019-01-03 | 2019-04-16 | 日立楼宇技术（广州）有限公司 | 电梯状态检测方法、装置、系统和存储介质 |
| WO2020021631A1 (ja) * | 2018-07-24 | 2020-01-30 | 三菱電機株式会社 | 健全性診断装置 |
| CN112258444A (zh) * | 2020-07-13 | 2021-01-22 | 安徽机电职业技术学院 | 一种电梯钢丝绳检测方法 |
-
2021
- 2021-09-07 CN CN202111045115.9A patent/CN113781427A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013203498A (ja) * | 2012-03-27 | 2013-10-07 | Toshiba Corp | エレベータ |
| CN106395557A (zh) * | 2016-06-20 | 2017-02-15 | 南通三洋电梯有限责任公司 | 一种电梯曳引机钢丝绳状态在线检测系统及其检测方法 |
| CN108510488A (zh) * | 2018-03-30 | 2018-09-07 | 安徽理工大学 | 基于残差网络的输送带四种损伤检测方法 |
| WO2020021631A1 (ja) * | 2018-07-24 | 2020-01-30 | 三菱電機株式会社 | 健全性診断装置 |
| CN109626166A (zh) * | 2019-01-03 | 2019-04-16 | 日立楼宇技术（广州）有限公司 | 电梯状态检测方法、装置、系统和存储介质 |
| CN112258444A (zh) * | 2020-07-13 | 2021-01-22 | 安徽机电职业技术学院 | 一种电梯钢丝绳检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王兆琦;仇润鹤;尹苏东;: "基于图像处理的电梯钢丝绳检测系统", 微计算机信息, no. 07, 15 July 2011 (2011-07-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190285517A1 (en) | Method for evaluating health status of mechanical equipment | |
| CN111858973B (zh) | 多媒体事件信息的检测方法、装置、服务器及存储介质 | |
| CN110890102A (zh) | 一种基于rnn声纹识别的发动机缺陷检测算法 | |
| CN111831430A (zh) | 一种基于边缘计算的电力设备缺陷识别系统 | |
| WO2020115456A1 (en) | Method and system for monitoring a remote system | |
| CN114615086B (zh) | 一种车载can网络入侵检测方法 | |
| CN114492642A (zh) | 一种多尺度元深度残差收缩网络的机械故障在线诊断方法 | |
| CN114861349B (zh) | 一种基于模型迁移和维纳过程的滚动轴承rul预测方法 | |
| CN115599077A (zh) | 车辆故障定界方法、装置、电子设备及存储介质 | |
| CN118410428A (zh) | 一种地铁隧道自动化监测方法、系统、设备和介质 | |
| CN117456417A (zh) | 交通异常事件感知方法、系统、电子设备及存储介质 | |
| CN113469013A (zh) | 一种基于迁移学习和时间序列的电机故障预测方法及系统 | |
| CN113781427A (zh) | 电梯组件状态检测方法、装置、电子设备及存储介质 | |
| CN117129815A (zh) | 一种基于物联网的多劣化绝缘子综合检测方法和系统 | |
| CN117456609A (zh) | 一种异常行为检测方法、装置、设备及存储介质 | |
| CN113080907A (zh) | 脉搏波信号处理方法及装置 | |
| CN117036732A (zh) | 一种基于融合模型的机电设备检测系统、方法及设备 | |
| CN111062827A (zh) | 一种基于人工智能模式的工程监理方法 | |
| CN116628564A (zh) | 用于检测发电机状态的模型训练方法和系统 | |
| CN111080672A (zh) | 安全预警方法、装置、计算设备及存储介质 | |
| US20220187789A1 (en) | Equipment failure diagnosis apparatus, equipment failure diagnosis method, smart factory system and application agent | |
| CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及系统 | |
| CN115062867A (zh) | 基于Teager能量谱和改进型CNN模型的轴承故障预测方法 | |
| CN115171021A (zh) | 一种基于gpu的乘客实时交互处理方法和系统 | |
| CN115116119A (zh) | 一种基于数字图像处理技术的人脸识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |