CN117485842A - 门式斗轮机轮斗横梁姿态实时监测方法及其系统 - Google Patents

门式斗轮机轮斗横梁姿态实时监测方法及其系统 Download PDF

Info

Publication number
CN117485842A
CN117485842A CN202311453163.0A CN202311453163A CN117485842A CN 117485842 A CN117485842 A CN 117485842A CN 202311453163 A CN202311453163 A CN 202311453163A CN 117485842 A CN117485842 A CN 117485842A
Authority
CN
China
Prior art keywords
wheel
bucket
bending deformation
cross beam
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311453163.0A
Other languages
English (en)
Inventor
赵霞
孙新佳
田宏哲
刘鹏飞
刘畅
王雅宾
苏睿之
张�浩
刘先春
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huaneng Xinrui Control Technology Co Ltd
Original Assignee
Beijing Huaneng Xinrui Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huaneng Xinrui Control Technology Co Ltd filed Critical Beijing Huaneng Xinrui Control Technology Co Ltd
Priority to CN202311453163.0A priority Critical patent/CN117485842A/zh
Publication of CN117485842A publication Critical patent/CN117485842A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G65/00—Loading or unloading
    • B65G65/02—Loading or unloading machines comprising essentially a conveyor for moving the loads associated with a device for picking-up the loads
    • B65G65/04—Loading or unloading machines comprising essentially a conveyor for moving the loads associated with a device for picking-up the loads with pick-up shovels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G65/00—Loading or unloading
    • B65G65/28—Piling or unpiling loose materials in bulk, e.g. coal, manure, timber, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种门式斗轮机轮斗横梁姿态实时监测方法及其系统。其首先获取由摄像头采集的轮斗横梁的轮斗横梁图像，接着，获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量，然后，将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量，接着，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图，然后，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征，最后，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。本发明的监测方法和系统可以提高监测效率和准确性。

Description

门式斗轮机轮斗横梁姿态实时监测方法及其系统
技术领域
本申请涉及智能化监测领域，且更为具体地，涉及一种门式斗轮机轮斗横梁姿态实时监测方法及其系统。
背景技术
门式斗轮机是一种用于装卸散状物料(如煤炭、矿石等)的大型机械设备，其由大型的门式结构和悬挂在门式结构上的斗轮机构成，广泛应用于火力发电厂等领域。斗轮机的轮斗横梁是承受载荷和弯矩的关键部件，其安全性对于保障装卸作业的顺利进行至关重要。
然而，由于长期的工作环境和负荷变化，轮斗横梁可能发生变形、疲劳裂纹等损伤，影响门式斗轮机的安全性和可靠性。因此，对轮斗横梁的姿态和变形情况进行实时监测，及时发现异常情况并进行预警，是保障门式斗轮机正常安全运行的重要措施。
但是，传统的门式斗轮机轮斗横梁监测方案主要依靠专业人员进行定期的巡检和监测，这种方式需要花费大量的人力和时间成本，监测效率和准确度较低。并且，传统方法只能在定期巡检时获取轮斗横梁的状态信息，无法实时监测轮斗横梁姿态和变形情况，因此在巡检过程中，可能会错过一些潜在的问题或异常情况，而一旦发生异常，可能会延误处理的时机，增加安全风险。
因此，期望一种门式斗轮机轮斗横梁姿态实时监测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种门式斗轮机轮斗横梁姿态实时监测方法及其系统，其可以实现对门式斗轮机的轮斗横梁姿态和变形情况的实时监测，提高监测效率和准确性，这有助于及时发现轮斗横梁的异常情况并采取相应的措施，确保斗轮机的安全运行。
根据本申请的一个方面，提供了一种门式斗轮机轮斗横梁姿态实时监测方法，其包括：
获取由摄像头采集的轮斗横梁的轮斗横梁图像；
获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；
将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；
对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；
将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及
基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
根据本申请的另一个方面，提供了一种门式斗轮机轮斗横梁姿态实时监测系统，其包括：
图像获取模块，用于获取由摄像头采集的轮斗横梁的轮斗横梁图像；
弯曲变形量获取模块，用于获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；
向量化模块，用于将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；
图像特征分析模块，用于对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；
跨模态元融合特征分析模块，用于将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及
安全分析模块，用于基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
与现有技术相比，本申请提供的门式斗轮机轮斗横梁姿态实时监测方法及其系统，其首先获取由摄像头采集的轮斗横梁的轮斗横梁图像，接着，获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量，然后，将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量，接着，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图，然后，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征，最后，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。这样，可以提高监测效率和准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的流程图。
图2为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的架构示意图。
图3为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的子步骤S150的流程图。
图4为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的子步骤S160的流程图。
图5为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的子步骤S161的流程图。
图6为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的子步骤S162的流程图。
图7为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测系统的框图。
图8为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为通过摄像头采集轮斗横梁的轮斗横梁图像，并通过位移传感器实时监测采集轮斗横梁的弯曲变形量，然后在后端引入数据处理和分析算法来进行所述轮斗横梁图像和所述轮斗横梁的弯曲变形量的时序分布的协同分析，以此来进行门式斗轮机的轮斗横梁状态的实时监测和预警，通过这样的方式，能够实现对门式斗轮机的轮斗横梁姿态和变形情况的实时监测，提高了监测效率和准确性，有助于及时发现轮斗横梁的异常情况并采取相应的措施，以确保斗轮机的安全运行。
图1为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的流程图。图2为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的架构示意图。如图1和图2所示，根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法，包括步骤：S110，获取由摄像头采集的轮斗横梁的轮斗横梁图像；S120，获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；S130，将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；S140，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；S150，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及，S160，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的轮斗横梁的轮斗横梁图像，并获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量。接着，考虑到由于所述轮斗横梁的弯曲变形量在时间维度上是不断变化的，也就是说，所述弯曲变形量具有着时序的动态变化规律，因此，需要将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量，以此来整合所述弯曲变形量在时序上的分布信息，以便于对于所述轮斗横梁的弯曲变形情况进行时序分析和特征刻画。
然后，使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的轮斗横梁姿势特征提取器来对所述轮斗横梁图像进行特征挖掘，以提取出所述轮斗横梁图像中有关于轮斗横梁的姿态特征分布信息，从而得到轮斗横梁特征图。
相应地，在步骤S140中，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图，包括：将所述轮斗横梁图像通过基于卷积神经网络模型的轮斗横梁姿势特征提取器以得到所述轮斗横梁特征图。
值得一提的是，卷积神经网络(Convolutional Neural Network，CNN)是一种深度学习模型，专门用于处理具有网格结构的数据，如图像和视频。卷积神经网络通过在输入数据上进行卷积操作和非线性激活函数的组合，逐层提取图像的特征。它具有以下几个重要的组成部分：1.卷积层(Convolutional Layer)：卷积层通过滑动窗口的方式在输入数据上进行卷积操作，提取局部特征。每个卷积层包含多个卷积核(或滤波器)，每个卷积核学习不同的特征。2.池化层(Pooling Layer)：池化层用于降低特征图的空间尺寸，减少参数数量，同时保留重要的特征。常用的池化操作有最大池化和平均池化。3.非线性激活函数(Activation Function)：激活函数引入非线性变换，增加网络的表达能力。常用的激活函数有ReLU、Sigmoid和Tanh等。4.全连接层(Fully Connected Layer)：全连接层将前面卷积和池化层提取的特征进行展平，并通过全连接操作进行分类或回归等任务。卷积神经网络模型在图像处理中的应用非常广泛。对于轮斗横梁图像，可以通过基于卷积神经网络模型的轮斗横梁姿势特征提取器，提取轮斗横梁的特征图。这些特征图可以包含轮斗横梁的形状、纹理、边缘等信息，有助于后续的轮斗横梁识别、分类或其他相关任务。通过训练卷积神经网络模型，可以自动学习轮斗横梁的特征表示，提高对轮斗横梁图像的理解和处理能力。
应可以理解，所述轮斗横梁特征图是通过卷积神经网络模型提取的关于轮斗横梁的姿态特征，它可以提供关于轮斗横梁的形状、位置和角度等信息，有助于判断轮斗横梁是否存在异常情况。而所述弯曲变形量时序输入向量则是通过位移传感器采集的轮斗横梁在预定时间段内多个预定时间点的弯曲变形量的时序分布集合，它可以反映出轮斗横梁的变形情况，包括弯曲程度、变形速率等信息，有助于判断轮斗横梁是否存在变形异常。因此，通过将这两种关于轮斗横梁的不同类型特征信息进行融合，可以综合考虑轮斗横梁的姿态和变形情况，从而可以更全面地描述轮斗横梁的状态特征，提高对轮斗横梁监测的准确性和可靠性。基于此，在本申请的技术方案中，进一步将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图。应可以理解，所述跨模态元融合模块能够将关于轮斗横梁的两种不同类型特征信息进行有效的融合，使得关于轮斗横梁的姿态特征和变形特征能够相互补充，从而得到更具信息量和判别能力的特征表示，有利于更为准确地进行轮斗横梁的安全检测和预警。
相应地，在步骤S150中，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征，包括：将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征。应可以理解，跨模态元融合模块(Cross-Modal Fusion Module)用于将不同模态(例如图像和时序输入向量)的特征进行融合，以获取融合后的特征表示。在这种情况下，跨模态元融合模块用于将轮斗横梁特征图和弯曲变形量时序输入向量进行融合，生成融合了弯曲变形时序特征的轮斗横梁特征。跨模态元融合模块的作用是将不同模态的信息结合起来，以获得更全面、更丰富的特征表示。通过融合不同模态的特征，可以利用它们之间的互补性，提供更多的信息和上下文，从而改善后续任务的性能。在轮斗横梁的应用中，跨模态元融合模块可以将轮斗横梁特征图和弯曲变形量时序输入向量进行融合，生成融合了弯曲变形时序特征的轮斗横梁特征。这样的融合特征可以同时包含轮斗横梁的形状、纹理等图像特征以及弯曲变形的时序信息。通过综合考虑这些不同模态的特征，可以更好地理解轮斗横梁的状态和变形情况，提高轮斗横梁的分析、识别或其他相关任务的准确性和鲁棒性。
更具体地，如图3所示，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征，包括：S151，将所述弯曲变形量时序输入向量通过所述跨模态元融合模块的一维卷积层以得到弯曲变形量时序特征向量；以及，S152，将所述弯曲变形量时序特征向量作为通道加权向量对所述轮斗横梁特征图进行沿通道维度的加权处理以得到所述融合弯曲变形时序特征的轮斗横梁特征图。
值得一提的是，一维卷积层(1D Convolutional Layer)是卷积神经网络中的一种层类型，用于处理一维序列数据，例如时间序列数据或文本数据。与二维卷积层(用于处理图像数据)类似，一维卷积层通过滑动窗口的方式在输入数据上进行卷积操作，提取局部特征。一维卷积层的滑动窗口只在一个维度上移动，通常是在时间维度上。一维卷积层的输入通常是一个形状为(序列长度，特征维度)的张量。卷积层包含多个卷积核(或滤波器)，每个卷积核学习不同的特征。在一维卷积操作中，卷积核沿着序列长度的方向对输入进行卷积运算，并通过非线性激活函数引入非线性变换。一维卷积层的输出通常是一个形状为(输出长度，特征维度)的特征图。输出长度取决于卷积层的超参数设置，可以通过调整卷积核的大小、步幅(stride)和填充(padding)来控制输出的长度。一维卷积层在处理序列数据时具有以下优势：1.局部特征提取：一维卷积层可以通过滑动窗口的方式提取序列数据的局部特征，捕捉到不同位置的模式和结构。2.参数共享：一维卷积层的卷积核在序列的不同位置上共享参数，减少了模型的参数量，提高了模型的效率。3.平移不变性：一维卷积层通过对序列进行卷积操作，可以在一定程度上实现平移不变性，即对于同一模式在序列中的不同位置，可以得到相似的特征表示。通过在跨模态元融合模块中使用一维卷积层，可以对弯曲变形量时序输入向量进行卷积操作，提取序列的时序特征。这些特征可以包含序列的动态变化、趋势、周期性等信息，有助于后续的分析和处理任务。
继而，再将所述融合弯曲变形时序特征的轮斗横梁特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生轮斗横梁安全预警。也就是说，利用所述轮斗横梁的姿态特征和弯曲变形特征间的跨模态融合关联特征信息来进行分类处理，从而对于轮斗横梁的状态进行异常检测和安全预警。通过这样的方式，能够实现对门式斗轮机的轮斗横梁姿态和变形情况的实时监测，提高了监测效率和准确性，并有助于及时发现轮斗横梁的异常情况并采取相应的措施，从而确保斗轮机的安全运行。
相应地，如图4所示，在步骤S160中，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警，包括：S161，对所述融合弯曲变形时序特征的轮斗横梁特征图进行特征分布优化以得到优化融合弯曲变形时序特征的轮斗横梁特征图；以及，S162，将所述优化融合弯曲变形时序特征的轮斗横梁特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生轮斗横梁安全预警。应可以理解，在步骤S161中，通过对融合弯曲变形时序特征的轮斗横梁特征图进行特征分布优化，可以进一步提高特征的表达能力和判别能力，特征分布优化可以包括各种技术，例如特征归一化、特征选择、特征降维等。通过优化特征分布，可以使得特征更具有区分度和鉴别力，有助于后续的分类任务。在步骤S162中，通过将优化融合弯曲变形时序特征的轮斗横梁特征图输入到分类器中，可以进行轮斗横梁安全预警的判断。分类器可以是一个训练好的机器学习模型，如支持向量机(SVM)、随机森林(Random Forest)或深度学习模型(如卷积神经网络)。分类器将根据输入的特征图进行分类，输出表示是否产生轮斗横梁安全预警的分类结果。通过这两个步骤的组合，可以基于融合弯曲变形时序特征的轮斗横梁特征，进行特征优化和分类判别，以确定是否产生轮斗横梁安全预警。这样的安全预警系统可以帮助监测和检测轮斗横梁的状态，及时发现异常情况并采取相应的措施，确保轮斗横梁的安全运行。
其中，如图5所示，在步骤S161中，对所述融合弯曲变形时序特征的轮斗横梁特征图进行特征分布优化以得到优化融合弯曲变形时序特征的轮斗横梁特征图，包括：S1611，计算所述轮斗横梁特征图沿通道维度的各个特征矩阵的全局均值以得到轮斗横梁特征向量；S1612，以所述轮斗横梁特征向量对所述弯曲变形量时序特征向量进行优化以得到优化弯曲变形量时序特征向量；以及，S1613，以所述优化弯曲变形量时序特征向量对所述轮斗横梁特征图进行沿通道维度的加权处理以得到所述优化融合弯曲变形时序特征的轮斗横梁特征图。
特别地，在本申请的技术方案中，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块得到所述融合弯曲变形时序特征的轮斗横梁特征图时，是以所述弯曲变形量时序输入向量通过一维卷积层获得的弯曲变形量时序特征向量作为通道加权向量，来对所述轮斗横梁特征图沿通道进行加权，从而得到所述融合弯曲变形时序特征的轮斗横梁特征图。
基于此，本申请的申请人考虑到所述轮斗横梁特征图的每个特征矩阵表达轮斗横梁图像的局部图像邻域特征，而各个特征矩阵之间遵循所述卷积神经网络模型的通道分布，而所述弯曲变形量时序特征向量则表达样本间弯曲变形量局部时域关联特征，因此，所述轮斗横梁特征图在其通道维度上的特征分布强度要强于所述弯曲变形量时序特征向量的特征分布强度，也就是，所述轮斗横梁特征图和所述弯曲变形量时序特征向量的特征分布强度存在相对于分类结果的目标分布的不平衡，从而影响所述融合弯曲变形时序特征的轮斗横梁特征图通过分类器得到的分类结果的准确性。
因此，优选地，首先计算所述轮斗横梁特征图的每个特征矩阵的全局均值以获得轮斗横梁特征向量，例如记为V1，再以所述轮斗横梁特征向量V1对所述弯曲变形量时序特征向量，例如记为V2进行优化，以获得优化弯曲变形量时序特征向量，例如记为V2′。
相应地，在一个示例中，以所述轮斗横梁特征向量对所述弯曲变形量时序特征向量进行优化以得到优化弯曲变形量时序特征向量，包括：通过如下优化公式，以所述轮斗横梁特征向量对所述弯曲变形量时序特征向量进行优化以得到所述优化弯曲变形量时序特征向量；其中，所述优化公式为：
其中，V1表示所述轮斗横梁特征向量，V2表示所述弯曲变形量时序特征向量，和/>分别表示所述轮斗横梁特征向量V1和所述弯曲变形量时序特征向量V2的全局均值的倒数，且I是单位向量，⊙表示按位置点乘，/>表示向量加法，/>表示向量减法，V2′表示所述优化弯曲变形量时序特征向量。
也就是，在考虑到基于特征分布强度差异的优化的情况下，如果将所述轮斗横梁特征向量V1视为所述弯曲变形量时序特征向量V2的特征分布增强输入，则考虑到所述弯曲变形量时序特征向量V2的目标特征在类空间内的目标分布信息损失，可能导致类回归目的损失，因此通过对特征分布相对于彼此的离群分布(outlier distribution)进行交叉惩罚的方式，可以在特征插值式融合时实现特征增强和回归鲁棒的自监督式平衡，以基于所述轮斗横梁特征向量V1优化所述弯曲变形量时序特征向量V2，这样，再以优化后的弯曲变形量时序特征向量V2′对所述轮斗横梁特征图沿通道进行加权，从而得到所述融合弯曲变形时序特征的轮斗横梁特征图，就可以提升所述融合弯曲变形时序特征的轮斗横梁特征图通过分类器得到的分类结果的准确性。这样，能够基于门式斗轮机的轮斗横梁姿态和变形情况来对轮斗横梁状态进行实时地异常监测和预警，提高了监测效率和准确性，并有助于及时发现轮斗横梁的异常情况并采取相应的措施，从而确保斗轮机的安全运行。
进一步地，如图6所示，在步骤S162中，将所述优化融合弯曲变形时序特征的轮斗横梁特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生轮斗横梁安全预警，包括：S1621，将所述优化融合弯曲变形时序特征的轮斗横梁特征图按照行向量或者列向量展开为优化分类特征向量；S1622，使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，S1623，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是，在本申请的技术方案中，所述分类器的标签包括产生轮斗横梁安全预警(第一标签)，以及，不产生轮斗横梁安全预警(第二标签)，其中，所述分类器通过软最大值函数来确定所述优化融合弯曲变形时序特征的轮斗横梁特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否产生轮斗横梁安全预警”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否产生轮斗横梁安全预警的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否产生轮斗横梁安全预警”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
综上，基于本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法被阐明，其可以实现对门式斗轮机的轮斗横梁姿态和变形情况的实时监测，提高监测效率和准确性，这有助于及时发现轮斗横梁的异常情况并采取相应的措施，确保斗轮机的安全运行。
图7为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测系统100的框图。如图7所示，根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测系统100，包括：图像获取模块110，用于获取由摄像头采集的轮斗横梁的轮斗横梁图像；弯曲变形量获取模块120，用于获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；向量化模块130，用于将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；图像特征分析模块140，用于对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；跨模态元融合特征分析模块150，用于将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及，安全分析模块160，用于基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
在一个示例中，在上述门式斗轮机轮斗横梁姿态实时监测系统100中，所述图像特征分析模块140，用于：将所述轮斗横梁图像通过基于卷积神经网络模型的轮斗横梁姿势特征提取器以得到所述轮斗横梁特征图。
在一个示例中，在上述门式斗轮机轮斗横梁姿态实时监测系统100中，所述跨模态元融合特征分析模块150，用于：将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征。
这里，本领域技术人员可以理解，上述门式斗轮机轮斗横梁姿态实时监测系统100中的各个模块的具体功能和操作已经在上面参考图1到图6的门式斗轮机轮斗横梁姿态实时监测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测系统100可以实现在各种无线终端中，例如具有门式斗轮机轮斗横梁姿态实时监测算法的服务器等。在一个示例中，根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该门式斗轮机轮斗横梁姿态实时监测系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该门式斗轮机轮斗横梁姿态实时监测系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该门式斗轮机轮斗横梁姿态实时监测系统100与该无线终端也可以是分立的设备，并且该门式斗轮机轮斗横梁姿态实时监测系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图8为根据本申请实施例的门式斗轮机轮斗横梁姿态实时监测方法的应用场景图。如图8所示，在该应用场景中，首先，获取由摄像头采集的轮斗横梁的轮斗横梁图像(例如，图8中所示意的D1)，以及，由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量(例如，图8中所示意的D2)，然后，将所述轮斗横梁图像和所述多个预定时间点的弯曲变形量输入至部署有门式斗轮机轮斗横梁姿态实时监测算法的服务器(例如，图8中所示意的S)中，其中，所述服务器能够使用所述门式斗轮机轮斗横梁姿态实时监测算法对所述轮斗横梁图像和所述多个预定时间点的弯曲变形量进行处理以得到用于表示是否产生轮斗横梁安全预警的分类结果。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本申请所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本申请的说明，而不应被认为是对其的限制。尽管描述了本申请的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本申请的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本申请范围内。应当理解，上面是对本申请的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本申请由权利要求书及其等效物限定。

Claims (10)

1.一种门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，包括：
获取由摄像头采集的轮斗横梁的轮斗横梁图像；
获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；
将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；
对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；
将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及
基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
2.根据权利要求1所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图，包括：
将所述轮斗横梁图像通过基于卷积神经网络模型的轮斗横梁姿势特征提取器以得到所述轮斗横梁特征图。
3.根据权利要求2所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征，包括：
将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征。
4.根据权利要求3所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征，包括：
将所述弯曲变形量时序输入向量通过所述跨模态元融合模块的一维卷积层以得到弯曲变形量时序特征向量；以及
将所述弯曲变形量时序特征向量作为通道加权向量对所述轮斗横梁特征图进行沿通道维度的加权处理以得到所述融合弯曲变形时序特征的轮斗横梁特征图。
5.根据权利要求4所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警，包括：
对所述融合弯曲变形时序特征的轮斗横梁特征图进行特征分布优化以得到优化融合弯曲变形时序特征的轮斗横梁特征图；以及
将所述优化融合弯曲变形时序特征的轮斗横梁特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生轮斗横梁安全预警。
6.根据权利要求5所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，对所述融合弯曲变形时序特征的轮斗横梁特征图进行特征分布优化以得到优化融合弯曲变形时序特征的轮斗横梁特征图，包括：
计算所述轮斗横梁特征图沿通道维度的各个特征矩阵的全局均值以得到轮斗横梁特征向量；
以所述轮斗横梁特征向量对所述弯曲变形量时序特征向量进行优化以得到优化弯曲变形量时序特征向量；以及
以所述优化弯曲变形量时序特征向量对所述轮斗横梁特征图进行沿通道维度的加权处理以得到所述优化融合弯曲变形时序特征的轮斗横梁特征图。
7.根据权利要求6所述的门式斗轮机轮斗横梁姿态实时监测方法，其特征在于，将所述优化融合弯曲变形时序特征的轮斗横梁特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生轮斗横梁安全预警，包括：
将所述优化融合弯曲变形时序特征的轮斗横梁特征图按照行向量或者列向量展开为优化分类特征向量；
使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
8.一种门式斗轮机轮斗横梁姿态实时监测系统，其特征在于，包括：
图像获取模块，用于获取由摄像头采集的轮斗横梁的轮斗横梁图像；
弯曲变形量获取模块，用于获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量；
向量化模块，用于将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量；
图像特征分析模块，用于对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图；
跨模态元融合特征分析模块，用于将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征；以及
安全分析模块，用于基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。
9.根据权利要求8所述的门式斗轮机轮斗横梁姿态实时监测系统，其特征在于，所述图像特征分析模块，用于：
将所述轮斗横梁图像通过基于卷积神经网络模型的轮斗横梁姿势特征提取器以得到所述轮斗横梁特征图。
10.根据权利要求9所述的门式斗轮机轮斗横梁姿态实时监测系统，其特征在于，所述跨模态元融合特征分析模块，用于：
将所述轮斗横梁特征图和所述弯曲变形量时序输入向量通过跨模态元融合模块以得到融合弯曲变形时序特征的轮斗横梁特征图作为所述融合弯曲变形时序特征的轮斗横梁特征。
CN202311453163.0A 2023-11-03 2023-11-03 门式斗轮机轮斗横梁姿态实时监测方法及其系统 Pending CN117485842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311453163.0A CN117485842A (zh) 2023-11-03 2023-11-03 门式斗轮机轮斗横梁姿态实时监测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311453163.0A CN117485842A (zh) 2023-11-03 2023-11-03 门式斗轮机轮斗横梁姿态实时监测方法及其系统

Publications (1)

Publication Number Publication Date
CN117485842A true CN117485842A (zh) 2024-02-02

Family

ID=89673852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311453163.0A Pending CN117485842A (zh) 2023-11-03 2023-11-03 门式斗轮机轮斗横梁姿态实时监测方法及其系统

Country Status (1)

Country Link
CN (1) CN117485842A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117892073A (zh) * 2024-03-14 2024-04-16 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117892073A (zh) * 2024-03-14 2024-04-16 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法
CN117892073B (zh) * 2024-03-14 2024-05-24 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Weimer et al. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection
EP3948437B1 (en) Predictive classification of future operations
CN116639010B (zh) 充电桩的智能控制系统及其方法
US20230048405A1 (en) Neural network optimization method and apparatus
Bhatt et al. An analysis of the performance of Artificial Neural Network technique for apple classification
Prieto-Moreno et al. Principal components selection for dimensionality reduction using discriminant information applied to fault diagnosis
CN117485842A (zh) 门式斗轮机轮斗横梁姿态实时监测方法及其系统
Massinaei et al. Recognition of process conditions of a coal column flotation circuit using computer vision and machine learning
Gupta et al. SuperDeConFuse: a supervised deep convolutional transform based fusion framework for financial trading systems
CN117351659B (zh) 一种水文地质灾害监测装置及监测方法
CN117155706B (zh) 网络异常行为检测方法及其系统
CN117349583A (zh) 用于低温液体储罐的智能检测方法及系统
CN116503354A (zh) 基于多模态融合的光伏电池热斑检测及评估方法与装置
Priya et al. Real time fruits quality detection with the help of artificial intelligence
Sema et al. Automatic Detection and Classification of Mango Disease Using Convolutional Neural Network and Histogram Oriented Gradients
Sindhuja et al. Deep learning-based mobile application for nutrient deficiency identification of rice plants using ADAM Optimizer
Kewat Plant Disease Classification Using Alex Net
CN115374931A (zh) 一种基于元对抗训练的深度神经网络鲁棒性增强方法
KATEB et al. Steel surface defect detection using convolutional neural network
Lastra et al. Computer Vision for Real-Time ESP Failure Detection and Diagnostics
Mahdavi et al. Informed Decision-Making through Advancements in Open Set Recognition and Unknown Sample Detection
SANGAM et al. Rotten Fruit Detection Using Artificial Intelligence
CN117196832B (zh) 畜牧业活体抵押监管系统及其方法
CN117676099B (zh) 基于物联网的安全预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination