CN118155113A - 一种运输带工况检测方法、系统、电子设备及存储介质 - Google Patents
一种运输带工况检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118155113A CN118155113A CN202311839771.5A CN202311839771A CN118155113A CN 118155113 A CN118155113 A CN 118155113A CN 202311839771 A CN202311839771 A CN 202311839771A CN 118155113 A CN118155113 A CN 118155113A
- Authority
- CN
- China
- Prior art keywords
- conveyor belt
- historical
- modal
- index
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Control Of Conveyors (AREA)
Abstract
本发明涉及工业视觉技术领域,具体公开了一种运输带工况检测方法、系统、电子设备及存储介质,包括:获取运输带运行指标参数和运输带监控视频;根据运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;根据运输带监控视频中目标图像的目标特征和目标特征所在区域图像的位置编码,生成第二模态指标;将第一模态指标和第二模态指标作为基于LXMERT的多模态模型的输入,得到基于LXMERT的多模态模型的输出的运输带工况检测结果;基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
Description
技术领域
本发明涉及工业视觉技术领域,具体涉及一种运输带工况检测方法、系统、电子设备及存储介质。
背景技术
在矿山运输领域,确保皮带输送机稳定运行对于生产安全和效率至关重要。然而,由于矿石、煤炭等物料的复杂性,下料口堵塞造成的矿料不均匀,导致皮带输送机在运行过程中经常出现跑偏等异常工况。这些异常工况如果不及时检测和处理,可能会导致设备损坏、生产中断甚至人员伤害。
为了解决这一问题,目前矿山行业普遍采用先进的AI视觉检测技术。这种技术利用高精度的摄像头和图像处理算法,实时监测皮带输送机的运行状态。相比传统的人工巡检方式,AI视觉检测具有诸多优势。
首先,AI视觉检测的成本相对较低。与引入全新的传感器设备相比,只需在现有设备上安装摄像头,然后利用计算机视觉技术进行数据处理即可。这降低了检测系统的采购和维护成本,为企业节省了大量资金。其次,安装和部署相对简便。由于无需对产线进行大规模改造,只需要在适当的位置安装摄像头,然后进行软件配置和参数调整即可。这使得企业可以在不影响生产的情况下,迅速实现异常工况检测系统的搭建。
现有的AI视觉检测方法大多采用以下方法:
1)运输带边缘分割法,通过AI Segmentation类模型实时分割运输带边缘,并与设定的运行边界进行比对,判断是否发生跑偏。
2)运输托辊检测方法:皮带两侧框选不少于两个托辊外侧末端作为两个以上的特征目标,通过矿用高清防爆摄像机实时采集特征目标视频并实时将特征目标视频传递给服务器。服务器通过人工智能视频识别模型分析特征目标视频,当特征目标被遮档(面积发生较大变化、或者目标在一段时间内消失),则盘点有可能发生皮带跑偏,从而对托辊目标物发生了遮挡;
但现有的方法本质上属于单模识别方法,没有引入各类运输带运行状态指标数据,存在以下缺陷:
1)缺乏多模态信息的支持:由于其仅依赖于视觉图像数据,这种单一模态的数据来源无法提供对设备运行状态全面准确的把握。忽略诸如皮带运行速度、功耗值,传感器指标这些信息可能导致对异常情况的误判或遗漏,从而降低了检测系统的可靠性。
2)准确性有限:由在实际生产环境中,设备可能会受到多种因素的影响,而这些因素在单一的视觉数据中并不容易被分辨。加之工业现场可视环境较差(粉尘、震动、污染等),进一步降低了视觉检测的精准度;
3)输出结果相对简单:即跑偏、未跑偏判断结果,无法输出更丰富的语义信息,诸如:“目前皮带运行速度较快、容易产生跑偏风险”等信息。
发明内容
针对上述问题,本发明的目的是提供一种运输带工况检测方法、系统、电子设备及存储介质,通过融合运输带监控视频与运输带运行状态时序指标,综合利用多模态信息和数据融合技术,弥补纯视觉方案的不足,提高异常工况检测系统的性能,为矿山运输领域的安全和高效提供更可靠的保障。
本发明提供了一种运输带工况检测方法,包括:
获取运输带运行指标参数和运输带监控视频;
根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;所述训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;
根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标;
将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果;所述基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
在一种可能的实现方式中,在所述根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标之前,还包括:
获取运输带的历史数据、对应的历史运行状态以及历史运输带监控视频;
构建第一神经网络模型,根据所述运输带的历史数据和对应的历史运行状态对所述神经网络模型进行训练,并根据训练后的第一神经网络模型生成历史第一模态指标;
根据所述历史运输带监控视频中目标图像的历史目标特征和所述历史目标特征所在区域图像的位置编码,生成历史第二模态指标;
根据所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型。
在一种可能的实现方式中,所述根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标包括:
识别所述目标图像中的托辊目标,并根据所述托辊目标将所述目标图像划分为多个区域图像;
按照运输带的运行方向对所述区域图像进行位置编码,并按照空间远近顺序进行排序,得到具有空间远近顺序的区域图像序列;
用预训练的第二神经网络模型对所述目标图像进行特征提取,得到目标特征;
根据所述目标特征和所述位置编码生成第二模态指标。
在一种可能的实现方式中,所述识别所述目标图像中的托辊目标包括:根据预设边界和预设托辊特征识别所述目标图像中的托辊目标;
所述根据所述托辊目标将所述目标图像划分为多个区域图像包括:
根据所述托辊目标在所述目标图像中的位置,对所述托辊目标进行分组,得到包含预设数量托辊目标的托辊组合;
以所述托辊组合为锚点确定每个托辊组合的区域,根据所述区域将所述目标图像划分为多个区域图像。
在一种可能的实现方式中,所述按照运输带的运行方向对所述区域图像进行位置编码,并按照空间远近顺序进行排序,得到具有空间远近顺序的区域图像序列包括:
根据运输带的运行方向确定基准点;
根据各所述区域图像与基准点的距离对所述区域图像进行排序,确定每个所述区域图像的顺序编码;
根据所述区域图像和对应的顺序编码生成位置编码表,并将所述位置编码与所述区域图像关联,得到具有空间远近顺序的区域图像序列。
在一种可能的实现方式中,所述根据所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型包括:
将历史运行状态相同的所述历史第一模态指标和所述历史第二模态指标进行对齐;
根据对齐后的所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型。
在一种可能的实现方式中,所述将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果包括:
当所述工况为正常时,输出运输带工况检测结果为正常;
当所述工况为异常时,通过所述运输带运行指标参数确定与所述工况相关联的运行状态,并根据所述工况和运行状态生成运输带工况检测结果。
在一种可能的实现方式中,所述运输带运行指标参数至少包括以下任一种:速度、负载、张力、电流、功率和温度。
在一种可能的实现方式中,所述历史运行状态包括:正常、速度隐患、负载隐患、运行温度隐患和运输带跑偏。
本发明还提供了一种运输带工况检测系统,应用于上述任一所述的运输带工况检测方法,包括:
获取模块,用于获取运输带运行指标参数和运输带监控视频;
第一模态指标生成模块,用于根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;所述训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;
第二模态指标生成模块,用于根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标;
输出模块,用于将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果;所述基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
本发明还提供了一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上述任一项所述的运输带工况检测方法。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述任一项所述的运输带工况检测方法。
本发明实施例提供的运输带工况检测方法、系统、电子设备及存储介质,通过多模态模型对运输带运行监控视频和运行状态进行综合分析,输出运输带跑偏异常的识别与提示文字信息,从而提高多模态数据的融合,使多模态更适配运输带跑偏检测任务,最终实现提高矿山运输带异常工况检测的准确性。
附图说明
图1为本发明实施例提供的运输带工况检测方法的流程示意图;
图2为本发明实施例提供的运输带监控视频的识别示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理,但不能用来限制本发明的范围,即本发明不限于所描述的优选实施例,本发明的范围由权利要求书限定。
在本发明的描述中,需要说明的是,除非另有说明,“多个”的含义是两个或两个以上;术语“第一”“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性;对于本领域的普通技术人员而言,可视具体情况理解上述术语在本发明中的具体含义。
为便于理解本发明,首先对以下专业名词进行解释,
模态是指一些表达或感知事物的方式,每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息的媒介,有语音、视频、文字等;多种多样的传感器,如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
多模态即是从多个模态表达或感知事物。多模态可归类为同质性的模态,例如从两台相机中分别拍摄的图片,异质性的模态,例如图片与文本语言的关系。
图1为本发明实施例提供的运输带工况检测方法的流程示意图,如图1所示,本发明提供的运输带工况检测方法,包括:
步骤S1,获取运输带运行指标参数和运输带监控视频;
在一种可能的实现方式中,运输带运行指标参数至少包括以下任一种:速度、负载、张力、电流、功率和温度。
速度:皮带运输机的运行速度是一个重要的指标,通常以米/秒或者千米/小时为单位。速度的稳定性对矿石或煤炭等物料的输送效率和生产能力具有直接影响。
负载:表示皮带运输机当前承载的物料负载,通常以吨或千克为单位。负载的变化可以帮助预测设备的工作状态,及时调整生产计划。
张力:皮带的张力是指在运输过程中,皮带上受到的拉力。适当的张力可以确保皮带在传递物料时不会打滑或者跑偏。
温度:皮带运输机各部件的温度是一个关键参数,过高的温度可能表示摩擦、磨损或者润滑不足,需要及时检修。
电流和功率:通过监测电机的电流和功率,可以了解设备的负荷状况,判断设备是否正常工作。
上述数据相互之间不存在明显的语义先后顺序,并且相比数据之间的相互关系,数据与运行状况之间的关联关系的提前与embedding更为重要。因此常规的输入embedding结合位置编码方式并不适用于当前需求。因此本发明搭建一个神经网络模型,通过历史数据和对应的运行状态信息对模型进行训练,提取相应的embedding信息。
在一种可能的实现方式中,运输带监控视频包括多帧图像。运输带监控视频可以为一个或多个。
在一个示例中,运输带监控视频为一个,该视频能够体现运输带所在的整体工作区域,如图2所示。
在另一个示例中,运输带监控视频为多个,其中一个视频能够体现运输带所在的工作区域的整体,其他视频能够体现运输带所在的工作区域的局部,可以辅助监测运输带的工况。
步骤S2,根据运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;
其中,训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到。
在一种可能的实现方式中,神经网络模型包括:输入层、隐藏层、softmax层和输出层。
输入层,用于输入5个重要的运输皮带运行指标参数。
隐藏层的意义就是把输入数据的特征抽象到另一个维度空间,以展现其更抽象化的特征,这些特征能更好的进行线性划分。
Softmax层可以将上一层的原始数据进行归一化,转化为一个(0,1)之间的数值,这些数值可以被当做概率分布,用来作为多分类的目标预测值。
输出层输出可分为:正常、速度隐患、负载隐患、运行温度隐患和运输带跑偏5类。基于历史数据对该神经网络进行充分训练,最终以隐藏层输出+softmax类别信息进行组合,生成运输皮带运行指标数据的embedding,即第一模态指标。
步骤S3,根据运输带监控视频中目标图像的目标特征和目标特征所在区域图像的位置编码,生成第二模态指标;
在一种可能的实现方式中,包括步骤S31-步骤S33:
步骤S31,识别目标图像中的托辊目标,并根据托辊目标将目标图像划分为多个区域图像。
在一种可能的实现方式中,根据预设边界和预设托辊特征识别目标图像中的托辊目标。根据托辊目标在目标图像中的位置,对托辊目标进行分组,得到包含预设数量托辊目标的托辊组合。以托辊组合为锚点确定每个托辊组合的区域,根据区域将目标图像划分为多个区域图像。
其中,托辊是带式输送机的重要部件,可以支撑输送带和物料重量。
在一个示例中,基准点也可以替换为基准线,能够作为距离参考依据即可。
在步骤S31之前,需要根据托辊目标的图像对残差神经网络模型进行训练。
步骤S32,按照运输带的运行方向对区域图像进行位置编码,并按照空间远近顺序进行排序,得到具有空间远近顺序的区域图像序列。
在一种可能的实现方式中,根据运输带的运行方向确定基准点。根据各区域图像与基准点的距离对区域图像进行排序,确定每个区域图像的顺序编码。根据区域图像和对应的顺序编码生成位置编码表,并将位置编码与区域图像关联,得到具有空间远近顺序的区域图像序列。如图2所示,若基准点在最下方,从近到远依次是区域1、区域2和区域3。区域1中两个方框为托辊目标。
步骤S33,用预训练的第二神经网络模型对目标图像进行特征提取,得到目标特征。
在一个示例中,目标特征指的是与运输带的工况相关的特征,例如运输带跑偏。第二神经网络模型为残差神经网络模型。
步骤S34,根据目标特征和位置编码生成第二模态指标。
第二模态指标可以理解为结合当前的目标图像显示的运输带运行状态、位置编码生成的embedding向量。
步骤S4,将第一模态指标和第二模态指标作为基于LXMERT的多模态模型的输入,得到基于LXMERT的多模态模型的输出的运输带工况检测结果;
其中,基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
在一种可能的实现方式中,当工况为正常时,输出运输带工况检测结果为正常。当工况为异常时,通过运输带运行指标参数确定与工况相关联的运行状态,并根据工况和运行状态生成运输带工况检测结果。
在一个示例中,本发明结合运输带监控视频和运输带运行指标参数综合判断运输带工况。当运输带监控视频正常,运输带运行指标参数也正常,运输带工况检测结果为正常。
当运输带监控视频跑偏,从运输带运行指标参数可以得知当前运输带负载不均衡,运输带工况检测结果为跑偏,负载不均衡。
当运输带监控视频正常,从运输带运行指标参数可以得知当前运输带速度过快,运输带工况检测结果为有跑偏风险,存在速度隐患。
在步骤S2之前,本发明先确定基于LXMERT的多模态模型,具体为:
获取运输带的历史数据、对应的历史运行状态以及历史运输带监控视频;
其中,历史数据包括:速度、负责、张力、运行温度、电流与功率。历史运行状态包括:正常、速度隐患、负载隐患、运行温度隐患,以及其与运输带跑偏异常之间的关联关系,
构建第一神经网络模型,根据运输带的历史数据和对应的历史运行状态对神经网络模型进行训练,并根据训练后的第一神经网络模型生成历史第一模态指标。
根据历史运输带监控视频中目标图像的历史目标特征和历史目标特征所在区域图像的位置编码,生成历史第二模态指标。
根据历史第一模态指标和历史第二模态指标调整得到基于LXMERT的多模态模型。
在一种可能的实现方式中,将历史运行状态相同的第一模态指标和第二模态指标进行对齐。根据对齐后的第一模态指标和第二模态指标实时调整基于视觉语言跨模态框架LXMERT的多模态模型。
如此在实际应用时,可以直接应用已经训练好的多模态模型进行运输带工况监测方法。基于LXMERT的多模态模型并不是不固定不变的,而是可以根据运输带的历史数据、对应的历史运行状态以及历史运输带监控视频动态更新的。随着运输带的历史相关数据的增加,多模态模型的更新次数增多,更新后的多模态模型识别的准确性也会显著提高。
本发明还提供了一种运输带工况检测系统,应用于上述任一的运输带工况检测方法,包括:
获取模块,用于获取运输带运行指标参数和运输带监控视频;
第一模态指标生成模块,用于根据运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;
第二模态指标生成模块,用于根据运输带监控视频中目标图像的目标特征和目标特征所在区域图像的位置编码,生成第二模态指标;
输出模块,用于将第一模态指标和第二模态指标作为基于LXMERT的多模态模型的输入,得到基于LXMERT的多模态模型的输出的运输带工况检测结果;基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
本发明还提供了一种电子设备,包括:至少一个处理器和存储器;
存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上述任一项的运输带工况检测方法。
本发明还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现上述任一项的运输带工况检测方法。
本发明实施例提供的运输带工况检测方法、系统、电子设备及存储介质,在矿山运输带AI视觉监测系统基础上引入多模态时序分析技术,将视觉空间时序特征与运输带运行状态指标进行融合,多模态模型以多模态预训练LXMERT模型为基础,以矿山运输带视频图像数据和运行指标数据对模型进行微调,最终实现对于运输带是否跑偏以及是否存在跑偏异常的“视觉问答”目标。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种运输带工况检测方法,其特征在于,包括:
获取运输带运行指标参数和运输带监控视频;
根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;所述训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;
根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标;
将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果;所述基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
2.根据权利要求1所述的运输带工况检测方法,其特征在于,在所述根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标之前,还包括:
获取运输带的历史数据、对应的历史运行状态以及历史运输带监控视频;
构建第一神经网络模型,根据所述运输带的历史数据和对应的历史运行状态对所述神经网络模型进行训练,并根据训练后的第一神经网络模型生成历史第一模态指标;
根据所述历史运输带监控视频中目标图像的历史目标特征和所述历史目标特征所在区域图像的位置编码,生成历史第二模态指标;
根据所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型。
3.根据权利要求1所述的运输带工况检测方法,其特征在于,所述根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标包括:
识别所述目标图像中的托辊目标,并根据所述托辊目标将所述目标图像划分为多个区域图像;
按照运输带的运行方向对所述区域图像进行位置编码,并按照空间远近顺序进行排序,得到具有空间远近顺序的区域图像序列;
用预训练的第二神经网络模型对所述目标图像进行特征提取,得到目标特征;
根据所述目标特征和所述位置编码生成第二模态指标。
4.根据权利要求3所述的运输带工况检测方法,其特征在于,所述识别所述目标图像中的托辊目标包括:根据预设边界和预设托辊特征识别所述目标图像中的托辊目标;
所述根据所述托辊目标将所述目标图像划分为多个区域图像包括:
根据所述托辊目标在所述目标图像中的位置,对所述托辊目标进行分组,得到包含预设数量托辊目标的托辊组合;
以所述托辊组合为锚点确定每个托辊组合的区域,根据所述区域将所述目标图像划分为多个区域图像。
5.根据权利要求3所述的运输带工况检测方法,其特征在于,所述按照运输带的运行方向对所述区域图像进行位置编码,并按照空间远近顺序进行排序,得到具有空间远近顺序的区域图像序列包括:
根据运输带的运行方向确定基准点;
根据各所述区域图像与基准点的距离对所述区域图像进行排序,确定每个所述区域图像的顺序编码;
根据所述区域图像和对应的顺序编码生成位置编码表,并将所述位置编码与所述区域图像关联,得到具有空间远近顺序的区域图像序列。
6.根据权利要求2所述的运输带工况检测方法,其特征在于,所述根据所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型包括:
将历史运行状态相同的所述历史第一模态指标和所述历史第二模态指标进行对齐;
根据对齐后的所述历史第一模态指标和所述历史第二模态指标调整得到基于LXMERT的多模态模型。
7.根据权利要求1所述的运输带工况检测方法,其特征在于,所述将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果包括:
当所述工况为正常时,输出运输带工况检测结果为正常;
当所述工况为异常时,通过所述运输带运行指标参数确定与所述工况相关联的运行状态,并根据所述工况和运行状态生成运输带工况检测结果。
8.根据权利要求1所述的运输带工况检测方法,其特征在于,所述运输带运行指标参数至少包括以下任一种:速度、负载、张力、电流、功率和温度。
9.根据权利要求1所述的运输带工况检测方法,其特征在于,所述历史运行状态包括:正常、速度隐患、负载隐患、运行温度隐患和运输带跑偏。
10.一种运输带工况检测系统,应用于权利要求1-9任一所述的运输带工况检测方法,其特征在于,包括:
获取模块,用于获取运输带运行指标参数和运输带监控视频;
第一模态指标生成模块,用于根据所述运输带运行指标参数和训练后的第一神经网络模型生成第一模态指标;所述训练后的第一神经网络模型根据运输带的历史数据和对应的历史运行状态训练得到;
第二模态指标生成模块,用于根据所述运输带监控视频中目标图像的目标特征和所述目标特征所在区域图像的位置编码,生成第二模态指标;
输出模块,用于将所述第一模态指标和所述第二模态指标作为基于LXMERT的多模态模型的输入,得到所述基于LXMERT的多模态模型的输出的运输带工况检测结果;所述基于LXMERT的多模态模型根据运输带的历史数据对应的历史运行状态训练得到。
11.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至9任一项所述的运输带工况检测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至9任一项所述的运输带工况检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311839771.5A CN118155113A (zh) | 2023-12-28 | 2023-12-28 | 一种运输带工况检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311839771.5A CN118155113A (zh) | 2023-12-28 | 2023-12-28 | 一种运输带工况检测方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118155113A true CN118155113A (zh) | 2024-06-07 |
Family
ID=91299983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311839771.5A Pending CN118155113A (zh) | 2023-12-28 | 2023-12-28 | 一种运输带工况检测方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118155113A (zh) |
-
2023
- 2023-12-28 CN CN202311839771.5A patent/CN118155113A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
Vališ et al. | Application of selected Levy processes for degradation modelling of long range mine belt using real-time data | |
KR102373787B1 (ko) | 고장 예측 시스템의 고장 유형 빅데이터를 이용한 기계설비의 잠재적 고장 예측 방법 | |
CN113658136B (zh) | 一种基于深度学习的传送带缺陷检测方法 | |
CN109305534A (zh) | 基于计算机视觉的煤码头带式输送机自适应控制方法 | |
US20200189854A1 (en) | Monitoring system for conveyor belt | |
CN111369538B (zh) | 一种基于深度卷积神经网络的传输机胶带跑偏检测方法 | |
CN110163852B (zh) | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 | |
US20150161573A1 (en) | Device for searching and method for searching for similar breakdown cases | |
CN113408361B (zh) | 一种基于深度学习的矿用输送带大块物料检测方法及系统 | |
CN111161292A (zh) | 一种矿石尺度测量方法及应用系统 | |
CN115239135A (zh) | 一种施工风险识别管控系统及方法 | |
Pham et al. | A YOLO-based real-time packaging defect detection system | |
CN105809219A (zh) | 一种隧道预制管片生产线的预制管片质量检测统计系统和方法 | |
Gupta et al. | Predictive maintenance of baggage handling conveyors using IoT | |
CN115144399A (zh) | 一种基于机器视觉的装配质量检测方法及装置 | |
CN115131738A (zh) | 输送机传送带撕裂预警方法与装置 | |
CN117523451A (zh) | 一种基于智慧安防技术的视频数据分析系统及方法 | |
KR20210122429A (ko) | 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템 | |
AU2021278260B2 (en) | Method for the machine-based determination of the functional state of support rollers of a belt conveyor system, computer program and machine-readable data carrier | |
CN118155113A (zh) | 一种运输带工况检测方法、系统、电子设备及存储介质 | |
KR102093287B1 (ko) | Cnc 공작기계의 공구 마모 간접 계측방법 | |
CN116664099A (zh) | 一种基于非参数回归的无人矿车健康管理方法 | |
Li et al. | Health state prediction and performance evaluation of belt conveyor based on dynamic Bayesian network in underground mining | |
EP4058338B1 (en) | Device and method for maintenance planning for a train wheel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |