CN117557967B - 带式输送机安全保护智能管理系统 - Google Patents
带式输送机安全保护智能管理系统 Download PDFInfo
- Publication number
- CN117557967B CN117557967B CN202410042119.9A CN202410042119A CN117557967B CN 117557967 B CN117557967 B CN 117557967B CN 202410042119 A CN202410042119 A CN 202410042119A CN 117557967 B CN117557967 B CN 117557967B
- Authority
- CN
- China
- Prior art keywords
- coal
- state
- consistency
- feature
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 claims abstract description 233
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 59
- 238000000605 extraction Methods 0.000 claims description 13
- 238000005728 strengthening Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 28
- 238000000034 method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 229910052732 germanium Inorganic materials 0.000 description 2
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002817 coal dust Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Control Of Conveyors (AREA)
Abstract
本发明公开了一种带式输送机安全保护智能管理系统,涉及智能化安全保护技术领域,其获取由摄像头采集的煤料状态监控图像;对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及,基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示。这样,可以及时生成可靠的输煤预警提示,进而实现带式输送机的无人化、智能化高效运行。
Description
技术领域
本申请涉及智能化安全保护技术领域,并且更具体地,涉及一种带式输送机安全保护智能管理系统。
背景技术
带式输送机是煤炭生产中重要的运输设备,其安全高效的运行直接影响煤炭生产的效率和质量。然而,由于煤料中可能存在异物,如金属、石块、木头等,这些异物会对带式输送机造成损坏,甚至引发火灾、爆炸等事故,给煤炭生产带来巨大的安全隐患和经济损失。因此,及时发现并清除煤料中的异物,是保障带式输送机安全运行的重要措施。
传统的异物检测方法主要依靠人工巡检,这种方法存在一些问题,如人工巡检效率低、危险性高。因此,期待一种优化的带式输送机安全保护管理方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种带式输送机安全保护智能管理系统,其获取由摄像头采集的煤料状态监控图像;对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及,基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示。这样,可以及时生成可靠的输煤预警提示,进而实现带式输送机的无人化、智能化高效运行。
第一方面,提供了一种带式输送机安全保护智能管理系统,其包括:
监控图像获取模块,用于获取由摄像头采集的煤料状态监控图像;
图像预处理模块,用于对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;
煤料状态特征提取模块,用于提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;
一致性关系提取模块,用于提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及
输煤预警提示判断模块,用于基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的带式输送机安全保护智能管理系统的框图。
图2A为根据本申请实施例的一种用于采集煤料状态监控图像的摄像头。
图2B为根据本申请实施例的另一种用于采集煤料状态监控图像的摄像头。
图3为根据本申请实施例的预警提示设备。
图4为根据本申请实施例的带式输送机安全保护智能管理方法的流程图。
图5为根据本申请实施例的带式输送机安全保护智能管理方法架构的示意图。
图6为根据本申请实施例的带式输送机安全保护智能管理系统的应用场景图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
在本申请实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中,图1为根据本申请实施例的带式输送机安全保护智能管理系统的框图。如图1所示,根据本申请实施例的带式输送机安全保护智能管理系统100,包括:监控图像获取模块110,用于获取由摄像头采集的煤料状态监控图像;图像预处理模块120,用于对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;煤料状态特征提取模块130,用于提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;一致性关系提取模块140,用于提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及,输煤预警提示判断模块150,用于基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示。
针对上述技术问题,本申请的技术构思是采用摄像头采集煤料状态监控图像,并利用图像分析和深度学习算法来自主识别煤中的异物,以及时生成可靠的输煤预警提示,进而实现带式输送机的无人化、智能化高效运行。
基于此,在本申请的技术方案中,首先获取由摄像头采集的煤料状态监控图像;并对所述煤料状态监控图像进行图像分块处理以得到煤料状态图像块的序列。应可以理解,煤料中的异物分布可能并不均匀,例如,异物可能集中在某些局部区域。如果将整个图像作为一个整体进行分析,可能会掩盖掉一些局部异常。通过对图像进行分块处理,可以更加敏感地表征和凸显局部区域的异常情况。
在本申请的一个具体实施例中,所述图像预处理模块,用于:对所述煤料状态监控图像进行图像分块处理以得到所述煤料状态图像块的序列。
然后,提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列。也就是,捕捉各个所述煤料状态图像块中所蕴含的煤料状态特征分布。
在本申请的一个具体示例中,所述煤料状态特征提取模块,包括:特征提取单元,用于将所述煤料状态图像块的序列通过基于卷积神经网络模型的煤料状态特征提取器以得到煤料局部状态特征图的序列;以及,特征自相关强联强化单元,用于将所述煤料局部状态特征图的序列分别通过特征自相关强联强化模块以得到所述自相关强化煤料局部状态特征图的序列。
其中,所述基于卷积神经网络模型的煤料状态特征提取器,包括:输入层、卷积层、池化层、激活层和输出层。
具体地,所述特征自相关强联强化单元,用于:对所述煤料局部状态特征图的序列通过所述特征自相关强联强化模块的第一卷积层以得到第一特征图;将所述第一特征图通过所述特征自相关强联强化模块的第二卷积层以得到第二特征图;将所述第二特征图沿通道维度的各个特征矩阵展开为特征向量以得到第一特征向量的序列;计算所述第一特征向量的序列中的任意两个第一特征向量之间的余弦相似度以得到余弦相似性特征图;将所述余弦相似性特征图通过softmax函数进行归一化处理以得到归一化余弦相似性特征图;将所述归一化余弦相似性特征图与所述余弦相似性特征图进行按位置点乘以得到相似度映射优化特征图;将所述相似度映射优化特征图通过所述特征自相关强联强化模块的第一反卷积层以得到第一反卷积特征图;计算所述第一反卷积特征图和所述第一特征图的逐元素和以得到第一融合特征图;将所述第一融合特征图通过所述特征自相关强联强化模块的第二反卷积层以得到第二反卷积特征图;计算所述第二反卷积特征图和所述煤料局部状态特征图的序列的逐元素和以得到所述自相关强化煤料局部状态特征图的序列。
接着,提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵。这里,考虑到正常情况下煤料局部状态特征图之间可能存在高度的一致性,但当煤料中存在异物时,这种一致性可能会被破坏。通过建模煤料局部状态特征图序列之间的一致性关系,可以检测和捕捉到与正常状态不一致的异常情况,从而实现异物的检测。
在本申请的一个具体示例中,所述一致性关系提取模块,包括:降维处理单元,用于对所述自相关强化煤料局部状态特征图的序列中各个自相关强化煤料局部状态特征图进行降维处理以得到自相关强化煤料局部状态语义特征向量的序列;余弦相似度计算单元,用于计算所述自相关强化煤料局部状态语义特征向量的序列中任意两个自相关强化煤料局部状态语义特征向量之间的余弦相似度以得到煤料局部状态一致性拓扑矩阵;以及,拓扑特征提取单元,用于将所述煤料局部状态一致性拓扑矩阵通过基于卷积神经网络模型的拓扑特征提取器以得到所述煤料局部状态一致性拓扑特征矩阵。
其中,所述降维处理单元,用于:计算所述自相关强化煤料局部状态特征图的序列中各个自相关强化煤料局部状态特征图的全局均值向量以得到所述自相关强化煤料局部状态语义特征向量的序列。其中,全局均值向量为自相关强化煤料局部状态语义特征向量,全局均值向量中的每个特征值,是对自相关强化煤料局部状态特征图中的每个特征矩阵进行全局均值池化得到的特征值。
进一步地,将所述自相关强化煤料局部状态语义特征向量的序列和所述煤料局部状态一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑全局煤料状态语义特征矩阵。也就是,利用图神经网络模型来建模煤料局部状态间的全局一致性拓扑关系。
应可以理解,图神经网络模型的核心思想是通过在图的节点和边上定义学习规则,将节点和边的特征信息进行传播和聚合,从而获取全局图的表示。在本申请的应用场景中,所述图神经网络模型将所述自相关强化煤料局部状态特征图的序列所表达的各个图像块的煤料局部状态特征作为节点的表示,将煤料局部状态一致性特征矩阵所表达的图像块之间的煤料一致性特征作为边的表示,充分利用图结构中节点之间的连接关系和特征传播特性,来融合两者的特征分布,以使得所述一致性拓扑全局煤料状态语义特征矩阵具有更为出色的特征表达。
在本申请的一个具体实施例中,所述输煤预警提示判断模块,包括:图神经网络单元,用于将所述自相关强化煤料局部状态语义特征向量的序列和所述煤料局部状态一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑全局煤料状态语义特征矩阵;以及,预警提示生成判断单元,用于基于所述一致性拓扑全局煤料状态语义特征矩阵,确定是否生成输煤预警提示。
具体地,在本申请的一个实施例中,所述预警提示生成判断单元,用于:将所述一致性拓扑全局煤料状态语义特征矩阵进行展开以得到一致性拓扑全局煤料状态语义特征向量;将所述一致性拓扑全局煤料状态语义特征向量通过分类器以得到分类结果,所述分类结果用于表示煤料中是否存在异物;以及,基于所述分类结果,生成输煤预警提示。
特别地,在本申请技术方案中,这里,所述自相关强化煤料局部状态语义特征向量的序列中的每个自相关强化煤料局部状态语义特征向量表达图像分块在全局图像语义空间域下的局部图像语义空间域内的图像语义特征通道自相关强化表示,由此,在将所述自相关强化煤料局部状态语义特征向量的序列和所述煤料局部状态一致性拓扑特征矩阵通过图神经网络模型后,可以进一步提取局部图像语义空间域内的图像语义特征表示,在全局图像语义空间域下的各局部图像语义空间域图像语义特征表示相似性拓扑下的拓扑关联特征,但是,考虑到所述一致性拓扑全局煤料状态语义特征矩阵与所述自相关强化煤料局部状态语义特征向量对应的一致性拓扑全局煤料状态语义特征向量,例如行特征向量在各自的局部图像语义空间域内的图像语义特征表达独立性,所述一致性拓扑全局煤料状态语义特征矩阵作为整体,将存在跨局部图像语义空间域的特征表示稀疏化,从而导致所述一致性拓扑全局煤料状态语义特征矩阵的整体特征分布会具有较为显著的不一致和不稳定,从而影响其通过分类器进行分类训练的稳定性。
基于此,本申请在将所述一致性拓扑全局煤料状态语义特征矩阵展开后得到的一致性拓扑全局煤料状态语义特征向量通过分类器进行分类训练时,在每次迭代时对所述一致性拓扑全局煤料状态语义特征向量进行训练优化。
也就是,在本申请的一个实施例中,所述带式输送机安全保护智能管理系统,还包括,训练优化模块,用于在将所述一致性拓扑全局煤料状态语义特征矩阵展开后得到的一致性拓扑全局煤料状态语义特征向量通过分类器进行分类训练时,在每次迭代时对所述一致性拓扑全局煤料状态语义特征向量进行训练优化以得到优化一致性拓扑全局煤料状态语义特征向量。
具体地,所述训练优化模块,用于在每次迭代时,以如下公式对所述一致性拓扑全局煤料状态语义特征向量进行训练优化以得到所述优化一致性拓扑全局煤料状态语义特征向量;其中,所述公式为:
其中,是所述一致性拓扑全局煤料状态语义特征向量,/>是所述一致性拓扑全局煤料状态语义特征向量/>的特征值,/>和/>分别是所述一致性拓扑全局煤料状态语义特征向量/>的1范数和2范数,/>是所述一致性拓扑全局煤料状态语义特征向量/>的长度,且/>是与/>相关的权重超参数,/>是所述优化一致性拓扑全局煤料状态语义特征向量的特征值。
这里,通过所述一致性拓扑全局煤料状态语义特征向量的整体特征分布分别在绝对距离的刚性结构和空间距离的非刚性结构下的结构一致性和稳定性表示,来使得所述一致性拓扑全局煤料状态语义特征向量/>的全局特征分布对于局部模式变化具有一定重复性,以在所述一致性拓扑全局煤料状态语义特征向量/>通过分类器进行分类时,对于全局特征分布经由分类器的权重矩阵的尺度和旋转变化具有鲁棒性,提升分类训练的稳定性。
如图2A所示,为实施例中一种用于采集煤料状态监控图像的摄像头,具体为矿用本安型双光谱摄像仪,热成像是由外界景物的热辐射通过锗玻璃进入标准镜头,聚焦在探测器上,使热敏感材料的温度升高,再利用温升产生的其他物理量变化为电压信号输出,能将采集到的图像转换为以太网信号输出;支持辅助照明补光功能,环境照度过低时,补光灯会自动启动;具有高温报警功能。如下例场景,当环境温度设为N℃时,有高温物体,其温度不小于(N+10) ℃,即报警,无源接点输出闭合;若物体温度不大于(N-10) ℃,即不报警,无源接点输出断开。
如图2B所示,为实施例中另一种用于采集的煤料状态监控图像的摄像头,具体为矿用本安型双光谱球形摄像仪,热成像是由外界景物的热辐射通过锗玻璃进入标准镜头,聚焦在探测器上,使热敏感材料的温度升高,再利用温升产生的其他物理量变化为电压信号输出。该信号可由光纤直接输出。可见光是由外界景物的光线通过钢化玻璃窗进入标准镜头,聚焦后在摄像头的CMOS芯片上成像。具有摄像仪云台旋转角度:水平旋转角度范围:(0~350)°;俯仰角旋转度范围:(-15~90 )°。具有以太网传输功能、云台功能、除尘功能;支持辅助照明补光功能,环境照度过低时,补光灯会自动启动;具有高温报警功能。如下例场景,当环境温度设为N℃时,有高温物体,其温度不小于(N+10) ℃,即报警,无源接点输出闭合;若物体温度不大于(N-10) ℃,即不报警,无源接点输出断开。
如图3所示,为实施例中一种预警提示设备,具体为扩播电话,适用于有瓦斯、煤尘爆炸危险的煤矿井下、露天煤矿、选煤厂等工作场所。可用于煤矿井下通信联络。主要用于工作面、斜井巷道、皮带等需要打点、通话的区域。可同时传输跑偏、急停、撕裂等传感器信号,实现沿线的打点、通话功能并伴有红色发光信号;与系统配套使用,实现沿线的急停闭锁及报警功能。
综上,基于本申请实施例的带式输送机安全保护智能管理系统100被阐明,其采用摄像头采集煤料状态监控图像,并利用图像分析和深度学习算法来自主识别煤中的异物,以及时生成可靠的输煤预警提示,进而实现带式输送机的无人化、智能化高效运行。
如上所述,根据本申请实施例的带式输送机安全保护智能管理系统100可以实现在各种终端设备中,例如用于带式输送机安全保护智能管理的服务器等。在一个示例中,根据本申请实施例的带式输送机安全保护智能管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该带式输送机安全保护智能管理系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该带式输送机安全保护智能管理系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该带式输送机安全保护智能管理系统100与该终端设备也可以是分立的设备,并且该带式输送机安全保护智能管理系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中,图4为根据本申请实施例的带式输送机安全保护智能管理方法的流程图。图5为根据本申请实施例的带式输送机安全保护智能管理方法架构的示意图。如图4和图5所示,所述带式输送机安全保护智能管理方法,包括:210,获取由摄像头采集的煤料状态监控图像;220,对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;230,提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;240,提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及,250,基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示。
本领域技术人员可以理解,上述带式输送机安全保护智能管理方法中的各个步骤的具体操作已经在上面的带式输送机安全保护智能管理系统的描述中得到了详细介绍,并因此,将省略其重复描述。
图6为根据本申请实施例的带式输送机安全保护智能管理系统的应用场景图。如图6所示,在该应用场景中,首先,获取由摄像头采集的煤料状态监控图像(例如,如图6中所示意的C);然后,将获取的煤料状态监控图像输入至部署有带式输送机安全保护智能管理算法的服务器(例如,如图6中所示意的S)中,其中所述服务器能够基于带式输送机安全保护智能管理算法对所述煤料状态监控图像进行处理,以判断是否生成输煤预警提示。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (6)
1.一种带式输送机安全保护智能管理系统,其特征在于,包括:
监控图像获取模块,用于获取由摄像头采集的煤料状态监控图像;
图像预处理模块,用于对所述煤料状态监控图像进行图像预处理以得到煤料状态图像块的序列;
煤料状态特征提取模块,用于提取所述煤料状态图像块的序列中的煤料状态特征以得到自相关强化煤料局部状态特征图的序列;
一致性关系提取模块,用于提取所述自相关强化煤料局部状态特征图的序列之间的一致性关系以得到煤料局部状态一致性拓扑特征矩阵;以及
输煤预警提示判断模块,用于基于所述自相关强化煤料局部状态特征图的序列和所述煤料局部状态一致性拓扑特征矩阵之间的图结构式煤料一致性关联关系,判断是否生成输煤预警提示;
所述一致性关系提取模块,包括:
降维处理单元,用于对所述自相关强化煤料局部状态特征图的序列中各个自相关强化煤料局部状态特征图进行降维处理以得到自相关强化煤料局部状态语义特征向量的序列;
余弦相似度计算单元,用于计算所述自相关强化煤料局部状态语义特征向量的序列中任意两个自相关强化煤料局部状态语义特征向量之间的余弦相似度以得到煤料局部状态一致性拓扑矩阵;以及
拓扑特征提取单元,用于将所述煤料局部状态一致性拓扑矩阵通过基于卷积神经网络模型的拓扑特征提取器以得到所述煤料局部状态一致性拓扑特征矩阵;
所述输煤预警提示判断模块,包括:
图神经网络单元,用于将所述自相关强化煤料局部状态语义特征向量的序列和所述煤料局部状态一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑全局煤料状态语义特征矩阵;以及
预警提示生成判断单元,用于基于所述一致性拓扑全局煤料状态语义特征矩阵,确定是否生成输煤预警提示;
所述预警提示生成判断单元,用于:
将所述一致性拓扑全局煤料状态语义特征矩阵进行展开以得到一致性拓扑全局煤料状态语义特征向量;
将所述一致性拓扑全局煤料状态语义特征向量通过分类器以得到分类结果,所述分类结果用于表示煤料中是否存在异物;以及
基于所述分类结果,生成输煤预警提示;
所述系统还包括,训练优化模块,用于在将所述一致性拓扑全局煤料状态语义特征矩阵展开后得到的一致性拓扑全局煤料状态语义特征向量通过分类器进行分类训练时,在每次迭代时对所述一致性拓扑全局煤料状态语义特征向量进行训练优化以得到优化一致性拓扑全局煤料状态语义特征向量;
在每次迭代时,以如下公式对所述一致性拓扑全局煤料状态语义特征向量进行训练优化以得到所述优化一致性拓扑全局煤料状态语义特征向量;其中,所述公式为:
;
其中,是所述一致性拓扑全局煤料状态语义特征向量,/>是所述一致性拓扑全局煤料状态语义特征向量/>的特征值,/>和/>分别是所述一致性拓扑全局煤料状态语义特征向量/>的1范数和2范数,/>是所述一致性拓扑全局煤料状态语义特征向量/>的长度,且/>是与/>相关的权重超参数,/>是所述优化一致性拓扑全局煤料状态语义特征向量的特征值。
2.根据权利要求1所述的带式输送机安全保护智能管理系统,其特征在于,所述图像预处理模块,用于:
对所述煤料状态监控图像进行图像分块处理以得到所述煤料状态图像块的序列。
3. 根据权利要求2所述的带式输送机安全保护智能管理系统,其特征在于,所述煤料状态特征提取模块,包括:
特征提取单元,用于将所述煤料状态图像块的序列通过基于卷积神经网络模型的煤料状态特征提取器以得到煤料局部状态特征图的序列;以及
特征自相关强联强化单元,用于将所述煤料局部状态特征图的序列分别通过特征自相关强联强化模块以得到所述自相关强化煤料局部状态特征图的序列。
4.根据权利要求3所述的带式输送机安全保护智能管理系统,其特征在于,所述基于卷积神经网络模型的煤料状态特征提取器,包括:输入层、卷积层、池化层、激活层和输出层。
5.根据权利要求4所述的带式输送机安全保护智能管理系统,其特征在于,所述特征自相关强联强化单元,用于:
对所述煤料局部状态特征图的序列通过所述特征自相关强联强化模块的第一卷积层以得到第一特征图;
将所述第一特征图通过所述特征自相关强联强化模块的第二卷积层以得到第二特征图;
将所述第二特征图沿通道维度的各个特征矩阵展开为特征向量以得到第一特征向量的序列;
计算所述第一特征向量的序列中的任意两个第一特征向量之间的余弦相似度以得到余弦相似性特征图;
将所述余弦相似性特征图通过softmax函数进行归一化处理以得到归一化余弦相似性特征图;
将所述归一化余弦相似性特征图与所述余弦相似性特征图进行按位置点乘以得到相似度映射优化特征图;
将所述相似度映射优化特征图通过所述特征自相关强联强化模块的第一反卷积层以得到第一反卷积特征图;
计算所述第一反卷积特征图和所述第一特征图的逐元素和以得到第一融合特征图;
将所述第一融合特征图通过所述特征自相关强联强化模块的第二反卷积层以得到第二反卷积特征图;
计算所述第二反卷积特征图和所述煤料局部状态特征图的序列的逐元素和以得到所述自相关强化煤料局部状态特征图的序列。
6.根据权利要求5所述的带式输送机安全保护智能管理系统,其特征在于,所述降维处理单元,用于:
计算所述自相关强化煤料局部状态特征图的序列中各个自相关强化煤料局部状态特征图的全局均值向量以得到所述自相关强化煤料局部状态语义特征向量的序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410042119.9A CN117557967B (zh) | 2024-01-11 | 2024-01-11 | 带式输送机安全保护智能管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410042119.9A CN117557967B (zh) | 2024-01-11 | 2024-01-11 | 带式输送机安全保护智能管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117557967A CN117557967A (zh) | 2024-02-13 |
CN117557967B true CN117557967B (zh) | 2024-03-29 |
Family
ID=89813287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410042119.9A Active CN117557967B (zh) | 2024-01-11 | 2024-01-11 | 带式输送机安全保护智能管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557967B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113895911A (zh) * | 2021-11-16 | 2022-01-07 | 平安开诚智能安全装备有限责任公司 | 一种智慧煤流控制系统、方法及可存储介质 |
KR20220048636A (ko) * | 2020-10-13 | 2022-04-20 | 미소에이스 주식회사 | 딥러닝 모델을 기반으로 한 옥내저탄장 자연발화 모니터링 시스템 |
CN116986246A (zh) * | 2023-09-15 | 2023-11-03 | 华能辛店发电有限公司 | 一种用于对输煤皮带进行智能巡检系统及巡检方法 |
CN117116051A (zh) * | 2023-10-25 | 2023-11-24 | 深圳市交投科技有限公司 | 基于人工智能的智慧交通管理系统及其方法 |
CN117152152A (zh) * | 2023-10-31 | 2023-12-01 | 吉林瑞特生物科技有限公司 | 检测试剂盒的生产管理系统及方法 |
CN117227247A (zh) * | 2023-11-09 | 2023-12-15 | 广东岚瑞新材料科技集团有限公司 | 纸箱加工的智能定位控制方法 |
CN117315593A (zh) * | 2023-11-27 | 2023-12-29 | 太原理工大学 | 煤矿井下运输系统异物侵入的识别方法 |
CN117334020A (zh) * | 2023-10-24 | 2024-01-02 | 浙江艾领创矿业科技有限公司 | 智能砂磨机的设备运行故障预测系统及方法 |
-
2024
- 2024-01-11 CN CN202410042119.9A patent/CN117557967B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220048636A (ko) * | 2020-10-13 | 2022-04-20 | 미소에이스 주식회사 | 딥러닝 모델을 기반으로 한 옥내저탄장 자연발화 모니터링 시스템 |
CN113895911A (zh) * | 2021-11-16 | 2022-01-07 | 平安开诚智能安全装备有限责任公司 | 一种智慧煤流控制系统、方法及可存储介质 |
CN116986246A (zh) * | 2023-09-15 | 2023-11-03 | 华能辛店发电有限公司 | 一种用于对输煤皮带进行智能巡检系统及巡检方法 |
CN117334020A (zh) * | 2023-10-24 | 2024-01-02 | 浙江艾领创矿业科技有限公司 | 智能砂磨机的设备运行故障预测系统及方法 |
CN117116051A (zh) * | 2023-10-25 | 2023-11-24 | 深圳市交投科技有限公司 | 基于人工智能的智慧交通管理系统及其方法 |
CN117152152A (zh) * | 2023-10-31 | 2023-12-01 | 吉林瑞特生物科技有限公司 | 检测试剂盒的生产管理系统及方法 |
CN117227247A (zh) * | 2023-11-09 | 2023-12-15 | 广东岚瑞新材料科技集团有限公司 | 纸箱加工的智能定位控制方法 |
CN117315593A (zh) * | 2023-11-27 | 2023-12-29 | 太原理工大学 | 煤矿井下运输系统异物侵入的识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117557967A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104966372B (zh) | 多数据融合的森林火灾智能识别系统和方法 | |
KR101237089B1 (ko) | 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법 | |
Akhloufi et al. | Wildland fires detection and segmentation using deep learning | |
CN112781791A (zh) | 一种基于光学气体成像的VOCs气体泄漏检测方法及系统 | |
CN102208018A (zh) | 一种基于视频差异分析的输电线路火灾识别方法 | |
CN113160513A (zh) | 基于多传感器的火焰探测装置 | |
CN114359838A (zh) | 一种基于高斯交叉注意力网络的跨模态行人检测方法 | |
CN115311241A (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
Cheng et al. | An efficient fire detection algorithm based on multi‐scale convolutional neural network | |
CN117557967B (zh) | 带式输送机安全保护智能管理系统 | |
Li et al. | Application research of artificial intelligent technology in substation inspection tour | |
Luo | Research on fire detection based on YOLOv5 | |
CN112733646B (zh) | 一种基于热成像的液态介质泄漏自动检测方法及系统 | |
CN111898440B (zh) | 一种基于三维卷积神经网络的山火检测方法 | |
Mwedzi et al. | Machine learning applications for fire detection in a residential building | |
Hirsch et al. | Detection of gaseous plumes in IR hyperspectral images using hierarchical clustering | |
CN116580353A (zh) | 一种热电厂安全隐患自动预警方法及系统 | |
Mazur-Milecka et al. | Smart city and fire detection using thermal imaging | |
CN116447528A (zh) | 基于图神经网络和lstm网络的管道油气泄漏检测方法 | |
CN116152735A (zh) | 一种基于边缘云计算的安防监控危险源识别系统与方法 | |
Jeong et al. | Thermal imaging fire detection algorithm with minimal false detection | |
Horng et al. | Image-based fire detection using neural networks | |
Hu et al. | An enhanced YOLOv8 for flame and smoke detection with dilated convolution and image dehazing | |
Sudhakar et al. | A Novel Lightweight CNN Model for Real-Time Video Fire Smoke Detection | |
Roh et al. | Fire image classification based on convolutional neural network for smart fire detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |