CN115818166B - 轮斗连续系统无人值守自动控制方法及其系统 - Google Patents
轮斗连续系统无人值守自动控制方法及其系统 Download PDFInfo
- Publication number
- CN115818166B CN115818166B CN202211428515.2A CN202211428515A CN115818166B CN 115818166 B CN115818166 B CN 115818166B CN 202211428515 A CN202211428515 A CN 202211428515A CN 115818166 B CN115818166 B CN 115818166B
- Authority
- CN
- China
- Prior art keywords
- raw coal
- feature map
- image
- training
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000003245 coal Substances 0.000 claims abstract description 395
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 239000000428 dust Substances 0.000 claims abstract description 33
- 239000000427 antigen Substances 0.000 claims abstract description 23
- 102000036639 antigens Human genes 0.000 claims abstract description 23
- 108091007433 antigens Proteins 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 104
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000009826 distribution Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 23
- 238000010410 dusting Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 10
- 230000000903 blocking effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 32
- 239000000463 material Substances 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 239000000843 powder Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000005065 mining Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003115 biocidal effect Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种轮斗连续系统无人值守自动控制方法及其系统,其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化;然后,通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,可以准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,以防止破碎系统堵塞停运。
Description
技术领域
本申请涉及智能化控制技术领域,且更为具体地,涉及一种轮斗连续系统无人值守自动控制方法及其系统。
背景技术
板式给料机也称为板式喂料机,是一种连续输送物料的机械,可以沿水平或倾斜方向向破碎机、料斗车或其它工作机械连续配给和转运物料,适用于大中型原煤开采生产线中松散、块状、量大喂料工序,尤其对运送大块、高温和尖锐的物料最为适合,可在高温高湿恶劣环境中可靠工作,并能在露天和潮湿恶劣的环境下可靠地工作。
目前,板式给料机的运行方式大多数仍采用人工操作的方式进行控制,但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题,而随着近些年轮斗连续系统的发展,使得板式给料机的无人值守控制方式得到了有效利用。但是,现今在使用无人值守的板式给料机给破碎系统转运开采的原煤物料时,由于原煤物料有大有小,尺寸不一,因此可能会因物料的尺寸过大而导致破碎系统的堵塞停运,进而带来严重的后果。
因此,期望一种优化的轮斗连续系统无人值守自动控制方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种轮斗连续系统无人值守自动控制方法及其系统,其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化;然后,通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,可以准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,以防止破碎系统堵塞停运。
根据本申请的一个方面,提供了一种轮斗连续系统无人值守自动控制方法,其特征在于,包括:
获取由摄像头采集的原煤图像;
将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;
将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;
将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;
将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及
基于所述分类结果,生成防堵塞预警提示。
在上述轮斗连续系统无人值守自动控制方法中,所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器;其中,所述将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像,包括:将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。
在上述轮斗连续系统无人值守自动控制方法中,所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图,包括:使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行池化处理以得到池化特征图;以及,对所述池化特征图进行激活处理以得到激活特征图。
在上述轮斗连续系统无人值守自动控制方法中,所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图,包括:从所述第一卷积神经网络模型的第i层提取浅层特征图;从所述第一卷积神经网络模型的第j层提取深层特征图;以及,使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。
在上述轮斗连续系统无人值守自动控制方法中,所述第i层为所述第一卷积神经网络模型的第一层至第六层;所述第j层与所述第i层之间的比值大于等于5。
在上述轮斗连续系统无人值守自动控制方法中,所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图,包括:使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图;将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;以及,计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。
在上述轮斗连续系统无人值守自动控制方法中,所述将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块,包括:使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果;其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,Project(F)为所述原煤空间增强特征图投影为向量。
在上述轮斗连续系统无人值守自动控制方法中,还包括训练步骤:对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练;其中,所述训练步骤,包括:获取训练数据,所述训练数据包括训练原煤图像,以及,所述原煤图像中是否存在超过预定尺寸的大块的分类结果;将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像;将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图;将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图;将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值;基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值;以及,计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。
在上述轮斗连续系统无人值守自动控制方法中,所述基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值,包括:基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,以如下公式计算所述多分布二元分类质量损失函数值;其中,所述公式为:
其中,M1到Mn是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,Mr是参考矩阵,softmaxi(Mi-Mr)表示矩阵的分类结果,‖·‖1表示向量的1范数。
根据本申请的另一方面,提供了一种轮斗连续系统无人值守自动控制系统,其特征在于,包括:
图像获取模块,用于获取由摄像头采集的原煤图像;
生成原煤图像获取模块,用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;
原煤图像特征提取模块,用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;
空间注意力模块,用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;
原煤尺寸检测结果生成模块,用于将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及
预警提示模块,用于基于所述分类结果,生成防堵塞预警提示。
与现有技术相比,本申请提供的轮斗连续系统无人值守自动控制方法及其系统,其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化;然后,通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,可以准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,以防止破碎系统堵塞停运。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的轮斗连续系统无人值守自动控制方法的场景示意图。
图2为根据本申请实施例的轮斗连续系统无人值守自动控制方法的流程图。
图3为根据本申请实施例的轮斗连续系统无人值守自动控制方法的架构示意图。
图4为根据本申请实施例的轮斗连续系统无人值守自动控制方法中所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图的流程图。
图5为根据本申请实施例的轮斗连续系统无人值守自动控制方法中训练步骤的流程图。
图6为根据本申请实施例的轮斗连续系统无人值守自动控制系统的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如上所述,目前,板式给料机的运行方式大多数仍采用人工操作的方式进行控制,但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题,而随着近些年轮斗连续系统的发展,使得板式给料机的无人值守控制方式得到了有效利用。但是,现今在使用无人值守的板式给料机给破碎系统转运开采的原煤物料时,由于原煤物料有大有小,尺寸不一,因此可能会因物料的尺寸过大而导致破碎系统的堵塞停运,进而带来严重的后果。因此,期望一种优化的轮斗连续系统无人值守自动控制方案,其能够对于超过预定标准的大尺寸原煤进行准确地检测,以控制生成预警提示来防止破碎系统堵塞停运。
目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
近年来,深度学习以及神经网络的发展为超过预定尺寸的原煤检测提供了新的解决思路和方案。
相应地,由于传统的原煤大尺寸检测方案需要将原煤通过检测设备进行尺寸测量,亦或是通过漏斗装置以筛除大尺寸的原煤,这无疑都给开采系统增加了负担。考虑到原煤的尺寸大小可以通过图像进行判断,因此,在本申请的技术方案中,期望通过摄像头采集的原煤图像来进行原煤超过预定尺寸的大块检测,但是由于图像中可能会拍摄到很多无用的杂乱信息,并且图像中的原煤尺寸很难以肉眼进行检测,这对于原煤图像的特征提取以及尺寸检测增加了难度,同时在原煤开采的应用场景中会存在着大量的粉层,这也对于原煤超过预定尺寸标注的大块检测带来了困难。
基于此,在本申请的技术方案中,期望利用机器视觉的人工智能控制技术来对当前原煤图像进行预处理,以提取大块原煤信息,进行特征匹配,进而能够自动识别板式给料机上的大块,发出报警,提醒操作人员介入,防止破碎系统堵塞停运。具体地,在本申请的技术方案中,通过人工智能算法来对于原煤图像进行去粉层的图像优化后,提取出所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于所述板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,能够准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,防止破碎系统堵塞停运。
具体地,在本申请的技术方案中,首先,通过摄像头采集原煤图像。接着,考虑到由于在原煤开采场所中会存在大量的粉层而造成原煤块在原煤图像中的清晰度无法满足检测要求,进而影响检测结果的精准度。因此,在本申请的技术方案中,进一步将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。特别地,这里,所述基于对抗生成网络的去粉尘生成器包含鉴别器和生成器,其中,所述生成器用于生成去粉层的图像,所述鉴别器用于计算去粉层的生成图像和真实图像之间的差异,并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有去粉层功能的生成器,即所述去粉尘生成器。进而,再将所述原煤图像输入所述基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。
然后,使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述生成原煤图像的局部隐含特征。特别地,在本申请的技术方案中,考虑到在对于所述生成原煤图像进行特征提取时,由于原煤的形状、尺寸等浅层特征都会对于破碎产生影响,而在本申请的技术方案中需要聚焦于原煤的尺寸等浅层特征,但是卷积神经网络在编码时,随着其深度的加深,浅层特征会变得模糊甚至被噪声所淹没。因此,在本申请的技术方案中,使用包含深浅特征融合模块的卷积神经网络模型对所述生成原煤图像进行处理,具体地,将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。应可以理解,相较于标准卷积神经网络模型,根据本申请的所述包含深浅特征融合模块的卷积神经网络模型能够保留所述原煤图像中的浅层特征和深层特征,以不仅使得特征信息更为丰富,且不同深度的特征能得以保留,以提高原煤尺寸检测的精度。
进一步地,考虑到在所述原煤图像中,会存在有较多的不同原煤块,而本申请对于原煤的尺寸检测所需要聚焦的是在所述板式给料机上的原煤尺寸特征信息,因此,进一步再将所述原煤特征图通过空间注意力模块中进行空间位置特征的聚焦,以得到原煤空间增强特征图。接着,将所述原煤空间增强特征图通过分类器以得到用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果,进而基于所述分类结果,生成防堵塞预警提示。
特别地,在本申请的技术方案中,这里,在将所述原煤特征图通过空间注意力模块得到所述原煤空间增强特征图时,由于所述空间注意力模块对所述原煤特征图的沿通道的每个特征矩阵进行了空间特征关联的强化,这使得所述原煤空间增强特征图的沿通道的每个原煤空间增强特征矩阵的局部特征分布间的关联度变差,从而影响了所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。
这可以通过对每个原煤空间增强特征矩阵施加权重来增强其间的关联度,但是,如果所述权重作为超参数来通过训练得到,则会增加模型的训练负担,因此,本申请的申请人考虑引入多分布二元分类质量损失函数,表示为:
其中,M1到Mn是各个原煤空间增强特征矩阵,Mr是参考矩阵,例如设置为所有原煤空间增强特征矩阵的均值矩阵,softmaxi(Mi-Mr)表示矩阵的分类结果,‖·‖1表示向量的1范数。
这里,为了避免待分类的所述原煤空间增强特征图的多个原煤空间增强特征矩阵在多分布分类时由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别域的收敛困难,通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式,来预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样,通过以此对模型进行训练,就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题,并改进所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。这样,能够准确地进行原煤超过预定尺寸的大块检测,进而在检测出大尺寸的原煤物料时控制生成防堵塞预警提示以提醒操作人员介入,防止破碎系统堵塞停运。
基于此,本申请提供了一种轮斗连续系统无人值守自动控制方法,其包括:获取由摄像头采集的原煤图像;将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及,基于所述分类结果,生成防堵塞预警提示。
图1为根据本申请实施例的轮斗连续系统无人值守自动控制方法的场景示意图。如图1所示,在该应用场景中,首先,获取由摄像头(例如,如图1中所示意的C)采集的原煤图像(例如,如图1中所示意的M);然后,将获取的原煤图像输入至部署有轮斗连续系统无人值守自动控制算法的服务器(例如,如图1中所示意的S)中,其中服务器能够基于轮斗连续系统无人值守自动控制算法对所述原煤图像进行处理,以生成用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果,并基于所述分类结果,生成防堵塞预警提示。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的轮斗连续系统无人值守自动控制方法的流程图。如图2所示,根据本申请实施例的轮斗连续系统无人值守自动控制方法,包括步骤:S110,获取由摄像头采集的原煤图像;S120,将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;S130,将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;S140,将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;S150,将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及,S160,基于所述分类结果,生成防堵塞预警提示。
图3为根据本申请实施例的轮斗连续系统无人值守自动控制方法的架构示意图。如图3所示,在该网络架构中,首先,获取由摄像头采集的原煤图像;然后,将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;接着,将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;然后,将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;接着,将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及,最后,基于所述分类结果,生成防堵塞预警提示。
具体地,在步骤S110中,获取由摄像头采集的原煤图像。如前所述,目前,板式给料机的运行方式大多数仍采用人工操作的方式进行控制,但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题,而随着近些年轮斗连续系统的发展,使得板式给料机的无人值守控制方式得到了有效利用。但是,现今在使用无人值守的板式给料机给破碎系统转运开采的原煤物料时,由于原煤物料有大有小,尺寸不一,因此可能会因物料的尺寸过大而导致破碎系统的堵塞停运,进而带来严重的后果。因此,期望一种优化的轮斗连续系统无人值守自动控制方案,其能够对于超过预定标准的大尺寸原煤进行准确地检测,以控制生成预警提示来防止破碎系统堵塞停运。
目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
近年来,深度学习以及神经网络的发展为超过预定尺寸的原煤检测提供了新的解决思路和方案。
相应地,由于传统的原煤大尺寸检测方案需要将原煤通过检测设备进行尺寸测量,亦或是通过漏斗装置以筛除大尺寸的原煤,这无疑都给开采系统增加了负担。考虑到原煤的尺寸大小可以通过图像进行判断,因此,在本申请的技术方案中,期望通过摄像头采集的原煤图像来进行原煤超过预定尺寸的大块检测,但是由于图像中可能会拍摄到很多无用的杂乱信息,并且图像中的原煤尺寸很难以肉眼进行检测,这对于原煤图像的特征提取以及尺寸检测增加了难度,同时在原煤开采的应用场景中会存在着大量的粉层,这也对于原煤超过预定尺寸标注的大块检测带来了困难。
基于此,在本申请的技术方案中,期望利用机器视觉的人工智能控制技术来对当前原煤图像进行预处理,以提取大块原煤信息,进行特征匹配,进而能够自动识别板式给料机上的大块,发出报警,提醒操作人员介入,防止破碎系统堵塞停运。具体地,在本申请的技术方案中,通过人工智能算法来对于原煤图像进行去粉层的图像优化后,提取出所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于所述板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,能够准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,防止破碎系统堵塞停运。
具体地,在本申请的技术方案中,首先,通过摄像头采集原煤图像。应可以理解,由于原煤的尺寸有大有小,在通过摄像头采集原煤图像时,会有部分原煤被遮挡而无法被采集到。因此,在本申请一具体示例中,设置多个摄像头,以从多个角度采集原煤图像,以使得被遮挡的原煤可以在其他角度被采集到图像。
具体地,在步骤S120中,将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。接着,考虑到由于在原煤开采场所中会存在大量的粉层而造成原煤块在原煤图像中的清晰度无法满足检测要求,进而影响检测结果的精准度。
因此,在本申请的技术方案中,进一步将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。特别地,这里,所述基于对抗生成网络的去粉尘生成器包含鉴别器和生成器,其中,所述生成器用于生成去粉层的图像,所述鉴别器用于计算去粉层的生成图像和真实图像之间的差异,并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有去粉层功能的生成器,即所述去粉尘生成器。进而,再将所述原煤图像输入所述基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。
应可以理解,对抗生成网络是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型和判别模型的互相博弈学习产生相当好的输出。其中,对抗生成网络模型使用一组真实的图片作为输入,试图生成能够以假乱真的类似图片。方法是先由生成器随机的生成图片,之后由判别器判定图片是否为真实的。由于在所有的抗生成网络模型模型,都可以分为生成器和判别器两个部分,训练的过程是先训练生成器,等到训练一定时间后再固定生成器训练判别器,这使得抗生成网络模型不同与传统的机器学习的训练过程,更加不稳定,而这也是抗生成网络模型模型之后的改进版要优化的部分。
具体地,在步骤S130中,将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。然后,使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述生成原煤图像的局部隐含特征。
特别地,在本申请的技术方案中,考虑到在对于所述生成原煤图像进行特征提取时,由于原煤的形状、尺寸等浅层特征都会对于破碎产生影响,而在本申请的技术方案中需要聚焦于原煤的尺寸等浅层特征,但是卷积神经网络在编码时,随着其深度的加深,浅层特征会变得模糊甚至被噪声所淹没。
因此,在本申请的技术方案中,使用包含深浅特征融合模块的卷积神经网络模型对所述生成原煤图像进行处理,具体地,将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。应可以理解,相较于标准卷积神经网络模型,根据本申请的所述包含深浅特征融合模块的卷积神经网络模型能够保留所述原煤图像中的浅层特征和深层特征,以不仅使得特征信息更为丰富,且不同深度的特征能得以保留,以提高原煤尺寸检测的精度。
进一步地,所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图,包括:使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行池化处理以得到池化特征图;以及,对所述池化特征图进行激活处理以得到激活特征图。
其中,从所述第一卷积神经网络模型的第i层提取浅层特征图;从所述第一卷积神经网络模型的第j层提取深层特征图;以及,使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。
更进一步地,所述第i层为所述第一卷积神经网络模型的第一层至第六层;所述第j层与所述第i层之间的比值大于等于5。
具体地,在步骤S140,将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图。进一步地,考虑到在所述原煤图像中,会存在有较多的不同原煤块,而本申请对于原煤的尺寸检测所需要聚焦的是在所述板式给料机上的原煤尺寸特征信息,因此,进一步再将所述原煤特征图通过空间注意力模块中进行空间位置特征的聚焦,以得到原煤空间增强特征图。
应可以理解,注意力机制是机器学习中的一种数据处理方法,广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面,注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方;另一方面,注意力机制通过神经网络的操作生成一个掩码mask,mask上的值的权重。一般来说,空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
更具体地,在本申请实施例中,图4为根据本申请实施例的轮斗连续系统无人值守自动控制方法中所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图的流程图,如图4所示,所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图,包括:S210,使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图;S220,将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;S230,将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;以及,S240,计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。
具体地,在步骤S150和步骤S160中,将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;并基于所述分类结果,生成防堵塞预警提示。接着,将所述原煤空间增强特征图通过分类器以得到用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果,进而基于所述分类结果,生成防堵塞预警提示。
进一步地,使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果;其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,Project(F)为所述原煤空间增强特征图投影为向量。
进一步地,所述轮斗连续系统无人值守自动控制方法,还包括训练步骤:对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。图5为根据本申请实施例的轮斗连续系统无人值守自动控制方法中训练步骤的流程图,如图5所示,所述训练步骤,包括:S310,获取训练数据,所述训练数据包括训练原煤图像,以及,所述原煤图像中是否存在超过预定尺寸的大块的分类结果;S320,将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像;S330,将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图;S340,将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图;S350,将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值;S360,基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值;以及,S370,计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。
特别地,在本申请的技术方案中,这里,在将所述原煤特征图通过空间注意力模块得到所述原煤空间增强特征图时,由于所述空间注意力模块对所述原煤特征图的沿通道的每个特征矩阵进行了空间特征关联的强化,这使得所述原煤空间增强特征图的沿通道的每个原煤空间增强特征矩阵的局部特征分布间的关联度变差,从而影响了所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。
这可以通过对每个原煤空间增强特征矩阵施加权重来增强其间的关联度,但是,如果所述权重作为超参数来通过训练得到,则会增加模型的训练负担,因此,本申请的申请人考虑引入多分布二元分类质量损失函数,也就是,基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,以如下公式计算所述多分布二元分类质量损失函数值;其中,所述公式为:
其中,M1到Mn是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,Mr是参考矩阵,softmaxi(Mi-Mr)表示矩阵的分类结果,‖·‖1表示向量的1范数。
这里,为了避免待分类的所述原煤空间增强特征图的多个原煤空间增强特征矩阵在多分布分类时由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别域的收敛困难,通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式,来预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样,通过以此对模型进行训练,就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题,并改进所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。这样,能够准确地进行原煤超过预定尺寸的大块检测,进而在检测出大尺寸的原煤物料时控制生成防堵塞预警提示以提醒操作人员介入,防止破碎系统堵塞停运。
综上,基于本申请实施例的轮斗连续系统无人值守自动控制方法及其系统被阐明,其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化;然后,通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息,并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征,以此来进行所述原煤图像中的大尺寸原煤判断。这样,可以准确地进行原煤超过预定尺寸的大块检测,进而控制生成防堵塞预警提示以提醒操作人员介入,以防止破碎系统堵塞停运。
示例性系统
图6为根据本申请实施例的轮斗连续系统无人值守自动控制系统的框图。如图6所示,根据本申请实施例的轮斗连续系统无人值守自动控制系统100,包括:图像获取模块110,用于获取由摄像头采集的原煤图像;生成原煤图像获取模块120,用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;原煤图像特征提取模块130,用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;空间注意力模块140,用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;原煤尺寸检测结果生成模块150,用于将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及,预警提示模块160,用于基于所述分类结果,生成防堵塞预警提示。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器;其中,所述生成原煤图像获取模块,用于:将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述原煤图像特征提取模块,用于:使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行池化处理以得到池化特征图;以及,对所述池化特征图进行激活处理以得到激活特征图。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述原煤图像特征提取模块,包括:从所述第一卷积神经网络模型的第i层提取浅层特征图;从所述第一卷积神经网络模型的第j层提取深层特征图;以及,使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述第i层为所述第一卷积神经网络模型的第一层至第六层;所述第j层与所述第i层之间的比值大于等于5。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述空间注意力模块,包括:使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图;将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;以及,计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述原煤尺寸检测结果生成模块,包括:使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果;其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,Project(F)为所述原煤空间增强特征图投影为向量。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,还包括训练模块:用于对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练;其中,所述训练模块,包括:训练图像获取单元,用于获取训练数据,所述训练数据包括训练原煤图像,以及,所述原煤图像中是否存在超过预定尺寸的大块的分类结果;训练生成原煤图像获取单元,用于将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像;训练原煤图像特征提取单元,用于将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图;训练空间注意力单元,用于将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图;训练原煤尺寸检测结果生成单元,用于将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值;质量损失函数值计算单元,用于基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值;以及,训练单元,用于计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。
在一个实施例中,在上述轮斗连续系统无人值守自动控制系统100中,所述质量损失函数值计算单元,计算多分布二元分类质量损失函数值,包括:基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,以如下公式计算所述多分布二元分类质量损失函数值;其中,所述公式为:
其中,M1到Mn是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,Mr是参考矩阵,softmaxi(Mi-Mr)表示矩阵的分类结果,‖·‖1表示向量的1范数。
这里,本领域技术人员可以理解,上述轮斗连续系统无人值守自动控制系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的轮斗连续系统无人值守自动控制方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的轮斗连续系统无人值守自动控制系统100可以实现在各种无线终端中,例如用于轮斗连续系统无人值守自动控制系统的服务器等。在一个示例中,根据本申请实施例的轮斗连续系统无人值守自动控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该轮斗连续系统无人值守自动控制系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该轮斗连续系统无人值守自动控制系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该轮斗连续系统无人值守自动控制系统100与该无线终端也可以是分立的设备,并且该轮斗连续系统无人值守自动控制系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种轮斗连续系统无人值守自动控制方法,其特征在于,包括:
获取由摄像头采集的原煤图像;
将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;
将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;
将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;
将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及
基于所述分类结果,生成防堵塞预警提示;
其中,所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图,包括:
使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图;
将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;
将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;以及
计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。
2.根据权利要求1所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器;
其中,所述将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像,包括:
将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。
3.根据权利要求2所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图,包括:
使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:
对所述输入数据进行卷积处理以得到卷积特征图;
对所述卷积特征图进行池化处理以得到池化特征图;以及
对所述池化特征图进行激活处理以得到激活特征图。
4.根据权利要求3所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图,包括:
从所述第一卷积神经网络模型的第i层提取浅层特征图;
从所述第一卷积神经网络模型的第j层提取深层特征图;以及
使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。
5.根据权利要求4所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述第i层为所述第一卷积神经网络模型的第一层至第六层;所述第j层与所述第i层之间的比值大于等于5。
6.根据权利要求5所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块,包括:使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果;
其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,Project(F)为所述原煤空间增强特征图投影为向量。
7.根据权利要求6所述的轮斗连续系统无人值守自动控制方法,其特征在于,还包括训练步骤:对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练;
其中,所述训练步骤,包括:
获取训练数据,所述训练数据包括训练原煤图像,以及,所述训练原煤图像中是否存在超过预定尺寸的大块的分类结果;
将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像;
将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图;
将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图;
将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值;
基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值;以及
计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。
8.根据权利要求7所述的轮斗连续系统无人值守自动控制方法,其特征在于,所述基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,计算多分布二元分类质量损失函数值,包括:
基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,以如下公式计算所述多分布二元分类质量损失函数值;
其中,所述公式为:
其中,M1到Mn是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵,Mr是参考矩阵,softmaxi(Mi-Mr)表示矩阵的分类结果,‖·‖1表示向量的1范数。
9.一种轮斗连续系统无人值守自动控制系统,其特征在于,包括:
图像获取模块,用于获取由摄像头采集的原煤图像;
生成原煤图像获取模块,用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像;
原煤图像特征提取模块,用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图;
空间注意力模块,用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图;
原煤尺寸检测结果生成模块,用于将所述原煤空间增强特征图通过分类器以得到分类结果,所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块;以及
预警提示模块,用于基于所述分类结果,生成防堵塞预警提示;
其中,将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图,包括:使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图;将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;以及,计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211428515.2A CN115818166B (zh) | 2022-11-15 | 2022-11-15 | 轮斗连续系统无人值守自动控制方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211428515.2A CN115818166B (zh) | 2022-11-15 | 2022-11-15 | 轮斗连续系统无人值守自动控制方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115818166A CN115818166A (zh) | 2023-03-21 |
CN115818166B true CN115818166B (zh) | 2023-09-26 |
Family
ID=85528192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211428515.2A Active CN115818166B (zh) | 2022-11-15 | 2022-11-15 | 轮斗连续系统无人值守自动控制方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115818166B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630081B (zh) * | 2023-07-25 | 2023-09-29 | 新疆华屹能源发展有限公司 | 采油井氮气前置增能降粘增产方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105944976A (zh) * | 2016-05-16 | 2016-09-21 | 陕西科技大学 | 一种利用数字图像处理技术分拣大块煤矸石的方法及装置 |
CN110880171A (zh) * | 2019-10-30 | 2020-03-13 | 联想(北京)有限公司 | 一种显示装置的检测方法及电子设备 |
CN112419184A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种综合局部信息和全局信息的空间注意力图像去噪方法 |
CN112488082A (zh) * | 2020-12-24 | 2021-03-12 | 刘强 | 基于深度学习的煤矸石智能分拣系统 |
CN112508041A (zh) * | 2020-12-21 | 2021-03-16 | 苏州锐希信息技术有限公司 | 基于分类结果标签的用于喷雾控制的神经网络的训练方法 |
CN112800995A (zh) * | 2021-02-04 | 2021-05-14 | 广州甄好数码科技有限公司 | 使用多尺度特征加权的智能颗粒大小检测方法 |
CN112819096A (zh) * | 2021-02-26 | 2021-05-18 | 西北大学 | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 |
CN112905828A (zh) * | 2021-03-18 | 2021-06-04 | 西北大学 | 一种结合显著特征的图像检索器、数据库及检索方法 |
CN113191969A (zh) * | 2021-04-17 | 2021-07-30 | 南京航空航天大学 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
CN113688826A (zh) * | 2021-07-05 | 2021-11-23 | 北京工业大学 | 基于特征融合的花粉图像检测方法及系统 |
CN113989716A (zh) * | 2021-10-21 | 2022-01-28 | 西安科技大学 | 煤矿井下输送带异物目标检测方法、系统、设备及终端 |
CN114535133A (zh) * | 2022-01-12 | 2022-05-27 | 山东大学 | 基于双能射线透射成像的煤和矸石分选方法、装置及系统 |
CN114663299A (zh) * | 2022-03-01 | 2022-06-24 | 煤炭科学研究总院有限公司 | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
CN115100427A (zh) * | 2022-06-30 | 2022-09-23 | 江苏中清先进电池制造有限公司 | 锂电池制造的石墨矿石破碎装置及其处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3102495A1 (en) * | 2019-12-11 | 2021-06-11 | Can-Explore Inc. | System and method for performing automated inspection of a sewer line using machine learning |
-
2022
- 2022-11-15 CN CN202211428515.2A patent/CN115818166B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105944976A (zh) * | 2016-05-16 | 2016-09-21 | 陕西科技大学 | 一种利用数字图像处理技术分拣大块煤矸石的方法及装置 |
CN110880171A (zh) * | 2019-10-30 | 2020-03-13 | 联想(北京)有限公司 | 一种显示装置的检测方法及电子设备 |
CN112419184A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种综合局部信息和全局信息的空间注意力图像去噪方法 |
CN112508041A (zh) * | 2020-12-21 | 2021-03-16 | 苏州锐希信息技术有限公司 | 基于分类结果标签的用于喷雾控制的神经网络的训练方法 |
CN112488082A (zh) * | 2020-12-24 | 2021-03-12 | 刘强 | 基于深度学习的煤矸石智能分拣系统 |
CN112800995A (zh) * | 2021-02-04 | 2021-05-14 | 广州甄好数码科技有限公司 | 使用多尺度特征加权的智能颗粒大小检测方法 |
CN112819096A (zh) * | 2021-02-26 | 2021-05-18 | 西北大学 | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 |
CN112905828A (zh) * | 2021-03-18 | 2021-06-04 | 西北大学 | 一种结合显著特征的图像检索器、数据库及检索方法 |
CN113191969A (zh) * | 2021-04-17 | 2021-07-30 | 南京航空航天大学 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
CN113688826A (zh) * | 2021-07-05 | 2021-11-23 | 北京工业大学 | 基于特征融合的花粉图像检测方法及系统 |
CN113989716A (zh) * | 2021-10-21 | 2022-01-28 | 西安科技大学 | 煤矿井下输送带异物目标检测方法、系统、设备及终端 |
CN114535133A (zh) * | 2022-01-12 | 2022-05-27 | 山东大学 | 基于双能射线透射成像的煤和矸石分选方法、装置及系统 |
CN114663299A (zh) * | 2022-03-01 | 2022-06-24 | 煤炭科学研究总院有限公司 | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
CN115100427A (zh) * | 2022-06-30 | 2022-09-23 | 江苏中清先进电池制造有限公司 | 锂电池制造的石墨矿石破碎装置及其处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115818166A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
CN110070530B (zh) | 一种基于深度神经网络的输电线路覆冰检测方法 | |
CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
CN108108746B (zh) | 基于Caffe深度学习框架的车牌字符识别方法 | |
CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
CN115375614A (zh) | 用于对通过制造过程制造的产品进行分类的系统和方法 | |
CN115818166B (zh) | 轮斗连续系统无人值守自动控制方法及其系统 | |
CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
CN111680705B (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
CN115861685A (zh) | 基于图像识别的自动对中控制系统及其方法 | |
CN115410039A (zh) | 基于改进YOLOv5算法的煤炭异物检测系统及方法 | |
Quiros et al. | A genetic algorithm and artificial neural network-based approach for the machine vision of plate segmentation and character recognition | |
CN114724246B (zh) | 危险行为识别方法及装置 | |
CN117197746A (zh) | 基于深度学习的安全监测系统及方法 | |
CN115888958A (zh) | 基于图像识别的板式给料机速度自动调节方法及其系统 | |
Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
US20210390419A1 (en) | Device and Method for Training and Testing a Classifier | |
CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
Romero et al. | Enhanced plastic recycling using RGB+ Depth fusion with MassFaster and MassMask R-CNN | |
Akamatsu et al. | A Video Object Detection Method of ECNet Based on Frame Difference and Grid Cell Confidence | |
Piérard et al. | A probabilistic pixel-based approach to detect humans in video streams | |
CN114724226B (zh) | 表情识别模型训练方法、电子设备、存储介质 | |
Nair et al. | Modified YOLOv4 for real-time coconut trees detection from an unmanned aerial vehicle | |
Das et al. | Object Detection on Scene Images: A Novel Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |