CN115661759B - 井下设备的实时在线监控系统及其监控方法 - Google Patents
井下设备的实时在线监控系统及其监控方法 Download PDFInfo
- Publication number
- CN115661759B CN115661759B CN202211476504.1A CN202211476504A CN115661759B CN 115661759 B CN115661759 B CN 115661759B CN 202211476504 A CN202211476504 A CN 202211476504A CN 115661759 B CN115661759 B CN 115661759B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- feature
- neural network
- vector
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000003245 coal Substances 0.000 claims abstract description 70
- 239000010881 fly ash Substances 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims description 203
- 239000011159 matrix material Substances 0.000 claims description 110
- 238000013527 convolutional neural network Methods 0.000 claims description 90
- 230000004927 fusion Effects 0.000 claims description 37
- 238000009826 distribution Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 34
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010191 image analysis Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000007257 malfunction Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 240000004760 Pimpinella anisum Species 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000004071 soot Substances 0.000 description 2
- 102100033620 Calponin-1 Human genes 0.000 description 1
- 102100033591 Calponin-2 Human genes 0.000 description 1
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及新一代信息技术的领域，其具体地公开了一种井下设备的实时在线监控系统及其监控方法，其通过基于人工智能技术的卷积神经网络模型对由粉煤球制造机生产的粉煤灰球阵列进行图像分析，以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
Description
技术领域
本发明涉及新一代信息技术的领域，且更为具体地，涉及一种井下设备的实时在线监控系统及其监控方法。
背景技术
粉煤球制造机是重要的煤矿井中的井下设备，其功能在于通过粉煤灰成球制造工艺来制成粉煤灰球。在运行过程中，如果粉煤球制造机出现故障或者性能下降，其所制造的粉煤灰球的质量也会随之下降，因此，对粉煤球制造机的性能进行在线实时监测是十分必要的。
因此，期待一种粉煤球制造机的性能实时在线监控系统来对粉煤球制造机进行实时的在线监测，从而保证粉煤球制造机的正常运行以及性能。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种井下设备的实时在线监控系统及其监控方法，其通过基于人工智能技术的卷积神经网络模型对由粉煤球制造机生产的粉煤灰球阵列进行图像分析，以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
根据本申请的一个方面，提供了一种井下设备的实时在线监控系统，其包括：
数据采集模块，用于获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；
第一数据编码模块，用于将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；
第一特征差分模块，用于计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；
第二数据编码模块，用于将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；
第二特征差分模块，用于计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；
特征分布融合模块，用于融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及
性能评估模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
在上述井下设备的实时在线监控系统中，所述第一数据编码模块，包括：第一卷积编码单元，用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第一图像；以及，第二卷积编码单元，用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述第二特征向量，其中，所述第二卷积神经网络的第一层的输入为所述第一图像。
在上述井下设备的实时在线监控系统中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。
在上述井下设备的实时在线监控系统中，所述第一特征差分模块，进一步用于计算所述第一特征向量和所述第二特征向量之间的按位置差值的绝对值以得到所述第一差分特征向量。
在上述井下设备的实时在线监控系统中，所述特征分布融合模块，包括：关联编码单元，用于计算所述第一差分特征向量与所述第二差分特征向量的转置向量之间的向量乘积以得到融合特征矩阵；以及，矩阵调制单元，用于以如下公式对所述融合特征矩阵进行平滑最大函数近似性调制以得到所述分类特征矩阵；
其中，所述公式为：
其中，是所述融合特征矩阵，m i, j 是所述融合特征矩阵的特征值，为向量
的二范数，且表示将矩阵的每个值乘以预定数值，表示矩阵的按位置相加，且是所
述分类特征矩阵。
在上述井下设备的实时在线监控系统中，所述性能评估模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(W n ,B n ):...:(W 1,B 1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
在上述井下设备的实时在线监控系统中，所述井下设备为粉煤球制造机。
根据本申请的另一方面，一种井下设备的实时在线监控系统的监控方法，其包括：
获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；
将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；
计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；
将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；
计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；
融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
在上述井下设备的实时在线监控系统的监控方法中，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，包括：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第一图像；以及，使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述第二特征向量，其中，所述第二卷积神经网络的第一层的输入为所述第一图像。
在上述井下设备的实时在线监控系统的监控方法中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。
在上述井下设备的实时在线监控系统的监控方法中，计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量，包括：计算所述第一特征向量和所述第二特征向量之间的按位置差值的绝对值以得到所述第一差分特征向量。
在上述井下设备的实时在线监控系统的监控方法中，融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵，包括：计算所述第一差分特征向量与所述第二差分特征向量的转置向量之间的向量乘积以得到融合特征矩阵；以及，以如下公式对所述融合特征矩阵进行平滑最大函数近似性调制以得到所述分类特征矩阵；
其中，所述公式为：
其中，是所述融合特征矩阵，m i, j 是所述融合特征矩阵的特征值，为向量
的二范数，且表示将矩阵的每个值乘以预定数值，表示矩阵的按位置相加，且是所
述分类特征矩阵。
在上述井下设备的实时在线监控系统的监控方法中，将所述分类特征矩阵通过分类器以得到分类结果，包括：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(W n ,B n ):...:(W 1,B 1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
在上述井下设备的实时在线监控系统的监控方法中，所述井下设备为粉煤球制造机。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的井下设备的实时在线监控系统的监控方法。
与现有技术相比，本申请提供的井下设备的实时在线监控系统及其监控方法，其通过基于人工智能技术的卷积神经网络模型对由粉煤球制造机生产的粉煤灰球阵列进行图像分析，以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的井下设备的实时在线监控系统的应用场景图。
图2为根据本申请实施例的井下设备的实时在线监控系统的框图。
图3为根据本申请实施例的井下设备的实时在线监控系统的监控方法的流程图。
图4为根据本申请实施例的井下设备的实时在线监控系统的监控方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，粉煤球制造机是重要的煤矿井中的井下设备，其功能在于通过粉煤灰成球制造工艺来制成粉煤灰球。在运行过程中，如果粉煤球制造机出现故障或者性能下降，其所制造的粉煤灰球的质量也会随之下降，因此，对粉煤球制造机的性能进行在线实时监测是十分必要的。
因此，期待一种粉煤球制造机的性能实时在线监控系统来对粉煤球制造机进行实时的在线监测，从而保证粉煤球制造机的正常运行以及性能。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为粉煤球制造机的实时监控提供了新的解决思路和方案。
相应地，本申请发明人考虑到如果粉煤球制造机的性能出现下降或者出现故障，则其所生产的粉煤灰球的一致性和均匀性会产生明显的差异，因此，可通过对由粉煤球制造机生产的粉煤灰球阵列进行图像分析以通过分析粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对粉煤球制造机的性能进行实时在线监测。
应可以理解，若想通过分析粉煤灰球阵列中各个粉煤灰球的均匀性和一致性来对粉煤球制造机的性能进行准确地分析判断，就需要从不同的方向来获取粉煤灰球阵列的拍摄图像，以综合所述粉煤球阵列的多角度特征分布信息来进行分类。也就是，具体地，在本申请的技术方案中，首先，通过第一相机以第一拍摄方向拍摄由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄所述粉煤灰球阵列的第二图像。
由于考虑到使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对所述拍摄图像进行深层的特征挖掘时，如果能够采用不同尺寸卷积核的卷积神经网络来对其进行特征提取，就能够挖掘出更加丰富的所述粉煤球阵列的拍摄图像的特征信息。也就是，应可以理解，在特征提取方面，大尺度卷积核减弱了数值的变化差异，容易导致平滑过渡的问题，使得输出特征失去了判断能力，而小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰，因此，考虑到不同的尺度卷积的特点，在本申请的技术方案中，采用不同尺寸卷积核的卷积神经网络来对所述拍摄图像进行处理。具体地，将所述第一图像和所述第二图像都分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络中进行处理，以得到对应于所述第一图像的第一特征向量和第二特征向量以及对应于所述第二图像的第三特征向量和第四特征向量。特别地，这里，所述第二卷积核的尺寸小于所述第一卷积核的尺寸。
然后，为了提取出不同方位下的拍摄图像的高维隐含特征的相对均匀性和一致性表达，进一步分别计算所述第一特征向量和所述第二特征向量之间的差分以及所述第三特征向量和所述第四特征向量之间的差分以得到第一差分特征向量和第二差分特征向量。
进一步地，考虑到由于第一差分特征向量V 1和第二差分特征向量V 2本身作为第一阵列图像和第二阵列图像的相对均匀性和一致性的表达，其特征分布自身具有一定的确定性。但是，由于第一阵列图像和第二阵列图像是从不同方向获得的，因此第一差分特征向量V 1和第二差分特征向量V 2的特征分布之间存在不一致，因此在将其进行关联融合时，在高维空间内其各自的特征分布向融合特征分布迁移后，会影响融合特征矩阵的整体特征分布的单调性，从而导致所述融合特征矩阵通过分类器进行分类的收敛效果差，影响分类器的分类结果的准确性。
由此，对融合特征矩阵进行平滑最大函数近似性调制，表示为：
m i, j 是所述融合特征矩阵的特征值，为向量的二范数，且表示将矩阵的
每个值乘以预定数值。
这里，通过用沿所述融合特征矩阵的行和列维度的平滑最大函数来近似地定义
符号化的距离函数，可以实现所述融合特征矩阵在高维特征空间内所表征的高维流形的
凸优化的相对良好的联合，并通过以其对所述融合特征矩阵的结构化的特征分布进行调
制，就可以获得特征分布的内在结构到特征空间内的空间特征变化的自然分布转移，增强
了所述融合特征矩阵的高维流形的特征表达的凸单调性保留，从而增强了所述融合特征
矩阵整体的分布单调性，进而改进了所述融合特征矩阵通过分类器进行分类的收敛效
果，提升了分类器的分类结果的准确性。
基于此，本申请提出了一种井下设备的实时在线监控系统，其包括：数据采集模块，用于获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；第一数据编码模块，用于将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；第一特征差分模块，用于计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；第二数据编码模块，用于将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；第二特征差分模块，用于计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；特征分布融合模块，用于融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及，性能评估模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
图1图示了根据本申请实施例的井下设备的实时在线监控系统的应用场景图。如图1所示，在该应用场景中，首先，通过第一相机（例如，如图1中所示意C1）以第一拍摄方向拍摄由井下设备（例如，如图1中所示意T）生产的粉煤灰球阵列（例如，如图1中所示意F）的第一图像以及由第二相机（例如，如图1中所示意C2）以第二拍摄方向拍摄所述粉煤灰球阵列的第二图像。然后，将获得的所述粉煤灰球阵列的第一图像以及第二图像输入至部署有井下设备的实时在线监控算法的服务器中（例如，如图1中所示意的云服务器S），其中，所述服务器能够以井下设备的实时在线监控算法对所述粉煤灰球阵列的第一图像以及第二图像进行处理，以生成用于表示用于生产粉煤灰球的井下设备的性能是否正常的分类结果。在一个示例中，所述井下设备为粉煤球制造机。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的井下设备的实时在线监控系统的框图。如图2所示，根据本申请实施例的井下设备的实时在线监控系统 200，包括：数据采集模块 210，用于获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；第一数据编码模块220，用于将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；第一特征差分模块 230，用于计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；第二数据编码模块 240，用于将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；第二特征差分模块 250，用于计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；特征分布融合模块 260，用于融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及，性能评估模块 270，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
具体地，在本申请实施例中，所述数据采集模块 210，用于获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像。如前所述，在粉煤球制造机的运行过程中，如果粉煤球制造机出现故障或者性能下降，其所制造的粉煤灰球的质量也会随之下降，并且考虑到如果所述粉煤球制造机的性能出现下降或者出现故障，则其所生产的粉煤灰球的一致性和均匀性会产生明显的差异，因此，在本申请的技术方案中，可通过对由所述粉煤球制造机生产的粉煤灰球阵列进行图像分析以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
应可以理解，若想通过分析粉煤灰球阵列中各个粉煤灰球的均匀性和一致性来对粉煤球制造机的性能进行准确地分析判断，就需要从不同的方向来获取所述粉煤灰球阵列的拍摄图像，以综合所述粉煤球阵列的多角度特征分布信息来进行分类。也就是，具体地，在本申请的技术方案中，首先，通过第一相机以第一拍摄方向拍摄由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄所述粉煤灰球阵列的第二图像。
具体地，在本申请实施例中，所述第一数据编码模块 220，用于将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸。应可以理解，由于考虑到使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对所述拍摄图像进行深层的特征挖掘时，如果能够采用不同尺寸卷积核的卷积神经网络来对其进行特征提取，就能够挖掘出更加丰富的所述粉煤球阵列的拍摄图像的特征信息。也就是，应可以理解，在特征提取方面，大尺度卷积核减弱了数值的变化差异，容易导致平滑过渡的问题，使得输出特征失去了判断能力，而小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰，因此，考虑到不同的尺度卷积的特点，在本申请的技术方案中，采用不同尺寸卷积核的卷积神经网络来对所述拍摄图像进行处理。具体地，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络中进行处理，以得到对应于所述第一图像的第一特征向量。特别地，这里，所述第二卷积核的尺寸小于所述第一卷积核的尺寸。
更具体地，在本申请的实施例中，所述第一数据编码模块，包括：第一卷积编码单元，用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第一图像；以及，第二卷积编码单元，用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述第二特征向量，其中，所述第二卷积神经网络的第一层的输入为所述第一图像。这里，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。
具体地，在本申请实施例中，所述第一特征差分模块 230，用于计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量。应可以理解，为了提取出不同方位下的拍摄图像的高维隐含特征的相对均匀性和一致性表达，进一步计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量。相应地，在一个具体示例中，计算所述第一特征向量和所述第二特征向量之间的按位置差值的绝对值以得到所述第一差分特征向量。
具体地，在本申请实施例中，所述第二数据编码模块 240和所述第二特征差分模块 250，用于将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量，并计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量。应可以理解，类似地，对于不同视角的拍摄图像，同样将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量，这里，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。然后，将计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量，以提取出不同方位下的拍摄图像的高维隐含特征的相对均匀性和一致性表达。
具体地，在本申请实施例中，所述特征分布融合模块 260，用于融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵。应可以理解，考虑到由于第一差分特征向量V 1和第二差分特征向量V 2本身作为第一阵列图像和第二阵列图像的相对均匀性和一致性的表达，其特征分布自身具有一定的确定性。但是，由于第一阵列图像和第二阵列图像是从不同方向获得的，因此第一差分特征向量V 1和第二差分特征向量V 2的特征分布之间存在不一致，因此在将其进行关联融合时，在高维空间内其各自的特征分布向融合特征分布迁移后，会影响融合特征矩阵的整体特征分布的单调性，从而导致所述融合特征矩阵通过分类器进行分类的收敛效果差，影响分类器的分类结果的准确性。由此，对融合特征矩阵进行平滑最大函数近似性调制。
更具体地，在本申请实施例中，所述特征分布融合模块，包括：关联编码单元，用于计算所述第一差分特征向量与所述第二差分特征向量的转置向量之间的向量乘积以得到融合特征矩阵；以及，矩阵调制单元，用于以如下公式对所述融合特征矩阵进行平滑最大函数近似性调制以得到所述分类特征矩阵；其中，所述公式为：
其中，是所述融合特征矩阵，m i, j 是所述融合特征矩阵的特征值，为向量
的二范数，且表示将矩阵的每个值乘以预定数值，表示矩阵的按位置相加，且是所
述分类特征矩阵。应可以理解，这里，通过用沿所述融合特征矩阵的行和列维度的平滑最
大函数来近似地定义符号化的距离函数，可以实现所述融合特征矩阵在高维特征空间内
所表征的高维流形的凸优化的相对良好的联合，并通过以其对所述融合特征矩阵的结构
化的特征分布进行调制，就可以获得特征分布的内在结构到特征空间内的空间特征变化的
自然分布转移，增强了所述融合特征矩阵的高维流形的特征表达的凸单调性保留，从而
增强了所述融合特征矩阵整体的分布单调性，进而改进了所述融合特征矩阵通过分类
器进行分类的收敛效果，提升了分类器的分类结果的准确性。
具体地，在本申请实施例中，所述性能评估模块 270，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。在一个具体示例中，所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(W n ,B n ):...:(W 1,B 1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述井下设备的实时在线监控系统 200被阐明，其通过基于人工智能技术的卷积神经网络模型对由粉煤球制造机生产的粉煤灰球阵列进行图像分析，以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
如上所述，根据本申请实施例的井下设备的实时在线监控系统 200可以实现在各种终端设备中，例如井下设备的实时在线监控算法的服务器等。在一个示例中，根据本申请实施例的井下设备的实时在线监控系统 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该井下设备的实时在线监控系统 200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该井下设备的实时在线监控系统 200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该井下设备的实时在线监控系统 200与该终端设备也可以是分立的设备，并且该井下设备的实时在线监控系统 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3图示了井下设备的实时在线监控系统的监控方法的流程图。如图3所示，根据本申请实施例的井下设备的实时在线监控系统的监控方法，包括步骤：S110，获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；S120，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；S130，计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；S140，将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；S150，计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；S160，融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及，S170，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
图4图示了根据本申请实施例的井下设备的实时在线监控系统的监控方法的架构示意图。如图4所示，在所述井下设备的实时在线监控系统的监控方法的网络架构中，首先，将获得的所述第一图像（例如，如图4中所示意的P1）分别通过使用第一卷积核的第一卷积神经网络（例如，如图4中所示意的CNN1）和使用第二卷积核的第二卷积神经网络（例如，如图4中所示意的CNN2）以得到第一特征向量（例如，如图4中所示意的VF1）和第二特征向量（例如，如图4中所示意的VF2）；接着，计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量（例如，如图4中所示意的V1）；然后，将获得的所述第二图像（例如，如图4中所示意的P1）分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量（例如，如图4中所示意的VF3）和第四特征向量（例如，如图4中所示意的VF4）；接着，计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量（例如，如图4中所示意的V2）；然后，融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵（例如，如图4中所示意的VF）；以及，最后，将所述分类特征矩阵通过分类器（例如，如图4中所示意的分类器）以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
更具体地，在步骤S110中，获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像。应可以理解，在粉煤球制造机的运行过程中，如果粉煤球制造机出现故障或者性能下降，其所制造的粉煤灰球的质量也会随之下降，并且考虑到如果所述粉煤球制造机的性能出现下降或者出现故障，则其所生产的粉煤灰球的一致性和均匀性会产生明显的差异，因此，在本申请的技术方案中，可通过对由所述粉煤球制造机生产的粉煤灰球阵列进行图像分析以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
应可以理解，若想通过分析粉煤灰球阵列中各个粉煤灰球的均匀性和一致性来对粉煤球制造机的性能进行准确地分析判断，就需要从不同的方向来获取所述粉煤灰球阵列的拍摄图像，以综合所述粉煤球阵列的多角度特征分布信息来进行分类。也就是，具体地，在本申请的技术方案中，首先，通过第一相机以第一拍摄方向拍摄由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄所述粉煤灰球阵列的第二图像。
更具体地，在步骤S120中，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸。应可以理解，由于考虑到使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对所述拍摄图像进行深层的特征挖掘时，如果能够采用不同尺寸卷积核的卷积神经网络来对其进行特征提取，就能够挖掘出更加丰富的所述粉煤球阵列的拍摄图像的特征信息。也就是，应可以理解，在特征提取方面，大尺度卷积核减弱了数值的变化差异，容易导致平滑过渡的问题，使得输出特征失去了判断能力，而小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰，因此，考虑到不同的尺度卷积的特点，在本申请的技术方案中，采用不同尺寸卷积核的卷积神经网络来对所述拍摄图像进行处理。具体地，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络中进行处理，以得到对应于所述第一图像的第一特征向量。特别地，这里，所述第二卷积核的尺寸小于所述第一卷积核的尺寸。
更具体地，在步骤S130中，计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量。应可以理解，为了提取出不同方位下的拍摄图像的高维隐含特征的相对均匀性和一致性表达，进一步计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量。相应地，在一个具体示例中，计算所述第一特征向量和所述第二特征向量之间的按位置差值的绝对值以得到所述第一差分特征向量。
更具体地，在步骤S140和S150中，将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量，并计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量。应可以理解，类似地，对于不同视角的拍摄图像，同样将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量，这里，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。然后，将计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量，以提取出不同方位下的拍摄图像的高维隐含特征的相对均匀性和一致性表达。
更具体地，在步骤S160中，融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵。应可以理解，考虑到由于第一差分特征向量V 1和第二差分特征向量V 2本身作为第一阵列图像和第二阵列图像的相对均匀性和一致性的表达，其特征分布自身具有一定的确定性。但是，由于第一阵列图像和第二阵列图像是从不同方向获得的，因此第一差分特征向量V 1和第二差分特征向量V 2的特征分布之间存在不一致，因此在将其进行关联融合时，在高维空间内其各自的特征分布向融合特征分布迁移后，会影响融合特征矩阵的整体特征分布的单调性，从而导致所述融合特征矩阵通过分类器进行分类的收敛效果差，影响分类器的分类结果的准确性。由此，对融合特征矩阵进行平滑最大函数近似性调制。
更具体地，在步骤S170中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。在一个具体示例中，所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(W n ,B n ):...:(W 1,B 1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述井下设备的实时在线监控系统的监控方法被阐明，其通过基于人工智能技术的卷积神经网络模型对由粉煤球制造机生产的粉煤灰球阵列进行图像分析，以通过分析所述粉煤灰球阵列中各个粉煤灰球的均匀性和一致性是否满足预设要求来对所述粉煤球制造机的性能进行实时在线监测。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的井下设备的实时在线监控系统的监控方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的井下设备的实时在线监控系统的监控方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
Claims (9)
1.一种井下设备的实时在线监控系统，其特征在于，包括：
数据采集模块，用于获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；
第一数据编码模块，用于将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；
第一特征差分模块，用于计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；
第二数据编码模块，用于将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；
第二特征差分模块，用于计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；
特征分布融合模块，用于融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及
性能评估模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
2.根据权利要求1所述的井下设备的实时在线监控系统，其中，所述第一数据编码模块，包括：
第一卷积编码单元，用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第一图像；以及
第二卷积编码单元，用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述第二特征向量，其中，所述第二卷积神经网络的第一层的输入为所述第一图像。
3.根据权利要求2所述的井下设备的实时在线监控系统，其中，所述第一特征差分模块，进一步用于计算所述第一特征向量和所述第二特征向量之间的按位置差值的绝对值以得到所述第一差分特征向量。
4.根据权利要求3所述的井下设备的实时在线监控系统，其中，所述特征分布融合模块，包括：
关联编码单元，用于计算所述第一差分特征向量与所述第二差分特征向量的转置向量之间的向量乘积以得到融合特征矩阵；以及
矩阵调制单元，用于以如下平滑最大函数近似性调制公式对所述融合特征矩阵进行平滑最大函数近似性调制以得到所述分类特征矩阵；
其中，所述平滑最大函数近似性调制公式为：
其中，M是所述融合特征矩阵，mi,j是所述融合特征矩阵M的特征值，||·||2为向量的二范数，且表示将矩阵的每个值乘以预定数值，/>表示矩阵的按位置相加，且M′是所述分类特征矩阵。
5.根据权利要求4所述的井下设备的实时在线监控系统，其中，所述性能评估模块，进一步用于：
所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):...:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn示各层全连接层的偏置矩阵。
6.根据权利要求5所述的井下设备的实时在线监控系统，其中，所述井下设备为粉煤球制造机。
7.一种井下设备的实时在线监控系统的监控方法，其特征在于，包括：
获取由第一相机以第一拍摄方向拍摄的由井下设备生产的粉煤灰球阵列的第一图像以及由第二相机以第二拍摄方向拍摄的所述粉煤灰球阵列的第二图像；
将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，其中，所述第二卷积核的尺寸小于所述第一卷积核的尺寸；
计算所述第一特征向量和所述第二特征向量之间的差分以得到第一差分特征向量；
将所述第二图像分别通过所述使用第一卷积核的第一卷积神经网络和所述使用第二卷积核的第二卷积神经网络以得到第三特征向量和第四特征向量；
计算所述第三特征向量和所述第四特征向量之间的差分以得到第二差分特征向量；
融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示用于生产粉煤灰球的井下设备的性能是否正常。
8.根据权利要求7所述的井下设备的实时在线监控系统的监控方法，其中，将所述第一图像分别通过使用第一卷积核的第一卷积神经网络和使用第二卷积核的第二卷积神经网络以得到第一特征向量和第二特征向量，包括：
使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第一图像；以及
使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述第二特征向量，其中，所述第二卷积神经网络的第一层的输入为所述第一图像。
9.根据权利要求8所述的井下设备的实时在线监控系统的监控方法，其中，融合所述第一差分特征向量和所述第二差分特征向量向量以得到分类特征矩阵，包括：
计算所述第一差分特征向量与所述第二差分特征向量的转置向量之间的向量乘积以得到融合特征矩阵；以及
以如下平滑最大函数近似性调制公式对所述融合特征矩阵进行平滑最大函数近似性调制以得到所述分类特征矩阵；
其中，所述平滑最大函数近似性调制公式为：
其中，M是所述融合特征矩阵，mi,j是所述融合特征矩阵M的特征值，||·||2为向量的二范数，且表示将矩阵的每个值乘以预定数值，/>表示矩阵的按位置相加，且M′是所述分类特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211476504.1A CN115661759B (zh) | 2022-11-23 | 2022-11-23 | 井下设备的实时在线监控系统及其监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211476504.1A CN115661759B (zh) | 2022-11-23 | 2022-11-23 | 井下设备的实时在线监控系统及其监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661759A CN115661759A (zh) | 2023-01-31 |
| CN115661759B true CN115661759B (zh) | 2024-03-08 |
Family
ID=85017130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211476504.1A Active CN115661759B (zh) | 2022-11-23 | 2022-11-23 | 井下设备的实时在线监控系统及其监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661759B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102046134B1 (ko) * | 2019-04-02 | 2019-11-18 | 주식회사 루닛 | 복수의 이미지 간 차이점을 활용한 신경망 학습 방법 |
| CN112101302A (zh) * | 2020-11-05 | 2020-12-18 | 杭州追猎科技有限公司 | 非法张贴物检测方法、系统和电子设备 |
| CN114647198A (zh) * | 2022-03-09 | 2022-06-21 | 深圳市经纬纵横科技有限公司 | 基于物联网的智能家居控制方法、系统和电子设备 |
| CN115019287A (zh) * | 2022-06-29 | 2022-09-06 | 杭州超阳科技有限公司 | 用于路边停车系统的智能管理方法及其系统 |
| CN115239515A (zh) * | 2022-07-28 | 2022-10-25 | 德玛克(长兴)精密机械有限公司 | 用于机械部件的精密智能化加工制造系统及其制造方法 |
-
2022
- 2022-11-23 CN CN202211476504.1A patent/CN115661759B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102046134B1 (ko) * | 2019-04-02 | 2019-11-18 | 주식회사 루닛 | 복수의 이미지 간 차이점을 활용한 신경망 학습 방법 |
| CN112101302A (zh) * | 2020-11-05 | 2020-12-18 | 杭州追猎科技有限公司 | 非法张贴物检测方法、系统和电子设备 |
| CN114647198A (zh) * | 2022-03-09 | 2022-06-21 | 深圳市经纬纵横科技有限公司 | 基于物联网的智能家居控制方法、系统和电子设备 |
| CN115019287A (zh) * | 2022-06-29 | 2022-09-06 | 杭州超阳科技有限公司 | 用于路边停车系统的智能管理方法及其系统 |
| CN115239515A (zh) * | 2022-07-28 | 2022-10-25 | 德玛克(长兴)精密机械有限公司 | 用于机械部件的精密智能化加工制造系统及其制造方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进的多通道卷积神经网络模型的图像分类方法;周衍挺;;佳木斯大学学报(自然科学版)(06) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661759A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Capturing humans in motion: Temporal-attentive 3d human pose and shape estimation from monocular video | |
| Zhang et al. | PC-RGNN: Point cloud completion and graph neural network for 3D object detection | |
| Xian et al. | Monocular relative depth perception with web stereo data supervision | |
| CN114782882B (zh) | 基于多模态特征融合的视频目标行为异常检测方法和系统 | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| Yang et al. | MPED: Quantifying point cloud distortion based on multiscale potential energy discrepancy | |
| Wei et al. | Spatial-temporal transformer for 3d point cloud sequences | |
| Tang et al. | Multi-modal metric learning for vehicle re-identification in traffic surveillance environment | |
| CN110853074A (zh) | 一种利用光流增强目标的视频目标检测网络系统 | |
| CN112115775A (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
| CN115424051B (zh) | 一种全景拼接图像质量评价方法 | |
| CN108280421A (zh) | 基于多特征深度运动图的人体行为识别方法 | |
| Zhang et al. | Sequential 3D Human Pose Estimation Using Adaptive Point Cloud Sampling Strategy. | |
| CN116486524A (zh) | 基于场景识别的交流充电电子锁控制方法 | |
| CN109447014A (zh) | 一种基于双通道卷积神经网络的视频在线行为检测方法 | |
| CN109446897B (zh) | 基于图像上下文信息的场景识别方法及装置 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN114782423B (zh) | 干式变压器的低压线圈的成型质量检测系统及其检测方法 | |
| CN115205543A (zh) | 不锈钢橱柜的智能制造方法及其系统 | |
| CN114821299A (zh) | 一种遥感图像变化检测方法 | |
| CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
| CN112507778A (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
| CN115719457A (zh) | 一种基于深度学习的无人机场景下小目标检测的方法 | |
| CN116580330A (zh) | 一种基于双流网络的机考异常行为检测方法 | |
| CN105760896B (zh) | 一种多源异构大数据的腐蚀源联合去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Zhaoxi Inventor after: Wang Zequn Inventor after: Zhang Hongle Inventor after: Wang Yin Inventor after: Li Zong Inventor after: Zhang Meng Inventor after: Wang Chao Inventor after: Zuo Yi Inventor before: Zhang Hongle Inventor before: Zhang Zhaoxi Inventor before: Wang Zequn Inventor before: Wang Yin Inventor before: Li Zong Inventor before: Zhang Meng Inventor before: Wang Chao Inventor before: Zuo Yi |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |