CN115410004B - 铁粉智能筛分系统及其方法 - Google Patents

铁粉智能筛分系统及其方法 Download PDF

Info

Publication number
CN115410004B
CN115410004B CN202211156705.3A CN202211156705A CN115410004B CN 115410004 B CN115410004 B CN 115410004B CN 202211156705 A CN202211156705 A CN 202211156705A CN 115410004 B CN115410004 B CN 115410004B
Authority
CN
China
Prior art keywords
iron powder
vibration
feature vector
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211156705.3A
Other languages
English (en)
Other versions
CN115410004A (zh
Inventor
邓道路
王成红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anji County Kesheng Magnetic Equipment Co ltd
Original Assignee
Anji County Kesheng Magnetic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anji County Kesheng Magnetic Equipment Co ltd filed Critical Anji County Kesheng Magnetic Equipment Co ltd
Priority to CN202211156705.3A priority Critical patent/CN115410004B/zh
Publication of CN115410004A publication Critical patent/CN115410004A/zh
Application granted granted Critical
Publication of CN115410004B publication Critical patent/CN115410004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Combined Means For Separation Of Solids (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种铁粉智能筛分系统及其方法，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。

Description

铁粉智能筛分系统及其方法
技术领域
本申请涉及铁粉生产技术领域，且更为具体地，涉及一种铁粉智能筛分系统及其方法。
背景技术
在铁氧永磁体的制备中，铁粉是重要的原材料。铁粉产品要求金属铁含量在88％以上，40目筛子晒下比例在95％以上。但是在实际生产中发现筛分时并未将铁粉完全筛出，籽铁中仍有大量铁粉存在，且筛分效率也不高。
为了将更多地铁粉筛出，可增加原料筛分时间，但一来，现有的铁粉筛分装置时振动筛，原料筛分过程中自动前移，筛分时间调节不变。
因此，期待一种优化的铁粉筛分方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种铁粉智能筛分系统及其方法，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
相应地，根据本申请的一个方面，提供了一种铁粉智能筛分系统，其包括：
生产数据监控与采集模块，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
时域增强模块，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
振动时域特征过滤模块，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
监控视频编码模块，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
降维模块，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；
优化模块，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
第一响应性估计模块，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
第二响应性估计模块，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
振动特征融合模块，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
第三响应性估计模块，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
筛分控制结果生成模块，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
在上述铁粉智能筛分系统中，所述时域增强模块，进一步用于：以如下公式计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；其中，所述公式为：
signalImage＝f(Signal,mapH,mapW)
其中，Signal为原始一维信号，即所述第一振动信号或所述第二振动信号，mapH和mapW分别为将要构建的二维时域增强图的图像高度和宽度。
在上述铁粉智能筛分系统中，所述振动时域特征过滤模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述第一振动特征向量或所述第二振动特征向量，所述第一卷积神经网络的第一层的输入为所述第一时域增强图或所述第二时域增强图。
在上述铁粉智能筛分系统中，所述监控视频编码模块，包括：相邻帧提取模块，用于从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；第一图像局部特征提取模块，用于将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取模块，用于将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，时间注意力施加模块，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
在上述铁粉智能筛分系统中，所述优化模块，进一步用于：以如下公式对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；其中，所述公式为：
Figure BDA0003859072400000031
其中vi是所述铁粉产出特征向量V的特征值，μ和σ是特征集合vi∈V的均值和方差，ReLU(·)表示ReLU激活函数，exp(·)表示所述方差负数的指数运算，所述方差负数的指数运算表示计算以方差的负数为幂的自然指数函数值。
在上述铁粉智能筛分系统中，所述第一响应性估计模块，进一步用于：以如下公式计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；其中，所述公式为：
Figure BDA0003859072400000032
其中Va表示所述第一振动特征向量，Vb表示所述优化铁粉产出特征向量，M1表示所述转移矩阵，
Figure BDA0003859072400000033
表示矩阵相乘。
所述第二响应性估计模块，进一步用于：以如下公式计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；其中，所述公式为：
Figure BDA0003859072400000041
其中Vc表示所述第二振动特征向量，Vd表示所述优化铁粉产出特征向量，M2表示所述转移矩阵，
Figure BDA0003859072400000042
表示矩阵相乘。
在上述铁粉智能筛分系统中，所述振动特征融合模块，进一步用于：以如下公式来融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；其中，所述公式为：
Figure BDA0003859072400000043
其中，Vc为所述联合振动特征向量，Va为所述第一振动特征向量，Vg为所述第二振动特征向量，
Figure BDA0003859072400000044
表示所述第一振动特征向量和所述第二振动特征向量相对应位置处的元素相加，α和β为用于控制所述联合振动特征向量中所述第一振动特征向量和所述第二振动特征向量之间的平衡的加权参数。
在上述铁粉智能筛分系统中，所述筛分控制结果生成模块，包括：向量展开单元，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量，将所述三维输入张量按照行或者列的方向展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一方面，还提供了一种铁粉智能筛分方法，其包括：
获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；
对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
在上述铁粉智能筛分方法中，所述将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图，包括：从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
与现有技术相比，本申请提供的铁粉智能筛分系统及其方法，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的铁粉智能筛分系统的场景示意图。
图2图示了根据本申请实施例的铁粉智能筛分系统的框图。
图3图示了根据本申请实施例的铁粉智能筛分系统的架构示意图。
图4图示了根据本申请实施例的铁粉智能筛分系统中监控视频编码模块的框图。
图5图示了根据本申请实施例的铁粉智能筛分系统中筛分控制结果生成模块的框图。
图6图示了根据本申请实施例的铁粉智能筛分方法的流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，在实际生产中发现筛分时并未将铁粉完全筛出，籽铁中仍有大量铁粉存在，且筛分效率也不高。为了将更多地铁粉筛出，可增加原料筛分时间，但一来，现有的铁粉筛分装置时振动筛，原料筛分过程中自动前移，筛分时间调节不变。因此，期待一种优化的铁粉筛分方案。
现有的铁粉筛分装置通常具有多级筛分结构，例如，在专利公开号CN109351607A所揭露的铁粉筛分装置中，其包括用于粗筛的一级筛和用于精筛的二级筛，其中，一级筛和二级筛都基于振动来进行过筛。
应可以理解，在所述铁粉筛分装置的工作过程中，作用于一级筛和二级筛的作动信号对于优化铁粉筛分效率和铁粉筛分效果非常重要。但是，作用于一级筛和二级筛的作动信号对于最终筛分效果和筛分效率的影响是很难确定的，其原因为一方面被筛分的原料质量不同，另一方面，作动信号与最终筛分效果和效率之间的关联是非线性关联且会随着时间波动。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为铁粉筛分装置的控制提供了新的解决思路和方案。
具体地，获取预定时间段内作用于一级筛的第一振动信号和作用于二级筛的第二振动信号，以及，由摄像头采集的铁粉成品生产监控视频。应可以理解，在作动信号被施加于所述一级筛和所述二级筛之后，所述一级筛和所述二级筛会以预定模式进行振动，因此，可通过所述一级筛和所述二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征。而铁粉的实时筛分效果则可通过由摄像头采集的铁粉成品生产监控视频来观察。
相应地，为了更为精准地捕捉所述第一振动信号和所述第二振动信号中所蕴含的振动信息，首先计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。应可以理解，所述第一振动信号和所述第二振动信号为一维信号，在将其转化为时域增强图后其维度被扩增为二维，其构建过程大致可表示为：
signalImage＝f(Signal,mapH,mapW)
其中，Signal为原始一维信号，即所述第一振动信号和所述第二振动信号，mapH和mapW分别为将要构建的二维时域增强图的图像高度和宽度。
接着，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。也就是，利用在图像特征提取方面具有优异性能表面的卷积神经网络模型作为特征过滤器对所述第一时域增强图和所述第二时域增强图进行图像局部特征提取以得到包含高维隐含局部振动特征的所述第一振动特征向量和所述第二振动特征向量。
针对于所述铁粉成品生产监控视频，在本申请的技术方案中，同样以所述卷积神经网络模型为基模来构建铁粉产出特征提取器。具体地，考虑到所述铁粉成品生产监控视频中有诸多冗余图像帧，这部分图像帧会带来额外的计算负担，因此，为了降低数据处理量，首先对所述铁粉成品生产监控视频进行采样处理，例如，以预定采样频率对所述铁粉成品生产监控视频进行采样，或者利用差帧法从所述铁粉成品生产监控视频中提取多个关键帧。然后，将所述多个关键帧输入所述卷积神经网络模型以得到铁粉产出特征图。
特别地，在本申请的技术方案中，在利用所述卷积神经网络模型进行铁粉产出特征提取时，期待能够关注铁粉产出在时间维度上的动态变化特征。因此，本申请人将时间注意力机制引入到卷积神经网络模型中。具体地，所述时间注意力机制能够关注不同时间点的铁粉产出特征表示间的关联信息，并为关联信息施予相对更大的权重，以使得在进行特征提取时，铁粉产出的动态关联信息能够沿着时间维度被传递。也就是，在本申请的技术方案中，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。
接着，以所述第一振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述一级筛的作动信号对于铁粉筛选的关联模式，以及，以所述第二振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述二级筛的作动信号对于铁粉筛选的关联模式。
这里，考虑到所述第一振动信号的特征表示为一维特征向量，而所述铁粉产生特征为三维张量，两者在维度上存在异构性，因此，在计算响应性估计之前，需要先进行维度统一。在本申请的一个具体的示例中，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。
这里，在对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量时，由于所述铁粉产出特征图的沿通道维度的各个特征矩阵的全局池化降低了所述铁粉产出特征向量的特征值之间的分布相关性，因此，为了提高所述铁粉产出特征向量的各个位置的特征值关于特征分布整体的表达一致性，对所述铁粉产出特征向量进行通道递归的压榨-激励优化，具体为：
Figure BDA0003859072400000081
μ和σ是特征集合vi∈V的均值和方差，其中vi是所述铁粉产出特征向量V的特征值。
也就是，基于所述铁粉产出特征向量的沿所述铁粉产出特征图的通道维度的特征集合的统计特性来激活所述铁粉产出特征向量的特征分布的通道递归，从而推断所述铁粉产出特征向量的各个位置的特征值在所述铁粉产出特征图的每个通道采样位置的通道维度分布，并且，通过采用由ReLU-Sigmoid函数构成的压榨-激励机制，来获取所述铁粉产出特征图的通道方向上注意力增强的置信度值，以增强所述铁粉产出特征向量在其分布方向上与所述铁粉产出特征图的通道方向的分布相关性，这样就获得了关于特征分布整体具有高表达一致性的铁粉产出特征向量。
接着，计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵，例如，在本申请的一个具体示例中，以所述第一振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。同时，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵，同样地，能够以所述第二振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
如前所述，还需要考虑所述一级筛和所述二级筛的振动协同对于最终铁粉筛分的影响，因此，在本申请的技术方案中，进一步地融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量，并同样所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。继而，将将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
基于此，本申请提供了一种铁粉智能筛分系统，其包括：生产数据监控与采集模块，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；时域增强模块，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；振动时域特征过滤模块，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；监控视频编码模块，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；降维模块，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；优化模块，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；第一响应性估计模块，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；第二响应性估计模块，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；振动特征融合模块，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；第三响应性估计模块，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，筛分控制结果生成模块，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
图1图示了根据本申请实施例的铁粉智能筛分系统的场景示意图。如图1所示，在所述铁粉智能筛分系统的应用场景中，首先获取获取作用于一级筛(例如，如图1所示意的Si1)的第一振动信号和作用于二级筛(例如，如图1所示意的Si2)的第二振动信号以及由摄像头(例如，如图1所示意的C)采集的铁粉成品(例如，如图1所示意的I)生产监控视频。进而，将所述作用于一级筛的第一振动信号和所述作用于二级筛的第二振动信号以及由摄像头采集的所述铁粉成品生产监控视频输入至部署有铁粉智能筛分算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够以所述铁粉智能筛分算法对所述作用于一级筛的第一振动信号和所述作用于二级筛的第二振动信号以及由摄像头采集的所述铁粉成品生产监控视频进行处理以得到以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的铁粉智能筛分系统的框图。如图2所示，根据本申请实施例的铁粉智能筛分系统100，包括：生产数据监控与采集模块110，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；时域增强模块120，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；振动时域特征过滤模块130，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；监控视频编码模块140，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；降维模块150，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；优化模块160，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；第一响应性估计模块170，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；第二响应性估计模块180，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；振动特征融合模块190，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；第三响应性估计模块200，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，筛分控制结果生成模块210，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
图3图示了根据本申请实施例的铁粉智能筛分系统的架构示意图。如图3所示，首先获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频。接着，计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。然后，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。进而，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。接着，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。然后，对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量。进而，计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵。接着，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵。然后，融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。进而，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。然后，将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
在上述铁粉智能筛分系统100中，所述生产数据监控与采集模块110，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频。现有的铁粉筛分装置通常具有多级筛分结构，例如，在专利公开号CN109351607A所揭露的铁粉筛分装置中，其包括用于粗筛的一级筛和用于精筛的二级筛，其中，一级筛和二级筛都基于振动来进行过筛。应可以理解，在所述铁粉筛分装置的工作过程中，作用于一级筛和二级筛的作动信号对于优化铁粉筛分效率和铁粉筛分效果非常重要。但是，作用于一级筛和二级筛的作动信号对于最终筛分效果和筛分效率的影响是很难确定的，其原因为一方面被筛分的原料质量不同，另一方面，作动信号与最终筛分效果和效率之间的关联是非线性关联且会随着时间波动。因此，期待一种优化的铁粉筛分方案。
具体地，获取预定时间段内作用于一级筛的第一振动信号和作用于二级筛的第二振动信号，以及，由摄像头采集的铁粉成品生产监控视频。应可以理解，在作动信号被施加于所述一级筛和所述二级筛之后，所述一级筛和所述二级筛会以预定模式进行振动，因此，可通过所述一级筛和所述二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征。而铁粉的实时筛分效果则可通过由摄像头采集的铁粉成品生产监控视频来观察。
在上述铁粉智能筛分系统100中，所述时域增强模块120，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。相应地，为了更为精准地捕捉所述第一振动信号和所述第二振动信号中所蕴含的振动信息，首先计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。应可以理解，所述第一振动信号和所述第二振动信号为一维信号，在将其转化为时域增强图后其维度被扩增为二维。
在一个示例中，在上述铁粉智能筛分系统100中，所述时域增强模块120，进一步用于：以如下公式计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；其中，所述公式为：
signalImage＝f(Signal,mapH,mapW)
其中，Signal为原始一维信号，即所述第一振动信号或所述第二振动信号，mapH和mapW分别为将要构建的二维时域增强图的图像高度和宽度。
在上述铁粉智能筛分系统100中，所述振动时域特征过滤模块130，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。也就是，利用在图像特征提取方面具有优异性能表面的卷积神经网络模型作为特征过滤器对所述第一时域增强图和所述第二时域增强图进行图像局部特征提取以得到包含高维隐含局部振动特征的所述第一振动特征向量和所述第二振动特征向量。
在一个示例中，在上述铁粉智能筛分系统100中，所述振动时域特征过滤模块130，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述第一振动特征向量或所述第二振动特征向量，所述第一卷积神经网络的第一层的输入为所述第一时域增强图或所述第二时域增强图。
在上述铁粉智能筛分系统100中，所述监控视频编码模块140，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。针对于所述铁粉成品生产监控视频，在本申请的技术方案中，同样以所述卷积神经网络模型为基模来构建铁粉产出特征提取器。具体地，考虑到所述铁粉成品生产监控视频中有诸多冗余图像帧，这部分图像帧会带来额外的计算负担，因此，为了降低数据处理量，首先对所述铁粉成品生产监控视频进行采样处理，例如，以预定采样频率对所述铁粉成品生产监控视频进行采样，或者利用差帧法从所述铁粉成品生产监控视频中提取多个关键帧。然后，将所述多个关键帧输入所述卷积神经网络模型以得到铁粉产出特征图。
特别地，在本申请的技术方案中，在利用所述卷积神经网络模型进行铁粉产出特征提取时，期待能够关注铁粉产出在时间维度上的动态变化特征。因此，本申请人将时间注意力机制引入到卷积神经网络模型中。具体地，所述时间注意力机制能够关注不同时间点的铁粉产出特征表示间的关联信息，并为关联信息施予相对更大的权重，以使得在进行特征提取时，铁粉产出的动态关联信息能够沿着时间维度被传递。也就是，在本申请的技术方案中，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。
图4图示了根据本申请实施例的铁粉智能筛分系统中监控视频编码模块的框图。如图4所示，在上述铁粉智能筛分系统100中，所述监控视频编码模块141，包括：相邻帧提取模块141，用于从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；第一图像局部特征提取模块142，用于将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块143，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取模块144，用于将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，时间注意力施加模块145，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
在上述铁粉智能筛分系统100中，所述降维模块150，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。考虑到所述第一振动信号的特征表示为一维特征向量，而所述铁粉产生特征为三维张量，两者在维度上存在异构性，因此，在计算响应性估计之前，需要先进行维度统一。在本申请的一个具体的示例中，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。
在上述铁粉智能筛分系统100中，所述优化模块160，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量。这里，在对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量时，由于所述铁粉产出特征图的沿通道维度的各个特征矩阵的全局池化降低了所述铁粉产出特征向量的特征值之间的分布相关性，因此，为了提高所述铁粉产出特征向量的各个位置的特征值关于特征分布整体的表达一致性，对所述铁粉产出特征向量进行通道递归的压榨-激励优化。
在一个示例中，在上述铁粉智能筛分系统100中，所述优化模块160，进一步用于：以如下公式对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；其中，所述公式为：
Figure BDA0003859072400000151
其中vi是所述铁粉产出特征向量V的特征值，μ和σ是特征集合vi∈V的均值和方差，ReLU(·)表示ReLU激活函数，exp(·)表示所述方差负数的指数运算，所述方差负数的指数运算表示计算以方差的负数为幂的自然指数函数值。
也就是，基于所述铁粉产出特征向量的沿所述铁粉产出特征图的通道维度的特征集合的统计特性来激活所述铁粉产出特征向量的特征分布的通道递归，从而推断所述铁粉产出特征向量的各个位置的特征值在所述铁粉产出特征图的每个通道采样位置的通道维度分布，并且，通过采用由ReLU-Sigmoid函数构成的压榨-激励机制，来获取所述铁粉产出特征图的通道方向上注意力增强的置信度值，以增强所述铁粉产出特征向量在其分布方向上与所述铁粉产出特征图的通道方向的分布相关性，这样就获得了关于特征分布整体具有高表达一致性的铁粉产出特征向量。
在上述铁粉智能筛分系统100中，所述第一响应性估计模块170，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵。也就是，以所述第一振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述一级筛的作动信号对于铁粉筛选的关联模式。
在一个示例中，在上述铁粉智能筛分系统100中，所述第一响应性估计模块170，进一步用于：以如下公式计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；其中，所述公式为：
Figure BDA0003859072400000161
其中Va表示所述第一振动特征向量，Vb表示所述优化铁粉产出特征向量，M1表示所述转移矩阵，
Figure BDA0003859072400000162
表示矩阵相乘。
在上述铁粉智能筛分系统100中，所述第二响应性估计模块180，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵。也就是，以所述第二振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述二级筛的作动信号对于铁粉筛选的关联模式。例如，在本申请的一个具体示例中，以所述第一振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。同样地，能够以所述第二振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
在一个示例中，在上述铁粉智能筛分系统100中，所述第二响应性估计模块180，进一步用于：以如下公式计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；其中，所述公式为：
Figure BDA0003859072400000163
其中Vc表示所述第二振动特征向量，Vd表示所述优化铁粉产出特征向量，M2表示所述转移矩阵，
Figure BDA0003859072400000164
表示矩阵相乘。
在上述铁粉智能筛分系统100中，所述振动特征融合模块190，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。如前所述，还需要考虑所述一级筛和所述二级筛的振动协同对于最终铁粉筛分的影响，因此，在本申请的技术方案中，进一步地融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。
在一个示例中，在上述铁粉智能筛分系统100中，所述振动特征融合模块190，进一步用于：以如下公式来融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；其中，所述公式为：
Figure BDA0003859072400000171
其中，Vc为所述联合振动特征向量，Va为所述第一振动特征向量，Vg为所述第二振动特征向量，
Figure BDA0003859072400000172
表示所述第一振动特征向量和所述第二振动特征向量相对应位置处的元素相加，α和β为用于控制所述联合振动特征向量中所述第一振动特征向量和所述第二振动特征向量之间的平衡的加权参数。
在上述铁粉智能筛分系统100中，所述第三响应性估计模块200，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。同样，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵，能够以所述第二振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
在上述铁粉智能筛分系统100中，所述筛分控制结果生成模块210，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
图5图示了根据本申请实施例的铁粉智能筛分系统中筛分控制结果生成模块的框图。如图5所示，在上述铁粉智能筛分系统100中，所述筛分控制结果生成模块210，包括：向量展开单元211，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量，将所述三维输入张量按照行或者列的方向展开为分类特征向量；全连接编码单元212，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元213，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的铁粉智能筛分系统100被阐明，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
如上所述，根据本申请实施例的铁粉智能筛分系统100可以实现在各种终端设备中，例如用于铁粉智能筛分的服务器等。在一个示例中，根据本申请实施例的铁粉智能筛分系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该铁粉智能筛分系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该铁粉智能筛分系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该铁粉智能筛分系统100与该终端设备也可以是分立的设备，并且该铁粉智能筛分系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图6图示了根据本申请实施例的铁粉智能筛分方法的流程图。如图6所示，根据本申请实施例的铁粉智能筛分方法，包括：S110，获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；S120，计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；S130，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；S140，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；S150，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；S160，对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；S170，计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；S180，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；S190，融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；S200，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，S210，将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
在一个示例中，在上述铁粉智能筛分方法中，所述将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图，包括：从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
综上，本申请实施例的铁粉智能筛分方法被阐明，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。

Claims (10)

1.一种铁粉智能筛分系统，其特征在于，包括：
生产数据监控与采集模块，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
时域增强模块，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
振动时域特征过滤模块，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
监控视频编码模块，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
降维模块，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；
优化模块，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
第一响应性估计模块，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
第二响应性估计模块，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
振动特征融合模块，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
第三响应性估计模块，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
筛分控制结果生成模块，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
2.根据权利要求1所述的铁粉智能筛分系统，其特征在于，所述时域增强模块，进一步用于：以如下公式计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
其中，所述公式为：
signalImage＝f(Signal,mapH,mapW)
其中，Signal为原始一维信号，即所述第一振动信号或所述第二振动信号，mapH和mapW分别为将要构建的二维时域增强图的图像高度和宽度。
3.根据权利要求2所述的铁粉智能筛分系统，其特征在于，所述振动时域特征过滤模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述第一振动特征向量或所述第二振动特征向量，所述第一卷积神经网络的第一层的输入为所述第一时域增强图或所述第二时域增强图。
4.根据权利要求3所述的铁粉智能筛分系统，其特征在于，所述监控视频编码模块，包括：
相邻帧提取模块，用于从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；
第一图像局部特征提取模块，用于将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；
时间注意力模块，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；
第二图像局部特征提取模块，用于将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及
时间注意力施加模块，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
5.根据权利要求4所述的铁粉智能筛分系统，其特征在于，所述优化模块，进一步用于：以如下公式对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
其中，所述公式为：
Figure FDA0004143292700000031
其中vi是所述铁粉产出特征向量V的特征值，μ和σ是特征集合vi∈V的均值和方差，ReLU(·)表示ReLU激活函数，exp(·)表示所述方差负数的指数运算，所述方差负数的指数运算表示计算以方差的负数为幂的自然指数函数值。
6.根据权利要求5所述的铁粉智能筛分系统，其特征在于，
所述第一响应性估计模块，进一步用于：以如下公式计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
其中，所述公式为：
Figure FDA0004143292700000032
其中Va表示所述第一振动特征向量，Vb表示所述优化铁粉产出特征向量，M1表示所述第一响应性矩阵，
Figure FDA0004143292700000033
表示矩阵相乘；
所述第二响应性估计模块，进一步用于：以如下公式计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
其中，所述公式为：
Figure FDA0004143292700000034
其中Vc表示所述第二振动特征向量，Vd表示所述优化铁粉产出特征向量，M2表示所述第二响应性矩阵，
Figure FDA0004143292700000035
表示矩阵相乘。
7.根据权利要求6所述的铁粉智能筛分系统，其特征在于，所述振动特征融合模块，进一步用于：以如下公式来融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
其中，所述公式为：
Figure FDA0004143292700000036
其中，Vc为所述联合振动特征向量，Va为所述第一振动特征向量，Vg为所述第二振动特征向量，
Figure FDA0004143292700000041
表示所述第一振动特征向量和所述第二振动特征向量相对应位置处的元素相加，α和β为用于控制所述联合振动特征向量中所述第一振动特征向量和所述第二振动特征向量之间的平衡的加权参数。
8.根据权利要求7所述的铁粉智能筛分系统，其特征在于，所述筛分控制结果生成模块，包括：
向量展开单元，用于将所述三维输入张量按照行或者列的方向展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
9.一种铁粉智能筛分方法，其特征在于，包括：
获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；
对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
10.根据权利要求9所述的铁粉智能筛分方法，其特征在于，所述将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图，包括：
从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；
将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；
将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；
将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及
将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
CN202211156705.3A 2022-09-22 2022-09-22 铁粉智能筛分系统及其方法 Active CN115410004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211156705.3A CN115410004B (zh) 2022-09-22 2022-09-22 铁粉智能筛分系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211156705.3A CN115410004B (zh) 2022-09-22 2022-09-22 铁粉智能筛分系统及其方法

Publications (2)

Publication Number Publication Date
CN115410004A CN115410004A (zh) 2022-11-29
CN115410004B true CN115410004B (zh) 2023-06-16

Family

ID=84165990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211156705.3A Active CN115410004B (zh) 2022-09-22 2022-09-22 铁粉智能筛分系统及其方法

Country Status (1)

Country Link
CN (1) CN115410004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118635112A (zh) * 2024-08-12 2024-09-13 四川省凤鸣茶业有限公司 用于绿茶加工的多级筛分设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836646A (zh) * 2021-02-05 2021-05-25 华南理工大学 一种基于通道注意力机制的视频行人重识别方法及应用
CN115013298A (zh) * 2022-06-22 2022-09-06 浙江石水泵业科技有限公司 污水泵的实时性能在线监测系统及其监测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238367B (zh) * 2014-10-11 2017-04-19 西安交通大学 一种基于神经网络的壳体结构表面振动一致性控制方法
CN106446503B (zh) * 2016-07-21 2019-02-22 华侨大学 遗忘自协方差矩阵递推主元的时变工作模态识别方法
CN107254336A (zh) * 2017-07-18 2017-10-17 府谷县新亚新能源科技发展有限责任公司 一种型煤规模化生产的设备及方法
CN113324648B (zh) * 2021-07-09 2021-11-12 中国铁道科学研究院集团有限公司铁道科学技术研究发展中心 一种便携式高速铁路轮轨振动时空同步测试方法及系统
CN114118172A (zh) * 2021-12-13 2022-03-01 山东理工大学 离散零极点滤波器风电齿轮箱轮齿故障振动识别方法
CN114444187B (zh) * 2022-01-28 2023-07-18 河海大学 一种振动传递大数据与胶囊网络融合的桥梁损伤诊断方法
CN114758304B (zh) * 2022-06-13 2022-09-02 江苏中腾石英材料科技股份有限公司 一种高纯圆角石英粉的过筛设备及其过筛控制方法
CN114768986B (zh) * 2022-06-20 2022-09-16 江苏中腾石英材料科技股份有限公司 高纯熔融石英粉的精细化研磨装置及其研磨方法
CN114900126B (zh) * 2022-07-13 2022-11-04 江苏福明太阳能有限公司 太阳能电池组件的接地测试设备及其接地测试方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836646A (zh) * 2021-02-05 2021-05-25 华南理工大学 一种基于通道注意力机制的视频行人重识别方法及应用
CN115013298A (zh) * 2022-06-22 2022-09-06 浙江石水泵业科技有限公司 污水泵的实时性能在线监测系统及其监测方法

Also Published As

Publication number Publication date
CN115410004A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN115410004B (zh) 铁粉智能筛分系统及其方法
CN108399380A (zh) 一种基于三维卷积和Faster RCNN的视频动作检测方法
CN112926457B (zh) 一种基于融合频域和空间域网络模型的sar图像识别方法
CN114758304B (zh) 一种高纯圆角石英粉的过筛设备及其过筛控制方法
CN115647819B (zh) 车磨一体复合机及其控制方法
CN109062811B (zh) 一种基于神经风格迁移的测试用例生成方法
CN115393779A (zh) 用于激光熔覆金属球制造的控制系统及其控制方法
CN115841644B (zh) 基于物联网的城市基础建设工程设备的控制系统及其方法
CN111614965B (zh) 基于图像网格光流滤波的无人机视频稳像方法及系统
Al‐Naji et al. Quality index evaluation of videos based on fuzzy interface system
CN115982573B (zh) 多功能送料机及其控制方法
CN115909154A (zh) 一种土壤环境检测样品筛分装置
CN107027051A (zh) 一种基于线性动态系统的视频关键帧提取方法
CN103473790A (zh) 基于增量Bi-2DPCA学习和稀疏表示的在线目标跟踪方法
CN116890405A (zh) 塑料颗粒生产用控制系统及其方法
JP2001008056A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4517409B2 (ja) データ処理装置およびデータ処理方法
Kumar et al. Lossless compression of CT images by an improved prediction scheme using least square algorithm
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
Marusic et al. Adaptive prediction for lossless image compression
CN117454119A (zh) 基于动态多图和多维注意力时空神经网络的城市轨道客流预测方法
CN115797477A (zh) 用于轻量化部署的剪枝式图像压缩感知方法及系统
Jadhav et al. Image denoising using deep auto-encoder network for production monitoring in real-time
CN114743000A (zh) 基于Unet的多任务气胸医学图像语义分割模型系统及其方法
Arulmozhi et al. Detection and diagnosis of pancreatic tumor using convolutional neural network and hybrid particle swarm optimization algorithm (CNN-HPSO) for image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant