CN115982573A - 多功能送料机及其控制方法 - Google Patents
多功能送料机及其控制方法 Download PDFInfo
- Publication number
- CN115982573A CN115982573A CN202310265600.XA CN202310265600A CN115982573A CN 115982573 A CN115982573 A CN 115982573A CN 202310265600 A CN202310265600 A CN 202310265600A CN 115982573 A CN115982573 A CN 115982573A
- Authority
- CN
- China
- Prior art keywords
- matrix
- topological
- feature
- frequency
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 283
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 128
- 239000013598 vector Substances 0.000 claims description 113
- 239000010410 layer Substances 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000001788 irregular Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本申请涉及送料器控制技术领域，其具体地公开了一种多功能送料机及其控制方法，其通过部署于送料机的多个振动传感器采集多个振动信号并构造所述多个振动传感器的拓扑矩阵，然后，使用深度神经网络模型对所述多个振动信号和所述拓扑矩阵进行编码并融合以得到包含不规则的空间拓扑信息和高维的振动特征的拓扑全局多尺度时频特征矩阵，并通过分类器以获得用于表示送料机的振动模式是否正常的分类判断结果，通过这样的方式从而准确的对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
Description
技术领域
本申请涉及送料器控制技术领域，且更为具体地，涉及一种多功能送料机及其控制方法。
背景技术
送料机是借助机器运动的作用力加力于材料，对材料进行运动运输的机器。送料机是轻工行业、重工业不可缺少的设备。
目前，送料机在工作时的振动很大，其原因如下：原材料太弯、原材料未倒角且中心位错位，而现有的应对这些的对策为尽量购买直的材料、材料尾部倒角且重新校对中心。但是，在送料机实际的工作过程中发现这些应对措施不仅需要对于原材料进行相应地处理，且并不能够有效地解决送料机在工作时振动较大的问题，这会导致对于材料的运输存在隐患，进而影响送料机的正常运行。
因此，期待一种多功能送料机，其能够对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种多功能送料机及其控制方法，其通过由部署于送料机的多个振动传感器采集多个振动信号并构造所述多个振动传感器的拓扑矩阵，然后，使用深度神经网络模型对所述多个振动信号和所述拓扑矩阵进行编码并融合以得到包含不规则的空间拓扑信息和高维的振动特征的拓扑全局多尺度时频特征矩阵，并通过分类器以获得用于表示送料机的振动模式是否正常的分类判断结果，通过这样的方式从而准确的对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
根据本申请的一个方面，提供了一种多功能送料机，其包括：送料监控单元，用于获取由部署于送料机的多个振动传感器采集的多个振动信号；S变换单元，用于分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；多尺度振动编码单元，用于将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；矩阵化单元，用于将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；拓扑数据构造单元，用于构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；拓扑特征提取单元，用于将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；图神经网络编码单元，用于将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；矩阵校正单元，用于对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及送料监控结果生成单元，用于将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
根据本申请的另一方面，提供了一种多功能送料机的控制方法，其包括：获取由部署于送料机的多个振动传感器采集的多个振动信号；分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
与现有技术相比，本申请提供的一种多功能送料机及其控制方法，其通过由部署于送料机的多个振动传感器采集多个振动信号并构造所述多个振动传感器的拓扑矩阵，然后，使用深度神经网络模型对所述多个振动信号和所述拓扑矩阵进行编码并融合以得到包含不规则的空间拓扑信息和高维的振动特征的拓扑全局多尺度时频特征矩阵，并通过分类器以获得用于表示送料机的振动模式是否正常的分类判断结果，通过这样的方式从而准确的对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的多功能送料机及其控制方法的应用场景图。
图2图示了根据本申请实施例的多功能送料机的框图示意图。
图3图示了根据本申请实施例的多功能送料机中多尺度振动编码单元的框图。
图4图示了根据本申请实施例的多功能送料机中训练模块的框图。
图5图示了根据本申请实施例的多功能送料机的控制方法的流程图。
图6图示了根据本申请实施例的多功能送料机的控制方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述：如上所述，送料机是借助机器运动的作用力加力于材料，对材料进行运动运输的机器。送料机是轻工行业、重工业不可缺少的设备。
目前，送料机在工作时的振动很大，其原因如下：原材料太弯、原材料未倒角且中心位错位，而现有的应对这些的对策为尽量购买直的材料、材料尾部倒角且重新校对中心。但是，在送料机实际的工作过程中发现这些应对措施不仅需要对于原材料进行相应地处理，且并不能够有效地解决送料机在工作时振动较大的问题，这会导致对于材料的运输存在隐患，进而影响送料机的正常运行。因此，期待一种多功能送料机，其能够对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为送料机的振动模式监控提供了新的解决思路和方案。
具体地，在本申请的技术方案中，通过采用基于深度学习的人工智能监测技术，以振动传感器采集的振动信号作为输入数据来对于送料机的振动模式进行监测。并且，考虑到在送料机的运行过程中，其振动模式是在不同的位置处具有不同的振动特征，因此，进一步使用多个振动传感器采集送料机的多个位置处的振动模式特征，并融合了所述多个振动传感器的拓扑特征信息来进行送料机的振动模式异常检测。这样，能够实时地对于所述送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
具体地，在本申请的技术方案中，首先，通过部署于送料机的多个振动传感器采集多个振动信号。接着，对得到的所述多个振动信号中的各个振动信号进行一维S变换，以将所述多个振动信号中的各个振动信号转化为S变换时频图。应可以理解，由于S变换能够在低频段提供宽窗口，而在高频段提供窄窗口，这样就能够最大程度地保留了所述振动信号在各个频段的特征，以提高后续分类的准确性。具体地，可以以如下变换公式来进行S变换：其中，表示所述多个S变换时频图中各个S变换时频图，为时移因子，表示所述多个振动信号中的各个振动信号，表示频率，表示时间。
然后，将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层中进行处理，以分别提取出所述各个S变换时频图的多尺度隐含关联特征，以得到多个多尺度时频特征向量。也就是，在本申请的一个具体示例中，在所述混合卷积层（mixedconvolutionlayer，MCL）中，此模块的设计包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成，分别对输入特征图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。接着，就可以将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵。
进一步地，对于通过所述多个振动传感器采集的多个振动信号来进行送料机的振动模式异常识别中，考虑到所述各个振动传感器之间是具有着空间位置上的关联性特征的，若能够基于所述各个振动传感器的空间拓扑结构来进一步加强对于送料机的振动模式异常判断，显然能够提高判断的准确度。因此，在本申请的技术方案中，进一步基于所述多个振动传感器的拓扑结构来构造所述多个振动传感器的拓扑矩阵，这里，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零。
接着，将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型中进行特征提取，以提取出所述多个振动传感器之间的隐含拓扑特征，从而得到拓扑特征矩阵。
然后，以所述各个多尺度时频特征向量作为节点的特征表示，而以所述拓扑特征矩阵作为节点与节点之间的边的特征表示，将由所述多个多尺度时频特征向量经二维排列得到的所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵。具体地，所述图神经网络通过可学习的神经网络参数对所述全局多尺度时频特征矩阵和所述拓扑特征矩阵进行图结构数据编码以得到包含不规则的空间拓扑特征和各个振动传感器的振动信号隐含特征的所述拓扑全局多尺度时频特征矩阵。进一步地，再将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。也就是，将所述拓扑全局多尺度时频特征矩阵作为分类特征矩阵通过分类器中进行分类处理，以得到用于表示送料机的振动模式是否正常的分类结果。这样，能够实时地对于所述送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
特别地，在本申请的技术方案中，在训练阶段中，将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络得到拓扑全局多尺度时频特征矩阵时，由于所述拓扑全局多尺度时频特征矩阵的每个拓扑全局多尺度时频特征向量是单个传感器的时频图像语义的拓扑表达，因此各个拓扑全局多尺度时频特征向量之间的相关性可能较差。这样，在将所述拓扑全局多尺度时频特征矩阵通过分类器进行分类时，分类器的权重矩阵相对于所述拓扑全局多尺度时频特征矩阵的各个拓扑全局多尺度时频特征向量的弱相关特征表达的适配负担会较重，这影响了分类器的训练速度和所述拓扑全局多尺度时频特征矩阵的分类结果的准确性。
因此，本申请的申请人考虑使用分类器迭代的场景相关优化来进行分类器的训练，具体为：其中，是所述拓扑全局多尺度时频特征矩阵展开后得到的特征向量，和是分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加和，表示按位置差分，表示矩阵相乘，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
这里，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对所述特征向量的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对所述特征向量进行相关性描述，以从所述特征向量的角度提升分类器的权重矩阵的参数与所述特征向量之间的适配性，从而提升分类器的训练速度和所述拓扑全局多尺度时频特征矩阵的分类结果的准确性。
在本申请的技术方案中，在推断阶段中，将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络得到拓扑全局多尺度时频特征矩阵时，由于所述拓扑全局多尺度时频特征矩阵的每个拓扑全局多尺度时频特征向量是单个传感器的视频图像语义的拓扑表达，如果能够基于所述多个拓扑全局多尺度时频特征向量之间的关联特征对于每个拓扑全局多尺度时频特征向量的各个位置的特征值的重要性进行区分，则可以优化每个拓扑全局多尺度时频特征向量的特征表示，从而提升所述拓扑全局多尺度时频特征矩阵通过分类器进行分类的训练速度和分类结果的准确性。
基于此，首先将所述拓扑全局多尺度时频特征矩阵通过作为特征提取器的卷积神经网络得到辅助特征图，再提取所述辅助特征图的通道维度上的单个关联特征子空间内的累积关联特征语义作为用于对每个拓扑全局多尺度时频特征向量进行加权的加权向量（因此，作为特征提取器的卷积神经网络的通道数需要与所述拓扑全局多尺度时频特征向量的长度相同）。具体地，对所述辅助特征图进行特征相关性累积区分机制建模以获得权重特征向量，表示为：其中，和分别表示对所述辅助特征图进行基于不同卷积核的单层卷积操作，且表示对所述辅助特征图的每个特征矩阵的全局池化操作。
这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成所述辅助特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于所述辅助特征图的各个特征矩阵的特征累积区分机制来确定用于表达累积关联特征语义的通道维度下适当的加权因数。然后，再以所述权重特征向量分别与每个拓扑全局多尺度时频特征向量进行点乘，就可以优化所述多个拓扑全局多尺度时频特征向量排列得到的所述拓扑全局多尺度时频特征矩阵的特征表示，从而提升其通过分类器进行分类的训练速度和分类结果的准确性。这样，能够实时地对于送料机的振动模式的异常性进行准确地检测，进而在检测到所述送料机的振动模式不符合正常模式时产生预警提示，以保证送料机的正常运行。
基于此，本申请提供了一种多功能送料机，其包括：送料监控单元，用于获取由部署于送料机的多个振动传感器采集的多个振动信号；S变换单元，用于分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；多尺度振动编码单元，用于将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；矩阵化单元，用于将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；拓扑数据构造单元，用于构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；拓扑特征提取单元，用于将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；图神经网络编码单元，用于将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；矩阵校正单元，用于对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及，送料监控结果生成单元，用于将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
图1图示了根据本申请实施例的多功能送料机及其控制方法的应用场景图。如图1所示，在该应用场景中，通过部署于送料机（例如，图1中所示意的F）的多个振动传感器（例如，图1中所示意的V1-Vn）采集多个训练振动信号，并构造所述多个振动传感器的训练拓扑矩阵。然后，将获取的所述多个训练振动信号和所述训练拓扑矩阵传输至部署有多功能送料机的控制算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够基于多功能送料机的控制算法以所述多个训练振动信号和所述训练拓扑矩阵对混合卷积层、特征提取器的卷积神经网络模型、图神经网络和分类器进行训练。
图1图示了根据本申请实施例的多功能送料机及其控制方法的应用场景图。如图1所示，在该应用场景中，通过部署于送料机（例如，图1中所示意的F）的多个振动传感器（例如，图1中所示意的V1-Vn）采集多个振动信号，并构造所述多个振动传感器的拓扑矩阵。然后，将获取的所述多个振动信号和所述拓扑矩阵传输至部署有多功能送料机的控制算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够以多功能送料机的控制算法对所述多个振动信号和所述拓扑矩阵进行处理，以生成用于表示送料机的振动模式是否正常的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法：图2图示了根据本申请实施例的多功能送料机的框图示意图。如图2所示，根据本申请实施例的所述多功能送料机100，其包括：送料监控单元110，用于获取由部署于送料机的多个振动传感器采集的多个振动信号；S变换单元120，用于分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；多尺度振动编码单元130，用于将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；矩阵化单元140，用于将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；拓扑数据构造单元150，用于构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；拓扑特征提取单元160，用于将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；图神经网络编码单元170，用于将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；矩阵校正单元180，用于对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及，送料监控结果生成单元190，用于将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
在本实施例中，所述送料监控单元110，用于获取由部署于送料机的多个振动传感器采集的多个振动信号。如上所述，现有的送料机在实际工作过程中不能及时发现工作时振动较大的问题，这会导致对于材料的运输存在隐患，进而影响送料机的正常运行。因此，期待一种多功能送料机，其能够对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
具体地，在本申请的技术方案中，通过采用基于深度学习的人工智能监测技术，以振动传感器采集的振动信号作为输入数据来对于送料机的振动模式进行监测。并且，考虑到在送料机的运行过程中，其振动模式是在不同的位置处具有不同的振动特征，因此，进一步使用多个振动传感器采集送料机的多个位置处的振动模式特征，并融合了所述多个振动传感器的拓扑特征信息来进行送料机的振动模式异常检测。这样，能够实时地对于所述送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
在本实施例中，所述S变换单元120，用于分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图。应可以理解，考虑到在利用传感器采集的振动信号特征对送料机的振动模式进行监控时，需要考虑到所述振动信号在各个频段的特征，以提高后续分类的准确性。而S变换能够在低频段提供宽窗口，而在高频段提供窄窗口，从而能够最大程度地保留了振动信号在各个频段的特征。因此，在本申请的技术方案中，对得到的所述多个振动信号中的各个振动信号进行一维S变换，以将所述多个振动信号中的各个振动信号转化为S变换时频图，S变换时频图以时间为横轴，频率为纵轴，清楚的描述了信号频率随时间的变化关系，且提取的特征量对噪声不敏感。
更进一步的，在本申请一个具体的实施例中，所述S变换单元，进一步用于：以如下变换公式分别对所述多个振动信号中的各个振动信号进行S变换以得到所述多个S变换时频图；其中，所述变换公式为：其中，表示所述多个S变换时频图中各个S变换时频图，为时移因子，表示所述多个振动信号中的各个振动信号，表示频率，表示时间。
在本实施例中，所述多尺度振动编码单元130，用于将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量。应可以理解，考虑到振动信号具有时序性和周期性，而单一卷积核虽然也能提取到振动信号的小跨度的时序特征，却无法提取到大跨度的周期特征，而如果想要提取到大跨度的周期特征则需要增大卷积核，而随着卷积核的增大，所需要调整的参数越多，计算量也就越大，服务器处理的时间越长，不利于送料机的实时调控，而混合卷积层可以有效解决这一问题。因此，将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层中进行处理，以分别提取出所述各个S变换时频图的多尺度隐含关联特征，以得到多个多尺度时频特征向量。
图3图示了根据本申请实施例的多功能送料机中多尺度振动编码单元的框图。如图3所示，在本申请一个具体的实施例中，所述多尺度振动编码单元130，包括：第一卷积分支子单元131，用于使用具有第一尺寸的第一卷积核对所述S变换时频图进行卷积编码以得到第一特征矩阵；第二卷积分支子单元132，用于使用具有第一空洞率的第二卷积核对所述S变换时频图进行卷积编码以得到第二特征矩阵；第三卷积分支子单元133，用于使用具有第二空洞率的第三卷积核对所述S变换时频图进行卷积编码以得到第三特征矩阵；第四卷积分支子单元134，用于使用具有第三空洞率的第四卷积核对所述S变换时频图进行卷积编码以得到第四特征矩阵；多尺度特征融合子单元135，用于将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵进行沿通道维度进行聚合以得到特征图；以及，维度调整子单元136，用于对所述特征图进行沿通道维度的全局均值池化处理以得到所述多尺度时频特征向量。
在本申请一个具体的实施例中，所述第一卷积核、所述第二卷积核、所述第三卷积核和所述第四卷积核具有相同的尺寸。
在本申请一个具体的实施例中，所述第二卷积核、所述第三卷积核和所述第四卷积核具有不同的空洞率。
更进一步，在本申请的一个具体示例中，在所述混合卷积层（mixedconvolutionlayer，MCL）中，此模块的设计包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成（空洞卷积与普通卷积类似，都是利用卷积核在所述S变换时频图上滑动，并且在每个位置上进行值的计算，以提取所述S变换时频图的高维局部隐含特征，但空洞卷积的滑窗元素之间存在一定间隙，空洞卷积的滑窗元素之间的间隙被成为空洞率，即空洞卷积不会取相邻位置的元素进行值的计算，而是取隔相同距离的元素进行值的计算，从而增大感受野），分别对输入特征图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。
在本实施例中，所述矩阵化单元140，用于将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵。应可以理解，考虑到部署在送料机的多个振动传感器是具有一定的空间关系的，所以多个振动传感器采集多个振动信号也是具有一定的空间关系，而对送料机的振动模式进行监控不能简单对各个振动信号进行分析，而是要基于振动信号的全局进行分析。因此，将对应于各个所述振动信号的多尺度时频特征向量按照样本维度进行二维矩阵化以得到全局多尺度时频特征矩阵，也就是，将各个振动信号的高维隐含特征按照振动信号的样本维度整合到一个特征矩阵中。
在本实施例中，所述拓扑数据构造单元150，用于构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零。应可以理解，考虑到所述各个振动传感器之间是具有着空间位置上的关联性特征的，若能够基于所述各个振动传感器的空间拓扑结构来进一步加强对于送料机的振动模式异常判断，显然能够提高判断的准确度。因此，在本申请的技术方案中，进一步基于所述多个振动传感器的拓扑结构来构造所述多个振动传感器的拓扑矩阵，这里，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零。
在本实施例中，所述拓扑特征提取单元160，用于将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵。也就是，将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型中进行特征提取，以提取出所述多个振动传感器之间的隐含拓扑特征，从而得到拓扑特征矩阵。
在本申请一个具体的实施例中，所述拓扑特征提取单元，进一步用于：所述卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：使用所述卷积神经网络模型的各层的卷积单元对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；使用所述卷积神经网络模型的各层的池化单元对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及，使用所述卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述拓扑特征矩阵。
在本实施例中，所述图神经网络编码单元170，用于将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵。应可以理解，以所述各个多尺度时频特征向量作为节点的特征表示，而以所述拓扑特征矩阵作为节点与节点之间的边的特征表示，将由所述多个多尺度时频特征向量经二维排列得到的所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵。具体地，所述图神经网络通过可学习的神经网络参数对所述全局多尺度时频特征矩阵和所述拓扑特征矩阵进行图结构数据编码以得到包含不规则的空间拓扑特征和各个振动传感器的振动信号隐含特征的所述拓扑全局多尺度时频特征矩阵。
在本实施例中，所述矩阵校正单元180，用于对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵。在本申请的技术方案中，在将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络得到拓扑全局多尺度时频特征矩阵时，由于所述拓扑全局多尺度时频特征矩阵的每个拓扑全局多尺度时频特征向量是单个传感器的视频图像语义的拓扑表达，如果能够基于所述多个拓扑全局多尺度时频特征向量之间的关联特征对于每个拓扑全局多尺度时频特征向量的各个位置的特征值的重要性进行区分，则可以优化每个拓扑全局多尺度时频特征向量的特征表示，从而提升所述拓扑全局多尺度时频特征矩阵通过分类器进行分类的训练速度和分类结果的准确性。基于此，首先将所述拓扑全局多尺度时频特征矩阵通过作为特征提取器的卷积神经网络得到辅助特征图，再提取所述辅助特征图的通道维度上的单个关联特征子空间内的累积关联特征语义作为用于对每个拓扑全局多尺度时频特征向量进行加权的加权向量（因此，作为特征提取器的卷积神经网络的通道数需要与所述拓扑全局多尺度时频特征向量的长度相同）。
在本申请的一个实施例中，所述矩阵校正单元，包括：辅助特征图获取单元，用于将所述拓扑全局多尺度时频特征矩阵通过作为特征提取器的卷积神经网络得到辅助特征图；权重特征向量获取单元，用于以如下特征区分公式对所述辅助特征图进行特征相关性累积区分机制建模以获得权重特征向量；
其中，所述特征区分公式为：其中，表示所述权重特征向量，表示所述辅助特征图，和分别表示对所述辅助特征图进行基于不同卷积核的单层卷积操作，表示向量的按位置加法，表示非线性激活函数，表示线性整流函数，且表示对所述辅助特征图的每个特征矩阵的全局池化操作；点乘单元，用于计算所述权重特征向量与每个拓扑全局多尺度时频特征向量的按位置点乘以得到所述校正拓扑全局多尺度时频特征矩阵。
这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成所述辅助特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于所述辅助特征图的各个特征矩阵的特征累积区分机制来确定用于表达累积关联特征语义的通道维度下适当的加权因数。然后，再以所述权重特征向量分别与每个拓扑全局多尺度时频特征向量进行点乘，就可以优化所述多个拓扑全局多尺度时频特征向量排列得到的所述拓扑全局多尺度时频特征矩阵的特征表示，从而提升其通过分类器进行分类的训练速度和分类结果的准确性。这样，能够实时地对于送料机的振动模式的异常性进行准确地检测，进而在检测到所述送料机的振动模式不符合正常模式时产生预警提示，以保证送料机的正常运行。
在本实施例中，所述送料监控结果生成单元190，用于将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。也就是，将所述拓扑全局多尺度时频特征矩阵作为分类特征矩阵通过分类器中进行分类处理，以得到用于表示送料机的振动模式是否正常的分类结果。这样，能够实时地对于所述送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
在本申请的一个实施例中，所述送料监控结果生成单元，进一步用于：使用所述分类器以如下分类公式对所述校正拓扑全局多尺度时频特征矩阵进行处理以获得分类结果；其中，所述分类公式为：，其中表示将所述校正拓扑全局多尺度时频特征矩阵投影为向量，为全连接层的权重矩阵，表示全连接层的偏置向量，表示所述分类结果。
也就是，所述分类器首先使用全连接层对所述拓扑全局多尺度时频特征矩阵进行全连接编码以充分利用所述拓扑全局多尺度时频特征矩阵中各个位置的信息以将所述拓扑全局多尺度时频特征矩阵降维为一维的分类特征向量；然后，计算所述一维的分类特征向量的Softmax函数值，即，所述分类特征向量归属于各个分类标签的概率值，在本申请实施例中，所述分类标签包括送料机的振动模式正常（第一标签）以及送料机的振动模式不正常（第二标签）。最后，将概率值较大者对应的标签作为所述分类结果。
更进一步，在本申请的一个实施例中，还设置有预警灯，当监控到振动模式不符合正常模式时，预警灯发出预警提示。
进一步，在上述推断之前，需要对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练。也就是说，在本申请的多功能送料机中，还包括训练模块，用于对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练。
图4图示了根据本申请实施例的多功能送料机中训练模块的框图。如图4所示，在本申请一个具体的实施例中，所述多功能送料机，还包括用于对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练的训练模块；其中，所述训练模块200，包括：训练送料监控单元210，用于获取训练数据，所述训练数据包括由部署于所述送料机的多个振动传感器采集的多个训练振动信号，以及，所述送料机的振动模式是否正常的真实值；训练S变换单元220，用于分别对所述多个训练振动信号中的各个训练振动信号进行S变换以得到多个训练S变换时频图；训练多尺度振动编码单元230，用于将所述多个训练S变换时频图中各个训练S变换时频图分别通过所述混合卷积层以得到多个训练多尺度时频特征向量；训练矩阵化单元240，用于将所述多个训练多尺度时频特征向量进行二维矩阵化以得到训练全局多尺度时频特征矩阵；训练拓扑数据构造单元250，用于构造所述多个振动传感器的训练拓扑矩阵，所述训练拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述训练拓扑矩阵中对角线位置上各个位置的值为零；训练拓扑特征提取单元260，用于将所述训练拓扑矩阵通过所述作为特征提取器的卷积神经网络模型以得到训练拓扑特征矩阵；训练图神经网络编码单元270，用于将所述训练全局多尺度时频特征矩阵和所述训练拓扑特征矩阵通过所述图神经网络以得到训练拓扑全局多尺度时频特征矩阵；分类损失单元280，用于将所述训练拓扑全局多尺度时频特征矩阵通过所述分类器以得到分类损失函数值；以及，训练单元290，用于以所述分类损失函数值作为损失函数值对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，使用所述分类器在每次迭代更新前后的权重矩阵，对所述训练拓扑全局多尺度时频特征矩阵展开后得到的特征向量进行迭代。
在本申请的一个实施例中，所述训练送料监控单元210、所述训练S变换单元220、所述训练多尺度振动编码单元230、所述训练矩阵化单元240、所述训练拓扑数据构造单元250、所述训练拓扑特征提取单元260以及所述训练图神经网络编码单元270。用于获取训练数据，所述训练数据包括由部署于所述送料机的多个振动传感器采集的多个训练振动信号，以及，所述送料机的振动模式是否正常的真实值，并分别对所述多个训练振动信号中的各个训练振动信号进行S变换以得到多个训练S变换时频图。然后，将所述多个训练S变换时频图中各个训练S变换时频图分别通过所述混合卷积层以得到多个训练多尺度时频特征向量，并将所述多个训练多尺度时频特征向量进行二维矩阵化以得到训练全局多尺度时频特征矩阵。同时，构造所述多个振动传感器的训练拓扑矩阵，所述训练拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述训练拓扑矩阵中对角线位置上各个位置的值为零，并将所述训练拓扑矩阵通过所述作为特征提取器的卷积神经网络模型以得到训练拓扑特征矩阵。接着，将所述训练全局多尺度时频特征矩阵和所述训练拓扑特征矩阵通过所述图神经网络以得到训练拓扑全局多尺度时频特征矩阵。
更进一步的，在本申请的一个实施例中，所述分类损失单元280，用于将所述训练拓扑全局多尺度时频特征矩阵通过所述分类器以得到分类损失函数值。也就是，将所述训练拓扑全局多尺度时频特征矩阵通过所述分类器以得到分类结果，再将分类结果与所述送料机的振动模式是否正常的真实值进行比较并计算交叉熵数值作为所述分类损失函数值。
在本申请一个具体的实施例中，所述分类损失单元280，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述训练拓扑全局多尺度时频特征矩阵进行全连接编码以获得训练分类特征向量；训练分类结果获得单元，用于将所述训练分类特征向量输入所述分类器的Softmax分类函数以获得训练分类结果；以及，分类损失函数值计算单元，用于计算所述训练分类结果与所述送料机的振动模式是否正常的真实值之间的交叉熵数值作为所述分类损失函数值。
在本申请的一个实施例中，所述训练单元290，用于以所述分类损失函数值作为损失函数值对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，使用所述分类器在每次迭代更新前后的权重矩阵，对所述训练拓扑全局多尺度时频特征矩阵展开后得到的特征向量进行迭代。应可以理解，在本申请的技术方案中，在将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络得到拓扑全局多尺度时频特征矩阵时，由于所述拓扑全局多尺度时频特征矩阵的每个拓扑全局多尺度时频特征向量是单个传感器的时频图像语义的拓扑表达，因此各个拓扑全局多尺度时频特征向量之间的相关性可能较差。这样，在将所述拓扑全局多尺度时频特征矩阵通过分类器进行分类时，分类器的权重矩阵相对于所述拓扑全局多尺度时频特征矩阵的各个拓扑全局多尺度时频特征向量的弱相关特征表达的适配负担会较重，这影响了分类器的训练速度和所述拓扑全局多尺度时频特征矩阵的分类结果的准确性。因此，本申请的申请人考虑使用分类器迭代的场景相关优化来进行分类器的训练。
在本申请的一个实施例中，在所述训练的每一轮迭代中，使用所述分类器在每次迭代更新前后的权重矩阵，以如下迭代公式对所述训练拓扑全局多尺度时频特征矩阵展开后得到的特征向量进行迭代；其中，所述迭代公式为：其中，是所述拓扑全局多尺度时频特征矩阵展开后得到的特征向量，和是分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加和，表示按位置差分，表示矩阵相乘，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，是迭代后的特征向量。
这里，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对所述特征向量的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对所述特征向量进行相关性描述，以从所述特征向量的角度提升分类器的权重矩阵的参数与所述特征向量之间的适配性，从而提升分类器的训练速度和所述拓扑全局多尺度时频特征矩阵的分类结果的准确性。这样，能够实时地对于送料机的振动模式的异常性进行准确地检测，进而在检测到所述送料机的振动模式不符合正常模式时产生预警提示，以保证送料机的正常运行。
综上，基于本申请实施例的所述多功能送料机，其通过由部署于送料机的多个振动传感器采集多个振动信号并构造所述多个振动传感器的拓扑矩阵，然后，使用深度神经网络模型对所述多个振动信号和所述拓扑矩阵进行编码并融合以得到包含不规则的空间拓扑信息和高维的振动特征的拓扑全局多尺度时频特征矩阵，并通过分类器以获得用于表示送料机的振动模式是否正常的分类判断结果，通过这样的方式从而准确的对送料机的振动模式进行监控以在监控到振动模式不符合正常模式时，产生预警提示。
示例性系统：图5图示了根据本申请实施例的多功能送料机的控制方法的流程图。如图5所示，根据本申请实施例的所述多功能送料机的控制方法，包括：S110，获取由部署于送料机的多个振动传感器采集的多个振动信号；S120，分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；S130，将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；S140，将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；S150，构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；S160，将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；S170，将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；S180，对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及，S190，将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
图6图示了根据本申请实施例的多功能送料机的控制方法的系统架构的示意图。如图6所示，在所述多功能送料机的控制方法的系统架构中，首先，获取由部署于送料机的多个振动传感器采集的多个振动信号，并分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图。然后，将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量，并将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵。同时，构造所述多个振动传感器的拓扑矩阵，并将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵。接着，将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵，并对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵。最后，将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
这里，本领域技术人员可以理解，上述多功能送料机的控制方法中的各个步骤的具体操作已经在上面参考图1到图4的多功能送料机的描述中得到了详细介绍，并因此，将省略其重复描述。
Claims (10)
1.一种多功能送料机，其特征在于，包括：送料监控单元，用于获取由部署于送料机的多个振动传感器采集的多个振动信号；S变换单元，用于分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；多尺度振动编码单元，用于将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；矩阵化单元，用于将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；拓扑数据构造单元，用于构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；拓扑特征提取单元，用于将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；图神经网络编码单元，用于将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；矩阵校正单元，用于对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及送料监控结果生成单元，用于将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
2.根据权利要求1所述的多功能送料机，其特征在于，所述S变换单元，进一步用于：以如下变换公式分别对所述多个振动信号中的各个振动信号进行S变换以得到所述多个S变换时频图；其中，所述变换公式为：其中，表示所述多个S变换时频图中各个S变换时频图，为时移因子，表示所述多个振动信号中的各个振动信号，表示频率，表示时间。
3.根据权利要求2所述的多功能送料机，其特征在于，所述多尺度振动编码单元，包括：第一卷积分支子单元，用于使用具有第一尺寸的第一卷积核对所述S变换时频图进行卷积编码以得到第一特征矩阵；第二卷积分支子单元，用于使用具有第一空洞率的第二卷积核对所述S变换时频图进行卷积编码以得到第二特征矩阵；第三卷积分支子单元，用于使用具有第二空洞率的第三卷积核对所述S变换时频图进行卷积编码以得到第三特征矩阵；第四卷积分支子单元，用于使用具有第三空洞率的第四卷积核对所述S变换时频图进行卷积编码以得到第四特征矩阵，所述第一卷积核、所述第二卷积核、所述第三卷积核和所述第四卷积核具有相同的尺寸；多尺度特征融合子单元，用于将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵进行沿通道维度进行聚合以得到特征图；以及维度调整子单元，用于对所述特征图进行沿通道维度的全局均值池化处理以得到所述多尺度时频特征向量。
4.根据权利要求3所述的多功能送料机，其特征在于，所述第二卷积核、所述第三卷积核和所述第四卷积核具有不同的空洞率。
5.根据权利要求4所述的多功能送料机，其特征在于，所述拓扑特征提取单元，进一步用于：所述卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：使用所述卷积神经网络模型的各层的卷积单元对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；使用所述卷积神经网络模型的各层的池化单元对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及使用所述卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述拓扑特征矩阵。
6.根据权利要求5所述的多功能送料机，其特征在于，所述矩阵校正单元，包括：辅助特征图获取单元，用于将所述拓扑全局多尺度时频特征矩阵通过作为特征提取器的卷积神经网络得到辅助特征图；权重特征向量获取单元，用于以如下特征区分公式对所述辅助特征图进行特征相关性累积区分机制建模以获得权重特征向量；
其中，所述特征区分公式为：其中，表示所述权重特征向量，表示所述辅助特征图，和分别表示对所述辅助特征图进行基于不同卷积核的单层卷积操作，表示向量的按位置加法，表示非线性激活函数，表示线性整流函数，且表示对所述辅助特征图的每个特征矩阵的全局池化操作；点乘单元，用于计算所述权重特征向量与每个拓扑全局多尺度时频特征向量的按位置点乘以得到所述校正拓扑全局多尺度时频特征矩阵。
7.根据权利要求6所述的多功能送料机，其特征在于，所述送料监控结果生成单元，进一步用于：使用所述分类器以如下分类公式对所述校正拓扑全局多尺度时频特征矩阵进行处理以获得分类结果；其中，所述分类公式为：，其中表示将所述校正拓扑全局多尺度时频特征矩阵投影为向量，为全连接层的权重矩阵，表示全连接层的偏置向量，表示所述分类结果。
8.根据权利要求1所述的多功能送料机，其特征在于，还包括用于对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练送料监控单元，用于获取训练数据，所述训练数据包括由部署于所述送料机的多个振动传感器采集的多个训练振动信号，以及，所述送料机的振动模式是否正常的真实值；训练S变换单元，用于分别对所述多个训练振动信号中的各个训练振动信号进行S变换以得到多个训练S变换时频图；训练多尺度振动编码单元，用于将所述多个训练S变换时频图中各个训练S变换时频图分别通过所述混合卷积层以得到多个训练多尺度时频特征向量；训练矩阵化单元，用于将所述多个训练多尺度时频特征向量进行二维矩阵化以得到训练全局多尺度时频特征矩阵；训练拓扑数据构造单元，用于构造所述多个振动传感器的训练拓扑矩阵，所述训练拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述训练拓扑矩阵中对角线位置上各个位置的值为零；训练拓扑特征提取单元，用于将所述训练拓扑矩阵通过所述作为特征提取器的卷积神经网络模型以得到训练拓扑特征矩阵；训练图神经网络编码单元，用于将所述训练全局多尺度时频特征矩阵和所述训练拓扑特征矩阵通过所述图神经网络以得到训练拓扑全局多尺度时频特征矩阵；分类损失单元，用于将所述训练拓扑全局多尺度时频特征矩阵通过所述分类器以得到分类损失函数值；以及训练单元，用于以所述分类损失函数值作为损失函数值对所述混合卷积层、所述特征提取器的卷积神经网络模型、所述图神经网络和所述分类器进行训练，其中，在所述训练的每一轮迭代中，使用所述分类器在每次迭代更新前后的权重矩阵，对所述训练拓扑全局多尺度时频特征矩阵展开后得到的特征向量进行迭代。
9.根据权利要求8所述的多功能送料机，其特征在于，在所述训练的每一轮迭代中，使用所述分类器在每次迭代更新前后的权重矩阵，以如下迭代公式对所述训练拓扑全局多尺度时频特征矩阵展开后得到的特征向量进行迭代；其中，所述迭代公式为：其中，是所述拓扑全局多尺度时频特征矩阵展开后得到的特征向量，和是分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加和，表示按位置差分，表示矩阵相乘，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，是迭代后的特征向量。
10.一种多功能送料机的控制方法，其特征在于，包括：获取由部署于送料机的多个振动传感器采集的多个振动信号；分别对所述多个振动信号中的各个振动信号进行S变换以得到多个S变换时频图；将所述多个S变换时频图中各个S变换时频图分别通过混合卷积层以得到多个多尺度时频特征向量；将所述多个多尺度时频特征向量进行二维矩阵化以得到全局多尺度时频特征矩阵；构造所述多个振动传感器的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个传感器之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；将所述拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到拓扑特征矩阵；将所述全局多尺度时频特征矩阵和所述拓扑特征矩阵通过图神经网络以得到拓扑全局多尺度时频特征矩阵；对所述拓扑全局多尺度时频特征矩阵进行校正以得到校正拓扑全局多尺度时频特征矩阵；以及将所述校正拓扑全局多尺度时频特征矩阵通过分类器以得到分类结果，所述分类结果用于表示送料机的振动模式是否正常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310265600.XA CN115982573B (zh) | 2023-03-20 | 2023-03-20 | 多功能送料机及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310265600.XA CN115982573B (zh) | 2023-03-20 | 2023-03-20 | 多功能送料机及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115982573A true CN115982573A (zh) | 2023-04-18 |
| CN115982573B CN115982573B (zh) | 2023-11-17 |
Family
ID=85972567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310265600.XA Active CN115982573B (zh) | 2023-03-20 | 2023-03-20 | 多功能送料机及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115982573B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117054968A (zh) * | 2023-08-19 | 2023-11-14 | 杭州优航信息技术有限公司 | 基于线性阵列麦克风的声源定位系统及其方法 |
| CN118445740A (zh) * | 2024-07-10 | 2024-08-06 | 克拉玛依市供水工程技术有限责任公司 | 基于数字孪生的智慧污水处理监测系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063820A (zh) * | 2018-06-07 | 2018-12-21 | 中国科学技术大学 | 利用时频联合长时循环神经网络的数据处理方法 |
| CN112083327A (zh) * | 2020-09-08 | 2020-12-15 | 广东电网有限责任公司广州供电局 | 一种高压真空断路器机械故障诊断方法及系统 |
| CN113567131A (zh) * | 2021-07-29 | 2021-10-29 | 沈阳建筑大学 | 基于s变换与微型卷积神经网络模型的轴承故障诊断方法 |
| CN114186593A (zh) * | 2021-12-14 | 2022-03-15 | 深圳潜翔定制设计有限公司 | 噪声条件下轴承故障识别方法、装置、设备和存储介质 |
| CN114972836A (zh) * | 2022-06-14 | 2022-08-30 | 南京信息工程大学 | 一种基于多模块融合的加密流量分类方法 |
-
2023
- 2023-03-20 CN CN202310265600.XA patent/CN115982573B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063820A (zh) * | 2018-06-07 | 2018-12-21 | 中国科学技术大学 | 利用时频联合长时循环神经网络的数据处理方法 |
| CN112083327A (zh) * | 2020-09-08 | 2020-12-15 | 广东电网有限责任公司广州供电局 | 一种高压真空断路器机械故障诊断方法及系统 |
| CN113567131A (zh) * | 2021-07-29 | 2021-10-29 | 沈阳建筑大学 | 基于s变换与微型卷积神经网络模型的轴承故障诊断方法 |
| CN114186593A (zh) * | 2021-12-14 | 2022-03-15 | 深圳潜翔定制设计有限公司 | 噪声条件下轴承故障识别方法、装置、设备和存储介质 |
| CN114972836A (zh) * | 2022-06-14 | 2022-08-30 | 南京信息工程大学 | 一种基于多模块融合的加密流量分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘峰, 杨晓萍, 刘晓黎, 贾嵘: "基于神经网络的水轮发电机组振动故障诊断专家系统的研究", 西安理工大学学报, no. 04, pages 78 - 82 * |
| 陈小冬;熊国良;张磊;: "基于S变换和NMF的轴承故障诊断方法", 华东交通大学学报, no. 05, pages 62 - 68 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117054968A (zh) * | 2023-08-19 | 2023-11-14 | 杭州优航信息技术有限公司 | 基于线性阵列麦克风的声源定位系统及其方法 |
| CN117054968B (zh) * | 2023-08-19 | 2024-03-12 | 杭州优航信息技术有限公司 | 基于线性阵列麦克风的声源定位系统及其方法 |
| CN118445740A (zh) * | 2024-07-10 | 2024-08-06 | 克拉玛依市供水工程技术有限责任公司 | 基于数字孪生的智慧污水处理监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115982573B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019101133A4 (en) | Fast vehicle detection using augmented dataset based on RetinaNet | |
| CN115982573A (zh) | 多功能送料机及其控制方法 | |
| CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
| CN113723255B (zh) | 一种高光谱影像分类方法和存储介质 | |
| CN109919205A (zh) | 基于多头自注意力机制的卷积回声状态网络时序分类方法 | |
| Pan et al. | Deep learning based data fusion for sensor fault diagnosis and tolerance in autonomous vehicles | |
| CN116557787B (zh) | 管网状态智能评估系统及其方法 | |
| CN115744084A (zh) | 基于多传感器数据融合的皮带张紧控制系统及其方法 | |
| Shen et al. | An improved UAV target detection algorithm based on ASFF-YOLOv5s | |
| CN115951883A (zh) | 分布式微服务架构的服务组件管理系统及其方法 | |
| Lu et al. | An efficient network for multi-scale and overlapped wildlife detection | |
| CN116758482A (zh) | 基于无人机的农业种植管理系统及其方法 | |
| CN118277770A (zh) | 一种障碍物感知方法、装置、电子设备及存储介质 | |
| CN117705059B (zh) | 一种自然资源遥感测绘影像定位方法及系统 | |
| CN117351659A (zh) | 一种水文地质灾害监测装置及监测方法 | |
| CN117332335A (zh) | 一个基于信息融合的多米诺效应预测方法 | |
| CN117727022A (zh) | 一种基于Transformer稀疏编解码的三维点云目标检测方法 | |
| CN110674845B (zh) | 一种结合多感受野注意与特征再校准的菜品识别方法 | |
| CN116861262A (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN116994049A (zh) | 全自动针织横机及其方法 | |
| CN116773678A (zh) | 地铁铁轨的智能维护方法及其系统 | |
| CN111435457A (zh) | 对传感器获取的采集进行分类的方法 | |
| CN114998731A (zh) | 智能终端导航场景感知识别的方法 | |
| CN115953584A (zh) | 一种具有可学习稀疏性的端到端目标检测方法及系统 | |
| CN115512214A (zh) | 一种基于因果注意力的室内视觉导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |