CN112669262A - 一种电机轮轴震动异常检测与预测系统与方法 - Google Patents

Abstract

本发明公开了一种电机轮轴震动异常检测与预测系统和方法，涉及图像处理领域，包括：视觉采集系统、服务器、电机元件分割系统、多模态数据构建系统和机器视觉系统；视觉采集系统从不同方位采集电机图像；电机元件分割系统执行分割算法，生成轮轴震动序列、所述电机震动序列和所述外壳震动序列；多模态数据构建系统进行数据预处理及归一化，生成双模态数据组；机器视觉系统利用双模态数据组构建三维残差卷积神经网络，机器视觉系统对双模态数据组进行特征提取和融合，得到电机的外部缺陷和震动缺陷的检测与预测结果。本发明集成了时序异常检测算法，能在电机生产流水线生产过程中进行检测并对未来可能存在问题的短寿命产品进行预测。

Description

一种电机轮轴震动异常检测与预测系统与方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种电机轮轴震动异常检测与预测系统与方法。

背景技术

目前，随着各行业对电机依赖度的提升，电机的生产质量要求也越来越高，一方面在提高生产工艺复杂度以满足更多具体需求的同时，对产品的质量检测要求也越来越高。传统检测主要靠人工检测，人力成本高，检测效率低，且随着电机工艺的不断发展,检测技术成本及难度也在不断升高。

现有的实现方案主要基于规则的设置,通过视觉采集系统捕获电机各个角度的图像,辅之以人工测量,通过明确的尺寸、旋转频率等参数对产品合格进行判断。但是这些技术方案存在以下缺点：

1.人工质量筛选成本高,速度慢,精度低。

2.随着电机生产工艺的不断发展,可能存在的潜在缺陷愈发增多,人工检测需测量及核对的参数过多,部分缺陷往往只体现在电机各部分细微的机械振动异常,而这种异常难以被人工所捕获,进一步降低的检测的速度与精度。

3.人工质量筛选方法迁移性差,对于新产品的流水线需要重新组织相关人员的培训,可拓展性较差。

4.人工筛选无法对潜在的高风险产品进行预测,造成出厂产品存在寿命不均的情况。

因此，本领域的技术人员致力于开发一种电机轮轴震动异常检测与预测系统与方法，以便能够在电机生产流水线生产过程中进行检测并对未来可能存在问题的短寿命产品进行预测。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题有：

1.如何实现对电机产品的自动化质量检测。

2.对于无法测量的电机，如何进行各部分震动缺陷检测。

3.如何构建一种针对不同场景具有一定迁移性的缺陷检测通用系统。

4.如何对潜在的高风险电机产品进行故障预测。

为实现上述目的，本发明提供了一种电机轮轴震动异常检测与预测方法，包括：

步骤1、通过视觉采集系统采集位于检测平台上电机的主视图、俯视图和左视图，获得图像序列；

步骤2、针对所述图像序列，首先定位电机轮轴中心；然后切分出电机内环轮轴截面区域，获得轮轴震动序列；切分出电机中环主体电机截面区域，获得电机震动序列；切分出电机外环外壳截面区域，获得外壳震动序列；

步骤3、针对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理以及归一化，生成归一化的双模态数据组；

步骤4、利用所述双模态数据组构建三维残差卷积神经网络；

步骤5、利用所述三维残差卷积神经网络的特征表示，得到所述电机的外部缺陷和震动缺陷的检测结果与预测结果。

进一步地，所述步骤3包括：

步骤3.1、对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列的图像进行相隔2帧为间隔的连续16帧1.3倍最小外包含策略剪切，得到电机外部轮廓及震动幅度内背景；

步骤3.2：利用步骤3.1中获得的多个连续16帧图像构建视频序列，通过图像增强算法生成包含高维语义信息的第一数据，通过SRM滤波算法生成包含高频异常信息的第二数据，将所述双模态数据组配置为包括所述第一数据和所述第二数据；

步骤3.3：将所述第一数据和所述第二数据的数据分布以0均值1方差为规范进行高斯投影，以对所述双模态数据组的数据进行归一化。

进一步地，所述步骤4包括：

步骤4.1、以所述三维残差卷积神经网络为主网络架构，构建双通路神经网络，两个通路分别对应于所述高频信息的特征提取和所述语义信息的特征提取；

步骤4.2、对于不同模态的特征，将输出层特征进行点乘求平方和操作，执行特征独立性损失惩罚，以对不同通路的多模态特征做相关性限制；

步骤4.3、对双通路特征进行通道维度拼接以实现特征融合；

步骤4.4、对融合后的特征进行单层卷积神经网络，后接全局均值池化降维，生成注意力表示，完成对不同维度特征的权重学习。

进一步地，所述步骤5包括：对于特征融合后生成的带权重特征通过单层卷积神经网络及单层全连接网络，得到判别输出和预测输出；所述判别输出包括对当前元器件的异常情况进行判别；所述预测输出包括对未来可能存在的异常进行相应的概率预测。

本发明还提供了一种电机轮轴震动异常检测与预测系统，包括：

视觉采集系统、服务器、电机元件分割系统、多模态数据构建系统和机器视觉系统；

所述视觉采集系统包括工业相机与通信设备，所述工业相机与所述通信设备电连接；

所述电机元件分割系统、所述多模态数据构建系统和所述机器视觉系统被配置为运行在所述服务器；

所述视觉采集系统被配置为从不同方位采集电机图像；

所述电机元件分割系统被配置为定义电机内环轮轴截面、中环主体电机截面、外环外壳截面的区域范围并对所述电机图像执行分割算法，生成轮轴震动序列、所述电机震动序列和所述外壳震动序列；

所述多模态数据构建系统被配置为对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理及归一化，生成双模态数据组；

所述机器视觉系统被配置为利用所述双模态数据组构建三维残差卷积神经网络，所述机器视觉系统对所述双模态数据组进行特征提取和融合。

进一步地，所述多模态数据构建系统通过图像增强算法生成包含高维语义信息的第一数据，通过SRM滤波算法生成包含高频异常信息的第二数据，所述双模态数据组被配置为包括所述第一数据和所述第二数据。

进一步地，所述机器视觉系统包括状态编码模块、特征融合模块和正交损失模块。

进一步地，所述状态编码模块被配置为分别对高频及低频的语义异常进行特征提取。

进一步地，所述正交损失模块被配置为对所提取的特征进行正交限制，通过添加正交损失函数，保证高频和低频两部分特征的高度独立性。

进一步地，所述特征融合模块被配置为对提取的特征进行通道维度的特征拼接，以及对拼接后的特征进行自监督注意力学习，完成特征的带权融合。

与现有技术方案相比，本发明的技术效果在于：

1.解放了人力,实现了对电机产品的自动化质量检测与预测系统。

2.对于传统人为检测无法感知的震动缺陷,通过对电机器件进行区域性分割,实现对轮轴振动异常信息的多层次检测,完成了外部缺陷检测与震动缺陷检测的统一。

3.构建了通用的电机缺陷检测方法,可以适应不同厂家不同批次的工艺流水线,进一步降低了检测成本。

4.不仅可以对非合格电机产品进行检测,同时可以做到对潜在的高风险产品进行预测,提升了生产的整体质量水平。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的系统架构图；

图2是本发明的一个较佳实施例的电机元件分割系统功能示意图；

图3是本发明的一个较佳实施例的图像序列分割区域示意图；

图4是本发明的一个较佳实施例的多模态数据构建系统架构图；

图5是本发明的一个较佳实施例的机器视觉系统架构图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，一种电机轮轴震动异常检测与预测系统，包括：视觉采集系统、服务器、电机元件分割系统、多模态数据构建系统和机器视觉系统。所述电机元件分割系统、所述多模态数据构建系统和所述机器视觉系统被配置为运行在所述服务器；所述视觉采集系统被配置为从不同方位采集电机图像。

在本发明的一个实施例中，视觉采集系统包括有三台120fps工业相机、第一通信设备，工业相机与第一通信设备电连接，第一通信设备与数据库系统电连接。该视觉采集系统的主要任务有两个:第一,完成对电机轮轴震动的实时监控,将数据保存至数据库系统中以供后续模块使用；第二,对电机的主视图、俯视图、左视图分别进行图像序列的采集,消除检测死角的问题。

电机元件分割系统被配置为定义电机内环轮轴截面、中环主体电机截面、外环外壳截面的区域范围并对所述电机图像执行分割算法，生成轮轴震动序列、所述电机震动序列和所述外壳震动序列。

如图2所示，电机元件分割系统是集成在服务器端的长期运行实时进程，主要任务是定义电机内环轮轴、中环主体电机、外环外壳的区域范围，并对电机图像执行相应的分割算法,实现对不同部位电机图像序列的单独处理，生成不同部位的电机震动图像序列，即生成生成轮轴震动序列、所述电机震动序列和所述外壳震动序列，以供后续的多模态数据构建系统使用。

具体来说，如图3所示，内环轮轴的区域范围是指以轮轴为中心，以D为直径的圆形侧面区域及以D为宽以L+E为长的矩形正俯面区域。中环主体电机的区域范围是指以轮轴为中心，以R2为半径的侧面区域及以N为宽以L+E为长的矩形正俯面区域。外环外壳的区域范围是指以轮轴为中心，以R1为半径的侧面区域及以D2为宽以L+E为长的矩形正俯面区域。

多模态数据构建系统被配置为对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理及归一化，生成双模态数据组。如图4所示，多模态数据构建系统是集成在服务器端的长期运行实时进程，主要任务是将电机元件分割系统所获得的原始视频序列通过数据预处理，通过图像增强算法生成包含高维语义信息的第一数据，通过SRM滤波算法生成包含高频异常信息的第二数据。使双模态数据组被配置为包括所述第一数据和所述第二数据。这样，就能同时对缺陷引起的电机轮轴震动异常和外部缺陷引起的裂纹、凹陷等进行检测。

如图5所示，机器视觉系统是集成在多模态数据构建系统后端的长期运行实时进程,包含状态编码模块、特征融合模块和正交损失模块。机器视觉系统的主要任务是将双模态数据的特征进行抽取和融合,使得双模态特征可同时用于对电机外部缺陷及轮轴震动异常的判别与预测。

其中，状态编码模块被配置为分别对高频及低频的语义异常进行特征提取。正交损失模块被配置为对所提取的特征进行正交限制，通过添加正交损失函数，保证高频和低频两部分特征的高度独立性。特征融合模块被配置为对提取的特征进行通道维度的特征拼接，以及对拼接后的特征进行自监督注意力学习，完成特征的带权融合。

具体算法流程是:

(1)构建双模态3D卷积神经网络，分别对高频及低频的语义异常进行提取。

(2)对双模态网络的特征进行正交限制，即添加正交损失函数，保证两部分特征的高度独立性。

(3)对双模态构建的特征进行通道维度的特征拼接。

(4)对拼接后的特征进行自监督注意力学习,完成特征的带权融合。

其中高频语义异常保证了网络对微小频域异常的敏感,使得模型对于电机轮轴震动特征更加敏感；低频语义异常负责图像级别语义信息在时序上的构建,使得模型对于高层语义特征变化(外部缺陷)同样敏感；正交损失模块完成了多模态网络特征独立性的学习,使得网络表示能力进一步增强；整个状态编码模块保证了网络不仅对当前异常信息敏感,同时可以结合以往数据对未来异常进行预测。

此外，在特征融合模块后端还集成有一个输出模块系统，它也是一个长期运行实时进程,主要任务是对融合后特征进行判别输出,该部分主要包含较少的浅层卷积神经网络及全连接层，负责对异常进行判别及预测。

本发明所提电机异常检测与预测方法包括以下步骤：

步骤1、通过视觉采集系统采集位于检测平台上电机的主视图、俯视图和左视图，获得图像序列。具体包括以下内容。

如图1所示，通过视觉采集系统A系统采集检测平台上第一检测工位的电机图像,包括电机外部细节图像和电机轮轴震动序列图像。其中，第一工位面阵相机采集电机图像要注意以下几个方面。

(1)面阵相机的参数选择要合理，根据拍摄场景的大小，以及检测精度来确定相机规格。

(2)面阵相机的曝光时间t设置：检测平台为封闭机床，电机以额定功率运行并产生震动，相机在拍摄时与电机之间存在相对运动，要根据电机的震动频率来设置曝光时间，保证拍摄的照片清晰，没有拖影。

(3)面阵相拍照方式采用传感器触发方式。

(4)为保证外部缺陷及震动缺陷检测的准确性，镜头采用远心镜头，电机平放在检测平台上，相机置于工件上方采集图像。

(5)光源采用环形无影光和平行背光源组合打光。环形无影光置于工件上方，平行背光源置于检测平台工业相机的对侧。

类似地，通过视频采集B系统采集检测平台上第二检测工位的电机图像，其中，第二工位面阵相机采集电机图像要注意以下几个方面：

(1)面阵相机的参数选择要合理，参照前述方式选择。

(2)面阵相机的曝光时间t的设置参照前述方式设置。

(3)面阵相拍照方式采用传感器触发方式。

(4)为保证电机轮轴壁及外壳相关震动缺陷检测的完整性，镜头采用内360度镜头，磁环水平放在检测平台上，相机置于工件左方采集图像。

(5)光源采用环形无影光和平行背光源组合打光。环形无影光置于工件左方，平行背光源置于工业相机对侧。

类似地，通过视频采集C系统采集检测平台上第三检测工位的电机图像，其中，第三工位面阵相机采集电机图像要注意以下几个方面：

(1)面阵相机的参数选择要合理，参照前述方式选择。

(2)面阵相机的曝光时间t的设置参照前述方法设置。

(3)面阵相拍照方式采用传感器触发方式。

(4)光源采用环形无影光和平行背光源组合打光。环形无影光置于工件工业相机对侧，平行背光源置于工件上方。

步骤2、针对所述图像序列，首先定位电机轮轴中心；然后切分出电机内环轮轴截面区域，获得轮轴震动序列；切分出电机中环主体电机截面区域，获得电机震动序列；切分出电机外环外壳截面区域，获得外壳震动序列。具体包括以下内容：

对于视觉采集系统A系统采集的电机图像，如图2和图3所示，首先定位电机轮轴中心,以D为宽以L+E为长的矩形俯面区域切分出电机内环轮轴区域，从而获得轮轴震动序列。定位电机轮轴中心以N为宽以L+E为长的矩形俯面区域切分出中环主体电机区域，获得电机震动序列。定位电机轮轴中心以D2为宽以L+E为长的矩形俯面区域切分出外环外壳区域，获得外壳震动序列。

对于视觉采集系统B系统采集的电机图像，如图2和图3所示，首先定位电机轮轴中心,以轮轴为中心以D为直径的圆形侧面区域切分出电机内环轮轴区域,从而获得轮轴震动序列。以轮轴为中心以R2为半径的侧面区域切分出中环主体电机区域,获得电机震动序列。以轮轴为中心以R1为半径的侧面区域切分出外环外壳区域,获得外壳震动序列。

对于视觉采集系统C系统采集的电机图像，如图2和图3所示，首先定位电机轮轴中心,以D为宽以L+E为长的矩形正面区域切分出电机内环轮轴区域，从而获得轮轴震动序列。定位电机轮轴中心以N为宽以L+E为长的矩形正面区域切分出中环主体电机区域，获得电机震动序列。定位电机轮轴中心以D2为宽以L+E为长的矩形正面区域切分出外环外壳区域，获得外壳震动序列。

步骤3、针对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理以及归一化，生成归一化的双模态数据组。具体包可以以下内容：

对于视觉采集系统A系统采集的电机图像经步骤2处理后得到的轮轴震动序列、电机震动序列和外壳震动序列进行多模态数据构建。首先对电机垂直方向最外层外轮廓进行检测，对检测到的图像轮廓进行相隔2帧为间隔的连续16帧1.3倍最小外包含策略剪切，得到电机轮廓及震动幅度内背景。再利用获得的连续16帧图像构建视频序列,分别通过图像增强算法及SRM滤波算法生成语义信息及高频异常的双模态数据组。最后对得到的双模态数据组数据进行归一化,做法为将数据分布以0均值1方差为规范进行高斯投影。

对于视觉采集系统B系统采集的电机图像经步骤2处理后得到的轮轴震动序列、电机震动序列和外壳震动序列进行多模态数据构建。首先对电机水平方向最外层外轮廓进行检测，对检测到的图像轮廓进行相隔2帧为间隔的连续16帧1.3倍最小外包含策略剪切，得到电机轮廓及震动幅度内背景。对于电机左侧区域，由于角度平行于轮轴,可以感知更大程度的周期性震动,因而对原图进行对比度增强,强化内轮轴与外轮廓的边界,增强震动信息对比。利用获得的连续16帧图像构建视频序列,分别通过图像增强算法及SRM滤波算法生成语义信息及高频异常的双模态数据组。对得到的双模态数据组数据进行归一化,做法为将数据分布以0均值1方差为规范进行高斯投影。

对于视觉采集系统C系统采集的电机图像经步骤2处理后得到的轮轴震动序列、电机震动序列和外壳震动序列进行多模态数据构建。首先对电机垂直方向最外层外轮廓进行检测，对检测到的图像轮廓进行相隔2帧为间隔的连续16帧1.3倍最小外包含策略剪切，得到电机轮廓及震动幅度内背景。利用获得的连续16帧图像构建视频序列,分别通过图像增强算法及SRM滤波算法生成语义信息及高频异常的双模态数据组。对得到的双模态数据组数据进行归一化,做法为将数据分布以0均值1方差为规范进行高斯投影。

步骤4、利用前面得到的全部双模态数据组构建三维残差卷积神经网络。

步骤4包括：

步骤4.1、以所述三维残差卷积神经网络为主网络架构，构建双通路神经网络，两个通路分别对应于所述高频信息的特征提取和所述语义信息的特征提取；

步骤4.2、对于不同模态的特征，将输出层特征进行点乘求平方和操作，执行特征独立性损失惩罚，以对不同通路的多模态特征做相关性限制；

步骤4.3、对双通路特征进行通道维度拼接以实现特征融合；

步骤4.4、对融合后的特征进行单层卷积神经网络，后接全局均值池化降维，生成注意力表示，完成对不同维度特征的权重学习。

步骤5、利用步骤4中构建的三维残差卷积神经网络的特征表示，得到所述电机的外部缺陷和震动缺陷的检测结果与预测结果。具体为：对于特征融合模块生成的带权特征通过单层卷积神经网络及单层全连接网络,输出判别与预测任务上的连续输出。其中，判别输出,即对当前元器件的异常情况进行判别。预测输出,即对未来可能存在的异常进行相应的概率预测。

另外，本发明针对电机生产行业质量在线实时监测的需要，利用计算机视觉技术，实现了对电机质量的在线实时监测，具有维护操作简便、速度快、可靠性强等优点，特别是针对生产线上生产的不同规格类型的电机，都可以满足检测要求。实现一套设备，全套产品质量检测的需求。稳定的光源系统，保证先进的图像处理算法真正的应用于工程实践中。

综上，本发明技术方案中的多模态数据构建系统对原本图像级别数据进行高频信息及语义信息的单独处理和存储,实现对电机外部缺陷和震动缺陷的统一检测方法。输出模块通过神经网络结合电机外部缺陷信息及震动缺陷信息实现对合格电机产品的潜在故障风险预测,为产品质量水平的提升把关。状态编码模块的正交损失限制及特征融合模块的通道级别注意力机制实现了双模态网络的独立性先验及有权重融合。电机元件分割系统将异常震动检测划分为多层次检测流程,实现了更加精确与具体的检测目标。

本发明所提技术方案集成了先进的时序异常检测算法，能在电机生产流水线生产过程中进行检测并对未来可能存在问题的短寿命产品进行预测，早期发现缺陷部分，对不良产品进行自动分拣归类处理。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种电机轮轴震动异常检测与预测方法，其特征在于，包括：

步骤1、通过视觉采集系统采集位于检测平台上电机的主视图、俯视图和左视图，获得图像序列；

步骤2、针对所述图像序列，首先定位电机轮轴中心；然后切分出电机内环轮轴截面区域，获得轮轴震动序列；切分出电机中环主体电机截面区域，获得电机震动序列；切分出电机外环外壳截面区域，获得外壳震动序列；

步骤3、针对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理以及归一化，生成归一化的双模态数据组；

步骤4、利用所述双模态数据组构建三维残差卷积神经网络；

步骤5、利用所述三维残差卷积神经网络的特征表示，得到所述电机的外部缺陷和震动缺陷的检测结果与预测结果。

2.如权利要求1所述的电机轮轴震动异常检测与预测方法，其特征在于，所述步骤3包括：

步骤3.1、对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列的图像进行相隔2帧为间隔的连续16帧1.3倍最小外包含策略剪切，得到电机外部轮廓及震动幅度内背景；

步骤3.2：利用步骤3.1中获得的多个连续16帧图像构建视频序列，通过图像增强算法生成包含高维语义信息的第一数据，通过SRM滤波算法生成包含高频异常信息的第二数据，将所述双模态数据组配置为包括所述第一数据和所述第二数据；

步骤3.3：将所述第一数据和所述第二数据的数据分布以0均值1方差为规范进行高斯投影，以对所述双模态数据组的数据进行归一化。

3.如权利要求1所述的电机轮轴震动异常检测与预测方法，其特征在于，所述步骤4包括：

步骤4.1、以所述三维残差卷积神经网络为主网络架构，构建双通路神经网络，两个通路分别对应于所述高频信息的特征提取和所述语义信息的特征提取；

步骤4.2、对于不同模态的特征，将输出层特征进行点乘求平方和操作，执行特征独立性损失惩罚，以对不同通路的多模态特征做相关性限制；

步骤4.3、对双通路特征进行通道维度拼接以实现特征融合；

步骤4.4、对融合后的特征进行单层卷积神经网络，后接全局均值池化降维，生成注意力表示，完成对不同维度特征的权重学习。

4.如权利要求1所述的电机轮轴震动异常检测与预测方法，其特征在于，所述步骤5包括：对于特征融合后生成的带权重特征通过单层卷积神经网络及单层全连接网络，得到判别输出和预测输出；所述判别输出包括对当前元器件的异常情况进行判别；所述预测输出包括对未来可能存在的异常进行相应的概率预测。

5.一种电机轮轴震动异常检测与预测系统，其特征在于，包括：

视觉采集系统、服务器、电机元件分割系统、多模态数据构建系统和机器视觉系统；

所述视觉采集系统包括工业相机与通信设备，所述工业相机与所述通信设备电连接；

所述电机元件分割系统、所述多模态数据构建系统和所述机器视觉系统被配置为运行在所述服务器；

所述视觉采集系统被配置为从不同方位采集电机图像；

所述电机元件分割系统被配置为定义电机内环轮轴截面、中环主体电机截面、外环外壳截面的区域范围并对所述电机图像执行分割算法，生成轮轴震动序列、所述电机震动序列和所述外壳震动序列；

所述多模态数据构建系统被配置为对所述轮轴震动序列、所述电机震动序列和所述外壳震动序列进行数据预处理及归一化，生成双模态数据组；

所述机器视觉系统被配置为利用所述双模态数据组构建三维残差卷积神经网络，所述机器视觉系统对所述双模态数据组进行特征提取和融合。

6.如权利要求1所述的电机轮轴震动异常检测与预测系统，其特征在于，所述多模态数据构建系统通过图像增强算法生成包含高维语义信息的第一数据，通过SRM滤波算法生成包含高频异常信息的第二数据，所述双模态数据组被配置为包括所述第一数据和所述第二数据。

7.如权利要求1所述的电机轮轴震动异常检测与预测系统，其特征在于，所述机器视觉系统包括状态编码模块、特征融合模块和正交损失模块。

8.如权利要求7所述的电机轮轴震动异常检测与预测系统，其特征在于，所述状态编码模块被配置为分别对高频及低频的语义异常进行特征提取。

9.如权利要求7所述的电机轮轴震动异常检测与预测系统，其特征在于，所述正交损失模块被配置为对所提取的特征进行正交限制，通过添加正交损失函数，保证高频和低频两部分特征的高度独立性。

10.如权利要求7所述的电机轮轴震动异常检测与预测系统，其特征在于，所述特征融合模块被配置为对提取的特征进行通道维度的特征拼接，以及对拼接后的特征进行自监督注意力学习，完成特征的带权融合。

Images