CN115222798A - 车辆加工状态监测系统及其方法 - Google Patents

车辆加工状态监测系统及其方法 Download PDF

Info

Publication number
CN115222798A
CN115222798A CN202210813111.9A CN202210813111A CN115222798A CN 115222798 A CN115222798 A CN 115222798A CN 202210813111 A CN202210813111 A CN 202210813111A CN 115222798 A CN115222798 A CN 115222798A
Authority
CN
China
Prior art keywords
feature
image
decoding
plasma
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210813111.9A
Other languages
English (en)
Inventor
李玮涛
沈琦超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Chaoyang Technology Co ltd
Original Assignee
Hangzhou Chaoyang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Chaoyang Technology Co ltd filed Critical Hangzhou Chaoyang Technology Co ltd
Priority to CN202210813111.9A priority Critical patent/CN115222798A/zh
Publication of CN115222798A publication Critical patent/CN115222798A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及智能制造的领域，其具体地公开了一种车辆加工状态监测系统及其方法，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。

Description

车辆加工状态监测系统及其方法
技术领域
本发明涉及智能制造的领域，且更为具体地，涉及一种车辆加工状态监测系统及其方法。
背景技术
变厚截面材料是实现汽车轻量化的主选材料之一,同时激光焊接作为车用材料的连接技术广泛应用于汽车行业。由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，期待一种用于车辆加工状态的间接监测方案，以对激光焊接的实时熔透状态进行监控。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展，尤其是卷积神经网络的发展，为车辆加工状态的间接监测提供了新的解决思路和方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆加工状态监测系统及其方法，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。
根据本申请的一个方面，提供了一种车辆加工状态监测系统，其包括：
等离子体图像获取单元，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
图像编码单元，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
形貌特征提取单元，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
形貌特征编码单元，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
特征融合单元，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；
特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及
解码单元，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
在上述车辆加工状态监测系统中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
在上述车辆加工状态监测系统中，所述图像编码单元，包括：浅层特征提取子单元，用于从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；深层特征提取子单元，用于从所述第一卷积神经网络的最后一层提取深层特征向量；深浅融合子单元，用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
在上述车辆加工状态监测系统中，所述特征融合单元，进一步用于使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000021
其中，
Figure BDA0003740038430000022
为所述解码特征矩阵，Vf表示所述图像特征向量，且Vs表示所述形貌特征向量。
在上述车辆加工状态监测系统中，所述特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000031
其中mi，j表示所述解码特征矩阵中各个位置的特征值，
Figure BDA0003740038430000032
表示所述解码特征矩阵中所有位置的特征值的集合。
在上述车辆加工状态监测系统中，所述解码单元，进一步用于使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；其中，所述公式为：
Figure BDA0003740038430000033
其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，
Figure BDA0003740038430000034
表示矩阵乘。
根据本申请的另一方面，一种车辆加工状态监测方法，其包括：
通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；
基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及
将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
在上述车辆加工状态监测方法中，将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量，包括：所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
在上述车辆加工状态监测方法中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量，包括：从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；从所述第一卷积神经网络的最后一层提取深层特征向量；以及，计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
在上述车辆加工状态监测方法中，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵，包括：使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000041
其中，
Figure BDA0003740038430000042
为所述解码特征矩阵，Vf表示所述图像特征向量，且Vs表示所述形貌特征向量。
在上述车辆加工状态监测方法中，基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵，包括：基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000043
其中mi，j表示所述解码特征矩阵中各个位置的特征值，
Figure BDA0003740038430000044
表示所述解码特征矩阵中所有位置的特征值的集合。
在上述车辆加工状态监测方法中，将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，包括：使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；其中，所述公式为：
Figure BDA0003740038430000045
Figure BDA0003740038430000046
其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，
Figure BDA0003740038430000047
表示矩阵乘。
与现有技术相比，本申请提供的车辆加工状态监测系统及其方法，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的车辆加工状态监测系统的应用场景图。
图2为根据本申请实施例的车辆加工状态监测系统的框图。
图3为根据本申请实施例的车辆加工状态监测系统中图像编码单元的框图。
图4为根据本申请实施例的车辆加工状态监测方法的流程图。
图5为根据本申请实施例的车辆加工状态监测方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，变厚截面材料是实现汽车轻量化的主选材料之一,同时激光焊接作为车用材料的连接技术广泛应用于汽车行业。由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，期待一种用于车辆加工状态的间接监测方案，以对激光焊接的实时熔透状态进行监控。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展，尤其是卷积神经网络的发展，为车辆加工状态的间接监测提供了新的解决思路和方案。
相应地，考虑到在车辆激光焊接的过程中，由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，在本申请的技术方案中，本申请发明人尝试利用基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测。
具体地，首先通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像。卷积神经网络模型在图像特征提取方面具有优异表现，因此，在本申请的技术方案中，使用卷积神经网络模型对所述等离子体的可见光图像进行编码。在本申请的技术方案中，熔透状态直接表现于等离子的图形外观上(包括其宽度、形状和纹理等)，卷积神经网络在特征提取的过程中，随着其深度的加深，浅层的形状、纹理等特征的鲁棒性会降低，而如果仅从卷积神经网络的浅层提取浅层特征，其无法表示更为抽象的对象等特征，导致无法与等离子体图像中的背景部分做区分。因此，在本申请的技术方案中，采用深-浅层特征融合的思路来改造所述卷积神经网络模型。
具体地，在使用卷积神经网络模型对所述等离子体的可见光图像进行编码以得到图像特征向量的过程中，首先从所述卷积神经网络的浅层提取出浅层特征向量(这里，所述浅层指的是第一层至第六层)，并从所述卷积神经网络的深层提取深层特征向量(例如，所述卷积神经网络的最后一层)，然后，通过融合所述浅层特征向量和所述深层特征向量以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征向量的提取位置由所述卷积神经网络的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络的第3层，当网络深度是40时，从所述卷积神经网络的第4层，对此，并不为本申请所局限。同样地，所述深层特征向量的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
为了进一步地强化所述图像特征向量中关于等离子体形貌特征的表达，在本申请的技术方案中，采用跨模态联合编码的思路来对本申请的技术方案进行优化。具体地，首先通过传统的图像统计与分析方法从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积。然后，将所述用于表示所述等离子体的形貌特征的参数通过序列编码器以生成形貌特征向量，所述形貌特征向量用于表示基于所述等离子体的形貌特征的参数生成的高维形貌特征表示。
在本申请实施例中，所述序列编码器为包含嵌入层的Bert模型，其中，所述嵌入层的作用在于将各个所述等离子体的形貌特征的参数转化为嵌入向量以得到嵌入向量的序列，所述Bert模型的作用为对所述嵌入向量的序列进行基于全局的上下文语义编码以得到多个特征向量，最终将所述多个特征向量进行级联以得到所述形貌特征向量。
然后，使用Clip模型对所述图像特征向量和所述形貌特征向量进行联合编码以通过所述形貌特征向量所包含的高维形貌特征表示改变所述图像特征向量中对图像属性数据的编码以进一步地强化所述图像特征向量中关于等离子体形貌特征的表达以得到解码特征矩阵。
在通过CLIP模型对图像语义进行编码和对参数进行上下文编码并将编码后的特征向量进行互相关以得到解码特征矩阵时，由于按位置互相关会导致特征局部性，因此对于解码特征矩阵进行修正，表示为：
Figure BDA0003740038430000071
其中
Figure BDA0003740038430000072
表示特征矩阵的特征值集合。
这样，可以通过围绕信息语义的最小化损失引入鲁棒性，来提升特征局部相当于特征整体的聚类性能，这样，在迭代过程中，就可以减少由于参数调整导致的对于期望特征的依赖性发散，提升了解码特征矩阵对于图像语义和参数上下文语义的联合表征能力。这样，提高后续解码回归的准确度，即，提高对车辆加工状态监测的准确度。
基于此，本申请提出了一种车辆加工状态监测系统，其包括：等离子体图像获取单元，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；图像编码单元，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；形貌特征提取单元，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；形貌特征编码单元，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；特征融合单元，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及，解码单元，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
图1图示了根据本申请实施例的车辆加工状态监测系统的应用场景图。如图1所示，在该应用场景中，首先，通过部署于车辆激光焊接设备(例如，如图1中所示意的T)中的相机(例如，如图1中所示意的C)获取激光焊接车用材料过程中产生的等离子体的可见光图像。然后，将所述等离子体的可见光图像输入至部署有车辆加工状态监测算法的服务器中(例如，如图1中所示意的云服务器S)，其中，所述服务器能够以车辆加工状态监测算法对所述等离子体的可见光图像进行处理，以生成用于表示激光焊接的熔融深度的解码值。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的车辆加工状态监测系统的框图。如图2所示，根据本申请实施例的车辆加工状态监测系统200，包括：等离子体图像获取单元210，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；图像编码单元220，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；形貌特征提取单元230，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；形貌特征编码单元240，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；特征融合单元250，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；特征矩阵校正单元260，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及，解码单元270，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
具体地，在本申请实施例中，所述等离子体图像获取单元210和所述图像编码单元220，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像，并将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量。如前所述，应可以理解，考虑到在车辆激光焊接的过程中，由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，在本申请的技术方案中，利用基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测。
也就是，具体地，在本申请的技术方案中，首先，通过部署于激光焊接设备中的相机获取激光焊接车用材料过程中产生的等离子体的可见光图像。应可以理解，考虑到卷积神经网络模型在图像特征提取方面具有优异表现，因此，在本申请的技术方案中，使用卷积神经网络模型对所述等离子体的可见光图像进行编码。但是，在本申请的技术方案中，熔透状态直接表现于等离子的图形外观上(包括其宽度、形状和纹理等)，卷积神经网络在特征提取的过程中，随着其深度的加深，浅层的形状、纹理等特征的鲁棒性会降低，而如果仅从所述卷积神经网络的浅层提取浅层特征，其无法表示更为抽象的对象等特征，导致无法与等离子体图像中的背景部分做区分。因此，在本申请的技术方案中，采用深-浅层特征融合的思路来改造所述卷积神经网络模型。
更具体地，在本申请实施例中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。特别地，在使用所述卷积神经网络模型对所述等离子体的可见光图像进行编码以得到图像特征向量的过程中，首先从所述第一卷积神经网络的浅层提取出浅层特征向量，特别地，这里，所述浅层指的是第一层至第六层，并且，从所述第一卷积神经网络的深层提取深层特征向量，例如，所述卷积神经网络的最后一层。相应地，在一个具体示例中，所述浅层特征向量和所述深层特征向量的提取过程，包括：首先卷积层的各层使用卷积单元对输入数据进行卷积处理以得到卷积特征图；然后，对卷积特征图进行基于特征矩阵的全局均值池化处理以得到池化特征向量；接着，对池化特征向量进行非线性激活以得到激活特征向量，其中，对应层的激活特征向量为所述浅层特征向量或深层特征向量。
然后，通过融合所述浅层特征向量和所述深层特征向量以得到包含浅层特征和深层特征的特征表示。在一个具体示例中，可以计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。在具体编码过程中，所述浅层特征向量的提取位置由所述卷积神经网络的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络的第3层，当网络深度是40时，从所述卷积神经网络的第4层，对此，并不为本申请所局限。同样地，所述深层特征向量的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
图3图示了根据本申请实施例的车辆加工状态监测系统中图像编码单元的框图。如图3所示，所述图像编码单元220，包括：浅层特征提取子单元221，用于从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；深层特征提取子单元222，用于从所述第一卷积神经网络的最后一层提取深层特征向量；深浅融合子单元223，用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
具体地，在本申请实施例中，所述形貌特征提取单元230和所述形貌特征编码单元240，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积，并将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量。应可以理解，为了进一步地强化所述图像特征向量中关于等离子体形貌特征的表达，在本申请的技术方案中，采用跨模态联合编码的思路来对本申请的技术方案进行优化。具体地，首先通过传统的图像统计与分析方法从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积。然后，将所述用于表示所述等离子体的形貌特征的参数通过序列编码器以生成形貌特征向量，所述形貌特征向量用于表示基于所述等离子体的形貌特征的参数生成的高维形貌特征表示。
更具体地，在本申请实施例中，所述序列编码器为包含嵌入层的Bert模型，其中，所述嵌入层的作用在于将各个所述等离子体的形貌特征的参数转化为嵌入向量以得到嵌入向量的序列，所述Bert模型的作用为对所述嵌入向量的序列进行基于全局的上下文语义编码以得到多个特征向量，最终将所述多个特征向量进行级联以得到所述形貌特征向量。
具体地，在本申请实施例中，所述特征融合单元250和所述特征矩阵校正单元260，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵，并基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵。也就是，在本申请的技术方案中，进一步使用Clip模型对所述图像特征向量和所述形貌特征向量进行联合编码以通过所述形貌特征向量所包含的高维形貌特征表示改变所述图像特征向量中对图像属性数据的编码以进一步地强化所述图像特征向量中关于等离子体形貌特征的表达以得到解码特征矩阵。但是，在通过CLIP模型对所述图像语义进行编码和对所述参数进行上下文编码并将编码后的特征向量进行互相关以得到解码特征矩阵时，由于按位置互相关会导致特征局部性，因此，在本申请的技术方案中，还需要对于所述解码特征矩阵进行修正。
相应地，在一个具体示例中，所述特征融合单元，进一步用于：使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000111
其中，
Figure BDA0003740038430000112
为所述解码特征矩阵，Vf表示所述图像特征向量，且Vs表示所述形貌特征向量。
更具体地，在本申请实施例中，所述特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；
其中，所述公式为：
Figure BDA0003740038430000121
其中mi，j表示所述解码特征矩阵中各个位置的特征值，
Figure BDA0003740038430000122
表示所述解码特征矩阵中所有位置的特征值的集合。应可以理解，这样，可以通过围绕信息语义的最小化损失引入鲁棒性，来提升特征局部相当于特征整体的聚类性能，这样，在迭代过程中，就可以减少由于参数调整导致的对于期望特征的依赖性发散，提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力。这样，提高后续解码回归的准确度，即，提高对车辆加工状态监测的准确度。
具体地，在本申请实施例中，所述解码单元270，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。也就是，在本申请的技术方案中，在得到所述校正后解码特征矩阵后，进一步将其通过解码器中进行解码回归，以得到用于表示激光焊接的熔融深度的解码值。在一个具体示例中，使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；其中，所述公式为：
Figure BDA0003740038430000123
其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，
Figure BDA0003740038430000124
表示矩阵乘。应可以理解，使用全连接层来构建解码器，所述解码器的全连接层能够充分利用所述解码特征矩阵中各个位置信息以提高解码精度。
综上，基于本申请实施例的所述车辆加工状态监测系统200被阐明，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。
如上所述，根据本申请实施例的车辆加工状态监测系统200可以实现在各种终端设备中，例如车辆加工状态监测算法的服务器等。在一个示例中，根据本申请实施例的车辆加工状态监测系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该车辆加工状态监测系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该车辆加工状态监测系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该车辆加工状态监测系统200与该终端设备也可以是分立的设备，并且该车辆加工状态监测系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了车辆加工状态监测方法的流程图。如图4所示，根据本申请实施例的车辆加工状态监测方法，包括步骤：S110，通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；S120，将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；S130，从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；S140，将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；S150，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；S160，基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及，S170，将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
图5图示了根据本申请实施例的车辆加工状态监测方法的架构示意图。如图5所示，在所述车辆加工状态监测方法的网络架构中，首先，将获得的所述等离子体的可见光图像(例如，如图5中所示意的P1)通过Clip模型的图像编码器(例如，如图5中所示意的E1)以获得图像特征向量(例如，如图5中所示意的VF1)；接着，从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数(例如，如图5中所示意的P2)；然后，将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器(例如，如图5中所示意的E2)以生成形貌特征向量(例如，如图5中所示意的VF2)；接着，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵(例如，如图5中所示意的MF)；然后，基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵(例如，如图5中所示意的M)；以及，最后，将所述校正后解码特征矩阵通过解码器(例如，如图5中所示意的D)进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
更具体地，在步骤S110和步骤S120中，通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像，并将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量。应可以理解，考虑到在车辆激光焊接的过程中，由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，在本申请的技术方案中，利用基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测。
也就是，具体地，在本申请的技术方案中，首先，通过部署于激光焊接设备中的相机获取激光焊接车用材料过程中产生的等离子体的可见光图像。应可以理解，考虑到卷积神经网络模型在图像特征提取方面具有优异表现，因此，在本申请的技术方案中，使用卷积神经网络模型对所述等离子体的可见光图像进行编码。但是，在本申请的技术方案中，熔透状态直接表现于等离子的图形外观上(包括其宽度、形状和纹理等)，卷积神经网络在特征提取的过程中，随着其深度的加深，浅层的形状、纹理等特征的鲁棒性会降低，而如果仅从所述卷积神经网络的浅层提取浅层特征，其无法表示更为抽象的对象等特征，导致无法与等离子体图像中的背景部分做区分。因此，在本申请的技术方案中，采用深-浅层特征融合的思路来改造所述卷积神经网络模型。
更具体地，在本申请实施例中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。特别地，在使用所述卷积神经网络模型对所述等离子体的可见光图像进行编码以得到图像特征向量的过程中，首先从所述第一卷积神经网络的浅层提取出浅层特征向量，特别地，这里，所述浅层指的是第一层至第六层，并且，从所述第一卷积神经网络的深层提取深层特征向量，例如，所述卷积神经网络的最后一层。相应地，在一个具体示例中，所述浅层特征向量和所述深层特征向量的提取过程，包括：首先卷积层的各层使用卷积单元对输入数据进行卷积处理以得到卷积特征图；然后，对卷积特征图进行基于特征矩阵的全局均值池化处理以得到池化特征向量；接着，对池化特征向量进行非线性激活以得到激活特征向量，其中，对应层的激活特征向量为所述浅层特征向量或深层特征向量。
然后，通过融合所述浅层特征向量和所述深层特征向量以得到包含浅层特征和深层特征的特征表示。在一个具体示例中，可以计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。在具体编码过程中，所述浅层特征向量的提取位置由所述卷积神经网络的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络的第3层，当网络深度是40时，从所述卷积神经网络的第4层，对此，并不为本申请所局限。同样地，所述深层特征向量的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
更具体地，在步骤S130和S140中，从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积，并将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量。应可以理解，为了进一步地强化所述图像特征向量中关于等离子体形貌特征的表达，在本申请的技术方案中，采用跨模态联合编码的思路来对本申请的技术方案进行优化。具体地，首先通过传统的图像统计与分析方法从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积。然后，将所述用于表示所述等离子体的形貌特征的参数通过序列编码器以生成形貌特征向量，所述形貌特征向量用于表示基于所述等离子体的形貌特征的参数生成的高维形貌特征表示。
更具体地，在步骤S150和步骤S160中，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵，并基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵。也就是，在本申请的技术方案中，进一步使用Clip模型对所述图像特征向量和所述形貌特征向量进行联合编码以通过所述形貌特征向量所包含的高维形貌特征表示改变所述图像特征向量中对图像属性数据的编码以进一步地强化所述图像特征向量中关于等离子体形貌特征的表达以得到解码特征矩阵。但是，在通过CLIP模型对所述图像语义进行编码和对所述参数进行上下文编码并将编码后的特征向量进行互相关以得到解码特征矩阵时，由于按位置互相关会导致特征局部性，因此，在本申请的技术方案中，还需要对于所述解码特征矩阵进行修正。
更具体地，在步骤S70中，将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。也就是，在本申请的技术方案中，在得到所述校正后解码特征矩阵后，进一步将其通过解码器中进行解码回归，以得到用于表示激光焊接的熔融深度的解码值。在一个具体示例中，使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；其中，所述公式为：
Figure BDA0003740038430000161
其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，
Figure BDA0003740038430000162
表示矩阵乘。应可以理解，使用全连接层来构建解码器，所述解码器的全连接层能够充分利用所述解码特征矩阵中各个位置信息以提高解码精度。
综上，基于本申请实施例的所述车辆加工状态监测方法被阐明，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种车辆加工状态监测系统，其特征在于，包括：
等离子体图像获取单元，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
图像编码单元，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
形貌特征提取单元，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
形貌特征编码单元，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
特征融合单元，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；
特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及
解码单元，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
2.根据权利要求1所述的车辆加工状态监测系统，其中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
3.根据权利要求2所述的车辆加工状态监测方法，其中，所述图像编码单元，包括：
浅层特征提取子单元，用于从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；
深层特征提取子单元，用于从所述第一卷积神经网络的最后一层提取深层特征向量；
深浅融合子单元，用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
4.根据权利要求3所述的车辆加工状态监测系统，其中，所述特征融合单元，进一步用于使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
其中，所述公式为：
Figure FDA0003740038420000021
其中，
Figure FDA0003740038420000022
为所述解码特征矩阵，Vf表示所述图像特征向量，且Vs表示所述形貌特征向量。
5.根据权利要求4所述的车辆加工状态监测系统，其中，所述特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；
其中，所述公式为：
Figure FDA0003740038420000023
其中mi,j表示所述解码特征矩阵中各个位置的特征值，
Figure FDA0003740038420000024
表示所述解码特征矩阵中所有位置的特征值的集合。
6.根据权利要求5所述的车辆加工状态监测系统，其中，所述解码单元，进一步用于使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；
其中，所述公式为：
Figure FDA0003740038420000025
其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，
Figure FDA0003740038420000026
表示矩阵乘。
7.一种车辆加工状态监测方法，其特征在于，包括:
通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；
基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及，
将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
8.根据权利要求7所述的车辆加工状态监测方法，其中，将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量，包括：
所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
9.根据权利要求8所述的车辆加工状态监测方法，其中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量，包括：
从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；
从所述第一卷积神经网络的最后一层提取深层特征向量；以及
计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
10.根据权利要求9所述的车辆加工状态监测方法，其中，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵，包括：
使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
其中，所述公式为：
Figure FDA0003740038420000031
其中，
Figure FDA0003740038420000032
为所述解码特征矩阵，Vf表示所述图像特征向量，且Vs表示所述形貌特征向量。
CN202210813111.9A 2022-07-11 2022-07-11 车辆加工状态监测系统及其方法 Withdrawn CN115222798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210813111.9A CN115222798A (zh) 2022-07-11 2022-07-11 车辆加工状态监测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210813111.9A CN115222798A (zh) 2022-07-11 2022-07-11 车辆加工状态监测系统及其方法

Publications (1)

Publication Number Publication Date
CN115222798A true CN115222798A (zh) 2022-10-21

Family

ID=83612494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210813111.9A Withdrawn CN115222798A (zh) 2022-07-11 2022-07-11 车辆加工状态监测系统及其方法

Country Status (1)

Country Link
CN (1) CN115222798A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827257A (zh) * 2023-02-20 2023-03-21 腾云创威信息科技(威海)有限公司 用于处理器体系的cpu容量预测方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827257A (zh) * 2023-02-20 2023-03-21 腾云创威信息科技(威海)有限公司 用于处理器体系的cpu容量预测方法及其系统

Similar Documents

Publication Publication Date Title
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US8774499B2 (en) Embedded optical flow features
CN107463917B (zh) 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN113297572B (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN113139468B (zh) 融合局部目标特征与全局特征的视频摘要生成方法
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
CN115273244B (zh) 基于图神经网络的人体动作识别方法和系统
CN116025319A (zh) 多介质热流体作业监测系统及其方法
CN115222798A (zh) 车辆加工状态监测系统及其方法
CN114782882A (zh) 基于多模态特征融合的视频目标行为异常检测方法和系统
CN112966747A (zh) 一种基于无锚框检测网络改进的车辆检测方法
CN115235612A (zh) 伺服电机的故障智能诊断系统及其诊断方法
CN114564993A (zh) 基于多源信息融合的疲劳检测系统及其操作方法
CN113343974A (zh) 考虑模态间语义距离度量的多模态融合分类优化方法
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN108805280B (zh) 一种图像检索的方法和装置
CN115115883A (zh) 一种基于多模态特征融合的证照分类方法及系统
CN113610164B (zh) 一种基于注意力平衡的细粒度图像识别方法及其系统
CN113255569B (zh) 一种基于图空洞卷积编码器解码器的3d姿态估计方法
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
CN111274985B (zh) 视频文本识别系统、视频文本识别装置与电子设备
CN112464982A (zh) 基于改进ssd算法的目标检测模型、方法及应用
CN112395974A (zh) 一种基于对象间依赖关系的目标置信度矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221021