CN111008738A - 基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法 - Google Patents

Abstract

本发明公开了一种基于多模态深度学习的Sn‑Bi合金延伸率和抗拉强度的预测方法，属于人工智能领域；本发明方法与现有技术相比，构建的多模态神经网络模型实现了结构化数据与非结构化数据的多模态融合，将卷积神经网络和神经网络进行桥接和融合，提高了模型预测准确率；将深度学习中的卷积神经网络用来进行数据预测；解决了不同配比锡铋系合金在不同试验条件下抗拉强度与延伸率的高准确率预测的问题，本发明方法误差在正负5％‑10％之间，相较于传统的机器学习模型误差的40％‑50％，本发明多模态深度学习模型的准确率有了很大的提高。

Description

基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测 方法

技术领域

本发明涉及一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，属于人工智能领域。

背景技术

多模态深度学习旨在通过深度学习的方法实现处理和理解多源模态信息的能力。随着社会和经济的快速兴起，多模态深度学习已在社会生产中的各个方面有了众多应用，起到了非常瞩目的效果。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。例如：在语音识别中，人类通过合并语音-视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息，可以帮助消除相似语音的歧义，以及通过肢体行为和语音来判断说话者的情绪等等。

目前，针对不同成分合金的属性预测，大多有两种方法，第一种是采用最原始实验的方法，根据不同成分合金的样本来测量合金的各个属性，这种方法不仅费时费力，而且存在不能举一反三，效果单一的缺点；第二种是采用机器学习的方法，多是使用结构化的合金材料信息参数(如不同种合金成分的多少)来进行属性值的预测。但是上述两种方法都不能解决预测参数既有结构化数据也存在非结构化数据的问题。于是根据大量结构化数据与非结构化数据，且在统计学理念基础上，采用多模态交互的深度学习的方法来进行不同成分合金的属性值预测就显得非常重要，并且高效。

发明内容

本发明提供了一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，本方法使用的是多模态深度学习模型，使用结构化的合金材料信息，以及非结构化的合金图像信息进行数据预测，解决了预测数据过于单一、不准确的问题。

本发明基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，步骤如下：

(1)采用光学显微镜和电子显微镜对不同配比的合金材料的微观图像进行采集，并标注不同放大倍数下的图像信息；

(2)通过仪器获取不同配比的合金样本在不同拉伸速率、不同拉伸力下的延伸率和抗压强度，并与步骤(1)图像信息整合，形成若干条合金样本数据；

(3)按4-5:1的比例将上述合金样本数据分为训练集和测试集；

(4)采用pytorch框架进行卷积神经网络和神经网络的编写，并使用python语言编程进行卷积神经网络和神经网络的桥接，从而构建多模态神经网络模型；

本模型中的卷积神经网络用来进行数据的预测；卷积神经网络为RES-152，并删除了RES-152用于进行分类任务的最后一个全链接层。

(5)基于多模态神经网络模型，采用公式y＝ωx+b，以y＝f(x)为预测函数并应用反向传播算法和链式法则进行训练；

y＝σ(z') (1)

z'＝ω₂₁a+b₂ (2)

a＝σ(z) (3)

z＝ω₁₁x₁+ω₁₂x₂+b₁ (4)

公式中：x代表输入的数据，y代表每一层神经网络的输出值，σ为Relu函数，a为经过一层神经网络的输出值，z、z'为神经网络通过ω、b计算后的输出值，ω、b为神经网络模型进行正向传播时的参数，也是训练过程中学习的参数，具体的ω为每个输入数据x的权重，b为进行计算z时的偏置误差；通过多模态神经网络模型实现了非结构化图像数据和结构化材料数据的多模态融合，并使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b；

(6)根据训练学习到的参数ω、b和预测函数f，将待预测合金的微观图像和数据输入多模态神经网络模型，经过多模态神经网络模型计算得到待预测合金的延伸率和抗拉强度预测值。

其中，应用反向传播算法和链式法则进行训练的步骤如下：

①将预处理后的合金材料的图像信息输入至多模态神经网络模型中处理图像的卷积神经网络，提取合金材料微观组织图像中与延伸率和抗拉强度相关的图像特征信息，实现非结构化数据到结构化数据的转变；

②将卷积神经网络提取到的图像特征信息进行处理：1)删除卷积神经网络最后用于分类的全链接层，使得输出数据从原先的一维数组1×Y，其中Y为需要进行分类的类别，调整为多维度矩阵C×M×N，目的是使得卷积神经网络提取出来的信息更加具有用来预测的意义；2)将步骤1)调整后的图像特征信息进行维度变换，调整至与合金材料信息形同的维度1×X，1×X为结构化材料信息的维度，X为信息个数；目的在于使得多元复杂的非结构化图像特征信息，与结构化合金材料信息在相同的数据处理层次；3)将步骤2)调整过的图像特征信息进行大小变化，将卷积神经网络提取出来的信息调整至与下一步的合金材料信息大小相同，目的在于使得图像信息与合金材料信息在进行材料属性值的预测时的权重相同，使得二者的信息在预测时更有意义；

③将上述图像特征信息和合金材料信息进行融合，并输入多模态神经网络模型，再使用链式法则

反向传播算法进行训练，在迭代至误差小于5％后，使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b，其中w、b都为多组多维矩阵；

其中反向传播算法为：

其中l为损失函数：

为偏导数。

所述深度学习训练步骤中用来提取特征值的卷积神经网络与以往的分类任务不同，本模型中的卷积神经网络用来进行数据的预测。

所述深度学习训练步骤中的卷积神经网络为RES-152，并删除了RES-152用于进行分类任务的最后一个全链接层。

所述深度学习训练步骤中卷积神经网络和神经网络的桥接方式为维度统一，大小相同的TENSOR拼接。

所述训练步骤中神经网络的深度为3，采用RELU为激活函数。

所述训练步骤中的损失函数为MSEloss：

其中C为损失函数的值，Q为模型在进行一次迭代训练时的预测值，a^L为真值，n为样本的总数量，S为样本。

本发明与现有技术相比的优点和技术效果：

(1)本发明中的卷积神经网络用于预测而不是分类；

(2)解决了目前机器学习预测合金拉伸性和抗拉强度时，模型中影响学习参数过于单一，以及预测准确率不高等问题。

附图说明

图1是本发明方法流程示意图；

图2是本发明方法及模型的结构示意图；

图3是2000倍光学显微镜采集的图像信息；

图4是训练过程中的损失数据示意图。

具体实施方式

下面通过实施例对本发明作进一步详细说明，但本发明保护范围不局限于所述内容。

实施例1：如图1、2所示，本基于多模态深度学习的Sn-Bi合金的延伸率和抗拉强度的预测方法如下：

1、采用光学显微镜和电子显微镜对不同配比的合金材料的微观图像进行采集，并标注不同放大倍数下的图像信息；具体的分别在2000倍光学显微镜以及100万倍电子显微镜采集21组数据，共采集42组数据；

2、通过Instron-300LX仪器获取不同配比的合金样本在不同拉伸速率、拉伸力下的延伸率和抗压强度，并与步骤(1)图像信息整合，形成42条合金样本数据，数据示例如下表和图3；

3、按4:1的比例将上述合金样本数据分为训练集和测试集；

4、采用pytorch框架进行卷积神经网络和神经网络的编写，并使用python语言编程进行卷积神经网络和神经网络的桥接，从而构建多模态神经网络模型；

5、基于多模态神经网络模型，采用公式y＝ωx+b，以y＝f(x)为预测函数并应用反向传播算法和链式法则进行训练；其中ω，b为参数，且ω、x、b都为多维度矩阵；

y＝σ(z') (1)

σ(z')＝ω₂₁a+b₂ (2)

a＝σ(z) (3)

σ(z')＝ω₁₁x₁+ω₁₂x₂+b₁ (4)

公式中：x代表输入的数据，y代表每一层神经网络的输出值，σ为Relu函数，a为经过一层神经网络的输出值，z、z'为神经网络通过ω、b计算后的输出值，ω、b为神经网络模型进行正向传播时的参数，也是训练过程中学习的参数，具体的ω为每个输入数据x的权重，b为进行计算z时的偏置误差；通过多模态神经网络模型实现了非结构化图像数据和结构化材料数据的多模态融合，并使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b；

在进行深度学习训练时有如下几个步骤：

(1)将训练集中的合金微观组织的图像进行数据预处理，其中包括：

1)将数据裁剪至大小为224×224×3的图像；

2)将数据转化为tensor；

3)将转为tensor的数据进行标准化处理，采用参数((0.485,0.456,0.406),(0.229,0.224,0.225))；

(2)将处理过的图像信息输入到至多模态神经网络模型中处理图像的卷积神经网络中，并提取合金材料微观组织图像中与延伸率和抗拉强度相关的图像特征信息，实现了从非结构化数据到结构化数据的转变；

(3)卷积神经网络提取到的特征信息进行处理，包括：

1)与以往的用于分类的卷积神经网络不同，本模型删除了卷积神经网络最后用于分类的全链接层，使得输出数据从原先的一维数组1×Y(Y为需要进行分类的类别)调整为多维度矩阵Z×C×M×N，目的是使得卷积神经网络提取出来的信息更加具有用来预测的意义；具体的：通过RES-152这个卷积神经网络使得作为输入的非结构化图像数据转化为-1×2048×1×1的结构化数据；其中每个数据是类型为float的量；

2)将步骤1)调整后的图像特征信息进行维度变换，调整至与合金材料信息相同的维度1×X(1×X为结构化材料信息的维度)，每个数据是一个类型为float的值；目的在于使得多元复杂的非结构化图像信息，与结构化合金材料信息在相同的数据处理层次，并且可以用来进行计算；具体的，将上一步-1×2048×1×1的4维数据转化为1×X的2维数据，每个数据为类型float的量；

3)将步骤2)调整过的图像特征信息进行大小变化，将卷积神经网络提取出来的信息与下一步的合金材料信息大小相同，目的在于，使得图像信息与合金材料信息在进行材料属性值的预测时的权重相同，使得二者的信息在预测时更有意义；具体的，将上述-1×2048×1×1的数据转换为1×8的数据，原因是合金材料数据的大小为1×8，我们将图像数据也调整为1×8，其中合金材料数据分别包括：6种金属的成分、拉伸速率以及拉伸力，每个数据是类型为float的量；

(4)将上述图像特征信息和合金材料信息进行融合，并输入多模态神经网络模型，进行迭代训练，在训练过程中，机器模型学习到预测函数f以及参数w、b，并采用链式法则，反向传播算法进行训练；链式法则为

反向传播算法：

具体的，将上述1×8的图像信息和1×8的合金材料信息进行拼接，拼接完成后是一个1×16的结构化融合信息；每个数据为一个类型，为float的量，在将上述信息输入至深度为3的神经网络进行训练，并采用RELU为激活函数，用于进行训练的真值为该合金真实的抗拉强度和延伸率，维度为2大小为1×2；损失函数为：

在训练误差迭代至误差小于5％后，结束训练，训练过程中的损失数据如图4；

材料属性预测步骤：训练完成后，将测试集的数据输入模型中，根据训练学习到的参数w、b和预测函数f，将需要进行预测合金的微观图像和数据输入模型，经过模型计算得到预测值；

具体的，

第一，在图像输入之进行数据预处理，其中包括：

1)将数据裁剪至大小为224×224×3的图像；

2)将数据转化为tensor；

3)将转为为tensor的数据进行标准化处理，采用参数((0.485,0.456,0.406),(0.229,0.224,0.225))

第二，将处理过的数据输入至卷积神经网络，提取到合金微观组织图像关于延伸率和抗拉强度预测值的特征信息；

第三，将提取出来的图像特征值与合金材料信息进行融合；

第四，将融合的所有信息输入神经网络，并进行预测；

最终结果显示，误差在正负5％-10％；与单纯使用材料结构化信息采用机器学习算法进行合金拉伸强度和延伸率进行预测的结果误差40％-50％相比有明显提高；结果如下表；

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于，步骤如下：

(1)采用光学显微镜和电子显微镜对不同配比的合金材料的微观图像进行采集，并标注不同放大倍数下的图像信息；

(2)通过仪器获取不同配比的合金样本在不同拉伸速率、不同拉伸力下的延伸率和抗压强度，并与步骤(1)图像信息整合，形成若干条合金样本数据；

(3)按4-5:1的比例将上述合金样本数据分为训练集和测试集；

(4)采用pytorch框架进行卷积神经网络和神经网络的编写，并使用python语言编程进行卷积神经网络和神经网络的桥接，从而构建多模态神经网络模型；

(5)基于多模态神经网络模型，采用公式y＝ωx+b，以y＝f(x)为预测函数并应用反向传播算法和链式法则进行训练；

y＝σ(z') (1)

z'＝ω₂₁a+b₂ (2)

a＝σ(z) (3)

z＝ω₁₁x₁+ω₁₂x₂+b₁ (4)

公式中：x代表输入的数据，y代表每一层神经网络的输出值，σ为Relu函数，a为经过一层神经网络的输出值，z、z'为神经网络通过ω、b计算后的输出值，ω、b为神经网络模型进行正向传播时的参数，也是训练过程中学习的参数，具体的ω为每个输入数据x的权重，b为进行计算z时的偏置误差；通过多模态神经网络模型实现了非结构化图像数据和结构化材料数据的多模态融合，并使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b；

(6)根据训练学习到的参数ω、b和预测函数f，将待预测合金的微观图像和数据输入多模态神经网络模型，经过多模态神经网络模型计算得到待预测合金的延伸率和抗拉强度预测值。

2.根据权利要求1所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于，应用反向传播算法和链式法则进行训练的步骤如下：

(1)将预处理后的合金材料的图像信息输入至多模态神经网络模型中处理图像的卷积神经网络，提取合金材料微观组织图像中与延伸率和抗拉强度相关的图像特征信息，实现非结构化数据到结构化数据的转变；

(2)将卷积神经网络提取到的图像特征信息进行处理：1)删除卷积神经网络最后用于分类的全链接层，使得输出数据从原先的一维数组1×Y，其中Y为需要进行分类的类别，调整为多维度矩阵C×M×N，目的是使得卷积神经网络提取出来的信息更加具有用来预测的意义；2)将步骤1)调整后的图像特征信息进行维度变换，调整至与合金材料信息形同的维度1×X，1×X为结构化材料信息的维度，X为信息个数；目的在于使得多元复杂的非结构化图像特征信息，与结构化合金材料信息在相同的数据处理层次；3)将步骤2)调整过的图像特征信息进行大小变化，将卷积神经网络提取出来的信息调整至与下一步的合金材料信息大小相同，目的在于使得图像信息与合金材料信息在进行材料属性值的预测时的权重相同，使得二者的信息在预测时更有意义；

(3)将上述图像特征信息和合金材料信息进行融合，并输入多模态神经网络模型，再使用链式法则

反向传播算法进行训练，在迭代至误差小于5％后，使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b，其中w、b都为多组多维矩阵；

其中反向传播算法为：

其中l为损失函数：

为偏导数。

3.根据权利要求2所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：卷积神经网络为RES-152。

4.根据权利要求2所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：训练步骤中卷积神经网络和神经网络的桥接方式为维度统一，大小相同的TENSOR拼接。

5.根据权利要求2所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：训练步骤中神经网络的深度为3，采用RELU为激活函数。

6.根据权利要求2所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：训练步骤中的损失函数为MSEloss：

其中C为损失函数的值，Q为模型在进行一次迭代训练时的预测值，a^L为真值，n为样本的总数量，S为样本。

Images