CN113362915A - 一种基于多模态学习的材料性能预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于多模态学习的材料性能预测方法，包括：建立训练样本集；采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；进行多模态模型训练；采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。本发明使用了成分特征灰度图映射方案将数值模态的特征转换为灰度图像，大大增强了成分特征的表达能力，模态映射完成后的灰度图像和非成分参数组成多模态数据，使用多模态模型进行材料性能预测，大大提高了材料性能预测的准确性。

Description

一种基于多模态学习的材料性能预测方法及系统

技术领域

本发明涉及材料性能研究技术领域，特别涉及一种基于多模态学习的材料性能预测方法及系统。

背景技术

新材料研发中，识别成分-工艺-结构-性能之间的关系是新材料发现的基础。然而，由于材料的多样性和复杂性，全面理解和发掘材料的成分-工艺-结构-性能关系是非常具有挑战性的。材料基因组计划的目标是综合运用高通量实验、高通量计算以及材料数据，实现新材料研发的时间和费用成本双减半。数据驱动的新材料研发是材料基因组计划的核心内容。涉及使用大数据、机器学习等先进人工智能技术加快新材料研发。材料大数据和人工智能为数据驱动的新材料发现提供了理论和方法基础，是材料研发的新范式。而现有的人工智能方式采用的数据结构比较单一，造成预测结果不够准确。

发明内容

本发明的目的是提供一种基于多模态学习的材料性能预测方法及系统，以提高材料性能预测的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于多模态学习的材料性能预测方法，所述预测方法包括如下步骤：

建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数、结构参数；

采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；

将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；

采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；

将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

可选的，所述模态映射方法的实现步骤为：

对成分参数进行成分特征处理，获得成分参数的多个元素级特征；

对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征；

分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。

可选的，所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；

多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；

多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；

所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；

位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；

第二线性层的输出端用于输出性能参数预测结果。

可选的，所述第一注意力层或所述第二注意力层均采用注意力机制；

所述注意力机制的输入数据与输出结果直接满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

可选的，所述建立训练样本集，之后还包括：

对所述训练样本集中的材料样本数据进行数据清洗。

一种基于多模态学习的材料性能预测系统，所述预测系统包括：

训练样本集建立模块，用于建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数、结构参数；

第一模态变换模块，用于采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；

多模态模型训练模块，用于将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；

第二模态变换模块，用于采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；

材料性能预测模块，用于将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

可选的，所述第一模态变换模块和第二模态变换模块中的模态映射方法的实现步骤为：

对成分参数进行成分特征处理，获得成分参数的多个元素级特征；

对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征；

分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。

可选的，所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；

多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；

多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；

所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；

位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；

第二线性层的输出端用于输出性能参数预测结果。

可选的，所述第一注意力层或所述第二注意力层均采用注意力机制；

所述注意力机制的输入数据与输出结果之间满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

可选的，所述预测系统还包括：

数据清洗模块，用于对所述训练样本集中的材料样本数据进行数据清洗。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于多模态学习的材料性能预测方法，所述预测方法包括如下步骤：建立训练样本集；采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。本发明使用了成分特征灰度图映射方案将数值模态的特征转换为灰度图像，大大增强了成分特征的表达能力，模态映射完成后的灰度图像和非成分参数组成多模态数据，使用多模态模型进行材料性能预测，大大提高了材料性能预测的准确性。

而且本发明在多模态模型中采用卷积层对映射后的图像模态进行特征提取，并将提取后的特征与另一模态提取的特征进行融合。融合完成后，使用注意力机制对融合后的特征进行样本相似度计算，最后使用线性层得到最终的预测输出结果。

对于材料成分特征若仅仅采用成分中的元素和含量，采用独热Onehot编码，则其特征较为稀疏且表达能力较弱。本发明在模态变换中，采用两个步骤进行成分特征的增强处理。第一步，依照元素性质和特征，将原始成分特征转换为底层的元素级特征。第二步，对第一步所获得的元素级特征进行统计学分析，求其均值、方差、四分位点等统计量。第一步的转换直接将成分含量这一宏观特征转换成了微观尺度特征，而微观尺度特征具有更加丰富的信息，因此该步骤转换能够提高成分特征用于性能预测的表达效果。第二步统计学分析计算成分空间内元素级特征的分布规律，提供该成分的元素级特征统计信息。材料成分中往往包含多种元素，需要使用统计方法将其统一起来。对所有的元素级特征完成统计分析后，即可得到增强后的成分元素级高维特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于多模态学习的材料性能预测方法的流程图；

图2为本发明提供的一种基于多模态学习的材料性能预测方法的原理图；

图3为本发明提供的多模态模型的结构图。

具体实施方式

本发明的目的是提供一种基于多模态学习的材料性能预测方法及系统，以提高材料性能预测的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。

模态是人们感知数据的方式，比如视觉和听觉。在单模态数据中，所有数据按照一种表示方法进行表示，数据表示较为简单。但在多模态数据中，不同的模态决定了数据具有异构性，很难找到一种囊括所有模态的合适的表示方法。而模态映射是将一种模态的数据在尽量不丢失信息的前提下映射到另一模态。卷积操作从图像的像素和通道入手，提取图像中所包含的特征信息。通过不同大小的卷积层相互组合，可以从图像中提取非常多的特征。注意力机制是一种计算样本间相关度的方法，相关度越高的样本，它们的注意力值越大。利用注意力机制能够很好的把握训练数据中的联系，使得相似的样本最终的输出也是相似的，从而增强模型的拟合能力。多模态学习方法旨在通过分析多个模态的数据来对模型进行训练，与传统单模态学习相比，多模态学习能够融合多个模态的数据，具有较好的预测效果。

本发明提供了一种基于多模态学习的材料性能预测方法。该方法基于深度学习，使用模态映射将一种模态的特征映射到另一种模态，映射后的模态特征拥有了更强的表达能力，能够从中提取更深层次的特征。本发明使用了成分特征灰度图映射方案将数值模态的特征转换为灰度图像，大大增强了成分特征的表达能力。模态映射完成后，使用卷积层对映射后的图像模态进行特征提取，并将提取后的特征与另一模态提取的特征进行融合。融合完成后，使用注意力机制对融合后的特征进行样本相似度计算，最后使用线性层得到最终的预测输出结果。

如图1和2所示本发明提供一种基于多模态学习的材料性能预测方法，所述预测方法包括如下步骤：

步骤101，建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数、结构参数。对所述训练样本集中的材料样本数据进行数据清洗。

本发明中，从钢材料数据源收集数据，并对其中的异常值进行预处理，完成数据清洗。对从数据源采集的数据进行归一化、去除空值等数据预处理操作。

步骤102，采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像。

本发明步骤102主要从以下两个方面实现：

1.成分特征增强

单模态数据中，对于材料成分特征若仅仅采用成分中的元素和含量，采用独热Onehot编码，则其特征较为稀疏且表达能力较弱。本发明采用两个步骤进行成分特征的增强处理。首先，依照元素性质和特征，将原始成分特征转换为底层的元素级特征。

随后，对上一步所获得的元素级特征进行统计学分析，求其均值、方差、四分位点等统计量。第一步的转换直接将成分含量这一宏观特征转换成了微观尺度特征，而微观尺度特征具有更加丰富的信息，因此该步骤转换能够提高成分特征用于性能预测的表达效果。第二步统计学分析计算成分空间内元素级特征的分布规律，提供该成分的元素级特征统计信息。材料成分中往往包含多种元素，需要使用统计方法将其统一起来。对所有的元素级特征完成统计分析后，即可得到增强后的成分元素级高维特征。

2.特征图像映射方案

对于高维特征，如果将其直接用于模型训练，最终的预测效果往往不理想，若将该高维特征映射到图像并对其进行卷积处理，卷积层能够捕捉到特征在空间分布中的规律。不同材料若在成分特征方面表现出一定的相似性，这类相似性映射到灰度图上则会表现为相似的纹理特征。

图像处理中，纹理是在颜色空间或者灰度空间中出现的重复或者相似，不同的物体通常具有不同的纹理特征。现实生活中的纹理通常具有非常大的随机性，难以找到一个统一的分布将其囊括在一起。而人工纹理是经过人工生成的，具有一定的规律性，较为容易识别。本发明中的材料数据特征纹理为第二类纹理，通过人为对材料特征的预处理，材料的“共性”能够通过灰度图纹理的方式表现出来。通过使用卷积神经网络，特征灰度图能提供更多的信息，帮助模型更好地进行材料性能的预测。

在映射方法方面，考虑到材料成分元素间关联性，本发明采用基于元素周期表相对位置的映射方案。对于每一个成分中包含的元素组合，选取其在元素周期表中的相对位置作为特征在图像中的排列位置。对于每一个成分含量，首先将其归一化至[0,1]，随后按照灰度值范围将特征扩展至[0,255]，作为图像中的像素灰度值。

具体的，步骤102中的所述模态映射方法的实现步骤为：

对成分参数进行成分特征处理，获得成分参数的多个元素级特征。以成分参数C0.35Si0.21Mn0.77P0.021S0.022Ni0.01Cr0.01Cu0.02为例，该成分包含9种元素。利用xenonpy库可计算出58个元素级特征。(关于xenonpy的内置特征说明：https://xenonpy.readthedocs.io/en/latest/features.html)。对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征。对于原子量这一元素级特征来说，按照统计学分析方式，可以求得以下7维特征，如表1所示：

表1某一元素级特征的7维统计特征列表

按照上述方法，计算剩余57个元素级特征的统计量特征，最终得到58*7＝406维特征。

分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。去除其中为零的列，最后得到289维计算结果，并将其转换为17*17灰度图。

步骤103，将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型。

如图3所示，所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；第二线性层的输出端用于输出性能参数预测结果。

所述第一注意力层或所述第二注意力层均采用注意力机制；

所述注意力机制的输入数据与输出结果直接满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

进行注意力机制处理过程为：

步骤一、输入样本的Query、Key和Value矩阵，三个矩阵均来源于同一输入；

步骤二、将Query矩阵与Key矩阵相乘；

步骤三、缩放：为了防止步骤二结果过大导致后续计算出现误差，将步骤二的结果除以输入维数的平方根

步骤四、将步骤三结果进行Softmax操作，使其统一缩放至[0,1]区间内，代表概率。Softmax是该材料成分元素的指数与所有元素指数和的比值，计算公式如下：

步骤五、将步骤四的输出乘以Value矩阵，即可得到注意力机制的处理结果。计算公式如下：

所述多模态模型的工作过程为：

步骤1，对于步骤102中产生的灰度图，使用四层卷积层对其进行特征提取。

步骤2，对于非成分特征，将其送入注意力层计算样本相似度，随后利用Relu激活函数进行非线性变换，最后得到提取的特征。

步骤3，将步骤1生成的特征和步骤2生成的特征拼接在一起。

步骤4：将步骤3拼接生成的特征送入一层注意力层中，随后进行一次非线性变换，最后得到性能预测的输出值。

本发明在训练过程中，设定网络迭代轮数为10000轮，优化器为Adam优化器，学习率为0.0001，开始训练网络。网络训练完成后，即可使用模型对钢材料性能进行预测。

步骤104，采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像。

步骤105，将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

本发明还提供一种基于多模态学习的材料性能预测系统，所述预测系统包括：

训练样本集建立模块，用于建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数、结构参数；

第一模态变换模块，用于采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；

多模态模型训练模块，用于将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；

所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；第二线性层的输出端用于输出性能参数预测结果。

其中，所述第一注意力层或所述第二注意力层均采用注意力机制；所述注意力机制的输入数据与输出结果之间满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

第二模态变换模块，用于采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；

材料性能预测模块，用于将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

其中，所述第一模态变换模块和第二模态变换模块中的模态映射方法的实现步骤为：对成分参数进行成分特征处理，获得成分参数的多个元素级特征；对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征；分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。

作为一种优选的实施方式，所述预测系统还包括：

数据清洗模块，用于对所述训练样本集中的材料样本数据进行数据清洗。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明增强了材料数据中较为单一的成分特征；借助模态映射，挖掘成分特征更深层次的信息；通过在神经网络中应用卷积操作和注意力机制，将不同模态进行融合，提取其中的特征相似性，进一步提高模型的预测精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于多模态学习的材料性能预测方法，其特征在于，所述预测方法包括如下步骤：

建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数和结构参数；

采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；

将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；

采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；

将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

2.根据权利要求1所述的基于多模态学习的材料性能预测方法，其特征在于，所述模态映射方法的实现步骤为：

对成分参数进行成分特征处理，获得成分参数的多个元素级特征；

对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征；

分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。

3.根据权利要求1所述的基于多模态学习的材料性能预测方法，其特征在于，所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；

多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；

多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；

所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；

位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；

第二线性层的输出端用于输出性能参数预测结果。

4.根据权利要求3所述的基于多模态学习的材料性能预测方法，其特征在于，所述第一注意力层或所述第二注意力层均采用注意力机制；

所述注意力机制的输入数据与输出结果直接满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

5.根据权利要求1所述的基于多模态学习的材料性能预测方法，其特征在于，所述建立训练样本集，之后还包括：

对所述训练样本集中的材料样本数据进行数据清洗。

6.一种基于多模态学习的材料性能预测系统，其特征在于，所述预测系统包括：

训练样本集建立模块，用于建立训练样本集；所述训练样本集中包括不同材料样本的成分参数、非成分参数和性能参数，所述非成分参数包括工艺参数、结构参数；

第一模态变换模块，用于采用模态映射方法，将材料样本的成分参数进行模态变换，获得材料样本的灰度图像；

多模态模型训练模块，用于将材料样本的灰度图像和非成分参数作为多模态模型的输入，将材料样本的性能参数作为多模态模型的输出，对多模态模型进行训练，获得训练后的多模态模型；

第二模态变换模块，用于采用模态映射方法，将待测材料的成分参数进行模态变换，获得待测材料的灰度图像；

材料性能预测模块，用于将待测材料的灰度图像和成分参数输入训练后的多模态模型，获得待测材料的性能参数预测结果。

7.根据权利要求6所述的基于多模态学习的材料性能预测系统，其特征在于，所述第一模态变换模块和第二模态变换模块中的模态映射方法的实现步骤为：

对成分参数进行成分特征处理，获得成分参数的多个元素级特征；

对成分参数的多个元素级特征进行统计分析，获得成分参数的每个元素级特征的多个统计分析特征；

分别将成分参数的每个元素级特征的每个统计分析特征映射到区间[0，255]，构建包含成分参数的每个元素级特征的每个统计分析特征的映射值的灰度图像。

8.根据权利要求6所述的基于多模态学习的材料性能预测系统，其特征在于，所述多模态模型包括多个第一卷积层、第一注意力层、多个第一线性层、第二卷积层、第二注意力层和第二线性层；

多个所述第一卷积层依次连接，位于最后端的第一卷积层的输出端与第二卷积层的第一输入端连接；

多个所述第一线性层依次连接，位于最前端的第一线性层的输入端与所述第一注意力层的输出端连接，位于最后端的第一线性层的输出端与所述第二卷积层的第二输入端连接；

所述第二卷积层的输出端与所述第二注意力层的输入端连接，所述第二注意力层的输出端与第二线性层的输入端连接；

位于最前端的第一卷积层的输入端用于输入灰度图像，第一注意力层的输入端用于输入非成分参数；

第二线性层的输出端用于输出性能参数预测结果。

9.根据权利要求8所述的基于多模态学习的材料性能预测系统，其特征在于，所述第一注意力层或所述第二注意力层均采用注意力机制；

所述注意力机制的输入数据与输出结果之间满足如下关系式：

其中，Query、Key和Value分别表示输入数据的Query矩阵、Key矩阵和Value矩阵，

表示输入数据维数的平方根，Softmax为操作函数，attention(Query、Key，Value)表示注意力机制的输出结果。

10.根据权利要求6所述的基于多模态学习的材料性能预测系统，其特征在于，所述预测系统还包括：

数据清洗模块，用于对所述训练样本集中的材料样本数据进行数据清洗。

Images