CN115713986B - 基于注意力机制的材料晶体属性预测方法 - Google Patents

基于注意力机制的材料晶体属性预测方法 Download PDF

Info

Publication number
CN115713986B
CN115713986B CN202211412413.1A CN202211412413A CN115713986B CN 115713986 B CN115713986 B CN 115713986B CN 202211412413 A CN202211412413 A CN 202211412413A CN 115713986 B CN115713986 B CN 115713986B
Authority
CN
China
Prior art keywords
crystal
model
layer
node
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211412413.1A
Other languages
English (en)
Other versions
CN115713986A (zh
Inventor
鲁鸣鸣
宁瑞鸿
周星洋
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202211412413.1A priority Critical patent/CN115713986B/zh
Publication of CN115713986A publication Critical patent/CN115713986A/zh
Application granted granted Critical
Publication of CN115713986B publication Critical patent/CN115713986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于注意力机制的材料晶体属性预测方法，包括获取每一个材料的晶体学信息文件和属性特性数据；对每个材料的晶体结构建模得到晶体图；构建晶体图的几何结构信息的特征表达；将晶体图和步几何结构信息的特征表达输入到构建的材料晶体属性预测初步模型中并训练得到材料晶体属性预测模型；将目标材料的晶体学信息文件输入到材料晶体属性预测模型得到最终的目标材料的晶体属性预测结果。本发明综合考虑了晶体几何结构特征与节点相关性两方面信息，因此本发明方法的可靠性高、精确性好，客观科学，而且本发明方法的计算速度更快，效率更高。

Description

基于注意力机制的材料晶体属性预测方法
技术领域
本发明属于人工智能技术领域，具体涉及一种基于注意力机制的材料晶体属性预测方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人工智能技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
深度学习技术是人工智能技术的重要组成部分。深度学习在材料晶体应用上的一个关键挑战是材料特征表示。现有的技术使用手工的基于特征的描述符或使用深度图神经网络(GNN)，从晶体结构的三维构象中生成表示。但是，手工的特征需要特定的领域知识和人工干预，这使得手工方法本身受到限制；而深度学习方法不依赖于精细的特征管理，可以利用图数据形式表示材料结构特征，自动学习材料的结构-性质关系。因此图神经网络(GNN)在材料晶体属性预测任务中具有较好应用前景。
随着研究人员提出CGCNN网络，将材料晶体结构转化为晶体图数据以来，以晶体图形式来处理材料晶体属性预测任务成为主流；而且，通过将图神经网络方法应用在材料晶体图数据上，研究人员取得了高于传统计算方法的预测精度。但是，当前材料晶体属性预测方法仍然存在以下两方面的问题。一方面，研究人员关注于改进晶体结构到晶体图的转换过程，以求从材料晶体中获取更多的信息来辅助晶体图信息的更新，但是忽略了晶体图中节点之间的关系；另一方面，虽然有工作聚焦于晶体原子之间关系来改进晶体图特征的更新，但是该类方法没有利用到完整的晶体几何结构信息，导致模型对晶体图中节点之间的序列或位置坐标等信息学习不完全。上述问题，将直接导致现有的材料晶体属性预测方法的可靠性不高，而且精确性也较差。
发明内容
本发明的目的在于提供一种可靠性高、精确性好且客观科学的基于注意力机制的材料晶体属性预测方法。
本发明提供的这种基于注意力机制的材料晶体属性预测方法，包括如下步骤：
S1.获取每一个材料的晶体学信息文件和属性特性数据；
S2.采用无向图对每个材料的晶体结构进行建模，得到晶体图；
S3.采用高斯径向基函数和平面波函数，构建步骤S2得到的晶体图的几何结构信息的特征表达；
S4.将步骤S2得到的晶体图和步骤S3得到的几何结构信息的特征表达，输入到构建的材料晶体属性预测初步模型中；
S5.采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，得到材料晶体属性预测模型；
S6.将目标材料的晶体学信息文件输入到步骤S5得到的材料晶体属性预测模型中，得到的输出结果为目标材料的晶体属性预测结果。
步骤2所述的采用无向图对每个材料的晶体结构进行建模，得到晶体图，具体包括如下步骤：
将晶体晶胞内的院子作为锚质点；
为每个锚质点在半径r内选择离自身最近的N个质点作为该锚质点的邻居质点；半径r为自行设定的超参数；N为自行设定的超参数；
根据每个锚质点及其相邻的邻居质点，共同构成晶体图。
步骤S3所述的采用高斯径向基函数和平面波函数，构建步骤S2得到的晶体图的几何结构信息的特征表达，具体包括如下步骤：
根据步骤S2得到的晶体图，采用高斯径向基函数来编码锚质点之间的距离，采用带有门函数的平面波函数来编码晶体的几何信息，最终得到晶体图的几何结构信息的特征表达pij：
pij＝Wr{τrbf(|rij|)}+Wp{τpw(rij,Ω,a,b,c)⊙G}
式中Wr{}为待学习的参数；τrbf()为高斯径向基函数；rij为第i个锚质点和第j个邻居节点之间的相对距离；Wp{}为待学习的参数；τpw()为平面波函数；Ω为晶胞体积；a、b和c为晶体格基向量；⊙为哈达玛积；G为门函数。
步骤S4所述的将步骤S2得到的晶体图和步骤S3得到的几何结构信息的特征表达，输入到构建的材料晶体属性预测初步模型中，具体包括如下步骤：
材料晶体属性预测初步模型包括：
模型的输入特征向量包括晶体图的节点特征n，边特征eij和材料晶体几何结构特征pij；其中，节点特征n为采用独热编码的质点元素类型的特征向量，边特征eij所对应的编码为由原子之间距离所构建的高斯距离特征，材料晶体几何结构特征pij为汇聚了晶格矢量、原子坐标以及晶胞体积结构信息的特征；
采用特征处理层更新三种输入特征：
首先，采用两端节点特征更新边特征：
Figure BDA0003938646550000031
式中
Figure BDA0003938646550000032
为第l层更新后的边特征；We为待学习参数，用于改变维度并匹配节点特征的维度；||为向量的拼接符号；i为锚节点，j为锚节点i的邻居节点，l为CrystalTransformer堆叠的层数；/>
Figure BDA0003938646550000041
为在第l层更新的图节点i的特征向量；/>
Figure BDA0003938646550000042
为在第l层更新的图节点i的邻居节点j的特征集合；
采用更新后的边特征更新与边相关的两端节点特征，同时引入晶体几何结构特征pij作为位置编码，并与
Figure BDA0003938646550000043
和/>
Figure BDA0003938646550000044
三个特征结合，具体操作采用如下算式表示：
Figure BDA0003938646550000045
Figure BDA0003938646550000046
Figure BDA0003938646550000047
式中⊙为逐元素相乘计算符号；
多头注意力模块用于融合处理后的三种特征，从而辅助更新晶体图中锚节点特征；自多头注意力模块的第一步为对于每个输入向量，创建一个查询向量
Figure BDA0003938646550000048
一个键向量
Figure BDA0003938646550000049
和一个值向量/>
Figure BDA00039386465500000410
对应的计算式如下：
Figure BDA00039386465500000411
Figure BDA00039386465500000412
Figure BDA00039386465500000413
式中
Figure BDA00039386465500000414
为待学习的查询向量权重；/>
Figure BDA00039386465500000415
为待学习的键向量权重；/>
Figure BDA00039386465500000416
为学习的值向量权重；k表示多头注意力模块的第k头，l表示更新层的第l层；/>
Figure BDA00039386465500000417
为第l层输入第k个注意力头的锚节点特征向量；/>
Figure BDA00039386465500000418
为第l层输入第k个注意力头的邻居节点特征向量；
Figure BDA00039386465500000419
为第l层输入第k个注意力头的边ij的特征向量；
具体实施时，首先根据H个头，将
Figure BDA00039386465500000420
和/>
Figure BDA00039386465500000421
的特征维度d分成H段，每一段的特征维度为d/H，从而得到/>
Figure BDA00039386465500000422
和/>
Figure BDA00039386465500000423
然后，将查询向量与键向量相乘，计算锚节点i与其邻居节点j的相关性评分scorek,l为
Figure BDA0003938646550000051
为了训练过程的稳定性，在计算过程中，根据处理特征
Figure BDA0003938646550000052
的维度，对计算得到相关性评分进行缩放，得到/>
Figure BDA0003938646550000053
然后，通softmanx操作归一化计算得到对应的权重值/>
Figure BDA0003938646550000054
为/>
Figure BDA0003938646550000055
d为被缩放嵌入特征的维度；H为模型所含注意力头的数量；
将计算得到的权重值与值向量相乘，得到值向量的输出
Figure BDA0003938646550000056
为
Figure BDA0003938646550000057
对更新后的边特征求和，然后将H个注意力头计算得到的输出再次进行拼接，作为锚节点更新一次后的特征向量：具体计算式为：
Figure BDA0003938646550000058
其中
Figure BDA0003938646550000059
为多头注意力模块的输出；Concat()为拼接操作；k表示多头注意力模块中第k头，M表示锚节点i的所有邻居节点j的数量；
然后，将多头注意力模块的输出
Figure BDA00039386465500000510
首先经过线性映射Wo处理，再利用残差结构保存梯度并同时对处理后特征进行归一化，最后在两层的前向反馈传播层FFNl信息变换之后，得到锚节点i特征输出/>
Figure BDA00039386465500000511
具体计算式如下：
Figure BDA00039386465500000512
Figure BDA00039386465500000513
Figure BDA00039386465500000514
Figure BDA00039386465500000515
式中
Figure BDA00039386465500000516
为映射变换过程中的中间变量；Norm()为归一化操作；/>
Figure BDA00039386465500000517
为包含了残差梯度信息的多头注意力模块输出；Wo为待学习参数；/>
Figure BDA00039386465500000518
为上一层的融合特征l为0时则为初始节点特征；/>
Figure BDA0003938646550000061
为输入下一层模型的锚节点特征；FFNl()为全连接层；
门池化层用于聚合更新后的晶胞内所有锚节点特征，从而得到整个晶体图特征；具体计算式如下：
Figure BDA0003938646550000062
式中Wp1和Wp2为不带有偏置的线性映射；g()为激活函数；num为图中节点的数量；
经过门控池化层得到图级别的特征，模型完成一次晶体图特征汇聚更新；经过L次更新之后，模型得到晶体图的最终特征hL；然后，针对某个属性的预测任务，采用模型得到晶体图的最终特征hL，经过多层感知机模块，采用如下算式得到最后模型的预测值
Figure BDA0003938646550000063
所述的多层感知机模块为三层线性层；
Figure BDA0003938646550000064
式中MLP()为多层感知机层的操作函数。
步骤S5所述的采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，得到材料晶体属性预测模型，具体包括如下步骤：
采用如下算式作为平均绝对误差计算式：
Figure BDA0003938646550000065
式中n为每个批次的样本数量；y为材料晶体属性预测初步模型的预测输出；Y为真实的属性标签；
采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，使得模型输出的预测值与真实的属性标签之间的距离越来越近，直至达到设定的要求；此时得到的模型为最终的材料晶体属性预测模型。
本发明提供的这种基于注意力机制的材料晶体属性预测方法，综合考虑了晶体几何结构特征与节点相关性两方面信息，因此本发明方法的可靠性高、精确性好，客观科学，而且本发明方法的计算速度更快，效率更高。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法中的材料晶体属性预测初步模型的模型结构示意图。
图3为本发明方法中的材料晶体属性预测初步模型中的特征处理层的结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于注意力机制的材料晶体属性预测方法，包括如下步骤：
S1.获取每一个材料的晶体学信息文件和属性特性数据；
S2.采用无向图对每个材料的晶体结构进行建模，得到晶体图；具体包括如下步骤：
将晶体晶胞内的院子作为锚质点；
为每个锚质点在半径r内选择离自身最近的N个质点作为该锚质点的邻居质点；半径r为自行设定的超参数；N为自行设定的超参数；
根据每个锚质点及其相邻的邻居质点，共同构成晶体图；
S3.采用高斯径向基函数和平面波函数，构建步骤S2得到的晶体图的几何结构信息的特征表达；具体包括如下步骤：
根据步骤S2得到的晶体图，采用高斯径向基函数来编码锚质点之间的距离，采用带有门函数的平面波函数来编码晶体的几何信息，最终得到晶体图的几何结构信息的特征表达pij：
pij＝Wr{τrbf(|rij|)}+Wp{τpw(rij,Ω,a,b,c)⊙G}
式中Wr{}为待学习的参数；τrbf()为高斯径向基函数；rij为第i个锚质点和第j个邻居节点之间的相对距离；Wp{}为待学习的参数；τpw()为平面波函数；Ω为晶胞体积；a、b和c为晶体格基向量；⊙为哈达玛积；G为门函数；
S4.将步骤S2得到的晶体图和步骤S3得到的几何结构信息的特征表达，输入到构建的材料晶体属性预测初步模型中；具体包括如下步骤：
材料晶体属性预测初步模型(结构如图2所示)包括：
模型的输入特征向量包括晶体图的节点特征n，边特征eij和材料晶体几何结构特征pij；其中，节点特征n为采用独热编码的质点元素类型的特征向量，边特征eij所对应的编码为由原子之间距离所构建的高斯距离特征，材料晶体几何结构特征pij为汇聚了晶格矢量、原子坐标以及晶胞体积结构信息的特征；
采用特征处理层(结构如图3所示)更新三种输入特征：
首先，采用两端节点特征更新边特征：
Figure BDA0003938646550000081
式中
Figure BDA0003938646550000082
为第l层更新后的边特征；We()为待学习参数，用于改变维度并匹配节点特征的维度；||为向量的拼接符号；i为锚节点，j为锚节点i的邻居节点，l为CrystalTransformer堆叠的层数；/>
Figure BDA0003938646550000083
为在第l层更新的图节点i的特征向量；/>
Figure BDA0003938646550000084
为在第l层更新的图节点i的邻居节点j的特征集合；
采用更新后的边特征更新与边相关的两端节点特征，同时引入晶体几何结构特征pij作为位置编码，并与
Figure BDA0003938646550000085
和/>
Figure BDA0003938646550000086
三个特征结合，具体操作采用如下算式表示：
Figure BDA0003938646550000091
Figure BDA0003938646550000092
Figure BDA0003938646550000093
式中⊙为逐元素相乘计算符号；
多头注意力模块用于融合处理后的三种特征，从而辅助更新晶体图中锚节点特征；自多头注意力模块的第一步为对于每个输入向量，创建一个查询向量
Figure BDA0003938646550000094
一个键向量
Figure BDA0003938646550000095
和一个值向量/>
Figure BDA0003938646550000096
设计三种向量的动机就是通过计算查询向量query与键向量key之间的相似性去寻找最合适的值向量value；对应的计算式如下：
Figure BDA0003938646550000097
Figure BDA0003938646550000098
Figure BDA0003938646550000099
式中
Figure BDA00039386465500000910
为待学习的查询向量权重；/>
Figure BDA00039386465500000911
为待学习的键向量权重；/>
Figure BDA00039386465500000912
为学习的值向量权重；k表示多头注意力模块的第k头，l表示更新层的第l层；/>
Figure BDA00039386465500000913
为第l层输入第k个注意力头的锚节点特征向量；/>
Figure BDA00039386465500000914
为第l层输入第k个注意力头的邻居节点特征向量；
Figure BDA00039386465500000915
为第l层输入第k个注意力头的边ij的特征向量；
具体实施时，首先根据H个头，将
Figure BDA00039386465500000916
和/>
Figure BDA00039386465500000917
的特征维度d分成H段，每一段的特征维度为d/H，从而得到/>
Figure BDA00039386465500000918
和/>
Figure BDA00039386465500000919
然后，将查询向量与键向量相乘，计算锚节点i与其邻居节点j的相关性评分scorek,l为
Figure BDA00039386465500000920
为了训练过程的稳定性，在计算过程中，根据处理特征
Figure BDA00039386465500000921
的维度，对计算得到相关性评分进行缩放，得到/>
Figure BDA0003938646550000101
然后，通softmanx操作归一化计算得到对应的权重值/>
Figure BDA0003938646550000102
为/>
Figure BDA0003938646550000103
d为被缩放嵌入特征的维度；H为模型所含注意力头的数量；
将计算得到的权重值与值向量相乘，得到值向量的输出
Figure BDA0003938646550000104
为
Figure BDA0003938646550000105
对更新后的边特征求和，然后将H个注意力头计算得到的输出再次进行拼接，作为锚节点更新一次后的特征向量：具体计算式为：
Figure BDA0003938646550000106
其中
Figure BDA0003938646550000107
为多头注意力模块的输出；Concat()为拼接操作；k表示多头注意力模块中第k头，M表示锚节点i的所有邻居节点j的数量；
然后，将多头注意力模块的输出
Figure BDA0003938646550000108
首先经过线性映射Wo处理，再利用残差结构保存梯度并同时对处理后特征进行归一化，最后在两层的前向反馈传播层FFNl信息变换之后，得到锚节点i特征输出/>
Figure BDA0003938646550000109
在得到自注意力模块输出之后，为了在堆叠Transformer层数避免梯度消失或者梯度爆炸，本申请引入了残差结构，能够有效解决梯度问题，使得模型具有深层次设计的能力；具体计算式如下：
Figure BDA00039386465500001010
Figure BDA00039386465500001011
式中
Figure BDA00039386465500001012
为映射变换过程中的中间变量；Norm()为归一化操作；/>
Figure BDA00039386465500001013
为包含了残差梯度信息的多头注意力模块输出；Wo为待学习参数；/>
Figure BDA00039386465500001014
为上一层的融合特征l为0时则为初始节点特征；/>
Figure BDA00039386465500001015
为输入下一层模型的锚节点特征；FFNl()为全连接层；
门池化层用于聚合更新后的晶胞内所有锚节点特征，从而得到整个晶体图特征；具体计算式如下：
Figure BDA0003938646550000111
式中Wp1和Wp2为不带有偏置的线性映射；g()为激活函数；num为图中节点的数量；
经过门控池化层得到图级别的特征，模型完成一次晶体图特征汇聚更新；经过L次更新之后，模型得到晶体图的最终特征hL；然后，针对某个属性的预测任务，采用模型得到晶体图的最终特征hL，经过多层感知机模块，采用如下算式得到最后模型的预测值
Figure BDA0003938646550000112
所述的多层感知机模块为三层线性层；
Figure BDA0003938646550000113
式中MLP()为多层感知机层的操作函数
S5.采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，得到材料晶体属性预测模型；具体包括如下步骤：
采用如下算式作为平均绝对误差计算式：
Figure BDA0003938646550000114
式中n为单个训练批次的样本数量；y为材料晶体属性预测初步模型的预测输出；Y为真实的属性标签；
采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，使得模型输出的预测值与真实的属性标签之间的距离越来越近，直至达到设定的要求；此时得到的模型为最终的材料晶体属性预测模型；
S6.将目标材料的晶体学信息文件输入到步骤S5得到的材料晶体属性预测模型中，得到的输出结果为目标材料的晶体属性预测结果。
以下结合一个实施例，对本发明方法的效果进行说明：
本实施例基于MP数据集，当前模型主要预测材料晶体的七种属性，分别是单原子形成能、绝对能、带隙能、费米能、体积模量、剪切模量和泊松比。但是由于上述七种属性对应的材料数据集数量都不相同并且数据集属性会不断更新，因此本发明的实验数据集主要基于当前主流的MP材料晶体数据集的两种实验数据划分，分别源自于CGCNN方法的实验数据集组织形式(具体如表1所示)和MegNet方法的实验数据集组织形式(具体如表2所示)
表1 CGCNN方法的MP材料晶体数据集划分示意表
Figure BDA0003938646550000121
表2 MegNet方法的MP材料晶体数据集划分示意表
Figure BDA0003938646550000122
由于数据集划分具有随机性，本实验设置了随机种子来固定每一次训练的数据集划分。最终，实验时取多次随机种子的平均精度作为实验结果。
在CGCNN数据划分的前提下，本发明对比了七种材料晶体属性预测任务性能，评估结果如表3所示，这里展示了多次不同随机种子实验所得到的最佳实验结果。
表3以CGCNN论文中数据划分下的材料晶体属性预测性能评估数据示意表
属性 单位 CGCNN GATGNN GeoCGNN 本发明方法
单原子形成能 eV 0.039 0.039 0.028 0.0265
带隙能 eV 0.388 0.322 0.2833 0.2849
绝对能 eV 0.072 0.048 - 0.0352
费米能 eV 0.363 0.33 - 0.2899
剪切模量 lg(GPa) 0.087 0.085 0.1013 0.0811
体积模量 lg(GPa) 0.054 0.047 0.0697 0.0432
泊松比 eV 0.03 0.029 0.0349 0.0276
通过对实验结果分析，本发明可以得到如下结论：(1)由于材料晶体的七种属性值具有不同的数据集，并且属性值范围也是大不相同，所以不同属性任务MAE结果相差较大，但是本发明方法在七种属性预测任务上均有一定的提升。(2)本发明方法与将注意力机制引入晶体属性预测的GAT-GNN方法相比，在七种属性预测精度全面优于该方法，这就验证了GT架构对于处理晶体数据集的优越性以及引入晶体几何结构特征的重要性。(3)本发明方法的结果在多个属性预测任务中优于GeoCGNN方法结果，这就验证了通过获取节点之间的相关性对于预测任务确实有一定的提升，尤其是在数据量较少的属性预测任务中。
另外，在MegNet数据划分前提下，本发明主要在单原子形成能、带隙、体积模量以及剪切模型四种属性预测任务上做对比，实验结果如表4所示。
表4以MegNet论文中数据划分下的材料晶体属性预测性能评估数据示意表
属性 单位 MegNet GeoCGNN 本发明方法
单原子形成能 eV 0.028 0.024 0.0239
带隙能 eV 0.33 0.289 0.2778
体积模量 lg(GPa) 0.05 0.057 0.0389
剪切模量 lg(GPa) 0.079 0.077 0.0452
通过对实验结果分析，可以了解到本发明的模型在数据少量时误差下降很快，体积模量和剪切模量两属性在CGCNN数据划分下只有3203个总数据，MAE结果分别为0.0432和0.0811，虽然也是当前最优精度，但是只比其之前最优性能分别下降0.0038和0.0039；然而，当MegNet数据划分中两属性数据增长到5410时，对应误差下降到了0.0389和0.0452远远低于GeoCGNN同样数据集下的误差结果。
最后，为了验证本发明的有效性，通过设置消融实验来验证在输入特征中引入晶体几何结构信息和利用自注意力机制来计算节点之间相关性的在属性预测时所起到的作用。本发明定义了两个缺少部分功能的材料晶体属性预测模型网络，分别是：(1)CrystalTransformer_woP：其表示在本发明方法的基础上，特征处理层是不将晶体几何信息特征pij融入到三项输入特征中，仅采用模型原始节点特征。(2)CryststalTransformer_woSA：其表示在本发明方法的基础上，不通过自注意力机制来计算节点之间的相关性来汇聚锚节点特征，而是仅仅直接求和聚合。测试结果如表5所示。
表5类似网络的测试结果数据示意表
属性/模型 本发明方法 CrystalTransformer_woP CryststalTransformer_woSA
单原子形成能 0.0265 0.0306 0.0281
带隙能 0.2849 0.3159 0.3359
体积模量 0.0432 0.0528 0.0531
剪切模量 0.0811 0.0927 0.0887
通过表5可以看到，CrystalTransformer_woP和CryststalTransformer_woSA所得出的平均绝对误差(MAE)均是高于本发明方法的模型的。因此，本发明可以分析得出，晶体几何信息特征与节点之间的相关性均对属性预测任务有重大的影响。该消融实验说明通过自注意力机制学习节点之间的相关性来汇聚锚节点特征以及在输入特征中引入晶体结构几何信息是有效的也是必要的，而且是非常有效的。

Claims (3)

1.一种基于注意力机制的材料晶体属性预测方法，包括如下步骤：
S1.获取每一个材料的晶体学信息文件和属性特性数据；
S2.采用无向图对每个材料的晶体结构进行建模，得到晶体图；具体包括如下步骤：
将晶体晶胞内的原子作为锚质点；
为每个锚质点在半径r内选择离自身最近的N个质点作为该锚质点的邻居质点；半径r为自行设定的超参数；N为自行设定的超参数；
根据每个锚质点及其相邻的邻居质点，共同构成晶体图；
S3.采用高斯径向基函数和平面波函数，构建步骤S2得到的晶体图的几何结构信息的特征表达；具体包括如下步骤：
根据步骤S2得到的晶体图，采用高斯径向基函数来编码锚质点之间的距离，采用带有门函数的平面波函数来编码晶体的几何信息，最终得到晶体图的几何结构信息的特征表达pij：
pij＝Wr{τrbf(|rij|)}+Wp{τpw(rij,Ω,a,b,c)⊙G}
式中Wr{}为待学习的参数；τrbf()为高斯径向基函数；rij为第i个锚质点和第j个邻居节点之间的相对距离；Wp{}为待学习的参数；τpw()为平面波函数；Ω为晶胞体积；a、b和c为晶体格基向量；⊙为哈达玛积；G为门函数；
S4.将步骤S2得到的晶体图和步骤S3得到的几何结构信息的特征表达，输入到构建的材料晶体属性预测初步模型中；
S5.采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，得到材料晶体属性预测模型；
S6.将目标材料的晶体学信息文件输入到步骤S5得到的材料晶体属性预测模型中，得到的输出结果为目标材料的晶体属性预测结果。
2.根据权利要求1所述的基于注意力机制的材料晶体属性预测方法，其特征在于步骤S4所述的将步骤S2得到的晶体图和步骤S3得到的几何结构信息的特征表达，输入到构建的材料晶体属性预测初步模型中，具体包括如下步骤：
材料晶体属性预测初步模型包括：
模型的输入特征向量包括晶体图的节点特征n，边特征eij和材料晶体几何结构特征pij；其中，节点特征n为采用独热编码的质点元素类型的特征向量，边特征eij所对应的编码为由原子之间距离所构建的高斯距离特征，材料晶体几何结构特征pij为汇聚了晶格矢量、原子坐标以及晶胞体积结构信息的特征；
采用特征处理层更新三种输入特征：
首先，采用两端节点特征更新边特征：
Figure FDA0004274408470000021
式中
Figure FDA0004274408470000022
为第l层更新后的边特征；We()为待学习参数，用于改变维度并匹配节点特征的维度；||为向量的拼接符号；i为锚节点，j为锚节点i的邻居节点，l为Crystal Transformer堆叠的层数；/>
Figure FDA0004274408470000023
为在第l层更新的图节点i的特征向量；/>
Figure FDA0004274408470000024
为在第l层更新的图节点i的邻居节点j的特征集合；
采用更新后的边特征更新与边相关的两端节点特征，同时引入晶体几何结构特征pij作为位置编码，并与
Figure FDA0004274408470000025
和/>
Figure FDA0004274408470000026
三个特征结合，具体操作采用如下算式表示：
Figure FDA0004274408470000027
Figure FDA0004274408470000028
Figure FDA0004274408470000029
式中⊙为逐元素相乘计算符号；
多头注意力模块用于融合处理后的三种特征，从而辅助更新晶体图中锚节点特征；自多头注意力模块的第一步为对于每个输入向量，创建一个查询向量
Figure FDA0004274408470000031
一个键向量/>
Figure FDA0004274408470000032
和一个值向量/>
Figure FDA0004274408470000033
对应的计算式如下：
Figure FDA0004274408470000034
Figure FDA0004274408470000035
Figure FDA0004274408470000036
式中
Figure FDA0004274408470000037
为待学习的查询向量权重；/>
Figure FDA0004274408470000038
为待学习的键向量权重；/>
Figure FDA0004274408470000039
为学习的值向量权重；k表示多头注意力模块的第k头，l表示更新层的第l层；/>
Figure FDA00042744084700000310
为第l层输入第k个注意力头的锚节点特征向量；/>
Figure FDA00042744084700000311
为第l层输入第k个注意力头的邻居节点特征向量；/>
Figure FDA00042744084700000312
为第l层输入第k个注意力头的边ij的特征向量；
具体实施时，首先根据H个头，将
Figure FDA00042744084700000313
和/>
Figure FDA00042744084700000314
的特征维度d分成H段，每一段的特征维度为d/H，从而得到/>
Figure FDA00042744084700000315
和/>
Figure FDA00042744084700000316
k＝1,2,...,H；然后，将查询向量与键向量相乘，计算锚节点i与其邻居节点j的相关性评分scorek,l为/>
Figure FDA00042744084700000317
为了训练过程的稳定性，在计算过程中，根据处理特征
Figure FDA00042744084700000318
的维度，对计算得到相关性评分进行缩放，得到/>
Figure FDA00042744084700000319
然后，通softmanx操作归一化计算得到对应的权重值/>
Figure FDA00042744084700000320
为/>
Figure FDA00042744084700000321
d为被缩放嵌入特征的维度；H为模型所含注意力头的数量；
将计算得到的权重值与值向量相乘，得到值向量的输出
Figure FDA00042744084700000322
为/>
Figure FDA00042744084700000323
对更新后的边特征求和，然后将H个注意力头计算得到的输出再次进行拼接，作为锚节点更新一次后的特征向量：具体计算式为：
Figure FDA0004274408470000041
其中
Figure FDA0004274408470000042
为多头注意力模块的输出；Concat()为拼接操作；k表示多头注意力模块中第k头，M表示锚节点i的所有邻居节点j的数量；
然后，将多头注意力模块的输出
Figure FDA0004274408470000043
首先经过线性映射Wo处理，再利用残差结构保存梯度并同时对处理后特征进行归一化，最后在两层的前向反馈传播层FFNl信息变换之后，得到锚节点i特征输出/>
Figure FDA0004274408470000044
具体计算式如下：
Figure FDA0004274408470000045
Figure FDA0004274408470000046
式中
Figure FDA0004274408470000047
为映射变换过程中的中间变量；Norm()为归一化操作；/>
Figure FDA0004274408470000048
为包含了残差梯度信息的多头注意力模块输出；Wo为待学习参数；/>
Figure FDA0004274408470000049
为上一层的融合特征l为0时则为初始节点特征；/>
Figure FDA00042744084700000410
为输入下一层模型的锚节点特征；FFNl()为全连接层；
门池化层用于聚合更新后的晶胞内所有锚节点特征，从而得到整个晶体图特征；具体计算式如下：
Figure FDA00042744084700000411
式中Wp1和Wp2为不带有偏置的线性映射；g()为激活函数；num为图中节点的数量；
经过门控池化层得到图级别的特征，模型完成一次晶体图特征汇聚更新；经过L次更新之后，模型得到晶体图的最终特征hL；然后，针对某个属性的预测任务，采用模型得到晶体图的最终特征hL，经过多层感知机模块，采用如下算式得到最后模型的预测值
Figure FDA00042744084700000412
所述的多层感知机模块为三层线性层；
Figure FDA0004274408470000051
式中MLP()为多层感知机层的操作函数。
3.根据权利要求2所述的基于注意力机制的材料晶体属性预测方法，其特征在于步骤S5所述的采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，得到材料晶体属性预测模型，具体包括如下步骤：
采用如下算式作为平均绝对误差计算式：
Figure FDA0004274408470000052
式中n为单个训练批次的样本数量；
Figure FDA0004274408470000053
为材料晶体属性预测初步模型的预测输出；Y为真实的属性标签；
采用平均绝对误差对材料晶体属性预测初步模型的模型参数进行训练，使得模型输出的预测值与真实的属性标签之间的距离越来越近，直至达到设定的要求；此时得到的模型为最终的材料晶体属性预测模型。
CN202211412413.1A 2022-11-11 2022-11-11 基于注意力机制的材料晶体属性预测方法 Active CN115713986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211412413.1A CN115713986B (zh) 2022-11-11 2022-11-11 基于注意力机制的材料晶体属性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211412413.1A CN115713986B (zh) 2022-11-11 2022-11-11 基于注意力机制的材料晶体属性预测方法

Publications (2)

Publication Number Publication Date
CN115713986A CN115713986A (zh) 2023-02-24
CN115713986B true CN115713986B (zh) 2023-07-11

Family

ID=85232803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211412413.1A Active CN115713986B (zh) 2022-11-11 2022-11-11 基于注意力机制的材料晶体属性预测方法

Country Status (1)

Country Link
CN (1) CN115713986B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668740B (zh) * 2024-02-02 2024-07-02 浙江晶盛机电股份有限公司 蓝宝石的长速异常检测方法、装置、电子装置和存储介质
CN118173207A (zh) * 2024-03-28 2024-06-11 苏州岽睿微电子科技有限公司 基于Transformer的材料多维属性预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109149350A (zh) * 2018-10-08 2019-01-04 安徽环巢光电科技有限公司 一种双包层环形波导激光晶体
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN114783608A (zh) * 2022-05-10 2022-07-22 电子科技大学 基于图自编码器的慢病人群疾病风险预测模型的构建方法
CN114818948A (zh) * 2022-05-05 2022-07-29 北京科技大学 一种图神经网络的数据-机理驱动的材料属性预测方法
CN114896408A (zh) * 2022-03-24 2022-08-12 北京大学深圳研究生院 一种材料知识图谱的构建方法、材料知识图谱及应用

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461475B (zh) * 2018-10-26 2022-05-13 中国科学技术大学 一种基于人工神经网络的分子属性预测方法
CN109977232B (zh) * 2019-03-06 2022-05-10 中南大学 一种基于力导图的图神经网络可视分析方法
CN112086147B (zh) * 2020-09-22 2023-11-03 中山大学 一种基于WebGL的三维晶体结构可视化方法
JP2022150078A (ja) * 2021-03-26 2022-10-07 富士通株式会社 情報処理プログラム、情報処理装置、及び情報処理方法
CN113327652B (zh) * 2021-05-11 2023-07-25 扬州大学 基于注意力机制和图卷积神经网络的晶体性质预测方法
CN113362915B (zh) * 2021-07-16 2022-08-02 上海大学 一种基于多模态学习的材料性能预测方法及系统
CN114388076A (zh) * 2021-12-30 2022-04-22 山东大学 基于深度学习的物体宏观物理属性预测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109149350A (zh) * 2018-10-08 2019-01-04 安徽环巢光电科技有限公司 一种双包层环形波导激光晶体
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN114896408A (zh) * 2022-03-24 2022-08-12 北京大学深圳研究生院 一种材料知识图谱的构建方法、材料知识图谱及应用
CN114818948A (zh) * 2022-05-05 2022-07-29 北京科技大学 一种图神经网络的数据-机理驱动的材料属性预测方法
CN114783608A (zh) * 2022-05-10 2022-07-22 电子科技大学 基于图自编码器的慢病人群疾病风险预测模型的构建方法

Also Published As

Publication number Publication date
CN115713986A (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN115713986B (zh) 基于注意力机制的材料晶体属性预测方法
Hu et al. FCAN-MOPSO: an improved fuzzy-based graph clustering algorithm for complex networks with multiobjective particle swarm optimization
ElAlami A filter model for feature subset selection based on genetic algorithm
Aydilek et al. A novel hybrid approach to estimating missing values in databases using k-nearest neighbors and neural networks
Moslehi et al. An evolutionary computation-based approach for feature selection
CN111696345A (zh) 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法
Chang et al. Automatic channel pruning via clustering and swarm intelligence optimization for CNN
Erlan C4. 5 Algorithm Application for Prediction of Self Candidate New Students in Higher Education
CN110473592A (zh) 基于图卷积网络的有监督的多视角人类协同致死基因预测方法
Liu et al. EACP: An effective automatic channel pruning for neural networks
Zheng et al. Ddpnas: Efficient neural architecture search via dynamic distribution pruning
Chen et al. Learning to plan via neural exploration-exploitation trees
Zuo et al. Domain selection of transfer learning in fuzzy prediction models
Mohbey et al. An experimental survey on single linkage clustering
Sajjadi et al. A hybrid clustering approach for link prediction in heterogeneous information networks
Samie et al. Local community detection based on influence maximization in dynamic networks
CN116130018A (zh) 有机晶体结构预测方法、装置、设备及存储介质
CN115757897A (zh) 一种基于知识图卷积网络的文化资源智能推荐方法
Du et al. LLM4ED: Large Language Models for Automatic Equation Discovery
Wang et al. Identification of influential nodes for drone swarm based on graph neural networks
Nayak et al. A modified differential evolution-based fuzzy multi-objective approach for clustering
Chen et al. Efficient evolutionary deep neural architecture search (NAS) by noisy network morphism mutation
Zhong et al. VMD-HHO-DELM: Decomposition and Optimization Model with Based Deep Extreme Learning Machine Algorithm for Predicting Short-Term Traffic Flow
Liu et al. GEM-2: Next Generation Molecular Property Prediction Network by Modeling Full-range Many-body Interactions
Galindo et al. Faster quantum alternative to softmax selection in deep learning and deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant