CN117747012A - 一种晶体性质预测方法、装置、计算机设备和储存介质 - Google Patents
一种晶体性质预测方法、装置、计算机设备和储存介质 Download PDFInfo
- Publication number
- CN117747012A CN117747012A CN202410157552.7A CN202410157552A CN117747012A CN 117747012 A CN117747012 A CN 117747012A CN 202410157552 A CN202410157552 A CN 202410157552A CN 117747012 A CN117747012 A CN 117747012A
- Authority
- CN
- China
- Prior art keywords
- crystal
- matrix
- head
- property prediction
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013078 crystal Substances 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 208000037280 Trisomy Diseases 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 229910052729 chemical element Inorganic materials 0.000 abstract 1
- 239000000463 material Substances 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 19
- 239000000126 substance Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 150000002500 ions Chemical class 0.000 description 4
- 238000000329 molecular dynamics simulation Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000005182 potential energy surface Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001568 sexual effect Effects 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005381 potential energy Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001313846 Calypso Species 0.000 description 1
- 238000004510 Lennard-Jones potential Methods 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007772 electrode material Substances 0.000 description 1
- 239000003792 electrolyte Substances 0.000 description 1
- 239000002001 electrolyte material Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005212 lattice dynamic Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007784 solid electrolyte Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000011232 storage material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种晶体性质预测方法、装置、计算机设备和储存介质。该方法包括：构造截断函数，根据截断函数获得待预测晶体元素的环境描述符；根据环境描述符的径向和角度获取待预测晶体元素的中心原子的径向矩阵和角度矩阵；对径向矩阵和角度矩阵进行嵌入操作，将嵌入操作后的结果输入到多头自注意力机制中进行性质预测。本发明根据截断函数获得了更优的环境描述符，通过获取该环境描述符的径向矩阵和角度矩阵捕捉了晶体元素的结构特征，将径向和角度矩阵进行嵌入操作有助于学习晶体元素的高级特征，将嵌入结果输入到多头自注意力机制中可以更全面地考虑环境描述符的各个方面，从而更准确地预测化学元素的性质。
Description
技术领域
本发明涉及计算化学和物理技术领域，特别涉及一种晶体性质预测方法、装置、计算机设备和储存介质。
背景技术
晶体元素通常指的是在晶体结构中组成晶体的元素。晶体是一种物质的结晶形式，其中原子、分子或离子以高度有序的方式排列，形成具有周期性结构的固体。这种有序的结构使得晶体具有独特的物理和化学性质。在晶体中，原子或分子沿特定方向和间距排列，形成晶格。晶格的特定排列方式决定了晶体的晶体结构，而晶格中存在的元素则被称为晶体元素。这些元素的排列方式直接影响了晶体的性质，例如光学、热学和电学性质。每个晶体元素在晶体中占据特定的位置，其相互间的排列方式和连接方式由晶体的结构决定。不同的元素和晶体结构导致了各种不同类型的晶体，包括金属晶体、共价晶体、离子晶体等。对晶体元素进行预测具有多方面的作用和意义，通过对晶体元素的预测，科学家和工程师可以更有效地设计和发现新型材料，了解晶体元素的性质和结构可以帮助预测材料的特定性质，例如电导率、热导率、机械性能等，这对于开发具有特定应用需求的先进材料，如电子器件、光学材料、能源存储材料等，具有重要的意义。可以用于进行高通量材料筛选。这意味着可以快速地评估大量的潜在材料，从而减少实验室试验的时间和成本。这对于快速发现具有特定性能的新型材料具有重要意义。
数十年来，第一性原理方法一直被广泛认可为一种有效的模拟材料特性的手段。由于第一性原理方法通常需要近似求解薛定谔方程，其计算复杂度与电子数量的三次方成正比，因此，巨大的计算消耗限制了其用于大尺度体系及复杂物理过程的模拟。例如，成核、缺陷和相变通常受到尺度效应的影响，需要对不同尺度的晶胞进行动力学模拟。另外，固体电解质中的离子扩散过程对电解质材料的电导率有着重要的影响，这在工业应用中具有巨大的研究价值。然而，对于这一过程的模拟可能需要延续至纳秒量级。第一性原理计算方法通常无法涵盖这一时间和空间尺度。上世纪初人们基于物理经验发展了众多经验势或半经验势方法，优点是计算效率高，且符合物理经验。例如被用于研究稀有气体性质的Lennard-Jones势、ESMSV势，用于计算双原子分子振动能级的Morse势，用于研究金属或合金体系的EAM势等。这些势通常在构建时大多基于物理经验或实验参数，因此构建过程也较为复杂。同时他们通常仅在某类特定材料体系中可以得到较为准确的解析解，即可移植性较弱。机器学习方法做为一种数据驱动模式，可以很好的平衡计算精度与计算效率，满足大尺度体系的模拟的要求。若以第一性原理的计算数据做为驱动构建机器学习模型，便可获得第一性原理的计算精度，并具有较高的计算效率。同时其良好的计算可扩展性也容易在未来的异构超级计算机上设计并行算法，实现材料模拟的大规模并行。机器学习势方法在上20世纪90年代被提出，最早用于研究分子在表面的扩散问题，但由于缺少合适的描述符，因此仅受限于简单低维体系的研究。2007年Belher和Parrinello提出对称函数(SF)法保持了材料旋转、平移以及置换对称性，将神经网络拓展至高维势能面(HDNNP)。用训练好的机器学习势代替第一性原理力场极大的加速了分子动力学模拟的速度。2010年Bartók等人提出基于原子位置光滑重叠(SOAP)描述符的高斯近似势(GAP)，该方法可以通过训练集(先验)计算分子动力学模拟中每一步构型的不确定度，有效的提高的机器学习势原子模拟的可靠性，但是由于在GAP的训练过程中需要对整个训练集构建协方差矩阵，因此应用于复杂体系的模拟时可能会导致计算机内存溢出的风险。2016年AlexanderV.Shapeev等基于矩张量描述符发展了矩张量势(MTP)，MTP势是当时精度最高的线性回归神经网络势模型。2018年Zhang等在前人基础上发展并大力推广DeePMD-kit势。Xie Tian等、K.T.Schütt等基于晶体或分子的图结构将图神经网络模型(CGCNN,SchNet)应用于机器学习势的构建，近一步提高了神经网络模型的精度。Simon Batzner等和K.T.Schütt等又在图神经网络的基础上建立等变神经网络模型NequIP等，以直接学习诸如原子受力等矢量性质。虽然图神经网络和等变神经网络的精度较高，但测试表明相对早期Belher等发展方法的HDNNP方法存在大规模并行难度较大，计算效率略低等的缺点。
现有技术中，申请公布号CN 108536998 A，申请公布日：2018.09.14，公开了一种适用于机器学习势能面构造的物质结构描述方法，该方法构造一系列特征函数作为输入信息，这些特征函数以原子间键长、键角为基本变量，通过组合幂函数、截断函数、球谐函数及三角函数构造原子周围环境，包含成键、配位等结构信息，利用机器学习方法训练物质体系的全局势能面数据，得到机器学习势能面。
但是，以上方法获得在进行势能面构造时，直接将特征函数作为输入信息可能导致机器学习模型仅能学习到初级特征无法学习到更具有代表含义的高级特征，导致其对未知数据的预测性能不高。
发明内容
本发明提供一种晶体性质预测方法、装置、计算机设备和储存介质，可以解决现有技术中对晶体元素性质预测性能不高的技术问题。
本发明提供一种晶体元素性质预测方法，包括：
设定截断半径，根据截断半径构造用于关注待预测晶体元素中位于截断半径近内的原子的截断函数，根据截断函数获得待预测晶体元素的环境描述符；
根据环境描述符的径向和角度，获取待预测晶体元素的中心原子的结构特征：径向矩阵和角度矩阵；
通过对径向矩阵和角度矩阵进行嵌入操作以学习待预测晶体元素的泛化能力强的特征表示，将嵌入操作后的结果输入到能够表达环境描述符各个方面的多头自注意力机制中进行晶体元素的性质预测。
进一步的，所述截断函数，包括：
其中，fc(·)是余弦截断函数，rij是截断半径内中心原子之间的距离，rc是所设定的截断半径。
进一步的，所述环境描述符的获取步骤包括：
获得中心原子的三体项：
其中，是中心原子的三体项，l指角度描述符函数勒让德多项式的阶数，其中lmax是勒让德多项式允许的最大阶数，n是描述符切比雪夫多项式的阶数，nAmax是描述符中切比雪夫多项式允许的最大阶数，rij是截断半径内中心原子之间的距离，rik是邻居原子之间的距离，Pl(cosθijk)是l阶勒让德多项式，θijk是rij和rik之间的夹角；
gn(rij)是距离rij的函数，Tn是第一类n阶Chebyshev多项式。
进一步的，所述径向矩阵和角度矩阵的获取步骤包括：
根据环境描述符的径向和角度将中心原子的环境描述符分成两部分；
根据邻近原子的元素类型将两部分分别组织成大小为 和大小为/>的矩阵，其中，Nele是元素种类数目。
进一步的，所述对径向矩阵和角度矩阵进行嵌入操作，包括：
使用两个具有激活函数的多层全连接神经网络分别对这两个矩阵的行向量组合，形成两个长度分别为和/>的向量；
将这两个向量拼接在一起获得嵌入结果。
进一步的，所述将嵌入操作后的结果输入到多头自注意力机制中进行性质预测，包括：
采用线性组合层将嵌入结果改变成长度为d维的特征；
长度为d的特征被平均分为h个部分，每个部分被送入一个头，每个头的特征维度为dh＝d/h；
每个头通过三个矩阵进行投影，构造查询query、键key和值value；
查询query、键key通过缩放余弦评分函数计算中心原子对邻域原子的注意力评分：
score＝cos(Qi，Ki)/τ
其中，score是中心原子对邻域原子的注意力评分，Qi是第i个原子的查询，Ki是第i个原子的键，τ是学习的标量；
根据注意力评分获得各个头的输出：
Headi＝score×Vi
其中，Headi是第i个头的输出，Vi是第i个原子的值；
将每个头的输出进行拼接获得最终输出：
MultiHead(xi)＝Concatenate(head1,…,headh)WO
其中，Concatenate(·)是拼接操作，xi是结构的原子位置，WO是神经网络中的待训练参数。
进一步的，所述多头自注意力机制中的连接方式是层归一化和残差连接。
一种晶体性质预测装置，包括：
环境描述符获取模块，用于设定截断半径，根据截断半径构造用于关注待预测晶体元素中位于截断半径近内的原子的截断函数，根据截断函数获得待预测晶体元素的环境描述符；
径向矩阵和角度矩阵获取模块，用于根据环境描述符的径向和角度，获取待预测晶体元素的中心原子的结构特征：径向矩阵和角度矩阵；
晶体性质预测模块，用于通过对径向矩阵和角度矩阵进行嵌入操作以学习待预测晶体元素的泛化能力强的特征表示，将嵌入操作后的结果输入到能够表达环境描述符各个方面的多头自注意力机制中进行晶体元素的性质预测。
一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的晶体性质预测方法。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的晶体性质预测方法。
本发明提供一种晶体性质预测方法、装置、计算机设备和储存介质，与现有技术相比，其有益效果如下：
本发明根据截断函数关注待预测晶体元素中位于截断半径近内的原子，获得了更优的环境描述符，通过获取该环境描述符的径向矩阵和角度矩阵捕捉了晶体元素的结构特征，将径向和角度矩阵进行嵌入操作有助于学习待预测晶体元素的泛化能力强的特征表示，将嵌入结果输入到多头自注意力机制中，多头自注意力机制可以更全面地考虑环境描述符的各个方面，从而更准确地预测晶体元素的性质。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本说明书提供的流程图；
图2是本说明书提供的框架示意图；
图3是本说明书提供的嵌入操作示意图；
图4是本说明书提供的全连接神经网络示意图；
图5是本说明书提供的注意力机制示意图；
图6是本说明书提供的多头注意力机制示意图；
图7是本说明书提供的两种机器学习势精度对比图，图6左是ARES-FF和ARES-ATTN的对于不同元素的能量均方根误差对比，图6右是ARES-FF和ARES-ATTN的对于不同元素的受力均方根误差对比；
图8是本说明书提供的不同体系对于不同元素的GPU训练加速示意图，直方图的左侧是xeon体系，右侧是NVDIA体系；
图9是本说明书提供的原子数分别为30000、240000、1920000的三种不同尺度的体系的并行效率测试；
图10是本说明书提供的的计算机设备示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
实施例
晶体的结构可以用布拉维格子(Bravais lattice)和基元(unit cell)来描述。布拉菲格子是一个无限的、离散的点阵结构，它用来描述晶体中原子、分子或离子的周期性排列。基元是晶体中最小的重复结构单元，包含了晶体中所有原子、分子或离子的信息。为了建模晶体结构，首先要描述原子在空间的几何环境，然后根据原子所在位置，嵌入元素信息。如图1～图2所示，一种多元复杂晶体元素性质预测方法，首先输入原子位置获得原子的环境描述符；然后结合待模拟晶体中的元素C获得嵌入表示；将嵌入表述输入到多头自注意力机制中输出待预测晶体结构的势能和力。具体包括以下步骤：
步骤1、获得原子局域环境描述符
根据局域性原则，系统的能量可以近似分解为各个原子能量贡献之和。原子中心局域环境Ri与原子能量贡献Ei的映射关系由神经网络来表示，其中wi是待训练的参数：
其中，Etotal是体系总能量，q(·)是描述符计算算法，rij是为i与j原子的距离，Ni指的是以原子i为中心的局部环境中的邻居原子的数量。由于不同的中心原子通常具有不同数量的邻域原子，并且集合Ri也无法保持邻域原子的置换对称性，因此不能直接将其输入神经网络进行训练。需要将Ri映射到一个保持对称性的固定维度的中间变量q，即所谓的描述符。原子受力和维里张量可以通过下述导数计算得到
其中，Fij为i原子受j原子的力，Ui为i原子的原子能量，Wi指代i原子受到的位力张量，也就是i原子对晶胞压力的贡献，与上文的可训练参数无关。
选择改进过的原子团簇展开(ACE)方法，这种形式继承了ACE方法的优秀特性，包括对原子局部环境的完整描述、线性计算复杂度以及高效的收敛性。为了在计算效率和精度之间取得平衡，最多使用三体项。具体来说，对于中心原子i，二体项定义如下：
三体项定义如下：
其中，rij和rik是截断半径内中心原子和邻居原子之间的距离，Pl(cosθijk)是l阶勒让德多项式，θijk是rij和rik之间的夹角。gn(rij)是距离rij的函数，其形式如下：
其中，Tn是第一类n阶Chebyshev多项式，fc(rij)是余弦截断函数，定义如下：
余弦截断函数使得函数gn在截断半径rc处的函数值和导数值都能平滑地趋近于零，从而确保当原子穿过截断半径时，原子能量和原子受力平滑变化。一般可以将角度截断半径设置的比径向截断半径/>小，这在计算上有利于减少角度描述符的计算成本。对于三体项，可以利用球谐函数的加法定理，使其以线性时间复杂度计算：
上式是l阶勒让德多项式的展开表达式，简化后的方程(2)可以重新写为：
其中，δ0l是克罗内克符号，指当l＝0时值为1，l≠0时值为0，Ylm是是球谐函数，其中下标1和m是球谐函数阶数的指标。
步骤2、嵌入操作
嵌入晶体元素信息有助于捕捉不同元素之间的化学差异和物理性质。元素的类型直接关联到分子或晶体的化学键性质以及晶格结构，有助于模型学习这些关联，提高对结晶和分子结构的理解。此外对于多元素复杂体系，不同元素的电子结构差异导致它们在材料中的行为有所不同，例如，对于晶格动力学、热导率、电导率等性质，不同元素的存在将影响这些性质的表现。通过嵌入晶体元素的信息，可以更好地捕捉电子结构的变化，对电子状态和能带结构等进行更准确的建模。再比如电池的表界面问题中,电池的性能直接受到电极材料、电解质和界面相互作用等多种因素的影响，而电池问题的模拟中通常会涉及多种元素。发展能够准确刻画晶体元素类型及其在结构中位置的嵌入方式，模型能够更好地预测系统的能量、结构和其他相关性质。因此总的来说，晶体元素信息可以提高机器学习模型对材料性质的预测准确性。有望为材料科学、能源储存等领域带来新的突破，为深入了解多元素凝聚态系统的性质提供了新的视角。
由于描述符只能编码原子环境的空间信息，而对于复杂化合物来说，显式地编码晶体元素信息可以提高机器学习模型的准确性。因此，引入了元素嵌入模块来进一步在空间描述符之上嵌入元素信息。嵌入模块的工作流程如图3所示。该模块首先根据描述符类型(径向和角度)将中心原子的描述符分成两部分，然后根据邻近原子的元素类型将每一部分组织成一个矩阵。如果晶体中包含Nele种元素，径向部分和角度部分得到的两个矩阵的形状分别为和/>接下来，使用两个具有tanh激活函数的多层全连接神经网络，如图3所示，分别对这两个矩阵和行向量组合，形成两个长度分别为/>和/>的向量。最后，将这两个向量拼接在一起。
元素嵌入操作在这个方法中有以下好处：1.嵌入操作学习化学环境描述符的更高级别表示。通过将环境描述符嵌入到更具语义信息的空间中，模型可以更好地捕捉描述元素周围化学环境的关键特征，有助于提高系统对复杂化学结构的理解和建模能力。2.晶体元素信息的嵌入操作可以帮助降低数据的维度，从而减少计算的复杂性，并提高模型的泛化能力，通过将环境描述符映射到更紧凑的表示空间，可以去除一些噪声或冗余信息，使得模型更专注于关键的结构特征。3.提高模型的学习效率：将晶体元素嵌入操作后的结果输入到多头自注意力机制中，可以更好地捕捉局部和全局之间的关系。自注意力机制能够根据不同位置的重要性动态地调整权重，使得模型能够更灵活地处理不同尺度和复杂性的环境信息。4.增强模型的泛化能力：嵌入操作可以帮助模型更好地泛化到未见过的化学环境。通过学习到更具抽象表达力的特征，模型可以更好地适应不同的化学结构，而不仅仅是记忆训练数据中的特定实例。
步骤3、注意力模块预测
注意力模块将描述符作为输入，如图5所示。首先采用线性组合层改变成d维。使用与Transformer中类似的多头自注意机制。长度为d的特征被平均分为h个部分，每个部分被送入一个头，这桩每个头的特征维度为dh＝d/h。如图6所示，每个头首先通过三个矩阵进行投影，构造查询(query)，键(key)和值(value)。查询和键通过评分函数计算中心原子对邻域原子的注意力评分。使用缩放余弦评分函数，由于他的它自然归一化，因此可以得到较温和的注意力值。每个头的输出可以解释为值的加权和，
score＝cos(Qi,Ki)/τ
Headi＝score×Vi
其中，τ是可学习的标量。多头机制中每个头专注于输入特征的不同部分，从而实现更全面的信息捕捉。多头输出由每个头拼接可写成，
MultiHead(xi)＝Concatenate(head1，...，headh)WO
待模拟的物理系统中的原子数量往往较大。因此，类似于描述符的处理方式，人为地设置了截断半径使得中心原子只需计算截断半径内的注意力评分，从而减少计算量。通过使用注意力机制，邻域原子对中心原子贡献的重要信息被学习。此外由于描述符模块的输出已经包含了截断半径/>内的局部信息，注意力层在此基础上再次构建了截断半径内的加权表示，因此可将最远/>(其中Nattn表示注意力模块的数量)的原子信息关联到中心原子的表示中，如图4所示。为了确保包含多层多注意力模块的模型能够有效的被训练，使用了层归一化和残差连接。
ACNN(Attention Coupled Neural Network)是一个用于构建机器学习原子间相互作用势模型软件。ACNN将多头自注意力机制耦合在传统的短程机器学习势之上，这样设计的优点，第一多头注意力机制可以对周围近邻原子进行有侧重性的计算，将对中心原子贡献较大的邻域原子自动化的分配更大的权重，有助于获得更好的对原子局域环境的描述。第二，将注意力机制耦合到短程神经网络的同时，引入了消息传递(Message Passing)机制，这使得ACNN可以将更远处的相互作用纳入到机器学习势的范围中，因此ACNN具有比传统短程机器学习势更好的精度。另一方面，通过在短程神经网络势之上耦合注意力层的模块式设计方案允许用户根据特定的要求，自由决定是否使用注意力机制。这样可以针对待模拟系统的真实情况及任务要求，训练具有不同精度的机器学习势模型。
非注意力神经网络模型的算法具有较高并行可扩展性，可以在多种计算硬件(CPU、GPU)上实现百万原子量级的大尺度体系模拟。注意力神经网络并行可扩展性略低于前者，但可以捕获更全面的原子环境信息，进而获得更精准的机器学习势模型。
本说明书提供的方法通过设置截断半径获得了仅包含截断半径内信息的描述符，将该描述符输入到多头自注意机制中，多头自注意机制只需计算截断半径内的注意力评分，减少了计算量，并且多头自注意机制构建了截断半径内的加权表示，可以将最远的原子信息关联到中心原子的表示中，使得识别精度更高。
训练好的机器学习模型可以用于大尺寸体系或长时间物理过程的分子动力学模拟，预测材料的性质，如硬度、强度、热导率等，也可以优化材料的结构，以达到更好的性能和稳定性。ACNN使用C++语言编写，C++提供了完整的面向对象编程支持，包括封装、继承和多态，在具有较高运行效率的同时使程序更易于理解、扩展和维护。此外ACNN训练实现了CUDA C++的GPU加速，极大的提高了训练过程中的计算效率。
本说明书还提供了元素化学性质预测方法的实验验证：
如图7所示，ACNN的精度测试包含单质，复杂多元体系等。能量误差10-3～10-4eV/atom，受力误差小于可能用于实际体系的模拟。
如图8所示，ACNN使用CUDA C++计算效率测试，测试包含单质，复杂多元体系等，对于百原子量级以上的复杂体系，GPU可提供高达到8.5倍的加速。
如图9所示，ACNN在CPU上的并行可扩展性测试，384核内并行效率高于70％。对于约200万原子体系，分子动力学习模拟速度约为1.5s/step.
此外ACNN实现了与ARES、LAMMPS、CALYPSO等材料设计软件的接口，形成了统一的材料研发和设计平台，可用于加速大尺度复杂体系的结构搜索、材料稳定性及材料多种力学、热学性质的模拟。
关于晶体元素性质预测装置的具体限定可以参见上文中对于晶体元素性质预测方法的限定，在此不再赘述。上述晶体元素性质预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述晶体元素性质预测方法。
本说明书还提供了图10所示的计算机设备的结构示意图，如图10所示，在硬件层面，该计算机设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述的晶体元素性质预测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种晶体性质预测方法，其特征在于，包括:
设定截断半径，根据截断半径构造用于关注待预测晶体元素中位于截断半径近内的原子的截断函数，根据截断函数获得待预测晶体元素的环境描述符；
根据环境描述符的径向和角度，获取待预测晶体元素的中心原子的结构特征：径向矩阵和角度矩阵；
通过对径向矩阵和角度矩阵进行嵌入操作以学习待预测晶体元素的泛化能力强的特征表示，将嵌入操作后的结果输入到能够表达环境描述符各个方面的多头自注意力机制中进行晶体元素的性质预测。
2.根据权利要求1所述的晶体性质预测方法，其特征在于，所述截断函数，包括：
其中，fc(·)是余弦截断函数，rij是截断半径内中心原子之间的距离，rc是所设定的截断半径。
3.根据权利要求1所述的晶体性质预测方法，其特征在于，所述环境描述符的获取步骤包括：
获得中心原子的三体项：
其中，是中心原子的三体项，l指角度描述符函数勒让德多项式的阶数，其中lmax是勒让德多项式允许的最大阶数，n是描述符切比雪夫多项式的阶数，/>是描述符中切比雪夫多项式允许的最大阶数，rij是截断半径内中心原子之间的距离，rik是邻居原子之间的距离，Pl(cosθijk)是l阶勒让德多项式，θijk是rij和rik之间的夹角；
gn(rij)是距离rij的函数，Tn是第一类n阶Chebyshev多项式。
4.根据权利要求3所述的晶体性质预测方法，其特征在于，所述径向矩阵和角度矩阵的获取步骤包括：
根据环境描述符的径向和角度将中心原子的环境描述符分成两部分；
根据邻近原子的元素类型将两部分分别组织成大小为 和大小为的矩阵，其中，Nele是元素种类数目。
5.根据权利要求4所述的晶体性质预测方法，其特征在于，所述对径向矩阵和角度矩阵进行嵌入操作，包括：
使用两个具有激活函数的多层全连接神经网络分别对这两个矩阵的行向量组合，形成两个长度分别为和/>的向量；
将这两个向量拼接在一起获得嵌入结果。
6.根据权利要求5所述的晶体性质预测方法，其特征在于，所述将嵌入操作后的结果输入到多头自注意力机制中进行性质预测，包括：
采用线性组合层将嵌入结果改变成长度为d维的特征；
长度为d的特征被平均分为h个部分，每个部分被送入一个头，每个头的特征维度为dh＝d/h；
每个头通过三个矩阵进行投影，构造查询query、键key和值value；
查询query、键key通过缩放余弦评分函数计算中心原子对邻域原子的注意力评分：
score＝cos(Qi,Ki)/τ
其中，score是中心原子对邻域原子的注意力评分，Qi是第i个原子的查询，Ki是第i个原子的键，τ是学习的标量；
根据注意力评分获得各个头的输出：
Headi＝score×Vi
其中，Headi是第i个头的输出，Vi是第i个原子的值；
将每个头的输出进行拼接获得最终输出：
MultiHead(xi)＝Concatenate(head1,..，headh)WO
其中，Concatenate(·)是拼接操作，xi是结构的原子位置，WO是神经网络中的待训练参数。
7.根据权利要求6所述的晶体性质预测方法，其特征在于，所述多头自注意力机制中的连接方式是层归一化和残差连接。
8.一种晶体性质预测装置，其特征在于，包括：
环境描述符获取模块，用于设定截断半径，根据截断半径构造用于关注待预测晶体元素中位于截断半径近内的原子的截断函数，根据截断函数获得待预测晶体元素的环境描述符；
径向矩阵和角度矩阵获取模块，用于根据环境描述符的径向和角度，获取待预测晶体元素的中心原子的结构特征：径向矩阵和角度矩阵；
晶体性质预测模块，用于通过对径向矩阵和角度矩阵进行嵌入操作以学习待预测晶体元素的泛化能力强的特征表示，将嵌入操作后的结果输入到能够表达环境描述符各个方面的多头自注意力机制中进行晶体元素的性质预测。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410157552.7A CN117747012A (zh) | 2024-02-04 | 2024-02-04 | 一种晶体性质预测方法、装置、计算机设备和储存介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410157552.7A CN117747012A (zh) | 2024-02-04 | 2024-02-04 | 一种晶体性质预测方法、装置、计算机设备和储存介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117747012A true CN117747012A (zh) | 2024-03-22 |
Family
ID=90254842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410157552.7A Pending CN117747012A (zh) | 2024-02-04 | 2024-02-04 | 一种晶体性质预测方法、装置、计算机设备和储存介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117747012A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117954023A (zh) * | 2024-03-26 | 2024-04-30 | 西安慧算智能科技有限公司 | 一种基于多步骤深度学习模型的材料结构预测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536998A (zh) * | 2018-03-05 | 2018-09-14 | 复旦大学 | 一种适用于机器学习势能面构造的物质结构描述方法 |
| CN112382352A (zh) * | 2020-10-30 | 2021-02-19 | 华南理工大学 | 基于机器学习的金属有机骨架材料结构特征快速评估方法 |
| CN113327652A (zh) * | 2021-05-11 | 2021-08-31 | 扬州大学 | 一种基于注意力机制和晶体图卷神经网络的晶体性质预测和分类方法 |
| CN114067929A (zh) * | 2021-11-15 | 2022-02-18 | 中南大学 | 非晶物质结构的动态预测方法 |
-
2024
- 2024-02-04 CN CN202410157552.7A patent/CN117747012A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536998A (zh) * | 2018-03-05 | 2018-09-14 | 复旦大学 | 一种适用于机器学习势能面构造的物质结构描述方法 |
| CN112382352A (zh) * | 2020-10-30 | 2021-02-19 | 华南理工大学 | 基于机器学习的金属有机骨架材料结构特征快速评估方法 |
| CN113327652A (zh) * | 2021-05-11 | 2021-08-31 | 扬州大学 | 一种基于注意力机制和晶体图卷神经网络的晶体性质预测和分类方法 |
| CN114067929A (zh) * | 2021-11-15 | 2022-02-18 | 中南大学 | 非晶物质结构的动态预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YIWEN HU: "Deep language models for interpretative and predictive materials science", APL MACHINE LEARNING, vol. 2023, no. 1, 14 February 2023 (2023-02-14), pages 010901 - 1 * |
| ZHEYONG FAN: "GPUMD: A package for constructing accurate machine-learned potentials and performing highly efficient atomistic simulations", THE JOURNAL OF CHEMICAL PHYSICS, vol. 2022, no. 157, 20 September 2022 (2022-09-20), pages 114801 - 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117954023A (zh) * | 2024-03-26 | 2024-04-30 | 西安慧算智能科技有限公司 | 一种基于多步骤深度学习模型的材料结构预测方法及装置 |
| CN117954023B (zh) * | 2024-03-26 | 2024-06-11 | 西安慧算智能科技有限公司 | 一种基于多步骤深度学习模型的材料结构预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Thomas et al. | Tensor field networks: Rotation-and translation-equivariant neural networks for 3d point clouds | |
| Wen et al. | Deep potentials for materials science | |
| Jia et al. | Pushing the limit of molecular dynamics with ab initio accuracy to 100 million atoms with machine learning | |
| Fox et al. | Learning everywhere: Pervasive machine learning for effective high-performance computation | |
| US11455439B2 (en) | Neural network force field computational algorithms for molecular dynamics computer simulations | |
| CN117747012A (zh) | 一种晶体性质预测方法、装置、计算机设备和储存介质 | |
| US11817184B2 (en) | Graph neural network force field computational algorithms for molecular dynamics computer simulations | |
| Song et al. | Reliability-based design optimization using adaptive surrogate model and importance sampling-based modified SORA method | |
| EP4158640A1 (en) | Systems and methods for determining molecular properties with atomic-orbital-based features | |
| Chen et al. | Generative models for inverse design of inorganic solid materials | |
| Wu et al. | From tensor-network quantum states to tensorial recurrent neural networks | |
| CN115862751B (zh) | 基于边特征更新聚合注意力机制的量子化学性质计算方法 | |
| Xin et al. | Active-learning-based generative design for the discovery of wide-band-gap materials | |
| CN111710376A (zh) | 大分子及团簇体系分块计算负载均衡方法及系统 | |
| CN114334028A (zh) | 基于图神经网络的不定3d结构生成方法、系统及存储介质 | |
| Zeng et al. | A nearsighted force-training approach to systematically generate training data for the machine learning of large atomic structures | |
| Cao et al. | A deep and stable extreme learning approach for classification and regression | |
| CN116959600A (zh) | 分子状态预测方法、装置和存储介质 | |
| Zhao et al. | Achieving real-time lidar 3d object detection on a mobile device | |
| WO2023047843A1 (ja) | モデル生成方法、データ提示方法、データ生成方法、推定方法、モデル生成装置、データ提示装置、データ生成装置、及び推定装置 | |
| Cian et al. | Atomistic Graph Neural Networks for metals: application to bcc iron | |
| Grega et al. | Energy-conserving equivariant GNN for elasticity of lattice architected metamaterials | |
| Zhang et al. | Design automation for fast, lightweight, and effective deep learning models: A survey | |
| De Fabritiis | Machine Learning Potentials: A Roadmap Toward Next-Generation Biomolecular Simulations | |
| Yang et al. | CURATOR: Building Robust Machine Learning Potentials for Atomistic Simulations Autonomously with Batch Active Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |