CN115862751B - 基于边特征更新聚合注意力机制的量子化学性质计算方法 - Google Patents
基于边特征更新聚合注意力机制的量子化学性质计算方法 Download PDFInfo
- Publication number
- CN115862751B CN115862751B CN202310119793.8A CN202310119793A CN115862751B CN 115862751 B CN115862751 B CN 115862751B CN 202310119793 A CN202310119793 A CN 202310119793A CN 115862751 B CN115862751 B CN 115862751B
- Authority
- CN
- China
- Prior art keywords
- edge
- node
- updating
- attention
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 title abstract description 18
- 230000002776 aggregation Effects 0.000 title abstract description 9
- 238000004220 aggregation Methods 0.000 title abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 43
- 239000000126 substance Substances 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 4
- 238000003775 Density Functional Theory Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005428 wave function Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004057 DFT-B3LYP calculation Methods 0.000 description 1
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 1
- 241000287462 Phalacrocorax carbo Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000874 microwave-assisted extraction Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000001845 vibrational spectrum Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于边特征更新聚合注意力机制的量子化学性质计算方法，属于量子化学计算领域，包括以下步骤：构建图注意力机制和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；构建分子表示图，基于特征嵌入模块获取分子表示图中分子的节点特征和边特征，将节点特征和边特征输入到NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于输出模块进行处理，输出分子的量子化学性质。本发明可以提高计算精度，在小数据集上也具有更好的泛化能力，证明了注意力机制在结合机器学习和计算化学上的可行性。
Description
技术领域
本发明属于量子化学计算领域，特别是涉及一种基于边特征更新聚合注意力机制的量子化学性质计算方法。
背景技术
根据分子结构预测分子的量子化学性质对分子筛选和药物设计具有重要意义。分子的量子化学性质可以通过多体薛定谔方程精确求解。但是，该方法仅适用于简单系统。因此，研究人员经常利用密度泛函理论（DFT）来近似求解复杂系统。可是，DFT原理计算方法的计算成本是巨大的。近年来，通过机器学习方法来减少计算量被证明是可行的。机器学习方法具有使计算时间下降几个数量级而损失少许精度的潜力。
然而，在传统机器学习中预测分子性质的任务中通常需要人类先验知识对原始数据进行编码，大部分机器学习方法依赖与手工制作的描述符，如库仑矩阵、键袋、扩展链接指纹、圆形指纹和分子指纹等。这种手工编码方法在不同分子结构体系中需要独立设计，存在较弱的通用性。随着大量分子和材料数据的出现，该类研究正朝着向数据驱动的表征学习转变。因此，更为常见的方法使用非欧结构来表示分子，可以将分子视为分子图（距离图、化学图、方向图）。图神经网络通过对节点和边上的特征进行学习而不是依赖手工制作的特征来预测属性，利用节点特征及其邻接计算原子的低维表示，并通过低维表示来估计分子化学性质的局部贡献，用于下游任务预测或逆向生成，这种端到端的架构，可以同时处理不同体系的分子及化合物。此外，图神经网络方法还具备模拟原子间复杂相互作用的能力，图神经网络的置换不变性可用于建模多原子系统的对称性，从而为分子的表征提供更接近第一性原理的特征提取。因此，图模型可以帮助一系列化学动力学计算，可以得到分子振转光谱、化学反应速率常数、反应共振等信息。
虽然使用图深度学习的方法可以满足化学数据的编码并提高量子化学计算的速度，但该类模型对训练数据的分布极为敏感。在训练数据较少的情况下，深度学习模型会出现过拟合，而且影响了模型的表征能力。
因此，亟需提出一种基于边特征更新聚合注意力机制的量子化学性质计算方法，提高计算精度，能够用于更多的下游任务，如可解释的深度学习架构，量子化学计算、三维几何的生成模型及波函数的预测，以辅助化学工作，对人工智能和化学的交叉领域具有重要价值。
发明内容
本发明的目的是提供一种基于边特征更新聚合注意力机制的量子化学性质计算方法，首先，将原子序数作为初始节点特征，欧氏距离作为初始边特征，将分子数据处理成一个分子表示图来保持原子系统的基本对称性，如旋转和平移不变性以及原子索引的置换不变性；其次，提出了一种新颖的图注意力机制，通过对边特征的注意力，可以更好地捕捉原子之间的相互作用；再次，设计了一种新型消息传递函数，即边特征更新策略，该方法能够动态更新图上的节点和边特征以提高图模型的表征能力；最后将该模型应用于12个量子化学回归任务中，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于边特征更新聚合注意力机制的量子化学性质计算方法，包括以下步骤：
在预测分子化学性质的场景中，构建图注意力机制和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；
构建分子表示图，基于所述特征嵌入模块获取所述分子表示图中分子的节点特征和边特征，将所述节点特征和边特征输入到所述NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于所述输出模块进行处理，最终输出分子的量子化学性质。
优选地，将所述边特征输入到所述NEAA交互模块之前还包括：基于径向基函数对所述边特征进行扩展，获得高维向量，并对所述高维特征进行线性变换，获得变换后的边的高维特征。
优选地，进行消息传递和特征更新的过程包括：基于边更新函数对所述边特征进行更新，获得更新后的边特征，基于消息函数对所述节点特征和更新后的边特征进行若干次消息传递，基于节点更新函数对所述节点特征进行更新，获得更新后的节点特征，最后基于图注意机制整合更新后的边特征和更新后的节点特征；
其中，所述边更新函数、消息函数和节点更新函数均为消息传递函数。
优选地，构建图注意机制的过程包括：基于所述消息函数，对注意力矩阵、节点特征和更新后的边特征进行逐元素乘法的运算，并向所述节点更新函数进行消息传递；所述节点更新函数接收传递的数据，并和节点特征进行逐元素加法的运算，获得更新后的节点特征，进而实现所述更新后的边特征和更新后的节点特征的整合。
优选地，所述注意力矩阵的生成过程包括：获取单个注意力头，对所有的单个注意力头进行拼接获得注意力矩阵。
优选地，获取单个注意力头的过程包括：基于若干个可训练的权重矩阵对节点特征和边的高维特征进行处理，并进行逐元素加法的运算，获得单个注意力头中的每个元素，进而获得单个注意力头。
优选地，基于所述输出模块处理分子中每个原子的节点特征的过程包括：所述节点特征在经过若干次消息传递后，输出最终的节点特征，基于多层神经网络对所述最终的节点特征进行处理后，进行线性变换，获得每个原子的贡献；对分子中每个原子的贡献进行求和处理，获得分子的量子化学性质。
优选地，改进后的消息传递神经网络模型的代价函数如下式所示：
其中，
表示分子量子化学性质的真实值，/>
表示在给定分子表示图/>
的情况下计算的分子量子化学性质，/>
表示数据样本的总数。
本发明的技术效果为：本发明的计算分子量子化学性质的方法融合了边特征更新与注意力机制，能够达到更小的拟合误差。
本发明提出的用于计算分子量子化学性质的方法，可以更好地捕捉分子的固有特征。与现有方法相比，本发明可以提高计算精度，而且在小数据集上也具有更好的泛化能力，证明了注意力机制在结合机器学习和计算化学上的可行性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的改进后的消息传递神经网络模型的框架示意图；
图2为本发明实施例中的新颖的图注意机制的结构示意图；
图3为本发明实施例中的性能比较示意图，其中，（a）为不同头数模型在性质U上的性能比较示意图、（b）为不同头数模型在性质U0上的性能比较示意图、（c）为不同头数模型在性质G上的性能比较示意图，（d）为不同层数模型的性能在性质U上比较示意图、（e）为不同层数模型的在性质U0上性能比较示意图、（f）为不同层数模型的在性质G上性能比较示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例以预测分子的化学性质为应用场景，提供一种基于边特征更新聚合注意力机制的量子化学性质计算方法，包括：
分子机器学习
使用机器学习预测分子性质的经典方法是利用手工制作的原子邻域描述符，高斯过程，或结合对称函数的神经网络。这些方法很大程度已被图神经网络取代，图神经网络不需要任何手工制作的特征，只需要根据原子类型和原子坐标进行表示学习。本实施例提出的算法仅需要学习节点和边的嵌入，根据消息传递动态更新节点和边上的特征，为下游任务提供通用的嵌入表示。
图神经网络
在图神经网络（Graph Neural Network,GNN）的方法论中，最突出的图数据处理算法是图卷积网络（Graph Convolutional Network, GCN），旨在解决图数据中节点关系的特征提取问题，并将卷积引入到图数据中。图注意力网络(Graph Attention Network，GAT)在GCN基础上引入了注意力机制，使得在特征聚合过程中能区分邻居与自身节点的重要性。消息传递范式作为GNN的通用框架，该范式将图学习模型分解为消息传递阶段和读出阶段。近年来，大多数图神经网络的研究工作都基于这一范式。但该范式仅考虑了节点特征的更新，而边上的关系特征在消息传递过程中是没有着重考虑的。
化学计算可以看作是一个图回归任务，通过将分子结构嵌入到子图或整个图中来计算其性质。本实施例算法采用图作为分子系统的对称表示，而不是设计复杂的手工描述符。在上述研究的基础上，提出了一个动态更新节点和边的消息传递范式的图注意力模型，旨在模拟原子之间的相互作用，满足原子系统对称性的同时，引入注意力机制以增加模型的学习能力。
本实施例算法使用消息传递神经网络MPNN作为的主干网络并在此基础上进行改进。模型的框架如图1所示，改进的MPNN作为主干网络，该框架由特征嵌入块、NEAA交互块、边特征更新块、输出块组成。而L1损失用于代价函数，可以表示为
其中，
表示分子量子化学性质的真实值，/>
表示在给定分子表示图/>
的情况下计算的分子量子化学性质，/>
表示数据样本的总数。
特征嵌入模块
在本实施例中，将分子中的每个原子视为图的节点，然后将分子中第
个原子的原子序数嵌入到特征向量/>
中，作为可学习字典的节点特征。
同时，将分子内原子间的欧式距离作为边特征
。并且/>
通过一组高斯核函数作为径向基函数（Radial Basis Function,RBF）函数进行扩展，即/>
生成一个高维向量,即/>
。
之后，进行线性变换对该高维特征进行初始化，以便于后续网络的学习。初始化的特征为
。
NEAA交互模块与边特征更新模块
消息传递神经网络（Message Passing Neural Network, MPNN）是预测分子化学性质最有前途的方法之一，但其在消息传递过程中仅更新了节点特征，边上的特征并没有进行有效学习和复用。因此，本实施例改进MPNN作为框架，在更新边特征的同时并制定了一种图注意力机制来代替原始MPNN算法中的聚合操作（例如，邻域特征的求和、平均或最大值）。该模型可以将权重分配给不同的邻接节点来提高捕获空间信息的能力。如图2所示，边特征
与节点特征/>
被送入EUS边特征更新模块与NEAA交互模块并经过T次消息传递步骤更新，每次消息传递过程由一个边更新函数/>
和一个消息函数/>
和一个节点更新函数/>
组成。
为了弥补消息传递机制的不足，使边上特征在每轮消息传递上动态更新，本实施例引入
，可写为：
图2所示，为了整合更新后的特征并将重要性因子分配给不同的相邻节点来捕获原子之间的相互作用，通过设计消息函数
和节点更新函数/>
，提出了一种新颖的图注意机制（Node-Edge-Aggregate-Attention，NEAA）可写为：
NEAA中的关键作用是注意力矩阵A的生成。受多头注意力机制的启发，对于每个注意力头
，三个可训练的权重矩阵/>
分别用于节点、邻居节点特征和边特征的线性变换。以扩展注意力机制来捕获节点和边上的高维特征。单个注意力头/>
中的每个元素/>
可以通过以下方式计算：
然后对其用softmax函数进行非线性变换得到注意力权重：
对于每个头，通过消息函数
和一个节点更新函数/>
计算/>
，然后将所有头的输出/>
连接起来转化为/>
，然后使用多层神经网络MLP将
的维数降为/>
。
NEAA交互块与EUS块可以堆叠以获得更好的表现力。在本实施例的工作中，消息传递次数设置为3。
输出模块
为了处理分子图中的每个原子节点特征，输出块旨在模拟局部贡献
对总贡献的作用。分子的量子化学性质可以通过将所有单个原子局部贡献相加来表示。
实验
数据集
为了验证本实施例提出的算法在分子量子化学性质计算中的有效性，本实施例选择公开数据集QM9进行实验。数据集QM9包含133885个稳态的有机小分子，具有多达7个重复原子（C、O、N、F）和包括H在内的总共多达29个原子。预测目标是12个量子化学目标任务，由B3LYP/6-31G(2df,p)水平的从头算量子化学方法得出，QM9中12个量子化学性质的描述见表1。
表1
实验配置
实验使用的硬件环境为Core i7-6700 CPU@3.40 GHz，GeForce GTX1080Ti GPU。算法由Python3.8开发，使用的图深度学习框架为DGL0.7.1，后端使用PyTorch1.10。在本实施例中，多层感知器（MLP，Multilayer Perceptron）由一个线性层和一个激活层组成，soft-plus激活函数
用于非线性变换。使用ADAM训练模型，初始学习率为1/>
10-4，并使用余弦衰减算法来调整学习率。批数据大小为36，消息传递次数T为3。
实验对比
为了评估模型在预测分子量子化学性质方面的性能，采用QM9数据集中12个分子化学性质作为预测任务。数据集划分是将110000个分子拆分用于训练，10000个分子用于验证，其余用于测试。
表2
本实施例算法与PPGN、SchNet、enn-s2s、Cormorant、L1Net、LieConv、TFN、SE(3)-Tr、EGNN作为对比。在表2中，报告了每个目标的平均绝对误差(MAE)。与其他所有算法相比，本实施例模型在半数任务上取得了最优。剩下六个任务上精度也达到了前三。与Schnet相比，本文算法GEUANN在除电子空间范围
表现不佳。这可能是因为该网络架构不适合在该性质的拟合。但在其余属性上均得到了提升，这证明了GEUANN在分子化学性质预测上的潜力。
小样本实验
为了充分探索本实施例算法在小数据集上的泛化性。挑取U、G、U0三个性质进行实验，将整个数据集随机分成不同样本大小（20000、40000、60000、80000）的训练集，并保持测试集（20000）固定。将Schnet作为对比。在测试集上评估的MAE如表3所示。结果表明，与Schnet相比，本实施例算法具有更好的泛化性。在三个目标属性上中，本文算法GEUANN在不同大小的训练集上始终优于Schnet，这证明了该模型的出色泛化性。这些结果证实本文算法可以捕捉分子中相互作用的内在原理，并为化学计算提供有效工具。随着训练集样本数的增加，注意力机制的优势也越来越明显。这一现象也与以往研究工作的结论一致，表明注意力机制具有较小的归纳偏差，适用于大型数据集。
表3
消融实验
为了验证GEUANN各个组件在模型中的作用，本实施例进行了消融实验。MAE结果如表4所示。可以看到，虽然加入节点注意力后在homo属性中表现稍差，这是由于忽略了原子间的距离信息，制约了模型的泛化性。但引入NEAA机制可以实现明显的提升。同时引入EUS后，拟合误差可以进一步减小，因此可以看出在消息传递过程中动态更新节点和边特征是必要的。
引入注意力后在目标U上精度明显提升。对节点加入注意力可以将MAE从19meV降低到15meV，比基线要好得多，而且在引入边特征更新（Edge Update）后，拟合误差进一步减小。因此，推测NEAA机制与EUS所捕捉到的内部规律更接近于第一性原理的原则性表达。
表4
此外，以U、U0、G为例，通过改变模型块中的头数和网络的层数以研究模宽度和深度的影响。如图3(a)(b)(c)所示。增加头数来扩大模型宽度，性能很快就会饱和，进一步增加头数，模型性能不会得到提升。同时，图3(d)(e)(f)显示了网络深度与模型性能之间的关系。随着模型层数的增加，模型表现出更好的性能，但是太多的层数会消耗更多的计算资源和需要更多训练时间进行收敛。
本实施例提出了用于计算分子量子化学性质的GEUANN模型，它可以更好地捕捉分子的固有特征。根据实验结果，本实施例方法可以提高准确性和泛化性。证明了注意力机制在结合机器学习和计算化学上的可行性。
本实施例所提出的方法能够用于更多的下游任务，如可解释的深度学习架构，量子化学计算、三维几何的生成模型及波函数的预测，以辅助化学工作，对人工智能和化学的交叉领域具有重要价值。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，包括以下步骤：
在预测分子化学性质的场景中，构建图注意力机制NEAA和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；
构建分子表示图，基于所述特征嵌入模块获取所述分子表示图中分子的节点特征和边特征，将所述节点特征和边特征输入到所述NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于所述输出模块进行处理，最终输出分子的量子化学性质；
其中，NEAA交互模块包括图注意力机制NEAA；
边特征更新模块包括：对自身节点特征、邻接节点特征和邻接边特征三者进行拼接，利用多层感知机MLP层生成特征，所述生成特征与拼接前的邻接边特征相加，获得更新后的边特征；
将分子中的每个原子视为分子表示图的节点，然后将分子中第i个原子的原子序数嵌入到特征向量中，作为学习字典的节点特征hi，同时，将分子内原子间的欧式距离作为边特征eij；
将所述边特征输入到所述NEAA交互模块之前还包括：基于径向基函数对所述边特征进行扩展，获得高维向量，并对所述高维向量进行线性变换，获得变换后的边的高维特征；
边特征eij通过一组高斯核函数作为径向基函数进行扩展，即G(eij)，生成一个高维向量,即
Δμ是高斯函数的偏移值，d是高斯函数的宽度值，μmin为
μmax为/>
k为50；
之后，对所述高维向量进行线性变换，线性变换后的高维特征为
进行消息传递和特征更新的过程包括：基于边更新函数对所述边特征进行更新，获得更新后的边特征，基于消息函数对所述节点特征和更新后的边特征进行若干次消息传递，基于节点更新函数对所述节点特征进行更新，获得更新后的节点特征，最后基于图注意力机制NEAA整合更新后的边特征和更新后的节点特征；
其中，所述边更新函数、消息函数和节点更新函数均为消息传递函数；
构建图注意力机制NEAA的过程包括：基于所述消息函数，对注意力矩阵、节点特征和更新后的边特征进行逐元素乘法的运算，并向所述节点更新函数进行消息传递；所述节点更新函数接收传递的数据，并和节点特征进行逐元素加法的运算，获得更新后的节点特征，进而实现所述更新后的边特征和更新后的节点特征的整合；
所述图注意力机制NEAA用于注意力矩阵A的生成，所述注意力矩阵A的生成过程包括：对于每个注意力头Ah，三个可训练的权重矩阵Wnode，Wnb，Wedge∈RF×F分别用于节点、邻居节点特征和边特征的线性变换，单个注意力头Ah中的每个元素
通过以下方式计算：
eguss为线性变换后的高维特征
基于所述输出模块处理分子中每个原子的节点特征的过程包括：所述节点特征在经过若干次消息传递后，输出最终的节点特征，基于多层感知机MLP层对所述最终的节点特征进行处理后，进行线性变换，获得每个原子的贡献；对分子中每个原子的贡献进行求和处理，获得分子的量子化学性质。
2.根据权利要求1所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，
所述注意力矩阵的生成过程包括：获取单个注意力头，对所有的单个注意力头进行拼接获得注意力矩阵。
3.根据权利要求1所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，
获取单个注意力头的过程包括：基于若干个可训练的权重矩阵对节点特征和边的高维特征进行处理，并进行逐元素加法的运算，获得单个注意力头中的每个元素，进而获得单个注意力头。
4.根据权利要求1所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，
改进后的消息传递神经网络模型的代价函数如下式所示：
其中，Ek表示分子量子化学性质的真实值，f(gk)表示在给定分子表示图gk的情况下计算的分子量子化学性质，N表示数据样本的总数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119793.8A CN115862751B (zh) | 2023-02-16 | 2023-02-16 | 基于边特征更新聚合注意力机制的量子化学性质计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119793.8A CN115862751B (zh) | 2023-02-16 | 2023-02-16 | 基于边特征更新聚合注意力机制的量子化学性质计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115862751A CN115862751A (zh) | 2023-03-28 |
| CN115862751B true CN115862751B (zh) | 2023-06-27 |
Family
ID=85658110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310119793.8A Active CN115862751B (zh) | 2023-02-16 | 2023-02-16 | 基于边特征更新聚合注意力机制的量子化学性质计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862751B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116705194B (zh) * | 2023-06-06 | 2024-06-04 | 之江实验室 | 一种基于图神经网络的药物抑癌敏感性预测方法与装置 |
| CN117672415B (zh) * | 2023-12-07 | 2024-08-06 | 北京航空航天大学 | 一种基于图神经网络的原子间相互作用势构建方法及系统 |
| CN117423379B (zh) * | 2023-12-19 | 2024-03-15 | 合肥微观纪元数字科技有限公司 | 采用量子计算的分子筛选方法及相关装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299354A (zh) * | 2021-05-14 | 2021-08-24 | 中山大学 | 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111710375B (zh) * | 2020-05-13 | 2023-07-04 | 中国科学院计算机网络信息中心 | 一种分子性质预测方法及系统 |
| EP4120138B1 (en) * | 2021-07-16 | 2024-03-27 | Tata Consultancy Services Limited | System and method for molecular property prediction using hypergraph message passing neural network (hmpnn) |
| CN113990408A (zh) * | 2021-10-11 | 2022-01-28 | 浙江大学 | 一种基于化学元素知识图谱的分子图对比学习方法 |
| CN115424681A (zh) * | 2022-08-25 | 2022-12-02 | 西北工业大学 | 基于图表示学习的共晶预测方法 |
-
2023
- 2023-02-16 CN CN202310119793.8A patent/CN115862751B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299354A (zh) * | 2021-05-14 | 2021-08-24 | 中山大学 | 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115862751A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115862751B (zh) | 基于边特征更新聚合注意力机制的量子化学性质计算方法 | |
| Satorras et al. | E (n) equivariant graph neural networks | |
| Qin et al. | Bipointnet: Binary neural network for point clouds | |
| Jahid et al. | Image analysis by Meixner moments and a digital filter | |
| Liang et al. | Survey of graph neural networks and applications | |
| WO2020211611A1 (zh) | 用于语言处理的循环神经网络中隐状态的生成方法和装置 | |
| Li et al. | Quantum algorithm for the nonlinear dimensionality reduction with arbitrary kernel | |
| Dhilber et al. | Community detection in social networks using deep learning | |
| Kose et al. | Fair contrastive learning on graphs | |
| CN114334028A (zh) | 基于图神经网络的不定3d结构生成方法、系统及存储介质 | |
| Akter et al. | Edge intelligence-based privacy protection framework for iot-based smart healthcare systems | |
| Cheng et al. | Denoising deep extreme learning machine for sparse representation | |
| Zhu et al. | Artificial intelligence (AI) for quantum and quantum for AI | |
| Zhang et al. | Graph pruning for model compression | |
| Ren et al. | Blockchain-powered tensor meta-learning-driven intelligent healthcare system with IoT assistance | |
| Ma et al. | Multi-view clustering based on view-attention driven | |
| Hdaib et al. | Quantum deep learning-based anomaly detection for enhanced network security | |
| Jiang et al. | Unsupervised contrastive learning with simple transformation for 3D point cloud data | |
| Kim et al. | Enhanced model reduction method via combined supervised and unsupervised learning for real-time solution of nonlinear structural dynamics | |
| Liu et al. | An incremental broad learning approach for semi-supervised classification | |
| Lian et al. | SORCNet: robust non-rigid shape correspondence with enhanced descriptors by Shared Optimized Res-CapsuleNet | |
| Ai et al. | Towards Quantum Graph Neural Networks: An Ego-Graph Learning Approach | |
| JP7118882B2 (ja) | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム | |
| Duan et al. | Hamiltonian-based data loading with shallow quantum circuits | |
| Kulatilleke et al. | Efficient block contrastive learning via parameter-free meta-node approximation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |