CN118072861A - 一种基于多模态特征融合的分子优化方法、设备及介质 - Google Patents

一种基于多模态特征融合的分子优化方法、设备及介质 Download PDF

Info

Publication number
CN118072861A
CN118072861A CN202410457872.4A CN202410457872A CN118072861A CN 118072861 A CN118072861 A CN 118072861A CN 202410457872 A CN202410457872 A CN 202410457872A CN 118072861 A CN118072861 A CN 118072861A
Authority
CN
China
Prior art keywords
molecules
molecular
optimization
model
feature fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410457872.4A
Other languages
English (en)
Other versions
CN118072861B (zh
Inventor
祝艺玮
李中伟
张�浩
柳彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Guogong Intelligent Technology Co ltd
Original Assignee
Yantai Guogong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Guogong Intelligent Technology Co ltd filed Critical Yantai Guogong Intelligent Technology Co ltd
Priority to CN202410457872.4A priority Critical patent/CN118072861B/zh
Publication of CN118072861A publication Critical patent/CN118072861A/zh
Application granted granted Critical
Publication of CN118072861B publication Critical patent/CN118072861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/50—Molecular design, e.g. of drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computing Systems (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于多模态特征融合的分子优化方法、设备及介质，方法包括：收集优秀性质分子；针对优秀性质分子，提取对应的第一分子特征，并确定目标分子的第二分子特征；输入至预先训练的计算化学大模型中，输出多个优化分子；基于预先设置的评价标准对优化分子进行评价，并根据评价分数确定是否继续通过计算化学大模型对优化分子进行优化。通过机器学习训练到的计算化学大模型对分子优化，不仅提高自动化水平以及优化效率。而且可以基于实际需求，选择相应的优质性质分子，保证了泛用性。并且还可以基于后续需求，对计算化学大模型进行模块的增加，保证了可扩展空间。

Description

一种基于多模态特征融合的分子优化方法、设备及介质
技术领域
本申请涉及机器学习领域，具体涉及一种基于多模态特征融合的分子优化方法、设备及介质。
背景技术
在化学领域中，分子优化是分子设计与发现的关键步骤，其可通过化学修饰分子从而改善目标分子的所需特性，目标是发现与已知起始分子相比具有改善的特性的分子（产生新的有效分子，使分子特性最大化，同时保持与输入分子的相似性）。比如，在先导优化中，可以改变先导分子的化学结构以提高它们的选择性和特异性。
在传统的分子优化方案中，分子优化过程是根据化学家的知识和经验规划的，并通过基于片段的筛选或合成来进行。因此，其并不具备可扩展或自动化。
发明内容
为了解决上述问题，本申请提出了一种基于多模态特征融合的分子优化方法，包括：
收集优秀性质分子，其中，所述优秀性质分子指的是，该分子的指定性质满足预设的实验要求；
针对所述优秀性质分子，提取对应的第一分子特征，并确定目标分子的第二分子特征；
根据所述第一分子特征，以及所述第二分子特征，输入至预先训练的计算化学大模型中，输出多个优化分子；
基于预先设置的评价标准对所述优化分子进行评价，并根据评价分数确定是否继续通过所述计算化学大模型对所述优化分子进行优化。
在一个示例中，所述计算化学大模型的训练过程包括：
获取所述优秀性质分子的量子化学描述符以及分子指纹，并将所述量子化学描述符以及所述分子指纹作为所述第一分子特征；
针对目标分子的第一SMILE表达式进行正则化处理，并将正则化处理结果作为所述目标分子的第二分子特征；其中，所述正则化处理中的正则化规则为：对输入的第一SMILE表达式筛选出目标分子所包含的元素，并对元素之间进行分割，得到正则化处理结果；
根据所述第一分子特征、所述第二分子特征生成训练样本，对计算化学大模型进行训练。
在一个示例中，获取所述优秀性质分子的量子化学描述符，具体包括：
针对当前所属的研究体系，获取对应的波函数信息；
基于所述波函数信息，针对原子电荷，通过Hirshfeld形变密度划分的定义方式进行计算；针对简缩福井函数描述符，通过所述原子电荷得到；针对键级，通过Mayer的定义方式进行计算；针对键临界点处的相关描述符，通过AIM理论，将分子中的电子密度零通量面作为原子间的分界面，得到多个AIM划分下的原子空间，并通过所述原子空间得到键临界点处的相关描述符。
在一个示例中，所述计算化学大模型采用开源的模型chemformer，其采用encoder-decoder的模型架构，并采用transformer网络结构；
在所述计算化学大模型设置多模态特征融合模块，所述多模态特征融合模块以挂件的形式与chemformer模型进行结合；
在所述计算化学大模型的训练过程中，对chemformer中的encoder部分、decoder部分的参数进行冻结，仅对所述多模态特征融合模块的参数进行训练。
在一个示例中，所述计算化学大模型在融合过程中采用注意力机制，所述注意力机制的公式为：
；
其中，Q、K、V分别表示查询query、键key、值value的向量矩阵，表示键key的向量矩阵的维度。
在一个示例中，所述多模态特征融合模块在训练过程中采用mask tokenprediction的训练任务，所述训练任务的过程包括：
输入包括两个部分，第一部分为优秀性质分子对应的第一分子特征，其输入到多层感知机MLP网络中进行多模态特征融合，得到优秀性质分子的第一向量表征；第二部分为目标分子对应的第二分子特征，其输入到chemformer的encoder部分中得到编码后的第二向量表征；
将所述第一向量表征、所述第二向量表征同时输入到所述多模态特征融合模块进行向量计算，得到融合向量表征；
将所述融合向量表征输入到解码器中进行解码，转换成第二SMILE表达式；
通过交叉熵损失函数计算所述第二SMILE表达式与设定的正确第二SMILE表达式之间的损失值，并采用反向传播算法对未冻结部分的网络模型参数进行更新，直至所述损失值收敛。
在一个示例中，所述计算化学大模型的模型参数设定为：多头注意力层的头数设定为8；优化器使用自适应调整的Adam；采用warm启动方式且参数设定为500；损失函数使用的是交叉熵损失函数；批尺寸batch_size为256；丢弃单元dropout为0.1。
在一个示例中，基于预先设置的评价标准对所述优化分子进行评价，根据评价分数确定是否继续通过所述计算化学大模型对所述优化分子进行优化，具体包括：
确定预先设置的，所述目标分子对应的评价标准，以及分子骨架的相似度约束，其中，所述相似度约束用于保证优化分子与目标分子之间的结构相似度；
通过所述评价标准对所述多个优化分子进行评价，得到评价分数；
若所述评价分数符合预设要求，则停止对所述目标分子的优化；
若所述评价分数不符合预设要求，则在所述多个优化分子中，选取评价分数最高的部分优化分子，代替所述目标分子进行优化，直至得到的优化分子符合所述预设要求。
另一方面，本申请还提出了一种基于多模态特征融合的分子优化设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：上述任一示例所述的基于多模态特征融合的分子优化方法。
另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：上述任一示例所述的基于多模态特征融合的分子优化方法。
通过本申请提出基于多模态特征融合的分子优化方法能够带来如下有益效果：
通过机器学习训练到的计算化学大模型对分子优化，不仅提高自动化水平以及优化效率。而且可以基于实际需求，选择相应的优质性质分子，保证了泛用性。并且还可以基于后续需求，对计算化学大模型进行模块的增加，保证了可扩展空间。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中基于多模态特征融合的分子优化方法的流程示意图；
图2为本申请实施例中计算化学大模型的训练过程示意图；
图3为本申请实施例中计算化学大模型的使用过程示意图；
图4为本申请实施例中基于多模态特征融合的分子优化设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请实施例提供基于多模态特征融合的分子优化方法，包括：
S101：收集优秀性质分子，其中，所述优秀性质分子指的是，该分子的指定性质满足预设的实验要求。
指定性质可以包括：活性、选择性、固体量、qed等化学性质。针对实际情况，设置相应的实验要求，从而选择在该实验要求下的优秀性质分子。
而优秀性质分子的选取可以是通过已经公开的文献、化学分子数据库pubchem等获取。
S102：针对所述优秀性质分子，提取对应的第一分子特征，并确定目标分子的第二分子特征。
S103：根据所述第一分子特征，以及所述第二分子特征，输入至预先训练的计算化学大模型中，输出多个优化分子。
如图2所示，在计算化学大模型的训练过程中，将优秀性质分子的第一分子特征、目标分子（也就是本次需要进行优化的分子）的第二分子特征作为训练样本，对该计算化学大模型进行训练。如图3所示，在实际使用过程中，将第一分子特征、第二分子特征作为输入，输出优化后的多个优化分子。
具体地，计算化学大模型的训练过程包括：
如图2所示，获取优秀性质分子的量子化学描述符以及分子指纹，并将量子化学描述符以及分子指纹作为第一分子特征。
其中，量子化学描述符，要计算的描述符一般都是基于电子密度定义的，为了得到这些描述符，首先要对当前所属的研究体系，在相应的方法和基组上进行量子化学计算，获得体系的波函数信息。再通过这些波函数信息进行下一步计算，针对原子电荷，通过Hirshfeld形变密度划分的定义方式进行计算；针对简缩福井函数描述符，通过原子电荷得到。针对键级，通过Mayer的定义方式进行计算；针对键临界点处的相关描述符，通过AIM（Atoms in Molecules）理论，将分子中的电子密度零通量面作为原子间的分界面，得到多个AIM划分下的原子空间，并通过原子空间得到键临界点处的相关描述符。
分子指纹，基于RDKit化学计算库计算得出一种常用的分子指纹类型，可以用于进行分子的相似性和结构分析等。
而针对目标分子，将其SMILE表达式（为方便描述，在此称作第一SMILE表达式）进行正则化处理，并将正则化处理结果作为目标分子的第二分子特征。
其中，正则化处理中的正则化规则为：对输入的第一SMILE表达式筛选出目标分子所包含的元素，并对元素之间进行分割，得到正则化处理结果。
例如，通过空格对元素之间进行分割，得到的分割结果示例为：C C 1 = C C = C( C = C 1 ) C l，其中，每个元素中间均通过空格进行了分割，以满足计算化学大模型的输入规则的数据。
根据第一分子特征、第二分子特征生成训练样本，对计算化学大模型进行训练。每个训练样本中均包含对应的第一分子特征、第二分子特征。而训练样本可以按照8：1：1的比例分为训练集、验证集、测试集，用于模型训练。
进一步地，计算化学大模型采用开源的模型chemformer，其采用encoder-decoder的模型架构，并采用transformer网络结构。
在计算化学大模型设置多模态特征融合模块（简称为特征融合模块），如图2所示，多模态特征融合模块以挂件的形式与chemformer模型进行结合。
在计算化学大模型的训练过程中，对chemformer中的encoder部分（如图2所示，其主要指代编码器）、decoder部分（如图2所示，其主要指代解码器）的参数进行冻结，仅对多模态特征融合模块的参数进行训练。
计算化学大模型在融合过程中采用注意力机制，注意力机制分别从目标分子表征向量和量化计算描述符、分子指纹的向量表征中进行信息的获取。
注意力机制的公式为： 。
其中，Q、K、V分别表示查询query、键key、值value的向量矩阵，表示键key的向量矩阵的维度。
更进一步地，多模态特征融合模块在训练过程中采用mask token prediction的训练任务，训练任务的过程包括：
输入包括两个部分，第一部分为优秀性质分子对应的第一分子特征，其输入到多层感知机MLP网络中进行多模态特征融合，得到优秀性质分子的第一向量表征；第二部分为目标分子对应的第二分子特征，其输入到chemformer的encoder部分中得到编码后的第二向量表征。
将第一向量表征、第二向量表征同时输入到多模态特征融合模块进行向量计算，得到融合向量表征。将融合向量表征输入到解码器中进行解码，转换成第二SMILE表达式。
通过交叉熵损失函数计算第二SMILE表达式与设定的正确第二SMILE表达式之间的损失值，并采用反向传播算法对未冻结部分的网络模型参数进行更新，直至损失值收敛，完成对计算化学大模型的训练。
另外，计算化学大模型的模型参数设定为：多头注意力层的头数设定为8；优化器使用自适应调整的Adam；采用warm启动方式且参数设定为500；损失函数使用的是交叉熵损失函数；批尺寸batch_size为256；丢弃单元dropout为0.1。
S104：基于预先设置的评价标准对所述优化分子进行评价，并根据评价分数确定是否继续通过所述计算化学大模型对所述优化分子进行优化。
如图3所示，在对计算化学大模型训练完毕后，首先确定预先设置的，目标分子对应的评价标准，以及分子骨架的相似度约束，其中，相似度约束用于保证优化分子与目标分子之间的结构相似度，在目标性质提升的同时，其他性质不发生太大的改变。
使用计算化学大模型，目标分子以第一SMILE表达式的形式输入到模型encoder部分进行编码，优秀性质分子则是以量子化学描述符和分子指纹的形式输入到多层感知机MLP网络中进行特征融合。将以上两个向量表征依次输入到多模态特征融合模块，经由decoder部分进行向量解码得到n个优化后的优化分子。
通过评价标准对多个优化分子进行评价，得到评价分数。若评价分数符合预设要求（比如，至少若干个优化分子的评价分数达到预设分数），则停止对目标分子的优化。
若评价分数不符合预设要求，则在n个优化分子中，选取评价分数最高的部分优化分子（比如，选取m个优化分子），代替目标分子进行优化，直至得到的优化分子符合预设要求。其中，m和n可以基于实际情况进行设置。
如图4所示，本申请实施例还提供了一种基于多模态特征融合的分子优化设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：上述任一实施例所述的基于多模态特征融合的分子优化方法。
本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：上述任一实施例所述的基于多模态特征融合的分子优化方法。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于多模态特征融合的分子优化方法，其特征在于，包括：
收集优秀性质分子，其中，所述优秀性质分子指的是，该分子的指定性质满足预设的实验要求；
针对所述优秀性质分子，提取对应的第一分子特征，并确定目标分子的第二分子特征；
根据所述第一分子特征，以及所述第二分子特征，输入至预先训练的计算化学大模型中，输出多个优化分子；
基于预先设置的评价标准对所述优化分子进行评价，并根据评价分数确定是否继续通过所述计算化学大模型对所述优化分子进行优化。
2.根据权利要求1所述的方法，其特征在于，所述计算化学大模型的训练过程包括：
获取所述优秀性质分子的量子化学描述符以及分子指纹，并将所述量子化学描述符以及所述分子指纹作为所述第一分子特征；
针对目标分子的第一SMILE表达式进行正则化处理，并将正则化处理结果作为所述目标分子的第二分子特征；其中，所述正则化处理中的正则化规则为：对输入的第一SMILE表达式筛选出目标分子所包含的元素，并对元素之间进行分割，得到正则化处理结果；
根据所述第一分子特征、所述第二分子特征生成训练样本，对计算化学大模型进行训练。
3.根据权利要求2所述的方法，其特征在于，获取所述优秀性质分子的量子化学描述符，具体包括：
针对当前所属的研究体系，获取对应的波函数信息；
基于所述波函数信息，针对原子电荷，通过Hirshfeld形变密度划分的定义方式进行计算；针对简缩福井函数描述符，通过所述原子电荷得到；针对键级，通过Mayer的定义方式进行计算；针对键临界点处的相关描述符，通过AIM理论，将分子中的电子密度零通量面作为原子间的分界面，得到多个AIM划分下的原子空间，并通过所述原子空间得到键临界点处的相关描述符。
4.根据权利要求2所述的方法，其特征在于，所述计算化学大模型采用开源的模型chemformer，其采用encoder-decoder的模型架构，并采用transformer网络结构；
在所述计算化学大模型设置多模态特征融合模块，所述多模态特征融合模块以挂件的形式与chemformer模型进行结合；
在所述计算化学大模型的训练过程中，对chemformer中的encoder部分、decoder部分的参数进行冻结，仅对所述多模态特征融合模块的参数进行训练。
5.根据权利要求4所述的方法，其特征在于，所述计算化学大模型在融合过程中采用注意力机制，所述注意力机制的公式为：
；
其中，Q、K、V分别表示查询query、键key、值value的向量矩阵，表示键key的向量矩阵的维度。
6.根据权利要求4所述的方法，其特征在于，所述多模态特征融合模块在训练过程中采用mask token prediction的训练任务，所述训练任务的过程包括：
输入包括两个部分，第一部分为优秀性质分子对应的第一分子特征，其输入到多层感知机MLP网络中进行多模态特征融合，得到优秀性质分子的第一向量表征；第二部分为目标分子对应的第二分子特征，其输入到chemformer的encoder部分中得到编码后的第二向量表征；
将所述第一向量表征、所述第二向量表征同时输入到所述多模态特征融合模块进行向量计算，得到融合向量表征；
将所述融合向量表征输入到解码器中进行解码，转换成第二SMILE表达式；
通过交叉熵损失函数计算所述第二SMILE表达式与设定的正确第二SMILE表达式之间的损失值，并采用反向传播算法对未冻结部分的网络模型参数进行更新，直至所述损失值收敛。
7.根据权利要求6所述的方法，其特征在于，所述计算化学大模型的模型参数设定为：多头注意力层的头数设定为8；优化器使用自适应调整的Adam；采用warm启动方式且参数设定为500；损失函数使用的是交叉熵损失函数；批尺寸batch_size为256；丢弃单元dropout为0.1。
8.根据权利要求4所述的方法，其特征在于，基于预先设置的评价标准对所述优化分子进行评价，根据评价分数确定是否继续通过所述计算化学大模型对所述优化分子进行优化，具体包括：
确定预先设置的，所述目标分子对应的评价标准，以及分子骨架的相似度约束，其中，所述相似度约束用于保证优化分子与目标分子之间的结构相似度；
通过所述评价标准对所述多个优化分子进行评价，得到评价分数；
若所述评价分数符合预设要求，则停止对所述目标分子的优化；
若所述评价分数不符合预设要求，则在所述多个优化分子中，选取评价分数最高的部分优化分子，代替所述目标分子进行优化，直至得到的优化分子符合所述预设要求。
9.一种基于多模态特征融合的分子优化设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：执行权利要求1~8中任一项权利要求所述的基于多模态特征融合的分子优化方法。
10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：执行权利要求1~8中任一项权利要求所述的基于多模态特征融合的分子优化方法。
CN202410457872.4A 2024-04-17 2024-04-17 一种基于多模态特征融合的分子优化方法、设备及介质 Active CN118072861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410457872.4A CN118072861B (zh) 2024-04-17 2024-04-17 一种基于多模态特征融合的分子优化方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410457872.4A CN118072861B (zh) 2024-04-17 2024-04-17 一种基于多模态特征融合的分子优化方法、设备及介质

Publications (2)

Publication Number Publication Date
CN118072861A true CN118072861A (zh) 2024-05-24
CN118072861B CN118072861B (zh) 2024-07-23

Family

ID=91097457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410457872.4A Active CN118072861B (zh) 2024-04-17 2024-04-17 一种基于多模态特征融合的分子优化方法、设备及介质

Country Status (1)

Country Link
CN (1) CN118072861B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707236A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于图神经网络的药物小分子性质预测方法、装置及设备
CN114937478A (zh) * 2022-05-18 2022-08-23 北京百度网讯科技有限公司 用于训练模型的方法、用于生成分子的方法和装置
CN115762659A (zh) * 2022-10-19 2023-03-07 清华大学 融合smiles序列和分子图的分子预训练表示方法及系统
CN115798632A (zh) * 2022-11-23 2023-03-14 上海交通大学 基于神经网络的药物分子结构辅助设计方法
CN117116383A (zh) * 2023-09-13 2023-11-24 江苏运动健康研究院 基于预训练微调的药物分子优化方法及装置
CN117153294A (zh) * 2023-10-31 2023-12-01 烟台国工智能科技有限公司 一种单一体系的分子生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707236A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于图神经网络的药物小分子性质预测方法、装置及设备
CN114937478A (zh) * 2022-05-18 2022-08-23 北京百度网讯科技有限公司 用于训练模型的方法、用于生成分子的方法和装置
CN115762659A (zh) * 2022-10-19 2023-03-07 清华大学 融合smiles序列和分子图的分子预训练表示方法及系统
CN115798632A (zh) * 2022-11-23 2023-03-14 上海交通大学 基于神经网络的药物分子结构辅助设计方法
CN117116383A (zh) * 2023-09-13 2023-11-24 江苏运动健康研究院 基于预训练微调的药物分子优化方法及装置
CN117153294A (zh) * 2023-10-31 2023-12-01 烟台国工智能科技有限公司 一种单一体系的分子生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAZHEN HE, AT EL.: "Molecular optimization by capturing chemist’s intuition using deep neural networks", JOURNAL OF CHEMINFORMATICS, 31 December 2021 (2021-12-31), pages 1 - 17 *
ROSS IRWIN, AT EL.: "Chemformer: a pre-trained transformer for computational chemistry", MACHINE LEARNING: SCIENCE AND TECHNOLOGY, 31 January 2022 (2022-01-31), pages 1 - 13 *
上海市人工智能行业协会: "《AI加速键：上海人工智能创新发展探索与实践案例集》", 30 June 2021, 上海交通大学出版社, pages: 51 *
李定等: "计算机辅助药物设计基础", 31 March 2018, 西北农林科技大学出版社, pages: 152 - 153 *

Also Published As

Publication number Publication date
CN118072861B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
CN113837370B (zh) 用于训练基于对比学习的模型的方法和装置
CN114093430A (zh) 通过使用神经网络合成目标产物的方法和装置
Zhao et al. Simplifying reinforced feature selection via restructured choice strategy of single agent
Mi et al. Memory augmented neural model for incremental session-based recommendation
CN112634992A (zh) 分子性质预测方法及其模型的训练方法及相关装置、设备
CN105184398A (zh) 一种电力最大负荷小样本预测方法
US20230223112A1 (en) Retrosynthesis using neural networks
CN115577872B (zh) 基于多能智能体深度强化学习的结构化数据预测优化方法
Tang et al. A survey on transformer compression
Jafari et al. RETRACTED ARTICLE: Solving the protein folding problem in hydrophobic-polar model using deep reinforcement learning
Xavier-Júnior et al. A novel evolutionary algorithm for automated machine learning focusing on classifier ensembles
Dubhir et al. Benchmarking of quantization libraries in popular frameworks
CN117711526A (zh) 一种基于良好分子表征的化合物admet性质预测方法
CN118072861B (zh) 一种基于多模态特征融合的分子优化方法、设备及介质
CN117874673A (zh) 一种异常数据检测、解释方法
CN116959591A (zh) 基于跨模态模型的靶点信息处理方法、装置、设备及介质
US20220230712A1 (en) Systems and methods for template-free reaction predictions
US12040050B1 (en) Systems and methods for rational protein engineering with deep representation learning
CN111736845B (zh) 一种编码方法和装置
CN116522999B (zh) 模型搜索与时延预测器训练方法、装置、设备及存储介质
Oh et al. Hyperparameter Optimization of the Machine Learning Model for Distillation Processes
US20240070538A1 (en) Feature interaction using attention-based feature selection
CN116913393B (zh) 一种基于强化学习的蛋白质进化方法及装置
Tang et al. D-GHNAS for Joint Intent Classification and Slot Filling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant