CN112331277B - 一种基于强化学习的路径可控的药物分子生成方法 - Google Patents

一种基于强化学习的路径可控的药物分子生成方法 Download PDF

Info

Publication number
CN112331277B
CN112331277B CN202011168563.3A CN202011168563A CN112331277B CN 112331277 B CN112331277 B CN 112331277B CN 202011168563 A CN202011168563 A CN 202011168563A CN 112331277 B CN112331277 B CN 112331277B
Authority
CN
China
Prior art keywords
reactant
reaction
product
template
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011168563.3A
Other languages
English (en)
Other versions
CN112331277A (zh
Inventor
李成涛
柳俊宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Pharmaceutical Technology Beijing Co ltd
Original Assignee
Star Pharmaceutical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Pharmaceutical Technology Beijing Co ltd filed Critical Star Pharmaceutical Technology Beijing Co ltd
Priority to CN202011168563.3A priority Critical patent/CN112331277B/zh
Publication of CN112331277A publication Critical patent/CN112331277A/zh
Application granted granted Critical
Publication of CN112331277B publication Critical patent/CN112331277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/50—Molecular design, e.g. of drugs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/10—Analysis or design of chemical reactions, syntheses or processes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)

Abstract

本发明公开了一种基于强化学习的路径可控的药物分子生成方法，由初始分子R0,通过Agent寻找最佳反应模版T0和反应物a0，再通过environment搜索与最佳反应物相似的反应物集，返回该集合中受益最大的中间反应产物R1,同时将中间产物加入分子库中，反复循环，直至搜索结束找到最佳反应产物；该方法不仅可结合传统药物生成的经验模版，同时利用强化学习的搜索不断寻找最佳的反应类型，得到最高回报价值的药物分子；还结合传统基于经验搜索、测验的方法和基于深度生成模型两者的优势，不仅能得到有效的药物合成路径，还能扩大搜索空间，生成更多样化的分子结构，能大幅度地降低全新药物分子的研发时间，所得药物分子具有极高的可行性。

Description

一种基于强化学习的路径可控的药物分子生成方法
技术领域
本申请属于药物研发领域，具体涉及人工智能药物研发领域。
背景技术
药物分子的生成是药物研究的重要基础，全新药物分子的生成不仅要求最终生成的分子满足特定的生物化学药性需求，而且需要保证该分子真实生成的可能性。由于分子空间的庞大性及分子间反应类型与反应位点的多样性，分子的生成路径并不唯一，如何找到最高效、最经济的生成方式是药物生成中的重要挑战。传统基于经验筛选、实验测试等的药物研发过程虽然能明确地显示出药物的生成过程，但是研发周期过于缓慢，且生成路径并不一定是最优的。
近几年来，利用深度学习方法进行全新药物分子生成取得显著进展。常用的深度生成模型包括生成对抗网络(GAN)、变分自编码器(VAE)、结合长短记忆网络(LSTM)的图网络模型等。生成网络通过使用药物分子的SMILES(简化分子线性输入规范)序列、Graph表示等可以生成拥有特定药学性质的多样化的药物分子，然而这类方法仅能得到形式上的有效分子，并没有明确的、可解释性的生成路径，不能保证所得分子在实验过程中是否能够真正生成，从而严重限制了其实际情况的适用性。全新药物分子生成不仅需要生存创新的分子，同时需要生成该分子的生成路径。
发明内容
发明目的：利用以往经验反应模版生成可生成的分子，又通过强化搜索功能寻找新型分子，通过多次迭代搜索来生成分子，在保证分子结构和性质多样性的同时也确保了分子的可生成性。
技术方案：一种基于强化学习的路径可控的药物分子生成方法，由初始分子R0,通过Agent寻找最佳反应模版T0和反应物a0，再通过environment搜索与最佳反应物相似的反应物集，返回该集合中受益最大的中间反应产物R1,同时将中间产物加入分子库中，反复循环，直至搜索结束找到最佳反应产物。具体过程如下：
(1)在分子库中选取一个小分子作为初始状态R0，并令当前状态Rt＝R0；
(2)将当前状态Rt通过Agent得到反应模版Tt及对应的反应物at，并计算当前反应物at的Q值；
(3)在环境中通过k最近邻算法(K-NN)寻找反应库中与at相似的k个反应集{ak}；
(4)Rt按照模版Tt分别与{ak}中的每一种反应物反应，并将得到的产物通过评价函数，计算长期收益包含历史Q值，返回最大收益所对应的产物Rt+N及对应收益的中间产物；Rt+N是N次反应的对应的产物。
(5)进行多次类似(2)－(4)agent和environment的筛选得到反应模版及对应的反应物，并计算每个中间产物的Q值；
(6)根据(1)－(5)的过程，分析Q值，筛选反应模板及最佳反应物，得到最高收益的分子合成路径。
整个训练过程：该发明使用Double DQN(双层深度Q网络)和Negative Smapling(负采样，一种优化目标函数的方法)策略来学习模型中各网络的参数。
技术效果：本发明创新性地提出了一种基于强化学习的路径可控的药物分子生成方法，该方法不仅可结合传统药物合成的经验模版，同时利用强化学习的搜索不断寻找最佳的反应类型，得到最高回报价值的药物分子。该方法结合传统基于经验搜索、测验的方法和基于深度生成模型两者的优势，不仅能得到有效的药物合成路径，还能扩大搜索空间，生成更多样化的分子结构，同时大幅度地降低全新药物分子的研发时间，且所得药物分子具有极高的可行性。
附图说明
图1是本发明强化学习中Agent、Environment框架；
图2是本发明生成全新分子及其路径的示意图；
图3是本发明分子合成路径示意图。
具体实施方案
为了在生成多样化药物分子的同时，保证分子在实验中合成的可行性，本发明提出一种基于强化学习的路径可控的全新分子生成方法，既利用以往经验反应模版生成可合成的分子，又通过强化搜索功能寻找新型分子。该方法包含Agent和environment两部分。首先从小分子库中选取合适的小分子作为初始状态，然后Agent依据当前状态，选择一个最佳的反应模版及反应物，并计算当前回报值，随即通过environment寻找与最佳反应物相似的k个反应物，通过反应预测及评价函数后，返回收益最大的中间产物及其收益，同时将中间产物收入分子库中，扩充分子库。通过多次迭代搜索来寻找最佳的生成分子及其合成路径。
以小分子间二甲苯生成麻醉药盐酸利多卡因为例，如图3所示：
首先选取初始分子间二甲苯a，经过第一次agent后，得到反应模版“硝化反应”和及对应反应物，再通过与environment中k个相似反应集分别反应后得到收益最高的反应物HNO3及中间产物b；
类似地，进行第二次agent和environment的筛选得到反应模版“还原反应”和最佳反应物HCl，及反应后获得最高收益的中间产物c；
进行第三次筛选得到反应模版“酰化反应”和最佳反应物ClCH2COCl，及反应后获得最高收益的中间产物d；
进行第四次筛选得到反应模版“氨基化”和最佳反应物HN(C2H5)2，及反应后获得最高收益的中间产物e；
进行最后一次筛选得到反应模版“成盐”和最佳反应物HCl，及反应后获得最高收益的最终产物h。
以上实施例进一步说明本发明的内容，但不应理解为对本发明的限制。在不背离本发明精神和实质的情况下，对本发明方法、步骤或条件所作的修改或替换，均属于本发明的范围。若未特别指明，实施例中所用的技术手段为本领域技术人员所熟知的常规手段。

Claims (1)

1.一种基于强化学习的路径可控的药物分子生成方法，其特征在于，由初始分子R0,通过Agent寻找最佳反应模版T0和反应物a0，再通过environment搜索与最佳反应物相似的反应物集，返回该集合中受益最大的中间反应产物R1,同时将中间产物加入分子库中，反复循环，直至搜索结束找到最佳反应产物；具体过程如下：
(1)在分子库中选取一个小分子作为初始状态R0，并令当前状态Rt＝R0；
(2)将当前状态Rt通过Agent得到反应模版Tt及对应的反应物at，并计算当前反应物at的Q值；
(3)在环境中通过k最近邻算法寻找反应库中与at相似的k个反应集{ak}；
(4)Rt按照模版Tt分别与{ak}中的每一种反应物反应，并将得到的产物通过评价函数，计算长期收益包含历史Q值，返回最大收益所对应的产物Rt+1及对应收益的中间产物；Rt+N是N次反应的对应的产物；
(5)进行多次步骤(2)－(4)agent和environment的筛选得到反应模版及对应的反应物，并计算每个中间产物的Q值；
(6)根据(1)－(5)的过程，分析Q值，筛选反应模板及最佳反应物，得到最高收益的分子生成路径。
CN202011168563.3A 2020-10-28 2020-10-28 一种基于强化学习的路径可控的药物分子生成方法 Active CN112331277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168563.3A CN112331277B (zh) 2020-10-28 2020-10-28 一种基于强化学习的路径可控的药物分子生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168563.3A CN112331277B (zh) 2020-10-28 2020-10-28 一种基于强化学习的路径可控的药物分子生成方法

Publications (2)

Publication Number Publication Date
CN112331277A CN112331277A (zh) 2021-02-05
CN112331277B true CN112331277B (zh) 2022-06-21

Family

ID=74296184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168563.3A Active CN112331277B (zh) 2020-10-28 2020-10-28 一种基于强化学习的路径可控的药物分子生成方法

Country Status (1)

Country Link
CN (1) CN112331277B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777986B (zh) * 2016-12-19 2019-05-21 南京邮电大学 药物筛选中基于深度哈希的配体分子指纹生成方法
WO2018212918A1 (en) * 2017-05-18 2018-11-22 Microsoft Technology Licensing, Llc Hybrid reward architecture for reinforcement learning
CN108984811A (zh) * 2017-06-05 2018-12-11 欧阳德方 一种药物制剂处方虚拟设计及评估的方法和系统
US11158400B2 (en) * 2019-01-11 2021-10-26 General Electric Company Autonomous reasoning and experimentation agent for molecular discovery
CN110534164A (zh) * 2019-09-26 2019-12-03 广州费米子科技有限责任公司 基于深度学习的药物分子生成方法
CN110970099B (zh) * 2019-12-10 2023-04-28 北京大学 一种基于正则化变分自动编码器的药物分子生成方法
CN111598616B (zh) * 2020-05-11 2023-08-01 百度在线网络技术（北京）有限公司 对象集合筛选的实现方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN112331277A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
Strieth-Kalthoff et al. Machine learning the ropes: principles, applications and directions in synthetic chemistry
CN108804869B (zh) 基于神经网络的分子结构和化学反应能量函数构建方法
Gao et al. Amortized tree generation for bottom-up synthesis planning and synthesizable molecular design
CN110970099A (zh) 一种基于正则化变分自动编码器的药物分子生成方法
CN110910951A (zh) 一种基于渐进式神经网络预测蛋白质与配体结合自由能的方法
Carballido et al. CGD-GA: A graph-based genetic algorithm for sensor network design
CN112820361A (zh) 一种基于对抗模仿学习的药物分子生成方法
Kayala et al. A machine learning approach to predict chemical reactions
Meldgaard et al. Generating stable molecules using imitation and reinforcement learning
CN113380345A (zh) 基于深度森林的有机化学偶联反应产率预测与分析方法
CN110364230B (zh) 一种快速筛选铜催化二氧化碳与氢气制甲酸反应中有机碱的方法
CN112331277B (zh) 一种基于强化学习的路径可控的药物分子生成方法
CN114038516B (zh) 一种基于变分自编码器的分子生成与优化方法
CN114187978A (zh) 一种基于深度学习连接片段的化合物优化方法
Xu et al. Predicting organic structures directing agents for zeolites with conditional deep learning generative model
Zhang et al. Automated Exploration of Reaction Networks and Mechanisms Based on Metadynamics Nanoreactor Simulations
EP4352736A1 (en) Adversarial framework for molecular conformation space modeling in internal coordinates
Chen et al. Neural Networks in Bioinformatics.
US20080168014A1 (en) Catalyst discovery through pattern recognition-based modeling and data analysis
CN115428090A (zh) 用于学习生成具有期望特性的化学化合物的系统和方法
EP4038618A1 (en) Target-to-catalyst translation networks
Owoyemi et al. Smilesformer: Language model for molecular design
Lee et al. A Joint Semi-Supervised Variational Autoencoder and Transfer Learning Model for Designing Molecular Transition Metal Complexes
Bongini Graph Neural Networks for Drug Discovery: An Integrated Decision Support Pipeline
Wu et al. Binary Classification is Enough: A Lightweight Strategy for Drug Screening with Small Datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant