CN112136181A - 使用强化学习的分子设计 - Google Patents

Abstract

提供了使用机器学习(ML)技术来设计表现出一项或多项所需性质的化合物的(多个)方法、装置和(多个)系统。这可以通过以下方法来实现：使用基于(多项)所需性质和用于修饰化合物的规则集合修饰第一化合物的ML技术来生成第二化合物；基于(多项)所需性质对第二化合物评分；基于评分确定是否重复生成步骤；以及在重复生成步骤之前基于评分更新所述ML技术。

Description

使用强化学习的分子设计

技术领域

本申请涉及使用机器学习技术来设计表现出一项或多项所需性质的化合物的装置、系统和方法。

背景技术

信息学是在一个或多个学术和/或科学领域中用于解释数据的计算机、信息技术和资源应用。化学信息学和生物信息学包括用于解释化学和/或生物数据的计算机、信息技术和资源应用。这可以包括解决和/或模拟化学和/或生物学领域中的过程和/或问题。例如，这些计算、信息技术和资源可以将数据转换为信息，并且随后将信息转换为知识，用于快速产生化合物和/或做出改进后的决定，仅作为示例而不限于药物鉴定、研发和优化领域。

机器学习技术是可用于设计复杂分析模型和算法的计算方法，该复杂分析模型和算法适于解决复杂问题，例如产生或预测具有所需特性和/或性质的化合物。存在可用于或可被选择用于产生化合物的多种机器学习技术，但没有一种可用于基于所需特性或性质的集合来产生或优化化合物。期望使用机器学习技术以使得研究者、数据科学家、工程师和分析师在药物鉴定、研发和优化领域实现快速改进。

下面描述的实施例不限于解决了上述已知方法的部分或全部不足之处的实现方式。

发明内容

本节是为了以简化的形式介绍将在下文具体实施方式一节中进一步描述的一些概念。本节不旨在明确所述的主题的关键特征或必要特征，也不旨在用于确定所述的主题的范围；应当认为促进本发明的工作和/或用于实现基本上相似的技术效果的变型和替代特征落入在此公开的本发明的范围内。

本公开提供了使用机器学习技术来设计和生成表现出所需性质的候选分子/化合物的方法、装置和系统。机器学习技术可以依据初始化合物，学习如何扰动该化合物，直到实现具有所需性质的化合物或达到停止标准。本文描述的方法不需要人工干预，可以自动执行。导致最终化合物的所执行的规则、操作和/或扰动的序列还可以输出，并且向研究人员提供关于如何形成化合物以及化合物具有所需性质和/或特性的其他见解和/或证据。

在第一方面，本公开提供了一种使用机器学习技术来设计表现出一项或多项所需性质的化合物的由计算机实现的方法，该方法包括：使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的机器学习技术来生成第二化合物；基于所需性质对第二化合物评分；基于评分确定是否重复生成步骤；以及在重复生成步骤之前基于评分更新机器学习技术。

优选地，确定是否重复生成步骤基于评分，该评分指示第二化合物更加接近于表现出所需性质的化合物。

优选地，确定是否重复生成步骤基于评分，该评分指示第二化合物表现出所需性质。

优选地，确定是否重复生成步骤还包括确定是否已经实现了重复生成步骤的预定次数的迭代。

优选地，确定是否重复生成步骤还包括：基于表现出至少一项或多项所需性质的第二化合物，确定对第二化合物的任何进一步改进是否可能。

优选地，生成第二化合物还包括生成第二化合物集合；以及基于所需性质对第二化合物集合进行评分。

优选地，该方法还包括：基于评分对第二化合物集合进行分级，其中产生第二化合物还包括基于层级最高的第二化合物集合产生其他第二化合物。

优选地，该规则集合还包括表示与修饰化合物相关的一个或多个操作的数据。

优选地，该一个或多个操作包括来自以下组的一个或多个操作：对应于向化合物添加化合物片段或一个或多个原子的操作；对应于移除化合物片段或化合物的一个或多个原子的操作；对应于断裂或移除化合物的原子之间的键的操作；对应于在化合物的原子之间添加或重新形成键的操作；与修饰化合物以形成另一种化合物相关的任何其他操作；以及与修饰化合物以形成不同化合物相关的任何其他操作。

优选地，选择规则集合和/或该一个或多个操作以符合所需的结构、物理和/或化学约束，该约束确保对化合物和/或随后修饰后的化合物的任何修饰是可行的。

优选地，该规则集合和/或该一个或多个操作基于相关的化学基团集合，该化学基团集合包括以下诸项中的一个或多个：一个或多个原子；一个或多个分子；一个或多个其他化合物；一个或多个化合物片段；一个或多个键；一个或多个官能团；以及该化合物的一个或多个化学相关方面等。

优选地，生成第二化合物还包括生成包含多个节点和多条边的树状数据结构，其中每条边将父节点连接到子节点，其中父节点表示化合物，并且从父节点到子节点的每条边表示对父节点的化合物执行的多个操作中的导致形成子节点的化合物的操作，其中树的根节点是第一化合物，并且后续节点对应于第二化合物集合。

优选地，该方法还包括基于对与第二化合物集合相对应的一个或多个节点进行评分来扩展树状数据结构。

优选地，该方法还包括对树状数据结构执行树搜索以基于来自该多个操作的一个或多个操作的集合生成第二化合物集合。

优选地，生成一个或多个第二化合物还包括：通过机器学习技术将第一化合物和操作集合映射到N维操作空间；通过机器学习技术选择N维操作空间中当映射在N维操作空间中时第一化合物的最近邻操作的子集；以及将N维空间中的该操作的子集应用于第一化合物，以生成一个或多个第二化合物的集合。

优选地，生成第二化合物集合还包括选择与所选择的操作集合相关联的节点，以包括到树状数据结构中。

优选地，所需性质包括来自以下组的一个或多个：化合物与另一种化合物对接以形成稳定的复合物；特定性质与和靶蛋白对接的配体相关，其中该化合物是该配体；化合物与一种或多种靶蛋白对接或结合；化合物具有特定的溶解度或溶解度范围；以及与可基于原子和分子的物理移动使用计算机模拟来模拟的化合物相关的任何其他性质。

优选地，评分包括确定性评分，其中，当第二化合物中的一个或多个化合物基本上表现出该一项或多项所需性质的全部时，第二化合物中的一个或多个具有较高确定性评分；当第二化合物中的一个或多个化合物基本上未表现出该一项或多项所需性质中的一些时，第二化合物中的一个或多个具有较低确定性评分；当第二化合物基本上表现出一项或多项所需性质中的一些时，第二化合物中的一个或多个具有介于较高确定性评分和较低确定性评分之间的不确定性评分。

优选地，确定性评分为百分比确定性评分，其中，较高确定性评分为100％，较低确定性评分为0％，不确定性评分介于较高、较低确定性评分之间。

优选地，生成一个或多个第二化合物还包括使用强化学习技术，以选择用于将第一化合物修饰为第二化合物的多个规则中的一个或多个。

优选地，使用一种或多种机器学习技术进行至少部分评分。

优选地，机器学习技术包括来自以下组的至少一种机器学习技术或机器学习技术的组合：递归神经网络，其被配置用于从第一化合物开始预测表现出所需性质集合的第二化合物；卷积神经网络，其被配置用于从第一化合物开始预测表现出所需性质集合的第二化合物；强化学习算法，其被配置用于从第一化合物开始预测表现出所需性质集合的第二化合物；以及被配置为用于从第一化合物开始预测表现出所需性质集合的第二化合物的任何神经网络结构。

优选地，基于所需性质对第二化合物评分还包括：针对所需性质中的每一个分析第二化合物；以及基于该分析计算第二化合物的合计评分。

优选地，分析第二化合物还包括进行与第二化合物的一项或多项所需性质相关的计算机模拟。

优选地，分析第二化合物还包括使用知识型专家系统来确定第二化合物是否表现出一项或多项所需性质。

优选地，当使用机器学习技术产生第二化合物时，将一个或多个第一化合物输入到机器学习技术。

优选地，使用机器学习技术生成第二化合物还包括基于所需性质和规则集合使用机器学习技术生成第二化合物集。

在第二方面，本公开提供了一种包括处理器、存储器单元和通信接口的装置，其中，处理器连接到存储器单元和通信接口，其中，处理器和存储器被配置为实现根据第一方面、对其修改和/或如本文所述的计算机实现的方法。

在第三方面，本公开提供了一种包括数据或指令代码的计算机可读介质，当该数据或指令代码在处理器上执行时，使处理器实现根据第一方面、对其修改和/或如本文所述的计算机实现的方法。

在第四方面，本公开提供了一种机器学习模型，其包括表示依据根据第一方面、对其修改和/或如本文所述的计算机实现的方法来更新机器学习技术的数据。

在第五方面，本公开提供了从根据第一方面、对其修改和/或如本文所描述的计算机实现的方法获得的机器学习模型。

在第六方面，本公开提供了一种包括数据或指令代码的有形计算机可读介质，该数据或指令代码用于使用机器学习技术来设计表现出一项或多项所需性质的化合物，当该数据或指令代码在一个或多个处理器上执行时，使得该一个或多个处理器中的一个执行以下方法的至少一个步骤：使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的机器学习技术来生成第二化合物；基于所需性质对第二化合物评分；基于评分确定是否重复生成步骤；以及在重复生成步骤之前基于评分更新机器学习技术。

优选地，计算机可读介质还包括数据或指令代码，当该数据或指令代码在处理器上执行时，使处理器实现根据第一方面、对其修改和/或本文描述的计算机实现的方法的一个或多个步骤。

在第七方面，本公开提供了一种用于使用机器学习技术来设计表现出一项或多项所需特性的化合物的系统，该系统包括：化合物生成模块，其被配置为使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的机器学习技术来生成第二化合物；化合物评分模块，其被配置为基于所需性质对第二化合物物进行评分；判定模块，其被配置为基于评分确定是否重复生成步骤；以及更新机器学习模块，其被配置为在重复生成步骤之前基于评分更新机器学习技术。

优选地，化合物生成模块、化合物评分模块、判定模块和更新机器学习模块还被配置为实现根据第一方面、对其修改和/或本文描述的计算机实现的方法。

本文描述的方法可以由有形存储介质上的机器可读形式的软件来执行，例如是以计算机程序的形式，该计算机程序包括计算机程序代码装置，在计算机程序可以在计算机可读介质上实现的情况下，当程序在计算机上运行时，计算机程序代码装置适于执行本文描述的任何方法的所有步骤。有形(或非瞬态)存储介质的示例包括盘、拇指驱动器、存储卡等，而不包括传播信号。该软件可适于在并行处理器或串行处理器上执行，使得该方法步骤可以按任何合适的次序执行或同时执行。

本申请确认固件和软件可以是有价值的、单独可交易的商品。其意图包括在“非智能”或标准硬件上运行或控制“非智能”或标准硬件的软件，以执行所需功能。还意图包括“描述”或定义硬件的配置的软件，诸如HDL(硬件描述语言)软件，其用于设计硅芯片、或用于配置通用可编程芯片，以执行所需功能。

如对于本领域技术人员显而易见的，优选特征可以适当地组合，并且可以与本发明的任何方面组合。

附图说明

将参考以下附图以示例的方式描述本发明的实施例，在附图中：

图1a是根据本发明的示出用于设计表现出一项或多项所需性质的化合物的示例性过程的流程图；

图1b是根据本发明的示出用于设计表现出一项或多项所需性质的化合物的示例性装置的流程图；

图2a是根据本发明的示出用于生成表现出一项或多项所需性质的化合物的机器学习技术的示例性过程的流程图；

图2b是根据本发明的示出用于生成表现出一项或多项所需性质的化合物的机器学习技术的示例性装置的示意图；

图3a是根据本发明的示出由机器学习技术使用的示例性基于树的数据结构的示意图；

图3b是根据本发明的示出生成表现出一项或多项所需性质的化合物的基于树的机器学习技术的示例性过程的流程图；

图3c至3d是根据本发明的示出基于图3b的过程的示例性的基于树的机器学习技术的操作的示意图；

图4a是根据本发明的示出生成表现出一项或多项所需性质的化合物的基于编码的机器学习技术的示例性过程的流程图；

图4b至4e是根据本发明的示出生成表现出一项或多项所需性质的一个或多个候选化合物的图4a的过程的操作的示意图；

图5a是根据本发明的示出生成表现出一项或多项所需性质的一个或多个候选化合物的基于图3a至4e的树-编码机器学习技术的示例性过程的流程图；

图5b是根据本发明的示出生成表现出一项或多项所需性质的一个或多个候选化合物的图5a的是理性过程的操作的示意图；

图6a是根据本发明的计算系统和设备的示意图；和

图6b是根据本发明的系统的示意图。

在所有附图中使用相同的附图标记来表示相同的特征。

具体实施方式

下面仅以示例性方式描述本发明的实施例。这些示例代表了申请人目前已知的将本发明付诸实施的最佳模式，不过它们不是实现本发明的唯一方式。说明书提供了示例的功能，以及构建和操作示例的步骤序列。然而，可以通过不同的示例来实现相同或等效的功能和序列。

本发明人已经有利地发现使用机器学习技术的迭代和自动方法，用于基于从初始化合物开始并扰动它直到可以实现具有所需性质的化合物，来设计和生成表现出所需性质的候选分子/化合物。该方法不需要人工干预并且可以自动执行。导致最终化合物的所执行的规则、操作和/或扰动的序列还可以输出，并且向研究人员提供关于如何形成化合物以及化合物具有所需性质和/或特性的其他见解和/或证据。

例如，可以应用强化学习(RL)技术，其使用仅作为示例而不限于神经网络的一种或多种机器学习技术来设计和生成表现出一项或多项所需性质的新分子/化合物。强化学习技术使用机器学习技术来迭代地生成用于将初始化合物分子/化合物修饰为可能表现出所需性质的另一分子/化合物的操作序列。机器学习技术可以被配置为应用其可以对初始分子/化合物或其片段采取的所有已知或可能的操作(例如，添加原子、断开键、移除原子等)和所需性质，以输出一个或多个可能的候选化合物。

可基于(仅作为示例但不限于)原子计算机模拟(例如分子动力学RTM)和/或知识型专家系统，或用于针对一项或多项所需性质对化合物进行评分而训练的一种或多种机器学习技术，来对每一候选化合物进行评分，以确定候选化合物是否已知，以及距离其表现出所需性质还有多远。强化学习技术基于评分更新或调整机器学习技术。机器学习技术的更新可以包括(仅作为示例但不限于)更新或调整机器学习技术的参数、系数和/或权重。在更新期间，如果所需性质进一步远离起始分子/化合物，或如果修饰后的分子/化合物太大/太小，和/或出现任何其他不期望的质量或差异，强化学习技术可能惩罚机器学习技术。如果修饰后的分子表现出更接近所需性质的性质，则强化学习技术可奖励机器学习技术。然后强化学习技术重新迭代设计过程，可包括机器学习技术，再次从初始化合物开始和/或从输出的候选化合物之一开始，并应用另一操作序列以得到另一修饰后的分子/化合物。仅作为示例而非限制，强化学习技术的迭代过程可在达成下列情形之一时结束：已发生最大次数的迭代，候选化合物中不再有进一步的显著改进(例如，在与之前的迭代相比评分平稳时观察到)，评分指示一个或多个候选化合物表现出所需性质且/或候选化合物不再有进一步的显著改进。

化合物(也称为一个或多个分子)可包含或表示由一个或多个分子(或分子实体)组成的化学或生物物质，该一个或多个分子由通过化学键保持在一起的来自一种或多种化学元素(或多于一种化学元素)的原子组成。本文所用的示例性化合物可包括(仅作为示例但不限于)通过共价键结合在一起的分子、通过离子键结合在一起的离子化合物、通过金属键结合在一起的金属间化合物、通过配位共价键结合在一起的某些复合物、药物化合物、生物化合物、生物分子、生物化学化合物，一种或多种蛋白质或蛋白质化合物、一种或多种氨基酸、脂质或脂质化合物、碳水化合物或合成碳水化合物、核酸、脱氧核糖核酸(DNA)、DNA分子、核糖核酸(RNA)、RNA分子，和/或由来自一种或多种化学元素的原子组成的分子或分子实体的任何其他组织或结构，以及其组合。

各化合物具有或表现出一项或多项可确定化合物针对指定应用场景的有用性的性质、特性或性状，或其组合。当化合物经历反应时，化合物的性质可以包括或表示数据，该数据表示或指示化合物的特定行为/特性/性状和/或性质。化合物的所需性质可以包括或表示数据，该数据表示期望化合物表现出或与之相关的一项或多项、或多项一系列的特性、性状和/或性质。化合物可以表现出一项或多项性质或与一项或多项性质相关，该性质可以包括但不限于来自以下组的一项或多项特性、性状和/或性质的各个方面：化合物与另一种化合物对接以形成稳定的复合物的指示；与配体对接靶蛋白相关的指示，其中化合物是该配体；化合物与一种或多种靶蛋白对接或结合的指示；化合物具有特定溶解度或溶解度范围的指示；化合物具有特定电特性的指示；化合物具有毒性或毒性范围的指示；可基于原子和分子的物理移动使用计算机模拟来模拟与化合物相关的性质或特性的任何其他指示；可通过实验测试或测量的与化合物相关的性质或特性的任何其他指示。一项或多项化合物性质、特性或性状的其他示例可以包括(仅作为示例但不限于)以下诸项中的一个或多个的各个方面：分项系数(例如，logP)、分布系数(例如，logD)、溶解度、毒性，药物-靶标相互作用、药物-药物相互作用、脱靶药物作用、细胞渗透、组织渗透、代谢、生物利用度、排泄、吸收、分布、药物-蛋白质结合、药物-蛋白质相互作用、药物-脂质相互作用、药物-DNA/RNA相互作用、代谢物预测、组织分布和/或任何其他合适的与化合物相关的性质、特性和/或性状。

表现出性质或与性质相关的化合物可由化合物的性质数值或性质评分来表示，性质数值或性质评分可包括或包含数据，该数据表示或指示当化合物在就该性质接受测试经历反应时，化合物是否表现出或关联于该性质的特定行为/特性/性状。可经由实验室实验、计算机模拟(例如物理或原子计算机模拟)，或经由被配置为用于预测化合物是否表现出受测试的性质或与受测试的性性相关联的机器学习模型，来测试化合物与该性质的关系。因此，代表或指示表现出或关联于该性质的化合物的性质数值或性质评分数据，可基于测量值、模拟结果值或数据、和/或机器学习模型输出值和/或预测结果值/评分和/或数据等。与性质相关的化合物的性质数值/评分可包括或表示数据，该数据表示或指示该化合物是否表现出该性质或与该性质相关。性质数值/评分可以包括(仅作为示例但不限于)数据，该数据代表任何一个或多个连续性质数值/评分(例如非二进制值)、一个或多个离散性质数值/评分(例如二进制值或整数值)、一个或多个范围的连续性质数值/评分、一个或多个范围的离散性质数值/评分、一系列性质数值/评分、一项或多项性质数值串、与反应相关联的测量值，或表示化合物是否表现出该性质或与该性质相关联程度的性质数值/评分的任何其他合适的数据表示等。例如，化合物可以经历与性质相关联的反应，并且基于测量或模拟，被赋予表示化合物是否表现出该性质或与该性质相关联程度的性质数值/评分。该性质数值/评分可以基于与该反应和/或该特定性质相关联的测量数据或模拟数据。

因此，可以基于可确定的化合物的一项或多项性质数值/评分，针对一项或多项所需性质对化合物进行评分。对所需性质集合的化合物总体性质评分可以基于该所需性质集合的单独性质数值/评分的组合，化合物针对该所需性质集合接受测试。可以使用(仅作为示例但不限于)实验室实验、计算机模拟、机器学习模型预测和/或用于确定化合物是否表现出一项或多项性质的任何其他方法等，针对该所需性质集合中的每个单独性质来测试该化合物。例如，性质数值/评分的组合可以是所需性质集合的单独性质的加权组合。可以被指派给该化合物的所得到的总体化合物性质评分给出了该化合物是否与该所需性质集合相关联或表现出了该所需性质集合的指示。

用于修饰化合物的规则可包括或表示数据，该数据表示可用于描述将化合物从第一化合物修饰为第二化合物的任何原理、操作、规则、程序、操作或任何其他命令、代码或指令或数据格式。规则集合可以包括或表示数据，该数据表示用于修饰化合物的一个或多个规则，或多个规则。例如，用于修饰化合物的规则集合可以包括或表示数据，该数据表示与修饰化合物相关的一个或多个操作，例如但不限于，来自以下组中的一个或多个规则或操作：对应于向化合物中添加化学元素、化合物片段或一个或多个原子的规则或操作；对应于移除化合物的化学元素、化合物片段或一个或多个原子的规则或操作；对应于断裂或移除化合物的原子之间的键的规则或操作；对应于在化合物的原子之间添加或重新形成的键的规则或操作；与修饰化合物以形成另一化合物相关的任何其他规则或任何其他操作；以及与修饰化合物以形成不同化合物相关的任何其他规则或任何其他操作。

还可以选择规则集合和/或一个或多个操作，其符合与化合物相关的任何所要求的或必要的结构、物理和/或化学约束，这些约束确保对化合物和/或随后修饰后的化合物的任何修饰实际上是可行的。该规则集合和/或一个或多个操作还可以从相关的化学基团集合中选择，该相关化学基团集合包括以下诸项中的一个或多个：一个或多个原子；一个或多个分子；一个或多个其他化合物；一个或多个键；一个或多个官能团；和/或化合物的一个或多个化学相关方面等。例如，规则和/或操作可包括用于修饰指定化合物的一个或多个操作，其中操作可包括(仅作为示例但不限于)向指定化合物添加/移除/改变(仅作为示例但不限于)特定原子、特定分子、其他具体化合物、键，和/或官能团等中的至少一个或多个。该特定原子、分子、其他化合物、键，和/或官能团等中的一个或多个可以选自化学相关原子、分子、其他化合物，和/或化合物片段、键和/或官能团等的集合。这些可以由操作者预定义和/或选择，或者基于知识库，或基于存储的列表，或基于包括表示化学相关原子、分子、其他化合物和/或化合物片段、键和/或官能团等的数据的一个或多个集合而自动选择，用于在所需性质方面修饰指定化合物或之后的化合物。

例如，多个n>1的用于修饰化合物的规则/操作可以形成规则集合

其中R_i是用于修饰化合物的第i个规则/操作，仅作为示例而非限制，其可以包括以下规则：

R₁-将第一化学元素添加至化合物；

R₂-将第一化合物片段添加至化合物；

R₃-从化合物中移除第一化学元素；

R₄-从化合物中移除第一化合物片段；

R₅-将第二化学元素添加至化合物；

R₆-将第二化合物片段添加至化合物；

R₇-从化合物中移除第二化学元素；

R₈-从化合物中移除第二化合物片段；

…

Ri-在化合物的原子之间添加或重新形成的键；

Rj-断裂或移除化合物的原子之间的键；

…

R_n-1-与修饰化合物以形成另一种化合物相关的任何其他规则或任何其他操作；和

R_n-与修饰化合物以形成不同化合物相关的任何其他规则或任何其他操作。

该规则集合

的每个规则/操作可被使用一次或多次以将化合物从初始化合物修饰为另一化合物。可以从该规则集合中选择一个或多个规则(R_i)的有序序列，该规则集合可以定义如何基于规则的有序序列来修饰第一化合物以形成另一化合物。规则的序列是用以保证所得到的化合物可以源自于第一化合物的有序序列。不保证规则序列的任何排序会产生相同的结果化合物。出于本文的目的，规则的序列被认为是规则的有序序列，其应当以特定顺序应用，以将第一化合物修饰为在修饰第一化合物时遵循规则的有序序列而产生的化合物。

本文描述的根据本发明的强化学习技术可使用一种或多种机器学习技术或机器学习技术的组合来产生一个或多个候选化合物。机器学习技术可包括或表示一种或多种计算方法或计算方法的组合，其可用于生成适于解决复杂问题的分析模型和算法，该复杂分析模型和算法适于解决复杂问题，例如(仅作为示例但不限于)产生或预测具有所需特性和/或性质的化合物。机器学习技术可用于产生用于信息学、化学信息学和/或生物信息学领域的药物研发、鉴定和/或优化的化合物。

用于从所需性质集合和起始化合物生成候选化合物的机器学习技术可以包括(仅作为示例但不限于)来自以下组的至少一种机器学习技术或机器学习技术的组合：递归神经网络、卷积神经网络、基于神经网络的强化学习算法，以及适用于实现本文描述的本发明的任何其他神经网络结构。此外，可以应用或使用一个或多个其他神经网络来读取/接收用于将这些化合物/分子结构以适当的格式输入到机器学习技术(例如强化学习技术)中的化合物结构(或分子结构等)。其他机器学习技术可用于针对所需性质集合对化合物进行评分和/或估计用于评分的化合物的性质，其可用于生成一个或多个或一系列机器学习模型，该机器学习模型被设计为预测化合物的一项或多项性质，并输出性质数值或性质评分，该性质数值或性质评分表示化合物是否表现出性质或与性质相关联的程度。

可由如本文描述的根据本发明的强化学习技术使用的机器学习技术的其他示例可包括或基于(仅作为示例但不限于)可训练为或调整为生成一个或多个候选化合物的任何机器学习技术或算法/方法，对该机器学习技术或算法/方法的训练或调整仅基于(仅作为示例但不限于)初始化合物、候选化合物的一系列所需性质，和/或用于修饰化合物的规则集合，其可包括一种或多种受监督的机器学习技术、半监督的机器学习技术、无监督的机器学习技术、线性和/或非线性机器学习技术、与分类相关联的机器学习技术、与回归相关联的机器学习技术等，和/或其组合。机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)主动学习、多任务学习、传递学习、神经消息解析、一次性学习、降维、决策树学习、关联规则学习、相似性学习、数据挖掘算法/方法、人工神经网络、深度神经网络、深度学习、深度学习神经网络、归纳逻辑编程、支持向量机、稀疏字典学习、聚类、贝叶斯网络、表示学习、相似性和度量学习、稀疏字典学习、遗传算法、基于规则的机器学习、学习分类器系统中的一个或多个，和/或其一个或多个组合等。

受监督机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)人工神经网络、深度神经网络、关联规则学习算法、先验算法、

算法、基于示例的推理、高斯过程回归、基因表达编程、数据处理的群组方法(GMDH)、归纳逻辑编程、基于示例的学习、惰性学习、学习自动机、学习矢量量化、逻辑模型树、最小消息长度(决策树、决策图等)、最近邻算法、模拟建模、可能近似正确(PAC)学习、链波下降规则、知识获取方法、符号机器学习算法、支持向量机、随机森林、分类器集成、自助聚集(BAGGING)、boosting算法(元算法)、有序分类、模糊网络(IFN)、条件随机场、方差分析、二次分类器、k个最近邻算法、boosting算法、sprint算法、贝叶斯网络、朴素贝叶斯、隐马尔科夫模型(HMM)、分级隐式马尔科夫模型(HHMM)，以及能够从标记的和/或未标记的训练数据推断函数或生成模型的任何其他机器学习技术或机器学习任务等。

无监督机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)期望最大化(EM)算法、矢量量化、生成式地形图、信息瓶颈(IB)方法和任何其他机器学习技术或机器学习任务，其能够推断描述隐藏结构的函数，和/或从未标记的数据生成模型，和/或通过忽略标记的训练数据集中的标记等。半监督机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)主动学习、生成式模型、低密度分离、基于图的方法、联合训练、转导或任何其他机器学习技术、任务，或者能够利用未标记数据集和/或标记数据集来训练的一类无监督机器学习技术等。

人工神经网络机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)人工神经网络、前馈神经网络、递归神经网络、卷积神经网络、自动编码器神经网络、极限学习机、逻辑学习机、自组织映射，以及受构成动物脑的生物神经网络启发的其他人工神经网络机器学习技术或连接性系统/计算系统中的一个或多个。深度学习机器学习技术的一些示例可以包括或基于(仅作为示例但不限于)深信念网络、深波尔兹曼机、深度神经网络、深卷积神经网络、深递归神经网络、分级临时存储器、深波尔兹曼机(DBM)、堆叠式自动编码器，和/或任何其他机器学习技术中的一个或多个。

虽然强化学习技术也可以是机器学习技术类的一部分，本领域技术人员应理解，本文的强化学习技术可使用或应用任何一种或多种合适的机器学习技术或其组合，并且如上所提及/描述的，基于初始化合物(或后续候选化合物)和要求结果候选化合物表现出的所需性质，生成一个或多个候选化合物。

图1a是根据本发明的示出用于设计表现出一项或多项所需性质的化合物的示例性过程100的流程图。过程100可以使用机器学习技术和候选化合物的所需性质的集合来生成候选化合物，该候选化合物可以被评分，然后如果必要的话，用于调整或更新机器学习技术，以便机器学习技术生成可以更加表现出所需性质的进一步更改进的候选化合物。所需性质是预定的或在一开始输入到过程100，并且可以包括表示期望候选化合物表现出的一系列特性或性质的数据。过程100的步骤可以包括以下步骤中的一个或多个：

在步骤102中，将表示初始化合物(例如，起始化合物，或分子，或化合物片段集合)的数据输入至机器学习技术，机器学习技术用于修饰初始化合物并生成候选化合物(或一个或多个候选化合物)。表示候选化合物所需性质的数据也输入到该过程中，该过程可用于机器学习技术和/或对所生成的任何候选化合物进行评分。用于修饰化合物的规则集合也可输入到过程100以允许机器学习技术选择规则序列或生成用于修饰化合物以生成候选化合物的操作序列。机器学习技术还可以被配置为学习或受训练以对用于修饰化合物的规则/操作进行建模。

在步骤104中，机器学习技术用于通过基于所需性质和用于修饰化合物的规则集合修饰第一化合物(例如初始化合物和/或任何后续候选化合物)来生成候选化合物或一个或多个候选化合物。机器学习技术输出一个或多个候选化合物。

在步骤106中，针对所需性质对候选化合物进行评估和评分。一个或多个评分可以与每个所需性质相关联。因此，可以针对每种所需性质对每种候选化合物进行评分。可以使用原子计算机模拟来模拟候选化合物以确定每个所需性质的量度，其可以用于生成每个所需性质的评分。然后，可对每个所需性质的评分进行加权和/或合计，以生成指示候选化合物与表现出所需性质的接近程度的总体评分。

在步骤108中，基于步骤106的评分确定是否需要其他候选化合物。该项确定可以使用来自过程100的先前迭代的先前评分，来确定该评分是否是对先前通过机器学习技术生成的候选化合物的显著改进。如果评分指示需要(例如，“是”)其他化合物，则用于生成候选化合物的机器学习技术可以进行到步骤110，在步骤110中，可以基于评分(例如与每个所需性质相关联的一个或多个评分，或加权/合计评分)来调整或更新机器学习技术。可在开始生成/修饰化合物的另一迭代之前更新或调整机器学习技术。如果确定不需要其他候选化合物，例如确定一个或多个候选化合物表现出所需性质，则过程进行到步骤112。该项确定可以还包括一个或多个进一步的判定或基于(仅作为示例但不限于)以下诸项中的一项或多项的总体判定：是否已经发生了最大次数的迭代；与候选化合物的先前迭代相比，候选化合物是否没有进一步的显著改进；每个候选化合物的评分与先前迭代相比是否平稳；评分是否指示一个或多个候选化合物表现出所需性质；和/或对候选化合物没有进一步的显著改善，并且显然这些候选化合物是所能实现的最佳化合物。

在步骤110中，基于评分和/或确定来调整或更新机器学习技术。各候选化合物的总体评分可基于与各所需性质相关联的一个或多个评分。评分指示候选化合物匹配或适合所需性质的程度。强化学习技术基于评分发起机器学习技术的更新或调整，其涉及更新机器学习技术的参数、系数和/或权重。强化学习技术可仅基于(但不限于)以下条件中的一者或一者以上来惩罚机器学习技术：评分指示候选化合物的性质进一步远离所需性质；修饰后的分子/化合物过大/过小；修饰后的分子/化合物表现出任何其他不所需性质或与所需化合物和/或所需性质的差异。另一方面，强化学习技术可基于(仅作为示例但不限于)以下诸项中的一者或多者来奖励机器学习技术：评分指示修饰后的分子表现出更接近所需性质的性质。

尽管在步骤110之后调整或更新机器学习技术，但是本领域技术人员应当理解，可以在步骤106中的候选化合物的评分已经被输出或得知之后的任何时间调整或更新机器学习技术。在任何情况下，可以在重复过程100的生成步骤104之前调整或更新机器学习技术。这在进行另一次迭代生成另一个或多个候选化合物之前进行。此外，更新步骤110可以包括进一步判定，基于评分判定是否需要更新机器学习技术。例如，不立即更新机器学习技术并允许其进行另一迭代或生成另一候选化合物可能是有利的。可以通过允许机器学习技术基于修饰当前的一个或多个候选化合物来生成一种或多种其他候选化合物来干扰机器学习技术，而不是通过更新机器学习技术以鼓励其生成“更好的”候选化合物来干扰机器学习技术。另外，更新步骤110可以还包括判定，判定机器学习技术是否应该回复到机器学习技术的先前版本，在该版本时，可能已经生成具有比当前候选化合物更高的评分的候选化合物。机器学习技术的先前版本可与对应的先前候选化合物一起，用于执行对可在步骤106中评估和/或评分的其他候选化合物的另一迭代或生成，和/或执行继续步骤108中的机器学习技术迭代/更新的决定。

在步骤110之后，强化学习技术执行设计过程100的步骤104和步骤106的另一迭代。可以更新迭代计数器以跟踪已经执行的迭代次数。在下一次迭代中，过程100进行到步骤104，在步骤104中，使用可能已经在步骤110中更新的机器学习技术，从(仅作为示例但不限于)以下两项中的任一项来生成一个或多个候选化合物：a)在步骤102中作为输入的初始化合物；或b)前一迭代的候选化合物之一。机器学习技术应用另一规则/操作的序列以修饰起始化合物并输出另一修饰后的候选分子/化合物用于步骤106中的评分。

在步骤112中，已经在步骤108中确定过程100应当停止迭代并输出表示一个或多个候选化合物的数据。表示每种候选化合物的数据可以包括(仅作为示例但不限于)候选化合物的描述或表示、赋予候选化合物的性质评分和/或总体评分、由机器学习技术采取的修饰起始候选化合物和最终获得候选化合物所需的规则/操作的序列，以及在专家鉴于该输出的候选化合物所表现出的与在步骤102中输入的所需性质的接近程度，评估输出候选化合物是否可行时，对专家可能有用的任何其他信息。

此外，可以存储所有生成的候选化合物和相应的评分，并且当决定输出一个或多个候选化合物时，可以基于它们的评分对存储的生成的候选化合物进行分级，并且可以输出最高的k个分级(k≥1)和表示候选化合物的数据。除了输出候选化合物之外，还可以存储并且输出表示用于生成每个候选化合物的规则序列的数据，以提供关于候选化合物的组成方式和/或表现出或接近表现出所需性质的原因的证据。

在步骤102和/或步骤104中向机器学习技术输入化合物可以包括(仅作为示例但不限于)输入：初始化合物；输入化合物集合；输入化合物片段集合，该化合物片段集合可以被组合或修饰以生成一个或多个候选化合物；输入由过程100的先前迭代生成的一个或多个候选化合物；或这些输入中的任何一个或多个或其组合。机器学习技术可以被配置为接收化合物或一个或多个化合物/片段，并且基于所需性质和用于修饰化合物的规则和/或操作的集合生成候选化合物或候选化合物的集合。

对过程100的进一步修改可以包括：在步骤108中，确定是否重复生成步骤104和/或更新步骤110中的机器学习技术可以基于(仅作为示例但不限于)：指示候选化合物更加接近表现出所需性质的化合物的评分；指示第二化合物表现出所需性质的评分；是否已经实现或满足重复生成步骤104的预定次数的迭代；第二化合物表现出至少一项或多项所需性质，无论对第二化合物的任何进一步改进是否可能。

如方法100的步骤106中描述的，针对所需性质对候选化合物进行评估和评分。每个所需性质的评分可以基于(仅作为示例但不限于)确定性评分，其中当一个或多个候选化合物基本上表现出大部分或全部所需性质时，一个或多个候选化合物具有肯定确定性评分。当一个或多个候选化合物基本上未表现出一项或多项所需性质中的一些或甚至任何一种时，确定性评分可以是否定确定性评分。当候选化合物基本上表现出一项或多项所需性质(包括但不限于)中的一些或大部分时，候选化合物还可具有介于肯定确定性评分与否定确定性评分之间的确定性评分。确定性评分可以表示为百分比确定性评分，其中最大肯定确定性评分为100％，最小否定确定性评分为0％，其中确定性评分可以介于这两个极端值之间。

基于所需性质集合的候选化合物的评估和评分可包括针对所需性质中的每一个分析候选化合物，接着计算与候选化合物相关的每个所需性质的性质数值或评分，和/或基于分析计算候选化合物的合计评分。候选化合物的评分可包括计算一项或多项性质评分量度/数值/评分，该计算基于(仅作为示例但不限于)溶解度、毒性、药物-靶标相互作用、生物利用度、代谢等性质的机器学习模型，其可被配置为预测与性质相关的化合物性质数值/评分，或基于计算机模拟和/或从实验室环境下的实验室试验或测试计算候选化合物的性质数值/评分。

例如，该分析可包括在候选化合物上执行与一项或多项所需性质相关联的计算机模拟。可替代地或另外地，该分析还可以包括使用知识型专家系统来分析该候选化合物以确定该候选化合物是否表现出或更加接近于表现出一项或多项所需性质或全部所需性质。可替代地或另外地，虽然可能更昂贵并且花费时间更长，但是该分析可以包括使用实验室试验分析该候选化合物，以确定该候选化合物是否表现出或更加接近于表现出该所需性质集合中的一项或多项所需性质或全部所需性质。

可替代地或另外地，候选化合物的评估和/或评分可以基于一种或多种机器学习技术，每种技术可能基于已知的化合物或标记的训练数据已经进行了训练，用于预测化合物是否具有特定的特性或性质。每个进行了训练的机器学习技术可以与化合物的不同特性或性质相关联，并且可以被配置为输出性质数值/评分，仅作为示例但不限于概率、确定性评分或其他分类或结果，该其他分类或结果指示输入化合物是否具有机器学习技术被训练去检测/确定的特定特性或性质。

因此，候选化合物可以被输入到与所需性质集合相关联的一个或多个机器学习技术，其中每个机器学习技术输出例如性质数值/评分，比如与特定所需性质相关联的确定性评分，以生成概率/确定性评分集合，这可以用于确定与过程100的先前迭代相比，候选化合物是否更加接近于表现出所需性质。可替代地或另外地，概率或确定性评分的集合可以被加权和/或合计以提供总体概率或确定性评分，该总体概率或确定性评分指示候选化合物与先前迭代过程100相比更加接近于表现出所需性质集合。

尽管仅通过示例而非限制的方式将候选化合物的评分描述为使用原子计算机模拟和/或原子计算机模型，和/或使用机器学习模型来实现——该原子计算机模拟和/或原子计算机模型模拟或测量化合物的一项或多项性质，并且该机器学习模型经训练用于预测化合物是否表现出特定性质或与特定性质相关联，本领域技术人员将理解，可以使用另一种机器学习技术来实现候选化合物的评分，该另一种机器学习技术经训练来针对一系列所需性质对候选化合物进行评分。此外，评分机器学习技术可基于强化学习技术，该强化学习技术可接收候选化合物，接收所需性质并迭代地学习如何随时间对候选化合物评分。

虽然本文已经描述了机器学习技术的范围，但是优选的是，可以使用的机器学习技术可以包括(仅作为示例但不限于)来自以下组的至少一种机器学习技术或机器学习技术的组合：被配置用于从第一化合物开始预测表现出所需性质集合的第二化合物的递归神经网络；被配置为从第一化合物开始预测表现出所需性质集合的第二化合物的卷积神经网络；被配置为从第一化合物开始预测表现出所需性质集合的第二化合物的强化学习算法；以及被配置为用于从第一化合物开始预测表现出所需性质集合的第二化合物的任何神经网络结构。一旦确定了神经网络的隐藏层结构，就可以基于过程100所使用的评分基于各种更新算法(例如，反向传播算法等)来更新和/或改变权重、参数和系数。

图1b是根据本发明的示出用于设计表现出一项或多项所需性质的化合物的示例性装置120的流程图。装置120可以包括迭代循环，该迭代循环包括机器学习设备122、评分设备124和判定/更新设备126，它们可以被用于迭代地生成一个或多个候选化合物集合。输出装置128用于：当判定/更新装置126认为不需要进一步的迭代或将生成可表现出或更加接近于表现出所需性质的改进的候选化合物集合时，输出候选化合物和用以生成输出的候选化合物的规则集合或序列。

机器学习设备122可基于任何合适的机器学习技术，该任何合适的机器学习技术可基于输入的化合物或输入的化合物集合、所需性质和/或用于修饰输入的化合物的规则集合而生成候选化合物。机器学习设备122可以向评分设备124输出候选化合物集合(例如一个或多个候选化合物)。评分设备124被配置为基于所需性质来对候选化合物集合进行评估和/或评分。可以输出每个性质和/或每个候选化合物的评分集合，或者可以从评分设备124输出每个候选化合物的合计评分集合(或基于所需性质集合的合计性质评分)。这些候选化合物评分可用于确定一个或多个候选化合物是否更加接近于表现出所需性质，以及装置120是否应当执行另一迭代以生成其他候选化合物。各候选化合物的候选化合物评分可用于选择更有可能生成更加接近于表现出所需性质的其他候选化合物的那些候选化合物。

判定/更新设备126从评分设备124接收候选化合物的评分，并且可以使用先前的或历史的性能/评分据来确定机器学习技术设备122在输出更加接近于表现出全部所需性质的化合物的候选化合物方面是否已经改进，或者会在未来改进以相应地输出候选化合物。评分还可用于触发机器学习技术设备122是否更新或进一步调整机器学习技术，机器学习技术设备122可使用评分来调整机器学习技术的相关权重、参数和/或系数等。判定设备126可以在更新期间使用评分来奖励或惩罚机器学习技术，这将在修饰其他候选化合物时帮助其做出不同的判定或规则选择。判定设备126还可以考虑机器学习技术需要回复到先前状态，从而用机器学习技术的先前状态来更新机器学习技术。一旦判定设备126判定触发重复生成候选化合物，在更新/回复机器学习技术之后，机器学习技术设备122可以被重新配置以生成其他候选化合物，该次生成基于(仅作为示例但不限于)初始化合物或化合物集合、当前候选化合物，和/或一个或多个先前的候选化合物。

判定/更新设备126可以判定或确定不需要用于生成其他候选化合物的其他迭代，并因此基于评分输出已经被发现是最接近于表现出所需性质的最佳的一个或多个候选化合物的候选化合物。即，可以基于所有生成的候选化合物的评分对其存储和分级，并且可以输出最高的k个分级(k≥1)和表示候选化合物的数据。除了输出候选化合物之外，还可以存储并且输出表示用于生成每个候选化合物的规则序列的数据，以提供关于候选化合物的组成方式和/或表现出或接近表现出所需性质的原因的证据。

图2a是流程图，其示出了当生成根据本发明的可表现出一项或多项所需性质的候选化合物时，机器学习技术遵循的示例性过程200。示例性过程200可以在强化学习技术过程100的步骤104中实现，强化学习技术过程100可以迭代地用于生成一个或多个候选化合物集合。如过程100的步骤108和110中所描述的，可基于任何输出的候选化合物的评分(例如奖励和/或惩罚)来调整和更新机器学习技术。以此方式，机器学习技术“学习”以选择用于修饰化合物的规则的改进集合或序列，以生成最可能更加接近于表现出所需性质的集合的候选化合物。机器学习技术过程200的步骤可以(仅作为示例但不限于)如下：

在步骤202中，机器学习技术接收表示一个或多个化合物的集合的数据、表示规则的集合的数据，和/或表示候选化合物可被修饰以表现所需性质集合的数据，规则集合可包括用于修饰化合物的操作的集合。在步骤204中，机器学习技术可从规则集合中选择一个或多个用于修饰一个或多个化合物的集合的规则并生成一个或多个候选化合物的集合。例如，机器学习技术可以接收化合物，然后生成第一候选化合物集合，其中每个候选化合物基于接收的化合物，通过规则集合中的不同规则对该接收的化合物进行修饰。该机器学习技术可以被配置为基于该所需性质集合来估计、评估和/或评分该候选化合物集合中的每个候选化合物。这可以帮助机器学习技术选择最佳候选化合物和用于从第一候选化合物集合生成每个最佳候选化合物的相应规则。即，机器学习技术可以基于估计、评估和/或评分对候选化合物的集合和相应的规则进行分级，然后，基于第一候选化合物集合的层级最高的候选化合物和相应的规则集合生成第二候选化合物集合。机器学习技术可以在移动到步骤206之前执行该迭代多次或设定次数。在步骤206中，机器学习技术可以输出候选化合物集合和/或用于修饰接收的化合物的相应规则的集合。被输出的每个候选化合物可以具有对应的所选择的规则集合，该规则集合可以用于从输入的化合物或者甚至输入到机器学习技术的初始化合物生成输出的候选化合物。

图2b是示出了可用于装置120和/或过程100的迭代循环的机器学习技术212的示例性装置210的示意图。机器学习技术212接收表示一种或多种输入化合物214的数据，并且旨在生成候选化合物或一个或多个候选化合物220，它们中的每一个可以表现出比一个或多个输入化合物214更加接近于表现出一项或多项所需性质218。机器学习技术212可基于如本文所描述的任何机器学习技术或其组合。机器学习技术212可以接收至少表示化合物214或一个或多个化合物(或化合物片段)的数据，机器学习技术212可以使用这些数据作为基础，连同用于修饰化合物的规则集合216一起，以生成候选化合物集合220，该候选化合物集合220比输入化合物更可能表现出所需性质218。

然而，应注意，在设备120的早期迭代中，机器学习技术212最初会产生不太可能表现出所需性质218的候选化合物。即，当对候选化合物评分时，候选化合物可能表现不佳，因此基于评分，机器学习技术212可接收触发或更新触发，和用于在机器学习技术212更新/调整期间对其加以惩罚的评分。这用于教导机器学习技术212不选择那些规则序列；或者在一开始不选择用于修饰化合物的规则集的一部分；和/或不作出产生成这种性能不佳的候选化合物的判定。因此，装置200成为强化学习技术的一部分，根据其输出的候选化合物而接受更新/调整，以及接受奖励或惩罚。随着时间流逝，或随着装置100的强化学习迭代循环的多次迭代，装置200的机器学习技术212可经训练以选择一个或多个规则序列，该规则序列可用于生成更加接近于表现出所需性质或实际上以高确定性表现出全部所需性质的候选化合物。

图3a是示出根据本发明的基于树的数据结构300的示例的示意图，该数据结构300由机器学习技术使用以生成表现出一项或多项所需性质的化合物。装置200的机器学习技术212可以利用基于树的数据结构300，该数据结构300可以包括多个节点302、304a-304n、304a-304n、310-312以及多条边R₁,…,R_n。多个节点包括根节点302，根节点302表示化合物，多条边R₁,…,R_n从该化合物连接到子节点集合305a-305n。多条边R₁,…,R_n表示用于修饰化合物的规则集合。规则集合中的每个规则都对应有一条边。因此，子节点305a-305n连接到来自根节点302的每条边R₁,…,R_n，其中每个子节点305a-305n表示被对应的规则R₁,…,R_n(表示连接边)修饰后的根节点302的化合物。

树300可以往下生成至m级，其中每级的每个节点使用相同的边集合R₁,…,R_n。即，每条边R₁,…,R_n将父节点302连接到子节点304a-304n，其中父节点302表示化合物，并且从父节点302到子节点304a-304n的每条边R₁,…,R_n表示规则R₁,…,R_n(或多个操作)的集合中的规则(或操作)，其在父节点302的化合物上执行，得到子节点30₄a-30₄n的化合物。树300的根节点302是可输入机器学习技术的第一化合物，并且后续节点304a-304n、304a-304n、304a-304n、310和312对应于一个或多个候选化合物集合或多个候选化合物。假定树300中的每个节点使用相同的边R₁,…,R_n的集合，则遵循沿树向下的边到第m级(例如，Lm)的特定节点的路径，将给出可用于将第一化合物修饰为与第m级的特定节点相关联的化合物的规则序列。尽管基于沿着所有规则边的规则集合来解析整个树300可以产生所有可能的候选化合物和用于每个化合物的规则的相应序列，但是这会导致机器学习技术面临指数级复杂程度。例如，如果在用于修饰化合物的规则集合中存在n个规则，则整个树300的第m级(m≥0)将具有许多个节点或候选化合物。

因此，机器学习技术可基于对与候选化合物集合相对应的一个或多个节点中的每一个进行评估或评分来扩展树状数据结构，而不是将整个树300生成到第m级。或者，可在树状数据结构300上执行树搜索，以仅基于生成具有最佳评分的候选化合物或更加接近所需性质集合的那些规则序列来生成候选化合物集合。

例如，简单的机器学习技术可以被配置为维持树状数据结构300并且在过程100的每次迭代时一次仅将其增加一级。因此，输入第一化合物作为树的根节点302，并且在过程100的第一迭代中，机器学习技术可在步骤104中输出基于该子节点集合304a-304n的候选化合物集合。在步骤106中，过程100可评估候选化合物集合并输出相应的评分集合。在步骤108中，当存在太多的候选化合物时，可以作出执行另一迭代的决定，这样可以基于该评分集合更新机器学习技术。例如，可以保留具有高于特定阈值的评分的那些子节点304a-304n，而可以修剪或移除具有低于特定阈值的评分的那些子节点304a-304n。因此，在下一次迭代中，机器学习技术可仅基于已被保留的那些节点304a-304n和每一迭代中的规则集合来维持和/或增长树状结构300。然而，假定规则集合R₁,…,R_n可以非常大(例如，大于1000或大于1,000,000)，这仍然会生成非常大的候选化合物集合，每次迭代中需从中选择。因此，机器学习技术可被配置为仅估计、评估和/或选择更有可能生成合适的候选化合物的树状数据结构300的每一级的那些规则边R₁,…,R_n和/或子节点。

图3b是根据本发明用于实现基于树的机器学习技术的示例过程320的流程图。该过程320可以在过程100的每次迭代中通过机器学习技术来实现，其中机器学习技术被配置为维持基于树的数据结构。该过程可以包括以下步骤：在步骤322中，可以输入第一化合物作为根节点，或者可以输入先前生成的树，其中每个叶节点表示候选化合物集合。在步骤324中，基于规则集合R₁,…,R_n，并且还基于机器学习技术，来生成当前根节点和/或父节点(或叶节点)的子节点，机器学习技术可以被配置为选择规则集合R₁,…,R_n的用以生成子节点的子集。在步骤326中，机器学习技术可被进一步配置为选择新创建的子节点集合作为候选化合物集合。该选择可以被配置并且基于机器学习技术的实现方式，以及基于其在过程100的每次迭代中是否被更新或如何被更新。在步骤328中，确定是否继续解析树状数据结构并向下移动到树中的下一级并生成其他子节点，或输出选定的子节点集合作为选定的候选化合物集合。如果确定解析树状数据结构(例如，“是”)，则在步骤330中，生成树状数据结构的下一级，并且执行步骤324以基于规则集合和机器学习技术生成该级的其他子节点。如果确定输出候选化合物集合(例如，“否”)，则在步骤332中，机器学习技术基于所选择的子节点集合输出候选化合物。机器学习技术还可以输出对应的规则序列，可以通过遵循从根节点到每个所选择的子节点的路径来生成该规则序列。

注意，机器学习技术可在过程100的每次迭代中更新，并且机器学习技术可被触发，从作为根节点的第一化合物开始，使用更新后的机器学习技术，以(仅作为示例但不限于)重启对树状数据结构的生成和维持，迭代地生成子节点并解析树状数据结构直至多个级别或多次迭代，选择并输出子节点集合作为候选化合物；和/或从当前候选集合或当前解析的树状数据结构开始，基于更新的机器学习技术，继续生成子节点；或者从候选节点的先前集合开始，使用先前解析的树状数据结构，并且基于更新的机器学习技术，继续解析先前的树状数据结构，这应当生成子节点的其他不同的子集。

图3c和3d是根据本发明的示例性树状数据结构340和350的示意图，已经基于图3b的过程320对示例性树状数据结构340和350进行了解析，以生成可能更加接近于表现出所需性质的一个或多个候选化合物的集合。假定过程100基于过程320使用基于树的机器学习技术。基于树的机器学习技术接收化合物和规则集合R₁,…,R_n。在过程100的第一次迭代中，机器学习技术从根节点302开始构建树340，根节点302表示初始化合物。机器学习技术然后通过基于规则集合R₁,…,R_n对根节点302进行扩展来生成一个或多个子节点304a-304n。机器学习技术的结构可被配置为选择或评估哪些子节点305a-305n可适合或保留作为候选化合物。如图3c所示，由于当前结构/权重/参数或表示基础机器学习技术的其他数据的一些原因，基于树的机器学习技术仅保留子节点304a作为候选化合物并丢弃子节点304b-304n。

机器学习技术可决定(例如，在过程320的步骤328中)基于所保留的子节点304a来生成另一子节点集合。在这种情况下，机器学习技术的结构可以被配置为选择或评估哪些子节点306a-306n可能适合或保留作为其他候选化合物。如图3c所示，基于树的机器学习技术由于某种原因仅保留子节点306b作为候选化合物并丢弃子节点306a和306c-306n。此时，机器学习技术可决定(例如，在过程320的步骤328中)输出最终的子节点集合作为候选化合物集合，并移至步骤332以输出子节点306b作为候选化合物。基于对第一化合物应用规则序列R1和R2，从第一化合物(例如，根节点302)生成该候选化合物。即，将R1应用于由根节点302表示的第一化合物，生成由子节点304a表示的化合物，将序列中的下一规则R2应用于由子节点304a表示的化合物，生成由子节点304b表示的化合物。因此，可以通过机器学习技术输出基于规则序列{R1，R2}的候选化合物。

在过程100的步骤106中，可以对通过基于树的机器学习技术而输出的候选化合物进行评估和评分。假定这是过程100的第一次迭代，最可能的是步骤108决定需要其他候选化合物。在步骤110中，可以使用合适的更新算法，基于输出候选化合物的评分，来更新当前结构/权重/参数，或更新表示基础的基于树的机器学习技术的其他数据(例如，如果基础的机器学习技术是基于神经网络的，则可以使用基于反向传播技术的权重更新)。假定机器学习技术已被更新，那么在此示例中，机器学习技术开始基于一开始的起始化合物重建树。这是因为，鉴于对机器学习技术的更新，机器学习技术可以对子节点做出不同的决定/选择以可能生成改进的候选化合物。

现在参考图3d，在步骤104中更新基于树的机器学习技术之后，更新后的机器学习技术接收化合物(原始化合物)和规则集R₁,…,R_n。在过程100的第二次迭代中，机器学习技术从根节点302开始重建树350，其再次表示初始化合物。机器学习技术然后通过基于规则集合R₁,…,R_n对根节点302进行扩展来生成一个或多个子节点304a-304m和304n。更新的机器学习技术的结构可能已被配置为选择或评估哪些子节点304a-304m和304n可能适合或保留作为候选化合物。如图3d所示，由于新的更新后的结构/权重/参数，或由于表示基础机器学习技术的其他数据的原因，更新后的基于树的机器学习技术仅保留子节点304m作为候选化合物，并且丢弃除了子节点304m之外的其他子节点304a-304n。

更新的机器学习技术可进一步决定(例如，在过程320的步骤328中)基于所保留的子节点304m和规则集合R₁,…,R_n来生成其他子节点集合350a-350n。在这种情况下，机器学习技术的结构可以被配置为选择或评估哪些子节点350a-350n可能适合或保留作为其他候选化合物。如图3d所示，基于树的机器学习技术出于某种原因仅保留子节点352a作为候选化合物且丢弃子节点352b-352n。此时，机器学习技术可决定(例如在过程320的步骤328中)是否输出最终的子节点集合作为候选化合物集合。在这种情况下，机器学习技术继续基于子节点352a和规则集R₁,…,R_n生成其他子节点集合354a-354n。在此情况下，机器学习技术的结构可经配置以选择或评估哪些子节点354a到354n可适合或保留作为其他候选化合物。如图3d所示，基于树的机器学习技术出于某种原因仅保留子节点354n作为候选化合物并丢弃子节点354a-354m。此时，机器学习技术可以决定(例如在过程320的步骤328中)输出最终的子节点集合作为候选化合物集合。

在此示例中，过程320进行至步骤332以输出子节点354n作为候选化合物。基于以特定顺序将规则序列R_n-1、R1和R_n应用于第一化合物，从第一化合物(例如根节点302)生成该候选化合物。即，将R_n-1应用于由根节点302表示的第一化合物，生成由子节点304m表示的化合物，将序列中的下一规则R1应用于由子节点304m表示的化合物，生成由子节点352a表示的化合物，并且将序列中的下一规则R_n应用于由子节点352a表示的化合物，生成由子节点354n表示的化合物。因此，可以通过机器学习技术输出基于规则序列(R_n-1，R1，R_n)的候选化合物。

在过程100的步骤106中，可以基于由基于树的机器学习技术输出的规则序列(R_n-1，R1，R_n)来对候选化合物进行评估和评分。假定这是过程100的第二次迭代，最可能的是步骤108判定需要其他候选化合物。在步骤110中，可以使用合适的更新算法，基于输出候选化合物的评分，来更新当前结构/权重/参数，或更新表示基础的基于树的机器学习技术的其他数据(例如，如果基础的机器学习技术是基于神经网络的，则可以使用基于反向传播技术的权重更新)。假定机器学习技术已被更新或基于评分，并且假定了在过程100的此次迭代中候选化合物的评分是否优于先前评分，那么机器学习技术可基于一开始的起始化合物开始重建树；或者如果候选化合物更加接近于表现出所需性质的化合物，当前的基于树的结构可用于进一步解析或生成树350上的其他子节点。在任何情况下，鉴于机器学习技术的更新，机器学习技术应该对子节点进行不同的判定/选择，并且可以生成进一步改进的候选化合物。可用当前或重建的树和本文所述的起始化合物进一步迭代过程100和320。

虽然可以使用基于树的数据结构来存储和/或生成候选化合物集合，但是也可以应用基于一种或多种机器学习技术的备选示例性化合物修饰策略。例如，可以使用基于规则集合生成N维操作/规则空间的机器学习技术，其中N足够大，使得规则/操作集合中的每个规则/操作可以由N维向量空间中的唯一N维向量来表示(例如，N>>2)。每个N维向量的元素可以是(仅作为示例但不限于)实值和/或连续值。能够基于该规则/操作集合来学习和生成N维向量空间的示例性机器学习技术，该规则/操作集合可以包括(仅作为示例但不限于)基于神经网络的结构。例如，神经网络结构可以使用隐藏单元或隐节点的一个或多个隐藏层，其可以经训练以生成用于规则集合的N维向量空间，然后规则/操作集合可以被用于选择适当的用以修饰化合物规则。

用于修饰化合物的规则/操作集合具有可以为修饰化合物而做出的大量可能的规则/操作。例如，在用于修饰化合物的规则集合中可以存在1000或1,000,000个不同规则/操作的可能性。虽然基于树的数据结构可能是有用的，但是当规则/操作的数量大大增加并且可能变得更低效时，基于树的数据结构则受到限制。取而代之，将规则集编码或映射到N维空间(所称的N维规则/操作向量空间)中的机器学习技术可以帮助选择用于修饰化合物的规则序列，以生成可以表现出所需性质的合适的候选化合物集合。可以将化合物映射到N维规则/操作向量空间中，然后可以选择与所映射的化合物最接近或几乎最接近的规则/操作向量来修饰该化合物。

可以通过多种机器学习技术，例如(仅作为示例但不限于)神经网络结构等，来执行该编码/映射。神经网络结构通常使用隐藏层，该隐藏层可以被配置为将规则集合编码/映射到N维空间中，其中该规则集合中的每个规则被编码或表示为N维向量空间中的规则/操作向量。该神经网络还可以被配置为将起始化合物映射到N维规则/操作空间中作为化合物原型规则/操作向量。机器学习技术然后可以搜索或确定与化合物原型规则/操作向量最接近的一个或多个规则/操作向量。然后可以使用与所确定的一个或多个最接近的规则/操作向量相关联的规则/操作来各自修饰该化合物，以生成一个或多个对应的候选化合物。

例如，可以使用最近邻搜索算法来确定N维向量空间(所称的N维规则/操作向量空间)中与所映射的化合物最接近的一个或多个规则/操作向量。存在许多可应用的最近邻算法，例如，仅作为示例而不限于，k个最近邻算法、近似最近邻算法、所有最近邻算法等。为了简单起见，假设编码机器学习技术可被配置为求解k-最近邻搜索问题并找到N维空间中最接近所映射的原型操作/规则的k个最近邻规则/操作点，其中k≥1。如果k>1，则可以生成多个候选化合物。一旦已经在N维空间中识别出k个最近邻操作/规则集合，则可以将它们解码或解映射到该规则集合的对应操作/规则，并将其应用于对应化合物以修饰该化合物并生成一个或多个候选化合物。

因此，编码机器学习技术可对所有化合物进行编码，并将可对化合物执行的所有操作/规则编码到N维空间中，并确定化合物的k个最近邻操作/规则。因此，化合物和操作/规则位于相同的N维空间中。该N维空间定义了可以对化合物采取的所有可能的规则/操作。通过将化合物也映射到N维空间中作为原型规则/操作，或作为所称的化合物原型规则/操作矢量，可以预测将化合物修饰为可能更加接近于表现出所需性质的化合物的候选化合物所应当采取的最可能的规则/操作。例如，N维空间中最接近化合物原型/规则向量的最近相邻规则/操作向量可用于生成候选化合物集合。

将该编码机器学习技术应用于过程100的强化学习技术可以允许编码机器学习技术调整N维空间，使得它从该规则集合中选择规则序列，该规则序列可以生成一个或多个候选化合物的集合，该一个或多个候选化合物的集合可以更加接近于、学习或表现出所需性质。在一开始，机器学习技术的神经网络可以是未初始化的，并且应该应用于化合物物的可能的规则/操作时未知的。取而代之，神经网络可以基于规则和化合物的集合简单地生成N维空间，然后当过程100重复时，可以基于评分(例如在步骤106至110中)来更新机器学习技术的神经网络。评分指示一个或多个候选化合物与表现出所需性质的化合物的接近程度，并可用于更新神经网络，从而改进N维向量空间。

即，如果神经网络生成的候选化合物更加接近于表现出所需性质的化合物，则神经网络可以获得奖励，或者当神经网络生成的候选化合物表现出的性质不如所需性质时，神经网络接受惩罚。当基于过程100的评分更新神经网络(或编码机器学习技术)时，神经网络将改进N维空间，并且因此，定义出更接近所需性质的候选化合物的规则/操作点，和原型规则/操作，将在N维空间中一起移动得更加靠近。

当过程100基于评分更新神经网络时，其中评分基于候选化合物是否更接近所需性质，则经网络或由神经网络表示的N维空间反映候选化合物正在达到的接近所需性质的程度，以及最终候选化合物可能的样子。

图4a是根据本发明的示出用于基于编码空间的机器学习技术以生成表现出一项或多项所需性质的化合物的示例编码过程400的流程图。该过程400还可以在过程100的每次迭代中通过机器学习技术来实现，其中机器学习技术被配置为保持N维规则/操作空间，并基于候选化合物的评分来调整N维空间。

过程400可以包括以下步骤：在步骤402中，接收用于修饰化合物的规则和/或操作的集合，这些规则和/或操作可以被映射到N维规则/操作空间中；该过程还接收表示第一化合物或起始化合物或化合物片段的数据，从该第一化合物或起始化合物或化合物片段可以生成一个或多个候选化合物的集合。在步骤404中，将该规则/操作集合编码或映射到N维空间中。在步骤406中，起始化合物或片段和/或一个或多个候选化合物(如果这是过程400和/或过程100的另一遍)编码和/或映射到N维空间中。例如，机器学习技术可以实现神经网络，神经网络中的隐藏层定义N维空间，规则/操作和/或化合物的集合被编码或映射到该N维空间中。

在步骤408中，可以选择在N维操作空间中映射的规则/操作的子集，当映射在N维规则/操作空间中时，该子集是化合物的最近邻。例如，可以选择对N维空间中的化合物的k个最近邻规则/操作。假定在N维规则/操作空间中可以映射多于一个的化合物，则N维空间中的每个映射的化合物可以具有已经映射在N维空间中的k个最近相邻规则/操作的子集。因此，可以选择与映射在N维空间中的对应的一个或多个化合物的k个最近邻规则/操作的一个或多个子集。即，基于距离函数或相似性函数，选择映射在N维空间中的被认为与映射在N维空间中的化合物最接近的k个规则/操作，其中k≥1。

在步骤410中，可以将N维空间中的每个规则/操作子集应用于对应的化合物以生成一个或多个候选化合物集合。例如，可以将映射在N维空间中的规则/操作的子集解码为规则集合的对应的规则/操作，然后可以将其应用于对应的化合物，或者用于相应地修饰对应的化合物。在步骤412中，过程400可以确定是否执行映射、选择和修改步骤406、408和410的一个或多个迭代。如果确定执行多于一次的迭代(例如，“是”)，则步骤412进行到步骤406，用于将一个或多个候选化合物的每个集合映射/编码到N维空间中。在步骤412中，如果确定不执行映射的进一步迭代，则选择并修改步骤406。然后，过程400进行到步骤414，用于输出表示一个或多个候选化合物集合和/或相应的规则/操作子集的数据，该相应的规则/操作子集可用于修饰起始化合物以生成一个或多个候选化合物集合。

编码机器学习技术可以在过程100的步骤104中实现，并且被配置为从过程100的步骤104向评分步骤106输出候选化合物集合，该候选化合物集合可以是一个或多个候选化合物。步骤108可以确定是否进一步重复过程步骤110、104和/或106。步骤108或110可以基于步骤110中的评分确定是否需要更新或进一步调整编码机器学习技术实现过程400。基于评分调整或更新编码机器学习技术，进一步改进N维向量空间以更好地描述更适合于生成/修饰更加接近于或表现出所需性质的化合物的规则/操作的位置。

图4b-4e是根据本发明的示意图，示出了N维操作/规则空间422的示例状态420、430和450，以及实现过程400的基于编码器的机器学习技术如何来使用其生成更有可能表现出所需性质的候选化合物集合。如上所述，N维向量空间422基于用于修饰化合物的规则/操作的集合，并且可基于基于编码器的机器学习技术的结构来创建N维向量空间422，其中规则/操作的集合中的不同规则/操作中的每一个可被编码或映射到N维向量空间422中的唯一N维向量。

如前所述，用于修饰化合物的规则可包括或表示数据，该数据表示可用于描述将化合物从第一化合物修饰为第二化合物的任何原理、操作、规则、程序、操作或任何其他命令、代码或指令或数据格式。因此，用于修饰化合物的规则集合可以包括或表示数据，该数据表示一个或多个用于修饰化合物的规则或多个用于修饰化合物的规则。

例如，如前所述，多个n>1的用于修饰化合物的规则/操作可以形成规则集合

其中R_i是用于修饰化合物的第i个规则/操作，仅作为示例而非限制，其可以包括以下规则：

R₁-将第一化学元素添加至化合物；

R₂-将第一化合物片段添加至化合物；

R₃-从化合物中移除第一化学元素；

R₄-从化合物中移除第一化合物片段；

R₅-将第二化学元素添加至化合物；

R₆-将第二化合物片段添加至化合物；

R₇-从化合物中移除第二化学元素；

R₈-从化合物中移除第二化合物片段；

…

Ri-在化合物的原子之间添加或重新形成的键；

Rj-断裂或移除化合物的原子之间的键；

…

R_n-1-与修饰化合物以形成另一种化合物相关的任何其他规则或任何其他操作；和

R_n-与修饰化合物以形成不同化合物相关的任何其他规则或任何其他操作。

该规则集合

的每个规则/操作可被使用一次或多次以将化合物从初始化合物修饰为另一化合物。可以从该规则集合中选择一个或多个规则(R_i)的有序序列，该规则集合可以定义如何基于规则的有序序列来修饰第一化合物以形成另一化合物。

参考图4b，示出了N维向量空间422的第一状态420的示例性表示，其中编码机器学习技术可以将用于修饰化合物的规则集合

编码或映射到N维向量空间422中的唯一N维向量。以任何合适的方式或使用任何一种或多种机器学习技术将该规则/操作集合中的多个规则/操作映射到N维向量空间42。例如，可以使用基于神经网络结构的机器学习技术来将多个规则/操作编码和/或映射到由神经网络结构定义的N维向量空间422，即所称的N维规则/操作空间422。

在过程400的步骤404中，编码机器学习技术将该规则集合

中的每个规则/操作映射到N维规则/操作空间422中。这例如在图4b中示出，其中由R1表示的规则/操作可以被映射到N维向量操作/规则424a，由R2表示的规则/操作可以被映射到N维向量操作/规则424b，由R3表示的规则/操作可以被映射到N维向量424c等，由Ri表示的规则/操作映射可以被映射到N维向量操作/规则424i等，由R_n-1表示的规则/操作可以被映射到N维向量操作/规则424m，以及，由R_n表示的规则/操作可以被映射到N维向量操作/规则424n。

图4c示出了N维规则/操作空间422的示例性第二状态430，其中编码机器学习技术将化合物(例如，由字母“C”表示)映射到N维规则/操作空间422中，例如，过程400的步骤406。化合物C表示为化合物原型规则/操作向量432。假定已经将化合物C映射到N维规则/操作空间422中作为原型规则/操作向量432，现在可以选择当映射到N维规则/操作空间422中时可能在化合物C的位置附近的一个或多个规则/操作向量424a-242n，即原型规则/操作向量432。

在过程400的步骤408中，一旦在N维规则/操作空间422中将化合物C映射为化合物原型规则/操作向量432，则可以选择与化合物原型规则/操作向量432最接近的一个或多个规则/操作向量。例如，度量或距离度量/标准，仅作为示例但不限于N维向量之间的欧几里得距离，或者任何其他度量或标准可以用来估计化合物原型规则/操作向量432的k个最近邻向量，该任何其他度量或标准用于估计N维规则/操作空间中与化合物原型规则/操作向量最接近的规则/操作向量。在本示例中，确定操作/规则424a和化合物原型规则/操作向量432之间的距离度量434，并且将操作/规则424b和化合物原型规则/操作向量432之间的距离度量434确定为n个距离度量中的最小距离度量。在本示例中，为了简单起见，假设k＝2并且因此选择2个操作/规则向量作为最接近于化合物原型规则/操作向量432的操作/规则向量的子集。虽然在本示例中k＝2，但是这仅是示例性的，并且本专利不限于此，但是本领域技术人员应当理解，k≥1，并且可以为k选择任何值，只要其大于或等于1。在本示例中，操作/规则424a和操作/规则424b被选为可用于修饰化合物C的规则/操作向量的子集。

图4d是示出使用所选择的操作/规则向量424a和424b的子集将化合物C合成为化合物C₁ 442和C₂444的示例性合成440(例如，修饰)的示意图(例如，过程400的步骤408)。所选择的操作/规则向量424a和424b的子集可以分别被解映射或解码为包括操作/规则R1和R2的规则/操作的子集。然后，通过将这些规则/操作应用于化合物C，使用这些规则中的每一个分别将化合物C修饰为化合物C₁ 442和C₂ 444。例如，化合物C₁ 442将是通过用R1修饰化合物C(例如，向化合物C中添加第一化学元素以形成化合物C₁442)而生成的化合物。化合物C₂ 444是通过用R2修饰化合物C(例如，向化合物C添加第一化合物片段以形成化合物C₂444)而生成的化合物。

图4e是另一示例性状态450的示意图，其中将化合物C₁ 442和C₂ 444映射到N维操作/规则空间422中。例如，在过程400的步骤412中，可以决定通过将先前生成的候选化合物映射到N维空间来执行生成候选化合物的多次迭代，以找到用于添加到规则/操作的子集的其他规则/操作。编码机器学习技术将候选化合物C₁ 442和C₂ 444映射到N维规则/操作空间422中，例如过程400的步骤406。化合物C₁ 442和C₂444分别表示为化合物原型规则/操作向量452和454。一旦被映射，通过找到在N维操作/规则空间422中表示化合物C₁ 442和C₂ 444的化合物原型规则/操作向量452和454的k个最近邻操作/规则向量424a-424n，可以选择进一步的规则/操作。

在本示例中，确定操作/规则424j和化合物原型规则/操作向量452之间的距离度量456a，并且将操作/规则424i和化合物原型规则/操作向量452之间的距离度量456b确定为到化合物原型规则/操作向量452的n个距离度量中的两个最小距离度量(例如，在本示例中，k＝2)。选择操作/规则424i和操作/规则424j以包括在规则/操作向量的子集中，用于进一步单独地修饰C₁ 442。选择操作/规则424m以包括在规则/操作向量的另一个子集中，用于进一步单独地修饰C₂ 444。

图4e还示出了使用所选择的操作/规则向量424i和424j的子集将化合物C₁ 442合成为化合物C₃ 462和C₄ 464的示例性合成460(例如，修饰)(例如方法400的步骤408)，并且还示出了使用所选择的操作/规则向量424m的子集将化合物C₂ 444合成为化合物C₅ 466。例如，化合物C₃ 462将是通过用Ri修饰化合物C₁ 442(例如，添加或重新形成化合物C₁ 442的原子之间的键以形成化合物C₃ 462)而得到的化合物。化合物C₄ 464将是通过用Rj修饰化合物C₁ 442(例如，断裂或移除化合物C₁ 442的原子之间的键以形成化合物C₄ 464)而生成的化合物。化合物C₅ 466是通过用R_n-1修饰化合物C₂ 444(例如，断裂或移除化合物C₂ 444的原子之间的键以形成化合物C₅ 465)而得到的化合物。

过程400可以通过输出候选化合物集合及其对应的用于修饰化合物以形成候选化合物的规则/操作序列的子集来结束。例如，输出的候选化合物集合可包括化合物C₃ 462、C₄464和C₅ 465。用于从化合物C生成化合物C₃ 462的规则序列包括(R1，Ri)，用于从化合物C生成C₄ 464的规则序列包括(R1，Rj)，并且用于从化合物C生成C₅ 465的规则序列包括(R2，Rm)，其也可以从过程400输出。

当过程100迭代时，可以基于输出候选化合物C₃ 462、C₄ 464和C₅ 465的评分来更新编码机器学习技术(例如，在步骤106至110中)。评分指示一个或多个候选化合物C₃ 462、C₄ 464和C₅ 465与表现出所需性质的化合物有多接近，并可用于更新编码机器学习技术，以及因此改进N维规则/操作空间。如果编码机器学习技术生成更加接近于表现出所需性质的化合物的候选化合物，则编码机器学习技术可以获得奖励，或者当编码机器学习技术生成表现出不如所需性质的候选化合物时，编码机器学习技术可以接受惩罚。当基于过程100的评分更新编码机器学习技术时，编码机器学习技术将改进或调整N维规则/操作空间，并且因此定义候选化合物的规则/操作向量和/或原型规则/操作向量的位置将改变，使得原型规则/操作向量的位置更靠近将更有可能导致更加接近于所需性质的候选化合物的合成的规则/操作向量。

图5a是根据本发明的示出用于基于图3a-4e的树-编码机器学习技术来生成可表现出一项或多项所需性质的一个或多个候选化合物的示例性过程500的流程图。可以在过程100的步骤104中使用树-编码机器学习技术。树-编码机器学习技术可以通过利用图3a-3c中所示的基于树的数据结构和图4a-4e中所示的N维规则/操作向量空间来有效地生成在步骤106中使用的候选化合物集合。基于树的结构可以应用于有效地生成、存储和/或维持可以用于生成每个候选化合物的规则的子集序列，而N维规则/操作向量空间可以应用于有效地选择最佳规则子集。树-编码机器学习技术可以被配置为(例如通过神经网络结构)映射规则/操作的集合并且还将化合物映射到N维规则/操作向量空间。如参考图4a-4e所描述的，可以基于根据所所需性质对候选化合物进行评分来更新或调整N维规则/操作向量空间。因此，在过程100的步骤104、106、110的每次迭代中，可以进一步改进树-编码机器学习技术的N维规则/操作向量空间，从而更有可能实现所选择的规则/操作的子集可以用于生成更加接近于所需性质的候选化合物。

树-编码机器学习技术的过程500可以基于以下步骤：在步骤502中，可以将第一化合物输入并表示为树状数据结构的根节点，或者可以将表示候选化合物集合的先前生成的树状数据结构输入到树-编码机器学习技术，该树-编码机器学习技术中的每个叶节点表示候选化合物。在步骤504中，树-编码机器学习技术的编码部分可以使用N维规则/操作空间，其中规则/操作的集合已经被映射到N维规则/操作向量的集合，以选择用于以与参考图4a-4e在过程400中描述的类似方式修饰化合物的规则/操作的子集。可以通过树-编码机器学习技术的编码部分将由根节点表示的第一化合物映射到N维规则/操作空间中作为化合物原型规则/操作向量，并且可以选择k个最近邻规则/操作向量，其中k≥1。因此，对于第一化合物，可以通过将所选择的k个最近邻规则/操作向量解映射为用于修饰第一化合物的相应规则/操作，来生成规则/操作的子集。在步骤506中，可以使用规则/操作的选定子集来生成一个或多个候选化合物，这些候选化合物被表示为根节点的子节点。

可替代地或另外地，如果输入先前生成的树，则对于先前生成的树的每个候选化合物或叶节点，可以通过树-编码机器学习技术的编码部分将叶节点表示的候选化合物映射到该N维规则/操作空间中，作为化合物原型规则/操作向量，并且可以选择k个最近邻规则/操作向量，其中k≥1。因此，对于每个候选化合物，可以通过将所选择的k个最近邻规则/操作向量解映射为用于修饰每个候选化合物以生成其他候选化合物的相应规则/操作，来生成所选择的规则/操作的子集。在步骤506中，可以使用所选择的规则/操作的一个或多个子集来生成一个或多个候选化合物，这些候选化合物被表示为每个叶节点的子节点并且成为基于树的结构的新的叶节点。

在步骤506中，可以基于所选择的规则/操作的一个或多个子集来生成当前根节点和/或叶节点的一个或多个子节点。因此，树-编码机器学习技术已经能够有效地从规则集合R₁,…,R_n中选择用于生成一个或多个子节点的一个或多个规则子集。在步骤508中，确定是否继续解析树-编码机器学习技术的树状数据结构并向下移动到树中的下一级，并从当前叶节点(到目前生成的最低级中的子节点的当前集合)生成其他子节点，或者输出当前叶节点集合(或者子节点的选定集合)作为所选择的候选化合物集合。如果确定解析树状数据结构(例如，“是”)，则过程500移动到步骤510，在步骤510中，通过重复步骤504和508，而不是对当前候选化合物集合使用过程400，来生成树状数据结构的下一级，该当前候选化合物集合由新生成的子节点(或叶节点)表示。

在步骤508中，如果确定输出候选化合物集合(例如，“否”)，则在步骤512中，树-编码机器学习技术基于所选择的子节点集合或基于当前叶节点集合输出候选化合物集合。树-编码机器学习技术还可输出对应的规则/操作序列，其可通过遵循从树的根节点(例如，第一化合物)到选定子/叶节点中的每一者的路径来生成。

如参考图4a-4e所描述的，可以基于候选化合物针对其是否表现出或更加接近于表现出所需性质的评分而更新或调整机器学习技术的编码部分。这一调整/更新将进一步改进N维规则/操作向量空间，并且使得更有可能生成更加接近于表现出所需性质的其他候选化合物。在过程100的步骤104、106、110的每次迭代中，可进一步改进树-编码机器学习技术的N维规则/操作向量空间，从而更有可能实现所选择的规则/操作的子集可以用于生成更加接近于所需性质的候选化合物。

图5b是表示基于参照图3a-5a所描述的树-编码机器学习技术的候选化合物集合的示例性生成的示意图。可以基于用于修饰化合物的规则/操作集合

来生成该候选化合物的集合，其中R_i是用于修饰化合物的第i个规则/操作。每个化合物或候选化合物可以在树状数据结构520中由多个节点522、524a-524n、526a-526n和528a-528n表示，其中每个非叶节点可以具有从其延伸的多个规则边R₁,…,R_n中的一个或多个。每个规则边表示来自规则集合

的规则/操作，并将父节点连接到子节点。每个父节点表示化合物，并且从每个父节点到子节点的每个规则边表示来自规则/操作集合

的规则/操作，该规则/操作集合

可以在由父节点表示的化合物上执行并且生成由子节点表示的化合物。

在本示例中，基于第一化合物C创建树520的根节点。一开始，(例如，参见过程500的步骤502)，可以将第一化合物C输入到树-编码机器学习技术，该树-编码机器学习技术将第一化合物C表示为树状数据结构520的根节点522。然后，树-编码机器学习技术可以从规则/操作集合

(例如，规则边R₁,…,R_n)中选择规则/操作的子集，用于以与过程400中参考图4a-4e描述的类似方式修饰化合物C。例如，树-编码机器学习技术可以将该规则/操作集合

编码到N维规则/操作空间422中，其中该规则/操作集合

被映射到N维规则/操作向量424a-424n。由根节点522表示的第一化合物C也被编码到N维规则/操作空间422中，其中第一化合物C被映射到N维规则/操作空间中的化合物原型规则/操作向量432。然后，树-编码机器学习技术可以选择最接近于化合物原型规则/操作向量432的规则/操作向量的子集。例如，可以选择k个最近邻规则/操作向量，其中k≥1。在本示例中，k＝2，并且使用(仅作为示例而不限于)距离度量434和436的最靠近化合物原型规则/操作向量432的k个最近邻规则/操作向量，分别是规则/操作向量424a和424b。因此，对于第一化合物C，可以通过将所选择的k个最近邻规则/操作向量424a和424b解映射到可以用于修饰第一化合物C的对应的规则/操作R1和R2(或规则边R1和R2)来生成规则/操作的子集。

可以通过仅基于所选择的规则/操作的子集来生成树520的下一级(例如，过程500的步骤506)，来修饰第一化合物C，在本示例中，所选择的规则/操作的子集包括规则/操作R1和R2。可以通过仅将对应于所选择的规则子集的规则边(例如，规则边R1和R2)从根节点522延伸到对应的子节点524a和524b来创建树520的层级。不扩展剩余的规则边

因此在树520的这一级不再创建子节点。在本示例中，子节点524a和524b代表候选化合物集合。因此，树-编码机器学习技术已经能够有效地从规则集合

中选择一个或多个规则/操作子集以生成由子节点表示的一个或多个候选化合物。

树-编码机器学习技术可继续扩展树520以基于由子节点524a和524b表示的候选化合物的当前集合生成其他候选化合物(例如，参见过程500的步骤508)。在本示例中，树-编码机器学习技术将树520扩展到下一级以生成其他候选化合物/子节点。因此，对于子节点524a和524b中的每一个，树-编码机器学习技术重复映射化合物并重复选择基于k个最近邻居的规则/操作的相应子集。

例如，由子节点524a表示的第一候选化合物被编码到N维规则/操作空间422中，其中第一候选化合物524a被映射到N维规则/操作空间422中的第一候选化合物规则/操作向量452。然后，树-编码机器学习技术可从最接近第一候选化合物原型规则/操作向量452的规则/操作向量424a-424n的集合中选择规则/操作向量的子集。例如，可以选择k个最近邻规则/操作向量，其中k≥1。在本示例中，k＝2，并且使用(仅作为示例而不限于)距离度量456a和456b的最靠近化合物原型规则/操作向量452的k个最近邻规则/操作向量，分别是规则/操作向量424i和424j。因此，对于第一候选化合物524a，可以通过将所选择的k个最近邻规则/操作向量424i和424j解映射为对应的规则Ri和Rj，来生成所选择的规则/操作子集。

可以通过仅基于所选择的规则/操作的子集生成树520的下一级来修饰第一候选化合物524a(例如，过程500的步骤506)，在本示例中，所选择的规则/操作的子集包括规则/操作Ri和Rj。可以通过仅将对应于所选择的规则子集的规则边(例如，规则边Ri和Rj)从子节点520a延伸到对应的新的子节点526i和526j来创建树520的下一级。不扩展剩余的规则边，因此对于树520的该部分不再创建在该层级的子节点。在本示例中，子节点526i和526j分别表示另一候选化合物C₃和C₄的集合。

类似地，由子节点524b表示的第二候选化合物被编码到N维规则/操作空间422中，其中第二候选化合物524b被映射到N维规则/操作空间422中的第二候选化合物原型规则/操作向量454。然后，树-编码机器学习技术可从最接近第一候选化合物原型规则/操作向量452的规则/操作向量424a-424n的集合中选择规则/操作向量的子集。例如，可以选择k个最近邻规则/操作向量，其中k≥1。在本示例中，k＝2，并且使用(仅作为示例而不限于)距离度量458的最靠近化合物原型规则/操作向量454的k个最近邻规则/操作向量，分别是规则/操作向量424m。因此，对于第二候选化合物524b，可以通过将所选择的k个最近邻规则/操作向量424m解映射为对应的规则R_n-1(或规则边R_n-1)，来生成所选择的规则/操作子集。

可以通过仅基于所选择的规则/操作的子集生成树520的下一级来修饰第二候选化合物524b(例如，过程500的步骤506)，在本示例中，所选择的规则/操作的子集包括规则/操作R_n-1。可以通过仅将对应于所选择的规则子集的规则边(例如，规则边R_n-1)从子节点520b延伸到对应的新的子节点528m来创建树520的下一级。不扩展剩余的规则边，因此对于树520的该部分不再创建在该层级的子节点。在本示例中，子节点528m表示另一候选化合物C₅的集合。

再次，树-编码机器学习技术可继续扩展树520以基于当前层级由子节点526i、526j和526m表示的候选化合物的当前集合来生成其他候选化合物(例如，参见过程500的步骤508)。树-编码机器学习技术可通过针对前一级的每个新生成的节点重复以上过程步骤504、506和508，来进一步将树520扩展到m个预定层级数，其中m>＝1(例如，基于第m-1级的新生成的节点，进行步骤504至508的m次迭代，其中第0级对应于根节点)。

如果树-编码机器学习技术判定(例如，在过程500的步骤508中)通过例如过程100的步骤106输出用于评估和评分的候选化合物集合，则树520的第m级或当前层级的节点可用作该候选化合物集合。该判定可以基于正在执行的预定迭代次数的树520新层级的生成，或者基于在树520的特定层级已经生成的特定数量的候选化合物。在任何情况下，可基于树520的当前集合的叶节点输出候选化合物集合。例如，节点526i、526j和528m是树520的最新生成的节点，因此这些节点526i、526j和528m可用于输出对应于C3、C4和C5的候选化合物的集合。树-编码机器学习技术还可输出对应的规则/操作序列，其可通过遵循从树的根节点(例如，第一化合物)到选定子/叶节点中的每一者的路径来生成。例如，各候选化合物具有可应用于第一化合物C以生成各候选化合物的对应规则/操作序列。这些可以通过沿着连接表示第一化合物C的根节点与表示候选化合物的相应子节点的规则边，解析或遵循通过树520的路径来生成。

例如，可以基于树520输出的候选化合物集合可以包括对应于当前叶节点526i、526j和528m的化合物，即化合物C3，C4和C5。用于从化合物C生成化合物C3的规则序列包括(R1，Ri)，其为将节点522(例如，化合物C)与节点526i(例如，化合物C3)连接的规则边。用于从化合物C生成C4的规则序列包括(R1，Rj)，其为将节点522(例如，化合物C)与节点526j(例如，化合物C4)连接的规则边。用于从化合物C生成C5的规则序列包括(R2，Rm)，其为将节点522(例如，化合物C)与节点528m(例如，化合物C5)连接的规则边。

当过程100迭代时，可以基于输出候选化合物C3、C4和C5的评分来更新树-编码机器学习技术(例如，在步骤106至110中)。评分指示一个或多个候选化合物C3、C4和C5与表现出所需性质的化合物有多接近，并可用于更新树-编码机器学习技术，从而改进相应的N维规则/操作空间422。如果树-编码机器学习技术生成更加接近于表现出所需性质的化合物的候选化合物，则其可获得奖励，或者当它生成表现出不如所需性质的候选化合物时，其可接受惩罚。当基于过程100的评分更新树-编码机器学习技术时，树-编码机器学习技术将改进或调整N维规则/操作空间422，并且因此定义候选化合物的规则/操作向量和/或化合物原型规则/操作向量的位置将改变，使得原型规则/操作向量的位置更靠近将更有可能导致更加接近于或表现出所需性质的候选化合物的合成的规则/操作向量。

一旦树-编码机器学习技术已被更新，和/或过程100判定步骤104至108的进一步迭代可能是必要的，则树-编码机器学习技术可基于一开始的起始化合物C和更新后的N维规则/操作空间422来重新生成树520。这是因为，假定对应的规则/操作向量和/或化合物原型规则/操作向量将相对于彼此改变，则k-最近邻搜索可以选择不同的规则集合。可替代地或另外地，如果先前的候选化合物集合更加接近于表现出所需性质的化合物，则树-编码机器学习技术可以保留先前的基于树的结构520并且仅仅进一步扩展树520。例如，可以生成树520的另外m个层级，或者可以生成另外预定数量的新子节点。在任何情况下，鉴于对树-编码机器学习技术的更新，树-编码机器学习技术将对规则/操作边做出不同的判定/选择，且因此生成不同的子节点集合，子节点集合继续生成进一步改进的集合候选化合物。可以用当前或重建的树结构、起始化合物，或甚至用一个或多个有希望的候选化合物等来进一步迭代过程100和500。

图6a是包括根据本发明的计算装置或设备602的计算系统600的示意图。计算装置或设备602可以包括处理器单元604、存储器单元606和通信接口608。处理器单元604连接到存储器单元606和通信接口608。处理器单元604及存储器606可经配置以实施如本文的过程100、300、400及/或500中的一者或多者以上的一个或多个步骤。处理器单元604可以包括一个或多个处理器、控制器或用于实现计算机可执行指令以控制根据本发明的设备602的任何合适类型的硬件。计算装置602可以连接到用于与其他计算装置/系统(未示出)通信和/或操作的网络612，该其他计算装置/系统用于实现本发明。

图6b是根据本发明的示意图，示出了示例性系统620，该示例性系统620可用于实施化合物的设计和生成的一个或多个方面，和/或实施如参考图1a-6a描述的方法、装置和/或系统中的一个或多个。用于设计表现出一项或多项所需性质的化合物的系统620包括可连接在一起的化合物生成模块或装置622、化合物物评分模块或装置624、判定模块或装置626和更新机器学习模块或装置628。虽然这些模块/装置是分开描述的，但这仅仅是作为示例，本领域技术人员应当理解，这些模块可以根据应用需要被组合或者甚至被进一步划分为其他模块/装置。

在操作中，化合物生成模块622被配置为使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的机器学习技术，来生成第二化合物。化合物评分模块624被配置为基于所需性质(例如，颜色)对第二化合物物进行评分。判定模块626被配置为基于评分，确定是否重复生成步骤。更新机器学习模块628被配置为在重复生成步骤之前，基于评分更新机器学习技术。

系统620可进一步经配置以实施如本文中所描述或如参考图1a至6a中的任一者所描述的方法、过程、装置和/或系统。系统620可被配置为使得化合物生成模块622、化合物评分模块624、判定模块626和更新机器学习模块628被进一步配置为实现如本文所述的或如参考图1a-6a中的任一者所描述的方法/过程设备和系统。例如，化合物生成模块或装置622可进一步经配置以实施与使用机器学习技术(例如，强化学习技术、基于树的强化学习技术、基于操作空间的技术、其组合等)生成候选化合物相关联的功能、方法、过程和/或装置，以及对其修改和/或如本文所述或如参考图1a-6a所描述的修改。化合物评分模块或装置624可进一步经配置以实施与评分候选化合物等相关联和/或如本文所述或如参考图1a-6a描述的功能、方法、过程和/或装置。判定模块或装置626可进一步经配置以实施与基于评分来评估候选化合物相关联的，与决定继续操作哪些候选化合物相关联的，以及与决定是否继续生成其他候选化合物相关联的，或者与判定一个或多个候选化合物是否已经满足所需性质相关联的，和/或如本文所述或如参考图1a-6a描述的功能、方法、过程和/或装置。更新机器学习模块或装置628可被进一步配置为实现与更新机器学习技术(其基于与当前迭代的候选化合物相关的评分和/或判定生成候选化合物)相关联的，和/或如本文所述或如参考图1a-6a描述的方法、过程和/或装置。

计算系统600或系统620可以是服务器系统，其可以包括被配置为实现本文所描述的本发明的单个服务器或服务器网络。在一些示例中，服务器的功能可以由分布在地理区域上的服务器网络(诸如全球分布式服务器网络)提供，并且用户可以基于用户位置连接到服务器网络中适当的一个。

如参考图1a至6b中的任何一个或多个所描述的，和/或如本文所描述的，系统600或620可以包括以下诸项的一个或多个进一步的修改、特征、步骤和/或特征：过程100、200、300、320、340、350、400、420、430、440、450、460、500、520和/或装置/系统120、210、600、620、其计算机实现的方法，和/或其修改。例如，化合物生成模块/设备622、化合物评分模块/设备624、判定模块/设备626和/或机器学习更新模块/设备628可以被配置为实现如参考图1a至6b中的任何一个或多个所描述的，和/或如本文所描述的过程100、200、300、320、340、350、400、420、430、440、450、460、500、520和/或装置/系统120、210、600、620、其计算机实现的方法，和/或其修改的一个或多个进一步的修改、特征、步骤和/或特征。

此外，可以用硬件和/或软件来实现如参考图1a至6b中的任何一个或多个所描述的，和/或如本文所描述的过程100、200、300、320、340、350、400、420、430、440、450、460、500、520和/或装置/系统120、210、600、620、其计算机实现的方法，和/或其修改的一个或多个进一步的修改、特征、步骤和/或特征。例如，可以用硬件和/或软件来实现参考图1a-6b中的一个或多个所描述的用于设计表现出一项或多项所需性质的化合物的方法和/或过程，例如(仅作为示例但不限于)作为由一个或多个处理器/处理器单元执行的计算机实现的方法，或作为应用需求。这样的装置、系统、过程和/或方法可用于生成机器学习模型，该机器学习模型包括数据，该数据表示如结合计算机实现的方法、过程100、130、500和/或装置/系统120、300、400、600和/或这些过程的任何方法/过程、步骤所描述的，如参考图1a至6b中的任何一个或多个及其修改所描述的，和/或如本文等所描述的对机器学习技术的更新。因此，可从如本文的装置、系统和/或计算机实现的过程、方法获得机器学习模型。

为了清楚起见，以上描述参照单个用户讨论了本发明的实施例。应当理解，实际上该系统可以由多个用户共享，并且可能由非常大量的用户同时共享。

上述实施例是全自动的。在一些示例中，系统的用户或操作者可以手动指示待执行的方法的一些步骤。

在所描述的本发明的实施例中，系统可以实现为任何形式的计算和/或电子设备或装置。这样的设备可以包括一个或多个处理器，该一个或多个处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制设备的操作以便收集和记录路由信息的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的情况下，处理器可以包括一个或多个固定功能块(也称为加速器)，其在硬件(而不是软件或固件)中实现该方法的一部分。可以在基于计算的设备处提供包括操作系统或任何其他合适的平台软件的平台软件，以使得能够在设备上执行应用软件。

本文描述的各种功能可以用硬件、软件或其任何组合来实现。如果以软件实现，那么功能可作为计算机可读媒体上的一个或一个以上指令或代码而存储或传输。计算机可读介质可以包括例如计算机可读存储介质。计算机可读存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性或非易失性、可移动或不可移动介质。计算机可读存储介质可以是可由计算机访问的任何可用存储介质。作为示例而非限制，这样的计算机可读存储介质可包括RAM、ROM、EEPROM、闪存或其他存储设备、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备，或可用于携带或存储指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如本文所使用的，盘包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光光盘(BD)。此外，传播信号不包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质，该通信介质包括便于将计算机程序从一个地方传输到另一个地方的任何介质。连接可以例如是通信介质。例如，如果使用同轴电缆、光纤电缆、双绞线，DSL或诸如红外线、无线电和微波等无线技术，从网站、服务器或其他远程源传输软件，则将被包括在通信介质的定义中。上述各项的组合也应当包括在计算机可读介质的范围内。

可替代地或另外地，本文描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如但不作为限制，可以使用的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

尽管被示为单个系统，但是应当理解，计算设备可以是分布式系统。因此，例如，几个设备可以通过网络连接进行通信，并且可以共同执行被描述为由计算设备执行的任务。

虽然计算设备被示为本地设备，但是应当理解，该计算设备可以经由网络或其他通信链路(例如，使用通信接口)来远程访问。

这里使用的术语“计算机”是指具有处理能力使得其可以执行指令的任何装置或设备。本领域的技术人员将认识到，这样的处理能力被结合到许多不同的设备中，因此术语“计算机”包括任何处理硬件/软件、PC、服务器、移动电话、个人数字助理和许多其他设备。

本领域的技术人员将认识到，用于存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储被描述为软件的过程的示例。本地或终端计算机可以访问远程计算机并下载部分或全部软件以运行该程序。或者，本地计算机可以根据需要下载多个软件，或者在本地终端执行一些软件指令，兵在远程计算机(或计算机网络)执行一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部或一部分可以由诸如DSP、可编程逻辑阵列等的专用电路来执行。

应当理解，上述益处和优点可涉及一个实施例或者可涉及几个实施例。实施例不限于解决任何或所有问题的实施例或具有任何或所有益处和优点的实施例。实施例的变体应被认为包括在本发明的范围内。

对“一个”项目的任何指称是指这些项目中的一个或多个。术语“包括”在本文中用于表示包括所确认的方法步骤或元件，但是这些步骤或元件不是封闭性的列举，方法或装置可以包含另外的步骤或元件。

如本文中所使用的，术语“部件”和“系统”旨在涵盖配置有计算机可执行指令的计算机可读数据存储装置，计算机可执行指令在由处理器执行时使得某些功能被执行。计算机可执行指令可以包括例程、函数等。还应当理解，部件或系统可以位于单个设备上或者分布在多个设备上。

此外，如本文所用，术语“示例性”旨在表示“用作某物的说明或示例”。

此外，就在具体实施方式或权利要求书中使用术语“包含”而言，这一术语旨在当术语“包括”在权利要求中解释为过渡词时，按照与术语“包括”类似的方式表示非封闭性的含义。

附图示出了示例性方法。虽然这些方法被示出和描述为以特定顺序执行的一系列操作，但是应当理解和意识到，这些方法不受顺序的限制。例如，一些操作可以以与本文所描述的不同的顺序发生。此外，一个操作可以与另一操作同时发生。此外，在一些情况下，可能不需要所有操作就可实现本文所描述的方法。

此外，本文描述的操作可包括可由一个或多个处理器实现和/或存储在计算机可读介质上的计算机可执行指令。计算机可执行指令可以包括例程、子例程、程序、执行线程等。此外，这些方法的操作结果可以存储在计算机可读介质中，呈现在显示设备上等。

本文描述的方法的步骤的顺序是示例性的，这些步骤可以以任何合适的顺序进行，或者在适当的情况下同时进行。另外，在不脱离本文主题的范围的情况下，可以在任何方法中添加或替换步骤，或者可以从任何方法中删除单独的步骤。上述任何示例的各方面可与所描述的任何其他示例的各方面组合，以形成其他示例，而不丧失所寻求的效力。

应当理解，以上对优选实施例的描述仅作为示例给出，并且本领域技术人员可以做出各种修改。以上描述包括一个或多个实施例的示例。当然，不可能为了描述上述方面而对上述设备或方法的每个可能想到的修改和变更都做描述，但是本领域的普通技术人员可以认识到，对各个方面的许多进一步的修改和置换是可能的。因此，所描述的方面旨在涵盖落在所附权利要求书的范围内的所有此类变更、修改和变型。

Claims (35)

1.一种使用机器学习技术来设计表现出一项或多项所需性质的化合物的计算机实现的方法，其特征在于，所述方法包括：

使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的所述机器学习技术来生成第二化合物；

基于所述所需性质对所述第二化合物评分；

基于所述评分确定是否重复生成步骤；以及

在重复所述生成步骤之前基于所述评分更新所述机器学习技术。

2.根据权利要求1所述的计算机实现的方法，其特征在于，确定是否重复所述生成步骤基于所述评分，所述评分指示所述第二化合物更加接近于表现出所述所需性质的化合物。

3.根据权利要求1或2所述的计算机实现的方法，其特征在于，确定是否重复生成步骤基于所述评分，所述评分指示所述第二化合物表现出所述所需性质。

4.根据权利要求1至3中任一项所述的计算机实现的方法，其特征在于，确定是否重复所述生成步骤还包括确定是否已经实现了重复所述生成步骤的预定次数的迭代。

5.根据权利要求1至4中任一项所述的计算机实现的方法，其特征在于，确定是否重复所述生成步骤还包括：基于表现出至少一项或多项所述所需性质的所述第二化合物，确定对所述第二化合物的任何进一步改进是否可能。

6.根据权利要求1至5中任一项所述的计算机实现的方法，其特征在于：生成第二化合物还包括生成第二化合物集合；以及

基于所述所需性质对所述第二化合物集合进行评分。

7.根据权利要求6所述的计算机实现的方法，其特征在于，还包括：

基于所述评分对所述第二化合物集合进行分级，其中产生第二化合物还包括基于层级最高的第二化合物集合产生其他第二化合物。

8.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，所述规则集合还包括表示与修饰化合物相关的一个或多个操作的数据。

9.根据权利要求8所述的计算机实现的方法，其特征在于，所述一个或多个操作包括来自以下组的一个或多个操作：

对应于向所述化合物添加化合物片段或一个或多个原子的操作；

对应于移除化合物片段或所述化合物的一个或多个原子的操作；

对应于断裂或移除化合物的原子之间的键的操作；

对应于在化合物的原子之间添加或重新形成键的操作；

与修饰化合物以形成另一种化合物相关的任何其他操作；以及

与修饰化合物以形成不同化合物相关的任何其他操作。

10.根据权利要求8或9中任一项所述的计算机实现的方法，其特征在于，选择所述规则集合和/或所述一个或多个操作以符合所需的结构、物理和/或化学约束，所述约束确保对所述化合物和/或随后修饰后的化合物的任何修饰是可行的。

11.根据权利要求8至10中任一项所述的计算机实现的方法，其特征在于，所述规则集合和/或所述一个或多个操作基于相关的化学基团集合，所述化学基团集合包括以下诸项中的一个或多个：

一个或多个原子；

一个或多个分子；

一个或多个其他化合物；

一个或多个化合物片段；

一个或多个键；

一个或多个官能团；以及

所述化合物的一个或多个化学相关方面等。

12.根据权利要求8至11中任一项所述的计算机实现的方法，其特征在于，生成第二化合物还包括生成包含多个节点和多条边的树状数据结构，其中每条边将父节点连接到子节点，其中所述父节点表示化合物，并且从所述父节点到所述子节点的每条边表示对所述父节点的所述化合物执行的多个操作中的导致形成所述子节点的所述化合物的操作，其中所述树的根节点是所述第一化合物，并且后续节点对应于所述第二化合物集合。

13.根据权利要求12所述的计算机实现的方法，其特征在于，还包括基于对与所述第二化合物集合相对应的一个或多个节点进行评分来扩展所述树状数据结构。

14.根据权利要求12或13所述的计算机实现的方法，其特征在于，还包括对所述树状数据结构执行树搜索以基于来自所述多个操作的一个或多个操作的集合生成所述第二化合物集合。

15.根据权利要求8至14中任一项所述的计算机实现的方法，其特征在于，产生一个或多个第二化合物还包括：

通过所述机器学习技术将所述第一化合物和操作集合映射到N维操作空间；

通过所述机器学习技术选择所述N维操作空间中当映射在所述N维操作空间中时所述第一化合物的最近邻操作的子集；以及

将所述N维空间中所述操作的子集应用于所述第一化合物，以生成一个或多个第二化合物的集合。

16.根据从属于权利要求12时的权利要求15所述的计算机实现的方法，其特征在于，生成所述第二化合物集合还包括选择与所选择的操作集合相关联的节点，以包括到所述树状数据结构中。

17.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，所述所需性质包括来自以下组的一个或多个：

所述化合物与另一种化合物对接以形成稳定的复合物；

特定所述性质与和靶蛋白对接的配体相关，其中所述化合物是所述配体；

所述化合物与一种或多种靶蛋白对接或结合；

所述化合物具有特定的溶解度或溶解度范围；以及

与可基于原子和分子的物理移动使用计算机模拟来模拟的化合物相关的任何其他性质。

18.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，所述评分包括确定性评分，其中，当所述第二化合物中的一个或多个化合物基本上表现出所述一项或多项所需性质的全部时，所述第二化合物中的一个或多个具有较高确定性评分；当所述第二化合物中的一个或多个化合物基本上未表现出所述一项或多项所需性质中的一些时，所述第二化合物中的一个或多个具有较低确定性评分；当所述第二化合物基本上表现出所述一项或多项所需性质中的一些时，所述第二化合物中的一个或多个具有介于所述较高确定性评分和所述较低确定性评分之间的不确定性评分。

19.根据权利要求18所述的计算机实现的方法，其特征在于，所述确定性评分是百分比确定性评分，其中，所述确定性评分为百分比确定性评分，其中，所述较高确定性评分为100％，所述较低确定性评分为0％，所述不确定性评分介于所述较高、所述较低确定性评分之间。

20.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，生成所述一个或多个第二化合物还包括使用强化学习技术，以选择用于将所述第一化合物修饰为所述第二化合物的多个规则中的一个或多个。

21.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，使用一种或多种机器学习技术来执行所述评分的至少一部分。

22.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，所述机器学习技术包括来自以下组的至少一种机器学习技术或多种机器学习技术的组合：

递归神经网络，其被配置用于从所述第一化合物开始预测表现出所述所需性质集合的所述第二化合物；

卷积神经网络，其被配置用于从所述第一化合物开始预测表现出所述所需性质集合的所述第二化合物；

强化学习算法，其被配置用于从所述第一化合物开始预测表现出所述所需性质集合的所述第二化合物；以及

被配置用于从所述第一化合物开始预测表现出所述所需性质集合的所述第二化合物的任何神经网络结构。

23.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，基于所述一项或多项所需性质对第二化合物评分还包括：

针对所述所需性质中的每一个分析所述第二化合物；以及

基于所述分析计算所述第二化合物的合计评分。

24.根据权利要求23所述的计算机实现的方法，其特征在于，分析所述第二化合物还包括进行与所述第二化合物的所述一项或多项所需性质相关的计算机模拟。

25.根据权利要求23或24所述的计算机实现的方法，其特征在于，分析所述第二化合物还包括使用知识型专家系统来确定所述第二化合物是否表现出所述一项或多项所需性质。

26.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，当使用所述机器学习技术生成第二化合物时，将一个或多个第一化合物输入到所述机器学习技术。

27.根据以上权利要求中任一项所述的计算机实现的方法，其特征在于，使用机器学习技术生成第二化合物还包括基于所述一项或多项所需性质和所述规则集合，使用机器学习技术生成第二化合物集合。

28.一种装置，包括处理器、存储器单元和通信接口，其特征在于，所述处理器连接到所述存储器单元和所述通信接口，其中，所述处理器和存储器被配置为实现根据权利要求1至27中任一项所述的计算机实现的方法。

29.一种包括数据或指令代码的计算机可读介质，所述数据或指令代码在处理器上执行时使所述处理器实现根据权利要求1至27中任一项所述的计算机实现的方法。

30.一种机器学习模型，包括表示根据权利要求1至27中的任一项的计算机实现的方法来更新机器学习技术的数据。

31.一种从根据权利要求1至27中任一项所述的计算机实现的方法获得的机器学习模型。

32.一种有形计算机可读介质，包括用于使用机器学习技术来设计表现出一项或多项所需性质的化合物的数据或指令代码，当所述数据或指令代码在一个或多个处理器上执行时，使得所述一个或多个处理器中的至少一个处理器执行以下方法的至少一个步骤：

使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的所述机器学习技术来生成第二化合物；

基于所述所需性质对所述第二化合物评分；

基于所述评分确定是否重复生成步骤；以及

在重复所述生成步骤之前基于所述评分更新所述机器学习技术。

33.根据权利要求33所述的计算机可读介质，其特征在于，还包括数据或指令代码，所述数据或指令代码在处理器上执行时使得所述处理器实现权利要求2至27所述的计算机实现的方法的一个或多个步骤。

34.一种使用机器学习技术来设计表现出一项或多项所需性质的化合物的系统，其特征在于，所述系统包括：

化合物生成模块，其被配置为使用基于所需性质和用于修饰化合物的规则集合来修饰第一化合物的所述机器学习技术来生成第二化合物；

化合物评分模块，其被配置基于所述所需性质对所述第二化合物评分；

判定模块，其被配置为基于所述评分确定是否重复生成步骤；和

更新机器学习模块，其被配置为在重复所述生成步骤之前基于所述评分更新所述机器学习技术。

35.根据权利要求35所述的系统，其特征在于，所述化合物生成模块、所述化合物评分模块、所述判定模块和所述更新机器学习模块还被配置为实现根据权利要求2至27所述的计算机实现的方法。

Images