CN114626362B - 一种可控开放式组合规则知识生成方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，公开了一种可控开放式组合规则知识生成方法及系统，该方法包括以下步骤：S1，组合规则知识建模规范制定；S2，组合规则知识提示模板构建；S3，组合规则知识获取网络基础模型构建；S4，组合规则知识获取网络完整模型构建。本发明解决了现有技术存在的组合规则知识获取效率较低、准确率较低、成本较高等问题。

Description

一种可控开放式组合规则知识生成方法及系统

技术领域

本发明涉及人工智能技术领域，具体是一种可控开放式组合规则知识生成方法及系统。

背景技术

随着人工智能领域近年来的不断发展，新技术、新算法、新模型不断涌现，在金融、医疗、教育、军事等各个领域逐渐深入应用，已经取得了比较好的效益。通过构建大规模参数的模型，使用大量数据进行训练，人工智能技术已经可以在很多“分类型”或者“区分型”任务上很好地胜任，其效果甚至超过人类。但是，随着各行各业的业务需求范畴扩展，在诸如逻辑推理、场景理解、决策分析等任务方面，传统人工智能技术的表现还是难以让人满意。究其原因，是由于不同领域发展过程中积累形成的知识还无法让机器掌握并举一反三。因此，要想突破人工智能领域当前“数据效益”的瓶颈，促使机器对知识进行积累、学习和运用的重要性不言而喻。

总的来说，对逻辑推理、场景理解、决策分析等高阶任务支撑度最高的知识便是带有因果关联、逻辑性的规则知识，尤其是多种条件同时作用下的组合规则知识。而这类组合规则知识，目前几乎只能依靠领域专家进行人工总结归纳，受限于不同专家的术业范围和水平高低，获得的组合规则知识极其有限，无法超出人类认知，亦只能适应于部分已知场景，对于未知场景和问题的求解束手无策。

鉴于上述原因，亟需发展一种新的组合规则知识获取技术，从人类专家有限的总结归纳的组合规则知识中，学习到已有组合规则内在的逻辑关联和因果关系，进而获得更多更开放式的合理组合规则知识，支撑机器完成深度逻辑推理、复杂场景理解、认知决策分析等一系列下游任务。

发明内容

为克服现有技术的不足，本发明提供了一种可控开放式组合规则知识生成方法及系统，解决现有技术存在的组合规则知识获取效率较低、准确率较低、成本较高等问题。

本发明解决上述问题所采用的技术方案是：

一种可控开放式组合规则知识生成方法，包括以下步骤：

S1，组合规则知识建模规范制定：根据组合规则知识对于下游高阶推理任务的支撑需求，制定组合规则知识的关系类型，对组合规则知识制定建模规范；

S2，组合规则知识提示模板构建：对已经总结归纳的组合规则知识进行分析，通过句法依赖解析找到条件关键词和结论关键词之间的最短路径，并采用反向翻译的方式得到多样化的组合规则知识提示模板；

S3，组合规则知识获取网络基础模型构建：基于多层Transformer构建组合规则知识获取网络的基础模型，并对组合规则知识获取网络基础模型进行预训练，使组合规则知识获取网络基础模型具备知识储备能力；

S4，组合规则知识获取网络完整模型构建：通过增加Prompt任务层完善组合规则知识获取网络基础模型，基于多样化的组合规则知识提示模板重构训练样本对组合规则知识获取网络基础模型进行示教，促使组合规则知识获取网络基础模型在预训练阶段得到的知识储备能力基础上，学习到组合条件的概念内涵以及组合条件与结论之间的逻辑关联，并针对给定的新的条件组合，实现组合规则知识生成。

作为一种优选的技术方案，步骤S2包括以下步骤：

S21，针对总结归纳的组合规则知识中的{条件词，结论词}，从开源文本数据进行相似度匹配计算，得到一系列包含条件词和结论词的句子集合；

S22，将包含条件词和结论句的句子集合输入至句法依赖解析模型中，通过句法依存分析的方法，得到从条件词到结论词之间的最短路径文本；

S23，将步骤S22中得到的最短路径文本输入至反向翻译模型，输出若干提示模板集；

S24，将反向翻译模型输出的提示模板集输入至LM优化模型，通过计算LM分数，选取其中得分最高的K个提示模板，作为最终的最优提示模板集合。

作为一种优选的技术方案，步骤S3包括以下步骤：

S31，输入层表示：利用原始输入文本，得到组合规则知识获取网络的输入表示；

S32，网络模型编码：充分学习文本中的每个词之间的语义关联，得到文本的上下文语义表示；

S33，网络模型参数优化：计算交叉熵损失，不断优化组合规则知识获取网络基础模型参数，当交叉熵损失小于设定阈值时停止优化，得到最终的组合规则知识获取网络基础模型参数。

作为一种优选的技术方案，步骤S3中，设计的预训练推理任务包括：掩码语言模型任务、下一句预测任务。

作为一种优选的技术方案，步骤S3中，执行掩码语言模型任务时，将输入统一规定为两段文本拼接的形式。

作为一种优选的技术方案，步骤S31中，假设原始输入文本为x₁x₂…x_i…x_n，通过掩码操作后的输入文本为x′₁x′₂…x′_i…x′_n，对掩码后的输入文本进行处理，得到组合规则知识获取网络的输入表示v，的计算公式为：

v＝InputRepresentation(X)，

其中，X＝[CLS]x′₁x′₂…x′_i…x′_n[SEP]，x_i表示输入文本的第i个词，x′_i表示经过掩码处理后的第i个词，[CLS]表示文本序列开始的特殊标记，[SEP]表示文本序列之间的分隔标记。

作为一种优选的技术方案，步骤S32中，输入表示v经过4层Transformer，借助自注意力机制充分学习文本中的每个词之间的语义关联，最终得到文本的上下文语义表示，计算公式为：

其中，h^[l]∈R^N×d表示第l层Transformer的隐含层输出，h^[0]＝v，N表示序列长度，d表示组合规则知识获取网络的隐含层维度。

作为一种优选的技术方案，步骤S33中，计算掩码表示中的第i个分量对应的词表上的概率分布P_i，利用P_i与标签y_i计算交叉熵损失，P_i计算公式为：

其中，Softmax()表示激活函数,i表示掩码表示中的分量编号，m表示被掩码的标记，W表示词向量矩阵，T表示转置操作，W^T表示词向量矩阵的转置矩阵，

表示第i个被掩码的词的向量表示，b^o表示全连接层的偏置。

作为一种优选的技术方案，步骤S4包括以下步骤：

S41，在组合规则知识获取网络基础模型进行预训练的基础上，添加Prompt掩码语言任务层，构建出完整的组合规则知识获取网络模型；

S42，按照组合规则知识的建模规范，通过人工构建或者句法依赖解析的方式得到一系列适用于不同下游推理任务的组合规则知识提示模板；

S43，将已有的组合规则知识按照提示模板形式进行重构，得到一系列符合形式规范的组合规则知识训练样本；

S44，将获得的组合规则知识训练样本输入至构建的组合规则知识获取网络中进行任务层模型训练，得到具备组合规则知识生成能力的组合规则知识获取网络模型；

S45，将新的多元条件按照模板形式进行重构，输入至训练好的组合规则知识获取网络完整模型中，输出一系列合理且开放的新组合规则知识以及其概率；

S46，对将得到的组合规则知识进行判定，或者设定置信概率值，将通过判定或者高于设定置信概率值的组合规则知识入库，扩充知识库规模。

一种可控开放式组合规则知识生成系统，基于所述的一种可控开放式组合规则知识生成方法，包括依次电相连的以下模块：

组合规则知识建模规范制定模块：用以根据组合规则知识对于下游高阶推理任务的支撑需求，制定组合规则知识的关系类型，对组合规则知识制定建模规范；

组合规则知识提示模板构建模块：用以对已经总结归纳的组合规则知识进行分析，通过句法依赖解析找到条件关键词和结论关键词之间的最短路径，并采用反向翻译的方式得到多样化的组合规则知识提示模板；

组合规则知识获取网络基础模型构建模块：用以基于多层Transformer构建组合规则知识获取网络的基础模型，并对组合规则知识获取网络基础模型进行预训练，使组合规则知识获取网络基础模型具备知识储备能力；

组合规则知识获取网络完整模型构建模块：用以通过增加Prompt任务层完善组合规则知识获取网络基础模型，基于多样化的组合规则知识提示模板重构训练样本对组合规则知识获取网络基础模型进行示教，促使组合规则知识获取网络基础模型在预训练阶段得到的知识储备能力基础上，学习到组合条件的概念内涵以及组合条件与结论之间的逻辑关联，并针对给定的新的条件组合，实现组合规则知识生成。

本发明相比于现有技术，具有以下有益效果：

(1)本发明提出了组合规则知识建模规范，从下游高阶推理任务的支撑需求出发，制定了能力规则知识、因果规则知识、需求规则知识、前序规则知识、后序规则知识、动机规则知识、排斥规则知识、关联规则知识、象征规则知识和用途规则知识等10种组合规则知识及其建模规范，用以指导后续组合规则知识提示模板的设计；

(2)本发明提出了一种组合规则知识提示模板构建方法，基于维基百科、百度百科等大量开源数据，通过句法依赖解析方法对已有的专家总结归纳的组合规则知识进行分析，得到条件关键词和结论关键词之间的最短路径，然后采用反向翻译的方法得到多样化的组合规则知识提示模板，对后续获取多维合理的组合规则知识提供支撑；

(3)本发明提出了一种基于Prompt提示学习的组合规则知识获取技术，针对目前下游推理任务需要用到的较为复杂的组合规则知识只能通过人类专家进行构建、新场景任务适应度不高等问题，通过组合规则知识提示模板重构少量训练样本对组合规则知识获取网络模型进行示教启发，加深模型对于预训练阶段学到的逻辑性知识理解，实现专家组合规则知识模板引导下的可控开放式多样化组合规则知识获取，给人类专家启发，能够快速适应新场景的推理应用。

附图说明

图1为本发明所述一种可控开放式组合规则知识生成方法的步骤示意图；

图2为本发明所述一种可控开放式组合规则知识生成系统的结构示意图；

图3为组合规则知识建模规范示意图；

图4为组合规则知识提示模板构建原理图；

图5为组合规则知识获取网络构建与预训练原理图；

图6为组合规则知识获取原理图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

如图1至图6所示，本发明的目的为公开了一种可控开放式组合规则知识获取方法，针对组合规则知识逻辑复杂、高度依赖人类专家总结、对未知场景无法自动迁移适应等问题，重点突破了组合规则知识建模规范、组合规则知识提示模板构建、组合规则知识获取等内容，能够实现多可能性且合理的组合规则知识自动获取，有力支撑机器执行更高阶的推理任务，同时其多样化的知识生成结果能够给人类专家以启发。

本发明形成的组合规则知识获取方法，包括组合规则知识建模、组合规则知识提示模板构建、组合规则知识获取网络构建与预训练、组合规则知识获取等几个部分。各个部分实现的功能简要阐述如下：

组合规则知识建模：根据组合规则知识对于下游高阶推理任务的支撑需求，制定组合规则知识的关系类型，对组合规则知识制定建模规范，以指导后续组合规则知识提示模板设计、组合规则知识获取等的开展。

组合规则知识提示模板构建：对人类专家已经总结归纳的组合规则知识进行分析，基于大量开源数据，通过句法依赖解析找到条件关键词和结论关键词之间的最短路径，并采用反向翻译的方式得到多样化的组合规则知识提示模板。

组合规则知识获取网络构建与预训练：基于多层Transformer构建组合规则知识获取网络的基础结构，并使用大量开放域文本数据、垂直领域文本数据、常识知识库、事件知识库等数据对网络模型进行预训练，使模型具备基础的“知识储备”能力。

组合规则知识获取：通过增加Prompt任务层完善组合规则知识获取网络模型，基于多样化的组合规则知识提示模板重构训练样本对模型进行示教，促使模型在预训练阶段得到的知识储备基础上，深入学习到组合条件的概念内涵，以及组合条件与结论之间的逻辑关联，并针对给定的新的条件组合，实现合理且开放的组合规则知识生成。

本发明的有益效果是：

(1)本发明提出了组合规则知识建模规范，从下游高阶推理任务的支撑需求出发，制定了能力规则知识、因果规则知识、需求规则知识、前序规则知识、后序规则知识、动机规则知识、排斥规则知识、关联规则知识、象征规则知识和用途规则知识等10种组合规则知识及其建模规范，用以指导后续组合规则知识提示模板的设计。

(2)本发明提出了一种组合规则知识提示模板构建方法，基于维基百科、百度百科等大量开源数据，通过句法依赖解析方法对已有的专家总结归纳的组合规则知识进行分析，得到条件关键词和结论关键词之间的最短路径，然后采用反向翻译的方法得到多样化的组合规则知识提示模板，对后续获取多维合理的组合规则知识提供支撑。

(3)本发明提出了一种基于Prompt提示学习的组合规则知识获取技术，针对目前下游推理任务需要用到的较为复杂的组合规则知识只能通过人类专家进行构建、新场景任务适应度不高等问题，通过组合规则知识提示模板重构少量训练样本对组合规则知识获取网络模型进行示教启发，加深模型对于预训练阶段学到的逻辑性知识理解，实现专家组合规则知识模板引导下的可控开放式多样化组合规则知识获取，给人类专家启发，能够快速适应新场景的推理应用。

实施例2

如图1至图6所示，作为实施例1的进一步优化，本实施例包含了实施例1的全部技术特征，除此之外，本实施例还包括以下技术特征：

采用以下步骤实现：

1.组合规则知识建模；

参阅图3，组合规则知识是指信息、条件、概念、实体等之间的多对一的关系，如“当[经济形势低迷]，[物价异常上涨]，…，[机构大量抛售股票债券]等情况发生时，会引发[股市崩盘]”“当[空气湿度急剧增加]，[气象局发布寒潮预警]，…，[开始刮大风]等情况出现时，第二天会[下雪]”等等均属于组合规则知识，这些知识通过组合规则模板的形式进行存储和使用。图中，模板类型是指二元、三元、…n元等组合规则模板，表明了具体的组合规则知识为几对一的规则；规则类型是指前述能力规则、因果规则、需求规则等10种组合规则中的某一种；规则知识模板为组合规则知识抽象化的表述形式，其连接词(条件和结论以外的固定模板用语)是不同模板的特有表述形式；规则知识示例则是自然语言文本形式的具体组合规则知识的内容。

2.组合规则知识提示模板构建；

参阅图4，本发明提出了一种基于句法依赖解析和反向翻译手段的组合规则知识提示模板构建技术，通过专家总结归纳的组合规则知识以及外部大规模的文本数据库，能够得到一系列效果优异的提示模板集合。其具体步骤如下：

步骤1：针对人类专家总结归纳的组合规则知识中的{条件词，结论词}，从维基百科、百度百科等开源文本数据进行相似度匹配计算，得到一系列包含条件词和结论词的句子集合；

步骤2：将包含条件词和结论句的句子集合输入至句法依赖解析模型中，通过句法依存分析的方法，得到从条件词到结论词之间的最短路径文本，即为条件词和结论词之间的核心文本；

步骤3：将步骤2中得到的最短路径文本输入至反向翻译模型，输出若干提示模板集，以增加提示模板的丰富性；

步骤4：将反向翻译模型输出的提示模板集输入至LM优化模型，通过计算LM分数，选取其中得分最高的K个提示模板，作为最终的最优提示模板集合。

通过上述方法得到的提示模板，既保证了从条件词到结论词之间承接的逻辑性，也具备多样性，能够更好地指导后续组合规则知识的生成。

3.组合规则知识获取网络构建与预训练；

参阅图5，组合规则知识获取网络的基本模型结构由多层Transformer构成，针对组合规则知识获取的任务需求，在该模型训练时设计了两个相应的预训练推理任务：①掩码语言模型任务(Masked Language Model,MLM)；②下一句预测任务(Next SentencePrediction,NSP)。

在该网络模型预训练过程中，预训练语料来自于开放域文本数据、垂直领域文本数据、常识知识库、事件知识库等丰富多样的来源。针对预训练任务，将语料进行预处理成网络需要的输入形式，网络的输入由两段文本x⁽¹⁾和x⁽²⁾拼接组成，输入的文本通过组合规则知识获取网络模型建模得到其上下文语义表示，最终学习得到掩码语言模型和下一句预测模型。其中，掩码语言模型对输入形式没有特别要求，可以是一段文本也可以是两段文本。而下一句预测模型要求输入必须为两段文本。因此，为了后续组合规则知识获取网络模型训练过程的统一，在预训练任务阶段，将输入统一规定为两段文本拼接的形式。接下来将通过输入层表示、网络模型编码和网络模型参数优化三个步骤来介绍组合规则知识获取网络训练过程。

(1)输入层表示；

假设原始输入文本为x₁x₂…x_i…x_n，通过上述方法掩码后的输入文本为x′₁x′₂…x′_i…x′_n，x_i表示输入文本的第i个词，x′_i表示经过掩码处理后的第i个词。对掩码后的输入文本进行如下处理，得到组合规则知识获取网络的输入表示v：

X＝[CLS]x′₁x′₂…x′_n[SEP]

v＝InputRepresentation(X)

其中，[CLS]表示文本序列开始的特殊标记，[SEP]表示文本序列之间的分隔标记。需要注意，如果输入文本的长度n小于组合规则知识获取网络的最大序列长度N，需要将补齐标记(Padding Token)[PAD]拼接在输入文本后，直至达到组合规则知识获取网络的最大序列长度M。例如，假设组合规则知识获取网络的最大序列长度N＝10，而输入序列长度为7(两个特殊标记加上x₁至x₅)，需要在输入序列后方添加3个[PAD]补齐标记。

[CLS]x₁x₂x₃x₄x₅[SEP][PAD][PAD][PAD]

而如果输入序列X的长度大于组合规则知识获取网络的最大序列长度，需要对输入序列入截断至网络的最大序列长度。例如，假设组合规则知识获取网络的最大序列长度N＝5，而输入序列长度为7(两个特殊标记加上x₁至x₅)，需要对序列截断，使有效序列(输入序列中去除2个特殊标记)长度变为3。

[CLS]x₁x₂x₃[SEP]

(2)网络模型编码；

在组合规则知识获取网络编码层中，输入表示V经过4层Transformer，借助自注意力机制充分学习文本中的每个词之间的语义关联。Transformer的具体编码方法在人工智能领域中已经非常成熟且普及，在此不再赘述。

其中，h^[l]∈R^N×d表示第l层Transformer的隐含层输出，同时规定h^[0]＝v，以保持式子的完备性。为了描述方便，略去层与层之间的标记并简化为：

h＝Transformer(v)

其中，h表示最后一层Transformer的输出，即h^[L]。通过上述方法最终得到文本的上下文语义表示h∈R^N×d，d表示组合规则知识获取网络的隐含层维度。

(3)网络模型参数优化。

由于掩码语言模型仅对输入文本中的部分词进行了掩码操作，因此并不需要预测输入文本中的每个位置，而只需预测已经掩码的位置。假设集合M＝{m₁,m₂,…,m_k}表示所有掩码位置的下标，k表示总掩码数量。如果输入文本长度为n，掩码比例为15％，则k＝n×15％。然后，以集合M中的元素为下标，从输入序列的上下文语义表示h中抽取出对应的表示，并将这些表示进行拼接得到掩码表示h^m∈R^k×d。

在组合规则知识获取网络中，由于输入表示维度e和隐含层维度d相同，可直接利用词向量矩阵W∈R^|V|×e将掩码表示映射到词表空间。对于掩码表示中的第i个分量，通过下式计算该掩码位置对应的词表上的概率分布P_i：

其中，b°∈R^|V|表示全连接层的偏置。最后，在得到掩码位置对应的概率分布P_i后，与标签y_i(即原单词x_i的独热向量表示)计算交叉熵损失，学习模型参数。

4.组合规则知识获取。

参阅图6，本发明提出了一种基于Prompt提示学习的组合规则知识获取技术，针对当前下游推理任务中用到的组合规则几乎都由领域专家人工总结归纳构建，只能适用于部分场景，无法对未知场景进行推理的问题，通过组合规则知识模板重构输入输出对网络模型进行示教启发，实现专家模板知识引导下的可控开放式多样化组合规则知识推理生成。其具体步骤如下：

步骤1：在组合规则知识获取网络预训练基础上，添加Prompt掩码语言任务层，构建出完整的组合规则知识获取网络；

步骤2：按照组合规则知识的建模规范，通过人工构建或者句法依赖解析的方式得到一系列适用于不同下游推理任务的组合规则知识提示模板；

步骤3：将已有的组合规则知识按照步骤2中的提示模板形式进行重构，得到一系列符合形式规范的组合规则知识训练样本；

步骤4：将步骤3中获得的组合规则知识训练样本输入至步骤1中构建的组合规则知识获取网络中进行任务层模型训练，得到具备组合规则知识生成能力的网络模型；

步骤5：将新的多元条件按照模板形式进行重构，输入至步骤4中训练好的组合规则知识获取网络中，模型将输出一系列合理且开放的新组合规则知识以及其概率；

步骤6：人工对将步骤5中得到的组合规则知识进行判定，或者设定置信概率值，将通过人工判定或者高于设定置信概率值的组合规则知识入库，扩充知识库规模。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (9)

1.一种可控开放式组合规则知识生成方法，其特征在于，包括以下步骤：

S1，组合规则知识建模规范制定：根据组合规则知识对于下游高阶推理任务的支撑需求，制定组合规则知识的关系类型，对组合规则知识制定建模规范；

S2，组合规则知识提示模板构建：对已经总结归纳的组合规则知识进行分析，通过句法依赖解析找到条件关键词和结论关键词之间的最短路径，并采用反向翻译的方式得到多样化的组合规则知识提示模板；

S3，组合规则知识获取网络基础模型构建：基于多层Transformer构建组合规则知识获取网络的基础模型，并对组合规则知识获取网络基础模型进行预训练，使组合规则知识获取网络基础模型具备知识储备能力；

S4，组合规则知识获取网络完整模型构建：通过增加Prompt任务层完善组合规则知识获取网络基础模型，基于多样化的组合规则知识提示模板重构训练样本对组合规则知识获取网络基础模型进行示教，促使组合规则知识获取网络基础模型在预训练阶段得到的知识储备能力基础上，学习到组合条件的概念内涵以及组合条件与结论之间的逻辑关联，并针对给定的新的条件组合，实现组合规则知识生成；

步骤S4包括以下步骤：

S41，在组合规则知识获取网络基础模型进行预训练的基础上，添加Prompt掩码语言任务层，构建出完整的组合规则知识获取网络模型；

S42，按照组合规则知识的建模规范，通过人工构建或者句法依赖解析的方式得到一系列适用于不同下游推理任务的组合规则知识提示模板；

S43，将已有的组合规则知识按照提示模板形式进行重构，得到一系列符合形式规范的组合规则知识训练样本；

S44，将获得的组合规则知识训练样本输入至构建的组合规则知识获取网络中进行任务层模型训练，得到具备组合规则知识生成能力的组合规则知识获取网络模型；

S45，将新的多元条件按照模板形式进行重构，输入至训练好的组合规则知识获取网络完整模型中，输出一系列合理且开放的新组合规则知识以及其概率；

S46，对将得到的组合规则知识进行判定，或者设定置信概率值，将通过判定或者高于设定置信概率值的组合规则知识入库，扩充知识库规模。

2.根据权利要求1所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S2包括以下步骤：

S21，针对总结归纳的组合规则知识中的{条件词，结论词}，从开源文本数据进行相似度匹配计算，得到一系列包含条件词和结论词的句子集合；

S22，将包含条件词和结论句的句子集合输入至句法依赖解析模型中，通过句法依存分析的方法，得到从条件词到结论词之间的最短路径文本；

S23，将步骤S22中得到的最短路径文本输入至反向翻译模型，输出若干提示模板集；

S24，将反向翻译模型输出的提示模板集输入至LM优化模型，通过计算LM分数，选取其中得分最高的K个提示模板，作为最终的最优提示模板集合。

3.根据权利要求2所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S3包括以下步骤：

S31，输入层表示：利用原始输入文本，得到组合规则知识获取网络的输入表示；

S32，网络模型编码：充分学习文本中的每个词之间的语义关联，得到文本的上下文语义表示；

S33，网络模型参数优化：计算交叉熵损失，不断优化组合规则知识获取网络基础模型参数，当交叉熵损失小于设定阈值时停止优化，得到最终的组合规则知识获取网络基础模型参数。

4.根据权利要求3所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S3中，设计的预训练推理任务包括：掩码语言模型任务、下一句预测任务。

5.根据权利要求4所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S3中，执行掩码语言模型任务时，将输入统一规定为两段文本拼接的形式。

6.根据权利要求5所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S31中，假设原始输入文本为x₁x₂…x_i…x_n，通过掩码操作后的输入文本为x'₁x'₂…x'_i…x'_n，对掩码后的输入文本进行处理，得到组合规则知识获取网络的输入表示v，的计算公式为：

v＝InputRepresentation(X)，

其中，X＝[CLS]x'₁x'₂…x'_i…x'_n[SEP]，x_i表示输入文本的第i个词，x′_i表示经过掩码处理后的第i个词，[CLS]表示文本序列开始的特殊标记，[SEP]表示文本序列之间的分隔标记。

7.根据权利要求6所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S32中，输入表示v经过4层Transformer，借助自注意力机制充分学习文本中的每个词之间的语义关联，最终得到文本的上下文语义表示，计算公式为：

其中，h^[l]∈R^N×d表示第l层Transformer的隐含层输出，h^[0]＝v，N表示序列长度，d表示组合规则知识获取网络的隐含层维度。

8.根据权利要求6所述的一种可控开放式组合规则知识生成方法，其特征在于，步骤S33中，计算掩码表示中的第i个分量对应的词表上的概率分布P_i，利用P_i与标签y_i计算交叉熵损失，P_i计算公式为：

其中，Softmax()表示激活函数,i表示掩码表示中的分量编号，m表示被掩码的标记，W表示词向量矩阵，T表示转置操作，W^·表示词向量矩阵的转置矩阵，

表示第i个被掩码的词的向量表示，b^o表示全连接层的偏置。

9.一种可控开放式组合规则知识生成系统，其特征在于，基于权利要求1至8任一项所述的一种可控开放式组合规则知识生成方法，包括依次电相连的以下模块：

组合规则知识建模规范制定模块：用以根据组合规则知识对于下游高阶推理任务的支撑需求，制定组合规则知识的关系类型，对组合规则知识制定建模规范；

组合规则知识提示模板构建模块：用以对已经总结归纳的组合规则知识进行分析，通过句法依赖解析找到条件关键词和结论关键词之间的最短路径，并采用反向翻译的方式得到多样化的组合规则知识提示模板；

组合规则知识获取网络基础模型构建模块：用以基于多层Transformer构建组合规则知识获取网络的基础模型，并对组合规则知识获取网络基础模型进行预训练，使组合规则知识获取网络基础模型具备知识储备能力；

组合规则知识获取网络完整模型构建模块：用以通过增加Prompt任务层完善组合规则知识获取网络基础模型，基于多样化的组合规则知识提示模板重构训练样本对组合规则知识获取网络基础模型进行示教，促使组合规则知识获取网络基础模型在预训练阶段得到的知识储备能力基础上，学习到组合条件的概念内涵以及组合条件与结论之间的逻辑关联，并针对给定的新的条件组合，实现组合规则知识生成。

Images