CN115795038A - 基于国产化深度学习框架的意图识别方法和装置 - Google Patents

Abstract

本申请涉及一种基于国产化深度学习框架的意图识别方法和装置。所述方法包括：在检测到电力用户对话事件时，获取电力用户对话事件对应的原始对话信息；将原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；数据预处理层用于对目标语言类型的信息进行转换处理；将待识别意图信息输入至预训练的意图识别模型中特征处理层，得到特征编码信息，通过对特征编码信息进行意图识别处理，得到原始对话信息对应的模型输出信息；基于模型输出信息，得到电力用户对话事件对应的意图识别结果。采用本方法能够针对电力用户对话事件准确有效地识别用户意图，有助于对中文问询问题得到快速回复，提升了意图识别处理效率和数据安全性。

Description

基于国产化深度学习框架的意图识别方法和装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于国产化深度学习框架的意图识别方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

意图识别在智能客服场景中有着重要的地位，如何利用机器学习、深度学习等技术从大量的客户来电内容中自动识别客户来电的意图信息，对于提高服务质量、减少人工分析代价具有重要意义。

随着深度学习的发展，很多企业会采用国外的技术框架，但该框架将产生巨大的安全隐患，且国外深度学习框架也存在对于中文的支持力度低的问题，导致针对中文问题难以得到快速回复，处理效率低、意图识别效果不佳。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决上述问题的基于国产化深度学习框架的意图识别方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种基于国产化深度学习框架的意图识别方法，所述方法包括：

在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在其中一个实施例中，所述将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息，包括：

根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息；

根据所述处理后对话信息对应的语料增强结果，得到所述待识别意图信息。

在其中一个实施例中，所述根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息，包括：

针对所述电力用户地址信息中的目标信息元素，按照预设的语言转换信息，将所述目标信息元素对应的语言类型，由所述目标语言类型转换为指定语言类型，得到信息转换结果；

根据所述信息转换结果，去除所述原始对话信息中的目标文本词语，得到所述处理后对话信息。

在其中一个实施例中，所述预训练的意图识别模型通过下述方法训练得到：

采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型；

获取电力专属语料数据，作为训练样本数据，根据所述训练样本数据对所述预训练模型进行模型训练，作为所述预训练的意图识别模型中特征处理层；

结合所述预训练的意图识别模型中特征处理层和意图识别神经网络，得到所述预训练的意图识别模型。

在其中一个实施例中，所述意图识别神经网络包括双向LSTM层、全连接层、Softmax函数。

在其中一个实施例中，所述待识别意图信息为编码转换数据，所述将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，包括：

将所述编码转换数据输入至所述预训练模型，得到所述编码转换数据对应的特征编码信息。

在其中一个实施例中，所述模型输出信息为多分类输出信息，所述基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果，包括：

从所述多分类输出信息中确定目标输出信息，将所述目标输出信息对应的意图识别结果，作为所述电力用户对话事件对应的意图识别结果；不同分类的输出信息对应有不同意图识别结果。

第二方面，本申请还提供了一种基于国产化深度学习框架的意图识别装置，所述装置包括：

原始对话信息获取模块，用于在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

待识别意图信息得到模块，用于将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

模型处理模块，用于将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

意图识别结果得到模块，用于基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于国产化深度学习框架的意图识别方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于国产化深度学习框架的意图识别方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的基于国产化深度学习框架的意图识别方法的步骤。

上述一种基于国产化深度学习框架的意图识别方法、装置、计算机设备、存储介质和计算机程序产品，通过在检测到电力用户对话事件时，获取电力用户对话事件对应的原始对话信息，该原始对话信息对应的语言类型为目标语言类型，然后将原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息，该数据预处理层用于对目标语言类型的信息进行转换处理，将待识别意图信息输入至预训练的意图识别模型中特征处理层，得到特征编码信息，通过对特征编码信息进行意图识别处理，得到原始对话信息对应的模型输出信息，该特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型，进而基于模型输出信息，得到电力用户对话事件对应的意图识别结果，实现了针对电力用户对话事件的意图识别优化，有助于对中文问询问题得到快速回复，能够准确有效地识别用户意图，提升了意图识别处理效率、意图识别效果，以及数据安全性。

附图说明

图1为一个实施例中一种基于国产化深度学习框架的意图识别方法的流程示意图；

图2为一个实施例中一种预训练的意图识别模型整体结构的示意图；

图3为一个实施例中一种模型训练步骤的流程示意图；

图4为一个实施例中另一种基于国产化深度学习框架的意图识别方法的流程示意图；

图5为一个实施例中一种基于国产化深度学习框架的意图识别装置的结构框图；

图6为一个实施例中一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据等），均为经用户授权或者经过各方充分授权的信息和数据；对应的，本申请还提供有相应的用户授权入口，供用户选择授权或者选择拒绝。

在一个实施例中，如图1所示，提供了一种基于国产化深度学习框架的意图识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤101，在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

作为一示例，电力用户对话事件可以为在基于电力系统的智能客服场景下，通过接收用户对话请求，获取针对电力相关问题进行问询的原始对话信息的对话事件，例如，可以从用户的来电内容中自动识别出原始对话信息，用户也可以采用文本输入或语音输入的方式，通过问询终端发送用户对话请求，进而可以根据该用户对话请求获取原始对话信息。

其中，原始对话信息对应的语言类型为目标语言类型，如原始对话信息可以为以中文描述的信息，其用于针对电力相关问题进行中文问询。

在实际应用中，可以在检测到电力用户对话事件时，获取该电力用户对话事件对应的原始对话信息，该原始对话信息对应的语言类型为目标语言类型，如以中文描述的问询信息，以进一步针对电力相关的中文问询问题识别出用户意图。

步骤102，将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；

其中，数据预处理层可以用于对目标语言类型的信息进行转换处理，例如，其可以针对目标语言类型的原始对话信息进行信息转换、停用词排除，以及语料增强处理。

在具体实现中，可以将原始对话信息输入至预训练的意图识别模型中数据预处理层，通过从该原始对话信息中获取电力用户地址信息，根据电力用户地址信息对应的信息转换结果，得到处理后对话信息，进而可以根据该处理后对话信息对应的语料增强结果，得到待识别意图信息。

在一示例中，预训练的意图识别模型的模型整体结构如图2所示，其可以包括数据预处理层（如图2中文本增强、数字规整、停用词排除）、特征处理层（如图2中PaddlePaddle、PaddleNLP、ERNIE），以及意图识别神经网络（如图2中BILSTM、Softmax），该特征处理层可以包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型。

在又一示例中，可以基于数据预处理层进行数据预处理，如图2所示，其包括但不限于：可以将用户地址中的中文数字统一转换为阿拉伯数字类型（如图2中数字规整），以便于后续的地址对比匹配操作；并可以从原始对话信息中将与地址无关的停用词排除（如图2中停用词排除），如“嗯”、“这个”、“查一下”、“我想查”等停用词；以及可以进行语料增强（如图2中文本增强），如可以使用插入、删除、修改文字的方式增加语料。

步骤103，将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；

在得到待识别意图信息后，可以将该待识别意图信息输入至预训练的意图识别模型中特征处理层，得到特征编码信息，通过对特征编码信息进行意图识别处理，进而可以得到原始对话信息对应的模型输出信息，该模型输出信息可以为多分类输出信息。

具体地，预训练的意图识别模型中可以包括多个国产化预训练模型，如预训练模型和意图识别神经网络，可以利用国产化深度学习框架PaddlePaddle训练得到预训练模型ERNIE，基于预训练的意图识别模型，可以根据待识别意图信息，使用多种文本特征与深度学习模型进行迭代，得到多分类输出信息（即模型输出信息）。

步骤104，基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在实际应用中，模型输出信息可以为多分类输出信息，不同分类的输出信息对应有不同意图识别结果，通过从该多分类输出信息中确定目标输出信息，可以将目标输出信息对应的意图识别结果，作为电力用户对话事件对应的意图识别结果。

在一示例中，通过获取用户查询的输入语句（即电力用户对话事件对应的原始对话信息），可以对该输入语句进行数据预处理，如转换数字格式、排除停用词等处理，可以根据预设的编码表将输入语句中的字段转换为对应的tokenid，如可以将“查电费”转换为{200，1154，4756} tokenlist（即待识别意图信息）；然后可以将tokenlist输入至ERINE预训练模型（即特征处理层）得到对应的特征编码（即特征编码信息），进而可以将该特征编码输入至意图识别神经网络，得到输出的每个类别的概率（即模型输出信息），例如，{0.99，0.1，0.15}，其可以分别表征查电费、故障报装、查停电的概率（即多分类输出信息），通过选取出概率最大的类别作为目标输出信息，可以得到电力用户对话事件对应的意图识别结果。

相较于传统方法，通过使用国外的深度学习框架构建意图识别模型，其无法很好的匹配中文信息，也存在数据安全问题，以及在研发过程中对于中文相关的模型支持力度较弱。本实施例的技术方案，通过基于电力用户对话事件获取原始对话信息，如用户输入文本，对该原始对话信息进行清洗操作，如分词处理、去除停用词处理等，进而可以采用基于电力专属语料进行模型预训练得到的预训练模型ERNIE，通过使用多种文本特征与深度学习模型进行迭代，得到意图识别结果，从而能够针对电力用户对话事件准确有效地识别出用户意图，为后续电力相关服务提供了数据支持。

上述基于国产化深度学习框架的意图识别方法中，通过在检测到电力用户对话事件时，获取电力用户对话事件对应的原始对话信息，然后将原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息，将待识别意图信息输入至预训练的意图识别模型中特征处理层，得到特征编码信息，通过对特征编码信息进行意图识别处理，得到原始对话信息对应的模型输出信息，进而基于模型输出信息，得到电力用户对话事件对应的意图识别结果，可以通过采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的意图识别模型，针对电力用户对话事件确定用户意图，实现了意图识别处理优化，有助于对中文问询问题得到快速回复，能够准确有效地识别用户意图，提升了意图识别处理效率、意图识别效果，以及数据安全性。

在一个实施例中，所述将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息，可以包括如下步骤：

根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息；根据所述处理后对话信息对应的语料增强结果，得到所述待识别意图信息。

在实际应用中，可以将用户地址（即电力用户地址信息）中的中文数字统一转换为阿拉伯数字类型（即信息转换结果），以便于后续的地址对比匹配操作，并可以从原始对话信息中将与地址无关的停用词排除，得到处理后对话信息，进而可以对处理后对话信息进行语料增强，如可以使用插入、删除、修改文字的方式增加语料，得到语料增强结果，作为待识别意图信息。

例如，可以根据预设的编码表，将获取到的用户查询输入语句（即原始对话信息）中的字段转换为对应的tokenid，如可以将“查电费”转换为{200，1154，4756} tokenlist（即待识别意图信息）。

本实施例中，通过根据原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息，进而根据处理后对话信息对应的语料增强结果，得到待识别意图信息，有助于针对电力用户对话事件准确有效地识别出用户意图。

在一个实施例中，所述根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息，可以包括如下步骤：

针对所述电力用户地址信息中的目标信息元素，按照预设的语言转换信息，将所述目标信息元素对应的语言类型，由所述目标语言类型转换为指定语言类型，得到信息转换结果；根据所述信息转换结果，去除所述原始对话信息中的目标文本词语，得到所述处理后对话信息。

在具体实现中，通过将电力用户地址信息中的数字作为目标信息元素，可以按照预设的语言转换信息对目标信息元素进行转换，如可以将用户地址中的中文数字（即目标信息元素）统一转换为阿拉伯数字，即将目标信息元素对应的语言类型，由目标语言类型转换为指定语言类型，以便于后续的地址对比匹配操作。

在一示例中，在得到信息转换结果后，可以根据信息转换结果，从原始对话信息中将与地址无关的停用词（即目标文本词语）排除，例如，包括但不限于“嗯”、“这个”、“查一下”、“我想查”等停用词，进而可以得到处理后对话信息，以进一步基于该处理后对话信息进行用户意图识别。

本实施例中，通过针对电力用户地址信息中的目标信息元素，按照预设的语言转换信息，将目标信息元素对应的语言类型，由目标语言类型转换为指定语言类型，得到信息转换结果，进而根据信息转换结果，去除原始对话信息中的目标文本词语，得到处理后对话信息，可以基于对信息的清洗处理，为后续用户意图识别提供数据支持。

在一个实施例中，如图3所示，预训练的意图识别模型通过下述方法训练得到，可以包括如下步骤：

步骤301，采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型；

在实际应用中，可以采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型，通过采用国产化深度学习框架PaddlePaddle，可以使得意图识别的安全度得到进一步提升，以及采用国产化的自然语言处理框架ERNIE，其涵盖了NLP大模型和跨模态大模型，在语言与跨模态的理解和生成等领域取得一系列技术突破，并对外开源与开放了系列模型，助力大模型研究与产业化应用发展。

在一示例中，如图2所示，可以利用国产化深度学习框架PaddlePaddle训练得到预训练模型ERNIE，其中，PaddlePaddle飞桨框架可以用于并行分布式深度学习；PaddleNLP飞桨自然语言处理核心开发库，其拥有覆盖多场景的模型库、简洁易用的全流程API与动静统一的高性能分布式训练能力，可以为开发者提升文本领域建模效率；ERNIE（EnhancedLanguage Representation with Informative Entities，信息实体的增强语言表示），其为基于持续学习的语义理解预训练框架，可以使用多任务学习增量式构建预训练任务，以实现将知识显性地加入到BERT中。

步骤302，获取电力专属语料数据，作为训练样本数据，根据所述训练样本数据对所述预训练模型进行模型训练，作为所述预训练的意图识别模型中特征处理层。

在一示例中，可以采用电力专属语料数据作为训练样本数据，对预训练模型进行模型训练，通过在训练过程中调整模型参数，可以得到预训练的意图识别模型中特征处理层，从而基于采用国产化深度学习框架PaddlePaddle，以及国产化的自然语言处理框架ERNIE对模型中相关处理层的修改，可以使得预训练的意图识别模型的准确率和模型性能均有所提升，其表明了ERNIE在中文领域的表达能力更强。

步骤303，结合所述预训练的意图识别模型中特征处理层和意图识别神经网络，得到所述预训练的意图识别模型。

在具体实现中，通过结合预训练的意图识别模型中特征处理层和意图识别神经网络，得到预训练的意图识别模型，可以使得模型采用一体化的流程，包括数据预处理、Embedding层、双向LSTM层等，如意图识别神经网络可以包括双向LSTM层、全连接层、Softmax函数。

在一示例中，如图2所示，意图识别神经网络可以包括BiLSTM（Bi-directionalLong Short-Term Memory，双向长短期记忆网络），其可以基于前向LSTM与后向LSTM组合得到，可以用于在自然语言处理任务中建模上下文信息。其中，针对双向LSTM，LSTM模型可以基于时刻的输入词、细胞状态、临时细胞状态、隐层状态、遗忘门、记忆门、输出门组成得到。例如，可以采用如下方式表示LSTM的计算过程：

通过针对细胞状态中信息进行遗忘处理并记忆新的信息，可以将无用的信息丢弃，使得对后续时刻计算有用的信息得以传递处理，并可以在每个时间步输出隐层状态，其中，可以根据上个时刻的隐层状态和当前输入计算出来的遗忘门、记忆门，以及输出门，对遗忘、记忆与输出进行控制，可以将前向的LSTM与后向的LSTM结合组成得到BiLSTM。

在一个可选实施例中，基于意图识别神经网络中全连接层，可以将学到的分布式特征表示映射到样本标记空间，如图2中Softmax，其可以为归一化指数函数，该函数可以将多分类的结果以概率的形式展现出来，如可以将一个数值向量归一化为一个概率分布向量，然后可以将预测结果转化为非负数且各个概率之和为1，进而Softmax作为神经网络的最后一层，可以用于多分类问题的输出。可选地，也可以将全连接层替换为Attention层。

本实施例中，通过采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型，然后获取电力专属语料数据，作为训练样本数据，根据训练样本数据对预训练模型进行模型训练，作为预训练的意图识别模型中特征处理层，进而结合预训练的意图识别模型中特征处理层和意图识别神经网络，得到预训练的意图识别模型，实现了对意图识别模型优化，有助于对中文问询问题得到快速回复，提升了意图识别处理效率、意图识别效果，以及数据安全性。

在一个实施例中，基于国产化的自然语言处理框架ERNIE，可以将文本信息中的知识提取出来，并可以将提取得到的知识与BERT的上下文语义embedding进行结合。例如，可以采用如下方式处理得到：

通过从训练样本数据中提取出信息实体，可以构造得到知识图谱，并可以通过TransE（Translating Embedding，平移嵌入）方式将信息实体进行嵌入，然后可以基于ERNIE知识编码器得到处理结果，通过将该处理结果与ERNIE文本编码器进行对齐并进行信息融合，可以得到两种输出结果，如输出令牌以及输出实体。采用的目标函数可以包括MLM、NSP，以及针对知识图谱所制定的mask entity prediction。

在一个实施例中，所述待识别意图信息为编码转换数据，所述将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，可以包括如下步骤：

将所述编码转换数据输入至所述预训练模型，得到所述编码转换数据对应的特征编码信息。

通过所述预训练的意图识别模型中特征嵌入层，对所述待识别意图信息进行特征提取，得到不同信息类型对应的语义特征；结合所述不同信息类型对应的语义特征与各所述深度学习子模型进行迭代处理，得到所述模型输出信息。

在实际应用中，待识别意图信息可以为编码转换数据，如可以根据预设的编码表将输入语句中的字段转换为对应的tokenid，可以将tokenlist输入至ERINE预训练模型得到对应的特征编码（即特征编码信息），进而可以使用多种文本特征与深度学习模型进行迭代，通过意图识别神经网络输出得到多分类输出信息（即模型输出信息）。

本实施例中，通过将编码转换数据输入至预训练模型，得到编码转换数据对应的特征编码信息，能够有助于针对电力用户对话事件准确有效地识别出用户意图，为后续电力相关服务提供了数据支持。

在一个实施例中，所述模型输出信息为多分类输出信息，所述基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果，可以包括如下步骤：

从所述多分类输出信息中确定目标输出信息，将所述目标输出信息对应的意图识别结果，作为所述电力用户对话事件对应的意图识别结果；不同分类的输出信息对应有不同意图识别结果。

在一个可选实施例中，针对意图识别的模型输出信息为两个分类的情况下，可以对预训练的意图识别模型中激活函数进行调整，如可以将Softmax函数替换为Sigmoid函数。由于多分类的结果可以采用概率形式进行表示，即不同分类的输出信息对应有不同意图识别结果，可以基于概率值的选取方式，从多分类输出信息中确定目标输出信息，进而可以将目标输出信息对应的意图识别结果，作为电力用户对话事件对应的意图识别结果。

本实施例中，通过从多分类输出信息中确定目标输出信息，将目标输出信息对应的意图识别结果，作为电力用户对话事件对应的意图识别结果，为后续电力相关服务提供了数据支持。

在一个实施例中，如图4所示，提供了另一种基于国产化深度学习框架的意图识别方法的流程示意图。本实施例中，该方法包括以下步骤：

在步骤401中，采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型。在步骤402中，获取电力专属语料数据，作为训练样本数据，根据训练样本数据对预训练模型进行模型训练，作为预训练的意图识别模型中特征处理层。在步骤403中，结合预训练的意图识别模型中特征处理层和意图识别神经网络，得到预训练的意图识别模型。在步骤404中，在检测到电力用户对话事件时，获取电力用户对话事件对应的原始对话信息，根据原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息。在步骤405中，根据处理后对话信息对应的语料增强结果，得到待识别意图信息。在步骤406中，待识别意图信息为编码转换数据，将编码转换数据输入至预训练模型，得到编码转换数据对应的特征编码信息。在步骤407中，通过对特征编码信息进行意图识别处理，得到原始对话信息对应的模型输出信息，基于模型输出信息，得到电力用户对话事件对应的意图识别结果。需要说明的是，上述步骤的具体限定可以参见上文对一种基于国产化深度学习框架的意图识别方法的具体限定，在此不再赘述。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于国产化深度学习框架的意图识别方法的基于国产化深度学习框架的意图识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于国产化深度学习框架的意图识别装置实施例中的具体限定可以参见上文中对于基于国产化深度学习框架的意图识别方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种基于国产化深度学习框架的意图识别装置，包括：

原始对话信息获取模块501，用于在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

待识别意图信息得到模块502，用于将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

模型处理模块503，用于将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

意图识别结果得到模块504，用于基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在一个实施例中，所述待识别意图信息得到模块502包括：

信息转换子模块，用于根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息；

语料增强子模块，用于根据所述处理后对话信息对应的语料增强结果，得到所述待识别意图信息。

在一个实施例中，所述信息转换子模块包括：

信息转换结果得到单元，用于针对所述电力用户地址信息中的目标信息元素，按照预设的语言转换信息，将所述目标信息元素对应的语言类型，由所述目标语言类型转换为指定语言类型，得到信息转换结果；

处理后对话信息得到单元，用于根据所述信息转换结果，去除所述原始对话信息中的目标文本词语，得到所述处理后对话信息。

在一个实施例中，所述装置还包括：

预训练模型构建模块，用于采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型；

模型训练模块，用于获取电力专属语料数据，作为训练样本数据，根据所述训练样本数据对所述预训练模型进行模型训练，作为所述预训练的意图识别模型中特征处理层；

意图识别模型得到模块，用于结合所述预训练的意图识别模型中特征处理层和意图识别神经网络，得到所述预训练的意图识别模型。

在一个实施例中，所述意图识别神经网络包括双向LSTM层、全连接层、Softmax函数。

在一个实施例中，所述待识别意图信息为编码转换数据，所述模型处理模块503包括：

特征编码子模块，用于将所述编码转换数据输入至所述预训练模型，得到所述编码转换数据对应的特征编码信息。

在一个实施例中，所述模型输出信息为多分类输出信息，所述意图识别结果得到模块504包括：

意图识别结果子模块，用于从所述多分类输出信息中确定目标输出信息，将所述目标输出信息对应的意图识别结果，作为所述电力用户对话事件对应的意图识别结果；不同分类的输出信息对应有不同意图识别结果。

上述基于国产化深度学习框架的意图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于国产化深度学习框架的意图识别方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的基于国产化深度学习框架的意图识别方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的基于国产化深度学习框架的意图识别方法的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的基于国产化深度学习框架的意图识别方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于国产化深度学习框架的意图识别方法，其特征在于，所述方法包括：

在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息，包括：

根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息；

根据所述处理后对话信息对应的语料增强结果，得到所述待识别意图信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述原始对话信息中电力用户地址信息对应的信息转换结果，得到处理后对话信息，包括：

针对所述电力用户地址信息中的目标信息元素，按照预设的语言转换信息，将所述目标信息元素对应的语言类型，由所述目标语言类型转换为指定语言类型，得到信息转换结果；

根据所述信息转换结果，去除所述原始对话信息中的目标文本词语，得到所述处理后对话信息。

4.根据权利要求1所述的方法，其特征在于，所述预训练的意图识别模型通过下述方法训练得到：

采用国产化深度学习框架以及国产化自然语言处理框架，构建预训练模型；

获取电力专属语料数据，作为训练样本数据，根据所述训练样本数据对所述预训练模型进行模型训练，作为所述预训练的意图识别模型中特征处理层；

结合所述预训练的意图识别模型中特征处理层和意图识别神经网络，得到所述预训练的意图识别模型。

5.根据权利要求4所述的方法，其特征在于，所述意图识别神经网络包括双向LSTM层、全连接层、Softmax函数。

6.根据权利要求1所述的方法，其特征在于，所述待识别意图信息为编码转换数据，所述将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，包括：

将所述编码转换数据输入至所述预训练模型，得到所述编码转换数据对应的特征编码信息。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述模型输出信息为多分类输出信息，所述基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果，包括：

从所述多分类输出信息中确定目标输出信息，将所述目标输出信息对应的意图识别结果，作为所述电力用户对话事件对应的意图识别结果；不同分类的输出信息对应有不同意图识别结果。

8.一种基于国产化深度学习框架的意图识别装置，其特征在于，所述装置包括：

原始对话信息获取模块，用于在检测到电力用户对话事件时，获取所述电力用户对话事件对应的原始对话信息；所述原始对话信息对应的语言类型为目标语言类型；

待识别意图信息得到模块，用于将所述原始对话信息输入至预训练的意图识别模型中数据预处理层，得到待识别意图信息；所述数据预处理层用于对所述目标语言类型的信息进行转换处理；

模型处理模块，用于将所述待识别意图信息输入至所述预训练的意图识别模型中特征处理层，得到特征编码信息，通过对所述特征编码信息进行意图识别处理，得到所述原始对话信息对应的模型输出信息；所述特征处理层包括采用国产化深度学习框架所构建，且基于电力专属语料数据进行模型预训练得到的预训练模型；

意图识别结果得到模块，用于基于所述模型输出信息，得到所述电力用户对话事件对应的意图识别结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images