CN109299242A - 一种会话生成方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种会话生成方法、装置、终端设备及存储介质，属于人工智能领域。本发明提供的方法包括：获取直播间弹幕语料和中文语料库中语料，形成语料集合；通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集合；获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行向量表示；设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集合中与所述文本关键词关联的会话；输出所述会话。本发明不仅可以提高机器人聊天会话的相关度，而且增强聊天机器人的场景适应能力，保障会话相关性与趣味性。

Description

一种会话生成方法、装置、终端设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种会话生成方法、装置、终端设备 及存储介质。

背景技术

作为人工智能的一个重要研究领域，NLP(自然语言处理)是实现人机交互 的主要方式之一。在实际中，我们常用的机器人聊天就是基于NLP技术实现的， 根据我们的语音或者文字，计算机可以生成对应的会话。

通常使用的聊天机器人多是采用检索已有的语料库，或临时生成的会话两 种方式。对于检索式会话，现有的都是直接根据用户输入内容检索语料库中相 关会话，这种仅仅根据输入文本内容构成检索生成会话，容易出现会话相关度 不高，文不对题的情况。

发明内容

有鉴于此，本发明实施例提供了一种会话生成方法、装置、终端设备及存 储介质，以解决组合索引中查询条件混乱致使查询效率低的问题。

结合本发明实施例的第一方面，提供了一种会话生成方法，包括：

获取直播间弹幕语料和中文语料库中语料，形成语料集合；

通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集合；

获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行向量表 示；

设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集 合中与向量化表示的所述文本中的关键词关联的会话；

输出所述会话。

结合本发明实施例的第二方面，提供了一种会话生成装置，包括：

获取模块：用于获取直播间弹幕语料和中文语料库中语料，形成语料集合；

训练模块：用于通过doc2vec模型对所述语料集合训练，得到向量化表示 的语料集合；

输入模块：用于获取到用户输入的文本后，通过所述doc2vec模型对所述 文本进行向量表示；

检索模块：用于设定关键词匹配规则，根据所述匹配规则，检索所述向量 化表示的语料集合中与向量化表示的所述文本中的关键词关联的会话；

输出模块：用于输出所述会话。

结合本发明实施例的第三方面，提供了一种终端装置，包括存储器、处理 器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理 器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

结合本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计 算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本 发明实施例第一方面提供的所述方法的步骤。

结合本发明实施例的第五方面，提供了一种计算机程序产品，所述计算机 程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本 发明实施例第一方面提供的所述方法的步骤。

在本发明实施例中，通过训练语料集合，进行向量化表示，在通过定义场 景关键词匹配规则，检索输入文本关键词以获取该关键词匹配规则中的会话。 具有匹配规则的会话检索，不仅可以提高机器人聊天会话的相关度，而且针对 设定的关键词匹配规则，可以定期优化扩展，增强聊天机器人的场景适应能力， 保障会话相关性与趣味性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的会话生成方法的一个实施例流程图；

图2为本发明实施例提供的步骤S104的一个实施例流程图

图3为本发明实施例提供的会话生成装置的结构示意图；

图4为本发明实施例提供的终端设备的结构示意图。

具体实施方式

本发明实施例提供了一种会话生成的方法、装置、终端设备及存储介质， 用于机器聊天时准确的生成会话。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

请参阅图1，本发明实施例提供的会话生成方法的流程示意图，包括以下步 骤：

S101、获取直播间弹幕语料和中文语料库中语料，形成语料集合；

所述直播间弹幕指的是在观看直播时，弹出的评论性字幕。所述直播间弹 幕内容不仅和直播内容相关，而且还可能涉及各类实时热点、流行语、新兴表 达等相关内容。在本发明实施例中，通过收集弹幕语料，可以保证机器会话既 能理解新兴表达，而且可以使会话更风趣、更符合时下流行交谈方式，提升用 户使用体验。

所述中文语料库即中文自然语言的集合，一般可以通过开放的中文语料库获 得语料，如搜狗文本分类语料库等。

可选的，清理所述直播间弹幕中不符合预定标准的语料。所述不符合预定标 准的语料一般可包括垃圾弹幕、敏感词、昵称、攻击侮辱性词汇。清理不合标 准的语料可以提高模型训练效率，而且保证生成的会话表达规范。

S102、通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集 合；

所述doc2vec(即paragraph2vec，sentence embeddings)，是一种非监督 式算法，通过该算法可以获得语句的向量表达，该算法还可以通过计算向量距 离寻找句子的相似性，而且能用于文本聚类。

所述doc2vec模型需要通过已有的数据训练得到，就是根据已有的语料，将 每个句子/段落映射到向量空间中，通过所述doc2vec模型就可以得到已获得语 料的向量化表达。

所述语料集合通过向量化表达可以在用户输入文本后，进行匹配，获得语 料集合中相关性较大的会话。

S103、获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行 向量表示；

所述用户输入的文本，可以是通过语音识别装置将用户输入的语音转化为 文本，也可以是通过键盘等输入设备输入的文本，在此不做限定。

通过对输入文本的向量化表示就可以根据文本中关键词或句子在向量集合 中进行匹配，以获得关联语句。

S104、设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的 语料集合中与向量化表示的所述文本中的关键词关联的会话；

所述关键词匹配规则即根据用户输入文本的关键词，设定对应的应答内容， 该关键词也就是场景或语境的关键词，例如可以体现人物、动作、情绪、昵称 或地点等，该匹配规则是用户只要输入了可以匹配的关键词，就会触发对应的 匹配规则，并获取到该匹配规则中的会话。一般的，每条规则中有多条会话， 会话内容和关键词相关。优选的，还应对每条匹配规则编号。

例如，定义一条匹配规则：A093＝闺女|女儿＝这还是那个闺女吗好像不是 了。|说这小伙子不错，把我闺女给你|加油把我闺女带回来行带走我要考虑考 虑。在该条匹配规则中，A093为编号，闺女或女儿为关键词，最后部分为聊天 机器人可以生成的会话，三条话可以根据输入文本其他部分，选定其中一条回 复用户。

可选的，在每个关键词匹配规则中，设定每个关键词对应的会话内容；通过 正则表达式，查找所述文本关键词对应的关键词匹配规则，并获取所述关键词 匹配规则中的会话。所述正则表达式，即用事先定义好的特定字符或特定字符 的组合组成一个规则字符串，用于表达对字符串的过滤逻辑。

S105、输出所述会话。

所述会话即根据关键词匹配规则获得的会话，当关键词匹配规则中有多条 会话时，可以随机选取，也可以设定评分规则选取评分最高的会话，或选取与 用于输入文本关联度最高的会话，具体选取应结合输入文本及会话的需要，在 此不做限定。

输出的文本可以以文字的形式展现给用户，也可以转化为语音后输出。

上述基于关键词匹配规则，检索选取与对应的会话，可以提高会话相关程 度，并能增强不同会话场景的适应能力。

在图1基础上，结合图2详述步骤S104基于匹配规则的检索过程，如下：

在步骤S104中，通过设定关键词匹配规则，可以快速获取到用户聊天的主 题，检索语料集合就能找到对应的会话。

在S1041中，根据不同场景、人物、动作、情绪等设定关键词，词义相同 的可以适用同一套匹配规则。在每条关键词匹配规则中，定义该条规则关键词 对应的会话。

在S1042中，当用户输入的文本包含了某个关键词，会触发该关键词对应 的匹配规则，如当用户输入文本包括女儿|闺女，则触发编号A0930的规则，具 体的，通过正则表达式表示查找过程，正则规则表示可以为：result＝ re.findall(r".*(闺女|女儿)+",msg,re.M)格式。，

在S1043中，匹配到用户输入文本的关键词后，可以获得所述关键词对应 的会话。一般关键词匹配规则中存在多条会话，选取其中一条回复用户即可。

可选的，在本发明实施例中，当S1042中，在用户的输入文本内容中，未 匹配到对应的规则，则，通过S1044进行文本相似度计算，具体的，根据余弦 相似度计算公式，即公式(1)，计算用户输入文本和预料集合中的会话，获取 预定数量的会话，再选择其中一条进行回复。

输入文本的相似度计算可以保障在关键词匹配规则不适合用时，用户也能 获得聊天机器人的回复。

优选的，定期或自动对所述关键词匹配规则进行调整。

具体而言，记录每条关键词匹配规则被使用次数，对被使用次数达到预设 标准的关键词匹配规则进行优化，调整同义关键词或扩展所述关键词匹配规则 中会话内容及会话表达方式。每条关键词匹配规则可以根据使用频率，扩展关 键词优化关键词选取，如减少同义词等，还可以对匹配规则中的会话进行增减， 如，使用较多的规则可以，增加优化该规则中会话条数，如增加趣味性回复。

以及，根据关键词匹配规则中每条会话使用频率，删减或增加所述关键词 匹配规则中的对应会话。对于每条匹配规则中的会话，会话有多条的，可以减 少不常用的会话，对使用较多的可以进一步优化调整。

以上通过S1045，可以根据实际聊天中的反馈数据及统计结果，调整关键 词匹配规则，可以使得聊天机器人在不但优化过程中，提高会话相关度，增强 语境适应能力，进而保证用户使用体验。

实施例二：

上面主要描述了一种会话生成方法，下面将对一种会话生成的装置进行详 细描述。

图4示出了本发明实施例提供的会话生成的装置的结构示意图，包括：

获取模块410：用于获取直播间弹幕语料和中文语料库中语料，形成语料 集合；

可选的，所述获取模块410包括：

清理单元，用于清理所述直播间弹幕中不符合预定标准的语料。

训练模块420：用于通过doc2vec模型对所述语料集合训练，得到向量化 表示的语料集合；

输入模块430：用于获取到用户输入的文本后，通过所述doc2vec模型对 所述文本进行向量表示；

检索模块440：用于设定关键词匹配规则，根据所述匹配规则，检索所述 向量化表示的语料集合中与向量化表示的所述文本中的关键词关联的会话；

输出模块450：用于输出所述会话。

可选的，所述检索模块440包括：

设定单元，用于在每个关键词匹配规则中，设定每个关键词对应的会话内 容；

查找单元：用于通过正则表达式，查找所述文本关键词对应的关键词匹配 规则，并获取所述关键词匹配规则中的会话。

可选的，所述通过正则表达式，查找所述文本关键词对应的关键词匹配规 则，并获取所述关键词匹配规则中的会话还包括

记录每条关键词匹配规则被使用次数，对被使用次数达到预设标准的关键 词匹配规则进行优化，具体的，调整同义关键词或扩展所述关键词匹配规则中 会话内容及会话表达方式。

可选的，还包括根据关键词匹配规则中每条会话使用频率，删减或增加所 述关键词匹配规则中的对应会话。

可选的，所述检索模块440还包括：

计算模块，用于当在所述向量化表示的语料集合中未检索到与所述文本关 键词关联的会话，则通过计算所述向量化表示的语料集合中会话与所述文本的 相关度，获取相关度达到预设标准的会话。

可选的，所述计算模块包括：

计算单元，用于通过余弦相似度计算公式(1)，计算所述文本与所述向量 化表示的语料集合中会话的相关度；

其中，i∈(1,n)，表示用户输入文本T的向量化表示，表示语料集合 中第i条语料的向量化表示；n表示语料集合C的大小。

上述的装置，可以根据用户输入文本，生成对应的会话，通过设定匹配规 则，提高会话的关联性。

实施例三：

图4是本发明一实施例提供的会话生成的终端设备的结构示意图。所述终 端设备，为具备触摸屏的移动计算机设备，包括但不限于智能手机、智能手表、 笔记本、平板电脑、POS机甚至包括车载电脑。如图4所示，该实施例的终端 设备4包括：存储器410、处理器420以及系统总线430，所述存储器410包括 存储其上的可运行的程序4101，本领域技术人员可以理解，图5中示出的终端 设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或 者组合某些部件，或者不同的部件布置。

下面结合图4对终端设备的各个构成部件进行具体的介绍：

存储器410可用于存储软件程序以及模块，处理器420通过运行存储在存 储器410的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。 存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操 作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等) 等；存储数据区可存储根据终端的使用的业务数据(比如直播数据、页面显示 数据等)等。此外，存储器410可以包括高速随机存取存储器，还可以包括非 易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存 储器件。

在存储器410上包含数据库查询方法的可运行程序4101，所述可运行程序 4101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在 所述存储器410中，并由处理器420执行，以对用户的输入内容生成会话，所 述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述所述计算机程序4101在所述终端设4中的执行过程。例如， 所述计算机程序4101可以被分割为获取模块、训练模块、输入模块、检索模块 和输出模块。

处理器420是终端设备的控制中心，利用各种接口和线路连接整个终端设 备的各个部分，通过运行或执行存储在存储器410内的软件程序和/或模块，以 及调用存储在存储器410内的数据，执行终端的各种功能和处理数据，从而对 终端进行整体监控。可选的，处理器420可包括一个或多个处理单元；优选的， 处理器420可集成应用处理器和调制解调处理器，其中，应用处理器主要处理 操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以 理解的是，上述调制解调处理器也可以不集成到处理器420中。

系统总线430是用来连接计算机内部各功能部件，可以传送数据信息、地 址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。 处理器420的指令通过总线传递至存储器410，存储器410反馈数据给处理器 420，系统总线430负责处理器420与存储器410之间的数据、指令交互。当然 系统总线430还可以接入其他设备，例如网络接口、显示设备等。

终端设备还可包括至少一种传感器，比如光传感器、运动传感器以及其他 传感器，一种输入设备，比如触摸屏、键盘及其他，一种输出设备，比如扬声 器、显示器及其他，可选的，在本发明实施例中，输入设备可用于输入指令， 如查找要求，输出设备可用于显示查询结果，向用户展示查询数据。其他构成 部件在此不再赘述。

在本发明实施例中，该终端所包括的处理器420执行的可运行程序具体为：

一种会话生成方法，包括：

获取直播间弹幕语料和中文语料库中语料，形成语料集合；

通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集合；

获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行向量表 示；

设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集 合中与向量化表示的所述文本中的关键词关联的会话；

输出所述会话。

进一步的，所述获取直播间弹幕语料及中文语料库中语料，形成语料集合 还包括：

清理所述直播间弹幕中不符合预定标准的语料。

进一步的，所述设定关键词匹配规则，根据所述匹配规则，检索所述向量 化表示的语料集合中与所述文本关键词关联的会话具体为：

在每个关键词匹配规则中，设定每个关键词对应的会话内容；

通过正则表达式，查找所述文本关键词对应的关键词匹配规则，并获取所 述关键词匹配规则中的会话。

进一步的，所述通过正则表达式，查找所述文本关键词对应的关键词匹配 规则，并获取所述关键词匹配规则中的会话还包括

记录每条关键词匹配规则被使用次数，对被使用次数达到预设标准的关键 词匹配规则进行优化。

进一步的，所述通过正则表达式，查找所述文本关键词对应的关键词匹配 规则，并获取所述关键词匹配规则中的会话还包括

根据关键词匹配规则中每条会话使用频率，删减或增加所述关键词匹配规 则中的对应会话。

进一步的，所述设定关键词匹配规则，根据所述匹配规则，检索所述向量 化表示的语料集合中与所述文本关键词关联的会话还包括：

当在所述向量化表示的语料集合中未检索到与所述文本关键词关联的会 话，则通过计算所述向量化表示的语料集合中会话与所述文本的相关度，获取 相关度达到预设标准的会话。

进一步的，所述通过计算所述向量化表示的语料集合中会话与所述文本的 相关度，获取相关度达到预设标准的会话具体为：

通过余弦相似度计算公式(1)，计算所述文本与所述向量化表示的语料集 合中会话的相关度；

其中，i∈(1,n)，表示用户输入文本T的向量化表示，表示语料集合 中第i条语料的向量化表示；n表示语料集合C的大小。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述 的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实 施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬 件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案 的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同 方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方 法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性 的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另 外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或 一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直 接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接， 可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分 技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱 离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种会话生成方法，其特征在于，包括：

获取直播间弹幕语料和中文语料库中语料，形成语料集合；

通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集合；

获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行向量表示；

设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集合中与向量化表示的所述文本中的关键词关联的会话；

输出所述会话。

2.根据权利要求1所述的方法，其特征在于，所述获取直播间弹幕语料及中文语料库中语料，形成语料集合还包括：

清理所述直播间弹幕中不符合预定标准的语料。

3.根据权利要求1所述的方法，其特征在于，所述设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集合中与所述文本中关键词关联的会话具体为：

在每个关键词匹配规则中，设定每个关键词对应的会话内容；

通过正则表达式，查找所述文本中关键词对应的关键词匹配规则，并获取所述关键词匹配规则中的会话。

4.根据权利要求3所述的方法，其特征在于，所述通过正则表达式，查找所述文本中关键词对应的关键词匹配规则，并获取所述关键词匹配规则中的会话还包括

记录每条关键词匹配规则被使用次数，对被使用次数达到预设标准的关键词匹配规则进行同义关键词调整或扩展所述关键词匹配规则中会话内容及会话表达方式。

5.根据权利要求3所述的方法，其特征在于，所述通过正则表达式，查找所述文本中关键词对应的关键词匹配规则，并获取所述关键词匹配规则中的会话还包括

根据关键词匹配规则中每条会话使用频率，删减或增加所述关键词匹配规则中的对应会话。

6.根据权利要求1所述的方法，其特征在于，所述设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集合中与所述文本中关键词关联的会话还包括：

当在所述向量化表示的语料集合中未检索到与所述文本关键词关联的会话，则通过计算所述向量化表示的语料集合中会话与所述文本的相关度，获取相关度达到预设标准的会话。

7.根据权利要求6所述的方法，其特征在于，所述通过计算所述向量化表示的语料集合中会话与所述文本的相关度，获取相关度达到预设标准的会话具体为：

通过余弦相似度计算公式(1)，计算所述文本与所述向量化表示的语料集合中会话的相关度；

其中，i∈(1,n)，表示用户输入文本T的向量化表示，表示语料集合中第i条语料的向量化表示；n表示语料集合C的大小。

8.一种会话生成装置，其特征在于，包括：

获取模块：用于获取直播间弹幕语料和中文语料库中语料，形成语料集合；

训练模块：用于通过doc2vec模型对所述语料集合训练，得到向量化表示的语料集合；

输入模块：用于获取到用户输入的文本后，通过所述doc2vec模型对所述文本进行向量表示；

检索模块：用于设定关键词匹配规则，根据所述匹配规则，检索所述向量化表示的语料集合中与向量化表示的所述文本中的关键词关联的会话；

输出模块：用于输出所述会话。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述会话生成方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述会话生成方法的步骤。