CN113961680A - 基于人机交互的会话处理方法及装置、介质、电子设备 - Google Patents

Abstract

本公开是关于一种基于人机交互的会话处理方法及装置、介质、电子设备，涉及人工智能技术领域，该方法包括：在接收到当前用户的待识别语音数据时，对所述待识别语音数据进行识别得到语音识别结果，并对所述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽；在预设的知识库中匹配与所述第一词槽对应的文本数据，并将所述文本数据转换为待播报语音数据；将所述待播报语音数据以及文本数据反馈至显示终端，以使得所述显示终端调用预设的虚拟数字人对所述待播报语音数据进行播报，并在所述显示终端的显示界面上对所述文本数据进行显示。该方法提高了文本数据的准确率。

Description

基于人机交互的会话处理方法及装置、介质、电子设备

技术领域

本公开实施例涉及人工智能技术领域，具体而言，涉及一种基于人 机交互的会话处理方法、基于人机交互的会话处理装置、计算机可读存储 介质以及电子设备。

背景技术

现有的基于人机交互的会话处理方法中，可以通过对会话过程中的用 户对话进行实时情绪识别，再根据实时情绪识别结果选择相应的扩展应 答，最后将包含扩展应答的应答结果输出至客户。

但是，其无法识别语音数据中的词槽，进而无法根据词槽生成对应的 应答结果，使得应答结果的准确率较低；并且，无法通过虚拟数字人对应 答结果进行播报，降低了用户体验。

因此，需要提供一中心的基于人机交互的会话处理方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

发明内容

本公开的目的在于提供一种基于人机交互的会话处理方法、基于人机 交互的会话处理装置、计算机可读存储介质以及电子设备，进而至少在一 定程度上克服由于相关技术的限制和缺陷而导致的应答结果的准确率较 低的问题。

根据本公开的一个方面，提供一种基于人机交互的会话处理方法，包 括：

在接收到当前用户的待识别语音数据时，对所述待识别语音数据进行 识别得到语音识别结果，并对所述语音识别结果进行分词，得到所述语音 识别结果中所包括的第一词槽；

在预设的知识库中匹配与所述第一词槽对应的文本数据，并将所述文 本数据转换为待播报语音数据；

将所述待播报语音数据以及文本数据反馈至显示终端，以使得所述显 示终端调用预设的虚拟数字人对所述待播报语音数据进行播报，并在所述 显示终端的显示界面上对所述文本数据进行显示。

在本公开的一种示例性实施例中，在所述在接收到当前用户的待识别 语音数据时之前，所述基于人机交互的会话处理方法还包括：

在接收到所述当前用户的待识别人脸图像时，对所述待识别人脸图像 进行识别，得到待识别人脸特征；

根据所述待识别人脸特征计算所述当前用户的用户类别，并在确定所 述用户类别为预设类别时，获取与所述预设类别对应的预设文本数据；

将所述预设文本数据以及与所述预设文本数据对应的预设播报数据 反馈至所述显示终端，以使得所述显示终端唤醒所述预设的虚拟数字人， 以通过所述预设的虚拟数字人对所述预设播报数据进行播报。

在本公开的一种示例性实施例中，对所述待识别人脸图像进行识别， 得到待识别人脸特征，包括：

利用预设的人脸检测与关键点定位工具，检测所述待识别人脸图像的 待识别人脸区域，并在所述待识别人脸区域中提取所述待识别人脸图像的 待识别脸部关键点；

根据所述待识别脸部关键点，计算所述待识别人脸图像的脸部属性信 息，并根据所述脸部属性信息得到所述待识别人脸特征；

其中，所述脸部属性信息包括年龄、性别以及脸部表情中的一种或多 种。

在本公开的一种示例性实施例中，根据所述待识别人脸特征计算所述 当前用户的用户类别，包括：

在预设的人脸数据库中匹配与所述待识别人脸特征对应的原始人脸 特征，并根据匹配结果确定所述当前用户的用户类别；

其中，若所述匹配结果为所述预设的人脸数据库中存在与所述待识别 人脸特征对应的原始人脸特征，则所述当前用户的用户类别为所述预设类 别；

若所述匹配结果为所述预设的人脸数据库中不存在与所述待识别人 脸特征对应的原始人脸特征，则所述当前用户的用户类别为非预设类别。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理方法 还包括：

获取所述待识别人脸特征在所述预设的人脸数据库中的上一次匹配 的匹配时间，并计算所述上一次匹配的匹配时间与当前时间之间的时间 差；

在确定所述时间差小于第一预设时间阈值时，控制所述显示终端以第 一预设方式唤醒所述虚拟数字人；其中，所述第一预设方式用于指示当前 会话需与所述上一次匹配的匹配时间对应的会话之间相接续。

在本公开的一种示例性实施例中，在预设的知识库中匹配与所述第一 词槽对应的文本数据，包括：

在预设的知识库中匹配与所述第一词槽对应的词槽编码，并根据所述 词槽编码确定所述第一词槽的词典；

根据所述词典确定所述第一词槽是否为完整词槽，并在确定所述第一 词槽为完整词槽时，从预设的对话库中匹配与所述第一词槽对应的文本数 据。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理方法 还包括：

在确定所述第一词槽非完整词槽时，确定所述第一词槽缺少的词槽类 型，并根据缺少的词槽类型生成问题句子；

将所述问题句子以及与所述问题句子对应的问题语音数据发送至所 述显示终端，以使得显示终端调用预设的虚拟数字人对所述句子语音数据 进行播报，并在所述显示终端的显示界面上对所述问题句子进行显示；

接收用户对所述问题句子进行答复得到的第二词槽，并从预设的对话 库中匹配与所述第一词槽以及第二词槽对应的文本数据。

在本公开的一种示例性实施例中，对所述待识别语音数据进行识别得 到语音识别结果，包括：

利用预设的语音识别模型中包括的卷积神经网络提取所述待识别语 音数据的第一局部特征；

利用所述预设的语音识别模型中包括的自注意力模块分别根据所述 第一局部特征，计算所述待识别语音数据的第一全局特征；

利用所述预设的语音识别模型中包括的全连接层对所述第一全局特 征进行分类，得到所述待识别语音数据的语音识别结果。

在本公开的一种示例性实施例中，将所述文本数据转换为待播报语音 数据，包括：

基于预设的语音合成模型对所述文本数据进行离散化处理，得到离散 语音合成结果；

根据所述离散语音合成结果以及与所述离散语音合成结果对应的均 匀分布采样结果，计算语音合成概率分布结果；

基于预设的连续性函数对所述语音合成概率分布结果进行语音合成， 得到所述待播报语音数据。

在本公开的一种示例性实施例中，对所述语音识别结果进行分词，得 到所述语音识别结果中所包括的第一词槽，包括：

根据所述语音识别结果确定所述当前用户所需要的场景类别，并基于 所述场景类别对所述语音识别结果进行分词，得到所述语音识别结果中所 包括的第一词槽；

其中，所述场景类别包括金融咨询场景、网点3D导览场景以及产品 推荐场景中的一种或多种。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理方法 还包括：

建立所述当前用户的用户标识与所述文本数据、待识别人脸特征以及 用户类别之间的关联关系；

基于所述关联关系将所述文本数据存储至所述知识库中，并基于所述 关联关系将所述待识别人脸特征存储至人脸数据库中。

根据本公开的一个方面，提供一种基于人机交互的会话处理装置，包 括：

语音识别模块，用于在接收到当前用户的待识别语音数据时，对所述 待识别语音数据进行识别得到语音识别结果，并对所述语音识别结果进行 分词，得到所述语音识别结果中所包括的第一词槽；

语音数据转换模块，用于在预设的知识库中匹配与所述第一词槽对应 的文本数据，并将所述文本数据转换为待播报语音数据；

第一语音数据播报模块，用于将所述待播报语音数据以及文本数据反 馈至显示终端，以使得所述显示终端调用预设的虚拟数字人对所述待播报 语音数据进行播报，并在所述显示终端的显示界面上对所述文本数据进行 显示。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有 计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基 于人机交互的会话处理方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一 项所述的基于人机交互的会话处理方法。

本公开实施例提供的一种基于人机交互的会话处理方法，一方面，通 过对所述待识别语音数据进行识别得到语音识别结果，并对语音识别结果 进行分词，得到语音识别结果中所包括的第一词槽，再在预设的知识库中 匹配与所述第一词槽对应的文本数据，解决了现有技术中由于无法识别语 音数据中的词槽，进而无法根据词槽生成对应的应答结果，使得应答结果 的准确率较低的问题，提高了文本数据的准确率；另一方面，通过将文本 数据转换为待播报语音数据，然后再将待播报语音数据以及文本数据反馈 至显示终端，以使得显示终端调用预设的虚拟数字人对待播报语音数据进 行播报，并在显示终端的显示界面上对文本数据进行显示，实现了通过虚 拟数字人对与待识别语音数据对应的文本数据的播报，使得无法查看文字 或者无法收听语音的用户均可以接收到对应的应答信息，进一步的提升了 用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合 本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见 地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技 术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。

图1示意性示出根据本公开示例实施例的一种基于人机交互的会话处 理方法的流程图。

图2(a)以及图2(b)示意性示出根据本公开示例实施例的一种虚 拟数字人的渲染场景示例图。

图3示意性示出根据本公开示例实施例的一种基于人机交互的会话处 理系统的框图。

图4示意性示出根据本公开示例实施例的一种平台服务器的结构示例 图。

图5示意性示出根据本公开示例实施例的一种人脸管理的页面场景示 例图。

图6示意性示出根据本公开示例实施例的一种词典管理的页面场景示 例图。

图7示意性示出根据本公开示例实施例的一种词槽管理的页面场景示 例图。

图8示意性示出根据本公开示例实施例的一种技能管理的页面场景示 例图。

图9示意性示出根据本公开示例实施例的一种多轮对话的页面场景示 例图。

图10示意性示出根据本公开示例实施例的

图11示意性示出根据本公开示例实施例的一种3D全息投影的虚拟数 字人场景示例图。

图12示意性示出根据本公开示例实施例的另一种基于人机交互的会 话处理方法的流程图。

图13(a)以及图13(b)示意性示出根据本公开示例实施例的一种 多屏联动的展示场景示例图。

图14示意性示出根据本公开示例实施例的另一种基于人机交互的会 话处理方法的流程图。

图15示意性示出根据本公开示例实施例的一种基于人机交互的会话 处理装置的框图。

图16示意性示出根据本公开示例实施例的一种用于实现上述基于人 机交互的会话处理方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式 能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提 供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构 思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以 任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供 许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域 技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中 的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其 它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公 开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图 中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描 述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上 独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个 或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处 理器装置和/或微控制器装置中实现这些功能实体。

随着人工智能的快速发展，AI(Artificial Intelligence，人工智能)虚 拟数字人越来越多，AI虚拟数字人针对不同行业的应用场景形成智能客 服、智能迎宾等，发展成为一项面向行业的应用。在具体的应用过程中， 其主要可以应用于大规模语音问答、知识库管理、自然语言处理以及计算 机视觉等技术行业。应用于金融行业的AI虚拟数字人系统，主要为金融 行业提供专业业务知识问答库，通过知识库管理不同的业务问答或日常问答，同时建立符合金融不同场景的3D虚拟人形象，提供智能客服、智慧 营销、业务咨询、趣味互动等场景服务。

在一些虚拟数字人的应用方案中，一种是：描述对会话过程中的客户 对话进行实时情绪识别；根据实时情绪识别结果选择相应的扩展应答； 将包含扩展应答的应答结果输出至客户；另一种是：构造了交互式问答的 上下文语境的知识表示方法以及订单状态机，最后通过分析智能客服与 客户的历史会话语料来自动生成业务逻辑树，实现了基于流程图的交互 问答。

但是，上述方法均没有涉及到词槽识别以及虚拟数字人的播报。

基于此，本示例实施方式中首先提供了一种基于人机交互的会话处理 方法，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领 域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施 例中对此不做特殊限定。参考图1所示，该基于人机交互的会话处理方法 可以包括以下步骤：

步骤S110.在接收到当前用户的待识别语音数据时，对所述待识别语 音数据进行识别得到语音识别结果，并对所述语音识别结果进行分词，得 到所述语音识别结果中所包括的第一词槽；

步骤S120.在预设的知识库中匹配与所述第一词槽对应的文本数据， 并将所述文本数据转换为待播报语音数据；

步骤S130.将所述待播报语音数据以及文本数据反馈至显示终端，以 使得所述显示终端调用预设的虚拟数字人对所述待播报语音数据进行播 报，并在所述显示终端的显示界面上对所述文本数据进行显示。

上述基于人机交互的会话处理方法中，一方面，通过对所述待识别语 音数据进行识别得到语音识别结果，并对语音识别结果进行分词，得到语 音识别结果中所包括的第一词槽，再在预设的知识库中匹配与所述第一词 槽对应的文本数据，解决了现有技术中由于无法识别语音数据中的词槽， 进而无法根据词槽生成对应的应答结果，使得应答结果的准确率较低的问 题，提高了文本数据的准确率；另一方面，通过将文本数据转换为待播报 语音数据，然后再将待播报语音数据以及文本数据反馈至显示终端，以使 得显示终端调用预设的虚拟数字人对待播报语音数据进行播报，并在显示 终端的显示界面上对文本数据进行显示，实现了通过虚拟数字人对与待识 别语音数据对应的文本数据的播报，使得无法查看文字或者无法收听语音 的用户均可以接收到对应的应答信息，进一步的提升了用户体验。

以下，将结合附图对本公开示例实施例基于人机交互的会话处理方法 进行详细的解释以及说明。

首先，对本公开示例实施例的应用场景以及发明目的进行解释以及说 明。具体的，本公开示例实施例提供了一种金融场景下，基于数字人知识 库的人机交互会话处理方法。其中，数字人知识库中包括了单轮问答技能 管理模块、多轮问答管理模块、词典管理模块、词槽管理模块和人脸管理 模块。具体的，可以基于智能语音、语义技术、人脸识别算法，以智慧网 点综合管理平台构建的知识库，通过超写实8K数字人与外界进行金融领 域知识问答的数字人系统，同时数字人可以在不同产品形态中进行智能问 答。

其中，虚拟数字人，其可以使用3dsMax、AutoCAD等建模软件，创 造真实比例关系的数字人体模型，然后再通过软件系统对数字人体模型进 行渲染展示，具体的渲染展示场景图可以参考图2(a)以及图2(b)所 示。本公开可以利用金融业务问答知识库、语音交互技术、语义理解技术、 3D数字人技术相结合，打造符合金融场景下，集业务咨询问答，问答知识库管理、语音语义分析技术为一体的金融数字人，满足业务咨询、智能 营销、趣味问答等场景需求。

其次，对本公开示例实施例中所涉及到的基于人机交互的会话处理系 统进行解释以及说明。具体的，参考图3所示，该基于人机交互的会话处 理系统可以包括当前用户310、虚拟数字人所在的显示终端(触控一体机) 320以及平台服务器330；虚拟数字人所在的显示终端与平台服务器网络 连接。

其中，该显示终端可以是基于Unity 3D的显示终端，该显示终端上设 置有高清摄像头、功放音响以及麦克风阵列，其分别用于采集当前用户的 待识别人脸图像、播报语音数据以及接收当前用户的待识别语音数据，其 与服务器一起形成了该会话系统中的硬件层。

同时，该虚拟数字人可以用于智能迎宾、业务咨询、智能应用以及趣 味娱乐等各种不同的场景，其形成了会话系统中的业务层，该虚拟数字人 还可以用于实现语音交互(动态语音播报、用户闲聊、语音互动营销、业 务知识问答)以及虚拟形象展示(3D仿真建模、表情模拟、动作展示以 及换装)，其形成了会话系统中的软件层。进一步的，在具体的会话处理 过程中，动态语音播报可以包括但不限于对平台服务器反馈的各种不同的 语音数据进行播报；用户闲聊是指，在识别出当前用户输入的但是别语音 数据为闲聊类别时，基于用户的语音输入输出对应的单轮或者多轮对话； 语音互动营销是指，在识别出当前用户输入的但是别语音数据为业务咨询 类别时，基于用户的语音输入输出对应的单轮或者多轮对话；业务知识问 答是指，在识别出当前用户输入的但是别语音数据为业务知识咨询类别 时，基于用户的语音输入输出对应的单轮或者多轮对话。

进一步的，参考图4所示，该平台服务器中可以包括知识库401、自 动语音识别模型402、语音合成模型403、自然语言理解(NLU，Natural Language Understanding)模块404、语音人工智能模块405以及平台服务 模块406。其中，平台服务模块可以包括知识库管理模块、动作管理模块、 人脸管理模块以及数据管理模块；识库中可以包括单轮问答技能管理模 块、多轮问答管理模块、词典管理模块、词槽管理模块和人脸管理模块。 具体的：

人脸管理模块：虚拟数字人系统(虚拟数字人所在的显示终端)采用 摄像头实时捕获待识别人脸图像，通过人脸识别算法处理后，识别出当前 用户的年龄、性别、表情等人脸属性，此外可进行VIP用户识别。人脸模 块主要用以预置银行VIP用户信息，该用户信息可以包括姓名、昵称、性 别、年龄、头像信息。当摄像头识别到该当前用户为VIP客户时，数字人 将进行定制化语音播报迎宾；例如，亲爱的王女士您好；同时，还可以在 显示界面上为该VIP用户提供专属产品推荐服务，实现个性化的服务。其 中，人脸管理模块的具体示页面例图可以参考图5所示。

词典管理模块：其可以用于进行多轮对话词典的管理，例如：北京市、 上海市、天津市三个核心词，组成城市名称词典；又例如，信用卡、借贷 卡、借记卡、VIP卡等核心词，可以组成银行卡类别词典等等。其中，个 性化词典管理的具体页面示例图可以参考图6所示。

词槽管理模块：其可以用于对多轮对话场景涉及的词槽进行管理，包 含词槽名称、词槽编码、以及与词槽对应的词典等等。其中，词槽管理的 具体页面示例图可以参考图7所示。

技能管理模块：技能管理包含单轮问答的知识库，其可以根据不同类 型的问题设置不同的技能，例如金融业务咨询技能、网点3D导览技能、 金融产品推荐技能等。当客户通过语音提问，比如推荐银行卡、询问天气、 闲聊等，智能语音模块会将语音转为文字后发送到智慧网点综合管理平 台，通过技能管理检索到答案后返回文字答案，文字答案会合成为语音， 最终以文字+语音的方式播报。同时，技能管理模块中所包含的问题，可 添加相似问法以及问题答案等字段，也可通过手动输入或者整体数据导入 方式，点击发布后知识库有效。其中，技能管理的具体页面示例图可以参 考图8所示。

多轮对话管理模块：其可以通过构建多轮对话场景进行多轮问答知识 库管理。具体的，可以选择绑定词槽以及词槽的数量，并补充标准问法和 相似问法，通过判断问题是否包含词槽的方式匹配对应的答案并推送。其 中，多轮对话的具体页面示例图可以参考图9所示。

以下，结合图2-图9对本公开示例实施例基于人机交互的会话处理方 法中涉及的各步骤进行详细的解释以及说明。

在本公开示例实施例的一种基于人机交互的会话处理方法中：

在步骤S110中，在接收到当前用户的待识别语音数据时，对所述待 识别语音数据进行识别得到语音识别结果，并对所述语音识别结果进行分 词，得到所述语音识别结果中所包括的第一词槽。

在本示例实施例中，当显示终端接收到当前用户的待识别语音数据 时，可以将该语音数据发送至平台服务器，以使得平台服务器对该待识别 语音数据进行识别，得到语音识别结果。其中，对所述待识别语音数据进 行识别得到语音识别结果，具体可以包括：首先，利用预设的语音识别模 型中包括的卷积神经网络提取所述待识别语音数据的第一局部特征；其 次，利用所述预设的语音识别模型中包括的自注意力模块分别根据所述第 一局部特征，计算所述待识别语音数据的第一全局特征；最后，利用所述 预设的语音识别模型中包括的全连接层对所述第一全局特征进行分类，得 到所述待识别语音数据的语音识别结果。

此处需要补充说明的是，上述预设的语音识别模型可以是ASR (AutomaticSpeech Recognition，自动语音识别)模型，该ASR模型可以 包括3层卷积神经网络(Convolutional Neural Network：CNN)，10层自 注意力模块(Self-attention Block，SAB)，和2层全连接层(Fully Connected： FC)。当然，在实际的应用过程中，也可以根据实际需要对卷积神经网络、 自注意力模块以及全连接层的具体数量进行适应性调整，本示例对此不做 特殊限定。

进一步的，当得到语音识别结果以后，即可对该语音识别结果进行分 词，进而得到语音识别结果中所包括的第一词槽。其中，分词过程具体可 以包括：根据所述语音识别结果确定所述当前用户所需要的场景类别，并 基于所述场景类别对所述语音识别结果进行分词，得到所述语音识别结果 中所包括的第一词槽；其中，所述场景类别包括金融咨询场景、网点3D 导览场景以及产品推荐场景中的一种或多种。例如，语音识别结果为：信 用卡活动有哪些？则可以确定该当前用户所需要的场景类别为银行卡优 惠活动场景，则可以基于该场景类别对语音识别结果进行分词，得到的第 一词槽为：信用卡以及活动。

在步骤S120中，在预设的知识库中匹配与所述第一词槽对应的文本 数据，并将所述文本数据转换为待播报语音数据。

在本示例实施例中，首先，在预设的知识库中匹配与所述第一词槽对 应的文本数据。具体的，可以包括：首先，在预设的知识库中匹配与所述 第一词槽对应的词槽编码，并根据所述词槽编码确定所述第一词槽的词 典；其次，根据所述词典确定所述第一词槽是否为完整词槽，并在确定所 述第一词槽为完整词槽时，从预设的对话库中匹配与所述第一词槽对应的 文本数据。

进一步的，在确定所述第一词槽非完整词槽时，确定所述第一词槽缺 少的词槽类型，并根据缺少的词槽类型生成问题句子；将所述问题句子以 及与所述问题句子对应的问题语音数据发送至所述显示终端，以使得显示 终端调用预设的虚拟数字人对所述句子语音数据进行播报，并在所述显示 终端的显示界面上对所述问题句子进行显示；接收用户对所述问题句子进 行答复得到的第二词槽，并从预设的对话库中匹配与所述第一词槽以及第 二词槽对应的文本数据。

也就是说，当得到第一词槽后，可以在知识库中匹配与该第一词槽对 应的词槽编码；例如，信用卡的词槽名称为credit_card，银行卡类型为 card_type等等；其次，根据该词槽名称确定该第一词槽的词典，并根据词 典中与该第一词槽对应的问题句子中所包括的词槽类型，确定该第一词槽 是否为完整词槽；若是，则可以直接确定上述文本数据；若否，则还需要 对缺少的词槽类型进行补充。举例来说，根据与该词槽名称对应的词典可 以确定，如果需要匹配与该第一词槽对应的文本数据，还缺少具体的城市 名称；因此，可以根据缺少的词槽类型生成问题句子“请问您想咨询哪个 城市的信用卡活动？”；然后，再将该问题句子转换成句子语音数据，并 将其发送至显示终端，当显示终端接收到该句子语音数据以及问题句子以 后，即可对其进行播报以及显示，然后再接收用户对该问题句子进行答复 的第二词槽，例如可以是“北京”，最后再匹配对应的文本数据；例如， 所匹配到的文本数据可以为：北京市的信用卡活动有肯德基买一送一。

其次，当得到文本数据以后，即可将所述文本数据转换为待播报语音 数据。具体的，可以包括：首先，基于预设的语音合成模型对所述文本数 据进行离散化处理，得到离散语音合成结果；其次，根据所述离散语音合 成结果以及与所述离散语音合成结果对应的均匀分布采样结果，计算语音 合成概率分布结果；最后，基于预设的连续性函数对所述语音合成概率分 布结果进行语音合成，得到所述待播报语音数据。其中，本示例实施例所 涉及到的语音合成模型(TTS模型)例如可以是全卷积语音合成模型，例 如UFANS全卷积语音合成模型，当然也可以是其他全卷积语音合成模型， 本示例对此不做特殊限制。

在步骤S130中，将所述待播报语音数据以及文本数据反馈至显示终 端，以使得所述显示终端调用预设的虚拟数字人对所述待播报语音数据进 行播报，并在所述显示终端的显示界面上对所述文本数据进行显示。

具体的，当得到待播报语音数据以后，即可将报待播报语音数据以及 文本数据反馈至显示终端，以使得显示终端以及该显示终端中设置的虚拟 数字人可以对待播报语音数据以及文本数据以语音+文字的形式进行播报 以及显示，进而便于听力不便或者视力不便的用户进行使用。

此处需要补充说明的是，虚拟数字人的产品形态，可以基于智慧网点 综合管理平台构建的知识库，结合数字人前端多媒体交互软件，进而形成 整体数字人系统，应用在银行网点智能迎宾、3D导览、产品推荐、营销 宣传等多个场景下，具体产品展示可通过透明一体机展示柜、立式触控一 体机、3D全息投影等方式。在具体的展示过程中，可以通过AI虚拟数字 人软件，进行3D虚拟形象展示，可以进行换装，实现动态语音播报、与 客户进行闲聊、语音互动营销等功能；同时，虚拟数字人的交互形式包括 可以透明一体机展示柜、立式触控一体机单屏幕展示、3D全息投影展示 以及多屏联动展示等等。

图10示意性示出根据本公开示例实施例的另一种基于人机交互的会 话处理方法。参考图10所示，该基于人机交互的会话处理方法还可以包 括以下步骤：

步骤S1010，在接收到所述当前用户的待识别人脸图像时，对所述待 识别人脸图像进行识别，得到待识别人脸特征。

在本示例实施例中，在接收到当前用户的待识别人脸图像时，首先， 利用预设的人脸检测与关键点定位工具，检测所述待识别人脸图像的待识 别人脸区域，并在所述待识别人脸区域中提取所述待识别人脸图像的待识 别脸部关键点；其次，根据所述待识别脸部关键点，计算所述待识别人脸 图像的脸部属性信息，并根据所述脸部属性信息得到所述待识别人脸特 征；其中，所述脸部属性信息包括年龄、性别以及脸部表情中的一种或多 种。其中，人脸检测与关键点定位工具例如可以是ibug-68，当然也可以 是其他定位工具，本示例对此不做特殊限定。

步骤S1020，根据所述待识别人脸特征计算所述当前用户的用户类别， 并在确定所述用户类别为预设类别时，获取与所述预设类别对应的预设文 本数据。

在本示例实施例中，首先，根据所述待识别人脸特征计算所述当前用 户的用户类别。具体的可以包括：在预设的人脸数据库中匹配与所述待识 别人脸特征对应的原始人脸特征，并根据匹配结果确定所述当前用户的用 户类别；其中，若所述匹配结果为所述预设的人脸数据库中存在与所述待 识别人脸特征对应的原始人脸特征，则所述当前用户的用户类别为所述预 设类别；若所述匹配结果为所述预设的人脸数据库中不存在与所述待识别 人脸特征对应的原始人脸特征，则所述当前用户的用户类别为非预设类 别。此处需要补充说明的是，在具体的匹配过程中，可以通过计算待识别 人脸特征与原始人脸特征之间的欧式距离、余弦值等方式进行实现。

其次，当得到该当前用户的用户类别后，即可匹配对应的预设文本数 据。例如，当该当前用户为VIP用户，则该预设文本数据例如可以是：您 好，吴女士，欢迎您光临XX银行，等等；当该当前用户非VIP用户时， 该预设文本数据例如可以是：您好，欢迎光临XX银行，请问您需要什么 帮助？在具体的使用过程中，可以根据实际需要配置对应的预设文本数 据，本示例对此不做特殊限定。

步骤S1030，将所述预设文本数据以及与所述预设文本数据对应的预 设播报数据反馈至所述显示终端，以使得所述显示终端唤醒所述预设的虚 拟数字人，以通过所述预设的虚拟数字人对所述预设播报数据进行播报。

具体的，播报原理可以如下所示：将虚拟数字人软件部署单屏幕主机 上，通过人脸识别唤醒该虚拟数字人，数字人进行迎宾播报(对预设播报 数据进行播报)，播报完成后，该当前用户即可与虚拟数字人进行语音交 互，包括：闲聊、天气、网点导览、金融产品推荐和金融业务咨询五个场 景，同时不同场景，软件端显示不同场景3D UI。数字人除语音交互外， 还支持触控点击操作，例如金融场景推荐，可通过触控点击具体金融产品 展示；当然，该虚拟数字人也可以以3D全息投影的访视进行展示，3D全 息投影展示是利用正四棱锥进行全息投影，打造沉浸式交互体验，3D投 影数字人也可进行语音交互，不同3D UI场景切换展示；同时，还可以搭 配Kinect进行体感互动，数字人支持相同动作模仿，增加趣味互动性；其 中，3D全息投影的数字人具体可以如图11所示。

图10示意性示出的基于人机交互的会话处理方法中，一方面，可以 为VIP用户提供专属的欢迎词，进而提升用户体验；另一方面，在检测到 人脸图像时，即可唤醒虚拟数字人，进而可以避免由于未能及时进行用户 接待造成的用户满意度低的问题。

图12示意性示出根据本公开示例实施例的另一种基于人机交互的会 话处理方法。参考图12所示，该基于人机交互的会话处理方法还可以包 括以下步骤：

步骤S1210，获取所述待识别人脸特征在所述预设的人脸数据库中的 上一次匹配的匹配时间，并计算所述上一次匹配的匹配时间与当前时间之 间的时间差；

步骤S1220，在确定所述时间差小于第一预设时间阈值时，控制所述 显示终端以第一预设方式唤醒所述虚拟数字人；其中，所述第一预设方式 用于指示当前会话需与所述上一次匹配的匹配时间对应的会话之间相接 续。

以下，将对步骤S1210以及步骤S1220进行解释以及说明。具体的， 通过计算时间差，可以得出该当前用户是否为在其他显示终端识别成功后 转移到当前显示中的；例如，如果时间差小于第一预设时间阈值，则说明 该当前用户与其他显示终端中的虚拟数字人存在会话行为，那么，该虚拟 数字人可以基于与当前用户进行上一次会话的显示终端与当前显示终端 之间的位置关系，控制该虚拟数字人的出现方式；例如，从左到右、从右 到左、从上到下或者从下到上等等，本示例对此不做特殊限制。也即，图 12所示出的基于人机交互的会话处理方法，实现了虚拟数字人的多屏联动 展示。进一步的，通过多屏联动展示，可以实现银行网点的数字人沉浸式 体验，每个屏幕部署数字人软件，搭配人脸识别摄像头。例如，当当前用 户在1号显示终端识别成功后，虚拟数字人被唤醒进行语音交互；当该当前用户离开1号显示终端，1号显示终端中的虚拟数字人退场隐藏，走到 2号屏时，2号摄像头识别人脸成功，此时虚拟数字人从1号显示终端的 显示界面方向搭配UI特效进场，使得该当前用户可继续与2号显示终端 的虚拟数字人语音交互，依此类推；其中，具体的应用场景图可以参考图 13(a)以及图13(b)所示。

在具体的实现过程中，当同一当前用户从1号显示终端到2号显示终 端，2号显示终端搭载的摄像头会与原始人脸特征进行比对，如果匹配最 近时间用户信息，包含与数字人语音交互文本信息，支持持续多轮对话； 当该当前用户1从1号显示终端离开，另一用户2进入2号显示终端，此 时2号显示终端搭载的摄像头识别为新用户，正常进行数字人唤醒语音问 答。也即，在确定时间差大于等于第一预设时间阈值时，直接执行步骤 S1030，无需通过第一预设方式唤醒虚拟数字人。

图14示意性示出根据本公开示例实施例的另一种基于人机交互的会 话处理方法。参考图14所示，该基于人机交互的会话处理方法还可以包 括以下步骤：

步骤S1410，建立所述当前用户的用户标识与所述文本数据、待识别 人脸特征以及用户类别之间的关联关系；

步骤S1420，基于所述关联关系将所述文本数据存储至所述知识库中， 并基于所述关联关系将所述待识别人脸特征存储至人脸数据库中。

以下，将对步骤S1410以及步骤S1420进行解释以及说明。具体的， 首先，生成与该当前用户对应的用户标识(若是新用户，则生成对应的用 户标识，该用户标识可以根据人脸特征以及姓名性别等信息生成)，然后， 建立用户标识与文本数据、待识别人脸特征以及用户类别之间的关联关 系，并进行存储，进而可以便于下一次的匹配。

至此可以得知，本公开示例实施例所提供的基于人机交互的会话处理 方法，可以提供三维视角下立体的数字人形象，区别于2D数字人视频形 式的呈现方式，3D实时渲染的方式可以支持数字人多种产品形态：透明 展示柜、立式触控一体机和全息投影；并且，通过人脸识别技术，识别客 户性别、年龄，以及VIP客户识别，达到千人千面精准营销；进一步的， 通过智慧网点综合管理平台构建海量知识库，让数字人可以具备各行业的 专业领域知识，可以方便的从金融领域扩展到交通、政教、园区等其它行 业领域。

本公开示例实施例还提供了一种基于人机交互的会话处理装置。参考 图15所示，该基于人机交互的会话处理装置可以包括语音识别模块1510、 语音数据转换模块1520以及第一语音数据播报模块1530。其中：

语音识别模块1510可以用于在接收到当前用户的待识别语音数据时， 对所述待识别语音数据进行识别得到语音识别结果，并对所述语音识别结 果进行分词，得到所述语音识别结果中所包括的第一词槽；

语音数据转换模块1520可以用于在预设的知识库中匹配与所述第一 词槽对应的文本数据，并将所述文本数据转换为待播报语音数据；

第一语音数据播报模块1530可以用于将所述待播报语音数据以及文 本数据反馈至显示终端，以使得所述显示终端调用预设的虚拟数字人对所 述待播报语音数据进行播报，并在所述显示终端的显示界面上对所述文本 数据进行显示。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理装置 还可以包括：

人脸识别模块，可以用于在接收到所述当前用户的待识别人脸图像 时，对所述待识别人脸图像进行识别，得到待识别人脸特征；

用户类别计算模块，可以用于根据所述待识别人脸特征计算所述当前 用户的用户类别，并在确定所述用户类别为预设类别时，获取与所述预设 类别对应的预设文本数据；

第二语音数据播报模块将所述预设文本数据以及与所述预设文本数 据对应的预设播报数据反馈至所述显示终端，以使得所述显示终端唤醒所 述预设的虚拟数字人，以通过所述预设的虚拟数字人对所述预设播报数据 进行播报。

在本公开的一种示例性实施例中，对所述待识别人脸图像进行识别， 得到待识别人脸特征，包括：

利用预设的人脸检测与关键点定位工具，检测所述待识别人脸图像的 待识别人脸区域，并在所述待识别人脸区域中提取所述待识别人脸图像的 待识别脸部关键点；

根据所述待识别脸部关键点，计算所述待识别人脸图像的脸部属性信 息，并根据所述脸部属性信息得到所述待识别人脸特征；

其中，所述脸部属性信息包括年龄、性别以及脸部表情中的一种或多 种。

在本公开的一种示例性实施例中，根据所述待识别人脸特征计算所述 当前用户的用户类别，包括：

在预设的人脸数据库中匹配与所述待识别人脸特征对应的原始人脸 特征，并根据匹配结果确定所述当前用户的用户类别；

其中，若所述匹配结果为所述预设的人脸数据库中存在与所述待识别 人脸特征对应的原始人脸特征，则所述当前用户的用户类别为所述预设类 别；

若所述匹配结果为所述预设的人脸数据库中不存在与所述待识别人 脸特征对应的原始人脸特征，则所述当前用户的用户类别为非预设类别。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理装置 还可以包括：

时间差计算模块，可以用于获取所述待识别人脸特征在所述预设的人 脸数据库中的上一次匹配的匹配时间，并计算所述上一次匹配的匹配时间 与当前时间之间的时间差；

第一控制模块，可以用于在确定所述时间差小于第一预设时间阈值 时，控制所述显示终端以第一预设方式唤醒所述虚拟数字人；其中，所述 第一预设方式用于指示当前会话需与所述上一次匹配的匹配时间对应的 会话之间相接续。

在本公开的一种示例性实施例中，在预设的知识库中匹配与所述第一 词槽对应的文本数据，包括：

在预设的知识库中匹配与所述第一词槽对应的词槽编码，并根据所述 词槽编码确定所述第一词槽的词典；

根据所述词典确定所述第一词槽是否为完整词槽，并在确定所述第一 词槽为完整词槽时，从预设的对话库中匹配与所述第一词槽对应的文本数 据。

在本公开的一种示例性实施例中，所述基于人机交互的会话处理装置 还可以包括：

问题句子生成模块，可以用于在确定所述第一词槽非完整词槽时，确 定所述第一词槽缺少的词槽类型，并根据缺少的词槽类型生成问题句子；

第三语音数据播报模块，可以用于将所述问题句子以及与所述问题句 子对应的问题语音数据发送至所述显示终端，以使得显示终端调用预设的 虚拟数字人对所述句子语音数据进行播报，并在所述显示终端的显示界面 上对所述问题句子进行显示；

文本数据匹配模块，可以用于接收用户对所述问题句子进行答复得到 的第二词槽，并从预设的对话库中匹配与所述第一词槽以及第二词槽对应 的文本数据。

在本公开的一种示例性实施例中，对所述待识别语音数据进行识别得 到语音识别结果，包括：

利用预设的语音识别模型中包括的卷积神经网络提取所述待识别语 音数据的第一局部特征；

利用所述预设的语音识别模型中包括的自注意力模块分别根据所述 第一局部特征，计算所述待识别语音数据的第一全局特征；

利用所述预设的语音识别模型中包括的全连接层对所述第一全局特 征进行分类，得到所述待识别语音数据的语音识别结果。

在本公开的一种示例性实施例中，将所述文本数据转换为待播报语音 数据，包括：

基于预设的语音合成模型对所述文本数据进行离散化处理，得到离散 语音合成结果；

根据所述离散语音合成结果以及与所述离散语音合成结果对应的均 匀分布采样结果，计算语音合成概率分布结果；

基于预设的连续性函数对所述语音合成概率分布结果进行语音合成， 得到所述待播报语音数据。

在本公开的一种示例性实施例中，对所述语音识别结果进行分词，得 到所述语音识别结果中所包括的第一词槽，包括：

根据所述语音识别结果确定所述当前用户所需要的场景类别，并基于 所述场景类别对所述语音识别结果进行分词，得到所述语音识别结果中所 包括的第一词槽；

其中，所述场景类别包括金融咨询场景、网点3D导览场景以及产品 推荐场景中的一种或多种。

在本公开的一种示例性实施例中，所述基于人机交互的会话处装置还 可以包括：

关联关系建立模块，可以用于建立所述当前用户的用户标识与所述文 本数据、待识别人脸特征以及用户类别之间的关联关系；

数据存储模块，可以用于基于所述关联关系将所述文本数据存储至所 述知识库中，并基于所述关联关系将所述待识别人脸特征存储至人脸数据 库中。

上述基于人机交互的会话处理装置中各模块的具体细节已经在对应 的基于人机交互的会话处理方法中进行了详细的描述，因此此处不再赘 述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若 干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的 实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一 个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征 和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤， 但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是 必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以 省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤 分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子 设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系 统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式， 即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)， 或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块” 或“系统”。

下面参照图16来描述根据本公开的这种实施方式的电子设备1600。 图16显示的电子设备1600仅仅是一个示例，不应对本公开实施例的功能 和使用范围带来任何限制。

如图16所示，电子设备1600以通用计算设备的形式表现。电子设备 1600的组件可以包括但不限于：上述至少一个处理单元1610、上述至少 一个存储单元1620、连接不同系统组件(包括存储单元1620和处理单元 1610)的总线1630以及显示单元1640。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理 单元1610执行，使得所述处理单元1610执行本说明书上述“示例性方法” 部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单 元1610可以执行如图1中所示的步骤S110：在接收到当前用户的待识别 语音数据时，对所述待识别语音数据进行识别得到语音识别结果，并对所 述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽； 步骤S120：在预设的知识库中匹配与所述第一词槽对应的文本数据，并 将所述文本数据转换为待播报语音数据；步骤S130：将所述待播报语音 数据以及文本数据反馈至显示终端，以使得所述显示终端调用预设的虚拟 数字人对所述待播报语音数据进行播报，并在所述显示终端的显示界面上 对所述文本数据进行显示。

存储单元1620可以包括易失性存储单元形式的可读介质，例如随机 存取存储单元(RAM)16201和/或高速缓存存储单元16202，还可以进一 步包括只读存储单元(ROM)16203。

存储单元1620还可以包括具有一组(至少一个)程序模块16205的 程序/实用工具16204，这样的程序模块16205包括但不限于：操作系统、 一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一 个或某种组合中可能包括网络环境的实现。

总线1630可以为表示几类总线结构中的一种或多种，包括存储单元 总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用 多种总线结构中的任意总线结构的局域总线。

电子设备1600也可以与一个或多个外部设备1700(例如键盘、指向 设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 1600交互的设备通信，和/或与使得该电子设备1600能与一个或多个其它 计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这 种通信可以通过输入/输出(I/O)接口1650进行。并且，电子设备1600 还可以通过网络适配器1660与一个或者多个网络(例如局域网(LAN)， 广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适 配器1660通过总线1630与电子设备1600的其它模块通信。应当明白， 尽管图中未示出，可以结合电子设备1600使用其它硬件和/或软件模块， 包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是 CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计 算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行 根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其 上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式 中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代 码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端 设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例 性实施方式的步骤。

描述了根据本公开的实施方式的用于实现上述方法的程序产品，其可 以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终 端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本 文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可 以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质 可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不 限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者 任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括： 具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器 (RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或 闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存 储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多 种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可 读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可 以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与 其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不 限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开 操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸 如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类 似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分 地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设 备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上 执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类 的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备， 或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特 网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的 示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明 或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在 多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想 到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者 适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理 并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明 书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指 出。

Claims (14)

1.一种基于人机交互的会话处理方法，其特征在于，包括：

在接收到当前用户的待识别语音数据时，对所述待识别语音数据进行识别得到语音识别结果，并对所述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽；

在预设的知识库中匹配与所述第一词槽对应的文本数据，并将所述文本数据转换为待播报语音数据；

将所述待播报语音数据以及文本数据反馈至显示终端，以使得所述显示终端调用预设的虚拟数字人对所述待播报语音数据进行播报，并在所述显示终端的显示界面上对所述文本数据进行显示。

2.根据权利要求1所述的基于人机交互的会话处理方法，其特征在于，在所述在接收到当前用户的待识别语音数据时之前，所述基于人机交互的会话处理方法还包括：

在接收到所述当前用户的待识别人脸图像时，对所述待识别人脸图像进行识别，得到待识别人脸特征；

根据所述待识别人脸特征计算所述当前用户的用户类别，并在确定所述用户类别为预设类别时，获取与所述预设类别对应的预设文本数据；

将所述预设文本数据以及与所述预设文本数据对应的预设播报数据反馈至所述显示终端，以使得所述显示终端唤醒所述预设的虚拟数字人，以通过所述预设的虚拟数字人对所述预设播报数据进行播报。

3.根据权利要求2所述的基于人机交互的会话处理方法，其特征在于，对所述待识别人脸图像进行识别，得到待识别人脸特征，包括：

利用预设的人脸检测与关键点定位工具，检测所述待识别人脸图像的待识别人脸区域，并在所述待识别人脸区域中提取所述待识别人脸图像的待识别脸部关键点；

根据所述待识别脸部关键点，计算所述待识别人脸图像的脸部属性信息，并根据所述脸部属性信息得到所述待识别人脸特征；

其中，所述脸部属性信息包括年龄、性别以及脸部表情中的一种或多种。

4.根据权利要求2所述的基于人机交互的会话处理方法，其特征在于，根据所述待识别人脸特征计算所述当前用户的用户类别，包括：

在预设的人脸数据库中匹配与所述待识别人脸特征对应的原始人脸特征，并根据匹配结果确定所述当前用户的用户类别；

其中，若所述匹配结果为所述预设的人脸数据库中存在与所述待识别人脸特征对应的原始人脸特征，则所述当前用户的用户类别为所述预设类别；

若所述匹配结果为所述预设的人脸数据库中不存在与所述待识别人脸特征对应的原始人脸特征，则所述当前用户的用户类别为非预设类别。

5.根据权利要求4所述的基于人机交互的会话处理方法，其特征在于，所述基于人机交互的会话处理方法还包括：

获取所述待识别人脸特征在所述预设的人脸数据库中的上一次匹配的匹配时间，并计算所述上一次匹配的匹配时间与当前时间之间的时间差；

在确定所述时间差小于第一预设时间阈值时，控制所述显示终端以第一预设方式唤醒所述虚拟数字人，其中，所述第一预设方式用于指示当前会话需与所述上一次匹配的匹配时间对应的会话之间相接续。

6.根据权利要求1所述的基于人机交互的会话处理方法，其特征在于，在预设的知识库中匹配与所述第一词槽对应的文本数据，包括：

在预设的知识库中匹配与所述第一词槽对应的词槽编码，并根据所述词槽编码确定所述第一词槽的词典；

根据所述词典确定所述第一词槽是否为完整词槽，并在确定所述第一词槽为完整词槽时，从预设的对话库中匹配与所述第一词槽对应的文本数据。

7.根据权利要求6所述的基于人机交互的会话处理方法，其特征在于，所述基于人机交互的会话处理方法还包括：

在确定所述第一词槽非完整词槽时，确定所述第一词槽缺少的词槽类型，并根据缺少的词槽类型生成问题句子；

将所述问题句子以及与所述问题句子对应的问题语音数据发送至所述显示终端，以使得显示终端调用预设的虚拟数字人对所述句子语音数据进行播报，并在所述显示终端的显示界面上对所述问题句子进行显示；

接收用户对所述问题句子进行答复得到的第二词槽，并从预设的对话库中匹配与所述第一词槽以及第二词槽对应的文本数据。

8.根据权利要求1所述的基于人机交互的会话处理方法，其特征在于，对所述待识别语音数据进行识别得到语音识别结果，包括：

利用预设的语音识别模型中包括的卷积神经网络提取所述待识别语音数据的第一局部特征；

利用所述预设的语音识别模型中包括的自注意力模块分别根据所述第一局部特征，计算所述待识别语音数据的第一全局特征；

利用所述预设的语音识别模型中包括的全连接层对所述第一全局特征进行分类，得到所述待识别语音数据的语音识别结果。

9.根据权利要求1所述的基于人机交互的会话处理方法，其特征在于，将所述文本数据转换为待播报语音数据，包括：

基于预设的语音合成模型对所述文本数据进行离散化处理，得到离散语音合成结果；

根据所述离散语音合成结果以及与所述离散语音合成结果对应的均匀分布采样结果，计算语音合成概率分布结果；

基于预设的连续性函数对所述语音合成概率分布结果进行语音合成，得到所述待播报语音数据。

10.根据权利要求1所述的基于人机交互的会话处理方法，其特征在于，对所述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽，包括：

根据所述语音识别结果确定所述当前用户所需要的场景类别，并基于所述场景类别对所述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽；

其中，所述场景类别包括金融咨询场景、网点3D导览场景以及产品推荐场景中的一种或多种。

11.根据权利要求2所述的基于人机交互的会话处理方法，其特征在于，所述基于人机交互的会话处理方法还包括：

建立所述当前用户的用户标识与所述文本数据、待识别人脸特征以及用户类别之间的关联关系；

基于所述关联关系将所述文本数据存储至所述知识库中，并基于所述关联关系将所述待识别人脸特征存储至人脸数据库中。

12.一种基于人机交互的会话处理装置，其特征在于，包括：

语音识别模块，用于在接收到当前用户的待识别语音数据时，对所述待识别语音数据进行识别得到语音识别结果，并对所述语音识别结果进行分词，得到所述语音识别结果中所包括的第一词槽；

语音数据转换模块，用于在预设的知识库中匹配与所述第一词槽对应的文本数据，并将所述文本数据转换为待播报语音数据；

第一语音数据播报模块，用于将所述待播报语音数据以及文本数据反馈至显示终端，以使得所述显示终端调用预设的虚拟数字人对所述待播报语音数据进行播报，并在所述显示终端的显示界面上对所述文本数据进行显示。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的基于人机交互的会话处理方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的基于人机交互的会话处理方法。

Images