CN111694940A - 一种用户报告的生成方法及终端设备 - Google Patents

Abstract

本申请适用于人工智能技术领域，提供了一种用户报告的生成方法及设备，包括：获取目标用户在会话过程中产生的多个语音信号，并将各个语音信号转换为对应的会话文本；对会话文本进行语义分析，得到会话文本对应的会话关键词以及各个关键词对应的会话标签，生成会话内容集合；获得会话内容集合内的各个会话关键词对应的会话词向量，并基于各个会话词向量确定语音信号对应的情感特征值；基于所有语音信号的情感特征值，生成目标用户的性格分析报告。本申请无需用户花费额外时间撰写关于目标用户的性格分析报告，从而能够大大减少用户的操作，并基于在会话过程中不同阶段的语音信号确定情感特征值，提高性格分析报告的准确性。

Description

一种用户报告的生成方法及终端设备

技术领域

本发明属于人工智能技术领域，尤其涉及一种用户报告的生成方法及设备。

背景技术

随着企业规模的不断扩大，员工的数量也随之增加，因而如何能够高效地对面试人员进行筛选，确定面试人员的性格特性等，则直接影响面试效率以及影响决策速度，而通过用户分析报告，则能够快速了解面试用户的情况，提高大大提高面试效率。

现有的用户分析报告生成技术，主要是依赖面试官对面试人员进行性格分析，通过收集面试人员对于预设题目的回答，主观认定面试人员的性格特征，并生成用户分析报告，即现有的用户分析报告依靠人力完成，生成效率较低，从而降低了人员管理效率。

发明内容

有鉴于此，本申请实施例提供了一种用户报告的生成方法及终端设备，以解决现有的用户报告的生成技术，依靠人力完成，报告生成效率较低，从而降低了人员管理效率的问题。

本申请实施例的第一方面提供了一种用户报告的生成方法，包括：

获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本；

对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合；

获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值；

基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

本申请实施例的第二方面提供了一种用户报告的生成设备，包括：

会话文本获取单元，用于获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本；

会话内容集合生成单元，用于对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合；

情感特征值确定单元，用于获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值；

性格分析报告生成单元，用于基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。

实施本申请实施例提供的一种用户报告的生成方法及设备具有以下有益效果：

本申请实施例通过在与目标用户进行会话的过程中，采集目标用户的语音信号，并将语音信号转换为对应的会话文本，并对会话文本进行语义分析得到对应的会话内容合集，并基于会话内容合集内各个会话关键词的会话词向量，生成语音信号对应的情感特征值，并基于所有语音信号的情感特征值，确定目标用户的性格类型，并生成关于目标用户的性格分析报告，从而能够在与目标用户会话的过程中，通过目标用户的语言确定性格，实现了自动输出分析报告的目的。与现有的用户报告技术相比，本实施例不依赖面试人员或会话对象进行手动填写或主观判断，无需用户花费额外时间撰写关于目标用户的性格分析报告，从而能够大大减少用户的操作，并且上述的过程可以通过在会话过程中不同阶段的语音信号，确定情感特征值，并非以单一的话语或语句进行性格判断，从而能够提高性格分析报告的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的一种用户报告的生成方法的实现流程图；

图2是本申请第二实施例提供的一种用户报告的生成方法S103具体实现流程图；

图3是本申请第三实施例提供的一种用户报告的生成方法S1031具体实现流程图；

图4是本申请第四实施例提供的一种用户报告的生成方法S301具体实现流程图；

图5是本申请第五实施例提供的一种用户报告的生成方法S302具体实现流程图；

图6是本申请第六实施例提供的一种用户报告的生成方法S1034具体实现流程图；

图7是本申请第七实施例提供的一种用户报告的生成方法S104具体实现流程图；

图8是本申请一实施例提供的一种用户报告的生成设备的结构框图；

图9是本申请另一实施例提供的一种终端设备的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例通过在与目标用户进行会话的过程中，采集目标用户的语音信号，并将语音信号转换为对应的会话文本，并对会话文本进行语义分析得到对应的会话内容合集，并基于会话内容合集内各个会话关键词的会话词向量，生成语音信号对应的情感特征值，并基于所有语音信号的情感特征值，确定目标用户的性格类型，并生成关于目标用户的性格分析报告，从而能够在与目标用户会话的过程中，通过目标用户的语言确定性格，实现了自动输出分析报告的目的，解决了用户报告的生成技术，主要依靠人力完成，报告生成效率较低，从而降低了人员管理效率的问题。

在本申请实施例中，流程的执行主体为终端设备，该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行用户报告的生成方法的设备。图1示出了本申请第一实施例提供的用户报告的生成方法的实现流程图，详述如下：

在S101中，获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本。

在本实施例中，终端设备可以为用户数据库的服务器，该服务器可以通过通信链路与分布式麦克风模块相连，该通信链路可以为有线通信的实体链路，也可以为通过局域网或互联网等方式建立的虚拟链路。该麦克风模块可以与终端设备部署于同一区域，也可以分布式部署于各个面试场所，用于采集面试过程中产生的语音信号。

可选地，在本实施例中，该麦克风模块具体为一麦克风阵列，麦克风阵列内包含有多个麦克风装置，麦克风阵列在采集语音信号的过程中，可以从多个不同角度获取当前面试场景的语音信号，并通过多个语音信号进行滤波整形，得到用于进行语音识别的目标信号。由一定数量的麦克风组成麦克风阵列采集语音信号，用来对声场的空间特性进行采样并处理的系统，应用于在面试环境的复杂环境下，能够有效解决噪音、混响、人声干扰、回声等问题，提高了语音信号采集的信号质量，从而在后续输出文字信息时，能够提高文字信息转换的成功率。

在本实施例中，终端设备可以设置有面试时间段，若终端设备检测到当前时刻到达预设的面试启动时刻，则开启麦克风模块，以通过麦克风模块获取当前所处的面试场景的语音信号。并且，在终端设备检测到当前时刻到达预设的面试结束时刻，则关闭麦克风模块，并将该面试时间段内的采集到的所有语音信号转换为文字信息。由于在会议过程中，用户发言并非连续性的，而是间断性的，终端设备可以配置有启动分贝值以及结束分贝值，在麦克风模块检测到当前面试场景的分贝值大于启动分贝值时，会开始采集语音信号，并在分贝值小于结束分贝值时，结束采集语音信号，将每个采集到的一段语音信号，作为会话过程中的一个会话段落，并为每个会话段落输出对应的会话文本，由于在面试过程中，目标用户与面试官之间基于问答过程产生多个会话段落，终端设备可以分别识别各个会话段落的情感特征值，并根据在整个会话过程中产生的所有会话文本，生成目标用户的性格分析报告。

可选地，在本实施例中，终端设备可以在接收到一段语音信号后，则执行文字信息的输出操作，并在检测到当前面试结束后(例如到达预设的面试结束时间或检测到预设的等待时长内没有接收到语音信号)，基于所有采集到的语音信号所对应的文字信息，执行S102的操作，即采集操作与语音识别操作并行执行；终端设备也可以将当前会议的采集到的所有语音信息存储在数据库内，并在面试结束后，执行S102的操作。

在本实施例中，终端设备可以设置有语音识别算法，终端设备可以通过语音识别算法对语音信号进行解析，输出语音信号对应的文字信息，实现了语音识别的目的，自动记录面试内容，获得目标用户在会话过程中的会话文本。可选地，终端设备在进行语音识别的过程中，可以确定面试过程中使用的面试语种，并基于面试语种调整语音识别算法，从而提高识别的准确率。具体地，确定面试语种的方式可以为：获取参与面试的目标用户的用户信息，所述用户信息包含用户户籍或居住地址等信息；基于目标用户的户籍或居住地址，确定面试语种。

在一种可能的实现方式中，终端设备可以基于预设的最大语句数量，将会话文本划分为多个会话语段，每个会话语段包含的语句数量不大于预设的最大语句数量，在会话时长较长时，生成的会话文本的数量量较大，通过对会话文本进行划分，能够提高后续识别操作的效率，保证标记数量的稳定。当然，终端设备可以基于最大语句数量生成对应的语句选取框，基于该语句选取框在会话文本上进行遍历选取多个语句连续的会话语段，从而能够将每次识别的语句个数稳定，实现了识别参量的一致性。

在一种可能的实现方式中，将语音信号转换为会话文本的方式具体可以为：对语音信号进行解析，提取每一帧语音信号对应的波形特征和音调特征。将每一帧语音信号对应的波形特征和音调特征顺序输入训练完的语音识别模型中。该语音识别模型具体基于所有候选字符对应的标准波形以及音调波形训练得到，可以通过将每一帧的语音信号导入上述语音识别模型，可以计算得到与各个候选字符之间的相似度。选取相似度最高的候选字符作为该帧语音信号对应的文字，基于所有帧的文字，生成该语音信号对应的会话文本。

在S102中，对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合。

在本实施例中，终端设备可以配置有语义识别算法，可以对会话文本进行语义分析，提取上述会话文本包含的会话关键词。该语义识别算法提取会话关键词的过程具体可以为：对会话文本进行词语划分，划分为包含若干字符的多个词组，每个词组至少包含一个字符，且不大于4个字符；终端设备对各个词组的词性进行识别，可以过滤与情感不相关的无效词组，举例性地，部分连接词与情感性格等分析的关联度较少，例如连接词“以及”、“和”以及“并”等，有部分助词“的”、“地”以及“得”等，终端设备对无效词组进行滤除后，则得到包含有用户情感相关的有效词组，将上述有效词组识别为会话关键词；可选地，终端设备存储有关键词典，判断上述有效词组是否在上述关键词典内，若存在，则识别该有效词组为会话关键词，反之，则识别该有效词组为无效词组。

在本实施例中，终端设备可以为会话关键词配置对应的会话标签，该会话标签用于标示该会话关键词在预设的词语维度的特征值。举例性，该会话标签可以用于标记该会话关键词的词性，例如“今天”这一会话关键词，基于词性分类的情况下会话标签可以设置“名词”，基于词语内容分类的情况下会话标签可以设置为“时间限定词”等。基于不同的划分方式以及情感识别过程的需要，可以为会话关键词配置不同的会话标签。上述会话标签的个数可以一个，也可以为两个或以上，在此不做限定。将所有会话关键词以会话标签进行封装，得到上述的会话内容集合，示例性地，该会话内容集合可以表示为

其中，i＝1,...,N；j＝1,...,N_i；上述N为在整个会话过程中包含的语音信号的总数，即会话文本的个数；而N_i则表示第i个会话文本内包含的语句个数。

举例性地，面试官与面试人员的对话如下“面试官：你好，请进行自我介绍。面试人员：面试官你好。我的名字是张三。我来自深圳。毕业于大学。擅长测试。面试官：请问你对我们岗位的认识是？”其中，上述会话过程中存在3段语音信号，即会话文本的个数为3，用i表示会话文本的个数。例如“你好，请进行自我介绍”的会话顺序为1。而每个对话包含对应的语句数。例如“你好，请进行自我介绍”包含的语句数为2，分别为“你好”以及“请进行自我介绍”，此时，N_i为2。

进一步地，作为本申请的另一实施例，在S102之前还可以包括：在确定关键词对应的标签之前，可以自动标签识别算法进行训练，使得最大化函数的取值最大，此时可以识别自动化标签识别算法已调整完毕，其中，最大化函数具体可以表示为：

其中，θ表示模型参数。

在S103中，获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值。

在本实施例中，终端设备可以根据该会话内容集合内，各个会话关键词以及对应的会话标签，生成该会话关键词对应的会话词向量。在一种可能的实现方式中，生成上述会话词向量的方式可以为：终端设备配置有关键词典，并为关键词典内的各个候选关键词配置有对应的词编号，识别该会话关键词在上述关键词典内的词编号，基于词编号确定第一维度数值；对应地，终端设备可以为生成标签字典，通过查询会话标签在上述标签字典的标签编号，确定上述会话关键词的第二维度数值，基于第一维度数值和第二维度数值生成会话词向量。

在一种可能的实现方式中，生成上述会话词向量的方式还可以为：获取会话关键词在多个词性维度的参量值，生成一个多维向量，对应地，获取会话标签在多个词性维度的参量值，同样可以生成关于会话标签的多维向量，将会话关键词的多维向量与标签关键词的多维向量进行合并，得到上述的会话词向量。

在本实施例中，终端设备可以配置有情感识别网络，终端设备根据各个会话关键词的出现次序，依次导入到该情感识别网络内，并在所有会话关键词输入完成后导入预设的结束标示符，情感识别网络则输出关于上述会话文本，即语音信号对应的情感特征值。具体地，上述情感特征值可以包含在多个情感维度的得分，例如情感幅度维度以及积极程度维度等。

在S104中，基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

在一实施例中，将生成的目标用户的性格分析报告存储于区块链网络中，通过区块链存储，实现数据信息在不同平台之间的共享，也可防止数据被篡改。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

在本实施例中，终端设备可以根据所有会话内容对应的情感特征，生成目标用户的用户画像，确定各个性格类型对应的概率得分，最后选取概率得分最高的一个性格类型作为目标用户的性格类型，并生成上述目标用户的性格分析报告。可选地，终端设备还可以将所有性格类型的概率得分记录在性格分析报告中，从而面试管理人员可以根据该性格分析报告确定目标用户的潜在性格特性，提高了性格分析报告内容的丰富度。

以上可以看出，本申请实施例提供的一种用户报告的生成方法通过在与目标用户进行会话的过程中，采集目标用户的语音信号，并将语音信号转换为对应的会话文本，并对会话文本进行语义分析得到对应的会话内容合集，并基于会话内容合集内各个会话关键词的会话词向量，生成语音信号对应的情感特征值，并基于所有语音信号的情感特征值，确定目标用户的性格类型，并生成关于目标用户的性格分析报告，从而能够在与目标用户会话的过程中，通过目标用户的语言确定性格，实现了自动输出分析报告的目的。与现有的用户报告技术相比，本实施例不依赖面试人员或会话对象进行手动填写或主观判断，无需用户花费额外时间撰写关于目标用户的性格分析报告，从而能够大大减少用户的操作，并且上述的过程可以通过在会话过程中不同阶段的语音信号，确定情感特征值，并非以单一的话语或语句进行性格判断，从而能够提高性格分析报告的准确性。

图2示出了本申请第二实施例提供的一种用户报告的生成方法S103的具体实现流程图。参见图2，相对于图1所述实施例，本实施例提供的一种用户报告的生成方法中S103包括：S1031～S1036，具体详述如下：

进一步地，所述获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值，包括：

在S1031中，确定各个所述会话关键词在预设的知识图谱内的关联实体，并获取各个所述关联实体对应的加权权重。

在本实施例中，终端设备配置有知识图谱，该知识图谱包含有多个知识节点，不同的知识节点之间存在对应的关联关系，从而构成一个由多个知识节点相互连接的网络，即上述的知识图谱。终端设备可以判断会话关键词在上述知识图谱上关联的知识节点，并将与该关联的知识节点相邻的其他节点，即存在关联关系的其他知识节点，识别为会话关键词的关联实体。

在一种可能的实现方式中，终端设备可以根据会话关键词关联的知识节点与关联实体之间关联关系的置信度，确定上述挂念实体的加权权重。

在S1032中，根据所有所述关联实体的所述加权权重，生成所述会话关键词的词概念向量。

在本实施例中，由于基于知识图谱确定关联实体并没有与会话关键词所在会话语句的上下文概念以及情感相关的特征，而加权权重在计算时考虑了上下文关联性以及情感特征，因此可以转换为包含上述两个特征的概念向量。计算的方式具体为：

其中，c(t)为上述词概念向量；g(t)为所述会话关键词包含的关联实体的总数；c_k为上述会话关键词的第k个关联实体的词向量，w_k为上述的会话关键词的第k个关联实体的加权权重。

优选地，作为本申请的另一实施例，在计算得到会话关键词对应的词概念向量后，可以通过线性变化的方式，将词概念向量转换为词特征向量，具体转换方式可以为：

其中，

为上述会话关键词的词特征向量；W为模型参数，模型参数W∈R^d*2d；t为会话关键词所在语句的语句向量；Embed(t)为嵌入的会话关键词的大小；Post(t)为在会话语句的位置编码；R^d为会话关键词的词向量大小。

在S1033中，基于各个所述会话关键词的所属的会话语句，对属于同一所述会话语句的所有词概念向量进行封装，生成所述会话语句的语句概念向量；所述会话语句是对所述会话文本进行语句划分后得到的。

在本实施例中，会话文本内可以包含有多个会话语句。终端设备可以基于会话关键词所述的会话语句对会话关键词进行划分，得到多个会话关键词组，每个会话关键词组内的所有会话关键词对应同一会话语句。终端设备可以将属于同一会话语句的词概念向量进行封装，生成关于该会话语句对应的语句概率向量。

在S1034中，分别将各个所述会话语句的所述语句概念向量导入到第一注意力算法，得到各个所述会话语句的对话更新向量。

在本实施例中，上述对话更新向量语句用于表征会话语句本申请的情感特征，因此，终端设备可以分别将各个会话语句的语句概念向量导入到第一注意力算法中，得到对话更新向量。

在S1035中，将所述会话文本的所有会话语句的所述语句概念向量进行封装，生成所述会话文本的对话概念向量，并将所述会话概念向量导入第二注意力模型，生成所述会话文本的文本概念向量。

在本实施例中，由于第一注意力模型具体用于确定单一语句的情感特征，终端设备可以根据不同语句之间的上下文的联系，确定整个会话文本整体的情感特征。因此可以将所有会话语句的语句概念向量进行封装，得到对话概念向量，并将对话概念向量导入到上述的第二注意力模型内，得到文本概念向量。其中，文本概向量具体可以表示为：

FF(x)＝max(0,W₁x+b₁)W₂+b₂

其中，为文本概念向量，为第i个会话文本的对话概念向量；W₁、W₂、b₁以及b₂为所述第二注意力模型的模型参数；d_s为基于线性变换的端点数h确定的系数值，d_s＝d/h。L(x)为基于端点数h的线性变换；L’(x)为基于端点数h的逆线性变换。

在S1036中，根据所述对话更新向量以及所述文本概念向量，确定所述情感特征值。

在本实施例中，终端设备可以将对话更新向量以及文本概念向量导入到第三注意力模型，得到会话文本对应的情感概念向量。该情感概念向量具体为可以为：

其中，Rⁱ为上述情感概念向量；

为对话更新向量。终端设备可以对上述的情感概念向量导入预设的池化层，进行情感特征提取，得到上述情感概念向量对应的情感特征值，该池化层可以表示为：

O＝max_pool(Rⁱ)

p＝softmax(O*W₃+b₃)

其中，p为上述的情感特征值；W₃∈R^d*q,b₃∈R^q表示模型参数，q表示类数。

在本申请实施例中，通过获取会话关键词的关联实体，对会话内容进行延伸，并分别确定基于单个语句的对话更新向量以及基于所有语句的文本概念向量，确定目标用户的情感特征值，能够从多个维度确定用户的情感特征，从而提高了情感特征的准确性。

图3示出了本申请第三实施例提供的一种用户报告的生成方法S1031的具体实现流程图。参见图3，相对于图2所述的实施例，本实施例提供的一种用户报告的生成方法中S1031包括：S301～S303，具体详述如下：

进一步地，所述确定各个所述会话关键词在预设的知识图谱内的关联实体，并获取各个所述关联实体对应的加权权重，包括：

在S301中，获取各个所述关联实体与所述会话关键词之间的关联强度因子。

在本实施例中，根据不同知识节点之间的关联紧密度，可以确定不同关联节点之间的关联置信度。例如某两个知识节点在大部分的文本中存在共现关系(共现关系即同时出现在多个知识节点同时出现在同一语句内)，则上述知识节点之间的关联置信度较高；反之，若两个知识节点只在少量的文本中存在共现关系，则上述知识节点之间的关联置信度较低。根据会话关键词关联的知识节点与关联实体之间的关联置信度，可以得到上述的关联强度因子。

在一种可能的实现方式中，终端设备可以包含有关联强度因子的转换算法，将关联实体对应的关联置信度导入上述转换算法中，生成上述关联强度因子。

在S302中，基于预设的情感度量算法，确定各个所述关联实体的情感强度因子。

在本实施例中，由于不同的词语具有对应的情感特征，例如“笑容”这个词语在情感上是较为积极的词语，而“哭泣”这个词语在情感上是较为消极的词语，可以根据不同词语对应的内容以及意义，可以转换为对应的情感强度因子。终端设备可以配置有情感度量算法，可以将词语转换为计算机可识别的情感强度因子。在该情况下，终端设备可以将关联实体导入到上述的情感度量算法，输出关联实体对应的情感强度因子。

在S303中，基于所述情感强度因子以及所述关联强度因子，构建所述关联实体的加权权重。

在本实施例中，终端设备可以根据情感因子以及关联强度因子，生成关联实体的加权权重，该加权权重则包含有与会话关键词之间的关联紧密度以及情感特征，便于后续的情感特征值的确定。其中，该加权权重具体为可以为：

w_k＝λ_k*rel_k+(1-λ_k)*aff_k

其中，w_k为第k个关联实体对应的加权权重；rel_k为所述第k个关联实体对应的关联强度因子，aff_k为第k个关联实体的情感强度因子，λ_k为第k个关联实体的预设参数。

在本申请实施例中，通过计算关联实体与会话关键词之间的关联强度以及该关键词本申请的情感特征，确定该关联实体在计算情感特征值时对应的加权权重，关联度越高，则对应的加权权重越高，本申请的情感特征对于后续的会话文本的情感特征值的贡献则越大，从而能够提高情感特征值的准确性。

图4示出了本申请第四实施例提供的一种用户报告的生成方法S301的具体实现流程图。参见图4，相对于图3所述实施例，本实施例提供的一种用户报告的生成方法S301包括：S3011～S3013，具体详述如下：

进一步地，所述获取各个所述关联实体与所述会话关键词之间的关联强度因子，包括：

在S3011中，基于所述知识图谱，确定所述关联实体与所述会话关键词之间的关联置信度。

在本实施例中，知识图谱内可以记录有各个知识节点之间关联关系的置信度，终端设备在知识图谱中标记出会话关键词以及关联实体，确定两者之间的关联关系的置信度，将该关联关系的置信度识别为上述两者之间的关联置信度。其中，关联实体与会话关键词之间的共现次数越多，则对应的关联置信度越高；反之，若上述两者之间的共现次数越少，则对应的关联置信度越低。

在S3012中，将所述会话关键词关联的会话语句导入到预设的池化层，生成各个所述会话关键词关联的会话语句的语句向量，并基于所述语句向量确定所述会话关键词所在语段的会话文本向量；所述会话文本向量具体为：

其中，CR(Xⁱ)为所述会话关键词的所述会话文本向量，所述会话关键词所在的会话文本编号为i；

为所述会话关键词所在的会话语句的语句向量，所述会话语句在所述会话文本中的语句编号为j；所述M为预设的关联系数。

在本实施例中，会话文本包含有多个会话语句，假设会话关键词所在的会话语句为

则与会话关键词存在关联关系的关联语句则为

至

的M个会话语句，其中M为预设的关联系数。为了控制终端设备的数据处理量，终端设备可以配置有关联系数M，在进行情感特征识别的过程中，可以基于关联系数M确定所需统一识别的最大会话个数。将M个会话语句对应的语句向量导入到上述的文本向量转换函数，则可以确定以会话关键词为基准的会话文本对应的会话文本向量。

在S3013中，基于所述会话文本向量以及所述关联置信度，计算所述关联强度因子；所述关联强度因子具体为：

rel_k＝max-min(s_k)*|cos(CR(Xⁱ),c_k)|

其中，rel_k为第k个会话关键词的所述关联强度因子；c_k为所述会话关键词第k个关联实体的关联置信度；max-min(s_k)为所述会话关键词第k个关联实体对应的情感极差。

在本实施例中，终端设备可以包含有多个不同的情感度量算法，不同的情感度量算法所确定关联实体的情感参数值可能会存在差异，终端设备可以根据不同的情感度量算法关于关联实体的情感极差，即上述的max-min(s_k)，将关联实体的情感极差以及上述两个参量导入预设的关联强度转换算法，得到关联实体的关联强度值。

在本申请实施例中，通过确定会话文本向量，在计算关联实体的过程中，考虑整个会话文本中不同会话语句之间的关联性，从而能够提高了关联强度因子的准确性。

图5示出了本申请第五实施例提供的一种用户报告的生成方法S302的具体实现流程图。参见图5，相对于图3所述实施例，本实施例提供的一种用户报告的生成方法S302包括：S3021～S3023，具体详述如下：

进一步地，所述基于预设的情感度量算法，确定各个所述关联实体的情感强度因子，包括：

在S3021中，识别所述关联实体的情感属性。

在本实施例中，终端设备可以根据关联实体的情感属性的不同，采用不同的方式确定情感强度因子。举例性地，“我”这个指示代词不包含情感特征，则对应的情感属性为非情感类型；“伟大”这个形容词包含一定程度的情感特性，则对应的情感属性为情感类型。基于此，终端设备可以识别各个关联实体的情感属性，若关联实体的情感属性为非情感类型，则执行S3022的操作；反之，若关联实体的情感类型为情感类型，则执行S3023的操作。

在S3022中，若所述关联实体的所述情感属性为非情感类型，则将所述情感强度因子配置为预设的默认值。

在本实施例中，终端设备可以将所有非情感类型的关联实体配置固定数值的情感强度因子，该情感强度因子的数值可以配置为0.5。

在S3023中，若所述关联实体的所述情感属性为情感类型，则通过预设的情感转换算法，计算所述会话关键词的所述情感强度因子；所述情感强度因子具体为：

其中，aff_k为第k个所述关联实体的情感强度因子；VAD(c_k)为所述第k个所述关联实体的积极情感分值；A(c_k)为所述第k个所述关联实体的情感幅度分值。

在本实施例中，情感强度因子具体由两个不同的情感维度构成，分比为积极情感维度以及情感幅度维度，其中积极情感维度具体用于标识该实体对应的情感特征是否积极，若积极程度越高，则对应的情感分值越高。举例性地，“笑”对应的积极情感分值为正数，而“哭”对应的积极情感分值为负数，而“乐观”对应的情感积极分值会比“接纳”的情感积极分值要高；而情感幅度分值即用于标识该实体的情感波动幅度，例如“笑”的情感幅度分值会低于“大小”的情感幅度分值。终端设备可以通过预设的情感度量算法，确定各个关联实体在上述两个维度对应的情感分值，并得到对应的情感强度因子。其中，

为基于2的范数。

在本申请实施例中，通过识别关联实体的情感属性，选取对应的情感强度因子的计算方式，从而提高了情感强度因子的准确性。

图6示出了本申请第六实施例提供的一种用户报告的生成方法S1034的具体实现流程图。参见图6，相对于图2所述实施例，本实施例提供的一种用户报告的生成方法中S1034包括：S601～S603，具体详述如下：

进一步地，所述分别将各个所述会话语句的所述语句概念向量导入到第一注意力算法，得到各个所述会话语句的对话更新向量，包括：

在S601中，对所述会话语句的语句概念向量进行线性变化，得到包含h个端点的线性向量；其中，所述h为预设的端点个数。

在本实施例中，终端设备可以对会话语句的语句概念进行线性变换，将会语句概念向量投射多h个端点中，得到关于语句概念向量的线性向量。其中，上述h的数值可以为第一注意力算法的预设线性变换参量，也可以基于会话文本的文本量进行变更。

在S602中，将所述线性向量导入到所述第一注意力算法的多头自注意力层，得到所述会话语句的注意力向量；所述注意力向量具体为：

其中，

为第i个会话文本中第n个所述会话语句的所述注意力向量；

为所述线性向量；d_s为基于所述线性向量的端点数h确定的系数值。

在本实施例中，终端设备可以将上述计算得到的线性向量导入到上述的多头注意力层，该注意力层包含三个节点。首先，终端设备可以计算线性向量与线性向量的转置之间的乘积，并将乘积后的向量通过softmax函数进行处理，最后再次与该线性向量相乘，从而能够实现三重迭代，以提高特征提取的准确性。

在S603中，基于所述注意力向量生成所述会话语句的对话更新向量；所述对话更新向量具体为：

其中，W₁、W₂、b₁以及b₂为所述第一注意力模型的模型参数。

在本实施例中，终端设备可以将生成的注意力向量导入第一震惊网络的前馈层，得到会话语句对应的对话更新向量。该前馈层可以先对注意力向量进行逆线性变换，将包含多个端点的注意力向量变换到包含单一端点的向量后，再进行后续的操作。

在本申请实施例中，在加入了基于新型NLP变压器的情感判断方法后，面试官可以通过候选人的回答迅速对候选人的某些性格特征进行判断，并给出必要和合理的追问。在实际的AI面试应用中，因为判断更精准，硬件的应答速度也得到了提高，所以不仅节省了硬件空间，而且提高了运行速度和面试体验。AI智能面试可以根据对候选人的回答判断候选人的情感，进而判断候选人的性格，面试官可以在面试完成后进行分析，了解候选人性格特征的分布情况，作为选拔候选人的依据。

图7示出了本申请第七实施例提供的一种用户报告的生成方法S104的具体实现流程图。参见图7，相对于图1至图6任一所述实施例，本实施例提供的一种用户报告的生成方法中S104包括：S1041-S1043，具体详述如下：

进一步地，所述基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告，包括：

在S1041中，根据各个所述语音信号的情感特征值，生成所述目标用户的情感波形图。

在本实施例中，终端设备可以根据各个会话文本，即语音信号的生成次序，在预设的坐标轴上标记出各个情感特征值，并依次连接各个情感特征值，得到目标用户在整个会话过程中对应的情感波形图。

在S1042中，将所述情感波形图与各个候选性格的标准性格波形图进行匹配，确定所述目标用户的用户性格。

在本实施例中，终端设备可以计算情感波形图各个候选性格的标准波形图之间的偏差值，并基于该偏差值的倒数计算得到目标用户与各个候选性格之间的匹配度，选取匹配度最高的候选性格作为目标用户的用户性格，当然，也可以选取匹配度大于预设的匹配阈值的多个候选性格作为目标用户的用户性格。

在S1043中，基于所述用户性格得到所述性格分析报告。

在本实施例中，终端设备可以获取各个用户性格对应的标准语段，基于上述标准语段生成性格分析报告。

在本申请实施例中，通过生成目标用户的情感波形图，并从候选性格中识别出目标用户的用户性格，生成性格分析报告，从而能够提高了性格分析报告的生成效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图8示出了本申请一实施例提供的一种用户报告的生成设备的结构框图，该用户报告的生成设备包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图8与图1所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。

参见图8，所述用户报告的生成设备包括：

会话文本获取单元81，用于获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本；

会话内容集合生成单元82，用于对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合；

情感特征值确定单元83，用于获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值；

性格分析报告生成单元84，用于基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

可选地，所述情感特征值确定单元83包括：

加权权重确定单元，用于确定各个所述会话关键词在预设的知识图谱内的关联实体，并获取各个所述关联实体对应的加权权重；

词概念向量生成单元，用于根据所有所述关联实体的所述加权权重，生成所述会话关键词的词概念向量；

语句概念向量生成单元，用于基于各个所述会话关键词的所属的会话语句，对属于同一所述会话语句的所有词概念向量进行封装，生成所述会话语句的语句概念向量；所述会话语句是对所述会话文本进行语句划分后得到的；

对话更新向量生成单元，用于分别将各个所述会话语句的所述语句概念向量导入到第一注意力算法，得到各个所述会话语句的对话更新向量；

文本概念向量生成单元，用于将所述会话文本的所有会话语句的所述语句概念向量进行封装，生成所述会话文本的对话概念向量，并将所述会话概念向量导入第二注意力模型，生成所述会话文本的文本概念向量；

情感特征值计算单元，用于根据所述对话更新向量以及所述文本概念向量，确定所述情感特征值。

可选地，所述加权权重确定单元包括：

关联强度因子确定单元，用于获取各个所述关联实体与所述会话关键词之间的关联强度因子；

情感强度因子确定单元，用于基于预设的情感度量算法，确定各个所述关联实体的情感强度因子；

加权权重计算单元，用于基于所述情感强度因子以及所述关联强度因子，构建所述关联实体的加权权重。

可选地，所述关联强度因子确定单元包括：

关联置信度确定单元，用于基于所述知识图谱，确定所述关联实体与所述会话关键词之间的关联置信度；

会话文本向量确定单元，用于将所述会话关键词关联的会话语句导入到预设的池化层，生成各个所述会话关键词关联的会话语句的语句向量，并基于所述语句向量确定所述会话关键词所在语段的会话文本向量；所述会话文本向量具体为：

其中，CR(Xⁱ)为所述会话关键词的所述会话文本向量，所述会话关键词所在的会话文本编号为i；

为所述会话关键词所在的会话语句的语句向量，所述会话语句在所述会话文本中的语句编号为j；所述M为预设的关联系数；

关联强度因子计算单元，用于基于所述会话文本向量以及所述关联置信度，计算所述关联强度因子；所述关联强度因子具体为：

rel_k＝max-min(s_k)*|cos(CR(Xⁱ),c_k)|

其中，rel_k为第k个会话关键词的所述关联强度因子；c_k为所述会话关键词第k个关联实体的关联置信度；max-min(s_k)为所述会话关键词第k个关联实体对应的情感极差。

可选地，所述情感强度因子确定单元包括：

时间分布图生成单元，用于根据所有所述服务请求包含的请求发起时间，生成关于所述服务类型的请求时间分布图；

情感属性识别单元，用于识别所述关联实体的情感属性；

非情感类型处理单元，用于若所述关联实体的所述情感属性为非情感类型，则将所述情感强度因子配置为预设的默认值；

情感类型处理单元，用于若所述关联实体的所述情感属性为情感类型，则通过预设的情感转换算法，计算所述会话关键词的所述情感强度因子；所述情感强度因子具体为：

其中，aff_k为第k个所述关联实体的情感强度因子；VAD(c_k)为所述第k个所述关联实体的积极情感分值；A(c_k)为所述第k个所述关联实体的情感幅度分值。

可选地，所述对话更新向量生成单元包括：

线性向量生成单元，用于对所述会话语句的语句概念向量进行线性变化，得到包含h个端点的线性向量；其中，所述h为预设的端点个数；

注意力向量生成单元，用于将所述线性向量导入到所述第一注意力算法的多头自注意力层，得到所述会话语句的注意力向量；所述注意力向量具体为：

其中，

为第i个会话文本中第n个所述会话语句的所述注意力向量；

为所述线性向量；d_s为基于所述线性向量的端点数h确定的系数值；

对话更新向量确定单元，用于基于所述注意力向量生成所述会话语句的对话更新向量；所述对话更新向量具体为：

其中，W₁、W₂、b₁以及b₂为所述第一注意力模型的模型参数。

可选地，所述性格分析报告生成单元84包括：

情感波形图生成单元，用于根据各个所述语音信号的情感特征值，生成所述目标用户的情感波形图；

用户性格确定单元，用于将所述情感波形图与各个候选性格的标准性格波形图进行匹配，确定所述目标用户的用户性格；

性格分析报告输出单元，用于基于所述用户性格得到所述性格分析报告。

因此，本申请实施例提供的用户报告的生成设备同样不依赖面试人员或会话对象进行手动填写或主观判断，无需用户花费额外时间撰写关于目标用户的性格分析报告，从而能够大大减少用户的操作，并且上述的过程可以通过在会话过程中不同阶段的语音信号，确定情感特征值，并非以单一的话语或语句进行性格判断，从而能够提高性格分析报告的准确性。

图9是本申请另一实施例提供的一种终端设备的示意图。如图9所示，该实施例的终端设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如用户报告的生成程序。所述处理器90执行所述计算机程序92时实现上述各个用户报告的生成方法实施例中的步骤，例如图1所示的S101至S104。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各单元的功能，例如图8所示模块81至84功能。

示例性的，所述计算机程序92可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器91中，并由所述处理器90执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成会话文本获取单元、会话内容集合生成单元、情感特征值确定单元以及性格分析报告生成单元，各单元具体功能如上所述。

所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端终端设备等计算设备。所述终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用户报告的生成方法，其特征在于，包括：

获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本；

对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合；

获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值；

基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

2.根据权利要求1所述的生成方法，其特征在于，所述获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值，包括：

确定各个所述会话关键词在预设的知识图谱内的关联实体，并获取各个所述关联实体对应的加权权重；

根据所有所述关联实体的所述加权权重，生成所述会话关键词的词概念向量；

基于各个所述会话关键词的所属的会话语句，对属于同一所述会话语句的所有词概念向量进行封装，生成所述会话语句的语句概念向量；所述会话语句是对所述会话文本进行语句划分后得到的；

分别将各个所述会话语句的所述语句概念向量导入到第一注意力算法，得到各个所述会话语句的对话更新向量；

将所述会话文本的所有会话语句的所述语句概念向量进行封装，生成所述会话文本的对话概念向量，并将所述会话概念向量导入第二注意力模型，生成所述会话文本的文本概念向量；

根据所述对话更新向量以及所述文本概念向量，确定所述情感特征值。

3.根据权利要求2所述的生成方法，其特征在于，所述确定各个所述会话关键词在预设的知识图谱内的关联实体，并获取各个所述关联实体对应的加权权重，包括：

获取各个所述关联实体与所述会话关键词之间的关联强度因子；

基于预设的情感度量算法，确定各个所述关联实体的情感强度因子；

基于所述情感强度因子以及所述关联强度因子，构建所述关联实体的加权权重。

4.根据权利要求3所述的生成方法，其特征在于，所述获取各个所述关联实体与所述会话关键词之间的关联强度因子，包括：

基于所述知识图谱，确定所述关联实体与所述会话关键词之间的关联置信度；

将所述会话关键词关联的会话语句导入到预设的池化层，生成各个所述会话关键词关联的会话语句的语句向量，并基于所述语句向量确定所述会话关键词所在语段的会话文本向量；所述会话文本向量具体为：

其中，CR(Xⁱ)为所述会话关键词的所述会话文本向量，所述会话关键词所在的会话文本编号为i；

为所述会话关键词所在的会话语句的语句向量，所述会话语句在所述会话文本中的语句编号为j；所述M为预设的关联系数；

基于所述会话文本向量以及所述关联置信度，计算所述关联强度因子；所述关联强度因子具体为：

rel_k＝max-min(s_k)*|cos(CR(Xⁱ),c_k)|

其中，rel_k为第k个会话关键词的所述关联强度因子；c_k为所述会话关键词第k个关联实体的关联置信度；max-min(s_k)为所述会话关键词第k个关联实体对应的情感极差。

5.根据权利要求3所述的生成方法，其特征在于，所述基于预设的情感度量算法，确定各个所述关联实体的情感强度因子，包括：

识别所述关联实体的情感属性；

若所述关联实体的所述情感属性为非情感类型，则将所述情感强度因子配置为预设的默认值；

若所述关联实体的所述情感属性为情感类型，则通过预设的情感转换算法，计算所述会话关键词的所述情感强度因子；所述情感强度因子具体为：

其中，aff_k为第k个所述关联实体的情感强度因子；VAD(c_k)为所述第k个所述关联实体的积极情感分值；A(c_k)为所述第k个所述关联实体的情感幅度分值。

6.根据权利要求2所述的生成方法，其特征在于，所述分别将各个所述会话语句的所述语句概念向量导入到第一注意力算法，得到各个所述会话语句的对话更新向量，包括：

对所述会话语句的语句概念向量进行线性变化，得到包含h个端点的线性向量；其中，所述h为预设的端点个数；

将所述线性向量导入到所述第一注意力算法的多头自注意力层，得到所述会话语句的注意力向量；所述注意力向量具体为：

其中，

为第i个会话文本中第n个所述会话语句的所述注意力向量；

为所述线性向量；d_s为基于所述线性向量的端点数h确定的系数值；

基于所述注意力向量生成所述会话语句的对话更新向量；所述对话更新向量具体为：

其中，W₁、W₂、b₁以及b₂为所述第一注意力模型的模型参数。

7.根据权利要求1-6任一项所述的生成方法，其特征在于，所述基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告，包括：

根据各个所述语音信号的情感特征值，生成所述目标用户的情感波形图；

将所述情感波形图与各个候选性格的标准性格波形图进行匹配，确定所述目标用户的用户性格；

基于所述用户性格得到所述性格分析报告。

8.一种用户报告的生成设备，其特征在于，包括：

会话文本获取单元，用于获取目标用户在会话过程中产生的多个语音信号，并将各个所述语音信号转换为对应的会话文本；

会话内容集合生成单元，用于对所述会话文本进行语义分析，得到所述会话文本对应的会话关键词以及各个所述关键词对应的会话标签，生成会话内容集合；

情感特征值确定单元，用于获得所述会话内容集合内的各个所述会话关键词对应的会话词向量，并基于各个所述会话词向量确定所述语音信号对应的情感特征值；

性格分析报告生成单元，用于基于所有语音信号的所述情感特征值，生成所述目标用户的性格分析报告。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images