CN111428017A - 人机交互优化方法以及相关装置 - Google Patents

人机交互优化方法以及相关装置 Download PDF

Info

Publication number
CN111428017A
CN111428017A CN202010214567.4A CN202010214567A CN111428017A CN 111428017 A CN111428017 A CN 111428017A CN 202010214567 A CN202010214567 A CN 202010214567A CN 111428017 A CN111428017 A CN 111428017A
Authority
CN
China
Prior art keywords
data
human
computer interaction
question
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010214567.4A
Other languages
English (en)
Other versions
CN111428017B (zh
Inventor
王岩
许胜强
李莉
胡加学
赵乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202010214567.4A priority Critical patent/CN111428017B/zh
Publication of CN111428017A publication Critical patent/CN111428017A/zh
Application granted granted Critical
Publication of CN111428017B publication Critical patent/CN111428017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种人机交互优化方法以及相关装置。其中，人机交互优化方法包括：获取人机交互系统在当前的系统配置下生成的人机交互数据；利用人机交互数据，确定人机交互系统的交互得分；以及，利用系统配置，确定人机交互系统的语义得分；基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化。上述方案，能够及时且低成本地进行人机交互优化。

Description

人机交互优化方法以及相关装置
技术领域
本申请涉及信息技术领域，特别是涉及一种人机交互优化方法以及相关装置。
背景技术
在金融、电商、运营商等诸多行业对于客服有着迫切的需要，而随着自然语言理解和互联网行业的蓬勃发展，真人客服逐渐退出历史舞台，取而代之的是诸如出文字机器人客服、语音机器人客服等人机交互系统。
目前，由于人机交互系统无法像真人一样主动学习，故需要大量人工来参与系统优化。然而，人工参与优化的方式往往存在优化不及时的问题，且需消耗一定的人力资源。有鉴于此，如何及时且低成本地进行人机交互优化成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种人机交互优化方法以及相关装置，能够及时且低成本地进行人机交互优化。
为了解决上述问题，本申请第一方面提供了一种人机交互优化方法，包括：获取人机交互系统在当前的系统配置下生成的人机交互数据；利用人机交互数据，确定人机交互系统的交互得分；以及，利用系统配置，确定人机交互系统的语义得分；基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化。
为了解决上述问题，本申请第二方面提供了一种人机交互优化装置，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的人机交互优化方法。
为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的人机交互优化方法。
上述方案，获取人机交互系统在当前的系统配置下生成的人机交互数据，并利用人机交互数据，确定人机交互系统的交互得分，以及利用系统配置，确定人机交互系统的语义得分，从而基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化，进而能够无需人工参与，自动地基于人机交互系统在交互层面的交互得分以及在语义层面的语义得分触发优化操作，故能够及时且低成本地进行人机交互优化。
附图说明
图1是本申请人机交互优化方法一实施例的流程示意图；
图2是图1中步骤S12一实施例的流程示意图；
图3是图1中步骤S13一实施例的流程示意图；
图4是从人机交互数据中筛选与语义相关的第一数据以及利用第一数据优化系统配置一实施例的流程示意图；
图5是从人机交互数据中筛选与交互相关的第二数据以及利用第二数据优化系统配置一实施例的流程示意图；
图6是本申请人机交互优化装置一实施例的框架示意图；
图7是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请人机交互优化方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取人机交互系统在当前的系统配置下生成的人机交互数据。
人机交互系统可以包括但不限于：文字交互系统、语音交互系统。例如，文字交互系统可以支持用户输入文字与计算机进行交互，计算机可以对输入文字进行语义识别等处理，以对用户输入文字进行回复；语音交互系统可以支持用户输入语音与计算机进行交互，计算机可以将输入语音识别为文字，并对文字进行语义识别等处理，以对用户输入语音进行回复，在此不做限定。用户与人机交互系统进行一轮交互，可以生成一对问答数据，例如，人机交互系统提示用户“您好，这里是XXX客服，请问您要办理A业务、B业务还是C业务？”，以及用户输入的“我要办理A业务”为一对问答数据，其他应用场景可以以此类推，在此不再一一举例。通过至少一轮交互，人机交互数据可以包括至少一对问答数据，例如可以包括：一对问答数据、两对问答数据、三对问答数据等等，在此不做限定。
在一个实施场景中，为了准确地与用户进行交互，人机交互系统的系统配置可以包括但不限于：语义识别模型、知识库中的至少一者。在一个具体的实施场景中，语义识别模型用于对人机交互数据，特别是用户输入的数据进行语义识别，例如，语义识别模型可以是利用神经网络构造的。在另一个具体的实施场景中，知识库可以包括至少一个知识点和与知识点对应的问答数据，例如，知识库可以包括与“业务A”相关的知识点，其对应的问答数据可以包括但不限于：问答数据01“办理业务A需要材料？”和“办理业务A需要准备身份证、户口本”、问答数据02“办理业务A需要现场办理吗？”和“您可以选择在线上或现场办理”，此外，知识库还可以包括与“业务B”相关的知识点、与“业务C”相关的知识点等等，具体可以根据实际情况进行设置，在此不再一一举例。在又一个具体的实施场景中，人机交互系统可以根据语义识别模型识别到的语义结果，从知识库中筛选与语义识别结果对应的问答数据，并根据筛选得到的问答数据与用户进行交互，例如，用户输入为“我想办理A业务，但我身边只有身份证，请问还需要其他材料吗？”，语义识别模型对用户输入的识别结果为“办理A业务的材料”，故可以从知识库中筛选对应的问答数据01，并根据问答数据01进行回复“办理业务A需要准备身份证、户口本”，从而完成准确地与用户完成一轮交互。
步骤S12：利用人机交互数据，确定人机交互系统的交互得分。
交互得分是人机交互系统在交互层面的得分，具体可以采用人机交互结束后用户满意度评价、互信息中的至少一种来衡量。在一个具体的实施场景中，可以对人机交互数据所包含的至少一对问答数据进行情感识别，并根据情感识别结果得到用户满意度评价，例如，当情感识别结果为积极情感(如，赞美、肯定等)时，可以认为用户满意度评价较高；或者，当情感识别结果为消极情感(如，愤怒、贬低等)时，可以认为用户满意度评价较低；或者，当情感识别结果为中性情感(即既无积极情感，也无消极情感)时，可以认为用户满意度评价持中。在另一个具体的实施场景中，互信息可以表示经语义识别后仍然对用户输入存在的疑问的减少程度，互信息越大，表示越能理解用户输入，即交互层面越顺畅，具体在此暂不赘述。
步骤S13：利用系统配置，确定人机交互系统的语义得分。
语义得分是人机交互系统在语义层面的得分，具体可以用系统配置中知识库的数据丰富度、系统配置中语义识别模型的识别准确度来衡量。在一个具体的实施场景中，知识库的数据丰富度可以用知识库中各知识点对应的问答数据的丰富度来衡量，例如，可以预先设置与若干数据丰富度对应的数据量区间，从而根据各知识点对应的问答数据的数据量所在的数据量区间，确定各知识点的数据丰富度，进而确定知识库的数据丰富度。在另一个具体的实施场景中，可以预先设置一测试数据集，且测试数据集中包括至少一个知识点对应的问答数据，并利用语义识别模型对测试数据集中包含的问答数据进行语义识别，从而确定至少一个知识点的识别准确度，通过统计所有知识点的识别准确度，得到语义识别模型的识别准确度，具体在此暂不赘述。
上述步骤S12和步骤S13可以按照预设先后顺序执行，例如，先执行步骤S12，后执行步骤S13，或者，先执行步骤S13，后执行步骤S12，在此不做限定。此外，上述步骤S12和步骤S13也可以同时执行。
步骤S14：基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化。
在一个实施场景中，可以基于交互得分和语义得分，利用人机交互数据对人机交互系统的系统配置在交互层面和语义层面进行优化。在一个具体的实施场景中，若语义得分满足预设语义优化条件，则从人机交互数据中筛选与语义相关的第一数据，并利用第一数据优化系统配置，具体地，预设语义优化条件包括语义得分小于第一预设阈值，第一预设阈值可以根据实际应用进行设置，例如，可以设置为0.8、0.9等等，在此不做限定。在另一个具体的实施场景中，若交互得分满足预设交互优化条件，则从人际交互数据中筛选与交互相关的第二数据，并利用第二数据优化系统配置，具体地，预设交互优化条件包括交互得分小于第二预设阈值，第二预设阈值可以根据实际应用进行设置，例如，可以设置为0.8、0.9等等，在此不做限定。
在一个实施场景中，在对人机交互系统的系统配置进行优化后，还可以重新执行上述步骤S11以及后续步骤，以形成对人机交互系统的闭环优化，有利于进一步提高人机交互系统优化的及时性。在一个具体的实施场景中，还可以预先设置一监测频率(如每分钟一次、每小时一次等)，并以监测频率执行上述步骤S11，即以监测频率获取人机交互系统在当前的系统配置下生成的人机交互数据，并在获取人机交互数据后继续执行步骤S11的后续步骤，在此不做限定。
上述方案，获取人机交互系统在当前的系统配置下生成的人机交互数据，并利用人机交互数据，确定人机交互系统的交互得分，以及利用系统配置，确定人机交互系统的语义得分，从而基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化，进而能够无需人工参与，自动地基于人机交互系统在交互层面的交互得分以及在语义层面的语义得分触发优化操作，故能够及时且低成本地进行人机交互优化。
请参阅图2，图2是图1中步骤S12一实施例的流程示意图。具体地，图2是利用人机交互数据确定人机交互系统的交互得分一实施例的流程示意图。人机交互数据可以包括至少一对问答数据，可以包括如下步骤：
步骤S121：利用至少一对问答数据之间的互信息，确定人机交互系统的用户意图理解度。
具体地，可以把问答数据视作通信模型，问题作为发送端，回答作为机器接收到问题后所做的回应，则可以对人机交互数据所包含的至少一对问答数据之间的互信息进行归一化处理，从而得到用户意图理解度。在一个具体的实施场景中，人机交互数据所包含的至少一对问答数据之间的交互信息可以表示为：
Figure BDA0002423954550000061
在上述公式(1)中，(x,y)表示一对问答数据，X,Y表示人机交互数据中所包含的所有问答数据。具体地，语料库中包含K对问答数据，每对问答数据中的回答数据均是对提问数据的正确回复，即语料库中共有K个提问数据和K个回答数据，K个提问数据中可能存在重复数据，K个回答数据中也可能存在重复数据，则p(x)为交互数据中某一问答数据中的提问数据x在K个提问数据中的数量count(x)占语料库中提问数据总数K的比例，即
Figure BDA0002423954550000062
p(y)为交互数据中某一问答数据中的回答数据y在K个回答数据中的数量count(y)占语料库中回答数据总数K的比例，即
Figure BDA0002423954550000063
p(x,y)为交互数据中某一对问答数据(x,y)在语料库中的K对问答数据中的比例，即
Figure BDA0002423954550000064
H(Y)表示问答数据中的回答数据的先验不确定度(无条件熵)，H(Y|X)表示问答数据中的提问数据关于回答数据的后验不确定度。
在另一个具体的实施场景中，归一化处理可以表示为：
Figure BDA0002423954550000071
在上述公式(2)中，N表示人机交互数据中问答数据的对数，即人机交互的轮数，normlization(·)表示归一化处理函数，具体可以表示为：
Figure BDA0002423954550000072
在上述公式(3)中，max和min分别表示最大的互信息和最小的互信息。
通过上述处理，能够将用户意图理解度归一化到0～1区间内。
步骤S122：利用至少一对问答数据之间的关键语义，确定人机交互系统的关键信息获取度。
具体地，可以利用F1评分方式对人机交互数据所包含的至少一对问答数据之间的关键语义进行处理，确定关键信息获取度，F1评分方式是统计学中衡量二分类模型精确度的一种指标，其同时兼顾了分类模型的准确率和召回率，可以认为是准确率和召回率的一种调和平衡，其数值范围在0～1之间。在一个具体的实施场景中，可以对问答数据进行关键语义抽取，例如，对于一对问答数据“我以前是开通了我近代就是觉得就是怎么奇怪了没有短信通知了”和“您是想办理动户通知短信服务还是大额交易提醒短信服务”，前者的关键语义可以包括“开通、短信通知”，后者的关键语义可以包括“办理短信服务、大额交易提醒短信服务”，以前者作为标准答案，后者作为预测结果，当后者的关键语义全包含前者的关键语义，则认为机器获得了用户提问的关键信息，可以将F1评分中的召回率分值加1，当后者的关键语义在前者中，则认为机器理解正确，可以将F1评分中的准确率分值加1。在另一个具体的实施场景中，关键信息获取度可以表示为：
Figure BDA0002423954550000073
上述公式(4)中，N表示人机交互数据中问答数据的对数，即人机交互的轮数，F1表示通过F1评分方式以及召回率分值和准确率分值计算得到的F1评分，具体地，F1评分可以表示为：
Figure BDA0002423954550000081
上述公式(5)中，precision表示准确率分值，recall表示召回率分值。
步骤S123：利用至少一对问答数据的情感得分，确定人机交互系统的人机交互满意度。
具体地，可以统计至少一对问答数据的情感得分的平均值，作为人机交互满意度。对于体现出消极情感的问答数据，其情感得分可以预先设置为0分，对于体现出积极情感的问答数据，其情感得分可以预先设置为1分，对于体现出中性情感的问答数据，其情感得分可以预先设置为0.5分，故将至少一对问答数据的情感得分取平均值后，所得到的人机交互满意度在0～1数值范围内。例如，对于问答数据“您好，您是需要查询个人账户的余额还是公司账户的余额”和“个人账户”，体现出中性情感，故对应的情感得分为0.5分；或者，对于问答数据“请问您还需要咨询什么业务呢？”和“没有了，你们什么都帮不到”，体现出消极情感，故对应的情感得分为0分；或者，对于问答数据“请问您对我们的服务有什么建议吗？”和“没有，我很满意”，体现出积极情感，故对应的情感得分为1分，其他应用场景中，可以以此类推，在此不再一一举例。在一个具体的实施场景中，可以采用情绪识别模型对问答数据进行情感分类，以区分问答数据所体现的情感为消极情感、中性情感、积极情感中的任一种，具体地，可以采用LSTM(Long Short-Term Memory，长短期记忆网络)等进行训练，得到情绪识别模型，在此不再赘述。
上述步骤S121、步骤S122和步骤S123可以同时执行，也可以按照先后顺序执行，例如，按照步骤S121、步骤S122、步骤S123的顺序执行，或者，按照步骤S121、步骤S123、步骤S122的顺序执行，或者，按照步骤S122、步骤S121、步骤S123的顺序执行，其他顺序可以以此列推，在此不再一一举例。
步骤S124：利用人机交互系统的用户意图理解度、关键信息获取度、人机交互满意度，确定交互得分。
在一个实施场景中，用户意图理解度、关键信息获取度和人机交互满意度分别对应预设有第一权重、第二权重和第三权重，故可以利用第一权重、第二权重和第三权重分别对用户意图理解度、关键信息获取度和人机交互满意度进行加权处理，得到交互得分，例如，第一权重、第二权重、第三权重可以分别预设为0.3、0.3、0.4，或者，0.3、0.4、0.3等等，在此不做限定。
在另一个实施场景中，还可以获取标注有交互得分的样本交互数据，并确定样本交互数据的用户意图理解度、关键信息获取度和人机交互满意度，按照预设交互得分模型，对样本交互数据标注的交互得分和样本交互数据的用户意图理解度、关键信息获取度和人机交互满意度进行拟合，从而得到用户意图理解度的第一权重、关键信息获取度的第二权重和人机交互满意度的第三权重，从而能够根据预先标注交互得分的样本交互数据，拟合得到与用户意图理解度对应的第一权重、与关键信息获取度对应的第二权重、与人机交互满意度对应的第三权重，进而能够提高上述权重的准确性，从而在利用上述权重分别对用户意图理解度、关键信息获取度和人机交互满意度进行加权处理时，能够提高得到的交互得分的准确性。在一个具体的实施场景中，预设交互得分模型即为加权处理的函数模型，例如，对于加权求和处理而言，预设交互得分模型可以表示为：
St＝w1SI+w2Stoken+w3Semotion……(6)
上述公式(6)中，St,SI,Stoken,Semotion分别表示交互得分、用户意图理解度、关键信息获取度、人机交互满意度，w1,w2,w3分别表示第一权重、第二权重、第三权重。
区别于前述实施例，人机交互数据中至少包括一对问答数据，并利用至少一对问答数据之间的互信息，确定人机交互系统的用户意图理解度，利用至少一对问答数据之间的关键语义，确定人机交互系统的关键信息获取度，利用至少一对问答数据的情感得分，确定人机交互系统的人机交互满意度，从而利用人机交互系统的用户意图理解度、关键信息获取度和人机交互满意度，确定交互得分，进而能够全面地对人机交互系统的交互层面进行评分，故能够提高交互得分的准确性。
请参阅图3，图3是图1中步骤S13一实施例的流程示意图。具体地，图3是利用人机交互数据确定人机交互系统的语义得分一实施例的流程示意图。人机交互系统的系统配置具体可以包括知识库和语义识别模型，知识库包括至少一个知识点和与知识点对应的问答数据，具体可以参阅前述实施例，在此不再赘述。通过如下步骤，可以确定人机交互系统的语义得分：
步骤S131：分别利用每一知识点对应的问答数据的实际数量，确定每一知识点对应的问答数据的理论数量。
具体地，可以获取上一次执行利用系统配置，确定人机交互系统的语义得分的步骤时，所确定的每一知识点对应的问答数据的第一理论数量，在一个具体的实施场景中，当本次执行利用系统配置，确定人机交互系统的语义得分的步骤为首次执行时，可以预先设置每一知识点对应的问答数据的初始理论数量，例如，对于第i个知识点，可以预先设置其初始理论数量为
Figure BDA0002423954550000103
，在此基础上，再利用每一知识点对应的问答数据的实际数量占知识库的比例，确定每一知识点对应的问答数据的第二理论数量，在一个具体的实施场景中，实际数量占知识库的比例与第二理论数量之间存在一预设映射关系，例如，0％～5％的比例，对应的第二理论数量为10，5％～20％的比例，对应的第二理论数量为30，20％～40％的比例，对应的第二理论数量为40，40％～60％的比例，对应的第二理论数量为50，60％～100％的比例，对应的第二理论数量为50，具体可以根据实际情况进行设置，在此不做限定。在确定第一理论数量和第二理论数量的基础上，可以利用第一理论数量和第二理论数量，确定每一知识点的理论数量，在一个具体的实施场景中，可以预先设置第一理论数量和第二理论数量的权重，再利用预先设置的权重分别对第一理论数量和第二理论数量进行加权处理，从而得到每一知识点对应的问答数据的理论数量。具体地，可以表示为：
Figure BDA0002423954550000101
上述公式(7)中，
Figure BDA0002423954550000102
表示第i个知识点对应的问答数据的理论数量，
Figure BDA0002423954550000111
表示第一理论数量，
Figure BDA0002423954550000112
表示第二理论数量，α和(1-α)分别表示第一理论数量和第二理论数量的权重。在一个具体的实施场景中，α可以设置为0.9，此外，α还可以设置为0.8、0.85等等，在此不做限定。
步骤S132：利用每一知识点的实际数量和理论数量，确定每一知识点的数据丰富度。
在一个实施场景中，若实际数量小于理论数量，则将知识点的数据丰富度确定为实际数量与理论数量的比值，若实际数量不小于理论数量，则将知识点的数据丰富度确定为预设数值(例如，1)。具体地，可以表示为：
Figure BDA0002423954550000113
上述公式(8)中，
Figure BDA0002423954550000114
表示第i个知识点对应的数据丰富度，Numi表示第i个知识点对应的问答数据的实际数量，
Figure BDA0002423954550000115
表示第i个知识点对应的问答数据的理论数量。
步骤S133：利用语义识别模型对每一知识点对应的问答数据进行语义识别，得到每一知识点的识别准确度。
在一个实施场景中，可以预先设置一测试数据集，测试数据集中包括知识库中各知识点，且各知识点包括标注有真实语义结果的问答数据，从而可以利用语义识别模型对测试数据集中每一知识点对应的问答数据进行语义识别，得到每一知识点的识别准确度，即将语义识别模型得到的预测语义结果与标注的真实语义结果进行比较，若两者相同，则表示识别准确，否则表示识别错误，从而对每一知识点对应的所有问答数据的识别结果进行统计，可以得到每一知识点的识别准确度。
在一个实施场景中，上述步骤S133可以和上述步骤S131、步骤S132同时执行。或者，上述步骤S131～步骤S133还可以按照先后顺序执行，例如，先执行步骤S131、步骤S132，再执行步骤S133；或者，先执行步骤S133，再执行步骤S131、步骤S132，在此不做限定。
步骤S134：统计每一知识点的数据丰富度和识别准确度，得到语义得分。
具体地，可以将每一知识点的数据丰富度和识别准确度进行加权处理，得到每一知识点的加权处理结果，并将知识库中所有知识点的加权处理结果之和与知识库中知识点总数的比值，作为语义得分。在一个具体的实施场景中，可以表示为：
Figure BDA0002423954550000121
上述公式(9)中，St表示语义得分，
Figure BDA0002423954550000122
表示第i个知识点的识别准确度，
Figure BDA0002423954550000123
表示第i个知识点的数据丰富度，ξ和(1-ξ)分别表示识别准确度和数据丰富度的权重，n表示知识库中知识点总数。具体地，ξ可以预先设置为85％，此外，ξ还可以预先设置为90％、95％等等，在此不做限定。
区别于前述实施例，通过利用每一知识点对应的问答数据的实际数量，确定每一知识点对应的问答数据的理论数量，并利用每一知识点的实际数量和理论数量，确定每一知识点的数据丰富度，以及利用语义识别模型对每一知识点对应的问答数据进行语义识别得到的识别准确度，从而统计每一知识点的数据丰富度和识别准确度，得到语义得分，进而能够全面地对人机交互系统的语义层面进行评分，故能够提高语义得分的准确性。
请参阅图4，图4是从人机交互数据中筛选与语义相关的第一数据以及利用第一数据优化系统配置一实施例的流程示意图。具体地，人机交互数据包括至少一对问答数据及其语义识别结果、语义识别置信度，且语义识别置信度表示语义识别结果的可信程度，语义识别置信度越高，语义识别结果的可信程度越高。具体可以通过如下步骤进行语义层面优化：
步骤S41：将语义识别置信度在第一置信度范围、第二置信度范围、第三置信度范围内的问答数据分别作为拒识数据、低置信度数据、高置信度数据。
第一置信度范围的任一数值小于第二置信度范围的任一数值，第二置信度范围的任一数值小于第三置信度范围的任一数值。例如，可以认为语义识别置信度在第一置信度范围(如，[0,0.5))之间的问答数据其语义识别结果是不可信的，可以将其作为拒识数据；可以将语义识别置信度在第二置信度范围(如，[0.5,0.8))之间的问答数据其语义识别结果不够好，可以将其作为低置信度数据；还可以认为语义识别置信度在第三置信度范围(如，[0.8,1.0))之间的问答数据其语义识别结果较好，可以将其作为高置信度数据，上述表示数值范围的数学表示中，‘[’和‘]’均表示包括端点值，‘(’和‘)’均表示不包括端点值。在其他实施场景中，第一置信度范围、第二置信度范围、第三置信度范围还可以根据具体应用而进行设置，在此不做限定。
步骤S42：对拒识数据进行聚类处理，并基于聚类结果得到新的知识点及其对应的问答数据，将新的知识点及其对应的问答数据添加至知识库。
在一个实施场景中，可以采用Chameleon聚类处理方式对拒识数据进行聚类处理，Chameleon聚类处理方式最开始时将所有数据点本身作为簇，然后找出距离最近的两个簇，并进行合并处理，不断重复上述步骤，直到到达预设的簇的个数。具体地，可以采用K-最近邻图的方式构建一稀疏图，其中，图中每一个顶点代表一个数据对象，如果一个数据对象是另一个数据对象的K个最相似的对象之一，那么这两个顶点之间就存在一条边，这些边加权后反映对象间的相似度。然后，使用图划分方式，将稀疏图划分为大小相似的两个子图，使得分区的边的总权重最小，再将分开的子图重新划分，直至子图的节点达到相应的标准。最后，基于子簇的相似度并结合每个簇的互联性和邻近性，反复地合并子簇。合并簇通过计算簇之间的相似度(如，平均余弦相似度)来进行合并，例如，假设簇i和簇j分别表示为Ci＝{qi,1,qi,2,qi,3,…,qi,m}，Cj＝{qj,1,qj,2,qj,3,…,qj,n}，则两个簇的相似度可以表示为：
Figure BDA0002423954550000131
上述公式(10)中，S(qi,t,qj,k)表示簇i的第t个语料和簇j的第k个语料的相似度，m,n分别表示簇i和簇j包含的语料的数量。
在聚类处理之后，可以将聚类得到的簇作为新的知识点，并将簇内的语料作为知识点对应的问答数据，并将新的知识点及其对应的问答数据添加至知识库，以实现对知识库中知识点的更新。
步骤S43：获取与知识库中待扩充知识点对应的问答数据，若低置信度数据与获取的问答数据满足第一预设相似度条件，则将低置信度数据作为与待扩充知识点对应的问答数据，以对知识库进行更新。
待扩充知识点是从至少一个知识点中选择得到的，例如，选择知识库中的“业务A”作为待扩充知识点，或者，还可以选择知识库中的“业务A”和“业务B”作为待扩充知识点，在此不做限定。以待扩充知识点是知识点“业务A”为例，则可以获取与知识点“业务A”对应的问答数据：问答数据01“办理业务A需要材料？”和“办理业务A需要准备身份证、户口本”、问答数据02“办理业务A需要现场办理吗？”，其他实施场景中，可以以此类推，在此不再一一举例。
第一预设相似度条件可以包括：低置信度数据与获取的问答数据的相似度得分在预设相似度数值范围内，预设相似度数值范围可以根据实际情况进行设置，例如，可以设置为0至0.5，或者设置为0.2至0.6，在此不做限定。若满足第一预设相似度条件，则可以认为知识库中不包含与低置信度数据类似的问答数据，则可以将低置信度数据作为与待扩充知识点对应的问答数据，以对知识库进行更新；反之，若不满足第一预设相似度条件，则可以认为知识库中已经包含与低置信度数据类似的问答数据。仍以待扩充知识点是知识点“业务A”为例，低置信度数据包括：问答数据“现场受理业务A的时间窗”和“可以在工作日八点至十七点点之间现场办理业务A”，在低置信度数据与待扩充知识点“业务A”的问答数据满足第一预设相似度条件的情况下，可以将问答数据“现场受理业务A的时间窗”和“可以在工作日八点至十七点点之间现场办理业务A”补充为待扩充知识点“业务A”对应的问答数据，以对知识库进行更新。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，可以采用预先训练的度量模型进行相似度检测，度量模型可以基于BERT(Bidirectional Encoder Representations from Transformers，基于Transformer的双向编码器表征)模型进行设计，从而可以获取中文的BERT的预训练模型，再在领域数据基础上进行微调。具体地，可以在输入层，进行数据集构建，对于每一数据Query，搜索其正样本数据Query+和负样本数据Query-，从而构建数据集(Query,Query+,Query-)，再通过词嵌入层将输入变换为向量表示，中间层采用至少一层(例如，六层)的BERT模型，最后采用最大池化层获取最终向量表示，并采用预设损失函数(例如，交叉熵损失函数)计算损失值，并利用损失值，对度量模型的参数进行调整，使得Query的语义表示和其正样本Query+更相似，和其负样本Query-更不同。
步骤S44：利用高置信度数据及其语义识别结果对语义识别模型进行再训练。
具体地，可以将高置信度数据的语义识别结果作为其真实语义结果，并利用语义识别模型对高置信度数据进行语义识别，得到预测语义结果，利用真实语义结果和预测语义结果，确定语义识别模型的损失值，并利用损失值，对语义识别模型的参数进行调整，从而完成对语义识别模型的再训练。
在一个实施场景中，还可以获取人机交互过程中，被打标签的候选数据，并利用高置信度数据和候选数据对语义识别模型进行再训练，具体可以参阅前述过程，在此不再赘述。
在一个实施场景中，可以基于拒识数据、低置信度数据、高置信度数据，执行上述步骤S42～步骤S44中的至少一者，在此不做限定。
在一个实施场景中，当执行上述步骤S42～步骤S44的所有步骤时，上述步骤S42～步骤S44可以同时执行，也可以先后执行，例如，按照步骤S42、步骤S43、步骤S44的先后顺序执行，或者，按照步骤S43、步骤S42、步骤S44的先后顺序执行，在此不做限定。当执行上述步骤S42～步骤S44中的任意两个步骤时，可以以此类推，在此不再一一举例。
区别于前述实施例，语义识别置信度在第一置信度范围、第二置信度范围、第三置信度范围内的问答数据分别作为拒识数据、低置信度数据、高置信度数据，并执行利用拒识数据更新知识库中的知识点、利用低置信度数据对待扩充知识点的问答数据进行更新、利用高置信度数据对语义识别模型进行再训练中的至少一者，从而能够充分利用回流数据在语义层面对人机交互系统进行优化。
请参阅图5，图5是从人机交互数据中筛选与交互相关的第二数据以及利用第二数据优化系统配置一实施例的流程示意图。具体地，人机交互系统的系统配置可以包括情绪识别模型，具体可以通过如下步骤对系统配置进行优化：
步骤S51：利用情绪识别模型对情绪数据进行识别，确定情绪数据的数据类型，其中，数据类型包括有业务意图情绪数据、无业务意图情绪数据；若确定的有业务意图情绪数据满足预设数量条件，则输出用于提示进行意图分析的提示信息。
情绪识别模型可以采用BERT模型进行设计，BERT模型具体可以参阅前述实施例中的相关步骤，在此不再赘述。
情绪数据具体可以从人机交互数据中筛选包含用户情绪的问答数据而得到。有业务意图情绪数据为包含业务意图和情绪的数据，例如，“你倒是说说清楚啊，怎么修改短信服务啊！”，在此不再一一举例，无业务意图情绪数据为不包含业务意图但包含情绪的数据，例如，“你们这个服务真是垃圾！”，在此不再一一举例。
当有业务意图情绪数据满足预设数量条件时，可以认为人机交互系统的交互层面可能存在漏洞，故可以输出用于提示进行意图分析的提示信息。在一个实施场景中，预设数量条件可以包括：有业务意图情绪数据的数量大于预设数量阈值(例如，20、30等)。
步骤S52：获取对情绪数据标注的数据类别，并利用标注的情绪数据对情绪识别模型进行再训练。
具体地，可以对情绪数据重新标注真实情绪结果，并利用再训练前的情绪识别模型对重新标注的情绪数据进行情绪识别，得到预测情绪结果，再利用真实情绪结果和预测情绪结果，确定情绪识别模型的损失值，利用损失值，调整情绪识别模型的参数，以完成对情绪识别模型的再训练。
步骤S53：若转人工数据属于用户沟通不满转人工的数据，则将转人工数据作为第一数据，并执行利用第一数据优化系统配置的步骤。
转人工数据可以从人机交互数据中筛选转人工处理而得到，转人工数据具体可以包括第一轮直接转人工的数据、沟通不满转人工的数据、咨询到需要转人工办理自动转人工的数据。例如，对于人机交互数据中的第一轮问答数据“欢迎咨询XX客服，请问您是要咨询A业务、B业务、C业务，还是转人工受理”和“转人工受理”，即属于第一轮直接转人工的数据；或者，对于人机交互数据中的问答数据“请问您还有什么要咨询的吗？”和“每次都答非所问，我要人工受理！”，即属于沟通不满转人工的数据；或者，对于人机交互数据中的问答数据“请问您是要办理D业务吗，若是即将为您转人工受理”和“是的，请转人工”，即属于咨询到需要转人工办理自动转人工的数据，其他应用场景，可以以此类推，在此不再一一举例。对于沟通不满转人工的数据，可以将其作为第一数据，并执行利用第一数据优化系统配置的步骤，具体可以参阅前述实施例中的相关步骤，在此不再赘述。
步骤S54：若同一组的语义重复数据之间满足第二预设相似度条件，则将语义重复数据输出至用户以校验语义重复数据的语义识别结果是否有误，并利用语义识别结果有误的语义重复数据对语义识别模型的参数进行调整。
语义重复数据可以从人机交互数据中筛选语义识别结果重复的问答数据而得到，每组语义重复数据包括至少两个语义识别结果重复的问答数据。例如，人机交互数据中包含问答数据“您好，您是需要查询个人账户的余额还是公司账户的余额”和“个人账户的余额我刚刚已经查过了，我现在要查询公司账户的余额”，以及问答数据“您好，您需要查询个人账户的余额吗？”和“是的，我先不查公司账户的余额，我要先查一下个人账户的余额”。在一个具体地实施场景中，两者的语义识别结果同为“个人账户余额查询”，则可以对这组语义重复数据进行相似度检测，具体可以采用前述实施例中的度量模型进行检测，若满足第二预设相似度条件，则可以认为这组语义重复数据的语义识别结果较大概率存在错误，故可以输出至用户以校验语义重复数据的语义识别结果是否有误，并利用语义识别结果有误的语义重复数据对语义识别模型的参数进行调整，具体可以参阅前述对语义识别模型进行训练的步骤，在此不再赘述。第二预设相似度条件可以包括：语义重复数据之间的相似度得分小于预设得分阈值。在另一个具体的实施场景中，当两者的语义识别同为“公司账户余额查询”时，可以参阅前述步骤，在此不再赘述。
在一个实施场景中，可以基于情绪数据、转人工数据、语义重复数据执行上述步骤S51～步骤S54中的至少一者，在此不做限定。
在一个实施场景中，当执行上述步骤S51～步骤S54的所有步骤时，上述步骤S51～步骤S54可以同时执行，也可以先后执行，例如，按照步骤S51、步骤S52、步骤S53、步骤S54的先后顺序执行，或者，按照步骤S53、步骤S51、步骤S52、步骤S54的先后顺序执行，在此不做限定。当执行上述步骤S51～步骤S54中的任意两个步骤，或任意三个步骤时，可以以此类推，在此不再一一举例。
区别于前述实施例，通过执行利用有业务意图情绪数据进行意图分析提示、利用情绪数据对情绪识别模型进行再训练、将属于沟通不满转人工的数据作为第一数据并进行系统配置的优化、利用满足第二相似度条件的语义重复数据进语义识别结果校验，并利用语义识别结果有误的语义重复数据进行语义识别模型的优化中的至少一者，能够充分利用回流数据在交互层面和语义层面对人机交互系统进行优化。
请参阅图6，图6是本申请人机交互优化装置60一实施例的框架示意图。人机交互优化装置60包括相互耦接的存储器61和处理器62，存储器61存储有程序指令，处理器62用于执行程序指令以实现上述任一人机交互优化方法实施例中的步骤。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一人机交互优化方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由多个集成电路芯片共同实现。
本实施例中，处理器62用于获取人机交互系统在当前的系统配置下生成的人机交互数据；处理器62用于利用人机交互数据，确定人机交互系统的交互得分；处理器62用于利用系统配置，确定人机交互系统的语义得分；处理器62用于基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化。
上述方案，获取人机交互系统在当前的系统配置下生成的人机交互数据，并利用人机交互数据，确定人机交互系统的交互得分，以及利用系统配置，确定人机交互系统的语义得分，从而基于交互得分和语义得分，执行利用人机交互数据对人机交互系统的系统配置进行优化，进而能够无需人工参与，自动地基于人机交互系统在交互层面的交互得分以及在语义层面的语义得分触发优化操作，故能够及时且低成本地进行人机交互优化。
在一些实施例中，处理器62用于在语义得分满足预设语义优化条件时，从人机交互数据中筛选与语义相关的第一数据，并利用第一数据优化系统配置，处理器62用于在交互得分满足预设交互优化条件时，从人机交互数据中筛选与交互相关的第二数据，并利用第二数据优化系统配置。
区别于前述实施例，在语义得分满足预设语义优化条件时，从人机交互数据中筛选与语义相关的第一数据，并利用第一数据优化系统配置，在交互得分满足预设交互优化条件时，从人机交互数据中筛选与交互相关的第二数据，并利用第二数据优化系统配置，能够基于语义得分和交互得分，分别对人机交互系统在语义层面和交互层面进行优化，从而能够有利于提高优化效率。
在一些实施例中，人机交互数据包括至少一对问答数据及其语义识别结果、语义识别置信度，第一数据划分为拒识数据、低置信度数据、高置信度数据的至少一者，处理器62用于将语义识别置信度在第一置信度范围、第二置信度范围、第三置信度范围内的问答数据分别作为拒识数据、低置信度数据、高置信度数据；其中，第一置信度范围的任一数值小于第二置信度范围的任一数值，第二置信度范围的任一数值小于第三置信度范围的任一数值。
区别于前述实施例，将人机交互数据中的至少一对问答数据按照语义识别置信度划分为拒识数据、低置信度数据、高置信度数据的至少一者，能够有利于充分利用回流数据，进而能够提升人机交互优化效果。
在一些实施例中，人机交互系统的系统配置包括知识库、语义识别模型中的至少一者，语义识别模型用于得到问答数据的语义识别结果和语义识别置信度；知识库包括至少一个知识点和与知识点对应的问答数据，处理器62用于执行以下至少一者：对拒识数据进行聚类处理，并基于聚类结果得到新的知识点及其对应的问答数据，将新的知识点及其对应的问答数据添加至知识库；获取与知识库中待扩充知识点对应的问答数据，若低置信度数据与获取的问答数据满足第一预设相似度条件，则将低置信度数据作为与待扩充知识点对应的问答数据，以对知识库进行更新，其中，待扩充知识点是从至少一个知识点中选择得到的；利用高置信度数据及其语义识别结果对语义识别模型进行再训练。
区别于前述实施例，执行利用拒识数据更新知识库中的知识点、利用低置信度数据对待扩充知识点的问答数据进行更新、利用高置信度数据对语义识别模型进行再训练中的至少一者，从而能够充分利用回流数据在语义层面对人机交互系统进行优化。
在一些实施例中，第二数据包括情绪数据、转人工数据、语义重复数据，系统配置包括情绪识别模型，处理器62用于执行以下至少一者：利用情绪识别模型对情绪数据进行识别，确定情绪数据的数据类型，其中，数据类型包括有业务意图情绪数据、无业务意图情绪数据；若确定的有业务意图情绪数据满足预设数量条件，则输出用于提示进行意图分析的提示信息；获取对情绪数据标注的数据类别，并利用标注的情绪数据对情绪识别模型进行再训练；若转人工数据属于用户沟通不满转人工的数据，则将转人工数据作为第一数据，并执行利用第一数据优化系统配置的步骤；若同一组的语义重复数据之间满足第二预设相似度条件，则将语义重复数据输出至用户以校验语义重复数据的语义识别结果是否有误，并利用语义识别结果有误的语义重复数据对语义识别模型的参数进行调整。
区别于前述实施例，通过执行利用有业务意图情绪数据进行意图分析提示、利用情绪数据对情绪识别模型进行再训练、将属于沟通不满转人工的数据作为第一数据并进行系统配置的优化、利用满足第二相似度条件的语义重复数据进语义识别结果校验，并利用语义识别结果有误的语义重复数据进行语义识别模型的优化中的至少一者，能够充分利用回流数据在交互层面和语义层面对人机交互系统进行优化。
在一些实施例中，人机交互数据包括至少一对问答数据，处理器62用于利用至少一对问答数据之间的互信息，确定人机交互系统的用户意图理解度；利用至少一对问答数据之间的关键语义，确定人机交互系统的关键信息获取度；利用至少一对问答数据的情感得分，确定人机交互系统的人机交互满意度；利用人机交互系统的用户意图理解度、关键信息获取度、人机交互满意度，确定交互得分。
区别于前述实施例，人机交互数据中至少包括一对问答数据，并利用至少一对问答数据之间的互信息，确定人机交互系统的用户意图理解度，利用至少一对问答数据之间的关键语义，确定人机交互系统的关键信息获取度，利用至少一对问答数据的情感得分，确定人机交互系统的人机交互满意度，从而利用人机交互系统的用户意图理解度、关键信息获取度和人机交互满意度，确定交互得分，进而能够全面地对人机交互系统的交互层面进行评分，故能够提高交互得分的准确性。
在一些实施例中，处理器62用于获取标注有交互得分的样本交互数据，并确定样本交互数据的用户意图理解度、关键信息获取度、人机交互满意度，处理器62用于按照预设交互得分模型，对样本交互数据标注的交互得分和样本交互数据的用户意图理解度、关键信息获取度、人机交互满意度进行拟合，得到用户意图理解度的第一权重、关键信息获取度的第二权重、人机交互满意度的第三权重，处理器62用于利用第一权重、第二权重、第三权重分别对用户意图理解度、关键信息获取度、人机交互满意度进行加权处理，得到交互得分。
区别于前述实施例，通过标注有交互得分的样本交互数据，及其用户意图理解度、关键信息获取度、人机交互满意度，并按照预设交互得分模型，对样本交互数据标注的交互得分和样本交互数据的用户意图理解度、关键信息获取度、人机交互满意度进行拟合，得到用户意图理解度的第一权重、关键信息获取度的第二权重、人机交互满意度的第三权重，从而利用第一权重、第二权重、第三权重分别对用户意图理解度、关键信息获取度、人机交互满意度进行加权处理，得到交互得分，能够提高交互得分的准确性。
在一些实施例中，人机交互系统的系统配置包括知识库和语义识别模型，知识库包括至少一个知识点和与知识点对应的问答数据，处理器62用于分别利用每一知识点对应的问答数据的实际数量，确定每一知识点对应的问答数据的理论数量；处理器62用于利用每一知识点的实际数量和理论数量，确定每一知识点的数据丰富度；以及，处理器62用于利用语义识别模型对每一知识点对应的问答数据进行语义识别，得到每一知识点的识别准确度；处理器62用于统计每一知识点的数据丰富度和识别准确度，得到语义得分。
区别于前述实施例，通过利用每一知识点对应的问答数据的实际数量，确定每一知识点对应的问答数据的理论数量，并利用每一知识点的实际数量和理论数量，确定每一知识点的数据丰富度，以及利用语义识别模型对每一知识点对应的问答数据进行语义识别得到的识别准确度，从而统计每一知识点的数据丰富度和识别准确度，得到语义得分，进而能够全面地对人机交互系统的语义层面进行评分，故能够提高语义得分的准确性。
在一些实施例中，处理器62用于获取上一次执行利用系统配置，确定人机交互系统的语义得分的步骤时，确定的每一知识点对应的问答数据的第一理论数量，处理器62用于利用每一知识点对应的问答数据的实际数量占知识库的比例，确定每一知识点对应的问答数据的第二理论数量，处理器62用于利用第一理论数量和第二理论数量，确定每一知识点的理论数量。
区别于前述实施例，通过获取上一次执行利用系统配置，确定人机交互系统的语义得分的步骤时，确定的每一知识点对应的问答数据的第一理论数量，并利用每一知识点对应的问答数据的实际数量占知识库的比例，确定每一知识点对应的问答数据的第二理论数量，从而利用第一理论数量和第二理论数量，确定每一知识点的理论数量，能够在人机交互系统闭环更新过程中，更新每一知识点的理论数据，从而能够有利于提升知识库的数据丰富度的准确性，进而能够有利于提升语义得分的准确性。
在一些实施例中，处理器62用于在实际数量不小于理论数量时，将知识点的数据丰富度确定为预设数值，处理器62用于在实际数量小于理论数量，则将知识点的数据丰富度确定为实际数量与理论数量的比值，处理器62用于将每一知识点的数据丰富度和识别准确度进行加权处理，得到每一知识点的加权处理结果，处理器62用于将知识库中所有知识点的加权处理结果之和与知识库中的知识点总数的比值，作为语义得分。
区别于前述实施例，在实际数量不小于理论数量时，将知识点的数据丰富度确定为预设数值，在实际数量小于理论数量，则将知识点的数据丰富度确定为实际数量与理论数量的比值，能够准确地描述知识库的数据丰富度，将每一知识点的数据丰富度和识别准确度进行加权处理，得到每一知识点的加权处理结果，并将知识库中所有知识点的加权处理结果之和与知识库中的知识点总数的比值，作为语义得分，能够从知识库的数据丰富度和语义识别模型的语义识别准确度两个维度评价人机交互系统的语义得分，从而能够有利于提升语义得分的准确性。
请参阅图7，图7是本申请存储装置70一实施例的框架示意图。存储装置70存储有能够被处理器运行的程序指令71，程序指令71用于实现上述任一人机交互优化方法实施例中的步骤。
上述方案，能够及时且低成本地进行人机交互优化。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种人机交互优化方法，其特征在于，包括：
获取人机交互系统在当前的系统配置下生成的人机交互数据；
利用所述人机交互数据，确定所述人机交互系统的交互得分；以及，
利用所述系统配置，确定所述人机交互系统的语义得分；
基于所述交互得分和所述语义得分，执行利用所述人机交互数据对所述人机交互系统的系统配置进行优化。
2.根据权利要求1所述的人机交互优化方法，其特征在于，所述基于所述交互得分和所述语义得分，执行利用所述人机交互数据对所述人机交互系统的系统配置进行优化包括：
若所述语义得分满足预设语义优化条件，则从所述人机交互数据中筛选与语义相关的第一数据，并利用所述第一数据优化所述系统配置；
和/或，若所述交互得分满足所述预设交互优化条件，则从所述人机交互数据中筛选与交互相关的第二数据，并利用所述第二数据优化所述系统配置。
3.根据权利要求2所述的人机交互优化方法，其特征在于，所述人机交互数据包括至少一对问答数据及其语义识别结果、语义识别置信度，所述第一数据划分为拒识数据、低置信度数据、高置信度数据的至少一者；
所述从所述人机交互数据中筛选与语义相关的第一数据包括：
将所述语义识别置信度在第一置信度范围、第二置信度范围、第三置信度范围内的问答数据分别作为所述拒识数据、所述低置信度数据、所述高置信度数据；
其中，所述第一置信度范围的任一数值小于所述第二置信度范围的任一数值，所述第二置信度范围的任一数值小于所述第三置信度范围的任一数值。
4.根据权利要求3所述的人机交互优化方法，其特征在于，所述人机交互系统的系统配置包括知识库、语义识别模型中的至少一者，所述语义识别模型用于得到所述问答数据的所述语义识别结果和所述语义识别置信度；所述知识库包括至少一个知识点和与所述知识点对应的所述问答数据；
所述利用所述第一数据优化所述系统配置包括以下至少一者：
对所述拒识数据进行聚类处理，并基于聚类结果得到新的知识点及其对应的问答数据，将所述新的知识点及其对应的问答数据添加至所述知识库；
获取与所述知识库中待扩充知识点对应的问答数据，若所述低置信度数据与所述获取的问答数据满足第一预设相似度条件，则将所述低置信度数据作为与所述待扩充知识点对应的问答数据，以对所述知识库进行更新，其中，所述待扩充知识点是从所述至少一个知识点中选择得到的；
利用所述高置信度数据及其语义识别结果对所述语义识别模型进行再训练。
5.根据权利要求2所述的人机交互优化方法，其特征在于，所述第二数据包括情绪数据、转人工数据、语义重复数据，所述系统配置包括情绪识别模型，所述利用所述第二数据优化所述系统配置包括以下至少一者：
利用所述情绪识别模型对所述情绪数据进行识别，确定所述情绪数据的数据类型，其中，所述数据类型包括有业务意图情绪数据、无业务意图情绪数据；若确定的所述有业务意图情绪数据满足预设数量条件，则输出用于提示进行意图分析的提示信息；
获取对所述情绪数据标注的数据类别，并利用所述标注的情绪数据对所述情绪识别模型进行再训练；
若所述转人工数据属于用户沟通不满转人工的数据，则将所述转人工数据作为所述第一数据，并执行所述利用所述第一数据优化所述系统配置的步骤；
若同一组的所述语义重复数据之间满足第二预设相似度条件，则将所述语义重复数据输出至用户以校验所述语义重复数据的语义识别结果是否有误，并利用语义识别结果有误的语义重复数据对语义识别模型的参数进行调整。
6.根据权利要求1所述的人机交互优化方法，其特征在于，所述人机交互数据包括至少一对问答数据；
所述利用所述人机交互数据，确定所述人机交互系统的交互得分包括：
利用所述至少一对问答数据之间的互信息，确定所述人机交互系统的用户意图理解度；
利用所述至少一对问答数据之间的关键语义，确定所述人机交互系统的关键信息获取度；
利用所述至少一对问答数据的情感得分，确定所述人机交互系统的人机交互满意度；
利用所述人机交互系统的所述用户意图理解度、所述关键信息获取度、所述人机交互满意度，确定所述交互得分。
7.根据权利要求6所述的人机交互优化方法，其特征在于，所述利用所述人机交互系统的所述用户意图理解度、所述关键信息获取度、所述人机交互满意度，确定所述交互得分之前，所述方法还包括：
获取标注有所述交互得分的样本交互数据，并确定所述样本交互数据的所述用户意图理解度、所述关键信息获取度、所述人机交互满意度；
按照预设交互得分模型，对所述样本交互数据标注的交互得分和所述样本交互数据的所述用户意图理解度、所述关键信息获取度、所述人机交互满意度进行拟合，得到所述用户意图理解度的第一权重、所述关键信息获取度的第二权重、所述人机交互满意度的第三权重；
所述利用所述人机交互系统的所述用户意图理解度、所述关键信息获取度、所述人机交互满意度，确定所述交互得分包括：
利用所述第一权重、所述第二权重、所述第三权重分别对所述用户意图理解度、所述关键信息获取度、所述人机交互满意度进行加权处理，得到所述交互得分。
8.根据权利要求1所述的人机交互优化方法，其特征在于，所述人机交互系统的系统配置包括知识库和语义识别模型，所述知识库包括至少一个知识点和与所述知识点对应的问答数据；
所述利用所述系统配置，确定所述人机交互系统的语义得分包括：
分别利用每一所述知识点对应的问答数据的实际数量，确定每一所述知识点对应的问答数据的理论数量；
利用每一所述知识点的实际数量和理论数量，确定每一所述知识点的数据丰富度；以及，
利用所述语义识别模型对每一所述知识点对应的问答数据进行语义识别，得到每一所述知识点的识别准确度；
统计每一所述知识点的所述数据丰富度和所述识别准确度，得到所述语义得分。
9.根据权利要求8所述的人机交互优化方法，其特征在于，所述分别利用每一所述知识点对应的问答数据的实际数量，确定每一所述知识点对应的问答数据的理论数量包括：
获取上一次执行所述利用系统配置，确定人机交互系统的语义得分的步骤时，确定的每一所述知识点对应的问答数据的第一理论数量；
利用每一所述知识点对应的问答数据的实际数量占所述知识库的比例，确定每一所述知识点对应的问答数据的第二理论数量；
利用所述第一理论数量和所述第二理论数量，确定每一所述知识点的理论数量。
10.根据权利要求8所述的人机交互优化方法，其特征在于，所述利用每一所述知识点的实际数量和理论数量，确定每一所述知识点的数据丰富度包括：
若所述实际数量不小于所述理论数量，则将所述知识点的数据丰富度确定为预设数值；
若所述实际数量小于所述理论数量，则将所述知识点的数据丰富度确定为所述实际数量与所述理论数量的比值；
和/或，所述统计每一所述知识点的所述数据丰富度和所述识别准确度，得到所述语义得分包括：
将每一所述知识点的所述数据丰富度和所述识别准确度进行加权处理，得到每一所述知识点的加权处理结果；
将所述知识库中所有知识点的所述加权处理结果之和与所述知识库中的知识点总数的比值，作为所述语义得分。
11.一种人机交互优化装置，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的人机交互优化方法。
12.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至10任一项所述的人机交互优化方法。
CN202010214567.4A 2020-03-24 2020-03-24 人机交互优化方法以及相关装置 Active CN111428017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010214567.4A CN111428017B (zh) 2020-03-24 2020-03-24 人机交互优化方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010214567.4A CN111428017B (zh) 2020-03-24 2020-03-24 人机交互优化方法以及相关装置

Publications (2)

Publication Number Publication Date
CN111428017A true CN111428017A (zh) 2020-07-17
CN111428017B CN111428017B (zh) 2022-12-02

Family

ID=71549454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010214567.4A Active CN111428017B (zh) 2020-03-24 2020-03-24 人机交互优化方法以及相关装置

Country Status (1)

Country Link
CN (1) CN111428017B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017698A (zh) * 2020-10-30 2020-12-01 北京淇瑀信息科技有限公司 语音机器人采用的人工录音的优化方法、装置及电子设备
CN112509561A (zh) * 2020-12-03 2021-03-16 中国联合网络通信集团有限公司 情绪识别方法、装置、设备及计算机可读存储介质
CN112562641A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
CN112700768A (zh) * 2020-12-16 2021-04-23 科大讯飞股份有限公司 语音识别方法以及电子设备、存储装置
CN113327612A (zh) * 2021-05-27 2021-08-31 广州广电运通智能科技有限公司 基于智能点评的语音应答优化方法、系统、设备及介质
CN114724550A (zh) * 2022-06-10 2022-07-08 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN116383026A (zh) * 2023-06-05 2023-07-04 阿里巴巴（中国）有限公司 基于大模型的数据处理方法及服务器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
CN107240398A (zh) * 2017-07-04 2017-10-10 科大讯飞股份有限公司 智能语音交互方法及装置
US20180157959A1 (en) * 2016-12-01 2018-06-07 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interaction method and intelligent interaction system
CN108959627A (zh) * 2018-07-23 2018-12-07 北京光年无限科技有限公司 基于智能机器人的问答交互方法及系统
CN109036388A (zh) * 2018-07-25 2018-12-18 李智彤 一种基于对话设备的智能语音交互方法
CN110209791A (zh) * 2019-06-12 2019-09-06 百融云创科技股份有限公司 一种多轮对话智能语音交互系统及装置
US20190295533A1 (en) * 2018-01-26 2019-09-26 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interactive method and apparatus, computer device and computer readable storage medium
CN110377908A (zh) * 2019-07-19 2019-10-25 科大讯飞股份有限公司 语义理解方法、装置、设备及可读存储介质
CN110718223A (zh) * 2019-10-28 2020-01-21 百度在线网络技术（北京）有限公司 用于语音交互控制的方法、装置、设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
US20180157959A1 (en) * 2016-12-01 2018-06-07 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interaction method and intelligent interaction system
CN107240398A (zh) * 2017-07-04 2017-10-10 科大讯飞股份有限公司 智能语音交互方法及装置
US20190295533A1 (en) * 2018-01-26 2019-09-26 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interactive method and apparatus, computer device and computer readable storage medium
CN108959627A (zh) * 2018-07-23 2018-12-07 北京光年无限科技有限公司 基于智能机器人的问答交互方法及系统
CN109036388A (zh) * 2018-07-25 2018-12-18 李智彤 一种基于对话设备的智能语音交互方法
CN110209791A (zh) * 2019-06-12 2019-09-06 百融云创科技股份有限公司 一种多轮对话智能语音交互系统及装置
CN110377908A (zh) * 2019-07-19 2019-10-25 科大讯飞股份有限公司 语义理解方法、装置、设备及可读存储介质
CN110718223A (zh) * 2019-10-28 2020-01-21 百度在线网络技术（北京）有限公司 用于语音交互控制的方法、装置、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAHIRU SAMARAKOON ET AL.: "Automated question answering for customer helpdesk applications", 《2011 6TH INTERNATIONAL CONFERENCE ON INDUSTRIAL AND INFORMATION SYSTEMS》 *
陆伟等: "图书馆自动问答系统的设计与实现", 《情报工程》 *
陈永彬: "基于语义SLAM的陪护机器人场景感知技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017698A (zh) * 2020-10-30 2020-12-01 北京淇瑀信息科技有限公司 语音机器人采用的人工录音的优化方法、装置及电子设备
CN112017698B (zh) * 2020-10-30 2021-01-29 北京淇瑀信息科技有限公司 语音机器人采用的人工录音的优化方法、装置及电子设备
CN112562641A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
CN112562641B (zh) * 2020-12-02 2023-09-29 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
CN112509561A (zh) * 2020-12-03 2021-03-16 中国联合网络通信集团有限公司 情绪识别方法、装置、设备及计算机可读存储介质
CN112700768A (zh) * 2020-12-16 2021-04-23 科大讯飞股份有限公司 语音识别方法以及电子设备、存储装置
CN112700768B (zh) * 2020-12-16 2024-04-26 科大讯飞股份有限公司 语音识别方法以及电子设备、存储装置
CN113327612A (zh) * 2021-05-27 2021-08-31 广州广电运通智能科技有限公司 基于智能点评的语音应答优化方法、系统、设备及介质
CN114724550A (zh) * 2022-06-10 2022-07-08 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN114724550B (zh) * 2022-06-10 2022-09-06 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN116383026A (zh) * 2023-06-05 2023-07-04 阿里巴巴（中国）有限公司 基于大模型的数据处理方法及服务器
CN116383026B (zh) * 2023-06-05 2023-09-01 阿里巴巴（中国）有限公司 基于大模型的数据处理方法及服务器

Also Published As

Publication number Publication date
CN111428017B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN111428017B (zh) 人机交互优化方法以及相关装置
CN110377911B (zh) 对话框架下的意图识别方法和装置
CN111046132B (zh) 一种检索多轮对话的客服问答处理方法及其系统
WO2020119272A1 (zh) 风险识别模型训练方法、装置及服务器
CN110727779A (zh) 基于多模型融合的问答方法及系统
CN108304372A (zh) 实体提取方法和装置、计算机设备和存储介质
CN108509638B (zh) 一种问题提取方法及电子设备
CN111179935B (zh) 一种语音质检的方法和设备
CN108287848B (zh) 用于语义解析的方法和系统
CN112989761A (zh) 文本分类方法及装置
CN110597968A (zh) 一种回复选择方法及装置
CN111177367A (zh) 案件分类方法、分类模型训练方法及相关产品
CN111597821B (zh) 一种确定应答概率的方法及装置
CN116821372A (zh) 基于知识图谱的数据处理方法、装置、电子设备及介质
Ono et al. Lexical acquisition through implicit confirmations over multiple dialogues
CN114491023A (zh) 一种文本处理方法、装置、电子设备和存储介质
CN115905187B (zh) 一种面向云计算工程技术人员认证的智能化命题系统
CN113420136A (zh) 一种对话方法、系统、电子设备、存储介质和程序产品
CN108304568A (zh) 一种房地产公众预期大数据处理方法及系统
CN111859955A (zh) 一种基于深度学习的舆情数据分析模型
CN112463974A (zh) 知识图谱建立的方法和装置
CN115730058A (zh) 一种基于知识融合的推理问答方法
CN112989054B (zh) 一种文本处理方法和装置
WO2020091619A1 (ru) Автоматизированная оценка качества диалоговой системы в реальном времени
CN112131369A (zh) 一种业务类别确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant