CN108388926A - 语音交互满意度的确定方法及设备 - Google Patents

语音交互满意度的确定方法及设备 Download PDF

Info

Publication number
CN108388926A
CN108388926A CN201810215597.XA CN201810215597A CN108388926A CN 108388926 A CN108388926 A CN 108388926A CN 201810215597 A CN201810215597 A CN 201810215597A CN 108388926 A CN108388926 A CN 108388926A
Authority
CN
China
Prior art keywords
satisfaction
evaluation
data
objective
interactive voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810215597.XA
Other languages
English (en)
Other versions
CN108388926B (zh
Inventor
毛万东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810215597.XA priority Critical patent/CN108388926B/zh
Publication of CN108388926A publication Critical patent/CN108388926A/zh
Priority to JP2018225189A priority patent/JP6799574B2/ja
Priority to US16/295,915 priority patent/US10950234B2/en
Application granted granted Critical
Publication of CN108388926B publication Critical patent/CN108388926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明实施例提供一种语音交互满意度的确定方法及设备，该方法包括：获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。本发明实施例可以对语音交互提供真实全面的评价。

Description

语音交互满意度的确定方法及设备
技术领域
本发明实施例涉及语音交互领域，尤其涉及一种语音交互满意度的确定方法及设备。
背景技术
随着人工智能技术的发展，智能语音交互产品的研发和使用备受关注。其中，智能语音交互是基于语音输入的一种交互模式，用户可以通过语音来输入自己的请求，该产品可以根据请求的意图，响应相应的内容。
在语音交互领域，为了更好的制造以及升级换代智能语音交互产品，对该产品的语音交互的满意度做出评估十分重要，这是因为语音交互的满意度评估能够反馈出该产品的语音交互功能是否可以得到用户的认可。在现有技术中，满意度评估主要为根据用户单次的请求的意图以及终端响应的内容为评估处理数据，依赖于一些文本处理技术做意图和内容的相关性计算，来标注该响应对应的用户满意度。
然而，仅仅通过终端返回的内容和用户的意图的相关性来获取用户满意度，是无法获取用户对语音交互的真实全面的评价的，因此现有的评估方式难以用于评价语音交互的满意度。
发明内容
本发明实施例提供一种语音交互满意度的确定方法及设备，可以对语音交互提供真实全面的评价。
第一方面，本发明实施例提供一种语音交互满意度的确定方法，包括：
获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；
对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；
以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
在一种可能的设计中，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；
所述语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息。
在一种可能的设计中，所述对所述客观数据进行评估处理，得到客观评估，包括：
根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估；
根据所述响应延迟和标准延迟，获取第二客观评估；
根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估；
所述以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度，包括：
以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
在一种可能的设计中，所述对所述主观数据进行评估处理，得到主观评估，包括：
对所述文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性；
根据所述文本信息对应的内容属性，得到主观评估。
在一种可能的设计中，若所述内容属性为主题属性，所述根据所述文本信息对应的内容属性，得到主观评估，包括：
获取所述文本信息对应的主题类型；
若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值。
在一种可能的设计中，若所述文本类型为情感类型，所述根据所述文本信息对应的文本类型，得到主观评估，包括：
提取所述文本信息中的情感关键字；
根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
根据所述情绪类型与预设评估的对应关系，获取主观评估。
在一种可能的设计中，所述获取语音交互特征，包括：
获取第一日志数据，所述第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值；
在所述第一日志数据中，获取用户的两次相邻的语音输入各自对应的主题；
根据两次相邻的语音输入各自对应的主题，获取所述语音交互特征。
在一种可能的设计中，所述以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度之前，所述方法还包括：
获取训练样本集，所述训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度，其中，所述第一样本评估是对客观的样本数据进行评估处理得到的，所述第二样本评估是对主观的样本数据进行评估处理得到的，所述客观的样本数据与所述主观的样本数据为针对同一主题的数据；
根据所述训练样本集，通过迭代训练得到所述满意度评价模型。
第二方面，本发明实施例提供一种语音交互满意度的确定设备，包括：
获取模块，用于获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；
处理模块，用于对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；
确定模块，用于以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
在一种可能的设计中，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；
所述语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息；或者，响应内容播放完成后用户输入的文本信息。
在一种可能的设计中，所述处理模块具体用于：
根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估；
根据所述响应延迟和标准延迟，获取第二客观评估；
根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估；
所述确定模块具体用于：以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
在一种可能的设计中，所述处理模块具体用于：
对所述文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性；
根据所述文本信息对应的内容属性，得到主观评估。
在一种可能的设计中，若所述内容属性为主题属性，所述处理模块具体用于：
获取所述文本信息对应的主题类型；
若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值。
在一种可能的设计中，若所述文本类型为情感类型，所述处理模块具体用于：
提取所述文本信息中的情感关键字；
根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
根据所述情绪类型与预设评估的对应关系，获取主观评估。
在一种可能的设计中，所述获取模块具体用于：
获取第一日志数据，所述第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值；
在所述第一日志数据中，获取用户的两次相邻的语音输入各自对应的主题；
根据两次相邻的语音输入各自对应的主题，获取所述语音交互特征。
在一种可能的设计中，还包括：训练模块，用于在以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度之前，
获取训练样本集，所述训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度，其中，所述第一样本评估是对客观的样本数据进行评估处理得到的，所述第二样本评估是对主观的样本数据进行评估处理得到的，所述客观的样本数据与所述主观的样本数据为针对同一主题的数据；
根据所述训练样本集，通过迭代训练得到所述满意度评价模型。
第三方面，本发明实施例提供一种语音交互满意度的确定设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面或第一方面各种可能的设计所述的语音交互满意度的确定方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面或第一方面各种可能的设计所述的语音交互满意度的确定方法。
本发明实施例提供的语音交互满意度的确定方法及设备，该方法通过获取语音交互特征，语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，客观数据与主观数据为针对同一主题的数据，通过获取同一主题的主观数据和客观数据，从而可以真实全面的获取进行满意度评估的数据，保证了评估的数据的真实和全面，从而使得满意度更加全面和接近用户的真实评价；通过对客观数据进行评估处理，得到客观评估，以及对主观数据进行评估处理，得到主观评估；以客观评估和主观评估作为满意度评价模型的输入，得到满意度评价模型输出的语音交互的满意度，通过满意度评价模型的方式来获取满意度，可以快速准确的获取满意度，从而使得本方法可以适用于语音交互量比较大的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的语音交互满意度的确定系统的架构示意图；
图2为本发明实施例提供的满意度评价模型的获取示意图；
图3为本发明实施例提供的语音交互满意度的确定方法的流程图一；
图4为本发明实施例提供的日志数据的示意图；
图5为本发明实施例提供的语音交互满意度的确定方法的流程图二；
图6为本发明实施例提供的获取主观评估的流程图；
图7为本发明实施例提供的语音交互满意度的确定设备的结构示意图；
图8为本发明实施例提供的语音交互满意度的确定设备的硬件结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的语音交互满意度的确定系统的架构示意图。如图1所示，本实施例提供的系统包括终端101和服务器102。其中，终端101可以为儿童故事机、手机、平板、车载终端等。本实施例对终端101的实现方式不做特别限制，只要该终端101能够与用户进行语音交互即可。
语音交互(Speech Interaction)，是基于语音识别、语音合成、自然语言理解等技术，在多种实际应用场景下，赋予终端“能听、会说、懂你”式的智能人机交互体验。适用于多个应用场景中，包括智能问答、智能播放、智能查找等场景。
用户通过语音向终端101输入查询语句，该终端101可以根据该查询语句获取用户的意图，并根据该意图在本地或向服务器102获取该意图对应的响应内容，并将响应内容反馈给用户。例如：订餐、订票、查找音乐、电影或某种商品等。
针对终端101可以向用户提供各种的语音交互服务，所以获取用户对语音交互的真实全面的评价的，对终端的语音交互的开发、升级等变得尤为重要。
本发明实施例提供一种语音交互满意度的确定方法，该方法能够对语音交互给出真实全面的评价。该语音交互满意度的确定方法，可以由图1所示的终端101来执行，终端101可以根据日志数据来确定满意度，然后向服务器102反馈该满意度，由服务器102根据该满意度进行进一步的处理。本实施例的语音交互满意度的确定方法，还可以由图2所示的服务器102来执行，终端101将日志数据发送给服务器102，然后由服务器102来确定该满意度，并进行下一步处理。
本实施例对该语音交互满意度的确定方法的执行主体不做特别限制，由终端101或服务器102执行均可。在本实施例中，终端101与服务器102在获取到日志数据后，二者可以采用相同的方法来确定语音交互满意度。
在本实施例中，为了快速确定满意度，本实施例借助于满意度评价模型来确定满意度。在本实施例中，首先结合图2来说明如何获取满意度评价模型的过程。
图2为本发明实施例提供的满意度评价模型的获取示意图。在本实施例中，通过对客观数据和主观数据进行评估，来得到满意度。由此，在获取满意度评价模型时，同时考虑客观的样本数据以及主观的样本数据，来获取用户对语音交互的真实全面的评价。其中，该满意度评价模型可以由终端来获取，也可以由服务器来获取。也可以由服务器获取，或者在服务器获取满意度评价模型之后，将该满意度评价模型以安装包的方式发送给终端。
如图2所示，首先获取训练样本集，该训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度。本领域技术人员可以理解，对训练样本集中适量的数据，即第一样本评估、第二样本评估以及用户输入的满意度，进行迭代训练，可以得到满意度评估模型。
其中，第一样本评估是对客观的样本数据进行评估处理得到的，第二样本评估是对主观的样本数据进行评估处理得到的。在本实施例中，该客观的样本数据与主观的样本数据为针对同一主题的数据。
该客观的样本数据是不包括用户的感情色彩的数据，例如为与终端相关的数据。该主观的样本数据是包括用户的感情色彩的数据。只要是针对同一主题的数据，都可以进行获取并进行主观和客观的区分。
在一个具体的示例中，根据用户的语音输入获取用户意图为“我想听张三的新歌”，根据该意图终端返回的响应内容为“××歌”的音频文件，当用户对该“××歌”要进行主观反馈时，用户暂停该音频文件的播放，然后通过语音输入“这首歌不是我想要的”，同时用户通过终端输入自己的满意度。在此过程中，获取该“××歌”的播放时长以及响应延迟。由此，用户针对“歌”的主题与终端进行了两轮交互。
在此过程中，客观的样本数据可以包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长。客观评估可以为针对该些客观的样本数据，通过预设算法得到客观评估，该预设算法可以为包括上述客观的样本数据的函数等，本实施例对该预设算法不做特别限制。
主观的样本数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息。对该文本信息进行语义分析，可以得到主观评估。
本领域技术人员可以理解，该客观评估和主观评估可以为一个具体的评估值，用户输入的满意度也为一个具体的值，对这些值进行迭代训练，可以得到满意度评价模型。
可选地，针对不同的客观的样本数据，还可以分别进行评估处理，得到各自对应的评估值。例如，根据用户意图和响应内容可以得到评估值x1，根据响应延迟可以得到评估值y1、根据响应内容的当前播放时长可以得到评估值z1，主观评估对应的评估值为p1，用户输入的满意度为n1。
在本实施例中，给出一种可能的满意度评价模型，该满意度评价模型可以为Ax+By+Cz+Dp＝n，将上述的各评估值代入该满意度评价模型，迭代训练可以得到A、B、C、D，由此可以得到满意度评价模型，在得到评估值之后，直接代入该模型，就可以得到最终的满意度n。本实施例示例出了一种模型来说明如何构建满意度评价模型，对于其它形式的模型，凡是能够针对主观评估和客观评估给出满意度，都属于本实施例的保护范畴，本实施例对满意度评价模型的具体实现方式不做特别限制。
下面采用详细的实施例，来说明本发明实施例如何通过满意度评价模型来获取满意度。
图3为本发明实施例提供的语音交互满意度的确定方法的流程图一。该方法的执行主体可以为图1所示的终端或服务器。如图3所示，该方法包括：
S301、获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据。
本实施例的语音交互特征可以从终端的日志数据中获取。在具体实现过程中，终端在获取到用户输入的语音后，会将该语音转化为文本信息，根据该文本信息来获取用户意图，根据用户意图获取响应内容，并将响应内容反馈给用户，用户可以根据该响应内容，来进行主观反馈。
针对用户和终端的交互数据，可以获取每个数据所对应的主题，然后获取针对同一主题的主观数据和客观数据。具体地，可以对交互数据进行语义分析，内容分析，数据产生的时序分析等，来获取针对同一主题的主观数据和客观数据。本实施例对获取同一主题的数据的实现方式不做特别限制。
可选地，在一个具体的示例中，语音的输入时间、文本信息以及响应内容的标识、属性等以及响应时间都会形成日志数据。本领域技术人员可以理解，在日志数据中针对每个日志都会记录时间，根据该时间信息来获取第一日志数据。其中，第一日志数据是指用户与终端进行连续交互的一段日志数据。
在具体实现过程中，获取每个日志记录之间的时间间隔，在两个时间间隔大于预设阈值时，则获取两个时间间隔之间的日志数据，即第一日志数据。该第一日志数据是指两个时间间隔之间的所有的数据。
本领域技术人员可以理解，第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值。其中，第二日志数据以及第三日志数据可以理解为一个日志数据，也可以为与第一日志数据类似的，两个时间间隔之间的所有的数据。图4为本发明实施例提供的日志数据的示意图。如图4所示，在时间轴上，中间段为第一日志数据中的各数据的记录时间。本领域技术人员可以理解，第一日志数据、第二日志数据以及第三日志数据相当于按照Session(会话)划分得到的数据。
在得到第一日志数据后，在第一日志数据中，根据用户的两次相邻的语音输入所对应的文本信息，获取所述语音交互特征。
本领域技术人员可以理解，在进行语音交互时，用户与终端的语音交互过程为语音输入-响应内容-语义输入-响应内容……，如此语音输入和响应内容交替发生。
其中，语音输入被转化为文本信息后，可以对该文本信息进行语义分析，该文本信息可以为用户意图，也可以为用户反馈。在本实施例中，在相邻的两个文本信息分别为用户意图以及用户反馈时，则提取该用户意图、用户反馈以及终端反馈的响应内容的相关信息等，得到语音交互特征。即在语音输入-响应内容-语义输入这一过程中来提取特征信息。该过程即为用户意图-响应内容-用户反馈。其中，当该用户反馈中并没有涉及其它主题的内容时，则认为该用户反馈还是针对用户意图所对应的主题，即主题未变。其中，主观数据为用户反馈，客观数据包括用户意图以及响应内容的相关信息等。
本领域技术人员可以理解，一段连续的语音输入若同时涉及两个不同的主题，则可将该语音输入划分为两部分内容，例如前一部分涉及一主题，后一部分涉及一主题，此时可将前一部分划入前一主题以提取语音交互特征，将后一部分划入后一主题以提取语音特征。
S302、对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估。
本领域技术人员可以理解，客观数据和主观数据为一些数据，该些数据的形式不同、格式不同或者类型不同，为了对数据能够进行统一，以统一满意度评价模型的输入，可以对客观数据进行评估处理，得到客观评估，对主观数据进行评估处理，得到主观评估。
其中，客观评估和主观评估均为评估值。该评估值可以根据满意度的总分值来计算，或者该评估值可以针对不同的数据类型来确定。可选地，该评估值可以介于-1与1之间。
本领域技术人员可以理解，客观数据的评估处理方式，以及主观数据的评估处理方式，与上述建立满意度评价模型时的评估处理方式相同，从而保证了评估值和满意度评价模型的合理性。
S303、以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
在得到客观评估和主观评估之后，将客观评估和主观评估作为满意度评价模型的输入，通过满意度评价模型经过计算分析等，满意度评价模型的输出即为语音交互的满意度。
本发明实施例提供的语音交互满意度的确定方法，通过获取语音交互特征，语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，客观数据与主观数据为针对同一主题的数据，通过获取同一主题的主观数据和客观数据，从而可以真实全面的获取进行满意度评估的数据，保证了评估的数据的真实和全面，从而使得满意度更加全面和接近用户的真实评价；通过对客观数据进行评估处理，得到客观评估，以及对主观数据进行评估处理，得到主观评估；以客观评估和主观评估作为满意度评价模型的输入，得到满意度评价模型输出的语音交互的满意度，通过满意度评价模型的方式来获取满意度，可以快速准确的获取满意度，从而使得本方法可以适用于语音交互量比较大的情况。
下面采用具体的实现方式，来对获取客观评估和主观评估的实现方式进行详细说明。其中，在本实施例中，语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息。
其中，用户意图和响应内容的意图匹配度越高，响应延迟越短，响应内容的当前播放时长越长，说明用户的满意度越大，则客观评估的取值越大。
获取该文本信息的情绪信息，若用户的情绪越好，则主观评估的取值越大。
下面结合图5和图6进行详细说明。下述的获取客观评估和主观评估的实现方式，适用于上述图2所示的模型建立的实施例，也适用于图3所示的满意度确定的实施例。
图5为本发明实施例提供的语音交互满意度的确定方法的流程图二；如图5所示，该方法包括：
S501、获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长。
具体地，S501中的获取语音交互特征的方式与S101中的获取语音交互特征的方式类似，本实施例的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长。
该客观数据包括用户意图以及终端针对该用户意图的各种反馈。其中意图(intent)是指对于领域数据的操作，一般以动宾短语来命名，比如询问天气、查找音乐。终端针对用户意图的反馈包括响应内容、响应延迟、响应内容的当前播放时长。
S502、根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估。
对用户意图进行语义分析，获取用户意图中的领域的属性等内容，并提取响应内容的领域的属性等内容。根据领域的属性的相似性来确定意图匹配度。其中，意图匹配度的取值可以为0％-100％，该意图匹配度可以转换为第一客观评估，对应地，第一客观评估的取值为0-1之间。例如，用户意图为张三的A歌，响应内容为张三的B歌，领域的属性为歌手名、歌曲名，则相似性为50％，对应的第一客观评估为0.5。
S503、根据所述响应延迟和标准延迟，获取第二客观评估。
该标准延迟可以为预先设定的用户可接受的延迟，例如，该标准延迟为200ms，该标准延迟对应的第二客观评估为0。当响应延迟大于标准延迟时，则第二客观评估小于0，当响应延迟小于标准延迟时，则第二客观评估大于0。
在一种可能的实现方式，可根据标准延迟进行归一化处理，使得第二客观评估介于-1与1之间。例如，在响应延迟大于标准延迟时，响应延迟与标准延迟的差值若大于标准延迟，则第二客观评估的取值为1，当该差值小于标准延迟时，将该差值与标准延迟的比值取负数得到第二客观评估。在响应延迟小于标准延迟时，获取标准延迟与响应延迟的差值，将该差值与标准延迟的比值作为第二客观评估。
S504、根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估。
在本实施例中，响应内容的当前播放时长越长，说明用户的满意度越高。可以将当前播放时长与标准播放时长的比值作为第三客观评估。
S505、对所述主观数据进行评估处理，得到主观评估。
S506、以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
将第一客观评估、第二客观评估、第三客观评估以及主观评估作为满意度评价模型的输入，通过满意度评价模型的处理，满意度评价模型会直接输出语音交互的满意度。
本领域技术人员可以理解，在建立满意度评价模型时，模型输入为样本数据对应的第一客观评估、第二客观评估、第三客观评估、主观评估以及用户输入的满意度，然后进行迭代训练，得到满意度评价模型。
本发明实施例通过分别对用户意图和响应内容、响应延迟、响应内容的当前播放时长来获取客观评价，使得客观评价能够综合内容、延迟、播放时长等各种客观因素来获取用户的满意度，使得满意度准确全面。
图6为本发明实施例提供的获取主观评估的流程图，本实施例提供的客观评估可以应用到上述的任一实施例中。该客观评估所对应的语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息，或者，响应内容播放完成后用户输入的文本信息，即用户对响应内容的反馈，该反馈可以为直接反馈，也可以为情绪反馈等。如图6所示，该方法包括：
S601、对文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性。
在获得用户对响应内容输入的语音反馈对应的文本信息后，对该文本信息进行语义分析，得到文本信息对应的内容属性。在本实施例中，将内容属性分为情感属性和主题属性，其中情感属性是指用户表达情感的内容，主题属性是指用户对当前主题的进一步操作。
在具体实现过程中，可通过语义分析来提取文本信息中的关键字，将该关键字与情感库或主题库中的词语进行批评，从而判断该文本信息对应的内容属性。
S602、获取所述文本信息对应的主题类型；
S603、若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值；
其中，S602-S603为针对该文本信息的内容属性为主题属性而设定的。当文本信息对应的主题类型与用户意图对应的主题类型一致，说明用户对当前主题所反馈的响应内容并不满意，所以再次重复输入内容，因此，该主观评估低于预设评估值，可以根据用户重复输入的次数，以及输入的文字的长度来确定具体的评估值。
S604、提取所述文本信息中的情感关键字；
S605、根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
S606、根据所述情绪类型与预设评估的对应关系，获取主观评估。
其中，S604-S606为针对内容属性为情绪属性设定的。可以提取文本信息中的情感关键字。本实施例中可以预先设置情绪数据库，情绪数据库中包括正面情绪数据子库、负面情绪数据子库、中性情绪数据子库。
将该情感关键字与情绪数据库中的词语进行匹配，若该情感关键字匹配到正面情绪数据子库，则情绪类型为正面情绪，对应的主观评估的取值为1；若该情感关键字匹配到负面情绪数据子库，则情绪类型为负面情绪，对应的主观评估的取值为-1；若该情感关键字匹配到中性情绪数据子库，则情绪类型为中性情绪，对应的主观评估的取值为0。
本发明实施例通过对用户的主观反馈进行分析，可以得到用户主观上对语音交互的满意度。本发明实施例在确定主观评估时，通过分析用户的情绪以及用户的针对同一主题的重复指示，可以对用户的各种操作给出评价，不会忽悠用户的各种表达，能够真实的反馈用户的满意度。
在上述的各实施例中，本发明实施例示出了针对一个主题的会话进行满意度确定的过程，在具体实现过程中，可以连续获取多个主题的会话的满意度，每个主题的会话满意度的确定方法，都可以参见上述实施例。下面给出一些具体实施例，来说明针对多个主题的会话来如何获取满意度。
一个具体的示例为：用户意图1-响应内容1-用户意图2-响应内容2-主观反馈+用户意图3-响应内容3……。由上可知，针对用户意图1以及响应内容1，用户并没有进行用户反馈，则获取客观评价即可，其中，客观评价的实现方式可参见上述实施例，满意度评价模型可以仅涉及客观评价，也可以为客观评价和主观评价都涉及，但主观评价的输入为0。针对用户意图2-响应内容2-主观反馈可以采用上述的满意度确定方法来实现，用户意图3-响应内容3可根据具体实现情况来确定满意度。
在得到多个满意度之后，终端或服务器对多个满意度的数据进行各种分析，以得到终端的产品性能。
本领域技术人员可以理解，上述的各主观评估或客观评估对应的评估值的取值方式，仅为示意性的取值方式，还可以采用其它的取值方式，例如针对5分制、10分制以及100分制得不同而取值方式不同，本实施例对具体的取值方式不做特别限制。
图7为本发明实施例提供的语音交互满意度的确定设备的结构示意图，如图7所示，该设备70包括：获取模块701、处理模块702、确定模块703。可选地，还包括训练模块704。
获取模块701，用于获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；
处理模块702，用于对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；
确定模块703，用于以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
可选地，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；
所述语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息；或者，响应内容播放完成后用户输入的文本信息。
可选地，所述处理模块702具体用于：
根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估；
根据所述响应延迟和标准延迟，获取第二客观评估；
根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估；
所述确定模块703具体用于：以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
可选地，所述处理模块702具体用于：
对所述文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性；
根据所述文本信息对应的内容属性，得到主观评估。
可选地，若所述内容属性为主题属性，所述处理模块702具体用于：
获取所述文本信息对应的主题类型；
若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值。
可选地，若所述文本类型为情感类型，所述处理模块702具体用于：
提取所述文本信息中的情感关键字；
根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
根据所述情绪类型与预设评估的对应关系，获取主观评估。
可选地，所述获取模块701具体用于：
获取第一日志数据，所述第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值；
在所述第一日志数据中，获取用户的两次相邻的语音输入各自对应的主题；
根据两次相邻的语音输入各自对应的主题，获取所述语音交互特征。
可选地，训练模块704，用于在以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度之前，
获取训练样本集，所述训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度，其中，所述第一样本评估是对客观的样本数据进行评估处理得到的，所述第二样本评估是对主观的样本数据进行评估处理得到的，所述客观的样本数据与所述主观的样本数据为针对同一主题的数据；
根据所述训练样本集，通过迭代训练得到所述满意度评价模型。
本实施例提供的语音交互满意度的确定设备，可用于执行上述的方法实施例，其实现方式和技术效果类似，本实施例此处不再赘述。
图8为本发明实施例提供的语音交互满意度的确定设备的硬件结构图。如图8所示，该语音交互满意度的确定设备80包括：
至少一个处理器801和存储器802；
所述存储器802存储计算机执行指令；
所述至少一个处理器801执行所述存储器802存储的计算机执行指令，使得所述至少一个处理器801执行如上所述的语音交互满意度的确定方法。
处理器801的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
该确定设备80还包括通信部件803。其中，处理器801、存储器802以及通信部件803通过总线804连接。
在上述的图7和图8实施例中，该语音交互满意度的确定设备可以为图1所示的终端或服务器。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的语音交互满意度的确定方法。
在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种语音交互满意度的确定方法，其特征在于，包括：
获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；
对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；
以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
2.根据权利要求1所述的方法，其特征在于，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；
所述语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述客观数据进行评估处理，得到客观评估，包括：
根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估；
根据所述响应延迟和标准延迟，获取第二客观评估；
根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估；
所述以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度，包括：
以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
4.根据权利要求2所述的方法，其特征在于，所述对所述主观数据进行评估处理，得到主观评估，包括：
对所述文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性；
根据所述文本信息对应的内容属性，得到主观评估。
5.根据权利要求4所述的方法，其特征在于，若所述内容属性为主题属性，所述根据所述文本信息对应的内容属性，得到主观评估，包括：
获取所述文本信息对应的主题类型；
若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值。
6.根据权利要求4所述的方法，其特征在于，若所述文本类型为情感类型，所述根据所述文本信息对应的文本类型，得到主观评估，包括：
提取所述文本信息中的情感关键字；
根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
根据所述情绪类型与预设评估的对应关系，获取主观评估。
7.根据权利要求1所述的方法，其特征在于，所述获取语音交互特征，包括：
获取第一日志数据，所述第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值；
在所述第一日志数据中，获取用户的两次相邻的语音输入各自对应的主题；
根据两次相邻的语音输入各自对应的主题，获取所述语音交互特征。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度之前，所述方法还包括：
获取训练样本集，所述训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度，其中，所述第一样本评估是对客观的样本数据进行评估处理得到的，所述第二样本评估是对主观的样本数据进行评估处理得到的，所述客观的样本数据与所述主观的样本数据为针对同一主题的数据；
根据所述训练样本集，通过迭代训练得到所述满意度评价模型。
9.一种语音交互满意度的确定设备，其特征在于，包括：
获取模块，用于获取语音交互特征，所述语音交互特征包括语音交互的客观数据和语音交互的主观数据，其中，所述客观数据与所述主观数据为针对同一主题的数据；
处理模块，用于对所述客观数据进行评估处理，得到客观评估，以及对所述主观数据进行评估处理，得到主观评估；
确定模块，用于以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
10.根据权利要求9所述的设备，其特征在于，所述语音交互的客观数据包括：用户意图和响应内容、响应延迟、响应内容的当前播放时长；
所述语音交互的主观数据包括：响应内容的播放被中断后用户的语音输入对应的文本信息；或者，响应内容播放完成后用户输入的文本信息。
11.根据权利要求10所述的设备，其特征在于，所述处理模块具体用于：
根据所述用户意图和所述响应内容的意图匹配度，获取第一客观评估；
根据所述响应延迟和标准延迟，获取第二客观评估；
根据所述响应内容的当前播放时长和所述响应内容的标准播放时长，获取第三客观评估；
所述确定模块具体用于：以所述第一客观评估、所述第二客观评估、所述第三客观评估以及所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度。
12.根据权利要求10所述的设备，其特征在于，所述处理模块具体用于：
对所述文本信息进行语义分析，得到所述文本信息对应的内容属性，所述内容属性为情感属性或主题属性；
根据所述文本信息对应的内容属性，得到主观评估。
13.根据权利要求12所述的设备，其特征在于，若所述内容属性为主题属性，所述处理模块具体用于：
获取所述文本信息对应的主题类型；
若所述文本信息对应的主题类型与用户意图对应的主题类型一致，则确定所述主观评估低于预设评估值。
14.根据权利要求12所述的设备，其特征在于，若所述文本类型为情感类型，所述处理模块具体用于：
提取所述文本信息中的情感关键字；
根据所述情感关键字与情绪类型的对应关系，获取情绪类型，所述情绪类型包括正面情绪、负面情绪以及中性情绪；
根据所述情绪类型与预设评估的对应关系，获取主观评估。
15.根据权利要求9所述的设备，其特征在于，所述获取模块具体用于：
获取第一日志数据，所述第一日志数据与相邻的上一时段的第二日志数据以及相邻的下一时段的第三日志数据的时间间隔大于预设阈值；
在所述第一日志数据中，获取用户的两次相邻的语音输入各自对应的主题；
根据两次相邻的语音输入各自对应的主题，获取所述语音交互特征。
16.根据权利要求9至15任一项所述的设备，其特征在于，还包括：训练模块，用于在以所述客观评估和所述主观评估作为满意度评价模型的输入，得到所述满意度评价模型输出的语音交互的满意度之前，
获取训练样本集，所述训练样本集包括第一样本评估、第二样本评估以及用户输入的满意度，其中，所述第一样本评估是对客观的样本数据进行评估处理得到的，所述第二样本评估是对主观的样本数据进行评估处理得到的，所述客观的样本数据与所述主观的样本数据为针对同一主题的数据；
根据所述训练样本集，通过迭代训练得到所述满意度评价模型。
17.一种语音交互满意度的确定设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至8任一项所述的语音交互满意度的确定方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的语音交互满意度的确定方法。
CN201810215597.XA 2018-03-15 2018-03-15 语音交互满意度的确定方法及设备 Active CN108388926B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810215597.XA CN108388926B (zh) 2018-03-15 2018-03-15 语音交互满意度的确定方法及设备
JP2018225189A JP6799574B2 (ja) 2018-03-15 2018-11-30 音声対話の満足度の確定方法及び装置
US16/295,915 US10950234B2 (en) 2018-03-15 2019-03-07 Method and apparatus for determining speech interaction satisfaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810215597.XA CN108388926B (zh) 2018-03-15 2018-03-15 语音交互满意度的确定方法及设备

Publications (2)

Publication Number Publication Date
CN108388926A true CN108388926A (zh) 2018-08-10
CN108388926B CN108388926B (zh) 2019-07-30

Family

ID=63067855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810215597.XA Active CN108388926B (zh) 2018-03-15 2018-03-15 语音交互满意度的确定方法及设备

Country Status (3)

Country Link
US (1) US10950234B2 (zh)
JP (1) JP6799574B2 (zh)
CN (1) CN108388926B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108962281A (zh) * 2018-08-15 2018-12-07 三星电子（中国）研发中心 一种语言表达的评价和辅助方法及装置
CN109545185A (zh) * 2018-11-12 2019-03-29 百度在线网络技术（北京）有限公司 交互系统评价方法、评价系统、服务器及计算机可读介质
CN109961804A (zh) * 2019-02-12 2019-07-02 百度在线网络技术（北京）有限公司 智能设备满意度评估方法、装置及存储介质
CN110347248A (zh) * 2019-06-24 2019-10-18 歌尔科技有限公司 交互处理方法、装置、设备及音频设备
CN110689903A (zh) * 2019-09-24 2020-01-14 百度在线网络技术（北京）有限公司 智能音箱的评测方法、装置、设备和介质
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
CN111199205A (zh) * 2019-12-30 2020-05-26 科大讯飞股份有限公司 车载语音交互体验评估方法、装置、设备及存储介质
CN111523914A (zh) * 2019-01-17 2020-08-11 阿里巴巴集团控股有限公司 用户满意度的评测方法、装置、系统和数据显示平台
CN111724782A (zh) * 2020-06-18 2020-09-29 中汽院智能网联科技有限公司 一种车载语音交互系统的响应时间测试系统、方法及设备
CN111985751A (zh) * 2019-05-23 2020-11-24 百度在线网络技术（北京）有限公司 人机聊天体验评估体系
CN112511324A (zh) * 2019-09-16 2021-03-16 中国移动通信集团河北有限公司 基于大数据的用户满意度评估方法及装置
CN112562641A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
CN112837693A (zh) * 2021-01-29 2021-05-25 上海钧正网络科技有限公司 一种用户体验倾向识别方法、装置、设备和可读存储介质
CN113282475A (zh) * 2021-06-02 2021-08-20 青岛海尔科技有限公司 用于评价交互系统交互性能的方法和装置
CN113687744A (zh) * 2021-08-19 2021-11-23 北京智精灵科技有限公司 一种用于情绪调节的人机交互方法及设备
CN113808621A (zh) * 2021-09-13 2021-12-17 地平线(上海)人工智能技术有限公司 在人机交互中对语音对话进行标注的方法和装置、设备和介质
WO2022126734A1 (zh) * 2020-12-14 2022-06-23 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111128355B (zh) * 2019-12-20 2024-04-26 创业慧康科技股份有限公司 一种目标事件评估方法及装置
CN111240478B (zh) * 2020-01-07 2023-10-13 百度在线网络技术（北京）有限公司 设备响应的评测方法、装置、设备及存储介质
CN111666396B (zh) * 2020-06-05 2023-10-31 北京百度网讯科技有限公司 用户意图理解满意度评估方法、装置、设备和存储介质
CN113053388B (zh) * 2021-03-09 2023-08-01 北京百度网讯科技有限公司 语音交互方法、装置、设备和存储介质
CN117216228B (zh) * 2023-11-08 2024-02-02 好心情健康产业集团有限公司 一种心理陪伴机器人及其交互方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654250A (zh) * 2016-02-01 2016-06-08 百度在线网络技术（北京）有限公司 一种满意度自动测评的方法和装置
CN107220353A (zh) * 2017-06-01 2017-09-29 深圳追科技有限公司 一种智能客服机器人满意度自动评价方法及系统
CN107767881A (zh) * 2016-08-15 2018-03-06 中国移动通信有限公司研究院 一种语音信息的满意度的获取方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
JP6429706B2 (ja) * 2015-03-31 2018-11-28 株式会社デンソーアイティーラボラトリ 音声対話装置、音声対話方法及びプログラム
JP6719739B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、及びプログラム
US10394957B2 (en) * 2017-09-25 2019-08-27 Microsoft Technology Licensing, Llc Signal analysis in a conversational scheduling assistant computing system
JP6805112B2 (ja) * 2017-11-08 2020-12-23 株式会社東芝 対話システム、対話方法および対話プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654250A (zh) * 2016-02-01 2016-06-08 百度在线网络技术（北京）有限公司 一种满意度自动测评的方法和装置
CN107767881A (zh) * 2016-08-15 2018-03-06 中国移动通信有限公司研究院 一种语音信息的满意度的获取方法和装置
CN107220353A (zh) * 2017-06-01 2017-09-29 深圳追科技有限公司 一种智能客服机器人满意度自动评价方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
常培等: "电信运营商智能语音客服平台研究与分析", 《数据通信》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108962281A (zh) * 2018-08-15 2018-12-07 三星电子（中国）研发中心 一种语言表达的评价和辅助方法及装置
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
CN109545185A (zh) * 2018-11-12 2019-03-29 百度在线网络技术（北京）有限公司 交互系统评价方法、评价系统、服务器及计算机可读介质
CN109545185B (zh) * 2018-11-12 2022-03-18 百度在线网络技术（北京）有限公司 交互系统评价方法、评价系统、服务器及计算机可读介质
CN111523914A (zh) * 2019-01-17 2020-08-11 阿里巴巴集团控股有限公司 用户满意度的评测方法、装置、系统和数据显示平台
CN111523914B (zh) * 2019-01-17 2023-05-02 阿里巴巴集团控股有限公司 用户满意度的评测方法、装置、系统和数据显示平台
CN109961804B (zh) * 2019-02-12 2021-11-02 百度在线网络技术（北京）有限公司 智能设备满意度评估方法、装置及存储介质
CN109961804A (zh) * 2019-02-12 2019-07-02 百度在线网络技术（北京）有限公司 智能设备满意度评估方法、装置及存储介质
CN111985751B (zh) * 2019-05-23 2023-09-26 百度在线网络技术（北京）有限公司 人机聊天体验评估体系
CN111985751A (zh) * 2019-05-23 2020-11-24 百度在线网络技术（北京）有限公司 人机聊天体验评估体系
CN110347248A (zh) * 2019-06-24 2019-10-18 歌尔科技有限公司 交互处理方法、装置、设备及音频设备
CN112511324A (zh) * 2019-09-16 2021-03-16 中国移动通信集团河北有限公司 基于大数据的用户满意度评估方法及装置
CN110689903A (zh) * 2019-09-24 2020-01-14 百度在线网络技术（北京）有限公司 智能音箱的评测方法、装置、设备和介质
CN110689903B (zh) * 2019-09-24 2022-05-13 百度在线网络技术（北京）有限公司 智能音箱的评测方法、装置、设备和介质
CN111199205B (zh) * 2019-12-30 2023-10-31 科大讯飞股份有限公司 车载语音交互体验评估方法、装置、设备及存储介质
CN111199205A (zh) * 2019-12-30 2020-05-26 科大讯飞股份有限公司 车载语音交互体验评估方法、装置、设备及存储介质
CN111724782A (zh) * 2020-06-18 2020-09-29 中汽院智能网联科技有限公司 一种车载语音交互系统的响应时间测试系统、方法及设备
CN111724782B (zh) * 2020-06-18 2022-09-13 中汽院智能网联科技有限公司 一种车载语音交互系统的响应时间测试系统、方法及设备
CN112562641B (zh) * 2020-12-02 2023-09-29 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
CN112562641A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 语音交互满意度的评估方法、装置、设备和存储介质
WO2022126734A1 (zh) * 2020-12-14 2022-06-23 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质
CN112837693A (zh) * 2021-01-29 2021-05-25 上海钧正网络科技有限公司 一种用户体验倾向识别方法、装置、设备和可读存储介质
CN113282475B (zh) * 2021-06-02 2022-12-06 青岛海尔科技有限公司 用于评价交互系统交互性能的方法和装置
CN113282475A (zh) * 2021-06-02 2021-08-20 青岛海尔科技有限公司 用于评价交互系统交互性能的方法和装置
CN113687744B (zh) * 2021-08-19 2022-01-18 北京智精灵科技有限公司 一种用于情绪调节的人机交互设备
CN113687744A (zh) * 2021-08-19 2021-11-23 北京智精灵科技有限公司 一种用于情绪调节的人机交互方法及设备
WO2023035870A1 (zh) * 2021-09-13 2023-03-16 地平线(上海)人工智能技术有限公司 在人机交互中对语音对话标注的方法和装置、设备和介质
CN113808621A (zh) * 2021-09-13 2021-12-17 地平线(上海)人工智能技术有限公司 在人机交互中对语音对话进行标注的方法和装置、设备和介质

Also Published As

Publication number Publication date
JP2019159309A (ja) 2019-09-19
US10950234B2 (en) 2021-03-16
CN108388926B (zh) 2019-07-30
JP6799574B2 (ja) 2020-12-16
US20190287524A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN108388926B (zh) 语音交互满意度的确定方法及设备
Alivizatou-Barakou et al. Intangible cultural heritage and new technologies: challenges and opportunities for cultural preservation and development
CN108806655B (zh) 歌曲的自动生成
CN108806656B (zh) 歌曲的自动生成
JP4478939B2 (ja) 音声処理装置およびそのためのコンピュータプログラム
CN110517689B (zh) 一种语音数据处理方法、装置及存储介质
CN106688034A (zh) 具有情感内容的文字至语音转换
Huddar et al. Attention-based multimodal contextual fusion for sentiment and emotion classification using bidirectional LSTM
CN109960743A (zh) 会议内容区分方法、装置、计算机设备及存储介质
CN109478187A (zh) 输入法编辑器
Wang et al. Comic-guided speech synthesis
Wagner et al. Applying cooperative machine learning to speed up the annotation of social signals in large multi-modal corpora
CN113923475B (zh) 一种视频合成方法及视频合成器
CN111524043A (zh) 诉讼风险评估问卷自动生成的方法和装置
CN113591489B (zh) 语音交互方法、装置及相关设备
CN114420097A (zh) 语音定位方法、装置、计算机可读介质及电子设备
Madeo et al. A review of temporal aspects of hand gesture analysis applied to discourse analysis and natural conversation
CA3166556A1 (en) Method and device for generating target advertorial based on deep learning
WO2020002941A1 (en) Generation of audio data
Jitendra et al. An ensemble model of CNN with Bi-LSTM for automatic singer identification
Lefter et al. A cross-corpus speech-based analysis of escalating negative interactions
CN112989109A (zh) 一种音乐结构分析方法、电子设备及存储介质
Chimthankar Speech Emotion Recognition using Deep Learning
Chourdakis et al. From my pen to your ears: automatic production of radio plays from unstructured story text
KR102624790B1 (ko) 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210519

Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee after: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Patentee after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right