CN111240478B - 设备响应的评测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了设备响应的评测方法、装置、设备及存储介质，涉及人工智能领域。具体实现方案为：该方法应用于电子设备，方法包括：接收用户的需求指令；对需求指令进行响应并获取用户对响应的反馈信息；根据反馈信息确定对应的反馈意图；根据对应的反馈意图对响应进行评测。能够根据用户每次的需求指令对应的响应获取反馈信息，根据反馈信息对应的反馈意图实时对响应进行评测，提高了对响应进行评测的时效性。并且由于反馈信息能够反映用户对响应的真实感受，所以能够准确对响应进行评测，提高了对响应进行评测的准确性。

Description

设备响应的评测方法、装置、设备及存储介质

技术领域

本申请涉及到数据处理技术领域，尤其涉及人工智能技术。

背景技术

随着人工智能技术的成熟，出现了越来越多的智能语音交互设备，如智能音箱，智能电视，智能冰箱等家电设备。智能语音交互设备是采用语音方式实现人机交互的智能设备。但是目前的智能语音交互设备对于用户请求的响应仍然不能达到每个用户都满意的程度。所以需要对智能语音交互设备的响应进行评测，以提升智能语音交互设备的智能化水平。

现有技术中,对智能语音交互设备的响应进行评测时，主要是每间隔预设时间段来获取人机交互的自然上下文，根据预先制定的评测标准，由评测人员对自然上下文中的响应进行评测。

所以现有技术中的评测方法不能对每个用户的响应实时进行评测，并且由于预先制定的评测标准，只是适用于大部分用户，并不与每个用户的真实体验相一致。所以现有技术中对智能语音交互设备响应进行评测的方法时效性比较低，并且无法反映每个用户对响应的真实感受，准确性较低。

发明内容

本申请实施例提供一种设备响应的评测方法、装置、设备及存储介质，解决了现有技术中对智能语音交互设备响应进行评测的方法时效性比较低，并且无法反映每个用户对响应的真实感受，准确性较低的技术问题。

本申请实施例第一方面提供一种设备响应的评测方法，所述方法应用于电子设备，所述方法包括：

接收用户的需求指令；对所述需求指令进行响应并获取用户对所述响应的反馈信息；根据所述反馈信息确定对应的反馈意图；根据对应的反馈意图对所述响应进行评测。

本申请实施例中，能够根据用户每次的需求指令对应的响应获取反馈信息，根据反馈信息对应的反馈意图实时对响应进行评测，提高了对响应进行评测的时效性。并且由于反馈信息能够反映用户对响应的真实感受，所以能够准确对响应进行评测，提高了对响应进行评测的准确性。

进一步地，如上所述的方法，所述获取用户对所述响应的反馈信息，包括：

采用收音组件采集用户对所述需求指令进行响应后的音频数据；从所述音频数据中提取用户对所述响应的反馈语音；将所述反馈语音转化为反馈文本，以获得所述反馈信息。

本申请实施例中,采用收音组件采集对所述需求指令进行响应后的音频数据，并提取音频中的反馈语音，将反馈语音转化为反馈信息，能够在不打扰用户对电子设备的使用的情况下自动获取用户对响应的反馈信息，并且由于无需用户手动参与，所以也提高了反馈信息的获取效率。

进一步地，如上所述的方法，所述从所述音频数据中提取用户对所述响应的反馈语音，包括：

获取所述用户在所述需求指令中的语音特征；根据所述语音特征提取所述音频数据中用户对所述响应的反馈语音。

本申请实施例中，通过获取用户在需求指令中的语音特征，并根据语音特征提取音频数据中用户对响应的反馈语音，能够根据用户的语音特征对反馈语音进行准确提取。

进一步地，如上所述的方法，所述根据所述反馈信息确定对应的反馈意图，包括：

将所述反馈信息输入至已训练至收敛的意图识别模型中，以通过所述已训练至收敛的意图识别模型识别所述对应的反馈意图；通过所述已训练至收敛的意图识别模型输出所述对应的反馈意图。

本申请实施例中，通过已训练至收敛的意图识别模型确定反馈信息对应的反馈意图，由于在对意图识别模型进行训练时，包括的训练样本全面，所以能够准确确定反馈信息对应的反馈意图。

进一步地，如上所述的方法，所述根据对应的反馈意图对所述响应进行评测，包括：

若所述对应的反馈意图为正向反馈意图，则确定所述响应为正向响应；若所述对应的反馈意图为中性反馈意图，则确定所述响应为中性响应；若所述对应的反馈意图为负向反馈意图，则确定所述响应为负向响应。

本申请实施例中，反馈意图包括正向反馈意图，负向反馈意图和中性反馈意图，评测出的响应对应为正向响应，负向响应和中性响应。根据反馈意图对响应的评测能够反映用户对响应的真实感受，提高了对响应进行评测的准确性。

进一步地，如上所述的方法，所述若所述对应的反馈意图为负向反馈意图，则还包括：

根据所述负向反馈意图对应的反馈信息及需求指令，确定所述负向反馈意图对应的交互关键信息；将所述负向反馈意图与对应的交互关键信息和反馈信息进行关联存储。

本申请实施例中，若对应的反馈意图为负向反馈意图，则确定负向反馈意图对应的交互关键信息，能够为后续对负向响应的改进提供依据。

进一步地，如上所述的方法，所述若所述对应的反馈意图为负向反馈意图，则还包括：

判断连续出现所述负向反馈意图的频次是否大于预设频次阈值；若确定大于所述预设频次阈值，则向用户推送响应问题反馈请求；接收用户反馈的响应问题信息；将所述响应问题信息及对应的交互关键信息发送给维护终端。若确定小于或等于所述预设频次阈值，则将所述负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据所述反馈信息及所述交互关键信息对响应问题进行归类及修复。

本申请实施例中，能够根据连续出现负向反馈意图的频次确定用户对响应不满意的程度，若确定大于所述预设频次阈值，则主动获取用户反馈的响应问题信息，并对响应进行改进，若小于或等于预设频次阈值，则尽量在不打扰用户的情况下，将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以对响应问题进行归类及修复，能够根据负向响应的频次分情况对响应进行改进。

本申请实施例第二方面提供一种设备响应的评测装置，所述装置位于电子设备，所述装置包括：

指令接收模块，用于接收用户的需求指令；响应模块，用于对所述需求指令进行响应；反馈信息获取模块，用于获取用户对所述响应的反馈信息；反馈意图确定模块，用于根据所述反馈信息确定对应的反馈意图；响应评测模块，用于根据对应的反馈意图对所述响应进行评测。

进一步地，如上所述的装置，所述反馈信息获取模块，具体用于：

采用收音组件采集用户对所述需求指令进行响应后的音频数据；从所述音频数据中提取用户对所述响应的反馈语音；将所述反馈语音转化为反馈文本，以获得所述反馈信息。

进一步地，如上所述的装置，所述反馈信息获取模块，在所述从所述音频数据中提取用户对所述响应的反馈语音时，具体用于：

获取所述用户在所述需求指令中的语音特征；根据所述语音特征提取所述音频数据中用户对所述响应的反馈语音。

进一步地，如上所述的装置，所述反馈意图确定模块，具体用于：

将所述反馈信息输入至已训练至收敛的意图识别算法中，以通过所述已训练至收敛的意图识别算法识别所述对应的反馈意图；通过所述已训练至收敛的意图识别算法输出所述对应的反馈意图。

进一步地，如上所述的装置，所述响应评测模块，具体用于：

若所述对应的反馈意图为正向反馈意图，则确定所述响应为正向响应；若所述对应的反馈意图为中性反馈意图，则确定所述响应为中性响应；若所述对应的反馈意图为负向反馈意图，则确定所述响应为负向响应。

进一步地，如上所述的装置，还包括：

关键信息确定模块，用于根据所述负向反馈意图对应的反馈信息及需求指令，确定所述负向反馈意图对应的交互关键信息；将所述负向反馈意图与对应的交互关键信息和反馈信息进行关联存储。

进一步地，如上所述的装置，还包括：

负向反馈频次判断模块，用于判断连续出现所述负向反馈意图的频次是否大于预设频次阈值；

第一负向反馈处理模块，用于若确定大于所述预设频次阈值，则向用户推送响应问题反馈请求；接收用户反馈的响应问题信息；将所述响应问题信息及对应的交互关键信息发送给维护终端。

进一步地，如上所述的装置，还包括：

第二负向反馈处理模块，用于若确定小于或等于所述预设频次阈值，则将所述负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据所述反馈信息及所述交互关键信息对响应问题进行归类及修复。

本申请实施例第三方面提供一种电子设备,包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够第一方面中任一项所述的方法。

本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面任一项所述的方法。

本申请实施例第五方面提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如第一方面所述的方法。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是可以实现本申请实施例的设备响应的评测方法的场景图；

图2是根据本申请第一实施例提供的设备响应的评测方法的流程示意图；

图3是根据本申请第二实施例提供的设备响应的评测方法的流程示意图；

图4是根据本申请第二实施例提供的设备响应的评测方法中步骤203的流程示意图；

图5是根据本申请第二实施例提供的设备响应的评测方法中步骤2032的流程示意图；

图6是根据本申请第二实施例提供的设备响应的评测方法中步骤204的流程示意图；

图7为根据本申请第三实施例提供的设备响应的评测方法的信令流程图；

图8为根据本申请第四实施例提供的设备响应的评测装置的结构示意图；

图9为根据本申请第五实施例提供的设备响应的评测装置的结构示意图；

图10是用来实现本申请实施例的设备响应的评测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了清楚理解本申请的技术方案，首先本申请中涉及的设备进行解释：

智能语音交互设备：是采用语音方式实现人机交互的智能设备。如智能语音家居设备，终端设备等。智能语音家居设备可以为智能音箱，智能电视，智能冰箱等，终端设备可以为智能手机，车载终端，可穿戴设备等。智能语音交互设备能够识别用户语音形式的需求指令并进行对应的响应。在智能语音交互设备中带有各种语音技能。如音乐播放技能，录音技能，百科查询语音技能，游戏语音技能等。

下面对本申请实施例提供的设备响应的评测方法的应用场景进行介绍。如图1所示，在该应用场景中，以电子设备为智能语音交互设备为例进行说明。在智能语音交互设备中包括多种语音技能。智能语音交互设备能够识别用户语音形式的需求指令并进行对应的响应。如用户首先说出“小A小A，请打开XX音乐”的需求指令后，智能语音交互设备进行打开XX音乐，并发出语音“已为您打开XX音乐”的响应。用户在获取到这个响应后，发出了“哟，还不错”的反馈语音。则智能语音交互设备获取用户对该响应的反馈信息，反馈信息可通过反馈语音获取到。并根据该反馈信息确定对应的反馈意图，根据对应的反馈意图对该响应进行评测。在上述的反馈语音中，由于用户进行了正向反馈，所以根据反馈信息确定对应的反馈意图为正向反馈意图，根据正向反馈意图对响应进行评测时，确定该响应为正向响应。在智能语音交互设备打开“XX音乐”后，用户又说出“小A小A，请播放AA气球”的需求指令，智能语音交互设备在对音乐数据库进行搜索后，并未找到“AA气球”的音乐，则进行了“未搜索到AA气球，请您收听AB气球吧”的响应。用户在获取到这个响应后，发出了“这都找不到”的反馈语音，由于这次用户进行了负向反馈，所以根据反馈信息确定对应的反馈意图为负向反馈意图，根据负向反馈意图对响应进行评测时，确定该响应为负向响应。所以本实施例提供的设备响应的评测方法，能够根据用户每次的需求指令对应的响应获取反馈信息，根据反馈信息对应的反馈意图实时对响应进行评测，提高了对响应进行评测的时效性。并且由于反馈信息能够反映用户对响应的真实感受，所以能够准确对响应进行评测，提高了对响应进行评测的准确性。

以下将参照附图来具体描述本申请的实施例。

实施例一

图2是根据本申请第一实施例提供的设备响应的评测方法的流程示意图，如图2所示，本申请实施例的执行主体为设备响应的评测装置，该设备响应的评测装置可以集成在电子设备中。例如电子设备可以为智能语音交互设备，则本实施例提供的设备响应的评测方法包括以下几个步骤。

步骤101，接收用户的需求指令。

本实施例中，电子设备可具有收音组件和播放组件。通过收音组件接收用户发出的需求指令的语音，并对需求指令进行语音识别，确定出需求指令的语义信息。

或者本实施例中，在电子设备上还可包括操作界面，通过在操作界面需求指令对应的输入框或选择框中由用户确定需求指令，使电子设备获取到用户的需求指令。

可以理解的是，接收用户的需求指令的方式还可以为其他方式，本实施例中，对接收用户的需求指令的方式不做限定。

步骤102，对需求指令进行响应并获取用户对响应的反馈信息。

本实施例中，在电子设备获取到需求指令后，可根据需求指令获取匹配的响应数据，以对需求指令进行响应。在对需求指令进行响应时，可通过播放组件播放响应数据对应的语音。若电子设备还包括操作界面，还可将响应数据在操作界面上进行显示。

并且本实施例中，在对需求指令进行响应的同时获取用户对响应的反馈信息。

其中，作为一种可选实施方式，获取用户对响应的反馈信息的方式可以为：在操作界面上向用户展示反馈信息输入框或选择框，由用户在输入框或选择框中确定对响应的反馈信息。其中，在输入框或选择框中可以输入或选择对响应是否满意的多种反馈信息，如反馈信息可以为：“这是什么玩意儿”、“能勉强用”、“还不错”、“非常好”等。

或者，作为另一种可选实施方式，获取用户对响应的反馈信息的方式可以为：在播放组件播放响应数据的语音时，收音组件继续收音，则用户在查看到响应数据后，若说出反馈语音，则收音组件能够收录到该反馈语音，对该反馈语音进行转化后，获得反馈信息。

在该种实施方式中，由于收音组件继续收音，用户说出的反馈语音除了有对响应是否满意的多种反馈语音外，还可以包括与响应不相关的反馈语音，如在用户使用电子设备的某一语音技能的同时，与好友谈论天气，则在反馈语音中可能包括与响应不相关的关于天气的反馈语音。则将反馈语音转化为反馈信息后，在反馈信息中不仅可以包括对响应是否满意的反馈信息外，还可以包括与响应不相关的反馈信息。

步骤103，根据反馈信息确定对应的反馈意图。

本实施例中，由于每个反馈信息能够表明对响应是否满意，或者还能够表明是否与响应相关，所以本实施例中可根据反馈信息确定对应的反馈意图。

作为一种可选实施方式，本实施例中，可预先存储每种反馈信息与反馈意图的映射关系。根据获取到的反馈信息确定与其具有映射关系的反馈意图为对应的反馈意图。如预先存储的反馈信息与反馈意图的映射关系可以为：“这是什么玩意儿”——非常不满意；“能勉强用”——较为不满意；“还不错”——比较满意；“非常好”——非常满意。

而针对收音组件继续收音进行收录反馈语音获取用户对响应的反馈信息的情况，由于反馈信息中还可包括与响应不相关的反馈信息，对于这种反馈信息，不能一一将反馈信息与对应的反馈意图的映射关系进行存储，所以作为另一种可选实施方式，本实施例中，可预先对每种类型的反馈信息标注对应的反馈意图标签，形成训练样本，对意图识别模型进行训练，形成训练至收敛的意图识别模型。然后将获取到的反馈信息输入到该训练至收敛的意图识别模型中，由意图识别模型对反馈信息对应的反馈意图进行识别，以输出反馈信息对应的反馈意图。

步骤104，根据对应的反馈意图对响应进行评测。

本实施例中，反馈意图是用户对响应是否满意或反馈是否与响应相关的数据。所以可根据对应的反馈意图对响应进行评测。根据对应的反馈意图对响应进行评测时，根据对应的反馈意图的满意度确定响应的满意度，或者根据对应的反馈意图的满意级别确定响应的满意级别。

可以理解的是，若反馈意图为与响应不相关的反馈意图，则该反馈意图为中性反馈意图，将中性反馈意图对应的响应评测为中性响应。

值得说明的是，在根据反馈意图的满意度或满意级别对响应进行评测时，还可根据反馈意图的满意度或满意级别确定反馈意图的类型，根据反馈意图的类型确定响应的类型。

所以根据反馈意图的满意度或满意级别确定的反馈意图的类型还可以包括：正向反馈意图和负向反馈意图。其中，正向反馈意图为对响应满意的反馈意图，负向反馈意图为对满意不满意的反馈意图。

比如，反馈意图的满意级别包括：非常不满意、较为不满意、比较满意、非常满意。则将非常不满意、较为不满意的反馈意图确定为负向反馈意图，将比较满意、非常满意的反馈意图确定为正向反馈意图。

所以本实施例中，根据反馈意图的类型确定响应的类型可以为：将正向反馈意图对应的响应确定为正向响应，将负向反馈意图对应的响应确定为负向响应。

本实施例提供的设备响应的评测方法，通过接收用户的需求指令；对需求指令进行响应并获取用户对响应的反馈信息；根据反馈信息确定对应的反馈意图；根据对应的反馈意图对响应进行评测。能够根据用户每次的需求指令对应的响应获取反馈信息，根据反馈信息对应的反馈意图实时对响应进行评测，提高了对响应进行评测的时效性。并且由于反馈信息能够反映用户对响应的真实感受，所以能够准确对响应进行评测，提高了对响应进行评测的准确性。

实施例二

图3是根据本申请第二实施例提供的设备响应的评测方法的流程示意图，如图3所示，本实施例提供的设备响应的评测方法，是在本申请第一实施例提供的设备响应的评测方法的基础上，对步骤102-步骤104的进一步细化。并且还包括了对负向反馈意图的响应进行改进的步骤，则本实施例提供的设备响应的评测方法包括以下步骤。

步骤201，接收用户的需求指令。

进一步地，本实施例中，通过收音组件接收用户发出的需求指令的语音，并对需求指令进行语音识别，确定出需求指令的语义信息。

步骤202，对需求指令进行响应。

进一步地，本实施例中，步骤202的实现方式与本申请第一实施例中的步骤102相关内容的实现方式相似，在此不再一一赘述。

步骤203，获取用户对响应的反馈信息。

进一步地，如图4所示，步骤203包括以下步骤：

步骤2031，采用收音组件采集用户对需求指令进行响应后的音频数据。

进一步地，为了不打扰用户对电子设备的使用，自动化获取用户对响应的反馈信息，本实施例中，在播放组件播放响应数据的语音时，收音组件继续收音，采集用户对需求指令进行响应后的音频数据。

可以理解的是，在音频数据中除了包括用户对响应的反馈语音外，还可以包括播放响应数据的语音，环境的背景声音。所以需要从音频数据中提取用户对响应的反馈语音。

步骤2032，从音频数据中提取用户对响应的反馈语音。

进一步地，如图5所示，步骤2032包括以下步骤：

步骤2032a，获取用户在需求指令中的语音特征。

步骤2032b，根据语音特征提取音频数据中用户对响应的反馈语音。

具体地，本实施例中，为了能够从音频数据中准确提取出用户对响应的反馈语音，从该用户的需求指令的语音中提取语音特征，语音特征可以为用户的音色、音调等特征。然后根据语音特征从音频数据中过滤掉响应数据的语音，环境的背景声音，提取用户对响应的反馈语音。

步骤2033，将反馈语音转化为反馈文本，以获得反馈信息。

进一步地，本实施例中，通过转化工具将反馈语音转化为文本形式，形成反馈文本，将反馈文本确定为反馈信息。

进一步地，本实施例中，反馈信息包括对响应满意的反馈信息，对响应不满意的反馈信息及与响应不相关的反馈信息。

本实施例中,采用收音组件采集对所述需求指令进行响应后的音频数据，并提取音频中的反馈语音，将反馈语音转化为反馈信息，能够在不打扰用户对电子设备的使用的情况下自动获取用户对响应的反馈信息，并且由于无需用户手动参与，所以也提高了反馈信息的获取效率。

步骤204，根据反馈信息确定对应的反馈意图。

进一步地，如图6所示，步骤204包括以下步骤。

步骤2041，将反馈信息输入至已训练至收敛的意图识别模型中，以通过已训练至收敛的意图识别模型识别对应的反馈意图。

步骤2042，通过已训练至收敛的意图识别模型输出对应的反馈意图。

进一步地，本实施例中，采用训练样本对意图识别模型进行训练。训练样本中既包括对响应满意的反馈信息，对响应不满意的反馈信息还包括与响应不相关的反馈信息。其中，每个反馈信息标注有对应的反馈意图。对响应满意的反馈信息标注的反馈意图为正向反馈意图，对响应不满意的反馈信息标注的反馈意图为负向反馈意图，与响应不相关的反馈信息标注的反馈意图为中性反馈意图。

本实施例中，采用训练样本对意图识别模型进行训练时，调整意图识别模型中的参数，在意图识别模型输出的反馈意图的准确率达到预设准确率或者在迭代次数达到预设迭代次数时，确定意图识别模型收敛，获得已训练至收敛的意图识别模型。

本实施例中，将获得的反馈信息输入到已训练至收敛的意图识别模型中，已训练至收敛的意图识别模型对反馈信息进行特征提取和分类，以确定与该反馈信息对应的反馈意图，并输出对应的反馈意图。

其中，输出的对应的反馈意图可以为：正向反馈意图，负向反馈意图或中性反馈意图的任意一种。

值的说明的是，意图识别模型可以为机器学习模型或深度学习模型等，本实施例中对此不作限定。

本实施例中，通过已训练至收敛的意图识别模型确定反馈信息对应的反馈意图，由于在对意图识别模型进行训练时，包括的训练样本全面，所以能够准确确定反馈信息对应的反馈意图。

步骤205，根据对应的反馈意图对响应进行评测。

进一步地，本实施例中，由于对应的反馈意图包括正向反馈意图，负向反馈意图或中性反馈意图的任意一种，所以若对应的反馈意图为正向反馈意图，则确定响应为正向响应。若对应的反馈意图为中性反馈意图，则确定响应为中性响应。若对应的反馈意图为负向反馈意图，则确定响应为负向响应。

其中，若确定响应为正向响应，则说明该响应为用户满意的响应，无需对该响应进行改进。若确定响应为中性响应，则说明用户未对该响应进行评价，无法获知用户对该响应是否满意，暂时无需对该响应进行改进。若确定响应为负向响应，则说明该响应为用户不满意的响应，需要对该响应进行改进。

本实施例中，反馈意图包括正向反馈意图，负向反馈意图和中性反馈意图，评测出的响应对应为正向响应，负向响应和中性响应。根据反馈意图对响应的评测能够反映用户对响应的真实感受，提高了对响应进行评测的准确性。

步骤206，若对应的反馈意图为负向反馈意图，则根据负向反馈意图对应的反馈信息及需求指令，确定负向反馈意图对应的交互关键信息；将负向反馈意图与对应的交互关键信息和反馈信息进行关联存储。

进一步地，本实施例中，根据负向反馈意图对应的反馈信息及需求指令，确定负向反馈意图对应的交互关键信息时，首先根据负向反馈意图对应的反馈信息确定响应关键信息。其次根据负向反馈意图对应的需求指令，确定对应的需求关键信息。最后将响应关键信息和需求关键信息进行拼接，以确定交互关键信息。

在根据负向反馈意图对应的反馈信息确定响应关键信息时，对反馈信息进行语义解析，以确定对应的响应关键信息。比如反馈信息为“这首歌都找不到”，则进行语义解析后，确定对应的响应关键信息为“歌曲资源缺失”。

在根据负向反馈意图对应的需求指令，确定对应的需求关键信息时，提取需求指令中的关键词，以确定需求关键信息。比如需求指令为“播放歌手周XX的AA气球”，则确定的需求关键信息为“播放AA气球”。

在将响应关键信息和需求关键信息进行拼接，以确定交互关键信息时，将响应关键信息和需求关键信息采用拼接符进行拼接，以确定交互关键信息，例如在上述的举例中，交互关键信息为：“歌曲资源缺失”+“播放AA气球”。其中，“+”为拼接符。

进一步地，本实施例中，在确定了负向反馈意图对应的交互关键信息后，将负向反馈意图和对应的交互关键信息进行关联存储。还可将负向反馈意图与对应的反馈信息进行关联存储。以在后续对响应问题进行归类时获取与负向反馈意图对应的反馈信息和交互关键信息。

步骤207，若对应的反馈意图为负向反馈意图，则判断连续出现负向反馈意图的频次是否大于预设频次阈值，若是，则执行步骤208，否则，执行步骤209。

本实施例中，预先设定一个频次阈值，该频次阈值为连续出现负向反馈意图的频次阈值。如可以为3，5或其他适宜的数值等。

进一步地，本实施例中，对连续出现负向反馈意图的频次进行统计，并在每次出现一次负向反馈意图后，判断连续出现负向反馈意图的频次是否大于预设频次阈值，若是，则说明在电子设备与用户的连续多次交互中，用户对响应均不满意，以达到很不满意的程度，需要主动对不满意的响应进行改进。若否，则说明用户没有连续多次进行负向反馈，需要在尽量不打扰用户使用下，对响应进行改进。

步骤208，向用户推送响应问题反馈请求；接收用户反馈的响应问题信息；将响应问题信息及对应的交互关键信息发送给维护终端。

进一步地，本实施例中，若确定大于预设频次阈值，则向用户推送响应问题反馈请求，响应问题反馈请求可以通过播放组件进行语音播放，或者在操作界面上以文字的形式进行显示。如问题反馈请求为“发现您最近几次需求未得到满足，请您反馈一下问题，以帮助我们进行改进”。

若用户进行了响应问题的反馈，则接收用户反馈的响应问题信息，并将响应问题信息及对应的交互关键信息发送给维护终端，以使维护终端根据响应问题信息及对应的交互关键信息对响应问题进行解析，对响应问题进行改进。在维护终端解析出响应问题后，若解析出是由于用户操作问题使连续多次响应均不满意，则还可由维护人员联系用户，帮助用户解决操作问题，以对响应进行改进。

步骤209，将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据反馈信息及交互关键信息对响应问题进行归类及修复。

进一步地，本实施例中，若连续出现负向反馈意图的频次小于或等于预设频次阈值，则为了尽可能不打扰用户的使用，将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库。

其中，响应问题数据库可位于服务器中。服务器可根据反馈信息及交互关键信息对响应问题进行归类。如可归类成高反馈率的响应问题及低反馈率的响应问题。对高反馈率的问题优先进行修复，对低反馈率的问题排期进行修复。

本实施例中，能够根据连续出现负向反馈意图的频次确定用户对响应不满意的程度，若确定大于所述预设频次阈值，则主动获取用户反馈的响应问题信息，并对响应进行改进，若小于或等于预设频次阈值，则尽量在不打扰用户的情况下，将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以对响应问题进行归类及修复，能够根据负向响应的频次分情况对响应进行改进。

实施例三

图7为根据本申请第三实施例提供的设备响应的评测方法的信令流程图，如图7所示，以电子设备为智能语音交互设备为例进行说明。则本实施例提供的设备响应的评测方法包括以下步骤：

步骤301，智能语音交互设备接收用户的需求指令。

步骤302，智能语音交互设备对需求指令进行响应并获取用户对响应的反馈信息。

步骤303，智能语音交互设备根据反馈信息确定对应的反馈意图，根据对应的反馈意图对响应进行评测。

步骤304，若对应的反馈意图为负向反馈意图，则根据负向反馈意图对应的反馈信息及需求指令，确定负向反馈意图对应的交互关键信息；将负向反馈意图与对应的交互关键信息和反馈信息进行关联存储。

步骤305，若对应的反馈意图为负向反馈意图，则判断连续出现负向反馈意图的频次是否大于预设频次阈值，若是，则执行步骤306，否则执行步骤309。

步骤306，智能语音交互设备向用户推送响应问题反馈请求，接收用户反馈的响应问题信息。

步骤307，智能语音交互设备将响应问题信息及对应的交互关键信息发送给维护终端。

本实施例中，步骤301-步骤307的实现方式与本申请第二实施例中的相关步骤的实现方式相同，在此不再一一赘述。

步骤308，维护终端根据响应问题信息及对应的交互关键信息确定响应问题。

进一步地，本实施例中，维护终端根据响应问题信息及对应的交互关键信息对响应问题进行解析，确定响应问题是由于用户操作问题导致，还是由于智能语音交互设备内的数据库数据不完整导致，还是由于智能语音交互设备未能理解用户的需求指令导致。若响应问题是由于用户操作问题导致，则可由维护终端对应的维护人员联系用户，帮助用户解决操作问题，以对响应进行改进。

步骤309，智能语音交互设备将负向反馈意图对应的反馈信息及交互关键信息上传到服务器的响应问题数据库。

其中，响应问题数据库可设置在服务器中，则智能语音交互设备通过与服务器进行通信，将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库。

步骤310，服务器根据响应问题数据库中的反馈信息及交互关键信息对响应问题进行归类及修复。

进一步，本实施例中，服务器可根据反馈信息及交互关键信息对响应问题进行归类。如可将响应问题归类成高反馈率的响应问题及低反馈率的响应问题。对高反馈率的问题优先进行修复，对低反馈率的问题排期进行修复。

实施例四

图8为根据本申请第四实施例提供的设备响应的评测装置的结构示意图，如图8所示，本实施例提供的设备响应的评测装置位于电子设备中，则该设备响应的评测装置800包括：指令接收模块801，响应模块802，反馈信息获取模块803，反馈意图确定模块804及响应评测模块805。

其中，指令接收模块801，用于接收用户的需求指令。响应模块802，用于对需求指令进行响应。反馈信息获取模块803，用于获取用户对响应的反馈信息。反馈意图确定模块804，用于根据反馈信息确定对应的反馈意图。响应评测模块805，用于根据对应的反馈意图对响应进行评测。

本实施例提供的设备响应的评测装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。

实施例五

图9为根据本申请第五实施例提供的设备响应的评测装置的结构示意图，如图9所示，本实施例提供的设备响应的评测装置900在第四实施例提供的设备响应的评测装置800的基础上，还包括：关键信息确定模块901，负向反馈频次判断模块902，第一负向反馈处理模块903，第二负向反馈处理模块904。

进一步地，反馈信息获取模块803，具体用于：

采用收音组件采集用户对需求指令进行响应后的音频数据；从音频数据中提取用户对响应的反馈语音；将反馈语音转化为反馈文本，以获得反馈信息。

进一步地，反馈信息获取模块803，在从音频数据中提取用户对响应的反馈语音时，具体用于：

获取用户在需求指令中的语音特征；根据语音特征提取音频数据中用户对响应的反馈语音。

进一步地，反馈意图确定模块804，具体用于：

将反馈信息输入至已训练至收敛的意图识别算法中，以通过已训练至收敛的意图识别算法识别对应的反馈意图；通过已训练至收敛的意图识别算法输出对应的反馈意图。

进一步地，响应评测模块805，具体用于：

若对应的反馈意图为正向反馈意图，则确定响应为正向响应；若对应的反馈意图为中性反馈意图，则确定响应为中性响应；若对应的反馈意图为负向反馈意图，则确定响应为负向响应。

进一步地，关键信息确定模块901，用于根据负向反馈意图对应的反馈信息及需求指令，确定负向反馈意图对应的交互关键信息；将负向反馈意图与对应的交互关键信息和反馈信息进行关联存储。

进一步地，负向反馈频次判断模块902，用于判断连续出现负向反馈意图的频次是否大于预设频次阈值。第一负向反馈处理模块903，用于若确定大于预设频次阈值，则向用户推送响应问题反馈请求；接收用户反馈的响应问题信息；将响应问题信息及对应的交互关键信息发送给维护终端。

进一步地，第二负向反馈处理模块904，用于若确定小于或等于预设频次阈值，则将负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据反馈信息及交互关键信息对响应问题进行归类及修复。

本实施例提供的设备响应的评测装置可以执行图3-图7所示方法实施例的技术方案，其实现原理和技术效果与图3-图7所示方法实施例类似，在此不再一一赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图10所示，是根据本申请实施例的语音技能的控制方法的电子设备的框图。电子设备旨在具有语音交互功能的各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的具有语音交互功能的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。电子设备还可以表示各种形式的具有语音交互功能的家电设备，如智能音箱，智能电视，智能冰箱等。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。

存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的设备响应的评测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的设备响应的评测方法。

存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的设备响应的评测方法对应的程序指令/模块(例如，附图8所示的指令接收模块801，响应模块802，反馈信息获取模块803，反馈意图确定模块804及响应评测模块805)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的设备响应的评测方法。

存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图10的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至图10的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图10的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。

输入装置1003可接收输入的语音、数字或字符信息，以及产生与图10的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括语音播放设备、显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，能够根据用户每次的需求指令对应的响应获取反馈信息，根据反馈信息对应的反馈意图实时对响应进行评测，提高了对响应进行评测的时效性。并且由于反馈信息能够反映用户对响应的真实感受，所以能够准确对响应进行评测，提高了对响应进行评测的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种设备响应的评测方法，其特征在于，所述方法应用于电子设备，所述方法包括：

接收用户的需求指令；

对所述需求指令进行响应并获取用户对所述响应的反馈信息；

根据所述反馈信息确定对应的反馈意图；

根据对应的反馈意图对所述响应进行评测；

所述根据对应的反馈意图对所述响应进行评测，包括：若所述对应的反馈意图为负向反馈意图，则确定所述响应为负向响应；

若对应的反馈意图为负向反馈意图，则还包括：根据所述负向反馈意图对应的反馈信息及需求指令，确定所述负向反馈意图对应的交互关键信息；

将所述负向反馈意图与对应的交互关键信息和反馈信息进行关联存储；

所述若所述对应的反馈意图为负向反馈意图，则还包括：

判断连续出现所述负向反馈意图的频次是否大于预设频次阈值；

若确定大于所述预设频次阈值，则向用户推送响应问题反馈请求；

接收用户反馈的响应问题信息；

将所述响应问题信息及对应的交互关键信息发送给维护终端；

若确定小于或等于所述预设频次阈值，则将所述负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据所述反馈信息及所述交互关键信息对响应问题进行归类及修复。

2.根据权利要求1所述的方法，其特征在于，所述获取用户对所述响应的反馈信息，包括：

采用收音组件采集用户对所述需求指令进行响应后的音频数据；

从所述音频数据中提取用户对所述响应的反馈语音；

将所述反馈语音转化为反馈文本，以获得所述反馈信息。

3.根据权利要求2所述的方法，其特征在于，所述从所述音频数据中提取用户对所述响应的反馈语音，包括：

获取所述用户在所述需求指令中的语音特征；

根据所述语音特征提取所述音频数据中用户对所述响应的反馈语音。

4.根据权利要求1所述的方法，其特征在于，所述根据所述反馈信息确定对应的反馈意图，包括：

将所述反馈信息输入至已训练至收敛的意图识别模型中，以通过所述已训练至收敛的意图识别模型识别所述对应的反馈意图；

通过所述已训练至收敛的意图识别模型输出所述对应的反馈意图。

5.根据权利要求1所述的方法，其特征在于，所述根据对应的反馈意图对所述响应进行评测，还包括：

若所述对应的反馈意图为正向反馈意图，则确定所述响应为正向响应；

若所述对应的反馈意图为中性反馈意图，则确定所述响应为中性响应。

6.一种设备响应的评测装置，其特征在于，所述装置位于电子设备，所述装置包括：

指令接收模块，用于接收用户的需求指令；

响应模块，用于对所述需求指令进行响应；

反馈信息获取模块，用于获取用户对所述响应的反馈信息；

反馈意图确定模块，用于根据所述反馈信息确定对应的反馈意图；

响应评测模块，用于根据对应的反馈意图对所述响应进行评测；

所述响应评测模块，具体用于：若所述对应的反馈意图为负向反馈意图，则确定所述响应为负向响应；

所述评测装置还包括：

关键信息确定模块，用于根据所述负向反馈意图对应的反馈信息及需求指令，确定所述负向反馈意图对应的交互关键信息；将所述负向反馈意图与对应的交互关键信息和反馈信息进行关联存储；

还包括：

负向反馈频次判断模块，用于判断连续出现所述负向反馈意图的频次是否大于预设频次阈值；

第一负向反馈处理模块，用于若确定大于所述预设频次阈值，则向用户推送响应问题反馈请求；接收用户反馈的响应问题信息；将所述响应问题信息及对应的交互关键信息发送给维护终端；

还包括：

第二负向反馈处理模块，用于若确定小于或等于所述预设频次阈值，则将所述负向反馈意图对应的反馈信息及交互关键信息上传到响应问题数据库，以根据所述反馈信息及所述交互关键信息对响应问题进行归类及修复。

7.根据权利要求6所述的装置，其特征在于，所述反馈信息获取模块，具体用于：

采用收音组件采集用户对所述需求指令进行响应后的音频数据；从所述音频数据中提取用户对所述响应的反馈语音；将所述反馈语音转化为反馈文本，以获得所述反馈信息。

8.根据权利要求7所述的装置，其特征在于，所述反馈信息获取模块，在所述从所述音频数据中提取用户对所述响应的反馈语音时，具体用于：

获取所述用户在所述需求指令中的语音特征；根据所述语音特征提取所述音频数据中用户对所述响应的反馈语音。

9.根据权利要求6所述的装置，其特征在于，所述反馈意图确定模块，具体用于：

将所述反馈信息输入至已训练至收敛的意图识别算法中，以通过所述已训练至收敛的意图识别算法识别所述对应的反馈意图；通过所述已训练至收敛的意图识别算法输出所述对应的反馈意图。

10.根据权利要求6所述的装置，其特征在于，所述响应评测模块，具体还用于：

若所述对应的反馈意图为正向反馈意图，则确定所述响应为正向响应；若所述对应的反馈意图为中性反馈意图，则确定所述响应为中性响应。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。