CN113282475A - 用于评价交互系统交互性能的方法和装置 - Google Patents

Abstract

本申请涉及人机交互技术领域，公开一种用于评价交互系统交互性能的方法。该用于评价交互系统交互性能的方法包括：获得交互系统的交互日志中每条日志的交互状态，并依据交互状态对每条日志进行标注；根据每条日志的标注结果，确定交互系统的自学习指数，以评价交互系统的交互性能。采用该用于评价交互系统交互性能的方法可可对交互系统通过自学习提升自身性能的动态过程进行评价。本申请还公开一种用于评价交互系统交互性能的装置。

Description

用于评价交互系统交互性能的方法和装置

技术领域

本申请涉及人机交互技术领域，例如涉及一种用于评价交互系统交互性能的方法和装置。

背景技术

目前，用户可通过语音、手势等与携带有交互系统的智能设备交互，实现对智能设备的控制。交互成功率是衡量交互系统的重要指标，其定义为交互成功的样例个数除以总样例个数，交互成功率越高，交互系统的性能越优异。交互系统性能的提升，通常用交互成功率来表示。

在交互系统应用前，首先对交互系统进行训练，以提高交互成功率，即，提高交互系统的性能，在交互成功率达标后，即可对交互系统进行应用。其中，对交互系统训练的过程，即为对交互系统优化的过程，例如，可通过调整交互系统中一些节点处的参数，实现交互成功率的提高。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

在交互系统的应用过程中，即在交互系统的交互过程中，现有的交互成功率指标很难对交互系统通过自学习提升自身性能的动态过程进行评价，不利于交互系统的自学习过程。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于评价交互系统交互性能的方法和装置，以解决在交互系统的交互过程中，现有的交互成功率指标很难对交互系统通过自学习提升自身性能的动态过程进行评价的技术问题。

在一些实施例中，用于评价交互系统交互性能的方法包括：

获得交互系统的交互日志中每条日志的交互状态，并依据所述交互状态对每条日志进行标注；

根据每条日志的标注结果，确定所述交互系统的自学习指数，以评价所述交互系统的交互性能。

可选地，根据每条日志的标注结果，确定所述交互系统的自学习指数，包括：

获得所述交互日志中在当前评价周期前设定时长内交互失败的第一失败日志；

根据所述第一失败日志对应的交互内容在所述当前评价周期内的交互成功率，确定所述当前评价周期的交互成功率；

根据所述当前评价周期的交互成功率确定所述自学习指数。

可选地，所述当前评价周期包括多个子数据采集周期；根据所述第一失败日志对应的交互内容在所述当前评价周期内的交互成功率，确定所述当前评价周期的交互成功率，包括：根据所述第一失败日志，确定每个子数据采集周期的交互成功率；获得多个子数据采集周期的交互成功率的平均值；将所述平均值确定为所述当前评价周期的交互成功率。

可选地，所述设定时长为一个子数据采集周期；根据所述第一失败日志，确定每个子数据采集周期的交互成功率，包括：在当前子数据采集周期为所述当前评价周期的第一个子数据采集周期的情况下，将所述第一失败日志对应的交互内容在所述当前子数据采集周期内的交互成功率，确定为所述当前子数据采集周期的交互成功率。

可选地，根据所述第一失败日志，确定每个子数据采集周期的交互成功率，还包括：在当前子数据采集周期非所述当前评价周期的第一个子数据采集周期的情况下，在所述交互日志中，获得所述当前子数据采集周期的前一子数据采集周期内的交互失败的第二失败日志；将所述第二失败日志对应的交互内容在所述当前子数据采集周期内的交互成功率，确定为所述当前子数据采集周期的交互成功率。

可选地，根据所述第一失败日志，确定每个子数据采集周期的交互成功率，包括：将所述第一失败日志对应的交互内容在每个子数据采集周期内的交互成功率，确定为每个子数据采集周期的交互成功率。

可选地，根据所述当前评价周期的交互成功率确定所述自学习指数，包括：获得所述当前评价周期的交互失败率；根据所述当前评价周期的交互成功率和交互失败率，确定自学习指数，使所述自学习指数为随所述交互成功率的单调递增函数。

可选地，根据所述当前评价周期的交互成功率和交互失败率，确定自学习指数，包括：

S＝k′/(k′+r)

其中，S为自学习指数，k′为交互成功率，r为交互失败率。

可选地，获得所述当前评价周期的交互失败率，包括：获得所述交互日志中在所述当前评价周期内的日志的第一数量，以及在所述当前评价周期内的交互失败的日志的第二数量；根据所述第一数量和所述第二数量，确定所述当前评价周期的交互失败率。

可选地，获得所述交互日志中每条日志的交互状态，包括：在通过预设交互策略确定所述交互日志中的日志为用户满意的回复的情况下，则将所述交互日志中的日志的交互状态确定为交互成功；在通过预设交互策略确定所述交互日志中的日志为用户不满意的回复的情况下，则将所述交互日志中的日志的交互状态确定为交互失败。

在一些实施例中，用于评价交互系统交互性能的装置包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行前述实施例提供的用于评价交互系统交互性能的方法。

在一些实施例中，交互系统包括前述实施例提供的用于评价交互系统交互性能的装置。

本公开实施例提供的用于评价交互系统交互性能的方法和装置，可以实现以下技术效果：

交互系统的自学习指数可对交互系统通过自学习提升自身性能的动态过程进行评价，有利于交互系统的自学习过程。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或一个以上实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件视为类似的元件，并且其中：

图1是本公开实施例提供的一种交互系统的实施场景的示意图；

图2是本公开实施例提供的一种用于评价交互系统交互性能的方法的示意图；

图3是本公开实施例提供一种确定自学习指数的过程的示意图；

图4是本公开实施例提供的一种用于评价交互系统交互性能的装置的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

图1是本公开实施例提供的一种交互系统的实施场景的示意图。结合图1所示，交互系统可包括交互模型与交互日志，交互模型可接收请求信息，交互模型在接收到请求信息之后，可对该请求信息进行回复；交互日志中可记录请求信息及其对应的回复。

这里的请求信息可以是用户请求信息，例如用户的语音指令信息、用户的手势指令信息等。

交互模型对请求信息的回复，可以是发出控制其他设备的控制指令，例如控制智能空调的控制指令、控制智能冰箱的控制指令或控制智能电视的控制指令等，也可以是通过视频、音频等向用户回复。

本公开实施例中的交互系统需要依托具体的设备来执行，该交互系统可通过终端设备、家电设备等执行。

这里的终端设备可为智能手机、平板电脑、超级移动个人计算机(Ultra-mobilePersonal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等终端设备，且不限于此。

这里的家电设备可以是智能电视、智能冰箱、智能空调、智能空调、智能冰箱等家电，且不限于此。

图2是本公开实施例提供的一种用于评价交互系统交互性能的方法的示意图，该方法可由具备交互功能的终端设备或家电设备执行。结合图2所示，用于评价交互系统交互性能的方法包括：

S201、获得交互系统的交互日志中每条日志的交互状态，并依据交互状态对每条日志进行标注。

其中，交互状态包括交互成功和交互失败。

交互日志中记录有请求信息(例如用户以语音或手势的形式发送的请求信息)以及交互系统对该请求信息的回复。

在一些应用场景中，获得交互日志中每条日志的交互状态，包括：在通过预设交互策略确定交互日志中的日志为用户满意的回复的情况下，将交互日志中的日志的交互状态确定为交互成功；在通过预设交互策略确定交互日志中的日志为用户不满意的回复的情况下，则将交互日志中的日志的交互状态确定为交互失败。

逐条读取交互日志中的每条日志，并根据预设交互策略对每条日志逐条判断，以确定每条日志的交互状态为交互成功或交互失败。

这里的预设交互策略是用于确定是否交互成功的策略，例如，如果在交互日志中出现两条或多条日志的请求信息相同，但回复不同，则确定这两条或多条日志的交互状态为交互失败；或者，在交互系统发送对应于请求信息的回复后，再接收用户触发的“正确”或“错误”的反馈，如果一个交互内容得到“正确”的反馈，则确定记录该交互内容的日志的交互状态为交互成功，如果一个交互内容到的“错误”的反馈，则确定记录该交互内容的日志的交互状态为交互失败。

可选地，依据交互状态对交互日志中的每条日志进行标注，包括：在一条日志的交互状态为交互成功的情况下，将该一条日志标注为交互成功；在一条日志的交互状态为交互失败的情况下，将该一条日志标注为交互失败。在这样标注后，便于在后续步骤中确定出失败日志，以及当前评价周期的交互成功率。

在一些实际应用中，可将每条日志的交互状态记录在该条日志中。

S202、根据每条日志的标注结果，确定交互系统的自学习指数，以评价交互系统的交互性能。

交互系统的自学习指数可对交互系统通过自学习提升自身性能的动态过程进行评价，有利于交互系统的自学习过程。

图3是本公开实施例提供一种确定自学习指数的过程的示意图。结合图3所示，根据每条日志的标注结果，确定交互系统的自学习指数，包括：

S301、获得交互日志中在当前评价周期前设定时长内交互失败的第一失败日志。

交互日志中每条日志还记录有交互时刻，当前评价周期具有开始时刻和结束时刻。在交互日志中，首先选定交互时刻在当前评价周期的开始时刻之前的设定时长内的日志，再依次读取获得这些日志的交互状态，如果日志的交互状态为交互失败，则将该日志确定为第一失败日志。第一失败日志中日志的数量可以是一个或多个。

在获得第一失败日志后，再获得第一失败日志在当前评价周期内的交互成功率。例如，在当前评价周期包括一个或多个子数据采集周期的情况下，可以获得第一失败日志对应的交互内容在当前评价周期中的一个子数据采集周期内的交互成功率，也可以获得第一失败日志对应的交互内容在当前评价周期中的全部子数据采集周期中的交互成功率。

S302、根据第一失败日志对应的交互内容在当前评价周期内的交互成功率，确定当前评价周期的交互成功率。

这里的交互内容，可以是控制其他设备的控制指令，例如可以是控制智能空调的控制指令、控制智能冰箱的控制指令或者控制智能电视的控制指令等，也可以是查询天气等其他指令。

第一失败日志中每条日志对应的交互内容，可在当前评价周期内进行一次或多次，或者，一次也不进行。

在一些应用场景中，设定时长可大于当前评价周期，以第一失败日志在当前评价周期的交互成功率，作为当前评价周期的交互成功率；或者，设定时长可等于当前评价周期，以第一失败日志在当前评价周期的交互成功率，作为当前评价周期的交互成功率；或者，设定时长可小于当前评价周期，以第一失败日志在当前评价周期的交互成功率，作为当前评价周期的交互成功率。

可选地，当前评价周期包括一个子数据采集周期，则可获得第一失败日志对应的交互内容在该一个子数据采集周期内的交互成功率，以第一失败日志对应的交互内容在该一个子数据采集周期内的交互成功率，作为当前评价周期的交互成功率。

可选地，当前评价周期包括多个子数据采集周期，对应地，设定时长可以是一个或多个子数据采集周期。当前评价周期可以包括2个、3个、4个或更多个子数据采集周期。例如，一个子数据采集周期可以是一周，当前评价周期可以是14天，此时当前评价周期包括2个子数据采集周期；或者，当前评价周期可以是21天，此时当前评价周期包括3个子数据采集周期；或者，当前评价周期可以是28天，此时当前评价周期包括4个子数据采集周期。在此基础上，根据第一失败日志对应的交互内容在当前评价周期内的交互成功率，确定当前评价周期的交互成功率，包括：根据第一失败日志，确定每个子数据采集周期的交互成功率；获得多个子数据采集周期的交互成功率的平均值；将平均值确定为当前评价周期的交互成功率。

采用上述步骤即可确定出当前评价周期的交互成功率。

在一些应用场景中，设定时长为一个子数据采集周期，当前评价周期包括多个子数据采集周期；在此基础上，根据第一失败日志，确定每个子数据采集周期的交互成功率，包括：在当前子数据采集周期为当前评价周期的第一个子数据采集周期的情况下，将第一失败日志对应的交互内容在当前子数据采集周期内的交互成功率，确定为当前子数据采集周期的交互成功率。

第一失败日志中每条日志对应的交互内容可在当前子数据采集周期进行一次或多次，将第一失败日志中全部日志对应的交互内容在当前子数据采集周期内进行的总次数作为样例总数；将第一失败日志中全部日志对应的交互内容在当前子数据采集周期内交互成功的次数，作为样例成功数，以样例成功数除以样例总数，即可获得第一失败日志对应的交互内容在当前子数据采集周期内的交互成功率。

进一步地，根据第一失败日志，确定每个子数据采集周期的交互成功率，还包括：在当前子数据采集周期非当前评价周期的第一个子数据采集周期的情况下，在交互日志中，获得当前子数据采集周期的前一子数据采集周期内的交互失败的第二失败日志；将第二失败日志对应的交互内容在当前子数据采集周期内的交互成功率，确定为当前子数据采集周期的交互成功率。

第二失败日志中每条日志对应的交互内容可在当前子数据采集周期进行一次或多次，将第二失败日志中全部日志对应的交互内容在当前子数据采集周期内进行的总次数作为样例总数；将第二失败日志中全部日志对应的交互内容在当前子数据采集周期内交互成功的次数，作为样例成功数，以样例成功数除以样例总数，即可获得第二失败日志对应的交互内容在当前子数据采集周期内的交互成功率。

这里以一个子数据采集周期为7天，当前评价周期包括4个子数据采集周期为例，对获得当前评价周期的交互成功率进行示例性说明。

在当前评价周期中，四个子数据采集周期按时间由先至后依次为：第一个子数据采集周期、第二个子数据采集周期、第三个子数据采集周期和第四个子数据采集周期。为了获得当前评价周期的交互成功率，首先获得交互日志中当前评价周期之前的7天(上一个评价周期内的最后一个子数据采集周期)内的交互失败的第一失败日志，这些第一失败日志对应的交互内容可以是重复的，也可以是不重复的；在当前评价周期的第一个子数据采集周期内，获得第一失败日志对应的交互内容的交互成功率，在第一个子数据采集周期内，第一失败日志中每个日志对应的交互内容可进行一次或多次，也可未进行第一失败日志中的一个或多个日志对应的交互内容；将第一失败日志对应的交互内容的交互成功率作为第一个子数据采集周期的交互成功率k₁。

获得第一个子数据采集周期内交互失败的第二失败日志，以这些第二失败日志对应的交互内容在第二个子数据采集周期内的交互成功率，作为第二个子数据采集周期的交互成功率k₂。

获得第二个子数据采集周期内交互失败的第二失败日志，以这些第二失败日志对应的交互内容在第三个子数据采集周期内的交互成功率，作为第三个子数据采集周期的交互成功率k₃。

获得第三个子数据采集周期内交互失败的第二失败日志，以这些第二失败日志对应的交互内容在第四个子数据采集周期内的交互成功率，作为第四个子数据采集周期的交互成功率k₄。

那么，当前评价周期的交互成功率k′＝(k₁+k₂+k₃+k₄)/4。

采用上述步骤即可获得每个子数据采集周期的交互成功率。

在一些应用场景中，根据第一失败日志，确定每个子数据采集周期的交互成功率，包括：将第一失败日志对应的交互内容在每个子数据采集周期内的交互成功率，确定为对应的子数据采集周期的交互成功率。

第一失败日志中每条日志对应的交互内容可在一个子数据采集周期进行一次或多次，将第一失败日志中全部日志对应的交互内容在该一个子数据采集周期内进行的总次数作为样例总数；将第一失败日志中全部日志对应的交互内容在当前子数据采集周期内交互成功的次数，作为样例成功数，以样例成功数除以样例总数，即可获得第一失败日志对应的交互内容在该一个子数据采集周期内的交互成功率；重复执行该过程，依次获得确定每个子数据采集周期的交互成功率。

这里以一个子数据采集周期为7天，当前评价周期包括4个子数据采集周期为例，对获得当前评价周期的交互成功率进行示例性说明。

在当前评价周期中，四个子数据采集周期按时间由先至后依次为：第一个子数据采集周期、第二个子数据采集周期、第三个子数据采集周期和第四个子数据采集周期。

获得交互日志中在当前评价周期之前的7天内的交互失败的第一失败日志，以这些第一失败日志在第一个子数据评价周期内的交互成功率，作为第一个子数据评价周期的交互成功率k₁；以这些第一失败日志在第二个子数据评价周期内的交互成功率，作为第二个子数据采集周期的交互成功率k₂；以这些第一失败日志在第三个子数据评价周期内的交互成功率，作为第三个子数据采集周期的交互成功率k₃；以这些第一失败日志在第四个子数据采集周期的交互成功率，作为第四个子数据采集周期的交互成功率k₄。

那么，当前评价周期的交互成功率k′＝(k₁+k₂+k₃+k₄)/4。

采用上述步骤即可获得每个子数据采集周期的交互成功率。

S303、根据当前评价周期的交互成功率确定自学习指数。

为了更准确地对交互系统通过自学习提升自身性能的动态过程进行评价，这里引入一个自学习指数的概念，自学习指数是依据前述交互成功率与交互失败率确定的，且该自学习指数为随交互成功率的单调递增函数。

那么，根据当前评价周期的交互成功率确定自学习指数，可包括：获得当前评价周期的交互失败率；根据当前评价周期的交互成功率和交互失败率，确定自学习指数，使自学习指数为随交互成功率的单调递增函数。之后再以自学习指数为优化准则进行优化。

这里的当前评价周期的交互成功率，可以是采用前述实施例中提供的方法获得的。

这里的优化方式随交互模型的不同而不同，本领域技术人员可根据交互模型实质的自学习模型，采取合适的优化方式，这里不再一一赘述。

具体地，可通过如下公式确定自学习指数：

S＝k′/(k′+r)

其中，S为自学习指数，k′为交互成功率，r为交互失败率。在当前评价周期的交互式失败率r为零的情况下，自学习指标S达到上限。

可采用如下方式获得当前评价周期的交互失败率：获得交互日志中在当前评价周期内的日志的第一数量，以及在当前评价周期内的交互失败的日志的第二数量；根据第一数量和第二数量，确定当前评价周期的交互失败率。

以第二数量除以第一数量，即可获得当前评价周期的交互失败率。

交互日志中的每条日志均被标注为交互成功和交互失败，在交互日志中，取当前评价周期之前设定时长内交互失败的失败日志，以这些失败日志对应的交互内容作为样例，对当前评价周期内的交互成功率进行评价，这种样例是在交互系统的交互过程中选取的，可用于对交互系统的交互过程中的动态性能进行评价，进而可对交互系统通过自学习提升自身性能的动态过程进行评价，有利于交互系统的自学习过程。

在一些实施例中，用于评价交互系统交互性能的装置包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行前述实施例提供的用于评价交互系统交互性能的方法。

图4是本公开实施例提供的一种用于评价交互系统交互性能的装置的示意图。结合图4所示，用于评价交互系统交互性能的装置包括：

处理器(processor)41和存储器(memory)42，还可以包括通信接口(Communication Interface)43和总线44。其中，处理器41、通信接口43、存储器42可以通过总线44完成相互间的通信。通信接口43可以用于信息传输。处理器41可以调用存储器42中的逻辑指令，以执行前述实施例提供的用于评价交互系统交互性能的方法。

此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种交互系统，包含前述实施例提供的用于评价交互系统交互性能的装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行前述实施例提供的用于评价交互系统交互性能的方法。

本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行前述实施例提供的用于评价交互系统交互性能的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例中方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机读取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于评价交互系统交互性能的方法，其特征在于，包括：

获得交互系统的交互日志中每条日志的交互状态，并依据所述交互状态对每条日志进行标注；

根据每条日志的标注结果，确定所述交互系统的自学习指数，以评价所述交互系统的交互性能。

2.根据权利要求1所述的方法，其特征在于，根据每条日志的标注结果，确定所述交互系统的自学习指数，包括：

获得所述交互日志中在当前评价周期前设定时长内交互失败的第一失败日志；

根据所述第一失败日志对应的交互内容在所述当前评价周期内的交互成功率，确定所述当前评价周期的交互成功率；

根据所述当前评价周期的交互成功率确定所述自学习指数。

3.根据权利要求2所述的方法，其特征在于，所述当前评价周期包括多个子数据采集周期；

根据所述第一失败日志对应的交互内容在所述当前评价周期内的交互成功率，确定所述当前评价周期的交互成功率，包括：

根据所述第一失败日志，确定每个子数据采集周期的交互成功率；

获得多个子数据采集周期的交互成功率的平均值；

将所述平均值确定为所述当前评价周期的交互成功率。

4.根据权利要求3所述的方法，其特征在于，所述设定时长为一个子数据采集周期；根据所述第一失败日志，确定每个子数据采集周期的交互成功率，包括：在当前子数据采集周期为所述当前评价周期的第一个子数据采集周期的情况下，将所述第一失败日志对应的交互内容在所述当前子数据采集周期内的交互成功率，确定为所述当前子数据采集周期的交互成功率；

或者，将所述第一失败日志对应的交互内容在每个子数据采集周期内的交互成功率，确定为每个子数据采集周期的交互成功率。

5.根据权利要求4所述的方法，其特征在于，根据所述第一失败日志，确定每个子数据采集周期的交互成功率，还包括：

在当前子数据采集周期非所述当前评价周期的第一个子数据采集周期的情况下，在所述交互日志中，获得所述当前子数据采集周期的前一子数据采集周期内的交互失败的第二失败日志；

将所述第二失败日志对应的交互内容在所述当前子数据采集周期内的交互成功率，确定为所述当前子数据采集周期的交互成功率。

6.根据权利要求2至5任一项所述的方法，其特征在于，根据所述当前评价周期的交互成功率确定所述自学习指数，包括：

获得所述当前评价周期的交互失败率；

根据所述当前评价周期的交互成功率和交互失败率，确定自学习指数，使所述自学习指数为随所述交互成功率的单调递增函数。

7.根据权利要求6所述的方法，其特征在于，根据所述当前评价周期的交互成功率和交互失败率，确定自学习指数，包括：

S＝k′/(k′+r)

其中，S为自学习指数，k′为交互成功率，r为交互失败率。

8.根据权利要求6所述的方法，其特征在于，获得所述当前评价周期的交互失败率，包括：

获得所述交互日志中在所述当前评价周期内的日志的第一数量，以及在所述当前评价周期内的交互失败的日志的第二数量；

根据所述第一数量和所述第二数量，确定所述当前评价周期的交互失败率。

9.根据权利要求1至5任一项所述的方法，其特征在于，获得所述交互日志中每条日志的交互状态，包括：

在通过预设交互策略确定所述交互日志中的日志为用户满意的回复的情况下，则将所述交互日志中的日志的交互状态确定为交互成功；

在通过预设交互策略确定所述交互日志中的日志为用户不满意的回复的情况下，则将所述交互日志中的日志的交互状态确定为交互失败。

10.一种用于评价交互系统交互性能的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至9任一项所述的用于评价交互系统交互性能的方法。

Images