具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“模块”、“系统”等等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中,并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地系统、分布式系统中另一元件交互的,和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参考图1,其示出了本发明的语音日志分析方法一实施例的流程图,本实施例的语音日志分析方法可以适用于语音日志分析平台或者说语音日志分析系统。
如图1所示,在步骤101中,收集日志并存储在日志仓库;
在步骤102中,从日志仓库中提取对于用户音频信息的响应时间超过阈值的第一日志;
在步骤103中,将第一日志确定为异常日志,并将触发日志异常的用户音频信息标记为异常音频信息。
在本实施例中,对于步骤101,日志分析平台通过从用户终端及服务器上采集日志并存储在日志仓库,便于后续日志进行大数据分析。其中,当用户从DUI(Dialog UserInterface,对话用户界面)平台上下载相应的产品并在终端使用时,会在用户使用该产品的过程中产生日志,同时用户使用该产品时会与DUI服务器发生交互,DUI服务器会采集用户的语音信息,并作出反馈,这个过程中服务器端也会产生日志。由于不管是用户日志还是服务器日志,同一对话的都会有相同的recordId文档编号,因此通过收集整理这些日志就能还原用户与服务器的整个对话过程,从而可以根据日志找到可能存在的问题及可能存在问题的环节。对于步骤102,日志分析平台通过从海量的日志中提取响应时间超过阈值的日志,例如从用户发出音频信息到服务器端作出反馈的时间超过1s,则可以认为超时,一直不响应也可以认为是超时,即响应时间超过阈值可以包括响应时间超过阈值以及超过阈值未响应。这种未能及时响应的情况肯定是存在问题的,可以先把这些日志归为异常日志,后续再由专门的测试人员或者调试人员进行统一处理。对于步骤103,平台将超时的日志确定为异常日志,并将触发响应超时的用户的音频信息标记为异常音频信息,从而后续处理过程中可以统一对异常音频信息进行识别和训练,从而提升DUI平台的语音识别能力和对识别出的内容的反馈能力。
进一步地,还可以对响应时间超过阈值的第一日志进行进一步分析,定位处理的各个阶段中具体哪个阶段用时比较多,或者给各个阶段也都预先定义一个处理时间,当某一个或多个阶段的处理时间超过预定处理时间时,则认为这个阶段的处理可能存在问题,从而精准地定位问题所在,其中,各个阶段包括将用户音频转换成文字、根据文字匹配技能并作出响应以及将响应内容返回给用户。
通过本实施例的方法,可以在响应时间维度上对日志进行分析,之后将响应时间超过阈值的日志确定为异常日志,从而便于后续找到响应时间这块可能存在的问题,方便后续对响应时间进行优化。
进一步参考图2,其示出了本发明一实施例提供的另一种语音日志分析方法的的流程图,本实施例的技术方案适用于语音日志分析平台或语音日志分析系统。本实施例的流程图是在图1的步骤103之后进一步的流程。
如图2所示,在步骤201中,针对日志仓库中对于用户音频信息的响应时间不超过阈值的第二日志,从第二日志中提取缺少响应用户音频信息的各个阶段中的任一个或多个阶段的第三日志,其中,各个阶段包括将用户音频转换成文字、根据文字匹配技能并作出响应以及将响应内容返回给用户;
在步骤202中,将第三日志确定为异常日志,并将触发日志异常的用户音频信息标记为异常音频信息。
在本实施例中,对于步骤201,日志分析平台通过对响应时间不超过阈值的日志进行再次分析,从而能够从中找出虽然响应不超时但是可能存在其他问题的日志,如缺少某些必要的处理阶段直接反馈结果的日志也是存在问题的,例如由于未能识别出用户的音频信息,因此无法进行后续的匹配技能和返回结果,直接回复用户类似“我听不懂你在说什么”,或者即使识别出用户的音频信息,由于未在识别的结果中找到必须的关键字时,后续步骤无法进行,可能也会回复用户“我听不懂你在说什么”,或者还有可能是识别出来用户的音频信息,也找到了必须的关键字,但是没有正常返回结果,或者还可能是用户通过某些操作唤醒了识别机制,但是后续没有再说话,因此也无法为用户提供服务,还有很多其他情况,本领域技术人员根据以上内容可以很容易想到,在此不再赘述。这些日志虽然响应时间正常,但是也没能解决用户的问题,因此也是异常日志,通过在步骤202中将这些日志确定为异常日志并将触发日志异常的语音信息标记为异常音频信息,可以便于后续对这些日志进行进一步地分析,进一步定位问题所在,例如具体是识别错误,还是用户的误操作,从而解决问题。
本实施例的语音日志分析方法通过从响应时间不超过阈值的日志中进一步找出未能解决用户问题的日志,并且可以对缺少不同处理阶段的日志进一步分类,从而可以针对缺少不同阶段的异常日志进行分别处理,提高处理效率。
进一步参考图3,其示出了本发明一实施例提供的又一种语音日志分析方法的的流程图,本实施例的技术方案适用于语音日志分析平台或语音日志分析系统。本实施例的流程图是在图2的步骤202之后进一步的流程。
如图3所示,在步骤301中,针对第二日志中响应用户音频信息的各个阶段均完整的第四日志,提取用户对第四日志的评价信息;
在步骤302中,将第四日志中用户评价不好的日志确定为异常日志。
在本实施例中,主要针对各方面表现正常,正常走过各个阶段,但是用户反馈仍不好的日志。对于步骤301,对于第二日志中响应用户音频信息的各个阶段均完整的第四日志,即从收到用户的音频信息之后,正常识别,正常找到对应技能,并正常反馈给用户,这些各方面都正常的日志本应该没有问题,但是有可能用户的评价信息不好,因此需要提取用户的评价信息,例如技能正常反馈给用户之后,用户通过评价、打分或者直接语音反馈表达自己的不满,此时可以认为用户对此次对话不满,那不满意的原因有可能是过程太复杂、响应时间太长,也有可能是未能正确理解用户的意图等。因此,对于这种响应时间正常、响应过程完整,但是用户不满意的日志,也需要通过步骤302将其确定为异常日志,从而便于后续对其进一步处理以提升用户体验。
在一些可选的实施例中,日志中包括技能编号,语音日志分析方法还可以包括:对日志仓库中各技能编号出现的频率进行统计,将出现频率最好的技能编号确定为关注技能,优先对与关注技能相关的异常日志进行处理。在本实施例中,对于日志中包含技能编号的,可以进一步统计所有包含技能编号的日志中,各技能编号的出现频率,从而可以获知用户对于各个技能的关注程度,进而可以将出现频率最高的一个或多个技能确定为关注技能,从而可以优先处理与关注技能相关的异常日志,进而可以尽快优化用户比较关注的技能,提升用户体验。
在另一些可选的实施例中,日志中包括技能编号,语音日志分析方法还可以包括:对各技能编号在异常日志中出现的频率进行统计,将出现频率最高的技能编号确定为异常率最高技能,优先对异常率最高技能所对应的异常日志进行处理。在本实施例中,当日志中包含技能编号时,还可以对技能编号在所有的异常日志中出现的频率进行统计,从而得出异常日志中出现频率最高的一项或多项技能,进而可以优先处理这些异常率最高技能对应的异常日志,减少该技能的异常率,优化用户对该异常率最高技能的体验。
在一些应用场景中,日志包括正常日志数据(正常跑完整个流程)和异常日志数据(没有跑完某些流程或者根本没跑)。在日志中,有些错误是在写代码时已经被标识的,出现该错误时会反馈相应的错误编号,称为显性错误,有一些是没有被标识的,称为隐性错误。
其中,显性的错误可以出现在自动的日志分析中,包含errorID,并告诉哪出错了,还会反馈有哪些错误,哪些错误占比更高;
隐性错误即本发明研究的对象,主要包括误理解和误唤醒。其中,误理解指的是误理解用户意图,如识别和语义解析没正确理解用户的需求,误唤醒指的是唤醒进入之后不说话或者不说意图直接退出。这些可以通过权重分析得知然后进一步处理。例如唤醒很高,进入技能很低,说明很多是误唤醒,此时可以考虑更换唤醒的方式来改善。
本发明的语音日志分析方案是大数据技术与语音技术的一个结合,在互联网大数据背景下依托大数据技术对语音日志进行分析和挖掘,同时借助语音技术的支撑对数据分析的结果进行有效利用,不断优化语音交互体验,同时产生新的数据进行数据模型的修正,这是一个数据闭环的过程。这需要对大数据技术和语音对话场景都有深入的认识。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
如图4所示,本发明实施例还提供一种语音日志分析系统400,包括日志收集模块410、响应时间分析模块420和异常日志管理模块430。
其中,日志收集模块410,用于收集日志并存储在日志仓库;响应时间分析模块420,用于从所述日志仓库中提取对于用户音频信息的响应时间超过阈值的第一日志;以及异常日志管理模块430,用于将所述响应时间分析模块提取的所述第一日志确定为异常日志,并将触发所述日志异常的用户音频信息标记为异常音频信息。
在一些可选的实施例中,语音日志分析系统400还包括完整性分析模块(图中未示出)。其中,完整性分析模块,用于针对所述日志仓库中对于用户音频信息的响应时间不超过阈值的第二日志,从所述第二日志中提取缺少响应用户音频信息的各个阶段中的任一个或多个阶段的第三日志,其中,所述各个阶段包括将用户音频转换成文字、根据文字匹配技能并作出响应以及将响应内容返回给用户;以及所述异常日志管理模块430还用于将所述完整性分析模块提取的所述第三日志确定为异常日志,并将触发所述日志异常的用户音频信息标记为异常音频信息。
在一些可选的实施例中,语音日志分析系统400还包括日志评价提取模块(图中未示出)。其中,日志评价提取模块,用于针对所述完整性分析模块确定的所述第二日志中响应用户音频信息的各个阶段均完整的第四日志,提取用户对所述第四日志的评价信息;以及所述异常日志管理模块430还用于将所述日志评价提取模块提取的所述第四日志中用户评价不好的日志确定为异常日志。
在一些可选的实施例中,日志中包括技能编号,语音日志分析系统400系统还包括关注技能处理模块(图中未示出)。其中,关注技能处理模块,用于对所述日志仓库中各技能编号出现的频率进行统计,将出现频率最高的技能编号确定为关注技能,优先对与所述关注技能相关的异常日志进行处理。
在一些可选的实施例中,日志中包括技能编号,语音日志分析系统400系统还包括异常率最高技能处理模块(图中未示出)。其中,异常率最高技能处理模块,用于对各技能编号在所述异常日志中出现的频率进行统计,将出现频率最高的技能编号确定为异常率最高技能,优先对所述异常率最高技能所对应的异常日志进行处理。
应当理解,图4中记载的诸模块与参考图1、图2和图3中描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征以及相应的技术效果同样适用于图4中的诸模块,在此不再赘述。
值得注意的是,本公开的实施例中的模块并不用于限制本公开的方案,例如日志收集模块可以描述为用于收集日志并存储在日志仓库的模块。另外,还可以通过硬件处理器来实现相关功能模块,例如日志收集模块也可以用处理器实现,在此不再赘述。
在另一些实施例中,本发明实施例还提供了一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的语音日志分析方法;
作为一种实施方式,本发明的非易失性计算机存储介质存储有计算机可执行指令,计算机可执行指令设置为:
收集日志并存储在日志仓库;
从所述日志仓库中提取对于用户音频信息的响应时间超过阈值的第一日志;
将所述第一日志确定为异常日志,并将触发所述日志异常的用户音频信息标记为异常音频信息。
作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的语音日志分析方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中,当被处理器执行时,执行上述任意方法实施例中的语音日志分析方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据语音日志分析装置的使用所创建的数据等。此外,非易失性计算机可读存储介质可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至语音日志分析装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品,计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,使计算机执行上述任一项语音日志分析方法。
图5是本发明实施例提供的电子设备的结构示意图,如图5所示,该设备包括:
一个或多个处理器510以及存储器520,图5中以一个处理器510为例。
语音日志分析方法的设备还可以包括:输入装置530和输出装置540。
处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接,图5中以通过总线连接为例。
存储器520为上述的非易失性计算机可读存储介质。
处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例语音日志分析方法。
输入装置530可接收输入的数字或字符信息,以及产生与信息投放装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
作为一种实施方式,上述电子设备应用于语音日志分析平台,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:
收集日志并存储在日志仓库;
从所述日志仓库中提取对于用户音频信息的响应时间超过阈值的第一日志;
将所述第一日志确定为异常日志,并将触发所述日志异常的用户音频信息标记为异常音频信息。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。