CN109658940A - 更新语音识别资源的方法及系统 - Google Patents

Abstract

本发明公开一种更新语音识别资源的方法及系统，其中方法包括：接收预定时间内的新的语音识别资源；在镜像环境下对所述新的语音识别资源进行升级前检查；当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；采用预设全量测试集对升级后的资源文件进行全量测试；当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。本发明可以快速实现语音识别资源的更新升级，能够用于降低语音服务更新升级的成本，提升效率。

Description

更新语音识别资源的方法及系统

技术领域

本发明涉及语音服务技术领域，尤其涉及一种更新语音识别资源的方法及系统。

背景技术

目前现有技术中，缺乏完整的针对语音识别服务测试更新的方案。对于语音识别以外的服务，可以通过线下测试，全量或增量更新应用等方法进行服务更新，而语音识别服务由于其时效性要求，需要频繁稳定地更新服务，并且自动化程度要高。

传统的服务更新技术，在上线前通常会在测试环境整体更新服务，使用全量或者增量的方式测试服务功能，安排上线后再进行一遍重点功能的测试。该种更新方法缺点如下：

上线代价大：全量更新服务动用人力大，对服务运行也会造成影响

影响系统稳定性：服务更新的方式很容易在升级过程中遇到意料之外的问题，不适用于语音识别服务：语音识别服务对时效性、频繁度有严格的要求，传统方法无法满足。

发明人在实现本发明的过程中发现，语音识别的资源和应用之间完全解耦，但是在实际的语音服务的更新升级中，一般都是只要有新的词条出现，就对整个语音服务(包括语音识别资源和应用)进行升级更新，从而导致了更新升级成本高、效率低、容易出错等问题。

发明内容

本发明实施例提供一种更新语音识别资源的方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种更新语音识别资源的方法，包括：

接收预定时间内的新的语音识别资源；

在镜像环境下对所述新的语音识别资源进行升级前检查；

当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；

采用预设全量测试集对升级后的资源文件进行全量测试；

当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。

第二方面，本发明实施例提供一种更新语音识别资源的系统，包括：

数据接收程序模块，用于接收预定时间内的新的语音识别资源；

资源检查程序模块，用于在镜像环境下对所述新的语音识别资源进行升级前检查；

升级程序模块，用于当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；

全量测试程序模块，用于采用预设全量测试集对升级后的资源文件进行全量测试；

更新程序模块，用于当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项更新语音识别资源的方法。

第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项更新语音识别资源的方法。

第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项更新语音识别资源的方法。

本发明实施例的有益效果在于：可以快速实现语音识别资源的更新升级，能够用于降低语音服务更新升级的成本高、提升效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的更新语音识别资源的方法的一实施例的流程图；

图2为本发明的更新语音识别资源的方法的另一实施例的流程图；

图3为本发明的更新语音识别资源的方法的再一实施例的流程图；

图4为本发明的更新语音识别资源的方法的又一实施例的流程图；

图5为本发明的更新语音识别资源的系统的一实施例的原理框图；

图6为本发明的更新语音识别资源的系统的另一实施例的原理框图；

图7为本发明的更新语音识别资源的系统的再一实施例的原理框图；

图8为本发明的电子设备的一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

语音识别的资源和应用之间完全解耦，更新词条只需要更新资源，需要同时升级时先升级应用再升级资源；一般情况下都只需要更新资源，语音识别因为有实时性，网络上出现了新的词，我们应该马上能识别出这是一个词语，因此需要每天更新资源。同时采用镜像环境，全量验证的方式进行资源升级前检查，对每日的新词条，提前训练资源并预测试资源功能，之后在镜像环境采用全量测试用例检查，若通过则凌晨自动更新至线上，之后进行小范围测试集的测试，如果失败回滚等待第二天上线。

如图1所示，为本发明的更新语音识别资源的方法的一实施例的流程图，本发明实施例的执行的主体是为单独部署的独立服务器，用于同时接触语音是被服务的资源、线下环境、线上环境，从而完成整体的更新、测试、上线、回滚等步骤。该方法包括：

S11、接收预定时间内的新的语音识别资源；示例性地，预定时间可以是1天，或者更短的或者更长的时间，适应语音识别的实时性要求，本发明对此不作限定。

S12、在镜像环境下对所述新的语音识别资源进行升级前检查；

S13、当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；

S14、采用预设全量测试集对升级后的资源文件进行全量测试；示例性地，预设全量测试集基于新的语音识别资源所对应的新的词条生成。

S15、当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。示例性地，在凌晨之后的时间段将所述新的语音识别资源更新至线上环境。

在一些实施例中，当检测到的升级前检查结果表明所述新的语音识别资源未通过升级前检查时，生成检查失败通知消息。

本发明可以快速实现语音识别资源的更新升级，能够用于降低语音服务更新升级的成本高、提升效率。

如图2所示，为本发明的更新语音识别资源的方法的一实施例的流程图，在本实施例中，在将所述新的语音识别资源更新至线上环境之后还包括：

S21、采用部分测试用例集在线上环境下对更新后的语音识别资源进行线上测试；

S22、如果通过所述线上测试，则生成更新成功消息；

S23、如果没有通过所述线上测试，则回滚至原语音识别资源版本。

本发明实施例中在基于更新的词条得到新的语音识别资源之后在测试环境就对其进行了预测试，因此可以在线上进行测试时只进行部分用例测试即可确保新的语音识别资源的可用性；也正是由于这样，大大缩短了线上测试时间，将进行线上测试可能对业务的影响降到了最小。

如图3所示，为本发明的更新语音识别资源的方法的一实施例的流程图，本实施例中还包括：

S31、当没有通过所述全量测试时，进一步判断全量测试失败的原因；

S32、当所述全量测试失败的原因是服务结果出错时，生成全量测试失败通知消息；

S33、当所述全量测试失败的原因是服务异常时，重新进行所述全量测试。

本实施例中，服务结果出错为正常输出了结果，但与预期不符合，在对比时报异常；服务异常为服务不能正常输出结果，在进行测试时抛出异常；服务结果出错时自动通知，因为这代表资源没有达到预期的结果，需要进一步定位，服务异常时重试，因为偶现的网络延迟、CPU占用等原因会导致个别请求失败，但不代表资源有问题，重试可以节约人为介入的成本。

如图4所示，为本发明的更新语音识别资源的方法的另一实施例的流程图，本发明实施例的执行的主体是为单独部署的独立服务器，用于同时接触语音是被服务的资源、线下环境、线上环境，从而完成整体的更新、测试、上线、回滚等步骤。该方法具体包括以下步骤：

1)、在提交每日更新的词条后，资源测试任务会定时对新的测试资源进行预测试，完成后标记为测试成功。若失败，则发送消息通知人员定位。

示例性地，每日更新的词条是原语音服务系统中不存在的词语。可以通过某些自动化手段(例如，网络爬虫)搜集网络上出现的新词语。

获取新的词条之后，还要将新的词条与语音服务系统的词库进行关联以生成相应的测试资源，例如，新歌“爱我中华”应该添加到歌曲名的词库，然后生成应用能解析的资源文件，即，新的语音识别资源。

之后对新的语音识别资源进行预测试，以确定新的语音识别资源是否可用以及各式是否正确等。

2)、主测试任务会每天定时读取资源测试任务状态，在获取资源测试成功标志后，从资源服务器同步资源文件。

3)、更新测试环境为线上服务版本，并升级资源文件。

示例性地，升级资源文件指的是采用从资源服务器中同步来的资源文件，将原来的资源文件覆盖或者进行增量升级。资源文件包含很多词库，每个词都隶属于某个词库，如果添加新词之前已有该词库，则覆盖，否则增量添加。将升级后的资源文件挂载的磁盘上。

4)、使用全量测试集进行测试，在测试的同时输出详细的过程文件，并在测试结束后进行比对，输出比对文件。如果成功率为100％，则等待凌晨更新线上环境，如果测试失败，根据失败的原因是服务结果出错还是服务异常，自动进行消息通知或重新测试，如果重新测试仍未成功，则进行消息通知。

示例性地，采用全量测试集对新的语音识别资源进行全量测试，即，只对增量的部分进行测试，因为识别的重点是之前未能进行识别的词现在能否正确被识别成一个词语，具有一定的独立性，而且所有词条的总数庞大，每个词又不止一条测试用例，全量测试没必要也不现实。

示例性地，新的词会生成与之对应的测试用例，比如新词歌曲“爱我中华”，会生成“我想听爱我中华”，“放一下爱我中华”，“给我播放刘德华的爱我中华”等多个用例，同时每个用例都会生成预期的正确结果，比如“意图---播放歌曲，歌曲名---爱我中华”测试时将用例作为系统输入，检查输出是否符合预期。

过程文件指的是，用例执行过程中的记录文件，记录输入、输出、时延、错误、进度等。一共四类文件：预期结果文件、结果文件、过程文件、对比结果文件，其中，

预期结果文件：在用例集中，标注该用例的预期结果；

结果文件：记录语音识别的结果；

过程文件：记录测试过程，方便定位；

对比结果文件：将预期结果文件和结果文件进行对比，输出正确率及具体失败用例。

服务结果出错为正常输出了结果，但与预期不符合，在对比时报异常；

服务异常为服务不能正常输出结果，在进行测试时抛出异常；

服务结果出错时自动通知，因为这代表资源没有达到预期的结果，需要进一步定位，服务异常时重试，因为有时候网络延迟、CPU占用等原因会导致服务异常，但不代表资源有问题，重试可以节约人为介入的成本。

有一些偶见的情况会导致个别请求失败，比如网络不稳定，这时候重试一次大概率会成功，如果还是失败，说明失败的情况不算偶见，需要进一步定位原因。

5)、在步骤4)的测试通过的前提下，系统凌晨会对线上环境的资源进行更新，更新完成后进行小用例集的测试，一旦失败，立刻回退版本，发送消息通知。

示例性地，“小用例集”是“全量测试集”的一部分。全量测试集为新词的全量测试集，不包含旧词。例如，新添加了10个词，每个词生成3个测试用例，那全量测试集就包含30个测试用例，小测试集为抽取三分之一，则小测试集包含10个测试用例。因为本发明实施例中在基于更新的词条得到新的语音识别资源之后在测试环境就对其进行了预测试，因此可以在线上进行测试时只进行部分用例测试即可确保新的语音识别资源的可用性；另一方面，大大缩短了线上测试时间，将进行线上测试可能对业务的影响降到了最小。目前每天测试的时间大概为2-4小时，线上环境力求尽快完成测试不影响业务，因此为了缩短时间使用小测试集。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

如图5所示，本发明的实施例还提供一种更新语音识别资源的系统500，包括：

数据接收程序模块501，用于接收预定时间内的新的语音识别资源；

资源检查程序模块502，用于在镜像环境下对所述新的语音识别资源进行升级前检查；

升级程序模块503，用于当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；

全量测试程序模块504，用于采用预设全量测试集对升级后的资源文件进行全量测试；

更新程序模块505，用于当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。

在一些实施例中，本发明的更新语音识别资源的系统还包括第三消息生成程序模块，用于当检测到的升级前检查结果表明所述新的语音识别资源未通过升级前检查时，生成检查失败通知消息。

如图6所示，在一些实施例中，本发明的更新语音识别资源的系统500还包括：

部分测试程序模块511，用于在将所述新的语音识别资源更新至线上环境之后，采用部分测试用例集在线上环境下对更新后的语音识别资源进行线上测试；

第一消息生成程序模块512，用于当通过所述线上测试时，生成更新成功消息；

版本回滚程序模块513，用于当没有通过所述线上测试时，回滚至原语音识别资源版本。

如图7所示，在一些实施例中，本发明的更新语音识别资源的系统500还包括：

判断程序模块521，用于当没有通过所述全量测试时，进一步判断全量测试失败的原因；

第二消息生成程序模块522，用于当所述全量测试失败的原因是服务结果出错时，生成全量测试失败通知消息；

重测试程序模块523，用于当所述全量测试失败的原因是服务异常时，重新进行所述全量测试。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项更新语音识别资源的方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项更新语音识别资源的方法。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行更新语音识别资源的方法。

在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时更新语音识别资源的方法。

上述本发明实施例的更新语音识别资源的系统可用于执行本发明实施例的更新语音识别资源的方法，并相应的达到上述本发明实施例的实现更新语音识别资源的方法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardwareprocessor)来实现相关功能模块。

图8是本申请另一实施例提供的执行更新语音识别资源的方法的电子设备的硬件结构示意图，如图8所示，该设备包括：

一个或多个处理器810以及存储器820，图8中以一个处理器810为例。

执行更新语音识别资源的方法的设备还可以包括：输入装置830和输出装置840。

处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器820作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的更新语音识别资源的方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例更新语音识别资源的方法。

存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据更新语音识别资源的装置的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至更新语音识别资源的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可接收输入的数字或字符信息，以及产生与更新语音识别资源的装置的用户设置以及功能控制有关的信号。输出装置840可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行上述任意方法实施例中的更新语音识别资源的方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种更新语音识别资源的方法，包括：

接收预定时间内的新的语音识别资源；

在镜像环境下对所述新的语音识别资源进行升级前检查；

当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在镜像环境下基于所述新的语音识别资源升级资源文件；

采用预设全量测试集对升级后的资源文件进行全量测试；

当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。

2.根据权利要求1所述的方法，其中，在将所述新的语音识别资源更新至线上环境之后还包括：

采用部分测试用例集在线上环境下对更新后的语音识别资源进行线上测试；

如果通过所述线上测试，则生成更新成功消息；

如果没有通过所述线上测试，则回滚至原语音识别资源版本。

3.根据权利要求1所述的方法，其中，还包括：

当没有通过所述全量测试时，进一步判断全量测试失败的原因；

当所述全量测试失败的原因是服务结果出错时，生成全量测试失败通知消息；

当所述全量测试失败的原因是服务异常时，重新进行所述全量测试。

4.根据权利要求1所述的方法，其中，还包括：

当检测到的升级前检查结果表明所述新的语音识别资源未通过升级前检查时，生成检查失败通知消息。

5.一种更新语音识别资源的系统，包括：

数据接收程序模块，用于接收预定时间内的新的语音识别资源；

资源检查程序模块，用于在镜像环境下对所述新的语音识别资源进行升级前检查；

升级程序模块，用于当检测到的升级前检查结果表明所述新的语音识别资源通过升级前检查时，在所述镜像环境下基于所述新的语音识别资源升级资源文件；

全量测试程序模块，用于采用预设全量测试集对升级后的资源文件进行全量测试；

更新程序模块，用于当通过所述全量测试时，在设定时间段将所述新的语音识别资源更新至线上环境。

6.根据权利要求5所述的系统，其中，还包括：

部分测试程序模块，用于在将所述新的语音识别资源更新至线上环境之后，采用部分测试用例集在线上环境下对更新后的语音识别资源进行线上测试；

第一消息生成程序模块，用于当通过所述线上测试时，生成更新成功消息；

版本回滚程序模块，用于当没有通过所述线上测试时，回滚至原语音识别资源版本。

7.根据权利要求5所述的系统，其中，还包括：

判断程序模块，用于当没有通过所述全量测试时，进一步判断全量测试失败的原因；

第二消息生成程序模块，用于当所述全量测试失败的原因是服务结果出错时，生成全量测试失败通知消息；

重测试程序模块，用于当所述全量测试失败的原因是服务异常时，重新进行所述全量测试。

8.根据权利要求5所述的系统，其中，还包括：

第三消息生成程序模块，用于当检测到的升级前检查结果表明所述新的语音识别资源未通过升级前检查时，生成检查失败通知消息。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。