CN110517665B - 获取测试样本的方法及装置 - Google Patents

Abstract

本发明公开了一种获取测试样本的方法及装置，该方法包括：根据待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，确定全量测试样本；根据待测语音识别系统的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重；进而从全量测试样本中确定目标测试样本。本发明兼顾不同应用场景测试样本的全量测试样本和目标测试样本更加科学全面；基于应用场景及应用场景测试参数，确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而确定的目标测试样本具有不同应用场景的针对性。

Description

获取测试样本的方法及装置

技术领域

本发明涉及软件测试技术领域，尤其涉及获取测试样本的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

软件测试，是描述一种用来促进鉴定软件的正确性、完整性、安全性及质量的过程，是一种实际输出与预期输出之间的审核或者比较的过程。软件测试的经典定义是：在规定的条件下对程序进行操作，以发现程序错误，衡量软件质量，并对其能否满足设计要求进行评估的过程。语音识别系统的软件测试是一种重要的应用场景。

在语音识别系统的测试过程中，需要大量的测试样本。传统的语音识别系统在选取测试样本时，仅仅使用大量的标准测试样本，或者仅仅收集语音识别系统在测试期间产生的少量历史测试样本；或者将大量的标准测试样本与少量历史测试样本相结合形成语音识别系统的目标测试样本。但是，语音识别系统具有大量不同的应用场景，在选取语音识别系统的测试样本时，需要针对性的选取不同应用场景下的测试样本，而标准测试样本和历史测试样本均没有兼顾不同应用场景下的测试，同时标准测试样本和历史测试样本也不够全面，导致产生的语音识别系统的目标测试样本不够科学全面，同时也不具备对不同应用场景的针对性。

因此，现有的获取语音识别系统的目标测试样本存在不够科学全面、不具备对不同应用场景的针对性的问题。

发明内容

本发明实施例提供一种获取测试样本的方法，用以使得获取的语音识别系统的目标测试样本更加科学全面、对不同应用场景具有针对性，该方法包括：

获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本；

分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数；

根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本；

根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重；

根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

本发明实施例还提供一种获取测试样本的装置，用以使得获取的语音识别系统的目标测试样本更加科学全面、对不同应用场景具有针对性，该装置包括：

测试样本获取模块，用于获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本；

全量测试样本确定模块，用于分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数；根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本；

测试权重确定模块，用于根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重；

目标测试样本确定模块，用于根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述获取测试样本的方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述获取测试样本的方法的计算机程序。

本发明实施例中，全量测试样本不仅包括标准测试样本和历史测试样本，还包括一个或多个不同预设应用场景测试样本，据此确定的全量测试样本兼顾了不同应用场景的测试样本，使得确定的全量测试样本更加科学全面；另外，基于不同的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而确定待测语音识别系统的目标测试样本，使得待测语音识别系统的目标测试样本不仅更加科学全面，同时还使得目标测试样本具有不同应用场景的针对性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例提供的获取测试样本的方法的实现流程图；

图2为本发明实施例提供的获取测试样本的方法中步骤102的实现流程图；

图3为本发明实施例提供的获取测试样本的方法的另一实现流程图；

图4为本发明实施例提供的获取测试样本的方法的又一实现流程图；

图5为本发明实施例提供的获取测试样本的装置的功能模块图；

图6为本发明实施例提供的获取测试样本的装置中全量测试样本确定模块502的结构框图；

图7为本发明实施例提供的获取测试样本的装置的另一功能模块图；

图8为本发明实施例提供的获取测试样本的装置的又一功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

虽然本发明提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本发明实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。

针对现有技术中获取语音识别系统的目标测试样本存在的不够科学全面、不具备对不同应用场景的针对性的缺陷，本发明的申请人提出了一种获取测试样本的方法及装置，本发明提供的全量测试样本不仅包括标准测试样本和历史测试样本，还包括一个或多个不同预设应用场景测试样本，据此确定的全量测试样本兼顾了不同应用场景的测试样本，使得确定的全量测试样本更加科学全面；另外，基于不同的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而确定的待测语音识别系统的目标测试样本不仅更加科学全面，同时还使得目标测试样本具有不同应用场景的针对性。

图1示出了本发明实施例提供的获取测试样本的方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

如图1所示，获取测试样本的方法，其包括：

步骤101，获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本；

步骤102，根据待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，确定待测语音识别系统的全量测试样本；

步骤103，根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重；

步骤104，根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

在获取待测语音识别系统的标准测试样本时，可以从测试输入标准库中获得标准测试样本。测试输入标准库，是指业内权威机构或者开源组织提供的语音识别标准测试库，例如中国电子技术标准化研究院就提供一些语音识别标准测试库。在语音识别领域，业内有很多这样的标准测试库，不再详细举例。测试输入标准库，其中包含了大量的标准测试样本。标准性是测试样本的一个重要属性，而该测试输入标准库正是考虑了测试样本的标准性。

历史样本数据，可以是在待测语音识别系统内测期间或公测期间所产生的样本数据。在获取历史样本数据的同时，可以将历史样本数据进行整理和搜集，整理成历史样本数据库。该历史样本数据库是由大量的历史样本数据形成的。其中，在获取历史样本数据时，可以选取历史样本数据库中的全部或者部分历史样本数据。

预设应用场景测试样本，是指在预设的应用场景下获取的针对特定应用场景的测试样本。对于语音识别系统来说，其应用场景主要包括：会议场景、街道场景、机场火车站场景、医院场景及集贸会场景等。本领域技术人员清楚的是，除上述应用场景之外，还可以包括博物馆场景、图书馆场景及咖啡厅场景、演唱会场景、音乐节场景、餐厅场景以及教室场景等。除上述应用场景之外，还可以包括其他的应用场景。

相应的，应用场景测试样本主要包括会议场景测试样本、街道场景测试样本、机场火车站场景测试样本、医院场景测试样本及集贸会场景测试样本等。本领域技术人员清楚的是，除上述应用场景测试样本之外，还可以包括博物馆场景测试样本、图书馆场景测试样本及咖啡厅场景测试样本、演唱会场景测试样本、音乐节场景测试样本、餐厅场景测试样本以及教室场景测试样本等。本领域技术人员可以清楚的是，应用场景范围越广，应用场景类型越多，获取的应用场景测试样本的范围就越广，类型就越多，应用场景测试样本更加科学和全面。

在确定待测语音识别系统的全量测试样本时，将获取的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本汇集起来，形成全量测试样本。在形成全量测试样本时，对标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的数量和比例没有特别的限制，对得到全量测试样本的方式也没有特别的限制，例如根据标准测试样本、历史测试样本，及至少一个预设应用场景测试样本，利用加权求和的方式得到全量测试样本，或者直接将获取的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本汇总在一起形成全量测试样本。

另外，在获取标准测试样本、历史测试样本，及至少一个预设应用场景测试样本时，其中可能存在少部分的无效样本，为了提高测试的准确性，可以先将标准测试样本、历史测试样本，及至少一个预设应用场景测试样本中的无效样本剔除，将剔除无效样本后的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本汇总在一起形成全量测试样本。

应用场景测试参数，是指待测语音识别系统在特定的应用环境下的测试参数，在本发明的一实施例中，应用场景测试参数至少包括：应用场景的频次，及语音识别系统在所述应用场景下的识别准确率。其中，应用场景的频次，是指语音识别系统在该应用场景下单位时间内的使用次数。该单位时间例如可以是一个小时，或者一天又或者一周等等。

在不同的应用场景以及不同的应用场景测试参数条件下，不同测试样本的数量或者测试权重是有所区别的。另外，有时候待测语音识别系统不仅仅应用在某一个或者某几个特定的应用场景，即个性化的语音识别系统。又有时候，基于客户对语音识别系统准确率的要求或者市场的需求，其可能应用在多个或者全部应用场景，即普适性的语音识别系统。针对个性化的语音识别系统及普适性的语音识别系统，测试样本的选取是有所侧重和不同的。

例如，针对个性化的语音识别系统，其可能要求对于某一个或者某几个特定的应用场景，选取较多的特定应用场景的测试样本，而标准测试样本和历史测试样本则需求较少，可以选取适量的或者少量的标准测试样本和历史测试样本，即确定的预设应用场景测试样本的测试权重相对较大、标准测试样本和历史测试样本的测试权重相对较小。

针对普适性的语音识别系统，其可能更加注重测试样本的标准性和普适性，可以适用于几乎所有的应用场景或者说对应用场景的要求不如个性化的语音识别系统的要求严苛。此时，可选取较多的标准测试样本，适当选取历史测试样本，和适量的或者少量的应用场景测试样本，即确定的标准测试样本的测试权重相对较大，历史测试样本及应用场景测试样本的测试权重相对较小。

在分别确定标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重后，再根据全量测试样本中的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，确定待测语音识别系统的目标测试样本。例如，可以采用加权求和的方式确定并形成待测语音识别系统的目标测试样本。

在本发明的一实施例中，通过如下公式确定待测语音识别系统的目标测试样本：

N＝αA+βB+γC；

其中，N表示目标测试样本，α表示标准测试样本的测试权重，A表示标准测试样本，β表示历史测试样本的测试权重，γ表示至少一个预设应用场景测试样本的测试权重，C表示至少一个预设应用场景测试样本。

在本发明实施例中，标准测试样本的测试权重α、历史测试样本的测试权重β及至少一个预设应用场景测试样本的测试权重γ，三者之和小于1或者等于1。较优的一实施例中，三者之和等于1，即：α+β+γ＝1。

在本发明实施例中，全量测试样本不仅包括标准测试样本和历史测试样本，还包括一个或多个不同预设应用场景测试样本，据此确定的全量测试样本兼顾了不同应用场景的测试样本，使得确定的全量测试样本更加科学全面。另外，基于不同的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而确定待测语音识别系统的目标测试样本，使得待测语音识别系统的目标测试样本不仅更加科学全面，同时还使得目标测试样本具有不同应用场景的针对性。

图2示出了本发明实施例提供的获取测试样本的方法中步骤102的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

申请人研究后发现，现有技术在搜集测试样本时，通常是将搜集到的测试样本简单汇总形成全量测试样本，这种方法形成的全量测试样本可能不包含特定应用场景测试样本。即便是包含了特定应用场景测试样本，保证了全量测试样本的全面性，但是考虑到不同的测试样本获取难度和获取成本是不同的，例如可以高效、低成本的获取大量的标准测试样本，但是获取历史测试样本，尤其是获取特定应用场景的测试样本，不仅效率低而非成本也比较高，最终可能仅仅获取适量的或者非常少量的历史测试样本和/或应用场景测试样本，这就导致最终形成的全量测试样本不够科学。

因此，为了提高确定的全量测试样本的科学性，同时兼顾全量测试样本的全面性，在本发明的一实施例中，如图2所示，步骤102，根据待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，确定待测语音识别系统的全量测试样本，包括：

步骤201，分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数；

步骤202，根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本。

测试样本的变化系数，是指为了保证最终形成的全量测试样本的科学性与全面性，使得不同的测试样本在全量测试样本中达到平衡或者满足测试要求，对测试样本的调整比例。变化包括增加和缩减。在确定调整后的待测语音识别系统的全量测试样本，例如可以基于标准测试样本及其变化系数，历史测试样本及其变化系数，以及不同的应用场景测试样本及其变化系数，采用加权求和的方式确定。

在本发明的一实施例中，通过如下方式确定调整后的待测语音识别系统的全量测试样本：

M'＝aA+bB+cC；

其中，M'表示调整后的待测语音识别系统的全量测试样本，a表示标准测试样本的变化系数，A表示标准测试样本，b表示历史测试样本的变化系数，B表示历史测试样本，c表示至少一个预设应用场景测试样本的变化系数，C表示至少一个预设应用场景测试样本。

在本发明的一实施例中，变化系数包括增量系数及缩减系数。

步骤201，分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数，包括：

步骤：分别确定标准测试样本的增量系数或缩减系数、历史测试样本的增量系数或缩减系数及至少一个预设应用场景测试样本的增量系数或缩减系数；

步骤202，根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本，包括：

根据标准测试样本及其增量系数或缩减系数，历史测试样本及其增量系数或缩减系数，以及至少一个预设应用场景测试样本及其增量系数或缩减系数，确定调整后的待测语音识别系统的全量测试样本。

在本发明实施例中，分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数，根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本，可以在兼顾全量测试样本的全面性的同时，提高全量测试样本的科学性。

图3示出了本发明实施例提供的获取测试样本的方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高待测语音识别系统在测试后使用时的识别准确率，如图3所示，在上述方法步骤的基础上，获取测试样本的方法，还包括：

步骤301，验证待测语音识别系统的识别准确率；

步骤302，在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，确定调整后的待测语音识别系统的目标测试样本。

其中，可以利用验证样本验证待测语音识别系统的识别准确率时，验证样本的准确识别结果是已知的。通过对比待测语音识别系统的识别结果与验证样本的准确识别结果，判断待测语音识别系统的识别是否准确，进而确定待测语音识别系统的识别准确率。

其中，预设识别准确率为根据实际需求预先设定的识别准确率。例如，在某些应用场景下，可能要求待测语音识别系统的识别准确率比较高，此时可设定该预设识别准确率为95％，或者93％又或者97％等。有时候基于客户对市场需求及成本的考量，可能要求待测语音识别系统的识别准确率满足基本需求即可，此时可设定该预设识别准确率为85％，或者83％又或者87％等。

在待测语音识别系统的识别准确率小于预设识别准确率时，说明待测语音识别系统尚不满足设定的测试要求。此时可调整标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，基于调整后的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，形成调整后的待测语音识别系统的目标测试样本。

在本发明实施例中，验证待测语音识别系统的识别准确率，在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，确定调整后的待测语音识别系统的目标测试样本，可以提高待测语音识别系统在测试后使用时的识别准确率。

图4示出了本发明实施例提供的获取测试样本的方法的又一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高待测语音识别系统在测试后使用时的识别准确率，如图4所示，在步骤301之后，获取测试样本的方法，还包括：

步骤401，在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统标准测试样本的测试权重，历史测试样本的测试权重及至少一个预设应用场景测试样本的测试权重，确定调整后的待测语音识别系统的目标测试样本。

调整标准测试样本、历史测试样本及至少一个预设应用场景测试样本在全量测试样本中的测试权重，与调整标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量相似，具体可以参照上述图3以及图3对应实施例的相关描述，此处不再赘述。

在本发明实施例中，验证待测语音识别系统的识别准确率，在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统标准测试样本的测试权重，历史测试样本的测试权重及至少一个预设应用场景测试样本的测试权重，确定调整后的待测语音识别系统的目标测试样本，可以提高待测语音识别系统在测试后使用时的识别准确率。

本发明实施例中还提供了一种获取测试样本的装置，如下面的实施例所述。由于这些装置解决问题的原理与获取测试样本的方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。

图5示出了本发明实施例提供的获取测试样本的装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

参考图5，所述获取测试样本的装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述获取测试样本的装置包括测试样本获取模块501、全量测试样本确定模块502、测试权重确定模块503及目标测试样本确定模块504。

测试样本获取模块501，用于获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本。

全量测试样本确定模块502，用于根据待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本，确定待测语音识别系统的全量测试样本。

测试权重确定模块503，用于根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重。

目标测试样本确定模块504，用于根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

在本发明的一实施例中，通过如下公式确定待测语音识别系统的目标测试样本：

N＝αA+βB+γC；

其中，N表示目标测试样本，α表示标准测试样本的测试权重，A表示标准测试样本，β表示历史测试样本的测试权重，γ表示至少一个预设应用场景测试样本的测试权重，C表示至少一个预设应用场景测试样本。

在本发明实施例中，标准测试样本的测试权重α、历史测试样本的测试权重β及至少一个预设应用场景测试样本的测试权重γ，三者之和小于1或者等于1。较优的一实施例中，三者之和等于1，即：α+β+γ＝1。

在本发明实施例中，全量测试样本确定模块502确定的全量测试样本不仅包括标准测试样本和历史测试样本，还包括一个或多个不同预设应用场景测试样本，据此确定的全量测试样本兼顾了不同应用场景的测试样本，使得确定的全量测试样本更加科学全面。另外，测试权重确定模块503基于不同的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而目标测试样本确定模块504确定待测语音识别系统的目标测试样本，使得待测语音识别系统的目标测试样本不仅更加科学全面，同时还使得目标测试样本具有不同应用场景的针对性。

在本发明的一实施例中，应用场景至少包括：会议场景、街道场景、机场火车站场景、医院场景及集贸会场景；

相应的，预设应用场景测试样本至少包括：会议场景测试样本、街道场景测试样本、机场火车站场景测试样本、医院场景测试样本及集贸会场景测试样本。

在本发明的一实施例中，应用场景测试参数至少包括：

应用场景的频次，及语音识别系统在所述应用场景下的识别准确率。

图6示出了本发明实施例提供的获取测试样本的装置中全量测试样本确定模块502的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高确定的全量测试样本的科学性，同时兼顾全量测试样本的全面性，参考图6，所述全量测试样本确定模块502所包含的各个模块用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述全量测试样本确定模块502包括变化系数确定单元601和全量测试样本调整单元602。

变化系数确定单元601，用于分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数。

全量测试样本调整单元602，用于根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本。

在本发明的一实施例中，通过如下方式确定调整后的待测语音识别系统的全量测试样本：

M'＝aA+bB+cC；

其中，M'表示调整后的待测语音识别系统的全量测试样本，a表示标准测试样本的变化系数，A表示标准测试样本，b表示历史测试样本的变化系数，B表示历史测试样本，c表示至少一个预设应用场景测试样本的变化系数，C表示至少一个预设应用场景测试样本。

在本发明的一实施例中，变化系数包括增量系数及缩减系数。

变化系数确定单元601，具体用于分别确定标准测试样本的增量系数或缩减系数、历史测试样本的增量系数或缩减系数及至少一个预设应用场景测试样本的增量系数或缩减系数；

全量测试样本调整单元602，具体用于根据标准测试样本及其增量系数或缩减系数，历史测试样本及其增量系数或缩减系数，以及至少一个预设应用场景测试样本及其增量系数或缩减系数，确定调整后的待测语音识别系统的全量测试样本。

在本发明实施例中，变化系数确定单元601分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数，全量测试样本调整单元602根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本，可以在兼顾全量测试样本的全面性的同时，提高全量测试样本的科学性。

图7示出了本发明实施例提供的获取测试样本的装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高待测语音识别系统在测试后使用时的识别准确率，参考图7，所述获取测试样本的装置所包含的各个模块用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述功能模块的基础上，所述获取测试样本的装置，还包括：验证模块701和数量调整模块702。

验证模块701，用于验证待测语音识别系统的识别准确率。

数量调整模块702，用于在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，确定调整后的待测语音识别系统的目标测试样本。

在本发明实施例中，验证模块701验证待测语音识别系统的识别准确率，数量调整模块702在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，确定调整后的待测语音识别系统的目标测试样本，可以提高待测语音识别系统在测试后使用时的识别准确率。

图8示出了本发明实施例提供的获取测试样本的装置的又一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高待测语音识别系统在测试后使用时的识别准确率，参考图8，所述获取测试样本的装置所包含的各个模块用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述功能模块的基础上，所述获取测试样本的装置，除包括验证模块701之外，还包括测试权重调整模块801。

测试权重调整模块801，用于在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统标准测试样本的测试权重，历史测试样本的测试权重及至少一个预设应用场景测试样本的测试权重，确定调整后的待测语音识别系统的目标测试样本。

在本发明实施例中，验证模块701验证待测语音识别系统的识别准确率，测试权重调整模块801在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统标准测试样本的测试权重，历史测试样本的测试权重及至少一个预设应用场景测试样本的测试权重，确定调整后的待测语音识别系统的目标测试样本，可以提高待测语音识别系统在测试后使用时的识别准确率。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述获取测试样本的方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述获取测试样本的方法的计算机程序。

综上所述，在本发明实施例中，全量测试样本不仅包括标准测试样本和历史测试样本，还包括一个或多个不同预设应用场景测试样本，据此确定的全量测试样本兼顾了不同应用场景的测试样本，使得确定的全量测试样本更加科学全面；另外，基于不同的应用场景及应用场景测试参数，分别确定标准测试样本、历史测试样本，及至少一个预设应用场景测试样本的测试权重，进而确定待测语音识别系统的目标测试样本，使得待测语音识别系统的目标测试样本不仅更加科学全面，同时还使得目标测试样本具有不同应用场景的针对性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种获取测试样本的方法，其特征在于，包括：

获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本；

分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数；

根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本；

根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重；

根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

2.如权利要求1所述的方法，其特征在于，应用场景至少包括：会议场景、街道场景、机场火车站场景、医院场景及集贸会场景；

相应的，预设应用场景测试样本至少包括：会议场景测试样本、街道场景测试样本、机场火车站场景测试样本、医院场景测试样本及集贸会场景测试样本。

3.如权利要求1所述的方法，其特征在于，应用场景测试参数至少包括：

应用场景的频次，及语音识别系统在所述应用场景下的识别准确率。

4.如权利要求1所述的方法，其特征在于，通过如下方式确定调整后的待测语音识别系统的全量测试样本：

M'＝aA+bB+cC；

其中，M'表示调整后的待测语音识别系统的全量测试样本，a表示标准测试样本的变化系数，A表示标准测试样本，b表示历史测试样本的变化系数，B表示历史测试样本，c表示至少一个预设应用场景测试样本的变化系数，C表示至少一个预设应用场景测试样本。

5.如权利要求1所述的方法，其特征在于，通过如下公式确定待测语音识别系统的目标测试样本：

N＝αA+βB+γC；

其中，N表示目标测试样本，α表示标准测试样本的测试权重，A表示标准测试样本，β表示历史测试样本的测试权重，γ表示至少一个预设应用场景测试样本的测试权重，C表示至少一个预设应用场景测试样本。

6.如权利要求1所述的方法，其特征在于，还包括：

验证待测语音识别系统的识别准确率；

在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统的标准测试样本、历史测试样本及至少一个预设应用场景测试样本的数量，确定调整后的待测语音识别系统的目标测试样本；或者

在待测语音识别系统的识别准确率小于预设识别准确率时，调整待测语音识别系统标准测试样本的测试权重，历史测试样本的测试权重及至少一个预设应用场景测试样本的测试权重，确定调整后的待测语音识别系统的目标测试样本。

7.一种获取测试样本的装置，其特征在于，包括：

测试样本获取模块，用于获取待测语音识别系统的标准测试样本、历史测试样本，及至少一个预设应用场景测试样本；

全量测试样本确定模块，用于分别确定标准测试样本的变化系数、历史测试样本的变化系数及至少一个预设应用场景测试样本的变化系数；根据标准测试样本及其变化系数，历史测试样本及其变化系数，以及至少一个预设应用场景测试样本及其变化系数，确定调整后的待测语音识别系统的全量测试样本；

测试权重确定模块，用于根据待测语音识别系统的应用场景及应用场景测试参数，分别确定全量测试样本中标准测试样本的测试权重、历史测试样本的测试权重，及至少一个预设应用场景测试样本的测试权重；

目标测试样本确定模块，用于根据待测语音识别系统的标准测试样本及其测试权重、历史测试样本及其测试权重，及至少一个预设应用场景测试样本及其测试权重，从待测语音识别系统的全量测试样本中确定待测语音识别系统的目标测试样本。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。

Images