CN115171657A - 语音设备的测试方法和装置、存储介质 - Google Patents

Abstract

本申请公开了一种语音设备的测试方法和装置、存储介质，涉及智慧家庭技术领域，该语音设备的测试方法包括：在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过识别接口成功唤醒语音设备的情况下，测试应用从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常，可以解决现有技术中对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题。

Description

语音设备的测试方法和装置、存储介质

技术领域

本申请涉及智慧家庭领域，具体而言，涉及一种语音设备的测试方法和装置、存储介质。

背景技术

在现有技术中，手机中的智能语音往往需要支持成千上百的交互语料，来保证能更多的覆盖用户日常交互使用的技能和功能，从而在手机智能语音测试时，往往采用自动化方式来实现成千上百的语料交互。但目前设备的语音交互测试过程中，每次唤醒语音设备，都需要人工输入语料进行交互，当交互结果在云端后台产生后，需要人工在云端后台针对每条语料进行一一核对测试结果，该测试方法无法针对成千上百的测试语料进行全面覆盖测试，且核对测试结果耗时较长。

针对相关技术中，对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种语音设备的测试方法及装置、存储介质，以至少解决相关技术中，对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题。

根据本发明的一个实施例，提供了一种语音设备的测试方法，包括：在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常。

在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常，包括：根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。

在一个示例性实施例中，比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度，包括：在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第一文本中的占比；在识别结果与预期结果的比较维度为语料的分类的情况下，确定识别结果对应第一解析数据与预期结果对应的第二解析数据的差异，并得到第二相似度，其中，第二相似为第一解析数据中除去与第二解析数据中不同的解析数据的剩余数据在第一解析数据中的占比；在识别结果与预期结果的比较维度为意图的情况下，确定识别结果对应第一意图与预期结果对应的第二意图是否相同，并得到第三相似度；在识别结果与预期结果的比较维度为回复信息的情况下，确定识别结果对应第一回复信息与预期结果对应第二回复信息的差异，并得到第四相似度，其中，第四相似为第一回复信息与第二回复信息相同的语料在第一文本中的占比。

在一个示例性实施例中，根据至少一个相似度确定语音设备的交互功能是否正常，包括：在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。

在一个示例性实施例中，在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。

在一个示例性实施例中，在第五相似小于预设相似度阈值的情况下，确定语音设备交互功能非正常之后，上述方法还包括：确定第一相似度与第一目标相似度的第一差值；以及确定第二相似度与第二目标相似度的第二差值；以及确定第三相似度与第三目标相似度的第三差值；以及确定第四相似度与第四目标相似度的第四差值；从第一差值、第二差值、第三差值、第四差值中选择出最小值，将最小值指示的维度对应的测试音频在语音设备上重新测试。

在一个示例性实施例中，确定所述语音设备交互功能非正常之后，所述方法还包括：根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；根据所述异常相似度确定存在异常的比较维度；根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。

在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常之后，上述方法还包括：在确定语音设备交互功能正常的情况下，将识别结果与语音设备对应的设备标识进行绑定；在测试应用中语音设备对应的测试记录中添加交互测试正常的测试信息。

在一个示例性实施例中，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频，包括：获取所述物联网云端在预设周期内采集的语料数据；通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。

根据本发明的另一个实施例，提供了一种语音设备的测试装置，包括：唤醒模块，用于在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；确定模块，用于在移动终端已成功连接物联网云端的情况下，从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；测试模块，用于将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；比较模块，用于比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

在一个示例性实施例中，上述比较模块，还用于根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。

在一个示例性实施例中，上述比较模块，还用于在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第一文本中的占比；在识别结果与预期结果的比较维度为语料的分类的情况下，确定识别结果对应第一解析数据与预期结果对应的第二解析数据的差异，并得到第二相似度，其中，第二相似为第一解析数据中除去与第二解析数据中不同的解析数据的剩余数据在第一解析数据中的占比；在识别结果与预期结果的比较维度为意图的情况下，确定识别结果对应第一意图与预期结果对应的第二意图是否相同，并得到第三相似度；在识别结果与预期结果的比较维度为回复信息的情况下，确定识别结果对应第一回复信息与预期结果对应第二回复信息的差异，并得到第四相似度，其中，第四相似为第一回复信息与第二回复信息相同的语料在第一文本中的占比。

在一个示例性实施例中，上述比较模块，还用于在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。

在一个示例性实施例中，上述比较模块，还用于在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。

在一个示例性实施例中，上述比较模块还包括：差值单元，用于确定第一相似度与第一目标相似度的第一差值；以及确定第二相似度与第二目标相似度的第二差值；以及确定第三相似度与第三目标相似度的第三差值；以及确定第四相似度与第四目标相似度的第四差值；从第一差值、第二差值、第三差值、第四差值中选择出最小值，将最小值指示的维度对应的测试音频在语音设备上重新测试。

在一个示例性实施例中，上述比较模块还包括：异常单元，用于根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；根据所述异常相似度确定存在异常的比较维度；根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。

在一个示例性实施例中，上述装置还包括：记录模块，用于在确定语音设备交互功能正常的情况下，将识别结果与语音设备对应的设备标识进行绑定；在测试应用中语音设备对应的测试记录中添加交互测试正常的测试信息。

在一个示例性实施例中，上述确定模块，还用于获取所述物联网云端在预设周期内采集的语料数据；通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过识别接口成功唤醒语音设备的情况下，测试应用从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常。也就是说，通过测试应用自动对连接的待测试的语音设备进行唤醒，并从物联网云端获取语音设备对应待测试的语料数据，并根据语料数据确定测试音频进行交互测试，最终通过比较识别结果与预期结果确定语音设备的交互功能是否正常，因此，可以解决现有技术中对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题，提升了语音设备对应交互测试过程的测试效率，提高了对语音设备在交互中出现问题点的发现效率，进而避免后续语音设备在用户使用时出现识别异常的概率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种语音设备的测试方法的硬件环境示意图；

图2是根据本发明实施例的语音设备的测试方法的流程图；

图3是根据本发明可选实施例智能音箱自动化测试的实施场景示意图；

图4是根据本发明可选实施例智能音箱自动化测试的流程图；

图5是根据本发明实施例的语音设备的测试装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种语音设备的测试方法。该语音设备的测试方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述语音设备的测试方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。

上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。

在本实施例中提供了一种语音设备的测试方法，图2是根据本发明实施例的语音设备的测试方法的流程图，该流程包括如下步骤：

步骤S202，在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

可选的，上述识别接口可以是物理接口，如：USB接口，也可以是设定访问权限的软件接口，即通过该识别接口可以成功建立与语音设备的连接，继而将对应的测试音频发送至语音设备，由语音设备生成对应的识别结果，例如，模拟的用户测试音频为：请播放欢快的歌曲，此时，语音设备识别出用户的需求为：播放歌曲，继而推荐热歌供用户选择，上述仅是一种示例，并对本申请的实施方式进行限定。

步骤S204，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

步骤S206，将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

可选的，上述识别结果可以是文本信息。也可以是语音信息；

步骤S208，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

即通过比较语音设备反馈的实时识别结果与测试音频对应的预期结果进行比较，通过确定二者之间的差异，最终确定语音设备的交互功能是否正常。

通过上述步骤，在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过识别接口成功唤醒语音设备的情况下，测试应用从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常。也就是说，通过测试应用自动对连接的待测试的语音设备进行唤醒，并从物联网云端获取语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频进行交互测试，最终通过比较识别结果与预期结果确定语音设备的交互功能是否正常，因此，可以解决现有技术中对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题，提升了语音设备对应交互测试过程的测试效率，提高了对语音设备在交互中出现问题点的发现效率，进而避免后续语音设备在用户使用时出现识别异常的概率。

在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常，包括：根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。

需要说明的是，为了使得识别结果与预期结果的比较更加全面，语音设备根据测试音频生成对应的识别结果之后，对识别结果进行多维度的解析；可以对识别结果对应的语料、语料的分类、交互意图、回复信息等，逐次比较，作为一种可选的分析顺序，首先分析识别结果对应的语料将语料与预期结果不同的地方标识为识别错误，继而分析语料的分类和交互意图，分类和交互意图错误的语料，标识为解析错误，最后分析回复信息，回复信息对应的回复语错误的标识为交互失败，通过多个维度的判断，比较识别结果与预期结果，最终确定语音设备的交互功能是否正常。

在一个示例性实施例中，比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度，包括：在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第一文本中的占比；在识别结果与预期结果的比较维度为语料的分类的情况下，确定识别结果对应第一解析数据与预期结果对应的第二解析数据的差异，并得到第二相似度，其中，第二相似为第一解析数据中除去与第二解析数据中不同的解析数据的剩余数据在第一解析数据中的占比；在识别结果与预期结果的比较维度为意图的情况下，确定识别结果对应第一意图与预期结果对应的第二意图是否相同，并得到第三相似度；在识别结果与预期结果的比较维度为回复信息的情况下，确定识别结果对应第一回复信息与预期结果对应第二回复信息的差异，并得到第四相似度，其中，第四相似为第一回复信息与第二回复信息相同的语料在第一文本中的占比。

在一个示例性实施例中，根据至少一个相似度确定语音设备的交互功能是否正常，包括：在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。

在一个示例性实施例中，在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。

可选的，为了保证根据至少一个相似度确定语音设备的交互功能是否正常的确认效率，当出现所述第一相似度小于第一目标相似度，所述第二相似度小于第二目标相似度，所述第三相似度小于第三目标相似度，所述第四相似度小于第四目标相似度等至少其中一个情况时，则可以直接确定所述语音设备交互功能非正常，这表明不同比较维度对应的差异或者不同已超出预设标准，此时可以结合不同比较维度对应的差异内容对语音设备的交互功能不正常的原因进行定位，以保证语音设备在后续使用的交互有效性。

需要说明的是，作为一种可选的实施方式，可以通将不同相似度之间设置为递进关系，即第一相似度正常，才会进行第二相似度比较，第二相似度正常，才会进行第三相似度比较，第三相似度正常，才会进行第四相似度比较，进而可以根据非正常的相似度定位语音设备对应交互功能存在异常的比较维度，进而实现对语音设备交互的失败点进行快速定位。

在一个示例性实施例中，在第五相似小于预设相似度阈值的情况下，确定语音设备交互功能非正常之后，上述方法还包括：确定第一相似度与第一目标相似度的第一差值；以及确定第二相似度与第二目标相似度的第二差值；以及确定第三相似度与第三目标相似度的第三差值；以及确定第四相似度与第四目标相似度的第四差值；从第一差值、第二差值、第三差值、第四差值中选择出最小值，将最小值指示的维度对应的测试音频在语音设备上重新测试。

可选的，当第一相似度与第一目标相似度的第一差值低预设阈值的情况下，将当前识别结果确定为异常识别结果，结束对识别结果与预期结果的比较，重新确定测试音频对语音设备进行测试。即通过提前确定语料对应的第一相似度的第一差值确定出识别结果与预期结果差异较大的情况，重新测试，提升了测试过程中发现异常的效率，避免了测试资源的浪费。

在一个示例性实施例中，确定所述语音设备交互功能非正常之后，所述方法还包括：根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；根据所述异常相似度确定存在异常的比较维度；根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。

简单来说，在确定了语音设备交互功能非正常之后，可进一步的根据每一种比较维度对应相似度的异常，确定出对应的异常的比较维度，对交互功能非正常的原因进行确认，即确定那种目标模块的异常，使得在语音设备测试后可以根据原因对语音设备进行调试，以保证语音设备的功能质量。

在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常之后，上述方法还包括：在确定语音设备交互功能正常的情况下，将识别结果与语音设备对应的设备标识进行绑定；在测试应用中语音设备对应的测试记录中添加交互测试正常的测试信息。

可以理解的是，在确定语音设备的交互功能正常的情况下，为了在测试流程之后的对象了解语音设备的测试结果，可以在测试应用中生成测试记录并对应存储识别结果，便于后续查找验证，此外，当确定语音设备是生产中的设备时，还可以将语音设备携带的标签上的唯一识别码与测试结果进行绑定，并将绑定后的数据上传至统一的后台服务器中，在查找时通过识别码便可以快速确定出语音设备的测试结果以及测试数据。

在一个示例性实施例中，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频，包括：获取所述物联网云端在预设周期内采集的语料数据；通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。

需要说明的是，上述物联网云端可以在预设周期内重复采集所述语料数据，并将所述语料数据中出现的非重复语料数据添加至所述物联网云端的语料数据库中；可选的，在使用时，根据语音设备的设备类型从语料数据库中匹配对应的语料数据，将语料数据转化为对应的测试音频后，下发至测试应用。

为了更好的理解上述语音设备的测试方法的过程，以下结合几个可选实施例对上述语音设备的测试方法流程进行说明。

作为一种可选的实施例，提出了一种智能音箱语音交互的自动化测试方法及系统，图3是根据本发明可选实施例智能音箱自动化测试的实施场景示意图；包括：音源机32、物联网云端服务器34、智能音箱36；

音源机(相当于本发明实施例中的移动终端)32与物联网云端服务器34预先建立通信连接，便于音源机32在通过对应的识别接口唤醒智能音箱36(相当于本发明实施例中的语音设备)的情况下，根据智能音箱36的设备类型从物联网云端服务器34中确定出用于测试智能音箱36的测试音频，并且智能音箱36在完成测试后，还可将测试结果传至物联网云端服务器34上保存，便于后续对测试结果的调用。

作为一种可选的实施方式，图4是根据本发明可选实施例智能音箱自动化测试的流程图；

步骤1，通过自动化接口唤醒智能音箱；

通过ASR(automaticspeechrecognition,自动语音识别技术，简称ASR)接口直接唤醒智能音箱，模拟人工唤醒智能音箱操作，并进入智能音箱交互拾音流程。

步骤2，从物联网云端服务器对应的云端后台采集语料，对音源机输入测试语料，再通过测试脚本(相当于本发明实施例中的测试应用)控制音源机播放测试音频；

可选的，通过自动化测试框架，如appium，selenium等，将云端后台用户常用测试语料采集出来，通过文字合成语音技术转换为音频，将该音频作为测试音频对设备播放。

步骤3，使用测试脚本获取云端交互结果，并进行测试结果对比；

通过自动化测试框架，如appium，selenium等，将云端后台测试结果提取，并与预期结果进行对比。

步骤4：通过自动化测试脚本对测试结果多维度对比；

可选的，获取到测试结果后，对语料的识别结果，语料的分类，意图，回复进行多维度对比，首先分析识别结果，识别结果错误的标识为识别错误；其次分析语料的分类和意图，分类和意图错误的语料，标识为解析错误；最后分析语料回复，回复语错误的标识为交互失败，从而对问题的排查具有非常高的有效性。

综上，通过编写的自动化测试脚本，可以模拟唤醒设备，通过机器播放测试语料，提取用户常用语料，对测试结果进行全面分析，从而代替人工测试，提高测试有效性，且有利减少用户投诉率。解决了音箱语音交互测试过程中，人工测试耗时，人工覆盖多语料困难，用户常用语料易遗漏问题，提高分析问题的效率，帮助测试人员更好的发现问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述语音设备的测试。

在本实施例中还提供了一种语音设备的测试装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的语音设备的测试装置的结构框图，如图5所示，该装置包括：

(1)唤醒模块52，用于在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

(2)确定模块54，用于在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

(3)测试模块56，用于将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

(4)比较模块58，用于比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

通过上述装置，在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过识别接口成功唤醒语音设备的情况下，测试应用从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常。也就是说，通过测试应用自动对连接的待测试的语音设备进行唤醒，并从物联网云端获取语音设备对应待测试的语料数据，并根据语料数据确定测试音频进行交互测试，最终通过比较识别结果与预期结果确定语音设备的交互功能是否正常，因此，可以解决现有技术中对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题，提升了语音设备对应交互测试过程的测试效率，提高了对语音设备在交互中出现问题点的发现效率，进而避免后续语音设备在用户使用时出现识别异常的概率。

在一个示例性实施例中，上述比较模块，还用于根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。

在一个示例性实施例中，上述比较模块，还用于在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第一文本中的占比；在识别结果与预期结果的比较维度为语料的分类的情况下，确定识别结果对应第一解析数据与预期结果对应的第二解析数据的差异，并得到第二相似度，其中，第二相似为第一解析数据中除去与第二解析数据中不同的解析数据的剩余数据在第一解析数据中的占比；在识别结果与预期结果的比较维度为意图的情况下，确定识别结果对应第一意图与预期结果对应的第二意图是否相同，并得到第三相似度；在识别结果与预期结果的比较维度为回复信息的情况下，确定识别结果对应第一回复信息与预期结果对应第二回复信息的差异，并得到第四相似度，其中，第四相似为第一回复信息与第二回复信息相同的语料在第一文本中的占比。

在一个示例性实施例中，上述比较模块，还用于在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。

在一个示例性实施例中，上述比较模块，还用于在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。

在一个示例性实施例中，上述比较模块还包括差值单元，用于确定第一相似度与第一目标相似度的第一差值；以及确定第二相似度与第二目标相似度的第二差值；以及确定第三相似度与第三目标相似度的第三差值；以及确定第四相似度与第四目标相似度的第四差值；从第一差值、第二差值、第三差值、第四差值中选择出最小值，将最小值指示的维度对应的测试音频在语音设备上重新测试。

在一个示例性实施例中，上述比较模块还包括：异常单元，用于根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；根据所述异常相似度确定存在异常的比较维度；根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。

在一个示例性实施例中，上述装置还包括：记录模块，用于在确定语音设备交互功能正常的情况下，将识别结果与语音设备对应的设备标识进行绑定；在测试应用中语音设备对应的测试记录中添加交互测试正常的测试信息。

在一个示例性实施例中，上述确定模块，还用于获取所述物联网云端在预设周期内采集的语料数据；通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。

在本发明的描述中，需要理解的是，术语中“中心”、“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“相连”应做广义理解，例如，可以是固定连接，也可以是拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，可以是两个组件内部的连通。当组件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

S2，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

S3，将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

S4，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

在一个示例性实施例中，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

S2，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

S3，将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

S4，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

在一个示例性实施例中，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个示例性实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种语音设备的测试方法，其特征在于，包括：

在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

2.根据权利要求1所述的语音设备的测试方法，其特征在于，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常，包括：

根据预设维度将所述识别结果划分为多个维度分别比较；其中，所述预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；

确定所述测试音频对应的预期结果，其中，所述预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；

比较所述多个维度中每一个维度的识别结果与所述预期结果的相似度，得到至少一个相似度；

根据所述至少一个相似度确定所述语音设备的交互功能是否正常。

3.根据权利要求2所述语音设备的测试方法，其特征在于，比较所述多个维度中每一个维度的识别结果与所述预期结果的相似度，得到至少一个相似度，包括以下步骤中的至少一个：

在所述识别结果与所述预期结果的比较维度为语料的情况下，确定所述识别结果对应语料的第一文本与所述预期结果对应语料的第二文本的差异，并得到第一相似度，其中，所述第一相似为所述第一文本与第二文本相同的语料在所述第一文本中的占比；

在所述识别结果与所述预期结果的比较维度为语料的分类的情况下，确定所述识别结果对应第一解析数据与所述预期结果对应的第二解析数据的差异，并得到第二相似度，其中，所述第二相似为所述第一解析数据中除去与所述第二解析数据中不同的解析数据的剩余数据在所述第一解析数据中的占比；

在所述识别结果与所述预期结果的比较维度为意图的情况下，确定所述识别结果对应第一意图与所述预期结果对应的第二意图是否相同，并得到第三相似度；

在所述识别结果与所述预期结果的比较维度为回复信息的情况下，确定所述识别结果对应第一回复信息与所述预期结果对应第二回复信息的差异，并得到第四相似度，其中，所述第四相似为所述第一回复信息与第二回复信息相同的语料在所述第一文本中的占比。

4.根据权利要求3所述语音设备的测试方法，其特征在于，根据所述至少一个相似度确定所述语音设备的交互功能是否正常，包括：

在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。

5.根据权利要求3所述语音设备的测试方法，其特征在于，所述根据所述至少一个相似度确定所述语音设备的交互功能是否正常，所述方法还包括：

在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。

6.根据权利要求5所述语音设备的测试方法，其特征在于，确定所述语音设备交互功能非正常之后，所述方法还包括：

根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；

根据所述异常相似度确定存在异常的比较维度；

根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。

7.根据权利要求1-6任一项所述语音设备的测试方法，其特征在于，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常之后，所述方法还包括：

在确定所述语音设备交互功能正常的情况下，将所述识别结果与所述语音设备对应的设备标识进行绑定；

在所述测试应用中所述语音设备对应的测试记录中添加交互测试正常的测试信息。

8.根据权利要求1-6任一项所述语音设备的测试方法，其特征在于，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频，包括：

获取所述物联网云端在预设周期内采集的语料数据；

通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；

对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。

9.一种语音设备的测试装置，其特征在于，包括：

唤醒模块，用于在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；

确定模块，用于在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；

测试模块，用于将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；

比较模块，用于比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。

10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至8中任一项所述的方法。

Images