CN108228468A - 一种测试方法、装置、测试设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种测试方法、装置、测试设备及存储介质，该方法包括：利用第一线程调取当前测试用例；利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；利用所述第一线程，确定所述测试文本指令相应的测试音频；利用所述第一线程，针对语音交互设备播放所述测试音频；利用第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。本发明无需用户界面便能够实现测试用例的执行以及测试响应结果的校验，可适用于无UI设备的端到端的自动化测试。

Description

一种测试方法、装置、测试设备及存储介质

技术领域

本发明涉及自动化测试领域，更具体的说，涉及一种测试方法、装置、测试设备及存储介质。

背景技术

端到端测试类似于系统测试，测试级的“宏大”的端点，涉及整个应用系统环境在一个现实世界使用时的模拟情形的所有测试。例如与数据库对话，用网络通讯，或与外部硬件、应用系统或适当的系统对话。

传统的端到端的自动化测试方案，主要是通过被测设备的用户界面(UI，UserInterface)的自动化组件来模拟用户的输入操作，进而触发测试用例的执行，并基于用户界面来检查测试响应结果是否符合预期。可以看出，传统的端到端的自动化测试方案，需要依赖于被测设备的用户界面才能够执行，无法适用于无UI设备(无UI设备如主要通过语音进行控制的智能音箱等语音交互设备)的端到端的自动化测试。

因此，目前迫切需要一种适用于无UI设备的测试方法，以实现无UI设备的端到端的自动化测试。

发明内容

有鉴于此，本发明实施例提供一种测试方法、装置、测试设备及存储介质，以实现无UI设备的端到端的自动化测试的目的。

为实现上述目的，本发明实施例提供如下技术方案：

一种测试方法，所述测试方法包括：

利用第一线程调取当前测试用例；

利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；

利用所述第一线程，确定所述测试文本指令相应的测试音频；

利用所述第一线程，针对语音交互设备播放所述测试音频；

利用第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

本发明实施例还提供一种测试装置，包括：

用例调取模块，用于利用第一线程调取当前测试用例；

文本及预期结果确定模块，用于利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；

音频确定模块，用于利用所述第一线程，确定所述测试文本指令相应的测试音频；

音频播放模块，用于利用所述第一线程，针对语音交互设备播放所述测试音频；

比对模块，用于利用第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

本发明实施例还提供一种测试设备，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器执行所述程序，以实现上述所述的测试方法的步骤。

本发明实施例还提供一种存储介质，所述存储介质存储有适于处理器执行的程序，以实现上述所述的测试方法的步骤。

基于上述技术方案，本发明利用第一线程调取当前测试用例，利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果，利用所述第一线程，确定所述测试文本指令相应的测试音频，利用所述第一线程，针对语音交互设备播放所述测试音频，来实现测试输入，无需依赖于UI界面便可以实现测试用例的执行；并且，利用所述第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果，无需依赖于UI界面观察测试响应结果是否正确。本实施例提供的测试方法，可适用于无UI设备的端到端的自动化测试，解决了现有测试方法无法适用于无UI设备的端到端的自动化测试的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的测试系统的架构示意图；

图2为本发明实施例提供的测试方法的流程图；

图3为本发明实施例提供的测试方法的另一流程图；

图4为本发明实施例提供的测试用例自动切换过程的流程图；

图5为本发明实施例提供的测试设备的程序组件示意图；

图6为本发明实施例提供的测试设备的业务流程示例图；

图7为本发明实施例提供的智能音箱测试流程示例图；

图8为本发明实施例提供的测试装置的结构框图；

图9为本发明实施例提供的测试装置的另一结构框图；

图10为本发明实施例提供的测试设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的测试方法可针对各种无UI的语音交互设备进行端到端的自动化测试；作为一种可选示例，本发明实施例提供的测试方法可针对智能音箱中的各项功能，进行端到端的自动化测试，图1示出了本发明实施例提供的测试系统的架构示意图，参照图1，该系统可以包括：智能音箱10和测试设备11。

其中，智能音箱10是传统音箱升级后的产物，具有语音交互功能，并能够根据用户发出的语音信息执行相应的功能，比如点播歌曲、上网购物、天气播报、智能家居控制等功能。具体的，作为一种示例，智能音箱至少具有以下交互方式：

智能音箱采集到用户说出的“播放刘德华的冰雨”语音信息后，为用户播放音频文件“冰雨-刘德华.MP3”，即智能音箱可基于用户语音控制，实现点歌业务功能；

智能音箱采集到用户说出的“明天天气怎么样”的语音信息后，向用户播放明天的天气预报情况，即智能音箱可基于用户语音控制，实现天气查询等搜索业务功能；

智能音箱采集到用户说出的“打开电视”的语音信息后，控制智能电视开机，即智能音箱可基于用户语音控制，实现电器控制的业务功能。

测试设备11为本发明实施例对智能音箱进行端到端的自动化测试的设备，其功能可以由单独设置的设备来实现，也可以内置于智能音箱中，由智能音箱来实现。

在本发明实施例中，智能音箱仅是被测的语音交互设备的一种可选形式，本发明实施例仅以智能音箱作为示例进行语音交互设备的测试方法说明，当然本发明实施例提供的测试方法也可适用于其他形式的语音交互设备，比如具有语音交互功能的机顶盒等。

可选的，图1所示的测试系统中，单独设置的测试设备11可通过有线或无线的方式与智能音箱10相连接，进而对智能音箱的各项业务功能(比如点歌业务功能，搜索业务功能，电器控制业务功能等)进行端到端的自动化测试。

需要说明的是，图1所示智能音箱和测试设备仅为针对智能音箱进行端到端的自动化测试的一种系统架构示例；针对任一种语音交互设备，本发明实施例可提供语音交互设备和测试设备的系统架构，来对该语音交互设备进行端到端的自动化测试，语音交互设备为至少具有语音交互功能的智能设备(图1所示智能音箱仅是语音交互设备的一种表现形式)。测试设备可以是单独设置的为语音交互设备提供测试服务的设备；测试设备也可以是由智能音箱中内置的程序算法实现，由智能音箱自行完成测试工作。即在对被测的语音交互设备进行测试时，本发明实施例可使用与语音交互设备相连接的测试设备进行测试，也可以由语音交互设备自行完成测试。

作为针对智能音箱的端到端的自动化测试的可选实现，图2示出了本发明实施例提供的测试方法的一种可选流程，该方法流程可适用于对智能音箱进行测试(当然也可适用于对其他形式的语音交互设备进行测试)，具体的，该方法流程可由测试设备执行，测试设备可以是与智能音箱相连接的独立设备，也可以内置于智能音箱中；参照图2，该方法流程可以包括：

步骤S100：利用第一线程调取当前测试用例。

本发明实施例以语音交互设备为智能音箱，对智能音箱进行端到端的自动化测试过程进行说明。下文针对智能音箱所展开的说明可通用至其他形式的语音交互设备的描述，比如机器人、具有语音交互功能的摄像装置，机顶盒等。

利用多线程并行处理的能力，在对智能音箱进行测试时，测试设备可采用至少两个线程来执行测试过程。其中，可利用第一线程来调取当前测试用例，第一线程为所述至少两个线程中的一个线程。

可选的，测试用例(Test Case)通常是为某个特殊目标而编制的一组测试信息，以便测试某个程序路径或核实是否满足某个特定需求；作为一种示例，测试用例中所具有的较为完整的内容包括：测试输入、执行条件以及预期结果。

通过利用第一线程调取的当前测试用例，能够基于当前测试用例实现对智能音箱的针对性测试。

可选的，在对智能音箱进行测试时，可通过预先制定测试任务来执行测试过程，测试任务可具有至少一个测试用例。利用第一线程调取当前测试用例时，可利用第一线程从测试任务中调取当前测试用例。

可选的，测试任务可以具有顺序排列的多个测试用例，本发明实施例可利用第一线程，根据当前测试序数，从测试任务中调取与当前测试序数相应的当前测试用例，实现测试用例的自动调取和测试执行。其中，当前测试序数是指在执行测试任务的过程中，当前所要执行的测试用例的序数。

步骤S110：利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果。

用于测试智能音箱的任一测试用例在执行时，应至少确定测试用例相应的测试文本指令及预期测试响应结果。其中，测试文本指令可以是智能音箱所要执行的测试用例的测试内容的文本描述，比如，测试文本指令可以为“我要听刘德华的冰雨”的文本信息；由于智能音箱主要基于语音交互实现控制，预期测试响应结果是指智能音箱接收测试文本指令相应的音频后，所应作出的正确响应结果；比如，作为一种示例，针对“我要听刘德华的冰雨”的测试文本指令，进行音频播放后，智能音箱的预期测试响应结果应是播放“刘德华-冰雨.mp3”的音频文件。

可选的，作为一种可选示例，所述当前测试用例可至少包括测试文本指令及预期测试响应结果，也就是说，当前测试用例中存储有测试文本指令及预期测试响应结果的内容，从而可利用所述第一线程，解析所述当前测试用例的内容，进而确定出所述当前测试用例相应的测试文本指令及预期测试响应结果。通过将测试文本指令及预期测试响应结果存储在测试用例中的方式，能够保证测试用例与测试文本指令及预期测试响应结果的一致性，避免测试用例与测试文本指令及预期测试响应结果不匹配导致测试结果有误。

可选的，测试用例相应的测试文本指令及预期测试响应结果，也可以存储在测试数据库中，测试用例数据库中存储有用于测试智能音箱的各项业务功能所使用的测试文本指令及相应的预期测试响应结果；即测试数据库针对测试的各业务功能，分别记录有至少一个测试文本指令，及相应的预期测试响应结果，且一业务功能在测试数据中对应记录有至少一个测试文本指令，及各测试文本指令相应的预期测试响应结果；可选的，测试数据库中存储的不同业务功能的测试文本指令及相应的预期测试响应结果，可使用不同的业务标识进行区分；

从而，测试用例中可记录业务标识，也就是说，所述当前测试用例至少包括所述当前测试用例对应的业务标识；基于此，可利用所述第一线程，从测试数据库中随机调取所述业务标识相应的测试文本指令及相应的预期测试响应结果。通过这一可选方式，使测试用例相应的测试文本指令及预期测试响应结果的存储更加灵活，减轻了测试用例的数据存储压力；

并且，基于测试用例所要测试的智能音箱的业务的业务标识，来随机调度测试用例相应的测试文本指令及相应的预期测试响应结果的方式，提高了测试内容的随机性，提高了测试效果。

步骤S120：利用所述第一线程，确定所述测试文本指令相应的测试音频。

智能音箱在接收到用户语音指令后，生成与用户语音指令相应的响应结果。测试音频就是用于模拟用户语音指令的音频信息，是整个测试过程中必不可少的重要因素，所以，在利用第一线程确定出当前测试用例相应的测试文本指令后，可确定出测试文本指令相应的测试音频，以模拟用户语音指令。

可选的，测试音频可以是由测试文本指令直接转换得到的。比如，利用所述第一线程，根据文本转语音技术(TTS，Text To Speech)，将所述测试文本指令转换为相应的测试音频。这一可选方式，相较于测试人员直接发出用户语音指令来作为测试音频的方式，提供了稳定可靠的且可重复使用的测试音频，避免了不同测试人员在不同时间发出的用户语音指令一致性较差而影响测试效果的问题；并且，这一可选方式，相较于测试人员通过录音预先存储测试音频的方式，可以通过更加便捷、快速、廉价地修改测试文本指令的方式来重新生成测试音频，提高了测试音频生成过程的便利性。

可选的，测试音频可以是测试人员采用录音的方式预先存储好的，测试音频与测试文本指令之间具有匹配关系，利用所述第一线程，根据测试音频与测试文本指令之间的匹配关系，便能够确定出所述测试文本指令相应的测试音频。

步骤S130：利用所述第一线程，针对智能音箱播放所述测试音频。

测试音频的播放，模拟了用户语音指令的发出，测试设备在利用第一线程播放所述测试音频时，智能音箱便会同步采集到其所播放的测试音频，并针对其所采集到的测试音频，生成相应的测试响应结果。由于测试音频是根据当前测试用例相应的测试文本指令确定，并由测试设备播放来作为测试输入，从而无需测试人员通过UI界面来执行测试输入。

智能音箱在运行过程中，会在智能音箱的运行日志中记录相关的运行记录，例如，针对用户语音指令的响应结果；所以，在智能音箱的测试场景下，利用所述第一线程，针对智能音箱播放测试音频后，智能音箱可作出相应的测试响应，并在智能音箱的运行日志中记录相应的测试响应结果。

可选的，第一线程可将测试音频输出至音频播放器(如喇叭、扬声器等)，由音频播放器播放测试音频。

步骤S140：利用第二线程从所述智能音箱的运行日志中，调取所述智能音箱对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

可选的，第二线程为所述至少两个线程中，所述第一线程之外的另一线程，第二线程与第一线程并行运行。

在智能音箱对所述测试音频生成相应的测试响应结果后，需要通过判断该测试响应结果是否正确，才能确定当前测试用例的测试是否通过；此时就需要第二线程从智能音箱的运行日志中调取所述测试响应结果(可选的，可通过获取智能音箱的logcat，提取出智能音箱执行测试音频的指令后相应的结果)；并将所述测试响应结果，与，利用所述第一线程确定的当前测试用例相应的预期测试响应结果进行比对，确定所述当前测试用例的测试结果。由于所述测试响应结果的调取、所述预期测试响应结果与所述测试响应结果的比对，以及测试结果的确定都是由第二线程来完成的，无需测试人员通过UI界面来观察测试响应结果是否正确。

可选的，当所述测试响应结果与所述预期测试响应结果相匹配时，确定所述当前测试用例的测试结果为测试通过；当所述测试响应结果与所述预期测试响应结果不匹配时，确定所述当前测试用例的测试结果为测试不通过。其中，所述测试响应结果与所述预期测试响应结果相匹配，可以为所述测试响应结果与所述预期测试响应结果完全一致，也可以为所述测试响应结果与所述预期测试响应结果之间的误差在预设的误差允许范围内，还可以是其他匹配方式。

进一步，可针对当前测试用例的测试过程信息和测试结果信息，生成相应的测试报告。

本实施例提供的测试方法，调取当前测试用例，利用当前测试用例相应的测试文本指令确定相应的测试音频，模拟用户语音指令，作为测试输入，无需依赖于UI界面便可以实现测试用例的执行；并且，在智能音箱对测试音频进行响应后，可根据运行日志中的测试响应结果与当前测试用例相应的预期测试响应结果，确定当前测试用例的测试结果。因此，本实施例提供的测试方法，可适用于无UI的语音交互设备的端到端的自动化测试，解决了现有测试方法无法适用于无UI设备的端到端的自动化测试的问题。

并且，在智能音箱的测试过程中，当前测试用例的调取、当前测试用例相应的测试文本指令及预期测试响应结果的确定、测试音频的确定与播放均可由第一线程来完成的；从智能音箱的运行日志中调取测试响应结果、将所述预期测试响应结果与所述测试响应结果进行比对，以及基于比对进行测试结果的确定，均可由第二线程来完成的；从而可基于多线程的方式，实现端到端的自动化测试，提高了测试效率。

可选的，在某些测试需要前置条件的情况下，可通过在当前测试用例中记录当前测试条件(即前置条件)的方式，来使得智能音箱处于测试所需的前置条件环境；作为一种示例，所述当前测试用例除包括测试文本指令及预期测试响应结果外，还可包括所述当前测试用例的当前测试条件；所述当前测试条件用于初始化当前测试用例的执行环境，以使得智能音箱处于执行当前测试用例所需的环境；相应的，图3示出了本发明实施例提供的测试方法的另一种可选流程，该方法流程可应用于测试设备；参照图3，该方法流程可以包括：

步骤S200：利用第一线程调取当前测试用例。

步骤S210：利用所述第一线程，确定所述当前测试用例相应的测试文本指令、当前测试条件及预期测试响应结果。

当前测试条件是当前测试用例执行所需满足的条件。在实际应用中，某些测试用例的执行可能需要满足特定的测试条件。例如，执行测试用例“播放下一首歌”时，需要建立在智能音箱正在播放歌曲的基础上，也就是说，“正在播放歌曲”就是测试用例“播放下一首歌”的测试条件(也称为前置条件)。

可选的，所述当前测试用例可至少包括测试文本指令、当前测试条件及预期测试响应结果；从而可利用所述第一线程，解析所述当前测试用例的内容，确定所述当前测试用例相应的测试文本指令、当前测试条件及预期测试响应结果。通过将测试文本指令、测试条件及预期测试响应结果存储在测试用例中的方式，能够保证测试用例与测试文本指令、测试条件及预期测试响应结果的一致性，避免测试用例与测试文本指令、测试条件及预期测试响应结果不匹配导致测试结果有误。

可选的，测试用例相应的测试文本指令、测试条件及预期测试响应结果，也可以存储在测试数据库中，而并不直接存储在测试用例中。测试数据库可针对智能音箱需测试的各业务功能，分别记录有至少一个测试文本指令，及相应的预期测试响应结果和测试条件；

从而可利用所述第一线程，从测试数据库中随机调取所述业务标识相应的测试文本指令及相应的预期测试响应结果，对于调取的测试文本指令需要前置条件的情况下，还可调取到相应的测试条件。通过这一可选方式，使测试用例相应的测试文本指令，测试条件及预期测试响应结果的存储更加灵活，减轻了测试用例的数据存储压力，提高了测试过程的灵活性。

并且，基于业务随机调度测试用例相应的测试文本指令、测试条件及相应的预期测试响应结果的方式，提高了测试内容的随机性，可提高测试效果。

步骤S220：利用所述第一线程，根据文本转语音技术，将所述测试文本指令转换为相应的测试音频，并将所述测试音频存储在指定目录。

用于存储测试音频的指定目录，可以是测试设备的本地目录，也可以是网络目录等。

可选的，测试音频存储在网络目录中，能够避免对测试设备的存储空间的占用，可适用于多设备协同测试的场景。

步骤S230：利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境。

在当前测试用例的执行需要满足当前测试条件时，利用第二线程根据当前测试条件，初始化所述当前测试用例的执行环境，使所述执行环境满足所述当前测试条件。

例如，当前测试用例所要执行的“播放下一首歌”测试，当前测试用例相应的当前测试条件为“正在播放歌曲”，则在播放根据当前测试用例相应的测试文本指令确定的测试音频之前，控制智能音箱开始播放歌曲，使智能音箱具备执行“播放下一首歌”的执行环境。

并且，利用第二线程来初始化述当前测试用例的执行环境，能够避免对第一线程的测试用例执行过程造成影响，保障测试过程的顺利执行。

可选的，在步骤S230执行前，本发明实施例还可利用第一线程，判断智能音箱(语音交互设备的一种可选形式)的执行环境，是否与当前测试条件相匹配，从而在判断结果为否(即智能音箱的执行环境与当前测试条件不匹配)时，通过第二线程执行步骤S230；这是因为有可能智能音箱当前本已处于满足当前测试用例执行，所需的执行环境；比如，当智能音箱处于“正在播放歌曲”的状态时，若调取的当前测试用例所要执行的测试为“播放下一首歌”，且当前测试条件为“正在播放歌曲”，则智能音箱当前已处于满足当前测试用例执行所需的执行环境，则可直接播放测试音频，而不需进行执行环境的初始化。

步骤S240：利用所述第一线程，从所述指定目录调取所述测试音频并播放。

指令目录存储有根据当前测试用例相应的测试文本指令确定的测试音频，在利用第一线程播放所述测试音频之前，需要从所述指定目录调取所述测试音频，以用于实现测试音频的播放，进而实现测试输入，无需测试人员通过UI界面来执行测试输入。

步骤S250：利用所述第二线程从智能音箱的运行日志中，调取所述智能音箱对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

本实施例提供的测试方法，利用第一线程，根据当前测试用例相应的测试文本指令确定相应的测试音频并存储到指定目录；利用第一线程播放测试音频，从而模拟用户语音指令，作为测试输入，无需依赖于UI界面便可以实现测试用例的执行；并且，在模拟用户语音指令之前，还可利用第二线程，根据当前测试用例相应的当前测试条件，初始化所述当前测试用例的执行环境，为需要满足特定条件才能执行的测试用例提供必要的支持，无需测试人员通过UI界面来配置当前测试用例的可执行环境；而且，在智能音箱对测试音频进行响应后，可利用第二线程，根据智能音箱的运行日志中的测试响应结果与当前测试用例相应的预期测试响应结果，确定测试结果，无需依赖于UI界面观察测试响应结果是否正确。因此，本实施例提供的测试方法，可适用于无UI设备，特别是语音交互设备的端到端的自动化测试，解决了现有测试方法无法适用于无UI设备的端到端的自动化测试的问题。

可选的，在确定出所述当前测试用例的测试结果之后，本发明实施例提供的测试方法还可以继续执行下一条测试用例；图4示出了测试用例的自动切换流程，该流程可应用于测试设备，参照图4，该流程可以包括：

步骤S300：在确定所述当前测试用例的测试结果之后，利用所述第二线程清理执行环境。

通常情况下，下一条测试用例所要依赖的执行环境可能与当前测试用例与所要依赖的执行环境不同，所以，在当前测试用例的测试结束之后，下一测试用例执行之前，需要利用第二线程对执行环境进行清理。

在本发明实施例中，测试用例的调取、执行、测试响应结果的记录，均是由第一线程完成的；而利用第二线程来完成执行环境的清理，能够避免对第一线程的工作内容的影响，保障测试的顺利进行。

可选的，利用所述第二线程清理执行环境，可以是控制智能音箱停止一切正在执行的功能，也可以是控制智能音箱恢复至启动时的状态。

步骤S310：利用所述第二线程通知第一线程，调取下一条测试用例。

利用第二线程清理完执行环境后，再利用第二线程通知第一线程调取下一条测试用例，实现了测试用例的自动切换，从而进一步提高了测试过程的自动化水平。

可选的，在所有测试用例均已执行结束后，可在测试报告中记录所有测试通过的测试项目与测试未通过的测试项目，技术人员可以根据测试报告，针对未通过的测试项目进行核查，排除问题。可选的，测试报告中还可以针对测试未通过的测试项目，记录测试未通过的原因、故障点等信息，以便于技术人员快速定位问题，提高智能音箱的可靠性。

以针对智能音箱进行测试为例，图5示出了测试设备的程序组件示意图。如图5所示，测试设备中主要可包括测试用例管理器，用于管理测试用例与标注测试结果；

具体的，测试用例管理器可实现用例编号ID、测试文本指令、音频文件路径、业务分类信息、测试条件指令与预期响应结果的管理。

其中，用例编号ID，用于存储唯一标识测试用例的编号ID。

测试文本指令，用于存储智能音箱所要执行指令的文本描述。

音频文件路径，用于存储测试文本指令相应的测试音频的指定目录。

业务分类信息，用于存储智能音箱支持的功能领域分类，例如，音乐领域、儿童故事领域、闹钟提醒领域、天气查询领域、股票查询领域等。

测试条件指令，用于存储测试用例相应的测试条件。

预期响应结果，用于存储测试音频相应的预期测试响应结果。

可选的，进一步，测试设备还可包括：音频生成器、用例执行器、结果校验器、音频文件库与报告生成器；其中，

音频生成器，用于通过文本转语音技术将测试文本指令转化为测试音频，并将测试音频存储到指定目录，并把指定目录返回给测试用例管理器。

音频文件库，用于存储测试音频。

用例执行器，用于播放测试音频，模拟用户语音指令，控制智能音箱的行为。

结果校验器，用于从智能音箱的运行日志中调取测试响应结果，并将其与预期测试响应结果进行对比，确定当前测试用例的测试结果。

报告生成器，用于根据测试结果生成相应的测试报告。

上述的测试用例管理器、音频生成器、用例执行器、结果校验器、音频文件库与报告生成器的功能可通过硬件(如芯片)结合程序算法实现，其业务流程可如图6所示，先从测试用例管理器流转至音频生成器，再从音频生成器流转至用例执行器，从用例执行器流转至结果校验器，最后从结果校验器流转至测试报告生成器。其中，用例管理器、音频生成器与用例执行器的功能执行，可由第一线程来实现；结果校验器的功能执行可由第二线程来实现。

结合图5所示的测试设备的程序组件，与图6所示的测试设备的业务流程示例图，图7提供了智能音箱的端到端自动化测试场景的一种较优的流程示例，如图7所示，测试设备通过测试任务，对智能音箱进行端到端的自动化测试的流程可以包括：

步骤S1、根据当前测试序数，调取当前测试用例，解析当前测试用例的内容，确定相应的测试文本指令，预期响应结果，与当前测试条件。

可选的，测试任务可包含多个依序排列的测试用例，在当前测试序数为2(即执行第二个测试用例)时，可根据当前测试序数“2”，从测试任务中调取与当前测试序数“2”相对应的测试用例2；

作为一种示例，可解析所述测试用例2的内容，从所述测试用例2的内容中，可以确定出测试文本指令为“播放下一首歌曲”，当前测试条件为“正在播放歌曲”，及相应的预期测试响应结果。

步骤S2、利用所述第一线程，根据文本转语音技术，将所述测试文本指令转换为相应的测试音频，将所述测试音频存储在指定目录。

可选的，可将测试文本指令“播放下一首歌曲”转换为“播放下一首歌曲”的音频文件，并将该音频文件存储到指定目录；

步骤S3、利用第一线程，判断智能音箱的当前执行环境，是否与当前测试条件相匹配时，若否，执行步骤S4，若是，执行步骤S5。

可选的，对于测试文本指令为“播放下一首歌曲”的情况，可以判断智能音箱当前是否处于“正在播放歌曲”的状态；当智能音箱当前处于“正在播放歌曲”的状态时，智能音箱的当前执行环境与当前测试条件“正在播放歌曲”相匹配；当智能音箱当前未处于“正在播放歌曲”的状态时，智能音箱的当前执行环境与当前测试条件“正在播放歌曲”不匹配。

步骤S4、利用第二线程，根据当前测试条件，初始化执行环境，执行步骤S5。

可选的，可根据当前测试条件“正在播放歌曲”，利用第二线程，对智能音箱的执行环境进行初始化，控制智能音箱进入“正在播放歌曲”的工作状态，使智能音箱的执行环境与当前测试条件“正在播放歌曲”相匹配。

步骤S5、利用第一线程从指定目录调取测试音频并播放。

可选的，当智能音箱的当前执行环境与当前测试条件“正在播放歌曲”相匹配时，可利用第一线程从指定目录调“播放下一首歌曲”的音频文件并进行播放，使得智能音箱针对“播放下一首歌曲”的音频指令作出响应；

步骤S6、利用第二线程从智能音箱的运行日志中调取测试音频的测试响应结果时。

可选的，在智能音箱响应“播放下一首歌曲”的音频指令后，第二线程可从智能音箱的运行日志中调取出相应的响应结果。

步骤S7、利用第二线程，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

可选的，可比对智能音箱响应“播放下一首歌曲”的音频指令后，所播放的歌曲的序号，与“上一首歌曲的序号+1”的结果是否匹配，若是，则测试通过，若否，则测试未通过。

本发明实施例提供的测试方法，可实现无UI的语音交互设备的端到端的自动化测试。

下面对本发明实施例提供的测试装置进行介绍，下文描述的测试装置可以认为是语音交互设备，为实现本发明实施例提供的测试方法，所需设置的程序模块。下文描述的测试装置的内容，可与上文描述的测试方法内容相互对应参照。

图8为本发明实施例提供的测试装置的结构框图，该测试装置可应用于测试设备，测试设备可以是与语音交互设备相相连接的独立设备，也可由语音交互设备实现；参照图8，该测试装置可以包括：

用例调取模块100，用于利用第一线程调取当前测试用例；

文本及预期结果确定模块200，用于利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；

音频确定模块300，用于利用所述第一线程，确定所述测试文本指令相应的测试音频；

音频播放模块400，用于利用所述第一线程，针对语音交互设备播放所述测试音频；

比对模块500，用于利用所述第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

本实施例提供的测试装置，利用第一线程调取当前测试用例；利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；利用所述第一线程，确定所述测试文本指令相应的测试音频；利用所述第一线程，针对语音交互设备播放所述测试音频；利用所述第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。本实施例提供的测试装置，可适用于无UI的语音交互设备的端到端的自动化测试，解决了现有测试装置无法适用于无UI设备的端到端的自动化测试的问题。并且是基于多线程的方式，实现端到端的自动化测试，提高了测试效率。

可选的，所述当前测试用例至少包括：测试文本指令及预期测试响应结果；所述文本及预期结果确定模块200，用于利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果，具体包括：

利用所述第一线程，解析所述当前测试用例的内容，确定所述当前测试用例相应的测试文本指令及预期测试响应结果。

可选的，所述当前测试用例至少包括：所述当前测试用例对应的业务标识；所述文本及预期结果确定模块200，用于利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果，具体包括：

根据所述当前测试用例对应的业务标识，从测试数据库中随机调取所述业务标识相应的测试文本指令及相应的预期测试响应结果；其中，测试数据库针对测试的各业务，分别记录有至少一个测试文本指令，及相应的预期测试响应结果。

可选的，音频确定模块300，用于利用所述第一线程，确定所述测试文本指令相应的测试音频，具体包括：

利用所述第一线程，根据文本转语音技术，将所述测试文本指令转换为相应的测试音频，并将所述测试音频存储在指定目录；

所述音频播放模块400，用于利用所述第一线程，针对语音交互设备播放所述测试音频，具体包括：

从所述指定目录调取所述测试音频，并针对语音交互设备播放所述测试音频。

可选的，用例调取模块100，用于利用第一线程调取当前测试用例，具体包括：

利用第一线程，根据当前测试序数，从测试任务中调取与当前测试序数相应的当前测试用例；其中，所述测试任务具有顺序排列的多个测试用例。

可选的，所述当前测试用例还可包括：所述当前测试用例的当前测试条件。相应的，图9示出了本发明实施例提供的测试装置的另一结构框图，该测试装置还可以包括：

环境初始化模块600，用于在利用所述第一线程播放所述测试音频之前，利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境。

可选的，环境初始化模块600可在语音交互设备的当前执行环境与所述当前测试条件不匹配时，利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境。

可选的，音频播放模块可在语音交互设备的当前执行环境与所述当前测试条件相匹配时，利用所述第一线程，针对语音交互设备播放所述测试音频。

可选的，进一步，如图9所示，所述测试装置还可包括：

环境清理模块700，用于在确定所述当前测试用例的测试结果之后，利用所述第二线程清理执行环境；

下一用例通知调取模块800，用于利用所述第二线程通知第一线程，调取下一条测试用例。

本发明实施例提供的测试方法可应用于测试设备，测试设备的一种可选硬件结构框图可如图10所示，包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本发明实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

可选的，处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

其中，存储器3存储有程序，处理器1调用存储3所存储的程序，以实现本发明前述实施例中所述的测试方法的步骤。

本发明实施例还提供了一种存储介质，所述存储介质存储有适于所述处理器执行的程序，以实现本发明前述实施例中所述的测试方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种测试方法，其特征在于，所述测试方法包括：

利用第一线程调取当前测试用例；

利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；

利用所述第一线程，确定所述测试文本指令相应的测试音频；

利用所述第一线程，针对语音交互设备播放所述测试音频；

利用第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

2.根据权利要求1所述的测试方法，其特征在于，所述当前测试用例至少包括：测试文本指令及预期测试响应结果；所述利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果包括：

利用所述第一线程，解析所述当前测试用例的内容，确定所述当前测试用例相应的测试文本指令及预期测试响应结果。

3.根据权利要求1所述的测试方法，其特征在于，所述当前测试用例至少包括：所述当前测试用例对应的业务标识；所述利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果包括：

根据所述当前测试用例对应的业务标识，从测试数据库中随机调取所述业务标识相应的测试文本指令及相应的预期测试响应结果；其中，测试数据库针对测试的各业务，分别记录有至少一个测试文本指令，及相应的预期测试响应结果。

4.根据权利要求2或3所述的测试方法，其特征在于，所述利用所述第一线程，确定所述测试文本指令相应的测试音频包括：

利用所述第一线程，根据文本转语音技术，将所述测试文本指令转换为相应的测试音频，并将所述测试音频存储在指定目录；

所述利用所述第一线程，针对语音交互设备播放所述测试音频包括：

从所述指定目录调取所述测试音频，并针对语音交互设备播放所述测试音频。

5.根据权利要求2所述的测试方法，其特征在于，所述当前测试用例还包括：所述当前测试用例的当前测试条件；在利用所述第一线程播放所述测试音频之前，所述方法还包括：

利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境。

6.根据权利要求5所述的测试方法，其特征在于，所述方法还包括：

判断语音交互设备的当前执行环境是否与所述当前测试条件相匹配；

若语音交互设备的当前执行环境与所述当前测试条件不匹配，执行所述利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境的步骤；

若语音交互设备的当前执行环境与所述当前测试条件相匹配，执行所述利用所述第一线程，针对语音交互设备播放所述测试音频。

7.根据权利要求1所述的测试方法，其特征在于，所述利用第一线程调取当前测试用例包括：

利用第一线程，根据当前测试序数，从测试任务中调取与当前测试序数相应的当前测试用例；其中，所述测试任务具有顺序排列的多个测试用例。

8.根据权利要求1所述的测试方法，其特征在于，还包括：

在确定所述当前测试用例的测试结果之后，利用所述第二线程清理执行环境；

利用所述第二线程通知第一线程，调取下一条测试用例。

9.一种测试装置，其特征在于，包括：

用例调取模块，用于利用第一线程调取当前测试用例；

文本及预期结果确定模块，用于利用所述第一线程，确定所述当前测试用例相应的测试文本指令及预期测试响应结果；

音频确定模块，用于利用所述第一线程，确定所述测试文本指令相应的测试音频；

音频播放模块，用于利用所述第一线程，针对语音交互设备播放所述测试音频；

比对模块，用于利用第二线程从所述语音交互设备的运行日志中，调取所述语音交互设备对所述测试音频的测试响应结果，比对所述预期测试响应结果与所述测试响应结果，确定所述当前测试用例的测试结果。

10.根据权利要求9所述的测试装置，其特征在于，所述当前测试用例至少包括：测试文本指令及预期测试响应结果；所述文本及预期结果确定模块，用于利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果，具体包括：

利用所述第一线程，解析所述当前测试用例的内容，确定所述当前测试用例相应的测试文本指令及预期测试响应结果。

11.根据权利要求9所述的测试装置，其特征在于，所述当前测试用例至少包括：所述当前测试用例对应的业务标识；所述文本及预期结果确定模块，用于利用所述第一线程确定所述当前测试用例相应的测试文本指令及预期测试响应结果，具体包括：

根据所述当前测试用例对应的业务标识，从测试数据库中随机调取所述业务标识相应的测试文本指令及相应的预期测试响应结果；其中，测试数据库针对测试的各业务，分别记录有至少一个测试文本指令，及相应的预期测试响应结果。

12.根据权利要求10所述的测试装置，其特征在于，所述当前测试用例还包括：所述当前测试用例的当前测试条件；所述测试装置还包括：

环境初始化模块，用于在利用所述第一线程播放所述测试音频之前，利用所述第二线程，根据所述当前测试条件，初始化所述当前测试用例的执行环境。

13.根据权利要求9所述的测试装置，其特征在于，所述测试装置还包括：

环境清理模块，用于在确定所述当前测试用例的测试结果之后，利用所述第二线程清理执行环境；

下一用例通知调取模块，用于利用所述第二线程通知第一线程，调取下一条测试用例。

14.一种测试设备，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器执行所述程序，以实现权利要求1-8任一项所述的测试方法的步骤。

15.一种存储介质，其特征在于，所述存储介质存储有适于处理器执行的程序，以实现权利要求1-8任一项所述的测试方法的步骤。