CN109783369B - 一种自然语言理解模块回归测试方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种自然语言理解模块回归测试方法、装置及电子设备，用于解决现有技术中在多种设备类型的情况下，确定各种设备类型需要的维护后的回归测试集的速度慢，且维护成本高的问题。包括：确定设备类型；根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；根据所述多个垂直领域回归测试集进行回归测试；根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。

Description

一种自然语言理解模块回归测试方法、装置及电子设备

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种自然语言理解模块回归测试方法、装置及电子设备。

背景技术

随着互联网应用的发展，任务型人机对话系统(Task Oriented Spoken DialogueSystem，TOSDS)的应用越来越广泛，在TOSDS中一般包括语音识别模块，自然语言理解(Natural Language Understanding，NLU)模块，对话管理模块，自然语言生成模块，和语音合成模块，其中，上述自然语言理解模块用于对语音识别模块输出的自然语言文本进行语义解析，即将非结构化的自然语言文本解析为符合自然语言理解协议的结构化知识。自然语言理解模块采用语法规则和统计模型对自然语言文本进行语义解析，但在维护自然语言理解模块的过程中，修正后的语法规则和修正后的统计模型可能会引起回归错误，所述回归错误即回归测试集中的数据使用修正后的语法规则和修正后的统计模型进行解析时，会出现解析错误。目前任务型人机对话系统已经被应用到多种类型的设备，即自然语言理解模块被应用到多种类型的设备中，例如：手机、音箱、电视和可穿戴设备等，不同类型的设备所包含的垂直领域集合是有差异的，因此，针对每一种类型的设备都有一套对应的回归测试集，不同类型的设备的回归测试集中既包含相同垂直领域的数据，又包含不同垂直领域的数据。

现有技术中，在维护不同类型的设备中相同垂直领域的回归测试集时，需要找到各个设备中该领域对应的回归测试集，然后分别对找到的各领域中该领域对应的回归测试集分别进行维护，所述维护包括修改、添加和删除，例如，假设维护不同类型的设备中天气垂直领域的语义槽，将语义槽“地点”修改为“城市”，不同类型的设备分别为智能电话、智能手环、智能电视，需要获取智能电话、智能手环、智能电视分别对应的天气垂直领域的回归测试集，将三个天气垂直领域的回归测试集中的语义槽“地点”都修改为“城市”，需要修改三次，才能确定三个设备的自然语言理解模块所需要的回归测试集，并且不同设备类型的自然语言理解模块采用通用的回归测试集进行回归测试时，如果需要完全满足不同的设备类型的自然语言理解模块，需要多次修正自然语言理解模块，因此在多种设备类型的情况下，确定各种设备类型需要的维护后的回归测试集的速度慢，且维护成本高。

综上所述，如何在多种设备类型的情况下，确定各种设备类型需要的维护后的回归测试集的速度慢，且维护成本高是目前需要解决的问题。

发明内容

有鉴于此，本发明提供了一种自然语言理解模块回归测试方法、装置及电子设备，用于解决现有技术中在设备类型多的情况下，确定各设备需要的维护后的回归测试集的速度慢，且维护成本高的问题。

根据本发明实施例的第一个方面，提供了一种自然语言理解模块回归测试方法，包括：确定设备类型；根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；根据所述多个垂直领域回归测试集进行回归测试；根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。

在一个实施例中，根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集，具体包括：确定所述设备类型对应的至少一个垂直领域回归测试集的名称；根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集。

在一个实施例中，所述回归测试集数据库中包括的各个垂直领域回归测试集分开存储，所述各个垂直领域回归测试集分别进行修改、添加和删除操作。

在一个实施例中，所述根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果，具体包括：响应于所有回归测试集的回归测试数据达到对应的合格率阈值，确定测试结果为通过。

在一个实施例中，不同的垂直领域回归测试集具有不同的合格率阈值。

在一个实施例中，不同的设备类型在相同垂直领域的垂直领域回归测试集对应的合格率阈值不同。

根据本发明实施例的第二个方面，提供了一种自然语言理解模块回归测试装置，包括：第一确定单元，用于确定设备类型；第二确定单元，用于根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；回归测试单元，用于根据所述多个垂直领域回归测试集进行回归测试；结果确定单元，用于根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。

在一个实施例中，所述第二确定单元具体用于：确定所述设备类型对应的至少一个垂直领域回归测试集的名称；根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集。

在一个实施例中，所述回归测试集数据库中包括的各个垂直领域回归测试集分开存储，所述各个垂直领域回归测试集分别进行修改、添加和删除操作。

在一个实施例中，所述结果确定单元具体用于：响应于所有回归测试集的回归测试数据达到对应的合格率阈值，确定测试结果为通过。

在一个实施例中，不同的垂直领域回归测试集具有不同的合格率阈值。

在一个实施例中，不同的设备类型在相同垂直领域的垂直领域回归测试集对应的合格率阈值不同。

根据本发明实施例的第三个方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能所述的方法。

根据本发明实施例的第四个方面，提供了一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能所述的方法。

本发明实施例的有益效果包括：首先确定设备类型，然后根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值，接着根据所述多个垂直领域回归测试集进行回归测试，最后根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。通过上述方法，可以对回归测试集数据库中的数据可以进行修正，在多种设备类型的情况下，每个设备可以直接在回归测试集数据库中调用修正后的数据，即调用修正后的垂直领域回归测试集，可以提高各设备获取维护后的回归测试集的速度，并且不同设备类型的自然语言理解模块使用垂直领域回归测试集进行回归测试时，只要达到设定的合格率阈值，上述自然语言理解模块就不需要再次修正，降低维护成本。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是现有技术提供的一种设备类型的自然语言理解模块回归测试集示意图；

图2是本发明实施例提供的一种自然语言理解模块回归测试方法流程图；

图3是本发明实施例提供的一种设备类型的自然语言理解模块回归测试集示意图；

图4是本发明实施例提供的一种自然语言理解模块回归测试装置示意图；

图5是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，不代表顺序，也不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在现有技术中，任务型人机对话系统的应用越来越广泛，已经被成功应用到多种类型的设备，例如：手机、音箱、电视和可穿戴设备等。任务型人机对话系统TOSDS中包括的自然语言理解模块用于对语音识别模块输出的自然语言文本进行语义解析，将非结构化的自然语言文本解析为符合自然语言理解协议的结构化知识，其中，所述自然语言理解协议一般包括垂直领域，领域意图，语义槽三类信息。具体的，一个TOSDS包含至少一个垂直领域，垂直领域表示自然语言文本所属领域，例如：自然语言文本“播放周杰伦的七里香”属于音乐领域、自然语言文本“查看明天北京的天气”属于天气领域、自然语言文本“导航去天安门”属于导航领域。一个垂直领域包含至少一个领域意图，领域意图表示在垂直领域内，自然语言文本的具体意图，例如，在天气领域中，自然语言文本“明天北京下雨吗”属于询问是否下雨的意图、自然语言文本“今天空气质量好不好”属于询问空气质量的意图、自然语言文本“北京刮风呢吗”属于询问是否有风的意图。一个垂直领域包含零个或多个语义槽，语义槽表示在垂直领域内，自然语言文本限定的具体条件，例如，在天气领域中，一般包括“时间”和“地点”两种语义槽，自然语言文本“明天北京下雨吗”限定了“时间”条件为“明天”以及“地点”条件为“北京”、自然语言文本“今天空气质量好不好”限定了“时间”条件为“今天”、自然语言文本“北京刮风呢吗”限定了“地点”条件为“北京”。

通过自然语言理解模块对自然语言文本进行解析时，首先通过语法规则对自然语言文本进行解析，若语法规则无法解析，则通过统计模型对上述自然语言文本进行解析，若解析错误，则需要对自然语言理解模块中的语法规则和统计模型进行维护，维护后的语法规则和统计模型都可能会引起回归错误，进行回归测试的集合为回归测试集，所述回归测试集中的数据可以为根据自然语言文本，例如，对于音乐垂直领域，回归测试集中的数据可以为“我想听周杰伦的音乐”“我想听刘德华的音乐”等。现有技术中，由于不同设备类型中包含的回归测试集是有差异的，不同设备类型的回归测试集中既包含相同垂直领域的数据，又包含不同垂直领域的数据，既包含通用回归测试集，又包含定制回归测试集，其中，所述通用回归测试集是各设备类型都可以使用的回归测试集，所述定制回归测试集是针对任一设备类型的定制的回归测试集，例如，对于音箱设备和电视设备，音乐垂直领用通用回归测试集都包含10条音乐相关的数据，对于电视设备来说音乐垂直领用通用回归测试集可以满足使用，但对于音响、音箱设备来说音乐垂直领域通用回归测试集不能满足使用，因此需要额外定制音乐垂直领域的定制回归测试集，同时需要为每一种设备类型维护一套回归测试集，如图1所示，为设备类型1的自然语言理解模块回归测试集和设备类型2的自然语言理解模块回归测试集，其中，所示设备类型1和设备类型2属于不同的设备类型。具体的，设备类型1的自然语言理解模块回归测试集中包括：垂直领域1通用回归测试集、垂直领域2通用回归测试集、和垂直领域3通用回归测试集，设备类型2的自然语言理解模块回归测试集中包括：垂直领域2定制回归测试集、垂直领域2通用回归测试集、和垂直领域3通用回归测试集。如果要对垂直领域2通用回归测试集或垂直领域3通用回归测试集进行修改，就需要修改2次，分别为设备类型1的自然语言理解模块回归测试集中包含的垂直领域2通用回归测试集和设备类型2的自然语言理解模块回归测试集中包含的垂直领域2通用回归测试集进行修改，若某个垂直领域通用回归测试集存在于更多设备类型的自然语言理解模块回归测试集中，那就要修改更多次，维护速度慢且维护成本高，同理，在对某个垂直领域通用回归测试集进行添加和删除数据时，也进行相同的处理。此外，在不同类型设备上，不同垂直领域的重要程度也不相同，例如，在音箱设备上音乐垂直领域比视频垂直领域更重要，在电视设备上视频垂直领域比音乐垂直领域更重要，但是传统的回归测试非常严格，一定要保障所有回归测试全部成功，即自然语言理解模块采用回归测试集进行回归测试时需要全部正确解析，只要存在一个设备类型的自然语言理解模块上采用该回归测试集出现了回归错误，都需要对该自然语言理解模块进行维护，灵活性差。

为解决上述问题，本发明提供的一种自然语言理解模块回归测试方法，具体如图2所示，包括：

步骤S200、确定设备类型。

例如，设备类型为音箱设备、电视设备等。

步骤S201、根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值。

具体的，确定所述设备类型对应的至少一个垂直领域回归测试集的名称；根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集，所述回归测试集数据库中的数据不断更新，数据的更新是由于自然语言理解协议的更新，所述回归测试集数据库中的数据包括多个垂直领域回归测试集，每个垂直领域回归测试集可以为通用垂直领域回归测试集也可以为定制垂直领域回归测试集，其中，所述通用垂直领域回归测试集用于各种类型的设备的回归测试，所述定制垂直领域回归测试集用于特定类型的设备的回归测试，所述回归测试集数据库中的数据的修正具体包括添加、删除和修改；所述至少一个垂直领域回归测试集的名称包括通用垂直领域回归测试集的名称和/或定制垂直领域回归测试集的名称，所述合格率阈值的取值可以为0～1之间的任意数值，其中，不同的垂直领域回归测试集具有不同的合格率阈值，不同的设备类型在相同垂直领域的垂直领域回归测试集对应的合格率阈值不同。

举例说明，如图3所示，设备类型3的自然语言理解模块回归测试集包括的垂直领域回归测试集的名称分别为：垂直领域1通用回归测试集的名称、垂直领域2通用回归测试集的名称和垂直领域3通用回归测试集的名称，并且包括垂直领域1通用回归测试集的名称对应的合格率阈值0.95、垂直领域2通用回归测试集的名称对应的合格率阈值0.90和垂直领域3通用回归测试集的名称对应的合格率阈值1.00，自然语言理解模块的回归测试集只包括垂直领域回归测试集的名称，不包括垂直领域回归测试集的内容；设备类型4的自然语言理解模块的回归测试集包括的垂直领域回归测试集的名称分别为：垂直领域2定制回归测试集的名称、垂直领域2通用回归测试集的名称和垂直领域3通用回归测试集的名称，并且包括垂直领域2定制回归测试集的名称对应的合格率阈值0.97、垂直领域2通用回归测试集的名称对应的合格率阈值1和垂直领域3通用回归测试集的名称对应的合格率阈值0.90，自然语言理解模块的回归测试集只包括垂直领域回归测试集的名称，不包括垂直领域回归测试集的内容。假设所述回归测试集数据库中包括垂直领域1通用回归测试集、垂直领域2通用回归测试集、垂直领域2定制回归测试集和垂直领域3通用回归测试集，当需要对任一垂直领域回归测试集进行维护时，只要对回归测试集数据库中垂直领域回归测试集进行维护即可，回归测试集数据库中的数据可以被各种类型的设备复用的。

步骤S202、根据所述多个垂直领域回归测试集进行回归测试。

具体的，通过设备类型的自然语言理解模块对所述多个垂直领域回归测试集进行回归测试。

步骤S203、根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。

具体的，响应于所有回归测试集的回归测试数据达到对应的合格率阈值，确定测试结果为通过。

在本发明实施例中，首先确定设备类型，然后根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值，接着根据所述多个垂直领域回归测试集进行回归测试，最后根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。通过上述方法，可以对回归测试集数据库中的数据可以进行修正，在多种设备类型的情况下，每个设备可以直接在回归测试集数据库中调用修正后的数据，即调用修正后的垂直领域回归测试集，可以提高各设备获取维护后的回归测试集的速度，并且不同设备类型的自然语言理解模块使用垂直领域回归测试集进行回归测试时，只要达到设定的合格率阈值，上述自然语言理解模块就不需要再次修正，降低维护成本。

图4是本发明实施例提供的一种自然语言理解模块回归测试装置示意图。如图4所示，本实施例的自然语言理解模块回归测试装置包括：第一确定单元41，用于确定设备类型；第二确定单元42，用于根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；回归测试单元43，用于根据所述多个垂直领域回归测试集进行回归测试；结果确定单元44，用于根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果。

在一个实施例中，所述第二确定单元具体用于：确定所述设备类型对应的至少一个垂直领域回归测试集的名称；根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集。

在一个实施例中，所述回归测试集数据库中包括的各个垂直领域回归测试集分开存储，所述各个垂直领域回归测试集分别进行修改、添加和删除操作。

在一个实施例中，所述结果确定单元具体用于：响应于所有回归测试集的回归测试数据达到对应的合格率阈值，确定测试结果为通过。

在一个实施例中，不同的垂直领域回归测试集具有不同的合格率阈值。

在一个实施例中，不同的设备类型在相同垂直领域的垂直领域回归测试集对应的合格率阈值不同。

图5是本发明实施例的电子设备的示意图。图5所示的电子设备为自然语言理解模块回归测试装置，其包括通用的计算机硬件结构，其至少包括处理器51和存储器52。处理器51和存储器52通过总线53连接。存储器52适于存储处理器51可执行的指令或程序。处理器51可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器51通过执行存储器52所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线53将上述多个组件连接在一起，同时将上述组件连接到显示控制器54和显示装置以及输入/输出(I/O)装置55。输入/输出(I/O)装置55可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置55通过输入/输出(I/O)控制器56与系统相连。

如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明实施例的各个方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。

计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。

可以使用包括但不限于无线、有线、光纤电缆、RF等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。

用于执行针对本发明实施例各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Smalltalk、C++等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。

上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图图例和/或框图描述了本发明实施例的各个方面。将要理解的是，流程图图例和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种自然语言理解模块回归测试方法，其特征在于，包括：

确定设备类型；

根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；

根据所述多个垂直领域回归测试集进行回归测试；

根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果；

其中，根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集，具体包括：

确定所述设备类型对应的至少一个垂直领域回归测试集的名称；

根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集；

其中，所述回归测试集数据库中包括的各个垂直领域回归测试集分开存储，所述各个垂直领域回归测试集分别进行修改、添加和删除操作。

2.如权利要求1所述的方法，其特征在于，所述根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果，具体包括：

响应于所有回归测试集的回归测试数据达到对应的合格率阈值，确定测试结果为通过。

3.如权利要求1所述的方法，其特征在于，不同的垂直领域回归测试集具有不同的合格率阈值。

4.如权利要求1所述的方法，其特征在于，不同的设备类型在相同垂直领域的垂直领域回归测试集对应的合格率阈值不同。

5.一种自然语言理解模块回归测试装置，其特征在于，包括：

第一确定单元，用于确定设备类型；

第二确定单元，用于根据所述设备类型确定自然语言理解模块的多个垂直领域回归测试集和对应的合格率阈值；

回归测试单元，用于根据所述多个垂直领域回归测试集进行回归测试；

结果确定单元，用于根据每个垂直领域回归测试集的回归测试数据和对应的所述合格率阈值确定测试结果；

其中，所述第二确定单元具体用于：

确定所述设备类型对应的至少一个垂直领域回归测试集的名称；

根据所述至少一个垂直领域回归测试集的名称从回归测试集数据库中获取所述至少一个垂直领域回归测试集的名称对应的垂直领域回归测试集；

其中，所述回归测试集数据库中包括的各个垂直领域回归测试集分开存储，所述各个垂直领域回归测试集分别进行修改、添加和删除操作。

6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-4中任一项所述的方法。

7.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-4任一项所述的方法。

Images