CN116452834A - 图像集生成、样本集生成、自动化测试方法和装置 - Google Patents

Abstract

本公开提供了一种图像集生成方法和装置，涉及人工智能技术领域，具体为计算机视觉、深度学习等技术领域。具体实现方案为：基于当前的视觉关键信息，得到当前的目标图像；将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。该实施方式提高了视觉相关资源的生成效率。

Description

图像集生成、样本集生成、自动化测试方法和装置

技术领域

本公开涉及计算机应用技术领域，涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，尤其涉及一种图像集生成方法和装置、样本集生成方法和装置、自动化测试方法和装置、电子设备、计算机可读介质以及计算机程序产品。

背景技术

传统视觉测试所需的视频或图像等资源都是人工自行查找，并存放在本地或者对应的项目文档中，共享难度大，维护成本高，不利于实现复杂的测试策略，不利于多端复用。

发明内容

提供了一种图像集生成方法和装置、样本集生成方法和装置、自动化测试方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。

根据第一方面，提供了一种图像集生成方法，该方法包括：基于当前的视觉关键信息，得到当前的目标图像；将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。

根据第二方面，提供了一种样本集生成方法，该方法包括：基于当前的视觉关键信息，得到当前的目标图像；将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的目标图像的图像标注信息和对应下一个图像的识别需求信息；关联目标图像和图像标注信息，得到图像样本；响应于包括图像样本的当前的图像样本集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集。

根据第三方面，提供了一种自动化测试方法，该方法包括：从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本；图像样本集基于第二方面任一实现方式的样本集生成方法得到；基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果。

根据第四方面，提供了一种图像集生成装置，该装置包括：目标图像得到单元，被配置成基于当前的视觉关键信息，得到当前的目标图像；目标信息得到单元，被配置成将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；更新单元，被配置成响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；目标集合得到单元，被配置成基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。

根据第五方面，提供了一种样本集生成装置，该装置包括：样本图像得到单元，被配置成基于当前的视觉关键信息，得到当前的目标图像；识别单元，被配置成将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的目标图像的图像标注信息和对应下一个图像的识别需求信息；关联单元，被配置成关联目标图像和图像标注信息，得到图像样本；样本信息得到单元，被配置成响应于包括图像样本的当前的图像样本集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；样本集合得到单元，被配置成基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集。

根据第六方面，提供了一种自动化测试装置，该装置包括：选取单元，被配置成从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本；图像样本集基于第五方面任一实现方式的样本集生成装置得到；测试单元，被配置成基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果。

根据第七方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面至第三方面任一实现方式描述的方法。

根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面至第三方面任一实现方式描述的方法。

根据第九方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面至第三方面任一实现方式描述的方法。

本公开的实施例提供的图像集生成方法和装置，首先，基于当前的视觉关键信息，得到当前的目标图像；其次，将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；再次，响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；最后，基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。由此，在通过视觉关键信息得到目标图像的过程中，通过智能识别交互设备输出的识别需求信息，实时更新视觉关键信息，可以使目标图像集中目标图像随着设备需求而逐渐增加，自动地扩充了目标图像集中的目标图像。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开图像集生成方法的一个实施例的流程图；

图2是根据本公开样本集生成方法的一个实施例的流程图；

图3是根据本公开自动化测试方法的一个实施例的流程图；

图4是根据本公开图像集生成装置的一个实施例的结构示意图；

图5是根据本公开样本集生成装置的一个实施例的结构示意图；

图6是根据本公开自动化测试装置的一个实施例的结构示意图；

图7是用来实现本公开实施例的图像集生成方法或样本集生成方法或自动化测试方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本实施例中，“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

本公开提供了一种图像集生成方法，图1示出了根据本公开图像集生成方法的一个实施例的流程100，上述图像集生成方法包括以下步骤：

步骤101，基于当前的视觉关键信息，得到当前的目标图像。

本实施例中，视觉关键信息是与待得到的目标图像相关的文本数据，视觉关键信息可以包括：图像格式、图像类型、图像标签、图像中目标的属性信息，其中，目标是呈现在目标图像中景象、动植物等，目标属性信息可以是目标的动作、目标所表示的现象，目标所呈现的姿态等。视觉关键信息以文本数据的形式将目标图像描述出来，并且基于视觉关键信息可以生成目标图像。

本实施例中，目标图像是图像信息中具有目标的图像，例如，一张图中具有一个蹲着的小孩，则该图是目标是小孩的目标图像。为了得到该目标图像，则视觉关键信息可以是：图像格式为jpg，目标是人，目标的动作为蹲着。

本实施例中，当前的视觉关键信息可以是由操作人员直接输入的初始的视觉关键信息，也是可以是智能识别交互设备初始的识别需求信息进行关键信息提取之后得到的信息，例如，智能识别交互设备输出的初始的识别需求信息为“识别人物站立图像”，则当前的视觉关键信息为：人物和人物站立。可选地，当前的视觉关键信息还可以是智能识别交互设备进行多轮图像识别之后，通过最后一次识别需求信息得到的识别需求信息。

步骤102，将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息。

本实施例中，智能识别交互设备是对目标图像中多种目标的目标类型或者目标属性的类型进行自动化识别的设备，该设备对于不同目标所属的目标类型或目标属性的类型可以给出识别结果，并且该设备还可以自动化规划出的下一个图像中目标的目标类型或目标属性的类型，该设备的自动化规划出的目标类型或目标属性的类型可以是由该设备中的排序模型(随机或者按照序列要求顺序输出)确定，例如，智能识别交互设备在识别到当前的目标图像中的小孩后，输出“请输入大人图像”的下一个图像的识别需求信息；再如，智能识别交互设备在识别到当前的目标图像中的目标的动作类型是蹲着后，输出“请输入站立的人员图像”的下一个图像的识别需求信息。

本实施例中，识别需求信息为智能识别交互设备输出的、与图像中的目标类型或目标属性的类型相关的文本数据，该文本数据可以直接从智能识别交互设备得到，也可以通过转化智能识别交互设备的语音得到，通过识别需求信息可以确定智能识别交互设备需求的不同目标类型或者目标属性的类型。

本实施例中，识别需求信息的输出顺序可以基于智能识别交互设备内部设置的次序排序模块的要求得到，例如，智能识别交互设备包括随机排序模块，则智能识别交互设备在得到当前的目标图像之后，会随机决定下一个图的目标类型或者目标属性的类型。

在一个示例中，智能识别交互设备为识别人物的肢体动作的设备，当向智能识别交互设备输入一个包括躺着的人物的目标图像之后，智能识别交互设备对该目标图像进行识别，得到该目标图像的识别结果，并输出“请输入下一个站立的人物图像”的识别需求信息。

步骤103，响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息。

本实施例中，当前的目标图像集中包括至少一个目标图像，至少一个目标图像可以是通过多次视觉关键信息得到，每次视觉关键信息均不相同，至少一个目标图像中各个目标图像也均不相同。当当前的目标图像集中的目标图像均与识别需求信息所对应的目标类型或者目标属性的类型不同时，确定当前的目标图像集不满足识别需求信息的要求。

本实施例中，识别需求信息包括：目标类型或目标属性的类型，当前的目标图像集是通过多个目标图像得到集合，如果当前的目标图像集不满足识别需求信息的要求，确定识别需求信息的目标类型或者目标属性的类型在当前的目标图像集中的并未出现，则需要修改或者替换视觉关键信息，得到更新后的视觉关键信息，通过更新后的视觉关键信息可以得到最新的目标图像，从而使最新的目标图像输入智能识别交互设备。

步骤104，基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。

本实施例中，在得到更新后的视觉关键信息之后，可以通过更新后的视觉关键信息从互联网上搜索得到下一个图像。

可选地，在互联网上无法搜索到下一个图像时，还可以基于更新后的视觉关键信息生成下一个图像。需要说明的是，更新后的视觉关键信息中具有描述下一个图像的关键信息，基于该关键信息和传统的制图的工具可以生成下一个图像。

本实施例中，在得到下一个图像后，将下一个图像作为一个目标图像添加到当前的目标图像集中，达到更新当前的目标图像集的目的，随着视觉关键信息的更新迭代，添加到目标图像集中的目标图像越来越大，逐渐自动化的扩大了目标图像集的数据量。

本公开的实施例提供的图像集生成方法，首先，基于当前的视觉关键信息，得到当前的目标图像；其次，将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；再次，响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；最后，基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。由此，在通过视觉关键信息得到目标图像的过程中，通过智能识别交互设备输出的识别需求信息，实时更新视觉关键信息，可以使目标图像集中目标图像随着设备需求而逐渐增加，自动地扩充了目标图像集中的目标图像。

本实施例中，识别需求信息包括：图像类型、图像格式、标签；在将目标图像发送给智能识别交互设备之后，在本公开的一些实施例中，上述图像集生成方法还包括：得到智能识别交互设备输出的、对应目标图像的目标标签，基于目标标签，对目标图像进行打标，并将打标后的目标图像添加入当前的目标图像集，其中，当前的目标图像集中各个目标图像均是具有标签标注的图像。

在本实施例的一些可选实现方式中，上述响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息包括：从当前的目标图像集中搜索与识别需求信息对应的目标图像；响应于图像样本集中没有与识别需求信息对应的目标图像，确定目标图像集不满足识别需求信息的要求；基于识别需求信息，更新视觉关键信息，得到更新后的视觉关键信息。

本实施例中，基于当前的视觉关键信息，得到目标图像之后，将目标图像添加到目标图像集中，使当前的目标图像集包括目标图像。目标图像集中的目标图像可以采用不同标签进行图像类型、图像格式以及目标类型或目标属性类型的标注。需要说明的是，目标图像集不仅具有当前的目标图像，还具有历史的目标图像，历史的目标图像均是通过更新后的视觉关键信息得到的下一个图像。

本实施例中，识别需求信息可以是一种信息量与视觉关键信息信息量相等的信息，识别需求信息和视觉关键信息均包括：目标、目标类型或者目标的属性类型，例如，识别需求信息为：目标是人物、目标属性类型为人物下蹲，而视觉关键信息为：目标是动物，目标属性类型为动物奔跑。基于识别需求信息，更新视觉关键信息可以包括：直接将视觉关键信息替换为识别需求信息，得到更新后的视觉关键信息。

本公开的实施例提供的得到更新后的视觉关键信息的方法，在当前的目标图像集中没有与视觉关键信息对应的目标图像时，基于识别需求信息，更新视觉关键信息，得到更新后的视觉关键信息，将更新后的视觉关键信息作为当前的视觉关键信息，确定下一个图像，为有效地更新目标图像提供了一种可靠的实现方式，保证了视觉关键信息更新的可靠性。

可选地，上述响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息包括：由识别需求信息确定目标图像的图像类型；响应于图像样本集中没有与图像类型对应的目标图像，确定当前的目标图像集不满足识别需求的要求，基于图像类型，更新视觉关键信息，以通过更新后的视觉关键信息，搜索或生成与图像类型对应的目标图像。

可选地，上述响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息还包括：由识别需求信息确定目标图像的图像格式；响应于图像样本集中没有与图像格式对应的目标图像，确定当前的目标图像集不满足识别需求的要求，基于图像格式，更新视觉关键信息，以通过更新后的视觉关键信息，搜索或生成与图像格式对应的目标图像。

在本实施例的一些可选实现方式中，上述基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集包括：基于更新后的视觉关键信息，搜索或生成下一个图像；将下一个图像添加到目标图像集，得到更新后的目标图像集；将更新后的目标图像集作为当前的目标图像集。

本可选实现方式中，更新后的视觉关键信息是得到图像的文本数据，通过该文本数据从互联网的搜索引擎上进行图像搜索，可以搜索得到下一个图像；在无法搜索到下一个图像时，可以通过图像生成工具生成下一个图像。

本可选实现方式提供的更新目标图像集的方法，基于更新后的视觉关键信息，搜索或生成下一个图像，为目标图像集中目标图像的扩充提供了可靠的手段，保证了目标图像集扩充的有效性。

可选地，上述基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集包括：基于更新后的视觉关键信息，搜索下一个图像，若未搜索到下一个图像，基于更新后的视觉关键信息生成下一个图像；将下一个图像添加到目标图像集，得到更新后的目标图像集；将更新后的目标图像集作为当前的目标图像集。

进一步参考图2，本公开提供了一种样本集生成方法，图2示出了根据本公开样本集生成方法的一个实施例的流程200，上述样本集生成方法包括以下步骤：

步骤201，基于当前的视觉关键信息，得到当前的目标图像。

应当理解，上述步骤201中的操作和特征，分别与步骤101中的操作和特征相对应，因此，上述在步骤101中对于操作和特征的描述，同样适用于步骤201，在此不再赘述。

步骤202，将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的目标图像的图像标注信息和对应下一个图像的识别需求信息。

本实施例中，智能识别交互设备是对目标图像中多种目标的目标类型或者目标属性的类型进行自动化识别的设备，该设备对于不同目标所属的目标类型或目标属性的类型可以给出识别结果，并且该设备还可以自动化规划出的下一个图像中目标的目标类型或目标属性的类型，该设备的自动化规划出的目标类型或目标属性的类型可以是由该设备中的排序模型(随机或者按照序列要求顺序输出)确定，例如，智能识别交互设备在识别到当前的目标图像中的目标的动作类型是蹲着后，输出“请输入站立的人员图像”的下一个图像的识别需求信息。

步骤203，关联目标图像和图像标注信息，得到图像样本。

本实施例中，图像样本中的目标图像与图像标注信息关联在一起，当得到图像样本之后，可以随之得到图像标注信息。

本实施例中，图像标注信息是由智能识别交互设备对目标图像进行识别之后得到的信息，例如，图像标注信息可以包括：目标类型，图像中目标属于目标类型的概率；或者目标属性的类型，图像中目标属于目标属性的类型的概率。

本实施例中，智能识别交互设备可以是包括智能识别交互模型的设备，智能识别交互模型用于对目标图像中的目标进行识别，得到属于目标类型或者目标属性的类型的概率。

步骤204，响应于包括图像样本的当前的图像样本集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息。

应当理解，上述步骤204中的操作和特征，分别与步骤103中的操作和特征相对应，因此，上述在步骤103中对于操作和特征的描述，同样适用于步骤204，在此不再赘述。

可选地，上述步骤204包括：从当前的图像样本集中搜索与识别需求信息对应的图像样本；响应于图像样本集中没有与识别需求信息对应的图像样本，确定图像样本集不满足识别需求信息的要求；基于识别需求信息，更新视觉关键信息，得到更新后的视觉关键信息。

步骤205，基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集。

本实施例中，上述步骤205具体包括：基于更新后的视觉关键信息，得到下一个目标图像；将下一个目标图像输入智能识别交互设备，得到下一个目标图像的图像标注信息；关联下一个目标图像和下一个目标图像的图像标注信息，得到下一个图像样本；将下一个图像样本添加到图像样本集中以更新图像样本集，得到当前的图像样本集。

本实施例中，当前时刻的图像样本集为当前的图像样本集，随着时间的推移，下一时刻在图像样本集添加下一个图像样本之后，自动更新图像样本，得到下一时刻的图像样本集。当前的图像样本集包括当前的图像样本还可以包括历史的图像样本。

本公开的实施例提供的样本集生成方法，首先，基于当前的视觉关键信息，得到当前的目标图像；其次，将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的目标图像的图像标注信息和对应下一个图像的识别需求信息；再次，关联目标图像和图像标注信息，得到图像样本；从此，响应于包括图像样本的当前的图像样本集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；最后，基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集。由此，在通过视觉关键信息得到目标图像的过程中，通过智能识别交互设备输出的识别需求信息，实时更新视觉关键信息，可以使图像样本集中与目标图像对应的图像样本随着设备需求而逐渐增加，自动地扩充了目标样本集中的图像样本。

在本实施例的一些可选实现方式中，上述基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集包括：基于更新后的视觉关键信息，搜索或生成下一个图像；将下一个图像输入智能识别交互设备，得到智能识别交互设备输出的与下一个图像相关的图像标注信息；关联下一个图像和与下一个图像相关的图像标注信息，得到下一个图像样本；将下一个图像样本添加到图像样本集，得到更新后的图像样本集；将更新后的图像样本集作为当前的图像样本集。

本可选实现方式中，更新后的视觉关键信息是得到图像的文本数据，通过该文本数据从互联网的搜索引擎上进行目标图像搜索，可以搜索得到下一个图像；在无法搜索到下一个图像时，可以通过图像生成工具生成下一个图像。

本可选实现方式提供的更新图像样本集的方法，基于更新后的视觉关键信息，搜索或生成下一个图像，通过下一个图像得到下一个图像样本，为图像样本集中的图像样本的扩充提供了可靠的手段，保证了图像样本集扩充的可靠性。

可选地，上述基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集包括：基于更新后的视觉关键信息，搜索下一个图像，若未搜索到下一个图像，基于更新后的视觉关键信息生成下一个图像；将下一个图像输入智能识别交互设备，得到智能识别交互设备输出的与下一个图像相关的图像标注信息；关联下一个图像和与下一个图像相关的图像标注信息，得到下一个图像样本；将下一个图像样本添加到图像样本集，得到更新后的图像样本集；将更新后的图像样本集作为当前的图像样本集。

在本实施例的一些可选实现方式中，识别需求信息包括：图像中目标的动作信息，智能识别交互设备包括：随机排序模块以及与随机排序模块连接的智能交互识别模型；将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息包括：将目标图像发送给智能识别交互模型，以使智能识别交互模型输出的目标图像的图像标注信息；控制随机排序模块在智能识别交互模型输出图像标注信息之后，随机输出对应下一个图像中目标的动作信息。

本可选实现方式中，智能识别交互模型是一种识别图像中目标的动作的模型，该智能识别交互模型是一种训练完成的模型中，对于训练过程中使用的样本智能识别交互模型可以具有较好的识别效果，对于训练过程中样本中未出现的动作，智能识别交互模型的识别效果不确定，通过本公开的样本集生成方法得到的图像样本可以对智能识别交互模型的预测提供可靠的预测基础。

本可选实现方式中，随机排序模块是一种随机排序动作信息的模块，该模块实际通过脚本得到，为指导智能识别交互设备无序输出识别需求信息提供了可靠的基础。

本可选实现方式提供的得到下一个图像的识别需求信息的方法，通过智能识别交互设备中的随机排序模块随机排序动作，并在智能识别交互模型输出图像标注信息之后，随机输出对应下一个图像中目标的动作信息，为图像样本集中的图像样本的扩充提供了可靠的实现手段。

可选地，智能识别交互设备包括：顺序排序模块以及与顺序排序模块连接的智能交互识别模型，上述顺序排序模块按照预设的动作序列依序输出动作，上述将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息包括：将目标图像发送给智能识别交互模型，以使智能识别交互模型输出的目标图像的图像标注信息；控制随机排序模块在智能识别交互模型输出图像标注信息之后，按照动作序列指示的动作输出对应下一个图像中目标的动作信息。本可选实现方式中，顺序排序模块是一种按序排序动作信息的模块，该模块实际通过脚本得到，为指导智能识别交互设备有序输出识别需求信息提供了可靠的基础。

进一步参考图3，本公开提供了自动化测试方法的一个实施例，图3示出了根据本公开自动化测试方法的一个实施例的流程300，上述自动化测试方法包括以下步骤：

步骤301，从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本。

本实施例中，待测动作是智能识别交互设备需要识别的动作，待测动作可以是智能识别交互设备之前未接触到的图像中目标的动作。

本实施例中，图像样本集是通过上述实施例提供的样本集生成方法得到，通过本公开的样本集生成方法得到的图像样本集中的图像样本可以是智能识别交互设备随机或者有序更新视觉关键信息得到。

本实施例中，为了更好地指导智能识别交互设备的自动化测试，从图像样本集中选取的选取样本可以是图像样本集中与待测动作最接近的图像样本。

步骤302，基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果。

本实施例中，由于智能识别交互设备中的智能识别交互模型在训练过程中识别到的图像有限，并且智能识别交互设备中还具有多种模块(例如随机排序模块或顺序排序模块)，为了对智能识别交互设备进行整体识别效果分析，需要对智能识别交互设备进行自动测试，确定当前的智能识别交互设备的自动化测试结果。

本实施例中，智能识别交互设备的自动化测试结果包括：智能识别交互设备的准确度、智能识别交互设备的可靠性中的一项或多项。

本实施例提供的自动化测试方法，从样本集生成方法生成的图像样本集中选取图像样本，基于选取样本对智能识别交互设备进行自动化测试，可以保证智能识别交互设备样本的多样性，提高了智能识别交互设备自动化测试的准确性。

在本实施例的一些可选实现方式中，上述从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本包括：获取当前的图像样本集；基于图像样本集中各个图像样本的图像标注信息，选取与待测动作相关的图像子样本集；基于图像子样本集中各个图像样本的图像标注信息，确定选取样本。

本可选实现方式中，图像样本集中各个图像样本包括：与多种不同动作相关的图像标注信息，具体地，图像标注信息可以包括：图像中目标的动作的类型以及该动作类型的置信度。

上述基于图像标注信息，选取与待测动作相关的图像子样本集包括：基于各个图像样本的图像标注信息中的置信度最高的动作类型，确定与待测动作的动作类型相同的图像样本，将所有与待测动作的动作类型相同的图像样本组合在一起得到图像子样本集。

上述基于图像子样本集中各个图像样本的图像标注信息，确定选取样本包括：对图像子样本集中各个图像样本的该动作类型下的置信度进行由大到小或者由小到大的排序，选取置信度最高的图像样本作为选取样本。

本可选实现方式提供的得到选取样本的方法，基于当前的图像样本集中图像样本的图像标注信息，提取图像子样本集；基于图像子样本集的图像标注信息，确定选取样本，为选取样本的提取提供了可靠的技术支持。

可选地，上述从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本包括：基于当前的图像样本集中各个图像样本中目标的动作，确定与待测动作相关的图像样本；从与待测动作相关的图像样本中选取任意一个图像样本作为选取样本。

在本公开的一些实施例中，上述待测动作可以通过以下步骤得到：从智能识别交互设备获取动作序列；在对智能识别交互设备进行自动化测试时，按照自动化测试顺序依序从动作序列中选取动作，作为待测动作。

本实施例中，智能识别交互设备包括：顺序排序模块和智能识别交互模型，其中，顺序排序模块用于对设置动作序列，并在智能识别交互模型输出对图像的识别结果之后，输出下一个图像的识别需求信息。智能识别交互模型用于表征目标图像与目标图像中目标的动作之间的对应关系。

本可选实现方式中，自动化测试顺序是指对智能交互设备进行测试的顺序，每对智能交互设备测试一次，则按照动作序列指示的顺序，从动作序列中选取一个动作。

本实施例提供的自动化测试方法，通过从智能识别交互设备中获取动作序列，基于动作序列确定待测动作，可以按照动作序列描述的动作的顺序对智能识别交互设备进行自动化测试，提高了智能识别交互设备自动化测试的可靠性。

可选地，上述智能识别交互设备还可以包括：随机排序模块，随机排序模块用于随机排序动作，上述待测动作还可以是通过智能识别交互设备的随机排序模块随机确定的动作。

在本实施例的一些可选实现方式中，上述选取样本包括：目标图像以及目标图像对应的图像标注信息，基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果包括：将目标图像输入智能识别交互设备，得到智能识别交互设备输出的待测动作的图像标注信息；基于输出的图像标注信息与目标图像的图像标注信息，确定智能识别交互设备的准确度。

本可选实现方式中，智能识别交互设备包括：智能识别交互模型，智能识别交互模型用于识别图像中目标的动作，并输出图像的图像标注信息。当选取样本中的图像标注信息与智能识别交互设备输出的图像标注信息完全相同，或者两者相似度大于预设的相似度阈值，确定智能识别交互设备的准确度合格；否则，确定智能识别交互设备的准确度不合格。

本实施例中，图像标注信息包括：图像格式、图像类型、图像中目标的动作类型以及目标属于该动作类型的置信度。

可选地，上述基于输出的图像标注信息与目标图像的图像标注信息，确定智能识别交互设备的准确度包括：将输出的图像标注信息中的图像格式、图像类型以及目标的动作类型分别与目标图像的图像标注信息中的图像格式、图像类型以及目标的动作类型进行比较，响应于两者的图像格式、图像类型以及目标的动作类型相同，将两者各个动作类型下的置信度求差，响应于差值大于预设的差值阈值，确定智能识别交互设备的准确度不合格；若两者各个动作类型下的置信度的差值小于差值阈值，确定智能识别交互设备的准确度合格。

本可选实现方式提供的得到智能识别交互设备的自动化测试结果的方法，基于智能识别交互设备输出的图像标注信息与选取样本的图像标注信息，确定智能识别交互设备的准确度，为智能识别交互设备的准确性测试提供了一种可靠的手段。

可选地，自动化测试结果包括：智能识别交互设备的可靠性，选取样本包括：目标图像以及目标图像对应的图像标注信息，基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果包括：将目标图像输入智能识别交互设备，得到智能识别交互设备输出的下一个图像的识别需求信息；基于预设的动作序列中与待测动作相邻的下一个动作和智能识别交互设备输出的识别需求信息，确定智能识别交互设备的可靠性。

本可选实现方式中，当下一个动作和智能识别交互设备输出的识别需求信息相同，确定智能识别交互设备可靠性合格；否则，确定智能识别交互设备的可靠性不合格。

进一步参考图4，作为对上述各图所示图像集生成方法的实现，本公开提供了图像集生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图4所示，本实施例提供的图像集生成装置400包括：目标图像得到单元401，目标信息得到单元402，更新单元403，目标集合得到单元404。其中，上述目标图像得到单元401，可以被配置成基于当前的视觉关键信息，得到当前的目标图像。上述目标信息得到单元402，可以被配置成将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息。上述更新单元403，可以被配置成响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息。上述目标集合得到单元404，可以被配置成基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。

在本实施例中，图像集生成装置400中：目标图像得到单元401，目标信息得到单元402，更新单元403，目标集合得到单元404的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述更新单元403进一步被配置成：从当前的目标图像集中搜索与识别需求信息对应的目标图像；响应于图像样本集中没有与识别需求信息对应的目标图像，确定目标图像集不满足识别需求信息的要求；基于识别需求信息，更新视觉关键信息，得到更新后的视觉关键信息。

在本实施例的一些可选的实现方式中，上述目标集合得到单元404进一步被配置成：基于更新后的视觉关键信息，搜索或生成下一个图像；将下一个图像添加到目标图像集，得到更新后的目标图像集；将更新后的目标图像集作为当前的目标图像集。

本公开的实施例提供的图像集生成装置，首先，目标图像得到单元401基于当前的视觉关键信息，得到当前的目标图像；其次，目标信息得到单元402将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的对应下一个图像的识别需求信息；再次，更新单元403响应于包括目标图像的当前的目标图像集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息；最后，目标集合得到单元404基于更新后的视觉关键信息，得到下一个图像，并通过下一个图像更新目标图像集。由此，在通过视觉关键信息得到目标图像的过程中，通过智能识别交互设备输出的识别需求信息，实时更新视觉关键信息，可以使目标图像集中目标图像随着设备需求而逐渐增加，自动地扩充了目标图像集中的目标图像。

进一步参考图5，作为对上述各图所示样本集生成方法的实现，本公开提供了样本集生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图5所示，本实施例提供的样本集生成装置500包括：样本图像得到单元501，识别单元502，关联单元503，样本信息得到单元504，样本集合得到单元505。其中，上述样本图像得到单元501，可以被配置成基于当前的视觉关键信息，得到当前的目标图像。上述识别单元502，可以被配置成将目标图像发送给智能识别交互设备，得到智能识别交互设备输出的目标图像的图像标注信息和对应下一个图像的识别需求信息。上述关联单元503，可以被配置成关联目标图像和图像标注信息，得到图像样本。上述样本信息得到单元504，可以被配置成响应于包括图像样本的当前的图像样本集不满足识别需求信息的要求，基于识别需求信息，得到更新后的视觉关键信息。上述样本集合得到单元505，可以被配置成基于更新后的视觉关键信息和智能识别交互设备，得到下一个图像样本，并通过下一个图像样本更新图像样本集。

在本实施例中，样本集生成装置500中：样本图像得到单元501，识别单元502，关联单元503，样本信息得到单元504，样本集合得到单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述样本集合得到单元505进一步被配置成：基于更新后的视觉关键信息，搜索或生成下一个图像；将下一个图像输入智能识别交互设备，得到智能识别交互设备输出的与下一个图像相关的图像标注信息；关联下一个图像和与下一个图像相关的图像标注信息，得到下一个图像样本；将下一个图像样本添加到图像样本集，得到更新后的图像样本集；将更新后的图像样本集作为当前的图像样本集。

在本实施例的一些可选的实现方式中，上述视觉关键信息包括：图像中目标的动作信息，智能识别交互设备包括：随机排序模块以及与随机排序模块连接的智能交互识别模型；上述识别单元502进一步被配置成：将目标图像发送给智能识别交互模型，以使智能识别交互模型输出的目标图像的图像标注信息；控制随机排序模块在智能识别交互模型输出图像标注信息之后，随机输出对应下一个图像中目标的动作信息。

进一步参考图6，作为对上述各图所示自动化测试方法的实现，本公开提供了自动化测试装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图6所示，本实施例提供的自动化测试装置600包括：选取单元601，测试单元602。其中，上述选取单元601，可以被配置成从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本；图像样本集基于上述实施例中的样本集生成装置得到。上述测试单元602，可以被配置成基于选取样本，对智能识别交互设备进行自动化测试，得到智能识别交互设备的自动化测试结果。

在本实施例中，自动化测试装置600中：选取单元601，测试单元602的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤301、步骤302的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述选取单元601被配置成：获取当前的图像样本集，图像样本集中各个图像样本包括：与多种不同动作相关的图像标注信息；基于图像样本集中各个图像样本的图像标注信息，选取与待测动作相关的图像子样本集；基于图像子样本集中各个图像样本的图像标注信息，确定选取样本。

在本实施例的一些可选的实现方式中，上述待测动作通过动作确定模块(图中未示出)得到，其中，上述动作确定模块，可以被配置成从智能识别交互设备获取动作序列；在对智能识别交互设备进行自动化测试时，按照自动化测试顺序依序从动作序列中选取动作，作为待测动作。

在本实施例的一些可选的实现方式中，上述选取样本包括：目标图像以及目标图像对应的图像标注信息，上述测试单元601进一步被配置成：将目标图像输入智能识别交互设备，得到智能识别交互设备输出的待测动作的图像标注信息；基于输出的图像标注信息与目标图像的图像标注信息，确定智能识别交互设备的准确度。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像集生成方法或样本集生成方法或自动化测试方法。例如，在一些实施例中，图像集生成方法或样本集生成方法或自动化测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的图像集生成方法或样本集生成方法或自动化测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像集生成方法或样本集生成方法或自动化测试方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程图像集生成装置或样本集生成装置或自动化测试装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种图像集生成方法，所述方法包括：

基于当前的视觉关键信息，得到当前的目标图像；

将所述目标图像发送给智能识别交互设备，得到所述智能识别交互设备输出的对应下一个图像的识别需求信息；

响应于包括所述目标图像的当前的目标图像集不满足所述识别需求信息的要求，基于所述识别需求信息，得到更新后的视觉关键信息；

基于所述更新后的视觉关键信息，得到所述下一个图像，并通过所述下一个图像更新所述目标图像集。

2.根据权利要求1所述的方法，其中，所述响应于包括所述目标图像的当前的目标图像集不满足所述识别需求信息的要求，基于所述识别需求信息，得到更新后的视觉关键信息包括：

从当前的目标图像集中搜索与所述识别需求信息对应的目标图像；

响应于所述图像样本集中没有与所述识别需求信息对应的目标图像，确定所述目标图像集不满足所述识别需求信息的要求；

基于所述识别需求信息，更新所述视觉关键信息，得到更新后的视觉关键信息。

3.根据权利要求1所述的方法，其中，所述基于所述更新后的视觉关键信息，得到所述下一个图像，并通过所述下一个图像更新所述目标图像集包括：

基于所述更新后的视觉关键信息，搜索或生成所述下一个图像；

将所述下一个图像添加到所述目标图像集，得到更新后的目标图像集；

将所述更新后的目标图像集作为当前的目标图像集。

4.一种样本集生成方法，所述方法包括：

基于当前的视觉关键信息，得到当前的目标图像；

将所述目标图像发送给智能识别交互设备，得到所述智能识别交互设备输出的所述目标图像的图像标注信息和对应下一个图像的识别需求信息；

关联所述目标图像和所述图像标注信息，得到图像样本；

响应于包括所述图像样本的当前的图像样本集不满足所述识别需求信息的要求，基于所述识别需求信息，得到更新后的视觉关键信息；

基于所述更新后的视觉关键信息和所述智能识别交互设备，得到下一个图像样本，并通过所述下一个图像样本更新所述图像样本集。

5.根据权利要求4所述的方法，其中，所述基于所述更新后的视觉关键信息和所述智能识别交互设备，得到下一个图像样本，并通过所述下一个图像样本更新所述图像样本集包括：

基于所述更新后的视觉关键信息，搜索或生成所述下一个图像；

将所述下一个图像输入所述智能识别交互设备，得到所述智能识别交互设备输出的与所述下一个图像相关的图像标注信息；

关联所述下一个图像和与所述下一个图像相关的图像标注信息，得到下一个图像样本；

将所述下一个图像样本添加到所述图像样本集，得到更新后的图像样本集；

将所述更新后的图像样本集作为当前的图像样本集。

6.根据权利要求4所述的方法，其中，所述识别需求信息包括：图像中目标的动作信息，所述智能识别交互设备包括：随机排序模块以及与所述随机排序模块连接的智能交互识别模型；所述将所述目标图像发送给智能识别交互设备，得到所述智能识别交互设备输出的对应下一个图像的识别需求信息包括：

将所述目标图像发送给所述智能识别交互模型，以使所述智能识别交互模型输出的所述目标图像的图像标注信息；

控制所述随机排序模块在所述智能识别交互模型输出所述图像标注信息之后，随机输出对应下一个图像中目标的动作信息。

7.一种自动化测试方法，所述方法包括：

从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本；所述图像样本集基于权利要求4-6中任意一项所述的样本集生成方法得到；

基于所述选取样本，对智能识别交互设备进行自动化测试，得到所述智能识别交互设备的自动化测试结果。

8.根据权利要求7所述的方法，其中，所述从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本包括：

获取当前的图像样本集，所述图像样本集中各个图像样本包括：与多种不同动作相关的图像标注信息；

基于图像样本集中各个图像样本的图像标注信息，选取与所述待测动作相关的图像子样本集；

基于所述图像子样本集中各个图像样本的图像标注信息，确定选取样本。

9.根据权利要求7所述的方法，其中，所述选取样本包括：目标图像以及所述目标图像对应的图像标注信息，基于所述选取样本，对智能识别交互设备进行自动化测试，得到所述智能识别交互设备的自动化测试结果包括：

将所述目标图像输入智能识别交互设备，得到所述智能识别交互设备输出的所述待测动作的图像标注信息；

基于输出的图像标注信息与所述目标图像的图像标注信息，确定所述智能识别交互设备的准确度。

10.一种图像集生成装置，所述装置包括：

目标图像得到单元，被配置成基于当前的视觉关键信息，得到当前的目标图像；

目标信息得到单元，被配置成将所述目标图像发送给智能识别交互设备，得到所述智能识别交互设备输出的对应下一个图像的识别需求信息；

更新单元，被配置成响应于包括所述目标图像的当前的目标图像集不满足所述识别需求信息的要求，基于所述识别需求信息，得到更新后的视觉关键信息；

目标集合得到单元，被配置成基于所述更新后的视觉关键信息，得到所述下一个图像，并通过所述下一个图像更新所述目标图像集。

11.根据权利要求10所述的装置，其中，所述更新单元进一步被配置成：从当前的目标图像集中搜索与所述识别需求信息对应的目标图像；响应于所述图像样本集中没有与所述识别需求信息对应的目标图像，确定所述目标图像集不满足所述识别需求信息的要求；基于所述识别需求信息，更新所述视觉关键信息，得到更新后的视觉关键信息。

12.根据权利要求10所述的装置，其中，所述目标集合得到单元进一步被配置成：基于所述更新后的视觉关键信息，搜索或生成所述下一个图像；将所述下一个图像添加到所述目标图像集，得到更新后的目标图像集；将所述更新后的目标图像集作为当前的目标图像集。

13.一种样本集生成装置，所述装置包括：

样本图像得到单元，被配置成基于当前的视觉关键信息，得到当前的目标图像；

识别单元，被配置成将所述目标图像发送给智能识别交互设备，得到所述智能识别交互设备输出的所述目标图像的图像标注信息和对应下一个图像的识别需求信息；

关联单元，被配置成关联所述目标图像和所述图像标注信息，得到图像样本；

样本信息得到单元，被配置成响应于包括所述图像样本的当前的图像样本集不满足所述识别需求信息的要求，基于所述识别需求信息，得到更新后的视觉关键信息；

样本集合得到单元，被配置成基于所述更新后的视觉关键信息和所述智能识别交互设备，得到下一个图像样本，并通过所述下一个图像样本更新所述图像样本集。

14.根据权利要求13所述的装置，其中，所述样本集合得到单元进一步被配置成：基于所述更新后的视觉关键信息，搜索或生成所述下一个图像；将所述下一个图像输入所述智能识别交互设备，得到所述智能识别交互设备输出的与所述下一个图像相关的图像标注信息；关联所述下一个图像和与所述下一个图像相关的图像标注信息，得到下一个图像样本；将所述下一个图像样本添加到所述图像样本集，得到更新后的图像样本集；将所述更新后的图像样本集作为当前的图像样本集。

15.根据权利要求13所述的装置，其中，所述视觉关键信息包括：图像中目标的动作信息，所述智能识别交互设备包括：随机排序模块以及与所述随机排序模块连接的智能交互识别模型；所述识别单元进一步被配置成：将所述目标图像发送给所述智能识别交互模型，以使所述智能识别交互模型输出的所述目标图像的图像标注信息；控制所述随机排序模块在所述智能识别交互模型输出所述图像标注信息之后，随机输出对应下一个图像中目标的动作信息。

16.一种自动化测试装置，所述装置包括：

选取单元，被配置成从当前的图像样本集中选取与待测动作相关的图像样本，得到选取样本；所述图像样本集基于权利要求14-17中任意一项所述的样本集生成装置得到；

测试单元，被配置成基于所述选取样本，对智能识别交互设备进行自动化测试，得到所述智能识别交互设备的自动化测试结果。

17.根据权利要求16所述的装置，其中，所述选取单元被配置成：获取当前的图像样本集，所述图像样本集中各个图像样本包括：与多种不同动作相关的图像标注信息；基于图像样本集中各个图像样本的图像标注信息，选取与所述待测动作相关的图像子样本集；基于所述图像子样本集中各个图像样本的图像标注信息，确定选取样本。

18.根据权利要求16所述的装置，其中，所述选取样本包括：目标图像以及所述目标图像对应的图像标注信息，所述测试单元进一步被配置成：将所述目标图像输入智能识别交互设备，得到所述智能识别交互设备输出的所述待测动作的图像标注信息；基于输出的图像标注信息与所述目标图像的图像标注信息，确定所述智能识别交互设备的准确度。

19.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-9中任一项所述的方法。