CN114997362A - 利用可操纵且多样化的语义的基于概念的对抗生成方法 - Google Patents

Abstract

用于执行利用可操纵且多样化的语义的基于概念的对抗生成的方法和系统。一种系统包括电子处理器，电子处理器被配置成访问输入图像。电子处理器还被配置成：基于输入图像来执行基于概念的语义图像生成。电子处理器还被配置成：使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习。电子处理器还被配置成：根据基于概念的语义对抗学习来生成对抗图像。电子处理器还被配置成：使用对抗图像来测试目标模型。

Description

利用可操纵且多样化的语义的基于概念的对抗生成方法

技术领域

实施例涉及利用可操纵（steerable）且多样化（diverse）的语义的基于概念的对抗生成方法。

发明内容

高效地生成测试用例以评估和验证复杂人工智能（“AI”）模型的性能是具有挑战性的，该复杂人工智能（“AI”）模型诸如基于深度神经网络（“DNN”）的图像分类器、对象检测器等。例如，在医学成像社群（community）中，研究者使用生成性对抗网络（“GAN”）来生成新图像（诸如，脑部磁共振图像），以验证经训练的图像分类模型。由于诊断医学图像收集起来是昂贵的，因此GAN提供了一种用于生成逼真的新测试图像的高效方法。作为另一个示例，在自主驾驶领域中，在将经训练的AI模型大规模部署在自主驾驶系统中之前，在多样化的场景中测试该经训练的AI模型是至关重要的。然而，收集多样化的真实生活交通数据是具有挑战性的。因此，使用基于三维（“3D”）仿真的方法来生成用于自主驾驶AI模型（诸如例如，基于DNN的行人检测器）的测试用例。

深度生成模型和对抗攻击的最近进展为这种测试用例生成示出了有希望的方向。深度生成性模型可以生成类似于真实世界数据的大量测试用例。作为一个示例，StyleGAN（一种深度GAN模型）能够生成伪造的人类肖像（fake human portrait），该伪造的人类肖像欺骗性地看起来像真实的人类面部。对抗攻击方法可以高效地探测机器学习模型的弱点。作为对DNN模型的对抗攻击的一个示例，将小的且人类不可察觉的噪声注入到输入图像（例如，“微笑面部”图像）中可以容易地欺骗该DNN模型，使其做出错误的预测（例如，将输入图像分类为“非微笑面部”图像）。

尽管用于这种测试用例生成的深度生成模型和对抗攻击的最近进展，但是对于使用对抗攻击方法来生成有意义的测试用例以评估和验证DNN模型来说，仍然存在若干个挑战。例如，这种挑战包括：如何利用可解释的高级概念来生成有意义的测试用例，如何理解和操纵（或调整）用于对抗生成的概念，如何针对广泛的测试覆盖来生成多样化的测试用例等等。

关于利用可解释的高级概念来生成有意义的测试用例，利用可解释的高级概念来生成对抗测试用例是具有挑战性的。如上所指出，传统的对抗攻击方法会找到小的随机噪声，这些随机噪声会显著地改变模型分类。这些方法旨在最小化该噪声，使得人类不能够感知该噪声。然而，这会导致与原始图像看起来相同的所生成的对抗示例。因此，该噪声和所生成的对抗示例不反映现实的现象（诸如，照明和背景颜色），或者不具有语义意义（诸如，发型和戴眼镜）。换句话说，人们不能够将DNN模型的弱点从传统对抗测试用例推广（generalize）到真实生活场景。

关于理解和操纵用于对抗生成的概念，理解和操纵（或调整）用于对抗生成的概念要付出不平凡的努力。为了全面地测试AI模型，机器学习工程师需要容易地解释并控制测试用例生成。然而，生成性模型GAN被认为是黑盒模型，其中使用户理解或控制生成过程是具有挑战性的。因此，难以直观地生成具有期望性质的测试用例。

关于生成多样化的测试用例，生成多样化的对抗测试用例的方法具有广泛的测试覆盖是合期望的。为了在不同的使用场景下测试AI模型，所生成的测试用例需要具有多样化的性质。在当前生成方法的情况下，测试用例倾向于具有统一的特征，这些特征不能够覆盖广泛的真实生活场景。

为了解决这些和其他问题，本文中描述的实施例除了其他之外还提供了用于执行利用可解释、可操纵且多样化的语义的基于概念的对抗生成的方法和系统。本文中描述的实施例包括基于概念的语义图像生成、基于概念的基于语义的对抗测试用例生成、以及语义对抗分析的组件。因此，本文中描述的实施例使得能够实现基于概念的对抗生成，该基于概念的对抗生成高效地利用可解释且可操纵的语义来生成多样化测试数据。

因此，本文中描述的实施例有利地提供了：具有解纠缠（disentangle）表示学习和生成性对抗网络的基于概念的对抗生成框架；在隐空间中具有分离的高级概念和低级不可感知特征的生成框架；用于在不知道目标模型的参数的情况下生成基于概念的对抗结果的黑盒对抗攻击方法；用于通过平衡高级概念和低级不可感知特征来生成多样化结果的可操纵攻击方法；以及用于获得所生成的对抗模式的可执行洞察（actionable insight）的视觉总结（visual summarization）。

例如，一个实施例提供了一种用于执行利用可操纵且多样化的语义的基于概念的对抗生成的系统。该系统包括电子处理器，电子处理器被配置成访问输入图像。电子处理器还被配置成：基于输入图像来执行基于概念的语义图像生成。电子处理器还被配置成：使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习。电子处理器还被配置成：根据基于概念的语义对抗学习来生成对抗图像。电子处理器还被配置成：使用对抗图像来测试目标模型。

另一个实施例提供了一种用于执行利用可操纵且多样化的语义的基于概念的对抗生成的方法。该方法包括：访问输入图像。该方法还包括：利用电子处理器、基于输入图像来执行基于概念的语义图像生成。该方法还包括：利用电子处理器、使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习。该方法还包括：利用电子处理器、根据基于概念的语义对抗学习来生成对抗图像。该方法还包括：利用电子处理器、使用对抗图像来测试目标模型。该方法还包括：利用电子处理器来生成目标模型的性能概要以供显示。

又一个实施例提供了一种存储指令的非暂时性计算机可读介质，该指令在由电子处理器执行时实行功能集合。该功能集合包括：访问输入图像。该功能集合还包括：基于输入图像来执行基于概念的语义图像生成。该功能集合还包括：使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习。该功能集合还包括：根据基于概念的语义对抗学习来生成对抗图像。该功能集合还包括：使用对抗图像来测试目标模型。该功能集合还包括：生成目标模型的性能概要以供显示。

通过考虑详细描述和附图，其他方面和实施例将变得明显。

附图说明

图1示意性地图示了根据一些实施例的用于执行利用可操纵且多样化的语义的基于概念的对抗生成的系统。

图2示意性地图示了根据一些实施例的被包括在图1的系统中的服务器。

图3A-3B图示了示例输入图像。

图4是图示了根据一些实施例的用于执行利用可操纵且多样化的语义的基于概念的对抗生成的方法的流程图，该方法由图1的系统来执行。

图5图示了根据一些实施例的包括连续隐维度和离散隐维度两者的经训练的变分自编码器语义隐空间的可视化。

图6图示了根据一些实施例的利用黑盒查询的语义对抗学习。

具体实施方式

在详细解释任何实施例之前，要理解的是，实施例在其应用方面不限于在以下描述中阐述的或在以下附图中图示的组件的构造和布置的细节。其他实施例是可能的，并且这里描述和/或图示的实施例能够以各种方式来实践或执行。

还应当注意的是，可以使用多个基于硬件和软件的设备以及多个不同的结构组件来实现本文中描述的实施例。此外，实施例可以包括硬件、软件和电子组件或模块，出于讨论的目的，这些硬件、软件和电子组件或模块可以被图示和描述为好像大多数组件仅在硬件中实现。然而，本领域普通技术人员基于对该详细描述的阅读将认识到，在至少一个实施例中，本文中描述的实施例的基于电子的方面可以在软件（例如，该软件被存储在非暂时性计算机可读介质上）中实现，该软件可由一个或多个电子处理器来执行。由此，应当注意的是，可以利用多个基于硬件和软件的设备以及多个不同的结构组件来实现各种实施例。还应当理解的是，尽管某些附图图示了位于特定设备内的硬件和软件，但是这些描绘仅用于说明目的。在一些实施例中，所图示的组件可以被组合，或者被划分成分离的软件、固件和/或硬件。例如，逻辑和处理可以分布在多个电子处理器当中，而不是位于单个电子处理器中并由单个电子处理器执行。无论它们被如何组合或划分，硬件和软件组件都可以位于相同的计算设备上，或者可以分布在不同的计算设备当中，这些不同的计算设备通过一个或多个网络或其他合适的通信链路而连接。

图1图示了根据一些实施例的用于执行基于概念的对抗生成的系统100。在所图示的示例中，系统100包括用户设备105和服务器110。在一些实施例中，系统100包括比图1中所图示的组件更少、附加或不同的组件。例如，系统100可以包括多个用户设备105、多个服务器110或其组合。

用户设备105和服务器110通过一个或多个有线或无线通信网络115进行通信。通信网络115的部分可以使用诸如互联网之类的广域网、诸如蓝牙^TM网络或Wi-Fi之类的局域网以及其组合或派生物来实现。替代地或附加地，在一些实施例中，系统100的组件直接彼此通信，而不是通过通信网络115来通信。而且，在一些实施例中，系统100的组件通过图1中未图示的一个或多个中间设备进行通信。

服务器110包括计算设备，诸如服务器、数据库等。如图2中所图示，服务器110包括电子处理器200、存储器205和通信接口210。电子处理器200、存储器205和通信接口210通过一个或多个通信线路或总线或其组合进行无线通信。在各种配置中，服务器110可以包括除了图2中所图示的那些组件之外的附加组件。例如，服务器110还可以包括一个或多个人机接口，诸如键盘、小键盘、鼠标、操纵杆、触摸屏、显示设备、打印机、扬声器等，它们从用户接收输入、向用户提供输出、或其组合。服务器110还可以执行除了本文中描述的功能之外的附加功能。而且，本文中被描述为由服务器110执行的功能可以分布在多个服务器或设备当中（例如，作为云服务或云计算环境的一部分）。

通信接口210可以包括收发器，该收发器通过通信网络115以及可选地通过一个或多个其他通信网络或连接与用户设备105进行通信。电子处理器200包括微处理器、专用集成电路（“ASIC”）、或用于处理数据的另一个合适的电子设备，并且存储器205包括非暂时性计算机可读存储介质。电子处理器200被配置成访问和执行存储在存储器205中的计算机可读指令（“软件”）。软件可以包括固件、一个或多个应用、程序数据、过滤器、规则、一个或多个程序模块、以及其他可执行指令。例如，软件可以包括用于执行包括本文中描述的方法的功能集合的指令和相关联数据。

例如，如图2中所图示，存储器205可以存储学习引擎220和模型数据库225。在一些实施例中，学习引擎220使用一个或多个机器学习功能来开发一个或多个深度学习模型。机器学习功能通常是允许计算机应用在没有被明确编程的情况下进行学习的功能。特别地，学习引擎220被配置成基于训练数据来开发算法或模型。例如，为了执行监督学习，训练数据包括示例输入和对应的期望（例如，实际）输出，并且学习引擎逐步地开发模型（例如，深度学习模型，诸如对象检测模型、语义分割模型等），该模型将输入映射到训练数据中所包括的输出。由学习引擎220执行的机器学习可以使用各种类型的方法和机制来执行，这些方法和机制包括但不限于决策树学习、关联规则学习、人工神经网络、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似性和度量学习、稀疏字典学习和遗传算法。这些方法允许学习引擎220摄取（ingest）、解析并理解数据，并且逐步地完善模型以用于数据分析。

由学习引擎220生成的模型被存储在模型数据库225中。被存储在模型数据库225中的模型可以包括例如图像分类模型、对象检测模型、基于DNN的行人检测模型等。如图2中所图示，模型数据库225被包括在服务器110的存储器205中。然而，在一些实施例中，模型数据库225被包括在可由服务器110访问的分离的设备（被包括在服务器110中或者在服务器110外部）中。

附加地，如图2中所图示，存储器205包括对抗生成应用230。对抗生成应用230是可由电子处理器200执行的软件应用。如下面更详细地描述的那样，电子处理器200执行对抗生成应用230，以用于执行基于概念的对抗生成，该基于概念的对抗生成高效地利用可解释且可操纵的语义来生成多样化测试数据。例如，如下面更详细地描述的那样，在一些实施例中，对抗生成应用230执行基于概念的语义图像生成，并且执行基于概念的语义对抗学习，以用于生成一个或多个对抗示例或图像。对抗生成应用230可以使用一个或多个对抗示例或图像来执行模型测试和语义对抗分析。

存储器205还包括输入图像240的合集（collection）或集合。图3A和3B图示了示例输入图像240。作为一个示例，图3A图示了作为示例输入图像240的驾驶场景。如在图3A中所看到的，该驾驶场景包括多个边界框305，其中每个边界框305与对应的对象310相关联。在一些实施例中，深度学习模型（例如，存储在模型数据库225中的模型）识别或标识驾驶场景中的对象310，并且在对象310周围定位或生成边界框305。作为又一个示例，图3B图示了作为示例输入图像240的人类肖像。尽管图2图示了被包括在服务器110的存储器205中的（一个或多个）输入图像240，但是在一些实施例中，（一个或多个）输入图像240被包括在可由服务器110访问的分离的设备（被包括在服务器110中或者在服务器110外部）中。

用户设备105还包括计算设备，诸如台式计算机、膝上型计算机、平板计算机、终端、智能电话、智能电视、智能可穿戴设备、或与用户交互的另一个合适的计算设备。最终用户可以使用用户设备105来与对抗生成应用230进行交互。在一些实施例中，最终用户可以与对抗生成应用230进行交互以执行功能测试，该功能测试检查深度学习模型（例如，目标深度学习模型）的性能（例如，鲁棒性和潜在的脆弱性（vulnerability）），如下面更详细地描述的那样。替代地或附加地，最终用户可以使用用户设备105来与功能测试结果进行交互，该功能测试结果诸如由对抗生成应用230提供的功能测试（或对抗攻击）结果的性能概要，如下面更详细地描述的那样。例如，在一些实施例中，对抗生成应用230生成或提供可由最终用户访问的视觉分析工具，以用于执行模型测试和语义对抗分析。

尽管在图1中未图示，但是用户设备105可以包括与服务器110类似的组件，诸如电子处理器（例如，微处理器、ASIC、或另一个合适的电子设备）、存储器（例如，非暂时性计算机可读存储介质）、用于通过通信网络115以及可选地通过一个或多个附加的通信网络或连接进行通信的通信接口（诸如，收发器）、以及一个或多个人机接口。例如，为了与服务器110进行通信，用户设备105可以存储可由电子处理器执行的浏览器应用或专用软件应用。系统100在本文中被描述为通过服务器110来提供功能测试服务。然而，在其他实施例中，在本文中被描述为由服务器110执行的功能可以由用户设备115本地执行。例如，在一些实施例中，用户设备105可以存储对抗生成应用230。

图4是图示了根据一些实施例的用于执行基于概念的对抗生成的方法400的流程图，该方法400由系统100来执行。方法400被描述为由服务器110来执行、并且特别地由电子处理器200所执行的对抗生成应用230来执行。然而，如上所指出，关于方法400描述的功能可以由其他设备（诸如，用户设备105）来执行，或者分布在多个设备（诸如，被包括在云服务中的多个服务器）当中。

如图4中所图示，方法400包括：访问输入图像240（在框405处）。在一些实施例中，电子处理器200从存储器205访问（一个或多个）输入图像240。替代地或附加地，电子处理器200可以从可由服务器110访问的分离的设备（其被包括在服务器110中或者在服务器110外部，诸如分离的数据库）来访问（一个或多个）输入图像240。

在访问输入图像240（在框405处）之后，电子处理器200基于输入图像240来执行基于概念的语义图像生成（在框410处）。在一些实施例中，电子处理器200使用经解纠缠的表示学习和生成性对抗学习来执行基于概念的语义图像生成。因此，在一些实施例中，电子处理器200使用将经解纠缠的表示学习（诸如例如，变分自编码器、β（beta）-变分自编码器等）和生成性对抗学习（诸如例如，GAN）进行组合的方法来训练语义图像生成器。所学习的经解纠缠的隐空间（例如，经训练的语义图像生成器）对连续和类别特征或维度两者进行编码。最终用户可以使用所学习的经解纠缠的隐空间来编码高级概念，并且以语义的方式来生成高保真度的伪造图像。因此，在一些实施例中，电子处理器200通过以下方式来执行基于概念的语义图像生成：训练具有经解纠缠的连续和离散表示的图像生成器，并且基于由图像生成器所解纠缠的语义隐空间来训练生成性对抗网络。

电子处理器200可以训练具有经解纠缠的连续和离散表示（即，具有可解释的隐表示）的图像生成器。在一些实施例中，电子处理器200将图像生成器训练为变分自编码器（例如，经解纠缠的表示模型）。在一些实施例中，电子处理器200通过学习具有连续编码和离散编码两者的（例如，输入图像240的）经解纠缠的隐空间来训练图像生成器，并且将该隐空间与语义特征对齐（例如，作为编码器）。然后，图像生成器可以从该语义隐空间来生成一个或多个新图像（例如，作为解码器）。因此，当生成对抗示例或图像被生成时（如下面更详细地描述的那样），可以容易地控制和理解所生成的对抗图像的语义。因此，在一些实施例中，电子处理器200通过如下方式来训练图像生成器：训练编码器以学习具有连续和离散编码的（例如，输入图像的）经解纠缠的隐空间并将经解纠缠的隐空间与语义特征对齐作为语义隐空间，并且训练解码器以从该语义隐空间来生成新图像。

作为一个示例，图5图示了经训练的变分自编码器语义隐空间的可视化，该语义隐空间包括连续隐维度和离散隐维度两者（在人类面部属性分类用例的情境中）。如在图5中所看到的，可以训练连续隐维度以表示方位角（azimuth）（即，面部的取向），并且可以训练离散隐维度（或二元类别维度）以表示眼镜（例如，如果该人戴眼镜则为1，并且如果该人不戴眼镜则为0）。在图5中所图示的示例中，连续隐维度可以包括例如肤色、头发颜色、背景颜色、方位角、头发长度、背景亮度等。离散隐维度可以包括例如性别、眼镜的存在、微笑的存在、眉毛特性、体重特性等。具有语义隐空间使得最终用户能够使用高级概念来容易地控制对抗图像生成。作为一个示例，最终用户可以容易地在无需眼镜向左转动30度的情况下生成微笑人类面部的图像（例如，对抗图像）。

在训练了图像生成器（例如，变分自编码器）并且将语义隐空间解纠缠之后，电子处理器200利用随机输入以及从该语义隐空间（例如，经解纠缠的语义隐空间）采样的向量来训练GAN（例如，GAN模型）。与变分自编码器相比，GAN模型可以生成看起来更逼真且高保真度的图像（例如，GAN生成的图像）。不同于传统的GAN模型，在一些实施例中，由电子处理器200训练的GAN模型使得用户能够使用具有连续维度和离散维度两者的隐空间向量来控制GAN生成的图像的语义。因此，（由电子处理器200执行的）方法400支持连续隐空间以及类别（或离散）隐空间。关于图5，由GAN模型生成的图像（其中在每一行中，一个语义隐空间维度被遍历（traverse））看起来与现实图像相似，并且语义性质（例如，背景颜色、头发长度）可以被控制。

返回图4，电子处理器200然后使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习（在框415处）。因此，在一些实施例中，电子处理器200标识可以用于生成一个或多个对抗图像的一个或多个语义隐空间样本。对抗图像可以包括例如新的伪造测试图像，该伪造测试图像欺骗目标模型（诸如，面部属性分类器）或者使该目标模型失败。

在一些实施例中，电子处理器200实现黑盒对抗学习方法（例如，在不需要知道目标模型的内部工作的情况下在各种目标分类器上工作的方法）。在一些实施例中，电子处理器200搜索图像空间中的小噪声，以便标识可以用于生成对抗图像的一个或多个语义隐空间样本。替代地或附加地，电子处理器200可以在具有连续维度和类别维度两者的语义隐空间中进行搜索。

图6图示了根据一些实施例的利用黑盒查询的语义对抗学习。如图6中所示，针对特定的输入图像，电子处理器200尝试生成对抗图像，其中目标面部属性分类器（例如，目标模型）会给出不同的预测。对抗图像预期会看起来与输入图像相似，但是具有语义差异。如在图6中所看到的，电子处理器200利用图像生成器（在图6中被图示为“VAE编码器”）将输入图像编码到语义隐空间中。然后，电子处理器200向隐均值向量（latent mean vector）添加小的随机噪声，并且使用被扰动的隐向量以使用GAN来生成新的测试图像（例如，对抗图像）。接下来，通过将测试图像的小集合馈送到目标分类器（例如，目标模型）中，电子处理器200可以根据语义隐空间分布来近似目标分类器损失函数的梯度（在图6中被图示为“梯度估计”）。使用投影梯度下降（“PGD”）对抗攻击方法，电子处理器200可以高效地找到具有导致了对抗示例或图像的小语义修改的隐向量。在一些实施例中，电子处理器200继续该过程，直到至少生成了对抗图像、达到了有限的查询预算等。

因此，如在图4中提供的示例中所看到的，电子处理器根据基于概念的语义对抗学习来生成对抗图像（在框420）处，并且使用该对抗图像，电子处理器200然后可以测试目标模型（在框425处）。因此，在执行了基于概念的语义图像生成（在框410处）和执行了基于概念的语义对抗学习（在框415处）之后，电子处理器200可以高效地生成一个或多个逼真且语义的对抗示例或图像。电子处理器200可以使用对抗图像来测试目标模型（例如，被包括在模型数据库225中的模型），以例如发现边缘情况、标识模型脆弱性等。替代地或附加地，电子处理器200可以通过例如交互式视觉分析工具（例如，由对抗生成应用230提供或作为其一部分）来语义地分析和总结目标模型的鲁棒性。

在一些实施例中，电子处理器200生成目标模型的性能概要以供显示（在框430处）。性能概要可以基于对目标模型的测试。例如，性能概要可以包括与所发现的边缘情况、模型脆弱性、目标模型的鲁棒性等有关的信息。在一些实施例中，电子处理器200经由例如可由用户设备105访问的视觉分析工具来生成性能概要并且将其传输到用户设备105以供显示。因此，最终用户可以与性能概要进行交互（例如，通过可由用户设备105访问的视觉分析工具），以交互地比较不同的表示（例如，在变分自编码器隐空间、分类器特征空间等中），从而获得关于例如目标模型的鲁棒性的可执行洞察。

因此，本文中描述的实施例提供了一种可解释且可操纵的框架，该框架用于生成新的逼真且多样化的测试图像（例如，对抗示例或图像），在这些测试图像中，经训练的AI模型（例如，目标模型）未能正确地预测例如属性。特别地，本文中描述的实施例利用基于经解纠缠的表示学习的方法（诸如，变分自编码器）和GAN的组合来学习语义对抗生成器。本文中描述的实施例使用对抗攻击方法（例如，黑盒对抗攻击方法）以生成其中目标模型表现不佳的新测试图像（例如，对抗示例或图像）。然后，本文中描述的实施例总结并分析对抗示例和测试结果（例如，使用视觉分析工具）。

因此，这些实施例除了其他之外还提供了用于执行基于概念的对抗生成的方法和系统，该基于概念的对抗生成高效地利用可解释且可操纵的语义来生成多样化测试数据。在以下权利要求中阐述了某些实施例的各种特征和优点。

Claims (20)

1.一种用于执行利用可操纵且多样化的语义的基于概念的对抗生成的系统，所述系统包括：

电子处理器，其被配置成：

访问输入图像，

基于所述输入图像来执行基于概念的语义图像生成，

使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习，

根据基于概念的语义对抗学习来生成对抗图像，以及

使用所述对抗图像来测试目标模型。

2.根据权利要求1所述的系统，其中所述电子处理器被配置成使用经解纠缠的表示学习和生成性对抗学习来执行基于概念的语义图像生成。

3.根据权利要求1所述的系统，其中所述电子处理器被配置成通过以下方式来执行基于概念的语义图像生成：

训练具有经解纠缠的连续和离散表示的图像生成器，以及

基于由所述图像生成器所解纠缠的语义隐空间来训练生成性对抗网络。

4.根据权利要求3所述的系统，其中所述图像生成器是变分自编码器。

5.根据权利要求3所述的系统，其中训练所述图像生成器包括：

训练编码器，所述编码器被配置成：

学习具有连续和离散编码的经解纠缠的隐空间，以及

将经解纠缠的隐空间与语义特征对齐作为语义隐空间。

6.根据权利要求3所述的系统，其中训练所述图像生成器还包括：

训练解码器，所述解码器被配置成从所述语义隐空间来生成新图像。

7.根据权利要求3所述的系统，其中所述电子处理器被配置成利用随机输入以及从所述语义隐空间采样的向量来训练所述生成性对抗网络。

8.根据权利要求1所述的系统，其中基于概念的语义对抗学习被执行为黑盒对抗学习方法。

9.根据权利要求1所述的系统，其中所述电子处理器被配置成通过以下方式来执行基于概念的语义对抗学习：

分析所述一组语义隐空间，以及

标识至少一个语义隐空间，

其中所述对抗图像是基于所述至少一个语义隐空间而生成的。

10.根据权利要求9所述的系统，其中所述对抗图像具有与所述输入图像不同的至少一个语义特征。

11.根据权利要求1所述的系统，其中所述对抗图像将使所述目标模型失败。

12.根据权利要求11所述的系统，其中所述目标模型是属性分类器。

13.根据权利要求1所述的系统，其中所述电子处理器进一步被配置成生成所述目标模型的性能概要以供显示。

14.一种用于执行利用可操纵且多样化的语义的基于概念的对抗生成的方法，所述方法包括：

访问输入图像；

利用电子处理器、基于所述输入图像来执行基于概念的语义图像生成；

利用所述电子处理器、使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习；

利用所述电子处理器、根据基于概念的语义对抗学习来生成对抗图像；

利用所述电子处理器、使用所述对抗图像来测试目标模型；以及

利用所述电子处理器来生成所述目标模型的性能概要以供显示。

15.根据权利要求14所述的方法，其中执行基于概念的语义图像生成包括：使用经解纠缠的表示学习和生成性对抗学习来执行基于概念的语义图像生成。

16.根据权利要求14所述的方法，其中执行基于概念的语义图像生成包括：

训练具有经解纠缠的连续和离散表示的图像生成器，以及

基于由所述图像生成器所解纠缠的语义隐空间来训练生成性对抗网络。

17.根据权利要求16所述的方法，其中训练所述图像生成器包括：

训练编码器，所述编码器被配置成：

学习具有连续和离散编码的经解纠缠的隐空间，以及

将经解纠缠的隐空间与语义特征对齐作为语义隐空间；以及

训练解码器，所述解码器被配置成从所述语义隐空间来生成新图像。

18.根据权利要求14所述的方法，其中执行基于概念的语义对抗学习包括：

分析所述一组语义隐空间，以及

标识至少一个语义隐空间，

其中所述对抗图像是基于所述至少一个语义隐空间而生成的。

19.一种存储指令的非暂时性计算机可读介质，所述指令在由电子处理器执行时实行功能集合，所述功能集合包括：

访问输入图像；

基于所述输入图像来执行基于概念的语义图像生成；

使用作为执行基于概念的语义图像生成的一部分而生成的一组语义隐空间来执行基于概念的语义对抗学习；

根据基于概念的语义对抗学习来生成对抗图像；

使用所述对抗图像来测试目标模型；以及

生成所述目标模型的性能概要以供显示。

20.根据权利要求19所述的计算机可读介质，其中执行基于概念的语义图像生成包括：

训练具有经解纠缠的连续和离散表示的图像生成器，以及

基于由所述图像生成器所解纠缠的语义隐空间来训练生成性对抗网络。

Images