CN110120024A - 图像处理的方法、装置、设备和存储介质 - Google Patents

Abstract

根据本公开的实施例，提供了一种图像处理的方法、装置、设备和存储介质。该方法包括：对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，图像处理操作包括以下中的至少一项：降低初始图像的分辨率，对初始图像的至少一部分进行平滑；确定与图像处理操作相匹配的图像增强模型，图像增强模型是基于样本图像和参考图像而被训练的，参考图像是对样本图像至少进行图像处理操作得到的；以及通过利用图像增强模型处理中间图像来生成目标图像，目标图像具有比中间图像更高的图像质量。基于这样的方法，可以有效地去除初始图像中包含的对抗样本攻击噪声，并且能够不降低图像的质量。

Description

图像处理的方法、装置、设备和存储介质

技术领域

本公开的实施例主要涉及计算机领域，并且更具体地，涉及图像处理的方法、装置、设备和计算机可读存储介质。

背景技术

随着人工智能的发展，基于神经网络的图像识别模型越来越多地被应用于人们生活的各个方面。例如，自动驾驶车辆可以利用基于神经网络的图像识别模型来获取周围环境的信息，以用于辅助车辆行驶的决策。

然而，一些人眼不可察觉的扰动或噪声可能会对图像识别模型的准确度造成较大的影响，这样的输入样本通常被称为对抗样本。因此，如何降低对抗样本攻击相关的噪声对图像识别模型的影响成为当前关注的焦点。

发明内容

根据本公开的示例实施例，提供了一种图像处理的方案。

在本公开的第一方面中，提供了一种图像处理的方法。该方法包括：对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，图像处理操作包括以下中的至少一项：降低初始图像的分辨率，对初始图像的至少一部分进行平滑；确定与图像处理操作相匹配的图像增强模型，图像增强模型是基于样本图像和参考图像而被训练的，参考图像是对样本图像至少进行图像处理操作得到的；以及通过利用图像增强模型处理中间图像来生成目标图像，目标图像具有比中间图像更高的图像质量。

在本公开的第二方面中，提供了一种用于图像处理的装置。该装置包括处理模块，对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，图像处理操作包括以下中的至少一项：降低初始图像的分辨率，对初始图像的至少一部分进行平滑；模型确定模块，被配置为确定与图像处理操作相匹配的图像增强模型，图像增强模型是基于样本图像和参考图像而被训练的，参考图像是对样本图像至少进行图像处理操作得到的；以及生成模块，被配置为通过利用图像增强模型处理中间图像来生成目标图像，目标图像具有比中间图像更高的图像质量。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的图像处理的过程的流程图；

图3示出了根据本公开的实施例的生成目标图像的过程的流程图；

图4示出了根据本公开的实施例的用于图像识别的装置的示意框图；以及

图5示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上所讨论的，基于神经网络的图像识别模型已经广泛地被应用于生活的各个领域，然而，对抗样本攻击已经成为图像识别模型面临的一个挑战。在对抗样本攻击中，一些人眼不可察觉的噪声可能会使得图像识别模型出现错误的判定，从而无法准确地从图像中获取正确的信息。这样的错误判定在许多领域通常是无法接受的，例如，在基于图像识别的自动驾驶感知领域中，一旦由于对抗样本攻击而造成对交通环境的误判，可能会引发错误的驾驶决策，进而造成难以估量的后果。

根据本公开的实施例，提出了一种用于图像处理的方案。在该方案中，首先对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，其中图像处理操作包括以下中的至少一项：降低初始图像的分辨率，对初始图像的至少一部分进行平滑。随后，确定与图像处理操作相匹配的图像增强模型，其中图像增强模型是基于样本图像和参考图像而被训练的，参考图像是对样本图像至少进行图像处理操作得到的。随后，通过利用图像增强模型处理中间图像来生成目标图像，其中目标图像具有比中间图像更高的图像质量。本公开的方案通过对初始图像进行减小分辨率和/或滤波的处理，以减少初始图像中包含的与对抗样本攻击相关的噪声，并且进一步利用图像增强模型生成具有更高图像质量的目标图像。通过这样的方式，本公开的方案能够在减少对图像质量的影响的情况下抵御对抗样本攻击。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，第一计算设备120可以接收初始图像115。在本公开的实施例中，初始图像115可以是由正常图像105和噪声110所合成的，即，初始图像115具有与对抗样本攻击相关联的噪声110。在一些实施例中，这样的噪声110可以是原本就存在于交通环境中的，例如，这样的噪声是被粘贴于正常交通路牌上的马赛克。备选地，这样的噪声110也可能是在被传输至第一计算设备120前被人为地添加的。

如图1所示，在接收到初始图像115后，第一计算设备120可以对初始图像115进行特定的图像处理操作，以获得中间图像125。例如，第一计算设备120可以减小初始图像115的分辨率，或者对初始图像115中的至少一部分进行平滑处理。这样的操作可以促进过滤初始图像115中所包含的噪声110。

第一计算设备120进一步可以从一个或多个图像增强模型145中确定与所进行的图像处理操作相匹配的图像增强模型145。如图1所示，图像增强模型145可以是由第二计算设备140通过接收样本图像130以及对样本图像130进行上述图像处理而获得的参考图像135而训练获得的。经过上述训练过程，图像增强模型145能够具有基于经图像处理后的较低质量的图像(例如，具有较小分辨率或模糊的图像)来生成具有较高质量的图像能力(例如，具有较高分辨率或更清晰的图像)。应当理解，图像增强模型145所具有的能力是基于输入的样本对所决定的，取决于输入的样本对，图像增强模型145可以仅具有提高分辨率的能力、仅具有使图像锐化的能力、或同时具有提高分辨率且使图像锐化的能力。第一计算设备120可以基于在生成中间图像125所使用的具体图像处理操作而确定与该图像处理操作相匹配的图像增强模型145。

如图1所示，第一计算设备120可以进一步将中间图像125输入到所确定的图像增强模型145，并利用图像增强模型145获得目标图像150，其中该目标图像150具有比中间图像125更高的图像质量。

仅是为了示意，第一计算设备120和第二计算设备140在图1中被示出为分离的框。本领域的技术人员可以理解，基于这些这些设备所描述的功能可以利用物理上结合的或者分布的处理装置来实现，在本公开中不对具体实现方式加以限制。

下文将参考图2至图3来更详细描述训练车道线识别模型的过程。图2示出了根据本公开的一些实施例的图像处理的过程200的流程图。过程200可以由图1的第一计算设备120来实现。为了方便讨论，将结合图1来描述过程200。

在框202，第一计算设备120对具有与对抗样本攻击相关联的噪声110的初始图像115进行图像处理操作以获得中间图像125，其中图像处理操作包括以下中的至少一项：降低初始图像115的分辨率，对初始图像115的至少一部分进行平滑。

如上文所描述的，在一些实施例中，第一计算设备120可以直接通过图像采集设备获取具有对抗样本噪声110的初始图像115，例如，这样的噪声可能是被粘贴在现实场景中的某些马赛克。备选地，这样的噪声110也可以是后期被添加到由图像采集设备获取的正常图像105中。

在一些实施例中，所获取的初始图像115可以是与车辆的周围环境相关联的，并且第一计算设备120可以是车载的计算设备或者是路测的计算设备。第一计算设备120例如可以通过车载相机获得初始图像115，也可以通过网络的方式接受具有噪声110的初始图像115。

为了减少初始图像115中所包含的噪声110，第一计算设备120可以对初始图像115进一步预定的图像处理操作。具体地，第一计算设备120可以降低初始图像115的分辨率，例如可以将初始图像115的分辨率降低为原分辨率的四分之一大小。备选地或附加地，第一计算设备120可以对初始图像115的至少一部分进行平滑，具体地，第一计算设备120可以利用以下滤波器中的至少一个来处理初始图像115的至少一部分：盒式滤波器、均值滤波器、高斯滤波器、中值滤波器和双边滤波导向滤波器。在一个具体的示例中，当使用高斯滤波器进行平滑滤波时，第一计算设备120可以将滤波的窗口大小设置为3至13的范围。在一些实施例中，第一计算设备120可以同时执行以上两种图像处理操作，例如，第一计算设备120可以先降低初始图像115的分辨率，并随后对降低分辨率所获得的图像进行平滑操作。

在框204，第一计算设备120确定与图像处理操作相匹配的图像增强模型145，其中图像增强模型145是基于样本图像130和参考图像135而被训练的，并且参考图像是对样本图像至少进行图像处理操作得到的。具体地，取决于具体的图像处理操作，第一计算设备120可以获取与该图像处理操作相匹配的图像增强模型145。

例如，当第一计算设备120通过执行降低分辨率来获得中间图像125时，第一计算设备120可以获取与降低分辨率相对应的图像增强模型145，其中该图像增强模型145是基于样本图像130以及对样本图像130进行降低分辨率所获得的参考图像135而被训练的。

在另一示例中，当第一计算设备120通过执行平滑操作来获得中间图像125时，第一计算设备120可以获取与执行平滑操作相对应的图像增强模型145，其中该图像增强模型145是基于样本图像130以及对样本图像130执行平滑操作所获得的参考图像135而被训练的。

在一些实施例中，其中该图像增强模型145是超分辨率对抗网络(SRGAN)。当方法200被应用交通场景中时，第二计算设备140可以通过与交通场景(例如，路牌、交通灯)等相关联的样本图像130和参考图像135来训练图像增强模型145。在一些实施例中，图像增强模型145被训练，以使得图像增强模型145基于参考图像135生成的输出图像与样本图像130的差异小于预定的阈值，从而使得经训练的图像增强模型145具有将经图像处理而具有较低图像质量(例如，具有较低分辨率和较低的清晰度)的图像转换为具有较高图像质量的图像的能力。

在框206，第一计算设备120通过利用图像增强模型145处理中间图像125来生成目标图像150，其中目标图像150具有比中间图像125更高的图像质量。

在一些实施例中，第一计算设备120可以利用该图像增强模型145来处理中间图像125。在一些示例中，图像增强模型145可以被部署在第一计算设备120的本地，使得第一计算设备120可以直接将中间图像125输入到本地的图像增强模型145来生成目标图像150。在另一示例中，图像增强模型145可以被部署在另一计算设备(例如，云端计算设备)中，第一计算设备120可以通过将中间图像125发送到例如云端计算设备，使得云端计算设备能够运行图像增强模型145以基于中间图像125生成目标图像150，并将目标图像150发送回到第一计算设备120。

在一些实施例中，图像增强模型145可以是图像增强模型145是超分辨率对抗网络(SRGAN)，以用于基于具有较低图像质量的中间图像125来生成具有更高图像质量的目标图像150。

在一些实施例中，第一计算设备120还可以进一步对中间图像进行有损压缩再进行目标图像150的生成过程。以下将结合图3来描述框206的过程。图3示出了根据本公开实施例的生成目标图像的过程。如图3所示，在框302，第一计算设备120对中间图像125进行有损压缩。在一些实施例中，一般地，中间图像125可以是PNG格式，第一计算设备120可以将中间图像125进行有损压缩。例如，中间图像125可以被存储为JPEG模式。通过有损压缩，第一计算设备120可以进一步去除图像中所包含的噪声110。

在框304，第一计算设备120将经压缩的中间图像应用于图像增强模型145以生成目标图像150。例如，当图像增强模型145是超分辨率对抗网络(SRGAN)，第一计算设备120可以将压缩后的中间图像输入到图像增强模型145中，以基于中间图像生成具有更高质量的目标图像150。

基于这样的方式，本公开的实施例可以首先通过图像处理操作来降低原始图像中包含的与对抗样本攻击有关的噪声，并通过图像增强模型进一步改进图像的质量，以获得具有更高图像质量的目标图像。基于这样方式所获得的目标图像既具有更少的噪声，又具有足以支持图像识别的图像质量，从而能够在尽可能减少对图像质量的影响情况下来抵抗对抗样本攻击。在一些实施例中，当本公开的实施例用于与车辆驾驶有关的场景中时，即所获得的初始图像115是与车辆的环境相关的图像时，方法200还可以包括向车辆提供目标图像150。例如，第一计算设备120可以将目标图像150提供给车辆的决策模块，以根据从目标图像150中所获得的感知信息来进行车辆驾驶的决策。在另一示例中，第一计算设备120也可以将目标图像150提供给例如路侧设备，来从目标图像150中获取感知信息。这些感知信息可以被发送到车辆，或者也可以由路侧设备基于感知信息确定车辆驾驶决策，并将决策发送到该车辆以用于该车辆的驾驶控制。

图4示出了根据本公开实施例的用于训练车道线识别模型的装置400的示意性框图。装置400可以被包括在图1的第一计算设备120中或者被实现为第一计算设备120。如图4所示，装置400包括：处理模块410，其被配置为对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，图像处理操作包括以下中的至少一项：降低初始图像的分辨率，对初始图像的至少一部分进行平滑。装置400还包括模型确定模块420，其被配置为确定与图像处理操作相匹配的图像增强模型，图像增强模型是基于样本图像和参考图像而被训练的，参考图像是对样本图像至少进行图像处理操作得到的。此外，装置400还包括生成模块430，其被配置为通过利用图像增强模型处理中间图像来生成目标图像，目标图像具有比中间图像更高的图像质量。

在一些实施例中，生成模块430包括：压缩模块，被配置为对中间图像进行有损压缩；以及模型应用模块，被配置为将经压缩的中间图像应用于图像增强模型以生成目标图像。

在一些实施例中，装置400还包括：获取模块，被配置为获取初始图像，初始图像与车辆的周围环境相关联；以及提供模块，被配置为向车辆提供目标图像。

在一些实施例中，其中对初始图像的至少一部分进行平滑包括：利用以下滤波器中的至少一个来处理初始图像的至少一部分：盒式滤波器、均值滤波器、高斯滤波器、中值滤波器和双边滤波导向滤波器。

在一些实施例中，其中图像增强模型被训练，以使得图像增强模型基于参考图像生成的输出图像与样本图像的差异小于预定的阈值。

在一些实施例中，其中图像增强模型是超分辨率生成对抗网络。

图5示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备500可以用于实现图1的第一计算设备120和/或第二计算设备140。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元501执行上文所描述的各个方法和处理，例如过程200。例如，在一些实施例中，过程200、方法300和/或过程400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时，可以执行上文描述的过程200的一个或多个步骤。备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种图像处理的方法，包括：

对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，所述图像处理操作包括以下中的至少一项：降低所述初始图像的分辨率，对所述初始图像的至少一部分进行平滑；

确定与所述图像处理操作相匹配的图像增强模型，所述图像增强模型是基于样本图像和参考图像而被训练的，所述参考图像是对所述样本图像至少进行所述图像处理操作得到的；以及

通过利用所述图像增强模型处理所述中间图像来生成目标图像，所述目标图像具有比所述中间图像更高的图像质量。

2.根据权利要求1所述的方法，其中生成所述目标图像包括：

对所述中间图像进行有损压缩；以及

将经压缩的所述中间图像应用于所述图像增强模型以生成所述目标图像。

3.根据权利要求1所述的方法，还包括：

获取所述初始图像，所述初始图像与车辆的周围环境相关联；以及

向所述车辆提供所述目标图像。

4.根据权利要求1至3中任一项所述的方法，其中对所述初始图像的至少一部分进行平滑包括：

利用以下滤波器中的至少一个来处理所述初始图像的所述至少一部分：盒式滤波器、均值滤波器、高斯滤波器、中值滤波器和双边滤波导向滤波器。

5.根据权利要求1至3中任一项所述的方法，其中所述图像增强模型被训练，以使得所述图像增强模型基于所述参考图像生成的输出图像与所述样本图像的差异小于预定的阈值。

6.根据权利要求1至3中任一项所述的方法，其中所述图像增强模型是超分辨率生成对抗网络。

7.一种用于图像处理的装置，包括：

处理模块，被配置为对具有与对抗样本攻击相关联的噪声的初始图像进行图像处理操作以获得中间图像，所述图像处理操作包括以下中的至少一项：降低所述初始图像的分辨率，对所述初始图像的至少一部分进行平滑；

模型确定模块，被配置为确定与所述图像处理操作相匹配的图像增强模型，所述图像增强模型是基于样本图像和参考图像而被训练的，所述参考图像是对所述样本图像至少进行所述图像处理操作得到的；以及

生成模块，被配置为通过利用所述图像增强模型处理所述中间图像来生成目标图像，所述目标图像具有比所述中间图像更高的图像质量。

8.根据权利要求7所述的装置，其中所述生成模块包括：

压缩模块，被配置为对所述中间图像进行有损压缩；以及

模型应用模块，被配置为将经压缩的所述中间图像应用于所述图像增强模型以生成所述目标图像。

9.根据权利要求7所述的装置，还包括：

获取模块，被配置为获取所述初始图像，所述初始图像与车辆的周围环境相关联；以及

提供模块，被配置为向所述车辆提供所述目标图像。

10.根据权利要求7至9中任一项所述的装置，其中对所述初始图像的至少一部分进行平滑包括：

利用以下滤波器中的至少一个来处理所述初始图像的所述至少一部分：盒式滤波器、均值滤波器、高斯滤波器、中值滤波器和双边滤波导向滤波器。

11.根据权利要求7至9中任一项所述的装置，其中所述图像增强模型被训练，以使得所述图像增强模型基于所述参考图像生成的输出图像与所述样本图像的差异小于预定的阈值。

12.根据权利要求7至9中任一项所述的装置，其中所述图像增强模型是超分辨率生成对抗网络。

13.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现根据权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-6中任一项所述的方法。