CN111144491A - 图像处理方法、装置及电子系统 - Google Patents

Abstract

本发明提供了图像处理方法、装置及电子系统，在获取待处理图像后，将待处理图像输入至预设的图像处理模型中，得到输出图像；该输出图像中包含有用于添加至待处理图像中的光照数据；通过输出图像，将光照数据添加至待处理图像。本发明中，基于光照数据渲染待处理图像，可以使得人工合成的待处理图像更加接近真实拍摄的图像；该方式仅通过光照数据渲染待处理图像，图像处理模型在训练过程中的网络学习压力较小，同时可以避免CycleGAN网络对待处理图像进行渲染产生的各种缺陷，使得渲染后的待处理图像满足训练数据的要求，从而保障待训练的模型的性能，并且提高待训练的模型的训练速度和准确率。

Description

图像处理方法、装置及电子系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置及电子系统。

背景技术

训练深度学习模型往往需要大量的训练数据。以目标检测任务模型为例，可以采用人为合成图片的方式得到训练数据，但这种合成的图片不逼真，与真实拍摄的图片存在差距；为了使合成的图片尽量逼真，尽量接近于真实拍摄的图片，可以对合成的图片进行渲染。但是这种渲染方式具有较多的缺陷，比如，可能造成图片的背景模式塌陷进而导致前景图像扭曲，复杂背景被替换为简单背景，前景图像的颜色被替换导致脏数据产生等，这些缺陷导致这些合成的图片不能满足训练数据的要求；如果强行使用这些图片训练模型，则训练出的模型性能较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置及电子系统，以避免对合成的图片进行渲染产生的各种缺陷，使得渲染后的图像满足训练数据的要求，从而提高训练出的模型性能。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，输出图像中包含有用于添加至待处理图像中的光照数据；通过输出图像，将光照数据添加至待处理图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述图像处理模型，通过下述方式训练得到：确定训练样本；其中，训练样本包括第一图像和第二图像；第二图像为：从第一图像中提取出第一图像中的前景图像和背景图像后，由前景图像和背景图像合成得到；将第二图像输入至预设的初始模型中，得到中间图像；通过中间图像得到需要添加至第二图像中的光照数据，将光照数据添加至第二图像；根据第一图像和添加有光照数据的第二图像，计算第一损失值；根据第一损失值训练所述初始模型，得到图像处理模型。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过中间图像得到需要添加至第二图像中的光照数据的步骤，包括：计算中间图像中各个像素点的像素值的平均值；将中间图像中，像素值小于平均值的像素点进行像素值的置零处理；将处理后的中间图像，确定为需要添加至第二图像中的光照数据。

结合第一方面的第一种可能的实施方式或第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述初始模型包括CycleGAN网络模型；该CycleGAN网络模型包括生成器和鉴别器；其中，生成器包括编码器、转换器和解码器；该解码器通过双线性插值的方式对转换器输出的数据进行上采样处理。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述解码器包括双线性差值层和卷积层；双线性差值层用于对转换器输出的数据进行上采样处理；卷积层用于对上采样处理后的数据进行卷积计算，得到中间图像。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，通过输出图像，将光照数据添加至待处理图像的步骤，包括：根据输出图像中各个像素点的像素值，从输出图像中提取光照数据，将提取出的光照数据添加至待处理图像。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据输出图像中各个像素点的像素值，从输出图像中提取光照数据的步骤，包括：计算输出图像中各个像素点的像素值的平均值；将输出图像中，像素值小于平均值的像素点进行像素值的置零处理；将处理后的输出图像，确定为光照数据。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，上述待处理图像，通过下述方式生成：确定目标前景图像和目标背景图像；将目标前景图像粘贴至目标背景图像中，得到待处理图像。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，将光照数据添加至待处理图像的步骤之后，上述方法还包括：获取待处理图像的标注信息，将标注信息携带至待处理图像中；将携带有标注信息的待处理图像作为训练样本，输入至预设的网络模型中，得到输出结果；根据输出结果和标注信息，计算第二损失值；根据第二损失值训练网络模型，得到训练后的网络模型。第二方面，本发明实施例还提供一种图像处理装置，该装置包括：图像处理模块，用于将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，输出图像中包含有用于添加至待处理图像中的光照数据；光照数据添加模块，用于通过输出图像，将光照数据添加至待处理图像。

第三方面，本发明实施例还提供一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述图像处理方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如上述图像处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种图像处理方法、装置及电子系统，将待处理图像输入至预设的图像处理模型中，得到输出图像；该输出图像中包含有用于添加至待处理图像中的光照数据；通过输出图像，将光照数据添加至待处理图像。该方式中，图像处理模型用于输出待处理图像需要添加的光照数据，基于光照数据渲染待处理图像，可以使得人工合成的待处理图像更加接近真实拍摄的图像；该方式仅通过光照数据渲染待处理图像，相对于一般直接对待处理图像进行渲染的方式，图像处理模型在训练过程中的网络学习压力较小，同时可以避免一般直接对待处理图像进行渲染产生的各种缺陷，使得渲染后的待处理图像满足训练数据的要求，从而保障待训练的模型的性能，并且提高待训练的模型的准确率和训练速度。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的一种图像处理方法中，图像处理模型的训练方式的流程图；

图4为本发明实施例提供的另一种图像处理方法的流程图；

图5为本发明实施例提供的一种图像处理方法中，构建数据集过程的示意图；

图6为本发明实施例提供的一种图像处理方法中，基于数据集对初始模型进行训练过程的示意图；

图7为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

训练深度学习模型往往需要大量的训练数据。以深度学习中目标检测任务为例，在训练一个目标检测器的过程中，需要大量包括标注信息的图片作为训练数据。如果采用人为对真实图片中的检测目标进行标注的方式获取大量包括标注信息的图片，人工成本及时间成本都会很高。

相关技术中，可以采用人为合成图片(也称为人为合成数据)的方式得到训练数据；具体而言，一般通过“在背景上随机粘贴前景”的方式来生成。通过该方式得到的图片的标注信息可以在图片生成过程中自然确定。然而，这种合成的图片不逼真，与真实拍摄的图片存在差距，为了减少差距，在一种实现方式中，可以通过基于CycleGAN网络模型的方法来进行图片渲染，使得合成图片尽量逼真。

由于CycleGAN网络模型的初衷是用于非成对数据的域迁移，因此在生成训练数据方面会存在较多的缺陷，如背景模式崩塌、图片存在网格效应(由于CycleGAN网络模型中存在反卷积过程造成的)、复杂背景被替换，以及前景颜色被替换，导致脏数据的产生等等。这些缺陷导致这些合成的图片不能满足训练数据的要求；如果强行使用这些图片训练模型，则训练出的模型性能较差。

基于上述技术问题，本发明实施例提供了一种图像处理方法、装置和电子系统，该技术可以应用于服务器、计算机、相机、手机、平板电脑、车辆中控设备等多种设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法、装置及电子系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集设备110可以采集预览视频帧或图片数据，并且将采集到的预览视频帧或图片数据存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置及电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目标图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

实施例二：

本实施例提供了一种图像处理方法，该方法由上述电子系统中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。

如图2所示，该方法包括如下步骤：

步骤S200，将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，输出图像中包含有用于添加至待处理图像中的光照数据。

上述待处理图像可以为人工合成的图片。人工合成图片的过程可以为将真实图片的前景图像和背景图像分离，再将前景图像粘贴至该真实图片的背景图像中或其他真实图片的背景图像中。当人工合成的图片的用途为目标检测模型的训练数据时，用于合成该图片的前景图像中通常包括待检测的目标；在合成该图片的过程中，可以标注待检测目标在背景图像中的位置信息。

上述图像处理模型可以基于神经网络建立，通过特征提取、特征组合及特征还原等方式对待处理图像进行处理，输出上述输出图像。上述图像处理模型可以通过初始模型经过大量的训练数据训练得到；上述初始模型可以通过卷积层、双线性差值层等网络结构按照设定的连接顺序连接而建立。

为了使得训练后的模型输出的图像更接近真实图像对应的光照数据，可以采用真实图像和根据真实图像进行合成的合成图像作为训练数据。上述合成图像的生成过程可以为将真实图像的前景图像和背景图像分离，并对背景图像的光照信息进行处理后，再将前景图像按照真实图像中在背景图像中的位置粘贴到光照情况处理后的背景图像中。上述对背景图像的光照信息进行处理的过程，可以为将背景图像的光照信息转化为平均光照，或去除背景图像的光照信息等，具体可以通过局部光照平衡整个背景图像的光照等方式来实现。

在训练过程中，可以基于预设的损失函数计算添加光照数据后的合成图像与真实图像之间的损失值，基于该损失值持续训练模型，最终得到图像处理模型。上述训练数据中，由真实图片得到的合成图片和对应的真实图片之间相差的就是光照信息，因此，通过上述训练数据得到的图像处理模型输出的输出图像中包括添加至待处理图像中的光照数据。

步骤S202，通过输出图像，将光照数据添加至待处理图像。

由于通过图像处理模型得到的输出图像中除了光照数据外，可能还会携带有背景图像或前景图像的一些特征，可以根据训练得到的图像处理模型输出的输出图像的特点，对输出图像进行一些处理，得到干扰数据较少的光照数据，如可以在输出图像中选取像素值在一定范围内的像素点组成的图像作为光照数据，或者放弃低于一定阈值的像素点等，具体处理方式可以依据训练得到的图像处理模型的性能特点确定。

本发明实施例提供了一种图像处理方法，将待处理图像输入至预设的图像处理模型中，得到输出图像；该输出图像中包含有用于添加至待处理图像中的光照数据；通过输出图像，将光照数据添加至待处理图像。该方式中，图像处理模型用于输出待处理图像需要添加的光照数据，基于光照数据渲染待处理图像，可以使得人工合成的待处理图像更加接近真实拍摄的图像；该方式仅通过光照数据渲染待处理图像，相对于采用CycleGAN网络对待处理图像进行渲染的方式，图像处理模型在训练过程中的网络学习压力较小，同时可以避免CycleGAN网络对待处理图像进行渲染产生的各种缺陷，使得渲染后的待处理图像满足训练数据的要求，从而保障待训练的模型的性能，并且提高待训练的模型的训练速度和准确率。

实施例三：

本发明实施例还提供了另一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法基于预先训练得到的图像处理模型实现，重点描述了通过输出图像，将光照数据添加至待处理图像的具体实现过程(通过下述步骤S404实现)，以及通过经过图像处理的待处理图像对深度学习模型进行训练的具体实现过程(通过下述步骤S406-S412实现)。如图3所示，上述图像处理模型具体通过以下方式训练得到：

步骤S300，确定训练样本；其中，训练样本包括第一图像和第二图像；第二图像为：从第一图像中提取出第一图像中的前景图像和背景图像后，由前景图像和背景图像合成得到。

为了保证训练得到的图像处理模型得到与真实世界中的光照信息相接近的光照数据，上述第一图像通常为通过图像采集设备在真实世界中采集的图片(也可以称为真实图片)。第二图像的获取过程可以为：首先从第一图像中分别提取第一图像的前景图像和背景图像，提取得到的背景图像的光照信息被除去或已经用平均光照代替，然后将前景图像按照其在背景图像中的原始位置与背景图像合成得到。此时，第二图像和第一图像之间的主要差距为真实世界的光照信息。

步骤S302，将第二图像输入至预设的初始模型中，得到中间图像。

具体而言，上述初始模型可以为CycleGAN网络模型；该CycleGAN网络模型包括生成器和鉴别器；其中，生成器包括编码器、转换器和解码器；该解码器通过双线性插值的方式对转换器输出的数据进行上采样处理。

CycleGAN网络模型是一种生成式对抗网络。相比于通用的CycleGAN网络模型，本发明实施例的上述CycleGAN网络模型是经过改进的。通用的CycleGAN网络模型中，上述编码器由卷积神经网络实现，用于从输入图像中提取特征，得到特征向量；上述转换器由多层Reset模块实现，每个Reset模块由多个卷积层构成，通过组合图像的不相近特征对图像的特征向量进行不同特征域之间的转换；上述解码层利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到生成图像。而本发明实施例的上述CycleGAN网络模型中的上述解码器没有采用反卷积层，而是通过双线性插值的方式对转换器输出的数据进行上采样处理，避免了由于反卷积层的存在而导致的输出图片存在网格效应的缺陷。

在具体实现过程中，本发明实施例的上述解码器可以包括双线性差值层和卷积层；双线性差值层用于对转换器输出的数据进行上采样处理；卷积层用于对上采样处理后的数据进行卷积计算，得到中间图像。

步骤S304，通过中间图像得到需要添加至第二图像中的光照数据，将光照数据添加至第二图像。

由于在得到的中间图像中可能会携带背景图像的信息，如亮度、颜色等，需要对中间图像进行一定的处理，得到干扰数据较少的光照数据，上述步骤S304可以通过以下步骤实现：

(1)计算中间图像中各个像素点的像素值的平均值；具体而言，可以将中间图像中各个像素点的像素值进行加法运算，得到像素值总值，然后以像素值总值除以像素点个数，得到中间图像中各个像素点的像素值的平均值。

(2)将中间图像中，像素值小于平均值的像素点进行像素值的置零处理；此时，认为像素值高于平均值的像素点包含了真正的光照信息。

(3)将处理后的中间图像，确定为需要添加至第二图像中的光照数据；即将由像素值高于平均值的像素点组成的中间图像确定为需要添加至第二图像中的光照数据。

步骤S306，根据第一图像和添加有光照数据的第二图像，计算第一损失值。

具体而言，可以采用预设的损失函数计算上述第一图像和添加有光照数据的第二图像之间的损失值，即上述第一损失值；上述损失函数例如可以为L1损失函数，也被称为平均绝对误差(mean absolute error，简称MAE)，当然还可以为其他现有的损失函数或自主设计的损失函数，本发明实施例对此不作限定。

步骤S308，根据第一损失值训练初始模型，得到图像处理模型。

在初始模型收敛之前，根据上述第一损失值对初始模型的参数进行训练后，继续通过步骤S300-步骤S306的方式计算损失值，并根据损失值对该初始模型进行训练，直至模型收敛，得到图像处理模型。

基于上述图像处理模型，如图4所示，上述图像处理方法通过以下方式实现：

步骤S402，将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，输出图像中包含有用于添加至待处理图像中的光照数据。

具体而言，上述待处理图像可以通过下述方式生成：

(1)确定目标前景图像和目标背景图像；其中，该目标前景图像和目标背景图像可以来源于为同一真实图片，也可以来源于不同真实图片。

(2)将目标前景图像粘贴至目标背景图像中，得到所述待处理图像。其中，当目标前景图像和目标背景图像来源于为同一真实图片时，可以将该真实图片的前景图像进行拉伸、缩放或旋转等变换后，将变换后的前景图像作为目标前景图像，粘贴至目标背景图像中，生成不同的待处理图像。

步骤S404，根据输出图像中各个像素点的像素值，从输出图像中提取光照数据，将提取出的光照数据添加至待处理图像。

具体而言，可以在输出图像中选取像素值高于一定阈值的像素点，将这些像素点组成的图像作为光照数据，该阈值可以为输出图像中各个像素点的平均像素值，具体通过以下方式实现：

(1)计算输出图像中各个像素点的像素值的平均值。

(2)将输出图像中，像素值小于平均值的像素点进行像素值的置零处理；将处理后的输出图像，确定为光照数据。

步骤S406，获取待处理图像的标注信息，将标注信息携带至待处理图像中。

上述标注信息与需要训练的深度学习模型的类型相匹配，例如：当需要训练的深度学习模型为目标检测模型时，上述标注信息可以为待处理图像中检测目标的位置、类型或个数等，具体根据目标检测模型的检测结果确定。

步骤S408，将携带有标注信息的待处理图像作为训练样本，输入至预设的网络模型中，得到输出结果。

具体而言，上述网络模型可以根据目标训练任务，基于已有的深度学习模型建立。上述输出结果为网络模型对待处理图像进行处理后，得到与其训练目标相对应的输出结果；如网络模型用于识别图像中的苹果的位置时，输出结果可以为待处理图像中苹果的位置；由于网络模型在未经过大量数据训练时，准确度较差，因此在网络模型训练的初始阶段，输出结果与真实结果通常有一定误差。

步骤S410，根据输出结果和标注信息，计算第二损失值。

上述标注信息相当于真实结果，可以通过预设的误差损失函数计算输出结果与标准信息之间的误差，即上述第二损失值。

步骤S412，根据第二损失值训练网络模型，得到训练后的网络模型。在网络模型收敛之前，根据上述第二损失值对网络模型的参数进行训练后，继续执行步骤S408，即，将待处理图像输入至网络模型中，并计算输出结果与标准信息的损失值，根据损失值对该初始模型进行训练，直至网络模型收敛，得到训练后的网络模型。需要说明的是，每次输入至网络模型的待处理图像，可以相同，也可以不同。

本发明实施例提供了一种图像处理方法，该方法基于预先训练的图像处理模型实现，在获取待处理图像后，将待处理图像输入至上述图像处理模型中，得到输出图像；该输出图像中包含有用于添加至待处理图像中的光照数据；再根据输出图像中各个像素点的像素值，从输出图像中提取光照数据，将提取出的光照数据添加至待处理图像；进而采用添加了光照数据的待处理图像进行模型训练。该方式中，采用预先训练的图像处理模型对输出图像进行处理，得到包含用于添加至待处理图像中的光照数据的输出图像，再将光照数据添加至待处理图像，使人为合成图片更为接近真实图片，避免了CycleGAN网络对合成的图片进行渲染产生的各种缺陷，使得渲染后的图像满足训练数据的要求；采用上述方式获得的待处理图像进行模型训练，保障了待训练的模型的性能，并且提高了待训练的模型的训练速度和准确率。

实施例四：

本发明实施例还提供了另一种图像处理方法，该方法在上述实施例方法的基础上实现。

在一实施例中，采用基于CycleGAN网络模型方法生成目标检测模型的训练数据；然而该方式生成的图片存在以下问题：(1)背景模式崩塌，如以餐盘作为前景时，通过基于CycleGAN网络模型方法生成的图片中方形的餐盘可能会变得扭曲；(2)图片存在网格效应；(3)换掉复杂背景：通过基于CycleGAN网络模型方法生成的图片会把有利于提高检测器鲁棒性的复杂背景替换成简单背景；(3)前景颜色被替换，导致脏数据产生：如以黑色的盘子作为前景，背景图像颜色为黄色时，通过基于CycleGAN网络模型方法生成的图片可能把黑色的盘子变成黄色的，生成的黄色盘子为脏数据。

关于上述背景模式崩塌、换掉复杂背景、前景颜色被替换而导致脏数据产生这三个技术问题，首先提出了一种让图像处理模型(也称为网络)专注于学习“光照模型”的方式，以此来降低图像处理模型的学习压力，如此图像处理模型就不需要兼顾整张图片的渲染，只需要关注如何产生光照阴影即可。

具体而言，合成图片与真实图片最大的区别就是前景与背景的磨合，合成图片的前景图像(也称为前景或前景图片)与背景图像(也称为背景或背景图片)因为缺少自然光照的原因，失去了让图片变得逼真的阴影。背景模式崩塌、换掉复杂背景和前景颜色被替换而导致脏数据这三个问题的产生原因为：图像处理模型除了关注如何产成逼真阴影的“光照模型”外，还关注了没必要的背景模式，导致学习失败。

本发明实施例提供的方法就是让图像处理模型只专注于学习光照模型f(x)，使得最终生成的图片y＝x+f(x)，其中x是合成图片，f表示该方法采用的基于神经网络建立的图像处理模型；在对图像进行处理过程中，保持x中的背景部分不变，通过图像处理模型f改变x中的前景，使得在上面加上一些光照信息(相当于上述光照数据)，f()也可以称作“光照模型”。而通用的基于CycleGAN网络模型方法对图像处理的过程可以表示为y＝f(x)，即直接通过神经网络对合成图片的前景和背景进行处理，生成最终图片。

针对于图片存在网格效应的缺陷，由于该缺陷是由于基于CycleGAN网络模型方法中存在反卷积层造成的，该方法采用的图像处理模型弃用了反卷积层，而是使用双线性插值的方式来进行上采样，然后采用卷积层来进行精修，以实现原始模型中反卷积层的功能。

该方法具体通过以下方式实现：

1.首先构建数据集(相当于生成上述待处理图像的过程，该数据集中可以包括多张待处理图像)，具体如图5所示：

a.将真实图片image1(相当于上述实施例中的第一图片)的前景裁剪出来，并且记录其前景在原图(即image1)中的坐标(也称为mask)；image1中以两个碗为前景，以盘子为背景；以两个碗投射在盘子上的阴影为光照信息。

b.从真实图片中提取背景图像(即上述盘子)，背景图像的大小与image1一样，且其内容也是image1的背景内容，将剪裁得到的前景按照记录的坐标贴到背景图像上得到合成图片image2(相当于上述实施例中的第二图片)，image2和image1的唯一差别就是光照信息。

c.将剪裁得到的前景随机粘贴到背景图像上得到image3，image3可以用于测试训练得到的检测器的性能，当然也可以作为训练数据，本发明实施例中以image3作为用于测试训练得到的检测器性能的测试数据为例，通过训练得到的检测器和image3可以得到输出图片y＝image3+f(image3)。

2.然后，基于数据集对初始模型进行训练，合成图片image2作为训练初始模型的样本数据，用于对初始模型进行训练。具体如图6所示：

a.使用合成图片image2作为初始模型的输入，输出image2对应的光照模型，经过后处理后与image2相加来得到image2’。其中，构建的数据集根据图片的来源可以分为真实域和合成域；合成图片属于合成域，真实图片属于真实域。

b.使用L1损失作为的损失函数，计算image2’与image1的损失值(也称为GANloss，Generative Adversarial Networks，生成式对抗网络)，继续对初始模型进行训练，直至初始模型收敛。

其中，上述后处理过程具体如下：Image2经过网络后得到中间结果ConvNet(image2)(即上述光照模型)，如果将其直接加到合成图片image2上会导致合成图片的背景被修改，这是需要避免的，与提出学习“光照模型”相悖，且又增加了模型学习压力；因此，可以计算中间结果图片中的各个像素点的平均值，将小于平均值的像素点置零，得到最终需要的光照数据；后处理过程可以称为clip()操作；通过模型对合成图片处理得到光照数据的过程可以被定义为f()，则f(image2)＝clip(ConvNet(image2))，image2’＝image2+f(image2)。

该方法提出了学习“光照模型”的方式，减轻了模型的学习压力，从而同时解决了背景模式崩塌、换掉复杂背景、前景颜色被替换而导致脏数据产生这三个问题；并通过对CycleGAN网络模型的改进，避免了图片存在网格效应的缺陷。

实施例五：

对应于上述图像处理方法实施例，本发明实施例提供了一种图像处理装置，如图7所示，该装置包括：

图像处理模块700，用于将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，输出图像中包含有用于添加至待处理图像中的光照数据；

光照数据添加模块702，用于通过输出图像，将光照数据添加至待处理图像。

本发明实施例提供了一种图像处理装置，将待处理图像输入至预设的图像处理模型中，得到输出图像；该输出图像中包含有用于添加至待处理图像中的光照数据；通过输出图像，将光照数据添加至待处理图像。该方式中，图像处理模型用于输出待处理图像需要添加的光照数据，基于光照数据渲染待处理图像，可以使得人工合成的待处理图像更加接近真实拍摄的图像；该方式仅通过光照数据渲染待处理图像，相对于采用CycleGAN网络对待处理图像进行渲染的方式，图像处理模型在训练过程中的网络学习压力较小，同时可以避免CycleGAN网络对待处理图像进行渲染产生的各种缺陷，使得渲染后的待处理图像满足训练数据的要求，从而保障待训练的模型的性能，并且提高待训练的模型的训练速度和准确率。

进一步地，上述图像处理模型，通过下述方式训练得到：确定训练样本；其中，训练样本包括第一图像和第二图像；第二图像为：从第一图像中提取出第一图像中的前景图像和背景图像后，由前景图像和背景图像合成得到；将第二图像输入至预设的初始模型中，得到中间图像；通过中间图像得到需要添加至第二图像中的光照数据，将光照数据添加至第二图像；根据第一图像和添加有光照数据的所述第二图像，计算第一损失值；根据第一损失值训练所述初始模型，得到图像处理模型。

进一步地，上述通过中间图像得到需要添加至第二图像中的光照数据具体通过以下方式实现：计算中间图像中各个像素点的像素值的平均值；将中间图像中，像素值小于平均值的像素点进行像素值的置零处理；将处理后的中间图像，确定为需要添加至第二图像中的光照数据。

进一步地，上述初始模型包括CycleGAN网络模型；CycleGAN网络模型包括生成器和鉴别器；其中，生成器包括编码器、转换器和解码器；解码器通过双线性插值的方式对转换器输出的数据进行上采样处理。

进一步地，解码器包括双线性差值层和卷积层；双线性差值层用于对转换器输出的数据进行上采样处理；卷积层用于对上采样处理后的数据进行卷积计算，得到中间图像。

进一步地，上述光照数据添加模块还用于：根据输出图像中各个像素点的像素值，从输出图像中提取光照数据，将提取出的光照数据添加至待处理图像。

进一步地，上述光照数据添加模块还用于：计算输出图像中各个像素点的像素值的平均值；将输出图像中，像素值小于平均值的像素点进行像素值的置零处理；将处理后的输出图像，确定为光照数据。

进一步地，上述待处理图像，通过下述方式生成：确定目标前景图像和目标背景图像；将目标前景图像粘贴至目标背景图像中，得到待处理图像。

进一步地，上述装置还包括：标准信息获取模块，用于获取待处理图像的标注信息，将标注信息携带至待处理图像中；结果输出模块，用于将携带有标注信息的待处理图像作为训练样本，输入至预设的网络模型中，得到输出结果；损失值计算模块，用于根据输出结果和标注信息，计算第二损失值；训练模块，用于根据第二损失值训练网络模型，得到训练后的网络模型。

本发明实施例提供的图像处理装置，与上述实施例提供的图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例六：

本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述图像处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述图像处理方法的步骤。

本发明实施例所提供的一种图像处理方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，所述输出图像中包含有用于添加至所述待处理图像中的光照数据；

通过所述输出图像，将所述光照数据添加至所述待处理图像。

2.根据权利要求1所述的方法，其特征在于，所述图像处理模型，通过下述方式训练得到：

确定训练样本；其中，所述训练样本包括第一图像和第二图像；所述第二图像为：从所述第一图像中提取出所述第一图像中的前景图像和背景图像后，由所述前景图像和所述背景图像合成得到；

将所述第二图像输入至预设的初始模型中，得到中间图像；

通过所述中间图像得到需要添加至所述第二图像中的光照数据，将所述光照数据添加至所述第二图像；

根据所述第一图像和添加有所述光照数据的所述第二图像，计算第一损失值；

根据所述第一损失值训练所述初始模型，得到图像处理模型。

3.根据权利要求2所述的方法，其特征在于，通过所述中间图像得到需要添加至所述第二图像中的光照数据的步骤，包括：

计算所述中间图像中各个像素点的像素值的平均值；

将所述中间图像中，像素值小于所述平均值的像素点进行像素值的置零处理；

将处理后的所述中间图像，确定为需要添加至所述第二图像中的光照数据。

4.根据权利要求2或3所述的方法，其特征在于，所述初始模型包括CycleGAN网络模型；所述CycleGAN网络模型包括生成器和鉴别器；其中，所述生成器包括编码器、转换器和解码器；

所述解码器通过双线性插值的方式对所述转换器输出的数据进行上采样处理。

5.根据权利要求4所述的方法，其特征在于，所述解码器包括双线性差值层和卷积层；

所述双线性差值层用于对所述转换器输出的数据进行上采样处理；

所述卷积层用于对上采样处理后的所述数据进行卷积计算，得到所述中间图像。

6.根据权利要求1所述的方法，其特征在于，通过所述输出图像，将所述光照数据添加至所述待处理图像的步骤，包括：

根据所述输出图像中各个像素点的像素值，从所述输出图像中提取所述光照数据，将提取出的所述光照数据添加至所述待处理图像。

7.根据权利要求6所述的方法，其特征在于，根据所述输出图像中各个像素点的像素值，从所述输出图像中提取所述光照数据的步骤，包括：

计算所述输出图像中各个像素点的像素值的平均值；

将所述输出图像中，像素值小于所述平均值的像素点进行像素值的置零处理；

将处理后的所述输出图像，确定为所述光照数据。

8.根据权利要求1所述的方法，其特征在于，所述待处理图像，通过下述方式生成：

确定目标前景图像和目标背景图像；

将所述目标前景图像粘贴至所述目标背景图像中，得到所述待处理图像。

9.根据权利要求1所述的方法，其特征在于，将所述光照数据添加至所述待处理图像的步骤之后，所述方法还包括：

获取所述待处理图像的标注信息，将所述标注信息携带至所述待处理图像中；

将携带有所述标注信息的待处理图像作为训练样本，输入至预设的网络模型中，得到输出结果；

根据所述输出结果和所述标注信息，计算第二损失值；

根据所述第二损失值训练网络模型，得到训练后的所述网络模型。

10.一种图像处理装置，其特征在于，所述装置包括：

图像处理模块，用于将待处理图像输入至预设的图像处理模型中，得到输出图像；其中，所述输出图像中包含有用于添加至所述待处理图像中的光照数据；

光照数据添加模块，用于通过所述输出图像，将所述光照数据添加至所述待处理图像。

11.一种电子系统，其特征在于，所述电子系统包括：图像采集设备、处理设备和存储装置；

所述图像采集设备，用于获取预览视频帧或图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至9任一项所述的图像处理方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至9任一项所述的图像处理方法的步骤。

Images