CN111882495A - 一种基于自定义模糊逻辑与gan的图像高光处理方法 - Google Patents

Abstract

本发明提出一种基于模糊逻辑与生成对抗网络的图像高光修复方法。在该方法中，使用模糊逻辑来对图像高光区域进行判断，并设计带有双判别器的生成对抗网络来对图像高光区域进行修复。此外，本发明在生成器网络中加入了亮度参数来控制生成图像的高光区域亮度范围，亮度参数通过模糊逻辑获得。本发明主要分为三部分，第一部分通过模糊逻辑划分高光区域；第二部分根据亮度参数生成修复图像并通过双判别器对图像进行真假判别，以便确保图像的真实性；第三部分使用图像融合技术处理图像生成部分与原图片，进一步提高高光区域修复效果。本发明较传统图像处理各方面都得到了极大的提高，尤其在图像质量方面提高显著。

Description

一种基于自定义模糊逻辑与GAN的图像高光处理方法

技术领域：

本发明涉及图像生成处理技术领域，尤其涉及一种基于深度神经网络的生 成对抗网络在带有高光的图像上对高光进行检测并重新生成去除高光区域的方 法。

背景技术：

在图像形成过程中，由于物体受到光照或者由于物体表面曲率过大，会在 物体表面形成光斑，出现光斑的部分就是高光溢出的部分。高光溢出部分对于 图像处理造成极大的影响，诸如图像识别、目标检测以及场景分析等方面带来 巨大阻碍。因此寻找一种有效的方法对高光区域进行去高光处理是图像处理领 域的研究重点。深度学习是机器学习研究中的一个新的领域,其动机在于建立、 模拟人脑进行分析学习的神经网络,模仿人脑的机制来解释数据,例如图像,声音 和文本等。随着深度学习的不断发展，出现了一些使用卷积神经网络来对图像 进行修复的方法，基于深度神经卷积网络的图像修复技术得到了显著的提高。 其中生成对抗网络的提出，使得目前的图像处理技术在多样性以及图片质量方面得到了进一步的提高。生成对抗网络对图像修复有着显著的效果。生成对抗 网络是是根据博弈论中的零和博弈理论提出，利用该网络可以生成出非常逼真 的照片、图像甚至视频。

国内外研究者们已经提出了诸多关于图像高光处理的方法。许野平等人根 据数字图像绘制亮度曲线，然后对高光溢出部分做非线性变换，压缩最大亮度 值规定范围从而得到修复效果。高如新等人通过双色反射模型变换得到图片的 镜面反射和漫反射分量，再通过改进双边滤波器，然后对图像进行处理，去除 图像的镜面反射，从而达到去除高光的效果。何嘉林等人通过图片融合的方法 去除图片高光，根据不同角度拍摄的图像亮度不同，通过对多张图片进行高光 区域检测、图像融合、图像补色来消除高光区域。王祎墦等人改进了图像的高 光修复技术，使得对于存在饱和现象的高光区域的单一图像也能有较好的修复 效果。这些方法对图像高光溢出的整体修复效果取得了良好的成效，但是对于 图片的纹理修复效果并不理想，且获得的图片质量不高。

发明内容：

本发明的目的是客服传统图像高光处理技术的不足，结合传统图像处理方 法与生成对抗网络，提出一种基于模糊逻辑与生成对抗网络相结合的对于图像 高光处理的技术。本发明主要解决了以下问题，一、如何更好的实现对图像高 光区域的分割；二、如何提高高光区域的图像和纹理的修复效果。

为了解决上述问题,本发明提出了一种基于模糊逻辑与生成对抗网络相结合 的对于图像高光处理的技术，所述方法一方面利用模糊逻辑来模仿人脑的思维 模式来对图像高光区域进行识别、判断，从而较好的实现对图像高光区域的分 割；另一方面，引入生成对抗网络，使高光区域的图像和纹理得到更好的修复。 所述方法包括获取人脸图像数据集以及水果图像数据集作为初始数据集。将初 始数据经过传统图像算法进行尺寸修改以及模糊逻辑处理等操作，然后将处理 后的图像数据分批次输入生成器网络中进行训练，再通过判别器网络进行判断， 不断将信息反馈给生成器网络，直到判别器网络难以判断数据真假，此时完成 图像高光区域的修复。

所述模糊逻辑具体为：

使用如下S型隶属度函数来进行图像的高光处理：

x表示连读通道中的亮度值，a、b、c是函数S的参数，a、c是亮度通道的取值 范围，b表示划分为亮度区域的渡越点。

所述生成对抗网络具体为：

包含生成器网络和判别器网络两个部分。生成器网络基于全卷积网络，该 网络的输入为一个256*256*3的带有二进制码的RGB图像，其中二进制掩码部 分表示需要修复的高光部分，输出为一个RGB图像，通过卷积操作将图像缩小 到原来的1/4后，使用扩张卷积作为中间层。然后，通过反向传播来对该网络进 行训练，使损失函数最小化，并使用输入和输出对组成的数据集进行训练。判 别器网络由全局判别器和局部判别器网络组成。全局判别器将生成器中重新缩 放为256x256像素的图像作为输入，该网络由六个卷积层和一个全连接层组成。 所有的卷积层的卷积核为5x5，步长为2。局部判别器也遵循相同的模式，但是局部判别器的输入只是判定为高光区域的图像补丁。全连接层都是标准的神经 网络层。全局判别器和局部判别器处理完后，在判别器网络中通过一个连接层 将两者的输出连接到一起，形成一个2048维度的矢量，再经过一个全连接层处 理后得到一个连续的值。最后使用sigmoid函数作为转移函数，使该值的范围在 [0,1]来表示图像是真实的概率。

本发明的有益效果：

本发明通过模糊逻辑对图像高光区域进行划分，然后通过带模糊逻辑的生 成对抗网络对图像进行去高光处理。降低了目标检测、图像识别过程中高光对 检测结果的影响，本方法能更加有效的提高图像识别、图像检测的精确度、提 高算法的适用性。

附图说明：

图1是S型隶属度函数曲线示意图。

图2是高光区域划分流程意图。

图3是本模型的整体结构图

图4是生成对抗网络结构示意图。

图5是生成器网络结构模型示意图。

图6是判别器网络模型结构示意图。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清 楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1是本 发明划分高光区域这一模块中，模糊逻辑所使用的隶属度函数曲线图，该函数 表达式为

在该式中，x表示连读通道中的亮度值，a、b、c是函数S的参数，a、c是亮度 通道的取值范围，b表示划分为亮度区域的渡越点，a、b、c的位置如图1所示。 渡越点通常取中点，在本发明中，为了使高光区域划分效果达到最佳，取值不 一定为中点。使用该函数作为隶属度函数的优点在于能较好的区分出高光位置， 不会把导致大面积非高光区域被划分到高光范围内。准确的划分范围对后期图 像修复的效果具有正向作用。图2是本发明划分高光区域的流程示意图。如图2 所示，本发明中选用了HSV模型来对图像进行处理。HSV是一种直观的颜色模 型，它将颜色与强度分隔开的程度较其他模型更多，这对于图像高光区域的划 分有很大的优势。首先将图片格式转换为HSV(Hue,Saturation,Value)模型，将 图片的三通道进行分离，对分离出来的亮度通道(V通道)进行模糊逻辑处理， 图像传入模糊逻辑程序中后，使用上文中的S型隶属度函数对图像进行全局处 理，从中选取属于高光部分的区域进行高光定位，取边界处位置进行框选，并 生成二值掩码。

图3显示了本发明的整体框架结构，对数据进行高光区域划分处理后，本 发明使用生成对抗网络来对图像进行修复，其具体结构内容如图4、5、6所示。

图4部分是生成对抗网络的基本结构，其中G表示生成器网络，D表示判 别器网络，该网络的目标函数表示为：

x表示在真实数据P_data(x)中的采样，E[·]表示计算的期望值，z表示输入到生成器的 数据，P_z(z)表示原始的数据分布。

生成器(G)网络部分如图5所示，具体如下：

该网络采用带有扩张卷积的深度卷积神经网络。其具体实现为：生成器网 络输入一个256×256×3的带有二进制码的RGB图像(其中二进制掩码部分表示需 要修复的高光部分)，通过深度卷积操作，降低图像的分辨率，然后再通过反 向传播进行训练，将图像恢复到原始分辨率，并使损失函数最小化该过程中使 用ReLu激活函数，并在深度卷积网络中加入四个扩张卷积，提高对于图像整体 的恢复与图像的纹理的恢复能力。对于一个大小是h×m卷积层，假设它的下一 个卷积层大小是h×m，那么对于当前卷积层的扩张卷积计算公式可以表示为：

其中k_w和k_h分别表示卷积核的宽高，η是扩张系数，x_u，v和y_u，v分别表示图层的输入和输出分量，σ(·)表示一个非线性传递函数，b是卷积层的偏置向量，W是内核 矩阵，当η＝1时该方程表示标准的卷积操作。

本发明在生成器网络中引入一个亮度的参数l，该参数通过模糊逻辑计算获得。传入生成网络中的图片经过模糊逻辑获得当前图片x的亮度参数l，图片经过生成 网络处理后得到图片x′，该图片再次经过模糊逻辑获得一个处理后的图片亮度l′， 在本文中定义生成器部分的基本损失函数为：

Loss_G1＝ElogD_G(x)+Elog(1-D_G(G(M_B，l′)))+αElog(-logD_l(l′′，l)) (4)

其中D_G表示生成器网络的判别器，M_B表示二值掩码，D_l是一个x和x′的亮度判断器，α是超参数，用来控制亮度的权重，本实验中取值为1.

判别器(D)网络部分如图6所示，具体如下：

本发明判别器网络基于卷积神经网络，通过将图像压缩成小的特征向量， 然后将网络的输出由连接层融合在一起，在连接层预测出一个连续的值，则该 值对应于图像真实概率的连续值。局部判别器主要识别缺失部分的结果是否正 确，局部判别器的输入是原始丢失图像部分或者是被遮挡的部分，以及生成器 的生成部分，局部判别器约束着图像的细节信息和局部一致性。在判别器的体 系结构中，全连接层都是标准的神经网络层。全局判别器和局部判别器处理完 后，在判别器网络中通过一个连接层将两者的输出连接到一起，形成一个2048 维度的矢量，再经过一个全连接层处理后得到一个连续的值。最后使用sigmoid 函数作为转移函数，使该值的范围在[0，1]来表示图像是真实的概率。判别器部分的损失函数表达式为：

Loss_glo＝-ElogD_glo(X，M_B)+Elog(1-D_glo(G(x′，M_G)，M_G) (7)

Loss_loc＝-ElogD_loc(x，M_B)+Elog(1-D_loc(G(x′，M_G)，M_G) (8)

其中M_B表示二值掩码，M_G表示输入的图像，x′表示图像的缺失区域，Loss_glo表示 全局判别器的损失，Loss_loc表示局部判别器的损失。

本模型操作部署方式如下：

在生成对抗网络的训练开始之前为了保证实验的稳定性，需要对数据集图 像进行统一预处理。本实验中通过预处理将实验图片处理为256×256×3的规格。 此外为了使对图片的修复更加具有普遍性，在训练过程中，需要对图像进行随 机处理。即对于输入的图像，需要在图片主体部分随机生成一个需要修复的区 域，并将该区域的大小限定在128像素之内。全局判别器鉴定的是输入的完整 图像，局部鉴别器判断的是每次随机生成的像素区域。模型的最后补充了对输 出图像的处理，即对图像进行融合，使用泊松(Poisson)融合方法，能在很大 程度上能降低生成区域边界断层、不连续等图像过度不自然的情况。

Claims (2)

1.一种基于自定义模糊逻辑与生成对抗网络(GAN)的图像高光处理方法。该方法通过将模糊逻辑与GAN相结合，使用处理过的人脸数据集和水果数据集进行训练，得到拟合后的模型用于对图像的高光区域进行高光弱化以及纹理再生处理。其特征主要包括：使用模糊逻辑对图像高光区域进行划分，对划分好高光区域的图片进行预处理，使用改进的生成器网络对图像进行区域填充，使用判别器网络对图像进行判断，最后当两者达到辨证统一时，图像处理完成。

(1)所述的对划分好的区域进行预处理是指对模糊逻辑判定的高光区域生成二值掩码，并通过传统图像算法对图片大小进行处理，统一GAN网络输入图像的大小。

(2)所述的使用改进的生成器网络对图像进行区域填充是指将预处理后的人脸或者水果图像输入到深度卷积神经网络中，进行前向卷积运算和池化操作。在生成器网络中，本发明引入一个亮度的参数l，该参数通过模糊逻辑计算获得。传入生成器网络中的图片，经过模糊逻辑获得当前图片x的亮度参数l，图片经过生成网络处理后得到图片x’，该图片再次经过模糊逻辑获得一个处理后的图片亮度l’，并在损失函数中添加该参数。

(3)所述判别器网络对图像进行判断是指网络模型中的全局判别器和局部判别器共同对生成图形进行不同的判断。局部判别器主要识别缺失部分的结果是否正确，局部判别器的输入是原始丢失图像部分或者是被遮挡的部分，以及生成器的生成部分，局部判别器约束着图像的细节信息和局部一致性。全局判别器需要判断整个图像的真实性，全局判别器的输入也分为两类：原始图像和由生成器生成的整个图像。在全局判别器和局部判别器处理完后，在判别器网络中通过一个连接层将两者的输出连接到一起，形成一个2048维度的矢量，再经过一个全连接层处理后得到一个连续的值。最后使用sigmoid函数作为转移函数，使该值的范围在[0,1]，用来表示图像是真实的概率。

(4)所述两者达到辨证统一是指，判别器难以区分生成器生成的图像，判别器的判断正确率约为0.5。

2.根据权利要求1所述的通过使用处理后的服装图片数据集对深度学习目标检测算法进行训练得到拟合后的模型，其训练步骤包括：

(1)对数据集进行预处理，将图片大小修改为256×256×3，并在图片上随机划分待修复区域(大小限定在128像素之内)。

(2)初始化生成器和判别器的网络参数。

(3)分别导入CelebA数据集和水果数据集预处理后的数据集传入生成对抗网络中。

(4)从训练集中抽取n个样本以及生成器产生的n个样本，固定生成器，训练判别器，使得判别器尽可能区分真假。

(5)循环更新判别器，并在每k次判别器更新后更新一次生成器，直到判别器难以区分图像真假。

Images