CN111199531B - 基于泊松图像融合及图像风格化的交互式数据扩展方法 - Google Patents

Abstract

本发明公开了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，包括：基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。

Description

基于泊松图像融合及图像风格化的交互式数据扩展方法

技术领域

本发明涉及数据增强领域，尤其涉及一种基于泊松图像融合及图像风格化的交互式数据扩展方法。

背景技术

现有的数据扩展方法一般分为两大类：传统的数据扩展方法和基于深度学习的数据扩展方法。传统的数据扩展方法包括：一、对图像进行左右翻转、随机旋转、裁剪、缩放、平移等；二、局部的变形调整，对图像添加噪声扰动如高斯白噪声、椒盐噪声；三、改变图像的颜色；四、改变图像的亮度、对比度、清晰度；五、对图像进行仿射变化等。其中常用的方法是裁剪缩放，翻转和颜色亮度变化，文献[1]总结了在网络中使用的典型数据扩展方法。在文献[2]中作者提到裁剪一定程度可以使网络对待检测目标的尺度信息更加不敏感，由此可以提升网络对小物体的识别效果。文献[3]通过仿射变换的方法生成的新样本，降低了分类的错误率。

使用传统的数据扩展方法可以在一定程度上解决训练样本不足的问题，提高模型的泛化能力。但由于扩充后的数据仅是对现有数据的线性或者非线性变化，没有真正增加数据的样本空间，大量使用容易导致深度学习模型在扩展的数据上过拟合，降低了深度学习模型的泛化能力。并且大量使用传统数据扩展，无法更进一步提升模型的效果。常用的基于深度学习的数据扩展方法则主要集中在GAN(对抗生成网络)的应用上。文献[4]使用条件型生成对抗网络(Conditional GANs)将一张图像从一个领域转换到另一个领域，可以实现风景图像中季节的变换以达到数据扩展的目的。国内的陈文兵等人集成了高斯混合模型和CGAN提出了GMM-CGAN^[5]的数据扩展方法，该方法使得CNN模型在使用CGAN数据扩展完成训练的条件下，仍然提升了14.1％的分类准确率。使用GANs网络进行数据增强的方法是稳健的，但它的计算量巨大且GANs的模型相对来说难以训练，对于较大型的数据扩展任务来说并不适用。一种可行替代方法是使用风格迁移模型来对图像进行纹理，氛围，外观上的改变。常见的风格迁移模型^[6]如将现实人物风格化为油画人物，将现实风景风格化为艺术作品的风格。这种方法的缺点是其输出更具有艺术性而非现实性。Falong^[7]等人提出的利用元网络与转换网络实现任意风格任意内容的极速转换，可以根据用户自己的源数据集与目标数据集训练非艺术风格的风格迁移模型，其转换网络规模小往往只有不到100k，可以部署到很多平台。

除了这两大类常用的数据扩展方法之外，针对数据不平衡的问题，文献[8]通过人工合成新样本来处理样本不平衡问题，从而提升分类器性能。MIT和Facebook的人工智能研究院提出的Mixup^[9]也采用了同样的思路来通过样本插值的方法合成新样本。

上述数据扩展方法确实对模型的训练提供了很大的帮助，但他们都是在全局上对原始图像进行扩充，甚至在使用GANs生成全新的数据时其输出也是不可控的(比如你想要一张发动机的缺陷照片，但它可能生成一张没有缺陷或者缺陷位置不合实际的新照片)，而且对于需要标签信息的有监督网络训练GANs产生数据的同时并不能同时生成标签信息，再加上GANs模型的难以训练，进一步限制了该方法的使用。

参考文献

[1]Howard A G.Some Improvements on Deep Convolutional Neural NetworkBased Image Classification[J].Computer Science,2013.

[2]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[J].arXiv:1512.02325v5,2015.

[3]Bjerrum E J.SMILES Enumeration as Data Augmentation for NeuralNetwork Modeling of Molecules[J].arXiv:1703.07076v2,2017.

[4]Zhu J Y,Park T,Isola P,et al.Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks[J].arXiv:1703.10593v6,2017.

[5]陈文兵,管正雄,陈允杰.基于条件生成式对抗网络的数据增强方法[J].计算机应用,2018,38(11):259-265.

[6]Gatys L A,Ecker A S,Bethge M.Image Style Transfer UsingConvolutional Neural Networks[C]//2016IEEE Conference on Computer Vision andPattern Recognition(CVPR).IEEE,2016.

[7]ShenF,Yan S,Zeng G.Meta Networks for Neural Style Transfer[J].arXiv:1709.04111v1,2017.

[8]Chawla N V,Bowyer K W,Hall L O,et al.SMOTE:Synthetic MinorityOver-sampling Technique[J].Journal of Artificial Intelligence Research,2011,16(1):321-357.

[9]Zhang H,Cisse M,Dauphin Y N,et al.mixup:Beyond Empirical RiskMinimization[J].arXiv:1710.09412v2,2017.

发明内容

本发明提供了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，本发明采用交互式界面由使用者自由选择生成缺陷类型及位置；用风格迁移模型对与背景风格差异较大的缺陷信息进行风格化，使其风格转化为背景图像的风格；使用泊松融合算法对融合边缘修正，以解决融合区域边缘痕迹明显的问题，详见下文描述：

一种基于泊松图像融合及图像风格化的交互式数据扩展方法，所述方法包括：

基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；

基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；

将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；

对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。

其中，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：

对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。

进一步地，所述基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格具体为：

将背景图像中几类缺陷的待粘贴区域作为风格图像，缺陷图像作为目标图像，训练后，对目标图像进行风格迁移，获取风格化后的缺陷图像；

将风格化后的缺陷图像通过交互式界面粘贴至指定位置，并进行旋转和缩放，获取新缺陷图像。

其中，所述利用泊松融合对融合边界进行修正，减小融合痕迹具体为：

通过泊松算法使背景图像在待融合区域的边缘，根据缺陷图像的梯度信息生成与背景图像相近的像素，以达到平滑效果；

将带有新缺陷的发动机孔探图像作为扩展图像用于发动机孔探图像缺陷检测的模型训练；通过对指定缺陷的单独扩展还可在一定程度上解决样本集类别不均衡的问题，提高模型泛化能力。

进一步地，所述方法还包括：

根据离散化将泊松融合的过程转化为多元方程组的求解，将已知的边界像素值作为约束条件，将背景图像中的待融合区域置0，并对除待融合区域之外的区域求一阶梯度；

对风格化后的缺陷图像求一阶梯度，并在其周围填充0，使缺陷图像梯度矢量场与背景图像的梯度矢量场大小相同；

将矢量场与梯度矢量场相加并再次求解一阶梯度即可得到图像的散度矩阵。

本发明提供的技术方案的有益效果是：

1、本发明采用风格迁移和泊松修正算法，生成的新发动机图像无融合痕迹，缺陷生成位置符合缺陷发生机理，生成的发动机数据集经过专业人员检测表现优异；

2、本发明设计出交互式数据增强模块，并结合了风格迁移和泊松修正算法各自的优势，使得生成的图像更符合项目开发的需要；

3、本发明在风格迁移模型训练时使用自己的数据集，并对模型进行了参数优化，得到的模型更加符合发动机图像的风格迁移。

附图说明

图1为本发明提出的数据增强流程示意图；

其中，泊松融合中的两张图像分别表示输入图像和风格化后缺陷图像的一阶梯度图像，‘+’表示将缺陷图像梯度作为引导矢量场对输入图像待融合区域进行插值。

图2为本发明设计的交互式界面示意图；

其中，图中右下角内容为孔探图像自带拍摄时间。

图3为本发明提出方法生成的发动机图像对比图。

其中，从第一列至最后一列分别为原始图像、直接融合结果、泊松融合结果和相应的缺陷标注信息。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本方法针对强背景联系的目标检测数据集提出了交互式的数据扩展方法，可以在特定的背景上添加待检测的目标，并使其更加接近真实的图像。

实施例1

一种基于泊松图像融合的交互式数据扩展方法，参见图1，该方法包括以下步骤：

一、交互式基本框架

交互式数据增强流程参见图1，交互式界面参见图2，交互式程序运行前，应先运行缺陷库构建程序。对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。

同时为交互式界面添加事件函数，实时获取使用者想要生成的缺陷类型及缺陷生成位置的坐标，并自动为新样本生成配套的标注信息文件。

二、对与背景图像风格差异较大的缺陷信息进行风格化

本发明实施例中的风格迁移模型训练网络与参考文献[7]中所提出的任意风格任意内容的风格迁移模型训练网络基本一致(其中包含一个VGG16作为元网络用于学习风格图像的颜色，纹理等信息，另外构建的一个转换网络用于将元网络学习到的权重信息迁移到目标图像中，具体实施细节可参看论文[7]，本发明实施例对此不做赘述)，但本发明实施例使用Pytorch框架(原论文使用caffe框架)，并对其中的训练参数进行了调整，使得该模型更加符合发动机缺陷图像的风格学习。

将背景图像中可能发生几类缺陷的待粘贴区域作为风格图像I_sty，缺陷图像作为目标图像D，使用I_sty进行训练后，对D进行风格迁移，得到风格化后的缺陷图像D_sty。形式化表示如下：

D_sty＝Φ_sty(D,I_sty)  (1)

其中，Φ_sty(D,I_sty)表示风格迁移模型的风格转换操作。

将D_sty通过交互式界面粘贴至指定位置，并进行旋转和缩放，得到新生成的样本I^′ _new。

形式化表示如下：

I′_new＝f(D_sty,I_src,θ,s,(x,y))  (2)

其中，I_src表示背景图像；f(D_sty,I_src,θ,s,(x,y))表示将图像粘贴至背景图像中(x,y)位置，并旋转θ角度或缩放s倍。

实验选取1,000张带有缺陷的发动机原始图像作为风格数据集和目标数据集进行学习。实验采用Pytorch深度学习框架，预训练学习率为le-4，风格训练网络权重为25，每一批次输入8张图像。网络迭代训练10,000个epoch。得到的元模型大小为830M，转换模型大小为64K。

新样本I′_new粘贴区域的边缘部分存在明显粘贴痕迹，为了解决此问题，在风格迁移后采用泊松融合算法对粘贴区域边缘进行修正。

三、使用泊松图像融合修正融合区域边缘痕迹

泊松图像编辑是Perez等人(2003)提出的一种利用梯度信息对待融合区域的边界进行自然插值的方法。该方法利用了心理学家Land(1971)在论文中所所提出的原理，即通过Laplace算子的限制，平滑图像中渐变的梯度，从而减小融合两张图像所留下的痕迹。

泊松算法使背景图像I_src在待融合区域的边缘根据缺陷图像D_sty的梯度信息生成与背景图像I_src相近的像素，以达到平滑效果。其过程可形式化为：

I_new＝Φ_pos(f(I_src,D_sty,θ,(x,y)))  (3)

其中，Φ_pos(f(I_src,D_sty,θ,(x,y)))表示对图像中融合区域执行泊松算法以平滑边缘。

泊松融合算法利用泊松方程对图像进行插值。泊松方程在图像融合区域的内部梯度和边界条件确定后具有唯一解。融合区域的像素值由给定的边界条件(背景图像融合区域的边缘位置像素值)和内部的梯度场(缺陷图像梯度)唯一确定。泊松方程的求解目标是使得到的像素值变化趋势与引导向量场之间差值最小，以达到融合区域与其它区域的自然过渡。公式如下所示：

其中，f为融合之后的图像；▽f表示f的一阶倒数，即梯度；f^*为背景图像；v为缺陷图像的梯度；Ω为要融合的区域；

表示融合区域边缘。

上述公式表示在背景图像f^*边缘不变的情况下，使融合后的图像f在融合区域Ω的梯度▽f与缺陷图像在融合区域Ω的梯度v最接近。

公式(4)的求解考虑到图像像素值为不连续的离散点，将梯度问题转换为一阶差分问题并进行求导得到二阶差分方程：

由此可将上述最小值问题离散化为如下方程：

Δf(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)  (7)

根据该离散化方法可将泊松融合的过程转化为多元方程组的求解。其中f(x,y)为融合区域(x,y)位置的插值，Δf(x,y)为融合区域的散度。将已知的边界像素值作为约束条件，则该多元方程组有唯一解。

图像的散度Δf(x,y)可由以下方法得到：将背景图像I_src中的待融合区域I_pos置0，并对除I_pos之外的区域求一阶梯度▽I_src。同时对风格化后的缺陷图像D_sty求一阶梯度▽D，并在其周围填充0，使缺陷图像梯度矢量场▽D与背景图像I_src的梯度矢量场▽I_src大小相同。将矢量场▽I_src与▽D相加并再次求解一阶梯度即可得到图像的散度矩阵b。

由已知的边界条件(I_src中待融合区域边缘的像素值)构造系数矩阵A，求解融合后区域像素值x：

Ax＝b  (8)

求解该方程得到新生成的融合区域像素值，从而得到融合后的新图像I_new。

四、网络训练和测试

基于Pytorch深度学习网络框架，使用第二步中所介绍的网络模型及数据集进行训练，可以在相应的数据集上得到一个训练好的风格迁移模型。该模型可以将来自不同发动机孔探图像的缺陷风格化为指定的发动机孔探图像风格。

通过交互界面从第一步构建的缺陷信息库内按缺陷类型随机选取一张缺陷图像，将缺陷图像及背景图像输入风格迁移网络后得到与背景图像风格一致的新缺陷图像。将新缺陷图像与背景图像融合，并利用泊松融合算法对融合边界进行修正，减小融合痕迹，得到带有新缺陷的发动机孔探图像。使用该方法对80张原始图像进行交互式数据扩展，生成80张新缺陷样本。将原始样本和新缺陷样本作为一个图像二分类数据集，交由不同的人员对图像进行判定。非专业人员达到46.575％的误识别率，专业人员达到38.75％的误识别率。

综上所述，本发明实施例用交互式的数据扩展方法，通过风格迁移减小背景图像与缺陷图像的风格差异，并使用泊松图像编辑解决图像融合痕迹明显的问题，满足了实际应用中的多种需要。

实施例2

下面结合图3对实施例1中的方案进行可行性验证，详见下文描述：

根据图1所示流程结构搭建本发明实施例中的交互式框架，实时获取使用者选择的缺陷生成位置及缺陷类型。并为风格迁移模型准备训练数据集并训练风格迁移模型，对融合缺陷图像的边缘区域进行泊松修正，消除融合痕迹。

从图3中，可以看出本发明实施例得到的数据扩展结果无融合痕迹，样本可用性高。图3中，第一列为原始图像，第二列为未经过风格化及泊松修正直接融合的图像，第三列为本发明实例生成的图像，第四列为本实例自动生成的标注信息。从图3的实验对比结果可以看出，相对于现有的对整张图像进行数据扩展的方法，本发明实施例提出的方法可在固定背景上增加检测信息，生成新的训练样本，且新样本的融合区域边界更加平滑自然。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法包括：

基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；

基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；

将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；

对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。

2.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：

对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。

3.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格具体为：

将背景图像中几类缺陷的待粘贴区域作为风格图像，缺陷图像作为目标图像，训练后，对目标图像进行风格迁移，获取风格化后的缺陷图像；

将风格化后的缺陷图像通过交互式界面粘贴至指定位置，并进行旋转和缩放，获取新缺陷图像。

4.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述利用泊松融合对融合边界进行修正，减小融合痕迹具体为：

通过泊松算法使背景图像在待融合区域的边缘，根据缺陷图像的梯度信息生成与背景图像相近的像素，以达到平滑效果；

将带有新缺陷的发动机孔探图像作为扩展图像用于发动机孔探图像缺陷检测的模型训练；通过对指定缺陷的单独扩展还可在一定程度上解决样本集类别不均衡的问题，提高模型泛化能力。

5.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法还包括：

根据离散化将泊松融合的过程转化为多元方程组的求解，将已知的边界像素值作为约束条件，将背景图像中的待融合区域置0，并对除待融合区域之外的区域求一阶梯度；

对风格化后的缺陷图像求一阶梯度，并在其周围填充0，使缺陷图像梯度矢量场与背景图像的梯度矢量场大小相同；

将矢量场与梯度矢量场相加并再次求解一阶梯度即可得到图像的散度矩阵。

Images