CN111199531A - 基于泊松图像融合及图像风格化的交互式数据扩展方法 - Google Patents
基于泊松图像融合及图像风格化的交互式数据扩展方法 Download PDFInfo
- Publication number
- CN111199531A CN111199531A CN201911381227.4A CN201911381227A CN111199531A CN 111199531 A CN111199531 A CN 111199531A CN 201911381227 A CN201911381227 A CN 201911381227A CN 111199531 A CN111199531 A CN 111199531A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- fusion
- poisson
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 32
- 230000007547 defect Effects 0.000 claims abstract description 117
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000013508 migration Methods 0.000 claims abstract description 24
- 230000005012 migration Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，包括：基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。
Description
技术领域
本发明涉及数据增强领域，尤其涉及一种基于泊松图像融合及图像风格化的交互式数据扩展方法。
背景技术
现有的数据扩展方法一般分为两大类：传统的数据扩展方法和基于深度学习的数据扩展方法。传统的数据扩展方法包括：一、对图像进行左右翻转、随机旋转、裁剪、缩放、平移等；二、局部的变形调整，对图像添加噪声扰动如高斯白噪声、椒盐噪声；三、改变图像的颜色；四、改变图像的亮度、对比度、清晰度；五、对图像进行仿射变化等。其中常用的方法是裁剪缩放，翻转和颜色亮度变化，文献[1]总结了在网络中使用的典型数据扩展方法。在文献[2]中作者提到裁剪一定程度可以使网络对待检测目标的尺度信息更加不敏感，由此可以提升网络对小物体的识别效果。文献[3]通过仿射变换的方法生成的新样本，降低了分类的错误率。
使用传统的数据扩展方法可以在一定程度上解决训练样本不足的问题，提高模型的泛化能力。但由于扩充后的数据仅是对现有数据的线性或者非线性变化，没有真正增加数据的样本空间，大量使用容易导致深度学习模型在扩展的数据上过拟合，降低了深度学习模型的泛化能力。并且大量使用传统数据扩展，无法更进一步提升模型的效果。常用的基于深度学习的数据扩展方法则主要集中在GAN(对抗生成网络)的应用上。文献[4]使用条件型生成对抗网络(Conditional GANs)将一张图像从一个领域转换到另一个领域，可以实现风景图像中季节的变换以达到数据扩展的目的。国内的陈文兵等人集成了高斯混合模型和CGAN提出了GMM-CGAN[5]的数据扩展方法，该方法使得CNN模型在使用CGAN数据扩展完成训练的条件下，仍然提升了14.1％的分类准确率。使用GANs网络进行数据增强的方法是稳健的，但它的计算量巨大且GANs的模型相对来说难以训练，对于较大型的数据扩展任务来说并不适用。一种可行替代方法是使用风格迁移模型来对图像进行纹理，氛围，外观上的改变。常见的风格迁移模型[6]如将现实人物风格化为油画人物，将现实风景风格化为艺术作品的风格。这种方法的缺点是其输出更具有艺术性而非现实性。Falong[7]等人提出的利用元网络与转换网络实现任意风格任意内容的极速转换，可以根据用户自己的源数据集与目标数据集训练非艺术风格的风格迁移模型，其转换网络规模小往往只有不到100k，可以部署到很多平台。
除了这两大类常用的数据扩展方法之外，针对数据不平衡的问题，文献[8]通过人工合成新样本来处理样本不平衡问题，从而提升分类器性能。MIT和Facebook的人工智能研究院提出的Mixup[9]也采用了同样的思路来通过样本插值的方法合成新样本。
上述数据扩展方法确实对模型的训练提供了很大的帮助，但他们都是在全局上对原始图像进行扩充，甚至在使用GANs生成全新的数据时其输出也是不可控的(比如你想要一张发动机的缺陷照片，但它可能生成一张没有缺陷或者缺陷位置不合实际的新照片)，而且对于需要标签信息的有监督网络训练GANs产生数据的同时并不能同时生成标签信息，再加上GANs模型的难以训练，进一步限制了该方法的使用。
参考文献
[1]Howard A G.Some Improvements on Deep Convolutional Neural NetworkBased Image Classification[J].Computer Science,2013.
[2]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[J].arXiv:1512.02325v5,2015.
[3]Bjerrum E J.SMILES Enumeration as Data Augmentation for NeuralNetwork Modeling of Molecules[J].arXiv:1703.07076v2,2017.
[4]Zhu J Y,Park T,Isola P,et al.Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks[J].arXiv:1703.10593v6,2017.
[5]陈文兵,管正雄,陈允杰.基于条件生成式对抗网络的数据增强方法[J].计算机应用,2018,38(11):259-265.
[6]Gatys L A,Ecker A S,Bethge M.Image Style Transfer UsingConvolutional Neural Networks[C]//2016IEEE Conference on Computer Vision andPattern Recognition(CVPR).IEEE,2016.
[7]ShenF,Yan S,Zeng G.Meta Networks for Neural Style Transfer[J].arXiv:1709.04111v1,2017.
[8]Chawla N V,Bowyer K W,Hall L O,et al.SMOTE:Synthetic MinorityOver-sampling Technique[J].Journal of Artificial Intelligence Research,2011,16(1):321-357.
[9]Zhang H,Cisse M,Dauphin Y N,et al.mixup:Beyond Empirical RiskMinimization[J].arXiv:1710.09412v2,2017.
发明内容
本发明提供了一种基于泊松图像融合及图像风格化的交互式数据扩展方法，本发明采用交互式界面由使用者自由选择生成缺陷类型及位置；用风格迁移模型对与背景风格差异较大的缺陷信息进行风格化，使其风格转化为背景图像的风格；使用泊松融合算法对融合边缘修正，以解决融合区域边缘痕迹明显的问题，详见下文描述：
一种基于泊松图像融合及图像风格化的交互式数据扩展方法，所述方法包括：
基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；
基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；
将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；
对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。
其中，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：
对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。
进一步地，所述基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格具体为：
将背景图像中几类缺陷的待粘贴区域作为风格图像，缺陷图像作为目标图像，训练后，对目标图像进行风格迁移，获取风格化后的缺陷图像；
将风格化后的缺陷图像通过交互式界面粘贴至指定位置，并进行旋转和缩放，获取新缺陷图像。
其中，所述利用泊松融合对融合边界进行修正，减小融合痕迹具体为：
通过泊松算法使背景图像在待融合区域的边缘，根据缺陷图像的梯度信息生成与背景图像相近的像素，以达到平滑效果；
将带有新缺陷的发动机孔探图像作为扩展图像用于发动机孔探图像缺陷检测的模型训练；通过对指定缺陷的单独扩展还可在一定程度上解决样本集类别不均衡的问题，提高模型泛化能力。
进一步地，所述方法还包括：
根据离散化将泊松融合的过程转化为多元方程组的求解，将已知的边界像素值作为约束条件，将背景图像中的待融合区域置0，并对除待融合区域之外的区域求一阶梯度；
对风格化后的缺陷图像求一阶梯度，并在其周围填充0，使缺陷图像梯度矢量场与背景图像的梯度矢量场大小相同；
将矢量场与梯度矢量场相加并再次求解一阶梯度即可得到图像的散度矩阵。
本发明提供的技术方案的有益效果是：
1、本发明采用风格迁移和泊松修正算法，生成的新发动机图像无融合痕迹，缺陷生成位置符合缺陷发生机理，生成的发动机数据集经过专业人员检测表现优异；
2、本发明设计出交互式数据增强模块，并结合了风格迁移和泊松修正算法各自的优势，使得生成的图像更符合项目开发的需要；
3、本发明在风格迁移模型训练时使用自己的数据集，并对模型进行了参数优化，得到的模型更加符合发动机图像的风格迁移。
附图说明
图1为本发明提出的数据增强流程示意图；
其中，泊松融合中的两张图像分别表示输入图像和风格化后缺陷图像的一阶梯度图像，‘+’表示将缺陷图像梯度作为引导矢量场对输入图像待融合区域进行插值。
图2为本发明设计的交互式界面示意图；
其中，图中右下角内容为孔探图像自带拍摄时间。
图3为本发明提出方法生成的发动机图像对比图。
其中，从第一列至最后一列分别为原始图像、直接融合结果、泊松融合结果和相应的缺陷标注信息。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本方法针对强背景联系的目标检测数据集提出了交互式的数据扩展方法，可以在特定的背景上添加待检测的目标，并使其更加接近真实的图像。
实施例1
一种基于泊松图像融合的交互式数据扩展方法，参见图1，该方法包括以下步骤：
一、交互式基本框架
交互式数据增强流程参见图1，交互式界面参见图2，交互式程序运行前，应先运行缺陷库构建程序。对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。
同时为交互式界面添加事件函数，实时获取使用者想要生成的缺陷类型及缺陷生成位置的坐标，并自动为新样本生成配套的标注信息文件。
二、对与背景图像风格差异较大的缺陷信息进行风格化
本发明实施例中的风格迁移模型训练网络与参考文献[7]中所提出的任意风格任意内容的风格迁移模型训练网络基本一致(其中包含一个VGG16作为元网络用于学习风格图像的颜色，纹理等信息，另外构建的一个转换网络用于将元网络学习到的权重信息迁移到目标图像中，具体实施细节可参看论文[7]，本发明实施例对此不做赘述)，但本发明实施例使用Pytorch框架(原论文使用caffe框架)，并对其中的训练参数进行了调整，使得该模型更加符合发动机缺陷图像的风格学习。
将背景图像中可能发生几类缺陷的待粘贴区域作为风格图像Isty，缺陷图像作为目标图像D，使用Isty进行训练后，对D进行风格迁移，得到风格化后的缺陷图像Dsty。形式化表示如下：
Dsty＝Φsty(D,Isty) (1)
其中，Φsty(D,Isty)表示风格迁移模型的风格转换操作。
将Dsty通过交互式界面粘贴至指定位置，并进行旋转和缩放，得到新生成的样本I′ new。
形式化表示如下：
I′new＝f(Dsty,Isrc,θ,s,(x,y)) (2)
其中，Isrc表示背景图像；f(Dsty,Isrc,θ,s,(x,y))表示将图像粘贴至背景图像中(x,y)位置，并旋转θ角度或缩放s倍。
实验选取1,000张带有缺陷的发动机原始图像作为风格数据集和目标数据集进行学习。实验采用Pytorch深度学习框架，预训练学习率为le-4，风格训练网络权重为25，每一批次输入8张图像。网络迭代训练10,000个epoch。得到的元模型大小为830M，转换模型大小为64K。
新样本I′new粘贴区域的边缘部分存在明显粘贴痕迹，为了解决此问题，在风格迁移后采用泊松融合算法对粘贴区域边缘进行修正。
三、使用泊松图像融合修正融合区域边缘痕迹
泊松图像编辑是Perez等人(2003)提出的一种利用梯度信息对待融合区域的边界进行自然插值的方法。该方法利用了心理学家Land(1971)在论文中所所提出的原理，即通过Laplace算子的限制，平滑图像中渐变的梯度，从而减小融合两张图像所留下的痕迹。
泊松算法使背景图像Isrc在待融合区域的边缘根据缺陷图像Dsty的梯度信息生成与背景图像Isrc相近的像素，以达到平滑效果。其过程可形式化为：
Inew＝Φpos(f(Isrc,Dsty,θ,(x,y))) (3)
其中，Φpos(f(Isrc,Dsty,θ,(x,y)))表示对图像中融合区域执行泊松算法以平滑边缘。
泊松融合算法利用泊松方程对图像进行插值。泊松方程在图像融合区域的内部梯度和边界条件确定后具有唯一解。融合区域的像素值由给定的边界条件(背景图像融合区域的边缘位置像素值)和内部的梯度场(缺陷图像梯度)唯一确定。泊松方程的求解目标是使得到的像素值变化趋势与引导向量场之间差值最小，以达到融合区域与其它区域的自然过渡。公式如下所示：
其中，f为融合之后的图像；▽f表示f的一阶倒数，即梯度；f*为背景图像；v为缺陷图像的梯度；Ω为要融合的区域；
表示融合区域边缘。
上述公式表示在背景图像f*边缘不变的情况下，使融合后的图像f在融合区域Ω的梯度▽f与缺陷图像在融合区域Ω的梯度v最接近。
公式(4)的求解考虑到图像像素值为不连续的离散点，将梯度问题转换为一阶差分问题并进行求导得到二阶差分方程：
由此可将上述最小值问题离散化为如下方程：
Δf(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (7)
根据该离散化方法可将泊松融合的过程转化为多元方程组的求解。其中f(x,y)为融合区域(x,y)位置的插值，Δf(x,y)为融合区域的散度。将已知的边界像素值作为约束条件，则该多元方程组有唯一解。
图像的散度Δf(x,y)可由以下方法得到：将背景图像Isrc中的待融合区域Ipos置0，并对除Ipos之外的区域求一阶梯度▽Isrc。同时对风格化后的缺陷图像Dsty求一阶梯度▽D，并在其周围填充0，使缺陷图像梯度矢量场▽D与背景图像Isrc的梯度矢量场▽Isrc大小相同。将矢量场▽Isrc与▽D相加并再次求解一阶梯度即可得到图像的散度矩阵b。
由已知的边界条件(Isrc中待融合区域边缘的像素值)构造系数矩阵A，求解融合后区域像素值x：
Ax＝b (8)
求解该方程得到新生成的融合区域像素值，从而得到融合后的新图像Inew。
四、网络训练和测试
基于Pytorch深度学习网络框架，使用第二步中所介绍的网络模型及数据集进行训练，可以在相应的数据集上得到一个训练好的风格迁移模型。该模型可以将来自不同发动机孔探图像的缺陷风格化为指定的发动机孔探图像风格。
通过交互界面从第一步构建的缺陷信息库内按缺陷类型随机选取一张缺陷图像，将缺陷图像及背景图像输入风格迁移网络后得到与背景图像风格一致的新缺陷图像。将新缺陷图像与背景图像融合，并利用泊松融合算法对融合边界进行修正，减小融合痕迹，得到带有新缺陷的发动机孔探图像。使用该方法对80张原始图像进行交互式数据扩展，生成80张新缺陷样本。将原始样本和新缺陷样本作为一个图像二分类数据集，交由不同的人员对图像进行判定。非专业人员达到46.575％的误识别率，专业人员达到38.75％的误识别率。
综上所述，本发明实施例用交互式的数据扩展方法，通过风格迁移减小背景图像与缺陷图像的风格差异，并使用泊松图像编辑解决图像融合痕迹明显的问题，满足了实际应用中的多种需要。
实施例2
下面结合图3对实施例1中的方案进行可行性验证，详见下文描述：
根据图1所示流程结构搭建本发明实施例中的交互式框架，实时获取使用者选择的缺陷生成位置及缺陷类型。并为风格迁移模型准备训练数据集并训练风格迁移模型，对融合缺陷图像的边缘区域进行泊松修正，消除融合痕迹。
从图3中，可以看出本发明实施例得到的数据扩展结果无融合痕迹，样本可用性高。图3中，第一列为原始图像，第二列为未经过风格化及泊松修正直接融合的图像，第三列为本发明实例生成的图像，第四列为本实例自动生成的标注信息。从图3的实验对比结果可以看出，相对于现有的对整张图像进行数据扩展的方法，本发明实施例提出的方法可在固定背景上增加检测信息，生成新的训练样本，且新样本的融合区域边界更加平滑自然。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法包括：
基于泊松图像编辑的交互式数据增强方式，通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库；
基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格，获取新缺陷图像；
将新缺陷图像与背景图像融合，并利用泊松融合对融合边界进行修正，减小融合痕迹，获取带有新缺陷的发动机孔探图像，并将其作为扩展图像用于发动机孔探图像缺陷检测任务的模型训练；
对若干张原始图像进行交互式数据扩展，生成若干张新缺陷图像，将原始图像和新缺陷图像作为一个图像二分类数据集，对新缺陷图像进行判定。
2.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述通过读取原始图像的标注信息对发动机缺陷进行提取，并构建缺陷信息库具体为：
对于带有json标注信息的原始图像，通过读取标注信息，将缺陷从原始图像中抠取出来并保存为只含有缺陷信息的缺陷图像，同时自动生成该缺陷信息的配套json标注信息，并将所有缺陷按类别保存在相应文件夹下，构建缺陷信息库。
3.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述基于Pytorch框架对风格迁移模型中的训练参数进行调整，用于将缺陷信息的风格转换成背景图中相应位置的风格具体为：
将背景图像中几类缺陷的待粘贴区域作为风格图像，缺陷图像作为目标图像，训练后，对目标图像进行风格迁移，获取风格化后的缺陷图像；
将风格化后的缺陷图像通过交互式界面粘贴至指定位置，并进行旋转和缩放，获取新缺陷图像。
4.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述利用泊松融合对融合边界进行修正，减小融合痕迹具体为：
通过泊松算法使背景图像在待融合区域的边缘，根据缺陷图像的梯度信息生成与背景图像相近的像素，以达到平滑效果；
将带有新缺陷的发动机孔探图像作为扩展图像用于发动机孔探图像缺陷检测的模型训练；通过对指定缺陷的单独扩展还可在一定程度上解决样本集类别不均衡的问题，提高模型泛化能力。
5.根据权利要求1所述的一种基于泊松图像融合及图像风格化的交互式数据扩展方法，其特征在于，所述方法还包括：
根据离散化将泊松融合的过程转化为多元方程组的求解，将已知的边界像素值作为约束条件，将背景图像中的待融合区域置0，并对除待融合区域之外的区域求一阶梯度；
对风格化后的缺陷图像求一阶梯度，并在其周围填充0，使缺陷图像梯度矢量场与背景图像的梯度矢量场大小相同；
将矢量场与梯度矢量场相加并再次求解一阶梯度即可得到图像的散度矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911381227.4A CN111199531B (zh) | 2019-12-27 | 2019-12-27 | 基于泊松图像融合及图像风格化的交互式数据扩展方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911381227.4A CN111199531B (zh) | 2019-12-27 | 2019-12-27 | 基于泊松图像融合及图像风格化的交互式数据扩展方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199531A true CN111199531A (zh) | 2020-05-26 |
| CN111199531B CN111199531B (zh) | 2023-05-12 |
Family
ID=70744533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911381227.4A Active CN111199531B (zh) | 2019-12-27 | 2019-12-27 | 基于泊松图像融合及图像风格化的交互式数据扩展方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199531B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111768404A (zh) * | 2020-07-08 | 2020-10-13 | 北京滴普科技有限公司 | 口罩外观缺陷检测系统、方法、装置以及存储介质 |
| CN111929548A (zh) * | 2020-08-13 | 2020-11-13 | 广东电网有限责任公司 | 放电和干扰信号样本生成方法、计算机设备和存储介质 |
| CN112348765A (zh) * | 2020-10-23 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 数据增强方法、装置、计算机可读存储介质及终端设备 |
| CN112381222A (zh) * | 2020-11-12 | 2021-02-19 | 北京乐学帮网络技术有限公司 | 一种样本生成方法、装置、计算机设备和存储介质 |
| CN112396577A (zh) * | 2020-10-22 | 2021-02-23 | 国网浙江省电力有限公司杭州供电公司 | 一种基于泊松融合样本扩充的变压器的缺陷检测方法 |
| CN112418278A (zh) * | 2020-11-05 | 2021-02-26 | 中保车服科技服务股份有限公司 | 一种多类物体检测方法、终端设备及存储介质 |
| CN113011480A (zh) * | 2021-03-09 | 2021-06-22 | 华南理工大学 | 一种基于循环生成对抗网络的弧面缺陷图像生成方法 |
| CN113033656A (zh) * | 2021-03-24 | 2021-06-25 | 厦门航空有限公司 | 一种基于生成对抗网络的交互式孔探数据扩展方法 |
| CN113077454A (zh) * | 2021-04-19 | 2021-07-06 | 凌云光技术股份有限公司 | 一种图像缺陷拟合方法、系统和存储介质 |
| CN113160231A (zh) * | 2021-03-29 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 一种样本生成方法、样本生成装置及电子设备 |
| CN113189109A (zh) * | 2021-01-15 | 2021-07-30 | 深圳锦绣创视科技有限公司 | 一种基于人工智能的瑕疵判定系统及瑕疵判定方法 |
| WO2021189770A1 (zh) * | 2020-07-31 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于人工智能的图像增强处理方法、装置、设备及介质 |
| CN113781292A (zh) * | 2021-08-23 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN113780068A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种基于对抗网络的道路箭头图片生成方法及系统 |
| CN115063405A (zh) * | 2022-07-27 | 2022-09-16 | 武汉工程大学 | 钢材表面缺陷检测的方法、系统、电子设备和存储介质 |
| CN117893952A (zh) * | 2024-03-15 | 2024-04-16 | 视睿（杭州）信息科技有限公司 | 基于深度学习的视频马赛克缺陷检测方法 |
| CN113781292B (zh) * | 2021-08-23 | 2024-09-24 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858488A (zh) * | 2018-12-28 | 2019-06-07 | 众安信息技术服务有限公司 | 一种基于样本增强的手写样本识别方法与系统 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN110599453A (zh) * | 2019-08-08 | 2019-12-20 | 武汉精立电子技术有限公司 | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 |
| US20190392038A1 (en) * | 2018-06-20 | 2019-12-26 | Vade Secure, Inc. | Methods, devices and systems for data augmentation to improve fraud detection |
-
2019
- 2019-12-27 CN CN201911381227.4A patent/CN111199531B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| US20190392038A1 (en) * | 2018-06-20 | 2019-12-26 | Vade Secure, Inc. | Methods, devices and systems for data augmentation to improve fraud detection |
| CN109858488A (zh) * | 2018-12-28 | 2019-06-07 | 众安信息技术服务有限公司 | 一种基于样本增强的手写样本识别方法与系统 |
| CN110599453A (zh) * | 2019-08-08 | 2019-12-20 | 武汉精立电子技术有限公司 | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 |
Non-Patent Citations (1)
| Title |
|---|
| 邵艳秋;韩纪庆;刘挺;赵永贞;: "自然风格言语的汉语句重音自动判别研究", 声学学报(中文版) * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111768404A (zh) * | 2020-07-08 | 2020-10-13 | 北京滴普科技有限公司 | 口罩外观缺陷检测系统、方法、装置以及存储介质 |
| WO2021189770A1 (zh) * | 2020-07-31 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于人工智能的图像增强处理方法、装置、设备及介质 |
| CN111929548A (zh) * | 2020-08-13 | 2020-11-13 | 广东电网有限责任公司 | 放电和干扰信号样本生成方法、计算机设备和存储介质 |
| CN111929548B (zh) * | 2020-08-13 | 2021-09-21 | 广东电网有限责任公司 | 放电和干扰信号样本生成方法、计算机设备和存储介质 |
| CN112396577A (zh) * | 2020-10-22 | 2021-02-23 | 国网浙江省电力有限公司杭州供电公司 | 一种基于泊松融合样本扩充的变压器的缺陷检测方法 |
| CN112348765A (zh) * | 2020-10-23 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 数据增强方法、装置、计算机可读存储介质及终端设备 |
| CN112418278A (zh) * | 2020-11-05 | 2021-02-26 | 中保车服科技服务股份有限公司 | 一种多类物体检测方法、终端设备及存储介质 |
| CN112381222A (zh) * | 2020-11-12 | 2021-02-19 | 北京乐学帮网络技术有限公司 | 一种样本生成方法、装置、计算机设备和存储介质 |
| CN113189109A (zh) * | 2021-01-15 | 2021-07-30 | 深圳锦绣创视科技有限公司 | 一种基于人工智能的瑕疵判定系统及瑕疵判定方法 |
| CN113011480A (zh) * | 2021-03-09 | 2021-06-22 | 华南理工大学 | 一种基于循环生成对抗网络的弧面缺陷图像生成方法 |
| CN113033656B (zh) * | 2021-03-24 | 2023-12-26 | 厦门航空有限公司 | 一种基于生成对抗网络的交互式孔探数据扩展方法 |
| CN113033656A (zh) * | 2021-03-24 | 2021-06-25 | 厦门航空有限公司 | 一种基于生成对抗网络的交互式孔探数据扩展方法 |
| CN113160231A (zh) * | 2021-03-29 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 一种样本生成方法、样本生成装置及电子设备 |
| CN113077454A (zh) * | 2021-04-19 | 2021-07-06 | 凌云光技术股份有限公司 | 一种图像缺陷拟合方法、系统和存储介质 |
| CN113780068A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种基于对抗网络的道路箭头图片生成方法及系统 |
| CN113781292A (zh) * | 2021-08-23 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN113781292B (zh) * | 2021-08-23 | 2024-09-24 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN115063405A (zh) * | 2022-07-27 | 2022-09-16 | 武汉工程大学 | 钢材表面缺陷检测的方法、系统、电子设备和存储介质 |
| CN117893952A (zh) * | 2024-03-15 | 2024-04-16 | 视睿（杭州）信息科技有限公司 | 基于深度学习的视频马赛克缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199531B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199531B (zh) | 基于泊松图像融合及图像风格化的交互式数据扩展方法 | |
| US11783461B2 (en) | Facilitating sketch to painting transformations | |
| Jiang et al. | Scfont: Structure-guided chinese font generation via deep stacked networks | |
| CN110660037B (zh) | 图像间脸部交换的方法、装置、系统和计算机程序产品 | |
| Gecer et al. | Synthesizing coupled 3d face modalities by trunk-branch generative adversarial networks | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| US9501724B1 (en) | Font recognition and font similarity learning using a deep neural network | |
| Tan et al. | Cycle-IR: Deep cyclic image retargeting | |
| Xie et al. | Document dewarping with control points | |
| Singh et al. | Neural style transfer: A critical review | |
| US20230124252A1 (en) | Portrait stylization framework using a two-path image stylization and blending | |
| US11677897B2 (en) | Generating stylized images in real time on mobile devices | |
| KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
| WO2020014294A1 (en) | Learning to segment via cut-and-paste | |
| US20240161355A1 (en) | Generation of stylized drawing of three-dimensional shapes using neural networks | |
| Liu et al. | Image neural style transfer with preserving the salient regions | |
| Zhao et al. | Cartoon image processing: a survey | |
| Song et al. | Talking face video generation with editable expression | |
| Tous | Pictonaut: movie cartoonization using 3D human pose estimation and GANs | |
| Zhao et al. | Purifying naturalistic images through a real-time style transfer semantics network | |
| US20230145498A1 (en) | Image reprojection and multi-image inpainting based on geometric depth parameters | |
| Yang et al. | Automatic portrait oil painter: joint domain stylization for portrait images | |
| GB2585722A (en) | Image manipulation | |
| Li et al. | Video vectorization via bipartite diffusion curves propagation and optimization | |
| Satchidanandam et al. | Enhancing Style Transfer with GANs: Perceptual Loss and Semantic Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |