CN110473151A - 基于分区卷积和关联损失的双阶段图像补全方法及系统 - Google Patents
基于分区卷积和关联损失的双阶段图像补全方法及系统 Download PDFInfo
- Publication number
- CN110473151A CN110473151A CN201910598856.6A CN201910598856A CN110473151A CN 110473151 A CN110473151 A CN 110473151A CN 201910598856 A CN201910598856 A CN 201910598856A CN 110473151 A CN110473151 A CN 110473151A
- Authority
- CN
- China
- Prior art keywords
- loss
- convolution
- stage
- picture
- subregion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分区卷积和关联损失的双阶段图像补全方法及系统。其中,该方法包括如下步骤:S1,对完整图片随机生成缺失区域构成缺失图片;S2,缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。本发明在保证模型泛化能力的同时,有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性,提高深度学习模型在实际场景中应用时的稳定性。
Description
技术领域
本发明涉及一种基于分区卷积和关联损失的双阶段图像补全方法,同时涉及一种实现该方法的双阶段图像补全系统;属于计算机视觉技术领域。
背景技术
近年来,图像修复技术,即在缺失图像中填充视觉逼真和语义合理的内容,引起了人们的极大关注。它可以被广泛的应用于许多任务,如照片编辑、基于图像的渲染,计算摄影等。目前,已经有许多方法以不同的方式生成所需的内容,包括有手动提取特征的传统方法,和深度生成模型。
传统的方法可大致的被分成两种,基于传播以及基于区块填充的方法。前者通常使用微分算子进行建模,将背景区域的数据以一定的方式传播扩散到缺失区域之中。而后者通过使用原图像集合中的区块进行填充缺失区域,并且最大化填充区块与原区块的相似程度。这些方法在完成具有重复结构的图像补全工作有良好的效果,但是它们通常非常耗时,并且在非重复、复杂的图像中,它们不能够填补上有意义的信息。
深度神经网络和生成对抗网络的快速发展,极大地促进了图像补全的进展。语义编码方法(Context Encoders)首次利用了生成对抗网络来重建图片,使用的对通道信息敏感的全连接网络来将信息由编码层扩散到解码层。全局与局部连续法(Global andLocally Consistent)使用膨胀卷积,并且使用全局和局部的判别器来生成图片。语境关注法(Contextual Attention)利用双阶段网络,并且使用特征感知机对生成的图片进行进一步优化。为了进一步提高图像的质量,也有使用与训练的VGG网络来提取特征,来降低感知损失或者风格损失。最近,局部卷积(Partial Convolution)、门限卷积(GatedConvolution)还有边缘法(Edge Connect)更关注于使用不规则的缺失区域等,在高度结构化的图片中,能起到较好的效果。
尽管图像补全领域取得了一定的进展,但是大部分的方法仍然面临着不连续的问题。
发明内容
针对现有技术的不足,本发明所要解决的首要技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全方法。
本发明所要解决的另一技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全系统。
为实现上述发明目的,本发明采用下述的技术方案:
根据本发明实施例的第一方面,提供一种基于分区卷积和关联损失的双阶段图像补全方法,包括如下步骤:
S1,对完整图片随机生成缺失区域构成缺失图片;
S2,所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;
S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。
其中较优地,所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失,包括如下步骤:
缺失图片通过第一阶段的编码器网络,并且通过四层膨胀卷积,得到图片特征;
所述图片特征经过第一阶段的解码器网络,并使用分区卷积,得到第一阶段初步的补全结果;
对生成的结果构建关系矩阵,并构建关联损失和一范数损失。
其中较优地,在步骤S22中,图片特征经过第一阶段的解码器网络,在使用分区卷积的神经网络层采用如下计算公式:
其中,W,分别表示已知区域和未知区域的卷积核权重,b,是对应的偏移量,x是特征图X中当前卷积窗口滑动到的特征;x'是分区卷积操作之后,x对应的当前卷积窗口滑动到的特征。
其中较优地,在卷积的过程中,卷积的窗口将在特征图上滑动,当窗口所对应的位置属于已知区域时,采用已知区域所对应的卷积核权重和偏移量进行计算,当窗口所对应的位置属于未知区域时,采用未知区域所对应的卷积核权重和偏移量进行计算。
其中较优地,构建关联损失采用如下公式:
其中,σ表示正规化因子,Ic (1)表示为组合图片,Ig表示真实图片,fij(Ic (1))为关系矩阵,fij(Ic (1))=(ψi(Ic (1)))T(ψj(Ic (1)));fij(Ic (1))表示提取出来的特征矩阵的第i行,第j列的元素,ψi(Ic (1))表示为变形的特征图中的第i行,ψj(Ic (1))表示为变形的特征图中的第j行。
其中较优地,构建一范数损失采用如下公式:
Lr1=||Ip (1)-Ig||1;
其中,Ip (1),Ig分别表示为第一阶段输出的初步的补全结果和真实图片。
其中较优地,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果,对生成的细致的补全结果构建风格损失和一范数损失,包括如下步骤:
第一阶段的初步的补全结果通过第二阶段的编码器网络,并且通过四层膨胀卷积,得到第二图片特征;
第二图片特征经过第二阶段的解码器网络,生成细致的补全结果;
对生成的细致的补全结果构建风格损失和一范数损失。
其中较优地,构建风格损失采用如下公式:
其中Ic (2),Ig分别是组合图片、真实图片,Φp表示的是特征提取函数,δp为正则化因子。
其中较优地,计算整体损失函数采用如下公式:
L=Lr1+Lr2+λ1Lc+λ2Ls;
其中,Lr1,Lr2,Lc,Ls分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失,λ1,λ2分别表示对关联损失和风格损失进行放缩的两个参数。
根据本发明实施例的第二方面,提供一种基于分区卷积和关联损失的双阶段图像补全系统,包括处理器和存储器;所述存储器上存储有可用在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时实现如下步骤:
S1,对完整图片随机生成缺失区域构成缺失图片;
S2,所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;
S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。
本发明提供的基于分区卷积和关联损失的双阶段图像补全方法,结合传统的正向-反向训练过程,针对每一个隐藏层加入对应的对抗噪音,使得训练得到的模型参数对数据样本r-邻域内的噪音输入表现稳定。该方法在保证模型泛化能力的同时,有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性,提高深度学习模型在实际场景中应用时的稳定性;由于嵌入在传统的正向-反向训练过程中,有效降低了该方法的计算复杂度,大大提升了其可应用性。
附图说明
图1为本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法的流程图;
图2为本发明所提供的基于分区卷积和关联损失的双阶段图像补全系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体地说说明。
目前,尽管图像补全领域取得了一定的进展,但是大部分的方法仍然面临着不连续的问题,比如扭曲的结构和模糊的纹理,通过对边缘连接法(Edge Connect)的研究,这样的情况可能是因为在缺失和已知两种不同的区域采用了相同的卷积方式。直观上,不同的区域应该用不同的特征表示方法,因为在已知区域有充足的信息,而在未知区域中却没有。因此对两个区域使用相同的卷积核来生成语义信息,不可避免的产生视觉上的伪影,例如颜色差异,模糊以及补全出的部分具有明显的边缘。可变的缺失区域被引用在最近的一些工作中来解决这些问题,如局部卷积(Partial Convolution)和门限卷积(GatedConvolution),然而,依赖于相同的卷积核,他们仍然不能够生成足够好的结果。
本发明中采用在线随机生成缺失区域的方式,生成位置、大小随机的缺失区域,并且采用双阶段神经网络,即两个阶段均采用编码器-解码器的结构,第二阶段用于对第一阶段的结果进行进一步的优化,对第一阶段的输出结果计算关联损失,对第二阶段的输出结果计算风格损失,对两阶段的输出结果计算一范数距离损失。在第一阶段的解码器中采用分区卷积,在第二阶段的解码器中采用普通卷积。在两阶段中的编码器和解码器间,采用四层膨胀卷积作为过渡。
如图1所示,本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法,包括如下步骤:S1,对完整图片随机生成缺失区域构成缺失图片;S2,缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关系矩阵,并且构建关联损失和一范数损失;S3,第一阶段结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;S4,计算整体损失函数,迭代执行上述步骤,直到整体损失函数收敛,保存神经网络各层参数,完成训练。下面对这一过程做详细具体地说说明。
S1,对完整图片随机生成缺失区域构成缺失图片;具体包括如下步骤:
S11,随机在数据集中选取图片;此时选取的图片为真实图片。
S12,在选取的图片上生成面积随机、位置随机的缺失区域,构成缺失图片。
具体地说,本发明中采用的缺失图片,实际为零一矩阵M,其形状与真实图片大小相同,其中已知区域标记为1,未知区域标记为0,在缺失图片经过神经网络中的上采样层和下采样层等,特征大小发生变化的网络层时,将该未知区域标记M经过直接变形放缩,得到与特征相同大小的标记,从而标记相应位置属于未知区域或已知区域。
目前,神经网络训练的过程中有的采用为固定方形缺失区域,即在图像的正中央存在一个固定大小的方形缺失区域,为了更好的还原效果,在神经网络训练的过程中,本发明采用了在线随机生成缺失区域的方式,在选取的图片上生成面积随机、位置随机的缺失区域,构成缺失图片;具体包括如下步骤:
S121,在选取的每一张图片上随机产生1-n个椭圆,中心位置随机,长短轴长度随机,但都限制在图像大小范围之内,其中n为正整数。
S122,随机选取每个椭圆上的一段圆弧,粗细为一固定值,从而产生完全随机的缺失区域,根据随机的椭圆数目,产生不同缺失面积的缺失区域,构成缺失图片。其中,产生的却是区域完全随机,缺失区域的大小能够随椭圆的个数变化,缺失面积也具有一定的范围。
缺失区域为零一矩阵标记的0的区域:
M是一个与图片大小相同的矩阵,其中的元素为0表示相应位置信息未知,其中的元素为1表示相应位置信息已知。
S2,缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关系矩阵,并且构建关联损失和一范数损失;具体包括如下步骤:
S21,缺失图片通过第一阶段的编码器网络,并且通过四层膨胀卷积,得到图片特征;
具体地说,缺失图片在输入神经网络之前,像素值域为[0,255],将其做线性映射,映射到[-1,1]的值域范围内,再输入到神经网络中。
第一阶段的编码器具体包括:六层普通卷积,其中有两层为下采样,编码器输出的结果大小为[64,64,128],其中64*64为特征的大小,128为特征的深度。其中,通过四层膨胀卷积得到图片特征为本领域常规获取方法,在此便不再赘述了。
S22,图片特征经过第一阶段的解码器网络,并使用分区卷积,得到第一阶段初步的补全结果;
具体地说,第一阶段的解码器具体包括:八层神经网络,中间地3、4、5三层使用分区卷积,并且其中3、5两层进行上采样,其余为普通卷积层,解码器中前五层,与编码器中相应层和膨胀卷积中相应层,进行跳连。将最后的结果截断在-1到1之间,得到最后的结果。
其中,分区卷积采用如下计算公式:
其中W,分别表示已知区域和未知区域的卷积核权重,b,是对应的偏移量,x是特征图X中,当前卷积窗口滑动到的特征。x'是分区卷积操作之后,x对应的当前卷积窗口滑动到的特征。在卷积的过程中,卷积的窗口将在特征图上滑动,当窗口所对应的位置属于已知区域时,即采用已知区域所对应的卷积核权重和偏移量进行计算,当窗口所对应的位置属于未知区域时,即采用未知区域所对应的卷积核权重和偏移量进行计算。这表示不同区域采用不同的卷积核。已知区域的卷积核对自身区域进行重建,未知区域的卷积核从已知区域推理得到语义信息。
在训练的过程中,由于采用了不同的卷积核,梯度回传时,分别对两种卷积核进行更新,达到已知区域的卷积核对自身区域进行重建、未知区域的卷积核从已知区域推理得到语义信息的目的。
具体地说,第一阶段网络采用的是编码器-解码器的网络结构,经过编码器提取出特征,由于输入的图片为缺失图片,编码器编码过程中,生成的已知部分的特征较为准确,而未知部分的特征可信度低。由于未知部分的信息来源全部来源于已知区域,故在解码层使用对区域敏感的卷积方式,避免可信度低的缺失部分信息影响到已知部分区域的还原,使得已知部分能够还原的更加完善,从而进一步影响位置部分的还原,使得两部分的还原结构都尽可能真实。若在编码器部分使用对区域敏感的卷积,由于此时尚未形成特征,两部分所得到的信息都十分少,不利于还原。
S23,对生成的结果构建关系矩阵,并构建关联损失和一范数损失。
具体地说,对应的图片被传入VGG16预训练神经网络中,将其第二层池化层作为特征输出,此时提取的特征的形状为C×H×W,将后两维量融合在一起并且经过拉伸,得到形状为C×HW的特征图。并且经过转秩与自身做矩阵乘法得到关系矩阵,如下:
fij(Ic (1))=(ψi(Ic (1)))T(ψj(Ic (1)));
其中,Ic (1)为组合图片,即由生成的缺失区域与原有的已知区域组合得到的图片;ψ表示VGG16在大规模数据集ImageNet上预训练好的网络,ψ(Ic (1))为提取出的特征图,其形状为C×H×W,C表示的是特征图的深度,H,W分别表示的是特征图的高度和宽度,将特征图进行变形得到形如C×HW,ψi(Ic (1))表示为变形的特征图中的第i行,fij(Ic (1))表示提取出来的特征矩阵的第i行,第j列的元素,得到的关系矩阵的形状为HW×HW。该关系矩阵表示的是HW个点之间的关系,从而衡量不同位置之间的特征联系。
经过构造关系矩阵后,将第一阶段的组合图片,以及真实图片,分别经过VGG16预训练神经网络,衡量两者间特征矩阵的差距,构建损失函数,构建的损失函数具体为:
其中,σ表示正规化因子,Ic (1)表示为组合图片,Ig表示真实图片,关联损失函数可具体表述为组合图片和真实图片的特征矩阵的关系矩阵的一范数距离,乘以相应的正规化因子。
对第一阶段产生的结果与真实图片计算一范数损失:
Lr1=||Ip (1)-Ig||1;
其中,Ip (1),Ig分别表示为第一阶段的输出的结果和真实图片。
S3,第一阶段的初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;具体包括如下步骤:
S31,第一阶段的初步的补全结果通过第二阶段的编码器网络,并且通过四层膨胀卷积,得到第二图片特征;
具体地说,第一阶段生成的是初步的补全结果,补全出来的部分仍然存在有些许模糊、不真实的不足,经过第二阶段的细化,可得到细致的补全结果,清晰真实的最终补全结果。
第二阶段的编码器具体包括:六层普通卷积,其中有两层为下采样,编码器输出的结果大小为[64,64,128],其中64*64为特征的大小,128为特征的深度。其中,通过四层膨胀卷积得到图片特征为本领域常规获取方法,在此便不再赘述了。
S32,第二图片特征经过第二阶段的解码器网络,生成细致的补全结果;
具体地说,第二阶段的解码器具体包括:八层神经网络,均为普通卷积层,其中有两层进行上采样。解码器中前五层,与编码器中相应层和膨胀卷积中相应层,进行跳连。将最后的结果截断在-1到1之间,得到最后的结果。
S33,对生成的细致的补全结果构建风格损失和一范数损失。
其中,风格损失具体为:
其中Ic (2),Ig分别是组合图片、真实图片,Φp表示的是特征提取函数。在本发明所提供的实施例中,使用的是VGG16预训练网络,其中p表示的是VGG16预训练网络中特定层的输出,δp为一正则化因子。在本发明中,所采用的风格损失,使用VGG16预训练网络中的pool1,pool2,pool3三层进行计算。
对第二阶段产生的细致的补全结果计算一范数损失采用如下计算公式:
Lr2=||Ip (1)-Ig||1;
其中,Ip (2),Ig分别表示为第二阶段的输出的结果和真实图片。
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,保存神经网络各层参数,完成训练。
具体地说,根据关联损失、第一阶段一范数损失、风格损失和第二阶段一范数损失计算整体损失函数L。其中,根据关联损失、第一阶段一范数损失、风格损失和第二阶段一范数损失计算整体损失函数可以采用累加求和、加权求和等任意计算方式,在本发明所提供的实施例中,以加权求和为例进行说明。该整体损失函数L具体为:
L=Lr1+Lr2+λ1Lc+λ2Ls;
其中,Lr1,Lr2,Lc,Ls分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失,λ1,λ2分别表示对关联损失和风格损失进行放缩的两个参数。
迭代执行上述S1、S2和S3,采用Adam优化器,初始设置学习率为0.0001,beta1为0.5,beta2为0.9,λ1为0.00001,λ2为0.001,输入图片大小设置为[256,256],每个批次训练8张图片(图片张数可以根据需求进行设定,在此以8张为例进行说明),不断迭代训练,直至深度神经网络整体损失函数收敛,保存神经网络各层参数,完成对深度神经网络的训练。如下表所示,为基于分区卷积和关联损失的双阶段缺失图像补全方法流程。
表1基于分区卷积和关联损失的双阶段缺失图像补全方法流程
综上所述,本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法,基于不同区域应当区别处理的基本思想,对不同区域采用了不同的卷积核,使已知区域从自身提取的特征进行重建,未知区域从已知区域的特征进行推理重建,使得能够产生完整合理的信息,并且以用关联损失对已知和位置区域建立联系,从而产生感官上更和谐、真实的结果。本发明提供的方法与现有技术相比,更够更好地区分已知和未知区域,并且将两者关联起来,因此既能够还原出有意义的信息,也能使得已知区域和位置区域保持一致性,从整体感官上更加和谐、真实。
本发明还提供了一种基于分区卷积和关联损失的双阶段图像补全系统。如图2所示,该系统包括处理器22以及存储有处理器22可执行指令的存储器21;
其中,处理器22可以是通用处理器,例如中央处理器(CPU),还可以是数字信号处理器(DSP)、专用集成电路(ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
其中,存储器21,用于存储程序代码,并将该程序代码传输给CPU。存储器21可以包括易失性存储器,例如随机存取存储器(RAM);存储器21也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器21还可以包括上述种类的存储器的组合。
具体地,本发明实施例所提供的一种基于FPGA的调度终端双接口快速倒换系统,包括处理器22和存储器21;存储器21上存储有可用在处理器22上运行的计算机程序,当计算机程序被处理器22执行时实现如下步骤:
S1,对完整图片随机生成缺失区域构成缺失图片;
S2,缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;
S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。
其中,当缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失时,计算机程序被处理器22执行实现如下步骤;
缺失图片通过第一阶段的编码器网络,并且通过四层膨胀卷积,得到图片特征;
图片特征经过第一阶段的解码器网络,并使用分区卷积,得到第一阶段初步的补全结果;
对生成的结果构建关系矩阵,并构建关联损失和一范数损失。
其中,当计算机程序被处理器22执行实现时如下步骤;
在步骤S22中,图片特征经过第一阶段的解码器网络,在使用分区卷积的神经网络层采用如下计算公式:
其中,W,分别表示已知区域和未知区域的卷积核权重,b,是对应的偏移量,x是特征图X中当前卷积窗口滑动到的特征;x'是分区卷积操作之后,x对应的当前卷积窗口滑动到的特征。
其中,当计算机程序被处理器22执行实现时如下步骤;
在卷积的过程中,卷积的窗口将在特征图上滑动,当窗口所对应的位置属于已知区域时,采用已知区域所对应的卷积核权重和偏移量进行计算,当窗口所对应的位置属于未知区域时,采用未知区域所对应的卷积核权重和偏移量进行计算。
其中,当计算机程序被处理器22执行实现时如下步骤;
构建关联损失采用如下公式:
其中,σ表示正规化因子,Ic (1)表示为组合图片,Ig表示真实图片,fij(Ic (1))为关系矩阵,fij(Ic (1))=(ψi(Ic (1)))T(ψj(Ic (1)));fij(Ic (1))表示提取出来的特征矩阵的第i行,第j列的元素,ψi(Ic (1))表示为变形的特征图中的第i行,ψj(Ic (1))表示为变形的特征图中的第j行。
其中,当计算机程序被处理器22执行实现时如下步骤;
构建一范数损失采用如下公式:
Lr1=||Ip (1)-Ig||1;
其中,Ip (1),Ig分别表示为第一阶段输出的初步的补全结果和真实图片。
其中,当初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果,对生成的细致的补全结果构建风格损失和一范数损失时,计算机程序被处理器42执行实现如下步骤;
第一阶段的初步的补全结果通过第二阶段的编码器网络,并且通过四层膨胀卷积,得到第二图片特征;
第二图片特征经过第二阶段的解码器网络,生成细致的补全结果;
对生成的细致的补全结果构建风格损失和一范数损失。
其中,当计算机程序被处理器22执行实现时如下步骤;
构建风格损失采用如下公式:
其中Ic (2),Ig分别是组合图片、真实图片,Φp表示的是特征提取函数。δp为一正则化因子。
其中,当计算机程序被处理器22执行实现时如下步骤;
计算整体损失函数采用如下公式:
L=Lr1+Lr2+λ1Lc+λ2Ls;
其中,Lr1,Lr2,Lc,Ls分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失,λ1,λ2分别表示对关联损失和风格损失进行放缩的两个参数。
本发明实施例还提供了一种计算机可读存储介质。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
上面对本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法及系统进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质精神的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (10)
1.一种基于分区卷积和关联损失的双阶段图像补全方法,其特征在于包括如下步骤:
S1,对完整图片随机生成缺失区域构成缺失图片;
S2,所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;
S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。
2.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失,包括如下步骤:
缺失图片通过第一阶段的编码器网络,并且通过四层膨胀卷积,得到图片特征;
图片特征经过第一阶段的解码器网络,并使用分区卷积,得到第一阶段初步的补全结果;
对生成的结果构建关系矩阵,并构建关联损失和一范数损失。
3.如权利要求2所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于在步骤S22中,图片特征经过第一阶段的解码器网络,在使用分区卷积的神经网络层采用如下计算公式:
其中,W,分别表示已知区域和未知区域的卷积核权重,b,是对应的偏移量,x是特征图X中当前卷积窗口滑动到的特征;x'是分区卷积操作之后,x对应的当前卷积窗口滑动到的特征。
4.如权利要求3所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于:
在卷积的过程中,卷积的窗口将在特征图上滑动,当窗口所对应的位置属于已知区域时,采用已知区域所对应的卷积核权重和偏移量进行计算,当窗口所对应的位置属于未知区域时,采用未知区域所对应的卷积核权重和偏移量进行计算。
5.如权利要求3所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于构建关联损失采用如下公式:
其中,σ表示正规化因子,Ic (1)表示为组合图片,Ig表示真实图片,fij(Ic (1))为关系矩阵,fij(Ic (1))=(ψi(Ic (1)))T(ψj(Ic (1)));fij(Ic (1))表示提取出来的特征矩阵的第i行,第j列的元素,ψi(Ic (1))表示为变形的特征图中的第i行,ψj(Ic (1))表示为变形的特征图中的第j行。
6.如权利要求3所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于构建一范数损失采用如下公式:
Lr1=||Ip (1)-Ig||1;
其中,Ip (1),Ig分别表示为第一阶段输出的初步的补全结果和真实图片。
7.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果,对生成的细致的补全结果构建风格损失和一范数损失,包括如下步骤:
第一阶段的初步的补全结果通过第二阶段的编码器网络,并且通过四层膨胀卷积,得到第二图片特征;
第二图片特征经过第二阶段的解码器网络,生成细致的补全结果;
对生成的细致的补全结果构建风格损失和一范数损失。
8.如权利要求7所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于构建风格损失采用如下公式:
其中Ic (2),Ig分别是组合图片、真实图片,Φp表示的是特征提取函数,δp为正则化因子。
9.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法,其特征在于计算整体损失函数采用如下公式:
L=Lr1+Lr2+λ1Lc+λ2Ls;
其中,Lr1,Lr2,Lc,Ls分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失,λ1,λ2分别表示对关联损失和风格损失进行放缩的两个参数。
10.一种基于分区卷积和关联损失的双阶段图像补全系统,其特征在于包括处理器和存储器;所述存储器上存储有可用在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时实现如下步骤:
S1,对完整图片随机生成缺失区域构成缺失图片;
S2,所述缺失图片经过第一阶段网络,采用分区卷积,生成初步的补全结果;对生成的初步的补全结果构建关联损失和一范数损失;
S3,初步的补全结果经过第二阶段网络,采用普通卷积,生成细致的补全结果;对生成的细致的补全结果构建风格损失和一范数损失;
S4,计算整体损失函数,迭代步骤S1~S3的训练,直至整体损失函数收敛,完成训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910598856.6A CN110473151B (zh) | 2019-07-04 | 2019-07-04 | 基于分区卷积和关联损失的双阶段图像补全方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910598856.6A CN110473151B (zh) | 2019-07-04 | 2019-07-04 | 基于分区卷积和关联损失的双阶段图像补全方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110473151A true CN110473151A (zh) | 2019-11-19 |
CN110473151B CN110473151B (zh) | 2022-05-03 |
Family
ID=68507417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910598856.6A Active CN110473151B (zh) | 2019-07-04 | 2019-07-04 | 基于分区卷积和关联损失的双阶段图像补全方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110473151B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553869A (zh) * | 2020-05-13 | 2020-08-18 | 北京航空航天大学 | 一种空基视角下的生成对抗网络图像补全方法 |
CN112669431A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备、存储介质以及程序产品 |
CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
CN113869503A (zh) * | 2021-12-02 | 2021-12-31 | 北京建筑大学 | 一种基于深度矩阵分解补全的数据处理方法及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150030237A1 (en) * | 2013-07-24 | 2015-01-29 | Microsoft Corporation | Image restoration cascade |
US20150131898A1 (en) * | 2013-11-12 | 2015-05-14 | Microsoft Corporation | Blind image deblurring with cascade architecture |
US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
US20170372193A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Correction Using A Deep Generative Machine-Learning Model |
CN108305238A (zh) * | 2018-01-26 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN108460830A (zh) * | 2018-05-09 | 2018-08-28 | 厦门美图之家科技有限公司 | 图像修复方法、装置及图像处理设备 |
CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
CN109410289A (zh) * | 2018-11-09 | 2019-03-01 | 中国科学院武汉物理与数学研究所 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
-
2019
- 2019-07-04 CN CN201910598856.6A patent/CN110473151B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150030237A1 (en) * | 2013-07-24 | 2015-01-29 | Microsoft Corporation | Image restoration cascade |
US20150131898A1 (en) * | 2013-11-12 | 2015-05-14 | Microsoft Corporation | Blind image deblurring with cascade architecture |
US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
US20170372193A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Correction Using A Deep Generative Machine-Learning Model |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN108305238A (zh) * | 2018-01-26 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN108460830A (zh) * | 2018-05-09 | 2018-08-28 | 厦门美图之家科技有限公司 | 图像修复方法、装置及图像处理设备 |
CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
CN109410289A (zh) * | 2018-11-09 | 2019-03-01 | 中国科学院武汉物理与数学研究所 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
Non-Patent Citations (3)
Title |
---|
GUILIN LIU 等: "Image Inpainting for Irregular Holes Using Partial Convolutions", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
JIAHUI YU 等: "Generative Image Inpainting with Contextual Attention", 《 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
强振平 等: "深度学习图像修复方法综述", 《中国图象图形学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553869A (zh) * | 2020-05-13 | 2020-08-18 | 北京航空航天大学 | 一种空基视角下的生成对抗网络图像补全方法 |
CN112669431A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备、存储介质以及程序产品 |
CN112669431B (zh) * | 2020-12-30 | 2023-10-20 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备、存储介质以及程序产品 |
CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
CN113869503A (zh) * | 2021-12-02 | 2021-12-31 | 北京建筑大学 | 一种基于深度矩阵分解补全的数据处理方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110473151B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473151A (zh) | 基于分区卷积和关联损失的双阶段图像补全方法及系统 | |
Liu et al. | Rethinking image inpainting via a mutual encoder-decoder with feature equalizations | |
CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
Wang et al. | Learning super-resolution jointly from external and internal examples | |
Köhler et al. | Mask-specific inpainting with deep neural networks | |
CN110992270A (zh) | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 | |
CN108447020A (zh) | 一种基于极深卷积神经网络的人脸超分辨率重建方法 | |
CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
CN108428212A (zh) | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 | |
Liu et al. | Effective image super resolution via hierarchical convolutional neural network | |
CN109903236A (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
CN112365514A (zh) | 基于改进PSPNet的语义分割方法 | |
CN110852944A (zh) | 基于深度学习的多帧自适应融合的视频超分辨方法 | |
CN114387365A (zh) | 一种线稿上色方法及装置 | |
Wang et al. | Receptive field size versus model depth for single image super-resolution | |
CN112686817A (zh) | 一种基于不确定性估计的图像补全方法 | |
Li et al. | High-resolution network for photorealistic style transfer | |
CN114897694A (zh) | 基于混合注意力和双层监督的图像超分辨率重建方法 | |
Rao et al. | UMFA: a photorealistic style transfer method based on U-Net and multi-layer feature aggregation | |
Wang et al. | Learning multi-denoising autoencoding priors for image super-resolution | |
Cai et al. | Hierarchical damage correlations for old photo restoration | |
CN109447900A (zh) | 一种图像超分辨率重建方法及装置 | |
Li et al. | Semantic prior-driven fused contextual transformation network for image inpainting | |
He et al. | Text-based image style transfer and synthesis | |
Wang et al. | Momentum feature comparison network based on generative adversarial network for single image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Liu Xianglong Inventor after: Ma Yuqing Inventor after: Wang Lei Inventor after: Bai Shihao Inventor after: Lv Jinhu Inventor before: Liu Xianglong Inventor before: Ma Yuqing Inventor before: Wang Lei Inventor before: Bai Shihao |