CN110473151B - 基于分区卷积和关联损失的双阶段图像补全方法及系统 - Google Patents

Abstract

本发明公开了一种基于分区卷积和关联损失的双阶段图像补全方法及系统。其中，该方法包括如下步骤：S1，对完整图片随机生成缺失区域构成缺失图片；S2，缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。本发明在保证模型泛化能力的同时，有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性，提高深度学习模型在实际场景中应用时的稳定性。

Description

基于分区卷积和关联损失的双阶段图像补全方法及系统

技术领域

本发明涉及一种基于分区卷积和关联损失的双阶段图像补全方法，同时涉及一种实现该方法的双阶段图像补全系统；属于计算机视觉技术领域。

背景技术

近年来，图像修复技术，即在缺失图像中填充视觉逼真和语义合理的内容，引起了人们的极大关注。它可以被广泛的应用于许多任务，如照片编辑、基于图像的渲染，计算摄影等。目前，已经有许多方法以不同的方式生成所需的内容，包括有手动提取特征的传统方法，和深度生成模型。

传统的方法可大致的被分成两种，基于传播以及基于区块填充的方法。前者通常使用微分算子进行建模，将背景区域的数据以一定的方式传播扩散到缺失区域之中。而后者通过使用原图像集合中的区块进行填充缺失区域，并且最大化填充区块与原区块的相似程度。这些方法在完成具有重复结构的图像补全工作有良好的效果，但是它们通常非常耗时，并且在非重复、复杂的图像中，它们不能够填补上有意义的信息。

深度神经网络和生成对抗网络的快速发展，极大地促进了图像补全的进展。语义编码方法(Context Encoders)首次利用了生成对抗网络来重建图片，使用的对通道信息敏感的全连接网络来将信息由编码层扩散到解码层。全局与局部连续法(Global andLocally Consistent)使用膨胀卷积，并且使用全局和局部的判别器来生成图片。语境关注法(Contextual Attention)利用双阶段网络，并且使用特征感知机对生成的图片进行进一步优化。为了进一步提高图像的质量，也有使用与训练的VGG网络来提取特征，来降低感知损失或者风格损失。最近，局部卷积(Partial Convolution)、门限卷积(GatedConvolution)还有边缘法(Edge Connect)更关注于使用不规则的缺失区域等，在高度结构化的图片中，能起到较好的效果。

尽管图像补全领域取得了一定的进展，但是大部分的方法仍然面临着不连续的问题。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全方法。

本发明所要解决的另一技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于分区卷积和关联损失的双阶段图像补全方法，包括如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。

其中较优地，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失，包括如下步骤：

缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；

所述图片特征经过第一阶段的解码器网络，并使用分区卷积，得到第一阶段初步的补全结果；

对生成的结果构建关系矩阵，并构建关联损失和一范数损失。

其中较优地，在步骤S22中，图片特征经过第一阶段的解码器网络，在使用分区卷积的神经网络层采用如下计算公式:

其中,W,

分别表示已知区域和未知区域的卷积核权重，b,

是对应的偏移量，x是特征图X中当前卷积窗口滑动到的特征；x'是分区卷积操作之后，x对应的当前卷积窗口滑动到的特征。

其中较优地，在卷积的过程中，卷积的窗口将在特征图上滑动，当窗口所对应的位置属于已知区域时，采用已知区域所对应的卷积核权重和偏移量进行计算，当窗口所对应的位置属于未知区域时，采用未知区域所对应的卷积核权重和偏移量进行计算。

其中较优地，构建关联损失采用如下公式：

其中，σ表示正规化因子，I_c ⁽¹⁾表示为组合图片，I_g表示真实图片，f_ij(I_c ⁽¹⁾)为关系矩阵，f_ij(I_c ⁽¹⁾)＝(ψⁱ(I_c ⁽¹⁾))^T(ψ^j(I_c ⁽¹⁾))；f_ij(I_c ⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，ψⁱ(I_c ⁽¹⁾)表示为变形的特征图中的第i行，ψ^j(I_c ⁽¹⁾)表示为变形的特征图中的第j行。

其中较优地，构建一范数损失采用如下公式：

L_r1＝||I_p ⁽¹⁾-I_g||₁；

其中，I_p ⁽¹⁾,I_g分别表示为第一阶段输出的初步的补全结果和真实图片。

其中较优地，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果，对生成的细致的补全结果构建风格损失和一范数损失，包括如下步骤：

第一阶段的初步的补全结果通过第二阶段的编码器网络，并且通过四层膨胀卷积，得到第二图片特征；

第二图片特征经过第二阶段的解码器网络，生成细致的补全结果；

对生成的细致的补全结果构建风格损失和一范数损失。

其中较优地，构建风格损失采用如下公式：

其中I_c ⁽²⁾,I_g分别是组合图片、真实图片，Φ_p表示的是特征提取函数，δ_p为正则化因子。

其中较优地，计算整体损失函数采用如下公式：

L＝L_r1+L_r2+λ₁L_c+λ₂L_s；

其中，L_r1,L_r2,L_c,L_s分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失，λ₁,λ₂分别表示对关联损失和风格损失进行放缩的两个参数。

根据本发明实施例的第二方面，提供一种基于分区卷积和关联损失的双阶段图像补全系统，包括处理器和存储器；所述存储器上存储有可用在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时实现如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。

本发明提供的基于分区卷积和关联损失的双阶段图像补全方法，结合传统的正向-反向训练过程，针对每一个隐藏层加入对应的对抗噪音，使得训练得到的模型参数对数据样本r-邻域内的噪音输入表现稳定。该方法在保证模型泛化能力的同时，有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性，提高深度学习模型在实际场景中应用时的稳定性；由于嵌入在传统的正向-反向训练过程中，有效降低了该方法的计算复杂度，大大提升了其可应用性。

附图说明

图1为本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法的流程图；

图2为本发明所提供的基于分区卷积和关联损失的双阶段图像补全系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体地说说明。

目前，尽管图像补全领域取得了一定的进展，但是大部分的方法仍然面临着不连续的问题，比如扭曲的结构和模糊的纹理，通过对边缘连接法(Edge Connect)的研究，这样的情况可能是因为在缺失和已知两种不同的区域采用了相同的卷积方式。直观上，不同的区域应该用不同的特征表示方法，因为在已知区域有充足的信息，而在未知区域中却没有。因此对两个区域使用相同的卷积核来生成语义信息，不可避免的产生视觉上的伪影，例如颜色差异，模糊以及补全出的部分具有明显的边缘。可变的缺失区域被引用在最近的一些工作中来解决这些问题，如局部卷积(Partial Convolution)和门限卷积(GatedConvolution)，然而，依赖于相同的卷积核，他们仍然不能够生成足够好的结果。

本发明中采用在线随机生成缺失区域的方式，生成位置、大小随机的缺失区域，并且采用双阶段神经网络，即两个阶段均采用编码器-解码器的结构，第二阶段用于对第一阶段的结果进行进一步的优化，对第一阶段的输出结果计算关联损失，对第二阶段的输出结果计算风格损失，对两阶段的输出结果计算一范数距离损失。在第一阶段的解码器中采用分区卷积，在第二阶段的解码器中采用普通卷积。在两阶段中的编码器和解码器间，采用四层膨胀卷积作为过渡。

如图1所示，本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法，包括如下步骤：S1，对完整图片随机生成缺失区域构成缺失图片；S2，缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关系矩阵，并且构建关联损失和一范数损失；S3，第一阶段结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；S4，计算整体损失函数，迭代执行上述步骤，直到整体损失函数收敛，保存神经网络各层参数，完成训练。下面对这一过程做详细具体地说说明。

S1，对完整图片随机生成缺失区域构成缺失图片；具体包括如下步骤：

S11，随机在数据集中选取图片；此时选取的图片为真实图片。

S12，在选取的图片上生成面积随机、位置随机的缺失区域，构成缺失图片。

具体地说，本发明中采用的缺失图片，实际为零一矩阵M，其形状与真实图片大小相同，其中已知区域标记为1，未知区域标记为0，在缺失图片经过神经网络中的上采样层和下采样层等，特征大小发生变化的网络层时，将该未知区域标记M经过直接变形放缩，得到与特征相同大小的标记，从而标记相应位置属于未知区域或已知区域。

目前，神经网络训练的过程中有的采用为固定方形缺失区域，即在图像的正中央存在一个固定大小的方形缺失区域，为了更好的还原效果，在神经网络训练的过程中，本发明采用了在线随机生成缺失区域的方式，在选取的图片上生成面积随机、位置随机的缺失区域，构成缺失图片；具体包括如下步骤：

S121，在选取的每一张图片上随机产生1-n个椭圆，中心位置随机，长短轴长度随机，但都限制在图像大小范围之内，其中n为正整数。

S122，随机选取每个椭圆上的一段圆弧，粗细为一固定值，从而产生完全随机的缺失区域，根据随机的椭圆数目，产生不同缺失面积的缺失区域，构成缺失图片。其中，产生的却是区域完全随机，缺失区域的大小能够随椭圆的个数变化，缺失面积也具有一定的范围。

缺失区域为零一矩阵标记的0的区域：

M是一个与图片大小相同的矩阵，其中的元素为0表示相应位置信息未知，其中的元素为1表示相应位置信息已知。

S2，缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关系矩阵，并且构建关联损失和一范数损失；具体包括如下步骤：

S21，缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；

具体地说，缺失图片在输入神经网络之前，像素值域为[0,255]，将其做线性映射，映射到[-1,1]的值域范围内，再输入到神经网络中。

第一阶段的编码器具体包括：六层普通卷积，其中有两层为下采样，编码器输出的结果大小为[64,64,128],其中64*64为特征的大小，128为特征的深度。其中，通过四层膨胀卷积得到图片特征为本领域常规获取方法，在此便不再赘述了。

S22，图片特征经过第一阶段的解码器网络，并使用分区卷积，得到第一阶段初步的补全结果；

具体地说，第一阶段的解码器具体包括：八层神经网络，中间地3、4、5三层使用分区卷积，并且其中3、5两层进行上采样，其余为普通卷积层，解码器中前五层，与编码器中相应层和膨胀卷积中相应层，进行跳连。将最后的结果截断在-1到1之间，得到最后的结果。

其中，分区卷积采用如下计算公式：

其中W,

分别表示已知区域和未知区域的卷积核权重，b,

是对应的偏移量，x是特征图X中，当前卷积窗口滑动到的特征。x'是分区卷积操作之后，x对应的当前卷积窗口滑动到的特征。在卷积的过程中，卷积的窗口将在特征图上滑动，当窗口所对应的位置属于已知区域时，即采用已知区域所对应的卷积核权重和偏移量进行计算，当窗口所对应的位置属于未知区域时，即采用未知区域所对应的卷积核权重和偏移量进行计算。这表示不同区域采用不同的卷积核。已知区域的卷积核对自身区域进行重建，未知区域的卷积核从已知区域推理得到语义信息。

在训练的过程中，由于采用了不同的卷积核，梯度回传时，分别对两种卷积核进行更新，达到已知区域的卷积核对自身区域进行重建、未知区域的卷积核从已知区域推理得到语义信息的目的。

具体地说，第一阶段网络采用的是编码器-解码器的网络结构，经过编码器提取出特征，由于输入的图片为缺失图片，编码器编码过程中，生成的已知部分的特征较为准确，而未知部分的特征可信度低。由于未知部分的信息来源全部来源于已知区域，故在解码层使用对区域敏感的卷积方式，避免可信度低的缺失部分信息影响到已知部分区域的还原，使得已知部分能够还原的更加完善，从而进一步影响位置部分的还原，使得两部分的还原结构都尽可能真实。若在编码器部分使用对区域敏感的卷积，由于此时尚未形成特征，两部分所得到的信息都十分少，不利于还原。

S23，对生成的结果构建关系矩阵，并构建关联损失和一范数损失。

具体地说，对应的图片被传入VGG16预训练神经网络中，将其第二层池化层作为特征输出，此时提取的特征的形状为C×H×W，将后两维量融合在一起并且经过拉伸，得到形状为C×HW的特征图。并且经过转秩与自身做矩阵乘法得到关系矩阵，如下：

f_ij(I_c ⁽¹⁾)＝(ψⁱ(I_c ⁽¹⁾))^T(ψ^j(I_c ⁽¹⁾))；

其中，I_c ⁽¹⁾为组合图片，即由生成的缺失区域与原有的已知区域组合得到的图片；ψ表示VGG16在大规模数据集ImageNet上预训练好的网络，ψ(I_c ⁽¹⁾)为提取出的特征图，其形状为C×H×W,C表示的是特征图的深度，H,W分别表示的是特征图的高度和宽度，将特征图进行变形得到形如C×HW，ψⁱ(I_c ⁽¹⁾)表示为变形的特征图中的第i行，f_ij(I_c ⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，得到的关系矩阵的形状为HW×HW。该关系矩阵表示的是HW个点之间的关系，从而衡量不同位置之间的特征联系。

经过构造关系矩阵后，将第一阶段的组合图片，以及真实图片，分别经过VGG16预训练神经网络，衡量两者间特征矩阵的差距，构建损失函数，构建的损失函数具体为：

其中，σ表示正规化因子，I_c ⁽¹⁾表示为组合图片，I_g表示真实图片，关联损失函数可具体表述为组合图片和真实图片的特征矩阵的关系矩阵的一范数距离，乘以相应的正规化因子。

对第一阶段产生的结果与真实图片计算一范数损失：

L_r1＝||I_p ⁽¹⁾-I_g||₁；

其中，I_p ⁽¹⁾,I_g分别表示为第一阶段的输出的结果和真实图片。

S3，第一阶段的初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；具体包括如下步骤：

S31，第一阶段的初步的补全结果通过第二阶段的编码器网络，并且通过四层膨胀卷积，得到第二图片特征；

具体地说,第一阶段生成的是初步的补全结果，补全出来的部分仍然存在有些许模糊、不真实的不足，经过第二阶段的细化，可得到细致的补全结果，清晰真实的最终补全结果。

第二阶段的编码器具体包括：六层普通卷积，其中有两层为下采样，编码器输出的结果大小为[64,64,128],其中64*64为特征的大小，128为特征的深度。其中，通过四层膨胀卷积得到图片特征为本领域常规获取方法，在此便不再赘述了。

S32，第二图片特征经过第二阶段的解码器网络，生成细致的补全结果；

具体地说，第二阶段的解码器具体包括：八层神经网络，均为普通卷积层，其中有两层进行上采样。解码器中前五层，与编码器中相应层和膨胀卷积中相应层，进行跳连。将最后的结果截断在-1到1之间，得到最后的结果。

S33，对生成的细致的补全结果构建风格损失和一范数损失。

其中，风格损失具体为：

其中I_c ⁽²⁾,I_g分别是组合图片、真实图片，Φ_p表示的是特征提取函数。在本发明所提供的实施例中，使用的是VGG16预训练网络，其中p表示的是VGG16预训练网络中特定层的输出，δ_p为一正则化因子。在本发明中，所采用的风格损失，使用VGG16预训练网络中的pool1，pool2，pool3三层进行计算。

对第二阶段产生的细致的补全结果计算一范数损失采用如下计算公式：

L_r2＝||I_p ⁽¹⁾-I_g||₁；

其中，I_p ⁽²⁾,I_g分别表示为第二阶段的输出的结果和真实图片。

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，保存神经网络各层参数，完成训练。

具体地说，根据关联损失、第一阶段一范数损失、风格损失和第二阶段一范数损失计算整体损失函数L。其中，根据关联损失、第一阶段一范数损失、风格损失和第二阶段一范数损失计算整体损失函数可以采用累加求和、加权求和等任意计算方式，在本发明所提供的实施例中，以加权求和为例进行说明。该整体损失函数L具体为：

L＝L_r1+L_r2+λ₁L_c+λ₂L_s；

其中，L_r1,L_r2,L_c,L_s分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失，λ₁,λ₂分别表示对关联损失和风格损失进行放缩的两个参数。

迭代执行上述S1、S2和S3，采用Adam优化器，初始设置学习率为0.0001，beta1为0.5，beta2为0.9，λ₁为0.00001，λ₂为0.001，输入图片大小设置为[256,256]，每个批次训练8张图片(图片张数可以根据需求进行设定，在此以8张为例进行说明)，不断迭代训练，直至深度神经网络整体损失函数收敛，保存神经网络各层参数，完成对深度神经网络的训练。如下表所示，为基于分区卷积和关联损失的双阶段缺失图像补全方法流程。

表1基于分区卷积和关联损失的双阶段缺失图像补全方法流程

综上所述，本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法，基于不同区域应当区别处理的基本思想，对不同区域采用了不同的卷积核，使已知区域从自身提取的特征进行重建，未知区域从已知区域的特征进行推理重建，使得能够产生完整合理的信息，并且以用关联损失对已知和位置区域建立联系，从而产生感官上更和谐、真实的结果。本发明提供的方法与现有技术相比，更够更好地区分已知和未知区域，并且将两者关联起来，因此既能够还原出有意义的信息，也能使得已知区域和位置区域保持一致性，从整体感官上更加和谐、真实。

本发明还提供了一种基于分区卷积和关联损失的双阶段图像补全系统。如图2所示，该系统包括处理器22以及存储有处理器22可执行指令的存储器21；

其中，处理器22可以是通用处理器，例如中央处理器(CPU)，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

其中，存储器21，用于存储程序代码，并将该程序代码传输给CPU。存储器21可以包括易失性存储器，例如随机存取存储器(RAM)；存储器21也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器21还可以包括上述种类的存储器的组合。

具体地，本发明实施例所提供的一种基于FPGA的调度终端双接口快速倒换系统，包括处理器22和存储器21；存储器21上存储有可用在处理器22上运行的计算机程序，当计算机程序被处理器22执行时实现如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。

其中，当缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失时，计算机程序被处理器22执行实现如下步骤；

缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；

图片特征经过第一阶段的解码器网络，并使用分区卷积，得到第一阶段初步的补全结果；

对生成的结果构建关系矩阵，并构建关联损失和一范数损失。

其中，当计算机程序被处理器22执行实现时如下步骤；

在步骤S22中，图片特征经过第一阶段的解码器网络，在使用分区卷积的神经网络层采用如下计算公式:

其中,W,

分别表示已知区域和未知区域的卷积核权重，b,

是对应的偏移量，x是特征图X中当前卷积窗口滑动到的特征；x'是分区卷积操作之后，x对应的当前卷积窗口滑动到的特征。

其中，当计算机程序被处理器22执行实现时如下步骤；

在卷积的过程中，卷积的窗口将在特征图上滑动，当窗口所对应的位置属于已知区域时，采用已知区域所对应的卷积核权重和偏移量进行计算，当窗口所对应的位置属于未知区域时，采用未知区域所对应的卷积核权重和偏移量进行计算。

其中，当计算机程序被处理器22执行实现时如下步骤；

构建关联损失采用如下公式：

其中，σ表示正规化因子，I_c ⁽¹⁾表示为组合图片，I_g表示真实图片，f_ij(I_c ⁽¹⁾)为关系矩阵，f_ij(I_c ⁽¹⁾)＝(ψⁱ(I_c ⁽¹⁾))^T(ψ^j(I_c ⁽¹⁾))；f_ij(I_c ⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，ψⁱ(I_c ⁽¹⁾)表示为变形的特征图中的第i行，ψ^j(I_c ⁽¹⁾)表示为变形的特征图中的第j行。

其中，当计算机程序被处理器22执行实现时如下步骤；

构建一范数损失采用如下公式：

L_r1＝||I_p ⁽¹⁾-I_g||₁；

其中，I_p ⁽¹⁾,I_g分别表示为第一阶段输出的初步的补全结果和真实图片。

其中，当初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果，对生成的细致的补全结果构建风格损失和一范数损失时，计算机程序被处理器42执行实现如下步骤；

第一阶段的初步的补全结果通过第二阶段的编码器网络，并且通过四层膨胀卷积，得到第二图片特征；

第二图片特征经过第二阶段的解码器网络，生成细致的补全结果；

对生成的细致的补全结果构建风格损失和一范数损失。

其中，当计算机程序被处理器22执行实现时如下步骤；

构建风格损失采用如下公式：

其中I_c ⁽²⁾,I_g分别是组合图片、真实图片，Φ_p表示的是特征提取函数。δ_p为一正则化因子。

其中，当计算机程序被处理器22执行实现时如下步骤；

计算整体损失函数采用如下公式：

L＝L_r1+L_r2+λ₁L_c+λ₂L_s；

其中，L_r1,L_r2,L_c,L_s分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失，λ₁,λ₂分别表示对关联损失和风格损失进行放缩的两个参数。

本发明实施例还提供了一种计算机可读存储介质。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

上面对本发明所提供的基于分区卷积和关联损失的双阶段图像补全方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种基于分区卷积和关联损失的双阶段图像补全方法，其特征在于包括如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练，

其中，在步骤S2中，

分区卷积采用如下计算公式:

其中,W,

分别表示已知区域和未知区域的卷积核权重，b,

是对应的偏移量，x是特征图X中当前卷积窗口滑动到的特征；x'是分区卷积操作之后x对应的当前卷积窗口滑动到的特征；

构建关联损失采用如下公式：

其中，σ表示正规化因子，I_c ⁽¹⁾表示为组合图片，I_g表示真实图片，f_ij(I_c ⁽¹⁾)为关系矩阵，f_ij(I_c ⁽¹⁾)＝(ψⁱ(I_c ⁽¹⁾))^T(ψ^j(I_c ⁽¹⁾))；f_ij(I_c ⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，ψⁱ(I_c ⁽¹⁾)表示为变形的特征图中的第i行，ψ^j(I_c ⁽¹⁾)表示为变形的特征图中的第j行。

2.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失，包括如下步骤：

缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；

图片特征经过第一阶段的解码器网络，并使用分区卷积，得到第一阶段初步的补全结果；

对生成的结果构建关系矩阵，并构建关联损失和一范数损失。

3.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于：

在卷积的过程中，卷积的窗口将在特征图上滑动，当窗口所对应的位置属于已知区域时，采用已知区域所对应的卷积核权重和偏移量进行计算，当窗口所对应的位置属于未知区域时，采用未知区域所对应的卷积核权重和偏移量进行计算。

4.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于构建一范数损失采用如下公式：

L_r1＝||I_p ⁽¹⁾-I_g||₁；

其中，I_p ⁽¹⁾,I_g分别表示为第一阶段输出的初步的补全结果和真实图片。

5.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果，对生成的细致的补全结果构建风格损失和一范数损失，包括如下步骤：

第一阶段的初步的补全结果通过第二阶段的编码器网络，并且通过四层膨胀卷积，得到第二图片特征；

第二图片特征经过第二阶段的解码器网络，生成细致的补全结果；

对生成的细致的补全结果构建风格损失和一范数损失。

6.如权利要求5所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于构建风格损失采用如下公式：

其中I_c ⁽²⁾,I_g分别是组合图片、真实图片，Φ_p表示的是特征提取函数，δ_p为正则化因子。

7.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于计算整体损失函数采用如下公式：

L＝L_r1+L_r2+λ₁L_c+λ₂L_s；

其中，L_r1,L_r2,L_c,L_s分别表示第一阶段一范数损失、第二阶段一范数损失、关联损失、风格损失，λ₁,λ₂分别表示对关联损失和风格损失进行放缩的两个参数。

8.一种基于分区卷积和关联损失的双阶段图像补全系统，其特征在于包括处理器和存储器；所述存储器上存储有可用在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时实现如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练，

其中，在步骤S2中，

分区卷积采用如下计算公式:

其中,W,

分别表示已知区域和未知区域的卷积核权重，b,

是对应的偏移量，x是特征图X中当前卷积窗口滑动到的特征；x'是分区卷积操作之后x对应的当前卷积窗口滑动到的特征；

构建关联损失采用如下公式：

其中，σ表示正规化因子，I_c ⁽¹⁾表示为组合图片，I_g表示真实图片，f_ij(I_c ⁽¹⁾)为关系矩阵，f_ij(I_c ⁽¹⁾)＝(ψⁱ(I_c ⁽¹⁾))^T(ψ^j(I_c ⁽¹⁾))；f_ij(I_c ⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，ψⁱ(I_c ⁽¹⁾)表示为变形的特征图中的第i行，ψ^j(I_c ⁽¹⁾)表示为变形的特征图中的第j行。

Images