CN113888431A - 图像修复模型的训练方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像修复模型的训练方法、装置、计算机设备及存储介质，该图像修复模型的训练方法包括：获取样本图像对应的掩膜图像；提取样本图像的边缘图像作为第一边缘图像；基于预先训练的边缘补全模型，对第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；基于掩膜图像，获取样本图像对应的修复掩膜图像以及上下文掩膜图像，修复掩膜图像用于指示样本图像中待修复的区域，上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域；基于样本图像、修复掩膜图像、上下文掩膜图像以及第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。本方法可以实现提升图像修复模型的图像修复效果。

Description

图像修复模型的训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像修复模型的训练方法、装置、计算机设备及存储介质。

背景技术

随着科技水平和生活水平的快速进步，电子设备(例如智能手机、平板电脑等)被人们广泛使用，而且电子设备的拍摄功能也越来越强，非专业人员也能通过电子设备拍摄出较高质量的图像。但是在图像的拍摄、传输、处理以及保存过程中，由于各种因素，可能导致图像存在缺失、裂痕等。因此，出现了对这些缺陷图像进行修复的方法，但目前的图像修复方法的图像修复效果不佳。

发明内容

鉴于上述问题，本申请提出了一种图像修复模型的训练方法、装置、计算机设备及存储介质。

第一方面，本申请实施例提供了一种图像修复模型的训练方法，所述方法包括：获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；基于所述样本图像、所述掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

第二方面，本申请实施例提供了一种图像修复模型的训练装置，所述装置包括：掩膜获取模块、第一边缘获取模块、第二边缘获取模块以及模型训练模块，其中，所述掩膜获取模块用于获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；所述第一边缘获取模块用于提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；所述第二边缘获取模块用于基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；所述模型训练模块用于基于所述样本图像、所述掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像修复模型的训练方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像修复模型的训练方法。

本申请提供的方案，通过获取样本图像对应的掩膜图像，掩膜图像用于指示样本图像中的显著性物体所在区域，提取样本图像的边缘图像作为第一边缘图像，边缘图像用于表征样本图像的图像内容的纹理，基于预先训练的边缘补全模型，对第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像，基于样本图像、掩膜图像以及第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。由于在模型训练时，对提取的边缘图像进行了边缘补全，并且基于掩膜图像精细化了待修复的区域以及已知图像区域，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请一个实施例的图像修复模型的训练方法流程图。

图2示出了本申请实施例提供的样本图像的掩膜图像的示意图。

图3示出了本申请实施例提供的边缘补全模型的结构示意图。

图4示出了根据本申请另一个实施例的图像修复模型的训练方法流程图。

图5示出了本申请另一个实施例提供的图像修复模型的训练方法中步骤S260的流程图。

图6示出了本申请实施例提供的模型训练过程中的图像示意图。

图7示出了本申请实施例提供的初始模型的结构示意图。

图8示出了本申请实施例提供的初始模型中中间层的结构示意图。

图9示出了根据本申请又一个实施例的图像修复模型的训练方法流程图。

图10示出了本申请实施例提供的对掩膜图像进行处理后的效果示意图。

图11示出了根据本申请再一个实施例的图像修复模型的训练方法流程图。

图12示出了本申请实施例提供的对拍摄图像进行处理后的效果示意图。

图13示出了根据本申请一个实施例的图像修复模型的训练装置的一种框图。

图14是本申请实施例的用于执行根据本申请实施例的图像修复模型的训练方法的计算机设备的框图。

图15是本申请实施例的用于保存或者携带实现根据本申请实施例的图像修复模型的训练方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图像修复是图像处理中非常重要的研究课题，图像修复是指通过一定的技术手段，将受损的图像恢复到于原来相近似的状态。目前，图像修复方法在老旧图片修复、照片美化、背景人物去除、3D拍照等领域中得到了广泛的应用。

相关技术中，图像修复的方法包括传统图像修复算法以及基于深度学习的图像修复方法。其中，传统图像修复算法采用膨胀等算法进行填充，利用邻近区域的像素填充待修复区域；基于深度学习的图像修复方法采用卷积神经网络学习图像修复能力，利用网络获取图像语义信息并对待修复区域进行填充。

但是，传统图像修复算法依赖于近邻像素，且一般修复结果较为模糊，无清晰纹理；目前的基于深度学习的图像修复算法在一些常识性区域或复杂区域上容易出错。因此，目前的图像修复算法的修复效果仍存在效果不佳的情况。

针对上述问题，发明人提出了本申请实施例提供的图像修复模型的训练方法、装置、计算机设备以及存储介质，可以在模型训练时，对提取的边缘图像进行了边缘补全，并且基于掩膜图像精细化了待修复的区域以及已知图像区域，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。其中，具体的图像修复模型的训练方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的图像修复模型的训练方法的流程示意图。在具体的实施例中，所述图像修复模型的训练方法应用于如图13所示的图像修复模型的训练装置400以及配置有所述图像修复模型的训练装置400的计算机设备100(图14)。下面将以计算机设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的计算机设备可以为服务器、笔记本电脑、PC电脑、智能手机、平板电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像修复模型的训练方法具体可以包括以下步骤：

步骤S110：获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域。

在本申请实施例中，计算机设备可以基于包含显著性物体的样本图像，对样本图像进行显著性物体的检测，从而得到样本图像对应的掩膜图像。其中，显著性物体指的是图像中能够引起用户的视觉注意的物体区域，显著性物体检测即从图像中检测出能够引起用户的视觉注意的物体区域。掩膜图像为二值掩膜图像，二值掩膜图像是指根据图像的像素值，对样本图像进行分割后获得的二值图像，在掩膜图像中，显著性物体所在区域与其他区域的像素值不同，从而可以区分出掩膜图像中的显著性物体所在区域。例如，样本图像对应的掩膜图像如图2所示，显著性物体所在区域对应的像素值可以为255(白色)，而其他区域的像素值可以为0(黑色)。可以理解地，由于对图像进行修复通常是对一些目标对象区域的边缘或者附近区域进行修复，例如，3D拍照中通常是对人像边缘的区域进行修复，因此可以基于包含显著性物体的样本图像，获取其对应的上述掩膜图像，以基于掩膜图像训练模型，以提升图像修复模型的修复效果。

在一些实施方式中，计算机设备可以获取图像样本集，图像样本集中包括多张包含显著性物体，且图像内容完整的样本图像。其中，可以从开源的图像库中获取以上样本图像，由此构建出图像样本集。当然，获取以上样本图像的具体方式可以不做限定，例如，可以通过对显著性物体进行拍摄，以得到以上样本图像。计算机设备在获取到图像样本集后，则可以针对图像样本集中的样本图像，获取其对应的上述掩膜图像。

作为一种可能的实施方式，可以将样本图像输入至预先训练的显著性物体检测模型。该显著性物体检测模型被预选训练，以根据输入的图像检测显著性物体所在区域之后，输出显著性物体所在区域对应的掩膜图像。从而，将样本图像输入至预先训练的显著性物体检测模型后，可以得到显著性物体检测模型输出的显著性物体所在区域对应的掩膜图像。

可选地，用于上述掩膜图像的显著性物体检测模型可以包括编码模块以及解码模块。也就是说，显著性物体检测模型可以设计成Encoder-Decoder(编码-解码)的结构，Encoder阶段对图片进行不断下采样提取图片的深层特征信息，Decoder阶段对图片进行上采样，并在最后进行二分类处理，最终输出和输入大小一样(分辨率也为第二分辨率)的显著性物体的检测结果。该显著性物体的检测结果中可以包括显著性物体所在区域对应的掩膜图像。

可选地，在将样本图像输入显著性物体检测模型之前，还可以对样本图像进行预处理。可选的，显著性物体检测模型要求输入图像的像素值应当归一化，例如，像素值应当为[0，1]之间的实数，如果尺寸调整后的图像的像素值未归一化，应当将其归一化，例如，尺寸调整后的图像的像素值表示为[0，255]之间的整数，可以通过除以255的方式进行归一化，以便显著性物体检测模型能够正确处理。可以理解的，归一化可以有不同的定义，例如在另一种归一化的定义中，像素值应当为[－1，1]之间的实数，针对不同的归一化定义，归一化的方式应当相应地调整。

在一些情况下，对样本图像进行预处理，还可以包括：将样本图像的像素值减去平均像素值，以及除以像素值方差。可以理解地，为对样本图像进行标准化，可以对样本图像的各个像素点的像素值减去该样本图像的像素点的平均像素值。另外，还可以计算像素点的像素值的方差，得到像素值方差，将各个像素点的像素值减去该样本图像的像素点的平均像素值之后，还可以将各个像素点的像素值除以该像素值方差。

在以上实施方式中，对显著性物体检测模型进行训练时，可以根据包含显著性物体的图像以及对图像中显著性物体进行标注后的结果，对未训练的模型进行训练，将未训练的模型输出的结果与对图像中的阴影进行标注后的结果计算损失值，然后根据损失值调整未训练的模型的参数，直至损失值满足条件，使得显著性物体检测模型能够正确检测出显著性物体所在区域。

作为另一种可能的实施方式，本申请实施例中所需要训练得到的图像修复模型为针对3D拍照的修复，以上样本图像是公开数据集MS-COCO中标注有显著性检测结果的样本图像，其中，显著性检测结果可以包括显著性物体所在区域。因此，在获取上述样本图像时，可以同时获取样本图像对应标注的显著性检测结果，基于样本图像对应标注的显著性检测结果，可以生成样本图像对应的掩膜图像。

当然，计算机设备获取样本图像对应的掩膜图像的具体方式可以不做限定。

步骤S120：提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理。

在本申请实施例中，计算机设备可以提取样本图像的边缘图像，以得到样本图像中的纹理特征，从而在对图像进行修复时，能够基于已知的边缘对缺失部分进行修复。

在一些实施方式中，边缘图像可以是对样本图像的整体进行纹理提取得到的。其中，可以利用边缘检测算法提取样本图像的边缘信息，从而得到边缘图像。可选地，边缘检测算法可以是Canny边缘检测算子、Sobel边缘检测算子等，在此不做限定。

在一些实施方式中，边缘图像也可以通过预先训练的边缘提取模型得到。其中，可以将样本图像输入至预先训练的边缘提取模型中，然后获得边缘提取模型输出的边缘图像，并将其作为第一边缘图像。其中，边缘提取模型可以为编码器-解码器模型(encoder-decoder模型)、沙漏网络、自编码网络等，模型的具体类型可以不做限定。

步骤S130：基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像。

在本申请实施例中，在获取到样本图像的第一边缘图像之后，还可以基于预先训练的边缘补全模型，对第一边缘图像进行边缘补全，实现对图像纹理的修复，由此在后续进行图像修复时，能够避免修复后的图像中出现纹理的缺失，例如直线缺失等。

在一些实施方式中，在基于预先训练的边缘补全模型，对第一边缘图像进行边缘补全时，可以将第一边缘图像、样本图像以及掩膜图像输入至预先训练的边缘补全模型，得到边缘补全模型输出的图像作为第二边缘图像。其中，边缘提取模型可以为编码器-解码器模型(encoder-decoder模型)、沙漏网络、自编码网络等，模型的具体类型可以不做限定。

作为一种可能的实施方式，边缘补全模型可以为编码器-解码器模型。编码-解码模型中，编码器可以用于提取输入图像的图像特征，解码器可以用于根据输入的图像特征，而输出新的图像。作为一种示例，边缘补全模型可以如图3所示，其包括编码器、中间层以及解码器；其中，编码器先对输入的图像进行三次下采样处理，提取图像特征；中间层使用8个ResNet模块，利用ResNet模块的独有残差结构，能够同时学习原图特征与卷积后的特征，大大增加了特征的积累。最后，解码器使用与编码器相反的结构，进行上采样以恢复到原始图尺寸，得到新的图像(补全后的边缘图像)。

可选地，在对边缘补全模型进行训练时，可以加入判别器D1，训练过程中，可以将补全后的边缘图像输入至判别器D1中，以判别其是否为真实图像，从而可以通过判别器的输出值，并根据判别器的输出指对模型训练进行约束，即让编码器-解码器模型与判别器之间进行博弈，最终训练完成后获得的边缘补全模型，其输出的图像能够更加真实。需要说明的是，在将第一边缘图像、样本图像以及掩膜图像输入至预先训练的边缘补全模型之前，需要将样本图像转换为灰度图像，然后再与第一边缘图像以及掩膜图像一起输入至模型中。

当然，对第一边缘图像进行边缘补全的具体方式可以不做限定。

步骤S140：基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域。

在本申请实施例中，计算机设备还可以基于掩膜图像，获取样本图像对应的修复掩膜图像以及上下文掩膜图像，由此可以得到修复图像时所需的待修复的区域，以及用于对待修复的区域进行修复时的已知图像区域。

在一些实施方式中，计算机设备可以基于掩膜图像中指示的显著性物体所在区域，确定其该区域的边缘、该区域中与边缘邻近区域、或者其他区域中与边缘邻近的区域，作为待修复的区域，进而得到修复掩膜图像。对于上下文掩膜图像，可以基于修复掩膜图像指示的待修复区域，确定与待修复区域邻近的区域作为对待修复的区域进行修复时的已知图像区域。当然，本申请实施例中获取样本图像对应的修复掩膜图像以及上下文掩膜图像的具体方式可以不做限定，例如，也可以采用后续实施例中的实施方式实现。

步骤S150：基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

在本申请实施例中，在得到修复掩膜图像、上下文掩膜图像以及第二边缘图像之后，则可以基于样本图像、修复掩膜图像、上下文掩膜图像以及第二边缘图像，对初始模型进行训练，从而得到训练后的图像修复模型。其中，初始模型可以为编码器-解码器模型(encoder-decoder模型)、沙漏网络、自编码网络、生成对抗模型等，在此不做限定。

在一些实施方式中，由于图像修复时需要获知待修复的区域，以及已知图像区域的内容，因此，可以基于样本图像以及上下文掩膜图像，确定出已知图像区域的内容，再与修复掩膜图像整合成一张图像，使得到的图像中既包含用于修复待修复的区域的已知图像区域的内容，又包含待修复的图像区域；然后将得到的图像与第二边缘图像输入至初始模型，得到初始模型的输出结果。由于样本图像是图像内容完整的图像，也就是说，样本图像中以上待修复的区域其实际是完整的，因此可以将输出结果中待修复的区域的内容应当与样本图像中待修复的区域的内容近似，基于此，可以对初始模型的训练进行约束，则可以训练得到能够准确修复图像的图像修复模型。

本申请实施例提供的图像修复模型的训练方法，由于在模型训练时，对提取的样本图像的边缘图像进行了边缘补全，并且基于样本图像的掩膜图像确定了待修复的区域以及已知图像区域，再输入至模型进行训练，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。

请参阅图4，图4示出了本申请另一个实施例提供的图像修复模型的训练方法的流程示意图。该图像修复模型的训练方法应用于上述计算机设备，下面将针对图4所示的流程进行详细的阐述，所述图像修复模型的训练方法具体可以包括以下步骤：

步骤S210：获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域。

步骤S220：提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理。

步骤S230：基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像。

步骤S240：基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域。

在本申请实施例中，步骤S210至步骤S240可以参阅其他实施例的内容，在此不再赘述。

步骤S250：基于所述修复掩膜图像以及上下文掩膜图像，得到背景区域图像，所述背景区域图像用于指示所述待修复的区域以及所述已知图像区域。

在本申请实施例中，在得到修复掩膜图像、上下文掩膜图像以及第二边缘图像之后，基于样本图像、修复掩膜图像、上下文掩膜图像以及第二边缘图像，对初始模型进行训练之前，可以对修复掩膜图像以及上下文掩膜图像进行处理，以便能够训练出更为准确的图像修复模型。其中，可以基于修复掩膜图像以及上下文掩膜图像，得到背景区域图像，背景区域图像用于指示待修复的区域以及已知图像区域，从而后续可以基于背景区域图像精准地计算模型训练中的损失值。

在一些实施方式中，计算机设备可以将修复掩膜图像与上下文掩膜图像进行相加，得到背景区域图像。可以理解地，修复掩膜图像中指示的待修复的区域与上下文掩膜图像中指示的已知图像区域是相邻的，因此将两者进行相加，可以得到既包含上述待修复的区域以及上述已知图像区域的掩膜图像，并将其作为背景区域图像。

步骤S260：基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

在本申请实施例中，在得到背景区域图像后，则可以基于样本图像、修复掩膜图像、上下文掩膜图像、背景区域图像以及第二边缘图像，对初始模型进行训练，从而得到训练后的图像修复模型。其中，背景区域图像可以用于训练过程中确定计算损失的区域，而背景区域图像中所指示的区域包含待修复的区域以及上述已知图像区域，因此能够细化计算损失的区域，而不必计算其他不相关的区域的损失，从而能够精准地计算损失，并基于此对模型进行训练，得到准确性更高的图像修复模型。

在一些实施方式中，请参加图5，基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型，可以包括步骤S261～步骤S266。

步骤S261：将所述背景区域图像与所述样本图像相乘，得到第一图像。

在该实施方式中，可以将背景区域图像与样本图像相乘，得到第一图像，由此，得到的第一图像中，包含有样本图像原本的待修复的区域的图像内容以及上述已知图像区域的图像内容。

步骤S262：将所述第一图像与所述修复掩膜图像相加，得到第二图像。

在该实施方式中，在得到第一图像后，再将第一图像与修复掩膜图像相加，得到第二图像。对于待修复的区域，修复掩膜图像中为白色区域，而第一图像中为样本图像实际的图像内容，在将第一图像与修复掩膜图像相加后，则可以将第一图像中待修复的区域对应的图像内容变为白色区域，使第二图像中包含样本图像中上述已知图像区域的图像内容，以及与已知图像区域邻近的待修复区域(白色区域)，而其他区域则为黑色区域。可以理解地，在将第一图像与修复掩膜图像相加时，由于修复掩膜图像中待修复的区域为白色，即灰度值为255，其与任何像素点的灰度值相加时，得到的灰度值均大于255，并且图像相加时，若像素点相加后的灰度值大于255，会取255，因此，将第一图像与修复掩膜图像相加后，能够使第二图像中包含样本图像中上述已知图像区域的图像内容，以及与已知图像区域邻近的待修复区域(白色区域)，而其他区域则为黑色区域。

步骤S263：将所述第二图像以及所述第二边缘图像进行图像连接，得到输入图像。

步骤S264：将所述输入图像输入至初始模型，得到所述初始模型输出的输出图像。

在该实施方式中，在得到上述第二图像后，则可以将第二图像以及第二边缘图像进行图像连接，得到用于输入初始模型的输入图像，并将输入图像输入至初始模型中，得到初始模型输出的输出图像。得到的输出图像相当于第二图像中待修复区域(白色区域)变为修复后的图像内容，即输出图像中包含待修复区域被修复后的图像内容以及上述已知图像区域的图像内容，而其他区域则为黑色区域。如图6所示，其示出了样本图像的变化示意图，第1列图像为样本图像，第2列图像为上述第二图像，第3列图像为上述第二边缘图像，第4列图像为输出图像。

步骤S265：基于所述修复掩膜图像以及所述背景区域图像，获取所述输出图像相对所述样本图像的损失值作为总损失值。

在得到初始模型输出的输出图像之后，则可以基于修复掩膜图像以及背景区域图像，获取输出图像相对样本图像的损失值作为总损失值，以便根据总损失值对初始模型进行迭代训练。

其中，计算机设备可以从样本图像中获取修复掩膜图像指示的区域作为第一区域图像，以及从输出图像中获取修复掩膜图像指示的区域作为第二区域图像；获取第二区域图像相对第一区域图像的差异，作为第一损失值；从样本图像中获取背景区域图像指示的区域作为第三区域图像，以及从输出图像中获取背景区域图像指示的区域作为第四区域图像；获取第四区域图像相对第三区域图像的差异，作为第二损失值；基于第一损失值以及第二损失值，得到输出图像相对样本图像的损失值作为总损失值。可选地，可以对第一损失值以及第二损失值进行加权求和，从而得到总损失值。由此，可实现分别基于待修复的区域以及已知图像区域的整合区域在修复后相对样本图像中修复前的变化，以及待修复的区域在修复后相对样本图像中修复前的变化，确定两部分损失，再确定总损失值，能够更为精确地确定总损失值，从而能够训练得到准确地模型。

步骤S266：基于所述总损失值，对所述初始模型进行迭代训练，直至所述初始模型满足预设条件，得到练后的图像修复模型。

可选的，可以按反向传播算法反传损失的梯度，更新初始模型中的参数，直至满足预设条件。预设条件可以为：总损失值小于预设值、总损失值不再变化、或者训练次数达到预设次数等。可以理解的，在根据图像样本集对初始模型进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对初始模型的参数进行优化，则以上总损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示初始模型已收敛；当然也可以是在训练次数达到预设次数后，确定初始模型已经收敛，从而得到训练后的图像修复模型。

作为一种可能的实施方式，以上初始模型可以为编码器-解码器模型。初始模型中，编码器可以用于提取输入图像的图像特征，解码器可以用于根据输入的图像特征，而输出新的图像。作为一种示例，边缘补全模型可以如图7所示，其包括编码器、中间层以及解码器；其中，编码器先对输入图像进行三次下采样处理，提取图像特征；中间层使用8个ResNet模块，利用ResNet模块的独有残差结构，能够同时学习原图特征与卷积后的特征，大大增加了特征的积累；最后，解码器使用与编码器相反的结构，进行上采样以恢复到原始图尺寸，得到新的图像(输出图像)。其中，ResNet模块可以如图8所示，其可以同时学习原图特征X与卷积后的特征F(X)，得到积累后的特征F(X)+X。

可选地，在对上述初始模型进行训练时，可以加入判别器D2，训练过程中，可以将输出图像输入至判别器D2中，以判别其是否为真实图像，从而可以通过判别器的输出值，并根据判别器的输出指对初始模型的训练进行约束，即让编码器-解码器模型与判别器之间进行博弈，最终训练完成后获得的图像修复模型，使其输出的图像能够更加真实。

作为一种示例，第二图像的大小128*128*1，第二边缘图像的大小为128*128*1，将两者拼接后，得到128*128*2的输入图像；编码器的第一层卷积层的输出特征图大小变为64*64*64，第二层卷积层使用第一层卷积层的输出特征图作为输入，输出特征图大小为32*32*128，第三卷积层是用第二卷积层的输出特征图作为输入，输出特征图大小为16*16*256；在中间层中，每层输入和输出特征图的大小均为16*16*256；解码器的第一反卷积层将从中间层输出的特征图作为输出，并输出32*32*128的特征图；解码器的第二反卷积层将第一反卷积层的输出特征图作为输入，并输出64*64*64的特征图；解码器卷积层将64*64*64的特征图还原为128*128*1的输出图像，即修复结果。

本申请实施例提供的图像修复模型的训练方法，在模型训练过程中，对提取的样本图像的边缘图像进行了边缘补全，并且基于样本图像的掩膜图像确定了待修复的区域以及已知图像区域，再输入至模型进行训练，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。再者，通过待修复的区域以及已知图像区域，确定了背景区域图像，由此基于背景区域图像以及待修复的区域共同确定损失值，能够准确地计算模型的损失，从而提升训练得到的图像模型的准确性。

请参阅图9，图9示出了本申请又一个实施例提供的图像修复模型的训练方法的流程示意图。该图像修复模型的训练方法应用于上述计算机设备，下面将针对图9所示的流程进行详细的阐述，所述图像修复模型的训练方法具体可以包括以下步骤：

步骤S310：获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域。

步骤S320：提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理。

步骤S330：基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像。

在本申请实施例中，步骤S310至步骤S330参阅其他实施例的内容，在此不再赘述。

步骤S340：对所述掩膜图像进行膨胀处理，得到第一处理图像。

步骤S350：对所述掩膜图像进行腐蚀处理，得到第二处理图像。

在本申请实施例中，在得到样本图像对应的掩膜图像之后，可以分别对掩膜图像进行膨胀处理以及腐蚀处理，由此，分别得到膨胀处理得到的第一处理图像，以及腐蚀处理得到的第二处理图像。可以理解地，通过对上述掩膜图像进行膨胀处理和腐蚀处理，能够得到边缘相邻的两种掩膜图像(即第一处理图像以及第二处理图像)，图像膨胀和腐蚀能够保持图像大致轮廓，从而得到与原始的掩膜图像形状相近的环形修复区域，从而后续根据第一处理图像以及第二处理图像确定待修复区域时，能够尽可能增大图像修复的区域。

步骤S360：基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域。

在本申请实施例中，在得到上述掩膜图像、第一处理图像以及第二处理图像之后，则可以基于上述掩膜图像、第一处理图像以及第二处理图像，获取样本图像对应的修复掩膜图像以及上下文掩膜图像。

作为一种可能的实施方式，如图10所示，可以将所述第一处理图像与所述掩膜图像进行按位与操作(异或)，得到所述样本图像对应的上下文掩膜图像；将所述第二处理图像与所述掩膜图像进行按位与操作(异或)，得到所述样本图像对应的修复掩膜图像。

作为另一种可能的实施方式，也可以将所述第一处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的修复掩膜图像；将所述第二处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的上下文掩膜图像。

步骤S370：基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

在本申请实施例中，步骤S370可以参阅前述实施例的内容，在此不再赘述。其中，若按照前一个实施例中，基于修复掩膜图像以及上下文掩膜图像，得到背景区域图像后，并基于背景区域图像进行模型训练，则背景区域图像可以如图10中所示。

本申请实施例提供的图像修复模型的训练方法，在模型训练过程中，对提取的样本图像的边缘图像进行了边缘补全，并且基于样本图像的掩膜图像确定了待修复的区域以及已知图像区域，再输入至模型进行训练，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。再者，通过对掩膜图像进行膨胀处理和腐蚀处理，并基于处理后的图像得到修复掩膜图像以及上下文掩膜图像，从而可以增大待修复的区域，提升图像修复模型的修复效果。

请参阅图11，图11示出了本申请再一个实施例提供的图像修复模型的训练方法的流程示意图。该图像修复模型的训练方法应用于上述计算机设备，下面将针对图11所示的流程进行详细的阐述，所述图像修复模型的训练方法具体可以包括以下步骤：

步骤S401：获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；

步骤S402：提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；

步骤S403：基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；

步骤S404：基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域；

步骤S405：基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

在本申请实施例中，步骤S401至步骤S405可以参阅前述实施例的内容，在此不再赘述。

步骤S406：基于3D拍摄过程中对拍摄图像进行预处理后得到的图像，获取对所述拍摄图像对应的边缘图像进行补全后得到的第三边缘图像，用于修复所述拍摄图像的修复掩膜图像作为第一掩膜图像，以及用于修复所述拍摄图像的上下文掩膜图像作为第二掩膜图像，所述第一掩膜图像用于指示所述拍摄图像中待修复区域，所述第二掩膜图像用于指示对所述待修复区域进行修复时的已知图像区域。

在本申请实施例中，训练的图像修复模型可以用于3D拍摄中的图像修复，可以理解地，在3D拍摄中通常存在对背景进行虚化等场景，这些场景中会对拍摄图像进行预处理，得到预处理后的图像。预处理后的图像中包括得到用于图像修复的已知区域信息、待修复区域和补全后的边缘信息。基于此，可以得到对拍摄图像对应的边缘图像进行补全后得到的第三边缘图像，用于修复所述拍摄图像的修复掩膜图像，并将其作为第一掩膜图像，以及用于修复所述拍摄图像的上下文掩膜图像，并将其作为第二掩膜图像。其中，预处理可以包括：深度估计、深度分层、运镜计算等处理。也就是说，由于3D拍摄中本身会处理得到用于图像修复的已知区域信息、待修复区域和补全后的边缘信息，因此可以基于得到的这些信息，生成用于输入图像修复模型的图像。如图12所示，图12中第2列图像为第二掩膜图像，第3列图像为第一掩膜图像。

步骤S407：将所述第二掩膜图像与所述拍摄图像相乘，得到第三图像。

步骤S408：将所述第三图像与所述第一掩膜图像相加，得到第四图像。

步骤S409：将所述第四图像以及所述第三边缘图像进行图像连接后，输入至所述图像修复模型，得到修复后的区域图像。

同样地，参阅前述实施例中步骤S261至步骤S263的方式，得到连接后的图像作为输入图像，并将其输入至图像修复模型，从而能够得到修复结果，即修复后的区域图像。如图12所示，图12中第4列图像即修复后的区域图像，修复后的区域图像中包括拍摄图像中的已知图像区域以及待修复的区域被修复后的内容。

步骤S410：基于所述修复后的区域图像，对所述拍摄图像进行修复，得到修复后的3D拍摄图像。

在本申请实施例中，在得到修复后的区域图像后，则可以将该区域图像中的图像内容嵌入到拍摄图像中，从而可以完成对拍摄图像的修复，得到最终修复后的拍摄图像。由于上述的图像修复模型是基于补全后的边缘图像训练得到的，因此在用于3D拍摄的图像修复时，能够提升图像修复能力，有效避免直线断裂、内容不适等异常情况的出现。

请参阅图13，其示出了本申请实施例提供的一种图像修复模型的训练装置400的结构框图。该图像修复模型的训练装置400应用上述的计算机设备，该图像修复模型的训练装置400包括：第一掩膜获取模块410、第一边缘获取模块420、第二边缘获取模块430、第二掩膜获取模块440以及模型训练模块450。其中，所述掩膜获取模块410用于获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；所述第一边缘获取模块420用于提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；所述第二边缘获取模块430用于基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；所述第二掩膜获取模块440用于基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域；所述模型训练模块450用于基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

在一些实施方式中，模型训练模块450可以用于：基于所述修复掩膜图像以及上下文掩膜图像，得到背景区域图像，所述背景区域图像用于指示所述待修复的区域以及所述已知图像区域；基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

作为一种可能的实施方式，模型训练模块450基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型，可以包括：将所述背景区域图像与所述样本图像相乘，得到第一图像；将所述第一图像与所述修复掩膜图像相加，得到第二图像；将所述第二图像以及所述第二边缘图像进行图像连接，得到输入图像；将所述输入图像输入至初始模型，得到所述初始模型输出的输出图像；基于所述修复掩膜图像以及所述背景区域图像，获取所述输出图像相对所述样本图像的损失值作为总损失值；基于所述总损失值，对所述初始模型进行迭代训练，直至所述初始模型满足预设条件，得到练后的图像修复模型。

可选地，模型训练模块450基于所述修复掩膜图像以及所述背景区域图像，获取所述输出图像相对所述样本图像的损失值作为总损失值，可以包括：从所述样本图像中获取所述修复掩膜图像指示的区域作为第一区域图像，以及从所述输出图像中获取所述修复掩膜图像指示的区域作为第二区域图像；获取所述第二区域图像相对所述第一区域图像的差异，作为第一损失值；从所述样本图像中获取所述背景区域图像指示的区域作为第三区域图像，以及从所述输出图像中获取所述背景区域图像指示的区域作为第四区域图像；获取所述第四区域图像相对所述第三区域图像的差异，作为第二损失值；基于所述第一损失值以及所述第二损失值，得到所述输出图像相对所述样本图像的损失值作为总损失值。

作为一种可能的实施方式，模型训练模块450基于所述修复掩膜图像以及上下文掩膜图像，得到背景区域图像，可以包括：将所述修复掩膜图像与所述上下文掩膜图像进行相加，得到背景区域图像。

在一些实施方式中，第二掩膜获取模块440可以用于：对所述掩膜图像进行膨胀处理，得到第一处理图像；对所述掩膜图像进行腐蚀处理，得到第二处理图像；基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像。

作为一种可能的实施方式，第二掩膜获取模块440基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，可以包括：将所述第一处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的上下文掩膜图像；将所述第二处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的修复掩膜图像。

作为另一种可能的实施方式，第二掩膜获取模块440基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，可以包括：将所述第一处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的修复掩膜图像；将所述第二处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的上下文掩膜图像。

在一些实施方式中，第二边缘获取模块430可以用于：将所述第一边缘图像、所述样本图像以及所述掩膜图像输入至预先训练的边缘补全模型，得到所述边缘补全模型输出的图像作为所述第二边缘图像。

在一些实施方式中，该装置400还可以包括：第一处理模块、第二处理模块、第三处理模块、第四处理模块以及图像修复模块。第一处理模块用于基于3D拍摄过程中对拍摄图像进行预处理后得到的图像，获取对所述拍摄图像对应的边缘图像进行补全后得到的第三边缘图像，用于修复所述拍摄图像的修复掩膜图像作为第一掩膜图像，以及用于修复所述拍摄图像的上下文掩膜图像作为第二掩膜图像，所述第一掩膜图像用于指示所述拍摄图像中待修复区域，所述第二掩膜图像用于指示对所述待修复区域进行修复时的已知图像区域；第二处理模块用于将所述第二掩膜图像与所述拍摄图像相乘，得到第三图像；第三处理模块用于将所述第三图像与所述第一掩膜图像相加，得到第四图像；第四处理模块用于将所述第四图像以及所述第三边缘图像进行图像连接后，输入至所述图像修复模型，得到修复后的区域图像；图像修复模块用于基于所述修复后的区域图像，对所述拍摄图像进行修复，得到修复后的3D拍摄图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，通过获取样本图像对应的掩膜图像，掩膜图像用于指示样本图像中的显著性物体所在区域，提取样本图像的边缘图像作为第一边缘图像，边缘图像用于表征样本图像的图像内容的纹理，基于预先训练的边缘补全模型，对第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像，基于样本图像、掩膜图像以及第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。由于在模型训练时，对提取的边缘图像进行了边缘补全，并且基于掩膜图像精细化了待修复的区域以及已知图像区域，因此训练得到的模型能够更好地修复图像内容，提升图像修复效果。

请参考图14，其示出了本申请实施例提供的一种计算机设备的结构框图。该计算机设备100可以是服务器、笔记本电脑、PC电脑、智能手机、平板电脑等能够运行应用程序的计算机设备。本申请中的计算机设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个计算机设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行计算机设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种图像修复方法，其特征在于，所述方法包括：

获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；

提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；

基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；

基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域；

基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型，得到训练后的图像修复模型，包括：

基于所述修复掩膜图像以及上下文掩膜图像，得到背景区域图像，所述背景区域图像用于指示所述待修复的区域以及所述已知图像区域；

基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像、所述背景区域图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型，包括：

将所述背景区域图像与所述样本图像相乘，得到第一图像；

将所述第一图像与所述修复掩膜图像相加，得到第二图像；

将所述第二图像以及所述第二边缘图像进行图像连接，得到输入图像；

将所述输入图像输入至初始模型，得到所述初始模型输出的输出图像；

基于所述修复掩膜图像以及所述背景区域图像，获取所述输出图像相对所述样本图像的损失值作为总损失值；

基于所述总损失值，对所述初始模型进行迭代训练，直至所述初始模型满足预设条件，得到练后的图像修复模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述修复掩膜图像以及所述背景区域图像，获取所述输出图像相对所述样本图像的损失值作为总损失值，包括：

从所述样本图像中获取所述修复掩膜图像指示的区域作为第一区域图像，以及从所述输出图像中获取所述修复掩膜图像指示的区域作为第二区域图像；

获取所述第二区域图像相对所述第一区域图像的差异，作为第一损失值；

从所述样本图像中获取所述背景区域图像指示的区域作为第三区域图像，以及从所述输出图像中获取所述背景区域图像指示的区域作为第四区域图像；

获取所述第四区域图像相对所述第三区域图像的差异，作为第二损失值；

基于所述第一损失值以及所述第二损失值，得到所述输出图像相对所述样本图像的损失值作为总损失值。

5.根据权利要求2所述的方法，其特征在于，所述基于所述修复掩膜图像以及上下文掩膜图像，得到背景区域图像，包括：

将所述修复掩膜图像与所述上下文掩膜图像进行相加，得到背景区域图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，包括：

对所述掩膜图像进行膨胀处理，得到第一处理图像；

对所述掩膜图像进行腐蚀处理，得到第二处理图像；

基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，包括：

将所述第一处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的上下文掩膜图像；

将所述第二处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的修复掩膜图像；或者

所述基于所述掩膜图像、所述第一处理图像以及所述第二处理图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，包括：

将所述第一处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的修复掩膜图像；

将所述第二处理图像与所述掩膜图像进行按位与操作，得到所述样本图像对应的上下文掩膜图像。

8.根据权利要求1所述的方法，其特征在于，所述基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像，包括：

将所述第一边缘图像、所述样本图像以及所述掩膜图像输入至预先训练的边缘补全模型，得到所述边缘补全模型输出的图像作为所述第二边缘图像。

9.根据权利要求1-8任一项所述的方法，其特征在于，在所述基于所述样本图像、所述掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型之后，所述方法还包括：

基于3D拍摄过程中对拍摄图像进行预处理后得到的图像，获取对所述拍摄图像对应的边缘图像进行补全后得到的第三边缘图像，用于修复所述拍摄图像的修复掩膜图像作为第一掩膜图像，以及用于修复所述拍摄图像的上下文掩膜图像作为第二掩膜图像，所述第一掩膜图像用于指示所述拍摄图像中待修复区域，所述第二掩膜图像用于指示对所述待修复区域进行修复时的已知图像区域；

将所述第二掩膜图像与所述拍摄图像相乘，得到第三图像；

将所述第三图像与所述第一掩膜图像相加，得到第四图像；

将所述第四图像以及所述第三边缘图像进行图像连接后，输入至所述图像修复模型，得到修复后的区域图像；

基于所述修复后的区域图像，对所述拍摄图像进行修复，得到修复后的3D拍摄图像。

10.一种图像修复模型的训练装置，其特征在于，所述装置包括：第一掩膜获取模块、第一边缘获取模块、第二边缘获取模块、第二掩膜获取模块以及模型训练模块，其中，

所述掩膜获取模块用于获取样本图像对应的掩膜图像，所述掩膜图像用于指示所述样本图像中的显著性物体所在区域；

所述第一边缘获取模块用于提取所述样本图像的边缘图像作为第一边缘图像，所述边缘图像用于表征所述样本图像的图像内容的纹理；

所述第二边缘获取模块用于基于预先训练的边缘补全模型，对所述第一边缘图像进行边缘补全，得到补全后的边缘图像作为第二边缘图像；

所述第二掩膜获取模块用于基于所述掩膜图像，获取所述样本图像对应的修复掩膜图像以及上下文掩膜图像，所述修复掩膜图像用于指示所述样本图像中待修复的区域，所述上下文掩膜图像用于指示对待修复的区域进行修复时的已知图像区域；

所述模型训练模块用于基于所述样本图像、所述修复掩膜图像、所述上下文掩膜图像以及所述第二边缘图像，对初始模型进行训练，得到训练后的图像修复模型。

11.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。

Images