CN112669204A - 图像处理方法、图像处理模型的训练方法和装置 - Google Patents

Abstract

本发明提供了一种图像处理方法、图像处理模型的训练方法和装置，基于待处理图像中水印所在的位置，生成指示待处理图像中包含水印的图像区域的蒙版；将待处理图像和蒙版输入至图像处理模型中，输出去除水印后的图像，该图像处理模型基于样本集训练得到，该样本集包括样本图像和样本图像的样本蒙版，该样本集中的一部分样本图像中样本蒙版指示的图像区域以外的区域中包含有文字。该方式通过图像处理模型去除待处理图像中蒙版对应的图像区域的水印，由于训练图像处理模型的样本集中存在样本蒙版指示的图像区域以外的区域中包含文字的样本图像，使得图像处理模型具有处理文字的能力，在补全水印区域的图像时避免生成伪影，从而提高了水印的去除效果。

Description

图像处理方法、图像处理模型的训练方法和装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、图像处理模型的训练方法和装置。

背景技术

各种平台的创作者或发布者在发布图像时通常会加上水印，水印的存在既影响了图像整体的美感和氛围，又影响了其他用户对图像的使用。因而，在用户使用带有水印的图像时，需要去除该图像中的水印，通常在去除图像上的水印时，首先检测待处理图像中的水印位置，然后通过图像补全方法生成该水印位置对应的补全内容，并使用生成的补全内容替换待处理图像中的水印位置对应的内容，得到水印去除后的图像。

相关技术中，图像补全方法包括传统图像补全方法和基于深度学习的图像补全方法，传统图像补全方法通常基于图像块的相似性，依据待补全位置周围已知像素推断缺失像素，该方式难以生成复杂纹理，对于图像复杂时的补全效果较差。基于深度学习的图像补全方法从训练集的样本图像中学习到图像补全的能力，但该方式在待处理图像中包含有文字或者存在遗留水印像素时，在补全图像过程中容易受文字像素或水印像素的影响生成伪影，导致图像补全效果较差，进而导致水印去除效果较差。

发明内容

本发明的目的在于提供一种图像处理方法、图像处理模型的训练方法和装置，以提高图像的补全效果和水印去除效果。

第一方面，本发明提供了一种图像处理方法，该方法包括：基于待处理图像中水印所在的位置，生成待处理图像的蒙版；其中，该蒙版用于指示待处理图像中包含水印的图像区域；将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像；其中，图像处理模型基于预设的样本集训练得到，该样本集包括样本图像和该样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。

在可选的实施方式中，上述一部分样本图像通过下述方式获得：从样本集中抽取样本图像，将抽取的样本图像作为目标图像；在该目标图像中加入文字，得到文字图像；基于该文字图像和目标图像对应的样本蒙版，生成样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

在可选的实施方式中，上述基于文字图像和目标图像对应的样本蒙版，生成样本蒙版指示的图像区域以外的区域中包含有文字的样本图像的步骤，包括：从文字图像中确定目标图像对应的样本蒙版的图像区域；将文字图像中确定出的图像区域替换为目标图像对应的样本蒙版的图像区域，将替换后的文字图像作为样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

在可选的实施方式中，上述将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像的步骤，包括：将待处理图像和蒙版输入至图像处理模型；通过图像处理模型，在该待处理图像中去除蒙版对应的图像区域，得到缺失图像，并对缺失图像进行图像补全，得到去除水印后的所述待处理图像。

第二方面，本发明提供了一种图像处理模型的训练方法，该训练方法包括：获取样本集，该样本集包括样本图像和该样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字；基于样本集对初始模型进行训练，得到图像处理模型。

在可选的实施方式中，上述基于样本集对初始模型进行训练，得到图像处理模型的步骤，包括：基于样本集确定训练图像；将该训练图像和该训练图像对应的蒙版，输入至初始模型中，得到输出结果；根据该输出结果与训练图像的差距，确定损失值；根据损失值更新初始模型的权重参数；继续执行基于样本集确定训练图像的步骤，直到损失值收敛或者达到预设的训练次数，得到图像处理模型。

在可选的实施方式中，上述图像处理模型包括卷积神经网络模型或者生成对抗网络中的生成器。

第三方面，本发明提供了一种图像处理装置，该装置包括：蒙版确定模块，用于基于待处理图像中水印所在的位置，生成待处理图像的蒙版；其中，该蒙版用于指示待处理图像中包含水印的图像区域；水印去除模块，用于将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像；其中，图像处理模型基于预设的样本集训练得到，该样本集包括样本图像和样本图像对应的样本蒙版，样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。

第四方面，本发明提供了一种图像处理模型的训练装置，该训练装置包括：样本集获取模块，用于获取样本集；该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字；模型训练模块，用于基于样本集对初始模型进行训练，得到图像处理模型。

第五方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行所述机器可执行指令以实现前述实施方式任一项所述的图像处理方法或前述实施方式任一项所述的图像处理模型的训练方法。

第六方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现前述实施方式任一项所述的图像处理方法或前述实施方式任一项所述的图像处理模型的训练方法。

本发明实施例带来了以下有益效果：

本发明提供的一种图像处理方法、图像处理模型的训练方法和装置，当接收到待处理图像时，基于该待处理图像中水印所在的位置，生成待处理图像的蒙版，该蒙版用于指示待处理图像中包含水印的图像区域；然后将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像，该图像处理模型是基于预设的样本集训练得到的，该样本集包括样本图像和该样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。该方式通过图像处理模型去除待处理图像中蒙版对应的图像区域的水印，由于训练图像处理模型的样本集中，包含有样本蒙版指示的图像区域以外的区域中包含有文字的样本图像，使得图像处理模型具有处理文字的能力，在补全水印区域的图像时避免生成伪影，从而提高了水印的去除效果。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的另一种图像处理方法的流程图；

图3为本发明实施例提供的一种图像处理模型的训练方法的流程图；

图4为本发明实施例提供的一种图像处理装置的结构示意图；

图5为本发明实施例提供的一种图像处理模型的训练装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，去除图像水印的技术分为水印检测和图像补全两个步骤，其中，水印检测通常是根据图像中像素点的像素值来确定图像中的水印位置，图像补全方法通常包括传统图像补全方法和基于深度学习的图像补全方法。传统图像补全方法通常是基于图像块的相似性，依据待补全位置周围已知像素推断缺失像素，该方式难以生成复杂纹理，对于图像复杂时的补全效果较差；基于深度学习的图像补全方法需要构建图像补全网络，基于样本集中的样本图像和标记随机缺失区域的蒙版对图像补全网络进行训练，得到具有图像补全能力的网络，但该方式在待处理图像中包含有文字(例如，字幕或者弹幕等)或者存在遗留水印像素时，在补全图像过程中容易受文字像素或水印像素的影响生成伪影(该伪影通常是不含有语义信息或者没有任何意义的影像)，导致图像补全效果较差，进而导致水印去除效果较差。

针对上述问题，本发明实施例提供了一种图像处理方法、图像处理模型的训练方法和装置，该技术可以应用于针对各种图像或者各种视频帧的水印去除场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍，如图1所示，该方法包括如下具体步骤：

步骤S102，基于待处理图像中水印所在的位置，生成该待处理图像的蒙版；其中，蒙版用于指示待处理图像中包含水印的图像区域。

上述待处理图像可以是通过摄像机或者照相机拍摄的图片或者照片，也可以是某一视频文件中的视频帧；该待处理图像中包含的水印，该水印可以是该待处理图像的所有者加入的标识、文字或者网址等。在具体实现时，可以通过通信连接的照相机、摄像头等设备拍摄后传入，或者从存储有已经拍摄完成的待处理的图像的存储设备中获取待处理图像，也可以从视频文件的存储设备中获取待处理图像。

上述待处理图像中水印所在的位置可以是用户在待处理图像中预先标注出来的水印位置，也可以是自动检测得到的，例如，根据待处理图像中每个像素点的像素值确定水印位置，或者基于深度学习的图像检测模型得到水印位置。在具体实现时，在确定出待处理图像的水印位置后，可以将待处理图像中，水印位置对应的图像区域的像素值设置第一像素值，将水印位置之外的图像区域设置为第二像素值，得到待处理图像的蒙版，以通过该蒙版指示待处理图像中包含水印的图像区域。其中，第一像素值和第二像素值的具体数值可以根据用户需求设置，例如，第一像素值可以设置为1，第二像素值可以设置为0。

在具体实现时，蒙版的形状可以与水印的形状相适应，也可以框选出水印所在位置，将蒙版设置为指定形状，例如，长方形。

步骤S104，将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像。

上述图像处理模型基于预设的样本集训练得到，该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。该图像处理模型可以是卷积神经网络模型，可以是生成对抗网络中的生成器，也可以是其他网络模型，具体使用的网络结构根据用户需求进行设置，在此不做具体限定。

上述样本集中包含有多张样本图像，每张样本图像都对应有一个样本蒙版，该样本蒙版用于指示样本图像中的感兴趣区域；在具体实现时，该样本图像中可以不包含有水印，该样本蒙版指示的感兴趣区域可以表示样本图像中需要补全的图像区域，该需要补全的图像区域相当于待处理图像中的包含水印的图像区域。样本集中的一部分样本图像中，该样本图像的样本蒙版指示的图像区域以外的区域中包含有文字，这里的一部分可以是样本集中样本图像的5％或者10％等，具体的数量根据用户需求设定；样本集中除这一部分样本图像之外的样本图像中，样本蒙版指示的图像区域以外的区域不包含有文字，从而通过样本集训练得到的图像处理模型，既可以对包含有文字的图像均有很好的图像处理效果，对不含有文字的图像也均有很好的图像处理效果。

在图像处理模型的训练过程中，需要从样本集中确定训练图像，将该训练图像和训练图像对应的样本蒙版输入至图像处理模型的初始模型中，得到输出结果；然后基于该输出结果与训练图像的差距确定损失值，并基于该损失值调整初始模型的权重参数，直到损失值收敛或者达到预设的训练次数得到图像处理模型。

在具体实现时，将待处理图像和该待处理图像的蒙版输入至训练完的图像处理模型，该图像处理模型将删除待处理图像中蒙版对应的图像区域，并根据删除的图像区域之外的像素对待处理图像中删除的图像区域进行图像补全处理，得到图像补全后的待处理图像，也即是得到去除水印后的待处理图像。

本发明实施例提供的一种图像处理方法，当接收到待处理图像时，基于该待处理图像中水印所在的位置，生成待处理图像的蒙版，该蒙版用于指示待处理图像中包含水印的图像区域；然后将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像，该图像处理模型是基于预设的样本集训练得到的，该样本集包括样本图像和该样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。该方式通过图像处理模型去除待处理图像中蒙版对应的图像区域的水印，由于训练图像处理模型的样本集中，包含有样本蒙版指示的图像区域以外的区域中包含有文字的样本图像，使得图像处理模型具有处理文字的能力，在补全水印区域的图像时避免生成伪影，从而提高了水印的去除效果。

本发明实施例还提供了另一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像的具体过程(通过下述步骤S204-S06实现)；如图2所示，该方法包括如下具体步骤：

步骤S202，基于待处理图像中水印所在的位置，生成该待处理图像的蒙版。

步骤S204，将待处理图像和蒙版输入至图像处理模型。

步骤S206，通过图像处理模型，在该待处理图像中去除蒙版对应的图像区域，得到缺失图像，并对缺失图像进行图像补全，得到去除水印后的所述待处理图像。

在具体实现时，上述图像处理模型接收到待处理图像和该待处理图像的蒙版后，会将待处理图像中蒙版对应的图像区域去除，得到缺失图像，也即是该水印所在的位置对应的图像区域去除后的待处理图像；然后图像处理模型根据缺失图像中，缺口以外的像素值得到缺失像素值，以得到缺失图像中缺少的图像区域，将得到的缺少的图像区域与缺失图像进行拼接，得到补全图像，该补全图像也即是去除水印后的待处理图像。

上述图像处理方法，首先基于待处理图像中水印所在的位置生成待处理图像的蒙版；然后将待处理图像和蒙版输入至图像处理模型，以通过图像处理模型，在该待处理图像中去除蒙版对应的图像区域，得到缺失图像，并对缺失图像进行图像补全，得到去除水印后的待处理图像。该方式通过图像处理模型对水印对应区域的待处理图像进行图像补全，得到水印去除后的待处理图像，该方式的图像水印去除效果较好。

针对上述图像处理方法的实施例，本发明实施例提供了一种图像处理模型的训练方法，如图3所示，该训练方法包括如下步骤：

步骤S302，获取样本集；该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，该样本蒙版指示的图像区域以外的区域中包含有文字。

上述样本集中包含有大量的样本图像，每张样本图像对应一个样本蒙版，该样本蒙版用于指示样本图像中的感兴趣区域；该样本集中的一部分样本图像中，该样本图像的样本蒙版指示的图像区域以外的区域中包含有文字，样本集中除这一部分样本图像之外的样本图像中，样本蒙版指示的图像区域以外的区域不包含有文字。在具体实现时，针对样本图像可以随机生成对应的样本蒙版，也是从样本图像中任意选择一个图像区域作为感兴趣区域，将该感兴趣区域确定为样本蒙版指示的图像区域。例如，样本蒙版可以是一个二值图，该二值图的像素值包含有1或者0，用1指示有效像素，0指示无效像素，其可视化结果可以是只包含黑色与白色的图像，0是黑色，指示背景区域，1是白色，指示感兴趣区域；该感兴趣区域可以是随机宽高、位置的矩形，也可以是随机生成的连通域(也即是不规则形状)。

上述一部分样本图像中的每张样本图像可以通过下述步骤10-12获得：

步骤10，从样本集中抽取样本图像，将抽取的样本图像作为目标图像。

在具体实现时，在从样本集中抽取样本图像时，可以随机抽取一张样本图像作为目标图像，或者按照预设的规则抽取样本图像作为目标图像。

步骤11，在目标图像中加入文字，得到文字图像。可以在目标图像中随机生成一系列文字，得到文字图像。

步骤12，基于文字图像和目标图像对应的样本蒙版，生成样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

在具体实现时，可以从文字图像中确定目标图像对应的样本蒙版的图像区域；将文字图像中确定出的图像区域替换为目标图像对应的样本蒙版的图像区域，将替换后的文字图像作为样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

例如，根据样本蒙版找出目标图像中的感兴趣区域，该感兴趣区域也是文字图像中的感兴趣区域；然后将文字图像中的感兴趣区域替换为样本蒙版指示的感兴趣区域，得到替换后的文字图像，该替换后的文字图像也即是样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。假设目标图像为A，文本图像为B，样本蒙版为mask，那么替换后的文字图像为A*mask+B*(1-mask)。

步骤S304，基于样本集对初始模型进行训练，得到图像处理模型。

通过会基于样本集对初始模型进行深度学习训练得到图像处理模型。在具体实现时，上述步骤S304可以通过下述步骤20-23实现：

步骤20，基于样本集确定训练图像。该训练图像为样本集中的任意一个样本图像，通常该样本集中的图像在一轮训练中只会被确定为一次训练图像。

步骤21，将训练图像和该训练图像对应的蒙版，输入至初始模型中，得到输出结果。

上述初始模型通常可以基于输入的训练图像进而训练图像对应的蒙版，生成缺失图像(也即是将训练图像中蒙版对应位置的图像区域去除后的训练图像)，然后基于缺失图像的缺口以外的像素对缺失图像中缺少的图像进行补全，得到输出结果，该输出结果通常是初始模型对缺失图像补全后的图像。

步骤22，根据上述输出结果与训练图像的差距，确定损失值。

上述输出结果与训练图像之间差距可以用预设的损失函数来确定，该损失函数可以是均方误差或者绝对误差等，具体的损失函数可以根据用户需求进行设定。

步骤23，根据上述损失值更新初始模型的权重参数；继续执行基于样本集确定训练图像的步骤，直到该损失值收敛或者达到预设的训练次数，得到图像处理模型。

具体地，上述步骤23可以通过下述步骤30-33实现：

步骤30，计算损失值对初始模型中待更新权重参数的导数

其中，L为损失值；W为待更新权重参数；该待更新权重参数可以为初始模型中的所有参数，也可以为随机从初始模型中确定的部分参数；其中，该更新权重参数也即是初始模型中各层网络的权值。通常可以根据反向传播算法求解待更新权重参数的导数；如果损失值较大，则说明当前的初始模型的输出结果与训练图像相差较多，则求出损失值对初始模型中待更新权重参数的导数，该导数可以作为更新待更新权重参数的依据。

步骤31，更新待更新权重参数，得到更新后的待更新权重参数

其中，α为预设系数，该预设系数为人工预先设定的超参数，可以取值为0.01、0.001等。该过程也可以称为随机梯度下降算法；各个待更新权重参数的导数也可以理解为相对于当前参数，损失值下降最快的方向，通过该方向调整参数，可以使损失值快速降低，使该权重参数收敛。

步骤32，判断更新后的初始模型的参数是否均收敛，如果均收敛，执行基于样本集确定训练样本的步骤；否则执行步骤33。

如果更新后的初始模型的参数不是均收敛，则基于样本集确定新的训练图像，继续执行步骤20-23，直到更新后的初始模型的参数均收敛。

步骤33，将参数更新后的初始模型确定为训练后的图像处理模型。

在一些实施例中，上述图像处理模型可以是卷积神经网络模型(ConvolutionalNeural Networks，简称CNN)或者生成对抗网络(Generative Adversarial Networks，简称GAN)中的生成器。

如果上述图像处理模型为卷积神经网络模型，训练该模型使用的损失函数可以是重建损失(即根据模型输出图像与样本图像之间的差异得到的损失)，例如可以是模型输出图像与样本图像之间的MAE(Mean Absolute Error，平均绝对误差)或MSE(Mean SquareError，均方误差)等。训练上述卷积神经网络模型的过程为：首先基于样本集确定训练图像，进而将该训练图像和该训练图像对应的蒙版输入至卷积神经网络模型的初始模型中，得到输出图像；然后将输出图像与训练图像代入损失函数中，得到损失值，然后根据该损失值更新初始模型的权重参数，继续执行基于样本集确定训练图像的步骤，直到该损失值收敛或者达到预设的训练次数，得到训练后的卷积神经网络模型。

如果上述图像处理模型为生成对抗网络中的生成器，在训练模型的过程中需要同时训练生成对抗网络中包含的生成器和判别器。在训练的过程中，首先基于样本集确定训练图像，然后根据训练图像和该训练图像对应的样本蒙版组合构成缺失图像(也即是将训练图像中样本蒙版对应位置的图像区域删除)，将缺失图像输入生成器(也可以将训练图像和训练图像对应的样本蒙版输入至生成器中，使生成器完成根据训练图像和该训练图像对应的蒙版组合构成缺失图像的过程)，生成器伪造图像内容补全图像缺失区域，判别器区分补全图像是伪造图像还是真实图像。该模型的损失函数包含重建损失和GAN损失，该重建损失通常是生成器输出图像与训练图像之间的差异，GAN损失旨在对生成器和判别器进行优化，包含对生成器的优化和对判别器的优化，生成器部分期望生成器输出的图像能够以假乱真，使得判别器对生成器输出的判别结果接近1；判别器部分的损失函数可以是二分类的交叉熵损失函数，期望判别器能够区分真实图像和生成器伪造的图像，生成器与判别器交替迭代训练，生成器的伪造技术和判别器的鉴别技术都得到提升。

上述图像处理模型的训练方法，首先获取样本集，该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，该样本蒙版指示的图像区域以外的区域中包含有文字；然后基于样本集对初始模型进行训练，得到图像处理模型。该方式中，通过样本蒙版指示的图像区域以外的区域中包含有文字的样本图像和未包含有文字的样本图像对初始模型进行训练，得到图像处理模型，使得该图像处理模型具有对包含有文字的图像进行图像补全的能力，从而提高了图像补全的效果，也提高了模型的泛化能力。同时，在训练过程中加入文字干扰，提升了图像处理模型对受文字干扰的困难样本的处理能力。

针对于上述图像处理方法的实施例，本发明实施例提供了一种图像处理装置，如图4所示，该装置包括：

蒙版确定模块40，用于基于待处理图像中水印所在的位置，生成待处理图像的蒙版；其中，该蒙版用于指示待处理图像中包含水印的图像区域。

水印去除模块41，用于将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像。

其中，上述图像处理模型基于预设的样本集训练得到，该样本集包括样本图像和样本图像对应的样本蒙版，样本集中的一部分样本图像中，该样本蒙版指示的图像区域以外的区域中包含有文字。

上述图像处理装置，当接收到待处理图像时，基于该待处理图像中水印所在的位置，生成待处理图像的蒙版，该蒙版用于指示待处理图像中包含水印的图像区域；然后将待处理图像和蒙版输入至预先训练完成的图像处理模型中，输出去除水印后的待处理图像，该图像处理模型是基于预设的样本集训练得到的，该样本集包括样本图像和该样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。该方式通过图像处理模型去除待处理图像中蒙版对应的图像区域的水印，由于训练图像处理模型的样本集中，包含有样本蒙版指示的图像区域以外的区域中包含有文字的样本图像，使得图像处理模型具有处理文字的能力，在补全水印区域的图像时避免生成伪影，从而提高了水印的去除效果。

具体地，上述装置还包括部分样本图像生成模块，用于：从样本集中抽取样本图像，将抽取的样本图像作为目标图像；在目标图像中加入文字，得到文字图像；基于文字图像和目标图像对应的样本蒙版，生成样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

进一步地，上述部分样本图像生成模块，还用于：从文字图像中确定目标图像对应的样本蒙版的图像区域；将文字图像中确定出的图像区域替换为目标图像对应的样本蒙版，将替换后的文字图像作为样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

进一步地，上述水印去除模块41，用于：将待处理图像和蒙版输入至图像处理模型；通过图像处理模型，在待处理图像中去除蒙版对应的图像区域，得到缺失图像，并对缺失图像进行图像补全，得到去除水印后的待处理图像。

本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述图像处理方法实施例相同，为简要描述，图像处理装置实施例部分未提及之处，可参考前述图像处理方法实施例中相应内容。

针对于上述图像处理方法的实施例，本发明实施例提供了一种图像处理模型的训练装置，如图5所示，该训练装置包括：

样本集获取模块50，用于获取样本集；该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，样本蒙版指示的图像区域以外的区域中包含有文字。

模型训练模块51，用于基于样本集对初始模型进行训练，得到图像处理模型。

上述图像处理模型的训练装置，首先获取样本集，该样本集包括样本图像和样本图像对应的样本蒙版，该样本集中的一部分样本图像中，该样本蒙版指示的图像区域以外的区域中包含有文字；然后基于样本集对初始模型进行训练，得到图像处理模型。该方式中，通过样本蒙版指示的图像区域以外的区域中包含有文字的样本图像和未包含有文字的样本图像对初始模型进行训练，得到图像处理模型，使得该图像处理模型具有对包含有文字的图像进行图像补全的能力，从而提高了图像补全的效果，也提高了图像的泛化能力。同时，在训练过程中加入文字干扰，提升了图像处理模型对受文字干扰的困难样本的处理能力。

进一步地，上述模型训练模块51，用于：基于样本集确定训练图像；将训练图像和该训练图像对应的蒙版，输入至初始模型中，得到输出结果；根据输出结果与训练图像的差距，确定损失值；根据该损失值更新初始模型的权重参数；继续执行基于样本集确定训练图像的步骤，直到损失值收敛或者达到预设的训练次数，得到图像处理模型。

具体地，上述图像处理模型包括卷积神经网络模型或者生成对抗网络中的生成器。

本发明实施例所提供的图像处理模型的训练装置，其实现原理及产生的技术效果和前述图像处理模型的训练方法实施例相同，为简要描述，图像处理模型的训练装置实施例部分未提及之处，可参考前述图像处理模型的训练方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图6所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述图像处理方法或上述图像处理模型的训练方法。

进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像处理方法或上述图像处理模型的训练方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像处理方法、图像处理模型的训练方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

基于待处理图像中水印所在的位置，生成所述待处理图像的蒙版；其中，所述蒙版用于指示所述待处理图像中包含所述水印的图像区域；

将所述待处理图像和所述蒙版输入至预先训练完成的图像处理模型中，输出去除所述水印后的所述待处理图像；

其中，所述图像处理模型基于预设的样本集训练得到，所述样本集包括样本图像和所述样本图像对应的样本蒙版，所述样本集中的一部分样本图像中，所述样本蒙版指示的图像区域以外的区域中包含有文字。

2.根据权利要求1所述的方法，其特征在于，所述一部分样本图像通过下述方式获得：

从所述样本集中抽取样本图像，将抽取的样本图像作为目标图像；

在所述目标图像中加入文字，得到文字图像；

基于所述文字图像和所述目标图像对应的样本蒙版，生成所述样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述文字图像和所述目标图像对应的样本蒙版，生成所述样本蒙版指示的图像区域以外的区域中包含有文字的样本图像的步骤，包括：

从所述文字图像中确定所述目标图像对应的样本蒙版的图像区域；

将所述文字图像中确定出的所述图像区域替换为所述目标图像对应的样本蒙版的图像区域，将替换后的所述文字图像作为所述样本蒙版指示的图像区域以外的区域中包含有文字的样本图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像和所述蒙版输入至预先训练完成的图像处理模型中，输出去除所述水印后的所述待处理图像的步骤，包括：

将所述待处理图像和所述蒙版输入至所述图像处理模型；

通过所述图像处理模型，在所述待处理图像中去除所述蒙版对应的图像区域，得到缺失图像，并对所述缺失图像进行图像补全，得到去除所述水印后的所述待处理图像。

5.一种图像处理模型的训练方法，其特征在于，所述训练方法包括：

获取样本集；所述样本集包括样本图像和所述样本图像对应的样本蒙版，所述样本集中的一部分样本图像中，所述样本蒙版指示的图像区域以外的区域中包含有文字；

基于所述样本集对初始模型进行训练，得到图像处理模型。

6.根据权利要求5所述的训练方法，其特征在于，所述基于所述样本集对初始模型进行训练，得到图像处理模型的步骤，包括：

基于所述样本集确定训练图像；

将所述训练图像和所述训练图像对应的蒙版，输入至所述初始模型中，得到输出结果；

根据所述输出结果与所述训练图像的差距，确定损失值；

根据所述损失值更新所述初始模型的权重参数；继续执行基于所述样本集确定训练图像的步骤，直到所述损失值收敛或者达到预设的训练次数，得到所述图像处理模型。

7.根据权利要求5所述的训练方法，其特征在于，所述图像处理模型包括卷积神经网络模型或者生成对抗网络中的生成器。

8.一种图像处理装置，其特征在于，所述装置包括：

蒙版确定模块，用于基于待处理图像中水印所在的位置，生成所述待处理图像的蒙版；其中，所述蒙版用于指示所述待处理图像中包含所述水印的图像区域；

水印去除模块，用于将所述待处理图像和所述蒙版输入至预先训练完成的图像处理模型中，输出去除所述水印后的所述待处理图像；

其中，所述图像处理模型基于预设的样本集训练得到，所述样本集包括样本图像和所述样本图像对应的样本蒙版，所述样本集中的一部分样本图像中，所述样本蒙版指示的图像区域以外的区域中包含有文字。

9.一种图像处理模型的训练装置，其特征在于，所述训练装置包括：

样本集获取模块，用于获取样本集；所述样本集包括样本图像和所述样本图像对应的样本蒙版，所述样本集中的一部分样本图像中，所述样本蒙版指示的图像区域以外的区域中包含有文字；

模型训练模块，用于基于所述样本集对初始模型进行训练，得到图像处理模型。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至4任一项所述的图像处理方法或权利要求5至7任一项所述的图像处理模型的训练方法。

11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至4任一项所述的图像处理方法或权利要求5至7任一项所述的图像处理模型的训练方法。

Images