CN114612283A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：获取原始图像的待擦除区域，该待擦除区域包括待擦除对象；基于该待擦除区域，生成不包含该待擦除对象的擦除区域；对该擦除区域进行滤波，得到滤除了高频信息后的目标区域；将该原始图像中的该待擦除区域替换为该目标区域，得到目标图像。本公开通过将擦除该待擦除对象时遗留的残影、残留的噪声在滤波阶段被滤除，从而极大提升了对待擦除对象的擦除效果。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，特别涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，用户能够在终端上对图像或视频中的图像帧进行二次编辑，达到二次创作生成内容的目的。通常，存在一类擦除图像中某个对象的处理需求，比如，擦除图像中的水印、遮挡视线的障碍物、误入镜头的路人、背景中影响美观的设施等。

以水印擦除情况为例，针对含水印图像，服务器部署基于Transformer框架的STTN(Spatial-Temporal Transformations Networks，时空图卷积神经网络)模型，来对含水印图像进行水印去除和内容填充，然而，STTN模型处理后的图像，在水印的擦除区域中会出现许多残影，即对图像中指定对象的擦除效果差。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少提升对图像中指定对象的擦除效果。本公开的技术方案如下：

根据本公开实施例的一方面，提供一种图像处理方法，包括：

获取原始图像的待擦除区域，所述待擦除区域包括待擦除对象；

基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域；

对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域；

将所述原始图像中的所述待擦除区域替换为所述目标区域，得到目标图像。

在一种可能实施方式中，所述对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域包括：

将所述擦除区域输入保边滤波器，通过所述保边滤波器在保留所述擦除区域中边缘信息的情况下，滤除所述擦除区域中的高频信息，输出所述目标区域。

在一种可能实施方式中，所述保边滤波器为双边滤波器；

所述通过所述保边滤波器在保留所述擦除区域中边缘信息的情况下，滤除所述擦除区域中的高频信息，输出所述目标区域包括：

对所述擦除区域中的任一像素点，以所述像素点为中心，在所述擦除区域中采样得到所述像素点周围的多个邻域像素点；

确定每个邻域像素点的加权系数，所述加权系数基于所述邻域像素点和所述像素点的欧式距离和灰度差值确定得到；

基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到所述目标区域中与所述像素点位置相同的像素点的像素值。

在一种可能实施方式中，所述确定每个邻域像素点的加权系数包括：

基于所述邻域像素点与所述像素点之间的欧式距离，确定距离权重分量；

基于所述邻域像素点与所述像素点之间的灰度差值，确定色彩权重分量；

将所述距离权重分量和所述色彩权重分量相乘得到所述邻域像素点的加权系数。

在一种可能实施方式中，所述基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域包括：

在所述待擦除区域中添加掩膜，所述掩膜用于覆盖所述待擦除对象；

基于所述待擦除区域中除了所述掩膜之外的背景内容，生成与所述掩膜对应的前景内容，所述前景内容与所述背景内容相匹配；

将所述待擦除区域中的所述掩膜替换为所述前景内容，得到所述擦除区域。

在一种可能实施方式中，所述获取原始图像的待擦除区域包括：

基于账号输入的区域位置参数，确定所述待擦除区域，所述区域位置参数用于指示所述待擦除区域的位置；或，

基于账号输入的所述待擦除对象，从所述原始图像中检测得到包含所述待擦除对象的所述待擦除区域。

在一种可能实施方式中，所述将所述原始图像中的所述待擦除区域替换为所述目标区域，得到目标图像包括：

将所述目标区域中各个像素点的像素值赋值给所述待擦除区域中对应位置的各个像素点，得到所述目标图像。

在一种可能实施方式中，所述待擦除对象为图像水印或视频水印。

根据本公开实施例的另一方面，提供一种图像处理装置，包括：

获取单元，被配置为执行获取原始图像的待擦除区域，所述待擦除区域包括待擦除对象；

生成单元，被配置为执行基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域；

滤波单元，被配置为执行对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域；

替换单元，被配置为执行将所述原始图像中的所述待擦除区域替换为所述目标区域，得到目标图像。

在一种可能实施方式中，所述滤波单元包括：

输入子单元，被配置为执行将所述擦除区域输入保边滤波器；

滤除子单元，被配置为执行通过所述保边滤波器在保留所述擦除区域中边缘信息的情况下，滤除所述擦除区域中的高频信息；

输出子单元，被配置为执行输出所述目标区域。

在一种可能实施方式中，所述保边滤波器为双边滤波器；

所述滤除子单元包括：

采样子子单元，被配置为执行对所述擦除区域中的任一像素点，以所述像素点为中心，在所述擦除区域中采样得到所述像素点周围的多个邻域像素点；

确定子子单元，被配置为执行确定每个邻域像素点的加权系数，所述加权系数基于所述邻域像素点和所述像素点的欧式距离和灰度差值确定得到；

相加子子单元，被配置为执行基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到所述目标区域中与所述像素点位置相同的像素点的像素值。

在一种可能实施方式中，所述确定子子单元被配置为执行：

基于所述邻域像素点与所述像素点之间的欧式距离，确定距离权重分量；

基于所述邻域像素点与所述像素点之间的灰度差值，确定色彩权重分量；

将所述距离权重分量和所述色彩权重分量相乘得到所述邻域像素点的加权系数。

在一种可能实施方式中，所述生成单元被配置为执行：

在所述待擦除区域中添加掩膜，所述掩膜用于覆盖所述待擦除对象；

基于所述待擦除区域中除了所述掩膜之外的背景内容，生成与所述掩膜对应的前景内容，所述前景内容与所述背景内容相匹配；

将所述待擦除区域中的所述掩膜替换为所述前景内容，得到所述擦除区域。

在一种可能实施方式中，所述获取单元被配置为执行：

基于账号输入的区域位置参数，确定所述待擦除区域，所述区域位置参数用于指示所述待擦除区域的位置；或，

基于账号输入的所述待擦除对象，从所述原始图像中检测得到包含所述待擦除对象的所述待擦除区域。

在一种可能实施方式中，所述替换单元被配置为执行：

将所述目标区域中各个像素点的像素值赋值给所述待擦除区域中对应位置的各个像素点，得到所述目标图像。

在一种可能实施方式中，所述待擦除对象为图像水印或视频水印。

根据本公开实施例的另一方面，提供一种电子设备，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行上述一方面的任一种可能实施方式中的图像处理方法。

根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的至少一条指令由电子设备的一个或多个处理器执行时，使得所述电子设备能够执行上述一方面的任一种可能实施方式中的图像处理方法。

根据本公开实施例的另一方面，提供一种计算机程序产品，包括一条或多条指令，所述一条或多条指令可以由电子设备的一个或多个处理器执行，使得所述电子设备能够执行上述一方面的任一种可能实施方式中的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过对待擦除区域中待擦除对象进行擦除，得到擦除区域，并在擦除区域的基础上滤波得到目标区域，再将目标区域贴回原始图像得到目标图像，使得在擦除该待擦除对象时遗留的残影、残留的噪声都能够在滤波阶段被滤除，从而极大提升了对待擦除对象的擦除效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本公开实施例提供的一种基于STTN模型擦除水印的效果图；

图2是本公开实施例提供的一种基于STTN模型擦除水印的效果图；

图3是根据一示例性实施例示出的一种图像处理方法的实施环境示意图；

图4是根据一示例性实施例示出的一种图像处理方法的流程图；

图5是根据一示例性实施例示出的一种图像处理方法的交互流程图；

图6是本公开实施例提供的一种水印擦除方法的原理性流程图；

图7是本公开实施例提供的一种扣出ROI区域的示意图；

图8是本公开实施例提供的一种去水印效果的对比图；

图9是本公开实施例提供的一种去水印效果的对比图；

图10是本公开实施例提供的一种去水印效果的对比图；

图11是本公开实施例提供的一种去水印效果的对比图；

图12是根据一示例性实施例示出的一种图像处理装置的逻辑结构框图；

图13示出了本公开一个示例性实施例提供的终端的结构框图；

图14是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的原始图像都是在充分授权的情况下获取的。

在一些实施例中，A和/或B的含义包括：A和B，A，B这三种情况。

以下，对本公开实施例的术语进行解释说明：

数字水印(Digital Watermark)：指将特定的数字信号嵌入数字产品中保护数字产品版权、完整性、防复制或去向追踪的技术。数字水印根据加载的载体可分为：在图像数据上加载的图像水印、在视频数据上加载的视频水印等。本公开实施例涉及的待擦除对象，可包括图像水印或视频水印。

目标检测(Object Detection)：目标检测的任务是找出图像中所有感兴趣的目标(物体，即对象)，确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类对象有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。本公开实施例涉及到：用户给定一个待擦除对象，机器从原始图像中进行目标检测，以确定包含该待擦除对象的待擦除区域，例如以矩形框来标识该待擦除区域。

滤波(Wave Filtering)：是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。本公开实施例涉及到对含噪声图像进行滤波，以去除图像中的噪声信息，因此也视为一种降噪、去噪过程。即，修改一张图像中的部分像素点的像素值，使得图像更加的平缓化和连续化，或者，减少或删除图像中的噪点(或离群点)。

保边滤波器(Edge Preserving Filter)：针对含噪声图像，噪声和边缘在局部方差方面表现相似，一般的滤波器无法区分噪声和边缘，于是对其统一处理，因此很多情况下，滤波的同时，边缘也被处理模糊掉了，例如高斯滤波器这类线性平滑的滤波器，不属于保边滤波器，在去除噪声的同时会模糊图像中的所有纹理即边缘，导致滤波后的图像中背景细节也会变得模糊。保边滤波器则是指在滤波过程中能够有效的保留图像中的边缘信息的一类特殊滤波器。保边滤波器包括：双边滤波器(Bilateral Filter)、引导滤波器(Guided Image Filter)、加权最小二乘法滤波器(Weighted Least Square Filter)、非均匀局部滤波器、双指数边缘平滑滤波器、选择性模糊、表面滤波等。

双边滤波器(Bilateral Filter)：在图像处理上，双边滤波器为使图像平滑化的非线性滤波器。和传统的线性平滑的滤波器不同，双边滤波器在进行滤波时，除了考虑像素点之间几何上的靠近程度(即欧式距离)之外，还多考虑了像素之间的光度/色彩差异(即灰度差值)，使得双边滤波器能够有效的将图像上的噪声去除，同时保存图像上的边缘信息。

ROI区域(Region Of Interest)：即感兴趣区域，在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为ROI区域。换一种表述，ROI区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，通过圈定ROI区域以便进行进一步处理。本公开实施例涉及的ROI区域，是指包含待擦除对象的待擦除区域。

随着计算机技术的发展，用户能够在终端上对图像或视频中的图像帧进行二次编辑，达到二次创作生成内容的目的。通常，存在一类擦除图像中某个对象的处理需求，比如，擦除图像中的数字水印、擦除图像中遮挡视线的障碍物、擦除图像中指定的对象(如误入镜头的路人、背景影响美观的设施)等。

以水印擦除情况为例，水印是指在图像中人为叠加的一些特定图案，这些图案可以是实心的或者半透明的，在用户利用含水印图像进行二次创作时，例如选择多张图像合成视频，此时水印无疑会影响视频的编辑效果，且当不同水印叠加显示时也会影响视频的美观，因此生产侧对去水印算法产生较大需求，去水印算法的目标是擦除图像中存在的水印，并在水印的擦除区域中补充新的内容。然而，目前针对含水印图像，其去水印算法采用基于Transformer框架的STTN(Spatial-Temporal Transformations Networks，时空图卷积神经网络)模型，由于神经网络的可控性差，即使在对STTN模型训练完毕之后，由于存在梯度弥散问题，会导致STTN模型处理后的图像，在水印的擦除区域中会出现许多残影(如图1和图2列举)，即对图像中指定对象的擦除效果差，也导致用户的二次创作体验差。此外，由于STTN模型的参数复杂，只能部署在服务端以提供良好的算力资源，难以实现在客户端的推广部署。

图1是本公开实施例提供的一种基于STTN模型擦除水印的效果图，如图1所示，可以看出在水印的擦除区域中存在大量残影110。此外，图2是本公开实施例提供的一种基于STTN模型擦除水印的效果图，如图2所示，可以看出在水印的擦除区域中存在大量残影210。

有鉴于此，本公开实施例提供一种基于保边滤波的指定对象擦除的后处理算法，不仅能够针对水印进行快速擦除，还能够极大消除水印擦除后遗留的残影，此外除了水印之外还能够扩展到任一指定的待擦除对象，如遮挡视线的障碍物、误入镜头的路人、背景中影响美观的设施等，均能够在成功擦除指定对象的情况下，向擦除的区域中填充正确且自然的内容，并且易于部署在客户端，擦除速度快，能够以接近实时的速度来实现擦除。

以下，对本公开实施例的系统架构进行说明。

图3是根据一示例性实施例示出的一种图像处理方法的实施环境示意图，参见图3，在该实施环境中包括至少一个终端301和服务器302。

终端301用于提供图像中指定对象的擦除服务，终端301上安装和运行有支持处理图像的应用程序，可选地，该应用程序包括：短视频应用、直播应用、修图应用、拍照应用、音视频应用、即时通讯应用、内容分享应用或者社交应用中的至少一项。

示意性地，上述应用程序中嵌入用于处理图像的程序代码，使得当用户输入原始图像，并指定待擦除对象之后，终端301能够运行上述程序代码，以在原始图像中擦除该待擦除对象，并在擦除区域中填充正确且自然的内容，最终得到处理完毕的目标图像，保证目标图像中不再包含待擦除对象，且不会遗留擦除的残影，以达到更好的擦除效果。

终端301和服务器302之间通过有线网络或无线网络相连。

服务器302是用于为上述应用程序提供后台服务的电子设备，服务器302包括：一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器302承担主要图像处理工作，终端301承担次要图像处理工作；或者，服务器302承担次要图像处理工作，终端301承担主要图像处理工作；或者，终端301和服务器302两者之间采用分布式计算架构协同执行图像处理工作。

在一些实施例中，终端301独立执行该图像处理方法，能够减轻服务器302的计算负载，避免在处理图像的过程中占用服务器302的处理资源。此时，终端301会调用本地应用程序中嵌入的该程序代码来进行图像处理任务。

在一些实施例中，终端301通过与服务器302之间的信息交互，协作执行该图像处理方法，也即是说：终端301在获取原始图像之后，响应于用户对擦除功能选项的触发操作，输入一个待擦除区域或者指定一个待擦除对象，向服务器302发送携带该待擦除区域或者待擦除对象的图像擦除指令，服务器302响应于该图像擦除指令，从该待擦除区域中擦除该待擦除对象，并填充正确且自然的内容，或者，先识别出包含该待擦除对象的待擦除区域，然后进行擦除、填充操作，最终输出一张目标图像，将该目标图像返回至终端301。此时能够将部分图像处理工作迁移至服务器302，以维护终端上较高的系统性能。

可选地，终端301泛指多个终端中的一个，终端301的设备类型包括但不限于：车载终端、电视机、智能手机、智能音箱、平板电脑、电子书阅读器、MP3(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机或者台式计算机中的至少一种。以下实施例，以终端包括智能手机来进行举例说明。

本领域技术人员能够知晓，上述终端301的数量能够为更多或更少。比如上述终端301仅为一个，或者上述终端301为几十个或几百个，或者更多数量。本公开实施例对终端301的数量和设备类型不加以限定。

图4是根据一示例性实施例示出的一种图像处理方法的流程图，参见图4，该图像处理方法应用于电子设备，下面以电子设备为终端为例进行说明。

在步骤401中，终端获取原始图像的待擦除区域，该待擦除区域包括待擦除对象。

在步骤402中，终端基于该待擦除区域，生成不包含该待擦除对象的擦除区域。

在步骤403中，终端对该擦除区域进行滤波，得到滤除了高频信息后的目标区域。

在步骤404中，终端将该原始图像中的该待擦除区域替换为该目标区域，得到目标图像。

本公开实施例提供的方法，通过对待擦除区域中待擦除对象进行擦除，得到擦除区域，并在擦除区域的基础上滤波得到目标区域，再将目标区域贴回原始图像得到目标图像，使得在擦除该待擦除对象时遗留的残影、残留的噪声都能够在滤波阶段被滤除，从而极大提升了对待擦除对象的擦除效果。

在一种可能实施方式中，对该擦除区域进行滤波，得到滤除了高频信息后的目标区域包括：将该擦除区域输入保边滤波器，通过该保边滤波器在保留该擦除区域中边缘信息的情况下，滤除该擦除区域中的高频信息，输出该目标区域。

在一种可能实施方式中，该保边滤波器为双边滤波器；通过该保边滤波器在保留该擦除区域中边缘信息的情况下，滤除该擦除区域中的高频信息，输出该目标区域包括：对该擦除区域中的任一像素点，以该像素点为中心，在该擦除区域中采样得到该像素点周围的多个邻域像素点；确定每个邻域像素点的加权系数，该加权系数基于该邻域像素点和该像素点的欧式距离和灰度差值确定得到；基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到该目标区域中与该像素点位置相同的像素点的像素值。

在一种可能实施方式中，确定每个邻域像素点的加权系数包括：基于该邻域像素点与该像素点之间的欧式距离，确定距离权重分量；基于该邻域像素点与该像素点之间的灰度差值，确定色彩权重分量；将该距离权重分量和该色彩权重分量相乘得到该邻域像素点的加权系数。

在一种可能实施方式中，基于该待擦除区域，生成不包含该待擦除对象的擦除区域包括：在该待擦除区域中添加掩膜，该掩膜用于覆盖该待擦除对象；基于该待擦除区域中除了该掩膜之外的背景内容，生成与该掩膜对应的前景内容，该前景内容与该背景内容相匹配；将该待擦除区域中的该掩膜替换为该前景内容，得到该擦除区域。

在一种可能实施方式中，获取原始图像的待擦除区域包括：基于账号输入的区域位置参数，确定该待擦除区域，该区域位置参数用于指示该待擦除区域的位置；或，基于账号输入的该待擦除对象，从该原始图像中检测得到包含该待擦除对象的该待擦除区域。

在一种可能实施方式中，将该原始图像中的该待擦除区域替换为该目标区域，得到目标图像包括：将该目标区域中各个像素点的像素值赋值给该待擦除区域中对应位置的各个像素点，得到该目标图像。

在一种可能实施方式中，该待擦除对象为图像水印或视频水印。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图5是根据一示例性实施例示出的一种图像处理方法的交互流程图，如图5所示，图像处理方法由电子设备执行，以电子设备为终端为例进行说明，该实施例包括以下步骤。

在步骤501中，终端获取原始图像的待擦除区域，该待擦除区域包括待擦除对象。

终端是任一支持图像处理服务的电子设备，终端上安装有用于处理图像的应用程序，可选地，该应用程序包括短视频应用、直播应用、修图应用、拍照应用、音视频应用、即时通讯应用、内容分享应用或者社交应用中的至少一项，本公开实施例不对应用程序的类型进行具体限定。

原始图像是用户输入的图像，或者是用户输入的视频中选定的视频帧(例如关键帧或者非关键帧)，上述图像或视频帧存储于终端本地或者从云端下载，例如原始图像是终端调用摄像头组件拍摄得到的图像，或者是用户从本地相册选取的图像，或者是用户从云端下载的图像，本公开实施例对原始图像的来源不进行具体限定。

待擦除对象是指原始图像中用户存在擦除需求的对象，比如，该对象的类型包括：图像水印(原始图像为单帧图像)、视频水印(原始图像为视频帧)、动物(如猫、狗、熊等)、物体(如障碍物、建筑物、桌、椅、车辆等)、卡通人物、虚拟角色、人物等，本公开实施例以待擦除对象为图像水印为例进行说明，但不应构成对待擦除对象的对象类型的限定。

待擦除区域是指原始图像中包含待擦除对象的一个区域，例如，待擦除区域是矩形区域，或者是圆形区域、椭圆形区域、不规则形状等，本公开实施例以待擦除区域为矩形区域为例进行说明，但不应构成对待擦除区域的区域形状的限定。

在一些实施例中，用户在终端上选择或输入原始图像之后，在应用程序中显示该原始图像，并提供对原始图像的一系列编辑功能，如：更改尺寸、增加边框、背景虚化、对象擦除、添加马赛克等。响应于用户对该对象擦除选项的触发操作，用户可以选择指定区域的擦除，或者指定对象的擦除两种模式，比如，用户在原始图像中选定该待擦除区域，由终端来自动擦除该待擦除区域中包含的待擦除对象，或者，用户输入一个待擦除对象，比如“猫”，由终端自动检测到原始图像中包含待擦除对象的待擦除区域，比如包含“猫”的矩形检测框，再由终端自动擦除该待擦除区域中包含的待擦除对象，本公开实施例对此不进行具体限定。

在一些实施例中，用户在应用程序中登录账号之后，响应于用户对该对象擦除选项的触发操作，在用户选择指定区域的擦除模式的情况下，用户能够在原始图像中输入区域位置参数，在检测到用户执行确认操作后，终端获取该账号输入的区域位置参数，该区域位置参数用于指示该待擦除区域的位置，从而能够基于该区域位置参数来确定该待擦除区域。

在一些实施例中，当该待擦除区域为矩形区域时，该区域位置参数包括该待擦除区域的一对位于对角线上的顶点坐标，比如，矩形区域的左上角坐标(x1，y1)和右下角坐标(x2，y2)，或者，矩形区域的右上角坐标(x3，y3)和左下角坐标(x4，y4)，通过一对顶点坐标能够确定出该待擦除区域在该原始图像中的位置。需要说明的是，除了一对位于对角线上的顶点坐标之外，一个中心坐标和一个顶点坐标也能确定出该待擦除区域，或者，一个中心坐标和矩形区域的长和宽同样能够确定出该待擦除区域，本公开实施例对区域位置参数不进行具体限定。

在一些实施例中，当该待擦除区域为圆形区域时，该区域位置参数包括该待擦除区域的圆心和半径，比如，圆心区域的圆心坐标(x0，y0)和半径r(r＞0)，通过圆心和半径能够确定出该待擦除区域在该原始图像中的位置。需要说明的是，除了圆心和半径之外，圆心和直径也能确定出该待擦除区域，本公开实施例对区域位置参数不进行具体限定。

在一些实施例中，用户能够通过手指在应用程序中显示原始图像上进行缩放和滑动，以控制擦除框跟随手指的缩放和滑动，在原始图像中进行对应比例的缩放和位移，比如，用户的两个手指在互相远离的方向上滑动，能够控制擦除框放大，用户的两个手指在互相靠近的方向上滑动，能够控制擦除框缩小，用户的手指向指定方向滑动，能够控制擦除框在该指定方向上进行平移，最终用户执行确认操作后，该擦除框就能够作为该区域位置参数，该擦除框相当于待擦除区域的外边缘，从而将位于该擦除框内的各个像素构成的区域确定为待擦除区域。

在一些实施例中，用户在应用程序中登录账号之后，响应于用户对该对象擦除选项的触发操作，在用户选择指定对象的擦除模式的情况下，用户能够在应用程序中输入该待擦除对象，在检测到用户执行确认操作后，终端获取该账号输入的该待擦除对象，接着，从该原始图像中检测得到包含该待擦除对象的该待擦除区域。

示意性地，用户在应用程序中输入待擦除对象为“猫”，在检测到用户执行确认操作后，终端获取该账号输入的该待擦除对象“猫”，对原始图像执行目标检测算法，以确定出包含待擦除对象“猫”的待擦除区域，比如，通过目标检测算法确定出原始图像中各个目标的矩形检测框，接着对各个矩形检测框中的目标进行分类算法，比如通过二分类模型判断目标所属的类别是否为“猫”，或者通过多分类模型判断目标所属的类别，最终找到类别为“猫”的矩形检测框作为该待擦除区域。

在步骤502中，终端在该待擦除区域中添加掩膜，该掩膜用于覆盖该待擦除对象。

在一些实施例中，终端在该待擦除区域中，确定包含该待擦除对象的最小外接矩形，在该最小外接矩形对应的子区域上添加掩膜，从而保证了该掩膜能够覆盖该待擦除对象。

在一些实施例中，终端将该待擦除区域输入对象擦除模型中，通过该对象擦除模型来添加掩膜，该对象擦除模型用于擦除输入内容中的待擦除对象，该对象擦除模型可以是传统的擦除算法或者基于深度学习的擦除模型，比如，传统的擦除算法包括：PatchMatch(图块匹配)、Simultaneous Structure and Texture Image Inpainting(基于纹理和结构的图像修复)，基于深度学习的擦除模型包括：DeepFill(深度填充)V1、DeepFill V2等模型，本公开实施例对该对象擦除模型不进行具体限定。

在一些实施例中，该对象擦除模型是在服务器侧利用样本图像训练完毕之后，嵌入到应用程序的SDK(Software Development Kit，软件开发工具包)中，应用程序在获取到该待擦除区域之后，将该待擦除区域输入SDK中存储的该对象擦除模型，以添加掩膜。可选地，如果训练完毕的对象擦除模型的模型参数较多，为节约终端的存储开销，可以对该对象擦除模型进行剪枝压缩，并将剪枝压缩完毕的对象擦除模型嵌入到SDK中。

在步骤503中，终端基于该待擦除区域中除了该掩膜之外的背景内容，生成与该掩膜对应的前景内容，该前景内容与该背景内容相匹配。

在一些实施例中，将该待擦除区域划分为掩膜和背景内容，背景内容是指待擦除区域中除了掩膜之外的部分。在添加掩膜之后相当于完成了对该待擦除对象的擦除任务，现在需要针对掩膜中的每个像素点，预测一个对应的像素值，从而使得针对掩膜中各个像素点预测的像素值能够与背景内容相匹配，相当于针对掩膜中缺失(即Mask掩盖掉)的内容进行填补，使得填补后的内容虽然擦除了待擦除对象，但仍然能够与背景内容衔接自然、浑然一体，这里的相匹配是指：纹理连续平滑且尽量消除残影。

在一些实施例中，终端利用对象擦除模型，基于背景内容中各个像素点的像素值，分别预测掩膜中每个像素点的像素值，在对掩膜中各个像素点的像素值预测完毕之后，能够得到与该掩膜形状、尺寸对应的前景内容，且由于前景内容是基于背景内容预测得到的，也能够保持前景内容和背景内容相匹配。

示意性地，以对象擦除模型为PatchMatch算法为例，将包含掩膜的待擦除区域划分成多个图块，从而利用背景内容的图块中各个像素点的像素值，来预测前景内容的图块中各个像素点的像素值，例如图块尺寸采取3×3或5×5的正方形区域，本公开实施例图块尺寸不进行具体限定。接着，对于掩膜中的任一图块，从背景内容中找到与该图块匹配度最高的背景图块，将该背景图块各个像素点的像素值赋值到掩膜中该图块各个像素点的像素值，比如，将背景图块左上角的像素点的像素值赋值到掩膜中该图块左上角的像素点的像素值。可选地，在搜索与掩膜中当前图块匹配度最高的背景图块时，可以使用随机搜索或者最近邻搜索，最近邻搜索的含义时，如果当前图块A的相邻图块B已经找到了匹配度最高的背景图块X(即将背景图块X赋值给了相邻图块B)，那么较大概率当前图块A的匹配度最高的背景图块Y也与背景图块X相邻，因此在搜索时优先搜索背景图块X的相邻图块通常能够更快找到背景图块Y，接着，将背景图块Y赋值给当前图块A。

示意性地，以对象擦除模型为DeepFill V2模型为例，DeepFill V2模型包括一个粗修复网络和一个精修复网络，粗修复网络用于粗略预测掩膜的前景填充结果，即粗修复网络输出的前景填充结果是模糊的初步结果，精修复网络则用于精细预测掩膜的前景内容，即精修复网络输出的前景内容是填充了细节的精修复图。其中，粗修复网络和精修复网络两者通过一个判别网络即判别器，采用GAN(Generative Adversarial Networks，生成式对抗网络)架构对抗学习得到。

首先将添加了掩膜的待擦除区域输入到粗修复网络中，或者，将待擦除区域和掩膜二值图一起输入到粗修复网络中，其中掩膜二值图是一张Mask图，Mask图中的像素点只能取值为0或者1，当取值为1时代表像素点属于背景内容，当取值为0时代表像素点属于待预测的前景内容，换言之，Mask图中所有取值为0的像素点所构成的区域能够指示待擦除区域中的掩膜位置，通过将待擦除区域和Mask图进行按元素相乘能够得到添加了掩膜的待擦除区域，即通过按元素相乘，能够使得待擦除区域和Mask图中位置相同的像素点的像素值相乘，这样能够保留背景内容中各个像素点的像素值不变(这些像素值乘1之后不变)，并将掩膜中各个像素点的像素值归0(这些像素值乘0之后变成了0)。

接着，对添加了掩膜的待擦除区域进行一次或多次降采样，得到降采样图像，将降采样图像输入到一个或多个串联的门控卷积层中，通过门控卷积层对降采样图像进行门控卷积，最后一个门控卷积层输出提取到的特征图，对特征图进行一次或多次上采样之后恢复到与输入图像(即待擦除区域)相同的尺寸，得到粗修复图像。上述粗修复网络，由于需要先降采样再上采样，因此形成了一个先编码再解码的架构。

其中，门控卷积层涉及到两类卷积核：门限卷积核(Soft Mask)和空洞卷积核，门限卷积核中各个权值相当于对输入特征图的过滤系数，门限卷积核中的各个权值是一个位于0到1之间的数值，门限卷积核的作用是像一个软筛子一样对输入特征图中各个像素点提供选择机制，而空洞卷积核则用于扩大卷积过程的感受野，使得在预测前景内容中各个像素点的像素值时，能够保证基于足够大的感受野以涵盖到周围的背景内容中各个像素点的像素值。针对任一个门控卷积层，可以利用空洞卷积核对输入特征图(上一门控卷积层的输出特征图，或者如果没有上一门控卷积层时则使用降采样图像)进行卷积，得到第一特征图，通过激活函数对第一特征图进行激活，得到激活后的第一特征图，此外，利用门控卷积核对输入特征图进行卷积，得到第二特征图，利用Sigmoid函数对第二特征图进行归一化，使得归一化后的第二特征图中各个特征值位于0到1之间，将激活后的第一特征图和归一化后的第二特征图进行按元素相乘，得到第三特征图，可选地，将第三特征图直接输入到下一个门控卷积层中，或者，将第三特征图再经过一次门控卷积核和空洞卷积核的卷积并融合之后，再将得到的经过两次门控的特征图输入到下一个门控卷积层中。

接着，将粗修复网络输出的粗修复图像输入到精修复网络中，精修复网络中包括两路编码分支，一路是包含语义注意力(Contextual Attention)的编码分支，一路是传统编码分支，将两路编码分支得到的编码图进行拼接(Concat)之后，输入到一个或多个解码层中进行解码，最终得到精修复图像即上述与掩膜对应的前景内容。

在包含语义注意力的编码分支中，对粗修复图像进行一次或多次降采样，得到目标降采样图像，将目标降采样图像输入到语义注意力层中，提取得到语义注意力图，再将该语义注意力图输入到指数归一化(Softmax)层中进行归一化，得到归一化图，将归一化图输入到一个转置卷积层中进行转置卷积，能够得到重建了前景内容的重建特征图。由于传统卷积层很难从空间位置相隔较远的两个区域之间发生联系，因此构建语义注意力层，语义注意力层的作用是不受空间限制地从已知区域借鉴相似的特征信息，以此来生成掩膜中缺失的信息(即预测掩膜中的前景内容)。

在语义注意力层中，将目标降采样图像的背景内容划分为多个3×3尺寸的图块(Patch)，将这些图块作为卷积核，对前景内容(即掩膜覆盖的区域，在粗修复网络中已经填充了粗略预测的像素值)进行卷积操作，得到该语义注意力图，将该语义注意力图输入到后面的指数归一化层中进行通道维度的归一化操作，得到归一化图，最终将归一化图输入到转置卷积层中，转置卷积层仍然以上述背景内容的多个3×3尺寸的图块(Patch)作为卷积核，来对输入的归一化图进行转置卷积，从而能够实现对前景内容的像素重建，得到该重建特征图。其中，由于语义注意力层中使用背景内容的图块作为卷积核，来与前景内容进行卷积操作，因此上述卷积操作的含义，相当于计算背景内容中的每个图块与前景内容中每个图块之间的余弦相似度，这一语义注意力图的物理意义就是前景内容与背景内容的相似度图(或者说互相关图)，语义注意力图中的每一个特征值都代表着一个前景内容的像素点和一个背景内容的像素点之间的相似度，有了语义注意力图来指示前景内容的任意像素点和背景内容的任意像素点之间的相似度，从而能够不受空间限制地从已知区域(即背景内容)借鉴相似的特征信息，以填充到掩膜中进行像素重建和图像修复。

在传统编码分支中，同样对粗修复图像进行一次或多次降采样，得到目标降采样图像，将目标降采样图像输入到一个或多个传统卷积层以及一个或多个空洞卷积层中，传统卷积层对输入特征图进行卷积操作，空洞卷积层对输入特征图进行空洞卷积操作，最后一个空洞卷积层输出一张目标特征图。

在解码部分中，将包含语义注意力的编码分支得到的重建特征图，与传统编码分支得到的目标特征图进行拼接之后，输入到一个或多个解码层中进行解码，最终得到该精修复图像即上述与掩膜对应的前景内容。

在步骤504中，终端将该待擦除区域中的该掩膜替换为该前景内容，得到不包含该待擦除对象的擦除区域。

在一些实施例中，仅以上述步骤503合成的与掩膜匹配的前景内容，替换掉该待擦除区域中的该掩膜，而不改变待擦除区域中除了该掩膜以为的背景内容。可选地，将上述前景内容中每个像素点的像素值赋值给该待擦除区域的掩膜中对应位置的像素点，使得该像素点的像素值从0变成上述步骤503中预测的该像素值，对每个像素点重复执行上述操作，直到掩膜中各个像素点均进行过赋值，最终能够得到一张擦除了待擦除对象并且填充了前景内容的擦除区域。

在上述步骤502-504中，提供了基于该待擦除区域，生成不包含该待擦除对象的擦除区域的一种可能实施方式，即先添加掩膜，再预测掩膜匹配的前景内容，再将掩膜替换为预测得到前景内容，可选地，在生成该擦除区域的过程中，无需向待擦除区域添加掩膜，只需要合成上述步骤502涉及的Mask图，基于待擦除区域和Mask图，利用对象擦除模型重建得到一张精修复图像，可直接将精修复图像作为上述擦除区域，或者基于Mask图的指示，将精修复图像中位于掩膜对应区域的各个像素点的像素值赋值给该待擦除区域中对应位置的像素点，得到上述擦除区域，本公开实施例对获取擦除区域的方式不进行具体限定。

在本公开实施例中，由于仅基于待擦除区域来预测前景内容，而没有针对整张原始图像来预测前景内容，因此避免了针对原始图像中除了待擦除区域之外的区域产生不必要的计算开销，不仅能够节约终端的处理资源，还能够提升图像处理速度。

在步骤505中，终端将该擦除区域输入保边滤波器，通过该保边滤波器在保留该擦除区域中边缘信息的情况下，滤除该擦除区域中的高频信息，输出目标区域。

在一些实施例中，通过将擦除区域送入保边滤波器，是希望通过保变滤波器去除该擦除区域中的残留噪声(通常是高频信息)，且尽量保留擦除区域中的背景信息(即边缘、纹理等低频信息)，针对待擦除对象为图像水印或视频水印的情况，添加保边滤波器能够极大消除擦除水印后的残影。

在上述过程中，通过保边滤波器来滤除该擦除区域中的残留噪声，能够避免像高斯滤波器这类线性平滑的滤波器一样，在去除残留噪声的同时，模糊该擦除区域中的所有纹理，导致擦除区域中的背景细节也变得模糊，能够提升对象擦除的擦除效果。

在一些实施例中，上述保边滤波器包括但不限于：双边滤波器、引导滤波器、加权最小二乘法滤波器、非均匀局部滤波器、双指数边缘平滑滤波器、选择性模糊、表面滤波等。

下面以该保边滤波器为双边滤波器为例，对滤波过程进行说明：对该擦除区域中的任一像素点，以该像素点为中心，在该擦除区域中采样得到该像素点周围的多个邻域像素点，可选地，以该像素点为中心，在该擦除区域中确定与滤波核尺寸相同的邻域内的多个邻域像素点，比如滤波核尺寸为3×3时，则确定以该像素点为中心、尺寸为3×3的邻域内包含的各个邻域像素点；接着，对每个邻域像素点，基于该邻域像素点和该像素点的欧式距离和灰度差值，确定得到该邻域像素点的加权系数，换言之，双边滤波器的滤波核中的加权系数，是基于距离因素和色度因素共同决定的，一方面空间距离即欧氏距离越接近的邻域像素点的加权系数越大，另一方面灰度差值越小的邻域像素点的加权系数越大；接着，基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到该目标区域中与该像素点位置相同的像素点的像素值，换言之，目标区域中每个像素点的像素值，是基于擦除区域中各个邻域像素点的像素值加权得到的。

在一些实施例中，上述双边滤波器中各个邻域像素点的加权系数通过下述方式获取：基于该邻域像素点与该像素点之间的欧式距离，确定距离权重分量；基于该邻域像素点与该像素点之间的灰度差值，确定色彩权重分量；将该距离权重分量和该色彩权重分量相乘得到该邻域像素点的加权系数。换言之，分别获取位于邻域中心的像素点与该邻域像素点之间的欧氏距离和灰度差值，并分别确定得到距离权重分量和色彩权重分量，两者相乘得到最终的加权系数，通过在获取加权系数时充分考虑空间距离和灰度差值，使得在后续基于加权系数进行滤波时，边缘纹理即背景细节更多的被保留下来，而残留噪声则能够被滤除。

示意性地，在将擦除区域输入到bilateralFilter()函数，bilateralFilter()函数用于提供双边滤波功能，bilateralFilter()函数涉及到如下几类参数：A)InputArraysrc，即输入图像，这里指擦除区域；B)OutputArray dst，即输出图像，这里指目标区域；C)d，指滤波过程中每个像素点的邻域直径d(即滤波核尺寸)；D)sigmaColor，指颜色空间滤波器的sigma值，sigmaColor参数的值越大，表明邻域内有越宽广的颜色会被混合到一起；E)sigmaSpace，指坐标空间滤波器的sigma值，sigmaSpace参数的值越大，表明越远的像素点会相互影响，从而使更大的区域足够相似的颜色获取相同的颜色。例如，采取d＝13、sigmaColor＝sigmaSpace＝75，但d、sigmaColor、sigmaSpace还可采取其他数值，这里不做赘述。

在上述步骤505中，提供了对该擦除区域进行滤波，得到滤除了高频信息后的目标区域的一种可能实施方式，即通过保边滤波器来滤除高频信息的同时保留低频信息，可使用双边滤波器、引导滤波器、加权最小二乘法滤波器、非均匀局部滤波器、双指数边缘平滑滤波器、选择性模糊、表面滤波等实现上述滤波操作，本公开实施例对此不进行具体限定。

在步骤506中，终端将该原始图像中的该待擦除区域替换为该目标区域，得到目标图像。

在一些实施例中，在将待擦除区域替换成目标区域时，直接将该目标区域中各个像素点的像素值赋值给该待擦除区域中对应位置的各个像素点，得到该目标图像。

在一些实施例中，在将待擦除区域替换成目标区域时，先将该待擦除区域中各个像素点的像素值赋值为0，再将该目标区域中各个像素点的像素值赋值给该待擦除区域中对应位置的各个像素点，得到该目标图像，本公开实施例对此不进行具体限定。

在一些实施例中，直接基于区域位置参数，将目标区域贴回到原始图像中的待擦除区域进行覆盖，得到目标图像，比如，以待擦除区域为矩形区域为例，假设区域位置参数是矩形区域的左上角坐标(x1，y1)和右下角坐标(x2，y2)，那么根据左上角坐标(x1，y1)和右下角坐标(x2，y2)，能够将目标区域贴回到待擦除区域原本所在的位置，使得目标区域覆盖掉待擦除区域，从而得到不包含待擦除对象的目标图像。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本公开实施例提供的方法，通过对待擦除区域中待擦除对象进行擦除，得到擦除区域，并在擦除区域的基础上滤波得到目标区域，再将目标区域贴回原始图像得到目标图像，使得在擦除该待擦除对象时遗留的残影、残留的噪声都能够在滤波阶段被滤除，从而极大提升了对待擦除对象的擦除效果。

进一步的，由于采用了保边滤波器来消除残留噪声，能够最大程度的保留原本的背景细节，如纹理、边缘等细节，并且不会引入额外的不自然纹理(如残影)，且能够保持较快的处理速度。

进一步的，由于仅对待擦除区域进行了待擦除对象的擦除和前景内容的修复，使得无需对除了待擦除区域之外的部分产生不必要的计算开销，节约了计算资源和处理资源，提升了处理速度，使得易于部署在客户端即终端侧。

图6是本公开实施例提供的一种水印擦除方法的原理性流程图，如图6所示，以待擦除对象为图像水印为例，介绍一种基于保边滤波的水印消除后处理算法，该水印擦除方法由电子设备执行，该电子设备可以是终端或者服务器，以电子设备为终端为例，该水印擦除方法包括下述步骤：

在步骤601中，获取原始图像。

在步骤602中，用户选择要擦除的框，扣出ROI区域。

换言之，基于用户选择的擦除框，从原始图像中扣出包含水印的待擦除区域。这一待擦除区域就是本次擦除的ROI区域。

例如，用户选择擦除框之后，根据擦除框的左上角坐标(x1，y1)和右下角坐标(x2，y2)，从原始图像中扣出待擦除区域。

图7是本公开实施例提供的一种扣出ROI区域的示意图，如图7所示，针对原始图像701扣出了待擦除区域即ROI区域711，对原始图像702扣出了待擦除区域即ROI区域712，后续的去水印算法、保边滤波器将仅针对ROI区域711和712进行处理，而无需在非ROI区域耗费额外的计算开销。

在步骤603中，对ROI区域，执行去水印算法。

换言之，将待擦除区域输入去水印算法，以去除待擦除区域中包含的水印，去水印算法是对象擦除算法或模型的一种示例性说明。

在步骤604中，将去水印算法输出的去水印结果输入保边滤波器中进行滤波。

换言之，去水印结果是指消除了水印并填充了前景内容的擦除区域，将擦除区域送入保边滤波器中再次去除残留的高频噪声。

在步骤605中，获取ROI区域的去水印结果。

换言之，经过了保边滤波之后的去水印结果才是ROI区域最终的去水印结果，即上述实施例中涉及的滤除了高频信息后的目标区域。

在步骤606中，将ROI区域的去水印结果贴回原图。

换言之，将ROI区域的去水印结果贴回原始图像。

在步骤607中，获取最终结果即目标图像。

目标图像即是指去除水印且消除残影的原始图像。

在本公开实施例中，提供一种基于保边滤波的水印消除后处理算法，由于使用保边滤波器对去水印算法输出的去水印结果进行滤波，能够滤除掉残留噪声的同时保留高频信息，使得去水印结果中的残影被消除，极大提升了水印擦除效果。此外，由于去水印算法和保边滤波器均只需要关注ROI区域，而无需在非ROI区域耗费额外的计算开销，不但能够降低计算开销，而且易于部署在客户端，并且能够带来较好的处理速度，比如针对尺寸为40×110的原始图像，在图像处理时耗时仅需要12毫秒(ms)，能够接近实时速度。

下面，仍然以待擦除对象为图像水印为例，分别对比基于STTN模型的传统去水印方法，和本公开实施例基于保边滤波的水印消除后处理算法，两种方式各自的去水印效果。

图8是本公开实施例提供的一种去水印效果的对比图，如图8所示，801示出了基于STTN模型的传统去水印方法的去水印结果，能够看出在包含水印的区域811中存在较多残影，去水印效果差；802示出了基于本公开实施例的方法的去水印结果，能够看出在原本包含水印的区域812中已经消除了残影，达到非常自然的去水印效果。

图9是本公开实施例提供的一种去水印效果的对比图，如图9所示，901示出了基于STTN模型的传统去水印方法的去水印结果，能够看出在包含水印的区域911中存在较多残影，去水印效果差；902示出了基于本公开实施例的方法的去水印结果，能够看出在原本包含水印的区域912中已经消除了残影，达到非常自然的去水印效果。

综合参考上述图8和图9，能够看出在一些背景较为简单的场景下，传统方法虽然能够消除左上角包含的水印，但出现了很明显的残影，去水印效果很差，而本公开实施例的方法能够在去水印的同时消除残影，并且不会产生背景模糊的额外问题。

下面，将针对一些背景复杂的场景再次使用传统方法和本公开实施例的方法分别进行测试和说明。

图10是本公开实施例提供的一种去水印效果的对比图，如图10所示，1001示出了基于STTN模型的传统去水印方法的去水印结果，能够看出在包含水印的区域1011中存在较多残影，尤其是背景中左上角的字母“P”上能够看到很不自然的残影，去水印效果很差；1002示出了基于本公开实施例的方法的去水印结果，能够看出在原本包含水印的区域1012中已经消除了残影，尤其是背景中左上角字母“P”不但消除了残影，并且字母“P”的纹理、边缘都得到了很好的保留，没有被模糊或者破坏，达到非常自然的去水印效果。

图11是本公开实施例提供的一种去水印效果的对比图，如图11所示，1101示出了基于STTN模型的传统去水印方法的去水印结果，能够看出在包含水印的区域1111中存在较多残影，尤其是背景中“XTRA”方框的右上方存在一部分不自然残影，看起来背景不够平整，去水印效果很差；1102示出了基于本公开实施例的方法的去水印结果，能够看出在原本包含水印的区域1112中已经消除了残影，尤其是背景中“XTRA”方框的右上方已经消除了残影，并且背景的纹理、边缘都得到了很好的保留，没有被模糊或者破坏，达到非常自然的去水印效果。

图12是根据一示例性实施例示出的一种图像处理装置的逻辑结构框图。参照图12，该装置包括获取单元1201、生成单元1202、滤波单元1203和替换单元1204，下面进行说明：

获取单元1201，被配置为执行获取原始图像的待擦除区域，该待擦除区域包括待擦除对象；

生成单元1202，被配置为执行基于该待擦除区域，生成不包含该待擦除对象的擦除区域；

滤波单元1203，被配置为执行对该擦除区域进行滤波，得到滤除了高频信息后的目标区域；

替换单元1204，被配置为执行将该原始图像中的该待擦除区域替换为该目标区域，得到目标图像。

本公开实施例提供的装置，通过对待擦除区域中待擦除对象进行擦除，得到擦除区域，并在擦除区域的基础上滤波得到目标区域，再将目标区域贴回原始图像得到目标图像，使得在擦除该待擦除对象时遗留的残影、残留的噪声都能够在滤波阶段被滤除，从而极大提升了对待擦除对象的擦除效果。

在一种可能实施方式中，基于图12的装置组成，该滤波单元1203包括：输入子单元，被配置为执行将该擦除区域输入保边滤波器；滤除子单元，被配置为执行通过该保边滤波器在保留该擦除区域中边缘信息的情况下，滤除该擦除区域中的高频信息；输出子单元，被配置为执行输出该目标区域。

在一种可能实施方式中，该保边滤波器为双边滤波器；基于图12的装置组成，该滤除子单元包括：采样子子单元，被配置为执行对该擦除区域中的任一像素点，以该像素点为中心，在该擦除区域中采样得到该像素点周围的多个邻域像素点；确定子子单元，被配置为执行确定每个邻域像素点的加权系数，该加权系数基于该邻域像素点和该像素点的欧式距离和灰度差值确定得到；相加子子单元，被配置为执行基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到该目标区域中与该像素点位置相同的像素点的像素值。

在一种可能实施方式中，该确定子子单元被配置为执行：基于该邻域像素点与该像素点之间的欧式距离，确定距离权重分量；基于该邻域像素点与该像素点之间的灰度差值，确定色彩权重分量；将该距离权重分量和该色彩权重分量相乘得到该邻域像素点的加权系数。

在一种可能实施方式中，该生成单元1202被配置为执行：在该待擦除区域中添加掩膜，该掩膜用于覆盖该待擦除对象；基于该待擦除区域中除了该掩膜之外的背景内容，生成与该掩膜对应的前景内容，该前景内容与该背景内容相匹配；将该待擦除区域中的该掩膜替换为该前景内容，得到该擦除区域。

在一种可能实施方式中，该获取单元1201被配置为执行：基于账号输入的区域位置参数，确定该待擦除区域，该区域位置参数用于指示该待擦除区域的位置；或，基于账号输入的该待擦除对象，从该原始图像中检测得到包含该待擦除对象的该待擦除区域。

在一种可能实施方式中，该替换单元1204被配置为执行：将该目标区域中各个像素点的像素值赋值给该待擦除区域中对应位置的各个像素点，得到该目标图像。

在一种可能实施方式中，该待擦除对象为图像水印或视频水印。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该图像处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图13示出了本公开一个示例性实施例提供的终端的结构框图，该终端1300是电子设备的一种示例性说明。该终端1300可以是：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本公开中各个实施例提供的图像处理方法。

在一些实施例中，终端1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、触摸显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。

外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置终端1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在终端1300的不同表面或呈折叠设计；在再一些实施例中，显示屏1305可以是柔性显示屏，设置在终端1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。

定位组件1308用于定位终端1300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。

电源1309用于为终端1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、光学传感器1314以及接近传感器1315。

加速度传感器1311可以检测以终端1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制触摸显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1312可以检测终端1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对终端1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1313可以设置在终端1300的侧边框和/或触摸显示屏1305的下层。当压力传感器1313设置在终端1300的侧边框时，可以检测用户对终端1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在触摸显示屏1305的下层时，由处理器1301根据用户对触摸显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器1314用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1314采集的环境光强度，控制触摸显示屏1305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1305的显示亮度；当环境光强度较低时，调低触摸显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1314采集的环境光强度，动态调整摄像头组件1306的拍摄参数。

接近传感器1315，也称距离传感器，通常设置在终端1300的前面板。接近传感器1315用于采集用户与终端1300的正面之间的距离。在一个实施例中，当接近传感器1315检测到用户与终端1300的正面之间的距离逐渐变小时，由处理器1301控制触摸显示屏1305从亮屏状态切换为息屏状态；当接近传感器1315检测到用户与终端1300的正面之间的距离逐渐变大时，由处理器1301控制触摸显示屏1305从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图13中示出的结构并不构成对终端1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图14是本公开实施例提供的一种电子设备的结构示意图，该电子设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1401和一个或一个以上的存储器1402，其中，该存储器1402中存储有至少一条程序代码，该至少一条程序代码由该处理器1401加载并执行以实现上述各个实施例提供的图像处理方法。当然，该电子设备1400还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备1400还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括至少一条指令的计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由电子设备中的处理器执行以完成上述实施例中的图像处理方法。可选地，上述计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述各个实施例提供的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取原始图像的待擦除区域，所述待擦除区域包括待擦除对象；

基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域；

对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域；

将所述原始图像中的所述待擦除区域替换为所述目标区域，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域包括：

将所述擦除区域输入保边滤波器，通过所述保边滤波器在保留所述擦除区域中边缘信息的情况下，滤除所述擦除区域中的高频信息，输出所述目标区域。

3.根据权利要求2所述的方法，其特征在于，所述保边滤波器为双边滤波器；

所述通过所述保边滤波器在保留所述擦除区域中边缘信息的情况下，滤除所述擦除区域中的高频信息，输出所述目标区域包括：

对所述擦除区域中的任一像素点，以所述像素点为中心，在所述擦除区域中采样得到所述像素点周围的多个邻域像素点；

确定每个邻域像素点的加权系数，所述加权系数基于所述邻域像素点和所述像素点的欧式距离和灰度差值确定得到；

基于每个邻域像素点的加权系数，对每个邻域像素点的像素值进行加权，将加权得到的各个像素值相加得到所述目标区域中与所述像素点位置相同的像素点的像素值。

4.根据权利要求3所述的方法，其特征在于，所述确定每个邻域像素点的加权系数包括：

基于所述邻域像素点与所述像素点之间的欧式距离，确定距离权重分量；

基于所述邻域像素点与所述像素点之间的灰度差值，确定色彩权重分量；

将所述距离权重分量和所述色彩权重分量相乘得到所述邻域像素点的加权系数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域包括：

在所述待擦除区域中添加掩膜，所述掩膜用于覆盖所述待擦除对象；

基于所述待擦除区域中除了所述掩膜之外的背景内容，生成与所述掩膜对应的前景内容，所述前景内容与所述背景内容相匹配；

将所述待擦除区域中的所述掩膜替换为所述前景内容，得到所述擦除区域。

6.根据权利要求1所述的方法，其特征在于，所述获取原始图像的待擦除区域包括：

基于账号输入的区域位置参数，确定所述待擦除区域，所述区域位置参数用于指示所述待擦除区域的位置；或，

基于账号输入的所述待擦除对象，从所述原始图像中检测得到包含所述待擦除对象的所述待擦除区域。

7.一种图像处理装置，其特征在于，包括：

获取单元，被配置为执行获取原始图像的待擦除区域，所述待擦除区域包括待擦除对象；

生成单元，被配置为执行基于所述待擦除区域，生成不包含所述待擦除对象的擦除区域；

滤波单元，被配置为执行对所述擦除区域进行滤波，得到滤除了高频信息后的目标区域；

替换单元，被配置为执行将所述原始图像中的所述待擦除区域替换为所述目标区域，得到目标图像。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行所述指令，以实现如权利要求1至权利要求6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的至少一条指令由电子设备的一个或多个处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像处理方法。

10.一种计算机程序产品，其特征在于，包括一条或多条指令，所述一条或多条指令由电子设备的一个或多个处理器执行，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像处理方法。

Images