CN113608805B - 掩膜预测方法、图像处理方法、显示方法及设备 - Google Patents

Abstract

本申请实施例提供一种掩膜预测方法、图像处理方法、显示方法及设备。其中，获取原始图像的原始掩膜；模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；输出所述原始掩膜对应的效果图像；检测用户交互操作，确定用户交互位置；基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得对所述原始图像进行处理的目标掩膜。本申请实施例提供的技术方案保证了掩膜准确度同时降低了劳动成本。

Description

掩膜预测方法、图像处理方法、显示方法及设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种掩膜预测方法、图像处理方法、显示方法及设备。

背景技术

很多图像处理场景中，常会用到掩膜技术，掩膜是一种特定图像，利用掩膜可以重新计算原始图像的像素值，以实现从原始图像中分割出目标对象、制作特定形状图像、或者屏蔽部分内容等图像处理的目的。

目前，通常可以采用人工标注或机器学习模型获取原始图像对应的掩膜，进而基于该掩膜可以获得原始图像对应的目标图像。人工标注方式需要基于用户在原始图像中进行打点描边或者涂抹操作等标注的区域生成掩膜，需要耗费较大人力。

机器学习模型的一种具体实现方式是自动处理模型，将原始图像输入自动处理模型即可以预测获得对应的掩膜，利用自动处理模型可以实现批量掩膜预测，但是准确性较低；机器学习模型的另一种具体实现方式是交互式处理模型，使用交互式处理模型，会首先采用交互方式获取用户在原始图像中指定的交互位置，如图像分割场景中，用户可以在前景区域或背景区域指定相应的交互位置，以该交互位置为约束条件，再利用交互处理模型进行掩膜预测，以得到满足用户要求的掩膜。

虽然交互式处理模型可以获得较为准确的掩膜，但是仍然需要大量的用户交互操作。

发明内容

本申请实施例提供一种掩膜预测方法、图像处理方法、显示方法及设备，用以解决现有技术中掩膜预测准确度低且劳动成本较高的技术问题。

第一方面，本申请实施例中提供了一种掩膜预测方法，包括：

获取原始图像的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得对所述原始图像进行处理的目标掩膜。

第二方面，本申请实施例中提供了一种显示方法，包括：

提供显示界面；

基于原始图像的原始掩膜，在所述显示界面显示所述原始掩膜对应的效果图像；

检测用户交互操作，向服务端发送处理请求，以供所述服务端确定在所述原始图像中的用户交互位置，并基于所述用户交互位置及模拟交互位置，对所述原始图像进行掩膜预测；所述模拟交互位置根据所述原始掩膜，模拟针对所述原始图像的用户交互操作确定。

在所述显示界面显示基于掩膜预测结果更新之后的效果图像，以提示用户所述掩膜预测结果。

第三方面，本申请实施例中提供了一种图像处理方法，包括：

利用自动处理模型预测原始图像对应的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述目标图像进行掩膜预测，以获得所述原始图像对应的目标掩膜；

利用所述原始图像及所述目标掩膜对所述自动处理模型重新进行训练。

第四方面，本申请实施例中提供了一种图像处理方法，包括：

获取用户上传的原始图像，确定所述原始图像的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得目标掩膜；

确定按照所述目标掩膜对所述原始图像进行处理获得的目标图像，并在接收到发布请求时，发布所述目标图像。

第五方面，本申请实施例中提供了一种计算设备，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，用于实现如上述第一方面所述的掩膜预测方法。

本申请实施例中，根据原始图像的原始掩膜，可以模拟针对原始图像的用户交互操作，进而获原始掩膜对应的模拟交互位置，基于原始掩膜还可以输出效果图像，以提示用户是否针对原始图像执行用户交互操作，进一步可以根据检测到的用户交互操作确定在原始图像中指定的用户交互位置，再基于用户交互位置及所述模拟交互位置，利用交互式处理模型对所述原始图像进行掩膜预测，以获得目标掩膜。通过模拟产生原始掩膜的用户交互操作，获得模拟交互位置，该模拟交互位置也作为进行掩膜预测的交互位置，从而只需要少量的实际用户交互操作，结合该模拟交互位置即可以准确实现对原始图像的掩膜预测，既可以保证掩膜的准确度且无需大量用户交互操作，还可以降低劳动成本。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提供的一种掩膜预测方法一个实施例的流程图；

图2示出了本申请提供的一种掩膜预测方法又一个实施例的流程图；

图3示出了本申请提供的一种显示方法一个实施例的流程图；

图4a～图4b分别示出了本申请实施例在一个实际应用中的显示界面的显示示意图；

图4c示出了本申请实施例在一个实际应用中的场景交互示意图；

图5示出了本申请提供的一种图像处理方法一个实施例的流程图；

图6示出了本申请提供的一种图像处理方法又一个实施例的流程图；

图7示出了本申请提供的一种掩膜预测装置一个实施例的结构示意图；

图8示出了本申请提供的一种计算设备一个实施例的结构示意图；

图9示出了本申请提供的一种电子设备一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本申请实施例的技术方案应用于掩膜预测场景中，用以获得图像掩膜，实现图像处理目的，具体可以根据掩膜重新计算图像的像素值，以可以实现从图像中分割出目标对象、或者制定特殊形状图像、或者对图像部分区域进行屏蔽等处理。

以图像分割提取目标对象为例，原始图像中目标对象所在区域可以认为是前景区域。不包括目标对象的区域即为背景区域，同样，对于制作特殊形状图像，构成该特殊形状的区域可以认为是前景区域，其余区域为背景区域；对于对图像部分区域内容进行屏蔽，需要屏蔽的区域可以认为是背景区域，其余区域为前景区域。而掩膜例如可以是由像素0和1构成的二值图像，与原始图像的大小一致，掩膜中对应前景区域的图像区域的像素值可以设为1，对应背景区域的图像区域的像素值可以设为0，将掩膜与原始图像之间进行与运算，即可以实现仅保留原始图像中前景区域的目的，掩膜相当于对原始图像进行了遮挡，其可以是一种特定图像，如由0和1构成的二值图像，当然某些实现方式中，掩膜也可以为二维矩阵数组等。

而使用掩膜技术进行图像处理，必然需要先确定图像对应的掩膜，结合背景技术可知，目前常见三种实现方式：人工标注方式、自动处理模型预测及交互处理模型预测，但是这三种方式都无法兼顾准确度及成本问题。

为了提高掩膜预测准确度并降低劳动成本，发明人在实现本申请的过程中发现，采用人工标注或者自动处理模型获得的掩膜不够准确，会存在错误区域，在实际应用中，也会存在一个图像已经存在对应掩膜，但是需要对掩膜进行进一步精细化的操作，因此，需要对掩膜进行修改，而目前，掩膜修改也是采用人工标注的形式，成本很高，也无法适用批量化的任务。发明人想到，在图像存在预标注的原始掩膜的情况下，采用更为准确的方式对其进行修改，无需重新生成掩膜，是否既可以保证掩膜准确度同时可以降低劳动成本，因此，结合这一发现，发明人又经过一系列研究提出了本申请的技术方案。

在本申请实施例中，获取原始图像的原始掩膜；模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置；输出原始掩膜对应的效果图像；检测到用户交互操作，确定用户交互位置；基于用户交互位置及模拟交互位置，利用交互式处理模型对原始图像进行掩膜预测，以获得目标掩膜。本申请实施例，通过模拟产生原始掩膜的用户交互操作，获得模拟交互位置，该模拟交互位置可以作为用户交互位置，这样只需要少量的实际的用户交互操作，结合该模拟交互位置，即可以对原始图像进行掩膜预测，以获得目标掩膜，既可以保证掩膜的准确度且无需大量用户交互操作，还可以降低劳动成本。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种掩膜预测方法一个实施例的流程图，该方法可以包括以下几个步骤：

101：获取原始图像的原始掩膜。

该原始掩膜可以是原始图像对应的待修改掩膜，其可以是存在一定错误或者精细度不高的掩膜。

该原始掩膜例如可以是基于人工标注方式获得或者使用自动处理模型预测获得。自动处理模型预先利用样本图像及样本图像对应的样本掩膜训练获得，受限于训练样本的规模和准确度，自动处理模型得到的掩膜也可能是不准确的，而人工标注方式也受限于人的主观影响，因此也可能是不够准确的。在实际应用中，原始图像可以由用户提供，原始掩膜也可以由用户提供，或者可以首先采用人工标注方式或者利用自动处理模型获得。

102：模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置。

按照该原始模型，可以在原始图像中模拟产生该原始掩膜所对应的用户交互操作，

为了提高掩膜预测准确度，可以是模拟使用交互式处理模型得到该原始掩膜而执行的用户交互操作，也就是说模拟的是为了得到原始掩膜，用户对原始图像所执行的用户交互操作，模拟执行的用户交互操作利用交互式处理模型可以预测得到该原始掩膜，换言之，用户对原始图像执行用户交互操作产生用户交互位置，利用交互式处理模块基于该用户交互位置可以得到原始掩膜，那么在已知原始掩膜和原始图像的情况下，通过模拟用户交互操作的方式，可以得到原始掩膜在原始图像中对应的用户交互位置，为了方便描述上的区分，命名为模拟交互位置。该模拟交互位置可以包括一个或多个。用户交互操作例如可以是指点击操作或者滑动操作等，每个模拟交互位置即是一个点击点，每个点击点会对应一个像素坐标。

当然，也可以是模拟使用自动处理模型或人工标注方式得到该原始掩膜而执行的用户交互操作。

103：输出原始掩膜对应的效果图像。

104：检测用户交互操作，确定用户交互位置。

该效果图像可以用于提示用户按照原始掩膜对原始图像进行处理获得的处理效果，以便于用户判断原始掩膜是否用户要求，哪里需要进行调整，进而可以针对原始图像执行进一步的用户交互操作，以得到用户交互位置。

该效果图像可以是按照原始掩膜对原始图像进行处理获得的图像，例如可以是原始图像中该原始掩膜所对应的前景区域图像，从而用户可以根据该效果图像直观感受到处理效果。

此外，还可以同时输出原始图像，以提示用户在原始图像中的相应位置执行用户交互操作。

此外，作为其它实现方式，该效果图像也可以包括在原始图像中该原始掩膜对应的前景区域覆盖的标识图像，该标识图像可以是具有一定透明度的特定颜色的图像等，以便于用户确定原始掩膜所对应的图像区域，比如，可以在原始掩膜所对应的前景区域覆盖颜色为黑色且颜色透明度为50％的标识图像，该标识图像的形状即为前景区域的形状，通过一定的透明度，使得既可以在原始图像中看到前景区域对应的原始内容，同时也可以获知该前景区域在原始图像中的区域位置，以帮助用户确定该前景区域是否满足用户要求等。

当然，该效果图像可以同时包括原始掩膜所对应的前景区域图像，以及在原始图像中覆盖的标识图像。

该效果图像可以在显示界面中显示，该显示界面中可以提供交互操作区域，该交互操作区域可以显示原始图像并可以感应在该原始图像上执行的用户操作。该显示界面可以在客户端显示。

用户交互操作例如可以包括在交互操作区域中在原始图像需要调整的位置通过鼠标或者触摸物如触摸笔等执行的点击操作。用户交互操作除了可以指定需要调整的位置，还可以指定该位置对应的属性标签，该属性标签可以包括前景区域或背景区域，以确定需要调整的位置属于前景区域还是背景区域，因此，基于用户交互操作，可以具体确定用户交互位置以及该用户交互位置的属性标签。

需要说明的是，本申请并不对如何执行用户交互操进行限制，采用传统方式或者可以提供用户想要调整的位置的任意方式均可以。

105：基于用户交互位置及模拟交互位置，对原始图像进行掩膜预测，以获得对原始图像进行处理的目标掩膜。

可选地，可以基于用户交互位置及模拟交互位置，利用交互处理模型进行掩膜预测，用户交互位置及模拟交互位置均作为交互位置，输入交互式处理模型，由交互式处理模型进行掩膜预测，从而可以减少一部分用户交互操作。

其中，利用交互式处理模型对原始图像进行掩膜预测过程中，用户交互操作可能会执行多次直至获得目标掩膜，每一次用户交互操作可以获得对应的一个用户交互位置，具体可以是基于最新用户交互位置以及历史用户交互位置以及模拟交互位置，利用交互式处理模型对原始图像进行掩膜预测，每一次的掩膜预测结果可以更新效果图像直至获得目标掩膜，该目标掩膜意即符合用户要求的掩膜。

而由于在原始掩膜基础上，原始掩膜可能仅是存在部分错误区域，因此只需少量的用户交互操作，利用交互式处理模块即可以获得更为准确的目标掩膜。

其中，交互式处理模型可以基于样本交互位置、样本图像以及样本掩膜训练获得，本申请不进行具体限制。

当然，为了方便交互式处理模型的处理，用户交互位置、模拟交互位置以及原始图像等必然会进行一些必要的数据处理操作，用户交互位置和模拟交互位置会编码为相应的图像，比如原始图像会编码为H(Height，高度)*W(Width，宽度)*3的三通道RGB(Red-Green-Blue，红绿蓝)数组，用户交互位置会编码为H*W*1的高斯图数组，模拟交互位置也会编码为H*W*1的高斯图数组等，本申请对此不进行具体限制。

可选地，由于不同交互位置对应的属性标签可能不同，因此，可以是基于用户交互位置及其属性标签、以及模拟交互位置及其属性标签，利用交互式处理模型对原始图像进行掩膜预测，以获得目标掩膜。

在某些实施例中，基于用户交互位置及模拟交互位置，对原始图像进行掩膜预测，以获得对原始图像进行处理的目标掩膜可以包括：

基于用户交互位置及模拟交互位置，利用交互式处理模型预测目标图像对应的第一掩膜；

基于第一掩膜，获得对原始图像进行处理的目标掩膜。

其中，基于用户交互位置及模拟交互位置，利用交互式处理模型预测目标图像对应的第一掩膜可以是：利用用户交互位置调整模拟交互位置，获得调整交互位置；基于用户交互位置及调整交互位置，利用交互式处理模型预测目标图像对应的第一掩膜。

作为一种可选实现方式，基于第一掩膜，获得对原始图像进行处理的目标掩膜可以包括：

利用第一掩膜对原始掩膜进行调整，获得第二掩膜。

基于第二掩膜更新效果图像，并返回步骤104继续执行直至获得满足用户要求的第二掩膜，并将其作为目标掩膜。

基于第二掩膜具体是更新该效果图像，以便于用户实时查看当前交互操作产出的处理效果。

其中，是否获得满足用户要求的第二掩膜可以通过判断是否检测到针对当前第二掩膜的确认操作，若是则确定当前第二掩膜满足用户要求或者在更新效果图像之后的预定时长内是否接收到用户交互操作，若否可以认为当前第二掩膜满足用户要求。

利用第一掩膜对原始掩膜进行调整，特别是原始掩膜为人工标注获得时，可以快速获得既符合用户要求且较为准确的掩膜，避免更多用户交互操作，进一步降低劳动成本。

由于模拟交互位置可能会存在错误，用户交互位置是在原始掩膜基础上执行的进一步操作，因此，可以首先利用用户交互位置对模拟交互位置进行调整，获得调整交互位置，再基于用户交互位置和调整交互位置，利用交互式处理模型预测目标图像对应的第一掩膜。

为了清楚了解本申请的一种具体实现方式，参见图2所示的掩膜预测方法，可以包括如下几个步骤：

201：获取原始图像的原始掩膜。

202：模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置。

203：输出原始掩膜对应的效果图像。

204：检测用户交互操作，确定用户交互位置。

205：利用用户交互位置调整模拟交互位置，获得调整交互位置。

206：基于用户交互位置及调整交互位置，利用交互式处理模型预测原始图像对应的第一掩膜。

其中，具体是利用最新用户交互位置调整模拟交互位置。基于最新用户交互位置以及历史交互位置以及调整交互位置，利用交互式处理模型预测目标图像对应的第一掩膜。

可选地，用户交互位置和调整交互位置会编码为相应的图像，原始图像也会编码为相应图像，再输入交互式处理模型，以预测获得对应的第一掩膜。

207：利用第一掩膜对原始掩膜进行调整，获得第二掩膜。

208：基于第二掩膜更新效果图像，并将调整交互位置作为模拟交互位置，返回步骤204继续执行。

209：检测到用户确认操作，确定当前预测的掩膜满足用户要求，将当前预测的掩膜作为目标掩膜。

在某些实施例中，利用用户交互位置调整模拟交互位置，获得调整交互位置可以包括：确定第一掩膜与原始掩膜的区别区域；若最新的用户交互位置位于区别区域，利用所述第一掩膜中所述区别区域对应的像素值修改所述原始掩膜中所述别区域对应的像素值；若用户交互位置未处于区别区域，确定用户交互位置所在的目标区域；利用所述第一掩膜中所述目标区域对应的像素值修改所述原始掩膜中所述目标区域对应的像素值。

可选地，利用所述第一掩膜中所述区别区域对应的像素值修改所述原始掩膜中所述别区域对应的像素值可以是：将原始掩膜中最大联通区别区域对应的像素值替换为第一掩膜中该最大联通区别区域对应的像素值。

可选地，利用所述第一掩膜中所述目标区域对应的像素值修改所述原始掩膜中所述目标区域对应的像素值可以是：将原始掩膜中目标区域对应的像素值替换为第一掩膜中目标区域对应的像素值

其中，原始图像、原始掩膜、及预测获得的掩膜的尺寸一致，只是像素值不同。最新的用户交互位置可以是指最近一次用户交互操作产生的用户交互位置。

区别区域是指第一掩膜模块与原始掩膜中像素值不同的区域，若最新的用户交互位置若位于区别区域中，表明用户认为原始掩膜中的该区别区域是存在错误的，首先可以在该区别区域中确定最大联通区域，为了便于描述，将该区别区域中的最大联通区域命名为最大联通区别区域，再利用该最大联通区别区域在第一掩膜中对应的像素值替换掉该最大联通区别区域在原始掩膜中对应的像素值。其中，联通区域是指图像中具有相同像素值且位置相邻的像素点组成的图像区域，最大联通区域意即是指包含像素最多的联通区域。

而如果最新的用户交互位置未处于区别区域中，也就是说用户对原始掩膜对应的正确区域再次执行用户交互操作，可以认为用户想要进一步扩大原始掩膜中的正确区域。首先确定该用户交互位置所在目标区域，再将原始掩膜中目标区域对应的像素值替换为第一掩膜中目标区域对应的像素值。

其中，用户交互位置所在目标区域，可以选择以用户交互位置为中心位置，与用户交互位置相距一定距离的区域范围作为该目标区域。在一个实际应用中，可以首先确定原始掩膜中的前景区域中的最大联通区域的高度H以及宽度W，假设图像区域中垂直方向为高，水平方向为宽度，该目标区域可以是与用户交互位置在垂直方向上下分别相距H/6，在水平方向左右分别相距W/6所构成的目标区域。

作为另一种可选实现方式，基于第一掩膜，获得对原始图像进行处理的目标掩膜可以包括：

基于第一掩膜更新效果图像，并将调整交互位置作为模拟交互位置，返回检测用户交互操作，确定在原始图像中的用户交互位置的步骤继续执行，直至获得满足用户要求的第一掩膜，并将其作为目标掩膜。

具体是利用最新用户交互位置调整模拟交互位置。基于最新用户交互位置以及历史交互位置以及调整交互位置，利用交互式处理模型预测目标图像对应的第一掩膜。

可选地，用户交互位置和调整交互位置会编码为相应的图像，原始图像也会编码为相应图像，再输入交互式处理模型，预测获得对应的第一掩膜。

意即本申请实施例也可以直接利用第一掩膜更新效果图像，第一掩膜利用交互式处理模型预测获得，可以保证掩膜准确度，同时也可以减少计算工作量。

可以是检测到用户确认操作，将当前第一掩膜确认为符合用户要求，将其作为目标掩膜。

在某些实施例中，利用用户交互位置调整模拟交互位置，获得调整交互位置可以包括：

针对任一个模拟交互位置，计算用户交互位置与模拟交互位置对应的空间距离及颜色距离；

至少根据用户交互位置和模拟交互位置的属性标签、以及空间距离和/或颜色距离，删除满足筛除条件的模拟交互位置，以删除不合理的模拟交互位置，删除后剩余的模拟交互位置即作为调整交互位置。

可选地，该筛除条件例如可以包括用户交互位置和模拟交互位置的属性标签不同，空间距离小于预定空间距离，或颜色距离小于预定颜色距离等，该预定颜色距离例如可以为50。

其中，空间距离可以包括垂直距离以及水平距离，在一个实际应用中，可以首先确定原始掩膜中前景区域中的最大联通区域的高度H以及宽度W，该筛除条件中例如可以包括：垂直距离小于H/r，水平距离小于W/r，其中，r为常数，如r可以等于6。

由于采用交互方式预测掩膜时，用户通常会在属于前景区或背景区域的中心位置执行用户交互操作，因此，在某些实施例中，模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置可以包括：

将原始掩膜的前景区域的中心位置作为第1次的模拟交互位置，并确定模拟交互位置的属性标签为前景区域；

执行模拟操作直至获得k个模拟交互位置，其中，k≥2，该模拟操作包括：

基于前n-1个模拟交互位置，利用交互式处理模型预测原始图像对应的模拟掩膜；其中，n≥2；

将模拟掩膜与原始掩膜的最大联通区别区域的中心位置作为第n个模拟交互位置；

若第n个模拟交互位置在模拟掩膜中属于前景区域，确定第n个模拟交互位置的属性标签为背景区域，反之则为前景区域。

其中，原始掩膜的前景区域可以基于原始掩膜的像素值确定，如原始掩膜为二值化图像时，前景区域的像素值例如为1，背景区域的像素值为0。

可选地，可以是将原始掩膜的前景区域中的最大联通区域的中心位置作为第1次的模拟交互位置。

实际应用中，前景区域通常位于图像中心位置，因此，可以无需确定原始掩膜中的前景区域，可以直接将原始掩膜的中心位置作为第1次的模拟交互位置

第1次模拟交互位置对应属性标签即为前景区域，第n个模拟交互位置的属性标签可以根据其在模拟掩膜中所属区域来确定。

模拟掩膜与原始掩膜的最大联通区别区域即是指模拟掩膜与原始掩膜的区别区域中的最大联通区域。

图3为本申请提供的一种显示方法一个实施例的流程图，本实施例从与用户交互角度对本申请技术方案进行介绍，本实施例技术方案可以由客户端执行，该方法可以包括以下几个步骤：

301：提供显示界面。

302：基于原始图像的原始掩膜，在显示界面显示原始掩膜对应的效果图像。

可选地，该原始图像及其对应的原始掩膜可以由用户提供，显示界面中可以显示图像上传提示信息，以提示用户上传待处理的原始图像及对应原始掩膜。因此，作为一种可选方式，该方法还可以包括：

接收用户上传的所述原始图像以及所述原始掩膜。

此外，作为其它可选实现方式，原始图像可以由用户提供，显示界面还可以显示针对原始图像的人工标注提示信息，以提示用户执行相应标注操作，进而获得该原始图像。

当然，用户提供的原始图像也可以由客户端上传至服务端，服务端利用自动处理模型识别获得该原始图像对应的原始掩膜。

303：检测用户交互操作，向服务端发送处理请求，以供服务端确定用户交互位置，并基于用户交互位置及模拟交互位置，进行掩膜预测，并可以基于掩膜预测结果更新该效果图像。

其中，模拟交互位置根据原始掩膜，模拟针对原始图像的用户交互操作确定。

服务端具体执行操作可以详见图1或图2所示实施例中所述，此处不再重复赘述。

304：在显示界面显示基于掩膜预测结果更新之后的效果图像。

该效果图像即可以提示用户掩膜预测结果。

显示更新之后的效果图像之后，可以返回步骤303继续执行，检测是否执行进一步的用户交互操作等。

在某些实施例中，该方法还可以包括：

检测到用户确认操作，向服务端发送确定请求，以供服务端将当前预测的掩膜作为目标掩膜。

在显示界面中还可以显示确认提示信息，以便于用户基于当前预测的掩膜对应的效果图像，确定当前预测的掩膜满足用户要求情况下，可以基于该确认提示信息触发确认操作。

此外，在某些实施例中，该方法还可以包括

在所述显示界面显示利用所述目标掩膜对所述原始图像进行处理获得的目标图像；

接收到针对目标图像的处理请求，处理该目标图像。

例如，处理请求可以是发布请求，从而客户端可以请求服务端发布该目标图像。或者处理请求可以为保存请求，从而客户端可以将目标图像保存至本地等。

本实施例所述的客户端，意即可以是一种图像处理工具，提供掩膜预测功能，可以辅助用户进行掩膜预测，并基于预测得到目标掩膜对原始图像进行处理获得目标图像，如对原始图像进行分割得到部分图像等。

为了更方便理解本申请的技术方案，下面结合图4a～图4b分别所示的显示界面的显示示意图，及图4c所示的场景交互示意图，对本申请技术方案进行介绍。

结合图4c可知，服务端40可以基于原始图像以及原始图像对应的原始掩膜执行交互模拟操作41，以模拟获得原始掩膜对应的模拟交互位置。

其中，原始图像及原始掩膜可以由用户提供，当然，用户也可以通过客户端50仅提供该原始图像，客户端50可以将原始图像发送至服务端40，服务端40可以采用自动处理模型预测获得该原始图像的原始掩膜，由于该原始掩膜可能存在错误，准确度低，服务端40可以针对原始掩膜执行后续的掩膜处理操作，从而用户可以提供大量的原始图像，由服务端批量预测获得各自的原始掩膜，再可以按照本申请的技术方案，对不同原始图像对应的原始掩膜逐一进行修改或确认等；或者，客户端50也可以显示该原始图像并提供人工标注功能，用户可以针对该原始图像执行人工标注操作，服务端40可以基于人工标注操作确定原始图像对应的原始掩膜。

服务端40可以基于原始掩膜，生成对应的效果图像，并可以将效果图像发送至客户端50，客户端50可以提供显示界面，显示该效果图像。在一个实际应用中，如图4a中所示，在显示界面中可以显示原始图像51、效果图像可以包括根据原始掩膜处理原始图像获得的原始掩膜所对应的前景区域图像52，以及在原始图像中覆盖的标识图像53。假设原始图像为一个机器人的图像，用户想要提取机器人的头部信息，结合前景区域图像52，以及标识图像53可知，原始掩膜是存在错误的，用户可以针对原始图像中需要调整的位置执行进一步的用户交互操作，例如用户可以在原始图像51或标识图像53上想要调整的位置54执行点击操作，并可以设置该点击位置的属性标签为背景区域。客户端可以基于点击位置及属性标签向服务端40发送处理请求。

服务端40可以确定用户交互位置，基于用户交互位置、原始图像、原始掩膜，对模拟点击位置执行交互调整操作42，以获得调整点击位置。具体如何获得调整点击位置可以详见前文相应实施例中所述，此处不再重复赘述。

之后，服务端40可以根据调整点击位置、用户点击位置、原始图像执行掩膜预测操作43，以预测获得第一掩膜，具体如何获得第一掩膜可以详见前文相应实施例中所述，此处不再重复赘述。

服务端40可以基于该第一掩膜、用户点击位置、原始掩膜，执行掩膜修改操作44，以利用第一掩膜对原始掩膜进行修改，获得第二掩膜。

服务端40可以基于该第二掩膜更新效果图像45，客户端50同步更新效果图像，以供用户确认第二掩膜是否符合用户要求。如图4b，示出了用户在图4a的显示界面执行用户交互操作，获得第二掩膜，并基于第二掩膜更新了前景区域图像52，以及标识图像53。

若继续检测获得用户交互操作，客户端50会继续向服务端40发送处理请求，服务端40会将当前调整点击位置作为模拟点击位置，重复执行交互调整、掩膜预测、掩膜修改及更新效果图像的操作。其中，交互调整及掩膜预测操作中涉及的用户交互位置包括最新用户交互位置及历史交互位置，掩膜修改操作中涉及的用户交互位置为最新用户交互位置。

在显示界面中还可以显示确认提示信息55，以便于用户执行确认操作，可以将当前修改获得的第二掩膜作为原始图像的目标掩膜。

基于原始图像的目标掩膜，即可以进行相应图像处理操作等。

在一个实际应用中，本申请实施例的技术方案可以适用于对自动处理模型进行优化的场景中，如图5所示为本申请实施例提供的一种图像处理方法一个实施例的流程图，该方法可以包括以下几个步骤：

501：利用自动处理模型预测原始图像对应的原始掩膜。

该原始图像可以是任意图像或者自动处理模型的样本图像。

502：模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置。

503：输出原始掩膜对应的效果图像。

504：检测用户交互操作，确定用户交互位置；

505：基于用户交互位置及模拟交互位置，对目标图像进行掩膜预测，以获得原始图像对应的目标掩膜。

步骤502～步骤505的操作可以详见实施例1中步骤102～步骤105的操作，此处不再重复赘述。

506：利用原始图像及目标掩膜对自动处理模型重新进行训练。

意即原始图像以及目标掩膜可以作为训练样本，对自动处理模型重新进行训练，以进一步优化自动处理模型。

在又一个实际应用中，本申请实施例的技术方案可以适用于图片发布场景，如电商领域中，商品图片的发布等，商品图片由于往往是非专业拍摄获得，因此可以对商品图像进行处理，从中提取可以表达商品的核心内容区域，因此可以采用掩膜技术实现。目前通常采用自动处理模型预测掩膜，准确度可能不够高，需要进一步进行修改，参见图6所示的图像处理方法中，可以包括如下几个步骤：

601；获取原始图像的原始掩膜。

可选地，可以是利用自动处理模型预测原始图像对应的原始掩膜。

602：模拟针对原始图像对用户交互操作，获得原始掩膜对应的模拟交互位置。

603：输出原始掩膜对应的效果图像。

604：检测用户交互操作，确定用户交互位置。

605：基于用户交互位置及模拟交互位置，对原始图像进行掩膜预测，以获得目标掩膜。

步骤601～步骤605的操作可以详见实施例中步骤101～步骤105的操作，此处不再赘述。

606：确定目标掩膜对应的目标图像，并在接收到发布请求时，发布目标图像。

以掩膜为由0和1构成的二值化图像为例，目标掩膜中像素值为1的区域为前景区域，像素值为0的区域为背景区域，将目标掩膜与原始图像相应位置处的像素进行与运算，获得的前景区域图像可以作为目标图像，可以将前景区域图像像素值为0的区域进行裁剪，以获得目标图像。

发布目标图像可以是指将目标图像进行线上发布，以在相应网页中进行展示等。

当然，本申请提供的技术方案并不局限于应用于上述两种应用场景中，其它需要图像分割、特殊形状图形制作、图像内容屏蔽等应用场景均可以采用本申请的技术方案预测目标掩膜，以获得更加准确的掩膜，且无需大量人力劳动，降低了劳动成本等。

图7为本申请实施例提供的一种掩膜预测装置一个实施例的结构示意图，该装置以包括：

获取模块701，用于获取原始图像的原始掩膜；

模拟模块702，用于模拟针对原始图像的用户交互操作，获得原始掩膜对应的模拟交互位置；

输出模块703，用于输出原始图像对应的效果图像；

检测模块704，用于检测用户交互操作，确定用户交互位置；

预测模块705，用于基于用户交互位置及模拟交互位置，对原始图像进行掩膜预测，以获得目标掩膜。

在某些实施例中，该预测模块可以具体用于利用用户交互位置调整模拟交互位置，获得调整交互位置；基于用户交互位置及调整交互位置，利用交互式处理模型预测目标图像对应的第一掩膜；基于所述第一掩膜，获得对所述原始图像进行处理的目标掩膜。

可选地，基于所述第一掩膜，获得对所述原始图像进行处理的目标掩膜可以是：

利用第一掩膜对原始掩膜进行调整，获得第二掩膜；基于第二掩膜更新效果图像，并将调整交互位置作为模拟交互位置，重新触发检测模块执行直至获得满足用户要求的第二掩膜，并将其作为目标掩膜；或者，

基于所述第一掩膜更新所述效果图像，并将所述调整交互位置作为所述模拟交互位置，返回检测用户交互操作，确定用户交互位置的步骤继续执行，直至获得满足用户要求的第一掩膜，并将其作为目标掩膜。

在某些实施例中，预测模块利用第一掩膜对原始掩膜进行调整，获得第二掩膜可以包括：

确定第一掩膜与原始掩膜的区别区域；

若最新的用户交互位置位于区别区域，利用第一掩膜中该区别区域对应的像素值修改原始掩膜中该区别区域对应的像素值；

若用户交互位置未处于区别区域，确定用户交互位置所在的目标区域；

将原始掩膜中目标区域对应的像素值替换为第一掩膜中目标区域对应的像素值。

在某些实施例中，模拟模块可以具体用于将原始掩膜的中心位置作为第1次的模拟交互位置，确定模拟交互位置的属性标签为前景区域；

执行模拟操作直至获得k个模拟交互位置，其中，k≥2，该模拟操作包括：

基于前n-1个模拟交互位置，利用交互式处理模型预测原始图像对应的模拟掩膜；其中，n≥2；

将模拟掩膜与原始掩膜的最大联通区别区域的中心位置作为第n和模拟交互位置；

若第n个模拟交互位置在模拟掩膜中属于前景区域，确定第n个模拟交互位置的属性标签为背景区域，反之则为前景区域。

在某些实施例中，预测模块利用用户交互位置调整模拟交互位置，获得调整交互位置可以包括：

针对任一个模拟交互位置，计算用户交互位置与模拟交互位置对应的空间距离及颜色距离；

至少根据用户交互位置和模拟交互位置的属性标签、空间距离和/或颜色距离，删除满足筛除条件的模拟交互位置。

图7所述的图像处理装置可以执行图1所示实施例所述的图像处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的图像处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个可能的设计中，图7所示实施例的掩膜预测装置可以实现为计算设备，如图8所示，该计算设备可以包括存储组件801以及处理组件802；

存储组件801存储一条或多条计算机指令，其中，该一条或多条计算机指令供处理组件802调用执行，以实现上文任一实施例中所述的图像处理方法。

当然，计算设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。

输入/输出接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是输出设备、输入设备等。

通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。

其中，该计算设备可以为物理设备或者云计算平台提供的弹性计算主机等，此时计算设备即可以是指云服务器，上述处理组件、存储组件等可以是从云计算平台租用或购买的基础服务器资源。

该计算设备可以实现为成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。在此不做具体限定。

此外，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图1所示实施例的图像处理方法。

此外，本申请实施例还提供了一种显示装置，该显示装置可以提供一显示界面，用以显示基于原始图像的原始掩膜，生成的效果图像；

该显示界面可以检测用户交互操作，该用户交互操作对应的用户交互位置，结合模拟交互位置，可以对原始图像进行掩膜预测；其中，模拟交互位置根据原始掩膜，模拟针对原始图像的用户交互操作确定；

该显示界面还可以显示基于掩膜预测结果更新之后的效果图像。

此外，本申请实施例还提供了一种客户端，其可以包括显示控件以及处理引擎：

显示控件，用于提供显示界面；基于原始图像的原始掩膜，在所述显示界面显示所述原始掩膜对应的效果图像；

处理引擎，用于检测用户交互操作，向服务端发送处理请求，以供所述服务端确定在所述原始图像中的用户交互位置，并基于所述用户交互位置及模拟交互位置，对所述原始图像进行掩膜预测；所述模拟交互位置根据所述原始掩膜，模拟针对所述原始图像的用户交互操作确定；

显示控件还用于在所述显示界面显示基于掩膜预测结果更新之后的所述效果图像，以提示用户所述掩膜预测结果。

本申请实施例还提供了一种电子设备，如图9所示，该电子设备可以包括存储组件901、显示组件902以及处理组件903；

存储组件901存储一条或多条计算机指令，其中，该一条或多条计算机指令供处理组件903调用执行，以实现如下操作：

通过显示组件902提供显示界面；

基于原始图像的原始掩膜，在显示界面显示原始掩膜对应的效果图像；

检测用户交互操作，向服务端发送处理请求，以供服务端确定在原始图像中的用户交互位置，并基于用户交互位置及模拟交互位置，对原始图像进行掩膜预测；模拟交互位置根据原始掩膜，模拟针对原始图像的用户交互操作确定。

在显示界面显示基于掩膜预测结果更新之后的效果图像。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图3所示实施例的显示方法。

当然，该电子设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。输入/输出接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是输出设备、输入设备等。通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。

实际应用中，该电子设备例如可以是手机、个人电脑、笔记本、平板电脑等。

上述相应实施例中涉及的处理组件可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

显示组件可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种掩膜预测方法，其特征在于，包括：

获取原始图像的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；所述用户交互操作为在所述原始图像中为获得所述原始掩膜而执行的用户交互操作；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得对所述原始图像进行处理的目标掩膜。

2.根据权利要求1所述的方法，其特征在于，所述基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得对所述原始图像进行处理的目标掩膜包括：

利用所述用户交互位置调整所述模拟交互位置，获得调整交互位置；

基于所述用户交互位置及所述调整交互位置，利用交互式处理模型预测所述原始图像对应的第一掩膜；

基于所述第一掩膜，获得对所述原始图像进行处理的目标掩膜。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一掩膜，获得对所述原始图像进行处理的目标掩膜包括：

利用所述第一掩膜对所述原始掩膜进行调整，获得第二掩膜；

基于所述第二掩膜更新所述效果图像，并将所述调整交互位置作为所述模拟交互位置，返回检测用户交互操作，确定用户交互位置的步骤继续执行，直至获得满足用户要求的第二掩膜，并将其作为目标掩膜；

或者，

基于所述第一掩膜更新所述效果图像，并将所述调整交互位置作为所述模拟交互位置，返回检测用户交互操作，确定用户交互位置的步骤继续执行，直至获得满足用户要求的第一掩膜，并将其作为目标掩膜。

4.根据权利要求3所述的方法，其特征在于，利用所述第一掩膜对所述原始掩膜进行调整，获得第二掩膜包括：

确定所述第一掩膜与所述原始掩膜的区别区域；

若最新的用户交互位置位于所述区别区域，利用所述第一掩膜中所述区别区域对应的像素值修改所述原始掩膜中所述别区域对应的像素值；

若所述用户交互位置未处于所述区别区域，确定所述用户交互位置所在的目标区域；

利用所述第一掩膜中所述目标区域对应的像素值修改所述原始掩膜中所述目标区域对应的像素值。

5.根据权利要求1所述的方法，其特征在于，所述模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置包括：

将所述原始掩膜的中心位置作为第1次的模拟交互位置，确定所述模拟交互位置的属性标签为前景区域；

执行模拟操作直至获得k个模拟交互位置，其中，k≥2，所述模拟操作包括：

基于前n-1个模拟交互位置，利用交互式处理模型预测所述原始图像对应的模拟掩膜；其中，n≥2；

将所述模拟掩膜与所述原始掩膜的最大联通区别区域的中心位置作为第n个模拟交互位置；

若所述第n个模拟交互位置在所述模拟掩膜中属于前景区域，确定所述第n个模拟交互位置的属性标签为背景区域，反之则为前景区域。

6.根据权利要求3或4所述的方法，其特征在于，所述利用所述用户交互位置调整所述模拟交互位置，获得调整交互位置包括：

针对任一个模拟交互位置，计算所述用户交互位置与所述模拟交互位置对应的空间距离及颜色距离；

至少根据所述用户交互位置和所述模拟交互位置的属性标签、所述空间距离和/或所述颜色距离，删除满足筛除条件的模拟交互位置，并将删除后剩余的模拟交互位置作为调整交互位置。

7.一种显示方法，其特征在于，包括：

提供显示界面；

基于原始图像的原始掩膜，在所述显示界面显示所述原始掩膜对应的效果图像；

检测用户交互操作，向服务端发送处理请求，以供所述服务端确定在所述原始图像中的用户交互位置，并基于所述用户交互位置及模拟交互位置，对所述原始图像进行掩膜预测；所述模拟交互位置根据所述原始掩膜，模拟针对所述原始图像的用户交互操作确定；所述模拟针对所述原始图像的用户交互操作为在所述原始图像中为获得所述原始掩膜而执行的；在所述显示界面显示基于掩膜预测结果更新之后的效果图像，以提示用户所述掩膜预测结果。

8.一种图像处理方法，其特征在于，包括：

利用自动处理模型预测原始图像对应的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；所述用户交互操作为在所述原始图像中为获得所述原始掩膜而执行的用户交互操作；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得所述原始图像对应的目标掩膜；

利用所述原始图像及所述目标掩膜对所述自动处理模型重新进行训练。

9.一种图像处理方法，其特征在于，包括：

获取用户上传的原始图像，确定所述原始图像的原始掩膜；

模拟针对所述原始图像的用户交互操作，获得所述原始掩膜对应的模拟交互位置；所述用户交互操作为在所述原始图像中为获得所述原始掩膜而执行的用户交互操作；

输出所述原始掩膜对应的效果图像；

检测用户交互操作，确定用户交互位置；

基于所述用户交互位置及所述模拟交互位置，对所述原始图像进行掩膜预测，以获得目标掩膜；

确定按照所述目标掩膜对所述原始图像进行处理获得的目标图像，并在接收到发布请求时，发布所述目标图像。

10.一种计算设备，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，用于实现如权利要求1~6任一项所述的掩膜预测方法。