CN109903291B - 图像处理方法及相关装置 - Google Patents

Abstract

本发明实施例提供图像处理方法及相关装置，以提取出前景对象。上述方法包括：获取原始图像，其中，原始图像包括前景对象；将所述原始图像输入深度神经网络进行前景提取，得到前景区域；从所述前景区域中获取所述前景对象的像素点；根据所述前景对象的像素点形成掩膜，其中，所述掩膜包括所述原始图像的各个像素点对应的掩膜值；根据所述掩膜从所述原始图像中提取出所述前景对象。在本发明实施例中，先确定出前景区域，再从前景区域中获取前景对象的像素点，进而形成掩膜，这样，可令生成的掩膜轮廓精细，则后续使用该掩膜从原始图像中提取出的前景对象相应也会精细。

Description

图像处理方法及相关装置

技术领域

本发明涉及图像处理技术领域，具体涉及图像处理方法及相关装置。

背景技术

数学图像抠图是指把前景对象(例如人物、车辆等)从已有的自然图像中分离出来的一种技术，它最早被运用于影视业的特效制作中，为影视业赢得了巨大的商业价值。

数学图像抠图开始为固定背景抠图，比如，将一幅蓝色背景的人像图中的前景对象(人物)与蓝色背景分离。

随着科技的日益发展，数学图像抠图逐渐渗入到人们的日常生活中，并从固定背景抠图发展到自然背景抠图。图1示例性得示出了一张有着自然背景的图像，其中，自然背景11中包含窗帘、地毯等，在完成抠图后，可从该图像中将前景对象12(一位女性)与自然背景11分离，将自然背景11去除。

自然背景抠图在众多领域中有着良好的应用前景，如何将前景对象提取出来，是目前研究的热门。

发明内容

有鉴于此，本发明实施例提供图像处理方法及相关装置，以提取出前景对象。

为实现上述目的，本发明实施例提供如下技术方案：

一种图像处理方法，包括：

获取原始图像，所述原始图像包括前景对象；

将所述原始图像输入深度神经网络进行前景提取，得到前景区域；

从所述前景区域中获取所述前景对象的像素点；

根据所述前景对象的像素点形成掩膜，其中，所述掩膜包括所述原始图像的各个像素点对应的掩膜值；

根据所述掩膜从所述原始图像中提取出所述前景对象。

一种图像处理装置，包括：

获取单元，用于获取原始图像，所述原始图像包括前景对象；

前景背景分离单元，用于将所述原始图像输入深度神经网络进行前景提取，得到前景区域；

分割单元，用于从所述前景区域中获取所述前景对象的像素点，并根据所述前景对象的像素点形成掩膜，所述掩膜包括所述原始图像的各个像素点对应的掩膜值；

提取单元，用于根据所述掩膜从所述原始图像中提取出所述前景对象。

一种图像处理设备，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。

本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。

可见，在本发明实施例中，先确定出前景区域，再从前景区域中获取前景对象的像素点，进而形成掩膜，这样，可令生成的掩膜轮廓精细，则后续使用该掩膜从原始图像中提取出的前景对象相应也会精细。

附图说明

图1为本发明实施例提供的有着自然背景的原始图像示意图；

图2a为本发明实施例提供的应用场景示意图；

图2b为本发明实施例提供的图像处理装置的示例性结构图；

图2c为本发明实施例提供的图像处理设备的示例性结构图；

图3、6、8为本发明实施例提供的图像处理方法的示例性流程图；

图4a、图4b为本发明实施例提供的包含前景区域的图像示意图；

图5为本发明实施例提供的掩膜示意图；

图7a为本发明实施例提供的提取出的前景对象的示意图；

图7b为本发明实施例提供的姿势识别后的结果示意图。

具体实施方式

本发明实施例提供图像处理方法及相关装置(图像处理装置、图像处理设备)，其适用于提取人物(全身、半身、乃至诸如人头等身体部位)的场景需求，也可用于提取其他前景对象(例如车)。

本发明的核心思想是：先提取出前景区域，再从前景区域中获取前景对象的像素点，进而形成掩膜(mask)，再使用掩膜从具有自然背景的图像中提取出前景对象。

在介绍完核心思想后，下面介绍本发明实施例所涉及的装置。

上述图像处理装置可以软件或硬件的形式应用于图像处理设备中。具体的，图像处理设备可为诸如台式机、移动终端(例如智能手机)、ipad等的终端，也可以是提供图像处理服务的服务器。

当以软件形式应用于图像处理设备中时，上述图像处理装置可为独立的软件。当然，也可作为大型系统(例如操作系统)的子系统(子组件)，提供图像处理服务。

当以硬件形式应用于图像处理设备中时，上述图像处理装置示例性的可为终端或服务器的控制器/处理器。

图2a示出了上述图像处理装置的一种示例性应用场景(客户端-服务器场景)。在该应用场景中包括web服务器21、图像处理服务器22，此外，还可包括模型训练服务器23。

其中，web服务器21为前端(前台)，负责与客户端浏览器通信，图像处理服务器22、模型训练服务器23等为后端，图像处理服务器22可提供图像处理服务，模型训练服务器23可用于训练图像处理服务器22使用的图像处理算法(例如抠图算法)，或者，提供训练用的图像样本。

上述图像处理装置即部署在图像处理服务器22中。

当然，上述图像处理装置的应用场景也可以是：用户选定照片或视频，在终端(例如智能手机)上对选定的照片或视频进行图像处理(例如抠图)。此时，需在终端上部署图像处理装置。

下面介绍图像处理装置的内部结构，图像处理装置的一种示例性结构如图2b所示，包括：获取单元201、前景背景分离单元202、分割单元203和提取单元204。

本文后续将结合图像处理方法介绍各单元的功能。

图2c示出了上述实施例中图像处理设备的一种可能的结构示意图，包括：

总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(NetworkProcessor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器2中保存有执行本发明技术方案的程序或脚本，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。脚本则通常以文本(如ASCII)保存，只在被调用时进行解释或编译。

更具体的，存储器2可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器 (random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、语音输入装置、触摸屏等。

输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。

通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

可以理解的是，图2c仅仅示出了图像处理设备的简化设计。在实际应用中，图像处理设备可以包含任意数量的发射器，接收器，处理器，控制器，存储器，通信接口等，而所有可以实现本发明的服务器/智能终端都在本发明的保护范围之内。

处理器1通过执行存储器2中所存放的程序以及调用其他设备，可实现下述实施例提供的图像处理方法。

此外，图2b所示的图像处理装置各单元的功能，可由前述的处理器1执行存储器2中所存放的程序以及调用其他设备实现。

上述图像处理方法和图像处理装置可用于对图像(例如相片)、视频进行抠图。需要说明的是，视频也是由一帧帧图像构成，因此可对构成视频的每一帧图像进行抠图，从而完成对整个视频的抠图处理。

由于对视频的抠图处理，也是基于对单幅图像的抠图处理，因此，本文后续将以对单幅图像进行抠图处理为例来介绍技术方案。

下面将基于上面所述的本发明涉及的共性方面，对本发明实施例进一步详细说明。

图3示出了由图像处理装置执行的图像处理方法的一种示例性流程，其至少可包括如下步骤：

300部分：获取原始图像；

原始图像可包括前景对象。

图1给出了原始图像的示例图，这张原始图像包含自然背景11和前景对象12(一位女性)。

在不同的场景下，图像处理装置获取原始图像的方式有多种。以终端应用场景为例，用户可在终端上启动图像处理装置(例如抠图软件)，图像处理装置的界面可提供拍照/摄像按钮，用户点击拍照/摄像按钮来调用终端的拍摄装置(例如摄像头)来拍摄照片或视频，拍摄的照片或视频可存于终端本地图库，则图像处理装置可获取拍摄到的照片或视频作为原始图像进行抠图。

或者，用户也可在终端的本地图库中选择已拍摄的照片或视频，启动图像处理装置对选择的照片或视频进行抠图，则图像处理装置可从本地图库中获取用户选定的照片或视频作为原始图像进行后续的抠图处理。更具体的，图像处理装置可作为图像编辑组件(例如“美化”选项下的图像编辑组件)，为用户提供图像处理服务。

再例如，在客户端-服务器场景下，可由客户端向服务器侧发送照片或视频，则部署在服务器侧的图像处理装置可获取客户端提供的照片或视频作为原始图像。

在一个示例中，可由前述的获取单元201执行300部分。

301部分：将上述原始图像输入深度神经网络进行前景提取，得到前景区域。

在一个示例中，可由前述的前景背景分离单元202执行301部分。

上述原始图像中，前景区域之外的部分为背景区域。

图像一般是由多个像素点组成，在具体实现时，可判断原始图像中的每一像素点是前景点还是背景点，如果是背景点，可为其分配第一像素值(例如0)，以将其标识为背景；如果是前景点，为其分配第二像素值(例如 255)，以将其标识为前景。则以图1所示原始图像为例，得到包含前景区域的图像可如图4a所示。

或者，也在判断出像素点为背景点时，可为其分配固定的像素值(例如0 或255)，而在判断出像素点为前景点时，保持其像素值不变，则以图1所示原始图像为例，提取出的包含前景区域的图像可如图4b示。

通过上述叙述可知，前景区域由前景点组成。

由图4a和图4b可见，前景区域中可能包含图1中的前景对象和部分背景，后续要进一步去除背景。

在具体实现时，可采用多种算法或模型来提取前景区域，例如使用混合高斯背景模型、深度神经网络等来提取前景区域，本领域技术人员可根据需要进行灵活选择和设计，在此不作赘述。

302部分：从上述前景区域中获取前景对象的像素点，并根据获取的前景对象的像素点形成掩膜(mask)。

与301部分的前景背景分离相比，302部分进行了更为精细的分割处理。

上述掩膜可包括原始图像的各个像素点对应的掩膜值。

可由前述的分割单元203执行302部分。

可采用多种算法从上述前景区域中获取前景对象的像素点，例如，可使用graphcut算法进行更为精细的分割处理，从前景区域中分割出前景对象的像素点和背景的像素点。

在一个示例中，可为分割出的、组成背景的像素点分配第一像素值(例如0)，而为分割出的、组成前景对象的像素点分配第二像素值(例如255)，上述第一像素值和第二像素值均为掩膜值。

以图1所示的原始图像为例，采用graph cut算法得到的掩膜可如图5所示。

在其他示例中，还可将上述前景区域划分为多个子区域，对每一子区域使用graphcut算法进行分割，得到子分割结果；然后，再合并各子分割结果，最终形成掩膜。

303部分：根据上述掩膜从原始图像中提取出前景对象。

如何使用掩膜从原始图像中提取出前景对象可参见现有方式，在此不作赘述。

可见，在本发明实施例中，先确定出前景区域，再从前景区域中获取前景对象的像素点，进而形成掩膜，这样，可令生成的掩膜轮廓精细，则后续使用该掩膜从原始图像中提取出的前景对象相应也会精细。

下面，将以深度神经网络结合graph cut算法为例，进行更为详细的介绍。

深度神经网络是由“神经元”按层级结构组成，其间的权重和偏移量都是可训练得到的。

深度神经网络包括输入层和输出层，在输入层和输出层中间夹着数层隐藏层，每一层由多个神经元组成，同一层的神经元之间没有连接。每一层的输出将作为下一层的输入。

当然，深度神经网络事先需要经过训练，训练好的深度神经网络可作为图像处理装置或图像处理装置的组成部分，完成抠图操作。

在本发明实施例中，可由深度神经网络完成前景区域的提取，由graph cut 算法从前景区域中获取前景对象的像素点。

则前述提及的前景背景分离单元202具体可为深度神经网络或可调用深度神经网络，而分割单元203则可执行或调用graph cut算法。

在实现上，可由深度神经网络的一个分支(或隐藏层)执行graph cut算法，此时，深度神经网络可完成前景背景分离单元202和分割单元203的功能，当然，也可由深度神经网络之外的网络或算法模块执行graph cut算法。

图6示出了深度神经网络结合graph cut算法实现的图像处理方法的一种示例性流程，在本实施例中，深度神经网络可包括前景背景分离层以确定背景区域，其至少可包括如下步骤：

600部分：深度神经网络获取原始图像；

600部分与前述300部分相类似，在此不作赘述。

601部分：深度神经网络对上述原始图像进行编码，得到原始向量并输入前景背景分离层；

将原始图像编码可得到一个固定的向量，也即得到固定的特征。

需要说明的是，在图像处理中往往会把图像表示为向量，比如一个1000 ×1000的图像，可以表示为一个1000000的向量。

深度神经网络一般只能对特定长度(长度由深度神经网络输入层的维度决定)的向量进行操作，因此图像需要展开成向量(也即用向量表征图像) 才能输入给深度神经网络。601部分对原始图像进行编码，可得到符合深度神经网络要求长度的向量。

602部分：深度神经网络的前景背景分离层根据输入的原始向量提取出前景区域；

前景区域的相关介绍可参见前述301部分的记载，在此不作赘述。

在实际中，以头发为例，若头发被风吹起，发丝间的像素点可能被判断为前景点，因此，在得到前景区域后，后续还要对其进行精细化处理。

除前景区域外，深度神经网络的输入层或其他层(例如前景背景分离层) 还可提取原始向量的像素级特征和抽象特征中的至少一种。

上述像素级特征可包括颜色、形状、边缘、纹理特征等。

而抽象特征可包括辨别关键特征，例如，是否有人、图像包含的前景是人还是狗等。

603部分：将前景区域中的像素点作为指定的前景像素点，将位于前景区域之外的像素点作为指定的背景像素点。

需要说明的是，现有的graph cut算法需要由用户以某种交互手段指定图像的部分前景与部分背景，也即，需要用户指定前景对象和背景的一些种子点，很多情况下，用户会因经验不足等多种原因，而无法精确指定前景种子点和背景种子点。

而在本实施例中，由于在602部分已经得到了前景区域，因此可自动将前景区域中的一些像素点作为前景种子点，将位于前景区域之外的像素点作为背景种子点。除了简化流程外，也可避免用户无法精确指定部分前景与部分背景的问题。

603部分可由前景背景分离单元202执行，也可由执行graph cut算法的分割单元203执行。

604部分：使用graph cut算法(根据前景种子点和背景种子点)对上述前景区域进行分割。

在602部分得到的前景区域中可能包含前景对象和一部分背景，因此，还需要对其进行分割，从前景区域中分离出前景。

在本实施例中，会使用graph cut算法进行两次分割，所以604部分得到的分割结果可称为初步分割结果(或称为初步掩膜)。掩膜值如何设置可参见前述记载，在此不作赘述。

当然，在本发明其他实施例中，也可只使用graph cut算法分割一次，则不再需要执行后续的606部分。

graph cut算法可把图像分割问题与图的最小割(min cut)问题相关联，将图的顶点划分为两个不相交的子集，这两个子集就对应于前景像素集和背景像素集，从而完成了图像的前景与背景的分割。Graph cuts算法是比较成熟的算法，对于graph cuts算法如何使用前景种子点和背景种子点进行分割，在此不作赘述。

之后，graph cut算法可将初步分割结果输入深度神经网络，根据前述的记载，输入进深度神经网络的初步分割结果为向量形式。

当然，若由深度神经网络的一层隐藏层执行graph cut算法，则上述初步分割结果也是向量，该隐藏层可将初步分割结果输出给下一层进行解码。

605部分：深度神经网络对上述初步分割结果进行解码，得到解码结果。

前述提及了初步分割结果是向量，解码会将初步分割结果这个向量还原成图像。

为了与后续实施例中的解码结果相区别，可将604部分得到的解码结果称为第一解码结果。

在一个示例中，若深度神经网络为卷积深度神经网络，则可对向量进行反卷积，得到解码结果。

解码结果的大小受深度神经网络输出层的维度决定。

606部分：对(第一)解码结果使用graph cut算法进行二次分割，得到二次分割结果。

二次分割时，可采用在初次分割时得到的前景像素集和背景像素集中的像素点分别作为前景种子点和背景种子点。

在本发明其他实施例中，在进行二次分割前，还可将第一解码结果转换为graphcut算法需要的数据形式，再进行二次分割。二次分割结果可称为二次掩膜，掩膜值如何设置可参见前述记载，在此不作赘述。

607部分：深度神经网络输出最终分割结果。

最终分割结果也为掩膜，以图1所示原图为例，采用本实施例所提供的技术方案处理得到的掩膜可如图5所示，可见，本实施例将发丝与背景进行了精确分离。

需要说明的是，在具体实施时，可根据602部分提取的特征，将提取出的前景区域分为多个子区域，分别由不同的任务对子区域执行603-606部分的处理，得到多个二次子分割结果，然后，在607部分将多个二次子分割结果融合在一起，得到最终分割结果，并输出。

更具体的，以前景区域包含人物为例，可根据像素级特征和抽象特征中的至少一种，识别出不同的部位/形状(人头、手臂、躯干等)，根据识别结果将前景区域分为子区域，不同子区域包含不同的部位(例如头部子区域、手臂子区域、躯干区域等)，或也可认为不同子区域呈现不同的形状，然后，分别由处理不同部位的任务(例如人头处理任务、手臂处理任务、躯干处理任务)来分别对各子区域进行603-606部分的处理。

在一个示例中，深度神经网络可具有多个接口(分支)，每个接口对应一项任务，每项任务负责的功能不同。例如，可由多项任务对前景区域分别进行初步人像分割(604部分)、解码、二次人像分割(606部分)，每一任务侧重不同的部位，例如，任务A对人头的处理最优，有些任务对手臂的处理最优，有些任务对躯干的处理最优。因此，可分别由不同任务处理不同部位，最后再将多个任务得到的分割结果融合在一起，得到最终分割结果，并输出。

当然，若未将前景区域划分为多个子区域分别进行处理，则可将二次分割结果直接作为最终分割结果输出。

在其他实施例中，也可由graph cut算法输出最终分割结果。

604部分、606和607部分均可由前述的分割单元203执行。

608部分：使用最终分割结果从原始图像中提取出前景对象。

需要说明的是，若输出的最终分割结果的尺寸大小(分辨率)与原始图像不符，可对最终分割结果的尺寸大小进行转换，转换成与原始图像相符的尺寸大小。

以图1所示原图为例，提取出的前景对象可如图7a所示。

在本发明其他实施例中，在提取出前景对象后，还可进一步基于前景对象进行姿势识别，从而可对人身进行识别分析与追踪。例如，请参见图7b，即为姿势识别后的结果，在图7b中，对头部和手臂的姿势用线条进行了标示。

608部分可由提取单元204执行。在本发明其他实施例中，也可由深度神经网络的某一层完成提取单元204的功能。

此外，在本发明其他实施例中，graph cut算法也可在解码后进行，图8 示出了一种示例性流程，其至少可包括如下步骤：

800-802部分与前述600-602部分相同，在此不作赘述。

803部分：深度神经网络对前景区域进行解码，得到(第二)解码结果；

解码相关介绍请参见前述605部分的记载，在此不作赘述。

804部分与前述的603部分相类似，在此不作赘述。

805部分：使用graph cut算法从第二解码结果对应的前景区域中分割出前景对象的像素点和背景的像素点，得到分割结果。

805部分与前述的604部分相类似，在此不作赘述。

806部分：输出最终分割结果。

在具体实施时，可根据802部分提取的特征，将提取出的前景区域分为多个子区域，分别由不同的任务对子区域执行805部分的处理，得到多个子分割结果，然后，在806部分将多个子分割结果融合在一起，得到最终分割结果，并输出。

当然，若未将前景区域划分为多个子区域，则可将805部分得到的分割结果作为最终分割结果直接输出。

806部分与前述的607部分相类似，在此不作赘述。

807部分：根据最终的分割结果从原始图像中提取出前景对象。

807部分与前述的608部分相类似，在此不作赘述。

需要说明的是，现有图像处理方法中，有直接使用graph cut算法对原始图像进行抠图处理的，本发明实施例与之相比，是先进行前景区域提取，再使用graph cut算法对前景区域进行分割。由于前景区域本身包含的背景较少，因此，可进行更为有效、更精细的分割。

此外，现有的graph cut算法需要由用户以某种交互手段指定图像的部分前景与部分背景，也即，需要用户指定前景对象和背景的一些种子点，很多情况下，用户会因经验不足等多种原因，而无法精确指定前景种子点和背景种子点。

而在本实施例中，由于先行提取了前景区域，因此可自动将前景区域中的一些像素点作为前景种子点，将前景区域之外的一些像素点作为背景种子点。除了简化流程外，也可避免用户无法精确指定部分前景与部分背景的问题。

此外，现有抠图方式也有使用对抗学习网络进行抠图处理的，但对抗学习网络对于复杂背景并非能够很好地进行抠图，这是因为对抗学习网络的抠图并不是像素级的。而本申请中的抠图是像素级的，更加适用于复杂背景下的抠图。

下面再简单介绍本发明实施例所涉及的装置。

前述提及了图像处理装置包括：获取单元201、前景背景分离单元202、分割单元203和提取单元204。

在本发明其他实施例中，在获取上述前景对象的像素点的方面，上述所有实施例中的分割单元203可具体用于：

使用graph cut算法从上述前景区域中分割出前景对象的像素点和背景的像素点，得到分割结果；

对上述分割结果进行解码，得到第一解码结果；其中，第一解码结果用于形成掩膜。

或者，在获取上述前景对象的像素点的方面，上述所有实施例中的中的分割单元203可具体用于：

对上述前景区域进行解码，得到第二解码结果；

使用graph cut算法从上述第二解码结果中分割出前景对象的像素点和背景的像素点，得到分割结果；该分割结果用于形成掩膜。

相关介绍请参见本文前述的记载，在此不作赘述。

而在使用graph cut算法分割出前景对象的像素点和背景的像素点之前，上述分割单元203还可用于：

将上述前景区域中的像素点作为指定的前景像素点；而将位于前景区域之外的像素点作为指定的背景像素点。

相关介绍请参见本文前述的记载，在此不作赘述。

此外，在本发明其他实施例中，上述分割单元203还可将前景区域或第二解码结果划分为多个子区域，对每一子区域使用所述graph cut算法进行分割，得到子分割结果；合并各子分割结果，得到分割结果，其中，该分割结果用于形成掩膜。

本发明实施例还要求保护图像处理设备，其至少包括处理器和存储器，该处理器通过执行存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。

本发明实施例还要求保护一种存储介质，该存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明任一实施例所提供的图像处理方法中的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取原始图像，所述原始图像包括前景对象；

将所述原始图像输入深度神经网络，使所述深度神经网络对所述原始图像进行编码，得到原始向量并输入前景背景分离层；

所述深度神经网络的前景背景分离层根据输入的所述原始向量提取出前景区域；

将所述前景区域中的像素点作为指定的前景种子点，将位于所述前景区域之外的像素点作为指定的背景种子点；

根据所述前景种子点和所述背景种子点，将所述前景区域划分为多个子区域，对每一子区域使用graph cut算法进行初步分割，得到子分割结果，合并各所述子分割结果，得到初步分割结果，所述初步分割结果用于形成初步掩膜；

所述深度神经网络对所述初步分割结果进行解码，得到第一解码结果；

对所述第一解码结果使用所述graph cut算法进行二次分割，得到二次分割结果，所述二次分割结果用于形成二次掩膜，二次分割时，采用在初步分割时得到的前景像素集和背景像素集中的像素点分别作为前景种子点和背景种子点；

将多个所述二次掩膜融合在一起，得到最终掩膜；

使用所述最终掩膜从所述原始图像中提取出所述前景对象。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

对所述前景区域进行解码，得到第二解码结果；

使用graph cut算法从所述第二解码结果中分割出所述前景对象的像素点和背景的像素点，得到分割结果；所述分割结果用于形成所述掩膜。

3.如权利要求2所述的方法，其特征在于，在使用graph cut算法从所述第二解码结果中分割出所述前景对象的像素点和背景的像素点之前，还包括：

将位于所述前景区域中的像素点作为指定的前景像素点；

将位于所述前景区域之外的像素点作为指定的背景像素点；其中，所述指定的前景像素点和指定的背景像素点用于所述graph cut算法分割出所述前景对象的像素点和所述背景的像素点。

4.一种图像处理装置，其特征在于，包括：

获取单元，用于获取原始图像，所述原始图像包括前景对象；

前景背景分离单元，用于将所述原始图像输入深度神经网络，使所述深度神经网络对所述原始图像进行编码，得到原始向量并输入前景背景分离层；所述深度神经网络的前景背景分离层根据输入的所述原始向量提取出前景区域；将所述前景区域中的像素点作为指定的前景种子点，将位于所述前景区域之外的像素点作为指定的背景种子点；

分割单元，用于根据所述前景种子点和所述背景种子点，将所述前景区域划分为多个子区域，对每一子区域使用graph cut算法进行初步分割，得到子分割结果，合并各所述子分割结果，得到初步分割结果，所述初步分割结果用于形成初步掩膜；所述深度神经网络对所述初步分割结果进行解码，得到第一解码结果；对所述第一解码结果使用所述graph cut算法进行二次分割，得到二次分割结果，所述二次分割结果用于形成二次掩膜，二次分割时，采用在初步分割时得到的前景像素集和背景像素集中的像素点分别作为前景种子点和背景种子点；将多个所述二次掩膜融合在一起，得到最终掩膜；

提取单元，用于使用所述最终掩膜从所述原始图像中提取出所述前景对象。

5.如权利要求4所述的装置，其特征在于，在获取所述前景对象的像素点的方面，所述分割单元具体还用于：

对所述前景区域进行解码，得到第二解码结果；

使用graph cut算法从所述第二解码结果中分割出所述前景对象的像素点和背景的像素点，得到分割结果；所述分割结果用于形成所述掩膜。

6.如权利要求5所述的装置，其特征在于，在所述使用graph cut算法从所述第二解码结果中分割出所述前景对象的像素点和所述背景的像素点之前，所述分割单元还用于：

将所述前景区域中的像素点作为指定的前景像素点；

将位于所述前景区域之外的像素点作为指定的背景像素点；其中，所述指定的前景像素点和指定的背景像素点用于所述graph cut算法分割出所述前景对象的像素点和所述背景的像素点。

7.一种图像处理设备，其特征在于，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行如权利要求1-3任一项所述的图像处理方法。

8.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至3任一项所述的图像处理方法中的步骤。

Images