CN108961279A - 图像处理方法、装置及移动终端 - Google Patents
图像处理方法、装置及移动终端 Download PDFInfo
- Publication number
- CN108961279A CN108961279A CN201810685452.6A CN201810685452A CN108961279A CN 108961279 A CN108961279 A CN 108961279A CN 201810685452 A CN201810685452 A CN 201810685452A CN 108961279 A CN108961279 A CN 108961279A
- Authority
- CN
- China
- Prior art keywords
- image
- masking
- network model
- mentioned
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了图像处理方法、装置、移动终端及计算机可读存储介质，所述图像处理方法包括：获取待处理图像以及与所述待处理图像对应的三分图，所述三分图包括前景图像区域、背景图像区域以及未知图像区域；通过训练后的第一网络模型对所述待处理图像以及与所述待处理图像对应的三分图进行处理，获得所述待处理图像的第一蒙版；通过训练后的第二网络模型对所述第一蒙版进行处理，获得所述待处理图像的第二蒙版；根据所述第二蒙版获得所述待处理图像中目标图像的轮廓信息；根据所述目标图像的轮廓信息将所述目标图像从所述待处理图像中分离出来，获得所述目标图像。通过本申请，可以更准确、有效的分离出目标图像，提高抠图的精度。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及图像处理方法、装置、移动终端及计算机可读存储介质。
背景技术
抠图是图像处理中的一种常见操作。通过抠图，可以将图像中的某一部分(例如图像的前景、背景)从图像中分离出来，以进行图像的后期处理，例如将抠图分离出的前景图像与其他背景图像进行合成，或者对抠图分离出的图像区域进行区别于其他图像区域的处理。
然而，现有的抠图操作主要以色彩为特征对图像的前景和背景进行区别和分离，处理方式单一，且抠图精度较低。
发明内容
有鉴于此，本申请提供了一种图像处理方法、装置、移动终端及计算机可读存储介质，可以提高抠图的精度。
本申请的第一方面提供了一种图像处理方法，上述方法包括：
获取待处理图像以及与上述待处理图像对应的三分图，上述三分图包括前景图像区域、背景图像区域以及未知图像区域；
通过训练后的第一网络模型对上述待处理图像以及与上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版；
通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版；
根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息；
根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
本申请的第二方面提供了一种图像处理装置，上述装置包括：
获取模块，用于获取待处理图像以及与上述待处理图像对应的三分图，上述三分图包括前景图像区域、背景图像区域以及未知图像区域；
第一处理模块，用于通过训练后的第一网络模型对上述待处理图像以及与上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版；
第二处理模块，用于通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版；
信息模块，用于根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息；
分离模块，用于根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
本申请的第三方面提供了一种移动终端，上述移动终端包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面的方法的步骤。
本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面的方法的步骤。
本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请在通过第一网络模型对待处理图像进行处理得到第一蒙版之后，还需要通过第二网络模型对第一蒙版进行处理，以获得精度更高的第二蒙版，再根据精度更高的第二蒙版提取待处理图像中目标图像的轮廓信息，可以使得目标图像的轮廓信息提取的更准确，从而更准确、有效的分离出目标图像，提高抠图的精度，具有较强的易用性和实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的一种实现流程示意图；
图2是本申请实施例提供的图像处理方法的另一种实现流程示意图；
图3是本申请实施例提供的第一网络模型和第二网络模型的训练过程的一种实现流程示意图；
图4是本申请实施例提供的判断第一网络模型是否训练完成的一种实现流程示意图；
图5是本申请实施例提供的图像处理装置的结构示意图；
图6是本申请实施例提供的移动终端的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以根据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以根据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
参见图1，是本申请实施例提供的图像处理方法的实现流程示意图，该图像处理方法可以包括以下步骤：
步骤101，获取待处理图像以及与上述待处理图像对应的三分图，上述三分图包括前景图像区域、背景图像区域以及未知图像区域。
示例性的，上述待处理图像可以是移动终端启动相机后的预览画面中的图像、移动终端拍照得到的图像、移动终端中存储的图像、传输至移动终端的图像，也可以是从预先存储的视频或者用户输入的视频中获取的至少一帧图像等等，在此不作限定。
上述三分图，可以通过不同的标识区分不同的区域。例如，三分图可以是灰度图像，其中可以用白色来标识前景图像区域，用黑色来标识初步划分的背景图像区域，用灰色来标识未知图像区域。其中，前景图像可以是要显示出来的图像，前景图像区域可以是要显示出来的图像部分所在的区域，示例性的，上述三分图中上述前景图像区域可以是全透明的，从而使上述前景图像区域对应的前景图像显示出来。相应的，背景图像可以是不被显示出来的图像，背景图像区域指不被提取出来的图像所在的区域，示例性的，上述三分图中上述背景图像区域可以是完全不透明的，从而使上述背景图像区域对应的背景图像被遮盖住而不显示。未知图像区域为不确定是前景图像区域还是背景图像区域的区域。需要说明的是，上述前景图像区域中的前景图像可以是多样的，可以包括不止一个物体的图像，也可以包括物体图像的一部分或者场景图像等等，在此不作限定。
本申请实施例中，上述待处理图像的三分图可以有多种获取的方法，例如，可以是获取预先输入于移动终端中的三分图。此外，该三分图也可以是通过获取用户划分的区域生成的；或者，根据检测得到的上述待处理图像中的前景图像、背景图像的初步位置信息而生成的；或者，通过结合用户划分的区域和检测到的待处理图像中的各个目标的初步位置来确定前景图像及前景图像的前景图像区域、背景图像区域以及未知图像区域，从而生成三分图。
其中，上述三分图的一种获取方式可以是：通过目标检测等方法获取到待处理图像中的各个目标和各个目标的位置信息，例如，可以通过卷积神经网络模型对待处理图像进行目标检测，从而获取待处理图像中各个目标的类型信息和位置信息；再依据指定的规则确定其中的至少一个目标为前景，并获取该目标的位置信息，再依据该目标的位置信息可以得到上述待处理图像中的前景图像区域、背景图像区域以及未知图像区域，从而得到上述待处理图像对应的三分图。
步骤102，通过训练后的第一网络模型对上述待处理图像以及上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版。
本申请实施例中，蒙版中可以包括透明度信息，上述透明度信息可以包括指示透明程度的信息，其中，可以通过[0,100％]的线性区间来表示透明度，透明度为0表示完全不透明，透明度为1表示完全透明。通过蒙版中的透明度信息，可以对图像的区域进行选择。例如，蒙版中可以包括256位的灰度信息，其中白色表示透明度为100％，黑色表示透明度为0％，灰度在(0,1)区间对应表示不同等级的透明度。蒙版大小与图像大小相同或者对应时，可将蒙版置于在图像的上层，此时透明度为100％的区域会是显示出来，可以认为该区域为前景图像区域，而透明度为0％的区域被遮盖，可以认为该区域为背景图像区域，此时，可以依据蒙版的透明度信息区分对应图像的前景图像、背景图像等，从而进行抠图。
本申请实施例中，上述第一蒙版可以包括用于表示图像的透明度信息的灰色通道的信息，如Alpha通道，该灰色通道可以是8位的，其中包括256级灰度。灰度值可以与透明度建立映射关系，如线性映射关系，从而可以通过不同的灰度值表示不同的透明度。上述第一蒙版的分辨率可以与上述待处理图像的分辨率一致，即上述第一蒙版的尺寸的长度和宽度可以与上述待处理图像的尺寸的长度和宽度一致。
本申请实施例中，上述第一网络模型可以包括卷积编码解码网络。通过上述训练后的第一网络模型，可以将提取上述待处理图像中的多级特征，上述多级特征可以包括色彩特征、边缘特征、语义特征、轮廓特征以及图像的全局特征等，其中语义特征可以体现待处理图像中的某些物体的类别、含义等等，全局特征可以包括图像中的轮廓特征、全局的颜色特征等等。提取上述待处理图像中的多级特征后，上述第一网络模型可以再依据提取的多级特征重建图像，从而识别出图像的前景图像区域和/或背景图像区域。通过上述第一网络模型，可以获取到待处理图像中的多级特征，而不仅仅局限于图像的色彩特征等单一特征，并且通过利用多样的特征信息，可以提高识别的准确性，并可以提升对不同类型的待处理图像进行识别的适应能力。
可选的，本申请实施例中，上述第一网络模型可以包括编码子网络模型和解码子网络模型；
相应的，上述通过训练后的第一网络模型对上述待处理图像以及上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版可以包括：
将上述待处理图像以及上述待处理图像对应的三分图输入上述训练后的第一网络模型；
通过上述训练后的第一网络模型中的编码子网络模型获取上述待处理图像的特征信息；
根据上述特征信息，通过上述训练后的第一网络模型中的解码子网络模型获得上述样本图像的第一蒙版。
其中，上述待处理图像的特征信息可以包括色彩特征信息、边缘特征信息、语义特征信息、轮廓特征信息以及图像的全局特征信息等信息中的至少一种。
编码子模型可以用于提取上述待处理图像中的多级特征。示例性的，上述编码子模型可以包括卷积层和池化层，例如，可以包括14个卷积层和5个池化层。其中卷积层可以用于对图像特征进行提取，而池化层可以通过对数据进行采样来压缩数据规模，对输入的数据进行有效的信息凝练。
上述解码子模型可以依据提取的多级特征重建图像。示例性的，上述解码子模型可以包括卷积层和上采样层，其中通过上采样可以实现反池化的过程，得到与待处理图像的尺寸大小一致的第一蒙版。上述解码子模型的卷积层可以有6个，上采样层可以有5个。
步骤103，通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版。
其中，可以依据上述待处理图像通过训练后的第二网络模型对上述第一蒙版进行处理。将上述待处理图像与上述第一蒙版输入上述训练后的第二网络模型，通过训练后的第二网络模型，可以对上述第一蒙版进行处理，使得输出的第二蒙版中的透明度信息比第一蒙版中的透明度信息更准确，从而提高后续的图像处理精度。其中，上述待处理图像可以对应一个期望得到的准确的蒙版，此时，可以认为上述第一蒙版中的透明度信息与上述期望得到的准确的蒙版的透明度信息的差别多于上述第二蒙版中的透明度信息与上述期望得到的准确的蒙版的透明度信息的差别。
上述第二蒙版与上述第一蒙版相对应。其中上述第二蒙版可以包括用于表示图像的透明度信息的灰色通道的信息，从而可以通过不同的灰度值表示不同的透明度。上述第二蒙版的分辨率可以与上述待处理图像的分辨率一致，即上述第二蒙版的尺寸的长度和宽度可以与上述待处理图像的尺寸的长度和宽度一致。
示例性的，上述第二网络模型可以是全卷积网络模型，其中可以包括4个卷积层，前3个卷积层后连接一个非线性映射层。其中上述非线性映射层可以进行非线性映射处理，提高模型的非线性性，减少过拟合，上述非线性映射处理可以包括采用线性整流函数(Rectified Linear Unit，ReLU)作为非线性映射函数。通过ReLU进行非线性映射处理，能减轻在模型训练时，由于卷积后数据梯度呈指数下降而导致训练十分缓慢的问题。
步骤104，根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息。
本申请实施例中，可以通过上述第二蒙版的透明度信息得到上述待处理图目标图像的轮廓信息。其中，上述目标图像可以是要分离提取出来的图像，上述目标图像可以基于前景图像和/或背景图像来获得。
示例性的，上述目标图像可以包括至少一个前景图像和/或至少一个背景图像。例如，上述第二蒙版中的黑色区域表示待处理图像的背景图像区域，上述第二蒙版中的白色区域表示待处理图像的前景图像区域，上述第二蒙版中的灰色区域表示待处理图像的前景图像区域与背景图像区域重合的区域，且该灰色区域依据灰度值实现不同程度的透明度。根据上述第二蒙版可以获得上述待处理图像中前景图像的轮廓信息和/或背景图像的轮廓信息。此时，该白色区域的边缘和该灰色区域结合，或者该黑色区域与该白色区域之间的交界处可以构成上述待处理图像的前景图像的轮廓，从而得到上述待处理图像中的前景图像的轮廓信息。同理，可以得到上述待处理图像中的背景图像的轮廓信息。当上述目标图像包括至少一个前景图像和/或至少一个背景图像时，可以根据该前景图像和/或背景图像的轮廓信息来得到上述目标图像的轮廓信息。
步骤105，根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
根据上述目标图像的轮廓信息，可以将上述目标图像从上述待处理图像中提取出来，从而得到与上述待处理图像分离开来的目标图像。其中，当上述目标图像包括至少一个前景图像和/或至少一个背景图像时，可以通过上述前景图像的轮廓信息获得上述前景图像，还可以通过上述前景图像的轮廓信息获得前景图像后，将除去前景图像后的待处理图像的部分作为背景图像；或者可以通过上述背景图像的轮廓信息获得上述背景图像，还可以通过上述背景图像的轮廓信息获得背景图像后，将除去背景图像后的待处理图像的部分作为前景图像，从而获得上述目标图像。
需要说明的是，可以在保留待处理图像的完整性的基础上获得提取出的上述目标图像，也可以在待处理图像中将上述目标图像与待处理图像中的其他图像分割开。
本申请实施例中，在通过第一网络模型对待处理图像进行处理得到第一蒙版之后，还需要通过第二网络模型对第一蒙版进行处理，以获得精度更高的第二蒙版，再根据精度更高的第二蒙版提取待处理图像中目标图像的轮廓信息，可以使得目标图像的轮廓信息提取的更准确，从而更准确、有效的分离出目标图像，提高抠图的精度，具有较强的易用性和实用性。
参见图2，是本申请实施例提供的图像处理方法的另一实现流程示意图，该图像处理方法可以包括以下步骤：
步骤201，获取待处理图像以及与上述待处理图像对应的三分图，上述三分图中包括前景图像区域、背景图像区域以及未知图像区域。
步骤202，通过训练后的第一网络模型对上述待处理图像以及上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版。
步骤203，通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版。
步骤204，根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息。
步骤205，根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
在本申请实施例中，上述步骤201、202、203、204以及205与上述步骤101、102、103、104以及105相同，具体可参见上述步骤101、102、103、104以及105的相关描述，在此不再赘述。
步骤206，为上述目标图像设置选定框；
步骤207，根据上述目标图像的轮廓信息通过上述目标图像对应的选定框对上述前景图像进行框选并显示。
本申请实施例中，可以为上述目标图像以及上述目标图像中的不同区域设置不同的选定框。上述选定框可以是矩形框、圆形框等表示形式，也可以是依据轮廓信息沿着轮廓围绕成的选定框。可以通过不同的颜色等不同表示形式来区分不同区域的选定框，在此不作限定。上述选定框的表示形式可以是预先设置的，也可以是用户设置的。
本申请实施例中，通过对上述前景图像进行框选并显示和/或对上述背景图像进行框选并显示，可以便于用户对框选的前景图像和/或背景图像进行处理，例如将前景图像裁剪出来，与其他背景图像进行合并，或者对框选的不同图像区域进行分别处理等等。
可选的，上述申请实施例提供的图像处理方法还可以包括上述第一网络模型和上述第二网络模型的训练过程。参见图3，是上述第一网络模型和上述第二网络模型的训练过程的一种实现流程示意图，该第一网络模型和第二网络模型的训练过程可以包括以下步骤：
步骤301，构建上述第一网络模型和上述第二网络模型。
示例性的，本申请实施例中，上述第一网络模型可以是卷积编码解码网络模型，上述第二网络模型可以是全卷积网络模型。可以选择开源的卷积网络模型作为第一网络模型和第二网络模型，或者依据终端的计算能力、存储空间以及样本图像的特征类型等因素设计第一网络模型以及第二网络模型，从而使得第一网络模型可以从图像以及图像对应的三分图中提取特征，再依据提取的特征重建得到对应的蒙版，使得第二网络模型可以提高输入的蒙版的准确性。
步骤302，获取样本图像、上述样本图像对应的标准蒙版以及上述样本图像对应的三分图。
其中，上述样本图像可以是预先存储的图像，也可以是用户输入的图像等。需要说明的是，上述样本图像、上述样本图像对应的标准蒙版以及上述样本图像对应的三分图的形式可以是多样化的。可以将上述样本图像、上述样本图像对应的标准蒙版以及上述样本图像对应的三分图组合成训练集，以训练集的形式进行存储和使用。
上述标准蒙版可以包括上述标准蒙版对应的样本图像中的目标图像的准确的轮廓信息。示例性的，上述标准蒙版可以包括灰度信息，将上述标准蒙版与该标准蒙版对应的样本图像进行合成，从而提取出准确的目标图像。
上述样本图像对应的三分图中可以包括上述样本图像的前景图像区域、背景图像区域以及未知图像区域。
步骤303，通过上述第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，获得上述样本图像的第三蒙版，将上述第三蒙版与上述标准蒙版进行比较，并根据上述第三蒙版和上述标准蒙版的比较结果调整上述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该参数调整后的第一网络模型作为上述训练后的第一网络模型。
本申请实施例中，上述第三蒙版可以包括用于表示上述样本图像的透明度信息的灰色通道的信息。
其中，上述第一网络模型的参数可以包括第一网络模型中每个卷积层的权重、偏差、回归函数的系数，还可以包括学习速率、迭代次数、每层神经元的个数等。
示例性的，上述第一条件可以是上述训练蒙版与标准蒙版的比较结果中两者的数据的误差减小至一个稳定的范围内。需要说明的是，判断第三蒙版与标准蒙版的比较结果是否符合第一条件可以是通过判断由第一网络模型的参数构建得到的代价函数的值是否符合指定条件来实现，也可以通过比较该第三蒙版与标准蒙版的视觉差异等方法来实现。
示例性的，本申请实施例中，可以通过第一网络模型的代价函数来判断第一网络模型输出的第三蒙版与标准蒙版的比较结果是否符合第一条件。代价函数可以用于评估第一网络模型的检测结果与真实结果的差距。例如，第一网络模型的代价函数可以是关于第一网络模型的均方误差的函数，或者是关于第一网络模型的交叉熵的函数。当参数调整后的第一网络模型的代价函数的值小于指定值，且稳定在一定的数据区间内时，可认为参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件。
其中，可选的，判断上述第一网络模型是否训练完成的一种实现流程示意图可参见图4，图4中包含步骤3031-步骤3038。
步骤3031，通过上述第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，获得上述样本图像的第三蒙版。
步骤3032，根据上述第一网络模型的参数构建上述第一网络模型的透明度代价函数，其中，上述透明度代价函数用于表示上述第三蒙版中的透明度信息相对于上述标准蒙版的透明度信息的误差。
其中，示例性的，透明度代价函数可以是关于第三蒙版中的灰度数据和标准蒙版中的灰度数据的均方误差的函数，也可以是关于第三蒙版中的灰度数据和标准蒙版中的灰度数据的交叉熵的函数。
步骤3033，根据上述第一网络模型的参数构建上述第一网络模型的色彩代价函数，其中，上述色彩代价函数用于表示依据上述第三蒙版获得的上述样本图像的样本目标图像中的色彩信息相对于标准目标图像中的色彩信息的误差，上述标准目标图像通过上述标准蒙版从上述样本图像中提取得到。
本申请实施例中，上述色彩信息可以是图像的红绿蓝(Red Green Blue，RGB)色彩信息。色彩代价函数可以是关于第三蒙版中的RGB数据和标准蒙版中的RGB数据的均方误差的函数，也可以是关于第三蒙版中的RGB数据和标准蒙版中的RGB数据的交叉熵的函数。
其中，上述样本目标图像可以是要从上述样本图像中分离提取出来的图像，上述样本目标图像可以基于上述样本图像的前景图像和/或上述样本图像的背景图像来获得。示例性的，依据上述第三蒙版获得的上述样本图像的前景图像可以是根据上述第三蒙版得到上述样本图像中的前景图像的轮廓信息，根据上述样本图像中的前景图像的轮廓信息将该前景图像从上述样本图像中分离出来，获得上述样本图像的前景图像。依据上述第三蒙版获得的上述样本图像的背景图像可以是根据上述第三蒙版得到上述样本图像中的背景图像的轮廓信息，根据上述样本图像中的背景图像的轮廓信息将该背景图像从上述样本图像中分离出来，获得上述样本图像的背景图像，当上述样本目标图像包括至少一个前景图像和/或至少一个背景图像时，可以根据该样本图像的前景图像和/或该样本图像的背景图像的轮廓信息来得到上述样本目标图像的轮廓信息。
步骤3034，根据上述透明度代价函数和上述色彩代价函数构建上述第一网络模型的目标代价函数。
其中，示例性的，可以通过为上述透明度代价函数和上述色彩代价函数分配不同的权重以及加、乘等运算方式构建上述目标代价函数。
通过透明度代价函数和色彩代价函数来构建第一网络模型的目标代价函数，可以通过两个判断要素判断训练中第一网络模型输出的第三蒙版的准确性，从而提高第一网络模型的训练准确度，并为第一网络模型的参数调整提供多种参考因素，如可以参考透明度误差和对应的前景图像的色彩误差。
步骤3035，根据上述第三蒙版、上述标准蒙版和上述样本图像得到上述目标代价函数的代价值。
例如，可以通过第三蒙版的灰度数据和标准蒙版的灰度数据的得到透明度代价函数的值；再根据第三蒙版和上述样本图像得到依据上述第三蒙版获得的上述样本图像的前景图像中的色彩信息，并根据标准蒙版和上述样本图像得到标准前景图像中的色彩信息，从而得到色彩代价函数的值；依据透明度代价函数的值和色彩代价函数的值得到上述目标代价函数的代价值。
步骤3036，判断上述代价值是否符合目标结果。
上述目标结果可以是第一网络模型依据不同的样本图像得到的代价值均小于目标代价值，或者第一网络模型依据不同的样本图像得到的代价值均处于目标区间时，认为上述代价值符合目标结果。
步骤3037，若上述代价值符合目标结果，则确定参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该参数调整后的第一网络模型作为训练后的第一网络模型。
其中，得到训练后的第一网络模型后，可以通过该训练后的第一网络模型依据样本图像得到至少一个第三蒙版，再通过该第三蒙版训练第二网络模型。
步骤3038，根据上述代价值调整上述第一网络模型的参数，再返回执行步骤3031。
示例性的，可以通过分析在第一网络模型中输入不同样本图像所得到的代价值的变化趋势，来分析上述目标代价函数中误差的来源，从而调整上述第一网络模型的参数，例如调整第一网络模型的迭代次数、卷积层的权重等等。
步骤304，通过上述第二网络模型对上述训练后的第一网络模型输出的第三蒙版进行处理，获得上述样本图像的第四蒙版，将上述第四蒙版与上述标准蒙版进行比较，并根据上述第四蒙版和上述标准蒙版的比较结果调整上述第二网络模型的参数，直到参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件，并将该参数调整后的第二网络模型作为上述训练后的第二网络模型。
上述第二网络模型的参数可以包括第二网络模型中每个卷积层的权重、偏差、回归函数的系数，还可以包括学习速率、迭代次数、每层神经元的个数等。
本申请实施例中，上述第四蒙版与上述第三蒙版相对应。示例性的，可以通过第二网络模型的代价函数来判断第二网络模型输出的第四蒙版与标准蒙版的比较结果是否符合第二条件。例如，第二网络模型的代价函数可以是关于第二网络模型输出的第四蒙版中的透明度信息与标准蒙版中的透明度信息的均方误差的函数，或者是关于上述第四蒙版中的透明度信息与标准蒙版中的透明度信息的交叉熵的函数。
示例性的，当参数调整后的第二网络模型中输入不同的样本图像，其代价函数的值小于指定值，或者稳定在一定的数据区间内时，可认为参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件。
本申请实施例中，通过采用透明度代价函数和色彩代价函数构建目标代价函数，可以为判断第一网络模型是否训练好提供至少两方面的判断依据，提高判断的准确性，并可以为训练过程中第一网络模型的参数调整提供参考，从而提高训练效率，具有较强的实用性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参见图5，是本申请实施例提供的图像处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。该图像处理装置可以用于各种具备图像处理功能的终端，例如笔记本电脑、口袋计算机(Pocket Personal Computer，PPC)、个人数字助理(Personal Digital Assistant，PDA)等中，可以为内置于这些终端内的软件单元、硬件单元或者软硬件结合单元等。本申请实施例中的图像处理装置500包括：
获取模块501，用于获取待处理图像以及与上述待处理图像对应的三分图，上述三分图包括前景图像区域、背景图像区域以及未知图像区域；
第一处理模块502，用于通过训练后的第一网络模型对上述待处理图像以及上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版；
第二处理模块503，用于通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版；
信息模块504，用于根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息；
分离模块505，用于根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
可选的，上述装置500还包括：
选定模块，用于为上述目标图像设置选定框；
显示模块，用于根据上述目标图像的轮廓信息通过上述目标图像对应的选定框对上述前景图像进行框选并显示。
可选的，上述装置500还包括：
构建模块，用于构建上述第一网络模型和上述第二网络模型；
样本模块，用于获取样本图像、上述样本图像对应的标准蒙版以及上述样本图像对应的三分图；
第一训练模块，用于通过上述第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，获得上述样本图像的第三蒙版，将上述第三蒙版与上述标准蒙版进行比较，并根据上述第三蒙版和上述标准蒙版的比较结果调整上述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该上述参数调整后的第一网络模型作为上述训练后的第一网络模型；
第二训练模块，用于通过上述第二网络模型对上述训练后的第一网络模型输出的第三蒙版进行处理，获得上述样本图像的第四蒙版，将上述第四蒙版与上述标准蒙版进行比较，并根据上述第四蒙版和上述标准蒙版的比较结果调整上述第二网络模型的参数，直到参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件，并将该参数调整后的第二网络模型作为上述训练后的第二网络模型。
可选的，上述第一训练模块具体包括：
第一构建单元，用于根据上述第一网络模型的参数构建上述第一网络模型的透明度代价函数，其中，上述透明度代价函数用于表示上述第三蒙版中的透明度信息相对于上述标准蒙版的透明度信息的误差；
第二构建单元，用于根据上述第一网络模型的参数构建上述第一网络模型的色彩代价函数，其中，上述色彩代价函数用于表示依据上述第三蒙版获得的上述样本图像的样本目标图像中的色彩信息相对于标准目标图像中的色彩信息的误差，上述标准目标图像通过上述标准蒙版从上述样本图像中提取得到；
第三构建单元，用于根据上述透明度代价函数和上述色彩代价函数构建上述第一网络模型的目标代价函数；
判断单元，用于根据上述第三蒙版、上述标准蒙版和上述样本图像得到上述目标代价函数的代价值，并判断上述代价值是否符合目标结果；
确定单元，用于若上述代价值符合目标结果，则确定参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件。
可选的，上述装置500还包括：
调整模块，用于若上述代价值不符合目标结果，则根据上述代价值调整上述第一网络模型的参数；通过该参数调整后的第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，重新获得上述样本图像的第三蒙版。
可选的，上述装置500中，上述第一网络模型包括编码子网络模型和解码子网络模型；
相应的，上述第一处理模块502具体用于：
将上述待处理图像以及上述待处理图像对应的三分图输入上述训练后的第一网络模型；
通过上述训练后的第一网络模型中的编码子网络模型获取上述待处理图像的特征信息；
根据上述特征信息，通过上述训练后的第一网络模型中的解码子网络模型获得上述样本图像的第一蒙版。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供了一种移动终端，请参阅图6，本申请实施例中的移动终端包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及模块，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：
获取待处理图像以及与上述待处理图像对应的三分图，上述三分图包括前景图像区域、背景图像区域以及未知图像区域；
通过训练后的第一网络模型对上述待处理图像以及与上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版；
通过训练后的第二网络模型对上述第一蒙版进行处理，获得上述待处理图像的第二蒙版；
根据上述第二蒙版获得上述待处理图像中目标图像的轮廓信息；
根据上述目标图像的轮廓信息将上述目标图像从上述待处理图像中分离出来，获得上述目标图像。
假设上述为第一种可能的实施方式，则在上述第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
为上述目标图像设置选定框；
根据上述目标图像的轮廓信息通过上述目标图像对应的选定框对上述前景图像进行框选并显示。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
构建上述第一网络模型和上述第二网络模型；
获取样本图像、上述样本图像对应的标准蒙版以及与上述样本图像对应的三分图；
通过上述第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，获得上述样本图像的第三蒙版，将上述第三蒙版与上述标准蒙版进行比较，并根据上述第三蒙版和上述标准蒙版的比较结果调整上述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该参数调整后的第一网络模型作为上述训练后的第一网络模型；
通过上述第二网络模型对上述训练后的第一网络模型输出的第三蒙版进行处理，获得上述样本图像的第四蒙版，将上述第四蒙版与上述标准蒙版进行比较，并根据上述第四蒙版和上述标准蒙版的比较结果调整上述第二网络模型的参数，直到参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件，并将该参数调整后的第二网络模型作为上述训练后的第二网络模型。
在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述将上述第三蒙版与上述标准蒙版进行比较，并根据上述第三蒙版和上述标准蒙版的比较结果调整上述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件包括：
根据上述第一网络模型的参数构建上述第一网络模型的透明度代价函数，其中，上述透明度代价函数用于表示上述第三蒙版中的透明度信息相对于上述标准蒙版的透明度信息的误差；
根据上述第一网络模型的参数构建上述第一网络模型的色彩代价函数，其中，上述色彩代价函数用于表示依据上述第三蒙版获得的上述样本图像的样本目标图像中的色彩信息相对于标准目标图像中的色彩信息的误差，上述标准目标图像通过上述标准蒙版从上述样本图像中提取得到；
根据上述透明度代价函数和上述色彩代价函数构建上述第一网络模型的目标代价函数；
根据上述第三蒙版、上述标准蒙版和上述样本图像得到上述目标代价函数的代价值，并判断上述代价值是否符合目标结果；
若上述代价值符合目标结果，则确定参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
若上述代价值不符合目标结果，则根据上述代价值调整上述第一网络模型的参数；
通过该参数调整后的第一网络模型对上述样本图像以及上述样本图像对应的三分图进行处理，重新获得上述样本图像的第三蒙版。
在第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述第一网络模型包括编码子网络模型和解码子网络模型；
相应的，上述通过训练后的第一网络模型对上述待处理图像以及上述待处理图像对应的三分图进行处理，获得上述待处理图像的第一蒙版包括：
将上述待处理图像以及上述待处理图像对应的三分图输入上述训练后的第一网络模型；
通过上述训练后的第一网络模型中的编码子网络模型获取上述待处理图像的特征信息；
根据上述特征信息，通过上述训练后的第一网络模型中的解码子网络模型获得上述样本图像的第一蒙版。
进一步，如图6所示，上述移动终端还可包括：一个或多个输入设备603(图6中仅示出一个)和一个或多个输出设备604(图6中仅示出一个)。存储器601、处理器602、输入设备603和输出设备604通过总线605连接。
应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备603可以包括键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备604可以包括显示器、扬声器等。
存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类型的信息。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元、模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像以及与所述待处理图像对应的三分图，所述三分图包括前景图像区域、背景图像区域以及未知图像区域；
通过训练后的第一网络模型对所述待处理图像以及与所述待处理图像对应的三分图进行处理，获得所述待处理图像的第一蒙版；
通过训练后的第二网络模型对所述第一蒙版进行处理，获得所述待处理图像的第二蒙版；
根据所述第二蒙版获得所述待处理图像中目标图像的轮廓信息；
根据所述目标图像的轮廓信息将所述目标图像从所述待处理图像中分离出来，获得所述目标图像。
2.如权利要求1所述的图像处理方法，其特征在于，在根据所述目标图像的轮廓信息将所述目标图像从所述待处理图像中分离出来，获得所述目标图像之后，还包括：
为所述目标图像设置选定框；
根据所述目标图像的轮廓信息通过所述目标图像对应的选定框对所述前景图像进行框选并显示。
3.如权利要求1所述的图像处理方法，其特征在于，所述第一网络模型和所述第二网络模型的训练过程包括：
构建所述第一网络模型和所述第二网络模型；
获取样本图像、所述样本图像对应的标准蒙版以及与所述样本图像对应的三分图；
通过所述第一网络模型对所述样本图像以及所述样本图像对应的三分图进行处理，获得所述样本图像的第三蒙版，将所述第三蒙版与所述标准蒙版进行比较，并根据所述第三蒙版和所述标准蒙版的比较结果调整所述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该参数调整后的第一网络模型作为所述训练后的第一网络模型；
通过所述第二网络模型对所述训练后的第一网络模型输出的第三蒙版进行处理，获得所述样本图像的第四蒙版，将所述第四蒙版与所述标准蒙版进行比较，并根据所述第四蒙版和所述标准蒙版的比较结果调整所述第二网络模型的参数，直到参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件，并将该参数调整后的第二网络模型作为所述训练后的第二网络模型。
4.如权利要求3所述的图像处理方法，其特征在于，所述将所述第三蒙版与所述标准蒙版进行比较，并根据所述第三蒙版和所述标准蒙版的比较结果调整所述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件包括：
根据所述第一网络模型的参数构建所述第一网络模型的透明度代价函数，其中，所述透明度代价函数用于表示所述第三蒙版中的透明度信息相对于所述标准蒙版的透明度信息的误差；
根据所述第一网络模型的参数构建所述第一网络模型的色彩代价函数，其中，所述色彩代价函数用于表示依据所述第三蒙版获得的所述样本图像的样本目标图像中的色彩信息相对于标准目标图像中的色彩信息的误差，所述标准目标图像通过所述标准蒙版从所述样本图像中提取得到；
根据所述透明度代价函数和所述色彩代价函数构建所述第一网络模型的目标代价函数；
根据所述第三蒙版、所述标准蒙版和所述样本图像得到所述目标代价函数的代价值，并判断所述代价值是否符合目标结果；
若所述代价值符合目标结果，则确定参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件。
5.如权利要求4所述的图像处理方法，其特征在于，在判断所述代价值是否符合目标结果之后，还包括：
若所述代价值不符合目标结果，则根据所述代价值调整所述第一网络模型的参数；
通过该参数调整后的第一网络模型对所述样本图像以及所述样本图像对应的三分图进行处理，重新获得所述样本图像的第三蒙版。
6.如权利要求1至5任意一项所述的图像处理方法，其特征在于，所述第一网络模型包括编码子网络模型和解码子网络模型；
相应的，所述通过训练后的第一网络模型对所述待处理图像以及所述待处理图像对应的三分图进行处理，获得所述待处理图像的第一蒙版包括：
将所述待处理图像以及所述待处理图像对应的三分图输入所述训练后的第一网络模型；
通过所述训练后的第一网络模型中的编码子网络模型获取所述待处理图像的特征信息；
根据所述特征信息，通过所述训练后的第一网络模型中的解码子网络模型获得所述样本图像的第一蒙版。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像以及与所述待处理图像对应的三分图，所述三分图包括前景图像区域、背景图像区域以及未知图像区域；
第一处理模块，用于通过训练后的第一网络模型对所述待处理图像以及与所述待处理图像对应的三分图进行处理，获得所述待处理图像的第一蒙版；
第二处理模块，用于通过训练后的第二网络模型对所述第一蒙版进行处理，获得所述待处理图像的第二蒙版；
信息模块，用于根据所述第二蒙版获得所述待处理图像中目标图像的轮廓信息；
分离模块，用于根据所述目标图像的轮廓信息将所述目标图像从所述待处理图像中分离出来，获得所述目标图像。
8.如权利要求7所述的图像处理装置，其特征在于，所述装置还包括：
构建模块，用于构建所述第一网络模型和所述第二网络模型；
样本模块，用于获取样本图像、所述样本图像对应的标准蒙版以及与所述样本图像对应的三分图；
第一训练模块，用于通过所述第一网络模型对所述样本图像以及所述样本图像对应的三分图进行处理，获得所述样本图像的第三蒙版，将所述第三蒙版与所述标准蒙版进行比较，并根据所述第三蒙版和所述标准蒙版的比较结果调整所述第一网络模型的参数，直到参数调整后的第一网络模型输出的第三蒙版与标准蒙版的比较结果符合第一条件，并将该参数调整后的第一网络模型作为所述训练后的第一网络模型；
第二训练模块，用于通过所述第二网络模型对所述训练后的第一网络模型输出的第三蒙版进行处理，获得所述样本图像的第四蒙版，将所述第四蒙版与所述标准蒙版进行比较，并根据所述第四蒙版和所述标准蒙版的比较结果调整所述第二网络模型的参数，直到参数调整后的第二网络模型输出的第四蒙版与标准蒙版的比较结果符合第二条件，并将该参数调整后的第二网络模型作为所述训练后的第二网络模型。
9.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810685452.6A CN108961279A (zh) | 2018-06-28 | 2018-06-28 | 图像处理方法、装置及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810685452.6A CN108961279A (zh) | 2018-06-28 | 2018-06-28 | 图像处理方法、装置及移动终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108961279A true CN108961279A (zh) | 2018-12-07 |
Family
ID=64487376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810685452.6A Pending CN108961279A (zh) | 2018-06-28 | 2018-06-28 | 图像处理方法、装置及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961279A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727193A (zh) * | 2019-01-10 | 2019-05-07 | 北京旷视科技有限公司 | 图像虚化方法、装置及电子设备 |
| CN109829925A (zh) * | 2019-01-23 | 2019-05-31 | 清华大学深圳研究生院 | 一种在抠图任务中提取干净前景的方法及模型训练方法 |
| CN109920042A (zh) * | 2019-02-19 | 2019-06-21 | 网易（杭州）网络有限公司 | 虚拟地貌生成方法、装置及可读存储介质 |
| CN109949386A (zh) * | 2019-03-07 | 2019-06-28 | 北京旷视科技有限公司 | 一种纹理图像生成方法及装置 |
| CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110599515A (zh) * | 2019-08-14 | 2019-12-20 | 北京影谱科技股份有限公司 | 一种前景对象自动分层处理方法、装置、系统及存储介质 |
| CN111161286A (zh) * | 2020-01-02 | 2020-05-15 | 大连理工大学 | 一种交互式自然图像抠图方法 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| CN111223106A (zh) * | 2019-10-28 | 2020-06-02 | 稿定（厦门）科技有限公司 | 全自动人像蒙版抠图方法及系统 |
| CN111383238A (zh) * | 2018-12-28 | 2020-07-07 | Tcl集团股份有限公司 | 目标检测方法、目标检测装置及智能终端 |
| CN111383232A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 抠图方法、装置、终端设备及计算机可读存储介质 |
| CN111598903A (zh) * | 2020-05-21 | 2020-08-28 | Oppo广东移动通信有限公司 | 人像分割方法、装置、存储介质和电子设备 |
| CN111784726A (zh) * | 2019-09-25 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 人像抠图方法和装置 |
| CN111815649A (zh) * | 2020-06-30 | 2020-10-23 | 清华大学深圳国际研究生院 | 一种人像抠图方法及计算机可读存储介质 |
| CN111954082A (zh) * | 2019-05-17 | 2020-11-17 | 上海哔哩哔哩科技有限公司 | 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质 |
| CN111954081A (zh) * | 2019-05-17 | 2020-11-17 | 上海哔哩哔哩科技有限公司 | 获取蒙版数据的方法、计算机设备及可读存储介质 |
| CN112329616A (zh) * | 2020-11-04 | 2021-02-05 | 北京百度网讯科技有限公司 | 目标检测方法、装置、设备以及存储介质 |
| CN112734778A (zh) * | 2021-01-28 | 2021-04-30 | 携程计算机技术（上海）有限公司 | 基于神经网络的车辆抠图方法、系统、设备及存储介质 |
| CN112954198A (zh) * | 2021-01-27 | 2021-06-11 | 北京有竹居网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN112990331A (zh) * | 2021-03-26 | 2021-06-18 | 共达地创新技术(深圳)有限公司 | 图像处理方法、电子设备和存储介质 |
| CN113034648A (zh) * | 2021-04-30 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN113329173A (zh) * | 2021-05-19 | 2021-08-31 | Tcl通讯（宁波）有限公司 | 一种影像优化方法、装置、存储介质及终端设备 |
| US20210279883A1 (en) * | 2020-03-05 | 2021-09-09 | Alibaba Group Holding Limited | Image processing method, apparatus, electronic device, and storage medium |
| CN114219976A (zh) * | 2021-11-04 | 2022-03-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备、存储介质及计算机产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516319A (zh) * | 2017-09-05 | 2017-12-26 | 中北大学 | 一种高精度简易交互式抠图方法、存储设备及终端 |
| CN108154086A (zh) * | 2017-12-06 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种图像提取方法、装置及电子设备 |
-
2018
- 2018-06-28 CN CN201810685452.6A patent/CN108961279A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516319A (zh) * | 2017-09-05 | 2017-12-26 | 中北大学 | 一种高精度简易交互式抠图方法、存储设备及终端 |
| CN108154086A (zh) * | 2017-12-06 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种图像提取方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| NING XU等: "Deep Image Matting", 《CVPR》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383238A (zh) * | 2018-12-28 | 2020-07-07 | Tcl集团股份有限公司 | 目标检测方法、目标检测装置及智能终端 |
| CN111383232B (zh) * | 2018-12-29 | 2024-01-23 | Tcl科技集团股份有限公司 | 抠图方法、装置、终端设备及计算机可读存储介质 |
| CN111383232A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 抠图方法、装置、终端设备及计算机可读存储介质 |
| CN109727193A (zh) * | 2019-01-10 | 2019-05-07 | 北京旷视科技有限公司 | 图像虚化方法、装置及电子设备 |
| CN109829925B (zh) * | 2019-01-23 | 2020-12-25 | 清华大学深圳研究生院 | 一种在抠图任务中提取干净前景的方法及模型训练方法 |
| CN109829925A (zh) * | 2019-01-23 | 2019-05-31 | 清华大学深圳研究生院 | 一种在抠图任务中提取干净前景的方法及模型训练方法 |
| CN109920042A (zh) * | 2019-02-19 | 2019-06-21 | 网易（杭州）网络有限公司 | 虚拟地貌生成方法、装置及可读存储介质 |
| CN109949386A (zh) * | 2019-03-07 | 2019-06-28 | 北京旷视科技有限公司 | 一种纹理图像生成方法及装置 |
| CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
| CN111954081A (zh) * | 2019-05-17 | 2020-11-17 | 上海哔哩哔哩科技有限公司 | 获取蒙版数据的方法、计算机设备及可读存储介质 |
| CN111954082A (zh) * | 2019-05-17 | 2020-11-17 | 上海哔哩哔哩科技有限公司 | 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110599515A (zh) * | 2019-08-14 | 2019-12-20 | 北京影谱科技股份有限公司 | 一种前景对象自动分层处理方法、装置、系统及存储介质 |
| CN111784726A (zh) * | 2019-09-25 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 人像抠图方法和装置 |
| CN111223106A (zh) * | 2019-10-28 | 2020-06-02 | 稿定（厦门）科技有限公司 | 全自动人像蒙版抠图方法及系统 |
| CN111161286B (zh) * | 2020-01-02 | 2023-06-20 | 大连理工大学 | 一种交互式自然图像抠图方法 |
| CN111161286A (zh) * | 2020-01-02 | 2020-05-15 | 大连理工大学 | 一种交互式自然图像抠图方法 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| US20210279883A1 (en) * | 2020-03-05 | 2021-09-09 | Alibaba Group Holding Limited | Image processing method, apparatus, electronic device, and storage medium |
| US11816842B2 (en) * | 2020-03-05 | 2023-11-14 | Alibaba Group Holding Limited | Image processing method, apparatus, electronic device, and storage medium |
| CN111598903A (zh) * | 2020-05-21 | 2020-08-28 | Oppo广东移动通信有限公司 | 人像分割方法、装置、存储介质和电子设备 |
| CN111598903B (zh) * | 2020-05-21 | 2023-09-29 | Oppo广东移动通信有限公司 | 人像分割方法、装置、存储介质和电子设备 |
| CN111815649B (zh) * | 2020-06-30 | 2023-12-01 | 清华大学深圳国际研究生院 | 一种人像抠图方法及计算机可读存储介质 |
| CN111815649A (zh) * | 2020-06-30 | 2020-10-23 | 清华大学深圳国际研究生院 | 一种人像抠图方法及计算机可读存储介质 |
| CN112329616B (zh) * | 2020-11-04 | 2023-08-11 | 北京百度网讯科技有限公司 | 目标检测方法、装置、设备以及存储介质 |
| CN112329616A (zh) * | 2020-11-04 | 2021-02-05 | 北京百度网讯科技有限公司 | 目标检测方法、装置、设备以及存储介质 |
| CN112954198A (zh) * | 2021-01-27 | 2021-06-11 | 北京有竹居网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN112734778A (zh) * | 2021-01-28 | 2021-04-30 | 携程计算机技术（上海）有限公司 | 基于神经网络的车辆抠图方法、系统、设备及存储介质 |
| CN112990331A (zh) * | 2021-03-26 | 2021-06-18 | 共达地创新技术(深圳)有限公司 | 图像处理方法、电子设备和存储介质 |
| CN113034648A (zh) * | 2021-04-30 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN113329173A (zh) * | 2021-05-19 | 2021-08-31 | Tcl通讯（宁波）有限公司 | 一种影像优化方法、装置、存储介质及终端设备 |
| CN114219976A (zh) * | 2021-11-04 | 2022-03-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备、存储介质及计算机产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961279A (zh) | 图像处理方法、装置及移动终端 | |
| CN111104962B (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
| CN108446697B (zh) | 图片处理方法、电子装置及存储介质 | |
| CN108898579A (zh) | 一种图像清晰度识别方法、装置和存储介质 | |
| Liu et al. | GcsDecolor: gradient correlation similarity for efficient contrast preserving decolorization | |
| US11887217B2 (en) | Text editing of digital images | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| CN109064390A (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
| CN110414428A (zh) | 一种生成人脸属性信息识别模型的方法 | |
| CN109086753B (zh) | 基于双通道卷积神经网络的交通标志识别方法、装置 | |
| CN106650615B (zh) | 一种图像处理方法及终端 | |
| Bakaev et al. | Auto-extraction and integration of metrics for web user interfaces | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| EP4047509A1 (en) | Facial parsing method and related devices | |
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及系统 | |
| CN107766349A (zh) | 一种生成文本的方法、装置、设备及客户端 | |
| CN114402369A (zh) | 人体姿态的识别方法、装置、存储介质及电子设备 | |
| CN108898549A (zh) | 图片处理方法、图片处理装置及终端设备 | |
| CN107545049A (zh) | 图片处理方法及相关产品 | |
| CN108351962A (zh) | 具有自适应性通道特征的对象检测 | |
| CN110597965A (zh) | 文章的情感极性分析方法、装置、电子设备及存储介质 | |
| CN111784665A (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
| CN113392791A (zh) | 一种皮肤预测处理方法、装置、设备及存储介质 | |
| Kudubayeva et al. | The use of correlation analysis in the algorithm of dynamic gestures recognition in video sequence | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
| RJ01 | Rejection of invention patent application after publication |