CN111179285B - 一种图像处理方法、系统及存储介质 - Google Patents

一种图像处理方法、系统及存储介质 Download PDF

Info

Publication number
CN111179285B
CN111179285B CN201911420677.XA CN201911420677A CN111179285B CN 111179285 B CN111179285 B CN 111179285B CN 201911420677 A CN201911420677 A CN 201911420677A CN 111179285 B CN111179285 B CN 111179285B
Authority
CN
China
Prior art keywords
matting
image
result
matting result
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911420677.XA
Other languages
English (en)
Other versions
CN111179285A (zh
Inventor
张子扬
朱锦钊
林铠骏
王娇
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Fangtu Intelligent Technology Co ltd
Original Assignee
Zhuhai Fangtu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Fangtu Intelligent Technology Co ltd filed Critical Zhuhai Fangtu Intelligent Technology Co ltd
Priority to CN201911420677.XA priority Critical patent/CN111179285B/zh
Publication of CN111179285A publication Critical patent/CN111179285A/zh
Application granted granted Critical
Publication of CN111179285B publication Critical patent/CN111179285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、系统及存储介质，方法包括：获取输入图像；根据语义分割网络对输入图像处理得到三分图；基于人脸特征点检测的方法，获取输入图像的人脸区域；对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；根据所述掩膜和输入图像，确定优化后的抠图结果。本发明提高了抠图结果的准确度并改善了抠图效果，可广泛应用于图像处理技术领域。

Description

一种图像处理方法、系统及存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种图像处理方法、系统及存储介质。
背景技术
数字抠图是计算机视觉的基本问题之一，即在图像中把图像的前景部分从背景中分离出来。其中的人像抠图技术有着更为重要的意义。人像抠图有很多实用的应用场景，例如在电影中的人与虚拟物体的交互，人像的背景更换等。该问题的难点在于精确的识别出人物的像素，并且还要保持人物的边缘细节。
如今的人像抠图技术已经开始使用深度学习的方法去对图像进行自动化的抠图，目前使用深度学习方法的自动化抠图主要是依靠使用一个网络预测图像的三分图，然后再将预测得到的三分图与原图一起，根据第二个网络得到最终的抠图图像。但是在自动化抠图过程中的第一步仍然会有人像边界的识别不够准确的情况，从而导致人像和背景难以分离，以至于到第二个网络中的效果不佳。除此之外，在语义分割网络训练不够充分的情况下，人体的预测信息不够准确，导致预测结果在保留较高边缘细节时，却不能够保证语义的准确。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种准确度高且效果较佳的图像处理方法、系统及存储介质。
本发明第一方面所采取的技术方案是一种图像处理方法，包括：
获取输入图像；
根据语义分割网络对输入图像处理得到三分图；
基于人脸特征点检测的方法，获取输入图像的人脸区域；
对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；
根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；
将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；
根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；
根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；
根据所述掩膜和输入图像，确定优化后的抠图结果。
进一步，所述对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图这一步骤，包括：
采用半椭圆的腐蚀核对所述人脸区域进行腐蚀；
根据腐蚀结果，将被腐蚀区域转化成未知区域；
其中，优化前的三分图将输入图像划分为前景区域、背景区域和未知区域。
进一步，所述将所述第一抠图结果和第二抠图结果融合得到融合抠图结果这一步骤中，所述融合的计算公式为：
Imid＝max(Iclosed,Ideep)，
其中，Imid表示融合抠图结果，Iclosed表示第一抠图结果，Ideep表示第二抠图结果。
进一步，根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标这一步骤，包括：
将所述融合结果中未知区域的坐标替换成第二抠图结果中对应区域的坐标。
进一步，所述基于人脸特征点检测的方法，获取输入图像的人脸区域这一步骤，包括：
通过人脸特征点检测方法获取输入图像的人脸特征点；
对所述人脸特征点进行扩展，得到人脸区域的矩形框。
进一步，所述获取深度抠图的第二抠图结果这一步骤，包括：
将所述三分图和输入图像合并成四通道图像；
通过编码解码网络对所述四通道图像进行处理，得到透明度预测图像；
将所述透明度预测图像和输入图像组合成一个四通道的图像传入到抠图修正网络，得到预测的透明度蒙版值。
本发明第二方面提供了一种图像处理系统，包括：
输入图像获取模块，用于获取输入图像；
三分图获取模块，用于根据语义分割网络对输入图像处理得到三分图；
人脸区域获取模块，用于基于人脸特征点检测的方法，获取输入图像的人脸区域；
腐蚀处理模块，用于对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；
抠图模块，用于根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；
融合模块，用于将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；
待替换坐标确定模块，用于根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；
替换模块，用于根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；
抠图结果确定模块，用于根据所述掩膜和输入图像，确定优化后的抠图结果。
进一步，所述腐蚀处理模块包括：
腐蚀单元，用于采用半椭圆的腐蚀核对所述人脸区域进行腐蚀；
转化单元，用于根据腐蚀结果，将被腐蚀区域转化成未知区域；
其中，优化前的三分图将输入图像划分为前景区域、背景区域和未知区域。
本发明第三方面提供了一种图像处理系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的方法。
本发明第四方面提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的方法。
本发明的有益效果是：本发明根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果，接着将所述第一抠图结果和第二抠图结果融合得到融合抠图结果，最后确定优化后的抠图结果，提高了抠图结果的准确度并改善了抠图效果。
附图说明
图1为本申请实施例的基于人脸特征点检测的腐蚀流程图；
图2为本申请实施例的腐蚀核示意图；
图3为本申请实施例的结果融合策略流程图；
图4为本申请实施例的深度抠图流程图；
图5为加入基于人脸特征点检测的腐蚀优化前后的三分图以及最终优化效果对比图；
图6为加入基于人脸特征点检测的腐蚀优化前后的前景对比图；
图7为本申请实施例的整体步骤流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图7所示，本申请的图像处理方法，包括：获取输入图像；根据语义分割网络对输入图像处理得到三分图；基于人脸特征点检测的方法，获取输入图像的人脸区域；对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；根据所述掩膜和输入图像，确定优化后的抠图结果。
具体的，如图1所示，该腐蚀中间结果的主要流程为；输入原图，然后使用人脸特征点检测得到人脸轮廓的特征点，并根据该特征点得到三分图中的人脸区域，再使用特定形状的腐蚀核对该图像进行腐蚀操作，直到人脸特征点不再属于前景则结束腐蚀处理。这一预处理利用了人脸特征点的信息，将原本使用深度学习方法预测得到的错误的前景像素剔除，并且利用人脸轮廓特征点尽可能的保留了被正确划分的人脸前景，使得三分图尽可能的准确，以便于后期利用第二个深度学习网络得到的边缘细节预测图做融合。
如图1所示，本发明的基于人脸特征点检测的腐蚀方法具体包括以下步骤：
步骤一：输入原图图像。
步骤二：使用人脸特征点检测算法获取人脸区域。
在这一步将会利用人脸特征点检测算法得到人脸的特征点，然后根据最上，最下，最左和最右的特征点扩展一定的区域，然后得到一个人脸区域的矩形框。
步骤三：输入深度学习得到的三分图。
三分图是将图像划分成前景，背景和未知区域三个部分。
步骤四：在三分图的人脸区域腐蚀。
根据步骤二得到的人脸区域矩形框得到三分图中的人脸区域，然后使用腐蚀操作对人脸区域进行腐蚀，其中腐蚀的核如图2设计。由于本申请取得的人脸头部区域的底部是没有错分像素的，因此该区域的底部不需要腐蚀，所以本文采用半椭圆的核，对图像进行腐蚀。
腐蚀操作用公式(1)表示：
Figure BDA0002352298940000041
其中，A代表图像；B代表腐蚀核；z代表腐蚀核B的平移向量；E代表腐蚀后平移向量的集合；BZ为B平移向量z得到的。每腐蚀一次就对图像的特征点所在的像素进行一次判断，若特征点属于前景，则继续腐蚀，若特征点不属于前景，则取得上一次的腐蚀结果。假设原三分图的前景部分为Fo，腐蚀之后的前景部分为Fa。采用公式(2)将被腐蚀的部分转化成未知区域。
{I(x,y)＝0.5|I(x,y)∈Fo-Fa} (2)
其中，I(x,y)代表图像在坐标(x，y)的像素值；Fo代表原三分图的前景部分；Fa代表腐蚀之后的前景部分；
如图3所示，本申请实施例的结果融合方法的主要流程为：输入抠图的闭合方案得到的抠图结果以及深度抠图得到的抠图结果，将二者的结果进行融合得到中间结果的图像。然后利用人脸特征点检测算法得到人脸区域，再将人脸区域中对应三分图的未知部分替换成深度抠图结果以丰富边缘细节。
如图3所示，本发明的结果融合方法具体包括以下步骤：
步骤一：输入抠图的闭合方案得到的抠图结果以及深度抠图得到的抠图结果。
需要说明的是，本申请所述“深度抠图得到的抠图结果”具体是通过以下方式来实现的：
如图4所示，首先输入三分图和原图像，并将原图像和对应的三分图作为四通道图像输入到编码解码网络去得到透明度预测图像。
其中编码网络经过14个卷积层和5个池化层，得到下采样的特征图，解码网络紧随其后，经过6个卷积层和5个反池化层后将特征图上采样，输出蒙板。并且，该网络由两个损失函数组成。第一个是透明度预测损失，它表示的是真值和预测值之间的绝对误差。第二个损失函数叫做组合损失，该损失是预测得到的图像和真实图像前景之间的颜色绝对差值。最后给定两个损失函数一定的权值得到最终的损失函数。
然后将透明度预测图像和原图像组合成一个四通道的图像传入到第二个抠图修正网络，得到预测的透明度蒙版值。
其中抠图修正网络是一个全链接的卷积神经网络包含四个卷积层。前三个卷积层后都跟着一个非线性的“ReLU”层。这里没有用下采样层的原因是，我们希望保留在第一阶段丢失的结构。
步骤二：结果融合。
首先取得三分图的前景部分，使用公式(3)融合抠图的闭合方案得到的抠图结果以及深度抠图得到的抠图结果。
Imid＝max(Iclosed,Ideep) (3)
其中，Imid表示的是中间结果，Iclosed表示的是使用抠图的闭合方案所生成的抠图结果，Ideep表示的是使用深度抠图方法所产生的抠图结果。
步骤三：使用人脸特征点检测算法获取人脸区域。
在这一步将会利用人脸特征点检测算法得到人脸的特征点，然后根据最上，最下，最左和最右的特征点扩展一定的区域，然后得到一个人脸区域的矩形框。
步骤四：将人脸周围的未知部分替换成深度抠图结果。
记录三分图中人脸部分未知领域的坐标，然后将步骤二得到的中间结果图对应坐标的像素替换成深度抠图方法对应的结果，以丰富边缘细节。
从图5中可以看出，在加入了基于人脸特征点检测的腐蚀优化操作后，三分图的未知区域部分向前景区域收拢，同时还保持了人物的脸型轮廓。从效果图上可以看出，在没有经过腐蚀优化的图像中，头发与脖子的部分区域仍然能明显的看到有背景像素的残留，而在经过腐蚀优化以后大大减少了残留的背景像素，而且还能够保持基本的人物轮廓的头发细节。因此本文提出的优化方案是有效的。
从图6可以知道在没有经过三分图优化的时候，三分图前景中的头发与脖子部分的像素是划分错误的，语义分割算法将背景像素误认为是前景，从而导致三分图不够精确，这对于整个抠图算法的影响是很大的。其原因在于，本文的抠图算法是基于前景部分的语义分割在完全正确的条件下，对未知领域的像素进行更细致化的抠图，因此这一部分优化产生的中间结果对后续的细致抠图至关重要。
另外，本申请还提供了一种图像处理系统，包括：
输入图像获取模块，用于获取输入图像；
三分图获取模块，用于根据语义分割网络对输入图像处理得到三分图；
人脸区域获取模块，用于基于人脸特征点检测的方法，获取输入图像的人脸区域；
腐蚀处理模块，用于对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；
抠图模块，用于根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；
融合模块，用于将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；
待替换坐标确定模块，用于根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；
替换模块，用于根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；
抠图结果确定模块，用于根据所述掩膜和输入图像，确定优化后的抠图结果。
进一步，所述腐蚀处理模块包括：
腐蚀单元，用于采用半椭圆的腐蚀核对所述人脸区域进行腐蚀；
转化单元，用于根据腐蚀结果，将被腐蚀区域转化成未知区域；
其中，优化前的三分图将输入图像划分为前景区域、背景区域和未知区域。
本申请还提供了一种图像处理系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的方法。
本申请还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的方法。
综上所述，使用语义分割的方法解决抠图问题，虽然在像素的分类上已经有了很好的效果，但是，语义分割不善于处理人像中的细节，在头发部分有十分明确的分界线，这使得抠图的视觉效果生硬。因此，根据语义分割的优点，在第一阶段的融合策略就是保留语义分割的前景部分，但是在未知区域部分则采用其他方法的结果对其进行替换，如此既保留了语义分割的像素分类准确新，又能够保留图像细节。
在融合策略中，闭合抠图方案能够在三分图错将人像的部分像素划分为未知区域的情况下，进行一定的填补，从而使得前景的身体部分趋于完整，但是在头发等细节区域平滑过渡的程度不够，使得边缘部分不自然。而深度抠图的方法在头发等细节部分效果比闭合抠图方案的效果好，但是缺点就是深度抠图对三分图的精准度要求极高，从而导致前景的身体部分会出现“空洞”的情况。基于以上两种方法的特点，最后的融合策略包括两个部分。在人像的头部区域，采取将深度抠图的脸部区域转移到闭合抠图方法的结果上的方案，保留了深度抠图在细节方面的有点。而在身体部分，则取两种方法的并集，以保证前景的完整性。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取输入图像；
根据语义分割网络对输入图像处理得到三分图；
基于人脸特征点检测的方法，获取输入图像的人脸区域；
对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；
根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；
将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；
根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；
根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；
根据所述掩膜和输入图像，确定优化后的抠图结果；
所述对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图这一步骤，包括：
采用半椭圆的腐蚀核对所述人脸区域进行腐蚀；
根据腐蚀结果，将被腐蚀区域转化成未知区域；
其中，优化前的三分图将输入图像划分为前景区域、背景区域和未知区域。
2.根据权利要求1所述的一种图像处理方法，其特征在于，所述将所述第一抠图结果和第二抠图结果融合得到融合抠图结果这一步骤中，所述融合的计算公式为：
Imid＝max(Iclosed,Ideep)，
其中，Imid表示融合抠图结果，Iclosed表示第一抠图结果，Ideep表示第二抠图结果。
3.根据权利要求1所述的一种图像处理方法，其特征在于，根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标这一步骤，包括：
将所述融合结果中未知区域的坐标替换成第二抠图结果中对应区域的坐标。
4.根据权利要求1所述的一种图像处理方法，其特征在于，所述基于人脸特征点检测的方法，获取输入图像的人脸区域这一步骤，包括：
通过人脸特征点检测方法获取输入图像的人脸特征点；
对所述人脸特征点进行扩展，得到人脸区域的矩形框。
5.根据权利要求1所述的一种图像处理方法，其特征在于，所述获取深度抠图的第二抠图结果这一步骤，包括：
将所述三分图和输入图像合并成四通道图像；
通过编码解码网络对所述四通道图像进行处理，得到透明度预测图像；
将所述透明度预测图像和输入图像组合成一个四通道的图像传入到抠图修正网络，得到预测的透明度蒙版值。
6.一种图像处理系统，其特征在于，包括：
输入图像获取模块，用于获取输入图像；
三分图获取模块，用于根据语义分割网络对输入图像处理得到三分图；
人脸区域获取模块，用于基于人脸特征点检测的方法，获取输入图像的人脸区域；
腐蚀处理模块，用于对所述三分图的人脸区域进行腐蚀处理，得到优化后的三分图；
抠图模块，用于根据闭合的抠图方案获取第一抠图结果，以及获取深度抠图的第二抠图结果；
融合模块，用于将所述第一抠图结果和第二抠图结果融合得到融合抠图结果；
待替换坐标确定模块，用于根据所述人脸区域以及三分图的未知区域，确定所述融合抠图结果中的待替换坐标；
替换模块，用于根据所述第二抠图结果，将所述待替换坐标进行替换，得到掩膜；
抠图结果确定模块，用于根据所述掩膜和输入图像，确定优化后的抠图结果；
所述腐蚀处理模块包括：
腐蚀单元，用于采用半椭圆的腐蚀核对所述人脸区域进行腐蚀；
转化单元，用于根据腐蚀结果，将被腐蚀区域转化成未知区域；
其中，优化前的三分图将输入图像划分为前景区域、背景区域和未知区域。
7.一种图像处理系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的方法。
8.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5中任一项所述的方法。
CN201911420677.XA 2019-12-31 2019-12-31 一种图像处理方法、系统及存储介质 Active CN111179285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420677.XA CN111179285B (zh) 2019-12-31 2019-12-31 一种图像处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420677.XA CN111179285B (zh) 2019-12-31 2019-12-31 一种图像处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111179285A CN111179285A (zh) 2020-05-19
CN111179285B true CN111179285B (zh) 2023-06-20

Family

ID=70657712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420677.XA Active CN111179285B (zh) 2019-12-31 2019-12-31 一种图像处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111179285B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001924A (zh) * 2020-06-30 2020-11-27 深圳点猫科技有限公司 一种基于本地浏览器的抠图方法及装置
CN112163992A (zh) * 2020-10-14 2021-01-01 上海影卓信息科技有限公司 人像液化背景保持方法、系统及介质
CN112541927A (zh) * 2020-12-18 2021-03-23 Oppo广东移动通信有限公司 抠图模型的训练、抠图方法、装置、设备及存储介质
CN112734682B (zh) * 2020-12-31 2023-08-01 杭州芯炬视人工智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
CN113259605A (zh) * 2021-04-22 2021-08-13 清华珠三角研究院 基于预测前景蒙版预测的视频抠图方法、系统和存储介质
CN113506306A (zh) * 2021-06-18 2021-10-15 广州方图科技有限公司 多人抠图方法、系统、装置和存储介质
CN115708126A (zh) * 2021-08-18 2023-02-21 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN117274504B (zh) * 2023-11-17 2024-03-01 深圳市加推科技有限公司 智能名片的制作方法、智能销售系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074476A1 (zh) * 2013-11-25 2015-05-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978754A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109712145B (zh) * 2018-11-28 2021-01-08 山东师范大学 一种图像抠图方法及系统
CN109933756B (zh) * 2019-03-22 2022-04-15 腾讯科技（深圳）有限公司 基于ocr的图像转档方法、装置、设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074476A1 (zh) * 2013-11-25 2015-05-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质

Also Published As

Publication number Publication date
CN111179285A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179285B (zh) 一种图像处理方法、系统及存储介质
Liu et al. Robust color guided depth map restoration
CN111881918B (zh) 一种多尺度旋转船舶目标检测算法
Zhang et al. Deep hierarchical guidance and regularization learning for end-to-end depth estimation
JP4699298B2 (ja) 人体領域抽出方法および装置並びにプログラム
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN111784762B (zh) X光造影图像血管中心线提取方法及装置
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
CN112950477A (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
Salem A Survey on Various Image Inpainting Techniques.
CN114283165A (zh) 肺结节的智能影像处理系统
CN115035172A (zh) 基于置信度分级及级间融合增强的深度估计方法及系统
CN113160278A (zh) 一种场景流估计、场景流估计模型的训练方法和装置
US20230115887A1 (en) Digital twin sub-millimeter alignment using multimodal 3d deep learning fusion system and method
CN116468793A (zh) 图像处理方法、装置、电子设备及存储介质
CN113781324B (zh) 一种老照片修复方法
CN113935961A (zh) 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法
JP3716455B2 (ja) 領域抽出方法及び領域抽出装置
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
KR20230083212A (ko) 객체 자세 추정 장치 및 방법
CN115272378A (zh) 一种基于特征轮廓的人物图像分割方法
Wang et al. Rgb-guided depth map recovery by two-stage coarse-to-fine dense crf models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant