CN109389611A - 交互式抠图方法、介质及计算机设备 - Google Patents

交互式抠图方法、介质及计算机设备 Download PDF

Info

Publication number
CN109389611A
CN109389611A CN201810997105.7A CN201810997105A CN109389611A CN 109389611 A CN109389611 A CN 109389611A CN 201810997105 A CN201810997105 A CN 201810997105A CN 109389611 A CN109389611 A CN 109389611A
Authority
CN
China
Prior art keywords
sampling
sample point
pixel
zone
ignorance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810997105.7A
Other languages
English (en)
Inventor
刘志杰
林杰兴
张宝堃
张丽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Manuscript (xiamen) Technology Co Ltd
Gaoding Xiamen Technology Co Ltd
Original Assignee
Manuscript (xiamen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manuscript (xiamen) Technology Co Ltd filed Critical Manuscript (xiamen) Technology Co Ltd
Priority to CN201810997105.7A priority Critical patent/CN109389611A/zh
Publication of CN109389611A publication Critical patent/CN109389611A/zh
Priority to PCT/CN2019/102621 priority patent/WO2020043063A1/zh
Priority to US16/929,139 priority patent/US11443436B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种交互式抠图方法、介质及计算机设备，该方法包括：获取原始图像；采用人机交互的方式获得前景样本空间和背景样本空间；根据标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域；获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像；从而实现通过简单交互进行采样对和未知区域的确定，进而根据采样对计算未知区域像素的alpha值，使得用户可无需掌握丰富的PS技术和颜色通道知识，即可完成对头发边缘的精确抠图。

Description

交互式抠图方法、介质及计算机设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种交互式抠图方法、介质及计算机设备。
背景技术
抠图，是图像处理中最常做的操作之一，其指的是将图像中需要的部分从画面中提取出来的操作过程。
在实际的抠图操作过程中，当遇到包含人物头发、动物毛发等图像的处理时，如果不借助工具纯粹通过人工手动抠取的话，每幅图都需要花费操作人员大量时间和精力；因而，为了解决此类图像的抠取困难的问题，现有的抠图技术提出了诸如Knockout、RobustMatting等采样方法，以提高操作人员抠取目标图像的效率；然而，这些采样方法大多非常复杂，需要操作人员掌握丰富的PS技术和颜色通道知识，对于初学者而言难以操作。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种交互式抠图方法，能够实现通过与用户之间的简单交互进行采样对和未知区域的确定，进而根据采样对计算未知区域像素的alpha值，使得用户可无需掌握丰富的PS技术和颜色通道知识，即可完成对头发边缘的精确抠图。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
为达到上述目的，本发明第一方面实施例提出了一种交互式抠图方法，包括以下步骤：获取原始图像；采用人机交互的方式分别对所述原始图像的头发边缘前景区域进行前景样本点采集和对所述原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，所述前景样本空间中的前景样本点和所述背景样本空间中的背景样本点构成采样对；接收用户输入的标记操作指令，并根据所述标记操作指令对所述原始图像的头发区域进行涂抹以标记出未知区域；遍历所述未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对所述alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像。
根据本发明实施例的交互式抠图方法，首先，获取原始图像；接着，采用人机交互的方式分别对原始图像的头发边缘前景区域进行前景样本点采集和对原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，前景样本空间中的前景样本点和背景样本空间中的背景样本点构成采样对；然后，接收用户输入的标记操作指令，并根据标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域；接着，遍历未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；然后，根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像；从而实现通过与用户之间的简单交互进行采样对和未知区域的确定，进而根据采样对计算未知区域像素的alpha值，使得用户可无需掌握丰富的PS技术和颜色通道知识，即可完成对头发边缘的精确抠图。
另外，根据本发明上述实施例提出的交互式抠图方法还可以具有如下附加的技术特征：
可选地，获得前景样本空间和背景样本空间，包括：接收用户输入的第一样本点采集指令，并根据所述第一样本点采集指令对所述原始图像的头发边缘前景区域进行前景样本点采集以获得多个前景样本点，其中，所述多个前景样本点构成所述前景样本空间；接收用户输入的第二样本点采集指令，并根据所述第二样本点采集指令对所述原始图像的头发边缘背景区域进行背景样本点采集以获得多个背景样本点，其中，所述多个背景样本点构成所述背景样本空间。
可选地，根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，包括：S1，根据任意一个采样对对当前未知区域像素I给出预估alpha值S2，根据所述预估alpha值计算该采样对与所述当前未知区域像素I的符合度；S3，计算所述当前未知区域像素I与该采样对中前景样本点的空间距离，并计算所述当前未知区域像素I与该采样对中背景样本点的空间距离；S4，根据该采样对与所述当前未知区域像素I的符合度、所述当前未知区域像素I与该采样对中前景样本点的空间距离、所述当前未知区域像素I与该采样对中背景样本点的空间距离计算总体代价函数值；重复执行步骤S1-S4，获得所述当前未知区域像素I对应的所有采样对的总体代价函数值，以为所述当前未知区域像素选取总体代价函数值最小的采样对。
可选地，所述预估alpha值限据以下公式获得：其中，Fi为该样本对中的前景样本点，Bj为该样本对中的背景样本点。
可选地，该采样对与所述当前未知区域像素I的符合度根据以下公式获得： 其中，εc(Fi，Bj)为该采样对与所述当前未知区域像素I的符合度。
可选地，所述当前未知区域像素I与该采样对中前景样本点的空间距离根据以下公式获得：其中，εs(Fi)为所述当前未知区域像素I与该采样对中前景样本点的空间距离，为该采样对中前景样本点的空间位置，XI为所述当前未知区域像素I的空间位置。
可选地，所述当前未知区域像素I与该采样对中背景样本点的空间距离根据以下公式获得：其中，εs(Bj)为所述当前未知区域像素I与该采样对中背景样本点的空间距离，为该采样对中背景样本点的空间位置。
可选地，该采样对的总体代价函数值根据以下公式获得：ε(Fi，Bj)＝εc(Fi，Bj)+w1*εs(Fi)+w2*εs(Bj)，其中，ε(Fi，Bj)为该采样对的总体代价函数值，w1为空间距离代价函数εs(Fi)的权重，w2为空间距离代价函数εs(Bj)的权重。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有交互式抠图程序，该交互式抠图程序被处理器执行时实现上述的交互式抠图方法。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的交互式抠图程序，其中，所述处理器执行所述交互式抠图程序时，实现上述的交互式抠图方法。
附图说明
图1为根据本发明实施例的交互式抠图方法的流程示意图；
图2为根据本发明实施例的为每个未知区域像素选取总体代价函数值最小的采样对的方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在现有的抠图方法中，其使用的采样方法大多非常复杂，需要操作人员掌握丰富的PS技术和颜色通道知识，对于初学者而言难以操作；本发明实施例提出的交互式抠图方法，首先，获取原始图像；接着，采用人机交互的方式分别对原始图像的头发边缘前景区域进行前景样本点采集和对原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，前景样本空间中的前景样本点和背景样本空间中的背景样本点构成采样对；然后，接收用户输入的标记操作指令，并根据标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域；接着，遍历未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；然后，根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像；从而实现通过与用户之间的简单交互进行采样对和未知区域的确定，进而根据采样对计算未知区域像素的alpha值，使得用户可无需掌握丰富的PS技术和颜色通道知识，即可完成对头发边缘的精确抠图。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例提出的交互式抠图方法的流程示意图，如图1所示，该交互式抠图方法包括以下步骤：
S101，获取原始图像。
也就是说，获取待处理的原始图像数据。
S102，采用人机交互的方式分别对原始图像的头发边缘前景区域进行前景样本点采集和对原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，前景样本空间中的前景样本点和背景样本空间中的背景样本点构成采样对。
也就是说，采用人机交互的方式对原始图像中处于头发边缘的前景区域进行前景样本点采集，以获得前景样本空间；对原始图像中处于头发边缘的背景区域进行背景样本点采集，以获得背景样本空间；其中，前景样本空间中的前景样本点和背景样本空间中的背景样本点构成采样对。
作为一种示例，获得前景样本空间和背景样本空间具体可包括：接收用户输入的第一样本点采集指令，并根据第一样本点采集指令对原始图像的头发边缘前景区域进行前景样本点采集以获得多个前景样本点，其中，多个前景样本点构成前景样本空间；接收用户输入的第二样本点采集指令，并根据第二样本点采集指令对原始图像的头发边缘背景区域进行背景样本点采集以获得多个背景样本点，其中多个背景样本点构成背景样本空间。
以实际场景进行举例说明，通过人机交互的方式获取用户的前景样本点采集指令，以获取原始图像中处于头发边缘前景区域的前景样本点F1、F2、F3、……Fa，并以a个前景样本点构成前景样本空间F；通过人机交互的方式获取用户的背景样本点采集指令，以获取原始图像中处于头发边缘背景区域的背景样本点B1、B2、B3、……Bb，并以b个背景样本点构成背景样本空间B；然后，以任意一个前景样本点以及任意一个背景样本点构成采样对(Fi，Bj)。
S103，接收用户输入的标记操作指令，并根据标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域。
也就是说，在获得前景样本空间和背景样本空间，并根据前景样本点和背景样本点构成采样对之后，接收用户输入的针对原始图像的标记操作指令，并根据该标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域。
其中，未知区域指的是因头发或者动物毛发的纤细、混乱，在抠图过程中难以将头发或者动物毛发与背景图像剥离的区域。
S104，遍历未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值。
也就是说，在标记出未知区域之后，遍历未知区域，以获得未知区域中的每个未知区域像素，并根据每个未知区域像素遍历所有前景样本采集点与背景样本采集点构成的采样对，以选取使得总体代价函数值最小的采样对，以及根据选取的采样对对应的未知区域像素的alpha值进行计算，以获得每个未知区域像素所对应的alpha值。
S105，根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像。
也就是说，在获取到每个未知区域像素所对应的alpha值之后，根据每个未知区域像素所对应的alpha值生成alpha蒙版图像；然后，对alpha蒙版图像进行去噪，以获得最终的alpha蒙版图像。
其中，对alpha蒙版图像进行去噪的方式有多种。
作为一种示例，首先，获取与alpha蒙版图像Q对应的引导图像G，并计算以r为半径的方型滤波器的自相关均值corrG和互相关均值corrGQ；接着，计算对于蒙版图像Q和引导图像G的自相关方差varG及互相关协方差covGQ；然后，计算窗口线性变换系数，并根据该线性变换系数计算各线性变换系数均值，接着，根据引导图像G以及各线性变化系数均值生成最终的alpha蒙版图像。
综上所述，根据本发明实施例的交互式抠图方法，首先，获取原始图像；接着，采用人机交互的方式分别对原始图像的头发边缘前景区域进行前景样本点采集和对原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，前景样本空间中的前景样本点和背景样本空间中的背景样本点构成采样对；然后，接收用户输入的标记操作指令，并根据标记操作指令对原始图像的头发区域进行涂抹以标记出未知区域；接着，遍历未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；然后，根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像；从而实现通过与用户之间的简单交互进行采样对和未知区域的确定，进而根据采样对计算未知区域像素的alpha值，使得用户可无需掌握丰富的PS技术和颜色通道知识，即可完成对头发边缘的精确抠图。
如图2所示，在一些实施例中，本发明实施例提出的交互式抠图方法中，根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，具体包括以下步骤：
S1，根据任意一个采样对对当前未知区域像素I给出预估alpha值
也就是说，根据任意一个前景采样点和任意一个背景采样点构成的采样对对当前未知区域像素I进行alpha值的预估。
作为一种示例，该alpha值根据以下公式获得：
其中，Fi为该样本对中的前景样本点，Bj为该样本对中的背景样本点。
S2，根据预估alpha值计算该采样对与当前未知区域像素I的符合度。
也就是说，在对当前未知区域像素I的alpha值进行预估之后，根据预估得到的alpha值计算该采样对与当前未知区域像素I的符合度。
作为一种示例，采样对与当前未知区域像素I的符合度根据以下公式获得：
其中，εc(Fi，Bj)为该采样对与当前未知区域像素I的符合度。
S3，计算当前未知区域像素I与该采样对中前景样本点的空间距离，并计算当前未知区域像素I与该采样对中背景样本点的空间距离。
也就是说，在计算采样对与当前未知区域像素I的符合度之后，计算当前未知区域像素I与该采样对中前景样本点Fi的空间距离，并计算当前未知区域像素I与该采样对中背景样本点Bj的空间距离。
作为一种示例，当前未知区域像素I与该采样对中前景样本点的空间距离根据以下公式获得：
其中，εs(Fi)为当前未知区域像素I与该采样对中前景样本点的空间距离，为该采样对中前景样本点的空间位置，XI为当前未知区域像素I的空间位置。
作为一种示例，当前未知区域像素I与该采样对中背景样本点的空间距离根据以下公式获得：
其中，εs(Bj)为当前未知区域像素I与该采样对中背景样本点的空间距离，为该采样对中背景样本点的空间位置。
S4，根据该采样对与当前未知区域像素I的符合度、当前未知区域像素I与该采样对中前景样本点的空间距离、当前未知区域像素I与该采样对中背景样本点的空间距离计算总体代价函数值。
也就是说，计算出采样对与当前未知区域像素I的符合度、当前未知区域像素I与该采样对中前景样本点的空间距离、当前未知区域像素I与该采样对中背景样本点的空间距离之后；根据计算得到的采样对与当前未知区域像素I的符合度、当前未知区域像素I与该采样对中前景样本点的空间距离、当前未知区域像素I与该采样对中背景样本点的空间距离进行总体代价函数值的计算。
作为一种示例，该采样对的总体代价函数值根据以下公式获得：
ε(Fi，Bj)＝εc(Fi，Bj)+w1*εs(Fi)+w2*εs(Bj)
其中，ε(Fi，Bj)为该采样对的总体代价函数值，w1为空间距离代价函数εs(Fi)的权重，w2为空间距离代价函数εs(Bj)的权重。
S5，重复执行步骤S1-S4，获得当前未知区域像素I对应的所有采样对的总体代价函数值，以为当前未知区域像素选取总体代价函数值最小的采样对。
也就是说，对步骤S1-S4进行重复执行，以获得当前未知区域像素I所对应的所有采样对的总体代价函数值，并根据所有采样对的总体代价函数值选取令当前未知区域像素I对应的总体代价函数值为最小值的采样对。
综上所述，根据本发明实施例提出的交互式抠图方法，首先，根据任意一个采样对对当前未知区域像素I给出预估alpha值接着，根据预估alpha值计算该采样对与当前未知区域像素I的符合度；然后，计算当前未知区域像素I与该采样对中前景样本点的空间距离，并计算当前未知区域像素I与该采样对中背景样本点的空间距离；接着，根据该采样对与当前未知区域像素I的符合度、当前未知区域像素I与该采样对中前景样本点的空间距离、当前未知区域像素I与该采样对中背景样本点的空间距离计算总体代价函数值；然后，迭代执行上述步骤，获得当前未知区域像素I对应的所有采样对的总体代价函数值，以为当前未知区域像素选取总体代价函数值最小的采样对；从而实现根据前景采样点和背景采样点构成的采样对和未知区域像素进行最小总体代价函数值对应的采样对的确定，为后续计算未知区域像素对应的alpha值提供依据。
为了实现上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有交互式抠图程序，该交互式抠图程序被处理器执行时实现上述的交互式抠图方法。
为了实现上述实施例，本发明实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的交互式抠图程序，其中，所述处理器执行所述交互式抠图程序时，实现上述的交互式抠图方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种交互式抠图方法，其特征在于，包括以下步骤：
获取原始图像；
采用人机交互的方式分别对所述原始图像的头发边缘前景区域进行前景样本点采集和对所述原始图像的头发边缘背景区域进行背景样本点采集，以相应获得前景样本空间和背景样本空间，其中，所述前景样本空间中的前景样本点和所述背景样本空间中的背景样本点构成采样对；
接收用户输入的标记操作指令，并根据所述标记操作指令对所述原始图像的头发区域进行涂抹以标记出未知区域；
遍历所述未知区域以获得每个未知区域像素，并根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，以及根据选取的采样对计算每个未知区域像素所对应的alpha值；
根据每个未知区域像素所对应的alpha值获得alpha蒙版图像，并对所述alpha蒙版图像进行去噪处理以获得最终alpha蒙版图像。
2.如权利要求1所述的交互式抠图方法，其特征在于，获得前景样本空间和背景样本空间，包括：
接收用户输入的第一样本点采集指令，并根据所述第一样本点采集指令对所述原始图像的头发边缘前景区域进行前景样本点采集以获得多个前景样本点，其中，所述多个前景样本点构成所述前景样本空间；
接收用户输入的第二样本点采集指令，并根据所述第二样本点采集指令对所述原始图像的头发边缘背景区域进行背景样本点采集以获得多个背景样本点，其中，所述多个背景样本点构成所述背景样本空间。
3.如权利要求1或2所述的交互式抠图方法，其特征在于，根据每个未知区域像素遍历所有采样对以为每个未知区域像素选取总体代价函数值最小的采样对，包括：
S1，根据任意一个采样对对当前未知区域像素I给出预估alpha值
S2，根据所述预估alpha值计算该采样对与所述当前未知区域像素I的符合度；
S3，计算所述当前未知区域像素I与该采样对中前景样本点的空间距离，并计算所述当前未知区域像素I与该采样对中背景样本点的空间距离；
S4，根据该采样对与所述当前未知区域像素I的符合度、所述当前未知区域像素I与该采样对中前景样本点的空间距离、所述当前未知区域像素I与该采样对中背景样本点的空间距离计算总体代价函数值；
重复执行步骤S1-S4，获得所述当前未知区域像素I对应的所有采样对的总体代价函数值，以为所述当前未知区域像素选取总体代价函数值最小的采样对。
4.如权利要求3所述的交互式抠图方法，其特征在于，所述预估alpha值根据以下公式获得：
其中，Fi为该样本对中的前景样本点，Bj为该样本对中的背景样本点。
5.如权利要求4所述的交互式抠图方法，其特征在于，该采样对与所述当前未知区域像素I的符合度根据以下公式获得：
其中，εc(Fi，Bj)为该采样对与所述当前未知区域像素I的符合度。
6.如权利要求5所述的交互式抠图方法，其特征在于，所述当前未知区域像素I与该采样对中前景样本点的空间距离根据以下公式获得：
其中，εs(Fi)为所述当前未知区域像素I与该采样对中前景样本点的空间距离，为该采样对中前景样本点的空间位置，XI为所述当前未知区域像素I的空间位置。
7.如权利要求6所述的交互式抠图方法，其特征在于，所述当前未知区域像素I与该采样对中背景样本点的空间距离根据以下公式获得：
其中，εs(Bj)为所述当前未知区域像素I与该采样对中背景样本点的空间距离，为该采样对中背景样本点的空间位置。
8.如权利要求7所述的交互式抠图方法，其特征在于，该采样对的总体代价函数值根据以下公式获得：
ε(Fi，Bj)＝εc(Fi，Bj)+w1*εs(Fi)+w2*εs(Bj)
其中，ε(Fi，Bj)为该采样对的总体代价函数值，w1为空间距离代价函数εs(Fi)的权重，w2为空间距离代价函数εs(Bj)的权重。
9.一种计算机可读存储介质，其特征在于，其上存储有交互式抠图程序，该交互式抠图程序被处理器执行时实现如权利要求1-8中任一项所述的交互式抠图方法。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的交互式抠图程序，其中，所述处理器执行所述交互式抠图程序时，实现如权利要求1-8中任一项所述的交互式抠图方法。
CN201810997105.7A 2018-08-26 2018-08-29 交互式抠图方法、介质及计算机设备 Pending CN109389611A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810997105.7A CN109389611A (zh) 2018-08-29 2018-08-29 交互式抠图方法、介质及计算机设备
PCT/CN2019/102621 WO2020043063A1 (zh) 2018-08-29 2019-08-26 交互式抠图方法、介质及计算机设备
US16/929,139 US11443436B2 (en) 2018-08-26 2020-07-15 Interactive image matting method, computer readable memory medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810997105.7A CN109389611A (zh) 2018-08-29 2018-08-29 交互式抠图方法、介质及计算机设备

Publications (1)

Publication Number Publication Date
CN109389611A true CN109389611A (zh) 2019-02-26

Family

ID=65418427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810997105.7A Pending CN109389611A (zh) 2018-08-26 2018-08-29 交互式抠图方法、介质及计算机设备

Country Status (3)

Country Link
US (1) US11443436B2 (zh)
CN (1) CN109389611A (zh)
WO (1) WO2020043063A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400323A (zh) * 2019-07-30 2019-11-01 上海艾麒信息科技有限公司 一种自动抠图系统、方法以及装置
CN110689488A (zh) * 2019-08-22 2020-01-14 稿定（厦门）科技有限公司 图像调色方法、介质、设备及装置
CN110751654A (zh) * 2019-08-30 2020-02-04 稿定（厦门）科技有限公司 图像抠图方法、介质、设备及装置
WO2020043063A1 (zh) * 2018-08-29 2020-03-05 稿定（厦门）科技有限公司 交互式抠图方法、介质及计算机设备
CN111161288A (zh) * 2019-12-26 2020-05-15 郑州阿帕斯数云信息科技有限公司 图像处理方法和装置
CN112712459A (zh) * 2019-10-24 2021-04-27 北京字节跳动网络技术有限公司 抠图方法及装置
CN113961854A (zh) * 2021-09-14 2022-01-21 稿定（厦门）科技有限公司 页面着色方法及装置以及计算机可读存储介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3859657A4 (en) * 2018-09-25 2021-12-01 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147852A (zh) * 2010-02-04 2011-08-10 三星电子株式会社 检测头发区域的方法
CN102651135A (zh) * 2012-04-10 2012-08-29 电子科技大学 一种基于优化方向采样的自然图像抠图方法
CN104820990A (zh) * 2015-05-15 2015-08-05 北京理工大学 一种交互式图像抠图系统
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN107516319A (zh) * 2017-09-05 2017-12-26 中北大学 一种高精度简易交互式抠图方法、存储设备及终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239548A1 (en) * 2005-03-03 2006-10-26 George Gallafent William F Segmentation of digital images
US8386964B2 (en) * 2010-07-21 2013-02-26 Microsoft Corporation Interactive image matting
US8884980B2 (en) * 2010-09-24 2014-11-11 Taaz, Inc. System and method for changing hair color in digital images
US8855411B2 (en) * 2011-05-16 2014-10-07 Microsoft Corporation Opacity measurement using a global pixel set
CN103177446B (zh) * 2013-03-13 2016-03-30 北京航空航天大学 基于邻域和非邻域平滑先验的图像前景精准提取方法
CN105809666A (zh) * 2014-12-30 2016-07-27 联芯科技有限公司 图像抠图方法及装置
CN104504745B (zh) * 2015-01-16 2018-05-25 成都品果科技有限公司 一种基于图像分割和抠图的证件照生成方法
KR102075088B1 (ko) * 2016-03-22 2020-02-10 한국전자통신연구원 객체 추출 장치 및 방법
US10607318B2 (en) * 2016-12-30 2020-03-31 Facebook, Inc. Systems and methods for image matting
US10650524B2 (en) * 2017-02-03 2020-05-12 Disney Enterprises, Inc. Designing effective inter-pixel information flow for natural image matting
CN106846336B (zh) * 2017-02-06 2022-07-15 腾讯科技（上海）有限公司 提取前景图像、替换图像背景的方法及装置
US10380723B2 (en) * 2017-06-19 2019-08-13 Adobe Inc. Editing dynamically selected portions of target images in a mask-based editing interface
CN109389611A (zh) * 2018-08-29 2019-02-26 稿定（厦门）科技有限公司 交互式抠图方法、介质及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147852A (zh) * 2010-02-04 2011-08-10 三星电子株式会社 检测头发区域的方法
CN102651135A (zh) * 2012-04-10 2012-08-29 电子科技大学 一种基于优化方向采样的自然图像抠图方法
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN104820990A (zh) * 2015-05-15 2015-08-05 北京理工大学 一种交互式图像抠图系统
CN107516319A (zh) * 2017-09-05 2017-12-26 中北大学 一种高精度简易交互式抠图方法、存储设备及终端

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443436B2 (en) 2018-08-26 2022-09-13 Gaoding (Xiamen) Technology Co. Ltd Interactive image matting method, computer readable memory medium, and computer device
WO2020043063A1 (zh) * 2018-08-29 2020-03-05 稿定（厦门）科技有限公司 交互式抠图方法、介质及计算机设备
CN110400323A (zh) * 2019-07-30 2019-11-01 上海艾麒信息科技有限公司 一种自动抠图系统、方法以及装置
CN110689488A (zh) * 2019-08-22 2020-01-14 稿定（厦门）科技有限公司 图像调色方法、介质、设备及装置
CN110751654A (zh) * 2019-08-30 2020-02-04 稿定（厦门）科技有限公司 图像抠图方法、介质、设备及装置
CN112712459A (zh) * 2019-10-24 2021-04-27 北京字节跳动网络技术有限公司 抠图方法及装置
WO2021077836A1 (zh) * 2019-10-24 2021-04-29 北京字节跳动网络技术有限公司 抠图方法及装置
CN112712459B (zh) * 2019-10-24 2023-09-19 抖音视界有限公司 抠图方法及装置
CN111161288A (zh) * 2019-12-26 2020-05-15 郑州阿帕斯数云信息科技有限公司 图像处理方法和装置
CN111161288B (zh) * 2019-12-26 2023-04-14 郑州阿帕斯数云信息科技有限公司 图像处理方法和装置
CN113961854A (zh) * 2021-09-14 2022-01-21 稿定（厦门）科技有限公司 页面着色方法及装置以及计算机可读存储介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质

Also Published As

Publication number Publication date
WO2020043063A1 (zh) 2020-03-05
US11443436B2 (en) 2022-09-13
US20200349716A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN109389611A (zh) 交互式抠图方法、介质及计算机设备
CN106780543B (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
Ďurikovič et al. Dynamic contour: a texture approach and contour operations
US20160249041A1 (en) Method for 3d scene structure modeling and camera registration from single image
CN105493078B (zh) 彩色草图图像搜索
KR101909544B1 (ko) 평면 검출 장치 및 방법
CN109697728A (zh) 数据处理方法、装置、系统和存储介质
CN109146935A (zh) 一种点云配准方法、装置、电子设备及可读存储介质
CN103761749B (zh) 一种基于非线性多重网格法的光流场快速估计方法
Huang et al. Transformation guided image completion
Günther et al. Objective vortex corelines of finite-sized objects in fluid flows
WO2022003179A1 (en) Lidar mapping
Kopanas et al. Improving nerf quality by progressive camera placement for unrestricted navigation in complex environments
Martin et al. Topology-aware reconstruction of thin tubular structures
TW201243486A (en) Building texture extracting apparatus and method thereof
Steinbring et al. High-accuracy real-time whole-body human motion tracking based on constrained nonlinear kalman filtering
Denker et al. Real-time triangulation of point streams
CN109297469A (zh) 估算无人机所观测场景的位移及地速的电子装置和方法
CN106780411B (zh) 一种基于非线性变换的凝胶图像校正方法及系统
CN110262731A (zh) 一种交互系统的输入信息获取方法、装置及电子设备
Pourjam et al. Segmentation of Human Instances Using Grab-cut and Active Shape Model Feedback.
Souza et al. Towards high-resolution face pose synthesis
Paulsen et al. Creating ultra dense point correspondence over the entire human head
CN109389651A (zh) 磁共振化学位移编码成像方法与装置
Saadat Exact Blur Measure Outperforms Conventional Learned Features for Depth Finding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226