CN101582168A - 基于模糊连接度的抠图样本集构造方法 - Google Patents

Abstract

本发明公开了一种基于模糊连接度的抠图样本集构造方法：根据用户提供的区域划分，分别构造像素相对于已知前景、已知背景的相似权重图；求解未知像素与已知前景和背景边界的模糊连接度，并使用树形结构记录最强路径；遍历树形结构，获取每个未知像素通过最强路径关联的前景和背景边界根节点；以根节点为中心搜索邻近已知像素，构造未知像素对应的前景和背景样本集。应用本方法可以有效地处理抠图中未知像素的样本集的构造问题，与已有的抠图采样方法相比，本发明的方法大大降低了对用户提供的区域划分的依赖，样本集构造更加精确、鲁棒，适用于不同的用户交互情形，同时，能够对样本集进行快速有效的更新，具有很好的实用价值。

Description

基于模糊连接度的抠图样本集构造方法

技术领域

本发明属于数字图像处理技术领域，特别是涉及基于模糊连接度的抠图样本集构造方法。

背景技术

所谓抠图，就是通过恢复充分或部分的像素覆盖，将前景对象从背景中精确地分离出来。它是图像、视频编辑和电影制作中的关键技术，其结果可用于与其他背景合成，产生新的影像或特殊效果。图像抠图方法假设一幅输入图像I是前景图像I^f和背景图像I^b的合成。输入图像I中像素i的观测颜色I_i是其对应的前景颜色I_i ^f和背景颜色I_i ^b按照如下合成方程的线性组合

$I_i={\mathrm{\α}}_i{I}_i^f+(1-{\mathrm{\α}}_i)I_i^b$

α_i是i的前景不透明度，α_i∈[0，1]。由于仅仅已知图像的观测颜色I_i，I_i ^f、I_i ^b和α_i均为未知，抠图问题本质上是一个欠约束的问题，因此，几乎所有的抠图方法都要求用户提供一定的约束信息，将图像划分为三个区域：前景区域F，背景区域B和未知区域U。

近几年，国内外研究者从不同的角度提出了大量的解决抠图问题的方法，其中一类重要的方法是通过使用与未知区域U中的未知像素邻近的已知前景与背景区域的统计信息估算未知像素的前景颜色，背景颜色及前景不透明度值，该方法的潜在假设是未知像素的真实前景、背景颜色包含在其对应的前景、背景样本集中。颜色样本被进一步处理，以估算出未知像素的最优前景、背景颜色。一旦前景颜色I_i ^f，背景颜色I_i ^b被确定，未知像素的前景不透明度值α_i能够很容易地从合成公式中求解出。因此如何准确构造未知像素的样本集成为影响这类方法性能优劣的至关重要的一步。

在抠图问题中，未知像素的最优样本应满足两个重要条件：1.前景样本与背景样本的颜色及未知像素的观测颜色I_i符合(1)中的线性关系；2.前景样本、背景样本的颜色应尽可能接近于未知像素的观测颜色I_i。条件1的合理性显而易见。条件2则是构造样本集时必须满足的要求，由于未知区域中大部分像素为充分的前景像素(即前景不透明度α_i为1的像素)和充分的背景像素(即前景不透明度α_i为0的像素)，少量的混合像素(即前景不透明度α_i介于0，1之间的像素)的颜色则由邻近的前景和背景颜色混合而成，因此未知像素的前景样本和背景样本应尽可能选取与其颜色最相似的像素。然而，以前的大部分实现抠图采样的方法其主要思想是邻接最近优先原则，即总是选取在空间位置上离待考察的未知像素近的已知像素作为其样本，其潜在假设是两个像素越邻近则它们所对应的抠图参数越相似，该策略在用户提供的区域划分足够精确的情况下是有效的，然而，一旦用户提供的区域划分较粗糙时，就容易错误地选择到与未知像素相对位置距离近但颜色差异却非常大的样本，这类样本容易导致在后续抠图处理中产生较大的误差。

早期的基于采样的抠图系统，如贝叶斯方法采取构造以未知像素为中心的滑动窗口搜集样本集，将滑动窗口覆盖的已知像素作为对应未知像素的样本，然而这种方法由于受到窗口大小的限制，容易导致低效的采样处理，且可能无法充分地跨越前景和背景的颜色变化。Robust抠图因此提出了沿已知前景和背景边界采样的策略，与局部窗口采样方法相比，该方法能够更好地跨越已知区域的颜色变化。但是这两种方法均不同程度地受到用户提供的区域划分的精确度的约束，当用户提供的区域划分比较粗糙时，对远离前景边界(即前景区域与未知区域之间的分界线)或背景边界(即背景区域与未知区域之间的分界线)的未知像素，两种方法都可能采样到空间位置上距离近的错误的样本。最近，Improving color modeling for alpha matting方法假设前景对象在空间上连通的，通过求解与测地距离相对应的最大权重路径搜索与未知像素最相似的前景样本，该方法在一定程度上降低了空间位置对前景样本集正确构造的限制，但是由于测地距离的计算本身的局限性，该方法容易为包含在具有细长结构的区域中的未知像素构造出错误的样本集。此外，该方法认为背景区域由于前景对象的遮挡通常是不连通的，因此对背景样本集的构造仍然简单地采取了沿背景边界采样的策略，事实上，对背景颜色分布模式复杂的情形，这种处理是不足够的，往往导致采样错误的发生。

发明内容

本发明目的在于提供一种基于模糊连接度的抠图样本集构造方法，以克服在用户提供的区域划分粗糙的情况下容易产生采样错误的问题。

本发明提供的一种基于模糊连接度的抠图样本集构造方法，包含以下步骤：

步骤1，根据用户提供的区域划分，分别构造图像中像素相对于已知前景、已知背景的相似权重图A^f、A^b；

步骤2，根据相似权重图A^f、A^b求解未知像素与已知的前景边界和背景边界的模糊连接度，并使用树形结构记录最强路径；

步骤3，遍历树形结构，获取每个未知像素通过最强路径关联的前景边界像素和背景边界像素，并分别记为前景边界根节点和背景边界根节点；

步骤4，以前景边界根节点为中心搜索邻近已知前景像素，构造每个未知像素对应的前景样本集；以背景边界根节点为中心搜索邻近已知背景像素，构造每个未知像素对应的背景样本集。

而且，像素相对于已知前景、已知背景的相似权重图A^f、A^b按照如下步骤构造，

步骤1.1，根据用户通过交互信息提供的区域划分，将图像划分为三个区域：前景区域F，背景区域B和未知区域U，前景区域F即为图像的已知前景，背景区域B即为图像的已知背景，直接与未知区域U中的未知像素相邻接的前景/背景像素构成了前景/背景边界，位于前景/背景边界上的像素即为前景/背景边界像素；

步骤1.2，分别对已知前景的颜色和已知背景的颜色建模，定义图像中所有像素本身及邻接像素间相对于已知前景和背景的颜色相似度的权重函数，构造出相似权重图A^f及A^b，定义A^o(p，q)，o∈{f，b}，表示相似权重图中像素p，q之间的边的权重值。

而且，所述模糊连接度定义如下：

(1)定义两个像素间路径的连接强度，

在图像内任意两个像素s和t之间存在着大量的路径，构成路径集合P，每条路径γ∈P由一系列连续邻接的节点p₀，p₁，p₂，…，p_n-1，p_n连接而成，表示为γ(s→t)＝{p₀，p₁，p₂，…，p_n-1，p_n}，其中起始的节点p₀为s，结束的节点p_n为t，且 $\underset{i=0\·\·\·,n-1}{A^o}(p_i,p_{i+1})>0,$ o∈{f，b}，

是节点p_i和p_i+1之间的边的相似权重，由相似权重图A^f或A^b中取得；

路径γ(s→t)的连接强度记为

${\mathrm{str}}^o\left(\mathrm{\γ}(s\→t)\right)\underset{i=0\·\·\·,n-1}{\min }{A}^o(p_i,p_{i+1}),o\∈\{f,b\}$

(2)像素s和t的模糊连接度定义为两者间所有路径中最大的连接强度，记为

${\mathrm{FC}}^o(s,t)\underset{\mathrm{\γ}\∈P}{\max }{\mathrm{str}}^o\left(\mathrm{\γ}(s\→t)\right),o\∈\{f,b\};$

(3)图像中像素到前景边界或背景边界的模糊连接度，根据该像素与前景边界像素或背景边界像素的模糊连接度得到。

而且，步骤2具体实施方式如下，

(1)求解未知像素与前景边界的模糊连接度和最强路径，步骤如下，

步骤2.11，设置相关变量并初始化，包括有：

设置像素与前景边界间的模糊连接度FC^f，初始化时将已知前景中所有的前景像素与前景边界间的FC^f值设置为1，图像中所有非前景像素与前景边界间的FC^f值设为0；

设置以模糊连接度FC^f值为优先权的优先队列Q^f，初始化时将所有前景边界像素加入到优先队列Q^f中；

设置标识位Flag^f，当Flag^f值为“1”时表示对应像素可以被插入优先队列Q^f中，为“0”则不能插入优先队列Q^f中；初始化时前景边界像素与未知像素的Flag^f值设为1，图像中剩余像素的Flag^f值设为0；

设置树形结构T^f，用于记录前景边界像素和未知像素的父节点和孩子节点；初始化时把所有前景边界像素加入到树形结构T^f中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^f中，且对应的父节点和孩子节点设为空；

步骤2.12，当优先队列Q^f不为空时，提取出优先队列Q^f中具有最大的FC^f值的像素p，继续执行步骤2.13、2.14；当Q^f为空时，求解终止；

步骤2.13，对像素p的每个邻接像素q：

1)如果由相似权重图A^f中取得的像素p，q之间的边的相似权重A^f(p，q)＞0，且Flag^f(q)等于1，则执行后续操作；

2)比较像素p与前景边界的模糊连接度FC^f(p)和A^f(p，q)的大小；

3)令 ${\mathrm{FC}}_{\min }^f\{{\mathrm{FC}}^f\left(p\right),A^f(p,q)\};$

FC^f(q)为像素q与前景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^f>{\mathrm{FC}}^f\left(q\right)),$ 则执行后续操作；

4)设置 ${\mathrm{FC}}^f\left(q\right)={\mathrm{FC}}_{\min }^f;$

5)如果q在树形结构T^f中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^f中，则

把q插入到树形结构T^f中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^f中；

步骤2.14，将p从Q^f中删除，返回步骤2.12；

(2)求解未知像素与背景边界的模糊连接度和最强路径，步骤如下，

步骤2.21，设置相关变量并初始化，包括有：

设置像素与背景边界间的模糊连接度FC^b，初始化时将已知背景中的所有背景像素与背景边界间的FC^b值设置为1，图像中所有非背景像素与背景边界间的FC^b值设为0；

设置以模糊连接度FC^b值为优先权的优先队列Q^b，初始化时将所有背景边界像素加入到优先队列Q^b中；

设置标识位Flag^b，当Flag^b值为“1”时表示对应像素可以被插入优先队列Q^b中，为“0”则不能插入优先队列Q^b中；初始化时背景边界像素与未知像素的Flag^b值设为1，图像中剩余像素的Flag^b值设为0；

设置树形结构T^b，用于记录背景边界像素和未知像素的父节点和孩子节点；初始化时把所有背景边界像素加入到树形结构T^b中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^b中，且对应的父节点和孩子节点设为空；

步骤2.22，当优先队列Q^b不为空时，提取出优先队列Q^b中具有最大的FC^f值的像素p，继续执行步骤2.23、2.24；当Q^b为空时，求解终止；

步骤2.23，对像素p的每个邻接像素q：

1)如果由相似权重图A^b中取得的像素p，q之间的边的相似权重A^b(p，q)＞0，且Flag^b(q)等于1，则执行后续操作；

2)比较p与背景边界的模糊连接度FC^b(p)和A^b(p，q)的大小；

3)令 ${\mathrm{FC}}_{\min }^b=\{{\mathrm{FC}}^b\left(p\right),A^b(p,q)\},$

FC^b(q)为像素q与背景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^b>{\mathrm{FC}}^b\left(q\right)),$ 则执行后续操作；

4)设置 ${\mathrm{FC}}^b\left(q\right)={\mathrm{FC}}_{\min }^b;$

5)如果q在树形结构T^b中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^b中，则

把q插入到树形结构T^b中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^b中；

步骤2.24，将p从Q^b中删除，返回步骤2.22。

而且，用户通过交互提供新的笔划以补充区域划分时，只对与新的笔划所产生边界之间存在连通路径的未知像素重新处理，更新前景和背景样本集；

(1)当新的前景笔划加入后，具体处理方式如下，

1)如果新加入的前景笔划包含了新的前景颜色，则对新的已知前景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知前景的颜色相似度的权重函数，更新相似权重图A^f，然后转向步骤2)；如果新加入的前景笔划未包含新的前景颜色，直接转向步骤2)；

2)计算新加入的前景笔划所产生前景边界F”与原有的前景边界F’间的模糊连接度值FC(F’，F”)；

3)根据FC(F’，F”)将新的前景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\Ω}}_{U^{\′}}^1=\left\{i\right|i\∈U^{\′},{\mathrm{FC}}^f(F^{\′},i)>\mathrm{FC}(F^{\′},F^{\′\′})\}$

${\mathrm{\Ω}}_{U^{\′}}^2=\left\{i\right|i\∈U^{\′},{\mathrm{FC}}^f(F^{\′},i)=\mathrm{FC}(F^{\′},F^{\′\′})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)<\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

其中FC^f(F′，i)表示新的未知区域U’中任意像素i与原有的前景边界F’的模糊连接度；

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^f及前景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的前景笔划所覆盖的未知像素的FC^f为1，Ω_U′ ²中未知像素的FC^f为0；设置Ω_U′ ²中未知像素的Flag^f位为1，图像中剩余像素的Flag^f位为0；把新的前景边界F”中的像素加入到队列Q^f中；

然后，重新计算Ω_U′ ²中未知像素与新的前景边界F”间的FC^f和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^f值为0，则该未知像素的FC^f及前景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^f设置为重新计算出的FC^f值，并根据新的最强路径更新该像素的前景样本集；

(2)当新的背景笔划加入后，具体处理方式如下，

1)如果新加入的背景笔划包含了新的背景颜色，则对新的已知背景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知背景的颜色相似度的权重函数，更新相似权重图A^b，然后转向步骤2)；如果新加入的背景笔划未包含新的背景颜色，直接转向步骤2)；

2)计算新加入的背景笔划所产生背景边界B”与原有的背景边界B’间的模糊连接度值FC(B’，B”)；

3)根据FC(B’，B”)将新的背景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\&Omega;}}_{U^{\&prime;}}^1=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)>\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^2=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)=\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)<\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

其中FC^b(B′，i)表示新的未知区域U’中任意像素i与原有的背景边界B’的模糊连接度；

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^b及背景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的背景笔划所覆盖的未知像素的FC^b为1，Ω_U′ ²中未知像素的FC^b为0；设置Ω_U′ ²中未知像素的Flag^b位为1，图像中剩余像素的Flag^b位为0；把新的背景边界B”中的像素加入到队列Q^b中；

然后，重新计算Ω_U′ ²中未知像素与新的背景边界B”间的FC^b和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^b值为0，则该未知像素的FC^b及背景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^b设置为重新计算出的FC^b值，并根据新的最强路径更新该像素的背景样本集。

而且，(1)计算新加入的前景笔划所产生的前景边界F”与原有的前景边界F’间的模糊连接度FC(F’，F”)，具体实现方式如下

前景边界F”与原有的前景边界F’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{f^{\&prime;}\&Element;F^{\&prime;}}{\max }\underset{f^{\&prime;\&prime;}=F^{\&prime;\&prime;}}{\max }\mathrm{FC}(f^{\&prime;},f^{\&prime;\&prime;})$

考察F”中每个像素i与F’的模糊连接度FC^f(F’，i)，并从中挑选出最大的FC^f(F’，i)值作为FC(F’，F”)，即

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{i\&Element;F^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^f(F^{\&prime;},i)$

(2)计算新加入的背景笔划所产生的背景边界B”与原有的背景边界B’间的模糊连接度FC(B’，B”)，具体实现方式如下

背景边界B”与原有的背景边界B’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{b^{\&prime;}\&Element;B^{\&prime;}}{\max }\underset{b^{\&prime;\&prime;}\&Element;B^{\&prime;\&prime;}}{\max }\mathrm{FC}(b^{\&prime;},b^{\&prime;\&prime;})$

考察B”中每个像素i与B’的模糊连接度FC^b(B’，i)，并从中挑选出最大的FC^b(B’，i)值作为FC(B’，B”)，即

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{i\&Element;B^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^b(B^{\&prime;},i).$

而且，步骤3具体实施方式为，遍历树形结构，通过孩子节点或父节点指针追溯未知像素到前景或背景边界的最强路径，获取最强路径所关联的前景或背景边界像素。

而且，步骤4具体实施方式为，获取某个未知像素对应的前景边界根节点后，以该根节点为中心沿前景边界搜索m个前景像素，所得的m个前景像素即前景样本构成了前景样本集，m为用户指定的每个未知像素的前景样本的个数；获取某个未知像素对应的背景边界根节点后，以该根节点为中心沿背景边界搜索n个背景像素，所得的n个背景像素即背景样本构成了背景样本集，其中n为用户指定的每个未知像素的背景样本的个数。

本发明还要求保护所述抠图样本集构造方法在图像处理领域或视频处理领域中的应用。

本发明通过计算未知像素到前景和背景边界的最强路径，搜集与未知像素在颜色空间最相似的样本集，大大降低了对用户提供的区域划分的依赖，样本集构造过程更加精确、鲁棒。并且当新的用户笔划加入时，能够对样本集进行快速有效的更新。由于其鲁棒性和灵活性，本发明的方法可以被应用到多种抠图系统中，产生更加先进的抠图方法，也可以在视频技术领域发挥作用。

附图说明

图1是本发明实施例中前景样本集构造流程图。

图2是本发明实施例中前景样本集更新的流程示意图。

图3是本发明实施例中用户提供的较精确的区域划分。

图4是本发明实施例中用户使用少量笔划提供的较粗糙的区域划分。

具体实施方式

本发明提供的基于模糊连接度的抠图样本集构造方法，其本质思想是选取与未知像素在颜色空间最相似的已知像素作为其样本，本方法通过计算未知像素到前景和背景边界的模糊连接度及对应的最强路径，以最强路径所关联的已知边界像素为中心搜集未知像素的样本集。

本发明的基于模糊连接度的抠图样本集构造方法，包括以下步骤：

步骤1，根据用户提供的区域划分，分别构造图像中像素相对于已知前景、已知背景的相似权重图A^f、A^b。准确地，是像素相对于已知前景的相似权重图A^f，像素相对于已知背景的相似权重图A^b。

步骤2，根据相似权重图A^f、A^b求解未知像素与前景边界和背景边界的模糊连接度，并使用树形结构记录最强路径。

具体是根据相似权重图A^f求解未知像素与前景边界的模糊连接度，根据相似权重图A^b求解未知像素与背景边界的模糊连接度。

步骤3，遍历树形结构，获取每个未知像素通过最强路径关联的前景边界像素和背景边界像素，并分别记为前景边界根节点和背景边界根节点。

步骤4，以前景边界根节点为中心搜索邻近已知前景像素，构造每个未知像素对应的前景样本集；以背景边界根节点为中心搜索邻近已知背景像素，构造每个未知像素对应的背景样本集。

以下结合实施例详细说明各步骤实现方式：

步骤1

用户提供的区域划分，具体实施时可以是由用户提供较多的交互信息指定大部分前景和背景实现区域划分，也可以是由用户提供少量笔划标识部分前景和背景像素进行区域划分。“由用户提供较多的交互信息指定大部分前景和背景”是指用户交互量较多的情况，指定了图像中的大部分前景和背景像素，“仅使用少量笔划标识部分前景和背景像素”对应于粗糙的用户交互，在该情形下用户仅通过简单的几笔指定少量的前景和背景像素。本发明既支持充分交互的情况，也支持交互粗糙的情况。将图像划分为三个区域，即前景区域F，背景区域B和未知区域U之后，前景和背景确定为已知信息，前景边界和背景边界也就确定成为已知信息了。因此，前景区域F即为图像的已知前景，背景区域B即为图像的已知背景，直接与未知区域U中的未知像素相邻接的前景/背景像素构成了前景/背景边界，位于前景/背景边界上的像素即为前景/背景边界像素。

构造相似权重图属于现有技术，本发明提出具体实现方式为：分别对已知前景的颜色和已知背景的颜色建模，定义图像中所有像素本身及邻接像素间相对于已知前景和背景的颜色相似度的权重函数，构造出相似权重图A^f及A^b，定义A^o(p，q)，o∈{f，b}，表示相似权重图中像素p，q之间的边的权重值。具体实施时，也可以采用其它方式得到出相似权重图A^f及A^b，例如通过考察像素颜色属性和空间位置属性上的距离得到。

实施例中，将一幅输入图像抽象为4-邻接的图，为前景和背景分别构建颜色分布模型——高斯混合模型GMM，并使用FuzzyMatte方法构造A^f、A^b。高斯混合模型GMM和FuzzyMatte方法为现有技术，为便于实施参考，本发明提供实施例相关说明，包括使用FuzzyMatte方法中定义的如下形式的权重函数，构造A^f、A^b：

其中

表示两个像素之间的颜色相似度，其定义为：

公式中：I(p₁)、I(p₂)分别表示两个邻接像素p₁，p₂的颜色向量，∑_max ^o是对GMM中的每个高斯分量平均三个颜色通道的方差值后，具有最大的平均方差的前景或背景高斯分量的协方差矩阵，exp()表示取指数，上标T表示矩阵转置。本发明采用f标示前景，b标示背景。

A_φ ^o(p₁，p₂)像素与已知前景或背景颜色间的相似度，以计算像素到已知前景的颜色相似度A_φ ^f(p₁，p₂)为例，其步骤为：

首先定义一个像素p与前景颜色间的相似度：

$S^f\left(p\right)\underset{i}{\max }\exp (-\frac{1}{2}{[I\left(p\right)-m_i^f]}^T{\left({\mathrm{\&Sigma;}}_i^f\right)}^{-1}[I\left(p\right)-m_i^f\left]\right)$

公式中：i表示前景高斯混合模型GMM中的高斯分量的索引，m_i ^f，∑_i ^f分别是第i个前景高斯分量所对应的均值向量和协方差矩阵。

符号表示在i取得不同值时，所有对应的exp()的取值中的最大值。则

这里，

$W_{\min }^f(p_1,p_2)=\min [S^f\left(p_1\right),S^f\left(p_2\right)]$

$W_{\max }^f(p_1,p_2)=\max [S^b\left(p_1\right),S^b\left(p_2\right)]$

像素与已知背景颜色间的相似度A_φ ^b(p₁，p₂)的计算与A_φ ^f(p₁，p₂)的定义相似。

A^o(p₁，p₂)的计算公式中的符号λ是权衡两种相似度衡量

与A_φ ^o(p₁，p₂)之间的相对重要性的参数，λ∈[0，1]。

步骤2

本发明为了求解未知像素与已知前景和背景边界间的模糊连接度，首先引入两个像素间路径强度的定义，然后设定两个像素间的模糊连接度的定义。在一幅图像中像素s和t之间存在着大量的路径P，每条路径γ∈P由一系列连续的邻接节点连接而成，γ(s→t)＝{p₀，p₁，p₂，…，p_n-1，p_n}，p₀＝r，p_n＝t，且 $\underset{i=0\&CenterDot;\&CenterDot;\&CenterDot;,n-1}{A^o}(p_i,p_{i+1})>0.$ 路径γ(s→t)的强度被定义为：

${\mathrm{str}}^o\left(\mathrm{\&gamma;}(s\&RightArrow;t)\right)\underset{i=0\&CenterDot;\&CenterDot;\&CenterDot;,n-1}{\min }{A}^o(p_i,p_{i+1}),o\&Element;\{f,b\}$

则s、t的模糊连接度定义为两者间所有路径中最大的连接强度，即

${\mathrm{FC}}^o(s,t)\underset{\mathrm{\&gamma;}\&Element;P}{\max }{\mathrm{str}}^o\left(\mathrm{\&gamma;}(s\&RightArrow;t)\right),o\&Element;\{f,b\};$

计算两个像素间的模糊连接度本质上是一个单源最短路径问题。

具体求解未知像素到已知前景和背景边界的模糊连接度，并使用树形结构记录最强路径，包括前景和背景两部分，需要分别处理。

实施例中求解未知像素到前景边界的模糊连接度和最强路径，其步骤为：

步骤2.11，设置相关变量并初始化，包括有：

设置像素与前景边界间的模糊连接度FC^f，初始化时将已知前景中所有的前景像素与前景边界间的FC^f值设置为1，图像中所有非前景像素与前景边界间的FC^f值设为0；

设置以模糊连接度FC^f值为优先权的优先队列Q^f，初始化时将所有前景边界像素加入到优先队列Q^f中；

设置标识位Flag^f，当Flag^f值为“1”时表示对应像素可以被插入优先队列Q^f中，为“0”则不能插入优先队列Q^f中；初始化时前景边界像素与未知像素的Flag^f值设为1，图像中剩余像素的Flag^f值设为0；

设置树形结构T^f，用于记录前景边界像素和未知像素的父节点和孩子节点；初始化时把所有前景边界像素加入到树形结构T^f中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^f中，且对应的父节点和孩子节点设为空；

步骤2.12，当优先队列Q^f不为空时，提取出优先队列Q^f中具有最大的FC^f值的像素p，继续执行步骤2.13、2.14；当Q^f为空时，求解终止；

步骤2.13，对像素p的每个邻接像素q：

1)如果由相似权重图A^f中取得的像素p，q之间的边的相似权重A^f(p，q)＞0，且Flag^f(q)等于1，则执行后续操作；

2)比较像素p与前景边界的模糊连接度FC^f(p)和A^f(p，q)的大小；

由于像素p与前景边界的模糊连接度根据像素与前景边界像素的模糊连接度得出，FC^f(p)可定义为 ${\mathrm{FC}}^f\left(p\right)={\mathrm{FC}}^f(F^{\&prime;},p)=\underset{p^{\&prime;}\&Element;F^{\&prime;}}{\max }{\mathrm{FC}}^f(p^{\&prime;},p),$ 其中F’标记前景边界，p’标记前景边界F’中的任一个像素。即考察像素p与前景边界F’中所有前景边界像素的模糊连接度，取其中最大者为像素p与前景边界F’的模糊连接度。

3)令 ${\mathrm{FC}}_{\min }^f\{{\mathrm{FC}}^f\left(p\right),A^f(p,q)\};$

FC^f(q)为像素q与前景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^f>{\mathrm{FC}}^f\left(q\right)),$ 则执行后续操作；

与FC^f(p)获取过程相同，

因此FC^f(q)可定义为 ${\mathrm{FC}}^f\left(q\right)={\mathrm{FC}}^f(F^{\&prime;},q)=\underset{q^{\&prime;}\&Element;F^{\&prime;}}{\max }{\mathrm{FC}}^f(q^{\&prime;},q),$ 其中F’标记前景边界，q’标记前景边界F′中的任一个像素。

4)设置 ${\mathrm{FC}}^f\left(q\right)={\mathrm{FC}}_{\min }^f;$

5)如果q在树形结构T^f中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^f中，则

把q插入到树形结构T^f中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^f中；

步骤2.14，将p从Q^f中删除，返回步骤2.12。

实施例中求解未知像素到背景边界的模糊连接度和最强路径，步骤如下：

步骤2.21，设置相关变量并初始化，包括有：

设置像素与背景边界间的模糊连接度FC^b，初始化时将已知背景中的所有背景像素与背景边界间的FC^b值设置为1，图像中所有非背景像素与背景边界间的FC^b值设为0；

设置以模糊连接度FC^b值为优先权的优先队列Q^b，初始化时将所有背景边界像素加入到优先队列Q^b中；

设置标识位Flag^b，当Flag^b值为“1”时表示对应像素可以被插入优先队列Q^b中，为“0”则不能插入优先队列Q^b中；初始化时背景边界像素与未知像素的Flag^b值设为1，图像中剩余像素的Flag^b值设为0；

设置树形结构T^b，用于记录背景边界像素和未知像素的父节点和孩子节点；初始化时把所有背景边界像素加入到树形结构T^b中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^b中，且对应的父节点和孩子节点设为空；

步骤2.22，当优先队列Q^b不为空时，提取出优先队列Q^b中具有最大的FC^b值的像素p，继续执行步骤2.23、2.24；当Q^b为空时，求解终止；

步骤2.23，对像素p的每个邻接像素q：

1)如果由相似权重图A^b中取得的像素p，q之间的边的相似权重(p，q)＞0，且Flag^b(q)等于1，则执行后续操作；

2)比较p与背景边界的模糊连接度FC^b(p)和A^b(p，q)的大小；

由于像素p与背景边界的模糊连接度根据像素与背景边界像素的模糊连接度得出，FC^b(p)可定义为 ${\mathrm{FC}}^b\left(p\right)={\mathrm{FC}}^b(B^{\&prime;},p)=\underset{p^{\&prime;}\&Element;B^{\&prime;}}{\max }{\mathrm{FC}}^b(p^{\&prime;},p),$ 其中B’标记背景边界，p’标记背景边界中B’中的任一个像素。即考察像素p与背景边界B’中所有前景边界像素的模糊连接度，取其中最大者为像素p与背景边界B’的模糊连接度。

3)令 ${\mathrm{FC}}_{\min }^b=\{{\mathrm{FC}}^b\left(p\right),A^b(p,q)\},$

FC^b(q)为像素q与背景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^b>{\mathrm{FC}}^b\left(q\right)),$ 则执行后续操作；

与FC^b(p)获取过程相同，

因此FC^b(q)可定义为 ${\mathrm{FC}}^b\left(q\right)={\mathrm{FC}}^b(B^{\&prime;},q)=\underset{q^{\&prime;}\&Element;B^{\&prime;}}{\max }{\mathrm{FC}}^b(q^{\&prime;},q)$ 其中B’标记背景边界，q’标记背景边界B’中的任一个像素。

4)设置 ${\mathrm{FC}}^b\left(q\right)={\mathrm{FC}}_{\min }^b;$

5)如果q在树形结构T^b中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^b中，则

把q插入到树形结构T^b中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^b中；

步骤2.24，将p从Q^b中删除，返回步骤2.22。

步骤3

本发明提供进一步技术方案：当所有未知像素与前景边界和背景边界间的模糊连接度FC^f，FC^b求解出后，遍历对应的树形结构，通过孩子节点或父节点指针追溯每个未知像素到前景或背景边界的最强路径，获取最强路径所关联的前景或背景边界像素，即为最强路径所关联的前景或背景边界根节点。根节点即与对应未知像素在颜色空间最相似的已知像素。

求解模糊连接度的过程实际上也是确定最强路径的过程，因此，为了记录路径本发明给对应的像素分配两个变量：即步骤2中所说的“父节点”“孩子节点”指针变量，从起始节点到目的节点各个邻接节点相互链接构成了一条路径，对一个具体的像素i，其“父节点”是这条路径上i的上一个邻接节点，其“孩子节点”是这条路径上i的下一个邻接节点。由于在求解模糊连接度的过程中，已经记录了路径中每个节点的“父节点”和“孩子节点”信息(起始节点即前景/背景边界像素节点的“父节点”为-1，目的节点即当前被考察的未知像素的“孩子节点”为空)。因此，模糊连接度求解过程结束后，从起始点(“目的节点”)开始，通过“孩子节点”(“父节点“)指针找到下(上)一个节点，直到“孩子节点”(“父节点”)为空(-1)，这样就很容易地确定了一条最强路径，并获取最强路径所关联的前景或背景边界根节点，根节点即与对应未知像素在颜色空间最相似的已知像素。

步骤4

本发明提供进一步技术方案：获取某个未知像素对应的前景边界根节点后，以该根节点为中心沿前景边界搜索前景像素，作为该未知像素的前景样本，搜索所得所有前景样本构成前景样本集。对背景样本集的构造过程与之类似，获取某个未知像素对应的背景边界根节点后，以该根节点为中心沿背景边界搜索背景像素，作为该未知像素的背景样本，搜索所得所有背景样本构成背景样本集。具体实施时，也可以根节点为中心在局部邻域内搜索前景像素，局部邻域意指以该根节点为中心所构成的区域，例如矩形或圆形区域。具体实施时，可以事先由用户根据需要指定每个未知像素的前景样本的个数m和背景样本的个数n。一般应用时建议m和n取值范围为3～10。

当用户提供新的交互信息时，可以按照交互信息重新进行区域划分，然后重复步骤1～4。但为了提高效率，本发明还提供了简便的样本集更新方案：用户通过交互信息提供新的笔划以补充区域划分时，只对与新的笔划所产生边界之间存在连通路径的未知像素重新处理，更新前景和背景样本集。用户提供的笔划可能为前景笔划或背景笔划。

实施例中，当新的前景笔划加入后，具体处理方式如下，

1)如果新加入的前景笔划包含了新的前景颜色，则对新的已知前景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知前景的颜色相似度的权重函数，更新相似权重图A^f，然后转向步骤2)；如果新加入的前景笔划未包含新的前景颜色，直接转向步骤2)；

2)计算新加入的前景笔划所产生前景边界F”与原有的前景边界F’间的模糊连接度值FC(F’，F”)；

3)根据FC(F’，F”)将新的前景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\&Omega;}}_{U^{\&prime;}}^1=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)>\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^2=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)=\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)<\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

其中FC^f(F′，i)表示新的未知区域U’中任意像素i与原有的前景边界F’的模糊连接度，可定义为 ${\mathrm{FC}}^f(F^{\&prime;},i)=\underset{p^{\&prime;}\&Element;F^{\&prime;}}{\max }{\mathrm{FC}}^f(p^{\&prime;},i),$ 即考察像素i与的前景边界F’中所有前景边界像素的模糊连接度，取其中最大者为像素i与原有的前景边界F’的模糊连接度。

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^f及前景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的前景笔划所覆盖的未知像素的FC^f为1，Ω_U′ ²中未知像素的FC^f为0；设置Ω_U′ ²中未知像素的Flag位为1，图像中剩余像素的Flag^f位为0；把新的前景边界F”中的像素加入到队列Q^f中；

然后，重新计算Ω_U′ ²中未知像素与新的前景边界F”间的FC^f和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^f值为0，则该未知像素的FC^f及前景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^f设置为重新计算出的FC^f值，并根据新的最强路径更新该像素的前景样本集。

实施例中，当新的背景笔划加入后，具体处理方式如下，

1)如果新加入的背景笔划包含了新的背景颜色，则对新的已知背景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知背景的颜色相似度的权重函数，更新相似权重图A^b，然后转向步骤2)；如果新加入的背景笔划未包含新的背景颜色，直接转向步骤2)；

2)计算新加入的背景笔划所产生背景边界B”与原有的背景边界B’间的模糊连接度值FC(B’，B”)；

3)根据FC(B’，B”)将新的背景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\&Omega;}}_{U^{\&prime;}}^1=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)>\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^2=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)=\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)<\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

其中FC^b(B′，i)表示新的未知区域U’中任意像素i与原有的背景边界B’的模糊连接度，可定义为 ${\mathrm{FC}}^b(B^{\&prime;},i)=\underset{p^{\&prime;}\&Element;B^{\&prime;}}{\max }{\mathrm{FC}}^b(p^{\&prime;},i)$ 即考察像素i与的背景边界B’中所有前景边界像素的模糊连接度，取其中最大者像素i与原有的背景边界B’的模糊连接度。

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^f及背景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的背景笔划所覆盖的未知像素的FC^b为1，Ω_U′ ²中未知像素的FC^b为0；设置Ω_U′ ²中未知像素的Flag^b位为1，图像中剩余像素的Flag^b位为0；把新的背景边界B”中的像素加入到队列Q^b中；

然后，重新计算Ω_U′ ²中未知像素与新的背景边界B”间的FC^b和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^b值为0，则该未知像素的FC^b及背景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^b设置为重新计算出的FC^b值，并根据新的最强路径更新该像素的背景样本集。

为了便于实施，提供实施例中新旧边界间模糊连接度的具体过程如下：

(1)计算新加入的前景笔划所产生前景边界F”与原有的前景边界F’间的模糊连接度FC(F’，F”)，具体实现方式如下

前景边界F”与前景边界F’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{f^{\&prime;}\&Element;F^{\&prime;}}{\max }\underset{f^{\&prime;\&prime;}=F^{\&prime;\&prime;}}{\max }\mathrm{FC}(f^{\&prime;},f^{\&prime;\&prime;})$

考察F”中每个像素i与F’的模糊连接度FC^f(F’，i)，并从中挑选出最大的FC^f(F’，i)值作为FC(F’，F”)，即

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{i\&Element;F^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^f(F^{\&prime;},i)$

(2)计算新加入的背景笔划所产生背景边界B”与原有的背景边界B’间的模糊连接度FC(B’，B”)，具体实现方式如下

背景边界B”与原有的背景边界B’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{b^{\&prime;}\&Element;B^{\&prime;}}{\max }\underset{b^{\&prime;\&prime;}\&Element;B^{\&prime;\&prime;}}{\max }\mathrm{FC}(b^{\&prime;},b^{\&prime;\&prime;})$

考察B”中每个像素i与B’的模糊连接度FC^b(B’，i)，并从中挑选出最大的FC^b(B’，i)值作为FC(B’，B”)，即

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{i\&Element;B^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^b(B^{\&prime;},i).$

本发明的提供的基于模糊连接度的抠图样本集构造方法，能够被应用到多种涉及对已知像素采样的抠图系统中，在图像处理领域发挥重要作用。并且，由于视频本质上是一系列时间上连续的图像的组合，抠图是在视频编辑中的常用技术，本发明所提供基于模糊连接度的抠图样本集构造方法可以很自然地推广到视频处理领域。

本领域技术人员可以按照以上技术方案，采用计算机软件技术实现自动化样本集生成。为了便于实施参考，本发明提供了实施例细节说明：

实施例利用VC++8.0软件平台实现。对前景和背景像素均构建包含5个高斯分量的高斯混合模型，参数λ的设置则根据不同的输入图像而有所不同。高斯混合模型中所包含的高斯分量的个数及λ的值可以做适当调整，以期取得更好的效果。对输入图像，由用户对该图像进行类似于如图3所示的较精确的区域划分，或者进行类似于如图4所示用少量笔划提供的较粗糙的区域划分。以前景样本集的构造为例，总结前景样本集生成的基本流程，参见图1：输入图像后，根据交互信息将图像划分为前景、背景、未知区域；构造像素相对于已知前景的相似权重图；求解未知像素与前景边界的模糊连接度和最强路径；遍历树形结构，获取未知像素通过最强路径关联的前景边界根节点；以根节点为中心，搜索邻近已知前景像素，构造前景样本集。以前景样本集的更新为例，总结在用户增加新的前景笔划后对前景样本集进行更新的基本流程，参见图2：输入新的前景笔划后，判断新的前景笔划中是否包含了新的前景颜色，若是则重构像素相对于前景的相似权重图然后计算新的前景边界F”与已有的前景边界F’的模糊连接度FC(F’，F”)，否则直接计算FC(F’，F”)；然后根据FC(F’，F”)将新的未知像素集合划分为三个子集合，计算子集合2(即集合Ω_U′ ²)中的未知像素与F”的模糊连接度和最强路径；判断计算出的模糊连接度值是否为0，是则该像素的模糊连接度值及前景样本集不变，否则该像素的前景模糊连接度及最强路径设置为重新计算出的值，然后根据新的最强路径关联的前景边界根节点更新该未知像素的前景样本集。

为了评估样本集构造结果的优劣，可以采用Robust抠图中基于样本对抠图参数估算的方法求解出输入图像的前景不透明度，该方法的性能表现强依赖于样本集的构造，因此，所提取出的抠图结果能够很好地反映出样本集构造的精确程度。而且，由于沿边界采样的方法在采样效率和精确度上明显优于局部窗口采样方法，可以只将本发明的方法与沿边界采样的方法进行比较。比较结果可以证明，沿边界采样方法容易错误地搜集到空间位置上距离未知像素近的错误样本，基于该方法所得的样本集估算出的前景不透明度中包含了大量显见的错误。相比之下，基于模糊连接度的采样方法沿到前景/背景边界的最强路径，搜索到与该未知像素在颜色空间最相似的前景/背景边界像素，然后以前景/背景边界像素为中心沿边界构造样本集，在此基础上提取出的前景不透明度精确完整。对远离前景/背景边界的未知像素，在给定相同的区域划分的情况下，基于沿边界采样的方法产生的抠图结果中会出现更多的错误，主要集中在背景或前景颜色较复杂，用户笔划没有充分覆盖到邻近已知颜色的未知区域中。而基于模糊连接度的方法则通过搜索未知像素到前景和背景边界的最强路径构造未知像素的样本集，而不是仅仅简单地将空间位置上距离近的已知像素作为样本，能够得到更高质量的抠图结果，在样本集构造的正确性与鲁棒性上，本发明的方法有显著改进。

本发明不限于实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.基于模糊连接度的抠图样本集构造方法，其特征在于：包括以下步骤，

步骤1，根据用户提供的区域划分，分别构造图像中像素相对于已知前景、已知背景的相似权重图A^f、A^b；

步骤2，根据相似权重图A^f、A^b求解未知像素与已知的前景边界和背景边界的模糊连接度，并使用树形结构记录最强路径；

步骤3，遍历树形结构，获取每个未知像素通过最强路径关联的前景边界像素和背景边界像素，并分别记为前景边界根节点和背景边界根节点；

步骤4，以前景边界根节点为中心搜索邻近已知前景像素，构造每个未知像素对应的前景样本集；以背景边界根节点为中心搜索邻近已知背景像素，构造每个未知像素对应的背景样本集。

2.根据权利要求1所述的抠图样本集构造方法，其特征在于：像素相对于已知前景、已知背景的相似权重图A^f、A^b按照如下步骤构造，

步骤1.1，根据用户通过交互信息提供的区域划分，将图像划分为三个区域：前景区域F，背景区域B和未知区域U，前景区域F即为图像的已知前景，背景区域B即为图像的已知背景，直接与未知区域U中的未知像素相邻接的前景/背景像素构成了前景/背景边界，位于前景/背景边界上的像素即为前景/背景边界像素；

步骤1.2，分别对已知前景的颜色和已知背景的颜色建模，定义图像中所有像素本身及邻接像素间相对于已知前景和背景的颜色相似度的权重函数，构造出相似权重图A^f及A^b，定义A^o(p，q)，o∈{f，b}，表示相似权重图中像素p，q之间的边的权重值。

3.根据权利要求2所述的抠图样本集构造方法，其特征在于：所述模糊连接度定义如下：

(1)定义两个像素间路径的连接强度，

在图像内任意两个像素s和t之间存在着大量的路径，构成路径集合P，每条路径γ∈P由一系列连续邻接的节点p₀，p₁，p₂，…，p_n-1，p_n连接而成，表示为γ(s→t)＝{p₀，p₁，p₂，…，p_n-1，p_n}，其中起始的节点p₀为s，结束的节点p_n为t，且 $\underset{i=0\&CenterDot;\&CenterDot;\&CenterDot;,n-1}{A^o}(p_i,p_{i+1})>0,$ o∈{f，b}，

是节点p_i和p_i+1之间的边的相似权重，由相似权重图A^f或A^b中取得；

路径γ(s→t)的连接强度记为

${\mathrm{str}}^o\left(\mathrm{\&gamma;}(s\&RightArrow;t)\right)=\underset{t=0\&CenterDot;\&CenterDot;\&CenterDot;,n-1}{\min }{A}^o(p_i,p_{i+1}),o\&Element;\{f,b\}$

(2)像素s和t的模糊连接度定义为两者间所有路径中最大的连接强度，记为

${\mathrm{FC}}^o(s,t)=\underset{\mathrm{\&gamma;}\&Element;P}{\max }{\mathrm{str}}^o\left(\mathrm{\&gamma;}(s\&RightArrow;t)\right),o\&Element;\{f,b\};$

(3)图像中像素到前景边界或背景边界的模糊连接度，根据该像素与前景边界像素或背景边界像素的模糊连接度得到。

4.根据权利要求3所述的抠图样本集构造方法，其特征在于：步骤2具体实施方式如下，

(1)求解未知像素与前景边界的模糊连接度和最强路径，步骤如下，

步骤2.11，设置相关变量并初始化，包括有：

设置像素与前景边界间的模糊连接度FC^f，初始化时将已知前景中所有的前景像素与前景边界间的FC^f值设置为1，图像中所有非前景像素与前景边界间的FC^f值设为0；

设置以模糊连接度FC^f值为优先权的优先队列Q^f，初始化时将所有前景边界像素加入到优先队列Q^f中；

设置标识位Flag^f，当Flag^f值为“1”时表示对应像素可以被插入优先队列Q^f中，为“0”则不能插入优先队列Q^f中；初始化时前景边界像素与未知像素的Flag^f值设为1，图像中剩余像素的Flag^f值设为0；

设置树形结构T^f，用于记录前景边界像素和未知像素的父节点和孩子节点；初始化时把所有前景边界像素加入到树形结构T^f中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^f中，且对应的父节点和孩子节点设为空；

步骤2.12，当优先队列Q^f不为空时，提取出优先队列Q^f中具有最大的FC^f值的像素p，继续执行步骤2.13、2.14；当Q^f为空时，求解终止；

步骤2.13，对像素p的每个邻接像素q：

1)如果由相似权重图A^f中取得的像素p，q之间的边的相似权重A^f(p，q)＞0，且Flag^f(q)等于1，则执行后续操作；

2)比较像素p与前景边界的模糊连接度FC^f(p)和A^f(p，q)的大小；

3)令 ${\mathrm{FC}}_{\min }^f=\{{\mathrm{FC}}^f\left(p\right),A^f(p,q)\};$

FC^f(q)为像素q与前景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^f>{\mathrm{FC}}^f\left(q\right)),$ 则执行后续操作；

4)设置 ${\mathrm{FC}}^f\left(q\right)={\mathrm{FC}}_{\min }^f;$

5)如果q在树形结构T^f中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^f中，则

把q插入到树形结构T^f中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^f中；

步骤2.14，将p从Q^f中删除，返回步骤2.12；

(2)求解未知像素与背景边界的模糊连接度和最强路径，步骤如下，

步骤2.21，设置相关变量并初始化，包括有：

设置像素与背景边界间的模糊连接度FC^b，初始化时将已知背景中的所有背景像素与背景边界间的FC^b值设置为1，图像中所有非背景像素与背景边界间的FC^b值设为0；

设置以模糊连接度FC^b值为优先权的优先队列Q^b，初始化时将所有背景边界像素加入到优先队列Q^b中；

设置标识位Flag^b，当Flag^b值为“1”时表示对应像素可以被插入优先队列Q^b中，为“0”则不能插入优先队列Q^b中；初始化时背景边界像素与未知像素的Flag^b值设为1，图像中剩余像素的Flag^b值设为0；

设置树形结构T^b，用于记录背景边界像素和未知像素的父节点和孩子节点；初始化时把所有背景边界像素加入到树形结构T^b中，且对应的父节点设为-1，孩子节点设为空；并且把所有未知像素加入到树形结构T^b中，且对应的父节点和孩子节点设为空；

步骤2.22，当优先队列Q^b不为空时，提取出优先队列Q^b中具有最大的FC^f值的像素p，继续执行步骤2.23、2.24；当Q^b为空时，求解终止；

步骤2.23，对像素p的每个邻接像素q：

1)如果由相似权重图A^b中取得的像素p，q之间的边的相似权重A^b(p，q)＞0，且Flag^b(q)等于1，则执行后续操作；

2)比较p与背景边界的模糊连接度FC^b(p)和A^b(p，q)的大小；

3)令 ${\mathrm{FC}}_{\min }^b=\{{\mathrm{FC}}^b\left(p\right),A^b(p,q)\},$

FC^b(q)为像素q与背景边界的模糊连接度，如果 ${\mathrm{FC}}_{\min }^b>{\mathrm{FC}}^b\left(q\right)),$ 则执行后续操作；

4)设置FC^b(q)＝FC_min ^b；

5)如果q在树形结构T^b中，则

更新q的父节点指针为p；

把q加为p的孩子节点；

如果q不在树形结构T^b中，则

把q插入到树形结构T^b中，q的父节点指针指向p；

把q加为p的孩子节点；

把节点q插入到队列Q^b中；

步骤2.24，将p从Q^b中删除，返回步骤2.22。

5.根据权利要求4所述的抠图样本集构造方法，其特征在于：用户通过交互提供新的笔划以补充区域划分时，只对与新的笔划所产生边界之间存在连通路径的未知像素重新处理，更新前景和背景样本集；

(1)当新的前景笔划加入后，具体处理方式如下，

1)如果新加入的前景笔划包含了新的前景颜色，则对新的已知前景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知前景的颜色相似度的权重函数，更新相似权重图A^f，然后转向步骤2)；如果新加入的前景笔划未包含新的前景颜色，直接转向步骤2)；

2)计算新加入的前景笔划所产生前景边界F”与原有的前景边界F’间的模糊连接度值FC(F’，F”)；

3)根据FC(F’，F”)将新的前景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\&Omega;}}_{U^{\&prime;}}^1=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)>\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^2=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)>\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^f(F^{\&prime;},i)>\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})\}$

其中FC^f(F′，i)表示新的未知区域U’中任意像素i与原有的前景边界F’的模糊连接度；

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^f及前景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的前景笔划所覆盖的未知像素的FC^f为1，Ω_U′ ²中未知像素的FC^f为0；设置Ω_U′ ²中未知像素的Flag^f位为1，图像中剩余像素的Flag^f位为0；把新的前景边界F”中的像素加入到队列Q^f中；

然后，重新计算Ω_U′ ²中未知像素与新的前景边界F”间的FC^f和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^f值为0，则该未知像素的FC^f及前景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^f设置为重新计算出的FC^f值，并根据新的最强路径更新该像素的前景样本集；

(2)当新的背景笔划加入后，具体处理方式如下，

1)如果新加入的背景笔划包含了新的背景颜色，则对新的已知背景的颜色重新建模，定义图像中所有像素本身及邻接像素间相对于已知背景的颜色相似度的权重函数，更新相似权重图A^b，然后转向步骤2)；如果新加入的背景笔划未包含新的背景颜色，直接转向步骤2)；

2)计算新加入的背景笔划所产生背景边界B”与原有的背景边界B’间的模糊连接度值FC(B’，B”)；

3)根据FC(B’，B”)将新的背景笔划加入后所产生新的未知区域U’划分为三个子集合：

${\mathrm{\&Omega;}}_{U^{\&prime;}}^1=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)>\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^2=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)>\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

${\mathrm{\&Omega;}}_{U^{\&prime;}}^3=\left\{i\right|i\&Element;U^{\&prime;},{\mathrm{FC}}^b(B^{\&prime;},i)>\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})\}$

其中FC^b(B′，i)表示新的未知区域U’中任意像素i与原有的背景边界B’的模糊连接度；

4)包含在集合Ω_U′ ¹和Ω_U′ ³中的未知像素，其对应的FC^b及背景样本集仍使用原值；对包含在集合Ω_U′ ²中的未知像素则按照步骤5)做进一步处理；

5)如果集合Ω_U′ ²不为空，则：

首先，初始化相关变量：设置被新的背景笔划所覆盖的未知像素的FC^b为1，Ω_U′ ²中未知像素的FC^b为0；设置Ω_U′ ²中未知像素的Flag^b位为1，图像中剩余像素的Flag^b位为0；把新的背景边界B”中的像素加入到队列Q^b中；

然后，重新计算Ω_U′ ²中未知像素与新的背景边界B”间的FC^b和最强路径；

最后，根据计算出的结果做如下处理：如果未知像素的FC^b值为0，则该未知像素的FC^b及背景样本集仍使用原值；否则，该未知像素与F”之间通过区域Ω_U′ ²是连通的，其FC^b设置为重新计算出的FC^b值，并根据新的最强路径更新该像素的背景样本集。

6.根据权利要求5所述的抠图样本集构造方法，其特征在于：

(1)计算新加入的前景笔划所产生的前景边界F”与原有的前景边界F’间的模糊连接度FC(F’，F”)，具体实现方式如下

前景边界F”与原有的前景边界F’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{f^{\&prime;}\&Element;F^{\&prime;}}{\max }\underset{f^{\&prime;\&prime;}\&Element;F^{\&prime;\&prime;}}{\max }\mathrm{FC}(f^{\&prime;},f^{\&prime;\&prime;})$

考察F”中每个像素i与F’的模糊连接度FC^f(F’，i)，并从中挑选出最大的FC^f(F’，i)值作为FC(F’，F”)，即

$\mathrm{FC}(F^{\&prime;},F^{\&prime;\&prime;})=\underset{i\&Element;F^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^f(F^{\&prime;},i)$

(2)计算新加入的背景笔划所产生的背景边界B”与原有的背景边界B’间的模糊连接度FC(B’，B”)，具体实现方式如下

背景边界B”与原有的背景边界B’间的模糊连接度为两个像素集合间的模糊连接度，定义为：

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{b^{\&prime;}\&Element;B^{\&prime;}}{\max }\underset{b^{\&prime;\&prime;}\&Element;B^{\&prime;\&prime;}}{\max }\mathrm{FC}(b^{\&prime;},b^{\&prime;\&prime;})$

考察B”中每个像素i与B’的模糊连接度FC^b(B’，i)，并从中挑选出最大的FC^b(B’，i)值作为FC(B’，B”)，即

$\mathrm{FC}(B^{\&prime;},B^{\&prime;\&prime;})=\underset{i\&Element;B^{\&prime;\&prime;}}{\max }{\mathrm{FC}}^b(B^{\&prime;},i).$

7.根据权利要求4或5或6所述的抠图样本集构造方法，其特征在于：步骤3具体实施方式为，遍历树形结构，通过孩子节点或父节点指针追溯未知像素到前景或背景边界的最强路径，获取最强路径所关联的前景或背景边界像素。

8.根据权利要求1或2或3或4或5或6所述的抠图样本集构造方法，其特征在于：步骤4具体实施方式为，获取某个未知像素对应的前景边界根节点后，以该根节点为中心沿前景边界搜索m个前景像素，所得的m个前景像素即前景样本构成了前景样本集，m为用户指定的每个未知像素的前景样本的个数；获取某个未知像素对应的背景边界根节点后，以该根节点为中心沿背景边界搜索n个背景像素，所得的n个背景像素即背景样本构成了背景样本集，其中n为用户指定的每个未知像素的背景样本的个数。

9.根据权利要求1或2或3或4或5或6所述的抠图样本集构造方法，其特征是所述抠图样本集构造方法在图像处理领域或视频处理领域中的应用。

Images