CN105096326B - 一种使用移动最小二乘法的拉普拉斯抠图矩阵方法 - Google Patents

Abstract

本发明公开了一种使用移动最小二乘法构造抠图拉普拉斯抠图矩阵方法，所述使用移动最小二乘法构造拉普拉斯抠图矩阵方法使用KNN邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，并用移动最小二乘方法替代最小二乘方法，计算出移动拉氏矩阵，并得到alpha图。本发明改进抠图拉氏矩阵计算方法，使用最小移动二乘法替代最小二乘法推导出移动拉氏矩阵，相对于最小二乘法，移动最小二乘法求解的线性条件更为准确。使用KNN邻域替代空间邻域，使得拉氏矩阵可以反映非邻域间像素的alpha值的关系，从而得到更为准确的抠图拉氏矩阵计算方法。

Description

一种使用移动最小二乘法的拉普拉斯抠图矩阵方法

技术领域

本发明属于交互式抠图技术领域，尤其涉及一种使用移动最小二乘法的拉普拉斯抠图矩阵方法。

背景技术

交互式抠图技术在有限的用户交互下抠取图像的前景，被广泛的应用在图像及视频编辑、三维重建等领域中，有极高的应用价值。近年来的抠图技术中，拉氏矩阵给出alpha图上像素间的线性关系，对alpha图的估计起到了重要作用。交互式抠图是在有限的用户交互下，计算前景的alpha图，从而将前景从背景中分离出来。抠图问题的输入是原图像I和用户提供的三分图，输出是alpha图及前景F、背景B，因此是典型的病态问题，需要引入假设条件求解alpha图。抠图算法可分为三类：基于采样的方法、基于传播的方法、采样和传播结合的方法。

现有技术推导出的拉氏抠图矩阵给出邻域像素的alpha值间的线性关系，被广泛的应用在抠图算法中；拉氏抠图矩阵有其局限性，拉氏抠图矩阵表示空间邻域内像素间的关系，但不能体现非邻域间像素间的关系；拉氏抠图矩阵建立在空间连续的假设基础上，在某些前景和背景分量突变的区域，拉氏抠图矩阵难以得到理想的效果。

发明内容

本发明的目的在于提供一种使用移动最小二乘法的拉普拉斯抠图矩阵方法，旨在解决现有技术存在的推导出拉氏矩阵不能体现非邻域间像素间的关系；在某些前景和背景分量突变的区域，拉氏矩阵难以得到理想效果的问题。

本发明是这样实现的，一种使用移动最小二乘法的拉普拉斯抠图矩阵方法，所述使用移动最小二乘法的拉普拉斯抠图矩阵方法使用KNN邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，并用移动最小二乘抠图替代最小二乘抠图，计算出移动拉氏矩阵，并得到alpha图。

进一步，所述移动最小二乘抠图的方法如下：

在邻域内alpha值满足线性条件，使用最小二乘法求解局部线性关系，在窗口w_i内使用移动最小二乘法求解局部线性关系，表示如下：

公式(1)中权值ω，ω_i是邻域w_k中的权值；式(1)表示为以下矩阵的形式:

对于每个邻域w_k,G_k定义为‖w_k‖×2矩阵；G_k每行包括向量(I_i,1)，W_k是每行向量对应的权值向量，G_k’为G_k的W_k加权，对应的每行向量表示为(W_k.I_i,W_k)。是邻域内所有像素对应的alpha值组成的向量；

系数a_k,b_k解得如下所示：

δ_i,j是Kronecker delta函数，μ_k和σ²分别是小窗口w_k内的基于W_k的加权均值和方差。‖w_k‖是窗口内像素的个数。

进一步，彩色模型下的移动最小二乘抠图方法如下：

用下式表示彩色图像各通道间的线性关系：

c为彩色图像的通道数,在考虑各个通道信息后，式(1)转化为下式:

对式(2)进行化简后，解得彩色模型下移动拉氏矩阵如下式所示：

J(α)＝αLα^T；

在(3)式中，I为小邻域内所有像素对应3*1颜色向量组成的矩阵，μ_k为I的W_k加权平均,Σ_k是I在W_k加权下的协方差矩阵。

进一步，所述移动最小二乘抠图方法的KNN邻域将拉氏矩阵中的空间邻域扩展到KNN邻域，KNN空间的点由(R,G,B,X,Y)五维共同决定；使用KD-TREE实现KNN邻域的高效查找。

进一步，所述移动最小二乘抠图中大核求解方法包括：使用共轭梯度法求解alpha值；

对于方程Lx＝b,共轭梯度法的关键在于构造共轭向量p，并求对应的残差；共轭梯度法用迭代方法求解，在每次迭代过程中，新共轭向量由下式求解：

共轭方向的系数由下式求解：

新的x值与残差用下式求解：

用下式求解Lp向量中点i对应的元素q_i：

W_k是像素k对应的邻域，‖w_k‖是邻域的大小，i是包围像素k邻域W_k中的一个像素,q_i为q向量的第i个元素，I_i为像素i对应的3维向量，表示R,G,B三个通道，p_i为共轭向量中像素i对应的元素，μ_k是3维向量，为邻域W_k中I_i向量的均值，为邻域W_k中元素i对应的共轭向量p_i的均值。是像素k的对应的3维向量，为像素k对应的标量。

本发明提供的使用移动最小二乘法的拉普拉斯抠图矩阵方法，有复杂的前景和前景区域，以及前景和背景复杂混合的区域，都能取得较好的效果。使用最小移动二乘法替代最小二乘法推导出移动拉氏矩阵；相对于最小二乘法，移动最小二乘法求解的线性条件更为准确；使用KNN邻域替代空间邻域，使得拉氏矩阵可以反映非邻域间像素的alpha值的关系。本发明的使用移动最小二乘法的拉普拉斯抠图矩阵方法，根据矩阵求解alpha图,从而可以对复杂背景下的图像进行前景抠图处理,相比以前的方法更为有效，可以求解出更为精确的alpha图，并在图中前背景复杂的区域，特别是在前景和背景颜色混合区域，以及局部会出现空洞的区域，变化较大的区域，都能取得良好的效果。

附图说明

图1是本发明实施例提供的使用移动最小二乘法的拉普拉斯抠图矩阵方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明使用移动最小二乘法替代最小二乘法，结合最近邻(KNN)方法给出移动拉氏矩阵，并使用移动拉氏矩阵计算alpha图，实验结果证明了移动拉氏矩阵的有效性。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

本发明使用KNN邻域替代空间邻域，从而可以获取非邻域像素在alpha图上的线性关系，并用移动最小二乘替代最小二乘，从而计算出移动拉氏矩阵，并得到alpha图，实验结果表明移动拉氏矩阵更为有效。

如图1所示，本发明实施例的使用移动最小二乘法的拉普拉斯抠图矩阵方法包括以下步骤：

S101：对于给定的图像，计算移动拉氏矩阵；

S102：根据给定的拉氏矩阵，得到线性方程，并求解alpha图；

S103：在大核情况下，通过特定的共轭梯度法求解线性方程，使得在大核情况下也可以有效求解方程。

本发明的使用移动最小二乘法的拉普拉斯抠图矩阵方法，所述使用移动最小二乘法的拉普拉斯抠图矩阵方法使用KNN邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，并用移动最小二乘抠图替代最小二乘抠图，计算出移动拉氏矩阵，并得到alpha图。

进一步，最小移动二乘抠图方法如下：

闭形式方法基于局部线性假设，表示如下：

α_i＝aI_i+b,i∈w_i；

当局部邻域内假设条件不成立时，特别是邻域比较大且纹理复杂的情况下效果不佳。假设在邻域内alpha值满足线性条件，不同于闭形式方法使用最小二乘法求解局部线性关系，在窗口w_i内使用移动最小二乘法求解局部线性关系，表示如下：

与闭形式抠图不同处在于:在最小化公式(1)中增加了权值ω，移动最小二乘在距离当前像素越远的地方权值ω越小，因此移动最小二乘法能求解出更准确的局部线性关系，比最小二乘法求解的线性关系更为有效。ω_i是邻域w_k中的权值。式(1)可以表示为以下矩阵的形式:

对于每个邻域w_k,G_k定义为‖w_k‖×2矩阵.G_k每行包括向量(I_i,1)。W_k是每行向量对应的权值向量。G_k’为G_k的W_k加权,对应的每行向量表示为(W_k.I_i,W_k)。是邻域内所有像素对应的alpha值组成的向量。

系数a_k,b_k解得如下所示：

δ_i,j是Kronecker delta函数，μ_k和σ²分别是小窗口w_k内的基于W_k的加权均值和方差。‖w_k‖是窗口内像素的个数。

3.1彩色模型下的移动最小二乘抠图

彩色模型下类似于闭形式算法，用下式表示彩色图像各通道间的线性关系：

c为彩色图像的通道数,在考虑各个通道信息后，式(1)转化为下式:

对式(2)进行化简后,解得彩色模型下移动拉氏矩阵如下式所示：

J(α)＝αLα^T；

在(3)式中,I为小邻域内所有像素对应3*1颜色向量组成的矩阵，μ_k为I的W_k加权平均,Σ_k是I在W_k加权下的协方差矩阵。

3.2KNN邻域

由于拉氏矩阵不能反映像素的非邻域关系，在此借鉴KNN抠图引入KNN邻域，将拉氏矩阵中的空间邻域扩展到KNN邻域，KNN空间的点由(R,G,B,X,Y)五维共同决定。使用KD-TREE实现KNN邻域的高效查找。由于KNN邻域反映空间非邻域上像素间的关系。因此结合了非邻域抠图的优点。

4移动二乘抠图中的大核求解

由于移动抠图算法中，设核的大小为r,图像像素个数为imagesize,存储拉氏矩阵L所需要的空间复杂度为imagesize*r²,计算空间复杂度随着核的增大而急剧增大。借鉴大核方法中的计算技巧，使用改进的共轭梯度法求解alpha值。

对于方程Lx＝b,共轭梯度法的关键在于构造共轭向量p，并求其对应的残差。共轭梯度法可以用迭代方法求解。在每次迭代过程中，新共轭向量由下式求解：

共轭方向的系数由下式求解：

新的x值与残差用下式求解：

在共轭梯度求解过程中关键的步骤在于求解向量Lp，直接求解L的空间复杂度过大，但Lp的维数为imagesize,因此需要避免直接求解L，而直接用下式求解Lp向量中点i对应的元素q_i：

在上式中，W_k是像素k对应的邻域，‖w_k‖是邻域的大小，i是包围像素k邻域W_k中的一个像素,q_i为q向量的第i个元素，I_i为像素i对应的3维向量，表示R,G,B三个通道，p_i为共轭向量中像素i对应的元素，μ_k是3维向量，为邻域W_k中I_i向量的均值。为邻域W_k中元素i对应的共轭向量p_i的均值。是像素k的对应的3维向量。为像素k对应的标量。

(Lp)_i的计算公式的正确性由以下定理保证：

定理1：式(7)计算得出的(Lp)_i与利用式(3)计算出的(Lp)_i是等价的。

证明:

令q＝Lp,由于q与p为线性关系，因此只需要证明下式:

将式(9)代入(7)消除b_k ^*，可得到下式:

此外，有下式：

根据式(8),并对p_j做偏导，可得到下式:

将式(11)和式(12)代入(10)，可得到下式：

式(13)就是式(3)中对应的拉氏矩阵L。

通过以下的实验对本发明的应用效果作进一步的说明：

当前的抠图方法中，大多使用了基于传播和基于采样结合的方式提高算法的准确性，在此将最常见的几种传播方法：闭形式方法、KNN方法、基于学习的方法、大核方法进行了比较。

闭形式方法使用拉氏抠图矩阵计算alpha图，其对细节处理较好，由于其传播模型只考虑到了空间小邻域间的信息，而Doll毛发附近的字符间有间隔，是空间上的非邻域关系，因此alpha值不能在字符间顺利传播，也无法干净的抠除这些字符。在plant图中，由于植物树叶间的空洞与三分图中的背景分量并没有空间上的邻域关系，因为闭形式方法同样难以将背景分量传播至植物中的空洞中，而我们的方法利用KNN邻域，并在大核下也有较好的精度，因此在空洞处也有较好的效果。

在大核方法中，由于传播模型在相对较大的邻域内进行传播。在大核情况下，毛发附近的字符是邻域关系，因此算法成功的抠除了毛发附近的字符，但由于植物树叶间的空洞与背景空间距离较远，所以大核仍然无法解决植物中的空洞问题。此外，局部线性假设不易在大核时成立，因此算法对复杂纹理处理的效果不好。由于KNN方法建立在非邻域的基础上，因此KNN方法可以在非邻域上进行alpha值的传播。KNN方法因此可以在植物的空洞以及Doll毛发附近的字符处取得良好的效果。相对于闭形式方法，KNN方法对应的拉氏矩阵建立在全局统一的参数基础上，因此细节处理不好。在Doll图片中，KNN方法使得毛发周围较为模糊，不能较好的提取毛发，毛发左边的英文字母也没有清除干净。在plant图中算法在叶子周边没有抠除干净。在Plastic bag图片中，KNN方法同样在绳子附近留下大量噪声。而本发明的方法在Doll周边的毛发处理较为干净，特别是英文字符全部被干净的清除，在Plastic bag中，绳子附近处理也较为干净。Tree图中在有洞的区域同样得到较好的效果。表1给出了我们方法和其它方面在绝误差和上的对比。从表1可以看到，net图中本发明的方法效果明显好于其它方法，由于net图中的未知区域非常大，而我本发明的方法提供了更为准确的拉氏矩阵，因此得出了较好的结果。此外，由于我们使用了移动最小二乘法替代最小二乘法，因为我们能得出更小的误差。

表1：主要抠图方法性能对比(绝对误差和)

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种使用移动最小二乘法的移动拉普拉斯抠图矩阵方法，其特征在于：所述使用移动最小二乘法的拉普拉斯抠图矩阵用移动最小二乘法替代最小二乘法构造拉普拉斯矩阵，并使用KNN邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，从而计算出移动拉氏矩阵，并得到alpha图；

构造抠图拉氏矩阵时，使用移动最小二乘法替代最小二乘法得到alpha图上的线性关系,所述移动最小二乘抠图的方法如下：

在灰度图像中,窗口w_i的邻域内alpha值满足局部线性条件，使用移动最小二乘法求解局部线性关系，表示如下：

公式(1)中权值ω，ω_i是邻域w_k中的权值；式(1)表示为以下矩阵的形式:

对于每个邻域w_k,G_k定义为‖w_k‖×2矩阵；G_k每行包括向量(I_i,1)，W_k是每行向量对应的权值ω_i组成的向量，G_k’为G_k的W_k加权，对应的每行向量表示为(W_k.I_i,W_k)，是邻域内所有像素对应的alpha值组成的向量；

系数a_k,b_k解得如下所示：

令J(α)表示为下式：

δ_i,j是Kronecker delta函数，μ_k和分别是小窗口w_k内的基于W_k的加权均值和方差，‖w_k‖是窗口内像素的个数,L为移动拉氏抠图矩阵。

2.如权利要求1所述的使用移动最小二乘法的移动拉普拉斯抠图矩阵方法，其特征在于，引入权值ω_i，应用至彩色模型，彩色模型下的移动最小二乘抠图方法如下：

用下式表示彩色图像各通道间的线性关系：

c为彩色图像的通道数,在考虑各个通道信息后，式(1)转化为下式:

对式(2)进行化简后，解得彩色模型下移动拉氏矩阵如下式所示：

J(α)＝αLα^T；

在(3)式中，I为小邻域内所有像素对应3*1颜色向量组成的矩阵，μ_k为I的W_k加权平均,Σ_k是I在W_k加权下的协方差矩阵。

3.如权利要求1所述的使用移动最小二乘法的移动拉普拉斯抠图矩阵方法，其特征在于，所述移动最小二乘抠图方法的KNN邻域将拉氏矩阵中的空间邻域扩展到KNN邻域，KNN空间的点由(R,G,B,X,Y)五维共同决定；使用KD-TREE实现KNN邻域的高效查找。

4.如权利要求1所述的使用移动最小二乘法的移动拉普拉斯抠图矩阵方法，其特征在于，所述移动最小二乘抠图中大核求解方法包括：使用共轭梯度法求解alpha值；

对于方程Lx＝b,共轭梯度法的关键在于构造共轭向量p，并求对应的残差；共轭梯度法用迭代方法求解，在每次迭代过程中，新共轭向量由下式求解：

共轭方向的系数由下式求解：

新的x值与残差用下式求解：

用下式求解Lp向量中点i对应的元素q_i：

W_k是像素k对应的邻域，‖w_k‖是邻域的大小，i是包围像素k邻域W_k中的一个像素,q_i为q向量的第i个元素，I_i为像素i对应的3维向量，表示R,G,B三个通道，p_i为共轭向量中像素i对应的元素，μ_k是3维向量，为邻域W_k中I_i向量的均值，为邻域W_k中元素i对应的共轭向量p_i的均值，是像素k的对应的3维向量，为像素k对应的标量。