CN110634147A - 基于双边引导上采样的图像抠图方法 - Google Patents

Abstract

一种基于双边引导上采样的图像抠图方法，对输入图像进行下采样，获得低分辨率图像；低分辨率图像通过闭合解抠图方法进行抠图，获得低分辨率输出图像，即低分辨率前景图像；将输入/输出图像对在空间域和亮度域进行采样，转换为3D双边网格；通过3D双边网格，求解每个位置的像素值，获得输入颜色映射到输出颜色的仿射矩阵；以原始高分辨输入图像为参考对低分辨率前景图像进行联合双边滤波上采样，恢复原始分辨率，通过仿射矩阵对输入图像进行仿射变换，计算获得高分辨率前景图像。该方法在减少计算量的同时达到令人满意的抠图效果，并能有效满足实时应用中快速抠图的需求。

Description

基于双边引导上采样的图像抠图方法

技术领域:

本发明涉及物理领域，尤其涉及数字图像处理技术，具体的是一种基于双边引导上采样的图像抠图方法。

背景技术:

图像抠图是指从图像或视频背景中精确地分离出前景，该技术能够将人们需要的区域提取出来，便于对图像关键信息进行后续操作。该技术广泛应用于图像处理、视频编辑和电影制作中，是计算机视觉领域的重要问题。近年来数字抠图技术获得广泛关注和研究，主要技术方法可分类为基于颜色采样的方法，基于像素相似性的方法，基于能量函数的方法，基于机器学习的方法。这些方法针对不同应用场景，取得了一定的进展，根据图像的特点获得不同的表现效果。但是大部分算法计算量大，耗时较长，在效率方面还有待提升。

发明内容：

本发明的目的在于克服现有技术存在的缺点，提供了基于双边引导上采样的图像抠图方法，结合了引导滤波和联合双边上采样方法的特点，采用双边引导上采样方法，将图像进行四分之一下采样后，对下采样后的图像进行抠图运算，然后再通过双边引导上采样方法恢复到原始图像大小，在减少计算量的同时达到令人满意的抠图效果，该抠图方法能有效满足实时应用中快速抠图的需求。

本发明的这种基于双边引导上采样的图像抠图方法，包括以下步骤：步骤一：对输入图像进行下采样，获得低分辨率图像；步骤二：所述低分辨率图像通过闭合解抠图方法进行抠图，获得低分辨率前景图像；步骤三：将所述输入/输出图像对在空间域和亮度域进行采样，转换为3D双边网格；步骤四：拟合双边空间仿射模型；步骤五：获取高分辨率前景图像输出结果。

进一步的，所述仿射矩阵中加入平滑项，防止伪边缘及噪声放大。

本发明的原理是：双边引导上采样结合引导滤波和联合双边上采样的特点，对下采样的低分辨率图像以原始图像为先验进行上采样。将原始图像转换到一个3D的双边网格之后，任何图像操作都可以作用在这个双边网格上。最后通过联合双边滤波上采样进行插值，获得高分辨抠图图像结果。

本发明和已有技术相比较，其效果是积极和明显的。本发明结合了引导滤波和联合双边上采样方法的特点，采用双边引导上采样方法，将图像进行四分之一下采样后，对下采样后的图像进行抠图运算，然后再通过双边引导上采样方法恢复到原始图像大小，在减少计算量的同时达到令人满意的抠图效果，该抠图方法能有效满足实时应用中快速抠图的需求。

附图说明：

图1是本发明的流程示意图。

图2是本发明的输入图像示意图。

图3是本发明的交互图像示意图。

图4是本发明的alpha透明度图像示意图。

图5是本发明的前景图像示意图。

图6是本发明的背景图像示意图。

具体实施方式：

实施例1:

如图1至图6所示，本发明的这种基于双边引导上采样的图像抠图方法，包括以下步骤：

步骤一：对输入图像进行下采样，获得低分辨率图像。图像分辨率是指图像中存储的信息量，即每英寸图像内有多少个像素点。图像分辨率也可以叫做图像大小、图像尺寸、像素尺寸等，可以表达为水平像素数×垂直像素数，在本发明中，将待处理的原始图像称为高分辨率图像，经图像下采样后得到的图像称为低分辨率图像。

图像下采样，又称降采样，指的是缩小图像的操作。对于一幅尺寸为M×N的图像，对其进行s倍下采样，即得到尺寸为(M/s)×(N/s)的低分辨率图像，也就是把原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。

步骤二：低分辨率图像通过闭合解抠图方法进行抠图，获得低分辨率前景图像；

原始图像(输入图像)表示为I，经下采样操作，将原始高分辨率图像变换为原始图像1/4大小的低分辨率图像。利用闭合解抠图方法进行抠图，其过程如下所述：

闭合解抠图方法：将图像I_i作为输入，将图像看作前景和背景的组合。每个像素的颜色是对应前景颜色和背景颜色的组合，即

I_i＝α_iF_i+(1-α_i)B_i (1)

式中，α_i是前景不透明度，F_i是前景颜色，B_i是背景颜色，i表示图像上所有像素点。

对于式(1)，等式右边α_i、F_i和B_i都是未知量，对于彩色图像每个像素有3个等式7个未知数，这是严重的欠约束问题，需用户交互添加约束才能获得良好的抠图效果。

抠图问题是严重的欠约束问题，因此需要对前景F、背景B及不透明度α进行假设。对于灰度图像，假设F和B是每个像素附近小窗口上的近似常量。将式(1)展开，如式(2)的形式

由式(2)可得

经上述过程，重写式(1)，将α表示成图像的线性函数，即

式中，

w是图像上像素附近小窗口。

求解α、a和b，以最小化式(5)的代价函数，即

式中w_j是像素j附近的图像窗口，J表示惩罚函数，ε是关于a的正则化项，增加这一项目的是保持数值稳定性。

对于三通道彩色图像，可以单独在每个通道中应用灰度代价函数，用一个4D线性模型代替式(4)的线性模型，即

式中，c表示图像通道。

其抠图代价函数为：

最小化代价函数，求解出图像前景后，获得输入/输出图像对。

步骤三：将所述输入/输出图像对在空间域和亮度域进行采样，转换为3D双边网格；

双边网格是在空间域和亮度域进行采样，划分成3D网格，经采样离散后每个点的像素坐标和亮度信息取整到对应的网格内。每个值域内的亮度值可由加权平均获得。通过在网格内进行滤波等处理，再由上采样插值处理操作得到原始图像大小的高分辨率图像。构建一个双边网格首先根据空域和值域信息，划分出网格结构，并初始化所有网格的节点(i,j,k)为0，即：

Γ(i,j,k)＝(0,0) (8)

式中，(i,j,k)表示3D双边网格位置索引，3D双边网格是3维数组，i，j，k分别表示数组的行、列、面的位置索引。

对于高分辨率图像的坐标，分别除以空间采样间隔和亮度采样间隔并取整，在对应的节点处填入其原始的灰度值。考虑到取整函数会导致原图像的某一邻域内的像素点会下采样到同一个网格中，因此将灰度值写成齐次坐标的形式，即(I(x,y),1)，并对该网格内的所有齐次值进行累加，该网格对应的最终强度是这些灰度值的平均值，即：

(I(x₁,y₁)+…+I(x_n,y_n))/n (9)

对于像素位置为(x,y)处的每个像素进行网格填充：

Γ([x/s_s],[y/s_s],[I(x,y)/s_r])+＝(I(x,y),1) (10)

式中，[·]是最接近整数运算符，使用符号Γ＝c(I)来构建，s_s和s_r分别表示空间域和亮度域采样率。

步骤四：拟合双边空间仿射模型；

在抠图类的任务里，在输入图像中具有近似颜色的邻近像素，在输出图像中也具有近似颜色。否则会引入输入图像中没有的新边缘、光晕或噪声。步骤三所述的双边网格中的算子可以看成是输入/输出的近似曲线，也就是仿射模型，对于每个网格其存储了一个3×4的仿射变换矩阵。对于不同的网格，通过给定输入和期望输出去训练这个双边网格实现仿射模型的全局分段平滑。将抠图算法应用于低分辨率的输入，得到低分辨率输出图像后，需要拟合低分辨率的输入/输出对的双边空间仿射模型，然后将模型应用于高分辨率的输入，从而加快了成像算子的速度。

利用快速逼近法拟合双边空间仿射模型，将双边网格中的仿射矩阵作为一组较小的重叠线性最小二乘问题来求解。在每个网格单元,期望3×4的仿射变换矩阵M完美地将每个输入像素i的RGB值α＝[α_1i,α_2i,α_3i]^Τ映射到相应输出像素RGB值β＝[β_1i,β_2i,β_3i]^Τ，即Mα＝β。

式中，α_1i、α_2i、α_3i分别表示每个输入像素i的R、G、B颜色通道的值，β_1i、β_2i、β_3i分别表示相应输出像素i的R、G、B颜色通道的值。

此时在每个网格单元上求解Mαα^Τ＝βα^Τ来求解仿射矩阵。

进一步的，仿射矩阵中加入平滑项，防止伪边缘及噪声放大。

给定低分辨的输入/输出参考图像对，通过拟合将输入映射到输出的局部曲线来为图像算子建模，然后通过在全分辨率输入图像上估计这些低分辨率曲线，即可得到全分辨率输出图像。通过将输入提升到双边网格，然后求解每个位置像素值并能最优地将输入颜色映射到输出颜色的仿射矩阵3D数组。

步骤五：获取高分辨率输出结果。

依据前述图像抠图快速实现原理，首先对图像进行下采样，获取低分辨率图像，对低分辨率图像抠图之后，需要对抠图后得到的前景图像进行上采样，恢复到原始图像大小。

以输入图像为参考图对低分辨率前景图像进行双边引导上采样，以获得高分辨率输出图像。将原图像转化为3D双边网格后，可以通过上采样并进行插值，获得与原始图像尺寸相同的高分辨率图像。上采样时选择一个参考图，对其所有像素进行空域和值域采样，然后确定其在网格中的位置，经过插值上采样获得最终的结果。

双边滤波是一种非线性滤波方法，结合了图像的空间邻近度和像素强度相似度，同时考虑空域信息和灰度相似性，达到边缘保持和去噪的目的。对于某个位置p双边滤波表达式如下：

归一化项：

k_p＝∑_q∈Ωf(||p-q||)g(||I_p-I_q||) (12)

其中I表示输入图像，Ω表示滤波窗口，p、q表示像素在图像中的坐标，I_p、I_q表示对应位置的像素值，f、g是权重分布函数，一般为高斯函数，k_p表示归一化项，J_p表示输出。

如果在值域的权重计算过程中引入另外一幅引导图像，则称之为联合双边滤波，表达式如下：

归一化项：

k_p＝Σ_q∈Ωf(||p-q||)g(||I'_p-I'_q||) (14)

其中I'表示引导图像。

联合双边上采样是在不需要原图的情况下，选取图像(i,j)为中心，以距离中心采样间隔的整数倍距离进行采样。也就是对于低分辨率的图像S应用空间滤波器，如高斯滤波器，对于值域的权重计算在高分辨率图像I'上进行，即可获得上采样后的图像S'。

式中，p、q表示高分辨率图像I'上的整数像素坐标，p_↓和q_↓表示对应的低分辨图像S上的坐标。

双边引导上采样结合了引导滤波和联合双边上采样的特点，对下采样后的低分辨率图像以原始高分辨率图像为先验进行上采样。将图像变换到3D双边网格后，任何图像操作算子都可以作用在这个双边网格上，再通过上采样、插值等操作，恢复到原始图像尺寸的高分辨图像。双边引导上采样选取高分辨率原始图像为参考，对其所有空间像素进行空间域和值域进行采样，确定其在双边网格上的位置，利用三次线性插值方法计算未知区域内亮度值。由于网格是3×4的仿射变换，恢复的高分辨率图像也是3×4变换矩阵，使用仿射变换矩阵对原始输入图像进行仿射变换，即可获得高分辨率的结果图像。

Claims (2)

1.一种基于双边引导上采样的图像抠图方法，其特征在于，包括以下步骤：

步骤一：对输入图像进行下采样，获得低分辨率图像；

步骤二：所述低分辨率图像通过闭合解抠图方法进行抠图，获得低分辨率前景图像；

步骤三：将所述输入/输出图像对在空间域和亮度域进行采样，转换为3D双边网格；

步骤四：拟合双边空间仿射模型；

步骤五：获取高分辨率前景图像输出结果。

2.如权利要求1所述的基于双边引导上采样的图像抠图方法，其特征在于：所述仿射矩阵中加入平滑项，防止伪边缘及噪声放大。

Images