CN102651135B - 一种基于优化方向采样的自然图像抠图方法 - Google Patents

Abstract

本发明提供一种基于优化方向采样的自然图像抠图方法，在采样时，先计算以当前像素点i为中心点的像素块在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上的像素值的变化速度，变化速度最慢的方向即为最接近图像真实纹理的方向，再沿纹理方向进行采样有较大的概率能采集到最接近真实的前景样本与背景样本，另外，再以前景轮廓线和背景轮廓线上距离当前像素点i最近的像素点样本点，即采样在空间距离上与当前像素点最相关的像素点作为前景样本与背景样本。使用本发明的优化方向采样，在抠图时能够保证较小的采样量，得到准确地采样到最接近真实的前景样本与背景样本集合，从而使得后续的抠图步骤使用较小计算量，获得一个较佳的掩膜值。

Description

一种基于优化方向采样的自然图像抠图方法

技术领域

本发明涉及数字图像处理技术，特别涉及数字图像抠图技术。

背景技术

Matting即抠图，与图像融合互为逆过程，通过抠图，能够将场景中的前景对象准确的提取出来，并且合成到新的场景中。目前数字图像抠图的相关技术已经广泛应用于电影、电视、广告、杂志、视觉特效等领域。

数字图像抠图技术按是否引入了额外物理条件可以分为额外信息抠图和自然图像抠图两大类。

额外信息抠图方法有很多，但是只能用于特定场景。蓝屏技术主要用于摄影棚里，需要演员面对纯蓝色(或其它单一颜色)的屏幕进行表演，然后通过电脑制作将演员合成到场景中；闪频抠图需要快速对场景进行二次曝光，然后利用前景物体和背景物体曝光强度不同的特性进行抠图，然而该方法不能用于金属、玻璃等在曝光时有高光点的对象；阵列镜头抠图需要许多镜头同时对前景物体进行拍摄，然后利用不同视角下的信息估计出前景，该方法同样只能用于摄影棚，在露天环境中效果不好。

额外信息抠图的应用已经非常广泛了，然而自然图像抠图的方法由于已知信息少且场景信息复杂多变，当前还处于热点研究阶段。

使用自然图像抠图的图像需要事先将图像划分为三类区域：绝对背景区域、绝对前景区域，未知区域。图像中每一个像素点的像素值I均表示为，I＝αF+(1-α)B，其中α为alpha掩膜值，F为前景像素值，B为背景像素值。alpha掩膜值用于体现前景的不透明度，取值在0到1之间；当α为0，表示前景完全透明，当前像素值完全由背景决定；当α为1，表示前景完全不透明，当前像素值完全由前景决定。在绝对背景区域中，掩膜值为0；在绝对前景区域，掩膜为1；在未知区域中掩膜值需要后续求解得到；当未知区域各像素点的掩膜值确定后，抠图即完成。

自然图像抠图方法按算法思想，可以分为基于采样，基于传播以及基于采样与传播相结合三大类方法。基于采样的思想首先采集前景和背景样本点的信息，然后通过聚类、拟合、置信度计算等方式从采集到的样本点中估计出未知区域中每一个像素点最接近真实情况的前景信息和背景信息，从而根据合成公式得到alpha掩膜；基于传播的思想认为前景和背景像素的同一类样本间具有某种相似性和平滑性，因此可以通过这种性质估计出未知区域中每一个像素点属于前景和背景的概率，从而得到alpha掩膜；采样与传播相结合的方法认为，通过采样可以估计未知区域中每一像素点的前景和背景信息，然后利用像素间的相似性和平滑性可以对估计出的每个像素点的前景和背景信息进行最优化求解，使得估计出的alpha掩膜最接近真实情况。

自然图像抠图方法的抠图效果体现在是否能够求的最接近真实情况的掩膜值，而求得最接近真实情况的的基础是，需要采集到最佳的前景像素和背景像素的样本。

发明内容

本发明所要解决的技术问题是，提供一种快速、准确的自然图像抠图方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于优化方向采样的自然图像抠图方法，包括以下步骤：

初始化步骤：将图像划分为绝对背景区域、绝对前景区域以及未知区域；

优化方向采样步骤：对未知区域中的每个像素点进行优化方向采样，获得各像素点的前景和背景样本集合；

前景与背景像素值选取步骤：从未知区域各个像素的前景和背景样本集合中选择一对最优的样本对作为未知区域各个像素对应的前景像素估计值和背像素估计值；

未知区域像素点的掩膜值计算步骤：根据已知的未知区域像素点的像素值以及计算得到该像素点对应的前景像素估计值和背像素估计值，最终得到各未知区域像素点的掩膜值；

其中，优化方向采样步骤的具体实现方法是，获得各像素点的前景和背景样本的集合，具体方法为：未知区域内，计算以当前像素点i为中心点的像素块的像素值Pi在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上的像素值的变化速度，沿着变化速度最慢的方向的垂直方向发射射线，采集该射线与前景轮廓线和背景轮廓线的交点分别为像素点i对应的第一前景样本点与第一背景样本点，再采集前景轮廓线和背景轮廓线上距离当前像素点i最近的像素点为第二前景样本点与第二背景样本点；在前景轮廓线上，在第一前景样本点两边稀疏地各采集一个像素点，在第二前景样本点两边稀疏地各采集一个像素点；在背景轮廓线上，在第一背景样本点两边稀疏地各采集一个像素点，在第二背景样本点两边稀疏地各采集一个像素点；将在前景轮廓线上采集到的六个像素点作为前景样本集合，将在背景轮廓线上采集到的六个像素点作为背景样本集合。

本发明在采样时，先计算以当前像素点i为中心点的像素块在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上的像素值的变化速度，变化速度最慢的方向即为最接近图像真实纹理的方向，再沿纹理方向进行采样有较大的概率能采集到最接近真实的前景样本与背景样本，另外，再以前景轮廓线和背景轮廓线上距离当前像素点i最近的像素点样本点，即采样在空间距离上与当前像素点最相关的像素点作为前景样本与背景样本。使用本发明的优化方向采样，在抠图时能够保证较小的采样量，得到准确地采样到最接近真实的前景样本与背景样本集合，从而使得后续的抠图步骤使用较小计算量，获得一个较佳的掩膜值。

进一步的，为了使得最终得到的掩膜值最接近真实，在前景与背景像素值计算步骤中，确定最优的样本对之后，对样本对中的前景像素值和背景像素值进行调整，调整方法如下：

确定以当前像素点为中心点的一个测量区域，提取该测量区域内每个像素点所对应的最优样本对，在提取出的所有样本对与当前像素点的像素值之间进行颜色距离测量，在所有颜色距离测量结果中选择最小的前几个样本对的前景样本点进行像素值的平均以及前几个样本对的背景样本点进行像素值的平均，前景样本点的像素值的平均结果与背景样本点的像素值的平均结果分别为调整后的当前像素点对应的前景像素估计值和背像素估计值。

更进一步的，考虑到掩膜的平滑性，在掩膜值计算步骤中，还对掩膜值进行修正，修正方法如下：

确定以当前像素点为中心点的一个参考区域，提取该参考区域内每个像素点所对应的调整后的前景像素估计值和背像素估计值，并分别对所有调整后的前景像素估计值、背像素估计值取均值得到当前像素点对应的低频前景像素值、低频背景像素值；再根据当前像素点的像素值以及低频前景像素值、低频背景像素值计算出低频掩膜值；最后根据当前像素点的像素值、调整后前景像素估计值和背像素估计值，以及低频掩膜值，得到当前像素点的最终掩膜值αⁱ：

其中，为低频掩膜值，Iⁱ为当前像素点的像素值，Fⁱ为当前像素点对应的调整后前景像素估计值，Bⁱ为当前像素点对应的调整后背景像素估计值，λ为可调参数，||·||²为二范数运算。

具体的，从未知区域各个像素的前景和背景样本集合中选择一对最优的样本对的方法是，将采集到的前景样本的各样本点与背景样本的各样本点进行两两组合形成样本对，选择颜色误差与距离误差最小的一对的样本点作为最优的样本对。

本发明的有益效果是，采用了优化方向的采样方法，大大减小了抠图的计算复杂度，进一步地，利用颜色和空间约束条件对样本进行了一系列优化，得到准确的前景颜色和背景颜色估计值，使得最终生成的抠图掩膜平滑、准确，能让抠图后合成的图像具有真实感。

附图说明

图1为实施例的抠图方法流程图；

图2为实施例的三区域划分图；

图3为实施例中某点的采样示例图；

图4为实施例的原图像；

图5为实施例计算出的掩膜图；

图6左边为实施例抠取出的前景对象；右边为实施例融合到新场景的示例图。

具体实施方式

本发明适用于数字图像处理中，对任意自然图像为背景的场景进行前景对象的提取，其基本原理是：利用像素颜色在空间上的相关性，通过样本采集、样本选择、颜色和掩膜优化的方法，估计出未知区域中像素点的掩膜值。

具体的流程如图1所示：

步骤一，将图像手工标注为三区域如图2所示，其中黑色区域为绝对背景区域，区域内的掩膜值α＝0；白色区域为绝对前景区域，区域内的掩膜值α＝1；灰色区域为待估计区域(未知区域)，掩膜值需要通过后续步骤求解；

步骤二，对步骤一中待估计区域内的所有像素均进行如下步骤，假设当前正在处理的像素点为i，其像素值为Iⁱ，计算以当前待估计像素点i为中心点的像素块的像素值P_i分别在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上的变化速度。其中，像素块的大小为9*9。沿变化速度最慢的方向的垂直方向发射射线，射线与前景轮廓线和背景轮廓线的交点为所采集到的第一前景样本点、第二前景样本点，其对应的像素值分别为f₁、b₁；找前景轮廓线和背景轮廓线上距离当前待估计像素点i最近的点为所采集到的样本点对应的像素值f₂、b₂；分别在轮廓线上以采样点f₁，b₁，f₂，b₂为中心的两边稀疏的各取一个点，构成当前待估计像素点i经过采样后的最终样本集合{f_1，...，6，}，{b_1，...，6}，如图3所示。像素块的变化速度通过求解下式求得，其中，SSD为均方误差和，P_i为以当前像素点i为中心点的像素块的像素值；P_k为以像素点k为中心像素点的像素块的像素值；k的取值范围为1至8，分别代表0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上i的最近邻点；D_n为像素块的变化速度最慢的方向的均方误差和；n为像素块的变化速度最慢的方向，即像素块变化最小的方向由n的值表示。本实施的像素值f，b为三维向量的RGB值。

步骤三，将步骤二中采集到的样本集合{f_1，...，6，}，{b_1，...，6}进行两两组合，在组合成的36对样本对中，利用代价函数求解，得到代价最小的一对样本对，记为并将样本对中前景样本点的像素值、背景样本点的像素值作为初始估计的前景像素值Fⁱ、背景像素值Bⁱ。

代价函数如下式E(Fⁱ，Bⁱ)＝ωE_c(Fⁱ，Bⁱ)+E_s(Fⁱ)+E_s(Bⁱ)，E_c为颜色匹配误差(颜色距离)，E_s(Fⁱ)和E_s(Bⁱ)分别为前景样本和背景样本的空间距离误差，ω为权值用来平衡颜色和距离误差对整个代价函数的影响。

其中， $E_c(F^i,B^i)=\left|\right|I^i(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^i)\left|\right|,$ $\widehat{\mathrm{\α}}=\frac{(I^i-B^i)(F^i-B^i)}{{\left|\right|F^i-B^i\left|\right|}^2},$ $E_s\left(F^i\right)=\frac{\mathrm{Dis}(F^i,I^i)}{\min \mathrm{Dis}(F_{\mathrm{all}},I^i)},$ $E_s\left(B^i\right)=\frac{\mathrm{Dis}(B^i,I^i)}{\min \mathrm{Dis}(B_{\mathrm{all}},I^i)}.$ Dis(Fⁱ，Iⁱ)，Dis(Bⁱ，Iⁱ)分别为前景、背景样本点到当前处理点i的空间距离，minDis(F_all，Iⁱ)，minDis(B_all，Iⁱ)分别为当前处理点i到前景轮廓线和背景轮廓线的最短距离，||·||为范数运算，||·||²为二范数运算，Dis(Fⁱ，Iⁱ)、Dis(Bⁱ，Iⁱ)、minDis(F_all，Iⁱ)、minDis(F_all，Iⁱ)的求取为本领域的常规技术，不在此赘述。

步骤四，首先利用样本对的局部不变性，对找到的样本对进行像素值调整。调整方法如下，假设当前估计像素i，以i点为中心点的5*5共25个像素点构成的矩形测量区域内，共有25对样本对将这25对样本对与i点做颜色距离测量，找到距离最小的前3对，将这最佳的3对进行颜色值的平均，更新最佳样本对中的前景像素值以及背景像素值(Fⁱ，Bⁱ)。颜色距离的测量同步骤三中E_c的计算。接下来引入掩膜的平滑性，以分别i点为中心点的3*3的参考区域内的每个像素点对应(Fⁱ，Bⁱ)的取像素值的均值，得到i点的低频前景像素值以及低频背景像素值其中l代表低频，运用公式求的低频掩膜值最后，将颜色误差与低频掩膜值进行综合，得到最终的掩膜值计算结果λ为可调参数。如图4所示的实施例的原图像在未知区域中所有像素点的掩膜值计算之后，如图5所示。

步骤五，将提取出的图像融入到新的场景中，I_i＝α_iF_i+(1-α_i)B_i，式中α_i为步骤四中计算出的掩膜，F_i为输入图像，B_i为新的背景图像I_i为融合结果，如图6所示。

Claims (10)

1.一种基于优化方向采样的自然图像抠图方法，其特征在于，包括以下步骤：

初始化步骤：将图像划分为绝对背景区域、绝对前景区域以及未知区域；

优化方向采样步骤：对未知区域中的每个像素点进行优化方向采样，获得各像素点的前景和背景样本集合；

前景与背景像素值选取步骤：从未知区域各个像素的前景和背景样本集合中选择一对最优的样本对作为未知区域各个像素对应的前景像素估计值和背景像素估计值；

未知区域像素点的掩膜值计算步骤：根据已知的未知区域像素点的像素值以及计算得到该像素点对应的前景像素估计值和背景像素估计值，最终得到各未知区域像素点的掩膜值；

其中，优化方向采样步骤的具体实现方法是，获得各像素点的前景和背景样本的集合,具体方法为：未知区域内，计算以当前像素点i为中心点的像素块的像素值P_i在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上的像素值的变化速度，以当前像素点i为起点沿着变化速度最慢的方向的垂直方向发射射线，采集该射线与前景轮廓线和背景轮廓线的交点分别为像素点i对应的第一前景样本点与第一背景样本点，再采集前景轮廓线和背景轮廓线上距离当前像素点i最近的像素点为第二前景样本点与第二背景样本点；在前景轮廓线上，在第一前景样本点两边稀疏地各采集一个像素点，在第二前景样本点两边稀疏地各采集一个像素点；在背景轮廓线上，在第一背景样本点两边稀疏地各采集一个像素点，在第二背景样本点两边稀疏地各采集一个像素点；将在前景轮廓线上采集到的六个像素点作为当前像素点i的前景样本集合，将在背景轮廓线上采集到的六个像素点作为当前像素点i的背景样本集合。

2.如权利要求1所述一种基于优化方向采样的自然图像抠图方法，其特征在于，前景与背景像素值选取步骤中，确定最优的样本对之后，对样本对中的前景像素估计值和和背景像素估计值进行调整，调整方法如下：

确定以当前像素点为中心点的一个测量区域，提取该测量区域内每个像素点所对应的最优样本对，在提取出的所有样本对与当前像素点的像素值之间进行颜色距离测量，在所有颜色距离测量结果中选择最小的前几个样本对的前景样本点进行像素值的平均以及前几个样本对的背景样本点进行像素值的平均，前景样本点的像素值的平均结果与背景样本点的像素值的平均结果分别为调整后的当前像素点对应的前景像素估计值和背景像素估计值。

3.如权利要求2所述一种基于优化方向采样的自然图像抠图方法，其特征在于，颜色距离测量的具体方法为：

$E_c(F^i,B^i)=\left|\right|I^i-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^i)\left|\right|,$ $\widehat{\mathrm{\α}}=\frac{(I^i-B^i)(F^i-B^i)}{{\left|\right|F^i-B^i\left|\right|}^2},$

其中，E_c(Fⁱ,Bⁱ)为样本对(Fⁱ,Bⁱ)与当前像素点i的像素值之间的颜色距离，Iⁱ为当前像素点的像素值，Fⁱ为前景样本点的像素值，Bⁱ为背景样本点的像素值，||·||为范数运算。

4.如权利要求2所述一种基于优化方向采样的自然图像抠图方法，其特征在于，所述测量区域的大小为5*5。

5.如权利要求2、3或4所述一种基于优化方向采样的自然图像抠图方法，其特征在于，在掩膜值计算步骤中，还对掩膜值进行修正，修正方法如下：

确定以当前像素点为中心点的一个参考区域，提取该参考区域内每个像素点所对应的调整后的前景像素估计值和调整后的背景像素估计值，并分别对所有调整后的前景像素估计值、背景像素估计值取均值得到当前像素点对应的低频前景像素值、低频背景像素值；再根据当前像素点的像素值以及低频前景像素值、低频背景像素值计算出低频掩膜值；最后根据当前像素点的像素值、调整后的前景像素估计值和调整后的背景像素估计值，以及低频掩膜值，得到当前像素点的最终掩膜值αⁱ：

其中，为低频掩膜值，Iⁱ为当前像素点的像素值，F^i′为调整后的前景像素估计值，B^i′为调整后的背景像素估计值，λ为可调参数，||·||²为二范数运算。

6.如权利要求5所述一种基于优化方向采样的自然图像抠图方法，其特征在于，所述参考区域的大小为3*3。

7.如权利要求1所述一种基于优化方向采样的自然图像抠图方法，其特征在于，像素块的变化速度通过求解下式求得：其中，SSD为均方误差和；P_i为以当前像素点i为中心点的像素块的像素值；P_k为以像素点k为中心像素点的像素块的像素值；k的取值范围为1至8，分别代表0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4这8个方向上i的最近邻点；D_n为像素块的变化速度最慢的方向的均方误差和；n为像素块的变化速度最慢的方向，n的取值范围为1至8。

8.如权利要求3所述一种基于优化方向采样的自然图像抠图方法，其特征在于，像素块的大小为9*9。

9.如权利要求1所述一种基于优化方向采样的自然图像抠图方法，其特征在于，从未知区域各个像素的前景和背景样本集合中选择一对最优的样本对的方法是，将采集到的前景样本的各样本点与背景样本的各样本点进行两两组合形成样本对，选择颜色距离与空间距离误差最小的一对的样本点作为最优的样本对。

10.如权利要求9所述一种基于优化方向采样的自然图像抠图方法，其特征在于，通过代价函数的计算来选择颜色距离与空间距离误差最小的一对的样本点，代价函数为：E(Fⁱ,Bⁱ)＝ωE_c(Fⁱ,Bⁱ)+E_s(Fⁱ)+E_s(Bⁱ)，其中，E_c(Fⁱ,Bⁱ)为样本对(Fⁱ,Bⁱ)与当前像素点i的像素值之间的颜色距离，E_s(Fⁱ)和E_s(Bⁱ)分别为前景样本和背景样本的空间距离误差，ω为权值用来平衡颜色距离和空间距离误差对整个代价函数的影响。