CN103955918A - 一种全自动精细抠像装置及精细抠像方法 - Google Patents

Abstract

本发明公开了一种全自动精细抠像装置及精细抠像方法，其包括一单反相机，其中，所述单方相机与一数据接口相连接，所述数据接口分别与拍摄环境单元、控制中心相连接，所述控制中心包括背景识别模块、快速抠像模块、自动计算模块、基于聚类的采样点优化选择模块、精细抠像模块与图像存储器，以及使用全自动精细抠像装置进行精细抠像的方法。使整个抠像过程无需任何的人工标注，完全实现了全自动的非透明及半透明区域的抠像，提高了抠像质量与抠像效率。

Description

一种全自动精细抠像装置及精细抠像方法

技术领域

本发明涉及一种全自动精细抠像装置及精细抠像方法。

背景技术

抠像技术广泛应用于电影后期处理、二维图形艺术、电视、广告、视频后期制作等领域。最典型的，在电影制作的过程中，导演利用抠像与合成技术，将不同时间，不同地点拍摄到的影像合成到同一场景中，实现特殊的艺术效果。目前影视后期处理中静态图像的抠像技术，多采用单色背景，背景必须为某种固定的已知颜色，例如蓝色或者绿色，在摄影棚比较均匀的光照环境中进行样片拍摄，然后通过抠像算法获得前景和其对应的Alpha通道。

带Alpha通道计算的抠像技术，需要将数字图像中的像素当作是前景（即待抠出人像）和背景像素值的融合结果，融合方程为：

C＝αF+(1-α)B

其中C∈R^3×1表示图像中当前像素的颜色，F∈R^3×1代表C对应位置的前景像素颜色，B∈R^3×1代表C对应位置的背景颜色，α∈R^1×1为不透明度，即Alpha通道值，范围在0到1之间，α=0时表示完全透明，α=1时表示完全不透明。抠像技术主要是利用C的信息估计前景色F和透明度α，这里的F即是要提取的前景，α是前景的透明度信息。

由于已知量C数量小于待求解数量F和α，因此抠像算法的计算过程是一个求解不定方程的过程，需要增加约束条件。Trimap是一种最常用的约束。将原始图像划分为确定的前景区域（区域中所有像素点的α=1）、确定的背景区域（区域中所有像素点的α=0）和未知区域（区域中所有像素点的α待求），划分的结果图像称为Trimap。

Knockout是基于Trimap划分的经典透明度估计方法，其在计算未知区域Unknown上某一位置点的α时，通过在前景区域Foreground和背景区域Background采样，估计当前点的前景颜色值和背景颜色值。样采样方法如下，对于当前点，将已知前景区域Foreground边界上的采样像素进行加权求和得到前景色估计值，权重大小根据采样像素与当前像素之间的距离设定，距离越近权重越大，距离越远权重越小。用同样的方法可以得到当前点的背景色估计值。最后根据融合方程计算出透明度α。Knockout方法的特点在于模型简单、处理速度快。但由于其随机选择采样点对，并根据距离设定采样点权重，所以仅对于光滑图像具有较好的抠像效果。并且，为了提高抠像效果、降低算法计算复杂度，应尽可能将前景和背景的点排除在Unknown外。所以Trimap划分的准确与否对结果精度有很大影响。通常情况下，获得Trimap需要人工交互，影响了抠像的准确性。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种全自动精细抠像装置及精细抠像方法，以提高抠像质量与抠像效率。

本发明的技术方案如下：

一种基于采样点优化选择的单色背景的全自动精细抠像装置，其包括一单反相机，其中，所述单方相机与一数据接口相连接，所述数据接口分别与拍摄环境单元、控制中心相连接，所述控制中心包括背景识别模块、快速抠像模块、自动计算模块、基于聚类的采样点优化选择模块、精细抠像模块与图像存储器，所述背景识别模块与所述快速抠像模块相连接，所述快速抠像模块与所述自动计算模块相连接，所述自动计算模块相连接与所述采样点优化选择模块，所述采样点优化选择模块与所述精细抠像模块相连接，所述精细抠像模块与所述图像存储器相连接；所述背景识别模块用于获取当前图像背景色，所述快速抠像模块用于根据当前图像背景色对目标快速粗略抠像，所述自动计算模块用于获得当前图像对应的Trimap，所述采样点优化选择模块用于根据当前图像对应的Trimap筛选出对应的前景采样点和背景采样点，所述精细抠像模块用于精细抠图生成带有Alpha通道的抠像结果，所述图像存储器用于存储对应抠像结果。

所述的全自动精细抠像装置，其中，所述拍摄环境单元包括补光灯、反光板、单色背景布与摄影背景架。

所述的全自动精细抠像装置，其中，所述控制中心还包括一显示屏，所述显示屏与所述图像存储器相连接，所述显示屏用于显示当前图像。

一种使用所述全自动精细抠像装置的精细抠像方法，其包括以下步骤：

单反相机将拍摄到的当前图像背景色通过数据接口输入给控制中心，然后经过背景识别模块自动获取当前图像背景色；

快速抠像模块根据当前图像背景色对目标快速粗略抠像；然后所述自动计算模块根据快速粗略抠像，获得当前图像对应的Trimap；

根据当前图像对应的Trimap进入采样点优化选择模块筛选出最有代表性的前景采样点和背景采样点；

然后将经过采样点优化选择模块处理后的当前图像背景色传输到精细抠像模块，生成带有Alpha通道的抠像结果；最后将精细抠像模块处理的结果存储在存储器中，同时在控制中心的显示器上显示。

本发明提供的一种全自动精细抠像装置及精细抠像方法，采用单反相机、数据接口、拍摄环境单元与控制中心的技术手段，并且在控制中心内布置背景识别模块、快速抠像模块、自动计算模块、基于聚类的采样点优化选择模块、精细抠像模块与图像存储器，使整个抠像过程无需任何的人工标注，完全实现了全自动的非透明及半透明区域的抠像，提高了抠像质量与抠像效率。

附图说明

图1为本发明中全自动精细抠像装置的结构示意图；

图2为RGB色彩空间中计算背景修正值的示意图。

具体实施方式

本发明提供了一种全自动精细抠像装置及精细抠像方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种全自动精细抠像装置及精细抠像方法，如图1所示的，其包括一单反相机1，所述单方相机1与一数据接口2相连接，所述数据接口2分别与拍摄环境单元3、控制中心4相连接，所述控制中心可以采用单片机、笔记本电脑、台式电脑等技术形式。所述控制中心4包括背景识别模块5、快速抠像模块6、自动计算模块7、基于聚类的采样点优化选择模块8、精细抠像模块9与图像存储器10，所述背景识别模块5与所述快速抠像模块6相连接，所述快速抠像模块6与所述自动计算模块7相连接，所述自动计算模块7相连接与所述采样点优化选择模块8，所述采样点优化选择模块8与所述精细抠像模块9相连接，所述精细抠像模块9与所述图像存储器10相连接；所述背景识别模块5用于获取当前图像背景色，所述快速抠像模块6用于根据当前图像背景色对目标快速粗略抠像，所述自动计算模块7用于获得当前图像对应的Trimap，所述采样点优化选择模块8用于根据当前图像对应的Trimap筛选出对应的前景采样点和背景采样点，所述精细抠像模块9用于精细抠图生成带有Alpha通道的抠像结果，所述图像存储器10用于存储对应抠像结果。

更进一步的，所述拍摄环境单元包括补光灯、反光板、单色背景布与摄影背景架，用于布置图像的单色背景。并且所述控制中心4还包括一显示屏，所述显示屏与所述图像存储器10相连接，所述显示屏用于显示当前图像。

本发明还提供了一种使用所述全自动精细抠像装置的精细抠像方法，其包括以下步骤：

单反相机1将拍摄到的当前图像背景色通过数据接口2输入给控制中心4，然后经过背景识别模块5自动获取当前图像背景色；

快速抠像模块6根据当前图像背景色对目标快速粗略抠像；然后所述自动计算模块7根据快速粗略抠像，获得当前图像对应的Trimap；

根据当前图像对应的Trimap进入采样点优化选择模块8筛选出最有代表性的前景采样点和背景采样点；

然后将经过采样点优化选择模块8处理后的当前图像背景色传输到精细抠像模块9，生成带有Alpha通道的抠像结果；最后将精细抠像模块9处理的结果存储在存储器10中，同时在控制中心4的显示器上显示。

为了更进一步描述本发明的精细抠像方法以下进行更详尽的说明。

布置拍摄背景

拍摄背景由单色摄影布、摄影背景架、补光灯和反光板构成。单色摄影布选用摄影专业使用的无纺布单色背景布。由于本发明用于抠像，所以使用蓝色或者绿色背景布。摄影背景架由铝合金制成，可以伸缩，用于悬挂及固定背景布。补光灯由6根55W的冷光灯构成，反光板为白色反光板，用于在光线过暗、明显不均匀时进行补光。

单反相机将拍摄到的单色背景布下的图像，通过数据接口输入给计算机。

采用Cannon550D单反相机，配置F/18-55光学镜头。目标人物在背景布前设计好拍摄姿态，单反相机拍摄人物，获得单色背景布下的图像。设定拍摄图像为JPG格式，色彩空间为RGB。将当前拍摄获得图像记作I_rgb。将I_rgb通过数据接口输入给计算机。

拍摄图像输入背景自动识别模块，获得目前的背景色

本发明不需要人工设定背景色。系统的自动背景色识别模块，首先复制I_rgb的一份图像拷贝，并将其色彩空间由RGB转为HSV，记作I_hsv。HSV颜色空间比RGB颜色空间对色度信息的描述更加准确，并且HSV颜色空间可以减小光照和阴影对提取结果的影响。由于处理图像是单色背景，所以色度信息更充分的反映了背景和其他区域的差异。基于这样的考虑，系统将源图像转换到HSV空间上，转换公式如下：

V＝max(R，G，B)

$S=\left\{\begin{array}{c}(V-\min (R,G,B))\×255/V,\mathrm{ifV}\≠0\\ 0,\mathrm{otherwise}\end{array}\right.$

$H=\left\{\begin{array}{c}(G-B)\×60/S,\mathrm{ifV}=R\\ 180+(B-R)\×60/S,\mathrm{ifV}=G\\ 240+(R-G)\×60/S,\mathrm{ifV}=B\end{array}\right.$

if H＜0，H＝H+360

计算I_hsv图像左上角和右上角2块100×100大小的矩形区域的平均HSV值，将HSV值与存储在系统中的标准背景绿色或背景蓝色的HSV值进行比较，实现对背景色的自动识别。记自动识别的背景色为Bcolor_hsv。

快速抠像

本模块使用背景相减法实现目标的快速抠图。将I_hsv的H,S,V值分别与Bcolor_hsv的H,S,V值相减。将每个像素在三个通道上的差值与设定的阈值进行比较。如果一个像素与背景像素的三通道差值，至少有一个大于其对应通道的阈值，则认为此像素是前景区域，这里记作Foreground_fast。阈值系统可调，默认选取亮度V=150，色度H=10，饱和度S的阈值S_th根据I_hsv的平均像素亮度mean_v确定，系统定义为：

$S\_\mathrm{th}=\left\{\begin{array}{c}140,\mathrm{ifmean}\_v>200\\ 60,\mathrm{ifmean}\_v<130\\ 100,\mathrm{otherwise}\end{array}\right.$

Trimap自动计算

传统的抠像装置想要获得理想的Trimap，往往需要手工交互。本装置中的Trimap自动计算模块，能够在快速抠像的结果上自动计算Trimap。其计算步骤主要分为：

①人脸定位

由于本装置主要用于人像抠图，而人像中存在较多细小毛发的区域主要存在于人的头部区域，这些毛发区域规则性非常差，有可能存在距离前景区域较远的头发。另外，人的头部区域可能会存在佩戴的头纱、头花等存在半透明区域的装饰物。所以，系统首先通过人脸定位技术定位I_rgb中人的面部区域。定位人脸区域的技术，系统使用的是OpenCV1.0中训练好的Haar特征+AdaBoost训练算法获得的人脸分类器。

②提取Unknown区域

对Foreground_fast得到的前景进行形态学腐蚀处理，选取的腐蚀结构元素为5×5矩形，将腐蚀后得到的前景区域作为确定的前景部分。然后对前景部分进行轮廓查找，即将前景主体周围宽度为W的轮廓作为未知区域的初始结果（系统可以对宽度值W进行修改，默认设定为W=50像素）。接下来，对步骤①中人脸定位的结果区域进行轮廓扩大，以保证能够包含比较完整的毛发或者头纱区域，在人脸区域的轮廓值设定为2W。将此时的图像记作Foreground_fast_temp，而轮廓线上面的点即为Unknown区域。

③获得Trimap。

以Foreground_fast_temp为已知条件，创建一幅与Foreground_fast_temp大小一样的灰度图像，遍历Foreground_fast_temp，进行如下设定：

A、如果当前像素点为前景像素，将灰度图像中对应位置上的像素值设置为255（白色表示Foreground）；

B、如果当前像素点为轮廓像素，将灰度图像中对应位置上的像素值设置为128（灰度表示Unknown）；

C、其余不满足A，B条件的像素点，将灰度图像中对应位置上的像素值设置为0（黑色表示Background）。

当遍历完所有像素后，获得的灰度图像即为Trimap。

基于聚类的采样点优化选择

①对源图像I_rgb进行K-means聚类，聚类个数K可调，系统默认为K=100。将聚类后每一像素点的类标号存储在一个与I_rgb等大的二维数组T_label对应位置中。

②获得前景样本点，步骤为：

A、遍历Trimap，对其Unknown区域中的任意一点s，以s为圆心，r为半径做圆，r的初始值设置为1。逐步增加r，每一轮增加步长为1像素，直到圆周有像素点落在Foreground区域中，记录此时r的值为d；

B、同样以s为圆心，2d为半径做圆，记录圆环区域R_d-2d中所有前景点；

C、根据步骤A中获得的T_label，统计R_d-2d区域内像素的类标号。在每一类中随机抽取固定个数的前景点作为样本点，系统默认为N=5。

③同样的方法获取背景样本点。

精细抠像

①计算前景背景参考值。

求取所有前景样本点的平均值，用F(F_R,F_G,F_B)表示，所有背景样本点的均值用B'(B'_R,B'_G,B'_B)表示：

$F=\frac{1}{N}\underset{i\&Element;N,c=\{R,G,B\}}{\mathrm{\&Sigma;}}{F_i}^c,B^{\&prime;}=\frac{1}{N}\underset{i\&Element;N,c=\{R,G,B\}}{\mathrm{\&Sigma;}}{B^{\&prime;}}_i^c$

②计算背景修正值

在RGB颜色空间中，过B'点做一个垂直于FB'的平面l，然后过待计算点C做此平面的垂线，与平面交于点B，求解B，记作B(X_R,X_G,X_B)，这样得到的B值作为背景样本修正值，如图2所示。由图2可知，向量FB'垂直于平面l，将向量FB'看作平面的法向量可得到平面方程为：

(F_R-B′_R)(X_R-B′_R)+(F_G-B′_G)(X_G-B′_G)+(F_B-B′_B)(X_B-B′_B)＝0

由于CB∥FB'，将FB'看作CB的方向向量，可得直线CB的空间方程为：

$\frac{X_R-C_R}{F_R-{B^{\&prime;}}_R}=\frac{X_G-C_G}{F_G-{B^{\&prime;}}_G}=\frac{X_B-C_B}{F_B-{B^{\&prime;}}_B}$

联立上述方程组，可求得B(X_R,X_G,X_B)。

③求解不透明度α

计算获得B(X_R,X_G,X_B)后，融合公式中的C，F和B均已知，将其代入融合公式求解：

C_R＝α_RF_R+(1-α_R)B_R

C_G＝α_GF_G+(1-α_G)B_G

C_B＝α_BF_B+(1-α_B)B_B

由于C∈R^3×1，F∈R^3×1，B∈R^3×1，故每一个通道均可求解出一个不透明度，分别记作α_R∈R^1×1，α_G∈R^1×1，α_B∈R^1×1。而最终源图像对应的不透明度值可以为α_R,α_G,α_B加权的结果。设权重分别为w_R,w_G,w_B,其根据空间欧氏距离定义为：

$w_R=\frac{{(F_R-B_R)}^2}{{(F_R-B_R)}^2+{(F_G-B_G)}^2+{(F_B-B_B)}^2}$

$w_G=\frac{{(F_G-B_G)}^2}{{(F_R-B_R)}^2+{(F_G-B_G)}^2+{(F_B-B_B)}^2}$

$w_B=\frac{{(F_B-B_B)}^2}{{(F_R-B_R)}^2+{(F_G-B_G)}^2+{(F_B-B_B)}^2}$

最终的α即为：

α＝w_Rα_R+w_Gα_G+w_Bα_B

④根据α更新估计前景点和背景点值

由于求解融合公式时，使用的前景是F(F_R,F_G,F_B)，为前景样本点均值，而背景值B(X_R,X_G,X_B)是根据F(F_R,F_G,F_B)估计获得，两者均不能够很好地代表当前前景样本点和对应背景样本点的颜色。所以在计算获得α后需要对前景样本点和对应背景样本点进行更新估计。目前已经得到α，而当前像素值C已知，融合方程还有前景F和背景B两个未知数。这仍然是一个欠定方程组，所以需要设定优化目标函数进行估计。估计方式为从前景样本点集中随机选择一个前景点，从背景样本点集中随机选择一个背景点，满足以下目标函数的点对即为估计获得的最优前景点和背景点：

$(\tilde{F},\tilde{B})=\underset{F,B}{\arg \min }{(C_R-({\mathrm{\&alpha;}}_R{F}_R+(1-{\mathrm{\&alpha;}}_R)B_R))}^2+{(C_G-({\mathrm{\&alpha;}}_G{F}_G+(1-{\mathrm{\&alpha;}}_G)B_G))}^2+{(C_B-({\mathrm{\&alpha;}}_B{F}_B+(1-{\mathrm{\&alpha;}}_B)B_B))}^2$

存储图像并显示

将上述精细抠像获得的更新估计后前景值和透明度α存储在本地磁盘的指定路径下，存储格式为带有Alpha通道的JPG图像。同时，将和α在显示器上显示出来。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于采样点优化选择的单色背景的全自动精细抠像装置，其包括一单反相机，其特征在于，所述单方相机与一数据接口相连接，所述数据接口分别与拍摄环境单元、控制中心相连接，所述控制中心包括背景识别模块、快速抠像模块、自动计算模块、基于聚类的采样点优化选择模块、精细抠像模块与图像存储器，所述背景识别模块与所述快速抠像模块相连接，所述快速抠像模块与所述自动计算模块相连接，所述自动计算模块相连接与所述采样点优化选择模块，所述采样点优化选择模块与所述精细抠像模块相连接，所述精细抠像模块与所述图像存储器相连接；所述背景识别模块用于获取当前图像背景色，所述快速抠像模块用于根据当前图像背景色对目标快速粗略抠像，所述自动计算模块用于获得当前图像对应的Trimap，所述采样点优化选择模块用于根据当前图像对应的Trimap筛选出对应的前景采样点和背景采样点，所述精细抠像模块用于精细抠图生成带有Alpha通道的抠像结果，所述图像存储器用于存储对应抠像结果。

2.根据权利要求1所述的全自动精细抠像装置，其特征在于，所述拍摄环境单元包括补光灯、反光板、单色背景布与摄影背景架。

3.根据权利要求1所述的全自动精细抠像装置，其特征在于，所述控制中心还包括一显示屏，所述显示屏与所述图像存储器相连接，所述显示屏用于显示当前图像。

4.一种使用如权利要求1所述全自动精细抠像装置的精细抠像方法，其包括以下步骤：

单反相机将拍摄到的当前图像背景色通过数据接口输入给控制中心，然后经过背景识别模块自动获取当前图像背景色；

快速抠像模块根据当前图像背景色对目标快速粗略抠像；然后所述自动计算模块根据快速粗略抠像，获得当前图像对应的Trimap；

根据当前图像对应的Trimap进入采样点优化选择模块筛选出最有代表性的前景采样点和背景采样点；

然后将经过采样点优化选择模块处理后的当前图像背景色传输到精细抠像模块，生成带有Alpha通道的抠像结果；最后将精细抠像模块处理的结果存储在存储器中，同时在控制中心的显示器上显示。