CN103366364B - 一种基于颜色差异的抠图方法 - Google Patents

Abstract

本发明公开了一种基于颜色差异的抠图方法，包括获取原图；对原图进行溢出平衡处理，并由原图得到基础遮罩和细节遮罩；再将基础遮罩和细节遮罩组合得到最终遮罩；然后利用溢出平衡后的图像和最终遮罩组合获得抠去背景后的图像；最后将抠去背景后的图像和其他背景图像进行合成。本发明仅需要用户提供用户输入参数和两个背景样本点，通过调节用户输入参数即可对原图进行较好的抠图，并且对于原图也没有特别严格的要求，使用更加方便。

Description

一种基于颜色差异的抠图方法

技术领域

本发明涉及一种基于颜色差异的抠图方法，属于计算机视觉和图像处理领域。

背景技术

颜色空间（colorspace）：也称彩色模型（又称彩色空间或彩色系统），它的用途是在某些标准下用通常可接受的方式对彩色加以说明。本质上，彩色模型是坐标系统和子空间的阐述。位于系统的每种颜色都有单个点表示。现在采用的大多数颜色模型都是面向硬件或面向应用的。颜色空间从提出到现在已经有上百种，大部分只是局部的改变或专用于某一领域。常用有RGB，CMY，HSV,HSI等。本发明将涉及到RGBA颜色空间，其中A表示alpha分量，R表示红色（red）分量，G表示绿色（green）分量，B表示蓝色（blue）分量。在计算机存储中用八比特位表示一个分量，即各分量的取值范围是[0,255]。

alpha分量：计算机图像学中度量像素不透明度的单位。具有最大alpha值的像素是不透明的，alpha值为零的像素是透明的，而具有中间值的像素是半透明的，并且透明度由最大alpha值到最小值之间均匀递增。

键控（Key）：利用一个视频信号中不同部位参量（例如亮度和色度）的不同，经过处理形成高/低双值键控信号，去控制电子开关，使待合成的两路视频信号交替输出，形成一个画面的一部分被抠掉而填进另一画面的效果，俗称“抠像”。一般情况下，被抠的图像是背景图像，填入的图像为前景图像。用来抠去图像的电信号称为键信号，形成这一信号的信号源为键源。对于图像的处理，则称为抠图。

掩码（Mask）：在计算机学科及数字逻辑中指的是一串二进制数字，通过与目标数字的按位操作，达到屏蔽指定位而实现需求。通过掩码便可保留图像中需要的的部分，去除不需要的部分

遮罩（Matte）：在掩码里，只有两种透明度，1和0，即完全透明和完全不透明，而遮罩则可以包含很多层次的透明度，图像中每个像素都可以有自己的透明度，这些像素的透明度有着丰富的层级，可以合成、融合。

键控（抠图）技术是一种把任意图像中的前景部分从背景部分中分离出来的一种图像处理技术。它在电影电视特效特技制作等方面有着广泛而深入的应用。在电影和电视中，抠图已经被用于将前景（例如，行动者）和背景（例如，风景）图像合成为最终图像。色度键（绿屏幕）技术是广泛使用的方法，用于将行动者抠图至新的背景。对于数字图像，可以直接操作像素点，由此只需用户提供某些输入，诸如标记背景区域，即可将前景对象从目前图像中抠出。标记越简单，处理就越用户友好。

目前常见的键控（抠像）技术有差异蒙板，亮度键，内部/外部键，线性色键，颜色差异键，颜色键等。

差异蒙板：需要另外准备一张背景图像，通过比较背景图像和原图中相应点的颜色差异来估计alpha值。

亮度键：利用键源图像中亮度成分来形成键信号，它要求键源图像要有较高的亮度反差，即键源中作前景的图像部分要亮，其余部分要暗（黑），要形成明显的黑白反差。亮度键又称黑白键。

内部键：是以参与键控特技其中的一路信号作为键信号来分割画面的，也就是说键源与前景图像是同一个图像。内部键也称自键，一般用于文字、图形的叠加。内部键的键源信号通常是在黑底上的白色字符或图形，它的电平只有高低两种，且对应白色部分的电平高。

外部键：是相对于内部键而言的，其键信号由第三路键源图像提供，而不是参与键控特技的前景或背景图像。外部键的键源信号通常也是黑底上的白色字符或图形，填充信号通常为单一色调的彩色信号，因此外部键特技通常用于彩色字幕或图形的插入。

键控技术的基本原理和步骤大致是一样的，主要包括：

（1）做遮罩，这是为了保证抠像物体能有尽量清晰的边缘细节。

（2）把抠像物体的遮罩做虚边，然后合成时把虚边往里面蚀入一些，这样可以避免边缘经常出现的闪动和锯齿，物体与背景的边缘有自然的过渡。

（3）褪蓝。位于前景的抠像物体边缘通常会因为环境色的反射而带有蓝边，所以需要经过褪蓝这一步骤把溢出的蓝边去掉。

（4）颜色修正。在抠像特技完成后，还需要根据最终效果仔细调整每个镜头间的色调，一定要使全片的色调保持一致。

以上常见的键控技术对于图像的抠图，需要用户提供的标记以及抠图的效果各不相同，比如差异蒙板需要用户提供另外的背景图像，亮度键要求原图有较高的亮度反差，外部键需要第三路键源图，颜色键无法处理透明效果等。这些现有键控技术操作较为繁琐。

发明内容

发明目的：本发明提出一种基于颜色差异的抠图方法，解决了现有键控技术用户使用不便的问题。

技术方案：本发明采用的技术方案为一种基于颜色差异的抠图方法，包括以下步骤：

1）获取原图；

2）对步骤1）所得原图进行溢出平衡处理；

3）根据步骤1）所得原图获得基础遮罩；

4）根据步骤1）所得原图获得细节遮罩；

5）将步骤3）所得基础遮罩和步骤4）所得细节遮罩组合获得最终遮罩；

6）由步骤2）所得的溢出平衡处理后的图像和步骤5）所得的最终遮罩组合获得抠去背景后的图像；

7）步骤6）所得的抠去背景后的图像与其他背景图像进行合成。作为本发明的进一步改进，所述第3）步又包括以下三个步骤：

1）比较待处理像素点与背景样本点的关系，其中背景样本点记为（R,G,B），待处理像素点记为（r,g,b），为弥补背景样本点选择的偏差引入基础参数k，

若g-b＜0表明此像素点不绿，则需要保留，

若0＜g-b＜k*(G-B)表明此像素点绿色的程度在不绿与背景样本点之间，

若k*(G-B)＜g-b表明此像素点比背景样本点更绿，则需要去除；2）根据步骤1）所得比较结果，使用下述公式来计算所需的基础遮罩值M，F(g,b)为自定义分段函数，

r∈[0，255]，g∈[0，255]，b∈[0，255]

$M=F(g,b)=\left\{\begin{array}{cc}255& (g-b\&le;0)\\ k*(G-B)*(1-\frac{g-b}{255})& (0<g-b\&le;k*(G-B))\\ 0& (k*(G-B)<g-b)\end{array}\right.$ ；

3）通过调节BP,WP参数对步骤2）所得基础遮罩值按下述公式进行修正，以获得最终的基础遮罩

$\mathrm{bM}=\frac{255}{255-\mathrm{BP}}*(M-\mathrm{BP})$

$\mathrm{wM}=\frac{255}{\mathrm{WP}}*\mathrm{bM}$

其中bM为经BP参数处理过的遮罩，wM为经WP参数处理过的遮罩。

所述第4）步又包括以下步骤：

1）对两个背景样本点（HC，LC）和原图上每个像素点按下述公式计算其亮度

输入样本点HC的亮度HCL=0.29*HCR+0.59*HCG+0.12*HCB，

输入样本点LC的亮度LCL=0.29*LCR+0.59*LCG+0.12*LCB，

待处理像素点的亮度L=0.29*R+0.59*G+0.12*B；

2）根据步骤1）所得的亮度安装下述公式计算细节遮罩值DM，其中foregrounddetail、backgrounddetail、inpoint、outpoint四个参数，分别记为FD、BD、IP、OP，

$\mathrm{DM}=F\left(L\right)=\left\{\begin{array}{c}255,L\&Element;[0,\mathrm{IP})\\ 255*\left(\frac{L-(\mathrm{LCL}+\mathrm{FD})}{\mathrm{IP}-(\mathrm{LCL}+\mathrm{FD})}\right),L\&Element;[\mathrm{IP},\mathrm{LCL}+\mathrm{FD})\\ 0,L\&Element;[\mathrm{LCL}+\mathrm{FD},\mathrm{HCL}+\mathrm{BD})\\ 255*\left(\frac{L-(\mathrm{HCL}+\mathrm{BD})}{\mathrm{OP}-(\mathrm{HCL}+\mathrm{BD})}\right),L\&Element;[\mathrm{HCL}+\mathrm{BD},\mathrm{OP})\\ 255,L\&Element;[\mathrm{OP},255]\end{array}\right..$ 。

所述第2）步按下述公式计算溢出平衡后的像素点绿色分量：

$\left\{\begin{array}{c}\mathrm{nR}=R\\ \mathrm{nG}=F(R,G,B)\\ \mathrm{nB}=B\end{array}\right.$

$F(R,G,B)=\left\{\begin{array}{cc}s*R+(1-s)*B,& (R,G,B)\&Element;D_1\\ (1-s)*R+s*B,& (R,G,B)\&Element;D_2\\ G,& (R,G,B)\&Element;D_3\end{array}\right.$

D₁＝{(R，G，B，)|B＞R且B＜k₁*R+G*(1-k₁)}

D₂＝{(R，G，B)|B<R且B＜k₂*R+G*(1-k₂)｝

D_３＝{(R，G，B)|B＞k₁*R+G*(1-k₁)或B＞k₂*R+G*(1-k₂)}

其中原图上的每个像素点用R，G，B三个参数表示。经溢出平衡后的像素点用nR，nG，nB表示，s为用户输入参数，

R∈[0，255]，G∈[0，255]，B∈[0，255]，s∈[0，1]，

$k_1=\tan (\frac{\mathrm{\&pi;}}{2}+(1-s)*\frac{\mathrm{\&pi;}}{2})$ $k_2=\tan (-(1-s)*\frac{\mathrm{\&pi;}}{2}).$

有益效果：本发明仅需要用户提供用户输入参数和两个背景样本点，通过调节用户输入参数即可对原图进行较好的抠图，并且对于原图也没有特别严格的要求，使用更加方便。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围。

本实施例以绿色背景（即绿幕）为例，如图1所示的流程，本发明包括以下步骤：

1、获取原图。

2、对原图进行溢出平衡处理。

位于前景的抠像物体边缘通常会因为环境色的反射而带有绿边，需要经过溢出平衡这一步骤把溢出的绿边去掉。

1）根据当前像素点的各分量来计算溢出平衡后的像素点的绿色分量。

输入内容：用户输入参数s，用于调整溢出平衡的范围。

处理方法：对于原图上的每个像素点做处理，像素点用R，G，B三个参数表示。经溢出平衡后的像素点用nR，nG，nB表示。计算公式如下：

R∈[0，255]，G∈[0，255]，B∈[0，255]，s∈[0，1]，

$k_1=\tan (\frac{\mathrm{\&pi;}}{2}+(1-s)*\frac{\mathrm{\&pi;}}{2})$

$k_2=\tan (-(1-s)*\frac{\mathrm{\&pi;}}{2})$

$\left\{\begin{array}{c}\mathrm{nR}=R\\ \mathrm{nG}=F(R,G,B)\\ \mathrm{nB}=B\end{array}\right.$

$F(R,G,B)=\left\{\begin{array}{cc}s*R+(1-s)*B,& (R,G,B)\&Element;D_1\\ (1-s)*R+s*B,& (R,G,B)\&Element;D_2\\ G,& (R,G,B)\&Element;D_3\end{array}\right.$

D₁＝{(R，G，B)|B＞R且＜k₁*R+G*(1-k₁)}

D₂＝{(R，G，B)|B＜R且B＜k₂*R+G*(1-k₂)}

D₃＝{(R，G，B)|B＞k₁*R+G*(1-k₁)或B＞k₂*R+G*(1-k₂)}

3、根据原图获得基础遮罩。

基础遮罩用于区分图像的前景（例如，行动者）与背景（例如，影棚绿幕）。针对绿幕背景，此算法即用于区分绿色与其他颜色。在RGBA颜色空间中，绿色的特征是G-B或G-R的值很大，根据此特征设计了如下的算法：

通过对当前待处理像素点与样本点的比较，来计算出所需的基础遮罩值。

用r,g,b表示像素点的值，基础遮罩：rawmatte=g-b，对于绿色背景的图像，背景中g-b的值比较大，而前景中g-b的值相对较小，以此能分辨出前后景。

引入用户输入的一个背景样本点，记为(R,G,B)，此处考虑样本点为绿色（针对绿幕），即G>R,G>B。为了弥补用户对于背景样本点选择的偏差，引入参数k（k通常取1）。

1）比较待处理像素点与样本点的关系。

几种情况说明：

g-b＜0表明此像素点不绿，则需要保留，即遮罩（记为M）需取255（白）。

0＜g-b＜k*(G-B)表明此像素点绿色的程度在不绿与样本点之间，遮罩（记为M）需在0~255之间。

k*(G-B)＜g-b表明此像素点比样本点更绿，则需要去除，即遮罩（记为M）需取0（黑）。

2）根据比较结果来计算所需的基础遮罩值。

公式如下：

r∈[0，255]，g∈[0，255]，b∈[0，255]

$M=F(g,b)=\left\{\begin{array}{cc}255& (g-b\&le;0)\\ k*(G-B)*(1-\frac{g-b}{255})& (0<g-b\&le;k*(G-B))\\ 0& (k*(G-B)<g-b)\end{array}\right.$

3）通过调节参数对所得基础遮罩进行修正。

通过调整参数blackpoint，whitepoint（记为BP,WP）使得取得更好的基础遮罩。经blackpoint参数处理过的新的遮罩记为bM,经whitepoint参数处理过的遮罩记为wM。

这两个参数对于基础遮罩M的处理公式：

$\mathrm{bM}=\frac{255}{255-\mathrm{BP}}*(M-\mathrm{BP})$

$\mathrm{wM}=\frac{255}{\mathrm{WP}}*\mathrm{bM}$

通过上述两个计算，能得到较好的基础遮罩

4、根据原图获得细节遮罩。

根据图像亮度，样本点亮度，生成一个细节遮罩，对基础遮罩进行增强，通过这个处理能够抠取原图的细节部分，比如头发丝。

输入内容：用户提供的两个背景样本点（highcolor，lowcolor）记为HC,LC，其中RGB分量表示为HCR,HCG,HCB,LCR,LCG,LCB；foregrounddetail，backgrounddetail，inpoint，outpoint四个参数，分别记为FD,BD,IP,OP，用于调节细节遮罩的效果。

处理方法：对于原图上的每个像素点做处理，像素点用R，G，B三个参数表示。

亮度公式：Brightness＝0.29*red+0.59*green+0.12*

1）将样本点，像素点根据亮度公式计算其亮度。

样本点highcolor亮度：HCL=0.29*HCR+0.59*HCG+0.12*HCB

样本点lowcolor亮度：LCL=0.29*LCR+0.59*LCG+0.12*LCB

待处理的像素点亮度：L=0.29*R+0.59*G+0.12*B

2）根据样本点，像素点亮度计算所需的细节遮罩值。

设像素点对应的细节遮罩值记为DM，则由原图生成细节遮罩的公式为：

$\mathrm{DM}=F\left(L\right)=\left\{\begin{array}{c}255,L\&Element;[0,\mathrm{IP})\\ 255*\left(\frac{L-(\mathrm{LCL}+\mathrm{FD})}{\mathrm{IP}-(\mathrm{LCL}+\mathrm{FD})}\right),L\&Element;[\mathrm{IP},\mathrm{LCL}+\mathrm{FD})\\ 0,L\&Element;[\mathrm{LCL}+\mathrm{FD},\mathrm{HCL}+\mathrm{BD})\\ 255*\left(\frac{L-(\mathrm{HCL}+\mathrm{BD})}{\mathrm{OP}-(\mathrm{HCL}+\mathrm{BD})}\right),L\&Element;[\mathrm{HCL}+\mathrm{BD},\mathrm{OP})\\ 255,L\&Element;[\mathrm{OP},255]\end{array}\right..$

5、由基础遮罩和细节遮罩获得最终遮罩。

基础遮罩能区分图像前景与背景，细节遮罩能保留图像的细节，将这两个遮罩组合起来便能得到较好的遮罩层，称为最终遮罩。基础遮罩的值记为BM，细节遮罩的值记为DM，最终遮罩记为FM，两者结合的公式为：

FM＝F(BM，DM)＝BM+(1-BM/255)*DM

6、由溢出平衡处理后的图像和最终遮罩获得抠去背景后的图像。

1）获得抠去背景后的图像。设溢出平衡处理后的图像的像素点记为R,G,B,A，最终遮罩记为FM，抠去背景（绿幕/蓝幕）后的图像的像素点记为nR,nG,nB,nA。由R,G,B,A,FM根据下式求得nR,nG,nB,nA。

$\left\{\begin{array}{c}\mathrm{nR}=R\\ \mathrm{nG}=G\\ \mathrm{nB}=B\\ \mathrm{nA}=\mathrm{FM}\end{array}\right.$

7、抠去背景后的图像与其他背景图像进行合成。

设抠去背景后的图像的每个像素记为R_FG_FB_FA_F，背景图像的每个像素记为R_BG_BB_BA_B，合成图像的每个像素记为R′G′B′A′。根据下式可得合成图像。

$\left\{\begin{array}{c}R\&prime;=\frac{R_F*A_F+(1-A_F)*R_B*A_B}{A\&prime;}\\ G^{\&prime;}=\frac{G_F*A_F+(1-A_F)*G_B*A_B}{A\&prime;}\\ B\&prime;=\frac{B_F*A_F+(1-A_F)*B_B*A_B}{A\&prime;}\\ A\&prime;=A_F+(1-A_F)*A_B\end{array}\right.$

Claims (3)

1.一种基于颜色差异的抠图方法，其特征在于，包括以下步骤：

1)获取原图；

2)对步骤1)所得原图进行溢出平衡处理；

3)根据步骤1)所得原图获得基础遮罩，

首先比较待处理像素点与背景样本点的关系，其中背景为绿幕，背景样本点在颜色空间中的值分别记为R、G、B，待处理像素点在颜色空间中的值分别记为r、g、b，为弥补背景样本点选择的偏差引入基础参数k，

若g-b＜0表明此像素点不绿，则需要保留，

若0＜g-b＜k*(G-B)表明此像素点绿色的程度在不绿与背景样本点之间，

若k*(G-B)＜g-b表明此像素点比背景样本点更绿，则需要去除；

然后根据步骤1)所得比较结果，使用下述公式来计算所需的基础遮罩值M，F(g,b)为自定义分段函数，

r∈[0，255]，g∈[0，255]，b∈[0，255]

$M=F(g,b)=\left\{\begin{array}{cc}255& (g-b\&le;0)\\ k*(G-B)*(1-\frac{g-b}{255})& (0<g-b\&le;k*(G-B\left)\right)\\ 0& (k*(G-B)<g-b)\end{array}\right.$

最后通过调整参数blackpoint、whitepoint，其中blackpoint记为BP,whitepoint记为WP，对步骤2)所得基础遮罩值按下述公式进行修正，以获得最终的基础遮罩

$bM=\frac{255}{255-BP}*(M-BP)$

$wM=\frac{255}{WP}*bM$

其中bM为经BP参数处理过的遮罩，wM为经WP参数处理过的遮罩；

4)根据步骤1)所得原图获得细节遮罩；

5)将步骤3)所得基础遮罩和步骤4)所得细节遮罩组合获得最终遮罩；

6)由步骤2)所得的溢出平衡处理后的图像和步骤5)所得的最终遮罩组合获得抠去背景后的图像；

7)步骤6)所得的抠去背景后的图像与其他背景图像进行合成。

2.根据权利要求1所述的基于颜色差异的抠图方法，其特征在于，所述第4)步又包括以下步骤：

1)用户提供的两个背景样本点highcolor和lowcolor，分别记为HC和LC，其中RGB分量表示为HCR,HCG,HCB,LCR,LCG,LCB，

对两个背景样本点HC、LC和原图上每个像素点按下述公式计算其亮度

输入样本点HC的亮度HCL＝0.29*HCR+0.59*HCG+0.12*HCB，

输入样本点LC的亮度LCL＝0.29*LCR+0.59*LCG+0.12*LCB，

待处理像素点的亮度L＝0.29*R+0.59*G+0.12*B；

2)根据步骤1)所得的亮度安装下述公式计算细节遮罩值DM，其中foregrounddetail、backgrounddetail、inpoint、outpoint四个参数，分别记为FD、BD、IP、OP，

$DM=F\left(L\right)=\left\{\begin{array}{cc}255,& L\&Element;\&lsqb;0,IP)\\ 255*\left(\frac{L-(LCL+FD)}{IP-(LCL+FD)}\right),& L\&Element;\&lsqb;IP,LCL+FD)\\ 0,& L\&Element;\&lsqb;LCL+FD,HCL+BD)\\ 255*\left(\frac{L-(HCL+BD)}{OP-(HCL+BD)}\right),& L\&Element;\&lsqb;HCL+BD,OP)\\ 255,& L\&Element;\&lsqb;OP,255\&rsqb;\end{array}\right..$ 。

3.根据权利要求1所述的基于颜色差异的抠图方法，其特征在于，所述第2)步按下述公式计算溢出平衡后的像素点绿色分量：

$\left\{\begin{array}{c}nR=R\\ nG=F(R,G,B)\\ nB=B\end{array}\right.$

$F(R,G,B)=\left\{\begin{array}{cc}s*R+(1-s)*B,& (R,G,B)\&Element;D_1\\ (1-s)*R+s*B,& (R,G,B)\&Element;D_2\\ G,& (R,G,B)\&Element;D_3\end{array}\right.$

D₁＝{(R，G，B)|B＞R且B＜k₁*R+G*(1-k₁)}

D₂＝{(R，G，B)|E＜R且B＜k₂*R+G*(1-k₂)}

D₃＝{(R，G，B)|B＞k₁*R+G*(1-k₁)或B＞k₂*R+G*(1-k₂)}

其中原图上的每个像素点用R，G，B三个参数表示，经溢出平衡后的像素点用nR，nG，nB表示，s为用户输入参数，

R∈[0，255]，G∈[0，255]，B∈[0，255]，s∈[0，1]，

$\begin{array}{cc}{k}_1=\tan (\frac{\mathrm{\&pi;}}{2}+(1-s)*\frac{\mathrm{\&pi;}}{2})& k_2=\tan (-(1-s)*\frac{\mathrm{\&pi;}}{2})\end{array}.$ 。