CN103581571B - 一种基于色彩三要素的视频抠像方法 - Google Patents

Abstract

本发明涉及一种基于色彩三要素的视频抠像方法，包括：采集视频序列；色彩空间转换；获取背景信息；区分不透明区域、全透明或半透明区域、前景中反射了背景色的区域；计算背景色；计算不透明度；计算前景色；判断是否需要溢色处理；溢色处理；结束。本发明通过对不透明区域、全透明或半透明区域、前景中反射了背景色的区域的分别处理，可以抠出效果更好的图像。与现有技术相比，本发明对抠像中的各个像素点不是简单的留下或舍弃，而是根据该像素点的亮度、色调和饱和度的强度决定取舍，提高了对半透明前景物体抠像的处理效果，同时还通过溢色处理提高了视觉效果，能够有效的恢复半透明的玻璃烟雾毛发和阴影等对象的颜色和透明度。

Description

一种基于色彩三要素的视频抠像方法

技术领域

本发明涉及本发明涉及一种基于色彩三要素的视频抠像方法，是一种计算机图像处理方法，是一种数字视频图像处理的方法。

背景技术

今比较流行的抠像系统有Red Giant公司的Primatte Keyer和Ultimatte公司的Advantage edge。 After Effect、Digital Fusion、Shake等众多主流软件都支持PrimatteKeyer。Ultimatte采用的是Vlahos的抠图方案，

Primatte Keyer在三维的RGB色彩空间中工作。通过用户选择背景像素点将颜色空间分成四个独立的类别。这四个类别由三维空间中定义的三个128面多面体确定。第一类为中心最小多面体定义的区域，它包含了100%为背景颜色的所有像素，也就是说小多面体任何颜色将完全被背景图像的像素取代，不需要溢色处理；第二类为小多面体何中间多面体之间的区域，这个区域内像素为前景和背景之间的半透明过渡区，需要溢色处理；第三类为中间多面体和大多面体之间的区域。这些都是100%前景像素，需要溢色处理；第四类为大多面体以外的整个区域，为100%前景图像的像素，并且不需要溢色处理。从整个算法可以看出来用户需要精细地设置很多参数来定确定三个多面体和溢色处理才能达到满意的效果，抠图工作繁琐。

Vlahos的抠图方案，假设红蓝绿分量满足一定的比例关系，在此基础上经过反复试验给出了一系列确定alpha值的经验公式，该方法虽然简单易于实现，然而实验中发现它不能很好的恢复半透区域的颜色，而且不具有普遍性不能处理背景色为黄青品红的情况。

发明内容

为解决现有技术的问题，本发明提出一种基于色彩三要素的视频抠像方法，所述的方法根据像素点的透明状况对像素点进行处理，使抠出的图像更接近自然，并可以抠出半透明的图像。

本发明的目的是这样实现的：一种基于色彩三要素的视频抠像方法，所述方法的步骤如下：

采集视频序列的步骤：用于在高饱和度及高亮度颜色背景下采集视频序列，所述视频图像序列中的每一个像素的色彩空间为YUV空间或RGB空间，从所述视频序列中选择任意一帧图像作为当前帧开始进行抠像；

色彩空间转换的步骤：将当前帧图像进行色彩空间转换，转换到色调、饱和度、亮度空间；

获取背景信息的步骤：用于直接输入来设置抠像所需的背景参数，或者用画笔工具在图像中的全透明区域进行勾勒获取背景像素点集，根据背景像素点集计算参数；

区分整幅图像中的不同区域的步骤：用于依据 “获取背景信息的步骤”中确定的背景信息将整幅图像区分为不透明区域、全透明或半透明区域、前景中反射了背景色的区域；

计算背景色的步骤：用于根据背景信息和当前色确定整幅图像中每个像素对应的背景色；

计算不透明度的步骤：用于通过计算每个像素的当前色和其对应的背景色之间的相似度得到该像素对应的前景色的不透明度；

计算前景色的步骤：用于根据每个像素的当前色和其对应的背景色、前景色的透明度计算出每个像素对应的前景色；

判断是否需要溢色处理的步骤：用于对抠像后的图像进行是否需要进行溢色处理进行判断，“是”则进入溢色处理的步骤，如果“否”则进入结束的步骤；

溢色处理的步骤：用于对抠像后视觉上认为没有抠干净的颜色进行处理；

结束的步骤：用于保存完成抠像的图像。

进一步的，所述的背景可选用人眼可视范围内的任一高饱和度及高亮度颜色，包括但不局限于蓝色、品红色、红色、黄色、绿色、青色这6种颜色。

进一步的，所述的根据背景像素点集计算参数包括如下子步骤：

计算背景像素点集的色调平均值，与待选的背景颜色的色调比较，差距最小的背景颜色种类确定为此次抠像类型，与之相应的背景色色调上、下边界，背景色的溢色上、下边界随之确定；

将色调不在背景色色调上、下边界之间的点去掉；

根据剩余像素点确定背景信息中的其他参数。

进一步的，所述的其他参数包括背景色色调上、下界，背景色饱和度上、下界，背景色亮度上、下界。

进一步的，所述的区分不同区域的方法为：

确定不透明区域：将所有像素点的当前色色调不在背景色色调上、下边界之内的像素集合作为不透明区域；

确定前景反射了背景色的区域：将所有像素点的当前色的色调在背景色色调上、下边界之内，饱和度不大于背景色饱和度下界或亮度不大于背景色亮度下界的像素集合作为前景反射了背景色的区域；

确定全透明或半透明区域：将所有像素点的当前色的色调在背景色色调上、下边界之内，且饱和度和亮度大于背景色饱和度和亮度的下界的像素集合作为全透明或半透明区域。

进一步的，所述的溢色处理的方式包括：

令反射了背景色的前景色的饱和度为零；

对前景色的色调在背景色色调上、下边界附近的前景，将前景色的色调往背景色的溢色上、下边界外偏移。

本发明产生的有益效果是：本发明通过对不透明区域、全透明或半透明区域，以及前景反射了背景色的分别处理，可以抠出半透明的图像。与现有技术相比，本发明对抠像中的各个像素点不是简单的留下或舍弃，而是根据该像素点的亮度、色调和饱和度的强度决定取舍，提高了对半透明前景物体抠像的处理效果，同时还通过溢色处理提高了视觉效果，能够有效的恢复半透明的玻璃烟雾毛发和阴影等对象的颜色和透明度。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述方法的流程图。

具体实施方式

实施例一：

本实施例是一种基于色彩三要素的视频抠像方法，抠像的流程如图1所示。

引入下述定义和符号：

令 表示RGB空间中的颜色，其对应的HSI空间中的颜色为，表示的是该颜色的不透明程度，，当时，称为全透明，当时，称为不透明，当时，称为半透明。与相对的是透明度，用表示，。

选择当前帧图像中某一像素点，称此像素点为当前像素点，

其他定义如下：

当前色：表示当前像素点的颜色，在RGB空间下表示为，在HSI空间下表示为：；

背景色：表示与当前色对应的背景屏幕的颜色，在RGB空间下表示为，在HSI空间下表示为：；

前景色 ：表示与当前色对应的前景物体的颜色，在RGB空间下表示为，在HSI空间下表示为：；

合成背景图像颜色：表示合成时与当前色对应的背景图像的颜色，在RGB空间下表示为 在HSI空间下表示为：； 合成图像颜色： 表示与当前色对应的合成图像的颜色，在RGB空间下表示为 在HSI空间下表示为：；

则抠像问题通常可描述为：

给定当前像素点的，根据=求出用于图像合成中，遍历当前帧画面的所有像素点，即抠出了整帧画面。

抠像类型（）：

本实施例根据背景屏幕的颜色将抠像问题分为六种：背景为蓝色的抠像类型=，背景为品红色的抠像类型=，背景为红色的抠像类型=，背景为黄色的抠像类型=，背景为绿色的抠像类型=，背景为青色的抠像类型=，这六种抠像的处理流程和基本原理是完全类似的，究竟实施哪一种抠像由用户提供的背景信息决定。

背景色的色调上、下边界(、)：

蓝色背景色的色调上、下边界分别为和；品红背景色的色调上、下边界为和；红色背景色的色调上、下边界为和；黄色背景色的色调上、下边界为和；绿色背景色的色调上、下边界为和；青色背景色的色调上、下边界为和。

背景色色调的溢色上、下边界(、):

蓝色背景色色调的溢色上下边界分别为和；品红背景色色调的溢色上下边界为和；红色背景色色调的溢色上下边界为和；黄色背景色色调的溢色上下边界为和；绿色背景色色调的溢色上下边界为和；青色背景色色调的溢色上下边界为和。抠像类型一旦确定，背景色色调的溢色上、下边界也是确定的。

背景色色调的上、下界(、):

背景色饱和度的上、下界(、):

背景色亮度的上、下界(、):

抠像类型()，背景色色调的上、下边界(、)，背景色色调的溢色上、下边界(、)，背景色色调的上、下界(、)，背景色饱和度的上、下界(、)，背景色亮度的上、下界(、)这11个参数合到一起组成了抠像时要获取的背景信息。抠像类型一旦确定，背景色色调的上、下边界(、)，背景色色调的溢色上、下边界(、)也是确定的，背景色色调的上、下界(、)，背景色饱和度的上、下界(、)，背景色亮度的上、下界(、)这6个参数可以动态调整，来应对不均匀的背景以及背景颜色的光反射到前景物体上等情况。

应当说明的是：虽然本实施例将色调、饱和度和亮度缩写为、和，但并没有把问题局限于HSI颜色模型。事实上本实施例提供的方案适合现存的以及将来可能出现的所有将颜色的色调、饱和度和亮度信息独立出来的颜色模型。所有三元组构成的集合是三维欧几里德空间的一个子集，设：

是该集合中的两个元素，则用符号表示这两个元素的距离。

本实施例的抠像过程如下：

第一步：采集视频图像，在高饱和度及高亮度颜色的背景下拍摄，采集得到数字视频序列，此时的视频图像序列中的每一个像素的色彩空间一般为YUV空间或RGB空间，然后从该视频序列中选择任意一帧图像作为当前帧开始进行抠像。饱和度和亮度的正常取值空间为0~1，通常情况下，当某个颜色的饱和度的值大于0.7时就会被认为该颜色是高饱和度颜色；同样，当某个颜色的亮度值大于0.7时就会被认为该颜色是高亮度颜色。为得到更好的抠像效果，本实施例的背景色的饱和度和亮度均为0.9。

第二步：将当前帧图像转换为HSI空间。

第三步：获取背景信息

本实施例提供两种设置抠像参数的方式：第一种用户可以利用参数设置界面直接设置参数来提供背景信息。用户可根据拍摄时的背景颜色直接输入各相关参数。第二种方式是用户利用画笔工具在图像中的全透区域勾勒出背景像素点集，由软件根据这些像素点的当前色计算出背景信息。

第二种方式的计算过程如下：

首先要确定抠像类型：计算这些背景像素点的色调平均值，得到的结果与蓝色、品红色、红色、黄色、绿色、青色六种颜色的色调的差距，差距最小的即为当前要实施的抠像类型，其对应的色调值记为，抠像类型确定后就得到了背景色色调的抠像上、下边界(、)，背景色色调的溢色上、下边界(、)，前文说过六种抠像的处理流程和基本原理是完全类似的。

2、接下来要确定背景色色调的上、下界(、)，背景色饱和度的上、下界(、)，背景色亮度的上、下界(、)这6个参数。剔除掉所有不在抠像边界色范围内的像素点，即色调不在、之间的点。令等于剩余点的亮度的最大值，；令等于剩余点的饱和度的最小值，；令、分别为剩余点的色调的最大值和最小值，另外

第三步：抠像

把整幅图像的当前色分成三类：

第一类：，记为

此集合中的颜色是图像中不透明前景的颜色， 。

第二类：

，记为

此集合中的点是由于图像质量等特殊原因用户不想抠取的颜色，比如反射了背景颜色的黑色头发或白色衣服， 。

第三类：

，记这个集合为，此集合中的当前色满足:其对应的前景色为全透明前景色或半透明前景色， 接下来处理：

给定某一点的，首先要根据所在区域以及的值确定其对应的的色调、饱和度，亮度，然后确定，最后计算出色调、饱和度，亮度，抠像问题得到解决。

1、 已知，：

2、 确定。

通过前面的讲述可知，可以通过得到，任何确定的像素点。同时是的递增函数并且满足当同时大于等于1时， ，当中有一个为0时，，取。是关于的函数，是关于的函数，取：

。

３、色调、饱和度和亮度的确定：

第四步：溢色处理

这步不是必须的，可以选择做也可以选择不做，实际上经过抠像处理后得到的前景色的色调与背景色的色调差距都很大，但是实践发现人眼会认为处于背景色色调上、下边界附近的前景色是没有将背景色抠干净的颜色，还有背景色残留其中，因而有时候也需要抑制。

对于集合中的点，实践中往往是由于背景颜色反射到了原本饱和度为零的物体上，因而需要抑制，直接令。

经过第三步抠像处理之后得到的，要么。时是不需要溢色处理的，因而，需要处理的颜色就剩下：

，引入参数溢色处理范围Range和溢色处理程度Degree， 其中，：

当时，

；

当时，

。

上述方法的完整步骤描述如下：

采集视频序列的步骤：用于在高饱和度及高亮度颜色的背景下采集视频序列，所述视频图像序列中的每一个像素的色彩空间为YUV空间或RGB空间，从所述视频序列中选择任意一帧图像作为当前帧开始进行抠像；

色彩空间转换的步骤：将当前帧图像进行色彩空间转换，转换到色调、饱和度、亮度空间；

获取背景信息的步骤：用于直接输入来设置抠像所需的背景参数，或者用画笔工具在图像中的全透明区域进行勾勒获取背景像素点集，根据背景像素点集计算参数；

区分整幅图像中的不透明区域、全透明或半透明区域、前景中反射了背景色的区域的步骤：用于将不透明区域、全透明或半透明区域、前景中反射了背景色的区域，三部分区分出来，区分的依据为“获取背景信息的步骤”中确定的背景信息，背景信息包括以下参数：抠像类型，背景色色调上、下边界，背景色色调的溢色上、下边界，背景色色调的上、下界，背景色饱和度的上、下界，背景色亮度的上、下界；区分的方法为：

确定不透明区域：当前帧图像所有像素点的当前色色调不在背景色色调上、下边界之内的像素点集合作为不透明区域；

确定前景反射了背景色的区域：当前帧图像所有像素点的当前色的色调在背景色色调上、下边界之内，饱和度不大于背景色饱和度下界或亮度不大于背景色亮度下界的像素点集合作为前景反射了背景色的区域；

确定全透明或半透明区域：当前帧图像所有像素点的当前色的色调在背景色色调上、下边界之内，且饱和度和亮度大于背景色饱和度和亮度的下界的像素点集合作为全透明或半透明区域。

计算背景色的步骤：用于根据背景信息确定整幅图像中每个像素对应的背景色；

计算不透明度的步骤：用于通过计算每个像素的当前色和其对应的背景色之间的相似度得到该像素的前景色的不透明度；

计算前景色的步骤：用于根据每个像素的当前色和其对应的的背景色、像素前景色透明度计算出每个像素的前景色；

判断是否需要溢色处理的步骤：用于对抠像后的图像进行是否需要进行溢色处理进行判断，“是”则进入溢色处理的步骤，如果“否”这进入结束的步骤；

溢色处理的步骤：用于对抠像后视觉上认为没有抠干净的颜色进行处理；

结束的步骤：用于保存完成抠像的图像。

实施例二：

本实施例是实施例一的改进，是实施例一关于背景像素点集计算的细化所述的根据背景像素点集计算参数包括如下子步骤：

计算背景像素点集的色调平均值，与6种背景颜色，包括蓝色、品红色、红色、黄色、绿色、青色的色调比较，差距最小的背景颜色种类确定为此次抠像类型，与之相应的背景色色调上、下边界，背景色色调的溢色上、下边界随之确定。

将背景像素点集内的色调不在背景色色调上、下边界之间的点去掉。

根据剩余像素点确定背景信息中的其他参数，背景信息共包含11个参数，其中的5个在上一步已经确定，剔除干扰点之后再确定余下的6个：接下来要确定背景色色调的上、下界(、)，背景色饱和度的上、下界(、)，背景色亮度的上、下界(、)这6个参数。剔除掉所有不在抠像边界色范围内的像素点，即色调不在、之间的点。令等于剩余点的亮度的最大值，；令等于剩余点的饱和度的最小值，；令、分别为剩余点的色调的最大值和最小值，另外

实施例三：

本实施例是上述实施例的改进，是上述实施例关于溢色处理的细化。本实施例所述的溢色处理的方式包括：

令反射了背景色的前景色的饱和度为零。

对前景色的色调在背景色色调上、下边界附近的前景，将前景色的色调往背景色色调的溢色边界偏移。

溢色处理是指将人眼认为没有抠干净的颜色进行进一步处理，出现视觉看起来没有抠干净的原因主要有两种情形：反射了背景色的前景，前景色的色调在背景色色调上、下边界附近的前景。对于第一种情形，往往是由于背景颜色反射到了原本饱和度为零的物体上，因而抑制的时候直接令饱和度为零，对于第二种情况可以将前景色的色调往背景色色调的溢色边界外偏移一些，具体通过手动对溢色处理范围Range和溢色处理程度Degree两个参数的大小进行调整来实现。 由于溢色处理的结果是否满意主要依据操作者人眼的判断为标准，所以对上述溢色处理范围Range和溢色处理程度Degree两个参数的调节大小以操作者根据画面抠像处理的实时显示效果为准，操作者满意时的溢色处理范围Range和溢色处理程度Degree两个参数值即是最终用于抠像的值。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如颜色模型空间、步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。

Claims (6)

1.一种基于色彩三要素的视频抠像方法，其特征在于所述的方法步骤如下：

采集视频序列的步骤：用于在高饱和度及高亮度颜色背景下采集视频序列，所述视频图像序列中的每一个像素的色彩空间为YUV空间或RGB空间，从所述视频序列中选择任意一帧图像作为当前帧开始进行抠像；

色彩空间转换的步骤：将当前帧图像进行色彩空间转换，转换到色调、饱和度、亮度空间；

获取背景信息的步骤：用于直接输入来设置抠像所需的背景参数，或者用画笔工具在图像中的全透明区域进行勾勒获取背景像素点集，根据背景像素点集计算参数：

首先要确定抠像类型MattingType：计算这些背景像素点的色调平均值，得到的结果与蓝色、品红色、红色、黄色、绿色、青色六种颜色的色调的差距，差距最小的即为当前要实施的抠像类型，其对应的色调值记为H _MattingType ，抠像类型确定后就得到了背景色色调的抠像上、下边界H _MattingUpper 、H _MattingLower ，背景色色调的溢色上、下边界H _SpillUpper 、H _SpillLower ；

接下来要确定背景色色调的上、下界H _Max 、H _Min ，背景色饱和度的上、下界S _Max 、S _Min ，背景色亮度的上、下界I _Max 、I _Min 这6个参数；剔除掉所有不在抠像边界色范围内的像素点，即色调不在H _MattingUpper 、H _MattingLower 之间的点；令I _Max 等于剩余点的亮度的最大值，I _Min =0.0；令S _Max 等于剩余点的饱和度的最小值，S _Min =0.0；令H _Max 、H _Min 分别为剩余点的色调的最大值和最小值，另外：

if H _Max ＜H _MattingType ，H _Max = H _MattingType ；

if H _Min ＞H _MattingType ，H _Min = H _MattingType ；

区分整幅图像中的不同区域的步骤：用于依据 “获取背景信息的步骤”中确定的背景信息将整幅图像区分为不透明区域、全透明或半透明区域、前景中反射了背景色的区域；

计算背景色的步骤：用于根据背景信息和当前色确定整幅图像中每个像素对应的背景色；

计算不透明度的步骤：用于通过计算每个像素的当前色和其对应的背景色之间的相似度得到该像素对应的前景色的不透明度；

计算前景色的步骤：用于根据每个像素的当前色和其对应的背景色、前景色的透明度计算出每个像素对应的前景色；

判断是否需要溢色处理的步骤：用于对抠像后的图像进行是否需要进行溢色处理进行判断，“是”则进入溢色处理的步骤，如果“否”则进入结束的步骤；

溢色处理的步骤：用于对抠像后视觉上认为没有抠干净的颜色进行处理；

结束的步骤：用于保存完成抠像的图像。

2.根据权利要求1所述的方法，其特征在于，所述的背景可选用人眼可视范围内的任一高饱和度及高亮度颜色，包括但不局限于蓝色、品红色、红色、黄色、绿色、青色这6种颜色。

3.根据权利要求1所述的方法，其特征在于，所述的根据背景像素点集计算参数包括如下子步骤：

计算背景像素点集的色调平均值，与待选的背景颜色的色调比较，差距最小的背景颜色种类确定为此次抠像类型，与之相应的背景色色调上、下边界，背景色的溢色上、下边界随之确定；

将色调不在背景色色调上、下边界之间的点去掉；

根据剩余像素点确定背景信息中的其他参数。

4.根据权利要求3所述的方法，其特征在于，所述的其他参数包括背景色色调上、下界，背景色饱和度上、下界，背景色亮度上、下界。

5.根据权利要求4所述的方法，其特征在于，所述的区分不同区域的方法为：确定不透明区域：将所有像素点的当前色色调不在背景色色调上、下边界之内的像素集合作为不透明区域；

确定前景反射了背景色的区域：将所有像素点的当前色的色调在背景色色调上、下边界之内，饱和度不大于背景色饱和度下界或亮度不大于背景色亮度下界的像素集合作为前景反射了背景色的区域；

确定全透明或半透明区域：将所有像素点的当前色的色调在背景色色调上、下边界之内，且饱和度和亮度大于背景色饱和度和亮度的下界的像素集合作为全透明或半透明区域。

6.根据权利要求1至5任一权利要求所述的方法，其特征在于，所述的溢色处理的方式包括：

令反射了背景色的前景色的饱和度为零；

对前景色的色调在背景色色调上、下边界附近的前景，将前景色的色调往背景色的溢色上、下边界外偏移。