CN118097183B - 一种用于绿幕直播的关键色提取方法及系统 - Google Patents

Abstract

本申请涉及图像处理技术领域，具体涉及一种用于绿幕直播的关键色提取方法及系统，该方法包括：采集去噪RGB图像和灰度图像；获取各灰度图像中的各叶节点区域；获取各叶节点区域中各角点的距离波动程度；获取各叶节点区域的失衡指数；获取各叶节点区域的特征差异性指数；获取各叶节点区域的内部差异性指数；获取各相邻叶节点区域之间的区域相似系数；获取预设个数的关键色；完成对绿幕直播的关键色的提取。本申请解决了传统八叉树算法只根据颜色相似性进行合并却忽视了纹理特征的问题。

Description

一种用于绿幕直播的关键色提取方法及系统

技术领域

本申请涉及图像处理技术领域，具体涉及一种用于绿幕直播的关键色提取方法及系统。

背景技术

当今时代，直播已经成为了一种重要的娱乐和教育传播媒介，主播与观众的交互手段丰富多样。其中，直播界面的设计扮演了不可或缺的角色。在多种类型的直播活动中，除了呈现主播本身的形象之外，通过绿幕处理技术的叠加来展示课程材料、游戏环境或其它虚拟背景元素也是增强观看者沉浸体验的一种有效方式。在使用绿幕进行直播时，绿幕处理技术并非仅涉及对画面绿色像素的简单识别和透明化处理，以实现与背景的无缝合成。在绿幕直播或视频制作中，关键色通常是指背景幕布中的绿色，其原因是因为绿色在人物皮肤、头发和衣物等常见颜色中的出现相对较少，这使得后期处理时能更容易地通过色彩键控技术将绿色背景替换成其他背景。然而，在很多的直播场景中，人物主体及其使用的道具等前景部分往往也会含有不同层次的绿色成分，绿幕处理技术要确保仅剔除纯背景中的特定绿色区块，同时又要保证前景细节不受损失，保持自然过渡。因此，精确地识别并提取绿幕背景的关键色是一项复杂的技术。

八叉树算法是一种常用于主题色提取的算法，可以准确提取出图像中最关键的颜色。然而因为八叉树算法是基于颜色空间构建树结构并对相似颜色进行聚类，在对绿幕直播的关键色进行提取过程中，若前景部分包含的物品颜色与绿幕背景的颜色较为相近（下文将前景部分中与绿幕颜色较为相似的物品记为相似色物品），八叉树算法则会将相似色物品与绿幕聚成一类，在直播时会导致相似色物品也被替换成虚拟背景，从而造成直播事故。

发明内容

为了解决上述技术问题，本申请的目的在于提供一种用于绿幕直播的关键色提取方法及系统，所采用的技术方案具体如下：

第一方面，本申请实施例提供了一种用于绿幕直播的关键色提取方法，该方法包括以下步骤：

采集视频中各帧图像的去噪RGB图像和灰度图像；使用八叉树算法，根据像素点的RGB值获取各灰度图像中的各叶节点区域；

使用角点检测算法，结合各角点之间的欧氏距离获取各叶节点区域中各角点的距离波动程度；

根据距离波动程度获取各叶节点区域的失衡指数；根据各叶节点区域中的纹理特征和像素点的灰度值获取各叶节点区域的特征差异性指数；

根据失衡指数和特征差异性指数获取各叶节点区域的内部差异性指数；根据内部差异指数获取各相邻叶节点区域之间的区域相似系数；

根据区域相似性指数对叶节点区域在八叉树中的叶节点进行合并获取预设个数的关键色；根据关键色的RGB值提取绿幕直播的关键色。

进一步，所述使用八叉树算法，根据像素点的RGB值获取各灰度图像中的各叶节点区域，包括：

将各去噪RGB图像中所有像素点的RGB值作为八叉树算法的输入，输出八叉树；

将树状结构中的各叶节点中的像素点在灰度图像组成的区域作为各叶节点区域。

进一步，所述使用角点检测算法，结合各角点之间的欧氏距离获取各叶节点区域中各角点的距离波动程度，包括：

使用角点检测算法获取各灰度图像中各叶节点区域中的各角点，计算各叶节点区域中所有角点之间的欧氏距离，计算各叶节点区域中各角点与所有其他各角点的欧氏距离的均值；

对于各叶节点区域的各角点，计算角点与其他各角点之间的欧氏距离与所述均值的差值绝对值，计算叶节点区域中角点与其他所有角点之间的所有所述差值绝对值的均值作为第一均值，计算所述第一均值与叶节点区域中所有角点个数的乘积，计算所述乘积与数字1的和值；

当各叶节点区域中的角点的个数在第一预设区间内时，将数字1作为各叶节点区域中各角点的距离波动程度；当各叶节点区域中的角点个数在第二预设区间内时，将所述和值作为各叶节点区域中各角点的距离波动程度。

进一步，所述失衡指数为各叶节点区域中所有角点的距离波动程度中的最小值。

进一步，所述根据各叶节点区域中的纹理特征和像素点的灰度值获取各叶节点区域的特征差异性指数，包括：

对于各灰度图像中的各叶节点区域，以叶节点区域中各像素点为中心，构建边长为预设尺寸大小的方形窗口，采用MLBP算法获取各方形窗口的纹理特征值，计算各窗口内所有像素点的灰度均值；

所述特征差异性指数的公式为：

式中，Y_i为灰度图像中第i个叶节点区域的特征差异性指数；分别为第i个叶节点区域中第r个像素点的方形窗口的纹理特征值、角点个数、所有像素点的灰度值的均值；分别为第i个叶节点区域中所有窗口的纹理特征值的均值、角点个数的均值、灰度值均值的平均值；n为第i个叶节点区域中像素点的个数。

进一步，所述根据失衡指数和特征差异性指数获取各叶节点区域的内部差异性指数，包括：

将各叶节点区域的失衡指数和特征差异性指数的乘积作为各叶节点区域的内部差异性指数。

进一步，所述区域相似系数，公式为：

式中，QX_(i,j)为第i个叶节点区域与第i个叶节点区域相邻的第j个叶节点区域之间的区域相似系数；norm为归一化函数，分别为第i个叶节点区域、第j个叶节点区域中所有像素点的灰度值均值；CY _i 为第i个叶节点区域的内部差异性指数，CY _j 为第j个叶节点区域的内部差异性指数；Std _i 为第i个叶节点区域中所有像素点灰度值的标准差，Std _i,j 为第i个与第j个叶节点区域中所有像素点的灰度值的标准差。

进一步，所述根据区域相似性指数对叶节点区域在八叉树中的叶节点进行合并获取预设个数的关键色，包括：

将区域相似系数大于等于预设常数的两个相邻叶节点区域，在八叉树中对应的叶节点向上进行合并，直到获取预设个数的关键色。

进一步，所述根据关键色的RGB值提取绿幕直播的关键色，包括：

计算各关键色的RGB值与标准绿色的RGB值的差值绝对值，将差值绝对值最小的关键色作为各去噪RGB图像的关键色；

获取视频中各帧图像的去噪RGB图像的关键色。

第二方面，本申请实施例还提供了一种用于绿幕直播的关键色提取系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

本申请至少具有如下有益效果：

本申请通过对叶节点区域内像素点的分布特征进行分析，构建了叶节点区域内的失衡指数，以判断其属于平整区域的可能性；之后通过分析叶节点区域内角点分布的均匀性和像素点纹理特征的一致性，构建特征差异性指数，反映各叶节点区域内纹理的特征的差异；并以此为基础构建了叶节点区域的内部差异性指数，反映了各叶节点区域中平整程度以及纹理之间的差异性，并结合相邻叶节点区域之间的灰度值变化构建区域相似系数来进行叶节点之间的合并，实现了对八叉树合并规则的优化，确保了在提取出绿幕背景关键色的同时不会将相似色物品纳入其中，解决了传统八叉树算法只根据颜色相似性进行合并却忽视了纹理特征的问题，实现了更为精准的关键色提取。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请一个实施例提供的一种用于绿幕直播的关键色提取方法的步骤流程图；

图2为区域相似系数获取流程图。

具体实施方式

为了更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请提出的一种用于绿幕直播的关键色提取方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本申请所提供的一种用于绿幕直播的关键色提取方法及系统的具体方案。

请参阅图1，其示出了本申请一个实施例提供的一种用于绿幕直播的关键色提取方法的步骤流程图，该方法包括以下步骤：

步骤S001，获取绿幕直播时的实时图像，并对图像进行预处理。

在进行绿幕直播的过程中，使用直播软件APP来获取实时的直播画面，本实施例以直播软件APP所捕获到的视频中的各帧图像进行处理。

由于摄像机的拍摄不可避免的会存在一些干扰噪声，这些噪声不仅会降低图片质量，甚至会遮挡图像内的关键特征，影响后续的图像处理。因此，为了减少噪声干扰，提升图像质量，本实施例采用中值滤波对各图像进行去噪操作，将去除噪声后的各帧图像记为去噪RGB图像，之后将去噪RGB图像转换为灰度图像，获取各帧灰度图像，完成各帧图像的预处理操作。其中，中值滤波为公知技术，在此不做赘述。

步骤S002，根据对叶节点区域内像素点的特征进行分析，构建叶节点区域内部的失衡指数与特征差异性指数，进一步构建内部差异性指数；结合相邻叶节点之间的灰度值差异，构建区域相似系数对叶节点进行合并。

将各去噪RGB图像中所有像素点的RGB值作为八叉树算法的输入，构建各去噪RGB图像的八叉树，并设定要提取的关键色数量为v种颜色，采用八叉树算法对去噪RGB图像中的颜色进行聚类分析和量化，本实施例中v的取值为5；在构建八叉树的过程中，八叉树算法会根据像素点的RGB值在颜色空间进行分割与分层，形成树状结构。树结构的末端节点称为叶节点，每个叶节点内部像素点的RGB值都极为相近或相同，而每一个叶节点中都记录着其内像素点的个数。其中，八叉树算法为公知技术，在此不做赘述。

以包含了n个像素点的第i个叶节点为例，将这n个像素点在其所在灰度图像中组成的区域记为第i个叶节点区域。

为了更好提取出绿幕直播时的背景关键颜色，而不将前景中相似色物品颜色与背景颜色合并为一类，影响直播时的效果，需要对绿幕的背景特征与相似色物品特征进行分析。由于绿幕直播环境要求背景光照分布均匀以保证良好的提取效果，因此绿幕上的光照条件往往经过精心设计，确保不会有显著的曝光点出现。通过对绿幕直播过程中绿幕特征的深入分析，可以观察到绿幕的颜色呈现出极高的一致性；同时绿幕的整体形状非常平整，没有凸起与凹陷区域，纹理较为平整，角点少且分散均匀。

使用harris角点检测算法获取各灰度图像中各叶节点区域中的角点的个数，以第i个叶节点区域为例，设第i个叶节点区域中共存在u个角点，计算叶节点区域i内第a个角点与其余u-1个角点之间的欧氏距离，分别记为，将所有所述欧氏距离的均值记为。欧氏距离为公知技术，此处不再赘述。其中，harris角点检测算法为公知技术，在此不做赘述。

计算第i个叶节点区域各角点的距离波动程度，公式为：

式中，J_i,a为叶节点区域i内第a个角点的距离波动程度；d_a,r为从第a个角点到第r个角点的欧氏距离，为角点a与其他所有角点之间的欧氏距离的均值，r是叶节点区域i中除了a角点以外的第r个角点，u是叶节点区域i内角点的数量。

记J_i是叶节点区域i内所有角点的距离波动程度组成的集合，将集合J_i中的最小值作为叶节点区域i的失衡指数JJ_i。

使用JJ_i来衡量叶节点区域i的像素点分布情况，当角点数量越少且分布越均匀时，区域i的JJ_i值就越小，区域i内像素点越可能属于同一个连续且平整的区域中，符合绿幕区域中像素点的特征；若JJ_i越大，则区域i内角点数量越多且分布越密集，同时由于绿幕区域中角点个数较少，因此区域i内所包含的绿幕像素点的个数就越少，越可能存在多个区域中的像素点，例如头发、眼睛、衣服等区域，失衡程度越大。此时，JJ_i的值越小，叶节点区域i内部像素点属于绿幕区域中的可能性就越大。

由于绿幕在图像中展现的形状非常平整，没有凸起与凹陷区域，因此处于绿幕区域的像点周围的纹理特征也较为平整。

对于各灰度图像中的各叶节点区域，以叶节点区域中各像素点为中心，构建边长为3的方形窗口，采用MLBP（Multiscale LBP）算法获取各方形窗口的纹理特征值，并计算各窗口内所有像素点的灰度均值。其中，MLBP（Multiscale LBP）算法为公知技术，在此不做赘述。

计算第i个叶节点区域的特征差异性指数，记为Y_i。

式中，Y_i为灰度图像中第i个叶节点区域的特征差异性指数；为第i个叶节点区域中所有窗口的纹理特征值的均值，为第i个叶节点区域中所有窗口内的角点个数的均值，为第i个叶节点区域中所有窗口内灰度值均值的平均值；为第i个叶节点区域中第r个像素点的方形窗口的纹理特征值，为第i个叶节点区域中第r个像素点的方形窗口中的角点个数，为第i个叶节点区域中第r个像素点的方形窗口中所有像素点的灰度值的均值，n为第i个叶节点区域中像素点的个数。

由于绿幕区域的纹理特征较为平整，因此绿幕区域中各个像素点周围的纹理特征相似性较高，且由于绿幕纹理特征平整、光照均匀、角点较少、灰度值一致的特征，因此不同窗口之间的纹理特征、角点分布情况以及灰度值较为相似，则Y_i的值较小；若窗口之间的角点分布情况不一致，则窗口之间的纹理特征必然不一致，则差异较大，Y_i的值较大。此时，若Y_i的值越小，第i个叶节点区域为绿幕区域的可能性就越大。

根据第i个叶节点区域的失衡指数以及特征差异性指数Y_i，构建第i个叶节点区域的内部差异性指数CY_i。

CY_i＝JJ_i×Y_i

式中，CY_i为第i个叶节点区域的内部差异性指数；JJ_i为第i个叶节点区域的失衡指数，Y_i为第i个叶节点区域的特征差异性指数。

当CY_i的值越小时，证明叶节点区域i内部所有像素点之间的纹理特征越为相似，且角点越少或分布越均匀，同时由于八叉树算法会将像素点极为相近或相同的像素点划分到同一个叶节点中，因此CY_i的值越小，叶节点区域i内部的纹理均匀性与颜色一致性程度就越高。

通过计算两个相邻叶节点区域之间的区域相似系数，来对叶节点区域进行合并，区域相似系数的公式为：

式中，QX_(i,j)为第i个叶节点区域与第i个叶节点区域相邻的第j个叶节点区域之间的区域相似系数；norm为归一化函数，为第i个叶节点区域中所有像素点的灰度值均值，为第j个叶节点区域中所有像素点的灰度值均值；CY_i为第i个叶节点区域的内部差异性指数，CY_j为第j个叶节点区域的内部差异性指数；Std _i 为第i个叶节点区域中所有像素点灰度值的标准差，Std _i,j 为第i个与第j个叶节点区域中所有像素点灰度值的标准差。其中，区域相似系数获取流程图如图2所示。

若叶节点区域i与叶节点区域j的灰度值以及内部差异性指数都较为相近，且在叶节点合并后其像素点之间的差异值变化不大，则QX_(i，j)的值较大。当两个相邻叶节点区域对应的区域相似系数QX_(i，j)大于等于预设常数a时，则判定这两个相邻叶节点区域为相同特征叶节点区域，将这两个相邻叶节点区域在八叉树中对应的叶节点进行合并。本实施例中，预设常数a的取值为0.85。

步骤S003，从内部差异性指数最小的叶节点开始合并进行关键色提取，实现对绿幕直播时关键色的提取。

遍历并计算所有叶节点的内部差异性指数，从内部差异性指数最小的叶节点开始进行向上合并，根据相邻叶节点的像素点组成的叶节点区域之间的区域相似系数，按照步骤S002的规则将各叶节点向上合并，直到八叉树算法提取出设定的v种关键色，本实施例中v的取值为5。

分别计算5种关键色的RGB值与标准绿色的RGB值的差值绝对值，将差值绝对值最小的关键色作为绿幕直播时去噪RGB图像的关键色，完成对去噪RGB图像的关键色的提取。

通过对八叉树的合并规则进行优化，可以精确地区分出背景绿幕区域与前景相似色物品之间的细节差异，提高了关键色的提取精度，避免了出现直播事故的可能性。

最后，对绿幕直播时的每一帧画面使用相同的方法进行实时的关键色提取，完成对绿幕直播时关键色的提取。

基于与上述方法相同的发明构思，本申请实施例还提供了一种用于绿幕直播的关键色提取系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种用于绿幕直播的关键色提取方法中任意一项所述方法的步骤。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种用于绿幕直播的关键色提取方法，其特征在于，该方法包括以下步骤：

采集视频中各帧图像的去噪RGB图像和灰度图像；使用八叉树算法，根据像素点的RGB值获取各灰度图像中的各叶节点区域；

使用角点检测算法，结合各角点之间的欧氏距离获取各叶节点区域中各角点的距离波动程度；

根据距离波动程度获取各叶节点区域的失衡指数；根据各叶节点区域中的纹理特征和像素点的灰度值获取各叶节点区域的特征差异性指数；

根据失衡指数和特征差异性指数获取各叶节点区域的内部差异性指数；根据内部差异指数获取各相邻叶节点区域之间的区域相似系数；

根据区域相似性指数对叶节点区域在八叉树中的叶节点进行合并获取预设个数的关键色；根据关键色的RGB值提取绿幕直播的关键色；

所述根据各叶节点区域中的纹理特征和像素点的灰度值获取各叶节点区域的特征差异性指数，包括：

对于各灰度图像中的各叶节点区域，以叶节点区域中各像素点为中心，构建边长为预设尺寸大小的方形窗口，采用MLBP算法获取各方形窗口的纹理特征值，计算各窗口内所有像素点的灰度均值；

所述特征差异性指数的公式为：

，

式中，Yi为灰度图像中第i个叶节点区域的特征差异性指数；分别为第i个叶节点区域中第r个像素点的方形窗口的纹理特征值、角点个数、所有像素点的灰度值的均值；分别为第i个叶节点区域中所有窗口的纹理特征值的均值、角点个数的均值、灰度值均值的平均值；n为第i个叶节点区域中像素点的个数；

所述区域相似系数，公式为：

，

式中，QX_(i,j)为第i个叶节点区域与第i个叶节点区域相邻的第j个叶节点区域之间的区域相似系数；norm为归一化函数，分别为第i个叶节点区域、第j个叶节点区域中所有像素点的灰度值均值；CY _i 为第i个叶节点区域的内部差异性指数，CY _j 为第j个叶节点区域的内部差异性指数；Std _i 为第i个叶节点区域中所有像素点灰度值的标准差，Std _i,j 为第i个与第j个叶节点区域中所有像素点的灰度值的标准差。

2.如权利要求1所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述使用八叉树算法，根据像素点的RGB值获取各灰度图像中的各叶节点区域，包括：

将各去噪RGB图像中所有像素点的RGB值作为八叉树算法的输入，输出八叉树；

将树状结构中的各叶节点中的像素点在灰度图像组成的区域作为各叶节点区域。

3.如权利要求1所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述使用角点检测算法，结合各角点之间的欧氏距离获取各叶节点区域中各角点的距离波动程度，包括：

使用角点检测算法获取各灰度图像中各叶节点区域中的各角点，计算各叶节点区域中所有角点之间的欧氏距离，计算各叶节点区域中各角点与所有其他各角点的欧氏距离的均值；

对于各叶节点区域的各角点，计算角点与其他各角点之间的欧氏距离与所述均值的差值绝对值，计算叶节点区域中角点与其他所有角点之间的所有所述差值绝对值的均值作为第一均值，计算所述第一均值与叶节点区域中所有角点个数的乘积，计算所述乘积与数字1的和值；

当各叶节点区域中的角点的个数在第一预设区间内时，将数字1作为各叶节点区域中各角点的距离波动程度；当各叶节点区域中的角点个数在第二预设区间内时，将所述和值作为各叶节点区域中各角点的距离波动程度。

4.如权利要求1所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述失衡指数为各叶节点区域中所有角点的距离波动程度中的最小值。

5.如权利要求1所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述根据失衡指数和特征差异性指数获取各叶节点区域的内部差异性指数，包括：

将各叶节点区域的失衡指数和特征差异性指数的乘积作为各叶节点区域的内部差异性指数。

6.如权利要求2所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述根据区域相似性指数对叶节点区域在八叉树中的叶节点进行合并获取预设个数的关键色，包括：

将区域相似系数大于等于预设常数的两个相邻叶节点区域，在八叉树中对应的叶节点向上进行合并，直到获取预设个数的关键色。

7.如权利要求1所述的一种用于绿幕直播的关键色提取方法，其特征在于，所述根据关键色的RGB值提取绿幕直播的关键色，包括：

计算各关键色的RGB值与标准绿色的RGB值的差值绝对值，将差值绝对值最小的关键色作为各去噪RGB图像的关键色；

获取视频中各帧图像的去噪RGB图像的关键色。

8.一种用于绿幕直播的关键色提取系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述方法的步骤。