CN105100646A - 视频处理方法和装置 - Google Patents

Abstract

本发明提供了一种视频处理方法和装置，其中所述方法包括：对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；以及，对所述设定绿幕区域进行灰度处理，生成第二视频图像；通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。通过本发明实施例提供的视频处理方案，能够提高视频播放时的实时性。

Description

视频处理方法和装置

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频处理方法与装置。

背景技术

视频中绿幕抠图，主要针对的是基于绿幕背景的视频图像。该技术主要是吸取画面中的某一种颜色作为透明色，将它从画面中抠去，从而使背景透出来，形成二层画面的叠加合成。这样在室内女主播们拍摄的人物经抠像后与各种背景画面叠加在一起，便可以形成神奇的艺术效果。

现有的技术在对视频进行绿幕抠图处理时，基于图像的后期处理，需要工作人员手动参与，处理一帧视频图像的时间约为1秒钟。也就是说，获取到当前帧视频图像进行绿幕抠图处理、播放后，下一帧视频图像需要在1秒钟后才能抠图完成进行播放。这将导致绿幕抠图处理的视频图像无法连续播放。可见，采用现有的绿幕抠图视频处理方法，处理后的视频播放时的实时性差。

不仅如此，现有的绿幕抠图视频处理方法，对录制现场的绿幕背景的平坦度、绿幕背景色彩均匀性以及录制环境的照明条件都有很高的要求。这是由于，现有的绿幕抠图视频处理方法在对获取的帧视频图像进行处理时，并不会考虑绿幕是否平坦、绿幕背景色彩是否均匀以及录制环境的照明条件是否合适。如果上述这些条件中的一个或多个不满足要求的情况下录制视频画面时，将会造成所抠制出来的视频图像局部有块效应，影响视频图像的画面效果。

可见，现有的绿幕抠图视频处理方法具有以下两方面的问题：一方面，处理后的视频播放时的实时性差；另一方面，对录制现场的绿幕背景的平坦度、绿幕背景色彩均匀性以及录制环境的照明条件都有很高的要求。

发明内容

鉴于上述现有的绿幕抠图视频处理方法，进行处理后的视频的实时性差，以及对录制现场的绿幕背景的平坦度、绿幕背景色彩均匀性和录制环境的照明条件都有很高要求的问题。提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频处理方法与装置。

依据本发明的一个方面，提供了一种视频处理方法，包括：对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；以及，对所述设定绿幕区域进行灰度处理，生成第二视频图像；通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。

优选地，在所述对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位步骤之前，所述方法还包括：接收对绿幕区域的设定操作，依据所述设定操作确定所述设定绿幕区域；在所述设定绿幕区域中、接收对至少一个色度键值的设定操作。

优选地，所述对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位的步骤包括：对采集的当前帧视频图像中的、设定绿幕区域中的各像素点分别执行以下操作：确定设定的各色度键值中与当前像素点最匹配的色度键值；依据所述最匹配的色度键值，以分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点。

优选地，当设定的色度键值为至少两个时，所述确定设定的各色度键值中与当前像素点最匹配的色度键值的步骤包括：在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

优选地，所述对所述设定绿幕区域进行灰度处理的步骤包括：在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到所述各像素点弱化处理后的像素值；依据所述各像素点对应的弱化处理后的像素值生成所述第二视频图像。

优选地，所述通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像的步骤包括：依据所述第二视频图像中的设定绿幕区域内的、各像素点的像素值确定所述第二视频图像对应的自适应阈值；依据所述自适应阈值分别对所述第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定所述各像素点属于背景对应的像素点或者前景目标对应的像素点；依据确定结果生成所述第三视频图像。

优选地，所述依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标的步骤包括：依据所述第一视频图像、所述第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像；将所述第四视频图像与所述当前帧视频图像进行对比，确定所述当前帧视频图像中的前景目标，并提取确定的所述前景目标。

依据本发明的一个方面，提供了一种视频处理装置，包括：定位模块，用于对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；灰度处理模块，用于对所述设定绿幕区域进行灰度处理，生成第二视频图像；分离模块，用于通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；提取模块，用于依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；以及合成模块，用于将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。

优选地，所述装置还包括：第一接收模块，用于在所述定位模块对所述当前帧视频图像中的、设定绿幕区域内的前景目标进行定位之前，接收对绿幕区域的设定操作，依据所述设定操作确定所述设定绿幕区域；第二接收模块，用于在所述设定绿幕区域中、接收对至少一个色度键值的设定操作。

优选地，所述定位模块包括：匹配色度键值确定模块以及像素点确定模块；所述匹配色度键值确定模块，用于确定设定的各色度键值中与当前像素点最匹配的色度键值；所述像素点确定模块，用于依据所述最匹配的色度键值分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点。

优选地，当设定的色度键值为至少两个时，所述匹配色度键值确定模块确定设定的各色度键值中与当前像素点最匹配的色度键值时：在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

优选地，所述灰度处理模块对所述设定绿幕区域进行灰度处理时：在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到所述各像素点弱化处理后的像素值；依据所述各像素点对应的弱化处理后的像素值生成所述第二视频图像。

优选地，所述分离模块包括：自适应阈值确定模块，用于依据所述第二视频图像中的设定绿幕区域内的、各像素点的像素值确定所述第二视频图像对应的自适应阈值；判断模块，用于依据所述自适应阈值分别对所述第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定所述各像素点属于背景对应的像素点或者前景目标对应的像素点；生成模块，用于依据确定结果生成所述第三视频图像。

优选地，所述提取模块包括：第四视频图像生成模块，用于依据所述第一视频图像、所述第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像；对比模块，用于将所述第四视频图像与所述当前帧视频图像进行对比，确定所述当前帧视频图像中的前景目标，并提取确定的所述前景目标。

与现有技术相比，本发明具有以下优点：

本发明实施例提供的视频处理方案，一方面，对采集到每帧视频图像时，并不需要工作人员手动进行抠图处理，而是由抠图处理设备自动进行处理。相较于现有技术中由工作人员手动进行抠图处理，能够缩短抠图时间。由于缩短了对每帧视频图像的抠图时间，因此，能够提高视频播放时的实时性。

另一方面，本发明实施例提供的视频处理方案，是通过确定前景目标、对视频图像进行灰度处理和灰度特性分析等技术手段最终将视频图像中的背景与前景目标分离，将前景目标从视频图像中分离出来而实现对视频图像的抠图处理，这样分离出来的前景目标即可与其他背景结合生成新的视频图像。本发明实施例提供的视频处理方案中，由于是将前景目标从视频图像中抠出，完全摒弃了采集的视频图像中的背景，因此，即便是录制时绿幕背景不平坦、色彩不均匀，录制环境的照明条件差，依然不会对抠图合成后的新的视频图像造成影响，不会出现抠制出来的视频图像局部有块效应的问题。本发明实施例提供的视频处理方案，对录制现场的绿幕背景的平坦度、绿幕背景色彩均性以及录制环境的照明条件的要求，较现有的绿幕抠图视频处理方案低。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明实施例一的一种视频处理方法的步骤流程图；

图2是根据本发明实施例二的一种视频处理方法的步骤流程图；

图3是根据本发明实施例三的一种绿幕抠图视频处理方法的步骤流程图；

图4是实施例三中所示的方法中alpha0通道生成的视频图像；

图5是实施例三中所示的方法中alpha1通道生成的视频图像；

图6是实施例三中所示的方法中alpha通道生成的视频图像；

图7是根据本发明实施例四的一种视频处理装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

参照图1，示出了本发明实施例一的一种视频处理方法的步骤流程图。

本发明实施例的视频处理方法包括以下步骤：

步骤S102：对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像。

在视频图像中，包含前景目标以及背景，而本申请中，重点关注的前景目标。因此，为了减少计算量，本发明实施例中通过设定绿幕区域，仅截取视频图像中的与设定绿幕区域对应的图像部分进行处理，由于设定的该绿幕区域中包含前景目标，这样，既不影响对前景目标的处理，又可以减少对背景部分的处理负担。

本发明实施例中的视频处理方法，适用于视频直播时使用。大体流程为：视频处理设置采集当前帧视频图像对图像进行处理，然后播放处理完成的视频图像。在播放当前帧视频图像的同时，处理后一帧视频图像，这样不断的对视频中的每帧视频图像进行处理并播放，以完成对整段视频抠像处理后的直播。

需要说明的是，由于对视频中的每帧视频图像的处理是相同的，因此，本实施例中仅以对一帧视频图像的处理为例，对本发明的绿幕抠图视频处理方法进行说明。其他帧视频图像参照该方法进行处理即可，在此不再赘述。

本步骤目的是视频图像中的前景目标进行大体定位。需要说的是，对设定绿幕区域内的前景目标进行定位可以采用任意适当的方法实现，本实施例中对此不作具体限制。

步骤S104：对采集的当前帧视频图像中的设定绿幕区域进行灰度处理，生成第二视频图像。

本实施例中视频图像中的设定绿幕区域进行灰度处理目的是将图像灰度，以供后续进行灰度特性分析，将视频图像中的背景和前景目标分离。

需要说明的是，步骤S102与步骤S104在具体执行过程中，并无先后顺序，二者还可以并行执行。

步骤S106：通过对第二视频图像的灰度特性进行分析，将第二视频图像转化为背景和前景目标分离的第三视频图像。

对灰度特性进行分析，可以使前景目标的轮廓更清晰、精准，并且可以将背景中的各像素点、与前景目标的各像素点进行区分。

对于对灰度特定进行分析的具体实现方式，可以由本领域技术人员根据实际需求进行设置，本发明实施例对此不作具体限制。

步骤S108：依据第一视频图像、第三视频图像以及采集的当前帧视频图像提取出前景目标。

本步骤中可以首先，通过将第一视图像与第三视频图像结合，生成一个通过二值化方法表征的、并且前景目标与背景分离的视频图像。也就是说，将背景对应的各像素点的像素值用1表征，将前景目标对应的各像素点的像素值用0表征。其次，将生成的该图像与采集的当前帧的视频图像进行对比，以确定前景目标，在确定前景目标后，将确定的前景目标提取出。

步骤S110：将提取出的前景目标与设定背景进行合成，生成的新的视频图像。

对于将前景目标与设定背景进行合成的具体实现方式，参照相关技术即可，本发明实施例对此不作具体限制。

通过本发明实施例提供的视频处理方法，一方面，对采集到每帧视频图像时，并不需要工作人员手动进行抠图处理，而是由抠图处理设备自动进行处理，相较于现有技术中由工作人员手动进行抠图处理，能够缩短抠图时间。由于缩短了对每帧视频图像的抠图时间，因此，能够提高视频播放时的实时性。另一方面，本发明实施例提供的视频处理方法，是通过确定前景目标、对视频图像进行灰度处理和灰度特性分析等技术手段最终将视频图像中的背景与前景目标分离，将前景目标从视频图像中分离出来而实现对视频图像的抠图处理，这样分离出来的前景目标即可与其他背景结合生成新的视频图像。本发明实施例提供的视频处理方案中，由于是将前景目标从视频图像中抠出，完全摒弃了采集的视频图像中的背景，因此，即便是录制时绿幕背景不平坦、色彩不均匀，录制环境的照明条件差，依然不会对抠图合成后的新的视频图像造成影响，不会出现抠制出来的视频图像局部有块效应的问题。本发明实施例提供的视频处理方法，对录制现场的绿幕背景的平坦度、绿幕背景色彩均性以及录制环境的照明条件的要求，较现有的绿幕抠图视频处理方法低。

实施例二

参照图2，示出了本发明实施例二的一种视频处理方法的步骤流程图。

本发明实施例的视频处理方法具体包括以下步骤：

步骤S202：浏览器客户端接收对绿幕区域的设定操作，依据操作确定设定绿幕区域。

在与视频对象开启视频通话前，用户需要对绿幕区域、以及色度键值进行设定。在设定完成后，后续对视频进行处理时，则无需再重复设定。其中，对绿幕区域的设定操作可以为：用户通过鼠标在浏览器中选择一个区域，用户选择该区域的操作即为对绿幕区域的设定操作。需要说明的是，绿幕区域的设定需要保证前景目标能够在绿幕区域内。

浏览器客户端接收到用户在浏览器中设定绿幕区域的设定操作后，即可确定设定绿幕区域。

步骤S204：浏览器客户端在设定绿幕区域中、接收对至少一个色度键值的设定操作。

其中，设定色度键值可以由用户通过鼠标在设定绿幕区域内进行点击，以确定像素点，所确定的该像素点对应的色度值即为色度键值。

需要说明的是，在具体实现过程中，可以仅设定一个色度键值，也可以设置多个色度键值，例如：100个、或50个。色度键值的具体设定个数可以由本领域技术人员根据实际需求进行设置，本发明实施例对此不作具体限制。

步骤S206：浏览器客户端对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像。

在具体实现过程中，由于对每帧视频图像的处理相同，因此，本发明实施例中仅以对一帧视频图像的处理为例，对本发明的绿幕抠图视频处理方法进行说明。对于其他帧视频图像的处理参见该方法即可，在此不再赘述。

一种优选的对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位的方式如下：

对采集的当前帧视频图像中的、设定绿幕区域中的各像素点分别执行以下操作：

S1：确定设定的各色度键值中与当前像素点最匹配的色度键值。

对于该步骤中，若步骤S204中仅设置了一个色度键值，那么，所设置的色度键值即为最匹配的色度键值。而若，设置有多个色度键值，则需要通过设定规则确定与当前像素点最匹配的色度键值。

设定规则具体为当设定的色度键值为至少两个时，一种优选的确定设定的各色度键值中与当前像素点最匹配的色度键值的方式如下：

在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

S2：依据最匹配的色度键值以分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点定。

一种优选的依据最匹配的色度键值以分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点的方式如下：

首先，需要将当前视频图像由RGB色彩空间转到HLS色彩空间下。这样，视频图像中的每个像素点均对应有以下三个值即H_pixel色度值、L_pixel亮度值以及S_pixel饱和度值。

其次，采用如下公式确定当前像素点对应的像素值用1表征还是用0表征:

$H_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (H_{key}-T_h)<H_{pixel}<(H_{key}+T_h)\end{array}\\ 0& otherwise\end{array}\right.;$

$L_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (L_{key}-T_L)<L_{pixel}<(L_{key}+T_L)\end{array}\\ 0& otherwise\end{array}\right.;$

$S_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (S_{key}-T_S)<S_{pixel}<(S_{key}+T_S)\end{array}\\ 0& otherwise\end{array}\right.;$

M_pixel＝αH_matte+βL_matte+γS_matte

其中，H_matte、T_matte以及S_matte分别为像素点的色度分量、亮度分量以及饱和度分量的映射值。α、β以及γ分别为H_matte、T_matte以及S_matte这三个分量的映射值的权重，1＝α+β+γ，在具体实现过程中，三个权重值的具体设定可以由本领域技术人员根据实际需求进行设定。

其中，T_h为设定色度阈值，T_L设定亮度阈值，T_s设定饱和度阈值，这三个值在具体实现过程中，可以由本领域技术人员根据时间需求进行设置，本实施例对此不作具体限定。

H_key为最匹配色度键值的色度值，L_key为最匹配色度键值的亮度值，S_key为最匹配色度键值的饱和度值；H_pixel为当前像素点的色度值，L_pixel为当前像素点的亮度值，S_pixel为当前像素点的饱和度值。

M_pixel为当前像素点对应的分析处理后的值，通过该值可以确定当前像素点用1表征还是用0表征。

重复采用上述方式对视频图像中的各像素点进行确定，生成一个二值图即第一视频图像，通过该视频图像最终能够确定出视频图像中前景目标的大体的范围。

步骤S208：浏览器客户端在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到各像素点弱化处理后的像素值。

一种优选的对像素点进行弱化处理的方式为，将当前像素点的绿色分量乘以2，所得之积减去当前像素点的红色分量以及蓝色分量，所得值为对当前像素点弱化处理后的像素值。

步骤S210：浏览器客户端依据各像素点对应的弱化处理后的像素值生成第二视频图像。

所生成的第二视频图像即为灰度图像。

步骤S212：浏览器客户端通过对第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像。

一种优选的通过对第二视频图像的灰度特性进行分析，将第二视频图像转化为背景和前景目标分离的第三视频图像的方式如下：

S1：依据第二视频图像中的设定绿幕区域内的、各像素点的像素值确定第二视频图像对应的自适应阈值；

S2：依据自适应阈值分别对第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定各像素点属于背景对应的像素点或者前景目标对应的像素点；

S3：依据确定结果生成第三视频图像。

通过上述处理，将第二视频图像转换成了二值图即第三视频图像，并且，该视频图像中的背景和前景目标分离。

需要说明的是，步骤S206与步骤S208在执行时并未先后顺序，在具体实现过程中，二者可以并行执行，也可以将步骤S206设置在步骤S208或者步骤S210之后执行。

步骤S214：浏览器客户端依据第一视频图像、第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像。

第一视频图像与第三视频图像结合所得到的第四视频图像为二值图。具体地，在第四视频图像中前景目标为白色，背景图像为黑色，并且前景目标轮廓清晰。

步骤S216：浏览器客户端将第四视频图像与采集的当前帧视频图像进行对比，确定采集的当前帧视频图像中的前景目标，并提取确定的前景目标。

步骤S218：浏览器客户端将提取出的前景目标与设定背景进行合成，生成的新的视频图像。

将提取出的前景目标与设定背景进行合成可以参照相关技术实现，本实施例中对此不作具体限制。

通过本发明实施例提供的视频处理方法，一方面，对采集到每帧视频图像时，并不需要工作人员手动进行抠图处理，而是由抠图处理设备自动进行，相较于现有技术中由工作人员手动进行抠图处理，能够缩点抠图时间。由于缩短了对每帧视频图像的抠图时间，因此，能够提高视频播放时的实时性。另一方面，本发明实施例提供的视频处理方法，是通过确定前景目标、对视频图像进行灰度处理和灰度特性分析等技术手段最终将视频图像中的背景与前景目标分离，将前景目标从视频图像中分离出来而实现对视频图像的抠图处理，这样分离出来的前景目标即可与其他背景结合生成新的视频图像。本发明实施例提供的视频处理方法中，由于是将前景目标从视频图像中抠出，完全摒弃了采集的视频图像中的背景，因此，即便是录制时绿幕背景不平坦、色彩不均匀，录制环境的照明条件差，依然不会对抠图合成后的新的视频图像造成影响，不会出现抠制出来的视频图像局部有块效应的问题。本发明实施例提供的视频处理方法，对录制现场的绿幕背景的平坦度、绿幕背景色彩均性以及录制环境的照明条件的要求，较现有的绿幕抠图视频处理方法低。

实施例三

参照图3，示出了本发明实施例三的一种绿幕抠图视频处理方法的步骤流程图。

本发明实施例中以对一段基于绿幕背景录制的、包含单个人的视频中的一帧视频图像进行处理为例，对本发明的绿幕抠图视频处理方法进行说明。本发明实施例的绿幕抠图视频处理方法具体包括以下步骤：

步骤S302：设定感兴趣的区域。

本步骤中，设定感兴趣的区域即设定绿幕区域。

在进行视频绿幕抠像处理前，需要依据现场的环境，设定出绿幕所在位置区域，人工标定出绿幕的范围，即设定绿幕区域。

本实施例中，设定的感兴趣的区域为包含视频中的人物的区域。其中，该人物即为本实施例中所要处理的、视频图像中的前景目标，而人物背后的背景，即为所要处理的视频图像中的背景。

步骤S304：采集当前帧视频图像，将该视频图像由RGB色彩空间转换至HLS色彩空间下。

步骤S306：采用alpha0(即阿尔法0)通道对采集的当前视频图像采用色度键(即ChromaKey)算法进行处理。

在进行处理时，对当前视频图像中的各像素点进行分析，以确定各像素点对应1还是0，其中，1用于表征黑色，0用于表征白色。通过处理，可以定位出前景目标的大概区域。处理后生成第一视频图像，具体如图4所示。

对于给定的绿幕区域，第一步要做ChromaKey算法分析处理，在处理时，需要创建ChromaKey关系表，即f(key)＝fun(h,l,s)，创建关系表时所需用的具体公式如下：

$H_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (H_{key}-T_h)<H_{pixel}<(H_{key}+T_h)\end{array}\\ 0& otherwise\end{array}\right.$

$L_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (L_{key}-T_L)<L_{pixel}<(L_{key}+T_L)\end{array}\\ 0& otherwise\end{array}\right.$

$S_{matte}=\left\{\begin{array}{cc}1& \begin{array}{cc}if& (S_{key}-T_S)<S_{pixel}<(S_{key}+T_S)\end{array}\\ 0& otherwise\end{array}\right.$

M_pixel＝αH_matte+βL_matte+γS_matte

其中，H_matte、T_matte以及S_matte分别为像素点的色度分量、亮度分量以及饱和度分量的映射值。α、β以及γ分别为三个分量的映射值的权重，1＝α+β+γ，在具体实现过程中，三个权重值的具体设定可以由本领域技术人员根据实际需求进行设定。

其中，T_h为设定色度阈值，T_l设定亮度阈值，T_s设定饱和度阈值，这三个值在具体实现过程中，可以由本领域技术人员根据时间需求进行设置，本实施例对此不作具体限定。

H_key为最匹配色度键值的色度值，L_key为最匹配色度键值的亮度值，S_key为最匹配色度键值的饱和度值；H_pixel为当前像素点的色度值，L_pixel为当前像素点的亮度值，S_pixel为当前像素点的饱和度值。

M_pixel为当前像素点对应的分析处理后的值，通过该值可以确定当前像素点用1表征还是用0表征。

通过上述公式即可确定各像素值的ChromaKey关系表。通过该关系表即可生成第一视频图像。

步骤S308：采用alpha1通道，在RGB色彩空间下，计算各像素点的G分量对R、和B分量的关系式，生成G分量处理后的视频图像，即第二视频图像。

其中，G分量为像素点的绿色分量，R分量为像素点的红色分量，B分量为像素点的蓝色分量。

一种优选的对像素点进行弱化处理的方式为将当前像素点的绿色分量乘以2，所得之积减去当前像素点的红色分量以及蓝色分量。即关系式为：2G-R-B，通过该关系式可以实现将视频图像转换成以绿色分量为主，弱化红色分量以及蓝色分量。本步骤中，对各像素点进行弱化处理即对视频图像进行灰度处理，处理后的视频图像如图5所示。

步骤S310：采用alpha1通道对灰度处理后的视频图像进行自动阈值分割，生成第三视频图像。

在生成灰度处理后的第二视频图像之后，还需要对第二视频图像采用大津法(OTSU)算法，自适应的确定阈值，通过确定的阈值来对图像的灰度特性进行分析，将图像分成背景和前景目标两部分。

通过该处理，已将第二视频图像转换成了二值图，该图中黑色表示背景，白色表示目标前景，并且目标前景的轮廓清晰。

步骤S312：将alpha0通道和alpha1通道处理的视频图像进行合成。

本步骤即将第一视频图像以及第三视频图像进行合成，生成第四视频图像，如图6所示。第四视频图像中的背景以及前景目标分离，并且，目标前景具有清晰的轮廓。

将第四视频图像与采集的当前帧视频图像进行对比，即可确定前景目标，并将其提取出来。

步骤S314：将提取出的前景目标与Blending图像(即设定的背景图像)，叠加合成抠像处理后的视频图像。

本发明实施例中，采用了改进的边缘模糊的效果，该效果也是一种简便易行的改变画面视觉效果的途径，动态的画面需要“虚实结合”，这样即使是平面合成，也能给人空间感和对比，更能让人产生联想，而且可以使用模糊来提升画面的质量，可能即使是很粗糙的画面，经过处理后也会赏心悦目。

本发明实施例提供的绿幕抠图视频处理方法，可以实时对绿幕视频进行处理，提升视频播放的流畅感。并且，本发明实施例中的绿幕抠图视频处理方法，将摄像头中除人像外的其他画面扣去，使人像在直播画面中更加契合的融入直播、游戏背景能够自适应光照及绿幕不均匀产生噪声的影响。在绿幕视频中的人物经抠像后与各种景物叠加在一起，形成神奇的艺术效果，可以增加主播直播画面效果的同时，也让粉丝们看到了更丰富的直播方式。

实施例四

参照图7，示出了本发明实施例四的一种视频处理装置的结构框图。

本发明实施例的视频处理装置包括：定位模块702，用于对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；灰度处理模块704，用于对所述设定绿幕区域进行灰度处理，生成第二视频图像；分离模块706，用于通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；提取模块708，用于依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；以及合成模块710，用于将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。

优选地，所述装置还包括：第一接收模块712，用于在所述定位模块702对所述当前帧视频图像中的、设定绿幕区域内的前景目标进行定位之前，接收对绿幕区域的设定操作，依据所述设定操作确定所述设定绿幕区域；第二接收模块714，用于在所述设定绿幕区域中、接收对至少一个色度键值的设定操作。

优选地，所述定位模块702包括：匹配色度键值确定模块7022以及像素点确定模块7024；所述匹配色度键值确定模块7022，用于确定设定的各色度键值中与当前像素点最匹配的色度键值；所述像素点确定模块7024，用于依据所述最匹配的色度键值分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点。

优选地，当设定的色度键值为至少两个时，所述匹配色度键值确定模块7022确定设定的各色度键值中与当前像素点最匹配的色度键值时：在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

优选的，所述灰度处理模块704对所述设定绿幕区域进行灰度处理时：在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到所述各像素点弱化处理后的像素值；依据所述各像素点对应的弱化处理后的像素值生成所述第二视频图像。

优选地，所述分离模块706包括：自适应阈值确定模块7062，用于依据所述第二视频图像中的设定绿幕区域内的、各像素点的像素值确定所述第二视频图像对应的自适应阈值；判断模块7064，用于依据所述自适应阈值分别对所述第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定所述各像素点属于背景对应的像素点或者前景目标对应的像素点；生成模块7066，用于依据确定结果生成第三视频图像。

优选地，提取模块708包括：第四视频图像生成模块7082，用于依据所述第一视频图像、所述第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像；对比模块7084，用于将所述第四视频图像与采集的所述当前帧视频图像进行对比，确定采集的所述当前帧视频图像中的前景目标，并提取确定的所述前景目标。

本发明实施例的视频处理装置用于实现前述实施例一、实施例二以及实施例三中相应的抠图视频处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的视频处理方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的绿幕抠图视频处理方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种视频处理方法，其特征在于，包括：

对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；以及，

对所述设定绿幕区域进行灰度处理，生成第二视频图像；

通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；

依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；

将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。

2.根据权利要求1所述的方法，其特征在于，在所述对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位步骤之前，所述方法还包括：

接收对绿幕区域的设定操作，依据所述设定操作确定所述设定绿幕区域；

在所述设定绿幕区域中、接收对至少一个色度键值的设定操作。

3.根据权利要求2所述的方法，其特征在于，所述对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位的步骤包括：

对采集的当前帧视频图像中的、设定绿幕区域中的各像素点分别执行以下操作：

确定设定的各色度键值中与当前像素点最匹配的色度键值；

依据所述最匹配的色度键值，以分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点。

4.根据权利要求3所述的方法，其特征在于，当设定的色度键值为至少两个时，所述确定设定的各色度键值中与当前像素点最匹配的色度键值的步骤包括：

在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；

将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对所述设定绿幕区域进行灰度处理的步骤包括：

在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到所述各像素点弱化处理后的像素值；

依据所述各像素点对应的弱化处理后的像素值生成所述第二视频图像。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像的步骤包括：

依据所述第二视频图像中的设定绿幕区域内的、各像素点的像素值确定所述第二视频图像对应的自适应阈值；

依据所述自适应阈值分别对所述第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定所述各像素点属于背景对应的像素点或者前景目标对应的像素点；

依据确定结果生成所述第三视频图像。

7.根据权利要求1所述的方法，其特征在于，所述依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标的步骤包括：

依据所述第一视频图像、所述第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像；

将所述第四视频图像与所述当前帧视频图像进行对比，确定所述当前帧视频图像中的前景目标，并提取确定的所述前景目标。

8.一种视频处理装置，其特征在于，包括：

定位模块，用于对采集的当前帧视频图像中的、设定绿幕区域内的前景目标进行定位，生成第一视频图像；

灰度处理模块，用于对所述设定绿幕区域进行灰度处理，生成第二视频图像；

分离模块，用于通过对所述第二视频图像的灰度特性进行分析，将所述第二视频图像转化为背景和前景目标分离的第三视频图像；

提取模块，用于依据所述第一视频图像、所述第三视频图像以及所述当前帧视频图像提取出所述前景目标；以及

合成模块，用于将提取出的所述前景目标与设定背景进行合成，生成的新的视频图像。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第一接收模块，用于在所述定位模块对所述当前帧视频图像中的、设定绿幕区域内的前景目标进行定位之前，接收对绿幕区域的设定操作，依据所述设定操作确定所述设定绿幕区域；

第二接收模块，用于在所述设定绿幕区域中、接收对至少一个色度键值的设定操作。

10.根据权利要求9所述的装置，其特征在于，所述定位模块包括：匹配色度键值确定模块以及像素点确定模块；

所述匹配色度键值确定模块，用于确定设定的各色度键值中与当前像素点最匹配的色度键值；

所述像素点确定模块，用于依据所述最匹配的色度键值分别确定当前像素点属于前景目标对应的像素点或者背景对应的像素点。

11.根据权利要求10所述的装置，其特征在于，当设定的色度键值为至少两个时，所述匹配色度键值确定模块确定设定的各色度键值中与当前像素点最匹配的色度键值时：

在HLS色彩空间下，分别计算当前像素点对应的像素值与各色度键值的方差；

将最小方差对应的色度键值确定为与当前像素点最匹配的色度键值。

12.根据权利要求8-11中任一项所述的装置，其特征在于，所述灰度处理模块对所述设定绿幕区域进行灰度处理时：

在RGB色彩空间下，分别将采集的当前帧视频图像中、设定绿幕区域中的各像素点对应的红色分量以及蓝色分量进行弱化处理，分别得到所述各像素点弱化处理后的像素值；

依据所述各像素点对应的弱化处理后的像素值生成所述第二视频图像。

13.根据权利要求8-11中任一项所述的装置，其特征在于，所述分离模块包括：

自适应阈值确定模块，用于依据所述第二视频图像中的设定绿幕区域内的、各像素点的像素值确定所述第二视频图像对应的自适应阈值；

判断模块，用于依据所述自适应阈值分别对所述第二视频图像中的设定绿幕区域内的、各像素点进行分析，以分别确定所述各像素点属于背景对应的像素点或者前景目标对应的像素点；

生成模块，用于依据确定结果生成所述第三视频图像。

14.根据权利要求8所述的装置，其特征在于，所述提取模块包括：

第四视频图像生成模块，用于依据所述第一视频图像、所述第三视频图像合成未经灰度处理的、背景和前景目标分离的第四视频图像；

对比模块，用于将所述第四视频图像与所述当前帧视频图像进行对比，确定所述当前帧视频图像中的前景目标，并提取确定的所述前景目标。