CN110708476B

CN110708476B - 一种实时图像处理方法及装置

Info

Publication number: CN110708476B
Application number: CN201910875857.0A
Authority: CN
Inventors: 夏晓晖; 时贵兵
Original assignee: Guangzhou Xiumei Network Culture Media Co ltd
Current assignee: Guangzhou Xiumei Network Culture Media Co ltd
Priority date: 2019-09-17
Filing date: 2019-09-17
Publication date: 2021-10-29
Anticipated expiration: 2039-09-17
Also published as: CN110708476A

Abstract

本发明公开了一种实时图像处理方法，其步骤包括：S1、获取用户实时影像；所述用户实时影像包括用户前景影像和绿色背景影像；S2、对所述用户实时影像中的像素的进行处理，以使得所述绿色背景影像被透明处理，输出处理后的用户实时影像；S3、将所述处理后的用户实时影像与预设的背景视频进行合成，以形成实时演播影像；S4、输出所述实时演播影像。本发明还公开了一种实时图像处理装置，通过本发明的技术方案，大大提高了用户实时视频合成的效率和自动化程度，无需人工操作，省时省力，节省成本。

Description

一种实时图像处理方法及装置

技术领域

本发明属于实时演播合成技术领域，具体涉及一种实时图像处理方法及装置。

背景技术

视频合成在近年间越来越多地被应用在电视节目及互联网视频内容制作的过程中，一般这类技术会通过人工的抠像和合成技术将主播的人像与虚拟或现实场景合成，合成过程中，实时获取的主播影像中的纯色背景会被去除，并与预设的背景图像进行合成，从而获得完美的身临其境的视听效果。

但现有的视频合成技术大部分采用人工操作，录制一个视频，费时费力，费用高，主要适用于电视台、影视制作企业，并不以面向大众消费者为主，且抠像大多需要手动调整参数，需要专业人员操作，效率低，难以大范围推广。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种实时图像处理方法及装置，大大提高了用户实时视频合成的效率和自动化程度，无需人工操作，省时省力，节省成本。

本发明的技术方案如下：

一种实时图像处理方法，包括如下步骤:

S1、获取用户实时影像；所述用户实时影像包括用户前景影像和绿色背景影像；

S2、对所述用户实时影像中的像素的进行处理，以使得所述绿色背景影像被透明处理，输出处理后的用户实时影像；

S3、将所述处理后的用户实时影像与预设的背景视频进行合成，以形成实时演播影像；

S4、输出所述实时演播影像。

与现有技术相比，本方法的有益技术效果如下：

本发明提供了一种实时图像处理方法，通过图像处理算法自动对用户实时影像中的绿色背景影像进行透明处理，并将处理后的用户实时影像与预设的背景视频进行合成，从而大大提高了用户实时视频合成的效率和自动化程度，无需人工操作，省时省力，节省成本。

进一步的，所述步骤S2包括：

S21、计算所述用户实时影像中的像素的R通道值和B通道值的平均值与其G通道值之间的差值；

S22、将所述差值大于零的像素判定为第一影像，将所述差值小于或等于零的像素判定为第二影像；

S23、将所述第一影像的像素的阿尔法通道值设置为1；

S24、将所述第二影像中所述差值小于色差阈值的像素的阿尔法通道值设置为0，将所述第二影像中所述差值大于或等于色差阈值的像素的阿尔法通道值设置为所述差值的线性函数值。

进一步的，所述步骤S24中，使用以下公式处理所述第二影像中所述差值大于或等于所述色差阈值的像素的阿尔法通道值：

α＝(diff–threshold)/(0-threshold)；

其中，α为所述阿尔法通道值；diff为所述差值；threshold为所述色差阈值。

进一步的，所述色差阈值为负数。

进一步的，所述步骤S2中，所述步骤S24后还包括以下步骤：

S25、将所述第二影像中的像素的RGB色彩空间转化为HSV色彩空间；

S26、将所述第二影像中的像素的H色相值的范围从0-360映射至0-1；

S27、将所述第二影像中H色相值大于0小于0.32的像素判定为第一像素，将所述第二影像中H色相值大于0.45小于0.6的像素判定为第二像素；

S28、使用以下公式计算所述第一像素的阿尔法通道值；

α1＝(diff–threshold_new1)/(0-threshold_new1)

其中，threshold_new1＝threshold+(diff–threshold)*(0.32-H)/0.32，α1为所述第一像素的阿尔法通道值，diff为所述差值，threshold为所述色差阈值，H为所述第一像素的H色相值；

S29、使用以下公式计算所述第二像素的阿尔法通道值；

α2＝(diff–threshold_new2)/(0-threshold_new2)

其中，threshold_new2＝threshold+(diff–threshold)*(H–0.45)/(0.6-0.45)，α2为所述第二像素的阿尔法通道值，diff为所述差值，threshold为所述色差阈值，H为所述第二像素的H色相值。

进一步的，所述步骤S2后还包括以下步骤：

使用以下公式对所述处理后的用户实时影像中的像素的G通道值进行重新设置：

G_new＝G*(1-(despill+(1-alpha)/3))

其中，G_new为重新设置后的G通道值，G为所述像素的原G通道值，despill为预设阈值，despill的数值范围在0-1间，alpha为所述像素的阿尔法值。

进一步的，所述步骤S2中还包括步骤：

使用边缘保持滤波器对所述用户实时影像中H色相值在预设的肤色区间内的像素进行滤波处理。

进一步的，所述边缘保持滤波器为双边滤波器。

进一步的，所述步骤S2中还包括步骤：

使用暖色滤镜对所述用户实时影像进行处理。

同时，本发明还对应公开了一种实时图像处理装置，包括处理器、图像获取设备和播放设备；

所述图像获取设备用于获取用户实时影像，所述用户实时影像包括用户前景影像和绿色背景影像；

所述处理器用于执行上述实时图像处理方法对所述用户实时影像进行处理并输出实时演播影像；

所述播放设备用于播放所述实时演播影像。

附图说明

图1是本发明具体实施方式中所述的一种实时演录播设备的结构示意图。

图2是本发明具体实施方式中所述的一种实时演录播设备的另一侧结构示意图。

图3是本发明具体实施方式中所述的一种实时图像处理方法的流程示意图。

具体实施方式

为了充分地了解本发明的目的、特征和效果，以下将结合附图对本发明的几种优选的实施方式进行说明。

如图1所示，本实施例公开了一种实时演录播设备，包括箱体1，在箱体1内的一侧设置有显示屏2、摄像头3、话筒4和扬声器5；

具体的，如图2所示，箱体1内的另一侧，也即摄像头3所对准的区域，设置有绿色幕布6；

用户可站在绿色幕布6前使用话筒4进行演播，摄像头3将获取用户演播时的用户实时影像，并传输至处理器(图中未示出)进行处理；具体的，处理器对用户实时影像中绿色背景影像进行去除后与预设的背景视频进行合成，并输出到显示屏2进行显示，同时，话筒4所录入的用户的音频将同步实时地传输至扬声器5进行播放。

通过这样设置，用户可在显示屏2前实时欣赏到自己在预设的背景下的演播视频，从而达到浸入式的演录播体验。

具体的，本实施例还公开了一种实时图像处理方法，其可通过处理器中设置的代码实现，具体的本实施例中，该方法采用HLSL语言实现，采用GPU加速，每秒在25帧以上，满足视频录制的要求。

具体的如图3所示，本实时图像处理方法包括以下步骤：

S1、获取用户实时影像；用户实时影像包括用户前景影像和绿色背景影像；

S2、对用户实时影像中的像素的进行处理，以使得绿色背景影像被透明处理，输出处理后的用户实时影像；

具体的，用户实时影像的视频帧的输入格式为RGBA，A代表alpha也即阿尔法通道值，表征像素的透明度信息，输入时所有像素的alpha均为1，即完全显示前景色。RGB通道的取值范围为0-1。具体的，步骤S2中，算法对视频图像中的每一个像素执行以下步骤进行处理：

S21、计算用户实时影像中的像素的R通道值和B通道值的平均值与其G通道值之间的差值，公式如下：

diff＝(R+B)/2–G；其中，diff为差值，R、G、B分别为像素的R通道、B通道值和G通道值；

S22、将差值大于零的像素判定为第一影像，即确定的用户本身的影像；将差值小于或等于零的像素判定为第二影像，即尚未确定的，可能包括用户和绿色背景的影像；

S23、将第一影像的像素的阿尔法通道值设置为1，即将确定的用户本身的影像完全展示；

S24、将第二影像中差值小于色差阈值的像素的阿尔法通道值设置为0，这一步将差值较大的像素判定为绿色像素并进行完全透明处理；将第二影像中差值大于或等于色差阈值的像素的阿尔法通道值设置为差值的线性函数值。具体的，使用以下公式处理第二影像中差值大于或等于色差阈值的像素的阿尔法通道值：

α＝(diff–threshold)/(0-threshold)；

其中，α为阿尔法通道值；diff为差值；threshold为色差阈值，具体的，色差阈值为负数。具体的，色差阈值可以由技术人员根据经验设定，或通过多次试验进行调整以得到适当的值。

接下来，根据HSV色彩空间特点，修正上述步骤S24计算出的阿尔法通道值，具体的，HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、明度(Value)。色相是色彩的基本属性，就是平常说的颜色的名称，用角度来表示H，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。饱和度(S)是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100％的数值。明度(V)，取0-max(计算机中HSV取值范围和存储的长度有关)。

在HSV色彩空间中，可以发现在绿色的两边为黄色与蓝色，在越靠近绿色的地方，由步骤S24计算出来的色差非常小，此时前景呈现半透明，如果人物穿的衣服为接近绿色的黄或蓝，那就影响抠像的效果。

这一步我们将RGB色彩空间转为HSV色彩空间，如果此颜色的H接近绿色(绿屏颜色)，则采用较小的阈值threshold,重新计算alpha，也就是说针对像素的色相，不相的色相采取不同的阈值，即动态阈值。

通过以下步骤进行阿尔法通道值的调整：

S25、将第二影像中的像素的RGB色彩空间转化为HSV色彩空间；

S26、将第二影像中的像素的H色相值的范围从0-360映射至0-1；

S27、将第二影像中H色相值大于0小于0.32的像素判定为第一像素，第一像素为黄色接近绿色，将第二影像中H色相值大于0.45小于0.6的像素判定为第二像素，第二像素为蓝色接近绿色；

S28、使用以下公式计算第一像素的阿尔法通道值；

α1＝(diff–threshold_new1)/(0-threshold_new1)

其中，threshold_new1＝threshold+(diff–threshold)*(0.32-H)/0.32，α1为第一像素的阿尔法通道值，diff为差值，threshold为色差阈值，H为第一像素的H色相值；

S29、使用以下公式计算第二像素的阿尔法通道值；

α2＝(diff–threshold_new2)/(0-threshold_new2)

其中，threshold_new2＝threshold+(diff–threshold)*(H–0.45)/(0.6-0.45)，α2为第二像素的阿尔法通道值，diff为差值，threshold为色差阈值，H为第二像素的H色相值。

通过上面的步骤S25至S29，可以根据HSV空间的特点对颜色较容易与绿色相混淆的像素进行进一步的调整，使得绿色的背景更好地被去除。

进一步的，当人物处在绿光环境中时，绿光会反射到人物身上，在视频合成的过程中需要尽量避免这一现象。当这种现象发生时，RGB色彩中的绿色G分量会明显比其它两个颜色的分量要大，所以只要降低绿色分量的值，就可以基本还原原有的色彩。

因此，需要进一步使用以下公式对处理后的用户实时影像中的像素的G通道值进行重新设置，以抑制绿光反射的效应：

G_new＝G*(1-(despill+(1-alpha)/3))

其中，G_new为重新设置后的G通道值，G为像素的原G通道值，despill为预设阈值，despill的数值范围在0-1间，alpha为像素的阿尔法值，实际操作过程中，计算得到的G_new的值应该限制在0-1间。

进一步的，本实施例中公开的处理器还可以对用户的影像进行实时的美颜处理，具体的，本方法的步骤S2中还通过以下步骤对用户影像进行美颜处理：

使用边缘保持滤波器对用户实时影像中H色相值在预设的肤色区间内的像素进行滤波处理。

具体的，肤色区间可根据实际的光线环境进行预先的测定，在本实施例公开的演录播设备的环境中，人的肤色在HSV色彩空间中H的范围大致为【0，0.25】及【0.95，1.0】之间，那么用以下公式即可以分割肤色，skin值接近0，则认为是近似肤色。

【0，0.25】skin＝H/4

【0.95，1.0】skin＝(1-H)/20

再将skin扩展到【0，1】

具体的，本实施例所采用的边缘保持滤波器为双边滤波器，双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空间与信息和灰度相似性，达到保边去噪(麿皮)的目的。具体的，本实施例中获取像素值时使用双边滤波方法进行5x5或7x7的采样以进行滤波。

进一步的，由于本实施例公开的演录播设备的箱体灯光问题，本实施例公开的图像处理方法中还对输入的图像做白平衡的调整；具体的，白平衡的调整步骤包括：将图像从RGB转向YIQ色彩空间，对Q分量(代表从紫色到黄绿色的颜色变化)作加减，同时对Y分量进行调整，将图像下半部的亮度稍微提升(因箱体灯光原因)，再将图像转为RGB色彩空间。

进一步的，本方法还使用暖色滤镜对用户实时影像进行处理，具体的，暖色的程度可以通过调用滤镜API中的函数参数进行调控，具体的处理过程如下：

warmFilter＝float3(0.93,0.54,0.0)；//暧色滤镜

rgb1＝2.0*RGB*warmFilter；

rgb2＝1.0-2.0*(1.0-RGB)*(1.0-warmFilter)；

P代表像素

P1(R1,G1,B1)＝P(R<0.5选择rgb1.R，否则选择rgb2.R，

G<0.5选择rgb1.G，否则选择rgb2.G，

B<0.5选择rgb1.B，否则选择rgb2.B)

设定一个参数warm，将计算的结果P1(R1,G1,B1)与原像素P(R,G,B)按百分比混合，Pnew(Rnew,Gnew,Bnew)＝warm*P(R,G,B)+(1-warm)*P1(R1,G1,B1)

S3、将处理后的用户实时影像与预设的背景视频进行合成，以形成实时演播影像；具体的，预设的背景视频可以为预先制作的动态或静态的视频图像，具体的可以由设计人员根据实际情况进行设计。

S4、输出实时演播影像。

具体的，实时演播影像也可以在本地进行保存并上传至云端，上传完成后，用户可以在公众号、小程序或App上浏览自己视频。也可以将视频与亲人好友分享。或在APP上进行自主剪辑编辑视频。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可查看存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析、推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。

Claims

1.一种实时图像处理方法，其特征在于，包括如下步骤:

所述步骤S2包括：

S23、将所述第一影像的像素的阿尔法通道值设置为1；

S24、将所述第二影像中所述差值小于色差阈值的像素的阿尔法通道值设置为0，将所述第二影像中所述差值大于或等于色差阈值的像素的阿尔法通道值设置为所述差值的线性函数值；

S28、使用以下公式计算所述第一像素的阿尔法通道值；

α1＝(diff–threshold_new1)/(0-threshold_new1)

S29、使用以下公式计算所述第二像素的阿尔法通道值；

α2＝(diff–threshold_new2)/(0-threshold_new2)

其中，threshold_new2＝threshold+(diff–threshold)*(H–0.45)/(0.6-0.45)，α2为所述第二像素的阿尔法通道值，diff为所述差值，threshold为所述色差阈值，H为所述第二像素的H色相值；

S4、输出所述实时演播影像。

2.如权利要求1所述的实时图像处理方法，其特征在于，所述步骤S24中，使用以下公式处理所述第二影像中所述差值大于或等于所述色差阈值的像素的阿尔法通道值：

α＝(diff–threshold)/(0-threshold)；

3.如权利要求2所述的实时图像处理方法，其特征在于，所述色差阈值为负数。

4.如权利要求1-3任一项所述的实时图像处理方法，其特征在于，所述步骤S2后还包括以下步骤：

G_new＝G*(1-(despill+(1-alpha)/3))

其中，G_new为重新设置后的G通道值，G为所述像素的原G通道值，despill 为预设阈值，despill的数值范围在0-1间，alpha为所述像素的阿尔法值。

5.如权利要求1所述的实时图像处理方法，其特征在于，所述步骤S2中还包括步骤：

6.如权利要求5所述的实时图像处理方法，其特征在于，所述边缘保持滤波器为双边滤波器。

7.如权利要求1所述的实时图像处理方法，其特征在于，所述步骤S2中还包括步骤：

使用暖色滤镜对所述用户实时影像进行处理。

8.一种实时图像处理装置，其特征在于，包括处理器、图像获取设备和播放设备；

所述处理器用于执行权利要求1-7任一项中所述的实时图像处理方法对所述用户实时影像进行处理并输出实时演播影像；

所述播放设备用于播放所述实时演播影像。