CN117274140A - 基于色度抠像的图像合成方法、装置及视频直播系统 - Google Patents

Abstract

本申请涉及一种基于色度抠像的图像合成方法、装置及视频直播系统，所述方法包括：对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；获取所述前景图像预抠像得到的半透明通道图像；将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像；该技术方案，在前景图像与背景图像合成过程中，通过对前景图像中的细节进行增强处理，使得最终合成图像中够还原出无法被抠图技术处理成有效的前景图像部分的细节对象，从而使得合成画面更具真实感，极大提升了合成图像显示效果。

Description

基于色度抠像的图像合成方法、装置及视频直播系统

技术领域

本申请涉及图像处理技术领域，特别是一种基于色度抠像的图像合成方法、装置及视频直播系统。

背景技术

在图像处理技术中，基于色度抠像(一般称绿(蓝)幕抠图)技术已经广泛应用于图像编辑、视频直播、影视创作等多个领域；该技术的基本原理是首先计算待处理图像中像素的颜色与关键色(用户选取的背景幕颜色)的相似度，然后将相似度转换为图像的透明度，再根据透明度来完成抠图。

一般而言，待处理画面中预期作为前景出现的对象通常具有与幕布颜色差异大、块状或者较粗的线条状等特性，从而使得他们不易于被抠像算法抠除，在最终成像的画面当中保留下来。在实际应用中，待处理画面中往往中包含人物，而人物自身及随身物体中通常含有毛发、耳机线、眼镜框等细小对象。这些细小的对象会因为绿色反光、运动模糊(随人物运动)和失焦模糊等在成像中含有相当程度的背景色，另外，画面中由于现场打光和前景造成的人物阴影区域也有类似的表现，这些细小对象和阴影有助于提升合成画面的细节丰富度，如果合成画面无法还原则使得合成画面缺乏真实感，而常规技术中，这些重要的细节非常容易被转换为半透明或者被抠除，严重影响了合成图像显示效果。

发明内容

基于此，有必要针对上述至少一种技术缺陷，提供一种基于色度抠像的图像合成方法、装置及视频直播系统，以提高图像合成效果。

一种基于色度抠像的图像合成方法，包括：

对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；

获取所述前景图像预抠像得到的半透明通道图像；

将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；

将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

在一个实施例中，对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图，包括：

对前景图像进行预处理；

对所述预处理后的前景图像进行背景区域中心化处理，得到前景细节图；

对所述前景细节图进行非线性变换，得到增强细节图。

在一个实施例中，对前景图像进行预处理，包括：

将前景图像进行转换为灰度图，并对所述灰度图进行归一化处理。

在一个实施例中，对所述预处理后的前景图像进行背景区域中心化处理，得到前景细节图，包括：

获取所述预处理后的前景图像在背景区域上的数值分布；

根据所述数值分布计算出背景区域的代表数值；

根据所述代表数值计算背景区域取值中心化为“1”的前景细节图。

在一个实施例中，对所述前景细节图进行非线性变换，得到增强细节图，包括：

利用非线性函数对所述前景细节图的细节信息进行变换处理得到增强细节图；其中，所述前景细节图的细节信息用于描述背景区域数值与非背景区域数值之间的差值。

在一个实施例中，所述非线性函数为S型曲线函数；其中，该S型曲线函数的变量取值满足在[0，2]的范围内单调递增，且变量为0时函数取值为0，变量为1时函数取值为1。

在一个实施例中，将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像，包括：

通过乘法合成方式将所述增强细节图合成到所述背景图像中，得到增强背景图像。

在一个实施例中，将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像，包括：

采用α合成方式将所述前景图像、半透明通道图像以及增强背景进行合成图像进行合成得到细节增强的目标合成图像。

在一个实施例中，所述前景图像为主播端的连麦主播在设定颜色的背景幕布前拍摄的视频图像；

所述对前景图像进行前景细节进行提取和增强处理之前，还包括：

建立与各个参与直播连麦的主播端之间的直播连接；

接收至少两个所述主播端上传的视频图像数据；其中，所述视频图像数据包括主播端所采集的主播的前景图像及其预抠图得到的半透明通道图像。

在一个实施例中，所述的基于色度抠像的图像合成方法，还包括：

将其他主播端上传的视频图像数据下发至任一主播端；使得所述主播端基于所采集的主播的前景图像及其预抠图得到的半透明通道图像，与其他主播的前景图像及其预抠图得到的半透明通道图像，以及背景图像进行混画合成。

在一个实施例中，所述将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像之后，还包括：

基于所述目标合成图像获取连麦主播互动产生的连麦视频图像以及互动特效；

将所述连麦视频图像以及互动特效进行编码成连麦视频流推送至观众端。

一种基于色度抠像的图像合成装置，包括：

细节增强处理模块，用于对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；

透明通道获取模块，用于获取所述前景图像预抠像得到的半透明通道图像；

增强背景生成模块，用于将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；

图像合成模块，用于将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

一种视频直播系统，包括：至少一个主播客户端和直播服务器；所述主播客户端用于获取所述前景图像及其对应的半透明通道图像，并上传至直播服务器；

所述直播服务器采用上述的基于色度抠像的图像合成方法将所述前景图像的抠像图像与背景图像进行合成。

一种电子设备，该电子设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的基于色度抠像的图像合成方法。

一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述的基于色度抠像的图像合成方法。

上述基于色度抠像的图像合成方法、装置及视频直播系统，通过对前景图像进行前景细节进行提取和增强处理得到增强细节图，将待合成的背景图像与所述增强细节图合成增强背景图像，最后将前景图像及其半透明通道图像、增强背景图像进行合成得到目标合成图像；该技术方案，在前景图像与背景图像合成过程中，通过对前景图像中的细节进行增强处理，使得合成图像中能够还原出无法被抠图技术处理成有效的前景图像部分的细节对象，从而使得合成图像更具真实感，极大提升了合成图像显示效果。

附图说明

图1是一个示例的常规技术的合成图像效果图；

图2是另一个示例的常规技术的合成图像效果图；

图3是一个实施例的基于色度抠像的图像合成方法流程图；

图4是一个示例的基于本申请技术方案的合成图像效果图；

图5是一个示例的基于色度抠像的图像合成处理流程示意图；

图6是一个示例的网络直播系统的拓扑图；

图7是一个实施例的基于色度抠像的图像合成装置的结构示意图；

图8是一个示例的视频直播系统结构示意图；

图9是一示例的电子设备的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请实施例中，提及的“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个对象指两个或两个以上的对象。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的信息涵盖出现在“包括”或者“包含”后面列举的信息及其等同，并不排除其他信息。在本申请实施例中提及的“和/或”，表示可以存在三种关系，字符“/”一般表示前后关联对象是一种“或”的关系。

在基于色度抠像的图像合成技术中，一般是采用绿(蓝)幕的抠像技术，然后把画面的前景图像，通过前景图像生成的半透明通道图像和背景图像合成，得到最终的合成图像效果。

例如，前景图像F_color∈R^H×W×C，半透明通道图像M_f∈R^H×W，背景图像B∈R^H×W×C，合成图像为I_direct＝M_f*F_color+(1-M_f)*B,I_direct∈R^H×W×C；其中，F_color表示前景图像，R表示标准矩阵，M_f表示半透明通道图像，B表示背景图像，I_direct表示直接合成图像，其中W和H分别表示图片的宽和高，C表示输入图片的通道数(一般为3)，M_f的数值在0到1之间，其数值越高，表明输入前景图像中对应位置的像素与关键色的相似度越低，透明度越低。

参考图1所示，图1是一个示例的常规技术的合成图像效果图，如图1中，将前景图像进行抠像后直接合成到背景图像后，如图中箭头所示，无法有效显示原图中的绒毛；参考图2，图2是另一个示例的常规技术的合成图像效果图，如图2中，将前景图像进行抠像后直接合成到背景图像后，如图中箭头所示，无法有效显示原图中的人物阴影。

据此，为了还原出前景图像中的细节信息，本申请提供了一种基于色度抠像的图像合成方法，如图3所示，图3是一个实施例的基于色度抠像的图像合成方法流程图，包括如下步骤：

S10，对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图。

此步骤中，通过对前景图像F_color的处理从而得到包含前景图像F_color各种细节信息的增强细节图F_detail；其中，前景图像F_color∈R^H×W×C，半透明通道M_f∈R^H×W；其中，F_detail表示增强细节图像。

在一个实施例中，步骤S10获得前景图像的增强细节图的方案，可以包括如下步骤：

S110，对前景图像进行预处理。

作为实施例，在对前景图像F_color进行预处理时，首先将前景图像F_color进行转换为灰度图F_gray∈R^H×W，然后对灰度图并进行归一化处理得到F′_gray∈R^H×W；具体的，假设F_color为RGB图片，其灰度图为F_gray＝F_color×v,v＝[0.299,0.587,0.114]^T，归一化后的前景图像F′_gray＝[F_gray-min(F_gray)]/[min(F_gray)-max(F_gray)]，其中，min(F_gray)和max(F_gray)分别表示灰度图片F_gray像素的最小和最大值；其中，F_gray表示由F_color转换的灰度图像；v＝[0.299,0.587,0.114]^T表示由RGB图像转换为灰度图的标准运算过程，即表示灰度通道＝0.299*红色+0.587*绿色+0.114*蓝色。

上述实施例的技术方案，通过灰度和归一化处理，可以将前景图像转换到灰度模式下进行处理，从而可以降低对背景区域图像处理数据量，提升处理效率。

S120，对所述预处理后的前景图像进行背景区域中心化处理，得到前景细节图。

此步骤中，通过对前景图像进行背景区域中心化处理，将前景图像中的非前景区域的数值接近于一个设定值(一般采用“1”)，利用前景细节图的细节信息可以描述在背景区域数值与非背景区域数值之间的差值，从而便于对背景部分进行增强，使得其在合成背景图像时能够增强背景区域的细节信息。

作为实施例，在对前景图像进行背景区域中心化处理时，可以包括如下：

(1)获取所述预处理后的前景图像在背景区域上的数值分布；

(2)根据所述数值分布计算出背景区域的代表数值；

(3)根据所述代表数值计算背景区域取值中心化为“1”的前景细节图。

具体的，通过分析获取的归一化的前景图像F′_gray在背景区域(M_f<τ)上的数值分布，并计算出背景区域的代表数值f′_BG，计算背景区域中心化的前景细节图F_const＝F′_gray+(1-f′_BG)，F_const∈R^H×W；其中，τ表示不透明的阈值，可以取值0.01、0.1、0.2等赋值，f′_BG表示背景区域像素数值。

上述实施例的技术方案，通过背景区域的背景区域中心化处理，将前景图像中的非前景区域的数值接近1，即将背景区域取值中心化接近于1，减弱后续将前景图像的细节信息与背景图像进行乘法合成到背景图片时前景图像中的非前景区域的影响，保证合成后前景图像中的非前景区域能保持不变，由此确保合成效果。

S130，对所述前景细节图进行非线性变换，得到增强细节图。

此步骤中，通过非线性变换处理，按照特定的函数关系对前景细节图进行非线性图像变换，把前景细节图的特征变换为一个新的图像特征，利用新的图像特征进行线性分类，使得前景细节图的背景区域与非背景区域的之间的区别更大，呈现两个区域的图像差别，得到增强细节图。

作为实施例，在对前景细节图进行非线性变换时，可以利用非线性函数对前景细节图的细节信息进行变换处理得到增强细节图；其中，前景细节图的细节信息在背景区域数值与非背景区域的数值的设定距离；优选的，非线性函数可以为任意的S型曲线函数；其中，该S型曲线函数的变量取值满足在[0，2]的范围内单调递增，且变量为0时取值为0，变量为1时取值为1。

具体的，在对前景图像的细节信息进行非线性变换F_detail∈R^H×W时，可以采用任意的S型曲线y＝func(x)，func表示function函数，如Sigmoid，Sin，Cos及其变种等，该S型曲线函数符合以下特性：

(a)当0≤x≤2，单调递增；

(b)func(0)＝0,func(1)＝1；

对于所选用的函数类型，具体可以依画面效果及前背景图像的组合动态决定，具体计算过程表达式如下：F_detail＝func(F_const)，F_detail表示非线性变换后的前景图像。

上述实施例的技术方案，可以拉大前景细节图F_const的背景区域数值(数值基本为“1”)与非背景区域数值之间的距离，从而更好地放大细微的画面差别。

S20，获取所述前景图像预抠像得到的半透明通道图像。

在此步骤中，可以是通过绿(蓝)幕抠像技术，通过前景图像F_color∈R^H×W×C获取半透明通道图像M_f∈R^H×W，该预抠像过程可以在远端完成，也可以在本地端完成。

S30，将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像。

作为实施例，在将待合成的背景图像与增强细节图进行合成时，可以通过乘法合成方式进行合成；具体的，对于增强背景图像B′∈R^H×W×C生成，通过乘法合成把前景细节图F_detail合入到背景图像B中；其中，计算公式可以如下：

B′＝Clip(F_detail×B,b_min,b_max)，

式中，Clip为裁剪函数，把小于b_min的数值置为b_min，大于b_max的数值置为b_max。，B′表示增强背景图像。

需要补充说明的是，b_min与b_max一般取值一般为图片像素数值的上下限，b_min一般为0，b_max通常根据数据类型决定，如浮点数时取1，8位无符号整数取255。

S40，将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

作为实施例，在将前景图像、半透明通道图像以及增强背景图像进行合成时，可以采用标准的α合成方式进行合成，上述标准的α合成方式即将带α通道的一张半透明通道图像的透明和半透明度数值与前景图像和增强背景图像所对应位置的像素数值进行运算。

具体的，首先将输入的前景图像F_color与增强后的背景图像B′合成最终的合成图像I，合成公式可以如下：

I＝M_f*F_color+(1-M_f)*B′

式中，B′表示增强背景图像，I表示合成图像，M_f表示半透明通道图像。

如上述实施例的技术方案，本申请的基于色度抠像的图像合成方法适宜直播业务中的绿(蓝)幕抠像直播等应用场景中，参考图4所示，图4是一个示例的基于本申请技术方案的合成图像效果图，图中是对图1和2的示例中的相关图像进行合成的方案，通过图4可以看出，采用本申请的技术方案，在进行绿(蓝)幕抠像并与背景图像进行合成图像时，可以避免前景图像的细节信息被抠除，如图4中能够还原出主播的毛发细节和阴影细节，其中左图对应于图1的示例，右图对应于图2的示例，通过本申请的技术方案，能够还原出前景图像的大部分细节信息，从而使得合成画面更具真实感，极大地提升了合成图像显示效果。

为了更加清晰上述实施例的技术方案，下面结合附图对基于色度抠像的图像合成流程进行举例，参考图5所示，图5是一个示例的基于色度抠像的图像合成处理流程示意图，如图所示，在需要将背景图像与前景图像进行抠像合成时，首先对前景图像进行增强细节处理，包括前景预处理、背景区域中心化以及非线性变换处理等；经过处理后得到的增强细节图与背景图像进行乘法合成，得到增强背景图像，然后将前景图像及其预抠像得到的半透明通道图像、增强背景图像采用α合成方式进行合成得到合成图像；如图中合成图像效果，前景图像中的细节信息在处理过程得到增强，从而使得合成图像能够还原出前景图像的细节信息，使得合成图像更具真实感，该技术方案特别适用于前景图像及背景图像的合成阶段，可以在最终的合成图像中还原(增强)毛发、耳机线、阴影等细节对象。

如上述实施例的基于色度抠像的图像合成方法，可以应用与各种需要进行色度抠像和图像合成的场景中。作为一个实施例，本申请所提供的基于色度抠像的图像合成方法，特别适用于网络直播系统中，通过在直播过程中，对参与直播连麦的各个主播进行基于色度抠像的人像图像抠图处理，并再与背景图像进行合成，由此可以形成多个连麦主播在同一个背景下的混画合成过程。

为此，以下将提供本申请一个应用于连麦直播场景中进行混画合成的实施例方案，参考图6所示，图6是一个示例的网络直播系统的拓扑图，基于该图示的网络直播系统包括了主播端(即主播客户端)、直播服务器以及观众端，多个主播端(图中所示主播端1、主播端2，对应主播1、主播2)建立与直播服务器的直播连接，通过直播服务器来建立直播连麦，同时直播服务器利用背景图像，将各个主播端上传的前景图像进行抠图得到相应主播的人像图像，并在该背景图像上进行直播连麦互动，连麦主播进行直播连麦互动会生成连麦视频流推送至观众端。

在一个实施例中，前景图像可以为主播端的连麦主播在设定颜色的背景幕布前拍摄的视频图像；一般是绿幕背景，进行绿幕抠图；据此，本实施例的技术方案，在进行连麦直播的前期，首先由直播服务器建立与各个参与直播连麦的主播端之间的直播连接；具体的，主播端1与主播端2通过直播服务器进行连麦，并选定虚拟背景素材作为连麦的背景图像(背景图像的类型包括静态图片、动态视频等)，主播在此过程中，可以根据需求来选定背景图像，主播可以在界面面板上选择喜好的背景图像，并可以在客户端界面上进行实时预览，图中右图是单色背景实时图像，左图是替换了背景图像合成预览视图，右侧为功能区，主播可以进行根据面板提供功能进行使用。

在建立起了直播连麦后，直播服务器开始接收至少两个主播端上传的视频图像数据，如图中主播端1和主播端2的视频图像数据；其中视频图像数据中可以包括主播端所采集的主播的前景图像及其预抠图得到的半透明通道图像；具体的，主播端可以采集到主播的视频图像，通过对进行预抠图处理，提取行为数据(如胳膊动作、手势、身体的整个轮廓等数据)得到半透明通道图像；然后在直播服务器上，就可以采用前述实施例的基于色度抠像的图像合成方法，对前景图像进行前景细节提取和增强处理，再将待合成的背景图像与增强细节图进行合成得到增强背景图像，最后将前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像，如将主播端1和主播端2的主播1和主播2的人像图像混画合成到背景图像上，形成虚拟同台场景，从而实现了虚拟同台功能。

进一步的，在合成得到目标合成图像之后，还包可以基于目标合成图像获取连麦主播互动产生的连麦视频图像以及互动特效；将连麦视频图像以及互动特效进行编码成连麦视频流推送至观众端；例如，在混画合成得到虚拟同台场景之后，可以在虚拟同台场景中进行的连麦互动所产生的联合虚拟礼物特效，放置在虚拟同台场景上进行渲染，并生成连麦视频流推送CDN网络，分发到各个观众端进行观看。

在一个实施例中，本申请实施例的基于色度抠像的图像合成方法，直播服务器还可以将其他主播端上传的视频图像数据下发至任一主播端，由此使得各个主播端基于所采集的主播的前景图像及其预抠图得到的半透明通道图像，与其他主播的前景图像及其预抠图得到的半透明通道图像，以及背景图像进行混画合成。

例如，主播端1在向主播端2发起连麦时，将选定的背景图像的URL添加到视频图像数据中；直播服务器接收到视频数据息后，转发给主播端2，主播端2就可以在本地进行混画合成过程，从而实现在本地快速生成预览的混画图像的效果。

下面阐述基于色度抠像的图像合成装置的实施例。

参考图7所示，图7是一个实施例的基于色度抠像的图像合成装置的结构示意图，包括：

细节增强处理模块10，用于对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；

透明通道获取模块20，用于获取所述前景图像预抠像得到的半透明通道图像；

增强背景生成模块30，用于将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；

图像合成模块40，用于将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

本实施例的基于色度抠像的图像合成装置可执行本申请的实施例所提供的一种基于色度抠像的图像合成方法，其实现原理相类似，本申请各实施例中的基于色度抠像的图像合成装置中的各模块所执行的动作是与本申请各实施例中的基于色度抠像的图像合成方法中的步骤相对应的，对于基于色度抠像的图像合成装置的各模块的详细功能描述具体可以参见前文中所示的对应的基于色度抠像的图像合成方法中的描述，此处不再赘述。

下面阐述视频直播系统的实施例。

本申请的视频直播系统，包括：至少一个主播客户端和直播服务器；主播客户端用于获取前景图像及其对应的半透明通道图像，并上传至直播服务器；直播服务器采用上述实施例的基于色度抠像的图像合成方法将所述前景图像的抠像图像与背景图像进行合成。

为了便于更加详细体现本申请的基于色度抠像的图像合成技术方案的效果，下面结合在视频直播系统中的示例进行描述。如前面实施例所述，参考图8所示，图8是一个示例的视频直播系统结构示意图，包括主播客户端和直播服务器，下面是以在连麦直播中，主播客户端1和主播客户端2为例进行示例描述。

在上述示例中，主播客户端可以通过摄像头采集主播的前景图像，将前景图像的绿幕背景进行预抠像输出半透明通道图像，然后利用H264、HEVC等编码算法进行压缩发送到直播服务器。直播服务器获取到背景图像，利用上述基于色度抠像的图像合成方法得到增强背景图像，然后将前景图像及其半透明通道图像、增强背景图像采用α合成方式进行合成得到合成图像，将主播客户端1和主播客户端2的主播1和主播2合成到一个背景图像上，从而实现了虚拟同场混画，具体的，如图8中，主播端可以由手机和PC组成，也可以由摄像头和便携式电脑等组成，当然实际应用中可以根据需要进行选择组合设备，各个主播端分别通过网络连接至直播服务器，直播服务器进行连麦直播，然后将直播的视频流推送到各个观众端进行观看，实现了连麦直播的虚拟同场混画功能，观众端可以是PDA、平板电脑、PC或者便携式电脑等设备终端。

作为示例，主播端可以包括开播工具和客户端，其中，开播工具集成了虚拟摄像头，具备美颜、抠图等各种功能，客户端是基于语音及视频直播的软件客户端。直播中可以提供多种类型(娱乐/交友/约战/游戏/教育等)的直播模板，本示例中可以通过面向秀场直播的娱乐模板来实现连麦直播。

对于主播端：

(1)，开播工具负责进行摄像头采集，对主播的视频图像进行美颜、磨皮、瘦脸等处理，然后基于色度抠像技术对前景图像进行预抠图处理，提取行为数据(如胳膊动作、手势、身体的整个轮廓等数据)得到半透明通道图像；客户端将前景图像、半透明通道图像以及图像相关信息(使用SEI信息传递的AI关键点信息，人脸、手势和头部等关键点信息，开播特效信息，玩法礼物信息，以及其他信息等等)上传到直播服务器。

(2)主播端发起连麦连接，例如主播端1与主播端2通过直播服务器进行连麦，并选定背景图像(静态图片、动态视频等)，背景图像以URL的形式放入到SEI信息中发送至直播服务器。

(3)对主播的视频图像进行美颜、虚拟特效处理功能；例如，磨皮、瘦脸、变脸、戴墨镜等等。

对于直播服务器：

(1)转发主播端的视频流信息，例如，将主播端1的视频流信息转发给主播端2，从而使得主播端2，从而使得主播端1可以在本地进行混画合成。

(2)将连麦直播产生的视频流推流给观众端，例如，将主播端1和主播端2上传的前景图像中所抠图的人像图像以及背景图像进行混画，把混画后的图像进行编码推流到CDN分发网络，发送给各个观众端。

(3)直重新渲染主播端上的虚拟特效内容；例如，主播端1和主播端2各自在连麦过程需要展示的虚拟礼物特效，根据AI关键点信息进行换算得到虚拟特效内容的渲染位置，然后在直播服务器上重新进行渲染；另外，同步渲染连麦互动所产生的联合虚拟礼物特效，并生成连麦视频流推送到观众端。

对于观众端：

(1)接收直播服务器推送的连麦视频流，并在观众端界面上进行播放。

(2)对连麦直播过程进行卡麦，首先建立与直播服务器的连接，下载主播端1和主播端2的视频图像数据，在本地进行预览，同时上传卡麦用户的音频流，由直播服务器添加到连麦视频流当中，推送给观众端。

下面阐述电子设备和计算机可读存储介质的实施例。

本申请提供一种电子设备的技术方案，用以实现基于色度抠像的图像合成方法相关功能。

在一个实施例中，本申请提供一种电子设备，该电子设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于任意实施例的基于色度抠像的图像合成方法。

如图9所示，图9是一示例的电子设备的框图。该电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电力组件906，多媒体组件908，音频组件909，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为装置900的各种组件提供电力。

多媒体组件909包括在装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。

音频组件909被配置为输出和/或输入音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。

通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。

本申请提供一种计算机可读存储介质的技术方案，用以实现基于色度抠像的图像合成方法相关功能。该计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行任意实施例的基于色度抠像的图像合成方法。

在示例性实施例中，计算机可读存储介质可以是一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种基于色度抠像的图像合成方法，其特征在于，包括：

对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；

获取所述前景图像预抠像得到的半透明通道图像；

将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；

将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

2.根据权利要求1所述的基于色度抠像的图像合成方法，其特征在于，对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图，包括：

对前景图像进行预处理；

对所述预处理后的前景图像进行背景区域中心化处理，得到前景细节图；

对所述前景细节图进行非线性变换，得到增强细节图。

3.根据权利要求2所述的基于色度抠像的图像合成方法，其特征在于，对前景图像进行预处理，包括：

将前景图像进行转换为灰度图，并对所述灰度图进行归一化处理。

4.根据权利要求3所述的基于色度抠像的图像合成方法，其特征在于，对所述预处理后的前景图像进行背景区域中心化处理，得到前景细节图，包括：

获取所述预处理后的前景图像在背景区域上的数值分布；

根据所述数值分布计算出背景区域的代表数值；

根据所述代表数值计算背景区域取值中心化为“1”的前景细节图。

5.根据权利要求4所述的基于色度抠像的图像合成方法，其特征在于，对所述前景细节图进行非线性变换，得到增强细节图，包括：

利用非线性函数对所述前景细节图的细节信息进行变换处理得到增强细节图；其中，所述前景细节图的细节信息用于描述在背景区域数值与非背景区域数值之间的差值。

6.根据权利要求5所述的基于色度抠像的图像合成方法，其特征在于，所述非线性函数为S型曲线函数；其中，该S型曲线函数的变量取值满足在[0，2]的范围内单调递增，且变量为0时函数取值为0，变量为1时函数取值为1。

7.根据权利要求2所述的基于色度抠像的图像合成方法，其特征在于，将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像，包括：

通过乘法合成方式将所述增强细节图合成到所述背景图像中，得到增强背景图像。

8.根据权利要求2所述的基于色度抠像的图像合成方法，其特征在于，将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像，包括：

采用α合成方式将所述前景图像、半透明通道图像以及增强背景进行合成图像进行合成得到细节增强的目标合成图像。

9.根据权利要求1-8任一项所述的基于色度抠像的图像合成方法，其特征在于，所述前景图像为主播端的连麦主播在设定颜色的背景幕布前拍摄的视频图像；

所述对前景图像进行前景细节进行提取和增强处理之前，还包括：

建立与各个参与直播连麦的主播端之间的直播连接；

接收至少两个所述主播端上传的视频图像数据；其中，所述视频图像数据包括主播端所采集的主播的前景图像及其预抠图得到的半透明通道图像。

10.根据权利要求9所述的基于色度抠像的图像合成方法，其特征在于，还包括：

将其他主播端上传的视频图像数据下发至任一主播端；使得所述主播端基于所采集的主播的前景图像及其预抠图得到的半透明通道图像，与其他主播的前景图像及其预抠图得到的半透明通道图像，以及背景图像进行混画合成。

11.根据权利要求9所述的基于色度抠像的图像合成方法，其特征在于，所述将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像之后，还包括：

基于所述目标合成图像获取连麦主播互动产生的连麦视频图像以及互动特效；

将所述连麦视频图像以及互动特效进行编码成连麦视频流推送至观众端。

12.一种基于色度抠像的图像合成装置，其特征在于，包括：

细节增强处理模块，用于对前景图像进行前景细节进行提取和增强处理，获得所述前景图像的增强细节图；

透明通道获取模块，用于获取所述前景图像预抠像得到的半透明通道图像；

增强背景生成模块，用于将待合成的背景图像与所述增强细节图进行合成，得到增强背景图像；

图像合成模块，用于将所述前景图像、半透明通道图像以及增强背景图像进行合成得到目标合成图像。

13.一种视频直播系统，其特征在于，包括：至少一个主播客户端和直播服务器；所述主播客户端用于获取所述前景图像及其对应的半透明通道图像，并上传至直播服务器；

所述直播服务器采用权利要求1-11任一项所述的基于色度抠像的图像合成方法将所述前景图像的抠像图像与背景图像进行合成。

14.一种电子设备，其特征在于，该电子设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-11任一项所述的基于色度抠像的图像合成方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行权利要求1-11任一项所述的基于色度抠像的图像合成方法。