CN106204426A - 一种视频图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种视频图像处理方法和装置，属于互联网领域，通过在主播直播的时候替换背景，实现更便捷地直播。所述方法包括：直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；将所述主体部分图像和所述真实背景部分图像相分离；利用预先获取的虚拟背景替换所述真实背景部分图像；将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。本发明用于视频直播。

Description

一种视频图像处理方法和装置

技术领域

本发明涉及互联网领域，特别涉及一种视频图像处理方法和装置。

背景技术

随着计算机和互联网技术的发展，各种直播类的应用程序越来越多，用户可以利用各种终端设备登录这些直播类的应用程序，进入感兴趣的直播间，观看主播的直播节目。

主播在进行直播时，往往是将镜头内拍摄到的实时画面通过网络传输给用户观看。也就是说，直播间的用户看到的画面是主播周围的实时画面。

但是，现有的这种展现主播四周实时画面的方式应用范围比较窄，因为一旦主播的位置固定(例如在家里)，主播所处的四周环境往往不会变化或变化较小。当需要提供不同的四周环境(例如，家里装修太差，不适宜直播)时，需要主播更换直播地点，给直播带来不便。

发明内容

本发明实施例提供了一种图像处理方法和装置，能够丰富直播画面，以更便捷地进行直播。

一方面，提供了一种视频图像处理方法，所述方法包括：

直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

将所述主体部分图像和所述真实背景部分图像相分离；

利用预先获取的虚拟背景替换所述真实背景部分图像；

将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

可选地，所述主体部分图像为直播时涉及直播间主播的部分，所述真实背景部分图像为主播身后真实存在的纯色幕布部分，所述虚拟背景为本地存储的图片或直播网站上提供的背景图片。

可选地，在所述将所述主体部分图像和所述真实背景部分图像相分离之后，所述方法还包括：

将所述真实背景部分图像转换成黑色的纹理图。

可选地，在所述将所述主体部分图像和所述真实背景部分图像相分离之后，所述方法还包括：

对所述主体部分图像进行边缘平滑滤波处理；

所述将所述主体部分图像和所述虚拟背景组合成第二视频图像包括：

将经过边缘平滑滤波处理的主体部分图像和所述虚拟背景组合成第二视频图像。

可选地，所述对所述主体部分图像进行边缘平滑滤波处理包括：

找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；

利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。

可选地，所述方法还包括：

在主播运动时，重新采集第一视频图像，将所述主体部分图像和所述真实背景部分图像相分离；利用所述虚拟背景替换所述真实背景部分图像；将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

另一方面，提供一种视频图像处理装置，包括：

视频图像采集模块，用于在直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

处理模块，用于将所述主体部分图像和所述真实背景部分图像相分离，并利用预先获取的虚拟背景替换所述真实背景部分图像，将所述主体部分图像和所述虚拟背景组合成第二视频图像；

输出模块，用于向用户终端输出所述第二视频图像。

可选地，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块还用于：将所述真实背景部分图像转换成黑色的纹理图。

可选地，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块还用于：

对所述主体部分图像进行边缘平滑滤波处理；

将经过边缘平滑滤波处理的主体部分图像和所述虚拟背景组合成第二视频图像。

可选地，所述处理模块具体用于：

找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；

利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。

本发明实施例提供的视频图像处理方法和装置，将采集的第一视频图像中的主体部分图像和真实背景部分图像相分离，利用虚拟背景来替换真实背景部分图像，进而向用户终端输出所述主体部分图像和所述虚拟背景组合成的第二视频图像，能够实现主播在直播的时候可以随意替换背景(例如官方提供背景或者主播本地图片)，更便捷地进行直播。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的视频图像处理方法的流程图；

图2是本发明实施例提供的视频图像处理方法的流程图；

图3是本发明实施例提供的虚拟背景设置界面的示意图；

图4是本发明实施例提供的OBS抠图的操作界面的示意图；

图5A是替换背景前的直播界面图；

图5B是替换背景后的直播界面图；

图6是本发明实施例提供的视频图像处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的视频图像处理方法的流程图。参照图1，本发明实施例提供的视频图像处理方法可包括：

11、直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

12、将所述主体部分图像和所述真实背景部分图像相分离；

13、利用预先获取的虚拟背景替换所述真实背景部分图像；

14、将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

其中，作为一种典型应用场景，所述主体部分图像可以为直播时涉及直播间主播的图像，所述真实背景部分图像可以为主播身后真实存在的纯色幕布部分。当然，本发明并不限于此，所述主体部分图像可以根据需要来设定，例如所述主体部分图像可以为直播时涉及某一动物(例如，猫、狗等)的图像。所述纯色幕布例如可以为蓝色、绿色等颜色，纯色幕布的选取一个总体要求是需要保证颜色与主体部分图像不一样，即能够很轻易地将主图部分图像和真实背景部分图像区分开。例如，当主播穿红色衣服时，可以选择绿色或蓝色的幕布；而当主播穿蓝色衣服时，可以选取绿色或红色的幕布。

所述虚拟背景可以为本地存储的图片或直播网站上提供的背景图片。这样一来，在实际应用时，可以根据个人喜好来选择自己喜欢的图片作为直播背景。

本发明实施例提供的视频图像处理方法，将采集的第一视频图像中的主体部分图像和真实背景部分图像相分离，利用虚拟背景来替换真实背景部分图像，进而向用户终端输出所述主体部分图像和所述虚拟背景组合成的第二视频图像，能够实现主播在直播的时候可以随意替换背景(例如官方提供背景或者主播本地图片)，更便捷地进行直播。

图2是本发明实施例提供的视频图像处理方法的流程图。本发明实施例提供的视频图像处理方法可由各种终端设备来执行，例如手机、电脑等，所述终端设备上配备有摄像头以采集视频图像。参照图2，以主播进行直播为例，所述方法可包括：

21、直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成。

在具体实施时，先需要完成一些准备工作。具体地，在直播开始之前，主播需要在身后拉起一块纯色幕布(例如，绿色、蓝色等)，以将身后的真实环境用纯色幕布挡住，便于后续摄像头采集图像进行图像处理。

准备工作完成后，即可开始直播。具体地，主播可以在终端设备上安装直播类应用程序，并启动该应用程序，此时终端设备的显示屏上可以显示出该应用程序的登录界面，主播可以输入个人的账号和密码来登录。登录后可开启直播间，此时直播开始。

22、将所述主体部分图像和所述真实背景部分图像相分离。

本步骤可以利用各种抠图技术来实现。例如，利用OBS抠图来将主播图像和纯色幕布图像分离。

在此步骤之前，还可以进一步确定终端设备内是否有图形处理单元(GPU)，目前市面上大部分的电脑，不论是集成显卡还是独立显卡都有GPU。若含有GPU，则继续执行下面的步骤，若没有GPU，则可提示无法进行视频图像处理。

23、将所述真实背景部分图像转换成黑色的纹理图。

本步骤可由GPU来完成。GPU将抠图后真实背景部分图像进行纹理化处理，由于纹理图里的点不需要进行GPU图像运算，这样可以大大减轻GPU的负荷，提高了软件性能。

GPU将与主播选择的幕布颜色相近的RGB颜色转换成纯黑色的纹理图之后，会将纹理图映射成RGB 24位图，然后进行输出。

24、对所述主体部分图像进行边缘平滑滤波处理。在RGB 24位图出来之后，GPU会对主体部分图像进行边缘的平滑处理，因为如果不处理的话，主播移动的时候会造成大量的残影。

边缘平滑处理的原理是：对边缘处的图像进行像素值加权平均的过程，每一个像素点的RGB值，都由其本身和邻域内的其他像素点的RGB值经过加权平均后得到。这样就做到了尽量的平滑，大大的减少了重影的显示。

其中，本步骤中进行边缘平滑滤波处理可具体包括：找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。

其中，找出横排所有的边缘点可以具体为：确定横排每一行上的所有点的RGB值以及这一行中点的RGB值，确定离该中点最远的两个端点为该行的边缘点。

找出竖排所有的边缘点可以具体为：确定竖排每一列上的所有点的RGB值以及这一列中点的RGB值，确定离该中点最远的两个端点为该列的边缘点。

25、利用预先获取的虚拟背景替换所述真实背景部分图像，并将经过边缘平滑滤波处理的所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

可选地，在主体部分运动时，本发明实施例提供的视频图像处理方法还可包括：在主播运动时，重新采集第一视频图像，将所述主体部分图像和所述真实背景部分图像相分离；利用所述虚拟背景替换所述真实背景部分图像；将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

在本发明实施例中，图像处理是根据每一帧都会进行的(一般直播的帧率为15-30帧)，主播运动时会自动触发GPU进行边缘平滑滤波处理，消除虚拟背景与运动对象颜色重叠造成的重影。

本发明实施例提供的视频图像处理方法可以方便主播随时更换自己喜好的场景，同时可以节省主播为了直播的装修费用，只需要从网络上面下载对应的图片即可运用到直播中。

下面结合图3-图5B的具体界面图对本发明进行进一步阐释。

在本发明中，在直播正式开始之前，主播拉起纯色幕布和开启直播软件之后，可通过虚拟背景设置界面和OBS抠图的操作界面进行相应设置。

本发明实施例提供的虚拟背景设置界面可如图3所示，通过虚拟背景设置界面中可选择是否启用去背景功能(只有开启此功能，才能实现本发明的背景替换)，设置背景色以及选择要选用的虚拟背景。其中，虚拟背景中的图片可以为官方提供的图片，也可以是用户本地上传的图片，图3中前四个为官方提供的图片，后面2个是用户上传的图片。图3界面中的设置背景色就是设置主播直播时的幕布颜色，相似性可以调整用户的边缘显示。

OBS抠图的操作界面可如图4所示，利用图4所示操作界面可以对抠图处理的各种参数进行设置。

待虚拟背景设置界面和OBS抠图的操作界面设置好之后，即可开启直播。图5A显示的是主播替换直播背景之前的直播界面图，图5B显示的是主播替换直播背景之后的直播界面图。由图5A和图5B的效果图对比可知，本发明实施例提供的视频图像处理方法可具有很好的应用效果。主播直播时可随时更换自己喜好的场景，同时可以节省主播为了直播的装修费用，因为只需要从网络上面下载对应的图片即可将该图片作为直播背景运用到直播中。

图6是本发明实施例提供的一种视频图像处理装置的结构框图。参照图6,，所述视频图像处理装置60可包括：

视频图像采集模块61，用于在直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

处理模块62，用于将所述主体部分图像和所述真实背景部分图像相分离，并利用预先获取的虚拟背景替换所述真实背景部分图像，将所述主体部分图像和所述虚拟背景组合成第二视频图像；

输出模块63，用于向用户终端输出所述第二视频图像。

其中，所述视频图像处理装置60可以为例如手机、电脑等终端设备，所述视频图像采集模块61可以为各种不同类型的摄像头，所述处理模块62可以包括CPU和/或GPU，所述输出模块63可以为各种通信接口。

本发明实施例提供的视频图像处理装置，将采集的第一视频图像中的主体部分图像和真实背景部分图像相分离，利用虚拟背景来替换真实背景部分图像，进而向用户终端输出所述主体部分图像和所述虚拟背景组合成的第二视频图像，能够实现主播在直播的时候可以随意替换背景(例如官方提供背景或者主播本地图片)，更便捷地进行直播。

可选地，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块62还用于：将所述真实背景部分图像转换成黑色的纹理图。

可选地，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块62还用于：

对所述主体部分图像进行边缘平滑滤波处理；

将经过边缘平滑滤波处理的主体部分图像和所述虚拟背景组合成第二视频图像。

可选地，所述处理模块62具体用于：

找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；

利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。

本发明实施例提供的视频图像处理装置可以方便主播随时更换自己喜好的场景，同时可以节省主播为了直播的装修费用，只需要从网络上面下载对应的图片即可运用到直播中。

需要说明的是：上述实施例提供的视频图像处理装置仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频图像处理装置与视频图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图像处理方法，其特征在于，所述方法包括：

直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

将所述主体部分图像和所述真实背景部分图像相分离；

利用预先获取的虚拟背景替换所述真实背景部分图像；

将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

2.根据权利要求1所述的方法，其特征在于，所述主体部分图像为直播时涉及直播间主播的部分，所述真实背景部分图像为主播身后真实存在的纯色幕布部分，所述虚拟背景为本地存储的图片或直播网站上提供的背景图片。

3.根据权利要求1或2所述的方法，其特征在于，在所述将所述主体部分图像和所述真实背景部分图像相分离之后，所述方法还包括：

将所述真实背景部分图像转换成黑色的纹理图。

4.根据权利要求1或2所述的方法，其特征在于，在所述将所述主体部分图像和所述真实背景部分图像相分离之后，所述方法还包括：

对所述主体部分图像进行边缘平滑滤波处理；

所述将所述主体部分图像和所述虚拟背景组合成第二视频图像包括：

将经过边缘平滑滤波处理的主体部分图像和所述虚拟背景组合成第二视频图像。

5.根据权利要求4所述的方法，其特征在于，所述对所述主体部分图像进行边缘平滑滤波处理包括：

找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；

利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

一旦主播运动，执行以下步骤：

重新采集第一视频图像，将所述主体部分图像和所述真实背景部分图像相分离；利用所述虚拟背景替换所述真实背景部分图像；将所述主体部分图像和所述虚拟背景组合成第二视频图像，并向用户终端输出所述第二视频图像。

7.一种视频图像处理装置，其特征在于，所述装置包括：

视频图像采集模块，用于在直播开始时，采集第一视频图像，所述第一视频图像由主体部分图像和真实背景部分图像构成；

处理模块，用于将所述主体部分图像和所述真实背景部分图像相分离，并利用预先获取的虚拟背景替换所述真实背景部分图像，将所述主体部分图像和所述虚拟背景组合成第二视频图像；

输出模块，用于向用户终端输出所述第二视频图像。

8.根据权利要求7所述的视频图像处理装置，其特征在于，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块还用于：将所述真实背景部分图像转换成黑色的纹理图。

9.根据权利要求7所述的视频图像处理装置，其特征在于，在将所述主体部分图像和所述真实背景部分图像相分离之后，所述处理模块还用于：

对所述主体部分图像进行边缘平滑滤波处理；

将经过边缘平滑滤波处理的主体部分图像和所述虚拟背景组合成第二视频图像。

10.根据权利要求9所述的视频图像处理装置，其特征在于，所述处理模块具体用于：

找出所述主体部分图像中横排所有的边缘点和竖排所有的边缘点；

利用高斯滤波算法分别对横排所有的边缘点和竖排所有的边缘点进行平滑处理。