CN117641062A - 一种在视频通话中处理视频背景环境的系统 - Google Patents

Abstract

本发明公开了一种在视频通话中处理视频背景环境的系统，包括：用户终端，包括发送视频信息的第一用户终端和接收视频信息的第二用户终端，第一用户终端包括视频发送单元；视频转发服务模块：用于获取视频转发请求，根据视频转发请求，将视频流重编码成不同码率的数据，下发至第二用户终端；背景处理服务模块：用于响应第一用户终端的背景处理请求，对来自第一终端的视频帧执行背景处理，将处理完成的视频帧发送给视频转发服务模块；音频传输控制单元：用于同步处理来自第一用户终端的音频信息后转发至第二用户终端。根据上述技术方案，在实现视频通话的过程中，满足实时图像处理需求的同时解决可能对通话质量产生影响的网络延迟和数据丢包问题。

Description

一种在视频通话中处理视频背景环境的系统

技术领域

本发明涉及视频通话处理领域，具体而言，涉及一种在视频通话中处理视频背景环境的系统。

背景技术

现如今，在视频互动应用中，有一些场景需要将视频中的一部分画面内容识别出来并进行实时计算，以实现某些特殊效果。例如，视频通话过程中有的用户比较在意自己所处的环境被对方看到，于是就有了背景环境处理的需求，通常称之为虚拟背景，系统使用其他环境图片替换当前背景环境或将背景模糊处理。实现虚拟背景处理需要将画面中人像和背景从原始图像中分离出来(可称为抠图)，处理完成后将背景图像替换成预设的图像数据即实现虚拟背景效果，满足用户的隐私保护需求。

背景环境处理方案主要有基于信号滤波器的图形边缘检测算法以及基于人工智能的人像识别两种方式，信号滤波器图形边缘检测算法有背景颜色简单、与人像需要有明显色差等使用限制，可用于简单场景的应用处理，不符合视频通话应用的实际使用场景。而近几年快速发展的人工智能处理算法随着技术的不断迭代更新，现在已经可以在复杂场景中精准的识别人体边缘(甚至可以精细到发丝的程度)，为了在视频通话中有更好的用户体验，使用人工智能算法实现图像处理功能已经成为现在技术实现的必然选择。技术进步带来了效率和体验的提升，但是出于造价成本和应用普适性等因素，对运行设备则有一定的要求。

另一方面，随着智能电视的普及，鉴于电视屏幕大的特点，它逐渐被用做家庭客厅场景视频通话的显示端。但通常视频通话应用程序依旧安装在手机、平板电脑、个人电脑上，电视机仅仅只是作为有线或无线投屏显示终端来使用，图像处理操作也是在核心应用程序运行的主机上完成。而投屏操作复杂、数据传输延迟等体验问题对当前使用电视机的主要用户——老人和儿童并不友好，因此他们需要能够在智能电视上无需其他计算设备配合情况下就可以直接使用的视频通话应用。为了让一些非智能电视和老旧的数字电视能够升级使用智能电视功能，市面上也出现了很多智能机顶盒产品，其中有互联网OTT(OverThe Top)机顶盒，也有网络运营商IPTV机顶盒。它们被安装到千家万户，但类似的问题同样存在，这些智能电视或机顶盒因为成本控制严格，技术指标宽容度低，而它们销售发行量大、迭代更新周期长等因素，导致设备的计算性能并不能跟上应用发展的速度。例如，视频会议或者远程问诊等应用会被预安装在智能电视或者机顶盒上，用户可以直接在电视上使用实时视频通讯功能，不再需要从其它设备投屏到电视上显示。而由于设备性能差，要将图像处理等高阶计算应用运行在老旧的智能电视或机顶盒上也不太可能，它的处理速度无法达到实时视频通讯的要求，所以当前智能电视或机顶盒应用市场上少有满足低性能设备处理视频通话过程中的背景环境特性的应用。

发明内容

为解决上述问题，本申请提供了一种在视频通话中处理视频背景环境的系统，包括：

用户终端，包括发送视频信息的第一用户终端和接收视频信息的第二用户终端，其中第一用户终端包括视频发送单元；

背景处理服务模块：用于响应第一用户终端的背景处理请求，对来自第一用户终端的视频帧执行背景处理，将处理完成的视频帧发送给视频转发服务模块；

视频转发服务模块：用于获取视频转发请求，根据视频转发请求，将视频流重编码成不同码率的数据，下发至第二用户终端；视频转发请求来自背景处理服务模块或者第一用户终端；

音频传输控制单元：用于同步处理来自第一用户终端的音频信息，将音频信息转发至第二用户终端，该同步处理用于控制音频的转发延时，使第二用户终端播放音频信息与视频信息的时间一致。

进一步的，背景处理服务模块包括：

资源分配单元：用于为第一用户终端提供网络端口、处理线程、推理架构接口；

图像处理单元：用于获取待处理图像数据，将所述图像数据送入图像处理模型，获取中间处理图像数据和背景环境图像，将所述中间处理图像和背景环境图像融合计算，生成虚拟背景图像；

图像数据缓冲单元：用于预存待处理图像和虚拟背景图像。

其中，背景处理服务模块与视频转发服务模块部署在同一网段。

进一步的，背景处理服务模块还包括：延时同步控制单元，用于计算视频帧执行背景处理造成的延时指标，将延时指标发送给音频传输控制模块；

音频传输控制单元根据延时指标调整音频的转发延时。

其中，第一用户终端生成视频转发请求，支持用户选择是否开启背景处理；

如果开启背景处理，视频发送单元向背景处理服务模块发起视频转发请求，将视频信息发送至背景处理服务模块；如果未开启背景处理，视频发送单元向视频转发服务模块发起视频转发请求，将视频信息发送至所述视频转发服务模块。

其中，视频转发请求包括视频转发服务器信息、背景处理服务器信息、会话ID、编码器ID和图像数据；

如果开启背景处理，所述视频转发请求中的图像数据为通过背景处理服务模块处理后的图像数据，否则，所述视频转发请求中的图像数据为来自第一用户终端的图像数据。

进一步的，图像处理单元在获取待处理图像数据前，接收上行视频流，获取视频帧作为原图像，将所述原图像的数据解码为288x512大小的RGB格式的数据，生成待处理图像数据；

其中，中间处理图像数据为1x288x512的0-1之间的浮点数数组，由图像处理模型生成；

将中间处理图像和背景环境图像融合计算前，将中间处理图像数据恢复为原图像大小。

进一步的，第一用户终端还包括回显单元，用于接收来自背景处理服务模块处理完成的视频帧进行回显。

回显单元还包括图像数据缓冲单元，用于预存虚拟背景图像，包括：接收到虚拟背景图像后保存到所述图像数据缓冲单元，图像预览线程尝试从所述图像数据缓冲单元获取显示图像，直到成功获取图像后，停止从摄像头获取预览数据。

在本发明中，通过服务器部署设计及视频数据流向设计方法，实现视频通话的过程中，满足实时图像处理需求的同时解决应用中可能对通话质量产生影响的网络延迟和数据丢包问题。

附图说明

图1是根据本发明实施例提供的视频通话中处理背景环境的系统结构图；

图2是视频通话中处理背景环境的现有技术与本发明提供实施例的视频流流向对比图；

图3是根据本发明实施例提供的视频通话中处理背景环境的时序图；

图4是根据本发明实施例提供的视频通话中处理背景环境的线程处理流程图；

图5是根据本发明实施例提供的视频通话中处理背景环境系统的背景处理服务流程图；

图6是根据本发明实施例提供的视频通话中处理背景环境时应用数据到达服务器耗时对比图。

具体实施方式

目前常用视频通话系统的视频流走向如图2的P201所示，其中包括VS(VideoServer)视频服务器，用户终端与VS通过RTP流媒体传输协议传输视频流，服务器实现了多码率支持等功能，用户将视频流发送到VS服务器后，VS根据用户的请求情况，将视频流重编码成不同码率的数据，然后根据每个用户的网络情况，分别下发用户所请求的其他用户的适当码率视频流给不同的用户(如将A用户1M码率的视频流和B用户400K码率的视频流发送给C用户，将B用户800K码率的视频流发送给A用户)，一般情况下用户视频流的上行和下行都是直接与VS服务器交互。其中用户终端支持智能电视或者机顶盒。

如果需要在视频通话过各加入背景环境处理，对智能电视或机顶盒而言，其配置大多都是4核CPU、1G运行内存、8G存储容量，这种配置只能满足简单的视频编解码。人工智能图像处理模型因为参数量大的特点，需要的运行内存远超1G，所以人工智能图像处理模型根本无法在这些智能电视或机顶盒运行。在此环境下，常用实现方案如图2的P202、P203和P203所示：

P202部分的方案中，提供了MS(Matting Server)图像处理服务器作为视频服务器的附属服务器。将MS作为VS的功能附属服务器，为VS提供背景图像处理(如抠图)功能支持，视频流上传到VS后，VS判断该视频流上传用户是否请求图像处理服务，如果已请求图像处理服务则将视频流转发给MS，MS执行图像处理操作，完成后再将处理后的视频流回传给视频服务器。该方案的缺点是：VS需要判断视频流的来源是MS还是客户端，也需要判断视频流是否需要执行图像处理操作，过多的判断逻辑导致代码逻辑混乱且冗余；

P203部分的方案中，图像处理服务器MS作为独立的功能支持服务器。客户端直接向MS请求背景图像处理支持，客户端先将视频流发送MS，MS处理完成后将数据回发给客户端，客户端再走原流程向VS发送视频流。该方案的优点是：MS服务器设计为一个独立的功能支持服务器，可以为任何需要该技术支持的业务提供服务。该方案的缺点是：客户端有两路视频流传输，增加了带宽压力，且两路视频流都需要做码率控制和丢包补偿，代码逻辑复杂。

P204部分的方案中，将图像处理服务器MS作为中转服务器，但VS和MS两个服务器没有部署于同一个内网环境。客户端将视频发送到MS，MS处理完成后发送处理后的视频流给VS，VS分发的视频流也是由MS转发给客户端。该方案的优点是：客户端只有一路上行视频流，视频服务器也不需要判断视频流来源区别处理。该方案的缺点是：图像处理服务器和视频服务器也可能存在丢包延迟等问题，也需要做码率适配和丢包补偿等操作，多余的码率切换可能导致图像清晰度下降。

本发明针对智能电视或机顶盒等低性能设备，提出了一种在视频通话过程中对视频背景进行人工智能图像处理的实现方案，通过合理的云服务器部署方案，将人工智能图像处理的实现部署在云服务器，在解决电视用户的视频通话隐私保护的同时，将图像延迟、网络数据丢包等缺陷控制在可接受的范围内。

下面结合说明书附图对本发明的具体实现方式做一详细描述。

图1是本发明提供的在视频通话中处理视频背景环境的系统结构图，如图所示，包括以下部分：

P100用户终端，包括发送视频信息的第一用户终端和接收视频信息的第二用户终端；

本发明中，用户终端除了常用的电脑终端、手机终端，还包括智能电视或机顶盒等低性能设备。

其中，发送视频信息的第一用户终端包括视频发送单元和回显单元，视频发送单元通过摄像设备(如摄像头)获取视频信息后向外发送该视频信息；回显单元获取并播放视频信息，如果该视频信息不需要处理背景环境，其来源为用户终端的摄像设备。

发送视频信息的第一用户终端向服务器发起视频转发请求，至少包括视频转发服务器信息、背景处理服务器信息、会话ID、编码器ID和图像数据。

P200视频转发服务模块：用于获取视频转发请求，根据视频转发请求，将视频流重编码成不同码率的数据，下发至所述第二用户终端；

视频转发服务模块(Video Server)是视频通话系统中的重要环节，用户终端和VS通过RTP流媒体传输协议传输视频流VS实现了多码率支持等功能，用户将视频流发送到VS服务器后，VS根据用户的请求情况，将视频流重编码成不同码率的数据，然后根据每个用户的网络情况，分别将适当码率视频流分发给不同的用户(如将A用户1M码率的视频流和B用户400K码率的视频流发送给C用户，将B用户800K码率的视频流发送给A用户)，在未添加背景环境处理的情况下，用户视频流的上行和下行都是直接与VS服务器交互。

P300背景处理服务模块：与视频转发服务模块部署在同一网段，用于响应第一用户终端的背景处理请求，对来自所述第一终端的视频帧执行背景处理，将处理完成的视频帧发送给视频转发服务模块；

同时，背景处理服务模块处理完成的视频帧也会发送给第一用户终端，第一用户终端的回显单元则用于接收来自背景处理服务模块处理完成的视频帧并进行回显。

具体如图2的P205部分所示，MS(Matting Server)为背景处理服务模块，为视频服务器的附属服务器，为背景环境的处理提供功能支持，本发明的方案中，MS置于客户端和VS之间，且MS与VS部署与同一个内网环境，对于第一用户终端而言，MS为视频流的目的服务器，发送视频流数量没有增加、丢包处理操作也没有增加；对于VS而言，MS为上行视频流的客户端，VS不需要关注视频流的来源，不需要区分视频源做特殊处理。

由于本发明中，将MS与VS置于同一内网环境，用户终端发送路径没有改变，发送数据量也没有改变，避免了客户端带宽增加的问题，且MS与VS网络稳定，不需要考虑传输延迟和数据丢包，减少不必要的数据保障控制成本。

具体的，背景处理服务模块包括：

P301资源分配单元：用于为第一用户终端提供网络端口、处理线程、推理架构接口；

如图3所示，资源分配单元响应第一用户终端发起的背景处理请求，获取图像处理单元的资源占用情况，为本次请求分配空闲资源，并告知图像处理单元关于VS的UDP端口等信息，为第一用户终端与图像处理单元建立网络联接进行准备；第一用户终端将视频流发送到该UDP端口后，MS即可为该路视频流实施背景处理等操作。

具体的：

第一用户终端发起的背景处理请求的请求包参数如下：

资源分配单元返回给第一用户终端的回复包参数如下：

第一用户终端预览线程和socket接收线程流程图如图4所示，第一用户终端接收到MS的回复后，创建一个新的UDP通讯socket，并创建线程监听该socket接收数据，第一用户终端使用该socket发送视频流给MS，MS通过该UDP路径给第一用户终端回发背景处理后的图像。

第一用户终端的回显单元中还包括图像数据缓冲单元，用于缓存虚拟背景图像，具体的：当UDP socket接收到视频图像后保存到该缓冲区，图像预览线程尝试从该缓冲区获取显示图像，直到成功获取图像后，再停止从摄像头获取预览数据，避免等待接收过程图像卡顿。

P302图像处理单元：用于获取待处理图像数据，将图像数据送入图像处理模型，获取中间处理图像数据和背景环境图像，将中间处理图像和背景环境图像融合计算，生成虚拟背景图像；

具体而言，资源分配单元分配处理资源后，图像处理单元对应的处理线程进入等待接收第一用户终端上行视频流状态，等接收到的视频流后，先将接收到的数据解码为符合背景环境处理模型规范的数据(例如：RGB格式)，本发明涉及的背景环境处理模型输入为3x288x512的张量，因此还需要将解码后的图像缩小成288x512大小的图像。

将图像数据送入背景环境处理模型后，模型通过特征提取、上采样和改善等步骤完成背景环境处理，输出为1x288x512的0-1之间的浮点数数组，将该数组放大到与原图像一样大后，与原图像和需要替换的背景图像融合计算即可得到虚拟背景图像。

实现图像转换及合成的关键代码如下：

mattingImage即是将背景替换的特定背景图后的图像，需要重新编码成用户指定的视频压缩格式后才能分别发送给服务请求用户及VS服务器。

图像处理单元处理线程的具体流程如图5所示。

P303图像数据缓冲单元：用于预存待处理图像；

图像处理单元可将未处理的视频帧，存于图像数据缓冲单元进行处理等待，从图像数据缓冲单元提取图像数据送入图像处理模型。

P304背景处理服务模块还包括：延时同步控制单元，用于计算视频帧执行背景处理造成的延时指标，将延时指标发送给音频传输控制模块。

本发明在VS的内网段中加入MS，对于第一用户终端而言：上行数据流还是只有一路，之前视频流发往VS服务器，本方案视频流发往MS服务器，第一用户终端的数据流没有增加，并不会增加多余的带宽消耗，没有增加丢包和延迟的风险；将MS和VS部署在同一内外环境，使用网线直接相连，缩短了数据发送路径，减少网络丢包率的同时，还大幅降低了数据包传输时延；同时，背景处理服务模块基于拥有强大GPU算力的物理服务器，视频编解码及模型推理运算均使用GPU实现，使整个处理流程耗时能够降低到一个很小的范围。图6为本发明提供的方案与个人电脑端实现的背景处理(抠图)应用耗时对比图，在测试过程中个人电脑端抠图每帧耗时最低为40ms，而GPU算力服务器抠图每帧耗时都在10ms以下，假定公网传输网络稳定是60ms，则本发明数据流从智能电视或机顶盒客户端到视频服务器的时间比个人电脑端完成抠图后直接发送数据到视频服务器的时间更短，对端用户感受更流畅。

由于本发明中，音频与视频通过不同的通讯方式进行传输，延时同步控制单元获取背景环境的处理花费的时间，基于该时间制定延时指标并发送给音频传输控制单元。

音频传输控制单元根据延时指标调整对应音频的转发延时。

P400音频传输控制单元：用于同步处理来自第一用户终端的音频信息，将音频信息转发至所述第二用户终端，同步处理指控制音频的转发延时，使第二用户终端播放音频信息与视频信息的节奏一致。

本发明提供的在视频通话中处理背景环境的系统，支持第一用户终端生成视频转发请求时选择是否需要开启背景处理：

如果开启背景处理，视频发送单元向背景处理服务模块发起视频转发请求，将视频信息发送至背景处理服务模块；如果不开启背景处理，视频发送单元向视频转发服务模块发起视频转发请求，将视频信息发送至所述视频转发服务模块。

如果开启背景处理，视频转发请求中的图像数据为通过背景处理服务模块处理后的图像数据，否则，所述视频转发请求中的图像数据为来自第一用户终端的图像数据。

在本发明提出的加入背景环境处理的方案，背景环境处理服务不影响原VS服务器，VS服务器不需要做修改，极大减轻维护复杂度，除此之外，本发明还具有以下优点：

1、减轻用户终端的上行带宽压力：第一用户终端上行数据流还是只有一路，加入背景环境处理之前视频流发往VS服务器，加入背景环境处理之后，视频流发往MS服务器，第一用户终端数据流没有增加，不会增加多余的带宽消耗，没有增加丢包和延迟的风险；

2、减少网络延迟：由MS直接发包给VS，数据发送次数从现有技术中3次(客户端->MS->客户端->VS)减少到2次(客户端->MS->VS)，减少了一次发送耗时，且该方案设计将MS和VS部署在同一内外环境，使用网线直接相连，缩短了数据发送路径，减少网络丢包率的同时，还大幅降低了数据包传输时延。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种在视频通话中处理视频背景环境的系统，其特征在于，包括：

用户终端，包括发送视频信息的第一用户终端和接收视频信息的第二用户终端，所述第一用户终端包括视频发送单元；

背景处理服务模块：用于响应第一用户终端的背景处理请求，对来自所述第一用户终端的视频帧执行背景处理，将处理完成的视频帧发送给所述视频转发服务模块；

视频转发服务模块：用于获取视频转发请求，根据所述视频转发请求，将视频流重编码成不同码率的数据，下发至所述第二用户终端；所述视频转发请求来自背景处理服务模块或者第一用户终端；

音频传输控制单元：用于同步处理来自第一用户终端的音频信息，将所述音频信息转发至所述第二用户终端，所述同步处理指控制所述音频的转发延时，使所述第二用户终端播放所述音频信息与所述视频信息的时间一致。

2.根据权利要求1所述的处理视频背景环境的系统，其特征在于，所述背景处理服务模块包括：

资源分配单元：用于为第一用户终端提供网络端口、处理线程、推理架构接口；

图像处理单元：用于获取待处理图像数据，将所述图像数据送入图像处理模型，获取中间处理图像数据和背景环境图像，将所述中间处理图像和背景环境图像融合计算，生成虚拟背景图像；

图像数据缓冲单元：用于预存待处理图像。

3.根据权利要求1所述的处理视频背景环境的系统，其特征在于，所述背景处理服务模块与所述视频转发服务模块部署在同一网段。

4.根据权利要求2所述的处理视频背景环境的系统，其特征在于，所述背景处理服务模块还包括：延时同步控制单元，用于计算所述视频帧执行背景处理造成的延时指标，将所述延时指标发送给所述音频传输控制模块；

所述音频传输控制单元根据所述延时指标调整所述音频的转发延时。

5.根据权利要求1所述的处理视频背景环境的系统，其特征在于，所述第一用户终端生成视频转发请求，支持用户选择是否开启背景处理；

如果开启背景处理，所述视频发送单元向所述背景处理服务模块发起视频转发请求，将所述视频信息发送至所述背景处理服务模块；如果未开启背景处理，所述视频发送单元向所述视频转发服务模块发起视频转发请求，将所述视频信息发送至所述视频转发服务模块。

6.根据权利要求1所述的处理视频背景环境的系统，其特征在于，所述视频转发请求包括视频转发服务器信息、背景处理服务器信息、会话ID、编码器ID和图像数据；

如果开启背景处理，所述视频转发请求中的图像数据为通过背景处理服务模块处理后的图像数据，否则，所述视频转发请求中的图像数据为来自第一用户终端的图像数据。

7.根据权利要求2所述的处理视频背景环境的系统，其特征在于，所述图像处理单元在获取待处理图像数据前，接收上行视频流，获取视频帧作为原图像，将所述原图像的数据解码为288x512大小的RGB格式的数据，生成待处理图像数据；

所述中间处理图像数据为1x288x512的0-1之间的浮点数数组，由所述图像处理模型生成；

所述将所述中间处理图像和背景环境图像融合计算前，将中间处理图像数据恢复为所述原图像大小。

8.根据权利要求1所述的处理视频背景环境的系统，其特征在于，所述第一用户终端还包括回显单元，所述回显单元用于接收来自所述背景处理服务模块处理完成的视频帧进行回显。

9.根据权利要求2所述的处理视频背景环境的系统，其特征在于，所述回显单元还包括图像数据缓冲单元，用于预存虚拟背景图像，包括：接收到虚拟背景图像后保存到所述图像数据缓冲单元，图像预览线程尝试从所述图像数据缓冲单元获取显示图像，直到成功获取图像后，停止从摄像头获取预览数据。