CN113973190A - 视频虚拟背景图像处理方法、装置及计算机设备 - Google Patents

Abstract

本申请提出了一种视频虚拟背景图像处理方法、装置及计算机设备，为了保护个人隐私，在配置虚拟背景图像替换真实视频流中的真实背景图像后展示的视频会议场景下，计算机设备接收到触发指令，可以获取真实视频流中的第一视频帧，以及该第一视频帧相邻的或间隔特定帧数的历史视频帧，据此分析第一视频帧相对于历史视频帧的前景对象的移动参数，从而依据该移动参数，实现对视频界面呈现的虚拟背景图像的同步调整，使得调整后的虚拟背景图像与前景对象的融合更加自然，提高视频会议使用虚拟背景的使用感受。

Description

视频虚拟背景图像处理方法、装置及计算机设备

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种视频虚拟背景图像处理方法、装置及计算机设备。

背景技术

随着人工智能和多媒体技术的发展，多方视频通话已应用到办公、教育、医疗等各领域，各领域对多方在线远程沟通场景的应用需求迅速增加，使得视频会议成为重要的生产力工具。

在视频会议应用过程中，为了避免使用者个人隐私被泄露，可以选择使用虚拟背景替换真实环境背景，然而，在摄像头进行调焦过程中，会改变拍摄到的前景对象的显示状态(如放大/缩小等)，从而导致调焦后的前景对象与虚拟背景分离，使得视频会议界面呈现的图像不自然，降低了虚拟背景的使用感受。

发明内容

有鉴于此，本申请提供了一种视频虚拟背景图像处理方法，所述方法包括：

接收触发指令；

获取第一视频帧以及所述第一视频帧相邻的或间隔特定帧数的历史视频帧；

获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数；

依据所述移动参数对视频界面呈现的虚拟背景图像进行调整。

可选的，所述方法还包括：

依据所述第一视频帧的第一真实背景图像和所述历史视频帧的第二真实背景图像，确定所述第一视频帧的第一拍摄角度与所述历史视频帧的历史拍摄角度相同后，执行获取所述移动参数的步骤。

可选的，所述第一真实背景图像为所述第一视频帧的真实图像去除合并前景图像后得到的图像，所述第二真实背景图像为所述第二视频帧的真实图像去除合并前景图像后得到的图像，其中，所述合并前景图像为所述第一视频帧中前景对象对应的图像与所述历史视频帧中前景对象对应的图像的并集。

可选的，所述移动参数包括前后移动参数和/或平移参数；

所述前后移动参数表征所述前景对象上的第一目标参照物在所述第一视频帧中和所述历史视频帧中的长度或大小的相对变化；

所述平移参数用于表征所述前景对象上的第二目标参照物在所述第一视频帧中和所述历史视频帧中位置的相对变化。

可选的，所述移动参数还包括旋转参数，所述旋转参数表征所述第一目标参照物在所述第一视频帧中和所述历史视频帧中角度的相对变化；

所述旋转参数用于对所述前后移动参数进行修正。

可选的，所述依据所述移动参数对视频界面呈现的虚拟背景图像进行调整，包括：

根据所述移动参数对视频界面呈现的虚拟背景图像进行缩放或平移调整。

可选的，所述方法还包括：

依据所述前后移动参数，调整所述视频界面呈现的前景对象的显示亮度；和/或，

依据所述前后移动参数，对视频界面呈现的虚拟背景图像进行虚化处理。

可选的，所述依据所述移动参数对视频界面呈现的虚拟背景图像进行调整，还包括：

检测到缩小后的虚拟背景图像的显示区域，小于所述视频界面的显示区域，对所述缩小后的虚拟背景图像进行边缘填充处理。

本申请还提出了一种视频虚拟背景图像处理装置，所述装置包括：

触发指令接收模块，用于接收触发指令；

视频帧获取模块，用于获取第一视频帧以及所述第一视频帧相邻的或间隔特定帧数的历史视频帧；

移动参数获取模块，用于获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数；

虚拟背景图像调整模块，用于依据所述移动参数对视频界面呈现的虚拟背景图像进行调整。

本申请还提出了一种计算机设备，所述计算机设备包括：

通信接口；

存储器，用于存储实现如上述的视频虚拟背景图像处理方法的程序；

处理器，用于加载并执行所述存储器存储的程序，实现如上述的视频虚拟背景图像处理方法。

由此可见，本申请提出了一种视频虚拟背景图像处理方法、装置及计算机设备，为了保护个人隐私，在配置虚拟背景图像替换真实视频流中的真实背景图像后展示的视频会议场景下，计算机设备接收到触发指令，可以获取真实视频流中的第一视频帧，以及该第一视频帧相邻的或间隔特定帧数的历史视频帧，据此分析第一视频帧相对于历史视频帧的前景对象的移动参数，从而依据该移动参数，实现对视频界面呈现的虚拟背景图像的同步调整，使得调整后的虚拟背景图像与前景对象的融合更加自然，提高视频会议使用虚拟背景的使用感受。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提出的视频虚拟背景图像处理方法的一可选示例的流程示意图；

图2为本申请提出的视频虚拟背景图像处理方法的一可选场景下视频帧内容变化示意图；

图3为本申请提出的视频虚拟背景图像处理方法的又一可选场景下视频帧内容变化示意图；

图4为本申请提出的视频虚拟背景图像处理方法的又一可选示例的流程示意图；

图5为本申请提出的视频虚拟背景图像处理方法的一可选应用场景的真实背景图像获取方法示意图；

图6为本申请提出的视频虚拟背景图像处理方法的又一可选应用场景的真实背景图像获取方法示意图；

图7为本申请提出的视频虚拟背景图像处理方法中，瞳距变化与虚拟背景图像的缩放比例之间的对应关系示意图；

图8为本申请提出的视频虚拟背景图像处理方法的又一可选示例的流程示意图；

图9为本申请提出的视频虚拟背景图像处理装置的一可选示例的结构示意图；

图10为适用于本申请提出的视频虚拟背景图像处理方法的计算机设备的一可选示例的硬件结构示意图；

图11为适用于本申请提出的视频虚拟背景图像处理方法的计算机设备的又一可选示例的硬件结构示意图。

具体实施方式

针对背景技术部分的描述，为了能够使视频会议配置的虚拟背景，可以随着拍摄的前景对象(如用户)的显示变化进行同步调整，使得调焦后的前景对象与虚拟背景能够更自然的融合，从视觉上给观看用户该前景对象位于该虚拟背景中的感受。

基于此，本申请提出对拍摄得到的相邻若干视频帧进行分析，来确定当前视频帧相对于历史视频帧的前景对象移动参数，如用户相对于图像采集设备左右移动、前后移动、旋转等，由于用户所处环境往往是固定的，这会导致采集到的相应帧视频中用户在固定的真实背景中的相对位置发生变化，为了改善视频界面展示的图像效果，可能需要调整该帧视频图像，使得其中的前景对象呈现在视频界面中间区域，根据需要还可以调整图像显示状态，如显示亮度、虚化显示等。这种情况下，本申请可以依据所获得的当前视频帧中前景对象的移动参数，对视频界面呈现的虚拟背景图像进行调整，以使得该虚拟背景图像与前景对象实现同步调整，保证输出的视频界面呈现图像内容自然，有助于提高视频会议效率。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，为本申请提出的视频虚拟背景图像处理方法的一可选示例的流程示意图，该方法可以由终端或服务器等计算机设备执行，该终端可以包括但并不局限于智能手机、平板电脑、可穿戴设备、笔记本电脑、智能手表、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality， VR)设备、车载设备、台式计算机等配置有显示器的电子设备；服务器可以是提供视频通信服务的服务设备。如图1所示，本申请实施例提出的视频虚拟背景图像处理方法可以包括但并不局限于以下步骤：

步骤S11，接收触发指令；

在视频会议应用场景下，用户确定参与本次视频会议，通常需要开启电子设备或其通信连接的音频采集设备、图像采集设备，用以采集音频帧和视频帧，发送至参与本次视频会议的各电子设备进行同步展示，关于视频会议的通信控制过程本申请不做详述。

对于参与视频会议的电子设备，检测到视频会议参与的触发指令，可以生成对音频采集设备、图像采集设备以及具有视频通信功能的应用程序的启动指令，响应该启动指令，开始进入视频通话模式进行视频采集。因此，本申请实施例中的触发指令可以包括视频通话指令，用于指示上述图像采集设备进行视频图像采集，得到相应的视频帧，本申请对该触发指令的内容及其获取方法不做限制。

在本申请提出的一些实施例中，在视频会议过程中，参与者需要使用虚拟背景替代所处环境的真实背景的情况下，可以触发执行本申请提出视频虚拟背景图像处理方法，实现所配置的虚拟背景图像与参与者人像(即拍摄到的视频帧中的前景对象)的同步调整，保证视频界面呈现的图像自然。若参与者不需要使用虚拟背景图像，可以直接将采集到的视频帧发送至其他参会的电子设备输出。

因此，在本实施例中，步骤S11的触发指令可以表征在视频界面配置虚拟背景图像的情况下，触发执行本申请提出的视频虚拟背景图像处理方法的后续处理步骤的控制指令；或者可以表征触发视频界面配置虚拟背景图像的控制指令，在该情况下，可以自动触发执行本申请提出的视频虚拟背景图像处理方法的后续处理步骤。

在本申请提出的又一些实施例中，在本申请实施例提出的视频虚拟背景图像处理方法由服务器执行的情况下，上述触发指令可以是参与视频会议的电子设备发送的，且该电子设备可以在需要进行个人隐私保护，提出由虚拟背景图像替代视频会议参与者所在环境下的真实背景图像的情况下，响应针对视频会议的实现隐私保护功能的触发操作，生成相应的触发指令后发送至服务器，以使服务器接收到该电子设备发送的视频流后，可以先按照下文描述的方法视频流中的各视频帧进行处理后，再发送至参与视频会议的其他电子设备输出，使得其他视频会议参与者看到该视频会议参与者所在视频界面中的背景图像为虚拟背景图像，且保证该虚拟背景图像与该视频会议参与者的融合自然。

其中，关于视频会议中，参与视频会议的各电子设备，与提高该视频会议的通信服务的服务器之间的通信实现过程，本申请不做详述。

步骤S12，获取第一视频帧以及第一视频帧相邻的或间隔特定帧数的历史视频帧；

对于图像采集设备实际采集到的任一视频帧，本申请记为第一视频帧，由于其是对视频会议参与者及其所处环境进行拍摄，直接得到的真实视频流中的一阵视频图像，其可以包括视频会议参与者这一前景对象图像，以及该前景对象所处真实环境的真实背景图像。

结合上文对本申请技术方案的描述，为了解当前阶段前景对象的移动情况，可以结合该图像采集设备对该前景对象过去预设时长拍摄得到的历史视频帧进行分析实现，本申请对该过去预设时长的数值不做限制，可以是获取一视频帧所花费的时长，这种情况下，可以获取第一视频帧相邻上一视频帧，即获取第一视频帧相邻的历史视频帧。

在一些实施例中，通常情况下，如视频会议参与者等前景对象在参与视频会议过程中并不会频繁移动，即便会移动，移动幅度往往比较小，而相邻两个视频帧的采集时长比较小，导致前景对象在相邻两个视频帧的采集时长内的移动参数会非常小，容易产生误处理，为了提高处理可靠性，本申请实施例也可以获取与第一视频帧间隔特定帧数的历史视频帧，用以辅助实现第一视频帧中前景对象的移动参数判断。本申请对所间隔的特定帧数不做限制，为了提高视频界面输出图像效果，该特定帧数不会很大，如间隔1或2或3 等帧数的历史视频帧等，本申请对此不做限制。

可以理解，在上文实施例中，历史视频帧包含的内容类别与第一视频帧包含的内容类别可以相同，也就是说，历史视频帧也是过去相应时间图像采集设备真实采集到的视频帧，其可以包括前景对象及其在相应时间所处的真实背景图像。因此，电子设备或服务器可以存储包括距离当前时间特定时长内获取的视频帧，以便在获取第一视频帧时，可以依据第一视频帧的采集时间，调取第一视频帧相邻的或间隔特定帧数的历史视频帧，本申请对特定时长以及历史视频帧的存储方法不做限制，可视情况而定。

步骤S13，获取第一视频帧相对于历史视频帧的前景对象的移动参数；

步骤S14，依据移动参数对视频界面呈现的虚拟背景图像进行调整。

结合上文对本申请技术方案的描述，本申请希望电子设备输出的视频界面呈现的虚拟背景图像，可以随着图像采集设备采集到的前景对象的移动变化，可以同步进行调整，以保证调整后的虚拟背景图像与前景对象的融合自然，不分离。因此，可以通过分析当前获取的第一视频帧相对于历史视频帧的图像内容变化，获得前景对象的移动参数，本申请实施例步骤S13的实现方法不做限制。

可以理解，本申请实施例中，前景对象的移动参数可以包括但并不局限于前后移动参数和/或平移参数等，其中，该前后移动参数可以表征前景对象上的第一目标参照物在第一视频帧和历史视频帧中的长度或大小的相对变化，如该第一目标参照物可以包括但并不局限于前景对象的瞳孔距离(下文简称瞳距)，嘴巴、鼻子或整个头部区域的大小、两个耳朵之间的距离，或者是前景对象上预设固定的多个目标参照位置之间的相对位置关系等。

在视频会议过程中，如视频会议参与者(即前景对象)靠近或远离过程中，如图2所示的真实视频流的应用场景示意图，为了使前景对象与虚拟背景图像融合自然，随着图像采集装置对前景对象的拍摄距离增大，第一目标参照物的长度或大小也会相对增大，可以依据该相对增大参数，对视频界面呈现的虚拟背景图像进行放大处理；反之，随着图像采集装置对前景对象的拍摄距离减小，第一目标参照物的长度或大小也会相对减小，此时，可以依据该相对减小参数，对视频界面呈现的虚拟背景图像进行缩小处理，本申请对该虚拟背景图像的缩放处理实现方法不做限制。

上述前景对象的平移参数可以用于表征前景对象上的第二目标参照物在第一视频帧中和历史视频帧中位置的相对变化。该第二目标参照物可以是前景对象上的任一个或多个预设位置或预设区域，或该前景对象整个区域等，本申请对第二目标参照物的内容不做限制，可视情况而定。

基于此，在视频会议参与者相对于图像采集装置向左或右移动过程中，视频会议参与者上的第二目标参照物在相应连续采集到的若干视频帧中的相对位置会发生变化，如图3所示的真实视频流的应用场景示意图，视频会议参与者向左或向右平移过程中，图像采集设备采集到的连续若干视频帧中，真实背景图像不变，但视频会议参与者在该真实背景中的相对位置发生了相应改变，以此可以呈现视频会议参与者在所处环境下平移运动。这种情况下，可以对视频界面呈现虚拟背景图像进行平移调整，实现过程本申请不做详述。

在又一些实施例中，上述获取的移动参数还可能包括旋转参数，其可以表征第一目标参照物在第一视频帧中和历史视频帧中角度的相对变化，如视频会议参与者转动身体或头部等，所获取的第一目标参照物的俯仰角(pitch)、偏航角(yaw)和/或翻滚角(roll)等旋转角度，依据该旋转角度对上述前后移动参数进行修正处理，以利用修正后的前后移动参数实现虚拟背景图像的调整，本申请对上述旋转角度的获取方法不做限制。

可以理解，对于本申请实施例描述的旋转角度，可以基于xyz坐标系确定的三维向量，可以依据图像采集设备的拍摄角度、第一视频帧和历史视频帧中第一目标参照物的长度/大小的相对变化等信息，经过映射转换计算得到，实现过程本申请不做详述。

在本申请提出的又一些实施例中，对于上述第一视频帧和历史视频帧，也可以基于图像分割技术，对实际采集到的视频帧图像进行前景分割处理，得到的前景图像，即第一视频帧可以是指当前获取的第一前景图像，历史视频帧可以是相应历史时刻获取的第二前景图像，这种情况，获取真实视频流中的任一视频帧图像后，可以对其进行前景分割处理，得到其包含的前景图像和真实背景图像进行存储，以供后续调取，关于图像分割实现过程本申请不做详述。

之后，可以按照但并不局限于上文描述的方法，获取第一前景图像相对于第二前景图像的移动参数，据此实现对替换第一真实背景图像的虚拟背景图像的调整，实现过程本申请实施例不做赘述。

综上，在本申请实施例中，为了保护个人隐私，在配置虚拟背景图像替换真实视频流中的真实背景图像后展示的视频会议场景下，在获取真实视频流中的第一视频帧时，可以调取该第一视频帧相邻的或间隔特定帧数的历史视频帧，据此分析第一视频帧相对于历史视频帧的前景对象的移动参数，从而依据该移动参数，实现对视频界面呈现的虚拟背景图像的同步调整，使得调整后的虚拟背景图像与前景对象的融合更加自然，提高视频会议使用虚拟背景的使用感受。

参照图4，为本申请提出的视频虚拟背景图像处理方法的又一可选示例的流程示意图，本实施例可以是上文描述的视频虚拟背景图像处理方法的一可选细化实现方法，但并不局限于本实施例描述的这种细化实现方法，如图4 所示，该方法可以包括：

步骤S21，接收触发指令；

步骤S22，获取第一视频帧以及第一视频帧相邻的或间隔特定帧数的历史视频帧；

关于步骤S21和步骤S22的实现过程，可以参照但并不局限于上文实施例相应部分的描述，本实施例在此不做赘述。

步骤S23，依据该第一视频帧的第一真实背景图像和历史视频帧的第二真实背景图像，确定第一视频帧的第一拍摄角度与历史视频帧的历史拍摄角度相同；

本申请实施例中，第一视频帧和历史视频帧可以是图像采集设备进行图像采集直接得到的视频流，其可以包括前景对象及其所处环境的背景图像。上述步骤S23中，第一真实背景图像可以是指第一视频帧的真实图像去除合并前景图像后得到的图像，第二真实背景图像可以是指第二视频帧的真实图像去除合并前景图像后得到的图像，其中，该合并前景图像可以是指第一视频帧中前景对象对应的图像与历史视频帧中前景对象对应的图像的并集。

由此可见，由于如视频会议参与者等前景对象在视频会议过程中可能会移动，使其与所处环境背景之间的相对位置发生变化，导致拍摄到的视频帧中背景区域内容不同，所以，本申请在分析第一视频帧和历史视频帧的背景是否发生变化，由此判断相应时刻的拍摄视角是否改变的过程中，为了避免前景对象动作对判断结果的干扰，提出剔除第一视频帧和历史视频帧各自的前景对象对应的图像区域，也就是说，对于这两个视频帧中的每一个视频帧，可以删除这两个视频帧的前景图像合并后的图像区域。

以上述图2和图3所示的应用场景为例，参照图5和图6所示的图像处理示意图，可以对第一视频帧和历史视频帧各自的前景图像进行合并处理，即将两个前景图像按照各自的相对位置信息，分别放置在两个视频帧的同一背景图像中，如图5或图6中右侧上边附图所示的合并前景图像，之后，可以将这两个视频帧中的合并前景图像区域删除，得到如图5或图6中右侧下边附图所示的真实背景图像，从而去除用户动作对判断的干扰。

在一些实施例中，如图5或图6左侧附图所示，为了获得上述第一真实背景图像和第二真实背景图像，可以对第一视频帧和历史视频帧进行前景分割处理，得到相应的第一前景图像和第二前景图像，以及各前景图像在相应视频帧图像中的相对位置信息，之后，可以依据该相对位置信息，对第一前景图像和第二前景图像进行合并处理，得到合并前景图像及其视频帧显示区域中的合并位置关系，从而依据该合并位置关系，删除第一视频帧中的合并前景图像，得到第一真实背景图像；删除历史视频帧中的合并前景图像，得到第二真实背景图像。

在又一些实施例中，按照上文描述方法对第一视频帧和历史视频帧进行前景分割处理，确定前景区域和背景区域后，本申请也可以对第一视频帧和历史视频帧进行比较，确定历史视频帧中的第二前景图像在第一视频帧中的第二前景区域，以及第一视频帧中的第一前景图像在历史视频帧中的第一前景区域，之后，删除第一视频帧中的第一前景图像以及第二前景区域，得到第一真实背景图像；同理，删除历史视频帧中第二前景图像以及第一前景区域，得到第二真实背景图像。

在一些实施例中，第一真实背景图像可以是指从第一视频帧的真实图像的边缘区域截取的图像，例如沿第一视频帧的真实图像的上边缘和左右边缘截取特定宽度的图像得到该第一真实背景图像，第二真实背景图像可以是指从第二视频帧的真实图像的边缘区域截取的图像，例如沿第二视频帧的真实图像的上边缘和左右边缘截取特定宽度的图像得到该第二真实背景图像。

需要说明，关于上述第一真实背景图像和第二真实背景图像的获取方法，包括但并不局限于上文描述的几种实现方式，可以依据上文描述的技术构思进行适应性调整得到新的获取方法，本申请在此不做一一举例详述。

基于上文对第一真实背景图像和第二真实背景图像的获取方法的相关描述，本申请实施例可以通过比较这两个真实背景图像是否相同，确定第一视频帧的第一拍摄角度与历史视频帧的历史拍摄角度是否发生变化，即若确定两个真实背景图像相同，可以认为相对于历史视频帧，在获取第一视频帧时图像采集设备的拍摄角度未变，之后，可以进一步判断前景对象是否移动，得到相应的移动参数，以实现对虚拟背景图像的同步调整。

按照上述分析方式，确定第一真实背景图像和第二真实背景图像不同的情况下，本申请可以认为获取第一视频帧时图像采集设备的拍摄角度发生了变化，即图像采集设备在当前时刻相对于上一时刻的拍摄方向改变，这种情况下，可以按照上述方法继续对获取的下一视频帧进行图像处理，无需调整虚拟背景图像。

在又一种可能的实现方式，为了提高视频界面呈现的虚拟背景图像的处理可靠性和准确性，在按照上文描述的比较方式，确定第一真实背景图像和第二真实背景图像不同的情况下，本申请可以进一步结合其他检测方式，更加精准地检测第一视频帧相对历史视频帧的真实背景是否发生了变化，即更加精准确定第一视频帧的第一拍摄角度相对于历史视频帧的历史拍摄角度是否发生了变化。可选的，本申请可以结合但并不局限于计算机视觉技术包含的光流法(opticalflow)实现拍摄角度的变化检测。

其中，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，本申请对如何基于匹配(如基于特征或基于区域)的光流计算方法，确定第一视频帧的第一真实背景图像和历史视频帧的第二真实背景图像是否相同的实现过程不做详述，可以参照光流法的计算原理确定。

在本申请提出的一些实施例，可以基于图像分割算法及计算机视觉的光流算法，预训练用于判断多个视频帧的真实背景图像是否相同的视频背景识别模型，使得该视频背景识别模型可以具有前景对象分割以及背景图像比较的功能，本申请对该视频背景识别模型训练实现过程不做详述。基于此，本申请获得第一视频帧和上述历史视频帧后，可以将这两个视频帧输入预训练的视频背景识别模型，输出这两个视频帧的拍摄角度是否相同的识别结果，实现过程本申请不做详述。

步骤S24，获取第一视频帧相对于历史视频帧的前景对象的前后移动参数；

继上文描述，确定第一视频帧相对于历史视频帧的拍摄角度未改变的情况下，可以按照但并不局限于上文描述的方法执行步骤S24，实现过程本申请实施例在此不做赘述。结合上述分析，前景对象的移动参数可以包括但并不局限于前后移动参数、平移参数和/或旋转参数等，可以依据实际情况确定本次获取的移动参数的内容。可以理解，对于不同类型的移动参数，其获取方法往往不同，本申请对不同类型的移动参数的获取方法不做限制。

结合上文对移动参数的相关部分的描述，以用户参与视频会议的应用场景为例进行说明，结合上图2所示的场景示意图，用户在图像采集设备前进行前后移动，但图像采集设备的拍摄方向不变的情况下，按照上文描述的检测方式确定相邻两个视频帧扣除人像并集后的图像内容相同，可以通过计算这两个视频帧中用户瞳距(并不局限于瞳孔距离这一第一目标参照物，本申请以此为例进行说明，对于其他第一目标参照物的长度或大小变化的检测方法类似，本申请不做详述)的变化，来确定前后移动参数。

步骤S25，依据该前后移动参数，对视频界面呈现的虚拟背景图像进行缩放；

按照上文描述的方法获得前后移动参数后，可以按照步骤S25的方式对虚拟背景图像进行同步缩放处理，如等比例缩放处理，缩放处理方法本申请不做限制。

在一种可能的实现方式中，参照但并不局限于图7所示的瞳距变化与虚拟背景图像的缩放比例之间的对应关系示意图，在第一目标参照物为用户两个眼睛的瞳孔的情况下，可以预先确定在图像采集设备配置不同镜头焦距下，所对应的用户瞳距以及缩放处理后的虚拟背景图像，即确定用户瞳距变化与虚拟背景图像的缩放比例之间的对应关系。这样，在实际应用中，确定第一视频帧相对于历史视频帧中用户的瞳距变化后，可以调用预先确定该对应关系，确定对虚拟背景图像的缩放比例，从而按照该缩放比例对视频界面输出的虚拟背景图像进行缩放处理。

需要说明，对于其他类型的第一目标参照物，以及其他形式的对应关系，据此实现虚拟背景图像缩放处理的实现过程类似，本申请不做一一举例详述。

由此可见，用户在视频会议过程中前后移动时，可以同步对该用户对应的视频界面输出的虚拟背景图像进行缩放处理，以使得电子设备输出的该视频界面中虚拟背景图像与该用户的人像同步变化，这样，在用户为了保护个人隐私配置虚拟背景图像的情况下，开始图像采集设备的自动调焦功能，可以保证虚拟背景随着人像融合一体缩放，不会出现人像在虚拟背景前飘荡的分离展示效果。

在又一些实施例中，在对虚拟背景图像进行缩放处理过程中，本申请还可以依据前后移动参数，调整视频界面呈现的前景对象的显示亮度，以满足用户对视频界面呈现的图像显示要求。基于此，在用户人脸靠近图像采集设备时，可以增大视频界面呈现的人脸区域的显示亮度；反之，在人脸远离图像采集设备时，可以减小视频界面呈现的人脸区域的显示亮度，从而提高使用感受。

在又一些实施例中，结合上文各实施例描述的视频虚拟背景图像处理方法，该方法还可以依据前后移动参数，对视频界面呈现的虚拟背景图像进行虚化处理。这样，在对虚拟背景图像进行缩放处理之前，可以先响应背景虚化处理请求，对虚拟背景图像进行虚化处理后，再按照上文描述的方式，对虚化处理后的虚拟背景图像进行缩放处理，保证虚拟背景图像可以随着人像一起虚化缩放处理，使得视频界面输出的图像整体更加自然。

需要说明，用户可能会在前后移动过程中转动头部，导致同一拍摄距离下的瞳距大小发生变化，所以说，在实际应用中，不仅图像采集设备的镜头焦距会影响瞳距大小，且用户头部朝向图像采集设备的角度变化即旋转角度变化也会影响瞳距大小，如上述Roll、Yaw、Pitch中的任一或多个角度维度的旋转变化，都会导致瞳距发生变化。

所以，在又一些实施例中，如图8所示的流程示意图，本申请还可以按照上文描述的方法获取人脸角度变化即旋转角度，依据该旋转角度对前后移动参数进行修正处理，该实施例中，步骤S25中的前后移动参数可以指修正后的前后移动参数，后续实现过程类似，本申请不做详述。示例性的，按照本实施例描述的这种处理方法，本申请通过检测瞳距以及人脸角度变化(即第一目标参照物的旋转角度)，据此进行放射变化处理，得到正脸效果时的瞳距，若瞳距不变，无需进行虚拟背景缩放处理；若瞳距改变，可以按照上文描述方法进行缩放处理。

步骤S26，检测到缩小后的虚拟背景图像的显示区域小于视频界面的显示区域，对缩小后的虚拟背景图像进行边缘填充处理。

在对虚拟背景图像进行缩小处理过程中，若缩小比例较大，导致缩小后的虚拟背景图像的显示区域小于视频界面的显示区域，如图7中#0镜头焦距对应的缩放比例，若直接输出该缩小后的虚拟背景图像，将会使得视频界面的显示区域的中间区域呈现该缩小后的虚拟背景图像，而该缩小后的虚拟背景图像的四周显示区域呈现空白，即缩小后的虚拟背景图像无法填满视频界面的显示区域，这种情况下，为了提高显示效果，可以对缩小后的虚拟背景图像进行效果填充，实现方法本申请不做限制，以使得边缘填充处理后的虚拟背景图像的显示区域与视频界面的显示区域相同，即使得边缘填充处理后的虚拟背景图像能够填满整个视频界面。

结合上述分析，在视频会议过程中，图像采集设备的拍摄角度不变，但用户可能会在该图像采集设备左右移动，结合上图3所示的场景示意图，在这种情况下，如图8所示，在确定第一视频帧相对于历史视频帧中用户的瞳距未发生变化的情况下，可以按照上文描述的方法获取第一视频帧相对于历史视频帧的前景对象的平移参数，从而依据该平移参数，对视频界面呈现的虚拟背景图像进行平移调整，如等距离同方向的平移调整，实现方法本申请不做限制。

仍以第一目标参照对象为瞳孔，第二目标参照对象为人像区域为例进行说明，如图8所示，在确定瞳距不变的情况下，将第一视频帧的第一前景图像的第一相对位置信息，与历史视频帧的第二前景图像的第二相对位置信息进行比较，可以得到上述平移参数，即第一视频帧相对于历史视频帧的前景对象的左右偏移量，之后，可以按照该左右偏移量，对视频界面呈现的虚拟背景图像进行同方向偏移调整。

在又一种可能的实现方式中，本申请也可以直接获取第一视频帧中前景对象对应的图像(即第一前景图像)与历史视频帧中前景对象对应的图像(即第二前景图像)的并集，即上述合并前景图像，再获取该合并前景图像包含的两个前景对象的中心位置之间的相对位置关系，包括中心距离和相对方向，将其作为平移参数，实现对虚拟背景图像的平移调整，即将该虚拟背景图像相对于视频界面向该相对方向上移动该中心距离。需要说明，本申请对如何依据平移参数，实现对视频界面呈现的虚拟背景图像的平移调整的实现方法不做限制，包括但并不局限于上文实施例描述的方法。

由此可见，本申请可以采用上文描述的方法，跟踪人脸轮廓(即第二目标参照物)坐标变化，人脸左移时，视频界面呈现的虚拟背景图片跟随向左移动，人像右移时，视频界面呈现的虚拟背景跟随向右移动，提高使用感受。

在又一些实施例中，在视频会议过程中，用户也可能在产生前后方向的移动距离的同时，在平移方向上也产生平移距离，如与图像采集设备呈一定角度移动，这种情况下，按照上文实施例描述的方法，本申请还可以获取前后移动参数和平移参数，甚至还可以获取旋转角度，之后，可以按照上文描述的方法，对视频界面呈现的虚拟背景图像进行缩放处理后再进行平移调整处理，实现过程本申请实施例在此不做赘述。

在本申请提出的又一些实施例中，在视频会议过程中，用户可能不会移动，但图像采集设备可能会移动，如拍摄角度、镜头焦距等拍摄参数发生变化，这种情况下，与上文相应实施例的处理过程类似，若图像采集设备的拍摄角度发生变化，如图8所示，可以维持视频界面的虚拟背景图像不变，继续对下一视频帧进行判断。当然，在视频会议过程中，也可能会出现图像采集设备与用户都移动的情况下，此时，也可以维持虚拟背景图像不变，继续对下一视频帧进行处理，实现过程可以参照上文实施例相应部分的描述，本实施例不做赘述。

参照图9，为本申请提出的视频虚拟背景图像处理装置的一可选示例的结构示意图，该装置可以包括：

触发指令接收模块11，用于接收触发指令；

视频帧获取模块12，用于获取第一视频帧以及所述第一视频帧相邻的或间隔特定帧数的历史视频帧；

移动参数获取模块13，用于获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数；

虚拟背景图像调整模块14，用于依据所述移动参数对视频界面呈现的虚拟背景图像进行调整。

可选的，该装置还可以包括：

拍摄角度确定模块，用于依据所述第一视频帧的第一真实背景图像和所述历史视频帧的第二真实背景图像，确定所述第一视频帧的第一拍摄角度与所述历史视频帧的历史拍摄角度相同后，触发移动参数获取模块13获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数。

其中，所述第一真实背景图像为所述第一视频帧的真实图像去除合并前景图像后得到的图像，所述第二真实背景图像为所述第二视频帧的真实图像去除合并前景图像后得到的图像，其中，所述合并前景图像为所述第一视频帧中前景对象对应的图像与所述历史视频帧中前景对象对应的图像的并集。

在一些实施例中，上述移动参数可以包括前后移动参数和/或平移参数。其中，所述前后移动参数表征所述前景对象上的第一目标参照物在所述第一视频帧中和所述历史视频帧中的长度或大小的相对变化；所述平移参数用于表征所述前景对象上的第二目标参照物在所述第一视频帧中和所述历史视频帧中位置的相对变化。

基于上述描述，上述虚拟背景图像调整模块14可以包括：

缩放单元，用于根据所述移动参数对视频界面呈现的虚拟背景图像进行缩放；

填充处理单元，用于检测到缩小后的虚拟背景图像的显示区域，小于所述视频界面的显示区域，对所述缩小后的虚拟背景图像进行边缘填充处理；

平移调整单元，用于根据所述移动参数对视频界面呈现的虚拟背景图像进行平移调整。

在又一些实施例中，上述移动参数还可以包括旋转参数，所述旋转参数表征所述第一目标参照物在所述第一视频帧中和所述历史视频帧中角度的相对变化；且所述旋转参数可以用于对所述前后移动参数进行修正。

基于上文各实施例的描述，上述装置还可以包括：

显示亮度调整模块，用于依据所述前后移动参数，调整所述视频界面呈现的前景对象的显示亮度；和/或，

虚化处理模块，用于依据所述前后移动参数，对视频界面呈现的虚拟背景图像进行虚化处理。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的视频虚拟背景图像处理方法的各个步骤。

参照图10，为适用于本申请提出的视频虚拟背景图像处理方法的计算机设备的一可选示例的硬件结构示意图，该计算机设备可以是上述终端或服务器，如图10所示，该计算机设备可以包括通信接口21、存储器22及处理器 23，其中：

通信接口21、存储器22及处理器23各自的数量可以是至少一个，且通信接口21、存储器22及处理器23之间可以通过通信总线进行通信。

通信接口21可以是无线通信模组和/或有线通信模组的接口，如WIFI模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块、GPRS模块、 GSM模块等通信模组的接口，还可以包括如USB接口、串/并口等接口，用于实现计算机设备内部组成部件之间的数据交互，具体可以依据具体网络通信需求配置计算机设备的通信接口，本申请对该通信接口21的类型及其通信方式不做限制，可视情况而定。

存储器22可以存储实现本申请实施例提出的视频虚拟背景图像处理方法的程序。处理器23可以用于加载执行存储器22存储的程序，实现本申请提出的计算机设备相应侧的视频虚拟背景图像处理方法的各个步骤，实现过程可以参照上文相应计算机设备侧的方法实施例的描述，本实施例在此不做详述。

本申请实施例中，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器23，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器 (DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。本申请对计算机设备包含的各存储器22和处理器23的器件类型不作限制，可以依据计算机设备的相应功能需求确定。

应该理解的是，图10所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中，计算机设备可以包括比图10所示的更多的部件，或者组合某些部件。如在计算机设备为终端的情况下，参照图11 所示的计算机设备的又一可选示例的硬件结构示意图，该计算机设备还可以包括如图像采集设备(摄像头)、音频采集设备(拾音器)等至少一个输入设备；如显示器、扬声器等至少一个输出设备；各种传感器组成的传感器模组；电源管理模组；天线；有线/无线通信模组等，本申请在此不做一一列举。

最后，需要说明的是，关于上述各实施例中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在 A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请涉及到的术语诸如“第一”、“第二”等仅用于描述目的，用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频虚拟背景图像处理方法，所述方法包括：

接收触发指令；

获取第一视频帧以及所述第一视频帧相邻的或间隔特定帧数的历史视频帧；

获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数；

依据所述移动参数对视频界面呈现的虚拟背景图像进行调整。

2.根据权利要求1所述的方法，所述方法还包括：

依据所述第一视频帧的第一真实背景图像和所述历史视频帧的第二真实背景图像，确定所述第一视频帧的第一拍摄角度与所述历史视频帧的历史拍摄角度相同后，执行获取所述移动参数的步骤。

3.根据权利要求2所述的方法，所述第一真实背景图像为所述第一视频帧的真实图像去除合并前景图像后得到的图像，所述第二真实背景图像为所述第二视频帧的真实图像去除合并前景图像后得到的图像，其中，所述合并前景图像为所述第一视频帧中前景对象对应的图像与所述历史视频帧中前景对象对应的图像的并集。

4.根据权利要求1所述的方法，所述移动参数包括前后移动参数和/或平移参数；

所述前后移动参数表征所述前景对象上的第一目标参照物在所述第一视频帧中和所述历史视频帧中的长度或大小的相对变化；

所述平移参数用于表征所述前景对象上的第二目标参照物在所述第一视频帧中和所述历史视频帧中位置的相对变化。

5.根据权利要求4任一项所述的方法，所述移动参数还包括旋转参数，所述旋转参数表征所述第一目标参照物在所述第一视频帧中和所述历史视频帧中角度的相对变化；

所述旋转参数用于对所述前后移动参数进行修正。

6.根据权利要求1所述的方法，所述依据所述移动参数对视频界面呈现的虚拟背景图像进行调整，包括：

根据所述移动参数对视频界面呈现的虚拟背景图像进行缩放或平移调整。

7.根据权利要求4-5中任意一项所述的方法，所述方法还包括：

依据所述前后移动参数，调整所述视频界面呈现的前景对象的显示亮度；和/或，

依据所述前后移动参数，对视频界面呈现的虚拟背景图像进行虚化处理。

8.根据权利要求6所述的方法，所述依据所述移动参数对视频界面呈现的虚拟背景图像进行调整，还包括：

检测到缩小后的虚拟背景图像的显示区域，小于所述视频界面的显示区域，对所述缩小后的虚拟背景图像进行边缘填充处理。

9.一种视频虚拟背景图像处理装置，所述装置包括：

触发指令接收模块，用于接收触发指令；

视频帧获取模块，用于获取第一视频帧以及所述第一视频帧相邻的或间隔特定帧数的历史视频帧；

移动参数获取模块，用于获取所述第一视频帧相对于所述历史视频帧的前景对象的移动参数；

虚拟背景图像调整模块，用于依据所述移动参数对视频界面呈现的虚拟背景图像进行调整。

10.一种计算机设备，所述计算机设备包括：

通信接口；

存储器，用于存储实现如权利要求1-8任一项所述的视频虚拟背景图像处理方法的程序；

处理器，用于加载并执行所述存储器存储的程序，实现如权利要求1-8任一项所述的视频虚拟背景图像处理方法。

Images