CN115250357B - 终端设备、视频处理方法和电子设备 - Google Patents

Abstract

本申请公开了一种终端设备、视频处理方法和电子设备。在本申请实施例中，可采用多个终端设备采集不同用户的视频流，并基于图像分割技术从不同视频流中分割出目标图像合成到虚拟舞台中，得到远程表演的虚拟舞台效果。能够实现远程的多人同台表演，且不局限于表演环境和表演位置。还能够实现远程的多人轮流表演。且在视频源切换过程中通过模拟闭幕和模拟开幕能够使得节目转换过程更加真实自然。

Description

终端设备、视频处理方法和电子设备

技术领域

本申请涉及虚拟成像技术领域，特别涉及一种终端设备、视频处理方法和电子设备。

背景技术

随着网络技术的发展，虚拟成像技术成为用户的重要应用。例如，用户可以采用短视频平台的特效处理得到不同效果、不同风格的图像。随着直播的流行，直播间内也可以采用虚拟成像技术，美化主播或给直播间添加虚拟素材。

受客观因素的影响，当人们异地而处时，现实生活中的一些聚集活动就受到了限制。如多人希望同台表演时，因为多个用户在不同的地方，有可能无法实现。

故此，如何实现虚拟舞台来模拟线下的聚会活动成为研究的热点。

发明内容

本申请的目的是提供一种终端设备、视频处理方法和电子设备。用于解决现有技术中，如何提供虚拟舞台供多人聚会的问题。

第一方面，本申请提供一种终端设备，显示器和控制器，其中：

所述显示器用于显示信息；

所述控制器连接所述显示器，被配置为：

控制所述显示器显示当前节目，所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

当所述当前节目播放结束，则播放闭幕特效；

所述闭幕特效结束后，播放下一节目，所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台。

可选的，所述控制器还被配置为：在播放所述下一节目之前，控制所述显示器播放下一节目的开幕特效；

所述开幕特效结束后，播放所述下一节目。

第二方面，本申请还提供一种视频处理方法，所述方法包括：

接收多个视频流；

基于视频帧的时间戳，从不同视频流中分别筛选出一帧候选视频帧，得到候选视频帧组；

基于所述候选视频帧组中各目标对象的掩码图像，将各帧所述候选视频帧中的目标对象合成到虚拟舞台中，得到合成图像以用于展示。

可选的，每路所述视频流中的各帧所述视频帧均具有存储顺序，所述基于视频帧的时间戳，从不同视频流中分别筛选出一帧候选视频帧，得到候选视频帧组，包括：

获取所述不同视频流中同一指定存储顺序的视频帧的时间戳；

确定获取的时间戳之间的差值；

若所述时间戳之间的差值小于预设阈值，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组；

若所述时间戳之间的差值大于或等于所述预设阈值，则将每两路视频流中时延高的一路视频流进行丢帧处理；并，在丢帧处理后，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组。

可选的，所述方法还包括：

在丢帧处理后，针对所述两路视频流中时延低的一路视频流中剩余的每帧视频帧、将所述视频帧与所述时延高的视频流中时间戳最近的视频帧确定到同一组候选视频帧组中。

可选的，所述将每两路视频流中时延高的一路视频流进行丢帧处理，包括：

从所述时延高的一路视频流中选择至少一帧视频帧，其中，被选择的视频帧的存储顺序在所述指定存储顺序之前；

将选择的所述至少一帧视频帧进行丢帧处理。

可选的，所述方法还包括：

针对每个视频流，获取的所述视频流中包括各帧视频帧的掩码图像。

可选的，所述方法还包括：

获取当前节目的视频流并输出；所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

响应于节目结束指示，输出用于展示闭幕特效的信息；以及，

基于所述节目结束指示，获取到下一节目的视频流并输出；所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台。

第三方面、本申请还提供一种视频处理方法，所述方法包括：

获取当前节目的视频流并输出；所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

响应于节目结束指示，输出用于展示闭幕特效的信息；以及，

基于所述节目结束指示，获取到下一节目的视频流并输出；所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台。

可选的，所述方法还包括：在输出所述下一节目的视频流之前，根据所述下一节目的节目信息生成开幕特效并输出。

第四方面，本申请还提供一种电子设备，包括处理器和存储器；

所述存储器用于存储可执行指令；

其中，所述处理器被配置为执行所述可执行指令，以实现如第二方面和第三方面中任一项所述的视频处理方法。

在本申请实施例中，不限制地域，不限制场景，多人可远程实现虚拟舞台，实现多人共同表演或多人轮流表演。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请一些实施例提供的一种图像处理方法的应用场景图；

图1B为本申请一些实施例提供的图1A中控制装置100的硬件配置框图；

图1C为本申请一些实施例提供的图1A中智能电视200的硬件配置框图；

图1D为本申请一些实施例提供的图1A中服务器300的结构图；

图2为本申请一些实施例提供的虚拟的多人同台表演的原理说明示意图；

图3为本申请一些实施例提供的节目资源配置界面示意图；

图4为本申请一些实施例提供的一种图像处理方法的流程示意图；

图5为本申请一些实施例提供的录制界面示意图；

图6为本申请一些实施例提供的一种图像处理方法的另一流程示意图；

图7为本申请一些实施例提供的一种图像处理方法的再一流程示意图；

图8为本申请一些实施例提供的存储不同路视频流的分帧图像的示意图；

图9为本申请一些实施例提供的丢帧处理的示意图；

图10为本申请一些实施例提供的合成图像的效果示意图；

图11为本申请一些实施例提供的节目排序界面的示意图；

图12为本申请一些实施例提供的一种图像处理方法的另一流程示意图；

图13为本申请一些实施例提供的闭幕特效示意图；

图14为本申请一些实施例提供的一种图像处理方法的再一流程示意图；

图15为本申请一些实施例提供的虚拟的多人轮流表演的原理说明示意图。

具体实施方式

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。本申请实施例中″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，术语″多个″是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本申请实施例提供的图像处理方法均适用于终端设备，该终端设备包括但不限于：计算机、智能手机、智能手表、智能电视、智能机器人等。下面以智能电视为例，详细本申请提供的图像处理方法。

随着视频通话技术在智能电视上的广泛应用，人们可以通过智能电视进行跨屏社交。例如可采用智能电视进行视频通话。而基于单一视频通话场景下的跨屏社交已无法满足用户需求，如何实现虚拟聚会场景成为用户关心的问题。有鉴于此，本申请提出了一种终端设备、服务器以及图像处理方法，用于解决上述问题。

下面结合附图对本申请实施例中的图像处理方法进行详细说明。

参见图1A，为本申请一些实施例提供的一种图像处理的应用场景图。如图1A所示，控制装置100和智能电视200之间可以有线或无线方式进行通信。

其中，控制装置100被配置为控制智能电视200，其可接收用户输入的操作指令，且将操作指令转换为智能电视200可识别和响应的指令，起着用户与智能电视200之间交互的中介作用。如：用户通过操作控制装置100上频道加减键，智能电视200响应频道加减的操作。

控制装置100可以是遥控器100A，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制智能电视200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制智能电视200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制智能电视200的功能。

控制装置100也可以是移动终端100B、如平板电脑、计算机、笔记本电脑、智能手机等。例如，使用在智能设备上运行的应用程序控制智能电视200。该应用程序通过配置可以在与智能设备关联的屏幕上，通过直观的用户界面(UI)为用户提供各种控制。

示例性的，移动终端100B可与智能电视200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100B与智能电视200建立控制指令协议，通过操作移动终端100B上提供的用户界面的各种功能键或虚拟控件，来实现如遥控器100A布置的实体按键的功能。也可以将移动终端100B上显示的音视频内容传输到智能电视200上，实现同步显示功能。

智能电视200可提供广播接收功能和计算机支持功能的网络电视功能。智能电视可以实施为，数字电视、网络电视、互联网协议电视(IPTV)等。

智能电视200，可以是液晶显示器、有机发光显示器、投影设备。具体智能电视类型、尺寸大小和分辨率等不作限定。

智能电视200还与服务器300通过多种通信方式进行数据通信。这里可允许智能电视200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向智能电视200提供各种内容和互动。示例的，智能电视200可以发送和接收信息，例如：接收电子节目指南(EPG)数据、接收软件程序更新、或访问远程储存的数字媒体库。服务器300可以一组，也可以多组，可以一类或多类服务器。通过服务器300提供视频点播、广告服务、多人同台表演、多人轮流表演等其他网络服务内容。服务器300可以为一个服务器或服务器集群，可实施为云端服务器均适用于本申请实施例。

图1B中示例性示出了控制装置100的配置框图。如图1B所示，控制装置100包括控制器110、存储器120、通信器130、用户输入接口140、用户输出接口150、供电电源160。

控制器110包括随机存取存储器(RAM)111、只读存储器(ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在遥控器100A上布置的按键的交互或触摸在遥控器100A上布置的触摸面板的交互时，控制器110可控制产生与检测到的交互相应的信号，并将该信号发送到智能电视200。

存储器120，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。

通信器130在控制器110的控制下，实现与智能电视200之间控制信号和数据信号的通信。如：控制装置100经由通信器130将控制信号(例如触摸信号或控件信号)发送至智能电视200上，控制装置100可经由通信器130接收由智能电视200发送的信号。通信器130可以包括红外信号接口131和射频信号接口132。例如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至智能电视200。再如射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至智能电视200。

用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制智能电视200的用户指令输入到控制装置100。例如，可根据用户操作控制智能电视200采集视频流并发明给服务器300，也可以控制智能电视200对多人轮流表演的节目进行排序，并通知给服务器300。

用户输出接口150，通过将用户输入接口140接收的用户指令输出至智能电视200，或者，输出由智能电视200接收的图像或语音信号。这里，用户输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153和输出图像的显示器154等。例如，遥控器100A可从用户输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示器154上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。

供电电源160，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。形式可以为电池及相关控制电路。

图1C中示例性示出了智能电视200的硬件配置框图。如图1C所示，智能电视200中可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、旋转组件276、音频处理器280、音频输出接口285、供电电源290。

旋转组件276还可以包括其他部件，如传动部件、检测部件等。其中，传动部件可以通过特定传动比，调整旋转组件276输出的转速和力矩，可以为齿轮传动方式；检测部件可以由设置在旋转轴上的传感器组成，例如角度传感器、姿态传感器等。这些传感器可以对旋转组件276旋转的角度等参数进行检测，并将检测的参数发送给控制器250，以使控制器250能够根据检测的参数判断或调整智能电视200的状态。实际应用中，旋转组件276可以包括但不限于上述部件中的一种或多种。

调谐解调器210，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据)。

调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。

调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。

通信器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如智能电视200可将内容数据发送至经由通信器220连接的外部设备，或者，从经由通信器220连接的外部设备浏览和下载内容数据。通信器220可以包括WIFI模块221、蓝牙通信协议模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块，从而通信器220可根据控制器250的控制接收控制装置100的控制信号，并将控制信号实现为WIFI信号、蓝牙信号、射频信号等。

检测器230，是智能电视200用于采集外部环境或与外部交互的信号的组件。检测器230可以包括声音采集器231，如麦克风，可以用于接收用户的声音，如用户控制智能电视200的控制指令的语音信号；或者，可以采集用于识别环境场景类型的环境声音，实现智能电视200可以自适应环境噪声。

在其他一些示例性实施例中，检测器230，还可以包括图像采集器232，如相机、摄像头等，可以用于采集外部环境场景，以自适应变化智能电视200的显示参数；以及用于采集用户的属性或与用户交互手势，以实现智能电视与用户之间互动的功能。

外部装置接口240，是提供控制器250控制智能电视200与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。

控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制智能电视200的工作和响应用户的操作。

其中，控制器250包括随机存取存储器(RAM)251、只读存储器(ROM)252、图形处理器253、CPU处理器254、通信接口255、以及通信总线256。其中，RAM251、ROM252以及图形处理器253、CPU处理器254通信接口255通过通信总线256相连接。

ROM252，用于存储各种系统启动指令。如在接收到开机信号时，智能电视200电源开始启动，CPU处理器254运行ROM252中的系统启动指令，将存储在存储器260的操作系统拷贝至RAM251中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中，然后，开始运行启动各种应用程序。

图形处理器253，用于产生各种图形对象，如图标、操作菜单、以及用户输入指令显示图形等。图形处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。

CPU处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。

通信接口255，可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。

控制器250可以控制智能电视200的整体操作。例如：响应于接收到用于选择在显示器275上显示的GUI对象的用户输入命令，控制器250便可以执行与由用户输入命令选择的对象有关的操作。

其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与对象相对应的程序的操作。该用于选择GUI对象的用户输入命令，可以是通过连接到智能电视200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。

存储器260，用于存储驱动和控制智能电视200运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语″存储器″包括存储器260、控制器250的RAM251和ROM252、或智能电视200中的存储卡。

在本申请实施例中，控制器250被配置为在第一目标对象和至少一个第二目标对象通过智能电视200进行视频通话时，响应于第一目标对象或第二目标对象的合照指示，获取用于合照的引导界面数据后控制显示器275展示引导界面；

控制器250响应于对引导界面触发的图像采集指示，控制图像采集器232采集第一目标对象的待处理图像；

控制器250连接图像采集器232，被配置为将图像采集器232采集的第一目标对象的待处理图像发送给服务器300，以使服务器300将第一目标对象的待处理图像与各第二目标对象的待处理图像进行合成，得到合成图像；

控制器250接收并控制显示器275展示服务器300发送的合成图像，并且由存储器260存储合成图像。关于智能电视的引导界面和其他操作在后文中将详细说明。

图1D中示例性示出了服务器300的硬件配置框图。如图1D所示，服务器300的组件可以包括但不限于：至少一个处理器31、至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器32可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

服务器300也可以与一个或多个外部设备34(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与服务器300交互的设备通信，和/或与使得该服务器300能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，服务器300还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与用于服务器300的其它模块通信。应当理解，尽管图中未示出，可以结合服务器300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些实施例中，处理器31可以获取多路视频流，然后将不同视频流中的用户合成到背景图像中。以此实现虚拟舞台。

在另一些实施例中，还可以在虚拟舞台中实现轮流表演。

在一些实施方式中，本申请提供的视频处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书中各种示例性实施方式的视频处理方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于图像处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

下面以虚拟舞台中虚拟的多人同台表演和虚拟的多人轮流表演为例对本申请实施例提供的图像处理方法进行说明。

一、虚拟的多人同台表演节目

虚拟的多人同台表演节目，指采用多个终端设备音视频数据，然后通过图像合成技术将作合成到虚拟舞台中进行呈现。实施时，可以每个终端设备采集一个用户的动作，也可以多个用户采用一个终端设备采集动作。一个终端设备对应一路视频流，各路视频流通过图像合成技术合成到同一虚拟舞台中。

如图2所示，为本申请实施例提供的实现虚拟的多人同台表演的原理示意图。例如在家庭聚会场景中，以两个表演者在异地同台表演为例。表演者1和表演者2各自的视频流分别通过人像分割后，分割的人像在虚拟舞台进行合成，得到多个表演者同台表演的一路视频流。这路视频流分发给观看者1-n。下面分别对节目的录制和合成进行说明。

1)虚拟的多人同台表演节目的录制

下面以一个终端设备为例，对虚拟的多人同台表演节目的实现进行说明。在开始表演节目之前，终端设备可响应于用户的触发操作，确定所述虚拟的多人同台表演节目的多媒体资源，所述多媒体资源包括虚拟舞台效果和/或音乐。

例如图3所示，可提供节目资源设置界面，该界面中可以包括多种不同效果的虚拟舞台模板供用户选择，当然用户可以通过″导入舞台″控件在本地相册中导入背景图片或虚拟舞台模型作为虚拟舞台。其中虚拟舞台模型可以是用于自己开发的，携带有虚拟舞台的可执行代码，以便于后续能够顺利的将各用户的影像合成到虚拟舞台中。

此外，该界面中还提供音频资源选择功能。选择的音频资源可以是服务器提供的、也可以是用户录制的、还可以是用户通过″导入音乐″控件从本地音乐库中导入的。此外，节目资源设置界面还可以自定义节目名称，以便于后续自动生成节目清单，执行开幕和闭幕的特效。

在用户设置了节目的多媒体资源后，选择的多媒体资源的资源标识上报给服务器，以便于服务器合成虚拟的多人同台表演节目。

当用户选择了节目的多媒体资源之后，用户可以开始录制节目，并将视频流发送给服务器进行合成。如图4所示，为本申请实施例提供的一种图像处理方法的流程示意图，包括：

在步骤401中，响应于录制请求，控制图像采集器采集视频流。

其中，录制请求用于支持虚拟的多人同台表演节目的录制，且虚拟的多人同台表演节目需要采用多个终端设备进行视频采集。

例如，可提供如图5的录制界面，虚拟的多人同台表演界面可以通过该录制界面触发。如图5所示，该录制界面用于展示实时采集的画面，当用户点击″录制″控件，触发录制请求。图5所示的界面中还可以包括一些用于图像处理的控件，例如可包括增加特效的控件。例如该控件可以添加虚拟头饰、亦或者添加虚拟服饰，以便于同台表演的多人可以具有统一的虚拟着装，或不同的着装效果。

在步骤402中，从视频流的各视频帧中分别分割出目标对象，得到目标对象的掩码图像。

当然，在其他实施例中，分割目标图像的操作也可以由服务器来执行。本申请实施例中设置在各个终端设备侧实现目标对象的分割，可以有效降低服务器的处理压力。

在步骤403中，基于各帧视频帧的掩码图像，对视频流进行转换处理，得到携带掩码图像和原视频内容的视频流。

例如，采集的视频流为RGB模式的视频流，可以将掩码图像作为α通道的图像，将视频流转换为RGBA模式的视频流发送给服务器。

在步骤404中，将转换后的视频流发送给电子设备。该电子设备可以为服务器或服务器集群，或具有一定算力的设备，均适用于本申请实施例。

2)、虚拟的多人同台表演节目的合成

如前文叙述的内容，虚拟的多人同台节目需要不同终端设备采集视频流，以服务器进行合成为例进行说明。服务器将最终呈现的视频流推送给展示端展示。如图6所示，为服务器侧合成虚拟的多人同台表演节目的流程示意图，包括以下步骤：

在步骤601中，接收多路视频流。

如，多个终端设备用于支持虚拟的多人同台表演节目，虚拟的多人同台表演节目需要采用多个终端设备进行视频采集然后合成。

每路视频流由于传输延迟或分帧速度不同，容易导致同一节目不同视频流之间不同步。如果直接合成，将导致用户不同时间点的动作合成到一张图像上。例如，A用户和B用户的舞蹈动作一致，由于A用户的视频流延迟，如果直接合成会导致A用户和B用户动作不齐。

再例如，A用的视频流分帧速度快、故而得到了3帧图像，B用户的视频流分帧速度慢而得到2帧图像，原则删更可能A用户的第2帧图像应该和B用的第2帧图像合成，因为分帧原因，可能A用的第3帧图像会和B用户的第2帧图像合成，这也会导致不同路视频流合成效果差。

有鉴于此，本申请实施例中，在步骤602中，基于视频帧的时间戳，从不同视频流中分别筛选出一帧候选视频帧，得到候选视频帧组。

例如，每路视频流都有相对应的存储队列，该视频流中每帧图像都按序存储到存储队列中。例如，按照分帧处理得到的第1帧、第2帧、第3帧......以此类推进行存储。相应的，在合成时，为了缓解合成效果差的问题，本申请实施例中，可以如图7所示，实施为：

在步骤701中，获取不同视频流中同一指定存储顺序的视频帧的时间戳。

在步骤702中，确定获取的时间戳之间的差值。

实施时，可以对每个存储顺序的视频帧都计算时间戳之间的差值。也可以每间隔指定数量的视频帧计算一次时间戳之间的差值。

例如，如图8所示，视频流1和视频流2存储在相应的存储区或内存队列中。按照分帧的顺序，视频流1中分帧得到的视频帧包括RGBA(t)、RGBA(t-1)和RGBA(t-2)、视频流2中分帧得到的视频帧包括RGBA(t-1)、RGBA(t-2)和RGBA(t-3)。两路视频流中括弧内携带t的信息均表示相应视频帧的时间戳。各存储顺序对应的视频帧如表1所示：

表1

存储顺序	视频流1	视频流2
			1	RGBA(t)	RGBA(t-1)
2	RGBA(t-1)	RGBA(t-2)
			3	RGBA(t-2)	RGBA(t-3)

计算时间戳之间的差值时，可以每个存储顺序均计算时间戳之间的差值，也可以每间隔n个存储顺序计算一次时间戳之间的差值。例如每隔一个存储顺序(等同于每隔一帧)计算一次相同存储顺序上时间戳之间的差值。

在步骤703中，若所述时间戳之间的差值小于预设阈值，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组。

继续如图8所示，例如，存储顺序1中视频流1的视频帧RGBA(t)与视频流2中的视频帧RGBA(t-1)之间的时间戳差值为1(小于预设阈值)故此，存储顺序1上的两帧视频帧可以作为一组候选视频帧组进行合并。同理，存储顺序2上的两帧视频帧作为一组候选视频帧。

在步骤704中，若时间戳之间的差值大于或等于预设阈值，则将每两路视频流中时延高的一路视频流进行丢帧处理。

在步骤705中，在丢帧处理后，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组。此外，针对所述两路视频流中时延低的一路视频流中剩余的每帧视频帧、将所述视频帧与所述时延高的视频流中时间戳最近的视频帧确定到同一组候选视频帧组中。

为理解方便，以两路视频流为例进行说明。例如图9所示，视频流1中视频帧RGBA(t-2)与和视频流2中视频帧RGBA(t-4)之间时间戳的差值大于预设阈值，由于视频流2时延高于视频流1，故此，将视频流2中的视频帧进行丢帧处理，这样以便于在后续对相同存储顺序进行合并时能够对时间戳相同或相近的视频帧进行合成。

在进行丢帧处理时，本申请实施例中，从时延高的一路视频流中选择至少一帧视频，其中，被选择的视频帧的存储顺序在指定存储顺序之前；然后将选择的至少一帧视频帧进行丢帧处理。继续以图9为了，将视频流2中的时间戳(t-1)处的视频帧进行丢帧处理。丢帧之后，可以将视频流1中的RGBA(t-1)与视频流2中的RGBA(t-2)作为一组候选视频帧组进行合并处理。还可以将视频流1中的RGBA(t-2)与视频流2中的RGBA(t-2)作为一组候选视频帧组进行合并处理。

合并处理可执行为，在步骤603中，基于候选视频帧组中各目标对象的掩码图像，将各帧候选视频帧中的目标对象合成到虚拟舞台中，得到合成图像。然后，在步骤604中，可以由服务器将合成图像进行编码后输出给展示端。当然，在其他实施例中可以由任一电子设备处理后发送给自己的显示器展示，或发送给其他设备的显示器进行展示。

例如，根据图像合成公式(1)进行合成处理：

I＝αF+(1-α)B (1)

式(1)中α是掩码图像，F为原始视频帧，B为新的背景图像。

如图10所示，为合成图像的效果示意图。图10中示出了表演者1和表演者2分别通过图像分割技术，分割出各自的图像，然后合成到同一背景图像中得到包含表演者1和表演者2的合成图像。该合成图像作为最终视频流中的一帧图像发送给展示端进行展示。由此，基于公式(1)按照合成顺序依次将多路图像合成到同一背景中，得到新的视频流。

二、虚拟的多人轮流表演

虚拟的多人轮流表演，指有多个节目需要在虚拟舞台呈现，每个节目可以由单端设备进行视频采集，也可以是前述的虚拟的多人同台表演节目。

在虚拟的多人轮流表演场景中，继续以服务器为例，可以先定义节目的顺序，以便于服务器抓取各个节目的视频流。

如图11所示为本申请实施例提供的一种节目编辑界面示意图。用户可以在该界面中设置节目名称。当有多个节目时，也可以设置每个界面的顺序以及该界面对应的终端设备标识。以便于确定各个节目的视频流来源。由此，本申请实施例中终端设备，可控制显示器显示节目编辑界面；响应于对节目编辑界面触发的排序操作，确定多人轮流表演场景中不同节目的排序顺序；然后将排序顺序发送给服务器。

亦或者，节目编辑界面可以多人协同编辑。例如，第一个节目由第一终端设备添加，第二个界面由第二终端设备添加。这样基于终端设备的编辑操作，服务器可获取终端设备和节目的对应关系。以第一终端设备为例，第一终端设备在节目编辑界面添加节目A，并将携带节目A的信息以及第一终端设备标识的节目存储请求发送给服务器，由此服务器能够获取该情况中的界面A和第一终端设备标识并存储。以便于多人轮流表演时，从第一终端设备拉取视频流。需要说明的是界面编辑界面的具体形式本申请不作限定。

当有多个节目需要切换时，节目切换期间会没有相应的节目内容呈现。如表演者1在表演完自己的节目后，服务器结束对表演者1的视频拉取，转而拉取表演者2的视频流。因此在多人轮流表演的过程中涉及到视频源转换的问题，在转换视频源的过程中，当结束拉取表演者1的视频流时，表演界面会卡在表演者1的最后一帧图像，只有转换到下一表演者视频源后才会进行下一表演者的显示，这必然会影响用户在远程观看时的体验。本申请提出在转换表演者视频流的过程中通过模拟的闭幕与开幕来解决视频流后台切换所造成的短暂卡顿现象，从而让观看者在看合成的视频时具有较好的过度效果，使整体表演平滑、真实。

下面以一个终端设备为例，对虚拟的多人轮流表演节目的实现方法进行说明。如图12所示，包括：

在步骤1201中，获取当前节目的视频流进行播放。

如当前界面为第一表演者和第一虚拟舞台合成的节目。在虚拟的多人轮流表演场景中包括多个节目，每个节目可由相应的终端设备进行视频采集，且每个节目通过图像分割技术将目标对象合成到虚拟舞台中。

在步骤1202中，若当前节目的视频流播放结束，则播放闭幕特效。

以图13所示的闭幕特效生成为例：首先将闭幕特效的动态图像进行分帧，然后依次与表演者的表演视频帧进行图层叠加。叠加时、闭幕特效图层在上，表演者视频帧在下，上图层覆盖下图层，然后依次叠加下一帧图像，直到闭幕特效图层完全覆盖表演者视频帧完成闭幕特效的播放。

多人轮流表演场景中，若具有下一节目，该下一界面是第二表演者和第二虚拟舞台合成的视频。当然，多人轮流表演场景中，每个界面的虚拟舞台可以相同也可以不同，可以根据表演者自己确定。本申请实施例中的第一表演者和第二表演者分别包括至少一个表演者。

在步骤1203中，在闭幕特效结束后，播放下一节目的开幕特效。

当然在实施时，可选择在当前界面结束后就开始播放下一界面的开幕特效，也适用于本申请实施例。

在另外的实施例中，闭幕特效和开幕特效可以择一播放，也适用于本申请实施例。

开幕特效与闭幕特效相似，不同点在于开幕特效的底层图为表演信息介绍的图像，开幕特效图层从完全覆盖该图像到图层完全消失，实现开幕特效。

实施时，闭幕特效可以为动画，开幕特效可以为一帧节目介绍图像。

在步骤1204中，接收下一节目的视频流进行播放。

例如，终端设备成功切换到下一节目的视频源，则可以结束开幕特效，展示视频。

相应的，闭幕特效和开幕特效可以由服务器进行控制，服务器端执行的方法如图14所示，包括：

在步骤1401中，获取当前节目的视频流并输出。

当前节目为虚拟的多人轮流表演场景中的节目，在虚拟的多人轮流表演场景中包括多个节目，每个节目由相应的终端设备进行视频采集，且每个节目通过图像分割技术将目标对象合成到虚拟舞台中。对于作为类似″家庭大脑″的电子设备，当其具有显示器时，可以将视频流输出给自己的显示器，当其不具有显示器时，可以将视频流输出给具有显示功能的电子设备展示。

在步骤1402中，响应于节目结束指示，输出用于展示闭幕特效的信息。

其中，以服务器控制智能电视展示为例，闭幕特效可以存储在智能电视中，服务器输出的用于展示闭幕特效的信息，可以不携带闭幕特效而是要求智能电视展示闭幕特效即可。

当然，服务器还可以根据当前节目生成闭幕特效，则服务器输出的用于展示闭幕特效的信息中携带有闭幕特效供智能电视展示。

除了闭幕特效之外，本申请实施例为了增加多人轮流表演场景的沉浸感，避免在不同节目源切换时出现无内容播放的情况，还可以增加开幕特效。如在步骤1403中，根据下一节目的节目信息生成开幕特效并输出，并将获取的下一节目的视频流输出。

继续以服务器为例，服务器可以根据下一界面的节目信息生成开幕特效，并控制智能电视输出开幕特效。此外，生成闭幕特效的同上，还可以同时获取下一节目的视频流，以便于及时播放下一节目。

生成开幕特效时，服务器可将下一节面的描述信息添加到闭幕图片中得到开幕特效。

当然需要说明的是，服务器还可以将下一节目的节目信息发送给智能电视，由智能电视自主生成开幕特效播放。

当多位表演者首先生成表演顺序之后，如图15所示，服务器按照表演顺序依次拉取表演者的视频，然后对视频进行人像分割得到人像，再依据该当前表演者预设的虚拟舞台，将表演者合成到虚拟舞台中，生成表演视频。服务器向其他观看端分发表演视频。当表演者表演完节目时，向服务器发送节目结束指令，控制端接收指令并开启闭幕特效。同时服务端结束对当前表演者视频流的拉取转而向下一表演者端发送视频流拉取指令。闭幕特效结束后开启开幕特效，开幕特效可以是下一个表演节目信息的介绍。当开幕特效结束时，服务器向表演者发送开始表演指令，表演者进行表演，然后再次通过人像分割与背景合成算法合成表演视频。

本申请实施例中，实现时可根据实际情况设置开幕和闭幕特效时间长，保证在开幕和闭幕特效时间段视频源转换成功，达到表演节目平滑过渡的效果。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种终端设备，其特征在于，包括：显示器和控制器，其中：

所述显示器用于显示信息；

所述控制器连接所述显示器，被配置为：

控制所述显示器显示当前节目，所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

当所述当前节目播放结束，则播放闭幕特效；

所述闭幕特效结束后，播放下一节目，所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台；

其中，节目是通过以下方式确定的：

接收不同视频流；

获取所述不同视频流中同一指定存储顺序的视频帧的时间戳；

确定获取的时间戳之间的差值；

若所述时间戳之间的差值小于预设阈值，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组候选视频帧组；

若所述时间戳之间的差值大于或等于所述预设阈值，则将每两路视频流中时延高的一路视频流进行丢帧处理；并，在丢帧处理后，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组；

基于所述候选视频帧组中各目标对象的掩码图像，将各帧所述候选视频帧中的目标对象合成到虚拟舞台中，得到合成图像，根据合成图像得到节目。

2.根据权利要求1所述的终端设备，其特征在于，所述控制器还被配置为：

在播放所述下一节目之前，控制所述显示器播放下一节目的开幕特效；

所述开幕特效结束后，播放所述下一节目。

3.根据权利要求1所述的终端设备，其特征在于，所述控制器还被配置为：

在丢帧处理后，针对所述两路视频流中时延低的一路视频流中剩余的每帧视频帧、将所述视频帧与所述时延高的视频流中时间戳最近的视频帧确定到同一组候选视频帧组中。

4.根据权利要求1或3所述的终端设备，其特征在于，所述控制器还被配置为：

从所述时延高的一路视频流中选择至少一帧视频帧，其中，被选择的视频帧的存储顺序在所述指定存储顺序之前；

将选择的所述至少一帧视频帧进行丢帧处理。

5.根据权利要求1-3中任一所述的终端设备，其特征在于，所述控制器还被配置为：

针对每个视频流，获取的所述视频流中包括各帧视频帧的掩码图像。

6.根据权利要求1-3中任一所述的终端设备，其特征在于，所述控制器还被配置为：

获取当前节目的视频流并输出；所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

响应于节目结束指示，输出用于展示闭幕特效的信息；以及，

基于所述节目结束指示，获取到下一节目的视频流并输出；所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台。

7.一种视频处理方法，其特征在于，所述方法包括：

获取当前节目的视频流并输出；所述当前节目为将第一表演者与第一虚拟舞台合成形成的表演视频；

响应于节目结束指示，输出用于展示闭幕特效的信息；以及，

基于所述节目结束指示，获取到下一节目的视频流并输出；所述下一节目为第二表演者与第二虚拟舞台合成形成的表演视频；其中第一表演者和第二表演者分别包括至少有一个表演者，第一虚拟舞台和第二虚拟舞台为相同舞台或不同舞台；

其中，节目是通过以下方式确定的：

接收不同视频流；

获取所述不同视频流中同一指定存储顺序的视频帧的时间戳；

确定获取的时间戳之间的差值；

若所述时间戳之间的差值小于预设阈值，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组候选视频帧组；

若所述时间戳之间的差值大于或等于所述预设阈值，则将每两路视频流中时延高的一路视频流进行丢帧处理；并，在丢帧处理后，将不同视频流中位于所述指定存储顺序之前且时间戳相同的视频帧确定为一组所述候选视频帧组；

基于所述候选视频帧组中各目标对象的掩码图像，将各帧所述候选视频帧中的目标对象合成到虚拟舞台中，得到合成图像，根据合成图像得到节目。

8.根据权利要求7所述的方法，其特征在于， 所述方法还包括：

在输出所述下一节目的视频流之前，根据所述下一节目的节目信息生成开幕特效并输出。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器用于存储可执行指令；

其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求7-8中任一项所述的视频处理方法。