CN116208733A - 视频会议交互的方法和装置 - Google Patents
视频会议交互的方法和装置 Download PDFInfo
- Publication number
- CN116208733A CN116208733A CN202111644737.3A CN202111644737A CN116208733A CN 116208733 A CN116208733 A CN 116208733A CN 202111644737 A CN202111644737 A CN 202111644737A CN 116208733 A CN116208733 A CN 116208733A
- Authority
- CN
- China
- Prior art keywords
- portrait
- virtual
- conference
- real
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及一种视频会议交互的方法、装置、计算机设备、存储介质和计算机程序产品。所述方法涉及线上虚拟化的视频会议技术,包括:响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。采用本方法能够提高视频会议的交互效率。
Description
本申请要求于2021年11月30日提交中国专利局,申请号为2021114425187,申请名称为“视频会议交互的方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频会议交互的方法、装置、计算机设备、存储介质和计算机程序产品,以及一种视频会议画面的处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,位于不同地点的人们通过通信设备和网络进行面对面交流的视频会议技术,在娱乐、教育、培训、营销和广告等领域得到了广泛的应用。在视频会议实现中,参会人员会通过对应会议终端采集视频数据,在视频会议的界面中进行汇聚展示。
然而,参会人员距离会议终端的位置和远近不同,导致在视频会议的界面中汇聚展示的视频中人像杂乱,影响了视频会议的真实感,降低了基于视频会议的交互过程中的交互效率。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高视频会议的交互效率的视频会议交互的方法、装置、计算机设备、存储介质和计算机程序产品,以及视频会议画面的处理方法、装置、计算机设备、存储介质和计算机程序产品。
一种视频会议交互的方法,所述方法包括:
响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
在其中一个实施例中,所述方法还包括:响应于所述多个终端中的目标终端处于异常网络状态,在展示所述目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于所述自适应人像对应的会议成员的网络异常提示信息。
一种视频会议交互的装置,所述装置包括:
同框画面展示模块,用于响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
自适应人像展示模块,用于在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
上述视频会议交互的方法、装置、计算机设备、存储介质和计算机程序产品,在多个终端间触发视频会议时,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,所展示的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配。在视频会议交互过程中,在视频会议对应虚拟同框画面的虚拟场景中虚拟位置上,展示大小与相应虚拟位置所在位置区域的大小相匹配的自适应人像,以根据虚拟场景中虚拟位置所在位置区域对相应展示的自适应人像的大小进行控制,避免了会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
一种视频会议画面的处理方法,所述方法包括:
获取加入视频会议的多个终端各自采集的会议成员实时画面;
对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
一种视频会议画面的处理装置,所述装置包括:
实时画面获取模块,用于获取加入视频会议的多个终端各自采集的会议成员实时画面;
调整参数获得模块,用于对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
自适应调整模块,用于基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
同框画面下发模块,用于将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取加入视频会议的多个终端各自采集的会议成员实时画面;
对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取加入视频会议的多个终端各自采集的会议成员实时画面;
对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取加入视频会议的多个终端各自采集的会议成员实时画面;
对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
上述视频会议画面的处理方法、装置、计算机设备、存储介质和计算机程序产品,对于加入视频会议的多个终端各自采集的每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,并基于得到的自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像,将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。在视频会议画面的处理中,将多个终端各自采集的每个会议成员实时画面中的人像,按照基于人像参数和人脸参数进行人像分析确定的自适应调整参数进行自适应调整,能够使在终端的虚拟同框画面中展示的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配,可以避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
附图说明
图1为一个实施例中视频会议交互的方法的应用环境图;
图2为一个实施例中视频会议交互的方法的流程示意图;
图3为一个实施例中虚拟同框画面的界面示意图;
图4为一个实施例中虚拟场景中各虚拟位置的界面示意图;
图5为一个实施例中虚拟场景中各虚拟位置分布的界面示意图;
图6为一个实施例中展示会议成员信息的界面示意图;
图7为一个实施例中位置区域与人像区域对比的界面示意图;
图8为一个实施例中人像统一占比对比的界面示意图;
图9为一个实施例中触发共享屏幕的界面变化示意图;
图10为一个实施例中结束共享屏幕的界面变化示意图;
图11为一个实施例中移动自适应人像的界面变化示意图;
图12为一个实施例中展示网络异常提示的界面示意图;
图13为一个实施例中展示异常状态提示的界面示意图;
图14为一个实施例中确定成员参数的流程示意图;
图15为一个实施例中视频会议画面的处理方法的流程示意图;
图16为一个实施例中视频会议同框系统的架构示意图;
图17为一个实施例中视频会议同框系统的交互示意图;
图18为另一个实施例中视频会议交互的方法的流程示意图;
图19为一个实施例中确定自适应调整参数的流程示意图;
图20为一个实施例中自适应调整处理的流程示意图;
图21为一个实施例中确定人像参数处理方向的流程示意图;
图22为一个实施例中更新参数队列的流程示意图;
图23为一个实施例中偏移量含义的示意图;
图24为一个实施例中对人像掩码图像进行锐化的流程示意图;
图25为一个实施例中对人脸参数和人像参数进行阈值判定的流程示意图;
图26为一个实施例中确定宽度偏移量的流程示意图;
图27为一个实施例中确定高度偏移量的流程示意图;
图28为一个实施例中确定脸部缩放因子的流程示意图;
图29为一个实施例中确定缩放因子的流程示意图;
图30为一个实施例中人物过小时统一处理的流程示意图;
图31为一个实施例中人物过大时统一处理的流程示意图;
图32为一个实施例中图像合成的流程示意图;
图33为一个实施例中视频会议交互的装置的结构框图;
图34为一个实施例中视频会议画面的处理装置的结构框图;
图35为一个实施例中计算机设备的内部结构图;
图36为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的视频会议交互的方法,可以应用于如图1所示的应用环境中。其中,多个终端102分别通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。在多个终端102间触发视频会议时,在各个终端102中各自展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,所展示的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配。
本申请提供的视频会议画面的处理方法,可以应用于如图1所示的应用环境中。服务器104从加入视频会议的多个终端102中获取各自采集的会议成员实时画面,对于每个会议成员实时画面,服务器104根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,并基于得到的自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像,服务器104将基于各自适应人像生成的虚拟同框画面发送至各终端102,以在各终端102中进行展示。
其中,终端102可以进行视频数据采集,具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请涉及的视频会议技术,是云会议的一种具体实现方式。云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面,进行简单易用的操作,便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频,而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。目前国内云会议主要集中在以SaaS(Software as aService,软件即服务)模式为主体的服务内容,包括电话、网络、视频等服务形式,基于云计算的视频会议就叫云会议。在云会议时代,数据的传输、处理、存储全部由视频会议厂家的计算机资源处理,用户完全无需再购置昂贵的硬件和安装繁琐的软件,只需打开浏览器,登录相应界面,就能进行高效的远程会议。
在一个实施例中,如图2所示,提供了一种视频会议交互的方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置。
其中,终端为参与视频会议的用户侧对应的设备,用户通过终端参加视频会议,如用户可以通过对应账号在终端的视频会议客户端进行登录,以通过登录的账号加入视频会议。在具体应用中,终端具备视频数据采集能力,如终端可以配置有图像感知设备,具体可以为摄像头,从而可以在视频会议过程中将采集的终端对应用户的实时视频数据在视频会议的界面中进行展示,实现参会人员之间的面对面交流。此外,在终端不支持采集视频数据时,用户也可以通过该终端参加视频会议,但无法将终端侧的实时视频数据在视频会议的界面中进行展示,此时只能在视频会议的界面中观看到其他终端侧的实时视频画面。进一步地,对于能够采集视频数据的终端,用户也可以选择是否打开视频采集功能,以确定是否将本地侧的实时视频画面在视频会议中进行共享。在视频会议触发时,可以默认设置进入视频会议室的参会用户开启视频采集功能,以在视频会议的界面中展示各终端对应参会用户的实时视频画面。
加入视频会议的触发操作,可以是发起视频会议的触发操作,也可以是接受视频会议的触发操作。例如,视频会议的主持人可以通过第一终端向参会用户对应的第二终端发起视频会议,如可以向参会用户对应的第二终端发送视频会议邀请,以邀请相应参会用户参加视频会议。又例如,用户可以通过第二终端接收到视频会议的主持人通过第一终端发送的视频会议邀请,在通过该视频会议邀请后,该用户可以作为视频会议的参会人员进入对应的视频会议中。视频会议的触发操作可以是在视频会议触发区域触发的单击操作、双击操作或滑动操作等。
虚拟同框画面是指在界面中将视频会议中各参会对象对应的实时视频画面进行同框展示的虚拟画面,同框展示是指在视频会议过程中,将多个参会对象周围环境替换为指定图像或视频,即视频会议中的参会对象共享虚拟背景进行实时画面展示。例如,如图3所示,在视频会议的虚拟同框画面中,4个会议成员的实时视频画面均在虚拟山水风景的背景中进行同框展示,从而可以营造出在山水间进行会议交互的气氛。虚拟场景指虚拟同框画面中的虚拟背景,虚拟同框画面中可以包括多种不同的虚拟场景,可以与各种主题的视频会议相对应。具体地,虚拟场景可以包括座谈会、教室等各种场景。通过设置不同的虚拟场景,有利于营造与视频会议主题相对应的气氛,有利于提升视频会议的真实感,从而提高视频会议的交互效率。例如,在通过视频会议进行课程培训时,虚拟同框画面对应的虚拟场景可以为教室场景,从而营造出在教室中进行课程培训的视频会议气氛。虚拟同框画面可以在视频会议处于同框模式时对应进行展示,如视频会议的会议主持人需要对各参会对象对应的实时视频画面进行同框展示时,可以针对视频会议触发开启同框模式,视频会议开启同框模式后,展示视频会议的虚拟同框画面。
虚拟场景中包括多个用于容纳会议成员的虚拟位置,虚拟场景中各虚拟位置的分布可以根据实际场景需要进行灵活设置。此外,虚拟场景中还可以设置有其他场景布局内容,例如,虚拟场景为虚拟教室场景时,虚拟场景中除多个容纳会议成员的虚拟位置外,还可以包括虚拟教室中的装饰,如虚拟灯光、虚拟横幅等装饰内容。会议成员指参加视频会议的用户。虚拟位置是用于容纳相应会议成员的位置,具体可以为不同的小房子、标示框、座位等各种形式的虚拟位置。虚拟位置的形式可以根据虚拟场景的需要预先进行设置。例如,对于教室的虚拟场景,相应虚拟位置可以为教室中的虚拟座位;对于座谈会的虚拟场景,相应虚拟位置可以为划分会议成员不同组别的虚拟小房子。虚拟位置可以容纳对应的会议成员,如虚拟位置为虚拟座位时,对应会议成员的实时画面中的人像可以占据该虚拟座位,从而表示该会议成员坐于该座位上。在一个具体应用中,如图4所示,虚拟场景中包括多个虚拟位置,虚拟位置具体形式为虚拟座位,虚拟座位上可以容纳视频会议中的会议成员,从而营造出会议成员坐在会议室的座位上进行交流的氛围。
具体地,在需要开启视频会议时,参加视频会议的会议成员可以通过相应的终端触发视频会议,如视频会议的会议主持人开启视频会议,视频会议的参会成员通过各自终端加入该视频会议中,在各个终端视频会议对应的界面中,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置。其中,虚拟同框画面的虚拟场景可以由开启视频会议的同框模式的会议主持人根据实际需要进行设置,也可以为默认的虚拟场景。在具体应用中,各个终端间触发视频会议后,各个终端可以通过各自的视频采集装置,如与终端连接的摄像头实时拍摄视频画面,并将视频画面发送至服务器,服务器汇聚各个终端的视频画面后,将汇聚后的视频画面分别发送至各个终端进行相应展示。在具体实现时,终端展示汇聚后的视频画面时,可以默认将所有会员成员对应的视频画面均进行展示,也可以滤除本地端对应的视频画面,而展示视频会议中其他会议成员的视频画面。
步骤204,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
其中,会议成员实时画面是指视频会议过程中,终端采集的会议成员对应的实时视频,会议成员实时画面中包括终端拍摄的人像,如可以为相应会议成员的人像画面。自适应人像为对会议成员实时画面中人像进行自适应调整后得到的人像画面,具体可以根据会议成员实时画面中人像在终端拍摄的视频图像中的分布关系,确定相应的调整参数,并通过该调整参数对会议成员实时画面中人像进行自适应调整,得到自适应人像。会议成员实时画面中人像进行自适应调整后得到的自适应人像的人像大小,与其所处虚拟位置所在位置区域的大小相匹配。位置区域可以为覆盖虚拟位置的区域,具体可以为虚拟位置对应外接矩形的区域,通过位置区域可以对虚拟场景中的各虚拟位置进行管理控制。对于虚拟场景中至少两个虚拟位置处各自对应展示的自适应人像,自适应人像的大小与相应所处虚拟位置的位置区域的大小相匹配,如可以为自适应人像在位置区域中的面积占比为预设比例,即在虚拟位置处所展示的自适应人像,是根据该虚拟位置所在位置区域的大小,按照预设比例根据对会议成员实时画面中人像进行自适应调整后得到的。
具体地,在各个终端各自展示的虚拟同框画面中,虚拟场景的至少两个虚拟位置处,终端展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配,从而根据虚拟场景中各虚拟位置所在位置区域的大小,对相应展示的自适应人像的大小进行调整,能够确保在虚拟位置处展示的自适应人像的大小与该虚拟位置实现和谐统一,提升自适应人像处于相应虚拟位置的真实感,且避免了会议成员实时画面中人像的杂乱情况。在其中一个实施例中,在各个虚拟位置展示相应自适应人像外,还可以在虚拟位置中展示与自适应人像对应的会议成员信息,如可以展示会议成员的姓名、账号、职位、网络状况等各种信息,从而在虚拟同框画面的虚拟场景中显示丰富的会议成员信息,便于会议成员可以快速且直观地获得会议成员信息。
在一个具体应用中,如图5所示,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置,各虚拟位置划分为六排,在虚拟位置处展示终端采集的会议成员实时画面中人像对应的自适应人像,自适应人像的大小与虚拟位置所在位置区域的大小相对应,而虚拟位置所在位置区域的大小与虚拟位置所处的前后排相关,前排的虚拟位置所在位置区域大于后排虚拟位置所在位置区域,对应的,前排虚拟位置上展示的自适应人像大于后排虚拟位置上所展示的自适应人像,从而营造出真实的会议室氛围。在一个具体应用中,如图6所示,在虚拟同框画面的虚拟场景中,于虚拟位置中展示相应的自适应人像,并进一步在虚拟位置处展示了自适应人像对应会议成员的姓名,从而便于会议成员直观地了解各会议成员的信息。
上述视频会议交互的方法中,在多个终端间触发视频会议时,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,所展示的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配。在视频会议交互过程中,在视频会议对应虚拟同框画面的虚拟场景中虚拟位置上,展示大小与相应虚拟位置所在位置区域的大小相匹配的自适应人像,以根据虚拟场景中虚拟位置所在位置区域对相应展示的自适应人像的大小进行控制,避免了会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,包括:依据虚拟场景中虚拟位置所在位置区域的大小,以及预设的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
其中,位置区域可以为覆盖虚拟位置的区域,具体可以为虚拟位置对应外接矩形的区域,通过位置区域可以对虚拟场景中的各虚拟位置进行划分和分类,以便对各虚拟位置中所展示的内容进行个性化设置。人像区域为覆盖自适应人像的区域,如可以为自适应人像对应外接矩形的区域,具体可以为自适应人像对应最小外接矩形的区域,人像区域覆盖了自适应人像的全部范围。人像区域大小指人像区域的大小,具体可以为人像区域的区域面积大小。
人像统一占比是指虚拟位置中展示的自适应人像对应人像区域大小与该虚拟位置所在位置区域的大小之间的占比,具体可以为区域面积占比。人像统一占比的数值越高,表明在虚拟位置所在的位置区域中,自适应人像所占据的区域越大。人像统一占比条件为人像统一占比对应所满足的条件,人像统一占比条件可以根据实际需要预先设置,也可以根据虚拟同框画面中虚拟场景对应设置,即不同的虚拟场景可以对应于不同的人像统一占比条件,从而根据不同虚拟场景的需要营造出相应的真实场景氛围。例如,人像统一占比条件可以包括人像统一占比阈值,即人像区域与相应虚拟位置对应的位置区域之间的人像统一占比符合人像统一占比阈值,如可以为80%,表征在虚拟位置对应的位置区域中,自适应人像的人像区域的面积占比达到80%。此外,人像统一占比条件还可以包括预设的人像统一占比区间,如可以为[70%,90%],即在虚拟位置对应的位置区域中,自适应人像的人像区域的面积占比处于70%至90%之间。
人像区域大小可以根据虚拟场景中虚拟位置所在位置区域的大小,以及预设的人像统一占比条件确定得到。例如,人像统一占比条件包括人像统一占比为85%,虚拟场景中虚拟位置所在位置区域的大小为A,则可以确定相应虚拟位置匹配的人像区域大小为0.85A,即在该虚拟位置中所展示自适应人像的人像区域与该虚拟位置所处位置区域的面积占比为85%。目标自适应人像指在虚拟场景的虚拟位置处对应展示的自适应人像,不同会议成员对应的自适应人像在不同的虚拟位置处进行展示,即不同会议成员可以展示具有不同人像区域大小的自适应人像。
具体地,终端在展示虚拟场景中的各虚拟位置后,确定各虚拟位置所在位置区域的大小,如可以查询虚拟场景中各虚拟位置的属性信息,基于各虚拟位置的属性信息确定虚拟位置所在位置区域的大小。终端获得预设的人像统一占比条件,并根据虚拟位置所在位置区域的大小以及人像统一占比条件,确定各虚拟位置所匹配的人像区域大小,即确定各虚拟位置中用于展示自适应人像的区域大小。终端在虚拟场景中的虚拟位置处,按照确定的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像,目标自适应人像的人像区域大小与该虚拟位置所在位置区域的大小,符合预设的人像统一占比条件,如人像区域在位置区域中的面积占比值符合预设的人像统一占比阈值。
本实施例中,在虚拟场景的至少两个虚拟位置处各自所展示自适应人像所在的人像区域,与相应虚拟位置所在位置区域之间的人像统一占比符合预设的人像统一占比条件,并可以根据位置区域的大小与该人像统一占比条件,确定所需要展示的自适应人像对应的人像区域大小。具体地,在终端的虚拟同框画面的虚拟场景中,于至少两个虚拟位置处各自所展示自适应人像所在的人像区域,与相应虚拟位置所在位置区域之间的人像统一占比,可以符合预设的人像统一占比阈值,或处于预设的人像统一占比区间中,从而确保自适应人像与虚拟位置的适配性,形成自适应人像与虚拟位置之间的和谐统一,营造出真实的场景氛围。
例如,虚拟场景为座谈会场景,参加视频会议的会议成员的数量较少,则预设的人像统一占比条件可以设置为较高的90%,从而营造出拉近会议成员之间距离的真实座谈会氛围;又如虚拟场景为教室场景,参加视频会议的会议成员数量较多,视频会议中主要由会议主持人主导进行课程培训,则预设的人像统一占比条件可以设置为灵活的人像统一占比区间[70%,90%],从而营造出具有一定距离感的教室氛围。在具体实现时,人像统一占比条件可以根据虚拟场景对应预先设置,也可以由视频会议中具备权限的会议成员进行灵活设置,如可以由视频会议的会议主持人自定义人像统一占比条件,以根据实际需要灵活调整自适应人像所在的人像区域与相应虚拟位置所在位置区域之间的大小关系。
在一个具体应用中,如图7所示,在虚拟同框画面的虚拟场景中包括4个虚拟位置,具体为4个虚拟座位,各虚拟座位分别所在位置区域的大小均相同,如为斜线阴影的区域,在第1个和第3个虚拟座位上,分别展示了对应的自适应人像,第3个虚拟座位中自适应人像的人像区域如横线阴影区域,各虚拟座位中展示自适应人像的人像区域与位置区域的人像统一占比为80%,即第1个和第3个虚拟座位上分别展示的自适应人像对应的人像区域的大小均为位置区域大小的80%,即第1个和第3个虚拟座位上自适应人像对应的人像区域的大小相同。在其他具体实现中,对于虚拟场景中的各虚拟位置可以分别设置对应的人像统一占比条件,即虚拟场景中的各虚拟位置各自对应的人像统一占比条件可以相同,也可以不同,从而可以对各虚拟位置中展示的自适应人像的大小进行灵活控制。
本实施例中,终端依据虚拟场景中虚拟位置所在位置区域的大小及预设的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小,并在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像,从而可以确保自适应人像与虚拟位置的适配性,形成自适应人像与虚拟位置之间的和谐统一,营造出真实的场景氛围,避免了会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而有利于提高视频会议的交互效率。
在一个实施例中,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,包括:确定各虚拟位置在虚拟场景中的分布位置;按各分布位置所对应的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
其中,分布位置指虚拟场景中各虚拟位置的位置分布信息,在虚拟场景中,处于不同位置的虚拟位置,可以对应于不同的人像统一占比条件。人像统一占比条件为人像统一占比对应所满足的条件,人像统一占比是指虚拟位置中展示的自适应人像对应人像区域大小与该虚拟位置所在位置区域的大小之间的占比,具体可以为区域面积占比。人像统一占比的数值越高,表明在虚拟位置所在的位置区域中,自适应人像所占据的区域越大。人像统一占比条件与虚拟场景中各虚拟位置的分布位置对应。例如,人像统一占比条件包括人像统一占比阈值,即人像区域与相应虚拟位置对应的位置区域之间的人像统一占比符合人像统一占比阈值,在虚拟场景中包括多排虚拟位置时,处于前排的虚拟位置可以设置对应设置更高的人像统一占比阈值,而处于后排的虚拟位置对应于更小的人像统一占比阈值,从而营造出近大远小的透视感氛围,进一步提升了虚拟场景氛围的真实感。在具体实现时,各虚拟位置在虚拟场景中的分布位置与人像统一占比条件之间的对应关系可以根据实际需要预先设置,如可以基于透视原则设置人像统一占比条件,使距离近的虚拟位置处展示的自适应人像大于距离远的虚拟位置处所展示的自适应人像,从而实现近大远小的透视视角,以提升虚拟场景的真实感。
人像区域大小指人像区域的大小,具体可以为人像区域的区域面积大小。人像区域为覆盖自适应人像的区域,如可以为自适应人像对应外接矩形的区域,具体可以为自适应人像对应最小外接矩形的区域,人像区域可以覆盖自适应人像的全部范围。人像区域大小可以基于虚拟位置对应的人像统一占比条件确定,具体可以根据虚拟场景中虚拟位置所在位置区域的大小,以及确定的人像统一占比条件确定得到。目标自适应人像指在虚拟场景的虚拟位置处对应展示的自适应人像,不同会议成员对应的自适应人像在不同的虚拟位置处进行展示,即不同会议成员可以展示具有不同人像区域大小的自适应人像。
具体地,终端在虚拟位置处展示会议成员实时画面中人像对应的自适应人像时,确定各虚拟位置在虚拟场景中的分布位置,具体可以获取虚拟位置的属性信息,基于属性信息确定各虚拟位置在虚拟场景中的分布位置。终端按照每个虚拟位置各自对应的分布位置确定相应预设的人像统一占比条件,如可以根据分布位置-人像统一占比条件之间的映射关系,以根据分布位置确定对应的人像统一占比条件。终端基于该人像统一占比条件确定与相应虚拟位置匹配的人像区域大小,如可以根据人像统一占比条件以及虚拟位置所在的位置区域,确定与该虚拟位置匹配的人像区域大小,确定的人像区域大小即为在该虚拟位置中进行展示的自适应人像的人像区域的大小。终端在虚拟场景中的虚拟位置处,按照确定的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像,目标自适应人像的人像区域大小与该虚拟位置所在位置区域的大小,符合预设的人像统一占比条件,如人像区域在位置区域中的面积占比值处于预设的人像统一占比区间。
在一个具体应用中,如图8所示,虚拟同框画面的虚拟场景中的虚拟位置分为前后两排,两排中各虚拟位置所处位置区域的大小均相同,为虚线框所标识的区域,对于前排的虚拟位置,其人像统一占比条件中的人像统一占比阈值更高,即前排虚拟位置处展示的自适应人像的人像区域更大;而后排的虚拟位置,其人像统一占比条件中的人像统一占比阈值更低,即后排虚拟位置处展示的自适应人像的人像区域更小,从而形成近处自适应人像更大,而远处自适应人像更小的透视感。
本实施例中,终端依据虚拟场景中虚拟位置在虚拟场景中的分布位置所对应的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小,并在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像,从而可以确保自适应人像与分布在虚拟场景中不同位置的虚拟位置之间的适配性,形成自适应人像与分布在不同位置的虚拟位置之间的和谐统一,营造出真实的场景氛围,避免了会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而有利于提高视频会议的交互效率。
在一个实施例中,视频会议交互方法还包括:在虚拟同框画面中,展示属于虚拟场景的虚拟屏幕共享区域;响应于加入视频会议的多个终端中的目标终端触发屏幕共享,在虚拟屏幕共享区域,显示目标终端的屏幕共享内容。
其中,虚拟屏幕共享区域为进行屏幕共享的区域,通过屏幕共享可以在视频会议中进行内容共享,以便会议成员基于共享的内容进行交互和交流,有利于提高视频会议的交互效率。目标终端为触发屏幕共享事件的终端,具体可以为视频会议中需要进行屏幕共享的会议成员所对应的终端。屏幕共享内容为目标终端需要进行共享展示的内容,具体可以包括但不限于包括文本、表格、演示文件、音视频数据等各种形式的内容。屏幕共享内容在虚拟同框画面中展示的虚拟屏幕共享区域中进行显示,以便视频会议中的各会议成员均可以观看。
具体地,终端在视频会议的虚拟同框画面中,展示属于虚拟场景的虚拟屏幕共享区域,虚拟屏幕共享区域与虚拟场景对应,即不同的虚拟场景可以设置不同形式的虚拟屏幕共享区域。例如,对于座谈会的虚拟场景,虚拟屏幕共享区域可以为虚拟的电子屏幕,而对于教室的虚拟场景,虚拟屏幕共享区域可以为虚拟的黑板,从而在虚拟的黑板中进行内容共享。此外,对于不同的虚拟场景,其对应有不同的场景布局,则虚拟屏幕共享区域也可以根据虚拟场景的布局需要对应进行布局,如不同的虚拟场景中,可以不同的位置展示相应的虚拟屏幕共享区域,且展示的虚拟屏幕共享区域的大小也可以根据所属虚拟场景对应设置,以便确保虚拟场景的真实氛围。在加入视频会议的多个终端中的目标终端触发屏幕共享时,终端可以检测到相应的屏幕共享事件,表示目标终端需要进行屏幕共享,则终端在虚拟场景的虚拟屏幕共享区域中,显示目标终端的屏幕共享内容,如显示目标终端指定分享的演示文件。
在一个具体应用中,如图9所示,在虚拟同框画面中展示有属于虚拟场景的虚拟屏幕共享区域,目标终端的会议成员通过屏幕共享控件,触发屏幕共享事件时,如目标终端的会议成员点击“共享画面”的屏幕共享控件时,触发进行屏幕共享,并在虚拟屏幕共享区域中显示会议成员通过目标终端指定进行共享的屏幕共享内容,具体可以为演讲文件。
本实施例中,终端在虚拟同框画面中展示有属于虚拟场景的虚拟屏幕共享区域,并在虚拟屏幕共享区域中展示目标终端指定展示的屏幕共享内容,从而实现视频会议中的内容共享,以便会议成员基于共享的内容进行交互和交流,有利于提高视频会议的交互效率。
在一个实施例中,在虚拟同框画面中,展示属于虚拟场景的虚拟屏幕共享区域,包括:在虚拟同框画面中除虚拟位置以外的背景区域,展示虚拟屏幕共享区域。
其中,背景区域为虚拟同框画面中除虚拟位置以外属于背景的区域,通过在除虚拟位置以外的背景区域中展示虚拟屏幕共享区域,可以避免在虚拟位置中展示的自适应人像对视频会议中共享的内容产生遮挡问题,影响内容共享的效果。具体地,终端在虚拟同框画面中展示虚拟屏幕共享区域时,可以在虚拟同框画面中除虚拟位置以外的背景区域内,展示虚拟屏幕共享区域。
进一步地,视频会议交互方法还包括:当加入视频会议的多个终端未触发屏幕共享时,在虚拟屏幕共享区域,展示虚拟空白幕布;响应于目标终端触发取消屏幕共享,在虚拟屏幕共享区域,展示虚拟空白幕布。
其中,虚拟空白幕布为空白的虚拟幕布,未显示内容,可以作为虚拟场景的背景。在加入视频会议的各终端均未触发屏幕共享,即视频会议中未产生屏幕共享事件,或进行屏幕共享的目标终端取消进行屏幕共享,则在虚拟屏幕共享区域内展示虚拟空白幕布,以作为虚拟场景的背景。具体地,终端检测到加入视频会议的多个终端未触发屏幕共享时,如各终端新加入视频会议,未触发屏幕共享,则终端在虚拟屏幕共享区域展示虚拟空白幕布。另一方面,若加入视频会议的目标终端已经触发的了进行屏幕共享,则在虚拟屏幕共享区域中显示该目标终端指定分享的屏幕共享内容,当目标终端触发取消屏幕共享时,表明目标终端结束屏幕共享,则终端在虚拟屏幕共享区域展示虚拟空白幕布,以结束屏幕共享。
在一个具体应用中,如图10所示,目标终端在触发进行屏幕共享的过程中,目标终端的屏幕共享内容在虚拟屏幕共享区域中进行展示,虚拟屏幕共享区域位于虚拟同框画面中除虚拟位置以外的背景区域中,若目标终端通过屏幕共享控件,触发取消屏幕共享的事件时,如目标终端的会议成员点击“取消共享”的屏幕共享控件时,触发取消屏幕共享,若无其他会议成员通过相应终端触发屏幕共享,则在虚拟屏幕共享区域中展示虚拟空白幕布,将虚拟空白幕布作为视频会议的背景。
本实施例中,在视频会议中未产生屏幕共享事件,或进行屏幕共享的目标终端取消进行屏幕共享,则终端在虚拟同框画面中除所述虚拟位置以外的背景区域中展示的虚拟屏幕共享区域内,显示虚拟空白幕布,以作为虚拟场景的背景,可以根据需要对虚拟场景的背景进行充分利用,以便会议成员进行交互和交流,有利于提高视频会议的交互效率。
在一个实施例中,视频会议交互方法还包括:响应于移动虚拟场景中第一虚拟位置处展示的第一自适应人像至第二虚拟位置,在第二虚拟位置处,展示第一自适应人像对应的终端采集的会议成员实时画面中人像对应的自适应人像。
其中,第一虚拟位置和第二虚拟位置为虚拟场景中的任意不同的虚拟位置,第一自适应人像为在第一虚拟位置处所展示的自适应人像。具体地,视频会议中,会议成员可以通过终端对虚拟同框画面中展示的自适应人像的所展示的虚拟位置进行更新,具体可以由视频会议中具备位置调整权限的会议成员,如会议主持人通过对应终端对虚拟同框画面中自适应人像对应展示的虚拟位置进行更新。终端响应于移动虚拟场景中第一虚拟位置处展示的第一自适应人像至第二虚拟位置,具体可以为会议主持人通过对应终端,将虚拟场景中第一虚拟位置处展示的第一自适应人像移动至第二虚拟位置处,从而触发人像展示位置的更新,终端在第二虚拟位置处,展示第一自适应人像对应的终端采集的会议成员实时画面中人像对应的自适应人像。具体应用中,在第二虚拟位置处所展示的自适应人像的大小与第二虚拟位置所在的位置区域的大小相匹配。
在一个具体应用中,如图11所示,视频会议中的会议成员可以将虚拟场景中,在第六排的虚拟位置处展示的自适应人像移动至第三排的虚拟位置处,以在第三排展示相应的自适应人像,自适应人像的大小与第三排的虚拟位置所在的位置区域的大小相匹配。在具体实现时,可以对视频会议中各会议成员的位置更新权限进行配置,如视频会议的会议主持人可以通过对应终端对视频会议中所有会议成员对应自适应人像的展示位置进行更新,还可以为其他会议成员进行赋权,以使具备位置更新权限的会议成员也可以对权限范围内自适应人像的展示位置进行更新。此外,对于不具备位置更新权限的会议成员,只可以对自身的自适应人像的位置进行更新,或完全不能更新虚拟同框画面中自适应人像的展示位置。
本实施例中,在触发对虚拟场景中展示的自适应人像对应的虚拟位置进行更新时,终端可以在更新后的虚拟位置处展示相应的自适应人像,从而可以实现对虚拟场景中各自适应人像的展示位置进行灵活管理控制,有利于确保自适应人像与虚拟位置的适配性,形成自适应人像与虚拟位置之间的和谐统一,营造出真实的场景氛围,以提升视频会议的真实感,从而有利于提高视频会议的交互效率。
在一个实施例中,视频会议交互方法还包括:响应于多个终端中的目标终端处于异常网络状态,在展示目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于自适应人像对应的会议成员的网络异常提示信息。
其中,目标终端指加入视频会议的多个终端中,处于异常网络状态的终端,具体可以为网络信号不良、网络断开连接的终端。目标虚拟位置为展示目标终端所采集会议成员实时画面中人像对应的自适应人像的虚拟位置。网络异常提示信息用于提示目标终端对应的会议成员发生网络异常状况,可能无法得知视频会议中的会议信息,也无法正常进行交互回应。
具体地,终端或服务器可以对加入视频会议的各个终端的网络状况进行检测,在检测到目标终端处于异常网络状态时,表示目标终端对应会议成员已与视频会议失去网络连接,或网络连接不正常,无法进行正常视频会议的交互,则终端在目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于自适应人像对应的会议成员的网络异常提示信息,从而通过网络异常提示信息对目标终端的异常网络状态进行及时提示。在具体应用时,网络异常提示信息的展示位置可以与自适应人像相关,均位于对应的虚拟位置处,网络异常提示信息还可以覆盖对应的自适应人像,以进行突出展示。此外,网络异常提示信息的可见权限可以根据实际需要进行设置,如可以设置为网络异常提示信息对视频会议中的所有会议成员可见,也可以仅对视频会议对应的会议主持人可见。
在一个具体应用中,如图12所示,在虚拟同框画面的虚拟场景中,位于第二排的虚拟位置处的自适应人像对应的会议成员的终端处于异常网络状态,终端在该虚拟位置处,覆盖于自适应人像之上,展示了“网络异常”的提示信息,从而提示该会议成员的网络状况。
本实施例中,通过在虚拟位置处展示网络异常提示信息,以提示该虚拟位置对应终端的异常网络状态,可以及时将参加视频会议的终端中存在的网络异常情况进行提示,有利于保证视频会议的正常进行,确保视频会议的交互效率。
在一个实施例中,视频会议交互方法还包括:响应于多个终端中的目标终端所采集会议成员实时画面中目标会议成员处于异常参会状态,在展示目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于目标会议成员的异常状态提示信息。
其中,目标终端指加入视频会议的多个终端中,采集的会议成员实时画面中目标会议成员处于异常参会状态的终端。异常参会状态指会议成员的不处于正常参会状态,可能无法基于视频会议进行有效地交流和交互,例如,会议成员走神,打闹、打瞌睡、玩游戏等各种与视频会议正常交流交互无关行为状态。会议成员的参会状态可以通过对会议成员相应的实时画面进行行为分析确定,如基于实时画面进行行为识别,确定实时画面中对应会议成员的参会状态,若会议成员处于异常参会状态,则展示目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于目标会议成员的异常状态提示信息。目标虚拟位置为展示目标终端所采集会议成员实时画面中人像对应的自适应人像的虚拟位置。异常状态提示信息用于提示目标终端对应的会议成员不处于正常的参会状态,可能无法得知视频会议中的会议信息,也无法正常进行交互回应。
具体地,终端或服务器可以对加入视频会议的各个终端对应的会议成员的参会状态进行检测,在检测到目标终端对应的目标会议成员处于异常参会状态时,表示目标终端对应目标会议成员无法及时正常视频会议的交互,则终端在目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于自适应人像对应的目标会议成员的异常状态提示信息,从而通过异常状态提示信息对目标会议成员的异常参会状态进行及时提示。在具体应用时,异常状态提示信息的展示位置可以与自适应人像相关,均位于对应的虚拟位置处,异常状态提示信息还可以显示于对应自适应人像的周围,以进行突出展示。进一步地,异常状态提示信息可以有不同的形式,如可以为文本、图片、特效、视频等各种形式。例如,对于处于异常参会状态的目标会议成员,终端可以对该目标会议成员对应的自适应人像添加异常参会状态的特效,如在自适应人像的头像上方显示多个问号,或者为自适应人像添加文字特效,以对目标会议成员的异常参会状态及时进行提示。此外,异常状态提示信息的可见权限可以根据实际需要进行设置,如可以设置为异常状态提示信息对视频会议中的所有会议成员可见,也可以仅对视频会议对应的会议主持人可见。
在一个具体应用中,如图13所示,在虚拟同框画面的虚拟场景中,位于第三排的虚拟位置处的自适应人像对应的会议成员处于异常参会状态,终端在该虚拟位置处,在自适应人像的右侧,添加展示了“云游中……”的提示信息,从而提示该会议成员的参会状态。
本实施例中,通过在虚拟位置处展示异常状态提示信息,以提示该虚拟位置对应会议成员的异常参会状态,可以及时将参加视频会议的终端中存在的异常参会情况进行提示,有利于保证视频会议的正常进行,确保视频会议的交互效率。
在一个实施例中,视频会议交互方法还包括:响应于加入视频会议的触发操作,显示视频会议的视频界面;在视频界面中,展示多个终端中的至少一个终端采集的实时会议成员画面。
其中,加入视频会议的触发操作指触发加入视频会议的操作,具体可以为会议主持人开启视频会议的触发操作,也可以为需要参加视频会议的会议成员加入视频会议的操作。视频界面用于展示视频会议中各个终端采集的实施会议成员画面。具体地,用户可以在终端触发加入视频会议的操作,如接收视频会议邀请,或主动申请加入视频会议,在进入视频会议后,终端显示视频会议的视频界面,在该视频界面中展示多个终端中的至少一个终端采集的实时会议成员画面。
进一步地,响应于多个终端间视频会议的触发操作,展示视频会议的虚拟同框画面,包括:响应于对视频会议触发开启同框模式,取消在视频界面中展示实时会议成员画面,并在视频界面中展示视频会议的虚拟同框画面。
其中,同框模式指进行将视频会议中各会议成员对应的视频画面进行同框展示的模式。同框展示是指在视频会议过程中,将多个参会对象周围环境替换为指定图像或视频,即视频会议中的参会对象共享虚拟背景进行实时画面展示。具体地,在对视频会议触发开启同框模式时,如在多个终端中至少两个终端开启摄像头后,或者视频会议的主持人主动开启同框模式时,取消在视频界面中展示实时会议成员画面,并在视频界面中展示视频会议的虚拟同框画面,从而使终端展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置。
进一步地,视频会议交互方法还包括:响应于视频会议满足结束同框模式条件,取消在视频界面中展示虚拟同框画面。
其中,结束同框模式条件是指结束视频会议同框模式的条件,具体可以为会议主持人关闭同框模式,或视频会议中会议成员不满足同框模式维持条件,如视频会议中会议成员的数量少于2,或者视频会议中开启摄像头的会议成员的数量少于2,等。结束同框模式条件可以根据实际需要进行设置,如可以根据时间设置、根据位置设置等。例如,可以在达到预设的同框模式结束时间时,可以认为满足结束同框模式条件;又如,可以在达到预设的位置点时,认为满足结束同框模式条件,触发结束同框模式。具体地,终端可以检测视频会议是否满足预设的结束同框模式条件,在检测到满足结束同框模式条件时,表明需要针对视频会议结束同框模式,则终端取消在视频界面中展示虚拟同框画面,并在视频会议的视频界面中,展示多个终端中的至少一个终端采集的实时会议成员画面,从而实现同框模式的安全退出。
本实施例中,在触发开启视频会议的同框模式时,在视频会议对应的视频界面中展示视频会议的虚拟同框画面,以在虚拟同框画面中实现各会议成员的同框展示;在满足结束同框模式条件时,终端取消在视频界面中展示虚拟同框画面。通过视频会议的同框模式的开启和结束,以对视频会议的会议形式进行变换,丰富了视频会议的交互形式,有利于提高视频会议的交互效率。
在一个实施例中,在虚拟位置处所展示的自适应人像,是通过对终端采集的会议成员实时画面中人像进行自适应调整获得的,自适应调整的处理可以由服务器执行,也可以由终端执行。自适应调整处理可以包括:获取加入视频会议的各个终端采集的会议成员实时画面;对于每个会议成员实时画面,确定会议成员画面中会议成员的人像参数与人脸参数;根据人像参数与人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像。
其中,会议成员实时画面是指视频会议过程中,终端采集的会议成员对应的实时视频,会议成员实时画面中包括终端拍摄的人像,如可以为相应会议成员的人像画面。加入视频会议的各个终端可以开启摄像头,以进行视频采集,得到会议成员实时画面。人像参数指会议成员画面中前景区域的参数,可以为会议成员画面中会议成员的人像所对应的参数,具体可以包括但不限于包括人像矩形的宽度、高度,人像区域的像素点等。人脸参数指会议成员画面中会议成员的人脸对应参数,具体可以包括但不限于包括人脸矩形的宽度、高度,人脸区域的像素点等。自适应调整参数基于人像参数与人脸参数,对会议成员实时画面中会议成员的人像进行人像分析得到,用于对会议成员实时画面中会议成员的人像进行自适应调整。自适应调整参数具体可以包括对会议成员实时画面中会议成员的人像进行宽度调整的调整参数,对会议成员实时画面中会议成员的人像进行高度调整的调整参数,以及对会议成员实时画面中会议成员的人像进行缩放处理的缩放参数。
具体地,当自适应调整的处理由服务器执行时,服务器可以获取加入视频会议的各个终端采集的会议成员实时画面,各个终端均采集其对应的会议成员实时画面,服务器可以分别从各个终端获得对应采集的会议成员实时画面。对应每个会议成员实时画面,服务器对会议成员实时画面进行人像分割和人脸分割,得到会议成员画面中会议成员的人像参数与人脸参数。具体应用中,可以基于图像分割技术对会议成员画面图像分割处理,以确定会议成员画面中会议成员的人像参数与人脸参数。服务器基于获得的人像参数与人脸参数对会议成员实时画面中会议成员的人像进行人像分析,具体可以分析会议成员实时画面中会议成员的人像,在会议成员实时画面中的分布情况,并基于该分布情况确定需要对会议成员实时画面中会议成员的人像进行调整的调整参数,即获得会议成员实时画面对应的自适应调整参数。自适应调整参数包括针对会议成员实时画面中会议成员的人像在多个维度进行调整处理的参数,具体包括宽度方向的调整参数、高度方向的调整参数以及缩放参数等。确定自适应调整参数后,服务器基于该自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,获得会议成员实时画面中会议成员的人像所对应的自适应人像,自适应人像展示于虚拟背景的虚拟位置处。
本实施例中,根据终端采集的会议成员实时画面中会议成员的人像参数与人脸参数,对相应会议成员实时画面中会议成员的人像进行分析,确定会议成员实时画面对应的自适应调整参数,并基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像。通过会议成员实时画面中会议成员的人像参数与人脸参数确定的自适应调整参数,对议成员实时画面中会议成员的人像进行自适应调整,可以使自适应调整后得到的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配,能够避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,根据人像参数与人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数,包括:当基于人像参数和人脸参数,确定会议成员实时画面为人像有效图像时,根据人像参数确定高度偏移量和宽度偏移量;根据人像参数、人脸参数和高度偏移量,确定缩放因子;将高度偏移量、宽度偏移量及缩放因子,作为会议成员实时画面对应的自适应调整参数。
其中,会议成员实时画面为人像有效图像,表明会议成员实时画面中的人像有效,可以进行在虚拟同框画面中进行展示。具体可以根据人像参数和人脸参数确定会议成员实时画面人像对应的人像比例和人脸比例,在人像比例和人脸比例均超过各自相应的阈值时,确定会议成员实时画面为人像有效图像,可以基于会议成员实时画面进行自适应调整,并将自适应调整后得到的自适应人像在视频会议虚拟场景中虚拟位置进行展示。高度偏移量为需要对会议成员实时画面中人像的高度进行调整的调整处理量,宽度偏移量为需要对会议成员实时画面中人像的宽度进行调整的调整处理量,缩放因子为在会议成员实时画面中人像的高度和宽度分别进行调整后,需要进行缩放处理的缩放参数,具体可以为缩放倍率。
具体地,服务器在对会议成员实时画面中会议成员的人像进行人像分析时,可以先确定会议成员实时画面是否为人像有效图像,具体可以由服务器根据人像参数和人脸参数,分别确定会议成员实时画面中人像对应的区域,及人脸对应的区域,根据人像对应的区域在会议成员实时画面的占比,以及人脸对应的区域在人像对应的区域中的占比,确定会议成员实时画面是否捕捉到足够多的人像,以及足够多的人脸,若是,则可以确定会议成员实时画面为人像有效图像。在具体实现时,服务器可以根据人像参数和人脸参数,分别确定会议成员实时画面中人像像素点数以及人脸像素点数,服务器将人像像素点数与会议成员实时画面的总像素点数进行对比,确定会议成员实时画面中是否捕捉到足够多的人像像素点;服务器将人脸像素点数与人像像素点数进行对比,确定会议成员实时画面的人像中,是否包括足够的人脸像素点;当会议成员实时画面中包括足够多的人像像素点,且会议成员实时画面的人像中也包括足够多的人脸像素点,则确定会议成员实时画面为人像有效图像,可以在虚拟场景的虚拟位置进行展示。
会议成员实时画面为人像有效图像时,服务器根据人像参数确定高度偏移量和宽度偏移量,具体可以根据人像参数中人像掩码矩形的宽度和高度,以及会议成员实时画面对应的人像掩码图确定初始宽度偏移量和初始高度偏移量,通过会议成员实时画面对应在先的历史画面,对初始宽度偏移量和初始高度偏移量进行校正,得到高度偏移量和宽度偏移量。人脸参数包括人脸掩码矩形的人脸宽度和人脸高度;人像参数包括人像掩码矩形的人像宽度和人脸宽度,服务器基于人脸宽度、人脸高度和高度偏移量确定脸部缩放因子,并根据脸部缩放因子、人像宽度、人脸宽度以及高度偏移量得到针对会议成员实时画面中人像的缩放因子。服务器将高度偏移量、宽度偏移量及缩放因子,作为会议成员实时画面对应的自适应调整参数,通过高度偏移量、宽度偏移量及缩放因子对会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像。
本实施例中,在根据人像参数和人脸参数确定会议成员实时画面为人像有效图像时,根据人像参数确定高度偏移量和宽度偏移量,并基于人像参数、人脸参数和高度偏移量,确定缩放因子,会议成员实时画面对应的自适应调整参数包括获得的高度偏移量、宽度偏移量和缩放因子。通过人像参数和人脸参数进行图像有效性判断,并进一步确定高度偏移量、宽度偏移量和缩放因子等自适应调整参数,可以确保基于自适应调整参数处理得到的自适应图像的大小与相应虚拟位置所在位置区域的大小相匹配,能够避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,人像参数包括会议成员实时画面对应的人像掩码图像中人像掩码矩形的人像掩码矩形参数;根据人像参数确定高度偏移量和宽度偏移量,包括:基于人像掩码矩形参数和人像掩码图像的尺寸,分别确定初始宽度偏移量和初始高度偏移量;根据会议成员实时画面的在前画面所对应的历史宽度偏移量计算会议成员实时画面对应的参考宽度偏移量;通过参考宽度偏移量对初始宽度偏移量进行校正处理,得到会议成员实时画面对应的宽度偏移量;根据会议成员实时画面的在前画面所对应的历史高度偏移量,计算会议成员实时画面对应的参考高度偏移量;通过参考高度偏移量对初始高度偏移量进行校正处理,得到会议成员实时画面对应的高度偏移量。
其中,人像参数包括会议成员实时画面对应的人像掩码图像中人像掩码矩形的人像掩码矩形参数,人像掩码图像为基于图像分割技术对会议成员实时画面进行图像分割得到的分割结果,人像掩码图像可以用于前景和背景分割,从而基于人像掩码图像可以确定人像区域。人像掩码图像中各像素点的像素值表征了对应像素点属于前景,即属于人像像素点的概率。人像掩码矩形为人像掩码图像中人像的外接矩形,具体可以为最小外接矩形。人像掩码矩形参数为人像掩码矩形的参数,具体可以包括人像掩码矩形的人像宽度和人像高度。
在前画面为时间顺序位于会议成员实时画面之前的画面,历史宽度偏移量为在前画面对应的宽度偏移量,参考宽度偏移量为基于历史宽度偏移量确定的参考偏移量,用于对会议成员实时画面的初始宽度偏移量进行校正,以使会议成员实时画面的宽度偏移量能与在前画面所对应的历史宽度偏移量在一定范围保持一致。在具体实现时,若在前画面为会议成员实时画面前一帧的画面,则历史宽度偏移量为前一帧画面的宽度偏移量,而参考宽度偏移量则可以直接为前一帧画面的宽度偏移量;若在前画面为会议成员实时画面前多帧的画面,如在前画面为前八帧的画面,则历史宽度偏移量为前多帧的画面各自对应的宽度偏移量,参考宽度偏移量则可以根据前多帧的画面各自对应的宽度偏移量的平均值确定,如可以根据前多帧的画面各自对应的宽度偏移量的算数平均值或加权平均值,得到参考宽度偏移量。在加权处理时,可以将与当前的会议成员实时画面时间关联性强的在前画面所对应的宽度偏移量设置较高的权重,而将与当前的会议成员实时画面时间关联性弱的在前画面所对应的宽度偏移量设置较低的权重,从而使会议成员实时画面能够与时间关联性强的在前画面保持一致。
历史高度偏移量为在前画面对应的高度偏移量,参考高度偏移量为基于历史高度偏移量确定的参考偏移量,用于对会议成员实时画面的初始高度偏移量进行校正,以使会议成员实时画面的高度偏移量能与在前画面所对应的历史高度偏移量在一定范围保持一致。在具体实现时,若在前画面为会议成员实时画面前一帧的画面,则历史高度偏移量为前一帧画面的高度偏移量,而参考高度偏移量则可以直接为前一帧画面的高度偏移量;若在前画面为会议成员实时画面前多帧的画面,如在前画面为前八帧的画面,则历史高度偏移量为前多帧的画面各自对应的高度偏移量,参考高度偏移量则可以根据前多帧的画面各自对应的高度偏移量的平均值确定,如可以根据前多帧的画面各自对应的高度偏移量的算数平均值或加权平均值,得到参考高度偏移量。在加权处理时,可以将与当前的会议成员实时画面时间关联性强的在前画面所对应的高度偏移量设置较高的权重,而将与当前的会议成员实时画面时间关联性弱的在前画面所对应的高度偏移量设置较低的权重,从而使会议成员实时画面能够与时间关联性强的在前画面保持一致。
具体地,人像参数包括会议成员实时画面对应的人像掩码图像中人像掩码矩形的人像掩码矩形参数,在确定高度偏移量和宽度偏移量时,服务器基于人像掩码矩形参数和人像掩码图像的尺寸,分别确定初始宽度偏移量和初始高度偏移量,如可以根据人像掩码矩形参数中的人像宽度与人像掩码图像的宽度,确定初始宽度偏移量;根据人像掩码矩形参数中的人像高度与人像掩码图像的高度,确定初始高度偏移量。服务器获取会议成员实时画面的在前画面所对应的历史宽度偏移量和历史高度偏移量,并根据在前画面所对应的历史宽度偏移量和历史高度偏移量,分别计算得到参考宽度偏移量和参考高度偏移量,如可以通过求取平均值的方式,根据历史宽度偏移量和历史高度偏移量,分别对应计算得到参考宽度偏移量和参考高度偏移量。服务器通过参考宽度偏移量对初始宽度偏移量进行校正处理,得到会议成员实时画面对应的宽度偏移量,并通过参考高度偏移量对初始高度偏移量进行校正处理,得到会议成员实时画面对应的高度偏移量,从而确保会议成员实时画面与在前画面能够对应,减少人像和人脸抖动,从而保证自适应调整参数的准确性。
本实施例中,基于人像掩码矩形参数和人像掩码图像的尺寸确定初始宽度偏移量和初始高度偏移量,并通过在前画面所对应的历史宽度偏移量和历史高度偏移量,分别对初始宽度偏移量和初始高度偏移量进行校正,得到宽度偏移量和高度偏移量,通过参考在前画面所对应的历史偏移量对会议成员实时画面的宽度偏移量和高度偏移量进行校正,可以确保会议成员实时画面与在前画面能够对应,减少人像和人脸抖动,从而保证自适应调整参数的准确性。
在一个实施例中,参考宽度偏移量为会议成员实时画面的在前画面所对应的历史宽度偏移量的均值;通过参考宽度偏移量对初始宽度偏移量进行校正处理,得到会议成员实时画面对应的宽度偏移量,包括:确定初始宽度偏移量与历史宽度偏移量的均值之间的差异;当差异大于第一预设阈值时,通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对初始宽度偏移量进行加权校正,获得校正宽度偏移量;对校正宽度偏移量进行范围限制处理,得到会议成员实时画面对应的宽度偏移量。
其中,参考宽度偏移量为会议成员实时画面的在前画面所对应的历史宽度偏移量的均值,具体可以为在前画面所对应的历史宽度偏移量的算术平均值或加权平均值。在加权平均处理时,可以将与当前的会议成员实时画面时间关联性强的在前画面所对应的宽度偏移量设置较高的权重,而将与当前的会议成员实时画面时间关联性弱的在前画面所对应的宽度偏移量设置较低的权重,从而使会议成员实时画面能够与时间关联性强的在前画面保持一致。第一预设阈值可以根据实际需要进行灵活设置,用以判定会议成员实时画面与在前画面之间宽度的差异是否过大,若差异过大,则通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量对初始宽度偏移量进行加权校正,得到校正宽度偏移量。校正宽度偏移量通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对初始宽度偏移量进行加权校正得到,加权校正时的权重分配可以预先设置,如可以根据经验设置会议成员实时画面的在前一帧画面所对应的历史宽度偏移量与初始宽度偏移量之间的权重比为9:1。此外,还可以通过历史宽度偏移量的均值,对初始宽度偏移量进行加权校正,获得校正宽度偏移量。范围限制是指对校正宽度偏移量的取值范围进行限制,将其取值限制在预设取值区间内。
具体地,参考宽度偏移量为会议成员实时画面的在前画面所对应的历史宽度偏移量的均值,在对会议成员实时画面的初始宽度偏移量进行校正处理时,服务器可以确定初始宽度偏移量与参考宽度偏移量之间的差异,即确定初始宽度偏移量与历史宽度偏移量的均值之间的差异,具体可以将初始宽度偏移量与参考宽度偏移量进行数值比较,确定二者之间的差异。服务器查询预设的第一预设阈值,若确定的初始宽度偏移量与参考宽度偏移量之间的差异大于第一预设阈值,表明会议成员实时画面的宽度与在前画面的宽度之间的差异较大,可能发生抖动,会议成员实时画面的可信度降低,则服务器通过历史宽度偏移量对初始宽度偏移量进行加权校正,具体可以通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对初始宽度偏移量进行加权校正,获得校正宽度偏移量。服务器进一步对校正宽度偏移量进行范围限制处理,以将校正宽度偏移量的数值限制到预设取值区间内,得到会议成员实时画面对应的宽度偏移量,宽度偏移量用于对会议成员实时画面中人像的宽度进行自适应调整。
本实施例中,参考宽度偏移量为会议成员实时画面的在前画面所对应的历史宽度偏移量的均值,在初始宽度偏移量与参考宽度偏移量之间的差异大于第一预设阈值,表明会议成员实时画面的宽度与在前画面的宽度之间的差异较大时,通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对初始宽度偏移量进行加权校正,并对加权校正得到的校正宽度偏移量进行范围限制处理,得到会议成员实时画面对应的宽度偏移量,通过宽度偏移量对会议成员实时画面中人像的宽度进行自适应调整,可以使得到的自适应人像的宽度与相应虚拟位置所在位置区域的宽度相匹配,能够避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,参考高度偏移量为会议成员实时画面的在前画面所对应的历史高度偏移量的均值;通过参考高度偏移量对初始高度偏移量进行校正处理,得到会议成员实时画面对应的高度偏移量,包括:确定初始高度偏移量与历史高度偏移量的均值之间的差异;当差异大于第二预设阈值时,通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量,对初始高度偏移量进行加权校正,获得校正高度偏移量;对校正高度偏移量进行范围限制处理,得到会议成员实时画面对应的高度偏移量。
其中,参考高度偏移量为会议成员实时画面的在前画面所对应的历史高度偏移量的均值,具体可以为在前画面所对应的历史高度偏移量的算术平均值或加权平均值。在加权平均处理时,可以将与当前的会议成员实时画面时间关联性强的在前画面所对应的高度偏移量设置较高的权重,而将与当前的会议成员实时画面时间关联性弱的在前画面所对应的高度偏移量设置较低的权重,从而使会议成员实时画面能够与时间关联性强的在前画面保持一致。第一预设阈值可以根据实际需要进行灵活设置,用以判定会议成员实时画面与在前画面之间高度的差异是否过大,若差异过大,则通过历史高度偏移量,具体可以通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量,对初始高度偏移量进行加权校正,得到校正高度偏移量。校正高度偏移量通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量对初始高度偏移量进行加权校正得到,加权校正时的权重分配可以预先设置,如可以根据经验设置参考高度偏移量与初始高度偏移量之间的权重比为9:1。此外,还可以通过历史高度偏移量的均值对初始高度偏移量进行加权校正,获得校正高度偏移量。范围限制是指对校正高度偏移量的取值范围进行限制,将其取值限制在预设取值区间内。
具体地,参考高度偏移量为会议成员实时画面的在前画面所对应的历史高度偏移量的均值,在对会议成员实时画面的初始高度偏移量进行校正处理时,服务器可以确定初始高度偏移量与参考高度偏移量之间的差异,即确定初始高度偏移量与历史高度偏移量的均值之间的差异,具体可以将初始高度偏移量与参考高度偏移量进行数值比较,确定二者之间的差异。服务器查询预设的第一预设阈值,若确定的初始高度偏移量与参考高度偏移量之间的差异大于第一预设阈值,表明会议成员实时画面的高度与在前画面的高度之间的差异较大,可能发生抖动,会议成员实时画面的可信度降低,则服务器通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量,对初始高度偏移量进行加权校正,获得校正高度偏移量。服务器进一步对校正高度偏移量进行范围限制处理,以将校正高度偏移量的数值限制到预设取值区间内,得到会议成员实时画面对应的高度偏移量,高度偏移量用于对会议成员实时画面中人像的高度进行自适应调整。
本实施例中,参考高度偏移量为会议成员实时画面的在前画面所对应的历史高度偏移量的均值,在初始高度偏移量与参考高度偏移量之间的差异大于第一预设阈值,表明会议成员实时画面的高度与在前画面的高度之间的差异较大时,通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量对初始高度偏移量进行加权校正,并对加权校正得到的校正高度偏移量进行范围限制处理,得到会议成员实时画面对应的高度偏移量,通过高度偏移量对会议成员实时画面中人像的高度进行自适应调整,可以使得到的自适应人像的高度与相应虚拟位置所在位置区域的高度相匹配,能够避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,初始宽度偏移量的确定步骤包括:根据人像掩码图像的尺寸,确定人像掩码图像的图像中心点;根据人像掩码矩形参数和人像掩码图像的尺寸,确定人像掩码矩形的人像中心点;确定图像中心点与人像中心点之间的水平位差;基于水平位差和人像掩码图像的图像宽度,确定初始宽度偏移量。
其中,人像掩码图像为基于图像分割技术对会议成员实时画面进行图像分割得到的分割结果,人像掩码图像可以用于前景和背景分割,从而基于人像掩码图像可以确定人像区域。图像中心点指人像掩码图像的中心点,如可以为人像掩码图像的几何中心点。人像掩码图像的尺寸可以包括人像掩码图像的图像宽度和图像高度。人像掩码矩形为人像掩码图像中人像的外接矩形,具体可以为最小外接矩形。人像掩码矩形参数为人像掩码矩形的参数,具体可以包括人像掩码矩形的人像宽度和人像高度。人像中心点为人像掩码矩形的中心,具体可以为人像掩码矩形的几何中心点。
具体地,服务器根据人像掩码图像的尺寸,如根据人像掩码图像的图像宽度和图像高度,确定人像掩码图像对应的图像区域,并进一步将图像区域对应的几何中心确定为人像掩码图像的图像中心点。服务器根据人像掩码矩形参数和人像掩码图像的尺寸,确定人像掩码矩形的人像中心点,具体可以根据人像掩码矩形的几何中心得到人像中心点。服务器计算图像中心点与人像中心点之间的水平位差,具体可以将图像中心点与人像中心点的水平位置进行作差,得到水平位差。服务器基于得到的水平位差和人像掩码图像的图像宽度,得到初始宽度偏移量,具体可以根据水平位差与人像掩码图像的图像宽度之间的比值,得到初始宽度偏移量。
本实施例中,根据人像掩码图像的图像中心点和人像掩码矩形的人像中心点之间的水平位差,以及人像掩码图像的图像宽度,确定初始宽度偏移量,初始宽度偏移量可以用于确定自适应调整参数,以通过自适应调整参数对会议成员实时画面中的人像进行自适应调整,得到用于在虚拟位置中进行展示的自适应人像。
在一个实施例中,初始高度偏移量的确定步骤包括:基于人像掩码矩形参数,确定人像掩码矩形在图像高度方向的顶部位置和底部位置;根据顶部位置和人像掩码图像的图像高度,确定第一初始高度偏移量;根据底部位置和人像掩码图像的图像高度,确定第二初始高度偏移量;根据第一初始高度偏移量和第二初始高度偏移量,得到初始高度偏移量。
其中,人像掩码矩形为人像掩码图像中人像的外接矩形,具体可以为最小外接矩形。人像掩码矩形参数为人像掩码矩形的参数,具体可以包括人像掩码矩形的人像宽度和人像高度。顶部位置指人像掩码矩形在图像高度方向中的最高点位置,底部位置指人像掩码矩形在图像高度方向中的最低点位置。
具体地,服务器基于人像掩码矩形参数,确定人像掩码矩形在图像高度方向的顶部位置和底部位置。进一步地,服务器根据顶部位置和人像掩码图像的图像高度,确定第一初始高度偏移量,具体可以由服务器根据顶部位置与人像掩码图像的图像高度之间的比值,确定第一初始高度偏移量。服务器根据底部位置和人像掩码图像的图像高度,确定第二初始高度偏移量,具体可以由服务器根据底部位置与人像掩码图像的图像高度之间的比值,确定第二初始高度偏移量。服务器根据获得的第一初始高度偏移量和第二初始高度偏移量,得到初始高度偏移量,初始高度偏移量可以包括第一初始高度偏移量和第二初始高度偏移量。
本实施例中,根据人像掩码矩形在图像高度方向的顶部位置和底部位置,以及人像掩码图像的图像高度,分别确定第一初始高度偏移量和第二初始高度偏移量,并根据第一初始高度偏移量和第二初始高度偏移量得到初始高度偏移量。初始高度偏移量可以用于确定自适应调整参数,以通过自适应调整参数对会议成员实时画面中的人像进行自适应调整,得到用于在虚拟位置中进行展示的自适应人像。
在一个实施例中,人像参数包括会议成员实时画面对应的人像掩码矩形参数;人脸参数包括会议成员实时画面对应的人脸掩码矩形参数;根据人像参数、人脸参数和高度偏移量,确定缩放因子,包括:基于人脸掩码矩形参数和高度偏移量确定脸部缩放因子;基于人像掩码矩形参数和高度偏移参数确定人像缩放因子;融合脸部缩放因子和人像缩放因子,得到缩放因子。
其中,人像参数包括会议成员实时画面对应的人像掩码矩形参数,人脸参数包括会议成员实时画面对应的人脸掩码矩形参数。脸部缩放因子为在自适应调整处理过程中需要对人像的脸部进行缩放处理的倍率;人像缩放因子为在自适应调整处理过程中需要对人像整体进行缩放处理的倍率。
具体地,在确定缩放因子时,服务器基于人脸掩码矩形参数和高度偏移量确定脸部缩放因子,通过脸部缩放因子对会议成员实时画面中人像的脸部进行缩放处理。在具体实现时,人脸掩码矩形参数可以包括人脸掩码矩形的人脸宽度和人脸高度,服务器可以基于人脸宽度和高度偏移量确定脸部宽度缩放因子,基于人脸高度和高度偏移量确定脸部高度缩放因子,由服务器根据脸部宽度缩放因子和脸部高度缩放因子确定脸部缩放因子,具体可以将脸部宽度缩放因子和脸部高度缩放因子的较小值作为脸部缩放因子。服务器基于人像掩码矩形参数和高度偏移参数确定人像缩放因子,通过人像缩放因子对会议成员实时画面中人像的整体进行缩放处理。在具体实现时,人像掩码矩形参数可以包括人像掩码矩形的人像宽度和人像高度,服务器可以基于人像宽度和高度偏移量确定人像宽度缩放因子,基于人像高度和高度偏移量确定人像高度缩放因子,由服务器根据人像宽度缩放因子和人像高度缩放因子确定人像缩放因子,具体可以将人像宽度缩放因子与人像高度缩放因子的均值作为人像缩放因子。
得到脸部缩放因子和人像缩放因子后,服务器融合脸部缩放因子和人像缩放因子,具体可以将脸部缩放因子和人像缩放因子进行加权融合,得到缩放因子。脸部缩放因子和人像缩放因子进行加权融合时,脸部缩放因子和人像缩放因子各自的加权权重可以预先设置,如脸部缩放因子和人像缩放因子之间加权权重可以设为1:3。
本实施例中,根据人脸掩码矩形参数和高度偏移量确定脸部缩放因子,根据人像掩码矩形参数和高度偏移参数确定人像缩放因子,通过融合脸部缩放因子和人像缩放因子得到缩放因子,缩放因子用于确定自适应调整参数,以通过自适应调整参数对会议成员实时画面中的人像进行自适应调整,得到用于在虚拟位置中进行展示的自适应人像。
在一个实施例中,人像参数包括会议成员实时画面对应人像掩码图像中人像像素数量;人脸参数包括人像掩码图像中人脸像素数量;方法还包括:当基于人像像素数量或人脸像素数量,确定会议成员实时画面不属于人像有效图像时,获取会议成员实时画面对应的前一画面的高度偏移量和宽度偏移量;将前一画面的高度偏移量和宽度偏移量,确定为会议成员实时画面的高度偏移量和宽度偏移量。
其中,人像参数包括会议成员实时画面对应人像掩码图像中人像像素数量,人脸参数包括人像掩码图像中人脸像素数量。若会议成员实时画面为人像有效图像,表明会议成员实时画面中的人像有效,可以进行在虚拟同框画面中进行展示。若会议成员实时画面不属于人像有效图像,则会议成员实时画面中的人像无效,不宜将会议成员实时画面在虚拟同框画面中进行展示,此时通过会议成员实时画面对应的前一画面的偏移量参数作为会议成员实时画面的偏移量参数,从而确保在虚拟同框画面中能够平滑地展示的自适应图像。
具体地,服务器基于会议成员实时画面对应人像掩码图像中人像像素数量和人像掩码图像中人脸像素数量,对会议成员实时画面的有效性进行判定,若基于人像像素数量或人脸像素数量,确定会议成员实时画面不属于人像有效图像时,如人像像素数量的数量过少或占比过低,则确定会议成员实时画面不属于人像有效图像,又如人脸像素数量的数量过少或占比过低,则确定会议成员实时画面不属于人像有效图像。对于不属于人像有效图像的会议成员实时画面,服务器确定会议成员实时画面对应的前一画面,并获取该前一画面的高度偏移量和宽度偏移量。服务器直接将会议成员实时画面对应前一画面的高度偏移量和宽度偏移量,确定为会议成员实时画面的高度偏移量和宽度偏移量,从而确保前后不同画面间高度偏移量和宽度偏移量之间的平滑变化。
本实施例中,对于根据人像像素数量或人脸像素数量确定不属于人像有效图像的会议成员实时画面,服务器将会议成员实时画面对应的前一画面的高度偏移量和宽度偏移量,作为会议成员实时画面的高度偏移量和宽度偏移量,从而可以在会议成员实时画面无效时,确保前后不同画面间高度偏移量和宽度偏移量之间的平滑变化,以实现在虚拟同框画面中能够平滑地展示的自适应图像。
在一个实施例中,如图14所示,确定会议成员画面中前景参数,即确定会议成员画面中会议成员的人像参数与人脸参数,包括:
步骤1402,对会议成员画面进行图像分割处理,得到会议成员画面对应的原始人像掩码图像及原图人脸参数。
其中,图像分割指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,具体可以包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。对会议成员画面进行图像分割,以从会议成员画面中确定前景区域,即确定会议成员画面中的人像区域。原始人像掩码图像基于对会议成员画面进行图像分割处理得到,原始人像掩码图像的大小与会议成员画面相同,原始人像掩码图像中各像素点的像素值表征了对应像素点属于前景,即属于人像像素点的概率。原图人脸参数为对会议成员画面中的人脸区域进行分析得到,具体可以包括原图人脸像素点数量、原图人脸矩形等。
具体地,服务器获得加入所述视频会议的各个终端采集的会议成员实时画面后,对于每个会议成员实时画面,服务器分别进行图像分割处理,获得会议成员画面对应的原始人像掩码图像及原图人脸参数。
步骤1404,基于按照缩放比例对原始人像掩码图像进行缩放所获得的人像掩码图像进行人像分析,得到会议成员画面中人像对应的人像参数。
其中,人像掩码图像是按照预设的缩放比例对原始人像掩码图像进行缩放后得到的掩码图像,通过对原始人像掩码图像进行缩放处理,可以降低人像分析处理的数据量,有利于提高人像分析处理效率,从而确保视频会议的交互效率。人像参数基于对人像掩码图像进行人像分析得到,具体可以包括人像掩码图中人像掩码矩形参数、人像像素点数量等。
具体地,服务器按照预设的缩放比例对原始人像掩码图像进行缩放,得到人像掩码图像,并对人像掩码图像进行人像分析,得到会议成员画面中人像对应的人像参数。在具体实现时,服务器可以对人像掩码图像进行锐化处理,并基于锐化后的人像掩码图像确定人像参数,如确定锐化后的人像掩码图像中人像掩码矩形的宽度和高度、人像像素点数量等。
步骤1406,按照缩放比例对原图人脸参数进行缩放,得到会议成员画面中人脸对应的人脸参数。
其中,人脸参数通过原图人脸参数按照预定的缩放比例进行缩放得到,缩放比例与原始人像掩码图像缩放成人像掩码图像的缩放比例相同,从而确保人脸参数和人像参数的对应。具体地,服务器按照原始人像掩码图像缩放成人像掩码图像的缩放比例,对原图人脸参数进行缩放变换,得到会议成员画面中人脸对应的人脸参数。人脸参数可以包括人像掩码图像中人脸掩码矩形参数和人脸像素点数量等各种与人脸相关的参数。
本实施例中,通过对会议成员画面进行图像分割处理,得到原始人像掩码图像及原图人脸参数,对原始人像掩码图像及原图人脸参数按照预设缩放比例进行缩放处理后,得到人像参数与人脸参数,可以降低人像分析处理的数据量,有利于提高人像分析处理效率,从而确保视频会议的交互效率。
在一个实施例中,基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像,包括:基于缩放比例对自适应调整参数进行变换,得到变换后的自适应调整参数;通过变换后的自适应调整参数,对会议成员实时画面及会议成员实时画面对应的原始人像掩码图像分别进行人像自适应调整,获得人像调整图像和对应的人像掩码调整图像;将人像调整图像和人像掩码调整图像进行合成,得到合成图像;按照虚拟位置所在位置区域的大小,将合成图像进行缩放,得到于虚拟位置处展示的自适应人像。
其中,缩放比例与原始人像掩码图像缩放成人像掩码图像的缩放比例相同。自适应调整参数是基于缩放处理后的人像掩码图像进行人像分析得到的,人像掩码图像与会议成员实时画面的大小不对应,需要将得到的自适应调整参数按照缩放比例进行变换后,以通过变换后的自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到在虚拟位置处进行展示的自适应人像。人像调整图像为通过变换后的自适应调整参数,对会议成员实时画面进行自适应调整后得到的自适应调整结果;人像掩码调整图像为通过变换后的自适应调整参数,对原始人像掩码图像进行自适应调整后得到的自适应调整结果。合成图像通过人像调整图像和人像掩码调整图像合成得到,按照虚拟位置所在位置区域的大小对合成图像进行缩放,得到在虚拟位置处进行展示的自适应人像。
具体地,得到自适应调整参数后,服务器按照缩放比例对所述自适应调整参数进行变换,得到变换后的自适应调整参数,变换后的自适应调整参数适用于对会议成员实时画面进行自适应调整。服务器通过变换后的自适应调整参数,对会议成员实时画面及会议成员实时画面对应的原始人像掩码图像分别进行人像自适应调整,获得人像调整图像和对应的人像掩码调整图像。具体可以由服务器按照变换后的自适应调整参数,分别对会议成员实时画面中的人像区域及会议成员实时画面对应的原始人像掩码图像中的人像区域进行人像自适应调整,如可以通过高度偏移量、宽度偏移量及缩放因子对相应人像区域进行调整,得到人像调整图像和对应的人像掩码调整图像。服务器将人像调整图像和对应的人像掩码调整图像合成,获得合成图像,并按照对应虚拟位置所在位置区域的大小将合成图像进行缩放,得到于虚拟位置处展示的自适应人像。
本实施例中,按照与原始人像掩码图像缩放成人像掩码图像相同的缩放比例,对自适应调整参数进行变换,并通过变换后的自适应调整参数分别对会议成员实时画面及原始人像掩码图像进行人像自适应调整,将根据人像调整图像和对应的人像掩码调整图像合成获得的合成图像,按照相应虚拟位置所在位置区域的大小进行缩放,得到在虚拟位置处进行展示的自适应人像。在虚拟位置处进行展示的自适应人像按照与会议成员实时画面对应的变换后的自适应调整参数进行自适应调整得到,自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配,实现了根据虚拟场景中虚拟位置所在位置区域对相应展示的自适应人像的大小进行控制,避免了会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
在一个实施例中,如图15所示,提供了一种视频会议画面的处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤1502,获取加入视频会议的多个终端各自采集的会议成员实时画面。
其中,终端为参与视频会议的用户侧对应的设备,会议成员实时画面是指视频会议过程中,终端采集的会议成员对应的实时视频,会议成员实时画面中包括终端拍摄的人像,如可以为相应会议成员的人像画面。加入视频会议的各个终端可以开启摄像头,以进行视频采集,得到会议成员实时画面。
具体地,服务器可以获取加入视频会议的各个终端采集的会议成员实时画面,各个终端均采集其对应的会议成员实时画面,服务器可以分别从各个终端获得对应采集的会议成员实时画面,以对各会议成员实时画面进行自适应调整处理,得到相应的自适应人像在终端的虚拟同框画面的虚拟位置处进行展示。
步骤1504,对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数。
其中,人像参数指会议成员画面中前景区域的参数,可以为会议成员画面中会议成员的人像所对应的参数,具体可以包括但不限于包括人像矩形的宽度、高度,人像区域的像素点等。人脸参数指会议成员画面中会议成员的人脸对应参数,具体可以包括但不限于包括人脸矩形的宽度、高度,人脸区域的像素点等。自适应调整参数基于人像参数与人脸参数,对会议成员实时画面中会议成员的人像进行人像分析得到,用于对会议成员实时画面中会议成员的人像进行自适应调整。自适应调整参数具体可以包括对会议成员实时画面中会议成员的人像进行宽度调整的调整参数,对会议成员实时画面中会议成员的人像进行高度调整的调整参数,以及对会议成员实时画面中会议成员的人像进行缩放处理的缩放参数。
具体地,对应每个会议成员实时画面,服务器对会议成员实时画面进行人像分割和人脸分割,得到会议成员画面中会议成员的人像参数与人脸参数。具体应用中,可以基于图像分割技术对会议成员画面图像分割处理,以确定会议成员画面中会议成员的人像参数与人脸参数。服务器基于获得的人像参数与人脸参数对会议成员实时画面中会议成员的人像进行人像分析,具体可以分析会议成员实时画面中会议成员的人像,在会议成员实时画面中的分布情况,并基于该分布情况确定需要对会议成员实时画面中会议成员的人像进行调整的调整参数,即获得会议成员实时画面对应的自适应调整参数。自适应调整参数包括针对会议成员实时画面中会议成员的人像在多个维度进行调整处理的参数,具体包括宽度方向的调整参数、高度方向的调整参数以及缩放参数等。
步骤1506,基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像。
具体地,得到自适应调整参数后,服务器基于该自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,获得会议成员实时画面中会议成员的人像所对应的自适应人像,自适应人像展示于虚拟背景的虚拟位置处。
步骤1508,将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
其中,虚拟同框画面是指在界面中将视频会议中各参会对象对应的实时视频画面进行同框展示的虚拟画面,同框展示是指在视频会议过程中,将多个参会对象周围环境替换为指定图像或视频,即视频会议中的参会对象共享虚拟背景进行实时画面展示。
具体地,服务器针对加入视频会议的多个终端各自采集的会议成员实时画面进行自适应调整,得到各会议成员实时画面中人像对应的自适应人像后,服务器基于各自适应人像生成虚拟同框画面,具体可以由服务器将各自适应人像汇聚至虚拟同框画面中,并将得到的虚拟同框画面发送至各终端,以在各终端中进行展示。在各终端进行展示时,加入视频会议的各终端展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置,在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
上述视频会议画面的处理方法,对于加入视频会议的多个终端各自采集的每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,并基于得到的自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像,将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。在视频会议画面的处理中,将多个终端各自采集的每个会议成员实时画面中的人像,按照基于人像参数和人脸参数进行人像分析确定的自适应调整参数进行自适应调整,能够使在终端的虚拟同框画面中展示的自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配,可以避免会议成员实时画面中人像的杂乱情况,提升了视频会议的真实感,从而提高了视频会议的交互效率。
本申请还提供一种应用场景,该应用场景应用上述的视频会议交互的方法。具体地,视频会议交互的方法在该应用场景的应用如下:
目前的线上视频会议中,可以将多个终端的人物画面汇聚到一个画面中进行展示,但汇聚的画面中,人物大小不统一,整体画面不和谐,影响了视频会议的真实感,降低了基于视频会议的交互过程中的交互效率。而人物大小和人像距离摄像头远近有直接关系,距离过近或者过远的人物,视觉上会有一定的“丑化”效果。用户使用视频会议时的趣味性比较低,导致大多数用户都不愿意开启视频而选择语音会议通话。而本实施例提供的视频会议交互的方法中,基于线上视频会议的同框系统,将画面中的人物根据位置特点,统一到固定的大小,避免了由于人物距离摄像头的远近和位置的不同,产生画面中的人物大小差别比较大,导致的同框画面下,整体画面比较不和谐的负面效果,从而更加真实地营造一种实地会议的氛围,拉近线上会议与实地会议体检中间的差距,提升线上会议的体验感,提高线上视频会议的交互效率。
如图16所示,在设置有人像同框系统,支持同框展示的视频会议系统中,在开启同框模式后,各个终端进行数据采集并发送给服务器,服务器对各个终端的数据进行处理,通过人像同框系统处理后,输出集成有各个终端信息的同框画面,返回处理后的同框画面到各个终端进行显示。具体地,服务器获取加入视频会议的各个终端分别采集的会议成员实时画面,通过人像同框系统处理后,将各个终端分别的会议成员实时画面汇聚到统一虚拟同框画面中,并将虚拟同框画面发送至各终端进行展示。如图17所示,对于图16中的每个终端,终端使用摄像头进行图像采集和人像分割,输出人像原画、分割后的人像掩码图像和人脸参数并发送给服务器,服务器根据各个终端输入的图像画面进行位置排布和图像合成等,最后返回视频会议对应的虚拟同框画面至终端进行显示。人像掩码图像中各像素点的像素值表征相应像素点属于前景的概率,即各像素点的像素值取值范围为[0.0,1.0]。人脸参数包括图像中人脸区域对应的外接矩形的参数,包括人脸掩码矩形的位置、长度和高度,以及人脸有效的像素点数量。通过在终端对采集的原画进行图像分割,可以充分利用终端的计算资源,确保视频会议的交互效率。
进一步地,如图18所示,服务器获得终端拍摄的会员成员实时画面,即获得原画,原画对应的原始人像掩码图像以及缩放到128*128图像大小的人脸参数后,对人像大小进行统一化的调整,将人像在画面中的占比调节到固定的比例,达到人像同框场景中,人像个体大小统一,整体画面比较和谐的效果。具体地,服务器将原始人像掩码图像缩放到128*128的图像大小,得到人像掩码图像,基于人像掩码图像确定人像参数,人像参数具体可以根据原画进行人脸分割,确定原图人脸参数,并将原图人脸参数缩放至128*128大小后得到,人像参数包括人像掩码图像中人像像素点数量mask_area和锐化后的人像掩码图像mask_hard。将原始人像掩码图像缩放到128*128图像大小,基于缩放后的人像掩码图像确定自适应调整参数,可以减少运算量,有利于提高自适应调整参数的确定效率,从而提高视频会议的交互效率。
服务器基于人像参数确定人像掩码图像中人像占比是否过小,如是否小于人像占比阈值或小于预设人像占比比例;并根据人脸参数确定人像掩码图像中人脸的占比是否过小,如是否小于人脸占比阈值或小于预设人脸占比比例。若人像掩码图像中人像占比小或人像掩码图像中人脸占比小,则服务器获取前一帧原画对应的自适应调整参数,并根据前一帧原画对应的自适应调整参数,确定人像掩码图像对应的自适应调整参数。另一方面,若人像掩码图像中人像占比和人脸占比均足够大,则确定人像掩码图像中的人像掩码矩形,以及原画对应前8帧原画的自适应调整参数。服务器根据确定人像掩码图像中的人像掩码矩形,以及原画对应前8帧原画的自适应调整参数,确定人像掩码图像对应的自适应调整参数。自适应调整参数包括宽度偏移量(shift_on_w)、高度偏移量(shift_on_h、crop_down_h)和缩放因子(scale)。
得到人像掩码图像对应的自适应调整参数后,基于人像掩码图像与原画之间的图像大小关系,对自适应调整参数进行变换,得到变换后的自适应调整参数,变换后的自适应调整参数适用于对原画的图像大小进行自适应调整处理。具体地,变换公式可以包括:real_shift_w=M+shift_on_w*M;real_shift_h=((1/scale-1)*N*(1+shift_on_h-crop_down_h))+(N*shift_on_h);real_crop_down_h=N+N*crop_down_h,其中,M为原画的图像宽度,N为原画的图像高度,real_shift_w、real_shift_h、real_crop_down_h以及scale组成变换后的自适应调整参数。通过变换后的自适应调整参数分别对原画和原始人像掩码图像进行自适应调整,得到调整后原画和调整后人像掩码图像,将调整后原画和调整后人像掩码图像进行合成,得到合成图像,将合成图像按照对应虚拟位置所在位置区域的大小进行缩放,得到自适应人像,自适应人像用于在相应的虚拟位置处进行展示,自适应人像的大小与相应虚拟位置所在位置区域的大小相匹配。
进一步地,如图19所示,在确定自适应调整参数时,服务器将原始人像掩码图像缩放至128*128后,基于得到的人像掩码图像和人脸参数通过同一函数模块进行人像分析处理,得到自适应调整参数。如图20所示,在得到自适应调整参数后,服务器将原画和原始人像掩码图像分别通过变换后的自适应调整参数进行调整,得到调整后的原画和调整后的人像掩码图像,合成调整后的原画和调整后的人像掩码图像得到合成图像。后续服务器将合成图像按照对应虚拟位置所在位置区域的大小对合成图像进行缩放处理,得到在虚拟位置中进行展示的自适应图像。从服务器处理整体来看,服务器获取原画、原始人像掩码图像和人脸参数,首先对原始人像掩码图像缩放到128x128大小,调用“统一函数”模块进行人像分析得到对应的自适应调整参数,原画和原始人像掩码图像均采用该变换后的自适应调整参数进行自适应调整,得到调整后的原画和调整后的人像掩码图像,最后将调整后的原画和调整后的人像掩码图像进行图像合成,得到合成图像。合成图像可以根据虚拟位置的需要进行缩放,以将缩放后的自适应人像展示到相应虚拟位置处。
对于统一函数模块,如图21所示,服务器获取人像掩码图像和人脸参数,首先对人像掩码图像进行运算,得到人像参数后,通过阈值判断是直接更新参数队列或是进一步获取人像掩码矩形,人像掩码矩形为人像掩码所在的最小矩形包围框的区域,结合人脸参数计算偏移点。其中,对于参数队列更新处理中,如图22所示,若参数队列中参数个数大于8,则删除头部成员,即删除最先更新至参数队列中的参数,并在参数队列尾部插入新参数,以对参数队列进行更新。参数队列维护一个最大参数个数为8的队列,每个参数中包括4个成员,具体为人像掩码矩形在横向纬度的偏移量shift_on_w,人像掩码矩形在纵向纬度的偏移量shift_on_h和crop_down_h,以及人像掩码矩形的整体缩放因子scale。参数队列的作用是累计几帧的参数信息,当前帧处理的时候,可以利用历史信息对当前帧进行一个平滑操作,以得到当前帧的参数。对于每一参数中存储的成员内容是shift_on_w,shift_on_h,crop_down_h和scale。参数队列中的最大参数个数为8,即累计前8帧的自适应调整参数,来对当前帧进行平滑操作。如图23所示,虚线框为人像掩码矩形,shift_on_w是对其进行填充到统一人像宽度、shift_on_h是对其进行填充到统一人像高度,再将其底部紧贴原画的底边,上边填充crop_down_h,得到比例合适的人像,最后再将其通过scale缩放到原画尺寸,得到统一大小的图像。
进一步地,人像参数包括人像掩码图像锐化后的掩码图mask_hard以及人像掩码图像中前景像素点个数总数mask_area。如图24所示,对人像掩码图像进行锐化处理时,对人像掩码图像中各像素点的像素值进行判定,若像素值大于0.5,则将该像素点的像素值置1,否则将该像素点的像素值置0,在遍历完人像掩码图像后,得到锐化后的掩码图mask_hard,并基于锐化后的掩码图mask_hard确定人像掩码图像中前景像素点个数总数mask_area。
在进行阈值判定时,如图25所示,对于人像参数和人脸参数,判定人像像素点数量mask_area是否小于10%的人像掩码图像中的像素点总数,若是,则认为人像掩码图像中的人像区域占比小,舍弃该帧。另一方面,判定人脸有效像素数量是否小于5%的人像像素点数量mask_area,若是,则认为在人像区域中人脸的占比小,舍弃该帧。舍弃该帧后,可以根据前一帧的自适应参数更新参数队列,如可以将前一帧的自适应参数作为当前帧的自适应参数。具体地,服务器可以将上一帧的队列结果复制一遍,当成当前队列的内容来返回,一方面可以避免当前帧队列信息的空缺,导致计算逻辑的变化,另外一方面可以增加前一帧的信息在整体队列信息中的权重,使得下一帧的更新信息与前一帧更加平滑。若均不满足,则基于人像参数和人脸参数计算偏移点。通过人像像素数量占比和人脸像素数量占比的判定,可以在当前帧不是人像时,为确保人像画面更连续,丢弃该帧。
在计算偏移点时,分别需要计算高度方向的偏移量shift_on_h和crop_down_h,宽度方向的偏移量shift_on_w和缩放因子scale。如图26所示,获得shift_on_w的初始值后,将其限制在[-0.8,0.8]范围内,并获取参数队列中shift_on_w的平均值,判定shift_on_w初始值与shift_on_w平均值之间的差值否是大于0.1,若是则根据shift_on_w平均值校正shift_on_w初始值,并将校正后的shift_on_w更新至参数队列中;若shift_on_w初始值与shift_on_w平均值之间的差值小于等于0.1,则直接将shift_on_w初始值更新至参数队列中。其中,shift_on_w的初始值计算公式可以为shift_on_w初始值=2×(人像掩码图像中心点x坐标–mask_hard中心点x坐标)/人像掩码图像的图像宽度。差值的计算公式可以为差值=shift_on_w初始值–参数队列中shift_on_w的平均值,若差值大于阈值,代表当前帧与历史之间的差异太大,偏移量太大,表现出来是人脸抖动,从而基于历史帧的偏移量对其进行校正。校正shift_on_w的计算公式可以为shift_on_w=0.1×shift_on_w初始值+0.9×(上一帧的shift_on_w),校正后将shift_on_w的取值限制到[-0.8,0.8]范围内,具体可以取最大值、最小值或不做变换。
进一步地,如图27所示,获得shift_on_h初始值和crop_down_h初始值,若1+shift_on_h初始值-crop_down_h初始值>=0.25成立,则获取参数队列中shift_on_h和crop_down_h分别对应的平均值,比较shift_on_h初始值与shift_on_h平均值,比较crop_down_h初始值和crop_down_h平均值。若shift_on_h初始值与shift_on_h平均值之间的差值大于0.1,则根据shift_on_h平均值校正shift_on_h初始值,并将校正后的shift_on_h更新至参数队列。若shift_on_h初始值与shift_on_h平均值之间的差值不大于0.1,则直接将shift_on_h初始值更新至参数队列中。同样的,若crop_down_h初始值和crop_down_h平均值之间的差值大于0.1,则根据crop_down_h平均值对crop_down_h初始值进行校正,并将校正后的crop_down_h更新至参数队列中,若crop_down_h初始值和crop_down_h平均值之间的差值不大于0.1,则直接将crop_down_h初始值更新至参数队列中。此外,若1+shift_on_h初始值-crop_down_h初始值>=0.25不成立,则直接根据shift_on_h初始值和crop_down_h初始值更新参数队列。
其中,shift_on_h初始值和crop_down_h初始值计算公式分别为:shift_on_h=0.5–人像掩码矩形顶部y坐标/人像掩码图像的高度,crop_down_h=1–人像掩码矩形底部y坐标/人像掩码图像的高度。shift_on_h差值计算公式为差值=shift_on_h初始值–参数队列中shift_on_h的平均值。校正shift_on_h的计算公式为shift_on_h=0.1×shift_on_h初始值+0.9×(上一帧的shift_on_h)。crop_down_h差值计算公式为差值=crop_down_h初始值–参数队列中shift_on_h的平均值,校正crop_down_h的计算公式为crop_down_h=0.1×crop_down_h初始值+0.9×(上一帧的crop_down_h)。
对于缩放因子scale的确定,如图28所示,脸部缩放因子包括脸部宽度缩放因子和脸部高度缩放因子,将脸部宽度缩放因子和脸部高度缩放因子均初始赋值为1.0,计算new_w和new_h,new_w和new_h作为拓展补边。其中,new_h=h+(shift_on_h-crop_down_h)*h),new_w=new_h,h为人像掩码图像的高度,即为128像素。若人脸掩码矩形的宽度人脸width,满足人脸width<0.15×new_w,则确定脸部宽度缩放因子scale_face_w=0.15*new_w/人脸width,否则确定脸部宽度缩放因子scale_face_w=0.3*new_w/人脸width。另一方面,若人脸掩码矩形的高度人脸height,满足人脸height<0.2×new_h,则确定脸部高度缩放因子scale_face_h=0.2*new_h/人脸height,否则确定脸部高度缩放因子scale_face_h=0.4*new_h/人脸height。从脸部宽度缩放因子scale_face_w和脸部高度缩放因子scale_face_h中确定较小值,作为脸部缩放因子scale_face。
进一步地,如图29所示,缩放因子scale初始赋值为1.0,确定new_w和new_h。若人像掩码矩形的宽度人像width,满足人像width<0.45×new_w,则确定宽度缩放因子scale_w=0.45*new_w/人像width,否则,确定宽度缩放因子scale_w=0.8*new_w/人像width。另一方面,若人像掩码矩形的高度人像height,满足人像height<0.65×new_h,则确定高度缩放因子scale_h=0.65*new_h/人像height,否则,确定高度缩放因子scale_h=new_h/人像height。人像缩放因子scale_box=(scale_w+scale_h)/2,而缩放因子scale=0.75×scale_box+0.25×scale_face。
在基于确定的自适应参数对原画和原始人像掩码图像分别进行自适应调整处理中,在人像过小时,如图30所示,将人像从原画中裁剪出来,然后放大到原画尺寸。其中,虚线矩形框为基于变换后的自适应参数确定的目标区域,通过缩放因子scale将虚线矩形框缩放到原画大小。在人像过大时,如图31所示,需要对原画进行括边填充,填充像素值为“0”,填充后的新图通过缩放因子scale,将虚线矩形框缩小至原画大小。如图32所示,分别对原画和原始人像掩码图像进行自适应调整处理后,获得调整后的原画(为bgr格式图像)和调整后的人像掩码图像(为alpha通道图像),通过合并调整后的原画和调整后的人像掩码图像,mask的内容交织地接在bgr图像后面,得到bgra格式的合成图像。其中,人像掩码图像mask是基于透明度混合(alpha_blending)得到的alpha通道图像。
本实施例中的视频会议交互的方法,根据画面中人像和人脸在整体画面的占比面积,对人像进行指定位置的自适应缩放,将人像统一到一个比较合适的大小,增加整体画面的和谐度,从而更加真实地营造一种实地会议的氛围,拉近线上会议与实地会议体检中间的差距,提升线上会议的体验感,提高线上视频会议的交互效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图33所示,提供了一种视频会议交互的装置3300,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:同框画面展示模块3302和自适应人像展示模块3304,其中:
同框画面展示模块3302,用于响应于加入多个终端间的视频会议的触发操作,展示视频会议的虚拟同框画面,虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
自适应人像展示模块3304,用于在虚拟场景的至少两个虚拟位置处,展示多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
在一个实施例中,自适应人像展示模块3304包括人像区域大小确定模块和目标人像展示模块;其中:人像区域大小确定模块,用于依据虚拟场景中虚拟位置所在位置区域的大小,以及预设的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;目标人像展示模块,用于在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
在一个实施例中,自适应人像展示模块3304包括分布位置确定模块、占比条件处理模块和目标人像展示模块;其中:分布位置确定模块,用于确定各虚拟位置在虚拟场景中的分布位置;占比条件处理模块,用于按各分布位置所对应的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;目标人像展示模块,用于在虚拟场景中的虚拟位置处,按相应的人像区域大小,展示多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
在一个实施例中,还包括屏幕共享区域展示模块和屏幕共享响应模块;其中:屏幕共享区域展示模块,用于在虚拟同框画面中,展示属于虚拟场景的虚拟屏幕共享区域;屏幕共享响应模块,用于响应于加入视频会议的多个终端中的目标终端触发屏幕共享,在虚拟屏幕共享区域,显示目标终端的屏幕共享内容。
在一个实施例中,屏幕共享区域展示模块,还用于在虚拟同框画面中除虚拟位置以外的背景区域,展示虚拟屏幕共享区域;还包括空白幕布展示模块,用于当加入视频会议的多个终端未触发屏幕共享时,在虚拟屏幕共享区域,展示虚拟空白幕布;响应于目标终端触发取消屏幕共享,在虚拟屏幕共享区域,展示虚拟空白幕布。
在一个实施例中,还包括展示位置移动模块,用于响应于移动虚拟场景中第一虚拟位置处展示的第一自适应人像至第二虚拟位置,在第二虚拟位置处,展示第一自适应人像对应的终端采集的会议成员实时画面中人像对应的自适应人像。
在一个实施例中,还包括网络异常提示模块,用于响应于多个终端中的目标终端处于异常网络状态,在展示目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于自适应人像对应的会议成员的网络异常提示信息。
在一个实施例中,还包括异常状态提示模块,用于响应于多个终端中的目标终端所采集会议成员实时画面中目标会议成员处于异常参会状态,在展示目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于目标会议成员的异常状态提示信息。
在一个实施例中,还包括视频界面显示模块,用于响应于加入视频会议的触发操作,显示视频会议的视频界面;在视频界面中,展示多个终端中的至少一个终端采集的实时会议成员画面;同框画面展示模块3302,还用于响应于对视频会议触发开启同框模式,取消在视频界面中展示实时会议成员画面,并在视频界面中展示视频会议的虚拟同框画面;还包括同框模式结束模块,用于响应于视频会议满足结束同框模式条件,取消在视频界面中展示虚拟同框画面。
在一个实施例中,还包括实时画面获取模块、成员参数确定模块、人像分析模块和自适应调整模块;其中:实时画面获取模块,用于获取加入视频会议的各个终端采集的会议成员实时画面;成员参数确定模块,用于对于每个会议成员实时画面,确定会议成员画面中会议成员的人像参数与人脸参数;人像分析模块,用于根据人像参数与人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;自适应调整模块,用于基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像。
在一个实施例中,人像分析模块包括偏移量确定模块、缩放因子确定模块和调整参数获得模块;其中:偏移量确定模块,用于当基于人像参数和人脸参数,确定会议成员实时画面为人像有效图像时,根据人像参数确定高度偏移量和宽度偏移量;缩放因子确定模块,用于根据人像参数、人脸参数和高度偏移量,确定缩放因子;调整参数获得模块,用于将高度偏移量、宽度偏移量及缩放因子,作为会议成员实时画面对应的自适应调整参数。
在一个实施例中,人像参数包括会议成员实时画面对应的人像掩码图像中人像掩码矩形的人像掩码矩形参数;偏移量确定模块包括初始偏移量确定模块、宽度偏移量确定模块和高度偏移量确定模块;其中:初始偏移量确定模块,用于基于人像掩码矩形参数和人像掩码图像的尺寸,分别确定初始宽度偏移量和初始高度偏移量;宽度偏移量确定模块,用于根据会议成员实时画面的在前画面所对应的历史宽度偏移量计算会议成员实时画面对应的参考宽度偏移量;通过参考宽度偏移量对初始宽度偏移量进行校正处理,得到会议成员实时画面对应的宽度偏移量;高度偏移量确定模块,用于根据会议成员实时画面的在前画面所对应的历史高度偏移量,计算会议成员实时画面对应的参考高度偏移量;通过参考高度偏移量对初始高度偏移量进行校正处理,得到会议成员实时画面对应的高度偏移量。
在一个实施例中,参考宽度偏移量为会议成员实时画面的在前画面所对应的历史宽度偏移量的均值;宽度偏移量确定模块包括宽度差异确定模块、宽度校正模块和宽度范围限制模块;其中:宽度差异确定模块,用于确定初始宽度偏移量与历史宽度偏移量的均值之间的差异;宽度校正模块,用于当差异大于第一预设阈值时,通过会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对初始宽度偏移量进行加权校正,获得校正宽度偏移量;宽度范围限制模块,用于对校正宽度偏移量进行范围限制处理,得到会议成员实时画面对应的宽度偏移量。
在一个实施例中,参考高度偏移量为会议成员实时画面的在前画面所对应的历史高度偏移量的均值;高度偏移量确定模块包括高度差异确定模块、高度校正模块和高度范围限制模块;其中:高度差异确定模块,用于确定初始高度偏移量与历史高度偏移量的均值之间的差异;高度校正模块,用于当差异大于第二预设阈值时,通过会议成员实时画面的在前一帧画面所对应的历史高度偏移量,对初始高度偏移量进行加权校正,获得校正高度偏移量;高度范围限制模块,用于对校正高度偏移量进行范围限制处理,得到会议成员实时画面对应的高度偏移量。
在一个实施例中,还包括图像中心点确定模块、人像中心点确定模块、水平位差确定模块和水平位差处理模块;其中:图像中心点确定模块,用于根据人像掩码图像的尺寸,确定人像掩码图像的图像中心点;人像中心点确定模块,用于根据人像掩码矩形参数和人像掩码图像的尺寸,确定人像掩码矩形的人像中心点;水平位差确定模块,用于确定图像中心点与人像中心点之间的水平位差;水平位差处理模块,用于基于水平位差和人像掩码图像的图像宽度,确定初始宽度偏移量。
在一个实施例中,还包括人像位置确定模块、人像位置处理模块和初始高度偏移量确定模块;其中:人像位置确定模块,用于基于人像掩码矩形参数,确定人像掩码矩形在图像高度方向的顶部位置和底部位置;人像位置处理模块,用于根据顶部位置和人像掩码图像的图像高度,确定第一初始高度偏移量;根据底部位置和人像掩码图像的图像高度,确定第二初始高度偏移量;初始高度偏移量确定模块,用于根据第一初始高度偏移量和第二初始高度偏移量,得到初始高度偏移量。
在一个实施例中,人像参数包括会议成员实时画面对应的人像掩码矩形参数;人脸参数包括会议成员实时画面对应的人脸掩码矩形参数;缩放因子确定模块包括脸部缩放因子模块、人像缩放因子模块和因子融合模块;其中:脸部缩放因子模块,用于基于人脸掩码矩形参数和高度偏移量确定脸部缩放因子;人像缩放因子模块,用于基于人像掩码矩形参数和高度偏移参数确定人像缩放因子;和因子融合模块,用于融合脸部缩放因子和人像缩放因子,得到缩放因子。
在一个实施例中,人像参数包括会议成员实时画面对应人像掩码图像中人像像素数量;人脸参数包括人像掩码图像中人脸像素数量;还包括:无效图像偏移量确定模块,用于当基于人像像素数量或人脸像素数量,确定会议成员实时画面不属于人像有效图像时,获取会议成员实时画面对应的前一画面的高度偏移量和宽度偏移量;将前一画面的高度偏移量和宽度偏移量,确定为会议成员实时画面的高度偏移量和宽度偏移量。
在一个实施例中,成员参数确定模块包括图像分割模块、人像参数获得模块和人脸参数获得模块;其中:图像分割模块,用于对会议成员画面进行图像分割处理,得到会议成员画面对应的原始人像掩码图像及原图人脸参数;人像参数获得模块,用于基于按照缩放比例对原始人像掩码图像进行缩放所获得的人像掩码图像进行人像分析,得到会议成员画面中人像对应的人像参数;人脸参数获得模块,用于按照缩放比例对原图人脸参数进行缩放,得到会议成员画面中人脸对应的人脸参数。
在一个实施例中,自适应调整模块包括参数变换模块、图像调整模块、图像合成模块和缩放处理模块;其中:参数变换模块,用于基于缩放比例对自适应调整参数进行变换,得到变换后的自适应调整参数;图像调整模块,用于通过变换后的自适应调整参数,对会议成员实时画面及会议成员实时画面对应的原始人像掩码图像分别进行人像自适应调整,获得人像调整图像和对应的人像掩码调整图像;图像合成模块,用于将人像调整图像和人像掩码调整图像进行合成,得到合成图像;缩放处理模块,用于按照虚拟位置所在位置区域的大小,将合成图像进行缩放,得到于虚拟位置处展示的自适应人像。
在一个实施例中,如图34所示,提供了一种视频会议画面的处理装置3400,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:实时画面获取模块3402、调整参数获得模块3404、自适应调整模块3406和同框画面下发模块3408,其中:
实时画面获取模块3402,用于获取加入视频会议的多个终端各自采集的会议成员实时画面;
调整参数获得模块3404,用于对于每个会议成员实时画面,根据会议成员实时画面中人像对应的人像参数和人脸参数,对会议成员实时画面中会议成员的人像进行人像分析,得到会议成员实时画面对应的自适应调整参数;
自适应调整模块3406,用于基于自适应调整参数对会议成员实时画面中会议成员的人像进行自适应调整,得到会议成员实时画面中人像对应的自适应人像;
同框画面下发模块3408,用于将基于各自适应人像生成的虚拟同框画面发送至各终端,以在各终端中进行展示。
关于视频会议交互的装置和视频会议画面的处理装置的具体限定可以参见上文中对于视频会议交互的方法和视频会议画面的处理方法的限定,在此不再赘述。上述视频会议交互的装置和视频会议画面的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图35所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。该计算机设备还包括输入输出接口,输入输出接口是处理器与外部设备之间交换信息的连接电路,它们通过总线与处理器相连,简称I/O接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储会议成员实时画面数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频会议画面的处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图36所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。该计算机设备还包括输入输出接口,输入输出接口是处理器与外部设备之间交换信息的连接电路,它们通过总线与处理器相连,简称I/O接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频会议交互的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图35和图36中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (20)
1.一种视频会议交互的方法,其特征在于,所述方法包括:
响应于加入多个终端间的视频会议的触发操作,展示所述视频会议的虚拟同框画面,所述虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
在所述虚拟场景的至少两个虚拟位置处,展示所述多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,所述至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
2.根据权利要求1所述的方法,其特征在于,所述在所述虚拟场景的至少两个虚拟位置处,展示所述多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,包括:
依据所述虚拟场景中虚拟位置所在位置区域的大小,以及预设的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;
在所述虚拟场景中的虚拟位置处,按相应的人像区域大小,展示所述多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
3.根据权利要求1所述的方法,其特征在于,所述在所述虚拟场景的至少两个虚拟位置处,展示所述多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像,包括:
确定各所述虚拟位置在所述虚拟场景中的分布位置;
按各所述分布位置所对应的人像统一占比条件,确定与相应虚拟位置匹配的人像区域大小;
在所述虚拟场景中的虚拟位置处,按相应的人像区域大小,展示所述多个终端中任意一个终端采集的会议成员实时画面中人像对应的目标自适应人像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述虚拟同框画面中,展示属于所述虚拟场景的虚拟屏幕共享区域;
响应于加入所述视频会议的所述多个终端中的目标终端触发屏幕共享,在所述虚拟屏幕共享区域,显示所述目标终端的屏幕共享内容。
5.根据权利要求4所述的方法,其特征在于,所述在所述虚拟同框画面中,展示属于所述虚拟场景的虚拟屏幕共享区域,包括:
在所述虚拟同框画面中除所述虚拟位置以外的背景区域,展示所述虚拟屏幕共享区域;
所述方法还包括:
当加入所述视频会议的所述多个终端未触发屏幕共享时,在所述虚拟屏幕共享区域,展示虚拟空白幕布;
响应于所述目标终端触发取消屏幕共享,在所述虚拟屏幕共享区域,展示虚拟空白幕布。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于移动所述虚拟场景中第一虚拟位置处展示的第一自适应人像至第二虚拟位置,在所述第二虚拟位置处,展示所述第一自适应人像对应的终端采集的会议成员实时画面中人像对应的自适应人像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述多个终端中的目标终端所采集会议成员实时画面中目标会议成员处于异常参会状态,在展示所述目标终端所采集会议成员实时画面中人像对应的自适应人像的目标虚拟位置处,展示关于所述目标会议成员的异常状态提示信息。
8.根据权利要求1至7任意一项所述的方法,其特征在于,所述方法还包括:
响应于加入视频会议的触发操作,显示所述视频会议的视频界面;
在所述视频界面中,展示所述多个终端中的至少一个终端采集的实时会议成员画面;
所述响应于多个终端间视频会议的触发操作,展示所述视频会议的虚拟同框画面,包括:
响应于对所述视频会议触发开启同框模式,取消在所述视频界面中展示所述实时会议成员画面,并在所述视频界面中展示所述视频会议的虚拟同框画面;
所述方法还包括:
响应于所述视频会议满足结束同框模式条件,取消在所述视频界面中展示所述虚拟同框画面。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取加入所述视频会议的各个终端采集的会议成员实时画面;
对于每个会议成员实时画面,确定所述会议成员画面中会议成员的人像参数与人脸参数;
根据所述人像参数与所述人脸参数,对所述会议成员实时画面中会议成员的人像进行人像分析,得到所述会议成员实时画面对应的自适应调整参数;
基于所述自适应调整参数对所述会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像。
10.根据权利要求9所述的方法,其特征在于,所述根据所述人像参数与所述人脸参数,对所述会议成员实时画面中会议成员的人像进行人像分析,得到所述会议成员实时画面对应的自适应调整参数,包括:
当基于所述人像参数和所述人脸参数,确定所述会议成员实时画面为人像有效图像时,根据所述人像参数确定高度偏移量和宽度偏移量;
根据所述人像参数、所述人脸参数和所述高度偏移量,确定缩放因子;
将所述高度偏移量、所述宽度偏移量及所述缩放因子,作为所述会议成员实时画面对应的自适应调整参数。
11.根据权利要求10所述的方法,其特征在于,所述人像参数包括所述会议成员实时画面对应的人像掩码图像中人像掩码矩形的人像掩码矩形参数;
所述根据所述人像参数确定高度偏移量和宽度偏移量,包括:
基于所述人像掩码矩形参数和所述人像掩码图像的尺寸,分别确定初始宽度偏移量和初始高度偏移量;
根据所述会议成员实时画面的在前画面所对应的历史宽度偏移量计算所述会议成员实时画面对应的参考宽度偏移量;通过所述参考宽度偏移量对所述初始宽度偏移量进行校正处理,得到所述会议成员实时画面对应的宽度偏移量;
根据所述会议成员实时画面的在前画面所对应的历史高度偏移量,计算所述会议成员实时画面对应的参考高度偏移量;通过所述参考高度偏移量对所述初始高度偏移量进行校正处理,得到所述会议成员实时画面对应的高度偏移量。
12.根据权利要求11所述的方法,其特征在于,所述参考宽度偏移量为所述会议成员实时画面的在前画面所对应的历史宽度偏移量的均值;
所述通过所述参考宽度偏移量对所述初始宽度偏移量进行校正处理,得到所述会议成员实时画面对应的宽度偏移量,包括:
确定所述初始宽度偏移量与所述历史宽度偏移量的均值之间的差异;
当所述差异大于第一预设阈值时,通过所述会议成员实时画面的在前一帧画面所对应的历史宽度偏移量,对所述初始宽度偏移量进行加权校正,获得校正宽度偏移量;
对所述校正宽度偏移量进行范围限制处理,得到所述会议成员实时画面对应的宽度偏移量。
13.根据权利要求11所述的方法,其特征在于,所述参考高度偏移量为所述会议成员实时画面的在前画面所对应的历史高度偏移量的均值;
所述通过所述参考高度偏移量对所述初始高度偏移量进行校正处理,得到所述会议成员实时画面对应的高度偏移量,包括:
确定所述初始高度偏移量与所述历史高度偏移量的均值之间的差异;
当所述差异大于第二预设阈值时,通过所述会议成员实时画面的在前一帧画面所对应的历史高度偏移量,对所述初始高度偏移量进行加权校正,获得校正高度偏移量;
对所述校正高度偏移量进行范围限制处理,得到所述会议成员实时画面对应的高度偏移量。
14.根据权利要求11所述的方法,其特征在于,所述初始宽度偏移量的确定步骤包括:
根据所述人像掩码图像的尺寸,确定所述人像掩码图像的图像中心点;
根据所述人像掩码矩形参数和所述人像掩码图像的尺寸,确定所述人像掩码矩形的人像中心点;
确定所述图像中心点与所述人像中心点之间的水平位差;
基于所述水平位差和所述人像掩码图像的图像宽度,确定初始宽度偏移量。
15.根据权利要求11所述的方法,其特征在于,所述初始高度偏移量的确定步骤包括:
基于所述人像掩码矩形参数,确定所述人像掩码矩形在图像高度方向的顶部位置和底部位置;
根据所述顶部位置和所述人像掩码图像的图像高度,确定第一初始高度偏移量;根据所述底部位置和所述人像掩码图像的图像高度,确定第二初始高度偏移量;
根据所述第一初始高度偏移量和所述第二初始高度偏移量,得到初始高度偏移量。
16.根据权利要求10所述的方法,其特征在于,所述人像参数包括所述会议成员实时画面对应的人像掩码矩形参数;所述人脸参数包括所述会议成员实时画面对应的人脸掩码矩形参数;所述根据所述人像参数、所述人脸参数和所述高度偏移量,确定缩放因子,包括:
基于所述人脸掩码矩形参数和所述高度偏移量确定脸部缩放因子;
基于所述人像掩码矩形参数和所述高度偏移参数确定人像缩放因子;
融合所述脸部缩放因子和所述人像缩放因子,得到缩放因子。
17.根据权利要求10所述的方法,其特征在于,所述人像参数包括所述会议成员实时画面对应人像掩码图像中人像像素数量;所述人脸参数包括所述人像掩码图像中人脸像素数量;所述方法还包括:
当基于所述人像像素数量或所述人脸像素数量,确定所述会议成员实时画面不属于人像有效图像时,获取所述会议成员实时画面对应的前一画面的高度偏移量和宽度偏移量;
将所述前一画面的高度偏移量和宽度偏移量,确定为所述会议成员实时画面的高度偏移量和宽度偏移量。
18.根据权利要求9至17任意一项所述的方法,其特征在于,所述确定所述会议成员画面中会议成员的人像参数与人脸参数,包括:
对所述会议成员画面进行图像分割处理,得到所述会议成员画面对应的原始人像掩码图像及原图人脸参数;
基于按照缩放比例对所述原始人像掩码图像进行缩放所获得的人像掩码图像进行人像分析,得到所述会议成员画面中人像对应的人像参数;
按照所述缩放比例对原图人脸参数进行缩放,得到所述会议成员画面中人脸对应的人脸参数。
19.根据权利要求18所述的方法,其特征在于,所述基于所述自适应调整参数对所述会议成员实时画面中会议成员的人像进行自适应调整,得到对应的自适应人像,包括:
基于所述缩放比例对所述自适应调整参数进行变换,得到变换后的自适应调整参数;
通过所述变换后的自适应调整参数,对所述会议成员实时画面及所述会议成员实时画面对应的原始人像掩码图像分别进行人像自适应调整,获得人像调整图像和对应的人像掩码调整图像;
将所述人像调整图像和所述人像掩码调整图像进行合成,得到合成图像;
按照所述虚拟位置所在位置区域的大小,将所述合成图像进行缩放,得到于所述虚拟位置处展示的自适应人像。
20.一种视频会议交互的装置,其特征在于,所述装置包括:
同框画面展示模块,用于响应于加入多个终端间的视频会议的触发操作,展示所述视频会议的虚拟同框画面,所述虚拟同框画面的虚拟场景中包括多个用于容纳会议成员的虚拟位置;
自适应人像展示模块,用于在所述虚拟场景的至少两个虚拟位置处,展示所述多个终端中的至少两个终端采集的会议成员实时画面中人像对应的自适应人像;
其中,所述至少两个虚拟位置处所各自展示自适应人像的大小,与相应虚拟位置所在位置区域的大小相匹配。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021114425187 | 2021-11-30 | ||
CN202111442518 | 2021-11-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116208733A true CN116208733A (zh) | 2023-06-02 |
Family
ID=86506548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111644737.3A Pending CN116208733A (zh) | 2021-11-30 | 2021-12-29 | 视频会议交互的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116208733A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117640877A (zh) * | 2024-01-24 | 2024-03-01 | 浙江华创视讯科技有限公司 | 线上会议的画面重构方法及电子设备 |
-
2021
- 2021-12-29 CN CN202111644737.3A patent/CN116208733A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117640877A (zh) * | 2024-01-24 | 2024-03-01 | 浙江华创视讯科技有限公司 | 线上会议的画面重构方法及电子设备 |
CN117640877B (zh) * | 2024-01-24 | 2024-03-29 | 浙江华创视讯科技有限公司 | 线上会议的画面重构方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727577B2 (en) | Video background subtraction using depth | |
US11087553B2 (en) | Interactive mixed reality platform utilizing geotagged social media | |
CN111263174B (zh) | 直播控制方法和装置、电子设备、直播系统及存储介质 | |
CN112243583B (zh) | 多端点混合现实会议 | |
US20180150433A1 (en) | Image grid with selectively prominent images | |
WO2019216997A1 (en) | Generating and displaying blur in images | |
CN108961152B (zh) | 平面户型图生成方法和装置 | |
CN109325450A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109691054A (zh) | 动画用户标识符 | |
CN109327727A (zh) | 一种WebRTC中的直播流处理方法及推流客户端 | |
CN107145280B (zh) | 一种图像数据处理方法和装置 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN103002349A (zh) | 一种视频播放自适应调节的方法及装置 | |
WO2023071586A1 (zh) | 画面生成方法、装置、设备及介质 | |
CN113705520A (zh) | 动作捕捉方法、装置及服务器 | |
CN116208733A (zh) | 视频会议交互的方法和装置 | |
CN113315927B (zh) | 视频处理方法和装置、电子设备和存储介质 | |
US20180018398A1 (en) | Positioning content in computer-generated displays based on available display space | |
WO2021228200A1 (zh) | 用于实现三维空间场景互动的方法、装置和设备 | |
CN107743270A (zh) | 交互方法及设备 | |
US20140176799A1 (en) | Content processing apparatus, content processing method, and storage medium | |
CN111223114B (zh) | 一种图像区域的分割方法、装置及电子设备 | |
CN113408452A (zh) | 表情重定向训练方法、装置、电子设备和可读存储介质 | |
CN114025219B (zh) | 增强现实特效的渲染方法、装置、介质及设备 | |
CN112634339B (zh) | 商品对象信息展示方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40088219 Country of ref document: HK |