CN113408484A - 画面展示方法、装置、终端及存储介质 - Google Patents

画面展示方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113408484A
CN113408484A CN202110793236.5A CN202110793236A CN113408484A CN 113408484 A CN113408484 A CN 113408484A CN 202110793236 A CN202110793236 A CN 202110793236A CN 113408484 A CN113408484 A CN 113408484A
Authority
CN
China
Prior art keywords
picture
target
target object
display area
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110793236.5A
Other languages
English (en)
Inventor
陈文琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202110793236.5A priority Critical patent/CN113408484A/zh
Publication of CN113408484A publication Critical patent/CN113408484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请关于一种画面展示方法、装置、终端及存储介质,涉及画面处理领域。所述方法包括:展示目标界面,目标界面中包含第一画面展示区域以及第二画面展示区域;在第一画面展示区域中显示第一目标画面中的第一画面部分;第一目标画面中的第二画面部分在目标界面中的映射位置处于第二画面展示区域内;在第二画面展示区域中显示第二目标画面中的部分画面;响应于第二画面部分存在第一目标对象,在第二画面展示区域中叠加展示第二画面部分中的第一目标对象以及第一目标对象对应的虚拟形象中的至少一种。通过上述方法,扩展了第一目标画面与第二目标画面之间的交互方式,从而提高了直播过程中各个主播之间的交互效果。

Description

画面展示方法、装置、终端及存储介质
技术领域
本申请涉及画面处理技术领域,特别涉及画面展示方法、装置、终端及存储介质。
背景技术
目前,随着直播领域技术日渐成熟,在直播过程中,为了增加主播之间的互动,可以使用视频连麦功能。
在相关技术中,视频连麦功能是由一个主播向其他直播发起的,在其他主播对发起的视频连麦请求响应后,参与视频连麦的主播侧的终端以及观看参与视频连麦的主播直播间的用户侧终端上均显示进行视频连麦的直播界面,该直播界面上显示的是各个主播分别对应的独立直播画面的拼接画面。
然而,通过上述方法进行视频连麦,终端上显示的画面是各个主播进行单独直播时的画面进行拼接后的画面,这就导致了进行视频连麦功能所预期达到的主播之间的交互效果较差。
发明内容
本申请实施例提供了一种画面展示方法、装置、终端及存储介质,可以提高画面的交互效果,该技术方案如下:
一方面,提供了一种画面展示方法,所述方法由第一终端执行,所述方法包括:
展示目标界面,所述目标界面中包含第一画面展示区域以及第二画面展示区域;
在所述第一画面展示区域中显示第一目标画面中的第一画面部分;所述第一目标画面是所述第一终端侧的拍摄画面,所述第一目标画面中的第二画面部分在所述目标界面中的映射位置处于所述第二画面展示区域内;
在所述第二画面展示区域中显示第二目标画面中的部分画面;所述第二目标画面是第二终端侧的拍摄画面;
响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种;所述第一目标对象是所述第一目标画面中的目标对象。
在一种可能的实现方式中,所述响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种,包括:
对所述第二画面部分进行图像识别,
将所述第二画面部分划分为背景部分以及目标轮廓部分;
基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象;
响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种。
在一种可能的实现方式中,所述基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象,包括:
对所述目标轮廓部分进行边缘增强处理,获取处理后的目标轮廓部分;
基于所述处理后的目标轮廓部分,确定所述识别对象。
在一种可能的实现方式中,所述响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种,包括:
响应于所述识别对象是所述第一目标对象,基于预先存储的对应关系或者指定算法,获取所述第一目标对象对应的所述虚拟形象;
在所述第二画面展示区域中叠加展示所述第一目标对象对应的所述虚拟形象。
在一种可能的实现方式中,所述响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个,包括:
响应于所述第二画面部分存在所述第一目标对象,且所述目标界面中包括至少两个所述第二画面展示区域,基于所述第二画面部分在所述目标界面中的所述映射位置确定目标画面展示区域;所述目标画面展示区域是所述至少两个所述第二画面展示区域中的至少一个;
在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个。
在一种可能的实现方式中,所述方法还包括:
响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画;所述目标区域是进行图像识别获取到的指定部位对应的区域。
在一种可能的实现方式中,所述响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画,包括:
响应于所述第一目标对象上包含所述目标部位,对所述第二画面展示区域中显示的所述第二目标画面中的部分画面进行图像识别;
获取所述第二目标画面中的部分画面上的所述目标区域;
响应于所述第一目标对象上包含的所述目标部位与所述第二目标画面中的所述目标区域之间满足指定的位置关系,展示所述特效动画。
在一种可能的实现方式中,所述在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种之前,还包括:
将所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置发送到服务器,以便所述第二终端从所述服务器获取所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置,并且展示所述第一画面部分、所述第二画面部分以及所述第一目标对象的虚拟形象。
在一种可能的实现方式中,所述方法还包括:
响应于接收到由服务器发送的所述第二画面部分、第二目标对象的虚拟形象以及所述第二目标对象的虚拟形象在所述第一画面展示区域中的映射位置,在所述第一画面展示区域展示第一画面部分以及所述第二目标对象的虚拟形象,在所述第二画面展示区域展示所述第二画面部分;所述第二目标对象是所述第二目标画面中的所述目标对象。
另一方面,提供了一种画面展示装置,所述装置用于第一终端中,所述装置包括:
界面展示模块,用于展示目标界面,所述目标界面中包含第一画面展示区域以及第二画面展示区域;
第一画面展示模块,用于在所述第一画面展示区域中显示第一目标画面中的第一画面部分;所述第一直播画面是所述第一终端侧的拍摄画面,所述第一目标画面中的第二画面部分在所述目标界面中的映射位置处于所述第二画面展示区域内;
第二画面展示模块,用于在所述第二画面展示区域中显示第二目标画面中的部分画面;所述第二目标画面是第二终端侧的拍摄画面;
第一形象叠加模块,用于响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种;所述第一目标对象是所述第一目标画面中的目标对象。
在一种可能的实现方式中,所述第一形象叠加模块,包括:
区域划分子模块,用于对所述第二画面部分进行图像识别,将所述第二画面部分划分为背景部分以及目标轮廓部分;
对象识别子模块,用于基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象;
形象叠加子模块,用于响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种。
在一种可能的实现方式中,所述对象识别子模块,包括:
边缘增强单元,用于对所述目标轮廓部分进行边缘增强处理,获取处理后的目标轮廓部分;
对象确定单元,用于基于所述处理后的目标轮廓部分,确定所述识别对象。
在一种可能的实现方式中,所述形象叠加子模块,包括:
第一形象获取单元,用于响应于所述识别对象是所述第一目标对象,基于预先存储的对应关系或者指定算法,获取所述第一目标对象对应的所述虚拟形象;
第一形象叠加单元,用于在所述第二画面展示区域中叠加展示所述第一目标对象对应的所述虚拟形象。
在一种可能的实现方式中,所述第一形象叠加模块,包括:
目标区域确定子模块,用于响应于所述第二画面部分存在所述第一目标对象,且所述目标界面中包括至少两个所述第二画面展示区域,基于所述第二画面部分在所述目标界面中的所述映射位置确定目标画面展示区域;所述目标画面展示区域是所述至少两个所述第二画面展示区域中的至少一个;
叠加子模块,用于在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个。
在一种可能的实现方式中,所述装置还包括:
动画展示模块,用于响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画;所述目标区域是进行图像识别获取到的指定部位对应的区域。
在一种可能的实现方式中,所述动画展示模块,包括:
识别子模块,用于响应于所述第一目标对象上包含所述目标部位,对所述第二画面展示区域中显示的所述第二目标画面中的部分画面进行图像识别;
目标区域获取子模块,用于获取所述第二目标画面中的部分画面上的所述目标区域;
动画展示子模块,用于响应于所述第一目标对象上包含的所述目标部位与所述第二目标画面中的所述目标区域之间满足指定的位置关系,展示所述特效动画。
在一种可能的实现方式中,所述装置还包括:
数据发送模块,用于在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种之前,将所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置发送到服务器,以便所述第二终端从所述服务器获取所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置,并且展示所述第一画面部分、所述第二画面部分以及所述第一目标对象的虚拟形象。
在一种可能的实现方式中,所述装置还包括:
数据接收模块,用于响应于接收到由服务器发送的所述第二画面部分、第二目标对象的虚拟形象以及所述第二目标对象的虚拟形象在所述第一画面展示区域中的映射位置,在所述第一画面展示区域展示第一画面部分以及所述第二目标对象的虚拟形象,在所述第二画面展示区域展示所述第二画面部分;所述第二目标对象是所述第二目标画面中的所述目标对象。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述画面展示方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述画面展示方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的画面展示方法。
本申请提供的技术方案可以包括以下有益效果:
获取第一目标画面中的第二画面部分,若第二画面部分中存在第一目标对象,则将该第一目标对象以及对应的虚拟形象中的至少一种叠加展示在第二画面展示区域中显示的第二目标画面的部分画面上,由于第二画面部分在第一目标画面中,且映射位置在第二画面展示区域上,所以通过将第二画面部分中的第一目标对象直接或者间接显示在第二画面展示区域的映射位置上,扩展了第一目标画面与第二目标画面之间的交互方式,当应用在直播领域时,提高了直播过程中各个主播之间的交互效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1示出了本申请一示例性实施例示出的画面展示方法的流程图;
图2示出了本申请一示例性实施例示出的画面展示方法的流程图;
图3是图2所示实施例涉及的一种第一目标画面以及第二目标画面的示意图;
图4是图2所示实施例涉及的一种第二画面部分划分的示意图;
图5是图2所示实施例涉及的一种叠加虚拟形象的画面交互示意图;
图6示出了本申请一示例性实施例示出的画面展示装置的方框图;
图7是根据一示例性实施例示出的计算机设备的结构框图;
图8示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的画面展示方法可以应用于至少两个用户进行视频画面互动的场景。
比如,该画面展示方法可以应用在直播平台至少两个主播进行视频连麦的场景中,也可以应用在至少两个用户进行视频通话的场景中。当该画面展示方法应用在直播平台至少两个主播进行视频连麦的场景时,该直播画面展示方法可以由该直播画面展示方法对应的直播系统进行实现,该直播系统包括:第一终端、服务器、至少一个第二终端以及至少一个第三终端。第一终端可以是连麦功能的发起方,第二终端可以是连麦功能的接收方。
其中,第一终端安装和运行有具有直播视频连麦功能的应用程序,该应用程序对应的客户端是第一客户端,第一终端是第一用户使用的终端。该第一用户可以是正在进行直播的第一主播;第二终端同样安装和运行有与第一终端上相同的应用程序,该应用程序对应的客户端是第二客户端,第二终端是第二用户使用的终端,该第二用户可以是同样正在进行直播的第二主播。第三终端同样安装和运行有与第一终端上相同的应用程序,该应用程序对应的客户端是第三客户端,第三终端是第三用户使用的终端,该第三用户可以是正在观看第一主播直播的观众,也可以是正在观看第二主播直播的观众。
可选地,第一终端、第二终端以及第三终端上安装的应用程序是相同的,或三个终端上安装的应用程序是不同操作系统平台(安卓或IOS)上的同一类型应用程序。第一终端可以泛指多个终端中的一个,第二终端可以泛指多个终端中的另一个,本实施例仅以第一终端、第二终端以及第三终端来举例说明。第一终端、第二终端以及第三终端的设备类型相同或不同,该设备类型包括:智能手机、平板电脑、电子书阅读器、MP3(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(MovingPicture Experts Group Audio LayerⅣ,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机中的至少一种。
其中,服务器可以是直播服务器,第一终端、第二终端以及第三终端之间可以通过有线或者无线网络相连。
直播服务器可以与流媒体的内容分发网络进行数据传输。直播服务器可以是一台服务器,或者直播服务器可以是由若干台服务器构成的服务器集群,或者直播服务器可以包含一个或多个虚拟化平台,或者直播服务器也可以是一个云计算服务中心。
图1示出了本申请一示例性实施例示出的画面展示方法的流程图,该画面展示方法可以由计算机设备执行,其中,该计算机设备可以是上述直播系统中的第一终端,如图1所示,该画面展示方法可以包括以下步骤:
步骤101,展示目标界面,目标界面中包含第一画面展示区域以及第二画面展示区域。
在本申请实施例中,第一终端展示目标界面,该目标界面中展示有第一画面展示区域以及第二画面展示区域。
在一种可能的实现方式中,目标界面中包括至少一个第二画面展示区域,第一画面展示区域与至少一个第二画面展示区域是按照固定的排列位置进行展示的。
示例性的,当应用在直播领域时,第一终端上可以安装有直播应用程序,通过直播应用程序第一终端可以进行推流。第一画面展示区域用于展示第一终端侧的直播画面中的部分画面,第二画面展示区域用于展示第二终端侧的直播画面中的部分画面。
其中,在第一终端上展示的目标界面可以是直播界面,直播界面中的第一画面展示区域与至少一个第二画面展示区域对应的排列位置,与在至少一个第二终端上展示的直播界面中的各个画面展示区域的排列位置,以及在至少一个第三终端上展示的直播界面中的各个画面展示区域的排列位置是相同的。
在一种可能的实现方式中,响应于接收到目标触发操作,展示目标界面。
其中,在直播领域中,目标触发操作可以是对发起视频连麦请求的目标控件进行的触发操作。
也就是说,响应于第一终端接收到目标触发操作,向服务器发送用于请求连麦的请求信息,服务器向对应的第二终端发送该请求信息,响应于服务器接收到第二终端发送的请求响应信息,第一终端可以展示包括第一终端对应的第一画面展示区域以及第二终端对应的第二画面展示区域。
比如,第一终端侧的主播A向第二终端侧的主播B以及第二终端侧的主播C发起视频连麦请求,若主播B以及主播C均同意接收到的连麦请求,则第一终端在直播界面中按照固定的排列位置展示各个画面展示区域,其中固定的排列位置可以是连麦功能的发起者主播A对应的第一画面展示区域按照从左到右的顺序排在第一位,然后紧挨着第一画面展示区域的是各个第二画面展示区域,第二画面展示区域对应的排列顺序可以由同意连麦请求的先后顺序确定,由于主播B先于主播C同意主播A发送的视频连麦请求,所以紧挨着第一画面展示区域的排在第二位的是主播B对应的第二画面展示区域,紧挨着主播B对应的第二画面展示区域的排在第三位的是主播C对应的第二画面展示区域。
步骤102,在第一画面展示区域中显示第一目标画面中的第一画面部分;第一目标画面是第一终端侧的拍摄画面,第一目标画面中的第二画面部分在目标界面中的映射位置处于第二画面展示区域内。
在本申请实施例中,第一终端上具有摄像模组,通过摄像模组可以获取第一终端侧的第一目标画面,第一终端在目标界面中的第一画面展示区域上显示第一直播画面中的第一画面部分。
在一种可能的实现方式中,第二画面部分由第二画面展示区域相对于第一画面展示区域的位置进行确定。
示例性的,响应于在第二画面展示区域位于紧邻第一画面展示区域右侧的位置,在第一目标画面的右侧存在第一画面部分;响应于在第二画面展示区域位于紧邻第一画面展示区域左侧的位置,在第一目标画面的左侧存在第一画面部分;响应于在第二画面展示区域位于紧邻第一画面展示区域上方的位置,在第一直播画面的上方存在第一画面部分;响应于在第二画面展示区域位于紧邻第一画面展示区域下方的位置,在第一目标画面的下方存在第一画面部分。
其中,在第一目标画面中除去第二画面部分可以是第一画面部分,第一画面部分是显示在第一画面展示区域中的第一目标画面。
步骤103,在第二画面展示区域中显示第二目标画面中的部分画面;第二目标画面是第二终端侧的拍摄画面。
在本申请实施例中,第一终端在目标界面中的至少一个第二画面展示区域中显示各自对应的第二目标画面中的部分画面。
其中,显示在第二画面展示区域中的第二目标画面中的部分画面可以是由第二画面展示区域相对于其他的画面展示区域的位置确定的。
示例性的,响应于第二画面展示区域的某一方向的紧邻位置存在第一画面展示区域或者是其他的第二画面展示区域,则确定该第二目标画面的该方向一侧存在第二画面部分,可以将第二目标画面中除去第二画面部分的部分确定为显示在第二画面展示区域中的第二目标画面中的部分画面。
步骤104,响应于第二画面部分存在第一目标对象,在第二画面展示区域中叠加展示第二画面部分中的第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种,第一目标对象是第一目标画面中的目标对象。
在本申请实施例中,当第一终端检测到第一目标画面中的第二画面部分中存在第一目标对象,则确定该第一目标对象对应的虚拟形象,并且在第二画面展示区域中该第一目标对象的映射位置处叠加显示该虚拟形象。
在一种可能的实现方式中,在各个终端中同步展示第一画面展示区域中的画面以及第二画面展示区域中的画面的方式是通过客户端进行混流实现的,或者,是通过服务器进行混流实现的。
示例性的,当应用在至少两个用户进行网络视频通话的场景中,第一终端可以是网络视频电话的发起方终端,展示的目标界面可以是通话界面,在该通话界面中包括第一画面展示区域以及第二画面展示区域,在第一画面展示区域中展示第一终端拍摄的用户通话画面中的部分画面,第二画面展示区域是用来展示接收通话请求的至少一个用户对应的终端拍摄的部分用户通话画面,当第一目标画面中的第二画面部分存在第一目标对象,在第二画面展示区域中叠加展示第一目标对象以及对应的虚拟形象中的至少一种,从而实现在用户进行网络视频通话的场景中的进行通话的各个用户对应的画面之间的互动。
综上所述,本申请实施例提供的画面展示方法,获取第一目标画面中的第二画面部分,若第二画面部分中存在第一目标对象,则将该第一目标对象以及对应的虚拟形象中的至少一种叠加展示在第二画面展示区域中显示的第二目标画面的部分画面上,由于第二画面部分在第一目标画面中,且映射位置在第二画面展示区域上,所以通过将第二画面部分中的第一目标对象直接或者间接显示在第二画面展示区域的映射位置上,扩展了第一目标画面与第二目标画面之间的交互方式,当应用在直播领域时,提高了直播过程中各个主播之间的交互效果。
需要说明的是,本申请提供的画面展示方法可以应用于直播应用程序实现与其他进行直播的终端进行连麦视频的功能的场景中,也可以应用于其它涉及到同时展示多个终端的直播画面的应用场景中,本申请对应用场景不进行限制。
图2示出了本申请一示例性实施例提供的画面展示方法的流程图,该画面展示方法可以由计算机设备执行,其中,该计算机设备可以实现为终端,本申请以该方法由第一终端执行为例进行说明,如图2所示,该画面展示方法可以包括以下步骤:
步骤201,展示目标界面。
在本申请实施例中,第一终端展示目标界面,该目标界面上至少包括用于显示第一终端侧的第一目标画面中的第一画面部分的第一画面展示区域,以及用于显示第二终端侧的第二目标画面的第一画面部分的第二画面展示区域。
在一种可能的实现方式中,当第一终端接收到目标触发操作时,展示目标界面。
步骤202,在第一画面展示区域中显示第一目标画面中的第一画面部分。
在本申请实施例中,第一终端上存在有摄像头模组,通过摄像头模组采集到第一终端侧的第一目标画面,第一目标画面上可以包括第一画面部分以及第二画面部分,第一终端在展示的目标界面中的第一画面展示区域中显示第一目标画面中的第一画面部分。
其中,第一目标画面可以是第一终端侧的拍摄画面,第一目标画面中的第二画面部分在目标界面中的映射位置处于第二画面展示区域内。
在一种可能的实现方式中,第一目标画面中存在展示区域以及交互区域,展示区域以及交互区域是预先设置的指定位置大小的区域,在展示区域中的画面部分作为第一画面部分,在交互区域中的画面部分作为第二画面部分。
其中,第一目标画面中位于展示区域的部分可以展示在目标界面上的第一画面展示区域;第一目标画面中位于交互区域的部分可以是第二画面部分,该第二画面部分不会直接显示在目标界面上。
在一种可能的实现方式中,展示区域位于第一目标画面的中间区域,交互区域位于第一目标画面的边缘区域。
示例性的,响应于第一目标画面是矩形画面,展示区域可以是与上下左右四个边框的距离为指定数值的矩形区域;其中,展示区域的左上顶点、展示区域的右上顶点、第一画面的左上顶点以及第一画面的右上顶点连线构成的区域作为第一画面上方的交互区域;展示区域的左上顶点、展示区域的左下顶点、第一画面的左上顶点以及第一画面的左下顶点连线构成的区域作为第一画面左侧的交互区域;展示区域的左下顶点、展示区域的右下顶点、第一画面的左下顶点以及第一画面的右下顶点连线构成的区域作为第一画面下方的交互区域;展示区域的右上顶点、展示区域的右下顶点、第一画面的右上顶点以及第一画面的右下顶点连线构成的区域作为第一画面右侧的交互区域。
响应于第一画面是圆形画面,展示区域可以是与第一画面同一圆心,且半径小于第一画面的半径的圆形区域;其中,可以基于角度将第一画面中除去展示区域的部分均分为上下左右四个方向对应的交互区域。
示例性的,当目标界面中包括第一画面展示区域以及一个第二画面展示区域,且第一画面展示区域位于第二画面展示区域的左侧时,图3是本申请实施例涉及的一种第一目标画面以及第二目标画面的示意图。如图3所示,当应用在直播领域时,第一目标画面31是第一终端通过摄像模组采集到的直播画面,其中,第一目标画面31的展示区域311中的第一目标部分可以直接展示在目标界面中的第一画面展示区域,第一目标画面31的交互区域312中的第二画面部分不直接展示在第一画面展示区域,可以根据后续步骤进行处理将对应的虚拟形象叠加显示在第二画面展示区域中;第二目标画面32是第二终端通过摄像模组采集到的直播画面,其中,第二目标画面32的展示区域321中的第一画面部分可以直接展示在目标界面中的第二画面展示区域,第二目标画面32的交互区域322中的第二画面部分不直接展示在第一画面展示区域,可以根据后续步骤进行处理将对应的虚拟形象叠加显示在第一画面展示区域中。
步骤203,在第二画面展示区域中显示第二目标画面中的部分画面。
在本申请实施例中,第一终端基于接收到的由第二终端推送的各个第二目标画面,在第二画面展示区域中显示第二目标画面中的第一画面部分。
在一种可能的实现方式中,响应于第一目标画面中的第二画面部分不存在第一目标对象,则直接在目标界面上展示第一目标画面中的第一画面部分以及第二目标画面中的第一画面部分。
步骤204,对第二画面部分进行图像识别,将第二画面部分划分为背景部分以及目标轮廓部分。
在本申请实施例中,第一终端对获取到的第一目标画面中的第二画面部分进行图像识别,获取图像识别结果,该图像识别结果可以包括该第二图像部分中存在的识别对象,以及识别对象在第二画面部分中的位置信息,基于该图像识别结果,将第二画面部分划分为背景部分以及目标轮廓部分。
其中,第一目标对象可以是预先设置的指定种类的识别对象或者识别对象的指定部位,识别对象可以图像识别得到的人体或者指定物品;对于识别对象是人体的情况下,指定部位可以是人体的指定身体部位,比如,手部、脸部等。
其中,目标轮廓部分可以是检测到的识别对象对应的轮廓部分,背景部分是第二画面部分中除去识别到的识别对象的部分。
在一种可能的实现方式中,响应于第一终端接收到的图像识别结果获取第二画面部分中的识别对象,则将识别到的识别对象的轮廓作为目标轮廓部分,并且从第二画面部分中提取出目标轮廓部分,然后将第二画面部分中除去目标轮廓部分的部分作为背景部分,将背景部分进行剔除或者将背景部分设置为透明色。
示例性的,图4是本申请实施例涉及的一种第二画面部分划分的示意图。如图4所示,当应用在直播场景中时,第一目标画面中的第二画面部分41通过人体边缘检测技术可以得到目标轮廓部分42以及背景部分43。
步骤205,基于目标轮廓部分,确定目标轮廓部分对应的识别对象。
在本申请实施例中,第一终端对目标轮廓部分进行图像识别,可以确定目标轮廓部分对应的识别对象或者对应的识别对象上的指定部位。
在一种可能的实现方式中,第一终端对目标轮廓部分进行边缘增强处理,获取处理后的目标轮廓部分;基于处理后的目标轮廓部分,确定识别对象。
示例性的,当进行的图像识别处理时人体边缘检测时,通过人体边缘检测确定的目标轮廓部分的轮廓边缘可能不够清晰,所以对该目标轮廓部分进行边缘增强处理,获得处理后的目标轮廓部分,由于通过边缘增强处理,提高了目标轮廓部分的清晰程度,所以基于该目标轮廓部分可以更加准确的进行识别确定该目标轮廓部分对应的识别对象。
步骤206,响应于识别对象是第一目标对象,在第二画面展示区域中叠加展示第二画面部分中的第一目标对象以及第一目标对象对应的虚拟形象中的至少一种。
在本申请实施例中,当确定目标轮廓部分对应的识别对象是第一目标对象时,在第二画面展示区域中叠加展示第一目标对象,或者,确定目标轮廓部分对应的虚拟形象,然后在第二画面展示区域中叠加展示第二画面部分中的第一目标对象对应的虚拟形象,或者在第二画面展示区域中叠加展示第二画面部分中的第一目标对象以及第一目标对象对应的虚拟形象。
其中,当通过上述步骤将第二画面部分划分为背景部分以及目标轮廓部分之后,对目标轮廓部分进行识别,确定对应的识别对象,若识别对象是第一目标对象,可以直接将该第一目标对象在第二画面部分对应的图像叠加展示在第二画面展示区域中,或者,响应于识别对象是第一目标对象,第一终端也可以基于预先存储的对应关系或者指定算法,获取第一目标对象对应的虚拟形象,然后将虚拟形象叠加展示在第二画面展示区域中。
在一种可能的实现方式中,响应于识别对象是第一目标对象,基于预先存储的对应关系,获取第一目标对象对应的虚拟形象;在第二画面展示区域中叠加展示第一目标对象对应的虚拟形象。
在另一种可能的实现方式中,响应于识别对象是第一目标对象,基于指定算法生成第一目标对象对应的虚拟形象;在第二画面展示区域中叠加展示第一目标对象对应的虚拟形象。
其中,预先存储的对应关系可以包括目标对象与虚拟形象之间的对应关系。预先存储的对应关系可以存储在终端上,也可以存储在服务器的数据库中,以供终端进行查询调用。用于生成第一目标对象对应的虚拟形象的指定算法可以是漫画形象生成算法。
比如,目标对象为人体的手部时,基于预先存储的对应关系可以得到对应的虚拟形象是猫爪虚拟形象,而基于指定算法可以生成该手部对应的漫画形象;目标对象是人体的脸部时,基于预先存储的对应关系可以得到对应的虚拟形象可以是预先存储的动漫人物头像,而基于指定算法可以生成该脸部对应的漫画形象。通过指定算法生成的虚拟形象可以具有第一目标对象的相关特征。
在一种可能的实现方式中,响应于识别对象是目标对象,基于预先存储的虚拟形象素材库,获取目标对象对应的虚拟形象;在第二画面展示区域中叠加展示第一目标对象对应的虚拟形象,在第一画面展示区域中叠加展示第二目标对象对应的虚拟形象。
其中,将目标轮廓部分进行边缘增强处理后,可以确定目标轮廓部分与虚拟形象素材库中存储的各个虚拟形象之间的轮廓相似度,然后,可以将轮廓相似度最高的虚拟形象确定为该目标轮廓部分对应的虚拟形象。
在一种可能的实现方式中,响应于第二画面部分存在第一目标对象,且目标界面中包括至少两个第二画面展示区域,基于第二画面部分在目标界面中的映射位置确定目标画面展示区域,在目标画面展示区域中叠加展示第二画面部分中的第一目标对象以及第一目标对象对应的虚拟形象中的至少一种。
示例性的,可以存在一种在目标画面展示区域中同时叠加展示第二画面部分中的第一目标对象以及第一目标对象对应的虚拟形象的情况。在直播的过程中,当第二画面部分中的第一目标对象是第一终端侧的主播手臂部分时,可以在目标画面展示区域中叠加展示真实的手臂图像,并且,同时可以基于预先存储的对应关系或者是指定算法,在手部对应的区域附近叠加展示手部对应的虚拟形象。以达到真实感与趣味性相结合的目的,提高直播过程中的交互效果。
其中,目标画面展示区域是至少两个第二画面展示区域中的至少一个。
在一种可能的实现方式中,响应于交互区域包括上方交互区域、下方交互区域、左侧交互区域以及右侧交互区域,通过第一位置信息可以确定第二画面部分位于上方交互区域、下方交互区域、左侧交互区域还是右侧交互区域。
其中,第一位置信息可以用于指示第二画面部分在第一目标画面中的位置。
由于,第一画面展示区域以及至少一个第二画面展示区域在目标界面上的排列位置是固定的,所以基于第一位置信息可以确定第二画面部分映射的目标画面展示区域。
示例性的,第一终端A对应的第一画面展示区域位于目标界面的第一排的从左侧开始的第一个;第二终端B对应的第二画面展示区域位于目标界面的第一排的从左侧开始第二个,且第二终端B对应的第二画面展示区域的左边框与第一终端A对应的第一画面展示区域的右边框相拼接;第二终端C对应的第二画面展示区域位于目标界面的第二排的从左侧开始第一个,且第二终端C对应的第二画面展示区域的上边框与第一终端A对应的第一画面展示区域的下边框相拼接,此时,当第一位置信息指示第二画面部分在第一目标画面中的下方交互区域时,确定第二画面部分映射的目标画面展示区域为第二终端C对应的第二画面展示区域;当第一位置信息指示第二画面部分在第一目标画面中的右侧交互区域时,确定第二画面部分映射的目标画面展示区域为第二终端B对应的第二画面展示区域。
在一种可能的实现方式中,响应于第一目标对象上包含目标部位,且第二目标画面中的部分画面上包括目标区域,在目标界面上展示特效动画。
其中,响应于第一目标对象上包含目标部位,对第二画面展示区域中显示的第二目标画面中的部分画面进行图像识别;获取第二目标画面中的部分画面上的目标区域;目标区域是进行图像识别获取到的指定部位对应的区域;响应于第一目标对象上包含的目标部位与第二目标画面中的目标区域之间满足指定的位置关系,展示特效动画。
其中,目标区域可以是进行图像识别获取到的指定部位对应的区域。指定的位置关系可以是目标部位位于目标区域上,或者,目标部位与目标区域之间的距离在指定阈值区间中。
在一种可能的实现方式中,响应于第一目标对象上包含目标部位,对第二画面展示区域中显示的第二目标画面中的部分画面进行图像识别,获取第二目标画面中的部分画面上的目标区域;响应于第一目标对象上包含的目标部位叠加在第二直播画面中的目标区域中,在目标部位在第二直播画面上进行渲染的位置展示特效动画。
其中,目标区域是进行图像识别获取到的指定部位对应的区域,指定部位可以是预先设置的指定部位,比如,人脸部位、手臂部位、图像识别后画面中的圆形部位、矩形部位等。
比如,目标区域可以是对第二画面展示区域中的画面进行人脸识别后确定的人脸所在的区域。当主播A的手部作为第一目标对象时,若确定主播A的手部在第二画面展示区域的映射位置在第二画面展示区域中展示的画面中的人脸区域,则可以在将手部对应的虚拟形象叠加在第二画面展示区域时,在手部与人脸区域的接触位置添加相应的特效动画。通过这种方式可以增强主播之间进行连麦视频的互动性。
示例性的,图5是本申请实施例涉及的一种叠加虚拟形象的画面交互示意图。如图5所示,当应用在直播领域时,直播界面51是关注主播A的观众由主播A的直播间观看的直播界面,在直播界面51中存在主播A对应的画面展示区域以及主播B对应的画面展示区域,当主播A将手放到主播A对应的直播画面的交互区域时,对交互区域中的手进行边缘识别以及边缘增强处理,然后基于处理后的手部轮廓确定该手部轮廓对应的虚拟形象,并且将该虚拟形象显示在手部轮廓在主播B的画面展示区域中的映射位置处,此时观众侧终端显示的是直播界面52。
在一种可能的实现方式中,在第一终端在目标画面展示区域中叠加展示第二画面部分中的第一目标对象的虚拟形象之前,第一终端将第一目标画面中的第一画面部分、第一目标对象的虚拟形象以及第一目标对象的虚拟形象在第二画面展示区域中的映射位置发送到服务器,以便第二终端从服务器获取第一直播画面中的第一画面部分、第一目标对象的虚拟形象以及第一目标对象的虚拟形象在第二画面展示区域中的映射位置,并且展示第一画面部分、第二画面部分以及第一目标对象的虚拟形象。
在一种可能的实现方式中,响应于接收到由服务器发送的第二画面部分、第二目标对象的虚拟形象以及第二目标对象的虚拟形象在第一画面展示区域中的映射位置,在第一画面展示区域展示第一画面部分以及第二目标对象的虚拟形象,在第二画面展示区域展示第二画面部分。
也就是说,响应于第一目标画面中的第二画面部分在目标界面中的映射位置处于第二画面展示区域内,并且第二目标画面中的第二画面部分在目标界面中的映射位置处于第一画面展示区域内,若第一目标画面中的第二画面部分以及第二目标画面中的第二画面部分中均存在目标对象,则在第一画面展示区域以及第二画面展示区域同时展示各自对应的目标对象以及目标对象对应的虚拟形象中的至少一种。
在一种可能的实现方式中,响应于第一画面部分存在第二目标对象,在第一画面展示区域中叠加展示第一画面部分中的第二目标对象以及第二目标对象对应的虚拟形象中的至少一种。
其中,第二目标对象是第二目标画面中的目标对象。
也就是说,第一终端侧的画面中进入其他终端对应的显示区域的虚拟形象,由第一终端处理后同步给其他终端,相应的,其他终端侧的画面中进入第一终端对应的显示区域的虚拟形象,由其它终端处理后同步给第一终端,此外,对于观众终端,上述第一终端和第二终端的部分画面以及虚拟形象可以直接发给观众终端播放,也可以在服务器进行画面合成后发送给观众终端播放。
示例性的,当进行连麦视频的主播包括第一终端对应的主播A以及第二终端对应的主播B时,若第一终端侧进行直播获得的主播A对应的画面中,存在映射位置在第二画面展示区域的第一目标对象,由第一终端对第一目标对象进行处理得到对应的虚拟形象,第一终端将该虚拟形象、该虚拟形象在第二画面展示区域的映射位置以及第一直播画面中的第一画面部分发送给服务器,若第二终端侧进行直播获得的主播B对应的画面中,存在映射位置在第一画面展示区域的第二目标对象,由第二终端对第二目标对象进行处理得到对应的虚拟形象,第二终端将第二目标对象对应的虚拟形象、该虚拟形象在第一画面展示区域中的映射位置以及第二直播画面中的第二画面部分发送给服务器。在一种情况下,服务器生成包括第一画面部分、第二画面部分、第一目标对象对应的虚拟形象以及第二目标对象对应的虚拟形象在内的合成画面,服务器将该合成画面推送给第一终端、第二终端以及观众终端,由各个终端进行同步展示。在另一种情况下,第一终端还可以从服务器获取第二画面部分,第二目标对象对应的虚拟形象,以及对应的映射位置,然后直接在第一终端的终端侧生成包括第一画面部分、第二画面部分以及叠加的虚拟形象在内的合成画面,第二终端可以从服务器获取第一目标对象的虚拟形象、该虚拟形象在第二画面展示区域的映射位置以及第一画面部分,在第二终端的终端侧生成合成画面,观众终端可以从服务器获取第一目标对象以及第二目标对象分别对应的虚拟形象、分别在第一画面展示区域以及第二画面展示区域的映射位置、第一画面部分以及第二画面部分,并且在各个观众终端侧生成各个观众终端需要展示的合成画面。
示例性的,响应于进行连麦视频的主播包括主播A以及主播B,针对于主播A,主播A向服务器推送的视频帧画面包括在画面展示区域直接显示的第一画面部分,以及交互区域的第二画面部分。同时,可以由终端或者服务器对主播A的第二画面部分进行人体边缘检测和边缘增强处理,并且将检测获得的人体以外的背景部分剔除或者变成透明色,获取第二画面部分经过去除背景和人体边缘增强处理的目标轮廓部分。然后,再对目标轮廓部分中的人体部分进行二次元或者虚拟人像化处理,可以使得主播A对应的目标轮廓部分转化成二次元等萌化虚拟形象。由主播A对应的终端连麦推送出去的视频帧画面中可以包括第一画面部分和对应的虚拟形象。同时,每次推出去的视频帧画面中还携带有目标轮廓部分中手部和脸部的位置信息。对于主播B,当主播B对应的终端接收到由主播A对应的终端推送的第一画面部分、对应的虚拟形象以及目标轮廓部分中手部和脸部的位置信息时,首先将虚拟形象直接覆盖渲染在主播B对应的第一图像部分上面,从而实现将虚拟形象与主播B对应的第一图像部分融合的效果,生成融合后展示在主播B对应的图像展示区域的画面,然后将融合后展示在图像展示区域的画面与主播A对应的第一图像画面合并,成为连麦混流后的直播界面中画面展示区域显示的画面。
其中,响应于从主播A对应的终端推送的视频帧画面中获取出目标轮廓部分中的人脸和手部的位置信息,基于对应的位置信息检测这些位置是否在融合后的展示在主播B对应的图像展示区域的画面中有触碰到主播B的人脸区域,如果有触碰到,则触发主播B的人脸特效。从而可以实现主播A跨界触碰主播B的脸部进而触发特效的显示效果。同样的,主播B也可以通过上述步骤实现跨界触碰主播A脸部进而触发特效的显示效果。
综上所述,本申请实施例提供的画面展示方法,获取第一目标画面中的第二画面部分,若第二画面部分中存在第一目标对象,则将该第一目标对象以及对应的虚拟形象中的至少一种叠加展示在第二画面展示区域中显示的第二目标画面的部分画面上,由于第二画面部分在第一目标画面中,且映射位置在第二画面展示区域上,所以通过将第二画面部分中的第一目标对象直接或者间接显示在第二画面展示区域的映射位置上,扩展了第一目标画面与第二目标画面之间的交互方式,当应用在直播领域时,提高了直播过程中各个主播之间的交互效果。
图6示出了本申请一示例性实施例示出的画面展示装置的方框图,如图6所示,该画面展示装置包括:
界面展示模块610,用于展示目标界面,所述目标界面中包含第一画面展示区域以及第二画面展示区域;
第一画面展示模块620,用于在所述第一画面展示区域中显示第一目标画面中的第一画面部分;所述第一直播画面是所述第一终端侧的拍摄画面,所述第一目标画面中的第二画面部分在所述目标界面中的映射位置处于所述第二画面展示区域内;
第二画面展示模块630,用于在所述第二画面展示区域中显示第二目标画面中的部分画面;所述第二目标画面是第二终端侧的拍摄画面;
第一形象叠加模块640,用于响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种;所述第一目标对象是所述第一目标画面中的目标对象。
在一种可能的实现方式中,所述第一形象叠加模块640,包括:
区域划分子模块,用于对所述第二画面部分进行图像识别,将所述第二画面部分划分为背景部分以及目标轮廓部分;
对象识别子模块,用于基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象;
形象叠加子模块,用于响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种。
在一种可能的实现方式中,所述对象识别子模块,包括:
边缘增强单元,用于对所述目标轮廓部分进行边缘增强处理,获取处理后的目标轮廓部分;
对象确定单元,用于基于所述处理后的目标轮廓部分,确定所述识别对象。
在一种可能的实现方式中,所述形象叠加子模块,包括:
第一形象获取单元,用于响应于所述识别对象是所述第一目标对象,基于预先存储的对应关系或者指定算法,获取所述第一目标对象对应的所述虚拟形象;
第一形象叠加单元,用于在所述第二画面展示区域中叠加展示所述第一目标对象对应的所述虚拟形象。
在一种可能的实现方式中,所述第一形象叠加模块640,包括:
目标区域确定子模块,用于响应于所述第二画面部分存在所述第一目标对象,且所述目标界面中包括至少两个所述第二画面展示区域,基于所述第二画面部分在所述目标界面中的所述映射位置确定目标画面展示区域;所述目标画面展示区域是所述至少两个所述第二画面展示区域中的至少一个;
叠加子模块,用于在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个。
在一种可能的实现方式中,所述装置还包括:
动画展示模块,用于响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画;所述目标区域是进行图像识别获取到的指定部位对应的区域。
在一种可能的实现方式中,所述动画展示模块,包括:
识别子模块,用于响应于所述第一目标对象上包含所述目标部位,对所述第二画面展示区域中显示的所述第二目标画面中的部分画面进行图像识别;
目标区域获取子模块,用于获取所述第二目标画面中的部分画面上的所述目标区域;
动画展示子模块,用于响应于所述第一目标对象上包含的所述目标部位与所述第二目标画面中的所述目标区域之间满足指定的位置关系,展示所述特效动画。
在一种可能的实现方式中,所述装置还包括:
数据发送模块,用于在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种之前,将所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置发送到服务器,以便所述第二终端从所述服务器获取所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置,并且展示所述第一画面部分、所述第二画面部分以及所述第一目标对象的虚拟形象。
在一种可能的实现方式中,所述装置还包括:
数据接收模块,用于响应于接收到由服务器发送的所述第二画面部分、第二目标对象的虚拟形象以及所述第二目标对象的虚拟形象在所述第一画面展示区域中的映射位置,在所述第一画面展示区域展示第一画面部分以及所述第二目标对象的虚拟形象,在所述第二画面展示区域展示所述第二画面部分;所述第二目标对象是所述第二目标画面中的所述目标对象。
综上所述,本申请实施例提供的画面展示方法,获取第一目标画面中的第二画面部分,若第二画面部分中存在第一目标对象,则将该第一目标对象以及对应的虚拟形象中的至少一种叠加展示在第二画面展示区域中显示的第二目标画面的部分画面上,由于第二画面部分在第一目标画面中,且映射位置在第二画面展示区域上,所以通过将第二画面部分中的第一目标对象直接或者间接显示在第二画面展示区域的映射位置上,扩展了第一目标画面与第二目标画面之间的交互方式,当应用在直播领域时,提高了直播过程中各个主播之间的交互效果。
图7是根据一示例性实施例示出的计算机设备700的结构框图。该计算机设备700可以是图1所示的终端,比如智能手机、平板电脑或台式电脑。计算机设备700还可能被称为目标用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,计算机设备700包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的方法。
在一些实施例中,计算机设备700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
在一些实施例中,计算机设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
本领域技术人员可以理解,图7中示出的结构并不构成对计算机设备700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图8示出了本申请一示例性实施例示出的计算机设备800的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备800包括中央处理单元(Central Processing Unit,CPU)801、包括随机存取存储器(Random Access Memory,RAM)802和只读存储器(Read-Only Memory,ROM)803的系统存储器804,以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括用于存储操作系统809、应用程序810和其他程序模块811的大容量存储设备806。
所述大容量存储设备806通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备806及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说,所述大容量存储设备806可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)闪存或其他固态存储设备,CD-ROM、数字多功能光盘(Digital VersatileDisc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备806可以统称为存储器。
根据本公开的各种实施例,所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元807连接到网络808,或者说,也可以使用网络接口单元807来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中,中央处理器通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的画面展示方法中的全部或者部分步骤。
本领域技术人员可以理解,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述场景画面展示方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图1或图2任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (12)

1.一种画面展示方法,其特征在于,所述方法由第一终端执行,所述方法包括:
展示目标界面,所述目标界面中包含第一画面展示区域以及第二画面展示区域;
在所述第一画面展示区域中显示第一目标画面中的第一画面部分;所述第一目标画面是所述第一终端侧的拍摄画面,所述第一目标画面中的第二画面部分在所述目标界面中的映射位置处于所述第二画面展示区域内;
在所述第二画面展示区域中显示第二目标画面中的部分画面;所述第二目标画面是第二终端侧的拍摄画面;
响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种;所述第一目标对象是所述第一目标画面中的目标对象。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种,包括:
对所述第二画面部分进行图像识别,将所述第二画面部分划分为背景部分以及目标轮廓部分;
基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象;
响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标轮廓部分,确定所述目标轮廓部分对应的识别对象,包括:
对所述目标轮廓部分进行边缘增强处理,获取处理后的目标轮廓部分;
基于所述处理后的目标轮廓部分,确定所述识别对象。
4.根据权利要求2所述的方法,其特征在于,所述响应于确定所述目标轮廓部分对应的所述识别对象是所述第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的所述虚拟形象中的至少一种,包括:
响应于所述识别对象是所述第一目标对象,基于预先存储的对应关系或者指定算法,获取所述第一目标对象对应的所述虚拟形象;
在所述第二画面展示区域中叠加展示所述第一目标对象对应的所述虚拟形象。
5.根据权利要求1所述的方法,其特征在于,所述响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个,包括:
响应于所述第二画面部分存在所述第一目标对象,且所述目标界面中包括至少两个所述第二画面展示区域,基于所述第二画面部分在所述目标界面中的所述映射位置确定目标画面展示区域;所述目标画面展示区域是所述至少两个所述第二画面展示区域中的至少一个;
在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一个。
6.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画;所述目标区域是进行图像识别获取到的指定部位对应的区域。
7.根据权利要求6所述的方法,其特征在于,所述响应于所述第一目标对象上包含目标部位,且所述第二目标画面中的部分画面上包括目标区域,在所述目标界面上展示特效动画,包括:
响应于所述第一目标对象上包含所述目标部位,对所述第二画面展示区域中显示的所述第二目标画面中的部分画面进行图像识别;
获取所述第二目标画面中的部分画面上的所述目标区域;
响应于所述第一目标对象上包含的所述目标部位与所述第二目标画面中的所述目标区域之间满足指定的位置关系,展示所述特效动画。
8.根据权利要求1所述的方法,其特征在于,所述在所述目标画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种之前,还包括:
将所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置发送到服务器,以便所述第二终端从所述服务器获取所述第一目标画面中的所述第一画面部分、所述第一目标对象的虚拟形象以及所述第一目标对象的虚拟形象在所述第二画面展示区域中的映射位置,并且展示所述第一画面部分、所述第二画面部分以及所述第一目标对象的虚拟形象。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于接收到由服务器发送的所述第二画面部分、第二目标对象的虚拟形象以及所述第二目标对象的虚拟形象在所述第一画面展示区域中的映射位置,在所述第一画面展示区域展示第一画面部分以及所述第二目标对象的虚拟形象,在所述第二画面展示区域展示所述第二画面部分;所述第二目标对象是所述第二目标画面中的所述目标对象。
10.一种画面展示装置,其特征在于,所述装置用于第一终端中,所述装置包括:
界面展示模块,用于展示目标界面,所述目标界面中包含第一画面展示区域以及第二画面展示区域;
第一画面展示模块,用于在所述第一画面展示区域中显示第一目标画面中的第一画面部分;所述第一目标画面是所述第一终端侧的拍摄画面,所述第一目标画面中的第二画面部分在所述目标界面中的映射位置处于所述第二画面展示区域内;
第二画面展示模块,用于在所述第二画面展示区域中显示第二目标画面中的部分画面;所述第二目标画面是第二终端侧的拍摄画面;
第一形象叠加模块,用于响应于所述第二画面部分存在第一目标对象,在所述第二画面展示区域中叠加展示所述第二画面部分中的所述第一目标对象以及所述第一目标对象对应的虚拟形象中的至少一种;所述第一目标对象是所述第一目标画面中的目标对象。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有至少一条指令、至少一条程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的画面展示方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的画面展示方法。
CN202110793236.5A 2021-07-14 2021-07-14 画面展示方法、装置、终端及存储介质 Pending CN113408484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793236.5A CN113408484A (zh) 2021-07-14 2021-07-14 画面展示方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793236.5A CN113408484A (zh) 2021-07-14 2021-07-14 画面展示方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN113408484A true CN113408484A (zh) 2021-09-17

Family

ID=77686237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793236.5A Pending CN113408484A (zh) 2021-07-14 2021-07-14 画面展示方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113408484A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918011A (zh) * 2021-09-26 2022-01-11 平行空间(上海)科技有限公司 虚拟环境下的可视化对象、扩展现实设备以及应用方法
CN114584704A (zh) * 2022-02-08 2022-06-03 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN116437137A (zh) * 2023-06-09 2023-07-14 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965769A (zh) * 2018-08-28 2018-12-07 腾讯科技(深圳)有限公司 视频显示方法及装置
CN111672099A (zh) * 2020-05-28 2020-09-18 腾讯科技(深圳)有限公司 虚拟场景中的信息展示方法、装置、设备及存储介质
CN112929687A (zh) * 2021-02-05 2021-06-08 腾竞体育文化发展(上海)有限公司 基于直播视频的互动方法、装置、设备及存储介质
CN113041625A (zh) * 2021-04-25 2021-06-29 腾讯科技(深圳)有限公司 直播界面的显示方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965769A (zh) * 2018-08-28 2018-12-07 腾讯科技(深圳)有限公司 视频显示方法及装置
CN111672099A (zh) * 2020-05-28 2020-09-18 腾讯科技(深圳)有限公司 虚拟场景中的信息展示方法、装置、设备及存储介质
CN112929687A (zh) * 2021-02-05 2021-06-08 腾竞体育文化发展(上海)有限公司 基于直播视频的互动方法、装置、设备及存储介质
CN113041625A (zh) * 2021-04-25 2021-06-29 腾讯科技(深圳)有限公司 直播界面的显示方法、装置、设备及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918011A (zh) * 2021-09-26 2022-01-11 平行空间(上海)科技有限公司 虚拟环境下的可视化对象、扩展现实设备以及应用方法
CN114584704A (zh) * 2022-02-08 2022-06-03 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN116437137A (zh) * 2023-06-09 2023-07-14 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质
CN116437137B (zh) * 2023-06-09 2024-01-09 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113408484A (zh) 画面展示方法、装置、终端及存储介质
US8644467B2 (en) Video conferencing system, method, and computer program storage device
CN109743892B (zh) 虚拟现实内容的显示方法和装置
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
KR101338700B1 (ko) 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법
CN111970532B (zh) 视频播放方法、装置及设备
US20190289275A1 (en) Information processing apparatus and information processing method
US20220245859A1 (en) Data processing method and electronic device
US9392248B2 (en) Dynamic POV composite 3D video system
CN111491174A (zh) 虚拟礼物获取及展示方法、装置、设备及存储介质
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN109286824B (zh) 一种直播用户侧控制的方法、装置、设备及介质
CN112312111A (zh) 虚拟图像的显示方法、装置、电子设备及存储介质
US10846535B2 (en) Virtual reality causal summary content
CN110262763B (zh) 基于增强现实的显示方法和装置以及存储介质和电子设备
US20170150212A1 (en) Method and electronic device for adjusting video
CN109218754A (zh) 一种直播中的信息显示方法、装置、设备及介质
CN110710203B (zh) 用于生成和渲染沉浸式视频内容的方法、系统和介质
CN111459432A (zh) 虚拟内容的显示方法、装置、电子设备及存储介质
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
CN109729338B (zh) 显示数据的处理方法、装置和系统
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
CN114143568A (zh) 一种用于确定增强现实直播图像的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination