CN115334353B - 信息显示的方法、装置、电子设备以及存储介质 - Google Patents
信息显示的方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN115334353B CN115334353B CN202210964053.XA CN202210964053A CN115334353B CN 115334353 B CN115334353 B CN 115334353B CN 202210964053 A CN202210964053 A CN 202210964053A CN 115334353 B CN115334353 B CN 115334353B
- Authority
- CN
- China
- Prior art keywords
- picture
- live
- direct
- broadcast
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims description 56
- 230000004044 response Effects 0.000 claims description 28
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 241000209140 Triticum Species 0.000 description 8
- 235000021307 Triticum Nutrition 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Abstract
本申请关于一种信息显示的方法、装置、电子设备以及存储介质,属于计算机技术领域。通过本申请实施例提供的技术方案,获取虚拟空间的直播视频流,该直播视频流是主播账号与至少和一个联合直播账号进行联合直播时推送的。对该直播视频流进行解码,得到初始画面。对该初始画面进行分割,得到第一直播画面和至少一个第二直播画面,其中,第一直播画面为主播账号的直播画面,第二直播画面为联合直播账号的直播画面。在虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是独立显示该第一直播画面以及第二直播画面,从而避免由于拉伸比例不匹配导致的第二直播画面显示失真的情况,提升直播效果。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种信息显示的方法、装置、电子设备以及存储介质。
背景技术
随着计算机技术的发展,越来越多的用户会通过观看直播方式来进行放松和娱乐。多人连麦是主播在直播间内通过邀请、接受观众或其他主播申请两种方式进行连麦,从而进行联合直播,连麦成功之后,连麦对象的直播画面会显示在该主播的直播画面上。
相关技术中,主播端将包含连麦对象的直播画面推送给观众端,由观众端显示该直播画面。但是,由于主播端和观众端的设备尺寸往往是不同的,因此观众端在显示该直播画面时会进行拉伸。由于连麦对象的直播画面与该直播画面的长宽比可能是不同的,这样会导致该直播画面中连麦对象的直播画面显示失真,从而降低直播效果。
发明内容
本申请提供一种信息显示的方法、装置、电子设备以及存储介质,以避免连麦对象的直播画面显示失真,提升直播效果,本申请的技术方案如下:
一方面,提供一种信息显示的方法,包括下述步骤:
获取主播账号的虚拟空间的直播视频流,所述虚拟空间包括至少一个联合直播账号,所述联合直播账号为在所述虚拟空间中与所述主播账号连线的用户账号,所述直播视频流是由所述主播账号的第一直播视频流以及所述至少一个联合直播账号的第二直播视频流合成的;
解码所述直播视频流,得到初始画面,所述初始画面包括所述第一直播视频流的第一直播画面和所述第二直播视频流的至少一个第二直播画面;
分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面;
在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面包括:
基于所述直播视频流中的画面位置信息,确定所述第一直播画面在所述初始画面中的第一位置以及所述至少一个第二直播画面在所述初始画面中的第二位置,所述画面位置信息用于记录所述第一直播画面和所述至少一个第二直播画面在合成所述初始画面时的位置;
基于所述第一位置和所述第二位置,从所述初始画面中分割出所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面包括:
将所述初始画面输入画面分割模型;
通过所述画面分割模型对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述通过所述画面分割模型对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面包括:
通过所述画面分割模型,对所述初始画面进行特征提取,得到所述初始画面的初始特征图;
通过所述画面分割模型,对所述初始画面的初始特征图进行多次池化,得到所述初始画面的多个池化特征图,所述多个池化特征图的尺寸不同;
通过所述画面分割模型,对所述多个池化特征图进行卷积,得到所述初始画面的多个参考特征图;
通过所述画面分割模型,将所述多个参考特征图进行融合,得到所述初始画面的分割特征图;
通过所述画面分割模型,基于所述分割特征图对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面包括:
在所述虚拟空间的第一播放窗口中显示所述第一直播画面;在所述虚拟空间的至少一个第二播放窗口中显示所述至少一个第二直播画面,一个所述第二播放窗口中显示有一个所述第二直播画面,所述至少一个第二播放窗口叠加在所述第一播放窗口上,所述第一播放窗口的尺寸大于任一所述第二播放窗口。
在一种可能的实施方式中,所述在所述虚拟空间的至少一个第二播放窗口中显示所述至少一个第二直播画面之后,所述方法还包括:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,放大所述第二直播画面所在的第二播放窗口,缩小所述第一播放窗口;
将所述第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在所述第二直播画面所在的第二播放窗口上。
在一种可能的实施方式中,所述在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面之前,所述方法还包括:
基于第一缩放比例以及所述第一直播画面的尺寸,确定第一播放窗口的尺寸,所述第一缩放比例基于所述第一直播画面的分辨率以及显示所述虚拟空间的分辨率确定;
基于第二缩放比例以及所述至少一个第二直播画面的尺寸,确定至少一个第二播放窗口的尺寸,所述第二缩放比例基于所述第二直播画面的分辨率以及显示所述虚拟空间的分辨率确定;
所述在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面包括:
在所述虚拟空间的所述第一播放窗口中显示所述第一直播画面;
在所述虚拟空间的所述至少一个第二播放窗口中显示所述至少一个第二直播画面。
在一种可能的实施方式中,所述在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面包括:
在所述虚拟空间上按照目标位置信息配置所述第一直播画面对应的第一播放窗口和所述至少一个第二直播画面对应的至少一个第二播放窗口,所述目标位置信息用于表示所述第一直播画面和所述至少一个第二直播画面在所述主播账号的主播端上的显示位置;
在所述第一播放窗口中显示所述第一直播画面;
在所述至少一个第二播放窗口中显示所述至少一个第二直播画面。
在一种可能的实施方式中,所述在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面之后,所述方法还包括下述任一项:
响应于对所述至少一个第二直播画面中任一第二直播画面的位置调整操作,基于所述位置调整操作调整所述第二直播画面所在的播放窗口的显示位置;
响应于对所述至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于所述尺寸调整操作调整所述第二直播画面所在的播放窗口的尺寸。
在一种可能的实施方式中,所述响应于对所述至少一个第二直播画面中任一第二直播画面的位置调整操作,基于所述位置调整操作调整所述第二直播画面所在的播放窗口的显示位置包括:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的拖动操作,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
在一种可能的实施方式中,所述响应于对所述第二直播画面所在的播放窗口的拖动操作,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上包括:
响应于对所述第二直播画面所在的播放窗口的拖动操作,确定所述拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口;
在所述拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
在一种可能的实施方式中,所述方法还包括下述任一项:
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作开始的位置上;
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在与所述其他第二直播画面所在的播放窗口相邻的位置上。
在一种可能的实施方式中,所述响应于对所述至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于所述尺寸调整操作调整所述第二直播画面所在的播放窗口的尺寸包括下述任一项:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的边界的拖动操作,将所述第二直播画面所在的播放窗口的边界调整至所述拖动操作结束的位置上,以改变所述第二直播画面所在的播放窗口的尺寸;
响应于对所述至少一个第二直播画面中任一第二直播画面的两次连续点击操作,在所述直播界面上对所述第二直播画面所在的播放窗口进行放大显示。
一方面,提供一种信息显示的装置,包括:
直播视频流获取单元,被配置为执行获取主播账号的虚拟空间的直播视频流,所述虚拟空间包括至少一个联合直播账号,所述联合直播账号为在所述虚拟空间中与所述主播账号连线的用户账号,所述直播视频流是由所述主播账号的第一直播视频流以及所述至少一个联合直播账号的第二直播视频流合成的;
解码单元,被配置为执行解码所述直播视频流,得到初始画面,所述初始画面包括所述第一直播视频流的第一直播画面和所述第二直播视频流的至少一个第二直播画面;
分割单元,被配置为执行分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面;
显示单元,被配置为执行在所述虚拟空间的不同播放窗口中显示所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述分割单元,被配置为执行基于所述直播视频流中的画面位置信息,确定所述第一直播画面在所述初始画面中的第一位置以及所述至少一个第二直播画面在所述初始画面中的第二位置,所述画面位置信息用于记录所述第一直播画面和所述至少一个第二直播画面在合成所述初始画面时的位置;基于所述第一位置和所述第二位置,从所述初始画面中分割出所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述分割单元,被配置为执行将所述初始画面输入画面分割模型;通过所述画面分割模型对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述分割单元,被配置为执行通过所述画面分割模型,对所述初始画面进行特征提取,得到所述初始画面的初始特征图;通过所述画面分割模型,对所述初始画面的初始特征图进行多次池化,得到所述初始画面的多个池化特征图,所述多个池化特征图的尺寸不同;通过所述画面分割模型,对所述多个池化特征图进行卷积,得到所述初始画面的多个参考特征图;通过所述画面分割模型,将所述多个参考特征图进行融合,得到所述初始画面的分割特征图;通过所述画面分割模型,基于所述分割特征图对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
在一种可能的实施方式中,所述显示单元,被配置为执行在所述虚拟空间的第一播放窗口中显示所述第一直播画面;在所述虚拟空间的至少一个第二播放窗口中显示所述至少一个第二直播画面,一个所述第二播放窗口中显示有一个所述第二直播画面,所述至少一个第二播放窗口叠加在所述第一播放窗口上,所述第一播放窗口的尺寸大于任一所述第二播放窗口。
在一种可能的实施方式中,所述显示单元,还被配置为执行响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,放大所述第二直播画面所在的第二播放窗口,缩小所述第一播放窗口;将所述第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在所述第二直播画面所在的第二播放窗口上。
在一种可能的实施方式中,所述装置还包括:
尺寸确定单元,被配置为执行基于第一缩放比例以及所述第一直播画面的尺寸,确定第一播放窗口的尺寸,所述第一缩放比例基于所述第一直播画面的分辨率以及显示所述虚拟空间的分辨率确定;基于第二缩放比例以及所述至少一个第二直播画面的尺寸,确定至少一个第二播放窗口的尺寸,所述第二缩放比例基于所述第二直播画面的分辨率以及显示所述虚拟空间的分辨率确定;
所述显示单元,被配置为执行在所述虚拟空间的所述第一播放窗口中显示所述第一直播画面;在所述虚拟空间的所述至少一个第二播放窗口中显示所述至少一个第二直播画面。
在一种可能的实施方式中,所述显示单元,被配置为执行在所述虚拟空间上按照目标位置信息配置所述第一直播画面对应的第一播放窗口和所述至少一个第二直播画面对应的至少一个第二播放窗口,所述目标位置信息用于表示所述第一直播画面和所述至少一个第二直播画面在所述主播账号的主播端上的显示位置;在所述第一播放窗口中显示所述第一直播画面;在所述至少一个第二播放窗口中显示所述至少一个第二直播画面。
在一种可能的实施方式中,所述装置还包括下述任一项:
位置调整单元,被配置为执行响应于对所述至少一个第二直播画面中任一第二直播画面的位置调整操作,基于所述位置调整操作调整所述第二直播画面所在的播放窗口的显示位置;
尺寸调整单元,被配置为执行响应于对所述至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于所述尺寸调整操作调整所述第二直播画面所在的播放窗口的尺寸。
在一种可能的实施方式中,所述位置调整单元,被配置为执行响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的拖动操作,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
在一种可能的实施方式中,所述位置调整单元,被配置为执行响应于对所述第二直播画面所在的播放窗口的拖动操作,确定所述拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口;在所述拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
在一种可能的实施方式中,所述位置调整单元,还被配置为执行下述任一项:
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作开始的位置上;
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在与所述其他第二直播画面所在的播放窗口相邻的位置上。
在一种可能的实施方式中,所述尺寸调整单元,被配置为执行下述任一项:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的边界的拖动操作,将所述第二直播画面所在的播放窗口的边界调整至所述拖动操作结束的位置上,以改变所述第二直播画面所在的播放窗口的尺寸;
响应于对所述至少一个第二直播画面中任一第二直播画面的两次连续点击操作,在所述直播界面上对所述第二直播画面所在的播放窗口进行放大显示。
一方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述信息显示的方法。
一方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备够执行上述信息显示的方法。
一方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述信息显示的方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
通过本申请实施例提供的技术方案,获取虚拟空间的直播视频流,该直播视频流是主播账号与至少和一个联合直播账号进行联合直播时推送的。对该直播视频流进行解码,得到初始画面。对该初始画面进行分割,得到第一直播画面和至少一个第二直播画面,其中,第一直播画面为主播账号的直播画面,第二直播画面为联合直播账号的直播画面。在虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是独立显示该第一直播画面以及第二直播画面,从而避免由于拉伸比例不匹配导致的第二直播画面显示失真的情况,提升直播效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的一种信息显示的方法的实施环境示意图。
图2是根据一示例性实施例示出的一种信息显示的方法的流程图。
图3是根据一示例性实施例示出的另一种信息显示的方法的流程图。
图4是根据一示例性实施例示出的一种初始画面的示意图。
图5是根据一示例性实施例示出的一种分割初始画面的示意图。
图6是根据一示例性实施例示出的一种虚拟场景的示意图。
图7是根据一示例性实施例示出的再一种信息显示的方法的流程图。
图8是根据一示例性实施例示出的一种信息显示的装置的框图。
图9是根据一示例性实施例示出的一种观众端的框图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及的账号都是在充分授权的情况下获取的。
图1是本申请实施例提供的一种信息显示的方法的实施环境示意图,参见图1,该实施环境中包括主播端101、观众端102和服务器103。
主播端101可以为智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。主播端101上可以安装并运行有支持直播的应用程序,主播可以通过主播端101登录该应用程序,通过该应用程序来进行直播,在一些实施例中,该应用程序上登录有主播账号。
观众端102可以为智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。观众端102上可以安装并运行有支持显示虚拟空间的应用程序,观众可以通过观众端102登录该应用程序,通过该应用程序来观看直播,在一些实施例中,该应用程序上登录有观众账号。
服务器103可以为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器103为主播端101和观众端102上运行的应用程序提供的后台服务。
在一些实施例中,上述服务器103的数量可以更多或更少,本申请实施例对此不加以限定。当然,服务器103还可以包括其他功能服务器,以便提供更全面且多样化的服务。
在介绍完本申请实施例的实施环境之后,下面将结合上述实施环境对本申请实施例的应用场景进行介绍,在下述说明过程中,主播端也即是上述实施环境中的主播端101,观众端也即是上述实施环境中的观众端102,服务器也即是上述实施环境中的服务器103。
本申请实施例提供的技术方案能够应用在各类直播场景下,比如,主播端上运行有支持直播的应用程序,该应用程序上登录有主播账号,主播通过该应用程序开启直播。在直播过程中,主播能够通过该应用程序拉入至少一个联合直播账号进行连麦,该联合直播账号也被称为连麦账号、嘉宾账号或者连麦对象。在直播过程中,主播端将该至少一个联合直播账号的直播画面显示在该主播的直播画面上,主播能够根据需要调整该至少一个联合直播账号的直播画面的显示位置。该主播端将该主播账号的第一直播视频流和该至少一个联合直播账号的第二直播视频流合成为该虚拟空间的直播视频流,该第一直播视频流包括该主播账号的第一直播画面,该第二直播视频流包括该至少一个联合直播账号的第二直播画面。主播端将该虚拟空间的直播视频流推送给服务器,由服务器将该直播视频流推送给不同的观众端。对于任一观众端,该观众端获取该服务器推送的该直播视频流,对该直播视频流进行解码,得到初始画面,该初始画面包括该第一直播视频流的第一直播画面和第二直播视频流的至少一个第二直播画面。该观众端分割该初始画面,得到第一直播画面和至少一个第二直播画面。该观众端在该虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是在该虚拟空间上独立显示该第一直播画面以及该至少一个第二直播画面,第一直播画面以及该至少一个第二直播画面的显示相互独立,互不影响。
在介绍完本申请实施例的实施环境和应用场景之后,下面对本申请实施例提供的信息显示的方法进行介绍,参见图2,以执行主体为观众端为例,方法包括下述步骤。
在步骤S201中,观众端获取主播账号的虚拟空间的直播视频流,该虚拟空间包括至少一个联合直播账号,该联合直播账号为在该虚拟空间中与该主播账号连线的用户账号,该直播视频流是由该主播账号的第一直播视频流以及该至少一个联合直播账号的第二直播视频流合成的。
其中,主播账号的虚拟空间也即是主播账号的直播间,观众端也即是该虚拟空间的观众端。联合直播账号是在该虚拟空间中与该主播账号进行连线的用户账号,也即是与该主播账号连麦的用户账号。在一些实施例中,该联合直播账号可以是其他主播账号,也可以是观众账号,本申请实施例对此不做限定。主播账号的第一直播视频流是主播端采集的直播视频流,该主播端是登录该主播账号的终端,相应地,联合直播账号的第二直播视频流是联合直播端采集的直播视频流,该联合直播端是登录联合直播账号的终端。
在步骤S202中,观众端解码该直播视频流,得到初始画面,该初始画面包括该第一直播视频流的第一直播画面和该第二直播视频流的至少一个第二直播画面。
其中,该初始画面包括该第一直播画面和该至少一个第二直播画面。在一些实施例中,该初始画面中该第一直播画面和该至少一个第二直播画面之间没有重合部分,也即是该第一直播画面和该至少一个第二直播画面之间没有相互遮挡。
在步骤S203中,观众端分割该初始画面,得到该第一直播画面和该至少一个第二直播画面。
其中,通过分割该初始画面得到第一直播画面和至少一个第二直播画面,后续能够独立地调整该第一直播画面和第二直播画面,实现直播画面与观众端的适配。
在步骤S204中,观众端在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面。
其中,播放窗口用于独立第显示直播画面,在不同的播放窗口中显示该第一直播画面和该至少一个第二直播画面能够保证第一直播画面和该第二直播画面在显示上的独立性,便于后续进行调整。
通过本申请实施例提供的技术方案,获取虚拟空间的直播视频流,该直播视频流是主播账号与至少和一个联合直播账号进行联合直播时推送的。对该直播视频流进行解码,得到初始画面。对该初始画面进行分割,得到第一直播画面和至少一个第二直播画面,其中,第一直播画面为主播账号的直播画面,第二直播画面为联合直播账号的直播画面。在虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是独立显示该第一直播画面以及第二直播画面,从而避免由于拉伸比例不匹配导致的第二直播画面显示失真的情况,提升直播效果。
可选地,观众端还能够在上述步骤S201-S204的基础上执行下述步骤。
在一种可能的实施方式中,该分割该初始画面,得到该第一直播画面和该至少一个第二直播画面包括:
基于该直播视频流中的画面位置信息,确定该第一直播画面在该初始画面中的第一位置以及该至少一个第二直播画面在该初始画面中的第二位置,该画面位置信息用于记录该第一直播画面和该至少一个第二直播画面在合成该初始画面时的位置。
基于该第一位置和该第二位置,从该初始画面中分割出该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该分割该初始画面,得到该第一直播画面和该至少一个第二直播画面包括:
将该初始画面输入画面分割模型。
通过该画面分割模型对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该通过该画面分割模型对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面包括:
通过该画面分割模型,对该初始画面进行特征提取,得到该初始画面的初始特征图。
通过该画面分割模型,对该初始画面的初始特征图进行多次池化,得到该初始画面的多个池化特征图,该多个池化特征图的尺寸不同。
通过该画面分割模型,对该多个池化特征图进行卷积,得到该初始画面的多个参考特征图。
通过该画面分割模型,将该多个参考特征图进行融合,得到该初始画面的分割特征图。
通过该画面分割模型,基于该分割特征图对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面包括:
在该虚拟空间的第一播放窗口中显示该第一直播画面。在该虚拟空间的至少一个第二播放窗口中显示该至少一个第二直播画面,一个该第二播放窗口中显示有一个该第二直播画面,该至少一个第二播放窗口叠加在该第一播放窗口上,该第一播放窗口的尺寸大于任一该第二播放窗口。
在一种可能的实施方式中,该在该虚拟空间的至少一个第二播放窗口中显示该至少一个第二直播画面之后,该方法还包括:
响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,放大该第二直播画面所在的第二播放窗口,缩小该第一播放窗口。
将该第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在该第二直播画面所在的第二播放窗口上。
在一种可能的实施方式中,该在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面之前,该方法还包括:
基于第一缩放比例以及该第一直播画面的尺寸,确定第一播放窗口的尺寸,该第一缩放比例基于该第一直播画面的分辨率以及显示该虚拟空间的分辨率确定。
基于第二缩放比例以及该至少一个第二直播画面的尺寸,确定至少一个第二播放窗口的尺寸,该第二缩放比例基于该第二直播画面的分辨率以及显示该虚拟空间的分辨率确定。
该在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面包括:
在该虚拟空间的该第一播放窗口中显示该第一直播画面。
在该虚拟空间的该至少一个第二播放窗口中显示该至少一个第二直播画面。
在一种可能的实施方式中,该在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面包括:
在该虚拟空间上按照目标位置信息配置该第一直播画面对应的第一播放窗口和该至少一个第二直播画面对应的至少一个第二播放窗口,该目标位置信息用于表示该第一直播画面和该至少一个第二直播画面在该主播账号的主播端上的显示位置。
在该第一播放窗口中显示该第一直播画面。
在该至少一个第二播放窗口中显示该至少一个第二直播画面。
在一种可能的实施方式中,该在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面之后,该方法还包括下述任一项:
响应于对该至少一个第二直播画面中任一第二直播画面的位置调整操作,基于该位置调整操作调整该第二直播画面所在的播放窗口的显示位置。
响应于对该至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于该尺寸调整操作调整该第二直播画面所在的播放窗口的尺寸。
在一种可能的实施方式中,该响应于对该至少一个第二直播画面中任一第二直播画面的位置调整操作,基于该位置调整操作调整该第二直播画面所在的播放窗口的显示位置包括:
响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的拖动操作,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。
在一种可能的实施方式中,该响应于对该第二直播画面所在的播放窗口的拖动操作,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上包括:
响应于对该第二直播画面所在的播放窗口的拖动操作,确定该拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口。
在该拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。
在一种可能的实施方式中,该方法还包括下述任一项:
在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在该拖动操作开始的位置上。
在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在与该其他第二直播画面所在的播放窗口相邻的位置上。
在一种可能的实施方式中,该响应于对该至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于该尺寸调整操作调整该第二直播画面所在的播放窗口的尺寸包括下述任一项:
响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的边界的拖动操作,将该第二直播画面所在的播放窗口的边界调整至该拖动操作结束的位置上,以改变该第二直播画面所在的播放窗口的尺寸。
响应于对该至少一个第二直播画面中任一第二直播画面的两次连续点击操作,在该直播界面上对该第二直播画面所在的播放窗口进行放大显示。
上述步骤S201-S204是对本申请实施例提供的信息显示的方法的简单说明,下面将结合一些例子,对本申请实施例提供的技术方案进行更加清楚地说明,参见图3,以执行主体为观众端为例,方法包括下述步骤。
在步骤S301中,响应于对目标功能界面上的目标查看控件的点击操作,观众端显示主播账号的虚拟空间。
其中,该目标功能界面为用于观看直播的应用程序的界面,该目标查看控件用于选择该主播账号的虚拟空间。该虚拟空间为直播间,相应地,该主播账号的虚拟空间也即是该主播账号的直播间,该主播账号能够在该虚拟空间中进行直播。在该主播账号在该虚拟空间中进行直播的情况下,观众端能够显示该主播账号的虚拟空间,从而对该虚拟空间进行观看。在一些实施例中,该虚拟空间提供互动功能,观众端上登录的观众账号能够在该虚拟空间中执行发送弹幕、赠送虚拟礼物以及点赞等互动行为。
在一种可能的实施方式中,观众端启动第一应用程序,显示该第一应用程序目标功能界面,该目标功能界面包括多个查看控件,该多个查看控件包括该目标查看控件,该目标查看控件与该主播账号的虚拟空间对应,该第一应用程序用于观看直播。响应于对该目标查看控件的点击操作,观众端显示该主播账号的虚拟空间。在一些实施例中,查看控件的显示形式为虚拟空间的封面,相应地,该目标查看控件的显示形式为该主播账号的虚拟空间的封面。虚拟空间的封面由对应的主播账号进行设置,或者为虚拟空间中的直播画面,本申请实施例对此不做限定。
在这种实施方式下,观众能够通过点击目标查看控件来观看该主播账号的虚拟空间,当然也能够通过点击其他查看控件来观看其他主播账号的虚拟空间,为观众提供了丰富的观看选择,提高了人机交互的效率。
需要说明的是,上述步骤S301是可选地步骤,观众端既可以执行上述步骤S301之后再执行下述步骤S302,也可以直接执行下述步骤S302,本申请实施例对此不做限定。
在步骤S302中,观众端获取该主播账号的虚拟空间的直播视频流,该虚拟空间包括至少一个联合直播账号,该联合直播账号为在该虚拟空间中与该主播账号连线的用户账号,该直播视频流是由该主播账号的第一直播视频流以及该至少一个联合直播账号的第二直播视频流合成的。
其中,联合直播账号是在该虚拟空间中与该主播账号进行连线的用户账号,也即是与该主播账号进行联合直播的用户账号,比如,联合直播账号为与该主播账号连麦的用户账号,在一些实施例中,该联合直播账号也被称为该虚拟空间的嘉宾。在一些实施例中,该联合直播账号可以是其他主播账号,也可以是观众账号,本申请实施例对此不做限定。在该主播账号与该至少一个联合直播账号进行连线时,该虚拟空间中会同时显示该主播账号的第一直播视频流和该至少一个联合直播账号的第二直播视频流,其中,主播账号的第一直播视频流是主播端采集的直播视频流,该主播端是登录该主播账号的终端,比如,该第一直播视频流是该主播端的拍摄装置(比如摄像头)采集到的视频流。相应地,联合直播账号的第二直播视频流是联合直播端采集的直播视频流,该联合直播端是登录联合直播账号的终端,比如,该第二直播视频流是联合直播端的拍摄装置(比如摄像头)采集到的视频流。
在一种可能的实施方式中,观众端向服务器发送视频流获取请求,该视频流获取请求携带该主播账号的虚拟空间的标识,其中,该视频流获取请求是在观众端显示该虚拟空间是发送的。服务器接收该视频流获取请求,从该视频流获取请求中获取该虚拟空间的标识,基于该虚拟空间的标识进行查询,确定该虚拟空间的直播视频流,从而将该虚拟空间的直播视频流推送给观众端。观众端获取该直播视频流。
在这种实施方式下,观众端能够在显示该虚拟空间时主动拉取该虚拟空间的直播视频流,从而基于该直播视频流进行播放,效率较高。
为了对上述步骤S302进行更加清楚地说明,下面对合成该虚拟空间的直播视频流的方法进行说明。
在一种可能的实施方式中,主播端获取该至少一个联合直播账号的第二直播视频流。主播端解码该第二直播视频流,得到至少一个第二直播画面。主播端解码该第一直播视频流,得到第一直播画面。主播端拼接该第一直播画面和该至少一个第二直播画面,得到初始画面。主播端对该初始画面进行编码,得到该虚拟空间的直播视频流。
其中,一个联合直播账号对应于一个第二直播视频流,在联合直播账号的数量为多个的情况下,第二直播视频流的数量也就为多个。另外,一个第二直播画面对应于一个第二直播视频流,在该第二直播视频流的数量为多个的情况下,第二直播画面的数量也就为多个。主播端对该初始画面进行编码时,可以采用任一视频编码格式,本申请实施例对此不做限定。
需要说明的是,上述实施方式中描述的第一直播画面、第二直播画面以及初始画面的数量均为多个,多个画面构成对应的视频流,相应地,第一直播画面也可以被称为第一直播视频流的视频帧,第二直播画面也可以被称为第二直播视频流的视频帧,初始画面也可以被称为直播视频流的视频帧。
在这种实施方式下,主播端直接将第一直播视频流和第二直播视频流合成为该虚拟空间的直播视频流,直接将该直播视频流推送给服务器后就可以由服务器将该直播视频流下发给不同的观众端,节约了服务器的运算资源。
举例来说,主播端启动第二应用程序,该第二应用程序为用于进行直播的应用程序,该第二应用程序上登录有该主播账号。响应于在该第二应用程序上的操作,主播端向服务器发送联合直播请求,该联合直播请求携带该至少一个联合直播账号。服务器基于该联合直播请求,建立该主播账号与该至少一个联合直播账号之间的连线。在该主播账号与该至少一个联合直播账号建立连线的情况下,主播端获取该至少一个联合直播账号的第二视频流。主播端解码该第二直播视频流,得到至少一个第二直播画面。主播端解码该第一直播视频流,得到第一直播画面。主播端拼接该第一直播画面和该至少一个第二直播画面,得到初始画面。主播端对该初始画面进行编码,得到该虚拟空间的直播视频流。
在一些实施例中,主播端采用RTC(Real Time Communication,实时通信)技术来将第一直播视频流和该至少一个第二直播视频流合成为该虚拟空间的直播视频流。
在一些实施例中,该初始画面中该第一直播画面和该至少一个第二直播画面之间没有重合部分,也即是该第一直播画面和该至少一个第二直播画面之间没有相互遮挡。在这种实施方式下,该至少一个第二直播画面被合成在该第一直播画面之外。区别于相关技术中将第二直播画面合成在该第一直播画面之上,造成第一直播画面被第二直播画面部分遮挡的方式,本申请实施例在合成初始画面时保持了第一直播画面和第二直播画面的完整性,第一直播画面没有被第二直播画面部分遮挡。比如,参见图4,主播端利用RTC技术的导播台合流技术将该第一直播画面401和五个第二直播画面402-406合成为初始画面407。在一些实施例中,主播端通过该RTC导播台能够配置视频画面的合成方式,比如,配置视频画面的合成位置、配置合成后画面的分辨率以及配置合成视频画面的数量等。
另外,该虚拟空间的直播视频流除了可以由主播端合成之外,还可以由服务器进行合成,步骤如下。
在一种可能的实施方式中,服务器获取该至少一个联合直播账号的第二直播视频流。服务器解码该第二直播视频流,得到至少一个第二直播画面。服务器获取主播账号的第一直播视频流。服务器解码该第一直播视频流,得到第一直播画面。服务器拼接该第一直播画面和该至少一个第二直播画面,得到初始画面。服务器对该初始画面进行编码,得到该虚拟空间的直播视频流。
在这种实施方式下,服务器能够将第一直播视频流和第二直播视频流合成为该虚拟空间的直播视频流,从而节省主播端的运算资源,在主播端的配置较低的情况下,不影响主播端的正常直播。
在步骤S303中,观众端解码该直播视频流,得到初始画面,该初始画面包括该第一直播视频流的第一直播画面和该第二直播视频流的至少一个第二直播画面。
其中,该初始画面包括该第一直播画面和该至少一个第二直播画面,第一直播画面为主播端通过拍摄装置采集到的画面,第二直播画面为联合直播端通过拍摄装置采集到的画面。
在一种可能的实施方式中,观众端通过解码器对该直播视频流进行解码,得到该初始画面。在一些实施例中,该初始画面中该第一直播画面和该至少一个第二直播画面之间没有重合部分,也即是该第一直播画面和该至少一个第二直播画面之间没有相互遮挡,这样能够保证第一直播画面和第二直播画面的完整性。
在步骤S304中,观众端分割该初始画面,得到该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,观众端基于该直播视频流中的画面位置信息,确定该第一直播画面在该初始画面中的第一位置以及该至少一个第二直播画面在该初始画面中的第二位置,该画面位置信息用于记录该第一直播画面和该至少一个第二直播画面在合成该初始画面时的位置。观众端基于该第一位置和该第二位置,从该初始画面中分割出该第一直播画面和该至少一个第二直播画面。
其中,该画面位置信息由该直播视频流携带,该直播视频流包括多个初始画面,该多个初始画面也就为该直播视频流的多个视频帧,每个初始画面对应于一个画面位置信息,相应地,画面位置信息用于记录对应初始画面中第一直播画面和至少一个第二直播画面的位置,通过这种方式,以视频帧为单位来携带画面位置信息,能够提高画面分割的准确性。在一些实施例中,该画面位置信息也被称为TSPT信息。
在这种实施方式下,观众端能够通过画面位置信息来实现对初始画面进行分割,由于画面位置信息是在初始画面合成时确定的,那么画面位置信息也就能够较为准确地记录初始画面中第一直播画面和第二直播画面的位置,从而在保证画面分割准确性的前提下,提高画面分割的效率。
举例来说,该直播视频流包括多个初始画面,该多个初始画面为该直播视频流的多个视频帧。对于该多个初始画面中的任一初始画面,观众端获取该初始画面对应的画面位置信息,该画面位置信息用于记录该初始画面中第一直播画面和至少一个第二直播画面在合成该初始画面时的位置,比如,该画面位置信息包括第一直播画面和至少一个第二直播画面在该初始画面中的坐标。观众端基于该画面位置信息,确定该初始画面中第一直播画面的第一位置,比如为该第一直播画面的边界在该初始画面中的坐标。服务器基于该画面位置信息,确定该初始画面中至少一个第二直播画面的第二位置,比如为该至少一个第二直播画面在该初始画面中的坐标。需要说明的是,一个第二直播画面具有一个第二位置,在该初始画面包括多个第二直播画面的情况下,该第二位置的数量也就为多个。观众端基于该第一位置和第二位置,将该初始画面分割为第一直播画面和至少一个第二直播画面。比如,参见图5,观众端将初始画面分割为第一直播画面501以及第二直播画面502-506。
在一种可能的实施方式中,观众端将该初始画面输入画面分割模型。观众端通过该画面分割模型对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
其中,该画面分割模型是通过样本画面以及标注信息训练得到的,该样本画面包括多个样本子画面,该标注信息用于记录该样本画面中多个样本子画面的位置,该样本画面的数量为多个。在训练该画面分割模型时,将该样本画面输入该画面分割模型,通过该画面分割模型对该样本画面进行分割,得到多个预测子画面。基于该标注信息以及该多个预测子画面在该样本画面中的位置,对该画面分割模型进行训练,从而得到具有画面分割能力的画面分割模型。
在这种实施方式下,观众端能够通过画面分割模型来对初始画面进行分割,从而得到该初始画面中的第一直播画面和至少一个第二直播画面,无需借助其他信息来进行画面分割,画面分割的效率较高。
举例来说,观众端将该初始画面输入画面分割模型,通过该画面分割模型,对该初始画面进行特征提取,得到该初始画面的初始特征图,其中,该初始特征图为对该初始画面进行第一次特征提取时得到的特征图。观众端通过该画面分割模型,对该初始画面的初始特征图进行多次池化,得到该初始画面的多个池化特征图,该多个池化特征图的尺寸不同,其中,对初始特征图进行池化时,既可以采用最大值池化,也可以采用平均值池化,本申请实施例对此不做限定。观众端通过该画面分割模型,对该多个池化特征图进行卷积,得到该初始画面的多个参考特征图,该参考特征图为对池化特征图进行进一步特征提取得到的特征图。观众端通过该画面分割模型,将该多个参考特征图进行融合,得到该初始画面的分割特征图。观众端通过该画面分割模型,基于该分割特征图对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
其中,该画面分割模型包括特征提取层、池化层、卷积层、特征图融合层以及画面分割层。
比如,观众端将该初始画面输入画面分割模型,通过该画面分割模型的特征提取层对该初始画面进行卷积或者基于注意力机制进行编码,得到该初始画面的初始特征图。观众端通过该画面分割模型的池化层,对该初始画面的初始特征进行多次池化,得到该初始画面的多个池化特征图,该多个池化特征图的尺寸不同,也即是该多个池化特征图聚焦于不同尺度的特征,有助于该画面分割模型对初始画面进行分割。观众端通过该画面分割模型的卷积层,对该多个池化特征图进行卷积,得到多个参考特征图,这样能够进一步提取池化特征图中的特征。观众端通过该画面分割模型的特征图融合层,将该多个参考特征图进行融合,得到该初始画面的分割特征图。在融合该多个参考特征图的过程中,观众端通过该画面分割模型的特征图融合层,对该多个参考特征图进行上采样,以将该多个参考特征图的尺寸调整为与该初始画面相同,将尺寸调整后的多个参考特征图进行叠加,得到该初始画面的分割特征图,在一些实施例中,上采样可以采用线性差值的方式来进行,本申请实施例对此不做限定。观众端通过该画面分割模型的画面分割层,对该初始画面的分割特征图进行全连接和归一化,得到该第一直播画面和该至少一个第二直播画面。
在步骤S305中,观众端在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,观众端在该虚拟空间的第一播放窗口中显示该第一直播画面。观众端在该虚拟空间的至少一个第二播放窗口中显示该至少一个第二直播画面,一个该第二播放窗口中显示有一个该第二直播画面,该至少一个第二播放窗口叠加在该第一播放窗口上,该第一播放窗口的尺寸大于任一该第二播放窗口。
其中,该第一播放窗口和第二播放窗口均是独立的播放窗口,第一播放窗口和第二播放窗口的位置和尺寸可以单独调整,相应地,调整第二播放窗口的位置时,也就是在调整第二播放窗口中显示的第二直播画面的位置;调整第二播放窗口的尺寸时,也就是在调整第二播放窗口中显示的第二直播画面的尺寸。
在这种实施方式下,观众端将从初始画面中分割出的第一直播画面和第二直播画面分别显示在第一播放窗口和第二播放窗口中,实现对第一直播画面和第二直播画面的独立播放。将第二播放窗口显示在第一播放窗口上,实现第一直播画面和第二直播画面的联动,体现联合直播的场景。
举例来说,观众端确定第二直播画面的数量,该第二直播画面的数量也即是第二播放窗口的数量。观众端获取该虚拟空间的配置文件,基于该配置文件确定该第一播放窗口和该至少一个第二播放窗口的位置。观众端在确定出的位置配置该第一播放窗口和该至少一个第二播放窗口,在该第一播放窗口中显示该第一直播画面,在该至少一个第二播放窗口中显示该至少一个第二直播画面,该至少一个第二播放窗口叠加在该第一播放窗口上,也就相当于该至少一个第二直播画面叠加在该第一直播画面上,比如,参见图6,观众端在第一播放窗口601中显示第一直播画面,在第二播放窗口602-606中显示五个第二直播画面。
在上述实施方式的基础上,可选地,观众端在第一播放窗口中显示第一直播画面,在至少一个第二播放窗口中显示第二直播画面之后,观众端还能够执行下述步骤。
在一种可能的实施方式中,响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,观众端放大该第二直播画面所在的第二播放窗口,缩小该第一播放窗口。观众端将该第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在该第二直播画面所在的第二播放窗口上。
在这种实施方式下,通过对第二直播画面执行点击操作能够放大第二直播画面对应的第二播放窗口,同时将该第一播放窗口缩小,以使得第一播放窗口和其他第二播放窗口叠加在该第二播放窗口上,实现该第二播放窗口与该第一播放窗口的位置交换,丰富了播放窗口的显示形式。
除了上述实施方式之外,本申请实施例还提供了另一种显示第一直播画面和第二直播画面的方式。
在一种可能的实施方式中,观众端在该虚拟空间上按照目标位置信息配置该第一直播画面对应的第一播放窗口和该至少一个第二直播画面对应的至少一个第二播放窗口,该目标位置信息用于表示该第一直播画面和该至少一个第二直播画面在该主播账号的主播端上的显示位置。观众端在该第一播放窗口中显示该第一直播画面。观众端在该至少一个第二播放窗口中显示该至少一个第二直播画面。
其中,该目标配置信息由该虚拟空间的直播视频流携带,该直播视频流包括多个初始画面,每个初始画面对应于一个目标配置信息,目标配置信息用于记录对应初始画面的第一直播画面和至少一个第二直播画面在该主播端上的显示位置。
在这种实施方式下,观众端能够按照目标位置信息配置该第一播放窗口和该至少一个第二播放窗口,也即是按照主播端上显示该第一直播画面和该至少一个第二直播画面的方式来配置观众端上显示该第一直播画面和该至少一个第二直播画面的方式,使得观众端上显示直播画面的方式与主播端上相同。
举例来说,该虚拟空间的直播视频流包括多个初始画面,对于任一初始画面,观众端获取该初始画面的目标位置信息,该目标位置信息用于表示主播端在显示该初始画面时,该初始画面中第一直播画面和至少一个第二直播画面的显示位置。观众端基于该目标位置信息,配置该第一播放窗口和该至少一个第二播放窗口,在该第一播放窗口中显示该初始画面的第一直播画面,在该至少一个第二播放窗口中显示该至少一个第二直播画面。在这种显示方式下,观众端显示第一直播画面和第二直播画面的位置与主播端相同,由于第一直播画面和第二直播画面是独立显示的,那么第一直播画面和第二直播画面能够以不同的缩放比例在观众端上进行显示,从而保证第一直播画面和第二直播画面均不会失真。
在一些实施例中,在步骤S305之前,观众端还能够执行下述步骤。
在一种可能的实施方式中,观众端基于第一缩放比例以及该第一直播画面的尺寸,确定第一播放窗口的尺寸,该第一播放窗口用于显示该第一直播画面,该第一缩放比例基于该第一直播画面的分辨率以及显示该虚拟空间的分辨率确定。观众端基于第二缩放比例以及该至少一个第二直播画面的尺寸,确定至少一个第二播放窗口的尺寸,该第二播放窗口用于显示该第二直播画面,该第二缩放比例基于该第二直播画面的分辨率以及显示该虚拟空间的分辨率确定。
其中,该第一播放窗口的尺寸也即是显示时该第一直播画面的尺寸,第一缩放比例用于调整该第一直播画面的尺寸,以使得该第一直播画面能够清楚地显示在观众端上,且避免该第一直播画面显示失真。相应地,该第二播放窗口的尺寸也即是显示时该第二直播画面的尺寸,第二缩放比例用于调整该第二直播画面的尺寸,以使得该第二直播画面能够清楚地显示在观众端上,且避免该第二直播画面显示失真。显示该虚拟空间的分辨率为该观众端显示该虚拟空间时的分辨率。在一些实施例中,观众端将该第一直播画面的分辨率与显示该虚拟空间的分辨率相除,以得到该第一缩放比例。观众端将该第二直播画面的分辨率与显示该虚拟空间的分辨率相除,以得到该第二缩放比例。需要说明的是,一个第二直播画面对应于一个第二缩放比例,在第二直播画面的数量为多个的情况下,第二缩放比例的数量也就为多个,这样能够保证第二直播画面在缩放后均不失真。
相应地,步骤S305通过下述步骤实现。
在一种可能的实施方式中,观众端在该虚拟空间的该第一播放窗口中显示该第一直播画面。观众端在该虚拟空间的该至少一个第二播放窗口中显示该至少一个第二直播画面。
其中,该第一播放窗口的尺寸和该第二播放窗口中的尺寸通过上述实施方式确定。
在这种实施方式下,观众端在显示第一直播画面和第二直播画面之前,能够先确定第一播放窗口和第二播放窗口的尺寸,从而保证在显示第一直播画面和第二直播画面时均不会失真,提高直播画面的显示效果。
在一些实施例中,在步骤S305之后,观众端还能够执行下述任一个步骤。
在一种可能的实施方式中,响应于对该至少一个第二直播画面中任一第二直播画面的位置调整操作,观众端基于该位置调整操作调整该第二直播画面所在的播放窗口的显示位置。
在这种实施方式下,观众能够根据需要调整第二直播画面的显示位置,使得第二直播画面的显示能够与观众端适配,提高第二直播画面在观众端上的显示效果。
举例来说,响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,观众端将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的拖动操作,观众端将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。其中,将播放窗口显示在该拖动操作结束的位置上是指,将播放窗口的中心显示在该拖动操作结束的位置上,或者将该播放窗口被拖动的位置显示在该拖动操作结束的位置上。比如,响应于对该第二直播画面所在的播放窗口的拖动操作,观众端确定该拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口。在该拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,观众端将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。
在这种实施方式下,观众端能够在拖动播放窗口时,判断拖动操作结束的位置上是否存在其他播放窗口,在该拖动操作结束的位置上不存在其他播放窗口的情况下,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上,从而避免遮挡其他第二直播画面。
上述是以该在该拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口为例进行说明的,下面以在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况进行说明。
例1、在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,观众端将该第二直播画面所在的播放窗口显示在该拖动操作开始的位置上。
其中,该拖动操作开始的位置也即是该第二直播画面所在的播放窗口的初始显示位置。
例2、在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,观众端将该第二直播画面所在的播放窗口显示在与该其他第二直播画面所在的播放窗口相邻的位置上。
在一种可能的实施方式中,响应于对该至少一个第二直播画面中任一第二直播画面的尺寸调整操作,观众端基于该尺寸调整操作调整该第二直播画面所在的播放窗口的尺寸。
在这种实施方式下,观众能够根据需要调整第二直播画面的尺寸,使得第二直播画面的显示能够与观众端适配,提高第二直播画面在观众端上的显示效果。
例1、响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,观众端将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的边界的拖动操作,观众端将该第二直播画面所在的播放窗口的边界调整值该拖动操作结束的位置上,以改变该第二直播画面所在的播放窗口的尺寸。
例2、响应于对该至少一个第二直播画面中任一第二直播画面的两次连续点击操作,观众端在该直播界面上对该第二直播画面所在的播放窗口进行放大显示。
下面将结合图7对上述步骤S301-S305进行说明。
参见图7,主播账号通过主播端发起多人连麦,邀请多个联合直播账号(嘉宾)公共参与直播。主播端通过RTC技术,对主播账号的第一直播视频流和多个联合直播账号的第二直播视频流进行合成,得到主播账号的直播间(虚拟空间)的直播视频流。主播端在合成该直播视频流时,将第二直播视频流的第二直播画面合成在第一直播视频流的第一直播画面之外,得到初始画面,也即是,在该初始画面中,第一直播画面和第二直播画面均为完整的直播画面,且第一直播画面和第二直播画面之间没有相互遮挡。在一些实施例中,第一直播画面也被称为主播画面,第二直播画面也被称为嘉宾画面。主播端对该初始画面进行编码,得到该直播间的直播视频流。观众端获取该直播视频流,对该直播视频流进行解码,得到该直播视频流的初始画面。观众端对该初始画面进行分割,得到第一直播画面和多个第二直播画面。观众端将第一直播画面和多个第二直播画面显示在不同的播放窗口中,观众根据需要调整第一直播画面和多个第二直播画面的位置,也即是调整直播间的布局。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
通过本申请实施例提供的技术方案,获取虚拟空间的直播视频流,该直播视频流是主播账号与至少和一个联合直播账号进行联合直播时推送的。对该直播视频流进行解码,得到初始画面。对该初始画面进行分割,得到第一直播画面和至少一个第二直播画面,其中,第一直播画面为主播账号的直播画面,第二直播画面为联合直播账号的直播画面。在虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是独立显示该第一直播画面以及第二直播画面,从而避免由于拉伸比例不匹配导致的第二直播画面显示失真的情况,提升直播效果。
图8是根据一示例性实施例示出的一种信息显示的装置的框图。参见图8,该装置包括:直播视频流获取单元801、解码单元802、分割单元803以及显示单元804。
直播视频流获取单元801,被配置为执行获取主播账号的虚拟空间的直播视频流,该虚拟空间包括至少一个联合直播账号,该联合直播账号为在该虚拟空间中与该主播账号连线的用户账号,该直播视频流是由该主播账号的第一直播视频流以及该至少一个联合直播账号的第二直播视频流合成的。
解码单元802,被配置为执行解码该直播视频流,得到初始画面,该初始画面包括该第一直播视频流的第一直播画面和该第二直播视频流的至少一个第二直播画面。
分割单元803,被配置为执行分割该初始画面,得到该第一直播画面和该至少一个第二直播画面。
显示单元804,被配置为执行在该虚拟空间的不同播放窗口中显示该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该分割单元803,被配置为执行基于该直播视频流中的画面位置信息,确定该第一直播画面在该初始画面中的第一位置以及该至少一个第二直播画面在该初始画面中的第二位置,该画面位置信息用于记录该第一直播画面和该至少一个第二直播画面在合成该初始画面时的位置。基于该第一位置和该第二位置,从该初始画面中分割出该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该分割单元803,被配置为执行将该初始画面输入画面分割模型。通过该画面分割模型对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该分割单元803,被配置为执行通过该画面分割模型,对该初始画面进行特征提取,得到该初始画面的初始特征图。通过该画面分割模型,对该初始画面的初始特征图进行多次池化,得到该初始画面的多个池化特征图,该多个池化特征图的尺寸不同。通过该画面分割模型,对该多个池化特征图进行卷积,得到该初始画面的多个参考特征图。通过该画面分割模型,将该多个参考特征图进行融合,得到该初始画面的分割特征图。通过该画面分割模型,基于该分割特征图对该初始画面进行分割,得到该第一直播画面和该至少一个第二直播画面。
在一种可能的实施方式中,该显示单元804,被配置为执行在该虚拟空间的第一播放窗口中显示该第一直播画面。在该虚拟空间的至少一个第二播放窗口中显示该至少一个第二直播画面,一个该第二播放窗口中显示有一个该第二直播画面,该至少一个第二播放窗口叠加在该第一播放窗口上,该第一播放窗口的尺寸大于任一该第二播放窗口。
在一种可能的实施方式中,该显示单元804,还被配置为执行响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,放大该第二直播画面所在的第二播放窗口,缩小该第一播放窗口。将该第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在该第二直播画面所在的第二播放窗口上。
在一种可能的实施方式中,该装置还包括:
尺寸确定单元,被配置为执行基于第一缩放比例以及该第一直播画面的尺寸,确定第一播放窗口的尺寸,该第一缩放比例基于该第一直播画面的分辨率以及显示该虚拟空间的分辨率确定。基于第二缩放比例以及该至少一个第二直播画面的尺寸,确定至少一个第二播放窗口的尺寸,该第二缩放比例基于该第二直播画面的分辨率以及显示该虚拟空间的分辨率确定。
该显示单元804,被配置为执行在该虚拟空间的该第一播放窗口中显示该第一直播画面。在该虚拟空间的该至少一个第二播放窗口中显示该至少一个第二直播画面。
在一种可能的实施方式中,该显示单元804,被配置为执行在该虚拟空间上按照目标位置信息配置该第一直播画面对应的第一播放窗口和该至少一个第二直播画面对应的至少一个第二播放窗口,该目标位置信息用于表示该第一直播画面和该至少一个第二直播画面在该主播账号的主播端上的显示位置。在该第一播放窗口中显示该第一直播画面。在该至少一个第二播放窗口中显示该至少一个第二直播画面。
在一种可能的实施方式中,该装置还包括下述任一项:
位置调整单元,被配置为执行响应于对该至少一个第二直播画面中任一第二直播画面的位置调整操作,基于该位置调整操作调整该第二直播画面所在的播放窗口的显示位置。
尺寸调整单元,被配置为执行响应于对该至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于该尺寸调整操作调整该第二直播画面所在的播放窗口的尺寸。
在一种可能的实施方式中,该位置调整单元,被配置为执行响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的拖动操作,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。
在一种可能的实施方式中,该位置调整单元,被配置为执行响应于对该第二直播画面所在的播放窗口的拖动操作,确定该拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口。在该拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在该拖动操作结束的位置上。
在一种可能的实施方式中,该位置调整单元,还被配置为执行下述任一项:
在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在该拖动操作开始的位置上。
在该拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将该第二直播画面所在的播放窗口显示在与该其他第二直播画面所在的播放窗口相邻的位置上。
在一种可能的实施方式中,该尺寸调整单元,被配置为执行下述任一项:
响应于对该至少一个第二直播画面中任一第二直播画面的点击操作,将该第二直播画面设置为激活状态。响应于对该第二直播画面所在的播放窗口的边界的拖动操作,将该第二直播画面所在的播放窗口的边界调整值该拖动操作结束的位置上,以改变该第二直播画面所在的播放窗口的尺寸。
响应于对该至少一个第二直播画面中任一第二直播画面的两次连续点击操作,在该直播界面上对该第二直播画面所在的播放窗口进行放大显示。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
通过本申请实施例提供的技术方案,获取虚拟空间的直播视频流,该直播视频流是主播账号与至少和一个联合直播账号进行联合直播时推送的。对该直播视频流进行解码,得到初始画面。对该初始画面进行分割,得到第一直播画面和至少一个第二直播画面,其中,第一直播画面为主播账号的直播画面,第二直播画面为联合直播账号的直播画面。在虚拟空间的不同播放窗口中显示该第一直播画面以及该至少一个第二直播画面,也即是独立显示该第一直播画面以及第二直播画面,从而避免由于拉伸比例不匹配导致的第二直播画面显示失真的情况,提升直播效果。
在本申请实施例中,电子设备可以实现为观众端,下面对观众端的结构进行说明:
图9是根据一示例性实施例示出的一种观众端的框图,该观众端900可以为用户所使用的观众端。观众端900还可能被称为用户设备、便携式观众端、膝上型观众端、台式观众端等其他名称。
通常,观众端900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,直播画面的显示器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个存储介质,该存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。
在一些实施例中,观众端900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源9013中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选的,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其他观众端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图像、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置观众端900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在观众端900的不同表面或呈折叠设计;在一些实施例中,显示屏905可以是柔性显示屏,设置在观众端900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图像,也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选的,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在观众端的前面板,后置摄像头设置在观众端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其他融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在观众端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位观众端900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为观众端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,观众端900还包括有一个或多个传感器190。该一个或多个传感器190包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以观众端900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测观众端900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对观众端900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在观众端900的侧边框和/或显示屏905的下层。当压力传感器913设置在观众端900的侧边框时,可以检测用户对观众端900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时,由处理器901根据用户对显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置观众端900的正面、背面或侧面。当观众端900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制显示屏905的显示亮度。具体地,当环境光强度较高时,调高显示屏905的显示亮度;当环境光强度较低时,调低显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在观众端900的前面板。接近传感器916用于采集用户与观众端900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与观众端900的正面之间的距离逐渐变小时,由处理器901控制显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与观众端900的正面之间的距离逐渐变大时,由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对观众端900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种包括指令的非易失性计算机可读存储介质,例如包括指令的存储器,上述指令可由观众端900的处理器901完成上述信息显示的方法。可选的,存储介质可以是非临时性存储介质,例如,所述非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,该计算机程序可以由电子设备的处理器执行,以实现上述信息显示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其他实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图像中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (15)
1.一种信息显示的方法,其特征在于,包括:
获取主播账号的虚拟空间的直播视频流,所述虚拟空间包括至少一个联合直播账号,所述联合直播账号为在所述虚拟空间中与所述主播账号连线的用户账号,所述直播视频流是由所述主播账号的第一直播视频流以及所述至少一个联合直播账号的第二直播视频流合成的;
解码所述直播视频流,得到初始画面,所述初始画面包括所述第一直播视频流的第一直播画面和所述第二直播视频流的至少一个第二直播画面;
分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面;
在所述虚拟空间上按照目标位置信息配置所述第一直播画面对应的第一播放窗口和所述至少一个第二直播画面对应的至少一个第二播放窗口,以使得所述第一直播画面和所述第二直播画面在当前观众端上的显示方式与在所述主播账号的主播端上的显示方式相同,所述目标位置信息由所述虚拟空间的直播视频流携带,所述直播视频流包括多个初始画面,每个初始画面对应于一个目标位置信息,所述目标位置信息用于记录对应初始画面的所述第一直播画面和所述至少一个第二直播画面在所述主播账号的主播端上的显示位置;
在所述第一播放窗口中显示所述第一直播画面;在所述至少一个第二播放窗口中显示所述至少一个第二直播画面;其中,所述第一播放窗口是根据所述第一直播画面进行调整,所述第二播放窗口是根据所述第二直播画面进行调整。
2.根据权利要求1所述的信息显示的方法,其特征在于,所述分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面包括:
基于所述直播视频流中的画面位置信息,确定所述第一直播画面在所述初始画面中的第一位置以及所述至少一个第二直播画面在所述初始画面中的第二位置,所述画面位置信息用于记录所述第一直播画面和所述至少一个第二直播画面在合成所述初始画面时的位置;
基于所述第一位置和所述第二位置,从所述初始画面中分割出所述第一直播画面和所述至少一个第二直播画面。
3.根据权利要求1所述的信息显示的方法,其特征在于,所述分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面包括:
将所述初始画面输入画面分割模型;
通过所述画面分割模型对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
4.根据权利要求3所述的信息显示的方法,其特征在于,所述通过所述画面分割模型对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面包括:
通过所述画面分割模型,对所述初始画面进行特征提取,得到所述初始画面的初始特征图;
通过所述画面分割模型,对所述初始画面的初始特征图进行多次池化,得到所述初始画面的多个池化特征图,所述多个池化特征图的尺寸不同;
通过所述画面分割模型,对所述多个池化特征图进行卷积,得到所述初始画面的多个参考特征图;
通过所述画面分割模型,将所述多个参考特征图进行融合,得到所述初始画面的分割特征图;
通过所述画面分割模型,基于所述分割特征图对所述初始画面进行分割,得到所述第一直播画面和所述至少一个第二直播画面。
5.根据权利要求1所述的信息显示的方法,其特征在于,一个所述第二播放窗口中显示有一个所述第二直播画面,所述至少一个第二播放窗口叠加在所述第一播放窗口上,所述第一播放窗口的尺寸大于任一所述第二播放窗口。
6.根据权利要求5所述的信息显示的方法,其特征在于,所述方法还包括:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,放大所述第二直播画面所在的第二播放窗口,缩小所述第一播放窗口;
将所述第一播放窗口和其他第二直播画面所在的第二播放窗口叠加在所述第二直播画面所在的第二播放窗口上。
7.根据权利要求1所述的信息显示的方法,其特征在于,所述方法还包括:
基于第一缩放比例以及所述第一直播画面的尺寸,确定所述第一播放窗口的尺寸,所述第一缩放比例基于所述第一直播画面的分辨率以及显示所述虚拟空间的分辨率确定;
基于第二缩放比例以及所述至少一个第二直播画面的尺寸,确定所述至少一个第二播放窗口的尺寸,所述第二缩放比例基于所述第二直播画面的分辨率以及显示所述虚拟空间的分辨率确定。
8.根据权利要求1所述的信息显示的方法,其特征在于,所述方法还包括下述任一项:
响应于对所述至少一个第二直播画面中任一第二直播画面的位置调整操作,基于所述位置调整操作调整所述第二直播画面所在的播放窗口的显示位置;
响应于对所述至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于所述尺寸调整操作调整所述第二直播画面所在的播放窗口的尺寸。
9.根据权利要求8所述的信息显示的方法,其特征在于,所述响应于对所述至少一个第二直播画面中任一第二直播画面的位置调整操作,基于所述位置调整操作调整所述第二直播画面所在的播放窗口的显示位置包括:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的拖动操作,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
10.根据权利要求9所述的信息显示的方法,其特征在于,所述响应于对所述第二直播画面所在的播放窗口的拖动操作,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上包括:
响应于对所述第二直播画面所在的播放窗口的拖动操作,确定所述拖动操作结束的位置上是否存在其他第二直播画面所在的播放窗口;
在所述拖动操作结束的位置上不存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作结束的位置上。
11.根据权利要求10所述的信息显示的方法,其特征在于,所述方法还包括下述任一项:
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在所述拖动操作开始的位置上;
在所述拖动操作结束的位置上存在其他第二直播画面所在的播放窗口的情况下,将所述第二直播画面所在的播放窗口显示在与所述其他第二直播画面所在的播放窗口相邻的位置上。
12.根据权利要求8所述的信息显示的方法,其特征在于,所述响应于对所述至少一个第二直播画面中任一第二直播画面的尺寸调整操作,基于所述尺寸调整操作调整所述第二直播画面所在的播放窗口的尺寸包括下述任一项:
响应于对所述至少一个第二直播画面中任一第二直播画面的点击操作,将所述第二直播画面设置为激活状态;响应于对所述第二直播画面所在的播放窗口的边界的拖动操作,将所述第二直播画面所在的播放窗口的边界调整至所述拖动操作结束的位置上,以改变所述第二直播画面所在的播放窗口的尺寸;
响应于对所述至少一个第二直播画面中任一第二直播画面的两次连续点击操作,在直播界面上对所述第二直播画面所在的播放窗口进行放大显示。
13.一种信息显示的装置,其特征在于,包括:
直播视频流获取单元,被配置为执行获取主播账号的虚拟空间的直播视频流,所述虚拟空间包括至少一个联合直播账号,所述联合直播账号为在所述虚拟空间中与所述主播账号连线的用户账号,所述直播视频流是由所述主播账号的第一直播视频流以及所述至少一个联合直播账号的第二直播视频流合成的;
解码单元,被配置为执行解码所述直播视频流,得到初始画面,所述初始画面包括所述第一直播视频流的第一直播画面和所述第二直播视频流的至少一个第二直播画面;
分割单元,被配置为执行分割所述初始画面,得到所述第一直播画面和所述至少一个第二直播画面;
显示单元,被配置为执行在所述虚拟空间上按照目标位置信息配置所述第一直播画面对应的第一播放窗口和所述至少一个第二直播画面对应的至少一个第二播放窗口,以使得所述第一直播画面和所述第二直播画面在当前观众端上的显示方式与在所述主播账号的主播端上的显示方式相同,所述目标位置信息由所述虚拟空间的直播视频流携带,所述直播视频流包括多个初始画面,每个初始画面对应于一个目标位置信息,所述目标位置信息用于记录对应初始画面的所述第一直播画面和所述至少一个第二直播画面在所述主播账号的主播端上的显示位置;在所述第一播放窗口中显示所述第一直播画面;在所述至少一个第二播放窗口中显示所述至少一个第二直播画面;其中,所述第一播放窗口是根据所述第一直播画面进行调整,所述第二播放窗口是根据所述第二直播画面进行调整。
14.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行程序代码的存储器;
其中,所述处理器被配置为执行所述程序代码,以实现如权利要求1至12中任一项所述的信息显示的方法。
15.一种非易失性存储介质,当所述存储介质中的程序代码由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至12中任一项所述的信息显示的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210964053.XA CN115334353B (zh) | 2022-08-11 | 2022-08-11 | 信息显示的方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210964053.XA CN115334353B (zh) | 2022-08-11 | 2022-08-11 | 信息显示的方法、装置、电子设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115334353A CN115334353A (zh) | 2022-11-11 |
CN115334353B true CN115334353B (zh) | 2024-03-12 |
Family
ID=83923155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210964053.XA Active CN115334353B (zh) | 2022-08-11 | 2022-08-11 | 信息显示的方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115334353B (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469513A (zh) * | 2013-09-25 | 2015-03-25 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
CN105828214A (zh) * | 2016-03-31 | 2016-08-03 | 徐文波 | 视频直播中互动的实现方法和装置 |
CN106713975A (zh) * | 2016-12-08 | 2017-05-24 | 广州华多网络科技有限公司 | 直播处理方法和装置 |
CN106802759A (zh) * | 2016-12-21 | 2017-06-06 | 华为技术有限公司 | 视频播放的方法及终端设备 |
CN108024123A (zh) * | 2017-11-08 | 2018-05-11 | 北京密境和风科技有限公司 | 一种直播视频处理方法、装置、终端设备及服务器 |
WO2018095129A1 (zh) * | 2016-11-26 | 2018-05-31 | 广州华多网络科技有限公司 | 一种播放直播视频的方法和装置 |
CN108259923A (zh) * | 2017-09-27 | 2018-07-06 | 广州华多网络科技有限公司 | 一种视频直播方法、系统及设备 |
CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种故障检测方法、装置、设备及系统 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN111314720A (zh) * | 2020-01-23 | 2020-06-19 | 网易(杭州)网络有限公司 | 直播连麦控制方法、装置、电子设备及计算机可读介质 |
CN111541930A (zh) * | 2020-04-27 | 2020-08-14 | 广州酷狗计算机科技有限公司 | 直播画面的显示方法、装置、终端及存储介质 |
CN111711833A (zh) * | 2020-07-28 | 2020-09-25 | 广州华多网络科技有限公司 | 直播视频流推送控制方法、装置、设备及存储介质 |
CN112616089A (zh) * | 2020-11-27 | 2021-04-06 | 深圳点猫科技有限公司 | 一种网课直播拼接推流方法、系统及介质 |
CN113038220A (zh) * | 2019-12-25 | 2021-06-25 | 中国电信股份有限公司 | 导播方法、导播系统、导播装置及计算机可读存储介质 |
CN113050847A (zh) * | 2021-04-22 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 直播互动方法、装置、设备、系统及计算机可读存储介质 |
CN113115119A (zh) * | 2021-04-02 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 视频流处理方法、装置及存储介质 |
CN113794893A (zh) * | 2021-08-11 | 2021-12-14 | 广州方硅信息技术有限公司 | 全景视频直播连麦的显示处理方法、电子设备及存储介质 |
WO2022089028A1 (zh) * | 2020-10-26 | 2022-05-05 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、设备和存储介质 |
CN114449303A (zh) * | 2022-01-26 | 2022-05-06 | 广州繁星互娱信息科技有限公司 | 直播画面生成方法和装置、存储介质及电子装置 |
WO2022110591A1 (zh) * | 2020-11-27 | 2022-06-02 | 广州华多网络科技有限公司 | 基于连麦直播的直播画面处理方法、装置及电子设备 |
-
2022
- 2022-08-11 CN CN202210964053.XA patent/CN115334353B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469513A (zh) * | 2013-09-25 | 2015-03-25 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
CN105828214A (zh) * | 2016-03-31 | 2016-08-03 | 徐文波 | 视频直播中互动的实现方法和装置 |
WO2018095129A1 (zh) * | 2016-11-26 | 2018-05-31 | 广州华多网络科技有限公司 | 一种播放直播视频的方法和装置 |
CN106713975A (zh) * | 2016-12-08 | 2017-05-24 | 广州华多网络科技有限公司 | 直播处理方法和装置 |
CN106802759A (zh) * | 2016-12-21 | 2017-06-06 | 华为技术有限公司 | 视频播放的方法及终端设备 |
CN108259923A (zh) * | 2017-09-27 | 2018-07-06 | 广州华多网络科技有限公司 | 一种视频直播方法、系统及设备 |
CN108024123A (zh) * | 2017-11-08 | 2018-05-11 | 北京密境和风科技有限公司 | 一种直播视频处理方法、装置、终端设备及服务器 |
CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种故障检测方法、装置、设备及系统 |
CN113038220A (zh) * | 2019-12-25 | 2021-06-25 | 中国电信股份有限公司 | 导播方法、导播系统、导播装置及计算机可读存储介质 |
CN111314720A (zh) * | 2020-01-23 | 2020-06-19 | 网易(杭州)网络有限公司 | 直播连麦控制方法、装置、电子设备及计算机可读介质 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN111541930A (zh) * | 2020-04-27 | 2020-08-14 | 广州酷狗计算机科技有限公司 | 直播画面的显示方法、装置、终端及存储介质 |
CN111711833A (zh) * | 2020-07-28 | 2020-09-25 | 广州华多网络科技有限公司 | 直播视频流推送控制方法、装置、设备及存储介质 |
WO2022089028A1 (zh) * | 2020-10-26 | 2022-05-05 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、设备和存储介质 |
CN112616089A (zh) * | 2020-11-27 | 2021-04-06 | 深圳点猫科技有限公司 | 一种网课直播拼接推流方法、系统及介质 |
WO2022110591A1 (zh) * | 2020-11-27 | 2022-06-02 | 广州华多网络科技有限公司 | 基于连麦直播的直播画面处理方法、装置及电子设备 |
CN113115119A (zh) * | 2021-04-02 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 视频流处理方法、装置及存储介质 |
CN113050847A (zh) * | 2021-04-22 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 直播互动方法、装置、设备、系统及计算机可读存储介质 |
CN113794893A (zh) * | 2021-08-11 | 2021-12-14 | 广州方硅信息技术有限公司 | 全景视频直播连麦的显示处理方法、电子设备及存储介质 |
CN114449303A (zh) * | 2022-01-26 | 2022-05-06 | 广州繁星互娱信息科技有限公司 | 直播画面生成方法和装置、存储介质及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115334353A (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020253096A1 (zh) | 视频合成的方法、装置、终端及存储介质 | |
CN109191549B (zh) | 显示动画的方法及装置 | |
CN108093268B (zh) | 进行直播的方法和装置 | |
CN111464830B (zh) | 图像显示的方法、装置、系统、设备及存储介质 | |
CN112118477B (zh) | 虚拟礼物展示方法、装置、设备以及存储介质 | |
CN108897597B (zh) | 指导配置直播模板的方法和装置 | |
EP4020996A1 (en) | Interactive data playing method and electronic device | |
CN112929687A (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
CN110533585B (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
CN113395566B (zh) | 视频播放方法、装置、电子设备及计算机可读存储介质 | |
CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN109451248B (zh) | 视频数据的处理方法、装置、终端及存储介质 | |
CN110750734A (zh) | 天气显示方法、装置、计算机设备及计算机可读存储介质 | |
CN111586444B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
CN110958464A (zh) | 直播数据处理方法、装置、服务器、终端及存储介质 | |
CN111447389A (zh) | 视频生成方法、装置、终端及存储介质 | |
CN110503159B (zh) | 文字识别方法、装置、设备及介质 | |
CN111083554A (zh) | 直播礼物显示的方法和装置 | |
CN111083513A (zh) | 直播画面处理方法、装置、终端及计算机可读存储介质 | |
CN112822544B (zh) | 视频素材文件生成方法、视频合成方法、设备及介质 | |
CN111954058B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN111010588B (zh) | 直播处理方法、装置、存储介质及设备 | |
CN111294551B (zh) | 进行音视频传输的方法、装置、设备及存储介质 | |
CN112419143A (zh) | 图像处理方法、特效参数设置方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |