CN113794893A - 全景视频直播连麦的显示处理方法、电子设备及存储介质 - Google Patents
全景视频直播连麦的显示处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113794893A CN113794893A CN202110921245.8A CN202110921245A CN113794893A CN 113794893 A CN113794893 A CN 113794893A CN 202110921245 A CN202110921245 A CN 202110921245A CN 113794893 A CN113794893 A CN 113794893A
- Authority
- CN
- China
- Prior art keywords
- live
- panoramic video
- display
- live broadcast
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 241000209140 Triticum Species 0.000 claims abstract description 18
- 235000021307 Triticum Nutrition 0.000 claims abstract description 18
- 238000005111 flow chemistry technique Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 16
- 230000003993 interaction Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了全景视频直播连麦的显示处理方法、电子设备及存储介质。其中，全景视频直播连麦的显示处理方法包括显示对至少两个全景视频流进行混流处理后对应的直播界面；在直播界面显示至少两个全景视频流各自对应的直播画面；响应于漫游操作指令，对直播界面显示的直播画面中的至少一者进行与漫游操作指令相对应的漫游显示。通过上述方式，本申请能够有效地实现全景视频连麦的显示交互，提升交互效果。
Description
技术领域
本申请涉及直播技术领域，特别是涉及全景视频直播连麦的显示处理方法、电子设备及存储介质。
背景技术
随着智能设备的普及以及通信技术的发展，社会进入了智能互联的时代。网络通信速度越来越快，人们能够方便地使用智能设备畅游网络。直播技术的出现，丰富了智能设备的使用场景，人们可以随时随地观看直播或者进行直播，进而也丰富了人们的生活。
目前的直播技术，一般仅支持使用2D视频进行连麦，主播为了向观众展示更丰富的直播场景，一般会使用广角摄像头，以便于能够将环境场景展现在屏幕中。但目前的直播技术中的视频连麦交互效果较差。
发明内容
本申请主要解决的技术问题是提供全景视频直播连麦的显示处理方法、电子设备及存储介质，能够实现全景视频连麦，提升交互效果。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种全景视频直播连麦的显示处理方法，包括：显示对至少两个全景视频流进行混流处理后对应的直播界面；在直播界面显示至少两个全景视频流各自对应的直播画面；响应于漫游操作指令，对直播界面显示的直播画面中的至少一者进行与漫游操作指令相对应的漫游显示。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括处理器、通信电路、显示屏以及存储器，通信电路、显示屏和存储器分别耦接处理器，通信电路用于与其他设备通信连接，显示屏用于显示直播界面，存储器存储计算机程序，处理器用于执行计算机程序，以实现上述的全景视频直播连麦的显示处理方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读的存储介质，存储有计算机程序，计算机程序能够被处理器执行以实现上述的全景视频直播连麦的显示处理方法。
本申请的有益效果是：区别于现有技术的情况，本申请通过在直播连麦过程中显示对至少两个全景视频流进行混流处理后对应的直播界面，在直播界面显示该至少两个全景视频流各自对应的直播画面，如此可以实现全景视频直播连麦，而且通过漫游操作指令能够对直播界面显示的直播画面中的至少一者进行与漫游操作指令相对应的漫游显示，如此可以有效地实现全景视频连麦的交互功能，进而对全景视频流的直播画面进行良好的漫游显示，实现较好的显示效果。用户可以对直播画面进行漫游交互，使得直播画面随着操作漫游指令进行变化，如此本申请既便于用户的使用和观看，提升直播的观看便利性，又增加了直播连麦的交互功能。
附图说明
图1是本申请全景视频直播连麦的显示处理方法实施例的直播系统的示意框图；
图2是本申请全景视频直播连麦的显示处理方法实施例的流程示意图；
图3是本申请全景视频直播连麦的显示处理方法实施例的电子设备的第一界面示意图；
图4是本申请全景视频直播连麦的显示处理方法实施例的电子设备的第二界面示意图；
图5是本申请全景视频直播连麦的显示处理方法实施例的电子设备的第三界面示意图；
图6是本申请电子设备第一实施例的结构示意框图；
图7是本申请具有计算机可读的存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的发明人经过长期研究发现，在直播中，2D视频直播连麦无法让用户体验到沉浸式的观看体验，而且2D视频的直播画面的显示效果以及交互功能较为单一，连麦过程会比较单调，进而使得视频画面的吸引力在用户观看直播的过程中所占比重不高，交互效果差。为了改善或解决以上技术问题，本申请提出至少如下实施例。
参阅图1，如下实施例可以应用于直播系统1。如下是直播系统1的示例性介绍，直播系统1例如至少包括多个观众端20、主播端30和服务器10。观众端20和主播端30可以为电子设备，具体可以是移动终端、计算机、服务器或者其他终端等，移动端可以是手机、笔记本电脑、平板电脑、智能可穿戴设备等，计算机可以是台式电脑等。服务器10可以从主播端30中进行对直播数据流拉流，并将获取的直播数据流推流到观众端20以及至少部分推流到主播端30，直播数据流可以包括视频流数据、文字图片数据等。观众端20获取到直播数据流后即可观看主播或者嘉宾的直播过程。主播端30和主播端30之间、主播端30和观众端20之间可以进行连麦，例如视频连麦或者语音连麦。
可选地，服务器10可以执行直播数据流的混流处理。服务器10从主播端30获取到直播数据流后，对直播数据流进行混流处理，将混流处理后的数据流推送至主播端30以及观众端20。
可选地，主播端30可以执行直播数据流的混流处理。服务器10将其他连麦的主播端30发送的直播数据流发送给执行混流的主播端30，该主播端30对直播数据流进行混流处理后，将混流处理后的数据流发送给服务器10。服务器10将混流处理后的数据流推送给其他连麦的主播端30以及相关的观众端20。
可选地，主播端30和观众端20同时执行直播数据流的混流处理。服务器10获取连麦的主播端30的直播数据流，将其他主播端30的直播数据流发送给当前主播端30，由该主播端30对直播数据流进行混流处理。服务器10同时将主播端30的直播数据流推送给观众端20，观众端20对直播数据流进行混流处理。
参阅图3，对于视频连麦而言，在相应的直播间可以显示混流处理后对应的直播界面100，该直播界面100可以显示多个画面区110，多个画面区110可以显示各连麦方的视频直播画面。用户在其观众端20上进入主播的直播间，可以观看到主播的视频连麦的直播画面以及直播过程。在直播系统1中，视频直播连麦可以是全景视频直播连麦，视频流数据可以包括全景视频流数据。本申请的实施例还可以应用于其他类型的直播系统1中，不限于上述的示例性介绍。
本申请全景视频直播连麦的显示处理方法实施例包括：
S100：显示对至少两个全景视频流进行混流处理后对应的直播界面。
以主播之间的视频连麦为例，连麦的主播端30可以通过各自的全景相机或者全景摄像头等采集各自的全景视频流，并推流至服务器10。服务器10可以对全景视频流进行混流处理后发送给主播端30和观众端20，也可以由观众端20和主播端30各自进行混流处理，还可以由主播端30进行混流处理后发给服务器10，服务器再将混流处理后的数据流推流至观众端20。对于观众端20而言可以获取到各连麦方的全景视频流并进行混流，也可以接收到将至少两个全景视频流混流处理后的数据流。全景视频流可以在观众端20和主播端30呈现出全景视频画面，也即3D视频画面。当然，主播和观众之间的视频连麦也是同样的方式。
基于以上所述，对于混流处理的内容可以如下在步骤S100之前的步骤：
S110：获取至少两个全景视频流。
对于观众端30而言，其可以获取到至少两个连麦方各自对应的至少两个全景视频流。
S111：对至少两个全景视频流进行混流处理。
接收到该至少两个全景视频流后可以进行混流处理形成数据流，并在显示界面上显示该数据流对应的直播界面。
除了S110和S111所描述的情况外，也可以直接获取到经混流处理后的数据流。具体如下：
S120：获取对所述至少全景视频流进行混流处理后所形成的数据流。
对于观众端30而言，其可以接收到经服务器10对至少两个全景视频流混流处理后形成的数据流，也可以接收经服务器10转发的由主播端30对至少两个全景视频流混流处理后形成的数据流。观众端30的显示界面上可以显示混流处理后的数据流对应的直播界面。
S200：在直播界面显示至少两个全景视频流各自对应的直播画面。
直播界面100例如是指直播间展示直播过程的画面。在获取到至少两个全景视频流后，可以在相应的画面区110显示出各全景视频流各自对应的直播画面。以三个主播进行视频连麦为例，其中至少两个主播是以全景视频的方式进行直播，那么观众端20可以获取到至少两个全景视频流。对于视频直播连麦而言，各连麦方均是以全景视频的方式进行直播，也可以是部分连麦方是以全景视频的方式进行直播，而另一部分连麦方是以普通视频的方式进行直播。当然，视频直播连麦兼容语音直播连麦，允许部分连麦方以语音的方式参与至其他连麦方的视频连麦中。
全景视频流也即全景视频流数据，在直播界面上显示后呈现出的直播画面是3D视频画面，是可以切换视角的。全景视频的直播画面可以具有全景视角和方位视角。全景视角是指从全局角度去呈现所有角度或者方位的画面，例如以球状的形态。方位视角是指可以从某一具体的方位或者角度去呈现该方位或者角度的画面。全景视角可以切换到某一方位视角，某一方位视角也可以切换到另一方位视角。
可选地，直播界面上的画面区110可以包括第一画面区111和第二画面区112。直播界面显示的直播画面可以在第一画面区111和第二画面区112内分开显示，具体可以通过步骤S200包括的如下步骤实现。
S210：在直播界面的第一画面区显示至少其中一个全景视频流对应的直播画面，在直播界面的第二画面区显示其余全景视频流对应的直播画面。
多个全景视频流对应的直播画面中的至少其中一个显示在第一画面区111，其余显示在第二画面区112。当然，如果视频直播连麦过程中，除了包括全景视频流，还包括普通视频流。普通视频流对应的直播画面可以显示在第二画面区112。通过将多个全景视频流对应的直播画面进行分区显示，减少各直播画面之间的相互干扰，能够提升显示效果，进而提升直播效果。
可选地，第一画面区111的尺寸大于第二画面区112的尺寸。第一画面区111和第二画面区112可以间隔设置，或者第二画面区112可以悬浮于第二画面区112上。可选地，第二画面区112可以包括至少一个显示窗口。显示窗口的数量与连麦方的数量有关系。例如，五个主播进行全景视频直播连麦，其中一个直播画面显示在第一画面区111，其余四个显示在第二画面区112，第二画面区112的显示窗口的数量则可以为四个。各显示窗口之间间隔设置。由于第一画面区111的尺寸大于第二画面区112的尺寸，则第一画面区111相当于主画面区，第二画面区112相当于副画面区，实现主副(主次)区分。第一画面区111、第二画面区112以及显示窗口的形状、具体尺寸不做具体限定。
可选地，第二画面区112与第一画面区111区间隔设置，那么第二画面区112的各显示窗口可以间隔设置第一画面区111的外周，且邻近第一画面区111的边缘。
可选地，第二画面区112与第一画面区111悬浮设置，那么第二画面区112的各显示窗口可以悬浮于第一画面区111内，且紧邻第一画面区的边缘。
基于上述描述，步骤S210可以包括如下步骤：
S211：在与第一画面区间隔设置或悬浮于第一画面区上，且尺寸小于第一画面区的第二画面区显示其余全景视频流对应的直播画面。
通过设置第一画面区111的尺寸大于第二画面区112，并且第二画面区112和第一画面区111间隔设置或者悬浮于第一画面区111上，可以突出第一画面区111和第二画面区112的主副关系，能够更大更好地呈现第一画面区111的直播画面，便于用户观看到第一画面区111的直播画面，突出显示重点，提升显示效果。
S212：在第二画面区的各显示窗口至少一一对应显示其余全景视频流对应的直播画面。
各显示窗口的数量可以大于或者等于其余全景视频流对应的直播画面的数量。若各显示窗口的数量等于其余全景视频流对应的直播画面的数量，则在第一画面区111的各显示窗口一一对应显示其余全景视频流对应的直播画面。若各显示窗口的数量大于其余全景视频流对应的直播画面的数量，则其余全景视频流对应的直播画面各自对应显示在一个显示窗口外，剩余的显示窗口可以用于显示普通视频流的直播画面或者语音连麦方的图案，语音连麦方的图案例如为头像或者其他标识符号等。如此就能够实现，在第二画面区112的各显示窗口至少一一对应显示其余全景视频流对应的直播画面。
通过在第二画面区112的各显示窗口至少意义对应显示其余全景视频对应的直播画面，可以减少其余全景视频对应的直播画面之间的相互干扰，以及便于区分各连麦方，进而便于进行礼物交互、沟通等，也便于对第一画面区111和第二画面区112之间的直播画面进行切换操作，进而实现切换显示。
在直播界面上显示的全景视频的直播画面可以使用VR设备实现VR显示，也可以直接使用电子设备的屏幕实现直接显示。对于两者不同的显示模式，具体可以通过步骤S200包括的如下步骤实现。
S221：检测当前的显示模式。
例如，通过检测是否连接VR设备来确定当前的显示模式，若没有连接VR设备，则当前的显示模式为直接显示模式。若连接有VR设备，则当前显示模式为VR显示模式。
当然，显示模式也可以通过相关操作确定，比如直播界面上显示有相关按钮，通过点击按钮来切换当前的显示模式，进而可以读取相关的数据检测出当前的显示模式。
S222：若当前的显示模式为直接显示模式，则将所述至少两个全景视频流各自的直播画面进行直接渲染显示。
若检测出当前的显示模式为直接显示模式，则可以通过电子设备的屏幕直接将至少两个全景视频流各自的直播画面直接渲染显示。如此，第一画面区111的数量以及第二画面区112的数量可以各为一个，第二画面区112的显示窗口的数量可以根据连麦方数量进行确定，直接显示在直播界面。
S223：若当前的显示模式为VR显示模式，则将所述至少两个全景视频流各自的直播画面渲染成对应于左右眼的左右画面进行显示。
若检测出当前的显示模式为VR显示模式，将至少两个全景视频流各自的直播画面渲染成对应于左右眼的左右画面进行显示。如此，左右画面可以在左右眼造成视觉差，进而形成空间感或者3D视觉。
具体地，将第一画面区111和第二画面区112各分为左右画面进行显示。例如左画面渲染出一个第一画面区111和第二画面区112的三个显示窗口，那么右画面也渲染出一个第一画面区111和第二画面区112的三个显示窗口，左画面和右画面分别对应左右眼，由于VR设备自身特性使得左右画面进行合成实现3D虚拟显示的效果。
VR设备可以自带显示屏幕，也可以使用电子设备的屏幕作为显示屏幕。若VR设备可以自带显示屏幕，则可以在VR设备的自带屏幕上渲染左右画面。若VR设备通过电子设备的屏幕进行显示，则可以在电子设备的屏幕上渲染左右画面。
可选地，第一画面区111和第二画面区112的直播画面可以切换显示。具体可以在步骤S200之后通过如下步骤实现。
S230：响应于画面切换指令，将第二画面区显示的且与画面切换指令对应的直播画面与第一画面区当前显示的直播画面进行切换显示。
将第二画面区112显示的直播画面与所述第一画面区111当前显示的直播画面进行切换显示，也即第一画面区111当前显示的直播画面会在第二画面区112显示，而第一画面区111则显示从第二画面区112切换过来的直播画面。简而言之，将两个直播画面的显示位置在第一画面区111和第二画面区112进行对调。具体地，可以将第二画面区112的显示窗口显示的直播画面和第一画面区111当前显示的直播画面进行切换显示。
画面切换指令可以是由电子设备自动生成的，例如按照预定时间间隔生成画面切换指令，实现第一画面区111的直播画面和第二画面区112的直播画面的切换显示。
画面切换指令也可以由用户通过相应的操作而形成的。
在直接显示模式下，电子设备可以接收通过对屏幕的触控操作、陀螺仪的转动操作、预设按键的点击操作、手势操作和语音识别操作中的至少一者所输入的画面切换指令。
例如，可以通过直接点击屏幕上所显示的第二画面区112的某直播画面，即可将该直播画面切换至第一画面区111显示。
例如，通过电子设备的物理按键或者虚拟按钮的点击操作，比如音量按键、电源按键或者屏幕上的虚拟按钮等，实现画面切换指令的输入。
例如，通过电子设备的麦克风实现语音输入，通过语音识别实现画面切换指令的输入。
例如，通过电子设备的转动操作，利用陀螺仪产生方位和重力感应实现画面切换指令的输入等。
在VR显示模式下，电子设备可以接收通过对VR设备的按键点击操作、陀螺仪转动操作、手势操作和语音识别操作中的至少一者所输入的画面切换指令。
例如，VR设备提供物理按键，比如手柄之类的设备，可以通过物理按键输入画面切换指令。
例如，VR设备可以构造虚拟射线和虚拟按键，在用户佩戴VR设备后，射线可由手柄或者头盔对应的虚拟世界位置发出，通过转动头部或者移动手柄，调整射线的指向，将虚拟射线指向虚拟按键，保持一定时长(例如1-3秒)不动或者按动头盔或手柄或其他设备上的物理按键，则触发画面切换指令。
例如，VR设备或者电子设备可以通过传感器控制，比如陀螺仪，设置特定动作对应特定指令，比如上下快速点头两次、左右快速摇头两次、跳一跳等，触发画面切换指令。
例如，VR设备通过其设置有的摄像头采集画面，进行手势识别输入画面切换指令，或者通过手势识别与虚拟菜单互动实现输入画面切换指令。
例如，VR设备通过其设置有的麦克风，采集音频，通过语音识别实现画面切换指令的输入。
S300：响应于漫游操作指令，对直播界面显示的直播画面中的至少一者进行与漫游操作指令相对应的漫游显示。
电子设备或者VR设备可以自动生成漫游操作指令，或者服务器可以发送漫游操作指令，或者用户可以通过对电子设备或者VR设备进行相应的操作输入漫游操作指令。
响应于漫游操作指令，对至少两个全景视频流中的至少一者按照漫游操作指令进行相应的漫游显示。漫游显示的过程中，直播画面的视角则相应地改变，进而可以切换直播画面的内容。
对于漫游操作指令的生成有多种方式，在步骤S300之前可以通过一下步骤实现：
S301：在直接显示模式下，接收通过对屏幕的触控操作、陀螺仪的转动操作、预设按键的点击操作、手势操作和语音识别操作中的至少一者所输入的漫游操作指令。
S302：在VR显示模式下，接收通过对VR设备的按键点击操作、陀螺仪转动操作、手势操作和语音识别操作中的至少一者所输入的漫游操作指令。
通过获取至少两个全景视频流，并在直播界面上显示相应的直播画面，进而直播画面中的至少其中一者进行与漫游操作指令相对应的漫游显示，有效地在直播中实现全景视频连麦，而且对直播画面中的至少一者通过漫游操作指令实现相应的漫游显示，使得用户实现沉浸式的体验，能够在直播画面中观看到更多的直播画面细节，而且漫游显示能够增强直播的交互功能，提升交互体验，进而实现良好的显示效果。而且基于全景视频连麦，提升用户观看的便捷性和内容丰富性。
基于上述第一画面区111和第二画面区112的描述，步骤S300可以包括如下步骤：
S310：对第一画面区显示的直播画面进行与漫游操作指令相对应的漫游显示。
将至少两个全景视频流的直播画面在第一画面区111和第二画面区112分开显示，对第一画面区111的直播画面进行与漫游操作指令相对应的漫游显示，进而能够精准地对第一画面区111进行漫游显示。可选地，第一画面区111的尺寸大于第二画面区112的尺寸，形成主副层次。第一画面区往往是用户想要观看的连麦方，例如某主播，进而对尺寸较大的第一画面区111进行漫游显示，可以便于用户操作和观看，提升观看的便捷性，突出第一画面区111的显示优先级，提升显示效果。而且，对第一画面区111显示的直播画面进行漫游显示，可以不干扰到第二画面区112的直播画面，进而可以提升漫游显示的显示效果。
在直接显示模式下，可以通过如下方式实现漫游操作指令的输入：
例如，用户可以滑动屏幕上所显示的第一画面区111的某直播画面，进而改变该直播画面的观看视角，进而实现该直播画面的漫游显示。
例如，通过电子设备的物理按键或者虚拟按钮的点击操作，比如音量按键、电源按键或者屏幕上的虚拟按钮等，实现画面切换指令的输入。
例如，通过电子设备的麦克风实现语音输入，通过语音识别实现漫游操作指令的输入。
例如，通过电子设备的转动操作，利用陀螺仪产生方位和重力感应实现漫游操作指令的输入等。
在VR显示模式下，可以通过如下方式实现漫游操作指令的输入：
例如，VR设备提供物理按键，比如手柄之类的设备，可以通过物理按键输入漫游操作指令。
例如，VR设备可以构造虚拟射线和虚拟按键，在用户佩戴VR设备后，射线可由手柄或者头盔对应的虚拟世界位置发出，通过转动头部或者移动手柄，调整射线的指向，将虚拟射线指向虚拟按键(虚拟按键例如分左右上下按键)，通过射线指向相应的按键则触发相应的漫游操作指令。
例如，VR设备或者电子设备可以通过传感器控制，比如陀螺仪，设置特定动作对应特定指令，比如左右晃动、移动或者倾斜等，触发漫游操作指令。
例如，VR设备设置有摄像头，通过摄像头采集画面进行手势识别输入漫游指令，或者通过手势识别与虚拟菜单互动实现输入画面切换指令。
例如，VR设备设置有的麦克风，通过麦克风采集音频，通过语音识别实现漫游操作指令的输入。
可选地，在第一画面区111的直播画面进行与漫游操作指令相应漫游显示，而第二画面区112的直播画面不进行漫游显示，如此可以着重对第一画面区111进行漫游显示，突出显示，提升显示效果，也可以减少全部直播画面进行漫游显示对用户观看造成缭乱的感觉。
不对第二画面区112的直播画面进行漫游显示，但可以对其视角进行相应的设置，具体可以通过步骤S210包括的如下步骤实现。
S213：将其余所述全景视频流各自的一个视角对应的直播画面分别显示在第二画面区。
具体地，除了第一画面区111对应的全景视频流之外的其余全景视频流各自选定一个初始的视角，进而以该初始的视角对应的直播画面显示在第二画面区112。可选地，初始的视角可以随机确定。在第二画面区112中各全景视频流各自初始的视角可以相同，也可以不同。初始的视角可以是全景视角，也可以是某个方位视角。
通过在第二画面区112中显示其余全景视频流各自的一个视角对应的直播画面，可以使得第二画面区112不受第一画面区111进行漫游显示的影响，进而提升漫游显示的显示效果，如此也可以缓解设备的处理压力。
第二画面区112内显示的全景视频流的直播画面的视角可以在直播过程中发生变化，具体地可以在步骤S213之后的如下步骤实现。
S214：按预设时间间隔自动切换其余所述全景视频流中至少一者在所述第二画面区内呈现的视角，以相应将切换后的视角对应的直播画面显示在第二画面区。
在第二画面区112无法进行漫游显示的前提下，可以将第二画面区112的直播画面切换显示至第一画面区111进行漫游显示。除此之外，为了增加第二画面区112的显示的丰富性和增强显示功能以及交互功能，第二画面区112中全景视频流对应的直播画面的视角可以按照预设时间间隔自动切换。视角间隔例如5分钟、10分钟或者20分钟等。预设时间间隔可以由电子设备自动设定，或者由用户自行设定。
例如，第二画面区112中某显示窗口显示的直播画面，初始的视角为全景视角，5分钟后切换为第一方位视角，再过5分钟从第一方位视角切换至第二方位视角，……。
通过设置第二画面区112内的全景视频流的视角可以按照时间间隔切换，可以使得直播过程更加丰富、趣味性更强，而且能够进一步增强交互功能，提升显示效果。如此，既可以不干扰第一画面区111的漫游显示，又能够使得第二画面区112的视角不固化而变得灵动，弥补了第二画面区112无法漫游显示所导致交互功能较差的问题，在漫游显示和设备处理能力上取得了较好的平衡。
上述所提及的电子设备，可以参照下述本申请电子设备实施例。
参阅图6，本申请电子设备实施例描述的电子设备包括处理器211，通信电路212、显示屏213以及存储器214。通信电路212、显示屏213和存储器214分别耦接处理器211。其中处理器211用于执行计算机程序以实现如上述本申请全景视频直播连麦的显示处理方法实施例描述的全景视频直播连麦的显示处理方法。
通信电路212用于本实施例电子设备与外部设备通信，电子设备可以通过通信电路212将数据发送给外部设备或者接收外部设备的数据。显示屏213用于实现直播间虚拟礼物交互的过程。存储器214用于存储程序数据，可以是RAM，也是可以ROM，或者其他类型的存储设备。
处理器211用于控制电子设备的操作，处理器211还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器211可能是一种集成电路芯片，具有信号的处理能力。处理器211还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器211也可以是任何常规的处理器等。
在本申请所提供的几个实施例中，应该理解到，所揭露的电子设备和全景视频直播连麦的显示处理方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
参阅图7，上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读的存储介质220中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令(计算机程序)用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
关于计算机可读的存储介质中的计算机程序的执行过程的阐述可以参照上述本申请全景视频直播连麦的显示处理方法实施例中阐述，在此不再赘述。
综上所述，上述实施例通过在直播过程中获取至少两个全景视频流，并在直播界面中显示出直播画面，进而对其中至少一个直播画面进行漫游显示，有效地实现全景视频直播连麦，并且能够增强直播的交互性，提升显示效果，丰富显示内容，丰富直播功能。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种全景视频直播连麦的显示处理方法，其特征在于，包括：
显示对至少两个全景视频流进行混流处理后对应的直播界面；
在所述直播界面显示所述至少两个全景视频流各自对应的直播画面；
响应于漫游操作指令，对所述直播界面显示的所述直播画面中的至少一者进行与所述漫游操作指令相对应的漫游显示。
2.根据权利要求1所述的显示处理方法，其特征在于，所述在直播界面上显示所述至少两个全景视频流各自对应的直播画面，包括：
在所述直播界面的第一画面区显示至少其中一个所述全景视频流对应的直播画面，在所述直播界面的第二画面区显示其余所述全景视频流对应的直播画面；
所述对所述直播界面上显示的所述直播画面中的至少一者进行与所述漫游操作指令相对应的漫游显示，包括：
对所述第一画面区显示的直播画面进行与所述漫游操作指令相对应的漫游显示。
3.根据权利要求2所述的显示处理方法，其特征在于，所述在所述直播界面的第一画面区显示至少其中一个所述全景视频流对应的直播画面，在所述直播界面的第二画面区显示其余所述全景视频流对应的直播画面之后，包括：
响应于画面切换指令，将所述第二画面区显示的且与所述画面切换指令对应的直播画面与所述第一画面区当前显示的直播画面进行切换显示。
4.根据权利要求2所述的显示处理方法，其特征在于，所述在所述直播界面的第二画面区显示其余所述全景视频流对应的直播画面，包括：
在与所述第一画面区间隔设置或悬浮于第一画面区上，且尺寸小于所述第一画面区的第二画面区显示其余所述全景视频流对应的直播画面。
5.根据权利要求2所述的显示处理方法，其特征在于，所述在所述直播界面的第二画面区显示其余所述全景视频流对应的直播画面，包括：
在所述第二画面区的各显示窗口一一对应显示其余所述全景视频流对应的直播画面。
6.根据权利要求2所述的显示处理方法，其特征在于，所述在所述直播界面的第二画面区显示其余所述全景视频流对应的直播画面，包括：
将其余所述全景视频流各自的一个视角对应的直播画面分别显示在所述第二画面区。
7.根据权利要求6所述的显示处理方法，其特征在于，所述将其余所述全景视频流各自的一个视角对应的直播画面分别显示在所述第二画面区，包括：
按预设时间间隔自动切换其余所述全景视频流中至少一者在所述第二画面区内呈现的视角，以相应将切换后的视角对应的直播画面显示在第二画面区。
8.根据权利要求1所述的显示处理方法，其特征在于，所述在直播界面显示所述至少两个全景视频流各自对应的直播画面，包括：
检测当前的显示模式；
若当前的显示模式为直接显示模式，则将所述至少两个全景视频流各自的直播画面进行直接渲染显示；
若当前的显示模式为VR显示模式，则将所述至少两个全景视频流各自的直播画面渲染成对应于左右眼的左右画面进行显示。
9.根据权利要求8所述的显示处理方法，其特征在于，在所述响应漫游操作指令，对所述直播界面显示的所述直播画面中的至少一者进行与所述漫游操作指令相对应的漫游显示之前，包括：
在所述直接显示模式下，接收通过对屏幕的触控操作、陀螺仪的转动操作、预设按键的点击操作、手势操作和语音识别操作中的至少一者所输入的所述漫游操作指令；
在所述VR显示模式下，接收通过对VR设备的按键点击操作、陀螺仪转动操作、手势操作和语音识别操作中的至少一者所输入的所述漫游操作指令。
10.根据权利要求1所述的显示处理方法，其特征在于，在所述显示对至少两个全景视频流进行混流处理后对应的直播界面之前，包括：
获取所述至少两个全景视频流；
对所述至少两个全景视频流进行混流处理；
或者，
获取对所述至少全景视频流进行混流处理后所形成的数据流。
11.一种电子终端，其特征在于，包括处理器、通信电路、显示屏以及存储器，所述通信电路、所述显示屏和所述存储器分别耦接所述处理器，所述通信电路用于与其他终端通信连接，所述显示屏用于显示直播界面，所述存储器存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-10任一项所述的显示处理方法。
12.一种计算机可读的存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-10任一项所述的显示处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921245.8A CN113794893A (zh) | 2021-08-11 | 2021-08-11 | 全景视频直播连麦的显示处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921245.8A CN113794893A (zh) | 2021-08-11 | 2021-08-11 | 全景视频直播连麦的显示处理方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113794893A true CN113794893A (zh) | 2021-12-14 |
Family
ID=78875888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110921245.8A Pending CN113794893A (zh) | 2021-08-11 | 2021-08-11 | 全景视频直播连麦的显示处理方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113794893A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115134620A (zh) * | 2022-06-30 | 2022-09-30 | 广州方硅信息技术有限公司 | 连麦直播下的画面显示方法、装置及电子设备 |
| CN115134625A (zh) * | 2022-06-30 | 2022-09-30 | 广州方硅信息技术有限公司 | 连麦直播下的游戏数据显示方法、装置及电子设备 |
| CN115334353A (zh) * | 2022-08-11 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 信息显示的方法、装置、电子设备以及存储介质 |
| CN117714802A (zh) * | 2023-12-15 | 2024-03-15 | 杭州无忧数字信息科技有限公司 | 一种网络直播智能机器人系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259923A (zh) * | 2017-09-27 | 2018-07-06 | 广州华多网络科技有限公司 | 一种视频直播方法、系统及设备 |
| CN109361856A (zh) * | 2018-10-26 | 2019-02-19 | 广州虎牙信息科技有限公司 | 一种全景直播方法、装置、终端设备及存储介质 |
| TW202001739A (zh) * | 2018-06-14 | 2020-01-01 | 銳比數位科技有限公司 | 虛擬實境互動式賣場之管理系統及購物方法 |
| CN111314720A (zh) * | 2020-01-23 | 2020-06-19 | 网易（杭州）网络有限公司 | 直播连麦控制方法、装置、电子设备及计算机可读介质 |
| CN111464818A (zh) * | 2020-03-20 | 2020-07-28 | 新之航传媒集团有限公司 | 一种网上直播展馆系统 |
| CN112702522A (zh) * | 2020-12-25 | 2021-04-23 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
-
2021
- 2021-08-11 CN CN202110921245.8A patent/CN113794893A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259923A (zh) * | 2017-09-27 | 2018-07-06 | 广州华多网络科技有限公司 | 一种视频直播方法、系统及设备 |
| TW202001739A (zh) * | 2018-06-14 | 2020-01-01 | 銳比數位科技有限公司 | 虛擬實境互動式賣場之管理系統及購物方法 |
| CN109361856A (zh) * | 2018-10-26 | 2019-02-19 | 广州虎牙信息科技有限公司 | 一种全景直播方法、装置、终端设备及存储介质 |
| CN111314720A (zh) * | 2020-01-23 | 2020-06-19 | 网易（杭州）网络有限公司 | 直播连麦控制方法、装置、电子设备及计算机可读介质 |
| CN111464818A (zh) * | 2020-03-20 | 2020-07-28 | 新之航传媒集团有限公司 | 一种网上直播展馆系统 |
| CN112702522A (zh) * | 2020-12-25 | 2021-04-23 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115134620A (zh) * | 2022-06-30 | 2022-09-30 | 广州方硅信息技术有限公司 | 连麦直播下的画面显示方法、装置及电子设备 |
| CN115134625A (zh) * | 2022-06-30 | 2022-09-30 | 广州方硅信息技术有限公司 | 连麦直播下的游戏数据显示方法、装置及电子设备 |
| CN115334353A (zh) * | 2022-08-11 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 信息显示的方法、装置、电子设备以及存储介质 |
| CN115334353B (zh) * | 2022-08-11 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 信息显示的方法、装置、电子设备以及存储介质 |
| CN117714802A (zh) * | 2023-12-15 | 2024-03-15 | 杭州无忧数字信息科技有限公司 | 一种网络直播智能机器人系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113794893A (zh) | 全景视频直播连麦的显示处理方法、电子设备及存储介质 | |
| WO2020248668A1 (zh) | 一种显示器及图像处理方法 | |
| WO2020248640A1 (zh) | 一种显示设备 | |
| CN111083507B (zh) | 连麦方法及系统、第一主播端、观众端及计算机存储介质 | |
| CN113064684B (zh) | 一种虚拟现实设备及vr场景截屏方法 | |
| CN105939497B (zh) | 媒体串流系统及媒体串流方法 | |
| WO2020248680A1 (zh) | 视频数据处理方法、装置及显示设备 | |
| EP3591499B1 (en) | Electronic device, control method for electronic device, program, and computer readable medium | |
| KR20180026216A (ko) | 디스플레이 장치 및 이의 제어 방법 | |
| US11917329B2 (en) | Display device and video communication data processing method | |
| KR20180095197A (ko) | 이동단말기 및 그 제어방법 | |
| US20180035170A1 (en) | Method and device for controlling playing state | |
| WO2023226814A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112383808A (zh) | 视频播放方法、装置、终端及存储介质 | |
| CN108965711B (zh) | 视频处理方法及装置 | |
| CN110069230A (zh) | 扩展内容显示方法、装置及存储介质 | |
| CN113938748A (zh) | 视频播放方法、装置、终端、存储介质及程序产品 | |
| CN111010588A (zh) | 直播处理方法、装置、存储介质及设备 | |
| CN113473024A (zh) | 显示设备、云台摄像头和摄像头控制方法 | |
| JP7187307B2 (ja) | 電子機器及びその制御方法 | |
| CN112788378A (zh) | 显示设备与内容显示方法 | |
| CN114286077B (zh) | 一种虚拟现实设备及vr场景图像显示方法 | |
| CN111381750B (zh) | 电子装置及其控制方法和计算机可读存储介质 | |
| CN113824870A (zh) | 显示设备及摄像头角度调整方法 | |
| CN113141538A (zh) | 媒体资源播放方法、装置、终端、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211214 |