CN111954085A - Vr视频显示方法、装置、网络设备及存储介质 - Google Patents

Vr视频显示方法、装置、网络设备及存储介质 Download PDF

Info

Publication number
CN111954085A
CN111954085A CN202010785526.0A CN202010785526A CN111954085A CN 111954085 A CN111954085 A CN 111954085A CN 202010785526 A CN202010785526 A CN 202010785526A CN 111954085 A CN111954085 A CN 111954085A
Authority
CN
China
Prior art keywords
block
video
priority
display
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010785526.0A
Other languages
English (en)
Inventor
邢刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202010785526.0A priority Critical patent/CN111954085A/zh
Publication of CN111954085A publication Critical patent/CN111954085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施方式涉及通信技术领域，公开了一种VR视频显示方法，包括：根据当前VR视角中每一区块的图像信息熵确定每一所述区块的显示优先级；根据每一所述区块的显示优先级，优先在所述当前VR视角的至少部分区块中以预设码率显示VR视频。本发明实施方式还公开了一种VR视频显示装置、网络设备及存储介质。本发明实施方式提供的VR视频显示方法、装置、网络设备及存储介质，可以使用户在观看VR视频时观看低质量视频流的时间缩短，提高用户体验。

Description

VR视频显示方法、装置、网络设备及存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种VR视频显示方法、装置、网络设备及存储介质。
背景技术
VR(Virtual Reality，虚拟实境)视频，又名全景视频。在用户观看VR视频时，由于用户实际观看的部分仅为VR 360度全景视频的一小部分，因此如果整个视频都采用传统的编码和传输方式，将会占用大量的带宽资源。
目前，通常采用FOV(Field of View，视场)技术来节省VR视频所占用的带宽，具体地，服务器同时生成一路低质量的全景视频流以及多路切割分Tile的高质量视频流，当用户观看VR视频时，低质量全景视频流始终播放，同时用户当前视角内的X路高质量视频流也处于播放状态；当用户切换视角时，为保证用户的观看不间断，切换后的视角首先继续播放低质量全景视频流，VR视频的客户端根据切换后的视角到服务端去拉取对应的X路高质量视频流，在高质量视频流到达客户端后播放高质量视频流。
然而，发明人发现现有技术至少存在以下问题：FOV技术未充分考虑网络情况，当网络带宽保障有困难时，同时拉取播放X路高质量(高清)视频流的响应速度较慢，会导致用户观看低质量视频流的时间较长，进而影响用户体验。
发明内容
本发明实施方式的目的在于提供一种VR视频显示方法、装置、网络设备及存储介质，使得用户在观看VR视频时观看低质量视频流的时间缩短，提高用户体验。
为解决上述技术问题，本发明的实施方式提供了一种VR视频显示方法，包括：根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级；根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频。
本发明的实施方式还提供了一种VR视频显示装置，包括：确定模块，用于根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级；显示模块，用于根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频。
本发明的实施方式还提供了一种网络设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的VR视频显示方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的VR视频显示方法。
本发明实施方式相对于现有技术而言，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，根据每一区块的显示优先级优先在当前VR视角中的至少部分区块中以预设码率显示VR视频，一方面，由于人的视觉通常会优先关注信息量较大的部分，因此，通过图像信息熵确定区块的显示优先级，可以使用户优先观看信息量较大的区块，较大程度上满足用户的观看需求；另一方面，由于当前VR视角中的至少部分区块显示预设码率的VR视频，因此可以使用户优先观看到部分高质量(预设码率)的VR视频，从而缩短用户观看低质量视频流的时间，提高用户体验。
另外，根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频，包括：若区块的显示优先级为第一优先级，则优先在区块上以预设码率显示VR视频。
另外，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，包括：若图像信息熵大于预设阈值，则确定区块的显示优先级为第一优先级，或，将每一区块的图像信息熵从大到小进行排序；将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，其中，K为正整数。通过预设阈值可以确定优先以预设码率显示VR视频的区块，从而使用户优先观看到部分高质量的VR视频，缩短用户观看低质量视频流的时间，提高用户的体验；而通过将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，可以保证至少有K个区块以预设码率显示VR视频，从而保证用户至少观看到K个高质量(预设码率)视频流，缩短用户观看低质量视频流的时间，提高用户的体验。
另外，在将图像信息熵处于前K位的区块的显示优先级确定为第一优先级之前，还包括：根据VR视频当前的带宽确定K。根据VR视频当前的带宽确定K，可以使优先以预设码率显示VR视频的区块与客户端的带宽相适应，实现动态调整优先以预设码率显示VR视频的区块的个数。
另外，根据当前VR视角中的每一区块的图像信息熵确定每一区块的显示优先级，包括：根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级。由于VR视频在拍摄过程中通常会把重要关键的信息放在VR投影的赤道附近(即VR视频的球面赤道)，因此，结合图像信息熵和区块与VR视频的球面赤道的距离信息来确定每一区块的显示优先级，可以更大程度上满足用户观看的需要，提高用户观看的体验。
另外，根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级，具体为：根据Pi＝αHi+βFi确定每一区块的显示优先级，其中，Pi为第i个区块的显示优先值，Hi为第i个区块的图像信息熵，Fi为第i个区块与球面赤道的距离信息，α和β分别为Hi和Fi的权重系数。
另外，显示优先级包括多个等级；根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频，包括：根据每一区块的显示优先级的等级先后在区块以预设码率显示VR视频。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是本发明第一实施方式提供的VR视频显示方法的流程示意图；
图2是VR视频区块的示例图；
图3是现有技术中VR视频显示方法的时序流程示例图；
图4是本发明第一实施方式提供的VR视频显示方法的时序流程示例图；
图5是本发明第二实施方式提供的VR视频显示方法的流程示意图；
图6是本发明第三实施方式提供的VR视频显示方法的流程示意图；
图7是本发明第四实施方式提供的VR视频显示方法的流程示意图；
图8是本发明第五实施方式提供的VR视频显示装置的模块结构示意图；
图9是本发明第六实施方式提供的网络设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种VR视频显示方法，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，根据每一区块的显示优先级优先在当前VR视角中的至少部分区块中以预设码率显示VR视频。一方面，通过图像信息熵确定区块的显示优先级，可以使用户优先观看到图像信息熵较大的区块，较大程度上满足用户的观看需求；另一方面，由于当前VR视角中的至少部分区块显示预设码率的VR视频，因此可以使用户优先观看到部分高质量(预设码率)的VR视频，从而缩短用户观看低质量视频流的时间，提高用户体验。
应当说明的是，本发明实施方式提供的VR视频显示方法的执行主体可以为服务端，其中，服务端可由单独的服务器或由多个服务器组成的服务器集群来实现。
本发明实施方式提供的VR视频显示方法的具体流程如图1所示，具体包括以下步骤：
S101：根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级。
请参考图2，其为VR视频区块的示例图。图2中，VR视频包括40个区块，分别标号1-40，VR视频当前视角对应的区块为：11、12、13、18、19、20、26、27和28。
其中，每一区块的图像信息熵是指区块中要显示的图像的信息熵。可以理解的是，由于人的视觉会优先关注图像中信息量较大的部分，例如色彩对比强烈的部分、人脸部分等，而较少关注图像中信息量较小的部分，例如纯色天空、色彩较暗部分等，因此根据图像信息熵确定每一区块的显示优先级，优先以预设码率(高质量视频)显示图像信息熵较大的区块，可以较大程度上满足用户观看的需求。
可选地，区块的图像信息熵可以采用以下式子(1)进行计算：
Figure BDA0002621820890000051
其中，Hn为第n个区块的图像信息熵，pi为区块图像中灰度值为i的像素所占的比例。
当然，区块的图像信息熵亦可以采用其它方式进行计算，此处不做具体限制。
在计算得到每一区块的图像信息熵后，根据每一区块的图像信息熵的大小确定每一区块的显示优先级，例如，将图像信息熵较大的区块的显示优先级确定为最高级，将图像信息熵较小的区块的显示优先级确定为普通级。区块的显示优先级如何根据区块的图像信息熵进行划分可以根据实际需要进行设置，本实施方式对此不做具体限制。
S102：根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频。
其中，预设码率中具体的码率可以根据实际需要进行设置，此处不做具体限制。为了使用户观看到高质量(高分辨率)视频，预设码率具体可以对应高质量视频的码率。
可选地，服务端在下发1路低质量全景视频的同时，优先调度预设码率(高质量视频流)至显示优先级高的区块，优先保障显示优先级高的区块的视频流下发，其余区块的视频流则正常处理下发。
在一个具体的例子中，S102具体可以包括：若区块的显示优先级为第一优先级，则优先在所述区块上以预设码率显示VR视频。
其中，第一优先级可以指最高优先级。在根据区块的图像信息熵确定区块的显示优先级时，可以根据区块的图像信息熵的大小将部分区块的显示优先级确定为第一优先级。具体地，VR视频客户端在向服务端请求当前视角区块的视频流时，可在请求中携带区块的显示优先级，服务端在接收到请求后，获取区块的显示优先级，若区块的显示优先级为第一优先级，则拉取高质量的VR视频流(预设码率)并下发至客户端，从而在该区块上优先以预设码率显示VR视频流。
可以理解的是，其它部分区块可以先显示低质量视频流，在后续拉取到高质量视频流后再以高质量视频流进行显示。
在一个具体的例子中，区块的显示优先级包括多个等级，则S102中，根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频，包括：根据每一区块的显示优先级的等级先后在区块上以预设码率显示VR视频。
具体地，服务端可根据区块的图像信息熵的大小将区块的显示优先级划分为多个等级，再根据区块显示优先级的等级先后在区块上以预设码率显示VR视频。
通过根据每一区块的显示优先级的等级先后在区块以预设码率显示VR视频，可以更加精细化地控制当前VR视角中以高质量视频流显示的区块，使显示的过程更加平滑，进一步提高用户的观看体验。
请参考图3，其为现有技术中VR视频显示方法的时序流程示例图。具体如下：1、VR视频服务器生成1路低质量全景视频流以及M*N路高质量区块视频流；2、服务器将所有视频注入至内容中心；3、内容中心下发所有视频文件到CDN节点；4、VR视频的客户端根据需要请求播放VR视频；5、CDN节点下发1路低质量全景视频和下发X路FOV(视场角)高质量视频；6、客户端解码观看；7、客户端切换视角，计算切换后视角需要请求的高质量视频区块；8、客户端向CDN节点请求X路FOV高质量视频；9、CDN节点下发1路低质量全景视频和下发X路FOV高质量视频；10、客户端解码观看，本次视角切换完成。
请参考图4，其为本发明实施方式提供的VR视频显示方法的时序流程示例图。具体如下：其中，1-8的内容与图3中1-8相同，此处不再赘述；9、服务端(或CDN节点)计算当前高质量区块的显示优先级，并确定高优先级区块；10、下发1路低质量全景视频和下发X路FOV高质量视频，并优先下发处理显示优先级高的区块；11、解码观看，本次视角切换完成。应当说明的是，在图4中的第4步流程(即客户端请求开始播放)后，服务端即可计算区块的显示优先级，优先下发FOV高质量视频至显示优先级最高的区块。从图4中也可以看出，在实际应用时，本发明实施方式提供的VR视频显示方法的具体执行主体也可以为CDN节点。
与现有技术相比，本发明实施方式提供的VR视频显示方法，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，根据每一区块的显示优先级优先在当前VR视角中的至少部分区块中以预设码率显示VR视频，一方面，由于人的视觉通常会优先关注信息量较大的部分，因此，通过图像信息熵确定区块的显示优先级，可以使用户优先观看信息量较大的区块，较大程度上满足用户的观看需求；另一方面，由于当前VR视角中的至少部分区块显示预设码率的VR视频，因此可以使用户优先观看到部分高质量(预设码率)的VR视频，从而缩短用户观看低质量视频流的时间，提高用户体验。
本发明的第二实施方式涉及一种VR视频显示方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明实施方式中，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，包括：若区块的图像信息熵大于预设阈值，则确定区块的显示优先级为第一优先级。通过预设阈值可以确定优先以预设码率显示VR视频的区块，从而使用户优先观看到部分高质量的VR视频，缩短用户观看低质量视频流的时间，提高用户的体验。
本发明实施方式提供的VR视频显示方法的具体流程如图5所示，具体包括以下步骤：
S201：若当前VR视角中某一区块的图像信息熵大于预设阈值，则确定所述区块的显示优先级为第一优先级。
其中，预设阈值可以根据实际需要进行设置，此处不做具体限制。例如，可以根据经验设置预设阈值，或者，根据当前VR视角中所有区块的图像信息熵的平均值设置预设阈值等。
具体地，服务端将当前VR视角中每一区块的图像信息熵与预设阈值进行比较，若区块的图像信息熵大于预设阈值，则将该区块的显示优先级确定为第一优先级。可选地，若区块的图像信息熵小于或等于预设阈值，则将该区块的显示优先级确定为第二优先级。
可以理解的是，若预设阈值为根据经验设置的，可能出现当前VR视角中每一区块的图像信息熵均小于或等于预设阈值的情况，这样会导致没有区块可以以预设码率显示VR视频。可选地，为了使当前VR视角中至少部分的区块以预设码率显示VR视频，预设阈值可以采用根据VR视角中所有区块的图像信息熵的平均值来设置等方式进行设置。
S202：优先在显示优先级为第一优先级的区块上以预设码率显示VR视频。
具体地，服务端优先下发预设码率的视频流至显示优先级为第一优先级的区块，而当前VR视角中的其它区块则先以其它码率(低质量视频流)进行显示，在后续接收到预设码率的视频流时再以预设码率进行显示。
与现有技术相比，本发明实施方式提供的VR视频显示方法，通过预设阈值可以确定优先以预设码率显示VR视频的区块，从而使用户优先观看到部分高质量的VR视频，缩短用户观看低质量视频流的时间，提高用户的体验。
本发明的第三实施方式涉及一种VR视频显示方法。第三实施方式与第一实施方式大致相同，主要区别之处在于：在本发明实施方式中，根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级，包括：将每一区块的图像信息熵从大到小进行排序，将图像信息熵处于前K位的区块的显示优先级确定为第一优先级。通过将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，可以保证至少有K个区块以预设码率显示VR视频，从而保证用户至少观看到K个高质量视频流，缩短用户观看低质量视频流的时间，提高用户的体验。
本发明实施方式提供的VR视频显示方法的具体流程如图6所示，具体包括以下步骤：
S301：将当前VR视角中每一区块的图像信息熵从大到小进行排序。
S302：将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，其中，K为正整数。
可选地，K的具体取值可以根据实际需要进行设置，此处不做具体限制。
在一个具体的例子中，在S302之前，还包括：根据VR视频当前的带宽确定K。
其中，VR视频当前的带宽可以为VR视频客户端当前的带宽。
具体地，服务端可以在下发VR视频时，获取VR视频当前的带宽，再根据VR视频当前的带宽确定K。VR视频当前的带宽与K的关系可以为：当VR视频当前的带宽越大时，K的取值越大，即优先以预设码率显示VR视频的区块越多；当VR视频当前的带宽越小时，K的取值越小，即优先以预设码率显示VR视频的区块越少。
根据VR视频当前的带宽确定K，可以使优先以预设码率显示VR视频的区块与客户端的带宽相适应，实现动态调整优先以预设码率显示VR视频的区块的个数。
S303：优先在显示优先级为第一优先级的区块上以预设码率显示VR视频。
S303与第二实施方式中的S202相同，具体可以参见第二实施方式中的相关描述，这里不再赘述。
与现有技术相比，本发明实施方式提供的VR视频显示方法，通过将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，可以保证至少有K个区块以预设码率显示VR视频，从而保证用户至少观看到K个高质量视频流，缩短用户观看低质量视频流的时间，提高用户的体验。
本发明的第四实施方式涉及一种VR视频显示方法。第四实施方式与第一实施方式大致相同，主要区别之处在于：在本发明实施方式中，根据当前VR视角中的每一区块的图像信息熵确定每一区块的显示优先级，包括：根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级。由于VR视频在拍摄过程中通常会把重要关键的信息放在VR投影的赤道附近(即VR视频的球面赤道)，因此，结合图像信息熵和区块与VR视频的球面赤道的距离信息来确定每一区块的显示优先级，可以更大程度上满足用户观看的需要，提高用户观看的体验。
本发明实施方式提供的VR视频显示方法的具体流程如图7所示，具体包括以下步骤：
S401：根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级。
在一个具体的例子中，S401具体可以为：根据Pi＝αHi+βFi确定每一区块的显示优先级，其中，Pi为第i个区块的显示优先值，Hi为第i个区块的图像信息熵，Fi为第i个区块与球面赤道的距离信息，α和β分别为Hi和Fi的权重系数。可选地，由于图像信息熵相比距离信息更加重要，因此可以将α设置大于β，即Hi的权重系数大于Fi的权重系数。
其中，Hi可用第一实施方式中的式子(1)进行计算，也可以用其它式子进行计算。Fi具体可以根据区块的经纬度信息进行计算得到，即Fi＝f(λi,ψi)，λi为第i个区块在VR球坐标的经度，ψi为第i个区块在VR球坐标的纬度，具体的计算公式可以根据实际需要进行设置，此处不做具体限制。可选地，由于人眼是会优先关注当前VR视角中的中间部分，因此，Fi的计算中还可以加入当前VR视角对应的用户视线相对于球面赤道的仰角，即Fi＝f(λi,ψi,α)，其中，α为当前VR视角对应的用户视线相对于球面赤道的仰角。
具体地，由于VR视频在拍摄过程中通常会把重要关键的信息放在VR投影的赤道附近(即VR视频的球面赤道)，因此，当区块距离VR视频的球面赤道越近时，Fi越大；当区块距离VR视频的球面赤道越远时，Fi越小。
S402：根据每一区块的显示优先级，优先在当前视角的至少部分区块中以预设码率显示VR视频。
S402与第一实施方式中的S102相同，具体可以参见第一实施方式中的相关描述，这里不再赘述。
与现有技术相比，本发明实施方式提供的VR视频显示方法，根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级，由于VR视频在拍摄过程中通常会把重要关键的信息放在VR投影的赤道附近(即VR视频的球面赤道)，因此，结合图像信息熵和区块与VR视频的球面赤道的距离信息来确定每一区块的显示优先级，可以更大程度上满足用户观看的需要，提高用户观看的体验。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第五实施方式涉及一种VR视频显示装置500，如图8所示，包括：确定模块501和显示模块502。各模块功能详细说明如下：
确定模块501，用于根据当前VR视角中每一区块的图像信息熵确定每一区块的显示优先级；
显示模块502，用于根据每一区块的显示优先级，优先在当前VR视角的至少部分区块中以预设码率显示VR视频。
进一步地，显示模块502还用于：若区块的显示优先级为第一优先级，则优先在区块上以预设码率显示VR视频。
进一步地，确定模块501还用于：
若图像信息熵大于预设阈值，则确定区块的显示优先级为第一优先级；
或，
将每一区块的图像信息熵从大到小进行排序；
将图像信息熵处于前K位的区块的显示优先级确定为第一优先级，其中，K为正整数。
进一步地，本发明实施方式提供的VR视频显示装置500还包括带宽模块，其中，带宽模块用于：根据VR视频当前的带宽确定K。
进一步地，确定模块501还用于：
根据每一区块的图像信息熵和区块与VR视频的球面赤道的距离信息确定每一区块的显示优先级。
进一步地，确定模块501还用于：
根据Pi＝αHi+βFi确定每一区块的显示优先级，其中，Pi为第i个区块的显示优先值，Hi为第i个区块的图像信息熵，Fi为第i个区块与球面赤道的距离信息，α和β分别为Hi和Fi的权重系数。
进一步地，显示优先级包括多个等级，显示模块502还用于：
根据每一区块的显示优先级的等级先后在区块以预设码率显示VR视频。
不难发现，本实施方式为与第一、第二、第三和第四实施方式相对应的装置实施例，本实施方式可与第一、第二、第三和第四实施方式互相配合实施。第一、第二、第三和第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一、第二、第三和第四实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第六实施方式涉及一种网络设备，如图9所示，包括至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述的VR视频显示方法。
其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。
处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种VR视频显示方法，其特征在于，包括：
根据当前VR视角中每一区块的图像信息熵确定每一所述区块的显示优先级；
根据每一所述区块的显示优先级，优先在所述当前VR视角的至少部分区块中以预设码率显示VR视频。
2.根据权利要求1所述的VR视频显示方法，其特征在于，所述根据每一所述区块的显示优先级，优先在所述当前VR视角的至少部分区块中以预设码率显示VR视频，包括：
若所述区块的显示优先级为第一优先级，则优先在所述区块上以预设码率显示VR视频。
3.根据权利要求2所述的VR视频显示方法，其特征在于，所述根据当前VR视角中每一区块的图像信息熵确定每一所述区块的显示优先级，包括：
若所述图像信息熵大于预设阈值，则确定所述区块的显示优先级为所述第一优先级；
或，
将每一所述区块的图像信息熵从大到小进行排序；
将所述图像信息熵处于前K位的所述区块的显示优先级确定为所述第一优先级，其中，所述K为正整数。
4.根据权利要求3所述的VR视频显示方法，其特征在于，在所述将所述图像信息熵处于前K位的所述区块的显示优先级确定为所述第一优先级之前，还包括：
根据所述VR视频当前的带宽确定所述K。
5.根据权利要求1所述VR视频显示方法，其特征在于，所述根据当前VR视角中的每一区块的图像信息熵确定每一所述区块的显示优先级，包括：
根据每一所述区块的图像信息熵和所述区块与所述VR视频的球面赤道的距离信息确定每一所述区块的显示优先级。
6.根据权利要求5所述的VR视频显示方法，其特征在于，所述根据每一所述区块的图像信息熵和所述区块与所述VR视频的球面赤道的距离信息确定每一所述区块的显示优先级，具体为：
根据Pi＝αHi+βFi确定每一所述区块的显示优先级，其中，所述Pi为第i个所述区块的显示优先值，所述Hi为第i个所述区块的图像信息熵，所述Fi为第i个所述区块与所述球面赤道的距离信息，所述α和所述β分别为所述Hi和所述Fi的权重系数。
7.根据权利要求1所述的VR视频显示方法，其特征在于，所述显示优先级包括多个等级；
所述根据每一所述区块的显示优先级，优先在所述当前VR视角的至少部分区块中以预设码率显示VR视频，包括：
根据每一所述区块的显示优先级的等级先后在所述区块以预设码率显示VR视频。
8.一种VR视频显示装置，其特征在于，包括：
确定模块，用于根据当前VR视角中每一区块的图像信息熵确定每一所述区块的显示优先级；
显示模块，用于根据每一所述区块的显示优先级，优先在所述当前VR视角的至少部分区块中以预设码率显示VR视频。
9.一种网络设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的VR视频显示方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的VR视频显示方法。
CN202010785526.0A 2020-08-06 2020-08-06 Vr视频显示方法、装置、网络设备及存储介质 Pending CN111954085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010785526.0A CN111954085A (zh) 2020-08-06 2020-08-06 Vr视频显示方法、装置、网络设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010785526.0A CN111954085A (zh) 2020-08-06 2020-08-06 Vr视频显示方法、装置、网络设备及存储介质

Publications (1)

Publication Number Publication Date
CN111954085A true CN111954085A (zh) 2020-11-17

Family

ID=73331790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010785526.0A Pending CN111954085A (zh) 2020-08-06 2020-08-06 Vr视频显示方法、装置、网络设备及存储介质

Country Status (1)

Country Link
CN (1) CN111954085A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN108076345A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 多视角视频帧的编码方法、传输方法、装置、计算机
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN109451318A (zh) * 2019-01-09 2019-03-08 鲍金龙 便于vr视频编码的方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076345A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 多视角视频帧的编码方法、传输方法、装置、计算机
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN109451318A (zh) * 2019-01-09 2019-03-08 鲍金龙 便于vr视频编码的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111052750B (zh) 用于点云流传输的方法和装置
US11792451B2 (en) Method and system for low latency high frame rate streaming
US20180220119A1 (en) Virtual reality with interactive streaming video and likelihood-based foveation
CN108881894B (zh) Vr多媒体的体验质量确定方法及装置
CN108320723B (zh) 显示方法和装置
US20220382053A1 (en) Image processing method and apparatus for head-mounted display device as well as electronic device
CN113767628A (zh) 用于以不同压缩水平进行视频编码的辅助信息
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN113115100B (zh) 视频调整方法、监控设备、计算机程序产品及存储介质
CN114584826A (zh) 一种视频动态下载方法、装置、电子设备及存储介质
WO2013055596A1 (en) Low latency video compression
CN113315999A (zh) 虚拟现实优化方法、装置、设备及存储介质
CN111954085A (zh) Vr视频显示方法、装置、网络设备及存储介质
CN110213626B (zh) 视频处理方法及终端设备
CN115460458B (zh) 视频丢帧方法和设备
CN115086645B (zh) 一种面向全景视频的视点预测方法、装置及介质
CN111277857B (zh) 一种流媒体调度方法及装置
EP4373105A2 (en) Methods, systems, and media for streaming video content using adaptive buffers
EP3635958B1 (en) Image processing device and system
KR102524987B1 (ko) 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
CN114827638B (zh) 一种vr视频云直播方法、装置及设备
Wang et al. Spatial Perceptual Quality Aware Adaptive Volumetric Video Streaming
CN115334310A (zh) 视频数据编码方法、装置、电子设备和介质
CN116686286A (zh) 在沉浸式视频中改变视频轨道
CN111131879A (zh) 视频数据播放方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117

RJ01 Rejection of invention patent application after publication