CN112954394A - 一种高清视频的编码及解码播放方法、装置、设备和介质 - Google Patents

一种高清视频的编码及解码播放方法、装置、设备和介质 Download PDF

Info

Publication number
CN112954394A
CN112954394A CN202110119350.XA CN202110119350A CN112954394A CN 112954394 A CN112954394 A CN 112954394A CN 202110119350 A CN202110119350 A CN 202110119350A CN 112954394 A CN112954394 A CN 112954394A
Authority
CN
China
Prior art keywords
definition
video stream
video
field angle
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110119350.XA
Other languages
English (en)
Other versions
CN112954394B (zh
Inventor
杨时权
何远清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110119350.XA priority Critical patent/CN112954394B/zh
Publication of CN112954394A publication Critical patent/CN112954394A/zh
Application granted granted Critical
Publication of CN112954394B publication Critical patent/CN112954394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种高清视频的编码及解码播放方法、装置、设备和介质。该方法包括：根据主播端的VR采集设备发送的VR视频数据，生成高清解码结果；对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。使用本发明的技术方案，可以在终端播放视频时提高秒开，缓解视频播放卡顿、黑屏问题。

Description

一种高清视频的编码及解码播放方法、装置、设备和介质
技术领域
本发明实施例涉及网络直播技术领域，尤其涉及一种高清视频的编码及解码播放方法、装置、设备和介质。
背景技术
随着网络直播技术的应用发展，各种直播平台呈现了多样化的直播内容。为了增加直播内容对用户的吸引度的同时，增加直播的互动性、娱乐性以及现场感，虚拟现实(Virtual Reality，VR)技术融入至直播技术中。
现有技术中的VR直播，是由主播在主播端运行提供VR高清全景视频，对高清全景视频进行编码发送至观众端，观众端对编码的高清全景视频进行解码实现VR播放。
VR视频需要高分辨率才能实现用户的沉浸式体验。而现有技术中的这种VR直播方式，在为用户提高高分辨率VR视频播放时，会造成视频打卡缓慢，用户等待时长长，且VR视频播放中会出现卡顿或者黑屏的问题。
发明内容
本发明实施例提供了一种高清视频的编码及解码播放方法、装置、设备和介质，可以在终端播放视频时提高秒开，并且缓解视频播放卡顿、黑屏问题。
第一方面，本发明实施例提供了一种高清视频的编码方法，由直播服务器执行，包括：
根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
第二方面，本发明实施例还提供了一种高清视频的解码播放方法，由观众端执行，包括：
在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
第三方面，本发明实施例还提供了一种高清视频的编码装置，设置于直播服务器，包括：
高清解码结果生成模块，用于根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
视频流生成模块，用于对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
视频流提供模块，用于向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
第四方面，本发明实施例还提供了一种高清视频的解码播放装置，设置于观众端，包括：
渲染播放模块，用于在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
高清解码结果生成模块，用于在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
双路渲染播放模块，用于将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
第五方面，本发明实施例还提供了一种电子设备，电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例提供的高清视频的编码方法；或者，高清视频的解码播放方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的高清视频的编码方法；或者，高清视频的解码播放方法。
本发明实施例的技术方案通过根据主播端的VR采集设备发送的VR视频数据，生成高清解码结果；对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。解决了现有技术中进行VR视频直播时无法解决高分辨率带来的问题，实现了进行VR视频的高分辨率播放时提高秒开，缓解视频播放卡顿、黑屏的效果。
附图说明
图1a是本发明实施例一中的高清视频的编码方法的流程图；
图1b是本发明实施例一提供的一种基于背景全景视频流和视场角的高清视频流进行播放的示意图；
图1c是本发明实施例一提供的一种VR视频直播的流程图；
图2a是本发明实施例二中的一种高清视频的编码方法的流程图；
图2b是本发明实施例二提供的一种VR视频直播的流程图；
图3a是本发明实施例三中的一种高清视频的编码方法的流程图；
图3b是本发明实施例三提供的一种VR视频直播的流程图；
图4a是本发明实施例四中的一种高清视频的编码方法的流程图；
图4b是本发明实施例四提供的一种VR视频直播的流程图；
图5是本发明实施例五提供的一种高清视频的解码播放方法的流程图；
图6是本发明实施例六中的一种高清视频的编码装置的结构示意图；
图7是本发明实施例七中的一种高清视频的解码播放装置的结构示意图；
图8是本发明实施例八公开的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1a是本发明实施例一中的高清视频的编码方法的流程图，本实施例可适用于进行VR视频的高分辨率直播的情况，该方法可以由高清视频的编码装置来执行，该装置可以由软件，和/或硬件的方式来实现，并集成在直播服务器中。
如图1a所示，该方法包括：
步骤110、根据主播端的VR采集设备发送的VR视频数据，生成高清解码结果。
其中，主播端是主播进行VR视频直播时所使用的终端设备或者终端软件。VR采集设备可以是提供VR视频流的终端设备，例如全景相机、VR摄像机或者，可以是连接其他主播使用的终端设备进行倒流时，将其他主播使用的终端设备作为VR采集设备。
示例性的，主播可以通过手机或者电脑等终端设备连接全景相机或者VR摄像机等VR采集设备，将VR采集设备采集获取的VR视频流传输至主播使用的终端设备。
又一示例性的，主播可以与其他主播进行连麦，将其他主播播放的VR视频流倒流至主播使用的终端设备。
其中，传输VR视频流的具体方式可以是将VR视频流的VR视频数据传输至主播端。VR视频数据可以是对高清全景视频数据的压缩数据，具体的可以随高清全景视频数据进行编码生成VR视频数据实现VR采集设备到主播端的快速传输。高清全景视频数据可以是体现虚拟现实360度画面的高分辨率、无压缩的视频数据。
主播端可以将VR视频数据传入至直播平台，直播平台的直播服务器可以对VR视频数据解码生成高清解码结果，即获取高清全景视频数据。对高清全景视频数据的编码，或者对VR视频数据的解码可以采用现有技术中的视频编解码方法，本发明实施例对此不做具体限定。
步骤120、对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流。
其中，背景全景视频流的视频质量，和/或分辨率低于高清视频流。
双路视频编码是指将高清解码结果复制为两路视频流，两路视频流可以是相同的，但是对两路视频流的编码方式可以是不同的。例如，对一路视频流编码生成背景全景视频流，另一路视频流编码生成至少一个视觉场的高清视频流。
背景全景视频流可以是体现虚拟现实360度画面的低分辨率或者有压缩的视频数据形成的视频流。可以理解为背景全景视频流是对高清全景视频数据的低分辨率或者有损或者有压缩的体现。
为了在观众端进行VR视频播放时，可以提高秒开，在本发明实施例中，可以对高清解码结果进行压缩处理后再进行编码得到背景全景视频流。其中，对高清解码结果的压缩可以降低视频质量，和/或视频的分辨率。具体的压缩方法本发明实施例不做具体限定，例如可以是scale方法。
视场角的高清视频流可以是体现虚拟现实某一视场角的高分辨率、无压缩的视频数据形成的视频流。可以理解为视场角的高清视频流是对高清全景视频数据进行视场角的划分后体现。视场角(Field Angela of View，FOV)可以是用户在VR中观景的视野范围的体现，例如，可以通过对角、水平和垂直三个方向的角度具体体现。
为了在观众端进行VR视频播放时，可以为用户提供高分辨率的视频图像，提升用户的沉浸式体验感。在本发明实施例中，可以对高清解码结果进行高分辨率无压缩的视场角的划分编码。划分编码可以是先编码后针对视场角进行划分，或者，可以是先进行视场角的划分再针对各个视场角进行编码。
具体的编码方法本发明实施例不做具体限定，例如可以是高效视频编码(HighEfficiency Video Coding，HEVC)，或者高效率视频编码中的运动约束分块集编码(HEVCMCTS)，或者国际电联的标准编码方法H.261、H.263以及H.264等。
步骤130、向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
其中，观众端可以是用户观看VR视频直播时使用的终端设备或者终端软件，例如手机或者电脑，或者手机或电脑中的应用程序等。向观众端提供背景全景视频流和至少一个视场角的高清视频流可以是通过分发服务器实现的。分发服务器可以提供视频转推或分发服务，将视频流转推或者分发至观众端。本发明实施例对分发服务器不做具体限定，例如，可以是内容分发网络(Content Delivery Network，CDN)服务器。
高清视频的终端播放可以是对背景全景视频流和视场角的高清视频流进行叠加播放。图1b是本发明实施例一提供的一种基于背景全景视频流和视场角的高清视频流进行播放的示意图。如图1b所示，可以在观众端连接主播端，但视场角的高清视频流未加载完成时，先通过背景全景视频流的播放实现秒开；在视场角的高清视频流加载完成时，在背景全景视频流的基础上叠加视场角的高清视频流实现高分辨率视频播放，提高用户的沉浸式体验。在视场角的高清视频流的加载出现卡顿时，可以播放背景全景视频流避免视频播放中出现黑屏。
本发明实施例的技术方案通过根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，例如，视频加载时长长导致视频打开缓慢，视频播放不流畅容易卡顿黑屏的问题。实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果。
在本发明实施例的一个可选实施方式中，对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，包括：对高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流；对高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流；根据高清全景编码流，形成至少一个视场角的高清视频流。
图1c是本发明实施例一提供的一种VR视频直播的流程图，如图1c所示，背景全景视频流的生成方式可以是先对高清解码结果进行压缩再编码，生成的背景全景视频流可以保持较低的视频质量或者较低的分辨率，占用带宽小，可以在观众端进行视频播放时，实现快速加载，便于提高秒开。示例性的，可以采用scale方法压缩，第一编码方式可以采用HEVC编码或者国际电联的标准编码方法H.261、H.263以及H.264等。
如图1c所示，高清全景编码流的生成方式可以是直接对高清解码结果进行编码，而不进行压缩，可以保证高清全景编码流具有高分辨率，较高的视频质量，在观众端进行视频播放时，便于为用户提高较高质量的视频画面，提高用户的沉浸式体验感。示例性的，第二编码方式可以与第一编码方式相同或者不同。具体的，第二编码方式可以采用HEVC编码或者国际电联的标准编码方法H.261、H.263以及H.264等。
如图1c所示，根据高清全景编码流形成视场角的高清视频流可以是对高清全景编码流按照视场角进行划分，对划分后的高清全景编码流进行视频流的截取。一种示例性的视场角的划分如图1b所示的第一视场角、第二视场角、第三视场角以及第四视场角。示例性的，对高清全景编码流按照视场角进行划分可以是通过FOV流生成器实现的。
在上述实施方式的基础上，可选的，根据高清全景编码流，形成至少一个视场角的高清视频流，包括：获取与观众端发送的视场角描述信息匹配的目标视场角，并根据高清全景编码流，形成与目标视场角对应的高清视频流。
如图1c所示，在观众端进行VR视频直播观看时，用户可以通过FOV观看设备进行FOV切换，确定目标视场角。FOV切换相关的视场角描述信息可以通过观众端中的播放器生成FOV信令传输至FOV流生成器，进行FOV反馈。FOV流生成器可以根据接收到的FOV反馈的视场角描述信息在高清全景编码流中截取对应视场角的高清视频流，以对观众端进行目标视场角的VR视频播放。其中，视场角描述信息可以是水平、垂直以及对角方向的角度。用户使用的FOV观看设备可以通过用户头部的上下左右以及前后的移动，确定视场角描述信息。示例性的，FOV观看设备可以是虚拟现实的头戴式设备等。
本发明实施例的技术方案通过如图1c所示的VR视频直播方案，对高清解码结果进行双路视频编码，一路生成视频质量，和/或分辨率低的背景全景视频流；另一路根据观众端反馈的目标视场角的描述信息生成视频质量，和/或分辨率高的目标视场角的高清视频流；通过向观众端提供背景全景视频流和目标视场角的高清视频流进行高清视频的终端播放，解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果；并且，该方案是对整张图(VR全景)进行渲染播放后进行视场角划分的，视频播放效果好，不会出现视场角图像边缘模糊的情况；此外，不需要进行FOV流合并，也不需要考虑播放器的兼容性问题。
实施例二
图2a是本发明实施例二中的一种高清视频的编码方法的流程图，本实施例的技术方案是在上述实施方式的基础上进行进一步细化，本实施例可以与上述一个或多个实施方式相结合。如图2a所示，该方法包括：
步骤210、根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果。
步骤220、对高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流。
步骤230、对高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流。
其中，背景全景视频流的视频质量，和/或分辨率低于高清全景编码流。
步骤240、获取与观众端匹配的多个可选视场角，并根据高清全景编码流，分别形成与各可选视场角对应的多个高清视频流。
图2b是本发明实施例二提供的一种VR视频直播的流程图，如图2b所示，直播服务器可以根据预先设定的多个可选视场角在高清全景编码流中分别进行截取，形成与各可选视场角对应的高清视频流。直播服务器可以对N个可选视场角对应的高清视频流以及一路背景全景视频流分别进行封装。
其中，可选视场角可以是预先根据观众端对VR视频的可视范围进行划分确定的。示例性的，可以预先将可选视场角确定为如图1b所示的第一视场角、第二视场角、第三视场角以及第四视场角。
步骤250、向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
其中，如图2b所示，直播服务器可以通过CDN分发服务器将封装的N个可选视场角对应的高清视频流以及一路背景全景视频流分发至FOV选择器。观众端进行高清视频的终端播放时，可以根据用户的FOV切换确定目标视场角，根据目标视场角匹配对应的可选视场角，例如可以通过视场角描述信息进行匹配。播放器可以根据确定的可选视场角，通过FOV选择器选择确定的可选视场角对应的高清视频流以及背景全景视频流进行解封后实现高清视频的终端播放。
本发明实施例的技术方案通过如图2b所示的VR视频直播方案，对高清解码结果进行双路视频编码，一路生成视频质量，和/或分辨率低的背景全景视频流；另一路根据与观众端匹配的多个可选视场角生成视频质量，和/或分辨率高的多个可选视场角的高清视频流；通过向观众端提供背景全景视频流和多个可选视场角的高清视频流进行高清视频的终端播放，解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果。
具体的，该方案是对整张图进行渲染播放后进行视场角划分的，视频播放效果好，不会出现视场角图像边缘模糊的情况；并且，在用户确定目标视场角之前，可选视场角的高清视频流已经准备就绪，进一步提高了视频的加载速度，利于秒开；此外，不需要进行FOV流合并，也不需要考虑播放器的兼容性问题。
实施例三
图3a是本发明实施例三中的一种高清视频的编码方法的流程图，本实施例的技术方案是在上述实施方式的基础上进行进一步细化，本实施例可以与上述一个或多个实施方式相结合。如图3a所示，该方法包括：
步骤310、根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果。
步骤320、对高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流。
步骤330、对高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流。
其中，背景全景视频流的视频质量，和/或分辨率低于高清全景编码流。通过第二编码方式得到的高清视频流中，以完整高清图像作为最小数据单位。在本实施例中，高清视频流可以是针对VR全景对应的完整高清图像生成的。
步骤340、根据高清全景编码流，形成至少一个视场角的高清视频流。
其中，图3b是本发明实施例三提供的一种VR视频直播的流程图，如图3b所示，视场角的高清视频流可以是根据与观众端匹配的多个可选视场角分别生成的。
步骤350、将与每个视场角分别对应的高清视频流划分为多个标准高清视频子流。
其中，标准高清视频子流的生成方式可以是通过普通切割流的方式。标准高清视频子流可以是对视场角对应的原始图片进行分割，形成一个个小图片，针对各个小图片划分高清视频流，形成多个标准高清视频子流。
示例性的，可以将视场角对应的原始图片按照矩形区域划分，如划分为9个矩形的小图片，可以是均匀或者非均匀的划分。分别针对矩形区域对应的小图片，在高清视频流中截取标准高清视频子流。
如图3b所示，直播服务器可以先根据视场角生成高清视频流，再对各高清视频流进行切割生成标准高清视频子流。
步骤360、将与同一视场角对应的多个标准高清视频子流分别独立封装为多个数据包后，将与各视场角分别对应的多个数据包分别发送至观众端；并向观众端提供背景全景视频流，以进行高清视频的终端播放。
其中，如图3b所示，对于标准高清视频子流可以是针对视场角进行独立封装。可以将标准高清视频子流封装为N个数据包，N为视场角的个数。背景全景视频流可以形成一个独立于高清视频流的数据包。直播服务器可以通过CDN服务器将N+1个数据包传输至观众端的播放器中的FOV选择器。FOV选择器可以根据用户的FOV切换确定目标视场角，并匹配对应可选视场角的封装的多个标准高清视频子流的数据包。对标准高清视频子流的数据包以及背景全景视频流的数据包进行解封装后再进行解码处理，进行高清视频的终端播放。
本发明实施例的技术方案通过如图3b所示的VR视频直播方案，对高清解码结果进行双路视频编码，一路生成视频质量，和/或分辨率低的背景全景视频流；另一路根据与观众端匹配的多个可选视场角生成视频质量，和/或分辨率高的多个可选视场角的高清视频流；将与每个视场角分别对应的高清视频流划分为多个标准高清视频子流；将与同一视场角对应的多个标准高清视频子流分别独立封装为多个数据包后，将与各视场角分别对应的多个数据包分别发送至观众端；并向观众端提供背景全景视频流进行高清视频的终端播放，解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果。
具体的，该方案是对视场角对应的原始图片进行分割形成小图片的视频流进行传输的，可以减少实际网络带宽的占用，降低传输压力，从而减少VR视频播放中的画面模糊情况；并且，在用户确定目标视场角之前，可选视场角的高清视频流已经准备就绪，进一步提高了视频的加载速度，利于秒开。
实施例四
图4a是本发明实施例四中的一种高清视频的编码方法的流程图，本实施例的技术方案是在上述实施方式的基础上进行进一步细化，本实施例可以与上述一个或多个实施方式相结合。如图4a所示，该方法包括：
步骤410、根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果。
步骤420、对高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流。
步骤430、对高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流。
其中，背景全景视频流的视频质量，和/或分辨率低于高清全景编码流。第二编码方式为高效率视频编码中的运动约束分块集编码方式(HEVC MCTS)。
步骤440、根据高清全景编码流，形成至少一个视场角的高清视频流。
其中，图4b是本发明实施例四提供的一种VR视频直播的流程图，如图4b所示，视场角的高清视频流可以是根据与观众端匹配的多个可选视场角分别生成的。
如图4b所示，第二编码方式为HEVC MCTS，具体的可以是HEVC tile编码。在HEVCMCTS中，一幅图像可以划分为若干个tile，即从水平和垂直方向将图像分割为若干个矩形区域，这些矩形区域称为tile。
示例性的，可以将与视场角对应的原始图像分割为9个tile，各tile可以是均匀分布的，也可以是非均匀分布的。对于每个tile可以独立编码，可以增强编码时的并行处理能力。
如图4b所示，通过第二编码方式得到的高清视频流中，以tile块作为最小数据单位。对于视场角的原始图像分割以及对应视频流的编码可以是同时进行的，而非生成原始图像的高清视频流再针对小图像进行视频流分割。换言之，通过HEVC MCTS编码生成的视场角的高清视频流是包含多个高清视频子流的(各高清视频子流是与各tile块一一对应的)，而非是对应于视场角的原始图像的一个整体视频流。
步骤450、将同一视场角的高清视频子流中的各tile块封装为一路数据包后，将与各视场角分别对应的数据包发送至观众端；并向观众端提供背景全景视频流，以进行高清视频的终端播放。
其中，如图4b所示，对于tile块的高清视频子流可以是针对视场角进行独立封装。可以将tile块的高清视频子流封装为N个数据包，N为视场角的个数。背景全景视频流可以形成一个独立于高清视频流的数据包。直播服务器可以通过CDN服务器将N+1个数据包传输至观众端的播放器中的FOV选择器。FOV选择器可以根据用户的FOV切换确定目标视场角，并匹配对应可选视场角的封装的多个tile块的高清视频子流的数据包。对tile块的高清视频子流的数据包以及背景全景视频流的数据包进行解封装后再进行解码处理，进行高清视频的终端播放。
本发明实施例的技术方案通过如图4b所示的VR视频直播方案，对高清解码结果进行双路视频编码，一路生成视频质量，和/或分辨率低的背景全景视频流；另一路根据与观众端匹配的多个可选视场角生成视频质量，和/或分辨率高的多个可选视场角的高清视频流；高清视频流包括多个tile块的高清视频子流；将同一视场角的高清视频子流中的各tile块封装为一路数据包后，将与各视场角分别对应的数据包发送至观众端；并向观众端提供背景全景视频流进行高清视频的终端播放，解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果。
具体的，该方案是对视场角对应的原始图片进行HEVC MCTS编码生成多个tile块的高清视频子流进行传输的，可以减少实际网络带宽的占用，降低传输压力，从而减少VR视频播放中的画面模糊情况；并且，在用户确定目标视场角之前，可选视场角的高清视频流已经准备就绪，进一步提高了视频的加载速度，利于秒开；此外，由于HEVC MCTS编码具有的特性，不会出现视场角图像边缘模糊的情况。
需要说明的是，在上述各实施例的实施方式的基础上，可选的，还可以对背景全景视频流进行分割，实现类似于高清视频流的分割，降低带宽占用以及传输压力，进一步提高秒开，降低用户等待时长。
在本发明的一个具体实施方式中，可选的，通过第一编码方式得到的背景全景视频流中，以完整背景全景图像作为最小数据单位；在向观众端提供背景全景视频流之前，还包括：将背景全景视频流划分为多个标准背景全景视频子流；向观众端提供背景全景视频流，包括：将与背景全景视频流对应的多个标准背景全景视频子流分别独立封装为多个数据包后，将多个数据包分别发送至观众端。
其中，背景全景视频流的分割与本发明实施例三中的针对视场角进行高清视频流的分割是类似的，不再赘述。
在本发明的另一个具体实施方式中，可选的，第一编码方式为高效率视频编码中的运动约束分块集编码方式；通过第一编码方式得到的背景全景视频流中，以tile块作为最小数据单位；向观众端提供背景全景视频流，包括：将背景全景视频流中的各tile块共同封装为一路数据包后，将数据包发送至观众端。
其中，背景全景视频流的分割与本发明实施例四中的针对视场角进行HEVC MCTS编码生成包含多个tile块高清视频子流的高清视频流是类似的，不再赘述。
实施例五
图5是本发明实施例五提供的一种高清视频的解码播放方法的流程图，本实施例可适用于进行VR视频的高分辨率直播观看的情况，该方法可以由高清视频的解码装置来执行，该装置可以由软件，和/或硬件的方式来实现，并集成在播放器中。如图5所示，该方法包括：
步骤510、在接收到直播服务器发送的背景全景视频流时，对背景全景视频流进行解码得到背景全景解码结果，并对背景全景解码结果进行渲染播放。
其中，如图1c、图2b、图3b或者图4b所示的VR视频直播的流程图，观众端的播放器接收到直播服务器通过CDN分发服务器发送的背景全景视频流的数据包时，可以对背景全景视频流的数据包进行解封装，生成背景全景视频流。播放器可以对背景全景视频流进行与第一编码方式对应的解码算法进行视频解码。例如，第一编码方式为HEVC编码，解码算法可以是HEVC解码。解码后，播放器可以对背景全景解码结果进行渲染播放。
背景全景解码结果可以是低视频质量和/或低分辨率的VR全景画面，可以通过对背景全景解码结果进行渲染播放，所需加载时长低，可以实现视频播放秒开，降低用户等待时长。
需要说明的是，直播服务器向观众端发送的背景全景视频流可能是划分为多个标准背景全景视频子流并分别独立封装的多个数据包。此时，观众端的播放器对背景全景解码结果的渲染播放可以是根据用户的FOV切换确定目标视场角。播放器将目标视场角的描述信息反馈至FOV流选择器，FOV流选择器确定与目标视场角对应的多个标准背景全景视频子流的数据包。播放器对确定的数据包进行解封装后，再进行解码实现渲染播放。对背景全景视频流的播放可以根据目标视场角确定，可以在部分图像加载后进行播放，进一步提高秒开。
或者，直播服务器向观众端发送的背景全景视频流可能是通过高效率视频编码中的运动约束分块集编码方式(HEVC MCTS)得到的包含多个tile块的背景全景视频子流，并将背景全景视频流中的各tile块共同封装的一路数据包。此时，观众端的播放器对背景全景解码结果的渲染播放可以是根据用户的FOV切换确定目标视场角。播放器将目标视场角的描述信息反馈至FOV流选择器，FOV流选择器确定与目标视场角对应的多个tile块对应的数据包。播放器对确定的数据包进行解封装后，再进行HEVC MCTS解码实现渲染播放。对背景全景视频流的播放可以根据目标视场角确定，可以在部分图像加载后进行播放，进一步提高秒开；并且由于HEVC MCTS编码解码的特性，可以避免视场角对应的原始图像中各小图像的边缘模糊的情况。
步骤520、在接收到与背景全景视频流关联的，且与观众端的视场角匹配的高清视频流时，对高清视频流进行解码得到高清解码结果。
其中，如图1c所示，观众端的播放器可以通过接收用户FOV切换的视场角描述信息，并生成信令服务反馈至直播服务器中的FOV流生成器。FOV流生成器可以根据视场角描述信息确定目标视场角，生成匹配的高清视频流并封装为数据包，通过CDN分发服务器传输至播放器。播放器可以对高清视频流的数据包进行解封装生成高清视频流，再进行与第二编码方式对应的解码生成高清解码结果。
或者，如图2b、图3b或图4b所示，观众端的播放器可以通过接收用户FOV切换的视场角描述信息，并生成信令服务反馈至FOV选择器。FOV选择器可以根据视场角描述信息确定目标视场角，并通过CDN分发服务器获取与目标视场角匹配的高清视频流的数据包。播放器可以对获取的数据包进行解封装生成高清视频流，再进行与第二编码方式对应的解码生成高清解码结果。
在本发明实施例的一个可选实施方式中，接收与背景全景视频流关联的，且与观众端的视场角匹配的高清视频流，包括：如果接收到与背景全景视频流关联的，多个可选视场角的高清视频流，则根据用户输入的视场角描述信息，确定与视场角描述信息匹配的目标视场角；在多个可选视场角的高清视频流中，提取与目标视场角匹配的高清视频流。
其中，如图2b、图3b或者图4b所示，观众端的播放器可以通过FOV选择器根据接收的用户FOV切换的视场角描述信息确定目标视场角，并提取匹配的高清视频流。
需要说明的是，如果观众端接收的是如图3b所示的包含多个标准高清视频子流的数据包时，播放器需要对数据包进行解封装获取针对目标视场角的多个标准高清视频子流。对多个标准高清视频子流进行视频子流合并，生成针对目标视场角的高清视频流。对高清视频流进行与第二编码方式对应的解码生成高清解码结果。虽然需要播放器具有FOV流合并的兼容功能，但是该方案对多个标准高清视频子流的传输占用带宽小，传输压力小。
或者，如果观众端接收的是如图4b所示的包含多个tile块高清视频子流的数据包时，播放器需要对数据包进行解封装获取针对目标视场角的多个tile块高清视频子流。对多个tile块高清视频子流进行视频子流合并，生成针对目标视场角的高清视频流。对高清视频流进行与HEVC MCTS编码方式对应的HEVC MCTS解码生成高清解码结果。虽然需要播放器具有FOV流合并的兼容功能，但是该方案对多个标准高清视频子流的传输占用带宽小，传输压力小；并且由于HEVC MCTS编解码的特性，可以避免小图边缘部分的模糊化问题。
步骤530、将高清解码结果叠加至背景全景解码结果中，以进行双路渲染播放。
其中，背景全景解码结果可以是体现虚拟现实360度画面的低分辨率和/或有压缩的视频数据。高清解码结果可以是体现虚拟现实中目标视场角画面的高分辨率且无压缩的视频数据。
观众端的播放器对VR视频的播放可以如图1b所示，采用在背景全景解码结果的基础上叠加高清解码结果。如图1c、2b图、3b或者图4b所示，背景全景解码结果与叠加高清解码结果需要对齐进行渲染播放。通过画面对齐，进行背景全景解码结果与高清解码结果的叠加播放，可以实现高分辨率视频播放，提高用户的沉浸式体验的同时，提高秒开，避免视频播放中出现卡顿、黑屏等问题。其中，双路渲染播放可以是对背景全景解码结果和高清解码结果进行VR全景的360度渲染，对两路视频流进行对齐播放。
本发明实施例的技术方案通过在接收到直播服务器发送的背景全景视频流时，对背景全景视频流进行解码得到背景全景解码结果，并对背景全景解码结果进行渲染播放；在接收到与背景全景视频流关联的，且与观众端的视场角匹配的高清视频流时，对高清视频流进行解码得到高清解码结果；将高清解码结果叠加至背景全景解码结果中，以进行双路渲染播放，解决了现有技术进行VR视频直播时无法解决高分辨率带来的问题，例如，视频加载时长长导致视频打开缓慢，视频播放不流畅容易卡顿黑屏的问题。实现了进行VR视频高分辨率播放时提高秒开，减少用户等待视频播放的时长；在保证用户沉浸式体验的同时缓解视频播放卡顿、黑屏的问题，提高用户体验的效果。
实施例六
图6是本发明实施例六中的一种高清视频的编码装置的结构示意图。如图6所示，该高清视频的编码装置包括：高清解码结果生成模块610，视频流生成模块620和视频流提供模块630，其中：
高清解码结果生成模块610，用于根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
视频流生成模块620，用于对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
视频流提供模块630，用于向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
可选的，视频流生成模块620，包括：
背景全景视频流生成单元，用于对高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流；
高清全景编码流生成单元，用于对高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流；
高清视频流生成单元，用于根据高清全景编码流，形成至少一个视场角的高清视频流。
可选的，高清视频流生成单元，具体用于：
获取与观众端发送的视场角描述信息匹配的目标视场角，并根据高清全景编码流，形成与目标视场角对应的高清视频流。
可选的，高清视频流生成单元，又具体用于：
获取与观众端匹配的多个可选视场角，并根据高清全景编码流，分别形成与各可选视场角对应的多个高清视频流。
可选的，通过第二编码方式得到的高清视频流中，以完整高清图像作为最小数据单位；
该装置，还包括：
标准高清视频子流划分模块，用于在向观众端提供背景全景视频流和至少一个视场角的高清视频流之前，将与每个视场角分别对应的高清视频流划分为多个标准高清视频子流；
视频流提供模块630，包括：
第一数据包发送单元，用于将与同一视场角对应的多个标准高清视频子流分别独立封装为多个数据包后，将与各视场角分别对应的多个数据包分别发送至观众端。
可选的，第二编码方式为高效率视频编码中的运动约束分块集编码方式；通过第二编码方式得到的高清视频流中，以tile块作为最小数据单位；
视频流提供模块630，包括：
第二数据包发送单元，用于将同一视场角的高清视频子流中的各tile块封装为一路数据包后，将与各视场角分别对应的数据包发送至观众端。
可选的，通过第一编码方式得到的背景全景视频流中，以完整背景全景图像作为最小数据单位；
该装置，还包括：
标准背景全景视频子流划分模块，用于在向观众端提供背景全景视频流之前，将背景全景视频流划分为多个标准背景全景视频子流；
视频流提供模块630，包括：
第三数据包发送单元，用于将与背景全景视频流对应的多个标准背景全景视频子流分别独立封装为多个数据包后，将多个数据包分别发送至观众端。
可选的，第一编码方式为高效率视频编码中的运动约束分块集编码方式；通过第一编码方式得到的背景全景视频流中，以tile块作为最小数据单位；
视频流提供模块630，包括：
第四数据包发送单元，用于将背景全景视频流中的各tile块共同封装为一路数据包后，将数据包发送至观众端。
本发明实施例所提供的高清视频的编码装置可执行本发明任意实施例所提供的高清视频的编码方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七中的一种高清视频的解码播放装置的结构示意图。如图7所示，该高清视频的解码播放装置包括：渲染播放模块710，高清解码结果生成模块720和双路渲染播放模块730，其中：
渲染播放模块710，用于在接收到直播服务器发送的背景全景视频流时，对背景全景视频流进行解码得到背景全景解码结果，并对背景全景解码结果进行渲染播放；
高清解码结果生成模块720，用于在接收到与背景全景视频流关联的，且与观众端的视场角匹配的高清视频流时，对高清视频流进行解码得到高清解码结果；
双路渲染播放模块730，用于将高清解码结果叠加至背景全景解码结果中，以进行双路渲染播放。
可选的，高清解码结果生成模块720，包括：
目标视场角确定单元，用于如果接收到与背景全景视频流关联的，多个可选视场角的高清视频流，则根据用户输入的视场角描述信息，确定与视场角描述信息匹配的目标视场角；
高清视频流提取单元，用于在多个可选视场角的高清视频流中，提取与目标视场角匹配的高清视频流。
本发明实施例所提供的高清视频的解码播放装置可执行本发明任意实施例所提供的高清视频的解码播放方法，具备执行方法相应的功能模块和有益效果。
实施例八
图8是本发明实施例八公开的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性设备12的框图。图8显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的高清视频的编码方法；或者，高清视频的解码播放方法。也即：实现一种高清视频的编码方法，包括：
根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
或者，实现一种高清视频的解码播放方法，包括：
在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
实施例九
本发明实施例九还公开了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种高清视频的编码方法，包括：
根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
或者，实现一种高清视频的解码播放方法，包括：
在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是、但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种高清视频的编码方法，由直播服务器执行，其特征在于，包括：
根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
2.根据权利要求1所述的方法，其特征在于，对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，包括：
对所述高清解码结果中的一路数据进行视频压缩后，按照第一编码方式将压缩结果进行视频编码，得到背景全景视频流；
对所述高清解码结果中的另一路数据，按照第二编码方式进行视频高分辨率编码，得到高清全景编码流；
根据所述高清全景编码流，形成至少一个视场角的高清视频流。
3.根据权利要求2所述的方法，其特征在于，根据所述高清全景编码流，形成至少一个视场角的高清视频流，包括：
获取与观众端发送的视场角描述信息匹配的目标视场角，并根据所述高清全景编码流，形成与所述目标视场角对应的高清视频流。
4.根据权利要求2所述的方法，其特征在于，根据所述高清全景编码流，形成至少一个视场角的高清视频流，包括：
获取与观众端匹配的多个可选视场角，并根据所述高清全景编码流，分别形成与各所述可选视场角对应的多个高清视频流。
5.根据权利要求2所述的方法，其特征在于，通过第二编码方式得到的高清视频流中，以完整高清图像作为最小数据单位；
在向观众端提供背景全景视频流和至少一个视场角的高清视频流之前，还包括：
将与每个视场角分别对应的高清视频流划分为多个标准高清视频子流；
向观众端提供至少一个视场角的高清视频流，包括：
将与同一视场角对应的多个标准高清视频子流分别独立封装为多个数据包后，将与各视场角分别对应的多个数据包分别发送至所述观众端。
6.根据权利要求2所述的方法，其特征在于，所述第二编码方式为高效率视频编码中的运动约束分块集编码方式；通过第二编码方式得到的高清视频流中，以tile块作为最小数据单位；
向观众端提供至少一个视场角的高清视频流，包括：
将同一视场角的高清视频子流中的各tile块封装为一路数据包后，将与各视场角分别对应的数据包发送至所述观众端。
7.根据权利要求2-6任一项所述的方法，其特征在于，通过第一编码方式得到的背景全景视频流中，以完整背景全景图像作为最小数据单位；
在向观众端提供背景全景视频流之前，还包括：
将所述背景全景视频流划分为多个标准背景全景视频子流；
向观众端提供背景全景视频流，包括：
将与所述背景全景视频流对应的多个标准背景全景视频子流分别独立封装为多个数据包后，将所述多个数据包分别发送至所述观众端。
8.根据权利要求6所述的方法，其特征在于，所述第一编码方式为高效率视频编码中的运动约束分块集编码方式；通过第一编码方式得到的背景全景视频流中，以tile块作为最小数据单位；
向观众端提供背景全景视频流，包括：
将所述背景全景视频流中的各tile块共同封装为一路数据包后，将所述数据包发送至所述观众端。
9.一种高清视频的解码播放方法，由观众端执行，其特征在于，包括：
在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
10.根据权利要求9所述的方法，其特征在于，接收与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流，包括：
如果接收到与所述背景全景视频流关联的，多个可选视场角的高清视频流，则根据用户输入的视场角描述信息，确定与所述视场角描述信息匹配的目标视场角；
在多个可选视场角的高清视频流中，提取与所述目标视场角匹配的高清视频流。
11.一种高清视频的编码装置，设置于直播服务器，其特征在于，包括：
高清解码结果生成模块，用于根据主播端的虚拟现实VR采集设备发送的VR视频数据，生成高清解码结果；
视频流生成模块，用于对高清解码结果进行双路视频编码，得到背景全景视频流和至少一个视场角的高清视频流，背景全景视频流的视频质量，和/或分辨率低于高清视频流；
视频流提供模块，用于向观众端提供背景全景视频流和至少一个视场角的高清视频流，以进行高清视频的终端播放。
12.一种高清视频的解码播放装置，设置于观众端，其特征在于，包括：
渲染播放模块，用于在接收到直播服务器发送的背景全景视频流时，对所述背景全景视频流进行解码得到背景全景解码结果，并对所述背景全景解码结果进行渲染播放；
高清解码结果生成模块，用于在接收到与所述背景全景视频流关联的，且与所述观众端的视场角匹配的高清视频流时，对所述高清视频流进行解码得到高清解码结果；
双路渲染播放模块，用于将所述高清解码结果叠加至所述背景全景解码结果中，以进行双路渲染播放。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如权利要求1-8中任一所述的高清视频的编码方法；或者，如权利要求9-10中任一所述的高清视频的解码播放方法。
14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一所述的高清视频的编码方法；或者，如权利要求9-10中任一所述的高清视频的解码播放方法。
CN202110119350.XA 2021-01-28 2021-01-28 一种高清视频的编码及解码播放方法、装置、设备和介质 Active CN112954394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110119350.XA CN112954394B (zh) 2021-01-28 2021-01-28 一种高清视频的编码及解码播放方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110119350.XA CN112954394B (zh) 2021-01-28 2021-01-28 一种高清视频的编码及解码播放方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112954394A true CN112954394A (zh) 2021-06-11
CN112954394B CN112954394B (zh) 2023-07-28

Family

ID=76238785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110119350.XA Active CN112954394B (zh) 2021-01-28 2021-01-28 一种高清视频的编码及解码播放方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112954394B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002519A (zh) * 2022-05-31 2022-09-02 北京势也网络技术有限公司 一种在低带宽网络下播放8k全景视频文件的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082284A1 (zh) * 2016-11-01 2018-05-11 深圳市圆周率软件科技有限责任公司 3d全景音视频直播系统及音视频采集方法
CN108810636A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 视频播放方法、设备及系统
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082284A1 (zh) * 2016-11-01 2018-05-11 深圳市圆周率软件科技有限责任公司 3d全景音视频直播系统及音视频采集方法
CN108810636A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 视频播放方法、设备及系统
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002519A (zh) * 2022-05-31 2022-09-02 北京势也网络技术有限公司 一种在低带宽网络下播放8k全景视频文件的方法

Also Published As

Publication number Publication date
CN112954394B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110557649B (zh) 直播交互方法、直播系统、电子设备及存储介质
US10574955B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
US6539545B1 (en) Interactive television system and method for simultaneous transmission and rendering of multiple encoded video streams
US6931660B1 (en) Interactive television system and method for simultaneous transmission and rendering of multiple MPEG-encoded video streams
JP4084941B2 (ja) 複数の符号化ビデオストリームの同時通信レンダリング方法、複数の符号化ビデオストリームの同時通信レンダリングシステム及び複数の符号化ビデオストリームの同時レンダリングのための対話型デコーダ
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN109963176B (zh) 视频码流处理方法、装置、网络设备和可读存储介质
CN110637463B (zh) 360度视频处理方法
Podborski et al. Virtual reality and DASH
CN112954394B (zh) 一种高清视频的编码及解码播放方法、装置、设备和介质
US20040008198A1 (en) Three-dimensional output system
CN113507641B (zh) 一种基于客户端的多路视频混屏方法、系统及设备
Podborski et al. 360-degree video streaming with MPEG-DASH
CN115484476A (zh) Vr直播视频的传输方法、装置以及存储介质
US11792380B2 (en) Video transmission method, video processing device, and video generating system for virtual reality
CN114339426A (zh) 一种视频直播编解码转发系统
US20180199002A1 (en) Video processing apparatus and video processing method cooperating with television broadcasting system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant