CN114584769A - 一种视角切换方法及装置 - Google Patents

一种视角切换方法及装置 Download PDF

Info

Publication number
CN114584769A
CN114584769A CN202011375600.8A CN202011375600A CN114584769A CN 114584769 A CN114584769 A CN 114584769A CN 202011375600 A CN202011375600 A CN 202011375600A CN 114584769 A CN114584769 A CN 114584769A
Authority
CN
China
Prior art keywords
terminal
server
frame
view
random insertion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011375600.8A
Other languages
English (en)
Inventor
陈胜平
任能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011375600.8A priority Critical patent/CN114584769A/zh
Priority to PCT/CN2021/132976 priority patent/WO2022111554A1/zh
Publication of CN114584769A publication Critical patent/CN114584769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种视角切换方法、及装置，用于减少视频播放过程中视角切换时的时延。该视角切换的方法包括服务器接收终端发送的视频播放请求，该视频播放请求携带偏置参数，该偏置参数指示从第一视角切换至第二视角时的帧的位置。服务器根据上述偏置参数生成随机插入帧，并根据该随机插入帧生成目标图像组(Group of Pictures,GOP)，并将该目标GOP发送给终端。其中，目标GOP包含上述随机插入帧，且与所述第二视角对应。终端接收并播放目标GOP实现播放画面从第一视角切换到第二视角。

Description

一种视角切换方法及装置
技术领域
本申请实施例涉及媒体技术领域，尤其涉及一种视角切换方法、及装置。
背景技术
用户在观看虚拟现实(virtual reality，VR)、自由视角视频以及多视角等场景时，可以自由选择观看视角，从而观看视频的不同部分的画面。其中，当用户从一个观看视角切换到另一个观看视角时，通常称为视角切换。
当发生上述视角切换时，终端通常会向服务器请求下载新视角的图像并播放，从而让用户相应观看到新视角的画面内容，实现视角切换。其中，在发生视角切换的时刻，终端当前正在播放的帧的位置通常称为切换点。切换点可以发生在图像组(Group OfPictures，GOP)中的任何位置，为了让终端能够正常解码新视角的图像，在现有技术中，终端通常需要较长的时间才能解码并显示新视角的当前时刻的画面，导致用户需要等待较长的时间才能看到新视角当前的画面内容，用户体验差。
发明内容
本申请实施例提供了一种视角切换方法及装置，有助于在终端视频播放视频过程中发生视角切换时，减少用户看到新画面的等待时间。
本申请实施例第一方面提供了一种视角切换方法，所述方法包括：服务器接收终端发送的视频播放请求，该视频播放请求携带偏置参数，偏置参数指示终端从第一视角切换至第二视角时的帧的位置；所述服务器根据该偏置参数生成随机插入帧，并根据随插入帧生成目标GOP，然后将该目标GOP发送给所述终端。其中，上述目标GOP与上述第二视角对应，且包含上述随机插入帧。
本申请实施例中，当终端发生视角切换时，服务器根据终端视频播放请求中的偏置参数动态生成随机插入帧，并根据随机插入帧生成与第二视角对应、且包含所述随机插入帧的目标GOP，以便于终端在接收到目标GOP之后，能够直接解码并播放第二视角对应的画面，因而可以让用户在较短的时间内观看到第二视角的画面，提升了用户体验。
在一种可能的实施方式中，服务器根据偏置参数生成随机插入帧，可以为:所述服务器根据所述第二视角中的参考帧解码上述偏置参数所指示的帧，并将该解码得到的数据重新编码为随机插入帧，该随机插入帧可被独立解码，且为所述目标GOP中其他帧的参考帧。
在一种可能实施方式中，偏置参数指示终端从第一视角切换至第二视角时的帧的位置，例如，偏置参数可以是发生视角切换时当前播放的帧的下一帧与本GOP的I帧之间的偏移量。其中，本GOP是指发生视角切换时当前播放的帧所属的GOP，即切换点对应的GOP。
在一种可能实施方式中，第一视角下的图像划分为多个视频块tile，每一个tile对应一个视频流，每一个视频流下包括多个GOP，每个GOP又由多个视频帧组成，其中一部分视频帧为关键帧，可以作为后续帧的参考帧。
一种可能的实施方式中，上述视频播放请求还包括有切换标志，该切换标志用于向服务器指示终端视角切换。
一种可能的实施方式中，视频播放请求可以是虚拟现实VR视频播放请求和自由视角视频播放请求中的任意一种，即本申请提供的视角切换方法可以用于实现虚拟现实VR视频播放或者自由视角视频播放等存在多种视角切换的视频播放场景下的视角切换。
一种可能的实施方式中，所述偏置参数所指示的帧可以是P帧，也可以是B帧。因而，本申请实施例中动态生成随机插入可以应用于多种视频播放请求场景下的多种编码帧，提升了方案应用的广泛性。
一种可能的实施方式中，服务器根据第二视角中的参考帧解码偏置参数所指示的帧生成随机插入帧，该随机插入帧和偏置参数所指示的帧具有相同的显示时间戳PTS和解码时间戳DTS，以便于终端能够流畅地播放第二视角的图像。
一种可能的实施方式中，服务器可以是内容分发网络(content deliverynetwork,CDN)中的服务器。可选地，该服务器上还可以集成编码算力卡，利用编码算力卡快速生成随机插入帧，以便于进一步降低服务器的处理时延，从而让用户能更快地观看到目标视角的内容，提升用户体验。
可选地，上述终端包括虚拟现实VR设备。
本申请实施例第二方面提供了一种视角切换方法，终端向服务器发送视频播放请求，该视频播放请求携带偏置参数，该偏置参数指示终端从第一视角切换至第二视角时的帧的位置；然后，该终端接收并播放所述服务器发送的目标GOP，该目标GOP与所述第二视角对应、并包括该随机插入帧，该随机插入帧由所述服务器根据所述偏置参数生成。
本申请实施例中，终端在切换视角后，接收到的目标GOP与第二视角对应且包含随机插入帧，从而让终端可以直接播放当前第二视角的画面，因而可以降低用户观看到第二视角画面的等待时延，提升了用户体验。
一种可能的实施方式中，随机插入帧可被独立解码，且随机插入帧为目标GOP中其他帧的参考帧。
一种可能的实施方式中，上述视频播放请求还包括有切换标志，该切换标志用于向服务器指示终端发生视角切换。
一种可能的实施方式中，服务器可以是内容分发网络CDN中的服务器，进一步地，该服务器上可以集成编码算力卡，利用编码算力卡快速生成随机插入帧，以便于进一步降低服务器的处理时延，从而让用户能更快地观看到目标视角的内容，提升用户体验。
可选地，上述终端包括虚拟现实VR设备。
本申请实施例第三方面提供了一种服务器，服务器包括接收单元，处理单元和发送单元。其中：接收单元，用于接收终端发送的视频播放请求，该视频播放请求携带偏置参数，偏置参数指示终端从所述第一视角切换至第二视角时的帧的位置；处理单元，用于根据偏置参数生成随机插入帧；处理单元还用于根据随机插入帧生成目标GOP，目标GOP包括随机插入帧，且目标GOP与所述第二视角对应；发送单元，用于将目标GOP发送给终端。
一种可能的实施方式中，上述处理单元具体用于根据第二视角中的参考帧解码偏置参数所指示的帧，并重新编码为随机插入帧，该随机插入帧可以被独立解码，且为目标GOP中其他帧的参考帧。
一种可能的实施方式中，上述视频播放请求包括切换标志，该切换标志用于向服务器指示终端发生视角切换。
一种可能的实施方式中，上述视频播放请求包括虚拟现实VR视频播放请求和自由视角视频播放请求中的一种。
本申请实施例第四方面提供了一种终端，包括发送单元，接收单元和播放单元。其中：发送单元，用于向服务器发送视频播放请求，视频播放请求携带偏置参数，偏置参数指示终端从第一视角切换至第二视角时的帧的位置；接收单元，用于接收服务器发送的目标GOP；播放单元，终端播放服务器发送的目标GOP，且目标GOP与第二视角对应，目标GOP包括随机插入帧，随机插入帧由服务器根据偏置参数生成。
一种可能的实施方式中，上述随机插入帧可以被独立解码，并且为目标GOP中其他帧的参考帧。
一种可能的实施方式中，上述视频播放请求包括切换标志，该切换标志用于向服务器指示终端发生视角切换。
一种可能的实施方式中，上述视频播放请求包括虚拟现实VR视频播放请求和自由视角视频播放请求中的一种。
本申请实施例第五方面提供了一种服务器，包括处理器、存储器、输入输出设备以及总线，处理器、存储器、输入输出设备与总线相连；
处理器用于执行本申请实施例第一方面和第三方面所述的方法。
本申请实施例第六方面提供了一种终端，包括处理器、存储器、输入输出设备以及总线，处理器、存储器、输入输出设备与所述总线相连；
处理器用于执行本申请实施例第二方面和第四方面所述的方法。
本申请实施例第七方面提供了一种视频播放系统，包括终端和服务器，其中，服务器用于执行上述第一方面和第三方面的方法，终端用于执行上述第二方面和第四方面的方法。
本申请实施例第八方面提供了一种计算机可读存储介质，计算机可读存储介质中保存有程序，当所述计算机执行程序时，执行本申请实施例第一方面至第四方面任一项所述的方法。
本申请实施例第九方面提供了一种计算机程序产品，其特征在于，当计算机程序产品在计算机上执行时，计算机执行本申请实施例第一方面至第四方面任一项所述的方法。
附图说明
图1为本申请实施例提供的一种视频播放系统架构示意图；
图2为本申请实施例提供的一种视频块划分的示意图；
图3为本申请实施例提供的一种图像组的封装示意图；
图4为本申请实施例提供的一种视角切换方法的流程示意图；
图5为本申请实施例提供的一种视角切换的示意图；
图6为本申请实施例提供的一种发生视角切换时服务器端处理过程和终端播放的内容的示意图；
图7为本申请实施例提供的一种服务器的结构示意图；
图8为本申请实施例提供的一种终端的结构示意图；
图9为本申请实施例提供的另一种服务器的结构示意图；
图10为本申请实施例提供的另一种终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
终端，又称之为用户设备(user equipment，UE)，是一种向用户提供语音和/或数据连通性的设备。例如，具有无线连接功能的手持式设备、车载设备等。目前，一些终端的举例为：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device，MID)、可穿戴设备，例如虚拟现实VR眼镜、智能手表、智能手环、计步器等。
视场角(field of view，FOV)又称为视场，视场角的大小决定了光学仪器的视野范围。在虚拟现实(virtual reality，VR)中，水平视场角表示水平方向上人眼所能看到的角度，垂直视场角表示垂直方向上人眼所能看到的角度。
视频块(tile)是高效视频编码(high efficiency video coding，HEVC)标准中的概念，一幅图像可以从水平和垂直方向划分为若干个矩形区域，每一个区域就是一个视频块，每个Tile包含整数个编码树单元(coding tree unit，CTU)，其可以独立解码。
图像组(group of pictures，GOP)具体是指一系列连续的图片，是编解码器存取的基本单位，一个GOP由一串I帧、B帧和P帧中的至少一种组成。GOP的起始帧为I帧，一个GOP的长度是一个I帧到下一个I帧的间隔。GOP的长度是在编码中可设置的，GOP越长，提供的压缩比越高。
I帧为视频压缩中的关键帧，用帧内压缩编码，无需参考其他帧就可以独立解码。
P帧为前向预测编码帧，P帧表示的是当前帧与其前面的帧的差别，因此需要参考其前面的帧来完成解码。
B帧为双向预测编码帧，也就是B帧记录的是当前帧与其前后帧的差别，因此需要参考其前面和后面的帧来完成解码。
随机插入帧(random access frame)为一种实时重编码的技术中服务器根据终端交互的时间点实时生成该时间点的可以独立解码的帧，可以提升视频播放的实时性。
本申请实施例中的视角切换方法可以应用于多种视频类型，例如，可以应用于VR视频，或者自由视角视频等。
下面介绍本申请提供的视角切换的方法。请参阅图1,图1为本申请实施例提供的视角切换方法所应用的视频播放系统架构示意图，该视频播放系统包括终端101和服务器102。此外，在实际应用中，上述视频播放系统还可能包括转码引擎103。
服务器102上保存有视频的分片。通常情况下，对于可从多个视角观看的视频，例如，上述的VR视角视频、或者自由视角视频，其每个视角至少包含一路独立的码流的分片，以便于客户端根据当前的视角范围选择与视角位置相对应的码流显示。也就是说，上述可从多个视角观看的视频通常会包含多路独立的码流分片，服务器102会相应保存上述视频的所述多路独立的码流的分片。
下面以VR视频为例进行详细说明。VR视频通常会被切分成多个tile，每个tile对应一路独立的码流分片。终端设备的视角范围通常至少包含一个tile，即每个视角范围通常至少与一个tile对应。如图1所示的例子中，VR视频包含被分成tile1至tile9共9个tile，每个tile对应一路独立的码流的分片。服务器102上存储的该VR视频的分片包含上述tile1至tile9共9路独立的tile码流的分片。此外，服务器102上通常还会保存该VR视频的一路低质量全景码流的分片，该低质量全景码流的分片会始终被终端请求并在终端上解码显示，以便于用户在切换视角时能立即看到新视角的画面。其中，低质量全景码流是对整个VR视频(无需划分视频块)以较低的质量(例如较低的码率，或者较低的分辨率)进行编码生成的一路码流。与上述低质量全景码流相对应，上述tile码流的分片是高质量的码流分片(通常是以较高的码率或者分辨率进行编码得到的)。可以理解的是，图1中所示的9个tile仅作为介绍高质量的tile码流的一个示例，本申请实施例中不对VR视频的tile数量做限定。
终端101用于向服务器102发送视频播放请求，该视频播放请求中可以携带偏置参数，该偏置参数指示终端101从第一视角切换至第二视角时的帧的位置。终端101还用于接收并播放服务器102发送的目标GOP，该目标GOP与上述第二视角对应，且包括随机插入帧。其中，上述随机插入帧由服务器根据上述偏置参数生成，可以被独立解码，且为上述目标GOP中其他帧的参考帧。
服务器用于接收终端发送的视频播放请求，该视频播放请求中携带有偏置参数，该偏置参数指示终端从第一视角切换至第二视角时的帧的位置。服务器还用于根据该偏置参数动态生成随机插入帧、并根据该随机插入帧生成上述的目标GOP，该目标GOP与上述第二视角对应，且包含上述随机插入帧。其中，上述随机插入帧可被独立解码,且为上述目标GOP中其他帧的参考帧。服务器102还用于将上述目标GOP发送给所述终端101。
在实际应用时，服务器102可以是内容分发网络(content delivery network，CDN)中作为内容分发服务器的中心服务器或者边缘服务器。以边缘服务器为例，边缘服务器上可以存储上述低质量全景视频码流和高质量tile码流的分片，并在接收到携带偏置参数的视频播放请求时，根据偏置参数动态实时生成随机插入帧，并生成目标GOP。可选地，该边缘服务器上可以集成编码算力卡，并可以在接收到上述视频播放请求时，调用编码算力卡实时生成随机插入帧，以便于能更进一步降低视角切换过程中的处理时延。
在上述描述中，服务器102上保存的VR视频的低质量全景码流的分片，以及高质量tile码流的分片，通常是由转码引擎103生成并推送到服务器上的。
转码引擎103生成低质量全景码流的分片的过程可以为：以较低的码率或者分辨率编码投影后的VR视频，生成低质量的全景码流，并对该码流进行切片、封装生成低质量的全景码流的分片。
转码引擎103生成高清tile码流的分片的过程包括：对VR视频进行tile划分、编码、切片、封装。
下面以分辨率为8K的VR视频为例，并结合图2至图3，对转码引擎生成VR视频的高质量的tile码流的分片的过程进行介绍。
转码引擎需要首先对VR视频进行视频块(tile)的划分。图2示出了一种tile划分的方式，在该方式中，将8K VR视频划分为42个视频块(tile)，图2中0-41为视频块的编号。可以理解的是，tile划分的方式还可以是其他的方式，本申请对此不作限定。
在完成tile划分之后，转码引擎会根据tile划分方式，对VR视频以较高的码率或者分辨率编码生成高质量的tile码流，其中，每个tile对应一路独立的码流。对于图2的例子，转码引擎会生成42路高质量tile码流。然后，转码引擎对每一路tile码流进行切片、封装生成每一路tile码流对应的高质量分片。
可以理解的是，为了能够实现视角的无缝切换，转码引擎在生成上述高质量tile码流时，应该保持所有tile码流的GOP的长度一致，且应保持所有tile码流的GOP中的相同位置的帧的类型、以及显示时间戳(presentation time stamp，PTS)和解码时间戳(decoding time stamp，DTS)也一致。此外，转码引擎在对上述tile码流切片时，还应保持所有tile码流的分片的长度一致。
图3示出了上述转码引擎封装的高质量分片或低清分片的一种格式。在该格式中，每个分片包含一个GOP，GOP的长度为32帧，其中每4帧封装成一个视频分片(chunk)，每个GOP包含8个chunk。其中，“styp”表示段类型(segment type)，“sidx”表示段索引(segmentindex)，“moof”表示视频分片(movie fragment)，“madt”表示媒体数据容器(media datacontainer)。
可选地，上述视频播放系统可以包括转码引擎103，在这种实现方式下，转码引擎103可以和上述服务器102集成在一起部署，也可以分开部署，本申请对此不作限定。
可以理解的是，上述转码引擎103也可以是独立于上述视频播放系统的第三方设备，本申请对此不作限定。
下面以分辨率为8K的VR视频为例，并结合图4至图6，对本申请实施例提供的视角切换方法进行介绍。
图4是本申请实施例提供的一种视角切换方法的流程图，该视角切换方法可以基于前述图1所示的视频播放系统架构实现，该方法包括但不限于如下步骤：
401、终端检测到当前发生视角切换，向服务器发送视频播放请求。
用户通过终端观看VR视频。假设该用户当前正在观看该VR视频的第一视角，并且假设一段时间后，该用户从上述第一视角切换到第二视角。其中，用户可以通过多种方式实现上述从第一视角切换到第二视角的过程，例如，用户可以通过转动头部、或者通过操作鼠标来切换视角等。本申请对此不作限定。
相应地，当用户切换视角时，终端能检测到对应的视角切换信息。具体地，终端可以通过头盔或VR眼镜上的传感器检测到用户从第一视角切换到第二视角，或者通过接受鼠标事件检测到用户从第一视角切换到第二视角。然后，终端向服务器发送视频播放请求，该视频播放请求用于向服务器请求第二视角的图像。
请参考图5，假设上述第一视角的范围对应tile5至7、tile13至18、tile25至30和tile35至37，第二视角的范围对应tile6至8、tile15至20、tile27至32和tile36至38。
在上述第一视角和第二视角对应的所有tile中，对于只与第一视角的范围对应的tile，例如上述tile5、13、14、25、26、35，因为不与第二视角的范围对应(即已经被移出当前的视角范围)，因此，终端可以丢弃已经下载并存储在本地的上述tile的码流分片。
对于第一视角和第二视角下共用的tile(即同时与第一视角和第二视角的范围对应的tile)，例如上述的tile6、7、15至18、27至30、36、37，因为仍然与当前视角即第二视角的范围对应，并且因为这类tile的码流的分片已经在播放第一视角时被下载并保存在终端上，因而终端只需要保留且继续播放这类tile的分片数据，而不需要重新向服务器请求其对应的分片。
而对于只与第二视角的范围对应的tile(即切换视角时新进入到第二视角范围中的tile)，例如上述的tile8、19、20、31、32、38，终端上并没有这类tile的码流的分片，因此需要向服务器请求这类tile的码流的分片。因而，终端向服务器发送视频播放请求，该视频播放请求用于请求上述tile8,19,20,31,32,38对应的码流的分片。具体地，终端向服务器发送的上述视频播放请求消息中可携带有上述tile8,19,20,31,32,38的标识信息。
此外，上述视频播放请求携带偏置参数，该偏置参数用于指示服务器根据该偏置参数生成随机插入帧，具体地，服务器需要根据该偏置参数确定要生成的随机插入帧的位置。上述偏置参数可以是发生视角切换时，当前播放的帧的下一帧与本GOP的I帧之间的偏移量。其中，本GOP是指发生视角切换时当前播放的帧所属的GOP，即切换点对应的GOP。以图6为例，假设一个GOP的长度为32帧，且当发生视角切换时，终端当前播放的帧为本GOP的第14帧，则上述的偏置参数为15。
可选地，本申请实施例中的视频播放请求还可以携带切换标志，该切换标志用于向服务器指示终端当前发生了视角切换。
可以理解的是，上述图5示出的第一视角和第二视角各自覆盖的tile数量和位置，仅为一种举例。实际应用中，每个视角覆盖的tile的数量和位置与tile的划分方式、终端设备视场角的大小、用户切换视角时的旋转速度等都有关系，本申请对此不作限定。
402、服务器根据视频播放请求中的偏置参数生成随机插入帧、根据所述随机插入帧生成目标GOP，并将所述目标GOP发送给终端。
服务器在接收到上述视频播放请求后，根据偏置参数动态生成可独立解码的随机插入帧。具体的，服务器根据第二视角图像组的参考帧，解码第二视角区域对应的tile码流中偏置参数所指示的帧，然后将解码后的所述偏置参数所指示的帧的图像数据重新编码为仅帧内参考、可独立解码的随机插入帧，然后生成包含该随机插入帧的目标GOP。
在该实施例中，终端向服务器请求的第二视角的数据为tile8、19、20、31、32、38对应的码流数据，而由前述可知，每一路tile对应的都是一路独立的码流，因而，服务器会对上述tile8、19、20、31、32、38中的每一路码流，都生成相应的随机插入帧和目标GOP。
下面以上述tile8对应的码流为例，并结合图6，介绍服务器根据偏置参数生成tile8对应的码流的随机插入帧和目标GOP的过程。
服务器从tile8对应的码流中切换点对应的GOP的第一帧开始解码，直到解码完所述偏置参数所指示的帧，然后将所述偏置参数所指示的帧的解码数据，例如YUV数据，重新编码为随机插入帧。其中，该随机插入帧可被独立解码，即其中的图像块都是以帧内参考的模式进行编码的。在上述描述中，切换点对应的GOP是指所述偏置参数指示的帧所属的GOP。
然后，服务器生成tile8的目标GOP，该目标GOP的第一帧为上述服务器实时生成的tile8对应的码流的随机插入帧，该目标GOP中的其余的帧为所述切换点对应的GOP中偏置参数指示所指示的帧的后续所有帧。服务器生成的目标GOP的示例可以参考图6，其中，随机插入图6所示的目标GOP中的P’帧。
由上述可知，上述随机插入帧是目标GOP的关键帧，目标GOP中除该随机插入帧之外的其他帧，可以直接或间接地依赖该随机插入帧进行正确解码。也就是说，服务器生成的目标GOP能够不依赖其他数据而被独立解码，以使得终端能够正常播放该目标GOP。
可以理解的是，如果不发生视角切换，上述目标GOP中除随机插入帧之外的帧可以直接或间接地依赖上述第二视角的切换点对应的GOP中偏置参数所指示的帧进行解码，因而，上述随机插入帧的图像内容与上述切换点对应的GOP中偏置参数指示的帧的图像内容相同。
此外，上述随机插入帧和第二视角的切换点对应的GOP中偏置参数所指示的帧具有相同的显示时间戳PTS和解码时间戳DTS，以便于终端可以流畅地播放第二视角的图像。
进一步地，服务器在生成上述目标GOP之后，还可以进一步对该目标GOP进行封装，例如，可以按照图3所示的方式对目标GOP进行封装。
按照上述同样的方式，服务器生成第二视角下新增的其他的tile码流的随机插入帧和相应的目标GOP，即生成tile19、20、31、32、38码流的随机插入帧和目标GOP。
最后，服务器将第二视角下新增的所有的tile的目标GOP发送给终端。在该实施例中，服务器将上述tile8、19、20、31、32、38码流的目标GOP发送给终端。
本申请实施例中，随机插入帧是服务器根据终端的视频播放请求实时动态生成的。具体地，服务器根据每一次视频播放请求中的偏置参数动态生成随机插入帧。当终端检测到再次发生视角切换时，会根据所述再次发生的视角切换时的帧的位置确定偏置参数，并向服务器再次发送包含该偏置参数的视频播放请求。相应地，服务器会根据新的视频播放请求中的偏置参数生成新的随机插入帧、以及对应的目标GOP。
在上述图6的例子中，视频流中并不包含B帧。但在实际应用中，视频流中可以包含P帧或B帧。本申请实施例中偏置参数所指示的帧可以为P帧，也可以为B帧，相应地，随机插入帧可以是由P帧解码再编码得到，也可以是由B帧解码再编码得到，具体取决于切换点对应的帧类型。当切换点对应的帧为B帧时，服务器生成随机插入帧B’的方法与生成随机插入帧P’帧的方法类似，此处不再赘述。
可选地，服务器在生成随机插入帧时，可以生成多种码率的随机插入帧，在视角切换时根据网络情况下载相应码率的随机插入帧，以支持视角的快速切换，使得视角切换时不会随着网络环境的变化而导致切换时延劣化。
403、终端接收服务器的发送的目标GOP并播放。
终端播接收到上述第二视角下新增tile8、19、20、31、32、38的目标GOP之后播放所述目标GOP，从而实现从第一视角向第二视角的切换。
图6示出的是上述视角切换过程中，服务器端处理过程和终端播放的内容的示意图。请参考图6，在视角切换前，终端播放的是第一视角对应的tile码流的图像，且播放切换点对应的GOP的第14帧；在视角切换后，终端播放的是与第二视角对应的目标GOP，即上述tile8、19、20、31、32、38码流的目标GOP，且所述目标GOP的第一帧是所述偏置参数所指示的帧，即切换点对应的GOP的第15帧。可见，因为发生了视角切换，终端播放图像从第一视角对应的tile码流切换到第二视角对应的tile码流，但终端播放的上述第一视角对应的tile码流和第二视角对应的tile码流在帧序号上是连续的。且前述可知，所有tile码流的GOP中的相同位置的帧的类型、以及PTS和DTS是一致的，因此，终端在视角切换前后播放的图像在帧序号、PTS和DTS上是连续的，因而终端能够流畅播放视角切换前后的图像内容，而不会因视频切换前后帧的PTS或DTS不连续导致播放卡顿。
完成上述从第一视角切换到第二视角之后，在终端再次检测到视角切换之前，例如检测到从当前的第二视角再次切换到第三视角或第一视角等，终端会持续请求与当前第二视角的范围对应的tile的码流的分片，即上述tile6至8、tile15至20、tile27至32和tile36至38的码流的分片，以便于终端可以持续地播放第二视角的画面内容。可以理解的是，在这种情况下，终端向服务器发送的视频播放请求中不需要携带偏置参数。
本申请实施例中，服务器根据终端从第一视角切换到第二视角时的帧的位置生成可独立解码的随机插入帧，并生成包含该随机插入帧且与第二视角对应的目标GOP。因而，终端在接收到该目标GOP后，可以立即解码并播放第二视角的图像，从而让用户迅速观看到所述第二视角的当前的画面内容。因此，本申请实施例提供的方案可以在发生视角切换时，有效降低用户看到第二视角的画面的等待时延，提升用户体验。
并且，在本申请提供的方案中，终端下载的上述目标GOP是第二视角的切换点对应的GOP中切换点之后的内容，而不是第二视角中切换点对应的整个GOP。因而相比现有技术，本申请实施例的方案也可以减少视角切换时终端下载的数据量，因而可以降低发生视角切换时对网络带宽的要求，也能进一步降低终端发生视角切换时的处理时延。
上面对本申请实施例中视角切换方法进行了描述，下面对本申请实施例中的装置进行介绍。
请参阅图7，本申请实施例中的一个服务器包括：
接收单元701，用于接收终端发送的视频播放请求，视频播放请求携带偏置参数，偏置参数指示终端从第一视角切换至第二视角时的帧的位置；
处理单元702，用于根据偏置参数生成随机插入帧；
处理单元702还用于根据随机插入帧生成目标GOP，目标GOP包括随机插入帧，且目标GOP与第二视角对应；
发送单元703，用于将目标GOP发送给终端。
本申请实施例中，处理单元702具体用于：
根据第二视角中的参考帧解码偏置参数所指示的帧，并重新编码为随机插入帧，随机插入帧可以独立解码，且为目标GOP中其他帧的参考帧。
在一些可选的实施方式中，上述视频播放请求包括切换标志，该切换标志用于向服务器指示终端发生视角切换。
在一些可选的实施方式中，视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中的一种。
本实施例中，服务器可以执行前述图4所示实施例中服务器所执行的操作，具体此处不再赘述。
请参阅图8，本申请实施例中的一个终端包括：
发送单元801，用于向服务器发送视频播放请求，视频播放请求携带第一视角所对应的偏置参数，偏置参数指示从第一视角切换至第二视角的帧位置；
播放单元802，用于播放服务器发送的目标GOP，且目标GOP与第二视角对应，目标GOP包括随机插入帧，随机插入帧由服务器根据偏置参数生成。
接收单元803，用于接收服务器发送的目标GOP。在一些可选的实施方式中，随机插入帧可被独立解码，且为目标GOP中其他帧的参考帧。
在一些可选的实施方式中，上述视频播放请求包括切换标志，该切换标志用于向服务器指示终端发生视角切换。
在一些可选的实施方式中，视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中的一种。
本实施例中，终端可以执行前述图4所示实施例中终端所执行的操作，具体此处不再赘述。
请参阅图9，图9是本申请实施例提供的一种服务器结构示意图，该服务器900可以包括一个或一个以上中央处理器(central processing units，CPU)901和存储器905，该存储器905中存储有一个或一个以上的应用程序或数据。
其中，存储器905可以是易失性存储或持久存储。存储在存储器905的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器901可以设置为与存储器905通信，在服务器900上执行存储器905中的一系列指令操作。
服务器900还可以包括一个或一个以上电源902，一个或一个以上有线或无线网络接口903，一个或一个以上输入输出接口904，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
服务器900可以执行前述图1至图6所示实施例中服务器所执行的操作，具体此处不再赘述。
请参阅图10，图10是本申请实施例提供的一种终端结构示意图，该终端1000可以包括一个或一个以上中央处理器(central processing units，CPU)1001和存储器1005，该存储器1005中存储有一个或一个以上的应用程序或数据。
其中，存储器1005可以是易失性存储或持久存储。存储在存储器1005的程序可以包括一个或一个以上模块，每个模块可以包括对终端中的一系列指令操作。更进一步地，中央处理器1001可以设置为与存储器1005通信，在终端1000上执行存储器1005中的一系列指令操作。
终端1000还可以包括一个或一个以上电源1002，一个或一个以上有线或无线网络接口1003，一个或一个以上输入输出接口1004，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
终端1000可以执行前述图1至图6所示实施例中终端所执行的操作，具体此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (20)

1.一种视角切换方法，其特征在于,包括：
服务器接收终端发送的视频播放请求，所述视频播放请求携带偏置参数，所述偏置参数指示所述终端从第一视角切换至第二视角时的帧的位置；
所述服务器根据所述偏置参数生成随机插入帧；
所述服务器根据所述随机插入帧生成目标图像组(Group of Pictures,GOP)，所述目标GOP包括所述随机插入帧，且所述目标GOP与所述第二视角对应；
所述服务器将所述目标GOP发送给所述终端。
2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述偏置参数生成随机插入帧,包括：
所述服务器根据所述第二视角中的参考帧解码所述偏置参数所指示的帧，并重新编码为随机插入帧，所述随机插入帧可被独立解码，且为所述目标GOP中其他帧的参考帧。
3.根据权利要求1或2所述的方法，其特征在于，所述播放请求包括切换标志，所述切换标志用于向所述服务器指示所述终端发生视角切换。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中的任意一种。
5.一种视角切换方法，其特征在于，包括：
终端向服务器发送视频播放请求，所述视频播放请求携带偏置参数，所述偏置参数指示所述终端从第一视角切换至第二视角时的帧的位置；
所述终端接收并播放所述服务器发送的目标GOP，所述目标GOP与所述第二视角对应，所述目标GOP包括随机插入帧，所述随机插入帧由所述服务器根据所述偏置参数生成。
6.根据权利要求5所述的方法，其特征在于，包括：
所述随机插入帧可被独立解码，且为所述目标GOP中其他帧的参考帧。
7.根据权利要求5或6所述的方法，其特征在于，所述播放请求包括切换标志，所述切换标志用于向所述服务器指示所述终端发生视角切换。
8.根据权利要求5至7中任一项所述的方法，其特征在于，所述视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中的任意一种。
9.一种服务器，其特征在于，包括：
接收单元，用于接收终端发送的视频播放请求，所述视频播放请求携带偏置参数，所述偏置参数指示所述终端从第一视角切换至第二视角时的帧的位置；
处理单元，用于根据所述偏置参数生成随机插入帧，并根据所述随机插入帧生成目标GOP，所述目标GOP包括所述随机插入帧，且所述目标GOP与所述第二视角对应；
发送单元，用于将所述目标GOP发送给所述终端。
10.根据权利要求9所述的服务器，其特征在于，所述处理单元在根据所述偏置参数生成随机插入帧时具体用于：
根据所述第二视角中的参考帧解码所述偏置参数所指示的帧，并重新编码为随机插入帧，所述随机插入帧可被独立解码，且为所述目标GOP中其他帧的参考帧。
11.根据权利要求9或10所述的服务器，其特征在于，所述播放请求包括切换标志，所述切换标志用于向所述服务器指示所述终端发生视角切换。
12.根据权利要求9至11中任一项所述的服务器，其特征在于，所述视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中任意的一种。
13.一种终端，其特征在于，包括：
发送单元，用于向服务器发送视频播放请求，所述视频播放请求携带偏置参数，所述偏置参数指示所述终端从第一视角切换至第二视角时的帧的位置；
接收单元，用于接收所述服务器发送的目标GOP；
播放单元，用于播放所述目标GOP，所述目标GOP与所述第二视角对应，所述目标GOP包括随机插入帧，所述随机插入帧由所述服务器根据所述偏置参数生成。
14.根据权利要求13所述的终端，其特征在于，所述随机插入帧可被独立解码，且为所述目标GOP中其他帧的参考帧。
15.根据权利要求13或14所述的终端，其特征在于，所述播放请求包括切换标志，所述切换标志用于向所述服务器指示所述终端发生视角切换。
16.根据权利要求13至15中任一项所述的终端，其特征在于，所述视频播放请求是虚拟现实VR视频播放请求和自由视角视频播放请求中的任意一种。
17.一种服务器，其特征在于，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备与所述总线相连；
所述处理器用于执行权利要求1至4中任一项所述的方法。
18.一种终端，其特征在于，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备与所述总线相连；
所述处理器用于执行权利要求5至8中任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中保存有程序，当所述计算机执行所述程序时，执行如权利要求1至8中任一项所述的方法。
20.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上执行时，所述计算机执行如权利要求1至8中任一项所述的方法。
CN202011375600.8A 2020-11-30 2020-11-30 一种视角切换方法及装置 Pending CN114584769A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011375600.8A CN114584769A (zh) 2020-11-30 2020-11-30 一种视角切换方法及装置
PCT/CN2021/132976 WO2022111554A1 (zh) 2020-11-30 2021-11-25 一种视角切换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375600.8A CN114584769A (zh) 2020-11-30 2020-11-30 一种视角切换方法及装置

Publications (1)

Publication Number Publication Date
CN114584769A true CN114584769A (zh) 2022-06-03

Family

ID=81753733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375600.8A Pending CN114584769A (zh) 2020-11-30 2020-11-30 一种视角切换方法及装置

Country Status (2)

Country Link
CN (1) CN114584769A (zh)
WO (1) WO2022111554A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174943A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种边云协同及客户端自适应的自由视角播放方法及系统
CN115174942A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种自由视角切换方法及交互式自由视角播放系统
CN116208783A (zh) * 2023-01-30 2023-06-02 浪潮云信息技术股份公司 一种音视频存储、点播方法及装置
WO2023237095A1 (zh) * 2022-06-09 2023-12-14 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596373B (zh) * 2024-01-17 2024-04-12 淘宝（中国）软件有限公司 基于动态数字人形象进行信息展示的方法及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041179A1 (zh) * 2017-08-30 2019-03-07 华为技术有限公司 Vr视频播放处理方法及设备
CN109698949B (zh) * 2017-10-20 2020-08-21 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、装置和系统
CN111372145B (zh) * 2020-04-15 2021-07-27 烽火通信科技股份有限公司 一种多视点视频的视点切换方法和系统
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023237095A1 (zh) * 2022-06-09 2023-12-14 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质
CN115174943A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种边云协同及客户端自适应的自由视角播放方法及系统
CN115174942A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种自由视角切换方法及交互式自由视角播放系统
CN115174943B (zh) * 2022-07-08 2023-10-31 叠境数字科技（上海）有限公司 一种边云协同及客户端自适应的自由视角播放方法及系统
CN116208783A (zh) * 2023-01-30 2023-06-02 浪潮云信息技术股份公司 一种音视频存储、点播方法及装置

Also Published As

Publication number Publication date
WO2022111554A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
CN110036641B (zh) 一种处理视频数据的方法、设备及计算机可读存储介质
CN114584769A (zh) 一种视角切换方法及装置
TWI712313B (zh) 感興趣區之發信號之系統及方法
EP2606641B1 (en) Method and apparatus for reducing deterioration of a quality of experience of a multimedia service in a multimedia system
JP2022533734A (ja) イマーシブメディアコンテンツの提示および双方向性の３６０°ビデオ通信
Skupin et al. HEVC tile based streaming to head mounted displays
CN110784740A (zh) 视频处理方法、装置、服务器及可读存储介质
US10999583B2 (en) Scalability of multi-directional video streaming
WO2022017149A1 (zh) 一种虚拟现实vr场景的视频处理方法及相关设备
US10742704B2 (en) Method and apparatus for an adaptive video-aware streaming architecture with cloud-based prediction and elastic rate control
RU2767300C2 (ru) Высокоуровневая передача служебных сигналов для видеоданных типа "рыбий глаз"
CN110582012B (zh) 视频切换方法、视频处理方法、装置及存储介质
KR101898822B1 (ko) 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
CN112219403B (zh) 沉浸式媒体的渲染视角度量
CN110351606B (zh) 媒体信息处理方法、相关设备及计算机存储介质
WO2020141259A2 (en) Method and apparatus for storage and signaling of media segment sizes and priority ranks
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
AU2018250308B2 (en) Video compression using down-sampling patterns in two phases
Podborski et al. Virtual reality and DASH
US9060184B2 (en) Systems and methods for adaptive streaming with augmented video stream transitions using a media server
CN118400537A (zh) 用于分段流动性的代码转换器调节
Zhang et al. RealVR: Efficient, economical, and quality-of-experience-driven VR video system based on MPEG OMAF
US20140321556A1 (en) Reducing amount of data in video encoding
CN112470481A (zh) 用于对基于图块的沉浸式视频进行编码的编码器和方法
Podborski et al. 360-degree video streaming with MPEG-DASH

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination