CN115174943B - 一种边云协同及客户端自适应的自由视角播放方法及系统 - Google Patents
一种边云协同及客户端自适应的自由视角播放方法及系统 Download PDFInfo
- Publication number
- CN115174943B CN115174943B CN202210798763.XA CN202210798763A CN115174943B CN 115174943 B CN115174943 B CN 115174943B CN 202210798763 A CN202210798763 A CN 202210798763A CN 115174943 B CN115174943 B CN 115174943B
- Authority
- CN
- China
- Prior art keywords
- view
- stream
- video
- client
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003993 interaction Effects 0.000 claims abstract description 44
- 230000001960 triggered effect Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 11
- 230000011664 signaling Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000006798 recombination Effects 0.000 abstract description 7
- 238000005215 recombination Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 230000004424 eye movement Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000008521 reorganization Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001550 time effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种边云协同及客户端自适应的自由视角播放方法及其系统。其中，该方法包括：获取多视角视频流；根据用户触发的交互指令，获取视角切换信号；根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流；传输和播放所述自由视角流。通过使用本申请的边云协同及客户端自适应的自由视角播放方法及系统，当用户通过操作进行视角切换时，边缘服务器仅对多视角视频流进行数据包的重组操作，不进行编解码操作，从而大幅降低了计算复杂度，且用户只接收单视角视频流，极大节省了传输带宽，用户通过滑动手机屏幕就能实现不同视角间快速，流畅，平滑地切换。
Description
技术领域
本发明属于数字图像处理领域，尤其涉及一种边云协同及客户端自适应的自由视角播放方法及系统。
背景技术
实时交互式自由视角直播是一种新兴的视频技术，允许用户仿佛在目标场景中自由选择自己的视图。时间和视图间切换可实现动态子弹时间效果。这项技术提供沉浸式直播体验，特别适用于大型直播，如音乐会、体育和互动教学。
自由视角视频是一组2D图像序列，通过大量时间同步且间隔紧密的摄像头从N个不同的视图捕获相同的动态3D场景。由于接入网络的带宽限制，在当今网络上传输多视图数据是一个迫切需要解决的关键问题。此外，观看自由视角视频时的同步和解码需要高计算资源，但移动显示设备的计算能力通常有限，其视频解码器通常只能同时解码多达四个超高清(UHD) 视频。因此，主要的挑战是找到一种低带宽和低计算复杂度的方法来实时交付自由视角视频，同时仍然保证沉浸式的观看体验。
为了在直播期间的任何时候产生动态子弹时间效果，早期的方法将所有视频流传输到客户端，并允许用户解码和选择所需的视图进行显示。然而，此类方法同时存在图像质量低、分辨率低和带宽消耗高的问题。由于用户在任何时候只观看一个视图，因此不必将所有数据传输给客户端。一些研究人员提出了交互式多视图HTTP自适应流(HAS)的最佳传输策略。基于HAS的方法仅预加载与当前视图相邻的部分视频，而不是所有视频。然而，当用户连续快速切换视图时，视频客户端需要清除当前缓冲区并重新缓冲固定数量的新帧，然后才能恢复播放。恢复视频播放的延迟通常会对观看体验产生负面影响。
基于边云协同的自由视角视频交付系统设计用于解决传输带宽、端点计算复杂性和切换视图时的用户体验等问题。这种方法要求服务端对每个用户都有一个单独的编码器来生成观看的目标视频，当用户数量增加时，这会给边缘服务器带来巨大的计算压力。因此，边缘服务端和客户端的带宽和计算消耗依旧是一个很大的挑战。
发明内容
为了解决现有技术中存在上述的技术问题，本发明旨在提供一种节省传输带宽、大幅度降低端点计算复杂度、视图切换流畅平滑的边云协同及客户端自适应的自由视角播放方法及系统。
本申请提出一种边云协同及客户端自适应的自由视角播放方法，包括：
获取多视角视频流，所述多视角视频流包含多个从不同视角拍摄的单视角视频流；
根据用户触发的交互指令，获取视角切换信号；
根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流；其中，所述视频帧包含一个采用帧内编码的关键帧；
传输和播放所述自由视角流。
根据本申请的一个实施方式，所述获取多视角视频流之前，还包括：
收集用户的历史交互指令，预测各个视角的流行度；
根据所述流行度更新编码配置；
依据所述编码配置，确定每个单视角视频流中的视频帧的大小。
根据本申请的一个实施方式，所述获取多视角视频流之后还包括：
对所述多视角视频流进行解复用，获取每个所述单视角视频流中每个帧图像的时间戳；
根据时间戳对所述多个单视角视频流进行帧同步。
根据本申请的一个实施方式，所述根据用户触发的交互指令，获取视角切换信号包括：
根据用户滑动、输入、手势或点击操作，确定切换后的目标视角信息；
根据用户滑动、输入、手势或点击操作，确定发生切换的时间信息。
根据本申请的一个实施方式，
当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息；
当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
根据本申请的一个实施方式，所述根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流包括：
启动一个线程或缓存区，用于存储所述多视角视频流；
从线程或缓存区中预选取与所述目标视角信息所对应的单视角视频流，
从预选取的所述单视角视频流中选择从时间信息之后的若干个帧内的视频帧；
将所述视频帧与切换前的视频帧按时间进行组合，生成自由视角流。
根据本申请的一个实施方式，所述根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流包括：
启动一个线程或缓存区，用于存储所述多视角视频流；
根据视角切换信号确定切换前的原视角信息，切换后的目标视角信息，以及原视角信息和目标视角信息之间各视角的切换顺序，确定预选取的单视角视频流；
从预选取的单视角视频流中按照切换顺序和时间信息依次确定所选取的视频帧；
将所选取的视频帧与切换前的视频帧依据切换顺序及时间先后依序组合，生成自由视角流。
根据本申请的一个实施方式，所述存储所述多视角视频流之后，还包括：
将相邻的单视角视频流按照视频帧中关键帧的时间戳间隔排列。
根据本申请的一个实施方式，所述传输和播放所述自由视角流包括：
所述自由视角流被封装为WebRTC协议格式，在用户的播放器上播放。
本申请还提供一种边云协同及客户端自适应的自由视角播放系统，包括：
边缘服务器，其用于获取多视角视频流；
信令服务器，其与所述边缘服务器通信连接；
流媒体服务器，其与所述边缘服务器通信连接；
至少一个客户端，其与所述信令服务器通信连接；
其中，所述客户端通过所述信令服务器向所述边缘服务器传输交互指令；所述边缘服务器根据交互指令将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合生成只包含单一视频流的自由视角流，并通过所述流媒体服务器向所述客户端传输和播放所述自由视角流。
根据本申请的一个实施方式，所述边缘服务器和所述信令服务器处于同一局域网中。
根据本申请的一个实施方式，还包括：用于采集多视角视频流的多视角采集装置。
根据本申请的一个实施方式，还包括：用于设置视频编码的自适应编码配置装置，所述自适应编码配置装置与所述多视角采集装置连接。
本发明的有益效果：
通过使用本申请的边云协同及客户端自适应的自由视角播放方法及系统，当用户通过操作进行视角切换时，边缘服务器仅对多视角视频流进行数据包的重组操作，不进行编解码操作，从而大幅降低了计算复杂度，且用户只接收单视角视频流，极大节省了传输带宽，用户通过滑动手机屏幕就能实现不同视角间快速，流畅，平滑地切换。本方法中还采用WebRTC传输技术将数据从边缘服务器分发给用户，确保用户在交互后实时收到所需的帧。
本申请边云协同及客户端自适应的自由视角播放系统能够在CPU型服务器上支持大规模用户并发使用自由视角服务，有利于该应用的横向扩展。
通过使用本申请的边云协同及客户端自适应的自由视角播放方法中提出了一种基于流行度的比特分配和视频流或画面组(GOP，group of pictures)大小调整技术，通过设计了灵活的GOP结构，在满足带宽限制的同时，最大限度地提高用户呈现的自由视角的整体质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例1中边云协同及客户端自适应的自由视角播放方法的流程图；
图2为实施例1中自由视角流的重组示意图；
图3为实施例1中边云协同及客户端自适应的自由视角播放系统的示意图；
图4为实施例2中边云协同及客户端自适应的自由视角播放方法的流程图；
图5为实施例2中根据不同流行度分配GOP大小的视频流；
图6为实施例2中自由视角流的重组示意图；
图7为实施例2中边云协同及客户端自适应的自由视角播放系统的示意图；
图8为实施例3中边云协同及客户端自适应的自由视角播放方法的流程图；
图9为实施例3中自由视角流的重组示意图；
图10为实施例3中边云协同及客户端自适应的自由视角播放系统的示意图。
附图标号说明：
1-边缘服务器；
2-客户端；
3-多视角采集装置；
4-自适应编码配置装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“中心”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“相连”等应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过中间媒介间接相连，或者两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参见图1，图1示出了本实施例边云协同及客户端2自适应的自由视角播放方法的流程图。其中，该方法包括如下步骤：
S101：获取多视角视频流，所述多视角视频流包含多个从不同视角拍摄的单视角视频流。
为了便于描述，多视角视频流是指由多台摄像机从不同视角同步捕获相同场景的视频流数据，单视角视频流是指其中单一摄像机所捕获的单一视角的视频流数据。上述多台摄像机可以由多台不同或相同摄像机密集摆放形成的相机阵列构成。
本方法中，多视角视频流的其他获取来源包括但不限于：一、由多台摄像机捕获后直接发送至边缘服务器1内被获取。二、由多台摄像机捕获后发送至云服务器内存储，并由云服务器转发至边缘服务器1内。
在一种可能的实施方式中，第一种来源是通过利用不同摄像机对同一场景进行实时拍摄的直播视频。在又一种可能的实施方式中，第二种来源是预先利用不同视角下摄像机对同一场景进行拍摄后获得的点播视频。
在本实施中，边缘服务器1还对所述多视角视频流进行解复用，获取每个所述单视角视频流中每个帧图像的时间戳；根据时间戳对所述多个单视角视频流进行帧同步，以避免切换视图时视图之间的不一致。客户端2可以通过交互操作从边缘服务器1请求具有时间和视图间一致性的视图。
S102：根据用户触发的交互指令，获取视角切换信号。
用户触发的交互指令包括但不限于滑动、输入、手势或点击操作，基于客户端2设备的本体功能或外设功能还应包括：由肢体动作捕捉的肢体动作、由眼球运动捕捉的眼球动作等。为了便于描述，交互指令是指用户通过智能手机、平板电脑等便携设备产生的交互指令，包括：用户向不同方向滑动屏幕的滑动操作，在各种文本框或提示出输入的文字或数值的输入操作，通过摄像头或屏幕捕获的手势操作，以及用户手指点击屏幕上按键的电机操作等。
在一种可能的实施方式中，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息。当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
具体的，根据用户触发的交互指令所获取的视角切换信号包括发生切换后的目标视角信息以及发生切换的时间信息。例如，用户通过客户端2触发切换观察视角的交互指令，即刻获取到用户希望从m号视角切换到n号视角(n号视角即为切换后的目标视角信息)进行观察，也获取到用户发出该交互指令的时间信息，从该时刻之后将n号视角的单视角视频流发送到客户端2供用户收看。
S103：根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流。其中，所述视频帧包含一个采用帧内编码的关键帧。
需要说明的是，在视频协议中，图像是以画面组(GOP，group of pictures)为单位进行组织，一个组是一段图像编码后的数据流，也称视频流。一个视频流以关键帧(intrapicture)为起始，到下一个关键帧之前结束。关键帧(也称I帧)采用帧内编码，I帧是帧内编码帧，是一个自带全部信息的独立帧，无需参考其他图像便可以独立进行解码。两个I 帧之间包括单个或数个P帧或B帧。
P帧是帧间预测编码帧，P帧需要参考之前的I帧或P帧才能进行解码，P帧没有完整的画面数据，只有与其前一帧画面差别的数据。与I帧相比，P帧通常占用更少的数据位。由于P帧对于前一参考帧有着很强的关联性，若当视角发生切换时发生了视频流的切换，也即会导致切换后的P帧失去了与前一参考帧之间的关联性，会令画面出现错误。
B帧是双向预测编码帧，B帧记录的是本帧与前后帧的差别信息，通过前后画面帧与本帧数据的叠加取得最终输出的画面。B帧压缩率高，但是解码时需要消耗更多CPU资源。同样，由于B帧对于前后参考帧有着双向的关联度，若当视角发生切换时发生了视频流的切换，也即会导致切换后的B帧失去了与前后参考帧之间的关联性，同样会令画面出现错误。
具体的，根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，是指将切换后的一帧或多帧关键帧与切换前的视频流进行重组，由于I帧自带全部信息能独立进行解码，不会在切换后令画面出现错误，且上述组合仅涉及对数据包的重组操作，并不进行解码操作，所以能大幅降低端点计算复杂度以及保证视图切换的流畅平滑。
图2示出了本实施例中自由视角流的重组示意图。本实施例中的自由视角流具体指重组后的视频流数据。根据交互指令从众多视角当中选取m流与n流作为预选取的单视角视频流。 m指代在发生切换之前用户原先的视频流，其中包含关键帧I帧及后续的P帧数据。n1指代切换后对应视角的摄像机拍摄的I帧数据，n2指代切换后视角输出的视频流。当边缘服务器 1收到切换视角的交互指令后，将该时间信息之后一段时间内的n1流中的数个I帧数据与之前m流的数据进行重组。需要说明的是，上述切换后的多帧关键帧并不意味着长时间始终保持关键帧的重组，由于相同质量下，I帧需要比P帧更多的比特来编码，因此在用户的视角保持不变时长时间传输I帧会浪费传输带宽，选取用于I帧的数量或时间应设置阈值或用户不再切换视角后的阈值后转为传输P帧数据。因此，在确认切换结束之后则传输n2流中的P 帧数据。从始至终边缘服务器1输出的自由视角流仅包含有单路视频流。
S104：传输和播放所述自由视角流。
具体的，边缘服务器1将重组后的自由视角流发送给流媒体服务器，通过流媒体服务器发送给客户端2进行显示。本实施例中的边缘服务器1传输仅包含有单路视频流的自由视角流，用户也只接收该自由视角流，相较于现有技术，本实施例方案节省了传输带宽。
图3示出了本实施例中本实施例边云协同及客户端2自适应的自由视角播放系统的示意图。其中，该系统包括：用于捕捉多视角视频流的多视角采集装置3、用于获取多视角视频流的边缘服务器1、与所述边缘服务器1通信连接的信令服务器、与所述边缘服务器1通信连接的流媒体服务器以及一个以上客户端2。
边缘服务器1可以通过WebSocket与客户端2连接。然后，边缘服务器1将使用其接收到的信号来选择播放视图以及流的开始和停止。例如，当客户端2向左旋转视图时，客户端 2将向相应的边缘服务器1发送信号，边缘服务器1将选择左视图作为下一个视图。当客户端2连接时，客户端2将发送信号将流推送到边缘服务器1。当客户端2退出时，客户端2 将发送信号将流关闭到边缘服务器1。每当生成流时，边缘服务器1都会将其推送到流媒体服务器，实时流被封装为WebRTC协议格式，然后在客户端2的播放器上播放。
在本系统上采用本实施例1的方法能够有效地减少了边缘服务器1上计算资源的消耗，并有助于提供高度并发的FVV(自由视角视频，free view video)服务。实验结果表明，采用 AMD Ryzen 7 3700的边缘服务器1CPU@3.6GHz可以允许500多个用户同时体验FVV。
实施例2
参见图4，图4示出了本实施例边云协同及客户端2自适应的自由视角播放方法的流程图。其中，该方法包括如下步骤：
S201：收集用户的历史交互指令，预测各个视角的流行度。
S202：根据所述流行度更新编码配置。
S203：依据所述编码配置，确定每个单视角视频流中的视频帧的大小。
在实施例中，为具有高流行视图的表示分配更多的位，而为具有低流行视图的表示分配更少的位。对于视图切换表示，较小的视频帧GOP大小表示编码器将花费更多比特来实现相同的质量，并且当视图更改时，客户端2将具有较小的视图切换延迟。相反，更大的GOP大小需要更少的位，并导致更大的切换延迟。因此，除了调整bits分配外，还减少了具有高流行度视图的GOP大小，以实现低视图切换延迟，并增加了具有低流行度视图的GOP大小，以进一步减少比特。
图5示出了上述根据不同流行度分配GOP大小的视频流。例如，a流所对应的视角具有最高流行度，a流中GOP的大小为1，仅包含有I帧。b流所对应的视角具有较高流行度，则 b流中GOP的大小为2，包含有I帧和一个P帧。c流所对应的视角具有较低流行度，则c流中GOP的大小为3，包含有I帧和2个P帧。d流所对应的视角具有最低流行度，则d流中 GOP的大小为4，包含有I帧和3个P帧。
S204：获取多视角视频流，所述多视角视频流包含多个从不同视角拍摄的单视角视频流。
为了便于描述，多视角视频流是指由多台摄像机从不同视角同步捕获相同场景的视频流数据，单视角视频流是指其中单一摄像机所捕获的单一视角的视频流数据。上述多台摄像机可以由多台不同或相同摄像机密集摆放形成的相机阵列构成。
本方法中，多视角视频流的其他获取来源包括但不限于：一、由多台摄像机捕获后直接发送至边缘服务器1内被获取。二、由多台摄像机捕获后发送至云服务器内存储，并由云服务器转发至边缘服务器1内。
在一种可能的实施方式中，第一种来源是通过利用不同摄像机对同一场景进行实时拍摄的直播视频。在又一种可能的实施方式中，第二种来源是预先利用不同视角下摄像机对同一场景进行拍摄后获得的点播视频。
在本实施中，边缘服务器1还对所述多视角视频流进行解复用，获取每个所述单视角视频流中每个帧图像的时间戳。根据时间戳对所述多个单视角视频流进行帧同步，以避免切换视图时视图之间的不一致。客户端2可以通过交互操作从边缘服务器1请求具有时间和视图间一致性的视图。
S205：根据用户触发的交互指令，获取视角切换信号。
用户触发的交互指令包括但不限于滑动、输入、手势或点击操作，基于客户端2设备的本体功能或外设功能还应包括：由肢体动作捕捉的肢体动作、由眼球运动捕捉的眼球动作等。为了便于描述，交互指令是指用户通过智能手机、平板电脑等便携设备产生的交互指令，包括：用户向不同方向滑动屏幕的滑动操作，在各种文本框或提示出输入的文字或数值的输入操作，通过摄像头或屏幕捕获的手势操作，以及用户手指点击屏幕上按键的电机操作等。
在一种可能的实施方式中，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息。当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
具体的，根据用户触发的交互指令所获取的视角切换信号包括发生切换后的目标视角信息以及发生切换的时间信息。例如，用户通过客户端2触发切换观察视角的交互指令，即刻获取到用户希望从m号视角切换到n号视角(n号视角即为切换后的目标视角信息)进行观察，也获取到用户发出该交互指令的时间信息，从该时刻之后将n号视角的单视角视频流发送到客户端2供用户收看。
S206：根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流。其中，所述视频帧包含一个采用帧内编码的关键帧。
需要说明的是，在视频协议中，图像是以画面组(GOP，group of pictures)为单位进行组织，一个组是一段图像编码后的数据流，也称视频流。一个视频流以关键帧(intrapicture)为起始，到下一个关键帧之前结束。关键帧(也称I帧)采用帧内编码，I帧是帧内编码帧，是一个自带全部信息的独立帧，无需参考其他图像便可以独立进行解码。两个I 帧之间包括单个或数个P帧或B帧。
P帧是帧间预测编码帧，P帧需要参考之前的I帧或P帧才能进行解码，P帧没有完整的画面数据，只有与其前一帧画面差别的数据。与I帧相比，P帧通常占用更少的数据位。由于P帧对于前一参考帧有着很强的关联性，若当视角发生切换时发生了视频流的切换，也即会导致切换后的P帧失去了与前一参考帧之间的关联性，会令画面出现错误。
B帧是双向预测编码帧，B帧记录的是本帧与前后帧的差别信息，通过前后画面帧与本帧数据的叠加取得最终输出的画面。B帧压缩率高，但是解码时需要消耗更多CPU资源。同样，由于B帧对于前后参考帧有着双向的关联度，若当视角发生切换时发生了视频流的切换，也即会导致切换后的B帧失去了与前后参考帧之间的关联性，同样会令画面出现错误。
具体的，根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，是指将切换后的一帧或多帧关键帧与切换前的视频流进行重组，由于I帧自带全部信息能独立进行解码，不会在切换后令画面出现错误，且上述组合仅涉及对数据包的重组操作，并不进行解码操作，所以能大幅降低端点计算复杂度以及保证视图切换的流畅平滑。
图6示出了本实施例中自由视角流的重组示意图。本实施例中的自由视角流具体指重组后的视频流数据。根据交互指令从众多视角当中选取m流、a流与b流作为预选取的单视角视频流。其中，m指代在发生切换之前用户原先的视频流，其中包含关键帧I帧及后续的P 帧数据。a指代切换过程中对应视角的摄像机拍摄的I帧数据，b指代切换后视角输出的视频流。当边缘服务器1收到切换视角的交互指令后，将该时间信息之后一段时间内的a流中的数个I帧数据与之前m流的数据进行重组，由于a流数据中仅包含I帧数据，因此与前述实施例1类似。b流数据中GOP大小为2，若切换结束的时间信息对应于I帧或P帧时，应当且仅当接收下一个I帧才结束重组操作。
S207：传输和播放所述自由视角流。
具体的，边缘服务器1将重组后的自由视角流发送给流媒体服务器，通过流媒体服务器发送给客户端2进行显示。本实施例中的边缘服务器1传输仅包含有单路视频流的自由视角流，用户也只接收该自由视角流，相较于现有技术，本实施例方案节省了传输带宽。
图7示出了本实施例中本实施例边云协同及客户端2自适应的自由视角播放系统的示意图。其中，该系统包括：用于捕捉多视角视频流的多视角采集装置3、用于设置视频编码的自适应编码配置装置4、用于获取多视角视频流的边缘服务器1、与所述边缘服务器1通信连接的信令服务器、与所述边缘服务器1通信连接的流媒体服务器以及一个以上客户端2。
自适应编码配置装置4用于调节多视角采集装置3中各摄像机的GOP大小，边缘服务器 1可以通过WebSocket与客户端2连接。然后，边缘服务器1将使用其接收到的信号来选择播放视图以及流的开始和停止。例如，当客户端2向左旋转视图时，客户端2将向相应的边缘服务器1发送信号，边缘服务器1将选择左视图作为下一个视图。当客户端2连接时，客户端2将发送信号将流推送到边缘服务器1。当客户端2退出时，客户端2将发送信号将流关闭到边缘服务器1。每当生成流时，边缘服务器1都会将其推送到流媒体服务器，实时流被封装为WebRTC协议格式，然后在客户端2的播放器上播放。
在本系统上采用本实施例1的方法能够有效地减少了边缘服务器1上计算资源的消耗，并有助于提供高度并发的FVV(自由视角视频，free view video)服务。实验结果表明，采用 AMD Ryzen 7 3700的边缘服务器1CPU@3.6GHz可以允许500多个用户同时体验FVV。
实施例3
参见图8，图8示出了本实施例边云协同及客户端2自适应的自由视角播放方法的流程图。其中，该方法包括如下步骤：
S301：收集用户的历史交互指令，预测各个视角的流行度。
S302：根据所述流行度更新编码配置。
S303：依据所述编码配置，确定每个单视角视频流中的视频帧的大小。
在实施例中，为具有高流行视图的表示分配更多的位，而为具有低流行视图的表示分配更少的位。对于视图切换表示，较小的视频帧GOP大小表示编码器将花费更多比特来实现相同的质量，并且当视图更改时，客户端2将具有较小的视图切换延迟。相反，更大的GOP大小需要更少的位，并导致更大的切换延迟。因此，除了调整bits分配外，还减少了具有高流行度视图的GOP大小，以实现低视图切换延迟，并增加了具有低流行度视图的GOP大小，以进一步减少比特。
S304：获取多视角视频流，所述多视角视频流包含多个从不同视角拍摄的单视角视频流。
为了便于描述，多视角视频流是指由多台摄像机从不同视角同步捕获相同场景的视频流数据，单视角视频流是指其中单一摄像机所捕获的单一视角的视频流数据。上述多台摄像机可以由多台不同或相同摄像机密集摆放形成的相机阵列构成。
本方法中，多视角视频流的其他获取来源包括但不限于：一、由多台摄像机捕获后直接发送至边缘服务器1内被获取。二、由多台摄像机捕获后发送至云服务器内存储，并由云服务器转发至边缘服务器1内。
在一种可能的实施方式中，第一种来源是通过利用不同摄像机对同一场景进行实时拍摄的直播视频。在又一种可能的实施方式中，第二种来源是预先利用不同视角下摄像机对同一场景进行拍摄后获得的点播视频。
在本实施中，边缘服务器1还对所述多视角视频流进行解复用，获取每个所述单视角视频流中每个帧图像的时间戳。根据时间戳对所述多个单视角视频流进行帧同步，以避免切换视图时视图之间的不一致。客户端2可以通过交互操作从边缘服务器1请求具有时间和视图间一致性的视图。
S305：根据用户触发的交互指令，获取视角切换信号。
用户触发的交互指令包括但不限于滑动、输入、手势或点击操作，基于客户端2设备的本体功能或外设功能还应包括：由肢体动作捕捉的肢体动作、由眼球运动捕捉的眼球动作等。为了便于描述，交互指令是指用户通过智能手机、平板电脑等便携设备产生的交互指令，包括：用户向不同方向滑动屏幕的滑动操作，在各种文本框或提示出输入的文字或数值的输入操作，通过摄像头或屏幕捕获的手势操作，以及用户手指点击屏幕上按键的电机操作等。
在一种可能的实施方式中，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息。当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
具体的，根据用户触发的交互指令所获取的视角切换信号包括发生切换后的目标视角信息以及发生切换的时间信息。例如，用户通过客户端2触发切换观察视角的交互指令，即刻获取到用户希望从m号视角切换到n号视角(n号视角即为切换后的目标视角信息)进行观察，也获取到用户发出该交互指令的时间信息，从该时刻之后将n号视角的单视角视频流发送到客户端2供用户收看。
S306：根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流。其中，所述视频帧包含一个采用帧内编码的关键帧。
需要说明的是，在视频协议中，图像是以画面组(GOP，group of pictures)为单位进行组织，一个组是一段图像编码后的数据流，也称视频流。一个视频流以关键帧(intrapicture)为起始，到下一个关键帧之前结束。关键帧(也称I帧)采用帧内编码，I帧是帧内编码帧，是一个自带全部信息的独立帧，无需参考其他图像便可以独立进行解码。两个I 帧之间包括单个或数个P帧或B帧。
P帧是帧间预测编码帧，P帧需要参考之前的I帧或P帧才能进行解码，P帧没有完整的画面数据，只有与其前一帧画面差别的数据。与I帧相比，P帧通常占用更少的数据位。由于P帧对于前一参考帧有着很强的关联性，若当视角发生切换时发生了视频流的切换，也即会导致切换后的P帧失去了与前一参考帧之间的关联性，会令画面出现错误。
B帧是双向预测编码帧，B帧记录的是本帧与前后帧的差别信息，通过前后画面帧与本帧数据的叠加取得最终输出的画面。B帧压缩率高，但是解码时需要消耗更多CPU资源。同样，由于B帧对于前后参考帧有着双向的关联度，若当视角发生切换时发生了视频流的切换，也即会导致切换后的B帧失去了与前后参考帧之间的关联性，同样会令画面出现错误。
具体的，根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，是指将切换后的一帧或多帧关键帧与切换前的视频流进行重组，由于I帧自带全部信息能独立进行解码，不会在切换后令画面出现错误，且上述组合仅涉及对数据包的重组操作，并不进行解码操作，所以能大幅降低端点计算复杂度以及保证视图切换的流畅平滑。
图9示出了上述根据不同流行度分配GOP大小的视频流。例如，a1流和a2流所对应的视角具有最高流行度，a1流和a2流中GOP的大小为1，仅包含有I帧。a1流和a2流为相邻的单视角视频流。
b1流、b2流和b3流所对应的视角具有较高流行度，则b1流、b2流和b3流中GOP的大小为2，包含有I帧和一个P帧。b1流、b2流和b3流为相邻的单视角视频流。
c1流、c2流所对应的视角具有较低流行度，则c1流、c2流中GOP的大小为3，包含有I帧和2个P帧。c1流、c2流为相邻的单视角视频流。
d流所对应的视角具有最低流行度，则d流中GOP的大小为15，包含有I帧和15个P帧。
与实施例2不同的是，图9示出的视频流中将相邻的单视角视频流按照视频帧中关键帧的时间戳间隔排列。这样在切换视图，等待的长度就不是一个完整的GOP长度，而是可以做到快速切换。
同时，图9也示出了本实施例中自由视角流的重组示意图。本实施例中的自由视角流具体指重组后的视频流数据。其中，m指代在发生切换之前用户原先的视频流，其中包含关键帧I帧及后续的P帧数据。a1流至c2流指代切换过程中对应视角的摄像机拍摄的I帧数据， d流指代切换后视角输出的视频流。当边缘服务器1收到切换视角的交互指令后，将a1流至 c2流中的视频流GOP与之前m流的数据进行重组，若切换结束的时间信息对应于I帧或P帧时，应当且仅当接收d流的下一个I帧才结束重组操作。
S307：传输和播放所述自由视角流。
具体的，边缘服务器1将重组后的自由视角流发送给流媒体服务器，通过流媒体服务器发送给客户端2进行显示。本实施例中的边缘服务器1传输仅包含有单路视频流的自由视角流，用户也只接收该自由视角流，相较于现有技术，本实施例方案节省了传输带宽。
图10示出了本实施例中本实施例边云协同及客户端2自适应的自由视角播放系统的示意图。其中，该系统包括：用于捕捉多视角视频流的多视角采集装置3、用于设置视频编码的自适应编码配置装置4、用于获取多视角视频流的边缘服务器1、与所述边缘服务器1通信连接的信令服务器、与所述边缘服务器1通信连接的流媒体服务器以及一个以上客户端2。
自适应编码配置装置4用于调节多视角采集装置3中各摄像机的GOP大小，边缘服务器 1可以通过WebSocket与客户端2连接。然后，边缘服务器1将使用其接收到的信号来选择播放视图以及流的开始和停止。例如，当客户端2向左旋转视图时，客户端2将向相应的边缘服务器1发送信号，边缘服务器1将选择左视图作为下一个视图。当客户端2连接时，客户端2将发送信号将流推送到边缘服务器1。当客户端2退出时，客户端2将发送信号将流关闭到边缘服务器1。每当生成流时，边缘服务器1都会将其推送到流媒体服务器，实时流被封装为WebRTC协议格式，然后在客户端2的播放器上播放。
在本系统上采用本实施例1的方法能够有效地减少了边缘服务器1上计算资源的消耗，并有助于提供高度并发的FVV(自由视角视频，free view video)服务。实验结果表明，采用 AMD Ryzen 7 3700的边缘服务器1CPU@3.6GHz可以允许500多个用户同时体验FVV。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、改进、等同替换等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种边云协同及客户端自适应的自由视角播放方法，其特征在于，包括：
收集用户的历史交互指令，预测各个视角的流行度；
根据所述流行度更新编码配置；
依据所述编码配置，确定每个单视角视频流中的视频帧的大小；
获取多视角视频流，所述多视角视频流包含多个从不同视角拍摄的单视角视频流；
根据用户触发的交互指令，获取视角切换信号；
根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流；其中，所述视频帧包含一个或多个采用帧内编码的关键帧；
传输和播放所述自由视角流。
2.根据权利要求1所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述获取多视角视频流之后还包括：
对所述多视角视频流进行解复用，获取每个所述单视角视频流中每个帧图像的时间戳；
根据时间戳对所述多个单视角视频流进行帧同步。
3.根据权利要求1所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述根据用户触发的交互指令，获取视角切换信号包括：
根据用户滑动、输入、手势或点击操作，确定切换后的目标视角信息；
根据用户滑动、输入、手势或点击操作，确定发生切换的时间信息。
4.根据权利要求2所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息；
当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
5.根据权利要求3所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流包括：
启动一个线程或缓存区，用于存储所述多视角视频流；
从线程或缓存区中预选取与所述目标视角信息所对应的单视角视频流，
从预选取的所述单视角视频流中选择从时间信息之后的若干个帧内的视频帧；
将所述视频帧与切换前的视频帧按时间进行组合，生成自由视角流。
6.根据权利要求2所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述根据所述视角切换信号将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合，生成自由视角流包括：
启动一个线程或缓存区，用于存储所述多视角视频流；
根据视角切换信号确定切换前的原视角信息，切换后的目标视角信息，以及原视角信息和目标视角信息之间各视角的切换顺序，确定预选取的单视角视频流；
从预选取的单视角视频流中按照切换顺序和时间信息依次确定所选取的视频帧；
将所选取的视频帧与切换前的视频帧依据切换顺序及时间先后依序组合，生成自由视角流。
7.根据权利要求6所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述存储所述多视角视频流之后，还包括：
将相邻的单视角视频流按照视频帧中关键帧的时间戳间隔排列。
8.根据权利要求1至7任一项所述的边云协同及客户端自适应的自由视角播放方法，其特征在于，所述传输和播放所述自由视角流包括：
所述自由视角流被封装为WebRTC协议格式，在用户的播放器上播放。
9.一种边云协同及客户端自适应的自由视角播放系统，其特征在于，包括：
边缘服务器，其用于获取多视角视频流；
信令服务器，其与所述边缘服务器通信连接；
流媒体服务器，其与所述边缘服务器通信连接；
至少一个客户端，其与所述信令服务器通信连接；
其中，所述客户端通过所述信令服务器向所述边缘服务器传输交互指令；所述边缘服务器根据交互指令将对应视角的单视角视频流中的视频帧与切换前的视频帧进行组合生成只包含单一视频流的自由视角流，并通过所述流媒体服务器向所述客户端传输和播放所述自由视角流；所述边缘服务器，还用于收集用户的历史交互指令，预测各个视角的流行度，根据所述流行度更新编码配置，并根据所述更新的编码配置确定每个单视角视频流中的视频帧的大小。
10.根据权利要求9所述的边云协同及客户端自适应的自由视角播放系统，其特征在于，所述边缘服务器和所述信令服务器处于同一局域网中。
11.根据权利要求9所述的边云协同及客户端自适应的自由视角播放系统，其特征在于，还包括：用于采集多视角视频流的多视角采集装置。
12.根据权利要求11所述的边云协同及客户端自适应的自由视角播放系统，其特征在于，还包括：用于设置视频编码的自适应编码配置装置，所述自适应编码配置装置与所述多视角采集装置连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210798763.XA CN115174943B (zh) | 2022-07-08 | 2022-07-08 | 一种边云协同及客户端自适应的自由视角播放方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210798763.XA CN115174943B (zh) | 2022-07-08 | 2022-07-08 | 一种边云协同及客户端自适应的自由视角播放方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115174943A CN115174943A (zh) | 2022-10-11 |
| CN115174943B true CN115174943B (zh) | 2023-10-31 |
Family
ID=83491800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210798763.XA Active CN115174943B (zh) | 2022-07-08 | 2022-07-08 | 一种边云协同及客户端自适应的自由视角播放方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115174943B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101155298A (zh) * | 2006-09-25 | 2008-04-02 | 华为技术有限公司 | 一种实现网络电视频道快速切换的方法及系统 |
| CN101686391A (zh) * | 2008-09-22 | 2010-03-31 | 华为技术有限公司 | 视频编码/解码方法、装置与视频播放方法、装置及系统 |
| CN102761773A (zh) * | 2012-07-03 | 2012-10-31 | Ut斯达康通讯有限公司 | 一种利用i帧改善iptv业务的用户体验的方法 |
| CN105933343A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 一种用于720度全景视频网络播放的码流缓存机制 |
| CN106462874A (zh) * | 2014-04-10 | 2017-02-22 | 谷歌公司 | 用于呈现与视频内容有关的商业信息的方法、系统和介质 |
| CN107852399A (zh) * | 2015-06-23 | 2018-03-27 | 脸谱公司 | 流媒体呈现系统 |
| CN108777809A (zh) * | 2018-04-11 | 2018-11-09 | 中国科学院信息工程研究所 | 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法 |
| CN108810559A (zh) * | 2018-05-31 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 视角模式切换方法、装置及直播数据的传输方法、装置 |
| CN111818347A (zh) * | 2020-06-01 | 2020-10-23 | 深圳市佳创视讯技术股份有限公司 | 一种基于参考帧替换的快速视角切换方法 |
| CN112929580A (zh) * | 2021-01-14 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 多视角视频播放方法、装置、系统、服务器和客户端设备 |
| CN114035672A (zh) * | 2020-07-20 | 2022-02-11 | 华为技术有限公司 | 一种虚拟现实vr场景的视频处理方法及相关设备 |
| CN114189696A (zh) * | 2021-11-24 | 2022-03-15 | 阿里巴巴（中国）有限公司 | 一种视频播放方法及设备 |
| WO2022111554A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 一种视角切换方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8782267B2 (en) * | 2009-05-29 | 2014-07-15 | Comcast Cable Communications, Llc | Methods, systems, devices, and computer-readable media for delivering additional content using a multicast streaming |
| US9077844B2 (en) * | 2012-04-06 | 2015-07-07 | Realtek Semiconductor Corp. | Multi-screen video playback system and related computer program product |
| US20190068678A1 (en) * | 2017-08-31 | 2019-02-28 | Whatsapp Inc. | Techniques to dynamically engage an all-intra-coded mode for streaming video encoding |
| US11457053B2 (en) * | 2019-02-20 | 2022-09-27 | Dazn Media Israel Ltd. | Method and system for transmitting video |
| CN114697690A (zh) * | 2020-12-30 | 2022-07-01 | 光阵三维科技有限公司 | 由组合传送的多个串流取出特定串流播放的系统及方法 |
-
2022
- 2022-07-08 CN CN202210798763.XA patent/CN115174943B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101155298A (zh) * | 2006-09-25 | 2008-04-02 | 华为技术有限公司 | 一种实现网络电视频道快速切换的方法及系统 |
| CN101686391A (zh) * | 2008-09-22 | 2010-03-31 | 华为技术有限公司 | 视频编码/解码方法、装置与视频播放方法、装置及系统 |
| CN102761773A (zh) * | 2012-07-03 | 2012-10-31 | Ut斯达康通讯有限公司 | 一种利用i帧改善iptv业务的用户体验的方法 |
| CN106462874A (zh) * | 2014-04-10 | 2017-02-22 | 谷歌公司 | 用于呈现与视频内容有关的商业信息的方法、系统和介质 |
| CN107852399A (zh) * | 2015-06-23 | 2018-03-27 | 脸谱公司 | 流媒体呈现系统 |
| CN105933343A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 一种用于720度全景视频网络播放的码流缓存机制 |
| CN108777809A (zh) * | 2018-04-11 | 2018-11-09 | 中国科学院信息工程研究所 | 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法 |
| CN108810559A (zh) * | 2018-05-31 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 视角模式切换方法、装置及直播数据的传输方法、装置 |
| CN111818347A (zh) * | 2020-06-01 | 2020-10-23 | 深圳市佳创视讯技术股份有限公司 | 一种基于参考帧替换的快速视角切换方法 |
| CN114035672A (zh) * | 2020-07-20 | 2022-02-11 | 华为技术有限公司 | 一种虚拟现实vr场景的视频处理方法及相关设备 |
| WO2022111554A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 一种视角切换方法及装置 |
| CN114584769A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 一种视角切换方法及装置 |
| CN112929580A (zh) * | 2021-01-14 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 多视角视频播放方法、装置、系统、服务器和客户端设备 |
| CN114189696A (zh) * | 2021-11-24 | 2022-03-15 | 阿里巴巴（中国）有限公司 | 一种视频播放方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115174943A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8760492B2 (en) | Method and system for switching between video streams in a continuous presence conference | |
| US8649426B2 (en) | Low latency high resolution video encoding | |
| CN107566918B (zh) | 一种视频分发场景下的低延时取流秒开方法 | |
| KR20190137915A (ko) | 비디오 재생 방법, 장치 및 시스템 | |
| CN111372145B (zh) | 一种多视点视频的视点切换方法和系统 | |
| KR101250825B1 (ko) | 고속 비디오 채널 변경 | |
| JP5366107B2 (ja) | メディア遅延を低減するための方法、装置およびシステム | |
| JP2008211417A (ja) | 多視点動画像伝送システム | |
| EP2557780A2 (en) | Method and system for switching between video streams in a continuous presence conference | |
| CN115174943B (zh) | 一种边云协同及客户端自适应的自由视角播放方法及系统 | |
| CN114598853A (zh) | 视频数据的处理方法、装置及网络侧设备 | |
| CN115174942A (zh) | 一种自由视角切换方法及交互式自由视角播放系统 | |
| US9667885B2 (en) | Systems and methods to achieve interactive special effects | |
| JP2009284283A (ja) | コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム | |
| JP2009171294A (ja) | 映像配信システム、映像中継装置、及び映像中継方法 | |
| TWI491218B (zh) | 媒體中繼視訊通信 | |
| CN112565670B (zh) | 云会议多层视频快速平滑出图的方法 | |
| Zhang et al. | Cache and delivery of VR video over named data networking | |
| CN112470481B (zh) | 用于对基于图块的沉浸式视频进行编码的编码器和方法 | |
| WO2022222533A1 (zh) | 视频播放方法、装置及系统、计算机可读存储介质 | |
| Hussain et al. | Simultaneous Stream Transmission Methods for Free Viewpoint TV: A Comparative Study | |
| KR20200008346A (ko) | 방송 채널을 제공하는 장치, 서버 및 방법 | |
| KR20230016430A (ko) | Iptv 멀티캐스트 시스템에서 p2p 통신을 이용한 고속 채널전환 방법 및 장치 | |
| KR100606722B1 (ko) | 고배속 비디오 스트리밍 서비스 제공 방법 | |
| CN117221637A (zh) | 视频播放方法以及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |