CN116668779B - 虚拟现实视场分发方法、系统、装置、设备及介质 - Google Patents
虚拟现实视场分发方法、系统、装置、设备及介质 Download PDFInfo
- Publication number
- CN116668779B CN116668779B CN202310955870.3A CN202310955870A CN116668779B CN 116668779 B CN116668779 B CN 116668779B CN 202310955870 A CN202310955870 A CN 202310955870A CN 116668779 B CN116668779 B CN 116668779B
- Authority
- CN
- China
- Prior art keywords
- video
- current moment
- view
- user
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000012634 fragment Substances 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 235000019633 pungent taste Nutrition 0.000 description 7
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6408—Unicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种虚拟现实视场分发方法、系统、装置、设备及介质，涉及视频传输技术领域，该方法包括：对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域，对当前时刻的虚拟现实视频进行分割，得到多个视频分片，确定当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发，将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。本方法以组播技术能最大限度地使用组播资源，节省带宽，进而减小时延。
Description
技术领域
本公开涉及视频传输技术领域，特别涉及一种虚拟现实视场分发方法、系统、装置、设备及介质。
背景技术
随着人们对高清、超高清虚拟现实（Virtual Reality，VR）视频的需求不断提高，虚拟现实视场（VR Field of View，VR FOV）由于其可以保证用户观看高清视频体验不下降的情况下降低带宽的特点而被广泛使用。
相关技术中，主要是根据热度视场角的内容进行预读单播/组播下发，如果采用单播，不能很好节省带宽；如果采用组播，由于大多数用户视口集中于一个区域但会存在一些偏移，也不能充分利用组播流，都会浪费带宽资源，时延比较高。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种虚拟现实视场分发方法、系统、装置、设备及介质，至少在一定程度上克服相关技术中无法以组播技术能最大限度地使用组播资源，节省带宽，进而减小时延的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
第一方面，本公开中的实施例提供一种虚拟现实视场分发方法，所述方法包括：
对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施例中，所述对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域之前，所述方法还包括：
获取所述历史虚拟现实视频；
通过蒙特卡洛树搜索对所述历史虚拟现实视频进行划分，得到预设数量的多个历史视频分片。
在一种可能的实施例中，所述对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域，包括：
根据所述多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域；所述视角行为数据包括用户在历史虚拟现实视频中每一次视角请求的视角区域。
在一种可能的实施例中，所述根据所述多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域，包括：
将所述多个历史视频分片输入已训练的第一卷积神经网络中，对所述多个历史视频分片中每一帧的视频进行特征提取，得到视频特征；
通过第一长短期记忆神经网络，对所述视频特征建模时序关系，预测得到当前时刻的视频特征；
通过空间域自注意力机制对当前时刻的视频特征进行处理，得到视频特征矩阵；
将所述视角行为数据输入已训练的第二卷积神经网络中，对所述视角行为数据进行特征提取，得到每一次视角请求的视角区域对应的用户特征；
通过第二长短期记忆神经网络，对所述用户特征建模时序关系，预测得到当前时刻的用户特征；
通过空间域自注意力机制对当前时刻的用户特征进行处理，得到用户特征矩阵；
将所述视频特征矩阵和所述用户特征矩阵进行归一化处理，得到当前时刻的热度视角区域。
在一种可能的实施例中，所述确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发，包括：
根据所述当前时刻的热度视角区域和至少一个用户的视角请求，确定每个用户在当前时刻的视角请求与所述当前时刻的热度视角区域的交集区域；
将每个所述交集区域中当前时刻的一个或者多个视频分片进行封装，得到至少一路视场视频流；
通过组播组，以组播的形式将所述至少一路视场视频流进行分发。
在一种可能的实施例中，所述方法还包括：
若所述当前时刻的热度视角区域和至少一个客户端发送的至少一个用户的视角请求之间不存在交集区域，则将所述至少一个用户的视角请求需要的当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施例中，所述将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发之后，所述方法还包括：
从所述组播组中，以组播的形式拉取所述交集区域中当前时刻的视频分片；以及，
以单播的形式拉取所述非交集区域中当前时刻的视频分片。
在一种可能的实施例中，所述方法还包括：
若任意一个用户为首次接入，则请求并加入组播组；以及
以单播的形式拉取所述首次接入的视角请求对应的默认视角需要的目标视频分片。
第二方面，本公开中的实施例提供一种虚拟现实视场分发系统，包括：基于分片的虚拟现实编码器、虚拟现实视场媒体服务器、边缘内容分发服务器和客户端；
所述虚拟现实视场媒体服务器用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
基于分片的虚拟现实编码器用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
虚拟现实视场媒体服务器还用于确定所述当前时刻的热度视角区域和至少一个客户端发送的至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
所述边缘内容分发服务器用于将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施例中，所述客户端还用于：
从所述组播组中，以组播的形式拉取所述交集区域中当前时刻的视频分片；以及，
以单播的形式拉取所述非交集区域中当前时刻的视频分片。
第三方面，本公开中的实施例提供一种虚拟现实视场分发装置，包括：
预测单元，用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
分割单元，用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
组播分发单元，用于确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
单播分发单元，用于将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
第四方面，本公开实施例提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的第一方面中所述的方法。
第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的第一方面中所述的方法。
第六方面，根据本公开的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项所述的方法。
本公开的实施例所提供的一种虚拟现实视场分发方法，该方法包括：对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域，对当前时刻的虚拟现实视频进行分割，得到多个视频分片，确定当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发，将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。本方法以组播技术能最大限度地使用组播资源，节省带宽，进而减小时延。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种单播分发的应用场景示意图；
图2示出本公开实施例中一种组播分发的应用场景示意图；
图3示出本公开实施例中一种虚拟现实视场分发系统的结构示意图；
图4示出本公开实施例中一种虚拟现实视场分发方法的应用场景示意图；
图5示出本公开实施例中一种虚拟现实视场分发方法的流程示意图；
图6示出本公开实施例中一种多个用户的视角与多个视频分片的示意图；
图7示出本公开实施例中一种虚拟现实视场分发装置的结构示意图；
图8示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
由于相关技术中，主要是根据热度视场角的内容进行预读单播/组播下发，如果采用单播，不能很好节省带宽，如图1所示，通过基于分片（Tile）的VR编码器到VR FOV媒体服务器，以单播流的方式下发用户的视角到用户，其中，包括用户1、用户2至用户n，对应视角分别为视角1、视角2至视角n。
如果采用组播，由于大多数用户视口集中于一个区域但会存在一些偏移，只能以图2的方式进行下发，即视角2与最热的视角区域重合，所以用户2的视角2可以同故宫组播下发，其余的用户的视角依旧是以单播下发，具体视角参照图1。上述两种下发方式都会浪费带宽资源，时延比较高。
本公开实施例提供了一种虚拟现实视场分发方法，该方法包括：对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域，对当前时刻的虚拟现实视频进行分割，得到多个视频分片，确定当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发，将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
本公开中的虚拟现实视场分发方法可以应用于电子设备，也可以应用于虚拟现实视场分发系统。
图3示出了可以应用于本公开实施例的虚拟现实视场分发方法的示意图。如图3所示，虚拟现实视场分发系统300可以包括基于分片的虚拟现实编码器301、虚拟现实视场媒体服务器302、边缘内容分发服务器303和客户端304。
其中，虚拟现实视场VR FOV媒体服务器302增加了视角预测模块3021和多热度视场组播分片封装下发模块3022。
虚拟现实视场媒体服务器302中的视角预测模块3021用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域。
基于分片的虚拟现实编码器301用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片。
虚拟现实视场媒体服务器302中的多热度FOV组播Tile封装下发模块3022还用于确定当前时刻的热度视角区域和至少一个客户端304发送的至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发。
边缘内容分发（Content Delivery Network，CDN）服务器303用于将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施例中，基于分片的虚拟现实编码器301具体还用于获取历史虚拟现实视频，通过蒙特卡洛树搜索对历史虚拟现实视频进行划分，得到预设数量的多个历史视频分片。需要说明的是，输出的多个视频分片可以是以编码后的形式输出到虚拟现实视场媒体服务器302中的，此处不做过多赘述。
在一种可能的实施例中，虚拟现实视场媒体服务器302中的视角预测模块3021还用于根据多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域；视角行为数据包括用户在历史虚拟现实视频中每一次视角请求的视角区域。
当前时刻的热度视角区域可以理解为结合历史虚拟现实视频和历史虚拟现实视频中用户的视角行为数据，预测得到当前时刻最热的一个视角区域，即当前时刻用户的视角可能最为集中的视角区域。
热度视角区域中可以包括多个视频分片。
在一种可能的实施例中，虚拟现实视场媒体服务器302中的多热度FOV组播Tile封装下发模块3022还用于根据当前时刻的热度视角区域和至少一个用户的视角请求，确定每个用户在当前时刻的视角请求与当前时刻的热度视角区域的交集区域；将每个交集区域中当前时刻的一个或者多个视频分片进行封装，得到至少一路视场视频流；通过组播组，以组播的形式将至少一路视场视频流进行分发。
其中，确定每个用户当前时刻视角请求需求的视频分片与当前时刻的热度视角区域的交集区域，将交集区域中对应的视频分片封装为一路视频流，每个用户可以得到一路视频流，并对应以组播的形式分发。
进一步地，还可以确定多个用户的视角请求与当前时刻的热度视角区域共同形成的多个最小交集区域，以每个最小交集区域为基础进行封装，以用户的最大数量为N，则先封装N个用户的视角请求与当前时刻的热度视角区域形成的第一最小交集区域包括的视频分片，再确定N-1个用户的视角请求与当前时刻的热度视角区域分别形成的第二最小交集区域，从第二最小交集区域包括的视频分片中剔除第一最小交集区域的视频分片，对第二最小交集区域中未进行封装的视频分片进行封装，以此类推，重复上述步骤，直至封装完成，得到多路视场视频流，并将多路视场视频流按照组播的形式进行分发。其中，此处的多个用户为至少两个用户的视角请求与当前时刻的热度视角区域共同形成的最小交集区域。
在一种可能的实施例中，虚拟现实视场媒体服务器302中还包括Tile分片注入接口3023，Tile分片注入接口3023用于将视角预测模块3021接收到的当前时刻的多个视频分片以接口的形式注入到CDN服务器中，可以理解为VR FOV媒体服务器与CDN服务器之间的交互行为，以此CDN服务器才可以知晓用户的视角请求。
虚拟现实视场媒体服务器302在将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发之后，会告知CDN服务器303，CDN服务器303会根据视角请求，将非交集区域中当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施例中，虚拟现实视场分发系统100会向客户端304下发的直播信息，其中包括多路组播和一路CDN单播流。客户端304根据直播信息同时接收多路流。
客户端304会根据当前时刻的视角请求，动态选择组播和单播流，如果当前时刻的视角请求与热度视角区域存在交集区域，则说明和多个热度分片组相关，那么选择加入对应的组播，向VR FOV媒体服务器302从组播组中以组播的形式拉取交集区域中当前时刻的视频分片；以及，向CDN服务器303以单播的形式拉取非交集区域中当前时刻的视频分片。
若当前时刻的视角请求不在组播视场视角内时，即可以理解为预测的热度视角区域内，则向CDN服务器303发送当前时刻的视角请求，从CDN服务器303拉取视角请求对应的单播流。
在一种可能的实施例中，虚拟现实视场分发系统300还包括网关，虚拟现实视场媒体服务器302、边缘内容分发服务器303分别以组播和单播的形式分发，由网关来负责数据同步和视角合成，并以单播的方式下发到客户端。
图4示出了一种虚拟现实视场分发方法的应用场景示意图，如图4所示。以三个用户为例，分别是用户1、用户2和用户3，每个用户的视角请求中包括8个视频分片，在图4中以具体的框示出。VR FOV媒体服务器中的视角预测模块获取到多个视频Tile之后，预测出热度视角区域，再由多热度FOV组播Tile封装下发实现组播下发，还可以通过Tile分片注入接口将多个视频Tile发送至CDN服务器中，由CDN服务器将没有以组播形式下发的视频Tile，通过单播的形式下发。图4中具体的下发过程可以参照图6中的解释说明。
本领域技术人员可以知晓，图3中服务器和客户端的数量仅仅是示意性的，根据实际需要，可以具有任意数目的服务器和客户端。本公开实施例对此不作限定。
下面结合附图及实施例对本示例实施方式进行详细说明。
首先，本公开实施例中提供了一种虚拟现实视场分发方法，该方法可以由任意具备计算处理能力的电子设备执行，例如，服务器，例如，上述虚拟现实视场分发系统。下述过程中以虚拟现实视场分发系统为例。
图5示出本公开实施例中一种虚拟现实视场分发方法的流程图，如图5所示，本公开实施例中提供的虚拟现实视场分发方法包括如下步骤：
S502：对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域。
在一种可能的实施例中，为了预测到的当前时刻的热度视角区域，需要通过基于Tile的VR编码器首先对直播源传送来的历史虚拟现实视频进行处理，通过蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）对历史虚拟现实视频进行划分，得到预设数量的多个历史视频分片。
视频可以是存储在服务器内的视频文件，也可以是实时的由摄像头等硬件上传的视频源文件。
示例性地，如果一个8K的历史虚拟现实视频，分成m×n个Tile。考虑到编码处理、分发和观看效果的平衡，这里取m为4，n为8。也就是编码器把该直播源视频分成32个Tile，分别是Tile1，Tile2...Tile32。
处理完成之后的32个视频Tile被存储到VR FOV媒体服务器中，得到多个历史视频Tile之后，预测最热的FOV区域，即热度视角区域，可以输出当前时刻的热度视角信息。
示例性地，视角预测模块3021根据多个历史视频分片可以进行预测，预测方式具体可以为：根据多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域，视角行为数据包括用户在历史虚拟现实视频中每一次视角请求的视角区域。
其中，具体可以通过：将多个历史视频分片输入已训练的第一卷积神经网络中，对多个历史视频分片中每一帧的视频进行特征提取，得到视频特征，通过第一长短期记忆神经网络，对视频特征建模时序关系，预测得到当前时刻的视频特征，通过空间域自注意力机制对当前时刻的视频特征进行处理，得到视频特征矩阵，将视角行为数据输入已训练的第二卷积神经网络中，对视角行为数据进行特征提取，得到每一次视角请求的视角区域对应的用户特征，通过第二长短期记忆神经网络，对用户特征建模时序关系，预测得到当前时刻的用户特征，通过空间域自注意力机制对当前时刻的用户特征进行处理，得到用户特征矩阵，将视频特征矩阵和用户特征矩阵进行归一化处理，得到当前时刻的热度视角区域。
使用卷积神经网络（Convolutional Neural Network，CNN）对每一帧的视频进行特征提取，再使用（Long Short-Term Memory Network，LSTM）建模时序关系，预测得到当前时刻的视频特征。可以理解为对前t时刻的视频进行特征提取并对按照时序进行建模，预测得到第t+1时刻的视频特征。通过Self-Attention空间域机制得到空间注意力矩阵，并附加在原来的当前时刻的视频特征上，起到特征筛选和增强的效果，得到视频特征矩阵。
对于视角行为数据，以与上述对视频特征相类似的处理方式得到用户特征矩阵，将视频特征矩阵和用户特征矩阵进行归一化处理，得到当前时刻的热度视角区域。可以将热度视角区域转换成热度视角信息。
其中，用户在观看VR视频的时候，由于人眼视觉的限制，只能看到全景VR视频的一部分，这一部分通常被称为FOV，FOV为k×l个Tile组成。这里，k取2，l取4，所以单个FOV由8个Tile组成，占原画面大小的四分之一。在历史虚拟现实视频中的视角行为数据即可以理解为用户每一次视角请求的视角区域，即每一次用户观看的FOV区域。
在一种可能的实施例中，图6示出了一种多个用户的视角与多个视频分片的示意图。具体包括32个视频分片，分别为Tile1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31和32，以存在三个用户视角为例。假设视角预测模块3021得到的最热的FOV区域为图6中由Tile10、11、12、13、18、19、20、21这八个Tile组成的区域。
通过上述方式预测得到用户在当前时刻最优可能观看的FOV区域之后，执行S504。
S504：对当前时刻的虚拟现实视频进行分割，得到多个视频分片。
S506：确定当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发。
其中，视角请求可以理解为客户端针对用户当前时刻想要观看的区域向服务器发送的请求，即请求服务器下发用户当前时刻想要观看的FOV区域的视角信息，具体则为由视频分片组成的视角信息。
在一种可能的实施例中，用户在观看VR视频的时候，每一次观看都可以看成客户端发送了一次视角请求，VR FOV媒体服务器和CDN服务器需要通过视角请求通过组播或单播对视频分片进行封装和下发。
在接收到用户的视角请求之后，以不是首次接入的情况为例，则VR FOV媒体服务器中的多热度FOV组播Tile封装下发模块可以确定如何对视频分片进行封装和下发。
示例性地，根据当前时刻的热度视角区域和至少一个用户的视角请求，确定每个用户在当前时刻的视角请求与当前时刻的热度视角区域的交集区域，将每个交集区域中当前时刻的一个或者多个视频分片进行封装，得到至少一路视场视频流，通过组播组，以组播的形式将至少一路视场视频流进行分发。
根据当前时刻的热度视角区域，可以得到热度视角信息，根据视角请求中包括的用户当前时刻的FOV视角信息，可以确定出至少一个用户的视角请求与热度视角区域之间交集区域包括的视频分片来，以交集区域包括的视频分片进行封装并分发。
示例性地，还可以确定多个用户的视角请求与当前时刻的热度视角区域共同形成的多个最小交集区域，以每个最小交集区域为基础进行封装，以用户的最大数量为N为例，则先分别确定N个用户的视角请求与当前时刻的热度视角区域形成的第一最小交集区域，再分别确定N-1个用户的视角请求与当前时刻的热度视角区域分别形成的第二最小交集区域，以视频分片为单位，从第二最小交集区域包括的视频分片中删除第一最小交集区域的视频分片，对第二最小交集区域中未进行封装的视频分片进行封装，以此类推，重复上述步骤，直至封装完成，得到多路视场视频流，并将多路视场视频流按照组播的形式进行分发。其中，此处的多个用户为至少两个用户的视角请求与当前时刻的热度视角区域共同形成的最小交集区域。
以图6为例说明，热度视角区域为Tile10、11、12、13、18、19、20、21这八个Tile组成的区域，用户1视角请求的区域可以为Tile10、11、12、13、2、3、4、5这八个Tile组成的区域；用户2视角请求的区域可以为Tile11、12、13、14、19、20、21、22这八个Tile组成的区域；用户3视角请求的区域可以为Tile10、11、12、13、18、19、20、21这八个Tile组成的区域。
则可以确定用户1、2、3的视角请求与热度视角区域共同形成的第一最小交集区域，即Tile11、12、13。
再确定用户1、3与热度视角区域共同形成的第二最小交集区域，即Tile10、11、12、13，通过由于第二最小交集区域包括了第一最小交集区域，所以，在第一最小交集区域已经可以封装并以组播下发的前提下，此处可以仅封装Tile10。
同理，分别确定用户2、3/用户1、2与热度视角区域共同形成的第二最小交集区域，由于都是相同的区域，即Tile11、12、13、19、20、21，所以，在第一最小交集区域已经可以封装并以组播下发的前提下，此处可以仅封装Tile19、20、21。
进一步地，在确定用户1/用户2/用户3与热度视角区域形成的第三最小交集区域，分别为：Tile10、11、12、13；Tile11、12、13、19、20、21；Tile10、11、12、13、18、19、20、21。可以看出的是，除Tile18以外的其余Tile都已经进行了封装，则此处可以仅封装Tile18。
综上所述，最终可以得到Tile（10）、Tile（18）、Tile（11、12、13）和Tile（19、20、21）四组，对上面四组进行封装，形成四个视场视频流，通过组播组，以组播的形式进行分发。
将用户与热度视角区域重叠的部分，那么这部分的内容就是使用组播传输，其余内容使用单播传输。即使用户的视角不能与最热的FOV完全重合，也能最高效率地使用组播分发，可以降低网络承载和CDN服务器节点的服务压力，提高分发效率。
其中，组播可以将tile封装成一种标准的数据报格式下发，例如：实时传输协议（Real-Time Transport Protocol，RTP）。单播可以封装成实时流协议（Real-TimeStreaming Protocol，RTSP）、基于HTTP的动态自适应流式传输（Dynamic AdaptiveStreaming over HTTP，DASH）和HTTP实时流媒体（HTTP Live Streaming，HLS）等多种格式下发。
S508：将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
其中，非交集区域为当前时刻的热度视角区域和至少一个用户的视角请求之间不相交的区域。
在一种可能的实施例中，CDN服务器将根据非交集区域中当前时刻的视频分片进行分发，CDN服务器是进行单播分发。需要说明的是，VR FOV媒体服务器会通过Tile分片注入接口，将全部视频分片以接口的方式注入到CDN服务器中，以及至少一个用户的视角请求中的信息和热度视角区域。
则CDN服务器可以确定出非交集区域，并将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
在另一种可能的实施例中，在VR FOV媒体服务器对交集区域中的视频分片进行封装之后，CDN服务器可以得知已经被封装并以组播形式下发的视频分片，则从至少一个用户的视角请求中，确定出剩余的视频分片，就是需要以单播形式进行分发的视频分片。
在一种可能的实施例中，上述步骤S506和S508以组播的形式和以单播的形式对视频分片进行分发，客户端还需要从对应的组播组和CDN服务器上拉取对应的Tile。
示例性地，客户端从组播组中，以组播的形式拉取交集区域中当前时刻的视频分片；以及，以单播的形式拉取非交集区域中当前时刻的视频分片。拉取到之后，由网关处负责单组播的收流协同，最终再以单播的方式下发给客户端。由网关来负责数据同步和视角合成，客户端中的处理没有任何变化。
在一种可能的实施方式中，若当前时刻的热度视角区域和至少一个客户端发送的至少一个用户的视角请求之间不存在交集区域，则将至少一个用户的视角请求需要的当前时刻的视频分片以单播的形式进行分发。
在一种可能的实施方式中，若任意一个用户为首次接入，客户端同时加入组播组；以及向CDN服务器发送单播请求，以单播的形式拉取首次接入的视角请求对应的默认视角需要的目标视频分片，默认视角为预先设定的。
在一种可能的实施例中，用户每次转换视角时，客户端都进行与组播视角匹配的步骤，直到用户下线或者当前360°虚拟现实视频播放完毕。
通过本公开中的方法，不仅能够动态的预测当前时刻的热度视角区域，将热度视角区域以多个组播流的方式分发，大幅度降低VR服务所需要的带宽，降低时延。即使所有用户的请求视角都不与热度视角区域重合，也可以最大限度的运用组播资源进行分发，避免了客户端的当前视角不能与当前时刻的热度视角区域完全重合，而必须使用单播的问题，相比于只有一个最热的FOV组播分发，可以更加动态灵活地进行单组播协同传输，即使用户的视角不能与最热的FOV完全重合，也能最高效率地使用组播分发，可以降低网络承载和CDN服务器节点的服务压力，提高分发效率。
基于同一发明构思，本公开实施例中还提供了一种虚拟现实视场分发装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图7示出本公开实施例中一种虚拟现实视场分发装置的结构示意图，如图7所示，该虚拟现实视场分发装置70包括：预测单元701，用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；分割单元702，用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片；组播分发单元703，用于确定当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；单播分发单元704，用于将至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件（包括存储单元820和处理单元810）的总线830。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元810可以执行上述方法实施例中的任一项的步骤。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元（ROM）8203。
存储单元820还可以包括具有一组（至少一个）程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备840（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (13)
1.一种虚拟现实视场分发方法，其特征在于，所述方法包括：
对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
2.根据权利要求1所述的方法，其特征在于，所述对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域之前，所述方法还包括：
获取所述历史虚拟现实视频；
通过蒙特卡洛树搜索对所述历史虚拟现实视频进行划分，得到预设数量的多个历史视频分片。
3.根据权利要求2所述的方法，其特征在于，所述对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域，包括：
根据所述多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域；所述视角行为数据包括用户在历史虚拟现实视频中每一次视角请求的视角区域。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个历史视频分片中每一帧的视频，和用户的视角行为数据进行预测，得到当前时刻的热度视角区域，包括：
将所述多个历史视频分片输入已训练的第一卷积神经网络中，对所述多个历史视频分片中每一帧的视频进行特征提取，得到视频特征；
通过第一长短期记忆神经网络，对所述视频特征建模时序关系，预测得到当前时刻的视频特征；
通过空间域自注意力机制对当前时刻的视频特征进行处理，得到视频特征矩阵；
将所述视角行为数据输入已训练的第二卷积神经网络中，对所述视角行为数据进行特征提取，得到每一次视角请求的视角区域对应的用户特征；
通过第二长短期记忆神经网络，对所述用户特征建模时序关系，预测得到当前时刻的用户特征；
通过空间域自注意力机制对当前时刻的用户特征进行处理，得到用户特征矩阵；
将所述视频特征矩阵和所述用户特征矩阵进行归一化处理，得到当前时刻的热度视角区域。
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发，包括：
根据所述当前时刻的热度视角区域和至少一个用户的视角请求，确定每个用户在当前时刻的视角请求与所述当前时刻的热度视角区域的交集区域；
将每个所述交集区域中当前时刻的一个或者多个视频分片进行封装，得到至少一路视场视频流；
通过组播组，以组播的形式将所述至少一路视场视频流进行分发。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述当前时刻的热度视角区域和至少一个客户端发送的至少一个用户的视角请求之间不存在交集区域，则将所述至少一个用户的视角请求需要的当前时刻的视频分片以单播的形式进行分发。
7.根据权利要求1所述的方法，其特征在于，所述将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发之后，所述方法还包括：
从所述组播组中，以组播的形式拉取所述交集区域中当前时刻的视频分片；以及，
以单播的形式拉取所述非交集区域中当前时刻的视频分片。
8. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
若任意一个用户为首次接入，则请求并加入组播组；以及
以单播的形式拉取所述首次接入的视角请求对应的默认视角需要的目标视频分片。
9.一种虚拟现实视场分发系统，其特征在于，包括：基于分片的虚拟现实编码器、虚拟现实视场媒体服务器、边缘内容分发服务器和客户端；
所述虚拟现实视场媒体服务器用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
基于分片的虚拟现实编码器用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
虚拟现实视场媒体服务器还用于确定所述当前时刻的热度视角区域和至少一个客户端发送的至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
所述边缘内容分发服务器用于将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
10.根据权利要求9所述的系统，其特征在于，所述客户端还用于：
从所述组播组中，以组播的形式拉取所述交集区域中当前时刻的视频分片；以及，
以单播的形式拉取所述非交集区域中当前时刻的视频分片。
11.一种虚拟现实视场分发装置，其特征在于，包括：
预测单元，用于对历史虚拟现实视频进行预测，得到当前时刻的热度视角区域；
分割单元，用于对当前时刻的虚拟现实视频进行分割，得到多个视频分片；
组播分发单元，用于确定所述当前时刻的热度视角区域和至少一个用户的视角请求之间的交集区域，将所述交集区域中当前时刻的视频分片通过组播组，以组播的形式进行分发；
单播分发单元，用于将所述至少一个用户在非交集区域中当前时刻的视频分片以单播的形式进行分发。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～8中任意一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955870.3A CN116668779B (zh) | 2023-08-01 | 2023-08-01 | 虚拟现实视场分发方法、系统、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955870.3A CN116668779B (zh) | 2023-08-01 | 2023-08-01 | 虚拟现实视场分发方法、系统、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116668779A CN116668779A (zh) | 2023-08-29 |
| CN116668779B true CN116668779B (zh) | 2023-10-10 |
Family
ID=87721029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310955870.3A Active CN116668779B (zh) | 2023-08-01 | 2023-08-01 | 虚拟现实视场分发方法、系统、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116668779B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107483970A (zh) * | 2016-06-08 | 2017-12-15 | 华为技术有限公司 | 一种确定热门直播视频的方法及设备 |
| CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
| CN110519652A (zh) * | 2018-05-22 | 2019-11-29 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| CN114339269A (zh) * | 2020-10-10 | 2022-04-12 | 中国电信股份有限公司 | 视频传输方法、组播管理平台、终端以及存储介质 |
| CN115314730A (zh) * | 2022-08-10 | 2022-11-08 | 中国电信股份有限公司 | 应用于虚拟现实vr场景的视频流传输方法及装置 |
| CN115484476A (zh) * | 2021-05-31 | 2022-12-16 | 中国电信股份有限公司 | Vr直播视频的传输方法、装置以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10390063B2 (en) * | 2017-12-22 | 2019-08-20 | Comcast Cable Communications, Llc | Predictive content delivery for video streaming services |
-
2023
- 2023-08-01 CN CN202310955870.3A patent/CN116668779B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107483970A (zh) * | 2016-06-08 | 2017-12-15 | 华为技术有限公司 | 一种确定热门直播视频的方法及设备 |
| CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
| CN110519652A (zh) * | 2018-05-22 | 2019-11-29 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| CN114339269A (zh) * | 2020-10-10 | 2022-04-12 | 中国电信股份有限公司 | 视频传输方法、组播管理平台、终端以及存储介质 |
| CN115484476A (zh) * | 2021-05-31 | 2022-12-16 | 中国电信股份有限公司 | Vr直播视频的传输方法、装置以及存储介质 |
| CN115314730A (zh) * | 2022-08-10 | 2022-11-08 | 中国电信股份有限公司 | 应用于虚拟现实vr场景的视频流传输方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116668779A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11979636B2 (en) | Systems and methods for transmission of data streams | |
| US12034987B2 (en) | Systems and methods of orchestrated networked application services | |
| EP3782368A1 (en) | Processing video patches for three-dimensional content | |
| US10791366B2 (en) | Fast channel change in a video delivery network | |
| US12120400B2 (en) | Systems and methods of alternative networked application services | |
| CN114788296A (zh) | 用于显示媒体的协调控制 | |
| CN109547839A (zh) | 直播内容的动态预览处理方法及装置、介质、电子设备 | |
| Zeng et al. | TVSR‐OR: Tile‐based 360‐degree video streaming over real time streaming protocol with optimized read | |
| CN116668779B (zh) | 虚拟现实视场分发方法、系统、装置、设备及介质 | |
| US11418560B1 (en) | Media and application aware network architecture | |
| Seo et al. | Implementation Method for DASH-based Free-viewpoint Video Streaming System | |
| WO2022125401A1 (en) | Systems and methods of alternative networked application services | |
| US20240114190A1 (en) | Interactive Video Streaming For 3D Applications | |
| Wee et al. | Implementation of WebRTC-based Hybrid Transmission System for 3D Visualization | |
| Kwon et al. | An enhanced virtual webcam device for thin client | |
| KR20180041785A (ko) | 클라우드 컴퓨팅 기반 멀티미디어 스트리밍 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |