CN110121080A - 虚拟现实视频传输和下载播放的方法、系统及计算机设备 - Google Patents
虚拟现实视频传输和下载播放的方法、系统及计算机设备 Download PDFInfo
- Publication number
- CN110121080A CN110121080A CN201810111539.2A CN201810111539A CN110121080A CN 110121080 A CN110121080 A CN 110121080A CN 201810111539 A CN201810111539 A CN 201810111539A CN 110121080 A CN110121080 A CN 110121080A
- Authority
- CN
- China
- Prior art keywords
- video
- quality
- transcoding
- virtual reality
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000005540 biological transmission Effects 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims description 48
- 230000002123 temporal effect Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 12
- 230000006978 adaptation Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 239000002699 waste material Substances 0.000 description 5
- 239000013589 supplement Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提出了一种虚拟现实视频下载播放的方法及系统、虚拟现实视频传输的方法及系统、计算机设备、计算机可读存储介质，其中虚拟现实视频下载播放的方法，包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；发起视频下载请求，对下一播放视频片段进行下载播放。达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。
Description
技术领域
本发明涉及视频技术领域，具体而言，涉及一种虚拟现实视频下载播放的方法及系统、虚拟现实视频传输的方法及系统、计算机设备、计算机可读存储介质。
背景技术
虚拟现实视频，又称全景视频或360度视频，以其充分的沉浸性、真实性、制作简单性等特点正受到人们的广泛关注。它通过全景摄像机记录三自由度或六自由度的自然图像，从而提供现有普通视频所不能达到的真实感。近几年，随着虚拟现实设备、网络和终端技术的成熟，虚拟现实视频正越来越多地用于影视、游戏、医疗、教育等应用中。然而，高质量的虚拟现实视频服务仍面临若干挑战。其中网络传输是一个关键性问题。虚拟现实视频对网络带宽有较高的消耗，例如，一个分辨率为2K×1K的虚拟现实视频经过压缩编码，需要4Mbps的数据量；若分辨率达到4K×2K，则数据量将上涨至20Mbps，至少需要25Mbps的网络带宽才可以承载。现有互联网带宽难以满足如此高码率虚拟现实视频的流畅播放，进而严重影响其应用。除此之外，由于人眼视度和播放设备的限制，用户在观看全景视频时只能看到视窗内的视频内容。所以，传输整个视频势必会造成浪费。
HTTP(Hyper Text Transfer Protocol，超文本传输协议)动态流媒体技术可以实现基于视窗的自适应传输。其主要包括两个方面，分别是视点自适应和码率自适应。视点自适应技术是指在视窗内传输高质量的视频内容，视窗外传输低质量的视频内容，从而在整体上减少传输数据量。码率自适应技术是指将原始视频在时间上进行切片，切片后将视频片段转化为多种码率，根据当前网络带宽实时调整视频码率，实现视频片段的自适应传输，减少播放卡顿。
即便是采用了先进的分块传输模式，若想为用户提供高质量的视频传输服务还面临着很多挑战：1)视频分块获取错误。2)块与块之间边界效应明显。3)视频片段与片段之间的过渡不平滑。造成这些后果主要有三点原因：1)用户视点的变化。由于在虚拟现实视频中，用户可以在360度空间内随意观看视频内容，所以用户视点的变化自然会影响客户端下载内容的变化，若用户在转头时新的视窗内容没有被及时下载，势必会造成视窗内出现黑块，严重影响用户体验。2)视频内容的变化。由于分块传输模式需要将原始视频进行空间和时间上的划分再进行转码，所以即使所有的视频块都被转码成相同的码率，在拼接的过程中相邻块之间乃至相邻视频片段之间还可能出现明显的质量抖动。比如运动的篮球和相对静止的蓝天，即使都转码成某固定码率，我们可能仍会认为篮球的运动较为模糊，而蓝天较为清晰。这是由于视频中运动的物体总是需要更多信息才能代表，而静止的物体则不然，这一特性就使得基于分块的虚拟现实视频传输面临很大挑战。3)网络带宽的变化。为了保证视频的流畅播放，用户在下载过程中需实时根据当前带宽选择合适的视频码率进行下载，所以时间上相邻的视频片段可能就会以不同的码率进行下载，最终造成视频片段过渡不平滑。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个方面在于提出了一种虚拟现实视频下载播放的方法。
本发明的另一个方面在于提出了一种虚拟现实视频下载播放的系统。
本发明的再一个方面在于提出了一种虚拟现实视频传输的方法。
本发明的又一个方面在于提出了一种虚拟现实视频传输的系统。
本发明的又一个方面在于提出了一种计算机设备。
本发明的又一个方面在于提出了一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种虚拟现实视频下载播放的方法，包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；发起视频下载请求，对下一播放视频片段进行下载播放。
本发明提供的虚拟现实视频下载播放的方法，对网络中的用户同时执行视点自适应和码率自适应两个操作，两种自适应技术相辅相成，共同提升用户的观看体验。并且结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，提出一种视频质量优化模型，并将模型转化为一个最优化问题，通过解决此最优化问题来选择下一播放视频片段，从而达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。
根据本发明的上述虚拟现实视频下载播放的方法，还可以具有以下技术特征：
在上述技术方案中，优选地，当前播放视频片段和下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
在该技术方案中，优化目标为使视频整体的失真情况、空间质量抖动情况、时间质量抖动情况达到最小，限制条件s.t.分别代表用户选择的视频片段总码率不能超过当前可供下载的码率值以及单个分块只能以一种码率被下载的前提条件，通过解出上述优化问题进而解决用户观看区域质量差、视频空间、时间上质量抖动大的问题。
在上述任一技术方案中，优选地，视频整体的失真情况为所有视频片段的质量失真情况之和；视频整体的空间质量抖动情况为所有视频片段的空间质量抖动情况之和；视频整体的时间质量抖动情况为所有视频片段的时间质量抖动情况之和；视频片段的质量失真情况的计算公式为：
视频片段的空间质量抖动情况的计算公式为：
视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
在该技术方案中，通过计算出视频片段的质量失真情况、视频片段的空间质量抖动情况、视频片段的时间质量抖动情况，进而计算出视频整体的失真情况、视频整体的空间质量抖动情况、视频整体的时间质量抖动情况。
在上述任一技术方案中，优选地，转码质量失真信息为当前播放视频片段的转码前后的区别信息。
在该技术方案中，当前播放视频片段转码后与转码前的质量情况之差为转码质量失真信息，通过视频质量优化模型使转码质量失真信息达到最小。
根据本发明的另一个方面，提出了一种虚拟现实视频下载播放的系统，包括：模型建立单元，用于按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；视频确定单元，用于结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；下载播放单元，用于发起视频下载请求，对下一播放视频片段进行下载播放。
本发明提供的虚拟现实视频下载播放的系统，对网络中的用户同时执行视点自适应和码率自适应两个操作，两种自适应技术相辅相成，共同提升用户的观看体验。并且结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，提出一种视频质量优化模型，并将模型转化为一个最优化问题，通过解决此最优化问题来选择下一播放视频片段，从而达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。
根据本发明的上述虚拟现实视频下载播放的系统，还可以具有以下技术特征：
在上述技术方案中，优选地，当前播放视频片段和下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；
视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
在该技术方案中，优化目标为使视频整体的失真情况、空间质量抖动情况、时间质量抖动情况达到最小，限制条件s.t.分别代表用户选择的视频片段总码率不能超过当前可供下载的码率值以及单个分块只能以一种码率被下载的前提条件，通过解出上述优化问题进而解决用户观看区域质量差、视频空间、时间上质量抖动大的问题。
在上述任一技术方案中，优选地，视频整体的失真情况为所有视频片段的质量失真情况之和；视频整体的空间质量抖动情况为所有视频片段的空间质量抖动情况之和；视频整体的时间质量抖动情况为所有视频片段的时间质量抖动情况之和；视频片段的质量失真情况的计算公式为：
视频片段的空间质量抖动情况的计算公式为：
视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
在该技术方案中，通过计算出视频片段的质量失真情况、视频片段的空间质量抖动情况、视频片段的时间质量抖动情况，进而计算出视频整体的失真情况、视频整体的空间质量抖动情况、视频整体的时间质量抖动情况。
在上述任一技术方案中，优选地，转码质量失真信息为当前播放视频片段的转码前后的区别信息。
在该技术方案中，当前播放视频片段转码后与转码前的质量情况之差为转码质量失真信息，通过视频质量优化模型使转码质量失真信息达到最小。
根据本发明的再一个方面，提出了一种虚拟现实视频传输的方法，包括：获取全景视频；将全景视频划分为多个视频片段，并对多个视频片段进行转码；将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端。
本发明提供的虚拟现实视频传输的方法，获取全景视频，对全景视频进行处理，主要包括划分和转码两个操作，进一步地将转码后的视频片段与原视频片段进行对比，计算出视频片段对应的转码质量失真信息，将视频片段和转码质量失真信息发送至下载端，具体为对于用户覆盖的分块采取高码率传输，用户没有覆盖的分块采取低码率传输或者不传，从而减少带宽浪费，使下载端能够根据视频片段和转码质量失真信息获取其需要的下一视频片段。
根据本发明的上述虚拟现实视频传输的方法，还可以具有以下技术特征：
在上述技术方案中，优选地，将全景视频划分为多个视频片段，并对多个视频片段进行转码的步骤，具体包括：将全景视频在空间上划分为多个视频分块；将多个视频分块在时间上划分为多个视频片段；将多个视频片段转码为多个码率。
在该技术方案中，划分分为空间上的分块和时间上的切片，先将全景视频在空间上切分成块，接着再将各个分块在时间上切分成多个片段，最后进行转码操作，将视频转码为多个码率，实现对全景视频的处理。
在上述任一技术方案中，优选地，在接收视频下载指令，将转码后的视频片段发送至下载端之前，还包括：存储转码后的视频片段以及转码质量失真信息。
在该技术方案中，存储转码后的视频片段以及转码质量失真信息，在接收到下载端的请求时，将视频片段和转码质量失真信息发送至下载端。
根据本发明的又一个方面，提出了一种虚拟现实视频传输的系统，包括：视频获取单元，用于获取全景视频；处理单元，用于将全景视频划分为多个视频片段，并对多个视频片段进行转码；计算单元，用于将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；传输单元，用于接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端。
本发明提供的虚拟现实视频传输的系统，获取全景视频，对全景视频进行处理，主要包括划分和转码两个操作，进一步地将转码后的视频片段与原视频片段进行对比，计算出视频片段对应的转码质量失真信息，将视频片段和转码质量失真信息发送至下载端，具体为对于用户覆盖的分块采取高码率传输，用户没有覆盖的分块采取低码率传输或者不传，从而减少带宽浪费，使下载端能够根据视频片段和转码质量失真信息获取其需要的下一视频片段。
根据本发明的上述虚拟现实视频传输的系统，还可以具有以下技术特征：
在上述技术方案中，优选地，处理单元，包括：划分单元，用于将全景视频在空间上划分为多个视频分块；以及将多个视频分块在时间上划分为多个视频片段；转码单元，用于将多个视频片段转码为多个码率。
在该技术方案中，划分分为空间上的分块和时间上的切片，先将全景视频在空间上切分成块，接着再将各个分块在时间上切分成多个片段，最后进行转码操作，将视频转码为多个码率，实现对全景视频的处理。
在上述任一技术方案中，优选地，还包括：存储单元，用于在传输单元接收视频下载指令，将转码后的视频片段发送至下载端之前，存储转码后的视频片段以及转码质量失真信息。
在该技术方案中，存储转码后的视频片段以及转码质量失真信息，在接收到下载端的请求时，将视频片段和转码质量失真信息发送至下载端。
根据本发明的又一个方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤。
本发明提供的计算机设备，处理器执行计算机程序时实现上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤，具有上述虚拟现实视频下载播放的方法和/或虚拟现实视频传输的方法的技术效果，不再赘述。
根据本发明的又一个方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤，具有上述虚拟现实视频下载播放的方法和/或虚拟现实视频传输的方法的技术效果，不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的虚拟现实视频下载播放的方法的流程示意图；
图2示出了本发明的一个实施例的虚拟现实视频下载播放的系统的示意框图；
图3示出了本发明的一个实施例的虚拟现实视频传输的方法的流程示意图；
图4示出了本发明的另一个实施例的虚拟现实视频传输的方法的流程示意图；
图5示出了本发明的一个实施例的虚拟现实视频传输的系统的示意框图；
图6示出了本发明的另一个实施例的虚拟现实视频传输的系统的示意框图；
图7示出了本发明的一个具体实施例的虚拟现实视频传输方法的整体传输框架示意图；
图8示出了本发明的一个具体实施例的原始虚拟现实视频进行划分和转码操作示意图；
图9示出了本发明的一个具体实施例的视频滑动窗口长度示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种虚拟现实视频下载播放的方法，图1示出了本发明的一个实施例的虚拟现实视频下载播放的方法的流程示意图。其中，该方法包括：
步骤102，按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；
步骤104，结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；
步骤106，发起视频下载请求，对下一播放视频片段进行下载播放。
当前播放视频片段和下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
视频整体的失真情况为所有视频片段的质量失真情况之和；视频整体的空间质量抖动情况为所有视频片段的空间质量抖动情况之和；视频整体的时间质量抖动情况为所有视频片段的时间质量抖动情况之和；视频片段的质量失真情况的计算公式为：
视频片段的空间质量抖动情况的计算公式为：
视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
本发明提供的虚拟现实视频下载播放的方法，对网络中的用户同时执行视点自适应和码率自适应两个操作，两种自适应技术相辅相成，共同提升用户的观看体验。并且结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，提出一种视频质量优化模型，并将模型转化为一个最优化问题，优化目标为使视频整体的失真情况、空间质量抖动情况、时间质量抖动情况达到最小，限制条件s.t.分别代表用户选择的视频片段总码率不能超过当前可供下载的码率值以及单个分块只能以一种码率被下载的前提条件，通过解决此最优化问题来选择下一播放视频片段，从而达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。
本发明第二方面的实施例，提出一种虚拟现实视频下载播放的系统，图2示出了本发明的一个实施例的虚拟现实视频下载播放的系统200的示意框图。其中，该系统200包括：
模型建立单元202，用于按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；视频确定单元204，用于结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；下载播放单元206，用于发起视频下载请求，对下一播放视频片段进行下载播放。
当前播放视频片段和下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
视频整体的失真情况为所有视频片段的质量失真情况之和；视频整体的空间质量抖动情况为所有视频片段的空间质量抖动情况之和；视频整体的时间质量抖动情况为所有视频片段的时间质量抖动情况之和；视频片段的质量失真情况的计算公式为：
视频片段的空间质量抖动情况的计算公式为：
视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
本发明提供的虚拟现实视频下载播放的系统，对网络中的用户同时执行视点自适应和码率自适应两个操作，两种自适应技术相辅相成，共同提升用户的观看体验。并且结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，提出一种视频质量优化模型，并将模型转化为一个最优化问题，通过解决此最优化问题来选择下一播放视频片段，从而达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。
本发明第三方面的实施例，提出一种虚拟现实视频传输的方法，图3示出了本发明的一个实施例的虚拟现实视频传输的方法的流程示意图。其中，该方法包括：
步骤302，获取全景视频；
步骤304，将全景视频划分为多个视频片段，并对多个视频片段进行转码；
步骤306，将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；
步骤308，接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端。
本发明提供的虚拟现实视频传输的方法，获取全景视频，对全景视频进行处理，主要包括划分和转码两个操作，进一步地将转码后的视频片段与原视频片段进行对比，计算出视频片段对应的转码质量失真信息，将视频片段和转码质量失真信息发送至下载端，具体为对于用户覆盖的分块采取高码率传输，用户没有覆盖的分块采取低码率传输或者不传，从而减少带宽浪费，使下载端能够根据视频片段和转码质量失真信息获取其需要的下一视频片段。
图4示出了本发明的另一个实施例的虚拟现实视频传输的方法的流程示意图。其中，该方法包括：
步骤402，获取全景视频；
步骤404，将全景视频在空间上划分为多个视频分块；将多个视频分块在时间上划分为多个视频片段；将多个视频片段转码为多个码率；
步骤406，将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；
步骤408，存储转码后的视频片段以及转码质量失真信息；
步骤410，接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端。
在该实施例中，划分分为空间上的分块和时间上的切片，先将全景视频在空间上切分成块，接着再将各个分块在时间上切分成多个片段，最后进行转码操作，将视频转码为多个码率，实现对全景视频的处理。
存储转码后的视频片段以及转码质量失真信息，在接收到下载端的请求时，将视频片段和转码质量失真信息发送至下载端。
本发明第四方面的实施例，提出一种虚拟现实视频传输的系统，图5示出了本发明的一个实施例的虚拟现实视频传输的系统500的示意框图。其中，该系统500包括：
视频获取单元502，用于获取全景视频；处理单元504，用于将全景视频划分为多个视频片段，并对多个视频片段进行转码；计算单元506，用于将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；传输单元508，用于接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端。
本发明提供的虚拟现实视频传输的系统500，获取全景视频，对全景视频进行处理，主要包括划分和转码两个操作，进一步地将转码后的视频片段与原视频片段进行对比，计算出视频片段对应的转码质量失真信息，将视频片段和转码质量失真信息发送至下载端，具体为对于用户覆盖的分块采取高码率传输，用户没有覆盖的分块采取低码率传输或者不传，从而减少带宽浪费，使下载端能够根据视频片段和转码质量失真信息获取其需要的下一视频片段。
图6示出了本发明的另一个实施例的虚拟现实视频传输的系统600的示意框图。其中，该系统600包括：
视频获取单元602，用于获取全景视频；
处理单元604，用于将全景视频划分为多个视频片段，并对多个视频片段进行转码；
处理单元604，包括：划分单元642，用于将全景视频在空间上划分为多个视频分块；以及将多个视频分块在时间上划分为多个视频片段；转码单元644，用于将多个视频片段转码为多个码率；
计算单元606，用于将转码后的视频片段与转码前的视频片段进行对比，计算出视频片段的转码质量失真信息；
传输单元608，用于接收视频下载请求，将转码后的视频片段和转码质量失真信息发送至下载端；
存储单元610，用于在传输单元接收视频下载指令，将转码后的视频片段发送至下载端之前，存储转码后的视频片段以及转码质量失真信息。
在该实施例中，划分分为空间上的分块和时间上的切片，先将全景视频在空间上切分成块，接着再将各个分块在时间上切分成多个片段，最后进行转码操作，将视频转码为多个码率，实现对全景视频的处理。
存储转码后的视频片段以及转码质量失真信息，在接收到下载端的请求时，将视频片段和转码质量失真信息发送至下载端。
具体实施例中虚拟现实视频传输方法的整体传输框架，如图7所示，在服务器端，需对原始全景视频进行处理，主要包括划分和转码两个操作，而划分又分为时间上的切片和空间上的分块。具体地，先将原始视频在空间上切分成块，接着再将各个分块在时间上切分成多个片段，最后进行转码操作，将视频转码为多个码率。除此以外，还需将转码后的视频与原视频进行对比，计算出视频块对应的质量失真等信息，与处理后的视频块共同存储在HTTP服务器中。在处理前，先对虚拟现实视频片段长度、分块个数、分块大小以及码率等级等进行预定义，其中涉及的概念和符号定义如下：
定义L为视频片段总数；定义N为视频分块总数；定义M为视频码率等级总数。
视频块的实际码率：定义为第k个视频片段下，第i个分块在第j个码率等级所处的实际码率大小，其中，1≤i≤N，1≤j≤M，1≤k≤L。
视频块的质量失真：定义为第k个视频片段下，第i个分块在第j个码率等级所对应的视频块与原始视频对比得到的质量失真，其中，1≤i≤N，1≤j≤M，1≤k≤L。
经过定义后，即按照以上定义将原始虚拟现实视频进行划分和转码操作并计算对应失真，如图8所示。图8中左侧相邻视频块颜色差异代表着视频本身内容上的差异，图8中右侧相邻视频块颜色差异代表以相同码率编码后，视频本身质量的差异。处理后所有视频块及失真信息即被保存在HTTP服务器中。
准备工作完成后，分散在网络中的客户端即可根据最优化传输策略获取视频片段进行播放。在客户端，需要对网络中的用户同时执行视点自适应和码率自适应两个操作，计算出应当选择的视频片段并下载。本发明实施例提出一种用户质量最优化模型，并将模型转化为一个最优化问题，通过解决此最优化问题来选择视频片段，从而达到最大化视窗内质量，减少分块获取错误数并减少相邻块之间、视频片段与片段之间的质量抖动的目的。具体细节如下：
对于用户而言，若想视频质量达到最优需要保证以下三点：1)视窗内质量最高，也即视频失真最小。2)同一片段下，相邻的视频分块间边界效应最小，即空间质量变化最小。3)不同片段间，对应的视频分块过渡效应最小，即时间质量变化最小。据此可以建立最优化模型，达到三个指标的最优化，从而最大化用户观看质量。为了进行合理的计算，模型中涉及到的变量定义如下：
代表视频块是否被观看：定义为第k个视频片段下，第i个分块在第j个码率等级所对应的视频块是否被观看，代表观看，代表不观看，其中，1≤i≤N，1≤j≤M，1≤k≤L，代表整体选择结果。
代表视频块的观看权重：定义为第k个视频片段下，第i个分块在第j个码率等级所对应的视频块的观看权重，它由视点自适应算法得出，在整个用户视窗内部，从视窗边缘开始至距视窗球面距离最远的位置处，逐渐减小至0，代表着用户观看概率的变化情况，即代表着在视点自适应过程中，对视窗内部的视频分块下载较高码率，对视窗外的下载低码率这一决策。其中，1≤i≤N，1≤j≤M，1≤k≤L。
Φ(X)代表视频的期望失真：定义Φ(X)为视频的整体失真情况，具体地，Φk(X)代表第k个视频片段的质量失真情况，具体定义如下：
Ψ(X)代表视频空间质量抖动情况：定义Ψ(X)为视频的整体空间质量抖动情况，具体地，Ψk(X)代表第k个视频片段的空间质量抖动情况，具体定义如下：
H代表视频滑动窗口长度：定义H为视频滑动窗口长度，如图9所示，表示在H滑窗内进行最优化计算，保证视频的空间质量稳定性。
Θ(X)代表视频时间质量抖动情况：定义Θ(X)为视频的整体时间质量抖动情况，具体地，Θk(X)代表第k个视频片段的时间质量抖动情况，具体定义如下：
R代表视频片段总码率上限：定义R为视频片段总码率上限值，具体地，Rk代表第k个视频片段的码率上限值，它由码率自适应算法根据当前网络带宽得出，代表着当前可供用户下载的带宽值。
η，ζ代表优化目标权重：定义η，ζ为优化目标权重，其中η代表空间质量抖动情况的权重，ζ代表时间质量抖动情况的权重。
最优化模型：基于上述定义，定义最优化模型如下，
此模型代表着在最小化视频失真的同时最小化时间和空间上视频质量的波动。限制条件分别代表用户选择的视频片段总码率不能超过当前可供下载的码率值以及单个分块只能以一种码率被下载的前提条件。
用户每次观看视频时，都可以对最优化模型进行计算，从而得到下一时刻需要下载的视频块信息，通过HTTP请求获取存储在服务器端的视频内容进行观看。每次下载结束后，再启动新一轮计算，直至用户观看完毕。本发明提出的最优化模型不仅提升了用户视窗内视频的质量，还大大减少了时间、空间维度上视频质量的不一致性，极大的提升了用户的体验。
本发明第五方面的实施例，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤。
本发明提供的计算机设备，处理器执行计算机程序时实现上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤，具有上述虚拟现实视频下载播放的方法和/或虚拟现实视频传输的方法的技术效果，不再赘述。
本发明第六方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现上述任一项的虚拟现实视频下载播放的方法的步骤，和/或实现如上述任一项虚拟现实视频传输的方法的步骤，具有上述虚拟现实视频下载播放的方法和/或虚拟现实视频传输的方法的技术效果，不再赘述。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种虚拟现实视频下载播放的方法，其特征在于，所述方法包括：
按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；
结合当前播放视频片段以及所述当前播放视频片段的转码质量失真信息，根据所述视频质量优化模型确定下一播放视频片段；
发起视频下载请求，对所述下一播放视频片段进行下载播放。
2.根据权利要求1所述的虚拟现实视频下载播放的方法，其特征在于，
所述当前播放视频片段和所述下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；
所述视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表所述空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表所述时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
3.根据权利要求2所述的虚拟现实视频下载播放的方法，其特征在于，
所述视频整体的失真情况为所有所述视频片段的质量失真情况之和；所述视频整体的空间质量抖动情况为所有所述视频片段的空间质量抖动情况之和；所述视频整体的时间质量抖动情况为所有所述视频片段的时间质量抖动情况之和；
所述视频片段的质量失真情况的计算公式为：
所述视频片段的空间质量抖动情况的计算公式为：
所述视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
4.根据权利要求1至3中任一项所述的虚拟现实视频下载播放的方法，其特征在于，
所述转码质量失真信息为所述当前播放视频片段的转码前后的区别信息。
5.一种虚拟现实视频下载播放的系统，其特征在于，所述系统包括：
模型建立单元，用于按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；
视频确定单元，用于结合当前播放视频片段以及所述当前播放视频片段的转码质量失真信息，根据所述视频质量优化模型确定下一播放视频片段；
下载播放单元，用于发起视频下载请求，对所述下一播放视频片段进行下载播放。
6.根据权利要求5所述的虚拟现实视频下载播放的系统，其特征在于，
所述当前播放视频片段和所述下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；
所述视频质量优化模型为：
其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表所述空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表所述时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。
7.根据权利要求6所述的虚拟现实视频下载播放的系统，其特征在于，
所述视频整体的失真情况为所有所述视频片段的质量失真情况之和；所述视频整体的空间质量抖动情况为所有所述视频片段的空间质量抖动情况之和；所述视频整体的时间质量抖动情况为所有所述视频片段的时间质量抖动情况之和；
所述视频片段的质量失真情况的计算公式为：
所述视频片段的空间质量抖动情况的计算公式为：
所述视频片段的时间质量抖动情况的计算公式为：
其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。
8.根据权利要求5至7中任一项所述的虚拟现实视频下载播放的系统，其特征在于，
所述转码质量失真信息为所述当前播放视频片段的转码前后的区别信息。
9.一种虚拟现实视频传输的方法，其特征在于，所述方法包括：
获取全景视频；
将所述全景视频划分为多个视频片段，并对所述多个视频片段进行转码；
将转码后的所述视频片段与转码前的所述视频片段进行对比，计算出所述视频片段的转码质量失真信息；
接收视频下载请求，将转码后的所述视频片段和所述转码质量失真信息发送至下载端。
10.根据权利要求9所述的虚拟现实视频传输的方法，其特征在于，将所述全景视频划分为多个视频片段，并对所述多个视频片段进行转码的步骤，具体包括：
将所述全景视频在空间上划分为多个视频分块；
将所述多个视频分块在时间上划分为所述多个视频片段；
将所述多个视频片段转码为多个码率。
11.根据权利要求9或10所述的虚拟现实视频传输的方法，其特征在于，在接收视频下载指令，将转码后的所述视频片段发送至下载端之前，还包括：
存储转码后的所述视频片段以及所述转码质量失真信息。
12.一种虚拟现实视频传输的系统，其特征在于，所述系统包括：
视频获取单元，用于获取全景视频；
处理单元，用于将所述全景视频划分为多个视频片段，并对所述多个视频片段进行转码；
计算单元，用于将转码后的所述视频片段与转码前的所述视频片段进行对比，计算出所述视频片段的转码质量失真信息；
传输单元，用于接收视频下载请求，将转码后的所述视频片段和所述转码质量失真信息发送至下载端。
13.根据权利要求12所述的虚拟现实视频传输的系统，其特征在于，所述处理单元，包括：
划分单元，用于将所述全景视频在空间上划分为多个视频分块；以及将所述多个视频分块在时间上划分为所述多个视频片段；
转码单元，用于将所述多个视频片段转码为多个码率。
14.根据权利要求12或13所述的虚拟现实视频传输的系统，其特征在于，还包括：存储单元，用于在所述传输单元接收所述视频下载指令，将转码后的所述视频片段发送至所述下载端之前，存储转码后的所述视频片段以及所述转码质量失真信息。
15.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的虚拟现实视频下载播放的方法的步骤，和/或如权利要求9至11中任一项所述的虚拟现实视频传输的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的虚拟现实视频下载播放的方法的步骤，和/或如权利要求9至11中任一项所述的虚拟现实视频传输的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111539.2A CN110121080A (zh) | 2018-02-05 | 2018-02-05 | 虚拟现实视频传输和下载播放的方法、系统及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111539.2A CN110121080A (zh) | 2018-02-05 | 2018-02-05 | 虚拟现实视频传输和下载播放的方法、系统及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110121080A true CN110121080A (zh) | 2019-08-13 |
Family
ID=67519777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810111539.2A Pending CN110121080A (zh) | 2018-02-05 | 2018-02-05 | 虚拟现实视频传输和下载播放的方法、系统及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110121080A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911347A (zh) * | 2020-11-09 | 2021-06-04 | 北京大学 | 基于视区跟踪的16k移动平台虚拟现实视频传输方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152766A1 (en) * | 2012-05-24 | 2014-06-05 | Panasonic Corporation | Video transmission device, video transmission method, and video playback device |
| CN104580067A (zh) * | 2013-10-11 | 2015-04-29 | 北京大学 | 基于多服务器的流媒体传输装置和流媒体传输方法 |
| CN106657980A (zh) * | 2016-10-21 | 2017-05-10 | 乐视控股（北京）有限公司 | 全景视频的质量测试方法和装置 |
| CN108833880A (zh) * | 2018-04-26 | 2018-11-16 | 北京大学 | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 |
-
2018
- 2018-02-05 CN CN201810111539.2A patent/CN110121080A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152766A1 (en) * | 2012-05-24 | 2014-06-05 | Panasonic Corporation | Video transmission device, video transmission method, and video playback device |
| CN104580067A (zh) * | 2013-10-11 | 2015-04-29 | 北京大学 | 基于多服务器的流媒体传输装置和流媒体传输方法 |
| CN106657980A (zh) * | 2016-10-21 | 2017-05-10 | 乐视控股（北京）有限公司 | 全景视频的质量测试方法和装置 |
| CN108833880A (zh) * | 2018-04-26 | 2018-11-16 | 北京大学 | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| YIXUAN BAN 等: "An Optimal Spatial-temporal Smoothness Approach for Tile-based 360-degree Video Streaming", 《2017 IEEE VISUAL COMMUNICATION AND IMAGE PROCESSING》 * |
| 郭宗明，班怡璇，谢澜: "虚拟现实视频传输架构和关键技术", 《中兴通讯技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911347A (zh) * | 2020-11-09 | 2021-06-04 | 北京大学 | 基于视区跟踪的16k移动平台虚拟现实视频传输方法和系统 |
| CN112911347B (zh) * | 2020-11-09 | 2021-11-23 | 北京大学 | 虚拟现实视频传输方法、系统、服务器端和客户端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748847B2 (en) | Method and apparatus for streaming data | |
| CN107211193B (zh) | 感知体验质量估计驱动的智能适应视频流传输方法和系统 | |
| US20220030244A1 (en) | Content adaptation for streaming | |
| CN108833880B (zh) | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 | |
| Sun et al. | A two-tier system for on-demand streaming of 360 degree video over dynamic networks | |
| TW202006662A (zh) | 提高影像品質的方法 | |
| Yuan et al. | Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos | |
| Huang et al. | Utility-oriented resource allocation for 360-degree video transmission over heterogeneous networks | |
| US11575894B2 (en) | Viewport-based transcoding for immersive visual streams | |
| Nguyen et al. | A new adaptation approach for viewport-adaptive 360-degree video streaming | |
| US20200404241A1 (en) | Processing system for streaming volumetric video to a client device | |
| CN115037962B (zh) | 视频自适应传输方法、装置、终端设备以及存储介质 | |
| US20140321556A1 (en) | Reducing amount of data in video encoding | |
| CN113286146A (zh) | 媒体数据处理方法、装置、设备以及存储介质 | |
| CN110121080A (zh) | 虚拟现实视频传输和下载播放的方法、系统及计算机设备 | |
| US10129522B2 (en) | Processing device for the generation of 3D content versions and associated device for obtaining content | |
| Yang et al. | Region priority based adaptive 360-degree video streaming using DASH | |
| Qian et al. | Tile-Based Viewport-Adaptive Panoramic Video Streaming on Smartphones | |
| Nasrabadi | Improving Quality of Experience for HTTP Adaptive Video Streaming: From Legacy to 360° Videos | |
| Taghavi Nasrabadi | Improving Quality of Experience for HTTP Adaptive Video Streaming: From Legacy to 360° Videos | |
| CN116963124A (zh) | 一种虚拟现实多用户协作体验质量优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |