CN116320551B - 一种基于多个多球面图像的多视点视频自适应传输方法 - Google Patents
一种基于多个多球面图像的多视点视频自适应传输方法 Download PDFInfo
- Publication number
- CN116320551B CN116320551B CN202310594655.5A CN202310594655A CN116320551B CN 116320551 B CN116320551 B CN 116320551B CN 202310594655 A CN202310594655 A CN 202310594655A CN 116320551 B CN116320551 B CN 116320551B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- spherical
- group
- prediction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 25
- 230000008520 organization Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明所提供的一种基于多个多球面图像的多视点视频自适应传输方法，包括：确定待传输的多视点视频；获取用户视点预测信息，根据用户视点预测信息确定多视点视频中的候选多球面图像；获取网络带宽预测信息和已缓存图层组，并根据网络带宽预测信息、候选多球面图像及已缓存图层组确定目标多球面图像以及对应的目标图层组；获取目标多球面图像对应的全景立体图对，并从云端服务器中下载目标图层组；根据全景立体图对和目标图层组进行渲染，得到目标视图，并将目标视图发送至客户端。本发明以图层组为单位进行图像的获取，减小了传输宽带的压力。
Description
技术领域
本发明涉及视频传输领域，尤其涉及的是一种基于多个多球面图像的多视点视频自适应传输方法。
背景技术
在现行网络带宽瓶颈下，对多视点视频进行自适应网络传输，即由系统自身根据当前网络情况和用户观看行为来自动选择相对应的视频内容和码率，以尽可能地给用户提供最好的观看体验。多视点媒体是一种可以表示3D场景的包含深度信息的多视角视频格式，可以让用户在观看视频时自由地移动头部和身体，获得更加沉浸式的体验。多视点视频相较于传统视频的数据量更大，表现方式更复杂，多视点视频高带宽和低延时的需求在现行的网络框架下仍是一个巨大的挑战。
传统的三维表示方法通常使用基于体积媒介或基于图像的解决方案来表示三维场景或物体。体积视频使用三维元素如体素、点云或三维网格构建显式三维模型。大多数增强现实/虚拟现实内容是通过这种三维几何代理和纹理来生成整个场景，并根据实时相机姿态生成相应的视图。
然而，基于复杂和精细模型的渲染意味着更高的延迟和更大的计算量，并且目前尚未在移动设备上实现基于轻量级硬件的解码器来实时解码体积数据。为了确保视图合成时间独立于场景复杂性，一些研究选择直接从已知的源视图进行插值，通常通过扭曲目标附近的源图，来生成目标视图。然而，这种方法需要大量的视图，将产生大量的场景视图，需要大量数据存储和传输带宽。此外，具有基于坐标的神经网络的表示方法，例如，神经辐射场 (Neural Radiance Field,NeRF) 可以获得质量良好的新颖视图但是不能实现实时性并且泛化性差。除此之外，虽然5G带宽的增长给沉浸式视频传输提供更好的硬件条件，但是沉浸式视频依然对现行带宽造成了巨大的压力。也就是说，现有的多视点视频传输方式对传输带宽造成了很大的压力。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多个多球面图像的多视点视频自适应传输方法，旨在解决现有技术中多视点视频传输方式对传输带宽造成了很大的压力的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于多个多球面图像的多视点视频自适应传输方法，所述方法包括：
确定待传输的多视点视频；
获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；
获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；
获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；
根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。
可选地，所述多视点视频是由云端服务器将获取到的多个多球面图像按照预设组织规则构建而成，所述预设组织规则包括：
确定获取到的多个多球面图像在虚拟3D空间对应的球心位置，根据所述球心位置构建所述多视点视频，每个所述多球面图像包括多层同心球面；
根据所述球心位置对各个所述多球面图像进行编号，得到图像编号；
将每个所述多球面图像的多层同心球面编码为不同质量等级的图层组，并按照质量等级由低到高的顺序对每个图层组进行编号，得到等级编号；
其中，相邻的两个多球面图像的用户最大可偏移范围是相交的，相邻的两个多球面图像之间球心位置的距离为所述用户最大可偏移范围。
可选地，所述获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像，包括：
接收客户端发送的用户视点变化信息，并根据所述用户视点变化信息对下一时段的用户视点进行预测，得到用户视点预测信息；
根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像的图像编号。
可选地，所述获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组，包括：
获取网络环境变化信息，根据所述网络环境变化信息对下一时段的网络带宽进行预测，得到网络带宽预测信息；
根据所述网络环境变化信息，对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序，将优先级最高的候选多球面图像作为目标多球面图像，并确定所述目标多球面图像的图像编号；
获取所述目标多球面图像对应的已缓存图层组，确定所述已缓存图层组的等级编号；
将质量等级高于所述已缓存图层组的图层组作为候选图层组，并将所述候选图层组中质量等级最低的候选图层组作为目标图层组，确定所述目标图层组的等级编号。
可选地，获取所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组，包括：
判断是否已下载所述目标多球面图像对应的全景立体图对；
若是，则获取已下载的所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组。
可选地，所述判断是否已下载所述目标多球面图像对应的全景立体图对之后，还包括：
若否，则根据所述目标多球面图像的图像编号从云端服务器中同时下载所述目标多球面图像的全景立体图对及最低质量等级的图层组。
可选地，根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端，包括：
将所述全景立体图对重投影到3D空间，得到每一图层对应的纹理图对；
获取所述目标图层组中的混合权重图，使用上采样的混合权重图将所述纹理图对生成目标多球面图像中每一个图层对应的纹理图；
获取所述目标图层组中的透明度图层，对所述透明度图层进行上采样，并获取所述目标多球面图像对应的低于所述目标图层组的已缓存图层组；
所述目标图层组与所述已缓存图层组一次构成当前质量等级的多球面图像；
根据所述纹理图、所述当前质量等级的多球面图像和所述用户视点预测信息渲染得到目标视图；
将所述目标视图发送至客户端。
本发明还公开一种基于多个多球面图像的多视点视频自适应传输装置，所述装置包括：
确定模块，用于确定待传输的多视点视频；
第一获取模块，用于获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；
第二获取模块，用于获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；
下载模块，用于获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；
渲染模块，用于根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。
本发明还公开一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多个多球面图像的多视点视频自适应传输程序，所述基于多个多球面图像的多视点视频自适应传输程序被所述处理器执行时实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
本发明提供的一种基于多个多球面图像的多视点视频自适应传输方法，包括：确定待传输的多视点视频；获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。本发明通过用户视点预测信息、网络带宽预测信息和已缓存图层组确定目标多球面图像并以图层组为单位进行图像的获取，减小了传输宽带的压力。
附图说明
图1是本发明中基于多个多球面图像的多视点视频自适应传输方法较佳实施例的流程图。
图2是本发明提出的云-边-端架构的功能原理框图。
图3是本发明中基于多个多球面图像的多视点视频自适应传输装置较佳实施例的功能原理框图。
图4是本发明中终端的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明设计的新技术方案的初衷是为了克服现有的多视点视频传输的带来挑战。多视点媒体是一种可以表示3D场景的包含深度信息的多视角视频格式，可以让用户在观看视频时自由地移动头部和身体，获得更加沉浸式的体验。多视点视频相较于传统视频的数据量更大，表现方式更复杂，多视点视频高带宽和低延时的需求在现行的网络框架下仍是一个巨大的挑战。传统的三维表示方法通常使用基于体积媒介或基于图像的解决方案来表示三维场景或物体。体积视频使用三维元素如体素、点云或三维网格构建显式三维模型。大多数增强现实/虚拟现实内容是通过这种三维几何代理和纹理来生成整个场景，并根据实时相机姿态生成相应的视图。然而，基于复杂和精细模型的渲染意味着更高的延迟和更大的计算量，并且目前尚未在移动设备上实现基于轻量级硬件的解码器来实时解码体积数据。为了确保视图合成时间独立于场景复杂性，一些研究选择直接从已知的源视图进行插值，通常通过扭曲目标附近的源图，来生成目标视图。然而，这种方法需要大量的视图，将产生大量的场景视图，需要大量数据存储和传输带宽。此外，具有基于坐标的神经网络的表示方法，例如，神经辐射场 (Neural Radiance Field,NeRF) 可以获得质量良好的新颖视图但是不能实现实时性并且泛化性差。除此之外，虽然5G带宽的增长给沉浸式视频传输提供更好的硬件条件，但是沉浸式视频依然对现行带宽造成了巨大的压力。多球面图像（Multi-Sphere-Images,MSI) 的是多个按照固定深度排列的RGBA同心球面图组成。MSI可以实时渲染获得一定范围内视点的自由切换。为了均衡带宽和用户体验质量的传输方案，并且实时提供高质量的合成视图，提出了本发明基于多个MSI表示方法的多视点视频自适应传输方法。
多球面图像（Multi-Sphere-Images,MSI)是多个按照固定深度排列的RGBA同心球面图组成。MSI可以实时渲染获得一定范围内视点的自由切换。为了均衡带宽和用户体验质量的传输方案，并且实时提供高质量的合成视图，提出了本发明的基于多个MSI表示方法的多视点视频自适应传输方法。
请参见图1，图1是本发明中基于多个多球面图像的多视点视频自适应传输方法的流程图。如图1所示，本发明实施例所述的基于多个多球面图像的多视点视频自适应传输方法包括：
步骤S100、确定待传输的多视点视频。
具体地，边缘端根据客户端的需求确定待传输的多视点视频。本发明在数据传输时对每个多球面图像的内容进行下采样，以减少视频传输的数据量。
在一种实现方式中，所述多视点视频是由云端服务器将获取到的多个多球面图像按照预设组织规则构建而成，所述预设组织规则包括：确定获取到的多个多球面图像在虚拟3D空间对应的球心位置，根据所述球心位置构建所述多视点视频，每个所述多球面图像包括多层同心球面；根据所述球心位置对各个所述多球面图像进行编号，得到图像编号；将每个所述多球面图像的多层同心球面编码为不同质量等级的图层组，并按照质量等级由低到高的顺序对每个图层组进行编号，得到等级编号。其中，相邻的两个多球面图像的用户最大可偏移范围是相交的，相邻的两个多球面图像之间球心位置的距离为所述用户最大可偏移范围。
具体地，云端服务器中存储有高质量的多视点视频内容，即多个多球面图像，按照预设组织规则构建多个质量等级的多视点视频。预设组织规则即视频内容组织，本发明将多个多球面图像映射到其对应的3D空间上，将这些多球面图像按照固定的空间结构排列构建视频内容，并将每个多球面图像划分为多尺度质量等级的部分，这些部分可以随着等级的提高不断提升品质，使得在传输过程中可以通过选择不同位置的多球面图像来适应用户的自由移动和选择不同的层级的多球面图像以适应当前网络情况。
如图2所示，基于云-边-端架构，在边缘端基于多个多球面图像的表示方法的多视点视频进行传输控制和渲染控制，实现动态视点、码率自适应传输，给用户提供实时稳定的观看体验。
每个多球面图像按照其在虚拟3D空间对应的球心位置，进行编号，保证除场景边缘外，每个多球面图像都有上/下、左/右、前/后方向的相邻多球面图像。且每个多球面图像与其相邻多球面图像的用户最大可偏移范围是相交的，且多球面图像与相邻多球面图像球心距离为用户最大可偏移范围，这样，能够避免渲染时多球面图像切换导致的剧烈的质量变化。
对于单个多球面图像，多球面图像是由多层同心球面组成，每个多球面图像的中间层（去掉最小、最大半径层的中间其他层）都是由深度倒数（视差）线性插值而来。在一个有层的多球面图像中，按照每层对应的半径由小到大编号为 />。可以将其编码成/>个不同质量等级的图层组。一个图层组的质量等级为/>，将该图层组包含层次集合记为/>。为了获得/>并且确保同一图层组中相邻层之间的视差间隙均匀，将每个层级平均分为/>个部分，并在每个部分中选择第一层（即最靠近MSI球中心的层）。因此，在第/>个图层组中，可以获得/>层，其中/>。
如图1所示，本实施例所述的基于多个多球面图像的多视点视频自适应传输方法还包括：
步骤S200、获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像。
具体地，边缘端获取客户端发送的用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的目标多球面图像。
在一种实施例中，所述步骤S200具体包括：接收客户端发送的用户视点变化信息，并根据所述用户视点变化信息对下一时段的用户视点进行预测，得到用户视点预测信息；根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像的图像编号。
具体地，所述用户视点变化信息是指在当前时刻之前的第一预设时间段内用户的轨迹信息。根据历史轨迹信息能够预测得到用户视点预测信息，从而确定用户下一时段需要的多球面图像。
如图1所示，本实施例所述的基于多个多球面图像的多视点视频自适应传输方法还包括：
步骤S300、获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组。
在一种实施例中，所述步骤S300具体包括：获取网络环境变化信息，根据所述网络环境变化信息对下一时段的网络带宽进行预测，得到网络带宽预测信息；根据所述网络环境变化信息，对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序，将优先级最高的候选多球面图像作为目标多球面图像，并确定所述目标多球面图像的图像编号；获取所述目标多球面图像对应的已缓存图层组，确定所述已缓存图层组的等级编号；将质量等级高于所述已缓存图层组的图层组作为候选图层组，并将所述候选图层组中质量等级最低的候选图层组作为目标图层组，确定所述目标图层组的等级编号。
网络环境变化信息是指在当前时刻之前的第二预设时间段内的历史网络吞吐量，根据历史网络吞吐量预测下一时段的网络带宽预测信息，若下一时段的网络带宽情况是带宽空闲，则确定下载。
具体地，网络带宽预测信息可以为平均下载速度。在边缘端有一个传输控制器和渲染控制器，来异步选择云端服务器传输给边缘端缓冲区的视频内容和边缘端传输给用户的视图。在边缘端和云端服务器交互过程中，将视频流传输系统建模为一个动态系统，所述用户视点变化信息是指用户轨迹；其中，/>代表用户的物理位置即一个三维向量。所述网络环境变化信息是指历史网络吞吐量/>，即，从决策时刻/>到之前/>时长的所有宽带。历史网络吞吐量、用户轨迹和已缓存信息是控制系统的输入，多视点视频的多球面图像自适应传输优先级是输出。按照优先级高低将要下载的 MSI 序列记为 />。
也就是说，在每次下载时，都只下载优先级最高的目标多球面图像，下载完成就进行下一次下载决策，来尽可能利用当前信息，并且使得下载内容尽快应用到渲染视图。
用户的观看体验与用户的未来轨迹、带宽和已经下载的内容密切相关。为了优化用户的观看质量，每次下载都应该尽可能地优化整个视频的质量。通过收集的用户轨迹的历史记录来预测用户未来（最长预测时间）时间段的轨迹，并记录为一个MSI索引和处于该MSI的时长序列，当上一个下载完成时，在时间/>立即开始下载的决策。下载MSI的下载时间是/>，即它取决于边缘端已缓存的层级及对应下载层级/>的MSI的大小，以及此下载过程中的平均下载速度/>。在每个决策时间点，通过预测未来的用户轨迹和带宽，以及当前边缘缓存的内容信息，共同决定未来的下载是哪个MSI 和对应层级。为了使预测时间/>内完成的下载轨迹获得最佳质量，从而在每个决策时刻最大化整个浏览过程的观看质量，需要使该时间段（/>）的整体QoE最大化。
也就是说，在时刻，预测了用户在时间/>的轨迹，其中，/>，即下载轨迹的总下载时间应该小于等于预测时间/>。/>是一个下载序列，即按照该序列的顺序依次去提升该序列中的MSI的层级，以提高用户观看质量。/>是一个候选的MSI轨迹集合，随着其中MSI 层次级别的提高或下载新的MSI缓存信息，cached更新。通过在/>到/>这段时间的用户观看轨迹在更新内容与在/>时刻未下载任何内容的观看质量的比较来判断在时间段/>到/>下载的内容是否有效，/>。本发明使用参数/>来鼓励能够提高即时质量的MSI的传输；/>表示下载提升视觉质量实际有效的时间长度。通过/>和/>，在即时质量和未来质量之间进行权衡，以获得更好的整体观看质量。则最大化视频质量的优化问题可以表示如下：
，
，
，
，
，
，
，
通过求解上述优化问题就可以对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序。
如图1所示，本实施例所述的基于多个多球面图像的多视点视频自适应传输方法还包括：
步骤S400、获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组。
在一种实施例中，所述步骤S400包括：判断是否已下载所述目标多球面图像对应的全景立体图对；若是，则获取已下载的所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组。
在一种实现方式中，所述判断是否已下载所述目标多球面图像对应的全景立体图对之后还包括：若否，则根据所述目标多球面图像的图像编号从云端服务器中同时下载所述目标多球面图像的全景立体图对及最低质量等级的图层组。
具体地，控制器的作用是根据之前的带宽和用户浏览轨迹及边缘端缓存的视频内容，在每个带宽空闲的时刻选择下载的多球面图像、/>及其层级/>（由已缓存的层级决定）来最大化定义的用户体验质量，以达到最佳视频质量和带宽利用效率的平衡。每个多球面图像以其图层组为单位缓存在边缘端。每次下载某个多球面图像时，总是从低到高，每次都下载上一次缓存的下一个层级的图层组，除非该MSI的层级已达到最高层级/>。
；
即，如果边缘端没有下载过多球面图像m，则下载层级为1的多球面图像m图层组。否则，将原先的层级提升一个层级，即下载下一个层级的图层组。
决策的本质就是选择一个多球面图像，对其缓存的层级进行一个层次的提升，这个选择决策即受带宽和下载大小的共同决策。除此之外，实时监测带宽使用，在每次带宽空闲时进行传输内容的决策，否则不做任何操作，通过这种方法实现动态自适应视频流传输，提高视频质量和带宽利用效率。
由于图层组有很多重复的图层，在渐进式传输中，将等级高的图层组和低层次图层中重复包含的图层剔除，在渲染时再重新组装，来减少传输的数据量。实际传输的各个等级图层组包含的层次如下：/>；
如图1所示，本实施例所述的基于多个多球面图像的多视点视频自适应传输方法还包括：
步骤S500、根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。
在一种实施例中，所述步骤S500具体包括：将所述全景立体图对重投影到3D空间，得到每一图层对应的纹理图对；获取所述目标图层组中的混合权重图，使用上采样的混合权重图将所述纹理图对生成目标多球面图像中每一个图层对应的纹理图；获取所述目标图层组中的透明度图层，对所述透明度图层进行上采样，并获取所述目标多球面图像对应的低于所述目标图层组的已缓存图层组；所述目标图层组与所述已缓存图层组一次构成当前质量等级的多球面图像；根据所述纹理图、所述当前质量等级的多球面图像和所述用户视点预测信息渲染得到目标视图；将所述目标视图发送至客户端。
具体地，本发明在渲染时进行上采样，单个多球面图像是由一组高分辨率的全景立体图对和多个低分辨率的图层组构成。所述图层组包括混合权重图和透明度图层。通过将高分辨率的全景立体图对重投影到3D空间，即各个固定深度的图层上，并从全景立体图对获得每一层对应的纹理图对，按照上采样的混合权重图进行融合，生成高分辨率的多层纹理图。同样的，将每一层透明度图层进行上采样，就可以获得多层的RGBA图片来恢复原始高质量的3D场景，即目标视图。除此之外，每次传输一个未传输过的多球面图像，都要先传输高分辨率的全景立体图对，再通过对混合权重图和透明度图层的不同的图层组选择，就可以获得不同质量的MSI表示方法。
在边缘端和客户端交互时，渲染控制器通过视频缓存内容选择最优的视频内容渲染视图，以满足用户的最优体验需求。这种交互流程能够实时满足用户的观看需求，并在网络状况变化时进行动态自适应，提高了视频流媒体服务的质量和用户体验。用户端实时获取用户观看视点发送给边缘端用于用户轨迹预测，并按照固定频率向边缘端请求当前用户观看视点对应的视图，保证用户可以获得实时稳定的视频流。
本发明通过对多个多球面图像映射到3D空间的位置编码，扩展单个多球面图像的六自由度观看范围，用户的不同观看位置，通过选择不同的多球面图像进行渲染，在传输过程中通过对传输多球面图像的选择，实现传输的视点自适应；通过对单个多球面图像的质量分级，即对其图层组进行质量等级划分，各个质量等级的图层组包含的图层数量不同，以编码成不同码率的表示方法，来适应传输的码率自适应；基于多个多球面图像的多视点视频，提出一个多视点视频自适应框架规范模型，保证用户获得实时稳定的视频流时尽可能获得最佳体验质量。
在一种实施例中，如图3所示，基于上述基于多个多球面图像的多视点视频自适应传输方法，本发明还相应提供了一种基于多个多球面图像的多视点视频自适应传输装置，包括：
确定模块100，用于确定待传输的多视点视频；
第一获取模块200，用于获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；
第二获取模块300，用于获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；
下载模块400，用于获取所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组；
渲染模块500，用于根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。
在一种实施例中，本发明还相应提供了一种终端，如图4所示，包括：存储器20、处理器10及存储在所述存储器20上并可在所述处理器10上运行的基于多个多球面图像的多视点视频自适应传输程序30，所述基于多个多球面图像的多视点视频自适应传输程序30被所述处理器10执行时实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
综上所述，本发明公开的一种基于多个多球面图像的多视点视频自适应传输方法，包括：确定待传输的多视点视频；获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。本发明通过用户视点预测信息、网络带宽预测信息和已缓存图层组确定目标多球面图像并以图层组为单位进行图像的获取，减小了传输宽带的压力。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于多个多球面图像的多视点视频自适应传输方法，其特征在于，所述方法包括：
确定待传输的多视点视频；
获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；
获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；
获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；
根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端；
所述多视点视频是由云端服务器将获取到的多个多球面图像按照预设组织规则构建而成，所述预设组织规则包括：
确定获取到的多个多球面图像在虚拟3D空间对应的球心位置，根据所述球心位置构建所述多视点视频，每个所述多球面图像包括多层同心球面；
根据所述球心位置对各个所述多球面图像进行编号，得到图像编号；
将每个所述多球面图像的多层同心球面编码为不同质量等级的图层组，并按照质量等级由低到高的顺序对每个图层组进行编号，得到等级编号；
其中，相邻的两个多球面图像的用户最大可偏移范围是相交的，相邻的两个多球面图像之间球心位置的距离为所述用户最大可偏移范围；
所述获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像，包括：
接收客户端发送的用户视点变化信息，并根据所述用户视点变化信息对下一时段的用户视点进行预测，得到用户视点预测信息；
根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像的图像编号；
所述获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组，包括：
获取网络环境变化信息，根据所述网络环境变化信息对下一时段的网络带宽进行预测，得到网络带宽预测信息；
根据所述网络环境变化信息，对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序，将优先级最高的候选多球面图像作为目标多球面图像，并确定所述目标多球面图像的图像编号；
获取所述目标多球面图像对应的已缓存图层组，确定所述已缓存图层组的等级编号；
将所述目标多球面图像中质量等级高于所述已缓存图层组的图层组作为候选图层组，并将所述候选图层组中质量等级最低的候选图层组作为目标图层组，确定所述目标图层组的等级编号。
2.根据权利要求1所述的基于多个多球面图像的多视点视频自适应传输方法，其特征在于，获取所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组，包括：
判断是否已下载所述目标多球面图像对应的全景立体图对；
若是，则获取已下载的所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组。
3.根据权利要求2所述的基于多个多球面图像的多视点视频自适应传输方法，其特征在于，所述判断是否已下载所述目标多球面图像对应的全景立体图对之后，还包括：
若否，则根据所述目标多球面图像的图像编号从云端服务器中同时下载所述目标多球面图像的全景立体图对及最低质量等级的图层组。
4.根据权利要求1所述的基于多个多球面图像的多视点视频自适应传输方法，其特征在于，根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端，包括：
将所述全景立体图对重投影到3D空间，得到每一图层对应的纹理图对；
获取所述目标图层组中的混合权重图，使用上采样的混合权重图将所述纹理图对生成目标多球面图像中每一个图层对应的纹理图；
获取所述目标图层组中的透明度图层，对所述透明度图层进行上采样，并获取所述目标多球面图像对应的低于所述目标图层组的已缓存图层组；
所述目标图层组与所述已缓存图层组一次构成当前质量等级的多球面图像；
根据所述纹理图、所述当前质量等级的多球面图像和所述用户视点预测信息渲染得到目标视图；
将所述目标视图发送至客户端。
5.一种基于多个多球面图像的多视点视频自适应传输装置，其特征在于，所述装置包括：
确定模块，用于确定待传输的多视点视频；
第一获取模块，用于获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；
第二获取模块，用于获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；
下载模块，用于获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；
渲染模块，用于根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端；
所述多视点视频是由云端服务器将获取到的多个多球面图像按照预设组织规则构建而成，所述预设组织规则包括：
确定获取到的多个多球面图像在虚拟3D空间对应的球心位置，根据所述球心位置构建所述多视点视频，每个所述多球面图像包括多层同心球面；
根据所述球心位置对各个所述多球面图像进行编号，得到图像编号；
将每个所述多球面图像的多层同心球面编码为不同质量等级的图层组，并按照质量等级由低到高的顺序对每个图层组进行编号，得到等级编号；
其中，相邻的两个多球面图像的用户最大可偏移范围是相交的，相邻的两个多球面图像之间球心位置的距离为所述用户最大可偏移范围；
所述获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像，包括：
接收客户端发送的用户视点变化信息，并根据所述用户视点变化信息对下一时段的用户视点进行预测，得到用户视点预测信息；
根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像的图像编号；
所述获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组，包括：
获取网络环境变化信息，根据所述网络环境变化信息对下一时段的网络带宽进行预测，得到网络带宽预测信息；
根据所述网络环境变化信息，对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序，将优先级最高的候选多球面图像作为目标多球面图像，并确定所述目标多球面图像的图像编号；
获取所述目标多球面图像对应的已缓存图层组，确定所述已缓存图层组的等级编号；
将所述目标多球面图像中质量等级高于所述已缓存图层组的图层组作为候选图层组，并将所述候选图层组中质量等级最低的候选图层组作为目标图层组，确定所述目标图层组的等级编号。
6.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多个多球面图像的多视点视频自适应传输程序，所述基于多个多球面图像的多视点视频自适应传输程序被所述处理器执行时实现如权利要求1~4任意一项所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1~4任意一项所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594655.5A CN116320551B (zh) | 2023-05-25 | 2023-05-25 | 一种基于多个多球面图像的多视点视频自适应传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594655.5A CN116320551B (zh) | 2023-05-25 | 2023-05-25 | 一种基于多个多球面图像的多视点视频自适应传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116320551A CN116320551A (zh) | 2023-06-23 |
| CN116320551B true CN116320551B (zh) | 2023-08-29 |
Family
ID=86818990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310594655.5A Active CN116320551B (zh) | 2023-05-25 | 2023-05-25 | 一种基于多个多球面图像的多视点视频自适应传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116320551B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106612426A (zh) * | 2015-10-26 | 2017-05-03 | 华为技术有限公司 | 一种多视点视频传输方法及装置 |
| CN109587579A (zh) * | 2018-11-09 | 2019-04-05 | 深圳威尔视觉传媒有限公司 | 基于cdn的多视角码流传输方法、装置、设备和存储介质 |
| CN110290409A (zh) * | 2019-07-26 | 2019-09-27 | 浙江开奇科技有限公司 | 数据处理方法、vr设备以及系统 |
| KR20200061592A (ko) * | 2018-11-26 | 2020-06-03 | 가천대학교 산학협력단 | 시선 기반의 360도 영상 스트리밍 |
| CN113242384A (zh) * | 2021-05-08 | 2021-08-10 | 聚好看科技股份有限公司 | 一种全景视频显示方法及显示设备 |
| CN114040184A (zh) * | 2021-11-26 | 2022-02-11 | 京东方科技集团股份有限公司 | 图像显示方法、系统、存储介质及计算机程序产品 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9378582B2 (en) * | 2012-07-31 | 2016-06-28 | Siemens Product Lifecycle Management Software Inc. | Rendering of design data |
| US11184599B2 (en) * | 2017-03-15 | 2021-11-23 | Pcms Holdings, Inc. | Enabling motion parallax with multilayer 360-degree video |
| US10460509B2 (en) * | 2017-11-07 | 2019-10-29 | Dolby Laboratories Licensing Corporation | Parameterizing 3D scenes for volumetric viewing |
-
2023
- 2023-05-25 CN CN202310594655.5A patent/CN116320551B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106612426A (zh) * | 2015-10-26 | 2017-05-03 | 华为技术有限公司 | 一种多视点视频传输方法及装置 |
| CN109587579A (zh) * | 2018-11-09 | 2019-04-05 | 深圳威尔视觉传媒有限公司 | 基于cdn的多视角码流传输方法、装置、设备和存储介质 |
| KR20200061592A (ko) * | 2018-11-26 | 2020-06-03 | 가천대학교 산학협력단 | 시선 기반의 360도 영상 스트리밍 |
| CN110290409A (zh) * | 2019-07-26 | 2019-09-27 | 浙江开奇科技有限公司 | 数据处理方法、vr设备以及系统 |
| CN113242384A (zh) * | 2021-05-08 | 2021-08-10 | 聚好看科技股份有限公司 | 一种全景视频显示方法及显示设备 |
| CN114040184A (zh) * | 2021-11-26 | 2022-02-11 | 京东方科技集团股份有限公司 | 图像显示方法、系统、存储介质及计算机程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| 用户驱动的交互式立体视频流传输系统;卓力等;北京工业大学学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116320551A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7205485B2 (ja) | Ｖｒビデオ用に画像解像度を最適化してビデオストリーミングの帯域幅を最適化する画像処理のための方法及びストリーミングサーバ | |
| US11290699B2 (en) | View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video | |
| US10242462B2 (en) | Rate control bit allocation for video streaming based on an attention area of a gamer | |
| US6307567B1 (en) | Model-based view extrapolation for interactive virtual reality systems | |
| CN108156484B (zh) | 利用自适应速率分配优先处理基于图块的虚拟现实视频流 | |
| JP3229162B2 (ja) | 圧縮ビデオ・ビットストリーム合成のシステムおよび方法 | |
| Park et al. | Volumetric media streaming for augmented reality | |
| GB2572996A (en) | Processing video patches for three-dimensional content | |
| CN113905221B (zh) | 一种立体全景视频非对称传输流自适应方法及系统 | |
| CN111602403B (zh) | 用于生成图像数据比特流的装置和方法 | |
| CN112584119B (zh) | 一种基于强化学习的自适应全景视频传输方法及系统 | |
| US11159823B2 (en) | Multi-viewport transcoding for volumetric video streaming | |
| Romero-Rondón et al. | Foveated streaming of virtual reality videos | |
| US20200404241A1 (en) | Processing system for streaming volumetric video to a client device | |
| Liu et al. | Cloud baking: Collaborative scene illumination for dynamic Web3D scenes | |
| Zhu et al. | Towards peer-assisted rendering in networked virtual environments | |
| CN116912385B (zh) | 视频帧自适应渲染处理方法、计算机装置及存储介质 | |
| CN116320551B (zh) | 一种基于多个多球面图像的多视点视频自适应传输方法 | |
| CN113473172A (zh) | Vr视频缓存方法、装置、缓存服务装置以及存储介质 | |
| Li et al. | Utility-driven joint caching and bitrate allocation for real-time immersive videos | |
| JP6758268B2 (ja) | 表示可能解像度に基づいて配信プロファイルを決定するクライアント、プログラム及び方法 | |
| CN113115077B (zh) | 一种静态点云服务器码率自适应传输方法及系统 | |
| Marvie et al. | Remote rendering of massively textured 3D scenes through progressive texture maps | |
| EP3564905A1 (en) | Conversion of a volumetric object in a 3d scene into a simpler representation model | |
| CN114208201A (zh) | 用于传输和渲染3d场景的方法、用于生成补丁的方法以及对应的设备和计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |