CN107087212A - 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统 - Google Patents

基于空间可伸缩编码的交互式全景视频转码与播放方法及系统 Download PDF

Info

Publication number
CN107087212A
CN107087212A CN201710322335.9A CN201710322335A CN107087212A CN 107087212 A CN107087212 A CN 107087212A CN 201710322335 A CN201710322335 A CN 201710322335A CN 107087212 A CN107087212 A CN 107087212A
Authority
CN
China
Prior art keywords
user
video data
layer video
spatial layer
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710322335.9A
Other languages
English (en)
Other versions
CN107087212B (zh
Inventor
马汉杰
冯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Maquan Information Technology Co Ltd
Original Assignee
Hangzhou Maquan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Maquan Information Technology Co Ltd filed Critical Hangzhou Maquan Information Technology Co Ltd
Priority to CN201710322335.9A priority Critical patent/CN107087212B/zh
Publication of CN107087212A publication Critical patent/CN107087212A/zh
Application granted granted Critical
Publication of CN107087212B publication Critical patent/CN107087212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于空间可伸缩编码的交互式全景视频转码与播放方法及系统，其将原始视频分成多个分辨率不同的空间层视频数据，再将每层数据按tile形式划分，根据用户的操作指令将ROI投影到各层视频上，基于视频缩放系数最趋近于1的原则，选择最合适的空间层视频数据以及对应的Tile，进行转码重写，其他未选定的数据则以skip数据流填充以减少带宽，保证兼容性。本发明能够根据不同的带宽环境，给用户播放最适合播放窗口分辨率的视频数据，具有空间可伸缩、空间分辨率自适应匹配等特点，能够使用户更好的享受交互视频的自然场景或虚拟场景的三维沉浸视觉感受、无缝式视点切换与灵活的人机交互特性。

Description

基于空间可伸缩编码的交互式全景视频转码与播放方法及 系统
技术领域
本发明属于交互式全景视频转码与播放技术领域，具体涉及一种基于空间可伸缩编码的交互式全景视频转码与播放方法及系统。
背景技术
交互式全景视频是兴起的一种新型媒体，它在传统的二维视频的基础上，增加了视觉的现实感和逼真感，它允许用户自由的选择视点与视角以获得其所感兴趣的视频内容。交互性是这种媒体的重要特征。
2001年，国际音视频标准组织MPEG成立研究组，对三维音视频3DAV技术展开探索性研究，ITU-T的视频编码专家组VCEG与MPEG成立的联合视频专家组JVT也对3DAV编码标准的进行研究与制定。3DAV的主要研究目标是拓展现有标准视频所具有的功能，向用户提供：(1)交互性，在一个场景中允许用户自主地选择场景视点；(2)沉浸感，提供给用户具有深度感和临境感的视频服务。
对于全景视频，通常使用360度全景浏览器在显示器上显示，需通过鼠标控制视口进行360度观看，某时刻观察到的图像仅是全景图像的一部分。而对于整个全景视频播放系统而言，服务器需要将每帧全景视频数据发送给播放终端，因此浪费大量的传输带宽和计算资源。
针对这一问题，国际国内许多研究机构与企业提出了改进方法。长春理工大学的权巍等人提出了一种基于CAVE的交互式全景视频显示方法，其使用五个虚拟相机对该全景视频映射球面的四面及顶面进行拍摄，并将所得五幅图像分别投影到CAVE系统中各投影幕中；美国北卡罗来纳大学的Srihari Pratapa等人提出了一种针对视频显示图像进行纹理压缩的方法；韩国电信研究院的Seong Yong Lim等人提出了一种基于Tile分块显示的基于MPEG-DASH协议的全景视频传输系统；挪威奥斯陆大学的Vamsidhar Reddy Gaddam等人也提出了一种针对全景视频的Tile划分方法。以上这些改进方法，基本思想均是将全景视频划分为固定数据量的多块数据，只传输用户观看的部分，能够部分缓解传输带宽占用的压力，但是未考虑接收播放终端的计算能力、网络状态的动态变化以及用户互动操作pan/tilt/zoom(平移/旋转/缩放)等指令的特点，因此实际使用效果还有待改进。
发明内容
本发明针对交互式全景视频数据量大、收播放终端的计算能力多样化、网络带宽动态变化以及用户互动操作pan/tilt/zoom等指令的特点，提出了一种基于空间可伸缩编码的交互式全景视频转码与播放方法及系统，能够在降低传输带宽的同时，针对播放终端、网络状态和用户互动操作指令提供合适的视频数据，大大增强播放终端的用户体验。
一种基于空间可伸缩编码的交互式全景视频转码与播放方法，包括如下步骤：
(1)通过源地址获取超高清的原始全景视频，通过高斯金字塔对原始全景视频进行空间下采样，得到多组不同分辨率的空间层视频数据；
(2)将所述空间层视频数据划分成多个Tile，每个Tile大小为N×N，N＝2n且n为大于0的自然数；
(3)根据用户的pan/tilt/zoom操作指令确定ROI(感兴趣区域)的位置，该ROI即为用户当前观看的视频窗口；
(4)选取最适合用户播放器终端分辨率的一组空间层视频数据，并将ROI投影到该空间层视频数据上；
(5)将该空间层视频数据上ROI所覆盖占用的Tile转码重写成标准码流，其余Tile以Skip数据流填充并采用Skip模式进行编码，进而将得到的视频码流传输给用户播放器终端，由终端对其解码后进行播放显示。
所述步骤(1)中通过高斯金字塔对原始全景视频进行空间下采样，得到的多组空间层视频数据的分辨率从上往下依次减小，即利用高斯核与上一层视频数据Gi的卷积和移除Gi中的偶数行和偶数列，从而得到当前空间层视频数据Gi+1，依此得到多组不同分辨率的空间层视频数据。
优选地，所述步骤(3)中采用卡尔曼滤波算法预测用户的pan/tilt/zoom操作指令，即用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻pan/tilt/zoom操作指令的估计值和当前时刻pan/tilt/zoom操作指令的观测值来更新对pan/tilt/zoom操作指令的估计，求出当前时刻pan/tilt/zoom操作指令的估计值，从而确定ROI的位置，并将预测得到的ROI位置信息实时地反馈给转码分发服务器，以减少交互延时。
所述步骤(4)中根据用户播放器终端的分辨率以及各空间层视频数据的分辨率，基于视频缩放系数最趋近于1的原则，即空间层视频数据分辨率与用户播放器终端分辨率最接近的原则，从而选取最适合用户播放器终端分辨率的一组空间层视频数据。
一种基于空间可伸缩编码的交互式全景视频转码与播放系统，包括用户播放器终端以及转码分发服务器；所述用户播放器终端用于向转码分发服务器提供全景视频的源地址、终端的本地配置信息以及ROI(即用户当前观看的视频窗口)的位置信息，所述转码分发服务器包括：
空间采样单元，用于通过源地址获取超高清的原始全景视频，通过高斯金字塔对原始全景视频进行空间下采样，得到多组不同分辨率的空间层视频数据；
数据划分单元，用于将所述空间层视频数据划分成多个Tile，每个Tile大小为N×N，N＝2n且n为大于0的自然数；
匹配投影单元，用于选取最适合用户播放器终端分辨率的一组空间层视频数据，并将ROI投影到该空间层视频数据上；
编码单元，用于将该空间层视频数据上ROI所覆盖占用的Tile转码重写成标准码流，其余Tile以Skip数据流填充并采用Skip模式进行编码；
通信传输单元，用于将编码单元生成的视频码流传输给用户播放器终端；
所述用户播放器终端对接收到的视频码流解码后进行播放显示。
所述空间采样单元通过高斯金字塔对原始全景视频进行空间下采样，得到的多组空间层视频数据的分辨率从上往下依次减小，即利用高斯核与上一层视频数据Gi的卷积和移除Gi中的偶数行和偶数列，从而得到当前空间层视频数据Gi+1，依此得到多组不同分辨率的空间层视频数据。
优选地，所述用户播放器终端采用卡尔曼滤波算法预测用户的pan/tilt/zoom操作指令，即用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻pan/tilt/zoom操作指令的估计值和当前时刻pan/tilt/zoom操作指令的观测值来更新对pan/tilt/zoom操作指令的估计，求出当前时刻pan/tilt/zoom操作指令的估计值，从而确定ROI的位置，并将预测得到的ROI位置信息实时地反馈给转码分发服务器，以减少交互延时。
所述匹配投影单元根据用户播放器终端的分辨率以及各空间层视频数据的分辨率，基于视频缩放系数最趋近于1的原则，即空间层视频数据分辨率与用户播放器终端分辨率最接近的原则，从而选取最适合用户播放器终端分辨率的一组空间层视频数据。
本发明将原始视频分成多个分辨率不同的空间层视频数据，再将每层数据按tile形式划分，根据用户的操作指令将ROI投影到各层视频上，通过对比用户播放器终端的视频窗口分辨率及所选空间层视频分辨率，基于视频缩放系数最趋近于1的原则，转码分发服务器选择最合适的空间层视频数据以及对应的Tile，进行转码重写，其他未选定的数据则以skip数据流填充以减少带宽，保证兼容性；同时，用户播放器终端采用kalman滤波方式预测用户的操作指令，从而预测ROI的位置以减少交互延时。
故本发明能够根据不同的带宽环境，给用户播放最适合播放窗口分辨率的视频数据，具有空间可伸缩、空间分辨率自适应匹配等特点，能够使用户更好的享受交互视频的自然场景或虚拟场景的三维沉浸视觉感受、无缝式视点切换与灵活的人机交互特性。
附图说明
图1为本发明系统的结构示意图。
图2为高斯金字塔下采样的示意图。
图3为本发明方法的流程示意图。
图4为空间下采样的示意图。
图5为感兴趣区域的投影示意图。
图6为空间层视频数据的选择示意图。
图7为Skip数据流的填充示意图。
图8为感兴趣区域的预测示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明基于空间可伸缩编码的交互式全景视频转码与播放系统包括用户播放器终端与转码分发服务器。用户播放器终端用于提供交互视频的源地址以及作为用户的操作界面，为转码分发服务器提供本地屏幕分辨率等配置信息。布置于云端的转码分发服务器用于接收用户播放器终端传过来的pan/tilt/zoom操作指令，并根据操作指令在各层视频上投影的ROI作出pan/tilt/zoom指令反馈，本发明的总体实施流程如图3所示。
如图4所示，转码分发服务器将超高清原始视频按金字塔方式进行空间下采样，对超高清原始视频序列进行抽样，获得M个分辨率不同的空间层视频数据，这些空间层视频数据的分辨率依次由大到小排列，然后将每层数据按Tile形式划分，每个Tile的大小均为N×N，N为2的指数倍，每个空间层视频数据的Tile数因各层的分辨率不同而有所差异，通过采用空间下采样的方案可以实现空间可伸缩性。
如图5所示，用户播放器终端将pan/tilt/zoom操作指令传到转码分发服务器，转码分发服务器将用户感兴趣区域ROI，即当前观看的视频窗口，投影到各层视频上。
如图6所示，转码分发服务器根据用户播放器终端的视频窗口分辨率及所选空间层视频分辨率，基于视频缩放系数最趋近于1的原则，即空间层视频的分辨率与用户播放器终端的视频窗口分辨率最接近的原则，选择最合适的空间层视频数据，以及对应的Tile。
如图7所示，转码分发服务器提取选定的空间层视频Tile数据，转码重写成标准码流，使其他未选定的Tile数据均以skip数据流填充，采用skip跳跃式编码模式，可以节省码流，保证兼容性，减少带宽。
用户播放器终端接收到转码分发服务器重写后的视频流后，解码并提取ROI视频数据进行缩放显示，用户可根据喜好对播放的视频进行pan(平移)或是tilt(旋转)或是zoom(缩放)的操作，从而获取更好的观看视点。
如图8所示，用户播放器终端采用kalman滤波方式预测用户pan/tilt/zoom操作，用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻对用户操作指令的估计值和现时刻对用户操作指令的观测值来更新对用户操作指令的估计，求出现时刻的估计值，从而预测用户感兴趣区域ROI的位置，并将预测与实际位置实时地反馈给转码分发服务器，以减少交互延时。
如图2所示，转码分发服务器对原始视频进行空间采样时，所采用的是高斯金字塔下采样。图像的分辨率从上往下依次减小，通过利用高斯核与Gi层的卷积和移走每个偶数行和列产生Gi+1层，如此可生成M层，即M个分辨率不同的空间层视频数据。
本发明将原始视频分成M个分辨率不同的空间层视频数据，再将每层数据按tile形式划分，根据用户的操作指令将ROI投影到各层视频上，通过对比用户播放器终端的视频窗口分辨率及所选空间层视频分辨率，基于视频缩放系数最趋近于1的原则，转码分发服务器选择最合适的空间层视频数据以及对应的Tile，进行转码重写，其他未选定的数据则以skip数据流填充以减少带宽，保证兼容性；同时，用户播放器终端采用kalman滤波方式预测用户的操作指令，从而预测ROI的位置以减少交互延时。
因此，本发明能够根据不同的带宽环境，给用户播放最适合播放窗口分辨率的视频数据，具有空间可伸缩、空间分辨率自适应匹配等特点，大大提升了交互式全景视频播放的用户体验。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于空间可伸缩编码的交互式全景视频转码与播放方法，包括如下步骤：
(1)通过源地址获取超高清的原始全景视频，通过高斯金字塔对原始全景视频进行空间下采样，得到多组不同分辨率的空间层视频数据；
(2)将所述空间层视频数据划分成多个Tile，每个Tile大小为N×N，N＝2n且n为大于0的自然数；
(3)根据用户的pan/tilt/zoom操作指令确定ROI的位置，该ROI即为用户当前观看的视频窗口；
(4)选取最适合用户播放器终端分辨率的一组空间层视频数据，并将ROI投影到该空间层视频数据上；
(5)将该空间层视频数据上ROI所覆盖占用的Tile转码重写成标准码流，其余Tile以Skip数据流填充并采用Skip模式进行编码，进而将得到的视频码流传输给用户播放器终端，由终端对其解码后进行播放显示。
2.根据权利要求1所述的交互式全景视频转码与播放方法，其特征在于：所述步骤(1)中通过高斯金字塔对原始全景视频进行空间下采样，得到的多组空间层视频数据的分辨率从上往下依次减小，即利用高斯核与上一层视频数据Gi的卷积和移除Gi中的偶数行和偶数列，从而得到当前空间层视频数据Gi+1，依此得到多组不同分辨率的空间层视频数据。
3.根据权利要求1所述的交互式全景视频转码与播放方法，其特征在于：所述步骤(3)中采用卡尔曼滤波算法预测用户的pan/tilt/zoom操作指令，即用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻pan/tilt/zoom操作指令的估计值和当前时刻pan/tilt/zoom操作指令的观测值来更新对pan/tilt/zoom操作指令的估计，求出当前时刻pan/tilt/zoom操作指令的估计值，从而确定ROI的位置，并将预测得到的ROI位置信息实时地反馈给转码分发服务器，以减少交互延时。
4.根据权利要求1所述的交互式全景视频转码与播放方法，其特征在于：所述步骤(4)中根据用户播放器终端的分辨率以及各空间层视频数据的分辨率，基于视频缩放系数最趋近于1的原则，即空间层视频数据分辨率与用户播放器终端分辨率最接近的原则，从而选取最适合用户播放器终端分辨率的一组空间层视频数据。
5.一种基于空间可伸缩编码的交互式全景视频转码与播放系统，其特征在于：包括用户播放器终端以及转码分发服务器；所述用户播放器终端用于向转码分发服务器提供全景视频的源地址、终端的本地配置信息以及ROI的位置信息，所述转码分发服务器包括：
空间采样单元，用于通过源地址获取超高清的原始全景视频，通过高斯金字塔对原始全景视频进行空间下采样，得到多组不同分辨率的空间层视频数据；
数据划分单元，用于将所述空间层视频数据划分成多个Tile，每个Tile大小为N×N，N＝2n且n为大于0的自然数；
匹配投影单元，用于选取最适合用户播放器终端分辨率的一组空间层视频数据，并将ROI投影到该空间层视频数据上；
编码单元，用于将该空间层视频数据上ROI所覆盖占用的Tile转码重写成标准码流，其余Tile以Skip数据流填充并采用Skip模式进行编码；
通信传输单元，用于将编码单元生成的视频码流传输给用户播放器终端；
所述用户播放器终端对接收到的视频码流解码后进行播放显示。
6.根据权利要求5所述的交互式全景视频转码与播放系统，其特征在于：所述空间采样单元通过高斯金字塔对原始全景视频进行空间下采样，得到的多组空间层视频数据的分辨率从上往下依次减小，即利用高斯核与上一层视频数据Gi的卷积和移除Gi中的偶数行和偶数列，从而得到当前空间层视频数据Gi+1，依此得到多组不同分辨率的空间层视频数据。
7.根据权利要求5所述的交互式全景视频转码与播放系统，其特征在于：所述用户播放器终端采用卡尔曼滤波算法预测用户的pan/tilt/zoom操作指令，即用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻pan/tilt/zoom操作指令的估计值和当前时刻pan/tilt/zoom操作指令的观测值来更新对pan/tilt/zoom操作指令的估计，求出当前时刻pan/tilt/zoom操作指令的估计值，从而确定ROI的位置，并将预测得到的ROI位置信息实时地反馈给转码分发服务器，以减少交互延时。
8.根据权利要求5所述的交互式全景视频转码与播放系统，其特征在于：所述匹配投影单元根据用户播放器终端的分辨率以及各空间层视频数据的分辨率，基于视频缩放系数最趋近于1的原则，即空间层视频数据分辨率与用户播放器终端分辨率最接近的原则，从而选取最适合用户播放器终端分辨率的一组空间层视频数据。
CN201710322335.9A 2017-05-09 2017-05-09 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统 Active CN107087212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710322335.9A CN107087212B (zh) 2017-05-09 2017-05-09 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710322335.9A CN107087212B (zh) 2017-05-09 2017-05-09 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Publications (2)

Publication Number Publication Date
CN107087212A true CN107087212A (zh) 2017-08-22
CN107087212B CN107087212B (zh) 2019-10-29

Family

ID=59612750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710322335.9A Active CN107087212B (zh) 2017-05-09 2017-05-09 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Country Status (1)

Country Link
CN (1) CN107087212B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN109672897A (zh) * 2018-12-26 2019-04-23 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
WO2019192321A1 (zh) * 2018-04-06 2019-10-10 中兴通讯股份有限公司 视频数据处理方法、装置及系统
CN111263191A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
CN111277911A (zh) * 2020-01-10 2020-06-12 聚好看科技股份有限公司 一种全景视频的图像处理方法、显示设备及服务器
CN111586414A (zh) * 2020-04-07 2020-08-25 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN112385241A (zh) * 2018-07-03 2021-02-19 索尼公司 以基于景深的多层结构的虚拟现实媒体内容生成
CN113905256A (zh) * 2021-12-10 2022-01-07 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及系统
CN114598853A (zh) * 2020-11-20 2022-06-07 中国移动通信有限公司研究院 视频数据的处理方法、装置及网络侧设备
CN115225937A (zh) * 2020-03-24 2022-10-21 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
US20220385921A1 (en) * 2021-06-01 2022-12-01 Canon Kabushiki Kaisha Information processing apparatus, control method, storage medium, and information processing system
CN115580738A (zh) * 2022-02-23 2023-01-06 北京拙河科技有限公司 一种按需传输的高分辨率视频展现方法、设备和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665300A (zh) * 2005-04-07 2005-09-07 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
CN102790905A (zh) * 2012-08-03 2012-11-21 重庆大学 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法
CN103489178A (zh) * 2013-08-12 2014-01-01 中国科学院电子学研究所 一种图像配准方法和系统
CN103546754A (zh) * 2012-07-16 2014-01-29 中国科学院声学研究所 从h.264/avc到svc空间可分级的转码方法及系统
CN103995684A (zh) * 2014-05-07 2014-08-20 广东粤铁瀚阳科技有限公司 超高分辨率平台下的海量影像并行处理显示方法及系统
US20160321781A1 (en) * 2015-04-29 2016-11-03 Pitney Bowes Inc. System and method for multi-resolution raster data processing
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665300A (zh) * 2005-04-07 2005-09-07 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN103546754A (zh) * 2012-07-16 2014-01-29 中国科学院声学研究所 从h.264/avc到svc空间可分级的转码方法及系统
CN102790905A (zh) * 2012-08-03 2012-11-21 重庆大学 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法
CN103489178A (zh) * 2013-08-12 2014-01-01 中国科学院电子学研究所 一种图像配准方法和系统
CN103995684A (zh) * 2014-05-07 2014-08-20 广东粤铁瀚阳科技有限公司 超高分辨率平台下的海量影像并行处理显示方法及系统
US20160321781A1 (en) * 2015-04-29 2016-11-03 Pitney Bowes Inc. System and method for multi-resolution raster data processing
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
WO2019192321A1 (zh) * 2018-04-06 2019-10-10 中兴通讯股份有限公司 视频数据处理方法、装置及系统
CN110351492A (zh) * 2018-04-06 2019-10-18 中兴通讯股份有限公司 一种视频数据处理方法、装置及系统
CN112385241A (zh) * 2018-07-03 2021-02-19 索尼公司 以基于景深的多层结构的虚拟现实媒体内容生成
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN109525842B (zh) * 2018-10-30 2022-08-12 深圳威尔视觉科技有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN111263191A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
CN109672897A (zh) * 2018-12-26 2019-04-23 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN109672897B (zh) * 2018-12-26 2021-03-16 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN111277911B (zh) * 2020-01-10 2021-10-15 聚好看科技股份有限公司 一种全景视频的图像处理方法、显示设备及服务器
CN111277911A (zh) * 2020-01-10 2020-06-12 聚好看科技股份有限公司 一种全景视频的图像处理方法、显示设备及服务器
CN115225937A (zh) * 2020-03-24 2022-10-21 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
CN115225937B (zh) * 2020-03-24 2023-12-01 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
CN111586414B (zh) * 2020-04-07 2022-04-15 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN111586414A (zh) * 2020-04-07 2020-08-25 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN114598853A (zh) * 2020-11-20 2022-06-07 中国移动通信有限公司研究院 视频数据的处理方法、装置及网络侧设备
US20220385921A1 (en) * 2021-06-01 2022-12-01 Canon Kabushiki Kaisha Information processing apparatus, control method, storage medium, and information processing system
CN113905256A (zh) * 2021-12-10 2022-01-07 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及系统
CN113905256B (zh) * 2021-12-10 2022-04-12 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及系统
CN115580738A (zh) * 2022-02-23 2023-01-06 北京拙河科技有限公司 一种按需传输的高分辨率视频展现方法、设备和系统
CN115580738B (zh) * 2022-02-23 2023-09-19 北京拙河科技有限公司 一种按需传输的高分辨率视频展现方法、设备和系统

Also Published As

Publication number Publication date
CN107087212B (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN107087212B (zh) 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
US11325037B2 (en) Apparatus and method of mapping a virtual environment
US11458393B2 (en) Apparatus and method of generating a representation of a virtual environment
CN107615338B (zh) 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
US10362290B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
US8411754B2 (en) System, method, and computer program product for translating an element of a static encoded image in the encoded domain
CN107396081B (zh) 针对全景视频的优化编码方法及装置
CN109478312A (zh) 一种视频编解码的方法及装置
KR102067694B1 (ko) 파노라마 픽처 처리
CN109362242B (zh) 一种视频数据的处理方法及装置
CN110149542B (zh) 传输控制方法
Inoue et al. Interactive panoramic video streaming system over restricted bandwidth network
CN103098466A (zh) 图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构
CN103814572B (zh) 帧兼容的全分辨率立体3d压缩和解压缩
CN110519652A (zh) Vr视频播放方法、终端及服务器
KR102640664B1 (ko) Vr 디바이스 및 vr 디바이스 제어 방법
WO2020055655A1 (en) Scalability of multi-directional video streaming
JP2011217345A (ja) 映像伝送方法、映像伝送装置、及びプログラム
EP3223524A1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107211081A (zh) 基于独立编码的背景更新的视频传输
Maugey et al. Interactive multiview video system with low decoding complexity
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
Kimata et al. Interactive panorama video distribution system
Jung et al. Disparity-map-based rendering for mobile 3D TVs
Alface et al. Evaluation of bandwidth performance for interactive spherical video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant