CN113163185B - 基于异构计算的vr实时自适应传输系统及方法 - Google Patents

基于异构计算的vr实时自适应传输系统及方法 Download PDF

Info

Publication number
CN113163185B
CN113163185B CN202110325973.2A CN202110325973A CN113163185B CN 113163185 B CN113163185 B CN 113163185B CN 202110325973 A CN202110325973 A CN 202110325973A CN 113163185 B CN113163185 B CN 113163185B
Authority
CN
China
Prior art keywords
module
real
projection
self
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110325973.2A
Other languages
English (en)
Other versions
CN113163185A (zh
Inventor
吴俊�
徐跃东
胡蝶
赵嵩源
刘典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110325973.2A priority Critical patent/CN113163185B/zh
Publication of CN113163185A publication Critical patent/CN113163185A/zh
Application granted granted Critical
Publication of CN113163185B publication Critical patent/CN113163185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于异构计算的VR实时自适应传输系统及方法。本发明系统由CPU模块、GPU模块和FPGA网卡相互连接组成；CPU模块负责系统的协调与控制；GPU模块包含投影变换模块和视频编码模块，分别完成用户视点信息的实时投影变换以及自适应码流的视频编码生成；FPGA网卡负责网络数据包的收发和校验和的计算；视频编码模块在完成编码后输出自适应码流，直接传输至FPGA网卡发送。本发明中不需要预先生成多版本视频，有效解决了多版本预处理方案中存在的视点刷新频率低、视点匹配准确度差的问题，大大提升用户的观看体验；可以实现极低延时的实时处理，满足8K分辨率60fps的VR视频实时自适应传输服务。

Description

基于异构计算的VR实时自适应传输系统及方法
技术领域
本发明属于VR自适应传输技术领域，具体涉及基于异构计算的VR实时自适应传输系统及方法。
背景技术
随着VR的发展，图像数据和计算规模快速膨胀，逐渐衍生出了云VR技术。其将VR与云计算相结合，把复杂的计算处理任务上移至云端，可以有效减轻用户侧的渲染压力。为了实现最小化的响应延迟和带宽需求，云VR采用基于用户视点信息的自适应传输方法，尽可能压缩用户视窗外的冗余图像信息。但是现有的预处理模式自适应传输方案存在两个严重不足。首先是服务的精度较低，由于划分的视频版本的离散且数量有限，服务器只能选择最接近用户视点方向的版本，但始终存在偏差。另一个缺点来自于视频编码，由于视频编码中使用了帧间压缩技术，解码器不能从任意帧开始解码，而必须从被称为随机接入点的参考帧(I帧)开始解码，这就要求服务端传输视频时要保持一个GOP(Group of Picture)中的视频版本一致，否则用户端解码将出错。这种要求极大地限制了自适应传输中视频版本切换频率，也导致了用户收到的图像误差增大。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于异构计算的VR实时自适应传输系统和方法，打破了现有方案中多版本视频预生成模式，使得服务端可以依据用户反馈的视点信息实时完成图像变换，有效提升视点刷新频率和视点匹配准确度。同时，利用异构计算进行并行处理加速，使得实时处理变为可能。
本发明的目的可以通过以下技术方案来实现：
现有的多版本预处理方案，通过将投影变换和视频压缩这些复杂耗时的处理过程与服务解耦，希望将实际服务时的处理响应最小化来提升用户接收到的画面质量。但多版本预处理方案主要有两个不足，首先是应用场景受限只能处理VR视频播放这类简单业务。在预处理模式下，要求视频图像可以非实时预先产生，对于VR游戏这类强交互应用则无能为力。将原本的实时视点选择阶段先前调整至投影处理过程中，与投影视点的确定合并为一个模块。这样用户视点的实时响应结果即为投影矩阵旋转的方向，服务端的视点匹配误差不再存在。实时视点的响应与选择在视频压缩之前完成，投影视点可以在每一帧发生切换，大大提高了视点切换的频率。
相比于预处理方案，实时处理模式下完整的投影和视频压缩过程都需要实时地完成。其庞大的计算量和极短的时延要求对于系统的实现提出了很大的挑战。因此，本发明基于异构计算设计了一套高效的VR投影压缩处理方案，包括VR实时自适应传输系统及方法。
本发明提供的VR实时自适应传输系统，参见图1所示；由CPU模块、GPU模块和FPGA网卡相互连接组成，其中，所述CPU模块负责系统的协调与控制；所述GPU模块包含投影变换模块和视频编码模块两部分，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成，这里，自适应码流由GPU模块根据用户反馈的视点信息实时计算产生，未进行预处理变换；所述FPGA网卡负责网络数据包的收发和校验和的计算；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码；所述视频编码模块在完成编码后输出自适应码流，并直接传输(通过GPUDirect)至FPGA网卡发送。
本发明中，CPU模块与投影变换模块、CPU模块与FPGA网卡、视频编码模块与FPGA网卡间均通过PCIe总线接口相连。
不同于传统自适应传输方案，本发明中的自适应码流由GPU模块根据用户反馈的视点信息实时计算产生，未进行预处理变换。
本发明中，投影变换模块和视频编码模块均在GPU模块内部完成无需额外的数据传输开销。
视频编码模块使用GPU模块内部集成的视频编码硬件加速器完成。
本发明中，CPU模块与投影变换模块通信的过程使用乒乓缓存进行优化以掩盖传输时间。
本发明中，对于生成好的自适应码流数据视频编码模块直接通过PCIe总线的设备直传功能发送至FPGA网卡，而不需要CPU模块的额外干涉。
本发明中，CPU模块需要在程序初始化阶段为视频编码模块设置好待传输码流的网络包头，网络包头包含客户端IP地址端口号等信息。码流产生后网络与包头一并送至FPGA网卡。
FPGA网卡模块在接收到视频编码模块发送的数据包后，为网络包头计算并装填校验和，随后进行网络传输。
基于上述传输系统，本发明的VR实时自适应传输方法，具体步骤如下：
S01，系统经由FPGA网卡接收用户实时反馈的视点信息，并通过CPU模块发起GPU处理任务；
S02，GPU模块根据用户视点信息实时进行投影变换处理，产生自适应码流传输至FPGA网卡；
S03，FPGA网卡为自适应码流计算并装填包头校验和等信息，然后经由网络回传给用户。
步骤S01中，所述CPU模块发起GPU处理任务，包含如下步骤：
S0101，CPU模块接收到用户发出的连接请求后，初始化GPU模块，分配帧乒乓缓存，设置客户端包头；
S0102，CPU模块发起乒乓传输，上传待投影视频帧；
S0103，CPU模块接收到用户实时视点信息后发起下次乒乓传输(异步上传)，同时基于已上传帧和用户视点控制GPU启动实时自适应传输处理。
步骤S02中，所述GPU模块根据用户视点信息实时进行投影变换处理，包含如下步骤：
S0201，GPU接收主机传输的实时用户视点信息，并根据这一信息对预先存储在显存中的初始投影矩阵施加旋转变换，通过流处理器并行执行；
S0202，基于变换后的投影矩阵，使用流处理器进行投影变换操作，将最新的ERP图像帧变换为金字塔/TSP形式；
S0203，将变换后的图像送入硬件加速器进行视频压缩编码，生成最终的VR自适应码流；
S0204，所生成的VR自适应码流连同预先设置好的网络包头一并发送至FPGA网卡，使用PCIe总线的设备间直传功能，不需要经过CPU内存。
步骤S03中，所述FPGA网卡模块处理部分，包含如下步骤：
S0301，FPGA网卡经由PCIe总线接收网络数据包；
S0302，校验和计算模块分析完整数据包，分别计算IP和TCP/UDP校验和；
S0303，校验和计算模块根据帧结构将计算好的IP和TCP/UDP校验和装填到数据包中；
S0304，FPGA网卡将完整数据包经由网络协议栈发送。
与现有技术相比，本发明具有以下优点：
(1)本发明调整了基于投影变换的自适应传输处理流程，将投影视点确定和实时视点选择合并为实时处理，不需要预先生成多版本视频；有效克服视点匹配准确度差、切换频率低的问题，大大提升用户的观看体验。
(2)本发明基于异构计算技术设计的系统方案，可以实现极低延时的实时处理，可以满足8K分辨率60fps的VR视频实时自适应传输服务。
附图说明
图1为本实施例的结构示意图。
图2为本实施例CPU与GPU交互示意图。
图3为本实施例软硬件协同网络协议栈示意图。
图4为本实施例CPU模块乒乓传输处理流程图。
图5为本实施例GPU处理流程图。
图6为本实施例校验和模块图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
为实现基于异构计算的VR实时自适应传输方案，本发明通过以下技术方案来实现，本实施例的结构示意图如图3所示，本发明由相互连接的CPU模块(1)、GPU模块(2)和FPGA网卡(3)共同组成的异构计算系统完成VR实时自适应传输，具体设计如下。
(1)CPU模块(1)设计
所述的CPU模块(1)负责完整系统的协调与控制任务，在数据处理和网络传输任务中均起到关键作用。其工作流程为：
(1.1)CPU模块(1)接收到用户发出的连接请求后，初始化GPU模块，分配帧乒乓缓存(图2)，设置客户端包头(图3)。
(1.2)CPU模块(1)与GPU模块(2)通信，使用乒乓缓存(23)优化传输，如图4所示，通过乒乓缓存交替上传待投影视频帧，以掩盖传输时间。
(1.2.1)在该模式下，系统服务的响应以及ERP帧的上传均由同一个线程完成。
(1.2.2)在对第N帧执行投影变换前，服务线程首先发起第N+1帧的异步非阻塞上传操作，之后不等待传输完毕，立即返回继续第N帧处理。
(1.2.3)当下次服务开始时第N+1帧已经上传完成，原本第N帧缓存已处在空闲状态，此时切换乒乓缓存开始下一轮处理。
(2)GPU模块(2)设计
所述的GPU模块(2)主要包含了投影变换模块(21)和视频编码模块(22)两部分，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成。所述投影变换模块(21)与CPU模块(1)相连，接收待投影视频帧和实时用户视点，并与视频编码模块(22)相连，将投影后图像进行视频编码，具体的投影编码处理流程如图5所示。
(2.1)初始投影矩阵计算：假设用户视点方向为极坐标(0，0)，因此初始重映射矩阵MI为固定值，可以预先计算生成MI。其中的每个元素Iij是相应像素的重映射索引。对于金字塔/TSP投影可以根据其2D到3D坐标映射关系计算出相应的初始重映射矩阵MI。
Figure BDA0002994683170000051
(2.2)投影视点确定：给定一个新的用户视点中心极坐标(
Figure BDA0002994683170000052
θ)，可以计算其相对于初始位置的旋转矩阵R：
Figure BDA0002994683170000053
(2.3)投影矩阵旋转：根据用户视点方向调整投影矩阵，对初始重映射矩阵MI中的每个点施加旋转变换R，调整目标图形的视点朝向为(
Figure BDA0002994683170000054
θ)得到新的重映射矩阵MP。
Figure BDA0002994683170000055
MP中每个投影点Pij可以由MI中对应点Iij经过视点方向的旋转变换得到：
Figure BDA0002994683170000056
(2.4)投影处理：得到了目标图像中每个点在金字塔上对应的三维直角坐标，可以进行投影变换。将其转换为极坐标并用于索引全景图中的像素。设原始ERP全景图长为W宽为H，则投影后图形可以如下填充。
Figure BDA0002994683170000057
(2.5)视频压缩：经过初始矩阵选择和投影变换后产生的图像直接传入NVENC中进行视频压缩编码，在实现高效运算的同时也降低了数据传输的开销。
(2.6)传输：所述视频编码模块(22)在完成编码后输出自适应码流，与初始化包头一并通过GPUDirect直接传输至FPGA网卡(3)发送传输。
(3)FPGA网卡(3)
所述的FPGA网卡(3)负责网络数据包的收发和校验和计算模块(31)，如图3所示。
(3.1)如图6，所述的校验和模块(31)完成IP和TCP/UDP校验和的计算和装填。
(3.1.1)校验和计算模块(311)分析完整数据包，分别计算出IP和TCP/UDP校验和。
(3.1.2)完整数据包流过校验和计算模块后暂存到数据包队列(313)中，而计算得到的校验和暂存在校验和队列(312)中。
(3.1.3)校验和装填模块(314)从两个队列中取出校验和和数据包，并根据帧结构将计算好的IP和TCP/UDP校验和装填到数据包中。
(3.2)所述的网络数据包收发通过Xilinx提供的以太网物理层和MAC层IP核完成。
以上所述，仅是本发明的较佳实例，本发明所主张的权利范围并不局限于此。本发明还有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于异构计算的VR实时处理自适应传输系统，其特征在于，由CPU模块、GPU模块和FPGA网卡相互连接组成；其中，所述CPU模块负责系统的协调与控制；所述GPU模块包含投影变换模块和视频编码模块，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成，所述自适应码流由GPU模块根据用户反馈的视点信息实时计算产生；所述FPGA网卡负责网络数据包的收发和校验和的计算；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码；所述视频编码模块在完成编码后输出自适应码流，并传输至FPGA网卡发送；
CPU模块与投影变换模块、CPU模块与FPGA网卡、视频编码模块与FPGA网卡间均通过PCIe总线接口相连；
所述投影变换模块和视频编码模块均在GPU模块内部完成操作，无需额外的数据传输开销；视频编码模块的操作使用GPU模块内部集成的视频编码硬件加速器完成；所述GPU模块中投影变换模块和视频编码模块，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码，具体的投影编码处理流程为：
(2.1)初始投影矩阵计算：假设用户视点方向为极坐标(0，0)，因此初始重映射矩阵MI为固定值，预先计算生成MI；其中的每个元素Iij是相应像素的重映射索引；对于金字塔/TSP投影根据其2D到3D坐标映射关系计算出相应的初始重映射矩阵MI：
Figure FDA0004034199950000011
(2.2)投影视点确定：给定一个新的用户视点中心极坐标(φ,θ)，计算其相对于初始位置的旋转矩阵R：
Figure FDA0004034199950000012
(2.3)投影矩阵旋转：根据用户视点方向调整投影矩阵，对初始重映射矩阵MI中的每个点施加旋转变换R，调整目标图形的视点朝向为
Figure FDA0004034199950000021
得到新的重映射矩阵MP：
Figure FDA0004034199950000022
MP中每个投影点Pij由MI中对应点Iij经过视点方向的旋转变换得到：
Figure FDA0004034199950000023
(2.4)投影处理：得到目标图像中每个点在金字塔上对应的三维直角坐标，可以进行投影变换；将其转换为极坐标并用于索引全景图中的像素；设原始ERP全景图长为W宽为H，则投影后图形可以如下填充：
Figure FDA0004034199950000024
(2.5)视频压缩：经过初始矩阵选择和投影变换后产生的图像直接传入NVENC中进行视频压缩编码，在实现高效运算的同时也降低数据传输的开销；
(2.6)传输：所述视频编码模块在完成编码后输出自适应码流，与初始化包头一并通过GPUDirect直接传输至FPGA网卡发送传输；
CPU模块与投影变换模块通信过程使用乒乓缓存方式进行；
CPU模块在程序初始化阶段为视频编码模块设置好待传输码流的网络包头，网络包头包含客户端IP地址端口号等信息；码流产生后网络与包头一并送至FPGA网卡；
FPGA网卡模块在接收到视频编码模块发送的数据包后，为网络包头计算并装填校验和，随后进行网络传输。
2.基于权利要求1所述系统的VR实时处理自适应传输方法，其特征在于，具体步骤如下：
S01，由FPGA网卡接收用户实时反馈的视点信息，并通过CPU模块发起GPU处理任务；
S02，GPU模块根据用户视点信息实时进行投影变换处理，产生自适应码流传输至FPGA网卡；
S03，FPGA网卡为自适应码流计算并装填包头校验和信息，然后经由网络回传给用户；
步骤S01中，所述CPU模块发起GPU处理任务，包含如下步骤：
S0101，CPU模块接收到用户发出的连接请求后，初始化GPU模块，分配帧乒乓缓存，设置客户端包头；
S0102，CPU模块发起乒乓传输，上传待投影视频帧；
S0103，CPU模块接收到用户实时视点信息后发起下次乒乓传输，同时基于已上传帧和用户视点控制GPU启动实时自适应传输处理；
步骤S02中，所述GPU模块根据用户视点信息实时进行投影变换处理，包含如下步骤：
S0201，GPU接收主机传输的实时用户视点信息，并根据这一信息对预先存储在显存中的初始投影矩阵施加旋转变换，通过流处理器并行执行；
S0202，基于变换后的投影矩阵，使用流处理器进行投影变换操作，将最新的ERP图像帧变换为金字塔/TSP形式；
S0203，将变换后的图像送入硬件加速器进行视频压缩编码，生成最终的VR自适应码流；
S0204，所生成的VR自适应码流连同预先设置好的网络包头一并发送至FPGA网卡，使用PCIe总线的设备间直传功能，不经过CPU内存；
步骤S03中，所述FPGA网卡模块处理部分，包含如下步骤：
S0301，FPGA网卡经由PCIe总线接收网络数据包；
S0302，校验和计算模块分析完整数据包，分别计算IP和TCP/UDP校验和；
S0303，校验和计算模块根据帧结构将计算好的IP和TCP/UDP校验和装填到数据包中；
S0304，FPGA网卡将完整数据包经由网络协议栈发送。
CN202110325973.2A 2021-03-26 2021-03-26 基于异构计算的vr实时自适应传输系统及方法 Active CN113163185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325973.2A CN113163185B (zh) 2021-03-26 2021-03-26 基于异构计算的vr实时自适应传输系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325973.2A CN113163185B (zh) 2021-03-26 2021-03-26 基于异构计算的vr实时自适应传输系统及方法

Publications (2)

Publication Number Publication Date
CN113163185A CN113163185A (zh) 2021-07-23
CN113163185B true CN113163185B (zh) 2023-03-07

Family

ID=76884951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325973.2A Active CN113163185B (zh) 2021-03-26 2021-03-26 基于异构计算的vr实时自适应传输系统及方法

Country Status (1)

Country Link
CN (1) CN113163185B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490498B (zh) * 2022-01-20 2023-12-19 山东大学 基于vr技术的模拟软件仿真异构系统及其工作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
JP2013128260A (ja) * 2011-11-18 2013-06-27 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN108307197A (zh) * 2015-12-01 2018-07-20 幸福在线（北京）网络技术有限公司 虚拟现实视频数据的传输方法、播放方法及装置和系统
CN109791706A (zh) * 2016-10-13 2019-05-21 索尼公司 图像处理装置和图像处理方法
CN111757103A (zh) * 2019-03-27 2020-10-09 北京传送科技有限公司 基于显卡计算单元的vr视频编解码方法、系统和存储介质
US10873737B1 (en) * 2019-08-16 2020-12-22 Lg Electronics Inc. VR device and control method for the same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840566A (zh) * 2010-04-16 2010-09-22 中山大学 一种基于gpu并行计算的实时阴影生成方法及系统
JP2016127372A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2016118897A1 (en) * 2015-01-22 2016-07-28 Kubicam Inc. Video transmission based on independently encoded background updates
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10432988B2 (en) * 2016-04-15 2019-10-01 Ati Technologies Ulc Low latency wireless virtual reality systems and methods
CN105898359A (zh) * 2016-04-27 2016-08-24 乐视控股（北京）有限公司 虚拟现实终端及其视频的处理方法和装置
WO2018039482A1 (en) * 2016-08-24 2018-03-01 Raduchel William J Network-enabled graphics processing module
US10388025B2 (en) * 2017-05-25 2019-08-20 OnsiteIQ Inc. Interactive image based 3D panogragh
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
US10284753B1 (en) * 2018-07-03 2019-05-07 Sony Corporation Virtual reality media content generation in multi-layer structure based on depth of field
US11212537B2 (en) * 2019-03-28 2021-12-28 Advanced Micro Devices, Inc. Side information for video data transmission
WO2020242170A1 (en) * 2019-05-28 2020-12-03 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
JP2013128260A (ja) * 2011-11-18 2013-06-27 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN108307197A (zh) * 2015-12-01 2018-07-20 幸福在线（北京）网络技术有限公司 虚拟现实视频数据的传输方法、播放方法及装置和系统
CN109791706A (zh) * 2016-10-13 2019-05-21 索尼公司 图像处理装置和图像处理方法
CN111757103A (zh) * 2019-03-27 2020-10-09 北京传送科技有限公司 基于显卡计算单元的vr视频编解码方法、系统和存储介质
US10873737B1 (en) * 2019-08-16 2020-12-22 Lg Electronics Inc. VR device and control method for the same

Also Published As

Publication number Publication date
CN113163185A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US10712565B2 (en) Method and system for streaming information in wireless virtual reality
WO2022100522A1 (zh) 一种视频编码方法、视频解码方法、装置、电子设备、存储介质及计算机程序产品
EP3721635B1 (en) Scalable fov+ for vr 360 video delivery to remote end users
US7173635B2 (en) Remote graphical user interface support using a graphics processing unit
US10099129B2 (en) System and method for improving the graphics performance of hosted applications
US8872895B2 (en) Real-time video coding using graphics rendering contexts
US8264493B2 (en) Method and system for optimized streaming game server
US8154553B2 (en) Centralized streaming game server
CN112673642A (zh) 针对拆分xr的跨层流量优化
WO2021083178A1 (zh) 数据处理方法及系统、服务器和存储介质
US20140292751A1 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
WO2021083174A1 (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
US11503267B2 (en) Image processing device, content processing device, content processing system, and image processing method
CN110149542A (zh) 传输控制方法
CN113163185B (zh) 基于异构计算的vr实时自适应传输系统及方法
CN108810427B (zh) 基于视点的全景视频内容表示的方法及装置
WO2019155894A1 (ja) 通信装置、通信方法、及びプログラム
US10525344B2 (en) System and method for improving the graphics performance of hosted applications
CN112995636A (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN116912385B (zh) 视频帧自适应渲染处理方法、计算机装置及存储介质
Pazzi et al. Propane: A progressive panorama streaming protocol to support interactive 3d virtual environment exploration on graphics-constrained devices
CN103763307B (zh) 一种带宽优化方法及系统
WO2022191070A1 (ja) ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
WO2023221764A1 (zh) 视频编码方法、视频解码方法及相关装置
CN115550694A (zh) 用于多路数据流的传输的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant