CN110062130B - 基于预处理文件结构的千兆级像素视频渲染方法及装置 - Google Patents

基于预处理文件结构的千兆级像素视频渲染方法及装置 Download PDF

Info

Publication number
CN110062130B
CN110062130B CN201910192734.7A CN201910192734A CN110062130B CN 110062130 B CN110062130 B CN 110062130B CN 201910192734 A CN201910192734 A CN 201910192734A CN 110062130 B CN110062130 B CN 110062130B
Authority
CN
China
Prior art keywords
video
data
segment
level
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910192734.7A
Other languages
English (en)
Other versions
CN110062130A (zh
Inventor
吕文涛
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Plex VR Digital Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plex VR Digital Technology Shanghai Co Ltd filed Critical Plex VR Digital Technology Shanghai Co Ltd
Priority to CN201910192734.7A priority Critical patent/CN110062130B/zh
Publication of CN110062130A publication Critical patent/CN110062130A/zh
Application granted granted Critical
Publication of CN110062130B publication Critical patent/CN110062130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

本发明公开了一种基于预处理文件结构的千兆级像素视频渲染方法和装置，步骤S1：通过数据预处理模块，将所述视频进行离线数据重组，将重组后的数据生成预处理数据文件；步骤S2：通过解码器模块将所述数据文件中指定时间段、指定画面范围的视频图像进行数据加载、解码并储存在内存的指定区域；步骤S3：通过调度器模块生成调度策略，以决定视频数据在所述内存、显存中的队列情况，并调用所述解码器加载所述视频数据至所述内存；步骤S4：通过渲染器模块执行所述调度策略，并在执行过程中调用所述调度器模块更新所述调度策略。本发明可实时完成对千兆像素视频的渲染，包括平移，缩放。并可完成逐帧视频画面的播放，并支持跳转到指定时间播放。

Description

基于预处理文件结构的千兆级像素视频渲染方法及装置
技术领域
本发明涉及视频图像渲染领域，尤其涉及一种基于预处理文件结构的千兆级像素视频渲染方法及装置。
背景技术
普通视频渲染技术一般采用逐帧播放视频，而千兆像素图像渲染技术的传统技术，采用大量的显示器阵列或主机阵列，各自显示一小块画面。通过将视频中的图像数据进行离线预处理，然后通过解码模块进行数据解码与重定向。根据不同的画面输入确定相应的调度策略，并由渲染器执行渲染。
现有技术的客观缺点包括：现有视频技术无法渲染超高像素，目前主流最多到1080p至4k；现有显示设备(显卡运算能力)客观上无法承载千兆级别的图像/视频渲染；目前的存储设备读写速度跟不上千兆级别的图像/视频的渲染过程。现有技术只能处理单帧画面，无法处理视频。
因此，本领域的技术人员致力于开发一种基于预处理文件结构的千兆级像素视频渲染方法及装置，可实时完成对千兆像素画面的渲染，包括平移，缩放。并可完成逐帧视频画面的播放，并支持跳转到指定时间播放。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术中无法渲染超高像素视频的缺陷。
为实现上述目的，本发明提供了一种基于预处理文件结构的千兆级像素视频渲染方法，包括以下步骤：
步骤S1：通过数据预处理模块，将所述视频进行离线数据重组，将重组后的数据生成预处理数据文件；所述数据预处理模块包括决策分层策略步骤、视频流分段步骤、图像分层切割步骤和视频段压缩步骤；
步骤S2：通过解码器模块将所述数据文件中指定时间段、指定画面范围的视频图像进行数据加载、解码并储存在内存的指定区域；
步骤S3：通过调度器模块生成调度策略，以决定视频数据在所述内存、显存中的队列情况，并调用所述解码器加载所述视频数据至所述内存；
步骤S4：通过渲染器模块执行所述调度策略，并在执行过程中调用所述调度器模块更新所述调度策略，并将所述内存中的所述视频数据加载至所述调度器模块所决定的显存位置之中；
步骤5：重复步骤S3、步骤S4，直至完成整个视频渲染。
进一步地，所述预处理数据文件的结构包括全局头部信息区和全局数据区，其中所述全局头部信息区包括视频存储压缩算法、整体分辨率、视频时长、缩放层级信息、分层信息和列表；所述全局数据区包含至少一个视频段，所述至少一个视频段包括至少一个数据段；所述至少一个数据段包括段内头部信息和段内数据区，所述段内数据区包含至少一个块数据，所述至少一个块数据包括所述至少一个数据段内的压缩视频数据；所述至少一个块数据按照先缩放层级，后从左至右，再从上至下的顺序累积排列。
进一步地，所述决策分层策略步骤，还包括以下子步骤：
步骤S12-1：将所述视频按倍数比例进行缩小，每次缩放结果为一个缩放等级，选定与内存带宽最合适的一个缩放等级后，其所在等级定义为等级0，其尺寸定义分层信息n和m，总计的缩放等级总数为1；
步骤S12-2：将所述视频缩放至不小于一个常规视频的尺寸，使用视频压缩算法确定视频所需的所有I帧位置，从起始位置起，每相邻两个I帧之间构成一个所述视频段，直至视频结束，从前之后依次定义为视频段0、1、2直至视频段t，所有I帧位置依次排列组成视频段分配表。
进一步地，所述视频流分段步骤，根据所述视频段分配表，将每一段所述视频数据进行独立处理，并循环往复执行所述图像分层切割步骤和视频段压缩步骤。
进一步地，所述图像分层切割步骤，根据所述决策分层策略步骤确定的所述分层信息和所述缩放层级，将所述视频切割成部分视频，所述部分视频包含从层级0至层级1-1的所有层级，所述每个层级下包含覆盖全部画面的图像块数据，再循环执行所述视频段压缩步骤。
进一步地，所述视频段压缩步骤，对所述视频段内的所述缩放层级下的切块画面视频，调用所述决策分层策略步骤所使用的视频压缩方法，将所述视频段的数据进行视频压缩，得到对应的块数据。
进一步地，所述解码器模块使用所述全局头部信息区的所述视频压缩算法，所述解码计算指定视频段k下的缩放等级为1，id为i的块数据的起始位置偏移：
Figure GDA0003002806650000022
Figure GDA0003002806650000023
其中，ol为缩放等级l下第0个切片的起始位置偏移量，l为缩放等级，μ为缩放系数；ol为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB 后所占的内存空间，
Figure GDA0003002806650000024
为全局头部信息区的视频段表中对应的储存位置偏移。
进一步地，所述调度器模块，根据所述渲染器模块传递来的采样点坐标，确定需要绘制的所述块数据和对应的缩放等级，同时使用更新队列、访问队列和预测队列调度所述显存内的数据分布，维护显存位表，所述队列和所述显存位表被传输至所述解码器模块。
进一步地，所述渲染器模块，获取采样点信息传递给所述调度器模块，等待所述解码器模块解码完成后，将所述解码器模块解码的逐帧画面数据传输至所述显存，其中传输到所述显存的具体位置遵从所述调度器模块所维护的所述显存位表。
本发明还提供了一种基于预处理文件结构的千兆级像素视频渲染装置，包括千兆像素视频编码装置和千兆像素视频渲染装置，所述千兆像素视频编码装置包括预处理模块，用于加载原始视频数据并重组生成最终文件；所述千兆像素视频渲染装置，包括编码器模块、调度器模块和渲染器模块，用于加载和调度播放最终视频画面。
与现有技术的方式相比，本专利具有以下至少一种优点：
(1)可实时完成对千兆像素视频的渲染，包括平移，缩放。
(2)可完成逐帧视频画面的播放，并支持跳转到指定时间播放。
(3)上述算法在民用计算机(以显存1～4G为例)上，依旧能够达到实时视频渲染。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的视频渲染方法流程示意图；
图2是本发明的一个较佳实施例的预处理文件结构示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
本发明通过结合传统视频压缩技术，将千兆视频流在时间上分段(现有视频技术的传统做法)，在空间上分层分块。通过检测实际画面覆盖范围，按需获取和加载部分区域的画面和视频流。通过解码后由调度器指定渲染。
如图1所示，本发明包含两个组成部分：千兆像素视频编码器，用以加载原始数据并重组生成最终文件；千兆像素视频渲染器，包括解码器，调度器和渲染器三部分，用以加载和调度播放最终画面。
本发明所提供的一种基于预处理文件结构的千兆级像素视频渲染方法，包括以下步骤：
步骤S1：通过数据预处理模块，将图像进行离线数据重组，将重组后的数据生成扩展名为“.gigav”的数据文件；
步骤S2：通过解码器模块将所述数据文件中指定时间段指定画面范围的视频图像进行数据加载、解码并储存在内存的指定区域；
步骤S3：通过调度器模块生成调度策略，以决定数据在内存、显存中的队列情况，并调用解码器加载数据至内存；
步骤S4：通过渲染器模块执行所述调度策略，并在执行过程中调用调度器更新所述调度策略，并将内存中的视频数据加载至调度器所决定的显存位置之中；
步骤S5：重复步骤3、步骤4，直至完成整个视频渲染。
如图2所示，为本发明所提供的预处理文件结构示意图。
本发明描述的应用场景面临以下三个主要难点：
(1)文件数据过大，难以快速全部加载到存储器(内存/显存)，所以需要尽可能减少加载数据。
(2)快速确定交互显示的具体范围，按需加载不低于显示分辨率要求的图像素材。
(3)需要处理视频流的常规优化存储和压缩。
针对上述三个难点，本专利设计了专用的文件结构，用以重新组织原始视频流数据，做出如下三条针对的改进：
(1)针对第三个难点，我们将视频流数据切割为若干间隔时间较短的视频片段，(即视频压缩领域所称的GOP时间)。针对每个视频流片段单独进行处理和集中存储。使得只需快速定位到一个视频片段的相对存储位移，即可获取到对应时间的视频流画面。
(2)针对第一个难点，本专利将画面均匀分割成画面块，可以有选择的加载必要的画面，同时根据不同的缩放比例，构建了缩放不同倍率的画面数据，
(3)针对第二个难点，我们的这些数据按照先缩放比例(从小到大)次画面块排列(从左至右，从上到下)的方式排列，可以快速定位和获取数据。
如图2所示，本发明所述预处理文件结构和对应功能分为如下部分：
全局头部信息区：存储压缩算法，整体分辨率，视频时长，缩放层级信息1，分层信息n，m，和一个列表，记录每一个视频段对应时长和存储位置偏移。
全局数据区：包含若干视频段信息(按时间先后依次排列)。视频段信息包含(若干)数据段，数据段包括段内头部信息：此段内，块数据的统一数据大小，以及段内数据区：包含若干块数据(按先缩放层级，后从左至右，从上至下顺序累积排列)。视频段信息包含(若干)块数据：此块所包含范围内此数据段内的压缩后视频数据。
如图1所示，千兆像素视频编码器的主要任务为：读取原始视频流数据，重组输出上述文件结构。包括决策分层策略，视频流分段，图像分层切割，视频段压缩。
(1)决策分层策略：此步骤决策视频分段的分配表，画面缩放层级1，分层信息 n，m。
其具体方案为，第一步将原始视频按2倍比例进行缩小，每次缩放结果为一个缩放等级，选定与内存带宽最合适的一个缩放等级后，其所在等级定义为等级0，其尺寸定义分层信息n和m，总计的缩放等级总数为1。第二步将原始素材缩放至不小于一个常规视频的尺寸(例如，1920x1080)，使用既定的现有视频压缩算法(如MPEG-4、H.264、WENM等，本专利所述技术适用于现有所有基于IPB压缩压缩法的压缩方案，并与具体压缩方案选择无关。)确定视频所需的所有I帧位置，从起始位置起，每相邻两个I帧之间构成一个视频段，直至视频结束，从前之后依次定义为视频段0、1、2 直至视频段t。上述所有I帧位置依次排列组成的表称之为视频段分配表。
(2)视频流分段：根据视频段分段表，将每一段视频数据视为一段进行各自独立的处理，循环往复执行后续的步骤(3)和步骤(4)。
(3)图像分层切割：此步骤根据步骤(1)确定的分层信息n，m，缩放层级1，将视频切割成各个小部分，这些小部分包含从层级0至层级1-1的所有层级，每个层级下包含覆盖全部原始画面的图像块。此后，循环往复执行步骤(4)。
(4)视频段压缩：此步骤处理一个视频段内，一个特定缩放层级下的一个切块画面的视频。调用步骤(1)所使用的视频压缩算法将此视频段的数据进行视频压缩。得到的数据即为对应的块数据。
待执行完所有上述四个步骤后，所有块数据即为文件结构中所属的块数据内容，步骤(1)所得的决策数据即为全局头部信息区的数据，各个数据块所占空间的累计，加固定的段内头部信息数据的总占用空间，即为对应段的存储位置偏移。
需要特别指明的是，在同一视频段内，尽管产生的数据块尺寸未必一致，但我们选取尺寸最大的块尺寸作为此段内头部信息中提到的统一数据大小。并将该视频段内所有块数据扩充到该尺寸(方法为在原数据尾部持续填充数据0，直至达到需要的尺寸)。
如图1所示的千兆像素视频渲染器的主要包括解码器、调度器和渲染器。
解码器主要任务为对指定视频段的指定块数据视频进行解码，在内存中存储为逐帧画面。
解码器使用的视频解码算法来源于全局头部信息区的视频存储压缩算法。
由于本专利前述文件结构的组织特点，解码器可以快速地计算指定视频段k下的缩放等级为1，id为i的块数据的起始位置偏移
Figure GDA0003002806650000051
Figure GDA0003002806650000052
其中，ol为缩放等级l下第0个切片的起始位置偏移量，l为缩放等级，μ为缩放系数。ol为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB后所占的内存空间。
Figure GDA0003002806650000053
为全局头部信息区的视频段表中对应的储存位置偏移。
调度器主要任务为根据(渲染器传递来的)采样点坐标，确定当前需要绘制的块和对应缩放等级，同时使用更新队列、访问队列和预测队列调度显存内数据分布，维护显存位表。在维护完成后，上述队列和显存位表被传输至解码器。
显存位表是将显存划分为一组可用的显存位，显存位表内记录每一个显存位具体存储的切片信息，切片信息包括切片编号、显存位是否为空以及显存位是否需要被渲染。
访问队列是一个半排序双向链表，用于跟踪上传到显存的所有切片的访问热度，访问队列的切片顺序表示了切片是否被最近访问，排列在队尾的切片则有着更低的访问热度，即长时间空闲而未被实际访问。
更新队列是一个双向链表，用于追踪当前渲染中缺失的切片，更新队列将永远指示当前立即调度的切片信息；更新队列只维护和存储切片的指示信息，而非切片数据本身。
预测队列是在当前操作不密集时，采用预测算法计算出可能需要预加载的切片数据，充分利用空闲时期进行数据交换。
渲染器主要任务为获取采样点信息传递给调度器，等待解码器解码完成后，将解码器解码的逐帧画面数据传输至显存。其中传输到显存的具体位置严格遵从调度器所维护的显存位表描述。
采样点的计算步骤为：
我们沿画面每个维度，均匀生成一些采样点。将这些点按照每相邻对角的关系两两对应，成对记录其沿轴的坐标差值，记为wihi。然后，对坐标执行反投影计算，得到每个采样点对应回纹理坐标系的坐标，得到另一组坐标差值w′ih′i。则对于每一对采样点(i,j)，通过如下方法可计算出所需要的对应的切片id，记作(li,idi)和(lj,idj)。
首先计算屏幕坐标与纹理坐标之间的缩放比例，进而得到缩放等级：
Figure RE-GDA0002946291240000061
Figure GDA0003002806650000062
其中，r为屏幕坐标与纹理坐标之间的缩放比例，max()为取最大值运算符，l为缩放等级，clip()为切片运算符，
Figure GDA0003002806650000063
为取底运算符，μ为缩放系数，n为总缩放等级。
根据计算得到的缩放等级l，可依次计算两个点对应的id：
Figure GDA0003002806650000064
id＝idiy+idix×μl
其中，h’l和w’l是通过预计算存储的缩放等级l下一个切片所覆盖的原始图像的范围大小，l为缩放等级，μ为缩放系数，
Figure GDA0003002806650000065
为取底运算符。
通过一定的预计算存储每一缩放等级l的基本参数信息，可以加速重定向运算。
本发明还提供了一种基于预处理文件结构的千兆级像素视频渲染装置，包括千兆像素视频编码装置和千兆像素视频渲染装置，千兆像素视频编码装置包括预处理模块，用于加载原始视频数据并重组生成最终文件；千兆像素视频渲染装置，包括编码器模块、调度器模块和渲染器模块，用于加载和调度播放最终视频画面。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，包括以下步骤：
步骤S1：通过数据预处理模块，将所述视频进行离线数据重组，将重组后的数据生成预处理数据文件；所述数据预处理模块包括决策分层策略步骤、视频流分段步骤、图像分层切割步骤和视频段压缩步骤；
所述预处理数据文件的结构包括全局头部信息区和全局数据区，其中所述全局头部信息区包括视频存储压缩算法、整体分辨率、视频时长、缩放层级信息、分层信息和列表；所述全局数据区包含至少一个视频段，所述至少一个视频段包括至少一个数据段；所述至少一个数据段包括段内头部信息和段内数据区，所述段内数据区包含至少一个块数据，所述至少一个块数据包括所述至少一个数据段内的压缩视频数据；所述至少一个块数据按照先缩放层级，后从左至右，再从上至下的顺序累积排列；
其中，所述决策分层策略包括以下子步骤：
步骤S12-1：将所述视频按倍数比例进行缩小，每次缩放结果为一个缩放等级，选定与内存带宽最合适的一个缩放等级后，其所在等级定义为等级0，其尺寸定义分层信息n和m，总计的缩放等级总数为1，所述视频逐渐缩放至与内存带宽最合适缩放等级的过程中的多个缩放等级记为等级1-1、1-2、1-3、…1、0；
步骤S12-2：将所述视频缩放至不小于一个常规视频的尺寸，使用视频压缩算法确定视频所需的所有I帧位置，从起始位置起，每相邻两个I帧之间构成一个所述视频段，直至视频结束，从前之后依次定义为视频段0、1、2直至视频段t，所有I帧位置依次排列组成视频段分配表；
步骤S2：通过解码器模块将所述数据文件中指定时间段、指定画面范围的视频图像进行数据加载、解码并储存在内存的指定区域；
步骤S3：通过调度器模块生成调度策略，以决定视频数据在所述内存、显存中的队列情况，并调用所述解码器加载所述视频数据至所述内存；
步骤S4：通过渲染器模块执行所述调度策略，并在执行过程中调用所述调度器模块更新所述调度策略，并将所述内存中的所述视频数据加载至所述调度器模块所决定的显存位置之中；
步骤5：重复步骤S3、步骤S4，直至完成整个视频渲染。
2.如权利要求1所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述视频流分段步骤，根据所述视频段分配表，将每一段所述视频数据进行独立处理，并循环往复执行所述图像分层切割步骤和视频段压缩步骤。
3.如权利要求1所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述图像分层切割步骤，根据所述决策分层策略步骤确定的所述分层信息和所述缩放层级，将所述视频切割成部分视频，所述部分视频包含从层级0至层级1-1的所有层级，所述每个层级下包含覆盖全部画面的图像块数据，再循环执行所述视频段压缩步骤。
4.如权利要求1所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述视频段压缩步骤，对所述视频段内的所述缩放层级下的切块画面视频，调用所述决策分层策略步骤所使用的视频压缩方法，将所述视频段的数据进行视频压缩，得到对应的块数据。
5.如权利要求1所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述解码器模块使用所述全局头部信息区的所述视频压缩算法，所述解码器计算指定视频段k下的缩放等级为1，id为i的块数据的起始位置偏移：
Figure FDA0003002806640000021
Figure FDA0003002806640000022
其中，ol为缩放等级l下第0个切片的起始位置偏移量，l为缩放等级，μ为缩放系数；ol为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB后所占的内存空间，
Figure FDA0003002806640000023
为全局头部信息区的视频段表中对应的储存位置偏移。
6.如权利要求1所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述调度器模块，根据所述渲染器模块传递来的采样点坐标，确定需要绘制的所述块数据和对应的缩放等级，同时使用更新队列、访问队列和预测队列调度所述显存内的数据分布，维护显存位表，所述队列和所述显存位表被传输至所述解码器模块；
所述采样点坐标确定对应缩放等级的步骤为：
步骤S4-1：沿画面每个维度均匀生成若干采样点，将这些点按照每相邻对角的关系两两对应，成对记录其沿轴的坐标差值，记为wihi；
步骤S4-2：对坐标执行反投影计算，得到每个采样点对应回纹理坐标系的坐标，得到另一组坐标差值w′ih′i，则对于每一对采样点(i，j)，通过步骤S4-3、S4-4可计算出所需要的对应的切片id，记作(li，idi)和(lj，idj)；
步骤S4-3：计算屏幕坐标与纹理坐标之间的缩放比例，进而得到缩放等级：
Figure FDA0003002806640000024
Figure FDA0003002806640000025
其中，r为屏幕坐标与纹理坐标之间的缩放比例，max()为取最大值运算符，l为缩放等级，clip()为切片运算符，
Figure FDA0003002806640000026
为取底运算符，μ为缩放系数，n为总缩放等级；
步骤S4-4：根据计算得到的缩放等级l，可依次计算两个点对应的id：
Figure FDA0003002806640000031
id＝idiy+idix×μl
其中，h’l和w’l是通过预计算存储的缩放等级l下一个切片所覆盖的原始图像的范围大小，l为缩放等级，μ为缩放系数，
Figure FDA0003002806640000032
为取底运算符。
7.如权利要求6所述的基于预处理文件结构的千兆级像素视频渲染方法，其特征在于，所述渲染器模块，获取采样点信息传递给所述调度器模块，等待所述解码器模块解码完成后，将所述解码器模块解码的逐帧画面数据传输至所述显存，其中传输到所述显存的具体位置遵从所述调度器模块所维护的所述显存位表。
8.一种用于实现权利要求1所述方法的视频渲染装置，其特征在于，包括千兆像素视频编码装置和千兆像素视频渲染装置，所述千兆像素视频编码装置包括预处理模块，用于加载原始视频数据并重组生成最终文件；所述千兆像素视频渲染装置，包括编码器模块、调度器模块和渲染器模块，用于加载和调度播放最终视频画面。
CN201910192734.7A 2019-03-14 2019-03-14 基于预处理文件结构的千兆级像素视频渲染方法及装置 Active CN110062130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910192734.7A CN110062130B (zh) 2019-03-14 2019-03-14 基于预处理文件结构的千兆级像素视频渲染方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192734.7A CN110062130B (zh) 2019-03-14 2019-03-14 基于预处理文件结构的千兆级像素视频渲染方法及装置

Publications (2)

Publication Number Publication Date
CN110062130A CN110062130A (zh) 2019-07-26
CN110062130B true CN110062130B (zh) 2021-06-08

Family

ID=67316988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192734.7A Active CN110062130B (zh) 2019-03-14 2019-03-14 基于预处理文件结构的千兆级像素视频渲染方法及装置

Country Status (1)

Country Link
CN (1) CN110062130B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493410B (zh) * 2018-09-25 2023-05-16 叠境数字科技（上海）有限公司 一种千兆级像素图像的实时渲染方法
CN116389831B (zh) * 2023-06-06 2023-08-15 湖南马栏山视频先进技术研究院有限公司 一种基于云原生的离线渲染系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960845A (zh) * 2008-03-12 2011-01-26 汤姆森特许公司 在无线网络中发送图像的方法和装置
CN104205849A (zh) * 2012-04-04 2014-12-10 高通股份有限公司 在视频译码中的低延迟视频缓冲
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN104954889A (zh) * 2014-03-28 2015-09-30 宇龙计算机通信科技(深圳)有限公司 片头生成方法及生成系统
CN105338424A (zh) * 2015-10-29 2016-02-17 努比亚技术有限公司 一种视频处理方法及系统
US9830516B1 (en) * 2016-07-07 2017-11-28 Videoken, Inc. Joint temporal segmentation and classification of user activities in egocentric videos
KR101804791B1 (ko) * 2017-10-13 2017-12-07 주식회사세오 실시간 영상통신구간 암호화 시스템 및 그 암호화 방법
CN108476327A (zh) * 2015-08-20 2018-08-31 皇家Kpn公司 基于媒体流来形成拼块化视频
CN108833880A (zh) * 2018-04-26 2018-11-16 北京大学 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
CN108924580A (zh) * 2018-06-22 2018-11-30 无锡天脉聚源传媒科技有限公司 一种在线视频播放缓冲方法、系统及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191413B2 (en) * 2011-11-01 2015-11-17 T-Mobile Usa, Inc. Synchronizing video and audio over heterogeneous transports
EP3220593A4 (en) * 2014-11-12 2018-08-01 LG Electronics Inc. Broadcasting signal transmission device, broadcasting signal reception device, broadcasting signal transmission method, and broadcasting signal reception method
CN109300182B (zh) * 2017-07-25 2023-08-01 中国移动通信有限公司研究院 全景图像数据处理方法、处理设备及存储介质
CN109451293B (zh) * 2018-08-09 2021-11-26 北京邮电大学 一种自适应立体视频传输系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960845A (zh) * 2008-03-12 2011-01-26 汤姆森特许公司 在无线网络中发送图像的方法和装置
CN104205849A (zh) * 2012-04-04 2014-12-10 高通股份有限公司 在视频译码中的低延迟视频缓冲
CN104954889A (zh) * 2014-03-28 2015-09-30 宇龙计算机通信科技(深圳)有限公司 片头生成方法及生成系统
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN108476327A (zh) * 2015-08-20 2018-08-31 皇家Kpn公司 基于媒体流来形成拼块化视频
CN105338424A (zh) * 2015-10-29 2016-02-17 努比亚技术有限公司 一种视频处理方法及系统
US9830516B1 (en) * 2016-07-07 2017-11-28 Videoken, Inc. Joint temporal segmentation and classification of user activities in egocentric videos
KR101804791B1 (ko) * 2017-10-13 2017-12-07 주식회사세오 실시간 영상통신구간 암호화 시스템 및 그 암호화 방법
CN108833880A (zh) * 2018-04-26 2018-11-16 北京大学 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
CN108924580A (zh) * 2018-06-22 2018-11-30 无锡天脉聚源传媒科技有限公司 一种在线视频播放缓冲方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN110062130A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN109286855B (zh) 全景视频的传输方法、传输装置和传输系统
US20230269400A1 (en) Adaptive coding and streaming of multi-directional video
US11432009B2 (en) Techniques for encoding and decoding immersive video
CN110062130B (zh) 基于预处理文件结构的千兆级像素视频渲染方法及装置
US8619862B2 (en) Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
FR2703535A1 (fr) Procédé et dispositif pour décoder des images comprimées.
EP1245119B1 (en) Method and apparatus for video decoding on a multiprocessor system
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
CN101822052A (zh) 视频流处理设备及其控制方法、程序和记录介质
CN115989522A (zh) 处理电子图像以提供组织病理学切片的改进的可视化和渲染的系统和方法
KR101680545B1 (ko) 파노라마 동영상 생성 서비스 제공 방법 및 장치
US8300701B2 (en) Offspeed playback in a video editing system of video data compressed using long groups of pictures
CN112511888B (zh) 用于多视图视频流的通用图块编码
US20030202110A1 (en) Arrangement of images
CN107484004A (zh) 一种视频处理方法及装置
CN114450940A (zh) 具有非对称下采样和机器学习的用于沉浸式视频的编码方案
Alface et al. Evaluation of bandwidth performance for interactive spherical video
US20210076054A1 (en) Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
US8649617B2 (en) Image decoding apparatus and non-transitory computer readable medium
Gupta et al. Efficient raycasting of Volumetric Depth Images for remote visualization of large volumes at high frame rates
Keshava Murthy Naik Transcoding and Quality Enhancement for Real-time 360 Video Streaming
US20040240552A1 (en) Moving picture processing apparatus
EP4199516A1 (en) Reduction of redundant data in immersive video coding
CN109496429A (zh) 视频编码方法、视频解码方法及相关装置
CN116886940B (zh) 多路视频推理并发预处理加速方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant