CN113612981A - 一种基于视频的3d图形实时渲染的方法及其系统 - Google Patents

一种基于视频的3d图形实时渲染的方法及其系统 Download PDF

Info

Publication number
CN113612981A
CN113612981A CN202110979894.3A CN202110979894A CN113612981A CN 113612981 A CN113612981 A CN 113612981A CN 202110979894 A CN202110979894 A CN 202110979894A CN 113612981 A CN113612981 A CN 113612981A
Authority
CN
China
Prior art keywords
video
playing
frame
rendering
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110979894.3A
Other languages
English (en)
Inventor
刘德建
李臻
黄昌彦
陈宏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN202110979894.3A priority Critical patent/CN113612981A/zh
Publication of CN113612981A publication Critical patent/CN113612981A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

本发明提供了一种基于视频的3D图形实时渲染的方法，所述方法通过3D图形预渲染环节和播放环节来实现渲染，其中在3D图形预渲染环节，将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；在播放环节，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果；该方法移植性高，复用性强。

Description

一种基于视频的3D图形实时渲染的方法及其系统
技术领域
本发明涉及3D图形渲染的技术领域，特别是一种基于视频的3D图形实时渲染的方法及其系统。
背景技术
3D渲染是通过电脑计算的方式把模型从3D模型网格呈现出2D真实感高的图像，计算过程包含光线及辅助光线，材料的材质和纹理，相机相关设置等综合变量。3D渲染可在本机电脑渲染，但是效率低，渲染时间长。着急的项目、场景项目可以试用云渲染，可批量渲染，批量出结果，节省渲染时间，提高工作效率，事半功倍。
现有的3D图形渲染技术存在如下缺点：1、业界现有方案，一般渲染和播放环节采用同一个引擎。对播放器而言，画面效果受引擎的渲染能力限制。如果引擎的渲染能力欠佳，那么无法提供理想的画面效果；
2、难以移植，使用到的资源/源代码难以从使用一个引擎的工程移植到使用不同引擎的工程；
3、实时播放画面的环节，对硬件的要求较高，通常采用的3D实时渲染方式，对硬件的要求比本发明采用的“播放视频”的要求更高。尤其是越期望画面效果好的情况下，硬件要求越高；
4、包体积过大，越是精细、华丽的画面效果，一般来说越需要体积更为庞大的资源，从而最终客户端的包体积也更大；
5、复用性低，对于已经渲染过的画面，在后续的实时渲染过程中，依然需要再次渲染。难以对硬件已经运算过的结果进行复用。
发明内容
为克服上述问题，本发明的目的是提供一种基于视频的3D图形实时渲染的方法，能基于3D图形渲染引擎，实时渲染3D画面，该方法移植性高，复用性强。
本发明采用以下方案实现：一种基于视频的3D图形实时渲染的方法，所述方法通过3D图形预渲染环节和播放环节来实现渲染，其中在3D图形预渲染环节，将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；在播放环节，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
进一步的，所述3D图形预渲染环节进一步具体为：步骤S11、使用3D图形渲染引擎，对3D画面进行渲染；
步骤S12、捕捉每一帧渲染的画面；
步骤S13、将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；
步骤S14、对视频文件进行存储，以便后续播放环节使用。
进一步的，所述播放环节进一步具体为：步骤S21、读取3D图形预渲染环节产出的视频文件，并加载到内存；
步骤S22、识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；
步骤S23、根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区；
步骤S24、在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
进一步的，所述步骤S23进一步具体为：根据播放指令，获得要播放的视频帧的缓冲范围，该缓冲范围即为一系列的帧编号，并从视频文件中提取对应的各个视频帧、依次填入缓冲区，即：首先，获取当前正在播放的帧编号，其次，获取播放的方向，该方向为正序或逆序，如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面，该一定帧数是通过配置文件来配置1倍速播放的情况下默认的帧数；反之，如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速或者减速播放的情况，那么缓冲的帧数量对应增加或者减少，该帧数量对应增加或者减少是用播放速率乘以配置文件中指定的1倍速播放情况下的帧数来获得；从而在流畅度和内存占用之间寻求平衡；
最后，根据这个缓冲范围，从视频文件中加载每一帧的画面，放入缓冲区。
本发明还提供了一种基于视频的3D图形实时渲染的系统，所述系统通过3D图形预渲染模块和播放模块来实现渲染，所述3D图形预渲染模块，用于将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；所述播放模块，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
进一步的，所述3D图形预渲染模块的实现方式进一步具体为：使用3D图形渲染引擎，对3D画面进行渲染；
捕捉每一帧渲染的画面；
将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；
对视频文件进行存储，以便后续播放环节使用。
进一步的，所述播放模块的实现方式进一步具体为：读取3D图形预渲染环节产出的视频文件，并加载到内存；
识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；
根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区；
在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
进一步的，所述根据播放指令，获得要播放的视频帧的缓冲范围，该缓冲范围即为一系列的帧编号，并从视频文件中提取对应的各个视频帧、依次填入缓冲区，即：首先，获取当前正在播放的帧编号，其次，获取播放的方向，该方向为正序或逆序，如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面，该一定帧数是通过配置文件来配置1倍速播放的情况下默认的帧数；反之，如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速或者减速播放的情况，那么缓冲的帧数量对应增加或者减少，该帧数量对应增加或者减少是用播放速率乘以配置文件中指定的1倍速播放情况下的帧数来获得；从而在流畅度和内存占用之间寻求平衡；
最后，根据这个缓冲范围，从视频文件中加载每一帧的画面，放入缓冲区。
本发明的有益效果在于：1、解决缺点1-播放器的引擎渲染能力要求高：由于3D图形预渲染环节的输出物是一个视频，因此对于播放环节使用的渲染引擎的要求大大降低。在播放环节只需要播放引擎支持视频播放，即可达到目的，因此大幅降低了对播放器所采用的引擎的渲染能力的要求。
2、解决缺点2-移植性弱：由于3D图形预渲染环节的输出物是一个视频，而视频文件在业界具有较好的通用性，因此在播放环节不需要考虑资源/代码跨引擎移植的问题。
3、解决缺点3-实时播放的硬件门槛：本发明将整体过程拆为2个环节，对于后一个环节(播放环节)，由于采用的是播放视频的策略，因此硬件门槛大幅降低。
4、解决缺点4-包体积过大：对于发布给用户使用的播放器而言，由于本发明以“视频文件”作为它的Input；而视频的大小取决于时长、分辨率、帧率、码率、编码方案等参数，与画面的精细/华丽程度不构成正相关。因此可以避开业界通常会遇到的“越是精细、华丽的画面效果，一般来说越需要体积更为庞大的资源”的问题。
5、解决缺点5-复用性低：由于3D图形预渲染环节已经使用计算机的CPU、GPU进行过一次渲染、输出为视频，因此在第2次以后的播放环节，无需再次处理“渲染”的工作，只需要按规则播放视频中的指定帧即可。
附图说明
图1是本发明的方法流程示意图。
图2是本发明的系统原理框图。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明是一种基于视频的3D图形实时渲染的方法，所述方法通过3D图形预渲染环节和播放环节来实现渲染，其中在3D图形预渲染环节，将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；在播放环节，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
请参阅图1所示，所述3D图形预渲染环节进一步具体为：步骤S11、使用3D图形渲染引擎(如Unity渲染引擎、Unreal渲染引擎)，对3D画面进行渲染；注意此处如果追求渲染效果，那么可以使用业界在图形渲染方面表现卓越的引擎，并且允许每帧耗费较多时间进行渲染。
步骤S12、捕捉每一帧渲染的画面；
步骤S13、将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；该带有阿尔法通道的视频的用途是：在项目中有需要把这个视频叠在其它内容上方的需求。
步骤S14、对视频文件进行存储，以便后续播放环节使用。
所述播放环节进一步具体为：步骤S21、读取3D图形预渲染环节产出的视频文件，并加载到内存；
步骤S22、识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；
步骤S23、根据播放指令，获得要播放的视频帧的缓冲范围(一系列的帧编号)，并从视频文件中提取对应的各个视频帧、依次填入缓冲区：如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面；如果是逆序播放，那么缓冲范围是当前帧及之前一定帧数的画面；如果有加速或减速播放的情况，那么缓冲的帧数量对应增加或减少，从而在流畅度和内存占用之间寻求平衡；进一步的，(1)首先，获取当前正在播放的帧编号；
(2)其次，获取播放的方向(正序/逆序)，如果是正序播放，那么缓冲的范围是当前帧及之后一定帧数的画面(目前这个帧数，是通过配置文件来配置1倍速播放的情况下，默认的帧数。从而在不同的目标硬件水准、不同的视频规格下，可以通过调整配置文件来实现最佳经验数值的应用)；
反之如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速/减速播放的情况，那么缓冲的帧数量对应增加/减少，从而在流畅度和内存占用之间寻求平衡(目前帧数量增加/减少的方式，是用[播放速率]乘以[配置文件中指定的1倍速情况下的帧数]得来)。
(3)最后，根据这个缓冲范围(一系列的帧编号)，从视频文件中加载每一帧的画面，放入缓冲区。
步骤S24、在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
总之，本发明使用3D图形渲染引擎，将3D画面的变化过程录制成支持透明通道的视频格式，并通过一定的播放过程控制手段，实现等同于3D实时渲染的效果。
请参阅图2所示，本发明还提供了一种基于视频的3D图形实时渲染的系统，所述系统通过3D图形预渲染模块和播放模块来实现渲染，所述3D图形预渲染模块，用于将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；所述播放模块，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
所述3D图形预渲染模块的实现方式进一步具体为：使用3D图形渲染引擎(如Unity渲染引擎、Unreal渲染引擎)，对3D画面进行渲染；
捕捉每一帧渲染的画面；
将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；该带有阿尔法通道的视频的用途是：在项目中有需要把这个视频叠在其它内容上方的需求。
对视频文件进行存储，以便后续播放环节使用。
所述播放模块的实现方式进一步具体为：读取3D图形预渲染环节产出的视频文件，并加载到内存；
识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；
根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区：如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面；如果是逆序播放，那么缓冲范围是当前帧及之前一定帧数的画面；如果有加速或减速播放的情况，那么缓冲的帧数量对应增加或减少，从而在流畅度和内存占用之间寻求平衡；
在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区即：(1)首先，获取当前正在播放的帧编号；
(2)其次，获取播放的方向(正序/逆序)，如果是正序播放，那么缓冲的范围是当前帧及之后一定帧数的画面(目前这个帧数，是通过配置文件来配置1倍速播放的情况下，默认的帧数。从而在不同的目标硬件水准、不同的视频规格下，可以通过调整配置文件来实现最佳经验数值的应用)；
反之如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速/减速播放的情况，那么缓冲的帧数量对应增加/减少，从而在流畅度和内存占用之间寻求平衡(目前帧数量增加/减少的方式，是用[播放速率]乘以[配置文件中指定的1倍速情况下的帧数]得来)。
(3)最后，根据这个缓冲范围(一系列的帧编号)，从视频文件中加载每一帧的画面，放入缓冲区。
该系统可以应用于3D画面的播放期间，对用户的交互所带来的期望效果可以提前预判的场合。
例如期望通过旋转的方式，观察一个3D物体，在这种情景下，可以预判：无论用户如何旋转该模型，最终都是播放模型旋转到一定角度的画面。这样3D图形预渲染环节确保预先拆分出来的(离散的)每个角度的画面都被渲染和录制，从而服务于播放的环节。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于视频的3D图形实时渲染的方法，其特征在于：所述方法通过3D图形预渲染环节和播放环节来实现渲染，其中在3D图形预渲染环节，将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；在播放环节，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
2.根据权利要求1所述的一种基于视频的3D图形实时渲染的方法，其特征在于：所述3D图形预渲染环节进一步具体为：步骤S11、使用3D图形渲染引擎，对3D画面进行渲染；
步骤S12、捕捉每一帧渲染的画面；
步骤S13、将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；
步骤S14、对视频文件进行存储，以便后续播放环节使用。
3.根据权利要求1所述的一种基于视频的3D图形实时渲染的方法，其特征在于：所述播放环节进一步具体为：步骤S21、读取3D图形预渲染环节产出的视频文件，并加载到内存；
步骤S22、识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；
步骤S23、根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区；
步骤S24、在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
4.根据权利要求3所述的一种基于视频的3D图形实时渲染的方法，其特征在于：所述步骤S23进一步具体为：根据播放指令，获得要播放的视频帧的缓冲范围，该缓冲范围即为一系列的帧编号，并从视频文件中提取对应的各个视频帧、依次填入缓冲区，即：首先，获取当前正在播放的帧编号，其次，获取播放的方向，该方向为正序或逆序，如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面，该一定帧数是通过配置文件来配置1倍速播放的情况下默认的帧数；反之，如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速或者减速播放的情况，那么缓冲的帧数量对应增加或者减少，该帧数量对应增加或者减少是用播放速率乘以配置文件中指定的1倍速播放情况下的帧数来获得；从而在流畅度和内存占用之间寻求平衡；
最后，根据这个缓冲范围，从视频文件中加载每一帧的画面，放入缓冲区。
5.一种基于视频的3D图形实时渲染的系统，其特征在于：所述系统通过3D图形预渲染模块和播放模块来实现渲染，所述3D图形预渲染模块，用于将画面内容进行预渲染操作，然后将3D画面的变化过程录制成视频；所述播放模块，通过对用户的交互操作识别，来转义成视频的播放进度控制，实现等效的图形渲染效果。
6.根据权利要求5所述的一种基于视频的3D图形实时渲染的系统，其特征在于：所述3D图形预渲染模块的实现方式进一步具体为：使用3D图形渲染引擎，对3D画面进行渲染；
捕捉每一帧渲染的画面；
将每一帧画面整合成视频，此处视频的编码能根据实际情景做调整，如果在播放期间，期望视频置顶、在视频之下还要有其它底板，那么使用PNG视频编码的方式，将每一帧画面整合成带有阿尔法通道的视频；
对视频文件进行存储，以便后续播放环节使用。
7.根据权利要求5所述的一种基于视频的3D图形实时渲染的系统，其特征在于：所述播放模块的实现方式进一步具体为：读取3D图形预渲染环节产出的视频文件，并加载到内存；
识别用户的交互，转义成对视频的正序或逆序、加快或放慢播放指令；即在UI界面上按住“顺时针旋转模型”或“逆时针旋转模型”的按钮，引发视频的正序或逆序播放；按住按钮时间较久时，需要加速模型旋转，引发视频的加速播放；根据播放指令，获得要播放的视频帧的缓冲范围，并从视频文件中提取对应的各个视频帧、依次填入缓冲区；
在播放期间的每一帧，从缓冲区获得视频关键帧画面，并播放。
8.根据权利要求7所述的一种基于视频的3D图形实时渲染的系统，其特征在于：所述根据播放指令，获得要播放的视频帧的缓冲范围，该缓冲范围即为一系列的帧编号，并从视频文件中提取对应的各个视频帧、依次填入缓冲区，即：首先，获取当前正在播放的帧编号，其次，获取播放的方向，该方向为正序或逆序，如果是正序播放，那么缓冲范围是当前帧及之后一定帧数的画面，该一定帧数是通过配置文件来配置1倍速播放的情况下默认的帧数；反之，如果是逆序播放，那么缓冲的范围是当前帧及之前一定帧数的画面；如果有加速或者减速播放的情况，那么缓冲的帧数量对应增加或者减少，该帧数量对应增加或者减少是用播放速率乘以配置文件中指定的1倍速播放情况下的帧数来获得；从而在流畅度和内存占用之间寻求平衡；
最后，根据这个缓冲范围，从视频文件中加载每一帧的画面，放入缓冲区。
CN202110979894.3A 2021-08-25 2021-08-25 一种基于视频的3d图形实时渲染的方法及其系统 Withdrawn CN113612981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110979894.3A CN113612981A (zh) 2021-08-25 2021-08-25 一种基于视频的3d图形实时渲染的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110979894.3A CN113612981A (zh) 2021-08-25 2021-08-25 一种基于视频的3d图形实时渲染的方法及其系统

Publications (1)

Publication Number Publication Date
CN113612981A true CN113612981A (zh) 2021-11-05

Family

ID=78341914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110979894.3A Withdrawn CN113612981A (zh) 2021-08-25 2021-08-25 一种基于视频的3d图形实时渲染的方法及其系统

Country Status (1)

Country Link
CN (1) CN113612981A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027106A2 (en) * 1998-10-29 2000-05-11 Matsushita Electric Industrial Co., Ltd. Providing vcr functionality for data-centered video multicast
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
US20130129317A1 (en) * 2011-06-03 2013-05-23 James A. Moorer Client Playback of Streaming Video Adapted for Smooth Transitions and Viewing in Advance Display Modes
CN104602117A (zh) * 2015-01-31 2015-05-06 华为技术有限公司 一种倍速播放视频的方法及装置
CN105069328A (zh) * 2015-06-30 2015-11-18 北京奇虎科技有限公司 一种数据处理方法和装置
CN107370714A (zh) * 2016-05-13 2017-11-21 吉林纪元时空动漫游戏科技集团股份有限公司 面向云渲染的高效通讯方法
US20180019003A1 (en) * 2014-12-05 2018-01-18 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
CN108495174A (zh) * 2018-04-09 2018-09-04 深圳格莱珉文化传播有限公司 一种h5页面效果生成视频文件的方法及系统
CN109194942A (zh) * 2018-11-13 2019-01-11 宁波视睿迪光电有限公司 一种裸眼3d视频播放方法、终端和服务器
US20190056780A1 (en) * 2017-08-16 2019-02-21 Disney Enterprises, Inc. Adaptive vr/ar viewing based on a users eye condition profile
CN110049371A (zh) * 2019-05-14 2019-07-23 北京比特星光科技有限公司 视频合成、播放和修改方法、视频合成系统及设备
CN111031393A (zh) * 2019-12-26 2020-04-17 广州酷狗计算机科技有限公司 视频播放方法、装置、终端及存储介质
US10631047B1 (en) * 2019-03-29 2020-04-21 Pond5 Inc. Online video editor
US20200145701A1 (en) * 2016-12-30 2020-05-07 Tivo Solutions Inc. Advanced trick-play modes for streaming video
CN111163345A (zh) * 2018-11-07 2020-05-15 杭州海康威视系统技术有限公司 一种图像渲染方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027106A2 (en) * 1998-10-29 2000-05-11 Matsushita Electric Industrial Co., Ltd. Providing vcr functionality for data-centered video multicast
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
US20130129317A1 (en) * 2011-06-03 2013-05-23 James A. Moorer Client Playback of Streaming Video Adapted for Smooth Transitions and Viewing in Advance Display Modes
US20180019003A1 (en) * 2014-12-05 2018-01-18 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
CN104602117A (zh) * 2015-01-31 2015-05-06 华为技术有限公司 一种倍速播放视频的方法及装置
CN105069328A (zh) * 2015-06-30 2015-11-18 北京奇虎科技有限公司 一种数据处理方法和装置
CN107370714A (zh) * 2016-05-13 2017-11-21 吉林纪元时空动漫游戏科技集团股份有限公司 面向云渲染的高效通讯方法
US20200145701A1 (en) * 2016-12-30 2020-05-07 Tivo Solutions Inc. Advanced trick-play modes for streaming video
US20190056780A1 (en) * 2017-08-16 2019-02-21 Disney Enterprises, Inc. Adaptive vr/ar viewing based on a users eye condition profile
CN108495174A (zh) * 2018-04-09 2018-09-04 深圳格莱珉文化传播有限公司 一种h5页面效果生成视频文件的方法及系统
CN111163345A (zh) * 2018-11-07 2020-05-15 杭州海康威视系统技术有限公司 一种图像渲染方法及装置
CN109194942A (zh) * 2018-11-13 2019-01-11 宁波视睿迪光电有限公司 一种裸眼3d视频播放方法、终端和服务器
US10631047B1 (en) * 2019-03-29 2020-04-21 Pond5 Inc. Online video editor
CN110049371A (zh) * 2019-05-14 2019-07-23 北京比特星光科技有限公司 视频合成、播放和修改方法、视频合成系统及设备
CN111031393A (zh) * 2019-12-26 2020-04-17 广州酷狗计算机科技有限公司 视频播放方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
KR102560187B1 (ko) 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템
CN109600666B (zh) 游戏场景中的视频播放方法、装置、介质以及电子设备
TWI805784B (zh) 提高影像品質的方法
US7227544B2 (en) Image data processing using depth image data for realistic scene representation
WO2015196937A1 (zh) 一种录制视频的方法和装置
US20080043041A2 (en) Image Blending System, Method and Video Generation System
Bloch The HDRI handbook 2.0: high dynamic range imaging for photographers and CG artists
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
CN101295408A (zh) 一种3d图文渲染方法和渲染系统
US11816788B2 (en) Systems and methods for a generating an interactive 3D environment using virtual depth
WO2017185761A1 (zh) 2d视频播放方法及装置
US11943489B2 (en) Method and system for automatic real-time frame segmentation of high resolution video streams into constituent features and modifications of features in each frame to simultaneously create multiple different linear views from same video source
CN112511896A (zh) 一种视频渲染方法及装置
US7372472B1 (en) Method and apparatus for graphically defining a video particle explosion effect
JP3645922B2 (ja) 画像処理方法及び装置
CN113612981A (zh) 一种基于视频的3d图形实时渲染的方法及其系统
US20140232933A1 (en) Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
KR101970787B1 (ko) 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 비디오 디코딩 장치 및 방법
Bruss Creating a Low-Cost Virtual Camera System
CN115690239A (zh) 一种帧动画实现方法及装置
CN115883922A (zh) 一种视频编码渲染的方法、装置、设备及存储介质
TWI474715B (zh) 實現二維圖形特效的方法及相應裝置、系統
CN117201869A (zh) 一种ar投影离线渲染方法、装置、电子设备及存储介质
CN116939233A (zh) 直播视频处理方法、装置、设备、存储介质及计算机程序
Govil-Pai Pixels, Images and Image Files

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211105

WW01 Invention patent application withdrawn after publication