CN107767437B - 一种多层混合异步渲染方法 - Google Patents
一种多层混合异步渲染方法 Download PDFInfo
- Publication number
- CN107767437B CN107767437B CN201710832579.1A CN201710832579A CN107767437B CN 107767437 B CN107767437 B CN 107767437B CN 201710832579 A CN201710832579 A CN 201710832579A CN 107767437 B CN107767437 B CN 107767437B
- Authority
- CN
- China
- Prior art keywords
- rendering
- asynchronous
- layer
- static
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及计算机图像渲染技术领域，尤其涉及一种多层混合异步渲染方法，包括：渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记；根据纹理图、深度图以及属性标记进行渲染，并压缩成自定义混合视频编码格式；客户端异步解码自定义混合编码格式，并进行异步渲染。本发明使用自定义的混合视频格式，视频中除了图像信息外包含深度信息和属性标记，可以方便的对视频中的物体进行再处理；渲染内容已由渲染主机预先渲染或服务器渲染为自定义视频编码，客户端无需简单渲染只需要完成对该视频进行解码，从而大大的降低了客户端的GPU性能需求。
Description
技术领域
本发明涉及计算机图像渲染技术领域，尤其涉及一种多层混合异步渲染方法。
背景技术
渲染，也有的把它称为着色。传统的渲染方法，需要消耗比较高的CPU和GPU的性能，如专利号为：201610210562.8，发明名称为：“虚拟场景的交互方法和装置”的专利申请，该专利属于同步渲染方法，如使用传统图像作为同步渲染的纹理，根据高度数据和法线信息实时渲染需要消耗较高的GUP和CPU的性能，从而降低渲染整体效率，无法在移动平台、智能硬件上渲染过于复杂的场景。如专利号为：201110121668.8，发明名称为：“一种图形渲染中可编程阶段多层渲染的方法”的专利申请，该专利是基于GPU的实时渲染方法，属于同步渲染方式，依然需要消耗过高的CPU和GPU资源，无法在移动平台、智能硬件上实时渲染过于复杂的场景。另外，传统的视频编码格式是基于二位图像的压缩，无法存储三维空间深度信息和物体信息。
发明内容
为解决现有方法存在的问题，本发明给出一种多层混合异步渲染方法。
本发明技术方案是：一种多层混合异步渲染方法，包括：渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记；根据纹理图、深度图以及属性标记进行渲染，并压缩成自定义混合视频编码格式；客户端异步解码自定义混合编码格式，并进行异步渲染。
优选的，对于真实场景，对场景以及场景中的物体进行三维重建，采集场景中的三维模型以及纹理图；对于虚拟场景，对场景进行三维建模。
优选的，所述属性标记包含静态物体、动态物体、非可见曲面、属性标记的名称、光源类型以及光源位置等标记。
优选的，如渲染模式是预渲染模式，渲染主机将场景中的静态以及动态内容分别进行渲染，渲染后分别形成静态异步层和动态异步层，并压缩成自定义混合视频编码格式。
优选的，如渲染模式是服务器渲染模式，服务器根据当前场景需要以及接收的控制信息判断当前场景是否需要全局渲染，若需要全局渲染，则将所有的场景和物体渲染成静态异步层，若不需要全局渲染，则将需要渲染的物体输出渲染成动态异步层，并将动态异步层或静态异步层压缩成自定义混合视频编码格式。
优选的，客户端异步渲染时判断是否需要渲染静态异步层，若需要渲染，则获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加深度信息和属性标记，渲染显示该静态异步层纹理。
优选的，客户端判断场景中的动态异步层的物体是否需要渲染，若需要渲染，根据物体的位置和动画获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加物体深度信息和属性标记，读取属性标记中当前动态异步层的相对位置，在相应位置渲染显示动态异步层纹理。
优选的，客户端通过实时渲染层进行实时渲染，实时渲染层中三维物体、纹理资源和例子特效存储在客户端中，客户端根据需要实时渲染场景中的三维物体和粒子特效，根据属性标记中的光源位置渲染光照和实时阴影。
优选的，所述自定义混合视频编码格式包括RGBADO通道，其中，R通道为红色通道，G通道为绿色通道，B通道为蓝色通道，A通道为透明通道，D通道为深度通道，O通道为属性标记通道。
优选的，用户可以根据应用需要选择自定义混合视频编码的压缩比率和解码速度。
本发明的有益效果是：使用自定义的混合视频格式，视频中除了图像信息外包含深度信息和属性标记，可以方便的对视频中的物体进行再处理；渲染内容已由渲染主机预先渲染或服务器渲染为自定义视频编码，客户端无需简单渲染只需要完成对该视频进行解码，从而大大的降低了客户端的GPU性能需求，在普通智能手机，平板电脑等智能设备中可实现非常好的画面效果。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例的整体流程图；
图2是本发明实施例的预渲染模式的流程图；
图3是本发明实施例的服务器渲染模式的流程图；
图4是本发明实施例的客户端的渲染方法的流程图。
具体实施方式
以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
结合附图1一种多层混合异步渲染方法，包括：渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记；根据纹理图、深度图以及属性标记进行渲染，并压缩成自定义混合视频编码格式；客户端异步解码自定义混合编码格式，并进行异步渲染。
在本实施例中包含预渲染模式和服务器渲染模式，所述预渲染模式包含静态异步层，动态异步层，实时渲染层，UI层；所述的服务器渲染模式包含静态异步层，动态异步层，UI层。本发明可渲染真实视频场景，也可渲染虚拟三维场景，对于真实场景需要对场景和场景中的物体进行三维重建，采集场景和物体的三维模型和纹理图，对于虚拟场景需要使用传统方法对场景进行三维建模。
结合附图2，预渲染模式：
第一步，渲染静态异步层：
渲染主机加载模型，根据当前场景光线环境添加光源，使用根据摄像机的空间位置和角度输出纹理图、深度图、属性标记，如光源位置，道路和曲面、空间边界等，输出的纹理图、深度图和属性标记形成静态异步层，对于静态背景、固定角度的静态摄像机只需要一帧的静态异步层，对于动态摄像机，摄像机的每个位置和角度都需对应一帧独立的静态异步层，渲染主机将多帧静态异步层压缩成自定义混合视频编码格式。
第二步，渲染动态异步层：
渲染主机加载模型，根据当前场景的光线环境添加光源，使用渲染主机根据需要将动态渲染输出为包含透明通道的纹理图和深度图，添加属性标记，如当前物体的相对位置和曲面等，输出的纹理图、深度图和属性标记形成动态异步层，渲染主机将多帧动态异步层压缩成自定义混合视频编码格式。
结合附图3，服务器渲染模式：
服务器加载三维模型，根据当前场景光线环境添加光源，客户端提交控制消息，服务器根据当前场景需要和用户提交的控制消息判断是否需要全局渲染，如需要全局渲染，则将所有的场景和物体输出渲染成静态异步层。如不需要全局渲染，则将需要渲染的物体输出渲染为动态异步层，所述服务器将静态异步层或动态异步层压缩成自定义混合视频编码格式发送至客户端。
结合附图4，客户端的渲染方法如下：
预渲染模式：
根据当前场景需要和控制消息判断是否需要渲染静态异步层，如需要渲染静态异步层获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加深度信息和属性标记，渲染显示该静态异步层纹理。
根据当前场景需要和控制消息判断场景中的动态异步层的物体是否需要渲染，如需要渲染动态异步层，根据物体的位置和动画获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加物体深度信息和属性标记，读取属性标记中当前动态异步层的相对位置，在相应位置渲染显示动态异步层纹理。
渲染实时渲染层，实时渲染层中三维物体、纹理资源和例子特效存储在客户端中，客户端根据需要实时渲染场景中的三维物体和粒子特效，根据属性标记中的光源位置渲染光照和实时阴影。
渲染UI层，实时渲染UI、交互控件。
服务器渲染模式：
客户端渲染UI层，渲染UI控件，获取客户输入的交互信息。
客户端获取服务器发送的自定义混合视频编码，如当前帧是静态异步层，解码该帧读取深度信息和属性标记，在场景中添加深度信息和属性标记，渲染显示静态异步层纹理，如当前帧是动态异步层。解码该帧获取纹理图、深度图和属性标记，在场景中添加物体的深度信息和属性标记，读取属性标记中的相对位置，在相应位置渲染显示动态异步层纹理。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种多层混合异步渲染方法，其特征在于，包括：
渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记；根据纹理图、深度图以及属性标记进行渲染，并压缩成自定义混合视频编码格式；客户端异步解码自定义混合编码格式，并进行异步渲染；
对于真实场景，对场景以及场景中的物体进行三维重建，采集场景中的三维模型以及纹理图；对于虚拟场景，对场景进行三维建模；
所述渲染主机将场景中的静态以及动态内容分别进行渲染，渲染后分别形成静态异步层和动态异步层，并压缩成自定义混合视频编码格式；
所述静态异步层的渲染过程为：渲染主机加载模型，根据当前场景光线环境添加光源，使用根据摄像机的空间位置和角度输出纹理图、深度图、属性标记，输出的纹理图、深度图和属性标记形成静态异步层；
对于静态背景、固定角度的静态摄像机需一帧的静态异步层，对于动态摄像机，摄像机的每个位置和角度都需对应一帧独立的静态异步层，渲染主机将多帧静态异步层压缩成自定义混合视频编码格式；
所述自定义混合视频编码格式包括RGBADO通道，其中，R通道为红色通道，G通道为绿色通道，B通道为蓝色通道，A通道为透明通道，D通道为深度通道，O通道为属性标记通道。
2.根据权利要求1所述的多层混合异步渲染方法，其特征在于，所述属性标记包含静态物体、动态物体、非可见曲面、属性标记的名称、光源类型以及光源位置。
3.根据权利要求1所述的多层混合异步渲染方法，其特征在于，服务器根据当前场景需要以及接收的控制信息判断当前场景是否需要全局渲染，若需要全局渲染，则将所有的场景和物体渲染成静态异步层，若不需要全局渲染，则将需要渲染的物体输出渲染成动态异步层，并将静态异步层或动态异步层压缩成自定义混合视频编码格式。
4.根据权利要求1或3所述的多层混合异步渲染方法，其特征在于，客户端异步渲染时，判断是否需要渲染静态异步层，若需要渲染，则获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加深度信息和属性标记，渲染显示该静态异步层纹理。
5.根据权利要求4所述的多层混合异步渲染方法，其特征在于，客户端判断场景中的动态异步层的物体是否需要渲染，若需要渲染，根据物体的位置和动画获取混合视频编码中对应的帧，解码该帧获取纹理图、深度图和属性标记，在场景中添加物体深度信息和属性标记，读取属性标记中当前动态异步层的相对位置，在相应位置渲染显示动态异步层纹理。
6.根据权利要求5所述的多层混合异步渲染方法，其特征在于，客户端通过实时渲染层进行实时渲染，实时渲染层中三维物体、纹理资源和例子特效、存储在客户端中，客户端根据需要实时渲染场景中的三维物体和粒子特效，根据属性标记中的光源位置渲染光照和实时阴影。
7.根据权利要求1或3所述的多层混合异步渲染方法，其特征在于，用户可根据应用需要选择自定义混合视频编码的压缩比率和解码速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710832579.1A CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710832579.1A CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107767437A CN107767437A (zh) | 2018-03-06 |
| CN107767437B true CN107767437B (zh) | 2021-05-28 |
Family
ID=61265594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710832579.1A Active CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767437B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110278445A (zh) * | 2019-07-05 | 2019-09-24 | 浙江开奇科技有限公司 | 基于5g网络的影像处理方法、移动终端及系统 |
| CN114640875A (zh) * | 2020-12-15 | 2022-06-17 | 晶晨半导体（深圳）有限公司 | 控制终端显示的方法和电子设备 |
| CN115761096A (zh) * | 2021-09-03 | 2023-03-07 | 华为云计算技术有限公司 | 渲染方法、远端装置、计算设备集群、终端装置及设备 |
| CN116012510A (zh) * | 2021-10-22 | 2023-04-25 | 华为技术有限公司 | 渲染处理的方法、装置、设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8014615B2 (en) * | 2005-09-02 | 2011-09-06 | Adobe Systems Incorporated | System and method for decompressing video data and alpha channel data using a single stream |
| CN104463948B (zh) * | 2014-09-22 | 2017-05-17 | 北京大学 | 三维虚拟现实系统与地理信息系统的无缝可视化方法 |
| CN105163081B (zh) * | 2015-09-02 | 2018-06-15 | 广东建设职业技术学院 | 一种基于异步渲染的实物展示方法及系统 |
-
2017
- 2017-09-15 CN CN201710832579.1A patent/CN107767437B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| A Technical Overview of VP9—The Latest Open-Source Video Codec;Debargha Mukherjee等;《SMPTE Motion Imaging Journal》;20150131;第124卷(第1期);第44-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107767437A (zh) | 2018-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106611435B (zh) | 动画处理方法和装置 | |
| CN107767437B (zh) | 一种多层混合异步渲染方法 | |
| CN111899155B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN111899322B (zh) | 视频处理方法、动画渲染sdk和设备及计算机存储介质 | |
| CN108959392B (zh) | 在3d模型上展示富文本的方法、装置及设备 | |
| CN114730483A (zh) | 在消息传送系统中生成3d数据 | |
| US11375235B2 (en) | Method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream | |
| CN115428034A (zh) | 消息传送系统中的包括3d数据的增强现实内容生成器 | |
| CN108668168B (zh) | 基于Unity 3D的安卓VR视频播放器及其设计方法 | |
| CN116420171A (zh) | 程序地生成增强现实内容生成器 | |
| KR20230162987A (ko) | 서드 파티 애플리케이션들을 위한 증강 현실 콘텐츠에서의 얼굴 합성 | |
| KR20230162972A (ko) | 광고를 위한 증강 현실 콘텐츠에서의 얼굴 합성 | |
| KR20230162971A (ko) | 오버레이된 증강 현실 콘텐츠에서의 얼굴 합성 | |
| CN116235217A (zh) | 用于增强现实内容生成器的摄取管道 | |
| EP3741110A1 (en) | A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream | |
| JP4987124B2 (ja) | グラフィックデータ提供方法及びグラフィックデータ表示方法 | |
| KR20220127246A (ko) | 보조 패치들을 갖는 볼류메트릭 비디오 | |
| CN114491352A (zh) | 模型加载方法、装置、电子设备及计算机可读存储介质 | |
| CN115761188A (zh) | 一种基于WebGL的多媒体与三维场景融合的方法和系统 | |
| CN115250335A (zh) | 视频处理方法、装置、设备及存储介质 | |
| WO2020141995A1 (en) | Augmented reality support in omnidirectional media format | |
| WO2018040831A1 (zh) | 图形标识码生成方法及装置 | |
| WO2024051394A1 (zh) | 视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| TW202211687A (zh) | 用於編碼和解碼資料串流中及來自資料串流的容量內容之方法及裝置 | |
| JP2006523337A (ja) | 表示のためのグラフィックスアニメーションの描写を管理する方法、および該方法を実施するための受信機およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190730 Address after: Room 2097, Building 20, 1399 Liangmu Road, Cangqian Street, Hangzhou City, Zhejiang Province, 311100 Applicant after: Hangzhou charm Technology Co., Ltd. Address before: 311121 Internet Village, Dream Town, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Ou Hao |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |