CN107767437A - 一种多层混合异步渲染方法 - Google Patents
一种多层混合异步渲染方法 Download PDFInfo
- Publication number
- CN107767437A CN107767437A CN201710832579.1A CN201710832579A CN107767437A CN 107767437 A CN107767437 A CN 107767437A CN 201710832579 A CN201710832579 A CN 201710832579A CN 107767437 A CN107767437 A CN 107767437A
- Authority
- CN
- China
- Prior art keywords
- asynchronous
- scene
- render
- rendering
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 50
- 230000003068 static effect Effects 0.000 claims description 27
- 238000003475 lamination Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及计算机图像渲染技术领域,尤其涉及一种多层混合异步渲染方法,包括:渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记;根据纹理图、深度图以及属性标记进行渲染,并压缩成自定义混合视频编码格式;客户端异步解码自定义混合编码格式,并进行异步渲染。本发明使用自定义的混合视频格式,视频中除了图像信息外包含深度信息和属性标记,可以方便的对视频中的物体进行再处理;渲染内容已由渲染主机预先渲染或服务器渲染为自定义视频编码,客户端无需简单渲染只需要完成对该视频进行解码,从而大大的降低了客户端的GPU性能需求。
Description
技术领域
本发明涉及计算机图像渲染技术领域,尤其涉及一种多层混合异步渲染方法。
背景技术
渲染,也有的把它称为着色。传统的渲染方法,需要消耗比较高的CPU和GPU的性能,如专利号为:201610210562.8,发明名称为:“虚拟场景的交互方法和装置”的专利申请,该专利属于同步渲染方法,如使用传统图像作为同步渲染的纹理,根据高度数据和法线信息实时渲染需要消耗较高的GUP和CPU的性能,从而降低渲染整体效率,无法在移动平台、智能硬件上渲染过于复杂的场景。如专利号为:201110121668.8,发明名称为:“一种图形渲染中可编程阶段多层渲染的方法”的专利申请,该专利是基于GPU的实时渲染方法,属于同步渲染方式,依然需要消耗过高的CPU和GPU资源,无法在移动平台、智能硬件上实时渲染过于复杂的场景。另外,传统的视频编码格式是基于二位图像的压缩,无法存储三维空间深度信息和物体信息。
发明内容
为解决现有方法存在的问题,本发明给出一种多层混合异步渲染方法。
本发明技术方案是:一种多层混合异步渲染方法,包括:渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记;根据纹理图、深度图以及属性标记进行渲染,并压缩成自定义混合视频编码格式;客户端异步解码自定义混合编码格式,并进行异步渲染。
优选的,对于真实场景,对场景以及场景中的物体进行三维重建,采集场景中的三维模型以及纹理图;对于虚拟场景,对场景进行三维建模。
优选的,所述属性标记包含静态物体、动态物体、非可见曲面、属性标记的名称、光源类型以及光源位置等标记。
优选的,如渲染模式是预渲染模式,渲染主机将场景中的静态以及动态内容分别进行渲染,渲染后分别形成静态异步层和动态异步层,并压缩成自定义混合视频编码格式。
优选的,如渲染模式是服务器渲染模式,服务器根据当前场景需要以及接收的控制信息判断当前场景是否需要全局渲染,若需要全局渲染,则将所有的场景和物体渲染成静态异步层,若不需要全局渲染,则将需要渲染的物体输出渲染成动态异步层,并将动态异步层或静态异步层压缩成自定义混合视频编码格式。
优选的,客户端异步渲染时判断是否需要渲染静态异步层,若需要渲染,则获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加深度信息和属性标记,渲染显示该静态异步层纹理。
优选的,客户端判断场景中的动态异步层的物体是否需要渲染,若需要渲染,根据物体的位置和动画获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加物体深度信息和属性标记,读取属性标记中当前动态异步层的相对位置,在相应位置渲染显示动态异步层纹理。
优选的,客户端通过实时渲染层进行实时渲染,实时渲染层中三维物体、纹理资源和例子特效存储在客户端中,客户端根据需要实时渲染场景中的三维物体和粒子特效,根据属性标记中的光源位置渲染光照和实时阴影。
优选的,所述自定义混合视频编码格式包括RGBADO通道,其中,R通道为红色通道,G通道为绿色通道,B通道为蓝色通道,A通道为透明通道,D通道为深度通道,O通道为属性标记通道。
优选的,用户可以根据应用需要选择自定义混合视频编码的压缩比率和解码速度。
本发明的有益效果是:使用自定义的混合视频格式,视频中除了图像信息外包含深度信息和属性标记,可以方便的对视频中的物体进行再处理;渲染内容已由渲染主机预先渲染或服务器渲染为自定义视频编码,客户端无需简单渲染只需要完成对该视频进行解码,从而大大的降低了客户端的GPU性能需求,在普通智能手机,平板电脑等智能设备中可实现非常好的画面效果。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例的整体流程图;
图2是本发明实施例的预渲染模式的流程图;
图3是本发明实施例的服务器渲染模式的流程图;
图4是本发明实施例的客户端的渲染方法的流程图。
具体实施方式
以下结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
结合附图1一种多层混合异步渲染方法,包括:渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记;根据纹理图、深度图以及属性标记进行渲染,并压缩成自定义混合视频编码格式;客户端异步解码自定义混合编码格式,并进行异步渲染。
在本实施例中包含预渲染模式和服务器渲染模式,所述预渲染模式包含静态异步层,动态异步层,实时渲染层,UI层;所述的服务器渲染模式包含静态异步层,动态异步层,UI层。本发明可渲染真实视频场景,也可渲染虚拟三维场景,对于真实场景需要对场景和场景中的物体进行三维重建,采集场景和物体的三维模型和纹理图,对于虚拟场景需要使用传统方法对场景进行三维建模。
结合附图2,预渲染模式:
第一步,渲染静态异步层:
渲染主机加载模型,根据当前场景光线环境添加光源,使用根据摄像机的空间位置和角度输出纹理图、深度图、属性标记,如光源位置,道路和曲面、空间边界等,输出的纹理图、深度图和属性标记形成静态异步层,对于静态背景、固定角度的静态摄像机只需要一帧的静态异步层,对于动态摄像机,摄像机的每个位置和角度都需对应一帧独立的静态异步层,渲染主机将多帧静态异步层压缩成自定义混合视频编码格式。
第二步,渲染动态异步层:
渲染主机加载模型,根据当前场景的光线环境添加光源,使用渲染主机根据需要将动态渲染输出为包含透明通道的纹理图和深度图,添加属性标记,如当前物体的相对位置和曲面等,输出的纹理图、深度图和属性标记形成动态异步层,渲染主机将多帧动态异步层压缩成自定义混合视频编码格式。
结合附图3,服务器渲染模式:
服务器加载三维模型,根据当前场景光线环境添加光源,客户端提交控制消息,服务器根据当前场景需要和用户提交的控制消息判断是否需要全局渲染,如需要全局渲染,则将所有的场景和物体输出渲染成静态异步层。如不需要全局渲染,则将需要渲染的物体输出渲染为动态异步层,所述服务器将静态异步层或动态异步层压缩成自定义混合视频编码格式发送至客户端。
结合附图4,客户端的渲染方法如下:
预渲染模式:
根据当前场景需要和控制消息判断是否需要渲染静态异步层,如需要渲染静态异步层获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加深度信息和属性标记,渲染显示该静态异步层纹理。
根据当前场景需要和控制消息判断场景中的动态异步层的物体是否需要渲染,如需要渲染动态异步层,根据物体的位置和动画获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加物体深度信息和属性标记,读取属性标记中当前动态异步层的相对位置,在相应位置渲染显示动态异步层纹理。
渲染实时渲染层,实时渲染层中三维物体、纹理资源和例子特效存储在客户端中,客户端根据需要实时渲染场景中的三维物体和粒子特效,根据属性标记中的光源位置渲染光照和实时阴影。
渲染UI层,实时渲染UI、交互控件。
服务器渲染模式:
客户端渲染UI层,渲染UI控件,获取客户输入的交互信息。
客户端获取服务器发送的自定义混合视频编码,如当前帧是静态异步层,解码该帧读取深度信息和属性标记,在场景中添加深度信息和属性标记,渲染显示静态异步层纹理,如当前帧是动态异步层。解码该帧获取纹理图、深度图和属性标记,在场景中添加物体的深度信息和属性标记,读取属性标记中的相对位置,在相应位置渲染显示动态异步层纹理。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种多层混合异步渲染方法,其特征在于,包括:
渲染主机或服务器根据摄像机的空间位置和角度输出纹理图、深度图和属性标记;
根据纹理图、深度图以及属性标记进行渲染,并压缩成自定义混合视频编码格式;
客户端异步解码自定义混合编码格式,并进行异步渲染。
2.根据权利要求1所述的多层混合异步渲染方法,其特征在于,对于真实场景,对场景以及场景中的物体进行三维重建,采集场景中的三维模型以及纹理图;对于虚拟场景,对场景进行三维建模。
3.根据权利要求1所述的多层混合异步渲染方法,其特征在于,所述属性标记包含静态物体、动态物体、非可见曲面、属性标记的名称、光源类型以及光源位置。
4.根据权利要求1所述的多层混合异步渲染方法,其特征在于,渲染主机将场景中的静态以及动态内容分别进行渲染,渲染后分别形成静态异步层和动态异步层,并压缩成自定义混合视频编码格式。
5.根据权利要求2所述的多层混合异步渲染方法,其特征在于,服务器根据当前场景需要以及接收的控制信息判断当前场景是否需要全局渲染,若需要全局渲染,则将所有的场景和物体渲染成静态异步层,若不需要全局渲染,则将需要渲染的物体输出渲染成动态异步层,并将静态异步层或动态异步层压缩成自定义混合视频编码格式。
6.根据权利要求4或5所述的多层混合异步渲染方法,其特征在于,客户端异步渲染时,判断是否需要渲染静态异步层,若需要渲染,则获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加深度信息和属性标记,渲染显示该静态异步层纹理。
7.根据权利要求6所述的多层混合异步渲染方法,其特征在于,客户端判断场景中的动态异步层的物体是否需要渲染,若需要渲染,根据物体的位置和动画获取混合视频编码中对应的帧,解码该帧获取纹理图、深度图和属性标记,在场景中添加物体深度信息和属性标记,读取属性标记中当前动态异步层的相对位置,在相应位置渲染显示动态异步层纹理。
8.根据权利要求7所述的多层混合异步渲染方法,其特征在于,客户端通过实时渲染层进行实时渲染,实时渲染层中三维物体、纹理资源和例子特效、存储在客户端中,客户端根据需要实时渲染场景中的三维物体和粒子特效,根据属性标记中的光源位置渲染光照和实时阴影。
9.根据权利要求4所述的多层异步渲染方法,其特征在于,所述自定义混合视频编码格式包括RGBADO通道,其中,R通道为红色通道,G通道为绿色通道,B通道为蓝色通道,A通道为透明通道,D通道为深度通道,O通道为属性标记通道。
10.根据权利要求4或5所述的多层混合异步渲染方法,其特征在于,用户可根据应用需要选择自定义混合视频编码的压缩比率和解码速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710832579.1A CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710832579.1A CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107767437A true CN107767437A (zh) | 2018-03-06 |
CN107767437B CN107767437B (zh) | 2021-05-28 |
Family
ID=61265594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710832579.1A Active CN107767437B (zh) | 2017-09-15 | 2017-09-15 | 一种多层混合异步渲染方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107767437B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110278445A (zh) * | 2019-07-05 | 2019-09-24 | 浙江开奇科技有限公司 | 基于5g网络的影像处理方法、移动终端及系统 |
CN114640875A (zh) * | 2020-12-15 | 2022-06-17 | 晶晨半导体(深圳)有限公司 | 控制终端显示的方法和电子设备 |
WO2023029845A1 (zh) * | 2021-09-03 | 2023-03-09 | 华为云计算技术有限公司 | 渲染方法、远端装置、计算设备集群、终端装置及设备 |
WO2023066098A1 (zh) * | 2021-10-22 | 2023-04-27 | 华为技术有限公司 | 渲染处理的方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070053423A1 (en) * | 2005-09-02 | 2007-03-08 | Tinic Uro | System and method for decompressing video data and alpha channel data using a single stream |
CN104463948A (zh) * | 2014-09-22 | 2015-03-25 | 北京大学 | 三维虚拟现实系统与地理信息系统的无缝可视化方法 |
CN105163081A (zh) * | 2015-09-02 | 2015-12-16 | 广东建设职业技术学院 | 一种基于异步渲染的实物展示方法及系统 |
-
2017
- 2017-09-15 CN CN201710832579.1A patent/CN107767437B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070053423A1 (en) * | 2005-09-02 | 2007-03-08 | Tinic Uro | System and method for decompressing video data and alpha channel data using a single stream |
CN104463948A (zh) * | 2014-09-22 | 2015-03-25 | 北京大学 | 三维虚拟现实系统与地理信息系统的无缝可视化方法 |
CN105163081A (zh) * | 2015-09-02 | 2015-12-16 | 广东建设职业技术学院 | 一种基于异步渲染的实物展示方法及系统 |
Non-Patent Citations (2)
Title |
---|
DEBARGHA MUKHERJEE等: "A Technical Overview of VP9—The Latest Open-Source Video Codec", 《SMPTE MOTION IMAGING JOURNAL》 * |
苗丹: "三维视频压缩、传输、渲染相关技术的研究", 《万方数据库学位论文库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110278445A (zh) * | 2019-07-05 | 2019-09-24 | 浙江开奇科技有限公司 | 基于5g网络的影像处理方法、移动终端及系统 |
CN114640875A (zh) * | 2020-12-15 | 2022-06-17 | 晶晨半导体(深圳)有限公司 | 控制终端显示的方法和电子设备 |
WO2023029845A1 (zh) * | 2021-09-03 | 2023-03-09 | 华为云计算技术有限公司 | 渲染方法、远端装置、计算设备集群、终端装置及设备 |
WO2023066098A1 (zh) * | 2021-10-22 | 2023-04-27 | 华为技术有限公司 | 渲染处理的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107767437B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961189B2 (en) | Providing 3D data for messages in a messaging system | |
US11776233B2 (en) | Beautification techniques for 3D data in a messaging system | |
CN107767437A (zh) | 一种多层混合异步渲染方法 | |
CN112215934B (zh) | 游戏模型的渲染方法、装置、存储介质及电子装置 | |
US11410401B2 (en) | Beautification techniques for 3D data in a messaging system | |
US9071709B2 (en) | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality | |
US11825065B2 (en) | Effects for 3D data in a messaging system | |
US11783556B2 (en) | Augmented reality content generators including 3D data in a messaging system | |
KR102624635B1 (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
Takeuchi et al. | ClayVision: the (elastic) image of the city | |
CN102819855B (zh) | 二维图像的生成方法及装置 | |
CN105184843B (zh) | 一种基于OpenSceneGraph的三维动画制作方法 | |
CN103440674A (zh) | 一种数字图像蜡笔特效的快速生成方法 | |
Yeh et al. | Visual-attention-based pixel dimming technique for OLED displays of mobile devices | |
JP4987124B2 (ja) | グラフィックデータ提供方法及びグラフィックデータ表示方法 | |
CN103164210B (zh) | 对应用程序界面进行换肤的方法和装置 | |
CN103366384B (zh) | 重要度驱动的面向全局冗余图像压缩方法 | |
KR20070096621A (ko) | 음영판을 이용한 캐리커쳐 생성 시스템 및 방법 | |
JP2004201004A (ja) | 3次元映像表示装置、プログラム、及び記録媒体 | |
CN114298891A (zh) | 一种基于OpenGL ES架构的图片处理方法 | |
KR20000036810A (ko) | 사진무비 | |
CN107153655A (zh) | 一种基于模型数据库实现三维网站生成和人物控制的系统 | |
Singh | A Saturation of Firsts: Lillian F. Schwartz | |
Shen et al. | Research on the Application of Digital Media Art in Film and Television Animation in Multimedia Perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190730 Address after: Room 2097, Building 20, 1399 Liangmu Road, Cangqian Street, Hangzhou City, Zhejiang Province, 311100 Applicant after: Hangzhou charm Technology Co., Ltd. Address before: 311121 Internet Village, Dream Town, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Ou Hao |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |