CN107256574A - 一种真实3d实时混合渲染方法 - Google Patents

一种真实3d实时混合渲染方法 Download PDF

Info

Publication number
CN107256574A
CN107256574A CN201710399919.6A CN201710399919A CN107256574A CN 107256574 A CN107256574 A CN 107256574A CN 201710399919 A CN201710399919 A CN 201710399919A CN 107256574 A CN107256574 A CN 107256574A
Authority
CN
China
Prior art keywords
real
time
rendering
rendered
methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710399919.6A
Other languages
English (en)
Inventor
刘清志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baolong Jewelry Design (beijing) Co Ltd
Original Assignee
Baolong Jewelry Design (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baolong Jewelry Design (beijing) Co Ltd filed Critical Baolong Jewelry Design (beijing) Co Ltd
Priority to CN201710399919.6A priority Critical patent/CN107256574A/zh
Publication of CN107256574A publication Critical patent/CN107256574A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

一种真实3D实时混合渲染方法，包括以下步骤：(1)把场景中，需要提升为真实物理渲染效果的部分，用光线追踪的技术来渲染；(2)把光线追踪渲染的输出图像，实时传输给光栅化渲染引擎，进行混合显示；(3)统一世界坐标系；(4)校正渲染顺序。本发明的优点是：(1)超真实的渲染效果，让虚拟产品的视觉展示效果可以无限接近真实产品。(2)对机器配置要求较低，运行成本低。(3)可以无死角，实时交互，互动。(4)支持实时修改材质，方便定制及辅助设计。(5)支持后续的AR及VR交互应用。(6)极大的提升产品3D数据化的效率，降低成本，大大的提升了渲染质量。

Description

一种真实3D实时混合渲染方法
技术领域
本发明涉及一种计算机图形图像领域的实时渲染技术，具体是一种真实3D实时混合渲染方法，主要用于。
背景技术
随着电商及数字经济的普及发展，零售行业也开始了3D数字化的征程。受制于目前3D渲染技术的发展。目前的3D数字化渲染，主要存在以下问题：
<1>环绕拍摄照片：
大部分商家以摄影箱环绕拍摄实物照片的方式，获取产品360度照片，来模拟3D，然后通过美术团队，通过photoshop修图的方式来更正细节，完善效果。这种方式的缺点是：制作成本高，效果差。
<2>3D离线渲染技术：
基于3D产品模型，通过离线渲染的方式，获得产品照片或3D效果，成为新的发展趋势。这种方式的优点是，制作效果好。其缺点是：制作时间长，成本高，单帧，无法交互。
<3>3D实时渲染技术：
基于3D产品模型，通过实时3D引擎，实现实时3D产品渲染效果。这种方式的优点是，制作成本低，并且能让客户实时查看产品的各个角度的细节，并且完成DIY定制设计的能力。必将成为主流的制作方式。这种方式的缺点是：渲染效果差，无法真实体现产品的光学特性。
发明内容
为了大幅提升实时渲染的渲染质量，减少虚拟产品与真实产品之间的视觉差距，降低数据化成本，实现实时交互效率，本发明提供一种真实3D实时混合渲染方法。
本发明的技术方案是：一种真实3D实时混合渲染方法，其特征在于，包括以下步骤：
(1)把场景中，需要提升为真实物理渲染效果的部分，用光线追踪的技术来渲染；
(2)把光线追踪渲染的输出图像，实时传输给光栅化渲染引擎，进行混合显示；
(3)统一光栅化渲染与光线追踪渲染的世界坐标系；
(4)校正渲染顺序。
针对半透明的物体，所述的步骤（1）的具体实现方法：执行如下过程：
（a）跟踪从屏幕每个像素点发射出的光线；
（b） 把入射到物体的光线和物体表面的包括反射率、折射率、色散率和透明度的物理材质属性作为输入参数，通过菲涅尔反射、折射和色散作用后，得到反射光线、折射光线和色散光线作为下一次计算的输入；
(c) 重复（b），直到满足迭代结束条件，最终输出的颜色值即为物体表面最终的颜色值；步骤（a）-(c) 的整个计算的过程，都以cuda代码的方式运行在GUP核心中，进行渲染加速，以保证计算的实时性；最终的计算结果存储在显卡内存中。
针对金属类物体，所述的步骤（1）的具体实现方法：执行如下过程：
（a）跟踪从屏幕每个像素点发射出的光线；
（b）把入射到物体的光线和物体表面的反射率作为输入参数，通过菲涅尔反射作用后，得到反射光线作为下一次计算的输入；
(c) 重复（b），直到满足迭代结束条件，最终输出的颜色值即为物体表面最终的颜色值；步骤（a）-(c) 的整个计算都以cuda代码的方式运行在GUP核心中，进行渲染加速，以保证计算的实时性；最终的计算结果存储在显卡内存中。
所述的步骤（2）具体实现方法：把步骤（1）中光线追踪渲染的结果从显卡内存拷贝传输到内存中，并以字节数组的接口方式提供给后续的光栅化渲染引擎；用光栅化渲染部分从上述接口读取所述的光线追踪渲染的结果，并以纹理的方式被写入显卡后备缓冲，最终以光栅化的形式显示在屏幕上。
所述的步骤（3）具体实现方法：在步骤（1）执行中，把光栅化渲染过程中的相机及对应物体进行矩阵变换，包括位置、旋转和缩放信息，实时传回至光线追踪渲染系统的坐标系统，保证世界坐标的一致，从而实现了完美的混合匹配效果。
所述的步骤（4）具体实现方法：在所述步骤（1）中，增加遮罩材质，只写深度值，不写颜色值，进一步实现了不同渲染系统里的物体之间的正确遮挡效果，让混合渲染效果更加真实。
还包括步骤(5)：根据需求及机器性能，提供以下不同的渲染性能级别：在较差的配置上，采用高性能，低质量的渲染方案；在较高的配置上，采用高质量，低性能的方案；通过控制渲染窗口的大小，即总体渲染和传输的像素数量来控制带宽使用。
本发明的优点是：
(1)超真实的渲染效果，让虚拟产品的视觉展示效果可以无限接近真实产品。
(2)对机器配置要求较低，运行成本低。
(3)可以无死角，实时交互，互动。
(4)支持实时修改材质，方便定制及辅助设计。
(5)支持后续的AR及VR交互应用。
本发明将会极大的提升产品3D数据化的效率，降低成本，大大的提升了渲染质量，为后续的3D虚拟产品标准的建立，交互应用（如虚拟试戴，辅助设计，AR和VR应用）奠定了坚实的基础，为零售行业提供未来3D虚拟经济的雏形。
附图说明
图1是本发明实施例的基本流程图。
具体实施方式
参见图1，本发明一种真实3D实时混合渲染方法，其特征在于，包括以下步骤：
(1)把场景中，需要提升为真实物理渲染效果的部分，用光线追踪的技术来渲染。
具体实现为：针对半透明的物体，比如宝石类物体，会执行如下过程，跟踪从屏幕每个像素点发射出的光线，一旦光线射入到物体表面，根据宝石类物体的物理属性，透明度/折射率/色散率等，执行菲涅尔反射，折射，色散等光学计算，计算得出的反射光线或折射光线或色散光线，会作为下一次的入射光线进行迭代跟踪，直到满足迭代结束条件，即可计算出该物体表面点真实的物理颜色值。对金属类物体，仅会执行菲涅尔反射计算。计算的过程会采用CUDA代码通过GPU核心进行加速（这是一种常规的硬件加速渲染方法），可以保证计算实时性。计算的结果会存储在显卡内存中。
(2)把光线追踪渲染的输出图像，实时传输给光栅化渲染引擎，进行混合显示。
具体实现为：设计光线追踪功能和光栅化渲染功能之间的中间件，这个中间件以动态链接库的形式出现，核心是把上述光线追踪渲染的结果，从显卡内存，拷贝传输到内存中，并以字节数组的接口方式提供给后续的光栅化渲染引擎。光栅化渲染部分，调用上述接口，读取相应内容，并以纹理的方式被写入显卡后备缓冲，最终以光栅化的形式显示在屏幕上。
(3)实现世界坐标系的统一。
具体实现为：上述中间件还需要把光栅化渲染过程中的相机及对应物体的变换矩阵，包括位置/旋转/缩放信息，实时传回至光线追踪渲染系统的坐标系统，保证世界坐标的一致，从而实现了完美的混合匹配效果。
(4)实现正确的渲染顺序。
具体实现为：在光线追踪功能中，增加遮罩材质，即，只写深度值，不写颜色值，进一步实现了不同渲染系统里的物体之间的正确遮挡效果，让混合渲染效果更加真实。
(5)控制传输带宽。
具体实现为：可根据需求及机器性能，提供了不同的渲染性能级别。在较差的配置上，可以采用高性能，低质量的渲染方案。在较高的配置上，可以采用高质量，低性能的方案。其具体思路是通过控制渲染窗口的大小，即总体渲染和传输的像素数量来控制带宽使用。
该方案与之前的方案对比：
在交互性上，完全实现了实时，无死角的交互。相对于之前的离线渲染，有极大的实时交互优势。
在渲染质量上，完全达到了顶级的基于物理真实的渲染质量。把目前实时渲染的效果，提升了一个级别。
本发明基于3D产品模型，通过实时3D渲染，达到离线渲染技术水平的真实实时渲染效果。
设计思路：
实现光栅化渲染算法与光线追踪渲染算法结合的混合渲染技术。从而在最终的效果中，兼顾了实时的交互与顶级的渲染质量。
光栅化渲染的特点是实时可交互，但是渲染效果不够逼真，没有真实的光学特性。而光线追踪渲染的特点是渲染效果逼真，能显示真实的光学特性。但是，光线追踪渲染，目前的算法对机器性能要求较高，渲染时间较长，主要应用在离线渲染阶段。考虑到，场景中，大部分物体，光栅化渲染与光线追踪渲染的结果差别并不明显。但是，针对某些特殊材质，比如其中的半透明物体以及金属材质等，光线追踪的渲染效果就很有优势，例如，在宝石等光学特性展示方面。而恰巧是这些特殊材质的物体的渲染效果，影响了整体渲染效果的真实性。所以，可以考虑只对场景中的特殊材质的物体进行光线追踪的渲染，这样就大大减少了光线追踪算法需要渲染的工作量，然后，再把光线追踪算法通过GPU，CUDA核心进行加速运算，就基本实现了实时光线追踪的效果。

Claims (7)

1.一种真实3D实时混合渲染方法，其特征在于，包括以下步骤：
(1)把场景中，需要提升为真实物理渲染效果的部分，用光线追踪的技术来渲染；
(2)把光线追踪渲染的输出图像，实时传输给光栅化渲染引擎，进行混合显示；
(3)统一光栅化渲染与光线追踪渲染的世界坐标系；
(4)校正渲染顺序。
2.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，针对半透明的物体，所述的步骤（1）的具体实现方法：执行如下过程：
（a）跟踪从屏幕每个像素点发射出的光线；
（b） 把入射到物体的光线和物体表面的包括反射率、折射率、色散率和透明度的物理材质属性作为输入参数，通过菲涅尔反射、折射和色散作用后，得到反射光线、折射光线和色散光线作为下一次计算的输入；
(c) 重复（b），直到满足迭代结束条件，最终输出的颜色值即为物体表面最终的颜色值；步骤（a）-(c) 的整个计算的过程，都以cuda代码的方式运行在GUP核心中，进行渲染加速，以保证计算的实时性；最终的计算结果存储在显卡内存中。
3.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，针对金属类物体，所述的步骤（1）的具体实现方法：执行如下过程：
（a）跟踪从屏幕每个像素点发射出的光线；
（b）把入射到物体的光线和物体表面的反射率作为输入参数，通过菲涅尔反射作用后，得到反射光线作为下一次计算的输入；
(c) 重复（b），直到满足迭代结束条件，最终输出的颜色值即为物体表面最终的颜色值；步骤（a）-(c) 的整个计算都以cuda代码的方式运行在GUP核心中，进行渲染加速，以保证计算的实时性；最终的计算结果存储在显卡内存中。
4.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，所述的步骤（2）具体实现方法：把步骤（1）中光线追踪渲染的结果从显卡内存拷贝传输到内存中，并以字节数组的接口方式提供给后续的光栅化渲染引擎；用光栅化渲染部分从上述接口读取所述的光线追踪渲染的结果，并以纹理的方式被写入显卡后备缓冲，最终以光栅化的形式显示在屏幕上。
5.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，所述的步骤（3）具体实现方法：在步骤（1）执行中，把光栅化渲染过程中的相机及对应物体进行矩阵变换，包括位置、旋转和缩放信息，实时传回至光线追踪渲染系统的坐标系统，保证世界坐标的一致，从而实现了完美的混合匹配效果。
6.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，所述的步骤（4）具体实现方法：在所述步骤（1）中，增加遮罩材质，只写深度值，不写颜色值，进一步实现了不同渲染系统里的物体之间的正确遮挡效果，让混合渲染效果更加真实。
7.根据权利要求1所述的真实3D实时混合渲染方法，其特征在于，还包括步骤(5)：根据需求及机器性能，提供以下不同的渲染性能级别：在较差的配置上，采用高性能，低质量的渲染方案；在较高的配置上，采用高质量，低性能的方案；通过控制渲染窗口的大小，即总体渲染和传输的像素数量来控制带宽使用。
CN201710399919.6A 2017-05-31 2017-05-31 一种真实3d实时混合渲染方法 Pending CN107256574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710399919.6A CN107256574A (zh) 2017-05-31 2017-05-31 一种真实3d实时混合渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710399919.6A CN107256574A (zh) 2017-05-31 2017-05-31 一种真实3d实时混合渲染方法

Publications (1)

Publication Number Publication Date
CN107256574A true CN107256574A (zh) 2017-10-17

Family

ID=60027733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710399919.6A Pending CN107256574A (zh) 2017-05-31 2017-05-31 一种真实3d实时混合渲染方法

Country Status (1)

Country Link
CN (1) CN107256574A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340928A (zh) * 2020-02-19 2020-06-26 杭州群核信息技术有限公司 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备
CN111986304A (zh) * 2019-05-23 2020-11-24 辉达公司 使用射线追踪和光栅化的结合来渲染场景
WO2022111619A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 图像处理方法及相关装置
WO2022143367A1 (zh) * 2020-12-28 2022-07-07 华为技术有限公司 一种图像渲染方法及其相关设备
CN115049778A (zh) * 2021-03-08 2022-09-13 中国移动通信有限公司研究院 一种渲染处理方法、终端及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819675A (zh) * 2010-04-19 2010-09-01 浙江大学 一种基于gpu的层次包围盒的快速构造方法
CN104700447A (zh) * 2015-04-01 2015-06-10 山东大学 基于Intel众核架构的光线追踪并行优化方法
CN106469463A (zh) * 2016-09-27 2017-03-01 上海上大海润信息系统有限公司 一种基于cpu与gpu混合的渲染方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819675A (zh) * 2010-04-19 2010-09-01 浙江大学 一种基于gpu的层次包围盒的快速构造方法
CN104700447A (zh) * 2015-04-01 2015-06-10 山东大学 基于Intel众核架构的光线追踪并行优化方法
CN106469463A (zh) * 2016-09-27 2017-03-01 上海上大海润信息系统有限公司 一种基于cpu与gpu混合的渲染方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王红斌: "基于GPU的高效光线追踪技术研究与实现", 《长春理工大学硕士学位论文》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986304A (zh) * 2019-05-23 2020-11-24 辉达公司 使用射线追踪和光栅化的结合来渲染场景
CN111986304B (zh) * 2019-05-23 2023-07-07 辉达公司 使用射线追踪和光栅化的结合来渲染场景
CN111340928A (zh) * 2020-02-19 2020-06-26 杭州群核信息技术有限公司 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备
CN111340928B (zh) * 2020-02-19 2022-05-03 杭州群核信息技术有限公司 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备
WO2022111619A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 图像处理方法及相关装置
WO2022143367A1 (zh) * 2020-12-28 2022-07-07 华为技术有限公司 一种图像渲染方法及其相关设备
CN115049778A (zh) * 2021-03-08 2022-09-13 中国移动通信有限公司研究院 一种渲染处理方法、终端及服务器

Similar Documents

Publication Publication Date Title
CN107256574A (zh) 一种真实3d实时混合渲染方法
Li et al. [Retracted] Multivisual Animation Character 3D Model Design Method Based on VR Technology
KR101145260B1 (ko) 3ｄ 객체 모델에 텍스쳐를 매핑하는 방법 및 장치
US20100060640A1 (en) Interactive atmosphere - active environmental rendering
CN105556565A (zh) 片段着色器执行顶点着色器计算
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
CN105283900A (zh) 用于压缩顶点着色器输出参数的方案
Ratican et al. A proposed meta-reality immersive development pipeline: Generative ai models and extended reality (xr) content for the metaverse
US20230230311A1 (en) Rendering Method and Apparatus, and Device
KR102711654B1 (ko) 여러 장치에 대한 3d 개체 시각화 및 조작을 용이하게 하는 방법 및 장치
WO2017123163A1 (en) Improvements in or relating to the generation of three dimensional geometries of an object
WO2024037116A9 (zh) 三维模型的渲染方法、装置、电子设备及存储介质
WO2024027237A1 (zh) 渲染的优化方法、电子设备和计算机可读存储介质
US9704290B2 (en) Deep image identifiers
US7133052B1 (en) Morph map based simulated real-time rendering
CN105892681A (zh) 虚拟现实终端及其场景的处理方法和装置
US8248405B1 (en) Image compositing with ray tracing
US9305373B2 (en) Customized real-time media system and method
US9589376B2 (en) Manipulation of splines based on a summary spline
Peddie The History of the GPU-Eras and Environment
US10403033B2 (en) Preserving scene lighting effects across viewing perspectives
Ludwig et al. 3D shape and texture morphing using 2D projection and reconstruction
Johansson Efficient stereoscopic rendering of building information models (BIM)
Van Bogaert et al. Novel view synthesis in embedded virtual reality devices
CN111651959A (zh) 一种3d字体的实现方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171017

RJ01 Rejection of invention patent application after publication