CN109523622B - 一种非结构化的光场渲染方法 - Google Patents
一种非结构化的光场渲染方法 Download PDFInfo
- Publication number
- CN109523622B CN109523622B CN201811371833.3A CN201811371833A CN109523622B CN 109523622 B CN109523622 B CN 109523622B CN 201811371833 A CN201811371833 A CN 201811371833A CN 109523622 B CN109523622 B CN 109523622B
- Authority
- CN
- China
- Prior art keywords
- sampling
- viewpoint
- light field
- scene
- rendered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种非结构化的光场渲染方法，获取光场采样图像、以采样视点位置为顶点的基础三角网格、采样视点的相机参数和待渲染场景的几何模型，并记录各个采样视点下场景的深度值，拆分采样视点三角网格，为每个顶点生成一个独立的子三角网格；记录场景在待渲染视点下的几何信息；渲染采样视点三角网格集合，利用几何信息向该视点进行重投影，采样光场图像，并混合各个视点的采样结果。本发明通过拆分采样光场时的视点位置组成的三角网格决定采样数据的影响范围和权重，重投影场景几何模型并基于深度对光场采样进行双边滤波，从而渲染在任意视点下的场景图像。本发明可以充分利用各种来源的光场采样数据，实时生成逼真的渲染结果。
Description
技术领域
本发明涉及图形处理技术领域，具体涉及一种非结构化的光场渲染方法。
背景技术
光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息，用光场获得的图像信息更全面，品质更好。在非结构化环境中，表面材质性能不均，结构及尺寸变化不规律且不稳定，环境信息非固定、不可知、不可描述。
现阶段，实时三维渲染利用模型、贴图和材质模拟实体在真实世界中的外观，其结果缺乏真实感，无法表现复杂的光照效果，此外，离线渲染虽然效果较好，但渲染一帧图像所需时间极长。现有的光场渲染技术要求采样位置均匀分布在固定形状的表面上，并且无法渲染脱离该表面的全新视点位置的图像，并且光场渲染结果中存在不正确的重影现象。
发明内容
本发明实施例的目的在于提供一种非结构化的光场渲染方法，通过拆分采样光场时的视点位置组成的三角网格决定采样数据的影响范围和权重，重投影场景几何模型并基于深度对光场采样进行双边滤波，从而允许在任意视点下实时渲染光场图像，并且渲染结果表现出照片级的真实感。。
为实现上述目的，本发明实施例提供一种非结构化的光场渲染方法，所述渲染方法包括以下步骤：
1)数据准备：获取光场采样图像，生成以采样视点位置为顶点的基础三角网格，建立采样视点的相机参数和待渲染场景的几何模型，根据采样图像的像素记录各个采样视点下的场景深度值；
2)视点三角网格拆分：对以采样视点位置为顶点的基础三角网格进行拆分，为每个顶点生成一个包含视点索引和混合权重属性的子三角网格，所述子三角网格形成三角网格集合；
3)几何信息记录：指定待渲染视点的相机参数，记录场景在所述待渲染视点下的几何信息；
4)重投影和采样：在待渲染视点下依次渲染所述三角网格集合，利用所述几何信息向所述采样视点进行重投影，根据投影坐标采样光场颜色和场景深度值，基于像素的混合权重、采样深度和当前深度进行双边滤波，得到所述像素的最终混合权重。
2、根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤1)中，光场采样图像采用数码相机拍摄的照片或合成图像。
3、根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤1)中，通过运动恢复结构和多视角立体方法建立采样视点的相机参数和待渲染场景的几何模型。
4、根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤2)中，所述子三角网格由采样视点顶点及子三角网格在基础三角网格上的所有直接相邻点形成。
作为非结构化的光场渲染方法的优选方案，所述步骤2)中，所述子三角网格采用以采样视点顶点为中心，以采样视点顶点法向为法向的圆盘。
作为非结构化的光场渲染方法的优选方案，所述步骤3)中，所述几何信息来自于在待渲染视点下渲染场景的几何模型。
作为非结构化的光场渲染方法的优选方案，所述步骤4)中，对每个所述子三角网格在几何着色器中生成关于采样视点位置中心对称的两个三角形，同时进行渲染。
作为非结构化的光场渲染方法的优选方案，所述步骤4)中，最终混合权重的计算公式为：其中w是最终权重，w0是由顶点混合权重属性插值得到的像素混合权重，d0是采样深度，d1是当前深度，最后对所有像素的采样颜色按最终混合权重做加权平均，得到光场渲染结果。
本发明实施例具有如下优点：
(1)能够实时渲染复杂场景，真实表现各种复杂的材质和光照效果；
(2)渲染算法灵活，允许输入在任意位置和方向得到的光场采样数据，可以输出视点在任意位置的图像；
(3)消除光场渲染中常见的重影现象，提升真实感。
附图说明
图1为本发明实施例提供的非结构化的光场渲染方法流程图；
图2为本发明实施例提供的网格集合生成示意图；
图3为本发明实施例提供的另外一种网格集合生成示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1，本实施例提供一种非结构化的光场渲染方法，所述渲染方法包括以下步骤：
S1：数据准备：获取光场采样图像，生成以采样视点位置为顶点的基础三角网格，建立采样视点的相机参数和待渲染场景的几何模型，根据采样图像的像素记录各个采样视点下的场景深度值；
S2：视点三角网格拆分：对以采样视点位置为顶点的基础三角网格进行拆分，为每个顶点生成一个包含视点索引和混合权重属性的子三角网格，所述子三角网格形成三角网格集合；
S3：几何信息记录：指定待渲染视点的相机参数，记录场景在所述待渲染视点下的几何信息；
S4：重投影和采样：在待渲染视点下依次渲染所述三角网格集合，利用所述几何信息向所述采样视点进行重投影，根据投影坐标采样光场颜色和场景深度值，基于像素的混合权重、采样深度和当前深度进行双边滤波，得到所述像素的最终混合权重。
具体的，非结构化的光场渲染方法中，首先、准备输入数据，通过渲染或拍摄照片的方式获取光场采样图像，并记录每张图像对应的相机参数和场景的几何模型。在本发明的一个具体实施例中，可以利用数码相机拍摄场景照片，通过运动恢复结构和多视角立体方法计算相机参数和场景模型。随后生成以采样视点位置为顶点的基础三角网格，在本发明的另一个具体实施例中，如果采样视点位于同一球面上，可以计算视点位置相对于该球面的球坐标，并在方位角-仰角平面上对视点位置进行德劳内三角化。最后记录各个采样视点下场景的深度值，在本发明的另一个具体实施例中，可以计算场景深度的最大值和最小值，记为dmin和dmax，并在各个采样视点下渲染场景几何模型，并在渲染结果中写入(d-dmin)/(dmax-dmin)*255，其中d是像素对应的三维点的深度值。。
具体的对基础三角网格中的每一个顶点，生成一个新的子三角网格，新的子三角网格的顶点中应包含视点索引和混合权重两个属性。如图2所示，在本发明的一个具体实施例中，新的子三角网格可以由采样视点顶点Vi及Vi在基础三角网格上的所有直接相邻点组成，其中，直接相邻点指的是和顶点直接相邻的点，两点之间不存在相隔的点。视点顶点的混合权重为1，其他顶点的混合权重为0。
如图3所示，在本发明的另一个具体实施例中，新的子三角网格可以是一个以采样视点顶点为中心，以采样视点顶点法向为法向，半径为r圆周方式，采样视点顶点的混合权重为1，圆周上的顶点的混合权重为0。
具体的，几何信息记录过程中，指定待渲染视点的相机参数，记录场景在该视点下的几何信息。在本发明的一个具体实施例中，可以在该视点下渲染场景的几何模型，并向颜色缓冲区写入场景在该视点坐标系下的坐标。
具体的，重投影和采样过程中，依次渲染S2得到的所有子三角网格，在渲染时，应保证当子三角网格处于观视方向的反方向时仍被正确地投影，在本发明的一个具体实施例中，对每一个子三角网格，可以在几何着色器中生成关于采样视点位置中心对称的两个三角形，同时进行渲染。对每个像素，读取S3中记录的几何信息，并计算对应的三维点在当前网格对应的视点下的投影，根据投影坐标采样光场颜色和S1中记录的场景深度值，基于像素的混合权重、采样深度和当前深度进行双边滤波，得到该像素的最终混合权重，在本发明的另一个具体实施例中，最终权重可以按如下公式计算：其中w是最终权重，w0是由顶点混合权重属性插值得到的像素混合权重，d0是采样深度，d1是当前深度。最后对所有像素的采样颜色按最终权重做加权平均，得到光场渲染结果，在本发明的另一个具体实施例中，可以创建一个用于累加的颜色缓冲区，将渲染混合方程设为直接相加，并向颜色缓冲区内写入(C×w,w)，其中C是像素采样颜色，待所有视点三角网格渲染完成后，进一步在待渲染视点下渲染一个覆盖全部视野的三角形，对每一个像素在对应位置采样上述颜色缓冲区得到(Csum,wsum)，最终向屏幕输出Csum/wsum。
本发明实施例中的双边滤波是同时考虑将要被滤波的像素点的空域信息和值域信息。首先，对于图像滤波来说，图像在空间中变化缓慢，因此相邻的像素点会更相近。但是这个假设在图像的边缘处变得不成立。如果在边缘处也用这种思路来进行滤波的话，即认为相邻相近，则得到的结果必然会模糊掉边缘，因此考虑再利用像素点的值的大小进行补充，因为边缘两侧的点的像素值差别很大，因此会使得其加权的时候权重具有很大的差别，从而使得只考虑自己所属的一边的邻域。双边滤波先根据像素值对要用来进行滤波的邻域做一个分割或分类，再给该点所属的类别相对较高的权重，然后进行邻域加权求和，得到最终结果。本技术方案能够实时渲染复杂场景，真实表现各种复杂的材质和光照效果；渲染算法灵活，允许输入在任意位置和方向得到的光场采样数据，可以输出视点在任意位置的图像；消除光场渲染中常见的重影现象，提升真实感。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (7)
1.一种非结构化的光场渲染方法，其特征在于，所述渲染方法包括以下步骤：
1)数据准备：获取光场采样图像，生成以采样视点位置为顶点的基础三角网格，建立采样视点的相机参数和待渲染场景的几何模型，根据采样图像的像素记录各个采样视点下的场景深度值；
计算场景深度的最大值和最小值，记为dmin和dmax，并在各个采样视点下渲染场景几何模型，并在渲染结果中写入(d-dmin)/(dmax-dmin)*255，其中d是像素对应的三维点的深度值；
2)视点三角网格拆分：对以采样视点位置为顶点的基础三角网格进行拆分，为每个顶点生成一个包含视点索引和混合权重属性的子三角网格，所述子三角网格形成三角网格集合；
3)几何信息记录：指定待渲染视点的相机参数，记录场景在所述待渲染视点下的几何信息；
4)重投影和采样：在待渲染视点下依次渲染所述三角网格集合，利用所述几何信息向所述采样视点进行重投影，根据投影坐标采样光场颜色和场景深度值，基于像素的混合权重、采样深度和当前深度进行双边滤波，得到所述像素的最终混合权重；
所述步骤4)中，最终混合权重的计算公式为：其中w是最终权重，w0是由顶点混合权重属性插值得到的像素混合权重，d0是采样深度，d1是当前深度，最后对所有像素的采样颜色按最终混合权重做加权平均，得到光场渲染结果；
创建一个用于累加的颜色缓冲区，将渲染混合方程设为直接相加，并向颜色缓冲区内写入(C×w,w)，其中C是像素采样颜色，待所有视点三角网格渲染完成后，在待渲染视点下渲染一个覆盖全部视野的三角形，对每一个像素在对应位置采样上述颜色缓冲区得到(Csum,wsum)，最终向屏幕输出Csum/wsum。
2.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤1)中，光场采样图像采用数码相机拍摄的照片或合成图像。
3.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤1)中，通过运动恢复结构和多视角立体方法建立采样视点的相机参数和待渲染场景的几何模型。
4.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤2)中，所述子三角网格由采样视点顶点及子三角网格在基础三角网格上的所有直接相邻点形成。
5.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤2)中，所述子三角网格采用以采样视点顶点为中心，以采样视点顶点法向为法向的圆盘。
6.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤3)中，所述几何信息来自于在待渲染视点下渲染场景的几何模型。
7.根据权利要求1所述的一种非结构化的光场渲染方法，其特征在于，所述步骤4)中，对每个所述子三角网格在几何着色器中生成关于采样视点位置中心对称的两个三角形，同时进行渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811371833.3A CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811371833.3A CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109523622A CN109523622A (zh) | 2019-03-26 |
| CN109523622B true CN109523622B (zh) | 2023-08-01 |
Family
ID=65778578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811371833.3A Active CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523622B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349246B (zh) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
| CN112750156B (zh) * | 2020-03-16 | 2022-09-09 | 奕目(上海)科技有限公司 | 光场成像系统、处理方法和装置 |
| CN114596401A (zh) * | 2020-11-20 | 2022-06-07 | 华为云计算技术有限公司 | 渲染方法、设备以及系统 |
| CN113436325B (zh) * | 2021-07-30 | 2023-07-28 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113870403B (zh) * | 2021-09-23 | 2023-01-10 | 埃洛克航空科技（北京）有限公司 | 用于图像渲染的信息处理方法及装置 |
| CN114863038B (zh) * | 2022-07-07 | 2022-11-01 | 杭州像衍科技有限公司 | 基于显式几何形变的实时动态自由视角合成方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194125B2 (en) * | 2002-12-13 | 2007-03-20 | Mitsubishi Electric Research Laboratories, Inc. | System and method for interactively rendering objects with surface light fields and view-dependent opacity |
| CN102722861A (zh) * | 2011-05-06 | 2012-10-10 | 新奥特（北京）视频技术有限公司 | 一种基于cpu的图形渲染引擎及实现方法 |
| US20160307368A1 (en) * | 2015-04-17 | 2016-10-20 | Lytro, Inc. | Compression and interactive playback of light field pictures |
| CN105825544B (zh) * | 2015-11-25 | 2019-08-20 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
-
2018
- 2018-11-15 CN CN201811371833.3A patent/CN109523622B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种改进的屏幕空间环境光遮蔽(SSAO)算法;杨志成;;现代计算机(专业版)(第08期);全文 * |
| 基于光场渲染的多视点视频编解码方法研究;程龙;郭立;陈晓琳;袁红星;;中国科学技术大学学报(第08期);全文 * |
| 基于光场的渲染技术研究;胡孔明;于瀛洁;张之江;;微计算机应用(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109523622A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523622B (zh) | 一种非结构化的光场渲染方法 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| Greene | Environment mapping and other applications of world projections | |
| US8947422B2 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images | |
| US9485497B2 (en) | Systems and methods for converting two-dimensional images into three-dimensional images | |
| US6417850B1 (en) | Depth painting for 3-D rendering applications | |
| EP3735677A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| EP3533218B1 (en) | Simulating depth of field | |
| US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| US20100201681A1 (en) | Image Editing Consistent with Scene Geometry | |
| US20170032563A1 (en) | System and method for retexturing of images of three-dimensional objects | |
| TWI810818B (zh) | 提供三維模型的電腦實施方法與系統及其相關之儲存媒體 | |
| US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
| JP4996922B2 (ja) | 立体映像化 | |
| US9454845B2 (en) | Shadow contouring process for integrating 2D shadow characters into 3D scenes | |
| JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 | |
| Liu et al. | Fog effect for photography using stereo vision | |
| CA2716257A1 (en) | System and method for interactive painting of 2d images for iterative 3d modeling | |
| US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
| JPH0721408A (ja) | コンピュータグラフィックスの照度計算方法及び表示装置 | |
| Huang et al. | Generation of stereo oil paintings from RGBD images | |
| US11146777B2 (en) | Efficient image population from captured scene | |
| US20220215512A1 (en) | Method for Emulating Defocus of Sharp Rendered Images | |
| JP2022082020A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |