CN109523622A - 一种非结构化的光场渲染方法 - Google Patents
一种非结构化的光场渲染方法 Download PDFInfo
- Publication number
- CN109523622A CN109523622A CN201811371833.3A CN201811371833A CN109523622A CN 109523622 A CN109523622 A CN 109523622A CN 201811371833 A CN201811371833 A CN 201811371833A CN 109523622 A CN109523622 A CN 109523622A
- Authority
- CN
- China
- Prior art keywords
- light field
- sampling
- viewpoint
- sampling point
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种非结构化的光场渲染方法,获取光场采样图像、以采样视点位置为顶点的基础三角网格、采样视点的相机参数和待渲染场景的几何模型,并记录各个采样视点下场景的深度值,拆分采样视点三角网格,为每个顶点生成一个独立的子三角网格;记录场景在待渲染视点下的几何信息;渲染采样视点三角网格集合,利用几何信息向该视点进行重投影,采样光场图像,并混合各个视点的采样结果。本发明通过拆分采样光场时的视点位置组成的三角网格决定采样数据的影响范围和权重,重投影场景几何模型并基于深度对光场采样进行双边滤波,从而渲染在任意视点下的场景图像。本发明可以充分利用各种来源的光场采样数据,实时生成逼真的渲染结果。
Description
技术领域
本发明涉及图形处理技术领域,具体涉及一种非结构化的光场渲染方法。
背景技术
光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示,是空间中所有光线光辐射函数的总体。在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息,用光场获得的图像信息更全面,品质更好。在非结构化环境中,表面材质性能不均,结构及尺寸变化不规律且不稳定,环境信息非固定、不可知、不可描述。
现阶段,实时三维渲染利用模型、贴图和材质模拟实体在真实世界中的外观,其结果缺乏真实感,无法表现复杂的光照效果,此外,离线渲染虽然效果较好,但渲染一帧图像所需时间极长。现有的光场渲染技术要求采样位置均匀分布在固定形状的表面上,并且无法渲染脱离该表面的全新视点位置的图像,并且光场渲染结果中存在不正确的重影现象。
发明内容
本发明实施例的目的在于提供一种非结构化的光场渲染方法,通过拆分采样光场时的视点位置组成的三角网格决定采样数据的影响范围和权重,重投影场景几何模型并基于深度对光场采样进行双边滤波,从而允许在任意视点下实时渲染光场图像,并且渲染结果表现出照片级的真实感。。
为实现上述目的,本发明实施例提供一种非结构化的光场渲染方法,所述渲染方法包括以下步骤:
1)数据准备:获取光场采样图像,生成以采样视点位置为顶点的基础三角网格,建立采样视点的相机参数和待渲染场景的几何模型,根据采样图像的像素记录各个采样视点下的场景深度值;
2)视点三角网格拆分:对以采样视点位置为顶点的基础三角网格进行拆分,为每个顶点生成一个包含视点索引和混合权重属性的子三角网格,所述子三角网格形成三角网格集合;
3)几何信息记录:指定待渲染视点的相机参数,记录场景在所述待渲染视点下的几何信息;
4)重投影和采样:在待渲染视点下依次渲染所述三角网格集合,利用所述几何信息向所述采样视点进行重投影,根据投影坐标采样光场颜色和场景深度值,基于像素的混合权重、采样深度和当前深度进行双边滤波,得到所述像素的最终混合权重。
2、根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤1)中,光场采样图像采用数码相机拍摄的照片或合成图像。
3、根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤1)中,通过运动恢复结构和多视角立体方法建立采样视点的相机参数和待渲染场景的几何模型。
4、根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤2)中,所述子三角网格由采样视点顶点及子三角网格在基础三角网格上的所有直接相邻点形成。
作为非结构化的光场渲染方法的优选方案,所述步骤2)中,所述子三角网格采用以采样视点顶点为中心,以采样视点顶点法向为法向的圆盘。
作为非结构化的光场渲染方法的优选方案,所述步骤3)中,所述几何信息来自于在待渲染视点下渲染场景的几何模型。
作为非结构化的光场渲染方法的优选方案,所述步骤4)中,对每个所述子三角网格在几何着色器中生成关于采样视点位置中心对称的两个三角形,同时进行渲染。
作为非结构化的光场渲染方法的优选方案,所述步骤4)中,最终混合权重的计算公式为:其中w是最终权重,w0是由顶点混合权重属性插值得到的像素混合权重,d0是采样深度,d1是当前深度,最后对所有像素的采样颜色按最终混合权重做加权平均,得到光场渲染结果。
本发明实施例具有如下优点:
(1)能够实时渲染复杂场景,真实表现各种复杂的材质和光照效果;
(2)渲染算法灵活,允许输入在任意位置和方向得到的光场采样数据,可以输出视点在任意位置的图像;
(3)消除光场渲染中常见的重影现象,提升真实感。
附图说明
图1为本发明实施例提供的非结构化的光场渲染方法流程图;
图2为本发明实施例提供的网格集合生成示意图;
图3为本发明实施例提供的另外一种网格集合生成示意图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
参见图1,本实施例提供一种非结构化的光场渲染方法,所述渲染方法包括以下步骤:
S1:数据准备:获取光场采样图像,生成以采样视点位置为顶点的基础三角网格,建立采样视点的相机参数和待渲染场景的几何模型,根据采样图像的像素记录各个采样视点下的场景深度值;
S2:视点三角网格拆分:对以采样视点位置为顶点的基础三角网格进行拆分,为每个顶点生成一个包含视点索引和混合权重属性的子三角网格,所述子三角网格形成三角网格集合;
S3:几何信息记录:指定待渲染视点的相机参数,记录场景在所述待渲染视点下的几何信息;
S4:重投影和采样:在待渲染视点下依次渲染所述三角网格集合,利用所述几何信息向所述采样视点进行重投影,根据投影坐标采样光场颜色和场景深度值,基于像素的混合权重、采样深度和当前深度进行双边滤波,得到所述像素的最终混合权重。
具体的,非结构化的光场渲染方法中,首先、准备输入数据,通过渲染或拍摄照片的方式获取光场采样图像,并记录每张图像对应的相机参数和场景的几何模型。在本发明的一个具体实施例中,可以利用数码相机拍摄场景照片,通过运动恢复结构和多视角立体方法计算相机参数和场景模型。随后生成以采样视点位置为顶点的基础三角网格,在本发明的另一个具体实施例中,如果采样视点位于同一球面上,可以计算视点位置相对于该球面的球坐标,并在方位角-仰角平面上对视点位置进行德劳内三角化。最后记录各个采样视点下场景的深度值,在本发明的另一个具体实施例中,可以计算场景深度的最大值和最小值,记为dmin和dmax,并在各个采样视点下渲染场景几何模型,并在渲染结果中写入(d-dmin)/(dmax-dmin)*255,其中d是像素对应的三维点的深度值。。
具体的对基础三角网格中的每一个顶点,生成一个新的子三角网格,新的子三角网格的顶点中应包含视点索引和混合权重两个属性。如图2所示,在本发明的一个具体实施例中,新的子三角网格可以由采样视点顶点Vi及Vi在基础三角网格上的所有直接相邻点组成,其中,直接相邻点指的是和顶点直接相邻的点,两点之间不存在相隔的点。视点顶点的混合权重为1,其他顶点的混合权重为0。
如图3所示,在本发明的另一个具体实施例中,新的子三角网格可以是一个以采样视点顶点为中心,以采样视点顶点法向为法向,半径为r圆周方式,采样视点顶点的混合权重为1,圆周上的顶点的混合权重为0。
具体的,几何信息记录过程中,指定待渲染视点的相机参数,记录场景在该视点下的几何信息。在本发明的一个具体实施例中,可以在该视点下渲染场景的几何模型,并向颜色缓冲区写入场景在该视点坐标系下的坐标。
具体的,重投影和采样过程中,依次渲染S2得到的所有子三角网格,在渲染时,应保证当子三角网格处于观视方向的反方向时仍被正确地投影,在本发明的一个具体实施例中,对每一个子三角网格,可以在几何着色器中生成关于采样视点位置中心对称的两个三角形,同时进行渲染。对每个像素,读取S3中记录的几何信息,并计算对应的三维点在当前网格对应的视点下的投影,根据投影坐标采样光场颜色和S1中记录的场景深度值,基于像素的混合权重、采样深度和当前深度进行双边滤波,得到该像素的最终混合权重,在本发明的另一个具体实施例中,最终权重可以按如下公式计算:其中w是最终权重,w0是由顶点混合权重属性插值得到的像素混合权重,d0是采样深度,d1是当前深度。最后对所有像素的采样颜色按最终权重做加权平均,得到光场渲染结果,在本发明的另一个具体实施例中,可以创建一个用于累加的颜色缓冲区,将渲染混合方程设为直接相加,并向颜色缓冲区内写入(C×w,w),其中C是像素采样颜色,待所有视点三角网格渲染完成后,进一步在待渲染视点下渲染一个覆盖全部视野的三角形,对每一个像素在对应位置采样上述颜色缓冲区得到(Csum,wsum),最终向屏幕输出Csum/wsum。
本发明实施例中的双边滤波是同时考虑将要被滤波的像素点的空域信息和值域信息。首先,对于图像滤波来说,图像在空间中变化缓慢,因此相邻的像素点会更相近。但是这个假设在图像的边缘处变得不成立。如果在边缘处也用这种思路来进行滤波的话,即认为相邻相近,则得到的结果必然会模糊掉边缘,因此考虑再利用像素点的值的大小进行补充,因为边缘两侧的点的像素值差别很大,因此会使得其加权的时候权重具有很大的差别,从而使得只考虑自己所属的一边的邻域。双边滤波先根据像素值对要用来进行滤波的邻域做一个分割或分类,再给该点所属的类别相对较高的权重,然后进行邻域加权求和,得到最终结果。本技术方案能够实时渲染复杂场景,真实表现各种复杂的材质和光照效果;渲染算法灵活,允许输入在任意位置和方向得到的光场采样数据,可以输出视点在任意位置的图像;消除光场渲染中常见的重影现象,提升真实感。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (8)
1.一种非结构化的光场渲染方法,其特征在于,所述渲染方法包括以下步骤:
1)数据准备:获取光场采样图像,生成以采样视点位置为顶点的基础三角网格,建立采样视点的相机参数和待渲染场景的几何模型,根据采样图像的像素记录各个采样视点下的场景深度值;
2)视点三角网格拆分:对以采样视点位置为顶点的基础三角网格进行拆分,为每个顶点生成一个包含视点索引和混合权重属性的子三角网格,所述子三角网格形成三角网格集合;
3)几何信息记录:指定待渲染视点的相机参数,记录场景在所述待渲染视点下的几何信息;
4)重投影和采样:在待渲染视点下依次渲染所述三角网格集合,利用所述几何信息向所述采样视点进行重投影,根据投影坐标采样光场颜色和场景深度值,基于像素的混合权重、采样深度和当前深度进行双边滤波,得到所述像素的最终混合权重。
2.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤1)中,光场采样图像采用数码相机拍摄的照片或合成图像。
3.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤1)中,通过运动恢复结构和多视角立体方法建立采样视点的相机参数和待渲染场景的几何模型。
4.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤2)中,所述子三角网格由采样视点顶点及子三角网格在基础三角网格上的所有直接相邻点形成。
5.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤2)中,所述子三角网格采用以采样视点顶点为中心,以采样视点顶点法向为法向的圆盘。
6.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤3)中,所述几何信息来自于在待渲染视点下渲染场景的几何模型。
7.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤4)中,对每个所述子三角网格在几何着色器中生成关于采样视点位置中心对称的两个三角形,同时进行渲染。
8.根据权利要求1所述的一种非结构化的光场渲染方法,其特征在于,所述步骤4)中,最终混合权重的计算公式为:其中w是最终权重,w0是由顶点混合权重属性插值得到的像素混合权重,d0是采样深度,d1是当前深度,最后对所有像素的采样颜色按最终混合权重做加权平均,得到光场渲染结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811371833.3A CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811371833.3A CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109523622A true CN109523622A (zh) | 2019-03-26 |
CN109523622B CN109523622B (zh) | 2023-08-01 |
Family
ID=65778578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811371833.3A Active CN109523622B (zh) | 2018-11-15 | 2018-11-15 | 一种非结构化的光场渲染方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109523622B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349246A (zh) * | 2019-07-17 | 2019-10-18 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
CN112750156A (zh) * | 2020-03-16 | 2021-05-04 | 奕目(上海)科技有限公司 | 光场成像系统、处理方法和装置 |
CN113436325A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113870403A (zh) * | 2021-09-23 | 2021-12-31 | 埃洛克航空科技(北京)有限公司 | 用于图像渲染的信息处理方法及装置 |
WO2022105641A1 (zh) * | 2020-11-20 | 2022-05-27 | 华为云计算技术有限公司 | 渲染方法、设备以及系统 |
CN114863038A (zh) * | 2022-07-07 | 2022-08-05 | 杭州像衍科技有限公司 | 基于显式几何形变的实时动态自由视角合成方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040114794A1 (en) * | 2002-12-13 | 2004-06-17 | Daniel Vlasic | System and method for interactively rendering objects with surface light fields and view-dependent opacity |
CN102722861A (zh) * | 2011-05-06 | 2012-10-10 | 新奥特(北京)视频技术有限公司 | 一种基于cpu的图形渲染引擎及实现方法 |
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US20160307368A1 (en) * | 2015-04-17 | 2016-10-20 | Lytro, Inc. | Compression and interactive playback of light field pictures |
-
2018
- 2018-11-15 CN CN201811371833.3A patent/CN109523622B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040114794A1 (en) * | 2002-12-13 | 2004-06-17 | Daniel Vlasic | System and method for interactively rendering objects with surface light fields and view-dependent opacity |
CN102722861A (zh) * | 2011-05-06 | 2012-10-10 | 新奥特(北京)视频技术有限公司 | 一种基于cpu的图形渲染引擎及实现方法 |
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
US20160307368A1 (en) * | 2015-04-17 | 2016-10-20 | Lytro, Inc. | Compression and interactive playback of light field pictures |
CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Non-Patent Citations (7)
Title |
---|
WEI-CHAO CHEN等: "Light field mapping:Efficient Representation and Hardware Rendering of Surface Light Fields", 《ACM SIGGRAPH 2002 CONFERENCE PROCEEDINGS》 * |
WEI-CHAO CHEN等: "Light field mapping:Efficient Representation and Hardware Rendering of Surface Light Fields", 《ACM SIGGRAPH 2002 CONFERENCE PROCEEDINGS》, 1 July 2002 (2002-07-01), pages 1 - 10 * |
于昊等: "一种基于建模的图像渲染算法的并行实现", 《通信技术》 * |
于昊等: "一种基于建模的图像渲染算法的并行实现", 《通信技术》, vol. 46, no. 6, 10 June 2013 (2013-06-10) * |
杨志成;: "一种改进的屏幕空间环境光遮蔽(SSAO)算法", 现代计算机(专业版), no. 08 * |
程龙;郭立;陈晓琳;袁红星;: "基于光场渲染的多视点视频编解码方法研究", 中国科学技术大学学报, no. 08 * |
胡孔明;于瀛洁;张之江;: "基于光场的渲染技术研究", 微计算机应用, no. 02 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349246A (zh) * | 2019-07-17 | 2019-10-18 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
CN110349246B (zh) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
CN112750156A (zh) * | 2020-03-16 | 2021-05-04 | 奕目(上海)科技有限公司 | 光场成像系统、处理方法和装置 |
CN112750156B (zh) * | 2020-03-16 | 2022-09-09 | 奕目(上海)科技有限公司 | 光场成像系统、处理方法和装置 |
WO2022105641A1 (zh) * | 2020-11-20 | 2022-05-27 | 华为云计算技术有限公司 | 渲染方法、设备以及系统 |
CN113436325A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113436325B (zh) * | 2021-07-30 | 2023-07-28 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113870403A (zh) * | 2021-09-23 | 2021-12-31 | 埃洛克航空科技(北京)有限公司 | 用于图像渲染的信息处理方法及装置 |
CN114863038A (zh) * | 2022-07-07 | 2022-08-05 | 杭州像衍科技有限公司 | 基于显式几何形变的实时动态自由视角合成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109523622B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
CN112509151B (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
CN109523622A (zh) | 一种非结构化的光场渲染方法 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
CN110148204B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
Greene | Environment mapping and other applications of world projections | |
CN104574501B (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
WO2023280038A1 (zh) | 一种三维实景模型的构建方法及相关装置 | |
EP4036790A1 (en) | Image display method and device | |
CN105869167A (zh) | 基于主被动融合的高分辨率深度图获取方法 | |
CN108876926A (zh) | 一种全景场景中的导航方法及系统、ar/vr客户端设备 | |
EP3533218B1 (en) | Simulating depth of field | |
CN107330964B (zh) | 一种复杂三维物体的显示方法及系统 | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
CN105006021A (zh) | 一种适用于快速点云三维重建的颜色映射方法及装置 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
CN107862718B (zh) | 4d全息视频捕捉方法 | |
CN205451195U (zh) | 一种基于多摄像机的实时三维点云重建系统 | |
CN107564095A (zh) | 一种基于单幅自然图像重建积云三维形状的方法 | |
CN115937482B (zh) | 一种自适应屏幕尺寸的全息场景动态构建方法及系统 | |
Kolivand et al. | Realistic real-time outdoor rendering in augmented reality | |
Zhu et al. | Spatially-varying outdoor lighting estimation from intrinsics | |
CN109064533B (zh) | 一种3d漫游方法及系统 | |
Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
CN118247429A (zh) | 一种空地协同快速三维建模方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |