CN115908684A - 视觉感知驱动的自适应三维场景渲染方法、系统及设备 - Google Patents
视觉感知驱动的自适应三维场景渲染方法、系统及设备 Download PDFInfo
- Publication number
- CN115908684A CN115908684A CN202211525663.6A CN202211525663A CN115908684A CN 115908684 A CN115908684 A CN 115908684A CN 202211525663 A CN202211525663 A CN 202211525663A CN 115908684 A CN115908684 A CN 115908684A
- Authority
- CN
- China
- Prior art keywords
- image
- rendered
- pixel
- rendering
- dimensional array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000016776 visual perception Effects 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 76
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000005192 partition Methods 0.000 claims abstract description 4
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 230000005855 radiation Effects 0.000 claims description 22
- 102100029649 Beta-arrestin-1 Human genes 0.000 claims description 12
- 101000728629 Homo sapiens Beta-arrestin-1 Proteins 0.000 claims description 12
- 102100026440 Arrestin-C Human genes 0.000 claims description 7
- 102100029648 Beta-arrestin-2 Human genes 0.000 claims description 7
- 101000785755 Homo sapiens Arrestin-C Proteins 0.000 claims description 7
- 101000728661 Homo sapiens Beta-arrestin-2 Proteins 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 101100109982 Arabidopsis thaliana ARR4 gene Proteins 0.000 claims description 6
- 101100175403 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) GET3 gene Proteins 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101150112439 SMAP gene Proteins 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100056797 Canis lupus familiaris SAG gene Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种视觉感知驱动的自适应三维场景渲染方法、系统及设备，属于虚拟三维场景绘制技术领域。本发明在图像渲染过程中先对待渲染图像进行初始预渲染；然后，采用RC显著性检测方法确定初始预渲染图像的显著性值，通过图像视觉显著性划分区域分别进行滤波重构；最后通过SURE估计像素和真实值的误差进行采样样本划分后，向误差较大区域投射样本进行自适应采样进一步渲染，进而利用人类视觉感知特性降低光线跟踪渲染技术所造成的计算开销。
Description
技术领域
本发明涉及虚拟三维场景绘制技术领域，特别是涉及一种视觉感知驱动的自适应三维场景渲染方法、系统及设备。
背景技术
近年来，随着光线跟踪技术在影视动画及游戏领域的不断推广应用，图形渲染成为人们研究的热点。光线跟踪技术通过模拟真实世界中的光线传播方式，计算最终像素的颜色值，其渲染结果具有逼真的视觉效果。光线跟踪技术是通过渲染方程来计算最终结果图像的像素值，渲染方程通过计算入射光线打在物体上的反射能量和自发光能量得到二维RGB结果图像，其中的反射能量积分无法计算出解析解，需要通过蒙特卡罗积分来估计积分值，这种估计会产生误差，导致结果图出现我们常说的图像噪声问题。目前解决图像噪声问题有两种解决办法，分别是自适应采样和滤波重构，自适应采样相当于增加光线投射数目，能够使蒙特卡罗积分计算结果的精度更高，但会增加计算机的运算开销。而滤波重构通过加权平均像素颜色值来去除图像噪声。例如，Li ZiMao等人于2012年发表在《Transactionson Graphics》的第31卷第6期上的论文“SURE-based optimization for adaptivesampling and reconstruction”提出一种联合自适应采样和滤波重构的渲染算法，有效解决了蒙特卡罗光线跟踪方法在低采样样本下产生的图像噪声问题。
人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，这种视觉注意机制是人们日常生活中处理视觉信息的重要机制。随着互联网带来的大数据量的传播，如何从海量的图像和视频数据中快速地获取重要信息，已经成为计算机视觉领域一个关键的问题。通过在计算机视觉任务中引入这种视觉注意机制，即视觉显著性，可以为视觉信息处理任务带来一系列重大的帮助和改善。引入视觉显著性的优势主要表现在两个方面，第一，它可将有限的计算资源分配给图像视频中更重要的信息，第二，引入视觉显著性的结果更符合人的视觉认知需求。视觉显著性检测在目标识别、图像视频压缩、图像检索、图像重定向等有着重要的应用价值。视觉显著性检测模型是通过计算机视觉算法去预测图像或视频中的哪些信息更容易受到视觉注意的过程。
前沿学者对于图像视觉显著性进行了大量研究，提出了多种画面显著性检测方法。例如，南开大学程明明老师团队于2019年发表在《ComputationalVisual Media》第5卷第2期的论文“Salient object detection:Asurvey”，总结了有关于图像视觉显著性的方法研究。对于渲染出的真实感三维场景画面，不同区域具有不同的视觉显著性，对于视觉显著性较高即人眼热衷于观看的区域，在渲染过程中增加计算机算力的分配；对于显著性低的区域，在渲染过程中可以降低计算机算力的开销以提升算法效率。
发明内容
本发明的目的是提供一种视觉感知驱动的自适应三维场景渲染方法、系统及设备，能够利用人类视觉感知特性降低光线跟踪渲染技术所造成的计算开销。
为实现上述目的，本发明提供了如下方案：
一种视觉感知驱动的自适应三维场景渲染方法，包括：
解析待渲染图像的模型文件；
对所述待渲染图像进行初始预渲染得到初始预渲染图像；
采用RC显著性检测方法确定所述初始预渲染图像的显著性图，并创建二维数组sal_map；所述二维数组sal_map中的每个元素用于存储所述初始预渲染图像的显著性值；
根据所述显著性值对所述初始预渲染图像进行划分得到滤波重构区域；
对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像；
采用SURE误差估计法确定所述滤波重构图像中的像素值误差；
根据所述像素值误差得到划分阈值；
基于所述划分阈值分配采样样本，并对所述采样样本进行渲染得到渲染结果图像。
优选地，所述对所述待渲染图像进行初始预渲染得到初始预渲染图像，具体包括：
创建二维数组ARR1；
将所述待渲染图像投影至二维数组ARR1得到投影结果图像；所述二维数组ARR1中的每个元素用于存储一个可视场景点坐标；所述二维数组ARR1的行数与投影的待渲染图像的像素行数相同，所述二维数组ARR1的列数与投影的待渲染图像的像素列数相同；
所述确定进入所述投影结果图像中像素A001的光辐射量；
将进入所述投影结果图像中像素A001的光辐射量转换成颜色值后，将所述颜色值填充到所述像素A001上，直至对所述投影结果图像中的每一像素均进行初始预渲染后，得到初始预渲染图像。
优选地，所述确定进入所述待渲染图像中像素A001的光辐射量，具体包括：
确定穿过像素A001进入可视场景内的光线L001与可视场景内物体进行求交后的光辐射量W001；所述像素A001为所述待渲染图像第i行、第j列的像素；
确定由光源散发的进入像素A001中的光辐射量W002；
基于所述光辐射量W001和所述光辐射量W002确定进入所述待渲染图像中像素A001的光辐射量。
优选地，所述对所述待渲染图像进行初始预渲染得到初始预渲染图像，还包括：
创建二维数组ARR2、二维数组ARR3和二维数组ARR4；所述二维数组ARR2中的每个元素用于存储一个进入可视场景后光线和物体求交交点的法向量坐标；所述二维数组ARR3中的每个元素用于存储一个反照率坐标；所述二维数组ARR4中的每个元素用于存储待渲染图像中一个像素到可视场景中物体的深度值；
基于所述法向量坐标、所述反照率坐标和所述深度值生成特征图；所述特征图包括：法向量图、纹理图和深度图；
对所述特征图进行预滤波。
优选地，所述对所述特征图进行预滤波，具体包括：
获取引导滤波器的引导图，利用Sobel算子确定所述特征图的局部梯度图；
将每个所述特征图的局部梯度图像归一化后取最大值得到全局梯度图。
优选地，所述对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像，具体包括：
针对显著性值大于显著性阈值的滤波重构区域，对该滤波重构区域中的每一像素进行梯度域双边滤波重构；
针对显著性值小于等于显著性阈值的滤波重构区域，对该滤波重构区域中的每一像素进行均值滤波重构；
构建二维数组result；所述二维数组result用于存储滤波重构后的像素值以得到所述滤波重构图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的视觉感知驱动的自适应三维场景渲染方法，在图像渲染过程中先对待渲染图像进行初始预渲染；然后，采用RC显著性检测方法确定初始预渲染图像的显著性值，通过图像视觉显著性划分区域分别进行滤波重构；最后通过SURE估计像素和真实值的误差进行采样样本划分后，向误差较大区域投射样本进行自适应采样进一步渲染，进而利用人类视觉感知特性降低光线跟踪渲染技术所造成的计算开销。
对应与上述提供的视觉感知驱动的自适应三维场景渲染方法，本发明还提供了以下实施结构：
一种视觉感知驱动的自适应三维场景渲染系统，包括：
场景解析模块，用于解析待渲染图像的模型文件；
初始预渲染模块，用于对所述待渲染图像进行初始预渲染得到初始预渲染图像；
显著性确定模块，用于采用RC显著性检测方法确定所述初始预渲染图像的显著性图，并创建二维数组sal_map；所述二维数组sal_map中的每个元素用于存储所述初始预渲染图像的显著性值；
区域重构模块，用于根据所述显著性值对所述初始预渲染图像进行划分得到滤波重构区域；
滤波重构模块，用于对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像；
误差确定模块，用于采用SURE误差估计法确定所述滤波重构图像中的像素值误差；
阈值确定模块，用于根据所述像素值误差得到划分阈值；
自适应采样渲染模块，用于基于所述划分阈值分配采样样本，并对所述采样样本进行渲染得到渲染结果图像。
一种电子设备，包括：
存储器，用于存储二维数组，并用于存储计算机控制程序；
处理器，与所述存储器连接，用于调取并执行所述计算机控制程序，以使所述电子设备实施上述提供的视觉感知驱动的自适应三维场景渲染方法。
优选地，所述存储器为计算机可读存储介质。
应本发明上述提供的实施结构实现的技术效果与本发明提供的视觉感知驱动的自适应三维场景渲染方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的视觉感知驱动的自适应三维场景渲染方法的流程图；
图2为本发明提供的视觉感知驱动的自适应三维场景渲染系统的结构示意图；
图3为本发明提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种视觉感知驱动的自适应三维场景渲染方法、系统及设备，能够利用人类视觉感知特性降低光线跟踪渲染技术所造成的计算开销。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供的视觉感知驱动的自适应三维场景渲染方法的整体技术实现构思为：首先，在低样本下预渲染一幅较低质量含噪图像，同时在渲染过程中获取到图像的特征信息；然后对获取到的特征图进行预滤波，同时通过图像视觉显著性划分区域分别进行滤波重构；最后通过SURE估计像素和真实值的误差，对误差较大的区域分配更多采样样本。
基于此，如图1所示，本发明提供的视觉感知驱动的自适应三维场景渲染方法，包括：
步骤100：解析待渲染图像的模型文件。
步骤101：对待渲染图像进行初始预渲染得到初始预渲染图像。该步骤的具体实施过程为：
令NRow表示投影结果图像的像素行数，令NCol表示投影结果图像的像素列数，基于此，创建一个包含NRow行、NCol列的二维数组ARR1，二维数组A RR1的每个元素存储一个可视场景点的坐标。其中，下述所有二维数组的创建过程均可以在存储器中实现。
具体地，二维数组ARR1的第i行第j列元素用于存储投影结果图像的第i行第j列像素对应的可视场景点的坐标，其中i＝1,2,…,NRow，j＝1,2,…,NCol。
对于i＝1,2,…,NRow，j＝1,2,…,NCol，针对结果图像的第i行、第j列像素A001，做如下操作：
计算穿过像素A001进入可视场景内的光线L001与可视场景内物体进行求交后的光辐射量W001，同时计算由光源散发的进入像素A001中的光辐射量。
其中，
式中，Lr(p,wr)表示最终进入像素A001的光辐射量，Le(p,wo)为光源散发的未经过可视场景直接进入像素的光辐射量，
表示光源发射出的光线进入可视场景后与可视场景内物体求交后的光辐射量。Ω+表示点p的上半球，fr为散射函数，p表示所计算辐射度的点，wi表示入射方向，θi表示入射光和法线的角度，Li(p,wi)表示p点的光辐射量。Wr表示光线进入人眼的方向、wo表示直接光照方向。
同时创建两个包含NRow行、NCol列的二维数组ARR2和二维数组ARR3，二维数组ARR2的每个元素用于存储一个进入可视场景后光线和物体求交交点的法向量坐标。二维数组ARR3的每个元素用于存储一个反照率坐标。再创建一个包含NRow行、NCol列的二维数组ARR4，二维数组ARR4的每个元素用于存储一个像素到可视场景物体的深度值。
把光亮度值Lr(p,wr)转换成颜色值Color。再将颜色值Color填充到像素A001上，重复以上步骤，直至填充满全部像素范围，实现图像的初始预渲染。
基于二维数组ARR2、二维数组ARR3和二维数组ARR4中存储的法向量坐标、反照率坐标和深度值生成特征图(法向量图、纹理图、深度图)。针对获取到的特征图进行预滤波，具体的：
首先获取引导滤波器的引导图，利用Sobel算子求出特征图的局部梯度图,然后将每个特征图的局部梯度图像gk归一化后取最大值得到全局梯度图像g。
其中，具体的全局梯度图像公式为：
式中，
是第k个初始特征图像，Gx和Gy分别为水平和垂直Sobel算子。再通过引导滤波器对法向量图、纹理图、深度图进行滤波。
具体的引导滤波器的公式为：
式中，aj和bj为局部区域j内的固定参数，uj和
分别为I在含n个像素的窗口内的均值和方差。Pi为原始含噪图像，
为原始含噪图像在j内的均值，ε设为0.01防止除零。
步骤102：采用RC显著性检测方法确定初始预渲染图像的显著性图，并创建二维数组sal_map。二维数组sal_map中的每个元素用于存储初始预渲染图像的显著性值，二维数组sal_map的元素与初始预渲染图像的像素一一对应。其中，二维数组sal_map是一个包含NRow行、NCol列的二维数组。
步骤103：根据显著性值对初始预渲染图像进行划分得到滤波重构区域。
步骤104：对滤波重构区域中的像素进行滤波重构得到滤波重构图像。做如下操作：
创建一个包含NRow行、NCol列的二维数组result，用来存储滤波重构后的像素值。
通过显著性阈值过滤二维数组sal_map中存储的显著性值，二维数组sal_map的元素与用来存储初始预渲染图像像素值的二维数组result的像素一一对应。大于阈值的部分进行梯度域双边滤波重构。
双边滤波器参数为：
式中，Pi、Pj表示像素i和j的含噪图像，Ci、Cj表示像素i和j的颜色值，σs、σr、σfk分别表示空间域标准差、颜色域标准差、特征域标准差。D是一个距离函数，用来计算相似距离，
为像素i的第k个特征信息(共m个)的均值。
最终像素的颜色值计算为：
其中，
为空间域权重。
为颜色域权重。
表示第k个特征空间的权重。
对于小于阈值的部分进行均值滤波重构。
均值滤波的公式为：
均值滤波重构后像素i的颜色值，
表示在Wmn大小的像素窗口范围内相邻像素Qt累加后的算数均值
均值滤波器通过设置一个3×3的滤波器模板，累加9个像素的像素值后取平均，来作为重构像素的最终像素值。
步骤105：采用SURE误差估计法确定滤波重构图像中的像素值误差。SURE误差计算为：
最后像素的误差度量值定义为：
步骤106：根据像素值误差得到划分阈值。
步骤107：基于划分阈值分配采样样本，并向误差较大区域投射样本进行自适应采样进一步渲染。这里的误差较大区域可以依据实际渲染需求根据得到的阈值进行确定。
其中，采样样本分配方案定义为：
式中，φ{φ1，φ2，φ3}表示误差度量值阈值，α{α1，α2，α3，α4}表示分配的采样样本数目。
判断预算的样本数目是否还有剩余，如有剩余，则迭代的进行步骤101-步骤106否则完成整个渲染流程，输出最终的渲染结果图像。
在本发明中，可以将最终得到的渲染结果图像以文件形式保存到计算机硬盘或计算机可读存储介质上。
基于上述描述，本发明通过步骤计算出预渲染图像的显著性图SMap。根据显著性图SMap的像素的值进行显著性阈值判断，大于显著性阈值的部分通过融合梯度信息的双边滤波器进行滤波重构，小于显著性阈值的部分通过均值滤波重构。由于对那些显著性值较低的部分进行了快速的均值滤波重构，因此减小了整个算法的计算开销。本发明根据视觉显著性来自适应地控制滤波重构区域，可实现在减小计算开销的同时保证整幅画面的高质量视觉感知效果。
此外，对应与上述提供的视觉感知驱动的自适应三维场景渲染方法，本发明还提供了以下实施结构：
其中一种是视觉感知驱动的自适应三维场景渲染系统，如图2所示，该系统包括：
场景解析模块200，用于解析待渲染图像的模型文件。
初始预渲染模块201，用于对待渲染图像进行初始预渲染得到初始预渲染图像。
显著性确定模块202，用于采用RC显著性检测方法确定初始预渲染图像的显著性图，并创建二维数组sal_map。二维数组sal_map中的每个元素用于存储初始预渲染图像的显著性值。
区域重构模块203，用于根据显著性值对初始预渲染图像进行划分得到滤波重构区域。
滤波重构模块204，用于对滤波重构区域中的像素进行滤波重构得到滤波重构图像。
误差确定模块205，用于采用SURE误差估计法确定滤波重构图像中的像素值误差。
阈值确定模块206，用于根据像素值误差得到划分阈值。
自适应采样渲染模块207，用于基于划分阈值分配采样样本，并向误差较大区域投射样本进行自适应采样进一步渲染。
另一种是电子设备，如图3所示，该电子设备包括：
存储器300，用于存储二维数组，并用于存储计算机控制程序。采用的存储器300可以是计算机可读存储介质。
处理器301，与存储器300连接，用于调取并执行计算机控制程序，以使电子设备实施上述提供的视觉感知驱动的自适应三维场景渲染方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种视觉感知驱动的自适应三维场景渲染方法，其特征在于，包括：
解析待渲染图像的模型文件；
对所述待渲染图像进行初始预渲染得到初始预渲染图像；
采用RC显著性检测方法确定所述初始预渲染图像的显著性图，并创建二维数组sal_map；所述二维数组sal_map中的每个元素用于存储所述初始预渲染图像的显著性值；
根据所述显著性值对所述初始预渲染图像进行划分得到滤波重构区域；
对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像；
采用SURE误差估计法确定所述滤波重构图像中的像素值误差；
根据所述像素值误差得到划分阈值；
基于所述划分阈值分配采样样本，并对所述采样样本进行渲染得到渲染结果图像。
2.根据权利要求1所述的视觉感知驱动的自适应三维场景渲染方法，其特征在于，所述对所述待渲染图像进行初始预渲染得到初始预渲染图像，具体包括：
创建二维数组ARR1；
将所述待渲染图像投影至二维数组ARR1得到投影结果图像；所述二维数组ARR1中的每个元素用于存储一个可视场景点坐标；所述二维数组ARR1的行数与投影的待渲染图像的像素行数相同，所述二维数组ARR1的列数与投影的待渲染图像的像素列数相同；
所述确定进入所述投影结果图像中像素A001的光辐射量；
将进入所述投影结果图像中像素A001的光辐射量转换成颜色值后，将所述颜色值填充到所述像素A001上，直至对所述投影结果图像中的每一像素均进行初始预渲染后，得到初始预渲染图像。
3.根据权利要求2所述的视觉感知驱动的自适应三维场景渲染方法，其特征在于，所述确定进入所述待渲染图像中像素A001的光辐射量，具体包括：
确定穿过像素A001进入可视场景内的光线L001与可视场景内物体进行求交后的光辐射量W001；所述像素A001为所述待渲染图像第i行、第j列的像素；
确定由光源散发的进入像素A001中的光辐射量W002；
基于所述光辐射量W001和所述光辐射量W002确定进入所述待渲染图像中像素A001的光辐射量。
4.根据权利要求2所述的视觉感知驱动的自适应三维场景渲染方法，其特征在于，所述对所述待渲染图像进行初始预渲染得到初始预渲染图像，还包括：
创建二维数组ARR2、二维数组ARR3和二维数组ARR4；所述二维数组ARR2中的每个元素用于存储一个进入可视场景后光线和物体求交交点的法向量坐标；所述二维数组ARR3中的每个元素用于存储一个反照率坐标；所述二维数组ARR4中的每个元素用于存储待渲染图像中一个像素到可视场景中物体的深度值；
基于所述法向量坐标、所述反照率坐标和所述深度值生成特征图；所述特征图包括：法向量图、纹理图和深度图；
对所述特征图进行预滤波。
5.根据权利要求4所述的视觉感知驱动的自适应三维场景渲染方法，其特征在于，所述对所述特征图进行预滤波，具体包括：
获取引导滤波器的引导图，利用Sobel算子确定所述特征图的局部梯度图；
将每个所述特征图的局部梯度图像归一化后取最大值得到全局梯度图。
6.根据权利要求1所述的视觉感知驱动的自适应三维场景渲染方法，其特征在于，所述对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像，具体包括：
针对显著性值大于显著性阈值的滤波重构区域，对该滤波重构区域中的每一像素进行梯度域双边滤波重构；
针对显著性值小于等于显著性阈值的滤波重构区域，对该滤波重构区域中的每一像素进行均值滤波重构；
构建二维数组result；所述二维数组result用于存储滤波重构后的像素值以得到所述滤波重构图像。
7.一种视觉感知驱动的自适应三维场景渲染系统，其特征在于，包括：
场景解析模块，用于解析待渲染图像的模型文件；
初始预渲染模块，用于对所述待渲染图像进行初始预渲染得到初始预渲染图像；
显著性确定模块，用于采用RC显著性检测方法确定所述初始预渲染图像的显著性图，并创建二维数组sal_map；所述二维数组sal_map中的每个元素用于存储所述初始预渲染图像的显著性值；
区域重构模块，用于根据所述显著性值对所述初始预渲染图像进行划分得到滤波重构区域；
滤波重构模块，用于对所述滤波重构区域中的像素进行滤波重构得到滤波重构图像；
误差确定模块，用于采用SURE误差估计法确定所述滤波重构图像中的像素值误差；
阈值确定模块，用于根据所述像素值误差得到划分阈值；
自适应采样渲染模块，用于基于所述划分阈值分配采样样本，并对所述采样样本进行渲染得到渲染结果图像。
8.一种电子设备，其特征在于，包括：
存储器，用于存储二维数组，并用于存储计算机控制程序；
处理器，与所述存储器连接，用于调取并执行所述计算机控制程序，以使所述电子设备实施如权利要求1-6任意一项所述的视觉感知驱动的自适应三维场景渲染方法。
9.根据权利要求8所述的电子设备，其特征在于，所述存储器为计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211525663.6A CN115908684A (zh) | 2022-11-30 | 2022-11-30 | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211525663.6A CN115908684A (zh) | 2022-11-30 | 2022-11-30 | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908684A true CN115908684A (zh) | 2023-04-04 |
Family
ID=86492313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211525663.6A Pending CN115908684A (zh) | 2022-11-30 | 2022-11-30 | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908684A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563445A (zh) * | 2023-04-14 | 2023-08-08 | 深圳崇德动漫股份有限公司 | 基于虚拟现实的动漫场景渲染方法及装置 |
| CN117911634A (zh) * | 2024-03-20 | 2024-04-19 | 成都工业学院 | 一种基于数字图像重建的视觉呈像优化方法、系统及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419492A (zh) * | 2020-12-14 | 2021-02-26 | 长春理工大学 | 视觉感知驱动蒙卡渲染像素路径采样数自适应控制方法 |
| CN113706680A (zh) * | 2021-09-02 | 2021-11-26 | 长春理工大学 | 视觉显著性驱动的vr电影画面渲染像素抗失真处理方法 |
-
2022
- 2022-11-30 CN CN202211525663.6A patent/CN115908684A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419492A (zh) * | 2020-12-14 | 2021-02-26 | 长春理工大学 | 视觉感知驱动蒙卡渲染像素路径采样数自适应控制方法 |
| CN113706680A (zh) * | 2021-09-02 | 2021-11-26 | 长春理工大学 | 视觉显著性驱动的vr电影画面渲染像素抗失真处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李清泉 等: "三维空间数据的实时获取、建模与可视化", vol. 2003, 武汉大学出版社, pages: 215 * |
| 郎思祺 等: ""视觉驱动梯度域滤波重构的自适应渲染算法"", 《小型微型计算机系统》, pages 1 - 8 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563445A (zh) * | 2023-04-14 | 2023-08-08 | 深圳崇德动漫股份有限公司 | 基于虚拟现实的动漫场景渲染方法及装置 |
| CN116563445B (zh) * | 2023-04-14 | 2024-03-19 | 深圳崇德动漫股份有限公司 | 基于虚拟现实的动漫场景渲染方法及装置 |
| CN117911634A (zh) * | 2024-03-20 | 2024-04-19 | 成都工业学院 | 一种基于数字图像重建的视觉呈像优化方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Haze visibility enhancement: A survey and quantitative benchmarking | |
| Wang et al. | Learning indoor inverse rendering with 3d spatially-varying lighting | |
| CN115908684A (zh) | 视觉感知驱动的自适应三维场景渲染方法、系统及设备 | |
| CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
| Woo et al. | A survey of shadow algorithms | |
| CN111968215A (zh) | 一种体积光渲染方法、装置、电子设备及存储介质 | |
| US20080068386A1 (en) | Real-Time Rendering of Realistic Rain | |
| Pfeiffer et al. | Model-based real-time visualization of realistic three-dimensional heat maps for mobile eye tracking and eye tracking in virtual reality | |
| Liang et al. | Visualizing 3D atmospheric data with spherical volume texture on virtual globes | |
| CN107248188B (zh) | 动态粒子集合的表面渲染方法及系统 | |
| CN115830208B (zh) | 全局光照渲染方法、装置、计算机设备和存储介质 | |
| Yao et al. | Multi‐image based photon tracing for interactive global illumination of dynamic scenes | |
| Weber et al. | A multiscale model for rain rendering in real-time | |
| Koskela et al. | Foveated path tracing: a literature review and a performance gain analysis | |
| CN103514624A (zh) | 估算参与介质接收到的光量的方法及相应的设备 | |
| Zhu et al. | Learning-based inverse rendering of complex indoor scenes with differentiable monte carlo raytracing | |
| CN109523590B (zh) | 一种基于样例的3d图像深度信息视觉舒适度评估方法 | |
| WO2021151380A1 (en) | Method for rendering virtual object based on illumination estimation, method for training neural network, and related products | |
| Schafhitzel et al. | Real-time rendering of planets with atmospheres | |
| EP2831846B1 (en) | Method for representing a participating media in a scene and corresponding device | |
| JP2013117992A (ja) | リアルタイム大局照明レンダリングシステム | |
| Bonaventura et al. | Information measures for terrain visualization | |
| CN114904267A (zh) | 游戏中的显示控制方法及装置、存储介质、电子设备 | |
| CN110910482B (zh) | 视频数据组织调度的方法、系统及可读存储介质 | |
| CN111010559B (zh) | 裸眼三维光场内容的生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |