CN117876564A - 图像处理方法及相关设备 - Google Patents
图像处理方法及相关设备 Download PDFInfo
- Publication number
- CN117876564A CN117876564A CN202410057592.4A CN202410057592A CN117876564A CN 117876564 A CN117876564 A CN 117876564A CN 202410057592 A CN202410057592 A CN 202410057592A CN 117876564 A CN117876564 A CN 117876564A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- dimensional space
- energy field
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000005286 illumination Methods 0.000 claims abstract description 107
- 238000009877 rendering Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Image Generation (AREA)
Abstract
本申请公开了一种图像处理方法及相关设备,该方法包括:获取待渲染的目标三维空间;根据能量场在目标三维空间的散射结果生成能量场图,能量场由点云和光子形成;根据预设光源和目标三维空间的相机信息确定光波动参数,并基于光波动参数从能量场图中收集点云信息和光子信息;基于收集的点云信息和光子信息确定目标三维空间的场景光照信息,并基于场景光照信息对目标三维空间进行渲染,生成待显示的目标图像,通过在能量场图中同时收集点云信息和光子信息,实现更加高效确定出符合待渲染三维空间中光照情况的场景光照信息,进而在保证图像质量的同时,提高了图像渲染效率。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种图像处理方法及相关设备。
背景技术
随着计算机图形学技术的发展,光线追踪技术已被广泛应用于游戏、动画、影视剧等产品中,光线追踪技术是计算机图形学中一种渲染算法,其具体指的是经过某点向场景投射光线,并对该光线进行追踪,以确定光线是否与场景中的某个对象相交。
由于图像的清晰度越高,显示的内容越复杂,渲染处理的负荷就越大,操作性、响应性的问题就越明显,目前的光线追踪技术无法在保证图像质量的同时高效的进行渲染。
发明内容
本申请实施例的提供了一种图像处理方法及相关设备,用以在保证图像质量的同时,提高渲染效率。
第一方面,提供一种图像处理方法,包括:获取待渲染的目标三维空间;根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成;根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息;基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
在一些实施例中,所述基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,包括:基于所述点云信息和所述光子信息确定所述目标三维空间中各像素的辐射度信息、阴影信息和环境光遮蔽信息中的至少一种;基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息。
在一些实施例中,所述基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息,包括:基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定直接光照数据、间接光照数据、反照率数据和光压数据;基于所述直接光照数据、所述间接光照数据、所述反照率数据和所述光压数据确定所述场景光照信息。
在一些实施例中,还包括:若所述目标三维空间中存在偏振光,根据所述偏振光在双折射后的光照数据调整所述直接光照数据和所述间接光照数据。
在一些实施例中,还包括:若所述目标三维空间存在符合预设属性的目标对象,所述预设属性包括棱镜和/或透镜属性;根据所述目标对象引起的波长变化数据和振幅变化数据调整所述场景光照信息。
在一些实施例中,所述基于所述光波动参数从所述能量场图中收集点云信息和光子信息,包括:基于所述光波动参数确定所述能量场图中的低亮度区域;基于第一收集率从所述低亮度区域中收集所述点云信息和所述光子信息;基于第二收集率从能量场图中除所述低亮度区域以外的区域中收集所述点云信息和所述光子信息;其中,所述第一收集率低于所述第二收集率。
在一些实施例中,所述获取待渲染的目标三维空间,包括:获取视点移动指令和/或对象移动指令;根据所述视点移动指令和/或所述对象移动指令确定目标位置,并基于所述目标位置构建所述目标三维空间。
第二方面,提供一种图像处理装置,所述装置包括:获取模块,用于获取待渲染的目标三维空间;生成模块,用于根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成;收集模块,用于根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息;渲染模块,用于基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
第三方面,提供一种电子设备,包括处理器和存储器,所述存储器中存储有可执行程序,所述处理器执行所述可执行程序以进行如第一方面所述的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
通过应用以上技术方案,获取待渲染的目标三维空间;根据能量场在目标三维空间的散射结果生成能量场图,能量场由点云和光子形成;根据预设光源和目标三维空间的相机信息确定光波动参数,并基于光波动参数从能量场图中收集点云信息和光子信息;基于收集的点云信息和光子信息确定目标三维空间的场景光照信息,并基于场景光照信息对目标三维空间进行渲染,生成待显示的目标图像,通过在能量场图中同时收集点云信息和光子信息,实现更加高效确定出符合待渲染三维空间中光照情况的场景光照信息,进而在保证图像质量的同时,提高了图像渲染效率。
附图说明
图1为本申请实施例的一种图像处理方法的流程图;
图2为本申请实施例中确定目标三维空间的场景光照信息的流程图;
图3为本申请实施例中从能量场图中收集点云信息和光子信息的流程图;
图4为本申请实施例中获取目标三维空间的流程图;
图5为本申请实施例中图像处理方法的原理示意图;
图6为本申请另一实施例中图像处理方法的整体流程图;
图7为本申请实施例中渲染流水线的流程图;
图8为本申请实施例的一种图像处理装置的结构框图;
图9为本申请实施例的一种电子设备的结构框图;
图10为本申请另一实施例的一种电子设备的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例的一种图像处理方法,该方法能够在保证图像质量的同时提高渲染效率,该方法可以应用在计算机等电子设备中,由电子设备实现该图像处理。
如图1所示,该方法包括以下步骤:
步骤S101,获取待渲染的目标三维空间。
目标三维空间为一个虚拟三维空间,目标三维空间中包括一个或多个预设光源以及一个或多个对象,各对象可包括静态对象,如静态的几何物体,也可包括动态对象,如运行的物体、角色等。预设光源可以是自然光源,如太阳光、月光等,也可以是人工光源,如电灯等。可以根据用户输入的指令获取目标三维空间,也可在满足预设条件时自动触发获取目标三维空间。
步骤S102,根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成。
目标三维空间中存在能量场,能量场中包括点云和光子,能量场在目标三维空间中进行散射,散射过程中包括光子的散射以及点云的散射,其中,光子为将光建模后形成的虚拟粒子,点云为可以表征对象材质的受光表现的体积点云,具体可通过点云发生器确定体积点云。根据能量场在目标三维空间的散射结果生成能量场图,能量场图记录了从光源传播到最终被物体表面吸收的所有光子的入射位置、辐射通量和入射方向等参数和相应的点云数据。生成的能量场图被存储在能量场图存储器中,后续可根据需要从能量场图存储器中调用能量场图。
其中,点云的创建方式为,根据用户屏幕的分辨率和场景大小信息,生成和当前屏幕分辨率下对应的像素分布精度为单位的点云,点云的半径即为当前像素信息,点云结构采用以下公式确定:
,
其中,n为分辨率大小,L为屏幕像素比例(DPI),为场景像素信息,/>为点云结构。
点云发生器通过从指定的位置构建虚拟三维空间,然后从预定光源辐射点云,从而生成对应精度的动态点云以表现物体材质的受光照表现,点云辐射信息通过以下公式确定:
,
其中,为点云辐射信息,/>为场景光照辐射度分布信息,dx为场景信息,n为点云的半径,j为点云的数量。
步骤S103,根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息。
目标三维空间包括相机,相机信息为相机的位置信息,根据预设光源的位置和相机信息确定光波动参数,基于光波动参数从能量场图中收集点云信息和光子信息,具体的,光波动参数可为光波动方程的参数,通过光波动参数建立光波动方程,并基于光波动方程从能量场图中收集点云信息和光子信息。光波动方程的具体形式为现有技术,在此不再赘述。
可选的,可从能量场图中设定多个预设位置,收集各预设位置的点云信息和光子信息。也可按预设搜索算法收集以预设位置为中心的预设范围内的点云信息和光子信息,预设搜索算法例如可以为kd-tree算法等。
步骤S104,基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
本实施例中,通过收集的点云信息和光子信息确定目标三维空间的场景光照信息,然后基于场景光照信息对所述目标三维空间进行渲染,渲染完成后生成待显示的目标图像。具体的,在确定场景光照信息后,可先基于场景光照信息确定目标三维空间中各像素的辐射度,再根据辐射度确定各像素的像素值,最后基于预设渲染流程按各像素值进行渲染,生成待显示的目标图像。
在本申请一些实施例中,在基于所述场景光照信息对所述目标三维空间进行渲染之前,对各帧的场景光照信息进行缓存,并将缓存的各帧场景光照信息流式输入预设渲染流程进行渲染,从而可在显示设备上显示由各目标图像组成的视频。
本申请实施例中的图像处理方法,获取待渲染的目标三维空间;根据能量场在目标三维空间的散射结果生成能量场图,能量场由点云和光子形成;根据预设光源和目标三维空间的相机信息确定光波动参数,并基于光波动参数从能量场图中收集点云信息和光子信息;基于收集的点云信息和光子信息确定目标三维空间的场景光照信息,并基于场景光照信息对目标三维空间进行渲染,生成待显示的目标图像,通过在能量场图中同时收集点云信息和光子信息,实现更加高效确定出符合待渲染三维空间中光照情况的场景光照信息,进而在保证图像质量的同时,提高了图像渲染效率。
在本申请任一实施例的基础上,所述基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,如图2所示,包括以下步骤:
步骤S21,基于所述点云信息和所述光子信息确定所述目标三维空间中各像素的辐射度信息、阴影信息和环境光遮蔽信息中的至少一种。
本实施例中,辐射度信息表征了在封闭环境中物体表面的光能分布。阴影信息表征了物体产生的阴影,通过追踪从点到光源的光线来确定点是否处于阴影中,如果光线沿途击中不透明对象,则该对象处于阴影中。环境光遮蔽信息(AO,Ambient Occlusion)用于描绘物体和物体相交或靠近的时候遮挡周围漫反射光线的效果,可以解决或改善漏光、飘和阴影不实等问题,以及解决或改善场景中缝隙、褶皱与墙角、角线以及细小物体等的表现不清晰问题。
可选的,可基于点云信息和光子信息按预设顺序分别确定目标三维空间中各像素的辐射度信息、阴影信息和环境光遮蔽信息,也可基于并行进程同时确定辐射度信息、阴影信息和环境光遮蔽信息,以提高处理效率。
步骤S22,基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息。
辐射度信息、阴影信息和环境光遮蔽信息中的至少一种体现了目标三维空间中的光照情况,根据三者中的至少一种可确定场景光照信息,从而提高了场景光照信息的准确性。
在本申请一些实施例中,所述基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息,包括:
基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定直接光照数据、间接光照数据、反照率数据和光压数据;
基于所述直接光照数据、所述间接光照数据、所述反照率数据和所述光压数据确定所述场景光照信息。
本实施例中,直接光照数据是指来自光源直接照射到物体表面的光线,它是一种局部光照,可以模拟太阳、灯光等光源直接照射到物体表面的效果。间接光照信息为包括反射、折射、焦散、衍射、透射、色散、偏振、失真等信息中一种或多种的组合。反照率又称反射率,是表示物体对光的反射程度的物理量,它是光在物体表面反射的能量与光在物体表面入射的能量之比,反照率可以用来表示物体表面的光学特性,如物体的颜色、漫反射程度和镜面反射程度等。光压数据是指光照射到物体上对物体表面产生的压力。
通过直接光照数据、间接光照数据、反照率数据和光压数据确定场景光照信息,进一步提高了场景光照信息的准确性。
可选的,可按预设顺序分别确定直接光照数据、间接光照数据、反照率数据和光压数据,也可基于并行进程同时确定直接光照数据、间接光照数据、反照率数据和光压数据,以提高处理效率。
在本申请一些实施例中,该方法还包括:
若所述目标三维空间中存在偏振光,根据所述偏振光在双折射后的光照数据调整所述直接光照数据和所述间接光照数据。
偏振光是指光矢量的振动方向不变,或具有某种规则地变化的光波。按照其性质,偏振光又可分为平面偏振光(线偏振光)、圆偏振光和椭圆偏振光、部分偏振光几种。若目标三维空间中存在偏振光,确定偏振光在双折射后的光照数据,并基于该光照数据调整直接光照数据和间接光照数据,从而进一步提高了直接光照数据和间接光照数据的准确性。
在本申请一些实施例中,该方法还包括:
若所述目标三维空间存在符合预设属性的目标对象,所述预设属性包括棱镜和/或透镜属性;
根据所述目标对象引起的波长变化数据和振幅变化数据调整所述场景光照信息。
本实施例中,棱镜和透镜的存在会引起光线的波长和振幅的变化,若目标三维空间中存在为棱镜和/或透镜属性的目标对象,则确定目标对象引起的波长变化数据和振幅变化数据,并基于波长变化数据和振幅变化数据调整所述场景光照信息,从而进一步提高了场景光照信息的准确性。
在本申请任一实施例的基础上,所述基于所述光波动参数从所述能量场图中收集点云信息和光子信息,如图3所示,包括以下步骤:
步骤S31,基于所述光波动参数确定所述能量场图中的低亮度区域。
本实施例中,低亮度区域为区域中各像素的平均亮度低于第一预设阈值的区域,也可以为区域中像素的最高亮度低于第二预设阈值的区域。基于光波动参数确定能量场图中的低亮度区域。
具体的,可采用多种方式确定低亮度区域,在一些实施例中,根据光波动参数确定虚拟三维空间中的光源与物体的位置关系,根据该位置关系获取直射光产生的阴影区域,从而识别低亮度区域。在一些实施例中,基于光波动参数确定对象纹理所表示颜色的亮度值,根据该亮度值来识别低亮度区域。
步骤S32,基于第一收集率从所述低亮度区域中收集所述点云信息和所述光子信息。
收集率为区域中收集的点云和光子的数量与区域中点云和光子的总数量的比值。对于低亮度区域,基于第一收集率收集点云信息和光子信息。
步骤S33,基于第二收集率从能量场图中除所述低亮度区域以外的区域中收集所述点云信息和所述光子信息。
对于能量场图中除低亮度区域以外的区域,基于第二收集率收集点云信息和光子信息,其中第一收集率低于第二收集率。
可选的,第二收集率可以为100%,也可以小于100%。第一收集率可以为零,也可以大于零,例如,在一些低亮度区域将第一收集率设置为零,在另一些低亮度区域将第一收集率设置为大于零。
通过以较小的收集率收集低亮度区域中的点云信息和光子信息,实现只对低亮度区域的局部简化计算,减轻了计算负荷,可以在不降低整体图像质量的情况下提高绘制处理的速度。
在一些实施例中,若所述低亮度区域为存在焦散的目标低亮度区域,基于第二收集率从所述目标低亮度区域中收集所述点云信息和所述光子信息。
本实施例中,若透过具有透明度的物体的光通过折射被聚集并且光在阴影中发光,则确定存在焦散。若减小目标低亮度区域中的收集率,可能会导致焦散消失或在边界处与低亮度区域外原本连续的焦散产生亮度差异的问题,因此,仍基于第二收集率从目标低亮度区域中收集点云信息和光子信息,收集足够的云信息和光子信息,实现更加准确的表现目标低亮度区域中的焦散现象。
在本申请一些实施例中,所述获取待渲染的目标三维空间,如图4所示,包括:
步骤S41,获取视点移动指令和/或对象移动指令。
本实施例中,视点移动指令和/或对象移动指令可以是用户通过输入设备输入的,输入设备例如可以为触控屏幕、鼠标、键盘等。
步骤S42,根据所述视点移动指令和/或所述对象移动指令确定目标位置,并基于所述目标位置构建所述目标三维空间。
目标位置可包括视点的目标位置和/或对象的目标位置,相应的,根据视点移动指令可确定视点的目标位置,根据对象移动指令可确定对象的目标位置,根据目标位置构建目标三维空间,使目标三维空间与视点位置和/或对象位置匹配,提高了目标三维空间的准确性。
以下结合本申请具体的应用场景对本方案进行说明。
本申请实施例提供一种图像处理方法,如图5所示,包括4个算法分支,第1分支中依次进行能量场建立、解算与更新能量场和全场景明暗分布信息。第2分支中依次进行场景光子信息创建、计算光子照度信息和全场景光子图生成。第3分支中依次进行体积点云创建、计算点云辐射度和更新屏幕像素信息。第4分支中初始化波动性、计算场景光特性和更新场景光照信息。其中,4个算法分支为异步并行计算。
如图6所示为图像处理方法的整体流程图,包括以下过程:
首先,进行八元数系统初始化,之后分成两支进行处理,其中一支进行能量场计算以及体积点云与大气信息因子的计算,另一支确定光波动方程的参数,基于两支得到的结果计算光子映射部分的辐射、阴影和环境光遮蔽,之后计算光压、反照率以及间接光照,间接光照计算包括计算反射、折射、焦散、衍射、透射、色散等信息中一种或多种的组合,间接光照计算还包括透明度和半透明性的自适应计算,最后,通过直接光照数据、间接光照数据、反照率数据和光压数据进行场景光照信息更新,确定每帧的计算结果并缓存,后续输入渲染流水线进行渲染。另外,若存在棱镜和透镜,还进行棱镜和透镜的属性计算,根据计算出的波长变化数据和振幅变化数据调整场景光照信息。
如图7所示为本申请实施例中渲染流水线的流程图,包括以下过程:获取实时光线跟踪数据流(即图6中每帧的计算结果),渲染开始,并绘制到G-buffer(Geometric Buffer,几何缓冲区),之后依次进行渲染队列和遮挡、更新实时光线跟踪数据、更新实时光线跟踪物理渲染信息、延迟渲染、更新场景、Solid后期处理、更新屏幕、UI渲染,最后输出渲染结果。
基于同样的发明构思,本申请实施例还提出了一种图像处理装置,如图8所示,所述装置包括:获取模块,用于获取待渲染的目标三维空间;生成模块,用于根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成;收集模块,用于根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息;渲染模块,用于基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
在具体的应用场景中,渲染模块,具体用于:基于所述点云信息和所述光子信息确定所述目标三维空间中各像素的辐射度信息、阴影信息和环境光遮蔽信息中的至少一种;基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息。
在具体的应用场景中,渲染模块,还具体用于:基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定直接光照数据、间接光照数据、反照率数据和光压数据;基于所述直接光照数据、所述间接光照数据、所述反照率数据和所述光压数据确定所述场景光照信息。
在具体的应用场景中,渲染模块,还用于:若所述目标三维空间中存在偏振光,根据所述偏振光在双折射后的光照数据调整所述直接光照数据和所述间接光照数据。
在具体的应用场景中,渲染模块,还用于:若所述目标三维空间存在符合预设属性的目标对象,所述预设属性包括棱镜和/或透镜属性;根据所述目标对象引起的波长变化数据和振幅变化数据调整所述场景光照信息。
在具体的应用场景中,收集模块,具体用于:基于所述光波动参数确定所述能量场图中的低亮度区域;基于第一收集率从所述低亮度区域中收集所述点云信息和所述光子信息;基于第二收集率从能量场图中除所述低亮度区域以外的区域中收集所述点云信息和所述光子信息;其中,所述第一收集率低于所述第二收集率。
在具体的应用场景中,获取模块,具体用于:获取视点移动指令和/或对象移动指令;根据所述视点移动指令和/或所述对象移动指令确定目标位置,并基于所述目标位置构建所述目标三维空间。
本申请实施例中的图像处理装置,包括:获取模块,用于获取待渲染的目标三维空间;生成模块,用于根据能量场在目标三维空间的散射结果生成能量场图,能量场由点云和光子形成;收集模块,用于根据预设光源和目标三维空间的相机信息确定光波动参数,并基于光波动参数从能量场图中收集点云信息和光子信息;渲染模块,用于基于收集的点云信息和光子信息确定目标三维空间的场景光照信息,并基于场景光照信息对目标三维空间进行渲染,生成待显示的目标图像,通过在能量场图中同时收集点云信息和光子信息,实现更加高效确定出符合待渲染三维空间中光照情况的场景光照信息,进而在保证图像质量的同时,提高了图像渲染效率。
基于同样的发明构思,本申请实施例还提供了一种电子设备,如图9所示,包括处理器和存储器,所述存储器中存储有可执行程序,所述处理器执行所述可执行程序以进行如上所述的图像处理方法。
在本申请一些实施例中,如图10所示,电子设备的处理器为CPU 10,存储器为主存储器12,电子设备还包括GPU 11。CPU 10基于诸如操作系统、应用等的程序,控制信号处理和内部构成要素。GPU 11执行图像处理。
这些部分经由总线13彼此互连。总线13还与输入-输出接口19连接。输入-输出接口19与包括用于USB、IEEE 1394等的外围装置和用于有线或无线LAN的网络接口的通信部分14、诸如硬盘驱动器、非易失性存储器等的存储部分15、将数据输出至诸如显示装置、扬声器等的输出装置的输出部分16、从诸如键盘、鼠标、游戏控制器、麦克风、相机等的输入装置接收数据的输入部分17、以及驱动诸如磁盘、光盘、半导体存储器等的可移除记录介质的记录介质驱动部分18连接。
CPU 10通过执行存储部分15中存储的操作系统控制整个电子设备。CPU 10还执行从可移除记录介质读取且加载到主存储器12中、或者经由通信部分14下载的各种程序。GPU11具有几何传递(transfer)引擎的功能和渲染处理器的功能。GPU 11根据来自CPU 10的渲染指令执行渲染处理,并将显示图像存储在图中未示出的帧存储器中。然后,GPU 11将帧存储器中存储的显示图像转换为视频信号,并将视频信号输出至输出部分16等。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待渲染的目标三维空间;
根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成;
根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息;
基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
2.如权利要求1所述的方法,其特征在于,所述基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,包括:
基于所述点云信息和所述光子信息确定所述目标三维空间中各像素的辐射度信息、阴影信息和环境光遮蔽信息中的至少一种;
基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息。
3.如权利要求2所述的方法,其特征在于,所述基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定所述场景光照信息,包括:
基于所述辐射度信息、所述阴影信息和所述环境光遮蔽信息中的至少一种确定直接光照数据、间接光照数据、反照率数据和光压数据;
基于所述直接光照数据、所述间接光照数据、所述反照率数据和所述光压数据确定所述场景光照信息。
4.如权利要求3所述的方法,其特征在于,还包括:
若所述目标三维空间中存在偏振光,根据所述偏振光在双折射后的光照数据调整所述直接光照数据和所述间接光照数据。
5.如权利要求3所述的方法,其特征在于,还包括:
若所述目标三维空间存在符合预设属性的目标对象,所述预设属性包括棱镜和/或透镜属性;
根据所述目标对象引起的波长变化数据和振幅变化数据调整所述场景光照信息。
6.如权利要求1所述的方法,其特征在于,所述基于所述光波动参数从所述能量场图中收集点云信息和光子信息,包括:
基于所述光波动参数确定所述能量场图中的低亮度区域;
基于第一收集率从所述低亮度区域中收集所述点云信息和所述光子信息;
基于第二收集率从能量场图中除所述低亮度区域以外的区域中收集所述点云信息和所述光子信息;
其中,所述第一收集率低于所述第二收集率。
7.如权利要求1所述的方法,其特征在于,所述获取待渲染的目标三维空间,包括:
获取视点移动指令和/或对象移动指令;
根据所述视点移动指令和/或所述对象移动指令确定目标位置,并基于所述目标位置构建所述目标三维空间。
8.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待渲染的目标三维空间;
生成模块,用于根据能量场在所述目标三维空间的散射结果生成能量场图,所述能量场由点云和光子形成;
收集模块,用于根据预设光源和所述目标三维空间的相机信息确定光波动参数,并基于所述光波动参数从所述能量场图中收集点云信息和光子信息;
渲染模块,用于基于收集的所述点云信息和所述光子信息确定所述目标三维空间的场景光照信息,并基于所述场景光照信息对所述目标三维空间进行渲染,生成待显示的目标图像。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有可执行程序,所述处理器执行所述可执行程序以进行如权利要求1-7任意一项所述的图像处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410057592.4A CN117876564A (zh) | 2024-01-15 | 2024-01-15 | 图像处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410057592.4A CN117876564A (zh) | 2024-01-15 | 2024-01-15 | 图像处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117876564A true CN117876564A (zh) | 2024-04-12 |
Family
ID=90592900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410057592.4A Pending CN117876564A (zh) | 2024-01-15 | 2024-01-15 | 图像处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117876564A (zh) |
-
2024
- 2024-01-15 CN CN202410057592.4A patent/CN117876564A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111968215B (zh) | 一种体积光渲染方法、装置、电子设备及存储介质 | |
Szirmay-Kalos et al. | Approximate ray-tracing on the gpu with distance impostors | |
Potmesil et al. | Synthetic image generation with a lens and aperture camera model | |
CN102096941B (zh) | 虚实融合环境下的光照一致性方法 | |
CN114820906B (zh) | 图像渲染方法、装置、电子设备及存储介质 | |
CN108805971B (zh) | 一种环境光遮蔽方法 | |
US20100060640A1 (en) | Interactive atmosphere - active environmental rendering | |
US11954169B2 (en) | Interactive path tracing on the web | |
CN111968216A (zh) | 一种体积云阴影渲染方法、装置、电子设备及存储介质 | |
CN112819941B (zh) | 渲染水体面的方法、装置、设备和计算机可读存储介质 | |
CN112396684A (zh) | 光线追踪方法、装置及机器可读存储介质 | |
US11615602B2 (en) | Appearance-driven automatic three-dimensional modeling | |
US20230368459A1 (en) | Systems and methods for rendering virtual objects using editable light-source parameter estimation | |
WO2022088927A1 (zh) | 基于图像的光效处理方法、装置、设备及存储介质 | |
KR102291162B1 (ko) | 인공 지능 학습용 가상 데이터 생성 장치 및 방법 | |
CN115965727A (zh) | 图像渲染方法、装置、设备及介质 | |
CN116091684B (zh) | 基于WebGL的图像渲染方法、装置、设备及存储介质 | |
Madsen et al. | Real-time image-based lighting for outdoor augmented reality under dynamically changing illumination conditions | |
CN116524101A (zh) | 基于辅助缓冲区信息和直接光照的全局光照渲染方法及装置 | |
CN117876564A (zh) | 图像处理方法及相关设备 | |
KR100951121B1 (ko) | 간접 조명 효과를 위한 렌더링 방법 | |
CN112819929B (zh) | 渲染水面方法及装置、电子设备、存储介质 | |
Rosu et al. | EasyPBR: A lightweight physically-based renderer | |
CN117274473B (zh) | 一种多重散射实时渲染的方法、装置及电子设备 | |
Ludwig et al. | Environment map based lighting for reflectance transformation images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |