CN117671113A - 材质表面反射参数的估计方法、装置、设备及存储介质 - Google Patents

材质表面反射参数的估计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117671113A
CN117671113A CN202211035635.6A CN202211035635A CN117671113A CN 117671113 A CN117671113 A CN 117671113A CN 202211035635 A CN202211035635 A CN 202211035635A CN 117671113 A CN117671113 A CN 117671113A
Authority
CN
China
Prior art keywords
target
image
preset
pixel
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211035635.6A
Other languages
English (en)
Inventor
梁金辉
张家喜
沈会良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211035635.6A priority Critical patent/CN117671113A/zh
Publication of CN117671113A publication Critical patent/CN117671113A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Abstract

本申请实施例提供的一种材质表面反射参数的估计方法、装置、设备及存储介质,包括获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数;根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。用以提高材质渲染效果。

Description

材质表面反射参数的估计方法、装置、设备及存储介质
技术领域
本申请涉及图形渲染技术领域,具体地涉及一种材质表面反射参数的估计方法、装置、设备及存储介质。
背景技术
渲染技术是动漫、电影制作及虚拟现实的主要技术。当前的渲染技术主要有两种发展方向,一种是追求真实的照片级图像质量的渲染(Photorealistic Rendering,PR);一种是追求特殊艺术效果的非真实渲染(Non-Photorealistic Rendering,NPR)。真实感渲染是目前大多三维作品追求的效果,研究要点主要集中在真实性。随着技术的发展,真实感渲染越来越倾向于测量真实感材质来提高渲染质量。
真实感材质的测量需要通过材质采集设备采集真实世界中各种材质的信息,将采集的信息采用相关函数,例如双向反射分布函数(Bidirectional ReflectanceDistrbution Function,BRDF)或者空间变化双向反射分布函数(Spatially VaryingBidirectional Reflectance Distrbution Function,SVBRDF)对物体的表面反射特性进行描述,进而可以在三维模型进行渲染时采用获取的相关材质模型参数通过渲染引擎进行渲染,使渲染后的三维模型能够逼真地模拟现实世界的物体和场景。
由于真实世界中的物体由多种材质混合而成,通常采用空间变化的双向反射分布函数(spatially-varying bidirectional reflectance distribution function,SVBRDF)描述物体表面的发射特性。SVBRDF是BRDF的一种引申,表示基于空间位置变化的BRDF函数。SVBRDF主要针对存在纹理变化的材质(带有图案的卡纸、带有花纹的布料等)的表面属性进行表征。由于SVBRDF主要面向有图案的卡纸、有花纹的布料等具有纹理变化的材质,这类材质在纹理上的视觉效果最为显著,而材质的纹理信息通过材质的漫反射系数来表征。因此,材质的漫反射系数的准确性越高,则渲染出的场景越真实。为了测量出SVBRDF的材质表面反射参数,在一些技术中通过测角反射计采集待测材质表图像。测角反射计通常由照亮待测材质的光源和捕捉该待测材质反射光的成像传感器组成。光源能够从不同方位照明,成像传感器能够从待测材质周围半球的不同方位捕获数据。目前,在测角反射计进行待测材质表面图像采集时,需按照预设顺序依次开启光源,成像传感器按照采集次序依次进行待测材质表面图像的采集。在图像采集过程中,每组角度下成像传感器为了图像亮暗部信息的完整性会进行曝光调节,在采集如绒布、毛衣等极端漫反射(表面粗糙、吸光,不同角度下的高光都很弱)材质时,增大曝光时间,已采集更多的材质细节。但是在增大曝光时间时,同时会增大图像的噪声,造成采集的图像噪声较多,且图像材质采集的效率较低。而在常规曝光时间采集图像时,成像较暗,因而会损失很多图像暗部细节。在根据上述方式采集的材质表面图像利用预设拟合算法,可以估计出待测材质对应的SVBRDF的材质表面反射参数,但是材质重建效果的真实性一般。
发明内容
有鉴于此,本申请提供一种材质表面反射参数的估计方法、装置、设备及存储介质,以利于解决现有技术中材质采集效率低且材质重建效果的真实性一般的问题。
第一方面,本申请实施例提供了一种材质表面反射参数的估计方法,包括:
获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数;所述采集参数用于表征所述目标材质图像采集时的采集条件;
根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述预设材质表面模型用于表征目标材质表面反射光线的分布;
根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。在本申请实施例中,通过多次拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数,使得计算出的漫反射系数更准确,进而可以提高材质渲染真实性效果。
在第一方面的一种可能的实现方式中,所述采集参数包括:图像采集器件采集目标材质图像时图像采集器件的采集位置及采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。
在第一方面的一种可能的实现方式中,所述根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括:
针对采集的多个目标材质图像中每个目标材质图像,根据所述目标材质图像的采集角度,获取所述目标材质图像对应的目标视角图像;根据所述目标材质图像的采集角度及所述目标材质图像对应的点亮的光源的光照角度,确定所述目标材质图像对应的每个颜色通道的反射光辐射率基准值;根据所述目标材质图像对应的每个颜色通道的反射光辐射率基准值、所述目标材质图像的曝光时间、所述目标视角图像中每个像素点的每个颜色通道的像素值,计算所述目标视角图像中每个像素点在每个颜色通道的反射光辐射率;根据所述目标材质图像的采集位置及采集角度、所述目标材质图像对应的点亮的光源的位置及光照角度确定所述目标视角图像中每个像素点的采集角度及点亮的光源的光照角度;
针对第一目标视角图像中每个像素点,根据所述第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;其中,所述第一目标视角图像是多个目标视角图像中任一个目标视角图像;所述其他目标视角图像是所述多个目标视角图像中除所述第一目标视角图像之外的目标视角图像。这样,由于目标视角是最大程度避开高光,拍摄到未过曝图像的视角,因此,目标材质图像对应的目标视角图像可以剔除图像中过曝区域,避免了饱和部分对高光反射参数及漫反射系数确定的准确性影响。从而在针对第一目标视角图像中每个像素点,获取第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,估计装置可以利用预设拟合算法,估计该像素点及第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时,由于避免了饱和部分对高光反射参数及漫反射系数确定的准确性影响,可以提高第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的准确性,从而可以提高材质渲染真实性效果。
在第一方面的一种可能的实现方式中,所述根据所述目标材质图像的采集角度,获取所述目标材质图像对应的目标视角图像包括:
根据所述目标材质图像的采集角度,确定所述目标材质图像是否目标视角图像;
在所述目标材质图像不是目标视角图像时,则根据所述目标材质图像的采集角度,对所述目标材质图像进行目标视角校正处理,得到目标材质图像对应的目标视角图像。
在第一方面的一种可能的实现方式中,所述针对第一目标视角图像中每个像素点,根据所述第一目标视角图像中该像素点及第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括:
根据每个目标视角图像中每个像素点的像素坐标及像素值,将所述每个目标视角图像内的像素点划分为至少一类像素;
针对第一目标视角图像中的每类像素,根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
由于在估计预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时,使用的像素点越多越准确。因此,在本申请实施例中,为了更准确的确定出材质表面反射参数,将每个目标视角图像中的像素点划分为不同类像素,每类像素中包含至少一个像素点,此时针对不同类像素进行相应的预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。这样可以提高每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的准确性。
在第一方面的一种可能的实现方式中,所述根据每个目标视角图像中每个像素点的像素坐标及像素值,将所述每个目标视角图像内的像素点划分为至少一类像素包括:
获取预设目标采集角度的目标视角图像;
根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,将所述预设目标采集角度的目标视角图像中的像素点划分为至少一类像素;
根据所述预设目标采集角度的目标视角图像中的像素点划分的至少一类像素,将其他采集角度的目标视角图像中对应像素坐标的像素点划分为所述至少一类像素。这样提高了分类速度,降低了分类的复杂性。
在第一方面的一种可能的实现方式中,所述根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数包括:
根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像;所述第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点;
针对第三目标视角图像中每个像素点,根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数;其中,所述第二像素点是所述第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中,与所述第三目标视角图像的该像素点相同像素坐标的像素点;所述第三目标视角图像是所述第二目标视角图像中任一个第二目标视角图像。
这样通过对漫反射系数的重新估计,可以提高漫反射系数的估计准确性,即为提高了SVBRDF重建结果中纹理部分的准确性。这样一来,使用该SVBRDF的材质表面反射参数进行图像渲染时,可以呈现出更为真实的材质渲染效果,提高渲染效果。
在第一方面的一种可能的实现方式中,还包括:
根据所述第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,形成目标材质对应的预设材质微表面模型的高光反射参数贴图;
根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数,形成目标材质对应的预设材质微表面模型的漫反射系数贴图。这样容易存储及查找,提高了目标材质在预设微表面模型的反射参数获取的便捷性。
在第一方面的一种可能的实现方式中,高光反射参数包括:高光系数及高光项参数;
所述预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm);
其中,fr表示反射光辐射率,∈d表示漫反射系数,fd表示漫反射项参数,ks表示高光系数,fm表示与目标材质图像的第m个光照光源相关的高光项参数;m为大于0的整数。
这样,由于高光项参数与光源相关,在本申请实施例中,预设材质微表面模型中的高光项参数与目标材质图像的光照光源的数量相对应。在目标材质图像的光照光源有至少一个时,预设材质微表面模型中的高光项参数包含有至少一个,这样与点亮多个光源进行目标材质图像采集相应,在进行数据拟合过程中,需要利用多项高光项参数进行预设微表面模型的拟合,以保证测量与拟合的数据一致性。
在第一方面的一种可能的实现方式中,所述高光项参数包括:法向量、菲涅尔基础反射率、粗糙度中的至少一个。
在第一方面的一种可能的实现方式中,
其中,lm表示第m个点亮的光源的光照角度,vi表示第i个图像采集器件的采集角度;i为大于0的整数;hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,n表示法向量;D(hm)表示预设材质微表面模型的法向分布项,F(vm)表示预设材质微表面模型的菲涅尔反射项,G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项;
α表示目标材质的粗糙度,/>表示半角向量hm与法向量n间的夹角;
F0表示目标材质表面的基础反射率;
这样,预设材质微表面模型的实现方式简单,降低目标材质反射参数估计的复杂性,易于实现。
在第一方面的一种可能的实现方式中,所述目标材质包括极端漫反射材质;
所述获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数包括:
获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。这样一来,在本申请实施例中,针对极端漫反射材质,可以采用多光源照射下采集其表面图像的方式来采集目标材质图像。通过同时点亮特定组合的多个方向光源,提高材质表面的辐照度,在图像采集器件使用床柜曝光时间下采集图像时,可以提高目标材质成像的亮度,在节省采集时间的同时可以保证图像暗部细节也被采集到,提高了采集数据的信噪比,进而提升了材质表面反射参数的准确性,即为提升了SVBRDF重建结果的准确性。
第二方面,本申请实施例提供了一种材质表面反射参数的估计装置,包括:
获取单元,用于获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数;所述采集参数用于表征所述目标材质图像采集时的采集条件;
处理单元,用于根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述预设材质表面模型用于表征目标材质表面反射光线的分布;
所述处理单元,还用于根据采集的每个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。
在第二方面的一种可能的实现方式中,所述采集参数包括:图像采集器件采集目标材质图像时图像采集器件的采集位置及采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。
在第二方面的一种可能的实现方式中,所述处理单元,具体用于针对采集的多个目标材质图像中每个目标材质图像,根据所述目标材质图像的采集角度,获取所述目标材质图像对应的目标视角图像;根据所述目标材质图像的采集角度及所述目标材质图像对应的点亮的光源的光照角度,确定所述目标材质图像对应的每个颜色通道的反射光辐射率基准值;根据所述目标材质图像对应的每个颜色通道的反射光辐射率基准值、所述目标材质图像的曝光时间、所述目标视角图像中每个像素点的每个颜色通道的像素值,计算所述目标视角图像中每个像素点在每个颜色通道的反射光辐射率;根据所述目标材质图像的采集位置及采集角度、所述目标材质图像对应的点亮的光源的位置及光照角度确定所述目标视角图像中每个像素点的采集角度及点亮的光源的光照角度;
针对第一目标视角图像中每个像素点,根据所述第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;其中,所述第一目标视角图像是多个目标视角图像中任一个目标视角图像;所述其他目标视角图像是所述多个目标视角图像中除所述第一目标视角图像之外的目标视角图像。
在第二方面的一种可能的实现方式中,所述处理单元,具体用于根据所述目标材质图像的采集角度,确定所述目标材质图像是否目标视角图像;
在所述目标材质图像不是目标视角图像时,则根据所述目标材质图像的采集角度,对所述目标材质图像进行目标视角校正处理,得到目标材质图像对应的目标视角图像。
在第二方面的一种可能的实现方式中,所述处理单元,具体用于根据每个目标视角图像中每个像素点的像素坐标及像素值,将所述每个目标视角图像内的像素点划分为至少一类像素;
针对第一目标视角图像中的每类像素,根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
在第二方面的一种可能的实现方式中,所述处理单元,具体用于获取预设目标采集角度的目标视角图像;
根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,将所述预设目标采集角度的目标视角图像中的像素点划分为至少一类像素;
根据所述预设目标采集角度的目标视角图像中的像素点划分的至少一类像素,将其他采集角度的目标视角图像中对应的像素坐标的像素点划分为所述至少一类像素。
在第二方面的一种可能的实现方式中,所述处理单元,具体用于根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像;所述第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点;
针对第三目标视角图像中每个像素点,根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数;其中,所述第二像素点是所述第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中,与所述第三目标视角图像的该像素点相同像素坐标的像素点;所述第三目标视角图像是所述第二目标视角图像中任一个第二目标视角图像。
在第二方面的一种可能的实现方式中,所述处理单元,还用于根据所述第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,形成目标材质对应的预设材质微表面模型的高光反射参数贴图;
根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数,形成目标材质对应的预设材质微表面模型的漫反射系数贴图。
在第二方面的一种可能的实现方式中,高光反射参数包括:高光系数及高光项参数;
所述预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm);
其中,fr表示反射光辐射率,kd表示漫反射系数,fd表示漫反射项参数,ks表示高光系数,dm表示与目标材质图像的第m个光照光源相关的高光项参数;m为大于0的整数。
在第二方面的一种可能的实现方式中,所述高光项参数包括:法向量、菲涅尔基础反射率、粗糙度中的至少一个。
在第二方面的一种可能的实现方式中,
其中,lm表示第m个点亮的光源的光照角度,vi表示第i个图像采集器件的采集角度;i为大于0的整数;hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,n表示法向量;D(hm)表示预设材质微表面模型的法向分布项,F(vm)表示预设材质微表面模型的菲涅尔反射项,G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项;
α表示目标材质的粗糙度,/>表示半角向量hm与法向量n间的夹角;
F0表示目标材质表面的基础反射率;
在第二方面的一种可能的实现方式中,所述目标材质包括极端漫反射材质;
所述处理单元,具体用于获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
第三方面,本申请实施例提供了一种电子设备,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被所述处理器执行时,触发所述电子设备执行上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一项所述的方法。
采用本申请实施例所提供的方案,获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数及漫反射系数;根据采集的多个目标材质图像的目标颜色通道的像素值、每个目标材质图像的采集参数及目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。这样一来,在本申请实施例中,通过多次拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数,使得计算出的漫反射系数更准确,进而可以提高材质渲染真实性效果。并且,在本申请中目标材质图像是在至少一个光源的光照条件下采集,减少了采集的图像暗部信息损失及图像噪声,提高了目标材质图像采集的准确性同时提升了目标材质图像的采集效率,可以进一步提高漫反射系数估计的准确性,提高材质渲染真实性效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种材质表面反射参数的估计方法的流程示意图;
图2为本申请实施例提供的一种材质表面反射参数的估计方法的场景示意图;
图3为本申请实施例提供的另一种材质表面反射参数的估计方法的场景示意图;
图4为本申请实施例提供的另一种材质表面反射参数的估计方法的流程示意图;
图5为本申请实施例提供的另一种材质表面反射参数的估计方法的场景示意图;
图6为本申请实施例提供的一种材质表面反射参数的估计装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在对本申请实施例进行具体介绍之前,首先对本申请实施例应用或可能应用的术语进行解释。
BRDF(Bidirectional Reflectance Distribution Function,双向反射分布函数),是定义光线在不透明表面反射属性的四元函数,用材质给定出射方向上的辐射率与给定入射方向上的辐射照度的比值来衡量,它描述了入射光线经过某个材质表面反射后在各个出射方向上的分布,主要是针对单色均匀的材质,例如纯色油漆等。
SVBRDF(Spatially Varying Bidirectional Reflectance DistrbutionFunction,空间变化双向反射分布函数),是BRDF的一种引申,表示基于空间位置变化的BRDF函数,主要针对存在纹理变化的材质,例如,带有图案的卡纸、带有花纹的布料等。
Gonioreflectometers:测角反射计,是测量BRDF/SVBRDF的一类设备。这类设备由照亮待测量材质的光源和捕捉该材质反射光的成像传感器组成。光源能够从不同方位照明,成像传感器能够从目标材质周围半球的不同方位捕获数据。
颜色通道,保存图像颜色信息的通道。每个颜色通道都存放着图像中颜色元素的信息。所有颜色通道中的颜色叠加混合产生图像中像素的颜色。
相关技术中,由于真实世界中的物体由多种材质混合而成,通常采用SVBRDF描述物体表面的发射特性。BRDF记录了光线沿某一光源方向入射物体表面一点并沿着某一视线方向反射出的辐射度比。SVBRDF是BRDF的一种引申,表示基于空间位置变化的BRDF函数。SVBRDF主要针对存在纹理变化的材质(带有图案的卡纸、带有花纹的布料等)的表面属性进行表征。由于SVBRDF主要面向有图案的卡纸、有花纹的布料等具有纹理变化的材质,这类材质在纹理上的视觉效果最为显著,而材质的纹理信息通过材质的漫反射系数来表征。因此,材质的漫反射系数的准确性越高,则渲染出的场景越真实。为了测量出SVBRDF的材质表面反射参数,在一些技术中通过测角反射计采集待测材质表图像。测角反射计通常由照亮待测材质的光源和捕捉该待测材质反射光的成像传感器组成。光源能够从不同方位照明,成像传感器能够从待测材质周围半球的不同方位捕获数据。目前,在测角反射计进行待测材质表面图像采集时,需按照预设顺序依次开启光源,成像传感器按照采集次序依次进行待测材质表面图像的采集。在图像采集过程中,每组角度下成像传感器为了图像亮暗部信息的完整性会进行曝光调节,在采集如绒布、毛衣等极端漫反射(表面粗糙、吸光,不同角度下的高光都很弱)材质时,增大曝光时间,已采集更多的材质细节。但是在增大曝光时间时,同时会增大图像的噪声,造成采集的图像噪声较多。而在常规曝光时间采集图像时,成像较暗,因而会损失很多图像暗部细节。在根据上述方式采集的材质表面图像利用预设拟合算法,可以估计出待测材质对应的SVBRDF的材质表面反射参数。但是估计出的材质的漫反射系数准确性较低,导致材质渲染效果较差。
针对上述问题,本申请实施例提供了一种材质表面反射参数的估计方法、装置、设备及存储介质,获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;根据采集的多个目标材质图像的目标颜色通道的像素值、每个目标材质图像的采集参数及目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。这样一来,在本申请实施例中,通过多次拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数,使得计算出的漫反射系数更准确,进而可以提高材质渲染真实性效果。并且,在本申请中目标材质图像是在至少一个光源的光照条件下采集,例如,对高光材质进行表面图像采集时,可以使用单光源的光照条件下采集目标材质图像。对粗糙、吸光的极端漫反射材质,可以使用多光源同时光照条件下采集目标材质图像。这种在至少一个光源的光照条件下采集的目标材质图像减少了采集的图像暗部信息损失及图像噪声,提高了目标材质图像采集的准确性同时提升了目标材质图像的采集效率,可以进一步提高高光反射参数和漫反射系数估计的准确性,提高材质渲染真实性效果。并且,以下进行详细说明。
参见图1,为本申请实施例提供的一种材质表面反射参数的估计方法的流程示意图。如图1所示,所述方法包括:
步骤S101、获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
其中,采集参数用于表征目标材质图像采集时的采集条件。不同目标材质图像的采集参数不同。
在本申请实施例中,在渲染技术中追求真实感成为当前图像渲染的主流。目前通常需要在真实世界采集材质SVBRDF参数以构建材质库,以便在进行图像渲染时,可以通过材质库中查找出相应材质的SVBRDF参数,并采用相应材质的SVBRDF参数进行渲染。在构建材质库时,需要对不同的材质表面反射参数进行采集。在对材质表面反射参数进行采集时,需先采集该材质表面图像。此时,可以通过材质采集设备进行目标材质图像的采集。
在本申请实施例中,材质采集设备中包含有多个图像采集器件及多个光源。其中,图像采集器件用于采集目标材质的表面图像,是一种成像器件。材质采集设备中图像采集器件及多个光源分布在以放置目标材质的位置为中心的半球面上,并且不同的图像采集器件分布在材质采集设备的不同位置,不同的图像采集器件相对于目标材质的采集角度不完全相同,不同的光源分布在材质采集设备的不同位置,不同的光源相对于目标材质中的光照角度不完全相同。在进行目标材质图像采集时,材质采集设备可以控制其内的多个光源依次点亮,不同位置的图像采集器件分别自动调整曝光时间后对光照下的目标材质进行目标材质图像的采集。材质采集设备可以控制其内的多个光源依次点亮,且每次仅点亮一个光源。也可以在控制器其内的多个光源依次点亮时针对不同的高度角的光源,每次可以同时点亮至少两个光源。例如,针对高度角不大于预设角度的光源,材质采集设备每次仅点亮单个光源,此时图像采集器件在单个光源的光照下采集目标材质图像。针对高度角大于预设角度的光源,材质采集设备每次点亮至少两个光源,且至少两个光源为高度角相同,且方位角对称设置的光源。此时,图像采集器件在至少两个光源的光照下采集目标材质图像。其中,光源的高度角是指在空间坐标系中,光源与z轴间的夹角。光源的方位角是指在空间坐标系中,光源在xy平面的投影与x轴间的夹角,如图2所示。
示例性的,材质采集设备中包含有高度角为15°、30°、45°及60°的多个光源。在进行目标材质图像的采集时,对于高度角不大于30°的光源,材质采集设备每次进行点亮一个光源,即为材质采集设备依次点亮高度角为15°、30°的光源,且每次仅点亮一个光源,图像采集器件在单个光源的光照下采集目标材质图像。对于高度角大于30°的光源,材质采集设备每次同时点亮2个高度角一致且方位角对称设置的光源,即为,在高度角为45°及60°的光源中,材质采集设备每次同时点亮2个高度角相同且方位角对称的光源,图像采集器件在2个光源的光照下采集目标材质图像。
此时,材质表面反射参数的估计装置(以下简称估计装置)可以从材质采集设备中获取在至少一个光源的光照下采集的多个目标材质图像,及每个目标材质图像采集时的采集参数,即为获取材质采集设备每次采集目标材质图像时的采集条件。
本申请实施例中,采集参数可以包括图像采集器件采集目标材质图像时图像采集器件的采集位置及采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度,即为每个目标材质图像的采集参数可以包括图像采集器件采集该目标材质图像时的采集位置及采集角度、图像采集器件采集目标材质图像时的曝光时间及图像采集器件采集该目标材质图像时点亮的光源的位置及光照角度。其中,在图像采集器件采集该目标材质图像时点亮的光源有至少两个时,则采集参数中包含的图像采集器件采集该目标材质图像时点亮的光源的位置及光照角度是指在图像采集器件采集该目标材质图像时同时点亮的至少两个光源的位置及光照角度。
应理解的是,点亮光源是指开启光源使得光源发光。
本申请实施例中,目标材质包括极端漫反射材质;
此时,估计装置可以从材质采集设备中获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
其中,极端漫反射材质是指在不同高度角光源的照射下均会均匀地反射光线的材质,例如为粗糙的材质、吸光的材质等。
在本申请实施例中,在单一方向光源光照下不同材质的光反射形态不同,如图3所示。在附图3中不同线型的弧线代表不同材质属性所呈现的反射光的形态。针对高光材质,当材质采集装置依次开启一个光源,在单个光源的光照下通过图像采集器件进行目标材质图像的采集时,图像采集器件可以使用常规的曝光时间进行图像采集。针对极端漫反射材质,由于表面粗糙、吸光,不同角度下的高光都很弱,图像采集器件若采用常规曝光时间进行图像采集则会导致图像成像较暗,目标材质的部分细节内容容易丢失。若调节曝光时间增长采集时间,容易引起图像噪声。因此,在本申请实施例中,当目标材质为极端漫反射材质时,材质采集设备可以采用多个光源同时点亮,图像采集器件进行图像采集的方式,这样可以使用常规曝光时间进行图像采集,且由于多个光源照射,采集的图像亮暗信息较为完整,提高了目标材质图像采集的准确性。
也就是说,在本申请实施例中,针对极端漫反射材质,可以采用多光源照射下采集其表面图像的方式来采集目标材质图像。通过同时点亮特定组合的多个方向光源,提高材质表面的辐照度,在图像采集器件使用床柜曝光时间下采集图像时,可以提高目标材质成像的亮度,在节省采集时间的同时可以保证图像暗部细节也被采集到,提高了采集数据的信噪比,进而提升了材质表面反射参数的准确性,即为提升了SVBRDF重建结果的准确性。
步骤S102、根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
其中,预设材质表面模型用于表征目标材质表面反射光线的分布。即为,在本申请实施例中,若通过SVBRDF材质表征方式来表征材质表面反射参数时,则预设材质表面模型用于表征SVBRDF。
在本申请实施例中,为了在渲染时实现真实渲染效果,因此需要计算出目标材质的表面反射参数,进行渲染。而在渲染时实际是针对图像中不同颜色通道进行相应的渲染,因此在计算目标材质表面反射参数时实际需计算出不同颜色通道对应的目标材质的表面反射参数。基于此,估计装置在获取了在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数后,可以利用采集的多个目标材质图像中每个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,计算出目标材质图像在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数。
需要说明的是,预设拟合算法是预先设置,用于计算出材质表面反射参数的拟合算法,可以是Levenberg-Marquardt(列文伯格-马夸尔特法)算法,或者其他非线性优化算法,例如可以是最速梯度下降算法,或者牛顿算法,或者高斯牛顿法等,本申请对此不作限制。
预设材质微表面模型是预先设置的一种用于表征目标材质的SVBRDF的模型,该模型可以是以Beckman表征法向分布项的Cook-Torrance模型,还可以是GGX模型,或者SGD(Shifted Gamma Distribution,平移伽马分布)模型,或者STD(Student's T-Distribution,学生T-分布)模型等其他基于物理的模型,或者是Phong模型、Blinn-Phong模型等基于经验的模型,本申请对此不作限制。
本申请实施例中,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时,需要估计出目标材质图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。为了估计出目标材质图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,估计装置需先确定每个目标材质图像中各个像素点在每个颜色通道的反射光辐射率及采集参数。
基于此,在确定每个目标材质图像中各个像素点在每个颜色通道的反射光辐射率时,针对采集的多个目标材质图像中每个目标材质图像,估计装置可以根据目标材质图像对应的采集角度,获取目标材质图像对应的目标视角图像;估计装置可以根据目标材质图像对应的采集角度及目标材质图像对应的点亮的光源的光照角度,确定目标材质图像对应的每个颜色通道的反射光辐射率基准值;估计装置可以根据目标材质图像对应的每个颜色通道的反射光辐射率基准值、目标材质图像的曝光时间、目标视角图像中每个像素点的每个颜色通道的像素值,计算目标视角图像中每个像素点在每个颜色通道的反射光辐射率。
由于多个目标材质图像是由多个图像采集器件拍摄的,每个图像采集器件的采集角度不同,因此每个目标材质图像的视角不同。在目标材质为高光材质时,存在该高光材质在一般视角下产生图像过曝区域的可能,图像过曝区域会损失材质的原始信息,只有在特定视角下可以避开高光,拍摄到未过曝图像。因此为了提高计算出的目标材质表面反射参数的准确性,可以对多个目标材质图像进行视角校正,将所有的目标材质图像转换为目标视角的图像,从而可以剔除图像过曝区域,避免了过饱和部分对高光反射参数及漫反射系数确定的影响。基于此,估计装置在获取了多个目标材质图像后,针对多个目标材质图像中的每个目标材质图像,根据该目标材质图像的采集角度,对该目标材质图像进行目标视角校正处理,得到该目标材质图像对应的目标视角图像。
需要说明的是,目标视角是根据实际需求预先设定的可以最大程度避开高光,拍摄到未过曝图像的视角,例如可以是正视角。
本申请实施例中,估计装置可以通过下述方式根据目标材质图像的采集角度,获取目标材质图像对应的目标视角图像:
估计装置可以根据目标材质图像的采集角度,确定目标材质图像是否目标视角图像;在目标材质图像不是目标视角图像时,则估计装置可以根据目标材质图像的采集角度,对目标材质图像进行目标视角校正处理,得到目标材质图像对应的目标视角图像。
即为,由于材质采集设备中的图像采集器件有多个,每个图像采集器件的采集角度不完全相同,因此,存在图像采集器件的采集角度为目标视角的情况,此时图像采集器件采集的目标材质图像为目标视角图像。因此,估计装置在获取每个目标材质图像的目标视角图像时,需要先检测每个目标材质图像是否为目标视角图像。估计装置可以根据每个目标材质图像的采集角度是否为目标视角。若是,则可以确定该目标材质图像即为目标视角图像。若不是,则需要将该目标材质图像转换为目标视角图像。此时,可以根据该目标材质图像的采集角度,确定视角转换数据信息,进而根据视角转换数据信息,对目标材质图像进行目标视角校正处理,以将该目标材质图像转换为目标视角图像,得到目标材质图像对应的目标视角图像。也就是说,在采集的目标材质图像不是目标视角图像时,需要将目标材质图像进行图像透射变换,转换为目标视角图像。
应理解的是,目标视角是预先设定的,可以根据每个图像采集器件的采集角度,通过计算不同采集角度的图像采集器件拍摄的图像之间的透射变换数据,预先设定每个图像采集器件采集的图像转换为目标视角图像时的视角转换数据信息。这样一来,估计装置可以在获取到目标材质图像后,可以直接根据目标材质图像的采集角度确定其视角转换数据信息,进而可以根据该视角转换数据信息对目标材质图像进行目标视角校正处理,得到对应的目标视角图。
本申请实施例中,视角转换数据信息可以是视角转换数据矩阵,以便目标材质图像内的每个像素的像素值进行调整。
估计装置在获取了每个目标材质图像对应的目标视角图像后,需要进一步对每个目标材质图像的辐射度校正,去除光照强度的影响,得到校正后的反射光辐射率。即为,针对每个目标材质图像对应的目标视角图像,估计装置需要对该目标材质图像的辐射度进行校正处理。由于需计算出不同颜色通道对应的目标材质的表面反射参数,因此,在进行反射光辐射度的校正时是针对不同的颜色通道分别进行校正。基于此,在进行目标材质图像的所有颜色通道中的目标颜色通道的辐射度校正时,估计装置可以先获取该目标材质图像的采集角度及图像采集器件采集该目标材质图像时点亮的光源的光照角度,根据该目标材质图像的采集角度及图像采集器件采集该目标材质图像时点亮的光源的光照角度,确定目标材质图像对应的目标颜色通道的反射光辐射率基准值。估计装置根据目标材质图像对应的目标颜色通道的反射光辐射率基准值、目标材质图像的曝光时间、目标材质图像对应的目标视角图像中每个像素点的目标颜色通道的像素值,计算目标视角图像中每个像素点在目标颜色通道的反射光辐射率。其中,目标颜色通道是目标材质图像所有颜色通道中的任一个颜色通道。在计算出目标视角图像中每个像素点在目标颜色通道的反射光辐射率后,可以在目标材质图像中未进行反射光辐射度校正的颜色通道中确定一个颜色通道更新为目标颜色通道,并重新进行上述目标颜色通道的反射光辐射度校正的步骤,直至目标材质图像中所有颜色通道的反射光辐射度校正完成,得到目标视角图像中每个像素点在每个颜色通道的反射光辐射率。
本申请实施例中,估计装置通过公式计算目标视角图像中每个像素点在每个颜色通道的反射光辐射率。
其中,frj表示第a个像素点在第j个颜色通道的反射光辐射率,Xa表表示第a个像素点的目标颜色通道的像素值,tb表示目标材质图像的曝光时间,frj基表示目标材质图像对应的第j个颜色通道的反射光辐射率基准值。其中,a为大于0的整数。j为大于0且不大于b的整数;b为目标材质图像中包含的颜色通道的个数。
通过上述方式,可以计算出目标视角图像中每个像素点在每个颜色通道的反射光辐射率。
需要说明的是,反射光辐射率基准值是预先获取的。其获取过程如下:
先确定至少一个光源的所有点亮组合方式。例如,有3个光源a,b,c,3个光源的所有点亮组合方式包括:仅点亮光源a;仅点亮光源b;仅点亮光源c;同时点亮光源a及光源b;同时点亮光源a及光源c;同时点亮光源b及光源c;同时点亮光源a、光源b及光源c。根据至少一个光源的所有点亮组合方式,按照每个组合方式点亮相应的光源,且在光源点亮时,通过多个图像采集器件对标准漫反射白板进行采集,得到多个第一图像。对多个第一图像进行目标视角的校正,得到多个第一图像的目标视角图像。根据每个第一图像的目标视角图像中每个颜色通道的像素值及该图像的曝光时间计算每个第一图像的目标视角图像的每个颜色通道的反射光辐射率基准值。此时,可以将目标视角图像中每个颜色通道的像素值与该图像的曝光时间的比值作为目标视角图像中每个颜色通道的反射光辐射率基准值。
应理解的是,在计算目标视角图像中每个颜色通道的反射光辐射率基准值时,需先将目标视角图像中每个颜色通道的像素值与该图像的曝光时间进行归一化处理,在归一化处理后,将归一化处理后的目标视角图像中每个颜色通道的像素值与该图像的曝光时间的比值作为目标视角图像中每个颜色通道的反射光辐射率基准值。
在确定各个像素点的采集参数时,针对采集的多个目标材质图像中每个目标材质图像,估计装置还可以根据目标材质图像对应的图像采集器件的采集位置及采集角度、目标材质图像对应的点亮的光源的位置及光照角度确定目标材质图像对应的目标视角图像中每个像素点的采集角度及点亮的光源的光照角度。
需要说明的是,在本申请实施例中,目标材质图像的采集角度是指图像采集器件采集目标材质图像时的采集角度。目标材质图像的采集位置是指图像采集器件采集目标材质图像时的采集位置。
在本申请实施例中是根据每个目标视角图像中各个像素点的每个颜色通道的像素值进行相应的材质表面反射参数的估计,由于目标视角图像中各个像素点的位置不同,则目标材质图像的采集角度及对应的点亮的光源的光照角度相对于每个像素点是不同的。因此,可以根据目标材质图像的采集角度、采集位置、对应的点亮的光源的位置及光照角度,目标视角图像中每个像素点的像素坐标,计算出目标视角图像中每个像素点对应的采集角度及点亮的光源的光照角度。
其中,目标视角图像中像素点的像素坐标用于表征目标视角图像中像素点在目标视角图像中的位置。此时,可以根据该目标视角图像建立一个坐标系。例如,以目标视角图像中任意一像素点为原点建立以像素为单位的直接坐标系u-v。像素点的横坐标u与纵坐标v分别是在目标视角图像数组中所在的列数与所在行数。通过上述方式,可以通过像素坐标确定出目标视角图像中任一像素点的位置。
估计装置在确定出每个目标材质图像对应的目标视角图像中各个像素点的在每个颜色通道的反射光辐射率、各个像素点的采集角度及点亮的光源的光照角度后,可以基于确定的上述参数,计算出各个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
应理解的,虽然不同的目标视角图像对应的采集角度及点亮的光源的光照角度不同,但是在本申请实施例中多个目标视角图像均是对相同的目标材质在目标视角下采集的图像,因此每个目标视角图像中相同像素坐标的像素点对应的目标材质上的采样点位置是相同的,因此每个目标视角图像的相同像素坐标的像素点在预设材质微表面模型中相同颜色通道的高光反射参数及漫反射系数是相同的。
并且,由于仅根据一个目标视角图像的一个像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,无法利用预设拟合算法,估计出该像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,因此需要参考其他目标视角图像中相位像素坐标的像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率。因此,可以通过每个目标视角图像中相同像素坐标的像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计出位于相同像素坐标的像素点的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。也就是说,在预设材质微表面模型用于表征SVBRDF时,估计装置在确定出每个目标视角图像中各个像素点的采集角度及点亮的光源的光照角度后,可以将每个目标视角图像中相同像素坐标的像素点对应的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率作为位于相同像素坐标的像素点的SVBRDF的测量值,利用预设拟合算法,估计出相同像素坐标的像素点的SVBRDF的高光反射参数和漫反射系数。
由于每个目标视角图像的相同像素坐标的像素点在预设材质微表面模型中相同颜色通道的高光反射参数及漫反射系数是相同的,因此,估计第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时,也是估计其他目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。基于此,在本申请实施例中,为了方便说明,下述以估计第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数为例进行说明。
此时,针对第一目标视角图像中每个像素点,估计装置可以获取第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,估计装置可以利用预设拟合算法,估计该像素点及第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
其中,第一目标视角图像可以是多个目标视角图像中任一个目标视角图像;其他目标视角图像可以是多个目标视角图像中除第一目标视角图像之外的其他目标视角图像。
由于估计装置需要逐个颜色通道的计算出第一目标视角图像的该像素点在预设微表面模型中的高光反射参数和漫反射系数,因此,可以以估计装置估计第一目标视角图像的该像素点在预设微表面模型中目标颜色通道的高光反射参数和漫反射系数为例进行说明。此时,估计装置可以获取预先设置的预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的初始值,根据预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的初始值、第一目标视角图像中该像素点及第一像素点的采集角度、点亮的光源的光照角度、分别计算出第一目标视角图像中该像素点及第一像素点在预设材质微表面模型中在目标颜色通道的拟合反射光辐射率。在计算出第一目标视角图像中该像素点及第一像素点在预设材质微表面模型中在目标颜色通道的拟合反射光辐射率后,估计装置需计算第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,与第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率间的误差,根据该误差确定第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率是否逼近第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率。若第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率逼近第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率,则将此时的预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的初始值确定为第一目标视角图像中该像素点及第一像素点在预设微表面模型中目标颜色通道的高光反射参数和漫反射系数。若不逼近,则根据预设拟合算法,调整预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的值,根据调整后的预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的值、第一目标视角图像中该像素点及第一像素点的采集角度、点亮的光源的光照角度、分别重新计算出第一目标视角图像中该像素点及第一像素点在预设材质微表面模型中在目标颜色通道的拟合反射光辐射率。在重新计算出第一目标视角图像中该像素点及第一像素点在预设材质微表面模型中在目标颜色通道的拟合反射光辐射率后,估计装置需重新计算第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,与第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率间的误差,根据重新计算出的误差重新确定第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,是否逼近第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率。若不逼近,则根据上述预设拟合算法,重新调整预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的值,并重新执行上述计算第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,并判断第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,是否逼近第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率的过程,直至第一目标视角图像中该像素点及第一像素点的拟合反射光辐射率,逼近第一目标视角图像中该像素点及第一像素点的在目标颜色通道的反射光辐射率,此时可以确定出第一目标视角图像中该像素点及第一像素点在预设微表面模型中目标颜色通道的高光反射参数和漫反射系数。
这样一来,由于目标视角图像避免了饱和部分对高光反射参数及漫反射系数确定的准确性影响,上述方法可以提高第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的准确性,从而可以提高材质渲染真实性效果。
通过上述方式,可以确定出第一目标视角图像中该像素点及第一像素点在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数。同理,估计装置可以通过上述方式,估计出第一目标视角图像中每个像素点在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数。
需要说明的是,预设微表面模型中目标颜色通道的高光反射参数和漫反射系数的初始值可以是用户根据经验值预先设置的。
本申请实施例中,为了进一步提高高光反射参数和漫反射系数估计的准确性,可以增加每个高光反射参数及漫反射系数估计时,使用的像素点的相关参数的个数。基于此,估计装置可以根据每个目标视角图像中每个像素点的像素坐标及像素值,将每个目标视角图像内的像素点划分为至少一类像素;
针对第一目标视角图像中的每类像素,估计装置可以根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中的每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数。
也就是说,由于在估计预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时,使用的像素点越多越准确。因此,在本申请实施例中,为了更准确的确定出材质表面反射参数,估计装置可以将每个目标视角图像中的像素点划分为不同类像素,每类像素中包含至少一个像素点,此时针对不同类像素进行相应的预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。这样一来,可以认为相同类像素内包含的像素点对应的每个颜色通道的高光反射参数及漫反射系数相同,估计装置可以利用每个目标视角图像中相同类像素内的包含的像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。基于此,估计装置可以根据每个目标视角图像中每个像素点的像素坐标及像素值,将每个目标视角图像内的像素点划分为至少一类像素,不同目标视角图像中相同像素坐标的像素点划分至相同类像素中。即为,根据每个目标视角图像中每个像素点的像素坐标及像素值,将每个目标视角图像内的像素点划分为q类像素。此时,估计装置可以根据每个目标视角图像中每个像素点的像素值及像素坐标,将像素坐标相邻且像素值间的差值在预设像素阈值内的像素划分为一类。或者,可以预先设置聚类算法,估计装置可以根据每个目标视角图像中每个像素点的像素值及像素坐标,利用预先设置的聚类算法将每个目标视角图像中的像素划分为q类像素,其中,不同目标视角图像中相同像素坐标的像素点属于相同类像素。
本申请实施例中,预设设置的聚类算法可以是K-means聚类算法。当然还可以是其他聚类算法,例如,均值漂移聚类、DBSCAN(Density-Based Spatial Clustering ofApplications with Noise,基于密度的噪声应用空间)聚类,或者其他聚类算法,本申请对此不作限制。
本申请实施例中,估计装置可以通过下述方式将每个目标视角图像内的像素点划分为至少一类像素:
估计装置可以获取预设目标采集角度的目标视角图像。估计装置可以根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,将预设目标采集角度的目标视角图像中的像素点划分为至少一类像素;估计装置可以根据预设目标采集角度的目标视角图像中的像素点划分的至少一类像素,将其他采集角度的目标视角图像中对应像素坐标的像素点划分为至少一类像素。
即为,为了提高分类速度,估计装置可以针对预设目标采集角度的目标视角图像,利用预设聚类算法将其内的像素点进行至少一类像素的划分。由于其他采集角度的目标视角图像与预设目标采集角度的目标视角图像(简称预设角度图像)均是针对相同目标材质进行拍摄,且均是目标视角图像,其他采集角度的目标视角图像中与预设角度图像中相同像素坐标位置处的像素点对应的目标材质上的采样点位置是相同的,因此可以以预设角度图像内像素点划分为至少一类像素为参考,将其他采集角度下的目标视角图像内对应像素坐标的像素点也相应的划分,得到至少一类像素。其中,其他采集角度下的目标视角图像与预设角度图像中相同像素坐标的像素点属于相同类像素。也就是说,估计装置获取预设目标采集角度的目标视角图像。根据该预设目标采集角度的目标视角图像内每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,例如K-means聚类算法,将预设目标采集角度的目标视角图像中的像素点划分为q类像素。估计装置将根据预设目标采集角度的目标视角图像中的像素点划分的q类像素,以预设目标采集角度的目标视角图像中每个像素点的划分类别为参考,将其他采集角度的目标视角图像中对应像素坐标的像素点也进行相同类别的划分,从而将其他采集角度的目标视角图像中像素点划分为q类像素。其中,q为大于0且不大于p的整数。p为预设目标采集角度的目标视角图像中包含的像素点的个数。
示例性的,假设有目标视角图像为B1,B2及B3,且B1,B2及B3中均包含有20个像素点;假设预设目标采集角度的目标视角图像为B1,且B1中包含20个像素点,估计装置根据预设聚类算法,例如K-means聚类算法,将预设目标采集角度的目标视角图像B1中像素坐标为(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)、(a5,b5)的像素点划分为一类像素A1,将像素坐标为(a6,b6)、(a7,b7)、(a8,b8)、(a9,b9)、(a10,b10)的像素点划分为一类像素A2,将像素坐标为(a11,b11)、(a12,b12)、(a13,b13)、(a14,b14)、(a15,b15)的像素划分为一类像素A3,将像素坐标为(a16,b16)、(a17,b17)、(a18,b18)、(a19,b19)、(a20,b20)的像素划分为一类像素A4。估计装置可以将其他采集角度的目标视角图像B2及B3内对应像素坐标的像素点也进行相同的划分,即为将其他采集角度的目标视角图像B2及B3中的像素坐标为(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)、(a5,b5)的像素点划分为一类像素A1,将像素坐标为(a6,b6)、(a7,b7)、(a8,b8)、(a9,b9)、(a10,b10)的像素点划分为一类像素A2,将像素坐标为(a11,b11)、(a12,b12)、(a13,b13)、(a14,b14)、(a15,b15)的像素划分为一类像素A3,将像素坐标为(a16,b16)、(a17,b17)、(a18,b18)、(a19,b19)、(a20,b20)的像素划分为一类像素A4。
在将每个目标视角图像内的像素点划分为至少一类像素后,可以认为每个目标视角图像中相同类像素对应的目标材质上的采样点位置是相同的,因此可以认为每个目标视角图像中相同类像素在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数相同。此时,可以估计某个目标视角图像的每类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数,即为估计其他目标视角图像的每类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。因此,可以以估计第一目标视角图像的每类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数为例进行说明。针对第一目标视角图像中的每类像素,根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中包含的每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。由于参与高光反射参数及漫反射系数估计的像素点的个数较多,提高了高光反射参数及漫反射系数估计的准确性。此时,由于是按像素类别估计的高光反射参数及漫反射系数,因此,相同类像素中每个像素点对应的高光反射参数及漫反射系数是相同的。例如,A1类像素中包含有像素点1,像素点2,像素点3及像素点4。在估计出A1类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。此时,A1类像素内包含的像素点1,像素点2,像素点3及像素点4在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数相同。
如上例所述,假设目标视角图像为B1,B2及B3均包含有3个颜色通道,分别为R颜色通道,G颜色通道及B颜色通道。估计装置在将目标视角图像为B1,B2及B3中的每个目标视角图像中包含的像素点均划分为A1,A2,A3,A4类像素后,可以根据目标视角图像B1,B2及B3中的A1类像素包含的像素点的采集角度、点亮的光源的光照角度及在R颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A1类像素在预设微表面模型中R颜色通道的高光反射参数及漫反射系数。根据目标视角图像B1,B2及B3中的A1类像素包含的像素点的采集角度、点亮的光源的光照角度及在G颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A1类像素在预设微表面模型中G颜色通道的高光反射参数及漫反射系数。根据目标视角图像B1,B2及B3中的A1类像素包含的像素点的采集角度、点亮的光源的光照角度及在B颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A1类像素在预设微表面模型中B颜色通道的高光反射参数及漫反射系数。同理,可以根据目标视角图像B1,B2及B3中的A2类像素包含的像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A2类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。根据目标视角图像B1,B2及B3中的A3类像素包含的像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A3类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。根据目标视角图像B1,B2及B3中的A4类像素包含的像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计B1,B2及B3中的A4类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。其中,相同类像素中每个像素点对应的高光反射参数及漫反射系数是相同的。假设,A1类像素中包含有像素点1,像素点2,像素点3及像素点4。在估计出A1类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。此时,A1类像素内包含的像素点1,像素点2,像素点3及像素点4在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数相同。并且不同目标视角图像中相同像素坐标的像素点在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数相同。因此,估计装置可以估计出目标视角图像B1,B2及B3中每个像素点的在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数相同。
本申请实施例中,高光反射参数包括:高光系数及高光项参数。
预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm);
其中,fr表示反射光辐射率,kd表示漫反射系数,fd表示漫反射项参数,ks表示高光系数即为镜面反射系数,fm表示与目标材质图像的第m个光照光源相关的高光项参数;m为大于0的整数。
在本申请实施例中,预设微表面模型中的漫反射系数kd与目标材质的纹理有关,与目标材质图像拍摄时点亮的关于光源无关,而高光项参数与目标材质图像对应的点亮光源的光照角度及采集角度有关,因此在采集目标材质图像时点亮的光源有至少一个时,则在预设微表面模型中的高光项参数也有至少一个。即为,目标材质图像的点亮光源的光照角度及采集角度的每种组合方式均有对应的一项高光项参数fm,且不同组合方式对应的高光项参数fm不同。例如,在采集目标材质图像时,点亮光源有两个,即为其光照角度有2个,图像采集器件有2个,即为采集角度有2个。此时,目标材质图像的点亮光源的光照角度及采集角度的组合方式有4种,则在预设微表面模型中有4项高光项参数。
这样,由于高光项参数与光源相关,在本申请实施例中,预设材质微表面模型中的高光项参数与目标材质图像的光照光源的数量相对应。在目标材质图像的光照光源有至少一个时,预设材质微表面模型中的高光项参数包含有至少一个,这样与点亮多个光源进行目标材质图像采集相应,在进行数据拟合过程中,需要利用多项高光项参数进行预设微表面模型的拟合,以保证测量与拟合的数据一致性。
本申请实施例中,高光项参数包括:镜面反射参数、法向量、菲涅尔基础反射率、粗糙度中的至少一个。
本申请实施例中,在预设微表面模型为Cook-Torrance模型时,则高光项参数fm可以通过下述公式表示。
其中,
lm表示第m个点亮的光源的光照角度,vi表示第i个图像采集器件的采集角度;i为大于0的整数;hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,n表示法向量;D(hm)表示预设材质微表面模型的法向分布项,F(vm)表示预设材质微表面模型的菲涅尔反射项,G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项;α表示目标材质的粗糙度,表示半角向量hm与法向量n间的夹角;F0表示目标材质表面的基础反射率。
在本申请实施例中,在预设微表面模型确定时,则其内对应的高光项参数fm的计算公式也可以确定。例如,在预设微表面模型为Cook-Toorance模型时,则由于fm中包含有hm。hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,因此高光项参数与点亮的光源的光照角度及采集角度有关。D(hm)表示预设材质微表面模型的法向分布项,与法向量、目标材质表面的粗糙度有关。F(vm)表示预设材质微表面模型的菲涅尔反射项,与目标材质表面的基础反射率及法向量有关。G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项,与法向量有关。
这样一来,用户需根据预设微表面模型fr=kdfd+ks(f1+f2+…+fm); 预先设置的目标材质图像在fr=kdfd+ks(f1+f2+…+fm)中的高光反射参数和漫反射系数的初始值。即为,在预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm),且/>时,用户需预先设置目标材质图像在预设材质微表面模型中的高光系数ks,菲涅尔基础反射率、粗糙度、法向量及漫反射系数kd的初始值。例如,可以由用户根据经验进行设置高光系数ks,菲涅尔基础反射率、粗糙度、法向量及漫反射系数kd的初始值。
由于为了更准确的计算出高光反射参数及漫反射系数,估计装置预先将每个目标视角图像中的像素点划分至不同类像素,每类像素中包含至少一个像素点,相同类像素内包含的像素点在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数kd相同。基于此,在计算每类像素在预设微表面模型中每个颜色通道的漫反射系数kd及高光反射参数时,估计装置可以逐个颜色通道进行每类像素在预设微表面模型的漫反射系数kd及高光反射参数的估计。下述以估计装置估计每类像素在预设微表面模型中目标颜色通道的漫反射系数kd及高光反射参数为例进行说明。每类像素在预设微表面模型中其他颜色通道的漫反射系数kd及高光反射参数的估计可参考每类像素在预设微表面模型中目标颜色通道的漫反射系数kd及高光反射参数。具体如下:
针对第一目标视角图像中的每类像素,估计装置可以根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点在目标颜色通道的反射光辐射率,每个像素点的采集角度,点亮的光源的光照角度,用户预先设置的高光反射参数和漫反射系数的初始值,针对公式fr=kdfd+ks(f1+f2+…+fm);
利计算出该类像素及第一类像素中每个像素点在目标颜色通道的拟合反射光辐射率。也就是说,估计装置根据用户预先设置的目标材质图像在预设材质微表面模型中的高光系数ks、菲涅尔基础反射率、粗糙度、法向量及漫反射系数kd的初始值、该类像素及第一类像素中每个像素点的采集角度,点亮的光源的光照角度,根据公式fr=kdfd+ks(f1+f2+…+fm); 计算出该类像素及第一类像素中每个像素点在目标颜色通道的拟合反射光辐射率。估计装置根据第一拟合反射光辐射率与第一反射光辐射率的误差,确定第一拟合反射光辐射率是否逼近第一反射光辐射率。
其中,第一拟合反射光辐射率是指该类像素及第一类像素中每个像素点在目标颜色通道的拟合反射光辐射率。第一反射光辐射率是指该类像素及第一类像素中每个像素点在目标颜色通道的反射光辐射率。
本申请实施例中,第一拟合反射光辐射率与第一反射光辐射率的误差可以是均方根误差。即为,估计装置可以计算第一拟合反射光辐射率的拟合均方根、第一反射光辐射率的目标均方根,从而计算拟合均方根及目标均方根间的均方根误差,在均方根误差大于预设阈值时,则认为第一拟合反射光辐射率未逼近第一反射光辐射率。
若不逼近,则估计装置可以利用预设拟合算法优化该类像素及第一类像素在预设微表面模型中目标颜色通道的漫反射系数kd、高光系数ks、菲涅尔基础反射率、粗糙度、法向量等参数,并根据优化后的漫反射系数kd、高光系数ks、菲涅尔基础反射率、粗糙度、法向量、该类像素及第一类像素中每个像素点的采集角度,点亮的光源的光照角度,重新计算出该类像素及第一类像素中每个像素点在目标颜色通道的拟合反射光辐射率,即为重新计算第一拟合反射光辐射率。估计装置根据重新计算的第一拟合反射光辐射率及第一反射光辐射率间的误差,确定重新计算的第一拟合反射光辐射率是否逼近第一反射光辐射率。若不逼近,则重新利用预设拟合算法优化该类像素及第一类像素在预设微表面模型中目标颜色通道的漫反射系数kd、高光系数ks、菲涅尔基础反射率、粗糙度、法向量等参数,并重新利用优化的高光反射参数及漫反射系数计算该类像素及第一类像素中每个像素点在目标颜色通道的拟合反射光辐射率,即为重新计算第一拟合反射光辐射率,并根据重新判断第一拟合反射光辐射率是否逼近第一反射光辐射率,直至重新计算后的第一拟合反射光辐射率逼近第一反射光辐射率,此时可以确定出该类像素及第一类像素在预设微表面模型中目标颜色通道的高光系数ks、菲涅尔基础反射率、粗糙度、法向量、漫反射系数kd,即为确定该类别像素及第一类像素在预设微表面模型中目标颜色通道的高光反射参数及漫反射系数。通过上述方式,估计装置可以将该类像素及第一类像素在预设微表面中每个颜色通道的高光反射参数及漫反射系数估计出。
通过上述方式,估计装置可以将第一目标视角图像中每类像素在预设表面模型中每个颜色通道的高光反射参数及漫反射系数估计出,即为得到第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数及漫反射系数。
本申请实施例中,为了提高估计出的高光反射参数的准确性,可以将法向量通过光度立体算法计算得出,并不通过用户预先设置。
这样,预设材质微表面模型为Cook-Toorance模型时,实现方式简单,降低目标材质反射参数估计的复杂性,易于实现。
步骤S103、根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。
在本申请实施例中,考虑到SVBRDF主要用于表述包含纹理变化的材质,应更关注材质的漫反射系数,因此在上述步骤S102中目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数后,可以将目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数作为已知参数,将目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数重新作为未知参数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。此时,为了提高重新估计的漫反射系数的准确性,可以将步骤S102中估计出的目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数的值,作为重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数的初始值。
本申请实施例中,估计装置可以通过下述方式重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数:
估计装置可以根据已估计出的第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定第二目标视角图像中每个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
针对第三目标视角图像中每个像素点,估计装置可以根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率及每个像素点的已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数。
其中,第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像;第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点。第二像素点是第二目标视角图像中除第三目标视角图像之外的其他第二目标视角图像中,与第三目标视角图像的该像素点相同像素坐标的像素点;第三目标视角图像是第二目标视角图像中任一个第二目标视角图像。
也就是说,在本申请实施例中,在进行预设材质微表面模型中每个颜色通道的漫反射系数的重新估计时,可以先从多个目标视角图像中确定出第二目标视角图像。即为,将采集的多个目标视角图像中的饱和目标视角图像剔除,筛选出第二目标视角图像,这样可以避免过曝区域对漫反射系数估计结果的影响。此时,估计装置可以先获取预设亮度阈值及预设数量阈值,根据每个目标视角图像中各个像素点的像素值,筛选出每个目标视角图像中像素点的像素值大于预设亮度阈值的目标像素点。针对每个目标视角图像,检测该目标视角图像中的目标像素点的数量是否大于数量阈值。在目标视角图像中的目标像素点的数量不大于数量阈值时,则认为该目标视角图像不是饱和目标视角图像,将其确定为第二目标视角图像。若目标视角图像中的目标像素点的数量大于数量阈值时,则认为该目标视角图像是饱和目标视角图像,需要剔除。通过上述方法可以在多个目标视角图像中,筛选出至少一个第二目标视角图像。这样,可以将在采集的多个目标视角图像中剔除饱和的目标视角图像,以避免过曝区域对漫反射系数估计准确性的影响,从而提高漫反射系数估计的准确性。
在上述步骤S102中将每个目标视角图像中的像素点划分为至少一类,在针对第一目标视角图像中每类像素估计出第一目标视角图像中每类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数后,由于同一类像素内的像素点在预设微表面模型中相同颜色通道的高光反射参数及漫反射系数相同,因此,估计装置可以确定出第一目标视角图像中每个像素点在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。例如,第一目标视角图像包括4类像素分别为A1类像素,A2类像素,A3类像素及A4类像素,且第一目标视角图像包含3个颜色通道,假设为R颜色通道,G颜色通道及B颜色通道。估计装置在确定出第一目标视角图像中4类像素中每类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数后,估计装置可以确定出第一目标视角图像A1类像素中每个像素点在预设微表面模型中R颜色通道的高光反射参数及漫反射系数,A1类像素中每个像素点在预设微表面模型中G颜色通道的高光反射参数及漫反射系数,A1类像素中每个像素点在预设微表面模型中B颜色通道的高光反射参数及漫反射系数。同理,估计装置在确定出第一目标视角图像A2类像素,A3类像素及A4类像素在预设微表面模型中每个颜色通道的高光反射参数及漫反射系数。
由于不同目标视角图像中相同像素坐标的像素点对应的目标材质中采样点的位置是相同的。因此,不同目标视角图像中相同像素坐标的像素点在相同颜色通道的高光反射参数及漫反射系数相同。基于此,估计装置可以根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定出第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。由于在步骤S102中是针对第一目标视角图像中每类像素在预设微表面模型中每个颜色通道的漫反射系数进行估计的,第一目标视角图像中相同类像素中包含的像素点的漫反射系数均是相同的。但是由于目标材质纹理的变化,每个像素点的漫反射系数不完全相同,因此为了更准确的得到漫反射系数,需要对预设微表面模型中每个颜色通道的漫反射系数重新进行估计。此时,估计装置确定出第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数及漫反射系数后,可以将已估计出的第二目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数的值,作为重新估计预设材质微表面模型中每个颜色通道的漫反射系数时,第二目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数的初始值。
由于每个目标视角图像中相同像素坐标的像素点对应的目标材质上的采样点位置是相同的,因此,每个目标视角图像的相同像素坐标的像素点在预设材质微表面模型中相同颜色通道的高光反射参数及漫反射系数是相同的。在本申请实施例中,第二目标视角图像的数量为至少一个。基于此,估计装置可以根据每个第二目标视角图像中相同像素坐标的像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的初始值,利用预设拟合算法,重新估计位于相同像素坐标的像素点像在预设材质微表面模型中每个颜色通道的漫反射系数。在本申请实施例中,为了方便说明,下述以重新估计第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数为例进行说明。
估计装置可以逐像素点的估计第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数。此时,针对第三目标视角图像中每个像素点,估计装置可以根据第三目标视角图像中该像素点及其他第二目标视角图像中与该像素点相同像素坐标的第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的第三目标视角图像中该像素点及第二像素点在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计第三目标视角图像中该像素点及第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数。
本申请实施例中,在预设微表面模型fr=kdfL+ks(f1+f2+…+fm); 时,估计装置可以根据第三目标视角图像中该像素点及其他第二目标视角图像中与该像素点相同像素坐标的第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的第三目标视角图像中该像素点及第二像素点在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数的值,针对fr=kdfL+ks(f1+f2+…+fm);/> 利用预设拟合算法,重新估计出第三目标视角图像中该像素点及第二像素点在预设微表面模型中每个颜色通道的漫反射系数。通过上述方式可以重新估计出第三目标视角图像中每个像素点在预设微表面模型中每个颜色通道的漫反射系数,即为可以通过上述方式可以重新估计出第二目标视角图像中每个像素点在预设微表面模型中每个颜色通道的漫反射系数。
其中,估计装置根据第三目标视角图像中该像素点及其他第二目标视角图像中与该像素点相同像素坐标的第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的第三目标视角图像中该像素点及第二像素点在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,针对预设微表面模型fr=kdfL+ks(f1+f2+…+fm); 利用预设拟合算法,重新估计出第三目标视角图像中该像素点及第二像素点在预设微表面模型中每个颜色通道的漫反射系数的实现方式,可以参考上述步骤S102中估计装置根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点在目标颜色通道的反射光辐射率,每个像素点的采集角度,点亮的光源的光照角度,用户预先设置的高光反射参数和漫反射系数的初始值,针对公式fr=kdfd+ks(f1+f2+…+fm);/> 利用预设拟合算法,迭代估计出第一目标视角图像中该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,在此不再赘述。
通过上述方法,可以重新估计出第三目标视角图像及其他第二目标视角图像中每个像素点在预设微表面模型中每个颜色通道的漫反射反射参数。
其中,在重新估计第三目标视角图像及其他第二目标视角图像中每个像素点在预设微表面模型中每个颜色通道的漫反射反射参数时,可以将上述步骤S102中已估计出的第二目标视角图像中每个像素点在预设微表面模型中每个颜色通道的漫反射系数的值,作为重新估计相应颜色通道的漫反射系数时的初始值。
这样一来,针对极端漫反射材质,例如绒布、毛衣等粗糙吸光材质,在各个方向光源的光照条件,极端漫反射材质均不会产生明显的高光,在现有技术对极端漫反射材质进行目标材质图像采集时,若在常规曝光时间下进行采集时成像较暗,因而会损失很多图像暗部细节,而在调整加长曝光时间时,会因曝光时间较长导致采集图像时引入更多的图像噪声,且增加整体采集时间,降低采集效率。在本申请实施例中,针对极端漫反射材质,可以采用多光源照射下采集其表面图像的方式来采集目标材质图像。通过同时点亮特定组合的多个方向光源,提高材质表面的辐照度,在图像采集器件使用床柜曝光时间下采集图像时,可以提高目标材质成像的亮度,在节省采集时间的同时可以保证图像暗部细节也被采集到,提高了采集数据的信噪比,进而提升了材质表面反射参数的准确性,即为提升了SVBRDF重建结果的准确性。并且与点亮多个光源进行目标材质图像采集相应,在进行数据拟合过程中,需要利用多项高光项参数进行预设微表面模型的拟合,以保证测量与拟合的数据一致性。
另外,由于SVBRDF主要面向有纹理变化的材质,这类材质在纹理上的视觉效果最为显著。本申请基于此,针对表征纹理的漫反射系数进行了优化拟合,通过先进行第一次拟合估计出目标材质在用于表征SVBRDF的预设微表面模型的高光反射参数,然后单独将漫反射系数作为变量进而第二次拟合,得到目标材质在用于表征SVBRDF的预设微表面模型的漫反射系数,提高了漫反射系数的估计准确性,即为提高了SVBRDF重建结果中纹理部分的准确性。此外,许多高光材质在一般视角下容易产生图像过曝区域,损失了材质的原始信息,只有在特定视角下可以避开高光拍摄到未过曝图像,而在一些便携式材质采集设备中,由于采集视角稀疏,无法保证高光材质图像的成像质量,过曝区域通常会对材质漫反射项有较大影响,本发明在通过针对漫反射系数进行第二次拟合的方法也在一定程度上避免了该问题,提升了SVBRDF重建结果的鲁棒性。这样一来,使用该SVBRDF的材质表面反射参数进行图像渲染时,可以呈现出更为真实的材质渲染效果,提高渲染效果。
参见图4为本申请实施例提供的一种材质表面反射参数的估计方法的流程示意图。该方法相对于上述图1所述的实施例来说,增加了反射参数贴图的生成步骤。如图4所示,所述方法包括:
步骤S401、获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
其中,采集参数用于表征所述目标材质图像采集时的采集条件。
具体可参考步骤S101,在此不再赘述。
步骤S402、根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
其中,预设材质表面模型用于表征目标材质表面反射光线的分布。
具体可参考步骤S102,在此不再赘述。
步骤S403、根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数
具体可参考步骤S103,在此不再赘述。
步骤S404、根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,形成目标材质对应的在预设材质微表面模型的高光反射参数贴图。
在本申请实施例中,为了方便存储及查找第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,可以根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数生成目标材质对应的在预设材质微表面模型的高光反射参数贴图。此时,可以将第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数作为高光反射参数贴图中每个像素点的每个颜色通道的灰度值,从而形成高光反射参数贴图。由于高光反射参数包括高光系数及高光项参数,因此在形成高光反射参数贴图时,是针对每个参数形成一个贴图。即为,针对第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光系数,形成目标材质对应的在预设材质微表面模型的高光系数贴图,如图5所示。同理,由于高光项参数包括法向量、基础反射率参数、粗糙度,因此针对每个高光项参数,可以形成一个贴图。即为,根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的法向量,形成目标材质对应的图像在预设材质微表面模型的法向量贴图。根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的菲涅尔基础反射率,形成目标材质对应的在预设材质微表面模型的菲涅尔基础反射率贴图。根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的粗糙度,形成目标材质对应的图像在预设材质微表面模型的粗糙度贴图。
步骤S405、根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数,形成目标材质对应的在预设材质微表面模型的漫反射系数贴图。
具体可参数步骤S404,在此不再赘述。此时,形成的目标材质对应的在预设材质微表面模型的漫反射系数贴图参考图5所示。
参见图6为本申请实施例提供的一种材质表面反射参数的估计装置的结构示意图。参考图6所示,该估计装置包括:
获取单元601,用于获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数.
其中,采集参数用于表征目标材质图像采集时的采集条件。
处理单元602,用于根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
其中,预设材质表面模型用于表征目标材质表面反射光线的分布。
处理单元602,还用于根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。
本申请实施例中,采集参数可以包括图像采集器件采集目标材质图像时图像采集器件的采集位置与采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。
本申请实施例中,处理单元602,具体用于针对采集的多个目标材质图像中每个目标材质图像,根据目标材质图像的采集角度,获取目标材质图像对应的目标视角图像;根据目标材质图像的采集角度及目标材质图像对应的点亮的光源的光照角度,确定目标材质图像对应的每个颜色通道的反射光辐射率基准值;根据目标材质图像对应的每个颜色通道的反射光辐射率基准值、目标材质图像的曝光时间、目标视角图像中每个像素点的每个颜色通道的像素值,计算目标视角图像中每个像素点在每个颜色通道的反射光辐射率;根据目标材质图像的采集位置及采集角度、目标材质图像对应的点亮的光源的位置及光照角度确定目标视角图像中每个像素点的采集角度及点亮的光源的光照角度。
针对第一目标视角图像中每个像素点,根据第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
其中,第一目标视角图像是多个目标视角图像中任一个目标视角图像;其他目标视角图像是多个目标视角图像中除第一目标视角图像之外的目标视角图像。
本申请实施例中,处理单元602,具体用于根据目标材质图像的采集角度,确定目标材质图像是否目标视角图像。
在目标材质图像不是目标视角图像时,则根据目标材质图像的采集角度,对目标材质图像进行目标视角校正处理,得到目标材质图像对应的目标视角图像。
本申请实施例中,处理单元602,具体用于根据每个目标视角图像中每个像素点的像素坐标及像素值,将每个目标视角图像内的像素点划分为至少一类像素。
针对第一目标视角图像中的每类像素,根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
本申请实施例中,处理单元602,具体用于获取预设目标采集角度的目标视角图像;根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,将预设目标采集角度的目标视角图像中的像素点划分为至少一类像素;根据预设目标采集角度的目标视角图像中的像素点划分的至少一类像素,将其他采集角度的目标视角图像中对应像素坐标的像素点划分为至少一类像素。
本申请实施例中,处理单元602,具体用于根据已估计出的第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
针对第三目标视角图像中每个像素点,根据第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用预设拟合算法,重新估计该像素点及第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数。
其中,第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像;第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点。第二像素点是第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中,与第三目标视角图像的该像素点相同像素坐标的像素点;第三目标视角图像是第二目标视角图像中任一个第二目标视角图像。
本申请实施例中,处理单元602,还用于根据第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,形成目标材质对应的在预设材质微表面模型的高光反射参数贴图;
根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数,形成目标材质对应的在预设材质微表面模型的漫反射系数贴图。
本申请实施例中,高光反射参数包括:高光系数及高光项参数。
预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm);
其中,fr表示反射光辐射率,kd表示漫反射系数,fd表示漫反射项参数,ks表示高光系数,fm表示与目标材质图像的第m个光照光源相关的高光项参数;m为大于0的整数。
本申请实施例中,高光项参数包括:法向量、菲涅尔基础反射率、粗糙度中的至少一个。
本申请实施例中,
其中,lm表示第m个点亮的光源的光照角度,vi表示第i个图像采集器件的采集角度;i为大于0的整数;hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,n表示法向量;D(hm)表示预设材质微表面模型的法向分布项,F(vm)表示预设材质微表面模型的菲涅尔反射项,G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项;
α表示目标材质的粗糙度,/>表示半角向量hm与法向量n间的夹角;
F0表示目标材质表面的基础反射率;
本申请实施例中,目标材质包括极端漫反射材质。处理单元602,具体用于获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
与上述实施例相对应,本申请还提供了一种电子设备。图7为本发明实施例提供的一种电子设备的结构示意图,所述电子设备700可以包括:处理器701、存储器702及通信单元703。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明实施例的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,所述通信单元703,用于建立通信信道,从而使所述存储设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。
所述处理器701,为存储设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit,IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器701可以仅包括中央处理器(centralprocessing unit,CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
所述存储器702,用于存储处理器701的执行指令,存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当存储器702中的执行指令由处理器701执行时,使得电子设备700能够执行图1所示实施例中的部分或全部步骤。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的材质表面反射参数的估计方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于装置实施例和终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。

Claims (15)

1.一种材质表面反射参数的估计方法,其特征在于,包括:
获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数;所述采集参数用于表征所述目标材质图像采集时的采集条件;
根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述预设材质表面模型用于表征目标材质表面反射光线的分布;
根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。
2.根据权利要求1所述的方法,其特征在于,所述采集参数包括:图像采集器件采集目标材质图像时图像采集器件的采集位置与采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。
3.根据权利要求2所述的方法,其特征在于,所述根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括:
针对采集的多个目标材质图像中每个目标材质图像,根据所述目标材质图像的采集角度,获取所述目标材质图像对应的目标视角图像;根据所述目标材质图像的采集角度及所述目标材质图像对应的点亮的光源的光照角度,确定所述目标材质图像对应的每个颜色通道的反射光辐射率基准值;根据所述目标材质图像对应的每个颜色通道的反射光辐射率基准值、所述目标材质图像的曝光时间、所述目标视角图像中每个像素点的每个颜色通道的像素值,计算所述目标视角图像中每个像素点在每个颜色通道的反射光辐射率;根据所述目标材质图像的采集位置及采集角度、所述目标材质图像对应的点亮的光源的位置及光照角度确定所述目标视角图像中每个像素点的采集角度及点亮的光源的光照角度;
针对第一目标视角图像中每个像素点,根据所述第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;其中,所述第一目标视角图像是多个目标视角图像中任一个目标视角图像;所述其他目标视角图像是所述多个目标视角图像中除所述第一目标视角图像之外的目标视角图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标材质图像的采集角度,获取所述目标材质图像对应的目标视角图像包括:
根据所述目标材质图像的采集角度,确定所述目标材质图像是否目标视角图像;
在所述目标材质图像不是目标视角图像时,则根据所述目标材质图像的采集角度,对所述目标材质图像进行目标视角校正处理,得到目标材质图像对应的目标视角图像。
5.根据权利要求3或4所述的方法,其特征在于,所述针对第一目标视角图像中每个像素点,根据所述第一目标视角图像中该像素点及第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括:
根据每个目标视角图像中每个像素点的像素坐标及像素值,将所述每个目标视角图像内的像素点划分为至少一类像素;
针对第一目标视角图像中的每类像素,根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率,利用预设拟合算法,估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。
6.根据权利要求5所述的方法,其特征在于,所述根据每个目标视角图像中每个像素点的像素坐标及像素值,将所述每个目标视角图像内的像素点划分为至少一类像素包括:
获取预设目标采集角度的目标视角图像;
根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标,利用预设聚类算法,将所述预设目标采集角度的目标视角图像中的像素点划分为至少一类像素;
根据所述预设目标采集角度的目标视角图像中的像素点划分的至少一类像素,将其他采集角度的目标视角图像中对应像素坐标的像素点划分为所述至少一类像素。
7.根据权利要求5或6所述的方法,其特征在于,所述根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数包括:
根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像;所述第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点;
针对第三目标视角图像中每个像素点,根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数;其中,所述第二像素点是所述第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中,与所述第三目标视角图像的该像素点相同像素坐标的像素点;所述第三目标视角图像是所述第二目标视角图像中任一个第二目标视角图像。
8.根据权利要求7所述的方法,其特征在于,还包括:
根据所述第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数,形成目标材质对应的预设材质微表面模型的高光反射参数贴图;
根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数,形成目标材质对应的预设材质微表面模型的漫反射系数贴图。
9.根据权利要求1-8任一项所述的方法,其特征在于,高光反射参数包括:高光系数及高光项参数;
所述预设材质微表面模型包括:fr=kdfd+ks(f1+f2+…+fm);
其中,fr表示反射光辐射率,kd表示漫反射系数,fd表示漫反射项参数,ks表示高光系数,fm表示与目标材质图像的第m个光照光源相关的高光项参数;m为大于0的整数。
10.根据权利要求9所述的方法,其特征在于,所述高光项参数包括:法向量、菲涅尔基础反射率、粗糙度中的至少一个。
11.根据权利要求10所述的方法,其特征在于,
其中,lm表示第m个点亮的光源的光照角度,vi表示第i个图像采集器件的采集角度;i为大于0的整数;hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量,n表示法向量;D(hm)表示预设材质微表面模型的法向分布项,F(vm)表示预设材质微表面模型的菲涅尔反射项,G(lm,vi,hm)表示预设材质微表面模型的几何遮蔽项;
α表示目标材质的粗糙度,/>表示半角向量hm与法向量n间的夹角;
F0表示目标材质表面的基础反射率;
12.根据权利要求1-11任一项所述的方法,其特征在于,所述目标材质包括极端漫反射材质;
所述获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数包括:
获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。
13.一种材质表面反射参数的估计装置,其特征在于,包括:
获取单元,用于获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数;所述采集参数用于表征所述目标材质图像采集时的采集条件;
处理单元,用于根据采集的每个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数,利用预设拟合算法,估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数;所述预设材质表面模型用于表征目标材质表面反射光线的分布;
所述处理单元,还用于根据采集的每个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数,利用所述预设拟合算法,重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。
14.一种电子设备,其特征在于,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被所述处理器执行时,触发所述电子设备执行权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-12中任意一项所述的方法。
CN202211035635.6A 2022-08-26 2022-08-26 材质表面反射参数的估计方法、装置、设备及存储介质 Pending CN117671113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211035635.6A CN117671113A (zh) 2022-08-26 2022-08-26 材质表面反射参数的估计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211035635.6A CN117671113A (zh) 2022-08-26 2022-08-26 材质表面反射参数的估计方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117671113A true CN117671113A (zh) 2024-03-08

Family

ID=90077527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211035635.6A Pending CN117671113A (zh) 2022-08-26 2022-08-26 材质表面反射参数的估计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117671113A (zh)

Similar Documents

Publication Publication Date Title
CN109076148B (zh) 日常场景重建引擎
US10665011B1 (en) Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
Meilland et al. 3d high dynamic range dense visual slam and its application to real-time object re-lighting
WO2021042208A1 (en) Dynamically estimating light-source-specific parameters for digital images using a neural network
US10049294B2 (en) Imaging apparatus, systems and methods
Wu et al. Simultaneous localization and appearance estimation with a consumer RGB-D camera
JP5133626B2 (ja) 表面反射特性測定装置
US20230043787A1 (en) Lighting assembly for producing realistic photo images
CN114419240B (zh) 光照渲染方法、装置、计算机设备和存储介质
Logothetis et al. A cnn based approach for the near-field photometric stereo problem
Gibson et al. Flexible image‐based photometric reconstruction using virtual light sources
Lin et al. On‐site example‐based material appearance acquisition
JP5441752B2 (ja) 環境内の3d物体の3d姿勢を推定する方法及び装置
CN117671113A (zh) 材质表面反射参数的估计方法、装置、设备及存储介质
CN116758208A (zh) 全局光照渲染方法、装置、存储介质及电子设备
Wang et al. Capturing and rendering geometry details for BTF-mapped surfaces
Xia et al. Measuring low-order photometric parameters of light fields: methods exploration and simulations
Guarnera et al. Virtual material acquisition and representation for computer graphics
Ngan Acquisition and modeling of material appearance
CN112149578B (zh) 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
Granier et al. Interactive visualization of complex real-world light sources
WO2024061789A1 (en) Handling reflections in multi-view imaging
Jacobs et al. Coherent radiance capture of scenes under changing illumination conditions for relighting applications
Nikodým Global illumination computation for augmented reality
US20230090732A1 (en) System and method for real-time ray tracing in a 3d environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication