CN114627227A - 基于pbr材质的物体重建方法、设备及计算机可读存储介质 - Google Patents
基于pbr材质的物体重建方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114627227A CN114627227A CN202210536491.6A CN202210536491A CN114627227A CN 114627227 A CN114627227 A CN 114627227A CN 202210536491 A CN202210536491 A CN 202210536491A CN 114627227 A CN114627227 A CN 114627227A
- Authority
- CN
- China
- Prior art keywords
- map
- data
- pbr
- image data
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及计算机数据处理技术领域,提供一种基于PBR材质的物体重建方法,该方法包括:确定目标物体在多视角下的第一亮度图和漫反射贴图;根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图;基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。能够基于摄影测量重建出符合业界PBR材质标准的三维模型,还原物品材质质感,便于普通消费者制作高质量三维模型。
Description
技术领域
本申请涉及三维模型制作领域,尤其涉及一种基于PBR材质的物体重建方法、设备及计算机可读存储介质。
背景技术
为了满足普通消费者制作三维模型的需求,业界提供了基于摄影测量实现三维重建的方案,即通过摄影测量的图像重建出模型和漫反射贴图,进而实现三维模型的制作。但只有模型和漫反射贴图无法表现出物品在不同角度的光照下产生的高光,因此,现有的基于摄影测量三维重建的物品质感会有明显差异。
现阶段业界普遍采用的是PBR(Physicallly-Based Rendering,缩写PBR)材质模型来还原高光和漫反射,除了漫反射贴图,还需要生成手工方式制作的粗糙度贴图和金属度两张贴图,现有的基于摄影测量实现三维重建无法重建PBR材质,无法准确展现物品的材质质感,限制了普通消费者便捷地制作高质量的三维模型。
发明内容
本申请的主要目的在于提供一种基于PBR材质的物体重建方法、设备及计算机可读存储介质,旨在基于摄影测量重建出符合业界PBR材质标准的三维模型,还原目标物品材质质感,便于普通消费者制作高质量三维模型。
第一方面,本申请提供一种基于PBR材质的物体重建方法,所述基于PBR材质的物体重建方法包括以下步骤:
确定目标物体在多视角下的第一亮度图和漫反射贴图;
根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图;
基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。
第二方面,本申请还提供一种计算机设备,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述的计算机程序并在执行所述的计算机程序时实现如权利要求1至8中任一项所述的基于PBR材质的物体重建方法。
第三方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8中任一项所述的基于PBR材质的物体重建方法。
本申请提供一种基于PBR材质的物体重建方法、设备及计算机可读存储介质,本申请通过确定目标物体在多视角下的第一亮度图和漫反射贴图;根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图;基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。能够将第一亮度图和漫反射贴图相结合实现PBR材质的重建,简化了PBR材质的制作过程,旨在提高物体三维模型重建质量的同时降低制作成本。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于PBR材质的物体重建方法的流程示意图;
图2是本申请实施例提供的一种摄像设备前偏振片的设置示意图;
图3是本申请实施例提供的一种基于PBR材质的物体重建方法的重建结果示意图;
图4是本申请一实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,虽然在装置示意图中进行了功能模块的划分,但是在某些情况下,可以以不同于装置示意图中的模块划分。
在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1是本申请实施例提供的一种基于PBR材质的物体重建方法的示意流程图。其中,PBR材质是指基于物理渲染的材质,通常情况下,需要根据金属度和粗糙度两个属性值和相关贴图构建PBR材质。该基于PBR材质的物体重建方法可以基于摄影测量重建出符合业界PBR材质标准的三维模型,便于普通消费者制作高质量三维模型。
如图1所示,该基于PBR材质的物体重建方法包括步骤S101至步骤S103。
S101、确定目标物体在多视角下的第一亮度图和漫反射贴图。
其中,目标物体可以是非金属物品,具体可以是各类生活用品、服饰用品等用户需要进行三维重建的非金属物品;第一亮度图是基于目标物体反射光线时产生的高光区域生成的图;漫反射贴图是基于目标物体生成的目标物体的颜色贴图。所述第一亮度图和漫反射贴图用于确定所述目标物体的PBR纹理贴图,为生成具有PBR材质的三维重建结果作铺垫。
在一些实施例中,确定目标物体在多视角下的第一亮度图和漫反射图,包括:获取所述目标物体在多视角下的第一图像数据和第二图像数据,所述第一图像数据包括高光图像区域,所述第二图像不包括高光图像区域;根据所述第一图像数据和所述第二图像数据,确定所述第一亮度图;基于所述第二图像数据,确定所述目标物体的所述漫反射贴图。
示例性的,多视角拍摄可以是环绕物品拍摄,也可以使用自动化转台,并在固定时间间隔采集图像。拍摄的图像张数根据相机分辨率和物品的复杂程度确定,只要能够完整的覆盖到物品的每一个角度即可。拍摄设备是能够实现利用光学成像原理形成影像并记录影像的设备,例如手机、相机等。
在一些实施例中,获取所述目标物体在多视角下的第一图像数据和第二图像数据,包括:通过预设方向的偏振片对所述目标物体的进行多视角拍摄,得到所述第一图像数据和所述第二图像数据。
示例性的,在光源按照预设方向设置第一偏振片,作为起偏器;在摄像设备前设置第二偏振片,作为检偏器,通过调整第二偏振片的设置方向来获取两组图像。
具体地,第二偏振片的设置方向与第一偏振片的预设方向相同时,拍摄得到第一图像数据;第二偏振片的方向与第偏振片的预设方向相垂直时,拍摄得到第二图像数据。其中,光源可以是自然光或者灯光等,发射的是全向的光。
光源经过第一偏振片后就会变成线偏振光,而线偏振光照射到被拍摄物体上,反光的部分包括漫反射光和高光两部分。其中,漫反射光会变成全方向的光,高光部分还是入射的线偏振光。当这些反射的光通过检偏器进入摄像设备时,若第二偏振片的方向与第偏振片的方向相互垂直时,则高光部分的偏振方向和检偏器的方向垂直,会被全部过滤掉,而漫反射部分是全方向光,只会被过滤掉垂直于检偏器方向的那一半,损失一半能量之后进入镜头,图像主要信息不受影响,只会相对变暗;若第二偏振片的方向与第偏振片的方向相同时,则高光部分的偏振方向和检偏器的方向相同,不会被过滤掉,而漫反射部分是全方向光,只会被过滤掉垂直于检偏器方向的那一半,损失一半能量之后进入镜头,图像主要信息不受影响,只会相对变暗。因此,通过旋转检偏器,即改变第二偏振片的方向,可以得到的两组图像,一组是一半能量的漫反射加完整的高光图为第一图像数据,一组是只有一半能量的漫反射图为第二图像数据。
请参阅图2,图2是本申请实施例提供的一种摄像设备前偏振片的设置示意图。该设置示意图中包含有水平偏振片10,垂直偏振片20,摄像设备30。
具体地,将目标物体固定在相应的位置后,在光源前设置水平偏振片,接着,如图2左侧图像所示,通过在摄像设备30前设置水平偏振片10对目标物体进行多视角拍摄,获取第一图像数据;如图2右侧图像所示,调整摄像设备30前设置的偏振片为垂直偏振片20,对目标物体进行多视角拍摄,获取第二图像数据。
需要说明的是,本申请面向普通消费者,用户安装精度不够导致环境具有较大的不可控性,例如在实际使用中上偏振片难以完全设置垂直,导致反射的高光无法与检偏器形成精确的垂直关系,所以不可避免的会有部分高光进入镜头,又例如无法保证光源唯一,不可避免的会有其他光线的影响,因此,采集的第二图像数据往往存在高光和自遮挡阴影等现象。
在一些实施例中,根据所述第一图像数据和所述第二图像数据,确定所述第一亮度图,包括:将所述第一图像数据与所述第二图像数据进行对比,得到差异数据;提取所述差异数据中的高光数据;基于所述高光数据生成所述第一亮度图。
其中,差异数据为第一图像数据与第二图像数据中的差异数据,由于偏振片的设置方向不同,第一图像数据包括高光图像区域,第二图像不包括高光图像区域,两组图像数据通过作差得到的差异数据中包括了高光图像区域。
其中,高光数据为差异数据中显示高光图像区域的图像数据,基于普通消费者对图像采集上的固有缺陷,通过对比得到的差异数据往往不仅包括高光信息,还存在部分冗余的漫反射信息,需要进一步筛选,才能得到准确的高光数据。
具体地,将所述第一图像数据与所述第二图像数据进行对比,筛选两组图像数据都具有的数据,进而获取两组图像数据中不同的图像数据作为差异数据,通过预设识别模型提取差异数据中的高光数据,生成第一亮度图。由于偏振片的设置方向不同,第一图像数据包括高光图像区域,第二图像不包括高光图像区域,两组图像数据通过作差可以获取高光图像区域,生成第一亮度图。
在一些实施例中,提取所述差异数据中的高光数据,包括:将所述差异数据转化到UV空间,生成差异贴图;根据预设识别模型提取所述差异贴图中的高光数据。
其中,UV空间是驻留在多边形网格顶点上的两维纹理坐标点,定义了一个两维纹理坐标系统,这个空间用U和V两个字母定义坐标轴,用于确定如何将一个纹理图像放置在三维的模型表面。
其中,差异贴图是差异数据基于目标物体的几何模型与差异数据的对应关系转化到UV空间形成的贴图。
具体地,通过几何模型将多个视角下的差异数据与UV空间建立起对应关系,进而实现将图像数据转换到UV空间,生成UV空间内的差异贴图;将漫反射贴图转化到UV空间,用于辅助预设识别模型提取高光数据;利用预设识别模型对所述差异贴图中的各个位置的图像数据进行识别,提取出亮度值大于或等于预设亮度阈值、各视角拍摄到对应目标物体同一位置的数据变化值大于预设差异阈值、与漫反射贴图的图像数据不呈正比关系的数据,即为高光数据,用于生成第一亮度图。通过差异贴图对图像数据进一步筛选得到准确的高光数据,为生成第一亮度图做准备。
需要说明的是,基于普通消费者对图像采集上的固有缺陷,通过对比得到的差异数据往往不仅包括高光信息,还存在部分冗余的漫反射信息,通过将不同视角的图像数据转换到UV空间的贴图,能够实现区分出其中的高光信息和漫反射信息,进而得到准确的高光数据。
在一些实施例中,预设识别模型基于三个原则训练完成,用于实现分离高光信息和冗余信息。第一,差异数据中的高光数据只在特定视角上呈现,而漫反射数据在各个视角上都是一致的,因此,比较各个视角拍摄到目标物体同一位置的差异数据,若差异数据的变化值小于或等于预设差值阈值,则此数据在各个视角上都一致,为漫反射数据;若差异数据的变化值大于预设差异阈值,则表面此数据只在特定视角上呈现,为高光数据。第二,高光数据必然存在于差异贴图中明显亮于其他区域的区域,因此,判断差异贴图中各个位置的亮度值,若亮度值大于或等于预设亮度阈值,则为高光数据,若亮度值小于预设亮度阈值,则为漫反射数据。第三,差异贴图内的漫反射数据与漫反射贴图呈正比关系的,基于预设公式判断差异贴图中各个位置与漫反射贴图中对应位置的数据是否呈正比关系,若呈正比关系,则为漫反射数据;若不呈正比关系,则为高光数据。
S102、根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图。
其中,PBR纹理贴图为基于预设模型将亮度图转化生成的贴图,PBR纹理贴图可以表现出目标物体在不同角度的光照下产生的高光。
在一些实施例中,根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图,包括:根据色彩特征对所述漫反射贴图进行语义分割;按照所述漫反射贴图的语义分割结果对所述第一亮度图进行分割,得到多个语义区域;量化各个语义区域的亮度数据,生成第二亮度图;根据所述第二亮度图生成所述PBR纹理贴图。
其中,所述语义分割是对图像中的每一个像素进行分类,所述色彩特征是漫反射贴图中目标物体的各个像素点的颜色。
其中,第二亮度图为对第一亮度图的高光数据平滑处理后生成的图像,由于基于预设识别模型提取生成的第一亮度图是基于图像数据筛选生成,获得的高光数据直接在UV空间融合会存在较大的噪声,因此需要将第一亮度图进一步平滑,再在UV空间进行融合,形成更加平滑的第二高光图。
结合语义信息可以达到平滑高光的目的,语义分割后得到多个语义区域,同一个语义区域为同一种材质的可能性较大,而同一种材质一般具有同样的高光效果,故对同一个语义区域的语义信息进行量化,可以实现平滑高光数据。然而语义分割通常需要美术手工拆分,进而得到正确的材质区域分割,在本实施例中,为了简化了PBR材质的制作过程,便于普通消费者制作高质量三维模型,利用UV空间内的漫反射贴图和第一高光图是一一对应的特点,采用超像素的方式分割漫反射贴图,再将漫反射贴图的分析结果作为对第一高光图的语义分析结果,为平滑高光数据提供基础。
具体地,根据色彩特征对所述漫反射贴图进行计算,获得语义分析结果,基于UV空间内的漫反射贴图和第一高光图的对应关系,使用漫反射贴图的语义分析结果对第一高光图进行分割,得到多个语义区域,对每个语义区域内的高光数据进行量化,基于量化后的高光数据生成第二亮度图。
在一些实施例中,根据色彩特征对所述漫反射贴图进行语义分割,包括:分析所述漫反射贴图的色彩特征;基于所述色彩特征进行区域分割,其中,每个区域内的图像色彩相似度达到预设相似度阈值。
具体地,分析漫反射贴图的色彩特征,将漫反射贴图中一系列位置相邻且颜色特征相似的像素点组成小区域,其中,每个区域内的图像色彩相似度达到预设相似度阈值,基于这种小区域生成分割结果。
在一些实施例中,量化各个语义区域的亮度数据,生成第二亮度图,包括:获取所述各个语义区域内的多个单位亮度;基于所述多个单位亮度计算所述语义区域的亮度平均值;将所述亮度平均值作为所述语义区域的亮度;根据所述语义区域内的亮度生成所述第二亮度图。
其中,单位亮度为语义区域内每个像素点的亮度数据。
具体地,获取语义区域内每个像素点的亮度数据,即为多个单位亮度,计算多个单位亮度的平均值,作为亮度平均值,每个像素点的亮度值更新为亮度平均值,基于各个语义区域的平均亮度值生成第二亮度图。由此,每个语义区域内的像素点的亮度值是相同的,去除了噪声,形成了更为平滑的第二亮度图。
在一些实施例中,根据所述第二亮度图生成所述PBR纹理贴图,包括:通过BPR模型将第二亮度图转换成粗糙度贴图;获取金属度贴图;基于第二亮度图和金属度贴图生成PBR纹理贴图。其中,生成PBR纹理贴图需要生成粗糙度贴图和金属度贴图,面向普通消费者的三维模型制造对象为非金属物品,因此金属度贴图可以为固定值。
S103、基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。
其中,所述目标物体的几何模型为基于第二图像数据重建完成的目标物体模型。
具体地,基于第二图像数据生成目标物体的几何模型,将所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果,进而还原目标物品材质质感,便于普通消费者制作高质量三维模型。
请参阅图3,图3是本申请实施例提供的一种基于PBR材质的物体重建方法的重建结果示意图,该示意图中包含有目标物品普通图像40和重建结果图像50。具体地,当待重建的目标物体为鞋子时,如图3左侧为鞋子的普通图像40,可以看出鞋子的部分表面在光源的照射下,呈现出高光区域。如图3右侧为将所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成的具有PBR材质的重建结果50,其中,通过PBR纹理贴图对鞋子的几何模型的渲染,呈现出了鞋子的高光区域,还原了鞋子的材质质感。
本申请的方法可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费终端设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
示例性的,上述的方法可以实现为一种计算机程序的形式,该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4,图4是本申请实施例提供的一种计算机设备的示意图。该计算机设备可以是服务器。
如图4所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括易失性存储介质、非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种基于PBR材质的物体重建方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种基于PBR材质的物体重建方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,该计算机设备的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一些实施方式中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:确定目标物体在多视角下的第一亮度图和漫反射贴图;根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图;基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。
在一些实施例中,所述处理器还用于:获取所述目标物体在多视角下的第一图像数据和第二图像数据,所述第一图像数据包括高光图像区域,所述第二图像不包括高光图像区域;根据所述第一图像数据和所述第二图像数据,确定所述第一亮度图;基于所述第二图像数据,确定所述目标物体的所述漫反射贴图。
在一些实施例中,所述处理器还用于:通过预设方向的偏振片对所述目标物体的进行多视角拍摄,得到所述第一图像数据和所述第二图像数据。
在一些实施例中,所述处理器还用于:将所述第一图像数据与所述第二图像数据进行对比,得到差异数据;提取所述差异数据中的高光数据;基于所述高光数据生成所述第一亮度图。
在一些实施例中,所述处理器还用于:将所述差异数据转化到UV空间,生成差异贴图;根据预设识别模型提取所述差异贴图中的高光数据。
在一些实施例中,所述处理器还用于:根据色彩特征对所述漫反射贴图进行语义分割;按照所述漫反射贴图的语义分割结果对所述第一亮度图进行分割,得到多个语义区域;量化各个语义区域的亮度数据,生成第二亮度图;根据所述第二亮度图生成所述PBR纹理贴图。
在一些实施例中,所述处理器还用于:分析所述漫反射贴图的色彩特征;基于所述色彩特征进行区域分割,其中,每个区域内的图像色彩相似度达到预设相似度阈值。
在一些实施例中,所述处理器还用于:获取所述各个语义区域内的多个单位亮度;基于所述多个单位亮度计算所述语义区域的亮度平均值;将所述亮度平均值作为所述语义区域的亮度;根据所述语义区域内的亮度生成所述第二亮度图。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时实现本申请实施例提供的任一种基于PBR材质的物体重建方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链语言模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于PBR材质的物体重建方法,其特征在于,所述方法包括:
确定目标物体在多视角下的第一亮度图和漫反射贴图;
根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图;
基于所述PBR纹理贴图对所述目标物体的几何模型进行渲染,生成具有PBR材质的重建结果。
2.根据权利要求1所述的方法,其特征在于,所述确定目标物体在多视角下的第一亮度图和漫反射图,包括:
获取所述目标物体在多视角下的第一图像数据和第二图像数据,所述第一图像数据包括高光图像区域,所述第二图像不包括高光图像区域;
根据所述第一图像数据和所述第二图像数据,确定所述第一亮度图;
基于所述第二图像数据,确定所述目标物体的所述漫反射贴图。
3.根据权利要求2所述的方法,其特征在于,所述获取所述目标物体在多视角下的第一图像数据和第二图像数据,包括:
通过预设方向的偏振片对所述目标物体的进行多视角拍摄,得到所述第一图像数据和所述第二图像数据。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像数据和所述第二图像数据,确定所述第一亮度图,包括:
将所述第一图像数据与所述第二图像数据进行对比,得到差异数据;
提取所述差异数据中的高光数据;
基于所述高光数据生成所述第一亮度图。
5.根据权利要求4所述的方法,其特征在于,所述提取所述差异数据中的高光数据,包括:
将所述差异数据转化到UV空间,生成差异贴图;
根据预设识别模型提取所述差异贴图中的高光数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一亮度图和所述漫反射贴图,确定所述目标物体的PBR纹理贴图,包括:
根据色彩特征对所述漫反射贴图进行语义分割;
按照所述漫反射贴图的语义分割结果对所述第一亮度图进行分割,得到多个语义区域;
量化各个语义区域的亮度数据,生成第二亮度图;
根据所述第二亮度图生成所述PBR纹理贴图。
7.根据权利要求6所述的方法,其特征在于,所述根据色彩特征对所述漫反射贴图进行语义分割,包括:
分析所述漫反射贴图的色彩特征;
基于所述色彩特征进行区域分割,其中,每个区域内的图像色彩相似度达到预设相似度阈值。
8.根据权利要求6所述的方法,其特征在于,所述量化各个语义区域的亮度数据,生成第二亮度图,包括:
获取所述各个语义区域内的多个单位亮度;
基于所述多个单位亮度计算所述语义区域的亮度平均值;
将所述亮度平均值作为所述语义区域的亮度;
根据所述语义区域内的亮度生成所述第二亮度图。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述的计算机程序并在执行所述的计算机程序时实现:
如权利要求1至8中任一项所述的基于PBR材质的物体重建方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现:
如权利要求1至8中任一项所述的基于PBR材质的物体重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536491.6A CN114627227B (zh) | 2022-05-18 | 2022-05-18 | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536491.6A CN114627227B (zh) | 2022-05-18 | 2022-05-18 | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627227A true CN114627227A (zh) | 2022-06-14 |
CN114627227B CN114627227B (zh) | 2022-09-27 |
Family
ID=81906917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210536491.6A Active CN114627227B (zh) | 2022-05-18 | 2022-05-18 | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627227B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937140A (zh) * | 2022-07-25 | 2022-08-23 | 深圳大学 | 面向大规模场景的图像渲染质量预测与路径规划系统 |
CN114972661A (zh) * | 2022-08-01 | 2022-08-30 | 深圳元象信息科技有限公司 | 人脸模型构建方法、人脸图像生成方法、设备及存储介质 |
CN115578500A (zh) * | 2022-10-17 | 2023-01-06 | 广州唯墨间科技有限公司 | 一种基于三维摄影测量建模的混合式照明方法 |
CN118247412A (zh) * | 2024-05-28 | 2024-06-25 | 淘宝(中国)软件有限公司 | 材质及三维模型重建方法、装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180130188A1 (en) * | 2015-04-28 | 2018-05-10 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
CN109523619A (zh) * | 2018-11-12 | 2019-03-26 | 厦门启尚科技有限公司 | 一种通过多角度打光的图片生成3d材质贴图的方法 |
US20190362539A1 (en) * | 2018-05-22 | 2019-11-28 | Apple Inc. | Environment Synthesis for Lighting An Object |
CN111105491A (zh) * | 2019-11-25 | 2020-05-05 | 腾讯科技(深圳)有限公司 | 场景渲染方法、装置、计算机可读存储介质和计算机设备 |
CN113345063A (zh) * | 2021-08-05 | 2021-09-03 | 南京万生华态科技有限公司 | 基于深度学习的pbr三维重建方法、系统与计算机存储介质 |
CN113626902A (zh) * | 2021-08-18 | 2021-11-09 | 杭州群核信息技术有限公司 | 基于pbr材质的材质建模系统 |
-
2022
- 2022-05-18 CN CN202210536491.6A patent/CN114627227B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180130188A1 (en) * | 2015-04-28 | 2018-05-10 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
US20190362539A1 (en) * | 2018-05-22 | 2019-11-28 | Apple Inc. | Environment Synthesis for Lighting An Object |
CN109523619A (zh) * | 2018-11-12 | 2019-03-26 | 厦门启尚科技有限公司 | 一种通过多角度打光的图片生成3d材质贴图的方法 |
CN111105491A (zh) * | 2019-11-25 | 2020-05-05 | 腾讯科技(深圳)有限公司 | 场景渲染方法、装置、计算机可读存储介质和计算机设备 |
CN113345063A (zh) * | 2021-08-05 | 2021-09-03 | 南京万生华态科技有限公司 | 基于深度学习的pbr三维重建方法、系统与计算机存储介质 |
CN113626902A (zh) * | 2021-08-18 | 2021-11-09 | 杭州群核信息技术有限公司 | 基于pbr材质的材质建模系统 |
Non-Patent Citations (1)
Title |
---|
黄枭: "PBR材质的生成方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937140A (zh) * | 2022-07-25 | 2022-08-23 | 深圳大学 | 面向大规模场景的图像渲染质量预测与路径规划系统 |
CN114937140B (zh) * | 2022-07-25 | 2022-11-04 | 深圳大学 | 面向大规模场景的图像渲染质量预测与路径规划系统 |
CN114972661A (zh) * | 2022-08-01 | 2022-08-30 | 深圳元象信息科技有限公司 | 人脸模型构建方法、人脸图像生成方法、设备及存储介质 |
CN115578500A (zh) * | 2022-10-17 | 2023-01-06 | 广州唯墨间科技有限公司 | 一种基于三维摄影测量建模的混合式照明方法 |
CN115578500B (zh) * | 2022-10-17 | 2023-04-28 | 广州唯墨间科技有限公司 | 一种基于三维摄影测量建模的混合式照明方法 |
CN118247412A (zh) * | 2024-05-28 | 2024-06-25 | 淘宝(中国)软件有限公司 | 材质及三维模型重建方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114627227B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114627227B (zh) | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 | |
Artusi et al. | A survey of specularity removal methods | |
Huhle et al. | Fusion of range and color images for denoising and resolution enhancement with a non-local filter | |
US6639594B2 (en) | View-dependent image synthesis | |
Kumar et al. | Image authentication by assessing manipulations using illumination | |
Herzog et al. | NoRM: No‐reference image quality metric for realistic image synthesis | |
Lin et al. | Review and comparison of high‐dynamic range three‐dimensional shape measurement techniques | |
Konrad et al. | Automatic 2d-to-3d image conversion using 3d examples from the internet | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
JP6095601B2 (ja) | 3次元幾何学境界を検出する方法 | |
US9147279B1 (en) | Systems and methods for merging textures | |
US20160005221A1 (en) | Photometric optimization with t-splines | |
CN111133477B (zh) | 三维重建方法、装置、系统和存储介质 | |
Yu et al. | Outdoor inverse rendering from a single image using multiview self-supervision | |
Wang et al. | Damaged region filling and evaluation by symmetrical exemplar-based image inpainting for Thangka | |
JP6153134B2 (ja) | 2つ以上の光源の組によって照光されたシーンの2つ以上の入力画像の組から照明基底画像の組を復元する方法 | |
CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
Biasutti et al. | Visibility estimation in point clouds with variable density | |
Khalid et al. | Image de-fencing using histograms of oriented gradients | |
CN116977341B (zh) | 一种尺寸测量方法及相关装置 | |
US20190304117A1 (en) | Hardware disparity evaluation for stereo matching | |
US8948498B1 (en) | Systems and methods to transform a colored point cloud to a 3D textured mesh | |
CN117522850A (zh) | 高亮面缺陷检测方法、装置、计算机设备和存储介质 | |
CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
KR102559691B1 (ko) | 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |