CN112184875A - 基于赋值照片权重的连续三维材质生成方法、设备及介质 - Google Patents
基于赋值照片权重的连续三维材质生成方法、设备及介质 Download PDFInfo
- Publication number
- CN112184875A CN112184875A CN202010871349.8A CN202010871349A CN112184875A CN 112184875 A CN112184875 A CN 112184875A CN 202010871349 A CN202010871349 A CN 202010871349A CN 112184875 A CN112184875 A CN 112184875A
- Authority
- CN
- China
- Prior art keywords
- function
- triangular
- photo
- patch
- triangular patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 91
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003825 pressing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Abstract
本发明公开了一种基于赋值照片权重的连续三维材质生成方法,包括:将三维网格模型中的三角形面片的映射到照片,并使损失函数达到最小化;损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数;边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度;方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角;区域度量函数用于表示相邻三角形面片是否选自同一照片;照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。本发明还公开了一种计算机设备及计算机可读存储介质。本发明通过构建全新的损失函数,实现了用简单的方法获取了突出的视觉满意度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于赋值照片权重的连续三维材质生成方法、计算机设备及计算机可读存储介质。
背景技术
三维模型是三角形面片的集合,三维模型的颜色一般通过以下两种方法连实现:
方法一、给三角形的每个顶点指定颜色;
方法二、将三角形的每个顶点映射到一幅二维的图片上,该方法可以实现更逼真的近乎现实的色彩和细节。其中,该方法中的图片称作纹理,将图片贴到三维模型的过程称作纹理映射,而采用真实的照片作为纹理,可以实现近乎真实的三维模型感观体验。
三维模型的纹理映射一般有手工指定和自动程序化指定等算法。由于三维模型的表面并非平面,纹理映射的主要难度是对三维物体,无法用一张照片覆盖360度的物体表面,因此,往往需要拍摄多张照片,并把多张照片拼接起来才能覆盖(参见图1)。这多张照片通常有非常大的重叠区域,那么在材质映射时,必然有相邻的三角形面片的材质纹理来自不同的照片,尤其在这多张照片的采光不统一,照片到三维模型的定位存在估计误差的情况下,可以看到明显的纹理错位现象。
一般而言,传统的纹理映射采用的是抹平算法。通过将不连续的部分模糊化,或用人工智能(Artificial Intelligence,缩写为AI)算法进行错位矫正,光照平滑等来处理。然而,这些算法忽略了一个事实,大多数情况下,特别是在人体脸部的纹理映射中,存在高纹理细节的部分和低纹理细节的部分(如五官不允许大的纹理错位,但脖子,脸颊后侧面就不那么引人注目)。
因此,如何保证相邻三角形面片的纹理的连续性是目前亟待解决的问题。
发明内容
本发明所要解决的技术问题在于,提供一种基于赋值照片权重的连续三维材质生成方法、计算机设备及计算机可读存储介质,可通过构建全新的损失函数,实现了用简单的方法获取了突出的视觉满意度。
为了解决上述技术问题,本发明提供了一种基于赋值照片权重的连续三维材质生成方法,包括:将三维网格模型中的三角形面片的映射到照片,并使损失函数达到最小化;所述损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数;所述边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度;所述方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角;所述区域度量函数用于表示相邻三角形面片是否选自同一照片;所述照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。
作为上述方案的改进,相邻三角形面片边缘的材质颜色纹理匹配度越高,则边缘匹配度度量函数越小;三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角越小,则方向度量函数越小;若区域度量函数用于表示相邻三角形面片选自同一照片,则区域度量函数小。
作为上述方案的改进,所述边缘匹配度度量函数为:
其中,Boundary为相邻三角形面片的边缘,fleft及fright为相邻三角形面片,ρ为权重值。
作为上述方案的改进,所述方向度量函数为:
作为上述方案的改进,所述区域度量函数为:
其中,Boundary为相邻三角形面片的边缘,ijleft及ijright为相邻三角形面片投射到的照片平面,γ为权重值。
作为上述方案的改进,所述损失函数为:
其中,Boundary为相邻三角形面片的边缘,F为三角形面片的集合,fleft及fright为相邻三角形面片,Area(fi)为三角形面片的面积,为三角形面片的法线方向,为三角形面片投射到的照片平面的法线方向,ijleft及ijright为相邻三角形面片投射到的照片平面,Wp为照片偏爱度,ρ、λ及γ为权重值。
作为上述方案的改进,所述ρ>γ>λ。
作为上述方案的改进,采用greedy近似优化算法优化所述损失函数,所述采用greedy近似优化算法优化损失函数的步骤包括:S1,初始化计算每个三角形面片fi的指派函数ji,其中,Area(fi)为三角形面片的面积,为三角形面片的法线方向,为三角形面片投射到的照片平面的法线方向;S2,将J(i)从大到小压入优先队列,每一个三角形面片fi单独构成一个群Gi;S3,从最大的J(i)开始,生长三角形面片fi所在的群Gi,每个三角形面片fi可选择加入其相邻群以使损失函数的成本降低;重复步骤S3,直到没有三角形面片fi要改变其群属性。
相应地,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述连续三维材质生成方法的步骤。
相应地,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述连续三维材质生成方法的步骤。
实施本发明,具有如下有益效果:
本发明基于材质连续性来选择三角形面片的映射结果,为三维网格模型增加了语义区域(即相邻三角形面片),要求每个语义区域尽量选择同一幅照片作为材质,具体地,本发明在损失函数中增加上了“相邻三角形面片应该倾向于选自同一照片作为材质来源”的区域度量函数,避免了在无法获得满意的材质连续性的情况下,模糊化材质的需要,实现了用简单的方法获取了突出的视觉满意度。
另外,采用greedy近似优化算法,从最大比配面片为种子的生长优化策略,完美而简洁的实现了损失函数的优化。
附图说明
图1是来自不同照相机的照片被连续拼接成一幅全景图;
图2是来自不同角度的照片补丁罗列成的贴图材质;
图3是采用greedy近似优化算法优化损失函数的实施例流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
本发明基于赋值照片权重的连续三维材质生成方法包括:将三维网格模型中的三角形面片的映射到照片,并使损失函数达到最小化。
具体地,给定三维网格模型M={fi},一组照片Pk(k=1,…,p),三维网格模型M到每幅照片Pk的坐标映射πk。
本发明的原理如下:为三维网格模型M中的每个三角形面片fi寻找最佳照片三角形面片fi投射到最佳照片的材质图片记作使得所有的的边界具有最好的连续色彩过度。也即寻找指派函数ji,将三角形面片fi的材质映射到最佳照片以使得损失函数达到最小化。其中,Area(fi)为三角形面片的面积,为三角形面片的法线方向,为三角形面片投射到的照片平面的法线方向,Wp为照片偏爱度。
也就是说,本发明通过将三角形面片的映射到不同的照片,并实时计算不同照片情况下的损失函数,当损失函数达到最小时,所对应的照片即为最佳照片。
本发明中,所述损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数。其中,所述边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度,所述方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角,所述区域度量函数用于表示相邻三角形面片是否选自同一照片,所述照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。
如图2所示,材质图片是从多幅不同角度的物体照片切割而来。为了减少三角形面片的数量,通常使用照片生成材质图,将材质图映射到三角形面片上,实现照相真实度的三维模型渲染。在这种情况下,不可避免,三维网格模型中存在大量相邻的三角形面片,被映射到不同的照片所生成的材质中,这样会导致三角形面片到照片组的选择经常出现大面积非连续化的跳跃(也即相邻的三角形面片选择不同的照片,导致材质映射均匀性不如预期);相应地,现有技术中可通过三维网格模型切割成多个大区域,每个区域指定映射目的照片的方法,这种方法有对小的细节的投射制造的过多的限制,导致如鼻子周围高法向变化区域的材质过于粗糙;同时,现有技术中还可采用复杂的人工神经元网络,但这种方法导致复杂,不易分析,质量不稳定,速度低效。
与现有技术不同的是,本发明构建了全新的损失函数,并在损失函数中增加上了“相邻三角形面片应该倾向于选自同一照片作为材质来源”的区域度量函数。
由上可知,本发明基于材质连续性来选择三角形面片的映射结果,为三维网格模型增加了语义区域(即相邻三角形面片),要求每个语义区域尽量选择同一幅照片作为材质,避免了在无法获得满意的材质连续性的情况下,模糊化材质的需要,实现了用简单的方法获取了突出的视觉满意度。
下面分别对上述三个函数分别进行说明:
(1)边缘匹配度度量函数
相邻三角形面片边缘的材质颜色纹理匹配度越高,则边缘匹配度度量函数越小。优选地,所述边缘匹配度度量函数为:
其中,Boundary为相邻三角形面片的边缘,fleft及fright为相邻三角形面片,ρ为权重值。
(2)方向度量函数
三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角越小,则方向度量函数越小。优选地,所述方向度量函数为:
(3)区域度量函数
若区域度量函数用于表示相邻三角形面片选自同一照片,则区域度量函数小。优选地,所述区域度量函数为:
其中,Boundary为相邻三角形面片的边缘,ijleft及ijright为相邻三角形面片投射到的照片平面,γ为权重值。
(4)照片偏爱权重函数
照片偏爱权重函数由用户根据实际情况进行预设,灵活性及针对性强。
进一步,所述损失函数优选为“边缘匹配度度量函数”、“方向度量函数与照片偏爱权重函数的乘积”及“区域度量函数”之和,即所述损失函数为:
其中,Boundary为相邻三角形面片的边缘,F为三角形面片的集合,fleft及fright为相邻三角形面片,Area(fi)为三角形面片的面积,为三角形面片的法线方向,为三角形面片投射到的照片平面的法线方向,ijleft及ijright为相邻三角形面片投射到的照片平面,Wp为照片偏爱度,ρ、λ及γ为权重值。
相应地,所述ρ>γ>λ。需要说明的是,本发明中边缘匹配度度量函数的权重值最大,方向度量函数的权重值最小。也就是说,优选考虑相邻三角形面片边缘的材质颜色纹理匹配度高的,其次考虑相邻三角形面片选自同一照片,最后再考虑三角形面片正对着的照片。
由于上述损失函数很难优化,本发明采用greedy近似优化算法优化所述损失函数。
如图3所示,所述采用greedy近似优化算法优化损失函数的步骤包括:
S101,初始化计算每个三角形面片fi的指派函数ji。
S102,将J(i)从大到小压入优先队列,每一个三角形面片fi单独构成一个群Gi。
S103,从最大的J(i)开始,生长三角形面片fi所在的群Gi,每个三角形面片fi可选择加入其相邻群以使损失函数的成本降低。
也就是说,如果能够导致总体L{π(V→G}的成本降低,则对应的三角形面片fi可选择加入其相邻群。
所述三角形面片fi的cost函数是其所在群的平均成本。
S104,重复步骤S103,直到没有三角形面片fi要改变其群属性。
因此,本发明采用从最大比配面片为种子的生长优化策略,完美而简洁的实现了损失函数的优化。
相应地,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述连续三维材质生成方法的步骤。同时,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述连续三维材质生成方法的步骤。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于赋值照片权重的连续三维材质生成方法,其特征在于,包括:
将三维网格模型中的三角形面片的映射到照片,并使损失函数达到最小化;
所述损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数;
所述边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度;
所述方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角;
所述区域度量函数用于表示相邻三角形面片是否选自同一照片;
所述照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。
2.如权利要求1所述的基于赋值照片权重的连续三维材质生成方法,其特征在于,
相邻三角形面片边缘的材质颜色纹理匹配度越高,则边缘匹配度度量函数越小;
三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角越小,则方向度量函数越小;
若区域度量函数用于表示相邻三角形面片选自同一照片,则区域度量函数小。
7.如权利要求6所述的基于赋值照片权重的连续三维材质生成方法,其特征在于,所述ρ>γ>λ。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010871349.8A CN112184875A (zh) | 2020-08-26 | 2020-08-26 | 基于赋值照片权重的连续三维材质生成方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010871349.8A CN112184875A (zh) | 2020-08-26 | 2020-08-26 | 基于赋值照片权重的连续三维材质生成方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112184875A true CN112184875A (zh) | 2021-01-05 |
Family
ID=73925714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010871349.8A Pending CN112184875A (zh) | 2020-08-26 | 2020-08-26 | 基于赋值照片权重的连续三维材质生成方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184875A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998057301A1 (en) * | 1997-06-13 | 1998-12-17 | Koninklijke Philips Electronics N.V. | Computer graphics method and device |
JP2000020707A (ja) * | 1998-07-07 | 2000-01-21 | Dainippon Screen Mfg Co Ltd | 画像生成方法および画像生成プログラムを記録した記録媒体 |
US20150187135A1 (en) * | 2013-12-31 | 2015-07-02 | Nvidia Corporation | Generating indirection maps for texture space effects |
CN105550992A (zh) * | 2015-12-30 | 2016-05-04 | 四川川大智胜软件股份有限公司 | 一种三维全脸照相机中高保真全脸纹理融合方法 |
CN105574922A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种鲁棒的三维模型高质量纹理映射方法 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN110473294A (zh) * | 2018-05-11 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
-
2020
- 2020-08-26 CN CN202010871349.8A patent/CN112184875A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998057301A1 (en) * | 1997-06-13 | 1998-12-17 | Koninklijke Philips Electronics N.V. | Computer graphics method and device |
JP2000020707A (ja) * | 1998-07-07 | 2000-01-21 | Dainippon Screen Mfg Co Ltd | 画像生成方法および画像生成プログラムを記録した記録媒体 |
US20150187135A1 (en) * | 2013-12-31 | 2015-07-02 | Nvidia Corporation | Generating indirection maps for texture space effects |
CN105574922A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种鲁棒的三维模型高质量纹理映射方法 |
CN105550992A (zh) * | 2015-12-30 | 2016-05-04 | 四川川大智胜软件股份有限公司 | 一种三维全脸照相机中高保真全脸纹理融合方法 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN110473294A (zh) * | 2018-05-11 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
Non-Patent Citations (1)
Title |
---|
张强: "三维重建中纹理映射的研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), vol. 2010, no. 04, pages 138 - 511 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7557812B2 (en) | Multilevel texture processing method for mapping multiple images onto 3D models | |
US7283140B2 (en) | Texture montage | |
Lempitsky et al. | Seamless mosaicing of image-based texture maps | |
US7308650B2 (en) | Image layout device | |
US7675647B2 (en) | Apparatus, method, and program for editing images | |
US20130100128A1 (en) | Using photo collections for three dimensional modeling | |
US20090304280A1 (en) | Interactive Segmentation of Images With Single Scribbles | |
US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
Xu et al. | A general texture mapping framework for image-based 3D modeling | |
JP6986438B2 (ja) | カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム | |
CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
LU501944B1 (en) | Method for Making Three-dimensional Reconstruction and PBR Maps Based on Close-range Photogrammetry | |
CN107852446A (zh) | 使用也基于属于不同恒定色调叶片的尖点颜色的亮度的亮度映射的色域映射 | |
CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
US11024076B2 (en) | Arbitrary view generation | |
ES2285566T3 (es) | Procedimiento y sistema para modificar una imagen digital de manera diferenciada y casi regular por pixel. | |
CN112233165A (zh) | 一种基于多平面图像学习视角合成的基线扩展实现方法 | |
JP2013511109A (ja) | イメージ処理方法及びそのための装置 | |
US10503997B2 (en) | Method and subsystem for identifying document subimages within digital images | |
CN112184875A (zh) | 基于赋值照片权重的连续三维材质生成方法、设备及介质 | |
US20170180691A1 (en) | Lighting and material editing using flash photography | |
WO2019073267A1 (en) | AUTOMATED IMAGE HANDLING USING ARTIFICIAL INTELLIGENCE | |
CN110038302A (zh) | 基于Unity3D的网格生成方法及装置 | |
US8086060B1 (en) | Systems and methods for three-dimensional enhancement of two-dimensional images | |
CN110147809A (zh) | 图像处理方法及装置、存储介质及图像设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |