CN113327315A - 多层次细节模型生成方法和装置 - Google Patents
多层次细节模型生成方法和装置 Download PDFInfo
- Publication number
- CN113327315A CN113327315A CN202110654905.0A CN202110654905A CN113327315A CN 113327315 A CN113327315 A CN 113327315A CN 202110654905 A CN202110654905 A CN 202110654905A CN 113327315 A CN113327315 A CN 113327315A
- Authority
- CN
- China
- Prior art keywords
- initial
- texture
- model
- simplified
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本发明涉及三维重建技术领域，公开了多层次细节模型生成方法和装置，其中，所述方法包括：获取目标的初始影像集合和初始三维网格模型；基于初始影像集合生成最佳纹理块集合；将最佳纹理块集合中的纹理块映射到初始三维网格模型上生成包含纹理的初始三维模型；对初始三维模型进行简化获得包含纹理的简化三维模型；基于简化三维模型生成多层次细节模型。本发明解决了现有多层次细节模型生成速度慢、存储资源消耗大、模型精度低的问题。
Description
技术领域
本发明涉及三维重建技术领域，具体是指多层次细节模型生成方法和装置。
背景技术
现有三维重建的通用流程一般包括点云生成、稀疏重建、稠密重建、网格生成、网格优化、网格简化和纹理生成，整个流程以采集得到的原始影像为输入，输出包含纹理的网格模型。其中，多层次细节技术是根据目标模型的节点在显示环境中所处的位置和重要度，决定目标三维模型渲染的资源分配，降低非重要物体的面数和细节度，从而获得高效率的渲染运算的一种三维重建技术。
在多层次细节模型生成方面，目前网格简化与纹理生成相对独立，先通过得到不同简化倍数的模型，针对每个简化模型分别进行一次纹理生成，得到一份纹理文件。最终，多层次细节模型的每个层级都将包含一份网格模型和一份纹理文件，造成现有多层次细节模型生成方法存在生成速度慢、存储资源消耗大、模型精度低的问题。
发明内容
基于以上技术问题，本发明提供了一种多层次细节模型生成方法和装置，解决了现有多层次细节模型生成速度慢、存储资源消耗大、模型精度低的问题。
为解决以上技术问题，本发明采用的技术方案如下：
多层次细节模型生成方法，包括：获取目标的初始影像集合和初始三维网格模型；基于初始影像集合生成最佳纹理块集合；将最佳纹理块集合中的纹理块映射到初始三维网格模型上生成包含纹理的初始三维模型；对初始三维模型进行简化获得包含纹理的简化三维模型；基于简化三维模型生成多层次细节模型。
进一步的，获取目标的初始影像集合之后，还包括：通过影像优化算法对初始纹理影像集合进行优化处理，影像优化算法包括锐化算法和限制对比度的自适应直方图均衡化算法。
进一步的，基于初始影像集合生成最佳纹理块集合，包括：基于初始影像集合生成初始纹理块集合，初始纹理块集合由初始三维网格模型各个三角面片对应的面片纹理块集合组成；基于面片纹理块集合选取最佳纹理块；基于最佳纹理块生成最佳纹理块集合。
进一步的，基于初始影像集合生成初始纹理块集合之后，还包括：通过影像筛选算法对初始纹理块集合进行筛选处理，影像筛选算法包括均值漂移算法。
进一步的，基于面片纹理块集合选取最佳纹理块包括：
基于平面检测算法对初始三维网格模型的三角面片进行平面划分；
对于位于同一平面的三角面片，选取面片纹理块集合中属于同一初始影像的面片纹理块作为三角面片的初选纹理块集合；
基于马尔科夫随机场设置能量函数：
其中，E(V)为能量函数，Edata为数据项，Esmooth为平滑项，Faces为三角面片集合,Edges为边集合，Fi为第i个三角面片，Vi为三角面片Fi对应的第i个初选纹理块；
求解所述能量函数获得最优值，并选取E(V)为最优值时的初选纹理块Vi作为最佳纹理块。
进一步的，基于最佳纹理块生成最佳纹理块集合之后，还包括：基于光照信息调整算法对最佳纹理块集合的光照信息进行调整。
进一步的，对初始三维模型进行简化获得包含纹理的简化三维模型包括：获取初始三维模型中各顶点的初始空间坐标和初始纹理坐标；通过二次误差度量的边折叠简化算法对初始空间坐标进行简化获取简化后各顶点的简化空间坐标；基于简化空间坐标获取简化三维网格模型；通过初始纹理坐标获取简化后各顶点的简化纹理坐标；基于简化纹理坐标将最佳纹理块集合中的纹理块映射到简化三维网格模型上生成包含纹理的简化三维模型；
其中，边折叠简化算法的边折叠简化代价的获取方法为：获取初始的边折叠简化代价；获取初始三维网格模型其三角面片的结构特征代价、纹理影响因子和纹理误差代价；基于结构特征代价、纹理影响因子和纹理误差代价对初始的边折叠简化代价进行更新得到边折叠简化代价；
其中，通过初始纹理坐标获取简化纹理坐标的具体公式为：
其中，P0是简化纹理坐标，Pi是第i个初始纹理坐标，
是与P1相邻的顶点的纹理坐标集合，
是与P2相邻的顶点的纹理坐标集合。
进一步的，获取结构特征代价的方法包括：基于平面检测算法确定初始三维网格模型的三角面片的结构特征；基于结构特征对三角面片的结构特征代价进行赋值。
进一步的，平面检测算法包括：基于三角面片的平面性选取种子面集合；基于种子面集合选取当前种子面；基于区域生长算法以当前种子面为起点进行区域生长，将与当前种子面所成角度小于阈值的三角面片聚类到同一平面；其中，在区域生长过程中，同时提取访问的三角面片的结构特征；当前种子面区域生长过程完成后，选取种子面集合中未访问的下一种子面重复区域生长过程，直到所有三角面片都访问完毕。
为解决上述技术问题，本发明还公开了一种多层次细节模型生成装置，包括
数据获取模块，数据获取模块用于获取目标的初始影像集合和初始三维网格模型；
纹理生成模块，纹理生成模块用于基于初始影像集合生成最佳纹理块集合；
三维模型生成模块，三维模型生成模块用于将最佳纹理块集合中的纹理块映射到初始三维网格模型上生成包含纹理的初始三维模型；
模型简化模块，模型简化模块用于对初始三维模型进行简化获得包含纹理的简化三维模型；
多层次细节模型生成模块，多层次细节模型生成模块用于基于简化三维模型生成多层次细节模型。
为解决上述技术问题，本发明还公开了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现上述多层次细节模型生成方法的步骤。
为解决上述技术问题，本发明还公开了一种计算机可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述多层次细节模型生成方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过以三维网格模型为输入生成带纹理的多层次细节模型，解决了网格简化过程中局部重要结构损失过多和纹理拉伸的问题，提升了纹理质量，实现纹理复用。
附图说明
本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述，其中：
图1为多层次细节模型生成方法流程示意图。
图2为基于初始影像集合生成纹理块集合流程示意图。
图3为对初始三维模型进行简化获得包含纹理的简化三维模型流程示意图。
图4为网格简化算法效果比对示意图。
图5为分层网格简化算法效果对比示意图。
图6为一环邻域结构示意图。
图7为网格碟形结构示意图。
图8为平面检测算法流程示意图。
图9平面检测算法对三维网格模型聚类标记示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
参阅图1，在本实施方式中，多层次细节模型生成方法，包括：
S101，获取目标的初始影像集合和初始三维网格模型；
其中，对于目标的初始影像集合，一般是通过图像采集设备获取，在三维重建技术领域，由于需要采集目标各个角度的影像，一般会设置多台图像采集设备；
其中，对于初始三维网格模型，在现有三维重建技术领域中，一般是通过目标点云生成、稀疏重建、稠密重建、网格生成、网格优化等基本处理步骤获得。
优选的，获取目标的初始影像集合之后，还包括：通过影像优化算法对初始纹理影像集合进行优化处理，影像优化算法包括锐化算法和限制对比度的自适应直方图均衡化算法。
其中，锐化算法用于补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。
其中，限制对比度的自适应直方图均衡化算法用于增强初始纹理影像的对比度的同时可以抑制噪声。
由此，基于上述影像优化方法对初始影响进行预处理，增强初始影像质量，提高纹理影像的清晰度，缓解因拍摄场景问题可能导致的影像欠曝过曝现象。
S102，基于初始影像集合生成最佳纹理块集合；
具体的，基于反投影将初始三维网格模型反投影到初始影像上获得多个纹理区域，以矩形包围盒的方式生成纹理块；
具体的，对于纹理块集合的具体表现形式，一般是生成相应格式的纹理文件；
其中，将纹理块集合转化为纹理文件时，可以将生成的纹理块重新排布在纹理文件中，使无效空间尽可能少，降低纹理文件消耗的存储空间。具体的，以先大后小、从上至下的原则将多个纹理块存入纹理文件中，且保证纹理的分辨率与原始影像保持一致，控制其消耗的存储空间极可能小。
同时，为避免单张纹理文件过大，影响渲染效率，还可将纹理块分布在多张纹理文件中进行排布。
S103，将最佳纹理块集合中的纹理块映射到初始三维网格模型上生成包含纹理的初始三维模型；
其中，在现有技术中，将纹理块应用在三维网格模型之上一般有成熟的软件和方法，比如MeshLab，其可以读入三维网格模型及其纹理文件，这样对于技术人员其需要完成的仅是将数据按文件格式写入即可。
S104，对初始三维模型进行简化获得包含纹理的简化三维模型；
S105，基于简化三维模型生成多层次细节模型。
具体的，由于多层次细节模型中会保存有不同层次的简化模型，那么为了生成多层次细节模型，通常便是对简化三维模型再次简化，通过多次重复分层简化操作，便可得的不同层次的简化模型。
在本实施例中，由于多层次细节模型中会保存有不同层次的简化模型，现有多层次细节模型生成方法采取的是在每个层次的简化模型对应一份独立的纹理文件，这样便会导致下列问题：
其一，每个层次的简化模型都需要生成一份新的纹理，导致运行速度较慢；
其二，每个层次的简化模型都需要单独保存一份纹理文件，导致消耗大量存储资源；
其三，网格模型的不同局部使用不同简化层次的模型显示，对应不同的纹理文件，纹理块边界区域在渲染过程中会出现明显的接缝，导致模型精度低。
本实施例中通过在初始三维模型的基础上进行一次纹理生成，后续简化过程中，便直接对包含纹理的初始三维模型进行简化，后续简化模型便不再进行纹理生成，由此解决了上述技术问题。
参阅图2，在一些实施例中，基于初始影像集合生成最佳纹理块集合，包括：
S201，基于初始影像集合生成初始纹理块集合，初始纹理块集合由初始三维网格模型各个三角面片对应的面片纹理块集合组成；
其中，初始影像指的是采集(比如相机拍摄或者航拍等)得到的照片，一组数据一般有几十到几百张甚至更多初始影像，取决于实际数据量。由此，当利用初始影像集合生成初始纹理影像集合时，对于三维网格模型的每个三角面片，可能存在多个初始影像观测到它，即每个三角面片可能被多张照片拍到。这样，每个三角面片，便可能存在多个纹理影像。
优选的，基于初始影像集合生成初始纹理块集合之后，还包括：通过影像筛选算法对初始纹理块集合进行筛选处理，影像筛选算法包括均值漂移算法。
由上述内容知，每个三角面片可能存在多个纹理块。因此，为了避免纹理块本身对三维模型生成的纹理造成影响，则需对初始纹理块进行筛选。
其中，均值漂移算法目的是去除初始纹理块集合中带有动态纹理的错误纹理块，其核心思想是随机选择一个中心点，计算该中心点一定范围内所有点到中心点距离向量的均值，再次取均值得到偏移均值，不断重复该操作，使中心点向最佳位置逼近。
S202，基于面片纹理块集合选取最佳纹理块；
优选的，基于所述面片纹理块集合选取最佳纹理块包括：
基于平面检测算法对初始三维网格模型的三角面片进行平面划分；
对于位于同一平面的三角面片，选取面片纹理块集合中属于同一初始影像的面片纹理块作为三角面片的初选纹理块集合；
基于马尔科夫随机场设置能量函数：
其中，E(V)为能量函数，Edata为数据项，Esmooth为平滑项，Faces为三角面片集合,Edges为边集合，Fi为第i个三角面片，Vi为三角面片Fi对应的第i个初选纹理块；
求解所述能量函数获得最优值，并选取E(V)为最优值时的初选纹理块Vi作为最佳纹理块。
其中，Edata代表影像的质量高低，通过拍摄距离、拍摄角度、梯度幅值等信息计算，该项倾向于选择质量高的影像；
其中，Esmooth代表影像间接缝的严重程度，该项倾向于选择过渡更平滑的影像，降低后续纹理块边界的接缝效应。
其中，基于平面检测算法将位于同一平面内的三角面片赋予相同标记，倾向于选择属于相同初始影像的纹理影像，避免相邻三角面片选取纹理影像的差异过大，出现明显的色差。
S203，基于最佳纹理块生成最佳纹理块集合。
优选的，基于最佳纹理块生成最佳纹理块集合之后，还包括：基于光照信息调整算法对最佳纹理块集合的光照信息进行调整。
其中，由于三维网格模型的不同区域存在光照差异，纹理块之间可能会产生明显的接缝。在近景建模比如室内家具建模时，物体处于室内人造光源环境下，同一时刻不同角度，影像的全局光照信息不同，同一角度影像的不同区域也存在局部光照差异，光照信息不一致会导致纹理产生明显的边界。由此，通过对纹理块的光照信息进行调整，均匀整体和局部的光照，从而缓解接缝效应，提升视觉效果。
具体的，光照信息调整算法分两步进行：
其一是全局光照调整，依据邻接平面的总面积为权重对当前平面的光照信息进行调整，缩小整体色差；
其二是局部光照调整，减轻块间的接缝效应。以相邻纹理块间的顶点颜色为基础，通过内部像素点到边界顶点的距离远近施加不同程度的影响，使块内光照更加平滑，保证接缝左右光照的一致性。
参阅图3，在一些实施例中，对初始三维模型进行简化获得包含纹理的简化三维模型包括：
S301，获取初始三维模型中各顶点的初始空间坐标和初始纹理坐标；
S302，通过二次误差度量的边折叠简化算法对初始空间坐标进行简化获取简化后各顶点的简化空间坐标；
其中，边折叠简化算法的边折叠简化代价的获取方法为：
获取初始的边折叠简化代价；
获取初始三维网格模型其三角面片的结构特征代价、纹理影响因子和纹理误差代价；
基于结构特征代价、纹理影响因子和纹理误差代价对初始的边折叠简化代价进行更新得到边折叠简化代价；
具体的，现有网格简化技术中，存在以下问题：
其一，现有网格简化算法虽然通过各种各样的指标考量细节特征，在简化过程中对细节特征进行保护，但是仍然不够完善。当简化倍数不断提高时，每一步简化产生的形变不断积累，局部区域视觉效果明显变差，尤其是边角区域可能产生凸刺或者明显变形，影响用户的使用体验，严重时，简化模型几乎不可用。且随着简化倍数的提高，简化网格质量明显降低，出现大量的狭长三角形，影像网格模型的视觉效果且不利于纹理生成；
其二，高精度、细节丰富的手工模型在低倍简化时，局部细节容易被破坏和丢失。对于人工设计得到的模型，比如机械零件、人物模型等，网格规整性极高，部分标识信息极为丰富，低倍简化过程中也可能破坏局部的精度，丢失重要信息；
其三，网格简化算法较少考虑到不同结构类型的重要程度差异。全局采用完全相同的简化方法和固定参数，简化模型容易出现过度均匀的现象。包含丰富细节的重要结构容易被简化，导致局部区域的关键信息丢失。
而在本实施例中以边折叠操作为基础对网格模型进行简化，需要确定折叠的优先级和折叠后新点坐标。基于模型几何结构的优先级以二次误差度量为主，即计算顶点到相关平面的距离平方和。以二次误差度量的边折叠简化算法为基础，结合结构特征代价、纹理影响因子和纹理误差代价优化二次误差度量矩阵，对模型的重要结构进行保护，避免损失过多细节。计算纹理相关参数并优化简化优先级，使简化模型保留更多重要细节并且更贴合纹理，提升简化模型的纹理真实感。
具体的，优化后的边折叠简化算法获取的简化三维网格模型效果如图4、图5所示。
具体的，结构特征代价主要考虑不同局部所属结构类型的不同，重要程度也不同，加入权值进行考量，保留更多重要结构。现有判断标准是，平面在简化过程中是不重要的结构，平面与平面的交界处，模型的整体边界，平面与非平面的交界处都是重要结构，视重要程度排序设定权值作为结构特征代价。
具体的，纹理影响因子以纹理面积占比参数衡量，即某个三角面片对应的纹理面积与几何面积的比值。该比值越大，说明该部分的纹理信息更丰富，应该降低其简化优先级。比值越小，说明纹理存在较为严重的拉伸现象，可以适当加强简化。
具体的，纹理误差代价通过待折叠边两端点的颜色差异来度量，通过映射关系将三维空间坐标映射为二维纹理坐标，获得每个边两端点的颜色值，颜色差异越大，折叠造成的影响越大，应该降低简化优先级。
且通过改进多层次细节模型生成流程，不同简化级别的模型共用最细层次模型的纹理文件，减少存储消耗并提升多层次细节模型生成速度。
具体的，上述边折叠简化算法的边折叠简化代价的获取方法具体为：
在三维网格模型中，一个顶点对应多个三角面，计算一个顶点的所有平面的方程ax+by+cz+d＝0且a2+b2+c2＝1，保存参数a、b、c、d，得到平面p的二次误差度量矩阵为：
再将一个顶点的所有Kp求和构成该点的Q。
然后根据二次误差度量矩阵可以求出二次误差，也就是初始的边折叠简化代价，二次误差就是某个点到周围所有平面的距离平方和：
Δ(v)＝vTQv
其中，v表示顶点,Δ(v)便是顶点v的二次误差。
首先，加入结构特征代价μ以后，每个顶点的二次误差矩阵为：
Qp＝μQi+(1-μ)Qj
其中，μ为结构特征代价，表示该特征的重要程度，Qi是周围属于重要结构的部分对应的二次误差矩阵，Qj是不属于重要结构的部分对应的二次误差矩阵，计算出的Qp是加入结构特征代价以后的二次误差矩阵。
在边折叠简化过程中，两个点折叠生成新点，假定原始两点的二次误差矩阵是Q1和Q2，那么新点的二次误差矩阵是：
Q0＝Q1+Q2
然后，加入纹理影响因子后，新点的二次误差矩阵优化为：
Qv＝P(α(v0))Q1+P(α(v1))Q2
其中，Q1和Q2的计算需要考虑边角结构，此外当纹理影响因子取值较小时，为了保证明显的区分度，对该纹理影响因子加入调节参数T，即P(α)＝Tα。此时，得到优化后的二次误差为ΔT(v)，用该式可以计算出ΔT(v)＝vTQvv。
其中，参阅图6，一环邻域内三角面片的纹理面积占比取平均可得到每个顶点的纹理影响因子，纹理影响因子α(v)的具体计算公式为：
最终，加入纹理误差代价进行优化，得到最终的边折叠简化代价：
ΔT(v)*Ertex(v1,v2)
其中，通过颜色空间的欧式距离求出纹理误差代价Ertex，具体计算公式为：
其中，distance为取距离方法，color为顶点v的纹理坐标，R、G、B是颜色对应分量。
S303，基于简化空间坐标获取简化三维网格模型；
具体的，在获取了简化后各个顶点的空间坐标后，便可依据空间坐标构建出简化的三维网格模型。
S304，通过初始纹理坐标获取简化后各顶点的简化纹理坐标；
其中，参阅图7，通过初始纹理坐标获取简化纹理坐标的具体公式为：
其中，P0是简化纹理坐标，Pi是第i个初始纹理坐标，
是与P1相邻的顶点的纹理坐标集合，
是与P2相邻的顶点的纹理坐标集合。
S305，基于简化纹理坐标将最佳纹理块集合中的纹理块映射到简化三维网格模型上生成包含纹理的简化三维模型。
在一些实施例中，获取结构特征代价的方法包括：基于平面检测算法确定初始三维网格模型的三角面片的结构特征；基于结构特征对三角面片的结构特征代价进行赋值。
参阅图8，在一些实施例中，平面检测算法包括：
基于三角面片的平面性选取种子面集合；
基于种子面集合选取当前种子面；
基于区域生长算法以当前种子面为起点进行区域生长，将与当前种子面所成角度小于阈值的三角面片聚类到同一平面；其中，在区域生长过程中，同时提取访问的三角面片的结构特征；
当前种子面区域生长过程完成后，选取种子面集合中未访问的下一种子面重复区域生长过程，直到所有三角面片都访问完毕。
其中，以区域生长算法为基础标记网格模型的平面和边角结构，特异性优化平面检测算法并将结构信息用于网格简化和纹理生成。
具体的，参阅图9，图9左侧为三维网格模型，右侧为通过平面检测算法进行聚类标记后的模型。具体可以采用色彩变化等方式对同一平面的三角面片进行标记。
为解决上述技术问题，本发明还公开了一种多层次细节模型生成装置，包括
数据获取模块，数据获取模块用于获取目标的初始影像集合和初始三维网格模型；
纹理生成模块，纹理生成模块用于基于初始影像集合生成最佳纹理块集合；
三维模型生成模块，三维模型生成模块用于将最佳纹理块集合中的纹理块映射到初始三维网格模型上生成包含纹理的初始三维模型；
模型简化模块，模型简化模块用于对初始三维模型进行分层简化获得多层次的包含纹理的简化三维模型；
多层次细节模型生成模块，多层次细节模型生成模块用于基于简化三维模型生成多层次细节模型。
为解决上述技术问题，本发明还公开了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现上述多层次细节模型生成方法的步骤。
其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述多层次细节模型生成方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述多层次细节模型生成方法的程序代码。
在一些实施例中，本申请还公开了一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述多层次细节模型生成方法的步骤。
其中，所述可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的多层次细节模型生成方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。
Claims (10)
1.多层次细节模型生成方法，其特征在于，包括：
获取目标的初始影像集合和初始三维网格模型；
基于所述初始影像集合生成最佳纹理块集合；
将所述最佳纹理块集合中的纹理块映射到所述初始三维网格模型上生成包含纹理的初始三维模型；
对所述初始三维模型进行简化获得包含纹理的简化三维模型；
基于所述简化三维模型生成多层次细节模型。
2.根据权利要求1所述的多层次细节模型生成方法，其特征在于，获取目标的初始影像集合之后，还包括：
通过影像优化算法对所述初始纹理影像集合进行优化处理，所述影像优化算法包括锐化算法和限制对比度的自适应直方图均衡化算法。
3.根据权利要求1所述的多层次细节模型生成方法，其特征在于，基于所述初始影像集合生成最佳纹理块集合，包括：
基于所述初始影像集合生成初始纹理块集合，所述初始纹理块集合由所述初始三维网格模型各个三角面片对应的面片纹理块集合组成；
基于所述面片纹理块集合选取最佳纹理块；
基于所述最佳纹理块生成最佳纹理块集合。
4.根据权利要求3所述的多层次细节模型生成方法，其特征在于，基于所述初始影像集合生成初始纹理块集合之后，还包括：
通过影像筛选算法对所述初始纹理块集合进行筛选处理，所述影像筛选算法包括均值漂移算法。
5.根据权利要求3所述的多层次细节模型生成方法，其特征在于，基于所述面片纹理块集合选取最佳纹理块包括：
基于平面检测算法对所述初始三维网格模型的三角面片进行平面划分；
对于位于同一平面的三角面片，选取面片纹理块集合中属于同一初始影像的面片纹理块作为所述三角面片的初选纹理块集合；
基于马尔科夫随机场设置能量函数：
其中，E(V)为能量函数，Edata为数据项，Esmooth为平滑项，Faces为三角面片集合,Edges为边集合，Fi为第i个三角面片，Vi为三角面片Fi对应的第i个初选纹理块；
求解所述能量函数获得最优值，并选取E(V)为最优值时的初选纹理块Vi作为最佳纹理块。
6.根据权利要求3所述的多层次细节模型生成方法，其特征在于，基于所述最佳纹理块生成最佳纹理块集合之后，还包括：
基于光照信息调整算法对所述最佳纹理块集合的光照信息进行调整。
7.根据权利要求1所述的多层次细节模型生成方法，其特征在于，对所述初始三维模型进行简化获得包含纹理的简化三维模型包括：
获取所述初始三维模型中各顶点的初始空间坐标和初始纹理坐标；
通过二次误差度量的边折叠简化算法对所述初始空间坐标进行简化获取简化后各顶点的简化空间坐标；
基于所述简化空间坐标获取简化三维网格模型；
通过所述初始纹理坐标获取简化后各顶点的简化纹理坐标；
基于所述简化纹理坐标将所述最佳纹理块集合中的纹理块映射到所述简化三维网格模型上生成包含纹理的简化三维模型；
其中，所述边折叠简化算法的边折叠简化代价的获取方法为：
获取初始的边折叠简化代价；
获取所述初始三维网格模型其三角面片的结构特征代价、纹理影响因子和纹理误差代价；
基于所述结构特征代价、纹理影响因子和纹理误差代价对初始的边折叠简化代价进行更新得到所述边折叠简化代价；
其中，通过所述初始纹理坐标获取简化纹理坐标的具体公式为：
其中，P0是简化纹理坐标，Pi是第i个初始纹理坐标，
是与P1相邻的顶点的纹理坐标集合，
是与P2相邻的顶点的纹理坐标集合。
8.根据权利要求7所述的多层次细节模型生成方法，其特征在于，获取所述结构特征代价的方法包括：
基于平面检测算法确定所述初始三维网格模型的三角面片的结构特征；
基于所述结构特征对所述三角面片的结构特征代价进行赋值。
9.根据权利要求5或8所述的多层次细节模型生成方法，其特征在于，所述平面检测算法包括：
基于所述三角面片的平面性选取种子面集合；
基于所述种子面集合选取当前种子面；
基于区域生长算法以所述当前种子面为起点进行区域生长，将与所述当前种子面所成角度小于阈值的三角面片聚类到同一平面；其中，在区域生长过程中，同时提取访问的三角面片的结构特征；
当前种子面区域生长过程完成后，选取所述种子面集合中未访问的下一种子面重复区域生长过程，直到所有三角面片都访问完毕。
10.一种多层次细节模型生成装置，其特征在于：
数据获取模块，所述数据获取模块用于获取目标的初始影像集合和初始三维网格模型；
纹理生成模块，所述纹理生成模块用于基于所述初始影像集合生成最佳纹理块集合；
三维模型生成模块，所述三维模型生成模块用于将所述最佳纹理块集合中的纹理块映射到所述初始三维网格模型上生成包含纹理的初始三维模型；
模型简化模块，所述模型简化模块用于对所述初始三维模型进行简化获得包含纹理的简化三维模型；
多层次细节模型生成模块，所述多层次细节模型生成模块用于基于所述简化三维模型生成多层次细节模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654905.0A CN113327315A (zh) | 2021-06-11 | 2021-06-11 | 多层次细节模型生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654905.0A CN113327315A (zh) | 2021-06-11 | 2021-06-11 | 多层次细节模型生成方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113327315A true CN113327315A (zh) | 2021-08-31 |
Family
ID=77421278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110654905.0A Pending CN113327315A (zh) | 2021-06-11 | 2021-06-11 | 多层次细节模型生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327315A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708375A (zh) * | 2022-06-06 | 2022-07-05 | 江西博微新技术有限公司 | 纹理映射方法、系统、计算机及可读存储介质 |
| CN115830209A (zh) * | 2022-09-28 | 2023-03-21 | 北京微视威信息科技有限公司 | 纹理映射方法、系统、设备及存储介质 |
| CN116402975A (zh) * | 2023-01-13 | 2023-07-07 | 北京航空航天大学云南创新研究院 | Web平台环境下三维模型加载和渲染方法及其装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679814A (zh) * | 2012-08-31 | 2014-03-26 | 西门子公司 | 一种三角形网格模型的处理方法及装置 |
| US20160335799A1 (en) * | 2014-01-27 | 2016-11-17 | Universite De Nice | Method, system and computer program product for 3d objects graphical representation |
| CN107918957A (zh) * | 2016-10-11 | 2018-04-17 | 中国测绘科学研究院 | 一种保持结构和纹理特征的三维建筑模型化简方法 |
| CN109118578A (zh) * | 2018-08-01 | 2019-01-01 | 浙江大学 | 一种层次化的多视图三维重建纹理映射方法 |
| CN109118588A (zh) * | 2018-09-25 | 2019-01-01 | 武汉大势智慧科技有限公司 | 一种基于块分解的彩色lod模型自动生成方法 |
| CN110097624A (zh) * | 2019-05-07 | 2019-08-06 | 洛阳众智软件科技股份有限公司 | 生成三维数据lod简化模型的方法及装置 |
| CN110223397A (zh) * | 2019-05-30 | 2019-09-10 | 南京维狸家智能科技有限公司 | 一种保持细节特征及纹理的网格模型简化方法 |
| CN110827402A (zh) * | 2020-01-13 | 2020-02-21 | 武大吉奥信息技术有限公司 | 一种基于栅格化技术的类建筑物三维模型简化方法及系统 |
| CN111882668A (zh) * | 2020-07-30 | 2020-11-03 | 清华大学 | 一种多视角立体对象重建方法与系统 |
| CN112258655A (zh) * | 2020-11-13 | 2021-01-22 | 河北地质大学 | 一种应用于vr虚拟银行的三维网格简化方法 |
-
2021
- 2021-06-11 CN CN202110654905.0A patent/CN113327315A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679814A (zh) * | 2012-08-31 | 2014-03-26 | 西门子公司 | 一种三角形网格模型的处理方法及装置 |
| US20160335799A1 (en) * | 2014-01-27 | 2016-11-17 | Universite De Nice | Method, system and computer program product for 3d objects graphical representation |
| CN107918957A (zh) * | 2016-10-11 | 2018-04-17 | 中国测绘科学研究院 | 一种保持结构和纹理特征的三维建筑模型化简方法 |
| CN109118578A (zh) * | 2018-08-01 | 2019-01-01 | 浙江大学 | 一种层次化的多视图三维重建纹理映射方法 |
| CN109118588A (zh) * | 2018-09-25 | 2019-01-01 | 武汉大势智慧科技有限公司 | 一种基于块分解的彩色lod模型自动生成方法 |
| CN110097624A (zh) * | 2019-05-07 | 2019-08-06 | 洛阳众智软件科技股份有限公司 | 生成三维数据lod简化模型的方法及装置 |
| CN110223397A (zh) * | 2019-05-30 | 2019-09-10 | 南京维狸家智能科技有限公司 | 一种保持细节特征及纹理的网格模型简化方法 |
| CN110827402A (zh) * | 2020-01-13 | 2020-02-21 | 武大吉奥信息技术有限公司 | 一种基于栅格化技术的类建筑物三维模型简化方法及系统 |
| CN111882668A (zh) * | 2020-07-30 | 2020-11-03 | 清华大学 | 一种多视角立体对象重建方法与系统 |
| CN112258655A (zh) * | 2020-11-13 | 2021-01-22 | 河北地质大学 | 一种应用于vr虚拟银行的三维网格简化方法 |
Non-Patent Citations (15)
| Title |
|---|
| SALINAS D , LAFARGE F , ALLIEZ P .: "Structure-Aware Mesh Decimation", 《COMPUTER GRAPHICS FORUM》, pages 1 - 21 * |
| 冯翔等: "带纹理的三维模型简化算法", 《计算机辅助设计与图形学学报》 * |
| 冯翔等: "带纹理的三维模型简化算法", 《计算机辅助设计与图形学学报》, vol. 21, no. 06, 15 June 2009 (2009-06-15), pages 842 - 846 * |
| 周晓敏等: "倾斜摄影测量的城市真三维模型构建方法", 《测绘科学》 * |
| 周晓敏等: "倾斜摄影测量的城市真三维模型构建方法", 《测绘科学》, vol. 41, no. 09, 30 September 2016 (2016-09-30), pages 159 - 163 * |
| 张春森;张会;郭丙轩;彭哲;: "城市场景结构感知的网格模型简化算法", 测绘学报, no. 03, pages 334 - 342 * |
| 彭雷等: "LOD模型生成算法研究", 《微机发展》 * |
| 彭雷等: "LOD模型生成算法研究", 《微机发展》, vol. 15, no. 04, 10 April 2005 (2005-04-10), pages 27 - 29 * |
| 李新维等: "一种大规模倾斜摄影模型三维可视化方案", 《测绘通报》 * |
| 李新维等: "一种大规模倾斜摄影模型三维可视化方案", 《测绘通报》, no. 04, 25 April 2017 (2017-04-25), pages 39 - 43 * |
| 杨秀德: "基于语义描述的马尔科夫随机场无人机影像三维重建", 《北京测绘》 * |
| 杨秀德: "基于语义描述的马尔科夫随机场无人机影像三维重建", 《北京测绘》, vol. 32, no. 07, 25 July 2018 (2018-07-25), pages 814 - 818 * |
| 欧阳锋等: "三维地形中多分辨率影像模型建模方法", 《计算机系统应用》 * |
| 欧阳锋等: "三维地形中多分辨率影像模型建模方法", 《计算机系统应用》, vol. 19, no. 06, 15 June 2010 (2010-06-15), pages 33 - 36 * |
| 赵杰;: "城市场景结构感知的网格模型简化算法研究", 冶金管理, no. 17, pages 37 - 38 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708375A (zh) * | 2022-06-06 | 2022-07-05 | 江西博微新技术有限公司 | 纹理映射方法、系统、计算机及可读存储介质 |
| CN114708375B (zh) * | 2022-06-06 | 2022-08-26 | 江西博微新技术有限公司 | 纹理映射方法、系统、计算机及可读存储介质 |
| CN115830209A (zh) * | 2022-09-28 | 2023-03-21 | 北京微视威信息科技有限公司 | 纹理映射方法、系统、设备及存储介质 |
| CN115830209B (zh) * | 2022-09-28 | 2023-09-05 | 北京微视威信息科技有限公司 | 纹理映射方法、系统、设备及存储介质 |
| CN116402975A (zh) * | 2023-01-13 | 2023-07-07 | 北京航空航天大学云南创新研究院 | Web平台环境下三维模型加载和渲染方法及其装置 |
| CN116402975B (zh) * | 2023-01-13 | 2024-03-26 | 北京航空航天大学云南创新研究院 | Web平台环境下三维模型加载和渲染方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113327315A (zh) | 多层次细节模型生成方法和装置 | |
| US10424112B2 (en) | Mesh boundary smoothing | |
| US9013499B2 (en) | Methods and apparatus for multiple texture map storage and filtering including irregular texture maps | |
| US20130127847A1 (en) | System and Method for Interactive Image-based Modeling of Curved Surfaces Using Single-view and Multi-view Feature Curves | |
| US9818219B2 (en) | View direction determination | |
| CN112102460A (zh) | 3d打印切片方法、装置、设备和存储介质 | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| CN116051708A (zh) | 三维场景轻量化模型渲染方法、设备、装置及存储介质 | |
| US20200349764A1 (en) | Apparatus, system and method for data generation | |
| US10657710B2 (en) | Displacement directed tessellation | |
| CN109697748B (zh) | 模型压缩处理方法、模型贴图处理方法装置、存储介质 | |
| US9811944B2 (en) | Method for visualizing freeform surfaces by means of ray tracing | |
| CN114241119A (zh) | 一种游戏模型生成方法、装置、系统及计算机存储介质 | |
| Rosen | Rectilinear texture warping for fast adaptive shadow mapping | |
| CN113920275A (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
| Schäfer et al. | Local Painting and Deformation of Meshes on the GPU | |
| US11100707B2 (en) | Computer graphics method for terrain rendering | |
| CN116129076B (zh) | 一种规则特征保持的建筑物Mesh模型简化方法 | |
| CN112419460A (zh) | 烘焙模型贴图的方法、装置、计算机设备和存储介质 | |
| CN114283266A (zh) | 一种三维模型调整方法、装置、存储介质及设备 | |
| US10636210B2 (en) | Dynamic contour volume deformation | |
| CN113786616A (zh) | 一种间接光照实现方法、装置、存储介质及计算设备 | |
| US9401038B2 (en) | Information processing apparatus, generation method, and storage medium | |
| WO2004081743A2 (en) | Visual simulation of dynamic moving bodies | |
| CN116824082B (zh) | 虚拟地形的绘制方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210831 |