CN114742947B - 一种适用于大范围的倾斜三维模型纹理分块重建方法 - Google Patents
一种适用于大范围的倾斜三维模型纹理分块重建方法 Download PDFInfo
- Publication number
- CN114742947B CN114742947B CN202210373160.5A CN202210373160A CN114742947B CN 114742947 B CN114742947 B CN 114742947B CN 202210373160 A CN202210373160 A CN 202210373160A CN 114742947 B CN114742947 B CN 114742947B
- Authority
- CN
- China
- Prior art keywords
- reconstruction
- texture
- triangular
- neighborhood
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000009499 grossing Methods 0.000 claims description 25
- 238000000638 solvent extraction Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000037351 starvation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种适用于大范围的倾斜三维模型纹理分块重建方法，应用于纹理重建技术领域，在面对大范围倾斜摄影三维重建时，一般需将重建区域划分为多个子区域，然而分块纹理重建容易出现纹理错误，本发明首先，采用空间规则格网进行分块，并基于分块单元之间的邻接关系，计算纹理重建层次关系；其次，基于三维Mesh模型提取建筑轮廓，并依据其遮挡影响范围，将其分为邻域遮挡和邻域不遮挡两类；接着，采用邻域遮挡单元恢复三角网格的遮挡关系，构建图割优化模型，完成最佳视图标签选择；最后，采用视图标签平滑优化处理，消除锯齿标签，缓解块内纹理接缝问题。
Description
技术领域
本发明涉及纹理重建技术领域，更具体的说是涉及一种适用于大范围的倾斜三维模型纹理分块重建方法。
背景技术
倾斜摄影测量技术以大范围、高精度、高清晰的方式全面感知复杂场景，能够提供丰富的建筑立面信息，已逐步成为城市实景三维模型重建与更新的重要手段。基于倾斜摄影的三维模型重建一般包括稀疏点云重建、密集点云重建、三维网格重建和纹理重建等步骤。纹理重建技术能够为重建模型呈现色彩、材质等信息，进一步提高模型的可视化表达效果，成为三维模型重建流程中必不可少的关键环节之一。近年来，随着计算机视觉和摄影测量等技术的快速发展，利用多视影像进行纹理重建的研究受到了国内外学者的广泛关注。
纹理重建(Texture Reconstruction,TR)是将采集到的多视影像经过配准后投影到三维模型，建立二维图像像素到三维模型的映射关系，最终生成具有真实感的彩色三维模型的过程。而在基于倾斜影像进行城市大场景三维模型的纹理重建方面，由于大量倾斜影像存在拍摄角度不一致、环境光照差异和透视遮挡等因素的影响，导致纹理重建存在映射错误、纹理色彩不一致和大量拼接缝等问题。
进一步，由于受到三维模型之间的遮挡和倾斜影像角度大、分辨率差异大、光照不均匀等因素的影响，纹理错误和色差不一致在倾斜三维模型中比较常见。然而，当重建范围较大时，为提高重建效率，需对整个区域进行分块并重建，在此过程中，三维模型的遮挡关系遭到强制破坏，这使得区域内的纹理错误和色差不一致性问题更加凸显。
现有方法通过引入马尔科夫随机场对三角网格和网格之间的邻接关系进行建模，通过对MRF的组合优化求解，能够为每个三角网格选择最佳纹理图像，能够在全局范围内解决纹理重建问题。然而，在面对形态复杂、大场景三维Mesh模型纹理重建时，其也存在以下三个局限：
(1)现有重建方法虽能够在全局范围内实现小范围场景的纹理重建，但随着重建范围的增大，需处理的数据量也随之增大，在单个重建范围内百万级的三角网格可能会增长为千万以及亿级，这将大大增加时间与内存消耗，严重情况下会导致重建程序异常退出无法进行纹理重建。
(2)场景分割会破坏原有场景的三维模型之间的遮挡关系，若重建模型位于重建区域内部，遮挡关系正确，能够正确进行纹理重建；若重建模型位于重建区域边缘，遮挡关系错误，此时，现有方法纹理重建错误。
(3)现有方法采用Potts模型来平滑相邻网格之间的纹理选择，没有顾及三维模型的场景结构信息，导致纹理重建色块碎片化严重，增加后期纹理拼接缝处理难度，降低三维模型的视觉效果。
因此，如何提供一种效率高、精度高、优化内部纹理接缝问题的适用于大范围的倾斜三维模型纹理分块重建方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种适用于大范围的倾斜三维模型纹理分块重建方法，以解决背景技术中提及的技术问题。
为了实现上述目的，本发明提供如下技术方案：
一种适用于大范围的倾斜三维模型纹理分块重建方法，具体步骤如下：
纹理重建层次关系：根据分块格网和重建区域的位置相对关系确定初始纹理重建单元，并依次向外扩展建立分块单元的格网索引，构建纹理重建层次关系；
邻域分块单元的建筑轮廓提取与分类：基于层次关系和格网索引确定当前处理单元及邻域分块单元，基于邻域分块单元进行建筑轮廓提取，将邻域分块单元分类；
建立三角网格可视图像列表：基于具有标签的邻域分块单元的几何模型结构，恢复当前块内的三角网格的错误遮挡关系，从而为每个三角网格构建正确的可视图像列表；
最佳视图选择：根据数据项权重因子修改视图选择能量函数的数据项，并采用邻域三角网格的平均法线与当前三角网格的角度因子修改视图选择能量函数的平滑项，基于全局图割优化算法完成三角网格的最佳视图标签选择；
视图标签平滑优化处理：基于三角网格的视图标签的邻域拓扑关系进行平滑处理，优化锯齿状的三角网格的纹理选择。
通过上述技术方案，本发明的技术效果在于，能够降低计算机资源和加快纹理重建速度，利用块间三维Mesh模型正确恢复分块引起的错误遮挡关系，正确构建三角网格对应的可视图像列表，实现三维Mesh模型纹理的正确重建；顾及三维网格法线与可视图像光线的夹角加权、三维网格中心纹理坐标到像主点距离加权和场景三维Mesh模型的平面关系的视图选择方法，实现三维模型的每个三角面片的最佳视图选择，减少纹理贴图碎片数量，进一步优化内部纹理接缝问题。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，纹理重建层次关系的具体步骤如下：
建立网格索引对原始分块格网进行组织；
为每一个原始分块格网划分重建层次，位于重建区域中心为初始重建单元，具体可通过分块格网和重建区域的位置相对关系确定，即初始重建单元为第1层；与第1层相邻的分块单元为第2层，同层次单元重建顺序按照分块格网中心到重建区域中心的距离进行排序，根据距离确定重建顺序优先级，得到第n层，从而建立纹理重建的层次关系。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，邻域分块单元的建筑轮廓提取具体步骤如下：
基于三维Mesh模型生成数字表面模型；再采用Sobel边缘检测算子进行模型轮廓边界提取；其次通过RANSAC在两测平滑线上检测建筑轮廓的主方向；然后通过MRF公式将轮廓的每条边分配一个主导方向作为对准目标，并将边界边缘对齐到目标方向；最后通过闭合轮廓和模型平均高度生成紧凑的建筑模型。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，邻域分块单元分类具体步骤如下：
首先，当前纹理重建单元，根据三维Mesh模型提取的建筑轮廓和相机参数计算遮挡范围定义如公式(1)；
其次，依据遮挡影响范围是否越过邻域块的空间范围，将邻域分块单元分为两大类：I类-邻域不遮挡，即邻域分块单元的三角网格不能影响当前重建单元的遮挡关系，II类-邻域遮挡，即邻域分块单元的三角网格能够影响当前重建单元的遮挡关系；
式中，为当前相机Cj下的遮挡范围，h为建筑模型高度，∠(Cj,N)为当前相机与建模模型外轮廓连线与地面水平线的夹角。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，建立三角网格可视图像列表具体步骤如下：
基于三角网格的顶点信息构建八叉树索引，采用相机视椎体裁剪和背面遮挡检测进行可视区域的三角网格预筛选，恢复当前块内的三角网格的错误遮挡关系，将分块单元内的三角网格进行分类，构建正确的可视图像列表。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，最佳视图选择具体步骤如下：
采用面积占比权重角度权重因子/>和距离权重因子/>作为数据项权重因子，优化三角网格的最佳视图选择；并引入三维模型平面结构信息作为平滑项的约束条件，改进后能量函数公式如下：
其中，Gradij为三角网格fi在标记图像li下的Soble梯度积分，表示节点fi选择某个标签图像li的概率大小；
表示邻接节点fi和fj选择相同标签图像，平滑项值为0，否则为无穷大；权重因子/>为面积占比权重因子、角度权重因子和距离权重因子的乘积；
采用α-βswap优化算法来求解能量函数，依次循环直至图割中的最小割出现。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，权重因子计算如下：
面积占比权重因子为：
其中，Areal为遮挡检测后的三角网格fi投影到标记图像li的面积，Aprj为其没有遮挡检测的三角网格fi投影到标记图像li的面积，表示如果完全可见，权重值为1；如果部分可见，权重值为面积占比；
角度权重因子为：
其中，为三角网格法线，/>为图像li投影中心与三角网格中心的光线的夹角；
距离权重因子为：
其中，为三角网格中心在图像li的纹理坐标，/>为图像li的像主点坐标，p为图像li的像素坐标；||·||2为像素坐标p到像主点/>的距离L2范数，|·|为计算权重的绝对值。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，引入三维模型平面结构信息作为平滑项的约束条件如下：
重新定义能量函数的平滑项Esmooth，如下：
其中，和,/>分别为三角网格fi和fj的一阶邻域网格的反距离加权法线向量，α为法线向量的夹角。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，视图标签平滑优化处理具体步骤如下：
当锯齿三角网格在邻域三角网格的最佳视图中可见时，依据锯齿三角网格的一阶邻域三角网格的最佳视图标签，将锯齿三角网格分类；
根据分类结果确定平滑优化。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种适用于大范围的倾斜三维模型纹理分块重建方法，该方法不仅继承了基于投影的纹理重建方法的高质量性，而且还利用场景分割实现大场景的纹理重建，能够降低计算机资源和加快纹理重建速度；利用块间三维Mesh模型正确恢复分块引起的错误遮挡关系，正确构建三角网格对应的可视图像列表，实现三维Mesh模型纹理的正确重建；顾及三维网格法线与可视图像光线的夹角加权、三维网格中心纹理坐标到像主点距离加权和场景三维Mesh模型的平面关系的视图选择方法，实现三维模型的每个三角面片的最佳视图选择，减少纹理贴图碎片数量，进一步优化内部纹理接缝问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图；
图2(a)为本发明的原始网格重建范围示意图；
图2(b)为本发明的纹理重建层次关系图；
图3(a)为本发明的建筑轮廓模型提取图；
图3(b)为本发明的原始网格示意图；
图3(c)为本发明的数字曲面模型图；
图3(d)为本发明的提取效果示意图；
图4(a)为本发明的I类-邻域不遮挡示意图；
图4(b)为本发明的II类-邻域遮挡示意图；
图5为本发明的三角网格分类示意图；
图6为本发明的场景三维Mesh模型的无向加权图；
图7(a)为本发明的非平滑标签示意图；
图7(b)为本发明的平滑标签示意图；
图8为本发明的实验区域图；
图9为本发明的两种方法在不同大小的实验区域内重建时间直方图；
图10为本发明的两种方法在不同大小的实验区域内存消耗直方图；
图11为本发明的纹理重建结果对比验证图；
图12(a)为Waechter方法建筑区域的纹理重建结果图；
图12(b)为本发明方法建筑区域的纹理重建结果图；
图13(a)为Waechter方法非建筑区域的纹理重建结果图；
图13(b)为本发明方法非建筑区域的纹理重建结果图；
图14(a)为Waechter方法建筑区域的纹理色块结果图；
图14(b)为本发明方法建筑区域的纹理色块结果图；
图15(a)为Waechter方法非建筑区域的纹理色块结果图；
图15(b)为本发明方法非建筑区域的纹理色块结果图；
图16为本发明建筑区域的碎片数量统计直方图；
图17为本发明非建筑区域的碎片数量统计直方图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种适用于大范围的倾斜三维模型纹理分块重建方法，该方法不仅继承了基于投影的纹理重建方法的高质量性，而且还利用场景分割实现大场景的纹理重建，能够降低计算机资源和加快纹理重建速度；利用块间三维Mesh模型正确恢复分块引起的错误遮挡关系，正确构建三角网格对应的可视图像列表，实现三维Mesh模型纹理的正确重建；顾及三维网格法线与可视图像光线的夹角加权、三维网格中心纹理坐标到像主点距离加权和场景三维Mesh模型的平面关系的视图选择方法，实现三维模型的每个三角面片的最佳视图选择，减少纹理贴图碎片数量，进一步优化内部纹理接缝问题。
本发明的实施例公开了一种适用于大范围的倾斜三维模型纹理分块重建方法，具体步骤如下：
纹理重建层次关系：根据分块格网和重建区域的位置相对关系确定初始纹理重建单元，并依次向外扩展建立分块单元的格网索引，构建纹理重建层次关系；
邻域分块单元的建筑轮廓提取与分类：基于层次关系和格网索引确定当前处理单元及邻域分块单元，基于邻域分块单元进行建筑轮廓提取，将邻域分块单元分类；
建立三角网格可视图像列表：基于具有标签的邻域分块单元的几何模型结构，恢复当前块内的三角网格的错误遮挡关系，从而为每个三角网格构建正确的可视图像列表；
最佳视图选择：根据数据项权重因子修改视图选择能量函数的数据项，并采用邻域三角网格的平均法线与当前三角网格的角度因子修改视图选择能量函数的平滑项，基于全局图割优化算法完成三角网格的最佳视图标签选择；
视图标签平滑优化处理：基于三角网格的视图标签的邻域拓扑关系进行平滑处理，优化锯齿状的三角网格的纹理选择。
需要了解的是：尽管每个分块格网均可以作为纹理重建基本单元，但是为了保证纹理重建正确，重建过程中需兼顾块内与块间的三角网格信息；
为了进一步优化上述技术方案，纹理重建层次关系的具体步骤如下：
建立网格索引对原始分块格网进行组织；
为每一个原始分块格网划分重建层次，位于重建区域中心为初始重建单元，具体可通过分块格网和重建区域的位置相对关系确定，即初始重建单元为第1层；与第1层相邻的分块单元为第2层，同层次单元重建顺序按照分块格网中心到重建区域中心的距离进行排序，根据距离确定重建顺序优先级，以此类推，“从里到外”得到第n层，从而建立纹理重建的层次关系。根据原始分块格网和重建区域的位置相对关系，取重建区域最里面分块单元为最初重建单元；如图2所示，对于图2(a)中的重建范围，其纹理重建层次关系如图2(b)所示。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，邻域分块单元的建筑轮廓提取具体步骤如下：
基于三维Mesh模型生成数字表面模型，如图3(b)所示；再采用Sobel边缘检测算子进行模型轮廓边界提取，如图3(c)所示；其次通过RANSAC在两测平滑线上检测建筑轮廓的主方向；然后通过MRF公式将轮廓的每条边分配一个主导方向作为对准目标，并将边界边缘对齐到目标方向；最后通过闭合轮廓和模型平均高度生成紧凑的建筑模型，如图3(d)所示。
具体地，遮挡关系恢复的首要问题就是判断邻域分块单元网格是否影响当前重建单元网格的遮挡关系，而遮挡关系快速判断的依据是通过建筑轮廓和相机的相对关系计算遮挡影响范围来计算。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，邻域分块单元分类具体步骤如下：
首先，当前纹理重建单元，如图4(b)所示，根据三维Mesh模型提取的建筑轮廓和相机参数计算遮挡范围定义如公式1；其次，依据遮挡影响范围是否越过邻域块的空间范围，将邻域分块单元分为两大类：I类-邻域不遮挡，即邻域分块单元的三角网格不能影响当前重建单元的遮挡关系，如图4(a)所示；II类-邻域遮挡，即邻域分块单元的三角网格能够影响当前重建单元的遮挡关系，如图4(b)所示。
式中，为当前相机Cj下的遮挡范围，h为建筑模型高度，∠(Cj,N)为当前相机与建模模型外轮廓连线与地面水平线的夹角。
为了进一步优化上述技术方案，建立三角网格可视图像列表具体步骤如下：
基于三角网格的顶点信息构建八叉树索引，采用相机视椎体裁剪和背面遮挡检测进行可视区域的三角网格预筛选，恢复当前块内的三角网格的错误遮挡关系，将分块单元内的三角网格进行分类，构建正确的可视图像列表。
具体地，将分块单元内的三角网格分为三种情况：(1)三角网格位于视椎体内，没有其它三角网格遮挡，相机完全可见，如图5绿色网格所示；(2)三角网格位于视椎体内，其它三角网格部分遮挡；三角网格部分位于视椎体内，相机部分可见，如图5黄色网格所示；(3)三角网格位于视椎体内，其它三角网格完全遮挡；三角网格位于视椎体外，相机完全不可见，如图5灰色网格所示。为了保证纹理重建完整和正确，第三种情况下的三角网格对应的可视图像列表不包括该图像。此外，由于分块处理破坏了原有的三角网格遮挡关系，前两种情况下的三角网格虽然在重建单元场景下的相机能够部分或完全可见，但是在完整场景下的相机可能部分或完全不可见。因此，需要基于上述Type II的邻域分块单元的三角网格进行遮挡恢复，进一步剔除三角网格对应可视图像列表内的完全遮挡图像，并计算部分可见情况下的三角网格的“遮挡面积”占比，作为后续视图选择能量函数数据项的权重因子，至此通过上述算法为每个三角网格正确建立了对应可视图像列表。
需要了解的是：图是对现实世界的一种直观表述，由一个点集V与节点间相关联的边E所组成，可以表述为G＝<V,E>。如图6所示，我们构造建了场景三维Mesh模型的无向加权图G，其中上下两个特殊的黑色终端节点为图G的源点s和汇点t，其余节点为三维Mesh模型中的每个三角网格在不同标记图像中的节点，其中每一层节点的数量和三角网格的数量相等。节点之间由t-link和n-link边相连，表示三角网格的相邻关系。t-link是连接源点s、汇点t和不同层标记图像节点的边，为节点选择不同标记图像Li的能量关系，描述标记图像是否位于三角网格的可视图像列表，其中蓝色节点为图像不可见，红色t-link边跳过蓝色节点，直接连接到下面可视图像节点；n-link是连接同层标记图像中节点的边，为相邻节点选择相同标记图像的能量关系，描述三角网格是否相邻。
为了进一步优化上述技术方案，最佳视图选择具体步骤如下：
采用面积占比权重角度权重因子/>和距离权重因子/>作为数据项权重因子，优化三角网格的最佳视图选择；并引入三维模型平面结构信息作为平滑项的约束条件，改进后能量函数公式如下：
其中，Gradij为三角网格fi在标记图像li下的Soble梯度积分，表示节点fi选择某个标签图像li的概率大小；
表示邻接节点fi和fj选择相同标签图像，平滑项值为0，否则为无穷大；权重因子/>为面积占比权重因子、角度权重因子和距离权重因子的乘积；
采用α-βswap优化算法来求解能量函数，依次循环直至图割中的最小割出现，具体地，不仅可对初始的数据集进行优化分割，而且能够将多维有向图变为二维简单有向图，从而能够避免有向图中t-link和n-link容量值的限定不确定性。假定已知标记集合L与被分割集合P，若有α,β∈L，交换α和β标记集合，αβ使之形成新的标记集合Lnew，并且确保在新的标记集合下，对应图割的割比原始的小，就把新的标记集合赋值于L；依次循环直至图割中的最小割出现。综上所述，在顾及场景平面结构信息前提下，为每个三角网格选择最佳视图。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，权重因子计算如下：
面积占比权重因子为：
其中，Areal为遮挡检测后的三角网格fi投影到标记图像li的面积，Aprj为其没有遮挡检测的三角网格fi投影到标记图像li的面积，表示如果完全可见，权重值为1；如果部分可见，权重值为面积占比；
角度权重因子为：
其中，为三角网格法线，/>为图像li投影中心与三角网格中心的光线的夹角；
距离权重因子为：
其中，为三角网格中心在图像li的纹理坐标，/>为图像li的像主点坐标，p为图像li的像素坐标；||·||2为像素坐标p到像主点/>的距离L2范数，|·|为计算权重的绝对值。
可选的，在上述的一种适用于大范围的倾斜三维模型纹理分块重建方法中，引入三维模型平面结构信息作为平滑项的约束条件如下：
重新定义能量函数的平滑项Esmooth，如下：
其中，和,/>分别为三角网格fi和fj的一阶邻域网格的反距离加权法线向量，α为法线向量的夹角。
为了缓解边界接缝问题，需要对锯齿边界进行平滑优化处理。视图标签平滑优化处理具体步骤如下：当锯齿三角网格在邻域三角网格的最佳视图中可见时，依据锯齿三角网格的一阶邻域三角网格的最佳视图标签，将锯齿三角网格分为三类：I类-全包围锯齿三角网格，即一阶邻域网格视图标签完全相同，有一种标签，如图7(a)绿色框所示；II类-半包围锯齿三角网格，即一阶邻域网格视图标签不完全相同，有两种标签，如图7(a)橘黄色框所示；III类-不包围锯齿三角网格，即一阶邻域网格视图标签完全不相同，有三种标签，如图7(a)红色框所示。根据锯齿网格类型，采用不同的方法进行平滑处理，具体平滑方法如下：
全包围：由于一阶邻域的三角网格视图标签完全相同，具有一类视图标签。该锯齿网格平滑处理为邻域三角网格视图标签，平滑结果为图7(b)绿色框所示；
半包围：由于一阶邻域的三角网格视图标签不完全相同，具有两类视图标签。该锯齿网格平滑处理为邻域三角网格标签数量多的视图标签，平滑结果为图7(b)橘黄色框所示；
不包围：由于一阶邻域的三角网格视图标签完全不相同，具有三类视图标签。首先计算锯齿三角网格的三个边长，按照从大到小的顺序进行排序，该锯齿网格平滑处理为最大边长对应的邻域三角网格的视图标签，平滑结果为图7(b)红色框所示。
实验与分析
实验数据与运行环境
为了验证本发明的算法的有效性和优越性，采用不同的相机分辨率的多视倾斜影像数据。Waechter方法已经集成到开源程序OpenMVS，该开源程序提供了一套完整的算法来重建三维场景模型，能够很容易地移植到其他应用场景中。因此，本方法基于OpenMVS进行改进，并将本方法与Waechter方法的实验结果进行对比分析。实验内容包括纹理重建效率、纹理重建结果和纹理重建碎片数量对比验证三部分。
实验数据为城区倾斜影像，详细参数如表1所示。数据涵盖了大范围三维模型重建的主要类型：建筑区域和非建筑区域，对纹理重建具有普遍意义。实验运行环境为一台工作站，Windows 10 64-bit操作系统，Intel Xeon(R)Gold-6132 CPU(主频为2.6GHz，32线程)，196GB内存。
表1倾斜影像数据描述
纹理重建效率对比验证
在重建区域选取0.5km2，1.0km2，1.5km2，2km2，5km2和10km2六组区域进行纹理重建实验，实验区域内三角网格数量范围为[9489605-189659620]。本方法采用350m×350m格网大小将重建区域进行分割，Waechter方法不进行分割，并统计了Waechter方法与本方法的效率情况，进行对比分析。
(1)重建时间对比
两种方法在不同大小的实验区域内重建时间统计情况见表2，对应的直方图见图9。此外，本文方法已对重建区域的场景进行分割预处理，统计时间不包含场景分割时间。
表2
时间以分钟为单位表示。OOM指的是内存不足。
由表2和图9可以发现:
1)随着实验区域的增大，两种方法的耗时都呈增长趋势。本方法的耗时均低于Waechter方法，主要是因为随着三角网格的数量的增多，全局图割优化算法为三角网格选择最佳视图耗时增多，而本方法采用规则格网分割减少单块三角网格数量，避免了三角网格数量过多导致全局优化耗时问题；
2)Waechter方法仅能完成小范围区域(≤2km2)的纹理重建，当实验区域较大时(>2km2)，该方法会因为需处理的数据量过大而引起程序崩溃，无法完成纹理重建；
3)在可重建的实验范围内，本文方法耗时略低于Waechter方法，但相差不大。
(2)内存消耗对比
两种方法在不同大小的实验区域内效率统计情况见表3，对应的直方图见图10。
表3
内存消耗以GB为单位表示，该方法报告的值是纹理重建过程中消耗的最大内存消耗。OOM指的是内存不足。
由表3和图10可以发现:(1)随着实验区域的增大，两种方法的内存消耗都呈增长趋势，但是Waechter方法的内存消耗增加显著，本方法内存消耗增加缓慢，基本保持不变；(2)在单机环境下，当实验区域较大时(>2km2)，Waechter方法因为程序异常退出而无法完成纹理重建；(3)在可重建的实验范围内，Waechter方法的内存消耗约是本文方法的2-13倍。
纹理重建结果对比验证
Waechter方法不适用于大范围模型数据纹理重建，为更好进行纹理重建结果对比实验，Waechter方法同样采用规则格网分割后的三维模型数据，从而验证本文方法的有效性。两种方法在不同实验区域内，分别选取建筑区域和非建筑区域进行实验，纹理重建结果对比验证如图11所示；
纹理重建正确性对比验证
两种方法在不同实验区域内的纹理重建结果，如下图12-13所示。
由图12和图13可以看出，在建筑密集区域，由于分块纹理重建引起块间三角网格的遮挡关系错误。采用Waechter方法进行纹理重建，出现纹理重建错误；然而，本方法首先采用块间三角网格进行遮挡关系恢复，然后再进行纹理重建，没有出现纹理重建错误。在非建筑区域，由于分块纹理重建没有引起块间三角网格的遮挡关系错误。采用Waechter方法进行纹理重建，没有出现纹理重建错误，但出现部分纹理拼接缝和错位问题；然而，本方法首先调整能量函数的数据项和平滑项计算方法，然后再进行纹理重建，很大程度的缓解了这些问题，体现出了本文方法的有效性和优越性。
纹理重建碎片数量对比验证
在上述建筑区域和非建筑区域，两种方法分别进行纹理重建碎片实验，纹理重建碎片数量对比验证如图14-15所示；
由图14和图15可以看出，在建筑密集区域和非建筑区域，Waechter方法纹理重建碎片数量较多，易出现纹理拼接缝和错位问题；然而，本方法采用顾及场景结构来优化邻域三角网格是最佳视图选择，大幅减少纹理重建碎片数量，从而极大的缓解了这些问题。
两种方法在建筑区域，纹理碎片数量统计情况见表4，对应的直方图见图16。
表4
注：统计纹理碎片数量为个。
两种方法在非建筑区域，纹理碎片数量统计情况见表5，对应的直方图见图17。
表5
注：统计纹理碎片数量为个。
由表4-5和图16-17可以发现，在两种不同试验区域，本方法的纹理重建碎片数量平均减少30％，能够缓解纹理重建错误和拼接缝问题，体现出了本方法的有效性和优越性。
综上所述，纹理重建是三维模型重建的最后一个步骤，能够呈现三维模型的色彩、材质等信息，是提高三维模型的可视化表达效果的关键环节之一。当前，对于倾斜摄影三维模型纹理重建多采用基于投影的方式进行重建。较为成熟的方法是通过马尔科夫随机场对三角网格和网格之间的邻接关系进行建模，通过对MRF的组合优化求解，能够实现为每个三角网格选择最佳纹理，适用于小范围的三维模型的纹理重建，但其在大范围纹理重建存在计算时间较长、内存消耗较大和重建失败等问题。基于此，本文提出一种适用于大范围倾斜摄影三维模型的分块纹理重建方法，以每个分块格网作为纹理重建基本单元，并建立块间层次关系，“由内及外”，逐块纹理重建，在纹理重建结果正确的前提下，能够提高纹理重建效率和减少纹理碎片数量。经实际数据进行验证，得到以下主要结论：
(1)在纹理重建效率方面：成熟的Waechter方法仅能完成小范围区域(≤2km2)的纹理重建，当实验区域较大时(>2km2)，该方法会因为需处理的数据量过大导致内存暴增，从而引起程序异常退出，无法完成纹理重建，在可重建的实验范围内，本文方法耗时略低于Waechter方法，但相差不大。此外，在内存消耗方面，在可重建的实验范围内，Waechter方法的内存消耗约是本文方法的2-13倍。
(2)在纹理重建结果方面：相较成熟的Waechter方法，在分块边缘部分遮挡区域，本文方法能够正确纹理重建；在分块内部细小模型未能正确重建区域，本文方法能够改善纹理重建质量，缓解纹理错位问题。
(3)在纹理重建碎片数量方面：相较成熟的Waechter方法，能够顾及场景结构信息，在相对平坦的三维模型区域，本文方法能够减少纹理碎片数量，减少纹理拼接缝问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，具体步骤如下：
纹理重建层次关系：根据分块格网和重建区域的位置相对关系确定初始纹理重建单元，并依次向外扩展建立分块单元的格网索引，构建纹理重建层次关系；
邻域分块单元的建筑轮廓提取与分类：基于层次关系和格网索引确定当前处理单元及邻域分块单元，基于邻域分块单元进行建筑轮廓提取，将邻域分块单元分类；
邻域分块单元的建筑轮廓提取具体步骤如下：
基于三维Mesh模型生成数字表面模型；再采用Sobel边缘检测算子进行模型轮廓边界提取；其次通过RANSAC在两测平滑线上检测建筑轮廓的主方向；然后通过MRF公式将轮廓的每条边分配一个主导方向作为对准目标，并将边界边缘对齐到目标方向；最后通过闭合轮廓和模型平均高度生成紧凑的建筑模型；
邻域分块单元分类具体步骤如下：
首先，当前纹理重建单元，根据三维Mesh模型提取的建筑轮廓和相机参数计算遮挡范围定义如公式(1)；
其次，依据遮挡影响范围是否越过邻域块的空间范围，将邻域分块单元分为两大类：I类-邻域不遮挡，即邻域分块单元的三角网格不能影响当前重建单元的遮挡关系，II类-邻域遮挡，即邻域分块单元的三角网格能够影响当前重建单元的遮挡关系；
式中，为当前相机Cj下的遮挡范围，h为建筑模型高度，∠(Cj,N)为当前相机与建模模型外轮廓连线与地面水平线的夹角；
建立三角网格可视图像列表：基于具有标签的邻域分块单元的几何模型结构，恢复当前块内的三角网格的错误遮挡关系，从而为每个三角网格构建正确的可视图像列表；
最佳视图选择：根据数据项权重因子修改视图选择能量函数的数据项，并采用邻域三角网格的平均法线与当前三角网格的角度因子修改视图选择能量函数的平滑项，基于全局图割优化算法完成三角网格的最佳视图标签选择；
视图标签平滑优化处理：基于三角网格的视图标签的邻域拓扑关系进行平滑处理，优化锯齿状的三角网格的纹理选择。
2.根据权利要求1所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，纹理重建层次关系的具体步骤如下：
建立网格索引对原始分块格网进行组织；
为每一个原始分块格网划分重建层次，位于重建区域中心为初始重建单元，具体通过分块格网和重建区域的位置相对关系确定，即初始重建单元为第1层；与第1层相邻的分块单元为第2层，同层次单元重建顺序按照分块格网中心到重建区域中心的距离进行排序，根据距离确定重建顺序优先级，得到第n层，从而建立纹理重建的层次关系。
3.根据权利要求1所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，建立三角网格可视图像列表具体步骤如下：
基于三角网格的顶点信息构建八叉树索引，采用相机视椎体裁剪和背面遮挡检测进行可视区域的三角网格预筛选，恢复当前块内的三角网格的错误遮挡关系，将分块单元内的三角网格进行分类，构建正确的可视图像列表。
4.根据权利要求1所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，最佳视图选择具体步骤如下：
采用面积占比权重角度权重因子/>和距离权重因子/>作为数据项权重因子，优化三角网格的最佳视图选择；并引入三维模型平面结构信息作为平滑项的约束条件，改进后能量函数公式如下：
其中，Gradij为三角网格fi在标记图像li下的Soble梯度积分，表示节点fi选择某个标签图像li的概率大小；/>表示邻接节点fi和fj选择相同标签图像，平滑项值为0，否则为无穷大；权重因子/>为面积占比权重因子、角度权重因子和距离权重因子的乘积；
采用α-βswap优化算法来求解能量函数，依次循环直至图割中的最小割出现。
5.根据权利要求4所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，权重因子计算如下：
面积占比权重因子为：
其中，Areal为遮挡检测后的三角网格fi投影到标记图像li的面积，Aprj为其没有遮挡检测的三角网格fi投影到标记图像li的面积，表示如果完全可见，权重值为1；如果部分可见，权重值为面积占比；
角度权重因子为：
其中， 为三角网格法线，/>为图像li投影中心与三角网格中心的光线的夹角；
距离权重因子为：
其中， 为三角网格中心在图像li的纹理坐标，/>为图像li的像主点坐标，p为图像li的像素坐标；||·||2为像素坐标p到像主点/>的距离L2范数，|·|为计算权重的绝对值。
6.根据权利要求4所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，引入三维模型平面结构信息作为平滑项的约束条件如下：
重新定义能量函数的平滑项Esmooth，如下：
其中，和,/>分别为三角网格fi和fj的一阶邻域网格的反距离加权法线向量，α为法线向量的夹角。
7.根据权利要求1所述的一种适用于大范围的倾斜三维模型纹理分块重建方法，其特征在于，视图标签平滑优化处理具体步骤如下：
当锯齿三角网格在邻域三角网格的最佳视图中可见时，依据锯齿三角网格的一阶邻域三角网格的最佳视图标签，将锯齿三角网格分类；
根据分类结果确定平滑优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210373160.5A CN114742947B (zh) | 2022-04-11 | 2022-04-11 | 一种适用于大范围的倾斜三维模型纹理分块重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210373160.5A CN114742947B (zh) | 2022-04-11 | 2022-04-11 | 一种适用于大范围的倾斜三维模型纹理分块重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114742947A CN114742947A (zh) | 2022-07-12 |
| CN114742947B true CN114742947B (zh) | 2024-04-19 |
Family
ID=82281312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210373160.5A Active CN114742947B (zh) | 2022-04-11 | 2022-04-11 | 一种适用于大范围的倾斜三维模型纹理分块重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742947B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495735B (zh) * | 2024-01-03 | 2024-03-26 | 武汉峰岭科技有限公司 | 一种基于结构引导的建筑物立面纹理自动修复方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093499A (zh) * | 2012-12-26 | 2013-05-08 | 深圳先进技术研究院 | 一种适用于网络传输的城市三维模型数据组织方法 |
| CN105205866A (zh) * | 2015-08-30 | 2015-12-30 | 浙江中测新图地理信息技术有限公司 | 基于密集点云的城市三维模型快速构建方法 |
| CN107093205A (zh) * | 2017-03-15 | 2017-08-25 | 北京航空航天大学 | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 |
| CN112233231A (zh) * | 2020-09-11 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种基于云计算的城市三维实景漫游方法及系统 |
| WO2021120405A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8933925B2 (en) * | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
-
2022
- 2022-04-11 CN CN202210373160.5A patent/CN114742947B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093499A (zh) * | 2012-12-26 | 2013-05-08 | 深圳先进技术研究院 | 一种适用于网络传输的城市三维模型数据组织方法 |
| CN105205866A (zh) * | 2015-08-30 | 2015-12-30 | 浙江中测新图地理信息技术有限公司 | 基于密集点云的城市三维模型快速构建方法 |
| CN107093205A (zh) * | 2017-03-15 | 2017-08-25 | 北京航空航天大学 | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 |
| WO2021120405A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
| CN112233231A (zh) * | 2020-09-11 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种基于云计算的城市三维实景漫游方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 城市三维重建中的自动纹理优化方法;李明;张卫龙;范丁元;;测绘学报;20170315(第03期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114742947A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
| Xiao et al. | Image-based façade modeling | |
| Furukawa et al. | Accurate, dense, and robust multiview stereopsis | |
| Broadhurst et al. | A probabilistic framework for space carving | |
| Saxena et al. | Make3d: Learning 3d scene structure from a single still image | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| US9098926B2 (en) | Generating three-dimensional façade models from images | |
| Shamir | Segmentation and shape extraction of 3D boundary meshes. | |
| CN108830869B (zh) | 基于超像素的遥感图像并行分割方法 | |
| CN104574501A (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
| CN113724394A (zh) | 一种三维模型轻量化的方法 | |
| Garcia-Dorado et al. | Automatic urban modeling using volumetric reconstruction with surface graph cuts | |
| CN113205502A (zh) | 一种基于深度学习的绝缘子缺陷检测方法及其系统 | |
| CN114742947B (zh) | 一种适用于大范围的倾斜三维模型纹理分块重建方法 | |
| CN115797592B (zh) | 一种基于倾斜摄影三维模型自动生成建筑物体块的方法和装置 | |
| CN116805356A (zh) | 建筑模型的构建方法、设备及计算机可读存储介质 | |
| CN106355646B (zh) | 应用于图像处理的表面细化方法、装置以及系统 | |
| CN115393548A (zh) | 一种适用于三维重建的网格纹理化简算法 | |
| CN111127622B (zh) | 基于图像分割的三维点云离群点剔除方法 | |
| Dong et al. | Outlier detection and disparity refinement in stereo matching | |
| Wang et al. | StructuredMesh: 3D Structured Optimization of Fa\c {c} ade Components on Photogrammetric Mesh Models using Binary Integer Programming | |
| TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
| CN113793418B (zh) | 基于线性几何体拟合的建筑物三维模型简化方法 | |
| CN105631868A (zh) | 一种基于图像分类的深度信息提取方法 | |
| CN115937465A (zh) | 一种顾及像素区域预测的深度图融合算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |