CN109785421A - 一种基于空地影像组合的纹理映射方法及系统 - Google Patents

Abstract

本发明提供了一种基于空地影像组合的纹理映射方法及系统，包括：获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，以待贴图区域内各三角面的相邻关系及其顶点之间的相邻关系构建无向图；根据原始三维模型的各三角面和各纹理视图之间的对应关系对多幅纹理视图进行可见性筛选，得到多幅可见纹理视图，从多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用最优可见纹理视图对对应的三角面进行纹理映射。通过采用地面影像对原始三维模型中待贴图区域进行再次贴图，并通过可见性分析筛选剔除质量不好的地面影像，然后再寻找全局的最优可见纹理视图，使得最终的贴图具有细节丰富、高真实度、高精确度的特点。

Description

一种基于空地影像组合的纹理映射方法及系统

技术领域

本发明实施例涉及三维建模及纹理映射技术领域，更具体地，涉及一种基于空地影像组合的纹理映射方法及系统。

背景技术

摄影测量技术是近年来快速发展的一项新型信息采集技术，它颠覆了传统航空摄影测量只能从单一垂直角度进行拍摄的局限，通过在同一个飞行平台搭载多台各向的传感器，从垂直、倾斜等不同角度同时采集地面立体图像信息数据，其搭载的高精度导航定位系统也为重建三维场景的地理信息精确度提供了保障。航空摄影测量技术所拍摄的多视倾斜影像数据不仅提供了高精度的顶面和侧面纹理信息，还结合精确的定位信息，通过建模、融合等一系列手段，生成实景三维模型。

尽管航空倾斜摄影数据具有高真实度、覆盖角度广的优势，但是由于密集建筑物之间的遮挡，使得近地面数据缺失。另外，由于航空摄影测量倾斜角度的不同，辨别地面数据的效果不同，也造成了近地面数据细节模糊、扭曲等现象。

发明内容

本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的基于空地影像组合的纹理映射方法及系统。

第一方面本发明实施例提供了一种基于空地影像组合的纹理映射方法，包括：

获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；

根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；

从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

另一方面本发明实施例提供了一种基于空地影像组合的纹理映射系统，包括：

获取模块，用于获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；

可见性筛选模块，用于根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；

纹理映射模块，用于从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

第三方面本发明实施例提供了包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行第一方面提供的基于空地影像组合的纹理映射方法。

第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的基于空地影像组合的纹理映射方法。

本发明实施例提供的一种基于空地影像组合的纹理映射方法及系统，通过采用地面细节信息丰富的地面影像对原始三维模型进行贴图，并通过可见性分析筛选剔除质量不好的地面影像，然后再寻找全局的最优可见纹理视图，使得最终的贴图具有细节丰富、高真实度、高精确度的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供一种基于空地影像组合的纹理映射方法的流程图；

图2为本发明实施例提供的一种基于空地影像组合的纹理映射系统的结构框图；

图3为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供一种基于空地影像组合的纹理映射方法的流程图，如图1所示，包括：

S101，获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；

S102，根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；

S103，从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

在步骤S101中，待贴图区域是原始三维模型中贴图效果不好的区域，如房屋正面。其中，原始三维模型是根据航空影像建立的三维模型。

与待贴图区域对应的多幅地面图像，是在地面从各个不同角度连续拍摄的待贴图区域的图像。通过与每幅地面图像对应的空三数据，可以获取对应的纹理视图。

利用原始三维模型中顶点相邻关系及三角面相邻关系构建无向图。其中，三角面作为无向图的节点，若三角面相邻就表示无向图之间可以连接成边。

在步骤S102中，对于多幅纹理视图，不是所有纹理视图对于模型三角面来说都是可见的，则需要将多幅纹理视图中不可见的纹理视图筛除，即所谓的可见性筛选。可见纹理视图才能反映三角面的表面纹理，此步骤是对于纹理视图的第一次筛选。

在步骤S103中，由于不同地面图像拍摄时的角度不一样，所以不是每幅地面图像对应的纹理视图都能最好的反映出三角面的纹理。通过一定手段，筛选出每个三角面对应的最优可见纹理视图，然后再利用最优可见纹理视图对对应的三角面进行纹理映射。完成所有三角面的纹理映射后，即完成了待贴图区域的纹理映射，得到信息完整的三维模型。

具体地，先通过航空倾斜摄影等手段获取航空图像，并建立原始三维模型，通过分析得出原始三维模型中待贴图区域。同时，从多个不同角度在地面拍摄多幅待贴图区域的地面图像，并根据多幅地面图像获取对应的多幅纹理视图。针对待贴图区域，根据模型顶点相邻关系以及三角面相邻关系获取无向图。再根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对待贴图区域对应的多幅纹理视图进行可见性筛选，得到多幅可见纹理视图。从多幅可见纹理视图中，为每个三角面选择最优可见纹理视图，并对每个三角面进行纹理映射，最终实现对待贴图区域的纹理映射。

本发明实施例提供的一种基于空地影像组合的纹理映射方法，通过采用地面细节信息丰富的地面影像对原始三维模型进行贴图，并通过可见性分析筛选剔除质量不好的地面影像，然后再寻找全局的最优可见纹理视图，使得最终的贴图具有细节丰富、高真实度、高精确度的特点。

在上述实施例中，所述根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图，具体包括：

筛除所述多幅纹理视图中处于当前三角面背面的纹理视图，得到多幅第一可见纹理视图；

筛除所述多幅第一可见纹理视图中被预设遮挡模型中除所述当前三角面以外其他三角面遮挡的第一可见纹理视图，得到所述多幅可见纹理视图。

具体地，对于模型三角面来说，地面图像不可见一般分为两种情况，其一为地面图像处于当前三角面的背面，无法从正面被观察到，需要将其剔除；另一种情况为被预设遮挡模型中除所述当前三角面以外其他三角面遮挡，需要将其剔除。将上述两种地面图像对应的纹理视图剔除后，得到的即为可见纹理视图。

在上述实施例中，所述筛除所述多幅纹理视图中处于当前三角面背面的纹理视图，得到多幅第一可见纹理视图，具体包括：

计算每个三角面与各纹理视图对应的视线方向的反方向之间夹角的余弦值，筛除各纹理视图中对应的所述余弦值小于零的纹理视图，得到所述多幅第一可见纹理视图。

具体地，将所有的纹理视图加入三角面的初始可见影像列表，首先计算三角面法线与纹理视图对应的视线方向反向的夹角余弦值cosθ，如果cosθ小于0，则认为该影像处于三角面的背面，从可见影像列表中剔除，则可见影像列表中只包含第一可见纹理视图。

考虑到拍摄影像倾斜程度很大，也会使得贴图效果下降，所以可以限制夹角θ要小于75°。

在上述实施例中，所述筛除所述多幅第一可见纹理视图中被预设遮挡模型中除所述当前三角面以外其他三角面遮挡的第一可见纹理视图，得到所述多幅可见纹理视图，具体包括：

将三维模型所在的9个区块模型作为所述预设遮挡模型；

构建每个三角面到各第一可见纹理视图对应的拍摄相机中心的射线，筛除各第一可见纹理视图中对应的所述射线与所述预设遮挡模型有交点的第一可见纹理视图，得到所述多幅可见纹理视图。

具体地，在进行了背面剔除之后，加入待贴图区域所在的9个Tile区块模型，建立遮挡模型model，依次构建每个三角面到每张影像拍摄相机中心的射线，计算该射线与遮挡模型model是否有交点，如果有交点，则认定为不可见影像，从可见影像列表中剔除，则可见影像列表中只包含可见纹理视图。

在上述实施例中，所述根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图，进一步包括：

筛除所述多幅可见纹理视图中的移动遮挡物。

具体地，在进行了背面剔除和遮挡检测以后，还要考虑未重建出来的非固定场景刚性几何组成(如行人和汽车等遮挡物)对可见性分析的影响。首先计算三角面投影到其可见影像上的平均色彩值ci，将可见影像列表中的所有影像均视为内点，计算所有内点平均色彩值ci的均值m，对内点集中的每张影像，计算其平均色彩值ci与m的欧式距离d，将欧氏距离d最大的影像从内点列表里清除，更新可见影像列表，重复迭代10次，直到内点集中个数少于4或者所有影像欧式距离均低于设定阈值为止。

在上述实施例中，所述从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，具体包括：

获取每个三角面在各可见纹理视图上的投影三角形，并计算所述投影三角形的梯度幅值，并将各可见纹理视图中对应的所述梯度幅值最大的可见纹理视图作为每个三角面的初始最优可见纹理视图；

利用马尔科夫随机场能量模型，根据每个三角面的初始最优可见纹理视图，获取每个三角面的最优可见纹理视图。

具体地，对于可见列表中的每张可见纹理视图，计算三角面投影到可见纹理视图上对应三角形区域内的影像梯度幅值，即投影三角形梯度幅值，将其作为该三角形对应该可见纹理视图的数据代价。

选取数据代价中最大的可见纹理视图作为当前三角形的初始最优纹理视图，将最优纹理视图选择视为一个标签Labeling问题，目的是为每个三角面选择一个全局最优的Label标签，即最优可见纹理视图。

求解Labeling问题通过构建马尔科夫随机场能量模型并求解其能量最小化来解决，首先要构建MRF(Markov Random Field，马尔科夫随机场)能量场的数据项和平滑项。数据项等于所述数据代价，平滑项的计算是：若相邻三角面选用了同一张纹理视图，则平滑项等于0，若相邻三角面选用了不同纹理视图，则平滑项等于1。

构建好能量模型以后，利用Alpha-expansion的图割(Graph-cut)方法，首先选取任一初始标签A，不断变换三角面的标签为A或不为A，计算变换前后的能量值，若变换后的能量值下降，则保留变换结果，若变换后的能量值没有下降，则保留原始标签。如此迭代求解，直到最终能量值不再下降，则最后的标签方案就作为三角面对应的最优可见纹理视图。

在上述实施例中，在利用所述最优可见纹理视图对对应的三角面进行纹理映射之前，还包括：

若判断获知两个相邻的三角面的最优可见纹理视图相同，且所述两个相邻的三角面在所述最优可见纹理视图上的投影三角形也相邻，则将所述两个相邻的三角面合并。

图2为本发明实施例提供的一种基于空地影像组合的纹理映射系统的结构框图，如图2所示，包括：获取模块201、可见性筛选模块202及纹理映射模块203。其中：

获取模块201用于获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图。可见性筛选模块202用于根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图。纹理映射模块203用于从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

具体地，可见性筛选模块202包括背面筛除模块和遮挡筛除模块。其中：

背面筛除模块用于筛除所述多幅纹理视图中处于当前三角面背面的纹理视图，得到多幅第一可见纹理视图。遮挡筛除模块用于筛除所述多幅第一可见纹理视图中被预设遮挡模型中除所述当前三角面以外其他三角面遮挡的第一可见纹理视图，得到所述多幅可见纹理视图。

进一步地，背面筛除模块具体用于：

计算每个三角面与各纹理视图对应的视线方向的反方向之间夹角的余弦值，筛除各纹理视图中对应的所述余弦值小于零的纹理视图，得到所述多幅第一可见纹理视图。

进一步地，遮挡筛除模块具体用于：

将所述原始三维模型所在的9个区块模型作为遮挡模型；

构建每个三角面到各第一可见纹理视图对应的拍摄相机中心的射线，筛除各第一可见纹理视图中对应的所述射线与所述遮挡模型有交点的第一可见纹理视图，得到所述多幅可见纹理视图。

进一步地，可见性筛选模块202还包括移动遮挡物筛除模块，用于筛除所述多幅可见纹理视图中的移动遮挡物。

进一步地，纹理映射模块203具体用于：

获取每个三角面在各可见纹理视图上的投影三角形，并计算所述投影三角形的梯度幅值，并将各可见纹理视图中对应的所述梯度幅值最大的可见纹理视图作为每个三角面的初始最优可见纹理视图；

利用马尔科夫随机场能量模型，根据每个三角面的初始最优可见纹理视图，获取每个三角面的最优可见纹理视图。

进一步地，纹理映射模块203还包括三角面合并模块，用于若判断获知两个相邻的三角面的最优可见纹理视图相同，且所述两个相邻的三角面在所述最优可见纹理视图上的投影三角形也相邻，则将所述两个相邻的三角面合并。

本发明实施例提供的一种基于空地影像组合的纹理映射系统，通过采用地面细节信息丰富的地面影像对原始三维模型进行贴图，并通过可见性分析筛选剔除质量不好的地面影像，然后再寻找全局的最优可见纹理视图，使得最终的贴图具有细节丰富、高真实度、高精确度的特点。

图3为本发明实施例提供的一种电子设备的结构示意图，如图3所示，电子设备包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304，其中，处理器301，通信接口302，存储器303通过总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法，例如包括：获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的通信设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于空地影像组合的纹理映射方法，其特征在于，包括：

获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；

根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；

从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

2.根据权利要求1所述方法，其特征在于，所述根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图，具体包括：

筛除所述多幅纹理视图中处于当前三角面背面的纹理视图，得到多幅第一可见纹理视图；

筛除所述多幅第一可见纹理视图中被预设遮挡模型中除所述当前三角面以外其他三角面遮挡的第一可见纹理视图，得到所述多幅可见纹理视图。

3.根据权利要求2所述方法，其特征在于，所述筛除所述多幅纹理视图中处于当前三角面背面的纹理视图，得到多幅第一可见纹理视图，具体包括：

计算每个三角面与各纹理视图对应的视线方向的反方向之间夹角的余弦值，筛除各纹理视图中对应的所述余弦值小于零的纹理视图，得到所述多幅第一可见纹理视图。

4.根据权利要求2所述方法，其特征在于，所述筛除所述多幅第一可见纹理视图中被预设遮挡模型中除所述当前三角面以外其他三角面遮挡的第一可见纹理视图，得到所述多幅可见纹理视图，具体包括：

将三维模型所在的9个区块模型作为所述预设遮挡模型；

构建每个三角面到各第一可见纹理视图对应的拍摄相机中心的射线，筛除各第一可见纹理视图中对应的所述射线与所述预设遮挡模型有交点的第一可见纹理视图，得到所述多幅可见纹理视图。

5.根据权利要求2所述方法，其特征在于，所述根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图，进一步包括：

筛除所述多幅可见纹理视图中的移动遮挡物。

6.根据权利要求1所述方法，其特征在于，所述从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，具体包括：

获取每个三角面在各可见纹理视图上的投影三角形，并计算所述投影三角形的梯度幅值，并将各可见纹理视图中对应的所述梯度幅值最大的可见纹理视图作为每个三角面的初始最优可见纹理视图；

利用马尔科夫随机场能量模型，根据每个三角面的初始最优可见纹理视图，获取每个三角面的最优可见纹理视图。

7.根据权利要求1所述方法，其特征在于，在利用所述最优可见纹理视图对对应的三角面进行纹理映射之前，还包括：

若判断获知两个相邻的三角面的最优可见纹理视图相同，且所述两个相邻的三角面在所述最优可见纹理视图上的投影三角形也相邻，则将所述两个相邻的三角面合并。

8.一种基于空地影像组合的纹理映射系统，其特征在于，包括：

获取模块，用于获取原始三维模型中待贴图区域的多幅地面图像对应的多幅纹理视图，并以所述待贴图区域内各三角面的顶点之间的相邻关系及各三角面之间的相邻关系构建无向图；

可见性筛选模块，用于根据所述原始三维模型的各三角面和各纹理视图之间的对应关系对所述多幅纹理视图进行可见性筛选，得到多幅可见纹理视图；

纹理映射模块，用于从所述多幅可见纹理视图中，获取每个三角面对应的最优可见纹理视图，并利用所述最优可见纹理视图对对应的三角面进行纹理映射，以实现对所述待贴图区域的纹理映射。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如权利要求1至7任一项所述的基于空地影像组合的纹理映射方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一项所述的基于空地影像组合的纹理映射方法。