CN114972612B - 一种基于三维简化模型的图像纹理生成方法及相关设备 - Google Patents

一种基于三维简化模型的图像纹理生成方法及相关设备 Download PDF

Info

Publication number
CN114972612B
CN114972612B CN202210841604.3A CN202210841604A CN114972612B CN 114972612 B CN114972612 B CN 114972612B CN 202210841604 A CN202210841604 A CN 202210841604A CN 114972612 B CN114972612 B CN 114972612B
Authority
CN
China
Prior art keywords
image
visual angle
texture
simplified model
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210841604.3A
Other languages
English (en)
Other versions
CN114972612A (zh
Inventor
黄惠
陈凌锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210841604.3A priority Critical patent/CN114972612B/zh
Publication of CN114972612A publication Critical patent/CN114972612A/zh
Application granted granted Critical
Publication of CN114972612B publication Critical patent/CN114972612B/zh
Priority to US18/296,712 priority patent/US20240020909A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于三维简化模型的图像纹理生成方法及相关设备，本发明从简化模型中提取出平面后，对于提取出来的每个平面需要选出一组最优的视角，选出的视角后则需要对齐图像上的直线特征，最后通过图像拼接以及纹理优化为简化模型生成相片级别的纹理。本发明的主要处理对象为城市建筑物，相比之前的均匀网格有更高的自由度，能更好地对齐建筑物的大尺度直线结构特征，在极大减少大型城市建筑物三维模型存储和计算开销的同时，让三维简化模型拥有媲美高精度模型的视觉效果。

Description

一种基于三维简化模型的图像纹理生成方法及相关设备
技术领域
本发明涉及计算机图形学技术领域，尤其涉及一种基于三维简化模型的图像纹理生成方法、系统、终端及计算机可读存储介质。
背景技术
随着近年来三维重建技术的发展和数字孪生城市概念的兴起，三维重建技术开始被广泛应用于大型城市重建中。大型城市的三维重建模型在现实中有着很强的应用价值，不仅在测绘领域中有着很深远的影响，在无人驾驶，智慧城市中也有着非常广泛的应用。
但在实际应用过程中人们发现，大型城市的三维重建模型往往有着场景规模巨大，重建结构复杂，表面网格数据极其冗余等特点，导致重建出来的三维模型难以应用在各种实时应用中，因此对这些三维模型进行简化至关重要。但在对三维模型做简化处理的过程中，通常是忽略纹理信息的。高质量的纹理能极大的提升三维模型的真实感，提高用户的使用体验。如果能让简化模型拥有超真实的纹理，就能在不损失视觉效果的同时，极大地降低三维模型的存储和计算开销。
传统的纹理映射方法可以为三维模型生成相片级别的纹理，但目前专门针对简化模型做纹理映射的研究相当稀少，原因在于纹理映射方法极度依赖三维模型的重建质量。对于简化模型目前的研究更倾向于使用纹理合成的方法生成纹理，例如使用生成对抗网络（Generative Adversarial Network，GAN）为简化模型合成纹理，该方法将建筑物表面定义为屋顶、窗户、门等元素的组合，并通过GAN将这些元素在合适的位置进行拼凑，为建筑简化模型生成一张完整的纹理，但这些纹理非常的模式化，与原始建筑的表面有很大差别，缺乏真实感。
例如基于运动推断结构（Structure From Motion，SFM）和图片超像素的表面重建方法，该方法能快速重建精简的物体表面，但其生成的物体表面对于结构特征明显的建筑物来说还是过于冗余，并且因为使用了逐顶点平均着色，每个三角面片内的颜色都是三个顶点颜色的差值，缺乏纹理细节，无法为简化模型重建相片级别的纹理。针对相片级别室内场景的简化重建，例如从深度相机获取的深度信息中提取出室内场景的基本图形元素，再将颜色信息映射到平面上，该方法能过滤冗余的室内场景信息，并对重建结果的几何和纹理信息进行修复和超分辨率。但因为对室内场景的结构做了很多的预设，且纹理部分待优化的损失函数太多，导致其应用场景有限的同时收敛速度太慢。传统的基于三角面片的纹理映射方法都只能处理三维模型与照片中的真实物体几乎一致的情况，对于简化模型这种相比真实物体舍弃了很多几何细节的特殊输入，这些方法都无法进行很好的处理。
对于城市建筑物来说，其表面有非常明显的直线结构特征，现有的图像拼接方法能很好地保持直线结构特征的对齐，例如可以将细小的局部直线特征融合成全局的直线特征，来保证图像局部形变后局部直线之间的关系保持不变，该方法能很好的对准建筑物的大尺度全局直线特征。
在纹理生成方面，目前基于三角面片的纹理映射方法，只能处理三维模型与照片中的真实物体几乎一致的情况，对于简化模型这种相比真实物体舍弃了很多几何细节的特殊输入，这些方法都无法进行很好的处理。并且因为以细小的三角的面片为基本单位，因此很难针对建筑物表面大尺度直线结构特征进行优化。而目前针对简化模型的纹理生成方法以预设的门，窗等建筑物元素进行拼凑，为简化模型生成纹理，但这些纹理非常的模式化且缺少真实感。
在图像拼接方面，目前的图像拼接方法在对图像进行形变做局部微调时都是用均匀网格，控制一条直线去进行对齐可能需要对多个网格进行协同控制，并且也不能保证形变后直线特征仍然是直的。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于三维简化模型的图像纹理生成方法、系统、终端及计算机可读存储介质，旨在解决现有技术中三维重建模型缺少真实感，且三维重建模存储和计算开销大的问题。
为实现上述目的，本发明提供一种基于三维简化模型的图像纹理生成方法，所述基于三维简化模型的图像纹理生成方法包括如下步骤：
获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；
为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；
从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；
从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；
使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理。
所述的基于三维简化模型的图像纹理生成方法，其中，所述获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位，之后还包括：
对于单个三角面片，如果满足预设条件中的任意一个，则认为三角面片在视角中不可视，则过滤掉不可视的三角面片；所述预设条件包括：
在视角只能看到三角面片的背面；
三角面片中心到视角的向量与面片法向量夹角大于75度；
三角面片投影到图像空间后超出图像边界；
在视角中三角面片与简化模型自身发生遮挡；
在视角中三角面片与稠密模型发生遮挡。
所述的基于三维简化模型的图像纹理生成方法，其中，所述为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合，具体包括：
采用均值偏移方法为每个候选视角计算光度一致性系数，对所有的经过视角过滤的候选视角计算一个平均颜色值，求视角平均颜色的均值和协方差，并用一个多元高斯核函数计算每个视角的一致性值，并将一致性值低于第一预设大小的视角从候选视角中删除，直到平均颜色的协方差的最大值低于第二预设大小；
留下的候选视角为一组一致性最高的视角，根据一致性最高的视角的均值和协方差，为平面的每个视角计算一个光度一致性值，光度一致性值越大代表视角的光度一致性越高；
视角质量的计算方式为：
Figure 963747DEST_PATH_IMAGE001
；
其中，
Figure 907432DEST_PATH_IMAGE002
表示平均梯度幅值；
Figure 591223DEST_PATH_IMAGE003
表示亮度一致性系数；
Figure 303964DEST_PATH_IMAGE004
表示视线与法线夹角；
Figure 165741DEST_PATH_IMAGE005
表示每个视角，
Figure 331143DEST_PATH_IMAGE006
每个纹理块里指定颜色边框包含的区域；
根据计算的每个视角视角质量，排序后选取出局部最优的视角，并生成最优视角集合。
所述的基于三维简化模型的图像纹理生成方法，其中，所述视角质量计算时考虑的信息包括：视角的清晰度、光度一致性、平面与视线的夹角以及视角包含平面纹理信息的完整程度。
所述的基于三维简化模型的图像纹理生成方法，其中，所述从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征，具体包括：
从源图像和目标图像中提取多个的局部直线特征，过滤掉细小和密集的直线，通过局部直线融合，将局部直线特征融合成全局直线特征；
对源图像和目标图像的全局直线特征进行对比，当候选的匹配直线之间的角度和端点到直线的距离小于设定的阈值时，则认为两条直线匹配；
对全局直线特征进行三角剖分，对平面内的所有视角生成一个基于直线特征的自适应网格，用于对图像进行局部微调。
所述的基于三维简化模型的图像纹理生成方法，其中，所述使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，具体包括：
所述自适应网格为自适应三角网格；
控制自适应三角网格形变的能量方程为：
Figure 818625DEST_PATH_IMAGE007
；
其中，
Figure 385873DEST_PATH_IMAGE008
是自适应三角网格形变后的顶点位置；
Figure 418551DEST_PATH_IMAGE009
为直线特征的对齐项，表示顶点
Figure 71249DEST_PATH_IMAGE010
的移动距离；
Figure 96843DEST_PATH_IMAGE011
为直线特征保留项，用于保证图像形变前后直线特征的直线性；
Figure 784176DEST_PATH_IMAGE012
为正则项，用于防止顶点的偏移量过大；
Figure 987755DEST_PATH_IMAGE013
，
Figure 127750DEST_PATH_IMAGE014
，
Figure 957034DEST_PATH_IMAGE015
分别表示
Figure 639819DEST_PATH_IMAGE009
，
Figure 529147DEST_PATH_IMAGE011
，
Figure 156437DEST_PATH_IMAGE012
的权重；
将源图像自适应网格的点代入到匹配的目标图像的直线方程中，得到源图像与目标图像之间匹配直线的对齐误差，公式如下：
Figure 274566DEST_PATH_IMAGE016
Figure 936491DEST_PATH_IMAGE017
；
其中，
Figure 731141DEST_PATH_IMAGE018
，
Figure 845728DEST_PATH_IMAGE019
表示顶点坐标；
Figure 767547DEST_PATH_IMAGE020
，
Figure 674192DEST_PATH_IMAGE021
，
Figure 780688DEST_PATH_IMAGE022
为直线方程的三个参数；
Figure 992358DEST_PATH_IMAGE023
是匹配到的直线对数量；
Figure 967136DEST_PATH_IMAGE024
是一个矩阵；
对于所有被分割的直线特征，
Figure 72495DEST_PATH_IMAGE011
的具体形式如下：
Figure 84314DEST_PATH_IMAGE025
Figure 314438DEST_PATH_IMAGE026
；
其中，
Figure 561749DEST_PATH_IMAGE027
代表被分割的全局直线的数量；
Figure 318352DEST_PATH_IMAGE028
代表全局直线上点的数量；
Figure 907596DEST_PATH_IMAGE029
代表第
Figure 343126DEST_PATH_IMAGE030
条匹配的直线特征；
Figure 676018DEST_PATH_IMAGE031
代表全局直线上的第
Figure 755969DEST_PATH_IMAGE031
个点；
Figure 499803DEST_PATH_IMAGE032
代表全局直线的法向量；
Figure 297995DEST_PATH_IMAGE033
表示矩阵形式的系数。
遍历自适应三角网格的所有三角面片，对形变前的三角面片计算关于形变后三角形的仿射变换矩阵，对三角面片所在的图像区域进行仿射变换，将所有变换后的三角图片碎片拼接成一张新的图片，对形变后的新图片与目标图片使用图割和泊松编辑进行图像混合。
所述的基于三维简化模型的图像纹理生成方法，其中，所述纹理优化包括：
对每个源图像的纹理块，提取每个源图像的纹理块与目标纹理块的重叠区域；
将目标纹理块的重叠区域以及整个源图像的纹理块转换到HSV空间，并对v通道计算直方图分布，将源图像的v通道与目标图像重叠区域的v通道进行直方图匹配，将重叠区域的亮度分布传导到整个源图像的纹理块。
此外，为实现上述目的，本发明还提供一种基于三维简化模型的图像纹理生成系统，其中，所述基于三维简化模型的图像纹理生成系统包括：
平面转化模块，用于获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；
视角选择模块，用于为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；
预对齐模块，用于从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；
直线特征提取与匹配模块，用于从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；
图像拼接及纹理优化模块，用于使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于三维简化模型的图像纹理生成程序，所述基于三维简化模型的图像纹理生成程序被所述处理器执行时实现如上所述的基于三维简化模型的图像纹理生成方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于三维简化模型的图像纹理生成程序，所述基于三维简化模型的图像纹理生成程序被处理器执行时实现如上所述的基于三维简化模型的图像纹理生成方法的步骤。
本发明中，获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理。本发明从简化模型中提取出平面后，对于提取出来的每个平面需要选出一组最优的视角，选出的视角后则需要对齐图像上的直线特征，最后通过图像拼接以及纹理优化为简化模型生成相片级别的纹理。
附图说明
图1是本发明基于三维简化模型的图像纹理生成方法的较佳实施例的流程图；
图2是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中整个处理过程的框架图；
图3是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中视角选择处理过程的示意图；
图4是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中三角面片与简化模型和稠密模型发生遮挡的示意图；
图5是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中视角可见性过滤结果的示意图；
图6是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中图像选择的示意图；
图7是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中预对齐的示意图；
图8是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中直线特征匹配的示意图；
图9是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中基于直线特征的自适应网格的示意图；
图10是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中纹理优化和亮度一致性优化结果的示意图；
图11是本发明基于三维简化模型的图像纹理生成方法的较佳实施例中三种方法的贴图结果对比的示意图；
图12是本发明基于三维简化模型的图像纹理生成系统的较佳实施例的原理示意图；
图13为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明要解决的技术问题是：对于没有纹理信息的简化模型，怎样根据输入的照片为其生成具有高真实感的纹理。不同于之前对模型精度要求高的基于三角面片的纹理映射方法，该任务要求平面为基本单位为简化模型生成纹理，以保证建筑物大尺度的直线结构特征能对齐。当从简化模型中提取出平面后，需要对于提取出来的每个平面需要选出一组最优的视角，选出的视角后则需要对齐图像上的直线特征，最后通过图像拼接以及纹理优化为简化模型生成相片级别的纹理。在保有高真实感的同时，最小化城市建筑物三维模型的存储和计算开销。
本发明的目的是以照片为输入，从照片中为城市建筑物的三维简化模型生成具有高真实感的纹理，在极大减少大型城市建筑物三维模型存储和计算开销的同时，让三维简化模型拥有媲美高精度模型的视觉效果。对于平面结构特征明显的城市建筑物简化模型，先从城市建筑物简化模型中提取出平面及其轮廓，然后以平面为基本单位为其选出一组最优视角，在视角选择上为每个视角从多个维度进行了评分，并使用了贪心策略进行视角选取，评分最高的视角作为目标视角，对于每个平面保证用最少的视角就能为平面拼出完整的贴图，且这些视角是清晰且光度一致的。
在选出视角后，需要将除目标视角外的源视角统一到目标视角的图像空间中，利用了之前提取的平面信息，对源视角进行单应性变换，将其变换到目标视角的图像空间中；因为简化模型与高精度模型的差异可能会导致平面上局部区域的直线特征没有对齐，因此需要对源视角进行局部微调来对齐这些直线特征；使用直线特征保持且对齐的图像拼接方法来对齐直线，相对于之前图像拼接方法使用的均匀网格，提出了使用自适应网格控制图像形变，相比之前的方法能更灵活地控制直线进行对齐；对源图像形变后使用图割和泊松编辑对图像进行混合，消除了图像拼接的接缝；最后对生成的纹理进行优化，使用了直方图匹配和基于直线结构特征的PatchMatch进行纹理修复，消除了视角间的亮度不一致和视角采集不完善导致的纹理空洞。
本发明主要包括针对平面结构的视角选择以及图像拼接，其中，图片和相机参数来源于无人机拍摄的照片和商业软件RealityCapture，简化模型来源于简化重建结果；视角选择主要包括可见性过滤以及图像选择，图像拼接主要包含了预对齐，基于自适应网格的图像拼接以及纹理优化。
本发明较佳实施例所述的基于三维简化模型的图像纹理生成方法，如图1和图2所示，所述基于三维简化模型的图像纹理生成方法包括以下步骤：
步骤S10、获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位。
具体地，如图3所示，对于有明显平面结构的三维简化模型，相比之前基于三角面片的纹理映射方法，本发明的方法以平面为基本单位做纹理映射；对于每个平面需要选出一组最优的视角合成纹理；首先要对三维简化模型进行曲面细分，将平面转化为稠密的三角面片，然后将这些三角面片作为平面的基本单位；对于每个候选视角，需要从图片中过滤出该平面的纹理信息，这就需要进行可见性过滤；对于单个三角面片，如果出现以下五种情况，就认为该三角面片在该视角中是不可视的：
（1）该视角只能看到三角面片的背面。
（2）三角面片中心到视角的向量与面片法向量夹角大于75度。
（3）三角面片投影到图像空间后超出图像边界。
（4）在该视角中三角面片与简化模型自身发生遮挡。
（5）在该视角中三角面片与稠密模型发生遮挡。
其中，（5）为可选项，当开启后会将稠密模型被简化掉的三角网格从图像中去除；通过对三维简化模型构造层次包围盒树进行碰撞检测，将被遮挡的面片从图像中删除。
在完成三角面片的可见性过滤后计算在该视角下，可视部分的平均像素梯度幅值，梯度幅值越大代表该视角越清晰，运动模糊的面积更小，因此该视角的质量越高；最后过滤的结果如图4所示，对于每个平面，都删去了在该视角下的不可见部分。
步骤S20、为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合。
具体地，如图5所示，在为每个平面选取一组候选视角后，为了排除那些与大部分视角差异过大，例如远比其他视角亮或者暗的离群视角，需要对每个视角的可视部分都计算其光度一致性系数来惩罚（惩罚即为光度一致性系数越小，该视角的质量越低，越不倾向于选择这些视角）这些视角。本发明采用均值偏移方法为每个候选视角计算光度一致性系数，首先对其所有的经过视角过滤的候选视角计算一个平均颜色值，然后求这些视角平均颜色的均值和协方差，并用一个多元高斯核函数，计算每个视角的一致性值，并将一致性值低于第一预设大小（例如第一预设大小为
Figure 168999DEST_PATH_IMAGE034
）的视角从候选视角中删除，然后循环该过程，直到平均颜色的协方差的最大值低于第二预设大小（例如第二预设大小为
Figure 493670DEST_PATH_IMAGE035
）；最后留下的候选视角为一组一致性最高的视角，根据这组视角的均值和协方差，为平面的每个视角计算一个光度一致性值，该值越大代表视角的光度一致性越高。最后视角质量的计算方式为：
Figure 283772DEST_PATH_IMAGE036
；
其中，
Figure 710205DEST_PATH_IMAGE002
表示平均梯度幅值；
Figure 368588DEST_PATH_IMAGE037
表示亮度一致性系数；
Figure 157553DEST_PATH_IMAGE038
表示视线与法线夹角；
Figure 852976DEST_PATH_IMAGE039
表示每个视角（例如图6中Gi上面那些纹理块），
Figure 501126DEST_PATH_IMAGE006
每个纹理块里指定颜色（例如实际中的蓝色）边框包含的区域。
该视角质量计算方式考虑了视角的清晰度、光度一致性、平面与视线的夹角以及视角包含平面纹理信息的完整程度，能在下一步的视角选取中选出高质量的视角。根据计算的每个视角视角质量，排序后选取出局部最优的视角，并生成最优视角集合。
本发明使用了贪心算法，先为每个视角计算当前条件下的视角质量，排序后选取出局部最优的视角；选出最优后更新剩余视角的得分，然后在下一次迭代中再选出最优的视角，直到平面的可视部分都被覆盖。图6就是使用了贪心算法，先去计算每个纹理块里蓝色（实际中为蓝色）边框区域的分数，选出分数最高的后。可以看到它占了observed region区域的红色（实际中为红色）部分，其他纹理块减去红色的部分再去更新分数，再选一个分数最高，一直重复这个过程，直到可以看到的部分都有纹理后停止。
在上一步对于每个平面得到一组最适合做图像拼接的视角，这些视角满足了清晰且光度一致性高的要求，且视角间的重叠面积小的要求。接下来就需要将这些视角拼成一张完整的纹理，接下来介绍如何通过预对齐和自适应网格，为平面拼接出一张多视角直线特征相互对齐的同时，直线性质保持不变的纹理。
步骤S30、从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵
Figure 572988DEST_PATH_IMAGE040
，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果。
具体地，已经提取出了三维简化模型的平面以及多边形（例如三角形），通过相机位姿将多边形的顶点投影到图像空间，就能得到三维空间中的同一个点在不同图像中的位置；通过结合相机位姿，免去了传统图像拼接方法寻找和匹配特征点的过程。
预对齐的过程如图7所示，对于每个平面，从该平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，然后其他视角作为源图像并计算其到目标图像的单应性矩阵
Figure 872251DEST_PATH_IMAGE041
，最后通过单应性矩阵
Figure 145100DEST_PATH_IMAGE042
对源图像进行透视变形，就能把源图像变换到目标图像的相机空间中。
但因为三维简化模型在结构化重建的过程中，其三维顶点与现实的建筑物产生了一定了偏移，并且因为相机参数存在一定的误差，导致三维空间的边和点无法与图像上的边和点进行精准的映射，但总体上这些误差还是比较小的，只会在拼接结果的局部上产生微小的误差，所以可以用这些信息生成一个粗糙的初始结果，在后续会根据图像的几何特征对粗糙结果进行局部微调。
步骤S40、从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征。
具体地，已经通过预对齐生成了图像拼接的粗糙结果，虽然提供了一个比较好的初始值，但在细节上并没有对齐两张图像之间的几何特征，所以需要从源图像和目标图像中提取出直线特征并进行匹配，然后用自适应网格对源图像进行局部微调，对齐这些直线特征。
首先需要从图像中提取出直线特征。本发明可以从两幅图像中提取出了大量的局部直线特征，并过滤掉一些过于细小和密集的直线，然后通过局部直线融合，将局部直线融合成全局直线特征。
对于提取出来的局部直线特征集合，对其中的每条直线都进行两两对比，两条直线融合有三个条件：
（1）两条直线的斜率要足够接近；
（2）两条直线端点到直线的距离要足够小；
（3）两条直线的邻接端点之间的距离要足够小；
将直线融合为全局直线后，为了对齐不同图像之间的直线特征，需要先对直线进行匹配；当直线进行变换以后，源图像和目标图像的直线特征已经非常的靠近，因此简单的对两幅图像中的直线特征进行两两对比，为每条直线选取了一条斜率最接近，端点到直线距离最小的线作为匹配的直线；当候选的匹配直线之间的角度和端点到直线的距离小于设定的阈值时，就认为两条直线是匹配的。匹配结果如图8所示，可以看到源图像和目标图像的直线匹配结果还是比较准确的。
现有的图像拼接方法都是采用均匀网格对图像进行形变，以达到对图像进行局部微调的目的。在人脸识别领域，通常会通过三角剖分对人脸特征进行三角化，这种基于人脸特征的三角网格对于人脸的识别、融合和换脸等等都是不可或缺的。受到该思想的启发，本发明通过对全局直线特征进行三角剖分，对平面内的所有视角都生成了一个基于直线特征的自适应网格，用于对图像做局部微调。
步骤S50、使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理。
具体地，因为在对直线特征进行三角剖分的时候，直线特征之间不能相交，所以在进行三角剖分前，需要对全局直线特征进行预处理，对于每条直线，计算它与其他直线特征之间是否存在交点，如果存在，对该点根据它与直线起点的距离大小进行有序地插入，直线交点的检测结果如图9中的（a）所示。对分割后的全局直线特征，采用了带约束的Delaunay三角剖分来生成三角网格；以直线特征和多边形为约束，将三角剖分过程限制在多边形内。三角化的结果如图9的（b）所示，可以看到带约束的Delaunay三角剖分的生成结果不是完全的Delaunay三角网格，部分三角形不满足空圆特性，但都能与图像的直线特征对齐。
生成自适应三角网格后，通过对三角网格进行形变来对图像进行局部的微调；在对源图像形变的时候，不仅要保证其直线特征与目标图像进行对齐，还要保证其直线特征保持直线性。控制自适应三角网格形变的能量方程为：
Figure 529814DEST_PATH_IMAGE007
；（1）
其中，
Figure 405366DEST_PATH_IMAGE043
是自适应三角网格形变后的顶点位置；
Figure 44289DEST_PATH_IMAGE009
为直线特征的对齐项，表示顶点
Figure 347094DEST_PATH_IMAGE044
的移动距离；
Figure 953525DEST_PATH_IMAGE011
为直线特征保留项，用于保证图像形变前后直线特征的直线性；
Figure 367189DEST_PATH_IMAGE012
为正则项，用于防止顶点的偏移量过大；
Figure 391777DEST_PATH_IMAGE013
，
Figure 865483DEST_PATH_IMAGE014
，
Figure 224789DEST_PATH_IMAGE015
分别表示
Figure 317510DEST_PATH_IMAGE009
，
Figure 321238DEST_PATH_IMAGE011
，
Figure 90480DEST_PATH_IMAGE012
的权重，表示浮点数，比如
Figure 546869DEST_PATH_IMAGE013
越大，
Figure 912123DEST_PATH_IMAGE009
就越重要，就越倾向于对齐匹配直线；
将源图像自适应网格的点代入到匹配的目标图像的直线方程中，得到源图像与目标图像之间匹配直线的对齐误差，公式如下：
Figure 770357DEST_PATH_IMAGE045
Figure 710500DEST_PATH_IMAGE017
；（2）
其中，
Figure 795131DEST_PATH_IMAGE046
，
Figure 619868DEST_PATH_IMAGE047
表示顶点坐标；
Figure 457242DEST_PATH_IMAGE048
，
Figure 443653DEST_PATH_IMAGE049
，
Figure 202530DEST_PATH_IMAGE050
为直线方程的三个参数；
Figure 440745DEST_PATH_IMAGE023
是匹配到的直线对数量；
Figure 663785DEST_PATH_IMAGE051
是一个矩阵；
在对直线特征进行预处理的时候，有些全局直线被分割成了多条短的直，对于被分割的全局直线特征，必须要保证在图像形变前后，全局直线特征上的所有分割点都是共线的，对于所有被分割的直线特征，
Figure 821097DEST_PATH_IMAGE011
的具体形式如下：
Figure 614740DEST_PATH_IMAGE052
Figure 640334DEST_PATH_IMAGE026
；（3）
其中，
Figure 593246DEST_PATH_IMAGE027
代表被分割的全局直线的数量（未被分割的全局直线一定能保证直线性）；
Figure 983776DEST_PATH_IMAGE028
代表全局直线上点的数量；
Figure 123771DEST_PATH_IMAGE053
代表第
Figure 703788DEST_PATH_IMAGE054
条匹配的直线特征；
Figure 980048DEST_PATH_IMAGE031
代表全局直线上的第
Figure 603797DEST_PATH_IMAGE031
个点；
Figure 372032DEST_PATH_IMAGE032
代表全局直线的法向量；
Figure 349216DEST_PATH_IMAGE055
表示矩阵形式的系数。
公式（3）代表在源图像的自适应网格中，为了保证全局直线上分割点的共线性，所有分割点和相邻点构成的向量需要与全局直线的法向量保持正交关系；将公式（2）和（3）构建为矩阵形式并使用线性求解器Eigen对其求解。对所有的顶点求得一个偏移量后，遍历自适应网格的所有三角面片，对形变前的三角面片计算关于形变后三角形的仿射变换矩阵，然后对这些三角面片所在的图像区域进行仿射变换，最后将所有变换后的三角图片碎片拼接成一张新的图片，然后对形变后的新图片与目标图片进行图像混合，本方法使用了图割和泊松编辑对图像进行混合。
进行纹理映射的过程中，可能会因为视角采集时存在问题，导致平面有些区域不存在任何视角有这一部分的纹理信息，并且因为不同视角之间光照条件不同，导致纹理块之间亮度不一致，这会导致纹理产生严重的失真。
针对不同视角之间亮度不一致的问题，本发明假设属于同个平面的纹理应该具有相同的亮度分布，并对来自所有视角的纹理块进行亮度一致性优化。对于每个源图像的纹理块，提取出它与目标纹理块的重叠区域，然后将目标纹理块的重叠区域以及整个源图像的纹理块转换到HSV空间，并对它们其v通道计算直方图分布，然后将源图像的v通道与目标图像重叠区域的v通道进行直方图匹配，将重叠区域的亮度分布传导到整个源图像的纹理块。
在纹理修复方面，通过上面提取出来的直线特征引导图像修复，本发明为单个平面生成纹理，并且处理对象为城市建筑物，其表面有非常明显的正交直线特征，因此将主方向更换为提取出的两组正交的直线特征的主方向，然后用PatchMatch的传播机制引导图像修复。最后纹理修复和亮度一致性优化结果如图10所示。
本发明提出了基于平面结构的纹理映射方法，通过对齐大尺度的直线结构特征，能为结构化模型生成具有高真实感的纹理，在极大降低存储和计算开销的同时有匹配高精度模型的视觉效果；本发明提出了基于平面结构的视角选取方法，能用尽可能少的视角数量为平面拼出尽可能完整的贴图；本发明提出了基于自适应网格的图形拼接方法，能更好的对齐城市建筑物的表面直线特征。
本发明在多个场景中进行了实验，如图11展示了与LTBC（现有技术1）和RC（现有技术2）重建的带贴图高精度模型的对比结果。可以看到本发明生成的贴图结果相比LTBC减少了接缝，并且对齐了建筑物的直线特征，在同个平面上不同视角纹理块的亮度也更加一致。
通过与高精度模型进行对比，可以看到本发明的贴图结果与高精度模型非常的接近，并且对于照片没有拍到的区域，本发明通过纹理修复，在这些区域上的贴图效果在视觉上要优于LTBC和高精度模型。
通过表1可以看到，本发明的贴图结果在存储和计算上的开销要远低于LTBC和高精度模型的贴图结果。本发明通过对简化模型生成相片级别的纹理，就可以让简化模型用远低于高精度模型的存储和计算开销，就能有逼近甚至在部分区域优于高精度模型的视觉效果；
Figure 745562DEST_PATH_IMAGE056
表1：存储开销对比
为了对图像拼接的结果进行定量评估，本发明从两个场景中选取了一些纹理质量较高，且匹配直线数量较多的平面，然后采用共线性定量评估标准进行定量分析，该标准用于评估源图像的直线结构在图像拼接后是否与目标图像中匹配的直线结构特征进行了对齐。本发明采用了其中两条评估标准，第一条评估标准为距离误差项，代表源图像形变后其直线端点与匹配直线之间的平均距离，具体形式如公式（4）所示，
Figure 805791DEST_PATH_IMAGE057
和
Figure 795744DEST_PATH_IMAGE058
为源图像直线的端点，该公式代表源图像直线端点到其匹配直线的距离。
Figure 576618DEST_PATH_IMAGE059
；（4）
其中，
Figure 827470DEST_PATH_IMAGE060
代表网格顶点移动后到匹配直线的距离，用于衡量网格形变后是否网格边与匹配直线对齐了；
Figure 793021DEST_PATH_IMAGE061
是端点
Figure 535849DEST_PATH_IMAGE062
到直线
Figure 120414DEST_PATH_IMAGE063
的距离，
Figure 615987DEST_PATH_IMAGE064
是端点
Figure 362226DEST_PATH_IMAGE065
到直线
Figure 592350DEST_PATH_IMAGE066
的距离。
第二条评估标准为直线方向误差，代表自适应网格形变后，源图像上的直线与其匹配直线的方向差异，具体形式如公式（5）所示：
Figure 715027DEST_PATH_IMAGE067
；（5）
其中，
Figure 65106DEST_PATH_IMAGE068
表示形变后的网格边与匹配直线之间的角度差，目的是形变后的网格边与匹配直线之间的夹角越小越好；
Figure 513404DEST_PATH_IMAGE069
为源图像上的直线特征与其匹配直线之间的夹角。
本发明根据该标准，在选定的平面上对每个源视角和目标视角计算这两项误差的平均值并与Liao等人和Jia等人的方法进行比较，结果如表2所示，可以看到因为自适应网格能对每条直线特征进行单独控制，相比均匀网格更能灵活地控制每条直线去与匹配直线进行对齐，在场景科技楼和电信大厦中本发明的方法优于其他两个方法；
Figure DEST_PATH_IMAGE071
表2：直线特征对齐误差比较
本发明与目前的纹理映射方法和高精度模型的结果进行了比较，在视觉效果上本发明做到了相比高精度模型，在大幅减少存储和计算开销的同时，能够有媲美高精度模型的视觉效果。并且相比之前的纹理映射方法，本发明的贴图结果保持了建筑物的直线结构特征，并且消除了接缝，在模型的存储开销上也有优势。
进一步地，如图12所示，基于上述基于三维简化模型的图像纹理生成方法，本发明还相应提供了一种基于三维简化模型的图像纹理生成系统，其中，所述基于三维简化模型的图像纹理生成系统包括：
平面转化模块51，用于获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；
视角选择模块52，用于为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；
预对齐模块53，用于从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；
直线特征提取与匹配模块54，用于从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；
图像拼接及纹理优化模块55，用于使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理。
进一步地，如图13所示，基于上述基于三维简化模型的图像纹理生成方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图13仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于三维简化模型的图像纹理生成程序40，该基于三维简化模型的图像纹理生成程序40可被处理器10所执行，从而实现本申请中基于三维简化模型的图像纹理生成方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于三维简化模型的图像纹理生成方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于三维简化模型的图像纹理生成程序40时实现所述基于三维简化模型的图像纹理生成的步骤。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于三维简化模型的图像纹理生成程序，所述基于三维简化模型的图像纹理生成程序被处理器执行时实现如上所述的基于三维简化模型的图像纹理生成方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于三维简化模型的图像纹理生成方法，其特征在于，所述基于三维简化模型的图像纹理生成方法包括：
获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；
为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；
所述为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合，具体包括：
采用均值偏移方法为每个候选视角计算光度一致性系数，对所有的经过视角过滤的候选视角计算一个平均颜色值，求视角平均颜色的均值和协方差，并用一个多元高斯核函数计算每个视角的一致性值，并将一致性值低于第一预设大小的视角从候选视角中删除，直到平均颜色的协方差的最大值低于第二预设大小；
留下的候选视角为一组一致性最高的视角，根据一致性最高的视角的均值和协方差，为平面的每个视角计算一个光度一致性值，光度一致性值越大代表视角的光度一致性越高；
视角质量的计算方式为：
Figure DEST_PATH_IMAGE001
；
其中，
Figure DEST_PATH_IMAGE002
表示平均梯度幅值；
Figure DEST_PATH_IMAGE003
表示亮度一致性系数；
Figure DEST_PATH_IMAGE004
表示视线与法线夹角；
Figure DEST_PATH_IMAGE005
表示每个视角，
Figure DEST_PATH_IMAGE007
每个纹理块里指定颜色边框包含的区域；
根据计算的每个视角视角质量，排序后选取出局部最优的视角，并生成最优视角集合；
从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；
从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；
使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理；
所述使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，具体包括：
所述自适应网格为自适应三角网格；
控制自适应三角网格形变的能量方程为：
Figure DEST_PATH_IMAGE008
；
其中，
Figure DEST_PATH_IMAGE010
是自适应三角网格形变后的顶点位置；
Figure DEST_PATH_IMAGE011
为直线特征的对齐项，表示顶点
Figure 71423DEST_PATH_IMAGE010
的移动距离；
Figure DEST_PATH_IMAGE013
为直线特征保留项，用于保证图像形变前后直线特征的直线性；
Figure DEST_PATH_IMAGE014
为正则项，用于防止顶点的偏移量过大；
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
分别表示
Figure 129509DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE019
，
Figure DEST_PATH_IMAGE020
的权重；
将源图像自适应网格的点代入到匹配的目标图像的直线方程中，得到源图像与目标图像之间匹配直线的对齐误差，公式如下：
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
；
其中，
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE024
表示顶点坐标；
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
为直线方程的三个参数；
Figure DEST_PATH_IMAGE031
是匹配到的直线对数量；
Figure DEST_PATH_IMAGE032
是一个矩阵；
对于所有被分割的直线特征，
Figure DEST_PATH_IMAGE033
的具体形式如下：
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
；
其中，
Figure DEST_PATH_IMAGE037
代表被分割的全局直线的数量；
Figure DEST_PATH_IMAGE038
代表全局直线上点的数量；
Figure DEST_PATH_IMAGE039
代表第
Figure DEST_PATH_IMAGE040
条匹配的直线特征；
Figure DEST_PATH_IMAGE042
代表全局直线上的第
Figure 459646DEST_PATH_IMAGE042
个点；
Figure DEST_PATH_IMAGE043
代表全局直线的法向量；
Figure DEST_PATH_IMAGE045
表示矩阵形式的系数；
遍历自适应三角网格的所有三角面片，对形变前的三角面片计算关于形变后三角形的仿射变换矩阵，对三角面片所在的图像区域进行仿射变换，将所有变换后的三角图片碎片拼接成一张新的图片，对形变后的新图片与目标图片使用图割和泊松编辑进行图像混合。
2.根据权利要求1所述的基于三维简化模型的图像纹理生成方法，其特征在于，所述获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位，之后还包括：
对于单个三角面片，如果满足预设条件中的任意一个，则认为三角面片在视角中不可视，则过滤掉不可视的三角面片；所述预设条件包括：
在视角只能看到三角面片的背面；
三角面片中心到视角的向量与面片法向量夹角大于75度；
三角面片投影到图像空间后超出图像边界；
在视角中三角面片与简化模型自身发生遮挡；
在视角中三角面片与稠密模型发生遮挡。
3.根据权利要求1所述的基于三维简化模型的图像纹理生成方法，其特征在于，所述视角质量计算时考虑的信息包括：视角的清晰度、光度一致性、平面与视线的夹角以及视角包含平面纹理信息的完整程度。
4.根据权利要求1所述的基于三维简化模型的图像纹理生成方法，其特征在于，所述从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征，具体包括：
从源图像和目标图像中提取多个的局部直线特征，过滤掉细小和密集的直线，通过局部直线融合，将局部直线特征融合成全局直线特征；
对源图像和目标图像的全局直线特征进行对比，当候选的匹配直线之间的角度和端点到直线的距离小于设定的阈值时，则认为两条直线匹配；
对全局直线特征进行三角剖分，对平面内的所有视角生成一个基于直线特征的自适应网格，用于对图像进行局部微调。
5.根据权利要求1所述的基于三维简化模型的图像纹理生成方法，其特征在于，所述纹理优化包括：
对每个源图像的纹理块，提取每个源图像的纹理块与目标纹理块的重叠区域；
将目标纹理块的重叠区域以及整个源图像的纹理块转换到HSV空间，并对v通道计算直方图分布，将源图像的v通道与目标图像重叠区域的v通道进行直方图匹配，将重叠区域的亮度分布传导到整个源图像的纹理块。
6.一种基于三维简化模型的图像纹理生成系统，其特征在于，所述基于三维简化模型的图像纹理生成系统包括：
平面转化模块，用于获取三维简化模型，将所述三维简化模型进行曲面细分处理，将所述三维简化模型中的平面转化为稠密的三角面片，并将三角面片作为平面的基本单位；
视角选择模块，用于为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合；
所述为每个平面选取一组候选视角，使用贪心算法为每个平面的每个候选视角计算当前条件下的视角质量，排序后选取出局部最优的视角，生成最优视角集合，具体包括：
采用均值偏移方法为每个候选视角计算光度一致性系数，对所有的经过视角过滤的候选视角计算一个平均颜色值，求视角平均颜色的均值和协方差，并用一个多元高斯核函数计算每个视角的一致性值，并将一致性值低于第一预设大小的视角从候选视角中删除，直到平均颜色的协方差的最大值低于第二预设大小；
留下的候选视角为一组一致性最高的视角，根据一致性最高的视角的均值和协方差，为平面的每个视角计算一个光度一致性值，光度一致性值越大代表视角的光度一致性越高；
视角质量的计算方式为：
Figure 684216DEST_PATH_IMAGE001
；
其中，
Figure 685539DEST_PATH_IMAGE002
表示平均梯度幅值；
Figure 445684DEST_PATH_IMAGE003
表示亮度一致性系数；
Figure 377696DEST_PATH_IMAGE004
表示视线与法线夹角；
Figure 514279DEST_PATH_IMAGE005
表示每个视角，
Figure 386420DEST_PATH_IMAGE007
每个纹理块里指定颜色边框包含的区域；
根据计算的每个视角视角质量，排序后选取出局部最优的视角，并生成最优视角集合；
预对齐模块，用于从每个平面的最优视角集合中挑选出一个质量最高的视角作为目标图像，其他视角作为源图像，并计算源图像到目标图像的单应性矩阵，通过单应性矩阵对源图像进行透视变形，将源图像变换到目标图像的相机空间中，生成图像拼接的粗糙结果；
直线特征提取与匹配模块，用于从源图像和目标图像中提取出直线特征并进行匹配，利用自适应网格对源图像进行局部微调，对齐直线特征；
图像拼接及纹理优化模块，用于使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，消除图像拼接的接缝，通过图像拼接以及纹理优化为所述三维简化模型生成相片级别的纹理；
所述使用所述自适应网格控制图像形变，对源图像形变后使用图割和泊松编辑对图像进行混合，具体包括：
所述自适应网格为自适应三角网格；
控制自适应三角网格形变的能量方程为：
Figure 566734DEST_PATH_IMAGE008
；
其中，
Figure DEST_PATH_IMAGE046
是自适应三角网格形变后的顶点位置；
Figure 947162DEST_PATH_IMAGE011
为直线特征的对齐项，表示顶点
Figure 605546DEST_PATH_IMAGE046
的移动距离；
Figure 332193DEST_PATH_IMAGE013
为直线特征保留项，用于保证图像形变前后直线特征的直线性；
Figure 699721DEST_PATH_IMAGE014
为正则项，用于防止顶点的偏移量过大；
Figure 895341DEST_PATH_IMAGE015
，
Figure 108148DEST_PATH_IMAGE016
，
Figure 938569DEST_PATH_IMAGE017
分别表示
Figure 211419DEST_PATH_IMAGE011
，
Figure 628756DEST_PATH_IMAGE019
，
Figure 910833DEST_PATH_IMAGE020
的权重；
将源图像自适应网格的点代入到匹配的目标图像的直线方程中，得到源图像与目标图像之间匹配直线的对齐误差，公式如下：
Figure 595761DEST_PATH_IMAGE021
Figure 570670DEST_PATH_IMAGE022
；
其中，
Figure 944145DEST_PATH_IMAGE023
，
Figure 29912DEST_PATH_IMAGE024
表示顶点坐标；
Figure 569347DEST_PATH_IMAGE026
，
Figure 715158DEST_PATH_IMAGE028
，
Figure 90775DEST_PATH_IMAGE029
为直线方程的三个参数；
Figure 199808DEST_PATH_IMAGE031
是匹配到的直线对数量；
Figure 593749DEST_PATH_IMAGE032
是一个矩阵；
对于所有被分割的直线特征，
Figure 910461DEST_PATH_IMAGE033
的具体形式如下：
Figure 773375DEST_PATH_IMAGE034
Figure 686098DEST_PATH_IMAGE035
；
其中，
Figure DEST_PATH_IMAGE047
代表被分割的全局直线的数量；
Figure 137808DEST_PATH_IMAGE038
代表全局直线上点的数量；
Figure 94263DEST_PATH_IMAGE039
代表第
Figure 460784DEST_PATH_IMAGE040
条匹配的直线特征；
Figure 426466DEST_PATH_IMAGE042
代表全局直线上的第
Figure 795000DEST_PATH_IMAGE042
个点；
Figure 922356DEST_PATH_IMAGE043
代表全局直线的法向量；
Figure 510594DEST_PATH_IMAGE045
表示矩阵形式的系数；
遍历自适应三角网格的所有三角面片，对形变前的三角面片计算关于形变后三角形的仿射变换矩阵，对三角面片所在的图像区域进行仿射变换，将所有变换后的三角图片碎片拼接成一张新的图片，对形变后的新图片与目标图片使用图割和泊松编辑进行图像混合。
7.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于三维简化模型的图像纹理生成程序，所述基于三维简化模型的图像纹理生成程序被所述处理器执行时实现如权利要求1-5任一项所述的基于三维简化模型的图像纹理生成方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于三维简化模型的图像纹理生成程序，所述基于三维简化模型的图像纹理生成程序被处理器执行时实现如权利要求1-5任一项所述的基于三维简化模型的图像纹理生成方法的步骤。
CN202210841604.3A 2022-07-18 2022-07-18 一种基于三维简化模型的图像纹理生成方法及相关设备 Active CN114972612B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210841604.3A CN114972612B (zh) 2022-07-18 2022-07-18 一种基于三维简化模型的图像纹理生成方法及相关设备
US18/296,712 US20240020909A1 (en) 2022-07-18 2023-04-06 Image texture generation method based on 3d simplified model and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210841604.3A CN114972612B (zh) 2022-07-18 2022-07-18 一种基于三维简化模型的图像纹理生成方法及相关设备

Publications (2)

Publication Number Publication Date
CN114972612A CN114972612A (zh) 2022-08-30
CN114972612B true CN114972612B (zh) 2022-11-11

Family

ID=82969011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210841604.3A Active CN114972612B (zh) 2022-07-18 2022-07-18 一种基于三维简化模型的图像纹理生成方法及相关设备

Country Status (2)

Country Link
US (1) US20240020909A1 (zh)
CN (1) CN114972612B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152389B (zh) * 2023-04-24 2023-07-18 深圳大学 一种用于纹理贴图的视角选择和纹理对齐方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097624A (zh) * 2019-05-07 2019-08-06 洛阳众智软件科技股份有限公司 生成三维数据lod简化模型的方法及装置
CN110473294A (zh) * 2018-05-11 2019-11-19 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
CN113781621A (zh) * 2020-11-05 2021-12-10 北京沃东天骏信息技术有限公司 三维重建处理的方法、装置、设备及存储介质
CN114241151A (zh) * 2021-11-15 2022-03-25 中国南方电网有限责任公司 三维模型简化方法、装置、计算机设备和计算机存储介质
CN114255314A (zh) * 2022-02-28 2022-03-29 深圳大学 一种规避遮挡的三维模型自动纹理映射方法、系统及终端
CN114708375A (zh) * 2022-06-06 2022-07-05 江西博微新技术有限公司 纹理映射方法、系统、计算机及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0224449D0 (en) * 2002-10-21 2002-11-27 Canon Europa Nv Apparatus and method for generating texture maps for use in 3D computer graphics
CN111369660B (zh) * 2020-03-02 2023-10-13 中国电子科技集团公司第五十二研究所 一种三维模型的无接缝纹理映射方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473294A (zh) * 2018-05-11 2019-11-19 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
CN110097624A (zh) * 2019-05-07 2019-08-06 洛阳众智软件科技股份有限公司 生成三维数据lod简化模型的方法及装置
CN113781621A (zh) * 2020-11-05 2021-12-10 北京沃东天骏信息技术有限公司 三维重建处理的方法、装置、设备及存储介质
CN114241151A (zh) * 2021-11-15 2022-03-25 中国南方电网有限责任公司 三维模型简化方法、装置、计算机设备和计算机存储介质
CN114255314A (zh) * 2022-02-28 2022-03-29 深圳大学 一种规避遮挡的三维模型自动纹理映射方法、系统及终端
CN114708375A (zh) * 2022-06-06 2022-07-05 江西博微新技术有限公司 纹理映射方法、系统、计算机及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"The research on texture extraction and mapping implementation in 3D building reconstruction";ShengZe Peng等;《bulletin of science and technology》;20141230;1-5 *
"保结构的三维建筑物简化方法研究";陆鹏飞;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20210215(第2期);C038-418 *
"大规模三维重建场景的纹理映射算法研究";盛鑫;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20220415(第4期);1-67 *
"面向快速可视化的城市三维模型数据管理与组织研究";刘天漪;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20200215(第2期);1-74 *

Also Published As

Publication number Publication date
CN114972612A (zh) 2022-08-30
US20240020909A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US5990900A (en) Two-dimensional to three-dimensional image converting system
JP5133418B2 (ja) 現実環境内にバーチャルオブジェクトを描写する方法および装置
JP6041838B2 (ja) 現実環境内にバーチャルオブジェクトを描写する方法および装置
US6201546B1 (en) Systems and methods for generating three dimensional, textured models
US6529206B1 (en) Image processing apparatus and method, and medium therefor
US7129943B2 (en) System and method for feature-based light field morphing and texture transfer
US11790610B2 (en) Systems and methods for selective image compositing
US20130300740A1 (en) System and Method for Displaying Data Having Spatial Coordinates
US6556195B1 (en) Image processing device and image processing method
US9437034B1 (en) Multiview texturing for three-dimensional models
Mori et al. Efficient use of textured 3D model for pre-observation-based diminished reality
US6975334B1 (en) Method and apparatus for simulating the appearance of paving stone on an existing driveway
CN114972612B (zh) 一种基于三维简化模型的图像纹理生成方法及相关设备
Frommholz et al. Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery
Agouris et al. Automation and digital photogrammetric workstations
JP2832463B2 (ja) ３次元モデルの再構成方法および表示方法
Borshukov New algorithms for modeling and rendering architecture from photographs
Goebbels et al. Quality enhancement techniques for building models derived from sparse point clouds
Poullis et al. Photogrammetric modeling and image-based rendering for rapid virtual environment creation
CN116152389B (zh) 一种用于纹理贴图的视角选择和纹理对齐方法及相关设备
JPH10111934A (ja) ３次元形状モデル作成方法及び媒体
WO2024124370A1 (zh) 一种模型构建方法及装置、存储介质、电子设备
Chen Interactive specification and acquisition of depth from single images
Ferranti et al. Single Image 3D Building Reconstruction Using Rectangles Parallel to an Axis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant