CN117292159A - 一种建筑模型招牌纹理自动优化方法和系统 - Google Patents

一种建筑模型招牌纹理自动优化方法和系统 Download PDF

Info

Publication number
CN117292159A
CN117292159A CN202311557945.9A CN202311557945A CN117292159A CN 117292159 A CN117292159 A CN 117292159A CN 202311557945 A CN202311557945 A CN 202311557945A CN 117292159 A CN117292159 A CN 117292159A
Authority
CN
China
Prior art keywords
signboard
ground
camera
ground photo
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311557945.9A
Other languages
English (en)
Other versions
CN117292159B (zh
Inventor
郑云龙
刘文轩
侯泽鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202311557945.9A priority Critical patent/CN117292159B/zh
Publication of CN117292159A publication Critical patent/CN117292159A/zh
Application granted granted Critical
Publication of CN117292159B publication Critical patent/CN117292159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种建筑模型招牌纹理自动优化方法，包括：地面照片与建筑模型上招牌贴图粗对应关系获取；招牌贴图缩放调整和深度学习多级缩放图像匹配。本发明方法使用了前沿深度学习图像匹配算法，结合多级缩放金字塔匹配策略，解决了受分辨率差异、模糊、扭曲等问题影响的空地影像自动匹配问题，有较高的成功率和稳定性。本发明方法仅需输入建筑单体模型数据及包含位姿信息的地面照片，即可自动实现贴图定位、匹配和替换全过程，有效降低了对人力资源的依赖，且泛用性强，易用程度高。

Description

一种建筑模型招牌纹理自动优化方法和系统
技术领域
本发明涉及倾斜航空摄影测量技术，射线-模型相交检测，深度学习图像特征提取，图像匹配，模型纹理优化技术，具体涉及一种建筑模型招牌纹理自动优化方法和系统。
背景技术
随着数字中国和智慧城市建设的快速推进，对以实景三维模型为数据底板的需求不断攀升。当前，无人机倾斜摄影测量建模已成为获取三维城市模型的主要途径，其显著特征包括较高的作业速度、相对较低的成本投入以及优秀的真实性，因而在各个领域得到广泛应用。然而，由于受限于无人机航拍的视角，即便采用了5镜头倾斜相机进行多视角航拍，所生成的城市三维模型在近地面区域仍然容易因遮挡而显现瑕疵，表现为贴图错位、模糊以及拉花等现象。
在三维城市模型中，底商招牌是一个备受关注的区域——其涵盖的商铺数量和类型等信息能够反映对应区域的整体繁荣程度以及功能分区。然而，通过倾斜摄影测量得到的城市模型往往会出现店铺招牌贴图变形、文字模糊等问题。在目前的城市实景三维模型生产流程中，通常需要在地面额外拍摄对应底商招牌的照片，并将高质量招牌图像替换到模型上。
利用图像匹配算法可以自动建立图像之间的对应关系。传统图像匹配算子如SIFT和ORB虽然具有一定的旋转缩放不变性，但由于模型招牌纹理贴图与地面照片之间可能存在上百倍的分辨率差异，贴图的模糊、变形也增加了匹配难度，传统匹配算法难以奏效。当前行业内通常采用专业软件对相关贴图进行手工替换，但在使用软件时，用户需要手动在三维模型上框选出招牌区域，然后从相应的照片中绘制出招牌的范围，从而实现对模型招牌纹理的替换，这个过程需要耗费大量时间和人力成本，并且可能会导致模型的准确性和真实性受到影响。因此，需要进一步探索更加高效、准确的方法来解决这个问题。
发明内容
本发明针对现有技术中存在的问题，以自动化方式实现模型底商招牌贴图优化，主要解决：1）如何自动确定地面拍摄的照片与模型招牌的粗略对应关系。2）如何将低分辨率、模糊的招牌贴图与高分辨率的照片进行图像匹配。
本发明设计了一种建筑模型招牌纹理自动优化方法，主要包括以下步骤：
步骤1，地面照片与建筑模型上招牌贴图粗对应关系获取：从地面照片相机位姿生成虚拟射线阵，并进行射线-模型交点检测，通过分析交点来确定每张地面照片对应的招牌贴图；
步骤2，招牌贴图缩放调整：将上一步获取到的招牌贴图进行图片放大处理，减小招牌贴图与地面照片的分辨率差距，再根据地面相机与建筑模型的距离，将招牌贴图缩放至与地面照片招牌区域相近像素尺度；
步骤3，深度学习多级缩放图像匹配：将可能配对的招牌贴图与地面照片进行多级尺度缩放，每级尺度下均使用LoFTR与SuperPoint+LightGlue深度学习匹配算法进行图像匹配，合并不同尺度下的匹配点；先对错误的匹配点进行剔除，再通过正确的匹配点关系计算得到单应性变换矩阵H；将招牌贴图四角点坐标与H相乘即得到招牌贴图在地面照片上的对应像素坐标，变换后的四角点连线后在地面照片上形成一个四边形框，并保留满足条件的四边形框；最后对四边形框进行透视变换，将地面照片招牌区域映射至建模模型招牌贴图上，完成最终的模型贴图优化替换。
进一步的，步骤1中所述建筑模型为经过单体化处理的建筑模型，其中每个招牌已被网格界定，即建筑模型上每个招牌贴图由两个三角面或一个四边面组成；地面照片由任意相机拍摄，同时获取每张地面照片拍摄时的三维地理坐标以及旋转角，相机的焦距和CCD尺寸。
进一步的，生成虚拟射线阵的具体实现方式如下：
读入建模模型数据与地面照片位姿数据，对于每张地面照片相机位姿，生成以相机坐标为原点，相机视角/>为方向的射线，随后在过相机原点且以相机视角为法向量的三维平面上生成一系列等间距的虚拟射线，记每条射线原点记为/>，法向量方向为/>，设生成的线阵有水平方向有u条，垂直方向有v条，射线间距为L米，空间中垂直向上的单位法向量，则射线阵记为：
其中，表示取模运算符。
进一步的，使用BVH包围盒层次结构算法，求解每条射线与模型的交点坐标，以及交点所在的三角面片索引。
进一步的，通过分析交点来确定每张地面照片对应的招牌贴图的具体实现方式如下：
针对凸起的招牌，对于一张地面照片产生的射线阵交点，每次取一列，共v条射线进行分析，计算该列每个交点到相机原点的水平距离，记为，求取梯度/>，其中O为相机原点，/>表示角点，j表示交点索引序号，并认为第一个梯度非零值索引即为射线与招牌产生的交点索引，即得到招牌的一个三角面，招牌的另一三角面通过分析模型面片邻接关系得到；对每列射线重复以上操作即可获取某地面照片所有可能配对的招牌贴图。
进一步的，利用Waifu2x-cunet深度学习图像超分辨率算法对招牌贴图进行放大，超分辨率后的招牌贴图的长宽均扩大为原尺寸的两倍。
进一步的，招牌贴图缩放后的尺寸通过如下方式计算：
记相机焦距f，相机-招牌空间距离，招牌贴图在建模模型上实际长宽为/>，则缩放后的招牌贴图长宽像素数/>：
。
进一步的，采用随机抽样一致算法对错误的匹配点进行剔除。
进一步的，满足条件的四边形框为：
a) 四边形框每条边像素长度均超过一定像素值；
b) 边与边之间夹角为90°±δ1；
c) 四边形框主方向，即上下两条长边的平均方位角90°±δ2；
其中δ1，δ2均为小角度值。
本发明还提供一种建筑模型招牌纹理自动优化系统，包括如下模块：
关系获取模块，用于地面照片与建筑模型上招牌贴图粗对应关系获取：从地面照片相机位姿生成虚拟射线阵，并进行射线-模型交点检测，通过分析交点来确定每张地面照片对应的招牌贴图；
缩放调整模块，用于招牌贴图缩放调整：将上一步获取到的招牌贴图进行图片放大处理，减小招牌贴图与地面照片的分辨率差距，再根据地面相机与建筑模型的距离，将招牌贴图缩放至与地面照片招牌区域相近像素尺度；
优化替换模块，用于深度学习多级缩放图像匹配：将可能配对的招牌贴图与地面照片进行多级尺度缩放，每级尺度下均使用LoFTR与SuperPoint+LightGlue深度学习匹配算法进行图像匹配，合并不同尺度下的匹配点；先对错误的匹配点进行剔除，再通过正确的匹配点关系计算得到单应性变换矩阵H；将招牌贴图四角点坐标与H相乘即得到招牌贴图在地面照片上的对应像素坐标，变换后的四角点连线后在地面照片上形成一个四边形框，并保留满足条件的四边形框；最后对四边形框进行透视变换，将地面照片招牌区域映射至建模模型招牌贴图上，完成最终的模型贴图优化替换。
与现有技术相比，本发明的优点：
（1）本发明方法使用了前沿深度学习图像匹配算法，结合多级缩放金字塔匹配策略，解决了受分辨率差异、模糊、扭曲等问题影响的空地影像自动匹配问题，有较高的成功率和稳定性。
（2）泛用性强，易用程度高。本发明方法仅需输入建筑单体模型数据及包含位姿信息的地面照片，即可自动实现贴图定位、匹配和替换全过程，有效降低了对人力资源的依赖。
附图说明
图1 本发明实施例方法流程图。
图2 本发明实施例中相机位姿虚拟射线阵示意图。
图3 本发明实施例中单列射线交点分析示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种建筑模型招牌纹理自动优化方法，包括如下步骤：
数据准备：本发明的输入模型为经过单体化处理的建筑模型，其中每个招牌已被网格界定，即模型结构上每个招牌由两个三角面或一个四边面组成。所述方法的输入地面照片可由任意相机拍摄，但必须同时获取每张照片拍摄时的三维地理坐标以及旋转角，这两者合称为相机姿态信息，此外还需已知相机的焦距和CCD尺寸。
1、照片-模型招牌贴图粗对应关系获取
本发明首先需要获取地面照片与单体建筑模型上招牌之间的粗略对应关系，即初步判断每张地面招牌可能替换模型上的哪些招牌，后续只需要将粗配对的照片与招牌贴图进行图像匹配算法处理，时间复杂度为，其中n代表算法规模/输入参数量，否则每张照片、每个招牌贴图两两之间都需要进行图像匹配，时间复杂度将升至/>，导致巨大的额外运算开销。
本发明的粗对应关系获取主要包含以下步骤：
（1）虚拟射线阵生成。读入模型数据与地面照片位姿数据，对于每张地面照片相机位姿，生成以相机坐标为原点，其中x,y,z为原点在三维空间中的三维坐标分量，相机视角/>为方向的射线。随后在过相机原点且以相机视角为法向量的三维平面上生成一系列等间距的虚拟射线，如图2所示。记每条射线原点记为/>，法向量方向为/>，设生成的线阵有水平方向有u条，垂直方向有v条，射线间距为L米，空间中垂直向上的单位法向量，则射线阵记为：
其中，表示取余运算符。
（2）射线-模型交点求取。生成射线阵后，使用BVH（Bounding Volume Hierarchy）包围盒层次结构算法，求解每条射线与模型的交点坐标，记为，以及交点所在的三角面片索引。BVH是一种三维空间索引算法，能够极大加快射线-模型求交速度，方法借助了Embree库实现。
（3）交点解析与招牌贴图提取。对于一张照片产生的射线阵交点，每次取一列，共v条射线进行分析，计算该列每个交点到相机原点的水平距离，记为，求取梯度/>，其中O为相机原点，/>表示角点，j表示交点索引序号，并认为第一个梯度非零值索引即为射线与招牌产生的交点索引，即得到招牌的一个三角面，如图3所示，因招牌凸起，图上框中交点即第一个产生梯度改变的交点，其所在的三角面即招牌三角面之一。矩形招牌的另一三角面通过分析模型面片邻接关系得到。对每列射线重复上述操作即可获取某照片所有可能配对的招牌及相应贴图。
上述流程利用交点距离梯度信息判断招牌位置，适用于招牌存在凸起的模型，若模型招牌不存在凸起，则第（3）点中的距离分析也可以替换为纯三角面邻接关系分析，计算每个交点所在的面片能否与邻接面片组成矩形，若能则认为是招牌贴图区域。
2、招牌贴图缩放调整
由于模型招牌贴图与地面照片存在显著的分辨率差异，该发明首先利用Waifu2x-cunet深度学习图像超分辨率算法对招牌贴图进行放大，超分辨率后的招牌贴图的长宽均扩大为原尺寸的两倍。
在图像匹配过程中，若待匹配的两者具有相似的大小，则能够获得更为精准的匹配效果。本方法在对贴图进行超分辨率放大后，会根据相机参数以及上一步中解算得到的相机-招牌空间距离信息，将招牌贴图缩放至与地面照片招牌的像素尺寸相近。记相机焦距f，上一步解出的相机-招牌空间距离，招牌在模型上实际长宽为/>，则缩放后的招牌贴图长宽像素数/>：
3、深度学习多尺度图像匹配
通过上述操作，即得到了地面照片与招牌贴图的对应关系，招牌贴图也被缩放至与照片相近大小，接下来进行图像特征匹配与映射。
（1）多级缩放金字塔匹配。对于深度学习匹配，输入图像的尺寸会很大地影响最终的匹配效果——输入的图像分辨率过高会使算法更易受到图像噪点、模糊、变形等因素的影响，且拖慢运行速度，甚至消耗过量显存导致解算失败；若尺寸过小，则又难以获得足够数量的特征点，匹配精度也会降低。因此本发明采用了多级缩放金字塔匹配策略：将待匹配图像对进行多次缩放，每次缩放后分别进行LoFTR（Local Feature Matching withTransformers）与SuperPoint+LightGlue深度学习特征匹配，最后将多次匹配得到的所有特征点进行合并，不同尺度下得到的特征点坐标均按缩放系数反算至原图坐标。
（2）匹配点过滤与单应性变换估计。使用随机抽样一致算法（Random SampleConsensus，RANSAC）对错误的匹配点进行剔除，再通过所得到的正确匹配点计算招牌贴图到地面照片的特征点单应性变换矩阵H（Homography Matrix），并获得招牌贴图与地面照片之间的映射关系。
（3）误匹配剔除与贴图映射。得到变换矩阵H后，将招牌贴图四角点坐标与H相乘即可得到该招牌在照片上的对应像素坐标，变换后的四角点连线后在照片上会形成一个四边形框。接下来对变换得到的四边形框进行条件判断，若同时满足以下条件，则认为匹配成功：
a) 四边形框每条边像素长度均超过50px；
b) 边与边之间夹角都近似为90°；
c) 四边形框主方向，即上下两条长边的平均方位角接近90°；
（4）对于成功匹配的图像对，将照片乘以进行逆变换，再依照招牌贴图大小进行裁剪，即得到优化后的贴图。最终将所有成功置换的贴图堆叠放置在新的空白图片上作为三维模型的新贴图，并记录在模型顶点信息中，即完成整个替换流程。
另一方面，本发明实施例还提供一种建筑模型招牌纹理自动优化系统，包括如下模块：
关系获取模块，用于地面照片与建筑模型上招牌贴图粗对应关系获取：从地面照片相机位姿生成虚拟射线阵，并进行射线-模型交点检测，通过分析交点来确定每张地面照片对应的招牌贴图；
缩放调整模块，用于招牌贴图缩放调整：将上一步获取到的招牌贴图进行图片放大处理，减小招牌贴图与地面照片的分辨率差距，再根据地面相机与建筑模型的距离，将招牌贴图缩放至与地面照片招牌区域相近像素尺度；
优化替换模块，用于深度学习多级缩放图像匹配：将可能配对的招牌贴图与地面照片进行多级尺度缩放，每级尺度下均使用LoFTR与SuperPoint+LightGlue深度学习匹配算法进行图像匹配，合并不同尺度下的匹配点；先对错误的匹配点进行剔除，再通过正确的匹配点关系计算得到单应性变换矩阵H；将招牌贴图四角点坐标与H相乘即得到招牌贴图在地面照片上的对应像素坐标，变换后的四角点连线后在地面照片上形成一个四边形框，并保留满足条件的四边形框；最后对四边形框进行透视变换，将地面照片招牌区域映射至建模模型招牌贴图上，完成最终的模型贴图优化替换。
各模块的具体实现方式与各步骤相同，本发明不予撰述。
以上所述，仅为本发明较佳的具体实施方式，但本发明保护的范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内所做的任何修改，等同替换和改进等，均应包含在发明的保护范围之内。

Claims (10)

1.一种建筑模型招牌纹理自动优化方法，其特征在于，包括如下步骤：
步骤1，地面照片与建筑模型上招牌贴图粗对应关系获取：从地面照片相机位姿生成虚拟射线阵，并进行射线-模型交点检测，通过分析交点来确定每张地面照片对应的招牌贴图；
步骤2，招牌贴图缩放调整：将上一步获取到的招牌贴图进行图片放大处理，减小招牌贴图与地面照片的分辨率差距，再根据地面相机与建筑模型的距离，将招牌贴图缩放至与地面照片招牌区域相近像素尺度；
步骤3，深度学习多级缩放图像匹配：将可能配对的招牌贴图与地面照片进行多级尺度缩放，每级尺度下均使用LoFTR与SuperPoint+LightGlue深度学习匹配算法进行图像匹配，合并不同尺度下的匹配点；先对错误的匹配点进行剔除，再通过正确的匹配点关系计算得到单应性变换矩阵H；将招牌贴图四角点坐标与H相乘即得到招牌贴图在地面照片上的对应像素坐标，变换后的四角点连线后在地面照片上形成一个四边形框，并保留满足条件的四边形框；最后对四边形框进行透视变换，将地面照片招牌区域映射至建模模型招牌贴图上，完成最终的模型贴图优化替换。
2.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：步骤1中所述建筑模型为经过单体化处理的建筑模型，其中每个招牌已被网格界定，即建筑模型上每个招牌贴图由两个三角面或一个四边面组成；地面照片由任意相机拍摄，同时获取每张地面照片拍摄时的三维地理坐标以及旋转角，相机的焦距和CCD尺寸。
3.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：生成虚拟射线阵的具体实现方式如下：
读入建模模型数据与地面照片位姿数据，对于每张地面照片相机位姿，生成以相机坐标为原点，相机视角/>为方向的射线，随后在过相机原点且以相机视角为法向量的三维平面上生成一系列等间距的虚拟射线，记每条射线原点记为/>，法向量方向为/>，设生成的线阵有水平方向有u条，垂直方向有v条，射线间距为L米，空间中垂直向上的单位法向量，则射线阵记为：
其中，表示取模运算符。
4.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：使用BVH包围盒层次结构算法，求解每条射线与模型的交点坐标，以及交点所在的三角面片索引。
5.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：通过分析交点来确定每张地面照片对应的招牌贴图的具体实现方式如下：
针对凸起的招牌，对于一张地面照片产生的射线阵交点，每次取一列，共v条射线进行分析，计算该列每个交点到相机原点的水平距离，记为，求取梯度/>，其中O为相机原点，/>表示角点，j表示交点索引序号，并认为第一个梯度非零值索引即为射线与招牌产生的交点索引，即得到招牌的一个三角面，招牌的另一三角面通过分析模型面片邻接关系得到；对每列射线重复以上操作即可获取某地面照片所有可能配对的招牌贴图。
6.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：利用Waifu2x-cunet深度学习图像超分辨率算法对招牌贴图进行放大，超分辨率后的招牌贴图的长宽均扩大为原尺寸的两倍。
7.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：招牌贴图缩放后的尺寸通过如下方式计算：
记相机焦距f，相机-招牌空间距离，招牌贴图在建模模型上实际长宽为/>，则缩放后的招牌贴图长宽像素数/>：
。
8.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：采用随机抽样一致算法对错误的匹配点进行剔除。
9.如权利要求1所述的一种建筑模型招牌纹理自动优化方法，其特征在于：满足条件的四边形框为：
a) 四边形框每条边像素长度均超过一定像素值；
b) 边与边之间夹角为90°±δ1；
c) 四边形框主方向，即上下两条长边的平均方位角90°±δ2；
其中δ1，δ2均为小角度值。
10.一种建筑模型招牌纹理自动优化系统，其特征在于，包括如下模块：
关系获取模块，用于地面照片与建筑模型上招牌贴图粗对应关系获取：从地面照片相机位姿生成虚拟射线阵，并进行射线-模型交点检测，通过分析交点来确定每张地面照片对应的招牌贴图；
缩放调整模块，用于招牌贴图缩放调整：将上一步获取到的招牌贴图进行图片放大处理，减小招牌贴图与地面照片的分辨率差距，再根据地面相机与建筑模型的距离，将招牌贴图缩放至与地面照片招牌区域相近像素尺度；
优化替换模块，用于深度学习多级缩放图像匹配：将可能配对的招牌贴图与地面照片进行多级尺度缩放，每级尺度下均使用LoFTR与SuperPoint+LightGlue深度学习匹配算法进行图像匹配，合并不同尺度下的匹配点；先对错误的匹配点进行剔除，再通过正确的匹配点关系计算得到单应性变换矩阵H；将招牌贴图四角点坐标与H相乘即得到招牌贴图在地面照片上的对应像素坐标，变换后的四角点连线后在地面照片上形成一个四边形框，并保留满足条件的四边形框；最后对四边形框进行透视变换，将地面照片招牌区域映射至建模模型招牌贴图上，完成最终的模型贴图优化替换。
CN202311557945.9A 2023-11-22 2023-11-22 一种建筑模型招牌纹理自动优化方法和系统 Active CN117292159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311557945.9A CN117292159B (zh) 2023-11-22 2023-11-22 一种建筑模型招牌纹理自动优化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311557945.9A CN117292159B (zh) 2023-11-22 2023-11-22 一种建筑模型招牌纹理自动优化方法和系统

Publications (2)

Publication Number Publication Date
CN117292159A true CN117292159A (zh) 2023-12-26
CN117292159B CN117292159B (zh) 2024-02-13

Family

ID=89239334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311557945.9A Active CN117292159B (zh) 2023-11-22 2023-11-22 一种建筑模型招牌纹理自动优化方法和系统

Country Status (1)

Country Link
CN (1) CN117292159B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434171A2 (en) * 1995-08-04 2004-06-30 Microsoft Corporation Method and system for texture mapping a source image to a destination image
US6853332B1 (en) * 2001-07-19 2005-02-08 Bae Systems Plc Automatic registration of images in digital terrain elevation data
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
CN110490973A (zh) * 2019-08-27 2019-11-22 大连海事大学 一种模型驱动的多视图鞋模型三维重建方法
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
CN114241125A (zh) * 2021-11-30 2022-03-25 感知天下(北京)信息科技有限公司 一种基于多视角卫星影像精细三维建模方法及系统
CN114529664A (zh) * 2020-11-20 2022-05-24 深圳思为科技有限公司 三维场景模型构建方法、装置、设备和计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434171A2 (en) * 1995-08-04 2004-06-30 Microsoft Corporation Method and system for texture mapping a source image to a destination image
US6853332B1 (en) * 2001-07-19 2005-02-08 Bae Systems Plc Automatic registration of images in digital terrain elevation data
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
CN110490973A (zh) * 2019-08-27 2019-11-22 大连海事大学 一种模型驱动的多视图鞋模型三维重建方法
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
CN114529664A (zh) * 2020-11-20 2022-05-24 深圳思为科技有限公司 三维场景模型构建方法、装置、设备和计算机存储介质
CN114241125A (zh) * 2021-11-30 2022-03-25 感知天下(北京)信息科技有限公司 一种基于多视角卫星影像精细三维建模方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINNAI ZHANG 等: "The Plumb-Line Matching Algorithm for UAV Oblique Photographic Photos", 《HTTPS://DOI.ORG/ 10.3390/RS15225290》 *
YUNLONG GAO 等: "Automatic Geo-referencing Mobile Laser Scanning Data to UAV images", 《REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
宁方馨 等: "一种三维灾场环境地表影像快速更新的方法", 《地理空间信息> *

Also Published As

Publication number Publication date
CN117292159B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109977723B (zh) 大票据图片文字识别方法
CN109584156B (zh) 显微序列图像拼接方法及装置
US8494297B2 (en) Automatic detection and mapping of symmetries in an image
CN109948135B (zh) 一种基于表格特征归一化图像的方法及设备
CN112633277A (zh) 基于深度学习的航道船牌检测、定位及识别方法
JP2008171417A (ja) 画像内の略矩形のオブジェクトを検出する方法、画像内のバックグラウンド色を推定する方法、コンピュータ可読媒体、画像内の略矩形のオブジェクトを検出する装置、および画像内のバックグラウンド色を推定する装置
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
CN111353961B (zh) 一种文档曲面校正方法及装置
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN111784587B (zh) 一种基于深度学习网络的发票照片位置矫正方法
CN104822030B (zh) 一种基于图像变形的不规则视频矩形化矫正方法
CN110390228A (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
CN111666811B (zh) 一种提取交通场景图像中交通标志牌区域方法及系统
CN117292159B (zh) 一种建筑模型招牌纹理自动优化方法和系统
CN111462099B (zh) 一种基于快速积分图监测的图像细胞区域定位方法
CN111179271B (zh) 一种基于检索匹配的物体角度信息标注方法及电子设备
CN113379899B (zh) 一种建筑工程工作面区域图像自动提取方法
CN115601616A (zh) 一种样本数据生成方法、装置、电子设备和存储介质
CN112101268B (zh) 一种基于几何投影的车辆压线检测方法
CN113971799A (zh) 一种车辆铭牌信息位置检测方法和系统
CN113128500A (zh) 一种基于Mask-RCNN的非机动车车牌识别方法及系统
CN114241150A (zh) 一种倾斜摄影建模中的水域数据预处理方法
CN112819823A (zh) 一种面向家具板材的圆孔检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant