CN109255808B - 基于倾斜影像的建筑物纹理提取方法和装置 - Google Patents

基于倾斜影像的建筑物纹理提取方法和装置 Download PDF

Info

Publication number
CN109255808B
CN109255808B CN201811064682.7A CN201811064682A CN109255808B CN 109255808 B CN109255808 B CN 109255808B CN 201811064682 A CN201811064682 A CN 201811064682A CN 109255808 B CN109255808 B CN 109255808B
Authority
CN
China
Prior art keywords
texture
image
building
constraint
facade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811064682.7A
Other languages
English (en)
Other versions
CN109255808A (zh
Inventor
庞蕾
王勇
刘慧�
张学东
张月
陈洋
张天
徐西桂
张露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN201811064682.7A priority Critical patent/CN109255808B/zh
Publication of CN109255808A publication Critical patent/CN109255808A/zh
Application granted granted Critical
Publication of CN109255808B publication Critical patent/CN109255808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种基于倾斜影像的建筑物纹理提取方法和装置，方法包括：基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。采用多角度同时获取影像的方式，可以获取更加丰富、全面的建筑物侧面纹理，从而改进了模型纹理信息采集、处理的方法，提高了建模的速度与质量。

Description

基于倾斜影像的建筑物纹理提取方法和装置
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种基于倾斜影像的建筑物纹理提取方法和装置。
背景技术
国内外关于数字城市构建，更多的是研究如何恢复建筑物三维建模的几何模型，而建筑物纹理只是作为一种附加的属性，研究较少，而真实的纹理是建立建筑物精细和真实三维模型所必需的。具有真实纹理的城市三维模型能够给人们提供高度的视觉现实感，并为诸多领域提供了更高的应用价值，例如城市规划、灾害评估、虚拟展示、城市管理等等。
目前，三维建模中纹理提取主要有材质库贴图获取、传统航空摄影与近景摄影融合获取和基于倾斜影像三维重建纹理提取。虚拟材质库贴图纹理的真实性不足，人工拍摄建立材质库的过程繁琐；垂直航空摄影与近景摄影融合获取建筑物纹理的后期处理工作复杂。倾斜影像三维实景重建利用多传感器集成机制，如新型多线(面)阵、多角度数码相机的应用，一次飞行可获取目标建筑物垂直角度和4个倾斜角度的影像，克服了传统航摄技术只能进行垂直角度拍摄的局限，可获取地物三维几何信息和丰富的纹理信息。
倾斜影像三维实景重建虽然能多角度、全方位同时获取航空影像的无人机倾斜摄影，能快速获取实景模型纹理，但存在纹理拉花变形等问题。
发明内容
本发明实施例提供一种基于倾斜影像的建筑物纹理提取方法和装置，用以解决现有技术中倾斜影像三维实景重建存在纹理拉花变形等问题。
第一方面，本发明实施例提供一种基于倾斜影像的建筑物纹理提取方法，包括：
基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；
基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
第二方面，本发明实施例提供一种基于倾斜影像的建筑物纹理提取装置，包括：
骨架模型模块，用于基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；
纹理影像源模块，用于基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
建筑物纹理提取模块，用于基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面方法实施例所述基于倾斜影像的建筑物纹理提取方法的步骤。
第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面方法实施例所述基于倾斜影像的建筑物纹理提取方法的步骤。
本发明实施例提出了一种基于倾斜影像的建筑物纹理提取方法和装置，将顶部与立面纹理分开选取，组合角度、距离、面积等多种约束条件，最终从海量的倾斜影像中筛选出建筑物各个面的最佳纹理影像，提高了工作效率；在粗定位基础上，对相应区域进行边缘检测和直线追踪回纹理信息边缘直线。通过判定检测直线与投影线的几何关系剔除错误直线，将正确的纹理直线与矢量轮廓线进行优化配准，获取的纹理裁剪范围更加精确；得到的三维模型不存在纹理拉花、粘连等现象，获得了更好的纹理贴图效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于倾斜影像的建筑物纹理提取方法流程示意图；
图2为本发明实施例的纹理影像源筛选流程图；
图3为本发明实施例的基于倾斜影像的建筑物纹理提取装置结构示意图；
图4为本发明实施例的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术，它颠覆了以往正射影像只能从垂直角度拍摄的局限，通过在同一飞行平台上搭载多台传感器，同时从一个垂直、四个倾斜等五个不同的角度采集影像；利用倾斜摄影技术进行三维建模时，从众多定向的纹理图像中自动选择遮挡最少最清晰的影像作为最佳的纹理数据源，并通过几何纠正方法保证纹理影像达到较合适的人眼观测效果。而实际环境中，受外界各种因素影响，例如光的衍射、大气质量、相机系统因素以及内业处理过程等，影像模糊效应不可避免，一定程度上影响了纹理的质量和视觉效果。另外，从航空像片上虽然能取得建筑物的立面纹理，但纹理的清晰度取决于拍摄的角度和楼层高度，侧面纹理往往存在分辨率不足的问题，使得模型的精美度不够，倾斜影像三维实景重建虽然能多角度、全方位同时获取航空影像的无人机倾斜摄影，能快速获取实景模型纹理，但存在纹理拉花变形等问题。。
针对现有技术中的上述缺陷，本发明是实施例利用倾斜摄影技术进行数据采集，从中筛选出最佳影像源进行建筑物顶部和立面纹理提取、裁剪，然后利用纹理贴图映射方法将获取的建筑物的纹理图像附着到建筑模型上，获得完整的建筑三维模型展示。以下将通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供的一种基于倾斜影像的建筑物纹理提取方法，其特征在于，包括：
步骤10、基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；
步骤20、基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
步骤30、基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
在本实施例中，利用倾斜摄影技术采集影像；如图1所示，步骤10中，在导入的影像中选取一对包含建筑物顶部信息的影像，根据像对精确的外方位元素，选择建筑物同名角点进行测量获取该角点空间坐标，以此创建顶部轮廓线，由于建筑物立面与顶部的特殊关系——垂直，通过垂直挤出的方式获取建筑物立面，进而完成简单建筑物骨架模型的创建；在步骤20中，首先将顶部建筑物角点坐标与各个垂直影像的内外方位元素逐一带入共线方程，求出所有具有顶部纹理图像的航空影像。根据顶部纹理筛选方法，计算建筑物顶部中心到影像中心距离，同时对影像完整性进行约束判定，获取建筑物顶部纹理信息最佳的纹理影像，即顶部纹理影像源。利用骨架模型各个立面角点坐标和各个倾斜影像外方位元素，求出包含所有立面纹理的航空影像；用组合约束方法对这些具有纹理信息的影像进行优化处理，通过多重组合约束条件获取立面纹理最好的倾斜影像，即筛选出立面纹理影像源。在步骤30中，在Canny边缘检测的基础上，利用Hough变换算法进行边界追踪提取纹理的边缘直线。在粗定位基础上，对相应区域进行边缘检测和直线追踪回纹理信息边缘直线。通过直线追踪方法获取纹理的边界直线，并根据投影线与检测直线的角度和距离作为判定条件进行优化处理，精确定位纹理的位置和范围。通过判定检测直线与投影线的几何关系剔除错误直线，将正确的纹理直线与矢量轮廓线进行优化配准，获取的纹理裁剪范围更加精确。本实施例中的影像即为利用倾斜摄影技术采集的影像，包括倾斜影像和垂直影像。
在本实施例中，内方位元素是描述摄影中心与像片之间相关位置的参数，包括三个参数，即摄影中心到影像的垂距(主距)及像主点在框标坐标系中的坐标；影像的外方位元素包括六个参数，其中三个是直线元素，用于描述摄影中心的空间坐标值；另外三个是角元素，用于描述像片的空间姿态。外方位元素是确定摄影光束在物方的几何关系的基本数据。用于表征摄影光束在摄影瞬间的空间位置，包括摄影中心在某一空间直角坐标系中的三维坐标值(Xs，Ys，Zs)(即线元素)和确定摄影光束空间方位的三个角定向元素共6个数据。
在上述各实施例的基础上，基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，具体包括：
从垂直影像中选取一对包含有建筑物的立体像对，基于空间交会方法选取建筑物顶部角点的像点坐标，并基于所述像点坐标获取剩余顶部角点的空间坐标。
依次连接各顶部角点，得到建筑物顶部矢量线，并通过顶部立面挤出的方法获取建筑物立面，以构建建筑物骨架模型。
在本实施例中，在垂直影像中选择一对包含建筑的立体像对，根据空间交会方法，通过人工选取建筑物角点的像点坐标，根据已知垂直影像的内外方位元素，利用共线方程可恢复影像与地面物体间的几何关系。当已知某一点在两张影像上像点坐标时，根据共线方程公式(1)便可计算出其他相应角点的空间坐标。将获取的顶部角点进行依次连接，可得到建筑顶部矢量线。由于建筑物立面与顶部的特殊关系——垂直，通过顶部立面垂直挤出的方式获取建筑立面，进而完成简单建筑物骨架模型的创建。
Figure BDA0001797997330000051
上式(1)中，x，y为像点的像平面坐标，x0，y0，f0为影像的内方位元素；Xs，Ys，Zs为摄站点物方空间坐标，X，Y，Z为测量点的物方坐标；ai，bi，ci(i＝1,2,3)为3个外方位角元素构成的9个方向余弦。
具体的，在本实施例中，数据采用SkyMap10固定翼无人机飞行平台搭载五镜头倾斜相机进行影像采集，航向重叠80％，旁向重叠70％，影像尺寸7152*5368，飞行航高设计240米，地面分辨率为0.15m。
为了提高工作效率，还需要将顶部与立面纹理分开选取，组合角度、距离、面积等多种约束条件，最终从海量的倾斜影像中筛选出建筑物各个面的最佳纹理影像，如图2所示，即：
步骤21、基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源；
步骤22、基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
在上述各实施例的基础上，基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，具体包括：
步骤211、获取建筑物骨架模型顶部立面中心点的中心点像点坐标，并计算所述中心点像点坐标与垂直影像对应摄影中心的距离值，筛选出大于预设最小距离值的垂直影像，完成第一次顶部纹理影像源筛选；
步骤212、获取各顶部角点在每个垂直影像上形成的最小矩形，筛选出其中完全包覆所述最小矩形的垂直影像，完成第二次顶部纹理影像源筛选。
在本实施例中，首先将顶部建筑物角点坐标与各个垂直影像的内外方位元素逐一带入共线方程，求出所有具有顶部纹理图像的航空影像。根据顶部纹理筛选方法，计算建筑物顶部中心到影像中心距离，同时对影像完整性进行约束判定，获取建筑物顶部纹理信息最佳的纹理影像，即顶部纹理影像源。
具体的，在本实施例中采用距离约束和定位约束方法进行筛选。
首先，依据共线方程计算出顶部中心位置的空间坐标，将其反算到垂直影像，得到顶部中心点的像点坐标。可根据顶部中心点像点坐标O与摄影中心S间最小距离值D，对影像进行第一次筛选。
然后，在距离约束的基础上进行二次约束，计算出建筑物顶部各角点在影像上形成的最小矩形(minX,minY,maxX,maxY)，再获得像幅的长和宽，length和width，如果maxX<width且maxY<length，确保顶部纹理完全包含在影像中，最后，选出效果最好的纹理影像源，即顶部纹理影像源。
在上述各实施例的基础上，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源，具体包括：
基于角度约束，获取建筑物骨架模型中立面法向量与倾斜影像中心视线方向的夹角，根据所述夹角筛选出立面纹理信息完全可见的倾斜影像；
基于定位约束，筛选出立面纹理信息完整的倾斜影像；
基于面积约束，筛选出包含所有立面纹理信息的倾斜影像。
在本实施例中，利用建筑物骨架模型各个立面角点坐标和各个倾斜影像外方位元素，求出包含所有立面纹理的航空影像。用组合约束方法对这些具有纹理信息的影像进行优化处理，通过多重组合约束条件获取立面纹理最好的倾斜影像，即立面纹理影像源。
具体的，如图2所示，在本实施例中，采用角度约束、定位约束和面积约束。依据三个约束条件构建最优化模型，选取约束条件作为三个目标函数构建最优化模型，具体计算步骤如下：
步骤221、设三个约束条件构成的约束函数为：
Figure BDA0001797997330000071
上式(2)中，令m＝0，f(Xm,Ym,Zm)为角度约束函数，g(Xm,Ym,Zm)为为定位约束函数，h(Xm,Ym,Zm)为为面积约束函数。(Xm,Ym,Zm)代表影像中任意一点。
步骤222、第一次优化，利用角度节约束条件对计算立面法向量
Figure BDA0001797997330000072
与立面法向量与影像中心视线方向
Figure BDA0001797997330000073
的夹角θ，分析此立面在该倾斜影像上的可见性，筛选出立面纹理信息完全可见的倾斜影像；
步骤223、第二次优化，利用定位约束条件分析倾斜影像上立面纹理信息的完整性，筛选出立面纹理信息完整的倾斜影像；
步骤224、第三次优化，利用面积约束条件计算倾斜影像立面纹理面积，筛选出包含所有立面纹理信息的倾斜影像；
步骤225、影像是否满足约束条件，满足则输出最优解，若不能满足，令m＝m+1转到步骤222进行循环。
通过多重组合约束模型对倾斜影像进行逐一判定，从众多倾斜影像中筛选出纹理效果最佳的影像源。多重组合约束模型的基本方法是利用纹理完整性定位约束、立面法线与摄影光束角度、以及纹理在影像上的成像面积作为约束模型的判定条件，选出包含整个纹理面，纹理质量最好的影像作为最佳影像源，即立面纹理影像源。
在上述各实施例的基础上，基于边缘检测方法和变换检测直线方法前，还包括：
基于共线方程得到建筑物顶部矢量线每个顶点在顶部纹理影像源上对应的像点坐标，得到建筑物纹理面轮廓线投影位置，并基于所述建筑物纹理面轮廓线投影位置建立纹理搜索缓冲区。
在本实施例中，为提高图像搜索效率，减少误差直线的产生，根据共线方程计算得到建筑顶部矢量线每个顶点在最佳纹理影像上对应的像点坐标，得到建筑纹理面轮廓线的粗略投影位置，建立纹理搜索缓冲区。
在上述各实施例的基础上，基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，具体包括：
基于边缘检测算子Canny对顶部纹理影像源、立面纹理影像源进行边缘检测，得到纹理边缘信息；
基于所述纹理缓冲搜索区和所述纹理边缘信息，通过变换检测直线算子Hough提取顶部纹理、立面纹理。
在本实施例中，首先，通过图像平滑、滤波、标记等图像处理手段，基于Canny算子对图像边缘点进行边缘检测，得到图像的纹理边缘信息，为了避免噪声影响，对纹理的边缘进行细化，在不改变主要特征的前提下，去除图像上多余的像素。对细化以后的图像进行离散Hough直线提取。
Hough变换直线检测具体操作方法：首先以投影轮廓线的角度值作为角度阈值TAi，对最短投影线的二值图像进行Hough变换；取上一步的Hough变换的峰值为参数空间的阈值TC，将累加器数组进行排序并与得到参数空间的阈值TC进行比较；如果累加器中最大值大于阈值TC且满足角度阈值大小要求，则直线存在，根据对应的角度值m和距离值n获取线段的端点坐标，若累加器中最大值小于阈值TC，则直线不存在，继续循环比较次大值与阈值TC关系。
将直线检测获得的特征直线用角度进行表示，以投影线的一条直线基准，以正切函数(-π/2，π/2)为搜索周期，以下式(3)为优化条件，搜索满足该条件的所有特征直线，并通过不断缩小步长A值，提高判定直线的准确性。
Figure BDA0001797997330000091
式中，C为常量，x1，x2，y1，y2为直线两端点的坐标值,初始A值较大,可为15像素,随着精度提高逐渐缩小。
在角度约束获取的最佳直线段筛选基础上加入距离约束，以投影矢量线为基准设置缓冲区，计算缓冲区内备选直线段到矢量线中心点坐标的距离，并将此距离作为约束条件。
采用角度、距离两个约束条件对得到的纹理直线进行判定，最终获得每条矢量线对应的纹理边缘直线段。将检测的直线段进行相交处理，获得的纹理区域和位置并不能与矢量投影线完全一致，采用循环优化方式，将检测的直线相邻直线段进行相交获得纹理轮廓的角点，以此角点为基础将矢量线进行平移，对矢量线投影位置进行调整，实现矢量线与纹理影像准确定位匹配。
以上处理就能准确获取建筑纹理轮廓信息，利用优化配准后的建筑投影轮廓线对纹理图像进行裁剪处理，弥补了实景三维建模中存在的拉花、粘连和锯齿状边界纹理等不足，本发明实施例中模型的纹理是直接在相应的纹理影像进行定位提取、裁剪，之后附着到三维模型相应的纹理面上，很好的还原了建筑真实的纹理信息。
图3提出了一种基于倾斜影像的建筑物纹理提取装置，基于上述各实施例的基于倾斜影像的建筑物纹理提取方法，包括骨架模型模块40、纹理影像源模块50、建筑物纹理提取模块60，其中：
骨架模型模块40基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；导入的影像中选取一对包含建筑物顶部信息的影像，根据像对精确的外方位元素，选择建筑物同名角点进行测量获取该角点空间坐标，以此创建顶部轮廓线，由于建筑物立面与顶部的特殊关系——垂直，通过垂直挤出的方式获取建筑物立面，进而完成简单建筑物骨架模型的创建。
纹理影像源模块50基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；首先将顶部建筑物角点坐标与各个垂直影像的内外方位元素逐一带入共线方程，求出所有具有顶部纹理图像的航空影像。根据顶部纹理筛选方法，计算建筑物顶部中心到影像中心距离，同时对影像完整性进行约束判定，获取建筑物顶部纹理信息最佳的纹理影像，即顶部纹理影像源。利用骨架模型各个立面角点坐标和各个倾斜影像外方位元素，求出包含所有立面纹理的航空影像；用组合约束方法对这些具有纹理信息的影像进行优化处理，通过多重组合约束条件获取立面纹理最好的倾斜影像，即筛选出立面纹理影像源。
建筑物纹理提取模块60基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。在Canny边缘检测的基础上，利用Hough变换算法进行边界追踪提取纹理的边缘直线。在粗定位基础上，对相应区域进行边缘检测和直线追踪回纹理信息边缘直线。通过直线追踪方法获取纹理的边界直线，并根据投影线与检测直线的角度和距离作为判定条件进行优化处理，精确定位纹理的位置和范围。通过判定检测直线与投影线的几何关系剔除错误直线，将正确的纹理直线与矢量轮廓线进行优化配准，获取的纹理裁剪范围更加精确。本实施例中的影像即为利用倾斜摄影技术采集的影像，包括倾斜影像和垂直影像。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各方法实施例所述的基于倾斜影像的建筑物纹理提取方法的步骤：
基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所述的基于倾斜影像的建筑物纹理提取方法的步骤，例如包括：
基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
本实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所述的基于倾斜影像的建筑物纹理提取方法的步骤，例如包括：
基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型。
综上所述，本发明实施例提出了一种基于倾斜影像的建筑物纹理提取方法和装置，将顶部与立面纹理分开选取，组合角度、距离、面积等多种约束条件，最终从海量的倾斜影像中筛选出建筑物各个面的最佳纹理影像，提高了工作效率；在粗定位基础上，对相应区域进行边缘检测和直线追踪回纹理信息边缘直线。通过判定检测直线与投影线的几何关系剔除错误直线，将正确的纹理直线与矢量轮廓线进行优化配准，获取的纹理裁剪范围更加精确；得到的三维模型不存在纹理拉花、粘连等现象，获得了更好的纹理贴图效果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于倾斜影像的建筑物纹理提取方法，其特征在于，包括：
基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；
基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型；
其中，基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，具体包括：
获取建筑物骨架模型顶部立面中心点的中心点像点坐标，并计算所述中心点像点坐标与垂直影像对应摄影中心的距离值，筛选出大于预设最小距离值的垂直影像，完成第一次顶部纹理影像源筛选；
获取各顶部角点在每个垂直影像上形成的最小矩形，筛选出其中完全包覆所述最小矩形的垂直影像，完成第二次顶部纹理影像源筛选；
其中，基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，具体包括：
从垂直影像中选取一对包含有建筑物的立体像对，基于空间交会方法选取建筑物顶部角点的像点坐标，并基于所述像点坐标获取剩余顶部角点的空间坐标；
并基于所述顶部角点构建建筑物骨架模型，具体包括：
依次连接各顶部角点，得到建筑物顶部矢量线，并通过顶部立面挤出的方法获取建筑物立面，以构建建筑物骨架模型；
其中，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源，具体包括：
基于角度约束，获取建筑物骨架模型中立面法向量与倾斜影像中心视线方向的夹角，根据所述夹角筛选出立面纹理信息完全可见的倾斜影像；
基于定位约束，筛选出立面纹理信息完整的倾斜影像；
基于面积约束，筛选出包含所有立面纹理信息的倾斜影像；所述基于边缘检测方法和变换检测直线方法前，还包括：
基于共线方程得到建筑物顶部矢量线每个顶点在顶部纹理影像源上对应的像点坐标，得到建筑物纹理面轮廓线投影位置，并基于所述建筑物纹理面轮廓线投影位置建立纹理搜索缓冲区；其中，基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，具体包括：
基于边缘检测算子Canny对顶部纹理影像源、立面纹理影像源进行边缘检测，得到纹理边缘信息；
基于所述纹理搜索缓冲区和所述纹理边缘信息，通过变换检测直线算子Hough提取顶部纹理、立面纹理。
2.一种基于倾斜影像的建筑物纹理提取装置，其特征在于，包括：
骨架模型模块，用于基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，并基于所述顶部角点构建建筑物骨架模型；
纹理影像源模块，用于基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源；
建筑物纹理提取模块，用于基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，并将所述顶部纹理和所述立面纹理映射至所述建筑物骨架模型；
其中，基于距离约束和定位约束方法从垂直影像中筛选出顶部纹理影像源，具体包括：
获取建筑物骨架模型顶部立面中心点的中心点像点坐标，并计算所述中心点像点坐标与垂直影像对应摄影中心的距离值，筛选出大于预设最小距离值的垂直影像，完成第一次顶部纹理影像源筛选；
获取各顶部角点在每个垂直影像上形成的最小矩形，筛选出其中完全包覆所述最小矩形的垂直影像，完成第二次顶部纹理影像源筛选；
其中，基于包含建筑物的立体像对，获取建筑物各顶部角点的坐标，具体包括：
从垂直影像中选取一对包含有建筑物的立体像对，基于空间交会方法选取建筑物顶部角点的像点坐标，并基于所述像点坐标获取剩余顶部角点的空间坐标；
并基于所述顶部角点构建建筑物骨架模型，具体包括：
依次连接各顶部角点，得到建筑物顶部矢量线，并通过顶部立面挤出的方法获取建筑物立面，以构建建筑物骨架模型；
其中，基于角度约束、定位约束和面积约束从倾斜影像中筛选出立面纹理影像源，具体包括：
基于角度约束，获取建筑物骨架模型中立面法向量与倾斜影像中心视线方向的夹角，根据所述夹角筛选出立面纹理信息完全可见的倾斜影像；
基于定位约束，筛选出立面纹理信息完整的倾斜影像；
基于面积约束，筛选出包含所有立面纹理信息的倾斜影像；所述基于边缘检测方法和变换检测直线方法前，还包括：
基于共线方程得到建筑物顶部矢量线每个顶点在顶部纹理影像源上对应的像点坐标，得到建筑物纹理面轮廓线投影位置，并基于所述建筑物纹理面轮廓线投影位置建立纹理搜索缓冲区；其中，基于边缘检测方法和变换检测直线方法，从所述顶部纹理影像源提取顶部纹理，从所述立面纹理影像源提取立面纹理，具体包括：
基于边缘检测算子Canny对顶部纹理影像源、立面纹理影像源进行边缘检测，得到纹理边缘信息；
基于所述纹理搜索缓冲区和所述纹理边缘信息，通过变换检测直线算子Hough提取顶部纹理、立面纹理。
3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述基于倾斜影像的建筑物纹理提取方法的步骤。
4.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1所述基于倾斜影像的建筑物纹理提取方法的步骤。
CN201811064682.7A 2018-09-12 2018-09-12 基于倾斜影像的建筑物纹理提取方法和装置 Active CN109255808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811064682.7A CN109255808B (zh) 2018-09-12 2018-09-12 基于倾斜影像的建筑物纹理提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811064682.7A CN109255808B (zh) 2018-09-12 2018-09-12 基于倾斜影像的建筑物纹理提取方法和装置

Publications (2)

Publication Number Publication Date
CN109255808A CN109255808A (zh) 2019-01-22
CN109255808B true CN109255808B (zh) 2021-04-02

Family

ID=65047360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811064682.7A Active CN109255808B (zh) 2018-09-12 2018-09-12 基于倾斜影像的建筑物纹理提取方法和装置

Country Status (1)

Country Link
CN (1) CN109255808B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816708B (zh) * 2019-01-30 2021-02-02 北京建筑大学 基于倾斜航空影像的建筑物纹理提取方法
CN110322465B (zh) * 2019-06-29 2020-12-25 东南大学苏州医疗器械研究院 肿瘤微球的轮廓检测方法及装置
CN110322541A (zh) * 2019-07-08 2019-10-11 桂林理工大学 一种从五个倾斜相机中选择最优墙面纹理的方法
CN110458871A (zh) * 2019-08-14 2019-11-15 上海霁目信息科技有限公司 模型与全景图的配准方法、系统、设备和介质以及地图
CN110648401B (zh) * 2019-08-30 2023-10-20 贝壳技术有限公司 倾斜摄影模型单体化方法、装置、电子设备和存储介质
CN113223149B (zh) * 2021-05-08 2024-07-02 中煤(西安)航测遥感研究院有限公司 三维模型纹理生成方法、装置、设备及存储介质
CN113670275B (zh) * 2021-08-13 2024-01-02 诚邦测绘信息科技(浙江)有限公司 一种针对古建筑物的无人机测绘方法、系统及存储介质
CN115496908A (zh) * 2022-10-18 2022-12-20 湖南省第一测绘院 一种高层建筑倾斜摄影模型自动分层方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000275685A (ja) * 1999-03-26 2000-10-06 Canon Inc 液晶素子及びこれを備えた液晶装置
EP2413288A2 (en) * 2010-07-27 2012-02-01 DreamWorks Animation LLC Collison free construction of animated feathers
US8817018B1 (en) * 2011-06-13 2014-08-26 Google Inc. Using photographic images to construct a three-dimensional model with a curved surface

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286241A (zh) * 2008-04-17 2008-10-15 西北工业大学 基于立体像对的一种三维建筑物快速建模方法
US9240808B2 (en) * 2010-09-10 2016-01-19 Trellis Phase Communications, Lp Methods, apparatus, and systems for coding with constrained interleaving
CN104732577B (zh) * 2015-03-10 2017-11-07 山东科技大学 一种基于uav低空航测系统的建筑物纹理提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000275685A (ja) * 1999-03-26 2000-10-06 Canon Inc 液晶素子及びこれを備えた液晶装置
EP2413288A2 (en) * 2010-07-27 2012-02-01 DreamWorks Animation LLC Collison free construction of animated feathers
US8817018B1 (en) * 2011-06-13 2014-08-26 Google Inc. Using photographic images to construct a three-dimensional model with a curved surface

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dense height map estimation from oblique aerial image sequences;G. Le. Besnerais 等;《Computer Vision and Image Understanding》;20080229;第204-225页 *
基于Hough变换的航空影像建筑物半自动提取;杨化超 等;《测绘科学》;20061130;第31卷(第6期);第93-94、97页 *

Also Published As

Publication number Publication date
CN109255808A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
Wu et al. Integration of aerial oblique imagery and terrestrial imagery for optimized 3D modeling in urban areas
US11094113B2 (en) Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
US7509241B2 (en) Method and apparatus for automatically generating a site model
CA2678156C (en) Measurement apparatus, measurement method, and feature identification apparatus
EP3413266B1 (en) Image processing device, image processing method, and image processing program
US20200357141A1 (en) Systems and methods for calibrating an optical system of a movable object
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
CN103839286B (zh) 一种对象语义约束的真正射影像优化采样方法
CN109709977B (zh) 移动轨迹规划的方法、装置及移动物体
Cosido et al. Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
Orthuber et al. 3D building reconstruction from lidar point clouds by adaptive dual contouring
CN108629742A (zh) 真正射影像阴影检测与补偿方法、装置及存储介质
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
Yoo et al. True orthoimage generation by mutual recovery of occlusion areas
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
US9240055B1 (en) Symmetry-based interpolation in images
Chen et al. True orthophoto generation using multi-view aerial images
Haggag et al. Towards automated generation of true orthoimages for urban areas
Liu et al. Multi-platform bundle adjustment method supported by object structural information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant