CN116681844A - 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 - Google Patents
一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 Download PDFInfo
- Publication number
- CN116681844A CN116681844A CN202310506599.5A CN202310506599A CN116681844A CN 116681844 A CN116681844 A CN 116681844A CN 202310506599 A CN202310506599 A CN 202310506599A CN 116681844 A CN116681844 A CN 116681844A
- Authority
- CN
- China
- Prior art keywords
- building
- image
- stereopair
- white film
- roof
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000011524 similarity measure Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 7
- 230000008707 rearrangement Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
一种基于亚米级立体像对卫星影像的建筑物白膜构建方法，属于卫星影像处理技术领域，其特征在于：对立体像对影像进行重构，获得核线约束的立体像对影像；然后获取建筑物楼顶矢量文件；根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点生成加密特征点；根据高程约束对建筑物矢量角点进行平面位置解算，获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。利用亚米级立体像对即可进行建筑物白膜数据的生产，不需要借助高精度DSM和DOM数据。通过建立多层级多方向的空间上下文的结构特征描述，可以有效的对特征点进行描述，可以有效的匹配到正确点位，获取真实的高程值。
Description
技术领域
本发明属于卫星影像处理技术领域，尤其涉及一种基于亚米级立体像对卫星影像的建筑物白膜构建方法。
背景技术
建筑物白膜是一种带有建筑物高程属性的屋顶多边形矢量文件，可用于智慧城市、智慧园区。在传统的建筑物白膜构建当中，大部分是利用无人机通过倾斜摄影技术，获取大量的倾斜摄影影像，采用倾斜摄影测量得到的密集的三维点云来构建，这些白膜的平面投影图与实际数据相比往往存在误差，需要大量的人力物力来进行外业补采及白膜的修编工作，在精度和效率上都存在局限性，无法满足建筑物白膜的高效生产和实时更新。
发明内容
本发明旨在解决上述问题，提供一种满足建筑物白膜高效生产和实时更新的基于亚米级立体像对卫星影像的建筑物白膜自动构建方法。
第一方面，本发明提供一种基于亚米级立体像对卫星影像的建筑物白膜构建方法，包括以下步骤：
1)首先对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
2)然后在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
3)根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
4)在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
5)利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
6)重复步骤3)到5)，直到建筑物矢量遍历完成；
7)进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，步骤2)所述建筑物楼顶轮廓进行提取是基于U形结构的深层卷积网络的建筑物楼顶轮廓提取，并对建筑物楼顶轮廓进行规则化处理，生成基于像方坐标的建筑物楼顶矢量文件。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，所述立体像对影像采用高精度立体影像数据；
所述立体影像为两视影像；对于三线阵立体影像选择下视影像和前视影像、或下视影像和后视影像配对进行建筑物白膜构建。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，步骤4)所述加密特征点多层级多方向的空间上下文的结构特征描述过程包括：对于图像中的任一像素P(0，0)，利用其右边P(1，0)、右下P(1，1)、下边P(1，0)四个方向的四个像素的灰度值及该像素自身的灰度值来聚合其周围局部的空间上下文属性来进行约束关联，通过下式计算P(0,0)像素周围四个方向上的空间上下文信息；
其中，abs[]代表取绝对值，c1、c2、c3和c4代表四个方向的通道特征；
上式被重复性的执行在图像的每个像素位置上，最终对于每一个像素点形成了四个通道的单层级的空间上下文信息特征描述信息；
然后对影像文件创建多层级金字塔文件来创建多层级的特征描述；
对多层级四个方向的空间上下文信息进行逐像素扫描，用高斯卷积核确定的邻域内像素的加权平均特征值去替代中心像素点的值，得到新的卷积多方向空间上下文信息特征，最后归一化处理后就可得多层级多方向结构特征描述。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于，步骤4)所述获取同名点对的过程包括：
采用傅里叶变换方法将特征模板从空间域变换到频率域，并以相关为相似性测度加速模板匹配；
根据傅里叶变换的平移特性，两个函数在空间域中的平移在频率域中表示为相位差；
设f1(x,y)和f2(x,y)分别是输入影像和参考影像的多层级多方向空间上下文特征描述符，两个特征描述符间只存在平移关系，
即f1(x,y)＝f2(x-x0,y-y0)，
根据傅里叶变换的平移特性，在频率下两者的关系表示为：
F1(u,v)＝F2(u,v)exp(-2πi(ux0+vy0))
F1和F2分别表示f1和f2的3-D傅里叶变换函数，它们的功率谱表示为：Q(u,v)＝F1(u,v)F2(u,v)*＝exp(-2πi(ux0+vy0))
上式中，*表示复共轭，根据平移理论，互功率谱的相位等于相位间的相位差，通过对exp(-2πi(ux0+vy0))进行傅里叶反变换得到一个位于(x0,y0)的脉冲函数δ(x-x0,y-y0)；根据该函数在偏移位置的峰值确定特征模板之间的偏移量x0和y0，因为核线约束获取偏移量x0即可获取同名点对。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，所述偏移量x0有多个的建筑物，统计各偏移量x0出现的频率，选取频率最高的偏移量x0作为该建筑物楼顶的真值，从而获取同名点对。
第二方面，本发明提供一种基于亚米级立体像对卫星影像的建筑物白膜构建系统，包括相电连接的核线影像重构模块、楼顶轮廓提取模块和楼顶重复纹理匹配模块：
所述核线影像重构模块，用于对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
所述楼顶轮廓提取模块，用于在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
所述楼顶重复纹理匹配模块，用于根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
接着在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
然后利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
重复执行该模块前述过程，直到建筑物矢量遍历完成；
最后进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
进一步，本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建系统，所述楼顶轮廓提取模块在进行提取时基于U形结构的深层卷积网络的建筑物楼顶轮廓提取，并对建筑物楼顶轮廓进行规则化处理，生成基于像方坐标的建筑物楼顶矢量文件。
第三方面，本发明提供一种基于亚米级立体像对卫星影像的建筑物白膜构建电子装置，包括相电连接的处理器和存储器；所述存储器用于存储计算机程序；所述处理器执行前述计算机程序时，可实现如第一方面所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序；所述计算机程序被执行时，可实现如第一方面所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法。
本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，具有以下技术效果：
(1)利用亚米级立体像对即可进行建筑物白膜数据的生产，不需要借助高精度DSM和DOM数据。相比于目前主流的白膜生产技术更具有优势，目前主流的白膜生产技术主要有两类，一类是靠航空倾斜影像进行白膜生产，这种方式是传统的方式，一般需要大量的倾斜影像，需要大量的人力物力；另一类是利用高精度的DSM和DOM数据，进行白膜的生产，这种方法依赖于高精度的DSM数据，而高精度的DSM数据的获取也受各方面因素的制约，白膜的生产具有局限性。
(2)本发明所述的建筑物白膜构建方法的技术途径是可行的，是可以赋予实际生产的，具有很强的自动化生产能力，可以减少大量的人力工作，是一种自主可控的生产流程，可以满足当下实时生产的需求。
(3)对于建筑物楼顶重复文理，通过建立多层级多方向的空间上下文的结构特征描述，可以有效的对特征点进行描述，可以有效的匹配到正确点位，获取真实的高程值。
附图说明
图1为本发明实例所述建筑物白膜构建流程示意图；
图2为本发明实例所述建筑物楼顶矢量图；
图3为本发明实例所述像素间的空间位置关系图；
图4为本发明实例所述多层级多方向空间上下文特征描述关系图；
图5为本发明实例所述二维高斯示意图；
图6为本发明实例所述脉冲函数示意图；
图7为本发明实例所述建筑物白膜示意图；
图8为本发明实例所述建筑物白膜构建系统结构示意图。
具体实施方式
下面通过附图及实施例对本发明所述基于亚米级立体像对卫星影像的建筑物白膜构建方法进行详细说明。
实施例一
本实施例公开一种基于亚米级立体像对卫星影像的建筑物白膜构建方法，如图1所示包括以下步骤：
1)首先对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
2)然后在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
3)根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
4)在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
5)利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
6)重复步骤3)到5)，直到建筑物矢量遍历完成；
7)进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
在本公开实施例中，对立体像对影像进行重构时利用RPC参数文件建立有理函数模型，构建地面大地坐标系(Dlat,Dlon,Dhei)与像点坐标系(line,sample)的正反换算公式，将地面坐标和影像坐标正则化到-1和1之间，目前技术已经很成熟。具体公式如下：
多项式NumL，DenL，Nums，Dens均为不超过3次的多项式，其通用形式为：
上式中，(P,L,H)为正则化的地面坐标，(l,s)为正则化的影像坐标，其正则化公式为：
这里，Dlat_off、Dlat_scale、Dlon_off、Dlon_scale、Dhei_off和Dhei_scale为地面坐标的正则化参数。Soff、Sscale、Loff和Lscale为影像坐标的正则化参数。
然后利用RPC参数文件建立分段近似核线影像与原始影像的严格坐标变换关系，首先获取影像范围内的最小高程hmin和最大高程hmax值，设置高程分层数，一般大于2，基于左影像RPC参数投影到不同高程值，求解地面点坐标(Xlayer,Ylayer,hlayer)，layer表示高程层级。利用右影像RPC模型参数求解像点坐标，构建直线段方程，利用相邻两个像点求解直线段方程的系数，利用核线共轭性质，同理求解左影像核线段方程，然后根据输出分辨率要求，利用核线段方程建立的核线影像点与原始影像点的变换关系，进行核线重采样，生成左右核线影像。
进行核线影像RPC参数拟合时，通过原始影像RPC参数文件，基于不同高程面进行密集均匀虚拟控制格网化处理。采用最小二乘法迭代法拟合核线影像RPC参数文件。
基于深度学习的建筑物楼顶轮廓提取技术，依赖于大量的训练样本，利用大量的建筑物楼顶轮廓样本进行U形结构的深层卷积网络训练，在本公开实施例中通过训练好的U形结构的深层卷积网络模型从输入影像中提取建筑物图斑，该网络以数据驱动的方式学习图像多层级特征，在最深层通过嵌套的空洞卷积增强网络感受野，并通过多层特征融合兼顾图像语义信息和细节梯度进行建筑物楼顶轮廓提取，并对提取的建筑物楼顶轮廓进行规则化处理，获取可用到建筑物楼顶轮廓矢量文件，如图2所示。
然后基于建筑物楼顶提取的矢量文件作为约束，与核线影像基于像方坐标的套合，在建筑物楼顶矢量约束范围内基于逐像素的网格点化处理，获取大量的网格点作为特征点。
在本公开实施例中，多层级多方向空间上下文特征描述符构建过程具体如下：
对于图像中的任一个像素(定义为：P(0,0))，可以利用其右边(定义为：P(1,0))、右下(定义为：P(1,1))、下边(定义为：P(1,0))四个方向的四个像素的灰度值及该像素自身的灰度值来聚合其周围局部的空间上下文属性来进行约束关联，像素间的空间位置关系如图3所示。
因此，可以通过下式计算出图3中所示的P(0,0)像素周围四个方向上的空间上下文信息。
上式中abs[]代表取绝对值，c1、c2、c3和c4代表四个方向的通道特征。上式被重复性的执行在图像的每个像素位置上，最终对于每一个像素点形成了四个通道的单层级的空间上下文信息特征描述信息，如图4所示。
通过对影像文件创建多层级金字塔文件来创建多层级的特征描述，在本公开实施例中采用均值金字塔，对每一个像素采取相邻四邻域取均值创建均值金字塔，一般创建为4层即可，在每层金字塔上面建立单层级空间上下文特征描述。
高斯滤波是一种线性平滑滤波，广泛应用于图像处理的降噪过程。高斯滤波就是对特征进行加权平均的过程。每一个通道上的特征值，都由其本身和其邻域内的其它特征值经过加权平均后得到。这一过程可通过卷积实现，对上面得到的多层级四个方向的空间上下文通道进行逐像素扫描，用高斯卷积核确定的邻域内像素的加权平均特征值去替代中心像素点的值，得到新的卷积多方向空间上下文通道。所用的二维高斯示意图如图5所示。
该过程可以用下式实现：
gσ代表所用的高斯核函数，*代表卷积运算；Q表示卷积后得到的新的卷积多方向空间上下文通道；layer代表不同的层级。
对特征加权平滑得到的特征进行归一化的目的是减少光照变化、对比度变化和图像畸变等对描述符匹配性能的影响，提高算法的鲁棒性，归一化处理后就可得到本实施例所构建的多层级多方向特征描述符。
exp归一化的公式如下：
公式中w和h代表图像块的宽和高，分母V(Ci,x,y)是局部方差估计，V的极小值能产生急剧衰减的功能，V的较大值能产生广泛的响应，layer表示不同的层级。参数V与图片中的噪声量有关，计算方式如下：
由于多层级多方向特征描述符是逐像素的结构特征描述符，数据量过大，致使采用传统的相似性测度方法(如NCC)进行匹配会非常耗时。为了满足实景匹配的实时性，根据空间域中两个模板间的相关或卷积等于两个模板的傅里叶变换在频率域中的乘积，在本实施例中采用傅里叶变换方法将特征模板从空间域变换到频率域，并以相关为相似性测度加速模板匹配。
因为核线影像约束已经消除了行方向上下视差的影响，只存在列方向的视差平移，根据傅里叶变换的平移特性，两个函数在空间域中的平移在频率域中可以表示为相位差。假设f1(x,y)和f2(x,y)分别是输入影像和参考影像的多层级多方向空间上下文特征描述符，两个特征描述符间只存在平移关系，即f1(x,y)＝f2(x-x0,y-y0)，根据傅里叶变换的平移特性，在频率下两者的关系可以表示为：
F1(u,v)＝F2(u,v)exp(-2πi(ux0+vy0))
F1和F2分别表示f1和f2的3-D傅里叶变换函数，它们的功率谱可以表示为：Q(u,v)＝F1(u,v)F2(u,v)*＝exp(-2πi(ux0+vy0))
上式中，*表示复共轭，根据平移理论，互功率谱的相位等于相位间的相位差，通过对exp(-2πi(ux0+vy0))进行傅里叶反变换可以得到一个位于(x0,y0)的脉冲函数δ(x-x0,y-y0)。如下图6所示，脉冲函数δ(x-x0,y-y0)在偏移位置处有明显的尖锐峰值，而其他位置的值接近于零，通过峰值的位置可以确定特征模板之间的偏移量x0和y0，因为核线约束从而只需获取偏移量x0就可以获取同名点对。
对于一个建筑物可能有多个偏移量x0出现，统计各偏移量x0出现的频率，选取频率最高的偏移量x0作为该楼顶的真值，从而获取同名点对，利用同名点前方交会获取楼顶同名点三维坐标，根据高程值和RPC参数文件可以获取建筑物楼顶矢量角点对应的平面坐标经纬度值，遍历矢量角点完成三维坐标获取，并形成闭环。最后保存生成矢量文件。
本实施例所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法，采用一景GF7立体像对数据在一台机器21个进程的加速下对10多万个建筑物矢量重塑高程需要3个小时左右，生成白膜结果如图7所示。
本公开实施例所述的建筑物白膜构建方法的技术途径是可以赋予实际生产的，具有很强的自动化生产能力，可以减少大量的人力工作，是一种自主可控的生产流程，可以满足当下实时生产的需求。
实施例二
本实施例公开一种基于亚米级立体像对卫星影像的建筑物白膜构建系统，如图8所示，包括相电连接的核线影像重构模块、楼顶轮廓提取模块和楼顶重复纹理匹配模块：
所述核线影像重构模块，用于对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
所述楼顶轮廓提取模块，用于在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
所述楼顶重复纹理匹配模块，用于根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
接着在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
然后利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
重复执行该模块前述过程，直到建筑物矢量遍历完成；
最后进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
在本公开实施例中，所述楼顶轮廓提取模块在进行提取时基于U形结构的深层卷积网络的建筑物楼顶轮廓提取，并对建筑物楼顶轮廓进行规则化处理，生成基于像方坐标的建筑物楼顶矢量文件。
实施例三
本实施例公开一种基于亚米级立体像对卫星影像的建筑物白膜构建电子装置，包括相电连接的处理器和存储器；所述存储器用于存储计算机程序；所述处理器执行前述计算机程序时，可实现实施例一所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法，具体构建方法步骤与前述实施例一相同，在此不再赘述。
实施例四
本实施例公开一种计算机可读存储介质，所述存储介质上存储有计算机程序；所述计算机程序被执行时，可实现实施例一所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法，具体构建方法步骤与前述实施例一相同，在此不再赘述。
本申请实施例所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(DVD))或者半导体介质(例如，固态硬盘(SSD))等。计算机存储代码所形成软件可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
在本申请各实施例中的各功能模块可以集成在一个处理单元或模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元或模块中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生实现本申请实施例所述的流程或功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于包括以下步骤：
1)首先对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
2)然后在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
3)根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
4)在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
5)利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
6)重复步骤3)到5)，直到建筑物矢量遍历完成；
7)进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
2.根据权利要求1所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于：步骤2)所述建筑物楼顶轮廓进行提取是基于U形结构的深层卷积网络的建筑物楼顶轮廓提取，并对建筑物楼顶轮廓进行规则化处理，生成基于像方坐标的建筑物楼顶矢量文件。
3.根据权利要求1所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于：所述立体像对影像采用高精度立体影像数据；
所述立体影像为两视影像；对于三线阵立体影像选择下视影像和前视影像、或下视影像和后视影像配对进行建筑物白膜构建。
4.根据权利要求2所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于，步骤4)所述加密特征点多层级多方向的空间上下文的结构特征描述过程包括：对于图像中的任一像素P(0，0)，利用其右边P(1，0)、右下P(1，1)、下边P(1，0)四个方向的四个像素的灰度值及该像素自身的灰度值来聚合其周围局部的空间上下文属性来进行约束关联，通过下式计算P(0,0)像素周围四个方向上的空间上下文信息；
其中，abs[]代表取绝对值，c1、c2、c3和c4代表四个方向的通道特征；
上式被重复性的执行在图像的每个像素位置上，最终对于每一个像素点形成了四个通道的单层级的空间上下文信息特征描述信息；
然后对影像文件创建多层级金字塔文件来创建多层级的特征描述；
对多层级四个方向的空间上下文信息进行逐像素扫描，用高斯卷积核确定的邻域内像素的加权平均特征值去替代中心像素点的值，得到新的卷积多方向空间上下文信息特征，最后归一化处理后就可得多层级多方向结构特征描述。
5.根据权利要求4所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于，步骤4)所述获取同名点对的过程包括：
采用傅里叶变换方法将特征模板从空间域变换到频率域，并以相关为相似性测度加速模板匹配；
根据傅里叶变换的平移特性，两个函数在空间域中的平移在频率域中表示为相位差；
设f1(x,y)和f2(x,y)分别是输入影像和参考影像的多层级多方向空间上下文特征描述符，两个特征描述符间只存在平移关系，
即f1(x,y)＝f2(x-x0,y-y0)，
根据傅里叶变换的平移特性，在频率下两者的关系表示为：
F1(u,v)＝F2(u,v)exp(-2πi(ux0+vy0))
F1和F2分别表示f1和f2的3-D傅里叶变换函数，它们的功率谱表示为：
Q(u,v)＝F1(u,v)F2(u,v)*＝exp(-2πi(ux0+vy0))
上式中，*表示复共轭，根据平移理论，互功率谱的相位等于相位间的相位差，通过对exp(-2πi(ux0+vy0))进行傅里叶反变换得到一个位于(x0,y0)的脉冲函数δ(x-x0,y-y0)；根据该函数在偏移位置的峰值确定特征模板之间的偏移量x0和y0，因为核线约束获取偏移量x0即可获取同名点对。
6.根据权利要求5所述基于亚米级立体像对卫星影像的建筑物白膜构建方法，其特征在于：所述偏移量x0有多个的建筑物，统计各偏移量x0出现的频率，选取频率最高的偏移量x0作为该建筑物楼顶的真值，从而获取同名点对。
7.一种基于亚米级立体像对卫星影像的建筑物白膜构建系统，其特征在于：包括相电连接的核线影像重构模块、楼顶轮廓提取模块和楼顶重复纹理匹配模块：所述核线影像重构模块，用于对立体像对影像进行重构，利用立体像对自带的定向参数基于投影轨迹法，进行核线影像重排和核线影像RPC参数解算，生成核线影像和对应的核线影像RPC参数文件，获得核线约束的立体像对影像；
所述楼顶轮廓提取模块，用于在重构影像的基础上进行建筑物楼顶轮廓进行提取，获取建筑物楼顶矢量文件；
所述楼顶重复纹理匹配模块，用于根据建筑物楼顶矢量文件约束在重构的核线影像上进行建筑物楼顶特征点均匀网格化加密，生成加密特征点；
接着在核线约束的基础上进行加密特征点多层级多方向的空间上下文的结构特征描述，并进行傅里叶变换方法将其转换到频率空间；多层级以相位相关为相似性测度，通过模板匹配进行同名点快速识别的特征匹配，获取同名点对；
然后利用RPC参数文件，针对同名点位立体像对前交获取高程数据，并根据高程约束对建筑物矢量角点进行平面位置解算，并赋予角点三维信息坐标；
重复执行该模块前述过程，直到建筑物矢量遍历完成；
最后进行建筑物矢量文件重构，赋予三维坐标信息；获得带有地理信息和高程信息属性信息的建筑物矢量文件，即建筑物白膜文件。
8.根据权利要求7所述基于亚米级立体像对卫星影像的建筑物白膜构建系统，其特征在于：所述楼顶轮廓提取模块在进行提取时基于U形结构的深层卷积网络的建筑物楼顶轮廓提取，并对建筑物楼顶轮廓进行规则化处理，生成基于像方坐标的建筑物楼顶矢量文件。
9.一种基于亚米级立体像对卫星影像的建筑物白膜构建电子装置，包括相电连接的处理器和存储器；所述存储器用于存储计算机程序；其特征在于：所述处理器执行前述计算机程序时，可实现如权利要求1-6任一项所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法。
10.一种计算机可读存储介质，其特征在于：所述存储介质上存储有计算机程序；
所述计算机程序被执行时，可实现如权利要求1-6任一项所述的基于亚米级立体像对卫星影像的建筑物白膜构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310506599.5A CN116681844A (zh) | 2023-04-28 | 2023-04-28 | 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310506599.5A CN116681844A (zh) | 2023-04-28 | 2023-04-28 | 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116681844A true CN116681844A (zh) | 2023-09-01 |
Family
ID=87788085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310506599.5A Pending CN116681844A (zh) | 2023-04-28 | 2023-04-28 | 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681844A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496082A (zh) * | 2023-11-15 | 2024-02-02 | 哈尔滨航天恒星数据系统科技有限公司 | 一种自动化三维白膜数据发布方法 |
| CN117496082B (zh) * | 2023-11-15 | 2024-05-31 | 哈尔滨航天恒星数据系统科技有限公司 | 一种自动化三维白膜数据发布方法 |
-
2023
- 2023-04-28 CN CN202310506599.5A patent/CN116681844A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496082A (zh) * | 2023-11-15 | 2024-02-02 | 哈尔滨航天恒星数据系统科技有限公司 | 一种自动化三维白膜数据发布方法 |
| CN117496082B (zh) * | 2023-11-15 | 2024-05-31 | 哈尔滨航天恒星数据系统科技有限公司 | 一种自动化三维白膜数据发布方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
| CN112396703B (zh) | 一种单图像三维点云模型重建方法 | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN111899328B (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
| CN111524168B (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| CN110211169B (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 | |
| Sarkar et al. | Learning quadrangulated patches for 3d shape parameterization and completion | |
| CN105719277A (zh) | 一种基于测绘与二维图像的变电站三维建模方法及系统 | |
| WO2022198684A1 (en) | Methods and systems for training quantized neural radiance field | |
| Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN104751451B (zh) | 基于无人机低空高分辨率影像的密集点云提取方法 | |
| CN104318552A (zh) | 基于凸包投影图匹配的模型配准方法 | |
| CN117115359B (zh) | 一种基于深度图融合的多视图电网三维空间数据重建方法 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN113840127A (zh) | 一种卫星视频影像获取水域自动掩膜处理dsm的方法 | |
| CN116681844A (zh) | 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法 | |
| CN114140581A (zh) | 一种自动建模方法、装置、计算机设备及存储介质 | |
| Zhang et al. | A Rooftop-Contour Guided 3D Reconstruction Texture Mapping Method for Building using Satellite Images | |
| Chiu et al. | 360MVSNet: Deep Multi-View Stereo Network With 360deg Images for Indoor Scene Reconstruction | |
| CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 | |
| Zhang et al. | Glorie-slam: Globally optimized rgb-only implicit encoding point cloud slam | |
| Chen et al. | Processing of volumetric video | |
| He | Research on outdoor garden scene reconstruction based on PMVS Algorithm | |
| CN117710603B (zh) | 一种直线几何结构约束下无人机图像三维建筑物建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |