CN111311750B - 一种基于约束三角网的镶嵌线网络全局优化方法 - Google Patents

一种基于约束三角网的镶嵌线网络全局优化方法 Download PDF

Info

Publication number
CN111311750B
CN111311750B CN202010052650.6A CN202010052650A CN111311750B CN 111311750 B CN111311750 B CN 111311750B CN 202010052650 A CN202010052650 A CN 202010052650A CN 111311750 B CN111311750 B CN 111311750B
Authority
CN
China
Prior art keywords
image
polygon
triangle
mosaic
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010052650.6A
Other languages
English (en)
Other versions
CN111311750A (zh
Inventor
张永军
刘欣怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010052650.6A priority Critical patent/CN111311750B/zh
Publication of CN111311750A publication Critical patent/CN111311750A/zh
Application granted granted Critical
Publication of CN111311750B publication Critical patent/CN111311750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于约束三角网的镶嵌线网络全局优化方法，该方法包括：步骤1、准备输入数据，包括：正射影像、影像无效区域掩膜，以及可选输入的地形数据；步骤2、根据正射影像边界多边形构建边界约束的三角网；步骤3、判断三角网内各三角形所属的原始影像序号组，对所有有效多边形对应的有效三角形构建多标签选择的能量函数，基于图割最优化算法求解三角形标签最优解；步骤4、通过对三角形进行连通性分析，得到有效多边形组，记录影像有效镶嵌多边形边缘作为镶嵌线网络输出。本发明无需考虑影像边界局部拓扑关系，不限制影像轮廓形状，支持设置影像无效区域，支持地形数据辅助，可应对极高重叠度、覆盖区含空洞等任意分布的复杂场景。

Description

一种基于约束三角网的镶嵌线网络全局优化方法
技术领域
本发明涉及测绘科学与技术领域，尤其涉及一种基于约束三角网的镶嵌线网络全局优化方法。
背景技术
正射影像生成镶嵌影像的前提是获得镶嵌线网络，找到用于镶嵌的影像有效区域多边形。在大范围的影像镶嵌任务中，通常存在部分区域正射影像重叠度极高、正射影像覆盖不全留有空洞、影像边界多边形不规则、影像包含无效区域等复杂情况，如何快速找到覆盖整个测区的影像有效镶嵌多边形是影响镶嵌自动化程度和最终镶嵌影像质量的关键因素。
现有的正射影像镶嵌线查找算法从影像邻接关系角度主要可分为两类：一类是针对两张相邻影像之间的拼接线优化，通过地形等辅助信息，使镶嵌线避开建筑物、桥梁等非地面点以减少镶嵌影像的投影差；另一类则是针对所有影像生成全局的镶嵌线网络，主要基于标准Voronoi图及其改进算法，需要求取相邻影像之间的拓扑关系，容易造成局部影像空洞等问题。
发明内容
本发明要解决的技术问题在于针对现有技术中高重叠度正射影像初始镶嵌关系难查找的问题，提供一种基于约束三角网的镶嵌线网络全局优化方法，本发明对正射影像边界多边形构建边界约束三角网，将影像拓扑查找的问题转换为三角形的多边形选择问题。与现有方法相比，本发明采用的全局优化策略不受影像轮廓形状影响、支持影像包含无效区域(如含云区域)，生成的镶嵌线网络灵活、覆盖完整、算法鲁棒，可应对高重叠度、覆盖区含空洞等任意分布的复杂场景。因此，该方法具有重要的使用价值和广泛的应用前景。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于约束三角网的镶嵌线网络全局优化方法，该方法包括以下步骤：
步骤1、准备输入数据，包括：正射影像、影像无效区域掩膜，以及可选输入的地形数据；
步骤2、对正射影像进行有效边跟踪，得到有效轮廓多边形；对正射影像内的影像无效区域掩膜进行标记得到无效空洞多边形，进而构建得到边界约束的三角网；
步骤3、判断三角网内各三角形所属的原始影像序号组，对所有有效轮廓多边形对应的有效三角形构建多标签选择的能量函数，基于图割最优化算法求解三角形标签最优解；
步骤4、通过对三角形按照不同标签值进行连通性分析，得到用于生成镶嵌影像的原始正射影像有效轮廓多边形组，记录影像有效镶嵌多边形边缘作为镶嵌线网络输出。
进一步地，本发明的步骤2中，构建边界约束的三角网的具体方法为：
步骤2.1、影像有效边界跟踪，对正射影像去除黑边后的有效边界进行边界跟踪，记录正射影像边界多边形并标记为有效轮廓多边形IV；
步骤2.2、对影像无效区域掩膜，记录其多边形并标记为无效空洞多边形IIV；
步骤2.3、取步骤2.1和2.2中得到的有效轮廓多边形和无效空洞多边形的所有边界线段，构建边界线段约束的二维约束Delaunay三角网：
CDT＝(F,E)
Figure GDA0003492128810000021
式中，F表示所有三角形，E表示三角网的非边缘边，ei,j表示面片fi、fj的公共边。
进一步地，本发明的步骤3中，能量函数的构造及求解的具体方法为：
步骤3.1、对三角网中的三角形f∈F，若其中心点在影像轮廓多边形内且不在该影像无效区域内，将该张影像加入其所属影像多边形组IP(f)；若三角形所属影像多边形组为空，则剔除该三角形；
步骤3.2、计算能量数据项，提供地形辅助信息时各三角形置信度反映地形影像一致性，否则反映影像清晰度；如果无地形数据或无需影像质量约束，则跳过此步，能量数据项设为零，不影响最终镶嵌线网络的完整性；
步骤3.3、计算能量函数平滑项，平滑项由Potts函数表达，即：
Figure GDA0003492128810000031
式中，li为fi所选的影像标签号，lj为fj所选的影像标签号，[·]表示括号内条件满足时为1，否则为0；
步骤3.4，依据数据项与平滑项构建能量函数，并基于图割最优化算法求解，能量函数表达如下：
E(F)＝Edata(F)+Esmooth(F,E)
式中，E(F)表示能量函数，Edata(F)表示能量函数数据项，Esmooth(F,E)表示能量函数平滑项。
进一步地，本发明的步骤3.2中，计算能量数据项的具体方法为：
步骤3.2.1、若提供地形数据，三角形地形影像一致性置信度为三角形在影像投影范围内对应高程与灰度值差值的中误差，公式表达为：
Figure GDA0003492128810000032
式中，φ(f,I)为f在影像I上的投影范围，H为φ(f,I)内像素ρ处对应地形高程，G为处灰度值，#ρ为像素总数；
步骤3.2.2、若不提供地形数据，三角形影像置信度为三角形在影像投影范围内各像素梯度和，公式表达为：
Figure GDA0003492128810000033
式中，
Figure GDA0003492128810000034
为梯度幅值；
步骤3.2.3、对于三角形f所属影像多边形组的影像I∈IP(f)，将其置信度归一化至(0,1)，则三角形置信度表示为：
Figure GDA0003492128810000035
式中，N(·)为归一化函数。
进一步地，本发明的步骤4中，镶嵌线网络的具体生成方法为：
步骤4.1、收集标记为同一影像的三角形组更新三角形邻接关系，根据三角形连通性划分为不同分割区，得到各分割区多边形边界，即为影像镶嵌多边形组；
步骤4.2、记录各影像镶嵌多边形组的边界，输出为镶嵌线网络。
进一步地，本发明的地形数据包括：DSM数据，即包含地表实际地物的三维模型数据。
本发明产生的有益效果是：
1)本发明对正射影像边界多边形及其无效区域掩膜构建约束三角网，将镶嵌线网络生成问题转换为构成影像镶嵌多边形的三角形全局最优标签选择问题，避免直接对影像进行局部拓扑求解运算，生成的镶嵌线网络为全局最优解；
2)支持设置影像内部无效或低质量区域掩膜，支持利用DSM等地形辅助数据设置各区域权重，保证最终生成的镶嵌线网络完整、无缝、无重叠，镶嵌影像完全覆盖原正射影像有效区域。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的流程图；
图2为本发明实施例的约束Delaunay三角网生成示意图；
图3为本发明实施例的镶嵌线网络生成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的基于约束三角网的镶嵌线网络全局优化方法，包括以下步骤：
步骤1，数据准备。本方法需要的输入数据包括：1)正射影像；2)影像无效区域掩膜；3)DSM等地形数据(可选)；
步骤2，边界约束三角网构建如图2所示，具体方法如下：
步骤2.1，影像有效边界跟踪。对正射影像去除黑边后的有效边界进行边界跟踪，记录影像边界多边形并标记为有效轮廓多边形IV；
步骤2.2，对影像内无效区域掩膜，记录其多边形并标记为无效空洞多边形IIV；
步骤2.3，取步骤2.1和2.2中得到的有效轮廓多边形和无效空洞多边形的所有边界线段，构建边界线段约束的二维约束Delaunay三角网：
CDT＝(F,E)
式中，F表示所有三角形，E表示三角网的非边缘边，ei,j＝(fi,fj)，ei,j表示面片fi、fj的公共边。。
步骤3，能量函数的构造及求解方法如下：
步骤3.1，对三角网中的三角形f∈F，若其中心点在影像轮廓多边形内且不在该影像无效区域内，将该张影像加入其所属影像多边形组IP(f)。若三角形所属影像多边形组为空，则剔除该三角形；
步骤3.2，计算能量数据项，提供地形辅助信息时各三角形置信度反映地形影像一致性，否则反映影像清晰度；如果无地形数据或无需影像质量约束，则跳过此步，能量数据项设为零，不影响最终镶嵌线网络的完整性。具体步骤如下：
步骤3.2.1、若提供地形数据，三角形地形影像一致性置信度为三角形在影像投影范围内对应高程与灰度值差值的中误差，公式表达为：
Figure GDA0003492128810000051
式中，φ(f,I)为f在影像I上的投影范围，H为φ(f,I)内像素ρ处对应地形高程，G为处灰度值，#ρ为像素总数；
步骤3.2.2、若不提供地形数据，三角形影像置信度为三角形在影像投影范围内各像素梯度和，公式表达为：
Figure GDA0003492128810000061
式中，
Figure GDA0003492128810000062
为梯度幅值；
步骤3.2.3、对于三角形f所属影像多边形组的影像I∈IP(f)，将其置信度归一化至(0,1)，则三角形置信度表示为：
Figure GDA0003492128810000063
式中，N(·)为归一化函数。
步骤3.3，计算能量函数平滑项。平滑项由Potts函数表达，即：
Figure GDA0003492128810000064
式中，li为fi所选的影像标签号，lj为fj所选的影像标签号，[·]表示括号内条件满足时为1，否则为0。
步骤3.4，依据数据项与平滑项构建能量函数，并基于图割最优化算法求解，能量函数表达如下：
E(F)＝Edata(F)+Esmooth(F,E)
步骤4，镶嵌线网络生成方法如图3所示，具体步骤如下：
步骤4.1，收集标记为同一影像的三角形组更新三角形邻接关系，根据三角形连通性划分为不同分割区，得到各分割区多边形边界，即为影像镶嵌多边形组；
步骤4.2，记录各影像镶嵌多边形组的边界，输出为镶嵌线网络。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于约束三角网的镶嵌线网络全局优化方法，其特征在于，该方法包括以下步骤：
步骤1、准备输入数据，包括：正射影像、影像无效区域掩膜，以及可选输入的地形数据；
步骤2、对正射影像进行有效边界跟踪，得到有效轮廓多边形；对正射影像内的影像无效区域掩膜进行标记得到无效空洞多边形，进而构建得到边界约束的三角网；
步骤3、判断三角网内各三角形所属的原始影像序号组，对所有有效轮廓多边形对应的有效三角形构建多标签选择的能量函数，基于图割最优化算法求解三角形标签最优解；
步骤4、通过对三角形按照不同标签值进行连通性分析，得到用于生成镶嵌影像的原始正射影像有效轮廓多边形组，记录影像有效镶嵌多边形边缘作为镶嵌线网络输出；
所述步骤4中，镶嵌线网络的具体生成方法为：
步骤4.1、收集标记为同一影像的三角形组更新三角形邻接关系，根据三角形连通性划分为不同分割区，得到各分割区多边形边界，即为影像镶嵌多边形组；
步骤4.2、记录各影像镶嵌多边形组的边界，输出为镶嵌线网络。
2.根据权利要求1所述的基于约束三角网的镶嵌线网络全局优化方法，其特征在于，所述步骤2中，构建边界约束的三角网的具体方法为：
步骤2.1、影像有效边界跟踪，对正射影像去除黑边后的有效边界进行边界跟踪，记录正射影像边界多边形并标记为有效轮廓多边形IV；
步骤2.2、对影像无效区域掩膜，记录其多边形并标记为无效空洞多边形IIV；
步骤2.3、取步骤2.1和2.2中得到的有效轮廓多边形和无效空洞多边形的所有边界线段，构建边界线段约束的二维约束Delaunay三角网：
CDT＝(F,E)
Figure FDA0003596873370000021
i≠j,ei,j＝(fi,fj)
式中，F表示所有三角形，E表示三角网的非边缘边，ei,j表示面片fi、fj的公共边。
3.根据权利要求2所述的基于约束三角网的镶嵌线网络全局优化方法，其特征在于，所述步骤3中，能量函数的构造及求解的具体方法为：
步骤3.1、对三角网中的三角形f∈F，若其中心点在影像轮廓多边形内且不在该影像无效区域内，将该张影像加入其所属影像多边形组IP(f)；若三角形所属影像多边形组为空，则剔除该三角形；
步骤3.2、计算能量数据项，提供地形辅助信息时各三角形置信度反映地形影像一致性，否则反映影像清晰度；如果无地形数据或无需影像质量约束，则跳过此步，能量数据项设为零，不影响最终镶嵌线网络的完整性；
步骤3.3、计算能量函数平滑项，平滑项由Potts函数表达，即：
Figure FDA0003596873370000022
式中，li为fi所选的影像标签号，lj为fj所选的影像标签号，[·]表示括号内条件满足时为1，否则为0；
步骤3.4，依据数据项与平滑项构建能量函数，并基于图割最优化算法求解，能量函数表达如下：
E(F)＝Edata(F)+Esmooth(F,E)
式中，E(F)表示能量函数，Edata(F)表示能量函数数据项，Esmooth(F,E)表示能量函数平滑项。
4.根据权利要求3所述的基于约束三角网的镶嵌线网络全局优化方法，其特征在于，所述步骤3.2中，计算能量数据项的具体方法为：
步骤3.2.1、若提供地形数据，三角形地形影像一致性置信度为三角形在影像投影范围内对应高程与灰度值差值的中误差，公式表达为：
Figure FDA0003596873370000023
式中，φ(f,I)为f在影像I上的投影范围，H为φ(f,I)内像素ρ处对应地形高程，G为处灰度值，#ρ为像素总数；
步骤3.2.2、若不提供地形数据，三角形影像置信度为三角形在影像投影范围内各像素梯度和，公式表达为：
Figure FDA0003596873370000031
式中，
Figure FDA0003596873370000032
为梯度幅值；
步骤3.2.3、对于三角形f所属影像多边形组的影像I∈IP(f)，将其置信度归一化至(0,1)，则三角形置信度表示为：
Figure FDA0003596873370000033
式中，N(·)为归一化函数。
5.根据权利要求1所述的基于约束三角网的镶嵌线网络全局优化方法，其特征在于，所述地形数据包括：DSM数据，即包含地表实际地物的三维模型数据。
CN202010052650.6A 2020-01-17 2020-01-17 一种基于约束三角网的镶嵌线网络全局优化方法 Active CN111311750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052650.6A CN111311750B (zh) 2020-01-17 2020-01-17 一种基于约束三角网的镶嵌线网络全局优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052650.6A CN111311750B (zh) 2020-01-17 2020-01-17 一种基于约束三角网的镶嵌线网络全局优化方法

Publications (2)

Publication Number Publication Date
CN111311750A CN111311750A (zh) 2020-06-19
CN111311750B true CN111311750B (zh) 2022-06-21

Family

ID=71148774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052650.6A Active CN111311750B (zh) 2020-01-17 2020-01-17 一种基于约束三角网的镶嵌线网络全局优化方法

Country Status (1)

Country Link
CN (1) CN111311750B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170685A (zh) * 2022-07-21 2022-10-11 苏州中科天启遥感科技有限公司 一种掩膜引导的影像镶嵌线的生成方法、装置、计算机设备及存储介质
CN116310225A (zh) * 2023-05-16 2023-06-23 山东省国土测绘院 基于三角网融合的osgb模型镶嵌方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970619B2 (en) * 2009-11-24 2015-03-03 Microsoft Technology Licensing, Llc Parallelized generation of substantially seamless image mosaics
CN103500470A (zh) * 2013-09-17 2014-01-08 河海大学 凸组合球面参数化方法及装置
CN104680501B (zh) * 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
CN103761765B (zh) * 2013-12-25 2017-12-19 浙江慧谷信息技术有限公司 基于映射边界优化的三维物体模型纹理映射方法
CN103700060B (zh) * 2013-12-26 2016-09-21 北京大学 一种海量任意形状多边形的快速可视化方法
CN106815807B (zh) * 2017-01-11 2018-02-06 重庆市地理信息中心 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法
CN108648270B (zh) * 2018-05-12 2022-04-19 西北工业大学 实时同步定位与地图构建的无人机实时三维场景重建方法
CN108961286B (zh) * 2018-06-27 2021-11-16 武汉大学 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法
CN109035140A (zh) * 2018-07-06 2018-12-18 航天星图科技（北京）有限公司 一种大规模遥感数据镶嵌分幅方法
CN109493282A (zh) * 2018-11-21 2019-03-19 清华大学深圳研究生院 一种消除运动重影的立体图像拼接方法
CN110443774A (zh) * 2019-07-05 2019-11-12 中国地质大学（武汉） 一种城区正射影像镶嵌处理方法及系统

Also Published As

Publication number Publication date
CN111311750A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN106780524B (zh) 一种三维点云道路边界自动提取方法
CN107025685B (zh) 拓扑感知下的机载建筑屋顶点云建模方法
Trotter Remotely-sensed data as an information source for geographical information systems in natural resource management a review
CN104952107A (zh) 基于车载LiDAR点云数据的桥梁三维重建方法
CN108734728A (zh) 一种基于高分辨序列图像的空间目标三维重构方法
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
CN106600622A (zh) 一种基于超体素的点云数据分割方法
CN111311750B (zh) 一种基于约束三角网的镶嵌线网络全局优化方法
Xu et al. Skeletal camera network embedded structure-from-motion for 3D scene reconstruction from UAV images
CN111047695A (zh) 一种城市群高度空间信息及等高线的提取方法
CN111652241B (zh) 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
CN111881816A (zh) 一种长时序的河湖围埂养殖区域监测方法
CN115564926A (zh) 基于影像建筑物结构学习的三维面片模型构建方法
CN112861669B (zh) 地表坡向约束的高分辨率dem地形特征增强提取方法
CN111814715A (zh) 一种地物分类方法及装置
CN115631317B (zh) 隧道衬砌正射影像生成方法及装置、存储介质、终端
Yuan et al. Fully automatic DOM generation method based on optical flow field dense image matching
CN115984721A (zh) 基于倾斜摄影和图像识别技术实现乡村风貌管理的方法
Hu et al. Reconstruction of 3D models from point clouds with hybrid representation
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统
CN113627331A (zh) 一种基于扩展道路形状指数的高分辨率影像道路提取方法
CN113822914A (zh) 倾斜摄影测量模型单体化方法、计算机装置及产品、介质
Yang et al. Anamap: A methodology of simulation and visualization for actual farmland topography
Ye et al. Gaussian mixture model of ground filtering based on hierarchical curvature constraints for airborne lidar point clouds
Ballouch et al. Semantic segmentation of airborne LiDAR data for the development of an urban 3D model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant