CN115496908A

CN115496908A - 一种高层建筑倾斜摄影模型自动分层方法及系统

Info

Publication number: CN115496908A
Application number: CN202211274533.XA
Authority: CN
Inventors: 刘天清; 寇媛; 田永雨; 安冠星; 申永伟; 邹明普; 王军军; 张久飞; 龚雨; 罗海玲
Original assignee: First Surveying And Mapping Institute Of Hunan Province
Current assignee: First Surveying And Mapping Institute Of Hunan Province
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2022-12-20

Abstract

本发明公开了一种高层建筑倾斜摄影模型自动分层方法及系统，所述方法先从倾斜摄影影像中检测得到窗户关键点，提取窗户轮廓线；构建三维模型生成连接点；提取轮廓线内连接点，使用拟合算法得到轮廓线平面；将连接点投影到所述轮廓线平面得到投影后的坐标，建立倾斜摄影原始影像像素点与轮廓线平面投影点的转换关系，利用转换关系将窗户关键点的坐标换算到三维模型空间，将换算后窗户关键点的重心坐标记为窗户中心点；通过均值聚类方法获取同层的窗户中心点并建立分层面；拟合房屋分层面，进行数据切割，完成自动分层。本方法可以从高层建筑倾斜摄影模型中提取分层面对人工建筑物进行自动分层，解决了房屋进行分层时工作效率低的问题。

Description

一种高层建筑倾斜摄影模型自动分层方法及系统

技术领域

本发明属于实景三维中国建设领域，尤其涉及一种高层建筑倾斜摄影模型自动分层方法及系统。

背景技术

实景三维是对人类生产、生活和生态空间进行真实、立体、时序化反映和表达的数字虚拟空间，是新型基础测绘标准化产品，是国家新型基础设施建设的重要组成部分，为经济社会发展和各部门信息化提供统一的空间基底。实景三维按照表达内容通常分为地形级、城市级、部件级。

倾斜摄影技术通过从不同的视角同步采集影像，获取到丰富的建筑物顶面及侧视的高分辨率纹理，结合先进的定位、融合、建模等技术，生成真实的三维城市模型。它不仅能够真实地反映地物情况，而且能够获取建筑物物侧方纹理信息。

在实景三维中国建设中，三维不动产是基础地理实体数据库的重要组成部门，三维不动产数据库建设过程中，由于历史原因，没有准确的高程信息，就需要从倾斜摄影模型中提取高程信息，其中，自动化提取分层面是实现三维不动产数据库建设的关键步骤。

目前人工建筑物分层面的提取，主要依靠人眼识别倾斜摄影模型中房屋的分层信息，并通过逐个标绘的方式生成房屋的分层面，但是此方法需要大量人力物力。

发明内容

本发明为了解决上述问题，本发明提出了一种高层建筑倾斜摄影模型自动分层方法，可以解决房屋进行分层时工作效率低的问题。所述方法如下：

基于卷积神经网络对从倾斜摄影所得原始影像进行检测，得到原始图像中所有窗户关键点，并提取所有窗户的轮廓线；

构建倾斜摄影三维模型，生成连接点，所述连接点用于记录三维模型空间中某点坐标值与所述原始影像中同名点影像坐标的关联关系；

从原始映像中提取所有窗户轮廓线内的连接点，使用拟合算法对所有窗户轮廓线内的连接点进行拟合，得到轮廓线平面；

将连接点投影到所述轮廓线平面，获取其投影后的坐标，建立倾斜摄影原始影像像素点与轮廓线平面投影点的转换关系，利用所述转换关系将所述窗户关键点的坐标换算到三维模型空间，将换算后每个窗户关键点的重心坐标记为窗户中心点；

根据高程信息，通过均值聚类方法获取同层的窗户中心点并建立分层面；

根据各分层面高程值做z轴的垂直平面得到倾斜模型分层面，将夹在两个倾斜模型分层面之间的数据进行切割实现自动化分层。

进一步的，所述基于卷积神经网络对从倾斜摄影所得原始影像进行检测，得到原始图像中所有窗户关键点，具体为：

首先，利用标定程序将原始影像中每个窗户的四个角点进行标注，分别记录每个窗户的四个角点坐标并根据整张影像的大小换算为以宽度高度为底的比例值；

然后，基于卷积神经网络构建窗户四角点检测模型；

最后，将从倾斜摄影所得原始影像输入四角点检测模型，得到所有窗户四个角点坐标。

进一步的，所述卷积神经网络的主干网络采用经典的卷积结构加全连接层，输出层使用全连接层。

进一步的，所述拟合算法采用RANSAC算法。

进一步的，所述转换关系为：

其中，X_A，Y_A，Z_A为表示连接点转换后轮廓线平面上对应的坐标；f，γ分别为原始影像的内方位元素摄影焦距与比例因子；x，y 为原始影像像点的像平面坐标； X_S，Y_S，Z_S为摄站点的物方空间坐标；a_i，b_i，c_i（i=1,2,3）为原始影像的3个外方位角元素组成的9个方向余弦。

进一步的，均值聚类计算过程如下：

设定窗户中心点分类阈值，将z坐标的最大值与最小值按照所述分类阈值的间隔进行划分，得到以分类阈值为间距的分类质心；

计算坐标点到每个质心的距离，离哪个质心近就归类为哪个质心所属的集合，对全部窗户中心点进行归类；

重新计算归类后每个集合的分类质心；

如果重新计算出来的质心与原质心之间的距离小于分类阈值，则认为达到收敛状态，聚类完成；

如果新质心与原质心距离变化较大，超过分类阈值，则利用新质心重复上述步骤至收敛状态。

本发明还提出一种高层建筑倾斜摄影模型自动分层系统，所述系统包括：

提取轮廓线模块，基于卷积神经网络对从倾斜摄影所得原始影像进行检测，得到原始图像中所有窗户关键点，并提取所有窗户的轮廓线；

获取轮廓线平面模块，构建倾斜摄影三维模型，生成连接点，所述连接点用于记录三维模型空间中某点坐标值与所述原始影像中同名点影像坐标的关联关系，从原始影像中提取所有窗户轮廓线内的连接点，使用拟合算法对所有窗户轮廓线内的连接点进行拟合，得到轮廓线平面；

获取窗户中心点模块，将连接点投影到所述轮廓线平面，获取其投影后的坐标，建立倾斜摄影原始影像像素点与轮廓线平面投影点的转换关系，利用所述转换关系将所述窗户关键点的坐标换算到三维模型空间，将换算后每个窗户关键点的重心坐标记为窗户中心点；

自动分层模块，根据高程信息，通过均值聚类方法获取同层的窗户中心点并建立分层面，根据各分层面高程值做z轴的垂直平面得到倾斜模型分层面，将夹在两个倾斜模型分层面之间的数据进行切割实现自动化分层。

本方法提出的一种高层建筑倾斜摄影模型自动分层方法，可以从高层建筑倾斜摄影模型中提取分层面对人工建筑物进行自动分层，有效解决了房屋进行分层时工作效率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为一种高层建筑倾斜摄影模型自动分层方法框图。

图2为提取的房屋窗户轮廓线图。

图3为连接点示例图。

图4为连接点信息图。

图5为RANSAC平面拟合算法结果示例图。

图6为窗户分层切割面拟合图。

图7为Z轴分层面切割实景三维效果展示图。

图8为一种高层建筑倾斜摄影模型自动分层系统框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。

本实施例中，演示了一种高层建筑倾斜摄影模型自动分层方法，系统框图如图1所示，所述方法包括以下步骤：

第一步，基于卷积神经网络对从倾斜摄影所得原始影像进行检测，得到原始图像中所有窗户关键点，并提取所有窗户的轮廓线。

图2中（a）为原始倾斜影像，（b）为窗户轮廓线图像，其中标注的黄色多边形为从倾斜摄影原始影像中提取的窗户轮廓。

原始影像中的窗户轮廓提取使用基于机器学习中的关键点检测技术，主要工作包括三部分：原始图像窗户位置关键点（即角点）标定、模型训练、模型应用。具体内容如下：

原始图像标定：利用标定程序将原始图像中窗户的四个角点进行标注，形成一个不规则的窗户标定四边形，分别记录四边形的四个角点坐标并根据整张图像的大小换算为以宽度高度为底的比例值。

模型训练：采用常用的CNN网络结构组建窗户四角点检测模型：主干网络采用经典的卷积结构加全连接层，输出层使用全连接层构建基于4个坐标点的8个坐标（x,y坐标）输出值，网络结构如下：

a、将模型输入图像尺寸进行重采样（重采样尺寸为416x416）；

b、由输出为窗户框的四个坐标点，每个坐标点包含xy两个坐标，将模型输出部分的全连接层调整为8个输出参数，分别表示左上角、右上角、右下角、左下角的坐标值；

c、将标注后的源图像送入模型，采用误差反向传播原理对模型进行训练并保存为pb格式的模型结构。

模型应用：采用开源的opencv4开源库加载训练好的pb格式的模型，使用时输入倾斜摄影原始图像后由程序输出检测到的窗户四个角点坐标。

第二步，利用现有的倾斜摄影建模技术，构建倾斜摄影三维模型，生成连接点，所述连接点用于记录三维模型空间中某点坐标值与所述原始影像中同名点影像坐标的关联关系。

所述连接点为高密度连接点，其密度应不小于30个/㎡，图3为连接点示例图，图4为连接点信息图。

第三步，从原始影像中提取所有窗户轮廓线内的连接点，使用拟合算法对所有窗户轮廓线内的连接点进行拟合，得到轮廓线平面。

若连接点个数小于3个，则无法确定窗户轮廓线所在的平面，本轮廓线舍弃，不参与后续计算。当连接点大于3个，采用RANSAC算法拟合出窗户轮廓线所在的平面，计算轮廓线所在平面的平面方程Ax+By+Cz+D = 0。测试数据中连接点远大于3，因此采用RANSAC算法拟合窗体平面，其中最大迭代次数选择100，阈值选择为10，拟合结果如下：

步骤（3）从原始影像中提取窗户轮廓线内的所有连接点，若连接点个数小于3个，则无法确定窗户轮廓线所在的平面，本轮廓线舍弃，不参与后续计算。当连接点大于3个，采用RANSAC算法拟合出窗户轮廓线所在的平面，计算轮廓线所在平面的平面方程。图5为RANSAC平面拟合算法结果示例图，主要流程如下：

a、确定最大迭代次数n=100。

b、在当前迭代次数i内做如下操作：

1）从抽取的点集中随机抽取三个点组成平面；

2）求平面方程Ax+By+Cz+D=0中的四个参数ABCD，组建平面方程；

3）求其余的所有点到平面的距离值d；

4）依据阈值threshold（取点云采样距离）对点到平面的距离d进行筛选，当d<threshold时认为该点在窗户平面内，计数器加1；

5）对比本次计数器与上次计数器结果，当本次计数器值较大时认为拟合的平面较上次拟合的平面更好，认为是迭代到目前最好的平面予以保留，否则使用之前提取好的平面进行下一次计算。

c、迭代结束后输出拟合最好的平面方程。

第四步，将连接点投影到拟合好的轮廓线平面，获取其投影后的坐标。建立倾斜摄影原始影像像素点与轮廓线平面投影点（即在三维空间点的同名点）的转换关系，利用该转换关系将检测到的倾斜影像窗户关键点坐标换算到三维模型空间，将换算后关键点的重心坐标记为窗户中心点。

首先，计算连接点在轮廓平面的投影点，计算公式如下：

其中A，B，C，D分别表示第三步中拟合得到的平面方程的参数，x_0，y_0，z₀表示原始坐标，X_A，Y_A，Z_A为连接点投影到轮廓线平面的坐标。

其次，建立倾斜摄影与三维空间中投影到轮廓面上的的同名点坐标转换关系：

其中，x，y为原始影像像点的像平面坐标；

f，γ为原始影像的内方位元素摄影焦距与比例因子；

X_S，Y_S，Z_S为摄站点的物方空间坐标；

a_i，b_i，c_i（i = 1,2,3）为影像的3个外方位角元素组成的9个方向余弦。

像平面坐标系是以主点为原点的右手平面坐标系，用o-xy表示，用来表示像点在像片上的位置，但在实际应用中，常采用框标连线交点为原点的右手平面坐标系P-XY，称其为框标平面坐标系。像平面坐标系o-xy是以影像几何中心o为原点，x、y轴方向分别为平行于影像画幅边缘线的坐标系，是一个二维坐标系。像空间坐标系用于描述像点、投影中心的空间位置，像空间坐标系的原点为图像的投影中心S，坐标的正z轴为摄影方向的反方向，与oS重合。通过点S作平行于像片上x、y轴的轴线即为像空间坐标系的x、y轴，与z轴组成一个像空间直角坐标系S-xyz。在这个坐标系中每一个像点的z坐标都等于摄影主距f₀（当没有特别提出要求时，一般就用摄影焦距f代替），但符号为负。

利用以上公式计算得到了窗户轮廓线的四个角点（从左上角顺时针排列）坐标为：

表1 轮廓点四角坐标示例

点名	X坐标	Y坐标	Z坐标
				P1（x<sub>1</sub>，y<sub>1</sub>，z<sub>1</sub>）	355160.73	2977578.78	104.56
P2（x<sub>2</sub>，y<sub>2</sub>，z<sub>2</sub>）	355163.36	2977578.77	104.49
				P3（x<sub>3</sub>，y<sub>3</sub>，z<sub>3</sub>）	355161.43	2977578.86	101.32
P4（x<sub>4</sub>，y<sub>4</sub>，z<sub>4</sub>）	355163.94	2977578.77	101.65

最后，利用重心计算公式计算重心点坐标，计算公式为：

X=(x₁+x₂+x₃+x₄)/4

Y=(y₁+y₂+y₃+y₄)/4

Z=(z₁+z₂+z₃+z₄)/4

计算后重心坐标为（355162.365，2977578.80，103.00）重复上述过程完成所有窗体的重心坐标即中心坐标。

第五步，根据高程信息，通过均值聚类方法获取同层的窗户中心点并建立分层面。

窗户中心点坐标样例如表2所示。

表2 中点坐标示例

点名	X坐标	Y坐标	Z坐标
				Pcen1	355162.36	2977578.80	103.00
Pcen2	355163.50	2977578.80	103.21
				Pcen3	355164.95	2977578.78	102.98
Pcen4	355165.79	2977579.05	103.55

均值聚类计算过程如下：

1）设定中心点分类阈值为0.2m，将z坐标的最大值与最小值按照0.2的间隔进行划分，得到以0.2为间距的分类质心。

2）计算所有坐标点到每个质心的距离，离哪个质心近就归类为哪个质心所属的集合，对全部中心点进行归类。

3)重新计算归类后每个集合的分类质心。

4)如果重新计算出来的质心与原质心之间的距离小于阈值0.2m，则认为达到收敛状态，聚类完成。

5)如果新质心与原质心距离变化较大，超过阈值0.2m，则利用新质心重复2-4步至收敛状态。

利用均值聚类算法得到的窗户中心点分层面如图6所示。

第六步，根据各分层面高程值做z轴的垂直平面得到倾斜模型分层面，将夹在两个倾斜模型分层面之间的数据进行切割实现自动化分层。

相邻两层窗户分层面的中间位置即为房屋上下两层楼层进行分层的分层面。根据各分层面高程值做z轴的垂直平面即为倾斜模型的分层面，利用分层面信息将夹在两层之间的数据进行切割即实现自动化分层的目的，Z轴分层面切割实景三维效果展示如图7所示。

图8还演示了一种高层建筑倾斜摄影模型自动分层系统，所述系统包括：

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种高层建筑倾斜摄影模型自动分层方法，其特征在于，所述方法包括：

从原始影像中提取所有窗户轮廓线内的连接点，使用拟合算法对所有窗户轮廓线内的连接点进行拟合，得到轮廓线平面；

2.如权利要求1所述的自动分层方法，其特征在于，所述基于卷积神经网络对从倾斜摄影所得原始影像进行检测，得到原始图像中所有窗户关键点，具体为：

然后，基于卷积神经网络构建窗户四角点检测模型；

3.如权利要求2所述的自动分层方法，其特征在于，所述卷积神经网络的主干网络采用经典的卷积结构加全连接层，输出层使用全连接层。

4.如权利要求1所述的自动分层方法，其特征在于，所述拟合算法采用RANSAC算法。

5.如权利要求1所述的自动分层方法，其特征在于，所述转换关系为：

其中，X_A，Y_A，Z_A为表示连接点转换后轮廓线平面上对应的坐标； f，γ分别为原始影像的内方位元素摄影焦距与比例因子；x，y 为原始影像像点的像平面坐标；X_S，Y_S，Z_S为摄站点的物方空间坐标；a_i，b_i，c_i（i=1,2,3）为原始影像的3个外方位角元素组成的9个方向余弦。

6.如权利要求1所述的自动分层方法，其特征在于，均值聚类计算过程如下：

重新计算归类后每个集合的分类质心；

7.一种高层建筑倾斜摄影模型自动分层系统，其特征在于，所述系统包括：