CN101329771B - 一种基于图像序列的城市街区的快速建模方法 - Google Patents

一种基于图像序列的城市街区的快速建模方法 Download PDF

Info

Publication number
CN101329771B
CN101329771B CN2008100632720A CN200810063272A CN101329771B CN 101329771 B CN101329771 B CN 101329771B CN 2008100632720 A CN2008100632720 A CN 2008100632720A CN 200810063272 A CN200810063272 A CN 200810063272A CN 101329771 B CN101329771 B CN 101329771B
Authority
CN
China
Prior art keywords
buildings
side elevation
horizontal wheels
line segment
wheels profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100632720A
Other languages
English (en)
Other versions
CN101329771A (zh
Inventor
华炜
鲍虎军
张艺江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN2008100632720A priority Critical patent/CN101329771B/zh
Publication of CN101329771A publication Critical patent/CN101329771A/zh
Application granted granted Critical
Publication of CN101329771B publication Critical patent/CN101329771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于图像序列的城市街区的快速建模方法，包括六个步骤：首先，从航拍图像或城市规划图顶视图上抽取建筑物水平轮廓信息；同时利用摄像机获取建筑物侧立面图像序列并记录每个拍摄时刻摄像机位置、镜头朝向，其次确定建筑物水平轮廓线线段和建筑物侧立面图像序列之间的对应；然后利用侧立面图像序列生成建筑物侧立面正射影像图，接着在正射影像图上确定侧立面轮廓线、计算建筑物侧立面高度，最后综合建筑物水平轮廓线和侧立面轮廓线的几何、纹理信息得到完整三维模型。本发明针对现有技术的不足，提出结合顶视图和建筑物侧立面图像序列的城市建模方法，本方法不需要特殊昂贵的硬件设备，且交互方式简单，数据采集方式也极其方便。

Description

一种基于图像序列的城市街区的快速建模方法
技术领域
本发明涉及一般基于图像/视频数据三维重构的方法，尤其是涉及一种基于图像序列的城市街区的快速建模方法。
背景技术
当前通用的城市三维建模理论和方法：
1、人工交互式建模：利用3ds max等建模工具构建建筑物的几何模型，并利用Photoshop等图像处理工具对采集来的纹理数据进行编辑得到理想的纹理。该方法仍然是当前最可靠最实用的城市建模方式，但费时费力，效率不高。
2、摄影测量法，如商业软件Photomodeler等，从各个方向对目标物体进行拍摄，并在不同视点图像上选取确定对应的点、线等信息，而后利用摄影测量学原理获取目标物体的三维模型。该方法仍然需要大量的交互。
3、利用硬件设备同时获取建筑物几何和纹理的方法：通过雷达或激光扫描仪获取建筑物的三维信息，同时利用相机获得建筑物侧立面纹理，参见Jinhui Hu，Suya You，Ulrich Neumann.Integrating LiDAR，Aerial Image and Ground Images forComplete Urban Building Modeling.3DPVT 2006：184-191和A.Zakhor and C.Frueh，″Automatic 3D Modeling of Cities with Multimodal Air and Ground Sensors″in Multimodal Surveillance，Sensors，Algorithms and Systems，Z.Zhu and T.S.Huang，Editors，Artech House，2007，Chapter 15，pp.339-362。该方法能够得到精确的模型，但采集设备比较复杂，造价高。
4、基于计算机视觉的三维重建法方：如Marc Pollefeys，David Nistér等人的Detailed Real-Time Urban 3D Reconstruction from Video.International Journal ofComputer Vision 78(2-3)：143-167(2008)，能够自动得到建筑物精细的三维模型，但模型面片过多，不利于大规模城市场景的绘制。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于图像序列的城市街区的快速建模方法，结合建筑物顶视图(航拍图、Google earth图像、城市规划图等)和建筑物侧立面图像序列的城市建模方法，该方法成本低，交互便捷，对于大部分目标建筑都能获得满足大规模场景绘制需求的三维模型。
为了达到上述目的，本发明采用的技术方案的步骤如下：
a)从航拍图像或城市规划图顶视图上抽取建筑物的水平轮廓线，记录每个水平轮廓线线段上每个顶点的经度、纬度；
b)利用安装固定在移动平台上的固定焦距的摄像机对建筑物侧立面进行连续拍摄同时记录下每个拍摄时刻摄像机位置、镜头朝向；
c)对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列，这个对应图像序列完全包括了水平轮廓线线段对应的建筑物侧立面的信息；
d)对于每个建筑物水平轮廓线上的每一条线段，利用对应图像序列生成该水平轮廓线线段所对应的建筑物侧立面的正射影像图；
e)在对应于水平轮廓线每条线段的建筑物侧立面的正射影像图上，抽取出建筑物的侧立面轮廓线，确定侧立面轮廓线上每顶点的经度、纬度，估计侧立面轮廓线上每个顶点的高度，同时保存每一个顶点在正射影像图上的象素位置坐标；
f)将每个建筑物的所有侧立面轮廓线和水平轮廓线的顶点进行连接，形成三维的多边形网格模型，并且模型的每一个表示建筑物侧立面的多边形都有该建筑物立面的正射影像图作为纹理。
所述步骤c)中，对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列的方法，利用步骤b)中获得的每张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向，结合摄像机固定的水平张角和估计的景深，确定出每个拍摄时刻摄像机的水平取景范围，同时建筑物水平轮廓线线段端点的经度、纬度信息已知，从所有侧立面图像序列中筛选出水平取景范围包含或部分包含建筑物水平轮廓线线段的侧立面图像，得到该建筑物水平轮廓线线段对应的图像序列。
所述估计侧立面轮廓线上每个顶点的高度，在侧立面正射影像图上，选取侧立面轮廓线上两个顶点，这两个顶点就是该立面所对应的水平轮廓线线段上的两个端点，计算这两个顶点的象素水平距离，同时根据它们的经度、纬度差计算出它们在地球坐标系上的球面距离，计算球面距离与象素距离的比值，得到图像上每个象素代表的球面距离，以侧立面轮廓线的最低点为高度零点，计算每个顶点的象素高度，再乘以每象素代表的球面距离，得到顶点在地球坐标系上的高度。
本发明与背景技术相比，具有的有益效果是：
本发明针对以往城市建模中制作方法昂贵，交互复杂，耗时耗力，模型面片过多的缺点，提出了一种针对一般城市建筑的一种基于图像序列的城市建模新思路。本方法不需要特殊昂贵的硬件设备，且交互方式简单，数据采集方式也极其方便。
附图说明
图1是本发明的方法的六步骤的流程图。
图2是本发明应用的某个具体例子图。
具体实施方式
下面结合图示附图和实施例对本发明作进一步说明。
本发明提出了一种高效快速的城市建模的方法，包括六步骤：首先，从航拍图像或城市规划图等顶视图上抽取建筑物水平轮廓信息；同时利用摄像机获取建筑物侧立面图像序列并记录每个拍摄时刻摄像机位置、镜头朝向，其次确定建筑物水平轮廓线线段和建筑物侧立面图像序列之间的对应；然后利用侧立面图像序列生成建筑物侧立面正射影像图，接着在正射影像图上确定侧立面轮廓线、计算建筑物侧立面高度，最后综合建筑物水平轮廓线和侧立面轮廓线的几何、纹理信息得到完整三维模型。
具体流程如图1所示，现具体介绍每一步的实现细节：
1、利用Canny边缘检测和Hough变换对顶视图进行预处理，得到初始的建筑物轮廓，然后对结果不理想的部分交互修正，得到闭合的轮廓线(如图2(a)的“L”形多边形，它表示的是某个建筑物的水平轮廓线)。记录每个轮廓线的顶点经纬度，这些轮廓线位置与距离信息将完全确定三维建筑模型的绝对位置、水平结构，并且某些线段长度还将用来计算建筑物侧立面的高度。
2、利用安装固定在移动平台上的固定焦距的摄像机对建筑物侧立面进行连续拍摄同时记录下每个拍摄时刻摄像机位置、镜头朝向。利用移动平台上的摄像机对建筑物侧立面进行连续拍照，并利用全球定位装置对每一张图像拍摄时刻的摄像机位置进行测量，记录摄像机中心点的经度、纬度。同时，根据摄像机固定安装在移动平台上的位置关系，以及移动平台运动方向，计算得到在每一张图像拍摄时刻的摄像机镜头中轴线的方向。
3、从所有立面图像序列中筛选出水平取景范围包含或部分包含建筑物水平轮廓线线段的图像，得到该建筑物水平轮廓线线段对应的图像序列(如图2(b)的四张侧立面图像就是水平轮廓线中的线段PQ对应的图像序列)。
4、获取建筑物侧立面的正射影像图。将建筑物水平轮廓线线段沿地面法向拉伸得到一个垂直于地面的平面，以该平面为投影平面，将对应图像序列的各张图像沿摄像机视点投影到该投影平面，投影后得到的图像会有重叠区域，对这些重叠的区域，像素取值为该位置各图像像素的中值。这样我们就可以将投影后的图像进行合并，得到一张完整的建筑物侧立面的正射影像图(如图2(c)就是由2(b)的四张侧立面图像序列得到的正射影像图)。
5、在对应于水平轮廓线线段的建筑物侧立面的正射影像图上，抽取出建筑物的侧立面轮廓线，确定侧立面轮廓线上每个顶点的经度、纬度，并计算侧立面轮廓线上每个顶点的高度(如图2(d)表示的是从图2(c)正射影像图中抽取的侧立面轮廓线，其中顶点p、q分别和图2(a)水平轮廓线的顶点P、Q对应，p、q两点的经纬度分别取为P、Q的经纬度值，侧立面轮廓线上的其他顶点的经纬度通过线性插值得到)。因为我们的建筑物侧立面纹理拼接是考虑到真实场景的几何结构的，所以我们有如下的高度计算方法：选取轮廓线上两个顶点(如图2(d)中的p、q两点)，这两个顶点在水平轮廓线上存在对应端点。计算这两个顶点的象素水平距离，以象素为单位。同时根据它们的经度、纬度差计算出它们在地球坐标系上的球面距离，以米为单位。计算球面距离与象素距离的比值，得到图像上每象素代表的球面距离。以侧立面轮廓线的最低点为高度零点，计算每个顶点的象素高度，再乘以每象素代表的球面距离，得到顶点在地球坐标系上的高度。同时还保存每一个顶点在正射影像图上的象素位置坐标，称为该顶点的纹理坐标。
6、构造三维模型。因为建筑物侧立面是垂直于建筑物的水平轮廓线所在平面的，以建筑物水平轮廓线所在平面为底面，将建筑物各侧立面的多边形轮廓线拼接合并到对应的水平轮廓线线段上(如图2(d)侧立面轮廓线中的线段pq和图2(a)中水平轮廓线的线段PQ合并为一条线段)，且保持侧立面轮廓线所在平面垂直于底面，同时根据步骤5保存的侧立面轮廓线顶点像素坐标将对应的正射影像图映射到侧立面轮廓线确定的多边形上。这样每个建筑物侧立面都有正射影像图作为纹理。最后将各侧立面轮廓线的上边缘连接得到空间多边形并将其三角网格化，得到建筑物的顶面网格。

Claims (2)

1.一种基于图像序列的城市街区的快速建模方法，其特征在于包括以下步骤：
a)从航拍图像或城市规划图顶视图上抽取建筑物的水平轮廓线，记录每个水平轮廓线线段上每个顶点的经度、纬度；
b)利用安装固定在移动平台上的固定焦距的摄像机对建筑物侧立面进行连续拍摄同时记录下每个拍摄时刻摄像机位置、镜头朝向；
c)对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列，这个对应图像序列完全包括了水平轮廓线线段对应的建筑物侧立面的信息；
所述对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列的方法为：利用步骤b)中获得的每张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向，结合摄像机固定的水平张角和估计的景深，确定出每个拍摄时刻摄像机的水平取景范围，同时建筑物水平轮廓线线段端点的经度、纬度信息已知，从所有侧立面图像序列中筛选出水平取景范围包含或部分包含建筑物水平轮廓线线段的侧立面图像，得到该建筑物水平轮廓线线段对应的图像序列；
d)对于每个建筑物水平轮廓线上的每一条线段，利用对应图像序列生成该水平轮廓线线段所对应的建筑物侧立面的正射影像图；
e)在对应于水平轮廓线每条线段的建筑物侧立面的正射影像图上，抽取出建筑物的侧立面轮廓线，确定侧立面轮廓线上每顶点的经度、纬度，估计侧立面轮廓线上每个顶点的高度，同时保存每一个顶点在正射影像图上的象素位置坐标；
f)将每个建筑物的所有侧立面轮廓线和水平轮廓线的顶点进行连接，形成三维的多边形网格模型，并且模型的每一个表示建筑物侧立面的多边形都有该建筑物立面的正射影像图作为纹理。
2.根据权利要求1所述的一种基于图像序列的城市街区的快速建模方法，其特征在于：所述估计侧立面轮廓线上每个顶点的高度的方法为：在侧立面正射影像图上，选取侧立面轮廓线上两个顶点，这两个顶点就是该立面所对应的水平轮廓线线段上的两个端点，计算这两个顶点的象素水平距离，同时根据它们的经度、纬度差计算出它们在地球坐标系上的球面距离，计算球面距离与象素距离的比值，得到图像上每个象素代表的球面距离，以侧立面轮廓线的最低点为高度零点，计算每个顶点的象素高度，再乘以每象素代表的球面距离，得到顶点在地球坐标系上的高度。
CN2008100632720A 2008-07-29 2008-07-29 一种基于图像序列的城市街区的快速建模方法 Expired - Fee Related CN101329771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100632720A CN101329771B (zh) 2008-07-29 2008-07-29 一种基于图像序列的城市街区的快速建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100632720A CN101329771B (zh) 2008-07-29 2008-07-29 一种基于图像序列的城市街区的快速建模方法

Publications (2)

Publication Number Publication Date
CN101329771A CN101329771A (zh) 2008-12-24
CN101329771B true CN101329771B (zh) 2010-06-02

Family

ID=40205566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100632720A Expired - Fee Related CN101329771B (zh) 2008-07-29 2008-07-29 一种基于图像序列的城市街区的快速建模方法

Country Status (1)

Country Link
CN (1) CN101329771B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798965B2 (en) 2009-02-06 2014-08-05 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
CN102506830B (zh) * 2011-11-21 2014-03-12 奇瑞汽车股份有限公司 视觉定位方法及装置
CN103258472B (zh) * 2012-02-16 2015-10-21 北京四维图新科技股份有限公司 电子地图的处理方法和装置、服务器以及系统
CN103198494B (zh) * 2013-04-03 2016-05-11 武汉海达数云技术有限公司 一种基于建筑外轮廓线及激光点云的建筑立面提取方法
CN103363958A (zh) * 2013-07-05 2013-10-23 武汉华宇世纪科技发展有限公司 基于数字近景摄影测量的街道房屋立面图绘制方法
CN103544728B (zh) * 2013-08-23 2016-03-30 武汉海达数云技术有限公司 一种在实景地图中基于法向量的被探面过滤方法
CN106296816B (zh) * 2016-08-01 2019-03-26 清华大学深圳研究生院 用于三维模型重建的无人机路径确定方法及装置
CN107270870B (zh) * 2017-04-27 2019-08-27 航天建筑设计研究院有限公司 一种多曲弯扭异形结构楼体外轮廓数据采集方法
CN107830800B (zh) * 2017-10-26 2019-11-12 首都师范大学 一种基于车载扫描系统生成精细立面图的方法
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
CN109543661A (zh) * 2018-12-28 2019-03-29 北京隆恩智慧科技有限公司 基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法
CN109871761A (zh) * 2019-01-16 2019-06-11 中德（珠海）人工智能研究院有限公司 一种三维模型的识别系统
CN110400256B (zh) * 2019-03-14 2020-06-02 西安高新建设监理有限责任公司 基于信号检测的建筑管控系统
CN110108257B (zh) * 2019-05-20 2021-05-14 苏州中飞遥感技术服务有限公司 一种基于无人机航拍影像和静态规划图相匹配的展示方法
CN113538686B (zh) * 2021-09-15 2021-12-17 深圳市华付信息技术有限公司 区域建筑物3d建模方法、装置、设备及存储介质
CN115063553B (zh) * 2022-07-01 2024-03-19 浙江合信地理信息技术有限公司 一种建筑物轮廓线提取建模系统及其建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539120A (zh) * 2001-06-20 2004-10-20 ���ڹɷ����޹�˾ 三维电子地图数据的生成方法
CN1664884A (zh) * 2005-03-02 2005-09-07 西安四维航测遥感中心 城区三维可视与可量测立体地形图制作方法
CN1838176A (zh) * 2006-04-06 2006-09-27 胡小云 城区三维动态游走网络地图制作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539120A (zh) * 2001-06-20 2004-10-20 ���ڹɷ����޹�˾ 三维电子地图数据的生成方法
CN1664884A (zh) * 2005-03-02 2005-09-07 西安四维航测遥感中心 城区三维可视与可量测立体地形图制作方法
CN1838176A (zh) * 2006-04-06 2006-09-27 胡小云 城区三维动态游走网络地图制作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘波.大规模城市场景的高效建模及其实时绘制研究.中国优秀硕士学位论文全文数据库(信息科技辑)2008年 7.2008,2008年(7),I138-604.
刘波.大规模城市场景的高效建模及其实时绘制研究.中国优秀硕士学位论文全文数据库(信息科技辑)2008年 7.2008,2008年(7),I138-604. *

Also Published As

Publication number Publication date
CN101329771A (zh) 2008-12-24

Similar Documents

Publication Publication Date Title
CN101329771B (zh) 一种基于图像序列的城市街区的快速建模方法
Zhao et al. Reconstructing a textured CAD model of an urban environment using vehicle-borne laser range scanners and line cameras
Frueh et al. Constructing 3D city models by merging ground-based and airborne views
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
Fruh et al. Constructing 3D city models by merging aerial and ground views
US7509241B2 (en) Method and apparatus for automatically generating a site model
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
Zhao et al. Reconstructing textured CAD model of urban environment using vehicle-borne laser range scanners and line cameras
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
CN113936108A (zh) 一种针对建筑立面精细建模的无人机拍摄及重建方法和装置
Fruh et al. Fast 3D model generation in urban environments
WO2020192355A1 (zh) 一种城市观山可视域的测量方法及系统
CN103971404A (zh) 一种高性价比的3d实景复制装置
CN104361628A (zh) 一种基于航空倾斜摄影测量的三维实景建模系统
CN111260777A (zh) 一种基于倾斜摄影测量技术的建筑信息模型重构的方法
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
Nex et al. Building footprints extraction from oblique imagery
CN114549956A (zh) 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
Pan et al. Virtual-real fusion with dynamic scene from videos
CN114972672A (zh) 输电线路实景三维模型构建方法、装置、设备和存储介质
Hammoudi et al. Recovering occlusion-free textured 3D maps of urban facades by a synergistic use of terrestrial images, 3D point clouds and area-based information
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
Hammoudi et al. Generating virtual 3D model of urban street facades by fusing terrestrial multi-source data
DATA SURFACE MODELLING OF URBAN 3D OBJECTS FROM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100602

Termination date: 20140729

EXPY Termination of patent right or utility model