CN109115186B - 一种针对车载移动测量系统的360°可量测全景影像生成方法 - Google Patents

一种针对车载移动测量系统的360°可量测全景影像生成方法 Download PDF

Info

Publication number
CN109115186B
CN109115186B CN201811019634.6A CN201811019634A CN109115186B CN 109115186 B CN109115186 B CN 109115186B CN 201811019634 A CN201811019634 A CN 201811019634A CN 109115186 B CN109115186 B CN 109115186B
Authority
CN
China
Prior art keywords
panoramic
image
point
coordinate system
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811019634.6A
Other languages
English (en)
Other versions
CN109115186A (zh
Inventor
刘如飞
俞家勇
卢秀山
田茂义
王延存
朱健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201811019634.6A priority Critical patent/CN109115186B/zh
Publication of CN109115186A publication Critical patent/CN109115186A/zh
Application granted granted Critical
Publication of CN109115186B publication Critical patent/CN109115186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种针对车载移动测量系统的360°可量测全景影像生成方法,将获得的全景影像数据和点云数据转换为平面投影坐标系下的点云数据,作为基础数据;将各子相机图像拼接后的全景影像数据看作球形建立全景球坐标系;将全景球坐标系下的点云数据转换成全景距离影像;从全景影像数据中获得待测目标对应的像坐标,利用像坐标从全景距离影像中获取待测目标对应的距离信息计算出待测目标对应的实际坐标,进而计算出两点的实际距离。本发明引入了全景距离影像的概念,在生成距离影像过程中,针对因遮挡等因素导致点云缺失的情况,采用球面线性插值法进行内插,保证生成的全景距离影像的完整性,减少了误差,提高了精度。

Description

一种针对车载移动测量系统的360°可量测全景影像生成方法
技术领域
本发明属于车载移动测量数据处理领域,具体涉及一种针对车载移动测量系统的360°可量测全景影像生成方法。
背景技术
随着社会经济和城市建设的飞速发展,需要快速获取建筑物、交通网络、城市部件等信息,用于城市进一步合理的建设开发。传统的数据采集一般由全站仪、GPS等完成,这些数据采集方式需要消耗大量的人力资源,且由于外业人员具有主观性,可能会造成某些信息遗漏的现象。随着车载移动测量系统的不断完善,给城市三维信息获取提供了新的思路。
车载移动测量系统可以快速获取高精度激光点云和360°全景影像数据,全景影像数据具有直观性强、展示范围广的特点。但是目前众多平台的全景影像只单纯的用来实景浏览、漫游及兴趣点查看等,未能充分挖掘全景影像的三维应用,即基于全景影像的三维定位与量测功能。全景影像可以利用配准映射建立与激光点云数据的真实三维坐标关联,通过全景影像像素坐标寻找到与之对应的点云空间坐标,进而对影像中的地物目标进行定位和量测。
中国专利申请号201610933103.2公开了一种利用激光点云辅助的可量测全景影像生成方法,步骤1,将全景影像进行虚拟成像获得多幅框幅式影像;步骤2,选取初始点对,并初始化各框幅式影像的外方位元素;步骤3,以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程,调整外方位元素初始值,获得精确的外方位元素值;步骤4,构建激光点云的空间索引,在空间索引中选取以曝光中心为球心的球形邻域,球形邻域内激光点云即全景影像的邻域点云;步骤5,计算邻域点云中各激光点的法向量,获得邻域点云的特征;步骤6,将邻域点云的深度和特征投影到全景影像。该专利是在平面图像上进行插值操作,虽然可提高测量精度,但是仍旧存在以下不足:
1在初始化外方位元素方面,随机选取影像上的角点对应的激光点云,存在误差;若选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点,得到的结果会更精确。
2在点云投影到全景影像方面,对栅格无对应点云的情况,利用双三次内插得到栅格深度,适用性较弱,没有顾虑到全景球展成平面的照片的投影误差,结果精度无法保证。
3该方法缺少试验验证,未给出实际地物量测精度。
发明内容
针对现有方法存在的将全景球影像展成平面影像过程中存在投影误差导致精度无法保证的技术缺陷,本发明研究全景影像和点云数据的相对空间位置关系标定方法,并引入球面投影距离影像算法,提出一种针对车载移动测量系统的360°可量测全景影像生成方法。
为了实现上述目的,本发明采用如下技术方案:
一种基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,包括以下步骤:
第一步:利用车载移动测量系统,快速采集测区内全景影像数据和点云数据,受定位方式影响,点云数据坐标系为WGS84空间直角坐标,需要将点云数据进行投影变换,转换到平面投影坐标系下,作为基础数据;
第二步:全景相机中多个子相机的摄影中心距离较近,各子相机图像拼接后的全景影像数据可看作球形,建立全景球坐标系,具体方法为:
在基础点云数据中选取一处特征较明显的区域,并通过时间定位找到对应的全景影像数据;从基础点云数据中选取一组点云特征点,从全景影像数据中选取与该组点云特征点相对应的同名像点,组成一组对应特征点,根据该组对应特征点通过共线方程最小二乘迭代算法计算全景相机内方位元素和全景影像在平面投影坐标系中的外方位元素;
第三步:将全景球坐标系作为全景距离影像坐标系,利用已得到的全景相机的内方位元素和全景影像外方位元素,将点云数据进行球坐标投影,并利用球面线性插值法对生成的距离影像中的局部空白区域进行插值,最后通过投影变换生成全景距离影像;
第四步:从全景影像数据中获得待测目标对应的像坐标,利用像坐标从全景距离影像中获取待测目标对应的距离信息,最后根据匹配全景影像的外方位元素和内方位元素计算出待测目标对应的实际坐标,进而计算出两点的实际距离。
进一步,上述步骤一包括如下子步骤:
1.1)将车载移动测量系统采集获得的全景影像数据和点云数据,通过数据融合处理与空间坐标基准变换,获得平面投影坐标系下的点云数据,作为特征提取和影像匹配的基础数据。
进一步,上述步骤二包括如下子步骤:
2.1)分别加载点云数据和全景影像数据,通过人机交互方式,从基础点云数据中选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点(X,Y,Z)T,在全景影像数据中选取与点云特征点(X,Y,Z)T相对应的同名像点(xp,yp,zp)T,组成一对对应特征点;每一对对应特征点可以列两组方程,为计算全景相机内方位元素(x0,y0,-f)T和全景影像外方位元素
Figure BDA0001786970990000031
即选取的一组对应特征点至少包含5对对应特征点才能解算出9个未知参数;根据最小二乘原理可知,对应特征点越多解的精度也越高,但需要严格设计对应特征点的分布,具体选取要求如下表所示:
Figure BDA0001786970990000041
2.2)建立全景球坐标系和全景影像坐标系;
规定以全景球球心(即全景相机摄影中心)作为全景球坐标系原点O,Y轴指向车行方向,X轴指向车体右侧,Z轴垂直向上;规定以全景球下侧极点位置作为全景影像坐标系原点O,以全景球展开后长轴方向作为X轴,短轴作为Y轴,Z轴垂直XOY面;全景影像球坐标系与全景影像坐标系转换关系如下:
Figure BDA0001786970990000042
Figure BDA0001786970990000043
式中r为全景球半径,Xs、Ys、Zs为全景球坐标系下的球面坐标,xp、yp为全景影像坐标系对应的像点坐标;
全景相机内方位元素(x0,y0,-f)T即全景相机摄影中心在全景球坐标系下的位置,设全景相机摄影中心在平面投影坐标系中的坐标为(X0,Y0,Z0)T,点云特征点(X,Y,Z)T在全景影像坐标系中的坐标为(xp,yp,zp)T,缩放因子为λ,根据目标点云特征点、像点以及摄影中心三点共线原理,列出共线方程:
Figure BDA0001786970990000044
将上式变形为:
Figure BDA0001786970990000051
Figure BDA0001786970990000052
其中(a1,a2,a3,b1,b2,b3,c1,c2,c3)为:
Figure BDA0001786970990000053
上述公式中的φ、κ、ω分别代表围绕x轴、y轴、z轴的旋转角度。
将上述方程利用泰勒级数展开,进行线性化,利用最小二乘原理,通过迭代求取方程最优参数解,如满足精度要求,停止迭代;方程最优解即为全景相机内方位元素和全景影像在平面投影坐标系下的外方位元素。
进一步,上述步骤三包括如下子步骤:
3.1)将全景影像坐标系与全景距离影像坐标系统一;
在全景球坐标系下,连接点云点和全景相机摄影中心,得到该直线与全景距离影像球面的交点像素坐标,计算点云点和全景相机摄影中心的空间距离D,将该空间距离作为交点像素的图像像素值,利用颜色分量R、G、B表示距离,具体转换公式如下:
Figure BDA0001786970990000054
为确保量测结果精度达到厘米级别,设计三分量的范围为R:1-100;G:1-255;B:1-255;并按照2.2步中的定义投影成全景影像坐标系下的全景距离影像;
3.2)以全景相机摄影中心(X0,Y0,Z0)T为原点,获取一定范围内(一般在40-60米范围内)的点云数据。由于距离越远相机的畸变增大,且遮挡可能会增多,因此点云数据范围需要根据实际现场情况确定,则点云点pi的方向角αi和高度角βi的计算公式如下所述:
Figure BDA0001786970990000061
Figure BDA0001786970990000062
3.3)计算每个点云点在距离影像上的对应的行号row和列号col,实现格网化;并计算每个点云点的距离di,并作为灰度值赋值给相对应的格网;点云点距离di计算公式如下所示:
Figure BDA0001786970990000063
3.4)循环遍历该区域所有点云数据,生成全景距离影像;点云数据和全景影像数据分辨率不同,导致每一个点云点都可以对应一个格网号,但是每一个格网号可能对应多个点云点;如果一个格网号对应多个点云数据,则取距离最近点作为该格网的灰度值;
3.5)实际测量过程中,受外界环境遮挡等因素影响,存在部分区域不能扫描到,即无点云覆盖的区域。为保证生成的全景距离影像的完整性,对该区域利用内插法进行插值计算。采用基于球面线性四元数插值法对空白区域进行插值计算。设球心为o,待插值点为w,p、q分别为待插值点圆弧两侧已知点,则单位球面的四元数插值公式:
Figure BDA0001786970990000064
其中0<t<1,
Figure BDA0001786970990000071
Figure BDA0001786970990000072
分别为需要插值处圆弧两端的单位向量,θsle为向量
Figure BDA0001786970990000073
Figure BDA0001786970990000074
的夹角。
经过内插处理后,无点云数据覆盖区域可以获得较准确的灰度值;
进一步,上述步骤四包括如下子步骤:
4.1)通过人机交互,手动在全景照片中选择需要量测的目标,获取该点的像点坐标(Xs,Ys,Zs)T,通过全景影像和全景距离影像之间的关系,得到目标点与全景相机摄影中心之间的距离d;
4.2)利用第二步中计算出的全景影像的外方位元素,计算目标像点在全景球坐标系下的坐标,转换关系如下:
Figure BDA0001786970990000075
其中:
Figure BDA0001786970990000076
Figure BDA0001786970990000077
4.3)在实际平面投影坐标系下,全景相机摄影中心点坐标为(X0,Y0,Z0)T,目标点对应的全景球坐标系下坐标为(Xs,Ys,Zs)T,则全景相机摄影中心点到目标点构建的方向向量
Figure BDA0001786970990000081
为:
Figure BDA0001786970990000082
4.4)根据全景相机摄影中心与目标点之间的距离d和全景相机摄影中心点到目标点的方向向量
Figure BDA0001786970990000083
这样便可得到目标点在实际平面投影坐标系下空间三维坐标位置:
Figure BDA0001786970990000084
本发明具有如下优点:
本发明基于全景摄影测量原理,建立全景影像数据和点云数据的空间位置匹配关系。为提高全景影像量测效率,引入了全景距离影像的概念,通过将一定范围内的点云数据生成全景距离影像,简化点云目标计算量。在生成距离影像过程中,针对因遮挡等因素导致点云缺失的情况,采用球面线性插值法进行内插,保证生成的全景距离影像的完整性。最终采用人机交互操作方式,操作简便,通过手动选取全景影像中目标,经过坐标反算得到该目标点的实际三维坐标。经验证能满足精度要求。
附图说明
图1为本发明提供的一种针对车载移动测量系统的360°可量测全景影像生成方法数据处理流程图;
图2为本发明提供的球面线性插值示意图;
图3为本发明提供的利用全景影像量取行人身高示意图;
图4为本发明提供的街景道路标线宽度量测示意图;
图5为本发明提供的街景杆状目标高度量测示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细描述:
结合图1所示,一种针对车载移动测量系统的360°可量测全景影像生成方法,包括如下步骤:
a、利用车载移动测量系统,快速采集测区内全景影像数据和点云数据,将点云数据进行投影变换,转换到平面投影坐标系下,作为基础数据;具体包括如下子步骤:
a1、将车载移动测量系统采集获得的全景影像数据和点云数据,通过数据空间坐标基准变换,获得平面投影坐标系下的点云数据,作为特征提取和影像匹配的基础数据;
b、利用a步骤中的基础点云数据,从基础点云数据中选取一处特征较明显的区域,通过时间定位找到对应的全景影像数据。从基础点云数据中选取一组点云特征点,从全景影像数据中选取与该组点云特征点相对应的同名像点,组成一组对应特征点,根据该组对应特征点通过共线方程最小二乘迭代算法计算全景影像在平面投影坐标系中的外方位元素;具体包括如下子步骤:
b1、分别加载点云数据和全景影像数据,利用目视解译,从基础点云数据中选取房屋角点、花坛角点等不同距离、不同高程的明显点云特征点(X,Y,Z)T,在全景影像数据中选取与点云特征点相对应的同名像点(xp,yp,zp)T。选取的特征点至少包含5对对应特征点。根据最小二乘原理可知,对应特征点越多解的精度也越高,在较理想环境下,对应特征点选取要求如下表所示:
Figure BDA0001786970990000101
b2、建立全景球坐标系和全景影像坐标系。规定全景球坐标系以全景球球心作为全景球坐标系原点O,Y轴指向车行方向,X轴指向车体右侧,Z轴垂直向上。规定全景影像坐标系以全景球下侧极点位置作为全景影像坐标系原点O,以全景球展开后长轴方向作为X轴,短轴作为Y轴,Z轴垂直XOY面。全景影像球坐标系与全景影像坐标系转换关系如下:
Figure BDA0001786970990000102
Figure BDA0001786970990000103
式中r为全景球半径,Xs、Ys、Zs为全景球坐标系下的球面坐标,xp、yp为全景影像坐标系对应的像点坐标。
全景相机内方位元素(x0,y0,-f)T即全景相机摄影中心在全景球坐标系下的位置,全景相机摄影中心在平面投影坐标系中的坐标为(X0,Y0,Z0)T,点云特征点(X,Y,Z)T在全景影像坐标系中的坐标为(xp,yp,zp)T,缩放因子为λ,根据目标点云特征点、像点以及摄影中心三点共线原理,列出共线方程:
Figure BDA0001786970990000104
将上式变形为:
Figure BDA0001786970990000105
Figure BDA0001786970990000106
其中(a1,a2,a3,b1,b2,b3,c1,c2,c3)为:
Figure BDA0001786970990000111
将共线方程线性化,利用最小二乘原理,迭代进行参数求解,原方程的误差方程表示如下:
V=AX-L
其中
Figure BDA0001786970990000112
Figure BDA0001786970990000113
为了方便表示,引入下面的符号
Figure BDA0001786970990000114
Figure BDA0001786970990000115
Figure BDA0001786970990000116
则共线方程可以写成
Figure BDA0001786970990000117
经过推导可以得到误差方程中各偏导数的值为:
Figure BDA0001786970990000121
Figure BDA0001786970990000122
Figure BDA0001786970990000123
Figure BDA0001786970990000124
Figure BDA0001786970990000125
Figure BDA0001786970990000126
Figure BDA0001786970990000127
Figure BDA0001786970990000128
Figure BDA0001786970990000129
Figure BDA00017869709900001210
Figure BDA00017869709900001211
Figure BDA00017869709900001212
Figure BDA00017869709900001213
Figure BDA00017869709900001214
Figure BDA00017869709900001215
将共线方程利用泰勒级数展开,进行线性化,利用最小二乘原理,通过迭代求取方程最优参数解,如满足精度要求,停止迭代。方程最优解即为全景相机内方位元素和全景影像在平面投影坐标系下的外方位元素;
c、将全景影像坐标系作为全景距离影像坐标系,利用已得到的全景影像的内方位元素和外方位元素,将点云数据生成距离影像,并利用球面线性插值法对生成的全景距离影像进行插值;具体包括如下子步骤:
c1、将全景影像坐标系与全景距离影像坐标系统一。在全景球坐标系下,连接点云点和全景相机摄影中心,得到该直线与全景距离影像球面的交点像素坐标,计算激光点云点和全景相机摄影中心的空间距离D,将该空间距离作为交点像素的图像像素值,利用颜色分量R、G、B表示距离,具体转换公式如下:
Figure BDA0001786970990000131
三分量R、G、B的范围为R:1-100;G:1-255;B:1-255。并按照b2步中的定义投影成平面投影坐标系下的全景距离影像;
c2、循环遍历该区域所有点云数据,生成全景距离影像。点云数据和全景影像数据分辨率不同,导致每一个点云点都可以对应一个格网号,但是每一个格网号可能对应多个点云点。如果一个格网号对应多个点云数据,则取距离最近点作为该格网的灰度值。实际测量过程中,受外界环境遮挡等因素影响,存在部分区域不能扫描到,即无点云覆盖的区域。为保证生成的全景距离影像的完整性,对该区域利用球面线性插值法进行插值计算。如图2所示,设球心为o,待插值点为w,p、q分别为待插值点圆弧两侧已知点,根据单位球面的四元数插值公式:
Figure BDA0001786970990000132
其中0<t<1,
Figure BDA0001786970990000133
Figure BDA0001786970990000134
分别为需要插值处圆弧两端的单位向量,θsle为向量
Figure BDA0001786970990000135
Figure BDA0001786970990000136
的夹角;
d、从全景影像中获得待测目标对应的像坐标,利用像坐标从全景距离影像中获取待测目标对应的距离信息,最后根据匹配影像的外方位元素和内方位元素计算出待测目标对应的实际坐标,进而计算出两点的实地距离;具体包括如下子步骤:
d1、通过人机交互,手动在全景照片中选择需要量测的目标,获取该点的像点坐标(Xs,Ys,Zs)T,通过全景影像和全景距离影像之间的关系,得到该点的距离d;
d2、利用第二步中计算出的全景影像的外方位元素,计算目标像点在全景球坐标系下的坐标,转换关系如下:
Figure BDA0001786970990000141
其中:
Figure BDA0001786970990000142
Figure BDA0001786970990000143
d3、在实际平面投影坐标系下,全景相机摄影中心点坐标为(X0,Y0,Z0)T,目标点对应的全景球坐标系下坐标为(Xs,Ys,Zs)T,则全景相机摄影中心点到目标点构建的向量为:
Figure BDA0001786970990000151
d4、利用d1步骤中从距离影像中匹配出来的全景相机摄影中心与目标点之间的距离d和d3步骤中求出的全景相机摄影中心点到目标点的方向向量
Figure BDA0001786970990000152
这样便可得到目标点在实际平面投影坐标系下空间三维坐标位置:
Figure BDA0001786970990000153
图3显示的是利用全景影像量取行人身高过程,其中图中左侧为点云数据,右侧为全景影像数据,并实时显示选取的行人头部和脚部的三维坐标。利用两张全景照片分别对行人身高进行量测,经计算得行人身高为1.74m,其实际身高为1.75m,量测结果偏差1cm。能够满足精度要求;
图4、图5是利用全景影像对实际地物进行量测,并将高精度点云数据作为真值进行比较,其中,图4为道路标线水平宽度量测,在点云数据中量测宽度为3.574m,利用全景量测获取的宽度为3.56m,二者相差1.4cm。图5为地物垂直高度量测,点云数据中量测垂直高度为6.078m,利用全景影像量测的结果为6.08m,二者相差0.2cm。两次测量结果误差均可控制在5cm以内,具有较高的精度,可以满足精度要求;
当然,以上说明仅仅为本发明的较佳实施例,本发明并不限于列举上述实施例,应当说明的是,任何熟悉本领域的技术人员在本说明书的教导下,所做出的所有等同替代、明显变形形式,均落在本说明书的实质范围之内,理应受到本发明的保护。

Claims (5)

1.一种基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,包括以下步骤:
步骤一:利用车载移动测量系统,快速采集测区内全景影像数据和点云数据,受定位方式影响,点云数据坐标系为WGS84空间直角坐标,需要将点云数据进行投影变换,转换到平面投影坐标系下,作为基础数据;
步骤二:全景相机中多个子相机的摄影中心距离较近,各子相机图像拼接后的全景影像数据可看作球形,建立全景球坐标系,具体方法为:
在基础点云数据中选取一处特征较明显的区域,并通过时间定位找到对应的全景影像数据;从基础点云数据中选取一组点云特征点,从全景影像数据中选取与该组点云特征点相对应的同名像点,组成一组对应特征点,根据该组对应特征点通过共线方程最小二乘迭代算法计算全景相机内方位元素和全景影像在平面投影坐标系中的外方位元素;
步骤三:将全景球坐标系作为全景距离影像坐标系,利用已得到的全景相机的内方位元素和全景影像外方位元素,将点云数据进行球坐标投影,并利用球面线性插值法对生成的距离影像中的局部空白区域进行插值,最后通过投影变换生成全景距离影像;
步骤四:从全景影像数据中获得待测目标对应的像坐标,利用像坐标从全景距离影像中获取待测目标对应的距离信息,最后根据匹配全景影像的外方位元素和内方位元素计算出待测目标对应的实际坐标,进而计算出两点的实际距离。
2.如权利要求1所述的基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,所述的步骤一具体如下:
将车载移动测量系统采集获得的全景影像数据和点云数据,通过数据融合处理与空间坐标基准变换,获得平面投影坐标系下的点云数据,作为特征提取和影像匹配的基础数据。
3.如权利要求1所述的基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,所述的步骤二包括如下子步骤:
2.1)分别加载点云数据和全景影像数据,通过人机交互方式,从基础点云数据中选取房屋角点、花坛角点不同距离、不同高程的明显点云特征点(X,Y,Z)T,在全景影像数据中选取与点云特征点(X,Y,Z)T相对应的同名像点(xp,yp,zp)T,组成一对对应特征点;每一对对应特征点可以列两组方程,为计算全景相机内方位元素(x0,y0,-f)T和全景影像外方位元素
Figure FDA0002505869200000021
即选取的一组对应特征点至少包含5对对应特征点才能解算出9个未知参数;根据最小二乘原理可知,对应特征点越多解的精度也越高,但需要严格设计对应特征点的分布,具体选取要求如下所示:距离摄影中心0m~5m范围内,高程范围0m~0.5m选择3个控制点,0.5m~1m选择1个控制点;距离摄影中心5m~10m范围内,高程范围0m~0.5m选择2个控制点,0.5m~1m选择两个控制点,1m~5m选择1个控制点,5m~10m选择1个控制点;距离摄影中心10m~15m范围内,高程范围0.5m~1m选择1个控制点,1m~5m选择1个控制点,5m~10m选择2个控制点;距离摄影中心15m~20m范围内,高程范围1m~5m选择2个控制点,5m~10m选择3个控制点;距离摄影中心20m~25m范围内,高程范围1m~5m选择1个控制点,5m~10m选择1个控制点;
2.2)建立全景球坐标系和全景影像坐标系;
规定以全景球球心作为全景球坐标系原点O,Y轴指向车行方向,X轴指向车体右侧,Z轴垂直向上;规定以全景球下侧极点位置作为全景影像坐标系原点O,以全景球展开后长轴方向作为X轴,短轴作为Y轴,Z轴垂直XOY面;全景影像球坐标系与全景影像坐标系转换关系如下:
Figure FDA0002505869200000031
Figure FDA0002505869200000032
式中r为全景球半径,Xs、Ys、Zs为全景球坐标系下的球面坐标,xp、yp为全景影像坐标系对应的像点坐标;
全景相机内方位元素(x0,y0,-f)T即全景相机摄影中心在全景球坐标系下的位置,设全景相机摄影中心在平面投影坐标系中的坐标为(X0,Y0,Z0)T,点云特征点(X,Y,Z)T在全景影像坐标系中的坐标为(xp,yp,zp)T,缩放因子为λ,根据目标点云特征点、像点以及摄影中心三点共线原理,列出共线方程:
Figure FDA0002505869200000033
将上式变形为:
Figure FDA0002505869200000034
Figure FDA0002505869200000035
其中(a1,a2,a3,b1,b2,b3,c1,c2,c3)为:
Figure FDA0002505869200000041
上述公式中的φ、κ、ω分别代表围绕x轴、y轴、z轴的旋转角度;
将上述方程利用泰勒级数展开,进行线性化,利用最小二乘原理,通过迭代求取方程最优参数解,如满足精度要求,停止迭代;方程最优解即为全景相机内方位元素(x0,y0,-f)T和全景影像在平面投影坐标系下的外方位元素
Figure FDA0002505869200000042
4.如权利要求1所述的基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,所述的步骤三包括如下子步骤:
3.1)将全景影像坐标系与全景距离影像坐标系统一
在全景球坐标系下,连接点云点和全景相机摄影中心,得到摄影方向线与全景距离影像球面的交点像素坐标,计算点云点和全景相机摄影中心的空间距离D,将该空间距离作为交点像素的图像像素值,利用颜色分量R、G、B表示距离,具体转换公式如下:
Figure FDA0002505869200000043
为确保量测结果精度达到厘米级别,设计三分量的范围为R:1-100;G:1-255;B:1-255;并按照2.2步中的定义投影成全景影像坐标系下的全景距离影像;
3.2)以全景相机摄影中心(X0,Y0,Z0)T为原点,获取原点周围40-60米范围内的点云数据,则点云点pi的方向角αi和高度角βi的计算公式如下所述:
Figure FDA0002505869200000051
Figure FDA0002505869200000052
3.3)计算每个点云点在距离影像上的对应的行号row和列号col,实现格网化;并计算每个点云点的距离di,并作为灰度值赋值给相对应的格网;点云点距离di计算公式如下所示:
Figure FDA0002505869200000053
3.4)循环遍历该区域所有点云数据,生成全景距离影像;点云数据和全景影像数据分辨率不同,导致每一个点云点都可以对应一个格网号,但是每一个格网号可能对应多个点云点;如果一个格网号对应多个点云数据,则取距离最近点作为该格网的灰度值;
3.5)实际测量过程中,受外界环境遮挡因素影响,存在部分区域不能扫描到,即无点云覆盖的区域,为保证生成的全景距离影像的完整性,对该区域利用内插法进行插值计算,采用基于球面线性四元数插值法对空白区域进行插值计算;
设球心为o,待插值点为w,p、q分别为待插值点圆弧两侧已知点,则单位球面的四元数插值公式:
Figure FDA0002505869200000054
其中0<t<1,
Figure FDA0002505869200000055
Figure FDA0002505869200000056
分别为需要插值处圆弧两端的单位向量,θsle为向量
Figure FDA0002505869200000057
Figure FDA0002505869200000058
的夹角。
5.如权利要求1所述的基于车载移动测量系统的360°可量测全景影像生成方法,其特征在于,所述的步骤四包括如下子步骤:
4.1)通过人机交互,手动在全景照片中选择需要量测的目标,获取该点的像点坐标(Xs,Ys,Zs)T,通过全景影像和全景距离影像之间的关系,得到目标点与全景相机摄影中心之间的距离d;
4.2)利用第二步中计算出的全景影像的外方位元素,计算目标像点在全景球坐标系下的坐标,转换关系如下:
Figure FDA0002505869200000061
其中:
Figure FDA0002505869200000062
Figure FDA0002505869200000063
4.3)在实际平面投影坐标系下,全景相机摄影中心点坐标为(X0,Y0,Z0)T,目标点对应的全景球坐标系下坐标为(Xs,Ys,Zs)T,则全景相机摄影中心点到目标点构建的方向向量
Figure FDA0002505869200000064
为:
Figure FDA0002505869200000071
4.4)根据全景相机摄影中心与目标点之间的距离d和全景相机摄影中心点到目标点的方向向量
Figure FDA0002505869200000072
这样便可得到目标点在实际平面投影坐标系下空间三维坐标位置:
Figure FDA0002505869200000073
CN201811019634.6A 2018-09-03 2018-09-03 一种针对车载移动测量系统的360°可量测全景影像生成方法 Active CN109115186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811019634.6A CN109115186B (zh) 2018-09-03 2018-09-03 一种针对车载移动测量系统的360°可量测全景影像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811019634.6A CN109115186B (zh) 2018-09-03 2018-09-03 一种针对车载移动测量系统的360°可量测全景影像生成方法

Publications (2)

Publication Number Publication Date
CN109115186A CN109115186A (zh) 2019-01-01
CN109115186B true CN109115186B (zh) 2020-07-28

Family

ID=64861743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811019634.6A Active CN109115186B (zh) 2018-09-03 2018-09-03 一种针对车载移动测量系统的360°可量测全景影像生成方法

Country Status (1)

Country Link
CN (1) CN109115186B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109596121B (zh) * 2019-01-09 2022-10-14 南京师范大学 一种机动站自动目标检测与空间定位方法
WO2020217377A1 (ja) * 2019-04-25 2020-10-29 三菱電機株式会社 移動量推定装置、移動量推定方法、および移動量推定プログラム
CN110619663A (zh) * 2019-08-28 2019-12-27 山东科技大学 一种基于三维激光点云的视频影像目标定位方法
CN110766731A (zh) * 2019-10-21 2020-02-07 武汉中海庭数据技术有限公司 一种全景影像与点云自动配准的方法、装置及存储介质
CN111275750B (zh) * 2020-01-19 2022-05-13 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN111457930B (zh) * 2020-04-02 2021-11-23 武汉中海庭数据技术有限公司 一种利用车载Lidar与无人机联合的高精度测图定位方法
CN111768446B (zh) * 2020-06-19 2023-08-11 重庆数字城市科技有限公司 一种室内全景影像逆向建模融合方法
CN111932446B (zh) * 2020-07-30 2024-01-16 武汉慧通智云信息技术有限公司 三维全景地图的构建方法及装置
CN112308778B (zh) * 2020-10-16 2021-08-10 香港理工大学深圳研究院 一种利用空间三维信息辅助全景相机拼接的方法及终端
CN113052758B (zh) * 2021-03-10 2024-04-26 上海杰图天下网络科技有限公司 全景图像中点目标大地坐标的量测方法、系统、设备和介质
CN113487746B (zh) * 2021-05-25 2023-02-24 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统
CN113762122B (zh) * 2021-08-31 2023-10-13 中船鹏力(南京)大气海洋信息系统有限公司 一种基于频闪照片的雨滴检测算法
CN115329111B (zh) * 2022-10-11 2023-02-03 齐鲁空天信息研究院 一种基于点云与影像匹配的影像特征库构建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296598A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 三维姿态处理方法、系统及拍摄终端
US10422639B2 (en) * 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296598A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 三维姿态处理方法、系统及拍摄终端
US10422639B2 (en) * 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles

Also Published As

Publication number Publication date
CN109115186A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109115186B (zh) 一种针对车载移动测量系统的360°可量测全景影像生成方法
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
US7944547B2 (en) Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
Xie et al. Study on construction of 3D building based on UAV images
Pepe et al. Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN110619663A (zh) 一种基于三维激光点云的视频影像目标定位方法
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN110555813B (zh) 一种无人机遥感影像的快速几何校正方法及系统
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
Yang et al. Approaches for exploration of improving multi-slice mapping via forwarding intersection based on images of UAV oblique photogrammetry
US20100066740A1 (en) Unified spectral and Geospatial Information Model and the Method and System Generating It
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
Liu et al. A new approach to fast mosaic UAV images
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
Koeva 3D modelling and interactive web-based visualization of cultural heritage objects
Zhou et al. Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera
CN116129064A (zh) 电子地图生成方法、装置、设备及存储介质
CN114332383A (zh) 一种基于全景视频的场景三维建模方法及装置
Ye et al. Accuracy analysis of real-time object positioning without gcp for images from UAV oblique ultra-long focal small view field whiskbroom camera system
Dlesk et al. Possibilities of processing archival photogrammetric images captured by Rollei 6006 metric camera using current method
CN113034615A (zh) 一种用于多源数据融合的设备标定方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant