CN111292381B - 基于激光点云的无需检校场的相机检校方法 - Google Patents

基于激光点云的无需检校场的相机检校方法 Download PDF

Info

Publication number
CN111292381B
CN111292381B CN201911407427.2A CN201911407427A CN111292381B CN 111292381 B CN111292381 B CN 111292381B CN 201911407427 A CN201911407427 A CN 201911407427A CN 111292381 B CN111292381 B CN 111292381B
Authority
CN
China
Prior art keywords
image
dimensional
point
camera
laser point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911407427.2A
Other languages
English (en)
Other versions
CN111292381A (zh
Inventor
王志勇
李彩林
郭宝云
俞路路
姚吉利
丁昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Technology
Original Assignee
Shandong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Technology filed Critical Shandong University of Technology
Priority to CN201911407427.2A priority Critical patent/CN111292381B/zh
Publication of CN111292381A publication Critical patent/CN111292381A/zh
Application granted granted Critical
Publication of CN111292381B publication Critical patent/CN111292381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于摄影测量领域,尤其涉及基于激光点云的无需检校场的相机检校方法。其特征在于:1)建立二次曲面与不等式约束的相机检校数学模型;2)利用不等式约束的非线性最小二乘法进行相机参数迭代平差解算;3)相机检校精度评估。本发明不需要建立室内或室外检校场,节省检校场建立和维护所需的大量成本,特别适用于光学影像和激光点云联合建模中的相机检校。

Description

基于激光点云的无需检校场的相机检校方法
技术领域
本发明涉及一种基于激光点云的无需检校场的相机检校方法,属于摄影测量领域。
技术背景
摄影测量中,高精度的相机参数是测绘成果质量的保障。因此测量前应对相机进行检校以获取高精度相机参数。传统的相机检校方法需建立室内或室外的检校场,其中室内检校场检校精度较高,但需要在室内布设一定数量的高精度三维控制点,成本高且需要经常性的维护和复测。室外检校场能最大限度地接近实际观测时的外界条件,但需要在建筑物上布设一定数量的人工标志点,标志点的布设、观测及维护增加了工作难度和成本。
发明内容
本发明的目的是针对以上问题,提供一种以激光点云为控制,无需检校场的相机检校方法。
其技术方案为:
一种基于激光点云的无需检校场的相机检校方法,其特征在于采用以下步骤:
1)检校的数学模型。应用多视几何的方法将影像转化为稀疏三维点云,通过手动选取3对近似同名点对激光点云与影像稀疏点云进行粗配准。每一个影像三维点Pi(Xi,Yi,Zi),在三维激光点云中搜索与其最邻近的n个激光点进行二次曲面拟合,将该拟合的曲面作为局部真实场景的逼近,Pi对应的激光点云中同名点理论上应落在所拟合的曲面上。本发明采用二次曲面作为拟合模型,如式(1)所示
ZL=AiXL 2+BiXLYL+CiYL 2+EiXL+FiYL (1)
式中XL,YL,ZL为三维激光点坐标,Ai,Bi,Ci,Ei,Fi为拟合参数。利用n个激光点可解算出拟合参数Ai,Bi,Ci,Ei,Fi
所建立检校的数学模型满足以下三个条件①影像三维点云中每一个三维点都落在其对应的最邻近曲面上;②影像三维点坐标、像点坐标、影像的内外方位元素、畸变参数应满足共线条件方程;③影像三维点与最邻近的激光点云点距离足够小。模型具体形式见式(2)。
Zi=AiXi 2+BiXiYi+CiYi 2+EiXi+FiYi
其中:
式中为影像三维点Pi(Xi,Yi,Zi)对应的最邻近的激光点云点。XS,YS,ZS为影像摄站点坐标,a1,a2,a3,b1,b2,b3,c1,c2,c3为旋转矩阵元素,f为相机焦距,x0,y0为像主点坐标,k1,k2,k3,p1,p2为相机畸变参数。
2)相机参数迭代平差解算。
(2)式可改写为非线性最小二乘问题:
VS=AiXi 2+BiXiYi+CiYi 2+EiXi+FiYi-Zi (8)
该问题为不等式约束的非线性最小二乘问题,本发明应用以下迭代方法求解该最小二乘问题。
令:
则有:
式中PI为像点观测的权,PS为影像三维点偏离二次曲面的虚拟观测的权,PI和PS根据先验方差确定,Pd按式(13)方式确定:
其中δ选取为1.5倍的点云平均间距。以粗略空间相似变换后影像三维点和影像方位元素为参数初值,搜索影像三维点最邻近的n个激光点,并由这些激光点构建最邻近曲面,如果影像三维点与最邻近曲面的偏差足够小且影像三维点与最邻近的激光点云点距离足够小则检校结束,否则按式(6)-(13)求解,调整相机参数和影像三维点位置以及影像外参数。反复以上过程直到参数变化足够小。
3)精度评估
本发明通过计算平差后的总单位权中误差对相机检校的效果和精度进行评定,计算公式如式(14)。
其中,n为观测方程个数(包括虚拟二次曲面观测方程和不等式方程),rt表示外方位元素,rp表示三维点坐标,rc表示相机参数个数。
另外本文还采用像点观测值单位权中误差以及与最邻近激光局部曲面偏离值单位权中误差等两类指标进一步评价近景光学影像与激光点云几何配准的精度,该两类中误差计算公式分别见式(15)和(16)所示:
其中:n1表示不等式方程个数,nS为构建最邻近曲面方程的个数。
本发明与现有技术相比,其优点在于:不需要建立室内或室外检校场,节省检校场建立和维护所需的大量成本,特别适用于光学影像和激光点云联合建模中相机检校。
附图说明
图1为本发明流程图。
图2为相机检校的三维控制场。
图3为任一个非平面目标的三维激光扫描和多视影像数据。
具体实施方式
本发明涉及一种基于激光点云的无需检校场的相机检校方法,如图1所示,它包括如下步骤:
步骤1)数据采集:应用三维激光扫描仪和数码相机采集非平面目标物体的三维激光点云数据和影像数据(图2)。
步骤2)若获取两个或以上扫描站的三维激光点云时,首先进行三维激光点云数据的整体拼接;对相机采集的多视影像进行无控制点的自由网光束法平差,获取稀疏三维点坐标、多视影像在自由网坐标系下的相对位置姿态以及初始的相机内参数和镜头畸变参数(x0,y0,f,k1,k2,k3,p1,p2);
步骤3)对每一个影像三维点,查找其在激光点云中最邻近的n个点,并由该n个邻近点拟合二次曲面,二次曲面模型如下:
ZL=AiXL 2+BiXLYL+CiYL 2+EiXL+FiYL
求解出参数Ai,Bi,Ci,Ei,Fi,i=1,2…N,N为影像三维点个数。
步骤4)逐个列每个影像三维点对应的像点误差方程、影像三维点偏离最邻近曲面的误差方程以及影像三维点到最邻近激光点距离的误差方程,误差方程形式如下:
VS=AiXi 2+BiXiYi+CiYi 2+EiXi+FiYi-Zi
其中PI和PS根据先验方差确定,Pd按以下方式确定。
步骤5)当影像三维点到最邻近激光点平均距离小于1.5倍点云间平均间距且两次迭代参数变化小于10-4时,迭代平差解算终止,相机检校完成;否则,重复步骤3到步骤5。
实验数据证明:
利用本发明提供的相机检校方法解算的相机参数和采用室外高精度三维检校场(图3)解算的相机参数值近似相等(表1),为了检验标定结果的实际精度,将标定得到的内外方位元素及影像三维点对每张像片进行了投影,每张像片的反投影中误差都在0.25像素以下,进一步说明了本发明提供的相机检校方法可以在保证检校精度的前提下有效解决无检校场的相机检校问题。
表1为本发明相机检校方法和基于三维控制场相机检校法的精度对比。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于激光点云的无需检校场的相机检校方法,其特征在于:
步骤1)数据采集:应用三维激光扫描仪和数码相机采集任意非平面目标物体的三维激光点云数据和影像数据;
步骤2)若获取两个或以上扫描站的三维激光点云时,首先进行三维激光点云数据的整体拼接;对相机采集的多视影像进行无控制点的自由网光束法平差,获取稀疏三维点坐标、多视影像在自由网坐标系下的相对位置姿态以及初始的相机内方位元素和镜头畸变参数(x0,y0,f,k1,k2,k3,p1,p2);
步骤3)遍历每一个影像三维点,查找其在激光点云中最邻近的n个点,并由该n个最邻近点拟合二次曲面,二次曲面模型如下:
ZL=AiXL 2+BiXLYL+CiYL 2+EiXL+FiYL (1)
式中XL,YL,ZL为三维激光点坐标,Ai,Bi,Ci,Ei,Fi为拟合参数,i=1,2…N,N为影像三维点个数,利用n个激光点解算出拟合参数Ai,Bi,Ci,Ei,Fi
步骤4)逐个列每个影像三维点对应的像点误差方程、影像三维点偏离最邻近曲面的误差方程以及影像三维点到最邻近激光点距离的误差方程,误差方程形式如下:
VS=AiXi 2+BiXiYi+CiYi 2+EiXi+FiYi-Zi (8)
其中:
式中PI为像点观测的权,PS为影像三维点偏离二次曲面的虚拟观测的权,Pd为影像三维点与激光点距离虚拟观测的权,PI和PS根据先验方差确定,Pd按式(13)方式确定:
δ选取为点云平均间距;
步骤5)当影像三维点到最邻近激光点平均距离小于1.5δ且两次迭代参数变化小于10-4时,迭代平差解算终止,相机检校完成;否则,重复步骤3到步骤5。
2.根据权利要求1所述的基于激光点云的无需检校场的相机检校方法,其特征在于:还包括步骤6)精度评估,通过计算平差后的总单位权中误差对相机检校的效果和精度进行评定,计算公式如式(14):
其中,n为观测方程个数,包括虚拟二次曲面观测方程和不等式方程,rt表示外方位元素,rp表示三维点坐标,rc表示相机参数个数。
3.根据权利要求1所述的基于激光点云的无需检校场的相机检校方法,其特征在于:所述的步骤4)建立的检校数学模型是根据以下三个条件构建的:1)影像三维点云中每一个三维点都落在其对应的局部最邻近激光点云曲面上;2)影像三维点坐标、像点坐标、影像的内外方位元素、镜头畸变参数满足共线条件方程;3)影像三维点与最邻近的三维激光点距离尽可能小。
4.根据权利要求1或3所述的基于激光点云的无需检校场的相机检校方法,其特征在于:所述的步骤4)模型具体形式为:
其中:
式中为影像三维点Pi(Xi,Yi,Zi)对应的最邻近的激光点云点,XS,YS,ZS为影像摄站点坐标,a1,a2,a3,b1,b2,b3,c1,c2,c3为旋转矩阵元素,f为相机焦距,x0,y0为像主点坐标,k1,k2,k3,p1,p2为相机畸变参数。
5.根据权利要求1或3所述的基于激光点云的无需检校场的相机检校方法,其特征在于:所述的δ选取为1.5倍的点云平均间距。
CN201911407427.2A 2019-12-31 2019-12-31 基于激光点云的无需检校场的相机检校方法 Active CN111292381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407427.2A CN111292381B (zh) 2019-12-31 2019-12-31 基于激光点云的无需检校场的相机检校方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407427.2A CN111292381B (zh) 2019-12-31 2019-12-31 基于激光点云的无需检校场的相机检校方法

Publications (2)

Publication Number Publication Date
CN111292381A CN111292381A (zh) 2020-06-16
CN111292381B true CN111292381B (zh) 2023-11-24

Family

ID=71018617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407427.2A Active CN111292381B (zh) 2019-12-31 2019-12-31 基于激光点云的无需检校场的相机检校方法

Country Status (1)

Country Link
CN (1) CN111292381B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599272A (zh) * 2015-01-22 2015-05-06 中国测绘科学研究院 面向可移动靶标球的机载LiDAR点云与影像联合配准方法
CN104820217A (zh) * 2015-04-14 2015-08-05 同济大学 一种多法向平面的多元线阵探测成像激光雷达的检校方法
CN105241377A (zh) * 2015-09-16 2016-01-13 中国农业大学 基于云镜摄系统参数和视频帧的植物三维测量方法和系统
WO2017024869A1 (zh) * 2015-08-12 2017-02-16 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
CN106500729A (zh) * 2016-11-29 2017-03-15 武汉大学 一种无需控制信息的智能手机自检校方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599272A (zh) * 2015-01-22 2015-05-06 中国测绘科学研究院 面向可移动靶标球的机载LiDAR点云与影像联合配准方法
CN104820217A (zh) * 2015-04-14 2015-08-05 同济大学 一种多法向平面的多元线阵探测成像激光雷达的检校方法
WO2017024869A1 (zh) * 2015-08-12 2017-02-16 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
CN105241377A (zh) * 2015-09-16 2016-01-13 中国农业大学 基于云镜摄系统参数和视频帧的植物三维测量方法和系统
CN106500729A (zh) * 2016-11-29 2017-03-15 武汉大学 一种无需控制信息的智能手机自检校方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于线基元的单张影像与点云配准方法;王建;姚吉利;赵雪莹;赵猛;杨承昆;李彩林;;测绘科学(第02期);73-78 *
基于大比例尺航空影像共面约束条件的相机自检校方法;赵爽;李学军;刘涛;谢剑薇;测绘学报;第46卷(第1期);98-106 *

Also Published As

Publication number Publication date
CN111292381A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN112102458B (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN104599272B (zh) 面向可移动靶标球的机载LiDAR点云与影像联合配准方法
CN110285827B (zh) 一种距离约束的摄影测量高精度目标定位方法
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN103557841B (zh) 一种提高多相机合成影像摄影测量精度的方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN112270698B (zh) 基于最邻近曲面的非刚性几何配准方法
CN109727278B (zh) 一种机载LiDAR点云数据与航空影像的自动配准方法
CN106595700A (zh) 基于三点坐标测量的靶道空间基准标定方法
CN105096329A (zh) 一种精确校正超广角摄像头图像畸变的方法
CN104034514A (zh) 大视场相机非线性畸变校正装置与方法
CN103617649B (zh) 一种基于相机自标定技术的河工模型地形测量方法
CN107144241A (zh) 一种基于景深补偿的双目视觉高精度测量方法
CN114998399B (zh) 一种异源光学遥感卫星影像立体像对预处理方法
CN110736447B (zh) 一种集成式图像采集设备竖直方向水平位置检校方法
CN112258583B (zh) 基于等畸变量分区的近景图像畸变标定方法
CN207456381U (zh) 提高激光跟踪仪测量精度的装置
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN108154535B (zh) 基于平行光管的摄像机标定方法
CN115690380A (zh) 一种配准方法及系统
CN112985259A (zh) 基于多目视觉的目标定位方法及系统
CN110068313B (zh) 一种基于投影变换的数字天顶仪定向方法
CN110595374A (zh) 基于传递像机的大型结构件实时形变监测方法
CN111292381B (zh) 基于激光点云的无需检校场的相机检校方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant