CN109993802B - 一种城市环境中的混合相机标定方法 - Google Patents

一种城市环境中的混合相机标定方法 Download PDF

Info

Publication number
CN109993802B
CN109993802B CN201910264894.8A CN201910264894A CN109993802B CN 109993802 B CN109993802 B CN 109993802B CN 201910264894 A CN201910264894 A CN 201910264894A CN 109993802 B CN109993802 B CN 109993802B
Authority
CN
China
Prior art keywords
dimensional
camera
tracking
frame
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910264894.8A
Other languages
English (en)
Other versions
CN109993802A (zh
Inventor
彭鹤年
陈佳舟
陆鹏飞
秦绪佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910264894.8A priority Critical patent/CN109993802B/zh
Publication of CN109993802A publication Critical patent/CN109993802A/zh
Application granted granted Critical
Publication of CN109993802B publication Critical patent/CN109993802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

城市环境中的混合相机标定方法，能够结合高精度GPS、陀螺仪数据和计算机视觉跟踪算法，实现复杂环境下的实时城市建筑跟踪，包括以下步骤：首先，对于第一帧进行手动标定，获取相机的外参矩阵；其次，对于接下来的每一帧，先采用计算机视觉算法进行目标跟踪，如果算法误差小于给定阈值，则下一帧依旧采用计算机视觉跟踪算法；如果算法误差超过给定阈值，则采用GPS、陀螺仪数据求取相机外参，实现当前帧下的目标跟踪，而下一帧依旧采用计算机视觉跟踪算法。通过在计算机视觉跟踪算法和高精度GPS、陀螺仪数据跟踪方法之间的不断循环，实时跟踪视频中的每一帧直到跟踪结束。

Description

一种城市环境中的混合相机标定方法
技术领域
本发明涉及一种混合相机标定方法。
背景技术
随着技术的发展，越来越多的城市构建了完整的三维模型场景，这对于如何有效规划城市具有重要意义。而完整的城市三维场景也提供了丰富的三维建筑模型，这对于城市建筑的在线视觉注册提供了丰富的素材。城市建筑在线视觉注册是根据连续视频帧中的3D-2D对应点求解相机位置和姿态信息，是计算机视觉的一个重要组成部分：城市建筑在线视觉注册在机器人伺服、无人驾驶、增强现实等领域具有广泛应用。
在城市场景中，由于建筑之间存在遮挡问题，并且树木、行人、车辆也会对建筑存在遮挡；此外，建筑的表面纹理信息各式各样，很难进行统一处理，而且光照、阴影对于纹理信息也具有较大的影响，这对于解决城市场景在线视觉注册是重大的挑战。
利用计算机视觉算法进行相机标定和目标跟踪现有很多方法：基于特征点的方法、基于区域划分的方法和基于轮廓边的方法等。由于存在遮挡，并且建筑表面可能纹理信息并不充分，所以基于特征点的方法并不适用于城市建筑在线视觉注册；同样的，基于区域的方法很难在拥有复杂遮挡和背景的城市场景下准确的划分出前景和背景，所以同样不适用。而在城市户外场景下，由于存在光照环境复杂、遮挡复杂、背景复杂等因素，想要从图像中提取出准确的轮廓边是一个巨大的挑战，在现有方法的基础上难以实现，所以基于轮廓边的方法也不适用于复杂城市环境下的相机标定。因此，亟需一种城市环境中的混合相机标定方法，在复杂的城市户外场景下也能够实时标定出相机的外参并结合计算机视觉跟踪算法实现实时跟踪城市建筑。
发明内容
为解决城市户外建筑跟踪方法缺乏的问题，本发明提供了一种城市环境中的混合相机标定方法，通过高精度GPS获取相机的位置信息，通过陀螺仪获取相机的朝向信息，然后由此计算出相机的外参。当计算机视觉算法因为遮挡等问题而发生跟踪失败时(误差大于给定阈值)，可以利用得到的相机内外参数求出外参矩阵，用以持续跟踪目标；当后续视频帧中计算机视觉算法又能够精确跟踪目标时，因为此时计算机视觉算法相比GPS和陀螺仪数据更加精确，因此继续使用计算机视觉算法，从而实现复杂城市环境下的实时目标跟踪。
本发明的城市环境中的混合相机标定方法，具体步骤如下：
步骤1、对于第一帧通过手动进行标定。
步骤2、对于后续每一帧：通过计算机视觉算法进行跟踪，如果误差大于给定阈值，则转到步骤3。
步骤3、获取当前帧下的GPS和陀螺仪数据，计算出外参矩阵并跟踪目标，然后转步骤2。
步骤1中，需要提供相机的内参矩阵K，其形式如下所示：
Figure BDA0002016470650000031
其中fx和fy分别是相机水平方向和竖直方向的焦距，u0和v0是水平方向和竖直方向的主点偏移。然后通过鼠标交互获取指定的四个3D点在图像上的2D点位置，然后根据OpenCV视觉计算库的CV::solvePnP函数求出第一帧的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量。得到外参矩阵后，将三维模型的每一条边Li的两个端点Pi、Pj按照以下公式：
mi＝K[R|t]Pi
投影到二维图像上的二维点mi、mj，这样就得到了二维图像上的线条li，然后将每一个二维线条绘制在图像上，完成初始化操作。其中K是相机内部参数。
步骤2中，根据前一帧的投影矩阵，将三维模型投影到图像上，然后在二维图像上的线条上采样二维点Si,并找出这些采样点的法线，接着沿着法线方向寻找与采样点颜色梯度明显变化的像素点作为对应点Ci；当在所有的二维线条上都采样完二维点，并且每一个采样点都寻找完对应点后，采用非线性最小二乘算法求出当前帧的外参矩阵，并计算和判断误差大小，如果误差小于给定阈值，就根据新得到的外参矩阵将三维模型投影到二维平面；如果误差大于给定的阈值，则转到步骤3。
步骤3中，获取通过GPS得到的平移向量，获取陀螺仪得到的旋转向量，然后根据平移向量和旋转向量，利用OpenCV视觉计算库的CV::Rodrigues函数求出当前帧下的外参矩阵，将模型投影到二维图像上。然后转步骤2。
本发明的技术构思是：利用高精度的GPS定位信息和高精度的陀螺仪数据，可以得到当前帧下的相机外参矩阵，用于遮挡情况下的目标跟踪；采用现有的计算机视觉算法，可以解决无遮挡情况下的目标跟踪问题。将这两者结合起来，从而可以对复杂环境下的城市建筑进行实时的跟踪。
本发明的优点在于：利用现有的计算机视觉算法仅仅可以解决无遮挡或者轻微遮挡的目标跟踪问题，但是对于复杂环境下的城市建筑跟踪问题，现有算法都不能解决；然而利用高精度的GPS和陀螺仪数据，可以帮助现有计算机视觉算法解决复杂情况下的城市建筑跟踪问题。因此通过这两者的结合，可以实现复杂遮挡、复杂背景等情况下的目标跟踪问题。
附图说明
图1为本发明的总的流程图
具体实施方式
参照附图，进一步说明本发明：
基于GIS技术的混合相机标定方法，包括以下步骤：
步骤1、对于第一帧通过手动进行标定。
步骤2、对于后续每一帧：通过计算机视觉算法进行跟踪，如果跟踪失败，则转到步骤3。
步骤3、获取当前帧下的GPS和陀螺仪数据，就算出外参矩阵并跟踪目标，然后转步骤2。
步骤1中，需要提供相机的内参矩阵K，其形式如下所示：
Figure BDA0002016470650000051
其中fx和fy分别是相机水平方向和竖直方向的焦距，u0和v0是水平方向和竖直方向的主点偏移。然后通过鼠标交互获取指定的四个3D点在图像上的2D点位置，然后根据OpenCV视觉计算库的CV::solvePnP函数求出第一帧的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量。得到外参矩阵后，将三维模型的每一条边Li的两个端点Pi、Pj按照以下公式：
mi＝K[R|t]Pi
投影到二维图像上的二维点mi、mj，这样就得到了二维图像上的线条li，然后将每一个二维线条绘制在图像上，完成初始化操作。其中K是相机内部参数。
步骤2中，根据前一帧的投影矩阵，将三维模型投影到图像上，然后在二维图像上的线条上采样二维点Si,并找出这些采样点的法线，接着沿着法线方向寻找与采样点颜色梯度明显变化的像素点作为对应点Ci；当在所有的二维线条上都采样完二维点，并且每一个采样点都寻找完对应点后，采用非线性最小二乘算法求出当前帧的外参矩阵，并计算和判断误差大小，如果误差小于给定阈值，就根据新得到的外参矩阵将三维模型投影到二维平面；如果误差大于给定的阈值，则转到步骤3。
步骤3中，获取通过GPS得到的平移向量，获取陀螺仪得到的旋转向量，然后根据平移向量和旋转向量，利用OpenCV视觉计算库的CV::Rodrigues函数求出当前帧下的外参矩阵，将模型投影到二维图像上。然后转步骤2。
目前，通过计算计算机视觉算法进行目标跟踪的算法有很多，现有算法基本可以解决无遮挡、无纹理、部分遮挡、复杂背景、光照变化等多种情况下的目标跟踪问题，但是对于复杂遮挡情况下的目标跟踪问题，现有的所有算法都无能为力。然而高精度GPS和陀螺仪数据不受遮挡等任何外部环境的影响，因此照样可以通过这些数据获取相机的外参矩阵。所以本发明提出一种城市环境中的混合相机标定方法，通过结合计算机视觉算法跟踪无遮挡情况下的目标，利用GPS和陀螺仪数据跟踪复杂情况下的目标，从而可以解决复杂环境下的实时目标跟踪问题，填补了目标跟踪问题在复杂环境下的空白。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种城市环境中的混合相机标定方法，包括以下步骤：
步骤1、对于第一帧通过手动进行标定，具体包括：需要提供相机的内参矩阵K，其形式如下所示：
Figure FDA0002016470640000011
其中fx和fy分别是相机水平方向和竖直方向的焦距，u0和v0是水平方向和竖直方向的主点偏移；然后通过鼠标交互获取指定的四个3D点在图像上的2D点位置，然后根据OpenCV视觉计算库的CV::solvePnP函数求出第一帧的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量；得到外参矩阵后，将三维模型的每一条边Li的两个端点Pi、Pj按照以下公式：
mi＝K[R|t]Pi
投影到二维图像上的二维点mi、mj，这样就得到了二维图像上的线条li，然后将每一个二维线条绘制在图像上，完成初始化操作；其中K是相机内部参数；
步骤2、对于后续每一帧：通过计算机视觉算法进行跟踪，如果跟踪失败，则转到步骤3，具体包括：根据前一帧的投影矩阵，将三维模型投影到图像上，然后在二维图像上的线条上采样二维点Si,并找出这些采样点的法线，接着沿着法线方向寻找与采样点颜色梯度明显变化的像素点作为对应点Ci；当在所有的二维线条上都采样完二维点，并且每一个采样点都寻找完对应点后，采用非线性最小二乘算法求出当前帧的外参矩阵，并计算和判断误差大小，如果误差小于给定阈值，就根据新得到的外参矩阵将三维模型投影到二维平面；如果误差大于给定的阈值，则转到步骤3；
步骤3、获取当前帧下的GPS和陀螺仪数据，就算出外参矩阵并跟踪目标，然后转步骤2，具体包括：获取通过GPS得到的平移向量，获取陀螺仪得到的旋转向量，然后根据平移向量和旋转向量，利用OpenCV视觉计算库的CV::Rodrigues函数求出当前帧下的外参矩阵，将模型投影到二维图像上；然后转步骤2。
CN201910264894.8A 2019-04-03 2019-04-03 一种城市环境中的混合相机标定方法 Active CN109993802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264894.8A CN109993802B (zh) 2019-04-03 2019-04-03 一种城市环境中的混合相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264894.8A CN109993802B (zh) 2019-04-03 2019-04-03 一种城市环境中的混合相机标定方法

Publications (2)

Publication Number Publication Date
CN109993802A CN109993802A (zh) 2019-07-09
CN109993802B true CN109993802B (zh) 2020-12-25

Family

ID=67130817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264894.8A Active CN109993802B (zh) 2019-04-03 2019-04-03 一种城市环境中的混合相机标定方法

Country Status (1)

Country Link
CN (1) CN109993802B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN106056604A (zh) * 2016-05-27 2016-10-26 浙江工业大学 一种增强现实标识的自动镂空方法
CN107256570A (zh) * 2017-06-12 2017-10-17 浙江理工大学 一种基于最优化估计的摄像机外参数标定方法
WO2017206999A1 (de) * 2016-06-01 2017-12-07 Continental Teves Ag & Co. Ohg Verfahren zur auswertung von bilddaten einer fahrzeugkamera
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN108154536A (zh) * 2017-12-13 2018-06-12 南京航空航天大学 二维平面迭代的相机标定法
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN109544635A (zh) * 2018-10-10 2019-03-29 长安大学 一种基于枚举试探的相机自动标定方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032253A (ja) * 2016-08-25 2018-03-01 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム
CN106920276B (zh) * 2017-02-23 2019-05-14 华中科技大学 一种三维重建方法和系统
CN107726975B (zh) * 2017-09-20 2019-05-14 大连理工大学 一种基于视觉拼接测量的误差分析方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN109307508B (zh) * 2018-08-29 2022-04-08 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN106056604A (zh) * 2016-05-27 2016-10-26 浙江工业大学 一种增强现实标识的自动镂空方法
WO2017206999A1 (de) * 2016-06-01 2017-12-07 Continental Teves Ag & Co. Ohg Verfahren zur auswertung von bilddaten einer fahrzeugkamera
CN107256570A (zh) * 2017-06-12 2017-10-17 浙江理工大学 一种基于最优化估计的摄像机外参数标定方法
CN108154536A (zh) * 2017-12-13 2018-06-12 南京航空航天大学 二维平面迭代的相机标定法
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN109544635A (zh) * 2018-10-10 2019-03-29 长安大学 一种基于枚举试探的相机自动标定方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Combining complementary edge, keypoint and color features in model-based tracking for highly dynamic scenes;Antoine Petit等;《Proceedings of IEEE International Conference on Robotics and Automation (ICRA)》;20141231;第4115-4120页摘要，第1节介绍，第2节基于模型的高动态场景跟踪中边缘、点和颜色的互补线索的融合方法，第3节视觉特征 *
单目同时定位与建图中的地图恢复融合技术;张剑华等;《中国图象图形学报》;20180331;第23卷(第3期);第372-383页摘要、第0节引言、第1节 *
重投影误差;Jessica&jie;《https://www.cnblogs.com/Jessica-jie/p/7242179.html》;20170726;第1-3页 *

Also Published As

Publication number Publication date
CN109993802A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
Heng et al. Project autovision: Localization and 3d scene perception for an autonomous vehicle with a multi-camera system
CN109974707B (zh) 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
Zhang et al. Benefit of large field-of-view cameras for visual odometry
CN108460779B (zh) 一种动态环境下的移动机器人图像视觉定位方法
Ji et al. Panoramic SLAM from a multiple fisheye camera rig
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US9613420B2 (en) Method for locating a camera and for 3D reconstruction in a partially known environment
Meilland et al. A spherical robot-centered representation for urban navigation
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN109191504A (zh) 一种无人机目标跟踪方法
Song et al. Survey on camera calibration technique
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
Cattaneo et al. Cmrnet++: Map and camera agnostic monocular visual localization in lidar maps
Nagy et al. Online targetless end-to-end camera-LiDAR self-calibration
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
Fanani et al. Keypoint trajectory estimation using propagation based tracking
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN110749308A (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant