CN106595601B - 一种无需手眼标定的相机六自由度位姿精确重定位方法 - Google Patents

一种无需手眼标定的相机六自由度位姿精确重定位方法 Download PDF

Info

Publication number
CN106595601B
CN106595601B CN201611140264.2A CN201611140264A CN106595601B CN 106595601 B CN106595601 B CN 106595601B CN 201611140264 A CN201611140264 A CN 201611140264A CN 106595601 B CN106595601 B CN 106595601B
Authority
CN
China
Prior art keywords
camera
hand
shooting
platform
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611140264.2A
Other languages
English (en)
Other versions
CN106595601A (zh
Inventor
冯伟
孙济洲
张乾
田飞鹏
韩瑞泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201611140264.2A priority Critical patent/CN106595601B/zh
Publication of CN106595601A publication Critical patent/CN106595601A/zh
Application granted granted Critical
Publication of CN106595601B publication Critical patent/CN106595601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种无需手眼标定的相机六自由度位姿精确重定位方法，用于同一场景多次拍摄过程中，未知手眼标定的情况下，对拍摄相机进行精确重定位，准确恢复上一次拍摄时相机的位置和朝向。本方法根据首次定位时拍摄的图像及记录的相机信息，通过首次拍摄图像与当前相机位置拍摄图像做相机位姿差异计算，对相机先后进行三个自由度的旋转和平移，交替进行上述操作，直至首次相机位置与当前相机位置的旋转量和平移量差异收敛至误差精度范围内，从而完成相机的精确重定位工作。本方法不需要手眼标定信息，具有更强的工作环境适应性；具有重定位精度高、具有严格收敛保证、无需手眼标定、环境适应能力强以及算法复杂度低、实时响应等优点。

Description

一种无需手眼标定的相机六自由度位姿精确重定位方法
技术领域
本发明属于相机重定位领域，具体的说，是涉及一种无需手眼标定的相机六自由度位姿精确重定位方法，可用于在同一场景多次拍摄过程中，无需重新手眼标定的情况下，对拍摄相机进行有效的精确重定位，准确地恢复上一次拍摄时相机的位置和朝向。
背景技术
现在本发明中涉及到的背景技术有：
(1)五点法计算相机位姿差异(参见文献[1])：C为世界坐标系下相机的初始位置，C’为相机经过旋转R和平移T作用后的位置，利用两次不同位置下相机拍摄的图像，分别采取相对应的5个(至少)匹配点，利用五点法可以得到两次相机的位姿差异，结果以旋转量R和相对平移方向的形式给出。
(2)手眼标定(参见文献[2])：手眼标定是指通过求解AX＝XB，从而估计手(这里指平台)和眼(这里指相机)的相对位姿。其中X是眼参考坐标系<RA,tA>和手参考坐标系<RB,tB>的相对位姿关系<RX,tX>(R、t分别代表三个自由度的旋转量和三个自由度的平移量)。通常情况下，精确地手眼标定涉及的工作比较繁琐且受外界工作环境限制较大，而本技术提出了一种无需手眼标定的动态相机重定位新方法，并且可从理论上证明其可靠性和准确性。
对于实际工作需要，存在以下两个重要的困难：
a)未知手眼标定信息：精确的手眼标定消耗成本较大，且在复杂的环境下难以实现，所以本发明需在未知手眼标定的条件下实施；
b)只能获得平移方向：利用五点法计算相机位姿差异，对于三个自由度的旋转量可以准确给出，但对于平移，只能给出基于当前位置的相机相对平移方向，无法获得可靠的平移距离。
参考文献:
[1]D.Nistér.An efficient solution to the five-point relative poseproblem.IEEE TPAMI,26(6):756–770,2004.
[2]Y.Seo,Y.-J.Choi,and S.W.Lee.A branch-and-boundalgorithm forglobally optimal calibration of a camera-and-rotation-sensor system.In ICCV,2009.
发明内容
本发明的目的是为了克服现有技术中的不足，针对多次拍摄相同场景，提供一种无需手眼标定的相机六自由度位姿精确重定位方法，借助成本相对较低的设备，利用相对简单而有效的策略，从而实现对相机的位置和朝向的精确恢复，有效解决了未知手眼标定条件下，相机精确重定位的问题，具有结果精确、操作简单等优点。
本发明的目的是通过以下技术方案实现的：
一种无需手眼标定的相机六自由度位姿精确重定位方法，包括以下步骤：
步骤S1：选择拍摄的目标场景，将相机对准目标场景，调节相机位姿及内部参数使图像清晰，进行首次拍摄得到首次采集图像，并记录相机拍摄的相关参数及拍摄位置信息；
步骤S2：搭建可进行六自由度移动的平台，并将拍摄相机搭载在所述平台上，通过移动平台调整相机的位置及朝向，并调节相机参数与首次拍摄时一致；
步骤S3：利用所述首次采集图像和当前相机位置拍摄得到的当前拍摄图像，通过五点法计算相机位姿差异，得到相机位姿调整的旋转量和平移方向；
步骤S4：控制所述平台按照所述旋转量进行旋转操作；
步骤S5：控制所述平台按照所述平移方向和给定步长进行平移操作；
步骤S6：判断是否满足精度要求，若不满足则重新计算，继续交替进行旋转和平移操作，若满足则成功实现相机精确重定位，结束。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1).重定位精度高。本方法可用于高精度要求的工作，结果的精确性高，对本发明方法进行精确度分析，可以通过计算两次拍摄图像的特征匹配点的坐标差进行估计，另外，与传统的方法相比，如手动进行重定位工作，通过计算单应矩阵得到移动信息进行重定位工作，本方法精度得到了明显的提高。
2).具有严格收敛保证。理论地证明了本次相机位姿在三个自由度的旋转以及三个自由度的平移量上，可以有效地收敛至首次拍摄时的位姿，即实现相机位姿准确恢复。
3).无需手眼标定。重定位前无需进行手眼重新标定，使得设备在不失精度的前提下方便拆卸和重新组装，使操作大幅简化。
4).环境适应能力强。该方法可以用于普通的移动平台和复杂的户外环境，对设备和环境要求较低，适用性广。
5).算法复杂度低、具有实时响应。该方法用于精确重定位，经大量实验统计，在一次精确重定位过程中，迭代次数为13-14次，运行时间为3-5分钟，在精确度保证的前提下，时间消耗很大程度上减少。
附图说明
图1：精确重定位方法流程图；
图2-1为首次拍摄结果图，图2-2为粗略重定位导航图，图2-3为粗略重定位结果图；
图3-1至图3-3均为精确重定位过程图；
图4-1为首次拍摄结果图，图4-2为精确重定位导航图，图4-3为精确重定位结果图；
图5-1至图5-3为特征匹配点位移向量示意图；
图6为六自由度精度对比图；
具体实施方式
下面结合附图对本发明作进一步的描述：
本实施例采用的技术方案为：一种无需手眼标定的相机六自由度位姿精确重定位方法，主要从两个方面进行说明：一是针对实际问题而采取的有效应对策略，二是基于上述策略的精确重定位实现流程步骤。
一、有效应对策略：列举了本发明在实际应用中为克服遇到的困难而采取的简单但有效的策略。
对于实际工作需要，需要克服以下两个重要的困难：
a)未知手眼标定信息：精确的手眼标定消耗成本较大，且在复杂的环境下难以实现，所以本发明需在未知手眼标定的条件下实施；
b)只能获得平移方向：利用五点法计算相机位姿差异，对于三个自由度的旋转量可以准确给出，但对于平移，只能给出基于当前位置的相机相对平移方向，无法获得可靠的平移距离。
针对以上问题，本实施例相对应的给出了有效的解决方案：
a)RA收敛：RX为相机(眼)与平台(手)的标定旋转量，θX为手眼参考坐标系的夹角，在θX≤π/3的条件下，相机(眼)的参考坐标的旋转量RA随移动的次数增加而收敛到相机首次拍摄的旋转量
Figure BDA0001177747920000032
可以从理论上证明，手眼标定即手眼参考坐标系相对位姿关系＜RX,tX＞对本精确重定位方法不产生影响，因此可以简单设定RX＝I,tX＝0，从而平台的旋转量即可由相机的旋转量RA给出。
b)tA折半搜索收敛：五点法计算第i次相机位姿差异
Figure BDA0001177747920000041
对于平移只能给出基于当前位置的相对平移方向不能给出具体移动距离，故采取以下策略：当连续两次移动方向
Figure BDA0001177747920000043
相同
Figure BDA0001177747920000044
时，继续沿此方向移动,并且移动步长不变；当连续两次移动方向
Figure BDA0001177747920000045
不同
Figure BDA0001177747920000046
时，下次沿相反方向移动，并将移动步长减半，最终tA可收敛到相机首次拍摄的旋转量
Figure BDA0001177747920000047
二、相机六自由度位姿精确重定位方法的实现：相机重定位是指根据首次定位时拍摄的图像及记录的相机信息，进行重新恢复相机的位置和朝向的过程，其完整过程包含了准备工作与精确重定位实现两个部分。
(1)准备工作：在精确重定位前，需要做包括首次图像采集，重定位平台搭建以及粗略重定位等准备性工作：
步骤S1：(首次图像采集)拍摄选择目标场景，将相机对准目标场景，调节相机位姿及内部参数使图像清晰，进行首次拍摄，并记录相机拍摄的相关参数及拍摄位置的简要信息。
步骤S2：(设备环境搭建)搭建移动平台，承载拍摄相机，通过记录的首次拍摄位置信息及拍摄图像场景，人为将平台移动至目标位置大体范围内，并调节相机参数与首次拍摄时一致。
步骤S3：(相机粗略重定位)根据首次拍摄图像和当前相机位置采集图像，通过计算单应矩阵，时时地得到相机位姿在六个自由度上的调整信息，手动控制平台进行移动，使相机的位置进入精确重定位平台的移动范围内，如图2-1至图2-3所示。
(2)相机精确重定位：进行精确重定位恢复相机上次拍摄时的位置和朝向，流程图如图1，其执行步骤如下：
步骤S1：载入首次拍摄图像IRef，设定平移步长的初始值s0和最小值smin；
步骤S2：初始化平台为起始位置，初始化参数
Figure BDA0001177747920000048
步骤S3：获得当前相机位置所采集的场景图像，利用五点法，计算当前状态(记为i)与首次拍摄状态(记为Ref)的相机位姿差异，包括旋转量和平移方向，即得到
Figure BDA0001177747920000049
步骤S4：控制平台进行旋转
Figure BDA00011777479200000410
旋转量
Figure BDA00011777479200000411
又RX＝I，故有
Figure BDA00011777479200000412
步骤S5：判断是否满足
Figure BDA00011777479200000413
若满足执行步骤S6，否则执行步骤S7；
步骤S6：控制平台进行平移
Figure BDA00011777479200000414
平移量
Figure BDA00011777479200000415
令i＝i+1，返回执行步骤S3；
步骤S7:令s＝s/2，判断是否满足s≤smin，若满足，则输出当前结果，结束；若不满足，执行步骤S6。
其中图3-1至图3-3均为通过本发明方法精确重定位的过程图；图4-1为首次拍摄结果图，图4-2为精确重定位导航图，图4-3为精确重定位结果图；
本方法可用于高精度要求的工作，结果的精确性高，对本精确重定位方法进行精确度分析，可以通过计算两次拍摄图像的特征匹配点的坐标差进行估计，如图5-1至5-3所示，给出了利用SIFT特征检测(参见文献[D.G.Lowe.Distinctive image features fromscale-invariantkeypoints.IJCV,60(2):91–110,2004.])计算出的匹配点，以及每对匹配点用箭头连接的位移示意图；另外，与传统的方法相比，如手动进行重定位工作，通过计算单应矩阵(参见文献[O.D.Faugeras.Three-Dimensional Computer Vision.MIT Press,Boston MA,1993.])得到移动信息进行重定位工作，本方法精度得到了明显的提高，如图6所示，给出了三种方法在六个自由度的定位结果对比图。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (1)

1.一种无需手眼标定的相机六自由度位姿精确重定位方法，其特征在于，包括以下步骤：
步骤S1：选择拍摄的目标场景，将相机对准目标场景，调节相机位姿及内部参数使图像清晰，进行首次拍摄得到首次采集图像，并记录相机拍摄的相关参数及拍摄位置信息，载入首次拍摄图像IRef，设定平移步长的初始值s0和最小值smin；
步骤S2：搭建可进行六自由度移动的平台，并将拍摄相机搭载在所述平台上，通过移动平台调整相机的位置及朝向，并调节相机参数与首次拍摄时一致，初始化平台为起始位置，初始化参数s＝s0；
步骤S3：利用所述首次采集图像和当前相机位置拍摄得到的当前拍摄图像，通过五点法，计算当前状态(记为i)与首次拍摄状态(记为Ref)的相机位姿差异，包括旋转量和平移方向，即得到
Figure FDA0002112740440000011
步骤S4：控制所述平台按照所述旋转量进行旋转操作，即控制平台进行旋转
Figure FDA0002112740440000012
旋转量
Figure FDA0002112740440000013
又RX＝I，故有
Figure FDA0002112740440000014
并判断是否满足若满足执行步骤S5，否则执行步骤S6；其中手眼标定即手眼参考坐标系相对位姿关系为<RX,tX>；
步骤S5：控制所述平台按照所述平移方向和给定步长进行平移操作，即控制平台进行平移
Figure FDA0002112740440000016
平移量
Figure FDA0002112740440000017
令i＝i+1，返回执行步骤S3；
步骤S6：判断是否满足精度要求，若不满足则重新计算，继续交替进行旋转和平移操作，若满足则成功实现相机精确重定位，结束；令s＝s/2，判断是否满足s≤smin，若满足，则输出当前结果，结束；若不满足，执行步骤S5。
CN201611140264.2A 2016-12-12 2016-12-12 一种无需手眼标定的相机六自由度位姿精确重定位方法 Active CN106595601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611140264.2A CN106595601B (zh) 2016-12-12 2016-12-12 一种无需手眼标定的相机六自由度位姿精确重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611140264.2A CN106595601B (zh) 2016-12-12 2016-12-12 一种无需手眼标定的相机六自由度位姿精确重定位方法

Publications (2)

Publication Number Publication Date
CN106595601A CN106595601A (zh) 2017-04-26
CN106595601B true CN106595601B (zh) 2020-01-07

Family

ID=58597627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611140264.2A Active CN106595601B (zh) 2016-12-12 2016-12-12 一种无需手眼标定的相机六自由度位姿精确重定位方法

Country Status (1)

Country Link
CN (1) CN106595601B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080046A1 (zh) * 2017-10-26 2019-05-02 深圳市大疆创新科技有限公司 惯性测量单元的漂移标定方法、设备及无人飞行器
CN108615248B (zh) * 2018-04-27 2022-04-05 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108682037B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108876854B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN112070831B (zh) * 2020-08-06 2022-09-06 天津大学 一种基于多平面联合位姿估计的主动相机重定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565898B2 (ja) * 2004-06-14 2010-10-20 Ｈｏｙａ株式会社 傾き補正機能を備える３次元物体測量装置
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN103900536A (zh) * 2014-03-10 2014-07-02 天津大学 面向文物亚微米级变化检测的相机三点重定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565898B2 (ja) * 2004-06-14 2010-10-20 Ｈｏｙａ株式会社 傾き補正機能を備える３次元物体測量装置
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN103900536A (zh) * 2014-03-10 2014-07-02 天津大学 面向文物亚微米级变化检测的相机三点重定位方法

Also Published As

Publication number Publication date
CN106595601A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106595601B (zh) 一种无需手眼标定的相机六自由度位姿精确重定位方法
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN107025668B (zh) 一种基于深度相机的视觉里程计的设计方法
Zhang et al. Benefit of large field-of-view cameras for visual odometry
CN109202912B (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN111076733B (zh) 一种基于视觉与激光slam的机器人室内建图方法及系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
WO2018049581A1 (zh) 一种同时定位与地图构建方法
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN107843251B (zh) 移动机器人的位姿估计方法
JP6165745B2 (ja) 車載搭載型のコンピュータ・ベース視覚システムの校正方法
CN110503688A (zh) 一种用于深度相机的位姿估计方法
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN106403924B (zh) 基于深度摄像头的机器人快速定位与姿态估计方法
CN112484746B (zh) 一种基于地平面的单目视觉辅助激光雷达里程计方法
CN110827321A (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN112598729A (zh) 融合激光与相机的目标物体识别与定位方法
CN112132874A (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN105096341A (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN106996769B (zh) 一种无需相机标定的主动式位姿快速重定位方法
Liu et al. A novel camera fusion method based on switching scheme and occlusion-aware object detection for real-time robotic grasping
CN113643338A (zh) 基于融合仿射变换的纹理图像目标定位方法
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant