CN109087360A - 一种机器人相机外参的标定方法 - Google Patents

一种机器人相机外参的标定方法 Download PDF

Info

Publication number
CN109087360A
CN109087360A CN201810636735.1A CN201810636735A CN109087360A CN 109087360 A CN109087360 A CN 109087360A CN 201810636735 A CN201810636735 A CN 201810636735A CN 109087360 A CN109087360 A CN 109087360A
Authority
CN
China
Prior art keywords
robot
camera
characteristic
pose
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810636735.1A
Other languages
English (en)
Inventor
支涛
陈绍红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201810636735.1A priority Critical patent/CN109087360A/zh
Publication of CN109087360A publication Critical patent/CN109087360A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

公开了一种机器人相机外参的标定方法，包括：选取室内一个特征部分，将与所述特征部分的宽度一致的正方形棋盘格粘贴在所述特征部分表面；利用机器人激光定位系统建立室内地图，其中包含所述特征部分，并计算出所述特征部分在室内地图中的位姿；移动机器人以不同的角度和位置对准所述特征部分，并基于所述机器人激光定位系统确定室内地图中的位姿；计算所述特征部分在相机坐标系中的位姿；确定机器人的相机外参。根据本发明的机器人相机外参的标定方法利用成熟高精度的激光传感器定位算法，与机器人的相机扫描同一特征，最后计算出因生产、加工、安装导致的相机外参误差，计算精度高，在实验室内特征明显的地方计算效果尤其显著。

Description

一种机器人相机外参的标定方法
技术领域
本发明涉及机器视觉，更具体地，涉及一种机器人相机外参的标定方法。
背景技术
相机在机器人导航、避障、回充等方面起着重要的作用。相机在使用前需要标定内参和外参。相机的内参指的是相机成像与相机坐标系之间的关系，包括焦距，单位像素对应物理世界的长度和宽度、图像中心在成像平面的坐标、畸变系数。相机的外参指的是：相机坐标系与外界坐标系的相对位置、姿态。相机的内参可以通过棋盘格等传统方法单独标定出来。
相机安装在机器人上，因此其外参指的是相机坐标系相对机器人本体坐标系的位置和姿态。外参一般是在设计机器人的结构时就设计出来的，但由于生产、加工、安装等因素导致相机相对机器人的位置和姿态与设计值有所偏差。直接使用设计值极可能会导致严重的误差。因此，有必要开发一种准确率高的机器人相机外参的标定方法。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种机器人的相机外参的标定方法。
根据本发明的机器人相机外参的标定方法包括：
1)选取室内一个特征部分，将与所述特征部分的宽度一致的正方形棋盘格粘贴在所述特征部分表面；
2)利用机器人激光定位系统建立室内地图，其中包含所述特征部分，并计算出所述特征部分在室内地图中的位姿；
3)移动机器人以不同的角度和位置对准所述特征部分，并基于所述机器人激光定位系统确定机器人在步骤2)所建立的室内地图中的位姿；
4)机器人在步骤3)中的每个角度和位置对所述特征部分进行拍照，并计算所述特征部分在相机坐标系中的位姿；
5)基于所述特征部分在地图中的位姿、所述特征部分在相机坐标系中的位姿以及机器人在室内地图中的位姿确定机器人的相机外参。
优选地，通过以下公式计算机器人的相机外参：
其中，为所述特征部分在地图中的位姿，为机器人在室内地图中的位姿，为所述特征部分在相机坐标系中的位姿。
优选地，所述方法还包括：将机器人移动到不同位置和角度后重复多次执行步骤1)-6)进行机器人的相机外参计算，之后进行求平均或者卡尔曼滤波计算来确定机器人的相机外参。
优选地，所选取的室内的特征部分为室内墙壁的突出部分。
优选地，基于所述正方形棋盘格标定出机器人的相机内参。
优选地，利用张正友标定法对相机的内参进行标定。
根据本发明的机器人相机外参的标定方法利用成熟高精度的激光传感器定位算法，与机器人的相机扫描同一特征，最后计算出因生产、加工、安装导致的相机外参误差，计算精度高，在实验室内特征明显的地方计算效果尤其显著。
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1为根据本发明的示例性实施方案的机器人相机外参的标定方法的流程图；
图2为根据本发明的示例性实施方案的机器人相机外参的标定方法的计算原理图。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
以下参考图1详细描述根据本发明示例性实施例的机器人相机外参的标定方法的方法。
如图1所述，该方法主要包括以下步骤：
步骤1：选取室内一个特征部分，将与所述特征部分的宽度一致的正方形棋盘格粘贴在所述特征部分表面。
在室内寻找一处明显的特征，例如墙壁的突出部分。优选选择以矩形形状突出并且表面平整光滑的墙壁突出部分。按照所测量的墙壁突出部分的尺寸(宽度)打印同等尺寸的正方形的棋盘格并粘贴在墙壁突出部分的表面。
步骤2：利用机器人激光定位系统建立室内地图，其中包含所述特征部分，并计算出所述特征部分在室内地图中的位姿。
机器人上通常设置有激光定位系统，目前激光传感器定位算法已经很成熟且计算精度高。
利用激光传感器扫描室内墙壁，通过激光定位系统建立室内地图。
图2为根据本发明的示例性实施方案的机器人相机外参的标定方法的计算原理图。如图2所示，图中左侧为室内墙壁的俯视图，坐标系m表示地图坐标系，b表示机器人坐标系，机器人所面对的直线为障碍物(墙壁)，直线中突出的一段(加粗部分)为选取的特征f，灰色区域为激光传感器扫描区域。右侧f为竖直平面内看到的与特征尺寸相当的棋盘格，c为相机坐标系，灰色平面为成像平面，灰色平面中的棋盘格为棋盘格的成像。
机器人的激光传感器扫描包含特征部分f的墙壁，建立包含所述特征部分的室内地图，并基于所建立的室内地图计算所述特征部分在地图中的位姿
步骤3：移动机器人以不同的角度和位置对准所述特征部分，并基于所述机器人激光定位系统确定机器人在步骤2所建立的室内地图中的位姿。
可以通过以下方式获得机器人在所建立的室内地图中的位姿：
机器人读取自身的里程计，获得自身的里程计位置。激光传感器在机器人上的安装位置可以结合厂家配套软件调试得出，这样激光扫描出的点就能统一到里程计位置所在的坐标系中。移动机器人同时利用激光传感器扫描环境，建立环境地图，例如可以通过运行slam算法建立环境地图。机器人在移动过程中，由里程计输出位置信息，同时通过激光定位算法根据激光扫描点与环境的匹配对里程计位置进行校正，这样就可以得到机器人在室内地图中的位姿。
如果初始位置未知，可以先人工校正到一个大概位置，再移动机器人，激光定位算法很快就能收敛到比较准的位姿。
本领域技术人员应当理解，可以通过任意适当的方式获得机器人在所建立的室内地图中的位姿，并不限于以上所述的方法。
步骤4：机器人在步骤3中的每个角度和位置对所述特征部分进行拍照，并计算所述特征部分在相机坐标系中的位姿。
利用机器人的相机在不同的角度和位置对所述特征部分(棋盘格)进行拍照，利用现有的标定程序计算相机内参和外参，外参即特征部分相对相机坐标系的位姿，同时记录拍摄每张图片时机器人在地图中的位姿。
其中，相机的内参通过粘贴在所述特征部分表面的棋盘格进行标定。例如利用张正友标定法(Zhang,Zhengyou-《IEEE Transactions on Pattern Analysis&MachineIntelligence》-2000)。
标定步骤如下：
利用相机从不同角度和位置对棋盘格(假设尺寸为X，Y)进行拍照，并保存图片；
读取图像，进行图像角点检测(黑白方块交叉点)，得出(X，Y)对应的像素点(u，v)；
利用OpenCV或者自编软件计算相机内参和每张图片对应的相机外参。
以所述棋盘格为相机的标定靶标，相机的标定涉及3个坐标系：世界坐标系OXYZ，在标定时可假设OXY位于靶标平面所在平面；相机坐标系oxyz(原点位于相机镜头的光心，xy轴分别平行于成像平面的横轴和纵轴，z轴垂直于成像平面)；成像坐标系uov。
图像上像素点(u,v)映射到相机坐标系的点(x，y，z)、世界坐标系的点(X，Y，Z)的映射关系如下：
其中，s表示尺度因子，Sx,Sy表示单位像素长度和宽度，r表示相机畸变系数、u0,v0表示相机坐标系原点在成像坐标系的像素位置，以上即相机内参K1。
R,T分别表示相机坐标系到世界坐标系的旋转矩阵和平移矩阵，以上即相机外参K2。
定义成像平面位于世界坐标系的Z＝0的平面内，则：
X、Y作为标定物的尺寸是已知的，(u,v)为成像像素也是可以测量的，未知参数为内参K1，外参r1、r2、T。
在不同角度和位置对标定靶标进行拍照，每张图片可以提供4个点，(X,Y)与(u,v)，即可计算出K1[r1 r2 T]。令H＝[h1 h2 h3]＝K1[r1 r2 T]，由于旋转矩阵R为旋转矩阵，r1 Tr2＝0,则可得：
利用公式(4)可计算出K1各元素即相机内参；进一步，可以计算出每张图片的外参K2：
步骤5：基于所述特征部分在地图中的位姿、所述特征部分在相机坐标系中的位姿以及机器人在室内地图中的位姿确定机器人的相机外参。
具体地，通过以下公式计算机器人的相机外参：
其中，为所述特征部分在地图中的位姿，为机器人在室内地图中的位姿，为所述特征部分在相机坐标系中的位姿。
在一个示例中，该方法还包括：将机器人移动到不同位置和角度后重复多次执行步骤1-6进行机器人的相机外参计算，之后进行求平均或者卡尔曼滤波计算来确定机器人的相机外参，以提高计算的精度。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种机器人相机外参的标定方法，其特征在于，包括：
1)选取室内一个特征部分，将与所述特征部分的宽度一致的正方形棋盘格粘贴在所述特征部分表面；
2)利用机器人激光定位系统建立室内地图，其中包含所述特征部分，并计算出所述特征部分在室内地图中的位姿；
3)移动机器人以不同的角度和位置对准所述特征部分，并基于所述机器人激光定位系统确定机器人在步骤2)所建立的室内地图中的位姿；
4)机器人在步骤3)中的每个角度和位置对所述特征部分进行拍照，并计算所述特征部分在相机坐标系中的位姿；
5)基于所述特征部分在地图中的位姿、所述特征部分在相机坐标系中的位姿以及机器人在室内地图中的位姿确定机器人的相机外参。
2.根据权利要求1所述的机器人相机外参的标定方法，其特征在于，通过以下公式计算机器人的相机外参：
其中，为所述特征部分在地图中的位姿，为机器人在室内地图中的位姿，为所述特征部分在相机坐标系中的位姿。
3.根据权利要求1所述的机器人相机外参的标定方法，其特征在于，还包括：将机器人移动到不同位置和角度后重复多次执行步骤1)-6)进行机器人的相机外参计算，之后进行求平均或者卡尔曼滤波计算来确定机器人的相机外参。
4.根据权利要求1所述的机器人相机外参的标定方法，其特征在于，所选取的室内的特征部分为室内墙壁的突出部分。
5.根据权利要求1所述的机器人相机外参的标定方法，其特征在于，基于所述正方形棋盘格标定出机器人的相机内参，然后根据得到的内参计算每张图片对应的棋盘格在相机坐标系中的位姿。
6.根据权利要求5所述的机器人相机外参的标定方法，其特征在于，利用张正友标定法对相机的内参进行标定。
CN201810636735.1A 2018-06-20 2018-06-20 一种机器人相机外参的标定方法 Pending CN109087360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810636735.1A CN109087360A (zh) 2018-06-20 2018-06-20 一种机器人相机外参的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810636735.1A CN109087360A (zh) 2018-06-20 2018-06-20 一种机器人相机外参的标定方法

Publications (1)

Publication Number Publication Date
CN109087360A true CN109087360A (zh) 2018-12-25

Family

ID=64840094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810636735.1A Pending CN109087360A (zh) 2018-06-20 2018-06-20 一种机器人相机外参的标定方法

Country Status (1)

Country Link
CN (1) CN109087360A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN110207722A (zh) * 2019-06-11 2019-09-06 远形时空科技（北京）有限公司 一种自动化标定相机里程计系统及方法
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN113687336A (zh) * 2021-09-09 2021-11-23 北京斯年智驾科技有限公司 一种雷达标定方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN107256568A (zh) * 2017-05-08 2017-10-17 西安交通大学 一种高精度机械臂手眼相机标定方法及标定系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN107256568A (zh) * 2017-05-08 2017-10-17 西安交通大学 一种高精度机械臂手眼相机标定方法及标定系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN109976344B (zh) * 2019-03-30 2022-05-27 南京理工大学 巡检机器人姿态矫正方法
CN110207722A (zh) * 2019-06-11 2019-09-06 远形时空科技（北京）有限公司 一种自动化标定相机里程计系统及方法
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN113687336A (zh) * 2021-09-09 2021-11-23 北京斯年智驾科技有限公司 一种雷达标定方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
CN109087360A (zh) 一种机器人相机外参的标定方法
CN106990776B (zh) 机器人归航定位方法与系统
CN112669393A (zh) 一种激光雷达与相机联合标定方法
Strobl et al. More accurate pinhole camera calibration with imperfect planar target
Collins et al. Calibration of an outdoor active camera system
CN107256568B (zh) 一种高精度机械臂手眼相机标定方法及标定系统
CN109454634A (zh) 一种基于平面图像识别的机器人手眼标定方法
CN109242915A (zh) 基于多面立体靶标的多相机系统标定方法
JP2008014940A (ja) 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
Xie et al. Infrastructure based calibration of a multi-camera and multi-lidar system using apriltags
CN113763479B (zh) 一种折反射全景相机与imu传感器的标定方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
An et al. Building an omnidirectional 3-D color laser ranging system through a novel calibration method
CN110488838B (zh) 一种室内自主导航机器人精确重复定位方法
CN112161586A (zh) 一种基于编码棋盘格的线结构光视觉传感器标定方法
CN111325800A (zh) 一种单目视觉系统俯仰角标定方法
CN110243375A (zh) 一种同时构建二维地图和三维地图的方法
CN112258583A (zh) 基于等畸变量分区的近景图像畸变标定方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN113409396A (zh) 一种adas单目相机的标定方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
WO2019237433A1 (zh) 扫地机器人的摄像头与里程计坐标标定方法及系统
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN111710002B (zh) 一种基于Optitrack系统的相机外参标定方法
CN109712200B (zh) 一种基于最小二乘原理及边长推算的双目定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225

RJ01 Rejection of invention patent application after publication