CN109341718A - 基于多目视觉的标定方法和装置 - Google Patents

基于多目视觉的标定方法和装置 Download PDF

Info

Publication number
CN109341718A
CN109341718A CN201811129015.2A CN201811129015A CN109341718A CN 109341718 A CN109341718 A CN 109341718A CN 201811129015 A CN201811129015 A CN 201811129015A CN 109341718 A CN109341718 A CN 109341718A
Authority
CN
China
Prior art keywords
real
cam
binocular camera
coordinate system
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811129015.2A
Other languages
English (en)
Other versions
CN109341718B (zh
Inventor
张浦
侯明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wei Wei Intelligent Technology Co Ltd
Original Assignee
Beijing Wei Wei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wei Wei Intelligent Technology Co Ltd filed Critical Beijing Wei Wei Intelligent Technology Co Ltd
Priority to CN201811129015.2A priority Critical patent/CN109341718B/zh
Publication of CN109341718A publication Critical patent/CN109341718A/zh
Application granted granted Critical
Publication of CN109341718B publication Critical patent/CN109341718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本说明书提供一种于多目视觉的标定方法和装置，其中该方法包括：将第一双目相机与第二双目相机设置为近90°交叉；通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面；通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标；根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到第一双目相机和第二双目相机自身相对于机械臂的RT坐标转换矩阵；通过补偿后的变换矩阵得到机械臂的第一世界坐标系，通过RT_B′得到机械臂的第二世界坐标系，将第一世界坐标系和第二世界坐标系进行融合得到手眼标定识别坐标。

Description

基于多目视觉的标定方法和装置
技术领域
本说明书涉及机器视觉技术领域，特别涉及一种基于多目视觉的标定方法和装置。
背景技术
双目视觉系统在实际应用时，在光轴的纵深方向存在较大的识别误差，通过提高相机像素以及瞳距依然会有局限，导致在光轴的纵深方向误差要远远大于对应正交于光轴的二维平面。
发明内容
有鉴于此，本说明书实施例提供了一种基于多目视觉的标定方法和装置，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种基于多目视觉的标定方法，包括：
将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含nxn的点阵，n为不小于3的整数；
通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
可选的，所述对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)包括：
步骤a：分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点：
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
步骤b：将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
步骤c：将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`，通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
步骤d：将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
步骤e：将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
步骤f：重复步骤b至e直至修正后的RT_A’，RT_B’的变化增量小于第二设定值。
可选的，所述标定物为自发光物体。
可选的，所述自发光物体为自发光绿色圆锥体。
可选的，当双目相机的数目大于2个时，将任意两个双目相机分别作为所述第一双目相机和所述第二双目相机，采用所述的步骤进行两两迭代补偿。
根据本说明书实施例的第二方面，还提供一种基于多目视觉的标定装置，包括：
相机设置模块，被配置为将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
坐标系设置模块，被配置为将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
机械臂控制模块，被配置为通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含nxn的点阵，n为不小于3的整数；
坐标获取模块，被配置为通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
转换矩阵获取模块，被配置为根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
迭代补偿模块，被配置为对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
坐标融合模块，被配置为通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
可选的，所述迭代补偿模块包括：
坐标点生成单元，被配置为分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点：
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
坐标系转换单元，被配置为将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
世界坐标计算单元，被配置为将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`；通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
所述坐标系转换单元进一步被配置为将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
误差补偿单元，被配置为将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
判断单元，被配置为判断修正后的RT_A’，RT_B’的变化增量是否小于第二设定值。
可选的，所述标定物为自发光物体。
可选的，所述自发光物体为自发光绿色圆锥体。
可选的，当摄像头的数目大于2个时，将任意两个摄像头分别作为所述第一摄像头和所述第二摄像头，采用所述的模块进行两两迭代补偿。
本说明书实施例通过多组双目摄像机，以交叉视角，将单个双目视觉系统在相机光轴深度方向上存在的误差进行互补式纠正，以减小该双目视觉系统在整个三维空间内的整体误差，能够有效减少双目立体视觉在三维空间范围内的整体误差，使误差在任一有效空间位置都能提供准确的定位精度。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出了根据本说明书一实施例的机械臂及多目视觉系统的位置关系图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
如图1所示，根据本说明书一实施例的基于多目视觉的标定方法，包括：
将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含nxn的点阵，n为不小于3的整数；
通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
一种实现方式中，所述对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)包括：
步骤a：分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点：
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
步骤b：将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
步骤c：将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`，通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
步骤d：将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
步骤e：将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
步骤f：重复步骤b至e直至修正后的RT_A’，RT_B’的变化增量小于第二设定值。
一种实现方式中，所述标定物为自发光物体。
一种实现方式中，所述自发光物体为自发光绿色圆锥体。
一种实现方式中，当双目相机的数目大于2个时，将任意两个双目相机分别作为所述第一双目相机和所述第二双目相机，采用权利要求1所述的步骤进行两两迭代补偿。
与前述方法相对应，本说明书还提供了装置实施例，所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，本说明书的装置所在设备的一种硬件结构可以包括处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常根据实际功能，还可以包括其他硬件，对此不再赘述。
本说明书一实施例提供的装置包括：
相机设置模块，被配置为将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
坐标系设置模块，被配置为将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
机械臂控制模块，被配置为通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含nxn的点阵，n为不小于3的整数；
坐标获取模块，被配置为通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
转换矩阵获取模块，被配置为根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
迭代补偿模块，被配置为对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
坐标融合模块，被配置为通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
一种实现方式中，所述迭代补偿模块包括：
坐标点生成单元，被配置为分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点；
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
坐标系转换单元，被配置为将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
世界坐标计算单元，被配置为将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`；通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
所述坐标系转换单元进一步被配置为将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
误差补偿单元，被配置为将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
判断单元，被配置为判断修正后的RT_A’，RT_B’的变化增量是否小于第二设定值。
一种实现方式中，所述标定物为自发光物体。
一种实现方式中，所述自发光物体为自发光绿色圆锥体。
一种实现方式中，当摄像头的数目大于2个时，将任意两个摄像头分别作为所述第一摄像头和所述第二摄像头，采用所述的模块进行两两迭代补偿。
本说明书实施例通过多组双目摄像机，进行互相误差纠正，能够有效减少双目立体视觉在三维空间范围内的整体误差，使误差在任一有效空间位置都能提供准确的定位精度。
上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书一实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述的方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述的方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。
其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于多目视觉的标定方法，其特征在于，包括：
将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含n x n的点阵，n为不小于3的整数；
通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
2.根据权利要求1所述的方法，其特征在于，所述对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)包括：
步骤a：分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点：
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
步骤b：将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
步骤c：将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`；通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
步骤d：将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
步骤e：将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
步骤f：重复步骤b至e直至修正后的RT_A’，RT_B’的变化增量小于第二设定值。
3.根据强烈要求1所述的方法，其特征在于，所述标定物为自发光物体。
4.根据权利要求3所述的方法，其特征在于，所述自发光物体为自发光绿色圆锥体。
5.根据权利要求1所述的方法，其特征在于，当双目相机的数目大于2个时，将任意两个双目相机分别作为所述第一双目相机和所述第二双目相机，采用权利要求1所述的步骤进行两两迭代补偿。
6.一种基于多目视觉的标定装置，其特征在于，包括：
相机设置模块，被配置为将第一双目相机与第二双目相机设置为近90°交叉，其中所述近90°交叉是指交叉视角与90°的差值的绝对值小于第一设定值；
坐标系设置模块，被配置为将机械臂的自定义坐标系设定为平行于所述第一双目相机的坐标系；
机械臂控制模块，被配置为通过机械臂的执行器夹持一标定物，控制机械臂在空间移动相互平行的三个二维平面，每个平面包含n x n的点阵，n为不小于3的整数；
坐标获取模块，被配置为通过所述第一双目相机和所述第二双目相机获分别在每个点位获取所述标定物顶点的空间坐标，设定机械臂坐标为(X_arm，Y_arm，Z_arm)，第一双目相机的坐标系为(X_cam_A，Y_cam_A，Z_cam_A)，所述第二双目相机的坐标系为(X_cam_B，Y_cam_B，Z_cam_B)，且存在，X_arm平行于X_cam_A，Y_arm平行于Y_cam_A，Z_arm平行于Z_cam_A；
转换矩阵获取模块，被配置为根据所述第一双目相机、所述第二双目相机在每个点位所获取的标定物的顶点坐标和机械臂的真实移动点阵坐标，分别得到所述第一双目相机和所述第二双目相机自身相对于机械臂的RT坐标转换矩阵(RT_A，RT_B)；
迭代补偿模块，被配置为对所述RT坐标转换矩阵(RT_A，RT_B)进行交叉迭代补偿，得到补偿后的变换矩阵(RT_A’和RT_B’)；
坐标融合模块，被配置为通过RT_A’得到机械臂的第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，通过RT_B’得到机械臂的第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，将所述第一世界坐标系(X_real_A，Y_real_A，Z_real_A)和所述第二世界坐标系(X_real_B，Y_real_B，Z_real_B进行融合得到手眼标定识别坐标(X_real_A，Y_real_B，Z_real_A)。
7.根据权利要求6所述的装置，其特征在于，所述迭代补偿模块包括：
坐标点生成单元，被配置为分别根据所述第一双目相机和所述第二双目相机的RT坐标转换矩阵生成机械臂的世界坐标系坐标点：
根据所述第一双目相机的坐标转换矩阵生成第一世界坐标系(X_real_A，Y_real_A，Z_real_A)，
根据所述第二双目相机的坐标转换矩阵生成第二世界坐标系(X_real_B，Y_real_B，Z_real_B)，
假定所述第一双目相机的Y为自身光轴方向，且存在误差，所述第二双目相机和所述第一双目相机成近90°交叉，所述第二双目相机的X为自身光轴方向，且存在误差；.
坐标系转换单元，被配置为将(X_real_B，Y_real_B，Z_real_B)通过RT_A转换为所述第一双目相机的像机坐标系(X_cam_B2A，Y_cam_B2A，Z_cam_B2A)；
世界坐标计算单元，被配置为将原始(X_cam_A，Y_cam_A，Z_arm_A)中存在误差的光轴方向Y_cam替换为所述第二双目相机的转换后的Y_cam_B2A，并再次求得RT_A`；通过RT_A`求得世界坐标系下(X_real_A`，Y_real_A`，Z_real_A`)；
所述坐标系转换单元进一步被配置为将(X_real_A`，Y_real_A`，Z_real_A`)通过RT_B转换为所述第二双目相机的像机坐标系(X_cam_A2B，Y_cam_A2B，Z_cam_A2B)；
误差补偿单元，被配置为将原始(X_cam_B，Y_cam_B，Z_arm_B)中存在误差的光轴方向Y_cam，替换为所述第一双目相机的转换后的Y_cam_A2B，并再次求得RT_B`；通过RT_B`求得世界坐标系下(X_real_B`，Y_real_B`，Z_real_B`)；
判断单元，被配置为判断修正后的RT_A’，RT_B’的变化增量是否小于第二设定值。
8.根据强烈要求6所述的装置，其特征在于，所述标定物为自发光物体。
9.根据权利要求8所述的装置，其特征在于，所述自发光物体为自发光绿色圆锥体。
10.根据权利要求6所述的装置，其特征在于，当摄像头的数目大于2个时，将任意两个摄像头分别作为所述第一摄像头和所述第二摄像头，采用权利要求6所述的模块进行两两迭代补偿。
CN201811129015.2A 2018-09-27 2018-09-27 基于多目视觉的标定方法和装置 Active CN109341718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811129015.2A CN109341718B (zh) 2018-09-27 2018-09-27 基于多目视觉的标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811129015.2A CN109341718B (zh) 2018-09-27 2018-09-27 基于多目视觉的标定方法和装置

Publications (2)

Publication Number Publication Date
CN109341718A true CN109341718A (zh) 2019-02-15
CN109341718B CN109341718B (zh) 2020-12-29

Family

ID=65307139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811129015.2A Active CN109341718B (zh) 2018-09-27 2018-09-27 基于多目视觉的标定方法和装置

Country Status (1)

Country Link
CN (1) CN109341718B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949228A (zh) * 2019-03-14 2019-06-28 北京航空航天大学 一种光学透视的ar眼镜的在线标定装置及方法
CN110378956A (zh) * 2019-07-23 2019-10-25 招商局重庆交通科研设计院有限公司 用于隧道灯清洁的隧道灯具定位方法及系统
CN110906863A (zh) * 2019-10-30 2020-03-24 成都绝影智能科技有限公司 一种用于线结构光传感器的手眼标定系统及标定方法
CN111452045A (zh) * 2020-03-30 2020-07-28 北京伟景智能科技有限公司 一种基于立体视觉的钢筋识别标记系统和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272414A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
CN104182982A (zh) * 2014-08-27 2014-12-03 大连理工大学 双目立体视觉摄像机标定参数的整体优化方法
CN105469418A (zh) * 2016-01-04 2016-04-06 中车青岛四方机车车辆股份有限公司 基于摄影测量的大视场双目视觉标定装置及方法
CN107256569A (zh) * 2017-06-08 2017-10-17 爱佩仪中测（成都）精密仪器有限公司 基于双目视角的三维测量双摄像机标定方法
CN107471218A (zh) * 2017-09-07 2017-12-15 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN107909616A (zh) * 2017-12-14 2018-04-13 元橡科技（北京）有限公司 一种双目视觉系统的自动矫正方法
CN107917666A (zh) * 2016-10-09 2018-04-17 上海铼钠克数控科技股份有限公司 双目视觉装置及坐标标定方法
CN108044651A (zh) * 2017-10-19 2018-05-18 北京航空航天大学 一种基于双目视觉的空间机械臂运动学参数在轨标定方法
CN108297100A (zh) * 2018-02-11 2018-07-20 广州视源电子科技股份有限公司 机械臂参数标定方法、装置和系统、机械臂

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272414A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
CN104182982A (zh) * 2014-08-27 2014-12-03 大连理工大学 双目立体视觉摄像机标定参数的整体优化方法
CN105469418A (zh) * 2016-01-04 2016-04-06 中车青岛四方机车车辆股份有限公司 基于摄影测量的大视场双目视觉标定装置及方法
CN107917666A (zh) * 2016-10-09 2018-04-17 上海铼钠克数控科技股份有限公司 双目视觉装置及坐标标定方法
CN107256569A (zh) * 2017-06-08 2017-10-17 爱佩仪中测（成都）精密仪器有限公司 基于双目视角的三维测量双摄像机标定方法
CN107471218A (zh) * 2017-09-07 2017-12-15 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN108044651A (zh) * 2017-10-19 2018-05-18 北京航空航天大学 一种基于双目视觉的空间机械臂运动学参数在轨标定方法
CN107909616A (zh) * 2017-12-14 2018-04-13 元橡科技（北京）有限公司 一种双目视觉系统的自动矫正方法
CN108297100A (zh) * 2018-02-11 2018-07-20 广州视源电子科技股份有限公司 机械臂参数标定方法、装置和系统、机械臂

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王朋强: "基于双目视觉的机械臂目标定位与抓取", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949228A (zh) * 2019-03-14 2019-06-28 北京航空航天大学 一种光学透视的ar眼镜的在线标定装置及方法
CN110378956A (zh) * 2019-07-23 2019-10-25 招商局重庆交通科研设计院有限公司 用于隧道灯清洁的隧道灯具定位方法及系统
CN110906863A (zh) * 2019-10-30 2020-03-24 成都绝影智能科技有限公司 一种用于线结构光传感器的手眼标定系统及标定方法
CN110906863B (zh) * 2019-10-30 2022-01-28 成都绝影智能科技有限公司 一种用于线结构光传感器的手眼标定系统及标定方法
CN111452045A (zh) * 2020-03-30 2020-07-28 北京伟景智能科技有限公司 一种基于立体视觉的钢筋识别标记系统和方法
CN111452045B (zh) * 2020-03-30 2024-01-30 北京伟景智能科技有限公司 一种基于立体视觉的钢筋识别标记系统和方法

Also Published As

Publication number Publication date
CN109341718B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109341718A (zh) 基于多目视觉的标定方法和装置
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN111540004B (zh) 单相机极线校正方法及装置
US10924729B2 (en) Method and device for calibration
CN107223269B (zh) 三维场景定位方法和装置
US10726580B2 (en) Method and device for calibration
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN108489398B (zh) 一种广角场景下激光加单目视觉测量三维坐标的方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN107038753B (zh) 立体视觉三维重建系统及方法
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN109974623A (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN109544643A (zh) 一种摄像机图像校正方法及装置
CN109658497B (zh) 一种三维模型重建方法及装置
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
CN110276774A (zh) 物体的绘图方法、装置、终端和计算机可读存储介质
CN112102401B (zh) 一种目标定位方法、装置、系统、设备及存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN115546289A (zh) 一种基于机器人的复杂结构件三维形貌测量方法
CN107067441B (zh) 摄像机标定方法及装置
CN115719387A (zh) 3d相机标定方法、点云图像获取方法及相机标定系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Chen Shiqian, Beijing Branch Intellectual Property Agency (General Partnership)

Document name: Notification of Passing Examination on Formalities

DD01 Delivery of document by public notice
GR01 Patent grant
GR01 Patent grant