CN107917666A - 双目视觉装置及坐标标定方法 - Google Patents

双目视觉装置及坐标标定方法 Download PDF

Info

Publication number
CN107917666A
CN107917666A CN201610882688.XA CN201610882688A CN107917666A CN 107917666 A CN107917666 A CN 107917666A CN 201610882688 A CN201610882688 A CN 201610882688A CN 107917666 A CN107917666 A CN 107917666A
Authority
CN
China
Prior art keywords
coordinate
world
camera
salient point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610882688.XA
Other languages
English (en)
Inventor
周冠兴
安杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI LYNUC CNC TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI LYNUC CNC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI LYNUC CNC TECHNOLOGY Co Ltd filed Critical SHANGHAI LYNUC CNC TECHNOLOGY Co Ltd
Priority to CN201610882688.XA priority Critical patent/CN107917666A/zh
Publication of CN107917666A publication Critical patent/CN107917666A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Abstract

本发明公开了一种双目视觉装置及坐标标定方法，双目视觉装置设置于机械手臂的工具上，包括第一摄像头和第二摄像头，均对凸点进行拍摄；还包括：参数标定模块，获取两个摄像头的标定参数；第一坐标转换模块，将第一摄像头拍摄的凸点坐标转换为第一世界坐标、将原点坐标转换为第二世界坐标；将第二摄像头拍摄的凸点坐标转换为第三世界坐标、将原点坐标转换为第四世界坐标；坐标计算模块，计算凸点在世界坐标系中的第一凸点坐标；第二坐标转换模块，将第一凸点坐标转换为在机械手臂的工具坐标系中的第二凸点坐标。本发明通过两部摄像机拍摄放置手机的工件上的凸点的照片，精确地得出凸点的具体坐标，精准地控制机械手臂将手机移动至凸点限定区域。

Description

双目视觉装置及坐标标定方法
技术领域
本发明涉及一种双目视觉装置及坐标标定方法。
背景技术
现有技术中对于放置手机的工件上的三个凸点(用于对手机进行限位)，并不能非常精确地确定三个凸点的具体坐标，导致无法精准地控制机械手臂将手机移动至三个凸点限定的区域内，导致手机被移动时可能会与凸点接触造成刮擦，影响手机质量。
发明内容
本发明要解决的技术问题是为了克服现有技术中不能非常精确地确定放置手机的工件上三个凸点的具体坐标的缺陷，提供一种双目视觉装置及坐标标定方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种双目视觉装置，其特点在于，所述双目视觉装置设置于机械手臂的工具上，所述双目视觉装置包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头均高于所述机械手臂的工具的末端点，所述第一摄像头和所述第二摄像头之间呈一夹角，所述第一摄像头和所述第二摄像头均用于对凸点进行拍摄；
所述双目视觉装置还包括：
参数标定模块，用于获取所述第一摄像头和所述第二摄像头的标定参数；
第一坐标转换模块，用于将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
坐标计算模块，用于计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
第二坐标转换模块，用于将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标。
较佳地，所述双目视觉装置还包括：
控制模块，用于控制所述机械手臂的工具移动至所述第二凸点坐标位置处。
较佳地，所述标定参数包括内参数、外参数和畸变参数。
较佳地，所述凸点的数量为三个。
本发明的目的在于还提供了一种坐标标定方法，其特点在于，其利用上述的双目视觉装置实现，包括以下步骤：
所述第一摄像头和所述第二摄像头均对凸点进行拍摄；
获取所述第一摄像头和所述第二摄像头的标定参数；
将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标。
较佳地，所述坐标标定方法还包括：控制所述机械手臂的工具移动至所述第二凸点坐标位置处。
较佳地，所述标定参数包括内参数、外参数和畸变参数。
较佳地，所述凸点的数量为三个。
本发明的积极进步效果在于：本发明通过两部摄像机拍摄放置手机的工件上的凸点的照片，经过计算后可以得出凸点的具体坐标，从而可以非常精确地确定凸点坐标，进而可以精准地控制机械手臂将手机移动至三个凸点限定的区域内，避免手机被移动至工件位置处时与凸点接触，保障了手机的质量。
附图说明
图1为本发明的较佳实施例的双目视觉装置的部分结构示意图。
图2为本发明的较佳实施例的双目视觉装置的模块示意图。
图3为本发明的较佳实施例的坐标标定方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的双目视觉装置1设置于机械手臂的工具2上，所述双目视觉装置1包括第一摄像头11和第二摄像头12，所述第一摄像头11和所述第二摄像头12均高于所述机械手臂的工具2的末端点，并且在机械手臂的工具运动时所述第一摄像头11和所述第二摄像头12不会对其产生干涉；
所述第一摄像头11和所述第二摄像头12之间呈一夹角，具体角度不作特殊限制，所述第一摄像头11和所述第二摄像头12均用于对放置手机的工件3上的凸点进行拍摄，具体凸点数量为三个，因此，需要确保所述第一摄像头11和所述第二摄像头12都能获取凸点的清晰成像。
如图2所示，本发明的双目视觉装置1包括参数标定模块13、第一坐标转换模块14、坐标计算模块15、第二坐标转换模块16以及控制模块17；
其中，所述参数标定模块13用于获取所述第一摄像头和所述第二摄像头的标定参数；本发明中具体采用“张正友标定”的标定法，获取的标定参数包括内参数、外参数以及畸变参数，具体如下：
内参数：(fx，fy，cx，cy)；
外参数：旋转矩阵(Rotation)和平移矩阵(Translation)；
畸变参数：(k1，k2，k3，k4)；
下面对本发明所涉及的各个坐标系进行介绍：
世界坐标系(B)；
机械手臂的腕部坐标系(W)；
机械手臂的工具坐标系(T)；
第一摄像头的坐标系(C1)；
第二摄像头的坐标系(C2)；
屏幕坐标系(S)；
所述第一坐标转换模块14则可以实现其他各个坐标系到世界坐标系的转换，具体地：
1、机械手臂的腕部坐标系(W)到世界坐标系(B)的转换：
根据机械手臂的结构特性可以得到机械手臂的腕部坐标系到世界坐标系的传递矩阵，设为：其逆矩阵为：
2、机械手臂的工具坐标系(T)到世界坐标系(B)的转换：
为了计算与测量的简便，令机械手臂的工具坐标系(T)的姿态与机械手臂的腕部坐标系(W)保持一致；机械手臂的工具坐标系(T)的原点位置位于机械手臂的腕部坐标系(W)的处，其中1为工具长度；
所以，机械手臂的工具坐标系(T)到世界坐标系(B)的传递矩阵，设为：其逆矩阵为：
3、第一摄像头的坐标系(C1)到世界坐标系(B)的转换：
对第一摄像头完成标定后，可以得到第一摄像头的旋转矩阵和平移矩阵
所以，第一摄像头的坐标系(C1)到世界坐标系(B)的传递矩阵，设为：其逆矩阵为：
4、第二摄像头的坐标系(C2)到世界坐标系(B)的转换：
同理，可得第二摄像头的坐标系(C2)到世界坐标系(B)的传递矩阵，设为：其逆矩阵为：
5、屏幕坐标系(S)到世界坐标系(B)的转换：
屏幕坐标系(S)是指，世界坐标系中的物体在摄像头成像屏幕上的坐标。对于单个摄像头，由于无法得知摄像头到拍摄物体的距离，所以无法将屏幕坐标系转换为世界坐标系，但是可以求解并利用世界坐标来描述从摄像头到拍摄物体两点所确定的直线。
因此，本发明采用双摄像头来解决此问题，双摄像头得到的两条直线的交点即是拍摄物体的世界坐标。
所述第一坐标转换模块14用于将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
具体地，假设拍摄物体(即凸点)的屏幕坐标为(u，v)；根据“张正友标定”公式：
s*m＝A*[R|t]*M；
其中，R，t为摄像头的外参数，m为屏幕坐标，M为世界坐标；
用矩阵表示：
所以求得：
P1即为上述第一世界坐标，令屏幕坐标为(0，0，0)，求得所述第二世界坐标P2；所以由P1P2即可以确定一条直线；
同理，可以求得所述第二摄像头得到的另一条直线；
所述坐标计算模块15用于计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
在本发明中，求解上述两条直线的交点，即得到拍摄的凸点的世界坐标，此坐标(即第一凸点坐标)设为：
由此，本发明中利用第一摄像头拍摄凸点的图像，可以确定一条直线，再利用第二摄像头拍摄凸点的图像，可以确定另一条直线，根据以上求解，即可获取凸点的世界坐标为：
所述第二坐标转换模块16则用于将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标；
具体计算公式为：其中即为第二凸点坐标；
所述控制模块17即可以控制所述机械手臂的工具移动至所述第二凸点坐标位置处，即可完成定位，抓取以及挂放等操作。
如图3所示，本发明还提供了一种坐标标定方法，其利用上述双目视觉装置实现，包括以下步骤：
步骤101、所述第一摄像头和所述第二摄像头均对凸点进行拍摄；
步骤102、获取所述第一摄像头和所述第二摄像头的标定参数；
步骤103、将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
步骤104、计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
步骤105、将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标；
步骤106、控制所述机械手臂的工具移动至所述第二凸点坐标位置处。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种双目视觉装置，其特征在于，所述双目视觉装置设置于机械手臂的工具上，所述双目视觉装置包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头均高于所述机械手臂的工具的末端点，所述第一摄像头和所述第二摄像头之间呈一夹角，所述第一摄像头和所述第二摄像头均用于对凸点进行拍摄；
所述双目视觉装置还包括：
参数标定模块，用于获取所述第一摄像头和所述第二摄像头的标定参数；
第一坐标转换模块，用于将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
坐标计算模块，用于计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
第二坐标转换模块，用于将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标。
2.如权利要求1所述的双目视觉装置，其特征在于，所述双目视觉装置还包括：
控制模块，用于控制所述机械手臂的工具移动至所述第二凸点坐标位置处。
3.如权利要求1所述的双目视觉装置，其特征在于，所述标定参数包括内参数、外参数和畸变参数。
4.如权利要求1-3中任意一项所述的双目视觉装置，其特征在于，所述凸点的数量为三个。
5.一种坐标标定方法，其特征在于，其利用如权利要求1所述的双目视觉装置实现，包括以下步骤：
所述第一摄像头和所述第二摄像头均对凸点进行拍摄；
获取所述第一摄像头和所述第二摄像头的标定参数；
将所述第一摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第一世界坐标、将所述第一摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第二世界坐标；并将所述第二摄像头拍摄的凸点在屏幕坐标系中的坐标转换为世界坐标系中的第三世界坐标、将所述第二摄像头在屏幕坐标系中的原点坐标转换为世界坐标系中的第四世界坐标；
计算所述凸点在所述世界坐标系中的第一凸点坐标，所述第一凸点坐标为所述第一世界坐标和所述第二世界坐标构成的直线与所述第三世界坐标和所述第四世界坐标构成的直线之间的交点在世界坐标系中的坐标；
将所述凸点在世界坐标系中的第一凸点坐标转换为在所述机械手臂的工具坐标系中的第二凸点坐标。
6.如权利要求5所述的坐标标定方法，其特征在于，所述坐标标定方法还包括：控制所述机械手臂的工具移动至所述第二凸点坐标位置处。
7.如权利要求5所述的坐标标定方法，其特征在于，所述标定参数包括内参数、外参数和畸变参数。
8.如权利要求5-7中任意一项所述的坐标标定方法，其特征在于，所述凸点的数量为三个。
CN201610882688.XA 2016-10-09 2016-10-09 双目视觉装置及坐标标定方法 Pending CN107917666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610882688.XA CN107917666A (zh) 2016-10-09 2016-10-09 双目视觉装置及坐标标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610882688.XA CN107917666A (zh) 2016-10-09 2016-10-09 双目视觉装置及坐标标定方法

Publications (1)

Publication Number Publication Date
CN107917666A true CN107917666A (zh) 2018-04-17

Family

ID=61892428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610882688.XA Pending CN107917666A (zh) 2016-10-09 2016-10-09 双目视觉装置及坐标标定方法

Country Status (1)

Country Link
CN (1) CN107917666A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341718A (zh) * 2018-09-27 2019-02-15 北京伟景智能科技有限公司 基于多目视觉的标定方法和装置
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN111054539A (zh) * 2019-12-19 2020-04-24 上海骋润高分子材料有限公司 一种细小工件的自动化喷涂方法
WO2023169186A1 (zh) * 2022-03-10 2023-09-14 华为技术有限公司 一种定位方法和相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1555508A1 (en) * 2004-01-16 2005-07-20 Fanuc Ltd Measuring system
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1555508A1 (en) * 2004-01-16 2005-07-20 Fanuc Ltd Measuring system
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
张奇志等: "《机器人学简明教程》", 30 April 2013, 西安电子科技大学出版社 *
祁亨年等: "基于双目立体视觉的排爆机器人自动目标抓取", 《广西师范大学学报：自然科学版》 *
阚江明等: "《基于计算机视觉的活立木三维重建方法》", 30 November 2011, 中国环境科学出版社 *
陈戈军: "基于双目立体视觉的机械臂手端定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
韩建海等: "《工业机器人（第三版）》", 31 July 2015, 华中科技大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341718A (zh) * 2018-09-27 2019-02-15 北京伟景智能科技有限公司 基于多目视觉的标定方法和装置
CN109341718B (zh) * 2018-09-27 2020-12-29 北京伟景智能科技有限公司 基于多目视觉的标定方法和装置
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN111054539A (zh) * 2019-12-19 2020-04-24 上海骋润高分子材料有限公司 一种细小工件的自动化喷涂方法
WO2023169186A1 (zh) * 2022-03-10 2023-09-14 华为技术有限公司 一种定位方法和相关设备

Similar Documents

Publication Publication Date Title
CN105809701B (zh) 全景视频姿态标定方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN107917666A (zh) 双目视觉装置及坐标标定方法
WO2021043213A1 (zh) 标定方法、装置、航拍设备和存储介质
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN109671122A (zh) 手眼相机标定方法及装置
CN105067011A (zh) 一种基于视觉标定及坐标转换的测量系统整体校准方法
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
CN107633533B (zh) 大畸变镜头下的高精度圆形标志点中心定位方法及装置
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN104182969B (zh) 一种单线阵相机内外参数标定方法
CN106403924B (zh) 基于深度摄像头的机器人快速定位与姿态估计方法
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN106940894A (zh) 一种基于主动视觉的手眼系统自标定方法
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN106341956B (zh) 一种固定相机校正方法
WO2022040983A1 (zh) 基于cad模型的投影标记和机器视觉的实时注册方法
CN106393103A (zh) 一种基于机器视觉的阵列式料框自适应取料方法
CN110766759B (zh) 一种无重叠视场的多相机标定方法及装置
CN112330749A (zh) 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN113112545A (zh) 基于计算机视觉的手持移动打印装置定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417

WD01 Invention patent application deemed withdrawn after publication