CN111947570A - 一种机械臂姿态单目视觉测量方法、装置及电子设备 - Google Patents

一种机械臂姿态单目视觉测量方法、装置及电子设备 Download PDF

Info

Publication number
CN111947570A
CN111947570A CN202010675208.9A CN202010675208A CN111947570A CN 111947570 A CN111947570 A CN 111947570A CN 202010675208 A CN202010675208 A CN 202010675208A CN 111947570 A CN111947570 A CN 111947570A
Authority
CN
China
Prior art keywords
arm
optical
camera
coordinate system
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010675208.9A
Other languages
English (en)
Other versions
CN111947570B (zh
Inventor
罗卓军
李一娴
何嘉臻
雷成林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202010675208.9A priority Critical patent/CN111947570B/zh
Publication of CN111947570A publication Critical patent/CN111947570A/zh
Application granted granted Critical
Publication of CN111947570B publication Critical patent/CN111947570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种机械臂姿态单目视觉测量方法、装置及电子设备，通过摄像头获取机械臂的图像，图像中包含机械臂上相邻两个臂杆的光学标志；获取两个光学标志的各特征点在摄像头坐标系中的坐标数据；计算两个光学标志的坐标系相对于摄像头坐标系的位姿；计算两个所述光学标志的坐标系之间的相对位姿；计算两个臂杆之间的相对位姿；计算两个臂杆之间的关节角度；从而可不依赖机械臂内部编码器来对机械臂的姿态进行测量，测量结果不受编码器的测量误差和机械臂各关节的尺寸偏差的影响。

Description

一种机械臂姿态单目视觉测量方法、装置及电子设备
技术领域
本发明涉及机械臂技术领域，尤其涉及一种机械臂姿态单目视觉测量方法、装置及电子设备。
背景技术
传统机械臂的末端工具坐标系的位姿只能通过开环形式测量。具体来说，传统机械臂先通过各关节电机中的编码器采集各关节角的角度值，然后再根据关节角度值计算各关节的相对位姿以及机械臂末端工具坐标系的位姿。然而，若编码器采集的角度值有误差或者机械臂各关节在加工或组装过程中存在尺寸偏差，则这些误差和偏差将使机械臂末端工具坐标系的位姿的实际值与计算值产生较大误差。
因此，需要寻求一种不依赖机械臂内部编码器来对机械臂的姿态进行测量方式。
发明内容
鉴于上述现有技术的不足之处，本申请实施例的目的在于提供一种机械臂姿态单目视觉测量方法、装置及电子设备，可不依赖机械臂内部编码器来对机械臂的姿态进行测量。
第一方面，本申请实施例提供一种机械臂姿态单目视觉测量方法，包括步骤：
通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；
获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；
根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；
根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；
根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度。
所述的机械臂姿态单目视觉测量方法中，所述获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
获取两个所述光学标志的各特征点在像平面坐标系中的坐标数据；
根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据。
进一步的，所述光学标志为正方形；所述各特征点为光学标志的各顶点；
所述根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
用最优化数值求解方法求解以下方程组，得到两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE004
是指第
Figure 510529DEST_PATH_IMAGE004
个光学标志，
Figure 100002_DEST_PATH_IMAGE006
，P、Q、R、S分别为光学标志四个特征点的表示符号，
Figure 100002_DEST_PATH_IMAGE008
、
Figure 100002_DEST_PATH_IMAGE010
、
Figure 100002_DEST_PATH_IMAGE012
分别为光学标志的各特征点在摄像头坐标系中的坐标数据，
Figure 100002_DEST_PATH_IMAGE014
为摄像头的焦距，
Figure 100002_DEST_PATH_IMAGE016
为光学标志的边长，p、q、r、s分别是所述图像中光学标志各特征点的表示符号，
Figure 100002_DEST_PATH_IMAGE018
、
Figure 100002_DEST_PATH_IMAGE020
分别是光学标志的各特征点在像平面坐标系中的坐标数据。
所述的机械臂姿态单目视觉测量方法中，所述根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度的步骤包括：
求解以下公式得到两个臂杆之间的关节角度；
Figure 100002_DEST_PATH_IMAGE022
其中，
Figure 100002_DEST_PATH_IMAGE024
是指第
Figure 99161DEST_PATH_IMAGE024
个臂杆，
Figure 100002_DEST_PATH_IMAGE026
是第
Figure 840590DEST_PATH_IMAGE024
个臂杆与第
Figure 100002_DEST_PATH_IMAGE028
个臂杆之间的相对位姿，
Figure 100002_DEST_PATH_IMAGE030
是指第
Figure 144532DEST_PATH_IMAGE024
个臂杆与第
Figure 232705DEST_PATH_IMAGE028
个臂杆之间的关节角度，
Figure 100002_DEST_PATH_IMAGE032
是指第
Figure 938493DEST_PATH_IMAGE024
个臂杆的长度。
所述的机械臂姿态单目视觉测量方法中，所述获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，还包括：
根据两个所述光学标志的颜色对所述图像进行滤波处理，以识别出两个所述光学标志。
第二方面，本申请实施例提供一种机械臂姿态单目视觉测量装置，包括：
第一获取模块，用于通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；
第二获取模块，用于获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
第一计算模块，用于根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；
第二计算模块，用于根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；
第三计算模块，用于根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；
第四计算模块，用于根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度。
所述的机械臂姿态单目视觉测量装置中，所述第二获取模块在获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据时，
先获取两个所述光学标志的各特征点在像平面坐标系中的坐标数据；
再根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据。
所述的机械臂姿态单目视觉测量装置中，所述第四计算模块在根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度时，
求解以下公式得到两个臂杆之间的关节角度；
Figure 273659DEST_PATH_IMAGE022
其中，
Figure 308306DEST_PATH_IMAGE024
是指第
Figure 387120DEST_PATH_IMAGE024
个臂杆，
Figure 947415DEST_PATH_IMAGE030
是指第
Figure 719062DEST_PATH_IMAGE024
个臂杆与第
Figure 482750DEST_PATH_IMAGE028
个臂杆之间的关节角度，
Figure 365255DEST_PATH_IMAGE032
是指第
Figure 717739DEST_PATH_IMAGE024
个臂杆的长度。
所述的机械臂姿态单目视觉测量装置，还包括：
第一执行模块，用于在第二获取模块获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，根据两个所述光学标志的颜色对所述图像进行滤波处理，以识别出两个所述光学标志。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行所述的机械臂姿态单目视觉测量方法。
有益效果：
本申请实施例提供的一种机械臂姿态单目视觉测量方法、装置及电子设备，通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度；从而可不依赖机械臂内部编码器来对机械臂的姿态进行测量，测量结果不受编码器的测量误差和机械臂各关节的尺寸偏差的影响。
附图说明
图1为本申请实施例提供的机械臂姿态单目视觉测量方法的流程图。
图2为本申请实施例提供的机械臂姿态单目视觉测量装置的模块图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为光学标志设置位置的示意图。
图5为进行滤波处理后的图像的示意图。
图6为针孔成像模型示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例提供的一种机械臂姿态单目视觉测量方法，包括步骤：
A1.通过摄像头获取机械臂的图像，该图像同时包含机械臂上相邻两个臂杆的光学标志；
A2.获取两个光学标志的各特征点在摄像头坐标系中的坐标数据；
A3.根据坐标数据计算两个光学标志的坐标系相对于摄像头坐标系的位姿；
A4.根据两个光学标志的坐标系相对于摄像头坐标系的位姿，计算两个光学标志的坐标系之间的相对位姿；
A5.根据两个光学标志的坐标系之间的相对位姿，计算两个臂杆之间的相对位姿；
A6.根据两个臂杆之间的相对位姿，计算两个臂杆之间的关节角度。
预先在机械臂的各个臂杆上设置光学标志。
若各臂杆的光学标志不都是设置在同一侧，同一张图片往往难以包含所有光学标志。此时，可根据机械臂的关节数量，重复执行上述步骤A1-A6，从而可得到所有关节的关节角度，进而得到机械臂姿态。
若各臂杆的光学标志设置在同一侧，则同一张图片可包含所有光学标志。此时，可根据机械臂的关节数量，重复执行上述步骤A1-A6，从而可得到所有关节的关节角度，进而得到机械臂姿态；也可在步骤A1中，使获取的图像包括所有臂杆的光学标志，然后重复执行步骤A2-A6直到得到所有关节的关节角度，进而得到机械臂姿态。
本实施例中，A2.获取两个光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
A21.获取两个光学标志的各特征点在像平面坐标系中的坐标数据；
A22.根据该坐标数据、摄像头的焦距和两个光学标志的形状尺寸，计算两个光学标志的各特征点在摄像头坐标系中的坐标数据。
其中，光学标志的各特征点在像平面坐标系中的坐标数据可直接从图片中得到；摄像头的焦距也是已知的。
其中，光学标志的形状可以是多边形（如等边三角形、正方形、正五边形等），但不限于此。对于光学标志的形状是多边形的，各特征点是指光学标志的各顶点。各光学标志的形状和尺寸可以相同，也可以不同。
以光学标志均为正方形为例；此时，A22.根据坐标数据、摄像头的焦距和两个光学标志的形状尺寸，计算两个光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
用最优化数值求解方法求解以下方程组，得到两个光学标志的各特征点在摄像头坐标系中的坐标数据；
Figure 100002_DEST_PATH_IMAGE034
（1）
Figure DEST_PATH_IMAGE036
（2）
Figure DEST_PATH_IMAGE038
（3）
Figure DEST_PATH_IMAGE040
（4）
Figure DEST_PATH_IMAGE042
（5）
Figure DEST_PATH_IMAGE044
（6）
其中，
Figure 96505DEST_PATH_IMAGE004
是指第
Figure 347489DEST_PATH_IMAGE004
个光学标志，
Figure 768106DEST_PATH_IMAGE006
，P、Q、R、S分别为光学标志四个特征点的表示符号，
Figure 302993DEST_PATH_IMAGE008
、
Figure 416442DEST_PATH_IMAGE010
、
Figure 341673DEST_PATH_IMAGE012
分别为光学标志的各特征点在摄像头坐标系中的坐标数据，
Figure 877565DEST_PATH_IMAGE014
为摄像头的焦距，
Figure 939062DEST_PATH_IMAGE016
为光学标志的边长，p、q、r、s分别是图像中（即像平面中）光学标志各特征点的表示符号，
Figure 285730DEST_PATH_IMAGE018
、
Figure 698257DEST_PATH_IMAGE020
分别是光学标志的各特征点在像平面坐标系中的坐标数据。
参考图6，
Figure DEST_PATH_IMAGE046
是摄像头坐标系，
Figure DEST_PATH_IMAGE048
是像平面坐标系，
Figure DEST_PATH_IMAGE050
为某个光学标志的坐标系，该光学标志的四个特征点分别为P、Q、R、S；根据针孔成像模型，可得到公式（1）、（2）、（3）、（4），又由于光学标志本身为正方形，于是可得到公式（5）和约束条件（6），通过最优化数值求解方法可求解上述方程组，从而得到P、Q、R、S点在摄像头坐标系中的坐标。
又由于光学标志的坐标系
Figure 601622DEST_PATH_IMAGE050
是预设好的，其与该光学标志之间是相对固定的，因此在得到光学标志的各特征点P、Q、R、S在摄像头坐标系中的坐标后，容易求出该坐标系
Figure 783204DEST_PATH_IMAGE050
在摄像头坐标系中的位姿，可记作
Figure DEST_PATH_IMAGE052
。同理，可得到另一个光学标志的坐标系
Figure DEST_PATH_IMAGE054
在摄像头坐标系中的位姿，可记作
Figure DEST_PATH_IMAGE056
。
进而，在步骤A4中，可通过以下公式计算两个光学标志的坐标系之间的相对位姿：
Figure DEST_PATH_IMAGE058
（7）
其中，
Figure DEST_PATH_IMAGE060
为两个光学标志的坐标系之间的相对位姿。从（7）式可以看到，在计算
Figure 159828DEST_PATH_IMAGE060
时，摄像头坐标系的左上/左下标（CM）最终会被消掉，这表示
Figure 59651DEST_PATH_IMAGE060
的计算结果与摄像头的位置（见图4）无关，只要保证被测的两个光学标志在同一张图片中即可。
其中，最优化数值求解方法可以是Gauss-Newton法或Levenberg-Marquardt法。
进一步的，根据A5中，可通过以下公式计算两个臂杆之间的相对位姿：
Figure DEST_PATH_IMAGE062
(8)
其中，
Figure 688078DEST_PATH_IMAGE024
是指第
Figure 989747DEST_PATH_IMAGE024
个臂杆，
Figure 667765DEST_PATH_IMAGE026
是第
Figure 54884DEST_PATH_IMAGE024
个臂杆与第
Figure DEST_PATH_IMAGE063
个臂杆之间的相对位姿，
Figure DEST_PATH_IMAGE065
是第
Figure 487002DEST_PATH_IMAGE024
个臂杆的光学标志的坐标系相对于第
Figure 190647DEST_PATH_IMAGE024
个臂杆的坐标系的位姿，
Figure DEST_PATH_IMAGE067
是第
Figure 50019DEST_PATH_IMAGE063
个臂杆的光学标志的坐标系相对于第
Figure 658855DEST_PATH_IMAGE063
个臂杆的坐标系的位姿。
其中，光学标志与对应的臂杆之间是相对固定的，光学标志的坐标系和对应的臂杆的坐标系均是预设的，因此，
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE069
均是可预先计算得到的，即
Figure 143931DEST_PATH_IMAGE068
和
Figure 216930DEST_PATH_IMAGE067
为已知条件。
以图4为例，在测量第2个臂杆和第3个臂杆之间的关节角度时，第2个臂杆的光学标志的坐标系
Figure 184886DEST_PATH_IMAGE050
相对于第2个臂杆的坐标系
Figure DEST_PATH_IMAGE071
的位姿，可记作
Figure DEST_PATH_IMAGE073
；第3个臂杆的光学标志的坐标系
Figure 467968DEST_PATH_IMAGE054
相对于第3个臂杆的坐标系
Figure DEST_PATH_IMAGE075
的位姿，可记作
Figure DEST_PATH_IMAGE077
。此时，公式（8）可写为
Figure DEST_PATH_IMAGE079
。
进一步的，A6.根据两个臂杆之间的相对位姿，计算两个臂杆之间的关节角度的步骤包括：
求解以下公式得到两个臂杆之间的关节角度；
Figure DEST_PATH_IMAGE080
（9）
其中，
Figure 54939DEST_PATH_IMAGE024
是指第
Figure 982443DEST_PATH_IMAGE024
个臂杆，
Figure 121301DEST_PATH_IMAGE026
是第
Figure 16313DEST_PATH_IMAGE024
个臂杆与第
Figure 266029DEST_PATH_IMAGE028
个臂杆之间的相对位姿，
Figure 251302DEST_PATH_IMAGE030
是指第
Figure 623378DEST_PATH_IMAGE024
个臂杆与第
Figure 694102DEST_PATH_IMAGE028
个臂杆之间的关节角度，
Figure 560558DEST_PATH_IMAGE032
是指第
Figure 400338DEST_PATH_IMAGE024
个臂杆的长度。
公式（9）是根据MDH方法的规则得到。通过求解（9）可得到关节角度
Figure 943315DEST_PATH_IMAGE030
。
在一些是实施方式中，A2.获取两个光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，还包括：
A7.根据两个光学标志的颜色对图像进行滤波处理，以识别出两个光学标志。
其中，光学标志的颜色与机械臂的颜色不同，该步骤A7中，根据颜色进行滤波，把图像中除光学标志以外的物体滤去，从而识别出光学标志。如图5，为图4中得到的图像滤波后得到的滤波图像。进一步的，可对滤波图像进行二值化处理，例如把光学标志设置为白色并把其它区域设置为黑色，然后提取光学标志的轮廓线，最后根据轮廓线确定代表光学标志各特征点的像素点的位置。
对于光学标志是其它形状的情况，只需对上述公式（1）-（6）作相应的变化即可，其它步骤相同。例如，光学标志是等边三角形PQR，则删除公式（4），公式（5）变为
Figure DEST_PATH_IMAGE082
，公式（6）变为
Figure DEST_PATH_IMAGE084
，即可。其它形状以此类推。
由上可知，该机械臂姿态单目视觉测量方法，通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度；从而可不依赖机械臂内部编码器来对机械臂的姿态进行测量，测量结果不受编码器的测量误差和机械臂各关节的尺寸偏差的影响。
请参阅图2，本申请实施例还提供一种机械臂姿态单目视觉测量装置，包括第一获取模块1、第二获取模块2、第一计算模块3、第二计算模块4、第三计算模块5、第四计算模块6；
其中，第一获取模块1，用于通过摄像头获取机械臂的图像，该图像同时包含机械臂上相邻两个臂杆的光学标志；
其中，第二获取模块2，用于获取两个光学标志的各特征点在摄像头坐标系中的坐标数据；
其中，第一计算模块3，用于根据坐标数据计算两个光学标志的坐标系相对于摄像头坐标系的位姿；
其中，第二计算模块4，用于根据两个光学标志的坐标系相对于摄像头坐标系的位姿，计算两个光学标志的坐标系之间的相对位姿；
其中，第三计算模块5，用于根据两个光学标志的坐标系之间的相对位姿，计算两个臂杆之间的相对位姿；
其中，第四计算模块6，用于根据两个臂杆之间的相对位姿，计算两个臂杆之间的关节角度。
进一步的，第二获取模块2在获取两个光学标志的各特征点在摄像头坐标系中的坐标数据时，
先获取两个光学标志的各特征点在像平面坐标系中的坐标数据；
再根据坐标数据、摄像头的焦距和两个光学标志的形状尺寸，计算两个光学标志的各特征点在摄像头坐标系中的坐标数据。
光学标志的形状可以是多边形（如等边三角形、正方形、正五边形等），但不限于此。对于光学标志的形状是多边形的，各特征点是指光学标志的各顶点。各光学标志的形状和尺寸可以相同，也可以不同
在一些实施方式中，所述光学标志为正方形；
第二获取模块2在根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据时，
用最优化数值求解方法求解以下方程组，得到两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
Figure 564919DEST_PATH_IMAGE002
其中，
Figure 422016DEST_PATH_IMAGE004
是指第
Figure 178620DEST_PATH_IMAGE004
个光学标志，
Figure 830181DEST_PATH_IMAGE006
，P、Q、R、S分别为光学标志四个特征点的表示符号，
Figure 688546DEST_PATH_IMAGE008
、
Figure 83756DEST_PATH_IMAGE010
、
Figure 694866DEST_PATH_IMAGE012
分别为光学标志的各特征点在摄像头坐标系中的坐标数据，
Figure 782907DEST_PATH_IMAGE014
为摄像头的焦距，
Figure 49941DEST_PATH_IMAGE016
为光学标志的边长，p、q、r、s分别是所述图像中光学标志各特征点的表示符号，
Figure 560425DEST_PATH_IMAGE018
、
Figure 963725DEST_PATH_IMAGE020
分别是光学标志的各特征点在像平面坐标系中的坐标数据。
进一步的，第四计算模块6在根据两个臂杆之间的相对位姿，计算两个臂杆之间的关节角度时，
求解以下公式得到两个臂杆之间的关节角度；
Figure 284985DEST_PATH_IMAGE022
其中，
Figure 39314DEST_PATH_IMAGE024
是指第
Figure 776326DEST_PATH_IMAGE024
个臂杆，
Figure 112760DEST_PATH_IMAGE030
是指第
Figure 542605DEST_PATH_IMAGE024
个臂杆与第
Figure 580968DEST_PATH_IMAGE028
个臂杆之间的关节角度，
Figure 121671DEST_PATH_IMAGE032
是指第
Figure 76726DEST_PATH_IMAGE024
个臂杆的长度。
进一步的，该机械臂姿态单目视觉测量装置，还包括第一执行模块；
其中，第一执行模块，用于在第二获取模块2获取两个光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，根据两个光学标志的颜色对图像进行滤波处理，以识别出两个光学标志。
由上可知，该机械臂姿态单目视觉测量装置，通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度；从而可不依赖机械臂内部编码器来对机械臂的姿态进行测量，测量结果不受编码器的测量误差和机械臂各关节的尺寸偏差的影响。
请参阅图3，本申请实施例还提供一种电子设备100，包括处理器101和存储器102，存储器102中存储有计算机程序，处理器101通过调用存储器102中存储的计算机程序，用于执行上述的机械臂姿态单目视觉测量方法。
其中，处理器101与存储器102电性连接。处理器101是电子设备100的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器102内的计算机程序，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
存储器102可用于存储计算机程序和数据。存储器102存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器101通过调用存储在存储器102的计算机程序，从而执行各种功能应用以及数据处理。
在本实施例中，电子设备100中的处理器101会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器102中，并由处理器101来运行存储在存储器102中的计算机程序，从而实现各种功能：通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度。
由上可知，该电子设备，通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度；从而可不依赖机械臂内部编码器来对机械臂的姿态进行测量，测量结果不受编码器的测量误差和机械臂各关节的尺寸偏差的影响。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。

Claims (10)

1.一种机械臂姿态单目视觉测量方法，其特征在于，包括步骤：
通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；
获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；
根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；
根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；
根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度。
2.根据权利要求1所述的机械臂姿态单目视觉测量方法，其特征在于，
所述获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
获取两个所述光学标志的各特征点在像平面坐标系中的坐标数据；
根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据。
3.根据权利要求2所述的机械臂姿态单目视觉测量方法，其特征在于，所述光学标志为正方形；所述各特征点为光学标志的各顶点；
所述根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤包括：
用最优化数值求解方法求解以下方程组，得到两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
是指第
Figure 489849DEST_PATH_IMAGE004
个光学标志，
Figure DEST_PATH_IMAGE006
，P、Q、R、S分别为光学标志四个特征点的表示符号，
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE012
分别为光学标志的各特征点在摄像头坐标系中的坐标数据，
Figure DEST_PATH_IMAGE014
为摄像头的焦距，
Figure DEST_PATH_IMAGE016
为光学标志的边长，p、q、r、s分别是所述图像中光学标志各特征点的表示符号，
Figure DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE020
分别是光学标志的各特征点在像平面坐标系中的坐标数据。
4.根据权利要求1所述的机械臂姿态单目视觉测量方法，其特征在于，所述根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度的步骤包括：
求解以下公式得到两个臂杆之间的关节角度；
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
是指第
Figure 718574DEST_PATH_IMAGE024
个臂杆，
Figure DEST_PATH_IMAGE026
是指第
Figure 311361DEST_PATH_IMAGE024
个臂杆与第
Figure DEST_PATH_IMAGE028
个臂杆之间的关节角度，
Figure DEST_PATH_IMAGE030
是指第
Figure 768887DEST_PATH_IMAGE024
个臂杆的长度。
5.根据权利要求1所述的机械臂姿态单目视觉测量方法，其特征在于，所述获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，还包括：
根据两个所述光学标志的颜色对所述图像进行滤波处理，以识别出两个所述光学标志。
6.一种机械臂姿态单目视觉测量装置，其特征在于，包括：
第一获取模块，用于通过摄像头获取机械臂的图像，所述图像同时包含所述机械臂上相邻两个臂杆的光学标志；
第二获取模块，用于获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据；
第一计算模块，用于根据所述坐标数据计算两个所述光学标志的坐标系相对于摄像头坐标系的位姿；
第二计算模块，用于根据两个所述光学标志的坐标系相对于摄像头坐标系的位姿，计算两个所述光学标志的坐标系之间的相对位姿；
第三计算模块，用于根据两个所述光学标志的坐标系之间的相对位姿，计算所述两个臂杆之间的相对位姿；
第四计算模块，用于根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度。
7.根据权利要求6所述的机械臂姿态单目视觉测量装置，其特征在于，
所述第二获取模块在获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据时，先获取两个所述光学标志的各特征点在像平面坐标系中的坐标数据；
再根据所述坐标数据、所述摄像头的焦距和两个所述光学标志的形状尺寸，计算两个所述光学标志的各特征点在摄像头坐标系中的坐标数据。
8.根据权利要求6所述的机械臂姿态单目视觉测量装置，其特征在于，
所述第四计算模块在根据所述两个臂杆之间的相对位姿，计算所述两个臂杆之间的关节角度时，求解以下公式得到两个臂杆之间的关节角度；
Figure 583259DEST_PATH_IMAGE022
其中，
Figure 723165DEST_PATH_IMAGE024
是指第
Figure 990199DEST_PATH_IMAGE024
个臂杆，
Figure DEST_PATH_IMAGE032
是第
Figure 251416DEST_PATH_IMAGE024
个臂杆与第
Figure DEST_PATH_IMAGE033
个臂杆之间的相对位姿，
Figure DEST_PATH_IMAGE034
是指第
Figure 733344DEST_PATH_IMAGE024
个臂杆与第
Figure 789024DEST_PATH_IMAGE033
个臂杆之间的关节角度，
Figure DEST_PATH_IMAGE035
是指第
Figure 854938DEST_PATH_IMAGE024
个臂杆的长度。
9.根据权利要求6所述的机械臂姿态单目视觉测量装置，其特征在于，还包括：
第一执行模块，用于在第二获取模块获取两个所述光学标志的各特征点在摄像头坐标系中的坐标数据的步骤之前，根据两个所述光学标志的颜色对所述图像进行滤波处理，以识别出两个所述光学标志。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-5任一项所述的机械臂姿态单目视觉测量方法。
CN202010675208.9A 2020-07-14 2020-07-14 一种机械臂姿态单目视觉测量方法、装置及电子设备 Active CN111947570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010675208.9A CN111947570B (zh) 2020-07-14 2020-07-14 一种机械臂姿态单目视觉测量方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010675208.9A CN111947570B (zh) 2020-07-14 2020-07-14 一种机械臂姿态单目视觉测量方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111947570A true CN111947570A (zh) 2020-11-17
CN111947570B CN111947570B (zh) 2022-03-08

Family

ID=73341071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010675208.9A Active CN111947570B (zh) 2020-07-14 2020-07-14 一种机械臂姿态单目视觉测量方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111947570B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04283084A (ja) * 1991-03-08 1992-10-08 Fujitsu Ltd ロボットマニプレータの制御方法
CN107457783A (zh) * 2017-07-25 2017-12-12 电子科技大学 基于pd控制器的六自由度机械臂自适应智能检测方法
CN108257183A (zh) * 2017-12-20 2018-07-06 歌尔科技有限公司 一种相机镜头光轴校准方法和装置
CN109605372A (zh) * 2018-12-20 2019-04-12 中国铁建重工集团有限公司 一种用于测量工程机械臂的位姿的方法和系统
CN110276799A (zh) * 2019-05-29 2019-09-24 季华实验室 一种坐标标定方法、标定系统及机械臂

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04283084A (ja) * 1991-03-08 1992-10-08 Fujitsu Ltd ロボットマニプレータの制御方法
CN107457783A (zh) * 2017-07-25 2017-12-12 电子科技大学 基于pd控制器的六自由度机械臂自适应智能检测方法
CN108257183A (zh) * 2017-12-20 2018-07-06 歌尔科技有限公司 一种相机镜头光轴校准方法和装置
CN109605372A (zh) * 2018-12-20 2019-04-12 中国铁建重工集团有限公司 一种用于测量工程机械臂的位姿的方法和系统
CN110276799A (zh) * 2019-05-29 2019-09-24 季华实验室 一种坐标标定方法、标定系统及机械臂

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张志红: "相机标定对玉米自动化观测评估结果的影响", 《ＭＩＣＲＯＣＯＮＴＲＯＬＬＥＲＳ ＆ＥＭＢＥＤＤＥＤ ＳＹＳＴＥＭＳ》 *

Also Published As

Publication number Publication date
CN111947570B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN112091971B (zh) 机器人手眼标定方法、装置、电子设备和系统
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
JP6261016B2 (ja) マーカ画像処理システム
JP4593968B2 (ja) 位置姿勢計測方法および装置
JP5365218B2 (ja) ロボットビジョンシステムおよび自動キャリブレーション方法
JP4785416B2 (ja) 位置姿勢計測方法及び装置
US20080240511A1 (en) Apparatus for picking up objects
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111089569A (zh) 一种基于单目视觉的大型箱体测量方法
CN106625673A (zh) 狭小空间装配系统及装配方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN113269835A (zh) 基于轮廓特征的工业零件位姿识别方法、装置和电子设备
JP2018169660A (ja) オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN114310901A (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN108827250A (zh) 一种机器人单目视觉测距技术方法
CN114998447A (zh) 多目视觉标定方法及系统
CN111947570B (zh) 一种机械臂姿态单目视觉测量方法、装置及电子设备
JP2018001333A (ja) 校正ボード、ロボット、及び検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant