CN114119767A - 基于相机标定的工件抓取方法、装置和控制系统 - Google Patents

基于相机标定的工件抓取方法、装置和控制系统 Download PDF

Info

Publication number
CN114119767A
CN114119767A CN202111342534.9A CN202111342534A CN114119767A CN 114119767 A CN114119767 A CN 114119767A CN 202111342534 A CN202111342534 A CN 202111342534A CN 114119767 A CN114119767 A CN 114119767A
Authority
CN
China
Prior art keywords
calibration
camera
coordinate system
matrix
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111342534.9A
Other languages
English (en)
Inventor
王涛
代望
徐荣来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kuling Technology Co ltd
Original Assignee
Shanghai Kuling Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kuling Technology Co ltd filed Critical Shanghai Kuling Technology Co ltd
Priority to CN202111342534.9A priority Critical patent/CN114119767A/zh
Publication of CN114119767A publication Critical patent/CN114119767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种基于相机标定的工件抓取方法、装置、控制系统和非易失性计算机可读存储介质，通过获取标定信息根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。能够将待抓取零件在机器人坐标系下的位姿切换到不同工件平台的用户坐标系而进行抓取，效率高，加工成本低，还能够在上进行切换标定使用。

Description

基于相机标定的工件抓取方法、装置和控制系统
技术领域
本公开涉及机器视觉领域，尤其涉及一种基于相机标定的工件抓取方法、装置、控制系统和非易失性计算机可读存储介质。
背景技术
随着工业机器人及视觉技术的发展，使用工业相机和工业机器人配合，完成工件的自动抓取已成为必然趋势。
然而相机出厂时都有其固定的物理参数和光学参数，如光轴、远点以及坐标系，由于相机自身误差和装配过程中存在误差，因此使用之前通常需要经过相机标定过程，以此获取相机参数。
目前的工业相机无法良好地自适应于机械臂抓取过程中的相机标定环节，其标定效率低下，同时不能在不同工件平台上进行切换标定使用，这需要额外单独匹配配套对应该平台的机械手，成本增加。
发明内容
有鉴于此，为了解决上述技术问题，本公开提出了一种基于相机标定的工件抓取方法、装置、控制系统和非易失性计算机可读存储介质。
根据本公开的一方面，提供了一种基于相机标定的工件抓取方法，包括如下步骤：
S100、获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
S200、根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
S300、将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
S400、获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
在一种可能的实现方式中，可选地，在步骤S200中，所述根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵，包括：
S210、获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
S220、对所述投影结构光进行解码；
S230、计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
在一种可能的实现方式中，可选地，还包括：
S240、利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
在一种可能的实现方式中，可选地，在步骤S400中，所述获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作，包括：
S410、通过预设链式法则获取物体在基坐标系下的变换矩阵；
S420、采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
S430、获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
根据本公开的另一方面，还提供了一种执行所述基于相机标定的工件抓取方法的装置，包括标定信息获取模块、相机标定矩阵处理模块、坐标系标定模块和位姿变换模块，其中，
标定信息获取模块：用于获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
相机标定矩阵处理模块：用于根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
坐标系标定模块：用于将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
位姿变换模块：用于获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
在一种可能的实现方式中，可选地，所述相机标定矩阵处理模块包括：
结构光投影模块：用于获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
解码模块：用于对所述投影结构光进行解码；
投影坐标计算模块：用于计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
在一种可能的实现方式中，可选地，所述相机标定矩阵处理模块还包括：
标定矩阵计算模块：用于利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
在一种可能的实现方式中，可选地，所述位姿变换模块包括变换矩阵获取模块、位姿标定模块和执行模块，其中，
变换矩阵获取模块：用于通过预设链式法则获取物体在基坐标系下的变换矩阵；
位姿标定模块：用于采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
执行模块：用于获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
根据本公开的另一方面，还提供了一种控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于相机标定的工件抓取方法。
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述所述的基于相机标定的工件抓取方法。
本申请的技术效果：
本发明通过获取标定信息根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。能够将待抓取零件在机器人坐标系下的位姿切换到对应平台的用户坐标系而进行抓取，实现了通过一个结构光相机加一个机械臂即可在多个不同平台上的工件抓取，效率高，加工成本低，还能够在不同工件平台上进行切换标定使用。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明基于相机标定的工件抓取方法的实施流程示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
如图1所示，根据本公开的一方面，提供了一种基于相机标定的工件抓取方法，包括如下步骤：
S100、获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
相机通过拍摄标定板获取标定信息，将相机下的标定板坐标系原点以及xyz轴定在标定板上，获得变换矩阵。具体实施时，可以通过三维相机拍摄标定板，将相机下的标定板坐标系原点以及xyz轴定在标定板上，获得标定矩阵。
S200、根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
预设标定步骤，即相机标定的步骤如下：
相机标定时，获取相机拍摄的标定板图片，保持标定板不动，依序投影结构光编码到标定板上；
找到标定板图片中的特征点坐标；
对相机拍摄到的投影结果光进行解码；
对找到的标定板图片中的特征点坐标求局部的单位性矩阵，并使用局部单位性矩阵计算出特征点在投影图片上的坐标；
改变标定板位姿，重复上面步骤；
重复上述步骤至少三次，并利用找到的特征点在相机和投影仪中的坐标系分别计算出相机内参矩阵和畸变系数，投影仪内参数矩阵和畸变系数，得到相机标定矩阵。
S300、将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
用户坐标系即用户自定义坐标系，机器人可以和不同的工作台或夹具配合工作，在每个工作台上建立一个用户坐标系。将机械臂的用户坐标系原点和xyz轴确定在标定板的原点上，使得到两个坐标系的原点和xyz轴重合；便于获得坐标系之间的变幻关系，以此实现执行动作时的位姿变换。
标定用户坐标系步骤如下：
示教第一个点为用户坐标系原点O，第一个点为标定板的原点，使得两个坐标系原点重合；
在xyz任意轴上示教一点，例如X轴示教一点Px，则用户坐标系x轴单位向量为n＝(Px-O)/norm(Px-O)；
在剩余两轴上示教一点，例如Y轴示教一点Py，则用户坐标系y轴单位向量为o＝(Py-O)/norm(Py-O)；
计算得到用户坐标系z轴单位向量a＝n×o；即建立好的用户坐标系为：
Figure BDA0003352625610000061
其中base为基坐标系，U为用户坐标系。
S400、获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
每次抓取不同坐标系下的工件，先求得物体在基坐标系下的的变换矩阵，再把输入的相机坐标系下的点云按照标定矩阵进行变换；变换矩阵可以直接在机器人控制系统上读取得到，变换位姿可按照用户设定的位姿标定步骤获得，在执行抓取时，识别到的物体6D位姿结果是相对于相机坐标系的，通过上述标定结果可得到待抓取零件在机器人坐标系即用户坐标系下的位姿。将机械臂变换到对应的用户坐标系，完成对工件的抓取。
在抓取不同平台上的工件时，上面得到待抓取零件在机器人坐标系下的位姿，然后切换到对应平台的用户坐标系，对工件进行抓取。实现了一个结构光相机加一个机械臂在多个不同平台上的工件抓取。本发明可以对于一台机器人，将相机固定在机械臂上，可以通过变换标定矩阵实现多个平台的工件抓取。
在一种可能的实现方式中，可选地，在步骤S200中，所述根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵，包括：
S210、获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
S220、对所述投影结构光进行解码；
S230、计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
具体见上述S200的描述。
在一种可能的实现方式中，可选地，还包括：
S240、利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
具体见上述S200的描述。
在一种可能的实现方式中，可选地，在步骤S400中，所述获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作，包括：
S410、通过预设链式法则获取物体在基坐标系下的变换矩阵；
S420、采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
S430、获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
每次抓取不同坐标系下的工件，先求得物体在基坐标系下的的变换矩阵，再把输入的相机坐标系下的点云按照标定矩阵进行变换；
如下链式法则，可得出物体在基坐标系下的变换矩阵：
Figure BDA0003352625610000081
其中
Figure BDA0003352625610000082
可以直接在机器人控制系统上读取得到。
对于
Figure BDA0003352625610000083
的标定，采用下面的步骤
在机器人工作范围内预设一固定点；
以任意姿态示教三个位姿点使得用户坐标系原点与该固定点重合；
以垂直于固定点的姿态，相同方式示教第四个位姿点；
以第四个位姿点为起点，不改变姿态地沿着设定用户坐标系的x轴正方向移动，定义为第五个位姿点；
以第五个位姿点为起点，不改变姿态地沿着设定用户坐标系的z轴正方向移动，定义为第六个位姿点。
其中前四个点用于用户坐标系原点位置
Figure BDA0003352625610000084
另外两个点用于标定用户坐标系姿态
Figure BDA0003352625610000085
则求得用户坐标系相对于标定板坐标系的位姿结果为：
Figure BDA0003352625610000086
对于
Figure BDA0003352625610000087
可通过手眼标定法进行计算；
在执行抓取时，识别到的物体6D位姿结果是相对于相机坐标系的为
Figure BDA0003352625610000088
通过上述标定结果可得到待抓取零件在机器人坐标系即用户坐标系下的位姿
Figure BDA0003352625610000091
将机械臂变换到对应的用户坐标系，完成对工件的抓取。在抓取不同平台上的工件时，上面得到待抓取零件在机器人坐标系下的位姿，然后切换到对应平台的用户坐标系，对工件进行抓取。实现了一个结构光相机加一个机械臂在多个不同平台上的工件抓取。
需要说明的是，尽管以三维相机和投影结构光作为示例介绍了如上标定信息处理方式，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定采集工具，只要可以获取标定信息即可。
这样，通过获取标定信息根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。能够将待抓取零件在机器人坐标系下的位姿切换到对应平台的用户坐标系而进行抓取，实现了通过一个结构光相机加一个机械臂即可在多个不同平台上的工件抓取，效率高，加工成本低，还能够在不同工件平台上进行切换标定使用。
实施例2
基于实施例1的技术实施原理，本实施例对应提供一种装置，来实现所述基于相机标定的工件抓取方法。
根据本公开的另一方面，还提供了一种执行所述基于相机标定的工件抓取方法的装置，包括标定信息获取模块、相机标定矩阵处理模块、坐标系标定模块和位姿变换模块，其中，
标定信息获取模块：用于获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
标定信息获取模块包括三维相机和结构光投影设备，按照实施例1的步骤和方法进行采集标定信息即可。
相机标定矩阵处理模块：用于根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
坐标系标定模块：用于将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
位姿变换模块：用于获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
在一种可能的实现方式中，可选地，所述相机标定矩阵处理模块包括：
结构光投影模块：用于获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
解码模块：用于对所述投影结构光进行解码；
投影坐标计算模块：用于计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
在一种可能的实现方式中，可选地，所述相机标定矩阵处理模块还包括：
标定矩阵计算模块：用于利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
在一种可能的实现方式中，可选地，所述位姿变换模块包括变换矩阵获取模块、位姿标定模块和执行模块，其中，
变换矩阵获取模块：用于通过预设链式法则获取物体在基坐标系下的变换矩阵；
位姿标定模块：用于采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
执行模块：用于获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
更进一步地，根据本公开的另一方面，还提供了一种控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于相机标定的工件抓取方法。
本公开实施例控制系统包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于相机标定的工件抓取方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的控制系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一种基于相机标定的工件抓取方法计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于相机标定的工件抓取方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行控制系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
实施例4
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述所述的基于相机标定的工件抓取方法。
非易失性计算机可读存储介质作为一种基于相机标定的工件抓取方法计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于相机标定的工件抓取方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行控制系统的各种功能应用及数据处理。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于相机标定的工件抓取方法，其特征在于，包括如下步骤：
S100、获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
S200、根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
S300、将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
S400、获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
2.根据权利要求1所述的一种基于相机标定的工件抓取方法，其特征在于，在步骤S200中，所述根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵，包括：
S210、获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
S220、对所述投影结构光进行解码；
S230、计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
3.根据权利要求2所述的一种基于相机标定的工件抓取方法，其特征在于，还包括：
S240、利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
4.根据权利要求1-3任一项所述的一种基于相机标定的工件抓取方法，其特征在于，在步骤S400中，所述获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作，包括：
S410、通过预设链式法则获取物体在基坐标系下的变换矩阵；
S420、采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
S430、获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
5.一种执行权利要求1-4任一项所述基于相机标定的工件抓取方法的装置，其特征在于，包括标定信息获取模块、相机标定矩阵处理模块、坐标系标定模块和位姿变换模块，其中，
标定信息获取模块：用于获取标定信息，所述标定信息包括标定板坐标系原点以及标定板xyz轴；
相机标定矩阵处理模块：用于根据预设标定步骤对所述标定信息中的特征点进行不同坐标系下的参数和矩阵计算处理，并获取得到相机标定矩阵；
坐标系标定模块：用于将机械臂的用户坐标系原点和用户坐标系xyz轴与所述标定板坐标系原点和标定板xyz轴分别对应，并进行标定重合；
位姿变换模块：用于获得工件在基坐标系下的变换矩阵，并把输入相机坐标系下的点云按照所述标定矩阵进行变换，获取变换位姿并根据所述变换位姿执行抓取动作。
6.根据权利要求5所述的装置，其特征在于，所述相机标定矩阵处理模块包括：
结构光投影模块：用于获取标定板图片，依序投影结构光编码到所述标定板上，并找到所述标定板图片中的特征点坐标；
解码模块：用于对所述投影结构光进行解码；
投影坐标计算模块：用于计算获取所述特征点坐标求的局部单位性矩阵，并使用所述局部单位性矩阵计算出特征点在投影图片上的坐标；改变标定板位姿，重复上面步骤。
7.根据权利要求6所述的装置，其特征在于，所述相机标定矩阵处理模块还包括：
标定矩阵计算模块：用于利用找到的所述特征点在相机和投影仪中的坐标系，分别计算出相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，根据所述相机内参矩阵和相机畸变系数与投影仪内参数矩阵和投影仪畸变系数，计算并获取得到相机标定矩阵。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述位姿变换模块包括变换矩阵获取模块、位姿标定模块和执行模块，其中，
变换矩阵获取模块：用于通过预设链式法则获取物体在基坐标系下的变换矩阵；
位姿标定模块：用于采用姿态标定预设流程，求得所述用户坐标系相对于所述标定板坐标系的位姿标定信息；
执行模块：用于获取所述位姿标定信息，并根据所述位姿标定信息执行抓取动作。
9.一种控制系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至4中任意一项所述的基于相机标定的工件抓取方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的基于相机标定的工件抓取方法。
CN202111342534.9A 2021-11-12 2021-11-12 基于相机标定的工件抓取方法、装置和控制系统 Pending CN114119767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111342534.9A CN114119767A (zh) 2021-11-12 2021-11-12 基于相机标定的工件抓取方法、装置和控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111342534.9A CN114119767A (zh) 2021-11-12 2021-11-12 基于相机标定的工件抓取方法、装置和控制系统

Publications (1)

Publication Number Publication Date
CN114119767A true CN114119767A (zh) 2022-03-01

Family

ID=80379771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111342534.9A Pending CN114119767A (zh) 2021-11-12 2021-11-12 基于相机标定的工件抓取方法、装置和控制系统

Country Status (1)

Country Link
CN (1) CN114119767A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114619233A (zh) * 2022-03-17 2022-06-14 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114619233A (zh) * 2022-03-17 2022-06-14 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN114619233B (zh) * 2022-03-17 2023-08-08 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Similar Documents

Publication Publication Date Title
CN108921890B (zh) 螺丝锁付方法、装置及计算机可读存储介质
US10786904B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
CN114119767A (zh) 基于相机标定的工件抓取方法、装置和控制系统
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
US11173609B2 (en) Hand-eye calibration method and system
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP6863954B2 (ja) カメラ校正装置及びカメラ校正方法
JP7337495B2 (ja) 画像処理装置およびその制御方法、プログラム
CN111791226B (zh) 通过机器人实现组装的方法、装置及机器人
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
CN109814434B (zh) 控制程序的校准方法及装置
US20190287258A1 (en) Control Apparatus, Robot System, And Method Of Detecting Object
CN116958146B (zh) 3d点云的采集方法及装置、电子装置
CN114080590A (zh) 使用先进扫描技术的机器人料箱拾取系统和方法
CN110967350A (zh) 基于图像识别的芯片测试方法、装置及电子设备
US11126844B2 (en) Control apparatus, robot system, and method of detecting object
CN111591474A (zh) 一种航天器在轨操作系统对准式手眼标定方法
Niu et al. Integration of multi-camera vision system for automatic robotic assembly
JP2707548B2 (ja) 視覚認識装置の座標補正方法
US11478936B2 (en) Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
CN114022342A (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN112581538A (zh) 一种获取马达感度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination