CN114677429A - 一种机械手的定位方法、装置、计算机设备和存储介质 - Google Patents

一种机械手的定位方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114677429A
CN114677429A CN202210585184.7A CN202210585184A CN114677429A CN 114677429 A CN114677429 A CN 114677429A CN 202210585184 A CN202210585184 A CN 202210585184A CN 114677429 A CN114677429 A CN 114677429A
Authority
CN
China
Prior art keywords
manipulator
image
calibration object
coordinate
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210585184.7A
Other languages
English (en)
Other versions
CN114677429B (zh
Inventor
宋展
陈思园
叶于平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangcheng Innovation Technology Co ltd
Original Assignee
Shenzhen Guangcheng Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangcheng Innovation Technology Co ltd filed Critical Shenzhen Guangcheng Innovation Technology Co ltd
Priority to CN202210585184.7A priority Critical patent/CN114677429B/zh
Publication of CN114677429A publication Critical patent/CN114677429A/zh
Application granted granted Critical
Publication of CN114677429B publication Critical patent/CN114677429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Abstract

本申请涉及一种机械手的定位方法、装置、计算机设备和存储介质。方法包括:控制三维相机获取到包含条状射线的标定物的第一图像;识别出第一图像的两条放射线的交点,将交点所有区域确定为标定物的中心区域;获取到标定物的中心区域与机械手的偏移量;根据偏移量控制机械手移动至标定物的中心区域,控制三维相机获取到中心区域的圆心图像;计算出圆心图像的三维坐标数据;根据三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。使用模板及配准的方式进行定位,能自动完成定位,自动化程度高,大大的提高了机械手示教的速度和精度,系统结构简单。

Description

一种机械手的定位方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种机械手的定位方法、装置、计算机设备和存储介质。
背景技术
随着中国制造2025的到来,工业自动化已经成为一种趋势;其中离不开工业机器人的助力。然而,在一些需要机械手定位的应用场景,对机械手走位精度要求很高。传统模式下,一般采用人工示教的方式,即通过人眼配合机械手示教器调试到最佳点位;为了调试到最佳点位,往往需要很长的时间;当需要调试大量机械手点位时,该方法影响生产效率。
现有的机械手调点定位主要是人工示教的方式,该方法效率低,精度低;也有使用2D相机辅助定位的,能加快调点效率;但仅能从XY方向定位,无法矫正机械手的高度方向和角度,实现自动定位;当机械手发生Z方向的误差或角度变化时,点位的定位准确性差。为了加快机械手定位效率,厂商会使用治具的方式尽量将每个工位的相对位置固定,使用相对位置来简化机械手定位过程;该方法能提高定位效率,但是未能实现全自动话定位,还是需要过多的人工干预。主要流程如下:
1、建立模板:如单个cell需调试70个点位,人工至少需调试4个模板点位。调试模板点位的方法通常是人工校对,耗费大量的人力物力;
2、定位:首先通过相对位置关系,可以定位出其他的点位的大致位置,由机械手上绑定的2D相机,可以定位出XY的相对位置偏差;然后由机械手绑定的一个3D点激光传感器测量出高度偏差。该方法能定位出XYZ的偏差,但当机械手发生角度偏差时,定位的准确性差。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高自动化程度及机械手示教的速度和精度的机械手的定位方法、装置、计算机设备和计算机可读存储介质。
一种机械手的定位方法,所述机械手上设置有三维相机;所述方法包括:
控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
获取到所述标定物的中心区域与机械手的偏移量;
根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
计算出所述圆心图像的三维坐标数据;
根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
在一种实施例中,所述控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像之前,包括:
计算出相机坐标系到机械手坐标系的空间位置数据。
在一种实施例中,所述方法还包括:
获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
在一种实施例中,所述识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域,包括:
识别出所述第一图像的分辨率;
若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域。
在一种实施例中,所述方法还包括:
当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
一种机械手的定位装置,所述机械手上设置有三维相机;所述装置包括:
第一图像获取模块,用于控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
中心区域确定模块,用于识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
偏移量获取模块,用于获取到所述标定物的中心区域与机械手的偏移量;
圆心图像获取模块,用于根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
三维坐标数据计算模块,用于计算出所述圆心图像的三维坐标数据;
配准模块,用于根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
在一种实施例中,与所述第一图像获取模块相连的模块,包括:
空间位置数据计算模块,用于计算出相机坐标系到机械手坐标系的空间位置数据。
在一种实施例中,所述装置还包括:
坐标获取模块,用于获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
模板点云建立模块,用于根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述的一种机械手的定位方法、装置、计算机设备和存储介质,通过条状射线的方式精确定位标定板中心的方式,该方法可以使得即使相机视野较小但精度高的情况下,依然可以准确的找到拍照中心和高度,使用模板及配准的方式进行定位,将标定板坐标系、相机坐标系、机械手坐标系以及基坐标系完美的统一和转化,能自动完成定位。相较于人工示教的方式,该方法由于自动化程度高,大大的提高了机械手示教的速度和精度,系统结构简单、提高操作的自动化程度。
附图说明
图1为一个实施例中机械手的定位方法的流程示意图;
图2为一个实施例中机械手的定位系统的示意图;
图3为一个实施例中中心区域确定步骤的示意图;
图4为一个实施例中返回步骤的示意图;
图5为一个实施例中模板点云建立步骤的示意图;
图6为一个实施例中标定物的示意图;
图7为一个实施例中机械手初始点位拍摄的标定板示意图;
图8为一个实施例中机械手调整高度后拍摄的标定板示意图;
图9为一个实施例中机械手调整XY偏移量后拍摄的标定板示意图;
图10为一个实施例中机械手的定位装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种机械手的定位方法的流程示意图,包括以下步骤:
步骤101,控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
本发明实施例中,该机械手包括控制装置,如电脑等,该控制装置可以用于控制机械手的动作及移动方向,而机械手可以包括多种的机械手如三轴机械手、四轴机械手、五轴机械手、六轴机械手或七轴机械手等,针对用途而言,其可以是冲压机械手、码垛机械手、车床上下料机械手、搬运机械手、注塑机械手、镀锌机械手、焊接机械手、切割机械手及拆跺机械手,本发明实施例对机械手的种类及具体构成不作过多的限制。
进一步地,该标定物可以放置于机械手行程范围内的任意位置,例如,标定物可以放置于机械手右侧下方,另外,工件也可以放置于机械手行程范围内的任意位置,如机械手右侧上方。
在一个实施例中,如图2所示,提供了一种机械手的定位系统的示意图,该三维相机可以包括结构光3D相机,而标定物可以是四周为条状射线,中心为5*5的圆点矩阵的标定板。
本发明实施例中,可以控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像。
步骤102,识别出所述第一图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域;
进一步应用到本发明实施例中,控制装置可以通过图像识别技术识别出第一图像的两条放射线的角度,从而识别出两条放射线的交点,两条放射线的交点所在区域即为标定物的中心区域。
在另外一种情况下,参照图3,是本实施例的一种中心区域确定步骤的示意图,所述步骤包括:
步骤11,识别出所述第一图像的分辨率;
步骤12,若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
步骤13,当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域。
当第一次获取的第一图像分辨率小于预设阈值,如小于300像素每英寸时,即可以控制机械手降低相对于标定物的高度,重新获取到包含条状射线的标定物的第二图像,再次判定该第二图像的分辨率是否大于预设阈值,当第二图像的分辨率大于预设阈值时,即第二图像足够清晰时,可以识别出所述第二图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域。
进一步地,参照图4,是本实施例的一种返回步骤的示意图,所述步骤包括:
步骤14,当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
当第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤,当第二图像的清晰度没有达到要求,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤,重新获取第二图像,直到清晰度符合要求,识别出标定物的中心区域。
步骤103,获取到所述标定物的中心区域与机械手的偏移量;
在识别出标定物的中心区域之后,可以进一步计算出标定物的中心区域与机械手的偏移量。
步骤104,根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
进一步应用到本发明实施例中,得到偏移量之后,可以根据偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像。
步骤105,计算出所述圆心图像的三维坐标数据;
实际应用中,控制装置可以计算出该圆心图像的三维坐标数据,即计算出圆心矩阵的三维坐标数据。
步骤106,根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
具体应用到本发明实施例中,可以将该三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标;具体而言,参照图5,是本实施例的一种模板点云建立步骤的示意图,所述步骤包括:
步骤21,获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
步骤22,根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
首先可以获取到标定物初始圆心坐标、工件定位坐标及机械手拍照位坐标,即可以建立模板点云。
具体而言,该标定物初始圆心坐标是指标定物在某一位置时的圆心坐标;而机械手拍照位坐标是指机械手拍照位置的坐标;工件定位坐标即为工件所在位置;即可以得到标定板坐标系和机械手定位点位,进一步将标定板坐标系和工件定位点位的相对位置关系保存。
举例而言,如机械手需要夹取电路板,而电路板和标定板由大载板一起固定,当得到标定板圆心坐标后(即标定板坐标系)即可通过相对关系计算出夹取电路板的机械手的坐标(工件定位坐标),即可得到模板点云。
再将上述的三维坐标数据与模板点云进行ICP(Iterative Closest Point,迭代最近点)配准,得到机械手坐标的变化量,通过变化量,重新匹配准确的定位点,得到即可机械手的示教定位坐标,完成多个工件点位的示教过程。
本发明实施例中,通过条状射线的方式精确定位标定板中心的方式,该方法可以使得即使相机视野较小但精度高的情况下,依然可以准确的找到拍照中心和高度,使用模板及配准的方式进行定位,将标定板坐标系、相机坐标系、机械手坐标系以及基坐标系完美的统一和转化,能自动完成定位。相较于人工示教的方式,该方法由于自动化程度高,大大的提高了机械手示教的速度和精度,系统结构简单、提高操作的自动化程度。
在一种具体实施例中,所述控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像之前,包括:计算出相机坐标系到机械手坐标系的空间位置数据。
即可以计算出机械手与其上的三维相机的空间位置关系,保存该位置关系。
为了使本领域技术人员更好了理解本发明实施例,以下通过一个具体示例进行说明:
参照图6,是本实施例的一种标定物的示意图;结合图2,该定位系统的主要模块及工作流程简述如下:
1)首先将3D结构光相机固定到机械手上,3D相机通过不同角度拍摄标定板(如图2)中心区域的圆点矩阵(10组左右),然后通过一定标定算法即可标定3D相机坐标系到机械手坐标系的旋转矩阵R和平移向量T;
2)制作模板数据,并保存定位点,将机械手调整到一个最佳的拍摄远点矩阵的位置,同时保存定位点和圆点矩阵圆心的3D坐标数据,即可得到定位点和拍摄点的相对位置;
3)机械手带着结构光3D相机移动到标定板拍摄区域;
4)3D相机拍摄标定板,根据相机和机械手的标定参数计算出机械手Z向调整方向和距离;
5)根据上一步计算结果,机械手调整Z向距离到3D相机拍摄标定板刚好是最佳聚焦面;
6)3D相机再次拍摄标定板,由于相机视野至少能拍摄两条线,根据标定板中的线特征,找到两条线的交点 ,根据标定图片可知,两条线的交点必定再标定板的中心;
7)由标定参数计算出3D相机相对于中心点XY偏移量;
8)根据上一步结果,机械手移动相应的偏移量,即可将相机视野调整到标定板的中心区域,并且是最佳工作距离;
9)拍摄圆点矩阵,计算圆心的3D坐标数据,和第2)步中保存的模板点云进行比较,即可得到当前机械手坐标的变化量,通过该变化量和模板定位点,即可得到当前的定位点坐标。
本发明的详细技术方案如下:
1、手眼标定模块
首先将3D结构光相机固定到机械手上,3D相机通过不同角度拍摄标定板中心区域的圆点矩阵(10组左右),计算出每个圆心坐标,同时记录当前机械手的坐标值;得到十组点阵坐标和机械手坐标。根据以下公式,即可计算出相机坐标系到机械手坐标系的空间位置关系X。其中A位机械手坐标系到基座标系的空间位置关系,B时物坐标系到相机坐标系的关系(因标定板未移动,此例中物坐标系始终保持不变)。
Figure 379040DEST_PATH_IMAGE001
(1)
2、制作模板
由第一步得到相机到机械手的坐标关系X之后,此时需要再次示教一个模板拍照点位,能清晰的拍摄上述标定板中的圆点矩阵即可;制作模板需要保存模板拍照位的圆心的坐标、拍照位的机械手坐标以及需要定位的机械手点位。 制作模板的目的是将标定板坐标系和机械手定位点位的相对位置关系保存。由图2所示,如机械手需要夹取电路板,而电路板和标定板由大载板一起固定,当得到标定板圆心坐标后即可通过相对关系计算出夹取电路板的机械手的坐标。
3、定位模块
由于3D相机视野有限,在有限的空间距离内无法将视野覆盖标定板,并且要求较高定位精度时,只能选用小视野高分辨率的相机。因此当机械手需要示教一个新的定位点时,无法准确的知道需要走的点位;只能大致的走到位置;此时若要每个位置都精确示教,需要大量的人力和时间。通过点位复制然后定位的方法可以解决这个问题;具体步骤如下
A、机械手带着结构光3D相机移动到标定板拍摄区域,并拍照;
B、3D相机拍摄标定板,如图7示的机械手初始点位拍摄的标定板示意图,此时相机到标定板的工作距离并非最佳工作距离,因此图像很模糊;但本发明使用的3D相机即使在图像模糊的情况下依然可以成像。根据成像计算出此时标定板的平均高度值Z1;由(Z1-Z0)即可得到当前机械手应该调整的高度z;并调整机械手高度 ;
C、根据上一步计算结果,机械手调整Z向距离到3D相机拍摄标定板刚好是最佳聚焦面。3D相机再次拍摄标定板,由于相机视野内至少能拍摄两条线,根据标定板中的线特征,根据图像算法找到两条线的交点 ;根据标定图片可知,两条线的交点必定在标定板的中心,如图8所示的机械手调整高度后拍摄的标定板示意图;
D、 由根据前面相机和机械手的标定参数可计算出3D相机相对于中心点XY偏移量,机械手移动相应的偏移量,即可将相机视野调整到标定板的中心区域,并且是最佳工作距离;如图9所示的机械手调整XY偏移量后拍摄的标定板示意图,此时,即准确的定位了相机拍照点,大大加快相机找拍照位的速度。
4、配准模块
拍摄圆点矩阵,计算圆心的3D坐标数据,和第2步中保存的模板点云进行ICP配准,即可得到当前机械手坐标的变化量。由于标定板和示教的定位点相对位置固定,通过该变化量,示教的定位点即可重新匹配到新的准确的定位点即可得到当前的定位点坐标。
本发明实施例中,提出了一种通过条状射线的方式精确定位标定板中心的方式,该方法可以使得即使相机视野较小但精度高的情况下,依然可以准确的找到拍照中心和高度;采用了大景深的3D结构光相机,可实现在视野50mm*40mm的情况下,实现±50mmZ向范围的成像,保证能在初始位置误差较大的情况下依然能够纠偏;采用了高精度的手眼标定方法,选用5*5的圆点矩阵,结合质心检测算法检测每个圆的中心坐标,以及高鲁棒性的AX=XB问题求解算法;标定精度高;提出了使用模板及配准的方式进行定位,将标定板坐标系、相机坐标系、机械手坐标系以及基坐标系完美的统一和转化,能自动完成定位。相较于人工示教的方式,该方法由于自动化程度高,大大的提高了机械手示教的速度和精度。
在一种优选的替代方案中,本发明以目前可以实现的结构光系统作为动态3D成像传感设备,实现同样功能,在保证3D成像精度和速度前提下,也可以采用其他原理的3D成像传感器;使用的标定板是5*5的圆点矩阵,类似的,基于同样标定原理,可以将圆点矩阵的大小改变,如7*7的圆点矩阵;或者采用棋盘格的标定方式 使用了自制标定板来作为ICP配准的点云,也可以采用目标本身点云来定位。如文中的例子,可以直接使用电路板本身的3D点云进行配准,本发明实施例对此不作过多的限制。
应该理解的是,虽然图1-5中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种机械手的定位装置,所述机械手上设置有三维相机;包括:
第一图像获取模块301,用于控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
中心区域确定模块302,用于识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
偏移量获取模块303,用于获取到所述标定物的中心区域与机械手的偏移量;
圆心图像获取模块304,用于根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
三维坐标数据计算模块305,用于计算出所述圆心图像的三维坐标数据;
配准模块306,用于根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
在一种实施例中,与所述第一图像获取模块相连的模块,包括:
空间位置数据计算模块,用于计算出相机坐标系到机械手坐标系的空间位置数据。
在一种实施例中,所述装置还包括:
坐标获取模块,用于获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
模板点云建立模块,用于根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
在一种实施例中,所述中心区域确定模块包括:
分辨率识别子模块,用于识别出所述第一图像的分辨率;
第二图像获取子模块,用于若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
中心区域确定子模块,用于当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域。
在一种实施例中,所述装置还包括:
返回模块,用于当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
关于机械手的定位装置的具体限定可以参见上文中对于机械手的定位方法的限定,在此不再赘述。上述机械手的定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是机械手或机械手的控制装置,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机械手的定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
获取到所述标定物的中心区域与机械手的偏移量;
根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
计算出所述圆心图像的三维坐标数据;
根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算出相机坐标系到机械手坐标系的空间位置数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
识别出所述第一图像的分辨率;
若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
获取到所述标定物的中心区域与机械手的偏移量;
根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
计算出所述圆心图像的三维坐标数据;
根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
计算出相机坐标系到机械手坐标系的空间位置数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
识别出所述第一图像的分辨率;
若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机械手的定位方法,其特征在于,所述机械手上设置有三维相机;所述方法包括:
控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
获取到所述标定物的中心区域与机械手的偏移量;
根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
计算出所述圆心图像的三维坐标数据;
根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
2.根据权利要求1所述的方法,所述控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像之前,包括:
计算出相机坐标系到机械手坐标系的空间位置数据。
3.根据权利要求1所述的方法,所述方法还包括:
获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
4.根据权利要求1所述的方法,所述识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域,包括:
识别出所述第一图像的分辨率;
若所述第一图像的分辨率小于预设阈值时,调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像;
当所述第二图像的分辨率大于预设阈值,识别出所述第二图像的两条放射线的交点,将所述交点所在区域确定为标定物的中心区域。
5.根据权利要求4所述的方法,所述方法还包括:
当所述第二图像的分辨率小于预设阈值,则返回调整所述机械手相对于标定物的高度,控制三维相机获取到包含条状射线的标定物的第二图像的步骤。
6.一种机械手的定位装置,其特征在于,所述机械手上设置有三维相机;所述装置包括:
第一图像获取模块,用于控制机械手移动,进而控制三维相机获取到包含条状射线的标定物的第一图像;
中心区域确定模块,用于识别出所述第一图像的两条放射线的交点,将所述交点所有区域确定为标定物的中心区域;
偏移量获取模块,用于获取到所述标定物的中心区域与机械手的偏移量;
圆心图像获取模块,用于根据所述偏移量控制机械手移动至所述标定物的中心区域,进而控制三维相机获取到中心区域的圆心图像;
三维坐标数据计算模块,用于计算出所述圆心图像的三维坐标数据;
配准模块,用于根据所述三维坐标数据与模板点云进行配准,得到机械手的示教定位坐标。
7.根据权利要求6所述的装置,与所述第一图像获取模块相连的模块,包括:
空间位置数据计算模块,用于计算出相机坐标系到机械手坐标系的空间位置数据。
8.根据权利要求6所述的装置,所述装置还包括:
坐标获取模块,用于获取到标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标;
模板点云建立模块,用于根据所述标定物初始圆心坐标、机械手拍照位坐标以及工件定位坐标建立模板点云。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202210585184.7A 2022-05-27 2022-05-27 一种机械手的定位方法、装置、计算机设备和存储介质 Active CN114677429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210585184.7A CN114677429B (zh) 2022-05-27 2022-05-27 一种机械手的定位方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585184.7A CN114677429B (zh) 2022-05-27 2022-05-27 一种机械手的定位方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114677429A true CN114677429A (zh) 2022-06-28
CN114677429B CN114677429B (zh) 2022-08-30

Family

ID=82080418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585184.7A Active CN114677429B (zh) 2022-05-27 2022-05-27 一种机械手的定位方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114677429B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2622222A (en) * 2022-09-06 2024-03-13 Ocado Innovation Ltd Hand-Eye Calibration for a Robotic Manipulator

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083095A (ja) * 2007-09-29 2009-04-23 Ihi Corp ロボット装置の制御方法及びロボット装置
US20150261899A1 (en) * 2014-03-12 2015-09-17 Fanuc Corporation Robot simulation system which simulates takeout process of workpieces
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
JP2017026552A (ja) * 2015-07-27 2017-02-02 株式会社パスコ 3次元計測装置、3次元計測方法、及びプログラム
CN107194989A (zh) * 2017-05-16 2017-09-22 交通运输部公路科学研究所 基于无人机飞机航拍的交通事故现场三维重建系统及方法
CN107270811A (zh) * 2017-06-22 2017-10-20 深圳市恒科通机器人有限公司 定位测试方法及定位测试装置
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法
CN111445533A (zh) * 2020-03-27 2020-07-24 广东博智林机器人有限公司 一种双目相机标定方法、装置、设备及介质
CN111612794A (zh) * 2020-04-15 2020-09-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
US20200282575A1 (en) * 2019-03-05 2020-09-10 The Boeing Company Automatic calibration for a robot optical sensor
CN112270713A (zh) * 2020-10-14 2021-01-26 北京航空航天大学杭州创新研究院 标定方法以及装置、存储介质、电子装置
US20210065397A1 (en) * 2018-05-16 2021-03-04 VTouch Co., Ltd. Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium
CN112634379A (zh) * 2021-01-08 2021-04-09 清华大学深圳国际研究生院 一种基于混合视域光场的三维定位测量方法
US20210191421A1 (en) * 2019-12-24 2021-06-24 Ubtech Robotics Corp Ltd Autonomous mobile apparatus and control method thereof
US20210196397A1 (en) * 2019-12-26 2021-07-01 Suzhou MicroPort Orthobot Co., Ltd. Method for bone registration and surgical robot
CN113494893A (zh) * 2021-09-09 2021-10-12 深圳广成创新技术有限公司 一种三维激光扫描系统的标定方法、装置和计算机设备
CN113505791A (zh) * 2021-09-09 2021-10-15 深圳广成创新技术有限公司 一种甲片的贴合方法、装置、计算机设备和存储介质
CN113533498A (zh) * 2021-07-26 2021-10-22 成都盛锴科技有限公司 自动化涡流探伤系统的焊缝检测定位方法及定位装置
CN113744336A (zh) * 2021-09-07 2021-12-03 深圳市睿达科技有限公司 一种辅助定位方法、装置及计算机可读存储介质
CN114012731A (zh) * 2021-11-23 2022-02-08 深圳市如本科技有限公司 手眼标定方法、装置、计算机设备和存储介质
WO2022073427A1 (zh) * 2020-10-10 2022-04-14 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083095A (ja) * 2007-09-29 2009-04-23 Ihi Corp ロボット装置の制御方法及びロボット装置
US20150261899A1 (en) * 2014-03-12 2015-09-17 Fanuc Corporation Robot simulation system which simulates takeout process of workpieces
JP2017026552A (ja) * 2015-07-27 2017-02-02 株式会社パスコ 3次元計測装置、3次元計測方法、及びプログラム
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN107194989A (zh) * 2017-05-16 2017-09-22 交通运输部公路科学研究所 基于无人机飞机航拍的交通事故现场三维重建系统及方法
CN107270811A (zh) * 2017-06-22 2017-10-20 深圳市恒科通机器人有限公司 定位测试方法及定位测试装置
US20210065397A1 (en) * 2018-05-16 2021-03-04 VTouch Co., Ltd. Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium
US20200282575A1 (en) * 2019-03-05 2020-09-10 The Boeing Company Automatic calibration for a robot optical sensor
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法
US20210191421A1 (en) * 2019-12-24 2021-06-24 Ubtech Robotics Corp Ltd Autonomous mobile apparatus and control method thereof
US20210196397A1 (en) * 2019-12-26 2021-07-01 Suzhou MicroPort Orthobot Co., Ltd. Method for bone registration and surgical robot
CN111445533A (zh) * 2020-03-27 2020-07-24 广东博智林机器人有限公司 一种双目相机标定方法、装置、设备及介质
CN111612794A (zh) * 2020-04-15 2020-09-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
WO2022073427A1 (zh) * 2020-10-10 2022-04-14 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112270713A (zh) * 2020-10-14 2021-01-26 北京航空航天大学杭州创新研究院 标定方法以及装置、存储介质、电子装置
CN112634379A (zh) * 2021-01-08 2021-04-09 清华大学深圳国际研究生院 一种基于混合视域光场的三维定位测量方法
CN113533498A (zh) * 2021-07-26 2021-10-22 成都盛锴科技有限公司 自动化涡流探伤系统的焊缝检测定位方法及定位装置
CN113744336A (zh) * 2021-09-07 2021-12-03 深圳市睿达科技有限公司 一种辅助定位方法、装置及计算机可读存储介质
CN113494893A (zh) * 2021-09-09 2021-10-12 深圳广成创新技术有限公司 一种三维激光扫描系统的标定方法、装置和计算机设备
CN113505791A (zh) * 2021-09-09 2021-10-15 深圳广成创新技术有限公司 一种甲片的贴合方法、装置、计算机设备和存储介质
CN114012731A (zh) * 2021-11-23 2022-02-08 深圳市如本科技有限公司 手眼标定方法、装置、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HOAI-NHAN NGUYEN 等: "A new calibration method for enhancing robot position accuracy by combining a robot model–based identification approach and an artificial neural network–based error compensation technique", 《ADVANCES IN MECHANICAL ENGINEERING》 *
SREEKANTH KANA 等: "Fast Kinematic Re-Calibration for Industrial Robot Arms", 《MDPI:SENSORS》 *
李鹏鹏: "基于双目视觉的并联机器人智能分拣系统研发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈前里: "番茄采摘双臂机器人设计与控制系统研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
马文龙: "基于单目视觉的三维零件定位与抓取研究", 《中国硕士学位论文全文数据库 工程科技II辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2622222A (en) * 2022-09-06 2024-03-13 Ocado Innovation Ltd Hand-Eye Calibration for a Robotic Manipulator

Also Published As

Publication number Publication date
CN114677429B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN109285190B (zh) 对象定位方法、装置、电子设备和存储介质
CN106780623B (zh) 一种机器人视觉系统快速标定方法
KR20180120647A (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
JP4021413B2 (ja) 計測装置
US20050273199A1 (en) Robot system
CN114012731B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN109493389B (zh) 一种基于深度学习的相机标定方法及系统
CN114677429B (zh) 一种机械手的定位方法、装置、计算机设备和存储介质
CN110853102B (zh) 一种新的机器人视觉标定及引导方法、装置及计算机设备
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN112264992A (zh) 一种工业机器人坐标系校准方法、系统、装置和存储介质
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN215037637U (zh) 一种用于工业机器人视觉引导的相机外参标定装置
CN112233184B (zh) 基于图像配准的激光雷达与相机标定参数校正方法及装置
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化系统
CN112507755A (zh) 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN116038701B (zh) 一种四轴机械臂的手眼标定方法及装置
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质
CN105425724A (zh) 一种基于机器视觉扫描成像的高精度运动定位方法及装置
CN116619350A (zh) 一种基于双目视觉测量的机器人误差标定方法
CN114833825A (zh) 协作机器人控制方法、装置、计算机设备和存储介质
CN109615658B (zh) 机器人的物品拿取方法、装置、计算机设备及存储介质
CN116100564B (zh) 一种标定机械手的高精度标定方法及装置
CN116091626A (zh) 一种面向无重叠视野的双相机标定系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant