CN115319737B - 一种自动化上下料控制方法、系统、装置及存储介质 - Google Patents

一种自动化上下料控制方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115319737B
CN115319737B CN202210815661.4A CN202210815661A CN115319737B CN 115319737 B CN115319737 B CN 115319737B CN 202210815661 A CN202210815661 A CN 202210815661A CN 115319737 B CN115319737 B CN 115319737B
Authority
CN
China
Prior art keywords
camera
coordinate system
robot
moment
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210815661.4A
Other languages
English (en)
Other versions
CN115319737A (zh
Inventor
沈雁斌
李卫燊
李卫铳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ligong Industrial Co ltd
Original Assignee
Guangzhou Ligong Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ligong Industrial Co ltd filed Critical Guangzhou Ligong Industrial Co ltd
Priority to CN202210815661.4A priority Critical patent/CN115319737B/zh
Publication of CN115319737A publication Critical patent/CN115319737A/zh
Application granted granted Critical
Publication of CN115319737B publication Critical patent/CN115319737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种自动化上下料控制方法、系统、装置及存储介质，自动化上下料控制方法通过获取相机与参照物之间的相对位置以及相机与机械臂末端之间的相对位置，即第一位置和第二位置，并根据相机内参进行标定，得到第一时刻的第三位置、第四位置和第五位置，通过第一位置和第二位置计算第七位置，进而调整第七位置使第五位置与第一位置重合，得到第八位置，从而根据第八位置、第三位置和第四位置计算得到机器人底座与待抓取工件的相对位置，即第九位置，基于第九位置实现了对机械臂末端的重复入位误差的补偿，实现了高精度的上下料控制。本发明可广泛应用于自动化控制技术领域。

Description

一种自动化上下料控制方法、系统、装置及存储介质
技术领域
本申请涉及自动化控制技术领域，尤其是一种自动化上下料控制方法、系统、装置及存储介质。
背景技术
工业机器人作为智能制造技术的关键设备，已经广泛应用于汽车、机械、电子、家电、石化、物流等各个行业。工业机器人常被用于进行工件搬运、上下料、分拣等操作，具有自主导航功能。
一般来说，工业机器人通过装载的机械臂进行上下料操作。然而，装置机械臂的工业机器人(如小车)在不同机位上下料时，由于工业机器人移动到指定工位后往往会产生机械臂末端的重复入位误差，工业机器人的机械臂无法对工件进行高精度定位，进而导致工件上下料失败。因此，目前的自主导航工业机器人的导航精度远远满足不了高精度上下料要求。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供一种自动化上下料控制方法、系统、装置及存储介质，以实现高精度的上下料控制。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
一方面，本发明实施例提供了一种自动化上下料控制方法，包括以下步骤：
响应于机器人移动到目标工件位置，获取第一位置，所述第一位置为相机与参照物之间的相对位置，所述相机设置在所述机器人的机械臂末端；
根据不同时刻的所述第一位置和第六位置进行计算，得到第二位置，所述第六位置为所述机器人的底座与机械臂末端之间的相对位置，所述第二位置为所述相机与所述机器人的机械臂末端之间的相对位置；
根据相机内参进行标定，得到第三位置、第四位置和第五位置，所述第三位置为第一时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第四位置为所述第一时刻的所述机器人的底座与待抓取工件的相对位置，所述第五位置为所述第一时刻的相机与参照物之间的相对位置，所述第一时刻为进行标定的时刻；
根据所述第一位置和所述第二位置计算第七位置，所述第七位置为所述机器人的机械臂末端与所述参照物之间的相对位置；
调整所述第七位置，得到第八位置，所述第八位置为第二时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第二时刻为所述第一位置与所述第五位置相同时的时刻；
根据所述第八位置、所述第三位置和所述第四位置进行计算，得到第九位置，所述第九位置为所述机器人的底座与所述待抓取工件的相对位置；
根据所述第九位置进行所述待抓取工件的上下料。
本发明实施例的一种自动化上下料控制方法，通过获取相机与参照物之间的相对位置以及相机与机械臂末端之间的相对位置，即第一位置和第二位置，并根据相机内参进行标定，得到第一时刻的第三位置、第四位置和第五位置，通过第一位置和第二位置计算第七位置，进而调整第七位置使第五位置与第一位置重合，得到第八位置，从而根据第八位置、第三位置和第四位置计算得到机器人底座与待抓取工件的相对位置，即第九位置，基于第九位置实现了对机械臂末端的重复入位误差的补偿，实现了高精度的上下料控制。
另外，根据本发明上述实施例的一种自动化上下料控制方法，还可以具有以下附加的技术特征：
进一步地，本发明实施例的一种自动化上下料控制方法中，在所述响应于机器人移动到目标工件位置，获取第一位置之前，所述方法还包括：
对所述相机进行标定，获取相机内参。
进一步地，在本发明的一个实施例中，所述对所述相机进行标定，获取相机内参，包括：
建立相机坐标系、像素坐标系和图像坐标系，所述相机坐标系的原点位于所述相机的镜头光心处，所述相机坐标系的x轴和y轴分别与像面的两边平行，z轴为镜头光轴，与像面垂直；所述像素坐标系用于表征所述相机的芯片中像素的排列情况；所述图像坐标系通过所述像素坐标系平移得到；
采用针孔成像原理，根据所述相机坐标系、所述像素坐标系、所述图像坐标系和世界坐标系进行计算，得到所述相机内参。
进一步地，在本发明的一个实施例中，所述响应于机器人移动到目标工件位置，获取第一位置，包括：
通过所述相机拍摄所述参照物，得到所述参照物的图像；
根据所述参照物的图像和所述相机内参得到所述第一位置。
另一方面，本发明实施例提出了一种自动化上下料控制系统，包括：
第一模块，用于响应于机器人移动到目标工件位置，获取第一位置，所述第一位置为相机与参照物之间的相对位置，所述相机设置在所述机器人的机械臂末端；
第二模块，用于根据不同时刻的所述第一位置和第六位置进行计算，得到第二位置，所述第六位置为所述机器人的底座与机械臂末端之间的相对位置，所述第二位置为所述相机与所述机器人的机械臂末端之间的相对位置；
第三模块，用于根据相机内参进行标定，得到第三位置、第四位置和第五位置，所述第三位置为第一时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第四位置为所述第一时刻的所述机器人的底座与待抓取工件的相对位置，所述第五位置为所述第一时刻的相机与参照物之间的相对位置，所述第一时刻为进行标定的时刻；
第四模块，用于根据所述第一位置和所述第二位置计算第七位置，所述第七位置为所述机器人的机械臂末端与所述参照物之间的相对位置；
第五模块，用于调整所述第七位置，得到第八位置，所述第八位置为第二时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第二时刻为所述第一位置与所述第五位置相同时的时刻；
第六模块，用于根据所述第八位置、所述第三位置和所述第四位置进行计算，得到第九位置，所述第九位置为所述机器人的底座与所述待抓取工件的相对位置；
第七模块，用于根据所述第九位置进行所述待抓取工件的上下料。
进一步地，在本发明的一个实施例中，所述系统还包括相机内参获取模块，所述相机内参获取模块用于对所述相机进行标定，获取相机内参。
进一步地，在本发明的一个实施例中，所述相机内参获取模块包括：
坐标系建立模块，用于建立相机坐标系、像素坐标系和图像坐标系，所述相机坐标系的原点位于所述相机的镜头光心处，所述相机坐标系的x轴和y轴分别与像面的两边平行，z轴为镜头光轴，与像面垂直；所述像素坐标系用于表征所述相机的芯片中像素的排列情况；所述图像坐标系通过所述像素坐标系平移得到；
相机内参计算模块，用于采用针孔成像原理，根据所述相机坐标系、所述像素坐标系、所述图像坐标系和世界坐标系进行计算，得到所述相机内参。
进一步地，在本发明的一个实施例中，所述第一模块包括：
拍摄模块，用于通过所述相机拍摄所述参照物，得到所述参照物的图像；
所述第一位置获取模块还用于根据所述参照物的图像和所述相机内参得到所述第一位置。
另一方面，本发明实施例提供了一种自动化上下料控制装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的一种自动化上下料控制方法。
另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现所述的一种自动化上下料控制方法。
本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本发明实施例通过获取相机与参照物之间的相对位置以及相机与机械臂末端之间的相对位置，即第一位置和第二位置，并根据相机内参进行标定，得到第一时刻的第三位置、第四位置和第五位置，通过第一位置和第二位置计算第七位置，进而调整第七位置使第五位置与第一位置重合，得到第八位置，从而根据第八位置、第三位置和第四位置计算得到机器人底座与待抓取工件的相对位置，即第九位置，基于第九位置实现了对机械臂末端的重复入位误差的补偿，实现了高精度的上下料控制。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明一种自动化上下料控制方法具体实施例的流程示意图；
图2为本发明一种自动化上下料控制方法具体实施例的原理示意图；
图3为本发明一种自动化上下料控制方法具体实施例的针孔成像原理示意图；
图4为本发明一种自动化上下料控制方法具体实施例的第二位置获取原理示意图；
图5为本发明一种自动化上下料控制系统具体实施例的结构示意图；
图6为本发明一种自动化上下料控制装置具体实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
一般来说，工业机器人通过装载的机械臂进行上下料操作。然而，装置机械臂的工业机器人(如小车)在不同机位上下料时，由于工业机器人移动到指定工位后往往会产生机械臂末端的重复入位误差，工业机器人的机械臂无法对工件进行高精度定位，进而导致工件上下料失败。因此，目前的自主导航工业机器人的导航精度远远满足不了高精度上下料要求。为此，本发明提出了一种自动化上下料控制方法、系统、装置及存储介质，通过获取相机与参照物之间的相对位置以及相机与机械臂末端之间的相对位置，即第一位置和第二位置，并根据相机内参进行标定，得到第一时刻的第三位置、第四位置和第五位置，通过第一位置和第二位置计算第七位置，进而调整第七位置使第五位置与第一位置重合，得到第八位置，从而根据第八位置、第三位置和第四位置计算得到机器人底座与待抓取工件的相对位置，即第九位置，基于第九位置实现了对机械臂末端的重复入位误差的补偿，实现了高精度的上下料控制。
下面参照附图详细描述根据本发明实施例提出的一种自动化上下料控制方法、系统、装置及存储介质，首先将参照附图描述根据本发明实施例提出的一种自动化上下料控制方法。
参照图1和图2，本发明实施例中提供一种自动化上下料控制方法，本发明实施例中的一种自动化上下料控制方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本发明实施例中的一种自动化上下料控制方法主要包括以下步骤：
S101、响应于机器人移动到目标工件位置，获取第一位置；
其中，第一位置为相机与参照物之间的相对位置，相机设置在机器人的机械臂末端。
在本发明的实施例中，在获取第一位置之前，先对相机进行标定，获取相机内参。
具体地，对相机进行标定，获取相机内参包括以下步骤：
1)建立相机坐标系oxyz、像素坐标系uov和图像坐标系XOY；
其中，相机坐标系oxyz的原点位于相机的镜头光心处，相机坐标系的x轴(横轴)和y轴(纵轴)分别与像面的两边平行，z轴为镜头光轴，与像面垂直。
像素坐标系uov用于表征相机的芯片(如CCD/CMOS芯片)中像素的排列情况。可选地，像素坐标系uov的原点位于像面的左上角，像素坐标系uov的u轴(横轴)和v轴(纵轴)分别与像面的两边平行。
图像坐标系XOY通过像素坐标系平移得到，可选地，图像坐标系XOY的原点为相机光轴与像面的交点(称为主点)，即相面的中心点，X轴(横轴)和Y(纵轴)分别与u轴和v轴平行。
2)采用针孔成像原理，根据相机坐标系oxyz、像素坐标系uov、图像坐标系XOY和世界坐标系进行计算，得到相机内参。
其中，参照图3，空间中任意一点P与相机光心的连线oP与像面的交点为图像点p。可以理解的是，图像点p为空间点P在像面上的投影，可通过如下矩阵表示：
Figure BDA0003742046060000061
式中，s为比例因子(s不为0)；f为有效焦距，表示相机光心到像面的距离；(x,y,z,1)T是空间点P在相机坐标系oxyz中的齐次坐标，(X,Y,1)T为图像点p在图像坐标系OXY中的齐次坐标。
具体地，像素坐标系uov与图像坐标系XOY的转换关系为：
Figure BDA0003742046060000062
相机坐标系与世界坐标系的转换关系为：
Figure BDA0003742046060000063
式中，R为3*3的旋转矩阵，t为3*1的平移矩阵，(xc,yc,zc,1)T为相机坐标系的齐次坐标，(xw,yw,zw,1)T为世界坐标系的齐次坐标。
根据上述三个式子可得：
Figure BDA0003742046060000071
其中，f/dX和f/dY为u轴和v轴的尺度因子，M1为相机内部参数矩阵，即相机内参，M2为相机的外部参数矩阵，M为投影矩阵。
由此得到相机内参M1。
S102、根据不同时刻的第一位置和第六位置进行计算，得到第二位置；
参照图4，可以理解的是，保持机器人底座不动的情况下，机器人的机械臂在移动过程中，机器人的底座与参照物之间的相对位置保持不变，由此可得：
Figure BDA0003742046060000072
Figure BDA0003742046060000073
其中，
Figure BDA0003742046060000074
和/>
Figure BDA0003742046060000075
对应不同时刻(机械臂在不同位置时)的第六位置，
Figure BDA0003742046060000076
和/>
Figure BDA0003742046060000077
对应不同时刻(机械臂在不同位置时)的第一位置，
Figure BDA0003742046060000078
和/>
Figure BDA0003742046060000079
对应不同时刻(机械臂在不同位置时)的第二位置。
可以理解的是，在不同时刻(机械臂在不同位置时)
Figure BDA00037420460600000710
不变，由此可得：
Figure BDA00037420460600000711
其中不同时刻的第六位置(
Figure BDA00037420460600000712
和/>
Figure BDA00037420460600000713
)可以通过机械臂内部的传感器读取得到。根据不同时刻(机械臂在不同位置时)的第一位置和第六位置计算得到第二位置。
S103、根据相机内参进行标定，得到第三位置、第四位置和第五位置；
其中，第三位置为第一时刻的机器人的底座与机械臂末端之间的相对位置，第四位置为第一时刻的机器人的底座与待抓取工件的相对位置，第五位置为第一时刻的相机与参照物之间的相对位置，第一时刻为进行标定的时刻。
1)机器人移动到指定目标工件位置，根据参照物的图像和相机内参将机器人手臂移动到距离参照物固定的位置。记录第三位置
Figure BDA00037420460600000714
2)通过使用示教器示教将机器人手臂移到工件上进行抓取，并假定此刻
Figure BDA0003742046060000081
已知，根据/>
Figure BDA0003742046060000082
获取第四位置；
3)根据相机拍摄参照物的相片以及相机内参获取第五位置。
S104、根据第一位置和第二位置计算第七位置；
其中，第七位置为机器人的机械臂末端与参照物之间的相对位置。
可以理解的是，本发明实施例通过相机拍摄参照物的相片以及相机内参获取到参照物与相机的位置不断调整手臂末端的位置使之保持第一位置
Figure BDA0003742046060000083
不变，因而每次运行时机械臂末端与待抓取工件的相对位置/>
Figure BDA0003742046060000084
固定不变，由于参照物与待抓取工件的相对位置也固定不变，因此机器人的机械臂末端与参照物之间的相对位置也固定不变。
S105、调整第七位置，得到第八位置；
其中，第八位置为第二时刻的机器人的底座与机械臂末端之间的相对位置，第二时刻为第一位置与第五位置相同时的时刻。
具体包括以下步骤：
1)不断调整步骤S104中的第七位置
Figure BDA0003742046060000085
使得第一位置与第五位置相同，得到第二时刻；
2)根据第八位置
Figure BDA0003742046060000086
即第二时刻的机器人的底座与机械臂末端之间的相对位置。
S106、根据第八位置、第三位置和第四位置进行计算，得到第九位置；
其中，第九位置为机器人的底座与待抓取工件的相对位置。
在本发明的实施例中，得到相机内参以及第二位置后，需要获取每次小车运行到目标工件位置后的第九位置
Figure BDA0003742046060000087
其中，
Figure BDA0003742046060000088
(参考物与待抓取的工件位置)是未知的，但是/>
Figure BDA0003742046060000089
是固定的。因此本发明实施例根据相机内参进行标定，在相机运行到距离参照物指定距离后，通过示教器示教的方式，将机械臂移到工件上进行抓取。在本发明的实施例中，假定在第一时刻的第九位置/>
Figure BDA00037420460600000810
已知，从而后续小车移动到目标工件位置时只需获取当前时刻(即第二时刻)机器人底座相对于第一时刻的机器人底座的偏移/>
Figure BDA00037420460600000811
就可得当前时刻(即第二时刻)的第九位置：/>
Figure BDA00037420460600000812
1)根据第三位置和第八位置进行计算，得到当前时刻(即第二时刻)机器人底座相对于第一时刻的机器人底座的偏移
Figure BDA0003742046060000091
Figure BDA0003742046060000092
2)根据
Figure BDA0003742046060000093
和第四位置进行计算，得到第九位置：
Figure BDA0003742046060000094
S107、根据第九位置进行待抓取工件的上下料。
结合步骤S101-S107所述的一种自动化上下料控制方法可知，本发明通过获取相机与参照物之间的相对位置以及相机与机械臂末端之间的相对位置，即第一位置和第二位置，并根据相机内参进行标定，得到第一时刻的第三位置、第四位置和第五位置，通过第一位置和第二位置计算第七位置，进而调整第七位置使第五位置与第一位置重合，得到第八位置，从而根据第八位置、第三位置和第四位置计算得到机器人底座与待抓取工件的相对位置，即第九位置，基于第九位置实现了对机械臂末端的重复入位误差的补偿，实现了高精度的上下料控制。
其次，参照附图描述根据本申请实施例提出的一种自动化上下料控制系统。
图5是本申请一个实施例的一种自动化上下料控制系统结构示意图。
所述系统具体包括：
第一模块501，用于响应于机器人移动到目标工件位置，获取第一位置，所述第一位置为相机与参照物之间的相对位置，所述相机设置在所述机器人的机械臂末端；
第二模块502，用于根据不同时刻的所述第一位置和第六位置进行计算，得到第二位置，所述第六位置为所述机器人的底座与机械臂末端之间的相对位置，所述第二位置为所述相机与所述机器人的机械臂末端之间的相对位置；
第三模块503，用于根据相机内参进行标定，得到第三位置、第四位置和第五位置，所述第三位置为第一时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第四位置为所述第一时刻的所述机器人的底座与待抓取工件的相对位置，所述第五位置为所述第一时刻的相机与参照物之间的相对位置，所述第一时刻为进行标定的时刻；
第四模块504，用于根据所述第一位置和所述第二位置计算第七位置，所述第七位置为所述机器人的机械臂末端与所述参照物之间的相对位置；
第五模块505，用于调整所述第七位置，得到第八位置，所述第八位置为第二时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第二时刻为所述第一位置与所述第五位置相同时的时刻；
第六模块506，用于根据所述第八位置、所述第三位置和所述第四位置进行计算，得到第九位置，所述第九位置为所述机器人的底座与所述待抓取工件的相对位置；
第七模块507，用于根据所述第九位置进行所述待抓取工件的上下料。
进一步地，在本发明的一个实施例中，所述系统还包括相机内参获取模块，所述相机内参获取模块用于对所述相机进行标定，获取相机内参。
进一步地，在本发明的一个实施例中，所述相机内参获取模块包括：
坐标系建立模块，用于建立相机坐标系、像素坐标系和图像坐标系，所述相机坐标系的原点位于所述相机的镜头光心处，所述相机坐标系的x轴和y轴分别与像面的两边平行，z轴为镜头光轴，与像面垂直；所述像素坐标系用于表征所述相机的芯片中像素的排列情况；所述图像坐标系通过所述像素坐标系平移得到；
相机内参计算模块，用于采用针孔成像原理，根据所述相机坐标系、所述像素坐标系、所述图像坐标系和世界坐标系进行计算，得到所述相机内参。
进一步地，在本发明的一个实施例中，所述第一模块包括：
拍摄模块，用于通过所述相机拍摄所述参照物，得到所述参照物的图像；
所述第一位置获取模块还用于根据所述参照物的图像和所述相机内参得到所述第一位置。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图6，本申请实施例提供了一种自动化上下料控制装置，包括：
至少一个处理器601；
至少一个存储器602，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器601执行时，使得所述至少一个处理器601实现步骤S101-S107所述的一种自动化上下料控制方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种自动化上下料控制方法，其特征在于，包括以下步骤：
响应于机器人移动到目标工件位置，获取第一位置，所述第一位置为相机与参照物之间的相对位置，所述相机设置在所述机器人的机械臂末端；
根据不同时刻的所述第一位置和第六位置进行计算，得到第二位置，所述第六位置为所述机器人的底座与机械臂末端之间的相对位置，所述第二位置为所述相机与所述机器人的机械臂末端之间的相对位置；
根据相机内参进行标定，得到第三位置、第四位置和第五位置，所述第三位置为第一时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第四位置为所述第一时刻的所述机器人的底座与待抓取工件的相对位置，所述第五位置为所述第一时刻的相机与参照物之间的相对位置，所述第一时刻为进行标定的时刻；
根据所述第一位置和所述第二位置计算第七位置，所述第七位置为所述机器人的机械臂末端与所述参照物之间的相对位置；
调整所述第七位置，得到第八位置，所述第八位置为第二时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第二时刻为所述第一位置与所述第五位置相同时的时刻；
根据所述第八位置、所述第三位置和所述第四位置进行计算，得到第九位置，所述第九位置为所述机器人的底座与所述待抓取工件的相对位置；
根据所述第九位置进行所述待抓取工件的上下料；
在所述响应于机器人移动到目标工件位置，获取第一位置之前，还包括：
对所述相机进行标定，获取所述相机内参，包括：
建立相机坐标系、像素坐标系和图像坐标系，所述相机坐标系的原点位于所述相机的镜头光心处，所述相机坐标系的x轴和y轴分别与像面的两边平行，z轴为镜头光轴，与像面垂直；所述像素坐标系用于表征所述相机的芯片中像素的排列情况；所述图像坐标系通过所述像素坐标系平移得到；
采用针孔成像原理，根据所述相机坐标系、所述像素坐标系、所述图像坐标系和世界坐标系进行计算，得到所述相机内参。
2.根据权利要求1所述的一种自动化上下料控制方法，其特征在于，所述响应于机器人移动到目标工件位置，获取第一位置，包括：
通过所述相机拍摄所述参照物，得到所述参照物的图像；
根据所述参照物的图像和所述相机内参得到所述第一位置。
3.一种自动化上下料控制系统，其特征在于，应用如权利要求1或2所述的自动化上下料控制方法，包括：
第一模块，用于响应于机器人移动到目标工件位置，获取第一位置，所述第一位置为相机与参照物之间的相对位置，所述相机设置在所述机器人的机械臂末端；
第二模块，用于根据不同时刻的所述第一位置和第六位置进行计算，得到第二位置，所述第六位置为所述机器人的底座与机械臂末端之间的相对位置，所述第二位置为所述相机与所述机器人的机械臂末端之间的相对位置；
第三模块，用于根据相机内参进行标定，得到第三位置、第四位置和第五位置，所述第三位置为第一时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第四位置为所述第一时刻的所述机器人的底座与待抓取工件的相对位置，所述第五位置为所述第一时刻的相机与参照物之间的相对位置，所述第一时刻为进行标定的时刻；
第四模块，用于根据所述第一位置和所述第二位置计算第七位置，所述第七位置为所述机器人的机械臂末端与所述参照物之间的相对位置；
第五模块，用于调整所述第七位置，得到第八位置，所述第八位置为第二时刻的所述机器人的底座与机械臂末端之间的相对位置，所述第二时刻为所述第一位置与所述第五位置相同时的时刻；
第六模块，用于根据所述第八位置、所述第三位置和所述第四位置进行计算，得到第九位置，所述第九位置为所述机器人的底座与所述待抓取工件的相对位置；
第七模块，用于根据所述第九位置进行所述待抓取工件的上下料；
相机内参获取模块，所述相机内参获取模块用于对所述相机进行标定，获取相机内参；
所述相机内参获取模块包括：
坐标系建立模块，用于建立相机坐标系、像素坐标系和图像坐标系，所述相机坐标系的原点位于所述相机的镜头光心处，所述相机坐标系的x轴和y轴分别与像面的两边平行，z轴为镜头光轴，与像面垂直；所述像素坐标系用于表征所述相机的芯片中像素的排列情况；所述图像坐标系通过所述像素坐标系平移得到；
相机内参计算模块，用于采用针孔成像原理，根据所述相机坐标系、所述像素坐标系、所述图像坐标系和世界坐标系进行计算，得到所述相机内参。
4.根据权利要求3所述的一种自动化上下料控制系统，其特征在于，所述第一模块包括：
拍摄模块，用于通过所述相机拍摄所述参照物，得到所述参照物的图像；
所述第一位置获取模块还用于根据所述参照物的图像和所述相机内参得到所述第一位置。
5.一种自动化上下料控制装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1或2所述的一种自动化上下料控制方法。
6.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于实现权利要求1或2所述的一种自动化上下料控制方法。
CN202210815661.4A 2022-07-12 2022-07-12 一种自动化上下料控制方法、系统、装置及存储介质 Active CN115319737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210815661.4A CN115319737B (zh) 2022-07-12 2022-07-12 一种自动化上下料控制方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815661.4A CN115319737B (zh) 2022-07-12 2022-07-12 一种自动化上下料控制方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115319737A CN115319737A (zh) 2022-11-11
CN115319737B true CN115319737B (zh) 2023-06-27

Family

ID=83917887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815661.4A Active CN115319737B (zh) 2022-07-12 2022-07-12 一种自动化上下料控制方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115319737B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2981397B1 (en) * 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
CN108827154B (zh) * 2018-07-09 2020-07-10 深圳辰视智能科技有限公司 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN110842928B (zh) * 2019-12-04 2022-02-22 中科新松有限公司 一种复合机器人视觉引导定位方法
CN113084808B (zh) * 2021-04-02 2023-09-22 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法
CN113787515B (zh) * 2021-08-12 2023-06-02 佛山缔乐视觉科技有限公司 一种基于移动机器人的上下料方法、装置及存储介质
CN114378822B (zh) * 2022-01-19 2023-09-01 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法

Also Published As

Publication number Publication date
CN115319737A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN110640746B (zh) 机器人的坐标系标定及定位方法、系统、设备、介质
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
JP4544796B2 (ja) 部品実装方法及び部品実装装置
CN113715016B (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
CN115311371A (zh) 一种双机器人自动测量划线系统标定方法
CN115319737B (zh) 一种自动化上下料控制方法、系统、装置及存储介质
KR102243694B1 (ko) 로봇의 위치 정보 복원 방법
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN113910756A (zh) 基于丝印对位的补偿控制方法、装置、设备和介质
CN112631200A (zh) 一种机床轴线测量方法以及装置
CN114833825B (zh) 协作机器人控制方法、装置、计算机设备和存储介质
CN109895098B (zh) 一种机器人结构参数和手眼关系的统一标定模型
CN115194773B (zh) 一种视觉引导组装方法及装置
CN115471551B (zh) 点胶点位的坐标获取方法、装置、计算机设备及可读存储介质
CN114545862B (zh) 一种夹具作业点位确定方法、装置、设备及存储介质
CN115847426A (zh) 机器人运动控制方法、装置、电子设备和存储介质
CN114750160A (zh) 机器人控制方法、装置、计算机设备和存储介质
CN109822238B (zh) 一种加工转台精度校正方法、装置、系统和存储介质
CN112815851A (zh) 手眼标定方法及装置、系统、电子设备、存储介质
Feng et al. A dual-camera assisted method of the SCARA robot for online assembly of cellphone batteries
CN113752260A (zh) 一种取料定位修正方法及装置
CN112258578A (zh) 一种坐标原点测量方法以及装置
CN116734774B (zh) 贴装头r轴对z轴的旋转精度测试、补偿方法及系统
CN112222798B (zh) 一种大型部件自动安装方法及装置
CN117506903A (zh) 激光传感器手眼标定方法、焊接系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3-7, Jiucun West Road, Jiushuikeng Village, Dalong Street, Panyu District, Guangzhou City, Guangdong Province, 510000

Applicant after: GUANGZHOU LIGONG INDUSTRIAL CO.,LTD.

Address before: 510000 one of No. 3, Jiucun West Road, jiushuikeng village, Dalong street, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU LIGONG INDUSTRIAL CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant