CN113787515B - 一种基于移动机器人的上下料方法、装置及存储介质 - Google Patents

一种基于移动机器人的上下料方法、装置及存储介质 Download PDF

Info

Publication number
CN113787515B
CN113787515B CN202110922783.9A CN202110922783A CN113787515B CN 113787515 B CN113787515 B CN 113787515B CN 202110922783 A CN202110922783 A CN 202110922783A CN 113787515 B CN113787515 B CN 113787515B
Authority
CN
China
Prior art keywords
matrix
coordinate system
robot
target
mobile platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110922783.9A
Other languages
English (en)
Other versions
CN113787515A (zh
Inventor
罗坚铭
关日钊
肖盼
黄冠成
李威胜
林健发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Dile Vision Technology Co ltd
Original Assignee
Foshan Dile Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Dile Vision Technology Co ltd filed Critical Foshan Dile Vision Technology Co ltd
Priority to CN202110922783.9A priority Critical patent/CN113787515B/zh
Publication of CN113787515A publication Critical patent/CN113787515A/zh
Application granted granted Critical
Publication of CN113787515B publication Critical patent/CN113787515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q7/00—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting
    • B23Q7/04—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting by means of grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于移动机器人的上下料方法、装置及存储介质，本发明通过控制移动平台移动到目标工位，计算第一目标矩阵；根据第二矩阵计算移动平台的旋转误差，当旋转误差小于等于误差阈值，将第一目标矩阵确定为第二目标矩阵，否则，控制移动平台进行移动以确定新的第二矩阵作为第二矩阵，返回根据第二矩阵计算移动平台的旋转误差的步骤，直至旋转误差小于等于误差阈值，根据第二矩阵更新第一目标矩阵，并将更新后的第一目标矩阵作为第二目标矩阵，根据第二目标矩阵驱动机器人进行上料或者下料，保证了移动平台所在位置能够使得机器人处于允许的工作范围内，本发明可广泛应用于工艺生产技术领域。

Description

一种基于移动机器人的上下料方法、装置及存储介质
技术领域
本发明涉及工艺生产领域，尤其是一种基于移动机器人的上下料方法、装置及存储介质。
背景技术
工业机器人在各行各业的应用越来越广泛，要求机器人更高的集成化、智能化。现今，大多数工业机器人为定点作用，即工作机器人的基座设置于一个固定的位置，通过传动带等传送装置将工件传送至工业机器人附近，工业机器人才能够对工件进行处理，该种应用场景下工业机器人的成本高，每个岗位需要设置一台工业机器人。因此，相关研究人员为机器人加上小车便于对机器人进行移动，然而，目前研究都在于怎样对小车导航或者利用AGV车载工业机器人进行搬运作业，现有的方案无法满足高精度上下料的应用场景。
发明内容
有鉴于此，为了解决上述技术问题，本发明的目的是提供一种基于移动机器人的上下料方法、装置及存储介质。
本发明采用的技术方案是：
一种基于移动机器人的上下料装置，包括:控制系统、移动平台、机器人、视觉系统以及工具；所述机器人设置于所述移动平台，所述视觉系统设置于所述机器人，所述工具安装于所述机器人的末端；所述控制系统用于：
控制所述移动平台移动到目标工位，计算第一目标矩阵；所述目标工位设置有机床卡盘以及标定板，所述机床卡盘上下料的中心点定义有第一坐标系，所述标定板定义有第二坐标系；所述第一目标矩阵根据所述第一坐标系与所述第二坐标系之间的第一矩阵、所述第二坐标系与视觉系统坐标系之间的第二矩阵、视觉系统坐标系与工具坐标系之间的第三矩阵以及机器人坐标系与工具坐标系之间的第四矩阵的乘积确定；
根据所述第二矩阵计算所述移动平台的旋转误差；
当所述旋转误差小于等于误差阈值，将所述第一目标矩阵确定为第二目标矩阵，否则，控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，返回所述根据所述第二矩阵计算所述移动平台的旋转误差的步骤，直至所述旋转误差小于等于误差阈值，根据所述第二矩阵更新所述第一目标矩阵，并将更新后的所述第一目标矩阵作为第二目标矩阵；
根据所述第二目标矩阵驱动所述机器人进行上料或者下料。
进一步，所述基于移动机器人的上下料装置还包括激光雷达装置，所述激光雷达装置设置于所述移动平台且用于检测障碍物数据；所述控制系统根据所述障碍物数据确定移动路线，以控制所述移动平台移动到目标工位。
本发明实施例还提供一种基于移动机器人的上下料方法，应用于所述基于移动机器人的上下料装置，包括:
控制移动平台移动到目标工位，计算第一目标矩阵；所述目标工位设置有机床卡盘以及标定板，所述机床卡盘上下料的中心点定义有第一坐标系，所述标定板定义有第二坐标系；所述第一目标矩阵根据所述第一坐标系与所述第二坐标系之间的第一矩阵、所述第二坐标系与视觉系统坐标系之间的第二矩阵、视觉系统坐标系与工具坐标系之间的第三矩阵以及机器人坐标系与工具坐标系之间的第四矩阵的乘积确定；
根据所述第二矩阵计算所述移动平台的旋转误差；
当所述旋转误差小于等于误差阈值，将所述第一目标矩阵确定为第二目标矩阵，否则，控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，返回所述根据所述第二矩阵计算所述移动平台的旋转误差的步骤，直至所述旋转误差小于等于误差阈值，根据所述第二矩阵更新所述第一目标矩阵，并将更新后的所述第一目标矩阵作为第二目标矩阵；
根据所述第二目标矩阵驱动所述机器人进行上料或者下料。
进一步，所述目标工位设置有机床夹具，所述第一矩阵的确定包括：
通过示教器将工件放置于所述机床夹具内或者将所述机床夹具内的工件取出，获取示教数据以确定所述第一矩阵。
进一步，所述第二矩阵的确定包括：
通过视觉系统获取标定板上的角点的角点坐标；所述角点坐标以视觉系统表示；
根据所述角点的预设坐标以及所述角点坐标通过标定函数确定所述第二矩阵。
进一步，所述第三矩阵的确定包括：
对视觉系统进行若干次移动以获取每次视觉系统移动后相对第二坐标系的相机位姿；
对机器人末端进行若干次不同位置的示教，并从控制系统中读取不同位置的工具坐标系位姿；
根据所述第二坐标系与所述机器人坐标系的固定关系、所述相机位姿以及所述工具坐标系位姿，确定手眼标定方程；
通过最小二乘法对所述手眼标定方程进行拟合，确定所述第三矩阵。
进一步，所述第二矩阵包括视觉系统坐标系下的所述第二坐标系三个坐标轴的三个方向向量对应的平移向量，所述根据所述第二矩阵计算所述移动平台的旋转误差，包括：
根据三个所述平移向量计算所述视觉系统坐标系与所述第二坐标系的欧式距离，得到旋转误差。
进一步，所述移动平台的位姿包括第一坐标轴方向的第一位置、第二坐标轴方向的第二位置以及第三坐标轴方向的旋转角，所述控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，包括：
根据所述旋转误差以及所述平移向量确定所述旋转角的旋转角补偿值；
根据所述旋转角补偿值以及所述旋转误差确定所述第一位置的第一补偿量以及所述第二位置的第二补偿量；
根据所述旋转角补偿值、所述第一补偿量以及所述第二补偿量控制所述移动平台进行移动，并根据移动后的所述移动平台确定新的平移向量以确定新的第二矩阵作为所述第二矩阵。
本发明还提供一种基于移动机器人的上下料装置，包括处理器以及存储器；
所述存储器存储有程序；
所述处理器执行所述程序以实现所述方法。
本发明还提供一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行时实现所述方法。
本发明的有益效果是：机器人设置于移动平台便于将机器人调度到指定工作地点，提高了灵活性；控制所述移动平台移动到目标工位，计算第一目标矩阵；根据所述第二矩阵计算所述移动平台的旋转误差，当所述旋转误差小于等于误差阈值，将所述第一目标矩阵确定为第二目标矩阵，否则，控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，返回所述根据所述第二矩阵计算所述移动平台的旋转误差的步骤，直至所述旋转误差小于等于误差阈值，根据所述第二矩阵更新所述第一目标矩阵，并将更新后的所述第一目标矩阵作为第二目标矩阵，保证了移动平台所在位置能够使得机器人处于允许的工作范围内；根据所述第二目标矩阵驱动所述机器人进行上料或者下料；所述第一目标矩阵根据所述第一坐标系与所述第二坐标系之间的第一矩阵、所述第二坐标系与视觉系统坐标系之间的第二矩阵、视觉系统坐标系与工具坐标系之间的第三矩阵以及机器人坐标系与工具坐标系之间的第四矩阵的乘积确定，使得基于第一目标矩阵确定的第二目标矩阵能够准确地表征第二坐标系与机器人坐标系的转换关系，进而保证机器人进行上料或者下料的精度。
附图说明
图1为本发明基于移动机器人的上下料装置的示意图；
图2为本发明基于移动机器人的上下料方法的步骤流程示意图；
图3为本发明具体实施例各个坐标系的示意图；
图4为本发明具体实施例移动平台的移动路径示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，本发明实施例提供一种基于移动机器人的上下料装置，包括控制系统、移动平台1、机器人2、视觉系统3、工具4和激光雷达装置5。其中，机器人2设置于移动平台1，视觉系统3设置于机器人2，工具4安装于机器人2的末端。
可选地，激光雷达装置设置于移动平台，为360度旋转激光雷达，用于检测障碍物数据。
本发明实施例中，工具4包括但不限于夹具，如手指气缸。可选地，手指气缸用于吸取工件，进行工件的上料以及下料。
可选地，视觉系统包括但不限于工业相机及镜头31、光源32。
可选地，移动平台1上设置有按钮11与控制系统连接，用于电源启动以及急停。
可选地，机器人为工业六轴机器人，控制系统负责数据处理，包括工业六轴机器人控制模块61、工控机62以及电源63，电源具体为220V输出接口的锂电池。其中，工控机作为软件系统的执行硬件，具有自主导航功能模块用于根据障碍物数据对移动平台进行导航(例如将移动平台从初始位置移动至目标工位的位置，且在移动过程中实现避障)，具有图像处理识别定位功能，发送拾取指令给工业六轴机器人控制模块，工业六轴机器人控制模块控制机械人完成指定的拾取动作，进行上料和下料。
具体地，本发明实施例中控制系统用于：
控制移动平台移动到目标工位，计算第一目标矩阵；目标工位设置有机床卡盘以及标定板，机床卡盘上下料的中心点定义有第一坐标系，标定板定义有第二坐标系；第一目标矩阵根据第一坐标系与第二坐标系之间的第一矩阵、第二坐标系与视觉系统坐标系之间的第二矩阵、视觉系统坐标系与工具坐标系之间的第三矩阵以及机器人坐标系与工具坐标系之间的第四矩阵的乘积确定；
根据第二矩阵计算移动平台的旋转误差；
当旋转误差小于等于误差阈值，将第一目标矩阵确定为第二目标矩阵，否则，控制移动平台进行移动以确定新的第二矩阵作为第二矩阵，返回根据第二矩阵计算移动平台的旋转误差的步骤，直至旋转误差小于等于误差阈值，根据第二矩阵更新第一目标矩阵，并将更新后的第一目标矩阵作为第二目标矩阵；
根据第二目标矩阵驱动机器人进行上料或者下料。
需要说明的是，目标工位可以为机床或上下料工位附近，例如以机床为中心的一定范围内或者上下料工位为中心的一定范围内。可选地，目标工位可以设置有机床夹具、机床卡盘以及标定板。本发明实施例中，标定板为50*50mm大小的玻璃标定板，标定板上设置有棋盘格。
如图2所示，本发明实施例提供一种基于移动机器人的上下料方法，可以应用于如权利上述基于移动机器人的上下料装置，包括步骤S100-S400：
S100、控制移动平台移动到目标工位，计算第一目标矩阵。
如图3所示，本发明实施例中，目标工位设置有机床卡盘以及标定板，机床卡盘上下料的中心点定义有第一坐标系Omachine，即以机床卡盘上下料的中心点为原点的自定义坐标系，标定板定义有第二坐标系OWorld，即在棋盘格上自定义的世界坐标系，机器人具有机器人坐标系ORobot，机器人末端工具具有工具坐标系Otool，视觉系统具有视觉系统坐标系ocam。可选地，工具坐标系Otool该坐标系可以通过机器人对应的控制系统自带的“四点法”标定。需要说明的是，图3中每个坐标系的xyz为每一个坐标系自身定义的x轴、y轴以及z轴。
本发明实施例中，第一目标矩阵根据第一坐标系与第二坐标系之间的第一矩阵、第二坐标系与视觉系统坐标系之间的第二矩阵、视觉系统坐标系与工具坐标系之间的第三矩阵以及机器人坐标系与工具坐标系之间的第四矩阵的乘积确定。可选地，第一目标矩阵的计算公式为：
RobotRTmachine＝RobotHtool*toolHcam*camHWorld*WorldHmachine (1)
其中，RobotRTmachine为第一目标矩阵，WorldHmachine为第一矩阵，camHWorld为第二矩阵，toolHcam为第三矩阵，RobotHtool为第四矩阵。
如图4图所示，可选地，步骤S100的控制移动平台移动到目标工位中，当需要上料时，假设移动平台当前处于一个初始位置，控制移动平台从初始位置移动工位A，通过视觉系统进行拍照，通过控制系统的图像处理确定工件位姿时，控制手指气缸12将工件拾取，然后移动工位B(目标工位)，计算第一目标矩阵以便进行上料；而下料时，控制移动平台从初始位置移动至工位B(目标工位)，计算第一目标矩阵以便进行下料。本发明实施例中，控制系统中载入二维图像的导航地图，当需要上下料时能够生成路线，控制移动平台移动。例如，下料时，生成初始位置至工位B(目标工位)的移动路线，而由于搭载有激光雷达装置，在移动过程中识别到障碍物(例如人C)，自动进行避障，然后按照移动路径到达工位B(目标工位)。
可选地，第一目标矩阵可以通过多次计算取平均值确定。
可选地，第二矩阵camHWorld通过步骤S111-S112确定：
S111、通过视觉系统获取标定板上的角点的角点坐标。
S112、根据角点的预设坐标以及角点坐标通过标定函数确定第二矩阵。
具体地，角点指的是棋盘格上四个角上的点，由于通过视觉系统获取的角点的角点坐标，因此以视觉系统表示。其中，由于标定板具有尺寸，因此可以知道每个棋盘格的长和宽，因此能够设定在第二坐标系各个角点的预设坐标，通过快速相机位姿求解：具体为通过标定函数即可以将输出第二矩阵camHWorld。可选地，标定函数包括但不限于开源库OpenCV的cv2.calibrateCamera()。
可选地，第一矩阵WorldHmachine通过步骤S121确定：
S121、通过示教器将工件放置于机床夹具内或者将机床夹具内的工件取出，获取示教数据以确定第一矩阵。
本发明实施例中，将标定板设置于目标工位，因此可以知道第二坐标系(世界坐标系)与机床自定义坐标系(第一坐标系)之间为固定关系，因此可以通过示教器将工件进行拾取放置于机床夹具内或者通过示教器将工件进行拾取将机床夹具内的工件取出，此时得到示教数据，即可以确定第一矩阵WorldHmachine。
需要说明的是，第四矩阵RobotHtool，可以直接从控制系统进行读取而确定。
可选地，第三矩阵toolHcam通过步骤S131-S134确定：
S131、对视觉系统进行若干次移动以获取每次视觉系统移动后相对第二坐标系的相机位姿(视觉系统位姿)。
S132、对机器人末端进行若干次不同位置的示教，并从控制系统中读取不同位置的工具坐标系位姿。
S133、根据第二坐标系与机器人坐标系的固定关系、相机位姿以及工具坐标系位姿，确定手眼标定方程。
本发明实施例中，由于工具坐标系与视觉系统坐标系之间为固定关系，求解这两者相关性可以通过手眼标定，从图3中可以得知第二坐标系到机器人坐标系的相对关系是不变的，为此我们可以建立数学模型为：
Figure BDA0003208044240000071
上式左右同时左乘
Figure BDA0003208044240000072
和右乘
Figure BDA0003208044240000073
得到式：
Figure BDA0003208044240000074
得到手眼标定方程：
AX＝XB (4)
其中，在标定好内参数的基础上应用快速相机位姿求解获取每次视觉系统移动后之后相对标定板下建立的第二坐标系的相机位姿，即公式(2)中变量Bi(i＝1,2…)；在示教机器人末端到不同位置时通过TCPModbus通讯协议连接控制系统端口，访问寄存器记录当前的工具坐标系位姿即公式2中变量Ai(i＝1,2…)；X为待求解的参数，即第三矩阵toolHcam，需要通过最小二乘法拟合确定；A是RobotHtool，B是camHWorld。
S134、通过最小二乘法对手眼标定方程进行拟合，确定第三矩阵。
可选地，最小二乘法可以为高斯牛顿法或者Levenberg-Marquadt法，具体地：
(1)高斯牛顿法：
设已知第k次迭代点xk由泰勒公式可得：
Figure BDA0003208044240000075
其中，T为转置，fi(x)为泰勒展开式函数，
Figure BDA0003208044240000081
为函数一阶导，x是雅克比矩阵的表达过程展开。
其中A(xk)为方程组f(xi)＝0的雅克比矩阵，
Figure BDA0003208044240000082
记Ak＝A(xk)，
Figure BDA0003208044240000083
代表fi(x)求导、m、n表示数量。
可用
Figure BDA0003208044240000084
问题的极小值近似代替，fi(x)＝0求极小值的问题，则有：
Figure BDA0003208044240000085
其中，dk＝x-xk，对于
Figure BDA0003208044240000086
问题，由线性最小二乘法可得:
Figure BDA0003208044240000087
其中，
Figure BDA0003208044240000088
为Ak的转置矩阵，当
Figure BDA0003208044240000089
可逆时则有：
Figure BDA00032080442400000810
根据上述推理令xk+1＝x＝xk+dk则有迭代公式为：
Figure BDA00032080442400000811
迭代终止阈值为ε，当dk＝x-xk<ε时，式(4)迭代结束，确定第三矩阵toolHcam。，即此时的xk。
(2)Levenberg-Marquadt法
Levenberg-Marquadt方法基于高斯牛顿法的基础上进行改进，目的在于克服雅克比矩阵的奇异导致线性搜索得不到进一步下降而只能获取极小值附近点的值的缺点。
Levenberg-Marquadt法采用信赖域方法，考虑约束线性化最小二乘问题，这种线性化并非对所有x-xk都成立。考虑如下信赖域如式：
Figure BDA00032080442400000812
其中，hk为信赖域半径，这个方程的解可由解如下方程组得到:
(A(xk)TA(xk)+λI)z＝-A(xk)Tfi(xk) (6)
令xk+1＝xk+z从而得：
xk+1＝xk-(A(xk)TA(xk)+λI)TA(xk)Tfi(xk)
其中，z为步长，I为单位矩阵，T为转置，假如λ＝0上式为高斯牛顿迭代法，λ为人工设定参数，为正数并在迭代中不断调整使得A(xk)TA(xk)+λI正定。本发明实施例采用进退方法调整λ：一次成果迭代后将λ缩小，迭代遇到困难时将λ放大。λ调整算法如下：
初始化：给定步长放大因子α>0和步长缩小因子0<β<1，根据上述方程组如(4)-(5)式fi(x)给定初始点x，λ初值以及迭代终止阈值ε。
第一步：求解式(6)中z。
第二步：若
Figure BDA0003208044240000091
则令λ＝αλ并返回第一步，否则下一步。
第三步：令x＝x+z,λ＝βλ，若||A(x)Tfi(x)||<ε则迭代终止否则返回第一步。
本发明实施例中，通过保存不同(相机位姿)视觉系统位姿以及相机位姿中的16组工具坐标系位姿作为已知变量，将以上两个已知变量代入高斯牛顿法和Levenberg-Marquardt法中，对未知量赋予初值0，即可以对手眼标定方程进行拟合确定第三矩阵toolHcam，即第三步中的x。
S200、根据第二矩阵计算移动平台的旋转误差。
具体地，步骤S200包括步骤S201：
S201、根据三个平移向量计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差。
本发明实施例中，由于移动平台是定点导航至目标工位，定点导航误差会引入比较大的机器人末端重复入位误差，同时由于小负载机器人紧凑短小的结构特征，在极大值到位误差的情况下机器人可能超过其工作范围，因此需要利用视觉系统位姿的确定来调整述移动平台的位姿。
具体地，通过步骤S111-S112，相机位姿的快速求解得到第二矩阵camHWorld：
Figure BDA0003208044240000092
其中，视觉系统坐标系正对世界坐标系(第二坐标系),ax,oy,nzz分别为在视觉系统坐标系下的第二坐标系三个坐标轴(x轴、y轴以及z轴)的三个方向向量，tx、ty、tz分别为三个方向向量对应的平移向量(距离)，理想模型下，tx＝ty＝0，tz＝50cm。需要说明的是，当导航定位后旋转误差太大会出现则ty<0的情况，应使移动平台正向(逆时针旋转为正)旋转修正；若ty>0应使移动平台反向旋转修正。本发明实施例，根据机器人的实际状况设定误差阈值为85mm，当计算得到的旋转误差大于85mm则认为机器人不能完成上下料动作。可选地，旋转误差δ基于欧式距离表示，欧式距离为视觉系统坐标系与第二坐标系的欧式距离，具体地，欧式距离(旋转误差δ)为
Figure BDA0003208044240000101
需要说明的是，误差阈值可以根据需要进行调整，不作具体限定。
S300、当旋转误差小于等于误差阈值，将第一目标矩阵确定为第二目标矩阵，否则，控制移动平台进行移动以确定新的第二矩阵作为第二矩阵，返回根据第二矩阵计算移动平台的旋转误差的步骤，直至旋转误差小于等于误差阈值，根据第二矩阵更新第一目标矩阵，并将更新后的第一目标矩阵作为第二目标矩阵。
具体地，当旋转误差小于等于误差阈值，认为机器人能够完成完成上下料动作，此时将第一目标矩阵确定为第二目标矩阵。
可选地，当旋转误差大于误差阈值，此时需要对移动平台进行修正，控制移动平台进行移动以确定新的第二矩阵作为第二矩阵，具体包括步骤S301-303：
S301、根据旋转误差以及平移向量确定旋转角的旋转角补偿值。
具体地，获取当前移动平台位姿并沿δ旋转平移，旋转角补偿值Δθ为arcsin(-ty/δ)。
S302、根据旋转角补偿值以及旋转误差确定第一位置的第一补偿量以及第二位置的第二补偿量。
具体地，误差补偿值公式：
Figure BDA0003208044240000102
本发明实施例中，移动平台的位姿用第一坐标轴方向的第一位置x1、第二坐标轴方向的第二位置y1以及第三坐标轴(即垂直于地面的第三坐标轴z)方向的旋转角θ表示，第一坐标轴与第二坐标轴指的是二维图像的导航地图上x轴以及y轴，第一位置x1与第二位置y1分别指的是移动平台在导航地图内的x轴真实坐标以及y轴真实坐标。其中，x'为补偿后的第一位置，y'为补偿后的第二位置，θ为补偿后的旋转角，δcos(Δθ)为第一补偿量，δsin(Δθ)为第二补偿量。可选地，移动平台开始建立导航地图时的初始位姿和姿态为0,0,0。
S303、根据旋转角补偿值、第一补偿量以及第二补偿量控制移动平台进行移动，并根据移动后的移动平台确定新的平移向量以确定新的第二矩阵作为第二矩阵。
具体地，根据旋转角补偿值Δθ、第一补偿量以及第二补偿量，控制移动平台进行移动(此时移动平台位姿为
Figure BDA0003208044240000111
)，重新计算新的ax,oy,nz以及三个方向向量对应的平移向量tx、ty、tz及三确定新的第二矩阵。可选地，可以利用步骤S111-S112的方法重新计算新的第二矩阵。
需要说明的是，在得到新的第二矩阵后，返回至步骤S200利用新的第二矩阵计算旋转误差，直至旋转误差小于等于误差阈值，将此时的第二矩阵作为最终的第二矩阵并代入第一目标矩阵的计算公式中更新第一目标矩阵，将更新后的第一目标矩阵作为第二目标矩阵。
S400、根据第二目标矩阵驱动机器人进行上料或者下料。
具体地，控制系统根据第二目标矩阵驱动工具进行上料或者下料。
本发明实施例的方法能够达到定位精度为±0.5mm，姿态角度在±1.5°范围内，同时在运载工件中可避开动态障碍物，对于多机器人混合生产场景，移动平台路径重叠情况下，不需要调度系统即可满足生产；移动平台上设置机器人生产，提高工厂对工业机器人的利用效率；装载视觉系统，让移动平台附加机器人用于高精度的上下料等定位场合。
本发明实施例还提供了一种基于移动机器人的上下料装置，该装置包括处理器以及存储器；
存储器用于存储程序；
处理器用于执行程序实现本发明实施例的基于移动机器人的上下料方法。本发明实施例的装置可以实现基于移动机器人的上下料的功能。该装置可以为包括手机、平板电脑、电脑、等任意智能终端。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序被处理器执行完成如前述发明实施例的基于移动机器人的上下料方法。
本发明实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述发明实施例的基于移动机器人的上下料方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于移动机器人的上下料装置，其特征在于，包括:控制系统、移动平台、机器人、视觉系统以及工具；所述机器人设置于所述移动平台，所述视觉系统设置于所述机器人，所述工具安装于所述机器人的末端；所述控制系统用于：
控制所述移动平台移动到目标工位，计算第一目标矩阵；所述目标工位设置有机床卡盘以及标定板，所述机床卡盘上下料的中心点定义有第一坐标系，所述标定板定义有第二坐标系；所述第一目标矩阵根据第一矩阵、第二矩阵、第三矩阵以及第四矩阵的乘积确定；
其中，所述第一矩阵为所述第一坐标系中机床卡盘内的工件被示教器置入或取出时，表征所述示教器与所述第二坐标系之间的示教数据的矩阵；所述第二矩阵为表征所述第二坐标系中角点与视觉系统坐标系之间的相对位置关系的矩阵；所述第三矩阵为通过最小二乘法对手眼标定方程进行拟合得到的矩阵，所述手眼标定方程根据第二坐标系与机器人坐标系的固定关系、相机位姿以及工具坐标系位姿确定；所述第四矩阵为从所述控制系统中读取的机器人坐标系与工具坐标系之间的相对位置关系的矩阵；
根据所述第二矩阵计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差；
当所述旋转误差小于等于误差阈值，将所述第一目标矩阵确定为第二目标矩阵，否则，控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，返回所述根据所述第二矩阵计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差的步骤，直至所述旋转误差小于等于误差阈值，根据所述第二矩阵更新所述第一目标矩阵，并将更新后的所述第一目标矩阵作为第二目标矩阵；
根据所述第二目标矩阵驱动所述机器人进行上料或者下料。
2.根据权利要求1所述基于移动机器人的上下料装置，其特征在于：所述基于移动机器人的上下料装置还包括激光雷达装置，所述激光雷达装置设置于所述移动平台且用于检测障碍物数据；所述控制系统根据所述障碍物数据确定移动路线，以控制所述移动平台移动到目标工位。
3.一种基于移动机器人的上下料方法，其特征在于，应用于如权利要求1或2所述基于移动机器人的上下料装置，包括:
控制移动平台移动到目标工位，计算第一目标矩阵；所述目标工位设置有机床卡盘以及标定板，所述机床卡盘上下料的中心点定义有第一坐标系，所述标定板定义有第二坐标系；所述第一目标矩阵根据第一矩阵、第二矩阵、第三矩阵以及第四矩阵的乘积确定；
其中，所述第一矩阵为所述第一坐标系中机床卡盘内的工件被示教器置入或取出时，表征所述示教器与所述第二坐标系之间的示教数据的矩阵；所述第二矩阵为表征所述第二坐标系中角点与视觉系统坐标系之间的相对位置关系的矩阵；所述第三矩阵为通过最小二乘法对手眼标定方程进行拟合得到的矩阵，所述手眼标定方程根据第二坐标系与机器人坐标系的固定关系、相机位姿以及工具坐标系位姿确定；所述第四矩阵为从所述控制系统中读取的机器人坐标系与工具坐标系之间的相对位置关系的矩阵；
根据所述第二矩阵计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差；
当所述旋转误差小于等于误差阈值，将所述第一目标矩阵确定为第二目标矩阵，否则，控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，返回所述根据所述第二矩阵计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差的步骤，直至所述旋转误差小于等于误差阈值，根据所述第二矩阵更新所述第一目标矩阵，并将更新后的所述第一目标矩阵作为第二目标矩阵；
根据所述第二目标矩阵驱动所述机器人进行上料或者下料。
4.根据权利要求3所述基于移动机器人的上下料方法，其特征在于：所述第二矩阵的确定包括：
通过视觉系统获取标定板上的角点的角点坐标；所述角点坐标以视觉系统表示；
根据所述角点的预设坐标以及所述角点坐标通过标定函数确定所述第二矩阵。
5.根据权利要求3所述基于移动机器人的上下料方法，其特征在于：所述第三矩阵的确定包括：
对视觉系统进行若干次移动以获取每次视觉系统移动后相对第二坐标系的相机位姿；
对机器人末端进行若干次不同位置的示教，并从控制系统中读取不同位置的工具坐标系位姿；
根据所述第二坐标系与所述机器人坐标系的固定关系、所述相机位姿以及所述工具坐标系位姿，确定手眼标定方程；
通过最小二乘法对所述手眼标定方程进行拟合，确定所述第三矩阵。
6.根据权利要求3所述基于移动机器人的上下料方法，其特征在于：所述第二矩阵包括视觉系统坐标系下的所述第二坐标系三个坐标轴的三个方向向量对应的平移向量，所述根据所述第二矩阵计算视觉系统坐标系与第二坐标系的欧式距离，得到旋转误差，包括：
根据三个所述平移向量计算所述视觉系统坐标系与所述第二坐标系的欧式距离，得到旋转误差。
7.根据权利要求6所述基于移动机器人的上下料方法，其特征在于：所述移动平台的位姿包括第一坐标轴方向的第一位置、第二坐标轴方向的第二位置以及第三坐标轴方向的旋转角，所述控制所述移动平台进行移动以确定新的第二矩阵作为所述第二矩阵，包括：
根据所述旋转误差以及所述平移向量确定所述旋转角的旋转角补偿值；
根据所述旋转角补偿值以及所述旋转误差确定所述第一位置的第一补偿量以及所述第二位置的第二补偿量；
根据所述旋转角补偿值、所述第一补偿量以及所述第二补偿量控制所述移动平台进行移动，并根据移动后的所述移动平台确定新的平移向量以确定新的第二矩阵作为所述第二矩阵。
8.一种基于移动机器人的上下料装置，其特征在于，包括处理器以及存储器；
所述存储器存储有程序；
所述处理器执行所述程序以实现如权利要求3-7中任一项所述方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行时实现如权利要求3-7中任一项所述方法。
CN202110922783.9A 2021-08-12 2021-08-12 一种基于移动机器人的上下料方法、装置及存储介质 Active CN113787515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110922783.9A CN113787515B (zh) 2021-08-12 2021-08-12 一种基于移动机器人的上下料方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110922783.9A CN113787515B (zh) 2021-08-12 2021-08-12 一种基于移动机器人的上下料方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113787515A CN113787515A (zh) 2021-12-14
CN113787515B true CN113787515B (zh) 2023-06-02

Family

ID=78875938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110922783.9A Active CN113787515B (zh) 2021-08-12 2021-08-12 一种基于移动机器人的上下料方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113787515B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114427833B (zh) * 2021-12-17 2024-02-06 哈尔滨理工大学 基于结构光测量航空叶片在机检测装置及点云获取方法
CN115319737B (zh) * 2022-07-12 2023-06-27 广州里工实业有限公司 一种自动化上下料控制方法、系统、装置及存储介质
CN115108259A (zh) * 2022-07-27 2022-09-27 歌尔股份有限公司 复合运输设备控制方法、装置、设备及存储介质
CN115302505B (zh) * 2022-08-05 2023-06-13 广州里工实业有限公司 一种路径修正方法、系统、储存介质及机床设备
CN117075539B (zh) * 2023-10-16 2024-02-09 歌尔股份有限公司 六轴平台控制方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640743B1 (ko) * 2004-12-30 2006-10-31 삼성중공업 주식회사 로봇을 이용한 레이저 비젼 시스템 교정방법
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
CN109807937B (zh) * 2018-12-28 2020-10-27 北京信息科技大学 一种基于自然场景的机器人手眼标定方法
CN111633643B (zh) * 2020-05-07 2021-06-04 武汉理工大学 一种基于tcp坐标系下平移运动的旋转矩阵标定方法
CN112223285B (zh) * 2020-09-30 2022-02-01 南京航空航天大学 一种基于组合测量的机器人手眼标定方法

Also Published As

Publication number Publication date
CN113787515A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113787515B (zh) 一种基于移动机器人的上下料方法、装置及存储介质
EP3706080A1 (en) Automatic calibration for a robot optical sensor
Chang Robotic assembly of smartphone back shells with eye-in-hand visual servoing
Wang et al. A point and distance constraint based 6R robot calibration method through machine vision
Zhao et al. Accuracy analysis in mobile robot machining of large-scale workpiece
CN109877840A (zh) 一种基于相机光轴约束的双机械臂标定方法
Hu et al. Automatic calibration of hand–eye–workspace and camera using hand-mounted line laser
Balatti et al. A collaborative robotic approach to autonomous pallet jack transportation and positioning
CN113524183B (zh) 相对位置获得方法、机械臂控制方法以及机械臂系统
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
Hvilshøj et al. Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices
TWI660255B (zh) Workpiece processing method and processing system
CN109048911B (zh) 一种基于矩形特征的机器人视觉控制方法
Chang et al. Automatic robot assembly with eye-in-hand stereo vision
Garcia et al. Human-robot cooperation for surface repair combining automatic and manual modes
Hanh et al. Implement contour following task of objects with unknown geometric models by using combination of two visual servoing techniques
Enyedy et al. Stereo image-based visual servoing towards feature-based grasping
Pu et al. A general mobile manipulator automation framework for flexible tasks in controlled environments
CN114643599B (zh) 一种基于点激光和面阵相机的三维机器视觉系统及方法
US20240316767A1 (en) Robot and method for autonomously moving and grasping objects
US20240109181A1 (en) Grasp teach by human demonstration
Pang et al. Object manipulation of a humanoid robot based on visual servoing
Chang et al. Hand-eye coordination for robotic assembly tasks
Chang et al. Real-time vision-based contour following with laser pointer
WO2022185761A1 (ja) 情報処理システム、情報処理方法および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant