CN107103624A - 立体视觉搬运系统及其搬运方法 - Google Patents

立体视觉搬运系统及其搬运方法 Download PDF

Info

Publication number
CN107103624A
CN107103624A CN201710238481.3A CN201710238481A CN107103624A CN 107103624 A CN107103624 A CN 107103624A CN 201710238481 A CN201710238481 A CN 201710238481A CN 107103624 A CN107103624 A CN 107103624A
Authority
CN
China
Prior art keywords
camera
manipulator
coordinate
carrying
handling system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710238481.3A
Other languages
English (en)
Other versions
CN107103624B (zh
Inventor
宁玥
杨赛女
赵姝炜
吕鑫
陈腾
施加荣
冯嘉杰
水仕淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Intelligent Technology Co Ltd
Original Assignee
Ningbo Sunny Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Intelligent Technology Co Ltd filed Critical Ningbo Sunny Intelligent Technology Co Ltd
Priority to CN201710238481.3A priority Critical patent/CN107103624B/zh
Publication of CN107103624A publication Critical patent/CN107103624A/zh
Application granted granted Critical
Publication of CN107103624B publication Critical patent/CN107103624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种立体视觉搬运系统及其搬运方法，包括具有六个自由度的机械手，与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓，用于支承所述机械手和所述物料仓的运输车，用于视觉标定的视觉单元，以及安装在所述物料仓下部的PLC控制器；所述机械手包括基座和工作端；所述运输车具有用于安装所述视觉单元的安装部，所述安装部位于所述机械手旁；所述视觉单元包括纵向安装的第一相机，与所述第一相机对应设置的第一光源，以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。根据本发明的搬运系统及搬运方法，其搬运精度高，范围广，可以任意取放物料。

Description

立体视觉搬运系统及其搬运方法
技术领域
本发明涉及生产制造领域和物料运输领域，尤其涉及一种立体视觉搬运系统及其搬运方法。
背景技术
中国专利201510612879.X公开了一种自主行走搬运方法、搬运器和搬运系统。其搬运方法是在搬运平台主体上设置可切换使用的转向轮机构、直行轮机构和旋转中心锁定机构，在地面设置配合旋转中心锁定机构的旋转中心；在直线搬运路段，所述搬运平台主体采用直行轮机构与行走驱动机构共速配合进行直线行走；在转向行走路段，旋转中心锁定机构锁定旋转中心，所述搬运平台主体通过转向轮机构与行走驱动机构差速配合进行绕转向中心的转向行走。该搬运装置的搬运方法仅是将物料从一个位置搬运至另一个位置，无法保持高精度取放物料，只适用于搬运精度要求低的工作场所。
在产品生产制造过程中，尤其是生产线物料运输环节，需要对物料运输的取放料点提供坐标值，从而使物料能够快速准确的运输到指定位置。目前，生产线上对于物料的运输只是通过固定在某一位置的机械臂，在其工作范围内将物料从某一点搬运到另一个搬运点或者单一使用搬运车等形式来实现，无法实现多点物料任意取放，无法实现远距离高精度搬运。轨迹相对单一无法实现高精度柔性搬运，无法实现柔性生产制造。
发明内容
针对现有技术中的技术问题，本发明提供一种立体视觉搬运系统及其搬运方法，解决了现有技术中搬运范围局限，搬运精度低以及无法实现多点物料任意取放等技术缺陷。
为实现上述发明目的，本发明提供一种立体视觉搬运系统，包括具有六个自由度的机械手，与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓，用于支承所述机械手和所述物料仓的运输车，用于视觉标定的视觉单元，以及安装在所述物料仓下部的PLC控制器；
所述机械手包括基座和工作端；
所述运输车具有用于安装所述视觉单元的安装部，所述安装部位于所述机械手旁；
所述视觉单元包括纵向安装的第一相机，与所述第一相机对应设置的第一光源，以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。
为实现上述发明目的，本发明提供一种立体视觉搬运系统的搬运方法，包括以下步骤：
a)确定视觉单元的具体位置；
b)视觉单元对特征性位置进行拍摄，并确定特征性位置的具体位置信息；
c)确定机械手的基座的位置；
d)建立视觉单元与机械手的基座的位置关系；
e)确定机械手的工作端的具体位置；
f)建立机械手的工作端与机械手的基座的位置关系；
g)对d)与f)中的两个位置关系建立转换关系，得到机械手的工作端的运动轨迹和目标位置；
h)获取停靠站点信息和物料取放位置信息；
i)运输车移动至目标停靠站点并反馈信号；
j)获取标志点位置信息并与坐标模板匹配，计算偏差值；
k)补偿偏差值；
l)转换偏差值数据给机械手1的工作端进行补偿，然后取放料。
根据本发明的一个方面，所述a)步骤中，对第一相机和/或第二相机进行标定，获取第一相机和/或第二相机的内参和外参。
根据本发明的一个方面，所述b)步骤中，在生产线上的各个运输车的停靠站点位置设置标志点；
运输车运行至其中一个停靠站点，由第一相机和/或第二相机拍摄标志点，标志点存放在第一相机和/或第二相机的相对应停靠站点的一个场景中，并创建坐标模板。
根据本发明的一个方面，所述c)步骤中，对机械手与视觉单元进行手眼标定，获取机械手的基座相对于第一相机或第二相机的空间坐标。
根据本发明的一个方面，所述e)步骤中，机械手移动至第一相机和/或第二相机的拍摄位置，记录机械手的工作端的坐标，并将工作端的坐标数据对应传输给第一相机和/或第二相机。
根据本发明的一个方面，所述d)和所述f)步骤中，第一相机和/或第二相机将拍摄的标志点的坐标与机械手的基座的坐标和工作端的坐标进行标定，建立坐标转化关系，即求解标定方程AX＝ZB；
其中，A表示第一相机或第二相机的坐标矩阵，B表示机械手的工作端的空间坐标矩阵，Z表示机械手的基座的坐标矩阵，X表示第一相机或第二相机与机械手的坐标关系矩阵；
由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。
根据本发明的一个方面，所述h)步骤中，PLC控制器通过与计算机数据系统进行Ethernet IP通讯获得需要运输车需要停靠的停靠站点信息，以及机械手需要取放物料的位置编号和坐标值。
根据本发明的一个方面，所述i)步骤中，运输车通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器。
根据本发明的一个方面，所述j)步骤中，PLC控制器通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机和第二相机，相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α。
根据本发明的一个方面，所述k)步骤中，PLC控制器将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手，机械手获得该数据，将偏差值进行补偿。
根据本发明的一个方面，所述l)步骤中，空间坐标转换得到机械手的工作端需要的偏差值，机械手需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
根据本发明的一个方面，所述标志点为三角形中画一个十字的图案；
各个所述标志点处于同一直线上或者随机分布。
根据本发明的一个方面，所述第一相机和所述第二相机均具有32个场景组，每个场景组包括128个场景，一个标志点存放在所述第一相机或所述第二相机的一个场景中。
根据本发明的一种方案，第一相机与第二相机一个竖直向下安装，一个水平安装，这样能够保证相机与机械手之间存在确定的且已知的坐标换算关系。
根据本发明的一种方案，在对物料进行搬运之前，需要对第一相机、第二相机、标志点、机械手的基座和工作端进行标定，以获得各自的坐标值，然后对第一相机、第二相机与机械手的基座建立坐标关系，再对机械手的基座与机械手的工作端建立坐标关系，通过两个坐标关系从而求解出机械手的工作端的运动轨迹中的旋转部分和移动部分，从而可以运动至目标位置进行搬运。根据本发明的搬运方法，搬运精度极高，搬运效率和物料到位率极高。此外，根据本发明的搬运方法可以计算出机械手1每次取放料时的位置偏移量，然后进行补偿，这样可以保证搬运时取放料的准确性，大大提高了生产线物料运输的柔性，可以做到高效配合完成运输工作。
根据本发明的一种方案，PLC控制器从计算机数据系统里提取数据信息，并将数据信息发送给执行搬运工作的通讯设备以完成搬运工作，数据信息可以包括设备的基本信息、状态信息、方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运系统具备智能搬运特性。而且根据本发明的搬运系统能够实时反馈搬运信息，使计算机控制系统可以实时管理产品物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度，可以为后续生产加工工艺流程的总体监管提供依据。
附图说明
图1是示意性表示根据本发明的立体视觉搬运系统的结构布置的立体图；
图2是示意性表示根据本发明的视觉单元的结构布置的侧视图；
图3是示意性表示根据本发明的立体视觉搬运系统的搬运方法的流程简图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
图1示意性表示根据本发明的一种立体视觉搬运系统的结构布置的立体图。如图1所示，根据本发明的立体视觉搬运系统包括机械手1，物料仓2，运输车3，视觉单元4以及PLC控制器5。在本实施方式中，机械手1具有六个自由度，物料仓2设置在机械手1的工作范围内，机械手1可以触及到物料仓2的各个位置处。机械手1和物料仓2均支承固定在运输车3上。在本实施方式中，运输车3采用AGV运输车。运输车3上与机械手1的安装部位相邻的位置处设置有安装部301，此安装部301用于安装视觉单元4，视觉单元4用于获取图像信息，并且对图像信息进行计算，得到具体坐标数据。在本实施方式中，视觉单元4包括纵向安装的第一相机401，与第一相机401对应设置的第一光源402，以及位于第一相机401旁的横向安装的第二相机403和与第二相机403对应设置的第二光源404。第一相机401和第二相机403均采用智能相机，可以用来对运输车3的多点停靠位置进行定位补偿。第一相机401与第二相机403一个竖直向下安装，一个水平安装，这样能够保证相机与机械手之间存在确定的且已知的坐标换算关系。在本实施方式中，PLC控制器5也支承在运输车3上，并且是安装在物料仓2的下部。PLC控制器5与机械手1、第一相机401、第二相机403以及计算机数据系统通过Ethernet IP网络通讯协议进行数据交互。
根据本发明的立体视觉搬运系统的上述设置，实际搬运物料的方法如下：
图3示意性表示根据本发明的立体视觉搬运系统的搬运方法的流程简图。
如图3所示，首先，运输车3移动至生产线上的其中一个停靠站点，然后确定视觉单元4的具体位置。在此过程中，确定视觉单元4的具体位置即是对第一相机401和第二相机403进行标定，以获取第一相机401和第二相机403的内参和外参。在此过程中，可以采用任何常规的标定方法对第一相机401和第二相机403进行标定，只要能够准确地获取第一相机401和第二相机403相对于根据本发明的搬运系统的坐标信息就可以。
然后，视觉单元4对停靠站点的特征性位置进行拍摄，并且确定特征性位置的具体坐标数据。在本实施方式中，特征性位置为在生产线上的各个运输车3的停靠站点的地表位置上设置的标志点。运输车3在停靠站点处，由第一相机401和第二相机403拍摄标志点，然后标志点存放在第一相机401和第二相机403中的与此停靠站点相对应的场景中，并创建坐标模板。在本实施方式中，对标志点采用九宫格方法进行标定，第一相机401和第二相机403首先记录九宫格的第一点相机坐标系下的像素坐标，然后机械手1的工作端102移动到该点处，然后记录下此时机械手1的空间坐标，之后的八个点重复此过程。在本实施方式中，标志点是一个三角形中画有一个十字标记的图案，且处于各个停靠站点的标志点可以呈同一直线的形式排布，当然也可以是位置随机的分布的。在本实施方式中，第一相机401和第二相机403均具有32个场景组，每个场景组包括128个场景，一个标志点分别存放在第一相机401和第二相机403的一个场景中。
接下来，确定机械手1的基座101的位置信息，以基座101的位置信息作为机械手1的基准位置信息。在此过程中，需要对机械手1与视觉单元4进行手眼标定，以获取机械手1的基座101相对于第一相机401和第二相机403的空间坐标数据。在本实施方式中，由于本发明的机械手1抓取目标点位置不在视觉单元4的视野范围内，故机械手1的基座101的空间坐标数据的精确性会直接影响到机械手1的工作端102对目标点的定位精度。在手眼标定过程中，需要提供标志点的三维坐标值及其对应的图像像素值，对标定的各标志点图像均需要提供相应的机械手的空间坐标，机械手的空间坐标的精度对于整个手眼标定的精度起着至关重要的作用。
进一步地，需要确定机械手1的工作端102的具体位置。在此过程中，机械手1移动至第一相机401和第二相机403的拍摄位置，分别记录机械手1的工作端102的坐标，并同时将工作端102的坐标数据对应地传输给第一相机401和第二相机403。
进一步地，需要建立视觉单元4与机械手1的基座101的位置关系，还需建立机械手1的工作端102与机械手1的基座101的位置关系。在此过程中，第一相机401和第二相机403将拍摄的标志点的坐标与机械手1的基座101的坐标和工作端102的坐标进行标定以后，建立坐标转化关系，即求解标定方程AX＝ZB。其中，A表示第一相机401或第二相机403的坐标矩阵，B表示机械手1的工作端102的空间坐标矩阵，Z表示机械手1的基座101的坐标矩阵，X表示第一相机401或第二相机403与机械手1的坐标关系矩阵。由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。由此来得到机械手1的运动轨迹和目标位置。在本实施方式中，是建立视觉单元4中的图片像素坐标与机械手1的基座101的坐标的关系，得到手眼标定矩阵，机械手1正运动学求解末端工作端的的空间坐标。移动机械手1的工作端101至目标位置，并将机械手的空间坐标数据发送给PLC保存。
通过完成上述标定步骤以后，进一步地，即获取停靠站点信息和物料取放位置信息。在此过程中，PLC控制器5通过与计算机数据系统进行Ethernet IP通讯获得运输车3需要停靠的停靠站点信息，以及机械手1需要取放物料的位置编号和坐标值；
运输车3通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器；
PLC控制器5通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机401和第二相机403，由相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α；
PLC控制器5将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手1，机械手1获得该数据，将偏差值进行补偿；
空间坐标转换得到机械手1的工作端102需要的偏差值，机械手1需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
根据本发明的上述方法，在对物料进行搬运之前，需要对第一相机401、第二相机403、标志点、机械手1的基座101和工作端102进行标定，以获得各自的坐标值，然后对第一相机401、第二相机403与机械手1的基座101建立坐标关系，再对机械手1的基座101与机械手1的工作端102建立坐标关系，通过两个坐标关系从而求解出机械手1的工作端102的运动轨迹中的旋转部分和移动部分，从而可以运动至目标位置进行搬运。根据本发明的搬运方法，搬运精度极高，搬运效率和物料到位率极高。此外，根据本发明的搬运方法可以计算出机械手1每次取放料时的位置偏移量，然后进行补偿，这样可以保证搬运时取放料的准确性，大大提高了生产线物料运输的柔性，可以做到高效配合完成运输工作。
进一步地，PLC控制器5从计算机数据系统里提取数据信息，并将数据信息发送给执行搬运工作的通讯设备以完成搬运工作，数据信息可以包括设备的基本信息、状态信息、方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运系统具备智能搬运特性。而且根据本发明的搬运系统能够实时反馈搬运信息，使计算机控制系统可以实时管理产品物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度，可以为后续生产加工工艺流程的总体监管提供依据。
上述内容仅为本发明的具体实施方式的例举，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种立体视觉搬运系统，其特征在于，包括具有六个自由度的机械手(1)，与所述机械手(1)临近设置并且处于所述机械手(1)的工作范围内的物料仓(2)，用于支承所述机械手(1)和所述物料仓(2)的运输车(3)，用于视觉标定的视觉单元(4)，以及安装在所述物料仓(2)下部的PLC控制器(5)；
所述机械手(1)包括基座(101)和工作端(102)；
所述运输车(3)具有用于安装所述视觉单元(4)的安装部(301)，所述安装部(301)位于所述机械手(1)旁；
所述视觉单元(4)包括纵向安装的第一相机(401)，与所述第一相机(401)对应设置的第一光源(402)，以及位于所述第一相机(401)旁的横向安装的第二相机(403)和与所述第二相机(403)对应设置的第二光源(404)。
2.利用权利要求1所述的立体视觉搬运系统实施的搬运方法，包括以下步骤：
a)确定视觉单元(4)的具体位置；
b)视觉单元(4)对特征性位置进行拍摄，并确定特征性位置的具体位置信息，创建坐标模板；
c)确定机械手(1)的基座(101)的位置；
d)建立视觉单元(4)与机械手(1)的基座(101)的位置关系；
e)确定机械手(1)的工作端(102)的具体位置；
f)建立机械手(1)的工作端(102)与机械手(1)的基座(101)的位置关系；
g)对d)与f)中的两个位置关系建立转换关系，得到机械手(1)的工作端(102)的运动轨迹和目标位置；
h)获取停靠站点信息和物料取放位置信息；
i)运输车(3)移动至目标停靠站点并反馈信号；
j)获取标志点位置信息并与坐标模板匹配，计算偏差值；
k)补偿偏差值；
l)转换偏差值数据给机械手1的工作端(102)进行补偿，然后取放料。
3.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述a)步骤中，对第一相机(401)和/或第二相机(403)进行标定，获取第一相机(401)和/或第二相机(403)的内参和外参。
4.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述b)步骤中，在生产线上的各个运输车(3)的停靠站点位置设置标志点；
运输车(3)运行至其中一个停靠站点，由第一相机(401)和/或第二相机(403)拍摄标志点，标志点存放在第一相机(401)和/或第二相机(403)的相对应停靠站点的一个场景中，并创建坐标模板。
5.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述c)步骤中，对机械手(1)与视觉单元(4)进行手眼标定，获取机械手(1)的基座(101)相对于第一相机(401)或第二相机(403)的空间坐标。
6.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述e)步骤中，机械手(1)移动至第一相机(401)和/或第二相机(403)的拍摄位置，记录机械手(1)的工作端(102)的坐标，并将工作端(102)的坐标数据对应传输给第一相机(401)和/或第二相机(403)。
7.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述d)和所述f)步骤中，第一相机(401)和/或第二相机(403)将拍摄的标志点的坐标与机械手(1)的基座(101)的坐标和工作端(102)的坐标进行标定，建立坐标转化关系，即求解标定方程AX＝ZB；
其中，A表示第一相机(401)或第二相机(403)的坐标矩阵，B表示机械手(1)的工作端(102)的空间坐标矩阵，Z表示机械手(1)的基座(101)的坐标矩阵，X表示第一相机(401)或第二相机(403)与机械手(1)的坐标关系矩阵；
由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。
8.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述h)步骤中，PLC控制器(5)通过与计算机数据系统进行Ethernet IP通讯获得需要运输车(3)需要停靠的停靠站点信息，以及机械手(1)需要取放物料的位置编号和坐标值。
9.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述i)步骤中，运输车(3)通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器。
10.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述j)步骤中，PLC控制器(5)通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机(401)和第二相机(403)，相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α。
11.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述k)步骤中，PLC控制器(5)将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手(1)，机械手(1)获得该数据，将偏差值进行补偿。
12.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述l)步骤中，空间坐标转换得到机械手(1)的工作端(102)需要的偏差值，机械手(1)需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
13.根据权利要求2至12之一所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述标志点为三角形中画一个十字的图案；
各个所述标志点处于同一直线上或者随机分布。
14.根据权利要求13所述的利用立体视觉搬运系统实施的搬运方法，其特征在于，所述第一相机(401)和所述第二相机(403)均具有32个场景组，每个场景组包括128个场景，一个标志点存放在所述第一相机(401)或所述第二相机(403)的一个场景中。
CN201710238481.3A 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法 Active CN107103624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Publications (2)

Publication Number Publication Date
CN107103624A true CN107103624A (zh) 2017-08-29
CN107103624B CN107103624B (zh) 2020-04-17

Family

ID=59675461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710238481.3A Active CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Country Status (1)

Country Link
CN (1) CN107103624B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313732A (zh) * 2018-04-08 2018-07-24 无锡华工大光电智能科技有限公司 一种自动运送装置
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
WO2020253163A1 (zh) * 2019-06-21 2020-12-24 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置
CN113821002A (zh) * 2021-04-29 2021-12-21 宁波舜宇智能科技有限公司 分拣控制系统
CN115682926A (zh) * 2022-09-07 2023-02-03 广东爱吉尔机器人科技有限公司 一种一对多快速手眼标定的方法
CN115973642A (zh) * 2023-01-04 2023-04-18 深圳市昇茂科技有限公司 一种智能仓储物料自动分配设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112008A (zh) * 2013-01-29 2013-05-22 上海智周自动化工程有限公司 用于地板切割的双视觉机器人自动定位和搬运方法
CN104626142A (zh) * 2014-12-24 2015-05-20 镇江市计量检定测试中心 一种用于砝码检定的双目视觉机械手自动定位和移动方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN106044570A (zh) * 2016-05-31 2016-10-26 河南卫华机械工程研究院有限公司 一种采用机器视觉的钢卷吊自动识别装置和方法
CN205837987U (zh) * 2016-07-06 2016-12-28 东莞市欧特自动化技术有限公司 一种自动引导运输系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112008A (zh) * 2013-01-29 2013-05-22 上海智周自动化工程有限公司 用于地板切割的双视觉机器人自动定位和搬运方法
CN104626142A (zh) * 2014-12-24 2015-05-20 镇江市计量检定测试中心 一种用于砝码检定的双目视觉机械手自动定位和移动方法
CN106044570A (zh) * 2016-05-31 2016-10-26 河南卫华机械工程研究院有限公司 一种采用机器视觉的钢卷吊自动识别装置和方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN205837987U (zh) * 2016-07-06 2016-12-28 东莞市欧特自动化技术有限公司 一种自动引导运输系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
傅华强: "装配机器人视觉系统应用与软件开发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐昌源: "双目视觉全自由度位姿测量引导工业机器人系统的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313732A (zh) * 2018-04-08 2018-07-24 无锡华工大光电智能科技有限公司 一种自动运送装置
CN108313732B (zh) * 2018-04-08 2023-12-29 无锡华工大光电智能科技有限公司 一种自动运送装置
WO2020253163A1 (zh) * 2019-06-21 2020-12-24 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN113821002A (zh) * 2021-04-29 2021-12-21 宁波舜宇智能科技有限公司 分拣控制系统
CN113821002B (zh) * 2021-04-29 2024-03-08 宁波舜宇智能科技有限公司 分拣控制系统
CN115682926A (zh) * 2022-09-07 2023-02-03 广东爱吉尔机器人科技有限公司 一种一对多快速手眼标定的方法
CN115682926B (zh) * 2022-09-07 2023-08-29 广东爱吉尔机器人科技有限公司 一种一对多快速手眼标定的方法
CN115973642A (zh) * 2023-01-04 2023-04-18 深圳市昇茂科技有限公司 一种智能仓储物料自动分配设备
CN115973642B (zh) * 2023-01-04 2023-08-22 深圳市昇茂科技有限公司 一种智能仓储物料自动分配设备

Also Published As

Publication number Publication date
CN107103624B (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN107103624A (zh) 立体视觉搬运系统及其搬运方法
US9197810B2 (en) Systems and methods for tracking location of movable target object
WO2020134254A1 (zh) 一种基于强化学习的喷涂机器人轨迹优化方法
CN111045017A (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN109967292A (zh) 一种基于工件轮廓信息三维重构的自动喷涂系统及其方法
CN109579843A (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN102922521A (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN109857102B (zh) 一种基于相对位置的轮式机器人编队与跟踪控制方法
CN111039231B (zh) 智能叉车转弯路径规划方法
CN110347186A (zh) 基于仿生双目联动的地面运动目标自主跟踪系统
CN111693046A (zh) 机器人系统和机器人导航地图建图系统及方法
CN104965489A (zh) 基于机器人的ccd自动对位组装系统及方法
CN109828580A (zh) 一种基于分离式超声波的移动机器人编队跟踪控制方法
CN107024687A (zh) 一种离线快速实现pos/激光雷达安装误差标定的方法
CN108445882A (zh) 具有跟踪功能的自动导引车
CN208156500U (zh) 一种活动式机器人自动喷涂装置
CN104881026A (zh) 高压线路抢修机械臂移动路径规划系统及方法
CN105511482B (zh) 自主成像任务规划的模式调控方法
CN116989670A (zh) 一种柔性飞机全机外形一站式数字化测量方法
CN114842079B (zh) 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN110095136B (zh) 融合imu位姿修正的双目视觉三维重建标定装置和方法
CN108620840A (zh) 一种基于agv智能并联机器人的飞机舱门智能安装方法
CN115493513A (zh) 一种应用于空间站机械臂的视觉系统
CN110815177A (zh) 一种复合机器人2d视觉引导示教的迁移方法
CN113359461B (zh) 一种适用于仿生眼系统的运动学标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant