CN107103624A - 立体视觉搬运系统及其搬运方法 - Google Patents

立体视觉搬运系统及其搬运方法 Download PDF

Info

Publication number
CN107103624A
CN107103624A CN201710238481.3A CN201710238481A CN107103624A CN 107103624 A CN107103624 A CN 107103624A CN 201710238481 A CN201710238481 A CN 201710238481A CN 107103624 A CN107103624 A CN 107103624A
Authority
CN
China
Prior art keywords
camera
manipulator
coordinate
working
stereoscopic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710238481.3A
Other languages
English (en)
Other versions
CN107103624B (zh
Inventor
宁玥
杨赛女
赵姝炜
吕鑫
陈腾
施加荣
冯嘉杰
水仕淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Intelligent Technology Co Ltd
Original Assignee
Ningbo Sunny Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Intelligent Technology Co Ltd filed Critical Ningbo Sunny Intelligent Technology Co Ltd
Priority to CN201710238481.3A priority Critical patent/CN107103624B/zh
Publication of CN107103624A publication Critical patent/CN107103624A/zh
Application granted granted Critical
Publication of CN107103624B publication Critical patent/CN107103624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/904Devices for picking-up and depositing articles or materials provided with rotary movements only
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

本发明公开了一种立体视觉搬运系统及其搬运方法,包括具有六个自由度的机械手,与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓,用于支承所述机械手和所述物料仓的运输车,用于视觉标定的视觉单元,以及安装在所述物料仓下部的PLC控制器;所述机械手包括基座和工作端;所述运输车具有用于安装所述视觉单元的安装部,所述安装部位于所述机械手旁;所述视觉单元包括纵向安装的第一相机,与所述第一相机对应设置的第一光源,以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。根据本发明的搬运系统及搬运方法,其搬运精度高,范围广,可以任意取放物料。

Description

立体视觉搬运系统及其搬运方法
技术领域
[0001] 本发明涉及生产制造领域和物料运输领域,尤其涉及一种立体视觉搬运系统及其 搬运方法。
背景技术
[0002] 中国专利201510612879. X公开了一种自主行走搬运方法、搬运器和搬运系统。其 搬运方法是在搬运平台主体上设置可切换使用的转向轮机构、直行轮机构和旋转中心锁定 机构,在地面设置配合旋转中心锁定机构的旋转中心;在直线搬运路段,所述搬运平台主体 采用直行轮机构与行走驱动机构共速配合进行直线行走;在转向行走路段,旋转中心锁定 机构锁定旋转中心,所述搬运平台主体通过转向轮机构与行走驱动机构差速配合进行绕转 向中心的转向行走。该搬运装置的搬运方法仅是将物料从一个位置搬运至另一个位置,无 法保持高精度取放物料,只适用于搬运精度要求低的工作场所。
[0003]在产品生广制造过程中,尤其是生产线物料运输环节,需要对物料运输的取放料 点提供坐标值,从而使物料能够快速准确的运输到指定位置。目前,生产线上对于物料的运 输只是通过固定在某一位置的机械臂,在其工作范围内将物料从某一点搬运到另一个搬运 点或者单一使用搬运车等形式来实现,无法实现多点物料任意取放,无法实现远距离高精 度搬运。轨迹相对单一无法实现高精度柔性搬运,无法实现柔性生产制造。
发明内容
[0004] 针对现有技术中的技术问题,本发明提供一种立体视觉搬运系统及其搬运方法, 解决了现有技术中搬运范围局限,搬运精度低以及无法实现多点物料任意取放等技术缺 陷。
[0005] 为实现上述发明目的,本发明提供一种立体视觉搬运系统,包括具有六个自由度 的机械手,与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓,用于支承 所述机械手和所述物料仓的运输车,用于视觉标定的视觉单元,以及安装在所述物料仓下 部的PLC控制器;
[0006] 所述机械手包括基座和工作端;
[0007] 所述运输车具有用于安装所述视觉单元的安装部,所述安装部位于所述机械手 劳;
[0008] 所述视觉单元包括纵向安装的第一相机,与所述第一相机对应设置的第一光源, 以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。
[0009] 为实现上述发明目的,本发明提供一种立体视觉搬运系统的搬运方法,包括以下 步骤:
[0010] a)确定视觉单元的具体位置;
[0011] b)视觉单元对特征性位置进行拍摄,并确定特征性位置的具体位置信息;
[0012] c)确定机械手的基座的位置;
[0013] d)建立视觉单元与机械手的基座的位置关系;
[0014] e)确定机械手的工作端的具体位置;
[0015] f)建立机械手的工作端与机械手的基座的位置关系;
[0016] g)对d)与f)中的两个位置关系建立转换关系,得到机械手的工作端的运动轨迹和 目标位置;
[0017] h)获取停靠站点信息和物料取放位置信息;
[0018] i)运输车移动至目标停靠站点并反馈信号;
[0019] j)获取标志点位置信息并与坐标模板匹配,计算偏差值;
[0020] k)补偿偏差值;
[0021] 1)转换偏差值数据给机械手1的工作端进行补偿,然后取放料。
[0022] 根据本发明的一个方面,所述a)步骤中,对第一相机和/或第二相机进行标定,获 取第一相机和/或第二相机的内参和外参。
[0023]根据本发明的一个方面,所述b)步骤中,在生产线上的各个运输车的停靠站点位 置设置标志点;
[0024] 运输车运行至其中一个停靠站点,由第一相机和/或第二相机拍摄标志点,标志点 存放在第一相机和/或第二相机的相对应停靠站点的一个场景中,并创建坐标模板。
[0025] 根据本发明的一个方面,所述c)步骤中,对机械手与视觉单元进行手眼标定,获取 机械手的基座相对于第一相机或第二相机的空间坐标。
[0026] 根据本发明的一个方面,所述e)步骤中,机械手移动至第一相机和/或第二相机的 拍摄位置,记录机械手的工作端的坐标,并将工作端的坐标数据对应传输给第一相机和/或 第二相机。
[0027] 根据本发明的一个方面,所述d)和所述f)步骤中,第一相机和/或第二相机将拍摄 的标志点的坐标与机械手的基座的坐标和工作端的坐标进行标定,建立坐标转化关系,即 求解标定方程ax=zb;
[0028] 其中,A表示第一相机或第二相机的坐标矩阵,B表示机械手的工作端的空间坐标 矩阵,Z表示机械手的基座的坐标矩阵,X表示第一相机或第二相机与机械手的坐标关系矩 阵;
[0029] 由标定方程AX = ZB求解出坐标转化关系中的旋转部分,再由旋转部分的结果求出 平移部分。
[0030] 根据本发明的一个方面,所述h)步骤中,PLC控制器通过与计算机数据系统进行 Ethernet IP通讯获得需要运输车需要停靠的停靠站点信息,以及机械手需要取放物料的 位置编号和坐标值。
[0031] 根据本发明的一个方面,所述i)步骤中,运输车通过与PLC控制器RS232\4S5通讯 协议或TCP\UDP通讯协议得到停靠站点信息,并移动至此停靠站点将位置信号反馈给PIX控 制器。
[0032] 根据本发明的一个方面,所述j)步骤中,PLC控制器通过Ethernet IP通讯协议或 Modbus/TCP通讯协议、Socket (TCPMJDP)通讯协议、串口通讯协议或PR0FINET通讯协议,发 送拍照命令给第一相机和第二相机,相机拍摄标志点并与之前保存的模板进行匹配,计算 得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值a。
[0033] 根据本发明的一个方面,所述k)步骤中,PLC控制器将相机计算得到的偏差值通过 Ethernet IP、Modbus/TCP通讯协议、Socket (TCP\UDP)通讯协议、串 口通讯协议或PR0FINET 通讯协议方式发送给机械手,机械手获得该数据,将偏差值进行补偿。
[0034] 根据本发明的一个方面,所述1)步骤中,空间坐标转换得到机械手的工作端需要 的偏差值,机械手需要移动的取放料位置坐标进行补偿,实现物料的精准取放。
[0035] 根据本发明的一个方面,所述标志点为三角形中画一个十字的图案;
[0036] 各个所述标志点处于同一直线上或者随机分布。
[0037] 根据本发明的一个方面,所述第一相机和所述第二相机均具有32个场景组,每个 场景组包括128个场景,一个标志点存放在所述第一相机或所述第二相机的一个场景中。
[0038] 根据本发明的一种方案,第一相机与第二相机一个竖直向下安装,一个水平安装, 这样能够保证相机与机械手之间存在确定的且已知的坐标换算关系。
[0039] 根据本发明的一种方案,在对物料进行搬运之前,需要对第一相机、第二相机、标 志点、机械手的基座和工作端进行标定,以获得各自的坐标值,然后对第一相机、第二相机 与机械手的基座建立坐标关系,再对机械手的基座与机械手的工作端建立坐标关系,通过 两个坐标关系从而求解出机械手的工作端的运动轨迹中的旋转部分和移动部分,从而可以 运动至目标位置进行搬运。根据本发明的搬运方法,搬运精度极高,搬运效率和物料到位率 极高。此外,根据本发明的搬运方法可以计算出机械手1每次取放料时的位置偏移量,然后 进行补偿,这样可以保证搬运时取放料的准确性,大大提高了生产线物料运输的柔性,可以 做到高效配合完成运输工作。
[0040] 根据本发明的一种方案,PLC控制器从计算机数据系统里提取数据信息,并将数据 信息发送给执行搬运工作的通讯设备以完成搬运工作,数据信息可以包括设备的基本信 息、状态信息、方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运系统具备智 能搬运特性。而且根据本发明的搬运系统能够实时反馈搬运信息,使计算机控制系统可以 实时管理产品物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度, 可以为后续生产加工工艺流程的总体监管提供依据。
附图说明
[0041] 图1是示意性表示根据本发明的立体视觉搬运系统的结构布置的立体图;
[0042] 图2是示意性表示根据本发明的视觉单元的结构布置的侧视图;
[0043] 图3是示意性表示根据本发明的立体视觉搬运系统的搬运方法的流程简图。
具体实施方式
[0044] 为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式 中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些 实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些 附图获得其他的附图。
[0045] 在针对本发明的实施方式进行描述时,术语“纵向”、“横向”、“上”、“下”、“前”、 “后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相 关附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能 理解为对本发明的限制。
[0046]下面结合附图和具体实施方式对本发明作详细地描述,实施方式不能在此一一赘 述,但本发明的实施方式并不因此限定于以下实施方式。 ~
[0047]图1示意性表示根据本发明的一种立体视觉搬运系统的结构布置的立体图。如图1 所示,根据本发明的立体视觉搬运系统包括机械手1,物料仓2,运输车3,视觉单元4以及PLC 控制器5。在本实施方式中,机械手1具有六个自由度,物料仓2设置在机械手1的工作范围 内,机械手1可以触及到物料仓2的各个位置处。机械手1和物料仓2均支承固定在运输车3 上。在本实施方式中,运输车3采用AGV运输车。运输车3上与机械手1的安装部位相邻的位置 处设置有安装部301,此安装部3〇1用于安装视觉单元4,视觉单元4用于获取图像信息,并且 对图像信息进行计算,得到具体坐标数据。在本实施方式中,视觉单元4包括纵向安装的第 一相机401,与第一相机401对应设置的第一光源402,以及位于第一相机401旁的横向安装 的第二相机403和与第二相机4〇3对应设置的第二光源404。第一相机401和第二相机403均 采用智能相机,可以用来对运输车3的多点停靠位置进行定位补偿。第一相机4〇1与第二相 机4〇3—个竖直向下安装,一个水平安装,这样能够保证相机与机械手之间存在确定的且已 知的坐标换算关系。在本实施方式中,PLC控制器5也支承在运输车3上,并且是安装在物料 仓2的下部。PLC控制器5与机械手1、第一相机401、第二相机403以及计算机数据系统通过 Ethernet IP网络通讯协议进行数据交互。
[0048]根据本发明的立体视觉搬运系统的上述设置,实际搬运物料的方法如下:
[0049]图3示意性表示根据本发明的立体视觉搬运系统的搬运方法的流程简图。
[0050]如图3所示,首先,运输车3移动至生产线上的其中一个停靠站点,然后确定视觉单 元4的^体位置。在此过程中,确定视觉单元4的具体位置即是对第一相机4〇1和第二相机 403进行标定,以获取第一相机401和第二相机4〇3的内参和外参。在此过程中,可以采用任 何常规的标定方法对第一相机401和第二相机403进行标定,只要能够准确地获取第一相机 401和第二相机403相对于根据本发明的搬运系统的坐标信息就可以。
[0051] 然后,视觉单元4对停靠站点的特征性位置进行拍摄,并且确定特征性位置的具体 坐标数据。在本实施方式中,特征性位置为在生产线上的各个运输车3的停靠站点的地表位 置上设置的标志点。运输车3在停靠站点处,由第一相机401和第二相机4〇3拍摄标志点,然 后标志点存放在第一相机401和第二相机4〇3中的与此停靠站点相对应的场景中,并创建坐 标模板。在本实施方式中,对标志点采用九宫格方法进行标定,第一相机401和第二相机4〇3 首先记录九宫格的第一点相机坐标系下的像素坐标,然后机械手1的工作端102移动到该点 处,然后记录下此时机械手1的空间坐标,之后的八个点重复此过程。在本实施方式中,标g 点是一个三角形中画有一个十字标记的图案,且处于各个停靠站点的标志点可以呈同一直 线的形式排布,当然也可以是位置随机的分布的。在本实施方式中,第一相机4〇1和第二相 机403均具有犯个场景组,每个场景组包括US个场景,一个标志点分别存放在第一相机4〇i 和第二相机403的一个场景中。
[0052] 接下来,确定机械手1的基座101的位置信息,以基座101的位置信息作为机械手丄 的基准位置信息。在此过程中,需要对机械手1与视觉单元4进行手眼标定,以获取机械手1 的基座101相对于第一相机401和第二相机403的空间坐标数据。在本实施方式中,由于本发 明的机械手1抓取目标点位置不在视觉单元4的视野范围内,故机械手1的基座10丨的空间坐 标数据的精确性会直接影响到机械手1的工作端10 2对目标点的定位精度。在手眼标定过程 中,需要提供标志点的三维坐标值及其对应的图像像素值,对标定的各标志点图像均需要 提供相应的机械手的空间坐标,机械手的空间坐标的精度对于整个手眼标定的精度起着至 关重要的作用。
[0053]进一步地,需要确定机械手1的工作端102的具体位置。在此过程中,机械手1移动 至第一相机401和第二相机4〇3的拍摄位置,分别记录机械手丨的工作端102的坐标,并同时 将工作端102的坐标数据对应地传输给第一相机401和第二相机403。
[0054]进一步地,需要建立视觉单元4与机械手1的基座1〇1的位置关系,还需建立机械手 1的工作端102与机械手1的基座101的位置关系。在此过程中,第一相机401和第二相机403 将拍摄的标志点的坐标与机械手1的基座101的坐标和工作端102的坐标进行标定以后,建 立坐标转化关系,即求解标定方程AX = ZB。其中,A表示第一相机401或第二相机403的坐标 矩阵,B表示机械手1的工作端102的空间坐标矩阵,Z表示机械手1的基座101的坐标矩阵,X 表示第一相机401或第二相机403与机械手1的坐标关系矩阵。由标定方程AX = ZB求解出坐 标转化关系中的旋转部分,再由旋转部分的结果求出平移部分。由此来得到机械手1的运动 轨迹和目标位置。在本实施方式中,是建立视觉单元4中的图片像素坐标与机械手1的基座 101的坐标的关系,得到手眼标定矩阵,机械手1正运动学求解末端工作端的的空间坐标。移 动机械手1的工作端101至目标位置,并将机械手的空间坐标数据发送给PLC保存。
[0055]通过完成上述标定步骤以后,进一步地,即获取停靠站点信息和物料取放位置信 息。在此过程中,PLC控制器5通过与计算机数据系统进行Ethernet IP通讯获得运输车3需 要停靠的停靠站点信息,以及机械手1需要取放物料的位置编号和坐标值;
[0056] 运输车3通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点 信息,并移动至此停靠站点将位置信号反馈给PLC控制器;
[0057] PLC控制器5通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket (TCP\UDP) 通讯协议、串口通讯协议或PR0FINET通讯协议,发送拍照命令给第一相机401和第二相机 4〇3,由相机拍摄标志点并与之前保存的模板进行匹配,计算得到本次与相机标定时模板比 较的偏差值X、Y、Z和绕X轴旋转的角度值a;
[0058] PLC控制器5将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、 Socket (TCPMJDP)通讯协议、串口通讯协议或PR0FINET通讯协议方式发送给机械手1,机械 手1获得该数据,将偏差值进行补偿;
[0059]空间坐标转换得到机械手1的工作端102需要的偏差值,机械手1需要移动的取放 料位置坐标进行补偿,实现物料的精准取放。
[0060]根据本发明的上述方法,在对物料进行搬运之前,需要对第一相机401、第二相机 4〇3、标志点、机械手1的基座101和工作端102进行标定,以获得各自的坐标值,然后对第一 相机401、第二相机403与机械手1的基座101建立坐标关系,再对机械手1的基座101与机械 手1的工作端102建立坐标关系,通过两个坐标关系从而求解出机械手1的工作端102的运动 轨迹中的旋转部分和移动部分,从而可以运动至目标位置进行搬运。根据本发明的搬运方 法,搬运精度极高,搬运效率和物料到位率极高。此外,根据本发明的搬运方法可以计算出 机械手1每次取放料时的位置偏移量,然后进行补偿,这样可以保证搬运时取放料的准确 性,大大提高了生产线物料运输的柔性,可以做到高效配合完成运输工作。
[0061]—进一步地,PLC控制器5从计算机数据系统里提取数据信息,并将数据信息发送给 执行搬运工作的通讯设备以完成搬运工作,数据信息可以包括设备的基本信息、状态信息、 方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运系统具备智能搬运特性。 而且根据本发明的搬运系统能够实时反馈搬运信息,使计算机控制系统可以实时管理产品 物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度,可以为后续生 产加工工艺流程的总体监管提供依据。
[0062]上述内容仅为本发明的具体实施方式的例举,对于其中未详尽描述的设备和结 构,应当理解为采取本领域已有的通用设备及通用方法来予以实施。
[0063]以上所述仅为本发明的一个实施方式而已,并不用于限制本发明,对于本领域的 技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何 修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

  1. i .一种立体视觉搬运系统,其特征在于,包括具有六个自由度的机械手(1),与所述机 械手(1)临近设置并且处于所述机械手(1)的工作范围内的物料仓(2),用于支承所述机械 手(1)和所述物料仓(2)的运输车(3),用于视觉标定的视觉单元(4),以及安装在所述物料 仓⑵下部的PLC控制器⑸; 所述机械手⑴包括基座(101)和工作端(102); 所述运输车(3)具有用于安装所述视觉单元⑷的安装部(301),所述安装部(301)位于 所述机械手⑴旁; 所述视觉单元(4)包括纵向安装的第一相机(401),与所述第一相机(401)对应设置的 第一光源(402),以及位于所述第一相机(401)旁的横向安装的第二相机(403)和与所述第 二相机(403)对应设置的第二光源(404)。
  2. 2. 利用权利要求1所述的立体视觉搬运系统实施的搬运方法,包括以下步骤: a) 确定视觉单元⑷的具体位置; b) 视觉单元(4)对特征性位置进行拍摄,并确定特征性位置的具体位置信息,创建坐标 模板; c) 确定机械手(1)的基座(101)的位置; d) 建立视觉单元⑷与机械手⑴的基座(101)的位置关系; e) 确定机械手⑴的工作端(102)的具体位置; f) 建立机械手⑴的工作端(102)与机械手⑴的基座(101)的位置关系; g) 对d)与f)中的两个位置关系建立转换关系,得到机械手(1)的工作端(102)的运动轨 迹和目标位置; h) 获取停靠站点信息和物料取放位置信息; i) 运输车⑶移动至目标停靠站点并反馈信号; j) 获取标志点位置信息并与坐标模板匹配,计算偏差值; k) 补偿偏差值; l) 转换偏差值数据给机械手1的工作端(102)进行补偿,然后取放料。
  3. 3. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述a) 步骤中,对第一相机(401)和/或第二相机(403)进行标定,获取第一相机(401)和/或第二相 机(403)的内参和外参。
  4. 4. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述b) 步骤中,在生产线上的各个运输车03)的停靠站点位置设置标志点; 运输车(3)运行至其中一个停靠站点,由第一相机(401)和/或第二相机(403)拍摄标志 点,标志点存放在第一相机(401)和/或第二相机(403)的相对应停靠站点的一个场景中,并 创建坐标模板。
  5. 5. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述c) 步骤中,对机械手(1)与视觉单元(4)进行手眼标定,获取机械手(1)的基座(101)相对于第 一相机(401)或第二相机(403)的空间坐标。
  6. 6.根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述e) 步骤中,机械手(1)移动至第一相机(401)和/或第二相机(403)的拍摄位置,记录机械手(1) 的工作端(1〇2)的坐标,并将工作端(102)的坐标数据对应传输给第一相机(401)和/或第二 相机(403)。
  7. 7. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述d) 和所述f)步骤中,第一相机(401)和/或第二相机(403)将拍摄的标志点的坐标与机械手(1) 的基座(101)的坐标和工作端(102)的坐标进行标定,建立坐标转化关系,即求解标定方程 AX 二 ZB; 其中,A表示第一相机(401)或第二相机(403)的坐标矩阵,B表示机械手(1)的工作端 (102)的空间坐标矩阵,Z表示机械手(1)的基座(101)的坐标矩阵,X表示第一相机(401)或 第二相机(403)与机械手(1)的坐标关系矩阵; 由标定方程AX = ZB求解出坐标转化关系中的旋转部分,再由旋转部分的结果求出平移 部分。
  8. 8. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述h) 步骤中,PLC控制器(5)通过与计算机数据系统进行Ethernet IP通讯获得需要运输车(3)需 要停靠的停靠站点信息,以及机械手(1)需要取放物料的位置编号和坐标值。
  9. 9. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述i) 步骤中,运输车⑶通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点 信息,并移动至此停靠站点将位置信号反馈给PLC控制器。
  10. 10. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述 j) 步骤中,PLC控制器⑸通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket (TCP\ UDP)通讯协议、串口通讯协议或PR0FINET通讯协议,发送拍照命令给第一相机(401)和第二 相机(403),相机拍摄标志点并与之前保存的模板进行匹配,计算得到本次与相机标定时模 板比较的偏差值X、Y、Z和绕X轴旋转的角度值a。
  11. 11. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述 k) 步骤中,PLC控制器(5)将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协 议、Socket (TCP\UDP)通讯协议、串口通讯协议或PR0FINET通讯协议方式发送给机械手(1), 机械手(1)获得该数据,将偏差值进行补偿。
  12. 12. 根据权利要求2所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述 l) 步骤中,空间坐标转换得到机械手(1)的工作端(1〇2)需要的偏差值,机械手(1)需要移动 的取放料位置坐标进行补偿,实现物料的精准取放。
  13. 13. 根据权利要求2至12之一所述的利用立体视觉搬运系统实施的搬运方法,其特征在 于,所述标志点为三角形中画一个十字的图案; 各个所述标志点处于同一直线上或者随机分布。
  14. 14. 根据权利要求13所述的利用立体视觉搬运系统实施的搬运方法,其特征在于,所述 第一相机(401)和所述第二相机(4〇3)均具有32个场景组,每个场景组包括128个场景,一个 标志点存放在所述第一相机(4〇1)或所述第二相机(4〇3)的一个场景中。
CN201710238481.3A 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法 Active CN107103624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Publications (2)

Publication Number Publication Date
CN107103624A true CN107103624A (zh) 2017-08-29
CN107103624B CN107103624B (zh) 2020-04-17

Family

ID=59675461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710238481.3A Active CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运系统及其搬运方法

Country Status (1)

Country Link
CN (1) CN107103624B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
WO2020253163A1 (zh) * 2019-06-21 2020-12-24 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112008A (zh) * 2013-01-29 2013-05-22 上海智周自动化工程有限公司 用于地板切割的双视觉机器人自动定位和搬运方法
CN104626142A (zh) * 2014-12-24 2015-05-20 镇江市计量检定测试中心 一种用于砝码检定的双目视觉机械手自动定位和移动方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN106044570A (zh) * 2016-05-31 2016-10-26 河南卫华机械工程研究院有限公司 一种采用机器视觉的钢卷吊自动识别装置和方法
CN205837987U (zh) * 2016-07-06 2016-12-28 东莞市欧特自动化技术有限公司 一种自动引导运输系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112008A (zh) * 2013-01-29 2013-05-22 上海智周自动化工程有限公司 用于地板切割的双视觉机器人自动定位和搬运方法
CN104626142A (zh) * 2014-12-24 2015-05-20 镇江市计量检定测试中心 一种用于砝码检定的双目视觉机械手自动定位和移动方法
CN106044570A (zh) * 2016-05-31 2016-10-26 河南卫华机械工程研究院有限公司 一种采用机器视觉的钢卷吊自动识别装置和方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN205837987U (zh) * 2016-07-06 2016-12-28 东莞市欧特自动化技术有限公司 一种自动引导运输系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253163A1 (zh) * 2019-06-21 2020-12-24 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法

Also Published As

Publication number Publication date
CN107103624B (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN103136747B (zh) 车载摄像系统及其校准方法
EP2697605B1 (de) Vermessungssystem und verfahren zur neupunktbestimmung
CN103686143B (zh) 照相机的校准方法以及装置
EP3168704B1 (en) 3d surveying of a surface by mobile vehicles
EP2435217B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
CN102999919B (zh) 自运动估计系统和方法
CN107186708B (zh) 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN104154875B (zh) 基于两轴旋转平台的三维数据获取系统及获取方法
CN105197252B (zh) 一种小型无人机降落方法及系统
WO2017213814A1 (en) Sensor trajectory planning for a vehicle
DE102009034529B4 (de) Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses
KR101988083B1 (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
CN106291278B (zh) 一种基于多视觉系统的开关柜局部放电自动检测方法
CN103867205B (zh) 一种掘进机远程控制系统及方法
CN105234943B (zh) 一种基于视觉识别的工业机器人示教装置及方法
EP2837985B1 (de) Fahrerloses Transportfahrzeug und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
CN106441286B (zh) 基于bim技术的无人机隧道巡检系统
CN108871209B (zh) 一种大尺寸工件移动测量机器人系统及方法
DE102010045752B4 (de) Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter
CN102135776B (zh) 基于视觉定位的工业机器人控制方法
CN102922521B (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN106774310B (zh) 一种机器人导航方法
CN100537402C (zh) 集装箱起重机的集卡车对位系统和方法
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
CN104723318A (zh) 自主工作机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant