CN113716323A - 一种容器智能搬运方法 - Google Patents

一种容器智能搬运方法 Download PDF

Info

Publication number
CN113716323A
CN113716323A CN202110942605.2A CN202110942605A CN113716323A CN 113716323 A CN113716323 A CN 113716323A CN 202110942605 A CN202110942605 A CN 202110942605A CN 113716323 A CN113716323 A CN 113716323A
Authority
CN
China
Prior art keywords
coordinate system
mechanical
camera
image
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110942605.2A
Other languages
English (en)
Inventor
李浩麟
张林帅
蒋世奇
顾硕鑫
戴智渊
张哲鸣
彭毅
徐俊
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu New Meteorological Technology Industry Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu New Meteorological Technology Industry Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu New Meteorological Technology Industry Co ltd, Chengdu University of Information Technology filed Critical Chengdu New Meteorological Technology Industry Co ltd
Priority to CN202110942605.2A priority Critical patent/CN113716323A/zh
Publication of CN113716323A publication Critical patent/CN113716323A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种容器智能搬运方法，包括以下步骤：步骤1：将机械手爪移至容器上方；步骤2：拍摄一张图片；步骤3：对图片的图像进行处理，获取容器位姿；步骤4：坐标转换，得到容器在机器人坐标系下实际位姿参数；步骤5：根据步骤4所获得的容器的实际位姿参数，机械手爪下降至所需高度；步骤6：机械手爪闭合；步骤7：判断机械手爪是否抓取成功，若否，机械手爪复位至打开状态，回到步骤6，若是，进入步骤8；步骤8：机械手爪移动至放置位置；步骤9：机械手爪打开；步骤10：判断机械手爪是否打开成功，若否，回到步骤9，若是，回到步骤1。实现了产品的稳定夹取装载、搬运、卸货入库的自动化过程，提高生产效率，降低安全事故概率。

Description

一种容器智能搬运方法
技术领域
本发明属于智能机器人技术领域，尤其涉及一种容器智能搬运方法。
背景技术
大型企业工厂的材料货物搬运是工业生产中的重要一环。传统的工业搬运靠的是手动叉车进行货物搬运，存在着劳动效率低、安全隐患大等一系列问题。随着科学技术的不断发展，机器人技术的应用已经成为衡量一个国家制造业水平和科技发展水平的重要标志。生产智能化已经成为了工业生产中不可阻挡的趋势，如何高效率、自动化、智能化的完成生产、制造、搬运等一系列工作是人们一直所需要探索和研究的。
我国目前的制造业正在朝着智能化、高端化的方向发展，各种机器人已经应用到生产制造的各个场合，比如应用在生产线上的焊接机器人、喷涂机器人、装配机器人，应用在物流存储中的搬运机器人、打包机器人等。各类机器人技术的应用不仅可以有效节省劳动力、提高产品的质量和生产效率，而且保证了生产人员的人身安全，大大提高了工业生产自动化水平。
以目前现有的圆柱状容器搬运过程来说，主要是通过人力配合部分机械或者机器人实现，因此有必要研发出一个工业生产企业智能搬运产品解决方案，为制造行业的智慧工厂建设提供相应技术支持。
发明内容
本发明针对现有技术存在的不足，提供了一种容器智能搬运方法。
本发明的具体技术方案如下：
一种容器智能搬运方法，包括以下步骤：
步骤1：将机械手爪移至容器上方；
步骤2：拍摄一张图片；
步骤3：对图片的图像进行处理，获取容器位姿；
步骤4：坐标转换，得到容器在机器人坐标系下实际位姿参数；
步骤5：根据步骤4所获得的容器的实际位姿参数，机械手爪下降至所需高度；
步骤6：机械手爪闭合；
步骤7：判断机械手爪是否抓取成功，若否，机械手爪复位至打开状态，回到步骤6，若是，进入步骤8；
步骤8：机械手爪移动至放置位置；
步骤9：机械手爪打开；
步骤10：判断机械手爪是否打开成功，若否，回到步骤9，若是，回到步骤1。
作为优选的技术方案，所述机械手爪包括底板，所述底板上部设置滑槽，一移动杆可滑动地安装于所述滑槽内，所述移动杆的一端连接一用于驱动其滑动的电机驱动机构，移动杆的另一端连接第一机械杆和第二机械杆，其中第一机械杆与所述第二机械杆关于所述移动杆中心对称，所述第一机械杆与第三机械杆铰接，所述第二机械杆与第四机械杆铰接，所述第三机械杆与所述第四机械杆分别可转动地安装在所述底板上，所述第三机械杆与所述第四机械杆的尾部分别设置第一夹持部和第二夹持部。
作为优选的技术方案，所述智能机器人机械手爪工作过程中，采集工作电流信号，若工作电流信号过流，关闭电机电源。
作为优选的技术方案，所述电机驱动机构包括直流电机以及连杆机构，所述直流电机通过连杆机构驱动所述移动杆来回移动。
作为优选的技术方案，所述步骤3对图片的图像的处理包括以下步骤：
步骤301：相机的标定：在相机成像原理模型中建立图像坐标系、相机坐标系和世界坐标系；其中，
所述图像坐标系是二维坐标系，在图像描述中，以像素为单位计算和/或以实际物理长度为单位计算；
所述相机坐标系以光学镜头的光心点为坐标原点，相机坐标系的Z轴垂直于图像平面，相机坐标系的X、Y轴与所述图像坐标系的X、Y轴平行；
所述世界坐标系为任意设置的一个基准坐标系，以利于描述物体位置和计算的位置，选择机器人坐标系为世界坐标系；
图像坐标的像素坐标(u,v)与物理坐标(x,y)按照下式转换：
Figure RE-GDA0003317401810000031
或
Figure RE-GDA0003317401810000032
图像的物理坐标与相机坐标按照以下方法进行转换：
选中一个点W在相机坐标系的坐标值为(XC,YC,ZC)，其在图像的物理坐标系中映射点m的坐标为(x,y,z)，根据几何关系得出：
Figure RE-GDA0003317401810000033
其中f是工业相机的焦距，根据相似三角形原理得到坐标值z＝f，
由此将上式表达成齐次矩阵方程模型为：
Figure RE-GDA0003317401810000034
点W在世界坐标系(XW,YW,ZW)下的坐标值为(xw,yw,zw)，将点W的世界坐标系的坐标值转换到相机坐标系下坐标值(XC,YC,ZC)，将坐标变换公式用齐次方程式描述：
Figure RE-GDA0003317401810000041
其中R矩阵为旋转，T矩阵为平移矩阵，其中R|T是3*4的矩阵，
因此，图像中任意已知点像素坐标得到对应的世界坐标值为：
Figure RE-GDA0003317401810000042
其中，zC为常量，也是点W在相机坐标下的zC轴坐标值，
Figure RE-GDA0003317401810000043
步骤302：手眼系统标定：建立四个坐标系，分别是基础坐标系，机械手坐标系，相机坐标系，以及标定物坐标系；
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；baseHcal 与camHtool在械手移动过程中保持不变；
控制机器手从位置1移动到位置2时：
base＝baseHtool(1)*tool(1)
tool(1)＝inv(camHtool)*cam(1)
cam(1)＝camHcal(1)*obj
联合上面三个公式：
base＝baseHtool(1)*inv(camHtool)*camHcal(1)*obj
移动到机械手臂到位置2后：
base＝baseHtool(2)*inv(camHtool)*camHcal(2)*obj
由于base和obj是固定的，所以：
baseHtool(1)*inv(camHtool)*camHcal(1)＝baseHtool(2)*inv (camHtool)*camHcal(2)
其中camHcal可通过相机标定获取外参得到，baseHtool是已知的，一般机器人上可以读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
作为优选的技术方案，所述工业相机的感光芯片为CCD和/或CMOS。
作为优选的技术方案，所述工业相机的镜头是固定焦距12mm的镜头。
有益效果在于：
本发明针基于人工智能、计算机控制、智能移动机器人、视觉伺服等相关产品和先进技术，设计一套应用于圆柱状容器操作方法，通过智能机器人定位导航和图像识别，实现产品的稳定夹取装载、搬运、卸货入库的自动化过程，提高生产效率，降低安全事故概率，充分展现机器人技术在工业生产领域的应用及发展趋势。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1是本发明的智能搬运机器人协作系统的系统架构概念图。
图2是本发明的机械手爪结构示意图。
图3是本发明的工业相机成像原理图。
图4是本发明的坐标系示意图。
图5是本发明的坐标系转换原理示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
现在结合说明书附图对本发明做进一步的说明。
本发明实施例，请参考图1所示，一种容器智能搬运方法，通过视觉系统反馈容器的位姿信息，将不同位姿的容器搬运到指定的支架中，再由移动机器人搬运支架至储存库货架附近，通过机械手爪将圆柱状容器放置在货架中，完成对容器的连续搬运过程。对容器连续搬运系统控制流程如图1所示，首先，要对系统中的机器人、M1214-MP2相机镜头、MER-130-30UM工业相机和 OpenCV进行软件初始化；软件出发工业相机采集一幅圆柱状容器图像，经过图像处理获取容器的位姿参数；其次，应用得出的容器实际位姿自动规划搬运机器人机械手爪的运动路径，先将机器人末端移动到容器的正上方位置，调整机械手爪到容器的姿态角度，控制搬运机器人下降到容器的位置抓取，经过搬运机器人运行轨迹将抓取的圆柱状容器放置到设定的支架中；再次，机器人末端执行器(机械手爪)回到初始位置，装载支架的机器人按照设定的路径自动导航至储存库的货架附近，机器人末端执行器通过视觉识别支架中的圆柱状容器，抓取后放置在货架中进行存储；最后，机器人移动至生产线下一个货架附近，进行下一次容器搬运。
本发明实施例设计独立的机械手爪，将定制开发的手爪控制器与工业机器人的运动控制器进行电平通讯。通过对工业机器人的二次开发，设计基于此工业机器人的整体控制系统。应用图像传感器采集出圆柱状容器特征图像，经过图像处理后获得容器的位姿坐标，按照程序自动规划路径，将生产线上货架中的圆柱状容器搬运至放置在移动机器人上的特制支架中，移动机器人按照规划的路径实现对圆柱状容器的智能搬运。当移动机器人移动到设定位置时，再由工业机器人通过图像识别及程序控制，将圆柱状容器从支架中取出后放入指定的货架中进行入库存储。工业机器人可根据需要来搭建轨道进行位置移动。系统架构概念图如图2所示。
具体的，包括：PC机(计算机)、工业相机、工业机器人控制柜、工业机器人、手爪控制器、机械手爪和移动机器人。PC机通过串行通信接口RS232 与工业机器人控制柜进行交互通信，即发送控制指令给工业机器人控制柜，同时读取控制柜内部反馈信息；工业机器人控制柜驱动工业机器人本体执行相应的运动，并且通过RS232串口读取工业机器人各关节的力矩传感器、角度传感器和碰撞检测传感器等反馈回来的信息并传输到PC机上；手爪控制器通过控制柜内部的运动控制器预留的I/O端口接入控制柜中，PC机可以通过控制柜内的运动控制器发送给手爪控制指令，控制装卸手爪的开合状态，同时读取反馈机械手爪的开合信息；PC机通过USB与工业相机连接，应用软件触发采集高精度图片。移动机器人通过相匹配的调度系统实现移动路径的规划和导航。
本发明实施例中的工业机器人，采用新松机器人自动化股份有限公司生产的SRM120A型或SR120D型工业机器人，具有高刚性轻量手臂，强劲型手腕，可实现高负载高效作业，精准定位，工作性能稳定可靠，配备网络化控制系统，具有丰富的外部接口及扩展能力，易于集成。并且支持配套各类应用软件包，具有很好的二次开发性能。
在该工业机器人的基础上，加装机械手爪，用于抓取容器。机械手爪的机构示意图请参考图3所示，机械手爪包括底板1，所述底板1上部设置滑槽2，一移动杆3可滑动地安装于所述滑槽2内，所述移动杆3的一端连接一用于驱动其滑动的电机驱动机构(图中未示出)，移动杆3的另一端连接第一机械杆4 和第二机械杆5，其中第一机械杆4与所述第二机械杆5关于所述移动杆3中心对称，所述第一机械杆4与第三机械杆6铰接，所述第二机械杆5与第四机械杆7铰接，所述第三机械杆6与所述第四机械杆7分别通过螺栓10可转动地安装在所述底板1上，所述第三机械杆6与所述第四机械杆7的尾部分别设置第一夹持部8和第二夹持部9。
本发明实施例中，机械手爪采用双边联动机构来夹取容器，能够使重心始终保持在末端执行器(法兰)的中心轴线上，有利于容器在夹取移动过程中保持平稳。两个夹持部位的开合拟采用直流电机驱动连杆机构来控制，这不同于常见的气缸控制，直流电机驱动具有控制方便、噪声小、速度可调、安全和自锁力大等优点。可使用一台直流电机结合螺杆来驱动连杆机构，达到手爪的开合控制。可采用轻质合金材料来进行机械手爪的加工，保证手爪的机械强度。
机械手爪的控制方法主要是依据机械手爪的工作方式，用来驱动机械手爪电机，并采集机械手爪信号，同时接受机器人控制器指令和反馈机械手爪信息。具体来说，电机控制驱动器采用电位器调节输出端口OUT+与OUT-之间的电压差，用来调节螺杆的移动速度；用来控制机械手爪的开合的电机控制驱动器的方向控制端口，是通过24V转5V的电平转换器将控制中运动控制器的I/O信号光耦隔离转换成5V信号，方向控制端的下拉电阻R1使机械手爪一直保持在常开状态。机械手爪的控制器中有过流保护电路，能够自检测电机电流，如果电流过流将停止电机的驱动，起到保护驱动器内原件、直流电机或机械结构的作用。
在本发明实施例中，机械手爪的控制驱动器模块拟选用AQMD2410NS直流电机控制驱动器，信号转换模块使用光耦电平转换模块，外部电源使用24V 8A直流电源。AQMD2410NS直流电机驱动单元采用H桥的设计，可以通过电机速度调节端口输入模拟量，控制直流电机转速，控制器通过输入电机方向信号控制电机的转向。
也可以采用一个比较安全稳定的机械手爪控制驱动器，最好是能够融入机器人的控制柜中。使用机器人控制柜中相同的电源来节省成本，同时将机械手爪控制驱动器保护，缩短控制器间的通讯距离。对于直流电机的驱动方式应用 4个大功率MOS制作的H桥电路，可以实现电机正反转和调节电机速度；控制单元与电机驱动器之间设计成互锁电路提高安全性；机器人控制器与手爪控制器的通讯应用光电隔离电路，转化为各控制器相应的I/O反馈和指令信号，能够安全快速的传输。
机器人作为视觉引导系统的执行单元，而视觉系统部分则是补偿单元。视觉系统的任务是通过摄像机采集现场工作场景图片，对图片进行特征提取，通过内部算法计算出工件坐标系的偏差量，然后将数据传送给机器人，这些数据将指导机器人建立新的工件坐标系。整个系统的内部模拟信号的传递、机器人指令的传达等都通过总线系统来完成。
具体来说，本发明中的视觉引动系统的工作原理如下。
(1)工业相机的标定
目前摄像机标定算法较为成熟，特别在二维、三维视觉测量应用场合取得可靠的效果。工业相机成像原理是小孔成像，利用光学镜头将物像投影到感光芯片上，通过采集感光芯片信号得出数字图像。在使用工业相机之前需要对工业相机参数做标定，应用相机参数进行坐标变换，得出圆柱状容器的图像参数在设定坐标下的三维坐标参数。并通过设定坐标和机器人坐标之间的位置和姿态关系，得出此圆柱状容器在机器人坐标系下的三维坐标和姿态。通过得出的圆柱状容器位姿参数进行机器人运动轨迹的智能规划。
工业相机成像原理模型如下图3所示，在模型中设置图像坐标系、相机坐标系和世界坐标系，坐标系之间可以通过旋转和平移相互转化得出。
图像坐标系(u,v)是定义在图像上的二维平面坐标系，在图像描述中主要是以像素为单位计算，也可以使用实际的物理长度为单位计算。如图5所示，图像坐标系(u,v)的初始坐标为(u0,v0)，坐标轴方向如图所示；实际物理坐标系(x,y)的原点在图像物理尺寸的中心O点，相当于以像素单位的两轴最大值的中间值(u0,v0)，坐标轴方向和像素坐标轴方向一致，而且物理坐标系存在负值。
相机坐标系(XC,YC,ZC)是以光学镜头的光心点OC为坐标原点，其中坐标系的ZC轴(镜头光轴)垂直于图像平面，并且经过图像坐标系的中心O点，相机坐标系的XC、YC两轴分别平行于图像坐标系的x、y轴。外界点W在相机坐标系中的坐标值为(XC,YC,ZC)，在图像坐标系中的投影点m的坐标值为 (um,vm)或(xm,ym)。
世界坐标系(XW,YW,ZW)是用户任意设置的一个基准坐标系，以毫米为单位，一般设置在方便描述物体位置和计算的位置。为了方便描述圆柱状容器的位姿参数，本系统将世界坐标系选为机器人坐标系，同时减少两坐标系之间的变换计算。如图所示对点W的描述为(XW,YW,ZW)。
通过两个不同坐标系描述空间内任意一点的坐标值不同，将此点从一个坐标系的坐标值转换成另一个坐标系中来描述的映射关系成为坐标变换。坐标变换是一种复合变换，可通过多次对坐标系进行旋转和平移得到。将工业相机结合机器人的应用中，需要计算出图像坐标系与机器人坐标系之间的转换关系。
1)图像的像素坐标与物理坐标的变换
对图像坐标的应用主要是以像素坐标来描述的，但是有时需要像素坐标与物理坐标之间相互转化。如图中所示图像中像素坐标和物理坐标的几何关系，图像中任意一点的两坐标之间的变换关系如公式(3-2)所示。
Figure RE-GDA0003317401810000111
将公式(3-2)变换为齐次坐标矩阵来表达，为式(3-3)：
Figure RE-GDA0003317401810000112
2)图像的物理坐标与相机坐标的变换
如图所示点W在相机坐标系的坐标值为(XC,YC,ZC)，其在图像的物理坐标系中映射点m的坐标为(x,y,z)，根据几何关系得出公式(3-4)：
Figure RE-GDA0003317401810000113
其中f是工业相机的焦距，由相似三角形原理可知坐标值z＝f,将上式表达成齐次矩阵方程式(3-5)为：
Figure RE-GDA0003317401810000114
3)相机坐标与世界坐标的变换
在图中点W在世界坐标系(XW,YW,ZW)下的坐标值为(xw,yw,zw)，将点W 的世界坐标系的坐标值转换到相机坐标系下坐标值(XC,YC,ZC)，将坐标变换公式用齐次方程式描述，如公式(3-6)所示：
Figure RE-GDA0003317401810000115
其中R矩阵为旋转，T矩阵为平移矩阵，其中R|T是3*4的矩阵。则由以上方程式可得到图像中任意已知点像素坐标得到对应的世界坐标值：
Figure RE-GDA0003317401810000121
其中，zC为常量，也是点W在相机坐标下的zC轴坐标值，
Figure RE-GDA0003317401810000122
(2)手眼系统标定
结合应用的实际场合，采用Eye-in-Hand式手眼系统，即将相机安装于机器人的末端执行器上并随机器人一起运动的视觉系统。由于机器人带着摄像机一起运动，所以摄像机坐标系与机器人的世界坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人执行机构之间的相对位置关系保持不变。因此，对于Eye-in-Hand系统，手眼标定的目的是获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人末端法兰坐标系的变换关系。摄像机坐标系与机器人世界坐标系的不同位姿关系可以通过机器人末端法兰坐标系当前位姿状态和上述表型结果求得，一般采用的标定方法如下：调节机器人使摄像机处于不同位姿拍摄同一靶标，根据机器人的位姿和摄像机相对于靶标的外参数获得摄像机相对于机器人末端的变换参数。
在推导过程中，我们会用到四个坐标系，分别是基础坐标系，机械手坐标系，相机坐标系，以及标定物坐标系，如图4所示。
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；这两个转化关系在机械手移动过程中是不变的；camHcal可以由相机标定求出；baseHtool 可以由机器人系统中得出。
接下来控制机器手从位置1移动到位置2：
base＝baseHtool(1)*tool(1)
tool(1)＝inv(camHtool)*cam(1)
cam(1)＝camHcal(1)*obj
联合上面三个公式：
base＝baseHtool(1)*inv(camHtool)*camHcal(1)*obj
移动到机械手臂到位置2后：
base＝baseHtool(2)*inv(camHtool)*camHcal(2)*obj
因为base和obj是固定的，所以：
baseHtool(1)*inv(camHtool)*camHcal(1)＝baseHtool(2)*inv (camHtool)*camHcal(2)
其中camHcal可通过相机标定获取外参得到，baseHtool是已知的，一般机器人上可以读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，可以调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
(3)图像处理算法
图像处理算法是机器视觉应用中最重要的部分，而图像处理中最重要的是边缘检测算法。得到一幅效果较好的边缘图像对进一步的处理尤为重要，本设计用边缘检测算法效果最好Canny算法得出圆柱状容器的边缘图像，应用 Hough变换算法检测容器的姿态，并用Hu矩算法检测出容器的重心位置坐标。由于外界环境对拍摄图像的影响，将对传统的Canny算法进行自适应边缘检测的改进，实现在变化环境中也能实时的对获取图片处理出较好的边缘图像。最终将图像处理出的容器的图像位姿参数，经图像坐标系到机器人坐标系的坐标变换得到容器在机器人坐标系下实际位姿参数，为搬运机器人实现智能搬运提供反馈。
(4)工业相机选型
工业相机的感光芯片分为CCD和CMOS。CCD传感器具有性能稳定、图像畸变小、寿命长等优点。
本发明中，移动机器人采用海康机器人研制出的潜伏式移动机器人Q2L-300A，机器人采用四轮四驱底盘设计，搭载的激光雷达、惯导和超声传感器融合的SLAM技术，能在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种容器智能搬运方法，其特征在于：包括以下步骤：
步骤1：将机械手爪移至容器上方；
步骤2：拍摄一张图片；
步骤3：对图片的图像进行处理，获取容器位姿；
步骤4：坐标转换，得到容器在机器人坐标系下实际位姿参数；
步骤5：根据步骤4所获得的容器的实际位姿参数，机械手爪下降至所需高度；
步骤6：机械手爪闭合；
步骤7：判断机械手爪是否抓取成功，若否，机械手爪复位至打开状态，回到步骤6，若是，进入步骤8；
步骤8：机械手爪移动至放置位置；
步骤9：机械手爪打开；
步骤10：判断机械手爪是否打开成功，若否，回到步骤9，若是，回到步骤1。
2.根据权利要求1所述的一种容器智能搬运方法，其特征在于：所述机械手爪包括底板，所述底板上部设置滑槽，一移动杆可滑动地安装于所述滑槽内，所述移动杆的一端连接一用于驱动其滑动的电机驱动机构，移动杆的另一端连接第一机械杆和第二机械杆，其中第一机械杆与所述第二机械杆关于所述移动杆中心对称，所述第一机械杆与第三机械杆铰接，所述第二机械杆与第四机械杆铰接，所述第三机械杆与所述第四机械杆分别可转动地安装在所述底板上，所述第三机械杆与所述第四机械杆的尾部分别设置第一夹持部和第二夹持部。
3.根据权利要求2所述的一种容器智能搬运方法，其特征在于：所述智能机器人机械手爪工作过程中，采集工作电流信号，若工作电流信号过流，关闭电机电源。
4.根据权利要求2所述的一种容器智能搬运方法，其特征在于：所述电机驱动机构包括直流电机以及连杆机构，所述直流电机通过连杆机构驱动所述移动杆来回移动。
5.根据权利要求1所述的一种容器智能搬运方法，其特征在于：所述步骤3对图片的图像的处理包括以下步骤：
步骤301：相机的标定：在相机成像原理模型中建立图像坐标系、相机坐标系和世界坐标系；其中，
所述图像坐标系是二维坐标系，在图像描述中，以像素为单位计算和/或以实际物理长度为单位计算；
所述相机坐标系以光学镜头的光心点为坐标原点，相机坐标系的Z轴垂直于图像平面，相机坐标系的X、Y轴与所述图像坐标系的X、Y轴平行；
所述世界坐标系为任意设置的一个基准坐标系，以利于描述物体位置和计算的位置，选择机器人坐标系为世界坐标系；
图像坐标的像素坐标(u,v)与物理坐标(x,y)按照下式转换：
Figure FDA0003215673920000021
或
Figure FDA0003215673920000022
图像的物理坐标与相机坐标按照以下方法进行转换：
选中一个点W在相机坐标系的坐标值为(XC,YC,ZC)，其在图像的物理坐标系中映射点m的坐标为(x,y,z)，根据几何关系得出：
Figure FDA0003215673920000023
其中f是工业相机的焦距，根据相似三角形原理得到坐标值z＝f，
由此将上式表达成齐次矩阵方程模型为：
Figure FDA0003215673920000031
点W在世界坐标系(XW,YW,ZW)下的坐标值为(xw,yw,zw)，将点W的世界坐标系的坐标值转换到相机坐标系下坐标值(XC,YC,ZC)，将坐标变换公式用齐次方程式描述：
Figure FDA0003215673920000032
其中R矩阵为旋转，T矩阵为平移矩阵，其中R|T是3*4的矩阵，
因此，图像中任意已知点像素坐标得到对应的世界坐标值为：
Figure FDA0003215673920000033
其中，zC为常量，也是点W在相机坐标下的zC轴坐标值，
Figure FDA0003215673920000034
步骤302：手眼系统标定：建立四个坐标系，分别是基础坐标系，机械手坐标系，相机坐标系，以及标定物坐标系；
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；baseHcal与camHtool在械手移动过程中保持不变；
控制机器手从位置1移动到位置2时：
base＝baseHtool(1)*tool(1)
tool(1)＝inv(camHtool)*cam(1)
cam(1)＝camHcal(1)*obj
联合上面三个公式：
base＝baseHtool(1)*inv(camHtool)*camHcal(1)*obj
移动到机械手臂到位置2后：
base＝baseHtool(2)*inv(camHtool)*camHcal(2)*obj
由于base和obj是固定的，所以：
baseHtool(1)*inv(camHtool)*camHcal(1)＝baseHtool(2)*inv(camHtool)*camHcal(2)
其中camHcal可通过相机标定获取外参得到，baseHtool是已知的，一般机器人上可以读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
6.根据权利要求5所述的一种容器智能搬运方法，其特征在于：所述工业相机的感光芯片为CCD和/或CMOS。
7.根据权利要求5所述的一种容器智能搬运方法，其特征在于：所述工业相机的镜头是固定焦距12mm的镜头。
CN202110942605.2A 2021-08-17 2021-08-17 一种容器智能搬运方法 Pending CN113716323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110942605.2A CN113716323A (zh) 2021-08-17 2021-08-17 一种容器智能搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110942605.2A CN113716323A (zh) 2021-08-17 2021-08-17 一种容器智能搬运方法

Publications (1)

Publication Number Publication Date
CN113716323A true CN113716323A (zh) 2021-11-30

Family

ID=78676056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110942605.2A Pending CN113716323A (zh) 2021-08-17 2021-08-17 一种容器智能搬运方法

Country Status (1)

Country Link
CN (1) CN113716323A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002018754A (ja) * 2000-07-10 2002-01-22 Toyota Central Res & Dev Lab Inc ロボット装置及びその制御方法
JPWO2013027251A1 (ja) * 2011-08-19 2015-03-05 株式会社安川電機 ロボットシステム、ロボット制御装置、ロボットハンド及びロボットの制御方法
CN109018591A (zh) * 2018-08-09 2018-12-18 沈阳建筑大学 一种基于计算机视觉的自动贴标定位方法
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110660104A (zh) * 2019-09-29 2020-01-07 珠海格力电器股份有限公司 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN211662055U (zh) * 2019-12-04 2020-10-13 贵州西南工具(集团)有限公司 一种防滑机械手
CN112936275A (zh) * 2021-02-05 2021-06-11 华南理工大学 一种基于深度相机的机械臂抓取系统和控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002018754A (ja) * 2000-07-10 2002-01-22 Toyota Central Res & Dev Lab Inc ロボット装置及びその制御方法
JPWO2013027251A1 (ja) * 2011-08-19 2015-03-05 株式会社安川電機 ロボットシステム、ロボット制御装置、ロボットハンド及びロボットの制御方法
CN109018591A (zh) * 2018-08-09 2018-12-18 沈阳建筑大学 一种基于计算机视觉的自动贴标定位方法
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110660104A (zh) * 2019-09-29 2020-01-07 珠海格力电器股份有限公司 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN211662055U (zh) * 2019-12-04 2020-10-13 贵州西南工具(集团)有限公司 一种防滑机械手
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN112936275A (zh) * 2021-02-05 2021-06-11 华南理工大学 一种基于深度相机的机械臂抓取系统和控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤一郎: "《机械手图册》", 30 September 1979, 上海科学技术出版社 *

Similar Documents

Publication Publication Date Title
CN110842928B (zh) 一种复合机器人视觉引导定位方法
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
CN1319702C (zh) 移动机械手系统
CN113706628A (zh) 一种智能搬运机器人协作系统及其对特征图像的处理方法
CN111687885B (zh) 一种用于无序零件装配的智能双臂机器人系统及视觉引导方法
US11945106B2 (en) Shared dense network with robot task-specific heads
CN111203849A (zh) 一种移动机器人抓取作业系统及控制方法
CN111421528A (zh) 一种工业机器人的自动化控制系统
CN111203880B (zh) 基于数据驱动的图像视觉伺服控制系统及方法
CN111823223A (zh) 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
CN112621746A (zh) 带死区的pid控制方法及机械臂视觉伺服抓取系统
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN113716323A (zh) 一种容器智能搬运方法
CN110480685A (zh) 一种农用车轮自动加工生产线视觉机械手
Wang et al. Design of multi-robot cooperative transport system
Zhou et al. Experimental eye-in-hand calibration for industrial mobile manipulators
CN104827470B (zh) 一种基于gps与双目视觉定位的移动机械手控制系统
WO2022115816A1 (en) Fusing a static large field of view and high fidelity moveable sensors for a robot platform
Yang et al. Design and research of industrial robot control system based on machine vision
CN110732814A (zh) 一种基于视觉技术的智能焊接机器人
CN112123329A (zh) 一种机器人3d视觉手眼标定方法
Xu et al. A new image-based visual servoing method with rotational compensation
CN218560116U (zh) 智能物流分拣机器人
US20240217091A1 (en) Shared Dense Network with Robot Task-Specific Heads
CN220408799U (zh) 一种半导体制备晶圆输送机械手用机械视觉检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211130

RJ01 Rejection of invention patent application after publication