CN113706628A - 一种智能搬运机器人协作系统及其对特征图像的处理方法 - Google Patents
一种智能搬运机器人协作系统及其对特征图像的处理方法 Download PDFInfo
- Publication number
- CN113706628A CN113706628A CN202110943660.3A CN202110943660A CN113706628A CN 113706628 A CN113706628 A CN 113706628A CN 202110943660 A CN202110943660 A CN 202110943660A CN 113706628 A CN113706628 A CN 113706628A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- industrial robot
- robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000009776 industrial production Methods 0.000 abstract description 6
- 238000003672 processing method Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 229910001234 light alloy Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本发明公开了一种智能搬运机器人协作系统及其对特征图像的处理方法，包括计算机、工业机器人、移动机器人、工业机器人控制柜、相机，所述计算机通过串行通信接口与所述工业机器人控制柜进行交互通信，用于发送控制指令给工业机器人控制柜，同时读取所述工业机器人控制柜的内部反馈信息；所述工业机器人控制柜驱动工业机器人本体执行相应的运动，并且读取工业机器人各关节的传感器反馈回来的信息并传输到计算机上。本系统着重研究机器视觉技术应用到工业生产搬运中，针对满足要求的工业机器人进行运动控制。设计独立的搬运手爪，将定制开发的手爪控制器与工业机器人的运动控制器进行电平通讯。
Description
技术领域
本发明属于智能机器人技术领域，尤其涉及一种智能搬运机器人协作系统及其对特征图像的处理方法。
背景技术
大型企业工厂的材料货物搬运是工业生产中的重要一环。传统的工业搬运靠的是手动叉车进行货物搬运，存在着劳动效率低、安全隐患大等一系列问题。随着科学技术的不断发展，机器人技术的应用已经成为衡量一个国家制造业水平和科技发展水平的重要标志。生产智能化已经成为了工业生产中不可阻挡的趋势，如何高效率、自动化、智能化的完成生产、制造、搬运等一系列工作是人们一直所需要探索和研究的。
我国目前的制造业正在朝着智能化、高端化的方向发展，各种机器人已经应用到生产制造的各个场合，比如应用在生产线上的焊接机器人、喷涂机器人、装配机器人，应用在物流存储中的搬运机器人、打包机器人等。各类机器人技术的应用不仅可以有效节省劳动力、提高产品的质量和生产效率，而且保证了生产人员的人身安全，大大提高了工业生产自动化水平。
以目前现有的圆柱状容器搬运过程来说，主要是通过人力配合部分机械或者机器人实现，因此有必要研发出一个工业生产企业智能搬运产品解决方案，为制造行业的智慧工厂建设提供相应技术支持。
发明内容
本发明针对现有技术存在的不足，提供了一种智能搬运机器人协作系统及其对特征图像的处理方法。
本发明的具体技术方案如下：
一种智能搬运机器人协作系统，包括计算机、工业机器人、移动机器人、工业机器人控制柜、相机，其中，
所述工业机器人安装在所述移动机器人上，所述计算机通过串行通信接口与所述工业机器人控制柜进行交互通信，用于发送控制指令给工业机器人控制柜，同时读取所述工业机器人控制柜的内部反馈信息；所述工业机器人控制柜驱动工业机器人本体执行相应的运动，并且读取工业机器人各关节的传感器反馈回来的信息并传输到计算机上；所述工业机器人具有一机械手爪，所述机械手爪通过手爪控制器控制，其中所述手爪控制器接入所述工业机器人控制柜中，所述计算机通过所述工业机器人控制柜向手爪控制器发出控制信号，所述移动机器人通过相匹配的调度系统实现移动路径的规划和导航；所述相机用于采集搬运物品的特征图像，并与所述计算机信号连接，所述计算机对特征图像进行处理获得搬运物品的位姿坐标。
作为优选的技术方案，所述机械手爪包括底板，所述底板上部设置滑槽，一移动杆滑动地安装于所述滑槽内，所述移动杆的一端连接一用于驱动其滑动的电机驱动机构，移动杆的另一端连接第一机械杆和第二机械杆，其中第一机械杆与所述第二机械杆关于所述移动杆中心对称，所述第一机械杆与第三机械杆铰接，所述第二机械杆与第四机械杆铰接，所述第三机械杆与所述第四机械杆分别转动地安装在所述底板上，所述第三机械杆与所述第四机械杆的尾部分别设置第一夹持部和第二夹持部。
作为优选的技术方案，所述机械手爪工作过程中，采集工作电流信号，若工作电流信号过流，关闭电机电源。
作为优选的技术方案，所述电机驱动机构包括直流电机以及连杆机构，所述直流电机通过连杆机构驱动所述移动杆来回移动。
作为优选的技术方案，所述计算机对特征图像的处理包括以下步骤：
步骤1：相机的标定：在相机成像原理模型中建立图像坐标系、相机坐标系和世界坐标系；其中，
所述图像坐标系是二维坐标系，在图像描述中，以像素为单位计算和/或以实际物理长度为单位计算；
所述相机坐标系以光学镜头的光心点为坐标原点，相机坐标系的Z轴垂直于图像平面，相机坐标系的X、Y轴与所述图像坐标系的X、Y轴平行；
所述世界坐标系为任意设置的一个基准坐标系，以利于描述物体位置和计算的位置，选择机器人坐标系为世界坐标系；
图像坐标的像素坐标（u,v）与物理坐标（x,y）按照下式转换：
或
图像的物理坐标与相机坐标按照以下方法进行转换：
选中一个点W在相机坐标系的坐标值为（XC,YC,ZC），其在图像的物理坐标系中映射点m的坐标为（x,y,z），根据几何关系得出：
其中f是相机的焦距，根据相似三角形原理得到坐标值z=f，
由此将上式表达成齐次矩阵方程模型为：
点W在世界坐标系（X W ,Y W ,Z W ）下的坐标值为（x w ,y w ,z w ），将点W的世界坐标系的坐标值转换到相机坐标系下坐标值（X C ,Y C ,Z C ），将坐标变换公式用齐次方程式描述：
其中R矩阵为旋转，T矩阵为平移矩阵，其中R|T是3*4的矩阵，
因此，图像中任意已知点像素坐标得到对应的世界坐标值为：
其中，z C 为常量，也是点W在相机坐标下的z C 轴坐标值，
；
步骤2：手眼系统标定：建立四个坐标系，分别是基础坐标系，机械手坐标系，相机坐标系，以及标定物坐标系；
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；baseHcal与camHtool在械手移动过程中保持不变；
控制机器手从位置 1 移动到位置 2时：
base = baseHtool （1）* tool（1）
tool（1） = inv（camHtool）*cam（1）
cam（1） = camHcal（1）*obj
联合上面三个公式：
base = baseHtool （1）* inv（camHtool）* camHcal（1）*obj
移动到机械手臂到位置2后：
base = baseHtool （2）* inv（camHtool）* camHcal（2）*obj
由于base和obj是固定的，所以：
baseHtool （1）* inv（camHtool）* camHcal（1）=baseHtool （2）* inv（camHtool）* camHcal（2）
其中camHcal通过相机标定获取外参得到， baseHtool是已知的，通过机器人上读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵；
步骤3：图像处理：应用Hough变换算法检测物品的姿态，并用Hu矩算法检测出物品的重心位置坐标，最终将图像处理出的物品的图像位姿参数，经坐标变换得到物品在机器人坐标系下实际位姿参数。
作为优选的技术方案，所述相机的感光芯片为CCD和/或CMOS。
作为优选的技术方案，所述相机的镜头是固定焦距12mm的镜头。
有益效果在于：
本发明针对当前智能制造的企业发展需求，以建设智慧化生产工厂为基础，以经济实用、适当超前为基本定位，基于人工智能、计算机控制、智能移动机器人、视觉伺服等相关产品和先进技术，设计一套应用于圆柱状容器搬运放取操作的智能机器人协作系统，通过智能机器人定位导航和图像识别，实现产品的稳定夹取装载、搬运、卸货入库的自动化过程，提高生产效率，降低安全事故概率，充分展现机器人技术在工业生产领域的应用及发展趋势。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1 是本发明的智能搬运机器人协作系统的系统架构概念图。
图2是本发明的机械手爪结构示意图。
图3 是本发明的相机成像原理图。
图4 是本发明的坐标系示意图。
图中，1为底板，2为滑槽，3为移动杆，4为第一机械杆，5为第二机械杆，6为第三机械杆，7为第四机械杆，8为第一夹持部，9为第二夹持部，10为螺栓。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
现在结合说明书附图对本发明做进一步的说明。
本发明实施例，一种智能搬运机器人协作系统，设计独立的机械手爪，将定制开发的手爪控制器与工业机器人的运动控制器进行电平通讯。通过对工业机器人的二次开发，设计基于此工业机器人的整体控制系统。应用图像传感器采集出圆柱状容器特征图像，经过图像处理后获得容器的位姿坐标，按照程序自动规划路径，将生产线上货架中的圆柱状容器搬运至放置在移动机器人上的特制支架中，移动机器人按照规划的路径实现对圆柱状容器的智能搬运。当移动机器人移动到设定位置时，再由工业机器人通过图像识别及程序控制，将圆柱状容器从支架中取出后放入指定的货架中进行入库存储。工业机器人可根据需要来搭建轨道进行位置移动。系统架构概念图如图1所示。
具体的，包括：PC机（计算机）、相机、工业机器人控制柜、工业机器人、手爪控制器、机械手爪和移动机器人。PC机通过串行通信接口RS232与工业机器人控制柜进行交互通信，即发送控制指令给工业机器人控制柜，同时读取控制柜内部反馈信息；工业机器人控制柜驱动工业机器人本体执行相应的运动，并且通过RS232串口读取工业机器人各关节的力矩传感器、角度传感器和碰撞检测传感器等反馈回来的信息并传输到PC机上；手爪控制器通过控制柜内部的运动控制器预留的I/O端口接入控制柜中，PC机可以通过控制柜内的运动控制器发送给手爪控制指令，控制装卸手爪的开合状态，同时读取反馈机械手爪的开合信息；PC机通过USB与相机连接，应用软件触发采集高精度图片。移动机器人通过相匹配的调度系统实现移动路径的规划和导航。
本发明实施例中的工业机器人，采用新松机器人自动化股份有限公司生产的SRM120A型或SR120D型工业机器人，具有高刚性轻量手臂，强劲型手腕，可实现高负载高效作业，精准定位，工作性能稳定可靠，配备网络化控制系统，具有丰富的外部接口及扩展能力，易于集成。并且支持配套各类应用软件包，具有很好的二次开发性能。
在该工业机器人的基础上，加装机械手爪，用于抓取容器。机械手爪的机构示意图请参考图2所示，机械手爪包括底板1，所述底板1上部设置滑槽2，一移动杆3滑动地安装于所述滑槽2内，所述移动杆3的一端连接一用于驱动其滑动的电机驱动机构（图中未示出），移动杆3的另一端连接第一机械杆4和第二机械杆5，其中第一机械杆4与所述第二机械杆5关于所述移动杆3中心对称，所述第一机械杆4与第三机械杆6铰接，所述第二机械杆5与第四机械杆7铰接，所述第三机械杆6与所述第四机械杆7分别通过螺栓10转动地安装在所述底板1上，所述第三机械杆5与所述第四机械杆7的尾部分别设置第一夹持部8和第二夹持部9。
本发明实施例中，机械手爪采用双边联动机构来夹取容器，能够使重心时钟保持在末端执行器（法兰）的轴线上，有利于容器在夹取移动过程中保持平稳。两个夹持部位的开合拟采用直流电机驱动连杆机构来控制，这不同于常见的气缸控制，直流电机驱动具有控制方便、噪声小、速度可调、安全和自锁力大等优点。可使用一台直流电机结合螺杆来驱动连杆机构，达到手爪的开合控制。可采用轻质合金材料来进行机械手爪的加工，保证手爪的机械强度。
机械手爪的控制方法主要是依据机械手爪的工作方式，用来驱动机械手爪电机，并采集机械手爪信号，同时接受机器人控制器指令和反馈机械手爪信息。具体来说，电机控制驱动器采用电位器调节输出端口OUT+与OUT-之间的电压差，用来调节螺杆的移动速度；用来控制机械手爪的开合的电机控制驱动器的方向控制端口，是通过24V转5V的电平转换器将控制中运动控制器的I/O信号光耦隔离转换成5V信号，方向控制端的下拉电阻R1是使机械手爪一直保持在常开状态。机械手爪的控制器中有过流保护电路，能够自检测电机电流，如果电流过流将停止电机的驱动，起到保护驱动器内原件、直流电机或机械结构的作用。
在本发明实施例中，机械手爪的控制驱动器模块拟选用AQMD2410NS直流电机控制驱动器，信号转换模块使用光耦电平转换模块，外部电源使用24V 8A直流电源。AQMD2410NS直流电机驱动单元采用H桥的设计，可以通过电机速度调节端口输入模拟量，控制直流电机转速，控制器通过输入电机方向信号控制电机的转向。
也可以采用一个比较安全稳定的机械手爪控制驱动器，最好是能够融入机器人的控制柜中。使用机器人控制柜中相同的电源来节省成本，同时将机械手爪控制驱动器保护，缩短控制器间的通讯距离。对于直流电机的驱动方式应用4个大功率MOS制作的H桥电路，可以实现电机正反转和调节电机速度；控制单元与电机驱动器之间设计成互锁电路提高安全性；机器人控制器与手爪控制器的通讯应用光电隔离电路，转化为个控制器相应的I/O反馈和指令信号，能够安全快速的传输。
机器人作为视觉引导系统的执行单元，而视觉系统部分则是补偿单元。视觉系统的任务是通过摄像机采集现场工作场景图片，对图片进行特征提取，通过内部算法计算出工件坐标系的偏差量，然后将数据传送给机器人，这些数据将指导机器人建立新的工件坐标系。整个系统的内部模拟信号的传递、机器人指令的传达等都通过总线系统来完成。
具体来说，本发明具体是按照以下方法步骤实现的。
（1）相机的标定
目前摄像机标定算法较为成熟，特别在二维、三维视觉测量应用场合取得可靠的效果。相机成像原理是小孔成像，利用光学镜头将物像投影到感光芯片上，通过采集感光芯片信号得出数字图像。在使用相机之前需要对相机参数做标定，应用相机参数进行坐标变换，得出圆柱状容器的图像参数在设定坐标下的三维坐标参数。并通过设定坐标和机器人坐标之间的位置和姿态关系，得出此圆柱状容器在机器人坐标系下的三维坐标和姿态。通过得出的圆柱状容器位姿参数进行机器人运动轨迹的智能规划。
相机成像原理模型如下图3所示，在模型中设置图像坐标系、相机坐标系和世界坐标系，坐标系之间可以通过旋转和平移相互转化得出。
图像坐标系（u,v）是定义在图像上的二维平面坐标系，在图像描述中主要是以像素为单位计算，也可以使用实际的物理长度为单位计算。如图3所示，图像坐标系（u,v）的初始坐标为（u 0,v 0），坐标轴方向如图所示；实际物理坐标系（x,y）的原点在图像物理尺寸的中心O点，相当于以像素单位的两轴最大值的中间值（u 0,v 0），坐标轴方向和像素坐标轴方向一致，而且物理坐标系存在负值。
相机坐标系（X C ,Y C ,Z C ）是以光学镜头的光心点O C 为坐标原点，其中坐标系的Z C 轴（镜头光轴）垂直于图像平面，并且经过图像坐标系的中心O点，相机坐标系的X C 、Y C 两轴分别平行于图像坐标系的x、y轴。外界点W在相机坐标系中的坐标值为（X C ,Y C ,Z C ），在图像坐标系中的投影点m的坐标值为（u m ,v m ）或（x m ,y m ）。
世界坐标系（X W ,Y W ,Z W ）是用户任意设置的一个基准坐标系，以毫米为单位，一般设置在方便描述物体位置和计算的位置。为了方便描述圆柱状容器的位姿参数，本系统将世界坐标系选为机器人坐标系，同时减少两坐标系之间的变换计算。如图所示对点W的描述为（X W ,Y W ,Z W ）。
通过两个不同坐标系描述空间内任意一点的坐标值不同，将此点从一个坐标系的坐标值转换成另一个坐标系中来描述的映射关系成为坐标变换。坐标变换是一种复合变换，可通过多次对坐标系进行旋转和平移得到。将相机结合机器人的应用中，需要计算出图像坐标系与机器人坐标系之间的转换关系。
1）图像的像素坐标与物理坐标的变换
对图像坐标的应用主要是以像素坐标来描述的，但是有时需要像素坐标与物理坐标之间相互转化。如图中所示图像中像素坐标和物理坐标的几何关系，图像中任意一点的两坐标之间的变换关系如公式（3-2）所示。
将公式（3-2）变换为齐次坐标矩阵来表达，为式（3-3）：
2）图像的物理坐标与相机坐标的变换
如图所示点W在相机坐标系的坐标值为（X C ,Y C ,Z C ），其在图像的物理坐标系中映射点m的坐标为（x,y,z），根据几何关系得出公式（3-4）：
其中f是相机的焦距，由相似三角形原理可知坐标值z=f,将上式表达成齐次矩阵方程式（3-5）为：
3）相机坐标与世界坐标的变换
在图中点W在世界坐标系（X W ,Y W ,Z W ）下的坐标值为（x w ,y w ,z w ），将点W的世界坐标系的坐标值转换到相机坐标系下坐标值（X C ,Y C ,Z C ），将坐标变换公式用齐次方程式描述，如公式（3-6）所示：
其中R矩阵为旋转，T矩阵为平移矩阵，其中R|T是3*4的矩阵。则由以上方程式可得到图像中任意已知点像素坐标得到对应的世界坐标值：
其中，z C 为常量，也是点W在相机坐标下的z C 轴坐标值，
。
（2）手眼系统标定
结合应用的实际场合，采用Eye-in-Hand式手眼系统，即将相机安装于机器人的末端执行器上并随机器人一起运动的视觉系统。由于机器人带着摄像机一起运动，所以摄像机坐标系与机器人的世界坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人执行机构之间的相对位置关系保持不变。因此，对于Eye-in-Hand系统，手眼标定的目的是获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人末端法兰坐标系的变换关系。摄像机坐标系与机器人世界坐标系的不同位姿关系可以通过机器人末端法兰坐标系当前位姿状态和上述表型结果求得，一般采用的标定方法如下：调节机器人使摄像机处于不同位姿拍摄同一靶标，根据机器人的位姿和摄像机相对于靶标的外参数获得摄像机相对于机器人末端的变换参数。
在推导过程中，我们会用到四个坐标系，分别是基础坐标系，机械手坐标系，相机坐标系，以及标定物坐标系，如图4所示。
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；这两个转化关系在机械手移动过程中是不变的；camHcal可以由相机标定求出；baseHtool可以由机器人系统中得出。
接下来控制机器手从位置 1 移动到位置 2：
base = baseHtool （1）* tool（1）
tool（1） = inv（camHtool）*cam（1）
cam（1） = camHcal（1）*obj
联合上面三个公式：
base = baseHtool （1）* inv（camHtool）* camHcal（1）*obj
移动到机械手臂到位置2后：
base = baseHtool （2）* inv（camHtool）* camHcal（2）*obj
因为base和obj是固定的，所以：
baseHtool （1）* inv（camHtool）* camHcal（1）=baseHtool （2）* inv（camHtool）* camHcal（2）
其中camHcal通过相机标定获取外参得到， baseHtool是已知的，通过机器人上读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，可以调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
（3）图像处理算法
图像处理算法是机器视觉应用中最重要的部分，而图像处理中最重要的是边缘检测算法。得到一幅效果较好的边缘图像对进一步的处理尤为重要，本设计用边缘检测算法效果最好Canny算法得出圆柱状容器的边缘图像，应用Hough变换算法检测容器的姿态，并用Hu矩算法检测出容器的重心位置坐标。由于外界环境对拍摄图像的影响，将对传统的Canny算法进行自适应边缘检测的改进，实现在变化环境中也能实时的对获取图片处理出较好的边缘图像。最终将图像处理出的容器的图像位姿参数，经图像坐标系到机器人坐标系的坐标变换得到容器在机器人坐标系下实际位姿参数，为搬运机器人实现智能搬运提供反馈。
（4）相机选型
相机的感光芯片分为CCD和CMOS。CCD传感器具有性能稳定、图像畸变小、寿命长等优点。
本发明中，移动机器人采用海康机器人研制出的潜伏式移动机器人Q2L-300A，机器人采用四轮四驱底盘设计，搭载的激光雷达、惯导和超声传感器融合的SLAM技术，能在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (7)
1.一种智能搬运机器人协作系统，其特征在于：包括计算机、工业机器人、移动机器人、工业机器人控制柜、相机，其中，
所述计算机通过串行通信接口与所述工业机器人控制柜进行交互通信，用于发送控制指令给工业机器人控制柜，同时读取所述工业机器人控制柜的内部反馈信息；所述工业机器人控制柜驱动工业机器人本体执行相应的运动，并且读取工业机器人各关节的传感器反馈回来的信息并传输到计算机上；所述工业机器人具有一机械手爪，所述机械手爪通过手爪控制器控制，其中所述手爪控制器接入所述工业机器人控制柜中，所述计算机通过所述工业机器人控制柜向手爪控制器发出控制信号，所述移动机器人通过相匹配的调度系统实现移动路径的规划和导航；所述相机用于采集搬运物品的特征图像，并与所述计算机信号连接，所述计算机对特征图像进行处理获得搬运物品的位姿坐标。
2.根据权利要求1所述的一种智能搬运机器人协作系统，其特征在于：所述机械手爪包括底板，所述底板上部设置滑槽，一移动杆滑动地安装于所述滑槽内，所述移动杆的一端连接一用于驱动其滑动的电机驱动机构，移动杆的另一端连接第一机械杆和第二机械杆，其中第一机械杆与所述第二机械杆关于所述移动杆中心对称，所述第一机械杆与第三机械杆铰接，所述第二机械杆与第四机械杆铰接，所述第三机械杆与所述第四机械杆分别转动地安装在所述底板上，所述第三机械杆与所述第四机械杆的尾部分别设置第一夹持部和第二夹持部。
3.根据权利要求2所述的一种智能搬运机器人协作系统，其特征在于：所述机械手爪工作过程中，采集工作电流信号，若工作电流信号过流，关闭电机电源。
4.根据权利要求2所述的一种智能搬运机器人协作系统，其特征在于：所述电机驱动机构包括直流电机以及连杆机构，所述直流电机通过连杆机构驱动所述移动杆来回移动。
5.根据权利要求1-4任一项所述的一种智能搬运机器人协作系统的计算机对特征图像的处理方法，其特征在于：包括以下步骤：
步骤1：相机的标定：在相机成像原理模型中建立图像坐标系、相机坐标系和世界坐标系；其中，
所述图像坐标系是二维坐标系，在图像描述中，以像素为单位计算和/或以实际物理长度为单位计算；
所述相机坐标系以光学镜头的光心点为坐标原点，相机坐标系的Z轴垂直于图像平面，相机坐标系的X、Y轴与所述图像坐标系的X、Y轴平行；
所述世界坐标系为任意设置的一个基准坐标系，以利于描述物体位置和计算的位置，选择机器人坐标系为世界坐标系；
图像坐标的像素坐标（u,v）与物理坐标（x,y）按照下式转换：
或
其中，
，
为图像坐标系（u, v）的初始坐标；
图像的物理坐标与相机坐标按照以下方法进行转换：
选中一个点W在相机坐标系的坐标值为（XC,YC,ZC），其在图像的物理坐标系中映射点m的坐标为（x,y,z），根据几何关系得出：
其中f是相机的焦距，根据相似三角形原理得到坐标值z=f，
由此将上式表达成齐次矩阵方程模型为：
点W在世界坐标系（X W ,Y W ,Z W ）下的坐标值为（x w ,y w ,z w ），将点W的世界坐标系的坐标值转换到相机坐标系下坐标值（X C ,Y C ,Z C ），将坐标变换公式用齐次方程式描述：
其中R为旋转矩阵，T为平移矩阵，因此，图像中任意已知点像素坐标得到对应的世界坐标值为：
其中，z C 为常量，也是点W在相机坐标下的z C 轴坐标值，
；
步骤2：手眼系统标定：建立四个坐标系，分别是基础坐标系（base），机械手坐标系（tool），相机坐标系（cam），以及标定物坐标系（obj），inv（）表示对矩阵求逆；
其中baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到机械手坐标系的转化关系；baseHcal与camHtool在械手移动过程中保持不变；
控制机器手从位置 1 移动到位置 2时：
base = baseHtool （1）* tool（1）
tool（1） = inv（camHtool）*cam（1）
cam（1） = camHcal（1）*obj
联合上面三个公式：
base = baseHtool （1）* inv（camHtool）* camHcal（1）*obj
移动到机械手臂到位置2后：
base = baseHtool （2）* inv（camHtool）* camHcal（2）*obj
由于base和obj是固定的，所以：
baseHtool （1）* inv（camHtool）* camHcal（1）=baseHtool （2）* inv（camHtool）*camHcal（2）
其中camHcal通过相机标定获取外参得到， baseHtool表示基础坐标系到机械手坐标系的转换关系，是已知的，通过机器人读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵；
步骤3：图像处理：应用Hough变换算法检测物品的姿态，并用Hu矩算法检测出物品的重心位置坐标，最终将图像处理出的物品的图像位姿参数，经坐标变换得到物品在机器人坐标系下实际位姿参数。
6.根据权利要求5所述的方法，其特征在于：所述相机的感光芯片为CCD和/或CMOS。
7.根据权利要求5所述的方法，其特征在于：所述相机的镜头是固定焦距12mm的镜头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943660.3A CN113706628A (zh) | 2021-08-17 | 2021-08-17 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943660.3A CN113706628A (zh) | 2021-08-17 | 2021-08-17 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706628A true CN113706628A (zh) | 2021-11-26 |
Family
ID=78653029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110943660.3A Pending CN113706628A (zh) | 2021-08-17 | 2021-08-17 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706628A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114159156A (zh) * | 2021-12-13 | 2022-03-11 | 成都信息工程大学 | 一种血管介入手术机器人主端触觉交互装置 |
| CN114833825A (zh) * | 2022-04-19 | 2022-08-02 | 深圳市大族机器人有限公司 | 协作机器人控制方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018009980A1 (en) * | 2016-07-15 | 2018-01-18 | Fastbrick Ip Pty Ltd | Boom for material transport |
| CN108177150A (zh) * | 2016-12-08 | 2018-06-19 | 广州映博智能科技有限公司 | 基于视觉的电梯门板定位与抓取装置及方法 |
| CN108427391A (zh) * | 2018-05-02 | 2018-08-21 | 南京航空航天大学 | 可移动机器人自动钻铣的智能化柔性生产线及其运行方法 |
| CN108499054A (zh) * | 2018-04-04 | 2018-09-07 | 清华大学深圳研究生院 | 一种基于slam的车载机械臂捡球系统及其捡球方法 |
| CN109018591A (zh) * | 2018-08-09 | 2018-12-18 | 沈阳建筑大学 | 一种基于计算机视觉的自动贴标定位方法 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
-
2021
- 2021-08-17 CN CN202110943660.3A patent/CN113706628A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018009980A1 (en) * | 2016-07-15 | 2018-01-18 | Fastbrick Ip Pty Ltd | Boom for material transport |
| CN108177150A (zh) * | 2016-12-08 | 2018-06-19 | 广州映博智能科技有限公司 | 基于视觉的电梯门板定位与抓取装置及方法 |
| CN108499054A (zh) * | 2018-04-04 | 2018-09-07 | 清华大学深圳研究生院 | 一种基于slam的车载机械臂捡球系统及其捡球方法 |
| CN108427391A (zh) * | 2018-05-02 | 2018-08-21 | 南京航空航天大学 | 可移动机器人自动钻铣的智能化柔性生产线及其运行方法 |
| CN109018591A (zh) * | 2018-08-09 | 2018-12-18 | 沈阳建筑大学 | 一种基于计算机视觉的自动贴标定位方法 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐特: "视觉反馈非固定位姿目标机器人拾取控制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 1, no. 02, pages 140 - 715 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114159156A (zh) * | 2021-12-13 | 2022-03-11 | 成都信息工程大学 | 一种血管介入手术机器人主端触觉交互装置 |
| CN114159156B (zh) * | 2021-12-13 | 2023-09-29 | 成都信息工程大学 | 一种血管介入手术机器人主端触觉交互装置 |
| CN114833825A (zh) * | 2022-04-19 | 2022-08-02 | 深圳市大族机器人有限公司 | 协作机器人控制方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110842928B (zh) | 一种复合机器人视觉引导定位方法 | |
| CN103406905B (zh) | 一种具有视觉伺服及检测功能的机器人系统 | |
| US11584004B2 (en) | Autonomous object learning by robots triggered by remote operators | |
| CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
| CN113706628A (zh) | 一种智能搬运机器人协作系统及其对特征图像的处理方法 | |
| CN111687885B (zh) | 一种用于无序零件装配的智能双臂机器人系统及视觉引导方法 | |
| US11633852B2 (en) | Computing device, machine learning method, and storage medium | |
| CN111203849A (zh) | 一种移动机器人抓取作业系统及控制方法 | |
| CN111203880B (zh) | 基于数据驱动的图像视觉伺服控制系统及方法 | |
| US20230150113A1 (en) | Shared Dense Network with Robot Task-Specific Heads | |
| CN112621746A (zh) | 带死区的pid控制方法及机械臂视觉伺服抓取系统 | |
| Hvilshøj et al. | Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices | |
| Cheng et al. | Object handling using autonomous industrial mobile manipulator | |
| Hefele et al. | Robot pose correction using photogrammetric tracking | |
| CN113716323A (zh) | 一种容器智能搬运方法 | |
| CN110480685A (zh) | 一种农用车轮自动加工生产线视觉机械手 | |
| Wang et al. | Design of multi-robot cooperative transport system | |
| US20220168909A1 (en) | Fusing a Static Large Field of View and High Fidelity Moveable Sensors for a Robot Platform | |
| Zhou et al. | Experimental eye-in-hand calibration for industrial mobile manipulators | |
| CN115008477A (zh) | 机械手移动补偿方法、装置、计算机可读存储介质 | |
| Yang et al. | Design and research of industrial robot control system based on machine vision | |
| CN112548996A (zh) | 一种开放式工业机器人控制系统及一种开放式工业机器人 | |
| CN112123329A (zh) | 一种机器人3d视觉手眼标定方法 | |
| Kulpate et al. | An eye-to-hand visual servoing structure for 3d positioning of a robotic arm using one camera and a flat mirror | |
| Lei et al. | Multi-stage 3d pose estimation method of robot arm based on RGB image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No.24, Section 1, Xuefu Road, Southwest Airport Economic Development Zone, Chengdu, Sichuan 610000 Applicant after: CHENGDU University OF INFORMATION TECHNOLOGY Applicant after: Chengdu New Meteorological Technology Co.,Ltd. Address before: No.24, Section 1, Xuefu Road, Southwest Airport Economic Development Zone, Chengdu, Sichuan 610000 Applicant before: CHENGDU University OF INFORMATION TECHNOLOGY Applicant before: Chengdu new meteorological technology industry Co.,Ltd. |
|
| CB02 | Change of applicant information |