CN110509300B - 基于三维视觉引导的钢箍加工上料控制系统及控制方法 - Google Patents
基于三维视觉引导的钢箍加工上料控制系统及控制方法 Download PDFInfo
- Publication number
- CN110509300B CN110509300B CN201910945055.2A CN201910945055A CN110509300B CN 110509300 B CN110509300 B CN 110509300B CN 201910945055 A CN201910945055 A CN 201910945055A CN 110509300 B CN110509300 B CN 110509300B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- dimensional
- manipulator
- grabbing
- steel hoop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 109
- 239000010959 steel Substances 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 239000000463 material Substances 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000003754 machining Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23G—THREAD CUTTING; WORKING OF SCREWS, BOLT HEADS, OR NUTS, IN CONJUNCTION THEREWITH
- B23G11/00—Feeding or discharging mechanisms combined with, or arranged in, or specially adapted for use in connection with, thread-cutting machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于三维视觉引导的钢箍加工上料控制系统及控制方法,该系统包括控制器及与其控制连接的机械手和三维传感器,机械手的末端设有用于抓取钢箍的夹具,三维传感器设置于机械手的末端用于对待抓取的钢箍进行图像和三维数据扫描,并将扫描数据传输给控制器,控制器根据三维传感器的扫描数据控制所述机械手末端连接的夹具动作以抓取钢箍。本发明通过三维传感器拍摄钢箍的二维图像和三维数据,并将两者之间建立一一映射关系,并在此基础上解算出机械手抓取工件的位姿,判断出钢箍抓取的合理性,进而引导工业机械手抓取钢箍,从而实现对摆放在料框中钢箍的上料加工,实现钢箍螺纹加工的自动化,以提高生产效率和节约人力成本。
Description
技术领域
本发明属于钢箍加工自动控制领域,具体涉及一种三维视觉引导的钢箍加工上料控制系统及控制方法。
背景技术
随着工业自动化的迅速发展,工业机械手在大型钢厂部件加工中的应用越来越普遍,但对于大多数使用工业机械手的钢厂部件加工应用场景来说,需要手动示教或者离线编程来事先规划机械手的工作路径,这种高度结构化的工作模式严格限定了工业机械手使用的灵活性和智能性,无法满足柔性生产的需求。
在钢厂经过浇筑工序生产出来的钢箍,进行螺纹加工的生产过程中,现在采用的生产方式仍为通过桁架或者叉车将整框的钢箍搬运到加工机床处,然后通过人工上料的方式将钢箍放入加工机床进行螺纹加工,该方式的缺点是低效率性和高工作强度(钢厂钢箍具有重量大、加工节拍慢的特点),并且钢箍机床加工过程中人员只能等待;另外,由于工件很重,给人工上料也带来了很大的困难。
中国专利CN106182004A公开了一种基于视觉引导的工业机器人自动销孔装配的方法,利用单目CCD工业相机作为视觉系统,采用定位销轮廓识别算法、定位算法,完成包括定位销的识别、定位、抓取以及插孔等作业任务。这种方法的缺点是定位一个工件需要多次的调整机械手进行拍摄定位,并且定位的精度取决于机械手调整拍摄的次数,且难以适应整框工件的识别定位抓取。
另一中国专利CN105965519A公开了一种视觉引导下的离合器下料定位方法,利用双目相机分别拍摄AGV小车上的特征孔,从而通过对特征孔的解算计算离合器的三维定位坐标。上述方法采用的双目相机定位离合器三维坐标依赖于相机拍摄特征孔的图像质量,且需要通过光源提供高质量的打光,同时也仅适用于单个工件的定位,当视野内存在干扰特征孔时,将无法实现三维数据的解算。
发明内容
本发明的目的是针对上述现有技术的不足,而提供一种三维视觉引导的钢箍加工上料控制系统,同时提供一种使用该控制系统的控制方法。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于三维视觉引导的钢箍加工上料控制系统,包括控制器及与其控制连接的机械手和三维传感器,所述机械手的末端设有用于抓取钢箍的夹具,所述三维传感器设置于机械手的末端用于对待抓取的钢箍进行图像和三维数据扫描,并将扫描信息传输给所述控制器,所述控制器根据所述三维传感器的扫描信息控制所述机械手末端连接的夹具动作以抓取钢箍。
所述三维传感器包括相机和光机投影装置,所述相机和光机投影装置均与通讯连接以获取待抓取的钢箍图像和三维数据信息并传输给所述控制器;所述三维传感器还包括用于放置相机和光机投影装置的外壳,所述外壳还设置有用于与所述机械手固定连接的转接板。
所述夹具包括两个夹爪,其中第一夹爪固定在安装件上,第二夹爪滑动装配在所述安装件上以调整两夹爪之间的间距,所述安装件与所述机械手固定连接;所述第一夹爪固定于所述安装件的下侧,第二夹爪设置于第一夹爪的上方,第二夹爪通过滑块滑动装配,所述滑块上连接有用于驱动其上下滑动的驱动装置。
本发明还提供了一种三维视觉引导的钢箍加工上料控制方法,包括如下步骤:
(1)标定三维传感器和机械手工具坐标系之间的标定关系,设置待抓取工件尺寸及其所在料框的位置信息;
(2)获取机械手当前在机械手基坐标系下的位姿信息,同时利用三维传感器拍摄二维图像、扫描三维数据;
(3)根据三维传感器所拍摄的二维图像分析是否存在目标工件;
(4)将三维传感器扫描的三维数据与预先创建的工件模板的数据进行配准;
(5)根据配准后的目标工件的样本数据进行平面拟合与工件坐标系的创建,以计算机械手抓取目标工件的位姿信息;
(6)根据之前得到的机械手和目标工件的位姿信息以及设置的料框位置信息和前一次抓取的工件的位姿信息判断当前工件是否适合抓取;
(7)将已计算得到的机械手抓取目标工件的位姿信息先转换到机械手工具坐标系,再转换到机械手基坐标系下,以得到工件的类型信息及位姿信息,机械手根据上述信息执行工件的抓取,并放置到待加工区域;
(8)根据设置的工件尺寸信息和料框位置信息,计算出下一个扫描位置,若存在下一个扫描位置,则进入下一个抓取循环,若不存在则更换料框。
所述步骤(1)中三维传感器和机械手工具坐标系的标定采用编码点,首先记录多组机械手的位姿数据和三维传感器拍摄到的编码点数据,通过解算编码点坐标和获取的机械手位姿计算出三维传感器和机械手工具坐标系之间的标定关系。
所述步骤(3)中采用TensorFlow框架下的实例分割技术从二维图像中分割出工件所在的图像像素区域,结合预先训练好的工件的二维模型,分析判断出是否存在目标工件;所述二维模型的训练是使用三维传感器拍摄工件的二维图像,拍摄图像时要求工件的摆放具有深度方向的变化以及光照明暗的变化,拍摄图像后,利用标注工具标注出图像中的工件,最后训练出工件的模型数据。
所述步骤(4)中所述工件模板的创建是利用三维传感器扫描工件,根据得到的三维数据创建得到的,在创建工件模板时要保证创建的工件模板仅保留工件自身的特征数据,删除所有非工件自身的数据。
所述步骤(4)中将三维传感器扫描的三维数据与预先创建的工件模板进行配准的过程如下:
A、通过工件上局部数据的法线特征构建三维特征描述子进行粗配准,从而计算出模板数据和扫描的样本数据之间的空间姿态变换关系;
B、使用粗配准的空间姿态变换关系做为精配准的输入,采用ICP算法进行精确配准,解算出模板数据和样本数据的精确姿态转换关系矩阵。
所述步骤(5)中根据配准后的三维数据进行平面拟合与工件坐标系的创建,以计算机械手抓取工件的位姿信息的过程如下:
a.拟合目标工件的空间圆环面:通过最小二乘法拟合目标工件的空间圆环面,并计算出工件圆环所在的圆心O和圆环直径D;
b.计算工件抓取点坐标:在机械手基坐标系下,计算出从圆心O沿着圆环面坐标最大的方向偏移D/2的距离处点P(x0,y0,z0)的坐标值,做为机械手抓取工件的抓取点坐标;
c.创建工件坐标系:将拟合出的工件的空间圆环面的圆心O指向P的方向做为工件的X正方向,将垂直于工件圆环面且远离工件重心的方向做为Z正方向,Y正方向通过已经确定的X方向和Y方向叉乘求得,以此确定工件坐标系。
所述步骤(6)中判断当前工件是否适合抓取需要进行两方面的干涉分析:
i.分析夹具是否和料框存在干涉,通过判断目标工件在料框内的位置,当其处于料框边缘时,自动将目标工件的抓取位置和抓取方向调整为远离料框边缘固定角度处的抓取位置和方向,以避免机械手抓取料框边缘工件时出现的夹具和料框的干涉;
ⅱ.分析夹具是否和工件存在干涉,通过判断并记录三维传感器扫描目标工件时的位姿信息,以及对比定位出的同层工件的位置,判断当前要抓取的目标工件和前一次抓取的工件是否为同一层,以避免抓取不同层工件引起的夹具和工件的干涉。
本发明的有益效果是:
本发明基于三维视觉引导的钢箍加工上料控制系统及控制方法,利用三维传感器进行三维数据和二维图像的获取;采用TensorFlow对二维图像进行实例分割,实现钢箍数量统计和有无判断;采用三维工件模板与数据配准技术,实现工件定位识别和种类区分;采用三维数据平面拟合和创建工件坐标系,实现钢箍抓取位姿生成;利用视觉处理单元实现三维传感器和机械手的逻辑控制,完成三维传感器对钢箍的数据扫描,识别,判断,以及机械手对钢箍的抓取,扫描位置变换,加工上料。
采用三维视觉引导下的钢箍工件的螺纹加工上料,能实现复杂环境下对钢厂钢箍三维数据的快速精确获取,并通过三维点云数据分析,定位出待加工钢箍的位姿,引导工业机械手抓取钢箍并上料至加工机床对钢箍进行螺纹加工。相比传统的钢箍人工上料模式,其优势是加快了钢箍上料节拍、解决了钢箍人工上料的困难,带来的效果是提高了钢箍整体生产效率的同时又节约了人力成本。
附图说明
图1是本发明基于三维视觉引导的钢箍加工上料控制系统实施例的结构示意图;
图2是三维传感器实施例的结构示意图;
图3是夹具实施例的结构示意图;
图4是标定板的结构示意图;
图5是三角测量原理图;
图6是本发明基于三维视觉引导的钢箍加工上料控制方法的流程图。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是,本发明可以以许多不同的形式来实现,并不限于本说明书所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是,除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明提供了一种基于三维视觉引导的钢箍加工上料控制系统,如图1-图3所示,该系统包括控制器(图中未示出)及与其控制连接的机械手1和三维传感器2,机械手1的末端设有用于抓取钢箍4的夹具3,三维传感器2设置于机械手1的末端用于对待抓取的钢箍4进行图像和三维数据扫描,并将扫描信息传输给控制器,控制器根据三维传感器2的扫描信息控制机械手1末端连接的夹具3动作以抓取钢箍4,钢箍4放置于料框5内,料框摆放在机械手1的一侧,钢箍4成列的摆放在料框内。
如图2所示,本实施例的三维传感器2包括相机21和光机投影装置22,相机21和光机投影装置22均与通讯连接以获取待抓取的钢箍位置信息并传输给控制器。
三维传感器还包括用于放置相机21和光机投影装置22的外壳24,外壳24还设置有用于与机械手1固定连接的转接板23,转接板上23设有固定孔,用于将三维传感器与夹具3固定连接。另外,为了便于与控制器通讯连接,外壳24上还开设有安装孔25,安装孔25中穿设相机21和光机投影装置22与控制器的通讯连接线。
如图3所示,本实施例的夹具3包括两个夹爪31和32,其中第一夹爪31固定在安装件33上,第二夹爪32滑动装配在安装件33上以调整两夹爪之间的间距,安装件33通过一个连接板34与机械手1的末端固定连接。
优选的,第一夹爪31固定于安装件33的下侧,第二夹爪32设置于第一夹爪31的上方,第二夹爪32通过滑块35滑动装配,滑块35上连接有用于驱动其上下滑动的驱动装置(图中未示出),这里的驱动装置有多种形式,例如采用气动机构驱动或者液压驱动组件等,该驱动装置的结构不再赘述。
本实施例中的机械手1优选六轴工业机械手,夹具3和三维传感器2均固定设置于六轴工业机械手第六轴的末端处,且三维传感器2位于夹具3的上方。
本发明中的控制器采用上位机,上位机中安装有系统的控制软件,该控制软件和三维传感器组成了系统的视觉处理单元,该系统的工作流程如下:首先,外部设备向视觉处理单元发出触发扫描定位信号,视觉处理单元引导机械手1从料框5左上角处携带三维传感器2扫描料框5内的钢箍4,控制三维传感器扫描三维数据并获取二维图像,从二维图像中分割出目标工件所在的区域,然后将二维图像中目标区域内的单个目标工件转换为三维样本数据,视觉处理单元通过将三维样本数据与工件模板的数据进行比对,分析出目标工件的类型和位姿信息,再通过创建工件坐标系,生成机械手的抓取位姿,在防撞分析后,最终转换到机械手基坐标系下,将定位出的钢箍4的位姿信息通过TCP通讯发送给机械手1执行钢箍抓取,并将钢箍放置到加工机床进行螺纹加工;然后视觉处理单元引导机械手1回到上次的扫描位置继续扫描,有工件继续抓取上料,无工件则进入下一个扫描位置扫描工件,直至整个料框内的工件都上料完成,更换下一料框。
如图6所示,本发明还提供了一种基于三维视觉引导的钢箍加工上料控制方法,该方法包括如下步骤:
(1)标定三维传感器和机械手工具坐标系之间的标定关系,设置待抓取工件尺寸及其所在料框的位置信息;
(2)获取机械手当前在机械手基坐标系下的位姿信息,同时利用三维传感器拍摄二维图像、扫描三维数据;
(3)根据三维传感器所拍摄的二维图像分析是否存在目标工件;
(4)将三维传感器扫描的三维数据与预先创建的工件模板的数据进行配准;
(5)根据配准后的目标工件的样本数据进行平面拟合与工件坐标系的创建,以计算机械手抓取目标工件的位姿信息;
(6)根据之前得到的机械手和目标工件的位姿信息以及设置的料框位置信息和前一次抓取的工件的位姿信息判断当前工件是否适合抓取;
(7)将已计算得到的机械手抓取目标工件的位姿信息先转换到机械手工具坐标系,再转换到机械手基坐标系下,以得到工件的类型信息及位姿信息,机械手根据上述信息执行工件的抓取,并放置到待加工区域;
(8)根据设置的工件尺寸信息和料框位置信息,计算出下一个扫描位置,若存在下一个扫描位置,则进入下一个抓取循环,若不存在则更换料框。
本发明实施例中所涉及到的工件均指钢箍,目标工件即目标钢箍。
优选地,在步骤(1)中,三维传感器中相机和光机光投影装置安装好后需要标定相机的内参数以及相机和光机光投影装置之间的外参数(即标定关系)。要标定三维传感器和机械手工具坐标系的标定关系,就需要先进行机械手工具的创建,机械手工具坐标系的创建一方面是为了标定传感器和机械手工具之间的关系,另一方面是为了使得抓取工件时,机械手的工具坐标系与定位工件时在工件上创建的工件坐标系具有一致性,从而使夹具能以合适的姿态抓取工件。机械手工具坐标系的创建是通过操作机械手使用XYZ六点法实现的,要求创建的机械手工具坐标系ToolVision原点O位于夹具的夹爪闭合后的中间位置,X正方向和夹爪张开闭合的方向一致,Z正方向为垂直机械手法兰盘且指向法兰盘中心的方向,同时需要创建的ToolVision平均精度不大于1mm,从而保证对钢箍的定位抓取精度。
如图4所示,三维传感器和机械手工具坐标系关系的标定采用编码点,在标定过程中,首先需要记录多组机械手的位姿数据和三维传感器拍摄到的编码点数据,通过解算编码点坐标和获取的机械手位姿信息计算出三维传感器和机械手工具坐标系之间的标定关系。
本实施例的编码点是借助于标定板实现,标定板的作用是使得三维传感器能唯一识别标定板中每个编码点的坐标,进而解算出三维传感器的内外参数,并结合机械手的位姿解算出三维传感器和机械手工具坐标系的标定关系。编码点的编码使用原则采用四个基准点做为编码点的识别标志,三个类别点与中心编码点的角度信息做为编码点的唯一标识特征,进而实现编码点识别和解算的唯一性。
本实施例中三维传感器安装到机械手时三维传感器和机械手工具坐标系的标定方法如下:
①.控制机械手从位置A运动到位置B,运动前后均对相机进行标定,求出其外参数,从而得到Rc1,tc1,由控制器读出机械手的运动参数Rd1,td1,由此得到R、t的第一组约束;
②.控制机械手从位置B运动到位置C,重复上一步,从而得到Rc2,tc2,Rd2,td2,由此得到R、t的第二组约束;
③.控制机械手从位置C运动到位置N,重复步骤①,从而得到Rcn,tcn,Rdn,tdn,由此得到R、t的第n组约束;
④.列方程求解R,并根据R求解出t;
⑤.由式即可得到手眼标定转换矩阵X,标定结束;
其中:Rc1,tc1,Rc2,tc2、Rcn、tcn分别为n次运动中由相机标定的外参数;Rd1,td1、Rd2,td2、Rdn、tdn分别为n次运动中由控制器直接读取的参数,R为待求解的机械手工具和相机之间的关系矩阵的旋转矩阵,t为待求解的机械手工具和相机之间的关系的平移量,X为机械手工具和相机之间的关系矩阵。
另外,三维传感器工作时采用三角测量原理计算出投影出的符合正弦曲线分布的纹理图像中每个点的三维坐标。三角测量原理的计算过程如下:如图5所示,O1-xyz与O2-xyz分别是两相机空间坐标系;P1,P2是一对同名点;S1,S2是相机镜头的中心位置;w是真实空间中的一个点。P1,S1确定了空间中一条直线,P2,S2确定了另一条直线,它们在空间中相交于W。
相机拍摄图像后,相机CCD上的一个像点与相机镜头中心可以确定一条直线,像点与镜头中心这两点的坐标都在相机坐标系下,这两点组成的空间直线方程为:
其中,X,Y,Z为目标点的三维坐标,是未知数;
x,y,f为像点坐标,是已知量(通过分析图像得到);
Xs,Ys,Zs是镜头中心坐标,为已知量(在相机标定过程得到);
ai、bi、ci为坐标系变换参数,为已知量(在相机标定过程得到);
一张图像可以列一个直线方程,两张图像就可以列两个直线方程,共4个方程组,而式中的未知数只有三个(三维点坐标X,Y,Z),因此,可算出三个未知数。
步骤(2)中,视觉处理单元通过与机械手的通讯,获取机械手当前在机械手基坐标系下的位姿信息,同时利用三维传感器拍摄二维图像、扫描三维数据。
步骤(3)中,对于料框内摆放工件的识别定位,按照数据的类型,从技术路线上可以划分为两类:①从二维图像中通过与模板比对识别目标,然后利用识别目标的图像区域提取三维数据或者通过距离传感器获取目标局部平面计算目标的位姿。该方式存在的局限性为严重依赖于拍摄图像的质量,因工业生产环境中复杂的光线变化,因此,该方式难以适应实际生产。②从三维数据直接与CAD模型比对,该方式不再依赖于获取二维图像的质量,但对于多个工件叠加在一起的情况,容易引起配准的歧义性,从而影响和模板比对的稳定性。
综合上述因素,本发明实施例采用TensorFlow框架下的实例分割技术从二维图像中分割出工件所在的图像像素区域,进而降低了直接从二维图像中直接识别工件引起的对图像质量的高要求,之后结合预先训练好的工件的二维模型,分析判断出是否存在目标工件。
工件二维模型的训练是使用三维传感器拍摄工件的二维图像,拍摄图像时要求工件的摆放具有深度方向的变化以及光照明暗的变化,拍摄图像后,利用标注工具标注出图像中的工件,最后训练出工件的模型数据。二维模型的训练一方面是为了将整层的工件分割成单个的工件,实现一次可以定位出三维传感器视野内存在的多个工件,另一方面用于判断三维传感器视野内是否仍存在工件,做为工件是否抓取完成的判断依据。
在二维图像中分割出目标工件后,利用二维图像和三维数据之间的映射关系,获得单个目标的三维数据,进而可以在三维数据中和工件的模板比对配准,以获得工件的型号及位姿信息。
步骤(4)中,由于直接使用从二维图像中分割出的目标工件对应的三维数据无法区分出工件的型号信息,同时也无法达到要求的定位精度,因此在使用三维传感器获取图像后的分割工件目标后,需要采用数据配准的方式,将三维传感器扫描的三维数据与预先创建工件的模板数据进行配准,配准的过程如下:
A、通过工件上局部数据的法线特征构建三维特征描述子进行粗配准,从而计算出模板数据和扫描的样本数据之间的空间姿态变换关系;
B、使用粗配准的空间姿态变换关系做为精配准的输入,采用ICP算法进行精确配准,解算出模板数据和样本数据的精确姿态转换关系矩阵。
上述所指的工件模板的创建是为了实现对工件型号的识别,以及后续对三维传感器扫描出的数据中配准出要定位的工件数据,从而利用配准出的数据进行抓取位的计算和分析。工件模板的创建是利用三维传感器扫描工件,根据得到的三维数据创建得到的,在创建工件模板时要保证创建的工件模板仅保留工件自身的特征数据,删除所有非工件自身的数据,以提高工件定位的成功率和准确性。
步骤(5)中,对于料框内钢箍的抓取过程采用的是三维传感器安装到机械手,从料框的侧面扫描钢箍的圆环面,且在抓取钢箍时,为了避免夹具和工件的干涉,仅能抓取钢箍圆环面的上端点部分,同时为了避免机械手抓取钢箍时出现三维传感器和料框的干涉,需要确保抓取钢箍时,三维传感器始终在料框的上方。
根据前一步骤得到的配准后的三维数据进行平面拟合与工件坐标系的创建,以计算机械手抓取工件的位姿信息的过程如下:
a.拟合目标工件的空间圆环面:通过最小二乘法拟合目标工件的空间圆环面,并计算出工件圆环所在的圆心O和圆环直径D;
b.计算工件抓取点坐标:在机械手基坐标系下,计算出从圆心O沿着圆环面坐标最大的方向偏移D/2的距离处点P(x0,y0,z0)的坐标值,做为机械手抓取工件的抓取点坐标;
c.创建工件坐标系:将拟合出的工件的空间圆环面的圆心O指向P的方向做为工件的X正方向,将垂直于工件圆环面且远离工件重心的方向做为Z正方向,Y正方向通过已经确定的X方向和Y方向叉乘求得,以此确定工件坐标系。
在基于三维视觉传感器引导的工业机械手识别定位应用中,对抓取工件过程中夹具和料框以及夹具与工件之间的干涉分析是一项重要研究内容和有待解决的问题,因工件在料框内位姿的多样性,引起夹具设计的不规则性。为了解决工业机械手在抓取工件的过程中既能避免夹具和料框以及工件之间的干涉,又能保证工件得到最大程度的抓取。视觉处理单元通过判断工件在料框内的相对位置,自动计算最优的抓取位置和抓取方向,从而避免抓取钢箍时料框和机械手夹具的干涉;通过判断并记录三维传感器扫描钢箍时的位置,以及对比定位出的钢箍位置,判断当前要抓取的钢箍是否为同层的钢箍,进而避免抓取内层钢箍引起的夹具和钢箍的干涉。
步骤(6)中判断当前工件是否适合抓取需要进行两方面的干涉分析:
i.分析夹具是否和料框存在干涉,通过判断目标工件在料框内的位置,当其处于料框的左右边缘时,机械手就不能按照正常模式从钢箍在机械手基坐标系下Z正最大处去抓取钢箍,因为这样抓取钢箍时,三维传感器将会和料框发生干涉。
为了解决钢箍在料框左右边缘的干涉问题,视觉处理单元的控制软件自动将目标工件的抓取位置和抓取方向调整为远离料框边缘固定角度处的抓取位置和方向,以避免机械手抓取料框边缘工件时出现的夹具和料框的干涉。
ⅱ.分析夹具是否和工件存在干涉,摆放在料框内的钢箍存在多排,三维传感器扫描出的数据可能即存在第一排的数据,同时又存在第二排的数据,但机械手抓取钢箍时,仅能先抓取第一排的钢箍,然后再抓取第二排的钢箍,如果第一排仍存在钢箍的情况下,先抓取第二排钢箍,将导致机械手夹具和第一排钢箍的干涉。为了解决该问题,视觉处理单元通过判断并记录三维传感器扫描目标工件时的位姿信息,以及对比定位出的同层工件的位置,判断当前要抓取的目标工件和已经抓取的工件是否为同一层,以避免抓取不同层工件引起的夹具和工件的干涉。
步骤(7)中,结合使用标定出的机械手工具坐标系和三维传感器的标定关系,以及机械手扫描三维数据时在基坐标系下的位姿信息,视觉处理单元将已计算得到的机械手抓取目标工件位姿信息先转换到机械手工具坐标系,再转换到机械手基坐标系下,以得到工件的类型信息及准确的位姿信息,引导机械手根据上述信息执行工件的抓取,并放置到待加工区域进行螺纹加工。
上述过程中信息在坐标系中的转换属于本领域的常规技术,这里对其转换过程不再赘述。
步骤(8)中,视觉处理单元根据设置的工件尺寸信息和料框位置信息,计算出下一个扫描位置,若存在下一个扫描位置,则进入下一个抓取循环,若不存在则发出更换料框信号以更换料框。
其中,视觉处理单元判断下一个扫描位置的条件为:依据设置的料框尺寸(长度,宽度和高度)和工件的半径以及设置的移动次数,计算出每次机械手相对料框左上角原点位置移动的偏移量(px,py,pz),从而得到机械手每次的扫描位置。
本发明通过三维传感器拍摄钢箍的二维图像和三维数据,并将两者之间建立一一映射关系,并在此基础上通过深度学习中的实例分割技术从二维图像中分割出各个目标,然后将目标图像数据映射到三维数据,然后利用分割后的三维数据和工件模板进行配准,进而解算出机械手抓取工件的位姿,并通过视觉处理单元判断出钢箍抓取的合理性,进而引导工业机械手抓取钢箍,从而实现对摆放在料框中钢箍的上料加工,实现钢箍螺纹加工的自动化,以提高生产效率和节约人力成本。
本发明基于三维视觉引导的钢箍加工上料的控制系统及控制方法的优势如下:
(1)使用三维传感器获取钢箍的二维图像和三维数据,通过视觉处理单元分析出可以抓取的钢箍,并引导工业机械手抓取钢箍,完成钢箍的后续螺纹加工,人工上下件,提高了企业生产效率,增加企业竞争力。
(2)通过将工业机械手相关的操作集成到上位机的控制软件内,避免了复杂的操作过程,简化工件定位流程,为客户提供了易于操作的交互界面。
(3)能直观的显示点云扫描过程以及工件扫描结果,便于操作人员了解系统的运行状况,使操作人员实时掌握系统的工作状态,提高了系统的可维护性。
本发明可准确定位钢箍在料框中的位姿,并可根据钢箍在料框中位置的不同,主动避免机械手抓取钢箍时的干涉,同时可进行异常型号报警和预防识别抓取内层工件,能满足钢箍上料的多样性需求。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均包括在本发明的专利保护范围内。
Claims (7)
1.一种基于三维视觉引导的钢箍加工上料控制方法,其特征在于,该方法采用的控制系统包括控制器及与其控制连接的机械手和三维传感器,所述机械手的末端设有用于抓取钢箍的夹具,所述三维传感器设置于机械手的末端用于对待抓取的钢箍进行图像和三维数据扫描,并将扫描信息传输给所述控制器,所述控制器根据所述三维传感器的扫描信息控制所述机械手末端连接的夹具动作以抓取钢箍,该方法包括如下步骤:
(1)标定三维传感器和机械手工具坐标系之间的标定关系,设置待抓取工件尺寸及其所在料框的位置信息;
(2)获取机械手当前在机械手基坐标系下的位姿信息,同时利用三维传感器拍摄二维图像、扫描三维数据;
(3)根据三维传感器所拍摄的二维图像分析是否存在目标工件;
(4)将三维传感器扫描的三维数据与预先创建的工件模板的数据进行配准;
(5)根据配准后的目标工件的样本数据进行平面拟合与工件坐标系的创建,以计算机械手抓取目标工件的位姿信息;
(6)根据之前得到的机械手和目标工件的位姿信息以及设置的料框位置信息和前一次抓取的工件的位姿信息判断当前工件是否适合抓取;
(7)将已计算得到的机械手抓取目标工件的位姿信息先转换到机械手工具坐标系,再转换到机械手基坐标系下,以得到工件的类型信息及位姿信息,机械手根据上述信息执行工件的抓取,并放置到待加工区域;
(8)根据设置的工件尺寸信息和料框位置信息,计算出下一个扫描位置,若存在下一个扫描位置,则进入下一个抓取循环,若不存在则更换料框。
2.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(1)中三维传感器和机械手工具坐标系的标定采用编码点,首先记录多组机械手的位姿数据和三维传感器拍摄到的编码点数据,通过解算编码点坐标和获取的机械手位姿计算出三维传感器和机械手工具坐标系之间的标定关系。
3.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(3)中采用TensorFlow框架下的实例分割技术从二维图像中分割出工件所在的图像像素区域,结合预先训练好的工件的二维模型分析判断出是否存在目标工件;所述二维模型的训练是使用三维传感器拍摄工件的二维图像,拍摄图像时要求工件的摆放具有深度方向的变化以及光照明暗的变化,拍摄图像后,利用标注工具标注出图像中的工件,最后训练出工件的模型数据。
4.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(4)中所述工件模板的创建是利用三维传感器扫描工件,根据得到的三维数据创建得到的,在创建时要保证创建的工件模板仅保留工件自身的特征数据,删除所有非工件自身的数据。
5.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(4)中将三维传感器扫描的三维数据与预先创建的工件模板进行配准的过程如下:
A、通过工件上局部数据的法线特征构建三维特征描述子进行粗配准,从而计算出模板数据和扫描的样本数据之间的空间姿态变换关系;
B、使用粗配准的空间姿态变换关系做为精配准的输入,采用ICP算法进行精确配准,解算出模板数据和样本数据的精确姿态转换关系矩阵。
6.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(5)中根据配准后的三维数据进行平面拟合与工件坐标系的创建,以计算机械手抓取工件的位姿信息的过程如下:
a.拟合目标工件的空间圆环面:通过最小二乘法拟合目标工件的空间圆环面,并计算出工件圆环所在的圆心O和圆环直径D;
b.计算工件抓取点坐标:在机械手基坐标系下,计算出从圆心O沿着圆环面坐标最大的方向偏移D/2的距离处点P(x0,y0,z0)的坐标值,做为机械手抓取工件的抓取点坐标;
c.创建工件坐标系:将拟合出的工件的空间圆环面的圆心O指向P的方向做为工件的X正方向,将垂直于工件圆环面且远离工件重心的方向做为Z正方向,Y正方向通过已经确定的X方向和Y方向叉乘求得,以此确定工件坐标系。
7.根据权利要求1所述的基于三维视觉引导的钢箍加工上料控制方法,其特征在于,所述步骤(6)中判断当前工件是否适合抓取需要进行两方面的干涉分析:
i.分析夹具是否和料框存在干涉,通过判断目标工件在料框内的位置,当其处于料框边缘时,自动将目标工件的抓取位置和抓取方向调整为远离料框边缘固定角度处的抓取位置和方向,以避免机械手抓取料框边缘工件时出现的夹具和料框的干涉;
ⅱ.分析夹具是否和工件存在干涉,通过判断并记录三维传感器扫描目标工件时的位姿信息,以及对比定位出的同层工件的位置,判断当前要抓取的目标工件和前一次抓取的工件是否为同一层,以避免抓取不同层工件引起的夹具和工件的干涉。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910945055.2A CN110509300B (zh) | 2019-09-30 | 2019-09-30 | 基于三维视觉引导的钢箍加工上料控制系统及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910945055.2A CN110509300B (zh) | 2019-09-30 | 2019-09-30 | 基于三维视觉引导的钢箍加工上料控制系统及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110509300A CN110509300A (zh) | 2019-11-29 |
CN110509300B true CN110509300B (zh) | 2024-04-09 |
Family
ID=68633098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910945055.2A Active CN110509300B (zh) | 2019-09-30 | 2019-09-30 | 基于三维视觉引导的钢箍加工上料控制系统及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110509300B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110881748A (zh) * | 2019-12-16 | 2020-03-17 | 埃视森智能科技(上海)有限公司 | 一种基于3d扫描的机器人鞋底自动涂胶系统及方法 |
CN111067197A (zh) * | 2019-12-16 | 2020-04-28 | 河南埃尔森智能科技有限公司 | 一种基于3d扫描的机器人鞋底动态涂胶系统及方法 |
CN110980276B (zh) * | 2019-12-30 | 2021-08-17 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
CN111230853B (zh) * | 2020-02-28 | 2021-05-04 | 重庆力赢智能科技研究院有限公司 | 一种提高工件自动取放精准度的方法 |
CN111540017B (zh) * | 2020-04-27 | 2023-05-05 | 深圳市瑞立视多媒体科技有限公司 | 优化相机位置变量的方法、装置、设备及存储介质 |
CN111496849B (zh) * | 2020-07-01 | 2020-10-23 | 佛山隆深机器人有限公司 | 一种料框与夹具快速碰撞检测的方法 |
CN111726589B (zh) * | 2020-07-07 | 2022-01-28 | 山东天原管业股份有限公司 | 一种阀体的生产加工方法 |
CN111993447A (zh) * | 2020-07-23 | 2020-11-27 | 南京市晨枭软件技术有限公司 | 一种灵活性高的工业机器人机械手结构及其使用方法 |
CN113118034A (zh) * | 2021-02-26 | 2021-07-16 | 合肥富煌君达高科信息技术有限公司 | 基于高速机器视觉的三维全自动雷管瑕疵检测设备及方法 |
CN113378626A (zh) * | 2021-04-22 | 2021-09-10 | 北京铁科首钢轨道技术股份有限公司 | 弹条视觉抓取方法 |
CN113223148B (zh) * | 2021-05-07 | 2021-11-23 | 骏日科技(深圳)有限公司 | Vcm骨架的自动摆放方法、装置和计算机设备 |
CN114055501A (zh) * | 2021-11-17 | 2022-02-18 | 长春理工大学 | 一种机器人抓取系统及其控制方法 |
CN114113163B (zh) * | 2021-12-01 | 2023-12-08 | 北京航星机器制造有限公司 | 一种基于智能机器人的自动化数字射线检测装置和方法 |
CN114193289A (zh) * | 2021-12-13 | 2022-03-18 | 中国船舶重工集团公司第七一六研究所 | 一种连续上下料和不间断打磨船用圆弧板的设备及方法 |
CN114248086B (zh) * | 2021-12-30 | 2022-08-05 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
CN114193440B (zh) * | 2022-01-04 | 2023-09-12 | 中船重工鹏力(南京)智能装备系统有限公司 | 基于3d视觉的机器人自动抓取系统及方法 |
CN114549821A (zh) * | 2022-01-14 | 2022-05-27 | 三一建筑机器人(西安)研究院有限公司 | 视觉模板生成、目标检测方法和装置及机器人系统 |
CN115092671B (zh) * | 2022-06-08 | 2023-09-26 | 深圳市南科佳安机器人科技有限公司 | 上下料控制方法 |
CN115096186B (zh) * | 2022-06-27 | 2024-06-14 | 东风设备制造有限公司 | 基于2d视觉与激光测距的板簧类零件的三维位姿计算方法 |
CN116175256B (zh) * | 2023-04-04 | 2024-04-30 | 杭州纳志机器人科技有限公司 | 一种推车式机器人上下料自动定位方法 |
CN117192341B (zh) * | 2023-11-08 | 2024-02-13 | 深圳市森美协尔科技有限公司 | 晶圆探针台 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002000093A2 (en) * | 2000-06-27 | 2002-01-03 | Insightec-Image Guided Treatment Ltd. | Registration of target object images to stored image data |
CN101913076A (zh) * | 2010-06-23 | 2010-12-15 | 中国科学院自动化研究所 | 基于工业机器人的活塞、活塞销和连杆装配方法及装置 |
CN107186708A (zh) * | 2017-04-25 | 2017-09-22 | 江苏安格尔机器人有限公司 | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 |
CN108177143A (zh) * | 2017-12-05 | 2018-06-19 | 上海工程技术大学 | 一种基于激光视觉引导的机器人定位抓取方法及系统 |
CN108453743A (zh) * | 2018-05-14 | 2018-08-28 | 清华大学深圳研究生院 | 机械臂抓取方法 |
CN108972559A (zh) * | 2018-08-20 | 2018-12-11 | 上海嘉奥信息科技发展有限公司 | 基于红外立体视觉定位系统和机械臂的手眼标定方法 |
JP2018202608A (ja) * | 2018-09-28 | 2018-12-27 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体 |
CN109146939A (zh) * | 2018-09-07 | 2019-01-04 | 中科新松有限公司 | 一种工件抓取模板的生成方法及系统 |
CN210589323U (zh) * | 2019-09-30 | 2020-05-22 | 河南埃尔森智能科技有限公司 | 基于三维视觉引导的钢箍加工上料控制系统 |
-
2019
- 2019-09-30 CN CN201910945055.2A patent/CN110509300B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002000093A2 (en) * | 2000-06-27 | 2002-01-03 | Insightec-Image Guided Treatment Ltd. | Registration of target object images to stored image data |
CN101913076A (zh) * | 2010-06-23 | 2010-12-15 | 中国科学院自动化研究所 | 基于工业机器人的活塞、活塞销和连杆装配方法及装置 |
CN107186708A (zh) * | 2017-04-25 | 2017-09-22 | 江苏安格尔机器人有限公司 | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 |
CN108177143A (zh) * | 2017-12-05 | 2018-06-19 | 上海工程技术大学 | 一种基于激光视觉引导的机器人定位抓取方法及系统 |
CN108453743A (zh) * | 2018-05-14 | 2018-08-28 | 清华大学深圳研究生院 | 机械臂抓取方法 |
CN108972559A (zh) * | 2018-08-20 | 2018-12-11 | 上海嘉奥信息科技发展有限公司 | 基于红外立体视觉定位系统和机械臂的手眼标定方法 |
CN109146939A (zh) * | 2018-09-07 | 2019-01-04 | 中科新松有限公司 | 一种工件抓取模板的生成方法及系统 |
JP2018202608A (ja) * | 2018-09-28 | 2018-12-27 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体 |
CN210589323U (zh) * | 2019-09-30 | 2020-05-22 | 河南埃尔森智能科技有限公司 | 基于三维视觉引导的钢箍加工上料控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110509300A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110509300B (zh) | 基于三维视觉引导的钢箍加工上料控制系统及控制方法 | |
CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
CN110842928B (zh) | 一种复合机器人视觉引导定位方法 | |
CN108182689B (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
CN110102855A (zh) | 一种机器人智能化焊接系统、设备和方法 | |
EP1711317B1 (en) | Machine vision controlled robot tool system | |
CN110202573B (zh) | 全自动手眼标定、工作平面标定方法及装置 | |
CN111745267A (zh) | 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法 | |
CN113146172B (zh) | 一种基于多视觉的检测与装配系统及方法 | |
CN111531407B (zh) | 一种基于图像处理的工件姿态快速测量方法 | |
CN111823223B (zh) | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 | |
CN111645074A (zh) | 一种机器人抓取定位方法 | |
CN111923053A (zh) | 基于深度视觉的工业机器人物件抓取示教系统及方法 | |
CN210589323U (zh) | 基于三维视觉引导的钢箍加工上料控制系统 | |
CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN114758236A (zh) | 一种非特定形状物体识别、定位与机械手抓取系统及方法 | |
CN113500593B (zh) | 一种抓取轴类工件指定部位进行上料的方法 | |
CN111482964A (zh) | 一种新的机器人手眼标定方法 | |
CN113334380A (zh) | 基于双目视觉的机器人视觉标定方法、控制系统及装置 | |
CN114055501A (zh) | 一种机器人抓取系统及其控制方法 | |
CN215970736U (zh) | 基于三维视觉引导的钢轨打标装置 | |
CN116079732A (zh) | 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法 | |
JP7093881B1 (ja) | システム、及び自動搬送車 | |
WO2022091767A1 (ja) | 画像処理方法、画像処理装置、ロボット搭載型搬送装置、及びシステム | |
CN115409878A (zh) | 一种工件整理归位的ai算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |