CN108416809B - 一种基于机器视觉的钢桶螺纹盖位姿识别方法 - Google Patents
一种基于机器视觉的钢桶螺纹盖位姿识别方法 Download PDFInfo
- Publication number
- CN108416809B CN108416809B CN201810195723.XA CN201810195723A CN108416809B CN 108416809 B CN108416809 B CN 108416809B CN 201810195723 A CN201810195723 A CN 201810195723A CN 108416809 B CN108416809 B CN 108416809B
- Authority
- CN
- China
- Prior art keywords
- steel drum
- image
- threaded cover
- drum threaded
- screw cap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的钢桶螺纹盖位姿识别方法,包括,利用相机采集放置于传送带上的钢桶螺纹盖的俯视图,并对图像进行预处理,得到钢桶螺纹盖单像素外轮廓曲线,通过圆的垂径定理,利用逐点扫描的方式得到钢桶螺纹盖的中心坐标即抓取点的位置;再提取钢桶螺纹盖的内部的直线特征,求出直线在图像像素坐标系下的斜率,利用反三角函数得出钢桶螺纹盖的摆放角度。相对于目前绝大多数的国内企业仍采用传统的示教再现方法,本发明提出的算法不需要在传动带上添加辅助定位机构,设备和流水线简单,减小了流水线的故障发生率,提高了流水线的生产效率。
Description
技术领域
本发明涉及一种钢桶螺纹盖的装配技术领域,特别是一种基于机器视觉的钢桶螺纹盖位姿识别方法。
背景技术
钢桶螺纹盖的装配是钢桶生产流水线上十分重要的一道工序,传统的人工旋紧操作或机械半自动化的加工方式不但费时费力,效率低下,还难以保证产品质量。数据表明,手工装配在一定程度上具有明显的缺陷,如装配精度重复性差、装配精度低、生产效率低、装配成本高。文献《柔性上料机与视觉辅助抓取系统的开发》指出部分标准产品如果所有的装配都通过手工完成,则生产效率可能会降至40%左右;当装配自动化程度提高后,生产效率可以相应的提升至85%~97%,但目前装配自动化的平均水平仅为10%~15%。为此国内外多家企业提出采用机械臂加专用末端执行器来代替人工或传统机械设备实现钢桶螺纹盖的自动化装配,而钢桶螺纹盖的识别和抓取就成为了整个装配过程实现的前提。
目前绝大多数的国内企业仍采用传统的示教再现方法,而示教再现只能简单重复示教的轨迹和动作,不能对于钢桶螺纹盖位置变化做出相应的调整,因此需要在传动带上添加辅助定位机构以保证每次钢桶螺纹盖的位置和摆放角度保持不变,但这会使得流水线上的设备更加冗余,加大了流水线的故障发生率。要保证钢桶螺纹盖的自动化装配,必须实现精确判断钢桶螺纹盖的位置和摆放角度,并将信息反馈给机器人控制器,控制机械臂进行调整,实现精确抓取。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的钢桶螺纹盖装配方法中存在的问题,提出了本发明。
因此,本发明其中的一个目的是提供一种基于机器视觉的钢桶螺纹盖位姿识别方法,其不需要在传动带上添加辅助定位机构,只需要一个相机,减小了流水线的故障发生率。
为解决上述技术问题,本发明提供如下技术方案:一种基于机器视觉的钢桶螺纹盖位姿识别方法,其包括,利用相机采集放置于传送带上的钢桶螺纹盖的俯视图图像,并对图像先后进行灰度化和锐化处理;采用基于灰度直方图的全局阈值分割方法对经过锐化处理之后的图像进行分割操作,提取出图像中的钢桶螺纹盖信息,以得到所述钢桶螺纹盖的灰度直方图及对应的二值化图像;对所述二值化图像进行形态学处理,利用形态学填充,将所述钢桶螺纹盖图像处理成一个实心的圆形,并通过面积阈值分割,去除所述钢桶螺纹盖外部的杂质噪声,以得到一个圆形连通域;对所述圆形连通域进行边缘检测,以检测出其外轮廓曲线,并通过垂径定理确定圆心的位置;以及,将锐化后的图像进行边缘检测,以得到含有钢桶螺纹盖内部信息的二值图像,并采用直线特征检测方法提取所述钢桶螺纹盖的内部直线特征,得出所述钢桶螺纹盖中心在图像像素坐标系下的坐标,以及所述钢桶螺纹盖的摆放角度。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:所述图像灰度化处理采用RGB三原色加权取平均值的方式进行转换,将原始彩色图像转换为灰度图像。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:所述图像锐化处理采用二阶差分算子来增强图像的边缘信息。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:在得到所述钢桶螺纹盖中心在图像像素坐标系下的坐标基础上,再结合相机的标定得到钢桶螺纹盖中心在机器人基坐标系下的X-Y平面的坐标。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:所述边缘检测采用Canny算子边缘检测。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:所述直线特征检测方法采用Hough(霍夫)变换。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:将所述Canny算子边缘检测后的图像提取以钢桶螺纹盖中心为圆心的一个圆形ROI,所述圆形ROI包含所述钢桶螺纹盖的内部直线特征。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:对提取所述圆形ROI后的图像进行Hough直线检测,求出图像空间直线的方程,从而得到直线的斜率,并利用反三角函数得出直线的倾斜角度。
作为本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法的一种优选方案,其中:在得出所述钢桶螺纹盖中心在图像像素坐标系下的坐标,以及所述钢桶螺纹盖的摆放角度之后,通过相机的标定求出其在机器人基坐标系下的X-Y平面的坐标,以获取其完整的位姿信息,并将位姿信息通过上位机发送给机器人控制器,控制机械臂及其末端执行器对所述钢桶螺纹盖进行抓取。
本发明的有益效果:本发明通过对图像进行预处理,得到钢桶螺纹盖单像素外轮廓曲线,通过圆的垂径定理,利用逐点扫描的方式得到,钢桶螺纹盖的中心坐标即抓取点的位置;同时通过采用Hough(霍夫)变换,提取钢桶螺纹盖的内部的直线特征,求出直线在图像像素坐标系下的斜率,利用反三角函数得出钢桶螺纹盖的摆放角度。相对于目前绝大多数的国内企业仍采用传统的示教再现方法,本发明提出的算法不需要在传动带上添加辅助定位机构,设备和流水线简单,减小了流水线的故障发生率,提高了流水线的生产效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的图像采集系统整体结构示意图。
图2为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖灰度图像。
图3为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的8邻域拉普拉斯锐化滤波图像。
图4为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖灰度直方图。
图5为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖内部信息的二值图像。
图6为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的形态学去噪的去噪前与去噪后对比图。
图7为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的Canny算子处理流程示意图。
图8为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖外轮廓图像。
图9为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖中心定位示意图。
图10为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的Hough(霍夫)变换原理示意图。
图11为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的提取ROI示意图。
图12为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的提取直线特征示意图。
图13为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的钢桶螺纹盖位姿识别算法流程图。
图14为本发明基于机器视觉的钢桶螺纹盖位姿识别方法所述的坐标系相对位置示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
参照图1,为本发明的一个实施例,该实施例提供了一种基于机器视觉的钢桶螺纹盖位姿识别方法。
本发明视觉系统的硬件部分由相机100、上位机(直接发出操控命令的计算机)、传送带200、机械臂300以及末端执行器301等相关硬件组成,相机100通过相机支架101进行安装固定,且相机100位于传送带200的正上方,用于拍摄钢桶螺纹盖400的俯视图,整个视觉系统布局如图1所示。
本发明所述基于机器视觉的钢桶螺纹盖位姿识别方法包括钢桶螺纹盖400中心位置的确定和钢桶螺纹盖400摆放角度的确定。
一、钢桶螺纹盖400中心位置的确定
由于钢桶螺纹盖400的图像为一个标准的圆形,并且抓取点就是钢桶螺纹盖400的中心位置即圆心的坐标,因此可以提取钢桶螺纹盖400的外轮廓曲线,通过逐点扫描,利用垂径定理,得出圆心的坐标。并且要求外轮廓曲线为单像素边界,且整幅图像中不含有其他噪声,以免在扫描的过程中把噪声误认为钢桶螺纹盖400边界像素,而导致定位的失败。因此整个图像的预处理过程十分重要。
1、图像的预处理
由相机100获取的原始图像包含有较多的噪声,为了能够有效精确地进行定位,需要对图像进行预处理,主要包括图像的灰度化、锐化滤波、二值化、去噪和边缘检测。
(1)图像的灰度化
图像灰度化采用RGB三原色加权取平均值的方式,其转换的数学表达式为:
Gray=R×0.299+G×0.587+B×0.114 (1)
如图2所示为将原始彩色图像转换后的灰度图像。
(2)图像的锐化
由于成像机理和成像设备的限制,所成的图像可能会模糊,因此需要进行图形的锐化,增强图像的边缘和细节,减弱或清除灰度变化缓慢的区域,以便于在定位和后续提取内部直线特征时得到更加精确的结果;但是图像在锐化的同时,也放大了噪声,因此后续还要进行去噪处理。图像的锐化主要采用差分算子,常用的差分算子包括一阶差分算子和二阶差分算子;一阶差分算子利用图像梯度突出边缘和细节,主要用于图像的边缘检测;二阶差分算子是线性算子,通过线性算子提取的边缘和细节叠加在原图像上,主要用于图像的边缘增强;本发明中该步主要为了增强图像的边缘信息,因此选择二阶差分算子。拉普拉斯算子是常用的线性二阶微分算子。二维函数f(x,y)的拉普拉斯变换定义为:
对于二维离散函数,常用二阶差分近似二阶偏导数。因此,数字图像f(x,y)的拉普拉斯变换定义为:
式中,Δ2fx(x,y)表示X方向上的二阶差分,Δ2fy(x,y)表示Y方向上的二阶差分,其定义为:
Δ2fx(x,y)=f(x+1,y)+f(x-1,y)-2f(x,y) (4)
Δ2fy(x,y)=f(x,y+1)+f(x,y-1)-2f(x,y) (5)
将式(4)、(5)代入式(3)中可得,数字图像f(x,y)的拉普拉斯变换可由下式表示:
同时将两个对角方向也加入到拉普拉斯的定义中,其对应二阶差分模板为8邻域,中心系数为正值的拉普拉斯算子:
将该模板与图像进行空域卷积得到拉普拉斯线性滤波后的图像,再将该图像叠加在原始图像上,可以得到锐化滤波后的图像;如图3所示,与图2对比可以看出,钢桶螺纹盖400的特征信息得到了明显的加强。
(3)二值化图像
为了将图像中的目标区域和背景区域分割开来,提取图像中的目标工件(钢桶螺纹盖400)信息,需要对图像进行分割操作,本发明选用基于灰度直方图的全局阈值分割方法;根据图4的灰度直方图所示,横坐标显示的是归一化的结果,从图中可以看出两个波峰之间的波谷的估值约为0.19,此处可以选择阈值为波谷处灰度值0.19*256≈49,能够较好地将目标工件信息从背景中提取出来。钢桶螺纹盖400的灰度直方图及对应的二值化图像如图4、图5所示。
(4)去噪
在图像的获取和传输阶段,由于图像传感器等硬件自身的质量因素及环境条件,会产生一系列的噪声对图像的识别产生影响,同时锐化的过程中也对噪声起到了放大的作用,因此必须对图像进行去噪处理。在钢桶螺纹盖400中心位置确定阶段,不需要钢桶螺纹盖400的内部信息,因此只要去掉目标工件外部的噪声信息就可以达到定位算法的要求。
首先对图像进行形态学处理,利用形态学填充,将钢桶螺纹盖400变成一个实心圆形,使得整个钢桶螺纹盖400图像变为一个大的连通域,由于噪声的面积较小,因此可以通过面积阈值分割,彻底地去除钢桶螺纹盖400外部的杂质噪声。如图6所示,从图中可以明显看出,钢桶螺纹盖400外部的噪声被明显的去除了。
(5)边缘检测
经过上述处理后的图像只包含一个连通域,可以通过边缘检测算子方便地检测出外轮廓曲线,常用的边缘检测算子主要有Robert算子、Sobel算子、Prewitt算子、Canny算子等,其中Canny算子采用双阈值法检测及连接边缘,可以形成闭合、连通且单像素宽度的边缘,满足要求,因此本发明采用Canny算子边缘检测,检测流程如图7;提取钢桶螺纹盖400的边缘如图8所示:
2、工件中心定位
在经过上述的图像预处理之后,获取了钢桶螺纹盖400的外轮廓曲线,由于外轮廓是一个标准的圆形,可以通过圆的垂径定理确定圆心的位置,即钢桶螺纹盖400抓取点的位置。
定义图像像素坐标系原点位于图像的左上角,图像上的像素点坐标为(x,y),选定图像的某一高度,为了保证一定扫描到钢桶螺纹盖400的外轮廓,这里选定图像中间位置的高度作为扫描高度,沿水平方向从左到右扫描,并记录下来扫描到的两个点的横坐标,即x1,x2;同理,沿竖直方向,从上到下扫描图像,并记录下扫描到的两个点的纵坐标,即y1,y2。则由垂径定理可得,圆心坐标为:
根据上式,即可得到钢桶螺纹盖400中心在图像像素坐标系下的坐标,再通过相机100的标定得到钢桶螺纹盖400中心在机器人基坐标系下的X-Y平面的坐标,识别到的钢桶螺纹盖400中心位置如图9所示。
二、钢桶螺纹盖摆放角度的确定
根据机械臂300及其末端执行器301的抓取要求,除了需要给出中心位置信息之外,还需要将摆放角度的信息反馈给机器人控制器,这样才能实现抓取;从图3可以看出,钢桶螺纹盖400内部有两条明显的直线特征,因此我们可以提取钢桶螺纹盖400内部的直线特征,求出直线的倾斜角度,就可以求出钢桶螺纹盖400的摆放角度。
1、Hough(霍夫)变换理论基础
在图像处理中,Hough(霍夫)变换是最为常用的一种直线特征检测方法,具有优异的鲁棒性和极佳的抗干扰能力,目前已经广泛地应用于基于机器视觉的目标特征检测中,Hough(霍夫)变换的本质是一种从图像空间到参数空间的映射关系,将图像空间中的特征信息映射到参数空间,下面简要介绍Hough直线检测原理。
在图像空间中所有过点(x,y)的直线,都可以通过直线的斜截式来表示,如式(9)所示,
y=kx+b (9)
式中,k为直线的斜率,b为直线截距,可以将其转化为式(10)
b=-kx+y (10)
这样就可以将原图像空间的直线转化为k-b空间,即图像空间中过任一点的直线簇都可以表示为k-b空间中的一条直线,则原图像空间中的共线的点在k-b空间中表示的直线必然交于同一点,因此我们可以通过判断k-b空间相较于同一点的直线的个数,来确定图像空间有多少点共线,以此来检测直线特征。由于直线的斜率存在无穷大的情况,因此我们将原图像空间直线方程转化为用极径和极角来表示,如式(11)所示:
ρ=xcosθ+ysinθ (11)
式中参数ρ和θ分别表示直线距原点的法线距离和法线与X轴的夹角,将其转化到ρ-θ空间可得,每一对(ρ,θ)代表一条通过点(x,y)的直线;如图10所示,实现了直角坐标系下的点映射到参数空间极坐标系下的一条曲线,直角坐标系下一条直线映射为参数空间极坐标下一簇具有公共点的曲线。
2、直线特征提取
将锐化后的图像首先进行Canny算子边缘检测,得到含有钢桶螺纹盖400内部信息的二值图像,再利用上述Hough(霍夫)变换的性质,提取内部的直线特征。为提高效率,我们对于Canny算子边缘检测后的图像提取以钢桶螺纹盖400中心为圆心的一个圆形ROI(感兴趣区域)保证其包含内部直线特征,同时减少了Hough(霍夫)变化需要检测的像素数,提高了效率,如图11所示;
对提取ROI(感兴趣区域)后的图像进行Hough(霍夫)直线检测:
(1)定义参数ρ和θ值域,并确定参数θ的采样间隔为0.1°;
(2)对于原图像空间中的点(x,y),通过θ,利用公式(6)根据采用间隔编取ρ,做出ρ-θ图像,并记录出相交于同一点最多的参数ρ1和θ1的值;
(3)由参数ρ1和θ1的值反求出直线的方程;利用反三角函数得出直线的倾斜角度。
转化到参数空间极坐标下的图像,及检测出的直线特征如图12所示。
当求出直线的方程之后可以得到曲线的斜率k,当k为无穷大时认为设定直线的倾斜角度为90°,当k不是无穷大时,利用反三角函数即可求出直线与X轴正方向的夹角。由于钢桶螺纹盖400是轴对称图像,所以摆放角度的取值范围是0°~180°。
由上述分析我们可以分别得出钢桶螺纹盖400中心在图像像素坐标系下的坐标,及钢桶螺纹盖400的摆放角度,再通过相机100的标定即可求出其在机器人基坐标系下的X-Y平面的坐标,由于传送带的高度固定,因此Z轴的信息可以人为给定,故可以获取其完整的位姿信息,并将位姿信息通过上位机发送给机器人控制器,控制机械臂300进行钢桶螺纹盖400的精确抓取。整个位姿识别算法的流程如图13所示。
在本发明中,上述相机100的标定方法如下所述:
相机100的标定是指得到空间的中物体某点的位置信息与其在图像对应点像素坐标信息之间的转换关系的过程。
在经过上述的图像处理之后,我们可以得到钢桶螺纹盖400特征点在图像像素坐标系下的坐标,但由于机器人并不能识别像素坐标,所以需要转化为机器人基坐标系下的坐标。
本视觉系统采用单目相机固定安装,且相机100垂直钢桶螺纹盖400表面放置,在不考虑Z轴的情况下,假设机器人基坐标系为A,相机100像素坐标系为B,如图14所示。由图可知,坐标系A先沿自身坐标系X轴移动x0,再沿Y轴移动y0,之后再绕自身Z轴旋转θ,即可得到坐标系B。
则转换矩阵H:
所以像素坐标系下某点P(u,v)在机器人基坐标系下的坐标为:
其中cθ、sθ分别表示sinθ、cosθ,αx、αy分别表示像平面u方向和v方向上的尺度因子。
由上述可得:
令:
上式(15)变为:
共有6个未知数,带入三组数据点即可求出线性方程组的解,从而完成单目固定安装相机100与机器人基坐标系的标定。
本发明采用Staubli工业6轴机器人和大恒水晶系列MER-030-120UC工业相机进行标定,标定软件自行编写。
标定过程的具体步骤如下:
S1:选择一张标定板(或其他可以轻易得到角点像素坐标的板,这个选择标定板);
S2:在机器人某端安装尖点;
S3:用机器人尖点去碰相机100视野范围内的标定板上的三个点(角点),三点尽量不在同一条直线上,且间隔较远;记录下三个点在机器人基坐标系下的三个坐标值;
S4:用相机100拍摄一张照片,得到这三个点的像素坐标。
得到数据后带入方程求解出相应参数,即完成相机100的标定,从而实现图像像素坐标系到机器人基坐标系之间的转换。
利用上述钢桶螺纹盖400位姿识别算法识别6组不同姿态的钢桶螺纹盖400位姿信息,结果如下表1所示。
表1.6组不同姿态钢桶螺纹盖位姿信息
重要的是,应注意,在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案,但参阅此公开内容的人员应容易理解,在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下,许多改型是可能的(例如,各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如,温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如,示出为整体成形的元件可以由多个部分或元件构成,元件的位置可被倒置或以其它方式改变,并且分立元件的性质或数目或位置可被更改或改变。因此,所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中,任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构,且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下,可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此,本发明不限制于特定的实施方案,而是扩展至仍落在所附的权利要求书的范围内的多种改型。
此外,为了提供示例性实施方案的简练描述,可以不描述实际实施方案的所有特征(即,与当前考虑的执行本发明的最佳模式不相关的那些特征,或于实现本发明不相关的那些特征)。
应理解的是,在任何实际实施方式的开发过程中,如在任何工程或设计项目中,可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的,但对于那些得益于此公开内容的普通技术人员来说,不需要过多实验,所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.一种基于机器视觉的钢桶螺纹盖位姿识别方法,其特征在于:包括,
利用相机(100)采集放置于传送带(200)上的钢桶螺纹盖(400)的俯视图图像,并对图像先后进行灰度化和锐化处理;
所述图像灰度化处理采用RGB三原色加权取平均值的方式进行转换,将原始彩色图像转换为灰度图像;
所述图像锐化处理采用二阶差分算子来增强图像的边缘信息;采用基于灰度直方图的全局阈值分割方法对经过锐化处理之后的图像进行分割操作,提取出图像中的钢桶螺纹盖(400)信息,以得到所述钢桶螺纹盖(400)的灰度直方图及对应的二值化图像;对所述二值化图像进行形态学处理,利用形态学填充,将所述钢桶螺纹盖(400)图像处理成一个实心的圆形,并通过面积阈值分割,去除所述钢桶螺纹盖(400)外部的杂质噪声,以得到一个圆形连通域;对所述圆形连通域进行边缘检测,以检测出其外轮廓曲线,并通过垂径定理确定圆心的位置,钢桶螺纹盖(400)圆心就是其中心位置;以及,
将锐化后的图像进行边缘检测,以得到含有钢桶螺纹盖(400)内部信息的二值图像,包括canny算子边缘检测后的图像提取以钢桶螺纹盖(400)中心为圆心的一个圆形ROI,所述圆形ROI包含所述钢桶螺纹盖(400)的内部直线特征;
并采用直线特征检测方法提取所述钢桶螺纹盖(400)的内部直线特征,得出所述钢桶螺纹盖(400)中心在图像像素坐标系下的坐标,以及所述钢桶螺纹盖(400)的摆放角度;
在得到所述钢桶螺纹盖(400)中心在图像像素坐标系下的坐标基础上,再结合相机(100)的标定得到钢桶螺纹盖(400)中心在机器人基坐标系下的X-Y平面的坐标;
所述直线特征检测方法采用Hough(霍夫)变换,对提取所述圆形ROI后的图像进行Hough直线检测,求出图像空间直线的方程,从而得到直线的斜率,并利用反三角函数得出直线的倾斜角度。
2.如权利要求1所述的基于机器视觉的钢桶螺纹盖位姿识别方法,其特征在于:在得出所述钢桶螺纹盖(400)中心在图像像素坐标系下的坐标,以及所述钢桶螺纹盖(400)的摆放角度之后,通过相机(100)的标定求出其在机器人基坐标系下的X-Y平面的坐标,以获取其完整的位姿信息,并将位姿信息通过上位机发送给机器人控制器,控制机械臂(300)及其末端执行器(301)对所述钢桶螺纹盖(400)进行抓取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810195723.XA CN108416809B (zh) | 2018-03-09 | 2018-03-09 | 一种基于机器视觉的钢桶螺纹盖位姿识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810195723.XA CN108416809B (zh) | 2018-03-09 | 2018-03-09 | 一种基于机器视觉的钢桶螺纹盖位姿识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108416809A CN108416809A (zh) | 2018-08-17 |
CN108416809B true CN108416809B (zh) | 2023-08-22 |
Family
ID=63130792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810195723.XA Active CN108416809B (zh) | 2018-03-09 | 2018-03-09 | 一种基于机器视觉的钢桶螺纹盖位姿识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108416809B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102507A (zh) * | 2018-08-28 | 2018-12-28 | 珠海格力智能装备有限公司 | 螺钉螺纹检测方法以及装置 |
CN109093625A (zh) * | 2018-09-11 | 2018-12-28 | 国网山东省电力公司莱芜供电公司 | 一种用于机器人巡航的直线路径视觉识别方法 |
CN109358067A (zh) * | 2018-11-30 | 2019-02-19 | 桂林电子科技大学 | 基于计算机视觉的马达环形压敏电阻缺陷检测系统及方法 |
CN109631847B (zh) * | 2018-12-03 | 2020-08-07 | 易思维(天津)科技有限公司 | 一种基于点云数据的含螺纹目标物位姿的计算方法 |
CN110110760A (zh) * | 2019-04-17 | 2019-08-09 | 浙江工业大学 | 一种基于机器视觉的工件定位与识别方法 |
CN111784766B (zh) * | 2020-06-08 | 2024-05-24 | 易思维(杭州)科技股份有限公司 | 一种含螺纹目标物位姿的计算方法 |
WO2022032648A1 (zh) * | 2020-08-14 | 2022-02-17 | 常州机电职业技术学院 | 基于机器视觉的3362电位器机械角度复位系统及复位方法 |
CN112454350B (zh) * | 2020-10-19 | 2022-04-29 | 中国电子科技集团公司第三十八研究所 | 一种多层无序物料的高精度快速视觉定位系统及方法 |
CN112378338B (zh) * | 2020-11-25 | 2022-10-14 | 上海里莱技术服务中心 | 一种基于Hough变换的外螺纹检测方法 |
CN112720408B (zh) * | 2020-12-22 | 2022-07-08 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
CN113902667B (zh) * | 2021-08-23 | 2022-06-14 | 浙大宁波理工学院 | 一种用于机器视觉的螺纹旋向识别方法与系统 |
CN114392928A (zh) * | 2021-12-20 | 2022-04-26 | 武汉华工赛百数据系统有限公司 | 一种基于视觉识别的机器人分拣中控系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945368A (zh) * | 2012-10-17 | 2013-02-27 | 西安理工大学 | 啤酒瓶盖激光字符的定位识别方法 |
CN106846404A (zh) * | 2017-01-16 | 2017-06-13 | 河海大学常州校区 | 一种基于工件内外轮廓几何特征的快速位姿检测方法 |
CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
CN107066998A (zh) * | 2016-12-30 | 2017-08-18 | 山东鲁能软件技术有限公司 | 一种利用移动设备的指针式圆形单仪表盘实时识别方法 |
-
2018
- 2018-03-09 CN CN201810195723.XA patent/CN108416809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945368A (zh) * | 2012-10-17 | 2013-02-27 | 西安理工大学 | 啤酒瓶盖激光字符的定位识别方法 |
CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
CN107066998A (zh) * | 2016-12-30 | 2017-08-18 | 山东鲁能软件技术有限公司 | 一种利用移动设备的指针式圆形单仪表盘实时识别方法 |
CN106846404A (zh) * | 2017-01-16 | 2017-06-13 | 河海大学常州校区 | 一种基于工件内外轮廓几何特征的快速位姿检测方法 |
Non-Patent Citations (1)
Title |
---|
基于单目视觉的目标位姿识别与机器人抓取引导;朱正伟;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20151215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108416809A (zh) | 2018-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108416809B (zh) | 一种基于机器视觉的钢桶螺纹盖位姿识别方法 | |
CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
CN106934803B (zh) | 电子器件表面缺陷的检测方法及装置 | |
CN110163853B (zh) | 一种边缘缺陷的检测方法 | |
CN108921865B (zh) | 一种抗干扰的亚像素直线拟合方法 | |
CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
CN106683075B (zh) | 一种输电线杆塔横担处螺栓缺陷检测方法 | |
CN108416355B (zh) | 一种基于机器视觉的工业现场生产数据的采集方法 | |
CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
CN110807355A (zh) | 一种基于移动机器人的指针仪表检测与读数识别方法 | |
CN111667475B (zh) | 一种基于机器视觉的大枣分级检测方法 | |
CN113077437B (zh) | 工件质量检测方法及其系统 | |
CN112053376A (zh) | 一种基于深度信息的工件焊缝识别方法 | |
CN111652844B (zh) | 一种基于数字图像区域增长的x射线缺陷检测方法及系统 | |
CN110648330A (zh) | 摄像头玻璃的缺陷检测方法 | |
CN110009615A (zh) | 图像角点的检测方法及检测装置 | |
CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
CN115661110A (zh) | 一种透明工件识别与定位的方法 | |
CN110288619B (zh) | 基于视觉的太阳花模组表面螺钉孔位置检测方法 | |
CN117689716B (zh) | 板件视觉定位识别抓取方法、控制系统及板件生产线 | |
CN114998571A (zh) | 基于固定尺寸标志物的图像处理及颜色检测方法 | |
CN107248151B (zh) | 一种基于机器视觉的液晶片智能检测方法及系统 | |
CN116594351A (zh) | 一种基于机器视觉的数控加工单元系统 | |
CN111539951A (zh) | 一种陶瓷砂轮头轮廓尺寸视觉检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |