CN114821114A - 一种基于视觉系统的坡口切割机器人图像处理方法 - Google Patents
一种基于视觉系统的坡口切割机器人图像处理方法 Download PDFInfo
- Publication number
- CN114821114A CN114821114A CN202210313898.2A CN202210313898A CN114821114A CN 114821114 A CN114821114 A CN 114821114A CN 202210313898 A CN202210313898 A CN 202210313898A CN 114821114 A CN114821114 A CN 114821114A
- Authority
- CN
- China
- Prior art keywords
- image
- workpiece
- contour
- gray
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明提供了一种基于视觉系统的坡口切割机器人图像处理方法，属于视觉坡口机器人图像处理技术领域。解决了传统切割质量差、效率低的问题。其技术方案为：包括以下步骤：S1、图像采集与拼接；S2、对目标区域工件的提取；S3、目标区域最优轮廓的获取；S4、视觉标定；S5、工件轮廓匹配。本发明的有益效果为：本发明添加了视觉信息采集系统，能自动识别工件的形状和摆放姿态，避免了示教机器人的示教再现的过程，增加了工作的灵活性，提高了工作效率。
Description
技术领域
本发明涉及视觉坡口机器人图像处理技术领域，尤其涉及一种基于视觉系统的坡口切割机器人图像处理方法。
背景技术
目前在工业生产中，工件坡口的切割主要采用手工切割和半自动切割的方式，这些传统的切割方式已经不能满足现代工业生产要求的高效率、高质量和降低工人劳动强度的要求，因此对具有自动识别工件位置、自动进行切割的坡口切割机器人的研究具有重要的意义。
现有技术的缺陷和不足：(1)轮廓提取精度的影响：在提取待识别工件轮廓的过程中，需要对图像进行阈值分割、形态学处理以及边缘检测等操作，这些操作是否得当会对最终得到的工件轮廓与标准轮廓间的相似程度有一定的影响。(2)轮廓跟踪算法的影响：提取出的工件轮廓中会存在一定数量的奇异点，这些奇异点会影响对轮廓跟踪的准确性和效率，虽然采用的轮廓跟踪算法对奇异点有着较好的去除效果，但不能保证对每个轮廓中的奇异点都能完全去除，奇异点的存在会对最终的匹配精度产生影响。(3)Hu矩算法的局限性：Hu矩原理相对简单，但计算出的冗余信息过多，会占据大量的存储空间；同时Hu矩不能直接对图像轮廓进行特征描述，必须在其他算法提取、突出图像轮廓的前提下方能进行计算匹配，对于图像的质量要求较高。(3)轮廓最小外切矩形求取精度的影响：在求取轮廓最小外切矩形时，外切矩形的面积越小，轮廓的主轴方向越接近图像的坐标轴。所以最小外切矩形的计算越准确，对轮廓主轴规范化的程度才能越高，获得的归一化连码直方图会更准确，这也是影响轮廓匹配精度的因素。
发明内容
本发明的目的在于提供一种基于视觉系统的坡口切割机器人图像处理方法，采用图像处理技术对视觉系统采集的工件图像进行处理，识别出工件的摆放姿态，提取出工件的轮廓信息，得到对工件边缘的切割轨迹，控制机器人对工件进行坡口切割，可有效提高系统对工件以及周围环境变化的适应性，避免示教再现的操作流程，从而实现工业生产中工件坡口的自动化切割。
本发明的思想为：本发明提供了一种基于视觉系统的坡口切割机器人图像处理方法，包括图像拼接、工件图像轮廓提取和轮廓匹配的方法，通过实验验证了所用方法的可行性。主要完成了以下工作：
(1)针对坡口切割机器人中的图像处理相关技术，研究了图像拼接、轮廓提取以及轮廓匹配的研究现状，总结了坡口切割机器人中工件图像轮廓提取与匹配技术的流程，分析了相机成像模型的相关理论，为图像拼接做了准备。
(2)对图像拼接技术进行了研究，分析了图像拼接的基本流程，图像配准和图像融合的方法，深入研究了SIFT算法的原理，利用SIFT算法提取出了工件图像的特征点，用kd-tree数据结构对特征集合进行分类索引，通过最近邻比值法进行了特征点的初始匹配，再利用RANSAC算法进行筛选并计算出图像间的变换矩阵，实现了图像的配准，最后利用加权平均法对图像的重叠区域进行融合，得到了完整的切割平台图像。
(3)在轮廓提取方面，针对采集到的工件图像中存在噪声的问题，对图像进行了相应的预处理操作，针对本发明中的工件图像的特点，采用最大类间方差法(Ostu)进行图像分割，得到了较好的分割效果，对多种边缘检测算子进行了分析比较，选择了边缘检测效果较好的Canny算子来检测工件的边缘，最后利用Freeman链码跟踪的方法对提取出的轮廓点进行跟踪，针对跟踪过程中存在奇异点的问题，给出了消除奇异点的轮廓跟踪算法，得到了封闭的、单像素宽的轮廓，跟踪效果较好。
(4)研究了基于几何不变矩(Hu矩)的轮廓匹配方法，利用Hu矩在描述形状平移、旋转、缩放等变换具有不变性的特点下，对图像灰度的分布信息进行统计并对其个阶矩进行计算，从而实现矩对图灰度图像的描述，完成工件轮廓与cad模板的匹配，实验结果表明该方法对于工件的轮廓匹配有较好的匹配效果，满足匹配要求的精度。
(5)对于匹配过程中形状相同但尺寸不同的错误匹配问题，通过计算轮廓的面积来进行错误匹配的筛选，最终完成了待识别工件轮廓与模板库中轮廓模板的匹配。
本发明是通过如下措施实现的：一种基于视觉系统的坡口切割机器人图像处理方法，包括以下步骤：
步骤一、图像采集与拼接
对于图像的采集，本发明使用的方法是采用一台CCD相机对切割平台进行垂直拍摄，通过移动机器人连续采集图像，将切割平台上的全部工件的图像进行采集，对于采集好的多幅图像，还需要采取一定的配准策略进行图像融合来完成拼接，本发明采用基于特征提取的SIFT算法对采集的图像进行拼接，首先利用SIFT算法提取出工件图像的特征点，为每一个特征点分配一个主方向和辅方向；接着引入kd-tree数据结构对分配好的特征信息进行分类索引，开始搜索特征匹配对，并根据最近邻和次近邻比值进行筛选，得到初始的特征匹配对；为了减少初步筛选出的错误匹配对，采用RANSAC算法去除错误的匹配对，并给出图像之间的变换矩阵，在使用变换矩阵将图像变换至同一坐标系下，进行融合，对于多幅图像融合存在的亮度差异，采用加权平均算法对重叠区域进行优化，完成图像的拼接；
步骤二，对目标区域工件的提取
对于深度相机采集到的深度图像，首先要进行灰度化处理，考虑到彩色图像中三分量的差异，本发明采用加权平均法，将三个分量以不同的权值进行加权平均，计算深度图像的灰度值，输出深度图像的灰度图像，完成深度图的灰度化处理，基于灰度图像，采用高斯滤波进行平滑滤波，对平滑好的图像借助imlab软件求解出工件灰度图的直方图，但经过平滑处理的图像会使工件部分轮廓边缘模糊，在求解的直方图上体现为灰度值过于集中，为了改善灰度图像的呈现效果，采用直方图均衡化技术加大工件图像的对比度，在均衡化灰度直方图中，应用Otsu法的最大类间方差原理，遍历0-255个灰度级，求出使类间方差值σ最大时的灰度级，并以此确立为最佳分割阈值T，在整个图像中将各个点的灰度值与分割阈值作比较，大于分割阈值的点认定为工件的轮廓点，设置为白色，设置灰度值为255，否则认定为背景，设置为黑色，设置灰度值为0，得到相对较好的目前区域二值图，经过像素值变化，使黑色北京像素灰度值设为0，白色工件区域的像素灰度值为1，重新得到灰度值只有1和0的工件目标图像，然后把增强后的工件灰度图经过尺寸变换成与深度图相同大小的规格，最后与只含0和1的灰度图进行相乘运算，可以去除工件图像中的大部分背景，得到相对较好的灰度目标区域图像；通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进行二值化分割,获得工件深度图的目标区城，针对工件灰图,进行高斯滤波处理与直方图均衡化，突出工件边缘信息，然后深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度图进行相乘,去除大部分背景噪声，留下仅含工件的目标区域；
步骤三，目标区域最优轮廓的获取
对于图像轮廓边缘的检测，综合对比常用的几种边缘梯度算子，本发明使用canny算子作为主要的边缘检测法，在高斯滤波的二值化图像已去除大部分噪声的基础上，使用一阶差分近似微分的方法计算图像内每一个点的局部梯度与边缘方向，采用非极大值抑制梯度，细化图像边缘的宽度，采用双阈值法的输出强、弱边缘，完成边缘检测；本发明借助于Freeman链码表示出工件轮廓点的坐标，以行扫描的方式先确定一轮廓起始像素点，将起始像素点做标记，然后扫描该像素点的8临域，若在该像素点右上方临域内有一个轮廓点，则将该轮廓点信息记为1，若是在起始像素点正下方临域内有一个轮廓点，则将该轮廓点信息记为6，再以刚找到的轮廓点为扫描中心,继续对其临域进行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描下去，直到循环扫描到最开始做标记的起始轮廓点，则跟踪结束；当图像中的轮廓个数不只一个时，需要经所有的轮廓都能跟踪存储下来，先跟踪第一个轮廓，该轮廓跟踪结束后将其信息存储并将该轮廓置为背景，继续进行行扫描进行下一个轮廓的跟踪，直到将所有的轮廓都跟踪完毕，但通常情况下在跟踪轮廓时常常会遇到三种奇异点：孤立点、毛刺点、断点，可在Freeman链码采取有效的算法来进行优化：对于孤立点，可直接将其像素值置为0；对于毛刺点，可先将追踪到的点像素置为0，便可将多出的毛刺点看做是孤立点处理，再将置为背景的点像素置为1；对于断点，可扩大其搜索区域，一般可扩大5个像素，使用直线连接至最近的像素点，完成断点的处理，采用上述的办法即可对提取的工件轮廓进行追踪，得到高精度的单像素宽度的工件轮廓边缘，得出canny算子对工件的轮廓提取效果较好，对灰度的目标区域进行canny算子边缘提取与轮廓曲线的平滑,作为图像外轮廓；工件灰度图目标区域进行大核高斯滤波进行平滑,使用canny算子的边缘提取出轮廓，以此作为内轮廓,并行内外轮廓的优化,得到较为精确的工件目标区域的边缘轮廓；
步骤四、视觉标定
以相机的投影成形原理为基础，本发明采用平面棋盘标定法求解相机的内参数，即通过提取棋盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f，k，Sx,Sy,Cx,Cy)，基于求解得到的相机内参数，利用相同的标定块对左右相机进行测量，得到左右机的高度差，完成两相机在世界坐标系下平移关系的转换，完成相机的标定，降低了相机的成像误差，进一步求解机器人的世界坐标系与相机成像的像素坐标映射关系，完成图标坐标系至世界坐标系的转换，实现机器人的手眼标定，使设备按图行走；通过对相机模型的分析,进行相机内参的标定,利用得到的相机内参数进行左右机之间的标定与重合图像成像区域的拼接原理分析，最后相机的标定后,还进行机器人的手眼标定,使图像坐标系与机器人执行末端联系起来,实现设备按图行走；
步骤五、工件轮廓匹配
对于工件CAD模板的匹配，则借助于前期最优轮廓获取的工作基础：单像素高精度的工件轮廓边缘；对处理得到的工件轮廓与cad模板轮廓各自进行Hu矩的计算与匹配，设置工件与CAD模板的Hu矩的相似度为0.0180968，寻找出与之对应的CAD模板，并比较实际工件轮廓面积与cad模板面积来避免形状相同、尺寸不同的应用工况，最终确定CAD模板的切割工艺参数，从而纠正机械臂的行走路线，实现精准切割；依据左右成像重叠区域的拼接原理,对最优轮廓进行拼接,得到工件的完整缘轮廓图。对于工件CAD模板,进行边缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配；工件与应CAD模板的Hu矩的相似度为0.0180968,能够有效地找到与之对应的模板,获得CAD模板的切割工艺参数,修正工件的实际轮廓信息,以此来进行切路径规划,实现了全自动切割。
与现有技术相比，本发明的有益效果为：
1、本发明相对于传统的坡口切割技术，可实现零件自动定位、类型自动识别、参数自动适配、全自动坡口切割等功能。
2、本发明相对于一般的视觉系统，图像拼接误差±0.1毫米，系统完整处理时间平均为2.3分钟，引导坡口切割路径误差小于2毫米，一般切割误差为±4毫米左右。
3、本发明采用的视觉信息采集系统避免了示教机器人的示教再现的过程，增加了工作的灵活性，提高了工作效率。
4、本发明和半自动切割方式相比，采用6轴联动的方式，能完成更复杂的空间曲线运动，实现复杂形状的工件坡口切割，甚至是变坡口切割。
5、本发明主要用于零件的坡口切割，相对于采用套料软件的整板切割方式，提高了钢板的利用率，减少了钢材的损耗。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明中视觉系统的坡口切割机器人系统组成的电原理图。
图2为本发明中视觉系统的坡口切割机器人图像处理流程图。
图3为本发明中工件轮廓提取与匹配流程图。
图4为本发明中视觉坡口切割机器人中工件轮廓提取流程图。
图5为本发明中图像拼接流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例
参见图1至图5，本发明提供其技术方案为，一种基于视觉系统的坡口切割机器人图像处理方法，包括以下步骤：
步骤一、图像采集与拼接
对于图像的采集，本发明使用的方法是采用一台CCD相机对切割平台进行垂直拍摄，通过移动机器人连续采集图像，将切割平台上的全部工件的图像进行采集，对于采集好的多幅图像，还需要采取一定的配准策略进行图像融合来完成拼接，本发明采用基于特征提取的SIFT算法对采集的图像进行拼接，首先利用SIFT算法提取出工件图像的特征点，为每一个特征点分配一个主方向和辅方向；接着引入kd-tree数据结构对分配好的特征信息进行分类索引，开始搜索特征匹配对，并根据最近邻和次近邻比值进行筛选，得到初始的特征匹配对；为了减少初步筛选出的错误匹配对，采用RANSAC算法去除错误的匹配对，并给出图像之间的变换矩阵，在使用变换矩阵将图像变换至同一坐标系下，进行融合，对于多幅图像融合存在的亮度差异，采用加权平均算法对重叠区域进行优化，完成图像的拼接；
步骤二，对目标区域工件的提取
对于深度相机采集到的深度图像，首先要进行灰度化处理，考虑到彩色图像中三分量的差异，本发明采用加权平均法，将三个分量以不同的权值进行加权平均，计算深度图像的灰度值，输出深度图像的灰度图像，完成深度图的灰度化处理，基于灰度图像，采用高斯滤波进行平滑滤波，对平滑好的图像借助imlab软件求解出工件灰度图的直方图，但经过平滑处理的图像会使工件部分轮廓边缘模糊，在求解的直方图上体现为灰度值过于集中，为了改善灰度图像的呈现效果，采用直方图均衡化技术加大工件图像的对比度，在均衡化灰度直方图中，应用Otsu法的最大类间方差原理，遍历0-255个灰度级，求出使类间方差值σ最大时的灰度级，并以此确立为最佳分割阈值T，在整个图像中将各个点的灰度值与分割阈值作比较，大于分割阈值的点认定为工件的轮廓点，设置为白色，设置灰度值为255，否则认定为背景，设置为黑色，设置灰度值为0，得到相对较好的目前区域二值图，经过像素值变化，使黑色北京像素灰度值设为0，白色工件区域的像素灰度值为1，重新得到灰度值只有1和0的工件目标图像，然后把增强后的工件灰度图经过尺寸变换成与深度图相同大小的规格，最后与只含0和1的灰度图进行相乘运算，可以去除工件图像中的大部分背景，得到相对较好的灰度目标区域图像；通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进行二值化分割,获得工件深度图的目标区城，针对工件灰图,进行高斯滤波处理与直方图均衡化，突出工件边缘信息，然后深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度图进行相乘,去除大部分背景噪声，留下仅含工件的目标区域；
步骤三，目标区域最优轮廓的获取
对于图像轮廓边缘的检测，综合对比常用的几种边缘梯度算子，本发明使用canny算子作为主要的边缘检测法，在高斯滤波的二值化图像已去除大部分噪声的基础上，使用一阶差分近似微分的方法计算图像内每一个点的局部梯度与边缘方向，采用非极大值抑制梯度，细化图像边缘的宽度，采用双阈值法的输出强、弱边缘，完成边缘检测；本发明借助于Freeman链码表示出工件轮廓点的坐标，以行扫描的方式先确定一轮廓起始像素点，将起始像素点做标记，然后扫描该像素点的8临域，若在该像素点右上方临域内有一个轮廓点，则将该轮廓点信息记为1，若是在起始像素点正下方临域内有一个轮廓点，则将该轮廓点信息记为6，再以刚找到的轮廓点为扫描中心,继续对其临域进行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描下去，直到循环扫描到最开始做标记的起始轮廓点，则跟踪结束；当图像中的轮廓个数不只一个时，需要经所有的轮廓都能跟踪存储下来，先跟踪第一个轮廓，该轮廓跟踪结束后将其信息存储并将该轮廓置为背景，继续进行行扫描进行下一个轮廓的跟踪，直到将所有的轮廓都跟踪完毕，但通常情况下在跟踪轮廓时常常会遇到三种奇异点：孤立点、毛刺点、断点，可在Freeman链码采取有效的算法来进行优化：对于孤立点，可直接将其像素值置为0；对于毛刺点，可先将追踪到的点像素置为0，便可将多出的毛刺点看做是孤立点处理，再将置为背景的点像素置为1；对于断点，可扩大其搜索区域，一般可扩大5个像素，使用直线连接至最近的像素点，完成断点的处理，采用上述的办法即可对提取的工件轮廓进行追踪，得到高精度的单像素宽度的工件轮廓边缘，得出canny算子对工件的轮廓提取效果较好，对灰度的目标区域进行canny算子边缘提取与轮廓曲线的平滑,作为图像外轮廓；工件灰度图目标区域进行大核高斯滤波进行平滑,使用canny算子的边缘提取出轮廓，以此作为内轮廓,并行内外轮廓的优化,得到较为精确的工件目标区域的边缘轮廓；
步骤四、视觉标定
以相机的投影成形原理为基础，本发明采用平面棋盘标定法求解相机的内参数，即通过提取棋盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f，k，Sx,Sy,Cx,Cy)，基于求解得到的相机内参数，利用相同的标定块对左右相机进行测量，得到左右机的高度差，完成两相机在世界坐标系下平移关系的转换，完成相机的标定，降低了相机的成像误差，进一步求解机器人的世界坐标系与相机成像的像素坐标映射关系，完成图标坐标系至世界坐标系的转换，实现机器人的手眼标定，使设备按图行走；通过对相机模型的分析,进行相机内参的标定,利用得到的相机内参数进行左右机之间的标定与重合图像成像区域的拼接原理分析，最后相机的标定后,还进行机器人的手眼标定,使图像坐标系与机器人执行末端联系起来,实现设备按图行走；
步骤五、工件轮廓匹配
对于工件CAD模板的匹配，则借助于前期最优轮廓获取的工作基础：单像素高精度的工件轮廓边缘；对处理得到的工件轮廓与cad模板轮廓各自进行Hu矩的计算与匹配，设置工件与CAD模板的Hu矩的相似度为0.0180968，寻找出与之对应的CAD模板，并比较实际工件轮廓面积与cad模板面积来避免形状相同、尺寸不同的应用工况，最终确定CAD模板的切割工艺参数，从而纠正机械臂的行走路线，实现精准切割；依据左右成像重叠区域的拼接原理,对最优轮廓进行拼接,得到工件的完整缘轮廓图。对于工件CAD模板,进行边缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配；工件与应CAD模板的Hu矩的相似度为0.0180968,能够有效地找到与之对应的模板,获得CAD模板的切割工艺参数,修正工件的实际轮廓信息,以此来进行切路径规划,实现了全自动切割。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视觉系统的坡口切割机器人图像处理方法，其特征在于，包括以下步骤：
S1、图像采集与拼接
对于图像的采集，采用一台CCD相机对切割平台进行垂直拍摄，通过移动机器人连续采集图像，将切割平台上的全部工件的图像进行采集，对采集的多幅图像，采用配准策略进行图像融合完成拼接，使用特征提取的SIFT算法对采集的图像进行拼接；
S2、对目标区域工件的提取
对于深度相机采集到的深度图像进行灰度化处理，由于彩色图像中三分量的差异，采用加权平均法，将三个分量以不同的权值进行加权平均，计算深度图像的灰度值，输出深度图像的灰度图像，完成深度图的灰度化处理；
S3、目标区域最优轮廓的获取
对于图像轮廓边缘的检测，综合对比边缘梯度算子，使用canny算子作为主要的边缘检测法，在高斯滤波的二值化图像已去除大部分噪声的基础上，使用一阶差分近似微分的方法计算图像内每一个点的局部梯度与边缘方向，采用非极大值抑制梯度，细化图像边缘的宽度，再采用双阈值法的输出强、弱边缘，完成边缘检测；
S4、视觉标定
以相机的投影成形原理为基础，采用平面棋盘标定法求解相机的内参数，通过提取棋盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f，k，Sx,Sy,Cx,Cy)，基于求解得到的相机内参数，利用相同的标定块对左右相机进行测量，得到左右机的高度差，完成两相机在世界坐标系下平移关系的转换，完成相机的标定，求解机器人的世界坐标系与相机成像的像素坐标映射关系，完成图标坐标系至世界坐标系的转换，实现机器人的手眼标定，使设备按图行走；
通过对相机模型的分析,进行相机内参的标定,利用得到的相机内参数进行左右机之间的标定与重合图像成像区域的拼接原理分析，相机的标定后,进行机器人的手眼标定,使图像坐标系与机器人执行末端联系,实现设备按图行走；
S5、工件轮廓匹配
对于工件CAD模板的匹配，借助于前期最优轮廓获取的工作基础：单像素高精度的工件轮廓边缘；对处理得到的工件轮廓与cad模板轮廓各自进行Hu矩的计算与匹配，设置工件与CAD模板的Hu矩的相似度为0.0180968，寻找出与之对应的CAD模板，并比较实际工件轮廓面积与cad模板面积，避免形状相同、尺寸不同的应用工况，最终确定CAD模板的切割工艺参数，纠正机械臂的行走路线，实现精准切割；
依据左右成像重叠区域的拼接原理,对最优轮廓进行拼接,得到工件的完整缘轮廓图，对于工件CAD模板,进行边缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配。
2.根据权利要求1所述的基于视觉系统的坡口切割机器人图像处理方法，其特征在于，所述步骤S1中,使用特征提取的SIFT算法对采集的图像进行拼接，具体包括以下步骤：
S11、利用SIFT算法提取出工件图像的特征点，为每一个特征点分配一个主方向和辅方向；
S12、紧接步骤S11，引入kd-tree数据结构对分配好的特征信息进行分类索引，开始搜索特征匹配对，并根据最近邻和次近邻比值进行筛选，得到初始的特征匹配对；
S13、为了减少初步筛选出的错误匹配对，采用RANSAC算法去除错误的匹配对，并给出图像之间的变换矩阵；使用变换矩阵将图像变换至同一坐标系下，进行融合，对于多幅图像融合存在的亮度差异，采用加权平均算法对重叠区域进行优化，完成图像的拼接。
3.根据权利要求1或2所述的基于视觉系统的坡口切割机器人图像处理方法，其特征在于，所述步骤S2中深度图的灰度化处理具体包括以下步骤：
S21、基于灰度图像，采用高斯滤波进行平滑滤波，对平滑好的图像借助imlab软件求解出工件灰度图的直方图，由于经过平滑处理的图像使工件部分轮廓边缘模糊，在求解的直方图上体现为灰度值过于集中，采用直方图均衡化技术加大工件图像的对比度，在均衡化灰度直方图中，应用Otsu法的最大类间方差原理，遍历0-255个灰度级，求出使类间方差值σ最大时的灰度级，并以此确立为最佳分割阈值T，在整个图像中将各个点的灰度值与分割阈值作比较，大于分割阈值的点认定为工件的轮廓点，设置为白色，设置灰度值为255，否则认定为背景，设置为黑色，设置灰度值为0，得到相对较好的目前区域二值图，经过像素值变化，使黑色北京像素灰度值设为0，白色工件区域的像素灰度值为1，重新得到灰度值只有1和0的工件目标图像，把增强后的工件灰度图经过尺寸变换成与深度图相同大小的规格，最后与只含0和1的灰度图进行相乘运算，去除工件图像中的背景，得到预期的灰度目标区域图像；
S22、通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进行二值化分割,获得工件深度图的目标区城，对工件灰图,进行高斯滤波处理与直方图均衡化，突出工件边缘信息，深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度图进行相乘,去除背景噪声，留下仅含工件的目标区域。
4.根据权利要求1-3任一项所述的基于视觉系统的坡口切割机器人图像处理方法，其特征在于，所述步骤S3中，借助于Freeman链码表示出工件轮廓点的坐标，具体步骤如下：
S31、以行扫描的方式先确定一轮廓起始像素点，将起始像素点做标记，然后扫描该像素点的8临域，若在该像素点右上方临域内有一个轮廓点，则将该轮廓点信息记为1，若是在起始像素点正下方临域内有一个轮廓点，则将该轮廓点信息记为6，再以找到的轮廓点为扫描中心,继续对其临域进行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描下去，直到循环扫描到最开始做标记的起始轮廓点，则跟踪结束；
S32、当图像中的轮廓个数不只一个时，需要经所有的轮廓都能跟踪存储下来，先跟踪第一个轮廓，该轮廓跟踪结束后将其信息存储并将该轮廓置为背景，继续进行行扫描进行下一个轮廓的跟踪，直到将所有的轮廓都跟踪完毕，在跟踪轮廓时有三种奇异点：孤立点、毛刺点、断点；在Freeman链码采取算法进行优化；对于孤立点，将其像素值置为0；对于毛刺点，先将追踪到的点像素置为0，将多出的毛刺点作为孤立点处理，再将置为背景的点像素置为1；对于断点，可扩大其搜索区域，使用直线连接至最近的像素点，完成断点的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313898.2A CN114821114B (zh) | 2022-03-28 | 一种基于视觉系统的坡口切割机器人图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313898.2A CN114821114B (zh) | 2022-03-28 | 一种基于视觉系统的坡口切割机器人图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821114A true CN114821114A (zh) | 2022-07-29 |
| CN114821114B CN114821114B (zh) | 2024-04-30 |
Family
ID=
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131587A (zh) * | 2022-08-30 | 2022-09-30 | 常州铭赛机器人科技股份有限公司 | 一种基于边缘轮廓的梯度向量特征的模板匹配方法 |
| CN115625435A (zh) * | 2022-11-14 | 2023-01-20 | 广东瑞洲科技有限公司 | 智能识别切割方法、装置及系统 |
| CN115837701A (zh) * | 2023-02-22 | 2023-03-24 | 青岛环球重工科技有限公司 | 一种具备自动识别功能的盾构管片自动精抹面控制系统 |
| CN115861782A (zh) * | 2023-02-21 | 2023-03-28 | 济南邦德激光股份有限公司 | 一种基于视觉的余料识别与排版系统 |
| CN115861451A (zh) * | 2022-12-27 | 2023-03-28 | 东莞市楷德精密机械有限公司 | 一种基于机器视觉的多功能图像处理方法及系统 |
| CN116000484A (zh) * | 2023-03-28 | 2023-04-25 | 湖南视比特机器人有限公司 | 工件二次定位方法、定位装置、工件坡口切割方法及装置 |
| CN116189439A (zh) * | 2023-05-05 | 2023-05-30 | 成都市青羊大数据有限责任公司 | 城市智能管理系统 |
| CN116379927A (zh) * | 2023-05-31 | 2023-07-04 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、系统以及存储介质 |
| CN116542881A (zh) * | 2023-07-05 | 2023-08-04 | 电子科技大学成都学院 | 一种机器人视觉图像处理方法 |
| CN117291985A (zh) * | 2023-11-24 | 2023-12-26 | 青岛宜霖赛瑞智能科技有限公司 | 一种零件冲孔的图像定位方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090262977A1 (en) * | 2008-04-18 | 2009-10-22 | Cheng-Ming Huang | Visual tracking system and method thereof |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN105666274A (zh) * | 2016-02-03 | 2016-06-15 | 华中科技大学 | 一种基于视觉控制的餐盘磨边方法 |
| CN108274092A (zh) * | 2017-12-12 | 2018-07-13 | 北京石油化工学院 | 基于三维视觉与模型匹配的坡口自动切割系统及切割方法 |
| CN108876772A (zh) * | 2018-06-05 | 2018-11-23 | 南华大学 | 一种基于大数据的肺癌图像诊断系统及方法 |
| CN112051853A (zh) * | 2020-09-18 | 2020-12-08 | 哈尔滨理工大学 | 基于机器视觉的智能避障系统及方法 |
| CN112686920A (zh) * | 2020-12-31 | 2021-04-20 | 天津理工大学 | 一种圆形零件几何尺寸参数视觉测量方法及系统 |
| CN113538399A (zh) * | 2021-07-28 | 2021-10-22 | 柔胜刚智能科技(苏州)有限公司 | 一种用于获取工件精准轮廓的方法、机床及存储介质 |
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090262977A1 (en) * | 2008-04-18 | 2009-10-22 | Cheng-Ming Huang | Visual tracking system and method thereof |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN105666274A (zh) * | 2016-02-03 | 2016-06-15 | 华中科技大学 | 一种基于视觉控制的餐盘磨边方法 |
| CN108274092A (zh) * | 2017-12-12 | 2018-07-13 | 北京石油化工学院 | 基于三维视觉与模型匹配的坡口自动切割系统及切割方法 |
| CN108876772A (zh) * | 2018-06-05 | 2018-11-23 | 南华大学 | 一种基于大数据的肺癌图像诊断系统及方法 |
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
| CN112051853A (zh) * | 2020-09-18 | 2020-12-08 | 哈尔滨理工大学 | 基于机器视觉的智能避障系统及方法 |
| CN112686920A (zh) * | 2020-12-31 | 2021-04-20 | 天津理工大学 | 一种圆形零件几何尺寸参数视觉测量方法及系统 |
| CN113538399A (zh) * | 2021-07-28 | 2021-10-22 | 柔胜刚智能科技(苏州)有限公司 | 一种用于获取工件精准轮廓的方法、机床及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 宋锟;万燕;姚砺;: "基于Canny算子和轮廓方向图的异形纤维轮廓增强算法", 东华大学学报(自然科学版), no. 02, 15 April 2011 (2011-04-15) * |
| 江波;徐小力;吴国新;左云波;: "轮廓Hu不变矩的工件图像匹配与识别", 组合机床与自动化加工技术, no. 09, 20 September 2020 (2020-09-20) * |
| 赵宇;闫娟;陆克宇;: "基于机器视觉的智能激光切割机控制算法研究", 现代商贸工业, no. 12, 25 April 2017 (2017-04-25) * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131587A (zh) * | 2022-08-30 | 2022-09-30 | 常州铭赛机器人科技股份有限公司 | 一种基于边缘轮廓的梯度向量特征的模板匹配方法 |
| CN115625435A (zh) * | 2022-11-14 | 2023-01-20 | 广东瑞洲科技有限公司 | 智能识别切割方法、装置及系统 |
| CN115625435B (zh) * | 2022-11-14 | 2023-05-26 | 广东瑞洲科技有限公司 | 智能识别切割方法、装置及系统 |
| CN115861451A (zh) * | 2022-12-27 | 2023-03-28 | 东莞市楷德精密机械有限公司 | 一种基于机器视觉的多功能图像处理方法及系统 |
| CN115861782A (zh) * | 2023-02-21 | 2023-03-28 | 济南邦德激光股份有限公司 | 一种基于视觉的余料识别与排版系统 |
| CN115837701A (zh) * | 2023-02-22 | 2023-03-24 | 青岛环球重工科技有限公司 | 一种具备自动识别功能的盾构管片自动精抹面控制系统 |
| CN116000484A (zh) * | 2023-03-28 | 2023-04-25 | 湖南视比特机器人有限公司 | 工件二次定位方法、定位装置、工件坡口切割方法及装置 |
| CN116189439A (zh) * | 2023-05-05 | 2023-05-30 | 成都市青羊大数据有限责任公司 | 城市智能管理系统 |
| CN116379927A (zh) * | 2023-05-31 | 2023-07-04 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、系统以及存储介质 |
| CN116379927B (zh) * | 2023-05-31 | 2023-08-29 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、系统以及存储介质 |
| CN116542881A (zh) * | 2023-07-05 | 2023-08-04 | 电子科技大学成都学院 | 一种机器人视觉图像处理方法 |
| CN117291985A (zh) * | 2023-11-24 | 2023-12-26 | 青岛宜霖赛瑞智能科技有限公司 | 一种零件冲孔的图像定位方法 |
| CN117291985B (zh) * | 2023-11-24 | 2024-03-15 | 青岛宜霖赛瑞智能科技有限公司 | 一种零件冲孔的图像定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038446B (zh) | 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 | |
| CN111968172A (zh) | 料场物料的体积测量方法及系统 | |
| CN105844622A (zh) | 一种基于激光视觉的v型坡口焊缝检测方法 | |
| CN112070818A (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
| CN110717872B (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
| CN115082466B (zh) | 一种pcb表面焊点缺陷检测方法及系统 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN113034399A (zh) | 基于双目视觉自主式水下机器人回收导引伪光源去除方法 | |
| CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN109781737A (zh) | 一种软管表面缺陷的检测方法及其检测系统 | |
| CN112348018A (zh) | 基于巡检机器人的数显式仪表读数识别方法 | |
| CN115661076A (zh) | 一种铸件待打磨区域智能视觉评估及标定方法 | |
| CN111783773A (zh) | 一种面向角度倾斜电线杆标识牌的矫正方法 | |
| CN107239761B (zh) | 基于骨架角点检测的果树拉枝效果评价方法 | |
| CN112381783A (zh) | 一种基于红色线激光的焊缝轨迹提取方法 | |
| CN114821114B (zh) | 一种基于视觉系统的坡口切割机器人图像处理方法 | |
| CN111815542A (zh) | 一种树木年轮图像髓心定位、年轮测量方法 | |
| CN114821114A (zh) | 一种基于视觉系统的坡口切割机器人图像处理方法 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN115753791A (zh) | 基于机器视觉的缺陷检测方法、装置以及系统 | |
| CN115661110A (zh) | 一种透明工件识别与定位的方法 | |
| CN114926332A (zh) | 基于无人机母车的无人机全景图像拼接方法 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| CN114494142A (zh) | 一种基于深度学习的移动终端中框缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210000 room 110-80, Building 29, No. 5, Gaoke fifth road, Jiangbei new area, Nanjing, Jiangsu Province Applicant after: Nanjing Yehengda Intelligent System Co.,Ltd. Address before: 210031 No. 20, Pudong Road, Pukou District, Jiangsu, Nanjing Applicant before: Nanjing Yihengda Intelligent Systems Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant |