CN111062940A - 一种基于机器视觉的螺钉定位与识别方法 - Google Patents

一种基于机器视觉的螺钉定位与识别方法 Download PDF

Info

Publication number
CN111062940A
CN111062940A CN201911412708.7A CN201911412708A CN111062940A CN 111062940 A CN111062940 A CN 111062940A CN 201911412708 A CN201911412708 A CN 201911412708A CN 111062940 A CN111062940 A CN 111062940A
Authority
CN
China
Prior art keywords
screw
image
image data
edge
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911412708.7A
Other languages
English (en)
Other versions
CN111062940B (zh
Inventor
陈天星
李响
冯芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201911412708.7A priority Critical patent/CN111062940B/zh
Publication of CN111062940A publication Critical patent/CN111062940A/zh
Application granted granted Critical
Publication of CN111062940B publication Critical patent/CN111062940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的螺钉定位与识别方法，其包括以下步骤：S1、获取目标区域的图像数据并对其进行预处理，得到第一图像数据；S2、获取螺钉圆心的粗略坐标；S3、采集螺钉圆心粗略坐标位置处的图像并对其进行预处理，得到第二图像数据；S4、分别对第二图像采用霍夫变换和最小二乘法获取螺钉的圆心坐标，并将两个坐标进行算术平均，得到螺钉圆心的精确坐标，完成螺钉定位；S5、获取螺钉头部图像数据；S6、获取螺钉头部形状特点数据；S7、将螺钉头部形状特点数据与现有螺钉的头部形状特点数据进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。本方法可以自动定位并识别螺钉。

Description

一种基于机器视觉的螺钉定位与识别方法
技术领域
本发明涉及机器视觉识别领域，具体涉及一种基于机器视觉的螺钉定位与识别方法。
背景技术
近年来，随着计算机信息技术的快速发展，我国的智能制造技术水平也在不断提高，工业制造行业对生产效率的要求也不断提升，对于传统的人工拆装零件过程，其低效率的方式越来越无法满足现代工业的生产需求，而工业机器人的应用能够极大地提高生产效率。因此在如今的智能加工过程中，普遍采用流水线进行产品加工与零部件拆装，在生产过程中通过工业机器人代替工人手工操作的方式，提高了流水线加工的作业速度，同时减少人工操作所产生的误差，满足加工精度要求。通过在流水线生产过程中加入拆装机器人，结合机器视觉相关技术，能够大大提高生产效率并降低工厂成本。
在传统的工业生产过程中，零部件装配过程通常占总生产时间和总制造成本的较大比例，装配操作大约占总生产时间的50％和总生产成本的25％。其中螺纹紧固是工业装配中最常用的方法之一，常见的工业生产产品中，螺纹装配大约占总典型装配任务的25％至35％。鉴于螺纹零件的普遍性，在产品后期的维护与维修过程中，螺纹零件拆卸是一个有吸引力的自动化目标。随着我国制造业的不断发展，由于拆卸工作本身具有复杂性以及多样性的特点，在自动拆卸过程中对识别技术的要求不断的提高，尤其是识别效率和识别精度，传统的识别方法己经无法满足目前大批量的生产需求。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于机器视觉的螺钉定位与识别方法可以自动定位并识别螺钉。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于机器视觉的螺钉定位与识别方法，其包括以下步骤：
S1、获取目标区域的图像数据并对其进行预处理，得到第一图像数据；
S2、对第一图像数据进行霍夫变换，获取螺钉圆心的粗略坐标；
S3、采集螺钉圆心粗略坐标位置处的图像并对其进行预处理，得到第二图像数据；
S4、分别对第二图像采用霍夫变换和最小二乘法获取螺钉的圆心坐标，并将两个坐标进行算术平均，得到螺钉圆心的精确坐标，完成螺钉定位；
S5、获取螺钉的半径值，并根据螺钉圆心的精确坐标和半径值获取螺钉头部图像数据；
S6、获取螺钉头部图像数据的头部边缘数据，并对其进行形态学处理和填充处理，得到螺钉头部形状特点数据；
S7、将螺钉头部形状特点数据与现有螺钉的头部形状特点数据进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
进一步地，步骤S1的具体方法包括以下子步骤：
S1-1、采用工业相机获取目标区域的图像数据并对其进行高斯滤波，得到高斯滤波后的图像；
S1-2、对高斯滤波后的图像进行边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第一图像数据。
进一步地，步骤S3的具体方法包括以下子步骤：
S3-1、以螺钉圆心的粗略坐标为中心，拉近摄像头并采集螺钉圆心粗略坐标处的图像；
S3-2、对螺钉圆心粗略坐标处的图像依次进行高斯滤波和边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第二图像数据。
进一步地，步骤S5的具体方法为：
获取螺钉的半径值，将螺钉圆心的精确坐标作为螺钉头部图像数据的中心，设立长度为L的矩形边长，将矩形框选区域的图像数据作为螺钉头部图像数据；其中L大于两倍螺钉的半径值。
进一步地，步骤S6的具体方法包括以下子步骤：
S6-1、采用Canny边缘检测算法对螺钉头部图像数据进行螺钉图像边缘提取，得到螺钉头部边缘提取图；
S6-2、对螺钉头部边缘提取图进行膨胀处理，得到边缘膨胀处理后的图像；
S6-3、在膨胀处理后的图像中选取螺钉头部槽型边缘与螺钉外缘圆形边缘之间的区域任一点为填充出发点A进行第一次漫水填充，并以该点的圆心对称点B为填充出发点进行第二次漫水填充，得到漫水填充后的图像；
S6-4、通过将漫水填充后的图像减去边缘膨胀处理后的图像并去除多余特征，得到去除多余特征图；
S6-5、将去除多余特征图进行第三次漫水填充，得到螺钉头部形状特点图，即螺钉头部形状特点数据。
进一步地，步骤S7的具体方法为：
基于几何形状特征，将螺钉头部形状特点数据中的几何形状特征与现有螺钉的头部形状特点数据中的几何形状特征进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
本发明的有益效果为：
1、本方法将螺钉定位与识别分为定位部分与识别部分，其中定位部分又分为粗定位与精定位。通过粗定位中的相关图像处理技术获得螺钉的粗定位圆心坐标，该部分可能同时获得多颗螺钉的粗定位圆心坐标，然后将多颗螺钉按照位置关系排序，分别对单颗螺钉进行精定位与分类识别。将粗定位圆心坐标输入到直角坐标机器人，改变工业相机工作距离，再次采集图像，通过精定位的图像处理获得该螺钉的精定位圆心坐标及半径值，并根据精定位圆心坐标及半径值进行螺钉头部图像感兴趣区域提取，对感兴趣区域进行处理及提取螺钉特征，通过与模板螺钉特征进行匹配与对比分析，获得螺钉的类型，完成螺钉的定位与识别。
2、本方法先进行膨胀处理，使得螺钉槽型区域连续，再进行漫水填充，并且修改填充出发点，不再将圆心作为出发点进行填充，避免了若以圆心作为出发点进行填充，有可能只是填充了该圆心区域或菱形区域，而对于螺钉头部槽型边缘与螺钉外缘圆形边缘之间的区域，该区域干扰噪声较少，因此本方法能够得到较好的填充效果。
附图说明
图1为本方法的流程示意图；
图2为目标区域的图像数据；
图3为螺钉圆心粗略坐标位置处的图像；
图4为精定位坐标X轴偏移值数据散点图；
图5为精定位坐标Y轴偏移值数据散点图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于机器视觉的螺钉定位与识别方法包括以下步骤：
S1、获取目标区域的图像数据并对其进行预处理，得到第一图像数据；
S2、对第一图像数据进行霍夫变换，获取螺钉圆心的粗略坐标；
S3、采集螺钉圆心粗略坐标位置处的图像并对其进行预处理，得到第二图像数据；
S4、分别对第二图像采用霍夫变换和最小二乘法获取螺钉的圆心坐标，并将两个坐标进行算术平均，得到螺钉圆心的精确坐标，完成螺钉定位；
S5、获取螺钉的半径值，并根据螺钉圆心的精确坐标和半径值获取螺钉头部图像数据；
S6、获取螺钉头部图像数据的头部边缘数据，并对其进行形态学处理和填充处理，得到螺钉头部形状特点数据；
S7、将螺钉头部形状特点数据与现有螺钉的头部形状特点数据进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
步骤S1的具体方法包括以下子步骤：
S1-1、采用工业相机获取目标区域的图像数据并对其进行高斯滤波，得到高斯滤波后的图像；
S1-2、对高斯滤波后的图像进行边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第一图像数据。
步骤S3的具体方法包括以下子步骤：
S3-1、以螺钉圆心的粗略坐标为中心，拉近摄像头并采集螺钉圆心粗略坐标处的图像；
S3-2、对螺钉圆心粗略坐标处的图像依次进行高斯滤波和边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第二图像数据。
步骤S5的具体方法为：获取螺钉的半径值，将螺钉圆心的精确坐标作为螺钉头部图像数据的中心，设立长度为L的矩形边长，将矩形框选区域的图像数据作为螺钉头部图像数据；其中L大于两倍螺钉的半径值。
步骤S6的具体方法包括以下子步骤：
S6-1、采用Canny边缘检测算法对螺钉头部图像数据进行螺钉图像边缘提取，得到螺钉头部边缘提取图；
S6-2、对螺钉头部边缘提取图进行膨胀处理，得到边缘膨胀处理后的图像；
S6-3、在膨胀处理后的图像中选取螺钉头部槽型边缘与螺钉外缘圆形边缘之间的区域任一点为填充出发点A进行第一次漫水填充，并以该点的圆心对称点B为填充出发点进行第二次漫水填充，得到漫水填充后的图像；
S6-4、通过将漫水填充后的图像减去边缘膨胀处理后的图像并去除多余特征，得到去除多余特征图；
S6-5、将去除多余特征图进行第三次漫水填充，得到螺钉头部形状特点图，即螺钉头部形状特点数据。
步骤S7的具体方法为：将螺钉头部形状特点数据中的几何形状特征与现有螺钉的头部形状特点数据中的几何形状特征进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
在具体实施过程中，基于机器视觉的图像处理是用像素个数计算出世界坐标系中的物理尺寸，对于本文的螺钉定位与识别，在对应的摄像机工作距离下采集目标物体图像，通过相应算法求得该螺钉位置的像素坐标，为了检测出该部件中螺钉位置的二维物理坐标，则需要对该工作距离下的工业相机进行高度标定，计算像素比。
对于机器视觉系统，像素坐标系(u,v)就是像素在图像中的位置，其中u、v分别是图像的行和列，通常像素坐标系的原点是图像左上角的顶点。在像素坐标系中，像素点的坐标是用像素来表示的，然而像素的表示方法却不能反应图像中物体的物理尺寸。对相机进行像素分辨率标定，就是结合工业相机当前状态下的工作距离与采集的图像大小，采用计算机进行图像处理后得到物体的长度像素值，然后检测该物体在实际空间中实际长度值，将长度像素值与实际长度值求比值，来计算该工作距离下每个像素所表示的实际尺寸。
因此本文将通过标定相机的像素分辨率，计算图像像素值与实际尺寸间的关系，对螺钉的像素坐标进行检测，通过标定的像素分辨率进行计算获得螺钉在世界坐标系中的物理坐标，完成对螺钉的位置定位。相机的标定过程中采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成所选工业相机像素点分辨率的拟合。由于标定过程中镜头本身的误差以及安装误差等原因，标定次数较少时可能对结果产生影响，因此本文在标定过程中采用了多组实验数据进行计算，然后将多组标定系数进行平均值求解得到像素分辨率标定系数，尽可能减小标定误差。
由于相机透镜本身的加工误差以及镜头组装过程的偏差，导致机器视觉系统采集的图像产生畸变，使得采集的图像与实际图像之间产生差别，因此实际使用中的图像处理结果达不到理想效果。工业相机通常采用小孔成像模型完成畸变校正。镜头的畸变可分为径向畸变、切向畸变和薄棱镜畸变。其中径向畸变和切向畸变两种畸变对投影图像影响较大。径向畸变主要出现在相机视野的边缘部分，而图像中心部位产生径向畸变程度较弱，所以相机采集的图像在边缘部分的直线可能会畸变成为曲线。径向畸变数学模型为：
Figure BDA0002350393930000081
式中k1，k2，k3表示各阶次径向畸变系数；(x,y)是理想的无畸变的坐标(图像坐标系)；(xdr,ydr)是畸变后图像像素点的坐标；r2＝x2+y2。
切向畸变主要是由生产过程中的加工与安装误差所产生，安装过程中的安装误差导致透镜平面与相机平面不平行，从而使得采集到的图像出现畸变。切向畸变数学模型为：
Figure BDA0002350393930000082
式中p1，p2表示各阶次切向畸变系数；r2＝x2+y2。
将径向、切向畸变两组数学模型合并：
Figure BDA0002350393930000083
最终可以得到5个畸变参数k1，k2，k3，p1，p2。通过对工业相机内参数与畸变参数进行标定，对采集的图像进行畸变校正处理即可得到校正后的图像。
常用的几何形状特征有面积、周长、相对面积、复杂度和长宽比，这些几何形状特征的定义如下：
(1)面积：在图片大小相同的情况下，不同类别的螺钉面积不相同，对于大小M×N的图像，面积是图像f(x,y)中目标物体所占的像素点总数，因此可将面积定义为：
Figure BDA0002350393930000084
(2)周长：螺钉图像中，若4邻域全为目标点像素的像素点数为n，已知面积S，则周长L为：
L＝S-n；
(3)相对面积：提取目标图像的总像素点数为T，前面已定义目标物体的面积即目标物体的像素点总数为S，则相对面积A为目标物体的像素点总数S与总像素点数T的比值，反映了目标物体在图像中所占的比例，其定义为：
A＝S/T；
(4)复杂度：复杂度表示目标的紧凑性。目标物体的复杂度B的定义为：
B＝L2/4πS；
(5)长宽比：对于目标物体来说，不同类型的螺钉的长宽比不一样，通过拟合目标物体的最小外接矩形，可以得到其最小外接矩形的长a与宽b。则目标物体的长宽比C的定义为：
C＝a/b。
通过特征匹配获得待检测图像与模板图像的相似度，相似性度量是图像配准的另一个重要组成部分，通过待检测图像与模板图像的相似度结果可以完成对图像中的物体进行识别分类。相似性度量可以分为基于强度和基于特征的方法，对于基于特征的相似性度量，以图像中特征之间的距离为度量，如欧几里得距离和切角距离。
欧几里得度量(Euclidean Metric，也称欧氏距离)是一种广泛使用的距离计算方法，二维和三维空间中的欧氏距离是两点之间的实际距离。欧几里德距离是最简单的相似性度量，在图像匹配中得到了广泛的应用，欧几里得特征距离直接对应相似性。因此对于基于几何形状特征的图像匹配结果，本文釆用欧式距离d(x)来度量两个工件之间的相似性，d(x)越小两者越相似。
对于两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间，其欧氏距离d(x)为：
Figure BDA0002350393930000101
前文已介绍所需提取的形状特征主要有面积S和周长L，对于以上两种形状特征值，根据所涉及的待识别螺钉类型，因此本文设计以下特征向量来描述不同类别螺钉的几何形状特征：
X＝{S,L}T；
识别过程中目标物体的几何形状特征提取方法与标准模板中目标物体的几何形状特征提取方法相同，因此可定义标准模板中目标物体的几何形状特征为：
X0＝{S0,L0}T；
识别过程中目标物体的几何形状特征为：
X1＝{S1,L1}T；
则识别过程中目标物体与标准模板中目标物体特征向量之间的欧式距离d(X)为：
Figure BDA0002350393930000102
因此，通过对比特征向量之间的距离大小可以获得识别过程中目标物体与标准模板中目标物体相似度，d(X)值越小，则相似程度越高。
最小二乘法通常用于曲线拟合(Least Squares Fitting)，在拟合椭圆的过程中，通过计算机对目标图像进行预处理提取数据，使用最小二乘法对提取到的多组数据进行处理，可以求得中心坐标及长短轴，令求得的数据与实际数据之间误差的平方和为最小。拟合模型过程如下：
对于椭圆的一般方程：
ax2+bxy+cy2+dx+ey+f＝0；
其中(x,y)表示点坐标；a,b,c,d,e,f为点坐标系数。若(a,b,c,d,e,f)组成系数向量α，边缘检测点(xi 2,xi,yi,yi 2,1)组成坐标向量Xi，则椭圆的一般方程式用两个向量相乘的形式表示为:
F(α,Xi)＝αXi＝ax2+bxy+cy2+dx+ey+f＝0；
最小二乘法寻找测量值中的参数集合，最小化数据点与椭圆之间的距离度量。平面内某点(x0,y0)到方程f(x,y)＝0所代表曲线的代数距离就是f(x0,y0)。
通过最小二乘原理，曲线拟合问题转换为代数距离的平方和，也即是目标函数：
Figure BDA0002350393930000111
其中当该函数值最小时即可获得系数向量α中的(a,b,c,d,e,f)值。根据极值原理，分别对系数向量α中的(a,b,c,d,e,f)系数求偏导，即
Figure BDA0002350393930000112
根据以上推导可得一个线性方程组，采用全主元高斯消元法并结合约束条件可得方程系数向量α中的(a,b,c,d,e,f)的值，从而得到椭圆方程。解得方程系数向量α中的(a,b,c,d,e,f)的值后，通过计算即可得到椭圆中心坐标及半径长短轴的值。对于待检测图像中的目标物体螺钉，该椭圆中心即为螺钉头部圆中心，长轴为螺钉头部圆直径。
在本发明的一个实施例中，硬件部分主要包括计算机、工业相机、镜头和光源，具体选取了BASLER公司生产的acA640-90uc工业相机、Computar 5mm相机镜头和条形光源。实验过程中采用的计算机的具体配置参数如表1所示。
所选的Computar 5mm相机镜头需要手动进行调焦，但是本方法定位过程中相机工作距离发生改变，粗定位与精定位分别对应一个工作距离，因此其焦距也需要进行调节，实际使用过程中只需要设计一个辅助调焦装置即可，不需要选择自动调焦镜头，降低成本。而在本实施例中为了减少该过程，选择手动进行调焦，即粗定位与精定位分别手动调节焦距，该方式并不会影响实际使用效果。
表1 实验计算机配置参数
Figure BDA0002350393930000121
软件部分是在Windows7 64位操作系统环境下基于Microsoft Visual Studio2015软件平台和OpenCV3.1.0视觉库进行程序编写与调试。
如图2所示，本实施例采用安装有5颗共三种不同类型的螺钉，螺钉粗定位时，摄像头固定在视野的中心，工作距离为310mm，相机的视野为340mm×260mm，待检测图像的分辨率为658pixel×492pixel，在工件表面标定过后获得的像素分辨率为0.53mm/pixel。本文的粗定位实验部分总共实验了12次，每次定位螺钉5颗，所以一共得到60组螺钉的检测数据，通过测量获得每颗螺钉的圆心实际坐标，采用霍夫算法获得每颗螺钉在待检测图中的圆心像素坐标，然后经过计算获得对应螺钉圆心在二维空间中的检测坐标，再分别计算X轴和Y轴的偏移值。粗定位实验结果如表2所示。
表2 粗定位检测结果
Figure BDA0002350393930000122
表2中粗定位检测螺钉共60颗，通过计算获得了每颗螺钉圆心的实际坐标和检测坐标以及两个坐标在X轴和Y轴的偏移值，其中X轴偏移值的平均值为7.8mm，Y轴偏移值的平均值为4.9mm，此偏移值包括实际坐标的测量误差；已知精定位的视场为82mm×63mm，而检测螺钉在X轴和Y轴的最大偏移值为17.6mm，当发生偏移时，能保证螺钉位于精定位的视场范围内；而待定位的60颗螺钉中有4颗螺钉无法定位，因此螺钉粗定位的准确率为93％。
如图3所示，螺钉精定位时，工作距离为75mm，相机的视场为82mm×63mm，待检测图像的分辨率为658pixel×492pixel，标定过后获得的像素分辨率为0.10mm/pixel。精定位采用霍夫变换与最小二乘法结合进行螺钉定位，当摄像机工作距离减小时，其视场范围减小，此时检测图像中出现的螺钉数目只有一颗。先通过霍夫变换对图中的螺钉进行定位，找到螺钉的圆心坐标位置及半径；然后再采用最小二乘法拟合椭圆进行螺钉定位，获得螺钉的圆心坐标位置及半径。
本实施例的精定位采用最小二乘法与霍夫变换结合的定位方式，实验过程中采集了20颗螺钉的精定位图像，先通过两种方法分别对20张待定位螺钉图像进行精定位实验，每次定位1颗螺钉，所以一共有40组螺钉的检测数据，精定位测量方式与粗定位相同，获得每颗螺钉的实际圆心坐标与二维空间中的定位坐标，再分别计算X轴和Y轴的偏移值，获得螺钉精定位圆心坐标在X轴与Y轴上的平均偏移值。然后将两种方法获得的圆心坐标进行相加求算术平均值，获得算术平均后的圆心坐标在X轴与Y轴上的平均偏移值。精定位偏移值小于1mm即可满足定位要求。采用最小二乘法与霍夫变换分别进行精定位的检测数据以及将最小二乘法与霍夫变换检测到的坐标算术平均后得到的精定位实验结果如表3所示。
表3 精定位检测结果
Figure BDA0002350393930000131
Figure BDA0002350393930000141
如表3所示的实验结果。采用最小二乘法进行精定位得到的圆心坐标值在X轴的平均偏移值为0.53mm，在Y轴的平均偏移值为0.66mm；采用霍夫变换进行精定位得到的圆心坐标值在X轴的平均偏移值为0.55mm，在Y轴的平均偏移值为0.67mm；采用两种算法进行精定位得到的圆心坐标的算术平均值在X轴的平均偏移值为0.54mm，在Y轴的平均偏移值为0.67mm。
以上三种方式所获得的精定位实验结果平均偏移值基本相同，都能够满足螺钉精定位的要求，但是三种方式的定位稳定性不相同，其中采用最小二乘法霍夫变换进行螺钉圆心精定位的20次精定位结果中，各有两次定位偏移值大于1mm的定位结果，而将两种方法进行坐标算术平均后，获得的精定位结果偏移值都小于1mm。而且三种方式获得的偏移值，通过将两种圆心坐标进行算术平均后获得的偏移值在X轴上的偏移方差与在Y轴上的偏移方差都最小。因此采用坐标算术平均得到数据相对于偏移平均值的波动更小，其稳定性最佳。如图4与图5所示的坐标偏移值散点图能够更为直观地体现这一特性。
基于几何形状特征的图像匹配实验采集了60组数据，经过图像处理获得螺钉头部轮廓面积和周长的特征向量，将该螺钉的几何形状特征向量与四种模板螺钉头部几何特征向量进行欧式距离计算，求得与四种标准螺钉模板的相似度距离值。基于几何形状特征的螺钉识别检测结果如表4所示。
表4 基于几何形状特征的螺钉识别结果
Figure BDA0002350393930000151
如表4所示，对于基于几何形状特征的螺钉分类识别数据结果，其中有4颗螺钉识别出现错误，1颗螺钉无法识别，因此通过几何形状特征进行匹配获得螺钉类型的准确率为91.7％，能够较好的完成螺钉的分类识别。
综上所述，本发明将螺钉定位与识别分为定位部分与识别部分，其中定位部分又分为粗定位与精定位。通过粗定位中的相关图像处理技术获得螺钉的粗定位圆心坐标，该部分可能同时获得多颗螺钉的粗定位圆心坐标，然后将多颗螺钉按照位置关系排序，分别对单颗螺钉进行精定位与分类识别。将粗定位圆心坐标输入到直角坐标机器人，改变工业相机工作距离，再次采集图像，通过精定位的图像处理获得该螺钉的精定位圆心坐标及半径值，并根据精定位圆心坐标及半径值进行螺钉头部图像感兴趣区域提取，对感兴趣区域进行处理及提取螺钉特征，通过与模板螺钉特征进行匹配与对比分析，获得螺钉的类型，完成螺钉的定位与识别。

Claims (6)

1.一种基于机器视觉的螺钉定位与识别方法，其特征在于，包括以下步骤：
S1、获取目标区域的图像数据并对其进行预处理，得到第一图像数据；
S2、对第一图像数据进行霍夫变换，获取螺钉圆心的粗略坐标；
S3、采集螺钉圆心粗略坐标位置处的图像并对其进行预处理，得到第二图像数据；
S4、分别对第二图像采用霍夫变换和最小二乘法获取螺钉的圆心坐标，并将两个坐标进行算术平均，得到螺钉圆心的精确坐标，完成螺钉定位；
S5、获取螺钉的半径值，并根据螺钉圆心的精确坐标和半径值获取螺钉头部图像数据；
S6、获取螺钉头部图像数据的头部边缘数据，并对其进行形态学处理和填充处理，得到螺钉头部形状特点数据；
S7、将螺钉头部形状特点数据与现有螺钉的头部形状特点数据进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
2.根据权利要求1所述的基于机器视觉的螺钉定位与识别方法，其特征在于，所述步骤S1的具体方法包括以下子步骤：
S1-1、采用工业相机获取目标区域的图像数据并对其进行高斯滤波，得到高斯滤波后的图像；
S1-2、对高斯滤波后的图像进行边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第一图像数据。
3.根据权利要求1所述的基于机器视觉的螺钉定位与识别方法，其特征在于，所述步骤S3的具体方法包括以下子步骤：
S3-1、以螺钉圆心的粗略坐标为中心，拉近摄像头并采集螺钉圆心粗略坐标处的图像；
S3-2、对螺钉圆心粗略坐标处的图像依次进行高斯滤波和边缘图像分割，并采用Canny边缘检测算法进行边缘提取，得到第二图像数据。
4.根据权利要求1所述的基于机器视觉的螺钉定位与识别方法，其特征在于，所述步骤S5的具体方法为：
获取螺钉的半径值，将螺钉圆心的精确坐标作为螺钉头部图像数据的中心，设立长度为L的矩形边长，将矩形框选区域的图像数据作为螺钉头部图像数据；其中L大于两倍螺钉的半径值。
5.根据权利要求1所述的基于机器视觉的螺钉定位与识别方法，其特征在于，所述步骤S6的具体方法包括以下子步骤：
S6-1、采用Canny边缘检测算法对螺钉头部图像数据进行螺钉图像边缘提取，得到螺钉头部边缘提取图；
S6-2、对螺钉头部边缘提取图进行膨胀处理，得到边缘膨胀处理后的图像；
S6-3、在膨胀处理后的图像中选取螺钉头部槽型边缘与螺钉外缘圆形边缘之间的区域任一点为填充出发点A进行第一次漫水填充，并以该点的圆心对称点B为填充出发点进行第二次漫水填充，得到漫水填充后的图像；
S6-4、通过将漫水填充后的图像减去边缘膨胀处理后的图像并去除多余特征，得到去除多余特征图；
S6-5、将去除多余特征图进行第三次漫水填充，得到螺钉头部形状特点图，即螺钉头部形状特点数据。
6.根据权利要求1所述的基于机器视觉的螺钉定位与识别方法，其特征在于，所述步骤S7的具体方法为：
将螺钉头部形状特点数据中的几何形状特征与现有螺钉的头部形状特点数据中的几何形状特征进行匹配，将匹配结果最好的螺钉作为该螺钉的识别结果，完成螺钉识别。
CN201911412708.7A 2019-12-31 2019-12-31 一种基于机器视觉的螺钉定位与识别方法 Active CN111062940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911412708.7A CN111062940B (zh) 2019-12-31 2019-12-31 一种基于机器视觉的螺钉定位与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911412708.7A CN111062940B (zh) 2019-12-31 2019-12-31 一种基于机器视觉的螺钉定位与识别方法

Publications (2)

Publication Number Publication Date
CN111062940A true CN111062940A (zh) 2020-04-24
CN111062940B CN111062940B (zh) 2022-05-20

Family

ID=70305791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911412708.7A Active CN111062940B (zh) 2019-12-31 2019-12-31 一种基于机器视觉的螺钉定位与识别方法

Country Status (1)

Country Link
CN (1) CN111062940B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238405A (zh) * 2020-04-26 2020-06-05 武汉精立电子技术有限公司 一种工件曲率检测系统及方法
CN111652069A (zh) * 2020-05-06 2020-09-11 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN113720280A (zh) * 2021-09-03 2021-11-30 北京机电研究所有限公司 一种基于机器视觉的棒料圆心定位方法
CN113888572A (zh) * 2021-09-22 2022-01-04 西北工业大学 一种视觉的平面孔测量方法
CN114248100A (zh) * 2021-12-03 2022-03-29 武汉纺织大学 一种基于图像处理的螺丝孔定位算法及螺丝锁付装置
CN115017857A (zh) * 2022-06-14 2022-09-06 大连日佳电子有限公司 一种电子元器件引脚插装位置确定方法及系统
CN118253982A (zh) * 2024-04-10 2024-06-28 江苏理工学院 一种基于机器视觉的螺丝锁付系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845048A (en) * 1995-02-06 1998-12-01 Fujitsu Limited Applicable recognition system for estimating object conditions
US20020032956A1 (en) * 2001-11-19 2002-03-21 Lms-Walt, Inc. Assembly system for monitoring proper fastening of an article of assembly at more than one location
CN104596411A (zh) * 2014-11-05 2015-05-06 北京建筑大学 一种圆柱形测量装置与自动识别算法
CN106204842A (zh) * 2016-07-08 2016-12-07 钟林超 一种通过虹膜进行识别的门锁
CN106251354A (zh) * 2016-07-28 2016-12-21 河北工业大学 用于螺钉自动装配的机器视觉定位方法
CN106372667A (zh) * 2016-08-31 2017-02-01 西南交通大学 一种高铁接触网斜撑套筒部件螺钉不良状态检测方法
CN106408652A (zh) * 2016-09-05 2017-02-15 上海逸动医学科技有限公司 髋臼前柱顺行螺钉的钉道定位方法及系统
US20170119472A1 (en) * 2015-10-30 2017-05-04 Orthosensor Inc Spine measurement system and method therefor
CN109211207A (zh) * 2018-06-29 2019-01-15 南京邮电大学 一种基于机器视觉的螺钉识别与定位装置
CN110189314A (zh) * 2019-05-28 2019-08-30 长春大学 基于机器视觉的汽车仪表盘图像定位方法
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845048A (en) * 1995-02-06 1998-12-01 Fujitsu Limited Applicable recognition system for estimating object conditions
US20020032956A1 (en) * 2001-11-19 2002-03-21 Lms-Walt, Inc. Assembly system for monitoring proper fastening of an article of assembly at more than one location
CN104596411A (zh) * 2014-11-05 2015-05-06 北京建筑大学 一种圆柱形测量装置与自动识别算法
US20170119472A1 (en) * 2015-10-30 2017-05-04 Orthosensor Inc Spine measurement system and method therefor
CN106204842A (zh) * 2016-07-08 2016-12-07 钟林超 一种通过虹膜进行识别的门锁
CN106251354A (zh) * 2016-07-28 2016-12-21 河北工业大学 用于螺钉自动装配的机器视觉定位方法
CN106372667A (zh) * 2016-08-31 2017-02-01 西南交通大学 一种高铁接触网斜撑套筒部件螺钉不良状态检测方法
CN106408652A (zh) * 2016-09-05 2017-02-15 上海逸动医学科技有限公司 髋臼前柱顺行螺钉的钉道定位方法及系统
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN109211207A (zh) * 2018-06-29 2019-01-15 南京邮电大学 一种基于机器视觉的螺钉识别与定位装置
CN110189314A (zh) * 2019-05-28 2019-08-30 长春大学 基于机器视觉的汽车仪表盘图像定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Z.KAMARIANAKIS等: "Robust identification and localization of intramedullary nail holes for distal locking using CBCT: A simulation study", 《MEDICAL ENGINEERING & PHYSICS》 *
刘哲: "螺柱分拣系统中视觉识别技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张大鹏: "基于机器视觉的自动锁螺丝机控制系统研发", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
李响: "基于机器视觉的螺钉定位与识别研究基于机器视觉的螺钉定位与识别研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238405A (zh) * 2020-04-26 2020-06-05 武汉精立电子技术有限公司 一种工件曲率检测系统及方法
CN111652069A (zh) * 2020-05-06 2020-09-11 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法
CN111652069B (zh) * 2020-05-06 2024-02-09 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN113720280A (zh) * 2021-09-03 2021-11-30 北京机电研究所有限公司 一种基于机器视觉的棒料圆心定位方法
CN113888572A (zh) * 2021-09-22 2022-01-04 西北工业大学 一种视觉的平面孔测量方法
CN114248100A (zh) * 2021-12-03 2022-03-29 武汉纺织大学 一种基于图像处理的螺丝孔定位算法及螺丝锁付装置
CN115017857A (zh) * 2022-06-14 2022-09-06 大连日佳电子有限公司 一种电子元器件引脚插装位置确定方法及系统
CN118253982A (zh) * 2024-04-10 2024-06-28 江苏理工学院 一种基于机器视觉的螺丝锁付系统

Also Published As

Publication number Publication date
CN111062940B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111062940B (zh) 一种基于机器视觉的螺钉定位与识别方法
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN108918526B (zh) 一种柔性ic封装基板线路的缺口缺陷检测方法
CN104123542B (zh) 一种轮毂工件定位的装置及其方法
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
CN105783723B (zh) 基于机器视觉的精密模具表面加工精度检测装置及方法
CN109190628A (zh) 一种基于机器视觉的板材镰刀弯检测方法
CN103425988B (zh) 一种具有圆弧几何基元的实时定位与匹配方法
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN113112496B (zh) 一种基于自适应阈值的亚像素轴类零件尺寸测量方法
CN113340909B (zh) 一种基于机器视觉的胶线缺陷检测方法
CN109978940A (zh) 一种sab安全气囊尺寸视觉测量方法
CN111311618A (zh) 一种基于高精度几何基元提取的圆弧工件匹配与定位方法
CN111047588A (zh) 一种轴型小零件尺寸的图像化测量方法
CN113538583A (zh) 一种工件在机床上位置的精准定位方法及视觉系统
CN118015004B (zh) 一种激光切割扫描系统及方法
CN113222955A (zh) 一种基于机器视觉的齿轮尺寸参数自动测量方法
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
CN113607058B (zh) 一种基于机器视觉的直刃刀尺寸检测方法及系统
CN114022441A (zh) 一种不规则五金件的缺陷检测方法
CN113432585A (zh) 一种基于机器视觉技术的非接触式轮毂位置精确测定方法
CN113538399A (zh) 一种用于获取工件精准轮廓的方法、机床及存储介质
CN111539951B (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
CN103871048B (zh) 一种基于直线基元的几何哈希法实时定位与匹配方法
CN116823708A (zh) 基于机器视觉的pc构件边模识别与定位研究

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant