CN106251354A - 用于螺钉自动装配的机器视觉定位方法 - Google Patents

用于螺钉自动装配的机器视觉定位方法 Download PDF

Info

Publication number
CN106251354A
CN106251354A CN201610625090.2A CN201610625090A CN106251354A CN 106251354 A CN106251354 A CN 106251354A CN 201610625090 A CN201610625090 A CN 201610625090A CN 106251354 A CN106251354 A CN 106251354A
Authority
CN
China
Prior art keywords
circle
image
assembled
screw
product component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610625090.2A
Other languages
English (en)
Other versions
CN106251354B (zh
Inventor
郭欣
张大鹏
赵天骄
牛红闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201610625090.2A priority Critical patent/CN106251354B/zh
Publication of CN106251354A publication Critical patent/CN106251354A/zh
Application granted granted Critical
Publication of CN106251354B publication Critical patent/CN106251354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明用于螺钉自动装配的机器视觉定位方法，涉及以采用光学方法为特征的计量设备，步骤是：录入数据，获取图像，图像预处理，霍夫变换，标定相机，位置计算；本发明方法利用霍夫变换的方法搜索图像中的圆，并以圆心作为定位点，克服了现有视觉定位的方法的对特征点的选取要求高和精度较低的缺陷，也克服了现有技术在螺丝自动装配过程中由于夹具固定产品位置不精确所产生的装配失效的缺陷。

Description

用于螺钉自动装配的机器视觉定位方法
技术领域
本发明的技术方案涉及以采用光学方法为特征的计量设备，具体地说是用于螺钉自动装配的机器视觉定位方法。
背景技术
在当今制造业中，电子产品、汽车零部件和家电产品等的制造是重要组成部分。在这些行业的产品制造装配中，经常有产品需要装配大量螺丝。靠人工装配螺丝效率很低，而且容易发生漏装螺丝的情况，所以现今制造业企业中开始采用具有一套完整控制软件的自动螺钉装配系统来自动地装配螺丝。螺钉自动装配系统由工业计算机、电动执行机构以及相应的控制软件组成。在螺钉自动装配系统中，先将产品的螺孔位置数据保存到软件中，待装配产品放入该系统的工作区后，该螺钉装配系统通过出发特定信号使系统中的控制夹具固定产品，进而螺丝刀具根据螺丝孔数据按顺序装配所有螺钉。
上述现有的螺钉自动装配方式对螺钉自动装配系统中的控制夹具的定位精度要求很高，因为产品的待装配产品部件的固定位置稍有偏差，就会导致所有螺孔位置出现偏移。对于一些特定的产品，采用控制夹具自动夹紧的方式并不能使产品的待装配产品部件的定位精度达到要求，只能做到将产品的待装配产品部件固定在相对稳定的位置上，这样难免会使螺钉的自动装配出现失效。
现在，螺钉自动装配中开始采用的视觉定位的方法。CN101033958A公开了一种机器视觉定位方法，该方法通过制作特征点，并以模板匹配或特征匹配的方法搜索图像中的特征点；利用特征点计算像素距离与实际长度的关系，进行相机的校准；选取多个特征点并分别拍摄图片，综合进行计算以得到相机中心的偏移量；选择特征点，并以模板匹配的方法计算出产品的位置，完成产品的定位。此种方法的缺陷在于：通常要选取工件上形状比较明显的部分作为特征点，对特征点的选取要求高；通过特征匹配的方法进行定位，精度较低；另外，选取不同的特征点时，选用的匹配算法和相应算法的效果也有区别。
发明内容
本发明所要解决的技术问题是：提供用于螺钉自动装配的机器视觉定位方法，利用霍夫变换的方法搜索图像中的圆，并以圆心作为定位点，克服了现有视觉定位的方法的对特征点的选取要求高和精度较低的缺陷，也克服了现有技术在螺丝自动装配过程中由于夹具固定产品位置不精确所产生的装配失效的缺陷。
本发明解决该技术问题所采用的技术方案是：用于螺钉自动装配的机器视觉定位方法，实施步骤如下：
A.所涉及的器件：
用于螺钉自动装配的机器视觉定位方法实施中所涉及的器件包括工业相机、待装配产品部件、工业计算机、螺钉自动装配装置的工作台和工业相机安装槽；
B.步骤如下：
第一步，录入数据：
首先收集待装配产品部件的尺寸信息和表面圆孔分布信息，以及待定位的待装配产品部件上的螺丝孔的位置，选择一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆，记录该特征圆的圆孔半径和所在位置的信息并作为图像的特征信息，将该待装配产品部件的上述相关信息录入工业计算机的测量软件中；
第二步，获取图像：
在螺钉自动装配装置的工作台上方的螺丝刀头位置增设工业相机安装槽，将安装工业相机安置在该安装槽中，工业相机通过USB接口与上述第一步中所述的工业计算机进行连接，将待装配产品部件放置在螺钉自动装配装置的工作台上，并用夹具固定，用上述第一步中所述的工业计算机的测量软件控制工业相机进行拍摄图片，获得待装配产品部件在螺钉自动装配装置的工作台上的灰度图像，记图像尺寸(w,h),其中w为宽度，h为高度；
第三步，图像预处理：
采用一种混合使用形态学变换和图像滤波的方法，即先对所述第二步获得的灰度图像进行形态学闭操作，然后进行双边滤波处理，并且将这一过程重复3～5次，去除图像中的黑点和噪声，保留图像中的关键信息，再利用Laplace边缘检测算子进行边缘检测，得到二值图像；
第四步，霍夫变换：
对上述第三步得到的二值图像进行霍夫变换，以检测图像中的圆，得到结果中的定位点圆心像素坐标(Xp1,Yp1)；
第五步，标定相机：
首先记录在上述第四步的霍夫变换中的图像中的圆的检测结果中的圆心位置在图像中的像素坐标Xp1，将第一步所述的工业相机延X轴移动30～40mm，并记录移动的实际距离Lr和移动后工业相机的实际位置坐标(Xr2，Yr2)，移动停止后，再一次进行上述获取图像、图像预处理和霍夫变换的步骤，并且记录新图像中的圆的检测结果，记录结果的圆心像素坐标为(Xp2，Yp2)，然后进行计算，即对两次检测圆得到的结果中的圆心坐标作差，得到移动的像素距离Lp，即Xp2－Xp1＝Lp，再用移动的实际距离Lr和上述像素距离Lp相除，实际移动距离Lr为被除数，记录计算结果为距离-像素比，记为k，至此完成相机标定；
第六步，位置计算：
通过上述第五步中第二次霍夫变换得到的圆心像素坐标(Xp2，Yp2)、移动后工业相机的实际位置坐标(Xr2，Yr2)、距离-像素比k和上述第二步中的图像尺寸(w,h)，计算出待装配产品部件上特征圆的实际位置(Xt，Yt)，特征圆的实际位置计算公式如下：
Xt＝(Xp2-w/2)×k+Xr2；Yt＝(Yp2-h/2)×k+Yr2
通过上述第一步所述测量软件中录入的待装配产品部件信息中，特征圆的位置(X1,Y1)和待定位的待装配产品部件上的螺丝孔的位置(X2,Y2)，求得待定位螺丝孔相对于特征圆的位置(Lx,Ly)，即Lx＝X2-X1、Ly＝Y2-Y1，通过上面计算的特征圆实际位置(Xt，Yt)和待定位螺丝孔相对于特征圆的位置(Lx,Ly)，进一步计算出待定位螺丝孔的实际位置(Xa,Ya)，待定位螺丝孔的实际位置计算公式如下：
Xa＝Xt+Lx；Ya＝Yt+Ly
上述用于螺钉自动装配的机器视觉定位方法，所述形态学闭操作具体为先膨胀后腐蚀运算。
上述用于螺钉自动装配的机器视觉定位方法，所述双边滤波处理是一种非线性的滤波方法，结合图像空间邻近度和像素值相似度进行运算，以达到保边去噪的目的。
上述用于螺钉自动装配的机器视觉定位方法，所述二值图像进行霍夫变换，以检测图像中的圆，具体是按照第一步录入数据中选择一个圆孔作为特征圆的半径信息进行筛选，排除图像中其他圆的干扰，得到特征圆在图像中的位置，进而通过图像中的长度与实际长度间的比例关系，计算得到该特征圆对于工业相机的相对位置，进而根据该相对位置和工业相机对于螺钉自动装配装置的工作台的绝对位置，经过计算得到待装配产品部件在螺钉自动装配装置的工作台上的位置。
上述用于螺钉自动装配的机器视觉定位方法，所述工业相机选用迈德威视MV-130GM,130万有效像素，通过USB 2.0接口与工业计算机相连，所述工业计算机选用研华IPC-610-F。
上述用于螺钉自动装配的机器视觉定位方法，所述测量软件由C#语言编写，基于Windows操作系统运行，该软件的功能包括记录产品信息、控制相机拍照、处理图像、计算位置和显示处理结果。
上述用于螺钉自动装配的机器视觉定位方法，所涉及的器件均由公知途径获得，所涉及的图像预处理方法、霍夫变换和其他计算方法是本技术领域的技术人员所能掌握的。
本发明的有益效果是：与现有技术相比，本发明具有以下的突出的实质性特点和显著进步：
(1)本发明方法本发明方法利用霍夫变换搜索图像中的圆，并以圆心作为定位点，与现有技术相比，对特征点选取要求低、精度高，克服了现有技术中由于产品位置不精确产生装配失效的缺陷。
(2)本发明方法在螺钉自动装配装置的工作台上方的螺丝刀头位置增设工业相机安装槽，将安装工业相机安置在该安装槽中，使工业相机可以拍摄到螺钉自动装配装置的工作台的各个位置，改进了图像采集功能的灵活性。
(3)现有技术的一般方案是按照相机的拍摄范围大小，对待拍摄区域进行分块，工作过程中对每一块区域逐个进行拍摄，直到拍摄的图像中包含特征信息，本发明方法的改进在于，在定位过程中，拍摄前预先将特征圆的所在位置录入工业计算机的测量软件中，拍摄时优先以录入位置为中心进行拍摄，从而缩短在图像中得到特征信息所耗费的时间。
(4)本发明方法选择待装配产品的待装配产品部件的圆孔所在位置和半径作为图像的特征信息，采用混合使用形态学变换和图像滤波的方法进行图像预处理，形态学变换是图像处理中一种基本的运算，包括膨胀和腐蚀，本发明方法中采用的形态学闭操作具体为先膨胀后腐蚀运算，能有效去除图像中的黑点和噪声；图像滤波的方法采用的双边滤波，这是一种非线性的滤波方法，它结合图像空间邻近度和像素值相似度进行运算，在滤除图像噪声的同时，保留图像关键信息。
(5)本发明方法选择圆形作为用来匹配的特征，适用范围广；利用霍夫变换的方法搜索图像中的圆，并以圆心作为定位点，精度高，对待装配产品部件进行定位，提高了螺丝孔定位精度，极大地降低了螺丝装配的失效率；每加工一个待装配产品部件，就计算一次螺丝孔的位置坐标，提高了设备运行的稳定性；与现有定位方法相比，本发明方法更适合多种产品的定位，增大了应用范围。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法实施中所涉及的器件的位置安置示意图。
图2为本发明方法实施中的待装配产品部件上的特征圆和螺丝孔分布位置示意图。
图3为本发明方法实施步骤示意图。
图4为本发明方法实施中涉及的测量软件流程图。
图5为本发明方法实施中用工业相机获得的电视机背板图像。
图6为本发明方法实施中对图3所示图像进行霍夫变换后得到的结果图像。
图中，1.工业相机，2.待装配产品部件，3.待定位的待装配产品部件的特征圆，4.工业计算机，5.螺钉自动装配装置的工作台，6.工业相机安装槽7.待定位的待装配产品部件上的螺丝孔。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
图1所示实施例表明，本发明方法实施中所涉及的器件位置及安装方式为：在螺钉自动装配装置的工作台5上方螺丝刀头位置增设工业相机安装槽6，将工业相机1安置在该工业相机安装槽6中，工业相机1的摄像头对向待定位的待装配产品部件上的螺丝孔7，工业相机1与工业计算机4通过USB接口连接，将待装配产品部件2放置在螺钉自动装配装置的工作台5上，待装配产品部件2有待定位的待装配产品部件的特征圆3。
图2所示实施例显示本发明方法实施中的待装配产品部件2上的待装配产品部件的特征圆3和待定位的待装配产品部件上的螺丝孔7的分布位置，待装配产品部件2所处位置的横坐标轴为X，纵坐标轴为Y，取其左上角的位置的坐标为(0，0)，该待装配产品部件2为电视机背板。
图3所示实施例表明，本发明方法实施步骤为：录入数据→获取图像→图像预处理→霍夫变换→标定相机→位置计算。
图4所示实施例表明，本发明方法实施中所涉及的测量软件测序流程为：1、初始化相机，将照片个数置0→2、录入数据→3、判断照片数是否为2→否、执行步骤4、输入相机位置→5、获取一张照片，并将照片数加1→6、定位特征圆→返回3、判断照片数是否为2；是、执行步骤7、计算螺孔位置→8、显示定位结果→结束。其中，“3、判断照片数是否为2”的程序步骤是要求“4、输入相机位置”、“5、获取一张照片，并将照片数加1”和“6、定位特征圆”的步骤重复两次。
图5所示实施例显示本发明方法实施中工业相机拍摄到的电视机背板图像的灰度图像，图中虚线框表示特征圆所在区域。
图6所示实施例显示本发明实施中对工业相机拍摄图像进行霍夫变换后得到的结果图像，图中加粗曲线表示霍夫变换后得到的结果，即本发明实施例选取的特征圆，点(Xp,Yp)为该特征圆的圆心。
实施例1
本实施例为用于电视机背板的螺钉自动装配的机器视觉定位方法，实施步骤如下：
A.所涉及的器件：
用于螺钉自动装配的机器视觉定位方法实施中所涉及的器件包括工业相机1、待装配产品部件2为电视机背板、工业计算机4、螺钉自动装配装置的工作台5和工业相机安装槽6；
B.步骤如下：
第一步，录入数据：
首先收集待装配产品部件2电视机背板的尺寸信息和表面圆孔分布信息，以及各个螺丝孔分布位置信息及待定位的待装配产品部件上的螺丝孔7的位置，选择一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的圆孔半径和所在位置的信息并作为图像的特征信息，将该待装配产品部件2电视机背板的上述相关信息录入工业计算机4的测量软件中；所述待装配产品部件2电视机背板的长度为740mm，宽度为455mm，取较长边为Y轴，较短边为X轴，左上角顶点处为坐标轴原点(0，0)，单位为mm；待装配产品部件2电视机背板的待装配螺丝孔为11个，位置坐标分别为(447，8)、(302，6)、(131，6)、(8，8)、(8，188)、(8，368)、(8，548)、(8，732)、(131，734)、(302，734)、(447，732)；选择位于(195，320)的一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的半径为4.5mm；
第二步，获取图像：
如上述图1实施例所示，在螺钉自动装配装置的工作台5上方螺丝刀头位置增设工业相机安装槽6，将工业相机1安置在该工业相机安装槽6中，工业相机1的摄像头对向待定位的待装配产品部件上的螺丝孔7，工业相机1与工业计算机4通过USB接口连接，将待装配产品部件2放置在螺钉自动装配装置的工作台5上，并用夹具固定，待装配产品部件2电视机背板有待定位的待装配产品部件的特征圆3；调整工业相机安装槽6高度，距待装配产品部件2电视机背板的高度为80mm，工业相机1的实际位置坐标为(475，620)，用上述第一步中所述的工业计算机4的测量软件控制工业相机1进行拍摄图片，获得待装配产品部件2电视机背板在螺钉自动装配装置的工作台5上的灰度图像，记图像尺寸(w,h),其中w为宽度，h为高度，(w,h)为(1024,768)；
第三步，图像预处理：
采用一种混合使用形态学变换和图像滤波的方法，即先对所述第二步获得的灰度图像进行形态学闭操作，然后进行双边滤波处理，并且将这一过程重复5次，去除图像中的黑点和噪声，保留图像中的关键信息，再利用Laplace边缘检测算子进行边缘检测，得到二值图像；
第四步，霍夫变换：
对上述第三步得到的二值图像进行霍夫变换，以检测图像中的圆，应用所述霍夫变换的参数为：累加器阈值为40、圆心最小距离为50、圆最小半径为20、圆最大半径为200。对上述二值图像进行霍夫变换得到的结果为：圆数量为1、定位点圆心像素坐标(Xp1,Yp1)为(831.5,402.5)、半径为59.9像素；
第五步，标定相机：
首先记录在上述第四步的霍夫变换中的图像中的圆的检测结果中的圆心位置在图像中的像素坐标Xp1，将第一步所述的工业相机延X轴移动35mm，并记录移动的实际距离Lr＝35mm和移动后工业相机的实际位置坐标(Xr2，Yr2)＝(510,620)，移动停止后，再一次进行上述获取图像、图像预处理和霍夫变换的步骤，并且记录新图像中的圆的检测结果，记录结果的圆数量为1、圆心像素坐标为(Xp2，Yp2)＝(280.5，402.5)，半径为59.9像素，然后进行计算，即对两次检测圆得到的结果中的圆心坐标作差，得到移动的像素距离Lp，即Xp2－Xp1＝Lp，再用移动的实际距离Lr和上述像素距离Lp相除，实际移动距离Lr为被除数，记录计算结果为距离-像素比，记为k，则k＝Lr/(Xp2-Xp1)＝0.06352mm/像素，至此完成相机标定；
第六步，位置计算：
通过上述第五步中第二次霍夫变换得到的圆心像素坐标(Xp2，Yp2)、移动后工业相机的实际位置坐标(Xr2，Yr2)、距离-像素比k和上述第二步中的图像尺寸(w,h)，计算出待装配产品部件上特征圆的实际位置(Xt，Yt)，特征圆的实际位置计算公式如下：
Xt＝(Xp2-w/2)×k+Xr2＝(280.5-1024/2)×0.06352+510＝495.30；
Yt＝(Yp2-h/2)×k+Yr2＝(402.5-768/2)×0.06352+620＝621.18；
通过上述第一步所述测量软件中录入的待装配产品部件信息中，特征圆的位置(X1,Y1)和待定位的待装配产品部件上的螺丝孔的位置(X2,Y2)，求得待定位螺丝孔相对于特征圆的位置(Lx,Ly)，即Lx＝X2-X1、Ly＝Y2-Y1，通过上面计算的特征圆实际位置(Xt，Yt)和待定位螺丝孔相对于特征圆的位置(Lx,Ly)，进一步计算出待定位螺丝孔的实际位置(Xa,Ya)，待定位螺丝孔的实际位置计算公式如下：
Xa＝Xt+Lx；Ya＝Yt+Ly；
计算得到11个待定位螺丝孔相对于特征圆(195，320)的位置分别为(252，-312)、(107，-314)、(-64，-314)、(-187，-312)、(-187，-132)、(-187，48)、(-187，228)、(-187，412)、(-64，414)、(107，414)、(252，412)；
通过上述计算过程得到的待装配产品部件上特征圆实际位置(495.30,621.18)和待定位螺丝孔相对于特征圆的位置，计算待定位螺丝孔的实际位置。计算得到的11个待定位螺丝孔的实际位置分别为(747.30，309.18)、(602.30，307.18)、(431.30，307.18)、(308.30，309.18)、(308.30，489.18)、(308.30，669.18)、(308.20，849.18)、(308.30，1033.18)、(431.30，1035.18)、(602.30，1035.18)、(747.30，1033.18)。
上述用于螺钉自动装配的机器视觉定位方法，所述形态学闭操作，具体为先膨胀后腐蚀运算。
上述用于螺钉自动装配的机器视觉定位方法，所述双边滤波处理，是一种非线性的滤波方法，结合图像空间邻近度和像素值相似度进行运算，以达到保边去噪的目的。
上述用于螺钉自动装配的机器视觉定位方法，所述二值图像进行霍夫变换，以检测图像中的圆，具体是按照第一步录入数据中选择一个圆孔作为特征圆的半径信息进行筛选，排除图像中其他圆的干扰，得到特征圆在图像中的位置，进而通过图像中的长度与实际长度间的比例关系，计算得到该特征圆对于工业相机的相对位置，进而根据该相对位置和工业相机对于螺钉自动装配装置的工作台的绝对位置，经过计算得到待装配产品部件在螺钉自动装配装置的工作台上的位置。
上述用于螺钉自动装配的机器视觉定位方法，所述工业相机选用迈德威视MV-130GM,130万有效像素，通过USB 2.0接口与工业计算机相连；所述工业计算机选用研华IPC-610-F。
上述用于螺钉自动装配的机器视觉定位方法，所述测量软件由C#语言编写，基于Windows操作系统运行，该软件的功能包括记录产品信息、控制相机拍照、处理图像、计算位置和显示处理结果。
上述用于螺钉自动装配的机器视觉定位方法，所涉及的器件均由公知途径获得，所涉及的图像预处理方法、霍夫变换和其他计算方法是本技术领域的技术人员所能掌握的。
实施例2
除下述部分内容之外，其他同实施例1：
第一步，录入数据：
首先收集待装配产品部件2电视机背板的尺寸信息和表面圆孔分布信息，以及各个螺丝孔分布位置信息及待定位的待装配产品部件上的螺丝孔7的位置，选择一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的圆孔半径和所在位置的信息并作为图像的特征信息，将该待装配产品部件2电视机背板的上述相关信息录入工业计算机4的测量软件中；所述待装配产品部件2电视机背板的长度为650mm，宽度为400mm，取较长边为Y轴，较短边为X轴，左上角顶点处为坐标轴原点(0，0)，单位为mm；待装配产品部件2电视机背板的待装配螺丝孔为11个，位置坐标分别为(402，8)、(257，6)、(131，6)、(8，8)、(8，143)、(8，323)、(8，458)、(8，642)、(131，644)、(257，644)、(402，642)；选择位于(200，300)的一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的半径为4.5mm；
第三步，图像预处理：
采用一种混合使用形态学变换和图像滤波的方法，即先对所述第二步获得的灰度图像进行形态学闭操作，然后进行双边滤波处理，并且将这一过程重复4次，去除图像中的黑点和噪声，保留图像中的关键信息，再利用Laplace边缘检测算子进行边缘检测，得到二值图像；
第五步，标定相机：
首先记录在上述第四步的霍夫变换中的图像中的圆的检测结果中的圆心位置在图像中的像素坐标Xp1，将第一步所述的工业相机延X轴移动30mm，并记录移动的实际距离Lr＝30mm和移动后工业相机的实际位置坐标(Xr2，Yr2)＝(300，400)，移动停止后，再一次进行上述获取图像、图像预处理和霍夫变换的步骤，并且记录新图像中的圆的检测结果，记录结果的圆数量为1、圆心像素坐标为(Xp2，Yp2)＝(359.5，420.5)，半径为60.2像素，然后进行计算，即对两次检测圆得到的结果中的圆心坐标作差，得到移动的像素距离Lp，即Xp2－Xp1＝Lp，再用移动的实际距离Lr和上述像素距离Lp相除，实际移动距离Lr为被除数，记录计算结果为距离-像素比，记为k，则k＝Lr/(Xp2-Xp1)＝0.06355mm/像素，至此完成相机标定；
第六步，位置计算：
通过上述第五步中第二次霍夫变换得到的圆心像素坐标(Xp2，Yp2)、移动后工业相机的实际位置坐标(Xr2，Yr2)、距离-像素比k和上述第二步中的图像尺寸(w,h)，计算出待装配产品部件上特征圆的实际位置(Xt，Yt)，特征圆的实际位置计算公式如下：
Xt＝(Xp2-w/2)×k+Xr2＝(359.5-1024/2)×0.06355+300＝290.31；
Yt＝(Yp2-h/2)×k+Yr2＝(402.5-768/2)×0.06355+400＝401.18；
计算得到11个待定位螺丝孔相对于特征圆(200，300)的位置分别为(-202，-292)、(57，-294)、(-69，-294)、(-192，-292)、(-192，-157)、(-192，23)、(-192，158)、(-192，342)、(-57，344)、(107，344)、(252，342)；
通过上述计算过程得到的待装配产品部件上特征圆实际位置(290.31，401.18)和待定位螺丝孔相对于特征圆的位置，计算待定位螺丝孔的实际位置。计算得到的11个待定位螺丝孔的实际位置分别为(492.31，109.18)、(347.31，107.18)、(221.31，107.18)、(98.31，109.18)、(98.31，244.18)、(98.31，424.18)、(98.31，559.18)、(98.31，743.18)、(221.31，745.18)、(347.31，745.18)、(492.31，743.18)。
实施例3
除下述部分内容之外，其他同实施例1：
第一步，录入数据：
首先收集待装配产品部件2电视机背板的尺寸信息和表面圆孔分布信息，以及各个螺丝孔分布位置信息及待定位的待装配产品部件上的螺丝孔7的位置，选择一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的圆孔半径和所在位置的信息并作为图像的特征信息，将该待装配产品部件2电视机背板的上述相关信息录入工业计算机4的测量软件中；所述待装配产品部件2电视机背板的长度为455mm，宽度为300mm，取较长边为Y轴，较短边为X轴，左上角顶点处为坐标轴原点(0，0)，单位为mm；待装配产品部件2电视机背板的待装配螺丝孔为5个，位置坐标分别为(295，5)、(5，5)、(5，227.5)、(5，440)、(295，440)；选择位于(120，227.5)的一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆3，记录该待定位的待装配产品部件的特征圆3的半径为5mm；
第三步，图像预处理：
采用一种混合使用形态学变换和图像滤波的方法，即先对所述第二步获得的灰度图像进行形态学闭操作，然后进行双边滤波处理，并且将这一过程重复3次，去除图像中的黑点和噪声，保留图像中的关键信息，再利用Laplace边缘检测算子进行边缘检测，得到二值图像；
第五步，标定相机：
首先记录在上述第四步的霍夫变换中的图像中的圆的检测结果中的圆心位置在图像中的像素坐标Xp1，将第一步所述的工业相机延X轴移动40mm，并记录移动的实际距离Lr＝40mm移动后工业相机的实际位置坐标(Xr2，Yr2)＝(220,320)，移动停止后，再一次进行上述获取图像、图像预处理和霍夫变换的步骤，并且记录新图像中的圆的检测结果，记录结果的圆数量为1、圆心像素坐标为(Xp2，Yp2)＝(177,500)，半径为70.4像素，然后进行计算，即对两次检测圆得到的结果中的圆心坐标作差，得到移动的像素距离Lp，即Xp2－Xp1＝Lp，再用移动的实际距离Lr和上述像素距离Lp相除，实际移动距离Lr为被除数，记录计算结果为距离-像素比，记为k，则k＝Lr/(Xp2-Xp1)＝0.06354mm/像素，至此完成相机标定；
第六步，位置计算：
通过上述第五步中第二次霍夫变换得到的圆心像素坐标(Xp2，Yp2)、移动后工业相机的实际位置坐标(Xr2，Yr2)、距离-像素比k和上述第二步中的图像尺寸(w,h)，计算出待装配产品部件上特征圆的实际位置(Xt，Yt)，特征圆的实际位置计算公式如下：
Xt＝(Xp2-w/2)×k+Xr2＝(177-1024/2)×0.06354+220＝198.71；
Yt＝(Yp2-h/2)×k+Yr2＝(500-768/2)×0.06354+320＝327.37；
计算得到11个待定位螺丝孔相对于特征圆(120，227.5)的位置分别为(175，-315)、(-115，-315)、(-115，-92.5)、(-115，-120)、(-175，-120)；
通过上述计算过程得到的待装配产品部件上特征圆实际位置(198.71，327.37)和待定位螺丝孔相对于特征圆的位置，计算待定位螺丝孔的实际位置。计算得到的5个待定位螺丝孔的实际位置分别为(373.71，12.37)、(83.71，12.37)、(83.71，234.87)、(83.71，447.37)、(373.71，447.37)。

Claims (5)

1.用于螺钉自动装配的机器视觉定位方法，其特征在于实施步骤如下：
A.所涉及的器件：
用于螺钉自动装配的机器视觉定位方法实施中所涉及的器件包括工业相机、待装配产品部件、工业计算机、螺钉自动装配装置的工作台和工业相机安装槽；
B.步骤如下：
第一步，录入数据：
首先收集待装配产品部件的尺寸信息和表面圆孔分布信息，以及待定位的待装配产品部件上的螺丝孔的位置，选择一个圆孔的外轮廓圆为待定位的待装配产品部件的特征圆，记录该特征圆的圆孔半径和所在位置的信息并作为图像的特征信息，将该待装配产品部件的上述相关信息录入工业计算机的测量软件中；
第二步，获取图像：
在螺钉自动装配装置的工作台上方的螺丝刀头位置增设工业相机安装槽，将安装工业相机安置在该安装槽中，工业相机通过USB接口与上述第一步中所述的工业计算机进行连接，将待装配产品部件放置在螺钉自动装配装置的工作台上，并用夹具固定，用上述第一步中所述的工业计算机的测量软件控制工业相机进行拍摄图片，获得待装配产品部件在螺钉自动装配装置的工作台上的灰度图像，记图像尺寸(w,h),其中w为宽度，h为高度；
第三步，图像预处理：
采用一种混合使用形态学变换和图像滤波的方法，即先对所述第二步获得的灰度图像进行形态学闭操作，然后进行双边滤波处理，并且将这一过程重复3～5次，去除图像中的黑点和噪声，保留图像中的关键信息，再利用Laplace边缘检测算子进行边缘检测，得到二值图像；
第四步，霍夫变换：
对上述第三步得到的二值图像进行霍夫变换，以检测图像中的圆，得到结果中的定位点圆心像素坐标(Xp1,Yp1)；
第五步，标定相机：
首先记录在上述第四步的霍夫变换中的图像中的圆的检测结果中的圆心位置在图像中的像素坐标Xp1，将第一步所述的工业相机延X轴移动30～40mm，并记录移动的实际距离Lr和移动后工业相机的实际位置坐标(Xr2，Yr2)，移动停止后，再一次进行上述获取图像、图像预处理和霍夫变换的步骤，并且记录新图像中的圆的检测结果，记录结果的圆心像素坐标为(Xp2，Yp2)，然后进行计算，即对两次检测圆得到的结果中的圆心坐标作差，得到移动的像素距离Lp，即Xp2－Xp1＝Lp，再用移动的实际距离Lr和上述像素距离Lp相除，实际移动距离Lr为被除数，记录计算结果为距离-像素比，记为k，至此完成相机标定；
第六步，位置计算：
通过上述第五步中第二次霍夫变换得到的圆心像素坐标(Xp2，Yp2)、移动后工业相 机的实际位置坐标(Xr2，Yr2)、距离-像素比k和上述第二步中的图像尺寸(w,h)，计算出待装配产品部件上特征圆的实际位置(Xt，Yt)，特征圆的实际位置计算公式如下：
Xt＝(Xp2-w/2)×k+Xr2；Yt＝(Yp2-h/2)×k+Yr2
通过上述第一步所述测量软件中录入的待装配产品部件信息中，特征圆的位置(X1,Y1)和待定位的待装配产品部件上的螺丝孔的位置(X2,Y2)，求得待定位螺丝孔相对于特征圆的位置(Lx,Ly)，即Lx＝X2-X1、Ly＝Y2-Y1，通过上面计算的特征圆实际位置(Xt，Yt)和待定位螺丝孔相对于特征圆的位置(Lx,Ly)，进一步计算出待定位螺丝孔的实际位置(Xa,Ya)，待定位螺丝孔的实际位置计算公式如下：
Xa＝Xt+Lx；Ya＝Yt+Ly。
2.根据权利要求1所述用于螺钉自动装配的机器视觉定位方法，其特征在于：所述形态学闭操作，具体为先膨胀后腐蚀运算。
3.根据权利要求1所述用于螺钉自动装配的机器视觉定位方法，其特征在于：所述双边滤波处理，是一种非线性的滤波方法，结合图像空间邻近度和像素值相似度进行运算，以达到保边去噪的目的。
4.根据权利要求1所述用于螺钉自动装配的机器视觉定位方法，其特征在于：所述二值图像进行霍夫变换，以检测图像中的圆，具体是按照第一步录入数据中选择一个圆孔作为特征圆的半径信息进行筛选，排除图像中其他圆的干扰，得到特征圆在图像中的位置，进而通过图像中的长度与实际长度间的比例关系，计算得到该特征圆对于工业相机的相对位置，进而根据该相对位置和工业相机对于螺钉自动装配装置的工作台的绝对位置，经过计算得到待装配产品部件在螺钉自动装配装置的工作台上的位置。
5.根据权利要求1所述用于螺钉自动装配的机器视觉定位方法，其特征在于：所述工业相机选用迈德威视MV-130GM,130万有效像素，通过USB 2.0接口与工业计算机相连；所述工业计算机选用研华IPC-610-F。
CN201610625090.2A 2016-07-28 2016-07-28 用于螺钉自动装配的机器视觉定位方法 Active CN106251354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610625090.2A CN106251354B (zh) 2016-07-28 2016-07-28 用于螺钉自动装配的机器视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610625090.2A CN106251354B (zh) 2016-07-28 2016-07-28 用于螺钉自动装配的机器视觉定位方法

Publications (2)

Publication Number Publication Date
CN106251354A true CN106251354A (zh) 2016-12-21
CN106251354B CN106251354B (zh) 2018-11-06

Family

ID=57606320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610625090.2A Active CN106251354B (zh) 2016-07-28 2016-07-28 用于螺钉自动装配的机器视觉定位方法

Country Status (1)

Country Link
CN (1) CN106251354B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328775A (zh) * 2017-06-23 2017-11-07 广东小天才科技有限公司 一种自动螺钉机安装螺钉时的异常检测方法及装置
CN108010027A (zh) * 2017-12-27 2018-05-08 合肥市雅视智能科技有限公司 一种螺丝异常自动检测方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN109118529A (zh) * 2018-08-13 2019-01-01 四川长虹电器股份有限公司 一种基于视觉的螺孔图像快速定位方法
CN109211207A (zh) * 2018-06-29 2019-01-15 南京邮电大学 一种基于机器视觉的螺钉识别与定位装置
CN109523530A (zh) * 2018-11-13 2019-03-26 北京无线电测量研究所 一种微带片圆形焊盘检测方法和系统
CN109584305A (zh) * 2017-09-29 2019-04-05 宝沃汽车（中国）有限公司 全景系统标定方法、装置及车辆
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN110477851A (zh) * 2019-07-15 2019-11-22 广东工业大学 一种准确测量瞳孔和虹膜绝对直径的方法
CN110794763A (zh) * 2019-11-20 2020-02-14 航天科技控股集团股份有限公司 基于智能相机的电机装配到位判定系统及方法
CN111062940A (zh) * 2019-12-31 2020-04-24 西南交通大学 一种基于机器视觉的螺钉定位与识别方法
CN111223067A (zh) * 2020-02-21 2020-06-02 成都工业学院 一种用于桥梁锚具圆孔加工的自动对位方法
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111507949A (zh) * 2020-04-08 2020-08-07 广东九联科技股份有限公司 一种基于视觉的芯片识别方法
CN111780675A (zh) * 2020-06-30 2020-10-16 Oppo（重庆）智能科技有限公司 螺钉浮高检测方法、装置、电子装置及存储介质
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN112326285A (zh) * 2020-10-21 2021-02-05 南京大学 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法
CN112461130A (zh) * 2020-11-16 2021-03-09 北京平恒智能科技有限公司 一种胶粘制品视觉检测工具框定位方法
CN113793313A (zh) * 2021-09-10 2021-12-14 哈尔滨工业大学 一种薄壁球壳类微小构件全表面微坑结构加工高精度对刀方法及装置
CN113837999A (zh) * 2021-08-20 2021-12-24 北京工业大学 一种金属自动化加工设备中光学标定点设计方法
CN114833560A (zh) * 2021-02-01 2022-08-02 北京遥感设备研究所 一种工装螺钉定位方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154501A (ja) * 2010-01-27 2011-08-11 Sony Corp 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム
CN102938147A (zh) * 2012-09-21 2013-02-20 西北工业大学 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN103943422A (zh) * 2014-05-15 2014-07-23 上海工程技术大学 一种自动调整低压断路器双金属片螺钉长度的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154501A (ja) * 2010-01-27 2011-08-11 Sony Corp 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム
CN102938147A (zh) * 2012-09-21 2013-02-20 西北工业大学 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN103943422A (zh) * 2014-05-15 2014-07-23 上海工程技术大学 一种自动调整低压断路器双金属片螺钉长度的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邵新发等: "断路器长延时调整机构视觉定位系统", 《仪表技术与传感器》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328775A (zh) * 2017-06-23 2017-11-07 广东小天才科技有限公司 一种自动螺钉机安装螺钉时的异常检测方法及装置
CN107328775B (zh) * 2017-06-23 2020-12-01 广东小天才科技有限公司 一种自动螺钉机安装螺钉时的异常检测方法及装置
CN109584305A (zh) * 2017-09-29 2019-04-05 宝沃汽车（中国）有限公司 全景系统标定方法、装置及车辆
CN108010027A (zh) * 2017-12-27 2018-05-08 合肥市雅视智能科技有限公司 一种螺丝异常自动检测方法
CN110288619B (zh) * 2018-03-14 2021-08-03 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN109211207A (zh) * 2018-06-29 2019-01-15 南京邮电大学 一种基于机器视觉的螺钉识别与定位装置
CN109118529A (zh) * 2018-08-13 2019-01-01 四川长虹电器股份有限公司 一种基于视觉的螺孔图像快速定位方法
CN109523530A (zh) * 2018-11-13 2019-03-26 北京无线电测量研究所 一种微带片圆形焊盘检测方法和系统
CN110477851A (zh) * 2019-07-15 2019-11-22 广东工业大学 一种准确测量瞳孔和虹膜绝对直径的方法
CN110794763A (zh) * 2019-11-20 2020-02-14 航天科技控股集团股份有限公司 基于智能相机的电机装配到位判定系统及方法
CN110794763B (zh) * 2019-11-20 2021-01-29 航天科技控股集团股份有限公司 基于智能相机的电机装配到位判定系统及方法
CN111062940A (zh) * 2019-12-31 2020-04-24 西南交通大学 一种基于机器视觉的螺钉定位与识别方法
CN111062940B (zh) * 2019-12-31 2022-05-20 西南交通大学 一种基于机器视觉的螺钉定位与识别方法
CN111260788B (zh) * 2020-01-14 2021-11-19 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111223067A (zh) * 2020-02-21 2020-06-02 成都工业学院 一种用于桥梁锚具圆孔加工的自动对位方法
CN111507949A (zh) * 2020-04-08 2020-08-07 广东九联科技股份有限公司 一种基于视觉的芯片识别方法
CN111507949B (zh) * 2020-04-08 2023-08-15 广东九联科技股份有限公司 一种基于视觉的芯片识别方法
CN111780675A (zh) * 2020-06-30 2020-10-16 Oppo（重庆）智能科技有限公司 螺钉浮高检测方法、装置、电子装置及存储介质
CN111780675B (zh) * 2020-06-30 2022-05-13 Oppo（重庆）智能科技有限公司 螺钉浮高检测方法、装置、电子装置及存储介质
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN112164036B (zh) * 2020-09-15 2022-06-07 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN112326285A (zh) * 2020-10-21 2021-02-05 南京大学 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法
CN112461130A (zh) * 2020-11-16 2021-03-09 北京平恒智能科技有限公司 一种胶粘制品视觉检测工具框定位方法
CN114833560A (zh) * 2021-02-01 2022-08-02 北京遥感设备研究所 一种工装螺钉定位方法、装置及存储介质
CN113837999A (zh) * 2021-08-20 2021-12-24 北京工业大学 一种金属自动化加工设备中光学标定点设计方法
CN113793313A (zh) * 2021-09-10 2021-12-14 哈尔滨工业大学 一种薄壁球壳类微小构件全表面微坑结构加工高精度对刀方法及装置
CN113793313B (zh) * 2021-09-10 2023-12-12 哈尔滨工业大学 一种薄壁球壳类微小构件全表面微坑结构加工高精度对刀方法及装置

Also Published As

Publication number Publication date
CN106251354B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN106251354A (zh) 用于螺钉自动装配的机器视觉定位方法
JP6934026B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN105303514A (zh) 图像处理方法和装置
CN107749268A (zh) 屏幕检测方法及设备
CN104690420B (zh) 基于数字ccd的fpc板边定位加工方法
CN111127402A (zh) 一种机器人焊接质量的视觉检测方法
CN108032011B (zh) 基于激光结构光焊缝初始点导引装置及方法
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
CN104239909A (zh) 一种图像的识别方法和装置
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN111062913B (zh) 一种激光选区融化成型粉床铺粉质量检测方法
CN107238605A (zh) 一种圆柱状工件外表面缺陷检测方法及装置
CN111724383A (zh) 基于转盘的摄像头模组黑斑检测系统
US8390731B2 (en) System and method for measuring a border of an image of an object
CN112722765B (zh) 工件位置的修正方法及装置
CN105378573A (zh) 信息处理装置、检查范围的计算方法以及程序
Pei et al. Welding component identification and solder joint inspection of automobile door panel based on machine vision
CN112991327A (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
JP6597320B2 (ja) 製造時異常判断方法、製造時異常判断プログラム、及び製造装置
CN116594351A (zh) 一种基于机器视觉的数控加工单元系统
EP3509035A1 (en) Testing a battery
CN107564001B (zh) 一种基于凹点搜索的磁片缺角检测方法
Sun et al. Defects detecting of gloves based on machine vision
CN114119738A (zh) 水池污渍检测方法及系统
CN110264531A (zh) 一种棋盘格角点的捉取方法、装置、系统及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant