CN107633509B - 一种汽车配件手眼检测系统及方法 - Google Patents
一种汽车配件手眼检测系统及方法 Download PDFInfo
- Publication number
- CN107633509B CN107633509B CN201710800427.3A CN201710800427A CN107633509B CN 107633509 B CN107633509 B CN 107633509B CN 201710800427 A CN201710800427 A CN 201710800427A CN 107633509 B CN107633509 B CN 107633509B
- Authority
- CN
- China
- Prior art keywords
- image
- parts
- area
- curve
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000009434 installation Methods 0.000 claims abstract description 9
- 239000002390 adhesive tape Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 2
- 239000000853 adhesive Substances 0.000 claims 1
- 230000001070 adhesive effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 13
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开一种汽车配件手眼检测系统及方法，该系统包括机械手控制柜、机械手、摄像机以及图像处理系统；所述机械手控制柜用于控制机械手运动到指定位置；所述摄像机与图像处理系统连接，用于在图像处理系统控制下，获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统；所述图像处理系统用于对所述观测图像R进行处理，判断所述被测汽车配件上零件、胶条的安装情况。本发明能在汽车配件生产装配之后，准确检测出汽车配件上零件、胶条的安装情况，确保汽车的安全性和稳定性，使汽车配件的检测实现自动化、智能化，降低了生产成本，提高了检测质量。
Description
技术领域
本发明涉及工业自动化检测技术领域,尤其涉及一种汽车配件手眼检测系统及方法。
背景技术
随着我国经济的发展，对于现代汽车的需求也越来越大；在汽车的生产过程中，汽车配件的质量好坏直接影响到汽车的稳定性，安全性和汽车的使用寿命等。汽车配件有很多的作用，例如安装在汽车后箱盖上的扰流板，一方面，它使汽车外形增添了动感；另一方面，它能有效地减少了汽车在高速行驶时产生的空气阻力，既节省了燃料，同时也提高了汽车行驶的稳定性。
汽车配件上的零件错装检测，胶条破损检测是劳动力密集型较强的工作，由自动化视觉检测系统完成这些工作，可以提高劳动生产率，减低生产成本，解决人工检测的视觉疲劳等问题。早在上个世纪，在西方发达国家,汽车已形成大规模工业化生产、检测系统。在我国，自动化的汽车生产及检测工厂也在快速发展之中，不少汽车生产公司已具有自动化的生产系统。在汽车的生产过程中,它的质量检测是最后一道重要工序,传统方法都靠人工肉眼完成。由于人工作业的效率和肉眼检测的质量因工作人员的疲劳程度和依据标准不一,很难达到严格的检测要求。所以最后一道工序是汽车零部件工业化生产过程中进一步降低生产成本,提高零部件质量,保证最佳经济效益的制约因素。
对于汽车配件上的零件漏装、胶垫破损、错装以及胶条破损的视觉检测，一方面由于零件大小及形状不一，零件安装位置及角度影响，另一方面，由于胶条尺寸较大，胶条存在曲面弧形安装，相机快速采集，图像处理难度较大。因此，对于汽车配件的视觉检测，检测机构的合理设计及图像处理通常被认为是汽车配件检测的核心技术之一。目前汽车配件的生产、装配系统不能很好地完成相应零件的准确检测，均依靠装配系统的准确性来保证，但在汽车配件生产装配之后，无法准确检测汽车配件上零件、胶条的安装情况，从而也就无法确保汽车的安全性和稳定性。
发明内容
本发明的目的在于通过一种汽车配件手眼检测系统及方法，来解决以上背景技术部分提到的问题。
为达此目的，本发明采用以下技术方案：
一种汽车配件手眼检测系统，该系统包括机械手控制柜、机械手、摄像机以及图像处理系统；所述机械手控制柜用于控制机械手运动到指定位置；所述摄像机与图像处理系统连接，用于在图像处理系统控制下，获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统；所述图像处理系统用于对所述观测图像R进行处理，判断所述被测汽车配件上零件、胶条的安装情况。
特别地，所述图像处理系统具体用于对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损。
特别地，所述对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像R进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做Top Hat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做Black Hat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BWlackHat的极大值得到图像MAX，从而获得图清晰度属性，遍历图像BW上所有像素点，若BW上任意一点P(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像BW，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断。
特别地，所述对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损。
特别地，所述对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装。
特别地，所述汽车配件手眼检测系统还包括LED环形光源和检测台，所述LED环形光源用于在摄像机拍照时，补偿光线；所述检测台用于固定所述被测汽车配件。
本发明还公开了一种汽车配件手眼检测方法，该方法包括如下步骤：
S101、机械手控制柜控制携带摄像机的机械手运动到指定位置；
S102、在图像处理系统控制下，摄像机获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统；
S103、图像处理系统对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损；
S104、机械手运动至下一个拍摄点，重复步骤S102-S103直至被测汽车配件上所有零件检测完毕。
特别地，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像BW进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做Top Hat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做Black Hat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BWlackHat的极大值得到图像MAX，从而获得图清晰度属性，遍历图像BW上所有像素点，若BW上任意一点P(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像BW，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断。
特别地，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损。
特别地，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装。
本发明提出的汽车配件手眼检测系统及方法能在汽车配件生产装配之后，准确检测出汽车配件上零件、胶条的安装情况，确保汽车的安全性和稳定性，使汽车配件的检测实现自动化、智能化，降低了生产成本，提高了检测质量。
附图说明
图1为本发明实施例提供的汽车配件手眼检测系统结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参照图1所示，图1为本发明实施例提供的汽车配件手眼检测系统结构示意图。
本实施例中汽车配件手眼检测系统包括机械手控制柜101、机械手102、摄像机103以及图像处理系统104。为了保证摄像机103的拍照效果，在本实施例中汽车配件手眼检测系统还包括LED环形光源105和检测台106，LED环形光源105设置在机械手102前端的相机架上，在摄像机103拍照时，补偿光线。所述检测台106用于固定所述被测汽车配件。
所述摄像机103设置在机械手102前端的相机架上，与图像处理系统104连接，用于在图像处理系统104控制下，获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统104。在开始拍照前，机械手102根据机械手控制柜101发送的电机指令和参数，控制摄像机103运动到指定位置即指定的拍照点。
所述图像处理系统104与机械手控制柜101连接，机械手102到达指定工位时向图像处理系统104发送指令，从而图像处理系统104打开摄像机103进行拍照，拍照完成后，图像处理系统104向机械手控制柜101发送拍照完成指令，机械手102运动至下一工位，直至所有工位检测完成。
所述图像处理系统104在收到所述观测图像R后，对所述观测图像R进行处理，判断所述被测汽车配件上零件、胶条的安装情况。对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损，最终获得所述被测汽车配件检测结果提示符flag，若flag＝TRUE,则该工位无缺陷，若flag＝FALSE，则该工位有缺陷。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像BW进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做Top Hat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做Black Hat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BlackHat的极大值得到图像MAX，从而获得图清晰度属性，遍历图像BW上所有像素点，若BW上任意一点P(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像BW，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断。其中，所述利用曲线S中最大值的设定比例值作为阈值T1中设定比例值为20％。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装。
基于上述汽车配件手眼检测系统，本实施例还公开了一种汽车配件手眼检测方法，该方法具体包括如下步骤：
S201、机械手控制柜101控制携带摄像机103的机械手102运动到指定位置。
所述摄像机103设置在机械手102前端的相机架上。在开始拍照前，机械手102根据机械手控制柜101发送的电机指令和参数，控制摄像机103运动到指定位置。
S202、在图像处理系统104控制下，摄像机103获得被测汽车配件上各个位置的观测图像BW，并将所述观测图像R传至图像处理系统104。
机械手102到达指定工位时向图像处理系统104发送指令，从而图像处理系统104打开摄像机103进行拍照，拍照完成后，图像处理系统104向机械手控制柜101发送拍照完成指令，机械手102运动至下一工位。
S203、图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损。
所述图像处理系统104在收到所述观测图像R后，对所述观测图像R进行处理，判断所述被测汽车配件上零件、胶条的安装情况。对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损，最终获得所述被测汽车配件检测结果提示符flag，若flag＝TRUE,则该工位无缺陷，若flag＝FALSE，则该工位有缺陷。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像BW进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做Top Hat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做Black Hat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BlackHat的极大值得到图像MAX，从而获得图清晰度属性，遍历图像BW上所有像素点，若BW上任意一点P(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断。其中，所述利用曲线S中最大值的设定比例值作为阈值T1中设定比例值为20％。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损。
在本实施例中所述图像处理系统104对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装。
S204、机械手102运动至下一个拍摄点，重复步骤S202-S203直至被测汽车配件上所有零件检测完毕。
本发明提出的技术方案解决了汽车配件人工检测效率低、检测结果不稳定等问题，能够对汽车配件上零件的漏装、胶垫破损、错装三种错误类型以及配件上的胶条破损进行检测，确保汽车的安全性和稳定性，使汽车配件的检测实现自动化、智能化，降低了生产成本，提高了检测质量。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (2)
1.一种汽车配件手眼检测系统，其特征在于，包括机械手控制柜、机械手、摄像机以及图像处理系统；所述机械手控制柜用于控制机械手运动到指定位置；所述摄像机与图像处理系统连接，用于在图像处理系统控制下，获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统；所述图像处理系统用于对所述观测图像R进行处理，判断所述被测汽车配件上零件、胶条的安装情况，所述图像处理系统具体用于对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损，所述对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像BW进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做TopHat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做BlackHat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BWlackHat的极大值得到图像MAX，从而获得图清晰度属性，遍历图像BW上所有像素点，若BW上任意一点P(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像BW，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断，所述对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损，所述对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做中区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装，所述汽车配件手眼检测系统还包括LED环形光源和检测台，所述LED环形光源用于在摄像机拍照时，补偿光线；所述检测台用于固定所述被测汽车配件。
2.一种汽车配件手眼检测方法，其特征在于，包括如下步骤：
S101、机械手控制柜控制携带摄像机的机械手运动到指定位置；
S102、在图像处理系统控制下，摄像机获得被测汽车配件上各个位置的观测图像R，并将所述观测图像R传至图像处理系统；
S103、图像处理系统对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损、错装三种错误类型以及所述被测汽车配件上的胶条是否破损；
S104、机械手运动至下一个拍摄点，重复步骤S102-S103直至被测汽车配件上所有零件检测完毕，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的胶条是否破损，具体包括：利用大津法对采集到的观测图像R二值化得到图像BW，使用Sobel滤波器对图像BW进行水平和垂直方向处理分别得到sobelX和sobelY，计算其L1范式的梯度图像G，G＝abs(sobelX)+abs(sobelY)，通过对梯度图像G做TopHat变换即梯度图像G减去G的形态学开运算图像得到图像TopHat，对梯度图像G做BlackHat变换即梯度图像G的形态学闭运算图像减去梯度图像G得到图像BWlackHat，取图像TopHat与图像BWlackHat的极大值得到图像MAX，从而获得图清晰度属性，对在图像BW中点(x,y)的像素值为255，且在图像MAX上对应坐标点P1(x,y)的像素值大于阈值T，则图像BW上点(x,y)像素值置255，其余点像素值置0，得到图像BW，对图像BW通过面积过滤和位置定位提取边界基准区域并进行骨架细化得到一条曲线Q，对曲线Q进行多项式拟合得到曲线Q1作为胶条检测的基准线，把图像BW中所有像素点灰度在曲线Q1上投影，得到曲线Q1方向上的灰度投影曲线S，利用曲线S中最大值的设定比例值作为阈值T1，则曲线S中灰度小于阈值T1的区域均为胶条断裂区域，从而完成对胶条是否破损的判断，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在漏装、胶垫破损，具体包括：对观测图像R进行固定阈值二值化处理得到二值化图像BW；对二值化图像BW的白色区域面积进行排序，则白色区域面积最大值S所在的区域I为疑似零件区域；通过比较面积S与阈值T判断被测汽车配件上的零件是否存在漏装；在二值化图像BW中作区域I的最小外接圆C，通过计算最小外接圆C所包含的黑色区域面积与白色区域面积的比值是否大于阈值T1判断被测汽车配件上的零件是否存在胶垫的破损，所述步骤S103中对所述观测图像R进行处理，判断所述被测汽车配件上的零件是否存在错装，具体包括：在被测汽车配件上零件的漏装、胶垫破损检测之后，对于被测汽车配件上零件没有漏装且胶垫没有破损的情况下，做区域I的最小外接矩形RC，以最小外接矩形RC中心点做长边的平行线L，把平行线L与区域I边界轮廓上右边的交点d作为起始点，从起始点开始建立轮廓每相邻两点的向量集合A，把区域I的边界轮廓以平行线L分成上下两部分，再把上下两部分轮廓在平行线L的方向上等距离分成N份，则向量集合A也被分成N份，把N份向量集合分别做傅里叶变换得到归一化的傅里叶形状描述子，并跟3种零件模板的N份傅里叶形状描述子进行一一对应对比，若N份形状描述子中有与第1类零件模板形状描述子相近，则为第1类零件，若N份形状描述子中有与第3类零件模板形状描述子相近，则为第3类零件，否则为第2类零件，从而判断被测汽车配件上的零件是否存在错装。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710800427.3A CN107633509B (zh) | 2017-09-07 | 2017-09-07 | 一种汽车配件手眼检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710800427.3A CN107633509B (zh) | 2017-09-07 | 2017-09-07 | 一种汽车配件手眼检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633509A CN107633509A (zh) | 2018-01-26 |
| CN107633509B true CN107633509B (zh) | 2021-03-02 |
Family
ID=61100056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710800427.3A Active CN107633509B (zh) | 2017-09-07 | 2017-09-07 | 一种汽车配件手眼检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633509B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110146035B (zh) * | 2019-04-12 | 2020-12-25 | 中民筑友科技投资有限公司 | 构件生产线的预埋件检测方法、装置、设备及系统 |
| CN110260923A (zh) * | 2019-07-08 | 2019-09-20 | 昆山市嘉驭汽车饰件有限公司 | 汽车储物盒的检测系统及检测方法 |
| CN111141743A (zh) * | 2019-12-31 | 2020-05-12 | 四川索牌科技股份有限公司 | 一种包膜检测设备及其检测方法 |
| CN113362476B (zh) * | 2021-04-26 | 2023-07-18 | 福建数博讯信息科技有限公司 | 基于计算机图形学的落地式脚手架的校正方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021556A (zh) * | 2014-06-13 | 2014-09-03 | 西南交通大学 | 一种基于几何结构相似性的异源遥感影像配准方法 |
| CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
| CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
-
2017
- 2017-09-07 CN CN201710800427.3A patent/CN107633509B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021556A (zh) * | 2014-06-13 | 2014-09-03 | 西南交通大学 | 一种基于几何结构相似性的异源遥感影像配准方法 |
| CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
| CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多聚焦图像融合的小孔内表面缺陷检测;牛群遥，叶明，陆永华;《计算机应用》;20161010;第36卷(第10期);第2912-2915页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633509A (zh) | 2018-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633509B (zh) | 一种汽车配件手眼检测系统及方法 | |
| US10794838B2 (en) | Method and device for detecting defect of cover lens in laser welding system on automobile production line | |
| CN101526484B (zh) | 基于嵌入式机器视觉的轴承缺陷检测方法 | |
| CN111127571B (zh) | 一种小样本缺陷分类方法和装置 | |
| CN111932501A (zh) | 一种基于语义分割的密封圈表面缺陷检测方法 | |
| CN111311542A (zh) | 一种产品质量检测方法及装置 | |
| CN110021012B (zh) | 基于机器视觉技术的手机镜头视窗玻璃缺陷检测方法 | |
| CN112577969B (zh) | 一种基于机器视觉的缺陷检测方法以及缺陷检测系统 | |
| CN110211110B (zh) | 一种构件尺寸的检测方法、系统及终端设备 | |
| CN103698337A (zh) | 一种扁平酒瓶标签粘贴缺陷自动检测方法 | |
| CN106383121B (zh) | 一种可自适应多品牌的视觉检测方法及系统 | |
| CN108257171A (zh) | 基于光视觉的汽车雷达装配孔径检测方法 | |
| CN108844961A (zh) | 一种温控器壳体视觉检测系统及方法 | |
| CN105205803A (zh) | 显示面板缺陷检测方法 | |
| CN107345916B (zh) | 一种基于固定轮廓的平面外观检测方法 | |
| CN110412055A (zh) | 一种基于多光源暗场照明的透镜白雾缺陷检测方法 | |
| CN111626995A (zh) | 一种针对工件的智能嵌件检测方法和装置 | |
| Ren et al. | Circuit board defect detection based on image processing | |
| CN117058411B (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
| CN107993223A (zh) | 划痕检测方法、装置和电子设备 | |
| CN113780235A (zh) | 图标瑕疵检测方法及系统 | |
| Fan et al. | An automatic machine vision method for the flaw detection on car's body | |
| KR20220046824A (ko) | 리튬 이차 전지의 용접부 검사 방법 | |
| CN112987356B (zh) | 液晶面板底部异物滤除装置 | |
| CN108801599B (zh) | 一种矩阵式led车灯检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |