CN116465896A - 基于人工智能的汽车零部件视觉检测装置及检测方法 - Google Patents
基于人工智能的汽车零部件视觉检测装置及检测方法 Download PDFInfo
- Publication number
- CN116465896A CN116465896A CN202310421458.3A CN202310421458A CN116465896A CN 116465896 A CN116465896 A CN 116465896A CN 202310421458 A CN202310421458 A CN 202310421458A CN 116465896 A CN116465896 A CN 116465896A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- camera
- image
- monocular
- exists
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 46
- 230000007547 defect Effects 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000002159 abnormal effect Effects 0.000 claims abstract description 91
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000005856 abnormality Effects 0.000 claims description 24
- 238000011179 visual inspection Methods 0.000 claims description 17
- 238000004080 punching Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明的基于人工智能的汽车零部件视觉检测装置及检测方法，包括侧面视觉装置，所述侧面视觉装置的侧面相机位于工件带左侧或右侧以实时采集工件带及工件侧壁的二维侧壁图像，所述侧面视觉装置的侧面相机厚度监测模块实时监测所述二维侧壁图像中工件带或工件的厚度从而识别凸出缺陷或冲压工艺异常。本发明技术方案，可解决现有汽车零部件表面缺陷视觉检测技术的检测速度有限的问题。
Description
技术领域
本发明涉及汽车零部件视觉检测装置及视觉检测方法领域，尤其涉及基于人工智能的汽车零部件视觉检测装置及视觉检测方法。
背景技术
汽车用量大，因而汽车零部件通常采用自动化生产加工系统进行自动化加工制造。汽车零部件在制造过程中通常采用视觉方法替代人工进行缺陷检测，从而保证汽车产品的质量和安全性。汽车零部件的视觉检测装置及相关检测方法在汽车零部件制造过程中已取得广泛应用。
板状冲压件是汽车零部件中的一种，在汽车内广泛使用，其用量较大，通常采用高速高精密冲压制造。
板状冲压件通常采用冲床对工件带进行冲压成型，去除工件带中的部分材料而得到相应工件或中间态工件。板状冲压件的表面缺陷检测受冲头上下运动影响，一般无法采用三维线激光扫描仪进行三维成像。本领域通常采用双目视觉技术进行三维成像（如中国专利文献CN201810338153.5），然后基于人工智能算法进行工件三维图像的表面缺陷检测，从而识别工件是否存在表面脏污、毛刺、划痕等缺陷。
这种常规的视觉检测技术，受限于三维精密成像的巨量运算，往往无法满足高速高精密冲床所需的高速检测需求。因而，如何提高汽车零部件表面缺陷视觉检测技术的检测速度，成为汽车零部件视觉检测领域亟待解决的难题。
发明内容
本发明的一些实施例，提供一种基于人工智能的汽车零部件视觉检测装置及视觉检测方法，能够解决前述的检测速度问题，从而提高汽车零部件表面缺陷视觉检测技术的检测速度，进而保证汽车产品的质量和安全性。
在本发明的一个方面，提供一种基于人工智能的汽车零部件视觉检测装置，包括双目视觉装置、工件带、模座、冲头和冲床机身，所述冲头对置于模座上的工件带进行冲压成形得到工件，所述双目视觉装置的两台双目相机分别实时采集工件的表面二维图像，所述双目视觉装置的双目相机三维识别模块对所述表面二维图像进行三维重建得到表面三维点云模型并基于机器学习算法识别所述表面三维点云模型中的表面缺陷；还包括侧面视觉装置，所述侧面视觉装置的侧面相机位于工件带左侧或右侧以实时采集工件带及工件侧壁的二维侧壁图像，所述侧面视觉装置的侧面相机厚度监测模块实时监测所述二维侧壁图像中工件带或工件的厚度从而识别凸出缺陷或冲压工艺异常。
在一些实施例中，所述的基于人工智能的汽车零部件视觉检测装置包括两个或两个以上的冲头，以及两个或两个以上的模座，且冲头的数量等于模座的数量，各所述冲头分别正对一个所述的模座；相邻两个模座之间设置模座间隔，相邻两个工件之间设置工件间隔；所述侧面相机位于模座间隔的中部，所述侧面相机的数量等于所述模座间隔的数量。
在一些实施例中，所述双目相机的数量等于冲头数量的2倍。
在一些实施例中，所述双目视觉装置还包括单目相机二维识别模块；所述两台双目相机的其中之一单独采集工件的单目二维图像；所述单目相机二维识别模块可识别所述单目二维图像是否存在异常区域。
在一些实施例中，所述单目相机二维识别模块可判断所述异常区域是否为细条状。
在本发明的另一方面，提供一种基于人工智能的汽车零部件视觉检测方法，采用所述的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S11：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S12；
S12：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
在一些实施例中，所述的基于人工智能的汽车零部件视觉检测方法，采用前述的包含有单目相机二维识别模块的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S21：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S22；
S22：通过单目相机二维识别模块识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S23；
S23：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
在一些实施例中，所述的基于人工智能的汽车零部件视觉检测方法，采用前述的包含有能判断所述异常区域是否为细条状的单目相机二维识别模块的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S31：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S32；
S32：通过单目相机二维识别模块识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S33；
S33：单目相机二维识别模块判断S32所述异常区域是否为细条状，如为细条状，则输出检测结果为划痕缺陷；如不是细条状，则转入S34；
S34：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
在一些实施例中，所述侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常的方法，包括以下步骤：
S2201：所述侧面相机图像采集模块通过侧面相机获得工件带及工件侧壁的二维侧壁图像；
S2202：所述侧面相机厚度监测模块对所述二维侧壁图像通过阈值分割算法得到工件带及工件侧壁的侧壁黑白图像，并滤除与所述侧壁黑白图像中白色带状区域不连通的噪声区域，然后获取所述白色带状区域上边缘各像素点的位置值，得到相应侧壁的上边缘高度序列，并获取所述白色带状区域下边缘各像素点的位置值，得到相应侧壁的下边缘高度序列；
S2203：将所述上边缘高度序列各值减去所述上边缘高度序列各值均值得到上边缘高度数值，如果所述上边缘高度数值中超出高度允许范围的数值数量超过高度异常允许数量，则输出结果为存在凸起；如果所述上边缘高度数值中超出高度允许范围的数值数量没有超过高度异常允许数量，则输出结果为不存在凸起；
S2204：所述上边缘高度序列各值减去所述下边缘高度序列各值均值得到侧壁厚度序列差值，如果所述侧壁厚度序列差值中超出厚度允许范围的数值数量超过厚度异常允许数量，则输出结果为存在冲压工艺异常；如果没有超过厚度异常允许数量，则输出结果为不存在冲压工艺异常。
在一些实施例中，所述单目相机二维识别模块识别所述单目二维图像中是否存在异常区域的方法，包括以下步骤：
S1301：所述双目相机图像采集模块通过双目相机获得工件的单目二维图像；
S1302：所述单目相机二维识别模块对所述单目二维图像通过阈值分割算法得到所述单目二维图像的黑白图像，并滤除与所述单目二维图像内的噪声区域；
S1303：所述单目相机二维识别模块将所述单目二维图像的黑白图像与标准二维黑白图像比对，如果二者间的差异区域超过允许差异区域范围，则输出结果为存在异常区域；如果二者间的差异区域没有超过允许差异区域范围，则输出结果为不存在异常区域。
因此，根据本发明的实施例，本发明的基于人工智能的汽车零部件视觉检测装置及视觉检测方法，通过二维缺陷识别可以大幅提高检测速度及相应缺陷检测的可靠性，因而可以很好地提高汽车零部件表面缺陷视觉检测技术的检测速度，进而保证汽车产品的质量和安全性。
本发明的有益效果及其他方面的优点将由下面结合附图的实施例的详细描述而变得清楚明白。
附图说明
构成说明书的一部分的附图描述了本发明的一些实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更清楚地理解本发明。
图1为本发明所述的基于人工智能的汽车零部件视觉检测装置的一个实施例的总体结构示意图。
图2为图1所述的基于人工智能的汽车零部件视觉检测装置的总体结构俯视图。
图3为图1所述的基于人工智能的汽车零部件视觉检测装置的总体结构侧视图。
图4为本发明所述的基于人工智能的汽车零部件视觉检测装置的一个实施例的功能模块总体结构示意图。
图5为本发明所述的基于人工智能的汽车零部件视觉检测装置的另一实施例的功能模块总体结构示意图。
图6为本发明所述的基于人工智能的汽车零部件视觉检测方法的一个实施例的流程图。
图7为本发明所述的基于人工智能的汽车零部件视觉检测方法的另一实施例的流程图。
图8为本发明所述的基于人工智能的汽车零部件视觉检测方法的另一实施例的流程图。
应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。
附图中包括：
双目视觉装置10；双目相机11；双目相机三维识别模块12；单目相机二维识别模块13；双目相机图像采集模块14；检测结果处理模块15；
侧面视觉装置20；侧面相机21；侧面相机厚度监测模块22；侧面相机图像采集模块23；
工件带30；工件31；工件间隔JG；
模座40；工位1模座41；工位2模座42；工位3模座43；模座间隔JM；
冲头50；工位1冲头51；工位2冲头52；工位3冲头53；
冲床机身60；
相机支架70；固定杆71；横梁72；双目相机支架73；侧面相机支架74。
实施方式
如图1至4所示，为解决前述的汽车零部件表面缺陷视觉检测技术的检测速度问题，本发明的一个实施例的基于人工智能的汽车零部件视觉检测装置，包括双目视觉装置10、工件带30、模座40、冲头50和冲床机身60，所述冲头50对置于模座40上的工件带30进行冲压成形得到工件31，所述双目视觉装置10的两台双目相机11分别实时采集工件31的表面二维图像，所述双目视觉装置10的双目相机三维识别模块12对所述表面二维图像进行三维重建得到表面三维点云模型并基于机器学习算法识别所述表面三维点云模型中的表面缺陷。
在一些实施例中，所述的基于人工智能的汽车零部件视觉检测装置还包括侧面视觉装置20，所述侧面视觉装置20的侧面相机21位于工件带30左侧或右侧以实时采集工件带30及工件31侧壁的二维侧壁图像，所述侧面视觉装置20的侧面相机厚度监测模块22实时监测所述二维侧壁图像中工件带30或工件31的厚度从而识别凸出缺陷或冲压工艺异常。所述凸出缺陷包括使工件31或工件带30上边缘高度增加的表面脏污缺陷或毛刺缺陷，所述冲压工艺异常是指工件带30上边缘相对下边缘均线的厚度异常，即扭曲变形超出允许范围（具体可结合下文所述的检测方法进一步理解）。
如图2至3所示，在一些实施例中，所述的基于人工智能的汽车零部件视觉检测装置包括两个或两个以上的冲头50，以及两个或两个以上的模座40，且冲头50的数量等于模座40的数量，各所述冲头50分别正对一个所述的模座40；相邻两个模座40之间设置模座间隔JM，相邻两个工件31之间设置工件间隔JG；所述侧面相机21位于模座间隔JM的中部，所述侧面相机21的数量等于所述模座间隔JM的数量。
在一些实施例中，所述侧面相机21全部位于所述模座40的左侧，或者，所述侧面相机21全部位于所述模座40的右侧。
如图2所示，在一些实施例中，所述侧面相机21成对地位于模座间隔JM的中部并分列工件带30的左侧和右侧，所述侧面相机21的数量等于所述模座间隔JM数量的2倍。
在一些实施例中，所述冲头50包括工位1冲头51、工位2冲头52、工位3冲头53；所述模座40包括工位1模座41、工位2模座42、工位3模座43。
所述工位1冲头51对正于所述工位1模座41可完成工件31在工位1的冲压工序；所述工位2冲头52对正于所述工位2模座42可完成工件31在工位2的冲压工序；所述工位3冲头53对正于所述工位3模座43可完成工件31在工位3的冲压工序。
在一些实施例中，所述双目相机11的数量等于冲头50数量的2倍。
在一些实施例中，所述双目视觉装置10还包括单目相机二维识别模块13；所述两台双目相机11的其中之一单独采集工件31的单目二维图像；所述单目相机二维识别模块13可识别所述单目二维图像是否存在异常区域。
在一些实施例中，所述单目相机二维识别模块13可判断所述异常区域是否为细条状。
如图2至3所示，在一些实施例中，所述的基于人工智能的汽车零部件视觉检测装置还包括相机支架70。
所述相机支架70包括固定杆71和横梁72。所述固定杆71的数量不少于2个，所述横梁72的两端分别固定于两个所述固定杆71的上部或上端。
所述固定杆71的下部埋入并固定于地下，所述固定杆71的上部凸出并裸露于地面。
在一些实施例中，所述固定杆71到所述工件带30直线方向中心线的垂直距离不小于低振动安全距离。所述低振动安全距离是指所述固定杆71与所述工件带30直线方向中心线的安全垂直距离，该安全垂直距离可使所述冲床机身60冲压过程中的振动干扰对侧面相机21或/和双目相机11的影响被控制在可接受范围，从而使侧面相机21或/和双目相机11正常工作且检测精度不受振动影响。
由于所述固定杆71固定于地下，且距离所述工件带30直线方向中心线的垂直距离不小于低振动安全距离，因此，所述冲床机身60冲压过程中的振动干扰对侧面相机21或/和双目相机11的影响被控制在可接受范围，侧面相机21或/和双目相机11可以正常工作且检测精度不受振动影响。而现有技术普遍将固定杆71固定于冲床机身60上，侧面相机21或/和双目相机11的检测精度容易受振动影响甚至不能正常工作。
在一些实施例中，为使所述固定杆71距离所述工件带30直线方向中心线的垂直距离不小于低振动安全距离，可以在冲床实际冲压过程中不断调增固定杆71距离所述工件带30直线方向中心线的垂直距离，直至侧面相机21或/和双目相机11的实际振动量符合检测要求即采集的图像及检测精度不受振动影响。
在一些实施例中，所述相机支架70还包括双目相机支架73。
所述双目相机支架73用于固定所述双目相机11并使所述双目相机11采集到前述的表面二维图像及单目二维图像。所述的各个双目相机11均由一个相应的所述双目相机支架73固定安装于所述横梁72上。
在一些实施例中，所述相机支架70还包括侧面相机支架74。
所述侧面相机支架74用于固定所述侧面相机21并使所述侧面相机21采集到前述的二维侧壁图像。所述的各个侧面相机21均由一个相应的所述侧面相机支架74固定安装于所述横梁72上。
在一些实施例中，所述相机支架70共计两套，分别位于冲头50、模座40及工件带30构成的冲压产线的左右两侧。
在一些实施例中，所述双目视觉装置10还包括双目相机图像采集模块14和检测结果处理模块15。所述双目相机图像采集模块14从所述双目相机11获取图像信号并经预处理、降噪获得相应的实时二维图像。所述检测结果处理模块15获取所述双目相机三维识别模块12图像检测及缺陷识别结果，经过逻辑处理得到最终检测结果，并将最终检测结果输出至用户界面。
在一些实施例中，所述侧面视觉装置20还包括侧面相机图像采集模块23。所述侧面相机图像采集模块23从所述侧面相机21获取图像信号并经预处理、降噪获得相应的实时二维图像。
如图4所示，在一些实施例中，所述双目相机图像采集模块14通过所述双目相机11获得所述表面二维图像并将相应图像传输给所述双目相机三维识别模块12。所述双目相机三维识别模块12再将包括有无缺陷等信息的检测结果传至所述检测结果处理模块15。同时，所述侧面相机图像采集模块23通过所述侧面相机21获得所述二维侧壁图像并将相应图像传输给所述侧面相机厚度监测模块22。所述侧面相机厚度监测模块22再将包括有无凸出缺陷或冲压工艺异常等信息的检测结果传至所述检测结果处理模块15。
如图5所示，在一些实施例中，所述双目相机图像采集模块14通过所述双目相机11获得所述表面二维图像并将相应图像传输给所述双目相机三维识别模块12。所述双目相机三维识别模块12再将包括有无异常区域或缺陷等信息的检测结果传至所述检测结果处理模块15。同时，所述侧面相机图像采集模块23通过所述侧面相机21获得所述二维侧壁图像并将相应图像传输给所述侧面相机厚度监测模块22。所述侧面相机厚度监测模块22再将包括有无凸出缺陷或冲压工艺异常等信息的检测结果传至所述检测结果处理模块15。并且，所述双目相机图像采集模块14通过所述双目相机11获得所述表面二维图像并将其中一幅图像传输给所述单目相机二维识别模块13。所述单目相机二维识别模块13再将包括有无异常区域等信息的检测结果传至所述检测结果处理模块15。
前述的包括有无异常区域或缺陷等信息的检测结果，以及包括有无凸出缺陷或冲压工艺异常等信息的检测结果，既包括有无缺陷或异常的结果数据，也包括缺陷或异常对应的工件编号、工件当前工位、缺陷或异常区域的图像位置及涉及区域。
前述的逻辑处理方式详见下述的基于人工智能的汽车零部件视觉检测方法。
如图6所示，本发明的一个实施例的基于人工智能的汽车零部件视觉检测方法，采用前述的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S11：通过侧面相机厚度监测模块22识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S12；
S12：通过双目相机三维识别模块12识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
如图7所示，本发明的一个实施例的基于人工智能的汽车零部件视觉检测方法，采用前述的包含有单目相机二维识别模块13的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S21：通过侧面相机厚度监测模块22识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S22；
S22：通过单目相机二维识别模块13识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S23；
S23：通过双目相机三维识别模块12识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
如图8所示，本发明的一个实施例的基于人工智能的汽车零部件视觉检测方法，采用前述的包含有能判断所述异常区域是否为细条状的单目相机二维识别模块13的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S31：通过侧面相机厚度监测模块22识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S32；
S32：通过单目相机二维识别模块13识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S33；
S33：单目相机二维识别模块13判断S32所述异常区域是否为细条状，如为细条状，则输出检测结果为划痕缺陷；如不是细条状，则转入S34；
S34：通过双目相机三维识别模块12识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
前述的双目相机三维识别模块12识别所述表面三维点云模型是否存在缺陷，可以采用现有技术具体实施，也可以参考中国专利CN202211445797.7、CN201910148797.2等现有技术具体实施。
在一些实施例中，所述侧面相机厚度监测模块22识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常的方法，包括以下步骤：
S2201：所述侧面相机图像采集模块23通过侧面相机21获得工件带30及工件31侧壁的二维侧壁图像；
S2202：所述侧面相机厚度监测模块22对所述二维侧壁图像通过阈值分割算法得到工件带30及工件31侧壁的侧壁黑白图像，并滤除与所述侧壁黑白图像中白色带状区域（对应工件带30及工件31侧壁）不连通的噪声区域，然后获取所述白色带状区域上边缘各像素点的位置值，得到相应侧壁的上边缘高度序列，并获取所述白色带状区域下边缘各像素点的位置值，得到相应侧壁的下边缘高度序列；
S2203：将所述上边缘高度序列各值减去所述上边缘高度序列各值均值得到上边缘高度数值，如果所述上边缘高度数值中超出高度允许范围的数值数量超过高度异常允许数量，则输出结果为存在凸起；如果所述上边缘高度数值中超出高度允许范围的数值数量没有超过高度异常允许数量，则输出结果为不存在凸起；
S2204：所述上边缘高度序列各值减去所述下边缘高度序列各值均值得到侧壁厚度序列差值，如果所述侧壁厚度序列差值中超出厚度允许范围的数值数量超过厚度异常允许数量，则输出结果为存在冲压工艺异常；如果没有超过厚度异常允许数量，则输出结果为不存在冲压工艺异常。
在一些实施例中，所述单目相机二维识别模块13识别所述单目二维图像中是否存在异常区域的方法，包括以下步骤：
S1301：所述双目相机图像采集模块14通过双目相机11获得工件31的单目二维图像；
S1302：所述单目相机二维识别模块13对所述单目二维图像通过阈值分割算法得到所述单目二维图像的黑白图像，并滤除与所述单目二维图像内的噪声区域；
S1303：所述单目相机二维识别模块13将所述单目二维图像的黑白图像与标准二维黑白图像比对，如果二者间的差异区域超过允许差异区域范围，则输出结果为存在异常区域；如果二者间的差异区域没有超过允许差异区域范围，则输出结果为不存在异常区域。
在一些实施例中，所述单目相机二维识别模块13判断S32所述异常区域是否为细条状的方法，包括以下步骤；
S1304：若S1303的输出结果为存在异常区域，则转入S1305；若S1303的输出结果为不存在异常区域，则输出结果为不存在异常区域；
S1305：如果所述异常区域的方形包络外轮廓的长宽比大于规定长宽比数值，则输出结果为细条状；如果不大于规定数值，则输出结果为不是细条状。
在一些实施例中，为提高所述单目相机二维识别模块13识别所述异常区域的可靠性和准确性，所述双目相机图像采集模块14通过所述双目相机11获得所述表面二维图像并将相应的左侧和右侧两幅图像传输给所述单目相机二维识别模块13，如果所述单目相机二维识别模块13从其中任一图像中识别出所述异常区域，则输出结果为存在异常区域；如果所述单目相机二维识别模块13从其中任一图像中均未识别出所述异常区域，则输出结果为不存在异常区域。
所述的高度允许范围、厚度允许范围、高度异常允许数量、高度异常允许数量以及允许差异区域范围，需要结合具体缺陷控制需求实际确定，其数值可以通过预设和微调相结合的方式逐步优化调整，即，先根据现有缺陷图像信息给予一定的裕度预设一个数值，然后结合大量的实际检测情况持续微调，进而不断获得更优的更利于提高检测结果准确度可靠度的数值。
在一些实施例中，所述的规定长宽比数值需要结合具体缺陷控制需求实际确定，其数值一般不低于5。
在一些实施例中，S1303中的图像比对，可以采用DiffImg、Image Comparer等较为成熟的图像对比工具，从而找到两张类似图片的不同之处，也可以先将所述标准二维黑白图像反色处理，然后再将所述单目二维图像的黑白图像与所述的反色后的标准二维黑白图像叠加混合，即可得出异常区域。
关于计算机系统软硬件、图像采集电路及模块、相关线路连接及信号连接、相关基本算法等均为现有技术，不再详细描述，以免模糊本发明的根本原理和要旨。
本领域通常直接采用基于双目视觉的三维图像智能识别技术识别工件表面是否存在缺陷，受限于三维精密成像的巨量运算，往往无法满足高速高精密冲床所需的高速检测需求。本发明在通过双目相机三维识别模块12识别所述表面三维点云模型是否存在缺陷之前，采用侧面视觉装置20及侧面相机厚度监测模块22，通过识别工件带30或工件31的侧壁是否存在凸出缺陷或冲压工艺异常的方式，以及通过单目相机二维识别模块13识别是否存在异常区域及异常区域是否为细条状的方式，可以通过二维图像识别算法快速地识别图像中是否存在缺陷或异常，从而大大减少后续双目相机三维识别模块12的计算需求和计算量，而且，除了额外增加的侧面相机21之外，没有额外增加较多的成本，性价比高实用性强。
特别是，受限于光照变化及脏污、划痕、毛刺之间的图像相似性，现有智能视觉检测技术关于表面脏污、划痕、毛刺的检测结果可靠性一直难以真正满足产业需求。对难于识别或容易识别错误的表面脏污缺陷，本发明通过侧面相机厚度监测模块22直接识别凸出缺陷及冲压工艺异常，检测速度和可靠性大幅提升。对难于识别或容易识别错误的划痕缺陷，本发明通过单目相机二维识别模块13直接识别异常区域及异常区域是否为条状，检测速度和可靠性也大幅提升。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
还应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
至此，已经详细描述了本发明的各实施例。为了避免遮蔽本发明的构思，没有描述本领域所已知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本发明的范围由所附权利要求来限定。
Claims (10)
1.基于人工智能的汽车零部件视觉检测装置，包括双目视觉装置、工件带、模座、冲头和冲床机身，所述冲头对置于模座上的工件带进行冲压成形得到工件，所述双目视觉装置的两台双目相机分别实时采集工件的表面二维图像，所述双目视觉装置的双目相机三维识别模块对所述表面二维图像进行三维重建得到表面三维点云模型并基于机器学习算法识别所述表面三维点云模型中的表面缺陷，其特征在于，还包括侧面视觉装置，所述侧面视觉装置的侧面相机位于工件带左侧或右侧以实时采集工件带及工件侧壁的二维侧壁图像，所述侧面视觉装置的侧面相机厚度监测模块实时监测所述二维侧壁图像中工件带或工件的厚度从而识别凸出缺陷或冲压工艺异常。
2.根据权利要求1所述的基于人工智能的汽车零部件视觉检测装置，其特征在于，包括两个或两个以上的冲头，以及两个或两个以上的模座，且冲头的数量等于模座的数量，各所述冲头分别正对一个所述的模座；相邻两个模座之间设置模座间隔，相邻两个工件之间设置工件间隔；所述侧面相机位于模座间隔的中部，所述侧面相机的数量等于所述模座间隔的数量。
3.根据权利要求2所述的基于人工智能的汽车零部件视觉检测装置，其特征在于，所述双目相机的数量等于冲头数量的2倍。
4.根据权利要求2所述的基于人工智能的汽车零部件视觉检测装置，其特征在于，所述双目视觉装置还包括单目相机二维识别模块；所述两台双目相机的其中之一单独采集工件的单目二维图像；所述单目相机二维识别模块可识别所述单目二维图像是否存在异常区域。
5.根据权利要求4所述的基于人工智能的汽车零部件视觉检测装置，其特征在于，所述单目相机二维识别模块可判断所述异常区域是否为细条状。
6.基于人工智能的汽车零部件视觉检测方法，其特征在于，采用权利要求1至5所述的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S11：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S12；
S12：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
7.基于人工智能的汽车零部件视觉检测方法，其特征在于，采用权利要求4至5所述的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S21：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S22；
S22：通过单目相机二维识别模块识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S23；
S23：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
8.基于人工智能的汽车零部件视觉检测方法，其特征在于，采用权利要求5所述的基于人工智能的汽车零部件视觉检测装置，并按以下步骤进行缺陷检测：
S31：通过侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常，如存在凸出缺陷或冲压工艺异常，则输出检测结果为存在凸出缺陷或冲压工艺异常；如不存在凸出缺陷或冲压工艺异常，转入S32；
S32：通过单目相机二维识别模块识别所述单目二维图像中是否存在异常区域，如不存在，则输出检测结果为工件合格、工艺正常；如存在异常区域，则转入S33；
S33：单目相机二维识别模块判断S32所述异常区域是否为细条状，如为细条状，则输出检测结果为划痕缺陷；如不是细条状，则转入S34；
S34：通过双目相机三维识别模块识别所述表面三维点云模型是否存在缺陷，如存在则输出检测结果为其他缺陷；如不存在缺陷，则输出检测结果为工件合格、工艺正常。
9.根据权利要求6所述的基于人工智能的汽车零部件视觉检测方法，其特征在于，所述侧面相机厚度监测模块识别所述二维侧壁图像中是否存在所述凸出缺陷或冲压工艺异常的方法，包括以下步骤：
S2201：所述侧面相机图像采集模块通过侧面相机获得工件带及工件侧壁的二维侧壁图像；
S2202：所述侧面相机厚度监测模块对所述二维侧壁图像通过阈值分割算法得到工件带及工件侧壁的侧壁黑白图像，并滤除与所述侧壁黑白图像中白色带状区域不连通的噪声区域，然后获取所述白色带状区域上边缘各像素点的位置值，得到相应侧壁的上边缘高度序列，并获取所述白色带状区域下边缘各像素点的位置值，得到相应侧壁的下边缘高度序列；
S2203：将所述上边缘高度序列各值减去所述上边缘高度序列各值均值得到上边缘高度数值，如果所述上边缘高度数值中超出高度允许范围的数值数量超过高度异常允许数量，则输出结果为存在凸起；如果所述上边缘高度数值中超出高度允许范围的数值数量没有超过高度异常允许数量，则输出结果为不存在凸起；
S2204：所述上边缘高度序列各值减去所述下边缘高度序列各值均值得到侧壁厚度序列差值，如果所述侧壁厚度序列差值中超出厚度允许范围的数值数量超过厚度异常允许数量，则输出结果为存在冲压工艺异常；如果没有超过厚度异常允许数量，则输出结果为不存在冲压工艺异常。
10.根据权利要求7所述的基于人工智能的汽车零部件视觉检测方法，其特征在于，所述单目相机二维识别模块识别所述单目二维图像中是否存在异常区域的方法，包括以下步骤：
S1301：所述双目相机图像采集模块通过双目相机获得工件的单目二维图像；
S1302：所述单目相机二维识别模块对所述单目二维图像通过阈值分割算法得到所述单目二维图像的黑白图像，并滤除与所述单目二维图像内的噪声区域；
S1303：所述单目相机二维识别模块将所述单目二维图像的黑白图像与标准二维黑白图像比对，如果二者间的差异区域超过允许差异区域范围，则输出结果为存在异常区域；如果二者间的差异区域没有超过允许差异区域范围，则输出结果为不存在异常区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310421458.3A CN116465896A (zh) | 2023-04-19 | 2023-04-19 | 基于人工智能的汽车零部件视觉检测装置及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310421458.3A CN116465896A (zh) | 2023-04-19 | 2023-04-19 | 基于人工智能的汽车零部件视觉检测装置及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116465896A true CN116465896A (zh) | 2023-07-21 |
Family
ID=87183870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310421458.3A Pending CN116465896A (zh) | 2023-04-19 | 2023-04-19 | 基于人工智能的汽车零部件视觉检测装置及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116465896A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665138A (zh) * | 2023-08-01 | 2023-08-29 | 临朐弘泰汽车配件有限公司 | 一种汽车配件冲压加工视觉检测方法及系统 |
-
2023
- 2023-04-19 CN CN202310421458.3A patent/CN116465896A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665138A (zh) * | 2023-08-01 | 2023-08-29 | 临朐弘泰汽车配件有限公司 | 一种汽车配件冲压加工视觉检测方法及系统 |
| CN116665138B (zh) * | 2023-08-01 | 2023-11-07 | 临朐弘泰汽车配件有限公司 | 一种汽车配件冲压加工视觉检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109785245B (zh) | 一种光斑图像修整方法 | |
| CN109507192B (zh) | 一种基于机器视觉的磁芯表面缺陷检测方法 | |
| CN111230593B (zh) | 一种基于动态图像序列的铣刀磨损量视觉测量方法 | |
| CN109632808B (zh) | 棱边缺陷检测方法、装置、电子设备及存储介质 | |
| CN108469437B (zh) | 浮法玻璃的缺陷检测方法及装置 | |
| CN116465896A (zh) | 基于人工智能的汽车零部件视觉检测装置及检测方法 | |
| CN107578397A (zh) | 一种新型非接触式接触线磨损检测方法 | |
| CN108107837A (zh) | 一种基于视觉引导的玻璃加工装置及方法 | |
| CN104597057A (zh) | 一种基于机器视觉的柱状二极管表面缺陷检测装置 | |
| CN107644538B (zh) | 交通信号灯的识别方法及装置 | |
| CN107907063A (zh) | 一种基于视觉测量的钢带冲孔加工检测系统及方法 | |
| CN116523921B (zh) | 一种针对极耳翻折情况的检测方法、装置和系统 | |
| CN115690105B (zh) | 一种基于计算机视觉的铣刀划痕检测方法 | |
| CN114881915A (zh) | 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法 | |
| CN104134211A (zh) | 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法 | |
| US20230186516A1 (en) | Method and flat bed machine tool for detecting a fitting position of a supporting bar | |
| CN111551568A (zh) | 一种基于机器视觉的镜片缺陷检测与分类方法 | |
| CN114894808A (zh) | 基于机器视觉的热管管口缺陷检测装置及其方法 | |
| CN114199127B (zh) | 基于机器视觉的汽车零件尺寸检测系统及方法 | |
| CN111578838A (zh) | 一种齿轮尺寸视觉测量装置及测量方法 | |
| CN220584069U (zh) | 汽车零部件视觉检测装置 | |
| CN113634915A (zh) | 基于视觉的切割装置及其切割方法 | |
| CN114257736A (zh) | 一种工件自适应拍摄方法 | |
| CN107797517B (zh) | 采用机器视觉实现钢带冲孔加工检测的方法及系统 | |
| CN111476792B (zh) | 一种板带钢图像轮廓的提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |