CN114820506A - 热冲压零件的缺陷检测方法、装置、电子设备及存储介质 - Google Patents
热冲压零件的缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114820506A CN114820506A CN202210431048.2A CN202210431048A CN114820506A CN 114820506 A CN114820506 A CN 114820506A CN 202210431048 A CN202210431048 A CN 202210431048A CN 114820506 A CN114820506 A CN 114820506A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- infrared
- transformed
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 39
- 230000000877 morphologic effect Effects 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 abstract description 15
- 230000007847 structural defect Effects 0.000 abstract description 15
- 238000005336 cracking Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种热冲压零件的缺陷检测方法、装置、电子设备及存储介质，其中的方法包括：获得所述热冲压零件的红外图像和可见光图像；以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；基于所述融合图像进行所述热冲压零件的缺陷检测。上述方法综合了可见光和红外图像的优势，对热冲压零件的表面缺陷和结构缺陷进行量化检测。
Description
技术领域
本申请涉及车辆零部件成型技术领域，尤其涉及一种热冲压零件的缺陷检测方法、装置、电子设备及存储介质。
背景技术
随着汽车产业的不断发展，汽车零件生产线普遍自动化、智能化，效率逐步提升，加工节奏越来越快。在汽车零件的加工过程中，零件的加工缺陷在所难免。及时检测识别这些缺陷对管控汽车质量非常关键。
热冲压零件加工成型时产生的缺陷是多种多样的，常见的有起皱，开裂，划痕等，通过人工肉眼识别的方法成本高，准确度差，量化度低，不利于智能制造的发展。而目前基于机器视觉的缺陷图像检测方法存在难以精确识别不同类型缺陷的问题。
发明内容
本发明提供了一种热冲压零件的缺陷检测方法、装置、电子设备及存储介质，以解决或者部分解决目前热冲压零件的缺陷的机器视觉检测方法存在着的不能精确识别不同类型缺陷的技术问题。
为解决上述技术问题，第一方面，根据本发明实施例提供了一种热冲压零件的缺陷检测方法，包括：
获得所述热冲压零件的红外图像和可见光图像；
以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
基于所述融合图像进行所述热冲压零件的缺陷检测。
可选的，所述选定图像为所述红外图像；所述基于所述选定图像和所述变换图像进行图像融合，获得融合图像，包括：
对所述选定图像进行阈值处理，获得第一阈值图像；
对所述第一阈值图像进行边缘检测，获得第一边缘图像；
对所述第一边缘图像进行形态学处理，获得第一轮廓图像；
基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像。
进一步的，所述对所述边缘图像进行形态学处理，获得第一轮廓图像，包括：
对所述边缘图像进行膨胀运算，获得膨胀边缘图像；
对所述膨胀边缘图像进行腐蚀运算，获得所述第一轮廓图像。
进一步的，所述基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像，包括：
针对所述第一轮廓图像中的每个第一像素点，从所述变换图像中获得与所述第一像素点对应的第二像素点；
基于所述第一像素点的像素值以及与所述第一像素点对应的所述第二像素点的像素值进行加权融合，获得第一融合像素点的像素值，并根据所有所述第一融合像素点的像素值，获得所述融合图像。
可选的，所述基于所述选定图像和所述变换图像进行图像融合，获得融合图像，包括：
基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像；
对所述初步融合图像进行阈值处理，获得第二阈值图像；
对所述第二阈值图像进行边缘检测，获得第二边缘图像；
对所述第二边缘图像进行形态学处理，获得第二轮廓图像；
将包括所述第二轮廓图像的第二阈值图像作为所述融合图像。
进一步的，所述基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像，包括：
针对所述选定图像中的每个第三像素点，从所述变换图像中获得与所述第三像素点对应的第四像素点；
基于所述第三像素点的像素值以及与所述第三像素点对应的所述第四像素点的像素值进行加权融合，获得第二融合像素点的像素值，并根据所有所述第二融合像素点的像素值，获得所述初步融合图像。
可选的，在所述获得所述热冲压零件的红外图像和可见光图像之后，所述方法还包括：
去除所述红外图像和所述可见光图像的背景，获得不含背景的红外图像和不含背景的可见光图像；
依次对所述不含背景的红外图像和所述不含背景的可见光图像进行灰度处理和去噪处理，获得红外灰度图像和可见光灰度图像；
将所述红外灰度图像或所述可见光灰度图像作为所述选定图像，将所述红外灰度图像或所述可见光灰度图像中的另一图像作为所述待变换图像。
基于相同的发明构思，第二方面，根据本发明实施例提供了一种热冲压零件的缺陷检测装置，包括：
获取模块，用于获得所述热冲压零件的红外图像和可见光图像；
透视变换模块，用于以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
融合模块，用于基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
缺陷检测模块，用于基于所述融合图像进行所述热冲压零件的缺陷检测。
基于相同的发明构思，第三方面，根据本发明实施例提供了一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述方法的步骤。
基于相同的发明构思，第四方面，根据本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：
本发明提供了一种热冲压零件的缺陷检测方法，通过在对热冲压零件进行缺陷识别时，同时获取红外图像和可见光图像并进行图像融合，然后基于融合后的图像进行缺陷检测，从而同时发挥可见光图像对三维结构和形貌的表现清晰，容易反映起皱等表面缺陷的优点以及红外图像对边界和轮廓的表现清晰，容易反映开裂等结构缺陷的优点；而在获取红外图像和可见光图像后，先以其中一种图像为基准，通过透视变换将另一种图像变换到基准图像相同的视平面上，能够更精确地在融合图像中保留原红外图像中的轮廓特征和原可见光图像中的形貌特征，从而提高图像融合精度和缺陷检测精度。总之，通过可见光图像与红外图像融合保留有用图源信息，对热冲压零件起皱和开裂等不同类型的缺陷进行自动化检测，从而综合可见光和红外图像的优势，对热冲压零件的表面缺陷和结构缺陷进行量化检测。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
在附图中：
图1示出了根据本发明一个实施例的热冲压零件的缺陷检测方法的流程示意图；
图2示出了根据本发明一个实施例的冲压零部件的可见光图像示意图；
图3示出了根据本发明一个实施例的冲压零部件的红外图像示意图；
图4示出了根据本发明一个实施例的方式一的图像融合的流程示意图；
图5示出了根据本发明一个实施例的方式二的图像融合的流程示意图；
图6示出了根据本发明一个实施例的冲压零部件的融合图像示意图；
图7示出了根据本发明一个实施例的热冲压零件的缺陷检测装置示意图；
图8示出了根据本发明一个实施例的电子设备示意图；
图9示出了根据本发明一个实施例的计算机可读存储介质示意图。
具体实施方式
为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。在整个说明书中，除非另有特别说明，本文使用的术语应理解为本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。除非另有特别说明，本发明中用到的各种设备等，均可通过市场购买得到或者可通过现有方法制备得到。
目前通过机器视觉进行热冲压零件的缺陷检测方法通常是基于可见光图像或红外图像。可见光图像分辨率高，可清晰反映零件三维结构和形貌，可清晰表现起皱，橘皮等表面缺陷，但难以表现出零件出现的开裂等结构缺陷；红外图像分辨率低，难以反映起皱等表面缺陷以及零件的三维结构，但边界清晰，可清晰表现开裂等结构缺陷。两种图像各有特点，适合检测不同类型的缺陷。而目前在缺陷识别时是对零部件的可见光图像和红外图像分别进行检测识别，因此存在基于可见光图像的识别不能准确检测结构缺陷，基于红外图像的识别不能准确识别表面缺陷的问题，即不能在一张零部件图像上准确识别出不同类型缺陷的问题。
为了解决这个问题，本发明提供了一种热冲压零件的缺陷检测方法，其整体思路如下：
获得所述热冲压零件的红外图像和可见光图像；以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；基于所述融合图像进行所述热冲压零件的缺陷检测。
上述方法的改进思路为：在对热冲压零件进行缺陷识别时，同时获取红外图像和可见光图像并进行图像融合，然后基于融合后的图像进行缺陷检测，从而同时发挥可见光图像对三维结构和形貌的表现清晰，容易反映起皱等表面缺陷的优点以及红外图像对边界和轮廓的表现清晰，容易反映开裂等结构缺陷的优点；而在获取红外图像和可见光图像后，先以其中一种图像为基准，通过透视变换将另一种图像变换到基准图像相同的视平面上，能够更精确地在融合图像中保留原红外图像中的轮廓特征和原可见光图像中的形貌特征，从而提高图像融合精度和缺陷检测精度。总的来说，上述方法通过图像融合保留有用图源信息，对热冲压零件起皱和开裂等不同类型的缺陷进行自动化检测，从而综合可见光和红外图像的优势，对热冲压零件的表面缺陷和结构缺陷进行量化检测。
在接下来的内容中，结合具体实施方式，对上述方案进行进一步的说明。
在一个可选的实施例中，将缺陷检测方法应用到某车型的热冲压零件，如附图1所示，缺陷检测方法包括步骤S1～S4，具体如下：
S1：获得所述热冲压零件的红外图像和可见光图像；
在实施时，可在热冲压产线零部件的出口位置布置可见光拍摄设备和红外拍摄设备，在热冲压零件出来后分别拍摄可见光图像和红外图像。若不在热冲压产线的出口位置布置拍摄设备，则可先使用热风机加热零部件，以获得零部件的红外图像。在拍摄前调整好设备的拍摄角度和焦距。在一些情况下可适当增加光源，减少图像中的阴影。
附图2示出了本实施例中的零部件的可见光图像，附图3示出了该零部件的红外图像(灰度处理后)。可以看出，可见光图像分辨率高，可清晰反映零件三维结构和形貌，但难以表现出零件出现的开裂等结构缺陷；红外图像分辨率低，难以反映零件三维结构和形貌，但边界和背景清晰，可清晰表现开裂等缺陷。
在一些可选的实施例中，在所述获得所述热冲压零件的红外图像和可见光图像之后，在进行透视变换前，所述方法还包括：
去除所述红外图像和所述可见光图像的背景，获得不含背景的红外图像和不含背景的可见光图像。
具体的，可采用图像减法方法去除红外图像和可见光图像的背景。
然后，依次对所述不含背景的红外图像和所述不含背景的可见光图像进行灰度处理和去噪处理，获得红外灰度图像和可见光灰度图像。
具体的，灰度处理是将彩色图像中的每个像素点的R，G，B的分量处理成为相同的量，是一种特殊彩色图像。灰度计算方式可以是：
Y＝0.2126×R+0.7152×G+0.0722×B (1)
在灰度化处理完成后，可使用高斯卷积核对灰度化图像进行高斯模糊处理，以对图像进行平滑或去噪。
接下来，将所述红外灰度图像或所述可见光灰度图像作为所述选定图像，将所述红外灰度图像或所述可见光灰度图像中的另一图像作为所述待变换图像。
S2：以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
具体的，可以选择红外图像和可见光图像中的任一图像作为基准，通过透视变换使待变换图像变换一定的视角，从而将待变换图像变换至与选定图像相同的视平面，以提高融合图像的精度。
简单来讲，透视变换是将待变换图像的二维坐标系转换成为三维坐标系，然后再将三维坐标系投影至选定图像所在的二维坐标系。
其中，将二维坐标系转换为三维坐标系的变换方式的数学表达为：
其中，X，Y，Z是变换后的三维坐标，x,y是变换前的平面坐标。
透视变换矩阵A可表示为：
另(x′,y′)为变换后的二维坐标，则透视变换前后的坐标满足下式：
变换矩阵A的确定方法可以是交互式的：
在确定基准图像(选定图像)后，通过交互方式选取可见光图像和红外图像中的四组对应点，从而得到四组对应坐标，然后通过计算得到变换矩阵A，然后再根据变换矩阵A，将待变换图像中的所有像素坐标进行透视变换，得到变换图像。
在进行透视变换时，在得到变换矩阵A的同时也得到了所述变换图像与所述选定图像中所有像素点的映射关系，根据所述映射关系进行后续的图像融合。
S3：基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
在进行图像融合时可采用如下两种方式：
方式一、先提取红外图像的轮廓，基于红外图像的轮廓与可见光图像进行融合，具体如图4所示，包括：
S311：对所述选定图像进行阈值处理，获得第一阈值图像；
其中，所述选定图像为红外图像(或经灰度化处理，去噪处理后的红外图像)，通过对红外图像进行阈值分割，获得经过阈值处理后的红外图像。阈值处理是指剔除图像内像素高于一定值或者低于一定值的像素点。可采用OpenCV视觉库中的简单阈值法函数对红外图像进行阈值处理，将图像转化为二值图像。。
S312：对所述第一阈值图像进行边缘检测，获得第一边缘图像；
具体的，可使用canny算子对第一阈值图像进行边缘检测，获得第一边缘图像。
S313：对所述第一边缘图像进行形态学处理，获得第一轮廓图像；
具体的，形态学处理包括开运算和闭运算，以闭运算为例，具体如下：
对所述边缘图像进行膨胀运算，获得膨胀边缘图像；对所述膨胀边缘图像进行腐蚀运算，获得所述第一轮廓图像。
具体的，先对第一边缘图像先做“膨胀”运算，具体是使用设定的卷积核沿着二值化后的第一轮廓图像滑动，只要卷积核所对应的二值图中存在至少一个像素值为1，则二值图中该区域像素中心值为1；卷积核扫描完成后获得膨胀后的边缘图像。
“膨胀”完成后进行“腐蚀”运算，同样是使用设定的卷积核沿着二值化的膨胀边缘图像滑动，若卷积核所对应的二值图中所有像素值都是1，则二值图中该区域像素中心值就为1，否则为0；卷积核扫描完成后获得第一轮廓图像，即红外图像中的零部件轮廓。
通过形态学操作，可解决第一边缘图像中的部分边缘的不连续问题，从而获得连续的零部件边缘，如此能够提高融合图像的融合精度。
S314：基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像。
具体的融合方法可以采用加权像素融合，具体如下：
针对所述第一轮廓图像中的每个第一像素点，从所述变换图像中获得与所述第一像素点对应的第二像素点；基于所述第一像素点的像素值以及与所述第一像素点对应的所述第二像素点的像素值进行加权融合，获得第一融合像素点的像素值，并根据所有所述第一融合像素点的像素值，获得所述融合图像。
具体的，令第一轮廓图像中的第一像素点为A(i,j)，变换图像中与之对应的第二像素点为B(i,j)，第一融合像素点为F(i,j)，则加权融合的数学表达为：
F(i,j)＝a×A(i,j)+b×B(i,j) (6)
其中，a和b为加权系数，取值关系满足a+b＝1,(i,j)为像素点的位置坐标。
需要说明的是，第一像素点与第二像素点的映射关系，在步骤S2进行透视变换时已经同步确定。
方式一是先提取红外图像的轮廓特征，然后使用轮廓特征与可见光图像进行融合，如此在保留红外图像边界表现清晰，易于反应结构缺陷优点的基础上，减少融合计算量，提高图像融合速度。
方式二、先直接对红外图像和可见光图像进行像素级融合，然后再基于融合图像提取轮廓特征，具体如图5所示，包括：
S321：基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像；
图像融合同样可采用加权像素融合，具体如下：
针对所述选定图像中的每个第三像素点，从所述变换图像中获得与所述第三像素点对应的第四像素点；基于所述第三像素点的像素值以及与所述第三像素点对应的所述第四像素点的像素值进行加权融合，获得第二融合像素点的像素值，并根据所有所述第二融合像素点的像素值，获得所述初步融合图像；
具体的，令选定图像中的第三像素点为C(i,j)，变换图像中与之对应的第四像素点为D(i,j)，第二融合像素点为G(i,j)，则加权融合的数学表达为：
G(i,j)＝c×C(i,j)+d×D(i,j) (7)
其中，c和d为加权系数，取值关系满足c+d＝1,(i,j)为像素点的位置坐标。
S322：对所述初步融合图像进行阈值处理，获得第二阈值图像；
与方案一同理，采用OpenCV视觉库中的简单阈值函数对初步融合图像进行阈值处理，将其转化为第二阈值图像。
S323：对所述第二阈值图像进行边缘检测，获得第二边缘图像；
与方案一同理，采用canny边缘算子进行边缘检测。
S324：对所述第二边缘图像进行形态学处理，获得第二轮廓图像；
具体的，先采用闭运算：膨胀+腐蚀的方式进行形态学处理，然后再通过OpenCV库中的函数提取轮廓，获得轮廓的像素坐标，从而得到第二轮廓图像。
S325：将包括所述第二轮廓图像的第二阈值图像作为所述融合图像。
S4：基于所述融合图像进行所述热冲压零件的缺陷检测。
通过上述方法得到零部件的可见光图像与红外图像的融合图像如图6所示，该融合图像既包括了红外图像的轮廓特征，又包括了可见光图像中的形貌特征。那么接下来可以在融合图像中确定包含所有轮廓特征的最小面积矩形，计算其包围面积，根据轮廓面积进行结构缺陷的检测与识别，具体做法是若有一个以上的包围矩形，则表明存在破裂缺陷，且非最大面积的包围矩形均为破裂位置；以及根据融合图像中的形貌特征，进行表面缺陷的检测和识别，具体做法是通过统计纹理、颜色、亮度特征值，同时建立标准表面无缺陷零件特征值标准库，最后对待测零件图像，运用欧式距离分类器进行缺陷判断。通过将表面缺陷和结构缺陷集中在同一张边界和三维结构清晰的融合图像内，从而发挥了两种图像的各自优势，实现了对热冲压零件上的各类缺陷的检测和识别，避免单独使用红外图像无法准确检测表面缺陷，单独使用可见光图像无法准确检测结构缺陷的问题。
基于前述实施例相同的发明构思，在另一个可选的实施例中，提供了一种热冲压零件的缺陷检测装置，如图8所示，包括：
获取模块10，用于获得所述热冲压零件的红外图像和可见光图像；
透视变换模块20，用于以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
融合模块30，用于基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
缺陷检测模块40，用于基于所述融合图像进行所述热冲压零件的缺陷检测。
可选的，所述选定图像为所述红外图像；所述融合模块30用于：
对所述选定图像进行阈值处理，获得第一阈值图像；
对所述第一阈值图像进行边缘检测，获得第一边缘图像；
对所述第一边缘图像进行形态学处理，获得第一轮廓图像；
基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像。
进一步的，所述融合模块30用于：
对所述边缘图像进行膨胀运算，获得膨胀边缘图像；
对所述膨胀边缘图像进行腐蚀运算，获得所述第一轮廓图像。
进一步的，所述融合模块30用于：
针对所述第一轮廓图像中的每个第一像素点，从所述变换图像中获得与所述第一像素点对应的第二像素点；
基于所述第一像素点的像素值以及与所述第一像素点对应的所述第二像素点的像素值进行加权融合，获得第一融合像素点的像素值，并根据所有所述第一融合像素点的像素值，获得所述融合图像。
可选的，所述融合模块30用于：
基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像；
对所述初步融合图像进行阈值处理，获得第二阈值图像；
对所述第二阈值图像进行边缘检测，获得第二边缘图像；
对所述第二边缘图像进行形态学处理，获得第二轮廓图像；
将包括所述第二轮廓图像的第二阈值图像作为所述融合图像。
进一步的，所述融合模块30用于：
针对所述选定图像中的每个第三像素点，从所述变换图像中获得与所述第三像素点对应的第四像素点；
基于所述第三像素点的像素值以及与所述第三像素点对应的所述第四像素点的像素值进行加权融合，获得第二融合像素点的像素值，并根据所有所述第二融合像素点的像素值，获得所述初步融合图像。
可选的，所述装置还包括：
去除模块，用于去除所述红外图像和所述可见光图像的背景，获得不含背景的红外图像和不含背景的可见光图像；
灰度和去噪处理模块，用于依次对所述不含背景的红外图像和所述不含背景的可见光图像进行灰度处理和去噪处理，获得红外灰度图像和可见光灰度图像；
确定模块，用于将所述红外灰度图像或所述可见光灰度图像作为所述选定图像，将所述红外灰度图像或所述可见光灰度图像中的另一图像作为所述待变换图像。
基于前述实施例相同的发明构思，在又一个可选的实施例中，如图8所示，提供了一种电子设备800，包括处理器820和存储器810，所述存储器810耦接到所述处理器820，所述存储器810存储计算机程序811，当所述计算机程序811由所述处理器820执行时使所述电子设备800执行前述实施例中所述控制方法的步骤。
基于前述实施例相同的发明构思，在又一个可选的实施例中，如图5所示，提供了一种计算机可读存储介质900，其上存储有计算机程序911，该程序被处理器执行时前述实施例中的所述控制方法的步骤。
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
本发明提供了一种热冲压零件的缺陷检测方法，通过在对热冲压零件进行缺陷识别时，同时获取红外图像和可见光图像并进行图像融合，然后基于融合后的图像进行缺陷检测，从而同时发挥可见光图像对三维结构和形貌的表现清晰，容易反映起皱等表面缺陷的优点以及红外图像对边界和轮廓的表现清晰，容易反映开裂等结构缺陷的优点；而在获取红外图像和可见光图像后，先以其中一种图像为基准，通过透视变换将另一种图像变换到基准图像相同的视平面上，能够更精确地在融合图像中保留原红外图像中的轮廓特征和原可见光图像中的形貌特征，从而提高图像融合精度和缺陷检测精度。总之，通过可见光图像与红外图像融合保留有用图源信息，对热冲压零件起皱和开裂等不同类型的缺陷进行自动化检测，从而综合可见光和红外图像的优势，对热冲压零件的表面缺陷和结构缺陷进行量化检测。
尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种热冲压零件的缺陷检测方法，其特征在于，所述方法包括：
获得所述热冲压零件的红外图像和可见光图像；
以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
基于所述融合图像进行所述热冲压零件的缺陷检测。
2.如权利要求1所述的方法，其特征在于，所述选定图像为所述红外图像；所述基于所述选定图像和所述变换图像进行图像融合，获得融合图像，包括：
对所述选定图像进行阈值处理，获得第一阈值图像；
对所述第一阈值图像进行边缘检测，获得第一边缘图像；
对所述第一边缘图像进行形态学处理，获得第一轮廓图像；
基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像。
3.如权利要求2所述的方法，其特征在于，所述对所述边缘图像进行形态学处理，获得第一轮廓图像，包括：
对所述边缘图像进行膨胀运算，获得膨胀边缘图像；
对所述膨胀边缘图像进行腐蚀运算，获得所述第一轮廓图像。
4.如权利要求2所述的方法，其特征在于，所述基于所述第一轮廓图像和所述变换图像进行图像融合，获得所述融合图像，包括：
针对所述第一轮廓图像中的每个第一像素点，从所述变换图像中获得与所述第一像素点对应的第二像素点；
基于所述第一像素点的像素值以及与所述第一像素点对应的所述第二像素点的像素值进行加权融合，获得第一融合像素点的像素值，并根据所有所述第一融合像素点的像素值，获得所述融合图像。
5.如权利要求1所述的方法，其特征在于，所述基于所述选定图像和所述变换图像进行图像融合，获得融合图像，包括：
基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像；
对所述初步融合图像进行阈值处理，获得第二阈值图像；
对所述第二阈值图像进行边缘检测，获得第二边缘图像；
对所述第二边缘图像进行形态学处理，获得第二轮廓图像；
将包括所述第二轮廓图像的第二阈值图像作为所述融合图像。
6.如权利要求5所述的方法，其特征在于，所述基于所述选定图像和所述变换图像进行图像融合，获得初步融合图像，包括：
针对所述选定图像中的每个第三像素点，从所述变换图像中获得与所述第三像素点对应的第四像素点；
基于所述第三像素点的像素值以及与所述第三像素点对应的所述第四像素点的像素值进行加权融合，获得第二融合像素点的像素值，并根据所有所述第二融合像素点的像素值，获得所述初步融合图像。
7.如权利要求1所述的方法，其特征在于，在所述获得所述热冲压零件的红外图像和可见光图像之后，所述方法还包括：
去除所述红外图像和所述可见光图像的背景，获得不含背景的红外图像和不含背景的可见光图像；
依次对所述不含背景的红外图像和所述不含背景的可见光图像进行灰度处理和去噪处理，获得红外灰度图像和可见光灰度图像；
将所述红外灰度图像或所述可见光灰度图像作为所述选定图像，将所述红外灰度图像或所述可见光灰度图像中的另一图像作为所述待变换图像。
8.一种热冲压零件的缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获得所述热冲压零件的红外图像和可见光图像；
透视变换模块，用于以选定图像的图像坐标系为基准，对待变换图像进行透视变换，获得变换图像；其中，所述选定图像为所述红外图像和所述可见光图像中的一个图像，所述待变换图像为所述红外图像和所述可见光图像中的另一图像；
融合模块，用于基于所述选定图像和所述变换图像进行图像融合，获得融合图像；所述融合图像包括所述热冲压零件在所述红外图像中的轮廓特征；
缺陷检测模块，用于基于所述融合图像进行所述热冲压零件的缺陷检测。
9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431048.2A CN114820506A (zh) | 2022-04-22 | 2022-04-22 | 热冲压零件的缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431048.2A CN114820506A (zh) | 2022-04-22 | 2022-04-22 | 热冲压零件的缺陷检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820506A true CN114820506A (zh) | 2022-07-29 |
Family
ID=82505410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210431048.2A Pending CN114820506A (zh) | 2022-04-22 | 2022-04-22 | 热冲压零件的缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820506A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108510447A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| CN110082355A (zh) * | 2019-04-08 | 2019-08-02 | 安徽驭风风电设备有限公司 | 一种风电叶片探测系统 |
| CN113936017A (zh) * | 2021-10-27 | 2022-01-14 | 锐芯微电子股份有限公司 | 图像处理方法及装置 |
| CN114255197A (zh) * | 2021-12-27 | 2022-03-29 | 西安交通大学 | 一种红外与可见光图像自适应融合对齐方法及系统 |
-
2022
- 2022-04-22 CN CN202210431048.2A patent/CN114820506A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108510447A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| CN110082355A (zh) * | 2019-04-08 | 2019-08-02 | 安徽驭风风电设备有限公司 | 一种风电叶片探测系统 |
| CN113936017A (zh) * | 2021-10-27 | 2022-01-14 | 锐芯微电子股份有限公司 | 图像处理方法及装置 |
| CN114255197A (zh) * | 2021-12-27 | 2022-03-29 | 西安交通大学 | 一种红外与可见光图像自适应融合对齐方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 刘永波 等: "《基于计算机视觉的农作物病害图像识别与分级技术研究》", 30 September 2021, 四川科学技术出版社, pages: 49 - 52 * |
| 古洪杰: "基于图像融合的小模数塑料齿轮齿形缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 9, 15 September 2009 (2009-09-15), pages 5 - 11 * |
| 德林恩宝: "Opencv之投影变", pages 1 - 2, Retrieved from the Internet <URL:https://blog.csdn.net/qq_44116998/article/details/124040563> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
| CN111612765B (zh) | 一种圆形透明镜片识别和定位的方法 | |
| CN111951253B (zh) | 用于锂电池表面缺陷检测的方法、设备及可读存储介质 | |
| CN108256521B (zh) | 用于车身颜色识别的有效区域定位方法 | |
| CN111931538A (zh) | 一种Micro QR二维码的定位方法 | |
| CN115775236B (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN110276759B (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN115661110B (zh) | 一种透明工件识别与定位的方法 | |
| CN116109637B (zh) | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 | |
| CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN109166092A (zh) | 一种图像缺陷检测方法及系统 | |
| CN118275449A (zh) | 铜带表面缺陷检测方法、装置及设备 | |
| CN111754525A (zh) | 一种基于非精确切分的工业字符检测流程 | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN114018946B (zh) | 一种基于OpenCV的高反光瓶盖缺陷检测方法 | |
| CN114119695A (zh) | 一种图像标注方法、装置及电子设备 | |
| CN112184723B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN117649589A (zh) | 一种基于改进YOLO-V5s模型的LNG卸料臂目标识别方法 | |
| CN116385353B (zh) | 一种摄像头模组异常检测方法 | |
| CN114820506A (zh) | 热冲压零件的缺陷检测方法、装置、电子设备及存储介质 | |
| CN116485992A (zh) | 一种复合型三维扫描方法和装置、三维扫描仪 | |
| CN115980065A (zh) | 一种多角度打光的墙面施工质量检测方法 | |
| CN114926675A (zh) | 外壳污损缺陷检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |