CN118275449A - 铜带表面缺陷检测方法、装置及设备 - Google Patents
铜带表面缺陷检测方法、装置及设备 Download PDFInfo
- Publication number
- CN118275449A CN118275449A CN202410526602.4A CN202410526602A CN118275449A CN 118275449 A CN118275449 A CN 118275449A CN 202410526602 A CN202410526602 A CN 202410526602A CN 118275449 A CN118275449 A CN 118275449A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- copper strip
- strip surface
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 362
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 title claims abstract description 229
- 229910052802 copper Inorganic materials 0.000 title claims abstract description 229
- 239000010949 copper Substances 0.000 title claims abstract description 229
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000005070 sampling Methods 0.000 claims abstract description 65
- 230000004927 fusion Effects 0.000 claims description 73
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 33
- 230000002950 deficient Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 20
- 230000000007 visual effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000007500 overflow downdraw method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本申请适用于铜带技术领域,尤其涉及铜带表面缺陷检测方法、装置及设备,该方法包括:获取铜带表面图像;检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息;根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像;对所述采样图像进行识别,得到识别结果;其中,所述识别结果用于反映铜带表面缺陷的类型。本申请提供的铜带表面缺陷检测方法,提高了铜带表面缺陷检测的精度和效率,提升了自动化水平。
Description
技术领域
本申请属于铜带技术领域,尤其涉及铜带表面缺陷检测方法、装置及设备。
背景技术
铜带一般是指由铜材料制成的带状物品,通常用于电气工程中作为导电和接地材料,以及各种其他工业应用。铜带的特点包括良好的导电性、导热性和可塑性,在建筑、电气连接、装饰和艺术领域等多种场合都有应用。
现有技术中,铜带表面缺陷检测操作通常需要专业的技能和经验,操作人员的技能水平和经验差异可能影响检测结果的准确性。某些检测技术,如超声波和涡流检测,可能受到周围环境噪声、温度和电磁干扰的影响。
综上所述,现有技术中检测铜带表面缺陷存在技术专业性强、易受环境影响的问题。
发明内容
本申请实施例提供了一种铜带表面缺陷检测方法、装置及设备,可以解决现有技术中检测铜带表面缺陷技术专业性强、易受环境影响的问题。
第一方面,本申请实施例提供了一种铜带表面缺陷检测方法,包括:
获取铜带表面图像;
检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息;
根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像;
对所述采样图像进行识别,得到识别结果;其中,所述识别结果用于反映铜带表面缺陷的类型。
本申请实施例中上述的技术方案,至少具有如下技术效果:
本申请提供的铜带表面缺陷检测方法,先通过获取铜带表面图像,利于获取最全面的铜带表面视图,然后检测铜带表面图像中的缺陷位置,得到缺陷位置信息,再根据缺陷位置信息对铜带表面图像中的缺陷区域进行采样,得到采样图像,利于得到清晰和高质量的缺陷图像,为后续识别缺陷类型提供基础,最后对采样图像进行识别,得到识别结果,可以得知铜带表面缺陷的类型。该方法通过多角度的图像帮助减少由于光线和视角引起的误判,提高了缺陷检测的精度和效率。通过该方法检测铜带表面缺陷减少了人力需求,加快了检测速度,降低了生产成本,提升了自动化水平。
在第一方面的一种可能的实现方式中,所述获取铜带表面图像,包括:
获取至少两组第一图像;其中,所述至少两组第一图像包括对铜带表面至少两个角度拍摄的第一图像,每组所述第一图像包括对铜带表面在同一角度且不同光线条件下拍摄的多张图像;
对所述至少两组第一图像进行图像预处理,得到至少两组第二图像;
对每组所述第二图像进行图像融合,得到第三图像;其中,所述第三图像包括至少两个角度的光线融合图像;
对所述第三图像进行图像处理,得到所述铜带表面图像。
在第一方面的一种可能的实现方式中,所述对每组所述第二图像进行图像融合,得到第三图像,包括:
当所述第二图像的亮度范围大于亮度阈值,使用HDR融合对所述第二图像进行图像融合,得到第三图像;
当所述第二图像的亮度范围小于或等于亮度阈值,使用平均或者加权平均融合对所述第二图像进行图像融合,得到第三图像。
在第一方面的一种可能的实现方式中,所述对所述第三图像进行图像处理,得到所述铜带表面图像,包括:
对所述第三图像进行特征点提取和匹配;
根据匹配的特征点计算几何变换,并基于所述几何变换对所述第三图像进行配准,得到第四图像;
利用基于深度学习的图像融合模型对所述第四图像进行图像融合,得到第五图像;其中,所述基于深度学习的图像融合模型是使用已融合不同光线条件下的不同角度的铜带表面图像预先训练得到的;
对所述第五图像进行后处理和优化,得到所述铜带表面图像。
在第一方面的一种可能的实现方式中,所述检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息,包括:
对所述铜带表面图像进行二值化处理,得到第六图像;
对所述第六图像进行边缘检测,并从所述第六图像中提取缺陷轮廓;
分析所述缺陷轮廓,确定出所述缺陷轮廓的位置和尺寸,并在所述铜带表面图像中标记缺陷位置,得到所述缺陷位置信息。
在第一方面的一种可能的实现方式中,所述根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像,包括:
根据所述缺陷位置信息,确定所述铜带表面图像中待识别缺陷的面积类型;
对所述铜带表面图像进行与所述面积类型对应的区域检测操作,得到所述待识别缺陷对应的缺陷区域;
对所述待识别缺陷对应的缺陷区域进行采样,得到所述采样图像。
在第一方面的一种可能的实现方式中,所述根据所述缺陷位置信息,确定所述铜带表面图像中待识别缺陷的面积类型,包括:
根据所述缺陷位置信息,获取待识别缺陷所对应的像素数量;
当所述像素数量大于预设数量,确定所述待识别缺陷的面积类型为大面积类型;其中,所述大面积类型为所述待识别缺陷在所述铜带表面图像中所占的面积大于预设值;
当所述像素数量小于或等于所述预设数量,确定所述待识别缺陷的面积类型为小面积类型;其中,所述小面积类型为所述待识别缺陷在所述铜带表面图像中所占的面积小于或等于所述预设值。
在第一方面的一种可能的实现方式中,所述对所述铜带表面图像进行与所述面积类型对应的区域检测操作,得到所述待识别缺陷对应的缺陷区域,包括:
当所述待识别缺陷的面积类型为所述大面积类型,利用超像素分割将所述铜带表面图像分割为多个小区块;
提取多个所述小区块的特征,并与无缺陷区域的特征进行比较,得到特征分析结果;
根据所述特征分析结果,识别出与所述无缺陷区域的特征显著不同的所述小区块,得到所述待识别缺陷对应的缺陷区域;
当所述待识别缺陷的面积类型为所述小面积类型,对所述铜带表面图像进行轮廓检测,得到所述待识别缺陷对应的缺陷区域。
在第一方面的一种可能的实现方式中,所述对所述待识别缺陷对应的缺陷区域进行采样,得到所述采样图像,包括:
当所述缺陷区域的分辨率大于预设阈值,对所述缺陷区域进行采样,得到所述采样图像;
当所述缺陷区域的分辨率小于或等于所述预设阈值,对所述缺陷区域进行上采样,得到所述采样图像。
在第一方面的一种可能的实现方式中,所述对所述采样图像进行识别,得到识别结果,包括:
提取所述采样图像的关键特征;
利用缺陷识别模型分析所述关键特征,识别和分类出所述采样图像中的缺陷类型,得到识别结果;其中,所述缺陷识别模型是使用多个标注铜带表面缺陷类型的铜带表面图像预先训练得到的。
第二方面,本申请实施例提供了一种铜带表面缺陷检测装置,包括:
获取单元,用于获取铜带表面图像;
检测单元,用于检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息;
采样单元,用于根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像;
识别单元,用于对所述采样图像进行识别,得到识别结果;其中,所述识别结果用于反映铜带表面缺陷的类型。
第三方面,本申请实施例提供了一种铜带表面缺陷检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面中的任一实施例所述的方法。
可以理解的是,上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的铜带表面缺陷检测方法的流程示意图;
图2是本申请一实施例提供的铜带表面缺陷检测方法中步骤S100的实现流程示意图;
图3是本申请一实施例提供的铜带表面缺陷检测方法中步骤S130的实现流程示意图;
图4是本申请一实施例提供的铜带表面缺陷检测方法中步骤S140的实现流程示意图;
图5是本申请一实施例提供的铜带表面缺陷检测方法中步骤S200的实现流程示意图;
图6是本申请一实施例提供的铜带表面缺陷检测方法中步骤S300的实现流程示意图;
图7是本申请一实施例提供的铜带表面缺陷检测方法中步骤S310的实现流程示意图;
图8是本申请一实施例提供的铜带表面缺陷检测方法中步骤S320的实现流程示意图;
图9是本申请一实施例提供的铜带表面缺陷检测方法中步骤S330的实现流程示意图;
图10是本申请一实施例提供的铜带表面缺陷检测方法中步骤S400的实现流程示意图;
图11是本申请实施例提供的铜带表面缺陷检测装置的结构示意图;
图12是本申请实施例提供的铜带表面缺陷检测设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
相关技术中,铜带表面缺陷检测操作通常需要专业的技能和经验,操作人员的技能水平和经验差异可能影响检测结果的准确性。某些检测技术,如超声波和涡流检测,可能受到周围环境噪声、温度和电磁干扰的影响。
为解决上述问题,本申请实施例提供了一种铜带表面缺陷检测方法、装置及设备。
该方法中,先通过获取铜带表面图像,利于获取最全面的铜带表面视图,然后检测铜带表面图像中的缺陷位置,得到缺陷位置信息,再根据缺陷位置信息对铜带表面图像中的缺陷区域进行采样,得到采样图像,利于得到清晰和高质量的缺陷图像,为后续识别缺陷类型提供基础,最后对采样图像进行识别,得到识别结果,可以得知铜带表面缺陷的类型。该方法通过多角度的图像帮助减少由于光线和视角引起的误判,提高了缺陷检测的精度和效率。通过该方法检测铜带表面缺陷减少了人力需求,加快了检测速度,降低了生产成本,提高了工作效率。
本申请实施例提供的铜带表面缺陷检测方法可以应用于终端设备上,此时终端设备即为本申请实施例提供的铜带表面缺陷检测方法的执行主体,本申请实施例对终端设备的具体类型不作任何限制。
例如,终端设备可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol,SIP)电话、无线本地环路(Wireless LocalLoop,WLL)站、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、桌上型计算机、智慧大屏、智能电视、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box,STB)、用户驻地设备(customer premise equipment,CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统,例如,5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network,PLMN)网络中的移动终端等。
为了更好地理解本申请实施例提供的铜带表面缺陷检测方法,下面对本申请实施例提供的铜带表面缺陷检测方法的具体实现过程进行示例性介绍。
图1示出了本申请实施例提供的铜带表面缺陷检测方法的示意性流程图,铜带表面缺陷检测方法包括:
S100,获取铜带表面图像。
示例性地,可以使用高分辨率摄像机或其他成像设备在同一角度下改变光线条件拍摄多张铜带表面的图像,对同一角度不同光线条件下的多张铜带表面图像进行图像融合,融合成在该角度下的一张图像。按照该方法在铜带表面不同角度拍摄图像,得到在每个角度下不同光线条件的图像组,对每组图像进行图像融合,得到每个角度对应的一张光线融合图像。将多张每个角度对应的一张光线融合图像进行融合,得到一张铜带表面图像。例如,选取铜带表面正面与侧面的角度,在铜带表面正面改变光线条件拍摄多张图像,将这些图像进行图像融合,得到一张铜带表面正面图像;在铜带表面侧面改变光线条件拍摄多张图像,将这些图像进行图像融合,得到一张铜带表面侧面图像;将铜带表面正面图像与铜带表面侧面图像再次进行图像融合,最终得到一张铜带表面图像。
在一种可能的实现方式中,请参阅图2,S100,获取铜带表面图像,包括:
S110,获取至少两组第一图像。其中,至少两组第一图像包括对铜带表面至少两个角度拍摄的第一图像,每组第一图像包括对铜带表面在同一角度且不同光线条件下拍摄的多张图像。
示例性地,可以选择至少两个不同的角度来拍摄铜带表面,这些角度应该能够覆盖铜带的关键特性和可能的缺陷区域。例如,可以选择一个平行于铜带表面的角度和一个倾斜角度,以便从侧面观察可能的边缘缺陷。对于每个选定的角度,采集多张图像,每张图像使用不同的光线条件,可能包括不同的光源强度、光源方向或使用不同类型的照明(如环形灯、LED或自然光)。可以系统地变换光源的位置,比如将光源从正上方移到侧面,或者改变光线的强度,这样可以在每个角度下捕捉到铜带表面在不同照明下的反应。可以使用高分辨率相机进行拍摄,确保图像质量足够高,能够捕捉到细微的表面特征和缺陷。在每个角度和每种光线条件下,拍摄多张图像以提高数据的丰富性,有助于后续的图像预处理阶段更有效地进行噪声去除和细节增强。还可以对每张图像进行详细标记,记录下拍摄的具体角度和光线条件,将有助于后续的图像融合和分析阶段理解每张图像的拍摄环境。
S120,对至少两组第一图像进行图像预处理,得到至少两组第二图像。
示例性地,图像在捕捉过程中可能会引入噪点,尤其是在低光条件下或使用高ISO设置时,可以使用去噪算法(如高斯模糊、中值滤波或更高级的数字去噪技术)来清除这些不必要的噪声。根据原始图像的曝光情况,调整亮度和对比度以确保图像的关键细节更加清晰可见,可以通过直方图均衡化、对数变换或线性拉伸来实现。对图像进行色彩校正,以确保铜带的颜色表示尽可能接近真实情况,对于识别某些特定类型的表面缺陷非常重要,色彩校正可以使用白平衡调整或色彩校正滤镜来进行。应用锐化滤镜增强图像细节,使边缘更加清晰,有助于后续的缺陷检测和特征提取,常用的锐化技术包括Unsharp Mask(USM)和高通滤波。如果图像由于拍摄角度或镜头畸变导致几何失真,需要进行几何校正,包括矫正透视畸变、旋转校正和裁剪不规则边缘,确保图像的直线和边缘准确表示物体的真实形态。为了后续处理的一致性,将所有图像调整到统一的分辨率和尺寸,有助于在后续步骤中简化图像处理流程,并确保特征提取的一致性。
通过这些预处理,第一图像组将被转换成更适合进一步处理的第二图像组,预处理后的图像将具有更好的图像质量,更适合进行深度分析和缺陷检测,不仅提高了图像的可用性,还为确保后续处理步骤(如图像融合和特征分析)的效率和准确性提供了重要保障。
S130,对每组第二图像进行图像融合,得到第三图像。其中,第三图像包括至少两个角度的光线融合图像。
示例性地,可以根据图像的特点和需求选择合适的融合技术,如果图像之间的曝光差异较大,可以使用高动态范围(HDR)融合技术;如果曝光相对一致,可以选择平均融合或加权平均融合方法。对于铜带表面图像,HDR融合尤其有用,因为它能够从不同曝光的图像中捕捉最多的细节。在进行融合前,确保所有输入图像都已经进行了必要的预处理,如校正几何畸变、调整尺寸和对齐图像,确保融合过程中图像信息的一致性和准确对齐。使用所选的融合技术将每个角度的不同光线条件下的第二图像组合并,涉及到像素级的信息合并,其中算法会评估每个像素点的信息贡献,从而选择最有代表性的数据来构建最终图像。融合后的图像可能需要进一步的优化处理,如调整色彩、增强对比度和细节锐化,以提高图像质量,这些步骤帮助确保融合后的图像在视觉上清晰、细节丰富。在得到初步的融合结果后,评估图像的质量,特别是查看关键的缺陷区域是否清晰可见。还可以回到融合过程中调整参数或重新选择融合方法,以达到最佳的视觉效果。一旦第三图像达到预期的质量标准,确认图像融合步骤完成。第三图像包含了从至少两个角度和每个角度的多种光线条件下获得的所有关键信息。
可选地,请参阅图3,S130,对每组第二图像进行图像融合,得到第三图像,包括:
S131,当第二图像的亮度范围大于亮度阈值,使用HDR融合对第二图像进行图像融合,得到第三图像。
可以理解,在处理不同曝光程度的图像时,HDR(高动态范围)融合和平均融合是常用的图像融合技术。HDR融合适用于曝光差异大的图像,而平均或加权平均融合适用于曝光相对一致的图像。
示例性地,可以设定亮度阈值来区分曝光差异大和曝光相对一致的图像,亮度阈值可以根据亮度范围或直方图宽度或亮度标准差来设定。
可以计算图像中最亮和最暗像素之间的亮度范围,该亮度范围可以用来衡量图像的曝光差异,如果亮度范围超过亮度阈值,则表明曝光差异较大;如果小于亮度阈值,则表明曝光相对一致。例如,设定亮度阈值为100,图像中亮度范围超过100表示曝光差异大,低于或等于100表示曝光相对一致。
图像的直方图反映了每个亮度值的像素数量,直方图宽度可以作为衡量曝光差异的指标,通过分析直方图的分布宽度,设定亮度阈值,如果直方图的宽度超过亮度阈值,表示曝光差异较大;如果宽度小于亮度阈值,表示曝光相对一致。例如,根据直方图的宽度设定亮度阈值为50个亮度值,超过50个亮度值的宽度表示曝光差异大,低于或等于50表示曝光相对一致。
亮度标准差反映了图像亮度的分散程度,高标准差意味着亮度分散大,低标准差意味着亮度集中。设定亮度阈值来区分曝光差异大的图像和曝光相对一致的图像。例如,设定亮度标准差的亮度阈值为15,标准差超过15表示曝光差异大,低于或等于15表示曝光相对一致。
可以理解,高动态范围(HDR)融合能够整合不同曝光水平的图像,以产生一个在亮度和细节上都更为平衡的图像。常用的HDR融合软件包括Adobe Photoshop, PhotomatixPro, 或开源的OpenCV库,这些软件通常能够处理多张不同曝光水平的图像并融合为一张。
示例性地,在进行HDR融合之前,确保所有图像都精确对齐,即使是微小的移动也可能影响融合效果,可以使用图像对齐算法如特征匹配和透视变换来调整图像对齐。
将预处理后、对齐的图像输入到HDR融合程序中,融合程序将分析每张图像在不同亮度区域的细节,并结合这些信息,创建一个动态范围更广的图像。在HDR融合过程中,算法通常涉及到计算局部或全局的色调映射,以优化输出图像的整体对比度和细节表现。融合得到的HDR图像可能需要进行色调映射处理,以便在标准显示设备上正确显示,色调映射旨在保留重要的视觉细节,同时避免颜色和光度的过度或不足。可以进行图像增强,如锐化、对比度调整等,以进一步提升图像质量。
在完成HDR融合后,评估图像的质量,特别关注那些曝光差异之前可能丢失的细节部分。还可以回到融合和色调映射的步骤中调整参数,以达到最佳视觉效果。确认融合的结果满足质量标准后,最终的HDR图像即为第三图像。
S132,当第二图像的亮度范围小于或等于亮度阈值,使用平均或者加权平均融合对第二图像进行图像融合,得到第三图像。
可以理解,平均融合是最简单的融合方法,直接计算所有图像像素值的算术平均。该方法在曝光非常一致的情况下非常有效,能够显著降低图像噪声,并平滑细节。
在加权平均融合方法中,可以根据每张图像质量给予不同的权重。例如,图像的清晰度或特定区域的重要性可以用来确定权重。加权平均融合方法更加灵活,适用于某些图像比其他图像更为重要或可靠的场合。
示例性地,可以确保所有用于融合的图像在曝光和颜色上已经进行了标准化处理,并且图像间对齐准确,以避免任何偏移或扭曲影响最终结果。可以使用图像处理软件或自定义脚本,如Python中的OpenCV或PIL库,来实现平均或加权平均融合。对于平均融合,简单地对每个像素点的对应值进行平均计算;对于加权平均融合,每个像素的值需要乘以其相应的权重,然后对加权的像素值求和,并根据所有权重的总和进行规范化。融合后的图像可能需要进一步的调整,如色彩校正、对比度增强或锐化,以优化视觉效果。仔细检查融合后的图像,特别是关注那些在单一图像中可能表现不佳的区域,确保融合图像在细节和色彩表现上都优于任何单一的源图像。一旦融合后的图像满足质量标准,确认其作为最终的第三图像。
S140,对第三图像进行图像处理,得到铜带表面图像。
示例性地,对第三图像进行预处理后,将第三图像中至少两个角度的光线融合图像进行图像融合得到铜带表面图像。多角度图像融合方法有焦点堆栈技术、多视图融合技术、基于深度学习的图像融合方法。如果不同角度的图像具有不同的焦点深度,焦点堆栈技术可以被用来合成所有最清晰的部分,从而在一个图像中得到最佳的焦点深度;多视图融合技术包括传统的立体视觉方法和更现代的三维重建技术,如基于深度学习的方法,可以用来合成一个详细的三维视图或高细节的二维图像;可以使用基于深度学习的图像融合方法,该方法能通过学习大量的数据来自动优化融合参数和过程,提供更自然的融合效果,尤其是在处理复杂场景和光照条件下。
可选地,请参阅图4,S140,对第三图像进行图像处理,得到铜带表面图像,包括:
S141,对第三图像进行特征点提取和匹配。
示例性地,可以使用适合的特征点检测算法,如SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)、ORB(Oriented FAST and Rotated BRIEF)等。这些算法能够在图像中检测到角点、边缘和其他显著特征,且对光线变化和视角变化具有一定的鲁棒性。在第三图像上运行选定的检测算法,提取出显著的特征点,这些特征点的位置和描述子将用于后续的特征匹配。
可以使用特征描述子之间的匹配算法(如FLANN匹配器、Brute-Force匹配器)来找出不同图像中相互对应的特征点。匹配过程中,可以采用一定的距离度量(如欧氏距离)来确保匹配的准确性。应用比例测试和一致性检查(如RANSAC)来去除错误的匹配,保留可靠的匹配对,有助于提高匹配质量,尤其是在具有复杂背景和不同光线条件的图像中。
S142,根据匹配的特征点计算几何变换,并基于几何变换对第三图像进行配准,得到第四图像。
示例性地,可以使用匹配的特征点来估计图像之间的几何变换,涉及到计算一个仿射变换或更复杂的单应性(透视)变换。单应性变换涉及到使用至少四对匹配点,并能够处理图像间的旋转、缩放、平移以及透视变形,对于从不同角度拍摄的图像尤为重要。可以使用如RANSAC(Random Sample Consensus)算法来鲁棒地估计变换矩阵,可以有效地排除错误的匹配点,提高变换的准确性。根据计算出的变换矩阵,对第三图像中的所有图像进行配准,包括应用仿射或单应性变换,将所有图像调整到同一个坐标系统中。通过变换,确保图像中的相同特征在空间上对齐,从而使得来自不同图像的相同区域在最终合成的图像中重合,得到第四图像。
S143,利用基于深度学习的图像融合模型对第四图像进行图像融合,得到第五图像。其中,基于深度学习的图像融合模型是使用已融合不同光线条件下的不同角度的铜带表面图像预先训练得到的。
示例性地,可以选择一个适合于图像融合的深度学习模型,如卷积神经网络(CNN)或生成对抗网络(GAN),这些模型能够通过学习大量数据中的复杂模式,自动找到最佳的方式来融合不同的图像特征。配置模型参数,如网络架构、学习率和优化器,确保模型能够有效地处理具体的图像数据。
可以使用已经融合不同光线条件的不同角度的铜带表面图像作为训练数据,这些数据包括广泛的场景和条件,以确保模型能够泛化到新的、未见过的图像上。进行模型训练,通常需要大量的计算资源和时间,训练过程中模型将学习如何识别和融合来自不同来源的图像特征。将第四图像输入到训练好的深度学习模型中,模型将自动处理图像,应用其学到的特征融合技术,以生成一个质量更高的融合图像。模型输出的图像即为第五图像,该图像将展示从先前所有处理步骤中累积的最佳视觉信息。
S144,对第五图像进行后处理和优化,得到铜带表面图像。
示例性地,可以对第五图像进行细节优化(锐化处理),增强图像的细节,尤其是缺陷的边界和表面的细微纹理,有助于更清楚地识别和分析缺陷。可以使用图像处理软件或库(如Adobe Photoshop, GIMP, 或OpenCV)应用Unsharp Mask或高通滤波器,这些工具可以提高边缘对比,使得细节更为突出。调节锐化强度和阈值,以避免过度处理而导致的噪声增加或失真。
可以调整第五图像的对比度和亮度,以改善整体的视觉效果并增强缺陷的可见性,使得图像分析更加有效。可以利用直方图均衡化来自动调整图像的亮度分布,或手动调整滑块来改善特定区域的亮度和对比度。在调整过程中,确保调整是均匀的,避免局部过曝或过暗,影响缺陷的识别和分类。
可以对第五图像进行色彩校正,确保图像色彩的自然性和准确性,反映真实的材料属性。调整色温和色彩平衡,校正由于照明条件或相机设置引起的色偏,可以使用色彩校正工具进行白平衡调整,或在图像编辑软件中手动调整色彩滑块,以确保色彩的自然呈现并符合实际的材料颜色。
上述这些步骤通过利用多角度和多光线的图像信息,大大提升了最终铜带表面图像的质量和可用性,这种方法不仅提高了检测的精确度,还有助于减少因图像质量问题而导致的错误判断。
S200,检测铜带表面图像中的缺陷位置,得到缺陷位置信息。
示例性地,可以在铜带表面图像中使用预定义的或自动提取的缺陷模板进行搜索和匹配,通过滑动窗口技术在整个图像中移动模板,并计算模板与当前窗口的相似度,该方法适用于形状和尺寸相对一致的缺陷检测。
可以使用边缘检测算法(如Canny边缘检测器)提取图像中的边缘,有助于识别铜带表面的裂缝、划痕等物理缺陷;应用轮廓检测算法(如OpenCV中的 findContours 方法)来确定二值化图像中缺陷的轮廓,可以提取缺陷形状和大小信息;对检测到的缺陷轮廓进行进一步分析,以确定每个缺陷的准确位置和尺寸,计算缺陷的边界框(最小矩形区域),有助于在铜带表面图像中标记出缺陷的具体位置。
在一种可能的实现方式中,请参阅图5,S200,检测铜带表面图像中的缺陷位置,得到缺陷位置信息,包括:
S210,对铜带表面图像进行二值化处理,得到第六图像。
可以理解,对铜带表面图像进行二值化处理的目的是简化图像数据,将彩色图像转换为只包含灰度信息的图像,减少处理数据量并便于后续的二值化处理。
示例性地,可以使用图像处理软件将RGB彩色图像转换成灰度图像,通过去除彩色信息,仅保留亮度信息来完成。可以选择合适的二值化方法,例如,如果图像整体亮度比较均匀,可以选择一个固定的阈值将图像转换为黑白两部分,全局阈值方法简单快速,但可能不适用于光照条件复杂的图像;如果针对图像亮度分布不均的情况,自适应阈值方法会根据图像不同区域的光照条件动态调整阈值,这种方法更适合处理具有复杂光照变化的实际应用场景。
通过设定或计算得出的阈值,将灰度图像中的每个像素点转换为黑色或白色。具体地,像素值高于阈值的转为白色,低于阈值的转为黑色,从而生成新的二值图像。二值化过程可能会在图像中引入噪声,使用形态学操作如开运算或闭运算可以去除小的噪点或填补小的空洞。对二值化后的图像边缘进行平滑处理,减少锯齿状或断裂的边缘,使得缺陷的轮廓更加清晰。检查二值化后的图像,确认是否清晰地突出了铜带表面的缺陷等关键特征。根据初步评估的结果,可能需要回到二值化参数设置中进行调整,如修改阈值设置或改进噪声去除策略,以获得更佳的图像质量和分析效果。
通过该步骤,得到的第六图像将为进一步的铜带缺陷检测和分析提供清晰且易于解析的视觉信息。二值化是一种有效的预处理手段,为自动化检测系统提供了强大的基础。
S220,对第六图像进行边缘检测,并从第六图像中提取缺陷轮廓。
示例性地,从二值化图像(第六图像)中识别出清晰的边缘,这些边缘代表了物体的轮廓,尤其是任何潜在的缺陷区域。可以使用常见的边缘检测算法如Canny边缘检测器,Canny算法特别适用于此类任务,因为它能够提供良好的噪声抑制和边缘检测精度。Canny算法通过先使用高斯滤波器平滑图像,然后计算图像中每个像素点的梯度强度和方向来检测边缘。
通过边缘检测结果识别和提取出缺陷的具体形状和位置。可以使用轮廓检测方法如findContours(在许多图像处理库中都有实现),该方法能够从二值图像中提取轮廓信息,将检测到的边缘作为输入,findContours方法会输出一个轮廓列表,每个轮廓由一系列的点组成,这些点连在一起描述了边缘的形状。
S230,分析缺陷轮廓,确定出缺陷轮廓的位置和尺寸,并在铜带表面图像中标记缺陷位置,得到缺陷位置信息。
示例性地,可以使用图像处理工具(如OpenCV)分析每个轮廓的属性,包括计算轮廓的面积和周长,有助于判断缺陷的严重程度。确定每个轮廓的边界框(最小外接矩形),提供了缺陷的位置和最大尺寸,边界框可以通过图像处理库自动计算得出。
缺陷位置信息包括缺陷位置和缺陷轮廓信息,可以在铜带表面图像上清晰标出每个识别出的缺陷位置,可以使用不同颜色的线条来区分不同类型的缺陷,标注相关的轮廓信息,对于后续的报告和分析非常重要。
通过上述这些步骤,可以确保铜带表面图像的每一个缺陷都被准确识别和标记,有效地检测并记录铜带表面的缺陷,对于保证产品质量和优化生产流程至关重要。
S300,根据缺陷位置信息对铜带表面图像中的缺陷区域进行采样,得到采样图像。
示例性地,可以利用前面步骤中得到的缺陷位置信息,确定铜带表面图像上具体的缺陷区域,这些信息通常包括缺陷的边界框坐标或轮廓数据。根据缺陷的面积类型,选择需进一步分析的缺陷区域,大的、显著的缺陷可能优先被选中进行详细采样。
从完整的铜带表面图像中截取缺陷所在的区域,通常涉及图像裁剪技术,基于缺陷的边界框坐标进行精确裁剪,可能需要根据分析需求调整裁剪出的缺陷图像的尺寸。例如,为了保持分析的一致性,可以将所有采样图像调整到统一的尺寸。为了更好地分析缺陷,可能需要对采样图像进行进一步的图像增强处理,如对比度增强、锐化处理等。如果采样图像中存在噪声,应用噪声去除算法以清晰地展示缺陷特征。
将采样图像保存在适当的格式和目录中,便于后续的分析和比较。为每个采样图像添加必要的标记信息,如缺陷面积类型、位置、采样时间等,这些信息对于构建缺陷数据库和进行统计分析非常有用。将所有采样图像集成为一个数据集,为使用机器学习模型进行深入分析做准备。
在一种可能的实现方式中,请参阅图6,S300,根据缺陷位置信息对铜带表面图像中的缺陷区域进行采样,得到采样图像,包括:
S310,根据缺陷位置信息,确定铜带表面图像中待识别缺陷的面积类型。
示例性地,基于缺陷位置信息中的缺陷轮廓信息计算每个缺陷的面积,可以通过图像处理软件或编程方法直接从缺陷的像素数量进行计算。根据铜带生产标准和质量控制要求,预先设定一个面积阈值,用以区分不同的缺陷面积类型。例如,可以设置区分小面积缺陷和大面积缺陷的阈值。
可选地,请参阅图7,S310,根据缺陷位置信息,确定铜带表面图像中待识别缺陷的面积类型,包括:
S311,根据缺陷位置信息,获取待识别缺陷所对应的像素数量。
示例性地,可以根据缺陷位置信息,对每个标识出的缺陷区域计算其包含的像素总数,可以通过分析每个缺陷区域内的像素点来完成,通常在二值化图像中,缺陷区域被标记为特定颜色(如白色),而非缺陷区域为另一颜色(如黑色)。基于产品质量标准和历史数据,设定一个像素数量阈值,用于区分不同的缺陷面积类型。
S312,当像素数量大于预设数量,确定待识别缺陷的面积类型为大面积类型。其中,大面积类型为待识别缺陷在铜带表面图像中所占的面积大于预设值。
示例性地,预设值可以设置为整个图像面积的一定比例,如1%,根据图像总像素数量计算预设值的像素数量,该像素数量为预设像素数量(即为预设数量)。如果某个缺陷的像素数量大于预设数量,表明该缺陷属于大面积类型。
S313,当像素数量小于或等于预设数量,确定待识别缺陷的面积类型为小面积类型。其中,小面积类型为待识别缺陷在铜带表面图像中所占的面积小于或等于预设值。
示例性地,如果缺陷的像素数量小于或等于预设像素数量,表明该缺陷属于小面积类型。
S320,对铜带表面图像进行与面积类型对应的区域检测操作,得到待识别缺陷对应的缺陷区域。
示例性地,对于大面积缺陷类型,可以使用超像素分割技术将图像分割成更小的、均匀的区块,有助于更细致地分析和识别大面积缺陷的特征。分析各超像素块的特征,如颜色、纹理和形状,与周围区域对比,识别出那些显著不同的块作为缺陷区域。对于小面积缺陷类型,可以使用边缘或轮廓检测技术来精确地识别缺陷的界限,可以直接应用于经过二值化处理的图像,以准确地勾勒出缺陷区域。通过形态学操作如膨胀和腐蚀,调整和优化轮廓线,确保缺陷区域的边界清晰和完整。在图像中清楚地标记出每个识别出的缺陷区域,使用不同颜色或标签区分大面积和小面积缺陷,记录每个缺陷的具体位置、大小和其他相关信息,对于后续的分析和报告制作至关重要。还可以定期评估区域检测操作的准确性和效果,确保所有重要的缺陷都被准确识别和标记。
可选地,请参阅图8,S320,对铜带表面图像进行与面积类型对应的区域检测操作,得到待识别缺陷对应的缺陷区域,包括:
S321,当待识别缺陷的面积类型为大面积类型,利用超像素分割将铜带表面图像分割为多个小区块。
示例性地,可以使用超像素分割算法对图像进行分割,如SLIC(Simple LinearIterative Clustering)和SEEDS(Superpixels Extracted via Energy-DrivenSampling)。可以依据图像的特性和具体的应用需求选择适合的算法。例如,SLIC算法因其效率和易于实现而广泛应用于各种图像处理任务中。
设置超像素的数量是一个关键决定,直接影响到分割的粒度。对于大面积缺陷,选择适当数量的超像素可以帮助更好地覆盖整个缺陷区域,同时保持足够的细节。可能需要通过实验来确定最佳的超像素数量,以确保既不过于细碎,也不丢失重要的缺陷信息。可以使用选定的算法对铜带表面图像进行分割,每个超像素将代表图像中颜色和纹理相对一致的一个区块。调整算法参数,如迭代次数、紧凑性因子等,以优化分割结果。
S322,提取多个小区块的特征,并与无缺陷区域的特征进行比较,得到特征分析结果。
示例性地,确定要从每个超像素区块中提取哪些特征,常见的特征包括颜色直方图、纹理特征(如灰度共生矩阵、局部二值模式)、边缘特征等。对每个超像素区块应用特征提取算法。例如,可以使用颜色直方图来捕捉区块的颜色分布,或使用纹理分析方法来评估表面模式的一致性和变异性。从图像中选择已知的无缺陷区域作为参考,这些区域应具有代表性,能够准确反映铜带表面在无缺陷状态下的特征。从这些无缺陷区域提取相同类型的特征,建立一个基准特征集,用于后续的比较分析。将每个超像素区块的特征与基准特征集进行比较,可以通过计算特征之间的距离(如欧氏距离、余弦相似度)来实现。分析特征之间的差异,确定哪些超像素区块的特征显著偏离无缺陷区域的特征,这些偏离可能表明缺陷的存在。
S323,根据特征分析结果,识别出与无缺陷区域的特征显著不同的小区块,得到待识别缺陷对应的缺陷区域。
示例性地,可以定义一个或多个差异度量(例如,特征向量之间的欧氏距离、马氏距离或余弦相似度),用以量化超像素区块与无缺陷基准特征之间的差异。设定一个阈值,用于判断何种级别的特征差异可以认定为缺陷,阈值的设定可以基于经验、历史数据分析或预先设定的质量标准。对每个超像素区块,计算其特征与无缺陷区域特征之间的差异,将那些差异值超过预设阈值的超像素区块标识出来,这些区块被认为是潜在的缺陷区域。在图像上对这些识别出的显著差异区块进行标记,以便于进一步的检验和分析,对这些标记区块进行上下文验证,考虑其在铜带表面上的位置、形状和相对大小等因素,确保这些标记区块的缺陷属性与实际生产缺陷相符合。记录每个识别出的缺陷区域的详细信息,包括其位置、大小、形状和差异度量值。根据识别出的缺陷区域,创建掩码,以用于后续操作,确保掩码准确覆盖所有检测到的缺陷区域。
S324,当待识别缺陷的面积类型为小面积类型,对铜带表面图像进行轮廓检测,得到待识别缺陷对应的缺陷区域。
示例性地,可以对铜带表面图像进行预处理,以增强轮廓特征,可能包括图像灰度化、模糊处理、直方图均衡化等,为确保边缘清晰,可以进行高通滤波或其他边缘增强操作。使用图像处理算法,如Canny边缘检测,提取图像中的边缘和轮廓,该算法通过梯度变化来识别显著的边缘。根据预设的阈值确定检测的灵敏度,并过滤掉不显著的边缘和噪音。通过轮廓检测结果,识别并标记所有独立的轮廓区域,可能需要根据面积、形状或边缘特征来筛选与铜带缺陷相关的区域,去除小于某个阈值的区域,避免误判或噪音影响,选择可能代表缺陷的轮廓区域,通常这些区域形状不规则,或者与无缺陷区域有明显不同。使用识别的轮廓区域生成掩码,用于提取对应的图像区域,该掩码可以作为后续处理和分析的基础,确保专注于检测到的缺陷区域。
上述两种缺陷区域检测方法可以根据缺陷的大小和性质选择最合适的操作方法,确保检测的准确性和有效性。
S330,对待识别缺陷对应的缺陷区域进行采样,得到采样图像。
示例性地,可以根据上述识别出的缺陷区域,确定采样图像的大小、分辨率和比例,以满足后续分析的需求。使用上述生成的掩码,从铜带表面图像中提取缺陷区域,可以使用矩形裁剪或其他裁剪方式,确保采样图像完整。如果缺陷区域较大,可能需要提取多个采样图像以覆盖整个区域。对采样图像进行处理,确保其清晰且准确,可能需要进行噪音去除、锐化或其他增强操作,保持铜带表面图像的色彩和细节,以避免采样过程中引入失真。如果采样区域靠近图像边缘,确保边界完整,可能需要进行填充或扩展,以防止信息丢失。检查采样图像的完整性,确保包含所有重要的缺陷特征。最终得到采样图像应具备足够的质量和分辨率,以供后续识别和分析。还可以将采样图像存储或导出,供进一步处理和测试使用。
通过该步骤,采样图像可以准确地反映待识别的缺陷区域,并提供可靠的数据供后续分析。
可选地,请参阅图9,S330,对待识别缺陷对应的缺陷区域进行采样,得到采样图像,包括:
S331,当缺陷区域的分辨率大于预设阈值,对缺陷区域进行采样,得到采样图像。
示例性地,计算缺陷区域的分辨率,可以根据像素密度、图像大小或单位面积的像素数来判断,确认分辨率是否高于预设的阈值,以确保采样图像具有足够的清晰度。如果缺陷区域的分辨率大于预设阈值,采样图像可以直接从铜带表面图像中提取,根据缺陷区域的大小和形状,选择适当的采样范围,可以选择整个缺陷区域或其中的一部分,确保重要的特征被包含在采样图像中。可以使用裁剪或掩码,从铜带表面图像中提取缺陷区域,确保采样图像与缺陷区域完全吻合,保留足够的分辨率,以确保采样图像的清晰度和准确性。根据需要调整采样图像的尺寸和比例,保持铜带表面图像的比例,避免采样过程引入失真,还可以进行旋转、翻转或其他变换,以确保图像的正确方向和定位。检查采样图像的清晰度、分辨率和完整性,确保没有重要部分被遗漏或切割,对图像进行增强处理,如锐化、去噪等,以提高质量。将采样图像保存到指定的位置,确保后续处理和分析可访问。
S332,当缺陷区域的分辨率小于或等于预设阈值,对缺陷区域进行上采样,得到采样图像。
可以理解,上采样可以用于增加图像的分辨率,使其适用于后续分析和识别。上采样的方法包括双线性插值和图像超分辨率重建技术,双线性插值适用于简单的分辨率提升,而图像超分辨率重建技术更适合需要更高质量和更少伪影的情况。
示例性地,如果选择双线性插值,确定所需的放大倍数,可以使用2倍或4倍的放大倍数来提高分辨率。使用双线性插值算法进行上采样,确保图像平滑且没有明显的失真,检查插值后的图像,确保边缘平滑且没有过多模糊。
如果选择图像超分辨率重建技术,可以使用神经网络或其他基于机器学习的算法进行上采样。训练模型,确保能够从低分辨率图像中恢复出高分辨率细节。对缺陷区域进行超分辨率重建,确保细节和纹理得到提升,同时保持图像的自然感。检查超分辨率重建后的图像,确保没有明显的伪影或质量问题。
无论使用哪种方法,检查上采样后的采样图像,确保其分辨率满足预期,没有明显的质量缺陷。可以进行图像处理,如锐化或去噪,以提高图像的清晰度。将上采样后的采样图像保存到指定位置,以供后续分析和识别,选择适当的文件格式,确保图像在不同环境中保持质量。
上述这些步骤,可以根据缺陷区域的分辨率选择适当的采样方法,确保最终的采样图像具有足够的分辨率和质量,以满足后续检测和分析的需求。
S400,对采样图像进行识别,得到识别结果。其中,识别结果用于反映铜带表面缺陷的类型。
示例性地,对采样图像进行识别可以使用两种方法,可以使用传统机器学习方法来识别铜带表面缺陷类型,也可以使用深度学习方法识别铜带表面缺陷。传统机器学习方法通常依赖于手工特征提取,然后使用这些特征训练分类模型。利用灰度共生矩阵(GLCM)或局部二值模式(LBP)提取图像的纹理信息。通过边缘检测和轮廓提取来描述缺陷的形状,尽管铜带颜色变化不大,但在某些情况下,腐蚀或化学变化可能导致颜色变化,这可以作为特征。传统机器学习方法适用于维数较高的数据,对于非线性问题具有很好的分类效果,并且可以评估特征的重要性,简单但效果依赖于合适的距离度量和K值的选择。
深度学习方法可以自动从数据中学习特征,通常在图像识别任务中表现更优。使用预训练的模型,如ResNet、VGG或Inception,这些模型已在大规模图像数据集上进行了训练,并且能够有效提取图像特征。在铜带缺陷图像数据集上对预训练模型进行微调,调整最后几层以适应具体的缺陷分类任务。通过旋转、缩放、剪裁等方法生成更多的训练图像,以提高模型的泛化能力。
在一种可能的实现方式中,请参阅图10,S400,对采样图像进行识别,得到识别结果,包括:
S410,提取采样图像的关键特征。
可以理解,关键特征包括形状特征、大小特征、纹理特征、颜色特征等。
形状特征如轮廓、边缘、对称性等;大小特征包括缺陷的面积、周长、最大长度和宽度等;纹理特征用于描述缺陷内部结构的粗糙度、方向性等;如果图像为彩色,缺陷区域的颜色变化也可以提供重要信息。
示例性地,在提取特征之前,可以对图像进行预处理,以增强关键信息并减少噪声的影响。使用滤波器如高斯滤波、中值滤波等去除图像噪声,通过调整图像的对比度来使缺陷与背景的区分更明显,使用边缘检测算法(如Sobel,Canny)来突出图像的边缘。
对于几何和形状特征,可以利用图像处理库(如OpenCV)进行轮廓检测和分析,提取形状描述符,如Euler数、凸包、边缘角点等。对于纹理特征,可以使用纹理分析技术,如灰度共生矩阵(GLCM),来计算图像纹理的统计属性,如对比度、均匀性、熵等。如果应用于彩色图像,可以分析缺陷区域的颜色直方图或使用颜色聚类技术来提取颜色特征。还可以计算缺陷区域的基本统计数据,如平均灰度值、标准差等。
提取的特征可以适当编码为数值或向量,以便输入到机器学习或深度学习模型中进行训练和识别,可能包括特征标准化、归一化或其他转换,确保其适合用于模型训练。在提取大量特征后,通过特征选择算法(如递归特征消除、基于模型的选择等)来确定哪些特征对缺陷识别最有效,提高模型的性能。
通过该步骤,可以从采样图像中提取出反映铜带表面缺陷的关键信息,为后续的缺陷分类和分析提供支持。
S420,利用缺陷识别模型分析关键特征,识别和分类出采样图像中的缺陷类型,得到识别结果;其中,缺陷识别模型是使用多个标注铜带表面缺陷类型的铜带表面图像预先训练得到的。
示例性地,在训练模型之前,需要收集和标注大量铜带表面的缺陷图像,这些图像应该涵盖各种可能的缺陷类型,如划痕、凹陷、腐蚀等。每张图像中的缺陷区域需要被精确标注,包括缺陷的类型和位置。图像可能需要进行尺寸标准化、归一化和其他形式的预处理,以适应模型的输入要求。可以选择合适的深度学习架构来训练缺陷识别模型,常见的选择包括卷积神经网络(CNN)和其变体,如U-Net(特别适用于图像分割任务)。使用标注的数据集来训练模型,包括定义损失函数、选择优化器,并设置适当的训练周期,使用验证数据集来测试模型的效果,并根据需要进行调整和优化。
将训练好的识别模型应用于新的采样图像来进行缺陷的识别。模型将基于学习到的特征来识别图像中的缺陷,并将它们分类为训练过程中定义的类型,模型的输出识别缺陷类型的结果。根据识别结果可以调整生产线上的参数或流程,还可以根据识别的缺陷类型决定后续的维护或修复工作。
通过该步骤,基于深度学习的缺陷识别模型能够高效地从采样图像中识别并分类各种缺陷类型,为铜带生产和质量控制提供有力的技术支持。不仅提高了缺陷检测的准确性,还显著提升了处理速度和自动化水平。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的铜带表面缺陷检测方法,本申请实施例还提供了一种铜带表面缺陷检测装置,该装置的各个单元可以实现铜带表面缺陷检测方法的各个步骤。图11示出了本申请实施例提供的铜带表面缺陷检测装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图11,该装置包括:
获取单元,用于获取铜带表面图像;
检测单元,用于检测铜带表面图像中的缺陷位置,得到缺陷位置信息;
采样单元,用于根据缺陷位置信息对铜带表面图像中的缺陷区域进行采样,得到采样图像;
识别单元,用于对采样图像进行识别,得到识别结果。其中,识别结果用于反映铜带表面缺陷的类型。
需要说明的是,上述单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种铜带表面缺陷检测设备,图12为本申请一实施例提供的铜带表面缺陷检测设备的结构示意图。如图12所示,该实施例的铜带表面缺陷检测设备6包括:至少一个处理器60(图12中仅示出一个)、至少一个存储器61(图12中仅示出一个)以及存储在所述至少一个存储器61中并可在所述至少一个处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时,使所述铜带表面缺陷检测设备6实现上述任意各个铜带表面缺陷检测方法实施例中的步骤,或者使所述铜带表面缺陷检测设备6实现上述各装置实施例中各单元的功能。
示例性地,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述铜带表面缺陷检测设备6中的执行过程。
所述铜带表面缺陷检测设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该铜带表面缺陷检测设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图12仅仅是铜带表面缺陷检测设备6的举例,并不构成对铜带表面缺陷检测设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),该处理器60还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述铜带表面缺陷检测设备6的内部存储单元,例如铜带表面缺陷检测设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述铜带表面缺陷检测设备6的外部存储设备,例如所述铜带表面缺陷检测设备6上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述铜带表面缺陷检测设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任意各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在铜带表面缺陷检测设备上运行时,使得铜带表面缺陷检测设备实现上述任意各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到铜带表面缺陷检测设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的铜带表面缺陷检测设备和方法,可以通过其它的方式实现。例如,以上所描述的铜带表面缺陷检测设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种铜带表面缺陷检测方法,其特征在于,包括:
获取铜带表面图像;
检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息;
根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像;
对所述采样图像进行识别,得到识别结果;其中,所述识别结果用于反映铜带表面缺陷的类型。
2.如权利要求1所述的铜带表面缺陷检测方法,其特征在于,所述获取铜带表面图像,包括:
获取至少两组第一图像;其中,所述至少两组第一图像包括对铜带表面至少两个角度拍摄的第一图像,每组所述第一图像包括对铜带表面在同一角度且不同光线条件下拍摄的多张图像;
对所述至少两组第一图像进行图像预处理,得到至少两组第二图像;
对每组所述第二图像进行图像融合,得到第三图像;其中,所述第三图像包括至少两个角度的光线融合图像;
对所述第三图像进行图像处理,得到所述铜带表面图像。
3.如权利要求2所述的铜带表面缺陷检测方法,其特征在于,所述对每组所述第二图像进行图像融合,得到第三图像,包括:
当所述第二图像的亮度范围大于亮度阈值,使用HDR融合对所述第二图像进行图像融合,得到第三图像;
当所述第二图像的亮度范围小于或等于亮度阈值,使用平均或者加权平均融合对所述第二图像进行图像融合,得到第三图像;
和/或,所述对所述第三图像进行图像处理,得到所述铜带表面图像,包括:
对所述第三图像进行特征点提取和匹配;
根据匹配的特征点计算几何变换,并基于所述几何变换对所述第三图像进行配准,得到第四图像;
利用基于深度学习的图像融合模型对所述第四图像进行图像融合,得到第五图像;其中,所述基于深度学习的图像融合模型是使用已融合不同光线条件下的不同角度的铜带表面图像预先训练得到的;
对所述第五图像进行后处理和优化,得到所述铜带表面图像。
4.如权利要求1所述的铜带表面缺陷检测方法,其特征在于,所述检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息,包括:
对所述铜带表面图像进行二值化处理,得到第六图像;
对所述第六图像进行边缘检测,并从所述第六图像中提取缺陷轮廓;
分析所述缺陷轮廓,确定出所述缺陷轮廓的位置和尺寸,并在所述铜带表面图像中标记缺陷位置,得到所述缺陷位置信息。
5.如权利要求1所述的铜带表面缺陷检测方法,其特征在于,所述根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像,包括:
根据所述缺陷位置信息,确定所述铜带表面图像中待识别缺陷的面积类型;
对所述铜带表面图像进行与所述面积类型对应的区域检测操作,得到所述待识别缺陷对应的缺陷区域;
对所述待识别缺陷对应的缺陷区域进行采样,得到所述采样图像。
6.如权利要求5所述的铜带表面缺陷检测方法,其特征在于,所述根据所述缺陷位置信息,确定所述铜带表面图像中待识别缺陷的面积类型,包括:
根据所述缺陷位置信息,获取待识别缺陷所对应的像素数量;
当所述像素数量大于预设数量,确定所述待识别缺陷的面积类型为大面积类型;其中,所述大面积类型为所述待识别缺陷在所述铜带表面图像中所占的面积大于预设值;
当所述像素数量小于或等于所述预设数量,确定所述待识别缺陷的面积类型为小面积类型;其中,所述小面积类型为所述待识别缺陷在所述铜带表面图像中所占的面积小于或等于所述预设值。
7.如权利要求6所述的铜带表面缺陷检测方法,其特征在于,所述对所述铜带表面图像进行与所述面积类型对应的区域检测操作,得到所述待识别缺陷对应的缺陷区域,包括:
当所述待识别缺陷的面积类型为所述大面积类型,利用超像素分割将所述铜带表面图像分割为多个小区块;
提取多个所述小区块的特征,并与无缺陷区域的特征进行比较,得到特征分析结果;
根据所述特征分析结果,识别出与所述无缺陷区域的特征显著不同的所述小区块,得到所述待识别缺陷对应的缺陷区域;
当所述待识别缺陷的面积类型为所述小面积类型,对所述铜带表面图像进行轮廓检测,得到所述待识别缺陷对应的缺陷区域。
8.如权利要求7所述的铜带表面缺陷检测方法,其特征在于,所述对所述待识别缺陷对应的缺陷区域进行采样,得到所述采样图像,包括:
当所述缺陷区域的分辨率大于预设阈值,对所述缺陷区域进行采样,得到所述采样图像;
当所述缺陷区域的分辨率小于或等于所述预设阈值,对所述缺陷区域进行上采样,得到所述采样图像。
9.一种铜带表面缺陷检测装置,其特征在于,包括:
获取单元,用于获取铜带表面图像;
检测单元,用于检测所述铜带表面图像中的缺陷位置,得到缺陷位置信息;
采样单元,用于根据所述缺陷位置信息对所述铜带表面图像中的缺陷区域进行采样,得到采样图像;
识别单元,用于对所述采样图像进行识别,得到识别结果;其中,所述识别结果用于反映铜带表面缺陷的类型。
10.一种铜带表面缺陷检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118275449A true CN118275449A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN112767369A (zh) | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 | |
CN112614062A (zh) | 菌落计数方法、装置及计算机存储介质 | |
CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
CN114399502A (zh) | 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 | |
CN113609984A (zh) | 一种指针式仪表读数识别方法、装置及电子设备 | |
CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
CN113066088A (zh) | 工业检测中的检测方法、检测装置和存储介质 | |
CN113505702A (zh) | 基于双神经网络优化的路面病害识别方法及系统 | |
CN112580383A (zh) | 二维码识别方法、装置、电子设备及存储介质 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
CN117496532A (zh) | 基于0cr的智慧识别工具 | |
CN110349129B (zh) | 一种高密度柔性ic基板外观缺陷检测方法 | |
Bala et al. | Image simulation for automatic license plate recognition | |
CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
CN116363097A (zh) | 一种光伏板的缺陷检测方法及系统 | |
CN118275449A (zh) | 铜带表面缺陷检测方法、装置及设备 | |
CN114723728A (zh) | 一种手机摄像头玻璃盖板丝印cd纹缺陷检测方法及系统 | |
CN114494142A (zh) | 一种基于深度学习的移动终端中框缺陷检测方法及装置 | |
CN109949245B (zh) | 十字激光检测定位方法、装置、存储介质及计算机设备 | |
CN113505622A (zh) | 一种自动识别多条码与led灯的测试系统及方法 | |
CN112052859A (zh) | 一种自由场景下的车牌精准定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |