CN114037667A - 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 - Google Patents
一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 Download PDFInfo
- Publication number
- CN114037667A CN114037667A CN202111265836.0A CN202111265836A CN114037667A CN 114037667 A CN114037667 A CN 114037667A CN 202111265836 A CN202111265836 A CN 202111265836A CN 114037667 A CN114037667 A CN 114037667A
- Authority
- CN
- China
- Prior art keywords
- oxidation
- copper surface
- spot
- spots
- copper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003647 oxidation Effects 0.000 title claims abstract description 355
- 238000007254 oxidation reaction Methods 0.000 title claims abstract description 355
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 title claims abstract description 132
- 229910052802 copper Inorganic materials 0.000 title claims abstract description 124
- 239000010949 copper Substances 0.000 title claims abstract description 124
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000010301 surface-oxidation reaction Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 40
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 28
- 230000000877 morphologic effect Effects 0.000 claims abstract description 28
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 28
- 239000001301 oxygen Substances 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 16
- QPLDLSVMHZLSFG-UHFFFAOYSA-N Copper oxide Chemical compound [Cu]=O QPLDLSVMHZLSFG-UHFFFAOYSA-N 0.000 claims description 22
- 125000004430 oxygen atom Chemical group O* 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 description 6
- 238000005260 corrosion Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 5
- 235000019646 color tone Nutrition 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004833 X-ray photoelectron spectroscopy Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229940116318 copper carbonate Drugs 0.000 description 1
- GEZOTWYUIKXWOA-UHFFFAOYSA-L copper;carbonate Chemical compound [Cu+2].[O-]C([O-])=O GEZOTWYUIKXWOA-UHFFFAOYSA-L 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 229910001868 water Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明提供一种基于机器视觉的铜表面氧化检测及氧化程度判断方法，属于机器视觉技术领域。所述方法包括：采集铜表面图像；采用可适应氧化量计算方法对铜表面图像中标注出的氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；其中，所述可适应氧化量计算方法结合了形态学特征的氧化参数和氧含量参数；基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络；利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。采用本发明，能够利用提高铜表面氧化程度检测的准确率和可靠性。
Description
技术领域
本发明涉及机器视觉技术领域，特别是指一种基于机器视觉的铜表面氧化检测及氧化程度判断方法。
背景技术
在机械制造、电子通讯领域，铜及其合金是目前使用最广泛的材料之一，在电器和电子市场领域，铜广泛运用在电线、变压器等设备，在机械制造方面，铜广泛运用在仪器仪表，滑动轴承等设备。
现实中的大气中充满氧气和水蒸气，长期暴露在空气中的铜表面会形成黑色的CuO腐蚀斑点，当暴露在湿度比较大的环境中的时候，铜会和空气中的水以及氧气生成绿色的碱式碳酸铜斑点，而这样的腐蚀对铜的强度，导电性等会产生极大的影响，检测铜表面的氧化斑点以及判断氧化程度对于保持铜的良好性能具有意义。
目前，表面缺陷检测已经进行了大量的研究，其检测方法主要包含两个方面，一个是基于图像的形态学检测，基于Sobel、Robert算子等进行边缘检测，将检测出来的图片分割出来，基于HSV色彩空间特征以及直方图特征进行检测分类，二是基于深度学习方法，前期对图片进行检测，检测之后对裁剪的图片送入到模型中进行分类。三是化学方法，使用定量合成反应进行化学成分的判定。但是，如果仅从形态学角度无法判断其氧化程度，因为其他腐蚀斑点也会存在腐蚀痕迹较大，颜色较深的情况。如果单纯使用化学方法，一方面是实验操作难度大，耗时快，二是相同的氧铜比但是腐蚀区域大小不同对铜性能的影响程度也不同。因此，在铜氧化程度检测和判断上，需要综合考虑形态学特征以及化学含量信息。
现有技术中，还没有基于形态学特征以及化学含量信息的铜氧化程度检测方法。
发明内容
本发明实施例提供了基于机器视觉的铜表面氧化检测及氧化程度判断方法，利用结合了形态学特征的氧化参数和含氧量的氧化等级，能够提高铜表面氧化程度检测的准确率和可靠性。所述技术方案如下：
采集铜表面图像；
采用可适应氧化量计算方法对铜表面图像中标注出的氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；其中，所述可适应氧化量计算方法结合了形态学特征的氧化参数和氧含量参数；
基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络；
利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。
进一步地，所述采集铜表面图像包括：
利用工业机器人以及显微高清摄像头进行铜表面图像采集。
进一步地，所述形态学特征的氧化参数包括：氧化斑点像素面积和氧化斑点颜色深度；
所述形态学特征的氧化参数的提取步骤包括：
对采集的铜表面图像中的氧化斑进行检测框标注，其中，检测框为氧化斑的最小外接矩形；
对检测框中的氧化斑进行边缘分割，得到完整的氧化斑图片，并去除边缘噪声，计算氧化斑面积，其中，对于一幅图中第i个氧化斑，其面积记为Ai；
对分割出来的氧化斑进行氧化程度的颜色标定，确定每个氧化斑的颜色深度。
进一步地，所述对分割出来的氧化斑进行氧化程度的颜色标定，确定每个氧化斑的颜色深度包括：
随氧化程度加深，分割出来的氧化斑色调由外至内依次呈现为绿色、褐色、黑色，以灰度化处理分色标定，分别提取氧化斑三种主色的灰度范围，并计算主色范围内所有像素灰度值，进而确定每个氧化斑的颜色深度；其中，
对于一幅图中的第i个氧化斑，其颜色深度Ci表示为：
Ci＝∑k1μGN+k2μBN+k3μBK
其中，μGN为绿色像素灰度值，μBN为褐色像素灰度值，μBK为黑色像素灰度值，k1、k2、k3分别为其对应的颜色权值系数。
进一步地，所述氧含量参数包括：氧铜比；
所述氧铜比的提取步骤包括：
将采集的部分铜表面图像送入到X射线光电子能谱分析仪中并抽真空；
使用X射线照射到氧化斑表面，并获取氧化斑区域的光电子能谱图，根据光电子能谱图分别测定氧化斑的氧原子和铜原子的原子数目，由此计算氧原子、铜原子质量比，即该氧化斑的氧铜比；其中，对于一幅图中第i个氧化斑，其氧铜比记为Ri。
进一步地，所述可适应氧化量计算方法的确定步骤包括：
根据得到的氧含量参数和与之对应的形态学特征的氧化参数，将可适应氧化量计算方法拟合为表达式：
其中，α、β为氧化系数常量，Ai为氧化斑面积，Ci为氧化斑颜色深度，Ri为氧化斑氧铜比，即氧化量。
进一步地，所述根据计算得到的氧化量对氧化斑进行氧化等级划分包括：
根据不同的需求设置n个范围阈值，并根据范围阈值进行n+1个氧化等级划分，其中，对于一幅图中的第i个氧化斑，其氧化等级记为Ti。
进一步地，所述利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级包括：
集成训练好的目标检测网络到工业机器人操作软件中，实时获取工业场景中的铜表面图片作为待测的铜表面图片，利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出待测的铜表面图片中氧化斑位置信息和氧化等级。
进一步地，在利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级之后，所述方法还包括：
根据目标检测网络输出的氧化斑的位置信息和氧化等级，确定待测的铜表面区域的氧化斑点密度。
进一步地，所述待测的铜表面区域的氧化斑点密度表示为：
其中，S为待测的铜表面区域的面积，n为待测的铜表面区域内氧化斑总数，Ai为第i个氧化斑面积，Ti为第i个氧化斑的氧化等级。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，采集铜表面图像；利用形态学特征的氧化参数和氧含量参数，得到可适应氧化量计算方法，采用可适应氧化量计算方法对铜表面图像中标注出的大量氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络；利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。这样，利用结合了形态学特征的氧化参数和含氧量的氧化等级，能够提高铜表面氧化程度检测的准确率和可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于机器视觉的铜表面氧化检测及氧化程度判断方法的流程示意图；
图2为本发明实施例提供的铜表面图像示意图；
图3为本发明实施例提供的氧化斑形态学特征提取流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于机器视觉的铜表面氧化检测及氧化程度判断方法，包括：
S101，采集铜表面图像；
本实施例中，可以利用工业机器人以及显微高清摄像头进行铜表面图像采集。
S102，采用可适应氧化量计算方法对铜表面图像中标注出的氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；其中，所述可适应氧化量计算方法结合了形态学特征的氧化参数和氧含量参数；
本实施例中，所述形态学特征的氧化参数包括：氧化斑点像素面积和氧化斑点颜色深度；
所述形态学特征的氧化参数的提取步骤包括：
A1，对采集的铜表面图像中的氧化斑进行检测框标注，其中，检测框为氧化斑的最小外接矩形；
A2，对检测框中的氧化斑进行边缘分割，得到完整的氧化斑图片，并去除边缘细微噪声，计算氧化斑面积，其中，对于一幅图中第i个氧化斑，其面积记为Ai；
A3，对分割出来的氧化斑进行氧化程度的颜色标定，确定每个氧化斑的颜色深度。
本实施例中，随氧化程度加深，分割出来的氧化斑色调由外至内依次呈现为绿色、褐色、黑色，以灰度化处理可以分色标定，分别提取氧化斑三种主色的灰度范围，并计算主色范围内所有像素灰度值，进而确定每个氧化斑的颜色深度；其中，
对于一幅图中的第i个氧化斑，其颜色深度Ci表示为：
Ci＝∑k1μGN+k2μBN+k3μBK
其中，μGN为绿色像素灰度值，μBN为褐色像素灰度值，μBK为黑色像素灰度值，k1、k2、k3分别为其对应的颜色权值系数。
本实施例中，所述氧含量参数包括：氧铜比；
所述氧铜比的提取步骤包括：
B1，将采集的部分铜表面图像送入到X射线光电子能谱分析仪中并抽真空；
B2，在其中找到氧化斑区域，使用X射线照射到氧化斑表面，并获取氧化斑区域的光电子能谱图，根据光电子能谱图分别测定氧化斑的氧原子和铜原子的原子数目，由此计算氧原子、铜原子质量比，即该氧化斑的氧铜比；其中，对于一幅图中第i个氧化斑，其氧铜比记为Ri。
本实施例中，所述可适应氧化量计算方法的确定步骤包括：
根据得到的氧含量参数和与之对应的形态学特征的氧化参数，将可适应氧化量计算方法拟合为表达式：
其中，α、β为氧化系数常量，Ai为氧化斑面积，Ci为氧化斑颜色深度，Ri为氧化斑氧铜比，即氧化量。
本实施例中，在氧化等级划分中，通过部分样品氧化数据(即：采集的部分铜表面图像的氧含量参数和与之对应的形态学特征的氧化参数)拟合得到可适应氧化量计算表达式后对大量氧化斑进行氧化量计算，根据不同的需求设置n个范围阈值，并根据范围阈值进行n+1个氧化等级划分，其中，对于一幅图中的第i个氧化斑，其氧化等级记为Ti。
S103，基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络，其中，数据集图像样本中的氧化斑被标注检测框及其对应的氧化等级；
S104，利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。
本实施例中，集成该训练好的目标检测网络到工业机器人操作软件中，实时获取工业场景中的铜表面图片作为待测的铜表面图片，利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出待测的铜表面图片中氧化斑位置信息和氧化等级。
本实施例中，还可以根据目标检测网络输出的氧化斑的位置信息和氧化等级，确定待测的铜表面区域的氧化斑点密度：
其中，S为待测的铜表面区域的面积，n为待测的铜表面区域内氧化斑总数，Ai为第i个氧化斑面积，Ti为第i个氧化斑的氧化等级。
本发明实施例所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，采集铜表面图像；利用形态学特征的氧化参数和氧含量参数，得到可适应氧化量计算方法，采用可适应氧化量计算方法对铜表面图像中标注出的大量氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络；利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。这样，利用结合了形态学特征的氧化参数和含氧量的氧化等级，能够提高铜表面氧化程度检测的准确率和可靠性。
本发明实施例提供的技术方案带来的有益效果至少包括：
1)氧化程度检测数据集的获取和最后的目标检测网络集成环境均为机器视觉系统，包括工业机器人、显微高清摄像头和工业机器人操作软件，能够实现工业上基于机器视觉的铜表面氧化程度的判断，且便于工业生产。
2)在氧化程度检测数据集的构建阶段，对铜表面图像中的氧化斑进行检测框标注，并对标注部分进行氧化斑分割，提取氧化斑形态学特征得到氧化参数(包括：氧化斑面积和颜色深度)；根据X射线光电子能谱分析获取氧含量参数，采用可适应氧化量计算方法将氧化参数和氧含量参数进行公式拟合，应用公式对大量氧化斑进行氧化量计算，该可适应氧化量计算方法结合氧化斑形态学特征以及氧含量参数，从而更适用于现实中的氧化腐蚀；根据计算得到的氧化量对氧化斑进行氧化等级划分，从而形成不同的氧化等级；基于氧化等级构建氧化程度检测数据集进行目标检测网络的训练，实现更加快速的氧化程度检测；集成该网络到工业机器人操作软件中，实时获取工业场景中的铜表面形态图片，检测出氧化斑位置信息和氧化等级，计算得到铜表面图片的氧化斑点密度，这样，利用结合了形态学特征和含氧量的氧化等级，氧化程度表示更为切实，从而提高铜表面氧化程度检测的准确率和可靠性。
为了更好地理解本发明，使用两种不同类型的无氧铜样本获取铜表面图像,用于训练和验证本发明实施例所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，分别为无氧铜方块和无氧铜圆纽。采用ABB机器人IRB1200机械臂结合显微成像系统(包括显微镜头与高清摄像头组成的显微成像系统)集成的图像采集系统进行无氧铜表面图像采集。经过形态学特征提取和含氧量特征提取，采用可适应氧化量计算方法进行拟合，对大量氧化斑进行氧化量计算；根据计算得到的氧化量对氧化斑进行氧化等级划分、并标注。将标注后的无氧铜表面图像输入至目标检测网络进行训练、验证和测试；利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级，并计算待测的铜表面图片的氧化斑点密度；具体可以包括以下步骤：
(1)采用ABB机器人IRB1200机械臂结合包括显微镜头与高清摄像头组成的显微成像系统集成的图像采集系统进行无氧铜表面图像采集，共获取无氧铜表面图像893张，如图2所示。
(2)通过lableimg图像标注工具将采集的铜表面图像进行手工标注氧化斑检测框，检测框为铜氧化斑的最小外接矩形。
(3)如图3所示，利用标注文件xml，批量截取检测框中的氧化斑，对其中氧化斑采用自适应阈值分割算法，获取完整的氧化斑图片并去除边缘细微噪声，计算氧化斑面积，其中，对于一幅图中第i个氧化斑，其面积记为Ai。
(4)如图3所示，对分割出来的氧化斑进行氧化程度的颜色标定，随氧化程度加深，氧化斑色调由外至内依次呈现为：绿色、褐色、黑色，以灰度化处理可以分色标定，由此分别提取氧化斑三种主色的灰度范围，并计算该主色范围内所有像素灰度值，对于一幅图中的第i个氧化斑，其颜色深度Ci为：
Ci＝∑k1μGN+k2μBN+k3μBK
其中，μGN为绿色像素灰度值，μBN为褐色像素灰度值，μBK为黑色像素灰度值，k1、k2、k3分别为其对应的颜色权值系数。本实施例中k1＝0.4、k2＝0.2、k3＝0.7。
(5)将采集的部分无氧铜表面图像送入到X射线光电子能谱分析仪(XPS)中并抽真空，在其中找到氧化斑区域，使用X射线照射到氧化斑表面，获取氧化斑区域的光电子能谱图，根据光电子能谱图可以分别测定氧化斑的氧原子和铜原子的原子数目，由此计算氧原子、铜原子质量比，即该氧化斑的氧铜比；其中，对于一幅图中第i个氧化斑，其氧铜比记为Ri，共获取89个氧化斑点样本氧铜比。
(6)利用上述得到的形态学特征的氧化参数和氧含量参数将可适应氧化量计算方法拟合为以下表达式：
其中，α、β为氧化系数常量，Ai为氧化斑面积，Ci为氧化斑颜色深度，Ri为氧化斑氧铜比。
本实例中，采用共89个氧化斑点样本氧铜比和与之对应的氧化斑面积、氧化斑颜色深度进行可适应氧化量计算方法拟合，得到可适应氧化斑计算方法为：
本实施例中，拟合系数K＝0.02、α＝1、β＝-1、拟合系数b＝0.2。
采用可适应氧化斑计算方法对大量氧化斑点样本进行氧化量计算。
(7)在上述步骤中共获取氧化斑点样本4117个，根据计算的氧化值对其进行氧化等级划分，通过数据分析本实施例设置两个范围阈值将其划分为三个等级：Ⅰ、Ⅱ、Ⅲ，其中，Ⅰ、Ⅱ、Ⅲ级类别分别包含2894、863、360个样本，对于一幅图中的第i个氧化斑，其氧化等级记为Ti；基于划分得到的氧化等级构建氧化程度检测数据集。
(8)搭建网络输出信息为氧化斑的位置信息以及氧化等级的目标检测网络，本实施例中，可以使用DarkNet53模型进行训练，用损失函数Loss和Adam优化器来迭代更新模型中卷积核和神经元的参数，优化器具体参数为：100次迭代训练，其中前50次为冻结训练，可加快训练速度并且防止训练初期权值被破坏；后50次为解冻训练；每个训练批次大小16，学习速率为0.001，乘法因子为0.92。当训练集和验证集损失趋向于收敛时，表示目标检测网络(即：DarkNet53模型)稳定，得到训练好的目标检测网络。
(9)随机抽取氧化程度检测数据集的10％作为测试集，输入到训练好的目标检测网络中，得到无氧铜表面图像上氧化斑点位置信息及氧化等级类别。
(10)利用上述输出氧化斑位置信息和氧化等级，计算得到待测的铜表面区域的氧化斑点密度：
其中，S为待测的铜表面区域的面积，n为待测的铜表面区域内氧化斑总数，Ai为第i个氧化斑面积，Ti为第i个氧化斑的氧化等级。
本实施例中，为证明目标检测网络对氧化斑点识别的准确性，包括位置信息准确性和氧化等级类别分类准确性，对其进行评估，评估指标采用交并比(IOU)、分类精确率(Precision)、召回率(Recall)、AP和mAP，其计算公式如下：
其中，S交为目标真实框与预测框相交的面积，S并为目标真实框与预测框相并的面积，设置当IOU>0.5时，样本为正样本，当IOU<0.5时，样本为负样本。
其中，TP(True Positive)真正例表示预测为正例、实际也为正例的样本数；FP(False Positive)假正例表示预测为正例，实际为反例的样本数；FN(False Negative)假反例表示预测为反例，实际为正例的样本数。
其中，Precision(r)为以Recall为横坐标，Precision为纵坐标所做曲线。
其中，n为总类别数，i＝1,2,...,n。
表1展示了随机抽取数据集的10％作为测试集，输入到训练好的目标检测网络中得到无氧铜表面图像上氧化斑点位置信息及氧化等级类别评估结果，可以看出该目标检测网络对氧化斑点位置检测和氧化等级类别分类的准确性较高，氧化等级Ⅰ、Ⅱ、Ⅲ的AP值分别为81.92％、81.67％、85.28％；其中氧化等级为Ⅲ的类别因其氧化面积较大且颜色更深，识别更为准确。
表1测试集无氧铜表面图像氧化斑检测结果(％)
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，包括：
采集铜表面图像；
采用可适应氧化量计算方法对铜表面图像中标注出的氧化斑进行氧化量计算，根据计算得到的氧化量对氧化斑进行氧化等级划分；其中，所述可适应氧化量计算方法结合了形态学特征的氧化参数和氧含量参数；
基于划分得到的氧化等级构建氧化程度检测数据集，训练目标检测网络；
利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级。
2.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述采集铜表面图像包括：
利用工业机器人以及显微高清摄像头进行铜表面图像采集。
3.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述形态学特征的氧化参数包括：氧化斑点像素面积和氧化斑点颜色深度；
所述形态学特征的氧化参数的提取步骤包括：
对采集的铜表面图像中的氧化斑进行检测框标注，其中，检测框为氧化斑的最小外接矩形；
对检测框中的氧化斑进行边缘分割，得到完整的氧化斑图片，并去除边缘噪声，计算氧化斑面积，其中，对于一幅图中第i个氧化斑，其面积记为Ai；
对分割出来的氧化斑进行氧化程度的颜色标定，确定每个氧化斑的颜色深度。
4.根据权利要求3所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述对分割出来的氧化斑进行氧化程度的颜色标定，确定每个氧化斑的颜色深度包括：
随氧化程度加深，分割出来的氧化斑色调由外至内依次呈现为绿色、褐色、黑色，以灰度化处理分色标定，分别提取氧化斑三种主色的灰度范围，并计算主色范围内所有像素灰度值，进而确定每个氧化斑的颜色深度；其中，
对于一幅图中的第i个氧化斑，其颜色深度Ci表示为：
Ci＝∑k1μGN+k2μBN+k3μBK
其中，μGN为绿色像素灰度值，μBN为褐色像素灰度值，μBK为黑色像素灰度值，k1、k2、k3分别为其对应的颜色权值系数。
5.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述氧含量参数包括：氧铜比；
所述氧铜比的提取步骤包括：
将采集的部分铜表面图像送入到X射线光电子能谱分析仪中并抽真空；
使用X射线照射到氧化斑表面，并获取氧化斑区域的光电子能谱图，根据光电子能谱图分别测定氧化斑的氧原子和铜原子的原子数目，由此计算氧原子、铜原子质量比，即该氧化斑的氧铜比；其中，对于一幅图中第i个氧化斑，其氧铜比记为Ri。
6.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述可适应氧化量计算方法的确定步骤包括：
根据得到的氧含量参数和与之对应的形态学特征的氧化参数，将可适应氧化量计算方法拟合为表达式：
其中，α、β为氧化系数常量，Ai为氧化斑面积，Ci为氧化斑颜色深度，Ri为氧化斑氧铜比，即氧化量。
7.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述根据计算得到的氧化量对氧化斑进行氧化等级划分包括：
根据不同的需求设置n个范围阈值，并根据范围阈值进行n+1个氧化等级划分，其中，对于一幅图中的第i个氧化斑，其氧化等级记为Ti。
8.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级包括：
集成训练好的目标检测网络到工业机器人操作软件中，实时获取工业场景中的铜表面图片作为待测的铜表面图片，利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出待测的铜表面图片中氧化斑位置信息和氧化等级。
9.根据权利要求1所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，在利用训练好的目标检测网络对待测的铜表面图片进行铜表面氧化检测，输出氧化斑位置信息和氧化等级之后，所述方法还包括：
根据目标检测网络输出的氧化斑的位置信息和氧化等级，确定待测的铜表面区域的氧化斑点密度。
10.根据权利要求9所述的基于机器视觉的铜表面氧化检测及氧化程度判断方法，其特征在于，所述待测的铜表面区域的氧化斑点密度表示为：
其中，S为待测的铜表面区域的面积，n为待测的铜表面区域内氧化斑总数，Ai为第i个氧化斑面积，Ti为第i个氧化斑的氧化等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111265836.0A CN114037667B (zh) | 2021-10-28 | 2021-10-28 | 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111265836.0A CN114037667B (zh) | 2021-10-28 | 2021-10-28 | 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037667A true CN114037667A (zh) | 2022-02-11 |
| CN114037667B CN114037667B (zh) | 2022-12-06 |
Family
ID=80142277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111265836.0A Active CN114037667B (zh) | 2021-10-28 | 2021-10-28 | 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037667B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392890A (zh) * | 2017-06-20 | 2017-11-24 | 华南理工大学 | 一种fpc铜线表面氧化缺陷检测方法及其检测系统 |
| CN112926685A (zh) * | 2021-03-30 | 2021-06-08 | 济南大学 | 一种工业中钢材氧化带目标检测方法、系统及设备 |
| CN112985946A (zh) * | 2021-03-10 | 2021-06-18 | 南京海关工业产品检测中心 | 一种判断含斑铜矿的铜精矿氧化程度的检测方法 |
-
2021
- 2021-10-28 CN CN202111265836.0A patent/CN114037667B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392890A (zh) * | 2017-06-20 | 2017-11-24 | 华南理工大学 | 一种fpc铜线表面氧化缺陷检测方法及其检测系统 |
| CN112985946A (zh) * | 2021-03-10 | 2021-06-18 | 南京海关工业产品检测中心 | 一种判断含斑铜矿的铜精矿氧化程度的检测方法 |
| CN112926685A (zh) * | 2021-03-30 | 2021-06-08 | 济南大学 | 一种工业中钢材氧化带目标检测方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114037667B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | material degradation assessed by digital image processing: Fundamentals, progresses, and challenges | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN108682008B (zh) | 一种白细胞图像清晰度评价方法及装置 | |
| Gorsky et al. | Digital zooplankton image analysis using the ZooScan integrated system | |
| CN110261405B (zh) | 基于显微高光谱技术的绝缘子污秽成分识别方法 | |
| CN104169945B (zh) | 对图像中的对象的两级分类 | |
| JP7320704B2 (ja) | 学習装置、検査装置、学習方法および検査方法 | |
| JP2021518025A (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
| EP0051633A1 (en) | Method and apparatus for measuring mean cell volume of red blood cells | |
| CN114372955A (zh) | 一种基于改进神经网络的铸件缺陷x射线图自动识别法 | |
| CN111915572A (zh) | 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法 | |
| Wah et al. | Analysis on feature extraction and classification of rice kernels for Myanmar rice using image processing techniques | |
| CN115311484B (zh) | 一种焊缝数据的优化聚类分割方法 | |
| Chopard et al. | Automated sulfides quantification by multispectral optical microscopy | |
| CN116381053A (zh) | 一种用于金属材料焊接的超声波检测方法及系统 | |
| CN114037667B (zh) | 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法 | |
| CN114299291A (zh) | 一种可解释的人工智能医疗图像语义分割方法 | |
| CN116523912B (zh) | 一种基于图像识别的清洁度检测系统及方法 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
| CN111259926A (zh) | 肉品新鲜度检测方法、装置、计算设备和存储介质 | |
| CN111951247A (zh) | 一种电力设备紫外图像诊断方法及系统 | |
| CN115496706A (zh) | 一种基于数字图像处理的表面腐蚀比率测量方法 | |
| CN112435245A (zh) | 基于物联网的磁痕缺陷自动识别方法 | |
| CN113177911A (zh) | 一种叶片无损评价植物臭氧敏感性的方法 | |
| WO2020118901A1 (zh) | 一种基于深度学习的天线下倾角测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |