CN114742770A - 一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 - Google Patents
一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 Download PDFInfo
- Publication number
- CN114742770A CN114742770A CN202210288874.6A CN202210288874A CN114742770A CN 114742770 A CN114742770 A CN 114742770A CN 202210288874 A CN202210288874 A CN 202210288874A CN 114742770 A CN114742770 A CN 114742770A
- Authority
- CN
- China
- Prior art keywords
- copper
- loss
- defect
- depth
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/20—Recycling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Electrolytic Production Of Metals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种电解铜板铜瘤子缺陷检测方法、训练方法及系统,属于图像处理技术领域。湿法炼铜在进行阴极铜析出时,由于电解质不纯等原因而容易造成阴极铜板上析出颗粒较大的铜瘤子,无法满足生产标准。本发明分为训练和推理两个阶段。首先对采集的铜板图像进行图像预处理。在训练阶段,通过已标注的、并经过预处理的图像数据进行神经网络参数训练,优化目标包括铜瘤子缺陷位置、置信度、深度。在推理阶段,将采集的图像经过图像预处理,输入训练好的神经网络进行前向推理,输出铜瘤子缺陷位置、置信度、深度,经过设计的判别准则,有助于准确高效地除铜瘤子缺陷。所公开方法可以提高现有铜瘤子去除效率,压缩生产工期。
Description
技术领域
本发明属于图像处理技术领域,更具体地,涉及一种电解铜板铜瘤子缺陷检测方法、训练方法及系统。
背景技术
随着工业数字化、智能化的不断提升,湿法炼铜也要求进一步提升自动化、数字化、智能化生产,从而实现高效率高节能生产。由于电解液纯度等工艺问题,导致阴极铜板在析出时,铜板表面会析出颗粒较大的铜瘤子缺陷,铜瘤子缺陷深度超过国标要求(深度超出铜板表面5mm)被认为是不合格的,需要进行去除处理,否则无法出厂。
当前铜瘤子缺陷主要依靠人工肉眼检测,工人长期工作易疲劳、效率低、难以满足生产工期。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种电解铜板铜瘤子缺陷检测方法、训练方法及系统,基于机器视觉和深度学习对电解铜板铜瘤子缺陷进行检测,可以快速且准确检测出铜瘤子缺陷,从而有助于准确高效地除铜瘤子缺陷。
为实现上述目的,第一方面,本发明提供了一种电解铜板铜瘤子缺陷检测模型的训练方法,包括:
确定铜瘤子缺陷检测模型的特征提取、候选区域评估、位置估计、置信度估计和深度估计深度神经网络;
初始化铜瘤子缺陷检测模型的参数;
将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络,获得样本特征信息;
将所述样本特征信息输入候选区域评估深度神经网络,获得感兴趣区域以及粗置信度分数,并基于所述感兴趣区域以及粗置信度分数计算第一损失;
将所述感兴趣区域的特征信息分别输入位置估计、置信度估计和深度估计深度神经网络,获得铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息,并基于铜瘤子缺陷位置值、细置信度分数和铜瘤子缺陷深度值计算第二损失;
根据所述第一损失和第二损失,对所述铜瘤子缺陷检测模型进行参数优化。
进一步地,所述第一损失表示为:
进一步地,所述第二损失表示为:
其中,lossfine表示第i个图像样本的第二损失,表示第i个图像样本的细置信度分数,λb表示位置估计的损失平衡权重,表示第i个图像样本的位置估计值,表示第i个图像样本的铜瘤子缺陷实际位置值,λd表示深度估计的损失平衡权重,表示第i个图像样本的深度估计值,表示第i个图像样本的铜瘤子缺陷实际深度值。
进一步地,所述根据所述第一损失和第二损失,对所述铜瘤子缺陷检测模型进行参数优化,包括:
通过对每个图像样本进行反向传播,根据总损失loss的梯度,对所述铜瘤子缺陷检测模型进行参数优化;
进一步地,将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络之前,所述方法还包括:对所述图像样本进行降噪处理以及分块处理。
第二方面,本发明提供了一种电解铜板铜瘤子缺陷检测方法,包括:
获取待检测图像;
利用如第一方面所述的电解铜板铜瘤子缺陷检测模型的训练方法训练好的铜瘤子缺陷检测模型估计所述待检测图像的铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息;
将细置信度分数估计值大于置信度阈值、且铜瘤子缺陷深度估计值大于深度阈值的铜瘤子缺陷位置估计值对应的区域视为真正的铜瘤子缺陷区域。
第三方面,本发明提供了一种电解铜板铜瘤子缺陷检测模型的训练系统,包括:计算机可读存储介质和处理器;
所述计算机可读存储介质用于存储可执行指令;
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如第一方面所述的方法。
第四方面,本发明提供了一种电解铜板铜瘤子缺陷检测系统,包括:计算机可读存储介质和处理器;
所述计算机可读存储介质用于存储可执行指令;
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如第二方面所述的方法。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明先利用特征提取和候选区域评估深度神经网络获得感兴趣区域(也即铜瘤子缺陷粗位置值)以及粗置信度分数,并计算粗目标损失;再利用位置估计、置信度估计和深度估计深度神经网络获得铜瘤子缺陷细位置值、细置信度分数和铜瘤子缺陷深度值,并计算细目标损失;最后,基于总损失对上述五个深度神经网络进行参数优化,并利用优化后的铜瘤子缺陷检测模型对待测电解铜板进行铜瘤子缺陷检测。可以快速且准确检测出铜瘤子缺陷,从而有助于准确高效地除铜瘤子缺陷。
(2)本发明将细置信度分数估计值大于置信度阈值、且铜瘤子缺陷深度估计值大于深度阈值的铜瘤子缺陷位置估计值对应的区域视为真正的铜瘤子缺陷区域,进一步提高铜瘤子缺陷检测的准确度。
附图说明
图1为本发明实施例提供的阴极电解铜板生产流程框图;
图2为本发明实施例提供的一种电解铜板铜瘤子缺陷检测模型的训练方法的流程示意图之一;
图3为本发明实施例提供的一种电解铜板铜瘤子缺陷检测模型的训练方法的流程示意图之二;
图4为本发明实施例提供的对训练图像进行人工标注过程示意图;
图5为本发明实施例提供的一种电解铜板铜瘤子缺陷检测系统布置示意图;
图6为本发明实施例提供的一种电解铜板铜瘤子缺陷检测方法的流程框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
湿法炼铜电解析出的铜板,由于工艺问题,在最终成型时,表面往往会析出大颗粒的铜瘤子缺陷,整个生产流程如图1所示,当前采用人工观察和手动去除的方式进行处理,效率较大且不安全。因此,本文提出了一种基于机器视觉和深度学习的电解铜板铜瘤子缺陷检测方法,来提升工厂的自动化水平和质检效率。
参阅图2,结合图3,本发明提供了一种电解铜板铜瘤子缺陷检测模型的训练方法,包括操作S1-操作S6。
操作S1,确定铜瘤子缺陷检测模型的特征提取、候选区域评估、位置估计、置信度估计和深度估计深度神经网络。
操作S2,初始化铜瘤子缺陷检测模型的参数。
本实施例中,铜瘤子缺陷检测模型的参数为θ1、θ2、θb、θs和θd。
操作S3,将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络,获得样本特征信息。
将所有采集的由N张训练图像组成的训练集先对每张训练图像进行人工标注。如图4所示,对每个需要去除的铜瘤子缺陷进行标注,其中“H23”表示铜瘤子缺陷深度为23毫米,铜瘤子缺陷出现在整个铜板任意位子,形状一般为圆形,深度不一,但尺寸远远小于整个铜板的面积。经过人工标注后,可以进一步获取到具有标注信息的训练集其中,yi=(bboxi,depthi),yi表示图像xi的标注信息,包括位置值bboxi和深度值depthi。
优选地,将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络之前,先对图像样本进行降噪处理以及分块处理。
如图5所示,待电解铜板从上一工位运送到检测工位后,通过布置的工业相机对铜板进行图像采集。由于电解铜板在阴极析出时,两面均会生成铜板,因此两面均布置一个工业相机,分别进行图像采集。由于工厂的环境和相机稳定性等原因,采集的原始图像x存在一定的噪声,采用中值滤波gmedian和高斯滤波gGaussian对图像进行降噪处理:
x=gGaussian(gmedian(x))
由于电解铜板尺寸较大,采用高分辨率工业相机进行电解铜板表面全覆盖采集。因此,获取的图像分辨率高,整张图像输入铜瘤子缺陷检测模型进行检测消耗内存高,因此对采集的图像进行分块操作patch(x),如下:
本实施例将图像x分成m·n块,可采取2×2或者3×3等分块策略,在不增加太多推理时间的情况下,进一步降低内存消耗。同时,分块的操作,有利于相对提升铜瘤子缺陷的大小,进一步降低铜瘤子缺陷尺度极小的影响,提升模型的检测性能,提高召回率和准确率。
操作S4,将所述样本特征信息输入候选区域评估深度神经网络,获得感兴趣区域以及粗置信度分数,并基于所述感兴趣区域以及粗置信度分数计算第一损失。
操作S5,将所述感兴趣区域的特征信息分别输入位置估计、置信度估计和深度估计深度神经网络,获得铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息,并基于铜瘤子缺陷位置值、细置信度分数和铜瘤子缺陷深度值计算第二损失。
为进一步更准确地获取铜瘤子缺陷的位置、置信度以及深度,在上述基础上进一步设计深度神经网络进行优化。
其中,pooling表示根据感兴趣区域对特征进行提取。
基于铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息,设计细优化目标损失进行初步优化,如下:
其中,λb和λd分别表示位置估计和深度估计的损失平衡权重。
操作S6,根据所述第一损失和第二损失,对所述铜瘤子缺陷检测模型进行参数优化。
具体的,为端到端进行所有网络参数的优化,本发明设计了如下的优化目标损失lossijk:
lossijk=losscoarse+lossfine
因此,通过对每张图像进行反向传播,根据损失的梯度,可以实现铜瘤子缺陷特征提取、候选区域评估、位置估计、置信度估计、深度估计五个深度神经网络模型的参数优化,如下:
其中,θ′1,θ′2,θ′s,θ′b,θ′d为优化后的参数,η表示学习率,通过迭代优化,可以得到最终优化的铜瘤子缺陷检测模型。
参阅图6,完成铜瘤子缺陷特征提取、候选区域评估、位置估计、置信度估计、深度估计五个深度神经网络模型的参数优化后,将其部署在工控电脑上,进行在线采集的铜瘤子缺陷检测和深度估计。
为了对铜瘤子缺陷进行准确评估,本发明设定了铜瘤子缺陷评估模块,如下:
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种电解铜板铜瘤子缺陷检测模型的训练方法,其特征在于,包括:
确定铜瘤子缺陷检测模型的特征提取、候选区域评估、位置估计、置信度估计和深度估计深度神经网络;
初始化铜瘤子缺陷检测模型的参数;
将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络,获得样本特征信息;
将所述样本特征信息输入候选区域评估深度神经网络,获得感兴趣区域以及粗置信度分数,并基于所述感兴趣区域以及粗置信度分数计算第一损失;
将所述感兴趣区域的特征信息分别输入位置估计、置信度估计和深度估计深度神经网络,获得铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息,并基于铜瘤子缺陷位置值、细置信度分数和铜瘤子缺陷深度值计算第二损失;
根据所述第一损失和第二损失,对所述铜瘤子缺陷检测模型进行参数优化。
5.根据权利要求1至4任一项所述的电解铜板铜瘤子缺陷检测模型的训练方法,其特征在于,将已标注铜瘤子缺陷位置和深度信息的图像样本输入特征提取深度神经网络之前,所述方法还包括:对所述图像样本进行降噪处理以及分块处理。
6.一种电解铜板铜瘤子缺陷检测方法,其特征在于,包括:
获取待检测图像;
利用如权利要求1至5任一项所述的电解铜板铜瘤子缺陷检测模型的训练方法训练好的铜瘤子缺陷检测模型估计所述待检测图像的铜瘤子缺陷位置信息、细置信度分数和铜瘤子缺陷深度信息;
将细置信度分数估计值大于置信度阈值、且铜瘤子缺陷深度估计值大于深度阈值的铜瘤子缺陷位置估计值对应的区域视为真正的铜瘤子缺陷区域。
7.一种电解铜板铜瘤子缺陷检测模型的训练系统,其特征在于,包括:计算机可读存储介质和处理器;
所述计算机可读存储介质用于存储可执行指令;
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如权利要求1-5任一项所述的方法。
8.一种电解铜板铜瘤子缺陷检测系统,其特征在于,包括:计算机可读存储介质和处理器;
所述计算机可读存储介质用于存储可执行指令;
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如权利要求6所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210288874.6A CN114742770A (zh) | 2022-03-22 | 2022-03-22 | 一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210288874.6A CN114742770A (zh) | 2022-03-22 | 2022-03-22 | 一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114742770A true CN114742770A (zh) | 2022-07-12 |
Family
ID=82277487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210288874.6A Pending CN114742770A (zh) | 2022-03-22 | 2022-03-22 | 一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742770A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116500086A (zh) * | 2023-06-28 | 2023-07-28 | 深圳市鑫典金光电科技有限公司 | 一种基于深度学习的铜复铝散热底板生产评价方法及系统 |
-
2022
- 2022-03-22 CN CN202210288874.6A patent/CN114742770A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116500086A (zh) * | 2023-06-28 | 2023-07-28 | 深圳市鑫典金光电科技有限公司 | 一种基于深度学习的铜复铝散热底板生产评价方法及系统 |
CN116500086B (zh) * | 2023-06-28 | 2023-09-05 | 深圳市鑫典金光电科技有限公司 | 一种基于深度学习的铜复铝散热底板生产评价方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
CN107918931A (zh) | 图像处理方法及系统 | |
CN110210448B (zh) | 一种智能人脸皮肤老化程度的识别与评估方法 | |
CN109003275B (zh) | 焊缝缺陷图像的分割方法 | |
CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN113935666B (zh) | 基于图像处理的建筑装饰墙面砖异常评估方法 | |
CN111476307B (zh) | 一种基于深度领域适应的锂电池表面缺陷检测方法 | |
CN108647722B (zh) | 一种基于过程尺寸特征的锌矿品位软测量方法 | |
CN116402821B (zh) | 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 | |
CN113469951B (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
CN111582358B (zh) | 户型识别模型的训练方法及装置、户型判重的方法及装置 | |
CN109409182B (zh) | 基于图像处理的胚胎自动识别方法 | |
CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
CN114742770A (zh) | 一种电解铜板铜瘤子缺陷检测方法、训练方法及系统 | |
CN110334775B (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
CN114972339A (zh) | 用于推土机结构件生产异常检测的数据增强系统 | |
CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
CN112750118B (zh) | 一种基于自动视觉检测的单细胞孔板测序中鉴定细胞个数的新方法及系统 | |
CN114487014B (zh) | 一种红外无损检测的缺陷几何特征提取方法 | |
CN114841971A (zh) | 金属块凹坑缺陷检测方法、系统及装置 | |
CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 | |
CN114998254A (zh) | 一种连铸坯中心偏析自动评级的方法及系统 | |
Wei et al. | A study of image processing on identifying cucumber disease | |
CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |