CN115082428A - 基于神经网络的金属斑点检测方法及系统 - Google Patents
基于神经网络的金属斑点检测方法及系统 Download PDFInfo
- Publication number
- CN115082428A CN115082428A CN202210850840.1A CN202210850840A CN115082428A CN 115082428 A CN115082428 A CN 115082428A CN 202210850840 A CN202210850840 A CN 202210850840A CN 115082428 A CN115082428 A CN 115082428A
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- boundary
- spot
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及基于神经网络的金属斑点检测方法及系统。获取金属表面图像,并对所述金属表面图像进行标注得到斑点二值图像;根据所述斑点二值图像进行图像处理,获取边界距离权重图像;根据所述边界距离权重图像构建加权边界二元交叉熵损失函数;将金属表面图像输入神经网络,得到斑点分割图像;所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。该方法通过构建加权边界二元交叉熵损失函数来解决模糊边界预测困难的问题,该函数通过生成背景和斑点的不同特征的距离映射,为斑点边界提供权重映射,使得后续神经网络对于斑点的检测更加准确。
Description
技术领域
本发明涉及图像处理技术领域,具体为一种基于神经网络的金属斑点检测方法及系统。
背景技术
金属板广泛应用在工业生产与生产生活的各方面。由于金属板制造过程涉及到的设备、工艺等多因素的影响,金属板表面容易出现种类较多、形态各异的缺陷,这些缺陷对金属板的耐磨性、抗腐蚀性、电磁特性及美观性都会造成不同程度的影响,最终影响金属板的电磁特性和涂镀效果。因此对于生产金属板的企业来说,表面缺陷检测是必不可少的一个工序,一方面可以通过表面缺陷检测及时检测到缺陷产品,保证所产金属板的质量,维护企业的信誉,另一方面也可以通过分析检测结果及时发现生产过程中存在的问题,并及时解决。
随着计算机科学技术的飞速发展,针对金属斑点的检测,人们把更多的目光投向了机器视觉领域。非接触、高效率、便捷客观等优点,使得机器视觉在缺陷检测方面得到更广泛的应用。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于神经网络的金属斑点检测方法及系统,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于神经网络的金属斑点检测方法,该检测方法包括以下步骤:获取金属表面图像,并对所述金属表面图像进行标注得到斑点二值图像;根据所述斑点二值图像进行距离变换,获取内边界距离图像;将斑点二值图像进行相反映射,得到斑点二值反图像;根据所述斑点二值反图像进行距离变换,获取外边界距离图像;根据所述内边界距离图像与所述外边界距离图像,获取边界距离权重图像;根据所述边界距离权重图像构建加权边界二元交叉熵损失函数;将金属表面图像输入神经网络,得到斑点分割图像;所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。
进一步的,所述内边界距离图像获取方法为对所述斑点二值图像进行距离变换,获取内部距离变换图像;对所述内部距离变换图像进行极差归一化,得到归一化内部距离变换图像;将所述斑点二值图像与归一化内部距离变换图像进行相减,得到内边界距离图像。
进一步的,所述外边界距离图像获取方法为:将斑点二值图像进行相反映射,得到斑点二值反图像;对所述斑点二值反图像进行距离变换,获取外部距离变换图像;对所述外部距离变换图像进行极差归一化,得到归一化外部距离变换图像;将所述斑点二值反图像与归一化外部距离变换图像进行相减,得到外边界距离图像。
进一步的,所述边界距离权重图像的获取方法包括:对内边界距离图像与外边界距离图像进行合并,所述合并操作采用相加操作;得到边界距离图像BD:
进一步的,所述加权边界二元交叉熵损失函数的获取方法包括:将边界距离图像与二元交叉熵损失相结合,构建加权边界二元交叉熵,该损失函数通过乘以边缘权重来放大边界像素附近的损失值;
进一步的,所述距离变换的度量距离为欧式距离。
进一步的,所述相反映射操作为将图像中像素值为255的变为0,将像素值为0的变为255。
进一步的,所述神经网络采用编码器、解码器结构的语义分割神经网络。
第二方面,本发明另一个实施例提供了一种基于神经网络的金属斑点检测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项所述方法的步骤。
本发明具有如下有益效果:
本发明实施例通过构建加权边界二元交叉熵损失函数来解决模糊边界预测困难的问题,该函数通过生成背景和斑点的不同特征的距离映射,为斑点边界提供权重映射。使得后续神经网络对于斑点的检测更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于神经网络的金属斑点检测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于神经网络的金属斑点检测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于神经网络的金属斑点检测方法及系统的具体方案。
请参阅图1,其示出了本发明一种基于神经网络的金属斑点检测方法,其特征在于,该控制方法包括以下步骤:
步骤001,获取金属表面图像,并对所述金属表面图像进行标注得到斑点二值图像;
首先利用相机拍摄金属图像,拍摄的金属图像应为同一种金属,且最好保证样本像素的数量一致,所述样本像素即斑点的像素数量与正常金属的像素数量一致。
同时采集的样本应包含大量的包含金属斑点的图像,以及正常的金属图像。所述图像为RGB图像。
然后对图像进行像素级标注,即对于上述采集的图像,表示斑点的像素,其像素值标注为1,正常金属的像素值变为0。
然后将上述数据集进行按比例拆分,分为训练集、测试集,经验比例为4:1。
步骤002,根据所述斑点二值图像进行距离变换,获取内边界距离图像;
然后针对训练集中的标注图像,即标注的二值图像(具有斑点标注的,若图像中无斑点则不进行下述处理)进行距离变换,由于斑点通常为一个连通的区域,此处不再进行其它处理,直接进行距离变换。
距离变换是二值图像处理与操作中常用手段,在骨架提取,图像窄化中常有应用。距离变换的结果是得到一张与输入图像类似的灰度图像,但是灰度值只出现在前景区域。并且越远离背景边缘的像素灰度值越大。所述距离变换的度量距离采用欧式距离。
最终得到内部距离变换图像Ia。
通过上述处理,内边界距离图像中,斑点内边界附近的像素值较大,而背景和斑点中心像素值最小。
步骤003,将斑点二值图像进行相反映射,得到斑点二值反图像;
步骤004,根据所述斑点二值反图像进行距离变换,获取外边界距离图像;
对标注的二值反图像再次进行距离变换,则此次距离变换使得越远离斑点边缘的像素灰度值越大。该图像称为外部距离变换图像Ib。
外边界距离图像中,背景像素值在斑点的外边界附近较大,而斑点内部的值最小。
至此,即可获取具有斑点标注图像的内边界距离图像、外边界距离图像。
步骤005,根据所述内边界距离图像与所述外边界距离图像,获取边界距离权重图像;
然后对内边界距离图像与外边界距离图像进行合并,所述合并操作采用相加操作。
得到边界距离权重图像BD:
边界距离权重图像通过合并两个不同的遮罩形成,每个遮罩分别突出斑点的内边界和外边界,通过生成背景和斑点的不同特征的距离映射,为斑点边界提供权重映射。表示基础权重图像,该图像所有的像素值均为1,大小与内、外边界距离图像相等。
步骤006,根据所述边界距离权重图像构建加权边界二元交叉熵损失函数;
进一步的,将边界距离图像与二元交叉熵损失相结合,构建加权边界二元交叉熵,该损失函数通过乘以边缘权重来放大边界像素附近的损失值。
M、N表示图像的宽、高,该x,y坐标处像素的标签值,若为斑点则为1,表示x,y坐标处像素的网络预测该像素为斑点的概率值。表示x,y坐标处像素的边界距离权重。损失函数属于神经网络训练过程的重要部件,为本领域技术人员所周知的,这里不再赘述其细节。
步骤007,将金属表面图像输入神经网络,得到斑点分割图像;所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。
本发明最终通过采用语义分割神经网络来实现金属斑点的检测,所述语义分割神经网络可采用Unet++、Enet、ICNet等网络模型。
神经网络模型具体的训练细节如下:
对于训练集,首先进行数据增强,包含大量正常金属图像、金属斑点图像,该图像为RGB颜色空间图形,数据增强技术如旋转、裁剪、添加噪声等。
所述语义分割网络的结构为编码器、解码器结构,编码器用以对金属RGB图像进行特征提取,解码器用以对编码器提取的特征进行拟合并映射到样本标记空间。然后通过损失函数进行网络参数的优化,所述损失函数采用加权边界二元交叉熵损失函数,可以有效的提取斑点边界区域,提高金属斑点检测的准确率。
网络的优化器采用Adam优化方法。
对于网络训练完毕后采用测试集测试网络性能,网络训练可采用迁移学习技术,以提高网络的收敛效率及精度,减少训练时间。
上述神经网络模型训练完毕后,对于网络每次推理,只需将拍摄的金属图像输入到神经网络中,然后网络会输出一个二通道图像,对于每个像素位置都有两个值,然后该两个值,选取最大值的索引作为类别标签,如0.85、0.15,索引分别为0、1,则该像素最大值的索引为0,对于步骤一经过标注后的图像,像素值为0表示为正常金属,像素值为1表示为斑点缺陷。通过上述步骤最终可以得到金属斑点缺陷的二值图像,进而实现金属的斑点检测。
至此,即可通过神经网络实现对金属斑点的检测,同理本发明也可将上述技术用于其它缺陷的检测,只要该缺陷具备连通域的性质。
基于与上述方法实施例相同的构思,本发明另一个实施例还提供了一种基于神经网络的金属斑点检测系统,该系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例所提供的一种基于神经网络的金属斑点检测方法的步骤,其中,一种基于神经网络的金属斑点检测方法已经在上述实施例中详细说明,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于神经网络的金属斑点检测方法,其特征在于,该方法包括以下步骤:
获取金属表面图像,并对所述金属表面图像进行标注得到斑点二值图像;
根据所述斑点二值图像进行距离变换,获取内边界距离图像;
将斑点二值图像进行相反映射,得到斑点二值反图像;
根据所述斑点二值反图像进行距离变换,获取外边界距离图像;
根据所述内边界距离图像与所述外边界距离图像,获取边界距离权重图像;
根据所述边界距离权重图像构建加权边界二元交叉熵损失函数;
将金属表面图像输入神经网络,得到斑点分割图像;所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。
2.根据权利要求1所述的一种基于神经网络的金属斑点检测方法,其特征在于,所述内边界距离图像的获取方法包括:
对所述斑点二值图像进行距离变换,获取内部距离变换图像;
对所述内部距离变换图像进行极差归一化,得到归一化内部距离变换图像;
将所述斑点二值图像与归一化内部距离变换图像进行相减,得到内边界距离图像。
3.根据权利要求1所述的一种基于神经网络的金属斑点检测方法,其特征在于,所述外边界距离图像的获取方法包括:
将斑点二值图像进行相反映射,得到斑点二值反图像;
对所述斑点二值反图像进行距离变换,获取外部距离变换图像;
对所述外部距离变换图像进行极差归一化,得到归一化外部距离变换图像;
将所述斑点二值反图像与归一化外部距离变换图像进行相减,得到外边界距离图像。
6.根据权利要求1-3所述的一种基于神经网络的金属斑点检测方法,其特征在于,所述距离变换的度量距离为欧式距离。
7.根据权利要求3所述的一种基于神经网络的金属斑点检测方法,其特征在于,所述相反映射操作为将图像中像素值为255的变为0,将像素值为0的变为255。
8.根据权利要求3所述的一种基于神经网络的金属斑点检测方法,其特征在于,所述神经网络采用编码器、解码器结构的语义分割神经网络。
9.一种基于神经网络的金属斑点检测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210850840.1A CN115082428B (zh) | 2022-07-20 | 2022-07-20 | 基于神经网络的金属斑点检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210850840.1A CN115082428B (zh) | 2022-07-20 | 2022-07-20 | 基于神经网络的金属斑点检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082428A true CN115082428A (zh) | 2022-09-20 |
CN115082428B CN115082428B (zh) | 2023-05-02 |
Family
ID=83258889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210850840.1A Active CN115082428B (zh) | 2022-07-20 | 2022-07-20 | 基于神经网络的金属斑点检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082428B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049753A (zh) * | 2012-06-04 | 2013-04-17 | 深圳市强华科技发展有限公司 | 基于骨架提取和距离变换来检测印刷电路板缺陷的方法 |
CN110766702A (zh) * | 2019-10-18 | 2020-02-07 | 沈阳农业大学 | 一种双孢蘑菇分级判断方法 |
CN111062280A (zh) * | 2019-12-05 | 2020-04-24 | 华中科技大学 | 一种基于距离变换标签的密集群体计数及定位方法 |
CN111784727A (zh) * | 2020-06-17 | 2020-10-16 | 北京理工大学 | 基于3d/2d配准应用于血管介入手术导航的方法及装置 |
CN113643311A (zh) * | 2021-06-28 | 2021-11-12 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
CN114734091A (zh) * | 2022-04-06 | 2022-07-12 | 江苏茂融智能科技有限公司 | 一种铝合金加工用切割处理设备 |
-
2022
- 2022-07-20 CN CN202210850840.1A patent/CN115082428B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049753A (zh) * | 2012-06-04 | 2013-04-17 | 深圳市强华科技发展有限公司 | 基于骨架提取和距离变换来检测印刷电路板缺陷的方法 |
CN110766702A (zh) * | 2019-10-18 | 2020-02-07 | 沈阳农业大学 | 一种双孢蘑菇分级判断方法 |
CN111062280A (zh) * | 2019-12-05 | 2020-04-24 | 华中科技大学 | 一种基于距离变换标签的密集群体计数及定位方法 |
CN111784727A (zh) * | 2020-06-17 | 2020-10-16 | 北京理工大学 | 基于3d/2d配准应用于血管介入手术导航的方法及装置 |
CN113643311A (zh) * | 2021-06-28 | 2021-11-12 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
CN114734091A (zh) * | 2022-04-06 | 2022-07-12 | 江苏茂融智能科技有限公司 | 一种铝合金加工用切割处理设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115082428B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108288088B (zh) | 一种基于端到端全卷积神经网络的场景文本检测方法 | |
Yi et al. | An end‐to‐end steel strip surface defects recognition system based on convolutional neural networks | |
Zhu et al. | Modified densenet for automatic fabric defect detection with edge computing for minimizing latency | |
CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
Chen et al. | DCAM-Net: A rapid detection network for strip steel surface defects based on deformable convolution and attention mechanism | |
CA3098286A1 (en) | Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object | |
CN109165538A (zh) | 基于深度神经网络的条形码检测方法及装置 | |
CN112215079B (zh) | 一种全局多阶段目标跟踪方法 | |
CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
CN117689655B (zh) | 基于计算机视觉的金属钮扣表面缺陷检测方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN115082428A (zh) | 基于神经网络的金属斑点检测方法及系统 | |
Li et al. | Instrument reading recognition by deep learning of capsules network model for digitalization in Industrial Internet of Things | |
Xu et al. | Highlight detection and removal method based on bifurcated-CNN | |
CN111259974B (zh) | 一种小样本柔性ic基板的表面缺陷定位和分类方法 | |
CN114445419A (zh) | 一种基于支气管拓扑结构的肺段分割方法、装置及系统 | |
Hao et al. | A highly efficient surface defect detection approach for hot rolled strip steel based on deep learning | |
CN113159278A (zh) | 一种分割网络系统 | |
CN113077484A (zh) | 一种图像实例分割方法 | |
CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
Zhang et al. | Method of surface defect detection for agricultural machinery parts based on image recognition technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |