CN116071363B - 一种自动化型钢智能生产监测系统 - Google Patents

一种自动化型钢智能生产监测系统 Download PDF

Info

Publication number
CN116071363B
CN116071363B CN202310302398.3A CN202310302398A CN116071363B CN 116071363 B CN116071363 B CN 116071363B CN 202310302398 A CN202310302398 A CN 202310302398A CN 116071363 B CN116071363 B CN 116071363B
Authority
CN
China
Prior art keywords
value
initial
pixel point
defect
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310302398.3A
Other languages
English (en)
Other versions
CN116071363A (zh
Inventor
孔令保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhongji Luyuan Machinery Co ltd
Original Assignee
Shandong Zhongji Luyuan Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhongji Luyuan Machinery Co ltd filed Critical Shandong Zhongji Luyuan Machinery Co ltd
Priority to CN202310302398.3A priority Critical patent/CN116071363B/zh
Publication of CN116071363A publication Critical patent/CN116071363A/zh
Application granted granted Critical
Publication of CN116071363B publication Critical patent/CN116071363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种自动化型钢智能生产监测系统。该系统包括数据预处理模块、缺陷区域获取模块和质量监测评价模块。该系统通过数据预处理模块获取型钢表面图像中的待测区域和对应的初始评价值；通过缺陷区域获取模块对型钢表面图像中的待测区域进行分析，得到对应的总缺陷区域；通过质量监测评价模块结合总缺陷区域的面积占比和初始评价值得到目标评价值，结合目标评价值和初始评价值，实现对型钢表面图像对应的型钢的生产质量的监控。本发明在传统SSIM算法比对图像相似度时引入目标评级值进行评价，减少对于型钢表面重复度较高时产生的误判以及全局特征计算量过大的问题。

Description

一种自动化型钢智能生产监测系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种自动化型钢智能生产监测系统。
背景技术
生产监测场景中，型钢在生产后需要对其质量进行检测，因为当模具使用磨损后会导致型钢产品表面发生形变，轻则会影响型钢产品的质量，对使用者带来不好的使用体验，重则会导致钢材报废，故需要通过采用计算机视觉对型钢产品的生产质量进行高效准确的监测。
目前常见的对型钢进行质量监测的方法为：在型钢连续生产的顺序图像下，通过结构相似性算法(Structural Similarity, SSIM)对采集到的待监测图像进行比对判断，而缺陷部位对全局的灰度参数影响程度较小，从而对较小的缺陷特征不能准确筛除，监测的准确性较低。
发明内容
为了解决传统SSIM算法对型钢的待监测图像的监测准确性较低的技术问题，本发明的目的在于提供一种自动化型钢智能生产监测系统，所采用的技术方案具体如下：
数据预处理模块，获取型钢表面图像中的待测区域和对应的初始评价值；
缺陷区域获取模块，根据待测区域中像素点的像素值和预设标准钢材像素值的差异筛选出初始缺陷像素点；根据初始缺陷像素点的邻域内像素点的像素值的波动情况，得到型钢表面图像中初始缺陷像素点的磨损评价值；选取任意初始缺陷像素点作为目标缺陷像素点，基于目标缺陷像素点和其他初始缺陷像素点的距离、磨损评价值的差异，得到型钢表面图像中目标缺陷像素点和其他初始缺陷像素点的归属程度；根据目标缺陷像素点和其他初始缺陷像素点的归属程度，从初始缺陷像素点中筛选出目标缺陷像素点对应的所属缺陷像素点；由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域；由所有初始缺陷像素点的分缺陷区域构成型钢表面图像中的总缺陷区域；
质量监测评价模块，根据总缺陷区域的面积占比和初始评价值得到评价调节值；根据评价调节值和初始评价值得到目标评价值；基于所述目标评价值判断型钢表面图像对应的型钢的生产质量。
优选的，所述初始评价值的获取方法为：
利用SSIM算法计算型钢表面图像中待测区域和标准型钢图像中待测区域的结果相似性，将所述结果相似性作为型钢表面图像的初始评价值。
优选的，所述初始缺陷像素点的获取方法为：
将所述待测区域中各像素点的像素值和预设标准钢材像素值的差值的绝对值，作为判别差值；将所述判别差值大于预设差异阈值的像素点作为初始缺陷像素点。
优选的，所述初始缺陷像素点的磨损评价值的获取方法为：
计算初始缺陷像素点的邻域内像素点的像素值均值；
计算初始缺陷像素点的邻域内各像素点的像素值和像素值均值的差值的立方，将初始缺陷像素点的邻域内各像素点对应的差值的立方之和，作为差异和；
将初始缺陷像素点邻域内像素点的像素值方差的立方，作为初始立方差；
计算预设第四阈值倍数的初始立方差，作为立方差；将所述差异和与所述立方差的比值的绝对值，作为调节评价值；将所述调节评价值和预设第一阈值的和值作为第一调节值；
计算初始缺陷像素点的像素值和预设标准钢材像素值的差值的绝对值作为初始缺陷像素点的像素差值；将所述像素差值的正相关映射值作为待调评价值；
将所述待调评价值和第一调节值的比值作为磨损评价值。
优选的，所述归属程度的获取方法为：
计算所有初始缺陷像素点的磨损评价值的均值，作为固定评价值；计算目标缺陷像素点的磨损评价值和固定评价值的差值，作为固定差值；将除目标缺陷像素点外的任一初始缺陷像素点作为第二缺陷像素点，计算目标缺陷像素点和第二缺陷像素点的磨损评价值的差值的绝对值，作为磨损绝对值；将磨损绝对值和预设第一阈值的和值作为调节磨损绝对值；对固定差值和调节磨损绝对值的比值进行正相关映射，将得到的结果值作为损失参数值；
计算目标缺陷像素点和第二缺陷像素点的欧氏距离；
将损失函数值和所述欧式距离的比值的归一化值作为目标缺陷像素点和第二缺陷像素点的归属程度。
优选的，所述根据目标缺陷像素点和其他初始缺陷像素点的归属程度，从初始缺陷像素点中筛选出目标缺陷像素点对应的所属缺陷像素点，包括：
获取目标缺陷像素点和其他初始缺陷像素点的归属程度；对于目标缺陷像素点，将归属程度大于预设第二阈值的与目标缺陷像素点对应的初始缺陷像素点作为目标缺陷像素点对应的所属缺陷像素点。
优选的，所述由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域，包括：
由目标缺陷像素点对应的所属缺陷像素点构建最小外接凸多边形，将所述最小外接凸多边形作为目标缺陷像素点的分缺陷区域。
优选的，所述根据总缺陷区域的面积占比和初始评价值得到评价调节值，包括：
将总缺陷区域的面积占比的正相关映射值的归一化值和初始评价值的乘积的相反值，作为评价调节值。
优选的，所述根据评价调节值和初始评价值得到目标评价值，包括：
将评价调节值和初始评价值的和值，作为目标评价值。
优选的，所述基于所述目标评价值判断型钢表面图像对应的型钢的生产质量，包括：
当目标评价值大于预设第三阈值时，型钢表面图像对应的型钢的生产质量为合格；当目标评价值小于或者等于预设第三阈值时，型钢表面图像对应的型钢的生产质量为不合格。
本发明实施例至少具有如下有益效果：
该系统包括数据预处理模块、缺陷区域获取模块和质量监测评价模块，首先从待测区域中筛选出初始缺陷像素点，对初始缺陷像素点进行初次筛选，粗略得到可能为缺陷区域的像素点，后续仅对初始缺陷像素点进行分析，减少了计算量。进一步的，计算初始缺陷像素点的磨损评价值，该磨损评价值从像素点邻域内灰度值的变化情况反映了像素点属于发生磨损的缺陷区域的概率。计算两个初始缺陷像素点的归属程度，归属程度反映了两个初始缺陷像素点所属同一缺陷区域的概率，以便于后续得到型钢表面图像中的缺陷区域；构建目标缺陷像素点对应的分缺陷区域，并由分缺陷区域构成总缺陷区域，该总缺陷区域是分别结合各初始缺陷像素点邻域内的灰度情况进行分析得到磨损程度和结合各初始缺陷像素点属于同一缺陷区域的归属情况两个方面的情况得到的总缺陷区域，考虑了灰度情况和归属情况得到的总缺陷区域，相对于仅根据灰度筛选出的缺陷区域，其真实的缺陷区域的监控更加准确；计算目标评价值，该目标评价值反映了型钢表面图像的局部特征，通过形变对型钢表面图像的特征相似性产生破坏的局部位置特征在比对初始评价值时引入反映局部特征的评价调节值，减少传统SSIM算法使用图像全局特征进行对比，在型钢表面重复度较高会产生误判以及全局特征计算量过大的问题；基于目标评价值判断型钢表面图像对应的型钢的生产质量。本发明在传统SSIM算法比对图像相似度时引入局部特征进行评价，减少传统SSIM算法对于型钢表面重复度较高时产生的误判以及全局特征计算量过大的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种自动化型钢智能生产监测系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种自动化型钢智能生产监测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种自动化型钢智能生产监测系统的具体实施方法，该方法适用于型钢缺陷检测场景。该场景下通过生产线上安装的相机来采集钢材的表面俯视图，作为初始型钢图像。为了解决传统SSIM算法对型钢的待监测图像的监测准确性较低的技术问题，本发明通过数据预处理模块获取待测区域和初始评价值，通过缺陷区域获取模块获取总缺陷区域，通过质量监测评价模块获取型钢表面图像对应的型钢的生产质量。
下面结合附图具体的说明本发明所提供的一种自动化型钢智能生产监测系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种自动化型钢智能生产监测系统的系统框图，该系统包括以下模块：
数据预处理模块10，获取型钢表面图像中的待测区域和对应的初始评价值。
利用相机采集初始型钢图像。需要说明的是，该初始型钢图像为RGB图像。
使用现有的加权灰度化方法得到初始型钢图像的灰度图，作为型钢表面图像。
对同一型钢产品进行多次图像采集，减少单张图像偶发的异常情况影响型钢图像质量。得到了待检测的型钢表面图像集。
钢材随着模具磨损会逐渐在大面积的灰度相似的区域中出现破坏相似性的局部缺陷位置，通过钢材局部缺陷自身的灰度波动特性综合SSIM算法对于灰度特性的评价方式构建评价值的高精度优化方法，在钢材表面本身具有粗糙区域的影响下依然能够对缺陷位置进行准确识别。
本发明对待检测的型钢表面图像集内的型钢表面图像进行处理，获取型钢产品的高精度的目标评价值的步骤为：（1）获取相似性的初始评价值。（2）划分初始缺陷像素点。（3）根据初始评价值综合不同初始缺陷像素点之间的形态差异设置评价调节值。（4）综合初始评价值以及评价调节值，获得高精度的目标评价值。
首先获取型钢表面图像中的待测区域和对应的初始评价值，具体的：由于待测的型钢表面图像内部含有钢材和背景，通过现有的连通域算法检测得到型钢表面图像中仅含有型钢的待测区域。利用SSIM算法计算型钢表面图像中待测区域和标准型钢图像中待测区域的结果相似性，将所述结果相似性作为型钢表面图像的初始评价值。需要说明的是，利用传统SSIM算法通过亮度、对比度和结构三个方向可直接获得三个评价值，分别为亮度评价、对比度评价和结构评价。初始评价值是通过亮度评价、对比度评价和结构评价这三个评价值进行合成得到的，得到的初始评价值为全局特征。需要说明的是，利用传统SSIM算法得到结构相似性时本领域技术人员的公知技术，在此不再进行赘述。其中，标准型钢图像中的型钢为没有缺陷的型钢。
缺陷区域获取模块20，根据待测区域中像素点的像素值和预设标准钢材像素值的差异筛选出初始缺陷像素点；根据初始缺陷像素点的邻域内像素点的像素值的波动情况，得到型钢表面图像中初始缺陷像素点的磨损评价值；选取任意初始缺陷像素点作为目标缺陷像素点，基于目标缺陷像素点和其他初始缺陷像素点的距离、磨损评价值的差异，得到型钢表面图像中目标缺陷像素点和其他初始缺陷像素点的归属程度；根据目标缺陷像素点和其他初始缺陷像素点的归属程度，从初始缺陷像素点中筛选出目标缺陷像素点对应的所属缺陷像素点；由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域；由所有初始缺陷像素点的分缺陷区域构成型钢表面图像中的总缺陷区域。
缺陷位置会随机分布在灰度较为均匀的钢材表面，通过超出与预设标准钢材像素值差异在钢材自身容许的灰度波动，筛选出初始缺陷像素点。也即根据型钢表面图像中像素点的像素值和预设标准钢材像素值的差异筛选出初始缺陷像素点，具体的：将所述待测区域中各像素点的像素值和预设标准钢材像素值的差值的绝对值，作为判别差值；将所述判别差值大于预设差异阈值的像素点作为初始缺陷像素点。在本发明实施例中预设标准钢材像素值的取值为134，预设差异阈值的取值为10，在其他实施例中实施者可根据实际情况调整该取值。
实现在待测区域中获取到初始缺陷位置的像素点，也即初始缺陷像素点。由于带钢自身存在灰度波动，因此仅通过固定阈值筛选出初始缺陷像素点时，会存在较多的初始缺陷像素点。
由于带钢自身存在灰度波动，因此需要判断初始缺陷像素点是由于带钢表面自身存在不均匀或是由于模具磨损产生损伤的灰度波动。
对于不均匀位置为钢材氧化层未完全去除产生较为紧密且独立的斑点部位；磨损损伤产生具有一定延展性的灰度变化区域。故进一步的根据初始缺陷像素点的邻域内像素点的像素值的波动情况，得到初始缺陷像素点作为磨损损伤的磨损评价值。该磨损评价值的获取方法为：计算初始缺陷像素点的邻域内像素点的像素值均值；计算初始缺陷像素点的邻域内各像素点的像素值和像素值均值的差值的立方，将初始缺陷像素点的邻域内各像素点对应的差值的立方之和，作为差异和；将初始缺陷像素点邻域内像素点的像素值方差的立方，作为初始立方差；计算预设第四阈值倍数的初始立方差，作为立方差；将所述差异和与所述立方差的比值的绝对值，作为调节评价值；将所述调节评价值和预设第一阈值的和值作为第一调节值；计算初始缺陷像素点的像素值和预设标准钢材像素值的差值的绝对值作为初始缺陷像素点的像素差值；将所述像素差值的正相关映射值作为待调评价值。将所述待调评价值和第一调节值的比值作为磨损评价值。
该磨损评价值的计算公式为：
Figure SMS_1
其中，
Figure SMS_5
为初始缺陷像素点p对应的磨损评价值；
Figure SMS_8
为初始缺陷像素点p对应的邻 域内第i个像素点的像素值；
Figure SMS_16
为初始缺陷像素点p对应的像素值均值；
Figure SMS_4
为初始缺陷像素 点p的像素值；
Figure SMS_13
为预设第一阈值；
Figure SMS_7
为自然常数；I为预设第四阈值，该预设第四阈值也即邻 域内像素点的数量；
Figure SMS_15
为初始缺陷像素点p对应的差异和；
Figure SMS_10
为初始 缺陷像素点p对应的第一立方；
Figure SMS_17
为初始缺陷像素点p对应的调节评价值；
Figure SMS_2
为初始缺陷像素点p对应的第一调节值；
Figure SMS_11
为初始缺陷像素点p对应 的立方差；
Figure SMS_3
为初始缺陷像素点p对应的邻域内像素点像素值的方差；
Figure SMS_12
初始缺陷像 素点p对应的像素差值；
Figure SMS_9
为初始缺陷像素点p的待调评价值；
Figure SMS_18
为预设标准钢材像 素值。在本发明实施例中I的取值为8，预设第一阈值的取值为数学无穷小量，在其他实施例 中实施者可根据实际情况调节该取值。在分母上加入预设第一阈值是为了避免出现分母为 0的情况出现，故预设第一阈值在原则上遵循尽可能小的原则且取值不能为0，因为预设第 一阈值越小对磨损评价值整体的计算影响越小，故在本发明实施例中预设第一阈值的取值 为数学无穷小量。需要说明的是预设第四阈值的取值为邻域内像素点的数量，这里乘上邻 域内像素点的数量的目的是为了避免
Figure SMS_6
中分子对初始缺陷像素点p和对应的邻 域内所有像素点的差异和进行计算时出现数值过大的问题，因为分子是计算了I个像素点 的像素值差值，故除上邻域内像素点的数量，使得
Figure SMS_14
的值在能够反映像素点与 邻域内像素点的像素值差异的情况下，避免取值过大，增加后续计算的复杂度。
因为磨损损伤产生具有一定延展性的灰度变化区域，故初始缺陷像素点的3*3邻 域内的像素点的灰度变化越平滑，初始缺陷像素点邻域内像素点的灰度值之间的差异会较 小，灰度值的波动程度也越小。该磨损评价值的计算公式的分子部分中
Figure SMS_19
，即结 合了偏度的概念，分式结果越接近于0，反映灰度分布越均匀，其正负号反映了前后偏移，这 里通过加上绝对值以保证不为负数，其加上绝对值之后，调节评价值
Figure SMS_20
的取值 越接近0，反映邻域内灰度分布越均匀，当调节评价值的取值越大，则邻域内灰度分布越不 均匀。当初始像素点与预设标准钢材像素值的差异越大时，初始缺陷像素点P为磨损损伤的 概率越大，磨损评价值
Figure SMS_21
则越大，磨损评价值反映了初始缺陷像素点的磨损的情况，磨损评 价值越大，初始缺陷像素点属于磨损损伤的缺陷区域的概率越大。反之，初始缺陷像素点的 3*3邻域内的像素点的灰度变化越不平滑，也即调节评价值越大，且初始缺陷像素点与预设 标准钢材像素值的差异越小时，则初始缺陷像素点P作为磨损损伤的磨损评价值
Figure SMS_22
越小。
Figure SMS_23
为像素差值的正相关映射值，也即初始缺陷像素点的像素值与预设标准钢材像素值 的差异的正相关映射。该正相关映射值综合反映出初始缺陷像素点的像素值与预设标准钢 材像素值的差异。
进而获取每个初始缺陷像素点对应的磨损评价值，实现对初始缺陷像素点出现磨损损伤的可能评价的判断。
对于磨损损伤，产生较多初始缺陷像素点P的同时，存在的磨损评价值较高且较相 似，据初始缺陷像素点P的磨损评价值
Figure SMS_24
在待测区域中的分布关系，得到待测区域中初始缺 陷像素点P对应的分缺陷区域Q。
SSIM采取的全局特征进行判断，而模具磨损缺陷形成的局部异常特征对全局的图像属性特征产生较小的影响，从而在SSIM匹配过程中被忽视局部信息。
首先选取任意初始缺陷像素点作为目标缺陷像素点，基于目标缺陷像素点和其他初始缺陷像素点的距离、磨损评价值的差异，得到目标缺陷像素点和其他初始缺陷像素点的属于同一缺陷位置的归属程度。该归属程度的获取方法为：
计算所有初始缺陷像素点的磨损评价值的均值，作为固定评价值；计算目标缺陷像素点的磨损评价值和固定评价值的差值，作为固定差值；将除目标缺陷像素点外的任一初始缺陷像素点作为第二缺陷像素点，计算目标缺陷像素点和第二缺陷像素点的磨损评价值的差值的绝对值，作为磨损绝对值；将磨损绝对值和预设第一阈值的和值作为调节磨损绝对值；对固定差值和调节磨损绝对值的比值进行正相关映射，将得到的结果值作为损失参数值；计算目标缺陷像素点和第二缺陷像素点的欧氏距离；将损失函数值和所述欧式距离的比值的归一化值作为目标缺陷像素点和第二缺陷像素点的归属程度。
以初始缺陷像素点
Figure SMS_25
作为目标缺陷像素点，以初始缺陷像素点
Figure SMS_26
作为第二缺陷像 素点为例，该归属程度的计算公式为：
Figure SMS_27
其中，
Figure SMS_32
为目标缺陷像素点
Figure SMS_38
和第二缺陷像素点
Figure SMS_45
的归属程度；
Figure SMS_31
为 归一化值函数；
Figure SMS_39
为自然常数；
Figure SMS_46
为目标缺陷像素点
Figure SMS_51
的磨损评价值；
Figure SMS_29
为第二缺陷像素 点
Figure SMS_36
的磨损评价值；
Figure SMS_42
为固定评价值；
Figure SMS_47
为预设第一阈值；
Figure SMS_34
为目标缺陷像素 点
Figure SMS_43
和第二缺陷像素点
Figure SMS_50
的欧式距离；
Figure SMS_52
为目标缺陷像素点
Figure SMS_30
的固定差值；
Figure SMS_37
为目标缺陷像素点
Figure SMS_44
和第二缺陷像素点
Figure SMS_49
的磨损绝对值；
Figure SMS_28
为目标 缺陷像素点
Figure SMS_35
和第二缺陷像素点
Figure SMS_41
的调节磨损绝对值；
Figure SMS_48
为目标缺陷像素点
Figure SMS_33
和第二缺陷像素点
Figure SMS_40
的损失参数值。
其中，由于固定评价值
Figure SMS_53
为定值，而
Figure SMS_54
越大，则说明目标缺陷 像素点
Figure SMS_55
的磨损程度越高，而
Figure SMS_56
越小代表目标缺陷像素点
Figure SMS_57
和第二缺陷像素点
Figure SMS_58
的 磨损程度越接近，也即两个初始缺陷像素点属于同一缺陷的概率越大，并通过以自然常数 为底数的指数函数进行正相关映射，进一步扩大固定差值和调节磨损绝对值的比值的增 长，以便于后续获取总缺陷区域Q。两个初始缺陷像素点的欧式距离反映了两个初始缺陷像 素点在图像上的位置分布，两个初始缺陷像素点的欧式距离越小，属于同一缺陷的概率越 大，其对应的归属程度越大；反之，两个初始缺陷像素点的欧式距离越大，属于同一缺陷的 概率越小，其对应的归属程度越小。sigmoid为现有的值域[0,1]的归一化函数，即归属程度
Figure SMS_59
的取值范围为[0,1]。
对于任意初始缺陷像素点
Figure SMS_60
，计算初始缺陷像素点P和其他初始缺陷像素点的归属 程度。根据初始缺陷像素点和其他初始缺陷像素点的归属程度，从其他初始缺陷像素点中 筛选出初始缺陷像素点P对应的所属缺陷像素点。具体的：以初始缺陷像素点
Figure SMS_61
为目标缺陷 像素点，对于目标缺陷像素点，将归属程度大于预设第二阈值的与目标缺陷像素点对应的 初始缺陷像素点作为目标缺陷像素点对应的所属缺陷像素点。在本发明实施例中预设第二 阈值为根据生产标准设置的阈值，该预设第二阈值的取值为0.8，在其他实施例中实施者可 根据实际情况调整该取值。
目标每个初始缺陷像素点所对应的所属缺陷像素点后，由各初始缺陷像素点对应的所属缺陷像素点构建各初始缺陷像素点对应的分缺陷区域，具体的：由目标缺陷像素点对应的所属缺陷像素点构建最小外接凸多边形，将所述最小外接凸多边形作为目标缺陷像素点的分缺陷区域，也可以说利用现有的凸包算法获取所属缺陷区域构成的分缺陷区域。
得到每个初始缺陷像素点对应的分缺陷区域之后，由所有初始缺陷像素点对应的分缺陷区域构成待测区域中的总缺陷区域。并获取总缺陷区域的面积。在本发明实施例中，总缺陷区域的面积即为总缺陷区域内像素点的数量。
质量监测评价模块30，根据总缺陷区域的面积占比和初始评价值得到评价调节值；根据评价调节值和初始评价值得到目标评价值；基于所述目标评价值判断型钢表面图像对应的型钢的生产质量。
当前型钢表面图像中待测区域中缺陷区域越大，则型钢表面图像与标准型钢图像之间的匹配程度则越低，因此根据总缺陷区域的面积占比设置评价调节值，对SSIM算法的匹配程度进行监督。根据总缺陷区域的面积占比和初始评价值得到评价调节值，具体的：将总缺陷区域的面积占比的正相关映射值的归一化值和初始评价值的乘积的相反值，作为评价调节值。
该评价调节值的计算公式为：
Figure SMS_62
其中，
Figure SMS_63
为评价调节值；
Figure SMS_64
为初始评价值；
Figure SMS_65
为归一化函数；
Figure SMS_66
为以自然 常数为底数的指数函数；
Figure SMS_67
为总缺陷区域的面积；
Figure SMS_68
为型钢表面图像的面积；
Figure SMS_69
为总缺陷 区域的面积占比。
当型钢表面图像中总缺陷区域的面积占比越大，则当前型钢表面图像中质量越差，对应的评价调节值越小，反之，当型钢表面图像中总缺陷区域的面积占比越小，则当前型钢表面图像中质量越好，对应的评价调节值越大。该评价调节值反映了型钢表面图像的局部特征。其结合后续的初始评价值，以达到对待监测图像更准确的监控。
将局部特征引入全局判断，得到目标评价值。该目标评价值的获取方法为：将评价调节值和初始评价值的和值，作为目标评价值。
将结合型钢表面图像的局部特征和全局特征得到的目标评价值，作为最终的结果相似性，提高了传统SSIM相似性衡量的准确性。
该目标评价值反映了当前的型钢表面图像和标准型钢图像的相似程度，型钢表面图像对应的目标评价值越大，则型钢表面图像和标准型钢图像越相似，型钢表面图像出现质量问题的概率越小；型钢表面图像对应的目标评价值越小，则型钢表面图像和标准型钢图像差异越大，型钢表面图像出现质量问题的概率越大。当型钢表面图像和标准型钢图像一模一样时，其对应的目标评价值为1，该目标评价值的取值范围为[-1,1]。
进一步的，基于所述目标评价值判断型钢表面图像对应的型钢的生产质量，具体的：当目标评价值大于预设第三阈值时，型钢表面图像对应的型钢的生产质量为合格；当目标评价值小于或者等于预设第三阈值时，型钢表面图像对应的型钢的生产质量为不合格。在本发明实施例中预设第三阈值的取值为0.8，在其他实施例中实施者可根据实际情况调整该取值。将生产质量为不合格的型钢及时进行监测剔除，以保证生产稳定进行。需要说明的是预设第三阈值的设定规则是首先通过人为参与从多张历史型钢表面图像中选取出合格的历史型钢表面图像，计算每张合格的历史型钢表面图像的目标评价值，将合格的历史型钢表面图像中最小的目标评价值的取值作为预设第三阈值。
综上所述，本发明涉及图像处理技术领域。该系统首先通过数据预处理模块获取型钢表面图像中的待测区域和对应的初始评价值；再通过缺陷区域获取模块从待测区域中筛选出初始缺陷像素点；根据初始缺陷像素点的邻域内像素点的像素值的波动情况，得到初始缺陷像素点的磨损评价值；选取任意初始缺陷像素点作为目标缺陷像素点，基于目标缺陷像素点和其他初始缺陷像素点的距离、磨损评价值的差异，得到目标缺陷像素点和其他初始缺陷像素点的归属程度；根据目标缺陷像素点和其他初始缺陷像素点的归属程度，筛选出目标缺陷像素点对应的所属缺陷像素点；由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域，并由分缺陷区域构成总缺陷区域；最后，根据质量监测评价模块，根据总缺陷区域的面积占比和初始评价值得到评价调节值；根据评价调节值和初始评价值得到目标评价值；基于目标评价值判断型钢表面图像对应的型钢的生产质量。本发明在传统SSIM算法比对图像相似度时引入局部特征进行评价，减少传统SSIM算法对于型钢表面重复度较高时产生的误判以及全局特征计算量过大的问题。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.一种自动化型钢智能生产监测系统，其特征在于，该系统包括以下模块：
数据预处理模块，获取型钢表面图像中的待测区域和对应的初始评价值；
缺陷区域获取模块，根据待测区域中像素点的像素值和预设标准钢材像素值的差异筛选出初始缺陷像素点；根据初始缺陷像素点的邻域内像素点的像素值的波动情况，得到型钢表面图像中初始缺陷像素点的磨损评价值；选取任意初始缺陷像素点作为目标缺陷像素点，基于目标缺陷像素点和其他初始缺陷像素点的距离、磨损评价值的差异，得到型钢表面图像中目标缺陷像素点和其他初始缺陷像素点的归属程度；根据目标缺陷像素点和其他初始缺陷像素点的归属程度，从初始缺陷像素点中筛选出目标缺陷像素点对应的所属缺陷像素点；由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域；由所有初始缺陷像素点的分缺陷区域构成型钢表面图像中的总缺陷区域；
质量监测评价模块，根据总缺陷区域的面积占比和初始评价值得到评价调节值；根据评价调节值和初始评价值得到目标评价值；基于所述目标评价值判断型钢表面图像对应的型钢的生产质量；
其中，所述初始缺陷像素点的磨损评价值的获取方法为：计算初始缺陷像素点的邻域内像素点的像素值均值；计算初始缺陷像素点的邻域内各像素点的像素值和像素值均值的差值的立方，将初始缺陷像素点的邻域内各像素点对应的差值的立方之和，作为差异和；将初始缺陷像素点邻域内像素点的像素值方差的立方，作为初始立方差；计算预设第四阈值倍数的初始立方差，作为立方差；将所述差异和与所述立方差的比值的绝对值，作为调节评价值；将所述调节评价值和预设第一阈值的和值作为第一调节值；计算初始缺陷像素点的像素值和预设标准钢材像素值的差值的绝对值作为初始缺陷像素点的像素差值；将所述像素差值的正相关映射值作为待调评价值；将所述待调评价值和第一调节值的比值作为磨损评价值；
其中，所述归属程度的获取方法为：计算所有初始缺陷像素点的磨损评价值的均值，作为固定评价值；计算目标缺陷像素点的磨损评价值和固定评价值的差值，作为固定差值；将除目标缺陷像素点外的任一初始缺陷像素点作为第二缺陷像素点，计算目标缺陷像素点和第二缺陷像素点的磨损评价值的差值的绝对值，作为磨损绝对值；将磨损绝对值和预设第一阈值的和值作为调节磨损绝对值；对固定差值和调节磨损绝对值的比值进行正相关映射，将得到的结果值作为损失参数值；计算目标缺陷像素点和第二缺陷像素点的欧氏距离；将损失函数值和欧式距离的比值的归一化值作为目标缺陷像素点和第二缺陷像素点的归属程度。
2.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述初始评价值的获取方法为：
利用SSIM算法计算型钢表面图像中待测区域和标准型钢图像中待测区域的结果相似性，将所述结果相似性作为型钢表面图像的初始评价值。
3.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述初始缺陷像素点的获取方法为：
将所述待测区域中各像素点的像素值和预设标准钢材像素值的差值的绝对值，作为判别差值；将所述判别差值大于预设差异阈值的像素点作为初始缺陷像素点。
4.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述根据目标缺陷像素点和其他初始缺陷像素点的归属程度，从初始缺陷像素点中筛选出目标缺陷像素点对应的所属缺陷像素点，包括：
获取目标缺陷像素点和其他初始缺陷像素点的归属程度；对于目标缺陷像素点，将归属程度大于预设第二阈值的与目标缺陷像素点对应的初始缺陷像素点作为目标缺陷像素点对应的所属缺陷像素点。
5.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述由目标缺陷像素点对应的所属缺陷像素点构建目标缺陷像素点对应的分缺陷区域，包括：
由目标缺陷像素点对应的所属缺陷像素点构建最小外接凸多边形，将所述最小外接凸多边形作为目标缺陷像素点的分缺陷区域。
6.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述根据总缺陷区域的面积占比和初始评价值得到评价调节值，包括：
将总缺陷区域的面积占比的正相关映射值的归一化值和初始评价值的乘积的相反值，作为评价调节值。
7.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述根据评价调节值和初始评价值得到目标评价值，包括：
将评价调节值和初始评价值的和值，作为目标评价值。
8.根据权利要求1所述的一种自动化型钢智能生产监测系统，其特征在于，所述基于所述目标评价值判断型钢表面图像对应的型钢的生产质量，包括：
当目标评价值大于预设第三阈值时，型钢表面图像对应的型钢的生产质量为合格；当目标评价值小于或者等于预设第三阈值时，型钢表面图像对应的型钢的生产质量为不合格。
CN202310302398.3A 2023-03-27 2023-03-27 一种自动化型钢智能生产监测系统 Active CN116071363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310302398.3A CN116071363B (zh) 2023-03-27 2023-03-27 一种自动化型钢智能生产监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310302398.3A CN116071363B (zh) 2023-03-27 2023-03-27 一种自动化型钢智能生产监测系统

Publications (2)

Publication Number Publication Date
CN116071363A CN116071363A (zh) 2023-05-05
CN116071363B true CN116071363B (zh) 2023-06-16

Family

ID=86175276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310302398.3A Active CN116071363B (zh) 2023-03-27 2023-03-27 一种自动化型钢智能生产监测系统

Country Status (1)

Country Link
CN (1) CN116071363B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503815B (zh) * 2023-06-21 2024-01-30 宝德计算机系统股份有限公司 一种基于大数据的计算机视觉处理系统
CN117011292B (zh) * 2023-09-28 2023-12-15 张家港飞腾复合新材料股份有限公司 一种复合板表面质量快速检测方法
CN117152140B (zh) * 2023-10-30 2024-02-13 汉中禹龙科技新材料有限公司 基于图像处理的钢绞线质量检测方法
CN118644480A (zh) * 2024-08-14 2024-09-13 武汉氛围汽车科技有限公司 一种汽车灯具表面检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05340888A (ja) * 1992-06-04 1993-12-24 Matsushita Electric Ind Co Ltd 欠陥検出方法
WO2017141611A1 (ja) * 2016-02-19 2017-08-24 株式会社Ｓｃｒｅｅｎホールディングス 欠陥検出装置、欠陥検出方法およびプログラム
CN115018853A (zh) * 2022-08-10 2022-09-06 南通市立新机械制造有限公司 基于图像处理的机械组件缺陷检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520405B (zh) * 2009-01-05 2011-03-09 上海宝钢建筑工程设计研究院 辊弯成形冷弯型钢表面缺陷实验装置及实验方法
JP5206698B2 (ja) * 2010-01-12 2013-06-12 新日鐵住金株式会社 周期欠陥検出装置、周期欠陥検出方法、およびプログラム
US8345949B2 (en) * 2010-03-09 2013-01-01 General Electric Company Sequential approach for automatic defect recognition
CN102590330A (zh) * 2011-12-29 2012-07-18 南京理工大学常熟研究院有限公司 基于图像处理的磁粉探伤缺陷智能识别检测系统
CN109461148A (zh) * 2018-10-30 2019-03-12 兰州交通大学 基于二维Otsu的钢轨缺陷分割自适应快速算法
CN111412864B (zh) * 2020-02-26 2021-12-07 长安大学 一种基于磨痕灰度相似性的磨痕角自动检测方法
CN114803776A (zh) * 2022-06-07 2022-07-29 江苏省特种设备安全监督检验研究院 一种基于机器视觉的电梯钢丝绳安全检测的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05340888A (ja) * 1992-06-04 1993-12-24 Matsushita Electric Ind Co Ltd 欠陥検出方法
WO2017141611A1 (ja) * 2016-02-19 2017-08-24 株式会社Ｓｃｒｅｅｎホールディングス 欠陥検出装置、欠陥検出方法およびプログラム
CN115018853A (zh) * 2022-08-10 2022-09-06 南通市立新机械制造有限公司 基于图像处理的机械组件缺陷检测方法

Also Published As

Publication number Publication date
CN116071363A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN116071363B (zh) 一种自动化型钢智能生产监测系统
CN115311292B (zh) 基于图像处理的带钢表面缺陷检测方法及系统
CN115082467B (zh) 基于计算机视觉的建材焊接表面缺陷检测方法
CN116030061B (zh) 一种基于视觉的硅胶成型效果检测方法
CN104794491B (zh) 基于预分类的模糊聚类钢板表面缺陷检测方法
CN116934740B (zh) 基于图像处理的塑料模具表面缺陷分析检测方法
CN116309537A (zh) 一种极耳模具表面油污的缺陷检测方法
CN115294159B (zh) 金属紧固件腐蚀区域分割方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN116030060B (zh) 一种塑料颗粒质量检测方法
CN116337879B (zh) 一种电缆绝缘表皮磨损缺陷快速检测方法
CN116137036B (zh) 基于机器学习的基因检测数据智能处理系统
CN116645367A (zh) 一种高端制造用的钢板切割质量检测方法
CN118037722B (zh) 一种铜管生产缺陷检测方法及系统
CN115131354A (zh) 一种基于光学手段的实验室用塑料薄膜缺陷检测方法
CN115908362A (zh) 一种滑板轮的耐磨性检测方法
CN115311286A (zh) 一种染色纺织品的染色缺陷识别方法
CN118071753A (zh) 一种注塑模具表面缺陷视觉检测方法
CN115018835A (zh) 一种汽车起动机齿轮检测方法
CN118470015A (zh) 一种钛合金棒生产质量视觉检测方法及系统
CN116486091A (zh) 基于人工智能的风机叶片缺陷区域快速分割方法及系统
CN117689637B (zh) 一种新能源电池五金件加工质量视觉检测方法
CN117372435B (zh) 基于图像特征的连接器针脚检测方法
CN116432052B (zh) 一种新能源汽车模具用夹具质量检测方法
CN115861318B (zh) 一种棉花加工生产质量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant