CN114897789A - 一种基于图像分割的烧结矿粒度检测方法及系统 - Google Patents

一种基于图像分割的烧结矿粒度检测方法及系统 Download PDF

Info

Publication number
CN114897789A
CN114897789A CN202210394557.2A CN202210394557A CN114897789A CN 114897789 A CN114897789 A CN 114897789A CN 202210394557 A CN202210394557 A CN 202210394557A CN 114897789 A CN114897789 A CN 114897789A
Authority
CN
China
Prior art keywords
image
sinter
sintered ore
segmentation
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210394557.2A
Other languages
English (en)
Other versions
CN114897789B (zh
Inventor
张学锋
周思雨
储岳中
汤亚玲
申元霞
汪康
祝忠阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN202210394557.2A priority Critical patent/CN114897789B/zh
Publication of CN114897789A publication Critical patent/CN114897789A/zh
Application granted granted Critical
Publication of CN114897789B publication Critical patent/CN114897789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分割的烧结矿粒度检测方法及系统，属于图像处理技术领域，包括以下步骤：通过图像采集装置采集烧结矿的图像；2)对烧结矿图像进行预处理；3)利用传统图像分割算法分割烧结矿图像；4)利用传统分割得到的分割图像作为部分标签数据，通过改进的UNet网络对烧结矿图像进行语义分割；5)对得到的分割图像进行烧结矿粒度检测。本发明以图像分割技术为根本，结合传统的图像分割算法和运用卷积神经网络的语义分割算法，更加准确的对烧结矿图像进行分割，使烧结矿粒度检测的准确率得到提升。

Description

一种基于图像分割的烧结矿粒度检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像分割的烧结矿粒度检测方法及系统。
背景技术
由于烧结矿的粒级分布是烧结矿生产工艺中一项重要指标，因此，需要对烧结矿的粒度进行检测，根据检测结果调整相应的工艺参数。传统粒度检测方法是进行人工筛分，当检测烧结矿粒块数量较多时，往往需要耗费大量的人力和时间，而且检测结果受主观因素影响较大；即使是同样的检测方案，相同的样本，也会有一定的差异。现代工业不但要求对于粒度的大小、面积、周长和体积等参数的检测具有准确性，而且要求要有实时性，能够及时更新反馈，但是传统的人工筛选检测方法已经无法满足需求。随着科技的发展与进步，计算机的处理能力和摄影器件的分辨率有了很大的提高，图像处理技术得到了充分的发展。通过图像处理检测矿石粒度的技术也得到了应用，这种检测技术具有检测快速、结果稳定、准确高等优点。因此，可以将图像处理技术应用到烧结矿粒度的检测与分析上，实时地对烧结矿进行粒度分布的检测并自动进行数据统计。通过在传送带上方安装图像采集装置，采集现场烧结矿图像，然后进行图像处理、图像分割，统计不同烧结矿粒级所占的比例并输出结果，最终得到烧结矿粒度的分布。这样客观的对矿石粒度进行分析统计，即使大量重复的检测，依然可以得到准确的结果。
经检索，已经有采用图像处理技术进行矿石粒度检测的应用，申请号为CN202011277872.4、发明名称为一种基于图像识别技术的矿石粒度在线检测方法的中国发明专利申请，该申请通过利用形态学梯度化和分水岭算法对图像进行分割有效地确定矿石图像的边界信息，进而可以得到误差较小的矿石粒块的分割。又如申请号为CN202011422339.2、发明名称为一种基于图像和深度神经网络的矿石粒度分级方法及系统的中国发明专利申请，该申请首先对采集到的矿石图像进行预处理、增强图像和降低噪声操作，通过UNet网络模型进行训练，再进行矿石粒度统计计算。但是该申请案中利用的是经典的UNet网络模型，且采用手工标注矿石图像，造成矿石分割不准确和人力的浪费。此外，目前市面上出现了很多矿石粒度在线检测系统，虽然能够实时在线检测显示矿石粒度，但是粒度检测的准确度不高，所以需要改进相关算法。为此，提出一种基于图像分割的烧结矿粒度检测方法及系统。
发明内容
本发明所要解决的技术问题在于：如何解决传统烧结矿粒度检测方法需要改变阈值、对图像中的噪声敏感、烧结矿粒度检测误差较大等问题，提供了一种基于图像分割的烧结矿粒度检测方法，通过使用改进的Unet网络对烧结矿图像进行语义分割，进而提高烧结矿粒度的准确率；在整个过程中，采用传统图像分割的烧结矿轮廓图像作为标签，降低了人工标注带来的误差，获得更准确的轮廓特征信息；采用分水岭算法思想，对轮廓图像进行距离变换和归一化操作将烧结矿轮廓粘连部分分开，可以更准确地检测出烧结矿的粒度，避免粘连造成的误差。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
步骤A、利用CCD工业相机采集传送带上方的烧结矿图像；
步骤B、对采集到的烧结矿图像进行预处理，通过对图像进行像素相加处理，增加烧结矿的像素特征，利用双边滤波算法，滤除噪声并保留了烧结矿颗粒的边缘信息，通过锐化处理，将烧结矿边缘轮廓突出，再设置条件，调整像素的对比度和亮度，再进行灰度化处理，后进行二值化处理；
步骤C、将部分预处理过的烧结矿图像作为数据样本集，利用传统的图像分割对其进行处理，得到烧结矿粒块轮廓图像，通过利用canny检测算法将烧结矿图像进行分割，利用findContours()函数进行轮廓统计，设置条件丢弃小面积的轮廓，重新绘制烧结矿轮廓图像，并制作成数据标签集；
步骤D、通过搭建改进的UNet网络模型，对数据样本集和标签集进行训练并保存训练模型，利用部分预处理过的图像进行预测并得出对应的烧结矿粒块轮廓图像；
步骤E、利用形态学操作对预测得到的烧结矿轮廓图像分割烧结矿粒块轮廓，然后使用findContours算法检测出每个图像中的烧结矿轮廓的个数和面积。
更进一步地，所述步骤A中，由于在传送带上烧结矿颗粒相互重叠，采集出来的图像不易检测烧结矿粒度，但在传送带末端烧结矿颗粒会因为降落分散开且前景背景容易区分，所以应在传送带末端使用CCD相机采集烧结矿颗粒降落流图像。由于速度和光照原因，导致获取的图像昏暗模糊，通过加入灯光照射，再进行烧结矿图像的获取。
更进一步地，将预处理后的图像放入一个文件夹中，用循环语句实时读取图像，用正则表达式拼接出图像的全名，可以实时进行批处理。
更进一步地，所述的步骤C中，主要用到的算法有：
算法a、利用边缘检测算法(canny)将图像中的烧结矿进行分割，基于边缘检测的图像分割算法是通过检测包含不同区域的边缘来解决分割问题，虽然进行了预处理，仍会将烧结矿图像中的部分噪声进行了烧结矿的分割，造成了过分割现象。
算法b、利用分水岭算法对预处理过的烧结矿图像进行分割，分水岭分割方法是一种基于拓扑理论的数学形态学的分割方法，虽然它可以分割出更加完整的烧结矿，但是也会造成过分割的情况，使图像分割出烧结矿造成很大的误差。
更进一步地，所述步骤D中，在搭建UNet网络的时候加入注意力机制，可以获得更多的烧结矿轮廓信息，避免噪声的干扰。注意力机制模块为通道注意力模块和空间注意力模块。通道注意力模块原理是：输入是一个H×W×C的特征F，我们先分别进行一个空间的全局平均池化和最大池化得到两个1×1×C的通道描述。然后，再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数。最后，拿权重系数和原来的特征F相乘即可得到缩放后的新特征。空间注意力模块原理是：给定一个H×W×C的特征F，我们分别对一个通道维度的平均池化和最大池化得到两个H×W×1的通道描述，并将这两个描述按照通道拼接在一起。再经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数。最后，拿权重系数和特征F相乘即可得到缩放后的新特征。
更进一步地，所述步骤E中，将得到二值化的烧结矿图像利用距离变换，找出图像中烧结矿粒块的亮点，再利用形态学操作中的开运算，将烧结矿轮廓进行填充，这样可以将粘连在一起的烧结矿粒块分割，使烧结矿个数检测更加准确，然后在将烧结矿进行膨胀，使烧结矿的面积像素点增加到之前所有的像素点。
更进一步地，对矿石颗粒进行粒度检测最终要获得矿石颗粒实际的数据，然而通过计算机获取的矿石图像只能从主观上表达粒度信息，不能获取实际的粒度数据来进行比对，如我们通过计算获得的矿石颗粒的像素面积并不能够表示矿石真实面积大小。可以通过测量像素点与实际尺寸之间的数量关系，求得单个像素的大小，最终可以获得颗粒的面积大小。在保证相机的物距和焦距不变情况下，对烧结矿颗粒进行拍摄采集数据。通过标尺测量烧结矿最大粒径，得到烧结矿的实际尺寸大小，再根据findContours()函数统计出的烧结矿粒径的最大像素值，能够计算出像素大小与实际尺寸存在着数量关系。
本发明相比现有技术具有以下优点：
(1)、通过图像分割对烧结矿图像进行实时的粒度检测，避免了手工筛选检测烧结矿粒度的困难；整个过程都是在线实时处理烧结矿图像，并更新烧结矿粒度信息；传送带末端烧结矿粒块会因为降落分散开且前景背景容易区分，所以应在传送带末端使用CCD相机采集烧结矿粒块降落流图像；由于速度和光照原因，导致获取的图像昏暗模糊，通过加入灯光照射，再进行烧结矿图像的获取。
(2)通过对图像进行像素相加处理，增加烧结矿的像素特征，利用双边滤波算法，滤除噪声并保留了烧结矿粒块的边缘信息，通过锐化处理，将烧结矿边缘轮廓突出，再设置条件，调整像素的对比度和亮度，进行灰度化处理，然后进行二值化处理。
(3)采用边缘检测方法分割出烧结矿的轮廓，但是边缘检测会对噪声进行分割，将部分背景进行轮廓分割，所以要将较小轮廓进行删除；通过使用findContours()函数查找轮廓，通过设置条件将较小面积轮廓丢弃，并重新绘制轮廓图像，并将其作为标签图像；这样降低了人工标记标签的人力成本，并且降低了人工标记带来的误差。
(4)抛弃了传统的图像分割算法，采用了取得很大优势的语义分割对烧结矿图像进行处理，通过搭建UNet网络进行网络训练，分割烧结矿图像，提高了分割的准确率，并且通过在UNet网络中加入Attention Model，使网络在训练过程重点关注烧结矿的特征，获得更多烧结矿特征，使分割出的烧结矿轮廓更加准确。
(5)通过处理预测出来的烧结矿轮廓图像，利用距离变换，找出图像中烧结矿粒块的亮点，再利用形态学操作中的开运算，将烧结矿轮廓进行填充，这样可以将粘连在一起的烧结矿粒块分割，使烧结矿粒块个数检测更加准确，然后再将烧结矿进行膨胀，使烧结矿的面积像素点增加到之前所有的像素点；然后经过findContours()函数检测烧结矿轮廓，提高了粒度检测的准确率；
(6)获取烧结矿的粒径参数后，将其转为实际尺寸，然后存入数据库；将得到的数据以折线图方式展示在用户界面上，实时显示烧结矿粒度信息，在烧结矿生产过程中，现场工作人员通过在用户界面上观察生产的烧结矿粒级分布，以便及时作出相应的调整。
附图说明
图1是本发明实施例中基于图像分割的烧结矿粒度检测方法的流程图；
图2是本发明实施例中烧结矿图像预处理的流程图；
图3是本发明实施例中UNet网络的结构图；
图4是本发明实施例中加入注意力机制的模块(Block)图；
图5是本发明实施例中改进的UNet网络的结构图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
由于烧结矿的粒级分布是烧结矿生产工艺中一项重要指标，在烧结矿生产过程需要对烧结矿粒度进行检测。传统粒度检测方法是进行人工筛分，当检测烧结矿粒块数量较多时，往往需要耗费大量的人力和时间，而且检测结果受主观因素影响较大。现代工业不但要求对于粒度的大小、面积、周长和体积等参数的准确性，而且要求要有实时性，能够及时更新并反馈，所以出现了利用图像处理技术在线检测烧结矿粒度的系统。由于受到现场的光线、灰尘等因素干扰，采集到的烧结矿图像存在很多干扰，使用传统的图像分割对烧结矿图像进行检测时，会对图像中的噪声敏感，导致粒度检测的准确率较低。如图1-5所示，本实施例通过改进图像处理的算法，提供了一种基于图像分割的烧结矿粒度检测方法，其过程为：
步骤A：利用CCD工业相机采集传送带上方的烧结矿图像，由于在传送带上烧结矿粒块相互重叠，采集出来的图像不易检测烧结矿粒度，但在传送带末端烧结矿粒块会因为降落分散开且前景背景容易区分，所以在传送带末端使用CCD相机采集烧结矿粒块的降落流图像；由于速度和光照原因，导致获取的图像昏暗模糊，通过加入灯光照射，再进行烧结矿图像的获取；
步骤B：对采集到的烧结矿图像进行预处理，通过对图像进行像素相加处理，增加烧结矿的像素特征，利用双边滤波算法，滤除噪声并保留了烧结矿粒块的边缘信息，通过锐化处理，将烧结矿边缘轮廓突出，再通过对像素三通道增加增益(a)和偏置参数(b)，调整像素的对比度和亮度，再进行灰度化处理，然后进行二值化处理；其对比度和亮度的公式为：
g(x,y)＝a*f(x,y)+b
其中，g(),f()为整体像素值；
步骤C：将部分预处理过的烧结矿图像作为数据样本集，利用传统的图像分割对其进行处理，得到烧结矿粒块轮廓图像，通过canny检测算法将烧结矿图像进行分割，利用findContours()函数进行轮廓查找，将像素值小于30的面积进行舍弃，重新绘制烧结矿轮廓图像，并制作成数据标签集。其中Canny算子具有滤波去噪，图像增强和边缘检测的作用。Canny边缘检测算子是将二维高斯函数的任意方向上的一阶导数来对图像进行平滑去噪，然后再与原图计算卷积进行滤波去噪，最后计算滤波后图像梯度的局部极大值，来得到图像中目标的边缘，原理利用导数算子计算出灰度图像的在两个方向上的偏导数(Gx，Gy)以及梯度的幅值和方向：
Figure BDA0003596880030000051
Figure BDA0003596880030000052
步骤D：通过搭建改进的UNet网络模型，对数据样本集和标签集进行训练并保存模型参数，利用部分预处理过的烧结矿图像进行预测并得出对应的烧结矿粒块轮廓图像，其中UNet网络由编码器和解码器两个部分组成。编码器部分是通过Conv3×3卷积、Relu激活函数和2×2最大池化对输入图片进行降维和特征提取。解码器通过对特征图进行2×2转置卷积以及1×1卷积，使特征图片尺寸增加，维度增加，加强了烧结矿轮廓特征的细节提取。
解码器与编码器之间通过跳跃连接进行特征图融合，使得不同层的烧结矿轮廓特征融合连接到解码相对应层中，其中浅层特征用来分割烧结矿，深层特征用来定位烧结矿的位置，二者的有效结合分割出烧结矿的特征，因此UNet网络适用于分割烧结矿图像。通过增加注意力机制模块，通道注意力模块和空间注意力模块，使网络训练过程中对烧结矿图像中的烧结矿特征施加更大的注意力权重，获取更多的烧结特征信息；
其中，通道注意力模块原理是：输入是一个H×W×C的特征F，先分别进行一个空间的全局平均池化和最大池化得到两个1×1×C的通道描述；然后，再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数；最后，拿权重系数和原来的特征F相乘即可得到缩放后的新特征。空间注意力模块原理是：给定一个H×W×C的特征F，分别对一个通道维度的平均池化和最大池化得到两个H×W×1的通道描述，并将这两个描述按照通道拼接在一起；再经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数；最后，拿权重系数和特征F相乘即可得到缩放后的新特征。
步骤E：将得到的二值化图像利用距离变换，找出图像中烧结矿粒块的亮点，将图像中粘连的烧结矿粒块轮廓分割开，利用形态学操作中的开运算，将烧结矿粒块轮廓进行膨胀填充，然后利用findContours()函数统计每个图像中的烧结矿粒块轮廓的个数和面积。
其原理是：将原始二值化图像A＝[aij]的前景区域中像素点灰度值的集合表示为M＝{(x，y)|axy＝255}，最近非零像素点的集合表示为N＝{(x，y)|axy＝0}，D[dij]是距离变换后的新生的灰度图像，则有：
dij＝min(x，y∈N)D[(i，j)，(x，y)]
其中，D[(i，j)，(x，y)]为像素点间的距离；然后使用距离变换，使用3x3的模板，其中，图像中的像素点为x，模板为T，通过对领域Nx中的所有像素点灰度值yi和T中对应的灰度值ti进行求和，可表示为：
f(x)＝min(f(yi+ti))，x∈X，yi∈Nx，ti∈T
更进一步的，为了便于现场工作人员更加直观的查看检测结果，还包括：
对矿石粒块进行粒度检测最终要获得矿石粒块实际的数据，然而通过计算机获取的矿石图像只能从主观上表达粒度信息，不能获取实际的粒度数据来进行比对，通过计算获得的矿石粒块的像素面积并不能够表示矿石真实面积大小。可以通过测量像素点与实际尺寸之间的数量关系，求得单个像素的大小，最终可以获得粒块的面积大小。在保证相机的物距和焦距不变情况下，对烧结矿粒块进行拍摄采集数据。通过标尺测量烧结矿最大粒径，得到烧结矿的实际尺寸大小，再根据findContours()函数统计出的烧结矿粒径的最大像素值，能够计算出像素大小与实际尺寸存在的数量关系。
利用统计分割完成的图像中每个烧结矿封闭边界中包含像素点的个数，再通过尺寸变换来间接获取粒块的面积大小，再根据面积与粒度之间的近似换算关系来求得粒块的粒度大小。相关换算步骤如下：将矿石图像利用函数f(x，y)来表示，大小为m*n，单个像素的面积为S0，则总目标区域的面积S为：
Figure BDA0003596880030000071
Si＝KiS0
式中：S0代表单个像素的面积大小；Ki表示第i封闭区域内存在的像素个数。
根据以上两个公式，可以用像素点的个数来表达每个封闭区域的面积，再根据像素与实际尺寸之间的转换关系，能够求得粒块的粒径近似值。
步骤F：获取烧结矿的粒径参数后，存入数据库；将得到的数据以折线图方式展示在用户界面上，实时显示烧结矿粒度信息，在烧结矿生产过程中，现场工作人员通过在用户界面上观察生产的烧结矿粒级分布，以便及时做出相应的调整。
综上所述，上述实施例的基于图像分割的烧结矿粒度检测方法，通过使用改进的Unet网络对烧结矿图像进行语义分割，进而提高烧结矿粒度的准确率；在整个过程中，采用传统图像分割的烧结矿轮廓图像作为标签，降低了人工标注带来的误差，获得更准确的轮廓特征信息；采用分水岭算法思想，对轮廓图像进行距离变换和归一化操作将烧结矿轮廓粘连部分分开，可以更准确地检测出烧结矿的粒度，避免粘连造成的误差，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于图像分割的烧结矿粒度检测方法，其特征在于，包括以下步骤：
S1：图像采集
利用图像采集设备采集烧结矿图像；
S2：图像预处理
对采集到的烧结矿图像进行预处理；
S3：传统图像分割
将部分预处理过的烧结矿图像作为数据样本集，利用传统图像分割方式对其进行处理，得到烧结矿粒块轮廓图像；
S4：模型训练
将步骤S3中的所述烧结矿图像作为数据样本集，处理后得到的烧结矿粒块轮廓图像作数据标签集，搭建基于改进的UNet网络，进行训练并保存模型参数；
S5：图像预测
利用步骤S2中部分预处理过的烧结矿图像输入步骤S4中经过训练后的模型进行预测，得出对应的烧结矿粒块轮廓图像；
S6：粒度检测
将预测得到的烧结矿粒块轮廓图像利用距离变换，找出图像中每个烧结矿轮廓的亮点，再利用形态学操作中的开运算，将烧结矿轮廓进行膨胀填充，使烧结矿轮廓的面积像素点增加，再检测出每个图像中的烧结矿轮廓的个数和面积。
2.根据权利要求1所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S1中，图像采集设备为CCD工业相机，所述CCD工业相机设置在传送带末端，采集烧结矿粒块的降落流图像。
3.根据权利要求2所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S1中，在CCD工业相机进行采集时增加照明设备，提高采集到的烧结矿图像的亮度。
4.根据权利要求2所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S2中，烧结矿图像的预处理的过程包括以下步骤：
S21：对图像进行像素相加处理，增加烧结矿的像素特征；
S22：利用双边滤波算法，滤除噪声并保留烧结矿粒块的边缘信息；
S23：通过锐化处理，将烧结矿粒块边缘轮廓突出；
S24：设置条件调整像素的对比度和亮度；
S25：进行灰度化处理后并进行二值化处理。
5.根据权利要求4所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S3中，利用传统图像分割方式对数据样本集进行处理的过程包括以下步骤：
S31：对预处理过的部分烧结矿图像进行边缘检测处理，然后保存边缘检测出的轮廓图像，和原图大小一致；
S32：对轮廓图像利用OpenCV的findContours算法进行轮廓查找，将像素值小于30的面积轮廓进行舍弃，然后重新绘制图像；
S33：将预处理后的烧结矿图像与对应的轮廓图像进行整理，制作成数据集。
6.根据权利要求5所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S33中，数据集为样本集100张以及对应的标签集100张和测试集100张。
7.根据权利要求6所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S4中，基于改进的UNet网络即在基础UNet网络中增加注意力机制模块，注意力机制模块分为通道注意力模块、空间注意力模块。
8.根据权利要求7所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：所述基础UNet网络包括编码器和解码器，其中，编码器是通过Conv3×3卷积、Relu激活函数和2×2最大池化对输入图片进行降维和特征提取；解码器是通过对特征图进行2×2转置卷积以及1×1卷积，使特征图片尺寸增加，维度增加；解码器与编码器之间通过跳跃连接进行特征图融合，使不同层的烧结矿轮廓特征融合连接到解码相对应层中。
9.根据权利要求8所述的一种基于图像分割的烧结矿粒度检测方法，其特征在于：在所述步骤S6中，形态学操作即使用开运算进行操作，开运算是对图像先进行腐蚀然后膨胀，开运算的定义为：
Figure FDA0003596880020000022
其中，X代表原图，Y代表结构元，⊙是腐蚀操作，
Figure FDA0003596880020000021
是膨胀操作。
10.一种基于图像分割的烧结矿粒度检测系统，采用如权利要求1～9任一项所述的检测方法对烧结矿图像中的粒度进行检测，包括：
采集模块，用于利用图像采集设备采集烧结矿图像；
预处理模块，用于对采集到的烧结矿图像进行预处理；
分割模块，用于将部分预处理过的烧结矿图像作为数据样本集，利用传统图像分割方式对其进行处理，得到烧结矿粒块轮廓图像；
模型训练模块，用于将部分烧结矿图像作为数据样本集，处理后得到的烧结矿粒块轮廓图像作数据标签集，搭建基于改进的UNet网络，进行训练并保存模型；
预测模块，用于将部分预处理过的烧结矿图像输入步骤S4中经过训练后的模型进行预测，得出对应的烧结矿粒块轮廓图像；
粒度检测模块，用于将预测得到的烧结矿粒块轮廓图像利用距离变换，找出图像中烧结矿粒块的亮点，再利用形态学操作中的开运算，将烧结矿轮廓进行填充，然后再对烧结矿进行膨胀，使烧结矿的面积像素点增加到之前所有的像素点，检测出每个图像中的烧结矿轮廓的个数和面积；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述采集模块、预处理模块、分割模块、模型训练模块、预测模块、粒度检测模块均与中央处理模块通信连接。
CN202210394557.2A 2022-04-14 2022-04-14 一种基于图像分割的烧结矿粒度检测方法及系统 Active CN114897789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210394557.2A CN114897789B (zh) 2022-04-14 2022-04-14 一种基于图像分割的烧结矿粒度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210394557.2A CN114897789B (zh) 2022-04-14 2022-04-14 一种基于图像分割的烧结矿粒度检测方法及系统

Publications (2)

Publication Number Publication Date
CN114897789A true CN114897789A (zh) 2022-08-12
CN114897789B CN114897789B (zh) 2024-06-11

Family

ID=82717100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210394557.2A Active CN114897789B (zh) 2022-04-14 2022-04-14 一种基于图像分割的烧结矿粒度检测方法及系统

Country Status (1)

Country Link
CN (1) CN114897789B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置
CN115436238A (zh) * 2022-09-22 2022-12-06 中冶南方工程技术有限公司 一种高炉原燃料颗粒度在线检测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284609A1 (en) * 2008-02-05 2010-11-11 CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC Apparatus and method for measuring size distribution of granular matter
CN109785378A (zh) * 2018-03-21 2019-05-21 威海晶合数字矿山技术有限公司 一种基于图谱图像算法分析技术的矿石粒度在线检测设备
CN111047555A (zh) * 2019-11-13 2020-04-21 鞍钢集团矿业有限公司 基于图像处理技术的矿石图像粒度检测算法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN113034573A (zh) * 2021-04-01 2021-06-25 大连锐视达科技有限公司 一种球团粒径检测方法及系统
CN113240663A (zh) * 2021-05-31 2021-08-10 西安建筑科技大学 一种基于边缘响应融合算法的传送带矿石粒度检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284609A1 (en) * 2008-02-05 2010-11-11 CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC Apparatus and method for measuring size distribution of granular matter
CN109785378A (zh) * 2018-03-21 2019-05-21 威海晶合数字矿山技术有限公司 一种基于图谱图像算法分析技术的矿石粒度在线检测设备
CN111047555A (zh) * 2019-11-13 2020-04-21 鞍钢集团矿业有限公司 基于图像处理技术的矿石图像粒度检测算法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN113034573A (zh) * 2021-04-01 2021-06-25 大连锐视达科技有限公司 一种球团粒径检测方法及系统
CN113240663A (zh) * 2021-05-31 2021-08-10 西安建筑科技大学 一种基于边缘响应融合算法的传送带矿石粒度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张力新;张黎明;杜培培;余辉;: "基于改进水平集的菌落图像智能计数算法", 天津大学学报(自然科学与工程技术版), no. 01, 25 December 2018 (2018-12-25) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置
CN115436238A (zh) * 2022-09-22 2022-12-06 中冶南方工程技术有限公司 一种高炉原燃料颗粒度在线检测方法和系统
CN115436238B (zh) * 2022-09-22 2023-11-21 中冶南方工程技术有限公司 一种高炉原燃料颗粒度在线检测方法和系统

Also Published As

Publication number Publication date
CN114897789B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Stuckner et al. AQUAMI: An open source Python package and GUI for the automatic quantitative analysis of morphologically complex multiphase materials
CN114897789B (zh) 一种基于图像分割的烧结矿粒度检测方法及系统
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
Zhou et al. Seed-based approach for automated crack detection from pavement images
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN113324864A (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN112785560A (zh) 一种基于人工智能的气密性检测水体更新方法及系统
CN111242108A (zh) 基于目标检测的皮带转载点堵煤识别方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN115184359A (zh) 一种自动调参的表面缺陷检测系统与方法
CN111027370A (zh) 一种多目标跟踪及行为分析检测方法
CN115631472B (zh) 一种高速公路行人闯入智能检测方法
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN114417993A (zh) 一种基于深度卷积神经网络和图像分割的划痕检测方法
CN107516315B (zh) 一种基于机器视觉的掘进机出渣监测方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Ashourian et al. Real time implementation of a license plate location recognition system based on adaptive morphology
CN101839980A (zh) 一种基于分割窗的无监督遥感图像变化检测方法
CN111476314B (zh) 一种融合光流算法与深度学习的模糊视频检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant