CN110796046A - 基于卷积神经网络的智能钢渣检测方法和系统 - Google Patents

基于卷积神经网络的智能钢渣检测方法和系统 Download PDF

Info

Publication number
CN110796046A
CN110796046A CN201910990000.3A CN201910990000A CN110796046A CN 110796046 A CN110796046 A CN 110796046A CN 201910990000 A CN201910990000 A CN 201910990000A CN 110796046 A CN110796046 A CN 110796046A
Authority
CN
China
Prior art keywords
steel slag
image
steel
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910990000.3A
Other languages
English (en)
Other versions
CN110796046B (zh
Inventor
熊凌
严晨曦
吴怀宇
陈洋
彭飞
黄禹康
张振洲
但斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910990000.3A priority Critical patent/CN110796046B/zh
Publication of CN110796046A publication Critical patent/CN110796046A/zh
Priority to AU2020102091A priority patent/AU2020102091A4/en
Application granted granted Critical
Publication of CN110796046B publication Critical patent/CN110796046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明公开了一种基于卷积神经神经网络的智能钢渣检测方法和系统，包括钢渣图像识别、钢流目标检测、彩色钢渣图像分割步骤：以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而准确检测出钢流夹渣情况；基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。利用可视化用户界面系统，进行钢渣可视化检测。本发明简便易行成本低，能够将钢渣和钢水进行区分，避免误检，提高钢渣图像的实时识别精度，提高钢水的纯净度。

Description

基于卷积神经网络的智能钢渣检测方法和系统
技术领域
本发明属于钢渣检测技术领域，具体涉及一种基于卷积神经网络的智能钢渣检测方法和系统。
背景技术
要产生高质量、高附加值的钢铁，严格控制钢渣进入下一道工序是必不可少的，如铁水脱硫扒渣和转炉炼钢是炼钢过程中不可或缺的工艺环节。铁水脱硫扒渣是铁水预处理工艺。脱硫过程需加入脱硫剂，脱硫后会在铁水表面漂浮一层残渣，在铁水入炉前，需要用扒渣机将料渣扒出。铁水脱硫决定了处理终点铁水含硫的水平，而扒渣是将脱硫处理后的高硫渣从铁水中去除的重要手段，是决定入炉硫总量的主要因素。为了满足转炉对高质量铁水的需求、缩短冶炼时间以及有效去除钢渣，因此在转炉炼钢之前检测出铁水中的钢渣是十分必要的。因此，在铁水脱硫扒渣以及转炉炼钢工艺环节中，检测出钢水中的钢渣也具有重要意义。
目前国内外钢渣检测的方法很多，如人眼观测法、称重检测法、电磁检测法、超声波检测法、红外检测法。而在这些方面应用中都或多或少的存在一些不足。人眼观测法具有较大的主观性，需要操作工人具有丰富的操作经验；称重检测法主要以多次浇注的钢水质量的平均值作为参考值来选择是否关闭水口，参考值将直接影响检测结果，设置过高导致钢流含渣超标，设置过低导致资源浪费；电磁检测方法要在出钢口附近安装特质线圈，由于出钢口温度高，导致该线圈使用寿命短，因此改造和维护费用很高；超声波检测方法使用的探头工作环境温度高达1500℃左右，改造费用以及恶劣的环境对设备维护费用提出较高的要求；红外检测法在检测中钢流不能被遮挡，为了避免钢流的遮挡情况发生，必须除去长水口，而这样就会引起钢水的二次氧化；由于炼钢现场的环境恶劣，存在多种外界振动干扰信号，其检测的准确率容易受到影响。
此外，视觉检测在钢渣检测的应用，如红外检测方法，目前在图像处理阶段一般是用分割方法进行，也只能把钢渣和钢水一起检测出来，并没有达到最终目的，因而对钢渣检测的效果并不理想。
发明内容
本发明要解决的技术问题是提供一种基于卷积神经神经网络的智能钢渣检测方法和系统，简便易行成本低，能够将钢渣和钢水进行区分，避免误检，提高钢渣图像的实时识别精度，提高钢水的纯净度。
为解决上述技术问题，本发明提供如下技术方案：
一种基于卷积神经神经网络的智能钢渣检测方法，其特征在于包括如下顺次执行的步骤：
钢渣图像识别：利用红外探测器和摄像机，获取包含钢流和钢渣亮度信息的钢渣视频帧图像；以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；
钢流目标检测：对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而降低复杂背景对检测目标的影响；
彩色钢渣图像分割：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题，基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。
进一步的，钢渣图像识别步骤中，基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
选取样本图片进行样本数据分类，样本图片中的一大部分作为训练集，剩余的部分作为测试集，将样本图片分为正样本和负样本两类，将正样本命名为“have”，表示钢渣含量多，负样本命名为“no”，表示钢渣含量少；
搭建tensorflow和keras深度学习框架，利用这两个框架来创建改进的AlexNet卷积神经网络模型；
进行图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；导入Python中的os、numpy、matplotlib库；
定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
将所有的训练集图片和测试集图片转换为numpy数组；
将训练集数据和测试集数据存储到h5文件；
导入数据集，对数据集进行测试并将部分数据集可视化；
训练AlexNet网络模型，对AlexNet网络模型进行改进；
利用训练好的AlexNet网络模型得到最优识别精度。
进一步的，钢渣目标检测步骤中，基于YOLOv3卷积神经网络模型的目标检测方法包括如下步骤：首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。
进一步的，彩色钢渣图像分割步骤中，首先，将RGB颜色空间通过变换转到均匀的Lab颜色空间；然后，利用k均值聚类算法对图像进行预处理以实现了钢渣与背景的初步分离；最后，将背景像素点占整幅图像的比例作为权重引入到目标方程式中，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割，将钢渣较为准确的从钢流中分离出来。
进一步的，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割括如下具体步骤：
将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
设置阈值t；
将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
根据最佳阈值进行图像分割，输出分割图像。
进一步的，利用可视化用户界面系统，进行钢渣可视化检测；步骤如下：
新建主窗口；
将ui文件转为py文件；
调用函数文件；
布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
本发明还提供一种基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块和可视化用户界面系统；
所述图像识别模块设置为利用基于改进的AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析由红外探测器和摄像机获取的图像，所述改进的AlexNet卷积神经网络共有：卷积层5个、池化层5个、全连接层2个，使用RELU函数作为CNN的激活函数，训练时使用Dropout随机忽略一部分神经元，在CNN中使用重叠的最大池化；
所述目标检测模块设置为基于YOLOv3卷积神经网络模型，利用基于YOLOv3卷积神经网络模型的目标检测方法对图像识别模块识别出的彩色钢渣图像进行检测，将钢流从复杂的背景中检测出来；
所述图像分割模块设置为利用基于Lab颜色空间的K均值聚类算法对目标检测模块处理后的彩色图像进行预处理，并利用改进的Otsu方法的图像分割算法对彩色钢渣图像进行分割时，将钢渣从钢水中完全分离；
所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
本发明的原理如下：
本发明利用红外探测器和摄像机采集钢渣视频图像，由于钢水和钢渣在颜色上有明显的差异，所以采集得到视频帧图像中的钢流和钢渣亮度不同。以彩色钢渣图像为对象，经过计算机图像处理，首先识别出彩色钢渣图像，然后对钢流进行检测，最后将钢流中的钢渣分割出来，从而准确检测出钢流夹渣情况。钢渣图像识别：充分发挥当前摄像机的图像采集能力和计算机的计算能力，采用基于改进的AlexNet网络的图像识别方法识别出钢渣图像，改进过后的AlexNet网络提高了钢渣图像的识别精度。钢渣目标检测：通过基于YOLOv3的目标检测方法，将钢流从复杂的背景中检测出来，代替现场工人完成钢渣检测工作，使钢渣检测不再依赖于人眼观察，不仅保护了操作人员的视力，而且使检测结果不存在较大的主观性。钢渣图像分割：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题。
本发明相比现有技术，创造性地将基于深度学习的目标检测方法应用于钢渣检测领域，建立卷积神经网络模型，把目标初步识别和框选出来，这种处理方法能识别和检测出渣面(钢渣漂浮在钢水表面或者夹杂在钢流中)，然后利用检测得到的位置信息截取出目标区域，去除背景干扰对检测目标的影响，最后通过改进的阈值分割方法将钢渣从钢水中分割出来以改善分割效果。
其优点和积极效果主要体现在以下几个方面：
1)钢流识别功能。基于改进的AlexNet卷积祌经网络的识别方法避免了繁杂的显示特征提取，将图像的特征分析并入神经网络之中，通过调节神经网络的权值和偏置，实现图像特征的有效区分。
2)钢流检测功能。用YOLOv3检测算法对标记过后的图片进行检测，YOLOv3检测算法使用逻辑回归替代softmax回归，利用多尺度特征对目标进行检测，设定3种先验框，总共聚类出9种尺寸的先验框，给每个特征图分配3个先验框。YOLOv3借鉴了残差网络的思想，使用Darknet-53网络，增加跳远连接，利用跳远连接训练更深层的网络，使检测精度更高，算法速度更快。
3)钢渣分割功能。由于彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣，要想得到理想的分割效果，单独使用基于彩色空间聚类的分割方法是无法实现的。所以需要在Lab颜色空间利用K-means聚类算法对彩色钢渣图像进行预处理，对预处理后的图像用改进的Otsu方法进行阈值分割，从而实现钢渣图像的有效分割。
附图说明
图1本发明基于卷积神经神经网络的智能钢渣检测方法的流程图；
图2本发明实施例基于卷积神经神经网络的智能钢渣检测系统总体结构图；
图3本发明实施例部分数据集可视化图；
图4本发明实施例的AlexNet网络模型结构图；
图5本发明实施例的YOLOv3网络模型结构图；
图6本发明实施例的YOLOv3检测算法的检测效果图；
图7本发明实施例的目标所在区域图；
图8本发明实施例的K-meaans算法预处理效果图；
图9本发明实施例的K-meaans算法流程图；
图10本发明实施例的改进Otsu算法流程图；
图11本发明实施例的改进Otsu算法分割效果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
图1-2为本发明实施例基于卷积神经网络的智能钢渣检测系统总体结构图；本实施例是利用红外探测器和摄像机(如图2的红外摄像头)采集钢渣视频图像，采用笔记本电脑作为终端控制平台与显示硬件，具有使用灵活方便和容易维护的优势。
本实施例采用的笔记本终端的基本配置如下：
(1)处理器：英特尔酷睿i7-8550M，主频2.60GHz：
(2)内存：8GB，799MHz；
(3)显卡：NVIDA GeForce MX130，显示器：15.6寸；
(4)笔记本操作系统环境：Windows 7：
(5)存储硬盘：500GB，转速5400转/分。
上述基本配置并不限制本发明的保护范围，只要有利用红外探测器和摄像机采集钢渣视频图像，采用笔记本电脑作为终端控制平台与显示硬件均在本发明的保护范围之内。
本发明的基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块；
所述图像识别模块：深度学习在图像识别上实现了重大的突破，研究学者逐步加深网络模型的深度以加强卷积神经网络对高层次特征的提取能力。但是随着网络的加深，在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时梯度爆炸或梯度弥散问题的出现使深度网络变得难以训练。
所以本实施例利用AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析图像特征，在AlexNet卷积神经网络模型的基础上加以改进以识别出钢渣图像，提高识别精度。改进的AlexNet网络共有：卷积层5个，池化层5个，全连接层2个。它成功使用RELU函数作为CNN的激活函数，解决了Sigmoid在网络较深时的梯度弥散现象。训练时使用Dropout随机忽略一部分神经元，以避免过拟合。在CNN中使用重叠的最大池化，提升了特征的丰富性，减少了信息的丢失。
所述目标检测模块：因为YOLOv3网络不仅在识别速度对比其它算法有了巨大的提升，就识别性能方面YOLOv3网络也是效果优越。所以本实施例使用该方法对钢渣图像进行钢流目标检测。
本实施例采用卷积神经网络作为钢渣目标检测模块的模型框架，利用YOLOv3算法检测出钢渣目标。首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。
所述图像分割模块：在对彩色钢渣图像进行分割时，无法通过单一方法将钢渣从钢水中完全分离，当图像中钢渣亮光与目标部分方差差别较小时，运用Otsu法得到的阈值将会偏小，从而使分割阈值过低而导致错分。
本实施例利用基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并提出了一种改进的Otsu方法的图像分割算法。首先，将RGB颜色空间转换为均匀的Lab颜色空间；然后，利用K均值算法将彩色图像中钢渣亮光与钢渣从背景中分离；最后；通过对传统Otsu算法中最优阈值选取公式进行分析，在目标方差加权方法的基础上，利用背景大小在图像中的比例，修改最优阈值选取公式，解决了阈值偏低误将部分钢渣亮光划分到目标的问题，并提高了算法执行速度，降低了分类误差以及改善了分割效果。
K均值聚类算法如下：
设样本集合X＝{xi|xi∈Rd,i＝1,2,…,n}由n个像素点组成，每个样本所代表的像素点xi由表征其特征的b个数据构成。K均值聚类的目的是将n个像素点划分为k类并形成k个聚类中心，其构成的数据集为C＝{ck|k＝1,2,…,k}，其中σk为ck的聚类中心。定义欧氏距离：
Figure BDA0002237947140000081
其中，n个像素点分别被划分到ck类，则所有被划分到ck类的像素点到其所属类别的聚类中心的欧氏距离之和为：
Figure BDA0002237947140000082
将聚类中的每个子类统计一次则得到所有像素点到其所属类别的聚类中心的欧氏距离之和为：
Figure BDA0002237947140000083
其中，
Figure BDA0002237947140000084
改进最大类间方差法如下：
由于图像中钢渣亮光与目标部分方差差别较小，本发明对传统类间方差法进行改进，用改进的最大类间方差法将K均值分割后的图像进行阈值分割。
传统最大类间方差法的基本原理为：设一幅图像为I，图像灰度值的取值范围为[0，L-1]，用N表示像素总数，ni表示灰度级为i(i∈[0,L-1])的像素点数，pi表示所有灰度级为i的像素点出现的概率，则有：
pi＝ni/N (4)
目标区域比例为：
Figure BDA0002237947140000085
背景区域比例为：
Figure BDA0002237947140000086
目标均值为：
Figure BDA0002237947140000087
背景均值为：
类间方差计算公式为：
Figure BDA0002237947140000092
改进后的阈值选取准则公式为：
Figure BDA0002237947140000093
其中ω，ω2分别表示为
Figure BDA0002237947140000094
和
Figure BDA0002237947140000095
两项方差的权重系数。
所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
本发明提供的一种基于卷积神经网络的智能钢渣检测方法如图1所示，包括以下顺次执行的步骤：
步骤1：用红外探测器和摄像机采集钢渣视频图像，获取样钢渣的视频帧本图片，对本图片进行数据增强和预处理；
步骤2：利用基于改进的AlexNet卷积神经网络的图像识别方法对本图片进行识别；
步骤3：利用YOLOv3检测算法检测出钢流；
步骤4：利用YOLOv3检测算法检测出的位置信息截取出目标所在区域；
步骤5：利用K均值聚类算法对图像进行预处理；
步骤6：利用改进的Otsu算法对图像进行分割。
进一步的，步骤1包括以下步骤：
步骤1.1：利用红外探测器和摄像机采集钢渣视频图像；
步骤1.2：驱动图像采集卡捕获视频，接收钢渣视频帧数据；
步骤1.3：处理视频帧，将视频帧转换为样本图片，利用opencv库将出钢视频转换为一帧一帧的图片并保存成扩展名为“.jpg”格式作为实验素材；
步骤1.4：对图片进行数据增强；本实施例通过数据增强的方法获得大量的数据，即利用已有的数据比如翻转、平移或旋转，创造出更多的数据，来使得神经网络具有更好的泛化效果，提升模型的鲁棒性。翻转因子为：2.3，平移因子为：0.4，旋转因子为：2.5：
步骤2：基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
步骤2.1：实验数据分类
采集2000张图片(图3是2000张图片的部分数据可视化图)，其中1400张作为训练集，600张作为测试集。将图片分为正样本和负样本两类。将正样本命名为“have”，表示钢渣含量多。负样本命名为“no”，表示钢渣含量少。图3各图片中亮度最明显的流动带为下渣流程，“have”类钢流亮度较亮，而里面夹杂的钢渣亮度较暗，所以钢渣含量较多。图3中“no”类钢流亮度较亮，而里面夹杂的钢渣亮度与钢流亮度几乎一致，所以钢渣含量较少。
步骤2.2：搭建tensorflow和keras深度学习框架，利用这两个框架来创建模型；
步骤2.3：图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；
步骤2.3.1：导入Python中的os、numpy、matplotlib库；
步骤2.3.2：定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
步骤2.3.3：将所有的训练集图片和测试集图片转换为numpy数组；
步骤2.3.4：将训练集数据和测试集数据存储到h5文件；
步骤2.3.5：导入数据集，对数据集进行测试并将部分数据集可视化；
步骤2.4：训练AlexNet网络模型，对AlexNet网络模型进行改进；
步骤2.5：利用训练好的AlexNet网络模型得到最优识别精度；
图4为本发明的AlexNet网络模型结构图，将AlexNet网络模型中的第一层卷积核尺寸由原来的11×11改为3×3，第二层卷积核尺寸由原来的7×7改为3×3，步长由原来的4改为1，在每个卷积层后加入ReLu激活函数层和Dropout层，Dropout层取值为0.3。由于全连接层会引起参数的剧增，所以在全连接层后再加入一个全连接层，通道数改为2(类别数为2)。
参见表1的模型参数表，和表2的训练精度和测试精度对比表。
表1模型参数表
表2训练精度和测试精度对比表
Figure BDA0002237947140000112
步骤3：利用YOLOv3检测算法检测出钢流；
具体包括以下步骤：
步骤3.1：对图片数据集进行标记；
目标检测中，需要对原始图片数据集做标注，告诉机器需要的目标，然后让机器去学习，用LabelImg软件对图片数据集进行标记，每一个标记好的图片形成一个xml文件，然后将xml文件转为txt文件，为后续检测做准备。
步骤3.2：读取待检测图片数据集，将输入钢渣图像尺寸归一化；
步骤3.2：定位信息预测；
步骤3.2.1：采用K-means聚类的方式来做Anchor Box的初始化，这种先验知识有利于边界框的预测。
步骤3.2.2：通过YOLOv3网络模型用逻辑回归预测每个边界框的目标存在的可能性得分；
如果当前预测的边界框能够更好地与ground truth对象重合，那它的置信度就是1。如果当前的预测不是最好的，但它和ground truth对象重合到了一定阈值以上，神经网络会忽视这个预测。置信度越接近1，检测效果越好。
步骤3.2.3：通过YOLOv3网络模型将单标签分类改进为多标签分类，网络结构上将原来单标签分类的Softmax分类器换成多标签分类的Logistic分类器来进行类别信息预测，本实施例的类别信息为1，将类别命名为“gangzha”；
步骤3.3：多尺度特征检测；
YOLOv3网络模型采用上采样和特征融合做法，融合了3个尺度，在多个尺度的融合特征图上分别独立做检测以检测出钢流。
步骤3.4：通过非极大值抑制算法过滤边界框，得到最优结果。
图5为YOLOv3网络模型结构图；YOLOv3网络结构由卷积层、Res层、Darknet-53结构和YOLO层组成。
(1)卷积层：YOLOv3网络的输入像素为640×480，通道数为3的图片。每一个卷积层都会对输入数据进行BN操作。每个卷积层卷积采用32个卷积核，每个卷积核大小为33，步长为1。
(2)Res层：一共选用五种具有不同尺度和深度的Res层，它们只进行不同层输出间的求残差操作。
(3)Darknet-53结构：YOLOv3采用了Darknet-53的网络结构，含有53个卷积层，其余为Res层，这些卷积层是从各主流网络结构选取性能比较好的卷积层进行整合得到。由连续的3×3和1×1卷积层组合而成。它借鉴了残差网络的思想，在一些层之间设置了跳远连接，利用跳远连接构建能够训练更深层的网络。
(4)YOLO层：从75层到105层为YOLOv3网络的特征融合层，分为三个尺度(13×13、26×26和52×52)，每个尺度下先堆积不同尺度的特征图，而后通过卷积核的方式实现不同尺度特征图之间的局部特征融合。最终输出的是特征图是深度为18的张量3×(4+1+1)＝18，其中包含3个边界框，4个边界框坐标参数、1个目标预测置信度以及1种类别数。
参见表3的网络模型参数表；
表3网络模型参数
Figure BDA0002237947140000121
图6为本发明实施例的YOLOv3检测算法的检测效果图，图6(a)和图6(b)为铁水脱硫扒渣图，图6(c)为转炉下渣图。通过YOLOv3算法能够将钢渣从各自的背景中检测出来，图6的三张由前往后的图片(a)-(c)的置信度分别为1、0.83和0.95。置信度范围为[0-1]，当置信度越接近1，检测效果越好。图片(a)-(c)的置信度都大于0.8，从图中(a)-(c)可以看出能够准确识别出类别为“gangzha”，而没有识别成其它类别。结合置信度和类别信息表明YOLOv3检测算法能够较准确的检测出钢流。
步骤4：利用YOLOv3检测算法检测出的位置信息截取出钢渣目标所在区域，这种方法降低了复杂背景对目标检测的影响；
具体包括以下步骤：
步骤4.1：导入Python的os、numpy、cv2库；
步骤4.2：读取彩色钢渣图片，遍历每一张图片数据集；
步骤4.3：利用从YOLOv3检测算法中得到的目标位置坐标，设置左上和右下两像素点的位置坐标；
步骤4.4：根据步骤4.3设置的位置坐标对图像进行剪裁，得到目标区域；
图7是目标所在区域图，图7(a)为本发明实施例选取的铁水脱硫扒渣原图，罐中的钢水与钢渣为目标。暗度区域为背景，亮度区域及亮度区域中的暗度区域分别为钢水与钢渣。图7(b)为目标所在区域图。YOLOv3检测算法含有被检测物体的位置信息，然后通过位置信息截取出罐体及罐中的钢水与钢渣，目的是为了降低复杂背景对钢渣目标检测的影响。图7(a)图中的文字“脱硫扒渣”是视频自带的干扰，所以要截取出罐中的钢水与钢渣，去除这种干扰对检测目标的影响。此处是为了将图片中的字去掉并且将钢渣和钢水区域凸显出来，这样做更容易在下一步中分割出目标。
步骤5：基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理；参见图8的K-means算法预处理流程图，包括如下具体步骤：
步骤5.1：读取待分割的钢渣彩色图像；
步骤5.2：将RGB颜色空间转换到Lab颜色空间,并提取每个像素点样本的3个特征分量L、a和b；
步骤5.3：初始化。随机选取4个对象作为初始聚类的中心；
步骤5.4：根据聚类中心对像素点进行划分；
步骤5.5：根据结果修正各个类的聚类中心，计算类的均值，根据类的均值更新类的中心，获得新的中心；
步骤5.6：当获得4个新的中心时，需要重新将数据集中的像素点划分到与距它最近的新中心所属类别进行循环迭代，直到准则函数收敛，聚类中心不再变化，平方误差函数值最小，则终止；
步骤5.7：输出预处理后的图像。
分割技术以往在其他领域通常采用的是灰度图像，但钢渣灰度图像会缺失很多重要的特征信息从而导致图像分割效果不理想。而彩色图像比灰度图像能够提供颜色、亮度、饱和度等更多的特征信息，因此灰度图像分割方法不适用于钢渣的图像检测与分割。研究彩色图像分割具有重大意义，对彩色钢渣图像进行分割，就要选择恰当的色彩空间，从而提取出钢渣图像的颜色特征，能更容易将目标提取出来。为了解决彩色钢渣图像目标与背景区域颜色存在较大差异的问题，利用基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理，该算法将钢渣亮光与钢渣划分为同一类，将钢渣与钢水亮光从背景中分割了出来，实现了第一次分割。
参见图9本发明实施例的K-means算法预处理效果图；利用k均值聚类算法对图像进行预处理，预处理后的图像(a)-(c)基本实现了钢渣、钢水亮光与背景的分离。
步骤6：利用改进的Otsu算法对钢流中的钢渣进行分割；参见图10改进Otsu算法的流程图。包括如下具体步骤：
步骤6.1：将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
步骤6.2：设置阈值t；
步骤6.3：将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
步骤6.4：根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
步骤6.5：根据最佳阈值进行图像分割，输出分割图像。图11(a)-(c)为步骤5处理后用改进Otsu算法分割的效果图，其中图11(a)和(b)中罐体内亮度区域为钢渣，罐体内壁及上方亮度区域为钢渣亮光，黑色区域为背景。图11(c)中钢流带亮度区域为钢渣，黑色区域为背景。；
由于在下渣过程中，罐体向下倾斜，所以钢渣集中在罐体下方，钢流暴露出来，会发出亮光，在分割过程中，亮光会被误分割为钢渣。
在对彩色钢渣图像进行分割时，无法通过单一方法将钢渣从钢水中完全分离，当图像中钢渣亮光与目标部分方差差别较小时，运用Otsu法得到的阈值将会偏小，从而使分割阈值过低而导致错分。通过对传统Otsu算法中最优阈值选取公式进行分析，在目标方差加权方法的基础上，利用背景大小在图像中的比例，修改最优阈值选取公式，解决了阈值偏低误将部分钢渣亮光划分到目标的问题，并提高了算法执行速度，降低了分类误差以及改善了分割效果。图9(a)和(b)中罐体内亮度区域为钢渣，罐体内壁及上方亮度区域为钢渣亮光，黑色区域为背景。(c)中钢流带亮度区域为钢渣，暗度区域为钢流亮光，黑色区域为背景。从图9(a)-(c)可以看出，K-means算法未能将钢渣完整分割出来，部分钢渣亮光被误分割为目标。图11(a)和(b)中罐体内壁及上方亮度区域经步骤6处理后变小，(c)中钢流带暗度区域经步骤6处理后变小，从图11(a)-(c)可以看出，改进的最大类间方差法减小了钢渣亮光对目标区域钢渣的影响，能够较为准确的将钢渣分割出来。
本实施例采用了两种类型图片，一种是铁水脱硫扒渣工艺流程中的图片(有罐子)，一种是转炉下渣工艺流程中的图片(钢流形式)。图6、图9和图11中(a)和(b)是铁水脱硫扒渣工艺流程中的图片，图(c)是转炉下渣工艺流程中的图片。图7中选取的是铁水脱硫扒渣工艺流程中的图片。
步骤7：可视化操作，步骤如下：
步骤7.1：新建主窗口；
步骤7.2：将ui文件转为py文件；
步骤7.3：调用函数文件；
步骤7.4：布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于卷积神经神经网络的智能钢渣检测方法，其特征在于包括如下顺次执行的步骤：
钢渣图像识别：利用红外探测器和摄像机，获取包含钢流和钢渣亮度信息的钢渣视频帧图像；以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；
钢流目标检测：对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而准确检测出钢流夹渣情况；
彩色钢渣图像分割步骤：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题，基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。
2.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣图像识别步骤中，基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
选取样本图片进行样本数据分类，样本图片中的一大部分作为训练集，剩余的部分作为测试集，将样本图片分为正样本和负样本两类，将正样本命名为“have”，表示钢渣含量多，负样本命名为“no”，表示钢渣含量少；
搭建tensorflow和keras深度学习框架，利用这两个框架来创建改进的AlexNet卷积神经网络模型；
进行图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；导入Python中的os、numpy、matplotlib库；
定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
将所有的训练集图片和测试集图片转换为numpy数组；
将训练集数据和测试集数据存储到h5文件；
导入数据集，对数据集进行测试并将部分数据集可视化；
训练AlexNet网络模型，对AlexNet网络模型进行改进；
利用训练好的AlexNet网络模型得到最优识别精度。
3.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣目标检测步骤中，基于YOLOv3卷积神经网络模型的目标检测方法包括如下步骤：首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。
4.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于彩色钢渣图像分割步骤中，首先，将RGB颜色空间通过变换转到均匀的Lab颜色空间；然后，利用k均值聚类算法对图像进行预处理以实现了钢渣与背景的初步分离；最后，将背景像素点占整幅图像的比例作为权重引入到目标方程式中，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割，将钢渣较为准确的从钢流中分离出来。
5.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割括如下具体步骤：
将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
设置阈值t；
将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
根据最佳阈值进行图像分割，输出分割图像。
6.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于利用可视化用户界面系统，进行钢渣可视化检测；步骤如下：
新建主窗口；
将ui文件转为py文件；
调用函数文件；
布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
7.一种基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块和可视化用户界面系统；
所述图像识别模块设置为利用基于改进的AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析由红外探测器和摄像机获取的图像，所述改进的AlexNet卷积神经网络共有：卷积层5个、池化层5个、全连接层2个，使用RELU函数作为CNN的激活函数，训练时使用Dropout随机忽略一部分神经元，在CNN中使用重叠的最大池化；
所述目标检测模块设置为基于YOLOv3卷积神经网络模型，利用基于YOLOv3卷积神经网络模型的目标检测方法对图像识别模块识别出的彩色钢渣图像进行检测，将钢流从复杂的背景中检测出来；
所述图像分割模块设置为利用基于Lab颜色空间的K均值聚类算法对目标检测模块处理后的彩色图像进行预处理，并利用改进的Otsu方法的图像分割算法对彩色钢渣图像进行分割时，将钢渣从钢水中完全分离；
所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
CN201910990000.3A 2019-10-17 2019-10-17 基于卷积神经网络的智能钢渣检测方法和系统 Active CN110796046B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910990000.3A CN110796046B (zh) 2019-10-17 2019-10-17 基于卷积神经网络的智能钢渣检测方法和系统
AU2020102091A AU2020102091A4 (en) 2019-10-17 2020-09-01 Intelligent steel slag detection method and system based on convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910990000.3A CN110796046B (zh) 2019-10-17 2019-10-17 基于卷积神经网络的智能钢渣检测方法和系统

Publications (2)

Publication Number Publication Date
CN110796046A true CN110796046A (zh) 2020-02-14
CN110796046B CN110796046B (zh) 2023-10-10

Family

ID=69439619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910990000.3A Active CN110796046B (zh) 2019-10-17 2019-10-17 基于卷积神经网络的智能钢渣检测方法和系统

Country Status (2)

Country Link
CN (1) CN110796046B (zh)
AU (1) AU2020102091A4 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法
CN111523429A (zh) * 2020-04-16 2020-08-11 中冶赛迪重庆信息技术有限公司 基于深度学习的堆钢识别方法
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN111898467A (zh) * 2020-07-08 2020-11-06 浙江大华技术股份有限公司 属性识别方法及装置、存储介质、电子装置
CN111985406A (zh) * 2020-08-21 2020-11-24 武汉科技大学 一种锌渣图像识别及分类方法
CN112011750A (zh) * 2020-08-21 2020-12-01 武汉科技大学 基于机器视觉的捞渣方法及机器人系统
CN112150421A (zh) * 2020-09-14 2020-12-29 武汉钢铁有限公司 钢包扒渣路径确定方法、装置及扒渣机
CN112364918A (zh) * 2020-11-10 2021-02-12 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN112381803A (zh) * 2020-11-17 2021-02-19 广东鉴面智能科技有限公司 一种基于机器视觉的铁水溢出检测方法和开口机系统
CN112749735A (zh) * 2020-12-30 2021-05-04 中冶赛迪重庆信息技术有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN112950586A (zh) * 2021-03-02 2021-06-11 攀钢集团攀枝花钢铁研究院有限公司 一种lf炉钢渣红外识别方法和系统
CN113042696A (zh) * 2021-03-12 2021-06-29 广东韶钢松山股份有限公司 一种结晶器保护渣更换装置及结晶器的捞渣方法
CN113239960A (zh) * 2021-04-09 2021-08-10 中用科技有限公司 融合ai视觉算法的道路防护智能预警方法和系统
CN113333700A (zh) * 2021-06-30 2021-09-03 广东韶钢松山股份有限公司 一种自动巡检结晶器液面的浇铸及浇注方法
CN113569943A (zh) * 2021-07-26 2021-10-29 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置
CN114581859A (zh) * 2022-05-07 2022-06-03 北京科技大学 一种转炉下渣监测方法及系统
CN115049678A (zh) * 2022-08-17 2022-09-13 南昌工程学院 基于夜间紫外成像技术的输电线电晕放电图像分割方法
CN115060012A (zh) * 2020-05-19 2022-09-16 山东大学 一种基于机器学习的环路热管太阳能温度除垢方法
CN115100492A (zh) * 2022-08-26 2022-09-23 摩尔线程智能科技(北京)有限责任公司 Yolov3网络训练、pcb表面缺陷检测方法及装置
CN115558740A (zh) * 2021-07-02 2023-01-03 北京博谦工程技术有限公司 一种智能诊断系统中防卸爆预警判断方法
CN116339128A (zh) * 2023-05-30 2023-06-27 北京国电富通科技发展有限责任公司 一种输渣系统落渣雨量在线监控方法及系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348791B (zh) * 2020-11-04 2023-03-14 中冶赛迪信息技术(重庆)有限公司 基于机器视觉的废钢智能检判方法、系统、介质及终端
CN112750117B (zh) * 2021-01-15 2024-01-26 河南中抗医学检验有限公司 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112766170B (zh) * 2021-01-21 2024-04-16 广西财经学院 基于簇类无人机图像的自适应分割检测方法及装置
CN112949500A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于空间特征编码改进的YOLOv3车道线检测方法
CN113326734B (zh) * 2021-04-28 2023-11-24 南京大学 一种基于YOLOv5的旋转目标检测方法
CN114037650B (zh) * 2021-05-17 2024-03-19 西北工业大学 变化检测及目标检测的地面目标可见光毁伤图像处理方法
CN113591591A (zh) * 2021-07-05 2021-11-02 北京瑞博众成科技有限公司 人工智能现场行为识别系统
CN113420716B (zh) * 2021-07-16 2023-07-28 南威软件股份有限公司 基于改进Yolov3算法的违规行为识别预警的方法
CN114798764A (zh) * 2022-03-01 2022-07-29 南京航空航天大学 基于多磁融合在线测量冷轧带钢屈服强度方法
CN114774605B (zh) * 2022-03-15 2023-06-13 中南大学 一种高炉堵铁口时间智能预报装置
CN114782400B (zh) * 2022-05-17 2023-06-20 东风本田发动机有限公司 金属物料渣点检测方法、装置、设备、介质和程序产品
CN115231525B (zh) * 2022-07-29 2022-12-23 福建德尔科技股份有限公司 电子级三氟化氯的智能分离纯化系统
CN115029704B (zh) * 2022-08-09 2022-12-09 江苏贯森新材料科技有限公司 一种用于不锈钢酸洗工艺的智能控制方法及装置
CN116127345B (zh) * 2022-12-23 2023-11-14 北京科技大学 基于深度聚类生成对抗网络的转炉炼钢工艺模式设计方法
CN115691026B (zh) * 2022-12-29 2023-05-05 湖北省林业科学研究院 一种森林防火的智能预警监控管理方法
CN116310713B (zh) * 2023-02-16 2024-03-19 嘉洋智慧安全科技(北京)股份有限公司 红外图像识别方法、装置、电子设备及存储介质
CN115841489B (zh) * 2023-02-21 2023-04-28 华至云链科技(苏州)有限公司 智能点检方法及平台
CN115879834B (zh) * 2023-03-03 2023-05-12 北京科技大学 一种连铸中间包卷渣行为的评价方法
CN116385466A (zh) * 2023-05-05 2023-07-04 北京信息科技大学 一种基于边界框弱标注的图像中目标分割方法及系统
CN116682067B (zh) * 2023-07-28 2023-10-20 中国华能集团清洁能源技术研究院有限公司 储能站电池组的热失控风险预警方法、装置和电子设备
CN116681992B (zh) * 2023-07-29 2023-10-20 河南省新乡生态环境监测中心 一种基于神经网络的氨氮检测方法
CN116665138B (zh) * 2023-08-01 2023-11-07 临朐弘泰汽车配件有限公司 一种汽车配件冲压加工视觉检测方法及系统
CN116935229A (zh) * 2023-09-12 2023-10-24 山东博昂信息科技有限公司 一种钢包挂钩入钩状态识别方法及系统
CN116958713B (zh) * 2023-09-20 2023-12-15 中航西安飞机工业集团股份有限公司 一种航空零部件表面紧固件快速识别与统计方法及系统
CN117351049B (zh) * 2023-12-04 2024-02-13 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117746272A (zh) * 2024-02-21 2024-03-22 西安迈远科技有限公司 一种基于无人机的水资源数据采集处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102921915A (zh) * 2012-10-23 2013-02-13 杭州谱诚泰迪实业有限公司 基于钢水表面旋涡图像识别的下渣检测方法及装置
CN105911095A (zh) * 2016-05-04 2016-08-31 东北电力大学 一种连铸坯表面纵裂纹的可视化识别方法
CN105956618A (zh) * 2016-04-27 2016-09-21 云南昆钢集团电子信息工程有限公司 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN110231811A (zh) * 2019-06-19 2019-09-13 华北理工大学 基于层级实时记忆算法的连铸下渣智能预报系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102921915A (zh) * 2012-10-23 2013-02-13 杭州谱诚泰迪实业有限公司 基于钢水表面旋涡图像识别的下渣检测方法及装置
CN105956618A (zh) * 2016-04-27 2016-09-21 云南昆钢集团电子信息工程有限公司 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法
CN105911095A (zh) * 2016-05-04 2016-08-31 东北电力大学 一种连铸坯表面纵裂纹的可视化识别方法
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN110231811A (zh) * 2019-06-19 2019-09-13 华北理工大学 基于层级实时记忆算法的连铸下渣智能预报系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIXING ZHU ET AL.: "Deep Learning-Based Classification of Weld Surface Defects" *
邢炜光: "基于机器视觉的钢流夹渣检测方法的研究" *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法
CN111523429A (zh) * 2020-04-16 2020-08-11 中冶赛迪重庆信息技术有限公司 基于深度学习的堆钢识别方法
CN115060012B (zh) * 2020-05-19 2023-10-31 山东大学 一种基于机器学习的环路热管太阳能温度除垢方法
CN115060012A (zh) * 2020-05-19 2022-09-16 山东大学 一种基于机器学习的环路热管太阳能温度除垢方法
CN111898467A (zh) * 2020-07-08 2020-11-06 浙江大华技术股份有限公司 属性识别方法及装置、存储介质、电子装置
CN111898467B (zh) * 2020-07-08 2023-02-28 浙江大华技术股份有限公司 属性识别方法及装置、存储介质、电子装置
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN111985406A (zh) * 2020-08-21 2020-11-24 武汉科技大学 一种锌渣图像识别及分类方法
CN112011750A (zh) * 2020-08-21 2020-12-01 武汉科技大学 基于机器视觉的捞渣方法及机器人系统
CN112011750B (zh) * 2020-08-21 2023-02-17 武汉科技大学 基于机器视觉的捞渣方法及机器人系统
CN111985406B (zh) * 2020-08-21 2023-05-23 武汉科技大学 一种锌渣图像识别及分类方法
CN112150421B (zh) * 2020-09-14 2023-07-25 武汉钢铁有限公司 钢包扒渣路径确定方法、装置及扒渣机
CN112150421A (zh) * 2020-09-14 2020-12-29 武汉钢铁有限公司 钢包扒渣路径确定方法、装置及扒渣机
CN112364918B (zh) * 2020-11-10 2024-04-02 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN112364918A (zh) * 2020-11-10 2021-02-12 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN112381803B (zh) * 2020-11-17 2023-11-21 广东鉴面智能科技有限公司 一种基于机器视觉的铁水溢出检测方法和开口机系统
CN112381803A (zh) * 2020-11-17 2021-02-19 广东鉴面智能科技有限公司 一种基于机器视觉的铁水溢出检测方法和开口机系统
CN112749735B (zh) * 2020-12-30 2023-04-07 中冶赛迪信息技术(重庆)有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN112749735A (zh) * 2020-12-30 2021-05-04 中冶赛迪重庆信息技术有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN112950586A (zh) * 2021-03-02 2021-06-11 攀钢集团攀枝花钢铁研究院有限公司 一种lf炉钢渣红外识别方法和系统
CN113042696B (zh) * 2021-03-12 2022-11-11 广东韶钢松山股份有限公司 一种结晶器保护渣更换装置及结晶器的捞渣方法
CN113042696A (zh) * 2021-03-12 2021-06-29 广东韶钢松山股份有限公司 一种结晶器保护渣更换装置及结晶器的捞渣方法
CN113239960A (zh) * 2021-04-09 2021-08-10 中用科技有限公司 融合ai视觉算法的道路防护智能预警方法和系统
CN113333700A (zh) * 2021-06-30 2021-09-03 广东韶钢松山股份有限公司 一种自动巡检结晶器液面的浇铸及浇注方法
CN115558740A (zh) * 2021-07-02 2023-01-03 北京博谦工程技术有限公司 一种智能诊断系统中防卸爆预警判断方法
CN113569943A (zh) * 2021-07-26 2021-10-29 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置
CN113569943B (zh) * 2021-07-26 2023-10-24 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置
CN114581859A (zh) * 2022-05-07 2022-06-03 北京科技大学 一种转炉下渣监测方法及系统
CN114581859B (zh) * 2022-05-07 2022-09-13 北京科技大学 一种转炉下渣监测方法及系统
CN115049678A (zh) * 2022-08-17 2022-09-13 南昌工程学院 基于夜间紫外成像技术的输电线电晕放电图像分割方法
CN115100492A (zh) * 2022-08-26 2022-09-23 摩尔线程智能科技(北京)有限责任公司 Yolov3网络训练、pcb表面缺陷检测方法及装置
CN116339128A (zh) * 2023-05-30 2023-06-27 北京国电富通科技发展有限责任公司 一种输渣系统落渣雨量在线监控方法及系统
CN116339128B (zh) * 2023-05-30 2023-07-28 北京国电富通科技发展有限责任公司 一种输渣系统落渣雨量在线监控方法及系统

Also Published As

Publication number Publication date
CN110796046B (zh) 2023-10-10
AU2020102091A4 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN110796046B (zh) 基于卷积神经网络的智能钢渣检测方法和系统
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
Höferlin et al. Inter-active learning of ad-hoc classifiers for video visual analytics
CN111275688A (zh) 基于注意力机制的上下文特征融合筛选的小目标检测方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
Pan et al. A robust system to detect and localize texts in natural scene images
Zhou et al. Tonguenet: accurate localization and segmentation for tongue images using deep neural networks
CN110717896B (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN108846359A (zh) 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用
CN111126115A (zh) 暴力分拣行为识别方法和装置
CN112906550A (zh) 一种基于分水岭变换的静态手势识别方法
Chen et al. Salient object detection: integrate salient features in the deep learning framework
CN115049954B (zh) 目标识别方法、装置、电子设备和介质
CN112818952A (zh) 煤岩分界线的识别方法、装置及电子设备
Lee et al. License plate detection via information maximization
CN117437647A (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
Mithila et al. CNN and Fuzzy Rules Based Text Detection and Recognition from Natural Scenes.
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
CN112365440A (zh) 基于yolov3的乳腺病理学图像有丝分裂检测装置和方法
CN110633666A (zh) 一种基于手指颜色贴片的手势轨迹识别方法
Chen et al. Slice-to-slice context transfer and uncertain region calibration network for shadow detection in remote sensing imagery
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN112949630A (zh) 基于边框分级筛选的弱监督目标检测方法
Khin et al. License Plate Identification from Myanmar Vehicle Images under Different Environmental Conditions.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant