CN110717455B - 一种收储中的废钢等级分类检测方法 - Google Patents

一种收储中的废钢等级分类检测方法 Download PDF

Info

Publication number
CN110717455B
CN110717455B CN201910958596.9A CN201910958596A CN110717455B CN 110717455 B CN110717455 B CN 110717455B CN 201910958596 A CN201910958596 A CN 201910958596A CN 110717455 B CN110717455 B CN 110717455B
Authority
CN
China
Prior art keywords
convolution
layer
image
calculation
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910958596.9A
Other languages
English (en)
Other versions
CN110717455A (zh
Inventor
李大亮
王保红
王占祥
郭锋
齐明誉
谢建军
韩超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tongchuang Xintong Technology Co ltd
Original Assignee
Beijing Tongchuang Xintong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=69211315&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110717455(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Beijing Tongchuang Xintong Technology Co ltd filed Critical Beijing Tongchuang Xintong Technology Co ltd
Priority to CN201910958596.9A priority Critical patent/CN110717455B/zh
Publication of CN110717455A publication Critical patent/CN110717455A/zh
Application granted granted Critical
Publication of CN110717455B publication Critical patent/CN110717455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种收储中的废钢等级分类检测方法，包括围绕卸料货车车箱上侧设置的一个或多个摄像头，一个电磁铁吸盘将车厢内的碎钢料吸起转出卸下，废钢等级分类检测方法是：获取摄像头从不同角度拍摄的车厢内碎钢料在电磁铁吸盘每一次吸起前散落形态的图像，相同尺寸的车厢获取的图像数量相同，对图像进行处理获取图像数据特征，将图像数据特征送入一个等级划分神经网络模型，等级划分神经网络模型针对输入的每一图像输出相对应的等级划分、直至车厢内碎钢料全部卸下，计算不同等级在全部等级划分结果数据的占有率，根据预先设定的占有率百分比确定车箱全部被卸料的废钢等级。

Description

一种收储中的废钢等级分类检测方法
技术领域
本发明涉及一种收储中的废钢等级分类检测方法。
背景技术
钢厂每一年都要收储大量的废钢，除了废机器设备，其主要是通过汽车送入的大量碎钢料，碎钢料包括各种形状的管材，块材和板材，大小形状不一，其中还参杂有其它杂质，对与运来的碎钢料需要根据厚度进行等级划分，按照等级付费，因此等级的审定非常重要，目前在验质过程是进行手工收料，手动填写收料通知单，在验质过程中，需要验质人员，爬上废钢车，进行人工手动测量废钢尺寸、人工目测废钢品质并对废钢进行等级判定，然后将判定结果手工录入到计量系统和ERP资材系统。这样的做法存在以下几个缺点：1）废钢形状各异、堆积杂乱，无法详细查看整体的废钢情况。2）由于验质人员需要频繁上下车，会存在安全隐患。3）钢厂的生产节奏快，质检人员频繁上下车检验，影响天车卸料进度，影响生产进程。4）需要设置专人做这项工作，有人工成本问题。5）人工抄录，检验全部凭目视，标准因人而异、不统一，存在误判、错判，准确率不高。6）存在供货商与验质人员的私下沟通风险。
发明内容
本发明的目的是提出一种收储中的废钢等级分类检测方法，对车厢的碎钢料进行拍照，利用一个学习生成的检验模型，将拍照生成的图像资料进行处理形成图像特征数据输入检验模型，直接获得碎钢料等级，克服了人工验收存在的弊病。
为了实现上述目的，本发明的技术方案是：
一种收储中的废钢等级分类检测方法，包括围绕卸料货车车箱上侧设置的一个或多个摄像头，一个电磁铁吸盘将车厢内的碎钢料吸起转出卸下，其中，废钢等级分类检测方法是：获取摄像头从不同角度拍摄的车厢内碎钢料在电磁铁吸盘每一次吸起前散落形态的图像，对图像进行处理获取图像数据特征，将图像数据特征送入一个等级划分神经网络模型，等级划分神经网络模型针对输入的每一图像输出相对应的等级划分、直至车厢内碎钢料全部卸下，计算不同等级在全部等级划分结果数据的占有率，根据预先设定的占有率百分比确定车箱全部被卸料的废钢等级。
方案进一步是：所述图像是车厢内碎钢料散落形态的一个整体图像或者是多个局部图像，多个局部图像相互局部重叠涵盖了车厢整体面积内的碎钢料散落形态。
方案进一步是：所述车厢内碎钢料在电磁铁吸盘每一次吸起前散落状态的图像，是在电磁铁吸盘移出车厢后拍摄的图像，相同尺寸的车厢获取的图像数量相同。
方案进一步是：所述方法进一步包括判断电磁铁吸盘是否移出车厢，是否可以进行有效图像拍摄，其过程是：在拍摄有效图像前，首先拍摄一张整体图像，对所述整体图像进行图像处理提取图像中物体的边缘图像特征，将边缘图像特征送入一个电磁铁吸盘判断神经网络模型，用电磁铁吸盘判断神经网络模型判断是否存在电磁铁吸盘，如果存在电磁铁吸盘，则不进行有效图像拍摄；如果不存在电磁铁吸盘，则进行有效图像拍摄。
方案进一步是：所述图像数据特征的提取是对图像画面像素点矩阵数据进行卷积神经网络卷积计算的集合实现的提取，包括：由集合输出的多条线路卷积层或卷积层加池化层计算构成的对图像中物体颜色、边缘特征和纹理特征的提取，以及对图像中物体边缘、纹理之间关联特征的提取；
其中：至少三条线路卷积层或卷积层加池化层计算输出的集合输出构成了对图像中物体颜色、边缘特征和纹理特征的提取，每一条线路的卷积层数各不相同；
所述对边缘、纹理之间关联特征提取的卷积层计算的线路数大于对图像中物体颜色、边缘和纹理特征提取的卷积层计算的线路数；
所述等级划分神经网络模型是预先针对不同的碎钢散落状态获取图像，目测确定图像的碎钢等级，然后对已知不同等级的图像进行所述图像数据特征的提取，接下来对提取的不同等级图像数据特征进行学习形成模型中的等级划分输出分类器，最后由分类器实现针对输入的每一图像输出相对应的等级划分。
方案进一步是：所述确定图像的碎钢等级是由专业小组通过人眼识别讨论确定的。
方案进一步是：所述图像中物体颜色、边缘特征的提取是由三条线路卷积层加池化层计算输出的集合输出构成，包括第一条线路一层池化层、第二条线路二层卷积层和第三条线路四层卷积层，
其中：
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以步长为2对有效图像画面像素点矩阵数据进行最大池化计算输出至集合；
所述第二条线路二层卷积层：底层卷积层通过对192个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过192个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路四层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过256个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算，第四卷积层通过对320个3×3像素点矩阵卷积核、以步长为2对第三层卷积层卷积计算有效结果进行卷积计算输出至集合。
方案进一步是：所述对图像中纹理特征的提取是对图像中物体颜色、边缘特征的提取集合输出进行的，是由三条线路卷积层计算输出的集合输出构成，包括第一条线路0卷积层、第二条线路二层卷积层和第三条线路三层卷积层，纹理特征形成了卷积网络的激活函数；
其中：
所述第一条线路0卷积层：对有效颜色、边缘特征的提取集合输出的像素点矩阵数据不做任何操作直接输出至集合；
所述第二条线路二层卷积层：底层卷积层通过192个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过1154个1×1像素点矩阵卷积核对底层卷积层卷积计算有效结果和第三条线路第三卷积层卷积计算有效结果之和进行卷积计算输出至集合；
所述第三条线路三层卷积层：底层卷积层通过128个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过160个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过192个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算输出至第二条线路第二卷积层。
9. 根据权利要求5或6所述的废钢等级分类检测方法，其特征在于，在颜色、边缘和纹理特征提取的卷积层计算的线路数是3条时，所述对边缘、纹理之间关联特征提取的卷积层计算的线路数是4条，包括第一条线路一池化层、第二条线路二层卷积层、第三条线路二层卷积层和第四条线路三层卷积层；
其中：
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以2做为步长对有效图像画面像素点矩阵数据进行最大池化计算输出至集合；
所述第二条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过384个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第四条线路三层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个3×3像素点矩阵卷积核、以步长为2对第二层卷积层卷积计算有效结果进行卷积计算输出至集合。
10. 根据权利要求1所述的废钢等级分类检测方法，其特征在于，所述图像进行预处理包括去除无效水印处理和提高图像对比度处理，去除无效水印处理采用的是膨胀腐蚀处理方法，提高图像对比度处理采用的是直方图均衡化处理方法。
本发明对车厢的碎钢料进行拍照，利用一个学习生成的检验模型，将拍照生成的图像资料进行处理形成图像特征数据输入检验模型，直接获得碎钢料等级，克服了人工验收存在的弊病，降低了劳动强度，统一了标准，可以做到公平处理，为企业节约了大量的成本费用。
下面结合附图和实施例对本发明作一详细描述。
附图说明
图1为本发明废钢卸料检测现场状态示意图；
图2为物体颜色、边缘特征的提取流程示意图；
图3为纹理特征的提取流程示意图；
图4为边缘、纹理之间关联特征提取流程示意图；
图5为初级特征提取流程示意图；
图6为中级特征提取流程示意图。
具体实施方式
一种收储中的废钢等级分类检测方法，图1示意了废钢卸料检测现场的平面示意图，所述方法涉及的设备包括围绕卸料货车车箱1上侧设置的一个或多个摄像头2，摄像头2安装在云台上可以转动拍摄，通过摄像头的云台控制对车上废钢进行拍摄，可以实现8个方向无死角的任意拍摄，也可以推远和拉近镜头拍摄车上整体情况和局部特写，在此过程中，也可以采用自动抓拍功能，对车上废碎钢进行自动拍照，最终将所有抓拍图像发送至模型服务器，在卸料现场有天车3，天车上的一个电磁铁吸盘4将车厢内的碎钢料5吸起转出卸下，每一次吸起转出卸下车箱1中的碎钢状态都会变化，呈现不同的状态，碎钢会越来越稀直至全部吸出卸下，这里的碎钢是指长度不大于300mm的钢管、钢板料头等等，多数是在100mm以下，人工划分时需要测量大块碎钢的厚度和长度，根据大块碎钢以及碎钢不同厚度占有的百分比进行等级划分，由于不同的大块碎钢以及碎钢不同厚度具有不同的图像，因此，本实施例的废钢等级分类检测方法是处理器分层获取图像，然后对每一层的图像进行分析确定等级，最后根据优劣等级在全部等级中占据的百分比确定被卸料的废钢等级。在分析确定等级中本实施例使用了卷积神经网络模型（CNN）作为区分不同等级的模型，卷积神经网络模型目前已被广泛地使用到了图像识别，例如人脸识别和指纹识别，是一种成熟的识别技术。
作为本实施例方法具体的过程是：获取摄像头从不同角度拍摄的车厢内碎钢料在电磁铁吸盘每一次吸起前散落形态的图像，相同尺寸的车厢获取的图像数量相同，并且，图像是不重复的，也就每一次对一个地方只获取一个图像不重复，目的是防止对后面百分比的计算造成误差；接下来，对图像进行处理获取图像数据特征，将图像数据特征送入一个等级划分神经网络模型，等级划分神经网络模型针对输入的每一图像输出相对应的等级划分、直至车厢内碎钢料全部卸下，计算不同等级在全部等级划分结果数据的占有率，根据预先设定的等级占有率百分比确定车箱全部被卸料的废钢等级。
例如，将碎钢料的等级分为（1、2、3.。。10）10个等级，一共对这车碎钢100个图像进行了等级划分，其中：1等的是5个，2等的是30个，3等的是20个，4等的是15个，5等的是10个，6等的是15个，7等的是5个。等级占有率百分比表格规定：1等的占有率高于5%、2等的高于20%、3等的高于20%、4等的高于10%、5等以上低于15%，则评定为3级。根据此规定这车碎钢回收的废钢等级评定为3级。因此，根据等级占有率百分比表格就可以直接输出废钢等级评定等级，显而易见：减少了认为判定的不确定因素，提高了判定的公平性和一致性。
实施例中：所述图像是车厢内碎钢料散落形态的一个整体图像或者是多个局部图像，多个局部图像相互局部重叠涵盖了车厢整体面积内的碎钢料散落形态。
由于电磁铁吸盘参杂在图像中，应该去掉，因此：所述车厢内碎钢料在电磁铁吸盘每一次吸起前散落状态的图像，是在电磁铁吸盘移出车厢后拍摄的图像。
为此：所述方法进一步包括判断电磁铁吸盘是否移出车厢，是否可以进行有效图像拍摄，其过程是：在拍摄有效图像前，首先拍摄一张整体图像，对所述整体图像进行图像处理提取图像中物体的边缘图像特征，将边缘图像特征送入一个电磁铁吸盘判断神经网络模型，用电磁铁吸盘判断神经网络模型判断是否存在电磁铁吸盘，如果存在电磁铁吸盘，则不进行有效图像拍摄；如果不存在电磁铁吸盘，则进行有效图像拍摄。
当然：判断电磁铁吸盘是否移出车厢还可以通过电磁铁吸盘启动发出的信号作为判别的依据，在车厢的边缘设置光电传感器，当电磁铁吸盘启动发出的信号后等待电磁铁吸盘移出车厢边缘经过光电传感器，一旦光电传感器发出信号就证明电磁铁吸盘移出车厢，启动有效拍摄。
其中：本方法中与传统图像处理不同在于图像数据特征的提取，传统的识别特征通常采用的是单线结构，其只能提取固定视野、级别的特征或者直接保留上一层的特征进行信息合并，并没有进行特征的进一步提取，这些对于单一目的、即人脸和指纹识别已经足以，但对于本实施例要解决的问题、即目标杂乱无章，不是区分单一的目标轮廓，各碎钢实体是散落无章相互叠压，如果将每一个实体区分出来，确定每一个实物的大小和数量显然不现实，因此本方法采用的是对整体图像的像素点分布特征作为依据进行判别的，是多级重叠提取的方式，本方法采用并行分为若干部分卷积操作，不同次数的卷积操作，提取的图像特征的级别也是不同的，在某一部分的图像特征不只是包含某一级别的，而是高阶、低阶都包括。这样得到的图像信息才是最丰富的，最有意义的。传统的模型只是一条线路进行特征提取，在某一阶段只能提取固定视野的特征，并不丰富，有非常大的局限性，对后期的模型准确率会有很大影响。对于复杂背景的图像，进行特征提取、识别，其局限性更大。与传统的模型相比，本方法的模型有着更高准确率。
因此，本方法所述图像数据特征的提取是对图像画面像素点矩阵数据进行卷积神经网络卷积计算的集合实现的提取，包括：由集合输出的多条线路卷积层或卷积层加池化层计算构成的对图像中物体颜色、边缘特征和纹理特征的提取，以及对图像中物体边缘、纹理之间关联特征的提取；
其中：至少三条线路卷积层或卷积层加池化层计算输出的集合输出构成了对图像中物体颜色、边缘特征和纹理特征的提取，每一条线路的卷积层数各不相同；
所述对边缘、纹理之间关联特征提取的卷积层计算的线路数大于对图像中物体颜色、边缘和纹理特征提取的卷积层计算的线路数；
所述等级划分神经网络模型是预先针对不同的碎钢散落状态获取图像，目测确定图像的碎钢等级，然后对已知不同等级的图像进行所述图像数据特征的提取，接下来对提取的不同等级图像数据特征进行学习形成模型中的等级划分输出分类器，也就是输出层softmax层，最后由分类器实现针对输入的每一图像输出相对应的等级划分，也就是在输出层中得到分别属于每一个等级类别的概率值，取概率最大的那个类别等级。
其中：所述目测确定图像的碎钢等级是由专业小组通过人眼识别讨论确定的。
下面是一些特征提取的优选方案：
一，所述图像中物体颜色、边缘特征的提取是由三条线路卷积层加池化层计算输出的集合输出构成，如图2所示，包括从左至右的第一条线路一层池化层、第二条线路二层卷积层和第三条线路四层卷积层，
其中：
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以步长为2（stride 2 V）对有效图像画面像素点矩阵数据（Filter concat）进行最大池化计算（MaxPool）输出至集合；
所述第二条线路二层卷积层：底层卷积层通过对192个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算(Conv)，第二卷积层通过192个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路四层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过256个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算，第四卷积层通过对320个3×3像素点矩阵卷积核、以步长为2对第三层卷积层卷积计算有效结果进行卷积计算输出至集合。
上述由3线路并行卷积层构成的颜色、边缘特征提取部分，不同的线路采用不同层级的卷积运算，用于提取不同程度的特征，然后再进行信息合并，使其得到的边缘等特征足够丰富。其中有一路采用了7x7的卷积核，考虑的参数较多的问题，将卷积核进行拆分，拆分为7x1和1x7对于单个通道而言，参数量减少了35个。这里使用7x7的卷积核，获得了更大的感受野。
二，所述对图像中纹理特征的提取是对上述图像中物体颜色、边缘特征的提取集合输出进行的提取，是由三条线路卷积层计算输出的集合输出构成，如图3所示，包括从左至右的第一条线路0卷积层、第二条线路二层卷积层和第三条线路三层卷积层；纹理特征形成的是卷积网络的激活函数（Relu activation）
其中：
所述第一条线路0卷积层：对有效颜色、边缘特征的提取集合输出的像素点矩阵数据不做任何操作直接输出至集合；
所述第二条线路二层卷积层：底层卷积层通过192个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过1154个1×1像素点矩阵卷积核对底层卷积层卷积计算有效结果和第三条线路第三卷积层卷积计算有效结果之和进行卷积计算输出至集合；
所述第三条线路三层卷积层：底层卷积层通过128个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过160个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过192个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算输出至第二条线路第二卷积层。
上述由3线路并行卷积层构成的纹理特征的提取，三条线路的卷积层操作各不相同，从左到右依次是0,2,3层，这么做的目的是为了提取不同级别下的特征，然后进行信息合并（一般而言，卷积操作越多，特征提取的高级，但会丢失一些原来的图像信息），通过不同层级的卷积操作，进行信息互补，最终得到的特征才会更有意义。
一般来讲，网络层次越深，越后面的网络提取的到特征越高阶，1，2，3层模块是网络由前向后排序的，中间可能由多个其中之一的模块组成。纹理特征是高阶特征，颜色特征是低阶的，边缘在两者中间。
三，在颜色、边缘和纹理特征提取的卷积层计算的线路数是3条时，所述对边缘、纹理之间关联特征提取的卷积层计算的线路数是4条，如图4所示，包括从左至右的第一条线路一层池化层、第二条线路二层卷积层、第三条线路二层卷积层和第四条线路三层卷积层；
其中：
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以2做为步长对有效图像画面像素点矩阵数据进行最大池化计算输出至集合；
所述第二条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过384个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第四条线路三层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个3×3像素点矩阵卷积核、以步长为2对第二层卷积层卷积计算有效结果进行卷积计算输出至集合。
上述由4条线组成的边缘、纹理之间关联特征提取，每条线提取特征的操作次数不同（有不同的卷积层），最后合并的信息也是非常丰富的。
实施例中：所述图像进行预处理为的是使图像更加清晰，包括去除无效水印处理和提高图像对比度处理，去除无效水印处理采用的是膨胀腐蚀处理方法，提高图像对比度处理采用的是直方图均衡化处理方法。
实施例中涉及到了判断电磁铁吸盘是否移出车厢，是否可以进行有效图像拍摄，其过程是：在拍摄有效图像前，首先拍摄一张整体图像，对所述整体图像进行图像处理提取图像中物体的边缘图像特征，将边缘图像特征送入一个电磁铁吸盘判断神经网络模型，用电磁铁吸盘判断神经网络模型判断是否存在电磁铁吸盘，如果存在电磁铁吸盘，则不进行有效图像拍摄；如果不存在电磁铁吸盘，则进行有效图像拍摄。其边缘图像特征的提取有别于碎钢等级判别中的图像数据特征得提取。
判断电磁铁吸盘是否移出车厢中的边缘图像特征提取采用了三步，分别是第一步的初级特征提取：第二步的中级特征提取，以及第三部的高级特征提取，其中：
一，如图5所示，初级特征提取由单线7层卷积层构成，用到的3x3，以及1x1的卷积核，卷积运算的步长均为2，这部分卷积是提取图像的基本信息。这里采用不同的大小卷积核的意义是使得算法模型对于图像有不同的视野，能感受不同粒度图像的特征。1x1卷积核主要代替全连接、以及起到降维或者升维的作用。
二，如图6所示，中级特征提取由4线路并行卷积层构成，其中有一条线路是保持上一层最基本的原始信息（最左边），中间没有经过卷积等操作，没有进行细粒度的特征提取，这里在每一条线，采用不同的卷积操作以及不同的卷积核，其主要目的是为了提取整个图像更丰富的特征。最后进行信息合并。在这一部分主要是为了提取更加丰富的颜色等特征。所采用的卷积核大小为1x1,3x3，该部分共包括7层，在模型中，该部分叠加了5部分。
三，第三部的高级特征提取，这部分包含了前述的如图2所示的颜色、边缘特征提取、如图3所示的纹理等特征提取以及如图4所示的各部分边缘、纹理之间的关联特征提取。
电磁铁吸盘判断神经网络模型是在对已知的电磁铁吸盘进行上述特征提取后进行学习，形成模型中的电磁铁吸盘判别器，也就是输出层softmax层。最后由判别器实现针对输入的图像输出判别结果，也就是在输出层中得到判别的概率值，当概率值达到设置的阈值时判别有电磁铁吸盘，否则为没有。

Claims (5)

1.一种收储中的废钢等级分类检测方法，包括围绕卸料货车车箱上侧设置的一个或多个摄像头，一个电磁铁吸盘将车厢内的碎钢料吸起转出卸下，废钢等级分类检测方法是：获取摄像头从不同角度拍摄的车厢内碎钢料在电磁铁吸盘每一次吸起前散落形态的图像，对图像进行处理获取图像数据特征，将图像数据特征送入一个等级划分神经网络模型，等级划分神经网络模型针对输入的每一图像输出相对应的等级划分、直至车厢内碎钢料全部卸下，计算不同等级在全部等级划分结果数据的占有率，根据预先设定的占有率百分比确定车箱全部被卸料的废钢等级，所述图像是车厢内碎钢料散落形态的一个整体图像或者是多个局部图像，多个局部图像相互局部重叠涵盖了车厢整体面积内的碎钢料散落形态，所述车厢内碎钢料在电磁铁吸盘每一次吸起前散落状态的图像，是在电磁铁吸盘移出车厢后拍摄的图像，相同尺寸的车厢获取的图像数量相同；
其特征在于，所述图像数据特征的提取是对图像画面像素点矩阵数据进行卷积神经网络卷积计算的集合实现的提取，包括：由集合输出的多条线路卷积层或卷积层加池化层计算构成的对图像中物体颜色、边缘特征和纹理特征的提取，以及对图像中物体边缘、纹理之间关联特征的提取；
其中，所述图像中物体颜色、边缘特征的提取是由三条线路卷积层加池化层计算输出的集合输出构成，包括第一条线路一层池化层、第二条线路二层卷积层和第三条线路四层卷积层，
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以步长为2对有效图像画面像素点矩阵数据进行最大池化计算输出至集合；
所述第二条线路二层卷积层：底层卷积层通过对192个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过192个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路四层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过256个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算，第四卷积层通过对320个3×3像素点矩阵卷积核、以步长为2对第三层卷积层卷积计算有效结果进行卷积计算输出至集；所述对图像中纹理特征的提取是对图像中物体颜色、边缘特征的提取集合输出进行的，是由三条线路卷积层计算输出的集合输出构成，包括第一条线路0卷积层、第二条线路二层卷积层和第三条线路三层卷积层，纹理特征形成了卷积网络的激活函数；
所述第一条线路0卷积层：对有效颜色、边缘特征的提取集合输出的像素点矩阵数据不做任何操作直接输出至集合；
所述第二条线路二层卷积层：底层卷积层通过192个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过1154个1×1像素点矩阵卷积核对底层卷积层卷积计算有效结果和第三条线路第三卷积层卷积计算有效结果之和进行卷积计算输出至集合；所述第三条线路三层卷积层：底层卷积层通过128个1×1像素点矩阵卷积核对有效颜色、边缘特征的提取集合输出的像素点矩阵数据进行卷积计算，第二卷积层通过160个1×7像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过192个7×1像素点矩阵卷积核对第二层卷积层卷积计算有效结果进行卷积计算输出至第二条线路第二卷积层；
其中：至少三条线路卷积层或卷积层加池化层计算输出的集合输出构成了对图像中物体颜色、边缘特征和纹理特征的提取，每一条线路的卷积层数各不相同；
对边缘、纹理之间关联特征提取的卷积层计算的线路数大于对图像中物体颜色、边缘和纹理特征提取的卷积层计算的线路数；
所述等级划分神经网络模型是预先针对不同的碎钢散落状态获取图像，目测确定图像的碎钢等级，然后对已知不同等级的图像进行所述图像数据特征的提取，接下来对提取的不同等级图像数据特征进行学习形成模型中的等级划分输出分类器，最后由分类器实现针对输入的每一图像输出相对应的等级划分。
2.根据权利要求1所述的废钢等级分类检测方法，其特征在于，所述方法进一步包括判断电磁铁吸盘是否移出车厢，是否可以进行有效图像拍摄，其过程是：在拍摄有效图像前，首先拍摄一张整体图像，对所述整体图像进行图像处理提取图像中物体的边缘图像特征，将边缘图像特征送入一个电磁铁吸盘判断神经网络模型，用电磁铁吸盘判断神经网络模型判断是否存在电磁铁吸盘，如果存在电磁铁吸盘，则不进行有效图像拍摄；如果不存在电磁铁吸盘，则进行有效图像拍摄。
3.根据权利要求2所述的废钢等级分类检测方法，其特征在于，所述确定图像的碎钢等级是由专业小组通过人眼识别讨论确定的。
4.根据权利要求3所述的废钢等级分类检测方法，其特征在于，在颜色、边缘和纹理特征提取的卷积层计算的线路数是3条时，所述对边缘、纹理之间关联特征提取的卷积层计算的线路数是4条，包括第一条线路一池化层、第二条线路二层卷积层、第三条线路二层卷积层和第四条线路三层卷积层；
其中：
所述第一条线路一层池化层：池化层通过3×3像素点矩阵作为滑动窗口、以2做为步长对有效图像画面像素点矩阵数据进行最大池化计算输出至集合；
所述第二条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过384个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第三条线路二层卷积层：底层卷积层通过256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核、以步长为2对底层卷积层卷积计算有效结果进行卷积计算输出至集合；
所述第四条线路三层卷积层：底层卷积层通过对256个1×1像素点矩阵卷积核对有效图像画面像素点矩阵数据进行卷积计算，第二卷积层通过388个3×3像素点矩阵卷积核对底层卷积层卷积计算有效结果进行卷积计算，第三卷积层通过320个3×3像素点矩阵卷积核、以步长为2对第二层卷积层卷积计算有效结果进行卷积计算输出至集合。
5.根据权利要求4所述的废钢等级分类检测方法，其特征在于，所述图像进行预处理包括去除无效水印处理和提高图像对比度处理，去除无效水印处理采用的是膨胀腐蚀处理方法，提高图像对比度处理采用的是直方图均衡化处理方法。
CN201910958596.9A 2019-10-10 2019-10-10 一种收储中的废钢等级分类检测方法 Active CN110717455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910958596.9A CN110717455B (zh) 2019-10-10 2019-10-10 一种收储中的废钢等级分类检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910958596.9A CN110717455B (zh) 2019-10-10 2019-10-10 一种收储中的废钢等级分类检测方法

Publications (2)

Publication Number Publication Date
CN110717455A CN110717455A (zh) 2020-01-21
CN110717455B true CN110717455B (zh) 2021-05-18

Family

ID=69211315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910958596.9A Active CN110717455B (zh) 2019-10-10 2019-10-10 一种收储中的废钢等级分类检测方法

Country Status (1)

Country Link
CN (1) CN110717455B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292026A (zh) * 2020-04-27 2020-06-16 江苏金恒信息科技股份有限公司 一种基于神经网络模型融合的废钢评级方法及装置
WO2021220987A1 (ja) * 2020-04-30 2021-11-04 Ｊｆｅスチール株式会社 スクラップ判別システム、及びスクラップ判別方法
CN113191176A (zh) * 2020-06-08 2021-07-30 阿里巴巴集团控股有限公司 数据处理方法和装置
CN112308003B (zh) * 2020-11-06 2023-04-28 中冶赛迪信息技术(重庆)有限公司 一种废钢货车装载状态识别方法、系统、设备及介质
CN112308849A (zh) * 2020-11-06 2021-02-02 中冶赛迪重庆信息技术有限公司 一种废钢物料质量检测方法、系统、电子设备及介质
CN112744439A (zh) * 2021-01-15 2021-05-04 湖南镭目科技有限公司 一种基于深度学习技术的废钢远程监控系统
CN112881412B (zh) * 2021-02-01 2023-03-10 南京耘瞳科技有限公司 一种废钢产品中非金属异物检测方法
CN112801391B (zh) * 2021-02-04 2021-11-19 科大智能物联技术股份有限公司 一种人工智能废钢扣杂评级方法及系统
CN113834428B (zh) * 2021-07-29 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备
CN113743210A (zh) * 2021-07-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法和废钢等级的识别方法
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN113627830A (zh) * 2021-09-08 2021-11-09 西安智者云集云计算有限公司 一种废钢的评级系统及方法
CN113642539B (zh) * 2021-10-14 2022-04-22 阿里巴巴达摩院(杭州)科技有限公司 一种货物处理、废钢处理方法和装置
CN114078126B (zh) * 2022-01-19 2022-04-26 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN114998318B (zh) * 2022-07-18 2022-10-25 聊城一明五金科技有限公司 用于废钢处理工艺中的废钢等级识别方法
CN115159150B (zh) * 2022-09-07 2022-12-20 江苏金恒信息科技股份有限公司 一种废钢进场控制方法、系统及计算机可读存储介质
CN116561668A (zh) * 2023-07-11 2023-08-08 深圳传趣网络技术有限公司 聊天会话的风险等级划分方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115864A (ja) * 2003-10-10 2005-04-28 Hiroya Matsuno 素材スクラップのリサイクル使用評価方法およびプログラム
CN103544066A (zh) * 2013-11-06 2014-01-29 浪潮(北京)电子信息产业有限公司 云操作系统中资源等级自动分类方法和装置
CN105665310A (zh) * 2016-03-11 2016-06-15 深圳市利美泰克自控设备有限公司 放射性固体废物检测分类方法及系统
CN106874948A (zh) * 2017-02-08 2017-06-20 武汉海卓科科技有限公司 一种黑臭水自动识别与评估方法
CN107679579A (zh) * 2017-10-17 2018-02-09 天津工业大学 基于深度学习的红枣品质分选方法
CN108364281A (zh) * 2018-01-08 2018-08-03 佛山市顺德区中山大学研究院 一种基于卷积神经网络的织带边缘毛疵缺陷检测方法
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
CN109657584A (zh) * 2018-12-10 2019-04-19 长安大学 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
KR101981031B1 (ko) * 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 인공지능 기반 철 스크랩 플랫폼
CN109919243A (zh) * 2019-03-15 2019-06-21 天津拾起卖科技有限公司 一种基于cnn的废钢铁种类自动识别方法及装置
CN110009051A (zh) * 2019-04-11 2019-07-12 浙江立元通信技术股份有限公司 特征提取单元及方法、dcnn模型、识别方法及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845524B (zh) * 2016-12-28 2020-01-03 田欣利 一种渗碳淬火钢磨削表层组织与烧伤智能识别方法
CN109692877B (zh) * 2018-12-29 2020-11-10 中冶南方工程技术有限公司 一种冷轧带钢表面质量管理系统及方法
CN110175976A (zh) * 2019-01-23 2019-08-27 上海应用技术大学 基于机器视觉的crtsⅱ板式无砟轨道裂缝检测分类方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115864A (ja) * 2003-10-10 2005-04-28 Hiroya Matsuno 素材スクラップのリサイクル使用評価方法およびプログラム
CN103544066A (zh) * 2013-11-06 2014-01-29 浪潮(北京)电子信息产业有限公司 云操作系统中资源等级自动分类方法和装置
CN105665310A (zh) * 2016-03-11 2016-06-15 深圳市利美泰克自控设备有限公司 放射性固体废物检测分类方法及系统
CN106874948A (zh) * 2017-02-08 2017-06-20 武汉海卓科科技有限公司 一种黑臭水自动识别与评估方法
CN107679579A (zh) * 2017-10-17 2018-02-09 天津工业大学 基于深度学习的红枣品质分选方法
CN108364281A (zh) * 2018-01-08 2018-08-03 佛山市顺德区中山大学研究院 一种基于卷积神经网络的织带边缘毛疵缺陷检测方法
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
KR101981031B1 (ko) * 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 인공지능 기반 철 스크랩 플랫폼
CN109657584A (zh) * 2018-12-10 2019-04-19 长安大学 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
CN109919243A (zh) * 2019-03-15 2019-06-21 天津拾起卖科技有限公司 一种基于cnn的废钢铁种类自动识别方法及装置
CN110009051A (zh) * 2019-04-11 2019-07-12 浙江立元通信技术股份有限公司 特征提取单元及方法、dcnn模型、识别方法及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Classification of Steel Scrap in the EAFProcessUsing Image Analysis Methods》;T.Wieczorek等;《Archives of Metallurgy and Materials》;20081231;第53卷(第2期);第613-616页 *
《Using Machine Learning for scrap metal classification》;Manuel Robalinho等;《Doctoral Congress in Engineering 2019》;20190630;第1-2页 *
《基于MATLAB神经网络的埋地钢制管道土壤腐蚀等级评价》;程兴 等;《中国化工装备》;20180718;第20卷(第04期);第41-48页 *

Also Published As

Publication number Publication date
CN110717455A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717455B (zh) 一种收储中的废钢等级分类检测方法
CN110660074B (zh) 一种建立废钢等级划分神经网络模型方法
CN111951237B (zh) 外观视觉检测方法
CN106093066B (zh) 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法
CN109872300B (zh) 一种摩擦片外观缺陷的视觉显著性检测方法
CN107862677A (zh) 一种基于梯度类间阈值算法的隧道衬砌裂缝识别方法及系统
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN106682601A (zh) 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN112990227A (zh) 掌子面地质检测方法
CN107490583A (zh) 一种基于机器视觉的夹片缺陷检测方法
CN112801391A (zh) 一种人工智能废钢扣杂评级方法及系统
CN108287010A (zh) 一种螃蟹多指标分级装置与方法
CN113159061B (zh) 一种基于实例分割的实际隧道围岩碴片识别方法
CN104850854A (zh) 一种滑石矿品分选处理方法及滑石矿品分选系统
CN111814678A (zh) 一种基于视频监控的运输皮带中煤流识别方法及系统
CN114332026A (zh) 一种铭牌表面划痕缺陷的视觉检测方法及装置
CN108280838A (zh) 一种基于边缘检测的夹片牙型缺陷检测方法
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别系统
CN103245666B (zh) 一种蓄电池极板外观缺陷自动检测方法
TWI787943B (zh) 廢料判別系統及廢料判別方法
CN111539251A (zh) 一种基于深度学习的安检物品识别方法和系统
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及系统
Tang et al. Surface inspection system of steel strip based on machine vision
CN113673614A (zh) 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN113810605A (zh) 目标对象处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant