CN108510488A - 基于残差网络的输送带四种损伤检测方法 - Google Patents

基于残差网络的输送带四种损伤检测方法 Download PDF

Info

Publication number
CN108510488A
CN108510488A CN201810286866.1A CN201810286866A CN108510488A CN 108510488 A CN108510488 A CN 108510488A CN 201810286866 A CN201810286866 A CN 201810286866A CN 108510488 A CN108510488 A CN 108510488A
Authority
CN
China
Prior art keywords
residual error
value
error network
sample
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810286866.1A
Other languages
English (en)
Other versions
CN108510488B (zh
Inventor
韩涛
黄友锐
徐善永
凌六
凌六一
唐超礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201810286866.1A priority Critical patent/CN108510488B/zh
Publication of CN108510488A publication Critical patent/CN108510488A/zh
Application granted granted Critical
Publication of CN108510488B publication Critical patent/CN108510488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/06—Control devices, e.g. for safety, warning or fault-correcting interrupting the drive in case of driving element breakage; Braking or stopping loose load-carriers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明公开了一种基于残差网络的输送带四种损伤检测方法，其包括：录制输送带运行视频，从视频中抽取图片样本并进行预处理，划分训练数据集和测试数据集，构建残差网络并用训练数据集进行训练，用测试数据集进行评估，使用符合要求的残差网络对输送带进行实时检测的一系列过程，实现了对输送带“撕裂”、“划伤”、“削边”、“坑洞”四种损伤的实时检测。该方法通过视频实现输送带四种损伤的检测，避免了使用大量传感器检测装置的繁琐工作，节约了成本，使用残差网络构建识别网络提高了网络训练的精度，减小了识别的错误率。

Description

基于残差网络的输送带四种损伤检测方法
技术领域
本发明涉及一种基于残差网络图像识别技术的输送带“撕裂”、“划伤”、“削边”和“坑洞” 的检测方法。
背景技术
带式输送机是散状物料运输的主要设备，它广泛用于港口、化工、矿山、粮食生产等工 业领域。带式输送机上的输送带经常会在运输使用过程中不可避免的产生“撕裂”、“划伤”、“削 边”、“坑洞”四种损伤，这些损伤如果不能及时发现并得到有效处理，会严重影响输送带的使 用寿命，造成严重的经济损失和安全事故。现有的一些方法更多的是针对于输送带纵向撕裂 所设计的一些检测方法，对输送带常见的“撕裂”、“划伤”、“削边”、“坑洞”四种损伤同时进行 检测的研究还较少，而且需要针对不同的种类的损伤安装不同的检测设备，这就造成了使用 的传感器数量巨大，安装繁琐，系统复杂度高，成本较高，效果不够理想。
发明内容
针对上述问题，本发明的目的是为了提供一种基于残差网络图像识别技术的输送带“撕 裂”、“划伤”、“削边”和“坑洞”四种损伤的检测方法。在避免了安装各种大量传感器监测设备 的同时，实现同时对输送带“撕裂”、“划伤”、“削边”和“坑洞”四种损伤检测的功能，降低了使 用运行成本，避免了安全事故。
为了达到上述目的，本发明所采用的技术方案为：
基于残差网络的输送带四种损伤检测方法，其特征在于，所述方法包括下述步骤：
(1)在各种环境和各种条件下录制输送带视频,在输送带上方安装摄像机或使用现有输 送带监控摄像机对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同 光照强度和不同温湿度环境下的输送带视频数据；
(2)从录制的视频中抽取图片样本并对其进行预处理：
(2a)从录制的输送带视频中逐帧截取图片；
(2b)从获取的图片中选取输送带“无损伤”、“撕裂”、“划伤”、“削边”和“坑洞”5 种状态的图片各N张(N≥20000)，要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(2c)对选取的5种状态各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行 中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位 置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素 上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(2d)选择图片中输送带所在位置的方形区域(x,y,height,wide)作为ROI(regionof interest)区域，对滤波后的每张图片进行截图，生成ROI图片样本集，其中(x,y)表示ROI区 域左上角坐标在滤波后图片中的位置坐标，(height，wide)分别表示ROI区域的高度和宽度， 且height＝wide；
(2e)为输送带的4种损伤共5种状态建立标签(Label)值表：“无异常”＝0，“撕裂”＝1， “划伤”＝2，“削边”＝3，“坑洞”＝4；
(2f)将ROI图片样本集中所有的图片样本设置其对应的状态标签值；
(3)将预处理好的图片样本划分为训练数据集和测试数据集,从ROI图片样本集中选取 “无异常”、“撕裂”、“划伤”、“削边”和“坑洞”状态的图片样本各15000张，在选 取每种状态15000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和 不同温湿度环境的各种情况，再将这5种状态的75000张图片样本按照随机顺序进行摆放， 并按照摆放的顺序将每张图片样本的图片名和对应的状态标签值保存到train_label.txt文 件中，这75000张图片样本和train_label.txt文件构成了训练数据集；按同样的方法，从ROI图片样本集剩余的图片样本中随机选各种状态共10000张图片样本，按照随机顺序进行摆放， 并将此10000张图片样本的图片名和对应的状态标签值按照摆放顺序保存到test_label.txt 文件中，将此10000张图片样本和test_label.txt文件作为测试数据集；
(4)构建残差网络并用训练数据集进行训练，残差网络是一个用软件实现的算法程序， 主要由L个残差块，1个平均池化层，2个全连接层和1个Softmax单元构成，每个残差块都由 2个3×3卷积层和2个ReLU单元构成；在残差块中，输入数据a[i]，经过第1个3×3卷积层 输出为z[i+1]＝w[i+1]a[i]+b[i+1]，经过第1个ReLU输出为a[i+1]＝g(z[i+1])，经过第2个3×3卷积 层输出为z[i+2]＝w[i+2]a[i+1]+b[i+2]，经过第2个ReLU输出为a[i+2]＝g(z[i+2]+a[i])；在整个残差网 络中输入端为样本a[0]，输入到残差块1后输出为a[2]，依次经过L个残差块后输出为a[2L],再经 过平均池化层输出为a[2L+1],经过全连接层1输出为a[2L+2]＝g(w[2L+2]a[2L+1]+b[2L+2])，再经过全 连接层2输出为a[2L+3]＝g(w[2L+3]a[2L+2]+b[2L+3])，最后经过Softmax单元输出判断结果其 中，计算公式符号的上标[]中的值表示的是残差网络中对应的层数，且ReLU单元不作为一个 单独网络层；a[i]表示残差网络中第i层的输出值，a[0]为输入残差网络的样本值设为第0层，Softmax单元输出的是输送带5种状态可能出现的概率选择概 率最大的值作为最终判断结果残差网络中各层所有w和b的值都是残 差网络经过训练后所需要确定的参数，用w[i]和b[i]表示；激活函数g(k)＝max(0,k)，max() 函数的值为()中较大的一个参数值；残差网络构建完成后，使用训练数据集进行残差网络训 练，训练步骤如下：
(4a)随机初始化残差网络中各层所有参数w[i]和b[i]的值，设置迭代数S，学习率lr，设置 输入ai为训练数据集中第1个样本ai＝a0，其中下标i表示第i个图片样本，a0表示训练数据集中 第1个图片样本；
(4b)向残差网络输入层a[0]中输入图片样本ai，
(4c)通过网络进行逐步计算得到输出判断值
(4d)使用样本标签值y和判断值计算输出交叉熵损失函数损失函数 分别表示当前图片样本状态的真实值和残差网络输出的判断值， 真实状态值y从train_label.txt中获取；
(4f)使用lr、ΔW[i]和Δb[i]的值更新残差网络中所有参数w[i]和b[i]的值， w[i]＝w[i]-lr*△w[i]，b[i]＝b[i]-lr*△b[i]；
(4g)判断是否为训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个 样本即xi＝xi+1，则跳转到(4b)；若是最后1个样本，则跳转到(4h)；
(4h)判断迭代是否结束，如果没有结束，则重新选择训练数据集第1个样本即xi＝x0，迭 代数S＝S-1，跳到(4b)，如果迭代结束S＝0，则跳转到(4i)；
(4i)将残差网络中的所有参数w[i]和b[i]的值固定并保存，训练结束；
(5)用测试数据集对训练好的残差网络进行评估,将测试数据集中所有图片样本依次输 入到残差网络中，记录下每张图片样本的输出判断值并将值与test_label.txt文件中 设置的对应标签值y进行比较，在测试数据集中所有图片样本全部判断完成后，计算出判断准 确率其中表示残差网络在测试数据集中判断正确的图片样本数量，Ntest_label表示测试数据集中总的图片样本数量；判断残差网络在测试集中的 判断准确率是否符合要求，如果不符合要求，则调整残差网络中残差块的数量L的值，迭代次 数S的值和学习率lr的值，返回(4)运行；若符合要求，则跳转到(6)；
(6)使用符合要求的残差网络对输送带进行实时检测，将符合要求的残差网络程序部署 到生产现场中，摄像机对输送带进行实时拍摄，将拍摄到的视频每一帧图片截取ROI区域 (x,y,height,wide)后输入到残差网络中，残差网络计算出判断结果其为“无损伤”、“撕 裂”、“划伤”、“削边”和“坑洞”的5种状态之一，从而实现实时检测输送带四种损伤情况的功能。
本发明有益效果体现在：
带式输送机的输送带在使用过程中经常会受到所运物品或其他设备的各种损伤，常见的 为“撕裂”、“划伤”、“削边”和“坑洞”四种，而如果不及时发现并进行处理就会对生产和安全 造成巨大影响。要进行及时有效处理首先就需要能够进行准确识别损伤情况，本发明能对“撕 裂”、“划伤”、“削边”和“坑洞”四种损伤实时检测并识别出损伤类别，为后续的进一步处理提 供了极大便利。本发明使用视频进行检测识别，所需要的硬件支持十分简单，只需要一个摄 像装置和一台能运行残差网络的电脑即可实现对四种损伤的实时检测，甚至可以直接改造现 场已有的输送带视频监测装置即可实现，避免了同时检测四种损伤所需要安装数量巨大的传 感器设备所带来的巨大工作量，减少了使用运行成本，降低了复杂度。本发明使用残差网络 进行识别，不仅可以同时对四种损伤进行检测，而且可以轻易的扩展到更多损伤情况的检测 识别，只需要收集更多损伤的图片样本，增加损伤种类对应标签值，通过继续训练即可实现 扩展，扩展功能强大。残差网络可以轻松增加网络层数，用更深的网络提高损伤判别正确率， 并且残差网络避免了网络层数过多时，训练网络会出现的梯度爆炸或梯度消失的问题，使得 网络参数的训练更加快速，能更快的投入到生产使用中，提高了生产使用效率，节约了成本。
附图说明
图1为本发明方法的整体流程框图。
图2为本发明方法的获取图片样本并进行预处理的流程图。
图3为本发明方法的训练数据集和测试数据集划分方法流程图。
图4为本发明方法的残差块结构框图。
图5为本发明方法的残差网络结构框图。
图6为本发明方法的残差网络训练流程图。
具体实施方式
如图1所示，基于残差网络输送带四种损伤检测方法的过程为：
(1)在各种环境和各种条件下录制输送带视频,在输送带上方安装摄像机或使用现有输 送带监控摄像机对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同 光照强度和不同温湿度环境下的输送带视频数据；
(2)从录制的视频中抽取图片样本并对其进行预处理；
(3)将预处理好的图片样本划分为训练数据集和测试数据集；
(4)构建残差网络并用训练数据集进行训练；
(5)用测试数据集对训练好的残差网络进行评估,将测试数据集中所有图片样本依次输 入到残差网络中，记录下每张图片样本的输出判断值并将值与test_label.txt文件中 设置的对应标签值y进行比较，在测试数据集中所有图片样本全部判断完成后，计算出判断准 确率其中表示残差网络在测试数据集中判断正确的图片样本数量，Ntest_label表示测试数据集中总的图片样本数量；判断残差网络在测试集中的 判断准确率是否符合要求，如果不符合要求，则调整残差网络中残差块的数量L的值，迭代次 数S的值和学习率lr的值，返回(4)运行；若符合要求，则跳转到(6)；
(6)使用符合要求的残差网络对输送带进行实时检测，将符合要求的残差网络程序部署 到生产现场中，摄像机对输送带进行实时拍摄，将拍摄到的视频每一帧图片截取ROI区域 (x,y,height,wide)后输入到残差网络中，残差网络计算出判断结果其为“无损伤”、“撕 裂”、“划伤”、“削边”和“坑洞”的5种状态之一，从而实现实时检测输送带四种损伤情况的功能。
如图2所示，本发明方法获取图片样本和预处理的过程为：
(2a)从录制的输送带视频中逐帧截取图片；
(2b)从获取的图片中选取输送带“无损伤”、“撕裂”、“划伤”、“削边”和“坑洞”5 种状态的图片各N张(N≥20000)，要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(2c)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图 片信息，对选取的5种状态各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行 中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位 置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素 上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(2d)选择图片中输送带所在位置的方形区域(x,y,height,wide)作为ROI(regionof interest)区域，对滤波后的每张图片进行截图，生成ROI图片样本集，其中(x,y)表示ROI区 域左上角坐标在滤波后图片中的位置坐标，(height，wide)分别表示ROI区域的高度和宽度， 且height＝wide；
(2e)为输送带的4种损伤共5种状态建立标签(Label)值表：“无异常”＝0，“撕裂”＝1， “划伤”＝2，“削边”＝3，“坑洞”＝4；
(2f)将ROI图片样本集中所有的图片样本设置其对应的状态标签值；
如图3所示，本发明方法的训练数据集和测试数据集划分方法为：从ROI图片样本集中选 取“无异常”、“撕裂”、“划伤”、“削边”和“坑洞”状态的图片样本各15000张，在 选取每种状态15000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度 和不同温湿度环境的各种情况，再将这5种状态的75000张图片样本按照随机顺序进行摆放， 并按照摆放的顺序将每张图片样本的图片名和对应的状态标签值保存到train_label.txt文件中，这75000张图片样本和train_label.txt文件构成了训练数据集；按同样的方法，从ROI 图片样本集剩余的图片样本中随机选各种状态共10000张图片样本，按照随机顺序进行摆放， 并将此10000张图片样本的图片名和对应的状态标签值按照摆放顺序保存到test_label.txt 文件中，将此10000张图片样本和test_label.txt文件作为测试数据集；
如图4所示，本发明方法的残差块结构为：每个残差块都由2个3×3卷积层和2个ReLU 单元构成；在残差块中，输入数据a[i]，经过第1个3×3卷积层输出为z[i+1]＝w[i+1]a[i]+b[i+1]， 经过第1个ReLU输出为a[i+1]＝g(z[i+1])，经过第2个3×3卷积层输出为z[i+2]＝w[i+2]a[i+1]+b[i+2]， 经过第2个ReLU输出为a[i+2]＝g(z[i+2]+a[i])；其中，计算公式符号的上标[]中的值表示的是 残差网络中对应的层数，且ReLU单元不作为一个单独网络层；a[i]表示残差网络中第i层的 输出值；
如图5所示，本发明方法的残差网络结构为：残差网络是一个用软件实现的算法程序， 主要由L个残差块，1个平均池化层，2个全连接层和1个Softmax单元构成，在整个残差网 络中输入端为样本a[0]，输入到残差块1后输出为a[2]，依次经过L个残差块后输出为a[2L],再 经过平均池化层输出为a[2L+1],经过全连接层1输出为a[2L+2]＝g(w[2L+2]a[2L+1]+b[2L +2])，再经过 全连接层2输出为a[2L+3]＝g(w[2L+3]a[2L+2]+b[2L+3])，最后经过Softmax单元输出判断结果其中，计算公式符号的上标[]中的值表示的是残差网络中对应的层数，且ReLU单元不作为一 个单独网络层；a[i]表示残差网络中第i层的输出值，a[0]为输入残差网络的样本值设为第0层， Softmax单元输出的是输送带5种状态可能出现的概率选择概率最大的值作为最终判断结果残差网络中各层所有w和b的值都 是残差网络经过训练后所需要确定的参数，用w[i]和b[i]表示；激活函数g(k)＝max(0,k)，max() 函数的值为()中较大的一个参数值；
如图6所示，本发明方法的残差网络训练过程为：
(4a)随机初始化残差网络中各层所有参数w[i]和b[i]的值，设置迭代数S，学习率lr，设置 输入ai为训练数据集中第1个样本ai＝a0，其中下标i表示第i个图片样本，a0表示训练数据集中 第1个图片样本；
(4b)向残差网络输入层a[0]中输入图片样本ai，
(4c)通过网络进行逐步计算得到输出判断值
(4d)使用样本标签值y和判断值计算输出交叉熵损失函数损失函数 分别表示当前图片样本状态的真实值和残差网络输出的判断值， 真实状态值y从train_label.txt中获取；
(4f)使用lr、ΔW[i]和Δb[i]的值更新残差网络中所有参数w[i]和b[i]的值， w[i]＝w[i]-lr*△w[i]，b[i]＝b[i]-lr*△b[i]；
(4g)判断是否为训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个 样本即xi＝xi+1，则跳转到(4b)；若是最后1个样本，则跳转到(4h)；
(4h)判断迭代是否结束，如果没有结束，则重新选择训练数据集第1个样本即xi＝x0，迭 代数S＝S-1，跳到(4b)，如果迭代结束S＝0，则跳转到(4i)；
(4i)将残差网络中的所有参数w[i]和b[i]的值固定并保存，训练结束。

Claims (1)

1.基于残差网络的输送带四种损伤检测方法，其特征在于，所述方法包括下述步骤：
(1)在各种环境和各种条件下录制输送带视频,在输送带上方安装摄像机或使用现有输送带监控摄像机对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(2)从录制的视频中抽取图片样本并对其进行预处理：
(2a)从录制的输送带视频中逐帧截取图片；
(2b)从获取的图片中选取输送带“无损伤”、“撕裂”、“划伤”、“削边”和“坑洞”5种状态的图片各N张(N≥20000)，要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(2c)对选取的5种状态各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(2d)选择图片中输送带所在位置的方形区域(x,y,height,wide)作为ROI(region ofinterest)区域，对滤波后的每张图片进行截图，生成ROI图片样本集，其中(x,y)表示ROI区域左上角坐标在滤波后图片中的位置坐标，(height，wide)分别表示ROI区域的高度和宽度，且height＝wide；
(2e)为输送带的4种损伤共5种状态建立标签(Label)值表：“无异常”＝0，“撕裂”＝1，“划伤”＝2，“削边”＝3，“坑洞”＝4；
(2f)将ROI图片样本集中所有的图片样本设置其对应的状态标签值；
(3)将预处理好的图片样本划分为训练数据集和测试数据集,从ROI图片样本集中选取“无异常”、“撕裂”、“划伤”、“削边”和“坑洞”状态的图片样本各15000张，在选取每种状态15000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将这5种状态的75000张图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张图片样本的图片名和对应的状态标签值保存到train_label.txt文件中，这75000张图片样本和train_label.txt文件构成了训练数据集；按同样的方法，从ROI图片样本集剩余的图片样本中随机选各种状态共10000张图片样本，按照随机顺序进行摆放，并将此10000张图片样本的图片名和对应的状态标签值按照摆放顺序保存到test_label.txt文件中，将此10000张图片样本和test_label.txt文件作为测试数据集；
(4)构建残差网络并用训练数据集进行训练，残差网络是一个用软件实现的算法程序，主要由L个残差块，1个平均池化层，2个全连接层和1个Softmax单元构成，每个残差块都由2个3×3卷积层和2个ReLU单元构成；在残差块中，输入数据a[i]，经过第1个3×3卷积层输出为z[i+1]＝w[i+1]a[i]+b[i+1]，经过第1个ReLU输出为a[i+1]＝g(z[i+1])，经过第2个3×3卷积层输出为z[i+2]＝w[i+2]a[i+1]+b[i+2]，经过第2个ReLU输出为a[i+2]＝g(z[i+2]+a[i])；在整个残差网络中输入端为样本a[0]，输入到残差块1后输出为a[2]，依次经过L个残差块后输出为a[2L],再经过平均池化层输出为a[2L+1],经过全连接层1输出为a[2L+2]＝g(w[2L+2]a[2L+1]+b[2L+2])，再经过全连接层2输出为a[2L+3]＝g(w[2L+3]a[2L+2]+b[2L+3])，最后经过Softmax单元输出判断结果其中，计算公式符号的上标[]中的值表示的是残差网络中对应的层数，且ReLU单元不作为一个单独网络层；a[i]表示残差网络中第i层的输出值，a[0]为输入残差网络的样本值设为第0层，Softmax单元输出的是输送带5种状态可能出现的概率选择概率最大的值作为最终判断结果残差网络中各层所有w和b的值都是残差网络经过训练后所需要确定的参数，用w[i]和b[i]表示；激活函数g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值；残差网络构建完成后，使用训练数据集进行残差网络训练，训练步骤如下：
(4a)随机初始化残差网络中各层所有参数w[i]和b[i]的值，设置迭代数S，学习率lr，设置输入ai为训练数据集中第1个样本ai＝a0，其中下标i表示第i个图片样本，a0表示训练数据集中第1个图片样本；
(4b)向残差网络输入层a[0]中输入图片样本ai，
(4c)通过网络进行逐步计算得到输出判断值
(4d)使用样本标签值y和判断值计算输出交叉熵损失函数损失函数 分别表示当前图片样本状态的真实值和残差网络输出的判断值，真实状态值y从train_label.txt中获取；
(4e)使用反向传播算法计算出残差网络各层每个参数w[i]和b[i]的变化值ΔW[i]和Δb[i]，
(4f)使用lr、ΔW[i]和Δb[i]的值更新残差网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*△w[i]，b[i]＝b[i]-lr*△b[i]；
(4g)判断是否为训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本即xi＝xi+1，则跳转到(4b)；若是最后1个样本，则跳转到(4h)；
(4h)判断迭代是否结束，如果没有结束，则重新选择训练数据集第1个样本即xi＝x0，迭代数S＝S-1，跳到(4b)，如果迭代结束S＝0，则跳转到(4i)；
(4i)将残差网络中的所有参数w[i]和b[i]的值固定并保存，训练结束；
(5)用测试数据集对训练好的残差网络进行评估,将测试数据集中所有图片样本依次输入到残差网络中，记录下每张图片样本的输出判断值并将值与test_label.txt文件中设置的对应标签值y进行比较，在测试数据集中所有图片样本全部判断完成后，计算出判断准确率其中表示残差网络在测试数据集中判断正确的图片样本数量，Ntest_label表示测试数据集中总的图片样本数量；判断残差网络在测试集中的判断准确率是否符合要求，如果不符合要求，则调整残差网络中残差块的数量L的值，迭代次数S的值和学习率lr的值，返回(4)运行；若符合要求，则跳转到(6)；
(6)使用符合要求的残差网络对输送带进行实时检测，将符合要求的残差网络程序部署到生产现场中，摄像机对输送带进行实时拍摄，将拍摄到的视频每一帧图片截取ROI区域(x,y,height,wide)后输入到残差网络中，残差网络计算出判断结果其为“无损伤”、“撕裂”、“划伤”、“削边”和“坑洞”的5种状态之一，从而实现实时检测输送带四种损伤情况的功能。
CN201810286866.1A 2018-03-30 2018-03-30 基于残差网络的输送带四种损伤检测方法 Active CN108510488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810286866.1A CN108510488B (zh) 2018-03-30 2018-03-30 基于残差网络的输送带四种损伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810286866.1A CN108510488B (zh) 2018-03-30 2018-03-30 基于残差网络的输送带四种损伤检测方法

Publications (2)

Publication Number Publication Date
CN108510488A true CN108510488A (zh) 2018-09-07
CN108510488B CN108510488B (zh) 2019-09-20

Family

ID=63379818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810286866.1A Active CN108510488B (zh) 2018-03-30 2018-03-30 基于残差网络的输送带四种损伤检测方法

Country Status (1)

Country Link
CN (1) CN108510488B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109305534A (zh) * 2018-10-25 2019-02-05 安徽理工大学 基于计算机视觉的煤码头带式输送机自适应控制方法
CN109543571A (zh) * 2018-11-07 2019-03-29 西安交通大学 一种面向复杂产品异形加工特征的智能识别与检索方法
CN109879005A (zh) * 2019-04-15 2019-06-14 天津美腾科技有限公司 皮带撕裂检测装置及方法
CN109883990A (zh) * 2019-02-28 2019-06-14 吉林大学 一种药用真菌近红外光谱分析方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
CN111351665A (zh) * 2018-12-24 2020-06-30 中国科学院沈阳计算技术研究所有限公司 基于emd和残差神经网络的滚动轴承故障诊断方法
CN111591715A (zh) * 2020-05-28 2020-08-28 华中科技大学 一种皮带纵向撕裂检测方法及装置
CN111652873A (zh) * 2020-06-04 2020-09-11 天津工业大学 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
CN111681223A (zh) * 2020-06-09 2020-09-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN113298750A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种环冷机掉轮的检测方法
CN113298751A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种辅门堵料的检测方法
CN113297886A (zh) * 2020-08-10 2021-08-24 湖南长天自控工程有限公司 一种基于卷积神经网络的料面点火效果检测方法及装置
CN113297885A (zh) * 2020-08-10 2021-08-24 湖南长天自控工程有限公司 基于卷积神经网络的皮带机表面状态检测方法及装置
CN113588659A (zh) * 2021-07-23 2021-11-02 西安华光信息技术有限责任公司 基于视频图像的带式输送机纵撕检测方法、装置及系统
CN113702393A (zh) * 2021-09-29 2021-11-26 安徽理工大学 一种本安型矿用输送带表面损伤检测系统及检测方法
CN116051554A (zh) * 2023-03-31 2023-05-02 潍坊百特磁电科技有限公司 一种基于除铁器输送带的检测预警方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227604A (zh) * 2007-01-18 2008-07-23 上海未来宽带技术及应用工程研究中心有限公司 一种通过网络损伤度检测网络视频质量的方法
CN101246144A (zh) * 2007-02-13 2008-08-20 上海海事大学 一种钢丝绳芯输送带损伤的检测方法及其装置
CN102275723A (zh) * 2011-05-16 2011-12-14 天津工业大学 一种基于机器视觉的输送带在线监测系统和方法
CN203187033U (zh) * 2013-02-04 2013-09-11 江苏中科百易矿业科技有限公司 激光视觉输送带损伤检测装置
CN104555340B (zh) * 2013-10-24 2016-08-24 宝山钢铁股份有限公司 输送带损伤预警装置
CN106248694A (zh) * 2016-11-02 2016-12-21 苏州鼎纳自动化技术有限公司 一种万向十字轴缺陷检测装置及其检测方法
CN107423744A (zh) * 2017-03-23 2017-12-01 北京环境特性研究所 钢绳芯输送带的接头识别及损伤定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227604A (zh) * 2007-01-18 2008-07-23 上海未来宽带技术及应用工程研究中心有限公司 一种通过网络损伤度检测网络视频质量的方法
CN101246144A (zh) * 2007-02-13 2008-08-20 上海海事大学 一种钢丝绳芯输送带损伤的检测方法及其装置
CN102275723A (zh) * 2011-05-16 2011-12-14 天津工业大学 一种基于机器视觉的输送带在线监测系统和方法
CN203187033U (zh) * 2013-02-04 2013-09-11 江苏中科百易矿业科技有限公司 激光视觉输送带损伤检测装置
CN104555340B (zh) * 2013-10-24 2016-08-24 宝山钢铁股份有限公司 输送带损伤预警装置
CN106248694A (zh) * 2016-11-02 2016-12-21 苏州鼎纳自动化技术有限公司 一种万向十字轴缺陷检测装置及其检测方法
CN107423744A (zh) * 2017-03-23 2017-12-01 北京环境特性研究所 钢绳芯输送带的接头识别及损伤定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张子良: "钢丝绳芯输送带可视断带诊断系统的研究", 《工矿自动化》 *
朱平等: "钢丝绳芯输送带X射线检测系统图像分析算法", 《工矿自动化》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109305534A (zh) * 2018-10-25 2019-02-05 安徽理工大学 基于计算机视觉的煤码头带式输送机自适应控制方法
CN109543571A (zh) * 2018-11-07 2019-03-29 西安交通大学 一种面向复杂产品异形加工特征的智能识别与检索方法
CN111351665A (zh) * 2018-12-24 2020-06-30 中国科学院沈阳计算技术研究所有限公司 基于emd和残差神经网络的滚动轴承故障诊断方法
CN109883990A (zh) * 2019-02-28 2019-06-14 吉林大学 一种药用真菌近红外光谱分析方法
CN109879005A (zh) * 2019-04-15 2019-06-14 天津美腾科技有限公司 皮带撕裂检测装置及方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
CN111591715A (zh) * 2020-05-28 2020-08-28 华中科技大学 一种皮带纵向撕裂检测方法及装置
CN111652873A (zh) * 2020-06-04 2020-09-11 天津工业大学 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
CN111681223A (zh) * 2020-06-09 2020-09-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN111681223B (zh) * 2020-06-09 2023-04-18 安徽理工大学 基于卷积神经网络的低照度条件下矿井井壁检测方法
CN113297886A (zh) * 2020-08-10 2021-08-24 湖南长天自控工程有限公司 一种基于卷积神经网络的料面点火效果检测方法及装置
CN113297885A (zh) * 2020-08-10 2021-08-24 湖南长天自控工程有限公司 基于卷积神经网络的皮带机表面状态检测方法及装置
CN113298750A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种环冷机掉轮的检测方法
CN113298751A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种辅门堵料的检测方法
CN113588659A (zh) * 2021-07-23 2021-11-02 西安华光信息技术有限责任公司 基于视频图像的带式输送机纵撕检测方法、装置及系统
CN113702393A (zh) * 2021-09-29 2021-11-26 安徽理工大学 一种本安型矿用输送带表面损伤检测系统及检测方法
CN113702393B (zh) * 2021-09-29 2023-10-27 安徽理工大学 一种本安型矿用输送带表面损伤检测系统及检测方法
CN116051554A (zh) * 2023-03-31 2023-05-02 潍坊百特磁电科技有限公司 一种基于除铁器输送带的检测预警方法、设备及介质

Also Published As

Publication number Publication date
CN108510488B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN108510488B (zh) 基于残差网络的输送带四种损伤检测方法
CN109305534A (zh) 基于计算机视觉的煤码头带式输送机自适应控制方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN111431986B (zh) 基于5g和ai云边协同的工业智能质检系统
CN109879005A (zh) 皮带撕裂检测装置及方法
CN104198498B (zh) 基于自适应正交小波变换的布匹疵点检测方法及装置
CN110060251A (zh) 一种基于U-Net的建筑物表面裂纹检测方法
CN106326932A (zh) 一种基于神经网络的电力巡线图像自动识别方法、装置
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
EP3798924A1 (en) System and method for classifying manufactured products
CN110163852A (zh) 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN112762362A (zh) 基于卷积神经网络的水下管道泄漏声发射检测方法
CN107886065A (zh) 一种混合字体的数字序列识别方法
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
CN106991428A (zh) 基于自适应池化模型的害虫图像识别方法
CN112633132A (zh) 基于二维振动图像增强的轴承故障诊断方法及系统
CN111079645A (zh) 一种基于AlexNet网络的绝缘子自爆识别方法
CN110633738A (zh) 一种用于工业零件图像的快速分类方法
CN110599458A (zh) 基于卷积神经网络的地下管网检测评估云系统
CN116893175A (zh) 基于深度学习的连接器多工位多缺陷统一测量系统
CN113139572B (zh) 一种基于图像的列车空气弹簧的故障检测方法
CN116204830B (zh) 一种基于路径聚合网络的焊接异常实时检测方法
CN108764287A (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN103942792A (zh) 医药检测机器人中基于序列图像时域特征的杂质检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant