CN113781416A - 一种输送带撕裂检测方法、装置及电子设备 - Google Patents

一种输送带撕裂检测方法、装置及电子设备 Download PDF

Info

Publication number
CN113781416A
CN113781416A CN202111001337.0A CN202111001337A CN113781416A CN 113781416 A CN113781416 A CN 113781416A CN 202111001337 A CN202111001337 A CN 202111001337A CN 113781416 A CN113781416 A CN 113781416A
Authority
CN
China
Prior art keywords
image
cnn network
conveyor belt
result
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111001337.0A
Other languages
English (en)
Inventor
王贡献
刘志琪
孙晖
饶忠平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202111001337.0A priority Critical patent/CN113781416A/zh
Publication of CN113781416A publication Critical patent/CN113781416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种输送带撕裂检测方法、装置及电子设备,所述方法包括:获取输送带的图像,根据获取的图像生成训练集及测试集;通过方向梯度直方图获取图像的候选区域,根据卷积层和分类网络形成CNN网络,根据训练集、测试集及包含候选区域的图像对CNN网络进行训练,得到训练完备的CNN网络;采集输送带的实时图像,根据采集到的实时图像和训练完备的CNN网络,获取输送带撕裂检测结果。本发明提供的输送带撕裂检测方法,提高了输送带撕裂检测的实时性和准确率。

Description

一种输送带撕裂检测方法、装置及电子设备
技术领域
本发明涉及输送带撕裂检测技术领域,尤其涉及一种输送带撕裂检测方法、装置及电子设备。
背景技术
带式输送机作为一种散货运输的关键设备,被广泛应用于化工厂、港口、发电站、矿场和冶金等工业领域。在长周期运行、高负荷等极端的工况下,输送带不可避免发生跑偏、尖锐的物料的划擦和冲击等现象,造成输送带撕裂的运输事故,严重时还会损坏机架、减速器、电机等设备,甚至对机械操作人员的人身安全产生威胁,造成巨大的经济损失和安全隐患。
但输送带的工作环境极其复杂,常伴有大量雾气、灰尘和变化的光照,这些环境因素会对输送带的视觉识别造成极大的干扰,导致传统识别方法的准确率急剧下降、误报率和识别的时间大幅增加、实时性差,因此很难应用于实际检测中。
发明内容
有鉴于此,有必要提供一种输送带撕裂检测方法、装置及电子设备,用以解决输送带撕裂检测实时性差和准确率低的问题。
为了解决上述问题,本发明提供一种输送带撕裂检测方法,包括:
获取输送带的图像,根据所述图像生成训练集及测试集;
通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
进一步地,获取输送带的图像,根据所述图像生成训练集及测试集,具体包括:
获取输送带的图像,利用图像的小波变换系数对所述图像进行去噪处理,得到去噪后的图像;
对所述去噪后的图像进行图像增强,得到增强后的图像,利用所述增强后的图像生成训练集及测试集。
进一步地,所述对去噪后的图像进行图像增强,得到增强后的图像,具体包括:
将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;
采用非线性法对反射分量进行处理,得到处理后的反射分量,将处理后的入射分量和反射分量相乘得到增强后的图像。
进一步地,所述将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,具体包括:
采集包含输送带撕裂的图像作为引导图像,将所述引导图像和所述去噪后的图像作为输入图像,将去噪后的图像通过引导滤波器得到未改进的引导滤波结果;
根据输入图像和均值公式、标准差公式、平均梯度公式分别计算窗内每个像素点的均值、标准差和平均梯度,将均值、标准差和平均梯度作为所述像素点的特征值;
根据所述特征值和所述引导图像计算图像质量测度,通过所述图像质量测度确定所述输入图像的权重值;
根据所述未改进的引导滤波结果和所述权重值得到改进后的滤波结果,权重值的计算公式如下:
Figure BDA0003235755080000031
式中,k为计算所述像素点的特征值的计算次数,i,j为图像索引,Uk为图像质量测度,ωk为权重值,ε为常数。
进一步地,所述采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;采用非线性法对反射分量进行处理,得到处理后的反射分量,具体包括:
采用全局直方图均衡化进行入射分量的自适应灰度拉伸,对入射分量进行归一化处理,得到处理后的入射分量;
采用非线性法对反射分量进行校正,得到校正后的反射分量,对所述校正后的反射分量进行归一化处理,得到处理后的反射分量。
进一步地,通过方向梯度直方图获取所述图像的候选区域,具体包括:
对所述图像进行归一化处理,将所述归一化处理后的图像分为水平梯度和垂直梯度,根据所述水平梯度和垂直梯度计算梯度幅值和梯度方向,利用所述梯度幅值和梯度方向获取所述图像的候选区域。
进一步地,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
分类网络采用n层卷积层和m层全连接层的网络结构形成CNN网络,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,利用所述测试集对训练后的CNN网络进行调优,其中,n为卷积层层数,m为全连接层层数。
进一步地,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
输入包含候选区域的图像作为训练集,在卷积层中对所述训练集使用卷积核进行卷积运算,得到卷积结果,对所述卷积结果使用激活函数进行激活,得到激活结果,对所述激活结果进行重叠最大池化,得到池化结果;
在全连接层中对所述池化结果进行全连接处理,使用激活函数对全连接结果进行激活,得到激活结果,对所述激活结果进行dropout操作,得到dropout结果。
本发明还提供一种输送带撕裂检测装置,包括图像获取模块、数据处理模块及图像识别模块;
所述图像获取模块,用于获取输送带的图像,根据所述图像生成训练集及测试集;
所述数据处理模块,用于通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
所述图像识别模块,用于采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
本发明还提供一种电子设备,包括处理器以及存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如上述任一技术方案所述的输送带撕裂检测方法。
采用上述实施例的有益效果是:本发明提供的输送带撕裂检测方法,通过获取红外图像,利用方向梯度直方图获取所述红外图像的候选区域,能够快速确定撕裂目标区域,提高检测的实时性,利用训练集中的红外图像数据对CNN网络进行训练,利用训练后的CNN网络对重新采集的输送带的红外图像进行检测从而得到输送带撕裂检测结果,提高输送带撕裂检测的准确性。
附图说明
图1为本发明提供的输送带撕裂检测装置的应用场景一实施例的示意图;
图2为本发明提供的输送带撕裂检测方法一实施例的流程示意图;
图3为本发明实施例中提供的图像去噪和图像增强的方法流程图;
图4为本发明实施例中获取所述图像的候选区域的流程示意图;
图5为本发明实施例中提供的滑动窗口的方法示意图;
图6为本发明实施例中提供的对CNN网络进行训练的流程示意图;
图7为本发明实施例中提供的CNN网络结构示意图;
图8为本发明实施例中提供的HOG-CNN目标检测网络的流程示意图;
图9为本发明提供的输送带撕裂检测装置一实施例的结构框图;
图10为本发明实施例中提供的输送带撕裂检测方法的运行环境一实施例的示意图;
图11为本发明提供的电子设备一实施例的结构框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
本发明提供了一种输送带撕裂检测方法、装置及电子设备,以下分别进行详细说明。
图1为本发明提供的输送带撕裂检测装置的应用场景一实施例的示意图,该系统可以包括服务器100,服务器100中集成有输送带撕裂检测装置,如图1中的服务器。
本发明实施例中服务器100主要用于:
获取输送带的图像,根据所述图像生成训练集及测试集;
通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
本发明实施例中,该服务器100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本发明实施例中所描述的服务器100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是,本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等,本实施例不限定终端200的类型。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本发明方案一种应用场景,并不构成对本发明方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的终端,例如图1中仅示出2个终端,可以理解的,该输送带撕裂检测装置还可以包括一个或多个其他终端,具体此处不作限定。
另外,参照图1所示,该输送带撕裂检测装置还可以包括存储器200,用于存储数据,如红外图像数据等。
需要说明的是,图1所示的输送带撕裂检测装置的场景示意图仅仅是一个示例,本发明实施例描述的输送带撕裂检测装置以及场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着输送带撕裂检测装置的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
本发明实施例提供了一种输送带撕裂检测方法,其流程示意图,如图2所示,所述输送带撕裂检测方法包括:
步骤S201、获取输送带的图像,根据所述图像生成训练集及测试集;
步骤S202、通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
步骤S203、采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
一个具体的实施例中,所述获取输送带的图像为红外图像,采用红外线阵相机进行图像采集,并采用LED红外补光灯进行辅助,获取输送带红外图像,需要说明的是,由于输送带运行速度快,且工作环境复杂,获取输送带图像极易受到外界环境的干扰,该实施例中的图像获取方法能够保证图像的清晰度,提高抗干扰性和适用性。
作为一个优选的实施例,获取输送带的图像,根据所述图像生成训练集及测试集,具体包括:
获取输送带的图像,利用图像的小波变换系数对所述图像进行去噪处理,得到去噪后的图像;
对所述去噪后的图像进行图像增强,得到增强后的图像,利用所述增强后的图像生成训练集及测试集。
一个具体的实施例中,图像去噪和图像增强的方法流程图,如图3所示,对所述获取到的输送带的图像中的乘性噪声进行对数变换,使乘性噪声变为加性噪声,对变换后的图像的小波变换系数进行阈值处理实现图像去噪,得到去噪后的图像,采用该图像去噪方法能够保留图像的有效特征;
对所述去噪后的图像进行图像增强,得到增强后的图像,将所述图像增强处理后的图像裁剪到1000*1000像素大小,将包含撕裂的输送带图像标注为正样本,将正常的输送带图像标注为负样本,生成对应的类别文件构成输送带撕裂检测的数据集文件,随机选取数据集文件中的图像,利用所述图像按照设定的比例生成训练集和测试集。
作为一个优选的实施例,所述对去噪后的图像进行图像增强,得到增强后的图像,具体包括:
将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;
采用非线性法对反射分量进行处理,得到处理后的反射分量,将处理后的入射分量和反射分量相乘得到增强后的图像。
一个具体的实施例中,对去噪后的图像进行图像增强处理包含入射分量估计,入射分量自适应灰度拉伸,反射分量非线性校正三个步骤,采用该图像增强处理方法能够在有效增强图像特征的前提下,避免出现传统图像增强处理方法中存在的“光晕”现象,提高图像处理的有效性。
作为一个优选的实施例,所述将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,具体包括:
采集包含输送带撕裂的图像作为引导图像,将所述引导图像和所述去噪后的图像作为输入图像,将去噪后的图像通过引导滤波器得到未改进的引导滤波结果;
根据输入图像和均值公式、标准差公式、平均梯度公式分别计算窗内每个像素点的均值、标准差和平均梯度,将均值、标准差和平均梯度作为所述像素点的特征值;
根据所述特征值和所述引导图像计算图像质量测度,通过所述图像质量测度确定所述输入图像的权重值;
根据所述未改进的引导滤波结果和所述权重值得到改进后的滤波结果,权重值的计算公式如下:
Figure BDA0003235755080000091
式中,k为计算所述像素点的特征值的计算次数,i,j为图像索引,Uk为图像质量测度,ωk为权重值,ε为常数。
一个具体的实施例中,将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采集包含输送带撕裂的图像作为引导图像,将所述引导图像和所述去噪后的图像作为输入图像;
根据输入图像和均值公式、标准差公式、平均梯度公式分别计算窗内每个像素点的均值μk、标准差δk和平均梯度gradk作为所述像素点的特征值,均值、标准差和平均梯度的计算公式分别如下:
Figure BDA0003235755080000101
Figure BDA0003235755080000102
Figure BDA0003235755080000103
式中,i,j为图像索引,m×n为窗口内像素总数,I(i,j)为引导图像,μ为窗内像素均值,
Figure BDA0003235755080000104
为引导图像的水平梯度,
Figure BDA0003235755080000105
为引导图像的垂直梯度;
利用所述像素点的特征值和所述引导图像计算图像质量测度,根据图像质量测度确定所述输入图像的权重值,根据所述未改进的引导滤波结果和所述权重值进行加权平均得到改进后的滤波结果,具体公式如下:
Figure BDA0003235755080000106
Figure BDA0003235755080000107
Figure BDA0003235755080000108
式中,k为计算所述像素点的特征值的计算次数,Uk为图像质量测度,α、β、γ的取值由具体采集的包含输送带撕裂的图像来决定,ωk为权重值,L(i,j)为改进后的引导滤波图像,Lk(i,j)为未改进的引导滤波图像,ε为常数;
将输入图像F和引导图像I通过引入权重值的引导滤波器处理后得到的入射图像L为L=L(F,I)。
作为一个优选的实施例,所述采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;采用非线性法对反射分量进行处理,得到处理后的反射分量,具体包括:
采用全局直方图均衡化进行入射分量的自适应灰度拉伸,对入射分量进行归一化处理,得到处理后的入射分量;
采用非线性法对反射分量进行校正,得到校正后的反射分量,对所述校正后的反射分量进行归一化处理,得到处理后的反射分量。
一个具体的实施例中,采用全局直方图均衡化进行入射分量的自适应灰度拉伸,对入射图像进行归一化处理,得到处理后的入射分量,公式如下:
Figure BDA0003235755080000111
式中,P(Lk)为入射图像归一化后的分布函数,Lk为第k级像素的像素值,nk为第k级像素的个数,n为像素总数,N为最大像素级;
采用非线性法对反射分量进行校正,得到校正后的反射分量r,对所述校正后的反射分量进行归一化处理,得到处理后的反射分量RN,具体公式如下:
Figure BDA0003235755080000112
Figure BDA0003235755080000113
式中,r为校正后的反射分量,RN为归一化后的反射分量,R为原始反射分量,Rmin和Rmax分别为R中像素最小值和最大值,t为调整参数;
将得到的入射分量P(Lk)和反射分量RN相乘得到增强后的红外图像f(i,j),公式如下:
f(i,j)=P(Lk)×RN
需要说明的是,采用引入权重值的引导滤波器代替传统的高斯滤波器能够对光照层进行精确估计,采用全局直方图均衡化来实现对入射分量的自适应灰度拉伸能够提高入射分量的全局对比度,采用非线性法对反射分量进行校正能够减少图像失真,使图像的细节更清晰,提高图像处理的有效性。
作为一个优选的实施例,通过方向梯度直方图获取所述图像的候选区域,具体包括:
对所述图像进行归一化处理,将所述归一化处理后的图像分为水平梯度和垂直梯度,根据所述水平梯度和垂直梯度计算梯度幅值和梯度方向,利用所述梯度幅值和梯度方向获取所述图像的候选区域。
一个具体的实施例中,获取所述图像的候选区域的流程示意图,如图4所示,通过方向梯度直方图提取HOG特征获取所述图像的候选区域的步骤如下:
步骤S401、对图像进行归一化处理;
对所述图像进行灰度化处理,采用Gamma校正法对所述灰度化处理后的图像进行空间上的归一化处理;
步骤S402、图像梯度计算;
将所述归一化处理后的图像分为水平梯度和垂直梯度,公式如下,
Gx(i,j)=H(i+1,j)-H(i-1,j),
Gy(i,j)=H(i,j+1)-H(i,j-1),
式中,Gx(i,j)、Gy(i,j)、H(i,j)分别表示输入像素点位置(i,j)处的水平梯度、垂直梯度和像素值;
步骤S403、根据水平梯度和垂直梯度计算梯度幅值与梯度方向;
梯度幅值与梯度方向计算公式如下,
Figure BDA0003235755080000131
Figure BDA0003235755080000132
Figure BDA0003235755080000133
式中,G(i,j)、ang(i,j)分别代表输入像素点位置(i,j)的幅值与方向,ε为常数;
步骤S404、提取HOG特征;
检测窗口称为BLOCK,对重叠的BLOCK特征进行归一化处理,将每个检测窗口划分为2x2的子窗口,子窗口称为CELL,采用滑动窗口的形式计算和统计每一个块内G(i,j)、ang(i,j)的分布情况,滑动窗口的方法示意图,如图5所示,提取HOG特征,得到所述图像的候选区域。
需要说明的是,利用方向梯度直方图获取所述图像的候选区域,能够快速确定撕裂目标区域,提高检测的实时性,归一化处理能够调节图像的对比度,降低由于图像局部的阴影和光照的变化造成的影响,同时可以抑制噪音的干扰,计算梯度幅值与梯度方向能够使提取HOG特征更具有鲁棒性。
另一个具体的实施例中,提取HOG特征后,通过SVM利用提取的HOG特征计算后验概率,根据后验概率的正负和绝对值的大小判断该候选区域是否存在撕裂进行初次检测,排除初次检测后无撕裂的图像,采用NMS算法对初次检测后包含撕裂的图像进行矩形融合处理,获取所述图像的候选区域。
作为一个优选的实施例,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
分类网络采用n层卷积层和m层全连接层的网络结构形成CNN网络,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,利用所述测试集对训练后的CNN网络进行调优,其中,n为卷积层层数,m为全连接层层数。
一个具体的实施例中,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,对CNN网络进行训练的流程示意图,如图6所示,训练过程如下:
步骤S601、将所述包含候选区域的图像作为CNN网络的输入;
步骤S602、归一化处理;
对所述图像进行归一化处理,区域大小统一为227x227像素;
步骤S603、使用Image数据集对CNN网络进行预训练,得到预训练后的CNN网络;
步骤S604、利用所述训练集及包含候选区域的图像对所述预训练后的CNN网络进行训练;
分类网络采用5层卷积层和2层全连接层的网络结构形成CNN网络,分类网络为AlexNet分类网络,CNN网络结构示意图,如图7所示,网络结构如下:
第一层为卷积池化层,输入大小为227x227的3通道图像,使用96个大小为11x11的卷积核,分两组(每组48个),按步长4个像素对输入层进行卷积运算,得到两组55x55x48的卷积结果,对卷积结果使用ReLu激活函数,得到激活结果,对激活结果使用窗口为3x3、步长为2个像素的重叠最大池化,得到两组27x27x48的池化结果,对池化结果进行归一化处理;
第二层为卷积池化层,使用256个大小为5x5的卷积核,分两组(每组128个),按步长1个像素对第一层的归一化结果进行卷积运算,得到两组27x27x128的卷积结果,对卷积结果使用ReLu激活函数,得到激活结果,对两组27x27x128的激活结果使用窗口为3x3、步长为2个像素的重叠最大池化,得到两组13x13x128的池化结果,对池化结果进行归一化处理;
第三层为卷积层,使用384个大小为3x3的卷集核,分两组,按步长为1个像素对第二层的归一化结果进行卷积运算,得到两组13x13x192的卷积结果,对卷积结果使用ReLu激活函数,得到激活结果;
第四层为卷积层,使用384个大小为3x3的卷集核,分两组,按步长为1个像素对上一层的激活结果进行卷积运算,得到两组13x13x192的卷积结果,对卷积结果使用ReLu激活函数,得到激活结果;
第五层为卷积池化层,使用256个大小为3x3的卷积核,分两组,按步长为1个像素对上一层的激活结果进行卷积运算,得到两组13x13x128卷积结果,对卷积结果使用ReLu激活函数,得到激活结果,对两组13x13x128的激活结果使用窗口为3x3、步长为2个像素的重叠最大池化,得到两组6x6x128的池化结果;
第六层为全连接层,使用4096个神经元分两组,对上一层的池化结果进行全连接处理,对全连接结果使用ReLu激活函数,得到激活结果,对激活结果使用概率为0.5的dropout操作,得到dropout结果;
第七层为全连接层,结构与第六层相同,后接一个softmax输出层,输出层维数按照撕裂类别数量设定。
另一个具体的实施例中,利用所述测试集对训练后的CNN网络进行调优,调优标准依据反向传播算法,从最后一层往前逐步进行调优,得到训练完备的CNN网络。
作为一个优选的实施例,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
输入包含候选区域的图像作为训练集,在卷积层中对所述训练集使用卷积核进行卷积运算,得到卷积结果,对所述卷积结果使用激活函数进行激活,得到激活结果,对所述激活结果进行重叠最大池化,得到池化结果;
在全连接层中对所述池化结果进行全连接处理,使用激活函数对全连接结果进行激活,得到激活结果,对所述激活结果进行dropout操作,得到dropout结果。
需要说明的是,所述前五层卷积层用于对图像的候选区域进行深度特征提取,所述后两层全连接层用于对所述提取的深度特征进行撕裂目标检测,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,利用所述测试集对训练后的CNN网络进行调优,利用得到的训练完备的CNN网络对采集的输送带的实时图像进行检测获取输送带撕裂检测结果,能够提高输送带撕裂检测的准确性。
上述实施例中的HOG-CNN目标检测网络的流程示意图,如图8所示。
本发明实施例提供了一种输送带撕裂检测装置,其结构框图,如图9所示,所述输送带撕裂检测装置包括图像获取模块901、数据处理模块902及图像识别模块903;
所述图像获取模块901,用于获取输送带的图像,根据所述图像生成训练集及测试集;
所述数据处理模块902,用于通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
所述图像识别模块903,用于采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
一个具体的实施例中,提供了一种输送带撕裂检测装置,包含图像采集设备、图像传输模块、图像识别设备以及控制设备,用于展示输送带撕裂检测方法的运行环境一实施例的示意图,如图10所示。
所述图像采集设备和图像传输模块属于图像获取模块,图像采集设备包含红外线阵相机、镜头和LED红外补光灯用于获取输送带的红外图像,图像传输模块采用光纤传输,用于所述输送带的红外图像的实时传输;
所述图像识别设备属于数据处理模块,包含处理器、存储器和显示器,处理器用于运行所述输送带撕裂检测装置的相应软件,存储器用于存储所述输送带撕裂检测装置需要的数据,显示器用于显示所述输送带撕裂检测设备的信息以及交互界面;
所述控制设备属于图像识别模块,控制设备包含PLC控制设备,用于控制输送带机的启停和报警。
如图11所示,上述输送带撕裂检测方法,本发明实施例中还相应提供了一种电子设备,该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器10、存储器20及显示器30。
存储器20在一些实施例中可以是计算机设备的内部存储单元,例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据,例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有输送带撕裂检测方法程序40,该输送带撕裂检测方法程序40可被处理器10所执行,从而实现本发明各实施例的输送带撕裂检测方法。
处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器20中存储的程序代码或处理数据,例如执行输送带撕裂检测方法程序等。
显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行存储器20中输送带撕裂检测方法程序40时实现以下步骤:
获取输送带的图像,根据所述图像生成训练集及测试集;
通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
本发明公开的一种输送带撕裂检测方法、装置及电子设备,通过获取红外图像,利用方向梯度直方图获取所述红外图像的候选区域,能够快速确定撕裂目标区域,提高检测的实时性,利用训练集中的红外图像数据对CNN网络进行训练,利用训练后的CNN网络对重新采集的输送带的红外图像进行检测从而得到输送带撕裂检测结果,提高输送带撕裂检测的准确性。
本发明技术方案采用红外相机获取输送带图像,能够有效地克服强灰尘、强雾气等环境干扰下图像特征难以获取的问题,提高抗干扰性和适用性,采用红外图像的小波变换系数进行阈值处理实现去噪,能够保留红外图像的有效特征,并结合改进多尺度的Retinex红外图像增强算法,在有效增强图像特征的前提下,不会出现传统红外图像增强算法具有的“光晕”现象,提高图像处理的有效性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种输送带撕裂检测方法,其特征在于,包括:
获取输送带的图像,根据所述图像生成训练集及测试集;
通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
2.根据权利要求1所述的输送带撕裂检测方法,其特征在于,获取输送带的图像,根据所述图像生成训练集及测试集,具体包括:
获取输送带的图像,利用图像的小波变换系数对所述图像进行去噪处理,得到去噪后的图像;
对所述去噪后的图像进行图像增强,得到增强后的图像,利用所述增强后的图像生成训练集及测试集。
3.根据权利要求1所述的输送带撕裂检测方法,其特征在于,所述对去噪后的图像进行图像增强,得到增强后的图像,具体包括:
将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;
采用非线性法对反射分量进行处理,得到处理后的反射分量,将处理后的入射分量和反射分量相乘得到增强后的图像。
4.根据权利要求3所述的输送带撕裂检测方法,其特征在于,所述将去噪后的图像通过引导滤波器得到未改进的引导滤波结果,采用所述引导滤波器引入权重值对所述去噪后的图像进行入射分量估计,具体包括:
采集包含输送带撕裂的图像作为引导图像,将所述引导图像和所述去噪后的图像作为输入图像,将去噪后的图像通过引导滤波器得到未改进的引导滤波结果;
根据输入图像和均值公式、标准差公式、平均梯度公式分别计算窗内每个像素点的均值、标准差和平均梯度,将均值、标准差和平均梯度作为所述像素点的特征值;
根据所述特征值和所述引导图像计算图像质量测度,通过所述图像质量测度确定所述输入图像的权重值;
根据所述未改进的引导滤波结果和所述权重值得到改进后的滤波结果,权重值的计算公式如下:
Figure FDA0003235755070000021
式中,k为计算所述像素点的特征值的计算次数,i,j为图像索引,Uk为图像质量测度,ωk为权重值,ε为常数。
5.根据权利要求3所述的输送带撕裂检测方法,其特征在于,所述采用全局直方图均衡化进行入射分量的自适应灰度拉伸,得到处理后的入射分量;采用非线性法对反射分量进行处理,得到处理后的反射分量,具体包括:
采用全局直方图均衡化进行入射分量的自适应灰度拉伸,对入射分量进行归一化处理,得到处理后的入射分量;
采用非线性法对反射分量进行校正,得到校正后的反射分量,对所述校正后的反射分量进行归一化处理,得到处理后的反射分量。
6.根据权利要求1所述的输送带撕裂检测方法,其特征在于,通过方向梯度直方图获取所述图像的候选区域,具体包括:
对所述图像进行归一化处理,将所述归一化处理后的图像分为水平梯度和垂直梯度,根据所述水平梯度和垂直梯度计算梯度幅值和梯度方向,利用所述梯度幅值和梯度方向获取所述图像的候选区域。
7.根据权利要求1所述的输送带撕裂检测方法,其特征在于,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
分类网络采用n层卷积层和m层全连接层的网络结构形成CNN网络,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,利用所述测试集对训练后的CNN网络进行调优,其中,n为卷积层层数,m为全连接层层数。
8.根据权利要求7所述的输送带撕裂检测方法,其特征在于,利用所述训练集及包含候选区域的图像对所述CNN网络进行训练,具体包括:
输入包含候选区域的图像作为训练集,在卷积层中对所述训练集使用卷积核进行卷积运算,得到卷积结果,对所述卷积结果使用激活函数进行激活,得到激活结果,对所述激活结果进行重叠最大池化,得到池化结果;
在全连接层中对所述池化结果进行全连接处理,使用激活函数对全连接结果进行激活,得到激活结果,对所述激活结果进行dropout操作,得到dropout结果。
9.一种输送带撕裂检测装置,其特征在于,包括图像获取模块、数据处理模块及图像识别模块;
所述图像获取模块,用于获取输送带的图像,根据所述图像生成训练集及测试集;
所述数据处理模块,用于通过方向梯度直方图获取所述图像的候选区域,根据卷积层和分类网络形成CNN网络,根据所述训练集、测试集及包含候选区域的图像对所述CNN网络进行训练,得到训练完备的CNN网络;
所述图像识别模块,用于采集输送带的实时图像,根据所述实时图像和所述训练完备的CNN网络,获取输送带撕裂检测结果。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1-8任一所述的输送带撕裂检测方法。
CN202111001337.0A 2021-08-30 2021-08-30 一种输送带撕裂检测方法、装置及电子设备 Pending CN113781416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111001337.0A CN113781416A (zh) 2021-08-30 2021-08-30 一种输送带撕裂检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111001337.0A CN113781416A (zh) 2021-08-30 2021-08-30 一种输送带撕裂检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113781416A true CN113781416A (zh) 2021-12-10

Family

ID=78840126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111001337.0A Pending CN113781416A (zh) 2021-08-30 2021-08-30 一种输送带撕裂检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113781416A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739994A (zh) * 2023-05-18 2023-09-12 山东新宝龙工业科技有限公司 一种带预警功能的数字化输送带图形数据监控系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117826A (zh) * 2018-09-05 2019-01-01 湖南科技大学 一种多特征融合的车辆识别方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109816605A (zh) * 2019-01-16 2019-05-28 大连海事大学 一种基于多通道卷积的msrcr图像去雾方法
CN110084313A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN111476065A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111860290A (zh) * 2020-07-16 2020-10-30 大连理工大学 一种激光熔覆过程中裂纹识别的方法
CN112613581A (zh) * 2020-12-31 2021-04-06 广州大学华软软件学院 一种图像识别方法、系统、计算机设备和存储介质
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109117826A (zh) * 2018-09-05 2019-01-01 湖南科技大学 一种多特征融合的车辆识别方法
CN109816605A (zh) * 2019-01-16 2019-05-28 大连海事大学 一种基于多通道卷积的msrcr图像去雾方法
CN111476065A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN110084313A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN111860290A (zh) * 2020-07-16 2020-10-30 大连理工大学 一种激光熔覆过程中裂纹识别的方法
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置
CN112613581A (zh) * 2020-12-31 2021-04-06 广州大学华软软件学院 一种图像识别方法、系统、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
武文泽: "基于机器视觉的选煤厂输送机皮带磨损故障诊断研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, 15 March 2021 (2021-03-15), pages 43 - 48 *
邹冲 等: "基于SVM-LeNet模型融合的行人检测算法", 《计算机工程》, vol. 43, no. 5, 31 May 2017 (2017-05-31), pages 169 - 173 *
陈云霁 等: "《智能计算系统》", 30 April 2020, 机械工业出版社, pages: 53 - 54 *
魏然然 等: "改进多尺度的Retinex红外图像增强", 《液晶与显示》, vol. 36, no. 3, 31 March 2021 (2021-03-31), pages 465 - 474 *
魏然然 等: "改进多尺度的Retinex红外图像增强", 《液晶与显示》, vol. 36, no. 3, pages 465 - 474 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739994A (zh) * 2023-05-18 2023-09-12 山东新宝龙工业科技有限公司 一种带预警功能的数字化输送带图形数据监控系统

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
US8509536B2 (en) Character recognition device and method and computer-readable medium controlling the same
CN112634170B (zh) 一种模糊图像修正的方法、装置、计算机设备及存储介质
Wang et al. Blur image classification based on deep learning
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN113837151B (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN104239872A (zh) 异态汉字识别方法
Yang et al. Convolutional neural network for smooth filtering detection
CN111539957A (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
CN112434689A (zh) 识别图片中信息的方法、装置、设备及存储介质
CN113850838A (zh) 船舶航行意图获取方法、装置、计算机设备及存储介质
CN110991201B (zh) 条码检测方法及相关装置
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN113781416A (zh) 一种输送带撕裂检测方法、装置及电子设备
Xu et al. Multiple guidance network for industrial product surface inspection with one labeled target sample
Mehta et al. Splicing detection for combined dct, dwt and spatial markov-features using ensemble classifier
CN114332883A (zh) 发票信息识别方法、装置、计算机设备及存储介质
CN114282258A (zh) 截屏数据脱敏方法、装置、计算机设备及存储介质
CN111783789A (zh) 一种图像敏感信息识别方法
CN112686847B (zh) 身份证图像拍摄质量评价方法、装置、计算机设备和介质
CN113362249A (zh) 文字图像合成方法、装置、计算机设备及存储介质
CN115100068A (zh) 一种红外图像校正方法
CN114170589A (zh) 一种基于nas的岩石岩性识别方法、终端设备及存储介质
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
Zheng et al. Recognition of expiry data on food packages based on improved DBNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination