CN112801965A - 一种基于卷积神经网络的烧结皮带异物监测方法及系统 - Google Patents
一种基于卷积神经网络的烧结皮带异物监测方法及系统 Download PDFInfo
- Publication number
- CN112801965A CN112801965A CN202110080319.XA CN202110080319A CN112801965A CN 112801965 A CN112801965 A CN 112801965A CN 202110080319 A CN202110080319 A CN 202110080319A CN 112801965 A CN112801965 A CN 112801965A
- Authority
- CN
- China
- Prior art keywords
- picture
- belt
- neural network
- convolutional neural
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000005245 sintering Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 230000002159 abnormal effect Effects 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 29
- 230000005856 abnormality Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 229910052500 inorganic mineral Inorganic materials 0.000 description 18
- 239000011707 mineral Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- -1 high temperature Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的烧结皮带异物监测方法及系统，所述方法包括：基于实时获取的皮带的监控视频信息，获取多帧异常检测图像；针对多帧异常检测图像中的每一帧异常检测图像进行预处理，获取预处理后的异常检测图像；针对预处理后的异常检测图像进行预先设定区域提取，获取第一检测图片；其中第一检测图片只含预先设定区域的图片；采用第一深度卷积神经网络模型对所述第一检测图片进行分类，获取分类结果；分类结果包括：正常生产图片或包含异物图片；第一深度卷积神经网络模型为预先经过第一预先设定的图片训练样本训练过的深度卷积神经网络模型；第一预先设定的图片训练样本包括：预先采集的皮带运输过程中的出现异物的图片。
Description
技术领域
本发明涉及异物监测技术领域，尤其涉及一种基于卷积神经网络的烧结皮带异物监测方法及系统。
背景技术
目前，烧结厂装配有180及132两条烧结生产线，经由烧结机烧结完成的矿料经过环形冷却机、振动筛、转八皮带、成品皮带等运输送往高炉中。其中皮带运输是主要的运输方式，占总矿料运输方式的90％。其中在成品矿料运输段成品矿料中可能存在有大石块、掉落的钢板、炉篦条等多种异物造成下料口堵料，严重可导致生产停机，造成重大生产损失。因此，及时发现并从矿料中清除上述异物对高效生产有着重大意义。厂方目前主要依靠人工现场勘查，通过现场工作人员24h观察矿料中是否有大块异物。该方法存在有现场工作人员工作环境恶劣、工作强度大、夜间异物漏报率高，具有异物处理能力但并不具备异物监控的效率。
由于工业现场环境恶劣，受光照、扬尘、高温、矿料颜色同化、皮带速度等因素干扰严重。光照方面的影响有监测位点不仅白天和夜晚光照差别大，而且受天气影响也会有较大的光照差别，传统图像无法适应不断变化的亮度，需要根据不同环境导致的不同光照强度采用自适应阈值。矿料颜色同化即皮带和钢板长时间与矿料接触导致颜色特征不明显，钢板等异物边缘、轮廓信息不明显，扬尘、高温都会使得摄像头清晰度降低，图像画质变差，很难通过边缘检测提取到关键边缘信息以及完整封闭的区域，同样也很难通过颜色特征提取来检测出异物。工业现场皮带速度达到2.47m/s，对监测视频采样得到的图像存在有动态模糊，对边缘、轮廓信息提取造成很大的影响。
基于异常工况难以简单表征，不同种类异物形状、大小、颜色、表面纹理等特征各不相同，同种异物也存在有不同的大小、形状、颜色等问题。传统图像处理方法难以将异物从矿料中提取出来，比如模板匹配很难针对多种类多尺度异物进行全面检测。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于卷积神经网络的烧结皮带异物监测方法及系统，其解决了烧结皮带运输成品矿料依赖人工监测矿料中的异物难以实现长时间高效且精准的监测，且传统图像处理算法难以应对复杂多变的烧结工业现场环境以及皮带运输矿料中出现的多种类多尺度异物的技术问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于卷积神经网络的烧结皮带异物监测方法，包括：
S1、基于实时获取的皮带的监控视频信息，获取多帧异常检测图像；
S2、针对所述多帧异常检测图像中的每一帧异常检测图像进行预处理，获取预处理后的异常检测图像；
S3、针对所述预处理后的异常检测图像进行预先设定区域提取，获取第一检测图片；
其中所述第一检测图片只含预先设定区域的图片；
其中所述预先设定区域为第一检测图片中的皮带区域；
S4、采用第一深度卷积神经网络模型对所述第一检测图片进行分类，获取分类结果；
所述分类结果包括：正常生产图片或包含异物图片；
所述第一深度卷积神经网络模型为预先经过第一预先设定的图片训练样本训练过的深度卷积神经网络模型；
其中所述第一预先设定的图片训练样本包括：预先采集的皮带运输过程中的出现异物的图片。
优选的，所述方法还包括：
S5、采用第二深度卷积神经网络模型对分类结果为包含异物图片的第一检测图片进行处理，获取相应的第二检测图片；
其中所述第二检测图片为具有方框的分类结果为包含异物图片的第一检测图片；
其中所述方框位于所述分类结果为包含异物图片的第一检测图片中异物的位置；
所述第二深度卷积神经网络模型为预先经过第二预先设定的图片训练样本训练过的深度卷积神经网络模型；
其中所述第二预先设定的图片训练样本包括预先设定标签的预先采集的皮带运输过程中的出现异物的图片；
所述标签为图片中异物的位置的信息。
优选的，所述方法还包括：
S6、基于预先设定数量的连续相邻的第一检测图片的分类结果，确定最终结果；
若所述先设定数量的连续相邻的第一检测图片的分类结果均为包含异物图片，则确定所述最终结果为异常，并进行声光报警。
优选的，所述S1具体包括：
S11、针对皮带的实时监控视频信息采用定时取帧方式获取多帧初步异常检测图像；
其中所述定时取帧方式的周期为200ms；
S12、针对所述初步异常检测图像进行压缩获取异常检测图像；
其中所述异常检测图像的格式为560*282。
优选的，所述S2中的预处理具体包括：图像去雾处理、图像降噪处理、特征增强处理。
优选的，所述S3具体包括：
S31、针对所述预处理后的异常检测图像进行皮带边缘提取，确定预处理后的异常检测图像中皮带的边缘；
S32、基于所述预处理后的异常检测图像中皮带的边缘，确定所述预处理后的异常检测图像中的皮带区域，并将所述所述预处理后的异常检测图像中的皮带区域作为第一检测图片。
优选的，所述步骤S31具体包括：
S311、针对所述预处理后的异常检测图像采用Sobel算子进行皮带边缘提取处理，获取Sobel算子皮带边缘提取处理后的图像；
S312、针对所述Sobel算子皮带边缘提取处理后的图像采用Hough直线检测，确定所述Sobel算子皮带边缘提取处理后的图像中的皮带边缘，并设置皮带边缘跟踪算子。
优选的，所述S6中所述预先设定数量为3。
优选的，所述第二深度卷积神经网络模型为Faster R-CNN模型。
第二方面，本发明实施例提供一种基于卷积神经网络的烧结皮带异物监测系统，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一的基于卷积神经网络的烧结皮带异物监测方法。
(三)有益效果
本发明的有益效果是：本发明的一种基于卷积神经网络的烧结皮带异物监测方法及系统，由于采用第一深度卷积神经网络模型和第二深度卷积神经网络模型先二分类再定位出异物的位置，实现了监测的实时性。
附图说明
图1为本发明的基于卷积神经网络的烧结皮带异物监测方法流程图；
图2为本发明的基于卷积神经网络的烧结皮带异物监测方法中图像采集流程示意图；
图3为本发明的基于卷积神经网络的烧结皮带异物监测方法中预先设定区域(皮带感兴趣区域)提取流程示意图；
图4为本发明的Faster R-CNN模型结构框图；
图5为根据本发明的基于卷积神经网络的烧结皮带异物监测方法获取的一张第二检测图片；
图6为根据本发明的基于卷积神经网络的烧结皮带异物监测方法获取的另一张第二检测图片。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本发明实施例提出的一种基于卷积神经网络的烧结皮带异物监测方法。通过卷积神经网络具有较好容错性、自适应性和较强自学习能力等优点,还具有自动提取特征、权值共享以及具有较好鲁棒性等优势来应对复杂多变的监测环境，尤其是针对异常工况难以简单表征，异物多种类多尺度等问题。保证能在环境恶劣的烧结工业现场对各种类以及不同尺度的异物实现全面的监测，避免造成异物堵塞下料口问题，影响烧结持续生产。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
参见图1，本实施例提供一种基于卷积神经网络的烧结皮带异物监测方法，包括：
S1、基于实时获取的皮带的监控视频信息，获取多帧异常检测图像。
参见图2，本实施例中依据摄像头视频拍摄帧率、系统异物识别与处理周期及异物在监测视频中存在的时长，采用定时取帧方式将监控视频流信息转换为单帧可处理图像，设定采样周期为200ms。为减小处理的数据量，减小异物识别与处理周期，采用图像压缩的方式将原1920*1080的图像转换为560*282，从而得到用于图像预处理的单帧异物监测图像。
S2、针对所述多帧异常检测图像中的每一帧异常检测图像进行预处理，获取预处理后的异常检测图像。
本实施例中所采集的异常检测图像往往不能直接用于异物特征的提取，其中的环境干扰与图像噪声过多，难以直接准确的从异常检测图像中识别出异物特征，需经过图像预处理手段，将单帧异物监测图像经由图像去雾、图像降噪、特征增强等方式的预处理，使异物特征能够更加准确的被识别出来。成品矿料运输皮带异物监测摄像头位于皮带正上方，用于拍摄成品皮带运输矿面，以此实现对皮带的边缘提取与异物的识别。其所处的环境为室内半敞开环境，由于成品矿料运输皮带为最末段皮带，其运输矿料已基本冷却，不会出现高温矿料，所以其主要环境干扰为扬尘、外界光照变化等。针对该处环境干扰，通过图像降噪方式去除扬尘的干扰，通过亮度调整及对比度增强的方式，抑制外界光照变化的干扰。
S3、针对所述预处理后的异常检测图像进行预先设定区域提取，获取第一检测图片。
其中所述第一检测图片只含预先设定区域的图片。
其中所述预先设定区域为第一检测图片中的皮带区域。
参见图3，本实施例中监测的目标区域为矿料面以及皮带空旷区域，所以只需要针对运行皮带所在的区域提取图像信息，其他背景区域图像信息选择忽视，这种只处理某一个特殊部分图像信息的方式，称为图像感兴趣区域(ROI)提取。对于皮带感兴趣区域ROI提取，首先需要精确识别出皮带边缘信息，再根据皮带边缘划分出感兴趣区域ROI。针对经过一系列预处理后图像，首先对图像进行图像边缘提取，该处利用Sobel算子进行皮带边缘提取，因为皮带边缘为一对特定方向的直线，Sobel算子能够强化一个方向的边缘特征，弱化其他方向的边缘特征，起到了即提取特征又减小干扰的目的。
对Sobel算子处理后的图像利用Hough直线检测识别出其中的皮带边缘，并且设置皮带边缘跟踪算子，保证皮带边缘识别的稳定性。确定皮带边缘后，利用感兴趣区域ROI的提取方法形成皮带感兴趣区域ROI。
S4、采用第一深度卷积神经网络模型对所述第一检测图片进行分类，获取分类结果。
所述分类结果包括：正常生产图片或包含异物图片。
所述第一深度卷积神经网络模型为预先经过第一预先设定的图片训练样本训练过的深度卷积神经网络模型。
其中所述第一预先设定的图片训练样本包括：预先采集的皮带运输过程中的出现异物的图片。
本实施例中，卷积神经网络作为深度学习的代表，其卷积层和池化层能够识别图片空间中不同位置的相似特征，针对图像的信息冗余卷积神经网络能够利用卷积核以及池化实现很好的信息特征的精简与提取。本实施例的实际应用中将提取到的皮带ROI(图像感兴趣区域)图片输入到异物监测模块中的卷积神经网络也就是第一深度卷积神经网络模型。其中第一深度卷积神经网络模型已经通过第一预先设定的图片进行训练来固定第一深度卷积神经网络模型中权值与阈值，即已经通过预先采集的皮带运输过程中的出现异物的图片训练过了。在训练过程中，首先对第一深度卷积神经网络模型进行权值的初始化，第一预先设定的图片经过卷积层、池化层、全连接层的前向传递得到输出值，计算输出值与期望值的误差后进行反向传递更新网络中的权值。单帧只含皮带ROI的图片作为输入传入训练好的第一预先设定的图片后经过特征提取模型将为图片打标签，最终的输出为二分类，将所有输入的提取到的皮带ROI图片(第一检测图片)分为正常生产图片与包含异物图片。
在本实施例的实际应用中，所述方法还包括：
S5、采用第二深度卷积神经网络模型对分类结果为包含异物图片的第一检测图片进行处理，获取相应的第二检测图片。
其中所述第二检测图片为具有方框的分类结果为包含异物图片的第一检测图片。
其中所述方框位于所述分类结果为包含异物图片的第一检测图片中异物的位置。
所述第二深度卷积神经网络模型为预先经过第二预先设定的图片训练样本训练过的深度卷积神经网络模型。
其中所述第二预先设定的图片训练样本包括预先设定标签的预先采集的皮带运输过程中的出现异物的图片。
所述标签为图片中异物的位置的信息。
在本实施例的实际应用中引入Faster R-CNN模型作为第二深度卷积神经网络模型。FasterR-CNN模型是基于卷积神经网络的目标检测算法，其整体结构框架如图4所示，主要分为四个部分：数据集Dataset、特征图生成Feature maps Generate、区域建议网络RPN(Region Proposal Networks)、Fast R-CNN。
通过对平时生产过程中出现的异物图片进行采样收集与打标签，人工在包含异物的图片中标定出异物的位置来建立Faster R-CNN训练数据也就是第二预先设定的图片训练样本。
在对Faster R-CNN模型的训练过程中数据集Dataset部分负责将第二预先设定的图片训练样本中的图片送入卷积网络，将图片中的位置框(坐标)送入区域建议网络RPN和Fast R-CNN，将图片所对应的标签送入Fast R-CNN。
特征图生成(Feature maps Generate)则是利用卷积神经网络对输入的图片进行特征提取生成特征图feature map，通过卷积和池化，图像下采样了16倍，即特征图featuremap的尺寸为原图的1/16。
RPN中提出了Anchors的概念，Anchors是设定在原图上大小和尺寸固定的候选框，3种尺寸3种比例共9种候选框Anchor，由于原图与特征图feature map尺寸比例为16：1，因此将候选框Anchors的步长设置为16。一方面RPN通过对特征图feature map进行卷积计算出属于前景的候选框以及对应的位置参数并选取一部分，另一方面利用回归的位置参数计算偏移量，利用偏移量对候选框进行坐标调整获得已经非常接近目标的候选框，并剔除较小的和超出边界的候选框，本实施例的目的为及时监测造成下料口堵塞的异物，因此针对较小块的异物可进行忽略，即保留更少数量的候选框。
最后Fast R-CNN对RPN送进来的不同位置的候选框进行ROI Pooling，将所有候选框Pooling到同一尺寸并送入全连接层并进行分类，Fast R-CNN也会对属于前景的候选框进行坐标位置的回归与调整，最终在图片中框出异物所在的位置。当异物检测系统综合判定图片中出现异物以后将包含异物的图片传入Faster R-CNN模型，Faster R-CNN模型将图片中的异物标定出来如图5和图6所示，保存在数据库。
在本实施例的实际应用中，所述方法还包括：
S6、基于预先设定数量的连续相邻的第一检测图片的分类结果，确定最终结果。
若所述先设定数量的连续相邻的第一检测图片的分类结果均为包含异物图片，则确定所述最终结果为异常，并进行声光报警。
在本实施例的实际应用中第一深度卷积神经网络模型将传入过来的第一检测图片进行二分类后将输出传回给主进程。根据皮带速度、采样频率以及皮带ROI有效区域长度，同一异物会连续出现4到6张有效异物，考虑到卷积神经网络模型的准确度，综合判断同时存在有连续3张采样图片存在异物才认定为出现真正的异物，保证整体监测精度的同时消除第一深度卷积神经网络模型的误判断。同时触发出声光报警提醒工作人员处理矿料中的异物，并将包含异物的图片保存在数据库中。
在本实施例的实际应用中，所述S1具体包括：
S11、针对皮带的实时监控视频信息采用定时取帧方式获取多帧初步异常检测图像。
其中所述定时取帧方式的周期为200ms。
S12、针对所述初步异常检测图像进行压缩获取异常检测图像。
其中所述异常检测图像的格式为560*282。
在本实施例的实际应用中，所述S2中的预处理具体包括：图像去雾处理、图像降噪处理、特征增强处理。
在本实施例的实际应用中，所述S3具体包括：
S31、针对所述预处理后的异常检测图像进行皮带边缘提取，确定预处理后的异常检测图像中皮带的边缘。
S32、基于所述预处理后的异常检测图像中皮带的边缘，确定所述预处理后的异常检测图像中的皮带区域，并将所述所述预处理后的异常检测图像中的皮带区域作为第一检测图片。
在本实施例的实际应用中，所述步骤S31具体包括：
S311、针对所述预处理后的异常检测图像采用Sobel算子进行皮带边缘提取处理，获取Sobel算子皮带边缘提取处理后的图像。
S312、针对所述Sobel算子皮带边缘提取处理后的图像采用Hough直线检测，确定所述Sobel算子皮带边缘提取处理后的图像中的皮带边缘，并设置皮带边缘跟踪算子。
在本实施例的实际应用中，所述S6中所述预先设定数量为3。
在本实施例的实际应用中，所述第二深度卷积神经网络模型为Faster R-CNN模型。
本实施例中的一种基于卷积神经网络的烧结皮带异物监测方法针对传统图像处理技术难以应用于复杂多变的工业现场环境以及难以表征复杂的异常工况提出了解决方案，实现了异常工况的实时在线监测，大大降低了工人的劳动强度的同时也提高了生产的稳定性。利用卷积神经网络能对图像的信息冗余实现很好的信息特征的精简与提取，神经网络的自学习能力能较好的应对环境恶劣的工业现场与复杂的异常工况。同时，针对皮带速度快以及图像计算量大的问题提出了降采样以及先二分类再定位异物位置的方法实现了监测的实时性。
由于本发明上述实施例所描述的系统，为实施本发明上述实施例的方法所采用的系统，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。
Claims (10)
1.一种基于卷积神经网络的烧结皮带异物监测方法，其特征在于，包括：
S1、基于实时获取的皮带的监控视频信息，获取多帧异常检测图像；
S2、针对所述多帧异常检测图像中的每一帧异常检测图像进行预处理，获取预处理后的异常检测图像；
S3、针对所述预处理后的异常检测图像进行预先设定区域提取，获取第一检测图片；
其中所述第一检测图片只含预先设定区域的图片；
其中所述预先设定区域为第一检测图片中的皮带区域；
S4、采用第一深度卷积神经网络模型对所述第一检测图片进行分类，获取分类结果；
所述分类结果包括：正常生产图片或包含异物图片；
所述第一深度卷积神经网络模型为预先经过第一预先设定的图片训练样本训练过的深度卷积神经网络模型；
其中所述第一预先设定的图片训练样本包括：预先采集的皮带运输过程中的出现异物的图片。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
S5、采用第二深度卷积神经网络模型对分类结果为包含异物图片的第一检测图片进行处理，获取相应的第二检测图片；
其中所述第二检测图片为具有方框的分类结果为包含异物图片的第一检测图片；
其中所述方框位于所述分类结果为包含异物图片的第一检测图片中异物的位置；
所述第二深度卷积神经网络模型为预先经过第二预先设定的图片训练样本训练过的深度卷积神经网络模型；
其中所述第二预先设定的图片训练样本包括预先设定标签的预先采集的皮带运输过程中的出现异物的图片；
所述标签为图片中异物的位置的信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
S6、基于预先设定数量的连续相邻的第一检测图片的分类结果，确定最终结果；
若所述先设定数量的连续相邻的第一检测图片的分类结果均为包含异物图片，则确定所述最终结果为异常，并进行声光报警。
4.根据权利要求3所述的方法，其特征在于，所述S1具体包括：
S11、针对皮带的实时监控视频信息采用定时取帧方式获取多帧初步异常检测图像；
其中所述定时取帧方式的周期为200ms；
S12、针对所述初步异常检测图像进行压缩获取异常检测图像；
其中所述异常检测图像的格式为560*282。
5.根据权利要求4所述的方法，其特征在于，所述S2中的预处理具体包括：图像去雾处理、图像降噪处理、特征增强处理。
6.根据权利要求5所述的方法，其特征在于，所述S3具体包括：
S31、针对所述预处理后的异常检测图像进行皮带边缘提取，确定预处理后的异常检测图像中皮带的边缘；
S32、基于所述预处理后的异常检测图像中皮带的边缘，确定所述预处理后的异常检测图像中的皮带区域，并将所述所述预处理后的异常检测图像中的皮带区域作为第一检测图片。
7.根据权利要求6所述的方法，其特征在于，所述步骤S31具体包括：
S311、针对所述预处理后的异常检测图像采用Sobel算子进行皮带边缘提取处理，获取Sobel算子皮带边缘提取处理后的图像；
S312、针对所述Sobel算子皮带边缘提取处理后的图像采用Hough直线检测，确定所述Sobel算子皮带边缘提取处理后的图像中的皮带边缘，并设置皮带边缘跟踪算子。
8.根据权利要求7所述的方法，其特征在于，所述S6中所述预先设定数量为3。
9.根据权利要求8所述的方法，其特征在于，
所述第二深度卷积神经网络模型为Faster R-CNN模型。
10.一种基于卷积神经网络的烧结皮带异物监测系统，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至9任一所述的一种基于卷积神经网络的烧结皮带异物监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110080319.XA CN112801965A (zh) | 2021-01-21 | 2021-01-21 | 一种基于卷积神经网络的烧结皮带异物监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110080319.XA CN112801965A (zh) | 2021-01-21 | 2021-01-21 | 一种基于卷积神经网络的烧结皮带异物监测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112801965A true CN112801965A (zh) | 2021-05-14 |
Family
ID=75810996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110080319.XA Pending CN112801965A (zh) | 2021-01-21 | 2021-01-21 | 一种基于卷积神经网络的烧结皮带异物监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801965A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283339A (zh) * | 2021-05-25 | 2021-08-20 | 中南大学 | 基于机器视觉的工业矿料运输皮带少料异常监测方法 |
| CN113570551A (zh) * | 2021-07-05 | 2021-10-29 | 天津市三特电子有限公司 | 球团链篦机篦条状态监测方法及其监测系统 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9325243D0 (en) * | 1993-12-09 | 1994-02-09 | New Royal Holloway & Bedford | Automatic monitoring system |
| JP2003207456A (ja) * | 2002-01-10 | 2003-07-25 | Jt Engineering Inc | 異物検査装置 |
| CN103824304A (zh) * | 2014-03-18 | 2014-05-28 | 中国矿业大学(北京) | 传送带上矿石传送过程中故障诊断方法 |
| CN109230351A (zh) * | 2018-08-30 | 2019-01-18 | 山西精英科技股份有限公司 | 一种皮带输送机运行异常的识别方法 |
| CN110514669A (zh) * | 2019-07-31 | 2019-11-29 | 辽宁科技大学 | 一种皮带输送机多区域洒料检测系统及方法 |
| CN110570403A (zh) * | 2019-08-23 | 2019-12-13 | 中国能源建设集团广东省电力设计研究院有限公司 | 基于图像识别技术的输煤运维系统 |
| CN111028250A (zh) * | 2019-12-27 | 2020-04-17 | 创新奇智(广州)科技有限公司 | 一种实时智能验布方法及系统 |
| CN111289529A (zh) * | 2020-02-28 | 2020-06-16 | 瑞思特(珠海)科技有限责任公司 | 一种基于ai智能分析的输送皮带撕裂检测系统及检测方法 |
| CN111325787A (zh) * | 2020-02-09 | 2020-06-23 | 天津博宜特科技有限公司 | 基于图像处理的移动式皮带跑偏及运量检测方法 |
| CN112070117A (zh) * | 2020-08-06 | 2020-12-11 | 武汉理工大学 | 一种皮带撕裂检测方法、设备及存储介质 |
| CN112124900A (zh) * | 2020-08-28 | 2020-12-25 | 西安科技大学 | 一种井下皮带偏移的视觉检测方法 |
| CN112218729A (zh) * | 2018-06-11 | 2021-01-12 | 克里奥瓦克公司 | 用于检测外来物品的产品流的内置检查的过程和系统 |
-
2021
- 2021-01-21 CN CN202110080319.XA patent/CN112801965A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9325243D0 (en) * | 1993-12-09 | 1994-02-09 | New Royal Holloway & Bedford | Automatic monitoring system |
| JP2003207456A (ja) * | 2002-01-10 | 2003-07-25 | Jt Engineering Inc | 異物検査装置 |
| CN103824304A (zh) * | 2014-03-18 | 2014-05-28 | 中国矿业大学(北京) | 传送带上矿石传送过程中故障诊断方法 |
| CN112218729A (zh) * | 2018-06-11 | 2021-01-12 | 克里奥瓦克公司 | 用于检测外来物品的产品流的内置检查的过程和系统 |
| CN109230351A (zh) * | 2018-08-30 | 2019-01-18 | 山西精英科技股份有限公司 | 一种皮带输送机运行异常的识别方法 |
| CN110514669A (zh) * | 2019-07-31 | 2019-11-29 | 辽宁科技大学 | 一种皮带输送机多区域洒料检测系统及方法 |
| CN110570403A (zh) * | 2019-08-23 | 2019-12-13 | 中国能源建设集团广东省电力设计研究院有限公司 | 基于图像识别技术的输煤运维系统 |
| CN111028250A (zh) * | 2019-12-27 | 2020-04-17 | 创新奇智(广州)科技有限公司 | 一种实时智能验布方法及系统 |
| CN111325787A (zh) * | 2020-02-09 | 2020-06-23 | 天津博宜特科技有限公司 | 基于图像处理的移动式皮带跑偏及运量检测方法 |
| CN111289529A (zh) * | 2020-02-28 | 2020-06-16 | 瑞思特(珠海)科技有限责任公司 | 一种基于ai智能分析的输送皮带撕裂检测系统及检测方法 |
| CN112070117A (zh) * | 2020-08-06 | 2020-12-11 | 武汉理工大学 | 一种皮带撕裂检测方法、设备及存储介质 |
| CN112124900A (zh) * | 2020-08-28 | 2020-12-25 | 西安科技大学 | 一种井下皮带偏移的视觉检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| ANDRÉ A. SANTOS 等: "Automatic System for Visual Detection of Dirt Buildup on Conveyor Belts Using Convolutional Neural Networks", 《SENSORS》, pages 1 - 16 * |
| YUANYUAN PU 等: "Image Recognition of Coal and Coal Gangue Using a Convolutional Neural Network and Transfer Learning", 《ENERGIES》, pages 1 - 11 * |
| 吕志强: "复杂环境下煤矿皮带运输异物图像识别研究", 《中国优秀硕士学位论文全文数据库 工程科技I期》, no. 2021, pages 021 - 561 * |
| 徐岩 等: "基于Faster R-CNN网络模型的铁路异物侵限检测算法研究", 《铁道学报》, vol. 42, no. 5, pages 91 - 98 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283339A (zh) * | 2021-05-25 | 2021-08-20 | 中南大学 | 基于机器视觉的工业矿料运输皮带少料异常监测方法 |
| CN113570551A (zh) * | 2021-07-05 | 2021-10-29 | 天津市三特电子有限公司 | 球团链篦机篦条状态监测方法及其监测系统 |
| CN113570551B (zh) * | 2021-07-05 | 2023-07-07 | 天津市三特电子有限公司 | 球团链篦机篦条状态监测方法及其监测系统 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| CN115147770B (zh) * | 2022-08-30 | 2022-12-02 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801965A (zh) | 一种基于卷积神经网络的烧结皮带异物监测方法及系统 | |
| CN106127780B (zh) | 一种曲面表面缺陷自动检测方法及其装置 | |
| CN106841209B (zh) | 一种基于大数据自学习化纤丝锭智能外观检测系统及方法 | |
| CN104361314B (zh) | 基于红外与可见光图像融合的变电设备定位方法及装置 | |
| CN116188462B (zh) | 一种基于视觉鉴定的贵金属质量检测方法及系统 | |
| CN108562589A (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN110490842B (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN103150564A (zh) | 板材表面喷码字符识别装置及其方法 | |
| CN107945200A (zh) | 图像二值化分割方法 | |
| CN104458748A (zh) | 基于机器视觉的铝型材表面缺陷检测方法 | |
| CN102103699A (zh) | 一种基于图像检测棉花吐絮的方法 | |
| CN105488806A (zh) | 一种工件位置追踪定位方法及定位系统 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN109598200B (zh) | 一种铁水罐罐号的图像智能识别系统及方法 | |
| CN107563985A (zh) | 一种红外图像空中运动目标的检测方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| EP3123393A1 (de) | Verfahren zur optischen erkennung von zeichen | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN109596620A (zh) | 基于机器视觉的产品表面形状缺陷检测方法和系统 | |
| CN112669269A (zh) | 一种基于图像识别的管道缺陷分类分级方法及系统 | |
| CN111161228B (zh) | 一种基于迁移学习的纽扣表面缺陷检测方法 | |
| CN115909312A (zh) | 一种基于深度学习的板坯号实时检测与识别方法 | |
| CN108830834A (zh) | 一种爬索机器人视频缺陷信息自动提取方法 | |
| CN111768385A (zh) | Usb表面缺陷检测的神经网络检测方法 | |
| CN112070048A (zh) | 基于RDSNet的车辆属性识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |