CN108764023B - 一种基于深度学习的传送带上物料检测系统 - Google Patents

Abstract

一种基于深度学习的传送带上物料检测系统，包括视频管理模块、深度学习分类模块和数据分析模块；视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；深度学习分类模块与视频管理模块连接，深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；数据分析模块与深度学习分类模块连接，数据分析模块包括数据滤波模块、结果分析模块和结果存储模块。本发明的检测系统在模型训练完毕后即可自动对视频进行检测分析，节约人力投入，只需要监视人员就可通过屏幕输出信息对整个工厂传送带运行状态进行判断；使用标注过的数据训练深度学习目标分类模型，提高了检测结果的正确率。

Description

一种基于深度学习的传送带上物料检测系统

技术领域

本发明涉及一种工厂物料检测系统，尤其涉及一种基于深度学习的传送带上物料检测系统。

背景技术

随着时代的发展，工业对自动化要求越来越高。物料生产工厂将处理后的物料通过传送带运输，需要专门的监管人员判断传送带是否运动，传送带上是否存在物料、存在物料的类型以及物料的多少。这个过程需要消耗额外的人力成本，且人具有疲劳度和一定的主观因素，对于物料的检测结果标准也不会一成不变。传统对工业传送带运输物料的检测一般是通过压力传感器，压力传感器直接或间接与物料接触，寿命较低。针对这种现象，需要利用现有技术实现机器代替人来完成对传送带物料的检测。

发明内容

本发明的目的是提供一种基于深度学习的传送带上物料检测系统，以解决上述传统工业传送带运输物料检测存在的问题。因此，本发明采用以下技术方案。

一种基于深度学习的传送带上物料检测系统，所述系统包括视频管理模块、深度学习分类模块和数据分析模块；

所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；

所述深度学习分类模块与所述视频管理模块连接，所述深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习分类模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；

所述数据分析模块与所述深度学习分类模块连接，所述数据分析模块包括数据滤波模块、结果分析模块和结果存储模块；所述数据滤波模块对所述检测数据进行滤波；所述结果分析模块对滤波后的检测数据进行分析；所述结果存储模块对滤波后的检测数据和/或分析结果进行存储。

优选的，所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练。

优选的，所述卷积网络为三层卷积网络或五层卷积网络。

优选的，所述全连接网络为三层全连接网络。

优选的，所述数据标注模块包括标注工具模块，所述标注工具模块对标注帧图片进行标注。

优选的，所述数据标注模块的标注内容包括图片ID、物料种类和物料含量。

优选的，所述数据滤波模块采用中值滤波。

优选的，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将滤波后的检测数据和/或分析结果进行可视化显示。

本发明的有益效果是：本发明的检测系统在模型训练完毕后即可自动对视频进行检测分析，节约人力投入，只需要监视人员就可通过屏幕输出信息对整个工厂传送带运行状态进行判断；传统对工业传送带运输物料的检测一般是通过压力传感器，压力传感器直接或间接与物料接触，寿命较低，本发明将检测与实际工作隔离开来，对于任何一个传送带检测只需要部署一个摄像头即可，方便，易用；本发明的系统可以同时判断传送带是否运动，传送带上是否存在物料以及物料的多少；本发明使用标注过的数据训练深度学习目标分类模型，提高了检测结果的正确率；标注的数据作为训练模块的训练数据，经训练后生成检测模型，并进行存储以在电脑断电重启后等情况下可以直接调用检测模型不需要再次进行训练，提高了系统的检测效率。

附图说明

图1 是本发明的系统结构图。

图2 是本发明的数据标注示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习的传送带上物料检测系统，包括视频管理模块、深度学习分类模块和数据分析模块；

视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，本机为执行数据获取模块的机器，数据存储模块存储所述数据获取模块获取的摄像头数据， API视频接口模块开放视频接口以供其他模块调用数据。工厂每个传送带位置安装一个摄像头，摄像头安装在传送带运动终止位置处，保证传送带在图片中能够完整清晰显示。视频管理模块开放API接口供外部调用视频数据，视频大小为720p，帧率为30。

深度学习分类模块与视频管理模块连接，深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；深度学习分类模块通过API视频接口调用摄像头数据；数据标注模块对部分摄像头数据中选定的标注帧图片进行标注；模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；模型存储模块存储检测模型；生成并存储检测模型后，检测模型对摄像头数据进行检测并生成检测数据，并将检测数据发送到数据分析模块。深度学习检测模块使用标注过的数据训练深度学习目标分类模型，通过API接口调用视频数据后逐帧进行检测，并将每一帧的分类结果数据存储并开放数据API接口。标注的数据作为训练模块的训练数据，经训练后生成检测模型，并进行存储以在电脑断电重启后等情况下可以直接调用模型不需要再次进行训练。程序对视频进行检测时首先加载检测模型，通过视频API接口调用视频帧数据，进行检测并将结果输出。

数据分析模块与深度学习分类模块连接，数据分析模块包括数据滤波模块、结果分析模块和结果存储模块。数据滤波模块对检测数据进行滤波，进一步增加数据的稳定性和可靠性。结果分析模块对滤波后的检测数据进行分析；结果存储模块对滤波后的检测数据和/或分析结果进行存储。数据分析模块根据前一步检测结果数据得出每一个传送带是否运动、传送带上物料有无、物料种类和物料多少4个信息，将信息存储，并可视化显示于视频上。

如图2所示，数据标注使用特定标注工具进行标注，标注工具在用户选定需要标注图片所在文件夹后显示第一张图片，右侧有填值区，填写当前图片运输物料类型代表的数字（0：没有，1：砂石，2：黄土），物料量的多少（0-1之间的数值，0表示没有，1表示满载），标注后标注信息会附加显示在图片显示区上。按键功能区有下一张、上一张、修改、删除按键，下一张快捷键为(d)，点击后进行下一张图片标注工作；上一张快捷键为(a)，点击后返回上一张图片，查看是否标注正确；修改快捷键为(x)，清楚当前标注图片标注信息，重新进行标注；删除快捷键为(c)，删除当前图片，表示当前图片不适合作为标注数据。图片标注数据以xlsx文件格式保存，每一行保存一个标注数据，分别为图像名称、物料类别、物料含量。对已有视频中不同拍摄时间（白天/黑夜，系统24小时运行）、不同拍摄工位、不同用料、不同用量的截取帧图片进行标注。

在pytorch框架下采用卷积网络加全连接网络训练模型，经标注数据训练完成后存储模型。为了提高检测速度，使用两种方式对模型进行训练。第一种为小型模型训练，使用3层卷积+3层全连接，训练对象为一种物料，其特点是模型占空间小，检测速度快，适用于单种物料检测任务，一般针对传送带运输物料种类长期不变情况下使用。

第二种是大型模型训练，使用5层卷积+3层全连接，训练对象为所有种类物料，其特点是模型占空间较大，检测速度较慢，但能仅使用一个模型就能胜任多个传送带多种物料检测任务。

对视频图片进行检测后输出结果为当前检测传送带上物料有无以及量的多少。在这里对于小模型，检测速度快，其只能对特定的一种物料进行检测。大模型，检测速度慢，但能应用于多种物料检测任务上，比如某个传送带可能上午运输的是石头，下午运输的是泥土，则能够用大模型进行检测。两种模型的输出都是物料有无，对应值为0和1，以及物料量的多少，对应0到1之间的一个数，如表1所示。

物料有无	物料含量	表示结果
			0	0.1	没有物料，此时量的值为0.1很小，传送带上物料含量很小，判断为没有物料。
1	0.8	有物料，量为满载的80%左右
			1	1.0	有物料，满载

表1

物料有无输出值为0或1，分别表示没有物料存在和有物料存在，采用阈值化方法判断。物料含量输出值为0-1之间的一个数，其值越接近0表示物料含量越少，值越接近1表示物料含量越多。

深度学习分类模块和数据分析模块在同一个系统框架下，数据内部连通使用。数据分析模块接收数据后首先对数据滤波，滤波采用中值滤波，增加数据容错率。

对滤波后的数据进行判断获得传送带运动信息，如果实际检测时相邻两张图片检测结果差异超过设定阈值则认为传送带运动，数据在时间维度上滤波后进行输出作为传送带是否运动的判断依据，如果数据在较长时间（如设定10帧）都没有发生变化，判断传送带静止。对滤波后的数据进行判断从而知道每一个摄像头是否存在物料以及物料的多少，并将检测结果实时标识在对应视频上，供监管人员进行判断、管理。

数据标注针对白天/黑夜、物料有无共四种情况进行标注，实际使用时一般每种物料的每种情况标注200张数据即可，标注内容包括：图片ID、物料种类和物料含量，一般物料多少与物料有无数据一致，为0和1，因为选的标注图片是空的或者满载。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (3)

1.一种基于深度学习的传送带上物料检测系统，其特征在于，所述系统包括视频管理模块、深度学习分类模块和数据分析模块；

所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；

所述深度学习分类模块与所述视频管理模块连接，所述深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习分类模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；

所述数据分析模块与所述深度学习分类模块连接，所述数据分析模块包括数据滤波模块、结果分析模块和结果存储模块；所述数据滤波模块对所述检测数据进行滤波；所述结果分析模块对滤波后的检测数据进行分析；所述结果存储模块对滤波后的检测数据和/或分析结果进行存储；

所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练；所述全连接网络为三层全连接网络；所述卷积网络为三层卷积网络或五层卷积网络；

所述数据标注模块包括标注工具模块，所述标注工具模块对标注帧图片进行标注；

所述数据标注模块的标注内容包括图片ID、物料种类和物料含量；

数据标注使用特定标注工具进行标注，标注工具在用户选定需要标注图片所在文件夹后显示第一张图片，右侧有填值区，填写当前图片运输物料类型代表的数字、物料量的多少，物料量的多少用0-1之间的数值表示，0表示没有，1表示满载；标注后标注信息会附加显示在图片显示区上；按键功能区有下一张、上一张、修改、删除按键，点击下一张快捷键后进行下一张图片标注工作，点击上一张快捷键为后返回上一张图片，查看是否标注正确，点击修改快捷键后，清除当前标注图片标注信息，重新进行标注，点击删除快捷键后，删除当前图片，表示当前图片不适合作为标注数据；图片标注数据以xlsx文件格式保存，每一行保存一个标注数据，分别为图像名称、物料类别、物料含量；对已有视频中不同拍摄时间、不同拍摄工位、不同用料、不同用量的截取帧图片进行标注；

在pytorch框架下采用卷积网络加全连接网络训练模型，经标注数据训练完成后存储模型；为了提高检测速度，使用两种方式对模型进行训练，第一种为小型模型训练，使用3层卷积+3层全连接，训练对象为一种物料，其特点是模型占空间小，检测速度快，适用于单种物料检测任务，一般针对传送带运输物料种类长期不变情况下使用；第二种是大型模型训练，使用5层卷积+3层全连接，训练对象为所有种类物料，其特点是模型占空间较大，检测速度较慢，但能仅使用一个模型就能胜任多个传送带多种物料检测任务。

2.根据权利要求1所述的一种基于深度学习的传送带上物料检测系统，其特征在于，所述数据滤波模块采用中值滤波。

3.根据权利要求1所述的一种基于深度学习的传送带上物料检测系统，其特征在于，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将滤波后的检测数据和/或分析结果进行可视化显示。

Images