CN115147332A - 一种基于机器视觉的传送带货品智能监控方法及系统 - Google Patents

一种基于机器视觉的传送带货品智能监控方法及系统 Download PDF

Info

Publication number
CN115147332A
CN115147332A CN202110344968.6A CN202110344968A CN115147332A CN 115147332 A CN115147332 A CN 115147332A CN 202110344968 A CN202110344968 A CN 202110344968A CN 115147332 A CN115147332 A CN 115147332A
Authority
CN
China
Prior art keywords
goods
image
data
conveyor belt
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110344968.6A
Other languages
English (en)
Inventor
王义山
邓曦曦
谢文宣
吴小闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jujun Technology Co ltd
Original Assignee
Shanghai Jujun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jujun Technology Co ltd filed Critical Shanghai Jujun Technology Co ltd
Priority to CN202110344968.6A priority Critical patent/CN115147332A/zh
Publication of CN115147332A publication Critical patent/CN115147332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

一种基于机器视觉的传送带货品智能监控方法和系统，其方法包括：通过传送带边缘检测，自动划出有效检测区域；当需要对传送带上货品进行检测时，按时间周期连续获得当前运转货品图像数据，YOLO检测识别模型识别出所述每一帧图像上的不同货品位置和货品类别，对前后帧图像上货品的位置大小在内的特征进行对比，为帧图像上的不同类别货品分别跟踪检测，通过检测所述货品从有效检测区域沿传送带运动方向移出时，统计对应货品个数在内的实时数据。本发明对所述图像中的目标货物进行类别识别，计数统计，生产记录，从而对货品生产进行自动监控，在货物传送异常的情况能及时发布预警信息。

Description

一种基于机器视觉的传送带货品智能监控方法及系统
技术领域
本发明涉及一种智能算法在检测领域的应用，特别是一种具有机器视觉智能算法的传送带货品智能监控方法及系统。
背景技术
在工业生产中，传送带上的货品监控十分重要。例如产品的流转，包装，运输等环节，一批货品在传送带上不间断运行，需要对他们进行计数，识别，以获取数量、分类、生产效率等信息。
现有监控手段主要有：人工法、射频标签法、光电法、图像法。人工法主要通过肉眼观察传送带上的运行情况达到监测目的，缺点是耗费人力和时间，效率低下，且容易出现主观错误。射频标签法是通过射频标签贴在货品表面上，读取标签信息得到货品数量和种类数，缺点是耗材使用大，成本高，货品中途损坏无法感知。光电法通过红外线发射和接收传感器作为检测元件对货品进行计数，但无法判断货品的类别。图像法利用机器视觉的非接触性和高精度，及其计算机的高性能和稳定性等特点可解决货品识别，跟踪计数。基于视觉进行计数时，通常采用一种划线计数，当检测目标穿过预先设定的线后，添加一个流量计数。这种方式的容易出现的问题在于：针对不同场景划线位置不一，且容易受到检测结果的影响。
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统将人工智能计算机视觉算法应用于传送带货品智能监控或检测是行业发展的动态。
也就是说，目标检测是人工智能计算机视觉领域的一个基础方向，通常的目标检测属于监督学习。给定数据集和标签，分别通过预处理、特征提取、特征融合和检测等对所给数据集中包含目标的类别和位置来进行训练，从而达到可以预测训练集之外的相似图片中包含的目标类别和位置的目的。而如何将目标检测智能技术应用于传送带货品智能监测是本领域技术人员急需要解决的问题。
北京林业大学在202011026764.X提供对虾加工剥壳率检测方法、装置、电子设备及存储介质，该方法包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOL0 V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。
上述并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。但是，还是若生产线的产品多样化后，分别对每一产品进行跟踪后计算其生产效率，整个处理的效率会比较慢，但是如果用划线计数的方式，还是存在不同场景划线位置不一，且容易受到检测结果的影响的缺点。
还有，当该传送带应用在生产状态时，无法获知传送带上多个货品的实时运转情况，也不能了解实现的生产详情，更不能统计出不同货品的生产效益。
发明内容
本发明提供一种基于机器视觉的传送带货品智能监控方法和系统，以解决现有技术中无法解决多种不同货品在传送带上需要智能统计其分类和对应的个数，处理效率慢且精度不高的技术问题。
一种基于机器视觉的传送带货品智能监控方法，包括：
使用摄像头录制传送带上不同类别货品的运转图像数据；
对所述运转图像进行标识，标识不同类别货品在所述图像上的位置坐标、货品对应的分类、表明不同货品对应的图像标识信息，将该些数据制作数据集，训练得到YOL0检测识别模型；
通过传送带边缘检测，自动划出有效检测区域；
当需要对传送带上货品进行检测时，按时间周期连续获得当前运转货品图像数据，
YOL0检测识别模型识别出所述每一帧图像上的不同货品位置和货品类别；
对前后帧图像上货品的位置大小在内的特征进行对比，为帧图像上的不同类别货品分别跟踪检测，通过检测所述货品从有效检测区域沿传送带运动方向移出时，统计对应货品个数在内的实时数据。
YOL0检测识别模型识别出所述每一帧图像上的不同货品位置和类别进一步包括：
YOL0检测识别模型首先将当前图像分为S×S的格子；如果一个货品目标的中心落入格子，该格子就负责检测该目标；每一个格子预测目标的边界框位置和该边界框包含目标的置信度，如果没有目标，置信值为零，置信度的定义为目标概率乘边框重叠率：
Figure BDA0002999910510000041
每个边界框包含5个值：中心横坐标X，中心纵坐标Y，框高H，框宽W，置信度C；
每一格子只会预测一类货品目标的概率，通过类别概率和置信度相乘来得到每个边界框的特定类别置信分数：
Figure BDA0002999910510000042
并通过之前学习不同货品对应的图像标识信息，每一格子预测出对应类别货品，并通过该类别货品所在的格子的边界框信息可以获知对应类别货品所在的位置信息，以此识别出当前帧图像中所在所有的类别货品及对应的位置信息。
“通过传送带边缘检测，自动划出有效检测区域”进一步包括：
传送带做边缘检测计算，获取传送带的左右两边的位置，再获取该传送带上某一预设距离内的所述货品运转轨迹，然后以传送带左右为边界，截取预设时间段的货品轨迹，动态划出货品计数检测区域，作为货品流动计数的有效检测区域；
当需要调整有效检测区域时，实时调整时间段或预设距离值，可实时动态调整出新的有效检测区域。
本发明还包括：
计数对应货品个数在内的实时数据之后，还包括对货品分类、时间段、货品个数进行分别统计，构建时间序列数据；
使用已有的历史生产数据和一段时间内积累的时序列数据，其中一部分数据作为测试数据，一部分数据作为验证数据，训练LSTM预测模型；
在模型评估和调优后，逐步形成预测指标；
当实时智能检测出的货品分类、时间段、货品个数这些当前时间序列数据中的实际值与所述预测指标进行对比时，会触发生产效率异常判定。
一种基于机器视觉的传送带货品智能监控系统，该监控系统至少包括视频图像采集装置、支撑装置和服务器，其中视频图像采集装置安装在支撑装置，斜向下面向传送带用于采集传送带上的货品图像信息，所述服务器进一步包括：
检测模块：用于通过之前训练并得到的YOLO检测识别模型，识别出所述每一帧图像上的不同货品位置和货品类别；
识别模块，用于多个货品的目标识别，并记录前一帧和后一帧的位置，为图像上的每一个货品进行编号；前后帧图像上货品的位置大小在内的特征对比，使用多目标跟踪算法，为帧图像上的不同类别货品分别跟踪检测；
统计模块：用于货品检测和识别后，沿着货品运行方向，在图像中设定一个有效区域，为帧图像上的不同类别货品分别跟踪检测，通过检测所述货品从有效检测区域沿传送带运动方向移出时，统计对应货品个数在内的实时数据。
本系统还可以包括：
预警模块：用于针对货品统计情况进行判断，将历史数据，根据货品分类，时间段，货品数构建时间序列数据，通过一段时间积累后，使用一部分数据作为测试数据，一部分数据作为验证数据，去训练LSTM(长短记忆神经网络)预测模型，得到模型后，使用后期的一段数据进行估计调优，并逐步形成预测指标，最后将预测值和实际值比较，达到阈值将触发生产效率异常。
与现有相比，本发明具有以下的优点：
1、本发明通过结合Yolov5框架的智能学习，可以有效识别是当前图像帧上的分类货品及对应的位置信息，又通过多目标跟踪，在一有效检测区域的分类货品移动，精准完成智能监控，而且处理速度非常快，精度高。
2、当该传送带(本发明提及的传送带是一种广义的概念，可以是生产上的输送带等，具有可使货品移动功能的装置都应在本发明的传送带范围)应用在生产领域时，可以实时获取生产状态，得到传送带上运转的货品数量及实时生产时间点。有效识别传送带上的货品分类，了解生产详情。
3、通过自动划取区域，对货品计数具有更好的适应性和准确性。特别是具有动态调整的功能，且区域划分具有各个连接帧具有相应的区域，精度高，方便完成分类货品的精准计数。
4、通过统计数据，实时查看不同货品生产效益。
5、有效监控生产异常，实时捕捉货品异常(出现异类包装)，生产停滞，生产低效等预警。无需人工干预，解决人工疲劳等主观问题。
附图说明
图1是一种基于机器视觉的传送带货品智能监控系统结构示意图
图2是服务器的原理模块图；
图3基于机器视觉的传送带货品智能监控方法的实施流程图。
具体实施方式
以下结合附图，具体说明本发明。
该监测系统至少包括视频图像采集装置、支撑装置和服务器，其中视频图像采集装置安装在支撑装置，斜向下面向传送带用于采集传送带上的货品图像信息，服务器用于将图像采集装置采集到的数据进行处理后完成传送带货品智能监控的效果。即对所述图像中的目标货物进行类别识别，计数统计，生产记录，从而对货品生产进行自动监控，在货物传送异常的情况能及时发布预警信息。其可扩展后具有一下几个优点：1、实时获取生产状态，得到传送带上运转的货品数量。2、有效识别传送带上的货品分类，了解生产详情。3、通过自动划取区域，对货品计数具有更好的适应性和准确性。4、通过统计数据，实时查看不同货品生产效益。5、有效监控生产异常，实时捕捉货品异常(出现异类包装)，生产停滞，生产低效等预警6、无需人工干预，解决人工疲劳等主观问题。
请参阅图1，其为该监测系统的一种实施例。它由摄像机101(视频图像采集装置的其中一实例)、支撑杠102(支撑装置的其中一实例)、嵌入式计算机103(服务器的一种实例)、显示器104、网线105组成。
支撑杠102通过六角螺丝连接摄像机101和嵌入式计算机。嵌入式计算机固定在天花板上或墙壁上，并通过网线104和摄像机101相连接。嵌入式计算机可以通过HDMI高清线连接显示器，也可以通过网线连接云端和本地服务器。具体实施方案如下：
1、连接好本发明装置，将装置放置在传送带106附近，并调整摄像头正对传送带侧面，且确保足够的拍摄视野。
2、启动嵌入式计算机，每隔0.5秒(摄像的周期可以做调整)拍摄不同类别货品的运转图像。
3、嵌入式计算机将货品图像显示在显示器上，对采集的图像进行标注，使用标注工具框出不同类别货品的位置，并标注分类名。
4、将标注好的货品图像和标注文件，通过基于神经网络的Yolov5框架进行目标识别检测的模型训练，得到检测模型。
一般来说，使用摄像头录制传送带上不同类别货品的运转图像数据。在该些图像数据中提取并记录不同货品的图像特征信息，比如货品形状轮廓，颜色，包装图纹等，只能达到分类效果的该些特征。当不同类别的货品用颜色可以达到分类效果时，提取出货品的图像特征中至少包括颜色。若货品形状轮廓可以达到货品分类的功效，则需要记录货品形状轮廓在内的图像特征。
计算机对所述运转图像进行标识，标识不同类别货品在所述图像上的位置坐标、货品对应的分类，包括货品图像特征在内的数据形成标识文件，将所述些标注好的货品图像、包含所述不同类别货品所在位置坐标及所述对应分类在内的标识文件制作数据集，训练得到YOLO检测识别模型。Yolo目标检测框架是计算机视觉领域中一个目标检测的相关方法，其算法的优点是速度极快，操作简便。Yolo将目标检测的流程统一为单个神经网络，该神经网络在采用整个图像信息来预测目标边界框的同时，识别货品的类别，实现端到端实时目标检测任务。
因此，从图2可知，服务器从功能模块上来看，主要分为图像处理模块201、检测模块202、识别模块203、统计模块204和预警模块205。
图像处理模块201：用于与视频图像采集装置相对接，对图像数据进行处理，处理成YOLO检测识别模型可接受的图像数据。比如，视频图像采集装置如果是视频流，则需要处理成一帧一帧图像数据输入到YOLO检测识别模型中。当然，图像处理模块201也非必选地，当拍照后的图像数据直接能输入YOLO检测识别模型中时，就无需图像处理模块201这一块的功能模块。
检测模块202：用于上述提及的训练并练得到YOLO检测识别模型。
识别模块是203计算机程序单元，用于多个货品的目标识别，并记录前一帧和后一帧的位置，为图像上的每一个货品进行编号。前后帧图像上货品的位置大小在内的特征对比，使用多目标跟踪算法，为帧图像上的不同类别货品分别跟踪检测。
统计模块204是在货品检测和识别后，对其进行分类计数统计。沿着货品运行方向，在图像中设定一个有效区域，货品在传送带上从有效四边形区域外进入，后又离开该有效区域，视为货品计数加一。统计结果均通过表格型数据，保存在嵌入式计算机中。
预警模块205是针对货品统计情况进行判断。在正常的时间段内，发现长时间未检测到任何货品，触发生产异常。传送带检测到货品，但无法识别分类，则视为非正常生产。设置货品时间段的生产指标，未达到触发低效率生产。预警模块还将历史数据，根据货品分类，时间段，货品数构建时间序列数据。通过一段时间积累后，使用80％作为测试数据，20％作为验证数据(仅是举例)，去训练LSTM(长短记忆神经网络)预测模型。得到模型后，使用后期的一段数据进行评估调优，并逐步形成预测指标。最后将预测值和实际值比较，达到阈值将触发生产效率异常。使用LSTM模型预测时序数据的优势还在于能够根据微小的生产变化调整对应的预测趋势。
服务器还可以进一步包括有效检测区域自动划分模块，其用于传送带做边缘检测计算，获取传送带的左右两边的位置，再获取该传送带上某一预设距离内的所述货品运转轨迹，然后以传送带左右为边界，截取预设时间段的货品轨迹，动态划出货品计数检测区域，作为货品流动计数的有效检测区域。预警模块可以是一个扩展功能模块。
服务器上述功能的限定仅是举例和功能划分，并非用于限定本发明。
请参阅图3，其为一种基于机器视觉的传送带货品智能监控方法的一种原理流程图，它包括：
S201：使用摄像头录制不同种类的货品图像；
S202：制作数据集，并训练YOLO检测识别模型；
S203：通过传送带边缘检测，在图像上自动划出有效区域；
S204：运用步骤S202中的模型检测视频中的货品；
S205：运用目标跟踪算法，根据识别出的货品在前后帧位置的比较，进行编号；
S206：根据货品在有效区域的变化情况，统计分类数量；
S207：定时记录，当前时间和当前统计数。
即对所述图像中的目标货物进行类别识别，计数统计，生产记录，从而对货品生产进行自动监控。
以下具体说明本发明的一种实施流程图。
(一)训练得到YOLO检测识别模型
S1：使用摄像头录制传送带上不同类别货品的运转图像数据；
S2：对所述运转图像进行标识，标识不同类别货品在所述图像上的位置坐标及货品对应的分类，将所述些标注好的货品图像、包含所述不同类别货品所在位置坐标及所述对应分类在内的数据制作数据集，训练得到YOLO检测识别模型。
YOL0检测识别模型将运转图像、图像上不同类别货品所在位置坐标、表明不同货品对应的图像标识信息等输入模型进行训练。
首先将运转图像分为S×S的格子；如果一个货品目标的中心落入格子，该格子就负责检测该目标；每一个格子预测目标的边界框位置和该边界框包含目标的置信度，如果没有目标，置信值为零，置信度的定义为目标概率乘边框重叠率：
Figure BDA0002999910510000111
每个边界框包含5个值：中心横坐标X，中心纵坐标Y，框高H，框宽W，置信度C。
表明不同货品对应的图像标识信息进行学习，可以获知货品的类别；
每一格子只会预测一类货品目标的概率，通过类别概率和置信度相乘来得到每个边界框的特定类别置信分数：
Figure BDA0002999910510000112
图像上不同类别货品所在位置坐标做为训练因子，可以学习预测货品目标边界框；
即，Yolo检测模型采用整个图像信息来预测货品目标边界框的同时，识别货品的类别。
(二)通过传送带边缘检测，自动划出有效检测区域；
启动检测模块功能，摄像头每隔0.5秒拍摄一张图片。在检测之前，先进行有效检测区域的确定。起初根据传动带检测和货品移动方向，划出一个有效四边形区域。在检测模型准备之后，正式计数之前，会对传送带做边缘检测计算，获取左右两边的位置，然后获取一段货品运转轨迹，然后靠近图像中心，传送带左右为边界，截取一段货品轨迹，按照预先的要求自动划出一个四边形(有效检测区域的四边形是)，作为货品流动计数的边界区域。
当传送带上的货品进行传输个数计数和时间点计数时，通过有效检测区域的确认，可以很精准统计出其传送实时数据，由此可以精准获知生产端的生产效率等数据。当某个货品的生产效率提升，要调整有效检测区域的范围。则可以按照货品的传送速度*时间等参数来动态截取货品轨迹，由此动态划分出新的有效检测区域。
(三)YOL0检测识别模型进行帧图像上的不同货品位置和类别的识别。
启动检测模块功能，摄像头每隔0.5秒拍摄一张图片(仅是举例，不是限定本发明)。即当需要对传送带上货品进行检测时，按时间周期连续获得当前运转货品图像数据。
YOL0检测识别模型识别出所述每一帧图像上的不同货品位置和类别。
首先将运转图像分为S×S的格子；如果一个货品目标的中心落入格子，该格子就负责检测该目标；每一个格子预测目标的边界框位置和该边界框包含目标的置信度，如果没有目标，置信值为零，置信度的定义为目标概率乘边框重叠率：
Figure BDA0002999910510000121
每个边界框包含5个值：中心横坐标X，中心纵坐标Y，框高H，框宽W，置信度C。
每一格子只会预测一类货品目标的概率，通过类别概率和置信度相乘来得到每个边界框的特定类别置信分数：
Figure BDA0002999910510000122
由于之前已经过学习，因此YOLO检测识别模型可以通过格子预测出格子内的目标是什么类别货品，并通过格子的边框信息可以预测该类别货品所在的位置信息。
即，YOLO检测识别模型可以预测识别出本次运转图像上有的所有的分类货品及每一分类货品对应的位置信息。
(四)多目标跟踪；
YOLO检测识别模型识别出的每一图像上的所有的不同分类的货品及每一货品对应的位置信息。
检测出当前图像中所在有效检测区域内的所有的不同分类的货品及每一货品对应的位置信息，与前一帧图像的所在有效检测区域内的所有的不同分类的货品和每一货品对应的位置信息进行对比，找到前一帧图像中位于有效检测区域内而当前图像中不位于有效检测区域内的所有的不同分类的货品，分别对比每一分类货品在当前图像的位置信息与在前一帧图像位置信息，若移动的方向同与预先设定的传送带的方式一致，则该分类货品认为从有效检测区域沿传送带运动方向移出时，计数对应货品个数及对应的当前时间。
(五)根据货品在有效区域的变化情况，统计分类数量。
LSTM是一种改进的特殊循环神经网络，其中重要特征是使用三个门来，保护和控制神经单元的状态，第一步使用sigmoid激活函数实现遗忘门ft：
ft＝σ(Wf·[ht-1，xt]+bf)
其中Wf是遗忘门的权重项，bf是遗忘门偏置项，ht-1表示的是上个单元的输出，xt表示的是当前单元的输入，σ表示sigmod函数。
第二步使用sigmoid函数决定更新的信息，使用tanh函数产生新的候选向量，从而联合实现输入门Ct：
it＝σ(Wi·[ht-1，xt]+bi)
Figure BDA0002999910510000141
Figure BDA0002999910510000142
其中Wi是输入门的权重项，bi是输入门的偏置项，Wc是候选权重，bc是候选偏移量。Ct当前单元的状态，Ct-1是上一个单元的状态。
第三步，使用一个sigmoid函数来确定输出的部分，再使用tanh函数处理单元中的内容，并将两部分相乘，实现输出门
ot＝σ(Wo[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中Wo是输出门的权重项，bo是输出门的偏置项，ht当前单元的输出。
sigmoid函数是用于控制Gate的：
σ(x)＝1/(1+e-x)
tanh函数是用于激活的：
Figure BDA0002999910510000143
本例中LSTM算法，使用每月各类商品累计数作为时序值，时序步长为3，即根据前3个月的数据预测后一个月的数据，同时对数据进行归一化，使模型对数据更敏感，此外还将结合该传送带产成品的产量周期性规律等，一般是年，进行周期性的重复训练，从而适应微小的生产变化和行业周期性变化。在此基础上，使用多特征输入输出，加上各类产品的生产量历史数据和传送带上产成品市场上同类产品的销售数据、行业景气指数及价格指数波动数据，来预测未来的生产量数据。
(六)预警
计数对应货品个数在内的实时数据之后，还包括对货品分类、时间段、货品个数进行分别统计，构建时间序列数据；
使用已有的历史生产数据和一段时间内积累的时序列数据，其中一部分数据作为测试数据，一部分数据作为验证数据，训练LSTM预测模型；
估计调优后，逐步形成预测指标；
当实时智能检测出货品分类、时间段、货品个数的当前时间序列数据中的该些实际值与所述预测指标进行对比，从中触发生产效率异常判定。比如，启动预警模块，输入最低产能预警值。统计模块会定时查询货品数量，并计算各类产品的生产效率。通过显示器104查看，不同产品不同时间段的数量统计。在预警机制下，可实时接收各种异常报警通知。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如上述方法被执行。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。如本说明书实施例所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Net work Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子系统执行时，使得所述电子系统执行实施例一所述的方法。在此不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEP ROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

Claims (10)

1.一种基于机器视觉的传送带货品智能监控方法，其特征在于，包括：
使用摄像头录制传送带上不同类别货品的运转图像数据；
对所述运转图像进行标识，标识不同类别货品在所述图像上的位置坐标、货品对应的分类、表明不同货品对应的图像标识信息，将该些数据制作数据集，训练得到YOLO检测识别模型；
通过传送带边缘检测，自动划出有效检测区域；
当需要对传送带上货品进行检测时，按时间周期连续获得当前运转货品图像数据，
YOLO检测识别模型识别出所述每一帧图像上的不同货品位置和货品类别；
对前后帧图像上货品的位置大小在内的特征进行对比，为帧图像上的不同类别货品分别跟踪检测，通过检测所述货品从有效检测区域沿传送带运动方向移出时，统计对应货品个数在内的实时数据。
2.如权利要求1所述的方法，其特征在于，YOLO检测识别模型识别出所述每一帧图像上的不同货品位置和类别进一步包括：
YOLO检测识别模型首先将当前图像分为S×S的格子；如果一个货品目标的中心落入格子，该格子就负责检测该目标；每一个格子预测目标的边界框位置和该边界框包含目标的置信度，如果没有目标，置信值为零，置信度的定义为目标概率乘边框重叠率：
Figure FDA0002999910500000011
每个边界框包含5个值：中心横坐标X，中心纵坐标Y，框高H，框宽W，置信度C；
每一格子只会预测一类货品目标的概率，通过类别概率和置信度相乘来得到每个边界框的特定类别置信分数：
Figure FDA0002999910500000021
并通过之前学习不同货品对应的图像标识信息，每一格子预测出对应类别货品，并通过该类别货品所在的格子的边界框信息可以获知对应类别货品所在的位置信息，以此识别出当前帧图像中所在所有的类别货品及对应的位置信息。
3.如权利要求1或2所述的方法，其特征在于：“通过传送带边缘检测，自动划出有效检测区域”进一步包括：
传送带做边缘检测计算，获取传送带的左右两边的位置，再获取该传送带上某一预设距离内的所述货品运转轨迹，然后以传送带左右为边界，截取预设时间段的货品轨迹，动态划出货品计数检测区域，作为货品流动计数的有效检测区域；
当需要调整有效检测区域时，实时调整时间段或预设距离值，可实时动态调整出新的有效检测区域。
4.如权利要求1或2所述的方法，其特征在于，还包括：
计数对应货品个数在内的实时数据之后，还包括对货品分类、时间段、货品个数进行分别统计，构建时间序列数据；
使用已有的历史生产数据和一段时间内积累的时序列数据，其中一部分数据作为测试数据，一部分数据作为验证数据，训练LSTM预测模型；
多模型评估调优后，逐步形成预测指标；
当实时智能检测出货品分类、时间段、货品个数的当前时间序列数据中的该些实际值与所述预测指标进行对比，从中触发生产效率异常判定。
5.如权利要求4所述的方法，其特征在于：其进一步包括：
LSTM是一种改进的特殊循环神经网络，其中重要特征是使用三个门来，保护和控制神经单元的状态，第一步使用sigmoid激活函数实现遗忘门ft：
ft＝σ(Wf·[ht-1，xt]+bf)
其中Wf是遗忘门的权重项，bf是遗忘门偏置项，ht-1表示的是上个单元的输出，xt表示的是当前单元的输入，σ表示sigmod函数，
第二步使用sigmoid函数决定更新的信息，使用tanh函数产生新的候选向量，从而联合实现输入门Ct：
it＝σ(Wi·[ht-1，xt]+bi)
Figure FDA0002999910500000031
Figure FDA0002999910500000032
其中Wi是输入门的权重项，bi是输入门的偏置项，Wc是候选权重，bc是候选偏移量。Ct当前单元的状态，Ct-1是上一个单元的状态。
第三步，使用一个sigmoid函数来确定输出的部分，再使用tanh函数处理单元中的内容，并将两部分相乘，实现输出门
ot＝σ(Wo[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中Wo是输出门的权重项，bo是输出门的偏置项，ht当前单元的输出。
sigmoid函数是用于控制Gate的：
σ(x)＝1/(1+e-x)
tanh函数是用于激活的：
Figure FDA0002999910500000033
本例中LSTM算法，使用每月各类商品累计数作为时序值，时序步长为N，即根据前N个月的数据预测后一个月的数据，同时对数据进行归一化，使模型对数据更敏感，此外还将结合该传送带产成品的产量周期性规律，一般是年，进行周期性的重复训练，从而适应微小的生产变化和行业周期性变化。在此基础上，使用多特征输入输出，加上各类产品的生产量历史数据和传送带上产成品市场上同类产品的销售数据、行业景气指数及价格指数波动数据，来预测未来的生产量数据。
6.如权利要求1所述的方法，其特征在于，还包括：
预先在传送带上设置其监测系统，该监测系统至少包括视频图像采集装置、支撑装置和服务器，其中视频图像采集装置安装在支撑装置的端部，斜向下面向传送带，服务器安装在支撑装置的顶部，视频图像采集装置以获图像中货物包括顶面、货物的侧面的信息。
7.如权利要求1所述的方法，其特征在于，对前后帧图像上货品的位置大小在内的特征对比，使用多目标跟踪算法为帧图像上的不同类别货品分别跟踪检测进一步包括：
检测出当前图像中所在有效检测区域内的所有的不同分类的货品及每一货品对应的位置信息，与前一帧图像的所在有效检测区域内的所有的不同分类的货品和每一货品对应的位置信息进行对比，找到前一帧图像中位于有效检测区域内而当前图像中不位于有效检测区域内的所有的不同分类的货品，分别对比每一分类货品在当前图像的位置信息与在前一帧图像位置信息，若移动的方向同与预先设定的传送带的方式一致，则该分类货品认为从有效检测区域沿传送带运动方向移出时，计数对应货品个数及对应的当前时间。
8.一种基于机器视觉的传送带货品智能监控系统，其特征在于，该监测系统至少包括视频图像采集装置、支撑装置和服务器，其中视频图像采集装置安装在支撑装置，斜向下面向传送带用于采集传送带上的货品图像信息，所述服务器进一步包括：
检测模块：用于通过之前训练并得到的YOL0检测识别模型，识别出所述每一帧图像上的不同货品位置和货品类别；
识别模块，用于多个货品的目标识别，并记录前一帧和后一帧的位置，为图像上的每一个货品进行编号；前后帧图像上货品的位置大小在内的特征对比，使用多目标跟踪算法，为帧图像上的不同类别货品分别跟踪检测；
统计模块：用于货品检测和识别后，沿着货品运行方向，在图像中设定一个有效区域，为帧图像上的不同类别货品分别跟踪检测，通过检测所述货品从有效检测区域沿传送带运动方向移出时，统计对应货品个数在内的实时数据。
9.如权利要求8所述的系统，其特征在于，还包括：
预警模块：用于针对货品统计情况进行判断，将历史数据，根据货品分类，时间段，货品数构建时间序列数据，通过一段时间积累后，使用一部分数据作为测试数据，一部分数据作为验证数据，去训练LSTM(长短记忆神经网络)预测模型，得到模型后，使用后期的一段数据进行估计，并逐步形成预测指标，最后将预测值和实际值比较，达到阈值将触发生产效率异常。
10.一种计算机可读存储介质，包含权项1至权项7的方法程序。
CN202110344968.6A 2021-03-30 2021-03-30 一种基于机器视觉的传送带货品智能监控方法及系统 Pending CN115147332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110344968.6A CN115147332A (zh) 2021-03-30 2021-03-30 一种基于机器视觉的传送带货品智能监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110344968.6A CN115147332A (zh) 2021-03-30 2021-03-30 一种基于机器视觉的传送带货品智能监控方法及系统

Publications (1)

Publication Number Publication Date
CN115147332A true CN115147332A (zh) 2022-10-04

Family

ID=83403405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110344968.6A Pending CN115147332A (zh) 2021-03-30 2021-03-30 一种基于机器视觉的传送带货品智能监控方法及系统

Country Status (1)

Country Link
CN (1) CN115147332A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117634538A (zh) * 2024-01-26 2024-03-01 多彩贵州数字科技股份有限公司 一种基于机器视觉的面包生产计数分析管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117634538A (zh) * 2024-01-26 2024-03-01 多彩贵州数字科技股份有限公司 一种基于机器视觉的面包生产计数分析管理系统
CN117634538B (zh) * 2024-01-26 2024-04-19 多彩贵州数字科技股份有限公司 一种基于机器视觉的面包生产计数分析管理系统

Similar Documents

Publication Publication Date Title
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
US9183459B1 (en) Sensor fusion using detector confidence boosting
US9361702B2 (en) Image detection method and device
US20170278266A1 (en) Systems and methods for detecting and tracking a marker
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN115147332A (zh) 一种基于机器视觉的传送带货品智能监控方法及系统
CN109829382A (zh) 基于行为特征智能分析的异常目标预警追踪系统及方法
Szkilnyk et al. Vision based fault detection of automated assembly equipment
CN111507315A (zh) 一种物品取放事件检测方法、装置及设备
CN111275705A (zh) 智能验布方法、装置、电子设备及存储介质
Babila et al. Object detection for inventory stock counting using yolov5
CN111325181A (zh) 一种状态监测方法、装置、电子设备及存储介质
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN110807354A (zh) 一种工业流水线产品计数方法
CN115984780B (zh) 工业固体废物出入库判别方法、装置、电子设备及介质
CN115601686B (zh) 物品交付确认的方法、装置和系统
CN109064457A (zh) 一种基于视觉的数量累计的方法及系统
CN114638947A (zh) 数据标注方法、装置、电子设备及存储介质
Kuo et al. Design and Implementation of AI aided Fruit Grading Using Image Recognition
Vanijjirattikhan et al. High accuracy conveyor-based object counting algorithm
CN114255435A (zh) 传送装置异常检测方法、装置、电子设备及存储介质
CN111967403A (zh) 视频移动区域确定方法、装置及电子设备
Tan et al. Research on YOLOv8 Application in Bolt and Nut Detection for Robotic Arm Vision
US11393122B1 (en) Method and system for determining contextual object position

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination