CN114140735B - 一种基于深度学习的货道堆积检测方法、系统及存储介质 - Google Patents

一种基于深度学习的货道堆积检测方法、系统及存储介质 Download PDF

Info

Publication number
CN114140735B
CN114140735B CN202111632247.1A CN202111632247A CN114140735B CN 114140735 B CN114140735 B CN 114140735B CN 202111632247 A CN202111632247 A CN 202111632247A CN 114140735 B CN114140735 B CN 114140735B
Authority
CN
China
Prior art keywords
detection
detected
picture
classbox
frame number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111632247.1A
Other languages
English (en)
Other versions
CN114140735A (zh
Inventor
孙成建
黄岗
周圣强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wandianzhang Software Technology Co ltd
OP Retail Suzhou Technology Co Ltd
Original Assignee
Suzhou Wandianzhang Software Technology Co ltd
OP Retail Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wandianzhang Software Technology Co ltd, OP Retail Suzhou Technology Co Ltd filed Critical Suzhou Wandianzhang Software Technology Co ltd
Publication of CN114140735A publication Critical patent/CN114140735A/zh
Application granted granted Critical
Publication of CN114140735B publication Critical patent/CN114140735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到卷积神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段内货道是否存在货箱堆积情况。本发明基于YOLO‑V4的深度学习算法实现货道堆积检测，取代人工判断货道堆积，在很大程度上提高了效率、节省了人力成本。

Description

一种基于深度学习的货道堆积检测方法、系统及存储介质
技术领域
本发明涉及图像处理的技术领域，特别涉及一种基于深度学习的货道堆积检测方法、系统及存储介质。
背景技术
当前零售行业的发展速度越来越快，如何最大程序的保证零售业的运营效率、降低运营成本已经成为零售业成败的关键要素。在零售门店运营过程中，零售门店的货道堆积就是一种很常见的情况。由于零售门店的特殊性，需要经常的上货、补货，而该情况往往会导致货道的长时间堆积，在很大程度上影响了门店的整洁性，并且需要耗费一定的人力来维护；现有技术通过人力不定时的查看监控摄像头，可以在一定程度上避免该情况的发生，保证门店的整洁性。
然而，在当前的情况下，比较常见的做法是采用人力来解决货道堆积，但该方法需要耗费额外的人力成本，而且实时性还不一定能得到保证。
发明内容
基于上述问题，本发明提供了一种基于深度学习的货道堆积检测方法、系统及存储介质，实现了使用深度学习算法解决零售行业常见的货道堆积问题，取代人工判断货道堆积，极大提高了堆积判断的实时性，节省了人力成本。
一方面，本发明提供了一种基于深度学习的货道堆积检测方法，包括：
步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
步骤104，通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
进一步地，所述通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积，包括：
在每个检测周期获取每个设备抓拍的待检测图片；
通过所述检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；
根据每个设备的各ClassBox确定是否存在货道堆积。
进一步地，所述通过所述检测模型对每个待检测图片进行检测，包括：
将每个待检测图片划分成多个子区域，并输入所述检测模型；
通过所述检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K-means聚类算法得到的锚框预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到所述预测边界框的实际坐标；
基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；
根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。
进一步地，所述在每个检测周期更新每个待检测图片中各货箱的ClassBox，包括：
在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；
若是，则判断待检测图片中是否检测出与上一检测周期相同的货箱；若检测出相同的第一货箱，则对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；若检测出不同的第二货箱，则对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；
若否，则对所述目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置1；
遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0。
进一步地，所述判断待检测图片中是否检测出与上一检测周期相同的货箱，包括：
判断当前检测周期中待检测图片中的货箱，与上一检测周期中待检测图片中的货箱的IOU是否大于第一预定阈值；
若是，则判定检测出相同的第一货箱；
若否，则判定检测出不同的第二货箱。
进一步地，根据每个设备的各ClassBox确定是否存在货道堆积，包括：
遍历所有设备下的ClassBox，若存在目标ClassBox的检测帧数大于第二预定阈值，则判断目标ClassBox的检出帧数是否大于第三预定阈值；第二预定阈值为设备抓拍频率与堆积时间的乘积；所述第三预定阈值为所述目标ClassBox的检测帧数与预定比例值的乘积；
若目标ClassBox的检出帧数大于第三预定阈值，且所述目标ClassBox的连续丢失帧数为0，则判定存在存在货道堆积。
进一步地，所述判定存在存在货道堆积之后，还包括：
生成与所述目标ClassBox对应的代办单并上报。
进一步地，所述根据每个设备的各ClassBox确定是否存在货道堆积之后，还包括：
遍历所有设备下的ClassBox，将连续丢失帧数大于第四预定阈值的ClassBox删除。
另一方面，本发明还提供了一种基于深度学习的货道堆积检测系统，所述系统包括采集模块201，标注模块202，训练模块203，检测模块204；
采集模块201，用于采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
标注模块202，用于对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
训练模块203，用于将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
检测模块204，用于通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的货道堆积检测方法。
本发明提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段内货道是否存在货箱堆积情况。本发明基于YOLO-V4的深度学习算法实现货道堆积检测，取代人工判断货道堆积，在很大程度上提高了效率、节省了人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明深度学习的货道堆积检测方法的流程图；
图2为本发明货箱堆积判断逻辑示意图；
图3为本发明的深度学习的货道堆积检测系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于深度学习的货道堆积检测方法、系统及存储介质，基于YOLO-V4的深度学习算法实现货道堆积检测，取代人工判断货道堆积，在很大程度上提高了效率、节省了人力成本，尤其在零售行业具有明显的帮助。
为实现上述目的，本发明提出了一种基于深度学习的货道堆积检测方法，如附图1所示，所述方法包括：
步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
在本实施例中，为了对神经网络模型进行训练生成检测模型，首先需要获取用于训练神经网络模型的训练集和验证集。例如：采集企业门店下的视频图像，并将其截取成图片作为第一图像，该第一图像中可能存在货箱，也可能不存在货箱，因此本方案获得第一图片后，还可以通过自动筛选或者人工筛选的方式选出包含货箱的图片，本方案将包含货箱的图片作为第二图片。需要说明的是，本方案中的第一图片及第二图片的数量可以为多个，在此并不限定第一图片和第二图片的数量。
步骤102，对第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
在本实施例中，还需要对步骤101获得的第二图片进行图像标注，生成符合YOLO-V4算法支持的标注信息，每一帧图片的标注信息按照(label_id,x,y,w,h)单独保存在对应的txt文件中。其中label_id表示类别id，该类别id表示图片中物体的类型，如：该类别id可以为货箱、椅子、桌子等等。(x,y)表示第二图片中货箱的中心点坐标，该中心点坐标是第二图片中货箱的实际中心点坐标分别与第二图片的宽和高进行相除得到的归一化为0～1之间的中心点坐标。w表示第二图片中货箱的宽，h表示第二图片中货箱的高，w和h同样是将第二图片中货箱的实际宽和高，分别与第二图片的宽和高进行相除得到的归一化为0～1之间的宽和高。
步骤103，将标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
在本实施例中，将标注好的第二图片按照8:2(较优比例为8:2，本发明不限定该比例，此处为示例)的比例划分成训练集和验证集；采用基于YOLO-V4的卷积神经网络模型训练，读取标注信息，模型训练时按照第二图片与txt文件名的对应关系依次读取每一行的(label_id,x,y,w,h)信息预测货箱的位置；模型训练完成后，选择验证集上mAP(meanaverage precision，均值平均精确度)最大的权重生成检测模型后，用于检测门店图片。
具体来说，本方案对神经网络模型进行训练时，需要将标注好的第二图片输入到基于YOLO-V4的卷积神经网络模型，第二图片可以是任意尺寸，但输入到YOLO-V4卷积神经网络模型的图像的宽和图像的高必须为32的倍数，因此本方案将筛选获得的所有包含货箱的第二图片设定为416*416的分辨率，然后将包含货箱的第二图片划分成s*s个子区域，s*s的值具体取决于输入到网络中的第二图片的尺寸，计算方式为：输入第二图像的宽/32*
图像的高/32，每个子区域采用基于YOLO-V4的CSPDarknet卷积神经网络提取特征，每个子区域预测3个矩形框，并基于K-means聚类算法得到9种尺度的anchor box，并将9种尺度的anchor box均匀分配给3种尺度的输出特征图，即YOLO层，每种尺度的anchor box长宽比例皆为1:1、1:2、2:1，然后基于K-means聚类算法得到预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到预测边界框的实际坐标；基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度。
在此，对本方案得到预测边界框的中心点坐标(x、y)、宽度w、高度h及存在预测边界框的置信度confidence的过程进行说明，其中，(cx,cy)为中心点坐标所在的目标子区域距离图像左上角的边距，且它对应边界框的宽和高为pw、ph，那么神经网络的预测值为：
bx＝delta(x)+cx
by＝delta(y)+cy
bw＝pw*exp(w)
bh＝ph*exp(h)
confidence＝pr(object)*IOU(b,object)
其中，(bx,by)表示图像标注时货箱的边界框中心坐标，bw、bh表示图像标注时货箱的边界框宽度与高度；delta(x)表示x坐标与所属子区域x方向上边界的距离之差，delta(y)表示y坐标与所属子区域y方向上边界的距离之差；(x，y)表示预测边界框的中心点坐标，w，h是预测边界框的宽度和高度；exp(x)、exp(y)表示以常数e为底的指数函数；confidence是预测边界框的置信度，IOU(b,object)是预测边界框和真实边界框的面积交并比(IOU)，pr(object)表示某子区域是否包含货箱，若包含则值为1，否则为0。
需要说明的是，每个预测边界框的中心点坐标为归一化后的坐标，因此得到每个预测边界框的中心点坐标后，需要根据中心点坐标与第二图片的映射关系得到堆积物体在第二图片的实际坐标；预测边界框的置信度为子区域中存在预测边界框的置信度，类别置信度为每个类别的置信度，是通过softmax分类器预测获得的，如：类别置信度可以为货箱的置信度、为椅子的置信度等等。由于在本方案中，训练集和验证集中仅包括货箱，因此本方案得到的最终置信度为预测边界框的置信度与货箱的置信度的乘积。得出检测结果后，需要与该第二图片的标注信息进行对比，根据预测的准确度来调整神经网络模型的权重。模型训练结束后，选择验证集上mAP(mean average precision，均值平均精确度)最大的权重生成检测模型。
步骤104，通过检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
在本实施例中，判断是否存在货道堆积现象时，首先需要周期性从堆积检测的任务列表中获取所有设备抓拍的图片URL(Uniform Resource Locator,统一资源定位器)。如：设置时间周期为10分钟，则每10分钟作为一个周期，周期性获取堆积检测的任务列表。其中，该设备具体可以为IPC(IP Camera，网络摄像机)设备，本方案在检测时，还可以从所有设备中筛选出仅需要检测的设备的图片URL，由于各设备抓拍的待检测图片存储于云端服务器，因此本方案需要通过图片URL下载对应的待检测图片至本地。将上述训练后生成的检测模型(CSP-Darknet算法模型)一次性加载到计算机内存中，然后将获取的待检测图片输入到检测模型，通过每个检测模型得出每个待检测图片的检测结果。然后基于检测结果判断某一时间段内货道是否存在货箱堆积情况，这种通过模型取代人工判断货道堆积的方式，在很大程度上提高了效率、节省了人力成本，尤其在零售行业具有明显的帮助。
基于上述实施例，在本实施例中，上述步骤104所述的：通过检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积的过程，具体包括：
S201、在每个检测周期获取每个设备抓拍的待检测图片；
在本实施例中，对于每个需要检测的设备，均需要在每个检测周期获取各设备抓拍的待检测图片，例如：共存在20个设备，但是只有10个设备需要检测，则需要在每个检测周期获取这10个设备抓拍的图片，该图片即为本方案中的待检测图片。
S202、通过检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；该ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；
具体来说，本方案通过检测模型对每个待检测图片进行检测的过程，与模型训练过程类似，均需要将每个待检测图片划分成多个子区域，并输入检测模型，然后通过检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K-means聚类算法得到的锚框(anchor box)预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到预测边界框的实际坐标；基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；最后根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。
在本实施例中，得到每个待检测图片的检测结果后，即可根据检测结果确定待检测图片中共存在多少个货箱。本方案为了确定是否存在货道堆积，为每个设备的待检测图片中的每个货箱创建对应的ClassBox，该ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；为了对多个设备进行区分，可为每个设备创建对应的ID，每个设备ID的每个货箱均创建对应的ClassBox，在更新时需要对每个设备的每个ClassBox均更新。
其中，检测帧数是指货箱经历的检测周期的次数，如：货箱1在第一个检测周期检测出，共经历了5个检测周期，则检测帧数为5；检出帧数是指货箱在经历的检测帧数中检测出该货箱的次数，如：货箱1的检测帧数为5次，且每个检测周期都检到货箱1，则检出帧数为5，若其中一个检测周期未检测到，则检出帧数为4；丢失帧数为检测帧数与检出帧数之差，是指货箱在经历的检测帧数中未检测出该货箱的次数；连续丢失帧数是指货箱在经历的检测帧数中连续未检测出该货箱的次数；检测状态用来在本次检测周期中表示该货箱是否检测到，数值为1表示在本检测周期检测到，数值为0表示在本检测周期未检测到，在每个检测周期结束后，需要将所有ClassBox均置为0，以便在下一个检测周期通过置1的方式确定各货箱是否检测到。
如：若上一个检测周围共存在3个货箱(货箱1、货箱2和货箱3)，但是在本次检测中，只检测出货箱1，此时只会更新货箱1的ClassBox，将检测状态置1，货箱2和货箱3未被检测到，此时货箱2和货箱3的ClassBox仍然未被更新，检测状态仍然是0，因此在检测后，便可通过检测哪个ClassBox的检测状态为0的方式，查看本次哪些货箱未被检测到，以对未被检测到的货箱的ClassBox进行更新，也即：对未被检测到的货箱2和货箱3的ClassBox的检测帧数、丢失帧数和连续丢失帧数均+1。
具体来说，在方案中，在每个检测周期更新每个待检测图片中各货箱的ClassBox的过程，具体包括：
S301、在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；若是，则执行S302；若否，则执行S305；
需要说明的是，本方案将每个需要检测的设备称为目标设备。若在目标设备的待检测图片中检测出货箱，则执行S302，否则执行S305。
S302、判断待检测图片中是否检测出与上一检测周期相同的货箱；若是，则执行S303；若否，则执行S304；
具体来说，本方案在判断待检测图片中是否检测出与上一检测周期相同的货箱时，可以通过判断当前检测周期中待检测图片中的货箱，与上一检测周期中待检测图片中的货箱的IOU是否大于第一预定阈值；若是，则判定检测出相同的第一货箱；若否，则判定检测出不同的第二货箱。在本实施例中，该第一预定阈值可以根据实际情况进行设定，如设置第一预定60％。
S303、若检测出相同的第一货箱，则对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；
在本方案中，若目标设备在当前检测周期所检测出的货箱与上一检测周期所检测出的货箱相同，则本方案将该货箱称为第一货箱，并将该第一货箱的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1。
S304、若检测出不同的第二货箱，则对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；
在本方案中，若目标设备在当前检测周期的检测出的货箱与上一检测周期所检测出的货箱不相同，则本方案将该新检测出的货箱称为第二货箱，并创建第二货箱的ClassBox，并将其检测帧数及检出帧数设置为1，将丢失帧数及连续丢失帧数置0，检测状态置1。
S305、对目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置1；
在本方案中，若在当前检测周期未检测出货箱，则说明该目标设备抓拍的图像中不存在货箱，因此在该情况下，需要对目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置1。
S306、遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0。
可以理解的是，执行完上述S301～S305后，还会存在部分未检测出的货箱的ClassBox未被更新，因此本方案还需要遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0，执行完该过程后，所有设备下的ClassBox均被更新，且每个ClassBox的检测状态均为0，便可等待下一个检测周期对各设备的抓拍图片进行检测。
S203、根据每个设备的各ClassBox确定是否存在货道堆积。
其中，在根据每个设备的各ClassBox确定是否存在货道堆积时，需要遍历所有设备下的ClassBox，若存在目标ClassBox的检测帧数大于第二预定阈值，则判断目标ClassBox的检出帧数是否大于第三预定阈值；第二预定阈值为设备抓拍频率与堆积时间的乘积；第三预定阈值为目标ClassBox的检测帧数与预定比例值的乘积；若目标ClassBox的检出帧数大于第三预定阈值，且目标ClassBox的连续丢失帧数为0，则判定存在存在货道堆积。
具体来说，该第二预定阈值为设备抓拍频率与堆积时间的乘积，如：抓拍频率是每10分钟一次，且设置堆积时间为50分钟，则其乘积为5，也即：第二设定阈值为5，若检测到目标ClassBox的检测帧数大于5，则判定目标ClassBox的检出帧数是否大于检测帧数与预定比例值的乘积，在本方案中，该预定比例值也可自定义设置，如：若设置预定比例值为60％，则第三预定阈值为检测帧数与预定比例值的乘积为3。若目标ClassBox的检出帧数大于3，则判断目标ClassBox的连续丢失帧数是否为0，该连续丢失帧数只有在末次检测周期检测出货箱时，才会将目标ClassBox的连续丢失帧数设置为0，若末次检测周期未检测出货箱，则目标ClassBox的连续丢失帧数便会设置为1，因此本方案通过判断目标ClassBox的连续丢失帧数是否为0的方式，确定末次检测周期是否检测出货箱，并且只有末次检测周期检测出货箱时，才会判定该目标ClassBox对应的设备拍摄区域存在货物堆积。
进一步，本方案在判定存在货道堆积之后，还需要遍历所有设备下的ClassBox，将连续丢失帧数大于第四预定阈值的ClassBox删除。该第四预定阈值同样可以自定义设置，本方案并不具体限定其数值，如：可设置第四预定阈值为2，也即：只要检测出ClassBox的连续丢失帧数大于2，则判定对应的货箱已经被移走，并将对应的ClassBox删除。并且在判定存在货道堆积之后，还需要生成与目标ClassBox对应的代办单并上报。该代办单可以包括存在货物堆积的图片，以及对应的设备ID等信息。
参见图2，为本发明实施例提供的一种整体检测流程示意图，通过图2可以看出，本方案获取任务列表并筛选出检测设备后，需要获取该设备的URL，并调控算法服务器中的检测模型进行检测。进行检测及匹配后，若检测出有匹配的货箱，则将该货箱的Classbox的检测帧数+1、检出帧数+1、连续丢帧数置0、box检测状态置1；若未检测出货箱，则将对应设备下的所有Classbox的检测帧数+1、丢失帧数+1、连续丢失帧数+1、box检测状态置1；若检出货箱且无匹配的货箱，则新建该货箱的Classbox，将检测帧数+1、检出帧数+1、连续丢帧数置0、box检测状态置1。然后遍历每个Classbox，统计各box检测状态，判断是否满足上报条件，若是，则上报满足条件的Classbox，若否，则继续判断是否满足删除条件，若满足删除条件，则删除满足条件的Classbox，若不满足删除条件，则在下一个循环继续检测。
综上可以看出，在本方案中，将检测模型一次性加载到计算机内存，模型检测完毕之后处于随时等待状态，当再次需要运行模型时，不需要再重新加载算法模型，节省了算法运行时间；针对企业门店的设备ID的每个货箱box，建立对应的ClassBox，并在每个检测周期根据检测结果对各ClassBox进行更新，并根据ClassBox的值来判定是否存在货物堆积，通过该方式，提高了堆积判断的实时性，节省了人力成本，能够避免货道堆积情况的误判、漏判，很好的解决了拥挤环境下的空间不足问题。
下面对本发明实施例提供的货道堆积检测系统进行介绍，下文描述的货道堆积检测系统及介质与上文描述的货道堆积检测方法可以相互参照。
参见图3，本发明实施例提供的一种基于深度学习的货道堆积检测系统，所述系统包括采集模块201，标注模块202，训练模块203，检测模块204；
采集模块201，用于采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
标注模块202，用于对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
训练模块203，用于将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
检测模块204，用于通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
其中，所述检测模块204包括：
获取单元，用于在每个检测周期获取每个设备抓拍的待检测图片；
检测单元，用于通过所述检测模型对每个待检测图片进行检测；
更新单元，用于在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；
确定单元，用于根据每个设备的各ClassBox确定是否存在货道堆积。
其中，检测单元包括：
处理子单元，用于将每个待检测图片划分成多个子区域，并输入所述检测模型；
预测子单元，用于通过所述检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K-means聚类算法得到的锚框预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到所述预测边界框的实际坐标；基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。
其中，更新单元包括：
第一判断子单元，用于在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；
第二判断子单元，用于检测出货箱时，判断待检测图片中是否检测出与上一检测周期相同的货箱；
第一更新子单元，用于在检测出相同的第一货箱时，对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；
第二更新子单元，用于在检测出不同的第二货箱时，对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；
第三更新子单元，用于未检测出货箱时，对所述目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置1；
第四更新子单元，用于遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0。
其中，第二判断子单元具体用于：判断当前检测周期中待检测图片中的货箱，与上一检测周期中待检测图片中的货箱的IOU是否大于第一预定阈值；若是，则判定检测出相同的第一货箱；若否，则判定检测出不同的第二货箱。
其中，确定单元具体用于：遍历所有设备下的ClassBox，若存在目标ClassBox的检测帧数大于第二预定阈值，则判断目标ClassBox的检出帧数是否大于第三预定阈值；第二预定阈值为设备抓拍频率与堆积时间的乘积；所述第三预定阈值为所述目标ClassBox的检测帧数与预定比例值的乘积；若目标ClassBox的检出帧数大于第三预定阈值，且所述目标ClassBox的连续丢失帧数为0，则判定存在存在货道堆积。
其中，所述检测模块204还包括：
生成单元，用于生成与所述目标ClassBox对应的代办单并上报。
其中，所述检测模块204还包括：
删除单元，用于遍历所有设备下的ClassBox，将连续丢失帧数大于第四预定阈值的ClassBox删除。
本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例所述的基于深度学习的货道堆积检测方法。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于深度学习的货道堆积检测方法，其特征在于，包括：
步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
步骤104，通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积；具体包括：
在每个检测周期获取每个设备抓拍的待检测图片；
通过所述检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；
根据每个设备的各ClassBox确定是否存在货道堆积。
2.根据权利要求1所述的货道堆积检测方法，其特征在于，所述通过所述检测模型对每个待检测图片进行检测，包括：
将每个待检测图片划分成多个子区域，并输入所述检测模型；
通过所述检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K-means聚类算法得到的锚框预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到所述预测边界框的实际坐标；
基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；
根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。
3.根据权利要求2所述的货道堆积检测方法，其特征在于，所述在每个检测周期更新每个待检测图片中各货箱的ClassBox，包括：
在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；
若是，则判断待检测图片中是否检测出与上一检测周期相同的货箱；若检测出相同的第一货箱，则对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；若检测出不同的第二货箱，则对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；
若否，则对所述目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置0；
遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0。
4.根据权利要求3所述的货道堆积检测方法，其特征在于，所述判断待检测图片中是否检测出与上一检测周期相同的货箱，包括：
判断当前检测周期中待检测图片中的货箱，与上一检测周期中待检测图片中的货箱的IOU是否大于第一预定阈值；
若是，则判定检测出相同的第一货箱；
若否，则判定检测出不同的第二货箱。
5.根据权利要求1所述的货道堆积检测方法，其特征在于，根据每个设备的各ClassBox确定是否存在货道堆积，包括：
遍历所有设备下的ClassBox，若存在目标ClassBox的检测帧数大于第二预定阈值，则判断目标ClassBox的检出帧数是否大于第三预定阈值；第二预定阈值为设备抓拍频率与堆积时间的乘积；所述第三预定阈值为所述目标ClassBox的检测帧数与预定比例值的乘积；
若目标ClassBox的检出帧数大于第三预定阈值，且所述目标ClassBox的连续丢失帧数为0，则判定存在货道堆积。
6.根据权利要求5所述的货道堆积检测方法，其特征在于，所述判定存在货道堆积之后，还包括：
生成与所述目标ClassBox对应的代办单并上报。
7.根据权利要求1所述的货道堆积检测方法，其特征在于，所述根据每个设备的各ClassBox确定是否存在货道堆积之后，还包括：
遍历所有设备下的ClassBox，将连续丢失帧数大于第四预定阈值的ClassBox删除。
8.一种基于深度学习的货道堆积检测系统，其特征在于，所述系统包括采集模块201，标注模块202，训练模块203，检测模块204；
采集模块201，用于采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
标注模块202，用于对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
训练模块203，用于将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
检测模块204，用于通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积；具体包括在每个检测周期获取每个设备抓拍的待检测图片；通过所述检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；根据每个设备的各ClassBox确定是否存在货道堆积。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的基于深度学习的货道堆积检测方法。
CN202111632247.1A 2021-07-12 2021-12-28 一种基于深度学习的货道堆积检测方法、系统及存储介质 Active CN114140735B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110784957X 2021-07-12
CN202110784957.XA CN113486823A (zh) 2021-07-12 2021-07-12 一种基于深度学习的货道堆积检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114140735A CN114140735A (zh) 2022-03-04
CN114140735B true CN114140735B (zh) 2023-04-18

Family

ID=77938656

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110784957.XA Withdrawn CN113486823A (zh) 2021-07-12 2021-07-12 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN202111632247.1A Active CN114140735B (zh) 2021-07-12 2021-12-28 一种基于深度学习的货道堆积检测方法、系统及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110784957.XA Withdrawn CN113486823A (zh) 2021-07-12 2021-07-12 一种基于深度学习的货道堆积检测方法、系统及存储介质

Country Status (1)

Country Link
CN (2) CN113486823A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471787B (zh) * 2022-08-09 2023-06-06 东莞先知大数据有限公司 一种工地物体堆放检测方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156983A (zh) * 2016-07-27 2016-11-23 潘燕 货物自动追踪系统
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272145B2 (en) * 2018-10-31 2022-03-08 Blackberry Limited Cargo monitoring system and method
US11308439B2 (en) * 2019-01-22 2022-04-19 Everseen Limited Goods receipt management system and method
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN111311630B (zh) * 2020-01-19 2023-05-23 上海智勘科技有限公司 在仓储管理中通过视频智能统计货物数量的方法和系统
CN111310645B (zh) * 2020-02-12 2023-06-13 上海东普信息科技有限公司 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN111582778B (zh) * 2020-04-17 2024-04-12 上海中通吉网络技术有限公司 操作场地货物堆积度量方法、装置、设备及存储介质
CN111931623A (zh) * 2020-07-31 2020-11-13 南京工程学院 一种基于深度学习的人脸口罩佩戴检测方法
CN112037197A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种热轧棒材冷剪物料堆积检测方法、系统及介质
CN112101221B (zh) * 2020-09-15 2022-06-21 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法
CN112365453A (zh) * 2020-10-26 2021-02-12 上海东普信息科技有限公司 快递货物堆放的检测方法、装置、设备和存储介质
CN112101389B (zh) * 2020-11-17 2021-02-02 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156983A (zh) * 2016-07-27 2016-11-23 潘燕 货物自动追踪系统
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和系统

Also Published As

Publication number Publication date
CN114140735A (zh) 2022-03-04
CN113486823A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111310645A (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN110781839A (zh) 一种基于滑窗的大尺寸图像中小目标识别方法
WO2020062702A9 (zh) 短信发送的方法、装置、计算机设备和存储介质
CN105631418A (zh) 一种人数统计的方法和装置
CN111612002A (zh) 一种基于神经网络的多目标物体运动追踪方法
CN108579094B (zh) 一种用户界面检测方法及相关装置、系统和存储介质
CN110471945B (zh) 活跃数据的处理方法、系统、计算机设备和存储介质
CN114140735B (zh) 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN112686595A (zh) 物流操作违规行为的检测方法、装置、设备和存储介质
JP2021135993A (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
KR101598343B1 (ko) 정체 시공간 패턴 자동인식 시스템 및 그 방법
CN112365453A (zh) 快递货物堆放的检测方法、装置、设备和存储介质
CN112541372B (zh) 一种困难样本筛选方法及装置
CN113239818A (zh) 基于分割和图卷积神经网络的表格图像跨模态信息提取方法
CN109508621A (zh) 装卸口状态监控方法、装置、设备及其存储介质
CN114429640A (zh) 图纸分割方法、装置及电子设备
CN112839047B (zh) 一种云平台上的资产漏洞扫描方法、装置、设备及介质
CN113674322A (zh) 一种运动状态检测方法及相关装置
CN112686298A (zh) 一种目标检测方法、装置及电子设备
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN112131418A (zh) 目标标注方法、目标标注装置和计算机可读存储介质
US20240168599A1 (en) Adding interactivity to a large flow graph drawn and rendered in a canvas
CN117036362B (zh) 堵料检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant