CN111951258A - 一种基于边缘计算的货架缺货预警分析系统及方法 - Google Patents

一种基于边缘计算的货架缺货预警分析系统及方法 Download PDF

Info

Publication number
CN111951258A
CN111951258A CN202010849248.0A CN202010849248A CN111951258A CN 111951258 A CN111951258 A CN 111951258A CN 202010849248 A CN202010849248 A CN 202010849248A CN 111951258 A CN111951258 A CN 111951258A
Authority
CN
China
Prior art keywords
stock
shelf
goods
shortage
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010849248.0A
Other languages
English (en)
Other versions
CN111951258B (zh
Inventor
叶俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangyou Digital Technology Guangdong Co Ltd
Original Assignee
Miniso Hengqin Enterprise Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miniso Hengqin Enterprise Management Co ltd filed Critical Miniso Hengqin Enterprise Management Co ltd
Priority to CN202010849248.0A priority Critical patent/CN111951258B/zh
Publication of CN111951258A publication Critical patent/CN111951258A/zh
Application granted granted Critical
Publication of CN111951258B publication Critical patent/CN111951258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Emergency Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于边缘计算的货架缺货预警分析系统及方法，其中，系统包括：视频采集模块，用于采集商品货架的图像；智能检测模块，用于通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；智能分析模块，用于将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。本发明通过边缘设备对商品货架图像进行智能检测、分析，当货架发生缺货现象时能及时报警，不仅减轻了工作量，而且能减少漏报、误报商品货架缺货的情况发生。

Description

一种基于边缘计算的货架缺货预警分析系统及方法
技术领域
本发明涉及图像识别与处理技术领域，尤其是涉及一种基于边缘计算的货架缺货预警分析系统及方法。
背景技术
由于超市具有自助选购、商品齐全等优点，其受到了人们的喜爱。在人们在超市购买商品的过程中，超市内的商品的库存量在一直变动。在现有的查看货架是否缺货的方法中，通常采用摄像头直接获取货架图像，然后将图像传递到显示器上，再通过人工肉眼方式查看货架图像，判断货架是否已经发生缺货现象。
但由于超市商品种类、数目繁多，通过人工方式查看图像判断是否缺货，工作量巨大，且容易造成漏报缺货商品的现象，进而导致超市商品补货不及时，严重时还可能影响超市的经营效益。
发明内容
本发明的目的是提供一种基于边缘计算的货架缺货预警分析系统及方法，以解决判断货架缺货工作量巨大、且容易造成漏报缺货商品的技术问题。
本发明的目的，可以通过如下技术方案实现：
一种基于边缘计算的货架缺货预警分析系统，包括：
视频采集模块，用于采集商品货架的图像；
智能检测模块，用于通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
智能分析模块，用于将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
可选地，还包括：
图像获取模块，用于获取所述视频采集模块中采集的图像，并将采集的图像传输至所述智能检测模块。
可选地，还包括：
报警模块，用于当所述图像的缺货位置与前一预设时间段检测得到的缺货位置相同时，对所述图像进行报警，并将所述图像自动推送到巡店app。
可选地，所述智能检测模块包括：
下采样单元，用于对所获取的商品货架图像进行下采样；
预测单元，用于对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；
计算单元，用于根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；
输出单元，用于输出商品货架的缺货位置坐标及缺货置信度。
可选地，所述智能分析模块包括：
保存单元，用于保存商品货架的缺货位置坐标及缺货置信度；
对比单元，用于将所述缺货置信度与预设的置信度阈值进行比较；
判断单元，用于当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
本发明还提供了一种基于边缘计算的货架缺货预警分析方法，包括：
采集商品货架的图像；
通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
可选地，采集商品货架的图像之后还包括：
获取所述视频采集模块中采集的图像，并将采集的图像传输至所述智能检测模块。
可选地，判断所述商品货架是否缺货之后还包括：
当所述图像的缺货位置与前一预设时间段检测得到的缺货位置相同时，对所述图像进行报警，并将所述图像自动推送到巡店app。
可选地，通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度具体包括：
对所获取的商品货架图像进行下采样；
对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；
根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；
输出商品货架的缺货位置坐标及缺货置信度。
可选地，将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货具体包括：
保存商品货架的缺货位置坐标及缺货置信度；
将所述缺货置信度与预设的置信度阈值进行比较；
当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
本发明提供了一种基于边缘计算的货架缺货预警分析系统及方法，其中，系统包括：视频采集模块，用于采集商品货架的图像；智能检测模块，用于通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；智能分析模块，用于将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
本发明提供的一种基于边缘计算的货架缺货预警分析系统及方法，现场边缘设备运行压缩过的轻量级深度学习网络模型，边缘设备对摄像头采集的商品货架图像进行实时智能检测和智能分析，当发生货架缺货现象时能及时报警。本发明能实时获取门店的商品货架图片并进行智能检测、分析和报警，不仅减轻了工作人员的工作量，而且能减少漏报、误报商品货架缺货的情况发生。本发明中使用的边缘设备不受网络波动的影响，不受网络传输速度的影响，也不受中心服务器算力的影响，容易移植到新店且稳定运行。
附图说明
图1为现有的货架缺货预警分析系统的过程示意图；
图2为本发明一种基于边缘计算的货架缺货预警分析系统及方法的系统结构图；
图3为本发明一种基于边缘计算的货架缺货预警分析系统及方法的系统架构示意图；
图4为本发明一种基于边缘计算的货架缺货预警分析系统及方法的方法流程示意图；
图5为本发明一种基于边缘计算的货架缺货预警分析系统及方法的预测缺货位置的过程示意图。
具体实施方式
本发明实施例提供了一种基于边缘计算的货架缺货预警分析系统及方法，以解决判断货架缺货工作量巨大、且容易造成漏报缺货商品的技术问题。
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，现有的货架缺货预警分析系统主要包括，视频采集模块，远程巡店模块、人工检查模块和缺货确认模块；其中，视频采集模块用于与门店监控摄像头相连，用于采集监控视频流；远程巡店模块用于对视频进行人工检测、对缺货位置进行标记及通过巡店app进行报警；人工检查模块，区域经理现场巡店对货架饱满度进行检查；缺货确认模块，人工方式确认货架是否缺货并及时补货。
现有方法中，通常将现场门店获取的视频或图像上传到网路中心服务器，然后再通过人工方式对图片进行查看、检测，检查商品货架是否缺货，当发生缺货现象时通过巡店app进行报警。但是，利用网络中心服务器对现场视频或者图片进行拉取时，受现场及中心网络速度的影响，容易拉取视频及图片失败造成漏检。门店越来越多，业务规模越来越大，处理的数据越来越多，网络中心服务器受网速及计算能力的限制，不容易扩展。
请参阅图3，以下为本发明一种基于边缘计算的货架缺货预警分析系统的一个实施例，包括：
视频采集模块101，用于采集商品货架的图像；
智能检测模块102，用于通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
智能分析模块103，用于将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
本实施例提供的基于边缘计算的货架缺货预警分析系统，包括硬件系统和软件系统；其中，硬件系统包括摄像机，网络交换机，网络录像机和具有人工智能的边缘设备；软件系统包括视频采集模块101、智能检测模块102、智能分析模块103，软件系统运行在具有人工智能的边缘设备上。
需要说明的是，请参阅图2，视频采集模块101可以具体为监控摄像头(如球机)或网络录像机，在采集视频时，为了获取包含所有商品货架的视频，摄像头可以进行旋转，如旋转一周进行视频采集。在本申请可以通过高清监控摄像头采集包括商品货架的图像，采集的图像可以用于保存；当智能检测模块102需要对图像进行检测时，视频采集模块101可以将采集的包括商品货架的图像发送至智能检测模块102；或者，智能检测模块102可以间隔固定时间从视频采集模块101获取包括商品货架的图像；当然也可以逐帧发送给智能检测模块102。
智能检测模块102，与视频采集模块101相连，获取摄像头采集来的包含商品货架的图像，通过边缘设备调用已完成训练的货架缺货检测模型，对所述图像中的商品货架进行检测，得到所述商品货架的缺货位置坐标及缺货置信度。经多次试验结果显示，当置信度设置为0.6时，对得到的缺货位置进行判断的平衡性最好，误报、漏报的情况较少。
本实施例中，货架缺货检测模型构建的卷积神经网络以CenterNet网络为基础，特征提取层为MobileNet-V3。货架缺货检测模型在用于检测商品货架的缺货位置之前，需进行训练。用于训练货架缺货检测模型的训练样本为10000张，训练集，验证集及测试集的比例为6:3:1。在带有GPU的硬件环境下对货架缺货检测模型进行训练，以提高模型训练的收敛速度。采用带动量因子(Momentum)的小批量(Mini-batch)随机梯度下降法(StochasticGradient Descent，SGD)来训练网络。其中，每一批量图像样本数量(Batch size)设置为8，动量因子设为固定值0.95，权值衰减(Decay)为4×10-4。权重的初始化会影响网络训练的收敛速度，初始学习速率(Learning Rate)设为2×10-4，训练过程中，同时，使用在线数据增强的方法对数据进行左右及垂直翻转和700*700随机crop。Loss基本收敛到稳定值且小于0.1，表明网络模型已经达到了预期的训练效果停止训练。
CenterNet网络是目前性能最好、最有效的无锚点目标检测网络之一。无锚点目标检测网络中，无论是CornerNet网络将边框两个角点作为检测关键点，还是ExtremeNet算法需要检测出目标的最上、最下、最左、最右和中心五个点，都需要在检测出关键点后对其分组，而这些操作无疑会降低算法整体速度。CenterNet网络提供了一种更为简洁的思路，即通过一个点来定位待检测目标。货架缺货检测模型构建的卷积神经网络以CenterNet网络为基础，特征提取层为MobileNet-V3。
在预测阶段，将包含商品货架的图像输入到已经训练好的货架缺货检测模型。首先，对该图像进行下采样，随后对下采样后的图像进行预测，对于缺货位置类在下采样的特征图中预测中心点。
判断每一个像素点是否为物体中心(关键点)，在预测时首先要做的是生成关键点热力图(Keypoint Heatmap)，分别提取热力图上所有目标的峰值点。其做法是将热力图上的所有响应点与其连接8个相邻点进行比较，如果该点响应值大于或等于其8个相邻点的值，则保留该点，否则忽略该点，最后保留满足要求的前100个峰值点。令
Figure BDA0002644168400000061
是检测到的c类别的n个中心点的集合，
其中
Figure BDA0002644168400000062
每个预测关键点坐标以整型坐标(xi,yi)的形式给出，
Figure BDA0002644168400000071
作为关键点测量的检测置信度，在每个关键点位置上会产生如下的边界框：
Figure BDA0002644168400000072
其中，
Figure BDA0002644168400000073
是预测关键点的偏移量；
Figure BDA0002644168400000074
是预测缺货位置的尺寸。
本实施例中，请参阅图5，利用货架缺货检测模型预测商品货架的缺货位置，输出三个结果即预测的缺货位置中心点(关键点)坐标、中心点坐标的偏移量和预测的缺货位置的尺寸；其中预测的缺货位置中心点坐标对应图5的keypoint；预测的中心点坐标的偏移量对应图5的local offset，表示标注信息从输入图像映射到输出特征图时由于取正操作带来的坐标误差；预测的缺货位置的尺寸即预测的缺货位置大小对应图5的object size。
本实施例中，所有的预测输出直接来自关键点估计，每个中心点都可以看作是一个单独且形状未知的锚点，只不过这种锚点只和位置有关，不存在锚点的重叠，无需人为设置阈值来进行前景和背景的区分，每个目标只对应一个锚点，无需非极大值抑制(Non-Maximum Suppression，NMS)处理，从而大大减少了网络参数量和计算量。
在获得缺货位置中心点坐标及长宽后，可以在图像得出缺货位置的左上角坐标位置(xmin，ymin)，右下角坐标位置(xmax，ymax)。遍历缺货位置并在原图上获取框的位置，生成报警图。
具体的，智能检测模块包括下采样单元、预测单元、计算单元和输出单元；其中，下采样单元，对所获取的商品货架图像进行下采样；预测单元，对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；计算单元，根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；输出单元，输出商品货架的缺货位置坐标及缺货置信度。
智能分析模块103，将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。具体的，智能分析模块包括：保存单元，用于保存商品货架的缺货位置坐标及缺货置信度；对比单元，用于将所述缺货置信度与预设的置信度阈值进行比较；判断单元，用于当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
本实施例提供的基于边缘计算的货架缺货预警分析系统，还可以包括：图像获取模块，与视频采集模块101相连，用于采集至少一路监控视频流，能获取视频采集模块101中所采集的商品货架图像，并将采集的图像传输至智能检测模块102。
可选的，还可以包括：报警模块，将当前图像检测得到的商品货架缺货位置与前一预设时间段(如2小时)检测得到的缺货位置进行比较，进行重合算法分析，当缺货位置相同时，将当前图像自动推送到巡店app进行报警，提示及时进行补货，同时保存至报警日志。
针对现有技术中的不足，本实施例提供的基于边缘计算的货架缺货预警分析系统，其通过现场边缘设备运行压缩过的轻量级深度学习网络模型，边缘设备对摄像头采集的商品货架图像进行实时智能检测和智能分析，当发生货架缺货现象时能及时报警。本发明能实时获取门店的商品货架图片并进行智能检测、分析和报警，不仅减轻了工作人员的工作量，而且能减少漏报、误报商品货架缺货的情况发生。本发明中使用的边缘设备不受网络波动的影响，不受网络传输速度的影响，也不受中心服务器算力的影响，容易移植到新店且稳定运行。
请参阅图4，以下为本发明一种基于边缘计算的货架缺货预警分析方法的一个实施例，包括：
采集商品货架的图像；
通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
判断所述商品货架是否缺货之后还包括：
当所述图像的缺货位置与前一预设时间段检测得到的缺货位置相同时，对所述图像进行报警，并将所述图像自动推送到巡店app。
通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度具体包括：
对所获取的商品货架图像进行下采样；对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；输出商品货架的缺货位置坐标及缺货置信度。
将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货具体包括：保存商品货架的缺货位置坐标及缺货置信度；将所述缺货置信度与预设的置信度阈值进行比较；当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于边缘计算的货架缺货预警分析系统，其特征在于，包括：
视频采集模块，用于采集商品货架的图像；
智能检测模块，用于通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
智能分析模块，用于将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
2.根据权利要求1所述的基于边缘计算的货架缺货预警分析系统，其特征在于，还包括：
图像获取模块，用于获取所述视频采集模块中采集的图像，并将采集的图像传输至所述智能检测模块。
3.根据权利要求1所述的基于边缘计算的货架缺货预警分析系统，其特征在于，还包括：
报警模块，用于当所述图像的缺货位置与前一预设时间段检测得到的缺货位置相同时，对所述图像进行报警，并将所述图像自动推送到巡店app。
4.根据权利要求1所述的基于边缘计算的货架缺货预警分析系统，其特征在于，所述智能检测模块包括：
下采样单元，用于对所获取的商品货架图像进行下采样；
预测单元，用于对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；
计算单元，用于根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；
输出单元，用于输出商品货架的缺货位置坐标及缺货置信度。
5.根据权利要求1所述的基于边缘计算的货架缺货预警分析系统，其特征在于，所述智能分析模块包括：
保存单元，用于保存商品货架的缺货位置坐标及缺货置信度；
对比单元，用于将所述缺货置信度与预设的置信度阈值进行比较；
判断单元，用于当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
6.一种基于边缘计算的货架缺货预警分析方法，其特征在于，包括：
采集商品货架的图像；
通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度；
将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货。
7.根据权利要求6所述的基于边缘计算的货架缺货预警分析方法，其特征在于，采集商品货架的图像之后还包括：
获取所述视频采集模块中采集的图像，并将采集的图像传输至所述智能检测模块。
8.根据权利要求6所述的基于边缘计算的货架缺货预警分析方法，其特征在于，判断所述商品货架是否缺货之后还包括：
当所述图像的缺货位置与前一预设时间段检测得到的缺货位置相同时，对所述图像进行报警，并将所述图像自动推送到巡店app。
9.根据权利要求6所述的基于边缘计算的货架缺货预警分析方法，其特征在于，通过边缘设备调用已完成训练的货架缺货检测模型对所述商品货架的图像进行检测，得到所述商品货架的缺货位置坐标及缺货置信度具体包括：
对所获取的商品货架图像进行下采样；
对下采样后的商品货架图像进行预测，得到预测的缺货位置中心点坐标、偏移量及尺寸；
根据所述预测的缺货位置中心点坐标、偏移量及尺寸计算商品货架缺货位置的左上角、右下角坐标及缺货置信度；
输出商品货架的缺货位置坐标及缺货置信度。
10.根据权利要求6所述的基于边缘计算的货架缺货预警分析方法，其特征在于，将所述缺货置信度与预设的置信度阈值进行比较，判断所述商品货架是否缺货具体包括：
保存商品货架的缺货位置坐标及缺货置信度；
将所述缺货置信度与预设的置信度阈值进行比较；
当所述缺货置信度大于等于预设的置信度阈值时，判断所述商品货架缺货，否则所述商品货架不缺货。
CN202010849248.0A 2020-08-21 2020-08-21 一种基于边缘计算的货架缺货预警分析系统及方法 Active CN111951258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849248.0A CN111951258B (zh) 2020-08-21 2020-08-21 一种基于边缘计算的货架缺货预警分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849248.0A CN111951258B (zh) 2020-08-21 2020-08-21 一种基于边缘计算的货架缺货预警分析系统及方法

Publications (2)

Publication Number Publication Date
CN111951258A true CN111951258A (zh) 2020-11-17
CN111951258B CN111951258B (zh) 2024-08-06

Family

ID=73359662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849248.0A Active CN111951258B (zh) 2020-08-21 2020-08-21 一种基于边缘计算的货架缺货预警分析系统及方法

Country Status (1)

Country Link
CN (1) CN111951258B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699778A (zh) * 2020-12-29 2021-04-23 上海零眸智能科技有限公司 一种基于深度学习的冰柜库存情况监督识别方法
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统
CN113536881A (zh) * 2021-02-24 2021-10-22 上海汉时信息科技有限公司 缺货检测方法、货架排面缺货检测的边缘计算设备及系统
CN113887884A (zh) * 2021-09-13 2022-01-04 青岛颐中科技有限公司 商超服务系统
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106949881A (zh) * 2017-02-24 2017-07-14 浙江大学 一种移动机器人快速视觉定位方法
US20180315173A1 (en) * 2017-05-01 2018-11-01 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
CN110322197A (zh) * 2019-06-24 2019-10-11 深圳前海微众银行股份有限公司 商品智能补货方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106949881A (zh) * 2017-02-24 2017-07-14 浙江大学 一种移动机器人快速视觉定位方法
US20180315173A1 (en) * 2017-05-01 2018-11-01 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
CN110322197A (zh) * 2019-06-24 2019-10-11 深圳前海微众银行股份有限公司 商品智能补货方法、装置、终端及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699778A (zh) * 2020-12-29 2021-04-23 上海零眸智能科技有限公司 一种基于深度学习的冰柜库存情况监督识别方法
CN113536881A (zh) * 2021-02-24 2021-10-22 上海汉时信息科技有限公司 缺货检测方法、货架排面缺货检测的边缘计算设备及系统
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统
CN113887884A (zh) * 2021-09-13 2022-01-04 青岛颐中科技有限公司 商超服务系统
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111951258B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
CN111951258B (zh) 一种基于边缘计算的货架缺货预警分析系统及方法
CN108985359B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
US7822275B2 (en) Method for detecting water regions in video
AU2018379393B2 (en) Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
CN108537166B (zh) 确定货架浏览量以及分析浏览量的方法和装置
CA2583425A1 (en) Target property maps for surveillance systems
CN108961547A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN106981150A (zh) 一种超市智能防盗系统及方法
CN112184751B (zh) 物体识别方法及系统、电子设备
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN111681234A (zh) 门店货架上摆放试用装产品规范检测方法、系统及设备
CN114926781A (zh) 支持实时监控场景的多人时空域异常行为定位方法及系统
CN116471384B (zh) 无人值守商店监控系统的控制方法及控制装置
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN113468914A (zh) 一种商品纯净度的确定方法、装置及设备
KR101513180B1 (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
CN117037059A (zh) 基于巡检监控的设备管理方法、装置及电子设备
CN116012360A (zh) 遗留物品检测方法、装置、设备、介质和程序产品
CN113627426A (zh) 一种门店特定物料的检测方法、服务器、设备和存储介质
CN112770080B (zh) 一种抄表方法、抄表装置及电子设备
CN112989957A (zh) 适用于设备柜的安全监测方法及系统
US20240177131A1 (en) Devices, Systems, and Methods for Automated Weight Measuring and Inventory Management of Consumer Goods
CN117253176B (zh) 基于视频分析与计算机视觉的安全生产Al智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201120

Address after: Room 011, first floor, no.2429, Xingang East Road, Haizhu District, Guangzhou City, Guangdong Province (office only)

Applicant after: CHUANGYOU digital technology (Guangdong) Co.,Ltd.

Address before: Room 205, 2f office, No.156, nanshanzui Road, Hengqin, Zhuhai City, Guangdong Province

Applicant before: MINISO (HENGQIN) ENTERPRISE MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant