CN110287928B - 商品缺货检测方法及装置 - Google Patents

商品缺货检测方法及装置 Download PDF

Info

Publication number
CN110287928B
CN110287928B CN201910584419.9A CN201910584419A CN110287928B CN 110287928 B CN110287928 B CN 110287928B CN 201910584419 A CN201910584419 A CN 201910584419A CN 110287928 B CN110287928 B CN 110287928B
Authority
CN
China
Prior art keywords
commodity
picture
detection frame
intersection
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910584419.9A
Other languages
English (en)
Other versions
CN110287928A (zh
Inventor
卢宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangyou Digital Technology Guangdong Co Ltd
Original Assignee
Chuangyou Digital Technology Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangyou Digital Technology Guangdong Co Ltd filed Critical Chuangyou Digital Technology Guangdong Co Ltd
Priority to CN201910584419.9A priority Critical patent/CN110287928B/zh
Publication of CN110287928A publication Critical patent/CN110287928A/zh
Application granted granted Critical
Publication of CN110287928B publication Critical patent/CN110287928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机技术领域,特别是涉及一种商品缺货检测方法及装置,该方法包括:调用AI检测模型,对获取的商品图片进行检测,获得商品图片的每个商品的当前检测框;判断商品图片是否为首张商品图片;若是,则保存商品图片及每个商品的当前检测框;若不是,则获取首张商品图片及其对应的每个商品的首个检测框;计算每个商品的当前检测框与首个检测框之间的交并比,并确定每个商品的交并比是否不小于预先设置的交并阈值;当存在一个商品交并比小于交并阈值时,确定该商品缺货。应用该方法,通过计算当前检测框与首个检测框之间的交并比,确定商品是否缺货,无需店员实时检查商品货架的商品情况,减轻了店员的劳动力,提高工作效率。

Description

商品缺货检测方法及装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种商品缺货检测方法及装置。
背景技术
随着社会经济水平的持续发展,人们的生活消费水平也越来越高,在一些线下的零售门店、超市和商场等场所,是大多消费者选择消费的主要场所。
然而,零售商店、超市和商场等都具有着庞大的商品体系。当消费者购买物品后,为保证店内商品的饱和度,需要店员及时对各个货架上的缺货商品进行记录和补充。但是,由于店内客源不定,需要店员实时对各个货架上的商品进行核对记录,如此,增加了店员的工作强度,减少了对其他方面工作的工作效率。
发明内容
基于上述问题,本发明提供一种商品缺货检测方法,通过该方法,可以对各个商店内商品货架上的各个商品进行检测,从而确定每个商品货架上的商品是否缺货,无需店员反复核对确认,保证了店员的工作效率。
本发明还提供了一种商品缺货检测装置,用以保证上述方法在实际中的实现及应用。
一种商品缺货检测方法,包括:
实时获取与目标商品货架对应的商品图片;
调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;
若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
上述的方法,可选的,所述AI检测模型的训练过程,包括:
获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
上述的方法,可选的,所述依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片,包括:
依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
上述的方法,可选的,所述计算每个所述商品对应的当前检测框与首个检测框之间的交并比,包括:
计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
上述的方法,可选的,当存在任意一个商品缺货后,还包括:
依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
一种商品缺货检测装置,包括:
第一获取单元,用于实时获取与目标商品货架对应的商品图片;
检测单元,用于调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
第一判断单元,用于获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;
保存单元,用于若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
第二获取单元,用于若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
第二判断单元,用于判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
计算单元,用于若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
确定单元,用于当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
上述的装置,可选的,还包括:
第三获取单元,用于获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
训练单元,用于对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
调整单元,用于当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
上述的装置,可选的,所述第一判断单元,包括:
获取子单元,用于依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
判断子单元,用于判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
第一确定子单元,用于当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
第二确定子单元,用于当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
上述的装置,可选的,所述计算单元,包括:
第一计算子单元,用于计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
设定子单元,用于当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
第二计算子单元,用于计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
上述的装置,可选的,还包括:
刷新单元,用于依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的商品缺货检测方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行上述的商品缺货检测方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种商品缺货检测方法,包括:实时获取与目标商品货架对应的商品图片;调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。应用本发明实施例提供的方法,通过AI检测模型获得每个商品对应的当前检测框,并通过计算当前检测框与首个检测框之间的交并比,确定商品是否缺货,无需店员实时检查商品货架的商品情况,减轻了店员的劳动力,提高工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种商品缺货检测方法的方法流程图;
图2为本发明实施例提供的一种商品缺货检测方法的又一方法流程图;
图3为本发明实施例提供的一种商品缺货检测方法的又一方法流程图;
图4为本发明实施例提供的一种商品缺货检测装置的结构示意图;
图5为本发明实施例提供的一种电子设备的设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种,该方法可以应用在多种系统平台,其执行主体可以为计算机终端或各种移动设备的处理器,所述方法的方法流程图如图1所示,具体包括:
S101:实时获取与目标商品货架对应的商品图片;
本发明实施例提供的方法中,当图片采集设备对某一商品货架进行拍摄照片时,确定该商品货架为目标商品货架。由图片采集设备定时定角度对目标商品货架进行拍照,获得与该目标商品货架对应的商品图片。由后端的处理器实时获取图片采集设备所拍摄的与目标商品货架对应的商品图片。
其中,图片采集设备可以是照相机、摄像机或监控器等可进行采集图片的装置或设备。
S102:调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
本发明实施例提供的方法中,在获取到商品图片后,调用已经完成训练的AI检测模型,对当前获取的商品图片中包含的各个商品进行检测。该AI检测模型根据商品图片中的各个商品,确定每一个商品对应的商品标签,同时获得经AI检测模型进行检测后,与每个商品对应的当前检测框。
S103:获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;
本发明实施例提供的方法中,获取与该目标商品货架对应商品图片的图片信息,并根据该商品图片的图片信息,判断该商品图片是否是该目标商品货架对应的首张商品图片。
S104:若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
本发明实施例提供的方法中,若当前获取的与目标商品货架对应的商品图片是该目标商品货架的首张商品图片时,将已经过AI检测模型进行检测的商品图片作为该目标商品货架的首张商品图片进行保存。其中,也保存该商品图片中与每个商品对应的当前检测框和商品标签。
S105:若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
本发明实施例提供的方法中,若当前获取的与目标商品货架对应的商品图片不是该目标商品货架的首张商品图片时,可以从数据库中,获取已保存的与该目标商品货架对应的首张商品图片。其中,该首张商品图片中已经由AI检测模型对该首张商品图片中各个商品进行检测。在获取到首张商品图片时,同时获取首张商品图片中每个商品对应的首个检测框以及商品标签。
需要说明的是,首张商品图片是在目标商品货架未缺货的情况下,由图片采集设备对该目标商品货架进行拍摄的。
S106:判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
本发明实施例提供的方法中,在获取到首张商品图片、首张商品图片中每个商品对应的检测框和商品标签后,判断当前获取的商品图片中每个商品对应的商品标签与该首张商品图片中每个商品对应的商品标签是否一致。
可选的,在验证商品标签是否一致时,可同时对每个商品标签对应的摆放位置进行检测,若摆放位置一致,则认为商品图片中的各个商品与首张商品图片中的各个商品为同一个商品货架上的商品。
S107:若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
本发明实施例提供的方法中,若当前获取的商品图片中每个商品对应的商品标签与首张商品图片中每个商品对应的商品标签一致,则再计算每个商品对应的当前检测框和首个检测框之间的交并比,根据每个商品对应的交并比,确定每个商品的交并比是否不小于预先设置的交并阈值。
S108:当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
本发明实施例提供的方法中,在对每个商品计算与其对应的交并比后,当该商品图片中存在一个商品对应的交并比小于预先设置交并阈值时,则确定该商品已经缺货。
需要说明的是,当商品图片中存在多个商品对应的交并比小于预先设置的交并阈值时,确定各个交并比小于预先设置的交并阈值的商品缺货。
本发明实施例提供的商品缺货检测方法中,由图片采集设备定时定角度对目标商品货架进行拍摄照片。由处理器实时对图片采集设备实时拍摄的商品图片进行获取,并调用预先设置的AI检测模型检测该商品图片中的各个商品。通过对每个商品进行检测,确定每个商品对应的商品标签,并获得与每个商品对应的当前检测框。其中,该当前检测框的尺寸根据该商品图片中每个商品的商品尺寸相关联。根据当前获取的商品图片的图片信息,对当前获取的与该目标商品货架对应商品图片进行判断,以确定该商品图片是不是该目标商品货架对应的首张商品。如果该商品图片是目标商品货架的首张商品图片时,则将经过AI检测模型进行检测的商品图片保存为目标商品货架的首张商品图片,同时将该商品图片中各个商品对应的商品标签和当前检测框进行保存。如果该商品图片不是目标商品货架的首张商品图片时,则证明在获取该商品图片前,已保存与目标商品货架对应的首张商品图片,并获取已保存的与目标商品货架对应的首张商品图片及该首张商品图片中每个商品对应的首个检测框和每个商品对应的商品标签。其中,首张商品图片中每个商品对应的首个检测框是在目标商品货架中每个商品不缺货的前提下,与每个商品的商品尺寸相关联的检测框。同时,在确定商品图片中每个商品对应的商品标签与首张商品图片中每个商品对应的商品标签一致前提下,根据每个商品对应的当前检测框和首个检测框,计算每个商品对应的当前检测框和首个检测框之间的交并比。任意一个商品对应的交并比的计算公式为:
Figure BDA0002113968660000101
其中,IoU为交并比。A是该商品的当前检测框,B是该商品的首个检测框。在计算出每个商品对应的交并比后,将每个商品对应的交并比与预先设置的交并阈值作比较,每个交并比是否不小于预先设置的交并阈值。若存在交并比小于交并阈值的商品,则确定该商品缺货。
可选的,当商品图片中每个商品对应的商品标签与首张商品图片中每个商品对应的商品标签不一致,不对该商品图片中的各个商品做任何处理,向店员所使用的客户端反馈商品摆放异常的消息。例如,顾客在购买商品时,将商品位置摆错,或拍摄目标商品货架时有顾客遮住了部分商品等情况。
应用本发明实施例提供的方法,通过AI检测模型获得每个商品对应的当前检测框,并通过计算当前检测框与首个检测框之间的交并比,确定商品是否缺货,无需店员实时检查商品货架的商品情况,减轻了店员的劳动力,提高工作效率。
本发明是实施例提供的方法中,在当前获取到目标商品货架对应的商品图片后,调用已完成训练的AI检测模型对该商品图片中的各个商品进行检测,具体包括:
获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
本发明实施例提供的方法中,获取预先设置的初始AI检测模型,和训练样本集。其中,训练样本集中包含多张样本图片,每一张图片中包含至少一种商品。该训练样本集中的样本图片可以通过爬虫从网上获得,或从各种应用软件中下载获得。在获取到训练样本集后,将训练样本集中每张图片中的各个商品设置与其对应第一检测框和第一商品标签。该第一检测框是作为每个商品对应的真实检测框,第一商品标签是每个商品的真实标签。在设置好与每个样本图片对应的第一检测框和第一商品标签后,执行与初始AI检测模型对应的训练过程。其中,与初始AI检测模型对应的训练过程为:将训练样本集当中的各个样本图片依次输入初始AI检测模型,由初始AI检测模型对每个样本图片进行检测后,输出每个样本图片中每个商品对应的第二检测框和第二商品标签。同时一一对应地计算原先设置的每个样本图片对应的第一检测框,以及AI检测模型输出的每个样本图片对应的第二检测框之间的误差值。例如,样本图片A对应第一检测框为4×4的检测框,而初始AI检测模型输出的第二检测框是2×2的检测框,则计算样本图片A对应的第一检测框和第二检测框之间的误差值。再判断输出的每个商品对应的第一商品标签和第二商品标签是否一致。根据执行初始AI检测模型的训练过程,当每个样本图片对应的第一检测框和第二检测框之间的误差值大于预设的误差阈值,和/或每个商品对应的第一商品标签与第二商品标签不一致时,则调用预先设置损失函数对该初始AI检测模型的模型参数进行调整,以提高该初始AI检测模型的检测性能。在经过损失函数的调整后,继续执行与初始AI检测模型对应的训练过程,对初始AI检测模型进行迭代训练。并在每次训练后利用损失函数对该初始AI检测模型的模型参数进行调整,直至该初始AI检测模型输出每个样本图片中每个商品对应的第一检测框和第二检测框之间的误差值不大于预设的误差阈值,且第一商品标签与第二商品标签一致时,完成对初始AI检测模型的训练,得到AI检测模型。
需要说明的是,该初始AI检测模型可以是未经过训练的RetinaNet网络,则该损失函数为focalloss。
应用本发明实施例提供的方法,通过对AI检测模型的训练,使得在获取商品图片后进行检测时,检测结果更加精确。
本发明提供的实施例中,基于上述步骤S103,所述依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片,如图2所示,具体包括:
S201:依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
本发明实施例提供的方法中,在得到商品图片后,对获取该商品图片的图片信息,确定预先设置的图片采集设备拍摄该商品图片时的拍摄角度,及与该图片采集设备对应的设备号。
需要说明的是,可对该图片采集设备设置多个拍摄角度,每个拍摄角度对应不同的商品货架。
S202:判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
本发明实施例提供的方法中,在每次获取到各个图片采集设备拍摄的照片后,都将获取的商品图片保存至存储器中。通过判断该存储器中是否保存与该图片采集设备的设备号及拍摄角度对应的图片,以确定该商品图片是否为该目标商品货架的首张商品图片。
S203:当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
本发明实施例提供的方法中,若该存储器中没有保存与该图片采集设备的设备号及拍摄角度对应的图片,则该商品图片为目标商品货架的首张商品图片。
S204:当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
本发明实施例提供的方法中,若该存储器中保存了与该图片采集设备的设备号及拍摄角度对应的图片,则该商品图片不是目标商品货架的首张商品图片。
本发明实施例提供的商品缺货检测方法中,在获取目标商品货架对应的商品图片时,都是用同一个图片采集设备进行采集图片。且每一图片采集设备的设备号都不同,同一个商品采集设备可以根据不同的拍摄角度拍摄多个商品货架的商品图片。因此,根据图片信息中拍摄商品图片的图片采集设备的设备号及拍摄角度,可以确定该商品图片是否为该目标商品货架对应的首张商品图片。
可选的,该图片采集设备除了可以拍摄图片之外,还可以实时拍摄该目标商品货架上每个商品对应的商品动态。当目标商品被拿起放下时,可检测出该商品是否被购买,以确定该目标商品货架是否缺货。例如,当一个饮料瓶子被客户拿起时,该调用预先设置的AI检测模型通过该图片采集设备实时对该饮料瓶子进行检测,确定该饮料瓶子是否会回到商品货架上。若未回到该商品货架上,说明该商品货架上与该饮料瓶子对应的商品缺货。
应用本发明实施例提供的方法,通过采集设备的设备号及拍摄角度,确定该商品图片是否为首张商品图片,以对该商品图片对应的目标商品货架进行缺货检测,无需店员实时检查商品货架的商品情况,减轻了店员的劳动力,提高工作效率。
本发明实施例提供的方法中,基于上述步骤S107,所述计算每个所述商品对应的当前检测框与首个检测框之间的交并比,如图3所示,具体包括:
S301:计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
本发明实施例提供的方法中,在获取到商品图片的当前检测框及首张商品图片的首个检测框后,先计算两个检测框之间的交集。再判断是否至少存在一个商品对应的两个检测框之间的交集是否为空集。即,是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集
S302:当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
本发明实施例提供的方法中,若至少有一个商品对应的当前检测框与首个检测框之间的交集为空集,将交集为空集的商品确定缺货。同时将交集为空集的的商品确定为第一商品,非空集的其他商品确定为第二商品。
S303:计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
本发明实施例提供的方法中,计算交集为非空集的各个第二商品对应的当前检测框与首个检测框之间的并集,由交集与并集的比值获得交并比。
本发明实施例提供的商品缺货检测方法中,交并比是两个检测框之间的交集和并集的比值。其中。先计算每个商品对应的当前检测框和首个检测框之间的交集。若交集为空集,则确定该商品缺货,即售空。若不是空集,则再计算商品对应的当前检测框和首个检测框之间的并集,再计算交集和并集的比值,获得交并比。在确定每个商品对应的当前检测框和首个检测框之间的交并比后,通过判断每个商品对应的交并比是否不小于预先设置的交并阈值,若有一个商品的交并比小于交并阈值,则确定该商品缺货。
应用本发明实施例提供的方法,先计算当前检测框与首个检测框之间的交集,在交集为空集时确定商品缺货,在并非空集时再通过计算当前检测框与首个检测框之间的交并比,确定商品是否缺货,无需店员实时检查商品货架的商品情况,减轻了店员的劳动力,提高工作效率。
本发明实施例提供的方法中,基于上述步骤S108,当存在任意一个商品缺货后,还包括:
依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
本发明实施例提供的方法中,当确定某个商品缺货后,将该商品缺货的信息刷新至预先设置的缺货列表中,以使店员看见缺货列表中的信息后,能够及时进行补货。
可选的,由于店员并不是实时观看缺货列表,因此,当存在客户拿起商品且在付款之前放回原处时,可再次进行检测后刷新缺货列表。店员需要进行补货时可查看缺货列表,当店员补货结束后,店员可选择刷新缺货列表,此时,再执行上述步骤S101~S108的过程,对已补货的商品货架再次进行检测,更新缺货列表。
进一步地,在店员补货结束后,店员可选择重启检测,此时,处理器将存储器中,该门店对应的各个商品货架的首站商品图片删除,重新进行拍摄,获得新的首张商品图片。
应用本发明实施例提供的方法,在确定商品缺货后,自动更新缺货列表,以使店员能够通过显示页面得知缺货情况,无需一一对各个商品货架进行检查,提高了工作效率。
与图1所述的方法相对应,本发明实施例还提供了一种商品缺货检测装置,用于对图1中方法的具体实现,本发明实施例提供的商品缺货检测装置可以应用计算机终端或各种移动设备中,其结构示意图如图4所示,具体包括:
第一获取单元401,用于实时获取与目标商品货架对应的商品图片;
检测单元402,用于调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
第一判断单元403,用于获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;
保存单元404,用于若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
第二获取单元405,用于若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
第二判断单元406,用于判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
计算单元407,用于若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
确定单元408,用于当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
本发明实施例提供的装置中,还包括:
第三获取单元,用于获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
训练单元,用于对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
调整单元,用于当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
本发明实施例提供的装置中,所述第一判断单元,包括:
获取子单元,用于依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
判断子单元,用于判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
第一确定子单元,用于当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
第二确定子单元,用于当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
本发明实施例提供的装置中,所述计算单元,包括:
第一计算子单元,用于计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
设定子单元,用于当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
第二计算子单元,用于计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
本发明实施例提供的装置中,还包括:
刷新单元,用于依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
以上本发明实施例公开的商品缺货检测装置中的第一获取单元401、检测单元402、第一判断单元403、保存单元404、第二获取单元405、第二判断单元406、计算单元407及确定单元408的具体工作过程,可参见本发明上述实施例公开的商品缺货检测方法中的对应内容,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述商品缺货检测方法。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
实时获取与目标商品货架对应的商品图片;
调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
获取所述商品图片对应的图片信息,并依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片;
若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种商品缺货检测方法,其特征在于,包括:
实时获取与目标商品货架对应的商品图片;
调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
获取所述商品图片对应的图片信息,并依据所述图片信息判断预先设置的存储器中是否已存储有与所述图片信息对应的其他图片,若否则确定所述商品图片为与所述目标商品货架对应的首张商品图片;
若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
2.根据权利要求1所述的方法,其特征在于,所述AI检测模型的训练过程,包括:
获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
3.根据权利要求1所述的方法,其特征在于,依据所述图片信息判断所述商品图片是否为与所述目标商品货架对应的首张商品图片,包括:
依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
4.根据权利要求1所述的方法,其特征在于,所述计算每个所述商品对应的当前检测框与首个检测框之间的交并比,包括:
计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
5.根据权利要求1所述的方法,其特征在于,当存在任意一个商品缺货后,还包括:
依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
6.一种商品缺货检测装置,其特征在于,包括:
第一获取单元,用于实时获取与目标商品货架对应的商品图片;
检测单元,用于调用已完成训练的AI检测模型,对当前获取的与所述目标商品货架对应的商品图片进行检测,确定所述商品图片中包含的每个商品对应的商品标签,并获得每个所述商品对应的当前检测框;
第一判断单元,用于获取所述商品图片对应的图片信息,并依据所述图片信息判断预先设置的存储器中是否已存储有与所述图片信息对应的其他图片,若否则确定所述商品图片为与所述目标商品货架对应的首张商品图片;
保存单元,用于若所述商品图片为与所述目标商品货架对应的首张商品图片,则将所述商品图片、所述商品图片中每个所述商品对应的当前检测框及各个商品标签进行保存;
第二获取单元,用于若所述商品图片并非与所述目标商品货架对应的首张商品图片,则获取已保存的与所述目标商品货架对应首张商品图片、所述首张商品图片中每个所述商品对应的首个检测框及商品标签;
第二判断单元,用于判断所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签是否一致;
计算单元,用于若所述商品图片中每个商品对应的商品标签与所述首张商品图片中每个商品对应的商品标签一致,则计算每个所述商品对应的当前检测框与首个检测框之间的交并比,并确定每个所述商品对应的交并比是否不小于预先设置的交并阈值;
确定单元,用于当存在任意一个商品对应的交并比小于所述交并阈值时,确定该商品缺货。
7.根据权利要求6所述的装置,其特征在于,还包括:
第三获取单元,用于获取预先设置的初始AI检测模型及训练样本集,所述训练样本集包含多张样本图片,每张样本图片中至少包含一种商品;
训练单元,用于对每张所述样本图片中的每个商品设置与其对应的第一检测框和第一商品标签,并执行与所述初始AI检测模型对应训练过程;所述与所述初始AI检测模型对应训练过程为:将所述训练样本集中的各个样本图片输入所述初始AI检测模型,经所述初始AI检测模型对各个样本图片进行检测后,输出每个所述样本图片中每个商品对应的第二检测框和第二商品标签,计算每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值,并判断每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签是否一致;
调整单元,用于当每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值大于预设的误差阈值,和/或每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签不一致时,调用预先设置的损失函数对所述初始AI检测模型的模型参数进行调整,并依据所述训练过程,对所述初始AI检测模型进行迭代训练,并在每次训练后,调用所述损失函数对所述初始AI检测模型的模型参数进行调整,直至每个所述样本图片中每个商品对应的第一检测框与所述第二检测框之间的误差值不大于所述误差阈值,且每个所述样本图片中每个商品对应的第一商品标签与所述第二商品标签一致时,完成对所述初始AI检测模型的训练。
8.根据权利要求6所述的装置,其特征在于,所述第一判断单元,包括:
获取子单元,用于依据所述图片信息,确定拍摄所述商品图片的图片采集设备的设备号及拍摄角度;
判断子单元,用于判断预先设置的存储器中是否已保存与所述图片采集设备的设备号及拍摄角度对应的图片;
第一确定子单元,用于当所述存储器中未保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片为与所述目标商品货架对应的首张商品图片;
第二确定子单元,用于当所述存储器中已保存与所述图片采集设备的设备号及拍摄角度对应的图片时,确定所述商品图片并非与所述目标商品货架对应的首张商品图片。
9.根据权利要求6所述的装置,其特征在于,所述计算单元,包括:
第一计算子单元,用于计算每个所述商品对应的当前检测框与首个检测框之间的交集,并判断是否存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集;
设定子单元,用于当存在至少一个商品对应的当前检测框与首个检测框之间的交集为空集时,将当前检测框与首个检测框之间的交集为空集的各个商品设定为第一商品,及除各个所述第一商品之外的其余商品设定为第二商品,并确定各个所述第一商品缺货;
第二计算子单元,用于计算每个所述第二商品对应的当前检测框与首个检测框之间的并集,并求取每个所述第二商品对应的当前检测框与首个检测框之间的交集和并集的比值,确定每个所述第二商品对应的当前检测框与首个检测框之间的交并比。
10.根据权利要求6所述的装置,其特征在于,还包括:
刷新单元,用于依据已缺货商品对应的交并比,确定所述已缺货商品的商品名称及缺货数量,并将所述已缺货商品的商品名称及缺货数量刷新至预先设置的缺货列表,并将已刷新的缺货列表显示在预先设置的显示页面。
CN201910584419.9A 2019-07-01 2019-07-01 商品缺货检测方法及装置 Active CN110287928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910584419.9A CN110287928B (zh) 2019-07-01 2019-07-01 商品缺货检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910584419.9A CN110287928B (zh) 2019-07-01 2019-07-01 商品缺货检测方法及装置

Publications (2)

Publication Number Publication Date
CN110287928A CN110287928A (zh) 2019-09-27
CN110287928B true CN110287928B (zh) 2021-09-14

Family

ID=68020357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910584419.9A Active CN110287928B (zh) 2019-07-01 2019-07-01 商品缺货检测方法及装置

Country Status (1)

Country Link
CN (1) CN110287928B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783627B (zh) * 2020-06-29 2023-10-27 杭州海康威视数字技术股份有限公司 商品存量确定方法、装置及设备
CN112434584B (zh) * 2020-11-16 2024-04-30 浙江大华技术股份有限公司 货架商品余量计算方法、装置、计算机设备和存储介质
CN112990135B (zh) * 2021-04-29 2021-08-31 北京每日优鲜电子商务有限公司 设备控制方法、装置、电子设备和计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1443436A4 (en) * 2001-11-02 2005-09-07 Fujitsu Ltd METHOD FOR NOTIFYING INFORMATION RELATING TO A MERCHANDISE
JP2014174562A (ja) * 2013-03-05 2014-09-22 Toshiba Tec Corp 情報処理装置及びプログラム
CN108945912B (zh) * 2018-04-24 2020-02-18 深圳奥比中光科技有限公司 一种智能补货系统及方法
CN108629318B (zh) * 2018-05-04 2021-03-16 广州图匠数据科技有限公司 一种基于图像识别技术的货架陈列识别方法、装置和系统
CN109446883B (zh) * 2018-09-05 2022-08-23 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN110287928A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110287928B (zh) 商品缺货检测方法及装置
CN109446883B (zh) 商品状态识别方法、装置、电子设备及可读存储介质
JP7142026B2 (ja) 商品配置適合結果の判定
US9659272B2 (en) Method and apparatus for managing product placement on store shelf
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
US20190244055A1 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN109117824B (zh) 商品的管理方法、装置、电子设备及储存介质
WO2021185281A1 (zh) 货架交互方法和货架
JP5590049B2 (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
CN109241883B (zh) 一种基于自动售货机的退货控制方法及其装置
CN110050284A (zh) 一种自动店内登记系统
CN112200631B (zh) 一种行业分类模型的训练方法及装置
CN110895747B (zh) 商品信息识别、显示、信息关联、结算方法及系统
US20050097064A1 (en) Method and apparatus to determine product weight and calculate price using a camera
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
CN117010801A (zh) 一种物流管理系统
WO2019192455A1 (zh) 门店系统、物品搭配方法、装置及电子设备
CN111199410A (zh) 商品管理方法、装置和智能货架
KR102550560B1 (ko) 인공지능을 이용한 전자 시스템
US20220414657A1 (en) Cloud based self checkout system
CN114821729B (zh) 商品导购方法、装置、云服务器及存储介质
JPWO2020131881A5 (zh)
US20240095671A1 (en) Item management apparatus, item management method, and recording medium
US20230099665A1 (en) Familiarity degree estimation apparatus, familiarity degree estimation method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201124

Address after: Room 011, first floor, no.2429, Xingang East Road, Haizhu District, Guangzhou City, Guangdong Province (office only)

Applicant after: CHUANGYOU digital technology (Guangdong) Co., Ltd

Address before: 519000 -41072, 105 room 6, Baohua Road, Hengqin New District, Zhuhai, Guangdong (centralized office area)

Applicant before: MINISO (HENGQIN) ENTERPRISE MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant