CN115049598A - 门店货架上摆放试用装产品规范检测方法、系统及设备 - Google Patents

门店货架上摆放试用装产品规范检测方法、系统及设备 Download PDF

Info

Publication number
CN115049598A
CN115049598A CN202210602992.XA CN202210602992A CN115049598A CN 115049598 A CN115049598 A CN 115049598A CN 202210602992 A CN202210602992 A CN 202210602992A CN 115049598 A CN115049598 A CN 115049598A
Authority
CN
China
Prior art keywords
shelf
trial
products
trial products
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210602992.XA
Other languages
English (en)
Inventor
柯科勇
容宝祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangyou Digital Technology Guangdong Co Ltd
Original Assignee
Chuangyou Digital Technology Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangyou Digital Technology Guangdong Co Ltd filed Critical Chuangyou Digital Technology Guangdong Co Ltd
Priority to CN202210602992.XA priority Critical patent/CN115049598A/zh
Publication of CN115049598A publication Critical patent/CN115049598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例涉及一种门店货架上摆放试用装产品规范检测方法、系统及设备,采用监控摄像头获取货架上试用装摆放的图像,通过深度学习对获取的图像进行训练得到分割模型以及对分割模型中摆放试用装产品区域的图片进行训练得到目标检测模型,将待检测规范的货架图像输入到目标检测模型中进行规范检测分析,输出对试用装产品的数量、陈列平整度、间隔、饱满度评价结果,门店管理者根据目标检测模型输出的结果对货架上的试用装产品进行监督以及整改,提高了检测效率。该方法实现了自动检测货架上摆放试用装产品规范检查,提高了检测效率,解决了现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。

Description

门店货架上摆放试用装产品规范检测方法、系统及设备
本案是针对母案“202010529064.6-门店货架上摆放试用装产品规范检测方法、系统及设备”的分案申请文本,其母案的申请日是2020年06月11日。
技术领域
本发明涉及计算机技术领域,尤其涉及一种门店货架上摆放试用装产品规范检测方法、系统及设备。
背景技术
零售门店中,在货架的上方通常有一层展板,用于陈列该货架商品的试用装,供顾客对商品进行体验,促进顾客对商品的了解,更好的销售商品。
门店对于使用装的摆放通常有着一定的规定,比如美观,均匀摆放试用产品,试用产品数量等。对于使用装的摆放的管理现在通常由区域经理负责。此对试用装负责的方式存在的问题有:一是零售门店数量多,人工对试用装的规定进行检查,工作繁琐且不利于统一规范管理;二是门店高峰期人流过多,不利于负责人及时更换或者维护试用装产品。
发明内容
本发明实施例提供了一种门店货架上摆放试用装产品规范检测方法、系统及设备,用于解决现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
为了实现上述目的,本发明实施例提供如下技术方案:
一种门店货架上摆放试用装产品规范检测方法,包括以下步骤:
实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
对所述图像数据库中的所有图像进行深度学习训练建立分割模型;
采用所述分割模型在所有图像中选取试用装摆放区域的图片,并对选取的所有图片采用深度学习训练建立目标检测模型;
获取待检测试用装产品规范的货架图像并将货架图像输入所述目标检测模型中,所述目标检测模型对所述货架图像中试用装产品的数量、陈列平整度、间隔及饱满度进行分析,输出货架上摆放的试用装产品是否规范的结果。
优选地,所述目标检测模型检测所述货架图像的试用装产品规范的具体步骤包括:
计算所述货架图像中试用装产品的数量,若该数量小于规定的数量阈值,所述目标检测模型输出货架上试用装产品缺货的信息;
根据所述货架图像中所有试用装产品同一平面上的计算点拟合成一条拟合直线,计算所有试用装产品的计算点与拟合直线的距离并累加,得到拟合距离值,若所述拟合距离值大于设定的误差阈值,所述目标检测模型输出货架上试用装产品摆放不平整的信息;
计算所述货架图像中两两试用装产品的间隔间距,若该间隔间距大于设定的间距阈值或比例阈值,所述目标检测模型输出货架上试用装产品不符合摆放间隔的信息;
计算所述货架图像中所有试用装产品的中心与货架区域边界的距离,若该距离大于设定的距离阈值,所述目标检测模型输出货架上存在摆放试用装产品的空间信息。
优选地,在所述目标检测模型中采用最小二乘法拟合试用装产品的拟合直线。
优选地,所述目标检测模型还包括与门店管理者的移动终端通信的输出模块,所述输出模块用于输出检测货架上摆放的试用装产品不规范的结果信息。
优选地,采用360°的球机实时获取门店试用装货架上的图像。
本发明实施例还提供一种门店货架上摆放试用装产品规范检测系统,包括图像数据获取单元、分割模型建立单元、检测模型建立单元和检测单元;
所述图像数据获取单元,用于实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
所述分割模型建立单元,用于对所述图像数据库中的所有图像进行深度学习训练建立分割模型;
所述检测模型建立单元,用于采用所述分割模型在所有图像中选取试用装摆放区域的图片,并对选取的所有图片采用深度学习训练建立目标检测模型;
所述检测单元,用于获取待检测试用装产品规范的货架图像并将货架图像输入所述目标检测模型中,所述目标检测模型对所述货架图像中试用装产品的数量、陈列平整度、间隔及饱满度进行分析,输出货架上摆放的试用装产品是否规范的结果。
优选地,所述检测单元包括第一计算判别子单元、第二计算判别子单元、第三计算判别子单元和第四计算判别子单元;
所述第一计算判别子单元,用于计算所述货架图像中试用装产品的数量,若该数量小于规定的数量阈值,所述目标检测模型输出货架上试用装产品缺货的信息;
所述第二计算判别子单元,用于根据所述货架图像中所有试用装产品同一平面上的计算点拟合成一条拟合直线,计算所有试用装产品的计算点与拟合直线的距离并累加,得到拟合距离值,若所述拟合距离值大于设定的误差阈值,所述目标检测模型输出货架上试用装产品摆放不平整的信息;
所述第三计算判别子单元,用于计算所述货架图像中两两试用装产品的间隔间距,若该间隔间距大于设定的间距阈值或比例阈值,所述目标检测模型输出货架上试用装产品不符合摆放间隔的信息;
所述第四计算判别子单元,用于计算所述货架图像中所有试用装产品的中心与货架区域边界的距离,若该距离大于设定的距离阈值,所述目标检测模型输出货架上存在摆放试用装产品的空间信息。
优选地,所述第二计算判别子单元还用于采用最小二乘法拟合试用装产品的拟合直线。
优选地,该门店货架上摆放试用装产品规范检测系统还包括输出单元,所述输出单元用于输出检测货架上摆放的试用装产品不规范的结果信息。
本发明还提供一种门店货架上摆放试用装产品规范检测设备,包括处理器以及存储器;
所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器,用于根据所述程序代码中的指令执行上述所述的门店货架上摆放试用装产品规范检测方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
1.该门店货架上摆放试用装产品规范检测方法采用监控摄像头获取货架上试用装摆放的图像,通过深度学习对获取的图像进行训练得到分割模型以及对分割模型中摆放试用装产品区域的图片进行训练得到目标检测模型,将待检测规范的货架图像输入到目标检测模型中进行规范检测分析,输出对试用装产品的数量、陈列平整度、间隔、饱满度评价结果,门店管理者根据目标检测模型输出的结果对货架上的试用装产品进行监督以及整改,提高了检测效率。该方法实现了自动检测货架上摆放试用装产品规范检查,提高了检测效率,解决了现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
2.该门店货架上摆放试用装产品规范检测系统采用图像数据获取单元获取货架上试用装摆放的图像,通过分割模型建立单元的深度学习对获取的图像进行训练得到分割模型以及检测模型建立单元对分割模型中摆放试用装产品区域的图片进行训练得到目标检测模型,将待检测规范的货架图像输入到检测单元的目标检测模型中进行规范检测分析,输出对试用装产品的数量、陈列平整度、间隔、饱满度评价结果,门店管理者根据目标检测模型输出的结果对货架上的试用装产品进行监督以及整改,提高了检测效率。该系统法实现了自动检测货架上摆放试用装产品规范检查,提高了检测效率,解决了现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的门店货架上摆放试用装产品规范检测方法的步骤流程图。
图2为本发明实施例所述的门店货架上摆放试用装产品规范检测方法货架的结构示意图。
图3为本发明实施例所述的门店货架上摆放试用装产品规范检测系统的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本申请实施例提供了一种门店货架上摆放试用装产品规范检测方法、系统及设备,用于解决现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
实施例一:
图1为本发明实施例所述的门店货架上摆放试用装产品规范检测方法的步骤流程图。
如图1所示,本发明实施例提供了一种门店货架上摆放试用装产品规范检测方法,包括以下步骤:
S1.实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
S2.对图像数据库中的所有图像进行深度学习训练建立分割模型;
S3.采用分割模型在所有图像中选取试用装摆放区域的图片,并对选取的所有图片采用深度学习训练建立目标检测模型;
S4.获取待检测试用装产品规范的货架图像并将货架图像输入目标检测模型中,目标检测模型对货架图像中试用装产品的数量、陈列平整度、间隔及饱满度进行分析,输出货架上摆放的试用装产品是否规范的结果。
在本发明实施例中的S1中,采用360°的球机或高清广角相机实时获取门店试用装货架上的图像。具体地,在门店货架上方(即是在门店天花板)安装用于获取货架图片的球机或广角相机,通过球机或广角相机旋转不同角度实时抓拍门店货架的图像,将抓拍的图像存在在存储器中或服务器上,渐而建立货架试用装摆放区域的图像数据库。
需要说明的是,球机全称为球型摄像机,是现代电视监控发展的代表,它集成彩色一体化摄像机、云台、解码器、防护罩等多功能于一体,安装方便、使用简单但功能强大,广泛应用于开阔区域的监控。
在本发明实施例中的S2中,在图像数据库中获取所有图像的数据作为分割模型训练样本,选取部分图像作为实例分割模型的样本,标注货架上试用装产品区域,采用深度学习训练建立分割模型。如图2所示,具体地,图2中的区域A为目标区域,其他区域为非目标区域,目标区域为试用装产品摆放的位置,通过深度学习分割模型可以将图像中目标区域和非目标区域进行分割区分。若图像中存在几个目标区域就会分割出几个目标区域。
需要说明的是,深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据,深度学习也是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
在本发明实施例中的S3中,在S2中主要是将获取的图像区分出目标区域和非目标区域,但在实际情况中,目标区域中摆放的产品不只有试用装,也可能摆放有其他的产品,在S3中对分割模型中的含有目标区域的所有图像采用深度学习训练得到目标检测模型,提高货架上摆放试用装产品规范检测的准确率。具体地,将S2中分割出试用装摆放区域的目标区域图片选取并单独存储,使得该图片只含有摆放试用装产品的区域,之后将选取的图片作为目标检测模型的样本,根据试用装产品的数量、陈列平整度、间隔及饱满度对选取的图片进行深度学习训练,得到目标检测模型。
需要说明的是,利用S2训练出来的分割模型把图像中所有的试用装摆放区域(即是目标区域)分割出来,保存为独立的图片,图片中只有试用装区域,之后将分割后的图片作为目标检测模型的样本。
在本发明实施例中的S4,采用与S1相同的技术手段获取待检测试用装产品规范的货架图像,并将货架图像输入到目标检测模型上进行分析,输出该货架试用装产品摆放规范检查的结果。其中,输出的结果还生成工单报告传送至门店管理者的移动终端上,告知门店管理者,便于门店管理者安排店员对货架上的试用装产品整改以及门店管理者进行监督,大大提高了效率,也减少了门店管理者巡店的成本。
本发明提供的一种门店货架上摆放试用装产品规范检测方法采用监控摄像头获取货架上试用装摆放的图像,通过深度学习对获取的图像进行训练得到分割模型以及对分割模型中摆放试用装产品区域的图片进行训练得到目标检测模型,将待检测规范的货架图像输入到目标检测模型中进行规范检测分析,输出对试用装产品的数量、陈列平整度、间隔、饱满度评价结果,门店管理者根据目标检测模型输出的结果对货架上的试用装产品进行监督以及整改,提高了检测效率。该方法实现了自动检测货架上摆放试用装产品规范检查,提高了检测效率,解决了现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
在本发明的一个实施例中,目标检测模型检测所述货架图像的试用装产品规范的具体步骤包括:
计算货架图像中试用装产品的数量,若该数量小于规定的数量阈值,目标检测模型输出货架上试用装产品缺货的信息;
根据货架图像中所有试用装产品同一平面上的计算点拟合成一条拟合直线,计算所有试用装产品的计算点与拟合直线的距离并累加,得到拟合距离值,若拟合距离值大于设定的误差阈值,目标检测模型输出货架上试用装产品摆放不平整的信息;
计算货架图像中两两试用装产品的间隔间距,若该间隔间距大于设定的间距阈值或比例阈值,目标检测模型输出货架上试用装产品不符合摆放间隔的信息;
计算货架图像中所有试用装产品的中心与货架区域边界的距离,若该距离大于设定的距离阈值,目标检测模型输出货架上存在摆放试用装产品的空间信息。
需要说明的是,目标检测模型输出货架上存在摆放试用装产品的空间信息指的是货架上目标区域内摆放的试用装产品数量不够,还有空间摆放试用装产品。
在本发明实施例中,在目标检测模型中采用最小二乘法拟合试用装产品的拟合直线。
需要说明的是,试用装产品投影在一个平面上,形成试用装产品的检测框四条边,以试用装产品放置在货架上的底端面中心点为计算点,若第一试用装产品的计算点为a,第二试用装产品的计算点为b,第三试用装产品的计算点为c,第四试用装产品的计算点为d,采用最小二乘法拟合所有试用装产品计算点为一条直线,记为拟合直线,计算每个试用装产品计算点与拟合直线的距离,得到拟合距离,所有试用装产品与拟合直线的拟合距离相加,得到拟合距离值,若拟合距离值超出设定的误差阈值,则输出试用装摆放不平整的信息。
对于最小二乘法的解释是利用线性回归拟合的拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标,从而确定出我们需要找出的系数。例如:给定一组数据X=(X1,X2,...,Xn),Y=(Y1,Y2,...,Yn),一般方法通过画散点图观察发现,X、Y之间有可能存在很强的线性关系,通过线性拟合找到合适的线性系数,能最好反应X、Y之间的相关关系,如“https://www.jianshu.com/p/d28dfbcb0007”网址公开的《基于最小二乘法的——线性回归拟合》的内容知晓,根据所有的试用装产品的计算点采用最小二乘法计算得到拟合直线。
在本发明实施例中,计算货架图像中两两试用装产品的间隔间距具体为:以试用装产品放置在货架上的底端面中心点为计算点,若第一试用装产品的计算点为a,第二试用装产品的计算点为b,第一试用装产品与第二试用装产品的间距为lab,第一试用装产品底端面的宽度为wa,第二试用装产品底端面的宽度为wb,那么第一试用装产品与第二试用装产品的间隔间距为lab-1/2(wa+wb)。
在本发明实施例中,计算货架图像中所有试用装产品的中心与货架区域边界的距离具体为:以试用装产品放置在货架上的底端面中心点为计算点,若试用装产品的计算点为e,货架区域边界为围成货架区域的四条边,分别记为左边框left、右边框right、上边框up和下边框down,如图2所示。那么试用装产品的中心与货架区域边界的距离为计算点e分别与左边框left、右边框right、上边框up和下边框down之间的距离,若若计算点e与货架区域的任一边界的距离大于设定的距离阈值,目标检测模型输出货架上存在摆放试用装产品的空间信息。
在本发明的一个实施例中,目标检测模型还包括与门店管理者的移动终端通信的输出模块,输出模块用于输出检测货架上摆放的试用装产品不规范的结果信息。
需要说明的是,输出的结果信息生成工单报告,工单报告传送至门店管理者的移动终端上,告知门店管理者,便于门店管理者安排店员对货架上的试用装产品整改以及门店管理者进行监督,大大提高了效率,也减少了门店管理者巡店的成本。
实施例二:
图3为本发明实施例所述的门店货架上摆放试用装产品规范检测系统的框架图。
如图3所示,本发明实施例还提供一种门店货架上摆放试用装产品规范检测系统,包括图像数据获取单元10、分割模型建立单元20、检测模型建立单元30和检测单元40;
图像数据获取单元10,用于实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
分割模型建立单元20,用于对图像数据库中的所有图像进行深度学习训练建立分割模型;
检测模型建立单元30,用于采用分割模型在所有图像中选取试用装摆放区域的图片,并对选取的所有图片采用深度学习训练建立目标检测模型;
检测单元40,用于获取待检测试用装产品规范的货架图像并将货架图像输入目标检测模型中,目标检测模型对货架图像中试用装产品的数量、陈列平整度、间隔及饱满度进行分析,输出货架上摆放的试用装产品是否规范的结果。
在本发明实施例的中,检测单元40包括第一计算判别子单元41、第二计算判别子单元42、第三计算判别子单元43和第四计算判别子单元44;
第一计算判别子单元41,用于计算货架图像中试用装产品的数量,若该数量小于规定的数量阈值,目标检测模型输出货架上试用装产品缺货的信息;
第二计算判别子单元42,用于根据货架图像中所有试用装产品同一平面上的计算点拟合成一条拟合直线,计算所有试用装产品的计算点与拟合直线的距离并累加,得到拟合距离值,若拟合距离值大于设定的误差阈值,目标检测模型输出货架上试用装产品摆放不平整的信息;
第三计算判别子单元43,用于计算货架图像中两两试用装产品的间隔间距,若该间隔间距大于设定的间距阈值或比例阈值,目标检测模型输出货架上试用装产品不符合摆放间隔的信息;
第四计算判别子单元44,用于计算货架图像中所有试用装产品的中心与货架区域边界的距离,若该距离大于设定的距离阈值,目标检测模型输出货架上存在摆放试用装产品的空间信息。
需要说明的是,实施例二的系统中的单元是与实施例一的方法对应设置的,实施例一中已经详细阐述了与各个单元对应步骤的内容,在此本实施例中不在一一阐述。
本发明提供的一种门店货架上摆放试用装产品规范检测系统采用图像数据获取单元获取货架上试用装摆放的图像,通过分割模型建立单元的深度学习对获取的图像进行训练得到分割模型以及检测模型建立单元对分割模型中摆放试用装产品区域的图片进行训练得到目标检测模型,将待检测规范的货架图像输入到检测单元的目标检测模型中进行规范检测分析,输出对试用装产品的数量、陈列平整度、间隔、饱满度评价结果,门店管理者根据目标检测模型输出的结果对货架上的试用装产品进行监督以及整改,提高了检测效率。该系统实现了自动检测货架上摆放试用装产品规范检查,提高了检测效率,解决了现有对门店的试用装产品规范检查采用人工,效率低且不便于工作人员及时更换试用装产品的技术问题。
在本发明的一个实施例中,该门店货架上摆放试用装产品规范检测系统还包括输出单元50,输出单元50用于输出检测货架上摆放的试用装产品不规范的结果信息。
需要说明的是,输出的结果信息生成工单报告,工单报告传送至门店管理者的移动终端上,告知门店管理者,便于门店管理者安排店员对货架上的试用装产品整改以及门店管理者进行监督,大大提高了效率,也减少了门店管理者巡店的成本。
实施例三:
本发明实施例提供了一种门店货架上摆放试用装产品规范检测设备,包括处理器以及存储器;
存储器,用于存储程序代码,并将程序代码传输给处理器;
处理器,用于根据程序代码中的指令执行上述的门店货架上摆放试用装产品规范检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种门店货架上摆放试用装产品规范检测方法,其特征在于,包括以下步骤:
实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
对所述图像数据库中的所有图像进行深度学习训练建立分割模型,所述分割模型用于将所述图像分割为目标区域和非目标区域,所述目标区域为试用装摆放区域;
对由所述分割模型选取的含有目标区域的所有图片采用深度学习训练建立目标检测模型;
获取待检测试用装产品规范的货架图像并将所述货架图像输入所述目标检测模型中,通过所述目标检测模型对所述货架图像中的试用装产品的数量、陈列平整度、间隔以及饱满度进行规范检测分析。
2.根据权利要求1所述的门店货架上摆放试用装产品规范检测方法,其特征在于,所述通过所述目标检测模型对所述货架图像中的试用装产品的数量、陈列平整度、间隔以及饱满度进行规范检测分析的具体步骤包括:
若所述目标检测模型输出的所述货架图像中的试用装产品的数量小于规定的数量阈值,则判定所述试用装产品缺货;
若所述目标检测模型输出的所述货架图像的拟合距离值大于设定的误差阈值,则判定所述试用装产品摆放不平整;
若所述目标检测模型输出的所述货架图像中两两试用装产品的间隔间距大于设定的间距阈值或比例阈值,则判定所述试用装产品不符合摆放间隔;
若所述目标检测模型输出的所述货架图像中的试用装产品的中心与货架区域边界的距离大于设定的距离阈值,则判定货架上目标区域内摆放的试用装产品数量不够。
3.根据权利要求2所述的门店货架上摆放试用装产品规范检测方法,其特征在于,在所述若所述目标检测模型输出的所述货架图像的拟合距离值大于设定的误差阈值,则判定所述试用装产品摆放不平整之前,还包括:
确定所述货架图像中的所有试用装产品各自位于货架上的底端面中心点为各自的计算点;
对所述货架图像中的所有试用装产品的计算点进行拟合,生成所述货架图像的拟合直线;
针对所述货架图像中的每个试用装产品,计算该试用装产品的计算点与所述货架图像的拟合直线之间的拟合距离;
对所有的拟合距离求和,得到所述货架图像的拟合距离值。
4.根据权利要求2或3所述的门店货架上摆放试用装产品规范检测方法,其特征在于,所述两两试用装产品包括第一试用装产品和第二试用装产品;在所述若所述目标检测模型输出的所述货架图像中两两试用装产品的间隔间距大于设定的间距阈值或比例阈值,则判定所述试用装产品不符合摆放间隔之前,还包括:
采用所述第一试用装产品的计算点和所述第二试用装产品的计算点计算第一试用装产品与第二试用装产品的间距;
计算所述第一试用装产品底端面的宽度和所述第二试用装产品底端面的宽度的平均值;
计算所述间距与所述平均值之间的差值,得到所述货架图像中两两试用装产品的间隔间距。
5.根据权利要求2所述的门店货架上摆放试用装产品规范检测方法,其特征在于,所述若所述目标检测模型输出的所述货架图像中的试用装产品的中心与货架区域边界的距离大于设定的距离阈值,则判定货架上目标区域内摆放的试用装产品数量不够,具体包括:
确定所述货架图像中的试用装产品的货架区域边界,所述货架区域边界包括左边框、右边框、上边框和下边框;
确定所述货架图像中的所有试用装产品各自位于货架上的底端面中心点为各自的计算点;
若所述货架图像中的任一所述计算点与所述左边框、所述右边框、所述上边框、所述下边框中任一货架区域边界之间的距离大于设定的距离阈值,则判定货架上目标区域内摆放的试用装产品数量不够。
6.根据权利要求1所述的门店货架上摆放试用装产品规范检测方法,其特征在于,所述目标检测模型还包括与门店管理者的移动终端通信的输出模块,所述输出模块用于输出检测货架上摆放的试用装产品不规范的结果信息。
7.根据权利要求7所述的门店货架上摆放试用装产品规范检测方法,其特征在于,还包括:
将输出的结果信息生成工单报告,并将所述工单报告传送至门店管理者的移动终端上,以便门店管理者对货架上的试用装产品整改以及门店管理者进行监督。
8.根据权利要求1所述的门店货架上摆放试用装产品规范检测方法,其特征在于,采用360°的球型摄像机或高清广角相机实时获取门店试用装货架上的图像。
9.一种门店货架上摆放试用装产品规范检测系统,其特征在于,包括图像数据获取单元、分割模型建立单元、检测模型建立单元和检测单元;
所述图像数据获取单元,用于实时获取门店试用装货架上的图像,建立试用装摆放区域的图像数据库;
所述分割模型建立单元,用于对所述图像数据库中的所有图像进行深度学习训练建立分割模型,所述分割模型用于将所述图像分割为目标区域和非目标区域,所述目标区域为试用装摆放区域;
所述检测模型建立单元,用于对由所述分割模型选取的含有目标区域的所有图片采用深度学习训练建立目标检测模型;
所述检测单元,用于获取待检测试用装产品规范的货架图像并将所述货架图像输入所述目标检测模型中,通过所述目标检测模型对所述货架图像中的试用装产品的数量、陈列平整度、间隔以及饱满度进行规范检测分析。
10.一种门店货架上摆放试用装产品规范检测设备,其特征在于,包括处理器以及存储器;
所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器,用于根据所述程序代码中的指令执行权利要求1-8任意一项所述的门店货架上摆放试用装产品规范检测方法。
CN202210602992.XA 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备 Pending CN115049598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210602992.XA CN115049598A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210602992.XA CN115049598A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备
CN202010529064.6A CN111681234A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010529064.6A Division CN111681234A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备

Publications (1)

Publication Number Publication Date
CN115049598A true CN115049598A (zh) 2022-09-13

Family

ID=72454618

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210602992.XA Pending CN115049598A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备
CN202010529064.6A Pending CN111681234A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010529064.6A Pending CN111681234A (zh) 2020-06-11 2020-06-11 门店货架上摆放试用装产品规范检测方法、系统及设备

Country Status (1)

Country Link
CN (2) CN115049598A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773546A (zh) * 2023-06-20 2023-09-19 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质
WO2024077934A1 (zh) * 2022-10-11 2024-04-18 中国科学院沈阳计算技术研究所有限公司 一种车间巡检机器人目标检测方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762862A (zh) * 2020-12-28 2021-12-07 京东城市(北京)数字科技有限公司 货物异常监测的方法、装置、电子设备和存储介质
CN112836578B (zh) * 2020-12-31 2022-09-23 广西慧云信息技术有限公司 一种基于表观特征的货架缺货检测方法
CN114511820A (zh) * 2022-04-14 2022-05-17 美宜佳控股有限公司 货架商品检测方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549870B (zh) * 2018-04-16 2022-06-10 图麟信息科技(深圳)有限公司 一种对物品陈列进行鉴别的方法及装置
CN108898141A (zh) * 2018-06-14 2018-11-27 中山大学 基于图像检测的商品货架分割和层信息统计方法
CN109117824B (zh) * 2018-08-31 2021-01-12 北京旷视科技有限公司 商品的管理方法、装置、电子设备及储存介质
CN109522933A (zh) * 2018-10-19 2019-03-26 北京陌上花科技有限公司 用于货架的商品检测方法及装置
CN110705371B (zh) * 2019-09-09 2023-06-06 上海零眸智能科技有限公司 一种冰柜结构及其商品排面检测方法
CN111145430A (zh) * 2019-12-27 2020-05-12 北京每日优鲜电子商务有限公司 检测商品摆放状态的方法、装置及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077934A1 (zh) * 2022-10-11 2024-04-18 中国科学院沈阳计算技术研究所有限公司 一种车间巡检机器人目标检测方法及装置
CN116773546A (zh) * 2023-06-20 2023-09-19 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质
CN116773546B (zh) * 2023-06-20 2024-03-22 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN111681234A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN115049598A (zh) 门店货架上摆放试用装产品规范检测方法、系统及设备
CN109446883B (zh) 商品状态识别方法、装置、电子设备及可读存储介质
AU2020386867B2 (en) Item identification and tracking system
CN111401269B (zh) 基于监控视频的商品热点检测方法、装置和设备
CN111191576A (zh) 人员行为目标检测模型构建方法、智能分析方法及系统
US20210174299A1 (en) Method, system and device for collecting sales information of commodities in cabinet, and storage medium
JP6911915B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017049983A (ja) 分析システム及び方法
CN110008947A (zh) 一种基于卷积神经网络的粮仓粮食数量监测方法及装置
CN101316371B (zh) 火焰侦测方法及装置
CN111310733A (zh) 基于监控视频的人员进出检测方法、装置和设备
US20080225131A1 (en) Image Analysis System and Image Analysis Method
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN111951258A (zh) 一种基于边缘计算的货架缺货预警分析系统及方法
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
KR100543706B1 (ko) 비젼기반 사람 검출방법 및 장치
CN110378299B (zh) 一种室内灯光条件下的衣着识别系统
CN111325731A (zh) 遥控装置的安装检测方法及装置
CN115908774A (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN112070662B (zh) 一种换脸模型的评价方法、装置、电子设备及存储介质
CN114332082A (zh) 清晰度的评价方法、装置、电子设备及计算机存储介质
CN110738260A (zh) 一种零售门店太空箱摆放检测方法、装置和设备
CN109214317B (zh) 一种信息量确定方法及装置
CN115100839B (zh) 一种监控视频测量数据分析安全预警系统
CN112541550B (zh) 一种基于图像分类的冰箱完整性判断方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination