发明内容
有鉴于此,本发明的目的在于克服现有技术的不足,提供一种商品货架整洁度识别方法及系统,以解决现有技术中门店监管效率低、监控要点不聚焦等问题。
为实现以上目的,本发明采用如下技术方案:
一种商品货架整洁度识别方法,包括:
确定评价商品货架整洁度的标准图片;
提取商品货架的实时图片;
比对所述标准图片及实时图片,以判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报。
优选地,所述确定评价商品货架整洁度的标准图片,包括:
在预设时间点,或者,每隔预设时长,从被监控门店的监控视频中提取没有前景移动目标的实时图片;
对所述实时图片显示的商品货架整洁度进行评分,若所述评分符合预设评分标准,则将所述实时图片确定为标准图片。
优选地,所述从被监控门店的监控视频中提取没有前景移动目标的实时图片,包括:
从被监控门店的监控视频中提取多帧商品货架的实时图片;
判断当前帧的实时图片是否有前景移动目标,若是,剔除掉当前帧的实时图片,提取下一帧的实时图片,直至提取的实时图片中没有前景移动目标。
优选地,所述方法,还包括:
分别对所述标准图片和实时图片中的商品货架做透视投影,得到垂直视角的投影图片;
所述将所述实时图片与标准图片进行比对,具体为:
将所述第一投影图片和第二投影图片进行比对。
优选地,对所述实时图片显示的商品货架整洁度进行评分,包括:
基于视觉特征的方法,提取商品货架上的显著性目标区域;
根据所述目标区域的sobel外轮廓,采用DBSCAN的聚类算法,得到限定长度的轮廓聚类;
判断所述轮廓聚类的主方向,根据所述主方向的集中指向度进行评分。
优选地,所述比对所述标准图片及实时图片,以判断商品货架上的商品是否被移动,包括:
分别提取所述标准图片的显著性区域和实时图片的显著性区域;
将所述标准图片的显著性区域作为mask,应用于所述实时图片上;
根据所述标准图片与实时图片的mask区域的灰度差异,判断商品货架上的商品是否被移动。
优选地,所述根据所述标准图片与实时图片的mask区域的灰度差异,判断商品货架上的商品是否被移动,包括:
对所述标准图片的显著性区域和实时图片的显著性区域进行二值化,提取变化的前景区域,用小框显示;
根据DBSCAN的目标二叉树级联算法,将相交或者在给定距离内的小框进行融合,直至融合后得到的融合框的面积大于或等于第一阈值;
判断所述融合框及未被融合的小框的面积是否小于第二阈值,若是,剔除所述融合框或未被融合的小框,以输出目标框,所述目标框内的区域即为商品被移动的区域。
优选地,所述在确定所述商品被移动且不符合预设整洁标准时,向用户上报,包括:
根据所述目标框内的亮度面积及亮度值,判断目标框内的商品被移动的剧烈程度;
根据所述目标框内的纹理特征,判断目标框内的商品是移动还是丢失;
通过目标框的不同显示方法,向用户上报被剧烈移动的商品及商品丢失区域。
优选地,所述不同显示方法,包括以下项中的至少一项:
不同颜色、不同形状、不同显示形式。
另外,本发明还提出了一种商品货架整洁度识别系统,包括:
确定单元,用于确定评价商品货架整洁度的标准图片;
提取单元,用于提取商品货架的实时图片;
比对单元,用于将所述实时图片与标准图片进行比对,以判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报。
本发明采用以上技术方案,至少具备以下有益效果:
通过比对商品货架的标准图片及实时图片,判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报,从而让门店管理者轻松了解到门店货架上的商品是否整洁,以及商品被移动后,门店工作人员是否对移动的商品及时归位,能够提高门店管理者的管理效率,使得门店管理者可以同时自动化监控多家门店的商品货架整洁度,由于本发明提供的技术方案,只有在确定商品被移动且不符合预设整洁标准时,向用户上报,减轻了门店管理者的监控压力,也帮助门店管理者实现了管理聚焦,管理效率更高、精力投入更少,用户体验度好、满意度高。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
参见图1,本发明一实施例提供的一种商品货架整洁度识别方法,包括:
步骤S1、确定评价商品货架整洁度的标准图片;
步骤S2、提取商品货架的实时图片;
步骤S3、比对所述标准图片及实时图片,以判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报。
本发明的技术方案,通过比对商品货架的标准图片及实时图片,判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报,从而让门店管理者轻松了解到门店货架上的商品是否整洁,以及商品被移动后,门店工作人员是否对移动的商品及时归位,能够提高门店管理者的管理效率,使得门店管理者可以同时自动化监控多家门店的商品货架整洁度,由于本发明提供的技术方案,只有在确定商品被移动且不符合预设整洁标准时,向用户上报,减轻了门店管理者的监控压力,也帮助门店管理者实现了管理聚焦,管理效率更高、精力投入更少,用户体验度好、满意度高。
优选地,所述确定评价商品货架整洁度的标准图片,包括:
在预设时间点,或者,每隔预设时长,从被监控门店的监控视频中提取没有前景移动目标的实时图片;
对所述实时图片显示的商品货架整洁度进行评分,若所述评分符合预设评分标准,则将所述实时图片确定为标准图片。
例如,在固定时间点(如早上9点),提取一张商品货架的实时图片,并根据整洁度评定算法得到评分,若所述评分符合预设评分标准,则将所述实时图片确定为标准图片;
每隔半个小时,再提取一张商品货架的实时图片(剔除掉有运动行人的帧,即去除有前景移动目标的实时图片),与标准图片作比较,判断商品货架上的哪些商品被移动,及移动的方向;
对提取到的实时图片进行商品货架整洁度评分,将满足预设评分标准的实时图片作为标准图片,将不满足预设评分标准的实时图片,对其中显示的被剧烈移动的商品进行上报,如果商品货架整洁度评分低于一定阈值,则产生报警。
再隔半小时,再如此循环。
优选地,所述从被监控门店的监控视频中提取没有前景移动目标的实时图片,包括:
从被监控门店的监控视频中提取多帧商品货架的实时图片;
判断当前帧的实时图片是否有前景移动目标,若是,剔除掉当前帧的实时图片,提取下一帧的实时图片,直至提取的实时图片中没有前景移动目标。
优选地,本发明采用改进的VIBE背景建模的方法,判断是否有前景移动目标(如运动行人),剔除有前景移动目标的实时图片。
可以理解的是,本发明提供的技术方案,在商品货架整洁度评分之前,先剔除有前景移动目标的实时图片,只提取没有前景移动目标的实时图片,使得实时图片和标准图片进行比对时,比对结果更精准,商品货架整洁度评分准确率更高。
参见图2A和图2B,优选地,所述方法,还包括:
分别对所述标准图片和实时图片中的商品货架做透视投影,得到垂直视角的投影图片;
所述将所述实时图片与标准图片进行比对,具体为:
将所述第一投影图片和第二投影图片进行比对。
可以理解的是,把商品货架的区域透视投影到垂直视角,因为很多商品是根据商品货架(例如,桌子、柜子等)的延伸方向进行摆放,透视投影之后对商品货架的整洁度评分更准确。
优选地,对所述实时图片显示的商品货架整洁度进行评分,包括:
基于视觉特征的方法,提取商品货架上的显著性目标区域;
根据所述目标区域的sobel外轮廓,采用DBSCAN的聚类算法,得到限定长度的轮廓聚类;
判断所述轮廓聚类的主方向,根据所述主方向的集中指向度进行评分。
优选地,当把商品货架的区域透视投影到垂直视角后,可以选取水平方向为主方向,判断各个轮廓聚类的主方向朝向水平方向的集中指向度,根据所述集中指向度进行评分。
优选地,所述比对所述标准图片及实时图片,以判断商品货架上的商品是否被移动,包括:
分别提取所述标准图片的显著性区域和实时图片的显著性区域;
将所述标准图片的显著性区域作为mask,应用于所述实时图片上;
根据所述标准图片与实时图片的mask区域的灰度差异,判断商品货架上的商品是否被移动。
优选地,所述根据所述标准图片与实时图片的mask区域的灰度差异,判断商品货架上的商品是否被移动,包括:
对所述标准图片的显著性区域和实时图片的显著性区域进行二值化,提取变化的前景区域,用小框显示;
根据DBSCAN的目标二叉树级联算法,将相交或者在给定距离内的小框进行融合,直至融合后得到的融合框的面积大于或等于第一阈值;
判断所述融合框及未被融合的小框的面积是否小于第二阈值,若是,剔除所述融合框或未被融合的小框,以输出目标框,所述目标框内的区域即为商品被移动的区域。
可以理解的是,所述第一阈值相当于是目标框面积的最大阈值,第二阈值相当于是目标框面积的最小阈值,第一阈值和第二阈值根据历史经验值进行设定,或者,根据实验数据进行设定。
参见图3,优选地,所述在确定所述商品被移动且不符合预设整洁标准时,向用户上报,包括:
根据所述目标框内的亮度面积及亮度值,判断目标框内的商品被移动的剧烈程度;
根据所述目标框内的纹理特征,判断目标框内的商品是移动还是丢失;
通过目标框的不同显示方法,向用户上报被剧烈移动的商品及商品丢失区域。
优选地,所述不同显示方法,包括以下项中的至少一项:
不同颜色、不同形状、不同显示形式。
例如,绿色框表示被剧烈移动的商品,红色框表示商品丢失区域;
再例如,方框表示被剧烈移动的商品,圆框表示商品丢失区域;
再例如,静态显示被剧烈移动的商品,动态抖动显示商品丢失区域。
可以理解的是,通过目标框的不同显示方法,向用户上报被剧烈移动的商品及商品丢失区域,可以帮助用户快速锁定商品货架上不整洁的地方,让门店管理者对商品货架的整洁度有清晰准确的判断,有利于门店管理人员考核门店工作人员的工作,提高管理效率和监控水平。
另外,参见图4,本发明还提出了一种商品货架整洁度识别系统100,包括:
确定单元101,用于确定评价商品货架整洁度的标准图片;
提取单元102,用于提取商品货架的实时图片;
比对单元103,用于将所述实时图片与标准图片进行比对,以判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报。
本发明的技术方案,通过比对商品货架的标准图片及实时图片,判断商品货架上的商品是否被移动,并在确定所述商品被移动且不符合预设整洁标准时,向用户上报,从而让门店管理者轻松了解到门店货架上的商品是否整洁,以及商品被移动后,门店工作人员是否对移动的商品及时归位,能够提高门店管理者的管理效率,使得门店管理者可以同时自动化监控多家门店的商品货架整洁度,由于本发明提供的技术方案,只有在确定商品被移动且不符合预设整洁标准时,向用户上报,减轻了门店管理者的监控压力,也帮助门店管理者实现了管理聚焦,管理效率更高、精力投入更少,用户体验度好、满意度高。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。