CN112836578A - 一种基于表观特征的货架缺货检测方法 - Google Patents

一种基于表观特征的货架缺货检测方法 Download PDF

Info

Publication number
CN112836578A
CN112836578A CN202011632540.3A CN202011632540A CN112836578A CN 112836578 A CN112836578 A CN 112836578A CN 202011632540 A CN202011632540 A CN 202011632540A CN 112836578 A CN112836578 A CN 112836578A
Authority
CN
China
Prior art keywords
stock
area
feature
features
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011632540.3A
Other languages
English (en)
Other versions
CN112836578B (zh
Inventor
张玉国
韦光亮
王筱东
姚姿娜
韦潇依
关宇晟
陈露妃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Talentcloud Information Technology Co ltd
Original Assignee
Guangxi Talentcloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Talentcloud Information Technology Co ltd filed Critical Guangxi Talentcloud Information Technology Co ltd
Priority to CN202011632540.3A priority Critical patent/CN112836578B/zh
Publication of CN112836578A publication Critical patent/CN112836578A/zh
Application granted granted Critical
Publication of CN112836578B publication Critical patent/CN112836578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别和智能计算领域，特别涉及一种基于表观特征的货架缺货检测方法，包括：构建门店的货架果品摆放场景，建立场景特征库；从场景特征库选取缺货区域标识；建立缺货区域识别网络模型；采集缺货照片，将缺货照片输入缺货区域识别网络模型识别出不规则的缺货区域；提取缺货区域的纹理特征和颜色直方图特征；通过比较缺货区域的纹理特征和选取的缺货区域标识的纹理特征得到余弦相似度值，及比较缺货区域和选取的缺货区域标识的颜色直方图特征；余弦相似度满足配置值以及颜色直方图特征满足配置值，则此区域是缺货区域。本发明能够基于缺货的表观特征进行判断不规则的缺货区域，准确率高。

Description

一种基于表观特征的货架缺货检测方法
技术领域
本发明属于图像识别和智能计算领域，特别涉及一种基于表观特征的货架缺货检测方法。
背景技术
目前一些企业连锁水果门店有成千上万家，但是各个门店的监管无法做到及时监控，导致企业经营效益差。如门店出现大面积的果品缺货，店员工作态度消极，没有及时补货到货架，导致门店业绩下滑，企业营业额下降等问题。为解决门店货架缺货监管问题，门店可部署智慧门店系统，通过门店监控视频，进行货架缺货区域监控。随着人工智能、计算机视觉技术的发展，基于计算机视觉的货架缺货自动检测技术成为研究热点。
目前，货架缺货自动检测有如下几种方法：基于目标检测的方案检测出货架缺货矩形框，难以准确定位缺货区域，无法准确计算缺货面积；基于通用实例分割的方式分割出缺货的多边形区域，缺货区域属于非刚性动态目标，样本空间较大，通用实例分割模型训练需要大量样本，标注成本较高。
发明内容
本发明针对背景技术存在的不足，提供一种基于表观特性的货架检测方法，采用实例分割与表观特征结合的方式，根据货架缺货的表观特征，建立颜色、纹理等表观特征库，加入表观先验知识，用于辅助实例分割模型进行缺货特征筛选，有效提升非刚性动态目标的货架区域检测效果，可精确定位出缺货区域，用于计算缺货面积。
为实现上述目的，本发明提供了一种基于表观特征的货架缺货检测方法，包括以下步骤：
S1，构建门店的货架果品摆放场景，建立货架果品摆放场景建立场景特征库；
S2，从场景特征库选取缺货区域标识，所述缺货区域标识包括纹理特征和颜色直方图特征；
S3，建立缺货区域识别网络模型；
S4，采集缺货照片，将所述缺货照片输入所述缺货区域识别网络模型识别出不规则的缺货区域；
S5，提取所述缺货区域的纹理特征和颜色直方图特征；
S6，通过比较所述缺货区域的纹理特征和选取的缺货区域标识的纹理特征的余弦相似度，及比较所述缺货区域和选取的缺货区域标识的颜色直方图特征；
S7，所述余弦相似度满足配置值以及颜色直方图特征满足配置值，则此区域是缺货区域。
优选的，上述技术方案中，从场景特征库选取缺货区域标识，所述缺货区域标识包括纹理特征和颜色直方图特征具体包括：
FS＝[FS1,FS2,FS3,…,FSx]
FSx＝{Fw,Frgb,…,Fx}
其中FS为特征库集合。FSx为某个特征，FSx特征包含纹理特征Fw，颜色直方图特征Frgb，Fx为其他特征。
优选的，上述技术方案中，所述缺货区域标识为仿真绿色草皮。
优选的，上述技术方案中，所述缺货区域识别网络模型为CNN卷积神经网络。
优选的，上述技术方案中，步骤S4包括：
S1，将获取的缺货照片输入CNN进行缺货特征图提取，通过边缘检测算法对缺货照片的纹理特征进行提取；
S2，将所述缺货特征图输入RPN生成20000个ROI，把ROI映射到CNN的最后一层卷积的feature map上；
S3，将这些候选的ROI送入RPN网络进行二值分类和BB回归，过滤掉一部分候选的ROI；
S4，对剩下的ROI先将原缺货照片和feature map的pixel对应起来，然后将feature map和固定的feature对应起来操作；
S5，对步骤S4的ROI进行分类、BB回归和MASK生成得到不规则的缺货区域。
优选的，上述技术方案中，步骤S6中通过比较所述缺货区域的纹理特征和选取的缺货区域标识的纹理特征的余弦相似度具体为：
x＝[x1,x2,…,xi]
y＝[y1,y2,…,yi]
Figure BDA0002880403680000031
其中：x为缺货纹理特征向量，y为特征库选定的物品的纹理特征向量，cosθ为两个特征向量比较的余弦值。
与现有的技术相比，本发明中的方法实现通过智能终端拍摄门店的照片，基于缺货的表观特征，智能识别出不规则缺货区域，可有效评估门店出现缺货，门店出现缺货是否已处理，能高效提高门店的管理情况。
附图说明
图1为本发明基于表观特征的货架缺货检测方法的方法流程图。
图2为本发明货架缺货检测的效果图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1所示，该实施例中的基于表观特征的货架缺货检测方法，包括以下步骤：
S1，构建门店的货架果品摆放场景，建立货架果品摆放场景建立场景特征库，货架果品摆放场景为特定场景。
S2，根据货架果品特征，从场景特征库选取缺货区域标识，所述缺货区域标识包括纹理特征和颜色直方图特征，具体如下：
FS＝[FS1,FS2,FS3,…,FSx]
FSx＝{Fw,Frgb,…,Fx}
其中FS为特征库集合。FSx为某个特征，FSx特征包含纹理特征Fw，颜色直方图特征Frgb，以及其他可用特征Fx，本示例以纹理特征Fw和颜色直方图特征Frgb为主，为方便说明，本示例以挑选仿真绿色草皮作为缺货区域标识为例。
S3，建立缺货区域识别网络模型，本实施例中采用CNN卷积神经网络。
S4，采集缺货照片，将缺货照片输入所述缺货区域识别网络模型识别出不规则的缺货区域，具体步骤为：
S41，将获取的缺货照片输入CNN进行缺货特征提取，通过边缘检测算法对缺货照片的纹理特征进行提取；
S42，将所述缺货特征图输入RPN生成20000个ROI，把ROI映射到CNN的最后一层卷积的feature map上；
S43，将这些候选的ROI送入RPN网络进行二值分类(前景或背景)和BB回归，过滤掉一部分候选的ROI；
S44，对剩下的ROI先将原缺货照片和feature map的pixel对应起来，然后将feature map和固定的feature对应起来操作；
S45，对步骤S4的ROI进行分类(N类别分类)、BB回归和MASK生成得到不规则的缺货区域。
其中，上述参数均为CNN卷积神经网络的专业术语参数，例如：RPN网络-区域生成网络，Pixel-像素，Feature-特征，feature map-特征图，BB回归-Bounding-boxregression(边框回归)，MASK生成-在每一个ROI里面进行FCN操作等。
S5，提取缺货区域的纹理特征和颜色直方图特征。
S6，通过比较所述缺货区域的纹理特征和选取的缺货区域标识的纹理特征的余弦相似度，具体如下：
x＝[x1,x2,…,xi]
y＝[y1,y2,…,yi]
Figure BDA0002880403680000041
其中：x为缺货纹理特征向量，y为特征库选定的物品的纹理特征向量，cosθ为两个特征向量比较的余弦值。
进一步的，比较所述缺货区域和选取的缺货区域标识的颜色直方图特征。
S7，所述余弦相似度满足配置值以及颜色直方图特征满足配置值，则此区域是缺货区域，具体结果参见图2。
综上，本发明中的方法实现通过智能终端拍摄门店的照片，基于缺货的表观特征，智能识别出不规则缺货区域，可有效评估门店出现缺货，门店出现缺货是否已处理，能高效提高门店的管理情况。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种基于表观特征的货架缺货检测方法，其特征在于，包括以下步骤：
S1，构建门店的货架果品摆放场景，建立货架果品摆放场景建立场景特征库；
S2，从场景特征库选取缺货区域标识，所述缺货区域标识包括纹理特征和颜色直方图特征；
S3，建立缺货区域识别网络模型；
S4，采集缺货照片，将所述缺货照片输入所述缺货区域识别网络模型识别出不规则的缺货区域；
S5，提取所述缺货区域的纹理特征和颜色直方图特征；
S6，通过比较所述缺货区域的纹理特征和选取的缺货区域标识的纹理特征的余弦相似度，及比较所述缺货区域和选取的缺货区域标识的颜色直方图特征；
S7，所述余弦相似度满足配置值以及颜色直方图特征满足配置值，则此区域是缺货区域。
2.根据权利要求1所述的基于表观特征的货架缺货检测方法，其特征在于，从场景特征库选取缺货区域标识，所述缺货区域标识包括纹理特征和颜色直方图特征具体包括：
FS＝[FS1,FS2,FS3,…,FSx]
FSx＝{Fw,Frgb,…,Fx}
其中FS为特征库集合。FSx为某个特征，FSx特征包含纹理特征Fw，颜色直方图特征Frgb，Fx为其他特征。
3.根据权利要求1所述的基于表观特征的货架缺货检测方法，其特征在于，所述缺货区域标识为仿真绿色草皮。
4.根据权利要求1所述的基于表观特征的货架缺货检测方法，其特征在于，所述缺货区域识别网络模型为CNN卷积神经网络。
5.根据权利要求4所述的基于表观特征的货架缺货检测方法，其特征在于，步骤S4包括：
S41，将获取的缺货照片输入CNN进行缺货特征图提取，通过边缘检测算法对缺货照片的纹理特征进行提取；
S42，将所述缺货特征图输入RPN生成20000个ROI，把ROI映射到CNN的最后一层卷积的feature map上；
S43，将这些候选的ROI送入RPN网络进行二值分类和BB回归，过滤掉一部分候选的ROI；
S44，对剩下的ROI先将原缺货照片和feature map的pixel对应起来，然后将featuremap和固定的feature对应起来操作；
S45，对步骤S4的ROI进行分类、BB回归和MASK生成得到不规则的缺货区域。
6.根据权利要求4所述的基于表观特征的货架缺货检测方法，其特征在于，步骤S6中通过比较所述缺货区域的纹理特征和选取的缺货区域标识的纹理特征的余弦相似度具体为：
x＝[x1,x2,…,xi]
y＝[y1,y2,…,yi]
Figure FDA0002880403670000021
其中：x为缺货纹理特征向量，y为特征库选定的物品的纹理特征向量，cosθ为两个特征向量比较的余弦值。
CN202011632540.3A 2020-12-31 2020-12-31 一种基于表观特征的货架缺货检测方法 Active CN112836578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011632540.3A CN112836578B (zh) 2020-12-31 2020-12-31 一种基于表观特征的货架缺货检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011632540.3A CN112836578B (zh) 2020-12-31 2020-12-31 一种基于表观特征的货架缺货检测方法

Publications (2)

Publication Number Publication Date
CN112836578A true CN112836578A (zh) 2021-05-25
CN112836578B CN112836578B (zh) 2022-09-23

Family

ID=75926101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011632540.3A Active CN112836578B (zh) 2020-12-31 2020-12-31 一种基于表观特征的货架缺货检测方法

Country Status (1)

Country Link
CN (1) CN112836578B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005034358A (ja) * 2003-07-14 2005-02-10 Nec Corp 商品陳列棚システムおよび欠品商品情報表示プログラム
CN103823949A (zh) * 2014-03-18 2014-05-28 黄健华 一种应用于室内设计的智能设备控制布置系统及方法
CN104991954A (zh) * 2015-07-20 2015-10-21 河海大学 基于图像搜索的购物搜索系统及其实现方法
CN107172354A (zh) * 2017-06-21 2017-09-15 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN111681234A (zh) * 2020-06-11 2020-09-18 名创优品（横琴）企业管理有限公司 门店货架上摆放试用装产品规范检测方法、系统及设备
CN112037267A (zh) * 2020-11-06 2020-12-04 广州市玄武无线科技股份有限公司 基于视频目标跟踪的商品摆放位置全景图形生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005034358A (ja) * 2003-07-14 2005-02-10 Nec Corp 商品陳列棚システムおよび欠品商品情報表示プログラム
CN103823949A (zh) * 2014-03-18 2014-05-28 黄健华 一种应用于室内设计的智能设备控制布置系统及方法
CN104991954A (zh) * 2015-07-20 2015-10-21 河海大学 基于图像搜索的购物搜索系统及其实现方法
CN107172354A (zh) * 2017-06-21 2017-09-15 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN111681234A (zh) * 2020-06-11 2020-09-18 名创优品（横琴）企业管理有限公司 门店货架上摆放试用装产品规范检测方法、系统及设备
CN112037267A (zh) * 2020-11-06 2020-12-04 广州市玄武无线科技股份有限公司 基于视频目标跟踪的商品摆放位置全景图形生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张泽晨等: "基于BoF模型的多特征融合果蔬图像分类方法", 《电子科技》, no. 07, 21 July 2007 (2007-07-21), pages 351 - 357 *
赵军等: "利用机器视觉检测马铃薯外部品质方法综述", 《图学学报》, no. 03, 15 June 2017 (2017-06-15), pages 169 - 174 *

Also Published As

Publication number Publication date
CN112836578B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
Peng et al. RGBD salient object detection: A benchmark and algorithms
US8655070B1 (en) Tree detection form aerial imagery
US6263113B1 (en) Method for detecting a face in a digital image
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
WO2020206850A1 (zh) 基于高维图像的图像标注方法和装置
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
WO2017181892A1 (zh) 前景分割方法及装置
KR102128121B1 (ko) 수퍼픽셀 라이프 사이클 관리 방법
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
US20150332117A1 (en) Composition modeling for photo retrieval through geometric image segmentation
JP2013012163A (ja) 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
Girisha et al. Semantic segmentation of UAV aerial videos using convolutional neural networks
CN111353452A (zh) 一种基于rgb图像的行为识别方法、装置、介质及设备
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
CN105868708A (zh) 一种图像目标识别方法及装置
Tiwari et al. A survey on shadow detection and removal in images and video sequences
Shi et al. Adaptive graph cut based binarization of video text images
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
CN115049908A (zh) 基于胚胎发育图像的多阶段智能分析方法及系统
CN109740527B (zh) 一种视频帧中图像处理方法
US20240111835A1 (en) Object detection systems and methods including an object detection model using a tailored training dataset
Mseddi et al. Real-time scene background initialization based on spatio-temporal neighborhood exploration
CN112836578B (zh) 一种基于表观特征的货架缺货检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant