CN112329522A - 一种基于深度学习和图像处理的货架商品模糊检测方法 - Google Patents
一种基于深度学习和图像处理的货架商品模糊检测方法 Download PDFInfo
- Publication number
- CN112329522A CN112329522A CN202011015957.5A CN202011015957A CN112329522A CN 112329522 A CN112329522 A CN 112329522A CN 202011015957 A CN202011015957 A CN 202011015957A CN 112329522 A CN112329522 A CN 112329522A
- Authority
- CN
- China
- Prior art keywords
- shelf
- pictures
- commodity
- picture
- goods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003704 image resize Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明公开了一种基于深度学习和图像处理的货架商品模糊检测方法，涉及人工智能计算机视觉、图像处理技术领域。本发明方法包括：S1、获取货架图片；S2、训练货架检测模型；S3、训练商品检测模型；S4、对货架图像进行检测，得到货架区域；S5、对货架区域内的像素计算拉普拉斯方差，如果高于阈值THRESHOLD_1则为清晰图片，反之进入S6；S6、对货架图像进行商品检测，得到商品的bbox列表；S7、对商品bbox区域的像素计算拉普拉斯方差；S8、判断是否为清晰图片，反之为模糊。本发明可以有效的分辨货架商品图片是否模糊，进而将模糊的货架图片筛除，提高系统的准确率。
Description
技术领域
本发明涉及人工智能计算机视觉、图像处理技术领域领域，特别是涉及一种基于深度学习和图像处理的货架商品模糊检测方法。
背景技术
在新零售时代，零售生产商为了更好地掌控线下商品的售卖情况，通常会派遣业代人员去超市卖场进行拍照巡检，然后对商品的陈列方式进行审核。这就必须要求采集的货架商品图片是清晰的，否则无法准确的识别商品类别。为了达到这个目的，需要对采集的货架商品图片进行模糊检测。
检测图像是否模糊，通常直接采用拉普拉斯方差法，即对图像的每个像素点计算拉普拉斯梯度，然后再计算其方差，通常方差越大说明图像越清晰，反之图像越模糊。现有技术中主要有：直接对全局图像使用拉普拉斯方差法，很容易受到非货架区域的干扰，例如货架区域比较模糊，但是非货架区域很清晰的情况下，这种判断方法容易失效；某些商品本身像素差异不大，比如一瓶酱油，除去标签部分其他地方都是黑色的，直接使用拉普拉斯方差法，算出的方差值很低，容易被误判成模糊。因此，针对以上问题，提供一种基于深度学习和图像处理的货架商品模糊检测方法具有重要意义。
发明内容
本发明提供了一种基于深度学习和图像处理的货架商品模糊检测方法，解决了以上问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的一种基于深度学习和图像处理的货架商品模糊检测方法，包括如下步骤：
S1、获取不同角度，不同光照，不同分辨率的货架图片；
S2、训练货架检测模型；
S3、训练商品检测模型；
S4、对货架图像进行检测，得到货架的bbox，即为货架区域；
S5、对货架区域内的像素计算拉普拉斯方差，如果高于阈值THRESHOLD_1则为清晰图片，反之进入S6；
S6、对货架图像进行商品检测，得到商品的bbox列表；
S7、对商品bbox区域的像素计算拉普拉斯方差；
S8、如果超过一半的商品的拉普拉斯方差大于THRESHOLD_2，则为清晰图片，反之为模糊。
进一步地，所述S2步骤具体包括如下步骤：
S21、收集不同角度，光照的货架图片；
S22、对部分商品图片进行人工标注训练一个较弱的货架检测模型M0；
S23、使用M0对全量数据进行预标注，人工调整；
S24、使用全量数据训练货架检测模型M1。
进一步地，所述S3步骤具体包括如下步骤：
S31、收集不同角度，光照的货架商品图片；
S32、对部分商品图片进行人工标注训练一个较弱的商品检测模型M2；
S33、使用M0对全量数据进行预标注，人工调整；
S34、使用全量数据训练商品检测模型M3。
本发明相对于现有技术包括有以下有益效果：
本发明的一种基于深度学习和图像处理的货架商品模糊检测方法可以有效的分辨货架商品图片是否模糊，进而将模糊的货架图片筛除，提高系统的准确率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于深度学习和图像处理的货架商品模糊检测方法的整体步骤图；
图2为本发明的一种基于深度学习和图像处理的货架商品模糊检测方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2所示，本发明的一种基于深度学习和图像处理的货架商品模糊检测方法，包括如下步骤：
S1、获取不同角度，不同光照，不同分辨率的货架图片；
S2、训练货架检测模型；
S3、训练商品检测模型；
S4、对货架图像进行检测，得到货架的bbox，即为货架区域；
S5、对货架区域内的像素计算拉普拉斯方差，如果高于阈值THRESHOLD_1则为清晰图片，反之进入S6；
S6、对货架图像进行商品检测，得到商品的bbox列表；
S7、对商品bbox区域的像素计算拉普拉斯方差；
S8、如果超过一半的商品的拉普拉斯方差大于THRESHOLD_2，则为清晰图片，反之为模糊。
其中，S2步骤具体包括如下步骤：
S21、收集不同角度，光照的货架图片；
S22、对部分商品图片进行人工标注训练一个较弱的货架检测模型M0；
S23、使用M0对全量数据进行预标注，人工调整；
S24、使用全量数据训练货架检测模型M1。
其中，S3步骤具体包括如下步骤：
S31、收集不同角度，光照的货架商品图片；
S32、对部分商品图片进行人工标注训练一个较弱的商品检测模型M2；
S33、使用M0对全量数据进行预标注，人工调整；
S34、使用全量数据训练商品检测模型M3。
如图2所示，本方案主要使用两大技术，目标检测和拉普拉斯方差法；
1、目标检测：使用RetinaNet的目标检测模型。此模型可以兼顾检测精度和检测速度。RetinaNet使用了Focal Loss能够很好的平衡前景和背景目标，可以使检测器更加集中于难区分的目标，从而提升检测精度；同时又由于它本身的单阶段设计框架，使其能够达到一个较高的FPS(在Nvidia Tesla V100上可达15FPS)。
获得一个基于RetinaNet的商品检测模型具体步骤如下：
S1.收集不同角度，光照的货架商品图片
S2.对部分商品图片进行人工标注训练一个较弱的商品检测模型M0
S3.使用M0对全量数据进行预标注，人工调整
S4.使用全量数据训练商品检测模型M1
RetinaNet训练设置：
1.按照长边1333像素，短边800像素进行图像resize；
2.Batch size设为2；
3.backbone为resnet50，使用基于imageNet的权重；
4.anchor使用默认设置；
5.学习率初始化为0.01，每10个epoch衰减0.1；
6.steps设为10000步，epoch设为50；
RetinaNet前向设置：
1.按照长边1333像素，短边800像素进行图像resize；
2.检测框score阈值设为0.5；
3.检测框NMS阈值设为0.5；
RetinaNet模型的输出结果分为两个部分:物体的检测框，为一个列表，元素为[x1,y1,x2,y2,score]；物体的类别，为一个列表，元素为[class_1_pro,class_2_pro,class_3_pro,...,class_n_pro](每个类别的概率向量)。对物体的类别概率向量取最大值，其对应的索引即为预测类别编号。
2.拉普拉斯方差法：基于拉普拉斯算子计算每个像素点的二阶导数，然后求方差。拉普拉斯算子的差分如下所示：
写成filter mask的形式为：
| 0 | 1 | 0 |
| 1 | -4 | 1 |
| 0 | 1 | 0 |
拉普拉斯算子能够强调图像中灰色的突变，计算其方差值，可以从整体上表征这幅图像的清晰程度，方差越大说明图像越清晰，反之则越模糊。然而由于运动模糊的存在，会导致背景区域是清晰但货架区域是模糊的情况，因此需要对货架图片进行目标检测，只计算货架区域的拉普拉斯方差，才能较为准确的判断货架是否模糊；另外由于某些商品本身灰度差异不明显，可能会将其误判为模糊的情况，因此有必要对单个商品计算拉普拉斯方差，继而判断其模糊性。
概括的说，整个方案包括以下8个步骤：
S1、获取不同角度，不同光照，不同分辨率的货架图片；
S2、训练货架检测模型；
S3、训练商品检测模型；
S4、对货架图像进行检测，得到货架的bbox，即为货架区域；
S5、对货架区域内的像素计算拉普拉斯方差，如果高于阈值THRESHOLD_1则为清晰图片，反之进入S6；
S6、对货架图像进行商品检测，得到商品的bbox列表；
S7、对商品bbox区域的像素计算拉普拉斯方差；
S8、如果超过一半的商品的拉普拉斯方差大于阈值THRESHOLD_2，则为清晰图片，反之为模糊图片。
有益效果：
本发明的一种基于深度学习和图像处理的货架商品模糊检测方法可以有效的分辨货架商品图片是否模糊，进而将模糊的货架图片筛除，提高系统的准确率。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.一种基于深度学习和图像处理的货架商品模糊检测方法，其特征在于，包括如下步骤：
S1、获取不同角度，不同光照，不同分辨率的货架图片；
S2、训练货架检测模型；
S3、训练商品检测模型；
S4、对货架图像进行检测，得到货架的bbox，即为货架区域；
S5、对货架区域内的像素计算拉普拉斯方差，如果高于阈值THRESHOLD_1则为清晰图片，反之进入S6；
S6、对货架图像进行商品检测，得到商品的bbox列表；
S7、对商品bbox区域的像素计算拉普拉斯方差；
S8、如果超过一半的商品的拉普拉斯方差大于THRESHOLD_2，则为清晰图片，反之为模糊。
2.根据权利要求1所述的一种基于深度学习和图像处理的货架商品模糊检测方法，其特征在于，所述S2步骤具体包括如下步骤：
S21、收集不同角度，光照的货架图片；
S22、对部分商品图片进行人工标注训练一个较弱的货架检测模型M0；
S23、使用M0对全量数据进行预标注，人工调整；
S24、使用全量数据训练货架检测模型M1。
3.根据权利要求1所述的一种基于深度学习和图像处理的货架商品模糊检测方法，其特征在于，所述S3步骤具体包括如下步骤：
S31、收集不同角度，光照的货架商品图片；
S32、对部分商品图片进行人工标注训练一个较弱的商品检测模型M2；
S33、使用M0对全量数据进行预标注，人工调整；
S34、使用全量数据训练商品检测模型M3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015957.5A CN112329522A (zh) | 2020-09-24 | 2020-09-24 | 一种基于深度学习和图像处理的货架商品模糊检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015957.5A CN112329522A (zh) | 2020-09-24 | 2020-09-24 | 一种基于深度学习和图像处理的货架商品模糊检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329522A true CN112329522A (zh) | 2021-02-05 |
Family
ID=74303258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015957.5A Pending CN112329522A (zh) | 2020-09-24 | 2020-09-24 | 一种基于深度学习和图像处理的货架商品模糊检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329522A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066024A (zh) * | 2021-03-19 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像模糊检测模型的训练方法、图像模糊检测方法及装置 |
| CN115330797A (zh) * | 2022-10-13 | 2022-11-11 | 南通云尚找家纺电子商务有限公司 | 一种用于货柜动态模糊商品的识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513067A (zh) * | 2015-12-03 | 2016-04-20 | 小米科技有限责任公司 | 一种图像清晰度检测方法及装置 |
| CN108665459A (zh) * | 2018-05-22 | 2018-10-16 | 释码融和（上海）信息科技有限公司 | 一种图像模糊检测方法、计算设备及可读存储介质 |
| CN109377465A (zh) * | 2018-10-26 | 2019-02-22 | 北京布本智能科技有限公司 | 一种基于图像信息熵的图像质量鉴定方法 |
| CN109978833A (zh) * | 2019-03-05 | 2019-07-05 | 上海扩博智能技术有限公司 | 图像质量自动检测方法、系统、设备及存储介质 |
| CN110175980A (zh) * | 2019-04-11 | 2019-08-27 | 平安科技（深圳）有限公司 | 图像清晰度识别方法、图像清晰度识别装置及终端设备 |
-
2020
- 2020-09-24 CN CN202011015957.5A patent/CN112329522A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513067A (zh) * | 2015-12-03 | 2016-04-20 | 小米科技有限责任公司 | 一种图像清晰度检测方法及装置 |
| CN108665459A (zh) * | 2018-05-22 | 2018-10-16 | 释码融和（上海）信息科技有限公司 | 一种图像模糊检测方法、计算设备及可读存储介质 |
| CN109377465A (zh) * | 2018-10-26 | 2019-02-22 | 北京布本智能科技有限公司 | 一种基于图像信息熵的图像质量鉴定方法 |
| CN109978833A (zh) * | 2019-03-05 | 2019-07-05 | 上海扩博智能技术有限公司 | 图像质量自动检测方法、系统、设备及存储介质 |
| CN110175980A (zh) * | 2019-04-11 | 2019-08-27 | 平安科技（深圳）有限公司 | 图像清晰度识别方法、图像清晰度识别装置及终端设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066024A (zh) * | 2021-03-19 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像模糊检测模型的训练方法、图像模糊检测方法及装置 |
| CN113066024B (zh) * | 2021-03-19 | 2023-03-10 | 北京达佳互联信息技术有限公司 | 图像模糊检测模型的训练方法、图像模糊检测方法及装置 |
| CN115330797A (zh) * | 2022-10-13 | 2022-11-11 | 南通云尚找家纺电子商务有限公司 | 一种用于货柜动态模糊商品的识别方法 |
| CN115330797B (zh) * | 2022-10-13 | 2023-03-28 | 南通云尚找家纺电子商务有限公司 | 一种用于货柜动态模糊商品的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105872370B (zh) | 视频去抖动方法和装置 | |
| KR100815010B1 (ko) | Ｌｃｄ 모션 블러 선보상 방법 | |
| CN109345528B (zh) | 一种基于人眼视觉特性的显示屏缺陷检测方法及装置 | |
| CN111340752A (zh) | 屏幕的检测方法、装置、电子设备及计算机可读存储介质 | |
| KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
| CN111882606A (zh) | 一种基于深度学习的货架商品分层方法 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| CN109284673B (zh) | 对象跟踪方法及装置、电子设备及存储介质 | |
| CN106934806B (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
| CN102013008A (zh) | 一种基于支持向量机的烟雾检测方法及装置 | |
| CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN112329522A (zh) | 一种基于深度学习和图像处理的货架商品模糊检测方法 | |
| CN111629215B (zh) | 检测视频静态标识的方法及电子设备和存储介质 | |
| CN112446437A (zh) | 一种基于机器视觉的货架商品规格识别方法 | |
| JP2016191589A (ja) | 欠陥分類装置および欠陥分類方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN104657997B (zh) | 一种镜头移位检测方法及装置 | |
| CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| US11004232B2 (en) | Method and apparatus for performing object detection according to bounding box distribution that is determined by considering lens configuration | |
| CN115908988B (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| CN117011300A (zh) | 一种实例分割与二次分类相结合的微小缺陷检测方法 | |
| CN116523916A (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| Xu et al. | Features based spatial and temporal blotch detection for archive video restoration | |
| Chen et al. | An adaptive background model initialization algorithm with objects moving at different depths |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |
|
| RJ01 | Rejection of invention patent application after publication |