CN112364930A - 一种基于模板匹配的冷柜内饮料种类识别算法 - Google Patents
一种基于模板匹配的冷柜内饮料种类识别算法 Download PDFInfo
- Publication number
- CN112364930A CN112364930A CN202011301301.XA CN202011301301A CN112364930A CN 112364930 A CN112364930 A CN 112364930A CN 202011301301 A CN202011301301 A CN 202011301301A CN 112364930 A CN112364930 A CN 112364930A
- Authority
- CN
- China
- Prior art keywords
- beverage
- freezer
- network
- template matching
- identification algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013361 beverage Nutrition 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000002411 adverse Effects 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 4
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
随着零售经济的发展，街边饮料自动售卖冷柜的需求越来越大，但是这些自动售卖冷柜需要人工补货，极大的增加了运营成本。本专利提出一种基于模板匹配的饮料种类识别方法：先拍摄冷柜内的照片，然后使用检测网络检测到照片中的饮料，之后用分类网络将这些饮料进行分类，最后统计每种饮料的数量。能够通过单目摄像头实现对冷柜中的饮料进行识别、统计，从而实现一个能够自动对饮料补货提醒，销量统计的智能饮料销售系统。
Description
技术领域
本发明属于计算机视觉领域，是图像处理领域中的一项重要应用，尤其是涉及一种模板匹配的饮料种类识别方法。
技术背景
随着零售经济的发展，街边饮料自动售卖冷柜的需求越来越大，但是这些自动售卖冷柜需要人工补货，极大的增加了运营成本。本专利提出一种基于模板匹配的饮料种类识别方法，能够通过单目摄像头实现对冷柜中的饮料进行识别、统计，从而实现一个能够自动对饮料补货提醒，销量统计的智能饮料销售系统。
据我们了解，迄今为止尚无成熟的、能够投入使用的冷柜内饮料种类识别算法，本专利填补了这一领域的空白。
发明内容
本发明提出了一种基于模板匹配的冷柜内饮料种类识别算法。该方法使用基于深度卷积神经网络的目标检测算法和分类算法，较为准确的对冷柜内饮料种类进行识别，该方法可以在不同场景下有效的进行工作。
其技术解决方案是：
一种基于模板匹配的冷柜内饮料种类识别算法，所述方法包括：
步骤1)，通过冷柜内置摄像头拍摄冷柜内部的照片，手工标注采集的照片中的饮料的位置，然后将标注好的数据按照8：1：1的比例划分训练集、验证集和测试集；
步骤2)，构建基于FasterRCNN的检测网络并在收集的训练集上训练；
步骤3)，构建基于VGG16的分类网络，并用检测网络输出的检测结果来训练；
步骤4)，将数据集中每一类饮料经过分类网络后的特征聚类，求出聚类中心作为该类饮料的模板；
步骤5)，将收集的测试集先输入检测网络，然后将得到的饮料图片输入到分类网络提取特征，然后计算与该特征最近的模板，测试的饮料就属于该模板类，可以识别冷柜中饮料的种类和数量。
所述步骤1)中单目摄像头视角的设定，在不影响冷柜使用的同时，要拍摄到冷柜内部的所有饮料，并且尽可能减小饮料在照片中的倾斜角；对拍摄到的图片进行归一化算法，通过统计数据集所有照片的均值与方差，并将所有图片依此归一化，可以避免冷柜外部光线变化对检测结果造成不利影响；用矩形框标注出饮料所在位置，每张图片有多个标注框，并且饮料之间的互相遮挡使标注框之间有重叠部分。
所述步骤2)中检测网络，使用经典的梯度下降算法。
所述步骤2)、3)中网络的训练过程使用提前终止的方式结束，防止网络过拟合。
所述步骤3)中训练集经过检测网络中得到图片后进行尺寸调整，使之可以在之后的分类网络中使用批处理加速。
所述步骤5)中由于已知饮料类别数，因此使用k均值聚类，距离度量使用欧氏距离。
本发明所述整个算法可拓展性强，在不重新训练网络的前提下可以识别未参与训练的类别的饮料。
附图说明
附图1是本发明所构建的一种基于模板匹配的冷柜内饮料种类识别算法模型示意图。
具体实施方式
一种基于模板匹配的冷柜内饮料种类识别算法，包括以下步骤：
1)通过冷柜内置摄像头拍摄冷柜内部的照片，为了能减少饮料之间的遮挡，将摄像头设置在柜门处，通过改变冷柜内饮料的数量和摆放顺序，采集1000张图像。使用矩形框标注采集的照片中的饮料的位置，然后将标注好的数据按照8：1：1的比例划分训练集、验证集和测试集；
2)构建基于FasterRCNN的检测网络，将网络在COCO数据集上预训练后在收集的训练集上微调，每次并行处理4张图像。通过观察在验证集上的测试结果来确定最优的网络模型；
3)构建基于VGG16的分类网络，在ISLVRC 2012中预训练。之后用检测网络输出的检测结果来训练。具体来说，就是将检测网络得到的检测框所在位置的图像单独保存，之后改变这些图像的大小至256，然后将图像输入到分类网络中微调，通过验证集上的结果确定最优分类模型；
4)将数据集中每一类饮料经过分类网络得到的结果作为特征向量，然后求出每类向量的聚类中心作为该类饮料的模板；
5)将收集的测试集先输入检测网络，然后将得到的饮料图片输入到分类网络提取特征，然后计算与该特征最近的模板，测试的饮料就属于该模板类，这里使用的度量方式是欧氏距离。
这样就可以识别冷柜中饮料的种类和数量。
上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。
Claims (10)
1.一种基于模板匹配的冷柜内饮料种类识别算法，所述方法包括：
步骤1)，通过冷柜内置摄像头拍摄冷柜内部的照片，手工标注采集的照片中的饮料的位置，然后将标注好的数据按照8：1：1的比例划分训练集、验证集和测试集；
步骤2)，构建基于FasterRCNN的检测网络并在收集的训练集上训练；
步骤3)，构建基于VGG16的分类网络，并用检测网络输出的检测结果来训练；
步骤4)，将数据集中每一类饮料经过分类网络后的特征聚类，求出聚类中心作为该类饮料的模板；
步骤5)，将收集的测试集先输入检测网络，然后将得到的饮料图片输入到分类网络提取特征，然后计算与该特征最近的模板，测试的饮料就属于该模板类，可以识别冷柜中饮料的种类和数量。
2.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤1)中单目摄像头视角的设定，在不影响冷柜使用的同时，要拍摄到冷柜内部的所有饮料，并且尽可能减小饮料在照片中的倾斜角。
3.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤1)中对拍摄到的图片进行归一化算法，通过统计数据集所有照片的均值与方差，并将所有图片依此归一化，可以避免冷柜外部光线变化对检测结果造成不利影响。
4.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤1)中对数据的标注，用矩形框标注出饮料所在位置，每张图片有多个标注框，并且饮料之间的互相遮挡使标注框之间有重叠部分。
5.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤2)中检测网络，使用经典的梯度下降算法。
6.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤2)、步骤3)中网络的训练过程使用提前终止的方式结束，防止网络过拟合。
7.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤3)中训练集经过检测网络中得到图片后进行尺寸调整，使之可以在之后的分类网络中使用批处理加速。
8.据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：整个网络在测试过程中都是端到端实现的。
9.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：步骤5)中由于已知饮料类别数，因此使用k均值聚类，距离度量使用欧氏距离。
10.根据权利要求1所述的一种基于模板匹配的冷柜内饮料种类识别算法，其特征在于：整个算法可拓展性强，在不重新训练网络的前提下可以识别未参与训练的类别的饮料。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011301301.XA CN112364930A (zh) | 2020-11-19 | 2020-11-19 | 一种基于模板匹配的冷柜内饮料种类识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011301301.XA CN112364930A (zh) | 2020-11-19 | 2020-11-19 | 一种基于模板匹配的冷柜内饮料种类识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364930A true CN112364930A (zh) | 2021-02-12 |
Family
ID=74533056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011301301.XA Pending CN112364930A (zh) | 2020-11-19 | 2020-11-19 | 一种基于模板匹配的冷柜内饮料种类识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364930A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095383A (zh) * | 2021-03-30 | 2021-07-09 | 广州图匠数据科技有限公司 | 一种辅助销售物料识别方法及装置 |
-
2020
- 2020-11-19 CN CN202011301301.XA patent/CN112364930A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095383A (zh) * | 2021-03-30 | 2021-07-09 | 广州图匠数据科技有限公司 | 一种辅助销售物料识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506703B (zh) | 一种基于无监督局部度量学习和重排序的行人再识别方法 | |
| CN106952402B (zh) | 一种数据处理方法及装置 | |
| CN105389554B (zh) | 基于人脸识别的活体判别方法和设备 | |
| CN104732413B (zh) | 一种智能个性化视频广告推送方法及系统 | |
| CN105389593B (zh) | 基于surf特征的图像物体识别方法 | |
| CN101401126B (zh) | 面部图像注册装置、面部图像注册方法 | |
| CN111061890B (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
| He et al. | A method of green litchi recognition in natural environment based on improved LDA classifier | |
| CN109978822A (zh) | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 | |
| CN107341688A (zh) | 一种客户体验的采集方法及系统 | |
| TWI687159B (zh) | 魚苗計數系統及魚苗計數方法 | |
| CN112434646A (zh) | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 | |
| CN110807434A (zh) | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 | |
| WO2019228040A1 (zh) | 一种面部图像评分方法及摄像机 | |
| CN102436589A (zh) | 一种基于多类基元自主学习的复杂目标自动识别方法 | |
| CN106529568A (zh) | 一种基于bp神经网络的珍珠多分类方法 | |
| CN110580510B (zh) | 一种聚类结果评价方法和系统 | |
| CN106503645A (zh) | 基于Android的单目测距方法和系统 | |
| CN114445879A (zh) | 一种高精度人脸识别方法及人脸识别设备 | |
| CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
| CN112528939A (zh) | 一种人脸图像的质量评价方法及装置 | |
| JP2006065447A (ja) | 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム | |
| CN110619336B (zh) | 基于图像处理的货品识别算法 | |
| CN112364930A (zh) | 一种基于模板匹配的冷柜内饮料种类识别算法 | |
| CN107527363B (zh) | 一种冷藏装置存储物管理系统和冷藏装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |