CN108985339A - 一种基于目标识别与knn算法的超市仓库货物识别分类方法 - Google Patents

一种基于目标识别与knn算法的超市仓库货物识别分类方法 Download PDF

Info

Publication number
CN108985339A
CN108985339A CN201810642072.4A CN201810642072A CN108985339A CN 108985339 A CN108985339 A CN 108985339A CN 201810642072 A CN201810642072 A CN 201810642072A CN 108985339 A CN108985339 A CN 108985339A
Authority
CN
China
Prior art keywords
sample
supermarket
knn algorithm
articles
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810642072.4A
Other languages
English (en)
Inventor
黄强豪
卢允子
何德峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810642072.4A priority Critical patent/CN108985339A/zh
Publication of CN108985339A publication Critical patent/CN108985339A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于目标识别与KNN算法的超市仓库货物识别分类方法，包括以下步骤：1)获取货物图像样本数据；2)对样本数据进行预处理，设立类标签，分类别按数字升序命名；3)将jpg格式的样本读入程序用于存储像素数据的矩阵中，并完成对应的类标签矩阵的赋值；4)对每一幅图像进行处理，提取出目标轮廓；5)选取出目标的最小外接矩形，对矩形进行矫正获得感兴趣区域；6)算出整个区域的平均RGB值与直方图分布；7)通过KNN算法进行待测样本与训练样本之间的匹配，按照特征值的匹配程度对训练样本进行排序，只观察前三个样本的类标签，占多数的训练样本的类标签就是待测样本所属的类别。本发明简单高效、误差低、分类较为精准。

Description

一种基于目标识别与KNN算法的超市仓库货物识别分类方法
技术领域
本发明涉及图像处理、机器学习领域。具体是指一种基于目标识别与KNN算法的超市仓库货物识别分类方法。
背景技术
在全球产能过剩和电子商务高速发展的背景下，柔性化的智慧物流系统可以有效应对订单碎片化所带来的成本增加和效率降低的挑战。仓储物流作为物品流通的载体、电子商务的核心，成了亟需解决的问题。现有的传统的、智能化程度地下，缺少科学管理和规划的老式仓库无法应对每天数十万次的货物入库出库操作。而智慧仓促和物流技术的引入，可以帮助传统制造企业更加精准、高效地管理仓储，其中机器人分拣货物时，对货物的识别与分类环节显得尤为重要，在准确性和时效性上都有非常高的要求。
针对超市仓库中机器人智能分拣时的货物识别分类问题，随机选取任意的十二种货物，其中包括雪碧、雪花、爽歪歪等常见货物。先采集样本数据集，对采集得到的样本图像进行目标识别，包括滤波、灰度变换、锐化、腐蚀膨胀等；之后计算每张图像目标区域的RGB平均值与直方图分布作为KNN算法的特征向量。通过KNN算法进行待识别货物与样本之间的匹配。观察匹配结果，根据匹配程度最高的样本对待识别物体进行分类。
主要运用：Python、目标识别、感兴趣区域提取、冒泡排序法、KNN算法
发明内容
为了克服现有仓储物流中机器人识别货物并分类问题的不足，本发明提供一种简单高效、误差低、可以较为精准的超市仓库货物识别分类方法。
为了解决上述技术问题，本发明的技术方案如下：
一种基于目标识别与KNN算法的超市仓库货物识别分类方法，包括以下步骤：
步骤1：获取货物图像样本数据；
步骤2：对样本数据进行预处理，将角度偏移超于阈值的样本剔除，对样本数据设立类标签，分类别按数字升序命名；
步骤3：将jpg格式的样本读入程序用于存储像素数据的矩阵中，并完成对应的类标签矩阵的赋值；
步骤4：对每一幅图像进行处理，包括高斯滤波、灰度二值化、sobel算子锐化等提取出目标轮廓；
步骤5：对轮廓以及内部进行腐蚀、膨胀，选取出目标的最小外接矩形，对矩形进行矫正，获得感兴趣区域；
步骤6：遍历感兴趣区域每个点的RGB值，算出整个区域的平均RGB值与直方图分布，作为KNN算法的特征；
步骤7：通过KNN算法进行待测样本与训练样本之间的匹配，按照特征值的匹配程度对训练样本进行排序，最后只观察前三个样本的类标签，占多数的训练样本的类标签就是待测样本所属的类别。
进一步，所述步骤4)中，依据步骤3)中得到的矩阵，相当于有了训练样本图像的索引值，遍历图像，对每一幅图像都进行如下的操作；首先运用Opencv库中的Cvtcolor函数将图片转成二值化图像，再通过GaussianBlur函数对图片进行高斯滤波；之后使用sobel算子，依据邻近像素之间的差分关系对图片进行锐化，得到更明显的轮廓。
所述步骤5)中，再一次进行高斯滤波，接着通过threshold函数对灰度进行线性变换，使噪声等模糊的白点置黑；通过getStructuringElement函数建立腐蚀膨胀所需的内核，通过erode与dilate函数进行腐蚀与膨胀。通过findContours函数找出边缘，依据找出的边缘使用minAreaRect函数得到最小外接矩形，对矩形进行适度的补偿。
所述步骤6)中，依据步骤5)找出的最小外接矩形的四个顶点为界，遍历矩形内所以像素点的RGB值，并求和取平均算出R、G、B三个值的平均值以及直方图分布作为这张图片的特征向量。
所述步骤7)中，以步骤6)得到的特征向量作为KNN算法的已知样本，通过计算待测样本的RGB值、直方图分布与已知样本的特征值之间的差，通常是各项差的平方和的开方值。比较开方值并以此排序，选择值最小的前三个已知样本，观察其中占多数的类标签。该类标签就表明了待测物体的类归属，即是哪一件货品。
所述步骤1)中，选取背景较单一的场景，对准超市货物进行拍摄，过程中可以左右高速晃动，这样可以增强程序的鲁棒性，也可以提供运动模糊下的像素数据。KNN算法一般只需要200左右的样品数据。
所述步骤2)中，“类标签”的意思就是我们已知的训练样本所属的类别。比如说这个易拉罐代表雪碧，这个塑料瓶代表爽歪歪等。
所述步骤3)中，通过Python os库的listdir函数得到文件名，再通过split函数获取命名中的顺序信息与类标签信息，存入相应矩阵中。
本发明的有益效果为：简单高效、误差低、分类较为精准。
具体实施方式
下面对本发明做进一步说明。
一种基于目标识别与KNN算法的超市仓库货物识别分类方法，包括以下步骤：
步骤1：获取货物图像样本数据；
步骤2：对样本数据进行预处理，将角度偏移超于阈值的样本剔除，对样本数据设立类标签，分类别按数字升序命名；
步骤3：将jpg格式的样本读入程序用于存储像素数据的矩阵中，并完成对应的类标签矩阵的赋值；
步骤4：对每一幅图像进行处理，包括高斯滤波、灰度二值化、sobel算子锐化等提取出目标轮廓；
步骤5：对轮廓以及内部进行腐蚀、膨胀，选取出目标的最小外接矩形，对矩形进行矫正，获得感兴趣区域；
步骤6：遍历感兴趣区域每个点的RGB值，算出整个区域的平均RGB值与直方图分布，作为KNN算法的特征；
步骤7：通过KNN算法进行待测样本与训练样本之间的匹配，按照特征值的匹配程度对训练样本进行排序，最后只观察前三个样本的类标签，占多数的训练样本的类标签就是待测样本所属的类别。
进一步，所述步骤4)中，依据步骤3)中得到的矩阵，相当于有了训练样本图像的索引值，遍历图像，对每一幅图像都进行如下的操作；首先运用Opencv库中的Cvtcolor函数将图片转成二值化图像，再通过GaussianBlur函数对图片进行高斯滤波；之后使用sobel算子，依据邻近像素之间的差分关系对图片进行锐化，得到更明显的轮廓。
所述步骤5)中，再一次进行高斯滤波，接着通过threshold函数对灰度进行线性变换，使噪声等模糊的白点置黑；通过getStructuringElement函数建立腐蚀膨胀所需的内核，通过erode与dilate函数进行腐蚀与膨胀。通过findContours函数找出边缘，依据找出的边缘使用minAreaRect函数得到最小外接矩形，对矩形进行适度的补偿。
所述步骤6)中，依据步骤5)找出的最小外接矩形的四个顶点为界，遍历矩形内所以像素点的RGB值，并求和取平均算出R、G、B三个值的平均值以及直方图分布作为这张图片的特征向量。
所述步骤7)中，以步骤6)得到的特征向量作为KNN算法的已知样本，通过计算待测样本的RGB值、直方图分布与已知样本的特征值之间的差，通常是各项差的平方和的开方值。比较开方值并以此排序，选择值最小的前三个已知样本，观察其中占多数的类标签。该类标签就表明了待测物体的类归属，即是哪一件货品。
所述步骤1)中，选取背景较单一的场景，对准超市货物进行拍摄，过程中可以左右高速晃动，这样可以增强程序的鲁棒性，也可以提供运动模糊下的像素数据。KNN算法一般只需要200左右的样品数据。
所述步骤2)中，“类标签”的意思就是我们已知的训练样本所属的类别。比如说这个易拉罐代表雪碧，这个塑料瓶代表爽歪歪等。
所述步骤3)中，通过Python os库的listdir函数得到文件名，再通过split函数获取命名中的顺序信息与类标签信息，存入相应矩阵中。
假设超市仓库的货架背景都是白色的墙面，这样利于目标识别。先用摄像头，还有Python的VideoCapture函数对所有货物进行样本数据采集，摄像头置于货物正前方，可上下左右一定范围内偏移，每种货物大约两百张左右。之后设计感兴趣区域提取函数。函数中首先将图像进行高斯滤波，之后将图像转成二值灰度图像。对二值灰度图像利用sobel算子在x，y梯度方向上进行差分计算，找出目标的轮廓并强化。这一步就是图像锐化。之后再一次进行高斯滤波，去噪。人为设定阈值对一些孤立的噪点进行去噪。之后进行腐蚀膨胀，去掉最外轮廓内部还存在的一些轮廓纹理细节。
然后通过Python的findContour函数再一次寻找目标轮廓，并结合minAreaRect函数得到轮廓的最小外接矩形。对矩形进行放缩、平移、旋转等操作进行补偿，是的目标区域的提取更加精准。之后在实际识别待识别物体时，通过感兴趣区域提取函数获得待识别物体图像的目标区域，并计算出该区域的RGB平均值以及直方图分布作为特征向量，与样本数据集所有图像的目标区域的特征值进行比对，这个过程由KNN算法实现。样本按照匹配结果进行排序，观察最终结果的前三个样本，占多数的样本类标签就是待识别物体的类别。

Claims (8)

1.一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述货物识别方法包括以下步骤：
1)获取货物图像样本数据；
2)对样本数据进行预处理，将角度偏移超于设定阈值的样本剔除；对样本数据设立类标签，分类别按数字升序命名；
3)将jpg格式的样本读入程序用于存储像素数据的矩阵中，并完成对应的类标签矩阵的赋值；
4)对每一幅图像进行处理，包括高斯滤波、灰度二值化、sobel算子锐化处理后，提取出目标轮廓；
5)对轮廓以及内部进行腐蚀、膨胀，选取出目标的最小外接矩形，对矩形进行矫正，获得感兴趣区域；。
6)遍历感兴趣区域每个点的RGB值，算出整个区域的平均RGB值与直方图分布，作为KNN算法的特征；
7)通过KNN算法进行待测样本与训练样本之间的匹配，按照特征值的匹配程度对训练样本进行排序。最后只观察前三个样本的类标签，占多数的训练样本的类标签就是待测样本所属的类别。
2.如权利要求1所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤4)中，依据步骤3)中得到的矩阵，相当于有了训练样本图像的索引值，遍历图像，对每一幅图像都进行如下的操作：
首先，运用Opencv库中的Cvtcolor函数将图片转成二值化图像；
再通过GaussianBlur函数对图片进行高斯滤波；
之后使用sobel算子，依据邻近像素之间的差分关系对图片进行锐化，得到更明显的轮廓。
3.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤5)中，再一次进行高斯滤波，接着通过threshold函数对灰度进行线性变换，使噪声等模糊的白点置黑。通过getStructuringElement函数建立腐蚀膨胀所需的内核，通过erode与dilate函数进行腐蚀与膨胀；通过findContours函数找出边缘，依据找出的边缘使用minAreaRect函数得到最小外接矩形。对矩形进行适度的补偿。
4.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤6)中，依据步骤5)找出的最小外接矩形的四个顶点为界，遍历矩形内所以像素点的RGB值，并求和取平均算出R、G、B三个值的平均值以及直方图分布作为这张图片的特征向量。
5.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤7)中，以步骤6)得到的特征向量作为KNN算法的已知样本，通过计算待测样本的RGB值、直方图分布与已知样本的特征值之间的差，通常是各项差的平方和的开方值；比较开方值并以此排序，选择值最小的前三个已知样本，观察其中占多数的类标签，该类标签就表明了待测物体的类归属。
6.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤1)中，选取背景较单一的场景，对准超市货物进行拍摄，需要200的样品数据。
7.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤2)中，“类标签”的意思就是已知的训练样本所属的类别。
8.如权利要求1或2所述的一种基于目标识别与KNN算法的超市仓库货物识别分类方法，其特征在于，所述步骤3)中，通过Python os库的listdir函数得到文件名，再通过split函数获取命名中的顺序信息与类标签信息，存入相应矩阵中。
CN201810642072.4A 2018-06-21 2018-06-21 一种基于目标识别与knn算法的超市仓库货物识别分类方法 Pending CN108985339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810642072.4A CN108985339A (zh) 2018-06-21 2018-06-21 一种基于目标识别与knn算法的超市仓库货物识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810642072.4A CN108985339A (zh) 2018-06-21 2018-06-21 一种基于目标识别与knn算法的超市仓库货物识别分类方法

Publications (1)

Publication Number Publication Date
CN108985339A true CN108985339A (zh) 2018-12-11

Family

ID=64541588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810642072.4A Pending CN108985339A (zh) 2018-06-21 2018-06-21 一种基于目标识别与knn算法的超市仓库货物识别分类方法

Country Status (1)

Country Link
CN (1) CN108985339A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617843A (zh) * 2018-12-28 2019-04-12 上海铿诚智能科技有限公司 一种基于knn的弹性光网络调制格式识别方法
CN109712315A (zh) * 2018-12-27 2019-05-03 苏州浪潮智能软件有限公司 一种基于双摄像头的自动售卖机货物掉落检测方法
CN109815975A (zh) * 2018-12-14 2019-05-28 中国科学院深圳先进技术研究院 一种基于机器人的目标分类方法及相关装置
CN110120054A (zh) * 2019-05-15 2019-08-13 深圳铂石空间科技有限公司 基于图像处理的自动计数方法及装置、介质、电子设备
CN110619336A (zh) * 2019-08-26 2019-12-27 南京理工大学 基于图像处理的货品识别算法
CN110852355A (zh) * 2019-10-23 2020-02-28 佛山科学技术学院 一种基于knn的标签数据分类方法
CN113766312A (zh) * 2021-09-07 2021-12-07 中国平安人寿保险股份有限公司 设备间的响应延迟计算方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503314A2 (en) * 2003-07-07 2005-02-02 Fuji Photo Film Co., Ltd. System, method and program for the collection of information on an article or commodity selected by a customer
EP1942474A1 (en) * 2005-10-28 2008-07-09 Toshiba Tec Kabushiki Kaisha Product registration processing system
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503314A2 (en) * 2003-07-07 2005-02-02 Fuji Photo Film Co., Ltd. System, method and program for the collection of information on an article or commodity selected by a customer
EP1942474A1 (en) * 2005-10-28 2008-07-09 Toshiba Tec Kabushiki Kaisha Product registration processing system
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONG-BO LI等: "Mining Paths and Transactions Data to Improve Allocating Commodity Shelves in Supermarket", 《IEEE》 *
董蕾蕾: "商品信息的检索方法和安全交易措施", 《软件导刊》 *
韩杰: "现代物流系统视觉机器人货物识别与拣选方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815975A (zh) * 2018-12-14 2019-05-28 中国科学院深圳先进技术研究院 一种基于机器人的目标分类方法及相关装置
CN109712315A (zh) * 2018-12-27 2019-05-03 苏州浪潮智能软件有限公司 一种基于双摄像头的自动售卖机货物掉落检测方法
CN109617843A (zh) * 2018-12-28 2019-04-12 上海铿诚智能科技有限公司 一种基于knn的弹性光网络调制格式识别方法
CN109617843B (zh) * 2018-12-28 2021-08-10 上海铿诚智能科技有限公司 一种基于knn的弹性光网络调制格式识别方法
CN110120054A (zh) * 2019-05-15 2019-08-13 深圳铂石空间科技有限公司 基于图像处理的自动计数方法及装置、介质、电子设备
CN110619336A (zh) * 2019-08-26 2019-12-27 南京理工大学 基于图像处理的货品识别算法
CN110619336B (zh) * 2019-08-26 2022-09-30 南京理工大学 基于图像处理的货品识别算法
CN110852355A (zh) * 2019-10-23 2020-02-28 佛山科学技术学院 一种基于knn的标签数据分类方法
CN110852355B (zh) * 2019-10-23 2023-03-07 佛山科学技术学院 一种基于knn的标签数据分类方法
CN113766312A (zh) * 2021-09-07 2021-12-07 中国平安人寿保险股份有限公司 设备间的响应延迟计算方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108985339A (zh) 一种基于目标识别与knn算法的超市仓库货物识别分类方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113780259B (zh) 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN104899892B (zh) 一种快速的星图图像星点提取方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN108647706B (zh) 基于机器视觉的物品识别分类与瑕疵检测方法
CN110119741A (zh) 一种有背景的卡证图像信息识别方法
CN108197644A (zh) 一种图像识别方法和装置
CN110223310B (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN111915628B (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN112926486A (zh) 一种舰船小目标的改进RFBnet目标检测算法
CN113780087A (zh) 一种基于深度学习的邮政包裹文本检测方法及设备
CN106897723B (zh) 基于特征匹配的目标实时识别方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN110276759A (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
Zhang et al. Traffic Sign Detection and Recognition Based onDeep Learning.
CN111368865A (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN112101283A (zh) 一种交通标志智能识别方法及系统
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN116071339A (zh) 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法
CN110853052A (zh) 一种基于深度学习的土家织锦图案图元的分割方法
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211