CN108764778A - 一种基于图像处理的仓库无人机补充货物方法 - Google Patents

一种基于图像处理的仓库无人机补充货物方法 Download PDF

Info

Publication number
CN108764778A
CN108764778A CN201810386977.XA CN201810386977A CN108764778A CN 108764778 A CN108764778 A CN 108764778A CN 201810386977 A CN201810386977 A CN 201810386977A CN 108764778 A CN108764778 A CN 108764778A
Authority
CN
China
Prior art keywords
cargo
image
unmanned plane
counter
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810386977.XA
Other languages
English (en)
Inventor
李龙龙
周武能
闾斯瑶
尤亚锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201810386977.XA priority Critical patent/CN108764778A/zh
Publication of CN108764778A publication Critical patent/CN108764778A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Abstract

本发明涉及一种基于图像处理的仓库无人机补充货物方法，包括以下步骤：无人机群在巡检货柜时先扫描货柜下方的条形码，以获得对应货柜货物的类别以及最大数量，通过对仓库货柜的货物进行拍照，以对货物图像采集、灰度化以及二值化处理，通过滤波方法去除货物图像中的噪声，采用腐蚀方法对货物图像进行形态学处理，使用bwlable函数对被腐蚀的货物图像区域进行标记，统计货物数量，并和已获得的相应货柜的货物数量进行比较，若检测货物数量减少，则去对应补充货物地点，扫描货物上的条形码，对匹配的货物选取搬运至货柜上；若检测到货物数量没有减少，则无人机群继续巡检。本发明实现了仓库智能化管理以及具有实时性和低成本性，更加有效智能化管理仓库。

Description

一种基于图像处理的仓库无人机补充货物方法
技术领域
本发明涉及仓库补货技术领域，特别是涉及一种基于图像处理的仓库无人机补充货物方法。
背景技术
当前仓库货物搬运是仓库管理中不可缺少的一个环节，而一直以来在仓库管理中普遍采用的是人工检测的方法，这种传统的仓库管理方式效率低下，管理人员劳动强度交大，如果仓库空间和货物较大，则需要更高的人力成本。因此，传统的人工管理已经不能适应仓库的现代化智能管理。随着人工智能的发展，以及在仓库空间的密闭性，对无人机的门槛要求较低，对于推广无人机仓库管理具有可行性以及重要的经济意义。
目前，较为传统的仓库管理方法是人工巡检仓库，对仓库货柜中缺少货物的货柜进行货物搬运补充，还有一种较为智能的方法是无人机巡视仓库，但通常的做法是将无人机的巡视结果实时传给控制中心，再由控制中心派人补充库存，如沃尔玛的无人机仓库管理，此种仓库管理方法依然需要人力搬运。以上传统的仓库货物人工补充方法具有较高的成本，且需要人工巡检，效率较低下，基于此需要提出一种能适应智能仓库要求的一种方法，做到无人仓库管理。
发明内容
本发明所要解决的技术问题是提供一种基于图像处理的仓库无人机补充货物方法，使得人力成本减少，可持续巡检。
本发明解决其技术问题所采用的技术方案是：提供一种基于图像处理的仓库无人机补充货物方法，包括以下步骤：
(1)无人机群巡检扫描货柜条形码；
(2)无人机拍摄货柜货物获得货物图像，并进行预处理；
(3)通过滤波方法对预处理后的图像进行去噪；
(4)对去噪后的图像进行形态学处理，使得处理后的图像能够完整的呈现货物的形态；
(5)通过bwlable函数对形态学处理后的图像进行货物标记；
(6)统计标记点，若标记点数量减少，无人机则去补充货物地点进入下一步，否则继续巡检；
(7)无人机扫描补充货物地点的货物上的条形码获取匹配的货物，抓取货物将其搬运至货柜，直至数量补充完整。
所述步骤(1)中无人机通过扫描货柜条形码获取货柜上的货物的类别和最大数量。
所述步骤(2)中的预处理具体为：先对采集到的货物图像进行灰度化处理，再对灰度化处理后的图像进行二值化处理。
所述步骤(3)中通过中值滤波的方式对预处理后的图像进行去噪。
所述步骤(4)中通过腐蚀方法对去噪后的图像进行形态学处理。
所述步骤(5)中通过调用[L,num]＝bwlabel(BW,N)对形态学处理后的图像进行货物标记，其中，BW表示输入二值化货物图像，N取4或8，分别表示连接四连通区域及八连通区域；num表示获取的连通区域数目；L表示输出图像矩阵，其元素值是整数，背景被标记为0，第n个连通区域被标记为n；通过regionprops函数对标签函数BoundingBox中含有图像的最小边缘框进行提取，最终得到货物图像目标标记结果。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明使用bwlable函数对被腐蚀的货物图像区域进行标记，统计货物数量，并和已获得的相应货柜的货物数量进行比较，若检测货物数量减少，则去对应补充货物地点，扫描货物上的条形码，对匹配的货物选取搬运至货柜上；若检测到货物数量没有减少，则无人机群继续巡检。本发明能够使得仓库管理更加智能化，使得人力成本减少，可持续巡检，相比于传统的人工补充货物方法，其利用无人机补充货物方法，增加了仓库智能化管理以及实时性。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于图像处理的仓库无人机补充货物方法，该方法可以实时巡检仓库库存，并由无人机补充仓库库存，更进一步实现智能仓库无人管理。本方法采用的是图像处理技术，无人机群在巡检货柜时先扫描货柜下方的条形码，以获得对应货柜的货物的类别以及数量，通过对仓库货柜的货物进行拍照，以对货物图像采集、灰度化以及二值化处理，通过滤波方法去除货物图像中的噪声，采用腐蚀方法对货物图像进行形态学处理，使用bwlable函数对被腐蚀的货物图像区域进行标记，统计货物数量，并和已获得的相应货柜的货物数量进行比较，若检测货物数量减少，则去对应补充货物地点，扫描货物上的条形码，对匹配的货物选取搬运至货柜上；若检测到货物数量没有减少，则无人机群继续巡检。如图1所示，具体包括以下步骤：
(1)无人机扫描货柜条形码
无人机扫描货柜条形码获得货柜存储货物的类别和最大数量，以便下一步处理。
(2)无人机拍摄货柜货物获得图像进行预处理。
无人机拍摄货柜货物获得图像进行预处理，先对采集到的图像进行灰度化处理，再对其进行二值化处理，以便于下一步处理。
(3)通过滤波方法对图像去噪
通过滤波方法对图像进行去噪处理，在实际货物存放中，货物放置偏差问题等的影响而存在噪声，且噪声几乎不可预测，所以本实施方式采用中值滤波方法。因为其不仅可以消除噪声而且会尽可能的还原图像边缘。假设滤波前的灰度值用f(x,y)描述，滤波后的灰度值用g(x,y)描述，则有g(x,y)＝median{f(x-k,y-k),k,t,w}，式中w表示选定窗口，k，t分别表示二维模板w的行列点。采用中值滤波进行处理后，可过滤货物图像中的椒盐噪声，提高货物图像的质量。
(4)对结果进行形态学处理
边缘检测是检验图像提取效果的一个关键指标。物体边缘是各区域划分的标志，并且其不连续性使其成为图像中局部亮度改变最明显的地方。通过Canny算子完成边缘检测可保留重要的边缘，也可避免虚假边缘的出现。Canny算子对像素改变很敏感，可以有效地保护货物图像中的微弱边缘。边缘检测只能得到货物图像的大概轮廓，而在对经过处理后的货物图像进行检测时，将出现边缘不连续、内部空洞等情况，应通过形态学对货物图像进行改进。考虑到货物图像特征，本实施方式采用腐蚀方法对货物图像进行形态学处理。腐蚀即将边界点清除，从而令货物图像边界向里收缩的一种过程。通过腐蚀处理能够清除既小又没有意义的物体，通常将腐蚀描述成其中，I(x+i,y+i)，T(i,j)，m分别表示要被腐蚀的图像块，结构元素，结构元素行列数。
通过结构元素B对X进行腐蚀处理后得到的二值化货物图像，E为达到下述要求的点(x,y)的集合：若将结构元素B的原点平移到点(x,y)，则结构元素B会全部包含于X中。被形态学处理后得到的货物图像轮廓和实际轮廓相比有些许的改变，可在精度要求不是很高的情况下是允许的，而且其可以完整的呈现货物的形态，使得计数更加准确。
(5)通过bwlable函数对形态学处理结果进行货物标记
在进行货物图像数量参数统计时，本发明采用bwlable函数对被腐蚀的货物图像区域进行记录。其调用语句是：[L,num]＝bwlabel(BW,N)，其中，BW表示输入二值化货物图像，N取4或8，分别表示连接四连通区域及八连通区域；num表示获取的连通区域数目；L表示输出图像矩阵，其元素值是整数，背景被标记为0，第n个连通区域被标记为n；通过regionprops函数对标签函数BoundingBox中含有图像的最小边缘框进行提取，最终得到货物图像目标标记结果。
(6)针对标记的结果进行统计标记点。
(7)将统计的标记点和无人机已获得的相应货柜的存储货物的最大数量进行比较，若标记点少，则无人机去补充货物地点，否则继续巡检。
(8)无人机扫描补充货物地点的货物上的条形码以获取相应的货物。
(9)无人机抓取货物将其搬运至货柜，直至数量补充完整。
(10)无人机将货柜货物补充完整后，无人机群继续巡检。
不难发现，本发明能够使得仓库管理更加智能化，使得人力成本减少，可持续巡检，相比于传统的人工补充货物方法，其利用无人机补充货物方法，增加了仓库智能化管理以及实时性。

Claims (6)

1.一种基于图像处理的仓库无人机补充货物方法，其特征在于，包括以下步骤：
(1)无人机群巡检扫描货柜条形码；
(2)无人机拍摄货柜货物获得货物图像，并进行预处理；
(3)通过滤波方法对预处理后的图像进行去噪；
(4)对去噪后的图像进行形态学处理，使得处理后的图像能够完整的呈现货物的形态；
(5)通过bwlable函数对形态学处理后的图像进行货物标记；
(6)统计标记点，若标记点数量减少，无人机则去补充货物地点进入下一步，否则继续巡检；
(7)无人机扫描补充货物地点的货物上的条形码获取匹配的货物，抓取货物将其搬运至货柜，直至数量补充完整。
2.根据权利要求1所述的基于图像处理的仓库无人机补充货物方法，其特征在于，所述步骤(1)中无人机通过扫描货柜条形码获取货柜上的货物的类别和最大数量。
3.根据权利要求1所述的基于图像处理的仓库无人机补充货物方法，其特征在于，所述步骤(2)中的预处理具体为：先对采集到的货物图像进行灰度化处理，再对灰度化处理后的图像进行二值化处理。
4.根据权利要求1所述的基于图像处理的仓库无人机补充货物方法，其特征在于，所述步骤(3)中通过中值滤波的方式对预处理后的图像进行去噪。
5.根据权利要求1所述的基于图像处理的仓库无人机补充货物方法，其特征在于，所述步骤(4)中通过腐蚀方法对去噪后的图像进行形态学处理。
6.根据权利要求1所述的基于图像处理的仓库无人机补充货物方法，其特征在于，所述步骤(5)中通过调用[L,num]＝bwlabel(BW,N)对形态学处理后的图像进行货物标记，其中，BW表示输入二值化货物图像，N取4或8，分别表示连接四连通区域及八连通区域；num表示获取的连通区域数目；L表示输出图像矩阵，其元素值是整数，背景被标记为0，第n个连通区域被标记为n；通过regionprops函数对标签函数BoundingBox中含有图像的最小边缘框进行提取，最终得到货物图像目标标记结果。
CN201810386977.XA 2018-04-26 2018-04-26 一种基于图像处理的仓库无人机补充货物方法 Pending CN108764778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810386977.XA CN108764778A (zh) 2018-04-26 2018-04-26 一种基于图像处理的仓库无人机补充货物方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810386977.XA CN108764778A (zh) 2018-04-26 2018-04-26 一种基于图像处理的仓库无人机补充货物方法

Publications (1)

Publication Number Publication Date
CN108764778A true CN108764778A (zh) 2018-11-06

Family

ID=64012108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810386977.XA Pending CN108764778A (zh) 2018-04-26 2018-04-26 一种基于图像处理的仓库无人机补充货物方法

Country Status (1)

Country Link
CN (1) CN108764778A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344928A (zh) * 2018-09-19 2019-02-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置
CN111161346A (zh) * 2019-12-30 2020-05-15 北京三快在线科技有限公司 将商品在货架中进行分层的方法、装置和电子设备
WO2020114416A1 (zh) * 2018-12-07 2020-06-11 阿里巴巴集团控股有限公司 商品补货、商品识别的处理方法、装置及电子设备
CN111491071A (zh) * 2020-01-08 2020-08-04 李迎春 基于信号分析的识别系统及方法
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统
CN114004572A (zh) * 2022-01-04 2022-02-01 天津医药集团众健康达医疗器械有限公司 一种仓库智能巡检补货方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456006A (zh) * 2013-08-06 2013-12-18 北京航空航天大学 一种sar图像的油库目标定位方法
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN107063090A (zh) * 2017-04-11 2017-08-18 福州大学 一种水表表芯中玛瑙装配的在线检测方法
CN107273791A (zh) * 2017-04-26 2017-10-20 国家电网公司 一种基于无人机航拍图像技术的仓库货物盘点方法
CN107451776A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 无人超市补货方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN103456006A (zh) * 2013-08-06 2013-12-18 北京航空航天大学 一种sar图像的油库目标定位方法
CN107063090A (zh) * 2017-04-11 2017-08-18 福州大学 一种水表表芯中玛瑙装配的在线检测方法
CN107273791A (zh) * 2017-04-26 2017-10-20 国家电网公司 一种基于无人机航拍图像技术的仓库货物盘点方法
CN107451776A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 无人超市补货方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何希平等: "基于MATLAB的图像处理与分析", 《重庆工商大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344928A (zh) * 2018-09-19 2019-02-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN109344928B (zh) * 2018-09-19 2020-05-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
WO2020114416A1 (zh) * 2018-12-07 2020-06-11 阿里巴巴集团控股有限公司 商品补货、商品识别的处理方法、装置及电子设备
CN111294503A (zh) * 2018-12-07 2020-06-16 阿里巴巴集团控股有限公司 商品补货、商品识别的处理方法、装置及电子设备
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置
CN111161346A (zh) * 2019-12-30 2020-05-15 北京三快在线科技有限公司 将商品在货架中进行分层的方法、装置和电子设备
CN111161346B (zh) * 2019-12-30 2023-09-12 北京三快在线科技有限公司 将商品在货架中进行分层的方法、装置和电子设备
CN111491071A (zh) * 2020-01-08 2020-08-04 李迎春 基于信号分析的识别系统及方法
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统
CN114004572A (zh) * 2022-01-04 2022-02-01 天津医药集团众健康达医疗器械有限公司 一种仓库智能巡检补货方法及系统
CN114004572B (zh) * 2022-01-04 2022-03-15 天津医药集团众健康达医疗器械有限公司 一种仓库智能巡检补货方法及系统

Similar Documents

Publication Publication Date Title
CN108764778A (zh) 一种基于图像处理的仓库无人机补充货物方法
Pape et al. 3-D histogram-based segmentation and leaf detection for rosette plants
CN110008954B (zh) 一种基于多阈值融合的复杂背景文本图像提取方法及系统
CN107578035A (zh) 基于超像素‑多色彩空间的人体轮廓提取方法
CN104749184A (zh) 自动光学检测方法和系统
CN107273791A (zh) 一种基于无人机航拍图像技术的仓库货物盘点方法
CN107507173A (zh) 一种全切片图像的无参考清晰度评估方法及系统
CN105741276B (zh) 一种船舶水线提取方法
CN107784469A (zh) 一种基于无人机航拍图像技术的仓库货物盘点方法
CN105424709A (zh) 一种基于图像标记的水果表面缺陷检测方法
CN107169488A (zh) 一种票据扫描图像的矫正系统及矫正方法
CN109087363B (zh) 一种基于hsv颜色空间的污水排放检测方法
CN104318543A (zh) 基于图像处理方法的板材计量方法与装置
CN106228541A (zh) 视觉检测中屏幕定位的方法及装置
CN108830133A (zh) 合同影像图片的识别方法、电子装置及可读存储介质
CN109214380A (zh) 车牌倾斜校正方法
CN108197521A (zh) 一种多相位二维码获取识别装置及方法
Masood et al. Plants disease segmentation using image processing
Sun et al. Segmentation of high-resolution remote sensing image based on marker-based watershed algorithm
CN103544716A (zh) 一种对图像的像素进行颜色分类的方法及装置
CN105787931A (zh) 印鉴图像的检测方法和系统
Garg et al. Color based segmentation using K-mean clustering and watershed segmentation
Lopez et al. Line-based image segmentation method: a new approach to segment VHSR remote sensing images automatically
CN106529370A (zh) 一种多qr码识别方法
Hulaj et al. The application of a new algorithm for noise removal and edges detection in captured image by WMSN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication