CN113159242A - 基于图像处理的仓储物流自动分拣实现方法及装置 - Google Patents
基于图像处理的仓储物流自动分拣实现方法及装置 Download PDFInfo
- Publication number
- CN113159242A CN113159242A CN202110282584.6A CN202110282584A CN113159242A CN 113159242 A CN113159242 A CN 113159242A CN 202110282584 A CN202110282584 A CN 202110282584A CN 113159242 A CN113159242 A CN 113159242A
- Authority
- CN
- China
- Prior art keywords
- sorting
- commodities
- grabbing
- order information
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 claims abstract description 18
- 239000003550 marker Substances 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000002203 pretreatment Methods 0.000 claims description 6
- YFUUQKJOCLQHMZ-ISJKLOBTSA-N 5-[[[(2s)-2-amino-3-(4-carbamoyl-2,6-dimethylphenyl)propanoyl]-[(1s)-1-(5-phenyl-1h-imidazol-2-yl)ethyl]amino]methyl]-2-methoxybenzoic acid;dihydrochloride Chemical compound Cl.Cl.C1=C(C(O)=O)C(OC)=CC=C1CN(C(=O)[C@@H](N)CC=1C(=CC(=CC=1C)C(N)=O)C)[C@@H](C)C1=NC(C=2C=CC=CC=2)=CN1 YFUUQKJOCLQHMZ-ISJKLOBTSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/02—Apparatus characterised by the means used for distribution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0833—Tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Warehouses Or Storage Devices (AREA)
Abstract
本发明涉及基于图像处理的仓储物流自动分拣实现方法，包括以下：获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；根据用户的该次订单信息确定所需的商品的SKU分类号；对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。本方法实现方便，且能够在一定程度避开环境因素对抓取过程的影响，从而使商品的抓取更为准确，进而使整个分拣过程的自动化程度大大提高。
Description
技术领域
本发明涉及林业安全领域，尤其涉及基于图像处理的仓储物流自动分拣实现方法及装置。
背景技术
随着当今社会的日益发展，人工智能被广泛应用于人们的日常生活、生产中。
在仓储物流相关行业中，传统的做法是通过人工进行分拣，这样的做法需要的人工成本较高，又因为人为分拣容易因为工人的个人原因导致分拣准确率不理想，目前市场也存在一些智能化的自动分拣系统，但是现有的自动分拣系统往往因为技术上的限制而导致自动化程度不够高，在进行分拣时，对货物的抓取情况情况也不够理想。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供基于图像处理的仓储物流自动分拣实现方法及装置。
为了实现上述目的，本发明采用以下的技术方案：
具体的，提出基于图像处理的仓储物流自动分拣实现方法，包括以下：
获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
根据用户的该次订单信息确定所需的商品的SKU分类号；
对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
进一步，上述获取传送带上的分拣箱上的二维码具体包括以下，
通过传感器以激光束识别的方式判断分拣箱是否就位，通过扫码枪扫描就位的分拣箱的二维码以读取所述分拣箱关联的订单信息。
进一步，上述对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置的方法包括以下，
预处理过程，
将抓取箱划分形成多个容置槽，每个容置槽对应放置一种SKU分类号的商品，
将所有SKU分类号的商品按照顺序依次放入抓取箱的容置槽中，
在抓取箱的角点处贴上第一marker标签；
检测定位过程，
获取抓取箱上的第一marker标签，
根据所述第一marker标签结合矩形检测的算法确定marker角点的方向，
根据marker角点的方向确定所述抓取箱中每个容置槽内商品的SKU分类号。
进一步，所述在抓取箱的角点处贴上第一marker标签的方式有两种，第一种为在抓取箱的任意一个角点处贴上一个第一marker标签，第二种为在抓取箱的对角处的两个角点处贴上两个第一marker标签。
进一步，所述控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取的过程具体包括以下，
检测得到每个容置槽的四个角点坐标；
给定参数thick，根据检测得到的容置槽的四个角点坐标确定容置槽的内框BBox，即待检测区域；
对待检测区域进行超像素分割，将待检测区域的图像分为N个区域｛s1，s2，...sN｝；
计算每个区域的深度均值以及方差，剔除方差超过第一阈值sigmaThre的区域得到第一剩余区域；
对第一剩余区域进行融合处理得到第二剩余区域，所述融合处理为，判断剩余区域的任意两个区域的深度均值的差值是否小于第二阈值muDelta，如果是则判断该两个区域为同一物体，将其融合成为一个区域；
计算第二剩余区域的深度均值，取均值最高的区域作为最上层服装表面，计算均值最高区域中心点的坐标；
根据中心点的坐标进行商品的抓取。
进一步，对待检测区域进行超像素分割具体包括以下，
将待检测区域的图像从RGB颜色空间转换到Lab颜色空间；
将Lab颜色空间中对应每个像素的颜色值（L，a，b）、深度值（d）以及像素坐标（x，y）组成6维向量V[L，a，b，d，x，]；
在待检测区域的图像的像素空间生成K个种子点；
然后在每个种子点的周围空间搜索距离该种子点最近的若干像素，将最近的所述像素以及该种子点归为一类，直到待检测区域的图像的像素点都归类完毕，得到K个超像素平面；
计算这K个超像素平面内所有像素点的平均向量值，重新得到K个聚类中心；
以K个聚类中心搜索其周围与其最为相似的若干像素，将所有像素归类完后得到K个超像素，更新聚类中心；
进行反复迭代直至收敛。
进一步，所述方法还包括，在抓取箱的每个容置槽的底部还设置有第二marker标签，当检测到所述第二marker标签时，判断该第二marker标签对应的容置槽缺货。
本发明还提出基于图像处理的仓储物流自动分拣实现装置，包括，
订单信息获取模块，用于获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
二维码信息处理模块，用于获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
订单信息分析模块，用于根据用户的该次订单信息确定所需的商品的SKU分类号；
抓取箱定位模块，用于对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
分拣模块，用于控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
本发明的有益效果为：
本发明能够通过借助二维码记录订单信息的方式完成用户订单与分拣箱相关联的过程，并对所有商品进行SKU分类划分，再将划分好的商品按顺序依次放入抓取箱的容置槽内进行存放，机械臂根据订单信息对容置槽中的商品进行抓取分拣，在机械臂对容置槽的对应商品进行抓取时，本方法能够在一定程度避开环境因素对抓取过程的影响，从而使商品的抓取更为准确，进而使整个分拣过程的自动化程度大大提高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1所示为本发明基于图像处理的仓储物流自动分拣实现方法流程图；
图2所示为本发明基于图像处理的仓储物流自动分拣实现方法的运作过程原理图；
图3所示为本发明基于图像处理的仓储物流自动分拣实现方法的第一marker标签的其中一种设置方式示意图；
图4所示为本发明基于图像处理的仓储物流自动分拣实现方法的第一marker标签的第二种设置方式示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1以及图2，实施例1，本发明提出基于图像处理的仓储物流自动分拣实现方法，包括以下：
步骤110、获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
步骤120、获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
步骤130、根据用户的该次订单信息确定所需的商品的SKU分类号；
步骤140、对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
步骤150、控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
作为本发明的优选实施方式，上述获取传送带上的分拣箱上的二维码具体包括以下，
通过传感器以激光束识别的方式判断分拣箱是否就位，通过扫码枪扫描就位的分拣箱的二维码以读取所述分拣箱关联的订单信息。
作为本发明的优选实施方式，上述对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置的方法包括以下，
预处理过程，
将抓取箱划分形成多个容置槽，每个容置槽对应放置一种SKU分类号的商品，
将所有SKU分类号的商品按照顺序依次放入抓取箱的容置槽中，
在抓取箱的角点处贴上第一marker标签；
检测定位过程，
获取抓取箱上的第一marker标签，
根据所述第一marker标签结合矩形检测的算法确定marker角点的方向，
根据marker角点的方向确定所述抓取箱中每个容置槽内商品的SKU分类号。
参照图3以及图4，作为本发明的优选实施方式，所述在抓取箱的角点处贴上第一marker标签的方式有两种，第一种为在抓取箱的任意一个角点处贴上一个第一marker标签，第二种为在抓取箱的对角处的两个角点处贴上两个第一marker标签。
因为marker的四个角点的序号是固定的，不随marker的方向改变而改变。因此在我们的场景中，只需要保证我们箱子的放置顺序和 marker 的位置是固定的，就可以用来确定商品的放置顺序。
作为本发明的优选实施方式，所述控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取的过程具体包括以下，
检测得到每个容置槽的四个角点坐标；
给定参数thick，根据检测得到的容置槽的四个角点坐标确定容置槽的内框BBox，即待检测区域；
对待检测区域进行超像素分割，将待检测区域的图像分为N个区域｛s1，s2，...sN｝；
计算每个区域的深度均值以及方差，剔除方差超过第一阈值sigmaThre的区域得到第一剩余区域；
对第一剩余区域进行融合处理得到第二剩余区域，所述融合处理为，判断剩余区域的任意两个区域的深度均值的差值是否小于第二阈值muDelta，如果是则判断该两个区域为同一物体，将其融合成为一个区域；
计算第二剩余区域的深度均值，取均值最高的区域作为最上层服装表面，计算均值最高区域中心点的坐标；
根据中心点的坐标进行商品的抓取。
作为本发明的优选实施方式，对待检测区域进行超像素分割具体包括以下，
将待检测区域的图像从RGB颜色空间转换到Lab颜色空间；
将Lab颜色空间中对应每个像素的颜色值（L，a，b）、深度值（d）以及像素坐标（x，y）组成6维向量V[L，a，b，d，x，]；
在待检测区域的图像的像素空间生成K个种子点；
然后在每个种子点的周围空间搜索距离该种子点最近的若干像素，将最近的所述像素以及该种子点归为一类，直到待检测区域的图像的像素点都归类完毕，得到K个超像素平面；
计算这K个超像素平面内所有像素点的平均向量值，重新得到K个聚类中心；
以K个聚类中心搜索其周围与其最为相似的若干像素，将所有像素归类完后得到K个超像素，更新聚类中心；
进行反复迭代直至收敛。
在本优选实施方式中，在料框中有一堆相同类型的服装（带有塑料包装），我们需要提供一个服装抓取点给我们的视觉系统，以便机械臂抓取。料框的位置已经确定，即料框的四个角点位置已经确定。而堆放的物体类型，颜色相同，常见的边缘检测算法无法正确检测不同物体的边缘、塑料包装会存在反光的现象，寻找料框中服装的抓取点最重要的是，找到最上面服装包装的中心点。但正如前面提到的难点，常见的边缘检测算法无法使用。在本次试验中，我们首先利用图像的颜色信息和深度信息对图像进行超像素分割，将图像分为若干区域。再计算每个区域的深度均值和方差。由于在一些边缘区域，深度的方差会比较大，因此我们首先去掉一些深度方差比较大的区域，剩下的区域就是图像中比较平整的区域，有可能是最上层的服装表面，也有可能是其他层的服装表面，或者是料框的底部。接着我们根据一个阈值，将最上面的服装表面和其他区域分开，以做到精确的抓取。
作为本发明的优选实施方式，所述方法还包括，在抓取箱的每个容置槽的底部还设置有第二marker标签，当检测到所述第二marker标签时，判断该第二marker标签对应的容置槽缺货。
在本优选实施方式中，通过增设第二marker标签以对抓取箱是否缺货进行检测，简单且效率高。
本发明能够通过借助二维码记录订单信息的方式完成用户订单与分拣箱相关联的过程，并对所有商品进行SKU分类划分，再将划分好的商品按顺序依次放入抓取箱的容置槽内进行存放，机械臂根据订单信息对容置槽中的商品进行抓取分拣，在机械臂对容置槽的对应商品进行抓取时，本方法能够在一定程度避开环境因素对抓取过程的影响，从而使商品的抓取更为准确，进而使整个分拣过程的自动化程度大大提高。
本发明还提出基于图像处理的仓储物流自动分拣实现装置，包括，
订单信息获取模块，用于获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
二维码信息处理模块，用于获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
订单信息分析模块，用于根据用户的该次订单信息确定所需的商品的SKU分类号；
抓取箱定位模块，用于对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
分拣模块，用于控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (9)
1.基于图像处理的仓储物流自动分拣实现方法，其特征在于，包括以下：
获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
根据用户的该次订单信息确定所需的商品的SKU分类号；
对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
2.根据权利要求1所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，上述获取传送带上的分拣箱上的二维码具体包括以下，
通过传感器以激光束识别的方式判断分拣箱是否就位，通过扫码枪扫描就位的分拣箱的二维码以读取所述分拣箱关联的订单信息。
3.根据权利要求1所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，上述对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置的方法包括以下，
预处理过程，
将抓取箱划分形成多个容置槽，每个容置槽对应放置一种SKU分类号的商品，
将所有SKU分类号的商品按照顺序依次放入抓取箱的容置槽中，
在抓取箱的角点处贴上第一marker标签；
检测定位过程，
获取抓取箱上的第一marker标签，
根据所述第一marker标签结合矩形检测的算法确定marker角点的方向，
根据marker角点的方向确定所述抓取箱中每个容置槽内商品的SKU分类号。
4.根据权利要求1所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，所述在抓取箱的角点处贴上第一marker标签的方式有两种，第一种为在抓取箱的任意一个角点处贴上一个第一marker标签，第二种为在抓取箱的对角处的两个角点处贴上两个第一marker标签。
5.根据权利要求4所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，所述控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取的过程具体包括以下，
检测得到每个容置槽的四个角点坐标；
给定参数thick，根据检测得到的容置槽的四个角点坐标确定容置槽的内框BBox，即待检测区域；
对待检测区域进行超像素分割，将待检测区域的图像分为N个区域｛s1，s2，...sN｝；
计算每个区域的深度均值以及方差，剔除方差超过第一阈值sigmaThre的区域得到第一剩余区域；
对第一剩余区域进行融合处理得到第二剩余区域，所述融合处理为，判断剩余区域的任意两个区域的深度均值的差值是否小于第二阈值muDelta，如果是则判断该两个区域为同一物体，将其融合成为一个区域；
计算第二剩余区域的深度均值，取均值最高的区域作为最上层服装表面，计算均值最高区域中心点的坐标；
根据中心点的坐标进行商品的抓取。
6.根据权利要求5所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，对待检测区域进行超像素分割具体包括以下，
将待检测区域的图像从RGB颜色空间转换到Lab颜色空间；
将Lab颜色空间中对应每个像素的颜色值（L，a，b）、深度值（d）以及像素坐标（x，y）组成6维向量V[L，a，b，d，x，]；
在待检测区域的图像的像素空间生成K个种子点；
然后在每个种子点的周围空间搜索距离该种子点最近的若干像素，将最近的所述像素以及该种子点归为一类，直到待检测区域的图像的像素点都归类完毕，得到K个超像素平面；
计算这K个超像素平面内所有像素点的平均向量值，重新得到K个聚类中心；
以K个聚类中心搜索其周围与其最为相似的若干像素，将所有像素归类完后得到K个超像素，更新聚类中心；
进行反复迭代直至收敛。
7.根据权利要求3所述的基于图像处理的仓储物流自动分拣实现方法，其特征在于，所述方法还包括，在抓取箱的每个容置槽的底部还设置有第二marker标签，当检测到所述第二marker标签时，判断该第二marker标签对应的容置槽缺货。
8.基于图像处理的仓储物流自动分拣实现装置，其特征在于，包括，
订单信息获取模块，用于获取用户的该次订单信息，并根据用户的该次订单信息生成二维码，将所述二维码与分拣箱相关联；
二维码信息处理模块，用于获取传送带上的分拣箱上的二维码，根据所述二维码得到分拣箱关联的用户的订单信息；
订单信息分析模块，用于根据用户的该次订单信息确定所需的商品的SKU分类号；
抓取箱定位模块，用于对放置有所有SKU分类号的商品的抓取箱进行定位并确定每个SKU分类号的商品的存放位置；
分拣模块，用于控制机械臂在所需的商品的SKU分类号的对应位置处进行商品的抓取，并将抓取的商品放置于所述分拣箱中，完成用户的该次订单。
9.一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110282584.6A CN113159242B (zh) | 2021-03-16 | 2021-03-16 | 基于图像处理的仓储物流自动分拣实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110282584.6A CN113159242B (zh) | 2021-03-16 | 2021-03-16 | 基于图像处理的仓储物流自动分拣实现方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159242A true CN113159242A (zh) | 2021-07-23 |
| CN113159242B CN113159242B (zh) | 2024-04-09 |
Family
ID=76887606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110282584.6A Active CN113159242B (zh) | 2021-03-16 | 2021-03-16 | 基于图像处理的仓储物流自动分拣实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159242B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113578784A (zh) * | 2021-08-09 | 2021-11-02 | 武汉锐科光纤激光技术股份有限公司 | 芯片分选控制系统及控制方法 |
| CN115271606A (zh) * | 2022-08-08 | 2022-11-01 | 深圳进化动力数码科技有限公司 | 智能分拣方法、装置、设备及存储介质 |
| WO2023116248A1 (zh) * | 2021-12-21 | 2023-06-29 | 深圳市海柔创新科技有限公司 | 料箱、料箱识别方法、装置、设备、仓储系统及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002187604A (ja) * | 2000-12-21 | 2002-07-02 | Sato Corp | 物流方法 |
| CN107862698A (zh) * | 2017-11-29 | 2018-03-30 | 首都师范大学 | 基于k均值聚类的光场前景分割方法及装置 |
| CN108573221A (zh) * | 2018-03-28 | 2018-09-25 | 重庆邮电大学 | 一种基于视觉的机器人目标零件显著性检测方法 |
| CN109482506A (zh) * | 2018-11-02 | 2019-03-19 | 冯军强 | 货品自动分拣系统、方法、计算机设备及存储介质 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN109967359A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 用于拣选物品的方法和装置 |
| CN110110829A (zh) * | 2018-02-01 | 2019-08-09 | 新奥科技发展有限公司 | 一种二维码处理方法及装置 |
| CN110189068A (zh) * | 2019-04-14 | 2019-08-30 | 炬星科技（深圳）有限公司 | 一种仓库快速配置方法、设备及存储介质 |
| CN111069061A (zh) * | 2019-12-26 | 2020-04-28 | 深圳市艾姆诗数码科技有限公司 | 一种订单包裹处理方法和系统 |
| CN111127548A (zh) * | 2019-12-25 | 2020-05-08 | 深圳市商汤科技有限公司 | 抓取位置检测模型训练方法、抓取位置检测方法及装置 |
-
2021
- 2021-03-16 CN CN202110282584.6A patent/CN113159242B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002187604A (ja) * | 2000-12-21 | 2002-07-02 | Sato Corp | 物流方法 |
| CN107862698A (zh) * | 2017-11-29 | 2018-03-30 | 首都师范大学 | 基于k均值聚类的光场前景分割方法及装置 |
| CN109967359A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 用于拣选物品的方法和装置 |
| CN110110829A (zh) * | 2018-02-01 | 2019-08-09 | 新奥科技发展有限公司 | 一种二维码处理方法及装置 |
| CN108573221A (zh) * | 2018-03-28 | 2018-09-25 | 重庆邮电大学 | 一种基于视觉的机器人目标零件显著性检测方法 |
| CN109482506A (zh) * | 2018-11-02 | 2019-03-19 | 冯军强 | 货品自动分拣系统、方法、计算机设备及存储介质 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN110189068A (zh) * | 2019-04-14 | 2019-08-30 | 炬星科技（深圳）有限公司 | 一种仓库快速配置方法、设备及存储介质 |
| CN111127548A (zh) * | 2019-12-25 | 2020-05-08 | 深圳市商汤科技有限公司 | 抓取位置检测模型训练方法、抓取位置检测方法及装置 |
| CN111069061A (zh) * | 2019-12-26 | 2020-04-28 | 深圳市艾姆诗数码科技有限公司 | 一种订单包裹处理方法和系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113578784A (zh) * | 2021-08-09 | 2021-11-02 | 武汉锐科光纤激光技术股份有限公司 | 芯片分选控制系统及控制方法 |
| CN113578784B (zh) * | 2021-08-09 | 2023-03-03 | 武汉锐科光纤激光技术股份有限公司 | 芯片分选控制系统及控制方法 |
| WO2023116248A1 (zh) * | 2021-12-21 | 2023-06-29 | 深圳市海柔创新科技有限公司 | 料箱、料箱识别方法、装置、设备、仓储系统及介质 |
| CN115271606A (zh) * | 2022-08-08 | 2022-11-01 | 深圳进化动力数码科技有限公司 | 智能分拣方法、装置、设备及存储介质 |
| CN115271606B (zh) * | 2022-08-08 | 2024-02-09 | 深圳进化动力数码科技有限公司 | 智能分拣方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159242B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159242B (zh) | 基于图像处理的仓储物流自动分拣实现方法及装置 | |
| CA3078850C (en) | Control device and method for a robot system for locating objects and calculating appropriate grasp points for each object | |
| CA3056922C (en) | Systems and methods for processing objects, including automated radial processing stations | |
| US20220297940A1 (en) | Systems and methods for learning to extrapolate optimal object routing and handling parameters | |
| US9505554B1 (en) | Capturing packaging image via scanner | |
| US20160224858A1 (en) | Method and device for recognizing a known object in a field of view of a three-dimensional machine vision system | |
| CN112802105A (zh) | 对象抓取方法及装置 | |
| EP3374138A1 (en) | Sortation systems and methods for providing sortation of a variety of obejcts | |
| CN108126914B (zh) | 一种基于深度学习的料框内散乱多物体机器人分拣方法 | |
| CN115330819B (zh) | 一种软包分割定位方法、工控机和机器人抓取系统 | |
| US11676085B2 (en) | System for detecting and classifying consumer packaged goods | |
| AU2020101729A4 (en) | Continuous labelling assessment of products to improve efficiency of reverse logistics by deep learning model | |
| Arpenti et al. | RGB-D recognition and localization of cases for robotic depalletizing in supermarkets | |
| CN114083529A (zh) | 基于扫码和姿态控制的机器人拣选系统、方法、终端和介质 | |
| Rodriguez-Garavito et al. | 3D object pose estimation for robotic packing applications | |
| CN114972489A (zh) | 托盘识别方法、装置、存储介质及智能叉车设备 | |
| CN113392747A (zh) | 一种用于立体仓库的货物包装箱识别方法及系统 | |
| CN114241037A (zh) | 混合尺寸卸盘 | |
| CN112934748A (zh) | 一种基于人工智能的仓储物流自动分拣系统及控制方法 | |
| CN109829032B (zh) | 一种物品识别的方法、设备及存储介质 | |
| Kaur et al. | 2-D geometric shape recognition using canny edge detection technique | |
| CN111386533B (zh) | 使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法和装置 | |
| Castaman et al. | Model-free Bin-Picking: Food Processing and Parcel Processing Use Cases | |
| Tanco et al. | Computer Vision based System for Apple Detection in Crops. | |
| CN209312143U (zh) | 一种基于机器视觉的机器人自动储售货系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220525 Address after: 518054 512, building 4, software industry base, No. 19, 17 and 18, Haitian 1st Road, Binhai community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Cross dimension (Shenzhen) Intelligent Digital Technology Co.,Ltd. Address before: 510655 tit smart Park, No.16, courtyard No.2, Yuancun West Street, Tianhe District, Guangzhou City, Guangdong Province Applicant before: Kuaiwei (Guangzhou) Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |