CN109205327A - 一种基于多尺度轮廓直角检测的拆垛方法 - Google Patents

一种基于多尺度轮廓直角检测的拆垛方法 Download PDF

Info

Publication number
CN109205327A
CN109205327A CN201810596674.0A CN201810596674A CN109205327A CN 109205327 A CN109205327 A CN 109205327A CN 201810596674 A CN201810596674 A CN 201810596674A CN 109205327 A CN109205327 A CN 109205327A
Authority
CN
China
Prior art keywords
right angle
point
profile
angle electrical
electrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810596674.0A
Other languages
English (en)
Other versions
CN109205327B (zh
Inventor
丁丁
黄伟波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co Ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co Ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co Ltd
Priority to CN201810596674.0A priority Critical patent/CN109205327B/zh
Publication of CN109205327A publication Critical patent/CN109205327A/zh
Application granted granted Critical
Publication of CN109205327B publication Critical patent/CN109205327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度轮廓直角检测的拆垛方法，该基于多尺度轮廓直角检测的拆垛方法包括：步骤S1，提取图像中的sku集合的外轮廓；步骤S2，通过在外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；步骤S3，根据最优抓取点，确定抓取点方向，从而对商品进行拆垛。本发明通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。

Description

一种基于多尺度轮廓直角检测的拆垛方法
技术领域
本发明涉及机器视觉领域，具体来说，涉及一种基于多尺度轮廓直角检测的拆垛方法。
背景技术
随着物流产业的快速发展，市场对物流效率的提升有了更高的要求，同时，人工成本、土地成本和能耗成本迅速提升，因此，物流机器人成为了物流公司应对以上挑战的焦点。
物流机械臂在搬运、码垛、拆垛、拣选等物流环节得以应用。在应用中，机械臂的运动需要机器视觉系统进行辅助决策，机器视觉系统通过从客观事物的图像中提取信息，进行处理并加以理解。然而，在对物品拆垛的过程中，由于物流商品的种类以及摆放规则千变万化，在选取抓取点的过程中会遇到各种困难，因此利用尽可能少的先验信息决定机械臂的抓取点有利于解决更多的问题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于多尺度轮廓直角检测的拆垛方法，其解决了现有技术中的无纹理特征的单一物流商品难以进行抓取点检测的问题。
为了解决现有技术中存在的技术问题，本发明公开了一种基于多尺度轮廓直角检测的拆垛方法，该基于多尺度轮廓直角检测的拆垛方法包括：步骤S1，提取图像中的sku(stock keeping unit，其为库存量单位，同时库存进出计量的基本单元可以是以件，盒，托盘等为单位)集合的外轮廓；步骤S2，通过在外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；步骤S3，根据最优抓取点，确定抓取点方向，从而对商品进行拆垛。
根据本发明的一个实施例，步骤S1进一步包括：提取图像中的sku集合的外轮廓；获取所有外轮廓的长度，并对所有外轮廓的长度进行排序，选择最大长度的外轮廓进行步骤S2。
根据本发明的一个实施例，通过在外轮廓中寻找精确直角点包括：计算外轮廓上的每个轮廓点在外轮廓上的余弦值，其中，余弦值由当前轮廓点及其在设定步长下的两个相邻轮廓点确定；以及在设定的不同的步长的条件下，筛选满足直角判定条件的轮廓点，从而将所有满足直角判定条件的轮廓点作为直角点候选集合；将直角点候选集合中的轮廓点对称分布在商品轮廓直角点附近，并将集中在商品轮廓直角点附近的轮廓点作为精准直角点，从而得到多个精准直角点。
根据本发明的一个实施例，还包括：步骤S41，将当前精准直角点作为核心，并根据当前精准直角点，计算分布在当前精准直角点左右两个方向上的指定间隔的两个第一相邻点，并计算两个第一相邻点的中心，若中心在封闭轮廓内，则中心为凸点，否则，中心为凹点；步骤S42，对每个精准直角点执行步骤S41，以得到凸点集合，从而完成对每个精准直角点的凹凸性的判断。
根据本发明的一个实施例，从精确直角点中选取凸点作为最优抓取点包括：根据每个凸点与其相邻直角点的夹角、每个凸点与相邻的两个第二轮廓点之间的距离、每个凸点与其相邻的两个第二轮廓点之间距离的方差，从凸点集合中选取最优抓取点。
根据本发明的一个实施例，根据最优抓取点，确定抓取点方向包括：以最优抓取点为中心，沿着外轮廓相两边延长sku集合的短边长度距离得到外轮廓上的两个轮廓点，并将两个轮廓点的中点作为抓取点的最终方向。
本发明的有益技术效果在于：
本发明通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于多尺度轮廓直角检测的拆垛方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于多尺度轮廓直角检测的拆垛方法。
如图1所示，根据本发明实施例的基于多尺度轮廓直角检测的拆垛方法包括：步骤S1，提取图像中的sku集合的外轮廓；步骤S2，通过在外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；步骤S3，根据最优抓取点，确定抓取点方向，从而对商品进行拆垛。
借助于本发明的上述技术方案，其通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。
根据本发明的一个实施例，步骤S1进一步包括：提取图像中的sku集合的外轮廓；获取所有外轮廓的长度，并对所有外轮廓的长度进行排序，选择最大长度的外轮廓进行步骤S2。
根据本发明的一个实施例，通过在外轮廓中寻找精确直角点包括：计算外轮廓上的每个轮廓点在外轮廓上的余弦值，其中，余弦值由当前轮廓点及其在设定步长下的两个相邻轮廓点确定；以及在设定的不同的步长的条件下，筛选满足直角判定条件的轮廓点，从而将所有满足直角判定条件的轮廓点作为直角点候选集合；将直角点候选集合中的轮廓点对称分布在商品轮廓直角点附近，并将集中在商品轮廓直角点附近的轮廓点作为精准直角点，从而得到多个精准直角点。
根据本发明的一个实施例，还包括：步骤S41，将当前精准直角点作为核心，并根据当前精准直角点，计算分布在当前精准直角点左右两个方向上的指定间隔的两个第一相邻点，并计算两个第一相邻点的中心，若中心在封闭轮廓内，则中心为凸点，否则，中心为凹点；步骤S42，对每个精准直角点执行步骤S41，以得到凸点集合，从而完成对每个精准直角点的凹凸性的判断。
根据本发明的一个实施例，从精确直角点中选取凸点作为最优抓取点包括：根据每个凸点与其相邻直角点的夹角、每个凸点与相邻的两个第二轮廓点之间的距离、每个凸点与其相邻的两个第二轮廓点之间距离的方差，从凸点集合中选取最优抓取点。
根据本发明的一个实施例，根据最优抓取点，确定抓取点方向包括：以最优抓取点为中心，沿着外轮廓相两边延长sku集合的短边长度距离得到外轮廓上的两个轮廓点，并将两个轮廓点的中点作为抓取点的最终方向。
为了便于理解本发明的技术方案，下面对本发明的技术方案进行详细的介绍。
该基于多尺度轮廓直角检测的拆垛方法包括：
首先，对图像中sku集合的外轮廓进行提取，对所有外轮廓的长度进行排序，选择长度最大的外轮廓进行下一步分析；
然后，求取最大轮廓上每个点在轮廓中的余弦值，其中，余弦值由距离轮廓当前点和其在设定步长下的两个相邻轮廓点求得，同时，其通过设定不同的步长来实现多尺度条件。同时，在不同的尺度下筛选满足直角判定条件的轮廓点，最终在多尺度条件下筛选稳定的直角点作为候选直角点集(或直角点候选集合)；
然后，利用稳定的候选直角点集对称分布在商品轮廓直角点附近来寻找精确直角点，将集中在商品轮廓直角点附近的直角点集的中点作为精确直角点；
然后，判断每个精确直角点的凹凸性(凹直角点或凹点可能是两个sku的交接处，凸直角点或凸点为可能的sku角点)，以待检验的直角点为核心，计算出该点的左右指定间隔的相邻点作为判断该点凹凸性的依据，如果两个相邻点的中心在封闭轮廓内，则此点为凸点(或凸直角点)，如果两个相邻点的中心在封闭轮廓外，此点为凹点(凹直角点)；
然后，从外轮廓上的精确凸直角点集中寻找最优直角点作为抓取点，抓取点的选择由凸直角点与相邻直角点的夹角、凸直角点与相邻两点之间的距离、凸直角点与相邻两点之间距离的方差三个因素加权求和后得到的最大权值对应的直角点为最佳抓取点。
最后，确定抓取点方向，抓取点方向的终点选择由sku的短边以及抓取点位置决定，以抓取点为中心，沿着轮廓向两边延长sku的短边长度距离得到轮廓上的两个点，以两点的中点为抓取点方向终点。
综上所述，借助于本发明的上述技术方案，通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度轮廓直角检测的拆垛方法，其特征在于，包括以下步骤：
步骤S1，提取图像中的sku集合的外轮廓；
步骤S2，通过在所述外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；
步骤S3，根据所述最优抓取点，确定抓取点方向，从而对商品进行拆垛。
2.根据权利要求1所述的基于多尺度轮廓直角检测的拆垛方法，其特征在于，所述步骤S1进一步包括：
提取所述图像中的sku集合的外轮廓；
获取所有外轮廓的长度，并对所述所有外轮廓的长度进行排序，选择最大长度的外轮廓进行所述步骤S2。
3.根据权利要求1所述的基于多尺度轮廓直角检测的拆垛方法，其特征在于，通过在所述外轮廓中寻找精确直角点包括：
计算所述外轮廓上的每个轮廓点在所述外轮廓上的余弦值，其中，所述余弦值由当前轮廓点及其在设定步长下的两个相邻轮廓点确定；以及
在设定的不同的步长的条件下，筛选满足直角判定条件的轮廓点，从而将所有满足直角判定条件的轮廓点作为直角点候选集合；
将所述直角点候选集合中的轮廓点对称分布在商品轮廓直角点附近，并将集中在所述商品轮廓直角点附近的轮廓点作为精准直角点，从而得到多个所述精准直角点。
4.根据权利要求3所述的基于多尺度轮廓直角检测的拆垛方法，其特征在于，还包括：
步骤S41，将当前精准直角点作为核心，并根据所述当前精准直角点，计算分布在所述当前精准直角点左右两个方向上的指定间隔的两个第一相邻点，并计算所述两个第一相邻点的中心，若所述中心在封闭轮廓内，则所述中心为凸点，否则，所述中心为凹点；
步骤S42，对每个所述精准直角点执行所述步骤S41，以得到凸点集合，从而完成对每个所述精准直角点的凹凸性的判断。
5.根据权利要求4所述的基于多尺度轮廓直角检测的拆垛方法，其特征在于，从精确直角点中选取凸点作为最优抓取点包括：
根据每个所述凸点与其相邻直角点的夹角、每个所述凸点与相邻的两个第二轮廓点之间的距离、每个所述凸点与其相邻的两个第二轮廓点之间距离的方差，从所述凸点集合中选取所述最优抓取点。
6.根据权利要求5所述的基于多尺度轮廓直角检测的拆垛方法，其特征在于，根据所述最优抓取点，确定抓取点方向包括：
以所述最优抓取点为中心，沿着所述外轮廓相两边延长所述sku集合的短边长度距离得到所述外轮廓上的两个轮廓点，并将所述两个轮廓点的中点作为抓取点的最终方向。
CN201810596674.0A 2018-06-11 2018-06-11 一种基于多尺度轮廓直角检测的拆垛方法 Active CN109205327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810596674.0A CN109205327B (zh) 2018-06-11 2018-06-11 一种基于多尺度轮廓直角检测的拆垛方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810596674.0A CN109205327B (zh) 2018-06-11 2018-06-11 一种基于多尺度轮廓直角检测的拆垛方法

Publications (2)

Publication Number Publication Date
CN109205327A true CN109205327A (zh) 2019-01-15
CN109205327B CN109205327B (zh) 2020-08-28

Family

ID=64991467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810596674.0A Active CN109205327B (zh) 2018-06-11 2018-06-11 一种基于多尺度轮廓直角检测的拆垛方法

Country Status (1)

Country Link
CN (1) CN109205327B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111410045A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 货箱搬运方法和装置
CN112818992A (zh) * 2021-02-26 2021-05-18 梅卡曼德（北京）机器人科技有限公司 一种堆垛箱体的识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092471A (ja) * 2003-09-17 2005-04-07 Sumitomo Bakelite Co Ltd 画像処理装置
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN105217324A (zh) * 2015-10-20 2016-01-06 上海影火智能科技有限公司 一种新型的拆垛方法和系统
CN105335973A (zh) * 2015-10-20 2016-02-17 上海交通大学 运用于带钢加工生产线的视觉处理方法
CN106340010A (zh) * 2016-08-22 2017-01-18 电子科技大学 一种基于二阶轮廓差分的角点检测方法
CN107103323A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于图像轮廓特征的目标识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092471A (ja) * 2003-09-17 2005-04-07 Sumitomo Bakelite Co Ltd 画像処理装置
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN105217324A (zh) * 2015-10-20 2016-01-06 上海影火智能科技有限公司 一种新型的拆垛方法和系统
CN105335973A (zh) * 2015-10-20 2016-02-17 上海交通大学 运用于带钢加工生产线的视觉处理方法
CN106340010A (zh) * 2016-08-22 2017-01-18 电子科技大学 一种基于二阶轮廓差分的角点检测方法
CN107103323A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于图像轮廓特征的目标识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111410045A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 货箱搬运方法和装置
CN112818992A (zh) * 2021-02-26 2021-05-18 梅卡曼德（北京）机器人科技有限公司 一种堆垛箱体的识别方法
CN112818992B (zh) * 2021-02-26 2024-02-09 梅卡曼德（北京）机器人科技有限公司 一种堆垛箱体的识别方法

Also Published As

Publication number Publication date
CN109205327B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
Horaud et al. 3DPO's strategy for matching three-dimensional objects in range data
Barnea et al. Colour-agnostic shape-based 3D fruit detection for crop harvesting robots
Yokoyama et al. Pole-like objects recognition from mobile laser scanning data using smoothing and principal component analysis
CN109205327A (zh) 一种基于多尺度轮廓直角检测的拆垛方法
CN106296974A (zh) 一种粘贴钞检测方法和装置
CN109839385A (zh) 一种自适应的pcb板缺陷视觉定位检测及分类系统
CN103530590A (zh) Dpm二维码识别系统
Gunkel et al. Micro crack detection with Dijkstra’s shortest path algorithm
CN106991460A (zh) 一种qr码快速定位检测算法
CN106056487A (zh) 基于餐具图案的菜品自动识别系统的计价方法
CN104751483A (zh) 一种仓储物流机器人工作区域异常情况的监控方法
Yang et al. Using mobile laser scanning data for features extraction of high accuracy driving maps
Oude Elberink et al. User-assisted object detection by segment based similarity measures in mobile laser scanner data
Huang et al. Lightweight edge-attention network for surface-defect detection of rubber seal rings
CN113033706A (zh) 基于视觉目标检测和重识别的多源两阶段菜品识别方法
CN105741139A (zh) 自选餐厅自动计费方法及其实施装置
CN110544227A (zh) 被动式太赫兹人体安检图像目标检测方法
CN105320940B (zh) 一种基于中心-边界连接模型的交通标志检测方法
JP6052871B2 (ja) 対象物移動装置、方法、プログラム、及び記録媒体
Cheng et al. Real-time RGB-D SLAM with points and lines
CN105444692B (zh) 一种水火弯板曲面提取方法
Kaur et al. 2-D geometric shape recognition using canny edge detection technique
Paolanti et al. Semantic 3D object maps for everyday robotic retail inspection
EP1290625B1 (en) Finding objects in an image
Ren et al. Automatic microstructure defect detection of Ti-6Al-4V titanium alloy by regions-based graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant