CN111259928A - 一种基于机器学习的零部件快速自动化码垛堆叠方法 - Google Patents

一种基于机器学习的零部件快速自动化码垛堆叠方法 Download PDF

Info

Publication number
CN111259928A
CN111259928A CN202010018513.0A CN202010018513A CN111259928A CN 111259928 A CN111259928 A CN 111259928A CN 202010018513 A CN202010018513 A CN 202010018513A CN 111259928 A CN111259928 A CN 111259928A
Authority
CN
China
Prior art keywords
parts
stacked
point cloud
camera
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010018513.0A
Other languages
English (en)
Inventor
宫正
李剑锋
葛继
汝长海
孙钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Micro Nano Automation System And Equipment Technology Research Institute Co ltd
Original Assignee
Jiangsu Jicui Micro Nano Automation System And Equipment Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Micro Nano Automation System And Equipment Technology Research Institute Co ltd filed Critical Jiangsu Jicui Micro Nano Automation System And Equipment Technology Research Institute Co ltd
Priority to CN202010018513.0A priority Critical patent/CN111259928A/zh
Publication of CN111259928A publication Critical patent/CN111259928A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及3D视觉领域，涉及一种基于机器学习的零部件快速自动化码垛堆叠方法。通过零部件识别模型对空间中的待码垛零部件进行定位和分类，机械手根据待码垛零部件的类别和位置快速对待码垛零部件进行堆叠码垛，可以针对多种零部件的自动码垛，码垛速度快，稳定性高，精度上明显优于现有的人工操作方法，且高于传统的图像处理技术，可实现实时、在线对零部件码垛，确保后续工序的可靠性、稳定性。

Description

一种基于机器学习的零部件快速自动化码垛堆叠方法
技术领域
本发明涉及3D视觉领域，涉及一种基于机器学习的零部件快速自动化码垛堆叠方法。
背景技术
随着我国劳动力成本快速上涨，传统的人工分拣码垛方法，效率低下，人工需求量大，速度缓慢等问题日益凸显，产业优化升级趋势越来越迫切。
发明内容
本发明要解决的技术问题是提供一种可以满足多种零部件的自动码垛，码垛速度快，稳定性高，精度上明显优于现有的人工操作方法的基于机器学习的零部件快速自动化码垛堆叠方法。
为了解决上述技术问题，本发明解决其技术问题所采用的技术方案是：
一种基于机器学习的零部件快速自动化码垛堆叠方法，具体步骤包括：
获取各训练零部件3D点云数据信息作为输入样本数据，将输入样本数据输入至支持向量机(SVM)模型中训练得到零部件识别模型；
通过3D相机获得待码垛零部件空间点云数据，基于零部件识别模型，对3D点云数据中的待码垛零部件进行定位和分类；
根据3D点云数据中待码垛零部件的定位获得其在3D相机坐标系下的三维坐标位置；通过手眼标定以得到机器手与3D相机坐标系之间的关系，以此得到待码垛零部件在机械手坐标系下的三维坐标位置；
机械手根据待码垛零部件的类别和位置抓取每个零部件，并堆叠到对应码垛上。
优选的，获取输入样本数据具体步骤包括：通过每个训练零部件在其点云上所在区域，得到该零部件区域的方向梯度直方图特征值，将3D点云数据以及该零部件区域的方向梯度直方图特征值作为输入样本数据训练支持向量机(SVM)模型。
优选的，待码垛零部件的分类具体步骤包括：根据各待码垛零部件的种类数，基于零部件识别模型得到多个输出样本数据，将输出样本数据根据各待码垛零部件的种类进行分类编号。
优选的，将待码垛零部件任意放置在检测平台上，通过3D相机对待码垛零部件进行拍摄并获得3D点云数据，基于零部件识别模型对拍摄获得3D点云中的待码垛零部件进行识别定位。
优选的，通过3D相机对待码垛零部件进行定位，以及3D相机的内部参数标定得到待码垛零部件在3D相机坐标系下的三维坐标位置。
优选的，根据各待码垛零部件的类别，得到各待码垛零部件与机械手对应的预设抓取位姿，并记录机械手不同位姿数据，位姿数据组数与零部件类别数相匹配。
本发明的有益效果：
通过零部件识别模型对空间中的待码垛零部件进行定位和分类，机械手根据待码垛零部件的类别和位置快速对待码垛零部件进行堆叠码垛，可以针对多种零部件的自动码垛，码垛速度快，稳定性高，精度上明显优于现有的人工操作方法，且高于传统的图像处理技术，可实现实时、在线对零部件码垛，确保后续工序的可靠性、稳定性。
具体实施方式
下面结合具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
一种基于机器学习的零部件快速自动化码垛堆叠方法，具体步骤包括：
获取各训练零部件3D点云数据信息作为输入样本数据，将输入样本数据输入至支持向量机(SVM)模型中训练得到零部件识别模型；
通过3D相机获得待码垛零部件空间点云数据，基于零部件识别模型，对3D点云数据中的待码垛零部件进行定位和分类；
根据3D点云数据中待码垛零部件的定位获得其在3D相机坐标系下的三维坐标位置；通过手眼标定以得到机器手与3D相机坐标系之间的关系，以此得到待码垛零部件在机械手坐标系下的三维坐标位置；
机械手根据待码垛零部件的类别和位置抓取每个零部件，并堆叠到对应码垛上。
采集用于训练支持向量机(SVM)模型的图像，支持向量机(SVM)模型训练一次就可以，零部件识别模型无需反复训练。
通过零部件识别模型对空间中的待码垛零部件进行定位和分类，机械手根据待码垛零部件的类别和位置快速对待码垛零部件进行堆叠码垛，可以针对多种零部件的自动码垛，码垛速度快，稳定性高，精度上明显优于现有的人工操作方法，且高于传统的图像处理技术，可实现实时、在线对零部件码垛，确保后续工序的可靠性、稳定性。
获取输入样本数据具体步骤包括：通过每个训练零部件在其点云上所在区域，得到该零部件区域的方向梯度直方图特征值，将3D点云数据以及该零部件区域的方向梯度直方图特征值作为输入样本数据训练支持向量机(SVM)模型。
待码垛零部件的分类具体步骤包括：根据各待码垛零部件的种类数，基于零部件识别模型得到多个输出样本数据，将输出样本数据根据各待码垛零部件的种类进行分类编号。
将待码垛零部件任意放置在检测平台上，通过3D相机对待码垛零部件进行拍摄并获得3D点云数据，基于零部件识别模型对拍摄获得3D点云中的待码垛零部件进行识别定位。
将待分拣的待码垛零部件放置在检测平台上，检测平台可以接入生产流水线，占用一个工作节拍，自动上下料，也可以单独作为一个工作位，人工上下料。采用3D相机对待码垛零部件进行拍摄，基于零部件识别模型对3D相机拍摄的3D点云数据进行处理，对待码垛零部件进行定位和分类。
通过3D相机对待码垛零部件进行定位，以及3D相机的内部参数标定得到待码垛零部件在3D相机坐标系下的三维坐标位置。
根据3D相机获取3D点云数据中待码垛零部件的定位、相机内部的标定以及手眼标定计算零部件在机械手坐标系下的位置。
根据各待码垛零部件的类别，得到各待码垛零部件与机械手对应的预设抓取位姿，并记录机械手不同位姿数据，位姿数据组数与零部件类别数相匹配。
完成检测平台上的一批零部件码垛后，机械手回到原始位置；下一批零部件送至检测平台，3D相机重新获取点云，重复以上步骤，直至所有工件全部挑拣完成，直至所有的零部件都码垛好。
本发明中的检测平台上可以放置一种零部件，也可以放置多种零部件；
本发明还可通过3D相机获得待码垛零部件空间点云数据，基于零部件识别模型，对3D点云数据中的待码垛零部件进行定位和分类；同时规划机器手抓取待码垛零部件的路径，并将待码垛零部件成功抓取放置到一个基准水平平台上；3D相机对水平平台上的单个待码垛零部件进行扫描，依据形成的3D模型对物体进行位姿估计用以形成对应的预设抓取位姿，机器手再对零部件进行翻转、码垛操作；机器手抓取翻转好的零部件排列到码垛上。
3D相机重新拍摄，机器手再抓取出另一个工件，重复以上步骤，直至所有工件全部挑拣完成。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，具体步骤包括：
获取各训练零部件3D点云数据信息作为输入样本数据，将输入样本数据输入至支持向量机(SVM)模型中训练得到零部件识别模型；
通过3D相机获得待码垛零部件空间点云数据，基于零部件识别模型，对3D点云数据中的待码垛零部件进行定位和分类；
根据3D点云数据中待码垛零部件的定位获得其在3D相机坐标系下的三维坐标位置；通过手眼标定以得到机器手与3D相机坐标系之间的关系，以此得到待码垛零部件在机械手坐标系下的三维坐标位置；
机械手根据待码垛零部件的类别和位置抓取每个零部件，并堆叠到对应码垛上。
2.如权利要求1所述的基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，获取输入样本数据具体步骤包括：通过每个训练零部件在其点云上所在区域，得到该零部件区域的方向梯度直方图特征值，将3D点云数据以及该零部件区域的方向梯度直方图特征值作为输入样本数据训练支持向量机(SVM)模型。
3.如权利要求1所述的基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，待码垛零部件的分类具体步骤包括：根据各待码垛零部件的种类数，基于零部件识别模型得到多个输出样本数据，将输出样本数据根据各待码垛零部件的种类进行分类编号。
4.如权利要求1所述的基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，将待码垛零部件任意放置在检测平台上，通过3D相机对待码垛零部件进行拍摄并获得3D点云数据，基于零部件识别模型对拍摄获得3D点云中的待码垛零部件进行识别定位。
5.如权利要求1所述的基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，通过3D相机对待码垛零部件进行定位，以及3D相机的内部参数标定得到待码垛零部件在3D相机坐标系下的三维坐标位置。
6.如权利要求1所述的基于机器学习的零部件快速自动化码垛堆叠方法，其特征在于，根据各待码垛零部件的类别，得到各待码垛零部件与机械手对应的预设抓取位姿，并记录机械手不同位姿数据，位姿数据组数与零部件类别数相匹配。
CN202010018513.0A 2020-01-08 2020-01-08 一种基于机器学习的零部件快速自动化码垛堆叠方法 Pending CN111259928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018513.0A CN111259928A (zh) 2020-01-08 2020-01-08 一种基于机器学习的零部件快速自动化码垛堆叠方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018513.0A CN111259928A (zh) 2020-01-08 2020-01-08 一种基于机器学习的零部件快速自动化码垛堆叠方法

Publications (1)

Publication Number Publication Date
CN111259928A true CN111259928A (zh) 2020-06-09

Family

ID=70954137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018513.0A Pending CN111259928A (zh) 2020-01-08 2020-01-08 一种基于机器学习的零部件快速自动化码垛堆叠方法

Country Status (1)

Country Link
CN (1) CN111259928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111891758A (zh) * 2020-08-04 2020-11-06 广东工业大学 一种欠完备信息的在线货物码垛方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111891758A (zh) * 2020-08-04 2020-11-06 广东工业大学 一种欠完备信息的在线货物码垛方法
CN111891758B (zh) * 2020-08-04 2021-01-05 广东工业大学 一种欠完备信息的在线货物码垛方法

Similar Documents

Publication Publication Date Title
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
JP5558585B2 (ja) ワーク取り出し装置
WO2023035832A1 (zh) 一种基于视觉识别的机器人分拣方法及存储介质
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN114758236B (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN113610921A (zh) 混合工件抓取方法、设备及计算机可读存储介质
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
US11813754B2 (en) Grabbing method and device for industrial robot, computer storage medium, and industrial robot
CN113877836B (zh) 一种基于视觉检测系统的智能识别分拣系统
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN112150439B (zh) 注塑件的自动分拣设备及分拣方法
CN106269548A (zh) 一种物体自动分拣方法及其装置
CN114751153B (zh) 一种全角度的多模板码垛系统
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN111259928A (zh) 一种基于机器学习的零部件快速自动化码垛堆叠方法
CN114055501A (zh) 一种机器人抓取系统及其控制方法
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
CN114800533B (zh) 一种用于工业机器人的分拣控制方法及系统
JP6041710B2 (ja) 画像認識方法
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN115082795A (zh) 虚拟图像的生成方法、装置、设备、介质及产品
CN111331599A (zh) 一种基于机械臂的物品自动定向抓取方法及系统
CN116079712B (zh) 一种机械臂的三维空间夹取高度控制方法
US12131496B2 (en) Method and system for object identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609

RJ01 Rejection of invention patent application after publication