CN110363127A - 机器人对工件关键点识别与定位的方法 - Google Patents
机器人对工件关键点识别与定位的方法 Download PDFInfo
- Publication number
- CN110363127A CN110363127A CN201910599887.3A CN201910599887A CN110363127A CN 110363127 A CN110363127 A CN 110363127A CN 201910599887 A CN201910599887 A CN 201910599887A CN 110363127 A CN110363127 A CN 110363127A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- key point
- image
- point
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013519 translation Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005755 formation reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
提供一种机器人对工件关键点识别与定位的方法，本发明建立了工件实物图到机器人作业点直接的映射关系，通过拍照的方式确定施工的关键点位，通过深度卷积神经网络进行训练得到关键点识别模型，能够在工件位置发生缩放、平移、旋转、微小形变扭曲时，仍然能够准确定位工件上关键点即示教点，使工件关键点位的识别不受工件摆放位置、旋转角度、微小形变的影响，关键点识别的误差较小，制作成本低廉。
Description
技术领域
本发明属于零件数字化加工技术领域，具体涉及一种机器人对工件关键点识别与定位的方法。
背景技术
近年来，随着工业生产自动化的发展以及人力成本的上升，机器人技术在生产领域得到了广泛的应用。然而，现有的机器人生产需要操作人员在生产前进行示教编程，在之后的生产过程中，每次工件摆放的位置、方向均需要与示教编程时一致或相差在精度范围内。这些要求使得机器人无法推广到批次小、灵活性高的行业。现有的机器人对工件关键点进行寻位的算法主要有脚点识别、触碰寻位、激光跟踪等方法，其中，脚点识别只能识别工件的脚点并且进行定位，但是各个脚点间没有联系，无法形成有效的输出；触碰寻位以及激光跟踪的方法，只能在机器人到达指定位置后才能确定关键点位置，并且激光跟踪的成本较高。机器人在利用上述几种现有寻位算法对工件关键点进行识别与定位时，在工件位置发生平移、旋转、微小形变时，不能准确定位关键点(示教点)，使示教编程预设点与工件实际点有偏差，关键点识别定位精度低。因此有必要提出改进。
发明内容
本发明解决的技术问题：提供一种机器人对工件关键点识别与定位的方法，本发明建立了工件实物图到机器人作业点直接的映射关系，通过拍照的方式确定施工的关键点位，通过深度卷积神经网络进行训练得到关键点识别模型，能够在工件位置发生缩放、平移、旋转、微小形变扭曲时，仍然能够准确定位关键点即示教点，使关键点位不受工件摆放位置、旋转角度、微小形变的影响，关键点识别误差小，制作成本低廉。
本发明采用的技术方案：机器人对工件关键点识别与定位的方法，建立了工件实物图到机器人作业点直接的映射关系，通过拍摄的方式确定工件施工的关键点位，具体包括以下步骤；
1)在工位上架设相机，将相机安装在工位上方；
2)建立工位正交坐标系，以工位上的一点为原点，计算相机坐标；
3)收集工件的图像，以实际识别任务为场景拍摄；
4)采用计算机系统打开步骤3)中收集的工件图像，在图像上标注需要识别的关键点位或机器人示教关键点位，将标注位置与图像分别保存在计算机系统中；
5)对工件图像进行随机缩放、随机平移、随机旋转和扭曲，同时对发生位置改变的图像上的关键点进行相应的变化处理，得到扭曲后工件图像上的关键点；
6)使用深度卷积神经网络对工件图像与标注位置进行端到端的训练，其中输入为步骤5)中处理的工件图像，训练目标为步骤5)得到的关键点，最终得到关键点识别模型；并将训练好的关键点识别模型输入机器人系统；
7)将待加工工件放置在工位上，通过相机拍摄待加工工件图像，机器人使用训练好的关键点识别模型对待加工工件图像进行预测，得到待加工工件上的关键点位置；
8)结合工位上相机与待加工工件的相对位置，计算待加工工件上关键点位置在步骤2)的工位坐标系中的坐标，该坐标为工序中需要定位的关键点，然后使机器人在关键点上进行相应操作。
上述步骤3)中，所述收集的工件图像，一张就能满足要求，但是图片越多效果越好；当拍摄工件目标在普通场景时，采用普通相机拍摄普通的2D图像，当所述拍摄工件目标为工业点云时，则需要激光扫描设备拍摄工业点云图像。
上述步骤4)中，所述工件图像为2D图像时，则图像采用RGB图像矩阵存储，标注位置使用二维点坐标保存；当工件图像为工业点云图像时，则图像采用三维坐标点保存为数据矩阵，标注位置使用三维点坐标保存。
上述步骤5)中，对工件图像进行0.3-3倍不等的随机缩放、正负30％的随机平移、-60°到60°的随机旋转、通过三角变换与插值对图像进行扭曲，同时对工件图像上的关键点进行对应处理，得到扭曲后工件图像上的关键点。
本发明与现有技术相比的优点：
本方案中建立了工件实物图到机器人作业点直接的映射关系，通过拍照的方式确定施工的关键点位，通过深度卷积神经网络进行训练得到关键点识别模型，能够在工件位置发生缩放、平移、旋转、微小形变扭曲时，仍然能够准确定位关键点即示教点，使关键点位不受工件摆放的位置、旋转角度、微小形变的影响，关键点识别的误差较小，精度在7个像素点左右，解决现有机器人技术中示教编程预设点与工件实际点偏差大的问题，并且，本方案制作成本低廉，为市场上主流焊缝跟踪的五分之一。
附图说明
图1为本发明中深度卷积神经网络结构示意图；
图2为本发明工件图像标记一实施例示意图；
图3为本发明图2所示实施例中工件关键点位置效果示意图。
具体实施方式
下面结合附图1-3描述本发明的较佳实施例，以详细说明本发明的技术方案，但并不因此将本发明限制在所述的实施例范围之中。
机器人对工件关键点识别与定位的方法，建立了工件实物图到机器人作业点直接的映射关系，通过拍摄的方式确定工件施工的关键点位，具体包括以下步骤；
1)在工位上架设相机，将相机安装在工位上方；
2)建立工位正交坐标系，以工位上的一点为原点，计算相机坐标；
3)收集工件的图像，其中工件的图像可以是样例工件照片、工件制图或者工件工业点云阵图，以实际识别任务为场景拍摄。所述收集的工件图像，一张就能满足要求，但是图片越多效果越好；当拍摄工件目标在普通场景时，采用普通相机拍摄普通的2D图像，当所述拍摄工件目标为工业点云时，则需要激光扫描设备拍摄工业点云图像；
4)采用计算机系统打开步骤3)中收集的工件图像，对工件图像的打开，计算机上安装的画图软件都可以，目的是实现工件图像标记保存。在工件图像上标注需要识别的关键点位或机器人示教关键点位，如图2所示，将标注位置与工件图像分别保存在计算机系统中；其中，当所述工件图像为2D图像时，则图像采用RGB图像矩阵存储，标注位置使用二维点坐标保存；当工件图像为工业点云图像时，则图像采用三维坐标点保存为数据矩阵，标注位置使用三维点坐标保存；
5)对工件图像进行随机缩放、随机平移、随机旋转和扭曲，同时对发生改变的工件图像上的关键点进行相应的变化处理，得到扭曲后图像的关键点；优选的，一般可以对工件图像进行0.3-3倍不等的随机缩放、正负30％的随机平移、-60°到60°的随机旋转、通过三角变换与插值对图像进行扭曲，同时对工件图像上的关键点进行对应处理，得到扭曲后图像的关键点；
6)使用深度卷积神经网络对图像与标注位置进行端到端的训练，其中输入为步骤5)中处理的图像，训练目标为步骤5)得到的关键点，深度卷积神经网络结构如图1所示，最终得到关键点识别模型；并将训练好的关键点识别模型输入机器人系统；
7)将待加工工件放置在工位上，通过相机拍摄待加工工件图像，机器人使用训练好的关键点识别模型对待加工工件图像进行预测，得到待加工工件上的关键点位置，关键点位置效果如图3所示。
其中，当工件图像为样例工件照片时，在样例工件照片中进行标注关键点位，在实际工件上则通过相机图像识别关键点位；当工件图像为工件制图时，在工件制图中标注关键点位，在实际工件上则通过相机图像识别关键点位；当工件图像为工件工业点云阵图，在工件工业点云阵图中标注关键点位，在实际工件上则通过激光点云阵图识别关键点位。
8)结合工位上相机与待加工工件的相对位置，计算待加工工件上关键点位置在步骤2)的工位坐标系中的坐标，该坐标为工序中需要定位的关键点，然后使机器人在关键点上进行相应操作。
本发明中建立了工件实物图到机器人作业点直接的映射关系，通过拍照的方式确定施工的关键点位，通过深度卷积神经网络进行训练得到关键点识别模型，能够在工件位置发生缩放、平移、旋转、微小形变扭曲时，仍然能够准确定位关键点即示教点，使关键点位不受工件摆放位置、旋转角度、微小形变的影响，关键点识别误差较小，精度在7个像素点左右，解决现有机器人技术中示教编程预设点与工件实际点偏差大的问题，并且本发明制作成本低廉，为市场上主流焊缝跟踪的五分之一。
上述实施例，只是本发明的较佳实施例，并非用来限制本发明实施范围，故凡以本发明权利要求所述内容所做的等效变化，均应包括在本发明权利要求范围之内。
Claims (4)
1.机器人对工件关键点识别与定位的方法，其特征在于：建立了工件实物图到机器人作业点直接的映射关系，通过拍摄的方式确定工件施工的关键点位，具体包括以下步骤；
1)在工位上架设相机，将相机安装在工位上方；
2)建立工位正交坐标系，以工位上的一点为原点，计算相机坐标；
3)收集工件的图像，以实际识别任务为场景拍摄；
4)采用计算机系统打开步骤3)中收集的工件图像，在图像上标注需要识别的关键点位或机器人示教关键点位，将标注位置与图像分别保存在计算机系统中；
5)对工件图像进行随机缩放、随机平移、随机旋转和扭曲，同时对发生位置改变的图像上的关键点进行相应的变化处理，得到扭曲后工件图像上的关键点；
6)使用深度卷积神经网络对工件图像与标注位置进行端到端的训练，其中输入为步骤5)中处理的工件图像，训练目标为步骤5)得到的关键点，最终得到关键点识别模型；并将训练好的关键点识别模型输入机器人系统；
7)将待加工工件放置在工位上，通过相机拍摄待加工工件图像，机器人使用训练好的关键点识别模型对待加工工件图像进行预测，得到待加工工件上的关键点位置；
8)结合工位上相机与待加工工件的相对位置，计算待加工工件上关键点位置在步骤2)的工位坐标系中的坐标，该坐标为工序中需要定位的关键点，然后使机器人在关键点上进行相应操作。
2.根据权利要求1所述的机器人对工件关键点识别与定位的方法，其特征在于：上述步骤3)中，所述收集的工件图像，一张就能满足要求，但是图片越多效果越好；当拍摄工件目标在普通场景时，采用普通相机拍摄普通的2D图像，当所述拍摄工件目标为工业点云时，则需要激光扫描设备拍摄工业点云图像。
3.根据权利要求1所述的机器人对工件关键点识别与定位的方法，其特征在于：上述步骤4)中，所述工件图像为2D图像时，则图像采用RGB图像矩阵存储，标注位置使用二维点坐标保存；当工件图像为工业点云图像时，则图像采用三维坐标点保存为数据矩阵，标注位置使用三维点坐标保存。
4.根据权利要求1所述的机器人对工件关键点识别与定位的方法，其特征在于：上述步骤5)中，对工件图像进行0.3-3倍不等的随机缩放、正负30％的随机平移、-60°到60°的随机旋转、通过三角变换与插值对图像进行扭曲，同时对工件图像上的关键点进行对应处理，得到扭曲后工件图像上的关键点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599887.3A CN110363127A (zh) | 2019-07-04 | 2019-07-04 | 机器人对工件关键点识别与定位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599887.3A CN110363127A (zh) | 2019-07-04 | 2019-07-04 | 机器人对工件关键点识别与定位的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110363127A true CN110363127A (zh) | 2019-10-22 |
Family
ID=68217931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910599887.3A Pending CN110363127A (zh) | 2019-07-04 | 2019-07-04 | 机器人对工件关键点识别与定位的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363127A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033297A (zh) * | 2021-02-08 | 2021-06-25 | 深圳市优必选科技股份有限公司 | 实物编程方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN108133220A (zh) * | 2016-11-30 | 2018-06-08 | 北京市商汤科技开发有限公司 | 模型训练、关键点定位及图像处理方法、系统及电子设备 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108694716A (zh) * | 2018-05-15 | 2018-10-23 | 苏州大学 | 一种工件检测方法、模型训练方法及设备 |
| CN109086798A (zh) * | 2018-07-03 | 2018-12-25 | 迈吉客科技（北京）有限公司 | 一种数据标注方法和标注装置 |
-
2019
- 2019-07-04 CN CN201910599887.3A patent/CN110363127A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133220A (zh) * | 2016-11-30 | 2018-06-08 | 北京市商汤科技开发有限公司 | 模型训练、关键点定位及图像处理方法、系统及电子设备 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108694716A (zh) * | 2018-05-15 | 2018-10-23 | 苏州大学 | 一种工件检测方法、模型训练方法及设备 |
| CN109086798A (zh) * | 2018-07-03 | 2018-12-25 | 迈吉客科技（北京）有限公司 | 一种数据标注方法和标注装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033297A (zh) * | 2021-02-08 | 2021-06-25 | 深圳市优必选科技股份有限公司 | 实物编程方法、装置、设备及存储介质 |
| CN113033297B (zh) * | 2021-02-08 | 2023-11-21 | 深圳市优必选科技股份有限公司 | 实物编程方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN107256567B (zh) | 一种用于工业机器人手眼相机的自动标定装置及标定方法 | |
| CN108766894A (zh) | 一种机器人视觉引导的芯片贴装方法及系统 | |
| WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
| CN109671122A (zh) | 手眼相机标定方法及装置 | |
| CN109291048B (zh) | 一种磨抛工业机器人实时在线编程系统及方法 | |
| CN112598729B (zh) | 融合激光与相机的目标物体识别与定位方法 | |
| CN110238820A (zh) | 基于特征点的手眼标定方法 | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN115213896A (zh) | 基于机械臂的物体抓取方法、系统、设备及存储介质 | |
| CN111438688A (zh) | 机器人校正方法、装置、计算机设备及存储介质 | |
| CN115752295A (zh) | 一种线激光轮廓仪自动手眼标定方法 | |
| CN110363127A (zh) | 机器人对工件关键点识别与定位的方法 | |
| CN117340879A (zh) | 一种基于图优化模型的工业机器人参数辨识方法和系统 | |
| CN110533727B (zh) | 一种基于单个工业相机的机器人自定位方法 | |
| CN109318235B (zh) | 一种机器人视觉伺服系统的快速聚焦方法 | |
| CN115770988A (zh) | 一种基于点云环境理解的焊接机器人智能示教方法 | |
| CN115631401A (zh) | 一种视觉感知的机器人自主抓取技能学习系统及方法 | |
| CN114266822A (zh) | 基于双目机器人的工件质检方法、装置、机器人及介质 | |
| Gu et al. | Monocular visual object-localization using natural corners for assembly tasks | |
| CN215701709U (zh) | 一种可配置的手眼标定装置 | |
| CN115205356B (zh) | 一种基于双目立体视觉的实训平台快速调试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |
|
| RJ01 | Rejection of invention patent application after publication |