CN111127638A - 利用三维模板库实现工件突出标志位定位抓取点方法 - Google Patents

利用三维模板库实现工件突出标志位定位抓取点方法 Download PDF

Info

Publication number
CN111127638A
CN111127638A CN201911391965.7A CN201911391965A CN111127638A CN 111127638 A CN111127638 A CN 111127638A CN 201911391965 A CN201911391965 A CN 201911391965A CN 111127638 A CN111127638 A CN 111127638A
Authority
CN
China
Prior art keywords
point cloud
template library
workpiece
matching
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391965.7A
Other languages
English (en)
Other versions
CN111127638B (zh
Inventor
王磊
樊璇
陈健
曹雏清
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911391965.7A priority Critical patent/CN111127638B/zh
Publication of CN111127638A publication Critical patent/CN111127638A/zh
Application granted granted Critical
Publication of CN111127638B publication Critical patent/CN111127638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。

Description

利用三维模板库实现工件突出标志位定位抓取点方法
技术领域
本发明涉及视觉定位技术领域，尤其是涉及一种利用三维模板库实现工件突出标志位定位抓取点方法。
背景技术
工业现场在一些高噪声且存在一定灰尘的车间中，常常需要搬运货物，此时机器人时常被应用其间，但为完成工作需要外界辅助机器人进行定位，二维视觉常常因为场景的限制造成其存在一定识别问题，而三维虽能实现完全识别但是其对工件的定位存在较大的误差。
发明内容
针对现有技术不足，本发明所要解决的技术问题是提供一种利用三维模板库实现工件突出标志位定位抓取点方法，其能够实现对象精确定位。
为了解决上述技术问题，本发明所采用的技术方案为：
该利用三维模板库实现工件突出标志位定位抓取点方法，包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
其中，
所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
本发明与现有技术相比，具有以下优点：
该利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，通过设置模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
附图说明
下面对本说明书各幅附图所表达的内容及图中的标记作简要说明：
图1为本发明数学模型示意图。
图2为本发明现场实物对象示意图。
图3为本发明较小噪声匹配定位效果示意图。
图4为本发明较大噪声匹配定位效果示意图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明。
该利用三维模板库实现工件突出标志位定位抓取点方法，建立数学模型实现差距放大化，放大较小的差距，实现目标对象从原始数据中脱离，通过设置A、B、C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
该利用三维模板库实现工件突出标志位定位抓取点方法具体包括如下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化。
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵。
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；其寻找最小轴向宽度为对象体的宽度。
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；其大致模型图如1所示，图1中横坐标表示分割的段号，纵坐标表示当前端的密度。
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库。
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中。
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
如图2至4所示，较小噪声和较大噪声的环境中对现场实物对象均具有较好的匹配定位效果。其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
上述仅为对本发明较佳的实施例说明，上述技术特征可以任意组合形成多个本发明的实施例方案。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
2.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
3.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
4.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
CN201911391965.7A 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法 Active CN111127638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391965.7A CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391965.7A CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Publications (2)

Publication Number Publication Date
CN111127638A true CN111127638A (zh) 2020-05-08
CN111127638B CN111127638B (zh) 2023-04-07

Family

ID=70504778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391965.7A Active CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Country Status (1)

Country Link
CN (1) CN111127638B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482195A (zh) * 2022-08-03 2022-12-16 西南交通大学 一种基于三维点云的列车部件变形检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038705A1 (en) * 1999-03-08 2001-11-08 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038705A1 (en) * 1999-03-08 2001-11-08 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵刚等: "随机工件的点云场景CAD模型的快速识别与定位", 《激光与红外》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482195A (zh) * 2022-08-03 2022-12-16 西南交通大学 一种基于三维点云的列车部件变形检测方法

Also Published As

Publication number Publication date
CN111127638B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN107516098B (zh) 一种基于边缘曲率角的目标轮廓三维信息提取方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN111775152A (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN106778790B (zh) 一种基于三维点云的目标识别与定位方法及系统
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN110458174B (zh) 一种无序点云关键特征点精确提取方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN112801977B (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
CN110992427B (zh) 一种形变物体的三维位姿估计方法及定位抓取系统
CN114474056B (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN111476841A (zh) 一种基于点云和图像的识别定位方法及系统
CN110553600A (zh) 一种用于工件检测的结构光传感器仿真激光线的生成方法
CN111311618A (zh) 一种基于高精度几何基元提取的圆弧工件匹配与定位方法
Dharmara et al. Robotic assembly of threaded fasteners in a non-structured environment
CN114742883A (zh) 一种基于平面类工件定位算法的自动化装配方法及系统
CN109855566B (zh) 一种槽孔特征的提取方法
CN111127638A (zh) 利用三维模板库实现工件突出标志位定位抓取点方法
Somani et al. Object detection using boundary representations of primitive shapes
CN104657985B (zh) 基于深度图像遮挡信息的静态视觉目标遮挡规避方法
JP2011017611A (ja) ３次元曲面認識方法及びマニピュレーションシステム
US20170322537A1 (en) Processing Apparatus with Vision-Based Measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant