CN111127638B - 利用三维模板库实现工件突出标志位定位抓取点方法 - Google Patents

利用三维模板库实现工件突出标志位定位抓取点方法 Download PDF

Info

Publication number
CN111127638B
CN111127638B CN201911391965.7A CN201911391965A CN111127638B CN 111127638 B CN111127638 B CN 111127638B CN 201911391965 A CN201911391965 A CN 201911391965A CN 111127638 B CN111127638 B CN 111127638B
Authority
CN
China
Prior art keywords
point cloud
workpiece
template library
matching
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911391965.7A
Other languages
English (en)
Other versions
CN111127638A (zh
Inventor
王磊
樊璇
陈健
曹雏清
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911391965.7A priority Critical patent/CN111127638B/zh
Publication of CN111127638A publication Critical patent/CN111127638A/zh
Application granted granted Critical
Publication of CN111127638B publication Critical patent/CN111127638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本发明公开了一种利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。

Description

利用三维模板库实现工件突出标志位定位抓取点方法
技术领域
本发明涉及视觉定位技术领域，尤其是涉及一种利用三维模板库实现工件突出标志位定位抓取点方法。
背景技术
工业现场在一些高噪声且存在一定灰尘的车间中，常常需要搬运货物，此时机器人时常被应用其间，但为完成工作需要外界辅助机器人进行定位，二维视觉常常因为场景的限制造成其存在一定识别问题，而三维虽能实现完全识别但是其对工件的定位存在较大的误差。
发明内容
针对现有技术不足，本发明所要解决的技术问题是提供一种利用三维模板库实现工件突出标志位定位抓取点方法，其能够实现对象精确定位。
为了解决上述技术问题，本发明所采用的技术方案为：
该利用三维模板库实现工件突出标志位定位抓取点方法，包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
其中，
所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
本发明与现有技术相比，具有以下优点：
该利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，通过设置模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
附图说明
下面对本说明书各幅附图所表达的内容及图中的标记作简要说明：
图1为本发明数学模型示意图。
图2为本发明现场实物对象示意图。
图3为本发明较小噪声匹配定位效果示意图。
图4为本发明较大噪声匹配定位效果示意图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明。
该利用三维模板库实现工件突出标志位定位抓取点方法，建立数学模型实现差距放大化，放大较小的差距，实现目标对象从原始数据中脱离，通过设置A、B、C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
该利用三维模板库实现工件突出标志位定位抓取点方法具体包括如下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化。
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵。
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；其寻找最小轴向宽度为对象体的宽度。
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；其大致模型图如1所示，图1中横坐标表示分割的段号，纵坐标表示当前端的密度。
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库。
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中。
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
如图2至4所示，较小噪声和较大噪声的环境中对现场实物对象均具有较好的匹配定位效果。其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
上述仅为对本发明较佳的实施例说明，上述技术特征可以任意组合形成多个本发明的实施例方案。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
2.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
3.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
4.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
CN201911391965.7A 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法 Active CN111127638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391965.7A CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391965.7A CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Publications (2)

Publication Number Publication Date
CN111127638A CN111127638A (zh) 2020-05-08
CN111127638B true CN111127638B (zh) 2023-04-07

Family

ID=70504778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391965.7A Active CN111127638B (zh) 2019-12-30 2019-12-30 利用三维模板库实现工件突出标志位定位抓取点方法

Country Status (1)

Country Link
CN (1) CN111127638B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482195B (zh) * 2022-08-03 2023-06-20 西南交通大学 一种基于三维点云的列车部件变形检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068825B2 (en) * 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Also Published As

Publication number Publication date
CN111127638A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
Bdiwi et al. Autonomous disassembly of electric vehicle motors based on robot cognition
CN106651894B (zh) 基于点云和图像匹配的自动化喷涂系统坐标变换方法
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN113538486A (zh) 一种提高汽车钣金工件的识别与定位精度的方法
CN111127638B (zh) 利用三维模板库实现工件突出标志位定位抓取点方法
CN111340834B (zh) 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN107895166B (zh) 基于特征描述子的几何哈希法实现目标鲁棒识别的方法
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN112986982B (zh) 环境地图参照定位方法、装置和移动机器人
CN107423770B (zh) 一种面向高速生产线的机器人视觉定位方法
CN116740060A (zh) 基于点云几何特征提取的装配式预制构件尺寸检测方法
CN112109374A (zh) 一种基于计算机视觉系统定位及控制折弯模具装卸的方法
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
Lee et al. 3D Pose Estimation of Bin Picking Object using Deep Learning and 3D Matching.
CN109902694B (zh) 一种方孔特征的提取方法
CN108168459A (zh) 一种汽车轮毂识别匹配方法
CN115116026A (zh) 一种物流搬运机器人自动循迹方法及系统
Astafiev et al. The localization algorithm of symbolic and bar-code labels on industrial products for the control of product movements
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
Takubo et al. Welding Line Detection Using Point Clouds from Optimal Shooting Position
CN111951303A (zh) 一种机器人运动姿态视觉估计方法
CN107516313B (zh) 基于集成学习与密度聚类的锻件表面缺陷在位检测方法
CN116912312B (zh) 一种面向复杂曲面构件的三维孔类定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant