CN111127638A - 利用三维模板库实现工件突出标志位定位抓取点方法 - Google Patents
利用三维模板库实现工件突出标志位定位抓取点方法 Download PDFInfo
- Publication number
- CN111127638A CN111127638A CN201911391965.7A CN201911391965A CN111127638A CN 111127638 A CN111127638 A CN 111127638A CN 201911391965 A CN201911391965 A CN 201911391965A CN 111127638 A CN111127638 A CN 111127638A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- workpiece
- template library
- matching
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013178 mathematical model Methods 0.000 claims abstract description 10
- 230000036544 posture Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 229920000642 polymer Polymers 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
Description
技术领域
本发明涉及视觉定位技术领域，尤其是涉及一种利用三维模板库实现工件突出标志位定位抓取点方法。
背景技术
工业现场在一些高噪声且存在一定灰尘的车间中，常常需要搬运货物，此时机器人时常被应用其间，但为完成工作需要外界辅助机器人进行定位，二维视觉常常因为场景的限制造成其存在一定识别问题，而三维虽能实现完全识别但是其对工件的定位存在较大的误差。
发明内容
针对现有技术不足，本发明所要解决的技术问题是提供一种利用三维模板库实现工件突出标志位定位抓取点方法，其能够实现对象精确定位。
为了解决上述技术问题，本发明所采用的技术方案为：
该利用三维模板库实现工件突出标志位定位抓取点方法，包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
其中，
所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
本发明与现有技术相比，具有以下优点：
该利用三维模板库实现工件突出标志位定位抓取点方法设计合理，建立数学模型实现差距放大化，放大较小的差距，实现感兴趣目标对象从原始数据中脱离，通过设置模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
附图说明
下面对本说明书各幅附图所表达的内容及图中的标记作简要说明：
图1为本发明数学模型示意图。
图2为本发明现场实物对象示意图。
图3为本发明较小噪声匹配定位效果示意图。
图4为本发明较大噪声匹配定位效果示意图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明。
该利用三维模板库实现工件突出标志位定位抓取点方法，建立数学模型实现差距放大化，放大较小的差距，实现目标对象从原始数据中脱离，通过设置A、B、C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
该利用三维模板库实现工件突出标志位定位抓取点方法具体包括如下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化。
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵。
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；其寻找最小轴向宽度为对象体的宽度。
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；其大致模型图如1所示，图1中横坐标表示分割的段号，纵坐标表示当前端的密度。
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库。
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中。
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
如图2至4所示，较小噪声和较大噪声的环境中对现场实物对象均具有较好的匹配定位效果。其能准确提取已有信息中存在的对象，对已提取的工件对象精确的给出其定位中心；通过设置人工A、算法B和变形C模板库，有效的进行模板匹配实现对象确定，能够实现对象精确定位，同时实现变形对象的报警预测。
上述仅为对本发明较佳的实施例说明，上述技术特征可以任意组合形成多个本发明的实施例方案。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (4)
1.一种利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：包括以下步骤：
S1、激光传感器建立工件的空间点云信息，同时对工件点云进行差补计算，实现空间点云均匀化；
S2、利用主成分分析法计算对象点云，获取点云对象的主成分方向的转化矩阵；
S3、利用转化矩阵转化点云，同时计算点云对象体X、Y和Z轴向的间距宽度，找寻最小宽度的轴向；
S4、对最小的宽度轴向进行N段分割，同时将点云散落期间，建立数学模型：D＝F[n]；
S5、通过对数学模型的求解找寻到当前的密度最大的N个顶点，在每个顶点的周边自适应设置阈值；
S6、设置A、B和C模板库：利用传感器采集多个工件体对象，人工手动处理获取需要的模板，在采集模板时对每个工件对象采取不同的姿态和位置进行采集，最终采集的模板库称为人工A模板库；
S7、利用A模板库对处理的实际对象体进行匹配，若匹配相似度达到90％，将匹配得到的对象点云称为目标对象，同时将匹配的点云对象加入算法B模板库中；
S8、当对象点云在A库中匹配准确度无法达到所需要求时，转而将对象点云在B模板库中进行匹配，匹配的准确度设置为75-85％，若在B库中可实现匹配，将点云对象定义为模糊目标对象，计算该对象点云的大致中心位置和姿态，将传感器移至该位置变动相同姿态从新采集数据，将采集获取的新数据在A模板库中进行匹配；若在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形；
S9、在报警工件对象变形后，等待人为确认，当人为确认变形将该工件对象加入到变形C模板库中；当在A、B模板库均无法匹配成功，在C模板库中进行匹配，准确度设置为93-96％，若无法匹配成功则定义点云对象中没有感兴趣的目标对象。
2.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S3步骤中，寻找最小轴向宽度为对象体的宽度。
3.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S5步骤中：
1)实现靠近顶点处的点缩小其与顶点间的差距，远离顶点处的点增大其间的差距；
2)计算处理过的点云对象在最小间距轴向的平均间隔；
3)利用平均间隔实现对处理过的点云对象聚类；
4)依据实际情况设置相关限制手段仅留一组聚体对象；
5)根据该聚体对象中的点云编号获取原始点云中的相同编号的点云对象。
4.如权利要求1所述利用三维模板库实现工件突出标志位定位抓取点方法，其特征在于：所述S9步骤中，若重复4-6次在A模板库中均无法匹配成功但在B模板库中均可实现匹配则报警通知该工件对象发生了变形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911391965.7A CN111127638B (zh) | 2019-12-30 | 2019-12-30 | 利用三维模板库实现工件突出标志位定位抓取点方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911391965.7A CN111127638B (zh) | 2019-12-30 | 2019-12-30 | 利用三维模板库实现工件突出标志位定位抓取点方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127638A true CN111127638A (zh) | 2020-05-08 |
| CN111127638B CN111127638B (zh) | 2023-04-07 |
Family
ID=70504778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911391965.7A Active CN111127638B (zh) | 2019-12-30 | 2019-12-30 | 利用三维模板库实现工件突出标志位定位抓取点方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127638B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482195A (zh) * | 2022-08-03 | 2022-12-16 | 西南交通大学 | 一种基于三维点云的列车部件变形检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010038705A1 (en) * | 1999-03-08 | 2001-11-08 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
| CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
| CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
-
2019
- 2019-12-30 CN CN201911391965.7A patent/CN111127638B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010038705A1 (en) * | 1999-03-08 | 2001-11-08 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
| CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
| CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵刚等: "随机工件的点云场景CAD模型的快速识别与定位", 《激光与红外》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482195A (zh) * | 2022-08-03 | 2022-12-16 | 西南交通大学 | 一种基于三维点云的列车部件变形检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127638B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109801337B (zh) | 一种基于实例分割网络和迭代优化的6d位姿估计方法 | |
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| Bdiwi et al. | Autonomous disassembly of electric vehicle motors based on robot cognition | |
| CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
| CN107610176A (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
| CN106651894B (zh) | 基于点云和图像匹配的自动化喷涂系统坐标变换方法 | |
| CN112561886A (zh) | 一种基于机器视觉的工件自动分拣方法及系统 | |
| Dharmara et al. | Robotic assembly of threaded fasteners in a non-structured environment | |
| Sansoni et al. | Optoranger: A 3D pattern matching method for bin picking applications | |
| CN111127638B (zh) | 利用三维模板库实现工件突出标志位定位抓取点方法 | |
| CN116604212A (zh) | 一种基于面阵结构光的机器人焊缝识别方法和系统 | |
| CN115284279A (zh) | 一种基于混叠工件的机械臂抓取方法、装置及可读介质 | |
| CN116912312B (zh) | 一种面向复杂曲面构件的三维孔类定位方法 | |
| CN113822946A (zh) | 一种基于计算机视觉的机械臂抓取方法 | |
| Kim et al. | Structured light camera base 3D visual perception and tracking application system with robot grasping task | |
| Lee et al. | 3D Pose Estimation of Bin Picking Object using Deep Learning and 3D Matching. | |
| Li et al. | Pose estimation of metal workpieces based on RPM-Net for robot grasping from point cloud | |
| JPS6344103A (ja) | 位置姿勢認識装置 | |
| Qian et al. | The autonomous detection of sheet metal parts using imageprocessing | |
| Takubo et al. | Welding line detection using point clouds from optimal shooting position | |
| Astafiev et al. | The localization algorithm of symbolic and bar-code labels on industrial products for the control of product movements | |
| CN109902694B (zh) | 一种方孔特征的提取方法 | |
| Kim et al. | Irregular depth tiles: Automatically generated data used for network-based robotic grasping in 2D dense clutter | |
| Lee et al. | A CAD-Free Random Bin Picking System for Fast Changeover on Multiple Objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |