CN111145182B - 一种视觉定位三维点云分割方法 - Google Patents

一种视觉定位三维点云分割方法 Download PDF

Info

Publication number
CN111145182B
CN111145182B CN201911392464.0A CN201911392464A CN111145182B CN 111145182 B CN111145182 B CN 111145182B CN 201911392464 A CN201911392464 A CN 201911392464A CN 111145182 B CN111145182 B CN 111145182B
Authority
CN
China
Prior art keywords
point cloud
points
dimensional
point
workpieces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911392464.0A
Other languages
English (en)
Other versions
CN111145182A (zh
Inventor
王磊
樊璇
陈健
高云峰
曹雏清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911392464.0A priority Critical patent/CN111145182B/zh
Publication of CN111145182A publication Critical patent/CN111145182A/zh
Application granted granted Critical
Publication of CN111145182B publication Critical patent/CN111145182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种视觉定位三维点云分割方法，机器人携带三维激光传感器获取工件的三维点云信息，利用点云的周边密度实现了工件中心间的数学关系，成功推出工件间的分割方式，成功实现两个圆或类圆状物体间的分割，其可提高对相连圆形或类圆形工件识别定位准确度。解决获取三维点云信息后，利用传统方式圆形或椭圆性检测无法实现对象的完全识别‑识别率低问题以及定位误差大的问题。

Description

一种视觉定位三维点云分割方法
技术领域
本发明涉及视觉定位技术领域，尤其是涉及一种针对相连圆形或类圆形工件的三维点云分割方法。
背景技术
目前工厂中利用机器人装卸圆形料筒或类圆形料筒时，需要得到外界设备提供准确的定位，二维机器视觉虽能在一定前提下提供料筒的准确定位，但工业现场中因光线和粉尘等诸多因素的影响，造成其定位十分受限，固三维机器视觉被应用于此；但激光雷达传感器获取三维点云信息后，利用传统方式(圆形或椭圆性检测)无法实现对象的完全识别-识别率低问题，定位准确度低。
如中国专利201910376334.1公开的一种箱体类点云分割方法与装置，该方法包括以下步骤：1)通过立体相机采集箱体的点云数据；2)对立体相机采集的点云数据进行滤波，下采样处理；3)计算点云的法向；4)对点云进行条件欧几里德分割；5)根据步骤4)的判断结果，将点云分割为各个箱体的朝向预定义方向的表面。该专利方案致力于分割于箱体类对象，不能适用圆形桶或类圆形桶类对象的分割。
发明内容
针对现有技术不足，本发明所要解决的技术问题是提供一种视觉定位三维点云分割方法，其可提高对相连圆形或类圆形工件识别定位准确度。
为了解决上述技术问题，本发明所采用的技术方案为：
该视觉定位三维点云分割方法，包括以下步骤：
S1:机器人携带三维激光传感器获取工件的三维点云信息；
S2:对点云进行前处理工作，同时移除点云的z轴向距离；
S3:利用二维图像腐蚀将其应用于三维点云处理，获取当前点云对象中工件数目及每个工件的位置坐标；
S4:相连工件将其中心位置连接，所有的工件形成一个工件中心网；
S5:相连的两个中心的连线进行均分，形成N个点，将两中心点和N个分割点放置原始点云中，求解这N+2个点每点的平均密度；
S6:将这N+2个点以及各自的密度大小规划在一个直角坐标系中，采取三次样条曲线的方式拟合出一条曲线，找到这N+2个点中密度最小的点的位置，计算该点处的斜率；
S7:获取到密度最小点的斜率角度θ，将θ+900定义为点云对象中相连中心点间分割点的斜率直线；利用每对中心点间的分割直线将点云进行分割，获取一个个聚体点云；
S8:对每个聚体点云对象通过其边界点拟合空间圆，找寻中心位置点。
其中，
所述步骤S2中：利用PCL点云库实现点云的前处理工作。
所述步骤S2中：移除点云的z轴向距离其统一设置为0。
所述利用PCL点云库实现点云的滤波、采样以及平滑处理工作。
本发明与现有技术相比，具有以下优点：
该视觉定位三维点云分割方法设计合理，利用点云的周边密度实现了工件中心间的数学关系，成功推出工件间的分割方式，成功实现两个圆或类圆状物体间的分割，其可提高对相连圆形或类圆形工件识别定位准确度。
附图说明
下面对本说明书各幅附图所表达的内容及图中的标记作简要说明：
图1为本发明三维腐蚀示意过程图。
图2为本发明工件中心大致网状图。
图3为本发明点的平均密度示意图。
图4为本发明点密度的大致分布图。
图5为本发明切线计算图。
图6为本发明圆与圆之间的分割线示意图。
图7为本发明四个桶识别效果图。
图8为本发明两个桶识别效果图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明。
该视觉定位三维点云分割方法解决激光雷达传感器获取三维点云信息后，利用传统方式(圆形或椭圆性检测)无法实现对象的完全识别-识别率低问题；虽存在对工件进行了相应的识别但对其定位准确度较低-定位误差大问题。
该视觉定位三维点云分割方法包括以下步骤：
S1:机器人携带三维激光传感器获取工件的三维点云信息；
S2:利用PCL点云库实现点云的滤波、采样以及平滑等处理工作，同时移除点云的z轴向距离(其统一设置为0)；
S3:利用二维图像腐蚀将其应用于三维点云处理，获取当前点云对象中工件数目及每个工件的位置坐标；如图1所示的三维腐蚀示意过程，其在腐蚀时其中心发生了便宜，图1-(2)中可以大致反应；
S4:相连工件将其中心位置连接，所有的工件形成一个工件中心网；如图2所示工件中心大致网状图；
S5:相连的两个中心的连线进行均分，形成N个点，将两中心点和N个分割点放置原始点云中，求解这N+2个点每点的平均密度；如图3所示点的平均密度示意图。
S6:将这N+2个点以及各自的密度大小规划在一个直角坐标系中，采取三次样条曲线的方式拟合出一条曲线，找到这N+2个点中密度最小的点的位置，计算该点处的斜率；如图4所示的点密度的大致分布图，横坐标为点号，纵坐标为点密度；
S7:获取到密度最小点的斜率角度θ，将θ+900定义为点云对象中相连中心点间分割点的斜率直线；利用每对中心点间的分割直线将点云进行分割，获取一个个聚体点云；如图5所示的切线计算图以及图6所示圆与圆之间的分割线示意图。
S8:对每个聚体点云对象通过其边界点拟合空间圆，找寻中心位置点。
本发明中视觉定位三维点云分割方法设计合理，利用点云的周边密度实现了工件中心间的数学关系，成功推出工件间的分割方式，成功实现两个圆或类圆状物体间的分割，其可提高对相连圆形或类圆形工件识别定位准确度，如图7的四个桶识别效果图和图8的两个桶识别效果图，降低定位误差。
上述仅为对本发明较佳的实施例说明，上述技术特征可以任意组合形成多个本发明的实施例方案。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种视觉定位三维点云分割方法，其特征在于：包括以下步骤：
S1:机器人携带三维激光传感器获取工件的三维点云信息；
S2:对点云进行前处理工作，同时移除点云的z轴向距离；
S3:利用二维图像腐蚀将其应用于三维点云处理，获取当前点云对象中工件数目及每个工件的位置坐标；
S4:相连工件将其中心位置连接，所有的工件形成一个工件中心网；
S5:相连的两个中心的连线进行均分，形成N个点，将两中心点和N个分割点放置原始点云中，求解这N+2个点每点的平均密度；
S6:将这N+2个点以及各自的密度大小规划在一个直角坐标系中，采取三次样条曲线的方式拟合出一条曲线，找到这N+2个点中密度最小的点的位置，计算该点处的斜率；
S7:获取到密度最小点的斜率角度θ，将θ+90°定义为点云对象中相连中心点间分割点的斜率直线；利用每对中心点间的分割直线将点云进行分割，获取一个个聚体点云；
S8:对每个聚体点云对象通过其边界点拟合空间圆，找寻中心位置点。
2.如权利要求1所述视觉定位三维点云分割方法，其特征在于：所述步骤S2中：利用PCL点云库实现点云的前处理工作。
3.如权利要求1所述视觉定位三维点云分割方法，其特征在于：所述步骤S2中：移除点云的z轴向距离其统一设置为0。
4.如权利要求2所述视觉定位三维点云分割方法，其特征在于：所述利用PCL点云库实现点云的滤波、采样以及平滑处理工作。
CN201911392464.0A 2019-12-30 2019-12-30 一种视觉定位三维点云分割方法 Active CN111145182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911392464.0A CN111145182B (zh) 2019-12-30 2019-12-30 一种视觉定位三维点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911392464.0A CN111145182B (zh) 2019-12-30 2019-12-30 一种视觉定位三维点云分割方法

Publications (2)

Publication Number Publication Date
CN111145182A CN111145182A (zh) 2020-05-12
CN111145182B true CN111145182B (zh) 2022-05-27

Family

ID=70521696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911392464.0A Active CN111145182B (zh) 2019-12-30 2019-12-30 一种视觉定位三维点云分割方法

Country Status (1)

Country Link
CN (1) CN111145182B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701798A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 柱状物体的点云提取方法及装置
CN107292276A (zh) * 2017-06-28 2017-10-24 武汉大学 一种车载点云聚类方法及系统
CN108629315A (zh) * 2018-05-07 2018-10-09 河海大学 一种针对三维点云的多平面识别方法
CN109270544A (zh) * 2018-09-20 2019-01-25 同济大学 基于杆状物识别的移动机器人自定位系统
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN110555826A (zh) * 2019-08-04 2019-12-10 大连理工大学 一种基于局部离群因子的三维点云特征提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013126659A1 (en) * 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701798A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 柱状物体的点云提取方法及装置
CN107292276A (zh) * 2017-06-28 2017-10-24 武汉大学 一种车载点云聚类方法及系统
CN108629315A (zh) * 2018-05-07 2018-10-09 河海大学 一种针对三维点云的多平面识别方法
CN109270544A (zh) * 2018-09-20 2019-01-25 同济大学 基于杆状物识别的移动机器人自定位系统
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN110555826A (zh) * 2019-08-04 2019-12-10 大连理工大学 一种基于局部离群因子的三维点云特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Point cloud registration algorithm based on NDT with variable size voxel;Lu Jun等;《2015 34th Chinese Control Conference (CCC)》;20150914;第3707-3712页 *
基于地面约束的滨岸湿地微地貌LiDAR检测研究;乔纪纲等;《中山大学学报》;20090731;第118-124页 *

Also Published As

Publication number Publication date
CN111145182A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
CN108364311B (zh) 一种金属部件自动定位方法及终端设备
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN107610176A (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN113042939B (zh) 基于三维视觉信息的工件焊缝定位方法及系统
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN111209978B (zh) 三维视觉重定位方法、装置及计算设备、存储介质
CN107957246B (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN107545247B (zh) 基于双目识别的立体认知方法
Lyasheva et al. The image analysis using fast radial symmetry transform in control systems base on the computer vision
CN112836558A (zh) 机械臂末端调整方法、装置、系统、设备及介质
CN111340834B (zh) 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN107388991A (zh) 一种端面多圆角轴类零件圆角半径测量方法
CN112767426A (zh) 一种目标匹配方法、装置和机器人
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN115358965A (zh) 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置
Holz et al. Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking
CN111145182B (zh) 一种视觉定位三维点云分割方法
CN114897974B (zh) 一种目标物空间定位方法、系统、存储介质及计算机设备
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN108145712B (zh) 一种机器人分拣物品的方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant