CN113298833A - 目标物点云特征线面提取方法及系统 - Google Patents

目标物点云特征线面提取方法及系统 Download PDF

Info

Publication number
CN113298833A
CN113298833A CN202110553638.8A CN202110553638A CN113298833A CN 113298833 A CN113298833 A CN 113298833A CN 202110553638 A CN202110553638 A CN 202110553638A CN 113298833 A CN113298833 A CN 113298833A
Authority
CN
China
Prior art keywords
point
points
point cloud
cluster
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110553638.8A
Other languages
English (en)
Inventor
田新诚
韦傲
宋锐
马昕
周乐来
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110553638.8A priority Critical patent/CN113298833A/zh
Publication of CN113298833A publication Critical patent/CN113298833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种目标物点云特征线面提取方法及系统，属于计算机视觉技术领域，对三维场景点云数据进行预处理，得到目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片，提取其交界点和边缘点组成轮廓点云；对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。本发明适用于不同类型工件进行其线面特征提取，实现了对不同类型工件适用的线面特征提取，并适用同时具有平面、曲面和直线、曲线的场景，鲁棒性较好，普适性强，定位精度高。

Description

目标物点云特征线面提取方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于三维视觉信息的目标物点云特征线面提取方法及系统。
背景技术
三维点云是实体模型数字化中的一种常用数据，随着社会经济高速发展，点云已不仅仅应用于三维重建、CAD逆向工程、点云拼接等领域，越来越多的工业领域如焊接、喷涂、打磨领域为寻求更高程度的自动化投身到点云的研究中。在实际工业现场中，通常需要大量的数据点来表示工件表面的细节特性，如何从大量离散数据中挖掘到有用且准确的线面结构信息是能否将三维视觉引入现场使用的关键。
当前关于提取工件点云特征线面的研究有很多，但由于工件类型多种多样，对于不同的工件类型往往需要设计不同的算法，线面信息的提取仍需要大量的人工分类与编辑，这严重限制了工业生产的自动化程度。并且现在大多数的特征线面研究仅限于对平面和直线的提取，通过对平面和直线拟合来获取较好的效果，而如何准确高效地提取曲面和曲线特征仍然是亟需解决的难题。
发明内容
本发明的目的在于提供一种实现了对不同类型工件适用的线面特征提取，并适用于同时具有平面、曲面和直线、曲线的场景，鲁棒性好，普适性强，定位精度高的基于三维视觉信息的目标物点云特征线面提取方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
第一方面，本发明提供一种目标物点云特征线面提取方法，包括：
对三维场景点云数据进行预处理，得到目标物稀疏点云；
基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取特征面片的交界点和特征面片的边缘点；
将边缘点和交界点共同组成轮廓点云；
对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
优选的，对三维场景点云数据进行预处理包括：
采用直通滤波，确定在三维坐标系内每个坐标轴方向上的点云的范围；
对确定了的范围的点云采用体素滤波，得目标物稀疏点云；其中，先计算每个体素范围内所有点的重心，在每一个体素内取离重心欧式距离最近的点来代替该体素内所有点，使降体素后的点云为原点云的子集；
采用基于统计学的离群点去除滤波，去除目标物稀疏点云的噪点。
优选的，使用区域生长算法聚类出目标物的特征面片包括：基于点法线之间角度的比较，将满足平滑约束的相邻点合并在一起，以一簇点集的形式输出，每簇点集属于相同平面。
优选的，使用区域生长算法聚类出目标物的特征面片包括：
遍历工件点云的所有点，按照点的曲率值对点进行排序，找到最小曲率值点，并把它添加到种子点集；
计算每个种子点的近邻点与当前种子点的法线角度差，如果差值小于设置的阈值，则该近邻点通过了法线角度差检验；
如果通过了法线角度差检验的该近邻点的曲率小于设定的阈值，则该近邻点就被添加到种子点集，即属于当前平面；
设置最小点簇点数与最大点簇点数，重复上述步骤，生成点数在最小点簇点数和最大点簇点数的所有平面，直至在剩余点中生成的点簇不能满足最小点簇点数。
优选的，提取特征面片的交界点包括：
在目标物点云中去除所有特征面片点云，得到特征面片的交界点，即不属于任何一个聚类所得面片的点。
优选的，根据一个点与其邻域内其他点在切平面内投影的向量夹角来提取特征面片的边缘点，包括：
在特征面片点云中选取采样点，取得采样点的近邻点，对采样点与其近邻点用最小二乘法拟合平面；
计算采样点与近邻点在所述拟合平面内的投影；
将采样点与每个投影点组成向量，向量两两组成夹角，取夹角的最大值和最小值，若最大值与最小值的差大于设定的阈值，则将该采样点归类为边缘点；
遍历面片点云所有点为采样点，循环上述步骤，直至所有点均被判断是否为边缘点。
优选的，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹，包括：
设点簇n个点的平均坐标为
Figure BDA0003076283610000031
则拟合直线过平均坐标
Figure BDA0003076283610000032
直线方程表示为：
Figure BDA0003076283610000033
约束条件为l2+m2+n2＝1，理想状态下当所有点在到平面lx+my+nz＝0距离最大时，所有点在平面法线上，拟合直线效果最好，这时该平面到所有点的距离之和最大。其中l表示直线方向向量中x方向的坐标，m表示表示直线方向向量中y方向的坐标，n表示直线方向向量中z方向的坐标。
设矩阵：
Figure BDA0003076283610000041
列矩阵
Figure BDA0003076283610000042
令AX＝0。
理想情况下所有点都在平面法线上，拟合的目的为平面距离所有点的距离之和尽量大，所以目标函数为max||AX||，约束条件||X||＝1。
对A奇异值分解A＝UDVT，其中D为对角矩阵，U和V均为酉矩阵，则||AX||＝||UDVTX||＝||DVTX||其中VTX为列矩阵，并且||VTX||＝||X||＝1。因为D的对角元素为奇异值，假设第一个对角元素为最大奇异值，则当且仅当
Figure BDA0003076283610000043
时，||AX||可以取得最大值，此时
Figure BDA0003076283610000044
直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，v1,1表示v1的x方向的坐标，v1,2表示v1的y方向的坐标，v1,3表示v1中z方向的坐标。
分别计算直线段点簇n个点向直线的投影点pi，设x坐标最小的为p1＝(xp1,yp1,zp1)，最大的为p2＝(xp2,yp2,zp2)，设步长t，线段轨迹可以表示为：
Figure BDA0003076283610000045
优选的，若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点，包括：
步骤1)，设样本集S，通过主成分分析，求取第一主成分直线，计算所有点到直线的投影和距离，算得第一主成分线方差为σ2，在主成分线上截取初始线段长度为3σ，设初始Voronoi区域包含所有点集，且只有一个；
步骤2)，寻找离自身主成分线最远的点，如果该点周围至少存在两个点到该点距离小于到自身主成分线的距离，将其设为vf；偏远点和其近邻点形成一个新的样本区域将样本集S分为两部分S1与S2；分别计算S1与S2新的主成分线段，对所有样本调整Voronoi区域；
将S1与S2分别作为样本集S，循环步骤2)，直至达到所设置的最大线段数K；
将得到的K个线段构造Hamilton路径，该过程使用贪心算法；
求每个子图的端点的代价函数值，其定义为：
C(ei)＝l(ei)+λα(ei)
其中ei＝(vi,vm)，vi和vm分别是两条不同哈密顿路径的端点，l是边的长度，α是角度惩罚值，λ是角度惩罚系数；连接使C(ei)值最小的边的端点；
使用2-opt优化算法，对之前的Hamilton路径进行优化；计算目标函数
Figure BDA0003076283610000051
使其最小，即完成优化；其中n为总点集中的点数，l为构造后哈密顿路径的长度，k为设定的线段数，Vi为第i个哈密顿路径的长度，x为属于Vi区域内点，si为第i个Voronoi区域的主成分线。
第二方面，本发明提供一种目标物点云特征线面提取系统，包括：
预处理模块，用于对三维场景点云数据进行预处理，得到目标物稀疏点云；
聚类模块，用于基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取模块，用于提取特征面片的交界点和特征面片的边缘点；
组合模块，用于将边缘点和交界点共同组成轮廓点云；
分割模块，用于对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的目标物点云特征线面提取方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果：适用于不同类型工件进行其线面特征提取，实现了对不同类型工件适用的线面特征提取，并适用于同时具有平面、曲面和直线、曲线的场景，鲁棒性较好，普适性强，定位精度高。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的特征面片示意图。
图2为本发明实施例所述的体素滤波示意图。
图3为本发明实施例所述的哈密顿路径求取示意图。
图4为本发明实施例所述的目标物点云特征线面提取方法流程示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种目标物点云特征线面提取系统，该系统包括如下功能模块：
预处理模块，用于对三维场景点云数据进行预处理，得到目标物稀疏点云；
聚类模块，用于基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取模块，用于提取特征面片的交界点和特征面片的边缘点；
组合模块，用于将边缘点和交界点共同组成轮廓点云；
分割模块，用于对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
在本实施例1中，利用上述的目标物点云特征线面提取系统，实现了目标物点云特征线面提取方法，包括如下步骤：
对三维场景点云数据进行预处理，得到目标物稀疏点云；
基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取特征面片的交界点和特征面片的边缘点；
将边缘点和交界点共同组成轮廓点云；
对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
在本实施例1中，对三维场景点云数据进行预处理包括：
采用直通滤波，确定在三维坐标系内每个坐标轴方向上的点云的范围；
对确定了的范围的点云采用体素滤波，得目标物稀疏点云；其中，先计算每个体素范围内所有点的重心，在每一个体素内取离重心欧式距离最近的点来代替该体素内所有点，使降体素后的点云为原点云的子集；
采用基于统计学的离群点去除滤波，去除目标物稀疏点云的噪点。
在本实施例1中，使用区域生长算法聚类出目标物的特征面片包括：基于点法线之间角度的比较，将满足平滑约束的相邻点合并在一起，以一簇点集的形式输出，每簇点集属于相同平面。
其中，使用区域生长算法聚类出目标物的特征面片具体包括：
遍历工件点云的所有点，按照点的曲率值对点进行排序，找到最小曲率值点，并把它添加到种子点集；
计算每个种子点的近邻点与当前种子点的法线角度差，如果差值小于设置的阈值，则该近邻点通过了法线角度差检验；
如果通过了法线角度差检验的该近邻点的曲率小于设定的阈值，则该近邻点就被添加到种子点集，即属于当前平面；
设置最小点簇点数与最大点簇点数，重复上述步骤，生成点数在最小点簇点数和最大点簇点数的所有平面，直至在剩余点中生成的点簇不能满足最小点簇点数。
在本实施例1中，提取特征面片的交界点包括：
在目标物点云中去除所有特征面片点云，得到特征面片的交界点，即不属于任何一个聚类所得面片的点。
在本实施例1中，根据一个点与其邻域内其他点在切平面内投影的向量夹角来提取特征面片的边缘点，包括：
在特征面片点云中选取采样点，取得采样点的近邻点，对采样点与其近邻点用最小二乘法拟合平面；
计算采样点与近邻点在所述拟合平面内的投影；
将采样点与每个投影点组成向量，向量两两组成夹角，取夹角的最大值和最小值，若最大值与最小值的差大于设定的阈值，则将该采样点归类为边缘点；
遍历面片点云所有点为采样点，循环上述步骤，直至所有点均被判断是否为边缘点。
在本实施例1中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹，包括：
设点簇n个点的平均坐标为
Figure BDA0003076283610000101
则拟合直线过平均坐标
Figure BDA0003076283610000102
直线方程表示为：
Figure BDA0003076283610000103
约束条件为l2+m2+n2＝1，理想状态下当所有点在到平面lx+my+nz＝0距离最大时，所有点在平面法线上，拟合直线效果最好，这时该平面到所有点的距离之和最大。其中l表示直线方向向量中x方向的坐标，m表示表示直线方向向量中y方向的坐标，n表示直线方向向量中z方向的坐标。
设矩阵：
Figure BDA0003076283610000104
列矩阵
Figure BDA0003076283610000105
令AX＝0。
理想情况下所有点都在平面法线上，拟合的目的为平面距离所有点的距离之和尽量大，所以目标函数为max||AX||，约束条件||X||＝1。
对A奇异值分解A＝UDVT，其中D为对角矩阵，U和V均为酉矩阵，则||AX||＝||UDVTX||＝||DVTX||其中VTX为列矩阵，并且||VTX||＝||X||＝1。因为D的对角元素为奇异值，假设第一个对角元素为最大奇异值，则当且仅当
Figure BDA0003076283610000111
时，||AX||可以取得最大值，此时
Figure BDA0003076283610000112
直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，v1,1表示v1的x方向的坐标，v1,2表示v1的y方向的坐标，v1,3表示v1中z方向的坐标。
分别计算直线段点簇n个点向直线的投影点pi，设x坐标最小的为p1＝(xp1,yp1,zp1)，最大的为p2＝(xp2,yp2,zp2)，设步长t，线段轨迹可以表示为：
Figure BDA0003076283610000113
在本实施例1中，若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点，包括：
步骤1)，设样本集S，通过主成分分析，求取第一主成分直线，计算所有点到直线的投影和距离，算得第一主成分线方差为σ2，在主成分线上截取初始线段长度为3σ，设初始Voronoi区域包含所有点集，且只有一个；
步骤2)，寻找离自身主成分线最远的点，如果该点周围至少存在两个点到该点距离小于到自身主成分线的距离，将其设为vf；偏远点和其近邻点形成一个新的样本区域将样本集S分为两部分S1与S2；分别计算S1与S2新的主成分线段，对所有样本调整Voronoi区域；
将S1与S2分别作为样本集S，循环步骤2)，直至达到所设置的最大线段数K；
将得到的K个线段构造Hamilton路径，该过程使用贪心算法；
求每个子图的端点的代价函数值，其定义为：
C(ei)＝l(ei)+λα(ei)
其中ei＝(vi,vm)，vi和vm分别是两条不同哈密顿路径的端点，l是边的长度，α是角度惩罚值，λ是角度惩罚系数；连接使C(ei)值最小的边的端点；
使用2-opt优化算法，对之前的Hamilton路径进行优化；计算目标函数
Figure BDA0003076283610000121
使其最小，即完成优化。其中n为总点集中的点数，l为构造后哈密顿路径的长度，k为设定的线段数，Vi为第i个哈密顿路径的长度，x为属于Vi区域内点，si为第i个Voronoi区域的主成分线。
实施例2
本发明实施例2提供一种目标物点云特征线面提取系统，该系统包括如下功能模块：
预处理模块，用于对三维场景点云数据进行预处理，得到目标物稀疏点云；
聚类模块，用于基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取模块，用于提取特征面片的交界点和特征面片的边缘点；
组合模块，用于将边缘点和交界点共同组成轮廓点云；
分割模块，用于对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
在本实施例2中，利用上述的系统，实现了基于三维视觉的工件点云特征线面提取方法，包括以下步骤：
步骤S1：点云预处理；
步骤S2：区域生长算法聚类出工件的特征面片；
步骤S3：在工件点云中去除S2所得所有面片点云，得到特征面片的交界点，即不属于任何一个聚类所得面片的点；
步骤S4：提取S2中获得的特征面片的边缘点。根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点；
步骤S5：将S3获得的特征面片交界点与S4获得的特征面片边缘点共同组成轮廓点云；
步骤S6：对轮廓点云再次应用区域生长，将工件轮廓聚类分割为一段段未拟合的直线段点簇和曲线段点簇，作为后续特征线细化的点云集；
步骤S7：对于直线段点簇，采取奇异值分解(SVD)算法得到拟合直线方程；
步骤S8：确定直线段的起始于终止点，得到线段轨迹方程；
步骤S9：对于曲线段点簇，采用软K段主曲线算法拟合曲线；
步骤S10：对拟合主曲线采样获得特征曲线点；
在本实施例2中，在步骤S1中，在每一个体素内取离重心欧式距离最近的点来代替该体素内所有点，与传统的体素滤波直接用重心代替相比，降体素后的点云为原点云的子集。
在本实施例2中，使用了两次区域生长算法，第一次是步骤S2中用于聚类出工件的特征面片，第二次是步骤S6中用于将工件轮廓聚类分割为一段段未拟合的直线段点簇和曲线段点簇，作为后续特征线细化的点云集。
在本实施例2中，提取边缘点时，根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点。
在步骤S4中将特征面片交界点与特征面片边缘点共同组成轮廓点云，增加了能用来后续区域生长分割的点数，使得分割误差率更小。
对于直线段点簇，使用SVD算法对直线点簇拟合得到直线方程包括：
设直线点簇共有n个点，n个点的平均坐标为
Figure BDA0003076283610000141
则直线过点
Figure BDA0003076283610000142
设矩阵
Figure BDA0003076283610000143
对A奇异变换，直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，直线方程为
Figure BDA0003076283610000144
分别对直线段点簇与曲线段点簇采用SVD算法与软K段主曲线算法拟合，利用各自的特点采取不同的算法，提高了拟合精度。
在点云中选取采样点，取得采样点的k近邻点，使用采样点与近邻点用最小二乘法拟合切平面。
设切平面方程为：Ax+By+Cz+D＝0，则z＝a0x-a1y-a2，其中
Figure BDA0003076283610000145
设
Figure BDA0003076283610000146
要使得S最小，则偏导数为0，即：
Figure BDA0003076283610000147
由此解得a0,a1,a2，进一步确定切平面方程Ax+By+Cz+D＝0。
计算投影点坐标时，平面法向量
Figure BDA0003076283610000148
设待投影点为p1，投影到平面的垂足为p2，则由
Figure BDA0003076283610000149
平行于
Figure BDA00030762836100001410
可得p1p2方程为：
Figure BDA00030762836100001411
又p2满足方程Ax+By+Cz+D＝0，联立可解得投影点p2坐标。
获得边缘点时，设采样点为p，投影点为p′，其近邻点的投影点集为(p1',p'2,…p'k)，两两比较
Figure BDA00030762836100001412
的夹角大小，取最大值αi，设定阈值θ，若最大值大于设定的阈值，即αi>θ，则采样点被归类为边缘点。
实施例3
本实施例3中，针对目前点云线面特征提取的缺点，提出可应用于不同工件类型的线面特征提取算法。使用三维相机对工件所在场景进行拍照获取三维视觉信息；通过点云滤波算法对获取的初始点云进行预处理，得到工件点云；通过区域生长算法实现对特征面的提取；通过组合特征面交接点和边缘点获得轮廓点云；通过二次区域生长算法获得线段点簇；最后通过对直线点簇和曲线点簇分别采取SVD算法和软K段主曲线算法实现对特征线的提取。
如图4所示，基于三维视觉的工件点云特征线面提取方法，包括以下步骤：
步骤S1：点云预处理；
拍摄得到的点云噪点多，点云密度大且场景复杂。通过直通滤波、体素滤波、基于统计学的离群点去除滤波处理可以得到一个定位准确，噪点少，较为稀疏的工件点云。
先采用直通滤波，确定工件点云在x、y、z方向的大致范围，易于快速定位工件位置。约束条件如下所示：
Figure BDA0003076283610000151
其中，(Xmin,Xmax)，(Ymin,Ymax)，(Zmin,Zmax)为设置的点云在X，Y，Z三个坐标轴方向的阈值。
然后，采用体素滤波，获得较为稀疏的工件点云，易于加快后续处理时间。
此处先计算每个体素范围内所有点的重心，设一个体素内由k个点，则重心位置由以下公式得到：
Figure BDA0003076283610000152
在每一个体素内取离重心欧式距离最近的点来代替该体素内所有点，从而使降体素后的点云为原点云的子集。
最后，采用基于统计学的离群点去除滤波去除工件点云的噪点。
任意选择点云集中的一点P，设其近邻点Pi(i＝1,2,...k)，di为点P到Pi的距离，则平均距离mean,标准差stddev可由以下式子得到：
Figure BDA0003076283610000161
Figure BDA0003076283610000162
根据平均值与标准差设置阈值参数大小，若di大于阈值，则将此近邻点作为离群点去除。
步骤S2：区域生长算法聚类出工件的特征面片；
算法是基于点法线之间角度的比较，将满足平滑约束的相邻点合并在一起，以一簇点集的形式输出，每簇点集被认为是属于相同平面。
1)遍历工件点云的所有点，按照点的曲率值对点进行排序，找到最小曲率值点，并把它添加到种子点集。
2)计算每个种子点的近邻点与当前种子点的法线角度差，如果差值小于设置的阈值，则该近邻点被重点考虑。
3)该近邻点通过了法线角度差检验，如果它的曲率小于我们设定的阈值，这个点就被添加到种子点集，即属于当前平面。
4)设置最小点簇的点数min与最大点簇数max。重复1)-3)，算法会生成点数在min和max的所有平面，直到算法在剩余点中生成的点簇不能满足min，算法停止工作。
步骤S3：在工件点云中去除S2所得所有面片点云，得到特征面片的交界点，即不属于任何一个聚类所得面片的点；
步骤S4：提取S2中获得的特征面片的边缘点。根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点；
1)在特征面片点云中选取采样点，取得采样点的k近邻点，对采样点与其k近邻点用最小二乘法拟合平面。具体实现如下：
设平面方程为：Ax+By+Cz+D＝0，则z＝a0x-a1y-a2，其中
Figure BDA0003076283610000171
设
Figure BDA0003076283610000172
要使得S最小，则要使S对于x，y，z的偏导数均为0，即：
Figure BDA0003076283610000173
进一步得：
Figure BDA0003076283610000174
由此解得a0,a1,a2，还原平面方程Ax+By+Cz+D＝0。
2)计算采样点与近邻点在该平面投影。
平面法向量
Figure BDA0003076283610000175
设待投影点为p1，投影到平面的垂足为p2，则由
Figure BDA0003076283610000176
平行于
Figure BDA0003076283610000177
可得p1p2方程为：
Figure BDA0003076283610000178
又p2满足方程Ax+By+Cz+D＝0，联立可解得投影点p2坐标。
3)设采样点为p，投影点为p'，其近邻点的投影点集为(p1',p'2,…p'k)，向量
Figure BDA0003076283610000179
两两组成夹角，取夹角最大值αmax，夹角最小值αmin，设定阈值θ，若最大值减最小值大于设定的阈值，即αmax-αmin>θ，则将采样点归类为边缘点。
4)遍历面片点云所有点为采样点，循环1)-3)直至所有点均被判断是否为边缘点。
步骤S5：将S3获得的特征面片交界点与S4获得的特征面片边缘点共同组成轮廓点云；
步骤S6：对轮廓点云再次应用区域生长，将工件轮廓聚类分割为一段段未拟合的直线段点簇和曲线段点簇，作为后续特征线细化的点云集；
步骤S7：对于直线段点簇，采取奇异值分解(SVD)算法得到拟合直线方程；
设点簇共有n个点，n个点的平均坐标为
Figure BDA0003076283610000181
则拟合直线过点
Figure BDA0003076283610000182
设矩阵
Figure BDA0003076283610000183
对A奇异变换，直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，直线方程表示为
Figure BDA0003076283610000184
步骤S8：确定直线段的起始于终止点，得到线段轨迹方程。
分别计算直线段点簇n个点向直线的投影点pi，设x坐标最小的为p1＝(xp1,yp1,zp1)，最大的为p2＝(xp2,yp2,zp2)，设步长t,线段轨迹可以表示为：
Figure BDA0003076283610000185
步骤S9：对于曲线段点簇，采用软K段主曲线算法拟合曲线；
设样本集S,通过主成分分析，求取第一主成分直线，计算所有点到直线的投影和距离，算得第一主成分线方差为σ2，在主成分线上截取初始线段长度为3σ，设初始Voronoi区域包含所有点集，且只有一个。
寻找离自己主成分线最远的点，如果该点周围至少存在两个点到该点距离小于到自己主成分线的距离，将其设为vf。偏远点和其近邻点形成一个新的样本区域将样本集S分为两部分S1与S2。分别计算S1与S2新的主成分线段，对所有样本调整Voronoi区域。
将S1与S2分别作为样本集S，循环2)直至达到所设置的最大线段数K。
将得到的K个线段构造Hamilton路径，该过程使用贪心算法。求每个子图的端点的代价函数值，其定义为：
C(ei)＝l(ei)+λα(ei)
其中ei＝(vi,vm)(vi和vm分别是两条不同哈密顿路径的端点)，l是边的长度，α是角度惩罚值，λ是角度惩罚系数。连接使C(ei)值最小的边的端点。
使用2-opt优化算法，对之前的Hamilton路径进行优化。计算目标函数
Figure BDA0003076283610000191
使其最小，即完成优化。
步骤S10：对拟合主曲线采样获得特征曲线点；
在步骤S1点云预处理体素滤波中将传统方法中用重心代替体素内所有点优化为用离重心最近的点代替体素内所有点，从而使降体素后的点云为原点云的子集，减少了体素滤波中原信息的损失程度。
在步骤S4中计算边缘点的方法主要有两种，一种是三维点云投影至二维深度图像，利用图像处理的算法在图像上提取边缘，再在取得的二维点上加入深度值返还到三维数据，另一种是直接在三维点云中获取边缘点。为了使得尽量不在投影时损失一些三维信息，此处优选直接在点云中获取边缘点这种方式。
在步骤S4中将特征面片交界点与特征面片边缘点共同组成轮廓点云，增加了能用来后续区域生长分割的点数，使得分割误差率更小。
在步骤S6中对直线段点簇与曲线段点簇分类拟合，利用各自的特点采取不同的算法，提高了拟合精度。
本实施例3中，实现了对不同类型工件适用的线面特征提取方法，适用于同时具有平面、曲面和直线、曲线的场景，鲁棒性较好，普适性强，定位精度高。
实施例4
本实施例4提出了一种基于三维视觉的工件点云特征线面提取方法。该方法主要包括六个阶段：第一个阶段是结合具体的工件所在场景进行点云的预处理；第二个阶段是使用区域生长算法聚类出工件的特征面片；第三个阶段根据特征面片中一个点与其邻域内其他点在切平面内投影的向量夹角来选取特征面片边缘点；第四个阶段是将特征面片交界点与边缘点合并为轮廓点云；第五个阶段是对轮廓点云进行二次区域生长分割为线段点簇；第六个阶段是对直线段点簇和曲线段点簇分别采用SVD和软K段主曲线算法细化。
1)用RGB-D相机拍摄工件所在区域，通过直通滤波、体素滤波、基于统计学的离群点去除滤波处理可以得到一个定位准确，噪点少，较为稀疏的工件点云，其中改进的体素滤波使用图2所示的体素替代点代替体素内所有点。
2)区域生长算法聚类出工件的特征面片。
1、原始点云中有未标记点时，按照点的曲率值对点进行排序，找到最小曲率值点，并把它添加到种子点集。
2、设置最小点簇的点数min，最大点簇为max。
3、对于每个种子点，算法使用kd-tree找到所有近邻点。
4、计算每个近邻点与当前种子点的法线角度差，如果差值小于设置的阈值k1且曲率小于阈值k2，这个近邻点也被添加到种子点集。
5、循环3-4步，最终种子点集为同属于一个平面的点，检验平面点数是否在min与max之间。
6、满足上述条件的点从原始点云去除。
7、循环1-6步，算法会生成点数在min和max的所有平面，并对不同平面标记不同颜色加以区分。
8、直到剩余点小于min，算法停止工作。
3)参照图1，在工件点云中去除2)所得所有面片点云，得到特征面片的交界点集，即不属于任何一个聚类所得面片的点。
4)参照图1，提取2)中获得的特征面片的边缘点。根据一个点与其邻域内其他点在切平面内投影的向量夹角来获得其边缘点。
1、在特征面片点云中选取采样点，取得采样点的k近邻点，对采样点与其k近邻点用最小二乘法拟合平面。
设平面方程为：Ax+By+Cz+D＝0，则z＝a0x-a1y-a2，其中
Figure BDA0003076283610000211
设
Figure BDA0003076283610000212
令Sx′＝0，Sy′＝0，Sz′＝0，即：
Figure BDA0003076283610000213
进一步得：
Figure BDA0003076283610000214
由此解得a0,a1,a2，还原平面方程为Ax+By+Cz+D＝0。
2、计算采样点与近邻点在该平面投影。
平面法向量
Figure BDA0003076283610000221
设待投影点为p1，投影到平面的垂足为p2，则由
Figure BDA0003076283610000222
平行于
Figure BDA0003076283610000223
可得p1p2方程为：
Figure BDA0003076283610000224
又p2满足方程Ax+By+Cz+D＝0，联立可解得投影点p2坐标。
3、设采样点为p，投影点为p'，其近邻点的投影点集为(p1',p'2,…p'k)，向量
Figure BDA0003076283610000225
两两组成夹角，取夹角最大值αmax，夹角最小值αmin，设定阈值θ，若最大值减最小值大于设定的阈值，即αmax-αmin>θ，则将采样点归类为边缘点。
4、遍历面片点云所有点为采样点，循环1-3直至所有点均被判断是否为边缘点。
5)参照图1，将3)获得的特征面片交界点与4)获得的特征面片边缘点共同组成轮廓点云。
6)对轮廓点云再次应用区域生长，将工件轮廓聚类分割为一段段未拟合的直线段点簇和曲线段点簇，作为后续特征线细化的点云集。
7)对于直线段点簇，采取奇异值分解(SVD)算法得到拟合直线方程。
设点簇共有n个点，n个点的平均坐标为
Figure BDA0003076283610000226
则拟合直线过点
Figure BDA0003076283610000227
设矩阵
Figure BDA0003076283610000228
对A奇异变换，直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，直线方程表示为
Figure BDA0003076283610000229
8)确定直线段的起始于终止点，得到线段轨迹方程。
分别计算直线段点簇n个点向直线的投影点pi，设x坐标最小的为p1＝(xp1,yp1,zp1)，最大的为p2＝(xp2,yp2,zp2)，设步长t,线段轨迹可以表示为：
Figure BDA0003076283610000231
9)对于曲线段点簇，采用软K段主曲线算法拟合曲线方程。
1、设样本集S，通过主成分分析，求取第一主成分直线，计算所有点到直线的投影和距离，算得第一主成分线方差为σ2，在主成分线上截取初始线段长度为3σ，设初始Voronoi区域包含所有点集，且只有一个。
2、寻找离自己主成分线最远的点，如果该点周围至少存在两个点到该点距离小于到自己主成分线的距离，将其设为vf。偏远点和其近邻点形成一个新的样本区域将样本集S分为两部分S1与S2。分别计算S1与S2新的主成分线段，对所有样本调整Voronoi区域。
3、将S1与S2分别作为样本集S，循环2)直至达到所设置的最大线段数K。
4、参照图3，将得到的K个线段构造Hamilton路径，该过程使用贪心算法。求每个子图的端点的代价函数值，其定义为：
C(ei)＝l(ei)+λα(ei)
其中ei＝(vi,vm)(vi和vm分别是两条不同哈密顿路径的端点)，l是边的长度，α是角度惩罚值，λ是角度惩罚系数。连接使C(ei)值最小的边的端点。
5、使用2-opt优化算法，对之前的Hamilton路径进行优化。计算目标函数
Figure BDA0003076283610000232
使其最小，即完成优化。
10)对拟合主曲线采样获得特征曲线点。
本实施例4所述的基于三维视觉的工件点云特征线面提取方法，速度高效，可以在短时间内处理大规模点云，在需要大量的数据点来表示工件表面的细节特性时显示出较大优势。普适性强，对不同类型工件均适用，无需对拍摄的不同的工件类型再次设计不同的算法，且不仅限于对平面和直线的提取，对曲面和曲线的识别提取仍然有效。定位精度高，点云数据预处理能很好的减少噪点和离群点带来的干扰，且本发明使用的3D相机精度在±0.5mm以内，达到了一般焊接、喷涂、打磨过程的精度要求。
实施例5
本发明实施例5提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行目标物点云特征线面提取方法，该方法包括：
对三维场景点云数据进行预处理，得到目标物稀疏点云；
基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取特征面片的交界点和特征面片的边缘点；
将边缘点和交界点共同组成轮廓点云；
对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
实施例6
本发明实施例6提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行目标物点云特征线面提取方法，该方法包括：
对三维场景点云数据进行预处理，得到目标物稀疏点云；
基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取特征面片的交界点和特征面片的边缘点；
将边缘点和交界点共同组成轮廓点云；
对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
综上所述，本发明实施例所述的目标物点云特征线面提取方法及系统，针对目前点云线面特征提取的缺点，提出可应用于不同工件类型的线面特征提取算法。使用三维相机对工件所在场景进行拍照获取三维视觉信息；通过点云滤波算法对获取的初始点云进行预处理，得到工件点云；通过区域生长算法实现对特征面的提取；通过组合特征面交接点和边缘点获得轮廓点云；通过二次区域生长算法获得线段点簇；最后通过对直线点簇和曲线点簇分别采取SVD算法和软K段主曲线算法实现对特征线的提取。实现了对不同类型工件适用的线面特征提取，并适用于同时具有平面、曲面和直线、曲线的场景，鲁棒性较好，普适性强，定位精度高。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种目标物点云特征线面提取方法，其特征在于，包括：
对三维场景点云数据进行预处理，得到目标物稀疏点云；
基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取特征面片的交界点和特征面片的边缘点；
将边缘点和交界点共同组成轮廓点云；
对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
2.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，对三维场景点云数据进行预处理包括：
采用直通滤波，确定在三维坐标系内每个坐标轴方向上的点云的范围；
对确定了的范围的点云采用体素滤波，得目标物稀疏点云；其中，先计算每个体素范围内所有点的重心，在每一个体素内取离重心欧式距离最近的点来代替该体素内所有点，使降体素后的点云为原点云的子集；
采用基于统计学的离群点去除滤波，去除目标物稀疏点云的噪点。
3.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，使用区域生长算法聚类出目标物的特征面片包括：基于点法线之间角度的比较，将满足平滑约束的相邻点合并在一起，以一簇点集的形式输出，每簇点集属于相同平面。
4.根据权利要求3所述的目标物点云特征线面提取方法，其特征在于，使用区域生长算法聚类出目标物的特征面片包括：
遍历工件点云的所有点，按照点的曲率值对点进行排序，找到最小曲率值点，并把它添加到种子点集；
计算每个种子点的近邻点与当前种子点的法线角度差，如果差值小于设置的阈值，则该近邻点通过了法线角度差检验；
如果通过了法线角度差检验的该近邻点的曲率小于设定的阈值，则该近邻点就被添加到种子点集，即属于当前平面；
设置最小点簇点数与最大点簇点数，重复上述步骤，生成点数在最小点簇点数和最大点簇点数的所有平面，直至在剩余点中生成的点簇不能满足最小点簇点数。
5.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，提取特征面片的交界点包括：
在目标物点云中去除所有特征面片点云，得到特征面片的交界点，即不属于任何一个聚类所得面片的点。
6.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，根据一个点与其邻域内其他点在切平面内投影的向量夹角来提取特征面片的边缘点，包括：
在特征面片点云中选取采样点，取得采样点的近邻点，对采样点与其近邻点用最小二乘法拟合平面；
计算采样点与近邻点在所述拟合平面内的投影；
将采样点与每个投影点组成向量，向量两两组成夹角，取夹角的最大值和最小值，若最大值与最小值的差大于设定的阈值，则将该采样点归类为边缘点；
遍历面片点云所有点为采样点，循环上述步骤，直至所有点均被判断是否为边缘点。
7.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹，包括：
设点簇n个点的平均坐标为
Figure FDA0003076283600000031
则拟合直线过平均坐标
Figure FDA0003076283600000032
直线方程表示为：
Figure FDA0003076283600000033
约束条件为l2+m2+n2＝1，当所有点在到平面lx+my+nz＝0距离最大时，该平面到所有点的距离之和最大；其中，l表示直线方向向量中x方向的坐标，m表示表示直线方向向量中y方向的坐标，n表示直线方向向量中z方向的坐标；
设矩阵：
Figure FDA0003076283600000034
列矩阵
Figure FDA0003076283600000035
令AX＝0；
所有点都在平面法线上，拟合的目的为平面距离所有点的距离之和尽量大，所以目标函数为max||AX||，约束条件||X||＝1；
对A奇异值分解A＝UDVT，其中D为对角矩阵，U和V均为酉矩阵，则||AX||＝||UDVTX||＝||DVTX||其中VTX为列矩阵，并且||VTX||＝||X||＝1；因为D的对角元素为奇异值，假设第一个对角元素为最大奇异值，则当且仅当
Figure FDA0003076283600000036
时，||AX||可以取得最大值，此时
Figure FDA0003076283600000037
直线方向等于最大奇异值对应的奇异向量(l,m,n)＝(v1,1,v1,2,v1,3)，v1,1表示v1的x方向的坐标，v1,2表示v1的y方向的坐标，v1,3表示v1中z方向的坐标；
分别计算直线段点簇n个点向直线的投影点pi，设x坐标最小的为p1＝(xp1,yp1,zp1)，最大的为p2＝(xp2,yp2,zp2)，设步长t，线段轨迹可以表示为：
Figure FDA0003076283600000041
8.根据权利要求1所述的目标物点云特征线面提取方法，其特征在于，若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点，包括：
步骤1)，设样本集S，通过主成分分析，求取第一主成分直线，计算所有点到直线的投影和距离，算得第一主成分线方差为σ2，在主成分线上截取初始线段长度为3σ，设初始Voronoi区域包含所有点集，且只有一个；
步骤2)，寻找离自身主成分线最远的点，如果该点周围至少存在两个点到该点距离小于到自身主成分线的距离，将其设为vf；偏远点和其近邻点形成一个新的样本区域将样本集S分为两部分S1与S2；分别计算S1与S2新的主成分线段，对所有样本调整Voronoi区域；
将S1与S2分别作为样本集S，循环步骤2)，直至达到所设置的最大线段数K；
将得到的K个线段构造Hamilton路径，该过程使用贪心算法；
求每个子图的端点的代价函数值，其定义为：
C(ei)＝l(ei)+λα(ei)
其中ei＝(vi,vm)，vi和vm分别是两条不同哈密顿路径的端点，l是边的长度，α是角度惩罚值，λ是角度惩罚系数；连接使C(ei)值最小的边的端点；
使用2-opt优化算法，对之前的Hamilton路径进行优化；计算目标函数
Figure FDA0003076283600000042
使其最小，即完成优化；其中，n为总点集中的点数，l为构造后哈密顿路径的长度，k为设定的线段数，Vi为第i个哈密顿路径的长度，x为属于Vi区域内点，si为第i个Voronoi区域的主成分线。
9.一种目标物点云特征线面提取系统，其特征在于，包括：
预处理模块，用于对三维场景点云数据进行预处理，得到目标物稀疏点云；
聚类模块，用于基于目标物稀疏点云，使用区域生长算法聚类出目标物的特征面片；
提取模块，用于提取特征面片的交界点和特征面片的边缘点；
组合模块，用于将边缘点和交界点共同组成轮廓点云；
分割模块，用于对轮廓点云再次应用区域生长算法，聚类分割为线段点簇；其中，若线段点簇为直线段点簇，则采取奇异值分解算法得到拟合直线方程，确定直线段的起始点和终止点，得到线段轨迹；若线段点簇为曲线段点簇，则采用软K段主曲线算法拟合主曲线，对拟合主曲线采样获得特征曲线点。
10.一种电子设备，其特征在于，包括非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器；所述非暂态计算机可读存储介质包括用于执行如权利要求1-8任一项所述的目标物点云特征线面提取方法的指令。
CN202110553638.8A 2021-05-20 2021-05-20 目标物点云特征线面提取方法及系统 Pending CN113298833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110553638.8A CN113298833A (zh) 2021-05-20 2021-05-20 目标物点云特征线面提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110553638.8A CN113298833A (zh) 2021-05-20 2021-05-20 目标物点云特征线面提取方法及系统

Publications (1)

Publication Number Publication Date
CN113298833A true CN113298833A (zh) 2021-08-24

Family

ID=77323312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110553638.8A Pending CN113298833A (zh) 2021-05-20 2021-05-20 目标物点云特征线面提取方法及系统

Country Status (1)

Country Link
CN (1) CN113298833A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689504A (zh) * 2021-10-25 2021-11-23 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114494301A (zh) * 2022-02-14 2022-05-13 北京智弘通达科技有限公司 一种基于机载雷达点云的铁路场景点云分割方法
CN114734439A (zh) * 2022-04-11 2022-07-12 山东大学 平面对接工件焊接轨迹寻位方法和系统
CN114998381A (zh) * 2022-05-31 2022-09-02 熵智科技(深圳)有限公司 管板焊接中焊接轨迹拟合方法、装置、设备及存储介质
CN115008092A (zh) * 2022-05-31 2022-09-06 熵智科技(深圳)有限公司 管板焊轨迹生成方法、装置、设备及计算机存储介质
CN115049925A (zh) * 2022-06-07 2022-09-13 中国电建集团中南勘测设计研究院有限公司 田块田坎提取方法、电子设备及存储介质
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质
CN115451846A (zh) * 2022-07-22 2022-12-09 中国人民解放军63891部队 一种基于tls的大型抛物面天线口径测量及计算方法
TWI786860B (zh) * 2021-10-01 2022-12-11 中華電信股份有限公司 基於點雲的物件偵測裝置和物件偵測方法
CN115937320A (zh) * 2023-02-21 2023-04-07 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN117173424A (zh) * 2023-11-01 2023-12-05 武汉追月信息技术有限公司 一种点云坡面边缘线识别方法、系统及可读存储介质
CN117409024A (zh) * 2023-12-14 2024-01-16 苏州优备精密智能装备股份有限公司 用于稀疏点云的高鲁棒性高压电力线分割方法及其应用
CN117900917A (zh) * 2024-03-19 2024-04-19 中船黄埔文冲船舶有限公司 一种打磨轨迹离散化方法、系统、终端及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709586A (zh) * 2018-12-19 2019-05-03 中铁第四勘察设计院集团有限公司 基于奇异值分解的gps基准站网坐标时间序列三维噪声模型的建立方法及使用方法
CN110111430A (zh) * 2019-04-11 2019-08-09 暨南大学 一种从三维点云中提取二次曲面的方法
CN110196429A (zh) * 2018-04-02 2019-09-03 北京航空航天大学 车辆目标识别方法、存储介质、处理器以及系统
CN110288706A (zh) * 2019-07-02 2019-09-27 哈尔滨工业大学 一种小曲率不规则点云曲面的拟合方法
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111461023A (zh) * 2020-04-02 2020-07-28 山东大学 基于三维激光雷达的四足机器人自主跟随领航员的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196429A (zh) * 2018-04-02 2019-09-03 北京航空航天大学 车辆目标识别方法、存储介质、处理器以及系统
CN109709586A (zh) * 2018-12-19 2019-05-03 中铁第四勘察设计院集团有限公司 基于奇异值分解的gps基准站网坐标时间序列三维噪声模型的建立方法及使用方法
CN110111430A (zh) * 2019-04-11 2019-08-09 暨南大学 一种从三维点云中提取二次曲面的方法
CN110288706A (zh) * 2019-07-02 2019-09-27 哈尔滨工业大学 一种小曲率不规则点云曲面的拟合方法
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111461023A (zh) * 2020-04-02 2020-07-28 山东大学 基于三维激光雷达的四足机器人自主跟随领航员的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王佳婧: "工业零件三维点云模型的特征线面提取方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王绍臣: "基于点云重建技术的工件曲面轮廓度测量方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *
马驰 等: "基于主曲线算法的手写字符特征分析与提取", 《计算机工程与应用》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786860B (zh) * 2021-10-01 2022-12-11 中華電信股份有限公司 基於點雲的物件偵測裝置和物件偵測方法
CN113689504A (zh) * 2021-10-25 2021-11-23 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114170176B (zh) * 2021-12-02 2024-04-02 南昌大学 一种基于点云的钢格板焊缝自动检测方法
CN114494301A (zh) * 2022-02-14 2022-05-13 北京智弘通达科技有限公司 一种基于机载雷达点云的铁路场景点云分割方法
CN114734439A (zh) * 2022-04-11 2022-07-12 山东大学 平面对接工件焊接轨迹寻位方法和系统
CN114734439B (zh) * 2022-04-11 2024-04-16 山东大学 平面对接工件焊接轨迹寻位方法和系统
CN115008092A (zh) * 2022-05-31 2022-09-06 熵智科技(深圳)有限公司 管板焊轨迹生成方法、装置、设备及计算机存储介质
CN114998381A (zh) * 2022-05-31 2022-09-02 熵智科技(深圳)有限公司 管板焊接中焊接轨迹拟合方法、装置、设备及存储介质
CN115049925A (zh) * 2022-06-07 2022-09-13 中国电建集团中南勘测设计研究院有限公司 田块田坎提取方法、电子设备及存储介质
CN115049925B (zh) * 2022-06-07 2024-04-16 中国电建集团中南勘测设计研究院有限公司 田块田坎提取方法、电子设备及存储介质
CN115451846A (zh) * 2022-07-22 2022-12-09 中国人民解放军63891部队 一种基于tls的大型抛物面天线口径测量及计算方法
CN115451846B (zh) * 2022-07-22 2024-04-09 中国人民解放军63891部队 一种基于tls的大型抛物面天线口径测量及计算方法
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质
CN115937320B (zh) * 2023-02-21 2023-05-05 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN115937320A (zh) * 2023-02-21 2023-04-07 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN117173424B (zh) * 2023-11-01 2024-01-26 武汉追月信息技术有限公司 一种点云坡面边缘线识别方法、系统及可读存储介质
CN117173424A (zh) * 2023-11-01 2023-12-05 武汉追月信息技术有限公司 一种点云坡面边缘线识别方法、系统及可读存储介质
CN117409024B (zh) * 2023-12-14 2024-04-09 苏州优备精密智能装备股份有限公司 用于稀疏点云的高鲁棒性高压电力线分割方法及其应用
CN117409024A (zh) * 2023-12-14 2024-01-16 苏州优备精密智能装备股份有限公司 用于稀疏点云的高鲁棒性高压电力线分割方法及其应用
CN117900917A (zh) * 2024-03-19 2024-04-19 中船黄埔文冲船舶有限公司 一种打磨轨迹离散化方法、系统、终端及可读存储介质

Similar Documents

Publication Publication Date Title
CN113298833A (zh) 目标物点云特征线面提取方法及系统
CN107123164B (zh) 保持锐利特征的三维重建方法及系统
CN111932688B (zh) 一种基于三维点云的室内平面要素提取方法、系统及设备
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
CN109118574A (zh) 一种基于三维特征提取的快速逆向建模方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN110111430B (zh) 一种从三维点云中提取二次曲面的方法
CN115147437B (zh) 机器人智能引导加工方法与系统
CN110097588B (zh) 一种航发叶片陶瓷型芯点云模型的修型边缘提取方法
CN116402866A (zh) 基于点云的零件数字孪生几何建模与误差评定方法及系统
CN113160129B (zh) 组合式精简点云数据的快速配准方法
CN116452583B (zh) 点云缺陷检测方法、装置、系统及存储介质
CN112164145A (zh) 基于点云数据快速提取室内三维线段结构的方法
CN110288706B (zh) 一种小曲率不规则点云曲面的拟合方法
CN105590327A (zh) 运动估计方法及装置
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN114290660A (zh) 曲面分层式3d打印方法及系统
CN109785283A (zh) 一种用于织物分割的纹理特征匹配方法及装置
CN115423854B (zh) 一种基于多尺度特征提取的多视角点云配准及点云融合方法
Qiao et al. G3Reg: Pyramid Graph-based Global Registration using Gaussian Ellipsoid Model
CN110533781B (zh) 一种多类别三维模型部件自动标注方法
CN116310355A (zh) 一种复杂结构件的激光点云去噪和缺陷检测方法
CN111583098B (zh) 一种基于序列图像的线段聚类及拟合方法和系统
CN114972743A (zh) 一种基于半径扩展的层次级单棵树木提取方法
Denker et al. On-line reconstruction of CAD geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210824

RJ01 Rejection of invention patent application after publication