CN112907735B - 一种基于点云的柔性电缆识别与三维重建方法 - Google Patents
一种基于点云的柔性电缆识别与三维重建方法 Download PDFInfo
- Publication number
- CN112907735B CN112907735B CN202110258661.4A CN202110258661A CN112907735B CN 112907735 B CN112907735 B CN 112907735B CN 202110258661 A CN202110258661 A CN 202110258661A CN 112907735 B CN112907735 B CN 112907735B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cable
- point
- coordinate system
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000003064 k means clustering Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 238000013450 outlier detection Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点云的柔性电缆识别与三维重建方法，首先对点云进行预处理，滤波并去除离群点；之后基于深度学习的点云语义分割算法，通过预训练和精调获得训练好的模型，输出每个点的语意类别标签，完成点云分割；使用改进的K‑Means聚类算法将电缆点云分割为多个点云簇，并对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点；最后采用基于PCA和八叉树方向约束的排序算法，在此基础上通过B样条插值算法拟合出电缆的中心线方程，实现电缆在空间中的三维重建，本发明实时性强、准确性高，电缆三维重建效果能够满足后续机械臂抓取的精度要求。
Description
技术领域
本发明属于图像信息处理技术领域，特别涉及一种基于点云的柔性电缆识别与三维重建方法。
背景技术
在科技迅猛发展的今天，云计算、物联网、大数据等技术的实现让机器人进入到了越来越多的行业，从最初的结构化工厂环境到航空航天等未知危险领域，机器人的智能化发展使得将人类从高危行业解脱出来这一梦想逐步成为现实。因此研究自主式配电线路维护机器人系统代替人工进行带电作业具有极大的现实意义。
但目前机器人系统对弱刚性、形状不定的作业目标难以抓取，因此，研究一种基于点云的柔性线缆识别与三维重建方法，为后续实现机械臂对柔性电缆的精准抓取，具有深刻的理论意义与实践价值。
发明内容
本发明的目的在于提供一种基于点云的柔性电缆识别与三维重建方法。
实现本发明目的的技术解决方案为：一种基于点云的柔性电缆识别与三维重建方法，包括以下步骤：
步骤1、采集深度图像与彩色图像，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)；
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点；
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签；
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇；
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点；
步骤6、采用基于PCA和八叉树方向约束的排序算法，并通过B样条插值算法拟合出电缆的中心线方程，实现电缆在空间中的三维重建。
本发明与现有技术相比，其显著优点为：
1)本发明通过预训练和精调获得训练好的模型，实现了目标引线点云的语义分割，算法实时性强、准确性高；
2)本发明实现了弱刚性、形状不定的电缆的三维重建，满足后续机械臂抓取的精度要求；
3)本发明使用最小二乘算法，简化了拟合过程中计算过程，在复杂的环境情况下依然可以有效提取拟合电缆。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的步骤流程图。
图2为本发明中初始位置深度相机采集的图像，其中图2中(a)为RGB彩色图像，图2中(b)为点云图。
图3为本发明中对对离群点去除后的点云结果处理图。
图4为本发明中基于深度学习的点云语义分割算法对作业场景语义分割的效果图，其中图4中(a)为分割前，图4中(b)为分割后。
图5为本发明中电缆圆柱拟合前后效果图，其中图5中(a)为拟合前，图5中(b)为拟合后。
图6为本发明中中心线排序插值效果图，其中图6中(a)为排序前，图6中(b)为排序后。
图7为本发明中重建的电缆三维模型示意图。
具体实施方式
一种基于点云的柔性电缆识别与三维重建方法，包括以下步骤：
步骤1、采集深度图像与彩色图像，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)，具体为：
步骤1-1、利用相机内参数矩阵将深度图的像素点还原到深度坐标系下；
步骤1-2、利用相机外参数矩阵将深度坐标系转换到世界坐标系中；
步骤1-3、建立深度图到彩色图的映射关系，将世界坐标系中的深度点转换到彩色摄像头坐标系；
步骤1-4、通过z轴归一化与彩色图像进行对齐，生成三维点云数据。
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点，具体为：
步骤2-1、采用KD-tree的方式计算每个点与邻域点集之间的平均距离：
式中di为目标点与k最近邻域中一点的欧氏距离；
步骤2-2、根据平均距离设定点云中所有点的距离构成高斯分布，其形状取决于平均距离μ和标准差σ，若平均距离超出设定的阈值，则定义为离群点并将之删除，即设定了置信区间[c1,c2]：
其中，α为比例因子，用于设调节区间范围。
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签，具体为：
步骤3-1、制作电缆的训练样本；
步骤3-2、通过深度学习框架搭建模型，使用深度学习数据集预训练模型，设置及初始化各层参数；
步骤3-3、基于预训练模型，输入电缆的训练样本继续训练，并设置block的大小和步长，得到精确的语义分割模型；
步骤3-4、将步骤2剔除离群点后的三维点云数据输入语义分割模型，输出得到分割后的电缆点云。
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇，具体为：
步骤4-1、从电缆点云数据点集合中随机选择一个点作为第一个聚类的中心；
步骤4-2、利用K-Means算法，更新迭代计算各聚类的中心，迭代完成后计算所有点x至各聚类中心的距离D(x)；
步骤4-3、设待拟合圆柱的高为h，半径为r，判断D(x)＜dmax是否对所有点均成立，若是则执行步骤4-5，否则继续执行步骤4-4；
步骤4-4、选择一个新的电缆点云数据点作为一个新的聚类中心，优先选择D(x)较大的点，为了能够更直观地将D(x)的大小反映到被选择的概率上，首先对所有点的D(x)进行求和，得到sum(D(x))，从0～sum(D(x))中间选取一个随机值Random，循环更新Random＝Random-D(x)直至Random≤0，此时的点即为选定的新的聚类中心，选定后返回步骤4-2；
步骤4-5、完成电缆点云簇的分割。
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点，具体为：
步骤5-1、在建立了圆柱标准坐标系与测量坐标系的基础上，将定位参数的求取转化为求取两个坐标系的转换参数，中心轴线的位置与姿态分别对应两个坐标系的平移和旋转参数，两个坐标系之间的位姿转换关系为：
其中，[X,Y,Z]T、[x,y,z]T分别表示圆柱的测量坐标系和标准坐标系下的坐标，[ΔX,ΔY,ΔZ]T代表平移参数，R(εX，εY，εZ)代表旋转矩阵，εX、εY、εZ表示绕坐标轴的三个旋转角，即为姿态参数；
步骤5-2、令εZ＝0，取n为对应点云簇中点云的个数，只需求取ΔX、ΔY、εX、εY这四个参数，由于圆柱在标准坐标系下的xoy平面内的投影是一个圆，则结合步骤5-1的位姿转换公式和最小二乘原理，构造目标函数F：
式中，r表示圆柱半径为已知值，，R＝R1(εX)R2(εY)，其中
将目标函数在近似值(ΔX0、ΔY0、(εX)0、(εY)0)处以泰勒级数展开，舍去二阶及以上项，得：
F＝F0+Bξ
式中，ξ表示参数向量的修正值，ξ＝[dΔX dΔY εX εY]T，B为系数矩阵：
步骤5-3、选取四个参数的初始近似值(ΔX0、ΔY0、(εX)0、(εY)0)，代入目标函数中，使得目标函数收敛到最小，求得参数向量的修正值ξ，在当前参数近似值上加上修正值进行修正，得到新的近似值取代(ΔX0、ΔY0、(εX)0、(εY)0)，重复上述过程，直至4个未知参数的近似值代入F0时，F0的值小于设定的阈值，进而获得圆柱方程，确定各小圆柱中心即为电缆中心线上的离散点。
步骤6-1、通过主成分分析方法对电缆的点云数据的协方差矩阵进行奇异值分解，提取出平行于电缆协方差矩阵特征量的立体方向包围盒；
步骤6-2、将电缆包围盒的体对角线作为电缆点云的主轴，将步骤6提取出的各中心点投影至主轴上，按照主轴上投影点的顺序确定中心点的初始顺序；
步骤6-3、通过八叉树方向约束，修正误排序点，完成中心点排序，具体为：
判断线段pi-1pi与pipi+1的夹角，当线段pi-1pi与pipi+1的夹角小于90°，则将点pi与pi+1顺序进行调换，若线段pi-1pi与pipi+1的夹角大于90°，则判断线段pipi+1与pipi+2的大小，若pipi+1＞pipi+2，说明pi+1并不是它所在方向距离pi最近的点，此时需要将pi+2移至pi之后，再进行下一个点的判断，直至完成排序。
步骤6-4、基于三次B样条插值完成电缆中心线的拟合，获得电缆在空间中的三维模型。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤1、采集深度图像与彩色图像，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)；
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点；
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签；
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇；
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点；
步骤6、采用基于PCA和八叉树方向约束的排序算法，并通过B样条插值算法拟合出电缆的中心线方程，实现电缆在空间中的三维重建。
一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤1、采集深度图像与彩色图像，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)；
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点；
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签；
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇；
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点；
步骤6、采用基于PCA和八叉树方向约束的排序算法，并通过B样条插值算法拟合出电缆的中心线方程，实现电缆在空间中的三维重建。
下面结合实施例对本发明做进一步说明。
实施例
结合图1，一种基于点云的柔性电缆识别与三维重建方法，包括以下步骤：
步骤1、利用Intel Realsense D435相机采集深度图像与彩色图像，如图2中(a)所示，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)，具体为：
步骤1-1、利用相机内参数矩阵将深度图的像素点还原到深度坐标系下；
步骤1-2、利用相机外参数矩阵将深度坐标系转换到世界坐标系中；
步骤1-3、建立深度图到彩色图的映射关系，将世界坐标系中的深度点转换到彩色摄像头坐标系；
步骤1-4、通过z轴归一化与彩色图像进行对齐，生成三维点云数据，如图2中(b)所示。
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点，具体为：
步骤2-1、采用KD-tree的方式计算每个点与邻域点集之间的平均距离：
式中di为目标点与k最近邻域中一点的欧氏距离；
步骤2-2、根据平均距离设定点云中所有点的距离构成高斯分布，其形状取决于平均距离μ和标准差σ，若平均距离超出设定的阈值，则定义为离群点并将之删除，即设定了置信区间[c1,c2]：
其中，α为比例因子，用于设调节区间范围，结果如图3所示。
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签，具体为：
步骤3-1、采用日立汽车工业实验室开源的基于Web的语义对象标注编辑器制作电缆的训练样本；
步骤3-2、在Ubuntu 16.04系统下通过TensorFlow深度学习框架搭建PointSIFT模型模型，将PointSIFT模块穿插到PointNet++网络中，使用深度学习数据集ScanNet预训练模型，用标准差为0.001的高斯分布数值设置及初始化各层参数，block大小设为3×3m2，步长为1.5m，N＝8192，D＝3；
步骤3-3、基于预训练模型，输入电缆的训练样本继续训练，并再次设置block的大小为0.1×0.1m2，步长为0.05m,N＝256,D＝3，得到精确的语义分割模型；
步骤3-4、将步骤2剔除离群点后的三维点云数据输入语义分割模型，输出得到分割后的电缆点云，分割效果如图4所示，图4中(a)为分割前，图4中(b)为分割后。
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇，具体为：
步骤4-1、从电缆点云数据点集合中随机选择一个点作为第一个聚类的中心；
步骤4-2、利用K-Means算法，更新迭代计算各聚类的中心，迭代完成后计算所有点x至各聚类中心的距离D(x)；
步骤4-3、设待拟合圆柱的高为h，半径为r，判断D(x)＜dmax是否对所有点均成立，若是则执行步骤4-5，否则继续执行步骤4-4；
步骤4-4、选择一个新的电缆点云数据点作为一个新的聚类中心，优先选择D(x)较大的点，为了能够更直观地将D(x)的大小反映到被选择的概率上，首先对所有点的D(x)进行求和，得到sum(D(x))，从0～sum(D(x))中间选取一个随机值Random，循环更新Random＝Random-D(x)直至Random≤0，此时的点即为选定的新的聚类中心，选定后返回步骤4-2；
步骤4-5、完成电缆点云簇的分割，最终图5中(a)所示的电缆点云被划分为10个小点云簇。
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点，具体为：
步骤5-1、在建立了圆柱标准坐标系与测量坐标系的基础上，将定位参数的求取转化为求取两个坐标系的转换参数，中心轴线的位置与姿态分别对应两个坐标系的平移和旋转参数，两个坐标系之间的位姿转换关系为：
其中，[X,Y,Z]T、[x,y,z]T分别表示圆柱的测量坐标系和标准坐标系下的坐标，[ΔX,ΔY,ΔZ]T代表平移参数，R(εX，εY，εZ)代表旋转矩阵，εX、εY、εZ表示绕坐标轴的三个旋转角，即为姿态参数；
步骤5-2、令εZ＝0，取n为对应点云簇中点云的个数，只需求取ΔX、ΔY、εX、εY这四个参数，由于圆柱在标准坐标系下的xoy平面内的投影是一个圆，则结合步骤5-1的位姿转换公式和最小二乘原理，构造目标函数F：
式中，r表示圆柱半径为已知值，，R＝R1(εX)R2(εY)，其中
将目标函数在近似值(ΔX0、ΔY0、(εX)0、(εY)0)处以泰勒级数展开，舍去二阶及以上项，得：
F＝F0+Bξ
式中，ξ表示参数向量的修正值，ξ＝[dΔX dΔY εX εY]T，B为系数矩阵：
步骤5-3、选取四个参数的初始近似值(ΔX0、ΔY0、(εX)0、(εY)0)，代入目标函数中，使得目标函数收敛到最小，求得参数向量的修正值ξ，在当前参数近似值上加上修正值进行修正，得到新的近似值取代(ΔX0、ΔY0、(εX)0、(εY)0)，重复上述过程，直至4个未知参数的近似值代入F0时，F0的值小于设定的阈值，进而获得圆柱方程，拟合效果如图5中(b)所示，最终拟合的圆柱面能够涵盖大部分点云，确定各小圆柱中心即为电缆中心线上的离散点。
步骤6-1、通过主成分分析(principal components analysis，PCA)方法对电缆的点云数据的协方差矩阵进行奇异值分解，提取出平行于电缆协方差矩阵特征量的立体方向包围盒；
步骤6-2、将电缆包围盒的体对角线作为电缆点云的主轴，将步骤6提取出的各中心点投影至主轴上，按照主轴上投影点的顺序确定中心点的初始顺序；
步骤6-3、通过八叉树方向约束，修正误排序点，完成中心点排序，具体为：
判断线段pi-1pi与pipi+1的夹角，当线段pi-1pi与pipi+1的夹角小于90°，则将点pi与pi+1顺序进行调换，若线段pi-1pi与pipi+1的夹角大于90°，则判断线段pipi+1与pipi+2的大小，若pipi+1＞pipi+2，说明pi+1并不是它所在方向距离pi最近的点，此时需要将pi+2移至pi之后，再进行下一个点的判断，直至完成排序。图6中(a)、6中(b)分别为排序前后的中心线插值效果图
步骤6-4、基于三次B样条插值完成电缆中心线的拟合，获得电缆在空间中的三维模型，结合电缆半径最终构建的完整的电缆三维模型如图7所示。
Claims (8)
1.一种基于点云的柔性电缆识别与三维重建方法，其特征在于，包括以下步骤：
步骤1、采集深度图像与彩色图像，通过坐标系的转换使深度图像与彩色图像进行对齐，生成三维点云数据(X,Y,Z,r,g,b)；
步骤2、利用基于统计的稀疏离群点检测方法剔除离群点；
步骤3、利用基于深度学习的点云语义分割算法，将PointSIFT模块穿插到PointNet++网络中，通过预训练和精调获得训练好的模型，输出每个点云的语意类别标签；
步骤4、使用改进的K-Means聚类算法将电缆点云分割为多个点云簇，具体为：
步骤4-1、从电缆点云数据点集合中随机选择一个点作为第一个聚类的中心；
步骤4-2、利用K-Means算法，更新迭代计算各聚类的中心，迭代完成后计算所有点x至各聚类中心的距离D(x)；
步骤4-3、设待拟合圆柱的高为h，半径为r，判断D(x)＜dmax是否对所有点均成立，若是则执行步骤4-5，否则继续执行步骤4-4；
步骤4-4、选择一个新的电缆点云数据点作为一个新的聚类中心，选定后返回步骤4-2；
步骤4-5、完成电缆点云簇的分割；
步骤5、对各点云簇进行圆柱拟合，各圆柱中心即为电缆中心线上离散点，具体为：
步骤5-1、在建立了圆柱标准坐标系与测量坐标系的基础上，将定位参数的求取转化为求取两个坐标系的转换参数，中心轴线的位置与姿态分别对应两个坐标系的平移和旋转参数，两个坐标系之间的位姿转换关系为：
其中，[X,Y,Z]T、[x,y,z]T分别表示圆柱的测量坐标系和标准坐标系下的坐标，[ΔX,ΔY,ΔZ]T代表平移参数，R(εX，εY，εZ)代表旋转矩阵，εX、εY、εZ表示绕坐标轴的三个旋转角，即为姿态参数；
步骤5-2、令εZ＝0，取n为对应点云簇中点云的个数，只需求取ΔX、ΔY、εX、εY这四个参数，根据最小二乘原理构造目标函数F：
式中，r表示圆柱半径为已知值，，R＝R1(εX)R2(εY)，其中
将目标函数在近似值(ΔX0、ΔY0、(εX)0、(εY)0)处以泰勒级数展开，舍去二阶及以上项，得：
F＝F0+Bξ
式中，ξ表示参数向量的修正值，ξ＝[dΔX dΔY εX εY]T，B为系数矩阵：
步骤5-3、选取四个参数的初始近似值(ΔX0、ΔY0、(εX)0、(εY)0)，代入目标函数中，使得目标函数收敛到最小，求得参数向量的修正值ξ，在当前参数近似值上加上修正值进行修正，得到新的近似值取代(ΔX0、ΔY0、(εX)0、(εY)0)，重复上述过程，直至4个未知参数的近似值代入F0时，F0的值小于设定的阈值，进而获得圆柱方程，确定各小圆柱中心即为电缆中心线上的离散点；
步骤6、采用基于主成分分析方法和八叉树方向约束的排序算法，并通过B样条插值算法拟合出电缆的中心线方程，实现电缆在空间中的三维重建。
2.根据权利要求1所述的基于点云的柔性电缆识别与三维重建方法，其特征在于，所述步骤1中深度图像与彩色图像的对齐具体包括以下步骤：
步骤1-1、利用相机内参数矩阵将深度图的像素点还原到深度坐标系下；
步骤1-2、利用相机外参数矩阵将深度坐标系转换到世界坐标系中；
步骤1-3、建立深度图到彩色图的映射关系，将世界坐标系中的深度点转换到彩色摄像头坐标系；
步骤1-4、通过z轴归一化与彩色图像进行对齐，生成三维点云数据。
3.根据权利要求1所述的基于点云的柔性电缆识别与三维重建方法，其特征在于，所述步骤2中基于统计的稀疏离群点检测方法剔除离群点的方法具体为：
步骤2-1、采用KD-tree的方式计算每个点与邻域点集之间的平均距离：
式中di为目标点与k最近邻域中一点的欧氏距离；
步骤2-2、根据平均距离设定点云中所有点的距离构成高斯分布，其形状取决于平均距离μ和标准差σ，若平均距离超出设定的阈值，则定义为离群点并将之删除，即设定了置信区间[c1,c2]：
其中，α为比例因子，用于设调节区间范围。
4.根据权利要求1所述的基于点云的柔性电缆识别与三维重建方法，其特征在于，所述步骤3中基于深度学习的点云语义分割算法，具体为：
步骤3-1、制作电缆的训练样本；
步骤3-2、通过深度学习框架搭建模型，使用深度学习数据集预训练模型，设置及初始化各层参数；
步骤3-3、基于预训练模型，输入电缆的训练样本继续训练，并设置block的大小和步长，得到精确的语义分割模型；
步骤3-4、将步骤2剔除离群点后的三维点云数据输入语义分割模型，输出得到分割后的电缆点云。
5.根据权利要求1所述的基于点云的柔性电缆识别与三维重建方法，其特征在于，步骤6中拟合电缆的中心线方程的方法，具体为：
步骤6-1、通过主成分分析方法对电缆的点云数据的协方差矩阵进行奇异值分解，提取出平行于电缆协方差矩阵特征量的立体方向包围盒；
步骤6-2、将电缆包围盒的体对角线作为电缆点云的主轴，将步骤6提取出的各中心点投影至主轴上，按照主轴上投影点的顺序确定中心点的初始顺序；
步骤6-3、通过八叉树方向约束，修正误排序点，完成中心点排序；
步骤6-4、基于三次B样条插值完成电缆中心线的拟合，获得电缆在空间中的三维模型。
6.根据权利要求5所述的基于点云的柔性电缆识别与三维重建方法，其特征在于，所述步骤6-3中的完成中心点排序具体为：
判断线段pi-1pi与pipi+1的夹角，当线段pi-1pi与pipi+1的夹角小于90°，则将点pi与pi+1顺序进行调换，若线段pi-1pi与pipi+1的夹角大于90°，则判断线段pipi+1与pipi+2的大小，若pipi+1＞pipi+2，说明pi+1并不是它所在方向距离pi最近的点，此时需要将pi+2移至pi之后，再进行下一个点的判断，直至完成排序。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述方法的步骤。
8.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110258661.4A CN112907735B (zh) | 2021-03-10 | 2021-03-10 | 一种基于点云的柔性电缆识别与三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110258661.4A CN112907735B (zh) | 2021-03-10 | 2021-03-10 | 一种基于点云的柔性电缆识别与三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907735A CN112907735A (zh) | 2021-06-04 |
| CN112907735B true CN112907735B (zh) | 2023-07-25 |
Family
ID=76107059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110258661.4A Active CN112907735B (zh) | 2021-03-10 | 2021-03-10 | 一种基于点云的柔性电缆识别与三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907735B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113484875B (zh) * | 2021-07-30 | 2022-05-24 | 燕山大学 | 一种基于混合高斯排序的激光雷达点云目标分级识别方法 |
| CN113888612A (zh) * | 2021-09-18 | 2022-01-04 | 北京市农林科学院信息技术研究中心 | 动物点云多视角实时采集与3d重建方法、装置及系统 |
| CN114972640B (zh) * | 2022-05-20 | 2024-08-06 | 天津理工大学 | 一种基于点云的线缆三维重建与参数计算的方法 |
| CN115239951B (zh) * | 2022-06-08 | 2023-09-15 | 广东领慧数字空间科技有限公司 | 一种基于点云数据处理的墙面分割识别方法及系统 |
| CN114973006B (zh) * | 2022-08-02 | 2022-10-18 | 四川省机械研究设计院(集团)有限公司 | 花椒采摘方法、装置、系统及存储介质 |
| CN115984489B (zh) * | 2023-03-21 | 2023-09-19 | 广东数字生态科技有限责任公司 | 一种输电线路的三维重建方法、装置及处理设备 |
| CN117237409B (zh) * | 2023-09-06 | 2024-06-14 | 广州飞漫思维数码科技有限公司 | 基于物联网的射击游戏准星校正方法及系统 |
| CN118094708B (zh) * | 2024-02-27 | 2024-09-20 | 重庆交通大学 | 一种大跨度拱桥预拼制造的一次就位拼装控制方法 |
| CN118628682A (zh) * | 2024-08-14 | 2024-09-10 | 青岛阅海信息服务有限公司 | 基于三维点云的建筑物3d模型自动化建模方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
| CN111091062A (zh) * | 2019-11-21 | 2020-05-01 | 东南大学 | 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法 |
| CN111507982A (zh) * | 2019-06-28 | 2020-08-07 | 浙江大学 | 一种基于深度学习的点云语义分割方法 |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
-
2021
- 2021-03-10 CN CN202110258661.4A patent/CN112907735B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
| CN111507982A (zh) * | 2019-06-28 | 2020-08-07 | 浙江大学 | 一种基于深度学习的点云语义分割方法 |
| CN111091062A (zh) * | 2019-11-21 | 2020-05-01 | 东南大学 | 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法 |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907735A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
| CN110648361B (zh) | 一种三维目标物体的实时位姿估计方法及定位抓取系统 | |
| CN111251295B (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| Yu et al. | A vision-based robotic grasping system using deep learning for 3D object recognition and pose estimation | |
| CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
| CN113409384B (zh) | 一种目标物体的位姿估计方法和系统、机器人 | |
| CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| JP5627325B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| CN112837356A (zh) | 一种基于wgan的无监督多视角三维点云联合配准方法 | |
| CN107358629B (zh) | 一种基于目标识别的室内建图与定位方法 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| CN112801977B (zh) | 一种基于深度学习的装配体零件相对位姿估计监测方法 | |
| CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取系统及方法 | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN110992427B (zh) | 一种形变物体的三维位姿估计方法及定位抓取系统 | |
| CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
| CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
| CN110992422B (zh) | 一种基于3d视觉的药盒姿态估计方法 | |
| CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
| CN112669385A (zh) | 基于三维点云特征的工业机器人工件识别与位姿估计方法 | |
| CN110097599B (zh) | 一种基于部件模型表达的工件位姿估计方法 | |
| CN111028238A (zh) | 一种基于机器人视觉的复杂异形曲面三维分割方法及系统 | |
| CN108469729B (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
| CN115284279A (zh) | 一种基于混叠工件的机械臂抓取方法、装置及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Guo Jian Inventor after: Zheng Xianjie Inventor after: Fan Weihua Inventor after: Chen Huan Inventor after: Wang Yue Inventor after: Xiao Xiao Inventor after: Wu Wei Inventor after: Wu Peihang Inventor after: Luo Wei Inventor before: Zheng Xianjie Inventor before: Chen Huan Inventor before: Wang Yue Inventor before: Xiao Xiao Inventor before: Wu Wei Inventor before: Wu Peihang Inventor before: Luo Wei Inventor before: Guo Jian Inventor before: Fan Weihua |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |