CN102135417A - 一种全自动三维特征提取方法 - Google Patents

Abstract

一种全自动三维特征提取方法，该方法首先将立体视觉测量系统获得的所有单视场的三维点云转化为单视场的深度图像；再将单视场点云进行拼接，然后由工件已知的定位特征，在相应的深度图像上进行自动搜索和提取，得到工件的定位特征，从而将拼接后的三维点云自动转换到工件坐标系下；再输入工件所有待测特征在工件设计模型中的理想坐标，将特征分成孔径、筋、平面等几种类型，分别在深度图像上进行自动提取，得到二维深度图像坐标；查找二维深度图像坐标对应工件坐标系下的三维点，计算后获得各特征的三维信息。该方法具有全自动、灵活、扩展性好的特点，可用于各种已知定位特征工件的三维特征自动提取。

Description

一种全自动三维特征提取方法

技术领域

本发明涉及一种全自动三维特征提取方法，可用于三维测量系统中对被测工件特征的提取，特征种类包括单点，圆孔，筋，平面等。本发明属于光学测量领域。

背景技术

工件在加工的过程中，由于机床误差、操作不规范等原因，会导致加工工件同理想模型间存在着一定误差。通过三维测量系统，可以获得待测工件的三维点云，工件点云上的诸如孔、筋、面等特征是几何参数、约束信息等各种信息的综合表达；特征同理想模型的比对，可以在一定程度上反映出加工误差；同时这些特征的精度，也对工件的质量评价具有重要意义。因此，能否快速、准确、便捷地提取出待测工件三维点云上的特征成为三维点云处理中急待解决的问题。

目前国内外的特征提取方法，在计算、实施的过程中一般都需要人工干预，手动选择待测特征，这些方法耗时长，操作复杂，对操作人员有一定的技术要求，不适用于工件的大规模、快速化、规范化工业测量。本发明针对此提出了一种全自动三维特征提取方法，此方法具有快速，准确，无需人工干预等特点，适用于多种类型工件的工业化测量。

发明内容

本发明的目的在于提供一种全自动三维特征提取方法，以解决现有技术中的缺陷，能够用于三维点云特征的全自动提取。

本发明的技术解决方案为：对三维点云进行投影，得到深度图像，在深度图像上提取定位特征，由定位特征确定工件坐标系进行坐标系的转换，最后自动提取其他特征。具体包括以下步骤：

(1)用三维测量系统对工件进行扫描，获得待测工件的三维点云。

(2)将每个视场的三维点云通过投影转化成对应的深度图像。

(3)将所有单视场三维点云拼接到同一个测量坐标系下。

(4)根据定位孔所在视场，找到包含定位孔特征的深度图像Img。

(5)采用深度图像边缘提取算法，提取在深度图像Img中待测工件的轮廓、边缘，得到边缘图像Img_E。

(6)采用图像标记算法，对边缘图像Img_E进行标记，标记结束后同一边缘上所有点具有相同的标记值，得到标记图像Img_T。

(7)采用圆形轮廓搜索算法，搜索标记图像Img_T中的所有圆形轮廓。

(8)记录深度图像Img中圆形轮廓的坐标，并找到其在测量坐标系下对应的点云，对这些点云进行拟合，得到空间圆的中心坐标和直径。根据设置的空间圆孔直径范围，剔除不符合条件的空间圆，得到定位孔特征{Φ_n}，n＝1，2。

(9)由自动提取的定位孔特征{Φ_n}，n＝1，2，进行测量坐标系自动对齐。

(10)读入所有待比对特征在工件设计模型下的三维理想坐标，由特征自动提取和比对算法进行自动提取和比对。

其中，步骤(5)中的深度图像边缘提取算法为：设置深度差阈值T₀，对整幅深度图像分别进行行搜索与列搜索，所有与其相邻像素之间深度差T，T≥T₀的像素都被提取出来，得到所需边缘图像Img_E。

其中，步骤(6)中的图像标记算法为：为对边缘图像Img_E分别进行逐行逐列扫描，搜索每一像素点的右上3邻域，属于同一边缘的点之间彼此相邻，相邻点之间赋予相同的标记值，再对标记值的互相关联关系建立索引表，由索引表对标记图进行更新，完成标记，得到Img_T。

其中，步骤(7)中的圆形轮廓搜索算法为：对Img_T进行重新搜索，确定每一个标记值M所存在区域的宽度范围Width和高度范围Height，对于圆形轮廓，其标记值M_Φ的宽度范围Width_Φ和高度范围Height_Φ之差小于设定的阈值T′，据此提取出所有可能为圆形轮廓的图像坐标。

其中，步骤(9)中的测量坐标系自动对齐的步骤为：首先对于(8)中得到的定位孔特征{Φ_n}，n＝1，2，取Φ₁的圆心O₁为工件坐标系的圆心O，以Φ₁，Φ₂的圆心O₁，O₂的连线方向为X轴方向，以Φ₁，Φ₂上表面所在平面的法向作为Z轴方向，进而由X轴、Z轴方向向量进行叉积运算，得到Y轴方向，建立工件坐标系；然后，计算测量坐标系同工件坐标系之间的关系，将拼接后的三维点云转化到工件坐标系下，完成测量坐标系的自动对齐。

其中，步骤(10)中的特征自动提取和比对算法为：由工件设计模型坐标，确定所有待比对特征所在视场，找到其对应的深度图像，通过投影，获得待比对特征在深度图像上的坐标。在相应的标记图Img_T上，寻找与其坐标最近的标记点，其标记值即为需要提取的标记值M，进而对整幅Img_T进行搜索，提取出所有标记值为M的坐标，再根据已知的坐标系关系，将这些坐标转化为工件坐标系下的三维坐标，进行圆孔、筋、面等的三维拟合，进而求出圆孔的直径，筋的厚度等特征参数，同工件设计模型上的特征参数进行自动比对，得到比对结果。

本发明与现有技术相比的优点在于：(1)能够自动提取定位特征，将测量坐标系转换成已知的工件坐标系，实现坐标系的自动转换。(2)能够自动提取所需的孔、筋、面等特征，目标准确，针对性强，同时可以实现实际测量结果同工件设计理想模型的自动比对，可以有效地评价产品质量。(3)采用基于深度图像的特征提取方法，计算速度快，精度高，灵活性强。

附图说明

图1为本发明一种三维全自动特征提取方法的流程图；

具体实施方式

一种全自动三维特征提取方法，如图1所示包括以下步骤：

(1)用三维测量系统对工件进行扫描，获得待测工件的三维点云。因三维测量系统的单个视场测量范围有限，对于大尺寸工件，需要扫描多个视场。

(2)将每个视场的三维点云通过投影转化成对应的深度图像。深度图像上投影点坐标(u，v)与其对应的三维坐标(X_W，Y_W，Z_W)满足以下关系：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]$

其中，α_x、α_y、u₀、v₀为摄像机内参数，R为旋转矩阵，t为平移向量，它们都可以通过摄像机标定获得。

(3)将所有单视场三维点云拼接到同一个测量坐标系下。拼接方法包括：粘贴标志点、机械臂辅助拼接法等，是本领域的通用方法。

(4)根据定位孔所在视场，找到包含定位孔特征的深度图像Img。

(5)采用深度图像边缘提取算法，提取在深度图像Img中待测工件的轮廓、边缘，得到边缘图像Img_E。

深度图像边缘提取算法是根据Img上边缘像素与其相邻的像素之间存在一定的深度差，设置深度差阈值T₀，对整幅深度图像分别进行行搜索与列搜索，所有与其相邻像素之间深度差T，T≥T₀的像素都被提取出来，得到所需边缘图像Img_E。

(6)采用图像标记算法，对边缘图像Img_E进行标记，标记结束后同一边缘上所有点具有相同的标记值，得到标记图像Img_T。

图像标记算法为：为对边缘图Img_E分别进行逐行逐列扫描，搜索每一像素点的右上3邻域，属于同一边缘的点之间彼此相邻，相邻点之间赋予相同的标记值，再对标记值的互相关联关系建立索引表，由索引表对标记图进行更新，完成标记，得到Img_T。

(7)采用圆形轮廓搜索算法，搜索标记图像Img_T中的所有圆形轮廓。

圆形轮廓搜索算法为：Img_T中，同一轮廓上所有点均具有相同的标记值，对Img_T进行重新搜索，确定每一个标记值M所存在区域的宽度范围Width和高度范围Height，对于圆形轮廓，其标记值M_Φ的宽度范围Width_Φ和高度范围Height_Φ之差小于设定的阈值T′，据此提取出所有可能为圆形轮廓的图像坐标。

(8)记录二维深度图像中圆形轮廓的图像坐标，并找到其在测量坐标系下对应的点云，对这些点云进行拟合，得到空间圆的中心坐标和直径。根据设置的空间圆孔直径范围，剔除不符合条件的空间圆，得到定位孔特征{Φ_n}，n＝1，2。

若最后仍然存在多个空间圆满足条件，则根据所有空间圆对应二维深度图像中圆心图像坐标，选择距离二维深度图像中心最近的一个为准。

(9)由自动提取的定位孔特征{Φ_n}，n＝1，2，进行测量坐标系自动对齐。

测量坐标系自动对齐的步骤为：首先对于(8)中得到的定位孔特征{Φ_n}，n＝1，2，取Φ₁的圆心O₁为工件坐标系的圆心O，以Φ₁，Φ₂的圆心O₁，O₂的连线方向为X轴方向，以Φ₁，Φ₂上表面所在平面的法向作为Z轴方向，进而由X轴、Z轴方向向量进行叉积运算，得到Y轴方向，建立工件坐标系；然后，计算测量坐标系同工件坐标系之间的关系，将拼接后的三维点云转化到工件坐标系下，完成测量坐标系的自动对齐。

(10)读入所有带比对特征在工件设计模型下的三维理想坐标，由特征自动提取和比对算法进行自动提取和比对。

其中，所有待比对的特征在工件设计模型下的三维坐标，都提前以一定形式的XML文件格式存储，对这些文件进行自动读取，将待比对的理想坐标输入进程序。

特征自动提取和比对算法的实施步骤为：

首先，由工件设计模型坐标，确定所有待比对特征所在视场，找到其对应的深度图像，通过投影，获得待比对特征在深度图像上的坐标。

然后针对不同的特征，后续处理的方法不同。对于圆孔、筋等特征，以其投影的深度图像坐标作为搜索定位，在相应的边缘标记图上寻找与其坐标最近的标记点，其标记值即为需要提取的标记值M，进而对整幅标记图进行搜索，提取出所有标记值为M的坐标，再根据已知的坐标系关系，将这些坐标转化成工件坐标系下的三维坐标，进行圆孔、直线等的三维拟合，进而求出圆孔的直径，筋的厚度等特征参数，同工件设计模型上的特征参数进行自动比对；对于平面特征，对其对应的深度图像进行面标记(标记方法同边缘图的标记基本相同)，在面标记图完成后，以工件设计模型上面特征的深度图像坐标为搜索定位，在面标记图上寻找与其坐标最相近的坐标，提取此坐标的标记值N，进而对整幅面标记图进行搜索，提取所有标记值为N的坐标，根据已知坐标系的关系，将这些坐标转化成工件坐标系下的三维坐标，进行三维平面拟合，拟合结果与工件设计模型上的理想平面进行自动比对；对于单点坐标，直接用其投影的深度图像坐标作为定位，在深度图像上进行搜索，搜索出与其坐标相近的六个点，将这个六个点的深度图像坐标转化成工件坐标系下的三维坐标，将这些三维坐标拟合成一个小平面F，将工件设计模型上的理想三维坐标A向平面F投影，投影线的垂足B即为A在工件测量坐标下对应的三维坐标，A与B的距离d即为测量误差。

Claims (5)

1.一种全自动三维特征提取方法，其特征在于：包括以下步骤：

(1)用三维测量系统对工件进行扫描，获得待测工件的三维点云；

(2)将每个视场的三维点云通过投影转化成对应的深度图像；

(3)将所有单视场三维点云拼接到同一个测量坐标系下；

(4)根据定位孔所在视场，找到包含定位孔特征的深度图像Img；

(5)采用深度图像边缘提取算法，提取在深度图像Img中待测工件的轮廓、边缘，得到边缘图像Img_E；

(6)采用图像标记算法，对边缘图像Img_E进行标记，标记结束后同一边缘上所有点具有相同的标记值，得到标记图像Img_T；

(7)采用圆形轮廓搜索算法，搜索标记图像Img_T中的所有圆形轮廓。

(8)记录深度图像Img中圆形轮廓的坐标，并找到其在测量坐标系下对应的点云，对这些点云进行拟合，得到空间圆的中心坐标和直径；根据设置的空间圆孔直径范围，剔除不符合条件的空间圆，得到定位孔特征{Φ_n}，n＝1，2；

(9)由自动提取的定位孔特征{Φ_n}，n＝1，2，进行测量坐标系自动对齐；

(10)读入所有待比对特征在工件设计模型下的三维理想坐标，由特征自动提取和比对算法进行自动提取和比对。

2.根据权利要求1所述的一种全自动三维特征提取方法，其特征在于：所述的步骤(5)中的深度图像边缘提取算法为：设置深度差阈值T₀，对整幅深度图像分别进行行搜索与列搜索，所有与其相邻像素之间深度差T，T≥T0的像素都被提取出来，得到所需边缘图像Img_E。

3.根据权利要求1所述的一种全自动三维特征提取方法，其特征在于：所述的步骤(6)中的图像标记算法为：为对边缘图像Img_E分别进行逐行逐列扫描，搜索每一像素点的右上3邻域，属于同一边缘的点之间彼此相邻，相邻点之间赋予相同的标记值，再对标记值的互相关联关系建立索引表，由索引表对标记图进行更新，完成标记，得到Img_T。

4.根据权利要求1所述的一种全自动三维特征提取方法，其特征在于：所述的步骤(7)中的圆形轮廓搜索算法为：对Img_T进行重新搜索，确定每一个标记值M所存在区域的宽度范围Width和高度范围Height，对于圆形轮廓，其标记值M_Φ的宽度范围Width_Φ和高度范围Height_Φ之差小于设定的阈值T′，据此提取出所有可能为圆形轮廓的图像坐标。

5.根据权利要求1所述的一种全自动三维特征提取方法，其特征在于：所述的步骤(9)中的测量坐标系自动对齐的步骤为：首先对于步骤(8)中得到的定位孔特征{Φ_n}，n＝1，2，取Φ₁的圆心O₁为工件坐标系的圆心O，以Φ₁，Φ₂的圆心O₁，O₂的连线方向为X轴方向，以Φ₁，Φ₂上表面所在平面的法向作为Z轴方向，进而由X轴、Z轴方向向量进行叉积运算，得到Y轴方向，建立工件坐标系；然后，计算测量坐标系同工件坐标系之间的关系，将拼接后的三维点云转化到工件坐标系下，完成测量坐标系的自动对齐。6、根据权利要求1所述的一种全自动三维特征提取方法，其特征在于：所述的步骤(10)中的特征自动提取和比对算法为：由工件设计模型坐标，确定所有待比对特征所在视场，找到其对应的深度图像，通过投影，获得待比对特征在深度图像上的坐标；在相应的标记图Img_T上，寻找与其坐标最近的标记点，其标记值即为需要提取的标记值M，进而对整幅Img_T进行搜索，提取出所有标记值为M的坐标，再根据已知的坐标系关系，将这些坐标转化为工件坐标系下的三维坐标，进行圆孔、筋、面等的三维拟合，进而求出圆孔的直径，筋的厚度等特征参数，同工件设计模型上的特征参数进行自动比对，得到比对结果。

Images