CN113111741B - 一种基于三维特征点的装配状态识别方法 - Google Patents

Abstract

本发明提出了一种基于三维特征点的装配状态识别方法，首先提取数字模型的边角特征，然后结合尺寸特征、空间分布等特性实现深度图像点云中属于在装产品特征点及点云的提取与分割，根据在装产品特征点建立坐标系描述符，然后统计不同数字模型特征点坐标系描述符下二者特征点的匹配结果，以匹配数量及欧氏距离为约束条件选取最优解建立特征点映射关系。根据特征点映射关系实现数字模型点云与在装产品点云的配准，然后分析匹配点对的数目和间距大小进行点云相似度的运算，结合相似度分析结果实现产品装配姿态与进度状态的识别。实验表明，该方法可以快速有效地识别产品的装配状态。

Description

一种基于三维特征点的装配状态识别方法

技术领域

本发明属于计算机辅助装配领域，具体为一种以三维装配体点云为输入、以数字模型为模板、以装配进度状态为识别结果的方法。

背景技术

在数字化设计环境中，企业通常具备产品详细的数字模型。利用装配现场提取的在装产品深度图像数据与产品数字三维模型进行自然特征信息的匹配分析，可以实现无标记的装配对象位姿与进度的识别，进而解决图形标签难以贴在零件表面、零件无纹理导致的难以通过二维图像识别的问题。为了节约识别的时间成本，装配状态的识别首先要提取数字模型与在装产品的特征，然后基于所提取的特征给出识别方法。目前已经出现了一些用于不同特征的三维对象识别方法：

在专利“面向模型检索的装配体模型定量描述方法(CN105574265A，公开日期：20160511)”中提出了一种基于零件形状匹配的装配体描述方法，该方法在多维空间中描述零件形状分布信息，采用零件集合的形式对装配体进行描述。但进一步研究发现这种方法在描述相同零件组成但不同连接关系的装配体时会得到相近的结果，不符合识别的要求。

在文献“Ke Wang,Daxin Liu,Zhenyu Liu,et al.A fast object registrationmethod for augmented reality assembly with simultaneous determination ofmultiple 2D-3D correspondences.2020,63”中对单位视点球面进行均分以此渲染出一组关键帧，压缩后从其余关键帧中提取线链特征(COLF)作为2D特征。该方法的限制在于目标对象需要包含大量的线段，否则会降低配准率甚至会导致识别失败。

在专利“一种三维点云数据特征点提取方法及应用(CN111710023A，公开日期：20200925)”中提出了一种基于三维点云数据的特征点提取方法，对深度相机采集的点云数据进行高斯滤波降噪处理，根据构造的特征点度量函数与阈值进行比较提取特征点。这种方法虽说一定程度降低了图像的噪声，但条纹状的噪声和一些噪声点仍然存在，会产生较大误差甚至是错误的结果点，影响后续的点云配准甚至会导致识别失败。

发明内容

针对零件无纹理时二维图像难以识别以及深度图像噪声不易处理的问题，本发明通过视觉捕捉边角特征量化装配对象，提出了一种基于三维特征点的装配状态识别方法。根据装配体结构特征和曲率之间的关系实现特征点的提取，以特征点的映射关系为输入实现数字模型与在装产品的点云配准，并进行点云相似度的计算，通过分析点云相似度实现产品装配状态的识别，输出在装产品的位姿与装配进度信息。

本发明的技术方案为：

所述一种基于三维特征点的装配状态识别方法，包含以下步骤：

步骤1：对装配体的各装配阶段模型进行分析，对装配体模型表面进行网格划分，获得各装配阶段的零部件点云装配点云/>以及网格节点间的连接关系/>

步骤2：根据网格节点间的连接关系集合中的元素，求解网格各节点的周角并得到周角数值集合/>周角数值集合/>与装配点云/>的元素数量相同并一一对应；

步骤3：对周角数值集合中各元素进行周角差值的计算，得到周角差值集合周角差值集合/>与装配点云/>的元素数量相同并一一对应；

步骤4：计算特征点周角差值阈值θ_min：

其中r为产品模型的最大倒圆角半径，R为曲面最大边缘半径，b为网格尺寸；若产品模型中无圆角，则

步骤5：在周角差值集合中搜索所有大于θ_min的元素，在/>找到相应的元素并由此获取各装配阶段的模型特征点集合/>i为当前的装配阶段，w为当前装配阶段的周角差值特征点数量；

步骤6：采用深度相机拍摄装配场景，进而获取三维点云数据并进行栅格化处理，对每一个栅格内的点云取其数值最大的点作为该栅格的数值，得到栅格化的装配场景点云矩阵M^asm-grid，矩阵中的点构成用于后续分析的点集其中v为装配场景点云的数量；

步骤7：以每一栅格的中心点与栅格内的两点构成的三角作为表面网格，以作为输入，采用步骤1-5的方法进行装配场景下的周角差值特征点的提取，得到装配场景周角差值特征点集合/>e为装配场景周角差值特征点的数量；

步骤8：分析装配场景各点的周角差值，提取装配平面上的点然后对装配场景点云进行空间姿态变换，并进行在装产品的点云分割，得到栅格化的在装产品点云矩阵M^asm-grid(i,j)；

步骤9：依据在装产品特征点的空间分布，构建在装产品特征点的坐标系，并建立坐标系描述符，获取在装产品特征点在坐标系描述符下的各点坐标数值；

步骤10：选定数字模型特征点构建数字模型特征点坐标系描述符，然后建立特征点映射关系；

步骤11：以特征点映射关系作为配准迭代的输入信息，实现在装产品与数字模型点云的配准；

步骤12：对配准后的数字模型点云进行栅格化，获得数字模型的栅格化点云矩阵矩阵/>内的点构成第i个装配阶段时数字模型栅格化后的点集；

步骤13：依据配准后的点云数据，通过分析匹配点对个数和间距大小实现装配状态相似度分析；

步骤14：结合相似度分析结果实现产品装配状态识别。

进一步的，步骤1中，在装配坐标系中通过网格划分软件对模型表面进行网格划分，将网格节点存储在零部件点云i为装配体的装配阶段，n为装配体的零部件数量，m为当前装配阶段零部件点云中网格节点的数量；/>形成装配点云/>其定义为/> 包括装配过程中的前i个零件；在划分网格过程中获得网格节点间的连接关系集合/>其中/>内各元素均由三个正整数组成，分别对应构成该三角网格的三个节点在/>中的序号。

进一步的，步骤2中具体过程为：

步骤2.1：读取中第1个元素，根据第1个元素中序号从/>中找到对应的点，分别求解三个节点夹角；

步骤2.2：将三个节点夹角添加到周角数值集合中三个节点的对应位置；

步骤2.3：对的下一元素进行分析；当对同一节点进行了多次的夹角计算，则对夹角数值进行累加；直至完成/>内所有元素的分析，得到各节点的周角。

进一步的，步骤3中，对周角数值集合中各元素和2π做差后取绝对值，得到周角差值。

进一步的，步骤8中，具体步骤为：

步骤8.1：对点集内各点进行分析，若某点设定邻域范围内其余点的周角差值均小于设定阈值，则认为该点处于平面上，以此得到平面上的点集合为/>

步骤8.2：建立装配平面拟合方程，对进行最小二乘法拟合求解出单位法向量点云旋转矩阵R^asm和平移向量M^asm；依据旋转矩阵和平移向量，对特征点集合/>以及中全部元素进行空间姿态变换，并移除/>以及M^asm-grid中不符合

和/>条件的元素，实现在装产品的点云分割；其中r^asm为在装产品在装配场景中所占范围的最大半径。

进一步的，步骤9中，具体步骤为：

步骤9.1：搜寻在装产品特征点在原始坐标系x-y面上的投影距离最大两点和/>求取两点线段的中点po作为新坐标系原点，并依据/>和/>连线得到新坐标系x轴正方向的单位向量/>并取z轴方向的单位向量为/>按右手定则得到y轴正方向/>建立以p_o为原点，以/>分别为x、y、z轴正方向的在装产品特征点坐标系；

步骤9.2：采用两点的z轴参数及二者线段投影长度组成的一维向量作为特征点空间分布坐标系的描述符：

步骤9.3：得到特征点集的空间旋转平移矩阵表达式

其中θ表示向量与原装配坐标系x轴正方向夹角，t_x表示平移前后坐标系原点在x轴方向的平移量，t_y表示平移前后坐标系原点在y轴方向的平移量；由此得到在坐标系描述符下，在装产品的周角差值特征点为/>

进一步的，步骤10中，具体步骤为：

步骤10.1：在以特征点和/>构建的坐标系中，将这两个点表示为/>和从模型的周角差值特征点集合中选取两个元素/>和/>并假设分别与和/>成映射关系，由这两个元素构成模型特征点空间分布坐标系的描述符D^mod-axis为：

通过D^mod-axis计算和/>的距离l₁和l₂；并利用步骤9的方法，得到/>和/>对应的周角差值特征点/>

步骤10.2：建立并设定最大匹配个数G及累计匹配间距L；

步骤10.3：分析D^asm-axis与D^mod-axis的相似性，若满足l₁和l₂小于深度相机测量误差上限Δl_deviation，则初始化统计参数匹配个数g＝0和累计欧氏距离l＝0，进行后续运算，否则从模型的周角差值特征点集合中重新选取两个元素作为和/>返回步骤10.1；

步骤10.4：获得当前坐标系下的模型特征点从中逐个搜寻得到与P^asm-axis欧氏距离最小的一个元素，若该元素与P^asm-axis欧氏距离小于Δl_deviation，则认为该匹配有效，计入匹配个数g并将欧氏距离累计入l；循环上述操作直至完成对P^asm-axis中各元素的遍历；

步骤10.5：当g＞G或者g＝G且l＜L，则令G＝g，L＝l，并建立特征点映射集合和/>二者之间构建映射/>

步骤10.6：从模型的周角差值特征点集合中重新选取两个元素作为和/>循环进行步骤10.1～步骤10.5，直至完成模型的周角差值特征点集合中的所有模型特征点对组合，最终得到的映射/>即为在装产品与模型特征点之间的匹配关系。

进一步的，步骤13中，具体步骤为：

步骤13.1：读入栅格化的在装产品点云矩阵M^asm-grid(i,j)；

步骤13.2：读入第k个装配阶段的模型栅格化点云并将在装产品点云元素数量n^asm、模型点云元素数量/>及匹配点对数量N_k初始化为零；

步骤13.3：判断M^asm-grid(i,j)是否为有效点，依据判断结果对n^asm进行相应改变：

步骤13.4：判断M_k ^mod-grid(i,j)是否为有效点，依据判断结果对进行相应改变：

步骤13.5：判断M^asm-grid(i,j)和的差值是否超过测量误差上限，并依据结果对N_k进行改变：

步骤13.6：循环进行步骤13.3至步骤13.5直至完成M_k ^mod-grid(i,j)中全部元素的分析；

步骤13.7：依据n^asm、和N_k计算可匹配点在在装产品点云及模型点云中的占比：

采用和/>的均值作为这两组栅格化点云的相似度数值/>

步骤13.8：循环步骤13.2～步骤13.7，直至对所有装配阶段的全部元素完成相似度分析，并由各装配阶段的相似度构建相似度序列R^sim：

进一步的，步骤14中，具体步骤为：

步骤14.1：读入相似度分析得出的各装配状态相似度数值，从中寻找相似度最大项并记其在相似度序列R^sim中的序号s；

步骤14.2：以序号s在数字模型中所对应阶段作为识别结果。

有益效果

本发明通过视觉捕捉边角特征量化装配对象，提出了一种基于三维特征点的装配状态识别方法，首先提取数字模型的边角特征，然后结合尺寸特征、空间分布等特性实现深度图像点云中属于在装产品特征点及点云的提取与分割，根据在装产品特征点建立坐标系描述符，然后统计不同数字模型特征点坐标系描述符下二者特征点的匹配结果，以匹配数量及欧氏距离为约束条件选取最优解建立特征点映射关系。根据特征点映射关系实现数字模型点云与在装产品点云的配准，然后分析匹配点对的数目和间距大小进行点云相似度的运算，结合相似度分析结果实现产品装配姿态与进度状态的识别。实验表明，该方法可以快速有效地识别产品的装配状态。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明方法具体实施方式中某机械加工定位夹具装配体实例。

图2是本发明方法具体实施方式中装配体数字模型的点云数据。

图3是本发明方法具体实施方式中数字模型点云中特征点提取结果。

图4是本发明方法具体实施方式中由深度相机采集在装产品所在装配场景的点云可视化数据。

图5是本发明方法具体实施方式中在装产品所在装配场景的点云栅格化处理后的可视化数据。

图6是本发明方法具体实施方式中装配场景栅格化点云中特征点提取结果。

图7是本发明方法具体实施方式中装配场景栅格化点云中装配水平面提取结果。

图8是本发明方法具体实施方式中在装产品点云的分割与空间姿态变换结果。

图9是本发明方法具体实施方式中在装产品和数字模型点云特征点映射关系的构建方法流程图。

图10是本发明方法具体实施方式中特征点映射关系的构建结果。

图11是本发明方法具体实施方式中在装产品和数字模型点云配准结果。

图12是本发明方法具体实施方式中基于临近点占比的相似度分析方法流程图。

具体实施方式

本发明首先通过对装配体的数字模型及深度相机采集的在装产品三维点云数据提取特征点，然后在数字模型特征点中匹配在装产品的特征点并建立映射关系。依据特征点映射关系，使数字模型与在装产品实现点云配准，最终通过基于临近点占比的相似度分析实现产品装配状态的识别。

参照图1～图12，针对某机械加工定位夹具装配体，本实施例基于三维特征点的装配状态识别方法具体步骤如下：

步骤1：为了节约装配状态识别的时间成本，本实施例通过对三维对象提取特征点来减少后续的分析时间。对装配体的各装配阶段模型进行分析，在装配坐标系中对模型表面进行网格划分，获得各装配阶段的零部件点云装配点云/>以及网格节点间的连接关系/>具体步骤如下：

(1)对于模型表面，在装配坐标系中通过网格划分软件进行采样，采集的点存储在零部件点云i为装配体的装配阶段，n为装配体的零部件数量，m为当前装配阶段零部件点云中网格节点的数量。/>形成装配点云/>其定义为/>其中i表示的是装配体的装配阶段，/>包括装配过程中的前i个零件；若i＝n，则表示装配已经完成，/>是整个装配体的点云。

(2)在划分网格过程中获得网格节点间的连接关系集合其中/>内各元素均由三个正整数组成，分别对应构成该三角网格的三个节点在/>中的序号。

建立周角数值集合和周角差值集合/>二者与/>的元素数量相同并与其一一对应，集合内各元素初始值为零。

步骤2：根据网格节点间的连接关系集合中的元素，求解网格各节点的周角并得到周角数值集合/>具体步骤如下：

(1)读取中第1个元素，根据序号从/>中找到对应的点，即一个三角网格的三个节点，分别求解三个节点夹角。

(2)然后将三个节点夹角添加到中三个节点的对应位置，并对/>的下一元素进行分析，其中同一节点会进行多次的夹角计算，对夹角数值进行累加直到完成/>内所有元素的分析。

步骤3：对周角数值集合中各元素进行周角差值的计算，然后添加到/>这里指对/>内各元素和2π做差取绝对值并记录在周角差值集合/>内。

步骤4：计算特征点周角差值的阈值θ_min的具体步骤如下：

网格节点的周角与2π的差值越大表明该点所在表面的弯曲程度越大，可以认为当网格节点的周角差值大于某一阈值时，该点为周角差值特征点。表面弯曲程度以高斯曲率为内在度量，在微分几何中表达为K＝k₁k₂，模型中连续表面曲率如表1所示：

表1

其中r为模型的最大倒圆角半径，R为曲面最大边缘半径，b为网格尺寸。此外非棱边或顶点的曲面其曲率极大值远大于圆角的曲率因此特征点提取阈值对应的曲率应当介于曲面曲率与曲面圆角曲率之间。为简化运算，以高斯曲率相等的球面代替曲面圆角的椭球面。球面上曲率极大值与极小值相等，由定义可知该球面半径为/>则该球面方程如下：

x²+y²+z²＝Rr

设三角网格中心点位于球面与z轴的交点处，网格尺寸为b，且相邻点与中心点连线在x-y平面上均匀分布，即z轴高度相等，由此得：

球面由该z轴平面截得的半径为

因此，由微分几何得出特征点周角差值的阈值θ_min为：

步骤5：在中搜索所有大于θ_min的元素，在/>找到相应的元素并由此获取各装配阶段的模型特征点集合/>集合表示中，集合与元素通过符号的大小写进行区分，i为当前的装配阶段，w为当前装配阶段的周角差值特征点数量。特征点提取结果如图3所示。

步骤6：采用深度相机拍摄装配场景以获取三维点云数据并进行栅格化处理，对每一个栅格内的点云取其数值最大的点作为该栅格的数值，得到栅格化的装配场景点云矩阵M^asm-grid，矩阵中的点构成用于后续分析的点集集合表示中，集合与元素通过符号的大小写进行区分，其中/>v为装配场景点云的数量。装配场景点云如图4，装配场景栅格化点云如图5所示。

步骤7：以每一栅格的中心点与栅格内某两点，如与中心点相邻的两点，构成的三角作为表面网格，以作为输入，采用步骤1-5的方法进行装配场景下的周角差值特征点的提取，得到装配场景周角差值特征点集合/>集合表示中，集合与元素通过符号的大小写进行区分，e为装配场景周角差值特征点的数量。在装产品特征点提取结果如图6所示。

步骤8：分析装配场景各点的周角差值，提取装配平面上的点然后对装配场景点云进行空间姿态变换，最后进行在装产品的点云分割；具体步骤为：

(1)当表面高斯曲率越小时，其表面上点的周角差值越接近于零。故对内各点进行分析，若某点设定邻域范围内其余点的周角差值均较小时(小于设定值)，则该点位于平面上，以此所提取的平面上的点集合为/>

(2)建立装配平面拟合方程，对进行最小二乘法拟合求解出单位法向量/>点云旋转矩阵R^asm和平移向量M^asm。然后对特征点集合/>以及/>中全部元素进行空间姿态变换，并移除/>以及M^asm-grid中不符合下式的元素，从而实现在装产品的点云分割：

其中r^asm为在装产品在装配场景中所占范围的最大半径，为在装产品的周角差值特征点，M^asm-grid为在装产品的栅格化的点云矩阵。装配平面提取结果如图7，在装产品点云分割及空间姿态变换结果如图8。

步骤9：依据在装产品特征点的空间分布，构建在装产品特征点的坐标系，并建立坐标系描述符，最后获取在装产品特征点在坐标系描述符下的各点坐标数值；具体步骤如下：

(1)搜寻在装产品特征点在装配坐标系x-y面上的投影距离最大两点/>和然后求取两点线段的中点p_o作为新坐标系原点，并依据/>和/>连线得到新坐标系x轴正方向的单位向量/>z轴方向的单位向量为/>由右手定则推得y轴正方向基于上述方法，以p_o为原点，以/>分别为x、y、z轴正方向，即为在装产品特征点的坐标系。

(2)采用两点的z轴参数及二者线段投影长度组成的一维向量作为特征点空间分布坐标系的描述符：

(3)特征点集的空间旋转平移矩阵表达式如下：

式中：

θ——向量与原装配坐标系x轴正方向夹角；

t_x——平移前后坐标系原点在x轴方向的平移量；

t_y——平移前后坐标系原点在y轴方向的平移量。

此时在装产品的周角差值特征点为

步骤10：选定数字模型特征点构建数字模型特征点坐标系描述符，然后建立特征点映射关系，具体步骤如下：

(1)在以特征点和/>构建的坐标系中，将这两个点表示为/>和/>从模型的周角差值特征点集合中选取两个元素/>和/>并假设分别与/>和成映射关系，由这两个元素构成模型特征点空间分布坐标系的描述符D^mod-axis为：

通过D^mod-axis计算和/>的距离l₁和l₂，成映射关系的两点在相同空间姿态下的间距小于深度相机测量误差上限Δl_deviation。在选定构建模型坐标系的特征点后，将特征点旋转平移以获取该坐标系下的三维坐标，与步骤9中获得P^asm-axis所采用方法相同，此时模型的周角差值特征点记为/>

(2)建立并设定最大匹配个数G及累计匹配间距L；

(3)分析D^asm-axis与D^mod-axis的相似性，若满足l₁和l₂小于Δl_deviation，则初始化统计参数匹配个数g＝0和累计欧氏距离l＝0，进行后续运算，否则从模型的周角差值特征点集合中重新选取一组新的特征点；

(4)获得当前坐标系下的模型特征点从中逐个搜寻与P^asm-axis欧氏距离最小的一个元素，有效匹配元素的欧氏距离小于Δl_deviation，若这一匹配结果满足要求则认为该匹配有效，计入匹配个数g并将欧氏距离累计入l。循环上述操作直至完成对P^asm-axis中各元素的遍历；

(5)匹配原则为在保持特征点匹配数目的前提下选取累计匹配间距数值最小的特征点作为匹配结果。因此当g＞G或者g＝G且l＜L，这两种情况使得当前配准向量下的特征点匹配程度相较于其余已分析情况的匹配程度更高。此时令G＝g，L＝l，并建立特征点映射集合和/>二者之间构建映射/>

(6)重新选取一组新的模型特征点并循环(1)至(5)，直至完成所有模型特征点对的组合，在分析过程中经多次更新，最终得到的映射即为在装产品与模型特征点之间的匹配关系。特征点映射关系构建流程图如图9，构建结果如图10所示。

步骤11：以特征点映射关系作为配准迭代的输入信息，采用ICP配准方法实现在装产品与数字模型点云的配准。点云配准结果如图11所示。

步骤12：对配准后的数字模型点云进行栅格化，获得数字模型的栅格化点云矩阵，即n为装配阶段的数量，矩阵/>内的点构成第i个装配阶段时数字模型栅格化后的点集；具体步骤如下：

以各点至视点的距离为依据，不断地由距视点更近的点取代先前的点，并将每完成一个装配阶段的点集记录为该装配阶段对应模型可视部分栅格化的结果，即在装配阶段Stage_i的模型栅格化点云的基础上对下一装配阶段新增的点云数据进行栅格化，可得到Stage_i+1的模型栅格化点云。在此采用与在装产品点云相同的处理方式实现模型点云的栅格化，获得模型的栅格化点云矩阵，即其与产品的装配阶段一一对应，n为装配阶段的数量。

步骤13：依据配准后的点云数据，通过分析匹配点对个数和间距大小建立基于临近点占比的装配状态相似度分析方法，具体步骤如下：

(1)读入在装产品栅格化点云M^asm-grid(i,j)；

(2)读入装配阶段Stage_k模型栅格化点云并将在装产品点云元素数量n^asm、模型点云元素数量/>及匹配点对数量N_k初始化为零；

(3)判断M^asm-grid(i,j)是否为有效点，依据判断结果对n^asm进行相应改变：

(4)判断M_k ^mod-grid(i,j)是否为有效点，依据判断结果对进行相应改变：

(5)判断M^asm-grid(i,j)和M_k ^mod-grid(i,j)的差值是否超过测量误差上限，并依据结果对N_k进行改变：

(6)循环进行(3)至(5)直至完成M_k ^mod-grid(i,j)中全部元素的分析；

(7)依据n^asm、和N_k计算可匹配点在在装产品点云及模型点云中的占比：

采用和/>的均值作为这两组栅格化点云的相似度数值/>

(8)循环(2)至(7)，直至对所有装配阶段的全部元素完成相似度分析，并由各装配阶段的相似度构建相似度序列R^sim：

基于临近点占比的相似度分析方法流程图如图12所示。

步骤14：结合相似度分析结果实现产品装配状态识别的具体步骤如下：

(1)读入基于临近点占比的相似度分析方法得出的各装配状态相似度数值，从中寻找相似度最大项并记其在相似度序列R^sim中的序号s；

(2)以序号s在数字模型中所对应的阶段Status_s作为识别结果。

建立用于存储某机械加工定位夹具装配体的数字模型数据库。表2所示为本发明方法具体实施方式中以八个视角采集的在装产品点云数据作为输入获取的相似度分析结果以及在装产品装配状态的识别结果。

表2

该实施实例表明，本发明提出的一种基于三维特征点的装配状态识别方法能够实现数字模型特征点和在装产品特征点映射关系的建立以及点云的配准，在点云配准的基础上实现了基于相邻点占比的相似度计算，然后依据相似度结果，在以相似度最大的装配状态为识别结果的过程中具有较好识别成功率。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (1)

1.一种基于三维特征点的装配状态识别方法，其特征在于，包含以下步骤：

步骤1：对装配体的各装配阶段模型进行分析，对装配体模型表面进行网格划分，获得各装配阶段的零部件点云P_i ^part＝{(x_k,y_k,z_k)}(i＝1…n)，装配点云P_i ^stage以及网格节点间的连接关系具体过程为：

在装配坐标系中通过网格划分软件对模型表面进行网格划分，将网格节点存储在零部件点云P_i ^part＝{(x_k,y_k,z_k)}(i＝1…n，k＝1…m)，i为装配体的装配阶段，n为装配体的零部件数量，m为当前装配阶段零部件点云中网格节点的数量；P_i ^part形成装配点云P_i ^stage，其定义为P_i ^stage＝{P₁ ^part∪…∪P_i ^part}(i＝1…n)，P_i ^stage包括装配过程中的前i个零件；在划分网格过程中获得网格节点间的连接关系集合其中/>内各元素均由三个正整数组成，分别对应构成该三角网格的三个节点在P_i ^stage中的序号；

步骤2：根据网格节点间的连接关系集合中的元素，求解网格各节点的周角并得到周角数值集合/>周角数值集合/>与装配点云/>的元素数量相同并一一对应；具体过程为：

步骤2.1：读取中第1个元素，根据第1个元素中序号从P_i ^stage中找到对应的点，分别求解三个节点夹角；

步骤2.2：将三个节点夹角添加到周角数值集合中三个节点的对应位置；

步骤2.3：对的下一元素进行分析；当对同一节点进行了多次的夹角计算，则对夹角数值进行累加；直至完成/>内所有元素的分析，得到各节点的周角；

步骤3：对周角数值集合中各元素进行周角差值的计算，得到周角差值集合/>周角差值集合/>与装配点云P_i ^stage的元素数量相同并一一对应；其中对周角数值集合中各元素和2π做差后取绝对值，得到周角差值；

步骤4：计算特征点周角差值阈值θ_min：

其中r为产品模型的最大倒圆角半径，R为曲面最大边缘半径，b为网格尺寸；若产品模型中无圆角，则

步骤5：在周角差值集合中搜索所有大于θ_min的元素，在P_i ^stage找到相应的元素并由此获取各装配阶段的模型特征点集合/>i为当前的装配阶段，w为当前装配阶段的周角差值特征点数量；

步骤6：采用深度相机拍摄装配场景，进而获取三维点云数据并进行栅格化处理，对每一个栅格内的点云取其数值最大的点作为该栅格的数值，得到栅格化的装配场景点云矩阵M^asm-grid，矩阵中的点构成用于后续分析的点集其中v为装配场景点云的数量；

步骤7：以每一栅格的中心点与栅格内的两点构成的三角作为表面网格，以作为输入，采用步骤1-5的方法进行装配场景下的周角差值特征点的提取，得到装配场景周角差值特征点集合/>e为装配场景周角差值特征点的数量；

步骤8：分析装配场景各点的周角差值，提取装配平面上的点P_i ^plane，然后对装配场景点云进行空间姿态变换，并进行在装产品的点云分割，得到栅格化的在装产品点云矩阵M^{asm -grid}(i,j)；具体过程为：

步骤8.1：对点集P_i ^scene内各点进行分析，若某点设定邻域范围内其余点的周角差值均小于设定阈值，则认为该点处于平面上，以此得到平面上的点集合为P_i ^plane；

步骤8.2：建立装配平面拟合方程，对P_i ^plane进行最小二乘法拟合求解出单位法向量点云旋转矩阵R^asm和平移向量M^asm；依据旋转矩阵和平移向量，对特征点集合P_i ^asm以及P_i ^scene中全部元素进行空间姿态变换，并移除P_i ^asm以及M^asm-grid中不符合/>和/>条件的元素，实现在装产品的点云分割；其中r^asm为在装产品在装配场景中所占范围的最大半径；

步骤9：依据在装产品特征点的空间分布，构建在装产品特征点的坐标系，并建立坐标系描述符，获取在装产品特征点在坐标系描述符下的各点坐标数值；具体过程为：

步骤9.1：搜寻在装产品特征点P_i ^asm在原始坐标系x-y面上的投影距离最大两点和求取两点线段的中点p_o作为新坐标系原点，并依据/>和/>连线得到新坐标系x轴正方向的单位向量/>并取z轴方向的单位向量为/>按右手定则得到y轴正方向/>建立以p_o为原点，以/>分别为x、y、z轴正方向的在装产品特征点坐标系；

步骤9.2：采用两点的z轴参数及二者线段投影长度组成的一维向量作为特征点空间分布坐标系的描述符：

步骤9.3：得到特征点集的空间旋转平移矩阵表达式

其中θ表示向量与原装配坐标系x轴正方向夹角，t_x表示平移前后坐标系原点在x轴方向的平移量，t_y表示平移前后坐标系原点在y轴方向的平移量；由此得到在坐标系描述符下，在装产品的周角差值特征点为/>

步骤10：选定数字模型特征点构建数字模型特征点坐标系描述符，然后建立特征点映射关系；具体过程为：

步骤10.1：在以特征点和/>构建的坐标系中，将这两个点表示为/>和/>从模型的周角差值特征点集合中选取两个元素/>和/>并假设分别与/>和成映射关系，由这两个元素构成模型特征点空间分布坐标系的描述符D^mod-axis为：

通过D^mod-axis计算和/>的距离l₁和l₂；并利用步骤9的方法，得到和/>对应的周角差值特征点/>

步骤10.2：建立并设定最大匹配个数G及累计匹配间距L；

步骤10.3：分析D^asm-axis与D^mod-axis的相似性，若满足l₁和l₂小于深度相机测量误差上限Δl_deviation，则初始化统计参数匹配个数g＝0和累计欧氏距离l＝0，进行后续运算，否则从模型的周角差值特征点集合中重新选取两个元素作为和/>返回步骤10.1；

步骤10.4：获得当前坐标系下的模型特征点从中逐个搜寻得到与P^asm-axis欧氏距离最小的一个元素，若该元素与P^asm-axis欧氏距离小于Δl_deviation，则认为该匹配有效，计入匹配个数g并将欧氏距离累计入l；循环上述操作直至完成对P^asm-axis中各元素的遍历；

步骤10.5：当g＞G或者g＝G且l＜L，则令G＝g，L＝l，并建立特征点映射集合P_i ^asm-match和P_i ^mod-match，二者之间构建映射f:P_i ^asm-match→P_i ^mod-match：

f(P_i ^asm-match)＝P_i ^asm-mod

步骤10.6：从模型的周角差值特征点集合中重新选取两个元素作为和/>循环进行步骤10.1～步骤10.5，直至完成模型的周角差值特征点集合中的所有模型特征点对组合，最终得到的映射f(P_i ^asm-match)＝P_i ^asm-mod即为在装产品与模型特征点之间的匹配关系；

步骤11：以特征点映射关系作为配准迭代的输入信息，实现在装产品与数字模型点云的配准；

步骤12：对配准后的数字模型点云进行栅格化，获得数字模型的栅格化点云矩阵矩阵/>内的点构成第i个装配阶段时数字模型栅格化后的点集；

步骤13：依据配准后的点云数据，通过分析匹配点对个数和间距大小实现装配状态相似度分析；具体过程为：

步骤13.1：读入栅格化的在装产品点云矩阵M^asm-grid(i,j)；

步骤13.2：读入第k个装配阶段的模型栅格化点云并将在装产品点云元素数量n^asm、模型点云元素数量/>及匹配点对数量N_k初始化为零；

步骤13.3：判断M^asm-grid(i,j)是否为有效点，依据判断结果对n^asm进行相应改变：

步骤13.4：判断M_k ^mod-grid(i,j)是否为有效点，依据判断结果对进行相应改变：

步骤13.5：判断M^asm-grid(i,j)和M_k ^mod-grid(i,j)的差值是否超过测量误差上限，并依据结果对N_k进行改变：

步骤13.6：循环进行步骤13.3至步骤13.5直至完成M_k ^mod-grid(i,j)中全部元素的分析；

步骤13.7：依据n^asm、和N_k计算可匹配点在在装产品点云及模型点云中的占比：

采用和/>的均值作为这两组栅格化点云的相似度数值/>

步骤13.8：循环步骤13.2～步骤13.7，直至对所有装配阶段的全部元素完成相似度分析，并由各装配阶段的相似度构建相似度序列R^sim：

步骤14：结合相似度分析结果实现产品装配状态识别；具体过程为：

步骤14.1：读入相似度分析得出的各装配状态相似度数值，从中寻找相似度最大项并记其在相似度序列R^sim中的序号s；

步骤14.2：以序号s在数字模型中所对应阶段作为识别结果。