CN115049791B - 结合图像处理的数控车床工件三维建模方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及结合图像处理的数控车床工件三维建模方法。方法包括：将工件的深度图像中深度缺失连通域中各像素点的灰度梯度值输入到神经网络中获得第一深度梯度值；根据深度未缺失连通域中像素点的深度值对深度缺失连通域中像素点进行插值，得到深度缺失连通域中各像素点的拟合深度值，进而获得第二深度梯度值；根据同一编号对应的第一深度梯度值序列和第二深度梯度值序列的相关性，计算各编号对应的插值权值；基于插值权值和拟合深度值，对缺失深度数据的像素点再次进行插值，得到工件上各位置的目标深度值，进而获得工件的三维模型。本发明提供的方法在保证成本不增加的同时提高了工件三维模型的重建精度。

Description

结合图像处理的数控车床工件三维建模方法

技术领域

本发明涉及图像处理技术领域，具体涉及结合图像处理的数控车床工件三维建模方法。

背景技术

数控车床在对工件进行加工时，为了保证产品的质量，当产品质量不合格时，需要及时调节数控机床控制参数，以保证数控车床在后续工件加工时的精准控制。现有的通过深度相机采集的工件的图像数据对工件进行三维建模，将三维建模所得三维数据点转换为数控车床的控制参数，进而实现对数控车床的参数的控制。但是由于工件在进行加工时，金属工件表面光滑，会发生镜面反射，影响深度相机采集的图像的效果，从而使得到的三维点云数据缺失；虽然可以采用对三维点云数据进行插值的方法将缺失数据补充完整，但是如果数据缺失过多，在对三维点云数据进行插值时，会影响插值数据的可信度；即使采用多个深度相机对工件进行多视角拍摄，仍然会有视角盲区，此外，多视角深度相机会使成本大大增加。因此如何在保证成本不增加的同时提高数控车床工件的三维模型重建精度是一个重要的问题。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种结合图像处理的数控车床工件三维建模方法，所采用的技术方案具体如下：

本发明提供了一种结合图像处理的数控车床工件三维建模方法，该方法包括以下步骤：

获取数控车床上工件的RGB图像和深度图像；

获取所述深度图像中缺失深度数据的像素点构成的连通域记为深度缺失连通域，获取所述深度图像中未缺失深度数据的像素点构成的连通域记为深度未缺失连通域；将所述深度图像中深度缺失连通域中各像素点的灰度梯度值输入到训练好的神经网络中，得到深度缺失连通域中各像素点的第一深度梯度值；根据所述深度未缺失连通域中各像素点的深度值对所述深度缺失连通域中的各像素点进行插值，得到所述深度缺失连通域中各像素点的拟合深度值；根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度值；

对深度缺失连通域中像素点的第一深度梯度值从大到小进行排序并进行划分，得到各编号对应的第一深度梯度值序列；对深度缺失连通域中像素点的第二深度梯度值从大到小进行排序并进行划分，得到各编号对应的第二深度梯度值序列；计算同一编号对应的第一深度梯度值序列和第二深度梯度值序列之间的相关性；根据所述相关性、各编号对应的第一深度梯度值序列和第二深度梯度值序列，计算各编号对应的插值权值；

基于所述插值权值和拟合深度值，采用带权数据插值法对所述深度图像中缺失深度数据的像素点再次进行插值，得到工件上各位置对应的目标深度值；基于所述目标深度值获得数控车床上工件的三维模型。

优选的，所述获取所述深度图像中缺失深度数据的像素点构成的连通域记为深度缺失连通域，包括：

获取所述深度图像中缺失深度数据的像素点的坐标点，为深度图像中缺失深度数据的像素点生成掩膜图像；所述掩膜图像中缺失深度数据的像素点的值为1，未缺失深度数据的像素点的值为0；

采用连通域提取算法对所述掩膜图像进行连通域提取，得到缺失深度数据的像素点构成的连通域，记为深度缺失连通域。

优选的，获取所述深度图像中未缺失深度数据的像素点构成的连通域记为深度未缺失连通域，包括：

将所述掩膜图像中像素点的值进行反转，得到反转后的掩膜图像，记为反转掩膜图像；所述反转的规则为：1置为0，0置为1；

采用连通域提取算法对反转掩膜图像进行连通域提取，得到未缺失深度数据的像素点构成的连通域，记为深度未缺失连通域。

优选的，各像素点的灰度梯度值的获取，包括：

对所述RGB图像进行灰度化处理获得工件的灰度图像，获取所述灰度图像上各像素点的灰度值；

对于所述灰度图像上的任一像素点：计算该像素点的8邻域内像素点的最大灰度值与最小灰度值的差值，将所述差值作为该像素点的灰度梯度值。

优选的，所述对深度缺失连通域中像素点的第一深度梯度值从大到小进行排序并进行划分，得到各编号对应的第一深度梯度值序列；对深度缺失连通域中像素点的第二深度梯度值从大到小进行排序并进行划分，得到各编号对应的第二深度梯度值序列，包括：

将深度缺失连通域中所有像素点的第一深度梯度值从大到小进行排序，将预设个数的第一深度梯度值划分为一组，得到多组第一深度梯度值；根据每组中的所有第一深度梯度值构建每组对应的第一深度梯度值序列，并依次对所述第一深度梯度值序列进行编号；

将深度缺失连通域中所有像素点的第二深度梯度值从大到小进行排序，将预设个数的第二深度梯度值划分为一组，得到多组第二深度梯度值；根据每组中的所有第二深度梯度值构建每组对应的第二深度梯度值序列，并依次对所述第二深度梯度值序列进行编号。

优选的，采用如下公式计算各编号对应的插值权值：

其中，

为任一编号对应的插值权值，

为以自然常数e为底数的指数函数，

为该编号对应的第一深度梯度值序列和第二深度梯度值序列的相关性，

为该编号对应的第一深度梯度值序列中的第

个元素，

为该编号对应的第二深度梯度值序列中的第

个元素，

为该编号对应的第一深度梯度值序列或该编号对应的第二深度梯度值序列中元素的个数；

所述第一深度梯度值序列中元素的个数和第二深度梯度值序列中元素的个数相等。

优选的，所述根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度值，包括：

对于所述深度缺失连通域中的任一像素点：计算该像素点的8邻域内像素点的最大灰拟合深度值与最小拟合深度值的差值，将所述差值作为该像素点的第二深度梯度值。

优选的，所述基于所述插值权值和拟合深度值，采用带权数据插值法对所述深度图像中缺失深度数据的像素点再次进行插值，得到工件上各位置对应的目标深度值，包括：

对各编号对应的插值权值进行归一化处理，得到各编号对应的归一化插值权值；分别计算各编号对应的归一化插值权值和超参数的乘积，将该乘积作为对应编号对应的目标权值；

根据所述目标权值，采用带权数据插值法，对工件的深度图像中深度缺失连通域中的像素点再次进行插值，得到深度图像中深度缺失连通域中像素点的深度值；将工件上各位置对应的深度值记为目标深度值。

本发明具有如下有益效果：

1、本发明获取了工件的深度图像中深度缺失连通域和深度未缺失连通域，将深度未缺失连通域中像素点的深度值作为深度缺失连通域像素点的插值依据，对深度缺失连通域像素点进行插值，得到深度缺失连通域中所有像素点的深度值，为后续工件三维模型的重建提供了依据。

2、本发明考虑到当工件的深度图像中深度数据缺失过多时，在对缺失数据进行插值时，会降低插值数据的可信度，进而会降低后续工件三维模型的重建精度；因此本发明利用神经网络学习像素点的灰度梯度值与深度梯度值之间的关系，进而获得工件的深度图像中深度缺失连通域中各像素点的第一深度梯度值，结合深度缺失连通域中像素点的第一深度梯度值与第二深度梯度值的差异，给予深度缺失连通域中各像素点相应的插值权重，再次对深度缺失连通域中像素点进行插值，获得工件上各位置对应的目标深度值，基于所述目标深度值重建数控车床上工件的三维模型，提高了工件三维模型的重建精度。

3、本发明基于工件的RGB图像和深度图像两张图像，实现工件三维模型的重建，无需设置多个深度相机，节省了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的一种结合图像处理的数控车床工件三维建模方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种结合图像处理的数控车床工件三维建模方法进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种结合图像处理的数控车床工件三维建模方法的具体方案。

结合图像处理的数控车床工件三维建模方法实施例：

本实施例提出了结合图像处理的数控车床工件三维建模方法，如图1所示，本实施例的结合图像处理的数控车床工件三维建模方法包括以下步骤：

步骤S1，获取数控车床上工件的RGB图像和深度图像。

本实施例针对的具体场景为：在数控车床旁安装相机，相机可以移动，用于拍摄数控车床上的工件，基于采集到的图像数据对数控车床上的工件进行三维重建。

在数控机床的工件加工位置安装一个相机模组，其中相机模组带有RGB相机和深度相机，相机模组与数控中心相连，连接方式为有线连接方式，相机模组拍摄到数控车床的工件在加工位置的RGB图像数据和深度图像数据后，将图像数据和深度数据通过有线的方式传输到数控中心，进而数控中心得到数控车床上工件的RGB图像数据和深度图像数据。

至此，利用相机模组获取了数控车床上工件的RGB图像和深度图像。

步骤S2，获取所述深度图像中缺失深度数据的像素点构成的连通域记为深度缺失连通域，获取所述深度图像中未缺失深度数据的像素点构成的连通域记为深度未缺失连通域；将所述深度图像中深度缺失连通域中各像素点的灰度梯度值输入到训练好的神经网络中，得到深度缺失连通域中各像素点的第一深度梯度值；根据所述深度未缺失连通域中各像素点的深度值对所述深度缺失连通域中的各像素点进行插值，得到所述深度缺失连通域中各像素点的拟合深度值；根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度值。

在获取数控车床上工件的RGB图像和深度图像后，相机模组中深度相机坐标系与RGB相机坐标系已经标定完成，即此时深度图像中像素点的坐标值和RGB图像中像素点的坐标值可以相互转换。本实施例将RGB图像数据作为深度图像数据中缺失的数据进行插值补充的依据，因此获取工件上第i个空间点在RGB图像中的坐标

，同时得到工件上第i个空间点在深度图像中的坐标

，获取RGB图像中的坐标

处像素点的RGB颜色分量

和深度图像中的坐标

处的深度值

。

由于数控车床在进行工件加工时，金属工件的表面颜色统一，并且在采集数控车床上工件的图像时，光照均匀分布，因此工件的RGB图像中像素点的灰度梯度变化能够反映当前工件的形状的变化。工件表面为金属面，并且采用漫反射光源，防止出现局部光斑过量，如果工件为平板则可以认为颜色是一致的，无形状变换和梯度变换，当工件产生形变时，工件变化部分会引起光线分布发生变化，改变局部区域的光强，造成灰度的变换，并且工件变化程度和局部光照变化强度具有一定关系，如果工件变化程度过大，则在局部引起的光照变化强度也会比较大。

因此，本实施例对采集到的数控车床上工件的RGB图像进行灰度化处理，得到工件的RGB图像对应的灰度图，进而获取工件上各像素点的灰度梯度值，灰度梯度值的具体获取方法为：对于工件上的任一像素点：获取该像素点的8邻域内各像素点的灰度值，计算该像素点的8邻域内像素点的最大灰度值与最小灰度值的差值，将该差值作为该像素点的灰度梯度值。采用该方法获取了数控车床上工件的RGB图像中各像素点的灰度梯度值。获取数控车床上工件的深度图像中缺失深度数据的像素点的坐标，为深度图像中缺失深度数据的像素点生成掩膜图像，在掩膜图像中缺失深度数据的像素点的值为1，存在深度数据的像素点的值为0。在得到深度图像中缺失深度数据的像素点对应的掩膜图像后，采用连通域提取算法对掩膜图像进行连通域提取，获得掩膜图像中的各连通域，其中各连通域为缺失深度数据的像素点构成的连通域，也即是需要进行深度数据插值的像素点构成的区域，将这类连通域记为深度缺失连通域。然后将掩膜图像中的值进行反转，1置为0，0置为1，得到反转后的掩膜图像，记为反转掩膜图像，同样采用连通域提取算法对反转掩膜图像进行连通域提取，获得反转掩膜图像中的各连通域，这些连通域为未缺失深度数据的像素点构成的连通域，将这类连通域记为深度未缺失连通域。由于数控车床上工件的深度图像和RGB图像已经完成标定，因此基于深度图像对应的掩膜图像中深度缺失连通域中各像素点的坐标，采用2d-3d坐标系变换的方法，得到深度缺失连通域中的各像素点在RGB图像中对应的位置。接下来本实施例获取深度未缺失连通域中各像素点的深度梯度值，具体获取方法为：对于深度缺失连通域中的任一像素点，获取该像素点的8邻域内各像素点的深度值，计算该像素点的8邻域内像素点的最大深度值和最小深度值的差值，将该差值作为该像素点的深度梯度值；采用该方法得到深度未缺失连通域中所有像素点的深度梯度值。2d-3d坐标系变换的方法和连通域提取算法均为现有技术，此处不再赘述。

考虑到工件上同一位置在深度图像中的梯度和在灰度图像中的梯度存在一定的关系，即当灰度图像中像素点的梯度变化较小时，深度图像中像素点的梯度变化也应当较小；当灰度图像中像素点的梯度变化较大时，深度图像中像素点的梯度变化也应当较大。本实施例利用未缺失深度数据部分所对应的区域中的深度数据和图像梯度之间的关系表示缺失深度数据部分所对应区域中的深度数据和图像梯度的关系，进而能够作为缺失深度数据的像素点插值拟合的权值。

在上述步骤中通过反转掩膜图像得到了深度未缺失连通域中各像素点在RGB图像对应灰度图中的灰度梯度值和在深度图像中的深度梯度值。为了得到灰度梯度值和深度梯度值之间的关系，本实施例利用神经网络进行学习得到灰度梯度值和深度梯度值之间的关系，其中神经网络选用encoder-decoder结构，神经网络的训练集为预先得到的深度未缺失连通域中各像素点的深度梯度值和深度未缺失连通域在灰度图像中对应的灰度梯度值；神经网络的输入为灰度梯度值，输出为深度梯度值；神经网络的损失函数选用均方差损失函数。神经网络的训练过程为现有技术，此处不再赘述。

在神经网络训练完成后，将深度缺失连通域中各像素点在对应的灰度图中的灰度梯度值输入到训练好的神经网络中，得到深度缺失连通域中各像素点的深度梯度值，记为第一深度梯度值。采用上述方法得到了深度缺失连通域中各像素点的第一深度梯度值。

利用现有的数据插值方法，将深度未缺失连通域中各像素点的深度值作为插值依据，对深度缺失连通域中的各像素点的深度值进行插值拟合，获得深度缺失连通域中各像素点的拟合深度值；根据深度缺失连通域中各像素点的拟合深度值得到深度缺失连通域中各像素点的深度梯度值，并将其记为第二深度梯度值。其中，根据深度缺失连通域中各像素点的拟合深度值得到深度缺失连通域中各像素点的深度梯度值的方法与上述获取深度未缺失连通域中各像素点的深度梯度值的方法相同，因此此处不再过多赘述。

至此，采用上述方法得到了深度缺失连通域中各像素点的第一深度梯度值和第二深度梯度值。

步骤S3，对深度缺失连通域中像素点的第一深度梯度值从大到小进行排序并进行划分，得到各编号对应的第一深度梯度值序列；对深度缺失连通域中像素点的第二深度梯度值从大到小进行排序并进行划分，得到各编号对应的第二深度梯度值序列；计算同一编号对应的第一深度梯度值序列和第二深度梯度值序列之间的相关性；根据所述相关性、各编号对应的第一深度梯度值序列和第二深度梯度值序列，计算各编号对应的插值权值。

本实施例在上述步骤中得到了工件的深度图像中深度缺失连通域中各像素点的第一深度梯度值和第二深度梯度值，接下来基于深度缺失连通域中所有像素点的第一深度梯度值和第二深度梯度值，分析深度值拟合效果，并计算深度缺失连通域中像素点的插值权值。

具体的，首先将深度缺失连通域中所有像素点的第一深度梯度值从大到小进行排序，将排好序的第一深度梯度值按照先后顺序进行划分，依次将预设个数

的第一深度梯度值划分为一组，得到多组第一深度梯度值，根据每组中的所有第一深度梯度值构建每组对应的第一深度梯度值序列，并依次对每个第一深度梯度值序列进行编号，编号规则为：将第一深度梯度值最大的第一深度梯度值序列标记为1，将第一深度梯度值次大的第一深度梯度值序列标记为2，以此类推，对所有的第一深度梯度值序列进行编号；同理，将深度缺失连通域中所有像素点的第二深度梯度值从大到小进行排序，将排好序的第二深度梯度值按照先后顺序进行划分，依次将预设个数

的第二深度梯度值划分为一组，得到多组第二深度梯度值，根据每组中的所有第二深度梯度值构建每组对应的第二深度梯度值序列，并依次对每个第二深度梯度值序列进行编号，第二深度梯度值序列的编号规则与第一深度梯度值序列的编号规则相同，因此，一个编号对应一个第一深度梯度值序列和一个第二深度梯度值序列。本实施例中的预设个数

为100，在具体应用中，实施者可自行设置。

对于任一编号对应的第一深度梯度值序列和第二深度梯度值序列：

基于该编号对应的第一深度梯度值序列和第二深度梯度值序列，通过相关系数矩阵，得到这两个序列之间的相关性

；相关性

接近于-1，表示两者呈现负相关；相关性

接近于1，表示两者呈现正相关；当两者的正相关性越强，说明在进行插值处理时拟合结果越好；像素点的第一深度梯度值和第二深度梯度值的差异越小，说明像素点的深度值在进行插值处理时拟合结果越好；为了提高后续工件三维模型的重建精度，应当提高拟合的准确率，当拟合效果较好时，应当给予较低的插值权值，当拟合效果较差时，应当给予较高的插值权值，对初次插值结果进行修正。基于此，本实施例根据该编号对应的第一深度梯度值序列和第二深度梯度值序列，以及该编号对应的第一深度梯度值序列和第二深度梯度值序列之间的相关性，计算各组（各编号）对应的插值权值，即：

其中，

为该编号对应的插值权值，

为以自然常数e为底数的指数函数，

为该编号对应的第一深度梯度值序列和第二深度梯度值序列的相关性，

为该编号对应的第一深度梯度值序列中的第

个元素，

为该编号对应的第二深度梯度值序列中的第

个元素，

为该编号对应的第一深度梯度值序列或该编号对应的第二深度梯度值序列中元素的个数。需要说明的是：第一深度梯度值序列和第二深度梯度值序列中元素的数量相等。

能够反映该编号对应的第一深度梯度值序列和第二深度梯度值序列的相关程度，其值越接近于1，说明深度图像中深度缺失连通域中像素点的深度值拟合结果越好，其值越接近于-1，说明深度图像中深度缺失连通域中像素点的深度值拟合结果越差；

表示第一深度梯度值序列和第二深度梯度值序列中元素的差异，其差异越大，说明深度图像中深度缺失连通域中像素点的深度值拟合结果越差；为了使深度缺失连通域中像素点的深度值拟合结果较差的像素点的后续的插值结果更加准确，当

较小、

较大时，插值权值

越大，即进行带权插值时应当赋予更大的权重，以促使得到较好的插值结果，进而提高后续工件三维模型的重建精度。

至此，采用上述方法，能够得到各编号（各组）对应的插值权值。

步骤S4，基于所述插值权值和拟合深度值，采用带权数据插值法对所述深度图像中缺失深度数据的像素点再次进行插值，得到工件上各位置对应的目标深度值；基于所述目标深度值获得数控车床上工件的三维模型。

本实施例在上述步骤中得到了各组（各编号）对应的插值权值，在该步骤中首先对各组对应的插值权值进行归一化处理，得到各组对应的归一化插值权值，然后分别计算各组对应的归一化插值权值和超参数a的乘积，将该乘积作为对应组对应的目标权值。本实施例设置超参数a的值为10，在具体应用中，实施者可自行设置超参数a的值。

接下来本实施例根据各组对应的目标权值，采用带权数据插值法，再次对工件的深度图像中深度缺失连通域中的像素点进行插值，得到深度图像中深度缺失数据区域像素点的深度值，至此，工件上所有位置都有其对应的深度值，本实施例将此时工件上各位置对应的深度值记为目标深度值。数控中心将工件上各位置对应的目标深度值输入到三维建模软件中(比如maya)，进而利用三维建模软件得到数控车床的工件的三维模型。将工件的三维模型与标准工件模型进行对比，判断当前工件的质量是否符合要求，若符合要求，则说明当前生产过程中，数控车床加工装置的控制参数设置的合适，无需再对数控车床的参数进行调节；若不符合要求，则调节数控车床加工装置的控制参数，以保证后续工件的加工质量。带权数据插值法为现有技术，此处不再赘述。

本实施例获取了工件的深度图像中深度缺失连通域和深度未缺失连通域，将深度未缺失连通域中像素点的深度值作为深度缺失连通域像素点的插值依据，对深度缺失连通域像素点进行插值，得到深度缺失连通域中所有像素点的深度值，为后续工件三维模型的重建提供了依据。本实施例考虑到当工件的深度图像中深度数据缺失过多时，在对缺失数据进行插值时，会降低插值数据的可信度，进而会降低后续工件三维模型的重建精度；因此本实施例利用神经网络学习像素点的灰度梯度值与深度梯度值之间的关系，进而获得工件的深度图像中深度缺失连通域中各像素点的第一深度梯度值，结合深度缺失连通域中像素点的第一深度梯度值与第二深度梯度值的差异，给予深度缺失连通域中各像素点相应的插值权重，再次对深度缺失连通域中像素点进行插值，获得工件上各位置对应的目标深度值，基于所述目标深度值重建数控车床上工件的三维模型，提高了工件三维模型的重建精度。本实施例基于工件的RGB图像和深度图像两张图像，实现工件三维模型的重建，无需设置多个深度相机，节省了成本。

需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种结合图像处理的数控车床工件三维建模方法，其特征在于，该方法包括以下步骤：

获取数控车床上工件的RGB图像和深度图像；

获取所述深度图像中缺失深度数据的像素点构成的连通域记为深度缺失连通域，获取所述深度图像中未缺失深度数据的像素点构成的连通域记为深度未缺失连通域；将所述深度图像中深度缺失连通域中各像素点的灰度梯度值输入到训练好的神经网络中，得到深度缺失连通域中各像素点的第一深度梯度值；根据所述深度未缺失连通域中各像素点的深度值对所述深度缺失连通域中的各像素点进行插值，得到所述深度缺失连通域中各像素点的拟合深度值；根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度值；

对深度缺失连通域中像素点的第一深度梯度值从大到小进行排序并进行划分，得到各编号对应的第一深度梯度值序列；对深度缺失连通域中像素点的第二深度梯度值从大到小进行排序并进行划分，得到各编号对应的第二深度梯度值序列；计算同一编号对应的第一深度梯度值序列和第二深度梯度值序列之间的相关性；根据所述相关性、各编号对应的第一深度梯度值序列和第二深度梯度值序列，计算各编号对应的插值权值；

基于所述插值权值和拟合深度值，采用带权数据插值法对所述深度图像中缺失深度数据的像素点再次进行插值，得到工件上各位置对应的目标深度值；基于所述目标深度值获得数控车床上工件的三维模型；

采用如下公式计算各编号对应的插值权值：

其中，

为任一编号对应的插值权值，

为以自然常数e为底数的指数函数，

为该编号对应的第一深度梯度值序列和第二深度梯度值序列的相关性，

为该编号对应的第一深度梯度值序列中的第

个元素，

为该编号对应的第二深度梯度值序列中的第

个元素，

为该编号对应的第一深度梯度值序列或该编号对应的第二深度梯度值序列中元素的个数；

所述第一深度梯度值序列中元素的个数和第二深度梯度值序列中元素的个数相等；

各像素点的灰度梯度值的获取，包括：

对所述RGB图像进行灰度化处理获得工件的灰度图像，获取所述灰度图像上各像素点的灰度值；

对于所述灰度图像上的任一像素点：计算该像素点的8邻域内像素点的最大灰度值与最小灰度值的差值，将所述差值作为该像素点的灰度梯度值。

2.根据权利要求1所述的结合图像处理的数控车床工件三维建模方法，其特征在于，所述获取所述深度图像中缺失深度数据的像素点构成的连通域记为深度缺失连通域，包括：

获取所述深度图像中缺失深度数据的像素点的坐标点，为深度图像中缺失深度数据的像素点生成掩膜图像；所述掩膜图像中缺失深度数据的像素点的值为1，未缺失深度数据的像素点的值为0；

采用连通域提取算法对所述掩膜图像进行连通域提取，得到缺失深度数据的像素点构成的连通域，记为深度缺失连通域。

3.根据权利要求2所述的结合图像处理的数控车床工件三维建模方法，其特征在于，获取所述深度图像中未缺失深度数据的像素点构成的连通域记为深度未缺失连通域，包括：

将所述掩膜图像中像素点的值进行反转，得到反转后的掩膜图像，记为反转掩膜图像；所述反转的规则为：1置为0，0置为1；

采用连通域提取算法对反转掩膜图像进行连通域提取，得到未缺失深度数据的像素点构成的连通域，记为深度未缺失连通域。

4.根据权利要求1所述的结合图像处理的数控车床工件三维建模方法，其特征在于，所述对深度缺失连通域中像素点的第一深度梯度值从大到小进行排序并进行划分，得到各编号对应的第一深度梯度值序列；对深度缺失连通域中像素点的第二深度梯度值从大到小进行排序并进行划分，得到各编号对应的第二深度梯度值序列，包括：

将深度缺失连通域中所有像素点的第一深度梯度值从大到小进行排序，将预设个数的第一深度梯度值划分为一组，得到多组第一深度梯度值；根据每组中的所有第一深度梯度值构建每组对应的第一深度梯度值序列，并依次对所述第一深度梯度值序列进行编号；

将深度缺失连通域中所有像素点的第二深度梯度值从大到小进行排序，将预设个数的第二深度梯度值划分为一组，得到多组第二深度梯度值；根据每组中的所有第二深度梯度值构建每组对应的第二深度梯度值序列，并依次对所述第二深度梯度值序列进行编号。

5.根据权利要求1所述的结合图像处理的数控车床工件三维建模方法，其特征在于，所述根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度值，包括：

对于所述深度缺失连通域中的任一像素点：计算该像素点的8邻域内像素点的最大灰拟合深度值与最小拟合深度值的差值，将所述差值作为该像素点的第二深度梯度值。

6.根据权利要求1所述的结合图像处理的数控车床工件三维建模方法，其特征在于，所述基于所述插值权值和拟合深度值，采用带权数据插值法对所述深度图像中缺失深度数据的像素点再次进行插值，得到工件上各位置对应的目标深度值，包括：

对各编号对应的插值权值进行归一化处理，得到各编号对应的归一化插值权值；分别计算各编号对应的归一化插值权值和超参数的乘积，将该乘积作为对应编号对应的目标权值；

根据所述目标权值，采用带权数据插值法，对工件的深度图像中深度缺失连通域中的像素点再次进行插值，得到深度图像中深度缺失连通域中像素点的深度值；将工件上各位置对应的深度值记为目标深度值。

Images