CN112017225A - 一种基于点云配准的深度图像匹配方法 - Google Patents

Abstract

本发明提出了一种基于点云配准的深度图像匹配方法。本发明在传统两阶段点云配准过程中加入校正配准，解决了粗配准失效使得精配准无法收敛并导致最终配准失败问题。在粗配准过程中，使用了深度神经网络提取出的特征，相较于传统点云特征描述，提高了特征描述的准确性。具体包括以下步骤：接收模板深度图像和目标深度图像并转为点云形式数据；使用深度神经网络提取两幅的关键点与特征点信息；使用计算出特征信息，对模板点云和目标点云依次进行粗配准处理，校正配准和精配准，获得两幅点云间的姿态变换矩阵并计算出模板图像相对于目标图像在X轴，Y轴，Z轴上的平移和旋转。利用本发明公开的方法，可以有效地实现对不同分辨率下的深度图像匹配。

Description

一种基于点云配准的深度图像匹配方法

技术领域

本发明涉及计算机技术及图像处理领域，尤其涉及一种基于点云配准的深度图像匹配方法。

背景技术

在如今的现代化、自动化工业生产中，机器视觉起到了关键性的作用。工件的自动检测，分类识别，产品质量的自动检测，编码的自动识别，目标跟踪，无序抓取等主要的机器视觉应用广泛应用于工业生产中。在这些应用中，匹配作为高层机器视觉中的流程第一步，往往决定了整套解决方案的稳定性，准确性，可用性。

近些年三维深度相机的使用越发广泛，使用三维深度相机可以得到比普通相机更多的工件信息，如工件尺寸，摆放角度，样品斜率等数据。然而在样品匹配这一关键步骤中，往往还对深度图采用传统图像处理中基于二维图像边缘信息或局部特征点信息的匹配方法，没有充分利用三维数据带来的高准确性和更大的适用场景。当工件出现较大倾翻转斜，需要得到样品具体的六个自由度的运动情况，或需要准确定位在三维空间中的位置时，传统的基于二维图像的方法往往无能为力。

现有的点云配准方法通常包括粗配准和精配准两个过程，一般期望粗配准能为精配准提供较为粗略但准确的配准初值，精配准常使用迭代最近点方法实现配准。但对于复杂和带有噪声的真实生产场景的深度图像转换的点云数据，简单的粗配准计算特征时间复杂度高，也常常出现始终无法迭代出较好初值的情况，使得整套点云配准解决方法的准确度和效率无法保证。

发明内容

本发明的目的是提供一种将深度图像转为点云数据，使用深度神经网络提取特征信息并通过三阶段级联配准实现深度图像匹配的方法，以解决现有工业生产中，使用二维图像匹配方法无法处理较大倾斜，也无法得到三维空间内六个自由度的运动情况和在三维空间内准确定位物体问题，并提高了传统点云配准方法在此生产场景下的稳定性和效率。

实现本发明目的的具体技术方案是：

一种基于点云配准的深度图像匹配方法，特点是该方法包括以下具体步骤：

步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；

步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；

步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；

步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；

步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；

步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；

步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；

步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。

步骤2所述进行图像预处理，采用卷积的方法，使用卷积模板对深度图像进行卷积计算，得到各点在其邻域内的高度断差响应值；将各点的高度断差响应值作为筛选依据，筛选响应值大于设定阈值的点作为边缘特征点。

步骤3所述相机标定参数是指对深度相机标定时得到的图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置能确定各点在真实三维空间内位置的参数。

所述步骤5具体为：网络输入数据包括原始的各点坐标位置信息及各点邻域内的局部特征直方图；局部特征直方图通过计算各点与其邻域内的点的法线信息和两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图；深度神经网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合；各卷积层中加入注意力机制，根据学习出的权重，调整特征信息；根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。

步骤7所述进行校正配准处理是将整体点云空间分割成为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数；将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大。

本发明使用加入注意力机制和多尺度采样的点云卷积特征提取网络提取点云特征，相较于手工设计的传统点云特征描述方法，在多个公共数据集如3DMATCH上显示出具有更强的鲁棒性，区分性，并通过多尺度采样结构，实现了对不同分辨率图像的处理。在配准过程中，使用提取到的关键点作为第一阶段粗配准的配准点，避免了传统方法随机采样配准点时的随机性，并降低了数据量。本发明还在传统二阶段配准方法中，加入了校正配准，解决了粗配准结果不准确时，精配准无法正确完成配准的问题。

本发明方法基于点云数据格式和多种点云配准方法，涉及图像边缘提取、点云滤波处理，点云法线估计与特征提取，点云配准等内容，应用范围很广，可以用于各分辨率下的深度图像的匹配问题。

附图说明

图1为本发明的流程图；

图2为本发明特征提取网络中的注意力机制结构示意图；

图3为本发明特征提取网络中的多尺度采样结构示意图；

图4为本发明待测图像和样本图像的粗配准结果图；

图5为本发明待测图像和样本图像的校正配准结果图；

图6为本发明待测图像和样本图像的精配准结果图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提出的基于点云配准的深度图像匹配方法，包括以下步骤：

步骤一，预先采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；

步骤二，对步骤一中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；

步骤三，根据相机标定参数，将步骤二中得到的预处理后的模板图像生成模板点云，将步骤二中得到的预处理后的目标图像生成目标点云；

步骤四，对步骤三中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；

步骤五，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后模板点云的特征点和各特征点的特征信息；

步骤六，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后目标点云的特征点和各特征点的特征信息；

步骤七，使用步骤五得到的滤波后模板点云特征点和各特征点的特征信息和步骤六得到的滤波后目标点云的特征点和各特征点的特征信息作为配准依据，对步骤四得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；

步骤八，将步骤七中的粗配准变换矩阵作为配准初始参数，对步骤四得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；

步骤九，将步骤八中的校正配准变换矩阵作为初始参数，对步骤四得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵；

步骤十，根据步骤九中的精配准变换矩阵，计算步骤四得到的滤波后模板点云相较于滤波后目标点云在X轴，Y轴，Z轴上的平移和旋转。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤二采用卷积的方法，使用卷积模板计算的各点邻域内高度断差的响应值大小作为依据，筛选响应值大于设定阈值的点作为边缘特征点。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤三中相机标定参数是指图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置等能确定各点在真实三维空间内位置的参数。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤四中通过将点云数据划分为若干大小相等的格栅区域，计算每个格栅中的所有点的重心来近似的表达该格栅中的点位置，在尽可能保留点云特征表示的情况下降低点云数据量。通过统计各点邻域内点数，筛除孤立点，减少孤立点对后续计算的影响。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤五，六的点云特征提取方面，采用了基于点云卷积的深度神经网络方法提取点云特征点和特征信息。网络输入数据除了原始的各点位置信息还包括各点邻域内的局部特征直方图。特征直方图通过计算各点与其邻域内的点的法线信息后，计算两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图。此方法相较于传统特征描述如FPFH，提高了点云特征描述的准确性。并且相较于随机选择特征点的方法，由网络选择重要的点做为特征点，避免了随机性，降低了数据量。网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合。添加注意力机制，根据学习出的权重，调整特征信息。每层中加入多尺度采样结构，将不同半径的球形邻域内的卷积结果相加，并融合，得到各层的多尺度特征信息。根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤七粗配准使用步骤五和步骤六中计算出的特征点作为模板特征点点集P₁和目标特征点点集P₂，以欧氏距离作为度量方法，将两点集间特征描述最为接近的两个点称为配对点对。每次通过计算少量配对点对间的变换矩阵，并统计使用该变换矩阵进行变换后的点云误差。多次迭代计算，最终误差最小的变换矩阵则为粗配准结果。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤八校正配准方法使用步骤六的变换矩阵作为初始矩阵，将点云空间分割称为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数。将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大值。该基于概率分布的配准算法利用全局的数据分布作为配准依据，所以具有速度快且受初值影响小的特点，解决粗配准失效情况下导致的精配准也无法收敛从而配准失败的情况。

本发明提出的基于点云配准的深度图像匹配方法中，所述步骤九使用ICP迭代最近点配准算法进行最后一步配准。ICP使用最小二乘法优化所有的对应点之间的欧氏距离平方和。

实施例

本实施例中，以匹配各倾斜角度的PCB板深度图像为例描述本发明的实施方法，实际本发明方法可以应用于其他深度图像的匹配。

本实施例基于点云配准的深度图像匹配方法中，以使用3D工业相机采集的未倾斜未旋转的样品的深度图像为模板图像，以倾斜和旋转的样品的深度图像作为目标图像。在通过对深度图像的边缘提取后，生成模板图像和目标图像对应的点云数据。对点云图像进行下采样和孤立点筛除。然后送入神经网络中，计算各点特征并选择出特征点。通过粗配准得到初始变换矩阵并作为输入参数，执行校正配准算法，最终执行精配准算法，得到最终的目标点云相对于模板点云的三维空间中的变换矩阵，并利用该变换矩阵计算出目标点云相对于模板点云沿x轴平移的距离，沿y轴平移的距离，沿z轴平移的距离，绕x轴转动的角度，绕y轴转动的角度，绕z轴转动的角度，也就是物体六个自由度上的运动情况。

本实施例的整体流程图如图1所示，具体包括以下步骤：

本实施例中，利用3*3大小的卷积滤波模板进行边缘提取,对于响应值大于设定阈值点作为边缘特征点进行保留。此模板计算的是图像在水平和垂直方向变化的速度又可以被称为梯度，是一个二维向量。该二维向量的元素是两个方向上的一阶导数，可以表示为：

其中f(x，y)表示深度图像(x，y)坐标下的深度信息。

表示水平方向上的一阶偏导，即f(x+1，y)-f(x，y)。

表示垂直方向上的一阶偏导，即f(x，y+1)-f(x，y)。T表示矩阵转置。

本实施例中，根据图像携带的信息X向分辨率，X向初始位置，Y向分辨率，Y向初始位置，将深度图像中的边缘关键点转化为三维立体空间中的真实位置坐标，点P转换方法可以表示为：

x＝i×xResolution+xOffset

y＝j×yResolution+yOffset

其中x，y，z为真实三维坐标，i，j为像素值所在行数和列数，xResolution为X向分辨率，yResolution为Y向分辨率，xOffset为X向初始位置，yOffset为Y向初始位置。

本实施例中，点云下采样处理则是将输入的点云划分为指定参数的三维体素格栅，在每个体素内，计算所有点的重心用于表示当前的体素所有点。通过降采样，可以大幅降低点云数据大小，极大地提高后续配准速度。而孤立点去除则是统计了各点领域内的近邻点数，近邻点少于阈值的点将被当做孤立点，在后续处理中去除，避免孤立点造成噪声影响。

本实施例中，使用基于点云卷积的深度神经网络方法提取点云特征点和特征信息。网络输入数据除了原始的各点位置信息还包括各点邻域内的局部特征直方图。特征直方图通过计算各点与其邻域内的点的法线信息后，计算两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图。网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合。添加注意力机制，根据学习出的权重，调整特征信息。根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。其中多尺度特征表式可以表述为：

F_i＝Conv_r1(F_i-1)+Conv_r2(F_i-1)+Conv_r3(F_i-1)

其中F_i表示该层输出结果，Conv_r1(F_i-1)表示在半径参数为r1的情况下对前一层输出F_i-1进行点云卷积的结果，Conv_r2(F_i-1)表示在半径参数为r2的情况下对前一层输出F_i-1进行点云卷积的结果，Conv_r3(F_i-1)表示在半径参数为r3的情况下对前一层输出F_i-1进行点云卷积的结果。

注意力机制则是通过Sigmoid函数约束。在卷积过程中，不同尺度下的结果，不同通道内的特征映射在前向过程中对结果的影响不会相同，通过注意力机制可以使得影响更大的特征进一步被重视，各通道得分可以表述为：

V_i表示该通道得分，Sigmoid即神经网络常见激活函数，

和

为全连接层，c_i为当前层的输出维度。

其中Sigmoid激活函数具体可以表述为：

FC_h*w(*)代表h×w的全连接层，h为前一层的神经元个数，w为当前层的神经元个数，在本实施例中，两层全连接层的h分别为

和c_i，w分别为c_i和

通过使用多层全连接对输入特征进行权重调整，并用Sigmoid函数进行权重约束，使得权重V_i范围处于01之间，与原输入特征映射相加，得到根据得分加权后的特征映射，计算方法可以表述为；

F_i＝F_i-1+V_i*F_i

其中F_i-1为前一层输出结果，将通道得分V_i与本层输出结果F_i相乘，得到调整权重后的本层输出结果，并与前一层结果相加得到本层的最终输出结果。

本实施例中，粗配准方法在目标点云中查找与采样点有着相似特征的n个对应点，并根据采样点和对应点，估计变换矩阵M，并使用Huber损失函数计算损失值，Huber损失函数可以表示为：

其中d为采样点和对应点的距离。当距离小于等于阈值时，损失函数为二次函数，大于阈值时则为线性函数。统计点集内的所有点的损失函数，得到该变换矩阵的损失总和L_M，L_M可以表示为：

粗配准得到的变换矩阵将作为下一阶段的初始参数传入后续步骤，粗配准匹配结果的点云配准结果如图4所示，白色为目标点云，灰色为模板点云以粗配准过程得到的变换矩阵作变换后的结果。

本实施例中，使用校正配准算法在粗配准的基础上进行校正配准。此算法在配准过程中，不利用对应点的特征计算和匹配，所以整体时间稳定，受初始姿态影响较小，解决了粗配准失效时，后续精配准算法没有较好初值的问题。第二阶段的校正配准点云配准结果如图5所示，白色为目标点云，灰色为模板点云以校正配准过程得到的变换矩阵作变换后的结果。

本实施例中，精配准算法采用ICP迭代最近点配准算法。该算法目标为使用最小二乘法优化一个统计所有的对应点之间的欧氏距离平方和的损失函数。损失函数可以表述为：

其中N代表模板点云的总点数，

代表目标点云中的点，

代表模板点云中的点，R代表旋转矩阵，T代表平移矩阵。旋转矩阵R和平移矩阵T拼接即为变换矩阵。

最终的点云配准结果如图6所示，白色为目标点云，灰色为模板点云以精配准过程得到的变换矩阵作变换后的结果，可以看到已完全重合。

本发明提出了一种基于点云配准的深度图像匹配方法。本发明通过预先采集目标样品的无倾斜无旋转的标准模板作为模板图像，然后使用3*3的卷积滤波模板处理模板图像和目标图像，提取样品边缘区域，去除大量平滑区域，降低后续点云处理数据量。将模板图像和目标图像提取出的边缘区域，根据相机标定参数生成对应初始点云数据。对点云数据进行降采样和孤立点去除，得到两幅图像对应的输入点云。计算两幅输入点云的法线信息和点特征直方图，并输入神经网络中计算特征点和特征描述；根据计算的特征点和特征描述，使用三级级联配准方法，包括粗配准，校正配准，精配准。首先使用粗配准得到大致姿态位置，然后使用校正配准，对粗配准结果进行调整，最后使用ICP迭代最近点配准算法进行最后一步精配准，得到最终的目标点云相对于模板点云的三维空间下的变换矩阵并计算出目标点云相对于模板点云在六个自由度上的运动情况。实验表明，本发明能有效解决各分辨率下的深度图像的匹配问题。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护。

Claims (5)

1.一种基于点云配准的深度图像匹配方法，其特征在于，该方法包括以下具体步骤：

步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；

步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；

步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；

步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；

步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；

步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；

步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；

步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。

2.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤2所述进行图像预处理，采用卷积的方法，使用卷积模板对深度图像进行卷积计算，得到各点在其邻域内的高度断差响应值；将各点的高度断差响应值作为筛选依据，筛选响应值大于设定阈值的点作为边缘特征点。

3.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤3所述相机标定参数是指对深度相机标定时得到的图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置能确定各点在真实三维空间内位置的参数。

4.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，所述步骤5具体为：网络输入数据包括原始的各点坐标位置信息及各点邻域内的局部特征直方图；局部特征直方图通过计算各点与其邻域内的点的法线信息和两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图；深度神经网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合；各卷积层中加入注意力机制，根据学习出的权重，调整特征信息；每层中加入多尺度采样结构，将不同半径的球形邻域内的卷积结果相加，并融合，得到各层的多尺度特征信息；

根据最终输出层的多尺度特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。

5.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤7所述进行校正配准处理是将整体点云空间分割成为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数；将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大。

Images