CN112017225A - 一种基于点云配准的深度图像匹配方法 - Google Patents

一种基于点云配准的深度图像匹配方法 Download PDF

Info

Publication number
CN112017225A
CN112017225A CN202010771813.6A CN202010771813A CN112017225A CN 112017225 A CN112017225 A CN 112017225A CN 202010771813 A CN202010771813 A CN 202010771813A CN 112017225 A CN112017225 A CN 112017225A
Authority
CN
China
Prior art keywords
point cloud
registration
template
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010771813.6A
Other languages
English (en)
Other versions
CN112017225B (zh
Inventor
吕岳
刘鑫
吕淑静
屠晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010771813.6A priority Critical patent/CN112017225B/zh
Publication of CN112017225A publication Critical patent/CN112017225A/zh
Application granted granted Critical
Publication of CN112017225B publication Critical patent/CN112017225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于点云配准的深度图像匹配方法。本发明在传统两阶段点云配准过程中加入校正配准，解决了粗配准失效使得精配准无法收敛并导致最终配准失败问题。在粗配准过程中，使用了深度神经网络提取出的特征，相较于传统点云特征描述，提高了特征描述的准确性。具体包括以下步骤：接收模板深度图像和目标深度图像并转为点云形式数据；使用深度神经网络提取两幅的关键点与特征点信息；使用计算出特征信息，对模板点云和目标点云依次进行粗配准处理，校正配准和精配准，获得两幅点云间的姿态变换矩阵并计算出模板图像相对于目标图像在X轴，Y轴，Z轴上的平移和旋转。利用本发明公开的方法，可以有效地实现对不同分辨率下的深度图像匹配。

Description

一种基于点云配准的深度图像匹配方法
技术领域
本发明涉及计算机技术及图像处理领域，尤其涉及一种基于点云配准的深度图像匹配方法。
背景技术
在如今的现代化、自动化工业生产中，机器视觉起到了关键性的作用。工件的自动检测，分类识别，产品质量的自动检测，编码的自动识别，目标跟踪，无序抓取等主要的机器视觉应用广泛应用于工业生产中。在这些应用中，匹配作为高层机器视觉中的流程第一步，往往决定了整套解决方案的稳定性，准确性，可用性。
近些年三维深度相机的使用越发广泛，使用三维深度相机可以得到比普通相机更多的工件信息，如工件尺寸，摆放角度，样品斜率等数据。然而在样品匹配这一关键步骤中，往往还对深度图采用传统图像处理中基于二维图像边缘信息或局部特征点信息的匹配方法，没有充分利用三维数据带来的高准确性和更大的适用场景。当工件出现较大倾翻转斜，需要得到样品具体的六个自由度的运动情况，或需要准确定位在三维空间中的位置时，传统的基于二维图像的方法往往无能为力。
现有的点云配准方法通常包括粗配准和精配准两个过程，一般期望粗配准能为精配准提供较为粗略但准确的配准初值，精配准常使用迭代最近点方法实现配准。但对于复杂和带有噪声的真实生产场景的深度图像转换的点云数据，简单的粗配准计算特征时间复杂度高，也常常出现始终无法迭代出较好初值的情况，使得整套点云配准解决方法的准确度和效率无法保证。
发明内容
本发明的目的是提供一种将深度图像转为点云数据，使用深度神经网络提取特征信息并通过三阶段级联配准实现深度图像匹配的方法，以解决现有工业生产中，使用二维图像匹配方法无法处理较大倾斜，也无法得到三维空间内六个自由度的运动情况和在三维空间内准确定位物体问题，并提高了传统点云配准方法在此生产场景下的稳定性和效率。
实现本发明目的的具体技术方案是：
一种基于点云配准的深度图像匹配方法，特点是该方法包括以下具体步骤：
步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；
步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；
步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；
步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；
步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；
步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；
步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；
步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。
步骤2所述进行图像预处理，采用卷积的方法，使用卷积模板对深度图像进行卷积计算，得到各点在其邻域内的高度断差响应值；将各点的高度断差响应值作为筛选依据，筛选响应值大于设定阈值的点作为边缘特征点。
步骤3所述相机标定参数是指对深度相机标定时得到的图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置能确定各点在真实三维空间内位置的参数。
所述步骤5具体为：网络输入数据包括原始的各点坐标位置信息及各点邻域内的局部特征直方图；局部特征直方图通过计算各点与其邻域内的点的法线信息和两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图；深度神经网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合；各卷积层中加入注意力机制，根据学习出的权重，调整特征信息；根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。
步骤7所述进行校正配准处理是将整体点云空间分割成为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数；将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大。
本发明使用加入注意力机制和多尺度采样的点云卷积特征提取网络提取点云特征，相较于手工设计的传统点云特征描述方法，在多个公共数据集如3DMATCH上显示出具有更强的鲁棒性，区分性，并通过多尺度采样结构，实现了对不同分辨率图像的处理。在配准过程中，使用提取到的关键点作为第一阶段粗配准的配准点，避免了传统方法随机采样配准点时的随机性，并降低了数据量。本发明还在传统二阶段配准方法中，加入了校正配准，解决了粗配准结果不准确时，精配准无法正确完成配准的问题。
本发明方法基于点云数据格式和多种点云配准方法，涉及图像边缘提取、点云滤波处理，点云法线估计与特征提取，点云配准等内容，应用范围很广，可以用于各分辨率下的深度图像的匹配问题。
附图说明
图1为本发明的流程图；
图2为本发明特征提取网络中的注意力机制结构示意图；
图3为本发明特征提取网络中的多尺度采样结构示意图；
图4为本发明待测图像和样本图像的粗配准结果图；
图5为本发明待测图像和样本图像的校正配准结果图；
图6为本发明待测图像和样本图像的精配准结果图。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明提出的基于点云配准的深度图像匹配方法，包括以下步骤：
步骤一，预先采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；
步骤二，对步骤一中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；
步骤三，根据相机标定参数，将步骤二中得到的预处理后的模板图像生成模板点云，将步骤二中得到的预处理后的目标图像生成目标点云；
步骤四，对步骤三中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；
步骤五，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后模板点云的特征点和各特征点的特征信息；
步骤六，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后目标点云的特征点和各特征点的特征信息；
步骤七，使用步骤五得到的滤波后模板点云特征点和各特征点的特征信息和步骤六得到的滤波后目标点云的特征点和各特征点的特征信息作为配准依据，对步骤四得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；
步骤八，将步骤七中的粗配准变换矩阵作为配准初始参数，对步骤四得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；
步骤九，将步骤八中的校正配准变换矩阵作为初始参数，对步骤四得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵；
步骤十，根据步骤九中的精配准变换矩阵，计算步骤四得到的滤波后模板点云相较于滤波后目标点云在X轴，Y轴，Z轴上的平移和旋转。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤二采用卷积的方法，使用卷积模板计算的各点邻域内高度断差的响应值大小作为依据，筛选响应值大于设定阈值的点作为边缘特征点。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤三中相机标定参数是指图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置等能确定各点在真实三维空间内位置的参数。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤四中通过将点云数据划分为若干大小相等的格栅区域，计算每个格栅中的所有点的重心来近似的表达该格栅中的点位置，在尽可能保留点云特征表示的情况下降低点云数据量。通过统计各点邻域内点数，筛除孤立点，减少孤立点对后续计算的影响。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤五，六的点云特征提取方面，采用了基于点云卷积的深度神经网络方法提取点云特征点和特征信息。网络输入数据除了原始的各点位置信息还包括各点邻域内的局部特征直方图。特征直方图通过计算各点与其邻域内的点的法线信息后，计算两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图。此方法相较于传统特征描述如FPFH，提高了点云特征描述的准确性。并且相较于随机选择特征点的方法，由网络选择重要的点做为特征点，避免了随机性，降低了数据量。网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合。添加注意力机制，根据学习出的权重，调整特征信息。每层中加入多尺度采样结构，将不同半径的球形邻域内的卷积结果相加，并融合，得到各层的多尺度特征信息。根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤七粗配准使用步骤五和步骤六中计算出的特征点作为模板特征点点集P1和目标特征点点集P2，以欧氏距离作为度量方法，将两点集间特征描述最为接近的两个点称为配对点对。每次通过计算少量配对点对间的变换矩阵，并统计使用该变换矩阵进行变换后的点云误差。多次迭代计算，最终误差最小的变换矩阵则为粗配准结果。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤八校正配准方法使用步骤六的变换矩阵作为初始矩阵，将点云空间分割称为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数。将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大值。该基于概率分布的配准算法利用全局的数据分布作为配准依据，所以具有速度快且受初值影响小的特点，解决粗配准失效情况下导致的精配准也无法收敛从而配准失败的情况。
本发明提出的基于点云配准的深度图像匹配方法中，所述步骤九使用ICP迭代最近点配准算法进行最后一步配准。ICP使用最小二乘法优化所有的对应点之间的欧氏距离平方和。
实施例
本实施例中，以匹配各倾斜角度的PCB板深度图像为例描述本发明的实施方法，实际本发明方法可以应用于其他深度图像的匹配。
本实施例基于点云配准的深度图像匹配方法中，以使用3D工业相机采集的未倾斜未旋转的样品的深度图像为模板图像，以倾斜和旋转的样品的深度图像作为目标图像。在通过对深度图像的边缘提取后，生成模板图像和目标图像对应的点云数据。对点云图像进行下采样和孤立点筛除。然后送入神经网络中，计算各点特征并选择出特征点。通过粗配准得到初始变换矩阵并作为输入参数，执行校正配准算法，最终执行精配准算法，得到最终的目标点云相对于模板点云的三维空间中的变换矩阵，并利用该变换矩阵计算出目标点云相对于模板点云沿x轴平移的距离，沿y轴平移的距离，沿z轴平移的距离，绕x轴转动的角度，绕y轴转动的角度，绕z轴转动的角度，也就是物体六个自由度上的运动情况。
本实施例的整体流程图如图1所示，具体包括以下步骤：
本实施例中，利用3*3大小的卷积滤波模板进行边缘提取,对于响应值大于设定阈值点作为边缘特征点进行保留。此模板计算的是图像在水平和垂直方向变化的速度又可以被称为梯度，是一个二维向量。该二维向量的元素是两个方向上的一阶导数，可以表示为：
Figure BDA0002616914550000061
其中f(x，y)表示深度图像(x，y)坐标下的深度信息。
Figure BDA0002616914550000062
表示水平方向上的一阶偏导，即f(x+1，y)-f(x，y)。
Figure BDA0002616914550000063
表示垂直方向上的一阶偏导，即f(x，y+1)-f(x，y)。T表示矩阵转置。
本实施例中，根据图像携带的信息X向分辨率，X向初始位置，Y向分辨率，Y向初始位置，将深度图像中的边缘关键点转化为三维立体空间中的真实位置坐标，点P转换方法可以表示为：
x＝i×xResolution+xOffset
y＝j×yResolution+yOffset
其中x，y，z为真实三维坐标，i，j为像素值所在行数和列数，xResolution为X向分辨率，yResolution为Y向分辨率，xOffset为X向初始位置，yOffset为Y向初始位置。
本实施例中，点云下采样处理则是将输入的点云划分为指定参数的三维体素格栅，在每个体素内，计算所有点的重心用于表示当前的体素所有点。通过降采样，可以大幅降低点云数据大小，极大地提高后续配准速度。而孤立点去除则是统计了各点领域内的近邻点数，近邻点少于阈值的点将被当做孤立点，在后续处理中去除，避免孤立点造成噪声影响。
本实施例中，使用基于点云卷积的深度神经网络方法提取点云特征点和特征信息。网络输入数据除了原始的各点位置信息还包括各点邻域内的局部特征直方图。特征直方图通过计算各点与其邻域内的点的法线信息后，计算两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图。网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合。添加注意力机制，根据学习出的权重，调整特征信息。根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。其中多尺度特征表式可以表述为：
Fi＝Convr1(Fi-1)+Convr2(Fi-1)+Convr3(Fi-1)
其中Fi表示该层输出结果，Convr1(Fi-1)表示在半径参数为r1的情况下对前一层输出Fi-1进行点云卷积的结果，Convr2(Fi-1)表示在半径参数为r2的情况下对前一层输出Fi-1进行点云卷积的结果，Convr3(Fi-1)表示在半径参数为r3的情况下对前一层输出Fi-1进行点云卷积的结果。
注意力机制则是通过Sigmoid函数约束。在卷积过程中，不同尺度下的结果，不同通道内的特征映射在前向过程中对结果的影响不会相同，通过注意力机制可以使得影响更大的特征进一步被重视，各通道得分可以表述为：
Figure BDA0002616914550000071
Vi表示该通道得分，Sigmoid即神经网络常见激活函数，
Figure BDA0002616914550000072
和
Figure BDA0002616914550000073
为全连接层，ci为当前层的输出维度。
其中Sigmoid激活函数具体可以表述为：
Figure BDA0002616914550000074
FCh*w(*)代表h×w的全连接层，h为前一层的神经元个数，w为当前层的神经元个数，在本实施例中，两层全连接层的h分别为
Figure BDA0002616914550000075
和ci，w分别为ci和
Figure BDA0002616914550000076
通过使用多层全连接对输入特征进行权重调整，并用Sigmoid函数进行权重约束，使得权重Vi范围处于01之间，与原输入特征映射相加，得到根据得分加权后的特征映射，计算方法可以表述为；
Fi＝Fi-1+Vi*Fi
其中Fi-1为前一层输出结果，将通道得分Vi与本层输出结果Fi相乘，得到调整权重后的本层输出结果，并与前一层结果相加得到本层的最终输出结果。
本实施例中，粗配准方法在目标点云中查找与采样点有着相似特征的n个对应点，并根据采样点和对应点，估计变换矩阵M，并使用Huber损失函数计算损失值，Huber损失函数可以表示为：
Figure BDA0002616914550000077
其中d为采样点和对应点的距离。当距离小于等于阈值时，损失函数为二次函数，大于阈值时则为线性函数。统计点集内的所有点的损失函数，得到该变换矩阵的损失总和LM，LM可以表示为：
Figure BDA0002616914550000078
粗配准得到的变换矩阵将作为下一阶段的初始参数传入后续步骤，粗配准匹配结果的点云配准结果如图4所示，白色为目标点云，灰色为模板点云以粗配准过程得到的变换矩阵作变换后的结果。
本实施例中，使用校正配准算法在粗配准的基础上进行校正配准。此算法在配准过程中，不利用对应点的特征计算和匹配，所以整体时间稳定，受初始姿态影响较小，解决了粗配准失效时，后续精配准算法没有较好初值的问题。第二阶段的校正配准点云配准结果如图5所示，白色为目标点云，灰色为模板点云以校正配准过程得到的变换矩阵作变换后的结果。
本实施例中，精配准算法采用ICP迭代最近点配准算法。该算法目标为使用最小二乘法优化一个统计所有的对应点之间的欧氏距离平方和的损失函数。损失函数可以表述为：
Figure BDA0002616914550000081
其中N代表模板点云的总点数，
Figure BDA0002616914550000082
代表目标点云中的点，
Figure BDA0002616914550000083
代表模板点云中的点，R代表旋转矩阵，T代表平移矩阵。旋转矩阵R和平移矩阵T拼接即为变换矩阵。
最终的点云配准结果如图6所示，白色为目标点云，灰色为模板点云以精配准过程得到的变换矩阵作变换后的结果，可以看到已完全重合。
本发明提出了一种基于点云配准的深度图像匹配方法。本发明通过预先采集目标样品的无倾斜无旋转的标准模板作为模板图像，然后使用3*3的卷积滤波模板处理模板图像和目标图像，提取样品边缘区域，去除大量平滑区域，降低后续点云处理数据量。将模板图像和目标图像提取出的边缘区域，根据相机标定参数生成对应初始点云数据。对点云数据进行降采样和孤立点去除，得到两幅图像对应的输入点云。计算两幅输入点云的法线信息和点特征直方图，并输入神经网络中计算特征点和特征描述；根据计算的特征点和特征描述，使用三级级联配准方法，包括粗配准，校正配准，精配准。首先使用粗配准得到大致姿态位置，然后使用校正配准，对粗配准结果进行调整，最后使用ICP迭代最近点配准算法进行最后一步精配准，得到最终的目标点云相对于模板点云的三维空间下的变换矩阵并计算出目标点云相对于模板点云在六个自由度上的运动情况。实验表明，本发明能有效解决各分辨率下的深度图像的匹配问题。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护。

Claims (5)

1.一种基于点云配准的深度图像匹配方法，其特征在于，该方法包括以下具体步骤：
步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；
步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；
步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；
步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；
步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；
步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；
步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；
步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。
2.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤2所述进行图像预处理，采用卷积的方法，使用卷积模板对深度图像进行卷积计算，得到各点在其邻域内的高度断差响应值；将各点的高度断差响应值作为筛选依据，筛选响应值大于设定阈值的点作为边缘特征点。
3.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤3所述相机标定参数是指对深度相机标定时得到的图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置能确定各点在真实三维空间内位置的参数。
4.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，所述步骤5具体为：网络输入数据包括原始的各点坐标位置信息及各点邻域内的局部特征直方图；局部特征直方图通过计算各点与其邻域内的点的法线信息和两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图；深度神经网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合；各卷积层中加入注意力机制，根据学习出的权重，调整特征信息；每层中加入多尺度采样结构，将不同半径的球形邻域内的卷积结果相加，并融合，得到各层的多尺度特征信息；
根据最终输出层的多尺度特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。
5.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤7所述进行校正配准处理是将整体点云空间分割成为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数；将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大。
CN202010771813.6A 2020-08-04 2020-08-04 一种基于点云配准的深度图像匹配方法 Active CN112017225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010771813.6A CN112017225B (zh) 2020-08-04 2020-08-04 一种基于点云配准的深度图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010771813.6A CN112017225B (zh) 2020-08-04 2020-08-04 一种基于点云配准的深度图像匹配方法

Publications (2)

Publication Number Publication Date
CN112017225A true CN112017225A (zh) 2020-12-01
CN112017225B CN112017225B (zh) 2023-06-09

Family

ID=73498786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771813.6A Active CN112017225B (zh) 2020-08-04 2020-08-04 一种基于点云配准的深度图像匹配方法

Country Status (1)

Country Link
CN (1) CN112017225B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN112560865A (zh) * 2020-12-23 2021-03-26 清华大学 一种室外大场景下点云的语义分割方法
CN112762824A (zh) * 2020-12-24 2021-05-07 中南大学 一种无人车定位方法及系统
CN112975957A (zh) * 2021-02-07 2021-06-18 深圳市广宁股份有限公司 目标提取方法、系统、机器人及存储介质
CN113139991A (zh) * 2021-05-13 2021-07-20 电子科技大学 一种基于重叠区域掩模预测的3d点云配准方法
CN113558766A (zh) * 2021-07-19 2021-10-29 北京纳通医学研究院有限公司 图像配准方法、装置、手术机器人以及手术机器人系统
CN113592923A (zh) * 2021-06-30 2021-11-02 国网浙江省电力有限公司营销服务中心 一种基于深度局部特征匹配的批图像配准方法
CN113627548A (zh) * 2021-08-17 2021-11-09 熵智科技(深圳)有限公司 一种平面工件模板匹配方法、装置、介质及计算机设备
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN114155376A (zh) * 2021-11-05 2022-03-08 苏州微创畅行机器人有限公司 目标特征点提取方法、装置、计算机设备和存储介质
CN114627170A (zh) * 2022-03-11 2022-06-14 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN114723978A (zh) * 2022-04-11 2022-07-08 南京拓控信息科技股份有限公司 一种基于三维轴信息的列车部件定位方法
CN114937122A (zh) * 2022-06-16 2022-08-23 黄冈强源电力设计有限公司 一种水泥纤维板房的快速三维模型重建方法
CN114972392A (zh) * 2022-05-10 2022-08-30 上海交通大学 基于天花板导航的定位方法
CN115018710A (zh) * 2022-06-27 2022-09-06 东南大学 一种基于fpfh特征和深度神经网络的点云超分辨率方法
CN115082562A (zh) * 2021-03-15 2022-09-20 华为技术有限公司 一种外参标定方法、装置、设备、服务器及车载计算设备
CN115115677A (zh) * 2022-07-01 2022-09-27 扬州大学 融合菱角外形轮廓与粗精配准的点云匹配的选种方法
CN115213122A (zh) * 2022-07-14 2022-10-21 中船重工鹏力（南京）智能装备系统有限公司 基于3d深度网络的无序分拣方法
CN115439480A (zh) * 2022-11-09 2022-12-06 成都运达科技股份有限公司 基于3d深度图像模板匹配的螺栓异常检测方法及系统
CN115471532A (zh) * 2022-09-30 2022-12-13 成都九洲迪飞科技有限责任公司 一种pcb板的点云快速配准方法
CN115482181A (zh) * 2021-05-31 2022-12-16 数坤(北京)网络科技股份有限公司 一种图像信息提取方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288947A1 (en) * 2014-04-03 2015-10-08 Airbus Ds Gmbh Position and location detection of objects
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111223132A (zh) * 2019-12-25 2020-06-02 华东师范大学 一种物体配准方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288947A1 (en) * 2014-04-03 2015-10-08 Airbus Ds Gmbh Position and location detection of objects
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111223132A (zh) * 2019-12-25 2020-06-02 华东师范大学 一种物体配准方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李保磊;张耀军;: "针对X射线双能CT成像的正弦图快速配准方法", 光学技术 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN112560865B (zh) * 2020-12-23 2022-08-12 清华大学 一种室外大场景下点云的语义分割方法
CN112560865A (zh) * 2020-12-23 2021-03-26 清华大学 一种室外大场景下点云的语义分割方法
CN112762824A (zh) * 2020-12-24 2021-05-07 中南大学 一种无人车定位方法及系统
CN112762824B (zh) * 2020-12-24 2022-04-22 中南大学 一种无人车定位方法及系统
CN112975957A (zh) * 2021-02-07 2021-06-18 深圳市广宁股份有限公司 目标提取方法、系统、机器人及存储介质
CN115082562A (zh) * 2021-03-15 2022-09-20 华为技术有限公司 一种外参标定方法、装置、设备、服务器及车载计算设备
CN113139991A (zh) * 2021-05-13 2021-07-20 电子科技大学 一种基于重叠区域掩模预测的3d点云配准方法
CN115482181A (zh) * 2021-05-31 2022-12-16 数坤(北京)网络科技股份有限公司 一种图像信息提取方法、装置、电子设备和可读存储介质
CN115482181B (zh) * 2021-05-31 2024-05-24 数坤(北京)网络科技股份有限公司 一种图像信息提取方法、装置、电子设备和可读存储介质
CN113592923A (zh) * 2021-06-30 2021-11-02 国网浙江省电力有限公司营销服务中心 一种基于深度局部特征匹配的批图像配准方法
CN113592923B (zh) * 2021-06-30 2024-03-29 国网浙江省电力有限公司营销服务中心 一种基于深度局部特征匹配的批图像配准方法
CN113558766A (zh) * 2021-07-19 2021-10-29 北京纳通医学研究院有限公司 图像配准方法、装置、手术机器人以及手术机器人系统
CN113627548A (zh) * 2021-08-17 2021-11-09 熵智科技(深圳)有限公司 一种平面工件模板匹配方法、装置、介质及计算机设备
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN113971690B (zh) * 2021-10-28 2024-04-16 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN114155376A (zh) * 2021-11-05 2022-03-08 苏州微创畅行机器人有限公司 目标特征点提取方法、装置、计算机设备和存储介质
CN114627170A (zh) * 2022-03-11 2022-06-14 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN114627170B (zh) * 2022-03-11 2024-06-07 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN114723978A (zh) * 2022-04-11 2022-07-08 南京拓控信息科技股份有限公司 一种基于三维轴信息的列车部件定位方法
CN114972392A (zh) * 2022-05-10 2022-08-30 上海交通大学 基于天花板导航的定位方法
CN114937122A (zh) * 2022-06-16 2022-08-23 黄冈强源电力设计有限公司 一种水泥纤维板房的快速三维模型重建方法
CN115018710A (zh) * 2022-06-27 2022-09-06 东南大学 一种基于fpfh特征和深度神经网络的点云超分辨率方法
CN115115677A (zh) * 2022-07-01 2022-09-27 扬州大学 融合菱角外形轮廓与粗精配准的点云匹配的选种方法
CN115115677B (zh) * 2022-07-01 2025-04-01 扬州大学 融合菱角外形轮廓与粗精配准的点云匹配的选种方法
CN115213122A (zh) * 2022-07-14 2022-10-21 中船重工鹏力（南京）智能装备系统有限公司 基于3d深度网络的无序分拣方法
CN115213122B (zh) * 2022-07-14 2024-07-12 中船鹏力(南京)智能装备系统有限公司 基于3d深度网络的无序分拣方法
CN115471532A (zh) * 2022-09-30 2022-12-13 成都九洲迪飞科技有限责任公司 一种pcb板的点云快速配准方法
CN115439480B (zh) * 2022-11-09 2023-02-28 成都运达科技股份有限公司 基于3d深度图像模板匹配的螺栓异常检测方法及系统
CN115439480A (zh) * 2022-11-09 2022-12-06 成都运达科技股份有限公司 基于3d深度图像模板匹配的螺栓异常检测方法及系统

Also Published As

Publication number Publication date
CN112017225B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN112017225B (zh) 一种基于点云配准的深度图像匹配方法
Zhang et al. Pose2seg: Detection free human instance segmentation
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
AU2020104423A4 (en) Multi-View Three-Dimensional Model Retrieval Method Based on Non-Local Graph Convolutional Network
CN111667506B (zh) 一种基于orb特征点的运动估计方法
CN108154118A (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
CN104574401A (zh) 一种基于平行线匹配的图像配准方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112215079B (zh) 一种全局多阶段目标跟踪方法
CN112364881A (zh) 一种进阶采样一致性图像匹配算法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN110929649A (zh) 一种面向小目标检测的网络和困难样本挖掘方法
CN117541537B (zh) 基于全景点云融合技术的时空差异检测方法及其系统
CN118823126B (zh) 一种pcb免焊接光学器件定位方法
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN111145198A (zh) 一种基于快速角点检测的非合作目标运动估计方法
CN119380123A (zh) 一种基于多维残差注意力机制的电网异常检测方法及系统
CN118967702A (zh) 二维图像与三维点云结合的位姿估计方法、介质及设备
CN112418250A (zh) 一种复杂3d点云的优化匹配方法
CN117252928A (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN111079585A (zh) 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法
CN110264501A (zh) 一种基于cnn的自适应粒子滤波视频目标跟踪方法及系统
CN115294036A (zh) 一种基于遮挡情况下的双孢菇检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant