CN116452644A - 基于特征描述子的三维点云配准方法、装置及存储介质 - Google Patents

基于特征描述子的三维点云配准方法、装置及存储介质 Download PDF

Info

Publication number
CN116452644A
CN116452644A CN202310433897.6A CN202310433897A CN116452644A CN 116452644 A CN116452644 A CN 116452644A CN 202310433897 A CN202310433897 A CN 202310433897A CN 116452644 A CN116452644 A CN 116452644A
Authority
CN
China
Prior art keywords
point
dimensional
feature
matrix
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310433897.6A
Other languages
English (en)
Inventor
刘学君
杜晨晨
晏涌
沙芸
韩若梅
栾婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Petrochemical Technology
Original Assignee
Beijing Institute of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Petrochemical Technology filed Critical Beijing Institute of Petrochemical Technology
Priority to CN202310433897.6A priority Critical patent/CN116452644A/zh
Publication of CN116452644A publication Critical patent/CN116452644A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于特征描述子的三维点云配准方法、装置及存储介质，应用于危化品仓库安全距离监测技术领域，包括：使用灰度差优化Harris角点并与SURF特征点融合对RGB图进行特征提取和匹配，提升弱纹理区域的特征信息提取能力，将匹配后的二维特征点映射到三维构建H‑SURF特征描述子进行点云粗配准，并选取H‑SURF特征描述子中以误差最小的特征点为中心的邻域点云为感兴趣特征区域，作为ICP算法的输入进行精配准，解决了ICP算法及其相关改进算法在视角重合度过低时易陷入局部最优解的问题，并提升了算法效率与准确率，采用感兴趣特征区域作为输入还解决了现有技术中ICP算法数据处理量大，耗时较长的问题。

Description

基于特征描述子的三维点云配准方法、装置及存储介质
技术领域
本发明涉及危化品仓库安全距离监测技术领域，具体涉及基于特征描述子的三维点云配准方法、装置及存储介质。
背景技术
危化品仓库范围大、环境复杂，传统方法难以及时准确地对潜在的安全问题进行预警，“五距”是危化品仓储安全监测的关键，点云（Point Cloud）是包含目标三维空间信息的数据点的集合，可以为危化品仓储安全监测提供更好的环境感知，单个位置采集的点云信息少且易出现物体互相遮挡的现象，从双位置采集点云进行配准拼接，可以获取目标更大范围的三维信息，因此，双位置点云的配准方法是大场景三维重建中的关键；
双位置点云配准的核心是寻找准确的对应点集并计算对应的旋转平移关系，Besl等提出的经典的ICP(Iterative Closest Point) 算法配准精度高，被广泛应用于点云配准，但该算法的时效性低，过于依赖点云的初始位姿且在两片点云重合率小于70%时易陷入局部最优解，同时现有的三维特征提取方法均需要处理庞大的点云数据，在点云规模较大时会因两片点云重合点集过少而导致累计误差过大，且算法耗时过长。
发明内容
有鉴于此，本发明的目的在于提供基于特征描述子的三维点云配准方法、装置及存储介质，以解决现有的ICP算法过于依赖点云的初始位姿且在两片点云重合率小于70%时易陷入局部最优解，以及现有的三维特征提取方法均需要处理庞大的点云数据，在点云规模较大时会因两片点云重合点集过少而导致累计误差过大，且算法耗时过长的问题。
根据本发明实施例的第一方面，提供基于特征描述子的三维点云配准方法，所述方法包括：
通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图。
优选地，
所述通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t包括：
将两片三维点云中的H-SURF特征描述子分别记为集合X与集合P，分别计算集合X以及集合P中每一个H-SURF特征描述子的重心，得到两个新的集合，即两片新的三维点云，将两片新的三维点云相乘后获得矩阵W，对矩阵W进行SVD分解，分别得到初始的旋转矩阵R与平移矩阵t。
优选地，
所述将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图包括：
将两个感兴趣特征区域分别作为目标点云P以及源点云Q；
在目标点云P中取点集pi∈P，并找出源点云Q中的对应点集qi∈Q，使得||qi-pi||最小；
基于点集pi、点集qi、初始的旋转矩阵R以及平移矩阵t计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则初始的旋转矩阵R以及平移矩阵t为最佳旋转矩阵R b以及平移矩阵t b；
若误差值大于预设的误差阈值，则对pi使用初始的旋转矩阵R和平移矩阵t进行旋转和平移变换，获得新的目标点云P 1；
获取新的目标点云P 1的点集pi 1，并找出源点云Q中的对应点集qi∈Q，使得||qi 1 - pi||最小；
将新的目标点云P 1以及源点云Q中的特征点分别记为集合X 1与集合P 1，分别计算集合X 1与集合P 1中每一个特征点的重心，得到两个新的集合，将两个新的集合相乘后获得矩阵W 1，对矩阵W 1进行SVD分解，分别得到新的旋转矩阵R 1与平移矩阵t 1；
基于点集pi 1、点集qi、新的旋转矩阵R 1与平移矩阵t 1计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则新的旋转矩阵R 1与平移矩阵t 1为最佳旋转矩阵R b以及平移矩阵t b；
若误差值大于预设的误差阈值，重复上述步骤，直到获取到最佳旋转矩阵R b以及平移矩阵t b；
通过最佳旋转矩阵R b以及平移矩阵t b将所述双视角下的点云图中的一个点云图变换到另一个点云图中的坐标系中，得到所述仓储空间的目标点云图。
优选地，
所述对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点包括：
通过计算RGB图灰度化后每个像素点与其8邻域像素点的灰度差值，得到8个灰度差；
分别判断8个灰度差与预设的灰度差阈值的大小，若某一灰度差小于预设的灰度差阈值，则视为该像素点与周边某一邻域的像素点相似；若某一灰度差大于或等于预设的灰度差阈值，则视为该像素点与周边某一邻域不相似，得到某一像素点与8邻域像素点的相似个数，若相似个数满足预设的数量，则将该像素点作为候选角点。
优选地，
所述引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点包括：
分别计算图像灰度函数I(x，y)对x和y的二阶偏导数，其中x和y为所述候选角点的坐标；
根据每个候选角点的二阶偏导数求解二阶Hessian矩阵的两个特征值，将两个特征值相乘得到形状描述子，分别计算每个候选角点的形状描述子；
将每个候选角点的形状描述子分别与预设的形状描述子阈值进行比较，若候选角点的形状描述子小于预设的形状描述子阈值，则将该候选角点作为目标角点。
优选地，
所述将SURF特征点与目标角点进行结合，得到H-SURF特征描述子包括：
将目标角点以及SURF特征点组成新的特征点集A；
以特征点集A中任一目标角点或SURF特征点为中心，通过预设半径得到一个固定范围；
将该固定范围等分为多个子块，计算每一个子块范围内所有像素点沿X方向和Y方向的haar小波响应值并求和，得到特征点集A中任一目标角点或SURF特征点的H-SURF特征描述子；
分别计算特征点集A中所有目标角点或SURF特征点的H-SURF特征描述子。
优选地，
所述对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云包括：
计算双视角下的H-SURF特征描述子的欧式距离，通过欧式距离来判别双视角下特征点的相似度，通过设置欧式距离阈值来获取匹配的特征点对；
通过RANSAC算法对特征点对进行筛选，得到目标特征点对；
将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云；
所述将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云包括：
通过相机标定技术获取所述深度相机的内参矩阵；
通过所述深度图获取所述目标特征点对分别在各自的深度图上的深度值；
基于每个特征点的深度值以及深度相机的内参矩阵将二维的目标特征点对映射到三维空间，得到两片三维点云。
根据本发明实施例的第二方面，提供基于特征描述子的三维点云配准装置，所述装置包括：
图像获取模块：用于通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
候选角点获取模块：用于对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
目标角点获取模块：用于引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
融合模块：用于在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
三维映射模块：对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
粗配准模块：用于通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
精配准模块：用于通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图。
根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的上述方法中的各个步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本申请通过在点云粗配准阶段，使用灰度差优化Harris角点并与SURF特征点融合对RGB图进行特征提取和匹配，提升弱纹理区域的特征信息提取能力，将匹配后的特征点通过深度图与相机参数映射到三维构建H-SURF特征描述子进行点云粗配准，并选取H-SURF特征描述子误差最小特征点的邻域点云为感兴趣特征区域，作为ICP算法的输入进行精配准，解决了ICP算法及其相关改进算法在视角重合度过低时易陷入局部最优解的问题，并提升了算法效率与准确率，同时仅仅将整个三维区域的部分，也就是感兴趣区域进行精配准，在提升视角重合度的同时还解决了现有技术中将整个三维点云作为ICP算法的输入，数据处理量大，耗时较长的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的基于特征描述子的三维点云配准方法的流程示意图；
图2是根据一示例性实施例示出的精配准方法的流程示意图；
图3是根据另一示例性实施例示出的仓库仿真情况下的粗配准示意图；
图4是根据一示例性实施例示出的不同场景下的点云配准测试结果示意图；
图5是根据一示例性实施例示出的基于特征描述子的三维点云配准装置的系统示意图；
附图中：1-图像获取模块，2-候选角点获取模块，3-目标角点获取模块，4-融合模块，5-三维映射模块，6-粗配准模块，7-精配准模块。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
图1是根据一示例性实施例示出的基于特征描述子的三维点云配准方法的流程示意图，如图1所示，该方法包括：
S1，通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
S2，对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
S3，引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
S4，在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
S5，对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
S6，通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
S7，通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图；
可以理解的是，危化品仓库中的堆垛如木箱等外形多为长方体，堆垛表面纹理较弱但具有明显的角点特征，现有的角点获取方法计算简单，通过计算每一个像素点在X方向和Y方向的梯度体现图像的灰度值变化从而识别角点，但在大尺度图像中时效性较差且角点易堆叠，角点的个数在图像整体中的比例很小，针对以上问题，本申请提出一种新的角点获取方式，通过计算每个像素点与邻域像素点的灰度差来求取候选角点进行初步筛选，以加减法替代原来的梯度计算提升运算效率，再通过引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点，SIFT特征描述子具有尺度变化不变性，对噪点、光照强度等具有一定的鲁棒性，但计算量过大且在光滑、弱纹理场景下效果不理想，而SURF特征继承了SIFT特点的同时，提升了运算效率，通过SURF算法在RGB图上提取SURF特征点，值得强调的是，通过SURF算法提取SURF特征点是相当成熟的现有技术，此处不做过多的赘述，然后将SURF特征点与目标角点进行结合，得到H-SURF特征描述子，对双视角下的H-SURF特征描述子进行配对，得到二维的H-SURF特征描述子对，本申请借助相机参数构建映射关系，将已经匹配完成的二维H-SURF特征点对，映射到三维空间形成三维的、一一对应的H-SURF特征描述子，这些点便是SIFT-3D等主流点云特征提取算法所寻求的最终结果，再经过粗配准调整点云初始位姿，增强了ICP算法在低重合率配准的鲁棒性，提高了点云的配准速度和准确率，同时粗配准给ICP算法一个初始的旋转矩阵R与平移矩阵t，通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，30cm为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图；本申请通过在点云粗配准阶段，使用灰度差优化Harris角点并与SURF特征点融合对RGB图进行特征提取和匹配，提升弱纹理区域的特征信息提取能力，将匹配后的特征点通过深度图与相机参数映射到三维构建H-SURF特征描述子进行点云粗配准，并选取H-SURF特征描述子误差最小特征点的邻域点云为感兴趣特征区域，作为ICP算法的输入进行精配准，解决了ICP算法及其相关改进算法在视角重合度过低时易陷入局部最优解的问题，并提升了算法效率与准确率，同时仅仅将整个三维区域的部分，也就是感兴趣区域进行精配准，在提升视角重合度的同时还解决了现有技术中将整个三维点云作为ICP算法的输入，数据处理量大，耗时较长的问题。
优选地，
所述通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t包括：
将两片三维点云中的H-SURF特征描述子分别记为集合X与集合P，分别计算集合X以及集合P中每一个H-SURF特征描述子的重心，得到两个新的集合，即两片新的三维点云，将两片新的三维点云相乘后获得矩阵W，对矩阵W进行SVD分解，分别得到初始的旋转矩阵R与平移矩阵t；
可以理解的是，在获取3D H-SURF特征描述子，记两片点云中的n个特征描述子集合分别集合X与集合P，如下所示：
求取集合X与集合P的重心，并形成新的点云公式：
将新的两片点云相乘后获得矩阵W，对矩阵W进行SVD分解，具体如下所示：
式中，表示一个3x3的对角矩阵，没有实际意义，T为数学中的转置符号，/>代表矩阵V的转置矩阵，U和V是一个1x3的三维向量，所以我们可以通过U和V求取初始的旋转矩阵R与平移矩阵t，具体计算公式如下所示：
初始旋转矩阵R：
初始平移矩阵t：
优选地，
所述将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图包括：
S901，将两个感兴趣特征区域分别作为目标点云P以及源点云Q；
S902，在目标点云P中取点集pi∈P，并找出源点云Q中的对应点集qi∈Q，使得|| qi-pi||最小；
S903，基于点集pi、点集qi、初始的旋转矩阵R以及平移矩阵t计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则初始的旋转矩阵R以及平移矩阵t为最佳旋转矩阵R b以及平移矩阵t b；
S904，若误差值大于预设的误差阈值，则对pi使用初始的旋转矩阵R和平移矩阵t进行旋转和平移变换，获得新的目标点云P 1；
S905，获取新的目标点云P 1的点集pi 1，并找出源点云Q中的对应点集qi∈Q，使得|| qi 1 -pi||最小；
S906，将新的目标点云P 1以及源点云Q中的特征点分别记为集合X 1与集合P 1，分别计算集合X 1与集合P 1中每一个特征点的重心，得到两个新的集合，将两个新的集合相乘后获得矩阵W 1，对矩阵W 1进行SVD分解，分别得到新的旋转矩阵R 1与平移矩阵t 1；
S907，基于点集pi 1、点集qi、新的旋转矩阵R 1与平移矩阵t 1计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则新的旋转矩阵R 1与平移矩阵t 1为最佳旋转矩阵R b以及平移矩阵t b；
S908，若误差值大于预设的误差阈值，重复上述步骤，直到获取到最佳旋转矩阵R b以及平移矩阵t b；
S909，通过最佳旋转矩阵R b以及平移矩阵t b将所述双视角下的点云图中的一个点云图变换到另一个点云图中的坐标系中，得到所述仓储空间的目标点云图；
可以理解的是，如附图2所示，ICP算法的核心思想是通过不断迭代最小化误差函数，其在每一次迭代的过程中，对目标点云P中的一点pi，按照一定的对应关系，在模板点云Q中寻找欧氏距离最近的点qi作为其对应点，并计算出最优匹配参数R和t，使得误差函数F（R，t）取得最小值，最终求解出一组最优的刚体变换参数，使得目标点云经过变换后可以和模板点云对应，具体为：
将上述获得的两个感兴趣特征区域分别作为目标点云P以及源点云Q；
在目标点云P中取点集pi∈P，并找出源点云Q中的对应点集qi∈Q，使得||qi-pi||最小，由于粗配准过程已经给ICP算法输入了初始的旋转矩阵R以及平移矩阵t，所以可以直接计算误差函数F的误差值，误差函数F的表达式为：
计算出误差函数F的误差值后，将该误差值与预设的误差值阈值进行比较，若小于或等于预设的误差值阈值，则结束精配准，将初始的旋转矩阵R以及平移矩阵t作为最佳旋转矩阵R b以及平移矩阵t b，而如果误差值大于预设的误差值阈值，则需要再次进行迭代计算，对pi使用初始的旋转矩阵R和平移矩阵t进行旋转和平移变换，获得新的目标点云P 1，将新的目标点云P 1以及源点云Q中的特征点分别记为集合X 1与集合P 1，根据上述的初始的旋转矩阵R以及平移矩阵t计算公式，可以计算出新的旋转矩阵R 1与平移矩阵t 1，基于点集pi 1、点集qi、新的旋转矩阵R 1与平移矩阵t 1计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则新的旋转矩阵R 1与平移矩阵t 1为最佳旋转矩阵R b以及平移矩阵t b，若大于预设的误差阈值，则再通过新的旋转矩阵R 1与平移矩阵t 1对pi 1进行旋转平移变换继续得到新的目标点云P 2，直到某一次迭代时，计算出的误差值小于或等于预设的误差值阈值，则将此次的旋转矩阵与平移矩阵作为最佳旋转矩阵R b以及平移矩阵t b，然后通过最佳旋转矩阵R b以及平移矩阵t b将初始的所述双视角下的点云图中的一个点云图变换到另一个点云图中的坐标系中，得到所述仓储空间的目标点云图，该目标点云图中包含了双视角下的融合的点云信息，能为危化品仓储安全监测提供更好的环境感知。
优选地，
所述对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点包括：
通过计算RGB图灰度化后每个像素点与其8邻域像素点的灰度差值，得到8个灰度差；
分别判断8个灰度差与预设的灰度差阈值的大小，若某一灰度差小于预设的灰度差阈值，则视为该像素点与周边某一邻域的像素点相似；若某一灰度差大于或等于预设的灰度差阈值，则视为该像素点与周边某一邻域不相似，得到某一像素点与8邻域像素点的相似个数，若相似个数满足预设的数量，则将该像素点作为候选角点；
可以理解的是，设I(x,y)为RGB图灰度化后任一像素点，I(i,j)是以I(x,y)为中心的8邻域中任意一点，则候选角点判别方式如下所示：
式中，N为灰度差的阈值，M是与中心点I(x,y)相似点的个数，也就是灰度差小于预设的灰度差阈值的个数，当M取值为0时表示中心点可能为独立的噪点，当M取值为8时，表示中心点8邻域附近的灰度值变化不大，不可能是角点，而M的取值在5到7时情况复杂，有可能夹杂边缘点等，所以舍去，当M的取值为2到4时，认为该中心点为候选角点。
优选地，
所述引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点包括：
分别计算图像灰度函数I(x，y)对x和y的二阶偏导数，其中x和y为所述候选角点的坐标；
根据每个候选角点的二阶偏导数求解二阶Hessian矩阵的两个特征值，将两个特征值相乘得到形状描述子，分别计算每个候选角点的形状描述子；
将每个候选角点的形状描述子分别与预设的形状描述子阈值进行比较，若候选角点的形状描述子小于预设的形状描述子阈值，则将该候选角点作为目标角点；
可以理解的是，使用Harris算法对候选角点进行判别后，引入Hessian矩阵：
其中，H为二阶Hessian矩阵，、/>和/>分别为图像灰度函数I(x,y)对x和y的二阶偏导数，求取矩阵H的两个特征值/>以及/>，计算公式如下：
上式中，为形状描述子，某点的形状描述子越接近/>的负极大值，则该点越可能是角点，所以本申请通过形状描述子阈值，将每个候选角点的形状描述子分别与预设的形状描述子阈值进行比较，若候选角点的形状描述子小于预设的形状描述子阈值，则将该候选角点作为目标角点。
优选地，
所述将SURF特征点与目标角点进行结合，得到H-SURF特征描述子包括：
将目标角点以及SURF特征点组成新的特征点集A；
以特征点集A中任一目标角点或SURF特征点为中心，通过预设半径得到一个固定范围；
将该固定范围等分为多个子块，计算每一个子块范围内所有像素点沿X方向和Y方向的haar小波响应值并求和，得到特征点集A中任一目标角点或SURF特征点的H-SURF特征描述子；
分别计算特征点集A中所有目标角点或SURF特征点的H-SURF特征描述子；
可以理解的是，将目标角点以及SURF特征点组成新的特征点集A(x,y)，以A(x,y)中每个点为中心，半径为20S的划分出一个圆，其中，S是SURF特征点的尺度因子，将这个圆等分成16个子块，计算每一个子块范围内所有像素点沿X方向和Y方向的haar小波响应值并求和得到H-SURF特征描述子，其表达式如下所示：
式中，和/>分别为子块范围内所有像素点沿X方向和Y方向的haar小波响应值。
优选地，
所述对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云包括：
计算双视角下的H-SURF特征描述子的欧式距离，通过欧式距离来判别双视角下特征点的相似度，通过设置欧式距离阈值来获取匹配的特征点对；
通过RANSAC算法对特征点对进行筛选，得到目标特征点对；
将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云；
所述将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云包括：
通过相机标定技术获取所述深度相机的内参矩阵；
通过所述深度图获取所述目标特征点对分别在各自的深度图上的深度值；
基于每个特征点的深度值以及深度相机的内参矩阵将二维的目标特征点对映射到三维空间，得到两片三维点云；
可以理解的是，计算目标图以及待匹配图（双视角任一视角作为目标图，另一视角则是待匹配图）的H-SURF特征描述子和/>的欧式距离D，其表达式如下所示：
式中，n表示特征向量的维度，通过欧式距离D来判别双视角下特征点的相似度，通过设置欧式距离阈值来获取匹配的特征点对，经过特征点匹配后，通过RANSAC算法进一步剔除误匹配点，值得说明的是，RANSAC算法同样为一现有的算法，且现有技术中同样存在利用RANSAC算法筛选匹配点的方案，该算法多用于直线拟合，核心思想是通过假设所给的数据中存在大部分正常数据与少量异常数据，并随机抽样，假设所选样本数据为正确，生成模型并验证其它点，不断重复迭代后直到误差最小；三维点云是由深度图借助相机参数而形成的，通过相机参数修正后，深度相机获取的RGB图和深度图的像素点是可以一一对应的，则可以获取到RGB图上的像素点在深度图上的深度值，通过相机标定技术获取所述深度相机的内参矩阵Y，
式中，、/>分别为深度相机坐标系x轴、y轴方向的焦距，/>、/>为相机光轴中心的坐标，获取到相机的内参矩阵Y以及像素点的深度值后，就可以进行三维变换，RGB图像上任一点P（u,v）映射到三维空间后的点Q（x,y,z），如下所示：/>
式中，Z为深度图上坐标为（u，v）的点的深度值。
为了验证本申请上述的方案，本实施例还选取德国慕尼黑工业大学的TUM RGB-D数据集进行鲁棒性测试，TUM数据集包含Microsoft Kinect深度相机在39个不同的室内场景生成的数据，被广泛应用于室内三维重建和Slam的研究，该数据集室内场景的三维重建范围从3m到8m不等，重建的场景具有纹理弱且目标互相遮挡等与危化品仓储环境类似的特点，表1为选取10个场景测试后的特征点数平均数值，
表 1 角点检测数据
表2为特征匹配的结果，本文算法在仓库仿真环境能获取更多的特征点匹配，而在TUM数据中某一个电脑桌场景中，由于电脑桌场景纹理丰富，SIFT算法能获取更多特征点匹配但耗时过长；光滑的木箱场景与危化品仓储类似，具有光滑、纹理弱且角点明显等特点，SIFT及其改进SURF在计算过程中涉及到了法线等几何特征，在弱纹理环境鲁棒性较差，而本文的H-SURF主要依赖于角点特征，在角点特征明显的场景具有较好的鲁棒性，
表 2 特征匹配数据
从表2可以看出，本申请相比于现有的其他技术，可以成功匹配更多的特征点数量，且耗时更少；将表2中的仓库仿真情形匹配所得的H-SURF特征描述子映射到三维形成3DH-SURF描述子并进行点云粗配准的结果如附图3所示，从图3中右边为3D H-SURF特征描述子进行粗配准的结果，将左边的待匹配点云中的3D H-SURF特征描述子映射到目标点云中，得到右边的粗匹配结果，两者重合度越高，表示粗匹配精度较高，具体坐标变换在表3中列出，其中的坐标单位为米，
表 3 3D H-SURF特征描述子粗匹配变换前后的坐标
点编号 第一组 第二组 粗配准结果（圈）
1 (1.069,-0.599,2.553) (0.507,-0.693,2.735) (1.074,-0.609,2.549)
2 (0.578,-0.319,2.221) (0.118,-0.388,2.345) (0.596, -0.331, 2.248)
3 (0.712,-0.239,2.210) (0.2480,-0.307,2.345) (0.718, -0.242, 2.221)
4 (0.764,-0.223,2.196) (0.305,-0.295,2.345) (0.772, -0.227, 2.211)
5 (0.789,-0.030,1.796) (0.414,-0.095,1.927) (0.779, -0.027, 1.779)
6 (-0.095,0.049,1.834) (-0.449,0.0378,1.769) (-0.103,0.056,1.805)
7 (0.149,0.157,1.561) (-0.157,0.1338,1.568) (0.135,0.166,1.547)
8 (0.245,0.276,1.462) (-0.034,0.250,1.501) (0.235,0.288,1.456)
9 (0.734,-0.228,2.210) (0.272,-0.295,2.345) (0.741,-0.229,2.216)
上述粗变换求得的旋转矩阵R和平移向量t如下所示：
设点Q(x,y,z)为第二组任一点，则下式为其映射到第一组P(x1,y1,z1)所处坐标系的公式：
在TUM数据集中测试算法鲁棒性的点云配准实验部分场景如下：
其中，选取TUM数据集中的柜子场景里的两帧，该场景三维重建范围为8米，且环境单一，纹理较弱，平均每帧之间的移动距离为16.34cm，该场景点云配准误差如表4所示，本文算法在8m三维重建范围内具有较好的时效性且误差较小；
表 4TUM特征匹配数据
为验证本文算法在两片点云不同重合度下的配准鲁棒性，本文实验选取重合度低于80%、低于70%、低于50%三类场景分别进行点云配准测试，为验证本文算法配准效果，实验选取经K-D tree加速的ICP算法、FPFH+ICP算法和NDT+ICP算法进行对比试验，ICP算法在重合度80%以上且两片点云初始位姿在同一水平面等条件下具有很好的配准精度，当重合度低于70%时，ICP算法及其改进算法，因为需要从两片点云选取特征点集进行暴力匹配，而重合度过低或者经粗配准后初始位姿较差会陷入局部最优解，其经过粗配准后进行ICP精配准迭代的误差变换如附图4所示，附图4中，误差均方根RMS（Root Mean Square）的单位为厘米，迭代次数为0的RMS即为粗配准误差，ICP算法没有经过粗配准，其粗配准误差即点云的初始位姿误差，在重合度低于80%的场景，本文算法和NDT+ICP算法经过粗配准后的误差较小，仅需ICP迭代2代即可误差收敛，而当重合度低于70%时，NDT+ICP和FPFH+ICP的粗配准误差相比初始位姿更小，但是因粗配准后点云位姿未处于同一平面导致陷入局部最优导致误差收敛呈现波动趋势，而本文算法使用粗配准后的感兴趣特征区域替代整体点云进行ICP迭代，粗配准后的两片感兴趣特征区域整体重合度可达到90%以上，点云规模小、位姿理想，能避免陷入局部最优解且时效性较好，具体数值如表5所示，
表 5 仓库仿真3.5米范围内实验数据
表5中，FPFH+ICP和NDT+ICP算法的粗配准阶段均需从无序三维点云中寻找特征点集，危化品仓库点云数据规模可达数十万，导致时效性较差且两片点云重合度低时累积误差较大,，本文算法从二维RGB图寻找特征点映射至三维，减弱了点云配准过程中点云数据规模对算法时效性和累计误差的影响，从而获得更好的试验结果。
实施例二
图5是根据一示例性实施例示出的基于特征描述子的三维点云配准装置的系统示意图，包括：
图像获取模块1：用于通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
候选角点获取模块2：用于对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
目标角点获取模块3：用于引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
融合模块4：用于在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
三维映射模块5：用于对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
粗配准模块6：用于通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
精配准模块7：用于通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图；
可以理解的是，本申请图像获取模块1用于通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；候选角点获取模块2用于对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；目标角点获取模块3用于引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；融合模块4用于在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；三维映射模块5用于对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；粗配准模块6用于通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；精配准模块7用于通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图；本申请通过在点云粗配准阶段，使用灰度差优化Harris角点并与SURF特征点融合对RGB图进行特征提取和匹配，提升弱纹理区域的特征信息提取能力，将匹配后的特征点通过深度图与相机参数映射到三维构建H-SURF特征描述子进行点云粗配准，并选取H-SURF特征描述子误差最小特征点的邻域点云为感兴趣特征区域，作为ICP算法的输入进行精配准，解决了ICP算法及其相关改进算法在视角重合度过低时易陷入局部最优解的问题，并提升了算法效率与准确率，同时仅仅将整个三维区域的部分，也就是感兴趣区域进行精配准，在提升视角重合度的同时还解决了现有技术中将整个三维点云作为ICP算法的输入，数据处理量大，耗时较长的问题。
实施例三：
本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；
可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.基于特征描述子的三维点云配准方法，其特征在于，所述方法包括：
通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
对双视角下的H-SURF特征描述子进行配对，并将配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图。
2.根据权利要求1所述的方法，其特征在于，
所述通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t包括：
将两片三维点云中的H-SURF特征描述子分别记为集合X与集合P，分别计算集合X以及集合P中每一个H-SURF特征描述子的重心，得到两个新的集合，即两片新的三维点云，将两片新的三维点云相乘后获得矩阵W，对矩阵W进行SVD分解，分别得到初始的旋转矩阵R与平移矩阵t。
3.根据权利要求2所述的方法，其特征在于，
所述将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图包括：
将两个感兴趣特征区域分别作为目标点云P以及源点云Q；
在目标点云P中取点集pi∈P，并找出源点云Q中的对应点集qi∈Q，使得||qi-pi||最小；
基于点集pi、点集qi、初始的旋转矩阵R以及平移矩阵t计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则初始的旋转矩阵R以及平移矩阵t为最佳旋转矩阵R b以及平移矩阵t b；
若误差值大于预设的误差阈值，则对pi使用初始的旋转矩阵R和平移矩阵t进行旋转和平移变换，获得新的目标点云P 1；
获取新的目标点云P 1的点集pi 1，并找出源点云Q中的对应点集qi∈Q，使得||qi 1 -pi||最小；
将新的目标点云P 1以及源点云Q中的特征点分别记为集合X 1与集合P 1，分别计算集合X 1与集合P 1中每一个特征点的重心，得到两个新的集合，将两个新的集合相乘后获得矩阵W 1，对矩阵W 1进行SVD分解，分别得到新的旋转矩阵R 1与平移矩阵t 1；
基于点集pi 1、点集qi、新的旋转矩阵R 1与平移矩阵t 1计算误差函数F的误差值，若误差值小于或等于预设的误差阈值，则新的旋转矩阵R 1与平移矩阵t 1为最佳旋转矩阵R b以及平移矩阵t b；
若误差值大于预设的误差阈值，重复上述步骤，直到获取到最佳旋转矩阵R b以及平移矩阵t b；
通过最佳旋转矩阵R b以及平移矩阵t b将所述双视角下的点云图中的一个点云图变换到另一个点云图中的坐标系中，得到所述仓储空间的目标点云图。
4.根据权利要求1所述的方法，其特征在于，
所述对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点包括：
通过计算RGB图灰度化后每个像素点与其8邻域像素点的灰度差值，得到8个灰度差；
分别判断8个灰度差与预设的灰度差阈值的大小，若某一灰度差小于预设的灰度差阈值，则视为该像素点与周边某一邻域的像素点相似；若某一灰度差大于或等于预设的灰度差阈值，则视为该像素点与周边某一邻域不相似，得到某一像素点与8邻域像素点的相似个数，若相似个数满足预设的数量，则将该像素点作为候选角点。
5.根据权利要求4所述的方法，其特征在于，
所述引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点包括：
分别计算图像灰度函数I(x，y)对x和y的二阶偏导数，其中x和y为所述候选角点的坐标；
根据每个候选角点的二阶偏导数求解二阶Hessian矩阵的两个特征值，将两个特征值相乘得到形状描述子，分别计算每个候选角点的形状描述子；
将每个候选角点的形状描述子分别与预设的形状描述子阈值进行比较，若候选角点的形状描述子小于预设的形状描述子阈值，则将该候选角点作为目标角点。
6.根据权利要求5所述的方法，其特征在于，
所述将SURF特征点与目标角点进行结合，得到H-SURF特征描述子包括：
将目标角点以及SURF特征点组成新的特征点集A；
以特征点集A中任一目标角点或SURF特征点为中心，通过预设半径得到一个固定范围；
将该固定范围等分为多个子块，计算每一个子块范围内所有像素点沿X方向和Y方向的haar小波响应值并求和，得到特征点集A中任一目标角点或SURF特征点的H-SURF特征描述子；
分别计算特征点集A中所有目标角点或SURF特征点的H-SURF特征描述子。
7.根据权利要求6所述的方法，其特征在于，
所述对双视角下的H-SURF特征描述子进行配对，并配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云包括：
计算双视角下的H-SURF特征描述子的欧式距离，通过欧式距离来判别双视角下特征点的相似度，通过设置欧式距离阈值来获取匹配的特征点对；
通过RANSAC算法对特征点对进行筛选，得到目标特征点对；
将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云；
所述将二维的目标特征点对通过各自在所述深度图上的深度值以及所述深度相机的参数映射到三维空间，得到两片三维点云包括：
通过相机标定技术获取所述深度相机的内参矩阵；
通过所述深度图获取所述目标特征点对分别在各自的深度图上的深度值；
基于每个特征点的深度值以及深度相机的内参矩阵将二维的目标特征点对映射到三维空间，得到两片三维点云。
8.基于特征描述子的三维点云配准装置，其特征在于，所述装置包括：
图像获取模块：用于通过深度相机获取仓储空间双视角下的RGB图、深度图以及点云图；
候选角点获取模块：用于对RGB图灰度化后，获取RGB图中每一个像素点与其领域像素点的灰度差，通过设置灰度差阈值获得候选角点；
目标角点获取模块：用于引入Hessian矩阵计算每一个候选角点的形状描述子，通过设置形状描述子阈值对候选角点进一步筛选，得到目标角点；
融合模块：用于在RGB图上通过SURF算法提取SURF特征点，将SURF特征点与目标角点进行结合，得到H-SURF特征描述子；
三维映射模块：对双视角下的H-SURF特征描述子进行配对，并将配对成功后的二维H-SURF特征描述子对映射到三维空间，得到两片三维点云；
粗配准模块：用于通过对所述两片三维点云进行粗配准得到初始的旋转矩阵R与平移矩阵t；
精配准模块：用于通过初始的旋转矩阵R与平移矩阵t将两片三维点云中的一片三维点云变换到另一片三维点云的坐标系中，并选取所述两片三维点云中误差最小的一对三维H-SURF特征描述子，以该点为中心，一定距离为半径获取两片三维点云的感兴趣特征区域，将两片感兴趣特征区域作为ICP算法的输入进行精配准，通过ICP算法的输出对所述双视角下点云图进行变换得到所述仓储空间的目标点云图。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-7任一项所述的基于特征描述子的三维点云配准方法中的各个步骤。
CN202310433897.6A 2023-04-21 2023-04-21 基于特征描述子的三维点云配准方法、装置及存储介质 Pending CN116452644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310433897.6A CN116452644A (zh) 2023-04-21 2023-04-21 基于特征描述子的三维点云配准方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310433897.6A CN116452644A (zh) 2023-04-21 2023-04-21 基于特征描述子的三维点云配准方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116452644A true CN116452644A (zh) 2023-07-18

Family

ID=87133423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310433897.6A Pending CN116452644A (zh) 2023-04-21 2023-04-21 基于特征描述子的三维点云配准方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116452644A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758170A (zh) * 2023-08-15 2023-09-15 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN116839555A (zh) * 2023-08-30 2023-10-03 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN117440308A (zh) * 2023-12-21 2024-01-23 深圳市好兄弟电子有限公司 一种麦克风话筒生产产线智能控制方法及系统
CN117557599A (zh) * 2024-01-12 2024-02-13 上海仙工智能科技有限公司 一种3d运动物体追踪方法及系统、存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN116763295B (zh) * 2023-08-11 2024-02-06 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN116758170A (zh) * 2023-08-15 2023-09-15 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN116758170B (zh) * 2023-08-15 2023-12-22 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN116839555A (zh) * 2023-08-30 2023-10-03 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN116839555B (zh) * 2023-08-30 2023-12-08 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN117440308A (zh) * 2023-12-21 2024-01-23 深圳市好兄弟电子有限公司 一种麦克风话筒生产产线智能控制方法及系统
CN117440308B (zh) * 2023-12-21 2024-04-26 深圳市好兄弟电子有限公司 一种麦克风话筒生产产线智能控制方法及系统
CN117557599A (zh) * 2024-01-12 2024-02-13 上海仙工智能科技有限公司 一种3d运动物体追踪方法及系统、存储介质
CN117557599B (zh) * 2024-01-12 2024-04-09 上海仙工智能科技有限公司 一种3d运动物体追踪方法及系统、存储介质

Similar Documents

Publication Publication Date Title
CN116452644A (zh) 基于特征描述子的三维点云配准方法、装置及存储介质
Hamzah et al. Stereo matching algorithm based on per pixel difference adjustment, iterative guided filter and graph segmentation
Tola et al. Daisy: An efficient dense descriptor applied to wide-baseline stereo
CN110232387B (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN108550166B (zh) 一种空间目标图像匹配方法
Pound et al. A patch-based approach to 3D plant shoot phenotyping
Hu et al. Efficient and automatic plane detection approach for 3-D rock mass point clouds
Stentoumis et al. A local adaptive approach for dense stereo matching in architectural scene reconstruction
Gupta et al. A correlation-based approach for real-time stereo matching
Ma et al. Segmentation-based stereo matching using combinatorial similarity measurement and adaptive support region
Srivastava et al. Drought stress classification using 3D plant models
CN105809657A (zh) 一种角点检测方法和装置
Hallek et al. Real-time stereo matching on CUDA using Fourier descriptors and dynamic programming
Lin et al. Matching cost filtering for dense stereo correspondence
Song Local voxelizer: A shape descriptor for surface registration
Zhang et al. Edge-preserving stereo matching using minimum spanning tree
Cao et al. Stable image matching for 3D reconstruction in outdoor
Yang et al. Weak texture remote sensing image matching based on hybrid domain features and adaptive description method
Jia et al. Robust line matching for image sequences based on point correspondences and line mapping
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
Zhang Binocular Stereo Vision
Tola Multiview 3D Reconstruction of a scene containing independently moving objects
Dong et al. Multi‐scale point cloud registration based on topological structure
He et al. Minimum spanning tree based stereo matching using image edge and brightness information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination