CN115239779A - 一种三维点云配准方法、装置、介质及电子设备 - Google Patents

一种三维点云配准方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN115239779A
CN115239779A CN202210873867.2A CN202210873867A CN115239779A CN 115239779 A CN115239779 A CN 115239779A CN 202210873867 A CN202210873867 A CN 202210873867A CN 115239779 A CN115239779 A CN 115239779A
Authority
CN
China
Prior art keywords
point cloud
point
target
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210873867.2A
Other languages
English (en)
Inventor
谭泽汉
刘丹
吴信宜
张天翼
李德权
马徐武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Gree Intelligent Equipment Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202210873867.2A priority Critical patent/CN115239779A/zh
Publication of CN115239779A publication Critical patent/CN115239779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种三维点云配准方法、装置、介质及电子设备,该方法包括:获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;从原点云数据中提取与目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中;通过强化学习从八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;利用最优点云特征点集合及目标点云数据中与最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵,以对原点云数据进行点云配准。通过利用八叉树数据结构存储点云特征点,然后引入强化学习对八叉树中点云特征点学习寻找最优特征点,解决了传统最优点只获取局部最优的问题,提高了点云配准的精度,以满足工程需求。

Description

一种三维点云配准方法、装置、介质及电子设备
技术领域
本发明涉及三维点云配准技术领域,具体涉及一种三维点云配准方法、装置、介质及电子设备。
背景技术
3D点云配准是计算机视觉的关键研究问题之一,在多种视觉领域工程应用中具有重要应用,如逆向工程、即时定位与地图构建(Simultaneous Localization and Mapping,简称SLAM)、图像处理和模式识别等。点云配准的目的是求解出同一坐标下不同姿态点云的变换矩阵,利用该矩阵实现多视角场景下点云的精确配准,最终获取完整的3D数字模型、场景。传统3D点云配准方法大都是基于ICP算法或者在此基础上的改进算法如NDT算法等,在一定程度上受限于点云的稀疏性、受限于主成分分析等方法获取特征不足,在真实场景下的配准往往精度达不到工程要求。
发明内容
有鉴于此,本发明实施例提供了一种三维点云配准方法、装置、介质及电子设备以克服现有技术中的三维点云配准方式在真实场景下的配准精度无法低、无法满足工程要求的问题。
根据第一方面,本发明实施例提供了一种三维点云配准方法,包括:
获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;
从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,所述八叉树的每个叶子节点对应有若干点云特征点;
通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;
利用所述最优点云特征点集合及所述目标点云数据中与所述最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵;
利用所述目标齐次位姿变换矩阵对所述原点云数据进行点云配准,得到所述目标视角下的点云配准数据。
可选地,所述通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合,包括:
从所述八叉树的每个叶子节点中选择点云特征点构成初始点云特征点集合;
基于所述初始点云特征点集合及所述目标点云数据中与所述初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵;
利用所述当前齐次位姿变换矩阵对所述初始点云特征点集合的各个点云特征点进行点云配准,得到各配准特征点;
分别计算各配准特征点与所述目标点云数据中对应的点云特征点的欧式距离;
将除当前点云特征点之外其他点云特征点对应的欧式距离的均值作为所述当前点云特征点的距离特征;
基于所述初始点云特征点集合中各点云特征点的距离特征,以所述距离特征最小为强化学习目标,对所述初始点云特征点集合进行强化学习更新,以得到最优点云特征点集合。
可选地,所述从所述八叉树的每个叶子节点中选择点云特征点构成初始点云特征点集合,包括:
从所述八叉树的每个叶子节点中依次随机选择点云特征点构成若干备选点云特征点集合;
分别利用各备选点云特征点集合及所述目标点云数据中与所述备选点云特征点集合对应的点云特征点,计算备选齐次位姿变换矩阵;
利用所述备选齐次位姿变换矩阵对所述备选点云特征点集合的各个点云特征点进行点云配准;
计算各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离;
按照各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,从各备选点云特征点集合中筛选出所述初始点云特征点集合。
可选地,所述按照各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,从各备选点云特征点集合中筛选出所述初始点云特征点集合,包括:
基于各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,分别计算各备选点云特征点集合对应所有点云特征点的距离均值;
按照各备选点云特征点集合对应所有点云特征点的距离均值从小到大的顺序,从各备选八叉树中筛选出所述初始点云特征点集合。
可选地,所述基于所述初始点云特征点集合中各点云特征点的距离特征,以所述距离特征为强化学习目标,对所述初始点云特征点集合进行强化学习更新,以得到最优点云特征点集合,包括:
将所述初始点云特征集合中距离特征最大的第一点云特征点剔除;
并从所述第一点云特征点对应的八叉树的叶子节点中选择第二点云特征点加入所述初始点云特征集合,并返回所述基于所述初始点云特征点集合及所述目标点云数据中与所述初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵的步骤进行强化学习,直至得到最优点云特征点集合。
可选地,所述从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,包括:
采用随机抽样一致算法从所述原点云数据中提取与所述目标点云数据中相同的点云特征点。
可选地,在从所述原点云数据中提取与所述目标点云数据中相同的点云特征点之前,所述方法还包括:
对所述原点云数据和所述目标点云数据进行滤波处理。
根据第二方面,本发明实施例提供了一种三维点云配准装置,包括:
获取模块,用于获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;
第一处理模块,用于从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,所述八叉树的每个叶子节点对应有若干点云特征点;
第二处理模块,用于通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;
第三处理模块,用于利用所述最优点云特征点集合及所述目标点云数据中与所述最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵;
第四处理模块,用于利用所述目标齐次位姿变换矩阵对所述原点云数据进行点云配准,得到所述目标视角下的点云配准数据。
根据第三方面,本发明实施例提供了一种电子设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面,或者其任意一种可选实施方式中所述的方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行第一方面,或者其任意一种可选实施方式中所述的方法。
本发明技术方案,具有如下优点:
本发明实施例提供的三维点云配准方法,通过获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;从原点云数据中提取与目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,八叉树的每个叶子节点对应有若干点云特征点;通过强化学习从八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;利用最优点云特征点集合及目标点云数据中与最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵;利用目标齐次位姿变换矩阵对原点云数据进行点云配准,得到目标视角下的点云配准数据。从而通过利用八叉树数据结构存储点云特征点,然后引入强化学习对八叉树中点云特征点学习寻找最优特征点,保证学习过程中遍历点云特征点的范围,巧妙的解决了传统最优点只获取局部最优现状的问题,实现全局优化的3D点云配准,提高了点云配准的精度,以满足工程需求,并通过先提取匹配的点云特征点,利用提取后的点云特征点作为强化学习输入数据,保证了最优特征点提取准确性的同时大大提高了点云配准的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种三维点云配准方法的流程图;
图2为本发明实施例的三维点云配准功能实现的具体过程示意图;
图3为本发明实施例的八叉树数据结构示意图;
图4为本发明实施例的强化学习基本模型图;
图5为本发明实施例的八叉树与环境交互的具体过程示意图;
图6为本发明实施例的三维点云配准的具体工作过程图;
图7为本发明实施例的一种三维点云配准装置的结构示意图;
图8为本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
3D点云配准是计算机视觉的关键研究问题之一,在多种视觉领域工程应用中具有重要应用,如逆向工程、即时定位与地图构建(Simultaneous Localization and Mapping,简称SLAM)、图像处理和模式识别等。点云配准的目的是求解出同一坐标下不同姿态点云的变换矩阵,利用该矩阵实现多视角场景下点云的精确配准,最终获取完整的3D数字模型、场景。传统3D点云配准方法大都是基于ICP算法或者在此基础上的改进算法如NDT算法等,在一定程度上受限于点云的稀疏性、受限于主成分分析等方法获取特征不足,在真实场景下的配准往往精度达不到工程要求。
基于上述问题,本发明实施例提供了一种三维点云配准方法,如图1所示,该三维点云配准方法具体包括如下步骤:
步骤S101:获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据。
在实际应用中,为了解决多相机点云配准以及下一步的多视角点云融合。需要基于多个相机对需要点云融合的场景空间进行多角度拍摄,然后对多个相机的点云数据处理,实现三维点云配准和融合、乃至重建。在本发明实施例中,是以两个相机分别在不同视角下拍摄点云数据为例进行的说明,其中,通过相机1得到的点云数据即为上述原点云数据,通过相机2得到的点云数据即为上述目标点云数据,要实现原点云数据与目标点云数据的配准的关键是,得到二者间的齐次位姿变换矩阵以下简称RT矩阵。需要说明的是,本发明实施例所提供的三维点云配准方法也可以应用于多个相机在不同视角下拍摄点云数据的融合中,通过将多个相机拍摄的点云数据均与目标点云数据进行点云配准,即通过利用本发明实施例所提供的三维点云配准方法所得到的点云配准结果进行多相机的点云融合数据,由点云配准到点云融合的具体实现过程为现有技术,在此不再进行赘述。
步骤S102:从原点云数据中提取与目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中。
其中,八叉树的每个叶子节点对应有若干点云特征点。
具体地,在本发明实施例中,如图2所示,首先通过对原点云数据和目标点云数据进行滤波处理,以排除离群点的干扰。然后再采用随机抽样一致算法从原点云数据中提取与目标点云数据中相同的点云特征点。在实际应用中,分别提取相机1与相机2的点云特征点集合,提取后的相机1的点云特征点集合记做Pointcloud1,相机2的点云特征点集合记做Pointcloud2。需要说明的是,在实际应用中,还可以采用其他算法来实现两个不同视角下点云数据中点云特征点的提取,如:4PCS和super-4PCS等算法,本发明并不以此为限。
从而通过利用随机抽样一致算法采用迭代的方法从预配准的大量点云数据中估算出数学模型,提取匹配的特征点,利用提取后的特征点作为强化学习输入数据,保证了最优特征点提取准确性的同时,大大提高了点云配准的效率。
八叉树(Octree)是一种用于描述三维空间的树状数据结构:通过雷达、激光扫描、立体摄像机等三维测量设备获得的点云数据,具有数据量大、分布不均匀等特点,点云数据主要表征目标表面的海量点集,并不具备传统网格数据的集合拓扑信息。所以点云数据处理中最为核心的问题就是建立离散点之间的拓扑关系。八叉树结构通过对三维空间的几何实体进行体元剖分,如图3所示,每个体元具有相同的时间和空间复杂度,通过循环递归的划分方法对大小为(2n*2n*2n)(2n*2n*2n)的三维空间的几何对象进行剖分,从而构成一个具有根节点的方向图。从而可以将Pointcloud1中的点云特征点按照三维空间存储于八叉树的各个叶子节点中,以利用八叉树表征Pointcloud1的拓扑信息,需要说明的是,在本发明实施例中八叉树的深度取1,以降低计算量,并且深度为1时八叉树包括八个叶子节点,已经满足完备子集合条件即RT矩阵需要至少八个特征点对进行计算,当然,在实际应用中,在不考虑计算量的情况下也可以选择深度为多层,本发明并不以此为限。
步骤S103:通过强化学习从八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合。
具体地,上述八叉树的8个叶子节点,记做OCPointcloud。接下来使用OCPointcloud作为输入,通过强化学习PPO算法学习出选择下一个最优状态对应的最优特征点的策略,通过该策略可迭代求出这两组点云的8个最优特征点组成的最优特征点集合。需要说明的是,在实际应用中,还可以采用拉格朗日乘数法,遗传算法,EM算法等加以实现,本发明实施例所选用的PPO算法相比于其他算法具有答案置信度高,方差小,而且算法的鲁棒性高的优势。
步骤S104:利用最优点云特征点集合及目标点云数据中与最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵。
具体地,由于最优点云特征点集合中的点云特征点,是最能够反映点云数据特性的特征点,因此,通过最优点云特征点集合可以保证RT矩阵的准确性,进而提高点云配准的准确性,具体如何利用两组特征点计算RT矩阵为现有技术,在此不再进行赘述。
步骤S105:利用目标齐次位姿变换矩阵对原点云数据进行点云配准,得到目标视角下的点云配准数据。
具体地,在已知RT矩阵的基础上,利用RT矩阵实现点云配准的过程为现有技术,在此不再进行赘述。
通过执行上述步骤,本发明实施例提供的三维点云配准方法,通过利用八叉树数据结构存储点云特征点,然后引入强化学习对八叉树中点云特征点学习寻找最优特征点,保证学习过程中遍历点云特征点的范围,巧妙的解决了传统最优点只获取局部最优现状的问题,实现全局优化的3D点云配准,提高了点云配准的精度,以满足工程需求,并通过先提取匹配的点云特征点,利用提取后的点云特征点作为强化学习输入数据,保证了最优特征点提取准确性的同时大大提高了点云配准的效率。
具体地,在一实施例中,上述的步骤S103具体包括如下步骤:
步骤S301:从八叉树的每个叶子节点中选择点云特征点构成初始点云特征点集合。
具体地,上述步骤S301通过从八叉树的每个叶子节点中依次随机选择点云特征点构成若干备选点云特征点集合;分别利用各备选点云特征点集合及目标点云数据中与备选点云特征点集合对应的点云特征点,计算备选齐次位姿变换矩阵;利用备选齐次位姿变换矩阵对备选点云特征点集合的各个点云特征点进行点云配准;计算各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离;按照各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,从各备选点云特征点集合中筛选出初始点云特征点集合。
进一步地,基于各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,分别计算各备选点云特征点集合对应所有点云特征点的距离均值;按照各备选点云特征点集合对应所有点云特征点的距离均值从小到大的顺序,从各备选八叉树中筛选出初始点云特征点集合。
目前在机器学习领域,根据学习系统与环境交互方式的不同,机器学习大致上可以分为三种学习方法,分别是强化学习、监督学习和无监督学习。随着信息技术的发展,以强化学习为代表的智能算法以及自适应特性越来越多的运用在各行各业。强化学习是一种无监督学习方法,智能体通过与动态环境的反复交互,学会选择最优或者近最优的行为以实现其长期目标,强化学习方法的四个关键要素:状态(state)、动作(action)、策略(policy)、奖励(reward),其关系如图4所示:其中智能体(Agent)学习器与决策者的角色;环境(Environment)智能体之外的一切组成的、与之交互的事物;动作(Action)智能体的行为表征;状态(State)智能体从环境中获得的信息;奖励(Reward)环境对动作的反馈。
具体地,本发明实施例提供利用PPO算法学习出点云配准的所需的全局最优特征点集合,首先State,是针对八叉树中经过第一次与环境交互的初始化结果,如下图5所示。为了节省最优特征点学习时间,针对原始点云数据做了RANSAC算法提取能够反映点云骨架特征的点云集。在此基础上,为了进一步的提高大范围点云数据基于PPO策略学习的效率与最优特征点学习的准确性,在选择状态时,选择的是基于八叉树存储的点云数据做了初始化筛选之后的状态。本文使用无放回的方式抽取8个点计算RT矩阵,比如Pointcloud1中一共有200个点云数据(现实工程的点云数据一定是远远大于这个值),第一次随机挑选8个点,计算RT矩阵存入RT_init[0]中,第二次在剩下的点云数据中再随机挑选8个点,计算RT矩阵存入RT_init[1]中,共计算200/8=25,即i<=25。然后使用计算出来的所有RT矩阵分别计算点云配准后的相机1的Pointcloud1与相机2的Pointcloud2中所有点云对之间的欧式距离的平均值,然后把这25次计算出来的点云对欧式距离的平均值做从小到大排序,选出结果最好的,也就是欧式距离的平均值最小的备选点云特征点集合作为强化学习的初始状态。
步骤S302:基于初始点云特征点集合及目标点云数据中与初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵。
步骤S303:利用当前齐次位姿变换矩阵对初始点云特征点集合的各个点云特征点进行点云配准,得到各配准特征点。
步骤S304:分别计算各配准特征点与目标点云数据中对应的点云特征点的欧式距离。
具体地,基于上述无放回筛选出来的8个点分别求出对应每个点的rms特征作为强化学习的初始状态的原始数据之一。每个点的rms特征就是采样的8个点去掉这个点后的7个点对应点云的欧式距离。
具体地,三维空间中任意两点的欧式距离计算过程为现有技术,在此不再进行赘述。
步骤S305:将除当前点云特征点之外其他点云特征点对应的欧式距离的均值作为当前点云特征点的距离特征。
步骤S306:基于初始点云特征点集合中各点云特征点的距离特征,以距离特征最小为强化学习目标,对初始点云特征点集合进行强化学习更新,以得到最优点云特征点集合。
具体地,上述步骤S306通过将初始点云特征集合中距离特征最大的第一点云特征点剔除;并从第一点云特征点对应的八叉树的叶子节点中选择第二点云特征点加入初始点云特征集合,并返回基于初始点云特征点集合及目标点云数据中与初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵的步骤进行强化学习,直至得到最优点云特征点集合。接下来经过多次PPO算法迭代得到全局最优的8个特征点的集合。
下面将对本发明实施例利用PPO算法进行强化学习得到全局最优的8个特征点的集合,进行进一步的解释说明:
本发明实施例中的state为当前特征点的集合的8个点对的rms值与8个点所在八叉树中的叶子节点对应的特征点数量的空间顺序拼接,共16个状态。
Action,是在八叉树中选出一个点,指的是选出这个动作的概率,一共有8种概率,即8个动作。PPO算法的策略就是学习在八叉树的那个叶子节点选下一个特征点的概率。
Reward,设置两个奖励值,一个是基于每次与环境交互之后计算点云对的平均欧式距离的倒数,另外一个为了避免与环境交互的8个密集度不能太高,这里选择将要与环境交互的8个点在八叉树中的所在叶子节点(leaves)个数减去4作为惩罚,当8个特征点都集中到一个叶子节点,惩罚值就是1-4=-3.
Done,也就是循环学习的结束条件,分别是两次与环境交互之后计算的点云对之间的平均欧式距离只差小于实际多点云融合工程需要误差值即可,本文中为0.1,这个值的大小可以根据实际使用情况灵活调整。第二个结束条件是某一次与环境交互得到的点云对欧式距离的平均值小于0.05,也就是在某一此循环过程中选出的特征点计算出的点云对匹配出的结果已经足够好,这种情况下强行结束循环体,把本次学习出的点云作为最终最优的结果点云,节省没有必要的学习时间,又在Done设计环节在保证学习精度的同时,提高学习效率。
Environment,与环境的交互是在8个点中使用其中7个点分别计算RT矩阵。8个点,每次使用7个点计算RT矩阵,一共计算八个RT矩阵,然后分别使用这八个RT矩阵计算相机1与相机2个欧式距离的平均值,从小到大排列,选出8个点中点云配准最不好的那个点暂时存储在temp_buf。此时下次将要与环境交互的点云数剩余7个,需要从八叉树中通过PPO算法得到下一个点,构成一共16个新的状态与环境交互,完成与环境交互的一次过程。
三维点云配准的具体工作过程如图6所示。根据PPO强化学习基本框架,在这个过程中设计两个策略,一个记为Policy,另外一个记为Policy_old。首先进入学习循环体,其中最大学习循环次数Max_episode的大小小于Pointcloud1中的点云数。然后输入本文前面介绍的State。进入强化学习,其中Max_timestep,设置为100次。强化的循环学习,每次都会有上述与环境的交互过程,每一次与环境的交互都会得到相应的奖励值,奖励值的大小不断的去指导学习更好的动作选择策略。其中流程图中优势函数Advantage是解决Qfunction值方差小的问题。Advantage可以认为是对动作策略的评估。因为动作策略会不断更新,好坏的标准是不断变的,Advantage意味着如果动作策略在当前的policy下比平均动作策略好才是正的,差就是负的。如果在某一次与环境交互过程中学出的最优点已经满足工程所需的精度,则结束整个PPO学习过程。与此同时每一次与环境的交互都会得到相应的奖励值、状态、结果等参数作为Policy的输入参数更新策略使用。Policy_old是第i-1学习出的策略,Policy是第i次学习出的策略,如果学习次数大于Max_episode或者满足前面所述的done条件时,则结束学习过程。使用PPO得到的最优动作选择策略得到最优8个点云数据。
从而通过利用强化学习寻找最优特征点代替手动选取最优特征点,解决了3D点云配准过程中由于人工示教选择最优特征点工作量大、配准结果误差不易控制等技术精度和工程效率问题;为异构场景下,实现不同深度相机在同一场景的不同的角度下,进行大范围的点云融合技术提供支持;并且提高了点云融合的通用性,为3D点云融合提供新的理论指导与技术支持,提高了点云配准技术在工业领域的工程泛化能力。
通过执行上述步骤,本发明实施例提供的三维点云配准方法,通过利用八叉树数据结构存储点云特征点,然后引入强化学习对八叉树中点云特征点学习寻找最优特征点,保证学习过程中遍历点云特征点的范围,巧妙的解决了传统最优点只获取局部最优现状的问题,实现全局优化的3D点云配准,提高了点云配准的精度,以满足工程需求,并通过先提取匹配的点云特征点,利用提取后的点云特征点作为强化学习输入数据,保证了最优特征点提取准确性的同时大大提高了点云配准的效率。
本发明实施例还提供了三维点云配准装置,如图7所示,该三维点云配准装置包括:
获取模块101,用于获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据。详细内容参见上述方法实施例中步骤S101的相关描述,在此不再进行赘述。
第一处理模块102,用于从原点云数据中提取与目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,八叉树的每个叶子节点对应有若干点云特征点。详细内容参见上述方法实施例中步骤S102的相关描述,在此不再进行赘述。
第二处理模块103,用于通过强化学习从八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合。详细内容参见上述方法实施例中步骤S103的相关描述,在此不再进行赘述。
第三处理模块104,用于利用最优点云特征点集合及目标点云数据中与最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵。详细内容参见上述方法实施例中步骤S104的相关描述,在此不再进行赘述。
第四处理模块105,用于利用目标齐次位姿变换矩阵对原点云数据进行点云配准,得到目标视角下的点云配准数据。详细内容参见上述方法实施例中步骤S105的相关描述,在此不再进行赘述。
本发明实施例提供的三维点云配准装置,用于执行上述实施例提供的三维点云配准方法,其实现方式与原理相同,详细内容参见上述方法实施例的相关描述,在此不再赘述。
通过上述各个组成部分的协同合作,本发明实施例提供的三维点云配准装置,通过利用八叉树数据结构存储点云特征点,然后引入强化学习对八叉树中点云特征点学习寻找最优特征点,保证学习过程中遍历点云特征点的范围,巧妙的解决了传统最优点只获取局部最优现状的问题,实现全局优化的3D点云配准,提高了点云配准的精度,以满足工程需求,并通过先提取匹配的点云特征点,利用提取后的点云特征点作为强化学习输入数据,保证了最优特征点提取准确性的同时大大提高了点云配准的效率。
图8示出了一种电子设备的结构示意图,如图8所示,该电子设备包括:处理器901和存储器902,其中,处理器901和存储器902可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit,CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如上述方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器901所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中,当被处理器901执行时,执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,实现的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种三维点云配准方法,其特征在于,包括:
获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;
从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,所述八叉树的每个叶子节点对应有若干点云特征点;
通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;
利用所述最优点云特征点集合及所述目标点云数据中与所述最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵;
利用所述目标齐次位姿变换矩阵对所述原点云数据进行点云配准,得到所述目标视角下的点云配准数据。
2.根据权利要求1所述的方法,其特征在于,所述通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合,包括:
从所述八叉树的每个叶子节点中选择点云特征点构成初始点云特征点集合;
基于所述初始点云特征点集合及所述目标点云数据中与所述初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵;
利用所述当前齐次位姿变换矩阵对所述初始点云特征点集合的各个点云特征点进行点云配准,得到各配准特征点;
分别计算各配准特征点与所述目标点云数据中对应的点云特征点的欧式距离;
将除当前点云特征点之外其他点云特征点对应的欧式距离的均值作为所述当前点云特征点的距离特征;
基于所述初始点云特征点集合中各点云特征点的距离特征,以所述距离特征最小为强化学习目标,对所述初始点云特征点集合进行强化学习更新,以得到最优点云特征点集合。
3.根据权利要求2所述的方法,其特征在于,所述从所述八叉树的每个叶子节点中选择点云特征点构成初始点云特征点集合,包括:
从所述八叉树的每个叶子节点中依次随机选择点云特征点构成若干备选点云特征点集合;
分别利用各备选点云特征点集合及所述目标点云数据中与所述备选点云特征点集合对应的点云特征点,计算备选齐次位姿变换矩阵;
利用所述备选齐次位姿变换矩阵对所述备选点云特征点集合的各个点云特征点进行点云配准;
计算各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离;
按照各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,从各备选点云特征点集合中筛选出所述初始点云特征点集合。
4.根据权利要求3所述的方法,其特征在于,所述按照各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,从各备选点云特征点集合中筛选出所述初始点云特征点集合,包括:
基于各备选点云特征点集合在点云配准后的点云特征点与其在目标视角下对应的点云特征点的欧式距离,分别计算各备选点云特征点集合对应所有点云特征点的距离均值;
按照各备选点云特征点集合对应所有点云特征点的距离均值从小到大的顺序,从各备选八叉树中筛选出所述初始点云特征点集合。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述基于所述初始点云特征点集合中各点云特征点的距离特征,以所述距离特征为强化学习目标,对所述初始点云特征点集合进行强化学习更新,以得到最优点云特征点集合,包括:
将所述初始点云特征集合中距离特征最大的第一点云特征点剔除;
并从所述第一点云特征点对应的八叉树的叶子节点中选择第二点云特征点加入所述初始点云特征集合,并返回所述基于所述初始点云特征点集合及所述目标点云数据中与所述初始点云特征点集合对应的点云特征点,计算当前齐次位姿变换矩阵的步骤进行强化学习,直至得到最优点云特征点集合。
6.根据权利要求1所述的方法,其特征在于,所述从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,包括:
采用随机抽样一致算法从所述原点云数据中提取与所述目标点云数据中相同的点云特征点。
7.根据权利要求1所述的方法,其特征在于,在从所述原点云数据中提取与所述目标点云数据中相同的点云特征点之前,所述方法还包括:
对所述原点云数据和所述目标点云数据进行滤波处理。
8.一种三维点云配准装置,其特征在于,包括:
获取模块,用于获取目标场景在当前视角下对应的原点云数据及其在目标视角下对应的目标点云数据;
第一处理模块,用于从所述原点云数据中提取与所述目标点云数据中相同的点云特征点,并将提取特征点存储于八叉树中,所述八叉树的每个叶子节点对应有若干点云特征点;
第二处理模块,用于通过强化学习从所述八叉树的每个叶子节点中选择点云特征点构成最优点云特征点集合;
第三处理模块,用于利用所述最优点云特征点集合及所述目标点云数据中与所述最优点云特征点集合对应的点云特征点,计算目标齐次位姿变换矩阵;
第四处理模块,用于利用所述目标齐次位姿变换矩阵对所述原点云数据进行点云配准,得到所述目标视角下的点云配准数据。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行如权利要求1-7任一项所述的方法。
CN202210873867.2A 2022-07-20 2022-07-20 一种三维点云配准方法、装置、介质及电子设备 Pending CN115239779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210873867.2A CN115239779A (zh) 2022-07-20 2022-07-20 一种三维点云配准方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210873867.2A CN115239779A (zh) 2022-07-20 2022-07-20 一种三维点云配准方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN115239779A true CN115239779A (zh) 2022-10-25

Family

ID=83674758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210873867.2A Pending CN115239779A (zh) 2022-07-20 2022-07-20 一种三维点云配准方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN115239779A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234216A (zh) * 2023-11-10 2023-12-15 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234216A (zh) * 2023-11-10 2023-12-15 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质
CN117234216B (zh) * 2023-11-10 2024-02-09 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质

Similar Documents

Publication Publication Date Title
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN109960880A (zh) 一种基于机器学习的工业机器人避障路径规划方法
CN113205466A (zh) 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN111047596A (zh) 一种三维点云实例分割方法、系统及电子设备
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
Su et al. Uncertainty guided multi-view stereo network for depth estimation
CN113052955A (zh) 一种点云补全方法、系统及应用
CN115239779A (zh) 一种三维点云配准方法、装置、介质及电子设备
Phalak et al. Scan2plan: Efficient floorplan generation from 3d scans of indoor scenes
CN114119690A (zh) 一种基于神经网络重建高斯混合模型的点云配准方法
CN114612698A (zh) 一种基于层级匹配的红外与可见光图像配准方法及系统
CN112669452B (zh) 一种基于卷积神经网络多分支结构的物体定位方法
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
Jia et al. A Novel Improved Probability‐Guided RANSAC Algorithm for Robot 3D Map Building
Tushev et al. Parallel algorithms for effective correspondence problem solution in computer vision
Zhang et al. Neural guided visual slam system with Laplacian of Gaussian operator
Peng et al. A pushing-grasping collaborative method based on deep Q-network algorithm in dual viewpoints
Del-Tejo-Catalá et al. Probabilistic pose estimation from multiple hypotheses
Xiaogang et al. Autonomous mapping for robot based on monocular vision and DGSOM algorithm
Zeng et al. Comparison between the traditional and deep learning algorithms on image matching
CN110705437A (zh) 一种基于动态级联回归的人脸关键点检测方法及系统
Li et al. Simultaneous Coverage and Mapping of Stereo Camera Network for Unknown Deformable Object
Wu et al. Bayesian inference based high framerate stereo matching and its application in robot manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination