CN111260702B - 激光三维点云与ct三维点云配准方法 - Google Patents

Abstract

本发明公开了一种激光三维点云与CT三维点云配准方法，包括：对患者体表激光三维点云数据进行统计滤波、点云区域生长处理和体素滤波，将患者的4D‑CT数据重建为CT三维点云数据；从激光三维点云数据选取点集合S₁，从CT三维点云数据选取点集合S₂；利用PointRegNet网络，从S₁提取特征点集合Q，从S₂提取特征点集合V；设置Q中所有特征点相互连接形成特征边的集合E_S，设置V中所有特征点与K近邻的特征点连接形成特征边的集合E，将图(V,E)与图(Q,E_S)进行配准；利用运动幅度信息对S₁中的点分配权重，以S₂为基础建立GMM模型，GMM模型结合分配权重后的S₁中的点构造概率似然函数。本发明技术方案缓解了现有技术无法直接应用于体表点云配准的问题。

Description

激光三维点云与CT三维点云配准方法

技术领域

本发明涉及医学点云配准领域，特别是涉及一种激光三维点云与CT三维点云配准方法。

背景技术

激光三维点云与CT三维点云的快速配准是当今研究的热点问题，在放射治疗的患者摆位与机器人手术导航系统注册等工作中具有重要的临床应用价值。基于患者术前或者术中所做的CT影像数据，提取患者CT坐标系下的病灶位置，提取患者的CT三维点云数据。通过搭载在机械臂上的激光三维成像系统，可以扫描得到在机械臂坐标系下的患者激光三维点云数据。将机械臂激光扫描的三维点云与CT三维点云数据配准，可以建立患者坐标系与机械臂坐标系的空间位置关系，完成机器人手术导航系统注册。

由于人体体表比较平坦且存在呼吸运动的影响，导致激光体表三维点云与CT体表三维点云的精确配准十分困难。在临床实践中，医学体表点云配准设备在每次操作中均需固定机械臂与患者的空间关系，简化配准难度。例如，瑞典的C-RAD公司出品的Catalyst工作平台，使用固定不动的机械操作系统，同时使用工具辅助病人以固定的姿态平躺，通过使用激光投影仪投射面编码结构光，实时重建患者的三维体表点云，最后通过配准激光扫描体表数据与CT影像体表数据的方法，将器械与患者进行配准定位。采用这种方式能实时地配准体表点云并跟踪病人实时呼吸状态，但设备本身价格昂贵且无法移动别处使用，此外每次治疗前均需要花费大量时间指导患者摆位。

由于上述产品价格昂贵难以推广使用，目前激光三维点云与CT三维点云配准的研究热点集中在单纯的点云配准算法方面，力求能够使用先进的算法利用可移动式操作平台实现两体表三维点云的精确配准。现有的点云配准方法可以分3种，一种是基于点云特征描述子的配准方法，一种是基于ICP模型的配准算法，还有一种是基于GMM模型的配准算法。基于点云特征描述子的配准方法，利用关键点的局部特征描述子进行匹配获得多个匹配对，再使用匹配对求解配准结果。基于ICP模型的配准算法，针对一对三维点云进行操作，不断迭代计算出两者对应的最佳变换关系，该变换下两者的平均距离最小。基于GMM模型的配准算法是基于概率的配准方法，迭代建立点云的GMM模型及计算概率最大化时的空间变换系。借助传统的三维点云配准算法，可以较好的解决点云的刚性配准问题。然而，由于人体体表比较平坦且存在呼吸运动的影响，体表三维点云精确配准问题并不是一个严格的刚性配准问题。因此，传统的点云配准方法无法直接被应用于体表点云的配准工作中。

鉴于此，本发明的目的在于提供一种激光三维点云与CT三维点云配准方法，以缓解现有技术无法直接应用于体表点云配准的问题。

发明内容

本发明提供一种激光三维点云与CT三维点云配准方法，方法将体表配准过程分成粗配准和精配准两个步骤进行。利用基于PointRegNet特征描述子提取网络提取关键点的特征信息，再利用基于线性规划的粗配准方法进行鲁棒性的粗配准，最后通过基于带权重的精配准方法实现自由呼吸状态下的精确配准问题。

一种激光三维点云与CT三维点云配准方法，包括：对患者体表激光三维点云数据进行统计滤波、点云区域生长处理和体素滤波，将患者的4D-CT数据重建为CT三维点云数据；从激光三维点云数据选取点集合S₁，从CT三维点云数据选取点集合S₂；利用PointRegNet网络，从S₁提取特征点集合Q，从S₂提取特征点集合V；设置Q中所有特征点相互连接形成特征边的集合E_S，设置V中所有特征点与K近邻的特征点连接形成特征边的集合E，将图(V,E)与图(Q,E_S)进行配准；利用运动幅度信息对S₁中的点分配权重，以S₂为基础建立GMM模型，GMM模型结合分配权重后的S₁中的点构造概率似然函数，概率似然函数的最大似然估计为配准结果。

进一步地，从激光三维点云数据选取点集合S₁，及从CT三维点云数据选取点集合S₂的方法包括：随机抽取。

进一步地，K的取值为4。

进一步地，将图(V,E)与图(Q,E_S)进行配准的方法，包括：设置匹配函数M，匹配函数M将V与Q中的特征点进行匹配；求解使V与Q中的特征点优化目标最大匹配，且E与E_S中的特征边优化目标最大匹配的匹配函数M。

进一步地，求解匹配函数M的方法，包括：以匹配函数M为变量构造目标函数，求解目标函数的极值；目标函数转化为整数线性规划函数，整数线性规划函数的极值为目标函数的极值。

进一步地，利用运动幅度信息对S₁中的点分配权重的方法，包括：设置点的权重为

x是点的运动幅值，x₀＝8。

本发明的有益效果如下：

本发明提供的技术方案可以包括以下有益效果：本发明提出的技术方案将激光三维点云与CT三维点云配准问题细分成粗匹配与精匹配过程，有效实现体表点云的高效、精确配准。特征描述子提取上，利用PointRegNet网络能高效提取点云关键点的局部特征信息；粗配准过程中，结合特征信息与几何约束信息，配准结果更加鲁棒、准确；精配准过程中，利用各部位运动差异建立运动概率场，有效解决自由呼吸运动导致的难以精配准的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一种实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种激光三维点云与CT三维点云配准方法流程示意图；

图2是本发明实施例激光三维点云数据预处理示意图；

图3是本发明实施例PointRegNet网络结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

图1是本发明第一实施例的一种激光三维点云与CT三维点云配准方法流程示意图，如图1所示，该方法包括如下四个步骤。

步骤S101：对激光三维点云数据进行预处理。具体地，对患者体表激光三维点云数据进行统计滤波、点云区域生长处理和体素滤波，将患者的4D-CT数据重建为CT三维点云数据。需要进行说明的是，激光三维点云数据有大量噪声，且数据分布不均匀，因此需要进行预处理。

如图2所示，在一个可选的实施例中，激光三维点云数据通过统计滤波、点云区域生长处理和体素滤波后，滤除了噪声，使数据分布更为均匀。

步骤S102：利用PointRegNet网络进行特征点提取。具体地，从激光三维点云数据选取点集合S₁，从CT三维点云数据选取点集合S₂；利用PointRegNet网络，从S₁提取特征点集合Q，从S₂提取特征点集合V。需要进行说明的是，针对体表比较平坦导致的特征描述子区分度较小的问题，利用PointRegNet特征描述子提取网络，用于提取点云的配准不变性特征描述子。

在一个可选的实施例中，从S₁中选取特征点集合Q，及从S₂中选取特征点集合V的方法为随机抽取。

如图3所示，在一个可选的实施例中，PointRegNet网络主要有5层结构：

a)点云分块，将点云的三维空间等分为立方体体素，并根据各个点所在的体素对其进行分组；

b)降采样，每个体素内随机选择固定数目的点；

c)体素编码层(Voxel Feature Encoding Layers，VFE层)，将体素内的所有点的特征结合起来学习，得到各个点的局部特征；

d)全连接层(Multiple Fully Connected Layers，MLP层)，多层感知机，对各个点的的局部特征进行非线性映射，整合特征得到新特征；

e)加权提取层(Weighted Extraction Layer，WEL层)，通过运用softmax算法，求取各个体素块的权重归一化后的M维局部描述子，与及对应的M个特征坐标。

最终网络输出三维点云数据的所有关键点的M维描述子与及对应的M个特征坐标。

步骤S103：进行特征点的粗配准。具体地，设置Q中所有特征点相互连接形成特征边的集合E_S，设置V中所有特征点与K近邻的特征点连接形成特征边的集合E，将图(V,E)与图(Q,E_S)进行配准。

在一个可选的实施例中，K的取值为4。

在一个可选的实施例中，将图(V,E)与图(Q,E_S)进行配准的方法，包括：设置匹配函数M，匹配函数M将V与Q中的特征点进行匹配；求解使V与Q中的特征点优化目标最大匹配，且E与E_S中的特征边优化目标最大匹配的匹配函数M。具体地，对于图(V,E)中的特征点p_i＝[x_i，y_i，z_i]^T∈V，匹配函数M将其匹配到图(Q,E_S)中的特征点q_k＝M(p_i)∈Q或直接放弃它。对于两个端点分别为

和

的特征边e_j∈E，其中

e_j与两个端点分别为

和

的特征边M(e_j)∈E_s相匹配。具体地，求解匹配函数M的方法，包括：以匹配函数M为变量构造目标函数，求解目标函数的极值；目标函数转化为整数线性规划函数，整数线性规划函数的极值为目标函数的极值。目标函数为

其中

表示V与Q中的特征点优化目标，

表示特征点p_i和特征点M(p_i)之间的特征匹配奖励，这将鼓励V中的特征点与Q中具有相似特征的特征点进行匹配。

表示E与E_S中的特征边优化目标，

表示特征边e_j和特征边M(e_j)之间的边匹配代价，该代价将惩罚那些特征边和匹配特征边之间的长度差过大的匹配，并确保匹配后的几何相似性。λ＞0用于控制特征匹配奖励与几何匹配代价之间的相对权重，设置λ＝1。|V|和|E|则分别表示图(V,E)中特征点和特征边的数量。

假设图(V,E)中有n_m个特征点和m_m条特征边，图(Q,E_S)中有n_s个特征点，n_m个特征点的候选匹配点集包含所有的n_s个特征点。因此，目标函数

可以用一个分配矩阵X以简洁的矩阵形式书写，如下式所示，其中tr代表矩阵的迹，′代表矩阵转置，1_n则表示n维全1列向量。

根据体表三维点云的特点，虽然图(Q，E_S)中正确匹配的特征点通常不是特征最近的特征点，但往往是前n_c个最近的特征点，通常n_c＝3。此n_c个与图(V，E)中特征点特征最相近的特征点集，称为候选匹配特征点集。因此，可以对进行上式简化。最后，当前方程作为一个二次规划问题，是一个NP难问题，难以进行高效地求解。原问题可以转化为如下式所示的整数线性规划问题，可使用常见的线性规划建模器求解。

Y_j≥0，for all j＝0，1，...|E|.

步骤S104：进行特征点的精配准。具体地，利用运动幅度信息对S₁中的点分配权重，以S₂为基础建立GMM模型，GMM模型结合分配权重后的S₁中的点构造概率似然函数，概率似然函数的最大似然估计为配准结果。

在一个可选的实施例中，利用运动幅度信息对S₁中的点分配权重的方法，包括：设置点的权重为

x是点的运动幅值，x₀＝8。

通过对患者的4D-CT分析并建立体表的运动概率场，假设运动呼吸作用下，体表运动的空间范围内，存在着一个真实概率场，其概率密度为P_truth(v)，其中v代表一个三维坐标，P_truth(v)代表体表中有一个点运动至三维位置v的概率。考虑到S₂包含着多个时刻的体表点云数据，因此可以S₂的坐标系为标准的坐标系，然后以S₂为基础建立一个GMM模型，该模型中某个三维点v的概率密度为P_GMM(v)。同时，结合分配权重后的S₁中的点，构造出如下的概率似然函数；

使用最大似然估计法求得最佳的未知刚性变换参数集合Θ，Θ为配准结果。可使用ECM算法(expectation conditional maximization，期望条件最大化算法)进行求解，ECM算法为公开技术。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种激光三维点云与CT三维点云配准方法，其特征在于，包括：

对患者体表激光三维点云数据进行统计滤波、点云区域生长处理和体素滤波，将所述患者的4D-CT数据重建为CT三维点云数据；

从所述激光三维点云数据选取点集合S₁，从所述CT三维点云数据选取点集合S₂；利用PointRegNet网络，从所述S₁提取特征点集合Q，从所述S₂提取特征点集合V；

所述PointRegNet网络包括点云分块模块、降采样模块、体素编码层、全连接层及加权提取层；所述点云分块模块用于将点云的三维空间等分为立方体体素，并根据各个点所在的体素进行分组；所述降采样模块用于随机选择每个体素内固定数目的点；所述体素编码层用于将体素内所有点的特征结合学习，得到所述点的局部特征；所述全连接层用于对点的的局部特征进行非线性映射得到新特征；所述加权提取层通过运用softmax算法求取各个体素权重归一化后的M维局部描述子，及对应的M个特征坐标；

设置所述Q中所有特征点相互连接形成特征边的集合E_S，设置所述V中所有特征点与K近邻的特征点连接形成特征边的集合E，将图(V,E)与图(Q,E_S)进行配准；

利用运动幅度信息对所述S₁中的点分配权重，以所述S₂为基础建立GMM模型，所述GMM模型结合分配权重后的S₁中的点构造概率似然函数，所述概率似然函数的最大似然估计为配准结果。

2.根据权利要求1所述的方法，其特征在于，所述的从激光三维点云数据选取点集合S₁，及从CT三维点云数据选取点集合S₂的方法包括：随机抽取。

3.根据权利要求1所述的方法，其特征在于，所述K的取值为4。

4.根据权利要求1至3任一所述的方法，其特征在于，所述的将图(V,E)与图(Q,E_S)进行配准的方法，包括：

设置匹配函数M，所述匹配函数M将V与Q中的特征点进行匹配；

求解使所述V与Q中的特征点优化目标最大匹配，且所述E与E_S中的特征边优化目标最大匹配的匹配函数M。

5.根据权利要求4所述的方法，其特征在于，所述的求解匹配函数M的方法，包括：

以所述匹配函数M为变量构造目标函数，求解所述目标函数的极值；

所述目标函数转化为整数线性规划函数，所述整数线性规划函数的极值为目标函数的极值。

6.根据权利要求1所述的方法，其特征在于，所述的利用运动幅度信息对S₁中的点分配权重的方法，包括：设置所述点的权重为

所述x是点的运动幅值，所述x₀＝8。

Images