CN111260765B - 一种显微手术术野的动态三维重建方法 - Google Patents

Abstract

本发明实施例公开了一种显微手术术野的动态三维重建方法，涉及计算机视觉领域，所述方法包括：获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；对所述点云数据进行去噪处理和去抖处理；利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。本发明实施例能够较好的重建出具有高动态特性的手术器械。

Description

一种显微手术术野的动态三维重建方法

技术领域

本发明实施例涉及计算机视觉领域，具体涉及一种显微手术术野的动态三维重建方法。

背景技术

三维重建是计算机视觉和计算机图形学的基础研究课题。近些年，随着医学影像技术和智能化手术辅助设备的发展，面向手术术野、手术平台及手术设备的三维重建技术因其能够辅助手术，提供丰富的可视化信息以及协助远程手术而受到了人们越来越高的关注。但同时，手术过程中极低的容错率、严苛的光照条件以及高动态特性给当前的三维重建技术提出了新的挑战。

针对动态场景三维重建问题，一些科研人员尝试了使用模板的方法辅助动态场景的三维重建，但是这些方法往往需要事先进行复杂而繁琐的建模工作以及相应的配准对齐过程。除此之外，还有一些基于非刚体逐点变形场计算的方法，此类方法力图求解当前点云与上一帧点云或全局点云间各匹配点之间的一一变换关系，尽管这些方法取得了不错的成效，但是这些单一的方法难以适用在高动态场景以及存在相机抖动的环境中，且这类问题在对精度要求较高的医学三维重建中尤为突出。

以人工耳蜗显微手术的三维重建为例，人工耳蜗植入过程中，术野中存在静态或者动态移动的刚性手术支架，也存在着非刚性移动的器械或者人体组织，同时就整体而言，各部分的移动也是不一致的，这使得传统的静态或者低动态场景的单一三维重建技术和姿态估算方法已不再适用。

发明内容

本发明实施例的目的在于提供一种显微手术术野的动态三维重建方法，用以解决现有单一三维重建技术和姿态估算方法不适用于对精度要求较高的医学三维重建的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

本发明实施例提供了一种显微手术术野的动态三维重建方法，

所述方法包括：获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；对所述点云数据进行去噪处理和去抖处理；利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。

进一步地，所述方法还包括：当所述深度图和红外灰度图的帧位置属性为第一帧时，将预设的相机姿态数据赋予所述深度图和红外灰度图，计算深度图中每一个像素对应在深度相机坐标系下的点云数据，直接对点云数据进行分割。

进一步地，对所述点云数据进行去抖处理，具体包括：计算相机在当前图像与前一帧图像之间的惯性测量元件数据，对所述惯性测量元件的数据求积分，得到深度相机在t时刻相对于t-1时刻的姿态变换矩阵，利用所述姿态变换矩阵对当前点云数据进行相机去抖动处理，得到相机参考坐标系下的点云数据。

进一步地，所述得到术区点云模型，具体包括：构建术区三维参考模型；求取术区三维参考模型到当前帧的稠密形变场参数；根据所述稠密形变场参数将当前帧的点云融合到术区三维参考模型中；根据相机的实时图像更新形变场参数，对术区三维参考模型进行持续点云融合和更新，得到术区点云模型。

进一步地，所述得到手术器械点云模型，具体包括：构建手术器械参考模型；提取手术器械的分段轮廓信息；计算手术器械点云中每个像素与各轮廓边之间的关联系数矩阵；构造联合代价函数求取各轮廓边和手术器械点云的变形参数；根据形变参数将当前点云融合到手术器械参考模型中；根据相机的实时图像更新变形参数，对手术器械参考模型进行持续点云融合和更新，得到手术器械参考模型。

进一步地，所述构建手术器械参考模型，具体包括：当红外灰度图的帧位置属性为第一帧时，直接将当前帧得到的手术器械的点云团作为手术器械参考模型；反之，对手术器械点云团的表面进行均匀采样，并以采样点为节点创建手术器械表面节点图。

进一步地，所述提取手术器械的分段轮廓信息，具体包括：在红外灰度图中提取手术器械上的红外标记点的二维质心坐标，并通过反投影获取红外标记点在当前相机坐标系下的三维坐标，从而获取手术器械中分段轮廓边的位置。

进一步地，所述计算手术器械点云中每个像素与各轮廓边之间的关联系数矩阵，具体包括：计算轮廓边距离手术器械表面节点图中采样节点之间的最短欧式距离，将所述最短欧式距离与设定阈值的大小进行比较，且结合轮廓边与采样节点的运动一致性确定每个采样节点与各轮廓边之间的关联系数。

进一步地，所述构造联合代价函数，具体包括：根据节点变形影响下的点云匹配误差函数、轮廓移动影响下的点云匹配误差函数以及二者的误差平滑项构造联合代价函数。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例使用点云分割模型对术野进行点云分割，采用惯性测量元件对相机进行去抖处理，然后对其中的非刚性手术术区和分段刚性手术器械分别进行三维重建，其中，采用红外跟踪技术对器械的分段刚性轮廓进行跟踪，并将跟踪的轮廓信息作为约束加入到点云匹配和变形场估算过程中，能够精确地重建出高动态移动的手术器械，采用求解稠密形变场的方法进行手术术区的重建，该方法能精确的重建出高动态的手术术野。

附图说明

图1为本发明实施例提供的一种面向手术术野的动态三维重建方法流程示意图。

图2为本发明中对手术器械点云团进行处理的流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明提出的一种面向手术术野的动态三维重建方法，包括：

一种显微手术术野的动态三维重建方法，其特征在于，包括：

步骤1：获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；

详细地，在执行本方法之前需要离线对深度相机进行标定以获取相机内参矩阵K，并离线训练基于术区的点云分割模型ω。优选的可使用张正友标定法对相机内参进行标定。点云分割模型ω可以准确分割和分类点云簇中的手术器械点云团和手术术区点云团。其中，点云是在和目标表面特性的海量点集合，结合激光测量和摄影测量原理得到点云，包括XYZ三维坐标、激光反射强度和RGB颜色信息。

当深度图和红外灰度图的帧位置属性为第一帧时，将预设的相机姿态数据赋予所述深度图和红外灰度图，计算深度图中每一个像素对应在深度相机坐标系下的点云数据，直接对点云数据进行分割。具体地，设深度图为D_t，红外灰度图为G_t，若当前帧为第一帧，即t＝1，则赋予当前图像预设的相机姿态数据，若t>1，则计算相机在当前帧与前一帧之间的惯性测量元件数据I_t。

计算手术术野的点云数据即计算当前深度图D_t中每一个像素对应在深度相机坐标系下的点云数据，点云数据包括每个点的三维坐标和归一化法向量，三维坐标v_i(u)的计算公式如下：

v_i(u)＝D_t(u)K^-1[u,1]^T

其中，v_i(u)为像素点i对应的三维坐标，D_t(u)为其深度，u(x,y)为其在二维图像上的坐标。

法向量n_i(u)的计算公式如下：

n_i(u)＝(v_i(x+1,y)-v_i(x,y))×(v_i(x,y+1)-v_i(x,y))

再对法向量进行归一化处理以获取整张图像的点云数据，归一化处理的公式为：

步骤2：对点云数据进行去噪处理和去抖处理；

在实际应用中去噪处理可以采用双边滤波的方法对点云进行滤波去噪。

去抖处理包括：对惯性测量元件的数据I_t求积分，得到深度相机在t时刻相对于t-1时刻的姿态变换矩阵H，并利用该姿态变换矩阵对当前点云数据进行相机去抖动处理，得到相机参考坐标系下的点云数据，包括点云的三维坐标信息和法向量信息其中i代表点云中体素的索引序号。

步骤3：利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；

此处的点云分割模型为步骤1中训练出的点云分割模型ω，将点云数据输入到ω模型中，优选的可以使用基于PointNet训练的点云分割网络对点云数据进行分类和分割，得到手术器械的点云团和手术术区的点云团

步骤4：利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；

详细地，构建术区三维参考模型；求取术区三维参考模型到当前帧的稠密形变场参数；根据稠密形变场参数将当前帧的点云融合到术区三维参考模型中；根据相机的实时图像更新形变场参数，对术区三维参考模型进行持续点云融合和更新，得到术区点云模型。

在实际应用中，上述步骤可以为：

若手术器械的点云团中的t＝1时，将当前点云数据代表的手术术区作为三维参考模型若t>1时，则首先需要计算三维参考模型到当前点云的稠密形变场参数优选的可以使用Dynamic Fusion形变场求解方法求解 中包含了参考模型和当前点云之间的逐点位姿映射矩阵在一些优选的实施例中，选用稠密非刚性ICP算法进行变形场参数求解，然后将当前点云数据融合到参考模型中去。融合的公式为：

其中， 分别代表当前点云中索引号为i的体素的三维坐标和法向量，和是其在参考模型中对应体素点的三维坐标和法向量。根据融合后的点云数据更新手术术区模型。

步骤5：利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；

具体地，包括：构建手术器械参考模型；提取手术器械的分段轮廓信息；计算手术器械点云中每个像素与各轮廓边之间的关联系数矩阵；构造联合代价函数求取各轮廓边和手术器械点云的形变参数；根据形变参数将当前点云融合到手术器械参考模型中；根据相机的实时图像更新变形参数，对手术器械参考模型进行持续点云融合和更新，得到手术器械参考模型。

上述步骤在实际的应用中，可以表述为：

当红外灰度图G_t的帧位置属性为第一帧时，即t＝1时，直接将当前帧得到的手术器械的点云团作为手术器械参考模型

反之，t>1时,对手术器械点云团的表面进行均匀采样，并以采样点为节点创建手术器械表面节点图。

在红外灰度图G_t中提取手术器械上的红外标记点的二维质心坐标，并通过反投影获取红外标记点在当前相机坐标系下的三维坐标从而获取手术器械中分段轮廓边的位置，其中，n代表红外标记点的序号。

进一步地，计算点云中每个采样节点n_i与各轮廓边之间的关联系数其中，m为轮廓边的个数。具体地方式为：计算轮廓边距离手术器械表面节点图中采样节点n_i之间的最短欧式距离d，将最短欧式距离d与设定阈值∝的大小进行比较，且结合轮廓边与采样节点的运动一致性确定每个采样节点与各轮廓边之间的关联系数。若某个轮廓边距离节点n_i的最短欧式距离d小于设定阈值∝＝0.05，且与节点n_i拥有一致的运动，则赋值相应的系数为1。

其中，运动一致性定义如下：

其中，T_bm代表轮廓边m上的累计运动，T_ni代表节点上的累计运动，它们已经在模型被求解出来，为运动一致性设定阈值，优选地为0.02。

上述关联系数可以认为是采样节点与手术器械轮廓边之间的权重系数，基于此，再通过插值计算每个点云像素与轮廓边之间的权重系数，具体计算方法如下：

其中，为手术器械点云中的某个像素v_k的权重系数，是其相邻的采样点n_i的权重系数，为像素v_k周围的K最近邻采样点，K＝4；π_i,k是采样点n_i对像素v_k的影响系数，它符合均值为0，方差为σ²的高斯分布，即距离像素v_k越近的采样点对其权重系数的影响越大，优选地σ²＝0.02。

更进一步地，构造联合代价函数，具体包括：

根据节点变形影响下的点云匹配误差函数、轮廓移动影响下的点云匹配误差函数以及二者的误差平滑项构造联合代价函数。

具体地，联合代价函数的公式为：

其中E_voxel是考虑了节点变形影响下的点云匹配误差函数，误差为匹配点对沿着法向量上的投影差，具体计算方法如下：

其中代表当前点云与前一时刻点云之间的匹配点对；为处考虑了临近节点形变影响的表达， 为相应的法向量， 表示与j节点关联的形变矩阵，φ_i,j为相应节点的影响系数，其与π_i,k满足同分布。

E_skeleton是考虑了轮廓边移动影响下的点云匹配误差函数，具体计算方法如下：

为处考虑了轮廓移动影响的表达 为相应的法向量， 表示与j轮廓边关联的形变矩阵，ζ_i,j为相应轮廓边的影响系数，其也与π_i,k满足同分布。

E_smooth是前两项的误差平滑项，具体计算方法如下：

根据上述联合代价函数E_t求取轮廓边和点云的形变参数Ψ_t(T_n,T_b)，根据求得的形变参数，将当前帧点云融入到上一帧参考关键帧模型中从而获取新的手术器械参考模型即上文所述的手术器械点云模型。

步骤6：融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据全局点云模型获取深度相机在当前视角下的三维重建结果并输出。

其中，使用TSDF方法构建出具有全局术野的全局点云表面模型，在此之前需要对体素TSDF_i的值进行归一化处理，具体地：

本实施例中整个术野的三维模型是通过体素块以TSDF值的存储方式保存的，一般每个体素块含有N³个体素，一般N＝256，体素i的TSDF值计算方法如下：

TSDF_i＝d_i(u)-p_i(u)

其中，d_i(u)为体素i距离相机中心的距离，p_i(u)为该体素与相机光心连线上，该体素与上一帧三维模型中三维表面的距离。最后需要把该体素TSDF_i的值归一化到-1到1之间：

其中，maxtrancation为该体素与相机光心连线上最大TSDF_i值。

在使用TSDF方法构建出具有全局术野的全局点云表面模型后，根据光线投影法获取深度相机在当前视角下的三维重建结果并输出。

本发明实施例使用点云分割模型对术野进行点云分割，采用惯性测量元件对相机进行去抖处理，然后对其中的非刚性手术术区和分段刚性手术器械分别进行三维重建，其中，采用红外跟踪技术对器械的分段刚性轮廓进行跟踪，并将跟踪的轮廓信息作为约束加入到点云匹配和变形场估算过程中，能够精确地重建出高动态移动的手术器械，采用求解稠密形变场的方法进行手术术区的重建，该方法能精确的重建出高动态的手术术野。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种显微手术术野的动态三维重建方法，其特征在于，所述方法包括：

获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；

对所述点云数据进行去噪处理和去抖处理；

利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；

利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；

利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；

融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。

2.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，所述方法还包括：当所述深度图和红外灰度图的帧位置属性为第一帧时，将预设的相机姿态数据赋予所述深度图和红外灰度图，计算深度图中每一个像素对应在深度相机坐标系下的点云数据，直接对点云数据进行分割。

3.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，对所述点云数据进行去抖处理，具体包括：

计算相机在当前图像与前一帧图像之间的惯性测量元件数据，对所述惯性测量元件的数据求积分，得到深度相机在t时刻相对于t-1时刻的姿态变换矩阵，利用所述姿态变换矩阵对当前点云数据进行相机去抖动处理，得到相机参考坐标系下的点云数据。

4.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，所述得到术区点云模型，具体包括：

构建术区三维参考模型；

求取术区三维参考模型到当前帧的稠密形变场参数；

根据所述稠密形变场参数将当前帧的点云融合到术区三维参考模型中；

根据相机的实时图像更新形变场参数，对术区三维参考模型进行持续点云融合和更新，得到术区点云模型。

5.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，所述得到手术器械点云模型，具体包括：

构建手术器械参考模型；

提取手术器械的分段轮廓信息；

计算手术器械点云中每个像素与各轮廓边之间的关联系数矩阵；

构造联合代价函数求取各轮廓边和手术器械点云的变形参数；

根据形变参数将当前点云融合到手术器械参考模型中；

根据相机的实时图像更新变形参数，对手术器械参考模型进行持续点云融合和更新，得到手术器械参考模型。

6.如权利要求5所述的一种显微手术术野的动态三维重建方法，其特征在于，所述构建手术器械参考模型，具体包括：

当红外灰度图的帧位置属性为第一帧时，直接将当前帧得到的手术器械的点云团作为手术器械参考模型；

反之，对手术器械点云团的表面进行均匀采样，并以采样点为节点创建手术器械表面节点图。

7.如权利要求5所述的一种显微手术术野的动态三维重建方法，其特征在于，所述提取手术器械的分段轮廓信息，具体包括：

在红外灰度图中提取手术器械上的红外标记点的二维质心坐标，并通过反投影获取红外标记点在当前相机坐标系下的三维坐标，从而获取手术器械中分段轮廓边的位置。

8.如权利要求5所述的一种显微手术术野的动态三维重建方法，其特征在于，所述计算手术器械点云中每个像素与各轮廓边之间的关联系数矩阵，具体包括：

计算轮廓边距离手术器械表面节点图中采样节点之间的最短欧式距离，将所述最短欧式距离与设定阈值的大小进行比较，且结合轮廓边与采样节点的运动一致性确定每个采样节点与各轮廓边之间的关联系数。

9.如权利要求5所述的一种显微手术术野的动态三维重建方法，其特征在于，所述构造联合代价函数，具体包括：

根据节点变形影响下的点云匹配误差函数、轮廓移动影响下的点云匹配误差函数以及二者的误差平滑项构造联合代价函数。

Images