CN110992431B - 一种双目内窥镜软组织图像的联合三维重建方法 - Google Patents

Abstract

本发明公开了一种双目内窥镜软组织图像的联合三维重建方法，先通过双目内窥镜获取目标的左右图像对，利用立体视觉发进行初步重建，然后以左图为例，利用基于微表面理论构造的双向反射分布方程，模拟内窥镜环境下的成像过程，进一步构造左图像的亮度图像，最后利用SFS算法进行精细重建，这样就可以将重建问题转化为最优化问题，通过迭代优化求解出最终的重建结果。

Description

一种双目内窥镜软组织图像的联合三维重建方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种双目内窥镜软组织图像的联合三维重建方法。

背景技术

近年来微创手术(MIS)因为与传统的开放手术相比具有许多的优势而受到重视，包括手术创口尽可能小、减小伤口感染风险以及恢复时间更短，从而患者可以更快地恢复正常生活。这使得微创手术成为当今临床医学中最主要的发展趋势之一。在MIS中，医生不再需要对患者做大尺寸的创口，仅需在合适的位置打若干个小孔，探入内窥镜及手术器械，即可完成手术。

MIS过程中，尽管可以通过使用内窥镜在手术中获取手术目标的实时影像，来辅助外科医生的操作，但是所获得的二维图像毕竟丢失了目标的深度信息，这相对于外科手术的高精度行要求而言依然会造成不小的影响。另外手术器材及内窥镜的运动、患者呼吸运动、心跳等运动也会给成像造成困难。因此，对于如何从内窥镜图像中重建满足手术精确度、实时性要求的三维图像是辅助外科医生精确手术的关键的一步。

目前，计算机视觉领域的两种主流算法为：立体视觉法(Multi-View Stereo,MVS)和从阴影恢复形状(Shape From Shading，SFS)。前者通过模仿人类的视觉系统，在多个视图中找到对应的特征，并通过三角测量确定深度，不足之处在于运算量偏大、且在基线距离较大的情况下重建效果会明显降低；另外后者仅根据将图像亮度与局部表面法线相关联的给定反射模型来估计深度，因此单输入图像通常就足够了，该方法通常在一些使用第二台相机不可行的场景下较为实用，比如行星表面的重建或者人体器官的重建。

发明内容

本发明的目的在于克服现有技术的不足，提供一种双目内窥镜软组织图像的联合三维重建方法，通过联合使用立体视觉法和SFS算法，构建目标函数，将重建问题转化为一个最优化问题，通过优化算法迭代计算得出最终的全局深度图，进而完成三维重建。

为实现上述发明目的，本发明一种双目内窥镜软组织图像的联合三维重建方法，其特征在于，包括以下步骤：

(1)、双目内窥镜标定；

对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；

(2)、图像采集及预处理；

利用双目内窥镜对目标软组织进行图像采集，再利用外部参数矩阵对采集图像进行重投影，使左右两幅采集图像落在同一平面上，且左右两幅采集图像之间的像素行满足极线约束；

将处理后的左右两幅采集图像用图像对表示为{I_l,I_r}，并设目标软组织表面在I_l中的像素坐标为(x,y)，对应的待求深度为z(x,y)；

(3)、利用立体视觉算法计算初步深度信息z₀；

(3.1)、在图像对{I_l,I_r}中，对于左图像I_l中的每个像素点，通过在右图像I_r对应行上滑动绝对误差和SAD窗口，从而获得最佳匹配点，实现全局的特征匹配；

(3.2)、计算视差；

计算每个最佳匹配点的视差：d＝x_l-x_r，其中，x_l、x_r分别为左、右最佳匹配点的横坐标；

(3.3)、将所有最佳匹配点的视差组成视差图d(x,y)；

(3.4)、通过三角测量视差图，得到初步深度信息z₀；

z₀(x,y)＝f·b/d(x,y)

其中，f为左相机的焦距，b为左右相机光心之间的距离；

(4)、利用阴影恢复形状算法对双目内窥镜的光照环境进行建模；

(4.1)、将左图像I_l转为灰度图像

其像素值代表亮度；

(4.2)、基于微表面理论构建的双向反射分布方程f_BRDF(z)模拟左相机成像过程，构建左图像I_l的反射图E_l(z)；

其中，z为待求深度，μ为光照方向向量，N_l为左相机获取的软组织表面某一点的法向量，σ为常量系数；

(5)、构造立体视觉数据项D_stereo(z)：D_stereo(z)＝||z-z₀||²；构造阴影恢复形状数据项D_sfs(z)：

(6)、构建目标函数；

其中，R(z)为平滑约束；ω_sfs、ω_stereo、ω_R分别是阴影恢复形状数据项、立体视觉项、平滑约束项的权重值；p、q分别为X轴方向上的表面梯度和Y轴方向上的表面梯度；

(7)、使用的交替方向乘子法ADMM对目标函数进行迭代求优，得到最优的深度信息z_final＝argminE_total；

(8)、通过透视投影的逆变换，将图像的像素坐标及其深度信息z_final恢复为三维的世界坐标，重建完毕。

本发明的发明目的是这样实现的：

本发明一种双目内窥镜软组织图像的联合三维重建方法，先通过双目内窥镜获取目标的左右图像对，利用立体视觉发进行初步重建，然后以左图为例，利用基于微表面理论构造的双向反射分布方程，模拟内窥镜环境下的成像过程，进一步构造左图像的亮度图像，最后利用SFS算法进行精细重建，这样就可以将重建问题转化为最优化问题，通过迭代优化求解出最终的重建结果。

同时，本发明一种双目内窥镜软组织图像的联合三维重建方法还具有以下有益效果：

(1)、重建精度高。本方法结合了两种计算机视觉领域的两种主流的重建方法，立体视觉法保证全局深度图的准确度，SFS确保了恢复过程中局部细节的准确度，综合两方面提高了整体的重建精度。

(2)、对成像环境光容忍度高，适用面更广。传统SFS算法适用范围虽然广泛，但是对于环境中光源的要求较为苛刻，需要准确的光源参数，包括位置与方向信息。本方法中，使用基于微表面理论的双向反射分布方程，替代传统SFS算法中的经验反射方程，应对不同环境下的光照变化更加稳定。

附图说明

图1是本发明一种双目内窥镜软组织图像的联合三维重建方法流程图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种双目内窥镜软组织图像的联合三维重建方法流程图。

在本实施例中，如图1所示，本发明一种双目内窥镜软组织图像的联合三维重建方法，包括以下步骤：

S1、双目内窥镜标定；

对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；

在本实施例中，可以按照Zhengyou Zhang等在文献《A Flexible New Techniquefor Camera Calibration》中提出的标定方法具体操作，获得，

其中

分别为左右相机图像平面的像素齐次坐标(u_l,v_l,1)、(u_r,v_r,1)；A_l、A_r分别为左右相机的内参数；[R_l,t_l]、[R_r,t_r]分别为左右相机的旋转矩阵和平移向量；

表示目标表面一点的世界坐标系下的齐次坐标(X,Y,Z,1)；s表示尺度因子。进而利用以上公式1的结果进行立体标定，由公式2解得两相机之间的旋转矩阵R和平移向量T：

R＝R_r(R_l)T，T＝t_r-Rt_l

S2、图像采集及预处理；

利用双目内窥镜对目标软组织进行图像采集，再利用外部参数矩阵对采集图像进行重投影，使左右两幅采集图像落在同一平面上，且左右图像之间的像素行严格对准，即满足极线约束；

将处理后的左右两幅采集图像用图像对表示为{I_l,I_r}，并设目标软组织表面在I_l中的像素坐标为(x,y)，对应的待求深度为z(x,y)；

S3、利用立体视觉算法计算初步深度信息z₀；

S3.1、全局特征匹配

在图像对{I_l,I_r}中，对于左图像I_l中的每个像素点，通过在右图像I_r对应行上滑动绝对误差和SAD窗口，从而获得最佳匹配点，实现全局的特征匹配；

在本实施例中，预处理之后每一行就是一条极线，左图像的任意特征点都将出现在右图的同一行(即有相同的纵坐标)。我们可以采用“绝对误差和(SAD)”的窗口来查找左右图像之间的匹配点，但不限于此处方法。

S3.2、计算视差；

计算每个最佳匹配点的视差：d＝x_l-x_r，其中，x_l、x_r分别为左、右最佳匹配点的横坐标；

S3.3、将所有最佳匹配点的视差组成视差图d(x,y)；

S3.4、通过三角测量视差图，得到初步深度信息z₀；

z₀(x,y)＝f·b/d(x,y)

其中，f为左相机的焦距，b为左右相机光心之间的距离，即基线距离；

S4、利用阴影恢复形状算法对双目内窥镜的光照环境进行建模；

S4.1、将左图像I_l转为灰度图像

其像素值代表亮度；

S4.2、基于微表面理论构建的双向反射分布方程f_BRDF(z)模拟左相机成像过程，构建左图像I_l的反射图E_l(z)；

其中，z为待求深度，μ为光照方向向量，N_l为左相机获取的软组织表面某一点的法向量，σ为常量系数；

其中，法向量N_l的计算方法为：

设点o为左相机获取的软组织表面上的一点，点o在X轴方向上的表面梯度为

在Y轴方向上的表面梯度为

那么点o的法向量N_l为：N_l＝(p,q,1)。

在本实施例中，具体的双向反射分布方程为：

其中，l为光照方向向量，由于光源位置(a,b,0)相对于左相机光心位置保持不变，所以l可视为常量；n为软组织表面某点的法向量；v为光线反射方向，或称为观察方向；h为光照方向和观察方向之间的半角向量F(l,v)为菲涅尔方程，表示光学平面对入射光线的反射比例；G(l,v)为几何衰减因子，表示入射光线由于微表面理论中的受shadowing现象影响未能从l反射到v方向的比例。D(h)表示朝向是h的微表面数占微表面总数的比例。

S5、构造立体视觉数据项D_stereo(z)：D_stereo(z)＝||z-z₀||²；构造阴影恢复形状数据项D_sfs(z)：

S6、构建目标函数；

其中，R(z)为平滑约束；ω_sfs、ω_stereo、ω_R分别是阴影恢复形状数据项、立体视觉项、平滑约束项的权重值；p、q分别为X轴方向上的表面梯度和Y轴方向上的表面梯度；

在本实施例中，D_sfs(z)又称为图像亮度误差，直接从图像亮度中获得，反映了实际图像与估计图像之间的亮度误差。D_stereo(z)反映了估计深度与初始立体视觉的重建结果之间的误差。R(z)为平滑约束，平滑约束可确保光滑的表面，以稳定收敛到唯一的解。

S7、使用的交替方向乘子法ADMM对目标函数进行迭代求优，得到最优的深度信息z_final＝argminE_total；

在本实施例中，使用Y.Qu’eau等在文献《A Variational Approach to Shapefrom Shading Under Natural Illumination》中使用的交替方向乘子法(ADMM)对目标函数进行迭代求优，但不限于次算法。

S8、通过透视投影的逆变换，将图像的像素坐标及其深度信息z_final恢复为三维的世界坐标，重建完毕。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种双目内窥镜软组织图像的联合三维重建方法，其特征在于，包括以下步骤：

(1)、双目内窥镜标定；

对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；

(2)、图像采集及预处理；

利用双目内窥镜对目标软组织进行图像采集，再利用外部参数矩阵对采集图像进行重投影，使左右两幅采集图像落在同一平面上，且左右两幅采集图像之间的像素行满足极线约束；

将处理后的左右两幅采集图像用图像对表示为{I_l,I_r}，并设目标软组织表面在I_l中的像素坐标为(x,y)，对应的待求深度为z(x,y)；

(3)、利用立体视觉算法计算初步深度信息z₀；

(3.1)、在图像对{I_l,I_r}中，对于左图像I_l中的每个像素点，通过在右图像I_r对应行上滑动绝对误差和SAD窗口，从而获得最佳匹配点，实现全局的特征匹配；

(3.2)、计算视差；

计算每个最佳匹配点的视差：d＝x_l-x_r，其中，x_l、x_r分别为左、右最佳匹配点的横坐标；

(3.3)、将所有最佳匹配点的视差组成视差图d(x,y)；

(3.4)、通过三角测量视差图，得到初步深度信息z₀；

z₀(x,y)＝f·b/d(x,y)

其中，f为左相机的焦距，b为左右相机光心之间的距离；

(4)、利用阴影恢复形状算法对双目内窥镜的光照环境进行建模；

(4.1)、将左图像I_l转为灰度图像

其像素值代表亮度；

(4.2)、基于微表面理论构建的双向反射分布方程f_BRDF(z)模拟左相机成像过程，构建左图像I_l的反射图E_l(z)；

其中，z为待求深度，μ为光照方向向量，N_l为左相机获取的软组织表面某一点的法向量，σ为常量系数；

(5)、构造立体视觉数据项D_stereo(z)：D_stereo(z)＝||z-z₀||²；构造阴影恢复形状数据项

(6)、构建目标函数；

E_total＝ω_sfsD_sfs(z)+ω_stereoD_stereo(z)+ω_RR(z)

其中，R(z)为平滑约束；ω_sfs、ω_stereo、ω_R分别是阴影恢复形状数据项、立体视觉项、平滑约束项的权重值；p、q分别为X轴方向上的表面梯度和Y轴方向上的表面梯度；

(7)、使用的交替方向乘子法ADMM对目标函数进行迭代求优，得到最优的深度信息z_final＝argminE_total；

(8)、通过透视投影的逆变换，将图像的像素坐标及其深度信息z_final恢复为三维的世界坐标，重建完毕。

2.根据权利要求1所述的一种双目内窥镜软组织图像的联合三维重建方法，其特征在于，法向量N_l的计算方法为：

设点o为左相机获取的软组织表面上的一点，点o在X轴方向上的表面梯度为

在Y轴方向上的表面梯度为

那么点o的法向量N_l为：N_l＝(p,q,1)。

Images