CN113610908B - 一种用于单目内窥镜手术中的多基线融合的深度估计方法 - Google Patents

Abstract

本发明属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。能够应用到临床中，起到在术中辅助手术的作用。通过水平移动小段距离对当前手术画面获取两张不同视角的照片，可以对组织纹理较少的手术画面估计出较为准确的深度信息。本发明还提出了一种多基线深度图融合的方法，针对不同的深度范围在合适的基线附近选择多个基线，将不同基线得到的深度图进行融合，保证在不同深度范围时都能生成准确的深度图。

Description

一种用于单目内窥镜手术中的多基线融合的深度估计方法

技术领域

本发明属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。

背景技术

目前，有一些深度估计或三维重建的方法已经应用在内窥镜场景中，比如微创手术中准稠密重建的SLAM方法，但是这种方法需要人为细致地调整参数，而且重建的准确率不能满足内镜手术的精度要求。卷积神经网络在内窥镜图像深度估计中展现出了一定的效果，但这类方法需要有稠密的深度真值图加入训练中，这种真值图在手术中获取难度很大。而且内窥镜图像中光线变化会使得同一个组织的成像发生很大变化，不利于神经网络学习到深度特征。

图像融合是图像处理中常用的技巧之一，主要用于将多张图像的有利信息提取出来，综合成高质量的图像。但是传统的图像融合方法中并没有针对内窥镜手术场景的，也没有针对不同基线深度图的。

中国专利2019105958931，公开了一种白内障手术显微镜下单目深度估计方法，采用的是垂直位移拍照，画面有缩放，但是对画面中每个物体的视角并没有太大变化，在组织纹理较少的情况下无法为深度估计提供充分的信息，另外也没有给出基线的测量方法。中国专利201710866551X，公开了一种手术导航定位方法及装置，需要获取多光谱、不同角度、不同位置的荧光图像和白光图像，无法实时对画面中的物体做出深度估计。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种用于单目内窥镜手术中的多基线融合的深度估计方法，可以对组织纹理较少的手术画面估计出较为准确的深度信息。

为解决上述技术问题，本发明采用的技术方案是：一种用于单目内窥镜手术中的多基线融合的深度估计方法，包括以下步骤：

S1.采集内窥镜拍摄的照片；

S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；

S3.对校正后的照片进行深度估计；

S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；

S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；

S6.根据融合后的深度图在照片中标注出每个物体的深度值；

S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。

在其中一个实施例中，所述的步骤S1具体包括：

对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1，k2，k3，p1，p2]；

在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。

在一些实施例中，用内窥镜向左、向右分别移动20毫米，每隔1毫米采集一张照片。

进一步的，在所述的步骤S5中，基线的选取包括以下步骤：

首先设定基线可变化的范围；

然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；

第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。

进一步的，对深度图进行评价，采用以下深度图评价函数：

imgQ＝Q₁×k₁+Q₂×k₂

其中，Q₁是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q₂是评价指标2：深度-视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。

进一步的，在所述的步骤S6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：

用基线距离相邻的几张深度图进行融合；对于每个像素点，取出5个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；

对某一个像素点，取出同一张深度图中以该像素点为中心的5*5方块，以其中的非0深度值的均值代替该像素点的深度值。

进一步的，所述的步骤S4中对每对左右图进行深度估计，深度估计的具体步骤包括：

S41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平Sobel处理，之后计算得到BT代价值1，对水平Sobel处理前的两张照片直接计算BT代价值2；将BT代价值1和BT代价值2计算得到的代价值进行相加融合；

S42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；

S43.对代价值进行SGM优化；对每个像素点P都进行多个路径像素代价的聚合，聚合公式如下：

S44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；

S45.进行视差后处理；包括置信度检测和左右一致性检测；

S46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[R|T]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：

z＝f×b/d

式中，f是内窥镜焦距，b是基线距离，d是视差值。

进一步的，所述的置信度检测具体包括以下步骤：

定义视差窗口范围内匹配像素点最低代价为C₁，次低代价为C₂；检查是否满足以下不等式：

其中uniqRatio是置信度检测参数；

如果不满足，则说明最低代价和次低代价相差太小，即匹配的区分度不够，认为当前匹配像素点是误匹配；使最佳视差值与一定范围内的视差值在代价值上面保持一定的全局最优关系，避免算法中经常遇到的局部最优解问题。

进一步的，所述的左右一致性检测具体包括：

通过得到的左视差图计算右视差图，对于左视差图中的一个点p，求得的视差值是d₁，那么p在右图里的对应点为点(p-d₁)，点(p-d₁)的视差值记作d₂；若|d₁-d₂|＞threshold；将p标记为遮挡点；再分别水平往左和往右找到第一个非遮挡点，将点p的视差值赋值成左右两个非遮拦点中视差值较小的那一个。

本发明还提供一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，所述的处理器执行所述的计算机程序时实现以上所述的方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现以上所述方法的步骤。

与现有技术相比，有益效果是：本发明提供的一种用于单目内窥镜手术中的多基线融合的深度估计方法，可以在内窥镜手术场景中应用，能够根据创口的大小调整基线选取的范围，不用担心放不进去的问题；针对内窥镜在创口伸入深度变化的特点，设计了一套不同基线深度图融合的方案，在不同深度范围下都可以保证较好的深度估计效果。

附图说明

图1是本发明流程示意图。

图2是本发明深度估计流程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

如图1所示，一种用于单目内窥镜手术中的多基线融合的深度估计方法，包括以下步骤：

步骤1.对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1，k2，k3，～，p1，p2，p3，～]；

步骤2.在进行手术时，用内窥镜向左、向右分别移动20毫米，每隔1毫米采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机；

步骤3.在计算集中根据内窥镜的内参矩阵和畸变系数对照片进行校正；

步骤4.对于校正后的每对左右图分别进行深度估计；

如图2所示，深度估计的具体步骤包括：

S41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平Sobel处理，之后计算得到BT代价值1，对水平Sobel处理前的两张照片直接计算BT代价值2；将BT代价值1和BT代价值2计算得到的代价值进行相加融合；

S42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；

S43.对代价值进行SGM优化；对每个像素点P都进行多个路径像素代价的聚合，聚合公式如下：

S44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；

S45.进行视差后处理；包括置信度检测和左右一致性检测；

S46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[R|T]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：

z＝f×b/d

式中，f是内窥镜焦距，b是基线距离，d是视差值。

其中，置信度检测具体包括以下步骤：

定义视差窗口范围内匹配像素点最低代价为C₁，次低代价为C₂；检查是否满足以下不等式：

式中，uniqRatio是置信度检测参数；

如果不满足，则说明最低代价和次低代价相差太小，即匹配的区分度不够，认为当前匹配像素点是误匹配；使最佳视差值与一定范围内的视差值在代价值上面保持一定的全局最优关系，避免算法中经常遇到的局部最优解问题。

另外，左右一致性检测具体包括：

通过得到的左视差图计算右视差图，对于左视差图中的一个点p，求得的视差值是d₁，那么p在右图里的对应点为点(p-d₁)，点(p-d₁)的视差值记作d₂；若|d₁-d₂|＞threshold；将p标记为遮挡点；再分别水平往左和往右找到第一个非遮挡点，将点p的视差值赋值成左右两个非遮拦点中视差值较小的那一个。

步骤5.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；基线的选取包括以下步骤：

首先设定基线可变化的范围；

然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；

第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。

其中，对深度图进行评价，采用以下深度图评价函数：

imgQ＝Q₁×k₁+Q₂×k₂

其中，Q₁是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q₂是评价指标2：深度-视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。

步骤6.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；深度图融合具体包括以下步骤：

用基线距离相邻的几张深度图进行融合；对于每个像素点，取出多个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；

对某一个像素点，取出同一张深度图中以该像素点为中心的l*l方块，以其中的非0深度值的均值代替该像素点的深度值。

步骤7.根据融合后的深度图在照片中标注出每个物体的深度值；

步骤8.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。

本发明提出的一种用于单目内窥镜手术中的多基线融合的深度估计方法，能够应用到临床中，起到在术中辅助手术的作用。通过水平移动小段距离对当前手术画面获取两张不同视角的照片，可以对组织纹理较少的手术画面估计出较为准确的深度信息。本发明还提出了一种多基线深度图融合的方法，针对不同的深度范围在合适的基线附近选择多个基线，将不同基线得到的深度图进行融合，保证在不同深度范围时都能生成准确的深度图。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，包括以下步骤：

S1.采集内窥镜拍摄的照片；

S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；

S3.对校正后的照片进行深度估计；

S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；对每对左右图进行深度估计，深度估计的具体步骤包括：

S41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平Sobel处理，之后计算得到BT代价值1，对水平Sobel处理前的两张照片直接计算BT代价值2；将BT代价值1和BT代价值2计算得到的代价值进行相加融合；

S42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；

S43.对代价值进行SGM优化；对每个像素点P都进行多个路径像素代价的聚合，聚合公式如下：

S44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；

S45.进行视差后处理；包括置信度检测和左右一致性检测；

S46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[R|T]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：

z＝f×b/d

式中，f是内窥镜焦距，b是基线距离，d是视差值；

S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；

S6.根据融合后的深度图在照片中标注出每个物体的深度值；

S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。

2.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的步骤S1具体包括：

对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1,k2,k3,p1,p2]；

在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。

3.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S5中，基线的选取包括以下步骤：

首先设定基线可变化的范围；

然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；

第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。

4.根据权利要求3所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，对深度图进行评价，采用以下深度图评价函数：

imgQ＝Q₁×k₁+₂×k₂

其中，Q₁是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q₂是评价指标2：深度-视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。

5.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：

用基线距离相邻的几张深度图进行融合；对于每个像素点，取出多个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；

对某一个像素点，取出同一张深度图中以该像素点为中心的l*l方块，以其中的非0深度值的均值代替该像素点的深度值。

6.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的置信度检测具体包括以下步骤：

定义视差窗口范围内匹配像素点最低代价为C₁，次低代价为C₂；检查是否满足以下不等式：

其中uniqRatio是置信度检测参数；

如果不满足，则说明最低代价和次低代价相差太小，即匹配的区分度不够，认为当前匹配像素点是误匹配；使最佳视差值与一定范围内的视差值在代价值上面保持一定的全局最优关系，避免算法中经常遇到的局部最优解问题。

7.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的左右一致性检测具体包括：

通过得到的左视差图计算右视差图，对于左视差图中的一个点p，求得的视差值是d₁，那么p在右图里的对应点为点(p-d₁)，点(p-d₁)的视差值记作d₂；若|d₁-d₂|＞threshold；将p标记为遮挡点；再分别水平往左和往右找到第一个非遮挡点，将点p的视差值赋值成左右两个非遮拦点中视差值较小的那一个。

8.一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，其特征在于，所述的处理器执行所述的计算机程序时实现权利要求1至7任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。