CN114862935A - 一种用于神经外科内窥镜中的深度估计方法及系统 - Google Patents

一种用于神经外科内窥镜中的深度估计方法及系统 Download PDF

Info

Publication number
CN114862935A
CN114862935A CN202210480591.1A CN202210480591A CN114862935A CN 114862935 A CN114862935 A CN 114862935A CN 202210480591 A CN202210480591 A CN 202210480591A CN 114862935 A CN114862935 A CN 114862935A
Authority
CN
China
Prior art keywords
endoscope
value
depth
image
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210480591.1A
Other languages
English (en)
Inventor
龚瑾
黄凯
郭英
宋日辉
谭志东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Affiliated Hospital Sun Yat Sen University
Sun Yat Sen University
Original Assignee
Third Affiliated Hospital Sun Yat Sen University
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Affiliated Hospital Sun Yat Sen University, Sun Yat Sen University filed Critical Third Affiliated Hospital Sun Yat Sen University
Priority to CN202210480591.1A priority Critical patent/CN114862935A/zh
Publication of CN114862935A publication Critical patent/CN114862935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种用于神经外科内窥镜中的深度估计方法及系统,一方面,本发明提供了一种用于神经外科内窥镜中的深度估计方法,本方法包括以下处理步骤,步骤1:对神经外科内窥镜进行内参标定;将内窥镜图像传回计算机并且根据步骤1测得的内参矩阵和畸变系数对照片进行校正;步骤3:利用内窥镜图像器械分割算法对校正后的图像进行器械分割,得到不包含手术器械的内窥镜图像;步骤4:利用立体匹配算法进行深度计算,在内窥镜采集图像中标注出每个物体的深度值并将标注深度后的照片进行显示。另一方面,本发明提供了一种用于神经外科内窥镜中的深度估计系统。通过本发明能够提升手术过程中进行深度估计的精度。

Description

一种用于神经外科内窥镜中的深度估计方法及系统
技术领域
本发明属于医疗领域,尤其涉及一种用于神经外科内窥镜中的深度估计方法,还涉及一种用于神经外科内窥镜中的深度估计系统。
背景技术
目前,有一些深度估计或三维重建的方法已经应用在内窥镜场景中,比如微创手术中准稠密重建的SLAM方法,但是这种方法需要人为细致地调整参数,而且重建的准确率不能满足内镜手术的精度要求。卷积神经网络在内窥镜图像深度估计中展现出了一定的效果,但这类方法需要有稠密的深度真值图加入训练中,这种真值图在手术中获取难度很大。而且内窥镜图像中光线变化会使得同一个组织的成像发生很大变化,不利于神经网络学习到深度特征。
手术中,内窥镜只能采集到单目图像,由于受限于创口的大小,难以通过增加其他摄像头来获取双目或多目图像。在手术中进行深度估计需要同时兼顾实时性和准确性。如果是通过采集多个角度的照片来获得三维信息,则需要过长的处理时间,可能会阻碍手术的进行。内窥镜视野下有运动的手术器械,运动物体造成两张图像的立体匹配出现大量的匹配失败像素以及错误匹配像素,从而导致深度估计准确度下降。从而需要一种用于神经外科内窥镜中的深度估计方法来满足使用需要。
发明内容
本发明的目的一是,提供一种用于神经外科内窥镜中的深度估计方法,能够提升手术过程中进行深度估计的精度。
本发明的目的一是,提供一种实现上述方法的深度估计系统。
为实现该目的,提供了一种用于神经外科内窥镜中的深度估计方法,本方法包括以下处理步骤,
步骤1:对神经外科内窥镜进行内参标定,将一张黑白间距已知的棋盘格贴在模拟手术台的桌面上,移动内窥镜在不同位置和角度对棋盘格拍摄至少10张照片,用张氏标定法计算出相机的内参矩阵A、外参矩阵[R|T]以及畸变系数[k1,k2,k3,~,p1,p2,~],其中,K1、K2、K3为径向畸变,P1、P2为切向畸变;
步骤2:内窥镜采集图像作为左图,将内窥镜向左水平移动设定距离,此时最右边的照片作为右图,将内窥镜采集图像传回计算机并且根据步骤1测得的内参矩阵和畸变系数对照片进行校正;
步骤3:利用内窥镜图像器械分割算法对校正后的图像进行器械分割,得到不包含手术器械的内窥镜采集图像;
步骤4:对校正并且去除器械后的每对左右图,利用立体匹配算法进行深度计算,在内窥镜采集图像中标注出每个物体的深度值并将标注深度后的照片进行显示。
优选地,在步骤4中,利用立体匹配算法进行深度计算包括以下处理步骤,
步骤21:先对两张照片进行水平Sobel处理,之后通过BT算法计算得到BT代价值一,对水平Sobel处理前的两张照片直接通过BT算法得到BT代价值二,将BT代价值一和BT代价值二计算得到的代价值进行相加融合;
步骤22:对融合后的代价值进行成块计算,即对每个像素的代价值用周围领域代价值的总和来代替,周围领域代价值即步骤21中融合后的代价值;
步骤23:经过步骤22处理后的代价值进行SGM优化;
步骤24:将经过SGM优化后的两张照片进行视差计算,然后进行视差后处理;
步骤25:根据内窥镜内参中的焦距f和外参矩阵[R|T]计算出内窥镜在拍摄两张图片之间移动的基线距离b,然后计算深度值(z),深度计算公式为,
z=f×b/d;
其中,f为内窥镜焦距,b为基线距离,d为视差值。
优选地,在步骤21中,所述BT代价计算中,BT计算为左右图匹配代价值的方法,即计算的是左右图像素灰度值差值的绝对值。
优选地,在步骤21中,所述相加融合为BT代价值一和4倍的BT代价值二相加。
优选地,在步骤23中,SGM优化为对每个像素点p都进行路径像素代价的聚合,聚合公式如下:
Figure BDA0003627571500000031
其中,左边的E(D)为能量函数,p为像素点,Dp为视差值,q为p相邻的像素点,P1、P2均为惩罚系数。
优选地,在步骤24中,视差计算胜者为王WTA算法,计算出每个像素点的在两张照片中的视差值。
优选地,在步骤24中,所述视差后处理包括置信度检测和左右一致性检测;
所述置信度检测为在定义视差窗口范围内匹配像素点的最低代价为C1,次低代价为C2,然后通过检测公式检测是否满足,其中检测公式为,
Figure BDA0003627571500000041
其中,uniqRatio是置信度检测参数;若不满足,则匹配的区分度不够,认为当前匹配像素点是误匹配,反之匹配成功。
优选地,所述左右一致性检测为,对于某个像素点p,基于左视差图计算出来的视差值是d1,基于右视差图计算出来的视差值是d2,若|d1-d2|>threshold,则将p标记为遮挡点,反之不通过左右一致性检测,其中,threshold为左右一致性检测的门限值;然后,分别水平往左和往右找到对应的第一个非遮挡点,将点p的视差值赋值成左右两个非遮拦点中视差值较小的一个。
为实现目的二,还提供了一种用于神经外科内窥镜中的深度估计系统,包括内窥镜、用于模拟内窥镜机器人来带动内窥镜移动的机械臂和用于控制的计算器,所述计算器设置有与内窥镜连接用于拍照控制的拍照模块、与拍照模块连接用于照片处理的器械分割模块、分别与拍照模块及机械臂连接用于控制的控制模块和与机械臂连接用于获取机械臂位姿信号进行处理的深度估计模块,所述器械分割模块与深度估计模块连接。
本发明与现有技术相比,其有益效果在于:
在本发明中通过设置对图片进行校正、去除器械在进行深度计算,能够提升手术过程中进行深度估计的精度和速度。在本发明中能够在神经外科内窥镜手术场景中应用,根据创口的大小调整基线选取的范围,由机械臂控制内窥镜移动;通过本发明能够针对术中内窥镜图像中会频繁出现运动的手术器械的特点,提供一个能对抗运动的手术器械干扰的系统,提升了手术过程中进行深度估计的效果。
附图说明
图1为本发明的流程图;
图2为本发明结构框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1-2所示,本发明提供了一种用于神经外科内窥镜中的深度估计方法,本方法包括以下处理步骤,
步骤1:对神经外科内窥镜进行内参标定,将一张黑白间距已知的棋盘格贴在模拟手术台的桌面上,移动内窥镜在不同位置和角度对棋盘格拍摄至少10张照片,用张氏标定法计算出相机的内参矩阵A、外参矩阵[R|T]以及畸变系数[k1,k2,k3,~,p1,p2,~],其中,K1、K2、K3为径向畸变,P1、P2为切向畸变;
步骤2:内窥镜采集图像作为左图,将内窥镜向左水平移动设定距离,此时最右边的照片作为右图,将内窥镜采集图像传回计算机并且根据步骤1测得的内参矩阵和畸变系数对照片进行校正;
步骤3:利用内窥镜图像器械分割算法对校正后的图像进行器械分割,得到不包含手术器械的内窥镜采集图像;
步骤4:对校正并且去除器械后的每对左右图,利用立体匹配算法进行深度计算,在内窥镜采集图像中标注出每个物体的深度值并将标注深度后的照片进行显示。主刀医生可以根据照片中的深度信息判断画面中物体的位置,从而更精准地实施手术。或者作为手术辅助系统的深度感知模块,支撑系统的运行。
在本实施例中,不同位置和角度为在能够拍摄到棋盘格的情况下,任意位置、任意角度。器械分割算法不限定现有方法中的具体哪一个,可以实现分割功能即可。图片获得时,左图为确定内窥镜采集图像中的一张,以左图对应位置为起点将内窥镜向左水平移动设定距离,此时最右边的照片作为右图,从而获得一组左右图。
在步骤4中,利用立体匹配算法进行深度计算包括以下处理步骤,
步骤21:先对两张照片进行水平Sobel处理,之后通过BT算法计算得到BT代价值一,对水平Sobel处理前的两张照片直接通过BT算法得到BT代价值二,将BT代价值一和BT代价值二计算得到的代价值进行相加融合;
步骤22:对融合后的代价值进行成块计算,即对每个像素的代价值用周围领域代价值的总和来代替,提高匹配的鲁棒性;周围领域代价值即步骤21中融合后的代价值。
步骤23:经过步骤22处理后的代价值进行SGM优化;
步骤24:将经过SGM优化后的两张照片进行视差计算,然后进行视差后处理;
步骤25:根据内窥镜内参中的焦距f和外参矩阵[R|T]计算出内窥镜在拍摄两张图片之间移动的基线距离b,然后计算深度值(z),深度计算公式为,
z=f×b/d;
其中,f为内窥镜焦距,b为基线距离,d为视差值。
在步骤21中,BT代价计算中,BT计算为左右图匹配代价值的方法,即计算的是左右图像素灰度值差值的绝对值。相加融合为BT代价值一和4倍的BT代价值二相加。
在步骤23中,SGM优化为对每个像素点p都进行路径像素代价的聚合,聚合公式如下:
Figure BDA0003627571500000071
其中,左边的E(D)为能量函数,p为像素点,Dp为视差值,q为p相邻的像素点,P1、P2均为惩罚系数。等式右边第一项是将每一个像素点p视差值为Dp时的匹配代价求和;第二项是对于每个像素点p统计其相邻像素点q与其视差相差为一个像素的情况,并加上惩罚系数P1。第三项则是统计相邻像素点q与p视差相差多于一个像素的情况,并加上惩罚系数P2
在步骤24中,视差计算胜者为王WTA算法,计算出每个像素点的在两张照片中的视差值。
在步骤24中,视差后处理包括置信度检测和左右一致性检测;
置信度检测为在定义视差窗口范围内匹配像素点的最低代价为C1,次低代价为C2,然后通过检测公式检测是否满足,其中检测公式为,
Figure BDA0003627571500000081
其中,uniqRatio是置信度检测参数,置信度检测参数越大,对匹配成功的要求越高。。若不满足,则匹配的区分度不够,认为当前匹配像素点是误匹配,反之匹配成功。
左右一致性检测为,对于某个像素点p,基于左视差图计算出来的视差值是d1,基于右视差图计算出来的视差值是d2,若|d1-d2|>threshold,则将p标记为遮挡点,反之不通过左右一致性检测,其中,threshold为左右一致性检测的门限值;然后,分别水平往左和往右找到对应的第一个非遮挡点,将点p的视差值赋值成左右两个非遮拦点中视差值较小的一个。在本实施例中,d1、d2是用胜者为王WTA算法计算出来的视差值。
本发明还提供了一种用于神经外科内窥镜中的深度估计系统,包括内窥镜1、用于模拟内窥镜机器人来带动内窥镜1移动的机械臂2和用于控制的计算器3,计算器3设置有与内窥镜1连接用于拍照控制的拍照模块31、与拍照模块31连接用于照片处理的器械分割模块32、分别与拍照模块31及机械臂2连接用于控制的控制模块33和与机械臂2连接用于获取机械臂2位姿信号进行处理的深度估计模块34,器械分割模块32与深度估计模块34连接。
在本实施例中,计算器3还设置有显示器。内窥镜1向拍照模块31提供视频流,拍照模块31进行截图获得左右图。在工作时,计算器3中首先进行内窥镜标定,用张氏标定法求出内窥镜的用张氏标定法计算出相机的内参矩阵A、外参矩阵[R|T]以及畸变系数[k1,k2,k3,~,p1,p2,~]。然后通过控制模块33控制机械臂2根据基线控制法带着内窥镜1水平移动获得视频流。内窥镜1将视频流发送到拍照模块31,拍照模块31对视频流进行截取,获得左右图,再通过器械分割模块32将图中的器械分割出来。最后深度估计模块34对利用立体匹配算法进行深度计算,在内窥镜采集图像中标注出每个物体的深度值并将标注深度后的照片进行显示。通过本发明能够提升手术过程中进行深度估计的精度和速度。
以上仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种用于神经外科内窥镜中的深度估计方法,其特征在于,本方法包括以下处理步骤,
步骤1:对神经外科内窥镜进行内参标定,将一张黑白间距已知的棋盘格贴在模拟手术台的桌面上,移动内窥镜在不同位置和角度对棋盘格拍摄至少10张照片,用张氏标定法计算出相机的内参矩阵A、外参矩阵[R|T]以及畸变系数[k1,k2,k3,~,p1,p2,~],其中,K1、K2、K3为径向畸变,P1、P2为切向畸变;
步骤2:内窥镜采集图像作为左图,将内窥镜向左水平移动设定距离,此时最右边的照片作为右图,将内窥镜采集图像传回计算机并且根据步骤1测得的内参矩阵和畸变系数对照片进行校正;
步骤3:利用内窥镜图像器械分割算法对校正后的图像进行器械分割,得到不包含手术器械的内窥镜采集图像;
步骤4:对校正并且去除器械后的每对左右图,利用立体匹配算法进行深度计算,在内窥镜采集图像中标注出每个物体的深度值并将标注深度后的照片进行显示。
2.根据权利要求1所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤4中,利用立体匹配算法进行深度计算包括以下处理步骤,
步骤21:先对两张照片进行水平Sobel处理,之后通过BT算法计算得到BT代价值一,对水平Sobel处理前的两张照片直接通过BT算法得到BT代价值二,将BT代价值一和BT代价值二计算得到的代价值进行相加融合;
步骤22:对融合后的代价值进行成块计算,即对每个像素的代价值用周围领域代价值的总和来代替,周围领域代价值即步骤21中融合后的代价值;
步骤23:经过步骤22处理后的代价值进行SGM优化;
步骤24:将经过SGM优化后的两张照片进行视差计算,然后进行视差后处理;
步骤25:根据内窥镜内参中的焦距f和外参矩阵[R|T]计算出内窥镜在拍摄两张图片之间移动的基线距离b,然后计算深度值(z),深度计算公式为,
z=f×b/d;
其中,f为内窥镜焦距,b为基线距离,d为视差值。
3.根据权利要求2所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤21中,所述BT算法中,BT计算为左右图匹配代价值的方法,即计算的是左右图像素灰度值差值的绝对值。
4.根据权利要求2或3所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤21中,所述相加融合为BT代价值一和4倍的BT代价值二相加。
5.根据权利要求2所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤23中,SGM优化为对每个像素点p都进行路径像素代价的聚合,聚合公式如下:
Figure FDA0003627571490000021
其中,左边的E(D)为能量函数,p为像素点,Dp为视差值,q为p相邻的像素点,P1、P2均为惩罚系数。
6.根据权利要求2所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤24中,视差计算采用胜者为王WTA算法,计算出每个像素点的在两张照片中的视差值。
7.根据权利要求2所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,在步骤24中,所述视差后处理包括置信度检测和左右一致性检测;
所述置信度检测为在定义视差窗口范围内匹配像素点的最低代价为C1,次低代价为C2,然后通过检测公式检测是否满足,其中检测公式为,
Figure FDA0003627571490000031
其中,uniqRatio是置信度检测参数;若不满足,则匹配的区分度不够,认为当前匹配像素点是误匹配,反之匹配成功。
8.根据权利要求7所述的一种用于神经外科内窥镜中的深度估计方法,其特征在于,所述左右一致性检测为,对于某个像素点p,基于左视差图计算出来的视差值是d1,基于右视差图计算出来的视差值是d2,若|d1-d2|>threshold,则将p标记为遮挡点,反之不通过左右一致性检测,其中,threshold为左右一致性检测的门限值;然后,分别水平往左和往右找到对应的第一个非遮挡点,将点p的视差值赋值成左右两个非遮拦点中视差值较小的一个。
9.一种采用权利要求1所述的用于神经外科内窥镜中的深度估计方法的系统,其特征在于,包括内窥镜(1)、用于模拟内窥镜机器人来带动内窥镜(1)移动的机械臂(2)和用于控制的计算器(3),所述计算器(3)设置有与内窥镜(1)连接用于拍照控制的拍照模块(31)、与拍照模块(31)连接用于照片处理的器械分割模块(32)、分别与拍照模块(31)及机械臂(2)连接用于控制的控制模块(33)和与机械臂(2)连接用于获取机械臂(2)位姿信号进行处理的深度估计模块(34),所述器械分割模块(32)与深度估计模块(34)连接。
CN202210480591.1A 2022-05-05 2022-05-05 一种用于神经外科内窥镜中的深度估计方法及系统 Pending CN114862935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210480591.1A CN114862935A (zh) 2022-05-05 2022-05-05 一种用于神经外科内窥镜中的深度估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210480591.1A CN114862935A (zh) 2022-05-05 2022-05-05 一种用于神经外科内窥镜中的深度估计方法及系统

Publications (1)

Publication Number Publication Date
CN114862935A true CN114862935A (zh) 2022-08-05

Family

ID=82635801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210480591.1A Pending CN114862935A (zh) 2022-05-05 2022-05-05 一种用于神经外科内窥镜中的深度估计方法及系统

Country Status (1)

Country Link
CN (1) CN114862935A (zh)

Similar Documents

Publication Publication Date Title
US11863733B2 (en) Targets, fixtures, and workflows for calibrating an endoscopic camera
US9066086B2 (en) Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
WO2020259271A1 (zh) 图像畸变校正方法和装置
JP4343341B2 (ja) 内視鏡装置
JP6049518B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
JP3347385B2 (ja) 内視鏡画像処理装置
JP5284731B2 (ja) 立体画像撮影表示システム
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JPH05108819A (ja) 画像処理装置
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
TW201400075A (zh) 影像追蹤系統及其影像追蹤方法
CN113240726B (zh) 一种内窥镜下光学目标尺寸实时测量方法
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
CN109919988A (zh) 一种适用于三维内窥镜的立体图像处理方法
CN113610908B (zh) 一种用于单目内窥镜手术中的多基线融合的深度估计方法
CN114862935A (zh) 一种用于神经外科内窥镜中的深度估计方法及系统
CN114617527A (zh) 一种腹腔镜立体成像方法及系统
CN114283236A (zh) 一种用智能手机进行口腔扫描的方法、装置和存储介质
CN115311405A (zh) 一种双目内窥镜的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination