CN101632570B - 医用内窥镜标定方法 - Google Patents
医用内窥镜标定方法 Download PDFInfo
- Publication number
- CN101632570B CN101632570B CN2009101090860A CN200910109086A CN101632570B CN 101632570 B CN101632570 B CN 101632570B CN 2009101090860 A CN2009101090860 A CN 2009101090860A CN 200910109086 A CN200910109086 A CN 200910109086A CN 101632570 B CN101632570 B CN 101632570B
- Authority
- CN
- China
- Prior art keywords
- endoscope
- magnetic tracker
- magnetic
- relative coordinate
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000014509 gene expression Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
本发明提供了一种医用内窥镜标定方法,所述方法包括:A.获取标定参数,所述标定参数包括棋盘网格的大小和数目;B.利用多模态配准算法构建磁跟踪器与内窥镜之间的相对坐标关系,再通过内窥镜到磁跟踪器,到磁跟踪器底座,再到棋盘网格的迂回关系表达棋盘网格与内窥镜之间的相对坐标关系;C.采集磁跟踪器读数和棋盘网格的图像信息,对上述表达棋盘网格与内窥镜之间的相对关系得到的表达式设置多个约束条件,推断得到内窥镜的运动参数。采用本发明提供的医用内窥镜标定方法,能准确得到内窥镜的运动参数。
Description
技术领域
本发明涉及医疗器械技术领域,更具体地说,涉及一种医用内窥镜标定方法。
背景技术
微创及无创外科手术是当代临床医学最主要的发展趋势之一,它可以大大提高手术质量、减轻病人的痛苦,缩短康复时间。内窥镜诊疗术是微创外科的重要手段,采用医用内窥镜对病灶的诊断和治疗具有极其重要的作用。传统的内窥镜在插入部的前端设有由物镜光学系统、固体摄像元件和电路基板等构成的摄像装置,通过这种内窥镜,手术医生可以进行人体内的内脏器官观察和治疗等各种处理。但是,由于工作环境的复杂性和自身形状不可视等不足,传统内窥镜导管在介入过程会发生导管缠绕、非预期接触等情况,给病人带来痛苦和危险。而如果能够显示内窥镜在人体内的形状,则可以有效地防止缠绕的产生。
内窥镜内置磁场空间定位系统以法拉第电磁感应定理为基础,在内窥镜外安装电磁发生设备以产生已知结构的空间磁场,通过埋入内窥镜体中的磁跟踪器获得磁场强度信号,并根据已知的发射磁场空间分布规律,计算出该点的空间位置和姿态角。在内窥镜导管内部埋入若干个磁跟踪器,其实时采用数据反映连续磁场的变化,经计算可得到每个磁跟踪器的空间位置,然后将这些离散点拟合成连续的曲线,就可在计算机上进行三维显示,实现内窥镜本体的空间形状感知。
目前,通常采用磁跟踪器读数作为内窥镜坐标的依据。然而,由于磁跟踪器的探头与内窥镜镜头之间存在相对位移,直接采用磁跟踪器的读数作为内窥镜坐标位置的依据,与内窥镜实际坐标位置存在误差,从而导致得到的内窥镜坐标位置和运动参数不准确,并使后期的空间定位和三维重建存在误差,得到的结果则不可靠。
发明内容
基于此,有必要提供一种更准确的医用内窥镜标定方法。
所述医用内窥镜标定方法包括:A.获取标定参数,所述标定参数包括棋盘网格的大小和数目;B.利用多模态配准算法构建磁跟踪器与内窥镜之间的相对坐标关系,具体是:分别建立磁跟踪器、磁跟踪器底座、内窥镜及棋盘网格的坐标系统,根据磁跟踪器底座与磁跟踪器之间的相对坐标关系、棋盘网格与内窥镜之间的相对坐标关系和磁跟踪器底座与棋盘网格的相对坐标关系得到磁跟踪器与内窥镜之间的相对坐标关系,再采用从内窥镜到磁跟踪器,再从磁跟踪器到磁跟踪器底座,最后从磁跟踪器底座到棋盘网格的迂回关系表达棋盘网格与内窥镜之间的相对坐标关系;C.采集多个磁跟踪器读数和棋盘网格的图像信息,对上述表达棋盘网格与内窥镜之间的相对关系得到的表达式设置多个约束条件,推断得到内窥镜的运动参数。
所述步骤B还包括:所述磁跟踪器底座与磁跟踪器之间的相对坐标关系表示为:
所述步骤B还包括:所述棋盘网格与内窥镜之间的相对坐标关系表示为:
所述磁跟踪器与内窥镜之间的相对坐标关系表示为:
其中,Rcm是磁跟踪器与内窥镜之间的旋转矩阵,Tcm是磁跟踪器与内窥镜之间的平移矩阵;所述磁跟踪器底座与棋盘网格之间的相对坐标关系表示为:
所述步骤B具体是:采集磁跟踪器读数和棋盘网格的图像信息,根据所述磁跟踪器底座与磁跟踪器之间的相对坐标关系、磁跟踪器读数和棋盘网格中的图像信息及棋盘网格与内窥镜之间的相对坐标关系预估算出磁跟踪器与内窥镜之间的相对坐标关系。
另外,所述方法还包括:根据极线约束条件构建目标函数为:
优选地,所述步骤C具体是:利用所述目标函数对计算得到的内窥镜平移和旋转参数进行非线性优化,取使所述目标函数的代价函数值最小的内窥镜平移和旋转参数作为所述内窥镜的运动参数。
上述医用内窥镜标定方法,利用多模态配准算法构建磁跟踪器与内窥镜之间的相对坐标关系,并根据磁跟踪器读数和棋盘网格的图像信息推断得到内窥镜的运动参数,由于该内窥镜标定方法对磁跟踪器与内窥镜之间的相对坐标关系进行了标定,避免了磁跟踪器探头与内窥镜之间存在相对唯一而带来的误差,所得到的内窥镜运行参数更准确,从而使后期的空间定位和三维重建更准确。
附图说明
图1是一个实施例中的医用内窥镜标定方法的流程图;
图2是一个实施例中的多模态标定配置示意图;
图3是一个实施例中磁跟踪器和内窥镜相对运动的示意图;
图4是一个实施例中从多个空间角度采集图3中的网格交叉点的三维重建结果对比示意图。
具体实施方式
图1示出了一个实施例中的医用内窥镜标定方法流程,具体过程如下:
在步骤S101中,设定标定参数,该标定参数包括棋盘网格的大小和数目。
在步骤S102中,利用多模态配准算法构建磁跟踪器与内窥镜之间的相对坐标关系。
在步骤S103中,采集磁跟踪器读数和棋盘网格的图像信息,结合磁跟踪器与内窥镜之间的相对坐标关系,推断得到内窥镜的运动参数。
在一个实施方式中,该医用内窥镜标定方法采用了一个磁跟踪器及磁跟踪器底座、一个内窥镜和一个棋盘网格。如图2所示,分别建立磁跟踪器底座、磁跟踪器、内窥镜及棋盘网格的坐标系统,各坐标系统都以X、Y和Z轴的原点和方向来说明。其中,磁跟踪器底座的坐标系统采用上标b表示(如图2中的Xb、Yb、Zb),磁跟踪器的坐标系统采用上标m表示(如图2中的Xm、Ym、Zm),内窥镜的坐标系统采用上标c表示(如图2中的Xc、Yc、Zc),棋盘网格的坐标系统采用上标g表示(如图2中的Xg、Yg、Zg)。在这四个坐标系统中,可知磁跟踪器底座和棋盘网格的坐标系统是静态的,而磁跟踪器和内窥镜的坐标系统是动态的,但磁跟踪器与内窥镜的运动同步。
在一个实施方式中,可根据磁跟踪器底座与磁跟踪器之间的相对坐标关系、棋盘网格与内窥镜之间的相对坐标关系以及磁跟踪器底座与棋盘网格之间的相对坐标关系得到磁跟踪器与内窥镜之间的相对坐标关系。其中,各相对坐标关系的转换过程如下:
(1)磁跟踪器底座与磁跟踪器之间的相对坐标关系可表示为:
(2)棋盘网格与内窥镜之间的相对坐标关系可表示为:
其中, 表示内窥镜的空间坐标, 表示棋盘网格的空间坐标,Rcg是内窥镜与棋盘网格之间的旋转矩阵,Tcg是内窥镜与棋盘网格之间的平移矩阵,0=(0,0,0)T。该棋盘网格与内窥镜之间的相对坐标关系可根据张正友两步法的内窥镜标定算法得到。
(3)磁跟踪器与内窥镜之间相对坐标关系可表示为:
其中,Rcm是磁跟踪器与内窥镜之间的旋转矩阵,Tcm是磁跟踪器与内窥镜之间的平移矩阵,0=(0,0,0)T。该相对坐标关系一旦确定后,则可对磁跟踪器与内窥镜之间的变换进行补偿,从而由磁跟踪器读数推断出内窥镜的坐标位置。如图3所示,当内窥镜和磁跟踪器在空间里一起运动时,磁跟踪器与内窥镜之间的相对坐标关系应是恒定不变的(即整个内窥镜与磁跟踪器组合的运动是固定的)。
(4)磁跟踪器底座与棋盘网格之间的相对坐标关系可表示为:
根据上述四个相对坐标关系,可采用从内窥镜到磁跟踪器(上述第(3)步),再从磁跟踪器到磁跟踪器底座(上述第(1)步),最后从磁跟踪器底座到棋盘网格(上述第(4)步)的迂回关系来表达棋盘网格与内窥镜之间的相对坐标关系。即棋盘网格与内窥镜之间的相对坐标关系可采用以下公式表示:
如上所述,由于棋盘网格与磁跟踪器底座之间的相对坐标恒定不变,且内窥镜与磁跟踪器之间的相对坐标也恒定不变,因此可以采集多个同步磁跟踪器读数和棋盘网格的图像信息,从而可对上式设置多个约束条件,根据约束条件求解(3)和(4)中的未知坐标。
在一个实施方式中,采集磁跟踪器读数和棋盘网格中的图像信息,根据磁跟踪器底座与磁跟踪器之间的相对坐标关系、磁跟踪器读数和棋盘网格中的图像信息及棋盘网格与内窥镜之间的相对坐标关系预估算出磁跟踪器与内窥镜之间的相对坐标关系。在一个实施例中,根据极线约束条件构建目标函数如下:
其中,e是目标函数的代价函数值,n是采用的图像帧数,Tk l和Rk l分别表示第k帧到第l帧图像的内窥镜的平移和旋转参数,mkl表示第k帧和第l帧之间的匹配特征个数(即同一幅图像在第k帧和第l帧扫描得到的图像中同一点所对应的坐标位置关系),pi (k)和pi (l)分别表示第k帧与第l帧的第i个匹配特征的坐标位置。
利用上述目标函数可对计算得到的内窥镜平移和旋转参数进行非线性优 化,取使该目标函数的代价函数值最小的内窥镜平移和旋转参数作为该内窥镜运动参数。在一个实施方式中,只需6个变量即可表示内窥镜与磁跟踪器之间的相对坐标关系,其中,3个变量表示旋转,3个变量表示平移。由于上述(*)式是非线性的,可利用不考虑畸变的情况下采用线性方法得到的解作为初步估计值,采用信赖域方法,以保证找到目标函数的最小代价函数值,从而所得到的未知相对坐标关系是最优解。
从理论上讲,只需5组同步图像信息和磁跟踪器的读数就可求解未知的相对坐标关系,实际过程中,可采用5组以上的数据,以确保求解结果的鲁棒性和准确性。若视频帧速率为30帧/秒,只需几秒钟的影片即可提供数以百计标定的图像帧和磁跟踪器读数。
采用上述内窥镜标定方法估算得到内窥镜的运动参数后,则可使用该内窥镜的运动参数去模拟标准立体配置(内窥镜平移运动)下得到的图像,并恢复三维的密集深度图,从而将多个三维模型统一到一个坐标系统下,结合已推断出的表面深度和采集图像的表面纹理,则可建立多个虚拟视图下具有三维结构和表面信息的三维模型。
本发明与基于内窥镜磁场空间定位系统相结合,可准确得到内窥镜实际空间姿态,从而能对人体组织器官进行准确三维建模,恢复其三维形状。图4示出了一个实施例中从多个空间角度采集图3中的网格交叉点的三维重建结果,其中,(a)和(b)是采用本发明的标定方法所得到的结果,而(c)是现有技术所得到的结果。从图4可以看出,采用本发明后的三维重建方法能正确恢复出规则的标定网格平面形状。在一个实施例中,还可对本发明的标定方法进行定量误差分析,如表1所示,其中,平面指标表示最佳拟合网格平面的平均偏差,线性指标表示最佳拟合网格线的平均偏差,正交指标表示垂直相交的最佳拟合横向和纵向的网格线的角度与90度之间的偏离,而百分比误差是由大致24cmX18cm网格尺寸计算得到(即:误差=绝对误差/网格线长度)。从表1可以看出,本发明提供的内窥镜标定方法具有很好的平面指标、线指标和正交指标。
表1
平面指标 | 线性指标 | 正交指标 |
磁跟踪器读 数 | 误差绝对值 (mm) | %误差 | 误差绝对 值(mm) | %误差 | 偏离90° 误差 |
本发明提供 的标定方法 | 1.0 | 0.4% | 0.6 | 0.2% | 0.4° |
现有技术的 方法 | 3.8 | 1.6% | 2.2 | 0.9% | 32.4° |
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种医用内窥镜标定方法,其特征在于,所述方法包括:
A.获取标定参数,所述标定参数包括棋盘网格的大小和数目;
B.利用多模态配准算法构建磁跟踪器与内窥镜之间的相对坐标关系,具体是:分别建立磁跟踪器、磁跟踪器底座、内窥镜及棋盘网格的坐标系统,根据磁跟踪器底座与磁跟踪器之间的相对坐标关系、棋盘网格与内窥镜之间的相对坐标关系和磁跟踪器底座与棋盘网格的相对坐标关系得到磁跟踪器与内窥镜之间的相对坐标关系,再采用从内窥镜到磁跟踪器,再从磁跟踪器到磁跟踪器底座,最后从磁跟踪器底座到棋盘网格的迂回关系表达棋盘网格与内窥镜之间的相对坐标关系;
C.采集多个磁跟踪器读数和棋盘网格的图像信息,对上述表达棋盘网格与内窥镜之间的相对关系得到的表达式设置多个约束条件,推断得到内窥镜的运动参数。
2.根据权利要求1所述的医用内窥镜标定方法,其特征在于,所述步骤B还包括:所述磁跟踪器底座与磁跟踪器之间的相对坐标关系表示为:
3.根据权利要求1所述的医用内窥镜标定方法,其特征在于,所述步骤B还包括:所述棋盘网格与内窥镜之间的相对坐标关系表示为:
4.根据权利要求1所述的医用内窥镜标定方法,其特征在于,所述磁跟踪器与内窥镜之间的相对坐标关系表示为: 其中,Rcm是磁跟踪器与内窥镜之间的旋转矩阵,Tcm是磁跟踪器与内窥镜之间的平移矩阵;所述磁跟踪器底座与棋盘网格之间的相对坐标关系表示为:
其中,Rbg是磁跟踪器底座与棋盘网格之间的旋转矩阵,Tbg是磁跟踪器底座与棋盘网格之间的平移矩阵;则所述棋盘网格和内窥镜之间的相对坐标关系表示公式为: Rbm是磁跟踪器底座与磁跟踪器之间的旋转矩阵,Tbm是磁跟踪器底座与磁跟踪器之间的平移矩阵,0=(0,0,0)T。
5.根据权利要求4所述的医用内窥镜标定方法,其特征在于,所述步骤B具体是:采集磁跟踪器读数和棋盘网格的图像信息,根据所述磁跟踪器底座与磁跟踪器之间的相对坐标关系、磁跟踪器读数和棋盘网格中的图像信息及棋盘网格与内窥镜之间的相对坐标关系预估算出磁跟踪器与内窥镜之间的相对坐标关系。
7.根据权利要求6所述的医用内窥镜标定方法,其特征在于,所述步骤C具体是:利用所述目标函数对计算得到的内窥镜平移和旋转参数进行非线性优化,取使所述目标函数的代价函数值最小的内窥镜平移和旋转参数作为所述内窥镜的运动参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009101090860A CN101632570B (zh) | 2009-08-03 | 2009-08-03 | 医用内窥镜标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009101090860A CN101632570B (zh) | 2009-08-03 | 2009-08-03 | 医用内窥镜标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101632570A CN101632570A (zh) | 2010-01-27 |
CN101632570B true CN101632570B (zh) | 2012-06-13 |
Family
ID=41592030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101090860A Active CN101632570B (zh) | 2009-08-03 | 2009-08-03 | 医用内窥镜标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101632570B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2742484B1 (en) * | 2011-07-25 | 2016-08-31 | Universidade de Coimbra | Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern |
CN103169445B (zh) * | 2013-04-16 | 2016-07-06 | 苏州朗开医疗技术有限公司 | 一种内窥镜的导航方法及系统 |
CN104657970B (zh) * | 2013-11-25 | 2017-08-25 | 深圳先进技术研究院 | 一种全自动双目内窥镜的标定方法及标定系统 |
CN105105698A (zh) * | 2015-07-10 | 2015-12-02 | 中国科学院深圳先进技术研究院 | 内窥镜校准系统及方法 |
CN108095675A (zh) * | 2018-02-01 | 2018-06-01 | 艾瑞迈迪医疗科技(北京)有限公司 | 硬管内窥镜旋转轴轴心测量方法和装置 |
CN108969099B (zh) * | 2018-07-26 | 2020-02-18 | 艾瑞迈迪医疗科技(北京)有限公司 | 一种校正方法、手术导航系统、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5095887A (en) * | 1989-09-12 | 1992-03-17 | Claude Leon | Microscope-endoscope assembly especially usable in surgery |
US6104426A (en) * | 1996-03-23 | 2000-08-15 | Street; Graham S. B. | Stereo-endoscope |
CN1957834A (zh) * | 2006-09-21 | 2007-05-09 | 上海华富数控设备有限公司 | 医用内窥镜本体三维定位系统和方法 |
-
2009
- 2009-08-03 CN CN2009101090860A patent/CN101632570B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5095887A (en) * | 1989-09-12 | 1992-03-17 | Claude Leon | Microscope-endoscope assembly especially usable in surgery |
US6104426A (en) * | 1996-03-23 | 2000-08-15 | Street; Graham S. B. | Stereo-endoscope |
CN1957834A (zh) * | 2006-09-21 | 2007-05-09 | 上海华富数控设备有限公司 | 医用内窥镜本体三维定位系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101632570A (zh) | 2010-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325141B (zh) | 影像整合装置及影像整合方法 | |
EP2081494B1 (en) | System and method of compensating for organ deformation | |
EP2192855B1 (en) | Patent breathing modeling | |
EP2637593B1 (en) | Visualization of anatomical data by augmented reality | |
Hawkes et al. | Tissue deformation and shape models in image-guided interventions: a discussion paper | |
AU2013242838B2 (en) | Patient movement compensation in intra-body probe tracking systems | |
CN101632570B (zh) | 医用内窥镜标定方法 | |
Nakamoto et al. | Intraoperative magnetic tracker calibration using a magneto-optic hybrid tracker for 3-D ultrasound-based navigation in laparoscopic surgery | |
US20080300478A1 (en) | System and method for displaying real-time state of imaged anatomy during a surgical procedure | |
US8696547B2 (en) | System and method for determining airway diameter using endoscope | |
US20110160569A1 (en) | system and method for real-time surface and volume mapping of anatomical structures | |
CN107072720B (zh) | 光学跟踪系统及光学跟踪系统的坐标系整合方法 | |
Wu et al. | Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning | |
CN103313675A (zh) | 用于内窥镜手术的术中照相机校准 | |
CN107049489B (zh) | 一种手术导航方法及系统 | |
CN103948432A (zh) | 术中立体内窥视频与超声图像增强现实算法 | |
Catherwood et al. | Validation of a passive stereophotogrammetry system for imaging of the breast: a geometric analysis | |
JP6145870B2 (ja) | 画像表示装置および方法、並びにプログラム | |
Deligianni et al. | Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation | |
WO2001057805A2 (en) | Image data processing method and apparatus | |
KR20120130563A (ko) | 좌표공간 상에서의 영상정합장치 및 영상정합방법 | |
CN116485850A (zh) | 基于深度学习的手术导航影像的实时非刚性配准方法及系统 | |
Huang et al. | Image registration based 3D TEE-EM calibration | |
CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
Shevchenko et al. | A high resolution bladder wall map: Feasibility study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |