CN113100941B - 基于ss-oct手术导航系统的图像配准方法及系统 - Google Patents

基于ss-oct手术导航系统的图像配准方法及系统 Download PDF

Info

Publication number
CN113100941B
CN113100941B CN202110388927.7A CN202110388927A CN113100941B CN 113100941 B CN113100941 B CN 113100941B CN 202110388927 A CN202110388927 A CN 202110388927A CN 113100941 B CN113100941 B CN 113100941B
Authority
CN
China
Prior art keywords
image
dimensional
reference point
matrix
oct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110388927.7A
Other languages
English (en)
Other versions
CN113100941A (zh
Inventor
唐宁
樊金宇
邢利娜
史国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110388927.7A priority Critical patent/CN113100941B/zh
Publication of CN113100941A publication Critical patent/CN113100941A/zh
Application granted granted Critical
Publication of CN113100941B publication Critical patent/CN113100941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于SS‑OCT手术导航系统的图像配准方法及系统,该方法先在SS‑OCT手术导航系统中引入引导光源对手术区域进行标记,通过引导光源在OCT图像与显微图像产生的激光点对作为基准点对,然后利用单应性矩阵求解基准点对之间的对应关系从而将OCT图像与二维显微图像进行配准。本发明首先在系统中引入引导光源进行基准点的设置,然后通过对二维显微图像与OCT图像中基准点对的对应关系进行求解实现两种不同模态图像的配准融合,使得扫描区域的信息显示更为直观形象,且配准误差为0.04mm左右,可用于术前手术规划及术后效果评估等医疗诊断的辅助,还可以作为医学培训的辅助工具,为初学者提供直观的结构深度信息。

Description

基于SS-OCT手术导航系统的图像配准方法及系统
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于SS-OCT手术导航系统的图像配准方法及系统。
背景技术
目前,以光学显微镜为基础的显微外科手术,其成像范围局限于表面的二维成像,严重地限制了它的应用。光学相干层析技术,是一种高分辨率、高灵敏度的非接触式三维成像方法,可以对组织内部断层、手术器械进行成像,特别适用于精细手术的导航,使得显微镜集成的OCT手术导航系统得到了飞速发展。同时扫频光学相干层析成像技术的发展,使得三维OCT实时成像在术中应用成为可能。在显微外科手术中,实时观察手术区域的显微图像与OCT图像为医生带来了极大的便利。通过对手术区域不同类型图像的观察,医生可以精确地定位手术靶点部位并尽可能降低手术的生理创伤。但是显微镜集成的SS-OCT手术导航系统仍存在一系列问题,其中最令医生所诟病的就是在手术过程中,医生需要以便观察手术区域的OCT图像,一边将其与手术区域的显微图像进行对应,这需要丰富的手术经验、良好的空间想象力以及长时间的手术导航系统学习,无疑对显微镜集成的SS-OCT手术导航系统的发展与应用增添了一定阻力。为解决上述问题,需要对手术成像的方法与设备进行改进,通过将OCT图像与显微图像进行配准融合显示,获取更加直观的术中导航信息。
显微镜集成的SS-OCT手术导航系统中的图像配准方法主要有基于硬件的图像配准方法和基于计算机视觉的图像配准方法。基于硬件的图像配准技术主要是通过立体定位装置或传感器使用者的空间位置进行确定,然后通过对位置信息进行处理分析,将多模态的图像进行配准,较为常见的方法有,光学式跟踪配准技术,电磁式跟踪配准技术,机械式跟踪配准技术,超声式跟踪配准技术。但基于硬件的图像配准方法由于其设备昂贵、体积偏大、精度较低、易受环境影响等缺陷已经逐渐被基于计算机视觉的图像配准方法所替代。在手术导航中常见的图像配准方法有基准点法、表面法、模板法及无定标法。在上述方法中基于基准点的图像配准方法实现简单,精度较高,应用最为广泛。Gibson等人在文章(Registration of prostate histology images to ex vivo MR images via strand-shaped fiducials,Journal of Magnetic Resonance Imaging,36(6),1402-1412,(2012).)中利用人为放置的链状标记点将前列腺组织的生理学图像与MRI扫描图像进行配准,减少了百分之七十的配准处理时间,配准误差仅为0.71mm,肿瘤组织区域配准成功率可达百分之八十五以上。Kong等人在文章(Robust augmented reality registrationmethod for localization of solid organs’tumors using CT-derived virtualbiomechanical model and fluorescent fiducials.Surgical Endoscopy 31,2863–2871(2017).)中通过在肾脏中植入荧光基准点,将肾脏的腹腔镜图像与CT扫描所获取的三维重建模型进行配准叠加,获取肾脏内部组织的生物力学模型,肿瘤位置的配准误差仅为0.42mm。基于基准点的图像配准方法关键在于配准图像表面明显的自然特征区域或自主放置的人为标识,其主要思想是通过图像识别将自然基准点或人工标志物转化为基准点,进而获得不同模态图像对应的基准点对坐标,再计算求解对应基准点对的转换关系完成图像之间的配准,实现丰富手术区域信息的目的。但其缺点也较为明显,在多数情况下,手术区域表面不存在较为明显的自然特征,在配准过程中需要将多个标志物一直黏附或固定在手术区域内部或附近,甚至为了保证其稳定性需要在手术部位穿孔打洞,创伤较大。对于显微镜集成的SS-OCT手术导航系统来说,其手术区域多为眼球,生物结构特征较为复杂且难以设置人工标志点。
所以现在需要一种更可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于SS-OCT手术导航系统的图像配准方法及系统。
为解决上述技术问题,本发明采用的技术方案是:提供一种基于SS-OCT手术导航系统的图像配准方法,该方法先在SS-OCT手术导航系统中引入引导光源对手术区域进行标记,通过引导光源在OCT图像与显微图像产生的激光点对作为基准点对,然后利用单应性矩阵求解基准点对之间的对应关系从而将OCT图像与二维显微图像进行配准,具体包括以下步骤:
1)获取二维显微图像中的二维基准点与OCT图像中的三维基准点作为基准点对,将二维基准点与三维基准点之间的对应关系描述为:
Figure BDA0003016142740000031
其中,s为一个任意的比例常数,[u v 1]T为像素坐标系中二维基准点坐标,Mint和Mext分别为相机的内、外参数矩阵,[Xw Yw 0 1]T为世界坐标系中三维基准点坐标;
2)将单应性矩阵描述为:
Figure BDA0003016142740000032
通过至少6组基准点对的坐标,利用直接线性变换法得到单应性矩阵H的近似解;
3)利用L-M方法对步骤2)得到的单应性矩阵H的近似解进行优化,得到单应性矩阵H的优化解,即得到优化后的单应性矩阵H;
4)通过步骤3)得到优化后的单应性矩阵后,由旋转矩阵的正交性得到下式:
Figure BDA0003016142740000033
Figure BDA0003016142740000034
其中hi为单应性矩阵第i列参数所组成的列向量,i=1,2,3;为了简化计算,定义一个过渡矩阵B,B描述为:
Figure BDA0003016142740000035
将(4)式带入(3)式并经过变换得到下式:
Figure BDA0003016142740000036
其中:
b=[B11,B12,B22,B13,B23,B33]T
vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
hi=[hi1,hi2,hi3]T
其中,i=1,2,3;j=1,2,3;
通过至少3个单应性矩阵对式(5)进行求解,式(5)此时为超定方程组,通过SVD分解方法对b的最小二乘解进行估计,解得矩阵B;
5)根据步骤4)的结果,利用Cholesky分解方法求出相机的内参数矩阵;
6)通过步骤3)得到优化后的单应性矩阵和步骤5得到的内参数矩阵求解出外参数矩阵;
7)引入畸变系数对步骤3)得到的优化后的单应性矩阵、步骤5)得到的内参数矩阵和步骤6)得到的外参数矩阵进行优化,最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
优选的是,所述步骤2)中,利用直接线性变换法得到单应性矩阵H的近似解之前先利用八点归一化算法对基准点对的坐标进行处理,经八点归一化算法后由式(1)、式(2)得到下式:
Aih=0 (6)
其中:
Figure BDA0003016142740000041
h=[h11′ h12′ h13′ h21′ h22′ h23′ h31′ h32′ h33′]T
其中,(X′w,Yw′)、(u′、v′)分别为公式(1)中的坐标(Xw,Yw)、(u、v、)经过归一化后对应所得到的坐标,h为公式(2)的单应性矩阵H经过归一化后对应所得到的单应性矩阵,其中的上撇符号用于区分归一化前与归一化后的坐标或参数;
通过至少6组基准点对对式(6)进行求解,此时式(6)是超定方程组,利用奇异值分解对式(6)最小二乘解进行估计,得到单应性矩阵H的近似解。
优选的是,所述步骤3)中利用L-M方法对步骤2)得到的单应性矩阵H的近似解进行优化的具体方法为:
对单应性矩阵H中的参数进行迭代,直至基准点对的代价函数逼近预设阈值时得到最优解,基准点对的代价函数描述为:
Figure BDA0003016142740000051
其中,mi为二维图片中由识别所得到的第i个二维基准点坐标,
Figure BDA0003016142740000052
为对应三维基准点坐标经单应性矩阵变换所得到的二维基准点坐标,代价函数表征了二维基准点理想坐标与实际计算坐标之间的误差。
优选的是,所述步骤7)具体包括:先构建畸变模型,畸变模型描述为:
Figure BDA0003016142740000053
其中,u0、v0为二维像素坐标系原点坐标,u、v为利用三维基准点坐标经单应性矩阵变换得到的二维基准点坐标,x、y为利用三维基准点坐标经外参数矩阵变换得到的二维基准点坐标,
Figure BDA0003016142740000054
为实际识别的二维基准点坐标,k1、k2为相机径向畸变系数;
通过SVD分解对k1、k2两个畸变系数进行估值计算,在解得k1、k2后将其作为系数加入公式(7)所描述的基准点对的代价函数中,并继续使用L-M方法对步骤3)得到的优化后的单应性矩阵和步骤6)得到的外参数矩阵进行优化;最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
优选的是,该方法还包括步骤8):利用步骤7)得到的相机内参数矩阵、相机外参数矩阵调节OCT三维重建模型中的虚拟相机参数,使二维显微图像与二维enface切片图像位于同一坐标系的同一平面;然后,利用步骤7)得到的单应性矩阵对图像进行仿射变换,二维显微图像作为参考图像,二维enface切片图像作为浮动图像,对浮动图像进行基于单应性矩阵的仿射变换。
本发明还提供一种基于SS-OCT手术导航系统的图像配准系统,其采用如上所述的方法对SS-OCT手术导航系统获得的OCT图像与二维显微图像进行配准。
本发明还提供一种存储介质,其上存储有计算机程序,该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是:本发明提供的基于SS-OCT手术导航系统的图像配准方法,首先在系统中引入引导光源进行基准点的设置,然后通过对二维显微图像与OCT图像中基准点对的对应关系进行求解实现两种不同模态图像的配准融合,使得扫描区域的信息显示更为直观形象,且配准误差为0.04mm左右,可用于术前手术规划及术后效果评估等医疗诊断的辅助,还可以作为医学培训的辅助工具,为初学者提供直观的结构深度信息。
附图说明
图1为本发明的基于SS-OCT手术导航系统的图像配准方法的流程图;
图2为本发明的实施例1中的二维显微图像与OCT图像配准融合的效果图;
图3为本发明的实施例1中的配准误差分布图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
参照图1,本实施例的一种基于SS-OCT手术导航系统的图像配准方法,该方法先在SS-OCT手术导航系统中引入引导光源对手术区域进行标记,通过引导光源在OCT图像与显微图像产生的激光点对作为基准点对,然后利用单应性矩阵求解基准点对之间的对应关系从而将OCT图像与二维显微图像进行配准,具体包括以下步骤:
1)获取二维显微图像中的二维基准点与OCT图像中的三维基准点作为基准点对,将二维基准点与三维基准点之间的对应关系描述为:
Figure BDA0003016142740000061
其中,s为一个任意的比例常数,[u v 1]T为像素坐标系中二维基准点坐标,Mint和Mext分别为相机的内、外参数矩阵,[Xw Yw 0 1]T为世界坐标系中三维基准点坐标;
其中,为了更好地表示2D-3D基准点对之间的映射关系并优化后续的矩阵运算,这里采用了齐次坐标的形式(原有坐标增加一个维度,值为1)。需要注意的是,这里三维基准点的z坐标为0。这是由于显微图像为二维图像,而最终进行配准时无法将不同维度的图像进行配准,需要将二维显微图像重构为三维模型,或在OCT三维模型中选取具有深度信息的enface切片,才可进行同维度下的配准融合。相较于前者,显然后者复杂度更低,且不需额外器件的配合,有效减少了配准融合的时间与成本。世界坐标系也是依据OCT体数据所建立,原点为扫描初始点,z轴方向为A-line扫描方向,x轴方向为B-frame扫描方向,y轴方向为C-volume方向,enface平面与xy平面相平行且配准所需的enface切片始终与xy平面处于同一平面。
2)将单应性矩阵描述为:
Figure BDA0003016142740000071
通过至少6组基准点对的坐标,就可以利用直接线性变换法得到单应性矩阵H的近似解;
其中,在使用DLT算法之前,为了提高运算结果精度,减少由于噪声、数值舍入误差以及错误匹配所带来的影响,要先利用归一化算法对基准点对的坐标进行处理,本实施例中选择八点归一化算法,该算法简单高效且提高了DLT方法的稳定性。经八点归一化算法后由式(1)、式(2)得到下式:
Aih=0 (3)
其中:
Figure BDA0003016142740000072
h=[h11′ h12′ hd3′ h2d′ h22′ h23′ h3d′ h32′ h33′]T
其中,(X′w,Yw′)、(u′、v′)分别为公式(1)中的坐标(Xw,Yw)、(u、v、)经过归一化后对应所得到的坐标,h为归一化后对应所得到的单应性矩阵中的参数,与公式(2)的单应性矩阵H中的参数分别对应,其中的上撇符号用于区分归一化前与归一化后的坐标或参数;
通过至少6组基准点对对式(3)进行求解,此时式(3)是超定方程组,利用奇异值分解对式(3)最小二乘解进行估计,得到单应性矩阵H的近似解。
3)利用L-M方法对步骤2)得到的单应性矩阵H的近似解进行优化,得到单应性矩阵H的优化解,即得到优化后的单应性矩阵H,具体方法为:
对单应性矩阵H中的参数进行迭代,直至基准点对的代价函数逼近预设阈值时得到最优解,基准点对的代价函数描述为:
Figure BDA0003016142740000081
其中,mi为二维图片中由识别所得到的第i个二维基准点坐标,
Figure BDA0003016142740000082
为对应三维基准点坐标经单应性矩阵变换所得到的二维基准点坐标,代价函数表征了二维基准点理想坐标与实际计算坐标之间的误差。
4)通过步骤3)得到优化后的单应性矩阵后,由旋转矩阵的正交性得到下式:
Figure BDA0003016142740000083
Figure BDA0003016142740000084
其中hi为单应性矩阵第i列参数所组成的列向量,i=1,2,3;为了简化计算,定义一个过渡矩阵B,B描述为:
Figure BDA0003016142740000085
将(6)式带入(5)式并经过变换得到下式:
Figure BDA0003016142740000086
其中:
b=[B11,B12,B22,B13,B23,B33]T
vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
hi=[hi1,hi2,hi3]T
其中,i=1,2,3;j=1,2,3;
通过至少3个单应性矩阵就可以对式(7)进行求解,式(7)此时为超定方程组,通过SVD分解方法对b的最小二乘解进行估计,解得矩阵B;
5)根据步骤4)的结果,利用Cholesky分解方法求出相机的内参数矩阵;
6)通过步骤3)得到优化后的单应性矩阵和步骤5得到的内参数矩阵求解出外参数矩阵;
7)引入畸变系数对步骤3)得到的优化后的单应性矩阵、步骤5)得到的内参数矩阵和步骤6)得到的外参数矩阵进行优化,最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
其中,相机的参数会受到镜头畸变的影响,需要引入畸变系数并通过L-M方法对上述求得的单应性矩阵、内参数矩阵与外参数矩阵分别进行优化。本实施例中,具体方法为:
先构建畸变模型,畸变模型描述为:
Figure BDA0003016142740000091
其中,u0、v0为二维像素坐标系原点坐标,u、v为利用三维基准点坐标经单应性矩阵变换得到的二维基准点坐标,x、y为利用三维基准点坐标经外参数矩阵变换得到的二维基准点坐标,
Figure BDA0003016142740000092
为实际识别的二维基准点坐标,k1、k2为相机径向畸变系数;
通过SVD分解对k1、k2两个畸变系数进行估值计算,在解得k1、k2后将其作为系数加入公式(4)所描述的基准点对的代价函数中,并继续使用L-M方法对步骤3)得到的优化后的单应性矩阵和步骤6)得到的外参数矩阵进行优化;最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
8)利用步骤7)得到的相机内参数矩阵、相机外参数矩阵调节OCT三维重建模型中的虚拟相机参数,使二维显微图像与二维enface切片图像位于同一坐标系的同一平面;然后,利用步骤7)得到的单应性矩阵对图像进行仿射变换,二维显微图像作为参考图像,二维enface切片图像作为浮动图像,对浮动图像进行基于单应性矩阵的仿射变换。
最后可采用简单有效的直接融合法,将二维enface切片图像与显微图像进行叠加融合。本实施例中没有考虑遮挡、阴影和光照一致性的问题,只提供了最为直接的双模态配准融合图像,即在显微图像中显示扫描区域不同深度的二维enface切片图像。显微图像与OCT图像配准融合的效果如图2所示,其中(a)为假眼原始二维显微图像,(b)为二维enface切片图像,(c)为配准后图像。此外,本实施例中还通过棋盘格标定板的图像配准对上述实施例1的配准方法的精度进行验证,验证结果表明实施例1的配准误差约为0.04mm左右,配准误差分布图如图3所示,说明该方法可以满足手术应用的初步需求。
实施例2
本实施例提供一种基于SS-OCT手术导航系统的图像配准系统,其采用实施例1的方法对SS-OCT手术导航系统获得的OCT图像与二维显微图像进行配准。
本实施例还提供一种存储介质,其上存储有计算机程序,该程序被执行时用于实现实施例1的方法。
本实施例还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。

Claims (8)

1.一种基于SS-OCT手术导航系统的图像配准方法,其特征在于,该方法先在SS-OCT手术导航系统中引入引导光源对手术区域进行标记,通过引导光源在OCT图像与显微图像产生的激光点对作为基准点对,然后利用单应性矩阵求解基准点对之间的对应关系从而将OCT图像与二维显微图像进行配准,具体包括以下步骤:
1)获取二维显微图像中的二维基准点与OCT图像中的三维基准点作为基准点对,将二维基准点与三维基准点之间的对应关系描述为:
Figure FDA0003016142730000011
其中,s为一个任意的比例常数,[u v 1]T为像素坐标系中二维基准点坐标,Mint和Mext分别为相机的内、外参数矩阵,[Xw Yw 0 1]T为世界坐标系中三维基准点坐标;
2)将单应性矩阵描述为:
Figure FDA0003016142730000012
通过至少6组基准点对的坐标,利用直接线性变换法得到单应性矩阵H的近似解;
3)利用L-M方法对步骤2)得到的单应性矩阵H的近似解进行优化,得到单应性矩阵H的优化解,即得到优化后的单应性矩阵H;
4)通过步骤3)得到优化后的单应性矩阵后,由旋转矩阵的正交性得到下式:
Figure FDA0003016142730000013
Figure FDA0003016142730000014
其中hi为单应性矩阵第i列参数所组成的列向量,i=1,2,3;为了简化计算,定义一个过渡矩阵B,B描述为:
Figure FDA0003016142730000021
将(4)式带入(3)式并经过变换得到下式:
Figure FDA0003016142730000022
其中:
b=[B11,B12,B22,B13,B23,B33]T
vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
hi=[hi1,hi2,hi3]T
其中,i=1,2,3;j=1,2,3;
通过至少3个单应性矩阵对式(5)进行求解,式(5)此时为超定方程组,通过SVD分解方法对b的最小二乘解进行估计,解得矩阵B;
5)根据步骤4)的结果,利用Cholesky分解方法求出相机的内参数矩阵;
6)通过步骤3)得到优化后的单应性矩阵和步骤5得到的内参数矩阵求解出外参数矩阵;
7)引入畸变系数对步骤3)得到的优化后的单应性矩阵、步骤5)得到的内参数矩阵和步骤6)得到的外参数矩阵进行优化,最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
2.根据权利要求1所述的基于SS-OCT手术导航系统的图像配准方法,其特征在于,所述步骤2)中,利用直接线性变换法得到单应性矩阵H的近似解之前先利用八点归一化算法对基准点对的坐标进行处理,经八点归一化算法后由式(1)、式(2)得到下式:
Aih=0 (6)
其中:
Figure FDA0003016142730000023
h=[h11′ h12′ h13′ h21′ h22′ h23′ h31′ h32′ h33′]T
其中,(X′w,Yw′)、(u′、v′)分别为公式(1)中的坐标(Xw,Yw)、(u、v、)经过归一化后对应所得到的坐标,h为公式(2)的单应性矩阵H经过归一化后对应所得到的单应性矩阵,其中的上撇符号用于区分归一化前与归一化后的坐标或参数;
通过至少6组基准点对对式(6)进行求解,此时式(6)是超定方程组,利用奇异值分解对式(6)最小二乘解进行估计,得到单应性矩阵H的近似解。
3.根据权利要求2所述的基于SS-OCT手术导航系统的图像配准方法,其特征在于,所述步骤3)中利用L-M方法对步骤2)得到的单应性矩阵H的近似解进行优化的具体方法为:
对单应性矩阵H中的参数进行迭代,直至基准点对的代价函数逼近预设阈值时得到最优解,基准点对的代价函数描述为:
Figure FDA0003016142730000031
其中,mi为二维图片中由识别所得到的第i个二维基准点坐标,
Figure FDA0003016142730000032
为对应三维基准点坐标经单应性矩阵变换所得到的二维基准点坐标,代价函数表征了二维基准点理想坐标与实际计算坐标之间的误差。
4.根据权利要求3所述的基于SS-OCT手术导航系统的图像配准方法,其特征在于,所述步骤7)具体包括:先构建畸变模型,畸变模型描述为:
Figure FDA0003016142730000033
其中,u0、v0为二维像素坐标系原点坐标,u、v为利用三维基准点坐标经单应性矩阵变换得到的二维基准点坐标,x、y为利用三维基准点坐标经外参数矩阵变换得到的二维基准点坐标,
Figure FDA0003016142730000034
为实际识别的二维基准点坐标,k1、k2为相机径向畸变系数;
通过SVD分解对k1、k2两个畸变系数进行估值计算,在解得k1、k2后将其作为系数加入公式(7)所描述的基准点对的代价函数中,并继续使用L-M方法对步骤3)得到的优化后的单应性矩阵和步骤6)得到的外参数矩阵进行优化;最终获得图像配准所需得单应性矩阵、相机内参数矩阵以及相机外参数矩阵。
5.根据权利要求4所述的基于SS-OCT手术导航系统的图像配准方法,其特征在于,该方法还包括步骤8):利用步骤7)得到的相机内参数矩阵、相机外参数矩阵调节OCT三维重建模型中的虚拟相机参数,使二维显微图像与二维enface切片图像位于同一坐标系的同一平面;然后,利用步骤7)得到的单应性矩阵对图像进行仿射变换,二维显微图像作为参考图像,二维enface切片图像作为浮动图像,对浮动图像进行基于单应性矩阵的仿射变换。
6.一种基于SS-OCT手术导航系统的图像配准系统,其特征在于,其采用如权利要求1-5中任意一项所述的方法对SS-OCT手术导航系统获得的OCT图像与二维显微图像进行配准。
7.一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如权利要求1-5中任意一项所述的方法。
8.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的方法。
CN202110388927.7A 2021-04-12 2021-04-12 基于ss-oct手术导航系统的图像配准方法及系统 Active CN113100941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110388927.7A CN113100941B (zh) 2021-04-12 2021-04-12 基于ss-oct手术导航系统的图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110388927.7A CN113100941B (zh) 2021-04-12 2021-04-12 基于ss-oct手术导航系统的图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN113100941A CN113100941A (zh) 2021-07-13
CN113100941B true CN113100941B (zh) 2022-03-08

Family

ID=76716005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110388927.7A Active CN113100941B (zh) 2021-04-12 2021-04-12 基于ss-oct手术导航系统的图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113100941B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114681058B (zh) * 2022-03-02 2023-02-28 北京长木谷医疗科技有限公司 用于关节置换术的导航定位系统精度验证方法及装置
CN116309753A (zh) * 2023-03-28 2023-06-23 中山大学中山眼科中心 眼科oct图像的高清快速配准方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103892919A (zh) * 2014-03-27 2014-07-02 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统及导航方法
US20150077705A1 (en) * 2013-09-19 2015-03-19 Alcon Research, Ltd. Integrated OCT-Refractometer System for Ocular Biometry
CN104958061A (zh) * 2015-07-28 2015-10-07 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
US20180055355A1 (en) * 2015-09-11 2018-03-01 Marinko Venci Sarunic Systems and Methods for Angiography and Motion Corrected Averaging
US20190117459A1 (en) * 2017-06-16 2019-04-25 Michael S. Berlin Methods and Systems for OCT Guided Glaucoma Surgery
CN110638527A (zh) * 2019-07-01 2020-01-03 中国科学院苏州生物医学工程技术研究所 基于光学相干层析增强现实的手术显微成像系统
CN110645892A (zh) * 2019-07-17 2020-01-03 中国科学院苏州生物医学工程技术研究所 Ss-oct间距测量中获取更小镜像残余的消镜像方法及其系统
CN111062873A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于多对双目相机的视差图像拼接与可视化方法
CN111887992A (zh) * 2020-07-15 2020-11-06 中国科学院苏州生物医学工程技术研究所 基于光学相干层析成像的智能手术机器人系统
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150077705A1 (en) * 2013-09-19 2015-03-19 Alcon Research, Ltd. Integrated OCT-Refractometer System for Ocular Biometry
CN103892919A (zh) * 2014-03-27 2014-07-02 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统及导航方法
CN104958061A (zh) * 2015-07-28 2015-10-07 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统
US20180055355A1 (en) * 2015-09-11 2018-03-01 Marinko Venci Sarunic Systems and Methods for Angiography and Motion Corrected Averaging
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
US20190117459A1 (en) * 2017-06-16 2019-04-25 Michael S. Berlin Methods and Systems for OCT Guided Glaucoma Surgery
CN110638527A (zh) * 2019-07-01 2020-01-03 中国科学院苏州生物医学工程技术研究所 基于光学相干层析增强现实的手术显微成像系统
CN110645892A (zh) * 2019-07-17 2020-01-03 中国科学院苏州生物医学工程技术研究所 Ss-oct间距测量中获取更小镜像残余的消镜像方法及其系统
CN111062873A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于多对双目相机的视差图像拼接与可视化方法
CN111887992A (zh) * 2020-07-15 2020-11-06 中国科学院苏州生物医学工程技术研究所 基于光学相干层析成像的智能手术机器人系统
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光学相干层析成像眼底视网膜三维图像去抖动方法;汪权等;《光学学报》;20190331;第39卷(第3期);全文 *

Also Published As

Publication number Publication date
CN113100941A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109464196B (zh) 采用结构光影像配准的手术导航系统及配准信号采集方法
US9498132B2 (en) Visualization of anatomical data by augmented reality
US20210059762A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
Colchester et al. Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging
CN108420529A (zh) 基于电磁定位技术和术中图像引导的手术导航仿真方法
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
CN113646808A (zh) 空间跟踪系统与增强现实显示器的配准
CN114119549B (zh) 一种多模态医学图像三维点云配准优化方法
CN113100941B (zh) 基于ss-oct手术导航系统的图像配准方法及系统
US9052384B2 (en) System and method for calibration for image-guided surgery
CN112971982A (zh) 基于肝内血管配准的手术导航系统
CN110288653A (zh) 一种多角度超声图像融合方法、系统及电子设备
Chen et al. Tissue structure updating for in situ augmented reality navigation using calibrated ultrasound and two-level surface warping
KR100346363B1 (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
Stoyanov et al. Intra-operative visualizations: Perceptual fidelity and human factors
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
Lin et al. Optimization model for the distribution of fiducial markers in liver intervention
Wang et al. Ultrasound tracking using probesight: camera pose estimation relative to external anatomy by inverse rendering of a prior high-resolution 3d surface map
Amir-Khalili et al. 3D surface reconstruction of organs using patient-specific shape priors in robot-assisted laparoscopic surgery
US20230230263A1 (en) Two-dimensional image registration
CN117379178A (zh) 一种基于光磁混合跟踪的增强现实手术导航方法及装置
US20230210627A1 (en) Three-dimensional instrument pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant