CN103793915A - 神经外科导航中低成本无标记配准系统及配准方法 - Google Patents

神经外科导航中低成本无标记配准系统及配准方法 Download PDF

Info

Publication number
CN103793915A
CN103793915A CN201410054950.2A CN201410054950A CN103793915A CN 103793915 A CN103793915 A CN 103793915A CN 201410054950 A CN201410054950 A CN 201410054950A CN 103793915 A CN103793915 A CN 103793915A
Authority
CN
China
Prior art keywords
point
preoperative
phase
registration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410054950.2A
Other languages
English (en)
Other versions
CN103793915B (zh
Inventor
顾力栩
蒋龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Jingmai Medical Technology Co ltd
Jingmai Medical Technology Nantong Co ltd
Shanghai Jingmai Medical Technology Co ltd
Shanghai Robo Robot Technology Co ltd
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201410054950.2A priority Critical patent/CN103793915B/zh
Publication of CN103793915A publication Critical patent/CN103793915A/zh
Application granted granted Critical
Publication of CN103793915B publication Critical patent/CN103793915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种神经外科导航中低成本无标记配准系统及配准方法,包括术前影像分割模块、术中表面重建模块、以及术前表面和术中表面配准模块;所述的术前影像分割模块接收术前影像学检查获得的完整头部DICOM格式图像,分割出病人面部表面,并且将分割结果传至术前表面和术中表面配准模块;所述的术中表面重建模块,通过结构光投影技术,重建术中病人面部表面,然后将重建结果传至术前表面和术中表面配准模块;所述的术前表面和术中表面配准模块接收术前影像分割模块和术中表面重建模块传来的术前面部和术中面部数据,完成配准操作,从而实现神经外科导航中配准。与现有技术相比,本发明具有实现成本低、配准精度高等优点。

Description

神经外科导航中低成本无标记配准系统及配准方法
技术领域
本发明涉及一种神经外科导航技术,尤其是涉及一种神经外科导航中低成本无标记配准系统及配准方法。
背景技术
由于手术导航能够为微创介入治疗提供必要的技术支持,随着CT和MRI的发展,它逐渐成为神经外科手术必须进行的常规步骤。
在此过程中,术前规划与术中数据的配准是必不可少的一步。然而,现有的大多数配准系统都是利用标记点配准方法,但是基于植入标记点的配准方法需要额外的手术操作,同时会对病患造成创伤;基于皮肤粘合标记点的配准,由于数据采集时往往伴随着皮肤移动,因此配准精度相对较低;基于解剖标记点的配准方法,一则显现在两种模态中的解剖标记点的数目相对较少,二则标记点的定位过程往往存在误差,因此配准精度低。
经过对现有技术的检索发现,“Registration of head CT images to physical spaceusing a weighted combination of points and surfaces,Medical Imaging,IEEETransactions on,vol.17,pp.753-761,1998”(使用点和表面加权的组合来把CT图像配准到物理空间,医学成像,1998年)中Maurer引入了一个无标记配准方法:他使用一个探头来采样病人表面点云,然后计算该点云到从病人3D图像最佳匹配。但是,这样的人工操作耗时,易受人的主观的影响。
“Accuracy identification of markerless registration with the dlr handheld3d-modeller in medical applications,Proceedings of CURAC,vol.6,2007.”(在医学应用中使用DLR手持式3D建模器无标记配准的精确的识别,CURAC论文集,第六版,2007年)中尝试使用一个DLR3D建模器来执行一个无标记的,无接触的配准。但他们的系统需要特别定制,构建复杂。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实现成本低、配准精度高的神经外科导航中低成本无标记配准系统及配准方法,采用结构光投影技术重建术中病人面部,再通过ICP(迭代最近点),CPD(相干点漂移)或者基于SIFT(尺度不变特征变换)的配准方法将它对齐到分割的术前病人面部,从而实现手术导航中配准要求。
本发明的目的可以通过以下技术方案来实现:
一种神经外科导航中低成本无标记配准系统,其特征在于,包括术前影像分割模块、术中表面重建模块、以及术前表面和术中表面配准模块,所述的术前影像分割模块、术中表面重建模块分别与术前表面和术中表面配准模块连接;
所述的术前影像分割模块接收术前影像学检查获得的完整头部DICOM格式图像,分割出病人面部表面,并且将分割结果传至术前表面和术中表面配准模块;
所述的术中表面重建模块,通过结构光投影技术,重建术中病人面部表面,然后将重建结果传至术前表面和术中表面配准模块;
所述的术前表面和术中表面配准模块接收术前影像分割模块和术中表面重建模块传来的术前面部和术中面部数据,完成配准操作,从而实现神经外科导航中配准。
所述的术前影像分割模块包括依次连接的DICOM图像读入单元和术前面部表面分割单元,所述的DICOM图像读入单元将术前影像学检查获得的完整头部DICOM格式图像文件导入解析出DICOM数据并传输至术前面部表面分割单元;所述的术前面部表面分割单元对术前头部影像的每一帧,利用高斯阈值方法完成术前面部表面的分割。
所述的术中表面重建模块包括依次连接的系统校准单元和三维表面重建单元,所述的系统校准单元对重建系统的相机和投影仪进行校准,并将校准后的参数传至三维表面重建单元,所述的三维表面重建单元接受系统校准单元获得的投影仪和相机参数,通过结构光重建技术,完成三维点云的计算,从而得到术中的三维表面。
所述的术前表面和术中表面配准模块包括迭代最近点ICP配准单元、相干点漂移CPD单元和基于尺度不变特征变换SIFT配准单元,所述的ICP配准单元和CPD配准单元是通过相应的ICP和CPD刚体配准算法,计算出术前面部和术中面部的转换矩阵,实现图像空间与手术对象空间的配准;基于SIFT配准单元,通过将三维面部转换成二维深度图,通过SFIT方法提取对应点,再利用普朗克分析,配准对应点,实现配准操作。
根据上述所述系统的配准方法,其特征在于,包括以下步骤:
第一步、术前影像分割模块中的术前面部表面分割单元通过术前影像导入单元获得头部区域的DICOM格式的断层图像数据后,对该图像数据每一帧基于高斯的阈值方法计算阈值,获得分割结果,并根据分割结果获得术前面部数据;
第二步、术中表面重建模块中的系统校准单元包含相机校准和投影仪校准,其中,相机校准基于张正友摄像机标定算法,利用MATLAB相机标定工具箱,获得相机内参数和外参数,完成相机标定;投影仪标定使用结构光技术获得投影仪的投影中心;
第三步、术中表面重建模块中的三维表面重建单元,接收相机的内外参数和投影仪的投影中心数据,利用相位高度转换算法计算三维点的坐标,完成三维面部表面的重建;
第四步、术前表面和术中表面配准模块中的ICP配准单元将获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建面部的点分为10组:(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T;
第五步、术前表面和术中表面配准模块中的CPD配准单元是利用CPD算法将上面获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建表面的点分为10组:(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T;
第六步、术前表面和术中表面配准模块中的基于SIFT配准单元,计算得到重建面部点集与分割面部点集之间的转换矩阵T。
所述的第二步具体如下:
201)通过投影仪向与相机距离为S的平板投影三幅水平方向的条纹图、三幅垂直方向的条纹图以及一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算其水平绝对相位图和垂直绝对相位图;
202)平行移动平板到距离相机位置为T,再投影上面相同的图像到该平板,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算该位置的水平绝对相位图和垂直绝对相位图:
203)对位置S,提取采样点SMN,其中M和N分别为其图像横纵坐标,在水平绝对相位图上获得该点对应的水平绝对相位值
Figure BDA0000466975950000041
在垂直绝对相位图上获得该点对应的垂直绝对相位值
Figure BDA0000466975950000042
204)对位置T,在其水平绝对相位图和垂直绝对相位图中查找点Smn,其中m和n分别为其图像横纵坐标,使得其对应的水平绝对相位值等于
Figure BDA0000466975950000043
垂直绝对相位值等于
205)找到多组满足上述条件的点对,连接这些点对构成多条直线;通过最小二乘法计算这些直线的交点来获得投影中心。
所述的第三步具体如下:
301)利用投影仪向背景板投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
Figure BDA0000466975950000045
302)利用投影仪向人面部投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
Figure BDA0000466975950000046
303)对中的一点MI(u,v),其中u和v分别为图像的横纵坐标,其绝对相位值为
Figure BDA0000466975950000048
304)将投影中心P的世界坐标转换到相机的图像坐标,获得点PI;
305)在绝对相位图上,沿着直线PI-MI,找到一点NI,使得其绝对相位值等于
306)将MI和NI从图像坐标转换到世界坐标,同时分别连接相机中心C与MI以及相机中心C与NI;计算直线C-MI和C-NI与背景板平面的交点:MR和NR;
307)计算异面直线P-NR和C-MR的中垂线的中点M;该点坐标即为点MI(u,v)在世界空间中的坐标。
所述的第六步具体如下:
601)对分割的面部表面计算其深度图S,对重建的面部表面计算其深度图C,并对深度图S和C进行高斯平滑预处理;
602)从深度图S和C中,计算出它们的高斯曲率图GS和GC;然后利用SIFT方法提取关键点,S1=(x1,...,xM)和S2=(y1,...,yN);对S1中的任-点,找到它在S2的最近邻点,从而建立对应关系;
603)在先验知识的约束下,滤除不符合条件的对应点;
604)通过普朗克分析,建立两组对应点的变换关系;从而获得重建面部和分割面部的配准。
所述的水平方向的条纹图和垂直方向的条纹图是指:
灰度范围为100-200之间的,沿着水平方向或垂直方向的灰度值按
Figure BDA0000466975950000051
Figure BDA0000466975950000052
的图像,其中I(x,y)是灰度值,ρ是条纹像素周期,δ是相移值,分别为-2π/3,0,and2π/3;
所述的角点图是指:中间为一个棋盘格点的均匀图像。
所述的三步相移算法具体为:
相机捕捉的三幅图像的灰度值为:
Figure BDA0000466975950000053
其中A(x,y)是平均灰度,B(x,y)是灰度调制,δi(i=1,2,3)是相移,
Figure BDA0000466975950000054
是需要被计算的相位,然后通过
Figure BDA0000466975950000055
计算出经过高度调制的相位。
所述的基于质量图的相位展开算法为把计算的相对相位图转换成绝对相位图,具体步骤如下:
1)从捕捉到的角点图像中,查找内角点,作为展开的起始点;
2)按照
Figure BDA0000466975950000056
其中I1,I2,I3分别为捕捉到的三幅条纹图,计算得到质量图一;
3)按照 Q ( i , j ) = max { Δ i , j x , Δ i , j y } ,
Figure BDA0000466975950000058
Figure BDA0000466975950000059
其中
Figure BDA00004669759500000510
是计算的相位值,W是用来估计相对相位值之间真实梯度的算子,计算而得到质量图二;
4)根据γ(x,y)>0.25,找到需要重建的目标区域,根据
Figure BDA00004669759500000511
Figure BDA00004669759500000512
获得质量图二的均值,根据
Figure BDA00004669759500000513
获得质量图二的方差,设置阈值T,其中
Figure BDA00004669759500000514
点{(i,j)|Q(i,j)<T0}作为第一层;第n层,可以写成将点分为三层,其中80%的点都是位于第一层;
5)点分层之后,从起始点出发,从水平方向和垂直方向,从第一层的点开始按照线扫描算法进行相位展开,如果第一层的点未展开,那么该点放入第二层;当第一层点都展开完成之后,从第二层点开始展开;直至所有层的点都被展开,如果有一些点直到最后仍然未展开,那么就将被丢弃;
6)相位展开之后既可以获得绝对相位图。
所述的相对相位图是指:相机捕捉到三幅水平条纹图或者垂直条纹图之后,按照三步相移算法,计算获得相位值截断的相位图;
所述的绝对相位图是指:对相对相位图,按照相位展开算法,获得相位值呈线性变换的相位图。
所述的线扫描算法进行相位展开是指:
假设某一点N的相对相位值为QN,其绝对相位值为AQN;其邻近点的相对相位值为QN+1;那么计算其绝对相位值公式为:
temp=QN+1-QN
AQN+1=AQN+temp-2*PI,if(temp>PI)
AQN+1=AQN+temp+2*PI,if(temp<-PI)
与现有技术相比,本发明具有以下优点:
1、实现成本低,开发一套低成本无标记点的自动配准系统,它能够以低端的设备达到与其他高成本系统相近的配准精度;
2、配准精度高,开发一个新的接近实时的配准算法,其精度与已知的ICP和CPD的精度接近。
附图说明
图1为本发明配准系统的结构示意图;
图2为三幅水平方向、三幅垂直方向的条纹图和一幅角点图;
图3为水平方向、垂直方向的相对相位图和其对应的绝对相位图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种神经外科导航中低成本无标记配准系统,其特征在于,包括术前影像分割模块、术中表面重建模块、以及术前表面和术中表面配准模块,所述的术前影像分割模块、术中表面重建模块分别与术前表面和术中表面配准模块连接;
所述的术前影像分割模块接收术前影像学检查获得的完整头部DICOM格式图像,分割出病人面部表面,并且将分割结果传至术前表面和术中表面配准模块;所述的术中表面重建模块,通过结构光投影技术,重建术中病人面部表面,然后将重建结果传至术前表面和术中表面配准模块;所述的术前表面和术中表面配准模块接收术前影像分割模块和术中表面重建模块传来的术前面部和术中面部数据,完成配准操作,从而实现神经外科导航中配准。
所述的术前影像分割模块包括依次连接的DICOM图像读入单元和术前面部表面分割单元,所述的DICOM图像读入单元将术前影像学检查获得的完整头部DICOM格式图像文件导入解析出DICOM数据并传输至术前面部表面分割单元;所述的术前面部表面分割单元对术前头部影像的每一帧,利用高斯阈值方法完成术前面部表面的分割。
所述的术中表面重建模块包括依次连接的系统校准单元和三维表面重建单元,所述的系统校准单元对重建系统的相机和投影仪进行校准,并将校准后的参数传至三维表面重建单元,所述的三维表面重建单元接受系统校准单元获得的投影仪和相机参数,通过结构光重建技术,完成三维点云的计算,从而得到术中的三维表面。
所述的术前表面和术中表面配准模块包括迭代最近点ICP配准单元、相干点漂移CPD单元和基于尺度不变特征变换SIFT配准单元,所述的ICP配准单元和CPD配准单元是通过相应的ICP和CPD刚体配准算法,计算出术前面部和术中面部的转换矩阵,实现图像空间与手术对象空间的配准;基于SIFT配准单元,通过将三维面部转换成二维深度图,通过SFIT方法提取对应点,再利用普朗克分析,配准对应点,实现配准操作。
根据上述所述系统的配准方法,其特征在于,包括以下步骤:
第一步、术前影像分割模块中的术前面部表面分割单元通过术前影像导入单元获得头部区域的DICOM格式的断层图像数据后,对该图像数据每一帧基于高斯的阈值方法计算阈值,获得分割结果,并根据分割结果获得术前面部数据;
第二步、术中表面重建模块中的系统校准单元包含相机校准和投影仪校准,其中,相机校准基于张正友摄像机标定算法,利用MATLAB相机标定工具箱,获得相机内参数和外参数,完成相机标定;投影仪标定使用结构光技术获得投影仪的投影中心,具体步骤如下:
201)通过投影仪向与相机距离为S的平板投影三幅水平方向的条纹图、三幅垂直方向的条纹图以及一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算其水平绝对相位图和垂直绝对相位图;
202)平行移动平板到距离相机位置为T,再投影上面相同的图像到该平板,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算该位置的水平绝对相位图和垂直绝对相位图;
203)对位置S,提取采样点SMN,其中M和N分别为其图像横纵坐标,在水平绝对相位图上获得该点对应的水平绝对相位值在垂直绝对相位图上获得该点对应的垂直绝对相位值
Figure BDA0000466975950000082
204)对位置T,在其水平绝对相位图和垂直绝对相位图中查找点Smn,其中m和n分别为其图像横纵坐标,使得其对应的水平绝对相位值等于
Figure BDA0000466975950000083
垂直绝对相位值等于
Figure BDA0000466975950000084
205)找到多组满足上述条件的点对,连接这些点对构成多条直线;通过最小二乘法计算这些直线的交点来获得投影中心。
第三步、术中表面重建模块中的三维表面重建单元,接收相机的内外参数和投影仪的投影中心数据,利用相位高度转换算法计算三维点的坐标,完成三维面部表面的重建,具体步骤如下:
301)利用投影仪向背景板投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
302)利用投影仪向人面部投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
Figure BDA0000466975950000086
303)对
Figure BDA0000466975950000087
中的一点MI(u,v),其中u和v分别为图像的横纵坐标,其绝对相位值为
304)将投影中心P的世界坐标转换到相机的图像坐标,获得点PI;
305)在绝对相位图
Figure BDA0000466975950000089
上,沿着直线PI-MI,找到一点NI,使得其绝对相位值等于
Figure BDA00004669759500000810
306)将MI和NI从图像坐标转换到世界坐标,同时分别连接相机中心C与MI以及相机中心C与NI;计算直线C-MI和C-NI与背景板平面的交点:MR和NR;
307)计算异面直线P-NR和C-MR的中垂线的中点M;该点坐标即为点MI(u,v)在世界空间中的坐标。
第四步、术前表面和术中表面配准模块中的ICP配准单元将获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建面部的点分为10组:(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T;
第五步、术前表面和术中表面配准模块中的CPD配准单元是利用CPD算法将上面获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建表面的点分为10组:(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T;
第六步、术前表面和术中表面配准模块中的基于SIFT配准单元,计算得到重建面部点集与分割面部点集之间的转换矩阵T,具体步骤如下:
601)对分割的面部表面计算其深度图S,对重建的面部表面计算其深度图C,并对深度图S和C进行高斯平滑预处理;
602)从深度图S和C中,计算出它们的高斯曲率图GS和GC;然后利用SIFT方法提取关键点,S1=(x1,...,xM)和S2=(y1,...,yN);对S1中的任一点,找到它在S2的最近邻点,从而建立对应关系;
603)在先验知识的约束下,滤除不符合条件的对应点;
604)通过普朗克分析,建立两组对应点的变换关系;从而获得重建面部和分割面部的配准。
如图2所示,所述的水平和垂直条纹图是指:灰度范围为100-200之间的,沿着水平方向或垂直方向的灰度值按: I ( x , y ) = 50 × ( 1 + cos ( 2 πx ρ + δ ) ) + 100 , 其中I(x,y)是灰度值,ρ是条纹像素周期,δ是相移值,分别为-2π/3,0,and2π/3。
如图2所示,所述的角点图是指:中间为一个棋盘格点的均匀图像。
如图3所示,所述的相对相位图是指:相机捕捉到三幅水平条纹图或者垂直条纹图之后,按照三步相移算法,计算获得相位值截断的相位图。
如图3所示,所述的绝对相位图是指:对相对相位图,按照相位展开算法,获得相位值呈线性变换的相位图。
所述的三步相移算法是指:相机捕捉的三幅图像的灰度值为: 其中A(x,y)是平均灰度,B(x,y)是灰度调制,δi(i=1,2,3)是相移,
Figure BDA0000466975950000101
是需要被计算的相位。然后通过
Figure BDA0000466975950000102
Figure BDA0000466975950000103
既可以计算出经过高度调制的相位。
所述的基于质量图的相位展开算法是指:把计算的相对相位图转换成绝对相位图,其按照如下步骤:
1)从捕捉到的角点图像中,查找内角点,作为展开的起始点;
2)按照
Figure BDA0000466975950000104
其中I1,I2,I3分别为捕捉到的三幅条纹图,计算得到质量图一;
3)按照 Q ( i , j ) = max { Δ i , j x , Δ i , j y } ,
Figure BDA0000466975950000106
Figure BDA0000466975950000107
其中
Figure BDA0000466975950000108
是计算的相位值,W是用来估计相对相位值之间真实梯度的算子,计算而得到质量图二;
4)根据γ(x,y)>0.25,找到需要重建的目标区域,根据
Figure BDA0000466975950000109
Figure BDA00004669759500001010
获得质量图二的均值,根据
Figure BDA00004669759500001011
获得质量图二的方差,设置阈值T,其中
Figure BDA00004669759500001012
点{(i,j)|Q(i,j)<T0}作为第一层;第n层,可以写成
Figure BDA00004669759500001013
将点分为三层,其中80%的点都是位于第一层;
5)点分层之后,从起始点出发,从水平方向和垂直方向,从第一层的点开始按照线扫描算法进行相位展开,如果第一层的点未展开,那么该点放入第二层;当第一层点都展开完成之后,从第二层点开始展开;直至所有层的点都被展开,如果有一些点直到最后仍然未展开,那么就将被丢弃;
6)相位展开之后既可以获得绝对相位图。
所述的线扫描相位展开算法是指:假设某一点N的相对相位值为QN,其绝对相位值为AQN;其邻近点的相对相位值为QN+1;那么计算其绝对相位值公式为:
temp=QN+1-QN
AQN+1=AQN+temp-2*PI,if(temp>PI)
AQN+1=AQN+temp+2*PI,if(temp<-PI)
所述的相机校准是指:为了能将术前的图像坐标融合到术中空间所计算的相机内参数和外参数,其外部参数可以表示为:
M ext r 1 r 2 r 3 r x r 4 r 5 r 6 r y r 7 r 8 r 9 r z 0 0 0 1 其中,r1......r9为旋转因子,tx,ty,tz为平移向量
内部参数可以表示为:
M int sf 0 u 0 0 0 f v 0 0 0 0 1 0 其中,f为镜头焦点到镜面中心的距离,s为镜头视野的宽高比,(u0,v0)为镜面中心在2D投影坐标系下的坐标。内窥镜的标定即是要确定Mint和Mext这两个矩阵。
在完成了配准后,每一个相位的图像都各自得到了一个转换矩阵T。我们使用SAD作为配准的相似性测度。
SAD定义为:
ASD ( A , B ) = 1 ΣS B + ΣS A ( Σ S A , ∈ S ( A ) d ( ( S A , S ( B ) ) ) + Σ S B , ∈ S ( B ) d ( ( S B , S ( A ) ) ) ) ; 其中S(A)和S(B)分别表示术前分割的面部和术中经过转换矩阵T变换的重建的面部。SA,SB是S(A)和S(B)上的任意一点,d()是点和表面的最近欧拉距离。

Claims (13)

1.一种神经外科导航中低成本无标记配准系统,其特征在于,包括术前影像分割模块、术中表面重建模块、以及术前表面和术中表面配准模块,所述的术前影像分割模块、术中表面重建模块分别与术前表面和术中表面配准模块连接; 
所述的术前影像分割模块接收术前影像学检查获得的完整头部DICOM格式图像,分割出病人面部表面,并且将分割结果传至术前表面和术中表面配准模块; 
所述的术中表面重建模块,通过结构光投影技术,重建术中病人面部表面,然后将重建结果传至术前表面和术中表面配准模块; 
所述的术前表面和术中表面配准模块接收术前影像分割模块和术中表面重建模块传来的术前面部和术中面部数据,完成配准操作,从而实现神经外科导航中配准。 
2.根据权利要求1所述的配准系统,其特征在于,所述的术前影像分割模块包括依次连接的DICOM图像读入单元和术前面部表面分割单元,所述的DICOM图像读入单元将术前影像学检查获得的完整头部DICOM格式图像文件导入解析出DICOM数据并传输至术前面部表面分割单元;所述的术前面部表面分割单元对术前头部影像的每一帧,利用高斯阈值方法完成术前面部表面的分割。 
3.根据权利要求1所述的配准系统,其特征在于,所述的术中表面重建模块包括依次连接的系统校准单元和三维表面重建单元,所述的系统校准单元对重建系统的相机和投影仪进行校准,并将校准后的参数传至三维表面重建单元,所述的三维表面重建单元接受系统校准单元获得的投影仪和相机参数,通过结构光重建技术,完成三维点云的计算,从而得到术中的三维表面。 
4.根据权利要求1所述的配准系统,其特征在于,所述的术前表面和术中表面配准模块包括迭代最近点ICP配准单元、相干点漂移CPD单元和基于尺度不变特征变换SIFT配准单元,所述的ICP配准单元和CPD配准单元是通过相应的ICP和CPD刚体配准算法,计算出术前面部和术中面部的转换矩阵,实现图像空间与手术对象空间的配准;基于SIFT配准单元,通过将三维面部转换成二维深度图,通过SFIT方法提取对应点,再利用普朗克分析,配准对应点,实现配准操作。 
5.根据上述任一权利要求所述系统的配准方法,其特征在于,包括以下步骤: 
第一步、术前影像分割模块中的术前面部表面分割单元通过术前影像导入单元获得头部区域的DICOM格式的断层图像数据后,对该图像数据每一帧基于高斯的阈值方法计算阈值,获得分割结果,并根据分割结果获得术前面部数据; 
第二步、术中表面重建模块中的系统校准单元包含相机校准和投影仪校准,其中,相机校准基于张正友摄像机标定算法,利用MATLAB相机标定工具箱,获得相机内参数和外参数,完成相机标定;投影仪标定使用结构光技术获得投影仪的投影中心; 
第三步、术中表面重建模块中的三维表面重建单元,接收相机的内外参数和投影仪的投影中心数据,利用相位高度转换算法计算三维点的坐标,完成三维面部表面的重建; 
第四步、术前表面和术中表面配准模块中的ICP配准单元将获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建面部的点分为10组;(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T; 
第五步、术前表面和术中表面配准模块中的CPD配准单元是利用CPD算法将上面获得的重建面部上的点配准到术前分割出来的面部上,同时为了加速,将重建表面的点分为10组:(P1,P11,P21...;...;P10,P20,P30...;),最终得到重建面部点集与分割面部点集之间的转换矩阵T; 
第六步、术前表面和术中表面配准模块中的基于SIFT配准单元,计算得到重建面部点集与分割面部点集之间的转换矩阵T。 
6.根据权利要求5所述的配准方法,其特征在于,所述的第二步具体如下: 
201)通过投影仪向与相机距离为S的平板投影三幅水平方向的条纹图、三幅垂直方向的条纹图以及一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算其水平绝对相位图和垂直绝对相位图; 
202)平行移动平板到距离相机位置为T,再投影上面相同的图像到该平板,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算该位置的水平绝对相位图和垂直绝对相位图; 
203)对位置S,提取采样点SMN,其中M和N分别为其图像横纵坐标,在水平绝对相位图上获得该点对应的水平绝对相位值
Figure FDA0000466975940000021
在垂直绝对相位图上获得该点对应的垂直绝对相位值
Figure FDA0000466975940000022
204)对位置T,在其水平绝对相位图和垂直绝对相位图中查找点Smn,其中m和n分别为其图像横纵坐标,使得其对应的水平绝对相位值等于
Figure FDA0000466975940000031
垂直绝对相位值等于
Figure FDA0000466975940000032
205)找到多组满足上述条件的点对,连接这些点对构成多条直线;通过最小二乘法计算这些直线的交点来获得投影中心。 
7.根据权利要求5所述的配准方法,其特征在于,所述的第三步具体如下: 
301)利用投影仪向背景板投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
Figure FDA0000466975940000033
302)利用投影仪向人面部投影3幅水平方向的条纹图和一幅角点图,相机捕捉投影的图像,再利用三步相移算法和基于质量图的相位展开算法计算水平绝对相位图
Figure FDA0000466975940000034
303)对
Figure FDA0000466975940000035
中的一点MI(u,v),其中u和v分别为图像的横纵坐标,其绝对相位值为
304)将投影中心P的世界坐标转换到相机的图像坐标,获得点PI; 
305)在绝对相位图
Figure FDA0000466975940000037
上,沿着直线PI-MI,找到一点NI,使得其绝对相位值等于
Figure FDA0000466975940000038
306)将MI和NI从图像坐标转换到世界坐标,同时分别连接相机中心C与MI以及相机中心C与NI;计算直线C-MI和C-NI与背景板平面的交点:MR和NR; 
307)计算异面直线P-NR和C-MR的中垂线的中点M;该点坐标即为点MI(u,v)在世界空间中的坐标。 
8.根据权利要求5所述的配准方法,其特征在于,所述的第六步具体如下: 
601)对分割的面部表面计算其深度图S,对重建的面部表面计算其深度图C,并对深度图S和C进行高斯平滑预处理; 
602)从深度图S和C中,计算出它们的高斯曲率图GS和GC;然后利用SIFT方法提取关键点,S1=(x1,...,xM)和S2=(y1,...,yN);对S1中的任一点,找到它在S2的最近邻点,从而建立对应关系; 
603)在先验知识的约束下,滤除不符合条件的对应点; 
604)通过普朗克分析,建立两组对应点的变换关系;从而获得重建面部和分割面部的配准。 
9.根据权利要求6所述的配准方法,其特征在于,所述的水平方向的条纹图和垂直方向的条纹图是指: 
灰度范围为100-200之间的,沿着水平方向或垂直方向的灰度值按
Figure FDA0000466975940000041
Figure FDA0000466975940000042
的图像,其中I(x,y)是灰度值,ρ是条纹像素周期,δ是相移值,分别为-2π/3,0,and2π/3; 
所述的角点图是指:中间为一个棋盘格点的均匀图像。 
10.根据权利要求6或7所述的配准方法,其特征在于,所述的三步相移算法具体为: 
相机捕捉的三幅图像的灰度值为:其中A(x,y)是平均灰度,B(x,y)是灰度调制,δi(i=1,2,3)是相移,
Figure FDA0000466975940000044
是需要被计算的相位,然后通过计算出经过高度调制的相位。 
11.根据权利要求10所述的配准方法,其特征在于,所述的基于质量图的相位展开算法为把计算的相对相位图转换成绝对相位图,具体步骤如下: 
1)从捕捉到的角点图像中,查找内角点,作为展开的起始点; 
2)按照
Figure FDA0000466975940000046
其中I1,I2,I3分别为捕捉到的三幅条纹图,计算得到质量图一; 
3)按照
Figure FDA0000466975940000047
Figure FDA0000466975940000049
其中
Figure FDA00004669759400000410
是计算的相位值,W是用来估计相对相位值之间真实梯度的算子,计算而得到质量图二; 
4)根据γ(x,y)>0.25,找到需要重建的目标区域,根据
Figure FDA00004669759400000411
Figure FDA00004669759400000412
获得质量图二的均值,根据
Figure FDA00004669759400000413
获得质量图二的方差,设置阈值T,其中
Figure FDA00004669759400000414
点{(i,j)|Q(i,j)<T0}作为第一层;第n层,可以写成 将点分为三层,其中80%的点都是位于第一层; 
5)点分层之后,从起始点出发,从水平方向和垂直方向,从第一层的点开始按照线扫描算法进行相位展开,如果第一层的点未展开,那么该点放入第二层;当第一层点都展开完成之后,从第二层点开始展开;直至所有层的点都被展开,如果 有一些点直到最后仍然未展开,那么就将被丢弃; 
6)相位展开之后既可以获得绝对相位图。 
12.根据权利要求11所述的配准方法,其特征在于,所述的相对相位图是指:相机捕捉到三幅水平条纹图或者垂直条纹图之后,按照三步相移算法,计算获得相位值截断的相位图; 
所述的绝对相位图是指:对相对相位图,按照相位展开算法,获得相位值呈线性变换的相位图。 
13.根据权利要求11所述的配准方法,其特征在于,所述的线扫描算法进行相位展开是指: 
假设某一点N的相对相位值为QN,其绝对相位值为AQN;其邻近点的相对相位值为QN+1;那么计算其绝对相位值公式为: 
temp=QN+1-QN 
AQN+1=AQN+temp-2*PI,if(temp>PI) 
AQN+1=AQN+temp+2*PI,if(temp<-PI) 。
CN201410054950.2A 2014-02-18 2014-02-18 神经外科导航中低成本无标记配准系统及配准方法 Active CN103793915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410054950.2A CN103793915B (zh) 2014-02-18 2014-02-18 神经外科导航中低成本无标记配准系统及配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410054950.2A CN103793915B (zh) 2014-02-18 2014-02-18 神经外科导航中低成本无标记配准系统及配准方法

Publications (2)

Publication Number Publication Date
CN103793915A true CN103793915A (zh) 2014-05-14
CN103793915B CN103793915B (zh) 2017-03-15

Family

ID=50669538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410054950.2A Active CN103793915B (zh) 2014-02-18 2014-02-18 神经外科导航中低成本无标记配准系统及配准方法

Country Status (1)

Country Link
CN (1) CN103793915B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法
CN106214256A (zh) * 2016-09-21 2016-12-14 华南理工大学 一种无标记点光学手术导航系统及其导航方法
WO2017036023A1 (zh) * 2015-09-06 2017-03-09 北京医千创科技有限公司 手术定位系统
CN106725852A (zh) * 2016-12-02 2017-05-31 上海精劢医疗科技有限公司 肺部穿刺的手术导航系统
CN107240128A (zh) * 2017-05-09 2017-10-10 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航系统中的人体下肢配准方法
CN109464196A (zh) * 2019-01-07 2019-03-15 北京和华瑞博科技有限公司 采用结构光影像配准的手术导航系统及配准信号采集方法
CN109754396A (zh) * 2018-12-29 2019-05-14 上海联影智能医疗科技有限公司 图像的配准方法、装置、计算机设备和存储介质
CN109745120A (zh) * 2018-12-24 2019-05-14 罗雄彪 一种影像配准转换参数优化方法及系统
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
CN110123453A (zh) * 2019-05-31 2019-08-16 东北大学 一种基于无标记增强现实的手术导航系统
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量系统的测量方法及设备
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
CN103251457A (zh) * 2013-03-20 2013-08-21 东南大学 一种用于神经外科立体定向手术的头面部标记点半自动标定方法
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量系统的测量方法及设备
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
CN103251457A (zh) * 2013-03-20 2013-08-21 东南大学 一种用于神经外科立体定向手术的头面部标记点半自动标定方法
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宋晓卿 等: "三维重建中深度图像配准方法研究", 《电脑开发与应用》 *
杨棽 等: "一种快速的三维扫描数据自动配准方法", 《软件学报》 *
白茹意 等: "基于ICP和CPD的颅骨自动配准算法", 《计算机技术与发展》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036023A1 (zh) * 2015-09-06 2017-03-09 北京医千创科技有限公司 手术定位系统
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法
CN106137395B (zh) * 2016-07-22 2019-01-29 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法
CN106214256A (zh) * 2016-09-21 2016-12-14 华南理工大学 一种无标记点光学手术导航系统及其导航方法
CN106725852A (zh) * 2016-12-02 2017-05-31 上海精劢医疗科技有限公司 肺部穿刺的手术导航系统
CN107240128A (zh) * 2017-05-09 2017-10-10 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
CN107240128B (zh) * 2017-05-09 2020-09-11 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航系统中的人体下肢配准方法
CN107392995B (zh) * 2017-07-05 2021-12-07 天津大学 机械轴导航系统中的人体下肢配准系统
CN109745120B (zh) * 2018-12-24 2020-07-31 罗雄彪 一种影像配准转换参数优化方法及系统
CN109745120A (zh) * 2018-12-24 2019-05-14 罗雄彪 一种影像配准转换参数优化方法及系统
CN109754396A (zh) * 2018-12-29 2019-05-14 上海联影智能医疗科技有限公司 图像的配准方法、装置、计算机设备和存储介质
CN109464196A (zh) * 2019-01-07 2019-03-15 北京和华瑞博科技有限公司 采用结构光影像配准的手术导航系统及配准信号采集方法
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
CN110123453A (zh) * 2019-05-31 2019-08-16 东北大学 一种基于无标记增强现实的手术导航系统

Also Published As

Publication number Publication date
CN103793915B (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN103793915A (zh) 神经外科导航中低成本无标记配准系统及配准方法
US20200170623A1 (en) Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization
JP6289142B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
CN110264504B (zh) 一种用于增强现实的三维配准方法和系统
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
CN104299211B (zh) 一种自由移动式三维扫描方法
CN111260786A (zh) 一种智能超声多模态导航系统及方法
JP6182045B2 (ja) 画像処理装置およびその方法
KR20150024349A (ko) 데이터를 위치 맞춤하는 방법
CN104266587A (zh) 一种三维测量系统及获得真实3d纹理点云数据方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
EP3832599A1 (en) Device for providing 3d image registration and method therefor
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
Wengert et al. Markerless endoscopic registration and referencing
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
CN105103164A (zh) 基于视图分类的模型初始化
He et al. Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems
WO2001059708A1 (en) Method of 3d/2d registration of object views to a surface model
CN105678833A (zh) 一种基于多视点图像三维建模的点云几何数据的自动拼接算法
Habib et al. Linear features in photogrammetric activities
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
Hamadeh et al. Anatomy-based registration for computer-integrated surgery
Jurjević et al. 3D data acquisition based on OpenCV for close-range photogrammetry applications
Kumar et al. Quantification of spinal deformities using combined SCP and geometric 3D reconstruction
Bennani et al. Three dimensional (3D) lumbar vertebrae data set

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190508

Address after: Room 502, Building 158, Xinsheng Road, Nantong City, Jiangsu Province

Patentee after: JINGMAI MEDICAL TECHNOLOGY NANTONG CO.,LTD.

Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Patentee before: Shanghai Jiao Tong University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221102

Address after: Room 409, South Building, building 1, 951 Jianchuan Road, Minhang District, Shanghai 201100

Patentee after: SHANGHAI JINGMAI MEDICAL TECHNOLOGY CO.,LTD.

Patentee after: JINGMAI MEDICAL TECHNOLOGY NANTONG CO.,LTD.

Patentee after: Shanghai Robo Robot Technology Co.,Ltd.

Patentee after: Inner Mongolia Jingmai Medical Technology Co.,Ltd.

Address before: Room 502, Building 158, Xinsheng Road, Nantong City, Jiangsu Province

Patentee before: JINGMAI MEDICAL TECHNOLOGY NANTONG CO.,LTD.