CN108765473A - 全高清3d电子腹腔镜系统的图像配准方法 - Google Patents

全高清3d电子腹腔镜系统的图像配准方法 Download PDF

Info

Publication number
CN108765473A
CN108765473A CN201810504610.3A CN201810504610A CN108765473A CN 108765473 A CN108765473 A CN 108765473A CN 201810504610 A CN201810504610 A CN 201810504610A CN 108765473 A CN108765473 A CN 108765473A
Authority
CN
China
Prior art keywords
point
image
point set
subset
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810504610.3A
Other languages
English (en)
Other versions
CN108765473B (zh
Inventor
徐漫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Tayrui Medical Technology Co Ltd
Original Assignee
Changzhou Tayrui Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Tayrui Medical Technology Co Ltd filed Critical Changzhou Tayrui Medical Technology Co Ltd
Priority to CN201810504610.3A priority Critical patent/CN108765473B/zh
Publication of CN108765473A publication Critical patent/CN108765473A/zh
Application granted granted Critical
Publication of CN108765473B publication Critical patent/CN108765473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种全高清3D电子腹腔镜系统的图像配准方法,首先对采集的图像序列进行图像转换、图像分块与特征提取、特征点集优化与初始运动参数估计,然后计算最优运动参数T,求出最优运动参数T后,将活动图像的彩色副本与参考图像的彩色副本配准,同时为了保证配准后图像的清晰度,采用了精度损失较少的双线性插值法对图像进行差值,同时采用了Gaussian‑Laplacian函数对图像进行滤波,从而消除噪声提高图像质量。最后在水平位移上添加位移差,从而保证后续3D显示效果。

Description

全高清3D电子腹腔镜系统的图像配准方法
技术领域
本发明涉及腹腔镜技术领域,特别是涉及一种全高清3D电子腹腔镜系统的图像配准方法。
背景技术
“越做越小”,是目前外科手术领域的发展目标,即指创口越做越小。微创技术从上世纪90年代提出至今,随着电子、光学等科技的发展,已经在临床领域中得到了广泛的应用。以小创口的微创技术完成常规的外科手术已经成为主流趋势。其中腹腔镜技术在普外科手术治疗中有着广泛的应用,因其技术创伤小、出血少、恢复快、术后并发症和死亡率低等优点,得到了越来越多的重视。
腹腔镜是内窥镜家族中的一员,主要运用于普外科。且主要用于腹腔内疾病的检查。传统2D的腹腔镜系统只能提供平面图像,缺乏空间深度信息。因此对于操作者的医疗经验具有较高的要求。通过研制成像清晰,3D立体感较强的腹腔镜系统可以为医务工作者提供良好的图像参考,降低腹腔镜的操作难度。最大程度避免因误操作而引发的出血、组织损伤,从而进一步提高腹腔镜在临床中的普及率。
现有的图像配准方法主要分为,基于模板匹配的图像配准方法、基于灰度的图像配准算法、基于模型的图像配准方法以及基于特征的图像配准算法。传统的图像配准需要人工选择特征点,而为了达到较高的配准精度,往往需要选择大量的特征点。人工选点的方式不但耗费时间,并且容易受人为主观因素干扰,具有一定的局限性。
发明内容
本发明所要解决的技术问题是:为了克服现有技术中的不足,本发明提供一种全高清3D电子腹腔镜系统的图像配准方法,用于解决腹腔镜系统成像质量差、操作困难等问题。
本发明解决其技术问题所要采用的技术方案是:一种全高清3D电子腹腔镜系统的图像配准方法,包括用于采集图像的两个镜头,其中一个镜头采集的图像作为图像序列中的左视图,另一个镜头采集的图像作为图像序列中的右视图,理论上每次从前端镜头会传输来两幅图像,随着时间的推移,就形成了图像序列。例如,第一秒有两幅图,第二秒又传来两幅图,把这两组甚至更多组的图像放在一起,就称为图像序列。另外,一般2D腹腔镜只会有一副2D图像,3D腹腔镜图像才会同时处理两个镜头拍摄的两幅2D图像。
图像配准方法具体包括以下步骤:
A.图像备份与图像转换:
将图像序列Ii中的左视图设定为参考图像,即配准图,右视图设为活动图像,将左视图与右视图转化为灰度图像,并保留彩色图像副本一份,转化公式为:
G(m,n)=I(R*0.3+G*0.59+B*0.11)
其中,G(m,n)表示彩色图像中点(m,n)转换后的灰度值;m,n表示图像像素点的坐标值;R,G,B分别代表点(m,n)的三个彩色通道对应的像素值;公式是采用加权法将彩色图像转化为灰度图像,其中0.3、0.59和0.11为将彩色图像转化为灰度图像时三个色道对应的比例值,如果图像的位深确定,三个比例值是固定值。
B.图像分块与特征点提取:
建立二维坐标系,在活动图像(右视图)中寻找一系列特征点Fi={(mj,nj)|j=1,...,N},其中(mj,nj)为第j个特征点在活动图中的像素点坐标值;
特征点选取包括以下步骤:
B1.对当前活动图像利用Canny算子计算并获得其边缘二值图像然后对二值图像进行平滑滤波,取二维核函数大小为(2k+1)*(2k+1),其中,k∈N+,同时滤波系数为1,得到滤波结果为一个非二值图像
B2.将非二值图像均分为多个不重叠的矩形子区域;
B3.通过搜索每一个子区域得到一个特征点子集Fi={(mj,nj)|j=1,...,N},使其中每一个点在图像上的灰度值最大,图像的灰度值即为特征值,并且需满足Th为选取阈值,通过设定选取阈值可以排除噪声和虚假特征点的影响,从而提高后续计算准确度。Th取值应依据图像信噪比而定,Th取值越小,则特征点越多,计算量大,且会产生某些虚假特征点,本实施例中根据经验Th取值为5。
C.搜索特征子集E,计算初始运动参数T0
在特征点集合F中,迭代搜索初始的最优子集然后基于最优子集E采用刚体变换估计运动参数运动参数T0为在一个有效的最优子集上的最佳匹配结果;其中a0为旋转角度,分别为x与y方向上的平移距离;
计算最优子集具体包括以下步骤:
C1.将特征值排在前30%的特征点作为子集,并在选择出的特征子集中再任意选择特征点组成点集合Fr
C2.根据点集合Fr中的点坐标,在配准图中搜索相应的最近点集合Q;具体通过计算比较点集合Fr与配准图中点的欧式距离,找到Fr中对应的最近点集合,并存储于最近点集合Q中;
C3.计算点集合Fr与最近点集合Q的重心位置坐标,然后对两个点集进行中心化处理,并得到新点集与Qc,重心位置坐标计算公式为:
其中,表示重心,mk与nk表示点集Fr或Q中第k个点的坐标值,L表示点集Fr中点的总个数;
中心化处理公式为:
即将原点集合Fr与最近点集合Q中点的坐标与其重心坐标相减,其中与Qc分别表示中心化处理后的点集,分别表示点集Fr与点集Q的重心;
C4.计算新点集与Qc的协方差矩阵,并求解由协方差矩阵组成的4*4的矩阵,协方差计算公式为:
其中,k的初始值为1,L为点集中总的像素点个数;
由协方差矩阵构造的4*4矩阵为:
其中,tr(Cov)为矩阵Cov的迹,Δ=[tr23,tr31,tr12]T,其中,trij=(Cov-CovT)ij,而I3为一个3*3的单位矩阵,Δ为协方差矩阵计算得到的一组列向量,用来组成矩阵B;
C5.计算矩阵B的最大特征值对应的特征向量[v0,v1,v2,v3],其中,v0,v1,v2,v3为特征向量的四个分量,并由此推算出旋转矩阵R,旋转矩阵R计算公式为:
C6.通过旋转矩阵R计算出平移矩阵P,平移矩阵P计算公式为:
因此可得到初始运动参数其中aR,分别为旋转角度、x方向平移量以及y方向平移量,同时由TR导出的刚体变换可表示为:
其中为点(mk,nk)经运动参数TR变换后的点,(mk,nk)表示变换之前的坐标点。
C7.通过初始运动参数计算出特征点集合F经TR变换后的点集F*,并重新计算点集F*与特征点集合F的平均欧式距离D,其中D的计算公式为:
其中mF,nF为点集F中的坐标值,k的初始值为1,L为点集F中的点数目;
C8.根据计算得到的平均欧式距离D,将特征点集合F分成A与B两组,即:
其中th2为分组阈值,取值为th2≤2;如果|A|/|B|>0.5,则输出E=A以及T0=TR。反之则重复步骤C1至C8。
D.计算最优运动参数T:
将运动参数T0作为最优运动参数T的初始值,估计特征点集合F中每个特征点在配准图上所对应的特征点位置: 为集合F中第j个特征点在配准图上的位置,并由此求解在特征点集合F上的一组最优的运动参数T=(a,X,Y),其中a为旋转角度,X,Y分别为x与y方向上的平移距离;
确定最优运动参数T具体包括以下步骤:
D1.初始化最优运动参数T=T0,对E中的像素点进行基于T矩阵的刚体变换,并得到在配准图中的对应点集并对点集E*进行光流运动补偿,从而得到新的坐标点(ms,ns):
其中gm(mE,nE)与gn(mE,nE)分别为图像x与y方向上的梯度,g(mE,nE)为梯度幅值,gΔt(mE,nE)表示点在图中的像素值与g(mE,nE)的差值;
D2.在参考图中,以(ms,ns)为中心的子区域:[ms-3,ms+6]×[ns-3,ns+3],搜索与(mE,nE)更为匹配的像素点(mop,nop),从而使得点(mE,nE)于点的欧式距离最小;
D3.在子集E中寻找出子集Eop,满足其中th3为默认阈值,同时记录下配准图上对应的点集 表示点(mE,nE)与点的欧几里得距离,表示满足欧几里得距离小于等于默认阈值的点集(mE,nE);
D4.如果点集合|Eop|>10,则可结合点集Eop与点集应用Mstimator估计出运动参数T=(a,X,Y),反之则转至步骤D5;
D5.重复步骤D1至D4共5次,如果最终检测的运动向量非常大,则转到步骤D1,否则输出T。
E.依据T变换图像,输出结果:
基于步骤D中求解的最优运动参数T,将当前活动图的彩色图像副本与参考图像的彩色图像副本配准,输出至外部显示设备;将图像序列Ii+1中的左视图设定为参考图像,右视图设为活动图像,并重复步骤A至E,直至所有图像序列处理完成。
所述步骤E中具体还包括以下步骤:
E1.按照最优运动参数T,将活动图的彩色副本图像进行映射,通过双线性插值法得到映射后的图像然后通过Gaussian-Laplacian算子对图像进行一次边缘增强滤波;
E2.在增强后的与参考图像之间,添加水平位移,位移距离为与人眼瞳孔距离相适应,然后输出图像。
本发明的有益效果是:为了获取较好的3D显示效果,以往的设备往往通过手动调节左右视图的方位,使输出图像达到最佳的3D显示效果。而通过本配准算法对左右视图进行处理,可以使左右视图进行自动准和双眼视差调节,进而在显示屏获上展现出最佳的3D显示效果。同时免去了人为调节,使得操作更加的便利。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明图像配准算法流程示意图。
图2为全高清3D电子腹腔镜系统的结构示意图。
图中:1、前端相机模组,11、腹腔镜套管,2、控制手柄,21、壳体,22、控件按钮,3、外置图像处理模组,4、外部显示器,8、光纤线缆。
具体实施方式
现在结合附图对本发明作详细的说明。此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1所示,为腹腔镜的图像配准算法示意图,该配准方法用于全高清3D电子腹腔镜系统的图像配准,如图2所示,全高清3D电子腹腔镜系统主要包括一次性控制手柄2、设置在控制手柄2前端的一次性前端相机模组1以及与控制手柄2通过图像信号传输线连接的可重复使用的外置图像处理模组3,所述前端相机模组1包括腹腔镜套管11以及设置在所述腹腔镜套管11内部的光纤照明系统、光学透镜系统和CMOS图像传感器,所述光学透镜系统包括设置在腹腔镜套管11前端的两个2D镜头;所述光纤照明系统包括光纤前端面板、光纤线缆8以及LED冷光源,LED冷光源是外部的光源箱,为整个光学成像系统提供照明,光纤线缆8用于控制手柄2与外置图像处理模组3之间的图像数据的传输,外部显示器4用于显示经过图像配准后的图像。所述控制手柄2包括壳体21,壳体21上还装有用于操作的控件按钮22,可以调整镜头的方向。
本发明的图像配准算法通过图像转换、图像分块与特征提取、特征点集优化与初始运动参数估计、计算最优运动参数T以及图像配准部分组成。
一种全高清3D电子腹腔镜系统的图像配准方法,包括用于采集图像的两个镜头,其中一个镜头采集的图像作为图像序列中的左视图,另一个镜头采集的图像作为图像序列中的右视图,理论上每次从前端镜头会传输来两幅图像,随着时间的推移,就形成了图像序列。例如,第一秒有两幅图,第二秒又传来两幅图,把这两组甚至更多组的图像放在一起,就称为图像序列。另外,一般2D腹腔镜只会有一副2D图像,3D腹腔镜图像才会同时处理两个镜头13拍摄的两幅2D图像。
图像配准方法具体包括以下步骤:
A.图像备份与图像转换:
将图像序列Ii中的左视图设定为参考图像,即配准图,右视图设为活动图像,将左视图与右视图转化为灰度图像,并保留彩色图像副本一份,转化公式为:
G(m,n)=I(R*0.3+G*0.59+B*0.11)
其中,G(m,n)表示彩色图像中点(m,n)转换后的灰度值;m,n表示图像像素点的坐标值;R,G,B分别代表点(m,n)的三个彩色通道对应的像素值;
步骤A将存档原始彩色图像的副本,同时将彩色图像转化为灰度图像,以便简化后续计算,提高计算速度。
B.图像分块与特征点提取:
建立二维坐标系,在活动图像(右视图)中寻找一系列特征点Fi={(mj,nj)|j=1,...,N},其中(mj,nj)为第j个特征点在活动图中的像素点坐标值;
特征点选取包括以下步骤:
B1.对当前活动图像利用Canny算子计算并获得其边缘二值图像然后对二值图像进行平滑滤波,取二维核函数大小为(2k+1)*(2k+1),其中,k∈N+,同时滤波系数为1,得到滤波结果为一个非二值图像公式中k为大于等于1的自然数,一般二维核函数取值太大图像会模糊,因此,二维核函数大小一般可以为3*3、5*5、7*7等。
B2.将非二值图像均分为多个不重叠的矩形子区域;例如将512*512大小的图像均分为32个区域,每个区域大小为16*16的不重叠区域,分得越细,则计算量越大,同时特征点的代表性会下降,具体区域的个数根据采集图像的实际大小进行设置。一般根据图像的实际大小进行子区域的分配,每个子区域对应的图像块的大小必须一致。
B3.通过搜索每一个子区域得到一个特征点子集Fi={(mj,nj)|j=1,...,N},使其中每一个点在图像上的灰度值最大,图像的灰度值即为特征值,并且需满足Th为选取阈值,通过设定选取阈值可以排除噪声和虚假特征点的影响,从而提高后续计算准确度。Th取值应依据图像信噪比而定,Th取值越小,则特征点越多,计算量大,且会产生某些虚假特征点,本实施例中根据经验Th取值为5。
图像配准是一个不断搜索特征点,匹配特征点的过程。传统的配准算法往往计算量大且容易陷入局部最优解。利用迭代邻近点的算法虽然可以解决局部最优解的问题,但搜索最邻近点与优化最邻近点的耗时过长。本发明采取的特征点提取方法,可以通过对少数特征点进行搜索、优化与匹配,从而减少计算时间同时达到较高配准精度。
C.搜索特征子集E,计算初始运动参数T0
在特征点集合F中,迭代搜索初始的最优子集然后基于最优子集E采用刚体变换估计运动参数运动参数T0为在一个有效的最优子集上的最佳匹配结果;其中a0为旋转角度,分别为x与y方向上的平移距离;
上述C步骤具体又包含以下计算最优子集的步骤:
C1.将特征值排在前30%的特征点作为子集,并在选择出的特征子集中再任意选择特征点组成点集合Fr;本实施例中选取特征值排在前69位的特征点作为子集;
C2.根据点集合Fr中的点坐标,在配准图中搜索相应的最近点集合Q;具体通过计算比较点集合Fr与配准图中点的欧式距离,找到Fr中对应的最近点集合,并存储于最近点集合Q中;
C3.计算点集合Fr与最近点集合Q的重心位置坐标,然后对两个点集进行中心化处理,并得到新点集与Qc,重心位置坐标计算公式为:
其中,表示重心,mk与nk表示点集Fr或Q中第k个点的坐标值,L表示点集Fr中点的总个数;
中心化处理公式为:
即将原点集合Fr与最近点集合Q中点的坐标与其重心坐标相减,其中与Qc分别表示中心化处理后的点集,分别表示点集Fr与点集Q的重心;
C4.计算新点集与Qc的协方差矩阵,并求解由协方差矩阵组成的4*4的矩阵,协方差计算公式为:
其中,k的初始值为1,L为点集中总的像素点个数;
由协方差矩阵构造的4*4矩阵为:
其中,tr(Cov)为矩阵Cov的迹,Δ=[tr23,tr31,tr12]T,其中,trij=(Cov-CovT)ij,而I3为一个3*3的单位矩阵,Δ为协方差矩阵计算得到的一组列向量,用来组成矩阵B;
C5.计算矩阵B的最大特征值对应的特征向量[v0,v1,v2,v3],其中,v0,v1,v2,v3为特征向量的四个分量,并由此推算出旋转矩阵R,旋转矩阵R计算公式为:
C6.通过旋转矩阵R计算出平移矩阵P,平移矩阵P计算公式为:
因此可得到初始运动参数其中aR,分别为旋转角度、x方向平移量以及y方向平移量,同时由TR导出的刚体变换可表示为:
其中为点(mk,nk)经运动参数TR变换后的点,(mk,nk)表示变换之前的坐标点。
C7.通过初始运动参数计算出特征点集合F经TR变换后的点集F*,并重新计算点集F*与特征点集合F的平均欧式距离D,其中D的计算公式为:
其中mF,nF为点集F中的坐标值,k的初始值为1,L为点集F中的点数目;
C8.根据计算得到的平均欧式距离D,将特征点集合F分成A与B两组,即:
其中th2为分组阈值,取值为th2≤2;如果|A|/|B|>0.5,则输出E=A以及T0=TR。反之则重复步骤C1至C8。
步骤C中搜索特征子集E,计算初始运动参数T0,采取了RANSAC(Random SampleConsensus)方法对搜索特征集进行进一步迭代优化。RANSAC每次将从样本中抽取一定量数据进行运算,虽然每次运算的结果可能不相同,但可以通过提高迭代次数提高模型的估计效果。在图像配准中,特征点往往会包含大量的奇异点,这些奇异点不仅增大了计算量,同时也会对模型的参数估计造成影响。因此本发明采用RANSAC,即随机抽样一致性算法进行特征的优化。在得到较为理想的初始特征点E与初始运动参数T0之后,进一步将其带入步骤D中,以求取准确的运动参数方程T。
D.计算最优运动参数T:
将运动参数T0作为最优运动参数T的初始值,估计特征点集合F中每个特征点在配准图上所对应的特征点位置: 为集合F中第j个特征点在配准图上的位置,并由此求解在特征点集合F上的一组最优的运动参数T=(a,X,Y),其中a为旋转角度,X,Y分别为x与y方向上的平移距离;
确定最优运动参数T具体包括以下步骤:
D1.初始化最优运动参数T=T0,对E中的像素点进行基于T矩阵的刚体变换,并得到在配准图中的对应点集并对点集E*进行光流运动补偿,从而得到新的坐标点(ms,ns):
其中gm(mE,nE)与gn(mE,nE)分别为图像x与y方向上的梯度,g(mE,nE)为梯度幅值,gΔt(mE,nE)表示点在图中的像素值与g(mE,nE)的差值;
D2.在参考图中,以(ms,ns)为中心的子区域:[ms-3,ms+6]×[ns-3,ns+3],搜索与(mE,nE)更为匹配的像素点(mop,nop),从而使得点(mE,nE)于点的欧式距离最小;
D3.在子集E中寻找出子集Eop,满足其中th3为默认阈值,同时记录下配准图上对应的点集 表示点(mE,nE)与点的欧几里得距离,表示满足欧几里得距离小于等于默认阈值的点集(mE,nE),本实施例中默认阈值th3取值为2,默认阈值th3过大会降低配准精度。
D4.如果点集合|Eop|>10,则可结合点集Eop与点集应用Mstimator估计出运动参数T=(a,X,Y),反之则转至步骤D5;
D5.重复步骤D1至D4共5次,如果最终检测的运动向量非常大,则转到步骤D1,否则输出T。
将初始化的特征点集E与运动参数T0再一次进行迭代运算,从而得到更为精确的运动参数方程T。
E.依据T变换图像,输出结果:
基于步骤D中求解的最优运动参数T,将当前活动图的彩色图像副本与参考图像的彩色图像副本配准,输出至外部显示设备;将图像序列Ii+1中的左视图设定为参考图像,右视图设为活动图像,并重复步骤A至E,直至所有图像序列处理完成。
所述步骤E中具体还包括以下步骤:
E1.按照最优运动参数T,将活动图的彩色副本图像进行映射,通过双线性插值法得到映射后的图像然后通过Gaussian-Laplacian算子对图像进行一次边缘增强滤波;
E2.在增强后的与参考图像之间,添加水平位移,位移距离为与人眼瞳孔距离相适应,本实施例中为60个像素点,然后输出图像。
求出最优运动参数T后,将活动图像的彩色副本与参考图像的彩色副本配准,同时为了保证配准后图像的清晰度,采用了精度损失较少的双线性插值法对图像进行差值,同时采用了Gaussian-Laplacian函数对图像进行滤波,从而消除噪声提高图像质量。最后在水平位移上添加位移差,从而保证后续3D显示效果。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (5)

1.一种全高清3D电子腹腔镜系统的图像配准方法,其特征在于:包括用于采集图像的两个镜头,其中一个镜头采集的图像作为图像序列中的左视图,另一个镜头采集的图像作为图像序列中的右视图,还包括以下步骤:
A.图像备份与图像转换:
将图像序列Ii中的左视图设定为参考图像,即配准图,右视图设为活动图像,将左视图与右视图转化为灰度图像,并保留彩色图像副本一份,转化公式为:
G(m,n)=I(R*0.3+G*0.59+B*0.11)
其中,G(m,n)表示彩色图像中点(m,n)转换后的灰度值;m,n表示图像像素点的坐标值;R,G,B分别代表点(m,n)的三个彩色通道对应的像素值;
B.图像分块与特征点提取:
建立二维坐标系,在活动图像(右视图)中寻找一系列特征点子集Fi={(mj,nj)|j=1,...,N},其中(mj,nj)为第j个特征点在活动图中的像素点坐标值,由所有的特征点子集形成特征点集合F;
C.搜索特征子集E,计算初始运动参数T0
在特征点集合F中,迭代搜索初始的最优子集然后基于最优子集E采用刚体变换估计运动参数运动参数T0为在一个有效的最优子集上的最佳匹配结果;其中a0为旋转角度,分别为x与y方向上的平移距离;
D.计算最优运动参数T:
将运动参数T0作为最优运动参数T的初始值,估计特征点集合F中每个特征点在配准图上所对应的特征点位置: 为集合F中第j个特征点在配准图上的位置,并由此求解在特征点集合F上的一组最优的运动参数T=(a,X,Y),其中a为旋转角度,X,Y分别为x与y方向上的平移距离;
E.依据T变换图像,输出结果:基于步骤D中求解的最优运动参数T,将当前活动图的彩色图像副本与参考图像的彩色图像副本配准,输出至外部显示设备;将图像序列Ii+1中的左视图设定为参考图像,右视图设为活动图像,并重复步骤A至E,直至所有图像序列处理完成。
2.如权利要求1所述的全高清3D电子腹腔镜系统的图像配准方法,其特征在于:所述步骤B中特征点选取包括以下步骤:
B1.对当前活动图像利用Canny算子计算并获得其边缘二值图像然后对二值图像进行平滑滤波,取二维核函数大小为(2k+1)*(2k+1),其中,k∈N+,同时滤波系数为1,得到滤波结果为一个非二值图像
B2.将非二值图像均分为多个不重叠的矩形子区域;
B3.通过搜索每一个子区域得到一个特征点子集Fi={(mj,nj)|j=1,...,N},使其中每一个点在图像上的灰度值最大,图像的灰度值即为特征值,并且需满足Th为选取阈值。
3.如权利要求1所述的全高清3D电子腹腔镜系统的图像配准方法,其特征在于:所述步骤C中计算最优子集具体包括以下步骤:
C1.将特征值排在前30%的特征点作为子集,并在选择出的特征子集中再任意选择特征点组成点集合Fr
C2.根据点集合Fr中的点坐标,在配准图中搜索相应的最近点集合Q;具体通过计算比较点集合Fr与配准图中点的欧式距离,找到Fr中对应的最近点集合,并存储于最近点集合Q中;
C3.计算点集合Fr与最近点集合Q的重心位置坐标,然后对两个点集进行中心化处理,并得到新点集与Qc,重心位置坐标计算公式为:
其中,表示重心,mk与nk表示点集Fr或Q中第k个点的坐标值,L表示点集Fr中点的总个数;
中心化处理公式为:
即将原点集合Fr与最近点集合Q中点的坐标与其重心坐标相减,其中Fr c与Qc分别表示中心化处理后的点集,分别表示点集Fr与点集Q的重心;
C4.计算新点集与Qc的协方差矩阵,并求解由协方差矩阵组成的4*4的矩阵,协方差计算公式为:
其中,k的初始值为1,L为点集中总的像素点个数;
由协方差矩阵构造的4*4矩阵为:
其中,tr(Cov)为矩阵Cov的迹,Δ=[tr23,tr31,tr12]T,其中,trij=(Cov-CovT)ij,而I3为一个3*3的单位矩阵,Δ为协方差矩阵计算得到的一组列向量,用来组成矩阵B;
C5.计算矩阵B的最大特征值对应的特征向量[v0,v1,v2,v3],其中,v0,v1,v2,v3为特征向量的四个分量,并由此推算出旋转矩阵R,旋转矩阵R计算公式为:
C6.通过旋转矩阵R计算出平移矩阵P,平移矩阵P计算公式为:
因此可得到初始运动参数其中aR,分别为旋转角度、x方向平移量以及y方向平移量,同时由TR导出的刚体变换可表示为:
其中为点(mk,nk)经运动参数TR变换后的点,(mk,nk)表示变换之前的坐标点;
C7.通过初始运动参数计算出特征点集合F经TR变换后的点集F*,并重新计算点集F*与特征点集合F的平均欧式距离D,其中D的计算公式为:
其中mF,nF为点集F中的坐标值,k的初始值为1,L为点集F中的点数目;
C8.根据计算得到的平均欧式距离D,将特征点集合F分成A与B两组,即:
其中th2为分组阈值,取值为th2≤2;如果|A|/|B|>0.5,则输出E=A以及T0=TR,反之则重复步骤C1至C8。
4.如权利要求1所述的全高清3D电子腹腔镜系统的图像配准方法,其特征在于:所述步骤D中确定最优运动参数T具体包括以下步骤:
D1.初始化最优运动参数T=T0,对E中的像素点进行基于T矩阵的刚体变换,并得到在配准图中的对应点集并对点集E*进行光流运动补偿,从而得到新的坐标点(ms,ns):
其中gm(mE,nE)与gn(mE,nE)分别为图像x与y方向上的梯度,g(mE,nE)为梯度幅值,gΔt(mE,nE)表示点在图IiL中的像素值与g(mE,nE)的差值;
D2.在参考图中,以(ms,ns)为中心的子区域:[ms-3,ms+6]×[ns-3,ns+3],搜索与(mE,nE)更为匹配的像素点(mop,nop),从而使得点(mE,nE)于点的欧式距离最小;
D3.在子集E中寻找出子集Eop,满足其中th3为默认阈值,同时记录下配准图上对应的点集 表示点(mE,nE)与点的欧几里得距离,表示满足欧几里得距离小于等于默认阈值的点集(mE,nE);
D4.如果点集合|Eop|>10,则可结合点集Eop与点集应用Mstimator估计出运动参数T=(a,X,Y),反之则转至步骤D5;
D5.重复步骤D1至D4共5次,如果最终检测的运动向量非常大,则转到步骤D1,否则输出T。
5.如权利要求1所述的全高清3D电子腹腔镜系统的图像配准方法,其特征在于:所述步骤E中具体还包括以下步骤:
E1.按照最优运动参数T,将活动图的彩色副本图像进行映射,通过双线性插值法得到映射后的图像然后通过Gaussian-Laplacian算子对图像进行一次边缘增强滤波;
E2.在增强后的与参考图像之间,添加水平位移,位移距离与人眼瞳孔距离相适应,然后输出图像。
CN201810504610.3A 2018-05-24 2018-05-24 全高清3d电子腹腔镜系统的图像配准方法 Active CN108765473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810504610.3A CN108765473B (zh) 2018-05-24 2018-05-24 全高清3d电子腹腔镜系统的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810504610.3A CN108765473B (zh) 2018-05-24 2018-05-24 全高清3d电子腹腔镜系统的图像配准方法

Publications (2)

Publication Number Publication Date
CN108765473A true CN108765473A (zh) 2018-11-06
CN108765473B CN108765473B (zh) 2021-12-17

Family

ID=64006458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810504610.3A Active CN108765473B (zh) 2018-05-24 2018-05-24 全高清3d电子腹腔镜系统的图像配准方法

Country Status (1)

Country Link
CN (1) CN108765473B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
JP2015203881A (ja) * 2014-04-10 2015-11-16 富士通株式会社 見守り装置、表示方法及びプログラム
CN107595387A (zh) * 2017-07-28 2018-01-19 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
JP2015203881A (ja) * 2014-04-10 2015-11-16 富士通株式会社 見守り装置、表示方法及びプログラム
CN107595387A (zh) * 2017-07-28 2018-01-19 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统

Also Published As

Publication number Publication date
CN108765473B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN106236006B (zh) 3d光学分子影像腹腔镜成像系统
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
US20020137986A1 (en) Endoscope apparatus
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
JP2022105685A (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
WO2020102584A2 (en) Convolutional neural networks for efficient tissue segmentation
CN103458765B (zh) 图像处理装置
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN106618450B (zh) 一种三目立体内窥镜自标定的方法
Fan et al. 3D reconstruction of the WCE images by affine SIFT method
CN108742495A (zh) 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN109068035A (zh) 一种智能微相机阵列内窥成像系统
CN108765473A (zh) 全高清3d电子腹腔镜系统的图像配准方法
CN108804861A (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
CN115311405A (zh) 一种双目内窥镜的三维重建方法
CN115018890A (zh) 一种三维模型配准方法及系统
US20230081476A1 (en) Method of multiple image reconstruction and registration
Luo et al. A comparison of modified evolutionary computation algorithms with applications to three-dimensional endoscopic camera motion tracking
CN214017484U (zh) 一种单目内窥镜3d荧光成像系统
YAN et al. Three-dimensional Measurement System Design of Binocular Electronic Endoscope
CN206863747U (zh) 一种具有真实力反馈的脊柱微创手术培训系统
WO2024050918A1 (zh) 内窥镜定位方法、电子设备和非暂态计算机可读存储介质
US20230078857A1 (en) Method of robust surface and depth estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant