CN109949349B - 一种多模态三维图像的配准及融合显示方法 - Google Patents

一种多模态三维图像的配准及融合显示方法 Download PDF

Info

Publication number
CN109949349B
CN109949349B CN201910065740.6A CN201910065740A CN109949349B CN 109949349 B CN109949349 B CN 109949349B CN 201910065740 A CN201910065740 A CN 201910065740A CN 109949349 B CN109949349 B CN 109949349B
Authority
CN
China
Prior art keywords
image
point
registered
point cloud
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910065740.6A
Other languages
English (en)
Other versions
CN109949349A (zh
Inventor
夏有辰
张龙
马建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Peking University Third Hospital Peking University Third Clinical Medical College
Priority to CN201910065740.6A priority Critical patent/CN109949349B/zh
Publication of CN109949349A publication Critical patent/CN109949349A/zh
Application granted granted Critical
Publication of CN109949349B publication Critical patent/CN109949349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种多模态三维图像的配准及融合显示方法,涉及数字化医疗技术领域。该方法首先获取待进行手术的患者的多模态三维图像,使用边缘检测方法提取所述多模态三维图像的边缘特征图像;然后对边缘特征图像进行下采样,得到患者多模态三维图像的边缘特征点云;将待配准点云构造为高斯混合模型,计算待优化的点云概率密度函数;使用EM方法优化概率密度函数,得到多模态三维图像间配准参数;最后使用小波变换方法将多模态三维图像进行融合显示。本发明操作简便,成本低廉,配准结果准确,有较高的实用价值。

Description

一种多模态三维图像的配准及融合显示方法
技术领域
本发明涉及数字化医疗技术领域,具体涉及一种多模态三维图像的配准及融合显示方法。
背景技术
在数字化医疗诊断过程中,医生通常需要在手术前利用已采集的多模态三维图像对患者病变部位进行分析,从而制定手术计划。而术前采集的患者多模态三维图像在扫描角度、采集器材等方面存在差异,因而能突出显示的图像特征也不同。多模态三维图像是多种类型的三维图像,比如电子计算机断层扫描(CT)图像及磁共振成像(MRI)图像。为了综合术前采集的各种模态三维图像的优点,需要将不同模态的三维图像配准至同一角度并将每种图像能提供的患者病变部位特征融合至一张图像上显示,便于医生观察并制定手术计划。
在多模态图像配准领域,目前有使用迭代最近点方法以计算图像间变换矩阵,通过求解待配准图像间距离函数最优化问题以求得使待配准图像经变形后距离函数最小等方法。其中,使用迭代最近点方法计算图像间变换矩阵的方法对图像初始对齐状况要求较高,在求解过程中容易陷入局部最优解,通常需要在求解前进行粗配准过程,而且其只能用于求解刚性配准问题,在医生采集的患者多模态图像由于拍摄时间不同导致患者姿态不同的情况下会存在较大误差。求解待配准图像间距离函数最优化问题的方法由于需要定义图像间的距离函数,因此其对待配准图像间的相似性要求较高,当其应用于多模态图像配准时,由于不同模态图像间差异较大,因此配准精度较低。在解决非刚性配准问题时,由于求解参数过多,该方法复杂度也较高,导致时间成本过高。
发明内容
本发明的目的是为克服已有技术的不足之处,提出一种多模态三维图像的配准及融合显示方法。本发明克服现有技术中多模态三维图像配准精度低、时间成本高,无法应用于非刚性配准的问题,操作简便,成本低廉,配准结果准确,有较高的实用价值。
本发明提出一种多模态三维图像的配准及融合显示方法,包括以下步骤:步骤1:获取患者的CT三维图像和MRI三维图像,获取CT三维图像和MRI三维图像的边缘特征图像;步骤2:取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像,精度较低的图像为待配准图像;对由所述基准图像和待配准图像生成的边缘特征图像进行下采样,得到基准点云和待配准点云;步骤3:将基准点云构造为高斯混合模型;步骤4:计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数,获得待配准图像和基准图像间配准参数;以及步骤5:获取待配准图像的配准图像,将基准图像和配准图像通过小波变换方法融合并显示。
进一步的,步骤1中获取CT三维图像和MRI三维图像的边缘特征图像的步骤为:步骤11:分别对CT三维图像和MRI三维图像进行高斯滤波;步骤12:在xyz三个方向上分别计算每个体素位置的图像梯度;步骤13:对每个体素进行非极大值抑制,从而获得边缘体素;步骤14:根据每个体素是否属于边缘特征进行二值化生成CT三维图像和MRI三维图像的边缘特征图像。优选的,在体素周围3*3*3体素邻域内进行极大值抑制。
进一步的,在步骤13中还包括使用双阈值检测方法获得边缘体素。
进一步的,步骤2包括以下步骤:步骤21:按照体素栅格化的方式对CT三维图像和MRI三维图像的边缘特征图像进行下采样;步骤22:在栅格化后的每个体素中使用该体素包含的所有点的重心近似表示该体素内的点,将所有重心构成的集合作为边缘特征点云,从而获得基准点云和待配准点云。
进一步的,采样的间距为多模态三维图像的层间距。
进一步的,步骤4包括以下步骤:步骤41:统计基准点云和经变换T后待配准点云中每个点的邻域内其他点相对于该点的距离和方向,并使用直方图表示作为该点处的局部特征向量;计算基准点云和经变换T后待配准点云中任意两点的特征向量距离,获取对应点并计算对应点的先验概率;步骤42:计算待配准点云的概率密度函数,包括以下步骤:计算待配准点云中点ym的概率密度函数,计算公式为:
Figure GDA0002840572220000031
其中θ为需要求解的配准参数,γ为待配准点云所有点中为噪声点的频率,Pr为噪声点对概率密度函数的贡献,σ2为正态分布的方差,πmn为点ym和点xn间的先验概率,T为基准点云到待配准点云的变换,p(ym|θ)为每个点ym的概率密度函数;
待配准点云的概率密度函数为待配准点云中每个点ym概率密度函数的乘积;
步骤43:根据先验知识计算隐变量zm的后验概率,计算公式如下:
Figure GDA0002840572220000032
其中πmn为点ym和点xn间的先验概率,P(ym|θ)为点ym的概率密度函数,P(ym|zm=n,θ)为点xn附近正态分布对点ym的概率密度函数的贡献,pmn为隐变量zm的后验概率;
步骤44:计算概率密度函数似然函数,概率密度函数似然函数的计算公式如下:
Figure GDA0002840572220000041
其中,pmn=P(zm=n|ym,θ)为隐变量zm的后验概率,πmn为先验概率,p(ym|θ)为概率密度函数,H(θ)为待优化的概率密度函数似然函数。
步骤45:将似然函数对其参数变换T、噪声点频率γ以及正态分布方差σ2分别求偏导并令偏导等于0,求得似然函数最大时的配准参数;
步骤46:重复步骤41至步骤45直至步骤44得到的似然函数收敛,此时的变换参数T为待配准图像至基准图像的变换。
进一步的,对应点的先验概率的计算公式为:
Figure GDA0002840572220000042
其中,xn为基准点云中一点,ym为待配准点云中一点,I为所有与点xn对应的点构成的集合,N为待配准点云中包含点的数量,τ为常数,πmn为点ym和点xn间对应的先验概率。
进一步的,步骤42中,变换矩阵T在第一次迭代时为单位矩阵I,σ在第一次迭代时为基准点云平均点间距的一半,Y在第一次迭代为0.1。
进一步的,步骤5包括以下步骤:步骤51:待配准图像通过变换矩阵T配准得到配准图像;步骤52:对配准图像和基准图像分别进行滤波和降频处理,得到配准图像和基准图像的低频部分和高频部分;步骤54:对低频部分采用平均融合,对高频部分采用局部方差加权平均融合,从而得到融合信号;步骤55:对融合信号进行小波变换逆变换,获得融合后的图像,并显示。
进一步的,进行滤波为在x,y,z方向分别作三层迭代的小波变换。
优选的,高频部分采用局部方差加权平均融合为:首先对两个高频部分用canny算子进行边缘提取得到两个边缘图像,再对边缘图像的每一像素计算局部方差,根据归一化方差计算该像素的权重,然后通过加权平均方法计算两个边缘图像中共同像素的值。
本发明使用多模态三维图像的边缘特征作为配准依据,该特征在不同模态的图像中相似程度较高,解决了不同模态图像相似程度难以度量的问题。
本发明使用高斯混合模型概率密度函数优化问题代替原有点云配准问题,使用高斯混合模型表示点云可以模拟非刚性配准中点与点之间对应关系的不确定性,且使用点云局部特征作为先验知识指导最优化问题求解可以充分利用图像特征信息,提高配准精度。
本发明使用EM方法求解概率密度函数的最优化问题,提高了方法效率。
本发明使用小波变换融合不同的图像,保证图像信号在分解过程中在没有信息损失和冗余信息的情况下提取出图像的结构信息和细节信息,并将其进行融合,增强了融合效果。
附图说明
图1是本发明实施例的一种多模态三维图像的配准及融合显示方法整体流程图;
图2是根据本发明一个实施例的CT图像边缘特征提取结果;
图3是根据本发明一个实施例的MRI图像边缘特征提取结果;
图4是根据本发明一个实施例的CT和MRI配准融合结果;
图5是根据本发明一个实施例的求解似然函数的流程图;
图6是根据本发明一个实施例的融合过程的流程图。
如图所示,为了能明确实现本发明的实施例的结构,在图中标注了特定的结构和器件,但这仅为示意需要,并非意图将本发明限定在该特定结构、器件和环境中,根据具体需要,本领域的普通技术人员可以将这些器件和环境进行调整或者修改,所进行的调整或者修改仍然包括在后附的权利要求的范围中。
具体实施方式
本发明提出一种多模态三维图像的配准及融合显示方法,下面结合附图和具体实施例对本发明进一步详细说明如下。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明提出的多模态三维图像的配准及融合显示方法,步骤1:获取患者的CT三维图像和MRI三维图像,获取CT三维图像和MRI三维图像的边缘特征图像;步骤2:取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像;精度较低的图像为待配准图像;对由所述基准图像和待配准图像生成的边缘特征图像进行下采样,得到基准点云和待配准点云;步骤3:将基准点云构造为高斯混合模型;步骤4:计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数,获得待配准图像和基准图像间配准参数;以及步骤5:获得待配准图像的配准图像,将配准图像和基准图像通过小波变换方法融合并显示。整体流程如图1所示,下面具体说明。
1)在步骤1中,对患者同一部位的不同类型的图像提取边缘特征;
具体来说,获取待进行手术的患者的CT三维图像和MRI三维图像。由于CT图像和MRI图像相似度较低不方便配准,故需要先将CT图像和MRI图像转变为相似程度较高的边缘特征图像再进行配准。可以使用针对多模态三维图像改进的Canny边缘检测方法分别提取CT三维图像和MRI三维图像的边缘特征图像。
首先对CT三维图像和MRI三维图像进行高斯滤波,然后在xyz三个方向上分别计算每个体素位置的图像梯度,梯度的计算方法如下:
Figure GDA0002840572220000071
其中f为图像在该体素处的灰度,gx,gy,gz分别为该体素处在xyz三个方向上的梯度,dx,dy,dz优选地分别为图像在xyz三个方向上的层间距,g为该体素处梯度,xyz为该体素在相应图像上的坐标。
计算出图像每个体素梯度后,使用非极大值抑制筛选出边缘体素。筛选方法为比较该体素处梯度与其梯度方向上相邻两点处梯度,若该体素处梯度大于其梯度方向上相邻两点处梯度则认为其为边缘,保留该体素,否则认为其不是边缘,丢弃。相邻体素梯度根据该体素周围一定邻域体素双线性插值得到,范围优选3*3*3个体素。为减少噪声对边缘提取的影响,还可以再使用双阈值检测分割出边缘体素。
最后根据图像每个体素是否属于边缘将其二值化为CT三维图像和MRI三维图像生成边缘特征图像。
经过此步骤后,可以得到与原始图像同大小的三维二值图像,二值图像中每个体素的布尔值表示原图像在该体素位置处是否为边缘。
2)在步骤2中,取CT三维图像和MRI三维图像中精度较高的图像为基准图像,精度较低的图像为待配准图像,对由基准图像和待配准图像生成的边缘特征图像进行下采样,得到基准点云和待配准点云。
具体地,首先取CT三维图像和MRI三维图像中精度较高的图像为基准图像,精度较低的图像为待配准图像,然后将边缘特征图像体数据栅格化,在边缘特征图像的xyz维度(三维坐标系的三个维度)上均匀采样,将边缘特征图像均匀拆分为三维体素,采样间距的取值越大则生成的边缘特征点云点数越少,配准计算越快,采样间距取值越小则生成的边缘特征点云点数越多,配准精度越高,一般可将采样间距取为图像的层间距。然后在每个体素内计算其包含的所有点的重心近似表示该体素内所有点,所有体素内计算出的重心构成的集合就是边缘特征点云。将边缘特征点云配准,就是将多模态图像体数据配准。
3)在步骤3中,将基准点云构造为高斯混合模型。
具体地,将基准点云X(如CT点云)中每个点认为是一个正态分布中心,设其包含N个点,即可认为X是一个包含N个正态分布的高斯混合模型。同时设包含M个点的待配准点云Y(如MRI点云)是一个在点云X构成的高斯混合模型上的分布。
4)在步骤4中,使用EM方法迭代求解使得待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数。如图5所示,具体步骤如下:
4-1)计算点云局部特征作为先验知识;
在本实施例中,提取基准点云和待配准点云每个点处的局部特征,作为先验知识指导隐变量后验概率的计算。具体地,使用快速点特征直方图(FPFH)方法提取基准点云和经变换T后待配准点云(在第一次迭代中使用单位矩阵I作为变换矩阵T,之后的每次迭代中使用上一次迭代计算得到的结果作为变换矩阵T)中每个点的局部特征向量,即统计每个点邻域内其他点相对于该点的距离和方向,并使用直方图表示作为该点处的局部特征向量。对于经变换T后待配准点云Y中每个点ym,计算其与基准点云X中每个点xn特征向量间的距离,当此距离小于阈值λ时,标记点ym和点xn为对应点,否则标记点ym和点xn不相互对应。λ为距离阈值,当距离小于λ时标记点ym和点xn为对应点,否则标记点ym和点xn不相互对应。取值要求为:使xn点欧氏距离小于3σ内所有点的特征向量与xn点的距离小于λ,大于3σ内所有点的特征向量与xn点的距离大于λ。参数σ表示构造高斯混合模型时的标准差(第一次迭代时σ取基准点云平均点间距的一半)。
Figure GDA0002840572220000091
其中I为所有与点xn对应的点构成的集合,N为待配准点云Y中包含点的数量,τ为常数,当待配准图像和基准图像差别较小时取0.9,ym为待配准点云Y中点,πmn即为点ym和点xn间对应的先验概率。
4-2)计算待配准点云的概率密度函数
根据待配准点云Y在构造的基准点云X的高斯混合模型中的分布计算点云Y的概率密度函数,其中点云Y的概率密度函数为其每个点的概率密度函数之积。具体地,首先由上次迭代中的待配准点云至基准点云的变换作为变换矩阵T(第一次迭代时使用单位矩阵I作为变换矩阵T),参数σ表示构造高斯混合模型时的标准差(第一次迭代时σ取基准点云平均点间距的一半),参数Y表示待配准点云Y的噪声频率(第一次迭代时Y取0.1),将变换矩阵T、参数σ以及Y组合作为配准参数θ,即θ={T,σ2,γ}。
对点云Y中一点ym,其在点云X的高斯混合模型中的概率密度函数为高斯混合模型中每个单独的正态分布对其概率密度函数贡献加权求和得到,计算方法为:
Figure GDA0002840572220000101
其中θ为配准参数,Pγ为噪声点对概率密度函数的贡献,一般可取值为待配准图像体积的倒数,πmn为点ym和点xn间对应的先验概率,p(ym|θ)为每个点ym的概率密度函数。
点云Y的概率密度函数为其每个点ym概率密度函数的乘积,即:
Figure GDA0002840572220000102
其中p(ym|θ)为每个点ym的概率密度函数,M为点云Y中点的个数,P(Y|θ)为点云Y的概率密度函数。
4-3)计算隐变量的后验概率;
根据步骤4-1)得到的先验知识、步骤4-2)得到的概率密度函数似然函数以及步骤4-2)得到的参数值θ计算隐变量zm的后验概率。具体地,使用贝叶斯公式计算隐变量zm的后验概率方法如下:
Figure GDA0002840572220000103
其中πmn为步骤4-1)得到的点ym和点xn间对应的先验概率,P(ym|θ)为步骤4-2)得到的点ym的概率密度函数,P(ym|zm=n,θ)为点ym在点xn构成的正态分布中的概率密度函数,计算方法为
Figure GDA0002840572220000104
pmn为隐变量zm的后验概率。
4-4)计算概率密度函数似然函数
为使待配准点云Y经变换T与基准点云X最为接近,即其与基准点云X生成的高斯混合模型重合度最高,应使其在高斯混合模型中的概率密度函数取得最大值,因此将待配准点云向目标基准点云配准的问题转化为求解待配准点云在基准点云生成的高斯混合模型中概率密度函数最大值的问题。为方便求得概率密度函数P(Y|θ)的最大值及最大值取得函数,使用似然函数代替概率密度函数并使用EM方法求解此似然函数的最优化问题代替原先概率密度函数的最值求解问题。其中似然函数的计算方法为:
Figure GDA0002840572220000111
其中,pmn=P(zm=n|ym,θ)为步骤4-3)得到的最优化问题求解过程中隐变量zm的后验概率,πmn为步骤4-1)得到的先验概率,p(ym|θ)为步骤4-2)得到的概率密度函数,H(θ)为待优化的概率密度函数似然函数。
4-5)优化求解概率密度函数似然函数;
根据步骤4-2)计算得到的隐变量zm的后验概率pmn以及步骤3-2)得到的待优化似然函数H(θ),对其求解最优化问题得到配准参数θ。具体地,将似然函数H(θ)对θ的3个参数:变换T、噪声点频率γ以及正态分布方差σ2分别求偏导,令偏导等于0即可解出使得似然函数H(θ)取得极大值时的参数,其中参数σ2表示将基准点云X构造为高斯混合模型时其每个正态分布的方差,参数γ表示待配准点云Y所有点中噪声点的比例(通过解偏导等于0的方程得到),变换T表示待配准点云Y至基准点云X的变换。
在EM方法求解概率密度函数似然函数的最优化问题过程中,重复执行步骤4-2)至步骤4-5),迭代直至似然函数收敛,此时的似然函数值即是概率密度函数的极值,概率密度函数取得极值的参数值就是配准参数。
在似然函数收敛后即可认为此时的参数T即为待配准点云Y至基准点云X的变换,也即是待配准图像与基准图像的配准结果(将待配准点云Y中一点坐标乘以变换矩阵T即可与基准点云X对齐,故称T为配准结果)。将此变换T应用于待配准图像即可与基准图像对齐。
5)在步骤5中,获取待配准三维图像的配准图像,然后通过小波变换方法将基准图像和配准图像进行融合并显示,如图6所示。
首先,将待配准图像在同一坐标系下通过变换矩阵T配准得到配准图像,即使用变换T将待配准点云Y中一点坐标乘以T变换矩阵即可与基准点云X对齐,从而得到配准图像。
然后,分别将配准图像与基准图像看作离散信号,可以记为x[m,n,l],随后迭代地对离散信号的x,y,z方向分别作低通和高通滤波并做降频处理。比如第一次迭代,首先对离散信号的水平方向做低通和高通滤波及降频处理,得到
Figure GDA0002840572220000121
Figure GDA0002840572220000122
Figure GDA0002840572220000123
类似地,后两步则是对其y,z方向做滤波及降频处理。每三步看作小波变换的一个阶段。
按上述步骤进行三层小波变换分解后,得到变换后的信号wCT,wMRI,Wct是基准图像变换后的信号,WMRI为配准图像变换后的信号。记低频分量分别为lCT,lMRI,高频分量分别为hcT,hMRI。低频部分采用平均融合方式,也即
Figure GDA0002840572220000124
高频部分采用局部方差加权平均方式,即首先对两个高频部分用canny算子进行边缘提取得到边缘图像,再对边缘图像的每一个像素计算局部方差,根据归一化方差计算该像素的权重,随后进行加权平均。假设两张图像在同一像素位置经高频变换后的值是x,y,两张图像中该像素计算得到的权重为w1,w2,则这两张图像融合后在这一像素位置处得到的值是(w1x+w2y)/(w1+w2)。
将融合后的低频分量和高频分量通过小波变换逆变换为图像,即得到融合后的图像,并显示。
本发明的一组实施例为对一名患者的CT和MRI图像进行配准融合,使用步骤2)所述边缘特征提取方法对该患者的CT和MRI图像进行边缘特征提取结果如图2、3所示。该患者的CT和MRI图像配准融合结果如图4所示。
本发明实施例的方法,对患者术前获取的多模态三维图像使用针对三维改进的Canny边缘检测方法提取边缘特征图像;对边缘特征图像进行下采样得到边缘特征点云,从而将图像体数据配准问题转化为点云配准问题;将点云模型构造为高斯混合模型,计算待配准点云在目标点云构造的高斯混合模型上分布的概率密度函数,从而将点云配准问题转化为概率密度函数优化问题;使用EM方法求解概率密度函数似然函数的极值,得到点云间变换关系;将变换关系应用于待配准图像从而与目标图像对齐;使用小波变换方法将配准后的多模态图像融合。由此可知,本发明在进行多模态三维图像的配准及融合显示的过程中,结合考虑了多模态三维图像的边缘、全局、局部特征以提高配准精度,使用EM方法求解概率密度函数最优化问题以提高方法效率,使用小波变换进行配准后图像融合以增强显示效果。
本发明的方法可以替代现有的多模态三维图像的配准及融合显示方法,本方法配准结果准确,使用高斯混合模型考虑不同模态图像间存在的非刚性变换,参考图像边缘特征以及局部特征提高配准精度;时间成本较低,使用EM方法快速求解原本难以求解的最优化问题。
当然,本发明还有多种其他实施例,在不背离本发明精神和实质的情况下,熟悉本领域的技术人员可根据本发明做出各种相应的改变,但这种改变都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种多模态三维图像的配准及融合显示方法,其特征在于,包括以下步骤:
步骤1:获取患者的CT三维图像和MRI三维图像,获取所述CT三维图像和MRI三维图像的边缘特征图像;
步骤2:取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像,精度较低的图像为待配准图像;对由所述基准图像和待配准图像生成的边缘特征图像进行下采样,得到基准点云和待配准点云;
步骤3:将所述基准点云构造为高斯混合模型;
步骤4:计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数,获得所述待配准图像和基准图像间配准参数;以及
步骤5:获取所述待配准图像的配准图像,将所述基准图像和所述配准图像通过小波变换方法融合并显示,
所述步骤4包括以下步骤:
步骤41:统计所述基准点云和所述待配准点云经变换T后每个点的邻域内其他点相对于该点的距离和方向,并使用直方图表示作为该点处的局部特征向量;计算所述基准点云和所述待配准点云经变换T后任意两点的特征向量距离,获取对应点并计算对应点的先验概率;
步骤42:计算所述待配准点云的概率密度函数,包括以下步骤:
计算所述待配准点云中点ym的概率密度函数,计算公式为:
Figure FDA0003208163670000011
其中θ为需要求解的配准参数,γ为所述待配准点云所有点中为噪声点的频率,Pγ为噪声点对概率密度函数的贡献,σ2为正态分布的方差,πmn为点ym和点xn间的先验概率,T为所述基准点云到所述待配准点云的变换,p(ym|θ)为每个点ym的概率密度函数;
所述待配准点云的概率密度函数为所述待配准点云中每个点ym概率密度函数的乘积;
步骤43:根据所述先验知识计算隐变量zm的后验概率,计算公式如下:
Figure FDA0003208163670000021
其中πmn为点ym和点xn间的先验概率,P(ym|θ)为点ym的概率密度函数,P(ym|zm=n,θ)为点xn附近正态分布对点ym的概率密度函数的贡献,pmn为隐变量zm的后验概率;
步骤44:计算概率密度函数似然函数,概率密度函数似然函数的计算公式如下:
Figure FDA0003208163670000022
其中,pmn=P(zm=n|ym,θ)为隐变量zm的后验概率,πmn为点ym和点xn间的先验概率,p(ym|θ)为概率密度函数,H(θ)为待优化的概率密度函数似然函数;
步骤45:将所述似然函数对其参数变换T、噪声点频率γ以及正态分布方差σ2分别求偏导并令偏导等于0,求得似然函数最大时的配准参数;
步骤46:重复步骤41至步骤45直至步骤44得到的似然函数收敛,此时的变换参数T为所述待配准图像至所述基准图像的变换。
2.根据权利要求1所述的方法,其特征在于,所述步骤1中获取边缘特征图像的步骤为:
步骤11:分别对所述CT三维图像和所述MRI三维图像进行高斯滤波;
步骤12:在xyz三个方向上分别计算每个体素位置的图像梯度;
步骤13:对每个体素进行非极大值抑制,从而获得边缘体素;优选在周围3*3*3体素邻域内进行非极大值抑制;
步骤14:根据每个体素是否属于所述边缘特征为所述CT三维图像和所述MRI三维图像生成边缘特征图像。
3.根据权利要求2所述的方法,其特征在于,在所述步骤13中还包括使用双阈值检测方法获得边缘体素。
4.根据权利要求1所述的方法,其特征在于,所述步骤2包括以下步骤:
步骤21:按照体素栅格化的方式对所述CT三维图像和MRI三维图像的边缘特征图像进行下采样;
步骤22:使用栅格化后的所有体素的重心构成边缘特征点云,从而获得所述基准点云和待配准点云。
5.根据权利要求4所述的方法,其特征在于,所述采样的间距为多模态三维图像的层间距。
6.根据权利要求1所述的方法,其特征在于,所述对应点的先验概率的计算公式为:
Figure FDA0003208163670000031
其中,xn为所述基准点云中一点,ym为所述待配准点云中一点,I为所有与点xn对应的点构成的集合,N为所述待配准点云中包含点的数量,τ为常数,πmn为点ym和点xn间的先验概率。
7.根据权利要求1所述的方法,其特征在于,所述步骤42中,变换矩阵T在第一次迭代时为单位矩阵I,σ在第一次迭代时为所述基准点云平均点间距的一半,γ在第一次迭代时为0.1。
8.根据权利要求1所述的方法,其特征在于,所述步骤5包括以下步骤:
步骤51:所述待配准图像通过变换矩阵T配准得到配准图像;
步骤52:对所述配准图像和基准图像分别进行滤波和降频处理,得到所述配准图像和基准图像的低频部分和高频部分;
步骤53:对所述低频部分采用平均融合,对所述高频部分采用局部方差加权平均融合,从而得到融合信号;优选的,所述高频部分采用局部方差加权平均融合为:首先对两个高频部分用canny算子进行边缘提取得到两个边缘图像,再对边缘图像的每一像素计算局部方差,根据归一化方差计算该像素的权重,然后通过加权平均方法计算两个边缘图像中共同像素的值;
步骤54:对所述融合信号进行小波变换逆变换,获得融合后的图像,并显示。
9.根据权利要求8所述的方法,其特征在于,所述步骤52中,所述进行滤波为在x,y,z方向分别作三层迭代的小波变换。
CN201910065740.6A 2019-01-24 2019-01-24 一种多模态三维图像的配准及融合显示方法 Active CN109949349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910065740.6A CN109949349B (zh) 2019-01-24 2019-01-24 一种多模态三维图像的配准及融合显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910065740.6A CN109949349B (zh) 2019-01-24 2019-01-24 一种多模态三维图像的配准及融合显示方法

Publications (2)

Publication Number Publication Date
CN109949349A CN109949349A (zh) 2019-06-28
CN109949349B true CN109949349B (zh) 2021-09-21

Family

ID=67007391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910065740.6A Active CN109949349B (zh) 2019-01-24 2019-01-24 一种多模态三维图像的配准及融合显示方法

Country Status (1)

Country Link
CN (1) CN109949349B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599446B (zh) * 2019-07-26 2022-06-17 深圳供电局有限公司 隔离开关合闸位置判别方法
CN110689576B (zh) * 2019-09-29 2023-04-07 桂林电子科技大学 一种基于Autoware的动态3D点云正态分布AGV定位方法
CN111260701B (zh) * 2020-01-08 2023-06-30 华南理工大学 多模态视网膜眼底图像配准方法及装置
CN111681309B (zh) * 2020-06-08 2023-07-25 北京师范大学 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
EP3975120B1 (en) * 2020-09-24 2023-01-11 Stryker European Operations Limited Technique for guiding acquisition of one or more registration points on a patient's body
CN112308961B (zh) * 2020-11-05 2022-06-10 湖南大学 基于分层高斯混合模型的机器人快速鲁棒三维重建方法
CN113902839B (zh) * 2021-10-09 2022-04-22 云路复合材料(上海)有限公司 一种多维空间曲面打磨作业轨迹在线生成方法和机器人
CN114549605B (zh) * 2021-12-31 2023-08-04 广州景骐科技有限公司 基于点云匹配的图像优化方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014131467A1 (en) * 2013-03-01 2014-09-04 Siemens Aktiengesellschaft Method for evaluating treatment-relevant spatial information
CN105069840A (zh) * 2015-09-14 2015-11-18 南开大学 一种基于曲率特征的三维正态分布变换点云配准方法
CN106960468A (zh) * 2017-04-12 2017-07-18 武汉理工大学 一种三维激光扫描点云精度评价方法
CN108389250A (zh) * 2018-03-08 2018-08-10 武汉大学 基于点云数据快速生成建筑物断面图的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854270A (zh) * 2012-11-28 2014-06-11 广州医学院第一附属医院 一种ct和mr异机三维图像融合的配准方法及系统
US20160379366A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Aligning 3d point clouds using loop closures
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
CN107451983A (zh) * 2017-07-18 2017-12-08 中山大学附属第六医院 Ct图像的三维融合方法和系统
CN109166105B (zh) * 2018-08-01 2021-01-26 中国人民解放军东部战区总医院 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统
CN108711187B (zh) * 2018-08-03 2021-12-31 华侨大学 配准融合ct和mri信号建立人体腰椎三维仿真模型的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014131467A1 (en) * 2013-03-01 2014-09-04 Siemens Aktiengesellschaft Method for evaluating treatment-relevant spatial information
CN105069840A (zh) * 2015-09-14 2015-11-18 南开大学 一种基于曲率特征的三维正态分布变换点云配准方法
CN106960468A (zh) * 2017-04-12 2017-07-18 武汉理工大学 一种三维激光扫描点云精度评价方法
CN108389250A (zh) * 2018-03-08 2018-08-10 武汉大学 基于点云数据快速生成建筑物断面图的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Analysis of CT and MRI Image Fusion Using Wavelet Transform;Kiran Parmar 等;《2012 International Conference on Communication Systems and Network Technologies》;20120517;第124-127页 *

Also Published As

Publication number Publication date
CN109949349A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109949349B (zh) 一种多模态三维图像的配准及融合显示方法
Armanious et al. Unsupervised medical image translation using cycle-MedGAN
CN108776969B (zh) 基于全卷积网络的乳腺超声图像肿瘤分割方法
US11633146B2 (en) Automated co-registration of prostate MRI data
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
Neubert et al. Automated detection, 3D segmentation and analysis of high resolution spine MR images using statistical shape models
Trinh et al. Novel example-based method for super-resolution and denoising of medical images
EP3295374B1 (en) Method and system for landmark detection in medical images using deep neural networks
Carballido-Gamio et al. Normalized cuts in 3-D for spinal MRI segmentation
Wei et al. Tensor voting guided mesh denoising
WO2018000564A1 (zh) 血管中心线提取方法及系统
JP2018192264A (ja) 医用画像処理装置
US20070223815A1 (en) Feature Weighted Medical Object Contouring Using Distance Coordinates
US8135189B2 (en) System and method for organ segmentation using surface patch classification in 2D and 3D images
US8897519B2 (en) System and method for background phase correction for phase contrast flow images
US20210383534A1 (en) System and methods for image segmentation and classification using reduced depth convolutional neural networks
Duan et al. A novel GA-based optimized approach for regional multimodal medical image fusion with superpixel segmentation
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
Anand et al. An edge vector and edge map based boundary detection in medical images
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
Prince et al. Bandpass optical flow for tagged MRI
CN117911432A (zh) 图像分割方法、装置及存储介质
Rashid et al. Single MR image super-resolution using generative adversarial network
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
Thurnhofer-Hemsi et al. Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant