CN107507234B - 锥束计算机断层扫描图像与x光图像配准方法 - Google Patents

锥束计算机断层扫描图像与x光图像配准方法 Download PDF

Info

Publication number
CN107507234B
CN107507234B CN201710756002.7A CN201710756002A CN107507234B CN 107507234 B CN107507234 B CN 107507234B CN 201710756002 A CN201710756002 A CN 201710756002A CN 107507234 B CN107507234 B CN 107507234B
Authority
CN
China
Prior art keywords
image
dimensional
pyramidal
deformation parameter
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710756002.7A
Other languages
English (en)
Other versions
CN107507234A (zh
Inventor
裴玉茹
秦海芳
张云庚
郭玉珂
许天民
查红彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201710756002.7A priority Critical patent/CN107507234B/zh
Publication of CN107507234A publication Critical patent/CN107507234A/zh
Application granted granted Critical
Publication of CN107507234B publication Critical patent/CN107507234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种锥束计算机断层扫描图像与X光图像配准方法,利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联,基于混合残差卷积神经网络与变形参数迭代优化方法,实现可靠的在线二维三维图像配准;包括:提取得到图像通道;训练基于混合残差卷积神经网络的回归模型;进行基于回归的二维三维非刚性配准;迭代优化变形参数;由此得到由变形参数确定的最终的体图像,实现基于迭代回归的二维三维图像配准。本发明能够实现可靠的在线二维三维图像配准,可用于口腔临床基于二维与三维图像评价治疗及分析颅面生长。

Description

锥束计算机断层扫描图像与X光图像配准方法
技术领域
本发明涉及口腔临床医学和计算机视觉技术领域,具体涉及锥束计算机断层扫描图像与X光图像配准方法。
背景技术
口腔正畸治疗通常会持续数年,在治疗过程中采集的多张图像将用于评价颌面结构的刚性与非刚性形态差异,特别是对于未成年人患者采集的图像之间的差异还涉及到结构生长的非刚性形态变化。在临床口腔正畸中广泛使用锥束计算机断层扫描(锥束CT)图像之前,二维X光图像是唯一记录颌面形态变化的介质。非刚性的二维三维图像配准是从治疗中的X光图像中获取三维图像的关键步骤。传统的二维三维图像配准方法依赖迭代优化以最小化数字重建X光片(digitally-reconstructed-radiographs,DRR)与目标X光片之间的差异,并求解三维图像的空间刚性与非刚性变换。基于迭代优化的配准过程由于需要大量在线DRR计算而耗时。相对于刚性的图像配准,非刚性的二维三维图像配准由于涉及到大量参数的求解通常需要更大的时间代价。传统三维图像配准的测度被用于进行二维三维图像配准,例如离散直方图测度与变分互信息测度等。为了缓解测度计算中的时间代价,基于特征的二维三维图像配准使用基于诸如角点,线段等特征的测度。但是医学图像中准确检测结构的几何特征本身也是一个具有挑战性的任务,特别是考虑到颅面X光图像中由于结构重合造成图像模糊,不易于自动获取精确的结构几何特征。此外,基于特征的二维三维图像配准方法仍然使用迭代优化,在迭代优化的过程中会扩散特征检测误差。基于统计的表面网格与灰度模型可以降低二维三维图像配准中参数空间,但是对于复杂结构,仅仅调节统计模型中的有限参数难于获取统计模型与目标结构的紧密拟合。基于统计模型的二维三维图像配准仍然依赖于大量的在线DRR计算,也会进一步增加配准的时间代价。利用回归模型可以在二维图像与三维图像变形参数之间建立联系,不需要进行在线的DRR。基于部分最小二乘回归已被用于从二维X光图像重建三维图像,但是其中仍需要额外的三维代理模型用于模型学习。回归森林也被用于构造二维X光图像特征空间与三维体图像特征空间之间的映射,但是该映射依赖于二维与三维图像的特征提取。卷积神经网络在大量的计算机视觉与医学图像处理任务中具有很好的性能。基于卷积神经网络的方法用于进行二维三维图像配准,但是现有基于卷积神经网络回归模型的配准工作仅仅处理刚性二维三维图像配准中少量参数,并且其中的单次回归也难于处理颅面三维图像中的所涉及的非刚性复杂结构变化。
发明内容
为了克服上述现有技术的不足,本发明提供一种锥束计算机断层扫描图像与X光图像配准方法,基于卷积神经网络回归方法,进行二维X光图像与三维锥束CT图像之间的非刚性配准,可有效地改进二维三维图像配准,并实现可靠的在线二维三维图像配准,可用于口腔临床基于二维与三维图像评价治疗及分析颅面生长。
本发明的原理是:利用基于卷积神经网络的回归模型建立二维图像与三维图像非刚性变形参数之间的关联。在基于卷积神经网络的回归模型中,引入残差连接构造混合残差网络用于增强图像中的信息的传播以及回归模型的训练。该方法从一组锥束CT图像中提取锥束CT图像相对于参照锥束CT图像的非刚性变换参数,并对锥束CT图像的非刚性变形参数构造子空间,子空间中每一个点都对应三维锥束CT图像的非刚性变形参数,可用于对参照锥束CT图像进行非刚性的变形。在子空间中随机采样的变形点对,并构造该点对对应的三维锥束CT图像,通过DRR技术获取三维体图像的二维投影。以子空间中的变形点对的差异与对应的DRR图像对训练回归模型。不同与以往基于单步回归的配准,本发明引入回馈机制,通过迭代不断优化变形参数。在迭代过程中,基于卷积神经网络的回归模型不断更新三维图像变形参数,对参照图像施加获取的变形参数得到新的三维锥束CT图像,该图像的DRR投影如果与目标X光图像一致则迭代结束。否则,以当前新的三维锥束CT图像的DRR投影更新回归模型的输入图像点对,利用基于卷积神经网络的回归模型更新三维图像变形参数。该方法结合基于混合残差卷积神经网络的回归模型与变形参数迭代优化机制,利用混合残差卷积神经网络中的多尺度特征融合与迭代优化可以有效地改进二维三维图像配准,实现可靠的在线二维三维图像配准。
本发明提供的技术方案是:
一种锥束计算机断层扫描图像与X光图像配准方法,利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联,基于混合残差卷积神经网络与变形参数迭代优化方法,实现可靠的在线二维三维图像配准;包括如下步骤(流程参见图1):
1)提取得到图像通道,作为基于混合残差卷积神经网络的回归模型的输入图像:
本发明具体采用各项异性扩散滤波通道及相关的梯度图像来增强X光图像,得到图像通道;
各项异性扩散滤波过程由如下热方程(式1)确定:
式1中,通量函数c控制扩散的速率,为图像I关于时刻t的偏导数,Δ为图像拉普拉斯算子,▽为梯度算子。热方程的离散数值解为式2:
其中,常数α与数值解的稳定有关,I(t)与I(t-1)分别对应t与t-1时刻的各项异性的扩散滤波图像,▽为梯度算子。基于梯度值定义系数βr为式3:
β=exp(-||▽I||2/κ) (式3)
参数r取值为1~4,从1变化到4对应梯度估计过程中的上下左右四个方向。各项异性的扩散滤波图像与梯度图像被用于回归模型的输入,其中t∈{0,…,8}。因而回归模型的输入图像(包括原始的X光图像、各项异性的扩散滤波图像及梯度图像;原始的X光图像指对X光图像不需要进行诸如角点、分割线段等图像特征提取,而将整张X光图像作为卷积神经网络回归模型的输入)有18个通道其中I(t)表示t时刻各项异性扩散滤波通道,表示t时刻各项异性扩散滤波通道对应的梯度图像。
2)训练基于混合残差卷积神经网络的回归模型;
混合残差卷积神经网络的回归模型包含:卷积网络部分与全连接网络部分。其中,卷积网络部分是对图像进行自动的特征提取与编码。卷积网络部分的基本单位是卷积块。卷积块由常见的残差卷积网络构成,每个卷积块中包含两个卷积层,每个卷积层后都有一个修正线性单元(RELU)。感知域的大小是3,步长为1。卷积块中还包含一个2×2×2的池化层。在卷积块中的第一个卷积层的输入与第二个卷积层的输出之间添加残差连接以增强信息扩散。本发明中,卷积网络部分一共包含四个卷积块。全连接网络部分包含三个全连接层用于从图像特征中估计三维图像的变形参数。在本发明中引入长的残差连接,该连接被加在多尺度的卷积块网络与第一个全连接层之间,利用长残差连接可以有效辅助网络的训练,并融合多尺度的特征以估计精确的三维图像的变形参数。回归模型中对于来自卷积块1、2、3的特征图进行降采样,其降采样率分别为1/8、1/4、1/2,降采样后与卷积块4的特征图融合,作为全连接网络的输入。在图1中,长的残差连接用侧面箭头表示,其对应的特征图的降采样利用步长为8、4与2的卷积计算完成。与四个卷积块特征融合对应的全连接层后,网络中还有两个全连接层。
21)将基于混合残差卷积神经网络的回归模型损失函数L定义为预测的三维图像变形参数与真实的三维图像变形参数之间的欧式距离,如式4:
L=||δTp-δTg||2 (式4)
其中,δTp为预测的三维图像变形参数,δTg为真实的三维图像变形参数;
22)从一组锥束CT图像构造混合残差卷积神经网络的训练数据,训练基于混合残差卷积神经网络的回归模型;
221)从一组锥束CT图像中提取锥束CT图像相对于参照锥束CT图像的非刚性变换参数,并对锥束CT图像的非刚性变形参数构造子空间,子空间中每一个点都对应三维锥束CT图像的非刚性变形参数,可用于对参照锥束CT图像进行非刚性的变形;
222)在子空间中随机采样变形点对,并构造该点对对应的三维锥束CT图像,计算三维体图像的二维投影,得到对应的DRR图像对;
223)以子空间中的变形点对的差异与对应的DRR图像对训练基于混合残差卷积神经网络的回归模型;
3)基于回归的二维三维非刚性配准,利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联,获得参照图像Vref对应的三维非刚性变形参数,使得变形之后得到的锥束CT图像的二维DRR投影与目标X光图像Itar一致;
31)将目标X光图像记作Itar,参照锥束CT图像记作Vref
32)将图像对(Itar,Iref)作为卷积神经网络的变形参数回归模型的输入,其中,Iref表示参照锥束CT图像Vref的DRR投影;
33)卷积神经网络的变形参数回归模型的输出即为图像对所对应的三维图像之间的非刚性变形参数;
具体地,本发明利用基于B样条非刚性变形模型对三维锥束CT图像进行非刚性的图像变形,其中在B样条控制网格节点上的偏移参数决定三维图像的非刚性变形;三维B样条的张量积被用于定义非刚性变形,其中在参照图像Vref上定义控制网格G;二维三维图像配准的目标函数g定义为式5:
其中,P表示DRR投影函数,用于从变形后的三维锥束CT图像中生成二维X光图像;d表示基于互信息的二维图像测度,用于度量变形后的三维锥束CT图像的DRR投影与目标X光图像之间的差异;三维空间变换δT=f(Itar,Iref),其中f表示基于卷积神经网络的回归函数;M表示基于B-样条张量积的三维非刚性变形,用式6表示:
其中,B表示三维B-样条变形函数的基函数;
4)迭代优化变形参数;
41)首先,将目标X光图像与参照三维锥束CT图像的DRR投影图像组成的图像对作为回归模型的输入;
42)利用回归模型输出的变形参数,对参照三维锥束CT图像进行变形;
43)将变形后的三维锥束CT图像的DRR投影与目标X光图像进行比较,如果变形后的三维锥束CT图像的DRR投影与目标X光图像的图像均方差距离小于预先定义的阈值,则二者相似,即当前变形后的参照体图像与目标X光图像一致,返回当前变形后的三维锥束CT图像;否则,将变形后的三维锥束CT图像的DRR投影图像更新输入图像对中的参考图像,再次将更新图像对作为回归模型的输入,进一步估计该图像对所对应的三维图像变形参数;
44)建立基于迭代回归的二维三维图像配准的目标函数为式7:
其中,M表示基于B-样条张量积的三维非刚性变形,P表示DRR投影函数,Itar为目标X光图像,为(t-1)步迭代中得到锥束CT图像。在第i次迭代中,控制网格G(t)由之前迭代中得到的变形参数确定,如式8:
其中,G(0)为初始时刻的控制网格;t时刻的变形参数
45)经过t次迭代后得到的最终的体图像V(t)由之前所有迭代得到的变形参数确定,表示为式9:
其中,M表示基于B-样条张量积的三维非刚性变形,为(t-1)步迭代中得到锥束CT图像,G(t)为t时刻的控制网格,δT(t)为t时刻的变形参数;
由此得到由变形参数确定的最终的体图像V(t),实现基于迭代回归的二维三维图像配准。
由于包含迭代优化,仍然有在线的DRR计算与二维的图像测度计算,但是,本发明中,为了实现二维三维图像配准仅仅需要有限次数的迭代,其效率远优于传统的利用迭代优化的方法。
与现有技术相比,本发明的有益效果是:
利用本发明提供的方法,可以有效地进行在线的二维三维图像配准,进行二维X光图像与三维锥束CT图像之间配准,从X光图像估计对应的三维锥束CT图像的非刚性变形参数,其中基于卷积神经网络的回归模型可以描述二维X光图像与对应的三维图像非刚性变形之间的非线性映射。迭代优化机制可有效获取与目标X光图像一致的三维锥束图像。本发明可用于口腔临床基于二维与三维图像评价治疗以及分析颅面生长。
在本发明具体实施中,计算了配准后的三维锥束CT图像的DRR投影图像与目标X光图像之间的差异,度量了前颅底、下颌外缘曲线距离,其误差都小于0.5毫米。因此,采用本发明基于迭代卷积神经网络回归模型的二维三维图像配准的精度,可满足临床口腔对二维三维图像配准的精度要求。
附图说明
图1为本发明方法的流程框图。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供的基于卷积神经网络回归的方法进行二维X光图像与三维锥束CT图像之间的非刚性配准。利用基于卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联。结合基于混合残差卷积神经网络的回归模型与变形参数迭代优化机制,实现可靠的在线二维三维图像配准。
图1为本发明方法的流程框图。下面参照附图对本发明做进一步说明。
步骤一:提取图像通道;
不同于现有的传统基于特征的二维三维图像配准方法,本发明方法接收整张X光图像作为卷积神经网络回归模型的输入,不需要进行诸如角点、分割线段等特征提取。由于X光图像是单通道的灰度图像,本发明使用一系列各项异性扩散滤波通道以及相关的梯度图像增强输入X光图像。各项异性的扩散滤波过程由如下热方程(式1)确定:
式1中,通量函数c控制扩散的速率,为图像I关于时刻t的偏导数,Δ为图像拉普拉斯算子,▽为梯度算子。热方程的离散数值解为式2:
其中,常数α与数值解的稳定有关,I(t)与I(t-1)分别对应t与t-1时刻的各项异性的扩散滤波图像,▽为梯度算子。基于梯度值定义系数βr为式3:
β=exp(-||▽I||2/κ) (式3)
参数r取值为1~4,从1变化到4对应梯度估计过程中的上下左右四个方向,κ为常数。各项异性的扩散滤波图像与梯度图像被用于回归模型的输入,其中t∈{0,…,8}。因而回归模型的输入图像有18个通道其中I(t)表示t时刻各项异性扩散滤波通道,表示t时刻各项异性扩散滤波通道对应的梯度图像。
步骤二:训练混合残差卷积神经网络;
本发明利用基于混合残差卷积神经网络的回归模型建立二维图像与三维图像非刚性变形参数之间的关联。基于卷积神经网络的回归模型包含两个部分:卷积网络部分与全连接网络部分。其中卷积网络部分是对图像进行自动的特征提取与编码。卷积网络部分的基本单位是卷积块。卷积块网络由常见的残差卷积网络构成,每个卷积块中包含两个卷积层,每个卷积层后都有一个修正线性单元(RELU)。所有卷积滤波器的感知域的大小都是3,步长为1。卷积块网络中还包含一个2×2×2的池化层。在卷积块中的第一个卷积层的输入与第二个卷积层的输出之间添加残差连接以增强信息扩散。本发明中,卷积网络部分一共包含四个卷积块网络。
全连接网络部分包含三个全连接层用于从图像特征中估计三维图像的变形参数。在本发明中引入长的残差连接,该连接被加在多尺度的卷积块网络与第一个全连接层之间,利用长残差连接可以有效辅助网络的训练,并融合多尺度的特征以估计精确的三维图像的变形参数。回归模型中对于来自卷积块1、2、3的特征图进行降采样,其降采样率分别为1/8、1/4、1/2,降采样后与卷积块4的特征图融合,作为全连接网络的输入。在图1中长的残差连接用侧面箭头表示,其对应的特征图的降采样利用步长为8、4与2的卷积计算完成。与四个卷积块特征融合对应的全连接层后,网络中还有两个全连接层。基于卷积神经网络的回归模型损失函数L定义为预测的三维图像变形参数与真实的三维图像变形参数之间的欧式距离:
L=||δTp-δTg||2 (式4)
其中,δTp为预测的三维图像变形参数,δTg为真实的三维图像变形参数。
本发明从一组锥束CT图像构造混合残差卷积神经网络的训练数据。从一组锥束CT图像中提取锥束CT图像相对于参照锥束CT图像的非刚性变换参数,并对锥束CT图像的非刚性变形参数构造子空间,子空间中每一个点都对应三维锥束CT图像的非刚性变形参数,可用于对参照锥束CT图像进行非刚性的变形。在子空间中随机采样的变形点对,并构造该点对对应的三维锥束CT图像,通过DRR技术获取三维体图像的二维投影。以子空间中的变形点对的差异与对应的DRR图像对训练基于混合残差卷积神经网络的回归模型。
步骤三:基于回归的二维三维配准;
利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联。将目标X光图像记作Itar,参照锥束CT图像记作Vref。二维三维图像非刚性配准的目的是推导参照图像Vref对应的三维非刚性变形参数,使得变形之后得到的锥束CT图像的二维DRR投影与目标X光图像Itar一致。基于卷积神经网络的变形参数回归模型的输入为图像对(Itar,Iref),其中Iref表示参照锥束CT图像Vref的DRR投影,输出为图像对所对应的三维图像之间的非刚性变形参数。本发明利用基于B样条非刚性变形模型,其中在B样条控制网格节点上的偏移参数决定三维图像的非刚性变形。三维B样条的张量积被用于定义非刚性变形,其中在参照图像Vref上定义控制网格G。二维三维图像配准的目标函数g定义为式5:
其中,P表示DRR投影函数,用于从变形后的三维锥束CT图像中生成二维X光图像;d表示基于互信息的二维图像测度,用于度量变形后的三维锥束CT图像的DRR投影与目标X光图像之间的差异;三维空间变换δT=f(Itar,Iref),其中f表示基于卷积神经网络的回归函数;M表示基于B-样条张量积的三维非刚性变形,用式6表示:
其中,B表示三维B-样条变形函数的基函数。
步骤四:迭代优化变形参数。
不同与基于单步回归的二维三维图像配准,本发明引入迭代优化机制处理颌面部结构的精细形状。首先,目标X光图像与参照三维锥束CT图像的DRR投影图像组成的图像对作为回归模型的输入。利用回归模型输出的变形参数对参照三维锥束图像进行变形,将变形后的三维锥束图像的DRR投影与目标X光图像进行比较,如果二者相似,即当前变形后的参照体图像与目标X光图像一致,则返回当前变形后的三维锥束CT图像。否则,利用将变形后的三维锥束图像的DRR投影图像更新输入图像对中的参考图像。再次将更新图像对作为回归模型的输入,进一步估计该图像对所对应的三维图像变形参数。
基于迭代回归的二维三维图像配准的目标函数为式7:
其中,M表示基于B-样条张量积的三维非刚性变形,P表示DRR投影函数,Itar为目标X光图像,为(t-1)步迭代中得到锥束CT图像。在第i次迭代中,控制网格G(t)由之前迭代中得到的变形参数确定,如式8:
其中,G(0)为初始时刻的控制网格。t时刻的变形参数
经过t次迭代后得到的最终的体图像V(t)由之前所有迭代得到的变形参数确定,表示为式9:
其中,M表示基于B-样条张量积的三维非刚性变形,为(t-1)步迭代中得到锥束CT图像,G(t)为t时刻的控制网格,δT(t)为t时刻的变形参数。由于包含迭代优化,仍然有在线的DRR计算与二维的图像测度计算,但是,本发明中,为了实现二维三维图像配准仅仅需要有限次数的迭代,其效率远优于传统的利用迭代优化的方法。
为了验证基于迭代卷积神经网络回归模型的二维三维图像配准的精度,本发明具体实施中,计算了配准后的三维锥束CT图像的DRR投影图像与目标X光图像之间的差异,度量了前颅底,下颌外缘曲线距离,其误差都小于0.5毫米,可满足临床口腔对二维三维图像配准的精度要求。
利用本发明的方法,可以有效地进行在线的二维三维图像配准,从X光图像估计对应的三维锥束CT图像的非刚性变形参数,其中基于卷积神经网络的回归模型可以描述二维X光图像与对应的三维图像非刚性变形之间的非线性映射。迭代优化机制可有效获取与目标X光图像一致的三维锥束图像。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种锥束计算机断层扫描图像与X光图像配准方法,利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联,基于混合残差卷积神经网络与变形参数迭代优化方法,实现可靠的在线二维三维图像配准;包括如下步骤:
1)提取得到图像通道,作为基于混合残差卷积神经网络的回归模型的输入图像;
2)训练基于混合残差卷积神经网络的回归模型;包括如下过程:
21)将基于混合残差卷积神经网络的回归模型损失函数L定义为预测的三维图像变形参数与真实的三维图像变形参数之间的欧式距离,如式4:
L=||δTp-δTg||2 (式4)
其中,δTp为预测的三维图像变形参数;δTg为真实的三维图像变形参数;
22)从一组锥束CT图像构造混合残差卷积神经网络的训练数据,训练基于混合残差卷积神经网络的回归模型;包括步骤221)~223):
221)从一组锥束CT图像中提取锥束CT图像相对于参照锥束CT图像的非刚性变换参数,并对锥束CT图像的非刚性变形参数构造子空间,子空间中每一个点均对应三维锥束CT图像的非刚性变形参数,用于对参照锥束CT图像进行非刚性变形;
222)在子空间中随机采样变形点对,并构造该点对对应的三维锥束CT图像,计算三维体图像的二维投影,得到对应的DRR图像对;
223)以子空间中的变形点对的差异与对应的DRR图像对,训练基于混合残差卷积神经网络的回归模型;
3)进行基于回归的二维三维非刚性配准,利用基于混合残差卷积神经网络的回归模型建立二维X光图像与三维锥束CT图像非刚性变形参数之间的关联,获得参照锥束CT图像对应的三维非刚性变形参数,使得变形之后得到的锥束CT图像的二维DRR投影与目标X光图像一致;包括如下过程:
31)将目标X光图像记作Itar,参照锥束CT图像记作Vref
32)将图像对(Itar,Iref)作为卷积神经网络的变形参数回归模型的输入,其中,Iref为Vref的DRR投影;
33)卷积神经网络的变形参数回归模型的输出即为图像对所对应的三维图像之间的非刚性变形参数;
具体利用基于B样条非刚性变形模型对三维锥束CT图像进行非刚性的图像变形,在B样条控制网格节点上的偏移参数决定三维图像的非刚性变形;用三维B样条的张量积定义非刚性变形;在参照图像Vref上定义控制网格G;二维三维图像配准的目标函数g定义为式5:
其中,P表示DRR投影函数,用于从变形后的三维锥束CT图像中生成二维X光图像;d表示基于互信息的二维图像测度,用于度量变形后的三维锥束CT图像的DRR投影与目标X光图像之间的差异;三维图像变形参数δT=f(Itar,Iref),其中f表示基于卷积神经网络的回归函数;M表示基于B-样条张量积的三维非刚性变形,用式6表示:
其中,B表示三维B样条变形函数的基函数;
4)迭代优化变形参数;包括如下过程:
41)首先,将目标X光图像与参照三维锥束CT图像的DRR投影图像组成的图像对作为回归模型的输入;
42)利用回归模型输出的变形参数,对参照三维锥束CT图像进行变形;
43)将变形后的三维锥束CT图像的DRR投影与目标X光图像进行比较,如果变形后的三维锥束CT图像的DRR投影与目标X光图像的图像距离足够小,则二者相似,即当前变形后的参照体图像与目标X光图像一致,返回当前变形后的三维锥束CT图像;否则,将变形后的三维锥束CT图像的DRR投影图像更新输入图像对中的参考图像,再次将更新图像对作为回归模型的输入,进一步估计该图像对所对应的三维图像变形参数;
44)建立基于迭代回归的二维三维图像配准的目标函数,表示为式7:
其中,M表示基于B-样条张量积的三维非刚性变形;P表示DRR投影函数;Itar为目标X光图像;为(t-1)步迭代中得到锥束CT图像;
在第i次迭代中,控制网格G(t)由之前迭代中得到的变形参数确定,表示为式8:
其中,G(0)为初始时刻的控制网格;t时刻的变形参数
45)经过t次迭代后得到的最终的体图像V(t)由之前所有迭代得到的变形参数确定,表示为式9:
其中,M表示基于B-样条张量积的三维非刚性变形,为(t-1)步迭代中得到锥束CT图像,G(t)为t时刻的控制网格,δT(t)为t时刻的变形参数;
由此得到由变形参数确定的最终的体图像V(t),实现基于迭代回归的二维三维图像配准。
2.如权利要求1所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,步骤1)提取得到图像通道具体采用各项异性扩散滤波通道及相关的梯度图像来增强X光图像,从而得到图像通道;各项异性扩散滤波过程由式1的热方程确定:
式1中,通量函数c控制扩散的速率,为图像I关于时刻t的偏导数,Δ为图像拉普拉斯算子,▽为梯度算子;热方程的离散数值解为式2:
其中,常数α与数值解的稳定有关,I(t)与I(t-1)分别对应t与t-1时刻的各项异性的扩散滤波图像;t∈{0,…,8};
基于梯度值定义系数βr为式3:
β=exp(-||▽I||2/κ) (式3)
参数r取值为1~4,对应梯度估计过程中的上下左右四个方向;κ为常数。
3.如权利要求1所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,回归模型的输入图像包括原始的X光图像、各项异性的扩散滤波图像及梯度图像;输入图像有18个通道,表示为其中I(t)表示t时刻各项异性扩散滤波通道,表示t时刻各项异性扩散滤波通道对应的梯度图像。
4.如权利要求1所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,混合残差卷积神经网络的回归模型包含:卷积网络部分与全连接网络部分;卷积网络部分对图像进行自动的特征提取与编码;全连接网络部分用于从图像特征中估计三维图像的变形参数。
5.如权利要求4所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,卷积网络部分的基本单位是卷积块;卷积块由残差卷积网络构成;每个卷积块包含两个卷积层,每个卷积层后均有一个修正线性单元;感知域的大小是3,步长为1;卷积块中还包含一个2×2×2的池化层;在卷积块中的第一个卷积层的输入与第二个卷积层的输出之间添加残差连接以增强信息扩散。
6.如权利要求4所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,卷积网络部分包含四个卷积块。
7.如权利要求4所述锥束计算机断层扫描图像与X光图像配准方法,其特征是,全连接网络部分包含三个全连接层;引入长的残差连接加在卷积块与第一个全连接层之间,用于辅助网络的训练,估计精确的三维图像的变形参数。
CN201710756002.7A 2017-08-29 2017-08-29 锥束计算机断层扫描图像与x光图像配准方法 Active CN107507234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710756002.7A CN107507234B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像与x光图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710756002.7A CN107507234B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像与x光图像配准方法

Publications (2)

Publication Number Publication Date
CN107507234A CN107507234A (zh) 2017-12-22
CN107507234B true CN107507234B (zh) 2019-11-01

Family

ID=60694143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710756002.7A Active CN107507234B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像与x光图像配准方法

Country Status (1)

Country Link
CN (1) CN107507234B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376392B (zh) * 2018-01-30 2021-06-22 复旦大学 一种基于卷积神经网络的图像运动模糊去除方法
CN108742678B (zh) * 2018-06-01 2022-02-18 妙智科技(深圳)有限公司 图像配准方法、装置及计算机可读存储介质
CN108932970B (zh) * 2018-06-29 2022-07-01 东软医疗系统股份有限公司 获取ct图像数据的方法、装置、设备及机器可读存储介质
CN109409503B (zh) * 2018-09-27 2020-07-24 深圳市铱硙医疗科技有限公司 神经网络的训练方法、图像转换方法、装置、设备及介质
CN111371983A (zh) * 2018-12-26 2020-07-03 清华大学 一种视频在线稳定方法及系统
CN111724331B (zh) * 2019-03-22 2023-05-09 四川大学 一种基于生成网络的多孔介质图像重建方法
CN110400357B (zh) * 2019-07-05 2020-04-14 北京航空航天大学 一种基于运动感知图像约束的4d-cbct重建方法
CN110363797B (zh) * 2019-07-15 2023-02-14 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
CN110349151B (zh) * 2019-07-16 2021-12-03 科大讯飞华南人工智能研究院(广州)有限公司 一种目标识别方法及装置
CN112734814B (zh) * 2019-10-28 2023-10-20 北京大学 三维颅面锥形束ct图像配准方法
CN110992435B (zh) * 2019-11-06 2023-10-20 上海东软医疗科技有限公司 图像重建方法及设备、成像数据的处理方法及装置
CN112884819A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像配准及神经网络的训练方法、装置和设备
CN112689099B (zh) * 2020-12-11 2022-03-22 北京邮电大学 一种面向双镜头相机的无重影高动态范围成像方法及装置
CN112561972B (zh) * 2020-12-29 2024-04-16 上海应用技术大学 医学图像配准方法
CN112990116B (zh) * 2021-04-21 2021-08-06 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113158463B (zh) * 2021-04-21 2023-12-22 西安科技大学 基于机器学习的工程控制网坐标系建立方法及系统
CN113450396B (zh) * 2021-06-17 2023-05-30 北京理工大学 基于骨骼特征的三维/二维图像配准方法及装置
CN113920178B (zh) * 2021-11-09 2022-04-12 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像配准方法及系统
CN114842004B (zh) * 2022-07-04 2022-10-21 真健康(北京)医疗科技有限公司 基于神经网络模型的穿刺位置验证方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681057B1 (en) * 2000-02-22 2004-01-20 National Instruments Corporation Image registration system and method implementing PID control techniques
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
CN102222330A (zh) * 2011-05-16 2011-10-19 付东山 一种二维-三维医学图像配准方法及系统
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN106934761A (zh) * 2017-02-15 2017-07-07 苏州大学 一种三维非刚性光学相干断层扫描图像的配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681057B1 (en) * 2000-02-22 2004-01-20 National Instruments Corporation Image registration system and method implementing PID control techniques
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
CN102222330A (zh) * 2011-05-16 2011-10-19 付东山 一种二维-三维医学图像配准方法及系统
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN106934761A (zh) * 2017-02-15 2017-07-07 苏州大学 一种三维非刚性光学相干断层扫描图像的配准方法

Also Published As

Publication number Publication date
CN107507234A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107507234B (zh) 锥束计算机断层扫描图像与x光图像配准方法
CN107808377B (zh) 一种肺叶中病灶的定位装置
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN106164978B (zh) 使用参数化可变形网状物来构造个性化具体化的方法和系统
Jones Facial Reconstruction Using Volumetric Data.
CN108470375B (zh) 一种基于深度学习的神经导管自动检测方法
CN109272510A (zh) 一种三维医学图像中管状结构的分割方法
US20100319100A1 (en) Simple techniques for three-dimensional modeling
Zheng Statistical shape model‐based reconstruction of a scaled, patient‐specific surface model of the pelvis from a single standard AP x‐ray radiograph
Cifor et al. Smoothness-guided 3-D reconstruction of 2-D histological images
CN109816724A (zh) 基于机器视觉的三维特征提取方法及装置
CN110378881B (zh) 一种基于深度学习的肿瘤定位系统
CN109544606A (zh) 基于多个Kinect的快速自动配准方法及系统
US20230132479A1 (en) Systems and methods for personalized patient body modeling
JP2004008419A (ja) 解剖学的特徴位置検出装置および被写体構造計測装置
CN107240128A (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
Arrieta et al. Quantitative assessments of geometric errors for rapid prototyping in medical applications
CN111080680A (zh) 一种面向患者的三维胸部器官重建方法和系统
Yin et al. Accurate estimation of body height from a single depth image via a four-stage developing network
CN114842154A (zh) 一种基于二维x射线图像重建三维影像的方法和系统
CN108648228A (zh) 一种双目红外人体尺寸测量方法及系统
CN108564607A (zh) 三维脑图谱数据集空间校准方法及系统
CN114549540A (zh) 一种口扫牙齿数据与cbct数据自动融合的方法及其应用
CN111127488A (zh) 一种基于统计形状模型自动构建患者解剖结构模型的方法
CN106934822A (zh) 一种基于线性混合形变的汽车工件非刚体三维点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant