CN113344876A - 一种ct和cbct间可变形配准方法 - Google Patents

一种ct和cbct间可变形配准方法 Download PDF

Info

Publication number
CN113344876A
CN113344876A CN202110637086.9A CN202110637086A CN113344876A CN 113344876 A CN113344876 A CN 113344876A CN 202110637086 A CN202110637086 A CN 202110637086A CN 113344876 A CN113344876 A CN 113344876A
Authority
CN
China
Prior art keywords
layer
image
feature map
cbct
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110637086.9A
Other languages
English (en)
Other versions
CN113344876B (zh
Inventor
李腾
胡睿
刘剑飞
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110637086.9A priority Critical patent/CN113344876B/zh
Publication of CN113344876A publication Critical patent/CN113344876A/zh
Application granted granted Critical
Publication of CN113344876B publication Critical patent/CN113344876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种CT和CBCT间可变形配准方法，所述方法包括：获取目标部位的CT图像与CBCT图像，并对CT图像与CBCT图像进行预处理得到数据集；构建双重监督的Unet配准模型；利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型；实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像；本发明的优点在于：CT和CBCT间可变形配准的实时性较高，满足现在临床医学实时性的要求。

Description

一种CT和CBCT间可变形配准方法
技术领域
本发明涉及计算机断层扫描图像处理领域，更具体涉及一种CT和CBCT间可变形配准方法。
背景技术
计算机断层扫描的原理是源和检测器绕着检查目标旋转，检查目标接收来自各个方向的X射线，并且照射的X射线穿过检查目标，并被目标部分吸收并衰减，然后成为源它到达位于图像另一侧的X射线检测器并被记录。记录每个方向吸收了多少后，计算机通过傅立叶变换[8]重建图像。
锥形计算机断层扫描(CBCT)是采用锥形形状的放射线以一个360度旋转获取被照射物的整体扫描，类似于曲面断层片的扫描。相对于传统的医学CT而言，锥形束CT具有显着的优势，其中包括精确度的提高、较高的分辨率、扫描时间的缩短和放射剂量的降低。锥形计算机断层扫描(CBCT)作为影像学中常见的诊断方法，在牙髓病学领域，锥形束CT常常但不仅限于应用于诊断牙源性囊肿和非牙源性囊肿，囊肿与肉芽肿的鉴别诊断，遗漏未治疗根管的定位和某些根裂的诊断。CBCT还能用于精确的映射牙齿内吸收、外吸收和颈部吸收的程度，同时在外科手术前精确地测量且评估术中的解剖标志。
锥形计算机断层扫描(CBCT)还被广泛应用于放射引导治疗中，由于低剂量辐射，快速获取，成本效益高等优势，常被用于监控靶区实时位置，放射治疗时患者不可避免的摆位误差，呼吸运动等因素存在，放疗时会存在发生漏照跟损伤正常器官的风险，在每次开始放疗前，使用CBCT扫描患者相应部位，跟病人原始高清晰度的CT进行配准，将两者统一到同一个坐标系中，如果发现存在误差，就会通过校正放疗计划，从而保证放疗的精确性。相对于CBCT来说，CT图像有着更高的图像软组织对比度和更少的伪影，并且在体素值，抑制噪声方面具有优势，医生治疗前根据CT制定放疗计划，为了更加精确的实施自适应放疗(ART)，CT-CBCT精确配准重要性不言而喻。
CT-CBCT配准本质上来说是在找到某一种空间变换(形变场)，使CBCT图像经过形变场变形之后，跟对应的CT图像上对应点达到空间位置和解剖结上的完全一致。传统算法是对相似度目标函数进行迭代寻优，在深度学习处理医学配准任务之前，每进行一次配准，都需要判断图像是否达到了真实的变换参数，根据误差情况进行新的配准，如此往复，直到达到最优的变换参数，随着成像技术的发展，传统算法已经难以满足现在临床医学实时性的要求。
中国专利申请号202011173279.5，公开了一种基于口腔CBCT重建点云的超分辨成像方法。该专利申请基于CBCT数据构建稀疏分布的低分辨率(LR)点云，再通过LR点云预测密集分布的高分辨率(HR)点云，后者包含丰富细节信息和少量噪点的；该发明采用基于对抗残差图卷积深度学习网络(AR GCN)的方法，考虑到LR和HR点云之间的相似性，将残差连接引入图卷积网络(GCN)，同时引用图对抗损失来减少过分依赖人类的先验知识的干扰，更易捕获HR点云如连续性等其他属性。但是该专利申请主要进行重建点云，对CT和CBCT间配准方法没有进行研究，其并不能提供一种满足现在临床医学实时性的要求的配准方法。
发明内容
本发明所要解决的技术问题在于现有技术CT和CBCT间配准方法，难以满足现在临床医学实时性的要求。
本发明通过以下技术手段实现解决上述技术问题的：一种CT和CBCT间可变形配准方法，所述方法包括：
步骤a：获取目标部位的CT图像与CBCT图像，并对CT图像与CBCT图像进行预处理得到数据集；
步骤b：构建双重监督的Unet配准模型；
步骤c：利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型；
步骤d：实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像。
本发明基于双重监督的Unet配准模型，利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型，实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像，模型训练好后只需要将图像输入模型中即可进行配准，不需要在每一次配准过程中判断图像是否达到了真实的变换参数，根据误差情况进行新的配准，效率高，实时性较高，满足现在临床医学实时性的要求。
进一步地，所述步骤a包括：
步骤a1：获取若干个患者的CT图像与CBCT图像；
步骤a2：对若干个患者的CT图像与CBCT图像进行筛查，去除除目标部位以外部分的图像得到每个患者对应的目标图像对；
步骤a3：将目标图像对进行位窗统一，所述位窗统一指对比度统一；
步骤a4：将对比度统一后的目标图像对进行刚性配准；
步骤a5：将所有经过刚性配准的目标图像对构成数据集，将数据集的90％作为训练集，将数据集剩下的10％作为测试集。
更进一步地，所述步骤a4包括：
将对比度统一后的目标图像对按脊柱结构为中心匹配；
使用ANTs配准包将匹配过的目标图像对进行刚性配准；
利用公式
Figure BDA0003105606330000041
将刚性配准后的目标图像对进行标准化，其中，μ是图像的均值，X表示图像的像素矩阵，σ表示图像的标准方差，N表示图像的像素数量。
进一步地，所述步骤b中构建的双重监督的Unet配准模型包括编码器、注意力模块P-BLOCK、注意力模块C-BLOCK以及解码器，所述编码器的输入端接收输入图像，所述输入图像为数据集中CT图像与CBCT图像形成的图像对，所述编码器的输出端分别与注意力模块P-BLOCK及注意力模块C-BLOCK连接，注意力模块P-BLOCK的输出与注意力模块C-BLOCK的输出叠加后输入到解码器中，解码器输出形变场，使用形变场变形CBCT图像，变形后的CBCT图像与CT图像计算相似度。
更进一步地，所述编码器的处理过程为：
所述编码器包括6层网络，顺序编号为第一层至第六层，将训练集中的目标图像对输入到编码器的第一层进行卷积操作，通道数扩充至32层；第一层的输出特征图输入第二层进行卷积，通道数增加至64层；第二层的输出特征图输入第三层进行卷积，通道数增加至128层；第三层的输出特征图输入第四层进行卷积，通道数增加至256层；第四层的输出特征图输入第五层，进行与第四层同样分辨率下卷积，通道数仍为256层；第五层的输出特征图输入第六层进行卷积，通道数增加至512层；第一层、第二层、第三层、第四层以及第六层的卷积核大小为3×3×3，步长1，第五层的卷积核大小为1×1×1，步长1。
更进一步地，所述注意力模块P-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块P-BLOCK中，将特征图(N,C,Z,X,Y)分别送入3个卷积层后得到3个特征图，顺序编号为第一特征图至第三特征图，第一特征图至第三特征图的大小均为(C,X*Y*Z)，3个卷积层的卷积核大小为1×1×1，将第一特征图和第二特征图的通道数缩小8倍后均变形为(C/8,X*Y*Z)，对变形后的第一特征图和第二特征图中一个进行转置以后求转置后的特征图与未转置的特征图的乘积得到第四特征图，第四特征图大小为(X*Y*Z,X*Y*Z)，将第四特征图进行softmax操作得到第五特征图，将第三特征图与第五特征图进行矩阵乘积后，将矩阵进行变形为(C,X,Y,Z)，(C,X,Y,Z)乘以一个空间注意力系数K，其中K初始化为0，系数K在反向传播中获得相应的权重，(C,X,Y,Z)乘以一个空间注意力系数K后与最初输入的特征图(N,C,Z,X,Y)加权求和。
更进一步地，所述注意力模块C-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块C-BLOCK中，得到3个特征图，顺序编号为第六特征图至第八特征图，对第六特征图和第七特征图进行转置变形，第六特征图变形为(C,X*Y*Z)，第七特征图变形为(X*Y*Z,C)，将转置变形后的第六特征图与转置变形后的第七特征图进行乘积得到第九特征图，第九特征图大小为(C,C)，将第九特征图进行softmax操作得到第十特征图，将第八特征图转置变形为(C,X*Y*Z)，并将转置变形后的第八特征图与第十特征图进行矩阵乘积后得到第十一特征图，将第十一特征图变形为(C,X,Y,Z)并乘以一个通道注意力系数L，其中L初始化为0，系数L在反向传播中获得相应的权重，第十一特征图变形为(C,X,Y,Z)后乘以一个通道注意力系数L的结果与最初输入的特征图(N,C,Z,X,Y)加权求和。
更进一步地，所述解码器包括6层网络，顺序编号为第七层至第十二层，注意力模块C-BLOCK输出的特征图与注意力模块P-BLOCK输出的特征图的和输入到第七层，第七层通道数为512层；第七层输出的特征图与编码器的第四层输出的特征图拼接后输入到第八层进行卷积以及两倍的上采样，卷积核大小3*3*3，第八层的通道数减少为256层；第八层输出的特征图输入到第九层进行卷积，卷积核大小1*1*1，第九层的通道数仍为256层；第九层输出的特征图与编码器的第三层输出的特征图拼接后输入到第十层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十层的通道数减少为128层；第十层输出的特征图与编码器的第二层输出的特征图拼接后输入到第十一层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十一层的通道数减少为64层；第十一层输出的特征图与编码器的第一层输出的特征图拼接后输入到第十二层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十二层的通道数减少为32层；第十二层输出的特征图进行卷积输出形变场，卷积核大小1*1*1。
进一步地，所述步骤c包括：将数据集输入双重监督的Unet配准模型进行训练，训练过程中通过反向传播不断更新双重监督的Unet配准模型的权重系数，直到相似度的测度函数取得最大值时停止更新，固定双重监督的Unet配准模型的权重系数，得到最优化的模型，其中，相似度的测度函数公式为
Figure BDA0003105606330000071
ρsim表示变形后的CBCT图像与其对应的CT图像的相似度，Pi表示P位置上的n3大小的体素上的第i次迭代，F(pi)表示CT图像上的P位置像素值，
Figure BDA0003105606330000072
表示CT图像平均像素值，M(pi)表示变形后的CBCT图像P位置像素值，M(P)表示变形后的CBCT图像平均像素值，
Figure BDA0003105606330000073
表示变形后的CBCT图像，
Figure BDA0003105606330000074
表示变形后的CBCT图像平均值。
更进一步地，所述步骤c之后步骤d之前还包括使用测试集测试训练好的最优化的模型的效果，模型的效果评价指标公式为：
Figure BDA0003105606330000075
其中，x，y，z分别表示变形后的CBCT图像的测试点的x，y，z方向上的位置标量，x′，y′，z′分别表示变形后的CBCT图像对应的CT图像的测试点在x，y，z方向上的位置标量；
Figure BDA0003105606330000076
其中，X表示变形后的CBCT图像的手动标记区域块，Y表示变形后的CBCT图像对应的CT图像的手动标记区域块。
本发明的优点在于：
(1)本发明基于双重监督的Unet配准模型，利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型，实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像，模型训练好后只需要将图像输入模型中即可进行配准，不需要在每一次配准过程中判断图像是否达到了真实的变换参数，根据误差情况进行新的配准，效率高，实时性较高，满足现在临床医学实时性的要求。
(2)本发明设计了注意力模块P-BLOCK和注意力模块C-BLOCK，基于双重注意力机制来解决CT与CBCT之间强度差异问题，可以更准确的完成模态差异大图像之间的配准。
(3)本发明实现简单，仅需使用CT和CBCT图像输入即可得到结果，且在训练过程中不需要任何的人工标注，有利于尽快投入实际应用，解决现有临床医学中CT和CBCT图像配准算法复杂的问题。
附图说明
图1为本发明实施例所公开的一种CT和CBCT间可变形配准方法的流程图；
图2为本发明实施例所公开的一种CT和CBCT间可变形配准方法的整体架构图；
图3为本发明实施例所公开的一种CT和CBCT间可变形配准方法中双重监督的Unet配准模型的架构图；
图4为本发明实施例所公开的一种CT和CBCT间可变形配准方法中注意力模块P-BLOCK的工作流程图；
图5为本发明实施例所公开的一种CT和CBCT间可变形配准方法中注意力模块C-BLOCK的工作流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，一种CT和CBCT间可变形配准方法，所述方法包括：
步骤a：获取目标部位的CT图像与CBCT图像，并对CT图像与CBCT图像进行预处理得到数据集；具体过程为：
步骤a1：获取若干个患者的CT图像与CBCT图像；
步骤a2：对若干个患者的CT图像与CBCT图像进行筛查，去除除目标部位以外部分的图像得到每个患者对应的目标图像对；
步骤a3：将目标图像对进行位窗统一，所述位窗统一指对比度统一；
步骤a4：将对比度统一后的目标图像对进行刚性配准；具体过程为：
将对比度统一后的目标图像对按脊柱结构为中心匹配；
使用ANTs配准包将匹配过的目标图像对进行刚性配准；
利用公式
Figure BDA0003105606330000091
将刚性配准后的目标图像对进行标准化，其中，μ是图像的均值，X表示图像的像素矩阵，σ表示图像的标准方差，N表示图像的像素数量。
步骤a5：将所有经过刚性配准的目标图像对构成数据集，将数据集的90％作为训练集，将数据集剩下的10％作为测试集。
步骤b：构建双重监督的Unet配准模型；如图2所示，所述双重监督的Unet配准模型包括编码器、注意力模块P-BLOCK、注意力模块C-BLOCK以及解码器，所述编码器的输入端接收输入图像，所述输入图像为数据集中CT图像与CBCT图像形成的图像对，所述编码器的输出端分别与注意力模块P-BLOCK及注意力模块C-BLOCK连接，注意力模块P-BLOCK的输出与注意力模块C-BLOCK的输出叠加后输入到解码器中，解码器输出形变场，使用形变场变形CBCT图像，变形后的CBCT图像与CT图像计算相似度。双重监督的Unet配准模型直接输出CT与CBCT图像之间的形变场，通过输出的形变场对CBCT图像进行变形，对变形后的图像与CT图像进行相似度计算，双重监督的Unet配准模型使用48*512*512的三维CT图像与48*512*512的三维CBCT图像拼接作为输入，以全图体素作为输入可以更好地使网络获取到结构与结构之间的关系，双重监督的Unet配准模型直接输出3*48*512*512的形变场(DVF)，形变场是具有3个通道的三维数据，表示图像每个体素X,Y,Z三个方向的位移。以下详细介绍双重监督的Unet配准模型中各部分的结构以及工作过程。
如图3所示，所述编码器的处理过程为：
所述编码器包括6层网络，顺序编号为第一层至第六层，将训练集中的目标图像对输入到编码器的第一层进行卷积操作，通道数扩充至32层；第一层的输出特征图输入第二层进行卷积，通道数增加至64层；第二层的输出特征图输入第三层进行卷积，通道数增加至128层；第三层的输出特征图输入第四层进行卷积，通道数增加至256层；第四层的输出特征图输入第五层，进行与第四层同样分辨率下卷积，通道数仍为256层；第五层的输出特征图输入第六层进行卷积，通道数增加至512层；第一层、第二层、第三层、第四层以及第六层的卷积核大小为3×3×3，步长1，第五层的卷积核大小为1×1×1，步长1。
如图4所示，所述注意力模块P-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块P-BLOCK中，将特征图(N,C,Z,X,Y)分别送入3个卷积层后得到3个特征图，顺序编号为第一特征图至第三特征图，第一特征图至第三特征图的大小均为(C,X*Y*Z)，3个卷积层的卷积核大小为1×1×1，将第一特征图和第二特征图的通道数缩小8倍后均变形为(C/8,X*Y*Z)，对变形后的第一特征图和第二特征图中一个进行转置以后求转置后的特征图与未转置的特征图的乘积得到第四特征图，第四特征图大小为(X*Y*Z,X*Y*Z)，将第四特征图进行softmax操作得到第五特征图，将第三特征图与第五特征图进行矩阵乘积后，将矩阵进行变形为(C,X,Y,Z)，(C,X,Y,Z)乘以一个空间注意力系数K，其中K初始化为0，系数K在反向传播中获得相应的权重，(C,X,Y,Z)乘以一个空间注意力系数K后与最初输入的特征图(N,C,Z,X,Y)加权求和。
如图5所示，所述注意力模块C-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块C-BLOCK中，得到3个特征图，顺序编号为第六特征图至第八特征图，对第六特征图和第七特征图进行转置变形，第六特征图变形为(C,X*Y*Z)，第七特征图变形为(X*Y*Z,C)，将转置变形后的第六特征图与转置变形后的第七特征图进行乘积得到第九特征图，第九特征图大小为(C,C)，将第九特征图进行softmax操作得到第十特征图，将第八特征图转置变形为(C,X*Y*Z)，并将转置变形后的第八特征图与第十特征图进行矩阵乘积后得到第十一特征图，将第十一特征图变形为(C,X,Y,Z)并乘以一个通道注意力系数L，其中L初始化为0，系数L在反向传播中获得相应的权重，第十一特征图变形为(C,X,Y,Z)后乘以一个通道注意力系数L的结果与最初输入的特征图(N,C,Z,X,Y)加权求和。
继续参阅图3，所述解码器包括6层网络，顺序编号为第七层至第十二层，注意力模块C-BLOCK输出的特征图与注意力模块P-BLOCK输出的特征图的和输入到第七层，第七层通道数为512层；第七层输出的特征图与编码器的第四层输出的特征图拼接后输入到第八层进行卷积以及两倍的上采样，卷积核大小3*3*3，第八层的通道数减少为256层；第八层输出的特征图输入到第九层进行卷积，卷积核大小1*1*1，第九层的通道数仍为256层；第九层输出的特征图与编码器的第三层输出的特征图拼接后输入到第十层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十层的通道数减少为128层；第十层输出的特征图与编码器的第二层输出的特征图拼接后输入到第十一层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十一层的通道数减少为64层；第十一层输出的特征图与编码器的第一层输出的特征图拼接后输入到第十二层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十二层的通道数减少为32层；第十二层输出的特征图进行卷积输出形变场，卷积核大小1*1*1。
步骤c：利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型；具体过程为：将训练集输入双重监督的Unet配准模型进行训练，训练过程中通过反向传播不断更新双重监督的Unet配准模型的系数k和系数L，每次更新的时候解码器都输出一个形变场，使用形变场变形CBCT图像，使用变形后的CBCT图像与CT图像计算相似度，直到相似度的测度函数取得最大值时停止更新，固定双重监督的Unet配准模型的权重系数，得到最优化的模型，其中，相似度的测度函数公式为
Figure BDA0003105606330000131
ρsim表示变形后的CBCT图像与其对应的CT图像的相似度，Pi表示P位置上的n3大小的体素上的第i次迭代，F(pi)表示CT图像上的P位置像素值，
Figure BDA0003105606330000132
表示CT图像平均像素值，M(pi)表示变形后的CBCT图像P位置像素值，M(P)表示变形后的CBCT图像平均像素值，
Figure BDA0003105606330000133
表示变形后的CBCT图像，
Figure BDA0003105606330000134
表示变形后的CBCT图像平均值。
上述步骤c已经得到了训练好的最优化的模型，最优化的模型的效果可以通过测试集进行测试，所以在步骤c之后步骤d之前还包括使用测试集测试训练好的最优化的模型的效果的步骤，模型的效果评价指标公式为：
Figure BDA0003105606330000135
其中，x，y，z分别表示变形后的CBCT图像的测试点的x，y，z方向上的位置标量，x′，y′，z′分别表示变形后的CBCT图像对应的CT图像的测试点在x，y，z方向上的位置标量；
Figure BDA0003105606330000136
其中，X表示变形后的CBCT图像的手动标记区域块，Y表示变形后的CBCT图像对应的CT图像的手动标记区域块。
实际应用中，如果测试集对最优化的模型进行测试的过程中如果测试出来该模型的效果并不是很理想，那么可以重新构建数据集或者增加新的数据集对上述最优化的模型进行再次训练。
步骤d：实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像。
通过以上技术方案，本发明基于双重监督的Unet配准模型，利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型，实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像，模型训练好后只需要将图像输入模型中即可进行配准，不需要在每一次配准过程中判断图像是否达到了真实的变换参数，根据误差情况进行新的配准，效率高，实时性较高，满足现在临床医学实时性的要求。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种CT和CBCT间可变形配准方法，其特征在于，所述方法包括：
步骤a：获取目标部位的CT图像与CBCT图像，并对CT图像与CBCT图像进行预处理得到数据集；
步骤b：构建双重监督的Unet配准模型；
步骤c：利用数据集对双重监督的Unet配准模型进行训练，得到最优化的模型；
步骤d：实时采集患者的CT图像和CBCT图像输入到最优化的模型中，得到配准后的CT图像和CBCT图像。
2.根据权利要求1所述的一种CT和CBCT间可变形配准方法，其特征在于，所述步骤a包括：
步骤a1：获取若干个患者的CT图像与CBCT图像；
步骤a2：对若干个患者的CT图像与CBCT图像进行筛查，去除除目标部位以外部分的图像得到每个患者对应的目标图像对；
步骤a3：将目标图像对进行位窗统一，所述位窗统一指对比度统一；
步骤a4：将对比度统一后的目标图像对进行刚性配准；
步骤a5：将所有经过刚性配准的目标图像对构成数据集，将数据集的90％作为训练集，将数据集剩下的10％作为测试集。
3.根据权利要求2所述的一种CT和CBCT间可变形配准方法，其特征在于，所述步骤a4包括：
将对比度统一后的目标图像对按脊柱结构为中心匹配；
使用ANTs配准包将匹配过的目标图像对进行刚性配准；
利用公式
Figure FDA0003105606320000011
将刚性配准后的目标图像对进行标准化，其中，μ是图像的均值，X表示图像的像素矩阵，σ表示图像的标准方差，N表示图像的像素数量。
4.根据权利要求2所述的一种CT和CBCT间可变形配准方法，其特征在于，所述步骤b中构建的双重监督的Unet配准模型包括编码器、注意力模块P-BLOCK、注意力模块C-BLOCK以及解码器，所述编码器的输入端接收输入图像，所述输入图像为数据集中CT图像与CBCT图像形成的图像对，所述编码器的输出端分别与注意力模块P-BLOCK及注意力模块C-BLOCK连接，注意力模块P-BLOCK的输出与注意力模块C-BLOCK的输出叠加后输入到解码器中，解码器输出形变场，使用形变场变形CBCT图像，变形后的CBCT图像与CT图像计算相似度。
5.根据权利要求4所述的一种CT和CBCT间可变形配准方法，其特征在于，所述编码器的处理过程为：
所述编码器包括6层网络，顺序编号为第一层至第六层，将训练集中的目标图像对输入到编码器的第一层进行卷积操作，通道数扩充至32层；第一层的输出特征图输入第二层进行卷积，通道数增加至64层；第二层的输出特征图输入第三层进行卷积，通道数增加至128层；第三层的输出特征图输入第四层进行卷积，通道数增加至256层；第四层的输出特征图输入第五层，进行与第四层同样分辨率下卷积，通道数仍为256层；第五层的输出特征图输入第六层进行卷积，通道数增加至512层；第一层、第二层、第三层、第四层以及第六层的卷积核大小为3×3×3，步长1，第五层的卷积核大小为1×1×1，步长1。
6.根据权利要求5所述的一种CT和CBCT间可变形配准方法，其特征在于，所述注意力模块P-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块P-BLOCK中，将特征图(N,C,Z,X,Y)分别送入3个卷积层后得到3个特征图，顺序编号为第一特征图至第三特征图，第一特征图至第三特征图的大小均为(C,X*Y*Z)，3个卷积层的卷积核大小为1×1×1，将第一特征图和第二特征图的通道数缩小8倍后均变形为(C/8,X*Y*Z)，对变形后的第一特征图和第二特征图中一个进行转置以后求转置后的特征图与未转置的特征图的乘积得到第四特征图，第四特征图大小为(X*Y*Z,X*Y*Z)，将第四特征图进行softmax操作得到第五特征图，将第三特征图与第五特征图进行矩阵乘积后，将矩阵进行变形为(C,X,Y,Z)，(C,X,Y,Z)乘以一个空间注意力系数K，其中K初始化为0，系数K在反向传播中获得相应的权重，(C,X,Y,Z)乘以一个空间注意力系数K后与最初输入的特征图(N,C,Z,X,Y)加权求和。
7.根据权利要求5所述的一种CT和CBCT间可变形配准方法，其特征在于，所述注意力模块C-BLOCK的处理过程为：
编码器的第六层的特征图(N,C,Z,X,Y)作为输入输入到注意力模块C-BLOCK中，得到3个特征图，顺序编号为第六特征图至第八特征图，对第六特征图和第七特征图进行转置变形，第六特征图变形为(C,X*Y*Z)，第七特征图变形为(X*Y*Z,C)，将转置变形后的第六特征图与转置变形后的第七特征图进行乘积得到第九特征图，第九特征图大小为(C,C)，将第九特征图进行softmax操作得到第十特征图，将第八特征图转置变形为(C,X*Y*Z)，并将转置变形后的第八特征图与第十特征图进行矩阵乘积后得到第十一特征图，将第十一特征图变形为(C,X,Y,Z)并乘以一个通道注意力系数L，其中L初始化为0，系数L在反向传播中获得相应的权重，第十一特征图变形为(C,X,Y,Z)后乘以一个通道注意力系数L的结果与最初输入的特征图(N,C,Z,X,Y)加权求和。
8.根据权利要求5所述的一种CT和CBCT间可变形配准方法，其特征在于，所述解码器包括6层网络，顺序编号为第七层至第十二层，注意力模块C-BLOCK输出的特征图与注意力模块P-BLOCK输出的特征图的和输入到第七层，第七层通道数为512层；第七层输出的特征图与编码器的第四层输出的特征图拼接后输入到第八层进行卷积以及两倍的上采样，卷积核大小3*3*3，第八层的通道数减少为256层；第八层输出的特征图输入到第九层进行卷积，卷积核大小1*1*1，第九层的通道数仍为256层；第九层输出的特征图与编码器的第三层输出的特征图拼接后输入到第十层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十层的通道数减少为128层；第十层输出的特征图与编码器的第二层输出的特征图拼接后输入到第十一层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十一层的通道数减少为64层；第十一层输出的特征图与编码器的第一层输出的特征图拼接后输入到第十二层进行卷积以及两倍的上采样，卷积核大小3*3*3，第十二层的通道数减少为32层；第十二层输出的特征图进行卷积输出形变场，卷积核大小1*1*1。
9.根据权利要求4所述的一种CT和CBCT间可变形配准方法，其特征在于，所述步骤c包括：将数据集输入双重监督的Unet配准模型进行训练，训练过程中通过反向传播不断更新双重监督的Unet配准模型的权重系数，直到相似度的测度函数取得最大值时停止更新，固定双重监督的Unet配准模型的权重系数，得到最优化的模型，其中，相似度的测度函数公式为
Figure FDA0003105606320000051
ρsim表示变形后的CBCT图像与其对应的CT图像的相似度，Pi表示P位置上的n3大小的体素上的第i次迭代，F(pi)表示CT图像上的P位置像素值，
Figure FDA0003105606320000052
表示CT图像平均像素值，M(pi)表示变形后的CBCT图像P位置像素值，M(P)表示变形后的CBCT图像平均像素值，
Figure FDA0003105606320000053
表示变形后的CBCT图像，
Figure FDA0003105606320000054
表示变形后的CBCT图像平均值。
10.根据权利要求4所述的一种CT和CBCT间可变形配准方法，其特征在于，所述步骤c之后步骤d之前还包括使用测试集测试训练好的最优化的模型的效果，模型的效果评价指标公式为：
Figure FDA0003105606320000055
其中，x，y，z分别表示变形后的CBCT图像的测试点的x，y，z方向上的位置标量，x′，y′，z′分别表示变形后的CBCT图像对应的CT图像的测试点在x，y，z方向上的位置标量；
Figure FDA0003105606320000056
其中，X表示变形后的CBCT图像的手动标记区域块，Y表示变形后的CBCT图像对应的CT图像的手动标记区域块。
CN202110637086.9A 2021-06-08 2021-06-08 一种ct和cbct间可变形配准方法 Active CN113344876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110637086.9A CN113344876B (zh) 2021-06-08 2021-06-08 一种ct和cbct间可变形配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110637086.9A CN113344876B (zh) 2021-06-08 2021-06-08 一种ct和cbct间可变形配准方法

Publications (2)

Publication Number Publication Date
CN113344876A true CN113344876A (zh) 2021-09-03
CN113344876B CN113344876B (zh) 2023-05-12

Family

ID=77474812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110637086.9A Active CN113344876B (zh) 2021-06-08 2021-06-08 一种ct和cbct间可变形配准方法

Country Status (1)

Country Link
CN (1) CN113344876B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN116503505A (zh) * 2023-06-20 2023-07-28 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153250A1 (en) * 2011-05-10 2012-11-15 Koninklijke Philips Electronics N.V. Breast cancer risk assessment
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110569850A (zh) * 2019-08-20 2019-12-13 北京旷视科技有限公司 字符识别模板匹配方法、装置和文本识别设备
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111260705A (zh) * 2020-01-13 2020-06-09 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112396672A (zh) * 2020-11-20 2021-02-23 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN112734814A (zh) * 2019-10-28 2021-04-30 北京大学 三维颅面锥形束ct图像配准方法
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通（北京）科技有限公司 一种基于直线分割的表格图像配准方法
CN112862873A (zh) * 2021-02-25 2021-05-28 中科超精(南京)科技有限公司 一种ct-cbct影像形变配准方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153250A1 (en) * 2011-05-10 2012-11-15 Koninklijke Philips Electronics N.V. Breast cancer risk assessment
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110569850A (zh) * 2019-08-20 2019-12-13 北京旷视科技有限公司 字符识别模板匹配方法、装置和文本识别设备
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
CN112734814A (zh) * 2019-10-28 2021-04-30 北京大学 三维颅面锥形束ct图像配准方法
CN111260705A (zh) * 2020-01-13 2020-06-09 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112396672A (zh) * 2020-11-20 2021-02-23 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN112862873A (zh) * 2021-02-25 2021-05-28 中科超精(南京)科技有限公司 一种ct-cbct影像形变配准方法
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通（北京）科技有限公司 一种基于直线分割的表格图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOHUAN CAO 等: "Region-Adaptive Deformable Registration of CT/MRI Pelvic Images via Learning-Based Image Synthesis", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
陈向前 等: "基于深度学习的2D/3D医学图像配准研究", 《中国生物医学工程学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN116503505A (zh) * 2023-06-20 2023-07-28 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质
CN116503505B (zh) * 2023-06-20 2024-04-05 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113344876B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111492406B (zh) 训练机器学习算法的方法、图像处理系统和图像重建方法
JP7234064B2 (ja) 反復的画像再構成フレームワーク
JP6855223B2 (ja) 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法
Yu et al. Data consistency based rigid motion artifact reduction in fan-beam CT
CN108898642A (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
CN110462689A (zh) 基于深度学习的断层摄影重建
CN108961237A (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
Sun et al. An iterative projection‐based motion estimation and compensation scheme for head x‐ray CT
CN111260748B (zh) 基于神经网络的数字合成x射线层析成像方法
CN109961419B (zh) 对pet活度分布图像进行衰减校正的校正信息获取方法
CN113344876B (zh) 一种ct和cbct间可变形配准方法
Shao et al. A learned reconstruction network for SPECT imaging
Han et al. Differentiated backprojection domain deep learning for conebeam artifact removal
Li et al. Eliminating CT radiation for clinical PET examination using deep learning
JP7403585B2 (ja) 計算機式断層写真法画像再構成のためのシステム及び方法
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
WO2020118894A1 (zh) 图像重建方法、计算机设备及计算机可读存储介质
Kim et al. CNN-based CT denoising with an accurate image domain noise insertion technique
US20220375038A1 (en) Systems and methods for computed tomography image denoising with a bias-reducing loss function
Chen et al. Dual-domain modulation for high-performance multi-geometry low-dose CT image reconstruction
CN111583354B (zh) 医学图像处理单元的训练方法和医学图像运动估计方法
KR102329938B1 (ko) 뉴럴 네트워크를 이용한 콘빔 단층촬영 영상 처리 방법 및 그 장치
Juang X-ray chest image reconstruction by Radon transform simulation with fan-beam geometry
CN116883246B (zh) 一种用于cbct图像的超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant