CN112819911B - 基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 - Google Patents
基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 Download PDFInfo
- Publication number
- CN112819911B CN112819911B CN202110092083.1A CN202110092083A CN112819911B CN 112819911 B CN112819911 B CN 112819911B CN 202110092083 A CN202110092083 A CN 202110092083A CN 112819911 B CN112819911 B CN 112819911B
- Authority
- CN
- China
- Prior art keywords
- image
- net
- phase
- images
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 230000008602 contraction Effects 0.000 claims description 10
- 230000017105 transposition Effects 0.000 claims description 9
- 238000003325 tomography Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 3
- 238000009472 formulation Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 230000002401 inhibitory effect Effects 0.000 abstract description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 19
- 230000000241 respiratory effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000001959 radiotherapy Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002786 image-guided radiation therapy Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了基于N‑net和CycN‑net网络结构的四维锥束CT重建图像增强算法。本发明是在充分挖掘四维锥束CT重建图像固有特性的基础上设计的，深度神经网络CycN‑net通过将五个连续运动相位的解析重建图像和对应的先验图像作为网络输入，考虑了四维锥束CT图像序列内部的先验知识和图像序列间的时空相关性，将提取的卷积特征图被拼接和融合以服务于图像恢复。本发明中的深度神经网络CycN‑net对恢复高时空分辨率的四维锥束CT图像序列具有优秀的表现，能够在有效抑制严重条形伪影的同时，最大程度地恢复和保持重建图像中细节结构信息。
Description
技术领域
本发明属于X射线成像技术领域，具体涉及一种基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法。
背景技术
放射治疗是治疗恶性肿瘤(俗称癌症)的主要手段之一。锥束CT(Cone BeamComputed Tomography,CBCT)在放射治疗领域，特别是在图像引导的放射治疗(ImageGuided Radiation Therapy，IGRT)中，被大量使用。锥束CT的主要作用是对进行病人摆位并根据重建结果进行治疗目标定位，同时为放疗过程提供病人信息的实时更新。一般地，该领域锥束CT的探测器具有很高的空间分辨率，非常便于对头部进行摆位，但对于肺部成像就面临着极大挑战。在锥束CT成像时间为每周1分钟至4分钟，在相对漫长的扫描过程中，不可避免的会出现病人的呼吸，心跳和不规律肠胃运动，则会重建出运动模糊严重的肺部组织结构，影响到放疗中对靶区的精准定位。由上述可知，锥束CT存在的一个迄今尚未完全解决的问题是动态目标的成像问题。
针对动态目标的锥束CT成像问题中，将时间因素融入重建中的时间维度锥束CT技术(Four Dimension CBCT,4D-CBCT)在2005年被首次提出，也被称为四维锥束CT。该技术的主要策略是在锥束CT扫描过程中，同步采集对应的呼吸运动信号，并依据呼吸信号来对投影图像进行时相分类，然后分别重建当前相位下的图像，最终获得一组时序锥束CT图像。这一组图像可以提供运动器官的时间维度的运动轨迹信息，具有高时间分辨率。尽管不同呼吸相位下重建结果中的运动伪影被显著抑制，但每个相位下分配的投影数据相当于对全部角度的投影数据进行稀疏采样。通常地，一个周期下的运动呼吸相位可以被分时为十个状态，那么每个相位状态下所对应的投影数目为所有采集投影数据的十分之一，这种采样形式无法满足Shannon-Nyquist采样定理。另一方面，每一个相位下的投影数据呈聚束分布，进一步加剧了严重的稀疏角问题。因此，在重建图像中必然会引入欠采样条纹伪影，同时严重降低了重建图像的空间分辨率。
近些年来，大量研究工作涌现旨在提高四维锥束CT的图像质量，在准确估计与定位在呼吸状态中的动态目标肿瘤的同时，重建出高质量的时间序列图像。当前的主流解决方案可以分为：通过估计不同相位间的运动变化模型来提高图像质量和利用各相位间图像相关性等先验信息进行四维CT迭代重建。第一类方法认为不同相位间的图像可以通过计算形变向量场(Deformable Vector Field，DVF)结合先验图像进行非刚性配准从而得到不同相位的图像。然而，该方法对配准算法的准确度要求较高且容易引入新的错误点。为了提高配准准确性，部分方法需要引入其他模态高质量的CT图像作为参考。第二种策略是基于相位相关的四维锥束CT重建算法，该类算法利用患者在不同呼吸相位下的高相关性，进行空域时域联合约束的方式，来消除重建图像中的条形伪影，例如时域非局部均值滤波(Temporal Non-local means,TNLM)和时空域运动补偿型全变分等。但该类方法对图像伪影消除的能力还需不断提高。近年来，基于深度卷积神经网络技术在CT成像领域(包括4D-CBCT重建)取得了巨大的成功。CNN借助大数据的先验知识，可以在一定程度上恢复CT稀疏角采样导致的图像退化问题。因此，深度学习技术能够为4D-CBCT重建问题提供更可行的算法思路。针对CT的图像恢复任务，学者们提出了不少CNN模型。在众多网络中，U-net具有其自身的优势和潜力，特别是在小样本训练集以及网络的泛化能力方面都获得不错的研究成果。对于4D-CBCT分相位图像序列的图像恢复任务，较少的CT图像训练样本和对网络稳定性与泛化能力的高要求，一直是重要的研究话题。因此，U-net不失为一种抑制4D-CBCT图像伪影，增强图像质量的合适的选择之一。U-net为传统的编码-解码网络架构下的一种改进设计。U-net由收缩路径、扩展路径组成，分别对应于编码层和解码层。其中，收缩路径通过“卷积+非线性激活函数+最大池化”的运算模块提取得到不同尺度的结构特征图。该设计一方面为网络后续图像恢复提供多分辨率下丰富的特征信息，另一方面能够帮助抑制伪影噪声对图像的影响。U-net的扩展路径是一个对图像进行不断恢复的过程，每一层下包括了拼接操作、转置卷积和上采样操作。与传统解码网络利用最深卷积层的特征图进行图像恢复，U-net通过短连接操作将不同卷积层下的特征图与扩展路径中对应大小的转置卷积特征图进行拼接，使得收缩路径中的浅层特征图得到了复用，使某一尺度下的特征通道维度进行了扩展，这将有助于进一步恢复出图像的边缘结构细节和解决网络训练过程中梯度消失的问题。尽管U-net已经在许多自然图像恢复中得到了成功的应用，但是在面对4D-CBCT图像恢复任务时仍然存在局限性。大量实验表明U-net网络预测的4DCBCT图像中细节信息被大量丢失，同时还可能引入了错误的伪像结构。综上所述，需要在利用U-net优势的同时，进行相关改进设计，提出新型网络以达到更适合应用在含严重结构伪影的4D-CBCT图像恢复任务的目的。
发明内容
本发明的目的在于克服上述不足，提供基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法，能够改善4D-CBCT图像恢复质量。
为了达到上述目的，本发明包括以下步骤：
步骤一，对四维锥束CT图像序列预重建；
步骤二，构造深度神经网络，用训练数据集学习深度神经网络的网络权重数据，学习到用于四维锥束CT图像伪影噪声抑制的深度神经网络N-net和深度神经网络CycN-net；
步骤三，将待处理的四维锥束CT每个相位的三维重建图像，按上下断层切片方向提取出包含横截面断层解剖信息的二维图像。
步骤一中，通过解析重建算法，对四维锥束CT图像序列重建出多相位下的三维图像序列，并通过不同投影角度数据得到先验重建图像。
步骤二中，深度神经网络N-net在收缩路径中，涵盖了含伪影图像特征通道和先验图像特征通道；在扩展路径中，将含伪影图像特征通道和先验图像特征通道提取的特征信息进行逐层融合，进而恢复出高质量图像。
步骤二中，深度神经网络N-net的收缩路径由含伪影图像特征通道和先验图像特征通道构成，含伪影图像特征通道和先验图像特征通道分别用来提取伪影退化的某个相位重建图像和先验图像的不同特征。
深度神经网络N-net的扩展路径中，每个图像恢复层都包含三个单元，分别为拼接单元、加和单元和转置卷积单元。
深度神经网络CycN-net中的含伪影相位图像特征提取通道和扩展路径中，五个连续相位重建图像均参与了目标相位重建图像的恢复过程。
深度神经网络CycN-net的工作过程如下：
将五个相位们分为三组以捕获4D-CBCT图像间隐藏的更多时空特征，通过卷积操作，获得与目标相位图像相关的三组多组特征图，三组多组特征图通过不同大小的2D卷积核操作来提取更多尺度下的特征信息。
深度神经网络N-net中，输入图像为某单个相位t下的二维预重建图像。
深度神经网络CycN-net中，将与目标相位t对应的重建图像与其相邻四个相位下的图像(t-2,t-1,t+1,t+2)合并后，同时输入到深度神经网络中，输出的结果为当前第t个相位的预测图像。
与现有技术相比，本发明是在充分挖掘四维锥束CT重建图像固有特性的基础上设计的，深度神经网络CycN-net通过将五个连续运动相位的解析重建图像和对应的先验图像作为网络输入，考虑了四维锥束CT图像序列内部的先验知识和图像序列间的时空相关性，将提取的卷积特征图被拼接和融合以服务于图像恢复。本发明中的深度神经网络CycN-net对恢复高时空分辨率的四维锥束CT图像序列具有优秀的表现，能够在有效抑制严重条形伪影的同时，最大程度地恢复和保持重建图像中细节结构信息。此外，该网络能够在不同病人数据情况，不同成像设备情境下，具有稳定的图像恢复能力和优秀的泛化能力。同时，该网络处理图像速度快，在CT图片在512×512维度大小情况下，时间复杂度控制在0.5秒以内。本发明对影像引导的放射治疗中的四维锥束CT重建问题具有重要的指导和实际应用潜在价值。
附图说明
图1为本发明中N-net的实施流程图；
图2为本发明中CycN-net的实施流程图；
图3为3DBlock的示意图；
图4为N-net中拼接单元的示意图；
图5为N-net中加和单元的示意图；
图6为N-net中转置卷积单元的示意图；
图7为FinalConv单元的示意图；
图8为N-net/CycN-net深度神经网络结构框架图；
图9为CycN-net深度神经网络第一卷积层的结构分析图；
图10为四维锥束CT模体仿真重建图像实例图；
图11为四维锥束CT真实病人重建图像实例图。
具体实施方式
下面结合附图对本发明做进一步说明。
参见图1和图2，本发明包括以下步骤：
步骤一，四维锥束CT图像序列预重建。采用解析重建算法，快速分别重建出10个相位下的三维图像序列，并利用所有投影角度数据得到的同一病人的先验重建图像。
步骤二，构造深度神经网络，用训练数据集学习深度神经网络的网络权重数据，学习到用于四维锥束CT图像伪影噪声抑制的深度神经网络N-net和深度神经网络CycN-net。
步骤三，将待处理的四维锥束CT每个相位的三维重建图像，按上下断层切片方向提取出包含横截面断层解剖信息的二维图像。
对于深度神经网络N-net来说，输入图像为某单个相位t下的二维预重建图像；对于深度神经网络CycN-net，将与目标相位t对应的重建图像与其相邻四个相位下的图像(t-2,t-1,t+1,t+2)合并后，同时输入到深度神经网络中，输出的结果为当前第t个相位的预测图像。
深度神经网络N-net为一种针对四维锥束CT重建图像的网络架构。深度神经网络N-net在深度神经网络U-net的网络架构下设计的，同样包含收缩路径与扩展路径。不同的是，深度神经网络N-net的收缩路径由两条特征提取通道构成，分别用来提取伪影退化的某个相位重建图像和先验图像的不同特征，分别称为含伪影图像特征提取通道和先验图像特征提取通道。如图1所示，两条通道都包含八个Block/pBlock卷积模块，每个卷积模块具有与U-net相似的内部操作单元，如包含两个二维卷积核单元，两个激活函数单元和两个2×2大小的最大池化单元(除了(p)Block8以外)。值得注意的是，本网络中使用的激活函数为参数化非线性激活函数，用来解决“坏死”神经元问题并加快网络收敛速度。
本发明的深度神经网络N-net的扩展路径中，每个图像恢复层都包含三个单元，分别为拼接单元(Concatenate,C)，加和单元(Add)，转置卷积单元(Transpose convolution,Tcon)。这一组合将含伪影图像特征提取通道与先验图像特征提取通道相同层的特征图与对应的前一个图像恢复层中转置卷积得到的特征图聚合在一起。
具体来说，图4所示的拼接单元为拼接操作单元，它将来自单个含伪影图像特征提取通道(图4中的输入2)和先验图像特征提取通道(图4中的prior输入)对应层特征图进行拼接，使特征图维度增多。需要注意的是，对于深度神经网络N-net，图中的输入1和输入3是非激活状态，这意味着在深度神经网络N-net仅考虑单一相位下的重建图像。图5表示加和单元，该操作单元将拼接单元拼接后的特征图和图像扩展路径中上一层的特征图进行平均操作。
在设计Add单元过程中，本发明有以下考虑：第一，在U-net和N-net中，收缩路径通过不同卷积层中的下采样卷积来进行多尺度特征分析，而扩展路径则是合成特征并向上逐层传播特征信息以进行图像恢复。因此，整个网络中的信息以多尺度的形式表现出来。Add单元能够帮助更高效地表示有用信息同时抑制存在的噪声因素。第二，与拼接操作相比，Add操作不增加特征数目的同时，可以避免网络训练中梯度消失的问题。图6所示的最后一个单元Tcon包含了两个转置卷积和两个PReLU函数，用来逐层进行图像恢复。除Tcon7之外，每个Tcon单元后面需要进行上采样操作(如图中的蓝色箭头所示)。最后，通过执行FinalConv单元(图7)得到最终的预测图像。
本发明的N-net基础上，又提出了CycN-net网络。N-net网络只利用单个相位图像和先验图像联合进行特征表达来恢复该相位图像质量。不同相位重建图像之间的相关性应当也被考虑在网络的设计中，以进一步提高图像恢复质量。这里的相关性可以被理解为不同相位图像中的背景内容大致相似，而图像中的运动成分的变化规律具有连续性。对于单个相位图像的恢复任务，可以在收缩路径和扩展路径中充分汲取相邻相位图像的特征信息来获得针对目标相位图像更丰富的描述信息。因此，本发明提出了一种简单而有效的方法来实现这一目的。具体地说，在含伪影特征提取通道中，除了目标相位图像以外，与目标相位图像相邻的四个相位图像将输入到构建的组合模块中，即3DBlock，如图2所示。在扩展路径中，加和单元和转置卷积单元与N-net相同，而拼接单元则有所不同。在CycN-net中，图4中的所有红色箭头均为激活状态，即每一个C单元除了接收当前目标相位特征图和先验图像特征图以外，还合并了来自第t-1和第t+1个相位下的两组特征图，这将帮助恢复当前相位下的运动信息。
图8详细阐释了CycN-net如何利用3DBlock来挖掘与表达相邻的相位图像的相关信息。图8中的3DBlock块中，五个连续的含伪影相位重建图像根据图中彩色虚线关系划分为三个组。每一组由三个不同相位下重建图像组成的三维体数据。基于此，在3DBlock中采用3D卷积核与2D卷积核的组合形式对体数据进行特征提取得到包含时空信息的特征图。然后，将三组特征图分别独立地输入到图8的Block2中并逐层进行图像恢复，如相应第j个反卷积层下的特征{Cj(t-1),Cj(t),Cj(t+1)}。所提出CycN-net网络中的含伪影相位图像特征提取通道和扩展路径中，五个连续相位重建图像均参与了目标相位重建图像的恢复过程。如前小节所述，联合相邻相位重建图像特征将有助于促进网络学习和表达更多的时空特征信息，从而对目标相位图像在运动信息估计和细节恢复方面进行了补偿。对于选择五个连续相位重建图像输入到网络的原因是：一般地，十个呼吸相位足够描述一个呼吸周期下各个呼吸状态，而一个呼吸周期中的吸气过程和呼气过程可被近似认为是对称的。因此，五个呼吸相位的重建图像基本上包括了不同呼吸的运动状态图像。为了进一步研究当前目标相位重建图像Xt与最临近相位Xt-1和Xt+1(时间距离为1)或其他临近相位Xt-2和Xt+2(时间距离为2)的重建图像之间的时间相关性，并没有直接将五个相位图像直接输入到网络中，而是将它们分为三组以捕获4D-CBCT图像间隐藏的更多时空特征。通过后续的卷积操作，可以获得与目标相位图像相关的三组多组特征图，这些特征图将通过后续的不同大小的2D卷积核操作来提取更多尺度下的特征信息。因此，所设计的3DBlock模块能够充分挖掘4D-CBCT图像序列之间的时空特征。
实施例：
参见图9，本发明基于一种基于深度神经网络包括以下步骤：
一.构造训练数据集
网络训练中的真值图像来自2019年AAPM公开组织的4D-CBCT重建挑战赛数据集。从中选取了17套高质量的4D-CT图像，每套数据中均包含10个呼吸相位下的重建CT体数据。每个呼吸相位下的4D-C数据的维度为512×512×210，体素大小为1×1×1mm3。在实际情况下，由于扫描硬件和剂量的限制，4D-CBCT重建图像序列的真值图像很难获得。在病人进行放射治疗实施阶段前，需要进行4D-CT成像并根据该图像进行放疗计划的设计。4D-CT由于扫描速度快(扫描时间约为1秒)，采集投影角度多，从而能够获得一组高质量的重建图像序列。尽管4D-CT与4D-CBCT图像在不同的扫描设备中进行，但两者的扫描对象为同一病人。因此，4D-CT重建图像可以被作为4D-CBCT的真值参考图像。
接着，根据4D-CBCT的成像特点，仿真模拟了放疗系统机载的锥束CBCT的数据采集工作，包括：模拟了一个近似余弦信号作为锥束CT扫描过程中实时采集的呼吸信号，根据Varian医疗系统公司生产的TrueBeam型号放疗系统的扫描参数模拟动态目标扫描过程获得投影数据，最后根据4D-CBCT重建算法将投影数据进行相位分配并分相位解析重建获得重建图像序列。具体的成像参数为：三维虚拟探测器的维度为1024×768，射线源到旋转中心和到二维探测器中心的距离分别为1000mm和1536mm。由于肺部成像的左右区域成像范围比较大，因此采取半扇角模式(Half-fan Scan)进行扫描(探测器沿肺部成像范围较大的方向偏移160mm。为了更真实地模拟实际的CT投影过程，在探测器端投影数据添加了泊松噪声，噪声的强度为105个光子数。考虑到引入呼吸运动的动态成像，将时间因素引入到重建过程中，设定锥束CT扫描一圈时间为1分钟，每秒旋转6度，因此旋转一周共采集600个角度下的投影数据。在投影相位分配过程中，由于模拟的呼吸运动为周期的且呼吸幅度规律的，因此所有投影数据被平均地分配到10个呼吸相位中，并根据公式
重建出一组包含十个不同相位下的重建图像序列Xt(t＝1,...10)。其中，FBP(.)表示反投影操作，P(β)表示在旋转角度β下的投影数据。同时，对每一套4D-CT数据，在不进行投影数据相位分配的情况下，依照公式
可以获得对应的先验重建图像。
经过对17套图像数据进行筛选，最终组成了一个包含11,400组二维图像的训练样本集，其中90％的数据作为训练集，10％的数据作为验证集。对于N-net来说，每一个训练样本对中包括某个相位含伪影重建图像，该4D-CBCT图像序列的先验图像，以及对应的相同相位真值图像；CycN-net的样本对包括五个连续相位下的含伪影重建图像，该4D-CBCT图像序列的先验图像，以及中间目标相位真值图像。
二.构造和训练深度神经网络
本章提出的N-net和CycN-net两个网络模型均采用回归训练的方式，针对两个网络的目标优化函数公式
和公式
采用ADAM优化器进行优化。式中，Xt表示当前第t个相位下的输入图像，St＝{Xt-2,Xt-1,Xt,Xt+1,Xt+2}表示以t为中间相位的连续五个相位的输入图像，
表示L2范数约束。采用最小均方根损失误差(Mean square error,MSE)作为网络的损失函数
批处理样本集大小为1000，遍历所有数据的循环次数为50，网络的初始化学习率为10-5，每五次循环后将学习率调整为原先的90％。
本方法中，在基于Pytorch深度学习平台进行网络训练，工作电脑的配置为平台为Intel Core i7-6700 3.40GHz的CPU和三个型号为GTX1080的GPU显卡进行数据并行训练。需要注意的是，在训练N-net网络时，含伪影图像特征提取通道和先验通道分别输入目标相位含伪影和先验图像。对于CycN-net网络，五个连续相位的含伪影图像被分为三组后输入到特征提取通道，并进行独立地卷积操作。
图10展示了一个具体的实施例子，该例子采用的是XCAT模体数据。(a)展示了三个不同相位包含运动信息的输入Gated-FDK重建切片图像(50％，60％，70％)和一个包含静态信息的输入切片，这四个图像均包含严重的条形伪影。(b)展示了用N-net算法所估计图像，(c)展示了用CycN-net算法所估计图像，(d)为对应的真值图像。
图11展示了一个具体的实施例子，该例子采用的是一例真实的病人数据。(a)展示了三个不同相位包含运动信息的输入Gated-FDK重建切片图像(10％，30％，50％)。(b)为N-net网络所估计图像，(c)为所发明的CycN-net网络所估计图像。为了更清楚地观察所发明网络在细节结构的恢复性能，图11最下方一行展示了方法的感兴趣区域图像。
Claims (1)
1.一种基于N-net和CycN-net网络结构的四维锥束CT重建图像增强方法，其特征在于，包括以下步骤：
步骤一，对四维锥束CT图像序列预重建；
步骤二，构造深度神经网络，用训练数据集学习深度神经网络的网络权重数据，学习到用于四维锥束CT图像伪影噪声抑制的深度神经网络N-net和深度神经网络CycN-net；
步骤三，将待处理的四维锥束CT每个相位的三维重建图像，按上下断层切片方向提取出包含横截面断层解剖信息的二维图像；
步骤四，将二维预重建图像输入到深度神经网络N-net或深度神经网络CycN-net中进行图像增强处理，最终得到预测图像；
对于深度神经网络N-net来说，输入图像为某单个相位t下的二维预重建图像；深度神经网络N-net包含收缩路径与扩展路径，深度神经网络N-net的收缩路径由两条特征提取通道构成，分别用来提取伪影退化的某个相位重建图像和先验图像的不同特征，分别称为含伪影图像特征提取通道和先验图像特征提取通道，两条通道都包含八个Block/pBlock卷积模块，每个卷积模块具有与U-net相似的内部操作单元；
深度神经网络N-net的扩展路径中，每个图像恢复层都包含三个单元，分别为拼接单元、加和单元和转置卷积单元，这一组合将含伪影图像特征提取通道与先验图像特征提取通道相同层的特征图与对应的前一个图像恢复层中转置卷积得到的特征图聚合在一起；
拼接单元将来自单个含伪影图像特征提取通道和先验图像特征提取通道对应层特征图进行拼接，使特征图维度增多；
加和单元将拼接单元拼接后的特征图和图像扩展路径中上一层的特征图进行平均操作；
转置卷积单元包含了两个转置卷积和两个PReLU函数，用来逐层进行图像恢复，通过执行最后的卷积单元，得到最终的预测图像；
依照公式
可以获得对应的先验重建图像，FBP(.)表示反投影操作，P(β)表示在旋转角度β下的投影数据；
对于N-net神经网络来说，目标优化函数公式
Xt表示当前第t个相位下的输入图像；
对于深度神经网络CycN-net来说，在含伪影图像特征提取通道中，除了相位t图像以外，与相位t图像相邻的四个相位图像将输入到构建的组合模块中，五个连续的含伪影相位重建图像按相位t、t+1、t-1为一组，相位t-1、t、t-2为一组，相位t、t+1、t+2为一组，共划分为三个组，每一组由三个不同相位下重建图像组成的三维体数据，在组合模块中采用3D卷积核与2D卷积核的组合形式对体数据进行特征提取得到包含时空信息的特征图，在扩展路径中，加和单元和转置卷积单元与N-net相同，而拼接单元则有所不同，在CycN-net中，每一个拼接单元除了接收当前相位t特征图和先验图像特征图以外，还合并了来自第t-1和第t+1个相位下的两组特征图，CycN-net网络中的含伪影图像特征提取通道和扩展路径中，五个连续相位重建图像均参与了目标相位重建图像的恢复过程，输出的结果为当前第t个相位的预测图像；
依照公式
可以获得对应的先验重建图像，FBP(.)表示反投影操作，P(β)表示在旋转角度β下的投影数据；
对于CycN-net神经网络来说，目标优化函数公式
式中，St＝{Xt-2,Xt-1,Xt,Xt+1,Xt+2}表示以t为中间相位的连续五个相位的输入图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110092083.1A CN112819911B (zh) | 2021-01-23 | 2021-01-23 | 基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110092083.1A CN112819911B (zh) | 2021-01-23 | 2021-01-23 | 基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819911A CN112819911A (zh) | 2021-05-18 |
| CN112819911B true CN112819911B (zh) | 2022-10-25 |
Family
ID=75859331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110092083.1A Active CN112819911B (zh) | 2021-01-23 | 2021-01-23 | 基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819911B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937022B (zh) * | 2022-05-31 | 2023-04-07 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
| CN115393534B (zh) * | 2022-10-31 | 2023-01-20 | 深圳市宝润科技有限公司 | 一种基于深度学习的锥束三维dr重建方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102230961A (zh) * | 2011-03-31 | 2011-11-02 | 北京航空航天大学 | 基于相位补偿处理的扩展目标检测方法 |
| CN111275669A (zh) * | 2020-01-13 | 2020-06-12 | 西安交通大学 | 一种先验信息引导的四维锥束ct图像重建算法 |
| CN111325794A (zh) * | 2020-02-23 | 2020-06-23 | 哈尔滨工业大学 | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 |
| EP3716214A1 (en) * | 2019-03-29 | 2020-09-30 | Canon Medical Systems Corporation | Medical image processing apparatus and method for acquiring training images |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2021
- 2021-01-23 CN CN202110092083.1A patent/CN112819911B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102230961A (zh) * | 2011-03-31 | 2011-11-02 | 北京航空航天大学 | 基于相位补偿处理的扩展目标检测方法 |
| EP3716214A1 (en) * | 2019-03-29 | 2020-09-30 | Canon Medical Systems Corporation | Medical image processing apparatus and method for acquiring training images |
| CN111275669A (zh) * | 2020-01-13 | 2020-06-12 | 西安交通大学 | 一种先验信息引导的四维锥束ct图像重建算法 |
| CN111325794A (zh) * | 2020-02-23 | 2020-06-23 | 哈尔滨工业大学 | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Artifacts reduction method for phaseresolved;Shaohua Zhi等;《MEDICAL IMAGING 2019: PHYSICS OF MEDICAL IMAGING》;20190301;全文 * |
| 一种基于先验图像的锥束CT金属伪影校正算法;刘仰川等;《图学学报》;20200828;第41卷(第4期);529-538 * |
| 基于联合投影数据的动态锥束CT伪影消除算法;职少华等;《中国体视学与图像分析》;20170930(第03期);293-298 * |
| 基于运动补偿的压缩感知4D-CBCT优质重建;杨轩等;《南方医科大学学报》;20160726(第07期);969-973,978 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819911A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gong et al. | PET image denoising using a deep neural network through fine tuning | |
| Armanious et al. | Unsupervised medical image translation using cycle-MedGAN | |
| JP7203852B2 (ja) | 深層学習を使用した低線量ｐｅｔイメージングからの全線量ｐｅｔ画像の推定 | |
| Yu et al. | Computed tomography super-resolution using convolutional neural networks | |
| CN108898642A (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
| Xie et al. | Scatter artifacts removal using learning-based method for CBCT in IGRT system | |
| CN112819911B (zh) | 基于N-net和CycN-net网络结构的四维锥束CT重建图像增强算法 | |
| CN113256753B (zh) | 基于多任务学习约束的pet图像感兴趣区域增强重建方法 | |
| CN111275669B (zh) | 一种先验信息引导的四维锥束ct图像重建算法 | |
| Zhu et al. | Residual dense network for medical magnetic resonance images super-resolution | |
| CN112819914B (zh) | 一种pet图像处理方法 | |
| Zhi et al. | CycN-Net: A convolutional neural network specialized for 4D CBCT images refinement | |
| Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
| CN105976412B (zh) | 一种基于离线字典稀疏正则化的低管电流强度扫描的ct图像重建方法 | |
| Liu et al. | Low-dose CBCT reconstruction via 3D dictionary learning | |
| WO2023216057A1 (en) | System and method for medical imaging | |
| Niu et al. | Regularized fully 5D reconstruction of cardiac gated dynamic SPECT images | |
| CN116245969A (zh) | 一种基于深度神经网络的低剂量pet图像重建方法 | |
| Xu et al. | Low-dose CT denoising using a structure-preserving kernel prediction network | |
| CN115984401A (zh) | 一种基于模型驱动深度学习的动态pet图像重建方法 | |
| Song et al. | Approximate 4D reconstruction of cardiac-gated spect images using a residual convolutional neural network | |
| Zhao et al. | Modified simultaneous motion estimation and image reconstruction (m-SMEIR) for 4D-CBCT | |
| Liu et al. | 4D-CBCT reconstruction via motion compensataion learning induced sparse tensor constraint | |
| Júnior et al. | Ensemble of convolutional neural networks for sparse-view cone-beam computed tomography | |
| Liu et al. | Solving Low-Dose CT Reconstruction via GAN with Local Coherence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |