CN116228903B - 基于csa模块及深度学习模型的高清ct图像重建方法 - Google Patents
基于csa模块及深度学习模型的高清ct图像重建方法 Download PDFInfo
- Publication number
- CN116228903B CN116228903B CN202310084538.4A CN202310084538A CN116228903B CN 116228903 B CN116228903 B CN 116228903B CN 202310084538 A CN202310084538 A CN 202310084538A CN 116228903 B CN116228903 B CN 116228903B
- Authority
- CN
- China
- Prior art keywords
- images
- layer
- image
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002591 computed tomography Methods 0.000 description 243
- 239000010410 layer Substances 0.000 description 191
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述方法包括：将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像；所述第一数量为大于1的整数；所述深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的。本发明的基于CSA模块及深度学习模型的高清CT图像重建方法，通过输入第一数量的厚层CT图像至重建模型来对其中一张厚层CT图像进行重建，得到第二数量的薄层CT图像，能够获取到被重建的厚层CT图像中多个截面位置的细节，进而能够重建得到多个细节特征更加准确的薄层CT图像。
Description
技术领域
本发明涉及医疗影像处理技术领域，尤其涉及一种基于CSA模块及深度学习模型的高清CT图像重建方法。
背景技术
CT(Computed-Tomography，计算机断层扫描成像系统)利用X射线扫描物体，并采集扫描数据来获得投影数据，可以通过断层重建算法来处理这些投影数据，获得物体的断层和三维的密度信息，达到无损检测的目的。
当前，医院大多采用厚度为5mm、3mm等厚度的厚层CT图像，这种厚层CT图像的层间距离大、层间分辨率低，因此生成的DRR(DigitallyReconstructured Radiograph，数字重建放射影像)图像的质量较差，直接了影响了其与X射线图像的配准的精度以及成功率。而薄层CT的DRR图像虽然质量较高，但是在拍摄CT图像的时候，病人在CT室的时间增长，即所受到的辐射增加，以及薄层CT图像在后续的存储过程中，所需要占用的电脑空间增大，很多医院不愿意存储清晰度较高的薄层CT图像。
相关技术中，在存在诊断需求时，仅根据现有的单个厚层CT图像来获取到多个薄层CT图像，多个薄层CT图像对厚层范围内的图像细节还原度不高，不够准确。
发明内容
本发明提供一种基于CSA模块及深度学习模型的高清CT图像重建方法，用以解决现有技术中难以通过厚层CT图像获取到准确的薄层CT图像的缺陷，实现利用人工智能模型实现从厚层CT图像到多个准确的薄层CT图像的转换。
本发明提供一种基于CSA模块及深度学习模型的高清CT图像重建方法，包括：
将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像；所述第一数量为大于1的整数；
所述深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；
其中，所述第一数量的厚层CT图像和所述第一数量的样本厚层CT图像均在目标扫描方向上截面连续，所述第二数量的薄层CT图像与所述第二数量的样本薄层CT图像也均在所述目标扫描方向上截面连续。
根据本发明提供的一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像，包括：
将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样后再进行特征提取，得到各特征图像；
通过所述深度学习模型对各特征图像进行特征融合后再进行上采样，得到所述深度学习模型输出的所述第二数量的薄层CT图像。
根据本发明提供的一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述深度学习模型包括卷积神经网络模块、CSA模块以及注意力机制网络模块；
所述卷积神经网络模块，用于将输入的所述厚层CT图像进行特征提取，得到各第一特征图像；
所述CSA模块，用于根据各第一特征图像所对应的通道，确定各第一特征图像对应的视角转换图像；
所述注意力机制网络模块，用于根据各第一特征图像进行全局特征提取，得到第二特征图像。
根据本发明提供的一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述特征图像包括所述视角转换图像和所述第二特征图像，所述将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样并进行特征提取，得到各特征图像，包括：
通过所述卷积神经网络模块进行下采样并进行特征提取，得到各第一特征图像；
通过所述CSA模块对各第一特征图像进行视角转换，得到各第一特征图像对应的各视角转换图像；通过所述注意力机制网络模块对各第一特征图像进行全局特征提取，得到所述第二特征图像。
根据本发明提供的一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述第一数量的样本厚层CT图像包括至少一个目标位置处截面的厚层CT图像，所述第二数量的样本薄层CT图像为所述目标位置处截面的不同薄层CT图像。
根据本发明提供的一种基于CSA模块及深度学习模型的高清CT图像重建方法，所述第一数量为3；在所述第一数量的厚层CT图像按照所述目标扫描方向进行排列的情况下，第二张所述厚层CT图像为所述目标位置处截面的厚层CT图像。
本发明还提供一种基于CSA模块及深度学习模型的高清CT图像重建装置，包括：
处理模块，用于将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像；所述第一数量为大于1的整数；
所述深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；
其中，所述第一数量的厚层CT图像和所述第一数量的样本厚层CT图像均在目标扫描方向上截面连续，所述第二数量的薄层CT图像与所述第二数量的样本薄层CT图像也均在所述目标扫描方向上截面连续。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于CSA模块及深度学习模型的高清CT图像重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于CSA模块及深度学习模型的高清CT图像重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于CSA模块及深度学习模型的高清CT图像重建方法。
本发明提供的基于CSA模块及深度学习模型的高清CT图像重建方法，通过输入第一数量的厚层CT图像至重建模型来对其中一张厚层CT图像进行重建，得到第二数量的薄层CT图像，能够获取到被重建的厚层CT图像中多个截面位置的细节，进而能够重建得到多个细节特征更加准确的薄层CT图像。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于CSA模块及深度学习模型的高清CT图像重建方法的流程示意图之一；
图2是本发明提供的基于CSA模块及深度学习模型的高清CT图像重建方法的流程示意图之二；
图3是本发明提供的基于CSA模块及深度学习模型的高清CT图像重建方法的流程示意图之三；
图4是本发明提供的基于CSA模块及深度学习模型的高清CT图像重建装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的基于CSA模块及深度学习模型的高清CT图像重建方法。
在对本发明实施例的基于CSA模块及深度学习模型的高清CT图像重建方法进行说明之前，先对CT图像的厚薄选择进行说明。
CT图像的图像层厚有很多选择，常规轴位图像层厚通常在0.5mm-10mm不等，CT图像的层厚越薄，则图像细节更多。
需要说明的是，薄层CT图像与厚层CT图像是一个相对概念，薄层与厚层之间并没有严格的界限。而随着CT设备的发展进步，能够得到更大范围厚薄的CT图像。
CT机一般采用容积扫描的方式，即以人体部位的一个器官/区域为单位进行连续的容积采集。薄层CT图像可以通过容积扫描的原始数据重建得出，不需要再次扫描。厚层CT图像每一张图像的厚度层间距更大。为了不遗漏病灶，两张CT图像之间的层间距都会重叠30％-50％。
薄层CT图像的空间分辨力即高对比度分辨力(区分相邻最小物体的能力)较好，能发现更多的细节。厚层CT图像的低对比度分辨力(分辨物体微小差别的能力)较好，能把组织更好的区分开。薄层CT图像的噪声较大，而厚层CT图像的噪声较小。可以理解的是，薄层CT图像所占用的存储空间更大，一般医院更倾向于生成厚层CT图像。
本发明实施例的基于CSA模块及深度学习模型的高清CT图像重建方法的执行主体可以是处理器，当然，在一些实施例中，执行主体还可以是服务器，此处对执行主体的具体类型不作限制。下面以执行主体为处理器来对本发明实施例的基于CSA模块及深度学习模型的高清CT图像重建方法进行说明。
如图1所示，本发明实施例的基于CSA模块及深度学习模型的高清CT图像重建方法主要包括步骤110。
步骤110，将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像。
在本实施方式中，深度学习模型可以是图像重建模型，深度学习模型可以对输入的图像进行重建处理，即深度学习模型用于对输入的厚层CT图像进行图像处理，并得到薄层CT图像。例如，深度学习模型可以是基于卷积神经网络模型来进行训练。
需要说明的是，深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的。
其中，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在目标扫描方向上截面连续，第二数量的薄层CT图像与第二数量的样本薄层CT图像也均在目标扫描方向上截面连续。
需要说明的是，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在同一个扫描方向即目标扫描方向上截面连续。目标扫描方向可以是冠状位、矢状位以及横断位这三个视角方向中的一个，例如，目标扫描方向可以是横断位扫描方向。
在本实施方式中，厚层CT图像、样本厚层CT图像、薄层CT图像以及样本薄层CT图像均是相同目标扫描方向上的，进而能保证深度学习模型的输入与输出之前存在一定的关联性，进而提高模型的训练效率以及重建准确性。
在一些实施例中，第一数量的样本厚层CT图像包括至少一个目标位置处截面的厚层CT图像，第二数量的样本薄层CT图像为目标位置处截面的不同薄层CT图像。
可以理解的是，目标位置处为需要进行薄层CT图像重建的位置，例如，目标位置可以是存在对疾病诊断有明显的参考价值的病灶的位置。
在此基础上，对目标位置处的厚层CT图像进行重建，能够得到该位置处的薄层CT图像，以还原更多细节。
在对深度学习模型进行训练时，需要重建的厚层CT图像来源于目标位置，则样本标签的第二数量的样本薄层CT图像也来自目标位置，能够保证深度学习模型在实际工作时能输出有参考价值位置的薄层CT图像。
需要说明说的是，再通过厚层CT图像重建得到薄层CT图像时，选取厚层CT图像中的一张为重建依据，得到该厚层CT图像所对应的薄层CT图像。
例如，厚层CT图像的厚度为5mm，重建后得到的薄层CT图像的厚度为1mm，则对第一数量中的一张5mm厚层CT图像进行重建得到5张1mm的薄层CT图像。在此种情况下，第二数量为5。
又例如，厚层CT图像的厚度为3mm，重建后得到的薄层CT图像的厚度为1mm，则对第一数量中的一张3mm厚层CT图像进行重建得到3张1mm的薄层CT图像。在此种情况下，第二数量为3。
可以理解的是，在对人体进行CT图像采集时，通常会按照冠状位、矢状位以及横断位这三个视角方向来进行扫描，以获取该扫描方向上截面的图像。
以横断位扫描方向为例，第一数量的厚层CT图像和第一数量的样本厚层CT图像均是在横断位扫描方向上连续扫描得到的第一数量的相邻的厚层CT图像。第一数量的相邻的厚层CT图像的层间距可以存在一定的重叠。
在此种情况下，第一数量为大于1的整数，即至少基于两张厚层CT图像来获取薄层CT图像。
由于连续的两张厚层CT图像的层间距之间存在一定的重合，其中一张厚层CT图像的截面一定可以反应另一张厚层CT图像厚度范围内的细节特征。
因此，在根据其中一张厚层CT图像来进行细节还原并重建薄层CT图像时，相邻连续的其他厚层CT图像可以提供更多可以参考的细节特征，以实现对需要重建的那一张厚层CT图像的细节还原与补充。
可以理解的是，第一数量可以为3，在此种情况下，可以对连续三张厚层CT图像中间的那一张厚层CT图像进行重建，则可以根据上下两个位置的两张其他厚层CT图像来补充出需要重建的这张CT图像厚度范围内的细节。
可以理解的是，考虑到厚层CT图像一般最小厚度为3mm，因此可以得到3张薄层CT图像。
而从重建输入的厚层CT图像的数量来考虑，当输入三张厚层CT图像进行重建时，可以获取中间一张需要重建的厚层CT图像至少三个截面的完整细节特征，因此可以得到至少三个薄层CT图像。
在此种情况下，第二数量为大于或者等于3的正整数。
在本实施方式中，充分考虑到了CT图像在生成时的特点，厚层CT图像的第一数量为3时能更好地确定待重建的厚层CT图像在不同厚度层次的细节特征，进而得到至少三个薄层CT图像，以保证重建得到的薄层CT图像的准确性。
根据本发明实施例提供的基于CSA模块及深度学习模型的高清CT图像重建方法，通过输入第一数量的厚层CT图像至重建模型来对其中一张厚层CT图像进行重建，得到第二数量的薄层CT图像，能够获取到被重建的厚层CT图像中多个截面位置的细节，进而能够重建得到多个细节特征更加准确的薄层CT图像。
在一些实施例中，将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像，包括：将第一数量的厚层CT图像输入至深度学习模型进行下采样后再进行特征提取，得到各特征图像；通过深度学习模型对各特征图像进行全局特征融合后再进行上采样，得到深度学习模型输出的第二数量的薄层CT图像。
可以理解的是，通过深度学习模型可以将输入的第一数量的厚层CT图像进行下采样，使得输入的CT图像能够被缩小，得到缩略图，进而便于提取特征图像。
在本实施方式中，可以不断对输入的厚层CT图像进行下采样，例如，可以连续下采样四次，并分别得到四次下采样后的各特征图像，以便于提取出图像中的细节特征。
在此种情况下，通过深度学习模型将较小尺寸的特征图像进行特征融合后形成特征图像，再通过上采样的方式，将缩小的特征图像恢复至相应的尺寸，得到深度学习模型输出的第二数量的薄层CT图像。
根据本发明实施例提供的基于CSA模块及深度学习模型的高清CT图像重建方法，通过对输入至深度学习模型的厚层CT图像进行下采样，可以便于基于图像中的细节来得到各特征图像，进而得到特征融合后的特征图像，再通过上采样将特征融合后的特征图像恢复至初始尺寸，以便于深度学习模型输出第二数量的薄层CT图像。
在一些实施例中，深度学习模型包括卷积神经网络模块、CSA模块以及注意力机制网络模块。
在本方式中，可以以卷积神经模型为基础，在卷积神经网络模型中集成特定的编解码器以及注意力机制网络的编解码器来分别得到CSA模块以及注意力机制网络模块。
卷积神经网络模块将输入的将厚层CT图像进行特征提取，得到多个第一特征图像以及各第一特征图像对应的第一特征数据。
可以理解的是，卷积神经网络模块中包括多个卷积核，不同的卷积核能针对不同类型的特征提取第一特征图像，并确定各第一特征图像的第一特征数据。
卷积神经网络模块提取的第一特征图像的第一特征数据可以按照[channel*width*high]的三维数组形式来进行保存。其中，channel表示特征图像的通道信息，width表示特征图像的宽度尺寸，high表示特征图像的高度尺寸。
如图2所示，以CNN网络模型为例，根据卷积神经网络的特性，卷积神经网络模块只会在width和high维度提取图像的特征信息，而会忽视channel上的信息。
而在本实施方式中，通过设置CSA模块，即CSA-Block(Coronal SagittalAttention Block，冠状位-矢状位注意力模块)，CSA-Block是一种多视角注意力模块，可以根据各特征图像所对应的通道，将第一特征数据中各个特征的位置进行调整，得到第二特征数据，进而根据第二特征数据，得到不同视角下各第一特征图像对应的视角转换图像。
可以理解的是，在卷积神经网络模块提取出厚层CT图像的特征图像后，CSA模块可以将第一特征图像的第一特征数据进行转换，进而得到视角转换图像。
例如可以将第一特征数据[channel*width*high]转化为[width*channel*high]和[width*high*channel]两种不同形式的第二特征数据，进而得到各第一特征图像转换后的各第二特征数据和视角转换图像。
需要说明的是，CT图像在生成过程中，根据CT图像的采集特点，生成的CT图像只能反映横断位视角方向的特征。
而在本实施方式中，通过对特征图像的第一特征数据进行转换，能够得到多视角下的特征图像，即第二特征数据和视角转换图像，能够更好地参考多视角信息进行特征融合。
注意力机制网络模块用于根据各第一特征图像进行全局特征提取，得到第二特征图像。
可以理解的是，注意力机制网络模块可以针对提取的特征图像进行特征融合，例如注意力机制网络模块可以根据Transformer网络来得到。
在此种情况下，注意力机制网络模块根据第一特征数据和第一特征图像，提取全局特征并进行融合，得到融合后的第二特征图像。
在本实施例中，特征图像包括视角转换图像和第二特征图像。
在此基础上，将第一数量的厚层CT图像输入至深度学习模型进行下采样并进行特征提取，得到各特征图像，包括以下过程。
可以理解的是，可以通过卷积神经网络模块进行下采样并进行特征提取，得到各第一特征图像。例如可以通过卷积神经网络模块进行分别对下采样次数不同的特征图像进行特征提取，得到各第一特征图像。
在本实施方式中，再通过CSA模块对各第一特征图像进行视角转换，将横断面视角的第一特征图像转化为冠状位视角和矢状位视角的特征图像，即得到各第一特征图像对应的各视角转换图像。
在此过程中，还可以通过注意力机制网络模块对各第一特征图像进行全局特征提取，得到各第一特征图像对应的第二特征图像。
在得到各视角转换图像和各第二特征图像的情况下，再通过卷积神经网络模块，将尺寸相对应的视角转换图像和第二特征图像进行特征融合，再进行上采样，得到深度学习模型输出的第二数量的薄层CT图像。
在本实施方式中，视角转换图像能从异于CT图像原始采集视角的方向来反映厚层CT图像中的细节特征，而第二特征图像能够提取的第一特征图像的全局特征，进一步将视角转换图像和第二特征图像进行特征融合能够更准确、更全面地提取出厚层CT图像中的所有特征，进而得到更加准确的薄层CT图像。
例如，如图3所示，在输入的厚层CT图像是基于横断位视角方向来进行采集时，卷积神经网络模块提取得到第一特征图像为横断位视角方向截面中的细节特征图像。
CSA模块转换得到的视角转换图像能从冠状位和矢状位这两个视角方向来反应截面上的特征，并进行视角转换，最后重新排列特征数据，得到视角转换图像，进而能够从多视角反映截面细节。
如图4所示，卷积神经网络模块提取得到第一特征图像后，CSA模块可以从冠状位和矢状位这两个视角来实现第一特征图像的视角转换。
例如，可以采用卷积神经网络模块如CNN网络模块，或者采用注意力机制网络模块如Transformer网络模块来对第一特征图像进行特征数据的向量的提取，再将特征数据的向量中表示通道视角的数据位置进行重新排列，得到视角转换图像的特征数据，进而得到最终的视角转换图像。
在此种情况下，对上述第一特征图像进行下采样，得到特征图像的缩略图，例如可以进行连续4次的下采样，得到原图1/16大小的图像，以便于注意力机制网络模块更好地结合全局信息来进行特征融合。
在此基础上，基于下采样后的第一特征图像，基于第一特征图像的HiddenFeature并利用Linear Projection的方式对卷积神经网络模块输出的第一特征图像进行形式上的转换，使得第一特征图像能够满足注意力机制网络模块即Transformer网络模块的输入形式要求。
在此基础上，Transformer网络模块可以对下采样后的第一特征图像进行全局特征提取，再基于特征图像的Hidden Feature对特征图像的形式进行恢复，得到能够被CNN网络模块处理的第二特征图像。
CNN网络模块可以对第二特征图像进行上采样，可以得到不同上采样次数后的第二特征图像，CNN网络模块再将经过CSA-Block视角转换后的不同尺寸的视角转换图像分别与尺寸匹配的第二特征图像进行拼接融合，再转化为与对应的上采样后的第二特征图像尺寸相同的特征融合图像，并最终上采样至于输入的CT图像尺寸相同的原始尺寸图像，进而得到深度学习模型输出的5张薄层CT图像。
下面对本发明提供的基于CSA模块及深度学习模型的高清CT图像重建装置进行描述，下文描述的基于CSA模块及深度学习模型的高清CT图像重建装置与上文描述的基于CSA模块及深度学习模型的高清CT图像重建方法可相互对应参照。
如图4所示，本发明实施例的基于CSA模块及深度学习模型的高清CT图像重建装置包括处理模块410。
处理模块410用于将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像；第一数量为大于1的整数；
深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；
其中，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在目标扫描方向上截面连续，第二数量的薄层CT图像与第二数量的样本薄层CT图像也均在目标扫描方向上截面连续。
根据本发明实施例提供的基于CSA模块及深度学习模型的高清CT图像重建装置，通过输入第一数量的厚层CT图像至重建模型来对其中一张厚层CT图像进行重建，得到第二数量的薄层CT图像，能够获取到被重建的厚层CT图像中多个截面位置的细节，进而能够重建得到多个细节特征更加准确的薄层CT图像。
在一些实施例中，处理模块410还用于将第一数量的厚层CT图像输入至深度学习模型进行下采样后再进行特征提取，得到各特征图像；通过深度学习模型对各特征图像进行特征融合后再进行上采样，得到深度学习模型输出的第二数量的薄层CT图像。
在一些实施例中，深度学习模型包括卷积神经网络模块、CSA模块以及注意力机制网络模块；卷积神经网络模块，用于将输入的厚层CT图像进行特征提取，得到各第一特征图像；CSA模块，用于根据各第一特征图像所对应的通道，确定各第一特征图像对应的视角转换图像；注意力机制网络模块，用于根据各第一特征图像进行全局特征提取，得到第二特征图像。
在一些实施例中，处理模块410还用于通过卷积神经网络模块进行下采样并进行特征提取，得到各第一特征图像；通过CSA模块对各第一特征图像进行视角转换，得到各第一特征图像对应的各视角转换图像；通过注意力机制网络模块对各第一特征图像进行全局特征提取，得到第二特征图像。在一些实施例中，第一数量的样本厚层CT图像包括至少一个目标位置处截面的厚层CT图像，第二数量的样本薄层CT图像为目标位置处截面的不同薄层CT图像。
在一些实施例中，第一数量为3，在第一数量的厚层CT图像按照目标扫描方向进行排列的情况下，第二张厚层CT图像为目标位置处截面的厚层CT图像。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于CSA模块及深度学习模型的高清CT图像重建方法，该方法包括：将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像；第一数量为大于1的整数；深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；其中，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在目标扫描方向上截面连续，第二数量的薄层CT图像与第二数量的样本薄层CT图像也均在目标扫描方向上截面连续。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于CSA模块及深度学习模型的高清CT图像重建方法，该方法包括：将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像；第一数量为大于1的整数；深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；其中，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在目标扫描方向上截面连续，第二数量的薄层CT图像与第二数量的样本薄层CT图像也均在目标扫描方向上截面连续。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于CSA模块及深度学习模型的高清CT图像重建方法，该方法包括：将第一数量的厚层CT图像输入至深度学习模型，得到深度学习模型输出的第二数量的薄层CT图像；第一数量为大于1的整数；深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；其中，第一数量的厚层CT图像和第一数量的样本厚层CT图像均在目标扫描方向上截面连续，第二数量的薄层CT图像与第二数量的样本薄层CT图像也均在目标扫描方向上截面连续。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于CSA模块及深度学习模型的高清CT图像重建方法，其特征在于，包括：
将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像；所述第一数量为大于1的整数；
所述深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；
其中，所述第一数量的厚层CT图像和所述第一数量的样本厚层CT图像均在目标扫描方向上截面连续，所述第二数量的薄层CT图像与所述第二数量的样本薄层CT图像也均在所述目标扫描方向上截面连续；
所述将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像，包括：
将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样后再进行特征提取，得到各特征图像；
通过所述深度学习模型对各特征图像进行特征融合后再进行上采样，得到所述深度学习模型输出的所述第二数量的薄层CT图像；
所述深度学习模型包括卷积神经网络模块、CSA模块以及注意力机制网络模块；
所述卷积神经网络模块，用于将输入的所述厚层CT图像进行特征提取，得到各第一特征图像；
所述CSA模块，用于根据各第一特征图像所对应的通道，确定各第一特征图像对应的视角转换图像；
所述注意力机制网络模块，用于根据各第一特征图像进行全局特征提取，得到第二特征图像；
所述特征图像包括所述视角转换图像和所述第二特征图像，所述将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样并进行特征提取，得到各特征图像，包括：
通过所述卷积神经网络模块进行下采样并进行特征提取，得到各第一特征图像；
通过所述CSA模块对各第一特征图像进行视角转换，得到各第一特征图像对应的各视角转换图像；
通过所述注意力机制网络模块对各第一特征图像进行全局特征提取，得到所述第二特征图像。
2.根据权利要求1所述的基于CSA模块及深度学习模型的高清CT图像重建方法，其特征在于，所述第一数量的样本厚层CT图像包括至少一个目标位置处截面的厚层CT图像，所述第二数量的样本薄层CT图像为所述目标位置处截面的不同薄层CT图像。
3.根据权利要求2所述的基于CSA模块及深度学习模型的高清CT图像重建方法，其特征在于，所述第一数量为3；在所述第一数量的厚层CT图像按照所述目标扫描方向进行排列的情况下，第二张所述厚层CT图像为所述目标位置处截面的厚层CT图像。
4.一种基于CSA模块及深度学习模型的高清CT图像重建装置，其特征在于，包括：
处理模块，用于将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像；所述第一数量为大于1的整数；
所述深度学习模型是以第一数量的样本厚层CT图像为样本、以第二数量的样本薄层CT图像为样本标签训练得到的；
其中，所述第一数量的厚层CT图像和所述第一数量的样本厚层CT图像均在目标扫描方向上截面连续，所述第二数量的薄层CT图像与所述第二数量的样本薄层CT图像也均在所述目标扫描方向上截面连续；
所述将第一数量的厚层CT图像输入至深度学习模型，得到所述深度学习模型输出的第二数量的薄层CT图像，包括：
将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样后再进行特征提取，得到各特征图像；
通过所述深度学习模型对各特征图像进行特征融合后再进行上采样，得到所述深度学习模型输出的所述第二数量的薄层CT图像；
所述深度学习模型包括卷积神经网络模块、CSA模块以及注意力机制网络模块；
所述卷积神经网络模块，用于将输入的所述厚层CT图像进行特征提取，得到各第一特征图像；
所述CSA模块，用于根据各第一特征图像所对应的通道，确定各第一特征图像对应的视角转换图像；
所述注意力机制网络模块，用于根据各第一特征图像进行全局特征提取，得到第二特征图像；
所述特征图像包括所述视角转换图像和所述第二特征图像，所述将所述第一数量的厚层CT图像输入至所述深度学习模型进行下采样并进行特征提取，得到各特征图像，包括：
通过所述卷积神经网络模块进行下采样并进行特征提取，得到各第一特征图像；
通过所述CSA模块对各第一特征图像进行视角转换，得到各第一特征图像对应的各视角转换图像；
通过所述注意力机制网络模块对各第一特征图像进行全局特征提取，得到所述第二特征图像。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述基于CSA模块及深度学习模型的高清CT图像重建方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于CSA模块及深度学习模型的高清CT图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084538.4A CN116228903B (zh) | 2023-01-18 | 2023-01-18 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084538.4A CN116228903B (zh) | 2023-01-18 | 2023-01-18 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116228903A CN116228903A (zh) | 2023-06-06 |
| CN116228903B true CN116228903B (zh) | 2024-02-09 |
Family
ID=86579953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310084538.4A Active CN116228903B (zh) | 2023-01-18 | 2023-01-18 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116228903B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
| CN113506334A (zh) * | 2021-06-07 | 2021-10-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN114140442A (zh) * | 2021-12-01 | 2022-03-04 | 北京邮电大学 | 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法 |
| CN114742911A (zh) * | 2022-04-28 | 2022-07-12 | 西安交通大学 | 图像压缩感知重建方法、系统、设备及介质 |
| CN115131300A (zh) * | 2022-06-15 | 2022-09-30 | 北京长木谷医疗科技有限公司 | 一种基于深度学习的骨性关节炎智能三维诊断方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018005820A1 (en) * | 2016-06-29 | 2018-01-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| US11322259B2 (en) * | 2017-09-08 | 2022-05-03 | The General Hospital Corporation | Patient risk stratification based on body composition derived from computed tomography images using machine learning |
-
2023
- 2023-01-18 CN CN202310084538.4A patent/CN116228903B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
| CN113506334A (zh) * | 2021-06-07 | 2021-10-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN114140442A (zh) * | 2021-12-01 | 2022-03-04 | 北京邮电大学 | 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法 |
| CN114742911A (zh) * | 2022-04-28 | 2022-07-12 | 西安交通大学 | 图像压缩感知重建方法、系统、设备及介质 |
| CN115131300A (zh) * | 2022-06-15 | 2022-09-30 | 北京长木谷医疗科技有限公司 | 一种基于深度学习的骨性关节炎智能三维诊断方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| study on the accuracy of automatic segmentaction of knee ct images based on deep learning;pingsong等;National library of medicine;第5卷(第36期);534-539 * |
| 一种基于深度学习的科普文章评论情感分析;姚彬;杜义华;;科研信息化技术与应用(第04期);29-35 * |
| 人工智能辅助全髋关节置换术三维规划系统的研发及临床应用研究;吴东;刘星宇;张逸凌;陈继营;唐佩福;柴伟;;中国修复重建外科杂志(第09期);8-15 * |
| 医学影像疾病诊断的残差神经网络优化算法研究进展;周涛;霍兵强;陆惠玲;师宏斌;;中国图象图形学报(第10期);133-146 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116228903A (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109745062B (zh) | Ct图像的生成方法、装置、设备及存储介质 | |
| CN109753866A (zh) | 机器学习中具有密集特征金字塔网络架构的医学图像对象检测 | |
| US8452067B2 (en) | Method for generating bone mask | |
| US20040068167A1 (en) | Computer aided processing of medical images | |
| WO2019173452A1 (en) | Deep neural network for ct metal artifact reduction | |
| WO2023142781A1 (zh) | 图像三维重建方法、装置、电子设备及存储介质 | |
| CN114241077B (zh) | 一种ct图像分辨率优化方法及装置 | |
| CN112419173A (zh) | 一种由pet图像生成ct图像的深度学习框架和方法 | |
| CN112435164A (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
| CN109741254A (zh) | 字典训练及图像超分辨重建方法、系统、设备及存储介质 | |
| WO2019224800A1 (en) | Method and system for simulating and constructing original medical images from one modality to other modality | |
| Kyung et al. | Perspective projection-based 3d ct reconstruction from biplanar x-rays | |
| CN116228903B (zh) | 基于csa模块及深度学习模型的高清ct图像重建方法 | |
| CN110473297B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN110490857B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116402954A (zh) | 一种基于深度学习的脊柱三维结构的重建方法 | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| Shang et al. | Short-axis pet image quality improvement by attention CycleGAN using total-body pet | |
| CN115908610A (zh) | 一种基于单模态pet图像获取衰减校正系数图像的方法 | |
| CN112967379B (zh) | 一种基于感知一致生成对抗网络的三维医学图像重建方法 | |
| WO2009004571A1 (en) | Method and apparatus for image reconstruction | |
| CN115100306A (zh) | 针对胰腺区域的四维锥束ct成像方法和装置 | |
| CN113902912A (zh) | Cbct影像的处理方法、神经网络系统的创建方法、以及装置 | |
| CN115372872A (zh) | 一种三维脊椎mr图像自动分割装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing Changmugu Medical Technology Co.,Ltd. Applicant after: Zhang Yiling Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Applicant before: Zhang Yiling |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |