CN116883247B - 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 - Google Patents
一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 Download PDFInfo
- Publication number
- CN116883247B CN116883247B CN202311145634.1A CN202311145634A CN116883247B CN 116883247 B CN116883247 B CN 116883247B CN 202311145634 A CN202311145634 A CN 202311145634A CN 116883247 B CN116883247 B CN 116883247B
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- image
- network
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 29
- 238000010603 microCT Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007667 floating Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 210000004262 dental pulp cavity Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于Cycle‑GAN的未配对CBCT图像超分辨率生成算法，涉及计算机视觉领域的图像处理技术，其基于域转换对未配对图像进行训练，从而使得网络对真实CT图像有较佳的超分辨率效果。
Description
技术领域
本发明属于计算机视觉领域的图像处理与生成技术，具体涉及一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法。
背景技术
CBCT（Cone-beam computed tomography，锥形束计算机断层扫描）是一种近年来发展迅速的医学成像技术，其能够产生高质量的三维图像，并在许多临床应用中发挥重要作用，如口腔、颌面部和头颈部成像等。然而，CBCT图像在成像时同样存在着一些问题，如低分辨率、噪声和伪影等，这些问题可能影响CBCT图像的可视化效果和诊断准确性。因此，CBCT图像超分辨率处理也成为了一个研究热点。CBCT图像超分BU辨率处理的目的是通过对低分辨率CBCT图像进行增强处理，从而得到更高分辨率的图像，提高CBCT图像的质量和分辨率，从而提高医学诊断的准确性。
近年来，基于深度学习的图像超分辨率处理方法已经得到广泛研究和应用，它以低分辨率图像作为输入，高分辨率图像作为输出，研究表明深度学习应用于图像超分辨率领域具有巨大潜力。然而在实际生活中，特别是医疗影像领域，难以采集到配对的高分辨率和低分辨率图像（如CT图像），因而无法根据现有方法训练深度神经网络。
现有方法难以基于未配对的CT图像训练超分辨率网络，而在实际环境中很难采集到配对的训练数据，限制了图像超分辨率处理的应用。
发明内容
为解决现有技术中存在的现有方法难以基于未配对的CT图像训练超分辨率网络，而在实际环境中很难采集到配对的训练数据的问题，本发明提出一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法。本发明通过以下技术方案实现：
一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，包括以下步骤：
S1. 构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体，通过双线性插值算法对采集到的Micro-CT图像进行缩放，使得Micro-CT图像单个像素点代表的实际物理距离为CBCT图像单个像素点代表的实际物理距离的0.25倍，同时将CBCT图像相邻的每三个断层拼接为一个三通道的图像，将缩放后的Micro-CT图像相邻的每三个断层拼接为一个三通道的图像；由此CBCT图像生成的三通道图像和Micro-CT图像生成的三通道图像共同构成未配对CT图像超分辨率数据集，并送入网络训练框架；S2. 构建训练框架：训练框架包括两个生成器G与F，两个判别器DX和DY，在训练时需要不断更新生成器G、F和判别器DX和DY；在一次迭代过程中其参数更新方式如下：
S2-1. 将输入生成器G，输出/>，即由低分辨率图像X生成对应的高分辨率图像，再将此高分辨率图像/>输入生成器F得到低分辨率图像/>；
S2-2．将输入生成器F，输出/>，即由高分辨率图像Y生成对应的低分辨率图像/>，再将此低分辨率图像/>输入生成器G得到高分辨率图像/>；
S2-3．将判别器DY的梯度置0，将其参数设为需要更新；将与/>作为判别器DY的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DY有关的二分类网络的损失：
；根据/>计算梯度，并更新判别器DY的参数；
S2-4.将判别器DX的梯度置0，将其参数设为需要更新；将与/>作为判别器DX的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DX有关的二分类网络的损失：/>；根据/>计算梯度，并更新判别器DX的参数；
S2-5.将判别器DX和DY的参数均设置为无需更新，将生成器G和生成器F的梯度置0，根据步骤S2-3得到的计算生成器G的对抗损失：
，根据步骤S2-4得到的/>计算生成器F的对抗损失：
；
S2-6.根据步骤S2-1和步骤S2-2得到的和/>计算循环一致性损失：
；并求得更新生成器参数的总损失：
；其中/>为超参数；根据/>计算梯度，并更新生成器G与生成器F的参数；
S3.构建超分辨率网络：超分辨率网络由浅层特征提取模块、深层特征提取模块和超分辨率模块构成；具体步骤如下：
S3-1.构建浅层特征提取模块：浅层特征提取模块能够提取图片浅层特征，设输入图片为，其中/>、/>和/>分别为输入图片/>的高、宽和通道数，通过这种方式得到特征图/>，其中D是特征图的通道数，特征图/>中高、宽和通道数分别为h、w、d处的元素为/>，将特征图/>按通道展开，得到/>；其中，/>），即浅层特征提取模块的输出；
S3-2. 深层特征提取模块由4个级联的残差的滑动窗口自注意力模块和卷积层构成；深层特征提取模块的输入为步骤S3-1中的，输出为深层特征/>；将提取的浅层特征分成多个大小为/>的块，即窗口大小为/>，一共/>个窗口，宽和高分别分为/>和/>，即/>，/>为重组操作，即将/>中的行按照规律重组为/>；其中/>（、/>）为窗口特征图，表示为：；滑动窗口自注意力模块由LayerNorm层、移动窗口模块、窗口自注意力层和全连接层组合而成，其输入为/>（），输出为/>（/>）；LayerNorm层对一个Batch里的所有数据进行归一化操作，表示为/>（/>）；每个窗口自注意力模块均为多头自注意力层，设窗口自注意力模块输入为/>，则窗口自注意力模块输出为：/>；其中/>为多头自注意力层运算，/> 为归一化指数函数，h表示多头注意力的抽头个数，head表示每个抽头的输出特征，k的取值为1-h，Concat表示拼接操作，/>表示输出映射矩阵，/>、/>、/>分别表示第k个头的查询映射矩阵、键映射矩阵、值映射矩阵，/>表示第k个头的位置编码矩阵；全连接层又称线性层，设其输入为K，则输出可以表示为：，其中/>和/>均为可学习参数；移动窗口将原始窗口同时向右下方移动/>个像素点的距离，即将所述/>改为 ；
S3-3. 构建超分辨率模块：超分辨率模块由卷积模块和Pixelshuffle模块构成；
S4.构建下采样网络：下采样网络由卷积层、BatchNormal、Leaky ReLU、下采样四部分组成，下采样使用双三次插值，四倍下采样；
S5. 训练：利用步骤S1构建的数据集和步骤S2的训练框架训练步骤S3和步骤S4构建的超分辨率网络和下采样网络；使用Adam优化器，设置两个生成器参数学习率为lr 1 ，两个判别器参数学习率为lr 2 ，学习率在训练过程中随着迭代次数线性递减，最大迭代次数100000，最终得到超分辨率网络参数W G；
S6. 测试：使用步骤S3构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤S5训练得到的网络参数W G ；将待超分辨率处理的CBCT图像每相邻三层堆叠作为超分辨率网络的一个输入，在网络输出的三通道图像中选取中间通道作为相应输入的中间通道的输出。
进一步地，步骤S1中，生成器G为4倍超分辨率网络，生成器F为4倍下采样网络，判别器DX和DY均为二分类网络。
进一步地，S3-1中浅层特征提取由卷积操作构成，该操作输入通道数为，输出通道数为/>，卷积核大小为/>，padding为1；S3-2中深层特征提取模块通道数均为D，卷积核大小为/>，padding为1；S3-3中超分辨率构建模块除最后一个卷积层外的其余卷积层通道数均为D，卷积核大小为/>，padding为1；最后一个卷积层输入通道数为D，输出通道数为3，卷积核大小为/>，padding为1；Pixelshuffle模块为两倍上采样，执行n次两倍上采样操作，即整个网络2n倍超分辨率。
进一步地，S4构建下采样网络中的Leaky ReLU中，P与Q分别表示激活函数的输入与输出，P与Q的关系表达式为：
进一步地，所述S5中，待训练的高分辨率图像Y随机裁剪至分辨率，低分辨率图像X随机裁剪至/>分辨率。
本发明的有益效果是：通过对低分辨率CBCT图像进行增强处理，从而得到更高分辨率的图像，提高CBCT图像的质量和分辨率，解决了图像超分辨率处理在实际中的应用限制，从而提高医学诊断的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明总体流程图；
图2是本发明网络训练框架图；
图3是本发明超分辨率网络框架图；
图4是本发明的浅层特征提取模块图；
图5是本发明的深层特征提取模块图；
图6是本发明的切分窗口示意图；
图7是本发明的滑动窗口自注意力模块图；
图8是本发明的窗口自注意力模块图；
图9是本发明的移动窗口操作示意图；
图10是本发明超分辨率模块的示意图；
图11是本发明下采样网络框架的示意图；
图12是通过本发明技术方案处理前的根管尖1/3图像；
图13是通过本发明技术方案处理后的根管尖1/3图像；
图14是通过本发明技术方案处理前的根管中1/3图像；
图15是通过本发明技术方案处理后的根管中1/3图像；
图16是通过本发明技术方案处理前的根管冠1/3图像；
图17是通过本发明技术方案处理后的根管冠1/3图像；
图18是通过本发明技术方案处理前的髓角图像；
图19是通过本发明技术方案处理后的髓角图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1-图19所示，本发明的一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，包括以下步骤：
S1. 构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体，通过双线性插值算法对采集到的Micro-CT图像进行缩放，使得Micro-CT图像单个像素点代表的实际物理距离为CBCT图像单个像素点代表的实际物理距离的0.25倍，同时将CBCT图像相邻的每三个断层拼接为一个三通道的图像，将缩放后的Micro-CT图像相邻的每三个断层拼接为一个三通道的图像；由此CBCT图像生成的三通道图像和Micro-CT图像生成的三通道图像共同构成未配对CT图像超分辨率数据集，并送入网络训练框架；S2. 构建训练框架：训练框架包括两个生成器G与F，两个判别器DX和DY，在训练时需要不断更新生成器G、F和判别器DX和DY；在一次迭代过程中其参数更新方式如下：
S2-1. 将输入生成器G，输出/>，即由低分辨率图像X生成对应的高分辨率图像，再将此高分辨率图像/>输入生成器F得到低分辨率图像/>；
S2-2．将输入生成器F，输出/>，即由高分辨率图像Y生成对应的低分辨率图像/>，再将此低分辨率图像/>输入生成器G得到高分辨率图像/>；
S2-3．将判别器DY的梯度置0，将其参数设为需要更新；将与/>作为判别器DY的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DY有关的二分类网络的损失：
；根据/>计算梯度，并更新判别器DY的参数；
S2-4.将判别器DX的梯度置0，将其参数设为需要更新；将与/>作为判别器DX的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DX有关的二分类网络的损失：/>；根据/>计算梯度，并更新判别器DX的参数；
S2-5.将判别器DX和DY的参数均设置为无需更新，将生成器G和生成器F的梯度置0，根据步骤S2-3得到的计算生成器G的对抗损失：
，根据步骤S2-4得到的/>计算生成器F的对抗损失：
；
S2-6.根据步骤S2-1和步骤S2-2得到的和/>计算循环一致性损失：
；并求得更新生成器参数的总损失：
；其中/>为超参数；根据/>计算梯度，并更新生成器G与生成器F的参数；
S3.构建超分辨率网络：超分辨率网络由浅层特征提取模块、深层特征提取模块和超分辨率模块构成；具体步骤如下：
S3-1.构建浅层特征提取模块：浅层特征提取模块能够提取图片浅层特征，设输入图片为，其中/>、/>和/>分别为输入图片/>的高、宽和通道数，通过这种方式得到特征图/>，其中D是特征图的通道数，特征图/>中高、宽和通道数分别为h、w、d处的元素为/>，将特征图/>按通道展开，得到/>；其中，/>），即浅层特征提取模块的输出；
S3-2. 深层特征提取模块由4个级联的残差的滑动窗口自注意力模块和卷积层构成；深层特征提取模块的输入为步骤S3-1中的，输出为深层特征/>；将提取的浅层特征分成多个大小为/>的块，即窗口大小为/>，一共/>个窗口，宽和高分别分为/>和/>，即/>，/>为重组操作，即将/>中的行按照规律重组为/>；其中/>（、/>）为窗口特征图，表示为：；滑动窗口自注意力模块由LayerNorm层、移动窗口模块、窗口自注意力层和全连接层组合而成，其输入为/>（），输出为/>（/>）；LayerNorm层对一个Batch里的所有数据进行归一化操作，表示为/>（/>）；每个窗口自注意力模块均为多头自注意力层，设窗口自注意力模块输入为/>，则窗口自注意力模块输出为：/>；其中/>为多头自注意力层运算，/> 为归一化指数函数，h表示多头注意力的抽头个数，head表示每个抽头的输出特征，k的取值为1-h，Concat表示拼接操作，/>表示输出映射矩阵，/>、/>、/>分别表示第k个头的查询映射矩阵、键映射矩阵、值映射矩阵，/>表示第k个头的位置编码矩阵；全连接层又称线性层，设其输入为K，则输出可以表示为：，其中/>和/>均为可学习参数；移动窗口将原始窗口同时向右下方移动/>个像素点的距离，即将所述/>改为 ；
S3-3. 构建超分辨率模块：超分辨率模块由卷积模块和Pixelshuffle模块构成；
S4.构建下采样网络：下采样网络由卷积层、BatchNormal、Leaky ReLU、下采样四部分组成，下采样使用双三次插值，四倍下采样；
S5. 训练：利用步骤S1构建的数据集和步骤S2的训练框架训练步骤S3和步骤S4构建的超分辨率网络和下采样网络；使用Adam优化器，设置两个生成器参数学习率为lr 1 ，两个判别器参数学习率为lr 2 ，学习率在训练过程中随着迭代次数线性递减，最大迭代次数100000，最终得到超分辨率网络参数W G；
S6. 测试：使用步骤S3构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤S5训练得到的网络参数W G ；将待超分辨率处理的CBCT图像每相邻三层堆叠作为超分辨率网络的一个输入，在网络输出的三通道图像中选取中间通道作为相应输入的中间通道的输出。
进一步地，步骤S1中，生成器G为4倍超分辨率网络，生成器F为4倍下采样网络，判别器DX和DY均为二分类网络。
进一步地，S3-1中浅层特征提取由卷积操作构成，该操作输入通道数为，输出通道数为/>，卷积核大小为/>，padding为1；S3-2中深层特征提取模块通道数均为D，卷积核大小为/>，padding为1；S3-3中超分辨率构建模块除最后一个卷积层外的其余卷积层通道数均为D，卷积核大小为/>，padding为1；最后一个卷积层输入通道数为D，输出通道数为3，卷积核大小为/>，padding为1；Pixelshuffle模块为两倍上采样，执行n次两倍上采样操作，即整个网络2n倍超分辨率。
进一步地，S4构建下采样网络中的Leaky ReLU中，P与Q分别表示激活函数的输入与输出，P与Q的关系表达式为：
进一步地，所述S5中，待训练的高分辨率图像Y随机裁剪至分辨率，低分辨率图像X随机裁剪至/>分辨率。
实施例1：
1. 按照步骤S1构造训练数据集。其中数据为同一批离体牙齿的CBCT扫描图像与Micro-CT扫描图像。
2. 按照步骤S2构建训练框架，其中超参数取10。
3. 按照步骤S3所述构建超分辨率。其中超参数C取3，超参数D取96，窗口大小取/>，自注意力模块多头数量均取6。
4. 按照步骤S4所述构建下采样网络。
5. 训练：利用步骤S1构建的数据集和步骤S2的训练框架训练步骤S3和步骤S4构建的超分辨率网络和下采样网络。使用Adam优化器，设置两个生成器参数学习率为，两个判别器参数学习率为/>，学习率在训练过程中随着迭代次数线性递减，最大迭代次数100000，待训练的高分辨率CT图像（步骤1中的Y）随机裁剪至分辨率，低分辨率CT图像（步骤1中的X）随机裁剪至/>分辨率。最终得到超分辨率网络参数WG。
6. 测试：使用步骤S3构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤S5训练得到的网络参数WG。将待超分辨率处理的CBCT图像每相邻三层堆叠作为超分辨率网络的一个输入，在网络输出的三通道图像中选取中间通道作为相应输入的中间通道的输出。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，包括以下步骤：
S1. 构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体，通过双线性插值算法对采集到的Micro-CT图像进行缩放，使得Micro-CT图像单个像素点代表的实际物理距离为CBCT图像单个像素点代表的实际物理距离的0.25倍，同时将CBCT图像相邻的每三个断层拼接为一个三通道的图像，将缩放后的Micro-CT图像相邻的每三个断层拼接为一个三通道的图像；由此CBCT图像生成的三通道图像和Micro-CT图像生成的三通道图像共同构成未配对CT图像超分辨率数据集，并送入网络训练框架；S2. 构建训练框架：训练框架包括两个生成器G与F，两个判别器DX和DY，在训练时需要不断更新生成器G、F和判别器DX和DY；在一次迭代过程中其参数更新方式如下：
S2-1. 将输入生成器G，输出/>，即由低分辨率图像X生成对应的高分辨率图像/>，再将此高分辨率图像/>输入生成器F得到低分辨率图像/>；
S2-2．将输入生成器F，输出/>，即由高分辨率图像Y生成对应的低分辨率图像/>，再将此低分辨率图像/>输入生成器G得到高分辨率图像/>；
S2-3．将判别器DY的梯度置0，将其参数设为需要更新；将与/>作为判别器DY的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DY有关的二分类网络的损失：
；根据/>计算梯度，并更新判别器DY的参数；
S2-4.将判别器DX的梯度置0，将其参数设为需要更新；将与/>作为判别器DX的输入，分别得到输出/>和输出/>，/>和/>均为介于0到1之间的浮点数；计算与判别器DX有关的二分类网络的损失：/>；根据/>计算梯度，并更新判别器DX的参数；
S2-5.将判别器DX和DY的参数均设置为无需更新，将生成器G和生成器F的梯度置0，根据步骤S2-3得到的计算生成器G的对抗损失：
，根据步骤S2-4得到的/>计算生成器F的对抗损失：
；
S2-6.根据步骤S2-1和步骤S2-2得到的和/>计算循环一致性损失：
；并求得更新生成器参数的总损失：
；其中/>为超参数；根据/>计算梯度，并更新生成器G与生成器F的参数；
S3.构建超分辨率网络：超分辨率网络由浅层特征提取模块、深层特征提取模块和超分辨率模块构成；具体步骤如下：
S3-1.构建浅层特征提取模块：浅层特征提取模块能够提取图片浅层特征，设输入图片为，其中/>、/>和/>分别为输入图片/>的高、宽和通道数，通过这种方式得到特征图/>，其中D是特征图的通道数，特征图/>中高、宽和通道数分别为h、w、d处的元素为/>，将特征图/>按通道展开，得到/>；其中，/>），即浅层特征提取模块的输出；
S3-2. 深层特征提取模块由4个级联的残差的滑动窗口自注意力模块和卷积层构成；深层特征提取模块的输入为步骤S3-1中的，输出为深层特征/>；将提取的浅层特征分成多个大小为/>的块，即窗口大小为/>，一共/>个窗口，宽和高分别分为/>和/>，即/>，/>为重组操作，即将/>中的行按照规律重组为/>；其中/>（、/>）为窗口特征图，表示为：；滑动窗口自注意力模块由LayerNorm层、移动窗口模块、窗口自注意力层和全连接层组合而成，其输入为/>（），输出为/>（/>）；LayerNorm层对一个Batch里的所有数据进行归一化操作，表示为/>（/>）；每个窗口自注意力模块均为多头自注意力层，设窗口自注意力模块输入为/>，则窗口自注意力模块输出为：/>；其中/>为多头自注意力层运算，/> 为归一化指数函数，h表示多头注意力的抽头个数，head表示每个抽头的输出特征，k的取值为1-h，Concat表示拼接操作，/>表示输出映射矩阵，/>、/>、/>分别表示第k个头的查询映射矩阵、键映射矩阵、值映射矩阵，/>表示第k个头的位置编码矩阵；全连接层又称线性层，设其输入为K，则输出表示为：，其中/>和/>均为可学习参数；移动窗口将原始窗口同时向右下方移动/>个像素点的距离，即将所述/>改为 ；
S3-3. 构建超分辨率模块：超分辨率模块由卷积模块和Pixelshuffle模块构成；
S4.构建下采样网络：下采样网络由卷积层、BatchNormal、Leaky ReLU、下采样四部分组成，下采样使用双三次插值，四倍下采样；
S5. 训练：利用步骤S1构建的数据集和步骤S2的训练框架训练步骤S3和步骤S4构建的超分辨率网络和下采样网络；使用Adam优化器，设置两个生成器参数学习率为lr 1 ，两个判别器参数学习率为lr 2 ，学习率在训练过程中随着迭代次数线性递减，最大迭代次数100000，最终得到超分辨率网络参数W G；
S6. 测试：使用步骤S3构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤S5训练得到的网络参数W G ；将待超分辨率处理的CBCT图像每相邻三层堆叠作为超分辨率网络的一个输入，在网络输出的三通道图像中选取中间通道作为相应输入的中间通道的输出。
2.根据权利要求1所述的一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，步骤S1中，生成器G为4倍超分辨率网络，生成器F为4倍下采样网络，判别器DX和DY均为二分类网络。
3.根据权利要求1所述的一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，S3-1中浅层特征提取由卷积操作构成，该操作输入通道数为，输出通道数为/>，卷积核大小为/>，padding为1；S3-2中深层特征提取模块通道数均为D，卷积核大小为，padding为1；S3-3中超分辨率构建模块除最后一个卷积层外的其余卷积层通道数均为D，卷积核大小为/>，padding为1；最后一个卷积层输入通道数为D，输出通道数为3，卷积核大小为/>，padding为1；Pixelshuffle模块为两倍上采样，执行n次两倍上采样操作，即整个网络2n倍超分辨率。
4.根据权利要求1所述的一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，S4构建下采样网络中的Leaky ReLU中，P与Q分别表示激活函数的输入与输出，P与Q的关系表达式为：。
5.根据权利要求1所述的一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法，其特征在于，所述S5中，待训练的高分辨率图像Y随机裁剪至分辨率，低分辨率图像X随机裁剪至/>分辨率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145634.1A CN116883247B (zh) | 2023-09-06 | 2023-09-06 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145634.1A CN116883247B (zh) | 2023-09-06 | 2023-09-06 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883247A CN116883247A (zh) | 2023-10-13 |
| CN116883247B true CN116883247B (zh) | 2023-11-21 |
Family
ID=88272022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311145634.1A Active CN116883247B (zh) | 2023-09-06 | 2023-09-06 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883247B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785243A (zh) * | 2018-11-28 | 2019-05-21 | 西安电子科技大学 | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 |
| CN110288609A (zh) * | 2019-05-30 | 2019-09-27 | 南京师范大学 | 一种注意力机制引导的多模态全心脏图像分割方法 |
| CN112308770A (zh) * | 2020-12-29 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
| CN112862738A (zh) * | 2021-04-09 | 2021-05-28 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
| CN115170427A (zh) * | 2022-07-18 | 2022-10-11 | 中山火炬职业技术学院 | 基于弱监督学习的图像镜面高光去除方法 |
| CN115619645A (zh) * | 2022-11-21 | 2023-01-17 | 哈尔滨理工大学 | 一种基于多级残差跳跃连接网络的图像超分辨率重建方法 |
| CN115797611A (zh) * | 2023-02-10 | 2023-03-14 | 真健康（北京）医疗科技有限公司 | 三维医学图像模态转换模型训练方法及设备 |
| CN116091313A (zh) * | 2022-12-20 | 2023-05-09 | 无锡学院 | 一种图像超分辨率网络模型和重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112022003391A2 (pt) * | 2019-08-23 | 2022-05-17 | Subtle Medical Inc | Sistemas e métodos para a tomografia precisa e rápida de emissão de positron utilizando o aprendizado pro-fundo |
-
2023
- 2023-09-06 CN CN202311145634.1A patent/CN116883247B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
| CN109785243A (zh) * | 2018-11-28 | 2019-05-21 | 西安电子科技大学 | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 |
| CN110288609A (zh) * | 2019-05-30 | 2019-09-27 | 南京师范大学 | 一种注意力机制引导的多模态全心脏图像分割方法 |
| CN112308770A (zh) * | 2020-12-29 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN112862738A (zh) * | 2021-04-09 | 2021-05-28 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
| CN115170427A (zh) * | 2022-07-18 | 2022-10-11 | 中山火炬职业技术学院 | 基于弱监督学习的图像镜面高光去除方法 |
| CN115619645A (zh) * | 2022-11-21 | 2023-01-17 | 哈尔滨理工大学 | 一种基于多级残差跳跃连接网络的图像超分辨率重建方法 |
| CN116091313A (zh) * | 2022-12-20 | 2023-05-09 | 无锡学院 | 一种图像超分辨率网络模型和重建方法 |
| CN115797611A (zh) * | 2023-02-10 | 2023-03-14 | 真健康（北京）医疗科技有限公司 | 三维医学图像模态转换模型训练方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883247A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Learning sheared EPI structure for light field reconstruction | |
| CN109389552A (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Li et al. | VolumeNet: A lightweight parallel network for super-resolution of MR and CT volumetric data | |
| CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| Gao et al. | A deep convolutional network for medical image super-resolution | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN111507462A (zh) | 一种端对端的三维医学图像超分辨率重建方法及系统 | |
| CN113706388B (zh) | 图像超分辨率重建方法及装置 | |
| CN116664397B (zh) | TransSR-Net结构化图像超分辨重建方法 | |
| CN111696042B (zh) | 基于样本学习的图像超分辨重建方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| CN115496663A (zh) | 基于d3d卷积组内融合网络的视频超分辨率重建方法 | |
| CN116883247B (zh) | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| Peng et al. | Deep slice interpolation via marginal super-resolution, fusion, and refinement | |
| Fan et al. | SGUNet: Style-guided UNet for adversely conditioned fundus image super-resolution | |
| Sun et al. | A lightweight dual-domain attention framework for sparse-view CT reconstruction | |
| Lyn | Multi-level feature fusion mechanism for single image super-resolution | |
| CN113421188B (zh) | 一种图像均衡增强的方法、系统、装置及存储介质 | |
| CN104463793B (zh) | 一种视频超分辨率重建方法及其系统 | |
| CN116883246B (zh) | 一种用于cbct图像的超分辨率方法 | |
| CN113538231B (zh) | 一种基于像素分布估计的单张图像超分辨重建系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |