CN111507462B - 一种端对端的三维医学图像超分辨率重建方法及系统 - Google Patents
一种端对端的三维医学图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN111507462B CN111507462B CN202010295443.3A CN202010295443A CN111507462B CN 111507462 B CN111507462 B CN 111507462B CN 202010295443 A CN202010295443 A CN 202010295443A CN 111507462 B CN111507462 B CN 111507462B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- dimensional
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000003321 amplification Effects 0.000 claims abstract description 17
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 17
- 238000012952 Resampling Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 46
- 238000013507 mapping Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 38
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种端对端的三维医学图像超分辨率重建方法及系统。所述方法包括(1)将原始取得的各向异性的三维医学图像在矢状面和冠状面方向上进行切片；(2)分别输入多通道超分辨率成像网络同时进行等比例的超分辨率重建、以及等比例高度方向重采样，获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列；(3)进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。所述系统包括切片模块、二维超分辨率重建模块、以及融合模块。本发明在对各向异性三维数据进行超分辨率重建之前，不需要先对其进行插值放大，节省了插值过程所耗费的实际，运算速度更快、精度更高。
Description
技术领域
本发明属于医学图像技术领域，更具体地，涉及一种端对端的三维医学图像超分辨率重建方法及系统。
背景技术
三维医学图像拥有更多维度的信息，在临床诊断中能够为医生提供更丰富的空间结构信息。目前三维医学图像是通过二位断层扫描获取的一些列图像，经过图像处理、配准、以及插值的过程获得的。生成被扫描部位的三维图像，并采用体绘制或者面绘制技术进行显示，从而可以辅助医生对病变体和周围组织进行三维分析，提高医疗诊断的准确性和科学性。对于三维图像数据，我们通常将每一层切片内部的分辨率称为层内分辨率(intra-sclieresolution)，不同切片间的扫描厚度称为层间分辨率(inter-sclie resolution)。而受到成像原理如部分容积效应和图像采集设备扫描精度等影响，我们得到的三维图像中的层间分辨率往往要低于层内分辨率。如常见的MRI设备层内分辨率通常为1mm×1mm，而层间分辨率为3mm，这种各个方向分辨率不同的三维数据称为各向异性的三维数据。如果直接将各向异性的三维数据用于三维绘制和显示，会导致扫描方向的信息被压缩，从而无法反映真实的结构信息。因此需要先通过特定的处理手段将各向异性的数据转换为各向同性的数据，然后再进行体绘制。
现有的三维医学超分辨率重建方法，首先要将原始采集的各向异性三位数据通过插值获得各向同性的三维图像数据，再次基础之上重新采样获得二维的医学图像，将二维的医学图像进行超分辨率重建之后，合成超分辨率的三维医学图像。这个过程处理步骤繁多，包括插值、采样、超分辨率重建、以及三维合成的过程，难以并行化处理，加之三维数据计算量太大，因此目前三维医学图像的超分辨率重建速度太慢，需要对图像进行插值处理和采样处理，不是一种端到端的过程，一方面带来更复杂的程序，另一方面更重要的是由于插值和采样引入的误差，不能靠后期的超分辨率重建消除，造成整体精度的下降，严重者影响医学判断。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种端对端的三维医学图像超分辨率重建方法及系统，其目的在于，通过端到端的重建方法，同时完成超分辨率重建和分辨率各向同性转化，从而在不需要图像预处理的前提下进行，进行快速的三维图像超分辨率重建，由此解决现有的医学三维图像超分辨率成像程序复杂、精度不高以及耗时长的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种端对端的三维医学图像超分辨率重建方法，其包括以下步骤：
(1)将原始取得的各向异性的三维医学图像在矢状面和冠状面方向上进行切片，获得矢状面图像序列和冠状面图像序列；
(2)将步骤(1)中获取的矢状面图像序列和冠状面图像序列分别输入多通道超分辨率成像网络同时进行等比例的超分辨率重建、以及等比例高度方向重采样，从而获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列；
(3)将步骤(2)中获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
优选地，所述端对端的三维医学图像超分辨率重建方法，其步骤(2)中对于一副矢状面图像序列或冠状面图像序列中的原始低分辨率图像，按照以下方法同时进行等比例的二维超分辨率重建、以及等比例高度方向重采样具体包括：
(2-1)将所述宽为W、高为
的矢状面或冠状面图像序列中的原始低分辨率图像，沿高度方向重采样获得宽为W、高为H的低分辨率图像；其中s为放大因子；
(2-2)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入高频特征提取通道，获得宽为W、高为H的包含高频图像信息的图像；
(2-3)将步骤(2-1)低分辨率图像与步骤(2-2)获得的包含高频图像信息的图像进行逐像素相加，获得重建的高度方向分辨率调整后的高分辨率矢状面或冠状面图像。
优选地，所述端对端的三维医学图像超分辨率重建方法，其步骤(2-2)具体为：
(2-2-1)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入到特征提取单元，所述特征提取单元包括一个卷积层，具有d个卷积核；获得宽为W、高为
通道数为d的特征图像；
(2-2-2)将步骤(2-2-1)获得的所述特征图像输入到特征映射单元，实现低分辨率特征与高分辨率特征之间的非线性映射，获得高分辨率特征图像；
(2-2-3)将步骤(2-2-2)中获得的高分辨率特征图像输入到图像重建单元，获得宽为W、高为H的包含高频图像信息的图像；
优选地，所述端对端的三维医学图像超分辨率重建方法，其步骤(2-2-2)所述特征映射单元包括m个级联的卷积层。
优选地，所述端对端的三维医学图像超分辨率重建方法，其所述映射单元包括m个深度可分离卷积层，所述深度可分离卷积层包括输入特征图通道数量的通道分离卷积核和输出通道数量的1×1卷积核，依次对输入特征图像进行卷积运算获得输出特征图。
优选地，所述端对端的三维医学图像超分辨率重建方法，其步骤(2-1)与步骤(2-2)可并行执行或先后执行，执行顺序不影响本方法的实现。
按照本发明的另一个方面，提供了一种端对端的三维医学图像超分辨率重建系统，其包括切片模块、二维超分辨率重建模块、以及融合模块；
所述切片模块用于将原始取得的三维医学图像在矢状面和冠状面上进行切片，获得宽为W、高为
的矢状面图像序列和冠状面图像序列，输出到二维超分辨率重建模块；
所述二维超分辨率重建模块，可为一个或多个并联的二维超分辨率重建卷积神经网络，用于将宽为W、高为
的矢状面图像序列和冠状面图像序列中的每一图像重建为宽为W、高为H的超分辨率图，获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列，输出给融合模块；
所述融合模块，用于将超分辨率重建模块获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
优选地，所述端对端的三维医学图像超分辨率重建系统，其所述二维超分辨率重建神经网络包括并联的全局残差连接通道和高频特征提取通道；所述全局残差连接通道输入为特定的矢状面或冠状面图像，经过高度方向上的放大获得低分辨率的获得宽为W、高为H的低分辨率图像；所述高频特征提取通道，包括顺序相连的用于进行特征提取的特征提取单元、用于实现低分辨率特征与高分辨率特征之间非线性映射的特征映射单元、以及用与对特征映射单元额输出特征图像进行上采样和聚合的图像重建单元。
优选地，所述端对端的三维医学图像超分辨率重建系统，其所述特征提取单元包括卷积层；所述特征映射单元包括m个深度可分离卷积层；所述图像重建单元包括高度方向卷积核移动步长为放大因子s的反卷积层；所述高频特征提取通道输入为所述矢状面或冠状面图像以及其相邻的前后图像，输出为宽为W、高为H的高分辨率的包含高频图像信息的图像；所述全局残差连接通道输出的宽为W、高为H的低分辨率图像和高频特征提取通道输出的宽为W、高为H的高分辨率的包含高频图像信息的图像逐像素叠加获得宽为W、高为H的高分辨率重建图像。
优选地，所述端对端的三维医学图像超分辨率重建系统，其所述二维超分辨率重建卷积神经网络，按照以下方法进行训练：采用均方误差(MSE)损失函数；采用Adam优化算法加速网络收敛，初始学习率为0.001，在之后的训练过程中，如果连续10个周期后网络的损失函数值没有更新到更小的值，就将学习率减半，学习率最小可降至10-5，如果连续50个周期后网络的损失函数值都没有更新到更小的值，则认为网络已经收敛，即可结束训练。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于，能够取得下列有益效果：
1、本发明在对各向异性三维数据进行超分辨率重建之前，不需要先对其进行插值放大，节省了插值过程所耗费的实际，运算速度更快；同时本发明中的二维卷积神经网络直接以原始的低分辨率图像作为网络的输入，减小了后续卷积运算的运算量，而且避免了前期人为插值放大操作可能引入的误差，因此具有更高的精度。
3、本发明采用了深度可分离卷积来构建二维超分辨率网络的特征映射单元，运算效率更高，并且不会造成精度的过度丢失。
4、本发明在轻量级的二维超分辨率网络上增加了全局残差连接通道，减小了网络训练的难度，并且提高了其重建的精度。
附图说明
图1是本发明提供的端对端的三维医学图像超分辨率重建方法流程图；
图2是本发明实施例采用的二维超分辨率重建神经网络结构示意图；
图3是本发明实施例采用的上采样通道工作原理示意图；
图4是本发明实施例特征映射单元采用的深度可分离卷积核示意图；
图5是本发明实施例采用的训练数据集退化示意图；
图6是本发明实施例在二维超分辨率重建网络中分别将其特征提取单元以及特征映射单元的输出特征图通道数d设置为48和56，特征映射单元中深度可分离卷层的个数m设置为2，3，4时的PNSR训练曲线对比示意图；
图7是本发明实施例包含高频特征提取通道和不包含不包含高频特征提取通道的PSNR和MSSIM训练曲线对比示意图；
图8是放大因子为2时使用不同算法进行三维重建的效果对比示意图；
图9是放大因子为3时使用不同算法进行三维重建的效果对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的端对端的三维医学图像超分辨率重建方法，如图1所示，包括以下步骤：
(1)将原始取得的各向异性的三维医学图像在矢状面和冠状面方向上进行切片，获得矢状面图像序列和冠状面图像序列；
(2)将步骤(1)中获取的矢状面图像序列和冠状面图像序列分别输入多通道超分辨率成像网络同时进行等比例的超分辨率重建、以及等比例高度方向重采样，从而获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列；记为：
yi＝f(xi-1,xi,xi+1)i∈1,2,…,N
其中，xi表示矢状面图像序列或冠状面图像序列中的原始低分辨率图像，yi是重建后高度方向分辨率调整后的超分辨率矢状面图像序列或超分辨率冠状面图像序列中的相应图像，N是矢状面图像序列或冠状面图像序列中的原始低分辨率图像的总数量，f(·)代表由二维超分辨率网络实现的从低分辨率图像到高分辨率图像的映射函数。
对于一副矢状面图像序列或冠状面图像序列中的原始低分辨率图像，按照以下方法同时进行等比例的二维超分辨率重建、以及等比例高度方向重采样：
(2-1)将所述宽为W、高为
的矢状面或冠状面图像序列中的原始低分辨率图像，沿高度方向重采样获得宽为W、高为H的低分辨率图像；其中s为放大因子；
(2-2)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入高频特征提取通道，获得宽为W、高为H的包含高频图像信息的图像；具体为：
(2-2-1)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入到特征提取单元，所述特征提取单元包括一个卷积层，具有d个卷积核；获得宽为W、高为
通道数为d的特征图像；
(2-2-2)将步骤(2-2-1)获得的所述特征图像输入到特征映射单元，实现低分辨率特征与高分辨率特征之间的非线性映射，获得高分辨率特征图像；优选所述特征映射单元包括m个级联的卷积层；优选的，所述映射单元包括m个深度可分离卷积层，所述深度可分离卷积层包括输入特征图通道数量的通道分离卷积核和输出通道数量的1×1卷积核，依次对输入特征图像进行卷积运算获得输出特征图；
(2-2-3)将步骤(2-2-2)中获得的高分辨率特征图像输入到图像重建单元，获得宽为W、高为H的包含残差信息的图像；所述图像重建单元反卷积层，所述反卷积层的卷积核尺寸优选为9×9，其高度方向移动步长为放大因子s。
步骤(2-1)与步骤(2-2)可并行执行或先后执行，执行顺序不影响本方法的实现。
(2-3)将步骤(2-1)低分辨率图像与步骤(2-2)获得的包含高频图像信息的图像进行逐像素相加，获得重建的高度方向分辨率调整后的高分辨率矢状面或冠状面图像。
(3)将步骤(2)中获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像；优选采用取均值的策略进行融合。
本发明提供的端对端的三维医学图像超分辨率重建系统，包括：切片模块、二维超分辨率重建模块、以及融合模块；
所述切片模块用于将原始取得的三维医学图像在矢状面和冠状面上进行切片，获得宽为W、高为
的矢状面图像序列和冠状面图像序列，输出到二维超分辨率重建模块；
所述二维超分辨率重建模块，可为一个或多个并联的二维超分辨率重建卷积神经网络，用于将宽为W、高为
的矢状面图像序列和冠状面图像序列中的每一图像重建为宽为W、高为H的超分辨率图，获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列，输出给融合模块；所述二维超分辨率重建神经网络包括并联的全局残差连接通道和高频特征提取通道；所述全局残差连接通道输入为特定的矢状面或冠状面图像，经过高度方向上的放大获得低分辨率的获得宽为W、高为H的低分辨率图像；所述高频特征提取通道，包括顺序相连的用于进行特征提取的特征提取单元、用于实现低分辨率特征与高分辨率特征之间非线性映射的特征映射单元、以及用与对特征映射单元输出特征图像进行上采样和聚合的图像重建单元；所述特征提取单元包括卷积层；所述特征映射单元包括m个深度可分离卷积层；所述图像重建单元包括高度方向卷积核移动步长为放大因子s的反卷积层；所述高频特征提取通道输入为所述矢状面或冠状面图像以及其相邻的前后图像，输出为宽为W、高为H的包含高频图像信息的图像；所述全局残差连接通道输出的宽为W、高为H的低分辨率图像和高频特征提取通道输出的宽为W、高为H的包含高频图像信息的图像逐像素叠加获得宽为W、高为H的高分辨率重建图像；
所述二维超分辨率重建卷积神经网络，按照以下方法进行训练：采用均方误差(MSE)损失函数；采用Adam优化算法加速网络收敛，初始学习率为0.001，在之后的训练过程中，如果连续10个周期后网络的损失函数值没有更新到更小的值，就将学习率减半，学习率最小可降至10-5，如果连续50个周期后网络的损失函数值都没有更新到更小的值，则认为网络已经收敛，即可结束训练。
所述二维超分辨率重建卷积神经网络考虑到针对的对象是三维医学图像，其矢状面和冠状面方向上都由上百张切片图像组成，而前后相邻的切片图像之间往往存在较强的关联性，充分利用图像之间的信息，能大幅提升最终的重建精度。因此，所述二维超分辨率重建卷积神经网络中，采用了多通道图像作为网络的输入，除了当前需要重建的低分辨率图像之外，还包含了与其相邻的前一帧和后一帧低分辨率图像，因而网络中的用于特征提取的卷积层不仅能够提取图像内部的特征信息，还能够提取不同图像之间的特征信息，从而提高重建的精度；并且由于其处于网络中第一个卷积层，故其参数数量相对而言是很少的，因此采用多通道输入后，不会造成参数数量和计算量的过度增加。
所述融合模块，用于将超分辨率重建模块获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
以下为实施例：
一种端对端的三维医学图像超分辨率重建系统，包括：切片模块、二维超分辨率重建模块、以及融合模块；
所述切片模块用于将原始取得的三维医学图像在矢状面和冠状面上进行切片，获得宽为W、高为
的矢状面图像序列和冠状面图像序列，输出到二维超分辨率重建模块；
所述二维超分辨率重建模块，可为一个或多个并联的二维超分辨率重建卷积神经网络，用于将宽为W、高为
的矢状面图像序列和冠状面图像序列中的每一图像重建为宽为W、高为H的超分辨率图，获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列，输出给融合模块；
所述二维超分辨率重建神经网络，如图2所示，包括并联的全局残差连接通道和高频特征提取通道；
所述全局残差连接通道输入为特定的矢状面或冠状面图像，经过高度方向上的放大获得低分辨率的获得宽为W、高为H的低分辨率图像；沿高度方向重采样的方式来实现输入图像的上采样，该操作不会引入额外的参数，并且几乎可以忽略其计算量，如图3所示。
所述高频特征提取通道，包括顺序相连的用于进行特征提取的特征提取单元、用于实现低分辨率特征与高分辨率特征之间非线性映射的特征映射单元、以及用与对特征映射单元额输出特征图像进行上采样和聚合的图像重建单元；
所述特征提取单元：仅包含了一个常规的卷积层，卷积核尺寸为5×5，数目为d；
所述特征映射单元：紧跟在特征提取单元之后，作用是实现低分辨率特征与高分辨率特征之间的非线性映射，包含了m个级联的深度可分离卷积层，其中通道分离卷积部分卷积核尺寸为3×3，数目为d；深度可分离卷积可以看成是一个通道分离卷积层和一个1×1卷积层的结合，假设卷积层中输入特征图和输出特征图的通道数分别为M和N，则常规卷积和深度可分离卷积中使用的卷积核分别如图4(a)和图4(b)所示，其中fK表示卷积核的尺寸。在常规卷积中，每个卷积核的权重参数数量为fK×fK×M，为了从通道数为M的输入特征图提取得到通道数为N的输出特征图，总共需要N个卷积核进行fK×fK×M×N×W×H次乘法运算，其中W和H分别表示特征图宽和高。而在深度可分离卷积中，将生成特征图的过程分为了特征提取和特征组合两步。其中特征提取由通道分离卷积实现，分别使用M个参数数量为fK×fK×1的卷积核对输入特征图中的每个通道执行卷积运算，得到通道数为M的中间特征图，该过程只需要执行fK×fK×M×W×H次乘法运算。由于通道分离卷积仅仅是对特征图中的单个通道进行滤波，而没有组合他们产生新的特征，因此还需要使用卷积核尺寸为1×1的卷积操作来对中间特征图中不同通道的特征进行线性组合，该操作需要执行M×N×W×H次乘法运算。从而可以得到深度可分离卷积层总的计算开销为fK×fK×M×W×H+M×N×W×H，与常规卷积操作相比，计算量减小为：
通过上式的推导可以看出，通过将常规卷积层替换成深度可分离卷积层可以有效减少卷积过程的运算量。并且深度可分离卷积操作不会压缩生成特征图的通道数，从而能够保证所提取特征的多样性不受影响。
所述图像重建单元：处于最后，使用卷积核尺寸为9×9的反卷积操作对特征映射单元的输出特征图进行上采样和聚合，得到包含高频图像信息的图像；其中反卷积操作可以看成是卷积运算的反向过程，卷积运算可以表示成矩阵相乘的形式，即：
z＝Wx
其中z为输出特征图的一维向量形式，W为权重矩阵，x为输入特征图的一维向量形式。在该运算中，通过设置卷积核横向和纵向移动的步长，可以将特征图z缩小相应的倍数。现在我们通过在上式的两侧分别乘以权重矩阵的转置WT，则可以得到：
x＝WTz
相对地，在上述运算中通过设置卷积核横向和纵向移动的步长，可以将特征图z的尺寸放大相应的倍数。因此在我们的网络中，只需将反卷积运算中卷积核纵向的移动步长设置为网络的放大倍数，即可得到预期的输出尺寸。
所述二维超分辨率重建卷积神经网络，按照以下方法进行训练：采用均方误差(MSE)损失函数；采用Adam优化算法加速网络收敛，学习率最小降至10-5。
所述二维超分辨率重建卷积神经网络考虑到针对的对象是三维医学图像，其矢状面和冠状面方向上都由上百张切片图像组成，而前后相邻的切片图像之间往往存在较强的关联性，充分利用图像之间的信息，能大幅提升最终的重建精度。因此，所述二维超分辨率重建卷积神经网络中，采用了多通道图像作为网络的输入，除了当前需要重建的低分辨率图像之外，还包含了与其相邻的前一帧和后一帧低分辨率图像，因而网络中的用于特征提取的卷积层不仅能够提取图像内部的特征信息，还能够提取不同图像之间的特征信息，从而提高重建的精度；并且由于其处于网络中第一个卷积层，故其参数数量相对而言是很少的，因此采用多通道输入后，不会造成参数数量和计算量的过度增加。
所述融合模块，用于将超分辨率重建模块获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
应用本实施例提供的端对端的三维医学图像超分辨率重建系统进行三维医学图像超分辨率方法，如图1所示，包括以下步骤：
首先通过算法仿真实验对本实施例提出的二维超分辨率网络模型的主客观性能以及算法的计算复杂度进行了研究，实验环境的硬件配置为：Interl Core i7-7700 CPU、NVIDIA GeForce GTX 1060Ti显卡，16GB RAM；软件配置为：Windows10操作系统，开源深度学习框架TensorFlow。之后通过将该超分辨率重建网络用于各向异性三维MRI图像的重建，验证了该方法的有效性。
(1)将原始取得的各向异性的三维医学图像在矢状面和冠状面方向上进行切片，获得矢状面图像序列和冠状面图像序列；
本文选用了公开的fMRI Word and Object Processing Dataset数据集中的三维MRI图像数据进行网络的训练和测试。由于本章针对的是轻量级模型的研究，因此我们只挑选了其中的10组原始三维图像作为训练集，另外随机挑选了5组三维图像作为测试集。每组数据的原始空间分辨率均为1mm×1mm×1mm，为了模拟实际数据采集过程中采样间隔过大导致图像退化的过程，我们采用了间隔采样的方式来生成低分辨率数据，采样间隔与超分辨率网络的放大因子相对应。为了便于理解，我们以二维图像为例，在图5中展示了该退化方式的示意图。
采用均方误差(MSE)损失函数进行网络的训练，为了加速网络的收敛，同样采用了Adam优化算法。初始学习率为10-3，在之后的训练过程中，如果连续10个epochs后网络的loss值没有更新到更小的值，就将学习率减半，学习率最小可降至10-5。
(2)将步骤(1)中获取的矢状面图像序列和冠状面图像序列分别输入多通道超分辨率成像网络同时进行等比例的超分辨率重建、以及等比例高度方向重采样，从而获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列；记为：
yi＝f(xi-1,xi,xi+1)i∈1,2,…,N
其中，xi表示矢状面图像序列或冠状面图像序列中的原始低分辨率图像，yi是重建后高度方向分辨率调整后的超分辨率矢状面图像序列或超分辨率冠状面图像序列中的相应图像，N是矢状面图像序列或冠状面图像序列中的原始低分辨率图像的总数量，f(·)代表由二维超分辨率网络实现的从低分辨率图像到高分辨率图像的映射函数。
对于一副矢状面图像序列或冠状面图像序列中的原始低分辨率图像，按照以下方法同时进行等比例的二维超分辨率重建、以及等比例高度方向重采样：
(2-1)将所述宽为W、高为
的矢状面或冠状面图像序列中的原始低分辨率图像，沿高度方向重采样获得宽为W、高为H的低分辨率图像；其中s为放大因子；
(2-2)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入高频特征提取通道，获得宽为W、高为H的包含高频图像信息的图像；具体为：
(2-2-1)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入到特征提取单元，所述特征提取单元包括一个卷积层，具有d个卷积核；获得宽为W、高为
通道数为d的特征图像；
(2-2-2)将步骤(2-2-1)获得的所述特征图像输入到特征映射单元，实现低分辨率特征与高分辨率特征之间的非线性映射，获得高分辨率特征图像；优选所述特征映射单元包括m个级联的卷积层；优选的，所述映射单元包括m个深度可分离卷积层，所述深度可分离卷积层包括输入特征图通道数量的通道分离卷积核和输出通道数量的1×1卷积核，依次对输入特征图像进行卷积运算获得输出特征图；
(2-2-3)将步骤(2-2-2)中获得的高分辨率特征图像输入到图像重建单元，获得宽为W、高为H的包含高频图像信息的图像；所述图像重建单元反卷积层，所述反卷积层的卷积核尺寸为9×9，其高度方向移动步长为放大因子s。
步骤(2-1)与步骤(2-2)可并行执行或先后执行，执行顺序不影响本方法的实现。
(2-3)将步骤(2-1)低分辨率图像与步骤(2-2)获得的包含高频图像信息的图像进行逐像素相加，获得重建的高度方向分辨率调整后的高分辨率矢状面或冠状面图像。
(3)将步骤(2)中获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像；采用取均值的策略进行融合。
在设计网络结构的过程中，预留了两个关键参数(网络的基础通道数d以及特征映射单元中深度可分离卷积层的数目m)作为网络的敏感变量。为了测试网络不同结构的属性，我们针对上述两个变量设计了一组控制实验，在实验中分别设置d＝48和56，m＝2，3和4，因此总共进行了6次不同参数组合的实验，实验中模型的上采样因子为3。上述实验在测试集上的PSNR值和MSSIM值如表1所示。首先沿水平方向固定d，分析m对于网络性能的影响，可以看到，随着网络深度的加深，网络具有更好的性能。但是加深网络深度之后参数数量和计算量也增加了，重建一幅图像需要更长的时间，并且当参数数量冗余时，网络的性能也趋于饱和，这种趋势也可以从图6(a)所示的收敛曲线观察到，m＝3和4的模型收敛曲线已经十分接近。其次沿垂直方向固定m，分析d对于网络性能的影响，可以看到随着网络基础通道数的增加，其性能也有了明显的增加，这种趋势则反映在图6(b)所示的收敛曲线中。通过上述分析，本实施例认为当设置m＝3，d＝56时，网络在重建速度和精度这两方面达到了较好的平衡。
表1不同敏感参数在测试集上的实验结果
对比完整的网络模型进行训练和测试，其中超参数m＝3，d＝56，和使用去除掉高频特征提取通道后的网络模型进行训练和测试。图7展示了两组模型的训练结果，从中可以看出使用了高频特征提取通道之后，网络的收敛性更好，而且在PSNR和MSSIM指标上的评估结果也都有了较大程度的提高。
将多帧图像构成的多通道图像作为网络输入的合理性。相比于输入通道数为1的情况，输入通道数为3的模型在PSNR和MSSIM指标上都有了明显的提高，如表2、表3。
表2放大因子为2时不同模型对于输入通道数的实验结果
表3放大因子为3时不同模型对于输入通道数的实验结果
通过对两张表进行纵向分析则可以发现，在不同放大因子下，基于卷积神经网络的几种算法在上述指标上的衡量结果都远好于传统的插值算法，并且FSRCNN网络和本文所提出网络的重建精度都要明显优于SRCNN网络，其主要原因是SRCNN网络以经过双三次插值放大后的图像作为输入，不可避免地引入了误差。而本实施例所采用的网络Proposed(m＝3,d＝56)和Proposed-s(m＝2,d＝48)分别具有最佳和次佳的PSNR和MSSIM值。
图8和图9中分别展示了放大因子为2和3时，使用不同算法进行三维超分辨率重建的效果图，其中每个子图中都包含了冠状面、矢状面、轴向面以及完整的三维图像。从中可以看出，使用双线性插值算法得到的三维图像相对较为模糊，在冠状面和矢状面的顶部区域出现了锯齿效应，并且在放大因子为3时更为明显。而使用FSRCNN网络和本文提出的网络之后，冠状面和矢状面上的锯齿效应和模糊效应得到了有效的抑制，并且重建得到的三维图像上的阶梯效应也得到了改善。另一方面，与FSRCNN网络相比，通过本文提出的两个网络(Proposed(m＝2,d＝48)以及Proposed(m＝3,d＝56))重建得到的图像与Ground Truth更为接近，对于切片图像内部以及三维图像表面的细节恢复效果都更好。
表4展示了完整测试集的客观评价结果，其中的PSNR值由完整的三维图像计算得到。从中可以看出使用FSRCNN网络和本文提出的网络相比于直接使用双线性插值算法在重建精度上都有显著的提高，这说明卷积神经网络算法不仅可以通过学习高低分辨率图像间的映射关系来提升二维图像超分辨率重建的精度，也可以进一步提升由一系列重建得到的二维图像组合而成的三维图像的精度。另一方面，与FSRCNN网络相比，使用我们提出的两个模型重建得到的三维图像的PSNR值更高，说明其重建效果更好。
表4不同三维超分辨率算法下测试集的PSNR指标评价结果
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种端对端的三维医学图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)将原始取得的各向异性的三维医学图像在矢状面和冠状面方向上进行切片，获得矢状面图像序列和冠状面图像序列；
(2)将步骤(1)中获取的矢状面图像序列和冠状面图像序列分别输入多通道超分辨率成像网络同时进行等比例的超分辨率重建、以及等比例高度方向重采样，从而获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列；步骤(2)中对于一副矢状面图像序列或冠状面图像序列中的原始低分辨率图像，按照以下方法同时进行等比例的二维超分辨率重建、以及等比例高度方向重采样具体包括：
(2-1)将所述宽为W、高为
的矢状面或冠状面图像序列中的原始低分辨率图像，沿高度方向重采样获得宽为W、高为H的低分辨率图像；其中s为放大因子；
(2-2)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入高频特征提取通道，获得宽为W、高为H的包含高频图像信息的图像；
(2-3)将步骤(2-1)低分辨率图像与步骤(2-2)获得的包含高频图像信息的图像进行逐像素相加，获得重建的高度方向分辨率调整后的高分辨率矢状面或冠状面图像；
(3)将步骤(2)中获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
2.如权利要求1所述的端对端的三维医学图像超分辨率重建方法，其特征在于，步骤(2-2)具体为：
(2-2-1)将所述矢状面或冠状面图像序列中的原始低分辨率图像、以及其在所述图像序列中前后相邻的图像，按照其在所述图像序列中的顺序输入到特征提取单元，所述特征提取单元包括一个卷积层，具有d个卷积核；获得宽为W、高为
通道数为d的特征图像；
(2-2-2)将步骤(2-2-1)获得的所述特征图像输入到特征映射单元，实现低分辨率特征与高分辨率特征之间的非线性映射，获得高分辨率特征图像；
(2-2-3)将步骤(2-2-2)中获得的高分辨率特征图像输入到图像重建单元，获得宽为W、高为H的包含高频图像信息的图像。
3.如权利要求2所述的端对端的三维医学图像超分辨率重建方法，其特征在于，步骤(2-2-2)所述特征映射单元包括m个级联的卷积层。
4.如权利要求3所述的端对端的三维医学图像超分辨率重建方法，其特征在于，所述映射单元包括m个深度可分离卷积层，所述深度可分离卷积层包括输入特征图通道数量的通道分离卷积核和输出通道数量的1×1卷积核，依次对输入特征图像进行卷积运算获得输出特征图。
5.如权利要求1所述的端对端的三维医学图像超分辨率重建方法，其特征在于，步骤(2-1)与步骤(2-2)可并行执行或先后执行，执行顺序不影响本方法的实现。
6.一种端对端的三维医学图像超分辨率重建系统，其特征在于，包括切片模块、二维超分辨率重建模块、以及融合模块；
所述切片模块用于将原始取得的三维医学图像在矢状面和冠状面上进行切片，获得宽为W、高为
的矢状面图像序列和冠状面图像序列，输出到二维超分辨率重建模块；
所述二维超分辨率重建模块，可为一个或多个并联的二维超分辨率重建卷积神经网络，用于将宽为W、高为
的矢状面图像序列和冠状面图像序列中的每一图像重建为宽为W、高为H的超分辨率图，获得高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列，输出给融合模块；
所述二维超分辨率重建神经网络包括并联的全局残差连接通道和高频特征提取通道；
所述全局残差连接通道输入为特定的矢状面或冠状面图像，经过高度方向上的放大获得低分辨率的获得宽为W、高为H的低分辨率图像；
所述高频特征提取通道，包括顺序相连的用于进行特征提取的特征提取单元、用于实现低分辨率特征与高分辨率特征之间非线性映射的特征映射单元、以及用与对特征映射单元额输出特征图像进行上采样和聚合的图像重建单元；所述高频特征提取通道输入为所述矢状面或冠状面图像以及其相邻的前后图像，输出为宽为W、高为H的包含高频图像信息的图像；
所述全局残差连接通道输出的宽为W、高为H的低分辨率图像和高频特征提取通道输出的宽为W、高为H的包含高频图像信息的图像逐像素叠加获得宽为W、高为H的高分辨率重建图像；
所述融合模块，用于将超分辨率重建模块获得的高度方向分辨率调整后的超分辨率矢状面图像序列和超分辨率冠状面图像序列进行三维数据融合，获得分辨率各向同性的超分辨率重建三维图像。
7.如权利要求6所述的端对端的三维医学图像超分辨率重建系统，其特征在于，所述特征提取单元包括卷积层；所述特征映射单元包括m个深度可分离卷积层；所述图像重建单元包括高度方向卷积核移动步长为放大因子s的反卷积层。
8.如权利要求7所述的端对端的三维医学图像超分辨率重建系统，其特征在于，所述二维超分辨率重建卷积神经网络，按照以下方法进行训练：采用均方误差损失函数；采用Adam优化算法加速网络收敛，初始学习率为0.001，在之后的训练过程中，如果连续10个周期后网络的损失函数值没有更新到更小的值，就将学习率减半，学习率最小可降至10-5，如果连续50个周期后网络的损失函数值都没有更新到更小的值，则认为网络已经收敛，即可结束训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295443.3A CN111507462B (zh) | 2020-04-15 | 2020-04-15 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295443.3A CN111507462B (zh) | 2020-04-15 | 2020-04-15 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507462A CN111507462A (zh) | 2020-08-07 |
| CN111507462B true CN111507462B (zh) | 2022-05-10 |
Family
ID=71864018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010295443.3A Active CN111507462B (zh) | 2020-04-15 | 2020-04-15 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507462B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112089438B (zh) * | 2020-08-31 | 2021-07-30 | 北京理工大学 | 基于二维超声图像的四维重建方法及装置 |
| CN112669234A (zh) * | 2020-12-28 | 2021-04-16 | 苏州大学 | 基于神经网络的高分辨率图像复原方法及系统 |
| CN113160380B (zh) * | 2021-03-04 | 2023-07-18 | 北京大学 | 三维磁共振影像超分辨重建方法、电子设备和存储介质 |
| US11803939B2 (en) * | 2021-04-28 | 2023-10-31 | Shanghai United Imaging Intelligence Co., Ltd. | Unsupervised interslice super-resolution for medical images |
| CN115311135A (zh) * | 2022-06-24 | 2022-11-08 | 西南交通大学 | 一种基于3dcnn的各向同性mri分辨率重建方法 |
| CN115661377B (zh) * | 2022-12-28 | 2023-05-05 | 中国科学院自动化研究所 | 自监督深度学习及构建各向同性超分辨率三维图像的方法 |
| CN116152241B (zh) * | 2023-04-18 | 2023-07-25 | 湖南炅旭生物科技有限公司 | 一种脑部影像的处理方法、系统、电子设备及存储介质 |
| CN117974448B (zh) * | 2024-04-02 | 2024-08-09 | 中国科学院自动化研究所 | 三维医学图像各向同性超分辨方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001031568A1 (en) * | 1999-10-25 | 2001-05-03 | Redhawk Vision, Inc. | System and methods for producing high resolution images from a video sequence of lower resolution images |
| CN105574922A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种鲁棒的三维模型高质量纹理映射方法 |
| CN105787875A (zh) * | 2015-01-14 | 2016-07-20 | 卢茨洛格斯技术有限公司 | 用于在计算机系统中控制空间分辨率的方法和装置 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
| WO2018187764A1 (en) * | 2017-04-06 | 2018-10-11 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Isotropic generalized diffusion tensor mri |
| CN108898560A (zh) * | 2018-06-21 | 2018-11-27 | 四川大学 | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 |
| CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
| EP3486864A1 (en) * | 2017-11-20 | 2019-05-22 | Technische Universität München | Isotropic 3d image reconstruction using 3d patches-based self-similarity learning |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
-
2020
- 2020-04-15 CN CN202010295443.3A patent/CN111507462B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001031568A1 (en) * | 1999-10-25 | 2001-05-03 | Redhawk Vision, Inc. | System and methods for producing high resolution images from a video sequence of lower resolution images |
| CN105787875A (zh) * | 2015-01-14 | 2016-07-20 | 卢茨洛格斯技术有限公司 | 用于在计算机系统中控制空间分辨率的方法和装置 |
| CN105574922A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种鲁棒的三维模型高质量纹理映射方法 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
| WO2018187764A1 (en) * | 2017-04-06 | 2018-10-11 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Isotropic generalized diffusion tensor mri |
| EP3486864A1 (en) * | 2017-11-20 | 2019-05-22 | Technische Universität München | Isotropic 3d image reconstruction using 3d patches-based self-similarity learning |
| WO2019097085A1 (en) * | 2017-11-20 | 2019-05-23 | Technische Universität München | Isotropic 3d image reconstruction using 3d patches-based self-similarity learning |
| CN108898560A (zh) * | 2018-06-21 | 2018-11-27 | 四川大学 | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 |
| CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
Non-Patent Citations (3)
| Title |
|---|
| Image Super-Resolution Using Deep Convolutional Networks;Chao Dong et al;《Computer Vision and Pattern Recognition》;20150731;全文 * |
| 基于深度学习的医学图像增强算法的研究;刘蓬博;《中国优秀硕士学位论文全文数据库》;20200315;全文 * |
| 稀缺样本下基于深度学习的图像超分辨率方法研究;徐泽楷;《中国博士学位论文全文数据库》;20200115;第4章第4.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507462A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507462B (zh) | 一种端对端的三维医学图像超分辨率重建方法及系统 | |
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| CN111127320B (zh) | 基于深度学习的光声图像超分辨重建方法及装置 | |
| Peng et al. | Saint: spatially aware interpolation network for medical slice synthesis | |
| CN110461228A (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
| CN113506222B (zh) | 一种基于卷积神经网络的多模态图像超分辨方法 | |
| CN112396672A (zh) | 一种基于深度学习的稀疏角度锥束ct图像重建方法 | |
| CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
| CN113160380B (zh) | 三维磁共振影像超分辨重建方法、电子设备和存储介质 | |
| CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| Bellos et al. | A convolutional neural network for fast upsampling of undersampled tomograms in X-ray CT time-series using a representative highly sampled tomogram | |
| WO2022163402A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| CN117576250B (zh) | 前瞻性欠采样MRI Dixon数据的快速重建方法及系统 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| CN117011139A (zh) | 基于深度学习的人脸超分辨率图形重建方法及系统 | |
| CN116777749A (zh) | 一种基于双频域去噪增强的医学ct图像超分辨率算法 | |
| CN116934767A (zh) | 一种深度注意力网络的胎儿小脑超声图像分割方法 | |
| Yu et al. | Deep learning single view computed tomography guided by FBP algorithm | |
| CN113191949A (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |