CN110335327A - 一种直接解决逆问题的医学图像重建方法 - Google Patents
一种直接解决逆问题的医学图像重建方法 Download PDFInfo
- Publication number
- CN110335327A CN110335327A CN201910617998.2A CN201910617998A CN110335327A CN 110335327 A CN110335327 A CN 110335327A CN 201910617998 A CN201910617998 A CN 201910617998A CN 110335327 A CN110335327 A CN 110335327A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- reconstructing
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000013519 translation Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000012805 post-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 229940090044 injection Drugs 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种直接解决逆问题的医学图像重建方法，步骤包括：对采集的训练数据进行预处理；采用处理后的数据训练具有编码解码的卷积神经网络；利用训练后的卷积神经网络重建原始数据，得到高质量图像。本发明利用深度学习解决图像重建问题，网络被训练成能够立即学习物理模型的非线性关系。不同于图像后处理方法普遍针对像素值之间的差异进行降噪，本发明针对原始数据本身，能够快速、有效地建立训练样本和训练标签之间复杂的非线性关系，从原始数据精确重建出高质量图像。
Description
技术领域
本发明涉及正电子断层扫描图像重建，具体而言，尤其涉及一种将仪器获得的原始数据直接转化为医生可以直接诊断的医学图像。
背景技术
正电子断层扫描(PET)广泛应用临床、研究和工业应用。PET扫描前要对人体注射18F-FDG。恶性肿瘤细胞由于代谢旺盛，导致对葡萄糖的需求增加，因此静脉注射葡萄糖类似物——18FDG后，大多数肿瘤病灶会表现为对18FDG的高摄取，因此可应用18FDG PET显像找到全身肿瘤原发及转移病灶，准确判断肿瘤性质，从而正确指导临床治疗决策。由于18F-FDG具有放射性，从使用安全的角度考虑需要尽可能减少注射计量，如此必然带来重建图像清晰度不佳的弊端。因此如何从低剂量注射条件下获取弦图(原始数据)并重建出高质量图像具有重要的研究意义和临床价值。
临床应用中，PET成像中大量数据重建解剖图像需要时间，基于期望最大化的方法对于单个患者可能需要数小时，并且依赖于手动微调。不仅给医院带来了财政负担，更重要的是，导致患者处理、评估、诊断和治疗整个过程效率降低。此外，最常见的是PET图像重建技术包括分析滤波反投影(FBP)和最大似然(ML)方法，如最大似然期望最大化(MLEM)。通常情况下，这些标准方法产生的图像会出现数据/模型不匹配、数据不一致和数据过度拟合，这可能会在重建图像中表现为条纹和噪声等伪影。
发明内容
鉴于现有技术中存在的医学成像细节失真、效率低下等问题，本发明提出了一种基于深卷积编解码网络的PET图像重建技术，该技术以PET弦图数据为输入，直接输出清晰的PET图像。
本发明的技术方案如下：
一种直接解决逆问题的医学图像重建方法，步骤包括：
S100、对采集的训练数据进行预处理，所述训练数据包括全身扫描的低质量图像和高质量图像；
S200、采用处理后的数据训练具有编码解码的卷积神经网络，具体包括利用拉登变换得到的低质量图像弦图作为网络的训练输入，利用高质量图像作为网络训练标签；
S300、利用训练后的卷积神经网络重建原始数据，得到高质量图像。
进一步地，步骤S100包括：对图像数据进行像素翻转、平移、旋转和裁剪的方法来扩充数据集。
进一步地，步骤S200还包括：搭建编码解码网络，所述编码网络包括19个连续的卷积块；当卷积的步幅为1时，特征层数量保持不变；当步幅为2时，特征层数量变为原来的二倍；其中，所述特征层数量由滤波器个数决定。
本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的重建方法。
本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的重建方法。
较现有技术相比，本发明具有以下优点：
本发明将低质量图像进行拉登变换得到弦图的方法得到原始数据(正弦图像)，用这些带有噪声的弦图数据作为网络训练的输入。将高质量图像作为网络训练的标签。这样训练出来的网络可以直接将原始数据弦图转化为可供医生诊断的图像。
基于上述理由本发明可在图像重建等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明重建方法流程图。
图2为实施例中方法执行流程图。
图3a为输入的图像示意图。
图3b为提取的切片腹部图像及对比方法效果图。
图3c为提取的切片肺部图像及对比方法效果图。
图3d为提取的切片脑部图像及对比方法效果图。
图4a为实施例中编码器具体网络结构。
图4b为实施例中解码器具体网络结构。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明公开了一种直接解决逆问题的医学图像重建方法，步骤包括：
S100、对采集的训练数据进行预处理，包括：
S110、分类收集训练数据，所述训练数据包括低质量3D全身扫描DICOM数据和高质量3D全身扫描DICOM数据；
S120、对低质量3D全身扫描DICOM数据进行格式转化，得到弦图像；
S130、对可处理的分类数据进行扩充，以满足训练要求，包括：对数据进行像素翻转、平移、旋转和裁剪的方法来扩充数据集。
S200、采用处理后的数据训练具有编码解码的卷积神经网络，包括：
S210、搭建残余编码解码神经网络，并设置各层卷积参数；
S220、将预处理后的低质量图像的弦图作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练。
S300、利用训练后的卷积神经网络重建原始数据，得到高质量图像。
下面通过一个具体的实施例，对本发明的技术方案做进一步说明：
实施例1
如图2所示，本发明提供了一种……
基于直接解决重建逆问题的编码解码的医学图像重建方法，用于医学图像重建，即本发明正电子发射计算机断层图像重建，所述基于直接解决重建逆问题的残余编码解码的医学图像重建方法至少包括以下步骤：对数据进行预处理。用处理完的数据训练具有编码解码的卷积神经网络。利用训练好的神经网络对原始数据(正弦图像)进行重建，得到高质量图像。
数据预处理过程包括：
步骤A：训练数据由东软医疗提供，如图3a所示包括扫描75s的低质量图像，由上述数据提取头部、肺部和腹部三类，如图3b-3d所示。
步骤B：将这三类DICOM数据转化为正弦图像。由于实验的原始数据，即直接从检测器得到的人体信息信号(正弦图像)不容易获得，所以采用将图像进行拉登变换得到弦图的方法来进行实验。数据由东软医疗提供，数据包括10人的全身扫描的低质量和高质量图像。将低质量的图像做拉登变换得到原始数据(正弦图像)，用这些带有噪声的弦图数据作为网络训练的输入。将高质量图像作为网络训练的标签。这样训练出来的网络可以直接将原始数据弦图转化为可供医生诊断的图像。
步骤C：将三类数据分别进行随机左右翻转、在x方向或y方向随机移动30个像素、随机±10度的旋转。用这些方式来扩充已有的数据集，避免巡线过程中出现过拟合问题。
模型训练过程包括：
步骤D：设计残余编码解码网络结构，将形状大小为288×269×1大小扫描为75s的低质量图像的弦图形式作为网络的训练数据。将扫描150s的高质量图像作为网络的训练标签。其中288×269表示正弦图像的大小，1表示灰度图像，通道数为1。N表示为数据图片个数。
具体地，如图4所示，编码器将以卷积的方式压缩提取输入数据的信息，其中编码器由19个连续的卷积块组成，当卷积的步幅为1时，特征层数量保持不变，当步幅为2时，特征层数量变为原来的二倍。其中特征层数量有滤波器个数决定。
解码器将来自编码器的缩小特征表示上采样到PET图像中。解码器路径中的每一步都包括一个上采样层，将图像大小增加1.7倍，一个3×3卷积，将特征层数减半，一个批归一化层，然后是一个线性激活函数。
具体地，如图4a所示，解码编码网络共有31个卷积层和4个上采样层：所有的卷积核大小都为3×3，每层卷积后边接上批归一化和线性激活函数层。
编码器具体网络结构：第一层卷积，输入为1×288×269×1大小的原始图像，第一层卷积和第二层卷积使用的卷积核数量为32。输出为1×288×269×32的数据。第三层卷积步长为2，卷积核数量为64，输出为1×144×135×64的数据。第四和第五层卷积步长都为1，卷积核数量为64，输出为1×144×135×64的数据。第六层卷积步长为2，卷积核数量为128，输出为1×72×68×128的数据。第七和第八层卷积步长都为1，卷积核数量为128，输出为1×72×68×128的数据。第九层卷积步长为2，卷积核数量为256，输出为1×36×34×256的数据。第十和第十一层卷积步长都为1，卷积核数量为256，输出为1×36×34×256的数据。第十二层卷积步长为2，卷积核数量为512，输出为1×18×17×512的数据。第十三和第十四层卷积步长都为1，卷积核数量为512，输出为1×18×17×512的数据。第十五、十六和十七层卷积步长都为1，卷积核数量为1024，输出为1×18×17×1024的数据。第十八、十九、二十层卷积步长都为1，卷积核数量为512，输出为1×18×17×512的数据。
如图4b所示，解码器具体网络结构：解码器的卷积步长均为1，下面将不在赘述。将编码器输出的1×18×17×512的数据进行上采样，得到1×26×26×512的数据，第二十一层、二十二层和二十三层卷积，卷积核数量为256。输出为1×26×26×256的数据。然后进行第二次上采样得到1×44×44×256的数据。第二十四层、二十五层和二十六层卷积，卷积核数量为128，输出为1×44×44×128的数据。然后进行第三次上采样得到1×75×75×128的数据。第二十七、二十八和第二十九层卷积核数量为64，输出1×75×75×64的数据。然后进行第四次上采样，输出为1×128×128×64的数据。第三十层卷积，卷积核数量为32，输出为1×128×128×32的数据。第三十一层卷积，卷积核数量为1，输出为1×128×128×1的数据。
将处理好的数据集对网络进行训练，将均方误差作为网络的损失函数，其表达式为：
其中n为像素点的个数，x为模型重建的图像，y为网络训练的标签
模型质量的评估：为了评估所训练模型的质量，采用经典的图像质量评估方法：峰值信噪比和结构相似性，其中，
峰值信噪比计算公式为：
其中n为经重建后第n个像素值。
结构相似性计算公式为：
其中μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差。
所述过程三包括下述步骤：
步骤E：将步骤D训练好的网络参数用来对测试图像进行重建。
如图3b-3d所示，为头部、肺部和腹部三类数据在以不同方式重建后得到的结果，由图可知本发明所述的深度重建方法在峰值信噪比及结构相似性两项评价指标中表现由于现有的期望最大化重建方法及滤波反投影重建方法。
本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的重建方法。
本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的重建方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种直接解决逆问题的医学图像重建方法，其特征在于，步骤包括：
S100、对采集的训练数据进行预处理，所述训练数据包括全身扫描的低质量图像和高质量图像；
S200、采用处理后的数据训练具有编码解码的卷积神经网络，具体包括利用拉登变换得到的低质量图像弦图作为网络的训练输入，利用高质量图像作为网络训练标签；
S300、利用训练后的卷积神经网络重建原始数据，得到高质量图像。
2.根据权利要求1所述的医学图像重建方法，其特征在于，步骤S100包括：对图像数据进行像素翻转、平移、旋转和裁剪的方法来扩充数据集。
3.根据权利要求1所述的医学图像重建方法，其特征在于，步骤S200还包括：搭建编码解码网络，所述编码网络包括19个连续的卷积块；
当卷积的步幅为1时，特征层数量保持不变；
当步幅为2时，特征层数量变为原来的二倍；
其中，所述特征层数量由滤波器个数决定。
4.一种存储介质，其包括存储的程序，其特征在于，所述程序执行权利要求1-3中任意一项所述的重建方法。
5.一种处理器，其用于运行程序，其特征在于，所述程序执行权利要求1-3中任意一项所述的重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910617998.2A CN110335327A (zh) | 2019-07-10 | 2019-07-10 | 一种直接解决逆问题的医学图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910617998.2A CN110335327A (zh) | 2019-07-10 | 2019-07-10 | 一种直接解决逆问题的医学图像重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110335327A true CN110335327A (zh) | 2019-10-15 |
Family
ID=68145109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910617998.2A Pending CN110335327A (zh) | 2019-07-10 | 2019-07-10 | 一种直接解决逆问题的医学图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335327A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111289470A (zh) * | 2020-02-06 | 2020-06-16 | 上海交通大学 | 基于计算光学的oct测量成像方法 |
| CN111950705A (zh) * | 2020-08-10 | 2020-11-17 | 深圳高性能医疗器械国家研究院有限公司 | 一种重建神经网络及其应用 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053456A (zh) * | 2017-11-13 | 2018-05-18 | 深圳先进技术研究院 | 一种pet重建图像优化方法及系统 |
| CN108898642A (zh) * | 2018-06-01 | 2018-11-27 | 安徽工程大学 | 一种基于卷积神经网络的稀疏角度ct成像方法 |
-
2019
- 2019-07-10 CN CN201910617998.2A patent/CN110335327A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053456A (zh) * | 2017-11-13 | 2018-05-18 | 深圳先进技术研究院 | 一种pet重建图像优化方法及系统 |
| CN108898642A (zh) * | 2018-06-01 | 2018-11-27 | 安徽工程大学 | 一种基于卷积神经网络的稀疏角度ct成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| RAN MAOSONG ET AL: "Denoising of 3D magnetic resonance images using a residual encoder–decoder Wasserstein generative adversarial network", 《MEDICAL IMAGE ANALYSIS》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111289470A (zh) * | 2020-02-06 | 2020-06-16 | 上海交通大学 | 基于计算光学的oct测量成像方法 |
| CN111289470B (zh) * | 2020-02-06 | 2021-12-10 | 上海交通大学 | 基于计算光学的oct测量成像方法 |
| CN111950705A (zh) * | 2020-08-10 | 2020-11-17 | 深圳高性能医疗器械国家研究院有限公司 | 一种重建神经网络及其应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | CLEAR: comprehensive learning enabled adversarial reconstruction for subtle structure enhanced low-dose CT imaging | |
| Huang et al. | Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images | |
| KR20190137913A (ko) | 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소 | |
| CN110559009B (zh) | 基于gan的多模态低剂量ct转换高剂量ct的方法 | |
| CN110444277B (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
| CN111784788A (zh) | 一种基于深度学习的pet快速成像方法和系统 | |
| CN110310244A (zh) | 一种基于残差编码解码的医学图像降噪方法 | |
| CN110298804A (zh) | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN112446873A (zh) | 一种图像伪影的去除方法 | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| Xue et al. | LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks | |
| CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
| CN110335327A (zh) | 一种直接解决逆问题的医学图像重建方法 | |
| Li et al. | Automatic quantification of epicardial adipose tissue volume | |
| Zhao et al. | Medical images super resolution reconstruction based on residual network | |
| CN113476064B (zh) | 基于bcd-ed的单扫描双示踪剂pet信号分离方法 | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| CN116402954A (zh) | 一种基于深度学习的脊柱三维结构的重建方法 | |
| Yang et al. | Quasi-supervised learning for super-resolution PET | |
| CN116245969A (zh) | 一种基于深度神经网络的低剂量pet图像重建方法 | |
| CN110264428A (zh) | 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法 | |
| CN115689961A (zh) | 一种用于胶质瘤spect-mri图像融合的网络模型及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191015 |