CN117218012A - 儿童pet校正网络模型的训练方法和装置、设备及介质 - Google Patents
儿童pet校正网络模型的训练方法和装置、设备及介质 Download PDFInfo
- Publication number
- CN117218012A CN117218012A CN202310961287.3A CN202310961287A CN117218012A CN 117218012 A CN117218012 A CN 117218012A CN 202310961287 A CN202310961287 A CN 202310961287A CN 117218012 A CN117218012 A CN 117218012A
- Authority
- CN
- China
- Prior art keywords
- pet
- training
- images
- mri
- reversible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012937 correction Methods 0.000 title claims abstract description 62
- 238000002600 positron emission tomography Methods 0.000 title description 156
- 230000002441 reversible effect Effects 0.000 claims abstract description 96
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000008878 coupling Effects 0.000 claims description 24
- 238000010168 coupling process Methods 0.000 claims description 24
- 238000005859 coupling reaction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000011144 upstream manufacturing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000010076 replication Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 105
- 238000002591 computed tomography Methods 0.000 abstract description 18
- 230000005855 radiation Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012879 PET imaging Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- AOYNUTHNTBLRMT-MXWOLSILSA-N 2-Deoxy-2(F-18)fluoro-2-D-glucose Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H]([18F])C=O AOYNUTHNTBLRMT-MXWOLSILSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004153 glucose metabolism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开了儿童PET校正网络模型的训练方法和装置、设备及介质。该训练方法包括：获取多个PET训练图像和对应的多个MRI标签图像；以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件，并存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。本申请的方案获取的校正网络模型可以基于未校正PET图像直接得到模拟MRI图像，用于PET探测数据的校正，无需进行额外的MRI或者CT扫描，降低患者的不适感和接受辐射剂量，对儿童检测更为安全。
Description
技术领域
本申请涉及核探测领域，具体涉及儿童PET校正网络模型的训练方法和装置、设备及介质。
背景技术
正电子发射计算机断层显像(Positron Emission Computed Tomography，简称PET)，是核医学领域中较为先进的临床检查影像技术。PET是一种非侵入性的成像方式，其原理是通过使用放射性标记分子，比如利用氟18-氟代脱氧葡萄糖(FDG)作为生物标志物来提供直接成像，以评估葡萄糖代谢，注射进被测对象体内的放射性物质在衰变过程中释放出正电子，正电子遇到电子后就会发生湮灭，从而产生运动方向相反且能量均为511KeV的一对光子，PET通过检测放射性标记分子发出的大量伽马射线来观察被测对象的生理生化变化情况。
在PET成像中，正电子湮灭产生的伽马光子在穿过被测对象组织时，由于不同的组织的密度和性质的不同，会导致伽马光子发生一定程度的能量衰减，从而影响PET成像的质量，比如，这种衰减情况会导致PET成像的不准确进而影响医学检测的结果。因此在PET图像重建过程中，需要根据被测对象的骨骼、皮肤等组织结构来对PET原始数据进行校正。
传统的PET衰减校正方法包括PET/CT校正技术以及PET/MRI校正技术，二者均使用双模态成像的方法来进行PET校正，其中，PET/CT将未校正的PET探测数据与X射线计算机断层扫描(CT)成像相结合，用CT扫描得到的人体组织信息来辅助进行PET校正；PET/MRI将未校正的PET探测数据与磁共振(MRI)图像相结合，用MRI扫描得到的人体组织信息来辅助进行PET校正。
然而上述两种方法都有其缺点，比如PET/CT校正方法中用CT图像作为PET校正的辅助，CT图像虽然能够良好地区分开骨结构以及空气、皮肤等组织，但一方面在临床使用时会对患者造成一定量辐射，尤其是对于儿童患者，应当尽可能的避免进行有辐射的检查，另一方面额外的CT检查会导致成本较高；再比如PET/MRI校正方法中用MRI图像作为PET校正的辅助，虽然不会对患者造成辐射影响，但是需要对患者进行PET和磁共振两种扫描，这不仅大大增加了成本，还有可能对部分患者造成更多的不适感。
另外，对于PET衰减问题，当前还提出在医学成像领域中利用机器学习或深度学习方法进行校正，但是这些基于机器学习或深度学习的校正方法的校正效果尚待提高。而且，某些基于机器学习或深度学习的校正方法仍需要在PET扫描之外再进行额外检查获得MRI图像或CT图像来辅助校正。
鉴于此，亟需提供一种儿童PET校正网络模型的训练方法和装置、设备及介质，以使得PET校正不需要进行额外的MRI或CT扫描。
背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
发明内容
因此，本申请意图提供儿童PET校正网络模型的训练方法和装置、设备及介质。这些方案获取的校正网络模型可以基于未校正的PET图像直接得到模拟MRI图像，从而应用于PET探测数据的校正，患者在进行PET检测之后，无需再进行额外的MRI或者CT扫描过程，降低了患者的不适感和对患者的辐射剂量，对于对儿童患者来说，检测手段更为安全。
在第一方面，提供一种应用于儿童PET的校正网络模型的训练方法，包括：获取多个PET训练图像和对应的多个MRI标签图像；以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件，并存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
在一些实施例中，所述可逆生成网络包括多个依次连接的可逆模块，每个可逆模块由可逆的双射函数表征。
在一些实施例中，每个可逆模块包括用于分流的可逆1×1卷积、位于第一分流路径的多个耦合层和位于第二分流路径的多个耦合层，其中不同分流路径的耦合层通过变换函数互连，所述第一和第二分流路径经过所述耦合层后再彼此拼接。
在一些实施例中，所述耦合层为仿射耦合层，且由下式表示：
n1:d＝m1:d
nd+1:D＝md+1:D⊙exp(s(m1:d))+t(m1:d)
其中，D为给定的维度，d为自然数且d<D，m为输入，n为输出，s和t分别代表尺度变换函数和平移变换函数，⊙代表哈达玛积。
在一些实施例中，所述可逆生成网络包括位于所述多个依次连接的可逆模块正向上游的第一通道复制层和位于所述多个依次连接的可逆模块逆向上游的第二通道复制层。
在一些实施例中，所述可逆生成网络包括位于所述多个依次连接的可逆模块正向上游的第一归一化层和位于所述多个依次连接的可逆模块逆向上游的第二归一化层。
在一些实施例中，每次迭代包括：将所述PET训练图像正向输入所述可逆生成网络，输出对应的模拟MRI图像；将所述模拟MRI图像逆向输入所述可逆生成网络，输出对应的PET生成图像；基于所述模拟MRI图像和所述MRI标签图像确定正向损失；基于所述PET生成图像和所述PET训练图像确定逆向损失；基于所述正向损失和逆向损失确定的总损失，更新所述可逆生成网络的参数。
在一些实施例中，所述在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型，包括：基于第一判断标准在存储的可逆生成网络模型中选择多个优选模型；基于第二判断标准在所述多个优选模型中选择所述最优模型，所述第一判断标准不同于所述第二判断标准。
在一些实施例中，所述基于第一判断标准在存储的可逆生成网络模型中选择多个优选模型，包括：确定所述存储的可逆生成网络模型对应的模拟MRI图像和MRI标签图像的第一相似度指标；基于所述第一相似度指标，选择所述多个优选模型。
在一些实施例中，所述基于第二判断标准在所述多个优选模型中选择所述最优模型，包括：利用所述多个优选模型对应的模拟MRI图像对未校正PET图像对应的未校正PET探测数据进行第一校正，得到第一校正PET图像；利用所述多个优选模型对应的MRI标签图像对未校正PET图像对应的未校正PET探测数据进行第二校正，得到第二校正PET图像；确定所述多个优选模型对应的第一校正PET图像和第二校正PET图像的第二相似度指标；基于所述第二相似度指标，选择所述最优模型。
在一些实施例中，所述相似度指标包括峰值信噪比、结构相似性、均方根误差、均方误差或平均绝对误差中的一个或多个。
在一些实施例中，所述获取多个PET训练图像和对应的多个MRI标签图像，包括：获取多个原始PET图像；获取对应的多个原始MRI图像；将所述多个原始PET图像与所述多个原始MRI图像配准；基于所述配准，调节所述多个原始MRI图像与所述多个原始PET图像的尺寸一致，得到多个MRI标签图像和多个PET训练图像。
在一些实施例中，所述获取多个原始PET图像，包括：对多个对象进行第一探测以获得第一探测数据；对所述第一探测数据进行重建得到所述多个原始PET图像；所述获取对应的多个原始MRI图像，包括：对所述多个对象进行第二探测以获得第二探测数据；对所述多个第二探测数据进行重建得到所述多个原始MRI图像。
在一些实施例中，所述预设训练完成条件为预定的代数/批次/迭代或总损失达到稳定收敛或是收敛和预定的代数/批次/迭代的结合。
根据本申请的第二方面，提供一种应用于儿童PET的校正网络模型的训练装置，包括：获取单元，被配置成获取多个PET训练图像和对应的多个MRI标签图像；训练单元，被配置成以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件；存储单元，被配置成存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；确定单元，被配置成在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
根据本申请的第三方面，提供一种电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例所述的方法。
根据本申请的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时执行本申请任一实施例所述的方法。
本申请实施例提出的方案训练的校正网络模型，可以基于输入的未校正的PET图像直接得到模拟MRI图像，该模拟MRI图像后续可以应用于PET探测数据的校正，这无需再进行额外的MRI或者CT扫描过程，降低了患者的不适感和对患者的辐射剂量，对于儿童患者来说检测手段更为安全。
本申请实施例的可选特征和其他效果一部分在下文描述，一部分可通过阅读本文而明白。
附图说明
结合附图来详细说明本申请的实施例，所示元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：
图1示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图2A示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图2B示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图2C示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图3示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图4A示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图4B示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图4C示出了根据本申请实施例的校正网络模型的训练方法的流程图；
图5示出了根据本申请实施例的校正网络模型的训练装置的模块示意图。
图6示出了根据本申请实施例的电子设备的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
本申请提供的校正及其训练方法以及相关的成像方案涉及放射断层成像技术，尤其是正电子放射断层成像技术，并且可以适用于多种领域。
下面将参照附图，对本申请的具体实施例进行详细说明。
在本申请实施例中，本发明人有意设计一种基于可逆生成网络的训练方法，使用深度学习的方法从未校正的PET图像直接得到模拟MRI图像，从而将模拟MRI图像应用到PET探测数据的校正以及图像重建。
如图1示出了一种校正网络模型的训练方法，其可包括步骤S110至S140：
S110：获取多个PET训练图像和对应的多个MRI标签图像；
S120：对可逆生成网络进行迭代训练，直至达到预设训练完成条件；
S130：存储至少部分批次(batch)和/或代次(epoch)迭代训练得到的可逆生成网络模型；
S140：在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
在具体实施例中，如图2A所示，所述步骤S110可包括如下步骤S111至S114：
S111：获取多个原始PET图像。
在一些实施例中，如图2B所示，所述步骤S111可包括：
S1111：对多个对象进行第一探测以获得第一探测数据；
S1112：对所述第一探测数据进行重建得到所述多个原始PET图像，即未校正PET图像。
S112：获取对应的多个原始MRI图像。
在一些实施例中，如图2C所示，所述步骤S112可包括：
S1121：对所述多个对象进行第二探测以获得第二探测数据；
S1122：对所述多个第二探测数据进行重建得到所述多个原始MRI图像。
S113：将所述多个原始PET图像与所述多个原始MRI图像配准。
S114：基于所述配准，调节所述多个原始MRI图像与所述多个原始PET图像的尺寸一致，得到多个MRI标签图像和多个PET训练图像。
在步骤S110中，获取多个PET训练图像和对应的多个MRI标签图像。换言之，所获取的训练数据是图像域的数据。
作为具体示例，上述的数据例如是患者的脑部数据，但是可以想到病患(人或动物)的其他部位的数据，或者假体的数据，或者仿真得到的数据。
下文将以患者的脑部数据作为具体示例进行描述。
例如，在步骤S111的子步骤S1111中，对多个患者，如36个患者进行PET探测以得到第一探测数据，即为未校正PET探测数据，例如包括PET探测正弦图。类似地，可以在步骤S112的子步骤S1121中，对这些患者进行MRI探测以得到第二探测数据。在一些实施例中，该第一探测(PET探测)和第二探测(MRI探测)可以在同一设备中实现，例如在PET/MRI设备中实现。
进一步地，例如分别在步骤S111的子步骤S1112和步骤S112的子步骤S1122中，可以利用重建算法将第一探测数据(即未校正PET探测数据)、如PET探测正弦图以及第二探测数据(即MRI探测数据)分别重建成未校正的PET图像和扫描得到的MRI图像，该扫描得到的MRI图像可用于第一探测数据进行校正。上述重建算法可以利用已知的重建算法，在此不赘述，且它们可以是相同或不同的。
在步骤S113中，可以将所述多个原始PET图像与所述多个原始MRI图像配准。换言之，将未校正的PET图像与MRI图像的一一配准，保证每一张未校正PET图像有其对应位置的MRI图像。在一些实施例中，所述配准可以为绝对配准或相对配准。在一些具体实施例中，所述配准可以采用互相关法、惯序相似度检测匹配法、相互信息法、基于变换域的图像配准方法、基于特征的图像配准方法中的一种或多种。配准方法可以利用各种已知的方法，在此不赘述。
进一步地，在步骤S114中，调节所述多个原始MRI图像与所述多个原始PET图像(未校正PET图像)的尺寸一致，得到多个MRI标签图像和多个PET训练图像。在一些示例性实施例中，可以固定PET图像的大小，将MRI图像缩小到与未校正PET图像尺寸一致。例如，可以将512×512的MRI图像缩小到与未校正PET图像一样的250×250的尺寸。作为可选的手段，还可以检查图像中是否有脑部数据以外的干扰训练过程的多余部分，如有则可以进行适当裁剪。
如图1所示，在上述步骤S120的迭代训练中，将以所述多个PET训练图像为输入，以所述多个MRI标签图像和多个PET训练图像为标签、并且以模拟MRI图像和PET生成图像为互逆输出。具体来说，该可逆网络正向过程产生合成图像，逆向过程恢复原始图像，由此，可以将正向loss与逆向loss结合起来共同优化网络模型训练结果，如下文进一步描述。
在一些实施例中，结合图3描述迭代训练过程。
如图3所示，上述步骤S120的每次迭代可包括如下步骤，直至达到预设训练完成条件S126：
S121：将所述PET训练图像正向输入所述可逆生成网络，输出对应的模拟MRI图像；
S122：将所述模拟MRI图像逆向输入所述可逆生成网络，输出对应的PET生成图像；
S123：基于所述模拟MRI图像和所述MRI标签图像确定正向损失；
S124：基于所述PET生成图像和所述PET训练图像确定逆向损失；
S125：基于所述正向损失和逆向损失确定的总损失，更新所述可逆生成网络的参数。
在一些具体实施例中，可逆生成网络包括多个依次连接的可逆模块，也可称作可逆块(ReversibleBlock)，每个可逆模块由可逆的双射函数表征，在此可逆生成网络的可逆结构可表示为/>其中fk为双射函数。在一些具体示例中，k＝8，但是可以想到其他数量的可逆模块(双射函数)。
在一些实施例中，每个可逆模块可包括用于分流的可逆1x1卷积、位于第一分流路径的多个耦合层和位于第二分流路径的多个耦合层，其中不同分流路径的耦合层通过变换函数互连，所述第一和第二分流路径经过所述耦合层后再彼此拼接。在一些具体实施例中，在第一和第二分流路径的耦合层可以通过变换函数r、尺度变换函数s、平移变换函数t等互联到另外的分流路径。
在一个具体示例中，所述耦合层可以为仿射耦合层(AffineCouplingLayer)，且由下式表示：
n1:d＝m1:d
nd+1:D＝md+1:D⊙exp(s(m1:d))+t(m1:d)
其中，D为给定的维度，d为自然数且d<D，m为输入，n为输出，s和t分别代表尺度变换函数和平移变换函数，⊙代表哈达玛积。
由此，本申请实施例设计的网络结构中通过引入了仿射耦合层来实现网络的可逆性，并且利用可逆的1x1卷积作为仿射耦合层之间的可学习排列函数，从而实现了可逆网络结构的互逆生成的能力。
在一些实施例中，仿射耦合层以及可逆1x1卷积可以参考Kingma D P,DhariwalP.Glow:Generative Flow with Invertible 1x1 Convolutions:,10.48550/arXiv.1807.03039[P].2018.，其全文通过援引纳入本文。
在一个备选示例中，耦合层可以为加性耦合层(AddictiveCouplingLayer)，这落入本申请范围内。
在一些实施例中，所述可逆生成网络包括位于所述多个依次连接的可逆模块正向上游的第一通道复制层和位于所述多个依次连接的可逆模块逆向上游的第二通道复制层。可以在训练时将单通道的PET数据以及MRI数据进行通道复制，达到变量增强的效果，以提升训练效果。继续参考上述具体示例，在正向上，可以在可逆模块(f1)的上游设置第一通道复制层，用于复制未校正PET图像；相对应地，可以在逆向上，在可逆模块(f8)的上游设置第二通道复制层，用于复制MRI图像，如模拟MRI图像。在一些实施例中，虽然可逆模块是可逆的，但通道复制层仅在可逆模块的上游设置，由此例如在正向上，PET训练数据在经过第一通道复制层及多个可逆模块的处理后，可以不经过第二通道复制层，反之亦然。尽管未示出，可以想到，在可逆模块的下游设置与通道复制层相反功能的通道合并层，但也可以想到复制多个标签进行损失计算，这都落入本申请的范围内。
在一些实施例中，所述可逆生成网络还可包括位于所述多个依次连接的可逆模块正向上游的第一归一化层和位于所述多个依次连接的可逆模块逆向上游的第二归一化层。作为解释地，由于PET图像和MRI图像的原始数值较大，可以在训练时需要将PET图像和MRI图像数值都统一归一化为0-1的范围，以增加数据的匹配度，以避免出现损失爆炸，无法收敛等情况。在一些优选实施例中，当PET训练图像为分批(batch)PET训练图像时，归一化层可以为批量归一化(BN)层。
继续参考图3，在网络训练阶段，可以将PET训练图像输入网络进行迭代(iteration)学习，而MRI标签图像(以及PET训练图像)本身可作为标签。如前所述地，在一些实施例中，图像是分批图像，由此每次迭代(iteration)可以执行一批(batch)图像的训练，而所有图像(所有批次)均执行完迭代后，则可以称为一代(epoch)。例如，假设有19600个PET训练图像，如未校正PET图像，若每批100个PET训练图像，则每次迭代(iteration)或者说每批(batch)将并行执行这100个PET训练图像；而当19600个PET训练图像全部执行完一次，即执行了196批次(batch)时，则可以称执行了一代(epoch)或一个“时代”PET训练图像。在本申请实施例中，将可以根据需要执行若干代次的迭代，如300代(epoch)。尽管描述了分批执行PET训练图像，但是可以想到PET训练图像是不分批的，即每批执行一个PET训练图像，这同样落在本申请范围内，且与本文所述的执行一代(epoch)或一个“时代”PET训练图像不冲突。
继续参考图3，在上述步骤S120的每次迭代中，在达到预设训练完成条件S126之前，可以在步骤S121中将所述PET训练图像正向输入所述可逆生成网络，输出对应的模拟MRI图像，并且可以在步骤S122中，将所述模拟MRI图像逆向输入所述可逆生成网络，输出对应的PET生成图像。
进一步地，可以在步骤S123中基于所述模拟MRI图像和所述MRI标签图像确定正向损失L1；并在S124中基于所述PET生成图像和所述PET训练图像确定逆向损失L2。由此，可以在S125中，基于所述正向损失和逆向损失确定的总损失Ltotal，更新所述可逆生成网络的参数。
如前所述地，在正向过程中，MRI标签图像将作为标签，也可称为真值图像。而在反向过程中，PET训练图像本身将作为标签。
基于所述正向损失和逆向损失确定的总损失Ltotal可以是正向损失L1和逆向损失L2的加权和，例如如下式所示：
Ltotal＝λL1+L2＝λ||f(X)-Y||2+||f-1(Y)-X||2
其中Y为MRI标签图像，f(X)为网络中从源图像X得到的输出图像，||·||为2-范数，L1代表PET生成图像与MRI标签图像之间的损失，即正向损失，L2代表输入图像与PET训练图像之间的损失，即逆向损失，超参数λ为用来平衡正向损失和逆向损失的权重。
由此，在训练时通过计算损失，并例如通过梯度下降算法，可以迭代更新可逆生成网络的参数，直至达到预设训练完成条件S126。
在本申请实施例中，该预设训练完成条件126可以具有多种实现形式。例如，该预设训练完成条件126可以为预定的代数(epoch)，例如预设训练完成条件126为达到300代(epoch)。或者，该预设训练完成条件126可以为总损失达到稳定收敛。或者，该预设训练完成条件126可以是收敛和预定的代数/批次/迭代的结合，例如，该预设训练完成条件126可以是总损失达到稳定收敛执行给定代数、批次、迭代次数，例如总损失达到稳定收敛执行1代或64批或64次迭代等，这都落入本申请的范围内。
继续参考图1，在步骤S140中，可以在至少部分批次(batch)/迭代(iteration)和/或至少部分代次(epoch)训练后，储存可逆生成网络模型，如此时更新的可逆生成网络的参数。
在一些实施例中，可以在每一次将所有PET训练图像训练完，就保存一个网络模型，即存储每一代次(epoch)训练后的网络模型。例如，当训练300代(epoch)时，存储每代训练后的300个网络模型。
在一些实施例中，可以仅存储部分网络模型，例如可以存储完成迭代前的100代次训练后的网络模型。
在一些实施例中，可以存储代次和批次(或迭代)相结合的模型，例如对于每代(epoch)有196批次(batch)的PET训练图像，可以存储最后10代的全部批次(迭代)训练后的网络模型，即10×196个网络模型。
存储网络模型的不同实施例可以与预设训练完成条件的不同实施例相结合得到各种不同的实施例，这落入本申请的范围内。
在一些实施例中，还可包括在存储的网络模型中选择最优模型的过程。
如图4A所示，所述步骤S140可包括：
S141：基于第一判断标准在存储的可逆生成网络模型中选择多个优选模型；
S142：基于第二判断标准在所述多个优选模型中选择所述最优模型。
在本申请实施例中，所述第一判断标准不同于所述第二判断标准。
在一些实施例中，判断标准可以是图像的相似度指标。
在进一步的实施例中，第一判断标准可以是MRI图像的相似度指标的判断。如图4B所示，所述步骤S141可包括：
S1411：确定所述存储的可逆生成网络模型对应的模拟MRI图像和MRI标签图像的第一相似度指标；
S1412：基于所述第一相似度指标，选择所述多个优选模型。
在进一步的实施例中，第一判断标准可以是经MRI图像进行校正处理后的PET图像的相似度指标的判断。如图4C所示，所述步骤S142可包括：
S1421：利用所述多个优选模型对应的模拟MRI图像对未校正PET图像对应的未校正PET探测数据进行第一校正，得到第一校正PET图像；
S1422：利用所述多个优选模型对应的MRI标签图像对未校正PET图像对应的未校正PET探测数据进行第二校正，得到第二校正PET图像；
S1423：确定所述多个优选模型对应的第一校正PET图像和第二校正PET图像的第二相似度指标；
S1424：基于所述第二相似度指标，选择所述最优模型。
在一些实施例中，关于利用所述多个优选模型对应的MRI标签图像对未校正PET图像对应的未校正PET探测数据进行第二校正，得到第二校正PET图像，具体可以参考现有技术，在此不作赘述。
在本申请实施例中，所述相似度指标包括峰值信噪比(PSNR)、结构相似性(SSIM)、均方根误差(RMSE)、均方误差(MSE)或平均绝对误差(MAE)中的一个或多个。
具体地，例如利用验证数据的PET图像输入到各存储的网络模型中，以得到模拟MRI图像。接下来，可将模拟MRI图像与设备扫描得到的原MRI图像(验证图像)进行比较和指标计算，先初步找到较好的网络模型。然后，再将模拟MRI图像和原MRI图像(验证图像)用于PET校正，对比这样得到的PET图像之间的相似性。
在一些实施例中，峰值信噪比(PSNR)可以根据下式确定：
其中，y、分别表示用于对比的图像两者，这取决于对比的是MRI图像或PET图像。
在一些实施例中，结构相似性(SSIM)可以根据下式确定：
其中，μ表示均值，表示y的标准差，/>表示/>的标准差，中/>表示y、/>的协方差，其余为常数。
在一些实施例中，均方根误差(RMSE)、均方误差(MSE)或平均绝对误差(MAE)的表达式是常规的，将不再赘述。
基于以上的内容，可以发现本申请实施例的校正网络结构以及相关的校正方法及成像方法具有如下的优异效果：
(1)相比于本发明人已知的将未校正的PET图像输入训练好的深度学习或神经网络直接获得校正的PET图像的方案，本申请实施例的方案充分利用了模拟MRI图像中的组织数据来实现对PET图像进行校正，获得了更为优秀的校正效果，并且避免出现这种已知的直接生成校正的PET图像的方案可能出现的过拟合现象。而且对于医护人员而言，无需改变其临床技术或习惯，能直观感受医学应用中具有重要实践意义的MRI图像数据。
(2)相比于本发明人已知的将扫描获取的CT图像或者MRI图像应用于PET校正的方案，本申请实施例在校正时省去了额外的CT或者MRI扫描过程，降低了患者的不适感和对患者的辐射剂量，尤其对于儿童患者来说，不需要额外进行CT检查，降低来其辐射剂量，更为安全，且大幅降低了使用成本。而且，重要的是，虽然本申请实施例的方案生成的MRI图像貌似并“不优秀”，但是利用这些貌似不太“优秀”的模拟MRI图像进行PET校正后的图像却呈现完全不逊色于利用真实MRI扫描图像的极佳性能。
(3)本申请实施例在校正模型使用了可逆的生成网络，而且训练中利用互逆的输出以及相应的损失来训练网络，相比于已知方案而言，训练速度极快，且有效避免过拟合等问题。
(4)本申请实施例的方案并非是直接使用训练好的校正模型，而是通过存储多个可逆生成网络模型，并且通过模拟MRI图像本身的图像相似度和校正图像的图像相似度指标来在多个存储模型中择优选择，这样可以进一步减少训练迭代次数/批次/轮次的情况下，获取优异的网络模型，且进一步避免了过拟合等问题。
在一些实施例中，该未校正PET图像可以输入校正网络模型得到模拟MRI图像，模拟MRI图像可以对未校正PET图像对应的未校正PET探测数据和进行校正，以得到校正后的PET探测数据。
在本申请实施例中，如图5所示，还提供一种校正网络模型的训练装置500，其可包括：获取单元510，被配置成获取多个PET训练图像和对应的多个MRI标签图像；训练单元520，被配置成以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件；存储单元530，被配置成存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；确定单元540，被配置成在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
本领域技术人员将明白，在本申请实施例中所述的装置可以结合本申请实施例中所述的方法特征，反之亦然。
本申请实施例还涉及能够实施本申请实施例方法的电子设备。
在一些实施例中，提供了一种电子设备，其可包括处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例的方法。
图6示出了一种可以实施本申请实施例的方法的示例性电子设备的示意图，在一些实施例中可以包括比图示更多或更少的电子设备。在一些实施例中，可以利用单个或多个电子设备实施。在一些实施例中，可以利用云端或分布式的电子设备实施。
如图6所示，电子设备2000包括处理器2001，其可以根据存储在只读存储器(ROM)2002中的程序和/或数据或者从存储部分2008加载到随机访问存储器(RAM)2003中的程序和/或数据而执行各种适当的操作和处理。处理器2001可以为单核或多核的处理器，也可以包含多个处理器。在一些实施例中，处理器2001可以包括通用的主处理器(如CPU)以及一个或多个特殊的协处理器，例如图形处理器(GPU)、神经网络处理器(NPU)、数字信号处理器(DSP)或其他通用或专用集成电路等。在RAM2003中，还存储有电子设备2000操作所需的各种程序和数据。处理器2001、ROM2002以及RAM 2003通过总线2004彼此相连。输入/输出(I/O)接口2005也连接至总线2004。
上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的方法的步骤或功能。
以下部件连接至I/O接口2005：包括键盘、鼠标等的输入部分2006；包括诸如显示器以及扬声器等的输出部分2007；包括硬盘等的存储部分2008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分2009。通信部分2009经由诸如因特网的网络执行通信处理。驱动器2010也根据需要连接至I/O接口2005。可拆卸介质2011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2010上，以便于从其上读出的计算机程序根据需要被安装入存储部分2008。
图6仅示意性示出示意性的电子设备，但根据本申请实施例的电子设备可以包括比图6所示电子设备更多或更少的组件或者具有与图6所示实施例设备相同、部分相同或不相同的架构。
在一些实施例中，还可以将所述电子设备与各种部件相结合，以得到具有本发明优点的方法、装置和系统。
尽管未示出，在一些实施例中还提供一种计算机可读存储介质，存储有计算机程序，计算机程序配置成被运行时执行任一本申请实施例的方法。该计算机程序包含组成根据本申请实施例的装置的各个程序模块/单元，各个程序模块/单元构成的计算机程序被执行时能够实现与上述实施例中描述的方法中的各个步骤所对应的功能。该计算机程序还可在如本申请实施例所述的电子设备上运行。
在本申请的实施例的存储介质包括非易失性和/或易失性的可以由任何方法或技术来实现信息存储的物品。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员应明白，本说明书的实施例可以以方法、系统或计算机程序产品等多种形式实施。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。
除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本文中，针对多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本申请的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
已参考上述实施例具体示出并描述了本申请的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。
Claims (17)
1.一种儿童PET校正网络模型的训练方法，其特征在于，包括：
获取多个PET训练图像和对应的多个MRI标签图像；
以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件，并存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；
在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
2.根据权利要求1所述的训练方法，其特征在于，所述可逆生成网络包括多个依次连接的可逆模块，每个可逆模块由可逆的双射函数表征。
3.根据权利要求2所述的训练方法，其特征在于，每个可逆模块包括用于分流的可逆1x1卷积、位于第一分流路径的多个耦合层和位于第二分流路径的多个耦合层，其中不同分流路径的耦合层通过变换函数互连，所述第一和第二分流路径经过所述耦合层后再彼此拼接。
4.根据权利要求3所述的训练方法，其特征在于，所述耦合层为仿射耦合层，且由下式表示：
n1:d＝m1:d
nd+1:D＝md+1:D⊙exp(s(m1:d))+t(m1:d)
其中，D为给定的维度，d为自然数且d<D，m为输入，n为输出，s和t分别代表尺度变换函数和平移变换函数，⊙代表哈达玛积。
5.根据权利要求2所述的训练方法，其特征在于，所述可逆生成网络包括位于所述多个依次连接的可逆模块正向上游的第一通道复制层和位于所述多个依次连接的可逆模块逆向上游的第二通道复制层。
6.根据权利要求2所述的训练方法，其特征在于，所述可逆生成网络包括位于所述多个依次连接的可逆模块正向上游的第一归一化层和位于所述多个依次连接的可逆模块逆向上游的第二归一化层。
7.根据权利要求1至6中任一项所述的训练方法，其特征在于，每次迭代包括：
将所述PET训练图像正向输入所述可逆生成网络，输出对应的模拟MRI图像；
将所述模拟MRI图像逆向输入所述可逆生成网络，输出对应的PET生成图像；
基于所述模拟MRI图像和所述MRI标签图像确定正向损失；
基于所述PET生成图像和所述PET训练图像确定逆向损失；
基于所述正向损失和逆向损失确定的总损失，更新所述可逆生成网络的参数。
8.根据权利要求1至6中任一项所述的训练方法，其特征在于，所述在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型，包括：
基于第一判断标准在存储的可逆生成网络模型中选择多个优选模型；
基于第二判断标准在所述多个优选模型中选择所述最优模型，所述第一判断标准不同于所述第二判断标准。
9.根据权利要求8所述的训练方法，其特征在于，所述基于第一判断标准在存储的可逆生成网络模型中选择多个优选模型，包括：
确定所述存储的可逆生成网络模型对应的模拟MRI图像和MRI标签图像的第一相似度指标；
基于所述第一相似度指标，选择所述多个优选模型。
10.根据权利要求8所述的训练方法，其特征在于，所述基于第二判断标准在所述多个优选模型中选择所述最优模型，包括：
利用所述多个优选模型对应的模拟MRI图像对未校正PET图像对应的未校正PET探测数据进行第一校正，得到第一校正PET图像；
利用所述多个优选模型对应的MRI标签图像对未校正PET图像对应的未校正PET探测数据进行第二校正，得到第二校正PET图像；
确定所述多个优选模型对应的第一校正PET图像和第二校正PET图像的第二相似度指标；
基于所述第二相似度指标，选择所述最优模型。
11.根据权利要求9或10所述的训练方法，其特征在于，所述相似度指标包括峰值信噪比、结构相似性、均方根误差、均方误差或平均绝对误差中的一个或多个。
12.根据权利要求1至6中任一项所述的训练方法，其特征在于，所述获取多个PET训练图像和对应的多个MRI标签图像，包括：
获取多个原始PET图像；
获取对应的多个原始MRI图像；
将所述多个原始PET图像与所述多个原始MRI图像配准；
基于所述配准，调节所述多个原始MRI图像与所述多个原始PET图像的尺寸一致，得到多个MRI标签图像和多个PET训练图像。
13.根据权利要求12所述的训练方法，其特征在于，
所述获取多个原始PET图像，包括：
对多个对象进行第一探测以获得第一探测数据；
对所述第一探测数据进行重建得到所述多个原始PET图像；
所述获取对应的多个原始MRI图像，包括：
对所述多个对象进行第二探测以获得第二探测数据；
对所述多个第二探测数据进行重建得到所述多个原始MRI图像。
14.根据权利要求1所述的训练方法，其特征在于：所述预设训练完成条件为预定的代数/批次/迭代或总损失达到稳定收敛或是收敛和预定的代数/批次/迭代的结合。
15.一种儿童PET校正网络模型的训练装置，其特征在于，包括：
获取单元，被配置成获取多个PET训练图像和对应的多个MRI标签图像；
训练单元，被配置成以所述多个PET训练图像为输入、所述多个MRI标签图像和多个PET训练图像为标签、模拟MRI图像和PET生成图像为互逆输出，对可逆生成网络进行迭代训练，直至达到预设训练完成条件；
存储单元，被配置成存储至少部分批次和/或代次迭代训练得到的可逆生成网络模型；
确定单元，被配置成在存储的可逆生成网络模型中确定最优模型作为所述校正网络模型。
16.一种电子设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求1至14中任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时执行权利要求1至14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961287.3A CN117218012A (zh) | 2023-08-01 | 2023-08-01 | 儿童pet校正网络模型的训练方法和装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961287.3A CN117218012A (zh) | 2023-08-01 | 2023-08-01 | 儿童pet校正网络模型的训练方法和装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218012A true CN117218012A (zh) | 2023-12-12 |
Family
ID=89050024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310961287.3A Pending CN117218012A (zh) | 2023-08-01 | 2023-08-01 | 儿童pet校正网络模型的训练方法和装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218012A (zh) |
-
2023
- 2023-08-01 CN CN202310961287.3A patent/CN117218012A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gong et al. | Iterative PET image reconstruction using convolutional neural network representation | |
| Wang et al. | Review and prospect: artificial intelligence in advanced medical imaging | |
| CN112053412B (zh) | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 | |
| Zhou et al. | Limited view tomographic reconstruction using a cascaded residual dense spatial-channel attention network with projection data fidelity layer | |
| Yuan et al. | SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction | |
| CN105147312A (zh) | Pet图像获取方法及系统 | |
| US20230059132A1 (en) | System and method for deep learning for inverse problems without training data | |
| US12023192B2 (en) | Single or a few views computed tomography imaging with deep neural network | |
| US20220130079A1 (en) | Systems and methods for simultaneous attenuation correction, scatter correction, and de-noising of low-dose pet images with a neural network | |
| Zhang et al. | Accurate and robust sparse‐view angle CT image reconstruction using deep learning and prior image constrained compressed sensing (DL‐PICCS) | |
| CN104657950A (zh) | 一种基于Poisson TV的动态PET图像重建方法 | |
| CN115777114A (zh) | 针对ct图像去噪的3d-cnn处理 | |
| WO2023134030A1 (zh) | 一种基于流模型的pet系统衰减校正方法 | |
| Hashimoto et al. | Deep learning-based PET image denoising and reconstruction: a review | |
| Chen et al. | Using bi-planar x-ray images to reconstruct the spine structure by the convolution neural network | |
| Clark et al. | Deep learning based spectral extrapolation for dual‐source, dual‐energy x‐ray computed tomography | |
| Xie et al. | Dose-aware diffusion model for 3d ultra low-dose pet imaging | |
| CN112488949A (zh) | 一种低剂量pet图像还原方法、系统、设备和介质 | |
| CN117218012A (zh) | 儿童pet校正网络模型的训练方法和装置、设备及介质 | |
| CN116502701B (zh) | 衰减校正方法和装置、训练方法和装置、成像方法和系统 | |
| CN115423892A (zh) | 一种基于最大期望网络的无衰减校正pet重建方法 | |
| CN115908610A (zh) | 一种基于单模态pet图像获取衰减校正系数图像的方法 | |
| Kläser et al. | Uncertainty-aware multi-resolution whole-body MR to CT synthesis | |
| Xie et al. | 3D few-view CT image reconstruction with deep learning | |
| Rao et al. | A novel supervised learning method to generate CT images for attenuation correction in delayed pet scans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |