CN114092589B - 图像重建方法及训练方法、装置、设备及存储介质 - Google Patents
图像重建方法及训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114092589B CN114092589B CN202210057274.9A CN202210057274A CN114092589B CN 114092589 B CN114092589 B CN 114092589B CN 202210057274 A CN202210057274 A CN 202210057274A CN 114092589 B CN114092589 B CN 114092589B
- Authority
- CN
- China
- Prior art keywords
- frames
- images
- frame
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000012549 training Methods 0.000 title claims abstract description 122
- 230000033001 locomotion Effects 0.000 claims abstract description 167
- 238000012937 correction Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000003068 static effect Effects 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 16
- 230000005855 radiation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 26
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000002600 positron emission tomography Methods 0.000 description 17
- 238000004088 simulation Methods 0.000 description 9
- 239000013078 crystal Substances 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000941 radioactive substance Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像重建方法及训练方法、装置、设备及存储介质。该图像重建方法包括：对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像；对多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像；利用图像重建网络模型对多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。本申请还公开了一种图像重建网络模型的训练方法和装置、计算机设备、图像处理系统、计算机可读存储介质。本申请实施例的方案建立了从直接反投影和经过帧间运动校正后获得的模糊图像与静止状态下无运动伪影图像之间的映射关系，实现对运动的成像目标获得高质量重建图像，同时具有计算速度快的优点。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像重建方法以及图像重建网络模型的训练方法。本申请还涉及相关的图像重建装置及训练装置、计算机设备、图像处理系统及计算机可读存储介质。
背景技术
正电子发射断层成像（Positron Emission Tomography，简称PET）技术是当前全球最尖端的分子影像技术之一，其通过对生物体内的标记有放射性核素的化合物进行成像，能够无创、定量、动态地评估生物体内各个功能器官的代谢水平、生化反应和功能活动，具有高灵敏度和准确性。
PET的工作原理为将发射正电子的放射性核素标记到能够参与活体组织血流或代谢过程的化合物上，并将标有放射性核素的化合物注射到生物体内，放射性核素在生物体内衰变产生的正电子与生物体内的负电子结合，从而导致发生电子对的湮灭事件，产生能量相等、方向相反的两个伽马光子，这两个伽马光子可被一对探测器探头探测到。如果探测器中的位于响应线（Line of Response，简称LOR）上的两个闪烁晶体分别在规定的符合时间窗（例如，0~15纳秒）及能量窗（400~600keV）内探测到两个伽马光子，则探测到这两个伽马光子的事件可以称为符合事件。后续，可以根据符合事件的信息重建出被检体的PET图像。
当使用包括PET在内的医疗成像设备进行成像时，由于成像目标、如人体或动物体无法完全保持静止，因此可能会造成重建图像中出现运动伪影，影响诊断效果。
多数去除运动伪影的运动校正方法都是针对呼吸运动等小范围的运动情况，在这些运动校正技术中，基本上都是基于门控技术，将系统一次连续采集的数据分为等时间的数据帧，选择其中一帧作为参考帧，参考帧所对应的成像目标位置和姿态作为参考位置，根据成像目标在其他各数据帧与参考位置之间的相对运动信息对各个数据帧做运动补偿将其转换为参考位置，从而实现运动补偿。
Picard Y等人提出了利用多采集帧（MAF）进行运动校正的算法（Picard Y，Thompson C J，Moreno-Cantu J J，Motion correction of PET images using multipleacquisition frames[C]，Nuclear Science Symposium & Medical Imaging ConferenceRecord，IEEE，1995）。MAF也是基于门控技术的一种对重建图像做后处理以去除运动伪影的运动校正算法，该算法对体素进行运动补偿的原理基于两个假设，一是假设成像目标只在相邻数据帧之间发生运动，在各数据帧内部成像目标保持静止；二是成像目标是由无数的空间点组成的，这些空间点的尺寸无限小，并且这些空间点的放射性物质的浓度不随这些点的运动而改变，即在数据采集过程中，成像目标各部位的放射性物质的浓度恒定，放射性物质的浓度仅随着成像目标的空间运动而在空间中重新分布。MAF算法根据运动信息对数据帧单独重建得到的重建图像的体素做空间映射，将其累加至参考位置对应的图像以试图消除运动伪影。但是，单个数据帧的数据量比较小，噪声比例较高，重建图像的质量相对较低，而后续图像累加的过程会进一步放大运动信息噪声的影响，进而会影响最终输出的图像质量。更重要的是，MAF算法是基于成像目标只在相邻数据帧之间发生离散运动，在各数据帧内部保持静止这一假设，它对成像目标做连续运动产生的帧内运动伪影并没有能力去除。当成像目标的连续运动速度越大，在数据帧内的运动进一步恶化了图像质量。
作为替代，为了满足面向运动目标PET系统成像的需求，在原有PET系统中增加辅助设备获取运动检测，并根据运动信息对PET数据进行运动校正。该方法一般假设成像目标运动为刚体运动，成像目标形状不发生改变，内部各部位相对位置保持恒定。所以可以通过运动追踪系统等额外设备获得待成像目标的运动信息，根据成像目标在数据采集过程中不同的位置和姿态对PET数据进行运动校正。Fulton R等人提出了EBE 算法是其中一种典型的运动校正算法（Fulton R，Nickel I，Tellmann L，et al，Event-by-event motioncompensation in 3D PET[C]，Nuclear Science Symposium Conference Record，IEEE，2003）。它是针对列表式数据的运动补偿，根据各数据帧相对于参考帧的运动信息，对数据帧中的每个事件所在的LOR做空间映射，将其恢复至参考帧所对应的LOR，再通过积分得到运动校正后的投影数据用于图像重建，得到运动补偿后的结果。EBE算法在列表模式数据的基础上，根据运动信息对符合事件响应的线条进行一一修正。然而，探测器中响应线（LOR）的检测效率并不一致。因此，后续数据需要在 LOR重新组合中进行归一化校正。同时随着成像目标的运动过程，参考位置对应的部分LOR可能会移出探测区域造成数据缺失。各数据帧中无法映射到最终投影数据中的部分数据会丢失，影响重建图像的质量和定量分析的准确性。
本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
发明内容
因此，本申请意图提供图像重建方法、装置、图像重建网络模型的训练方法、装置以及相关的计算机设备、图像处理系统和计算机可读存储介质，其能够解决现有技术中存在的至少一个问题。
在第一方面，提供一种图像重建网络模型的训练方法，其可包括：对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像；以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像，其中N≥1；获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像由从静止的目标对象采集得到的静态数据帧处理而得；基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
可选地，所述的训练方法还包括：以多帧反投影图像中的至少一帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成至少一组验证图像，其中所述至少一帧反投影图像不同于所述N帧反投影图像；获取与所述至少一组验证图像相对应的至少一个标签图像；基于所述至少一组验证图像和至少一个标签图像，验证训练后的图像重建网络模型。
可选地，所述以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像，包括：以预定的间隔在多帧反投影图像中确定N帧基准帧，N≥2；确定每帧基准帧之后的连续M帧反投影图像相对于对应基准帧之间的相对运动位置信息，其中M≥1；基于所述相对运动位置信息，对所述M帧反投影图像进行运动位置校正以得到与所述对应基准帧的空间位置一致的M帧校正帧，将所述M帧校正帧和所述对应基准帧作为相应组的训练图像。
可选地，所述获取与所述N组训练图像相对应的N个标签图像，包括：利用迭代图像重建算法处理获取的单个静态数据帧得到单个标签图像；确定所述静态数据帧相对于N帧基准帧的相对位置信息；基于所述相对位置信息，对所述单个标签图像进行位置校正以得到与所述N帧基准帧的空间位置一致的N个静态校正图像，作为所述N个标签图像。
可选地，所述获取与所述N组训练图像相对应的N个标签图像，还包括：扫描位于任一基准帧对应的空间位置中的所述静止的目标对象，以获取单个静态数据帧。
可选地，所述获取与所述N组训练图像相对应的N个标签图像，包括：利用迭代图像重建算法处理获取的N个静态数据帧，得到所述N个标签图像，其中所述N个静态数据帧从分别位于N帧基准帧对应的空间位置中的所述静止的目标对象采集而得。
所述获取与所述N组训练图像相对应的N个标签图像，还包括：基于所述目标对象的运动信息，确定所述N帧基准帧的位置信息；基于所述位置信息，将所述目标对象分别静止放置在所述N帧基准帧对应的N个空间位置中，并分别扫描所述静止的目标对象，以获取N个静态数据帧。
可选地，所述迭代图像重建算法为有序子集期望最大值法（Ordered SubsetExpectation Maximization，OSEM）。
可选地，所述图像重建网络模型为U形网络，所述U形网络包括多个依次连接的编码器模块和多个依次连接的解码器模块，其中相邻的编码器模块之间通过最大池化连接，相邻的解码器模块之间通过双线性插值连接，每个编码器模块还跳跃连接至对应的解码器模块。
可选地，每个编码器模块包括卷积层、批量归一化层和ReLU层；每个解码器模块包括卷积层、批量归一化层和ReLU层。
可选地，基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型，包括：将所述训练图像输入所述图像重建网络模型，输出重建图像；构建所述重建图像与对应的标签图像之间的损失函数，基于所构建的损失函数更新所述图像重建网络模型中网络参数以确定所述网络参数的最终值。
可选地，在反投影处理之前，所述训练方法还包括：对从运动的目标对象连续采集得到的采集数据按照预定时间间隔分割为所述多个采集数据帧。
可选地，所述反投影处理为非滤波的直接反投影。
在第二方面，提供一种图像重建方法，其可包括：对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像；对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像；利用图像重建网络模型对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。
可选地，所述图像重建网络模型由本申请任一实施例的训练方法训练而成。
可选地，所述对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像，包括：在所述多帧第一中间图像中确定基准帧；确定所述多帧第一中间图像中的其余帧相对于所述基准帧的相对位置信息；基于所述相对位置信息，对所述其余帧进行空间位置校正以得到与基准帧的空间位置一致的校正帧，将所述校正帧和所述基准帧作为所述多帧第二中间图像。
可选地，在反投影处理之前，所述图像重建方法还包括：对从目标对象连续探测得到的探测数据按照预定时间间隔分割为所述多个待重建图像数据帧。
可选地，所述反投影处理为非滤波的直接反投影。
在第三方面，提供一种图像重建网络模型的训练装置，其可包括：反投影单元，被配置为对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像；生成单元，被配置为以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像，其中N≥1；获取单元，被配置为获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像由从静止的目标对象采集得到的静态数据帧处理而得；训练单元，被配置为基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
可选地，所述N个标签图像由从静止的目标对象采集得到的静态数据帧经迭代图像重建算法处理而得。
在第四方面，提供一种图像重建装置，其可包括：反投影单元，被配置为对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像；帧间运动校正单元，被配置为对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像；图像重建网络模型，被配置为对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。
在第五方面，提供一种计算机设备，其可包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例的训练方法。
在第六方面，提供一种计算机设备，其可包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例的图像重建方法。
在第七方面，提供一种图像处理系统，其可包括探测设备和本申请实施例的计算机设备，所述探测设备被配置为通过对目标对象进行辐射探测而获得探测数据并且将所获得的所述探测数据提供给所述计算机设备。
可选地，所述探测设备包括CT扫描仪、PET探测器或PET/CT设备。
在第八方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时执行本申请任一实施例的方法。
本申请实施例的方案可以利用神经网络结构从直接反投影和帧间运动校正获得模糊图像，实现了快速高质量图像重建，同时消除了帧内运动的伪影。由此，有效解决了MAF算法中对帧内运动伪影无法消除以及单帧图像噪声大、信息量小的问题。并且，还避免了MAF算法中重建耗时长和运算复杂化问题。另外，也避免了EBE算法中对逐个响应事件LOR进行一一修正过程中大量运算带来的运动校正速度慢的问题。
本申请实施例的训练方案建立有运动伪影图像与无运动伪影图像之间的快速映射，能够以较小的采集数据量有效扩充训练数据，并且能够快速训练得到具有高度泛化性、鲁棒性的神经网络模型，其被用于图像重建的同时，不仅学习从帧内伪影的图像到高质量图像的映射，还学习从噪声污染的直接反投影图像到高质量图像的映射。该方法相较于常规的OSEM迭代算法，重建计算速度快，可以近乎实时地生成重建后的3D 图像。
换言之，为了解决图像重建过程中直接反投影带来的图像噪声，以及 MAF运动校正算法中存在帧内运动伪影双重影响下导致的重建图像质量下降的问题，本申请实施例的方案建立了从直接反投影和经过帧间运动校正后获得的模糊图像与静止状态下无运动伪影图像之间的映射关系，实现对运动的成像目标获得高质量重建图像，同时具有计算速度快的优点。
本申请实施例的可选特征和其他效果一部分在下文描述，一部分可通过阅读本文而明白。
附图说明
结合附图来详细说明本申请的实施例，所示元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：
图1示出了根据本申请实施例的图像重建网络模型的训练方法流程图；
图2示出了根据本申请实施例的图像重建网络模型的训练方法流程图；
图3A和图3B示出了根据本申请实施例的图像重建网络模型的训练方法流程图；
图4示出了根据本申请实施例的图像重建网络模型的训练方法流程图；
图5示出了根据本申请实施例的图像重建方法流程图；
图6示出了根据本申请实施例的图像重建方法流程图；
图7示出了根据实施本申请实施例的方法的进程结构图；
图8示出了能实施根据本申请实施例的方法的计算机设备的示例性硬件结构示意图；
图9示出了本申请实施例的图像处理系统；
图10示出了本申请实施例的图像重建网络模型的训练装置的结构示意图；以及
图11示出了本申请实施例的图像重建装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
下面将参照附图，对本申请的具体实施例进行详细说明。
本申请提供的图像重建方法及相关的训练方法可以适用于各种成像系统，例如，PET成像系统、电子计算机断层扫描（Computed Tomography，简称CT）成像系统、PET-CT成像系统以及适合由各种探测器采集数据后进行图像重建的应用场景。探测器可以包括多个探头，探测到符合事件的两个探头可构成一个探头对，并且每个探头对上可以形成一条或多条响应线。
图1示出了根据本申请实施例的图像重建网络模型的训练方法。该图像重建网络模型的训练方法可包括下述步骤S110、S120、S130、S140。
可选地，如图1所示，在步骤S110之前，该训练方法还可包括：
S100：对从运动的目标对象连续采集得到的采集数据按照预定时间间隔分割为多个采集数据帧。
在本申请实施例中，所述目标对象包括假体和/或生物体，如人体或动物体。
在本申请实施例中，采集数据作宽泛的解释，包括从实体的目标对象获取的探测数据和/或生成的仿真数据。
该探测数据可以为对实体对象进行探测而得的探测数据，这例如可以从探测设备所获取，探测设备可以涵盖多种医疗成像设备及其探测仪器。
该仿真数据例如可以为仿真生成的用于图像重建的数据，这例如可以从仿真软件或仿真模块所获取。该仿真软件或仿真模块例如为用于仿真医疗成像设备或其探测仪器的那些。例如，采集数据可以是从仿真PET扫描的仿真软件所获取的。在此，在一些实施例中，所述目标对象还可包括仿真的目标对象。相应地，目标对象的运动或静止以及目标对象的位置也可以是仿真的。
在本申请实施例中，所述目标对象的运动可以是在采集区域内的任何给定运动，由此在训练时，目标对象的运动信息是可获得或可确定的。例如，所述目标对象的运动可以是在医疗成像设备的成像区域内的给定运动。在本发明的一些实施例中，所述目标对象的运动可以是在三维空间内的简单运动，例如纯平移运动或纯旋转运动。在本发明的一些实施例中，可以获得多个采集数据，例如多个采集数据可以通过对目标对象的多个运动，如目标对象的多个纯平移运动而获得。在一个优选实施例中，可以获得第一采集数据和第二采集数据，第一采集数据通过对一个或多个纯平移运动采集而得，第二采集数据通过对一个或多个纯旋转运动采集而得。这样的采集数据具有优势，一方面可以通过解耦复杂运动中的平移和旋转而提高处理过程和训练速度，另一方面有利于训练的图像重建网络模型能具有更好的泛化性。
在本申请实施例中，还可以同时获得采集数据的时间信息。在本申请实施例中，例如可以根据采集数据的时间信息，按照预定的时间间隔将采集数据等分成该多个采集数据帧。相应地，也可以获得各个采集数据帧的时间信息。尤其是上述时间间隔也构成采集数据帧的帧内时间，即每帧的时长。例如，对于10s的采集数据，可以以0.1s的时间间隔将采集数据等分成100个采集数据帧，相应地可以确定每帧的起始时间依次是0、0.1、0.2、0.3、……、9.9。
在本申请实施例中，当用于辐射探测设备时，还可以对采集数据进行视差效应的校正，从而校正了辐射射线、如伽马光子在闪烁晶体中的沉积位置。
在本申请实施例中，当用于辐射探测设备时，还可剔除采集数据中的随机事件和散射事件。
S110：对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像。
在本申请实施例中，所述反投影处理可以包括多种类型的反投影处理或类似的反投影处理。在一个优选的实施例中，所述反投影处理为非滤波的直接反投影，它本身实现了数据帧的快速反投影，还为实现快速的图像重建提供了可能性。
作为解释而非限制地，反投影的原理是将所测得的投影值，按照其原投影路径，平均地分配到经过的每一个点上，把各个方向的投影值都这样反投影后，再把每个角度的反投影图像进行累加，从而推断出原图。由于反投影图是离散叠加的，显然在中心处信号集中，边缘处信号稀疏，因此常规的处理方式在最后需要在空缺的地方进行插值，才能得到最终的原图像。但是在本发明的优选实施例中，该直接反投影是无需插值的，可以在通过训练图像重建网络模型的同时学习这些特征，运用训练后的图像重建网络模型能够滤除这些不平滑的伪影。
在一个具体实施例中，当用于辐射探测设备时，在各个采集数据帧中来自一对探测器的计数可沿响应线（LOR）直接反投影回去，并且可以对所有的采集数据帧和有效的探测器对重复进行，以建立所述多帧反投影图像。
S120：以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像。
在本申请实施例中，N≥1，在一些优选实施例中，N≥2，即选择多个基准帧生成多组训练图像。
在一些实施例中，可以按照一定规律确定基准帧。
在一些实施例中，每组训练图像的数量可以相同。
如图2所示的实施例中，所述步骤S120可具体包括：
S121：以预定的间隔在多帧反投影图像中确定N帧基准帧。
在一些实施例中，例如可以以部分奇数帧作为基准帧。
S122：确定每帧基准帧之后的连续M帧反投影图像相对于对应基准帧之间的相对运动位置信息，其中M≥1。
在本申请实施例中，帧间运动校正处理可以类似地采用多采集帧 （Multi-Acquistion Frame，简称MAF）运动校正。前述Picard Y的文献通过援引整体纳入本文。
在一个实施例中，对于给定的坐标系，帧间运动校正处理可以基于下述式（1）确定：
其中，带下标i的坐标向量(x, y, z)为原始空间位置，带下标f的坐标向量为经校正的坐标向量，R为3×3旋转矩阵，(t x , t y , t z )为平移向量。
相应地，在本申请实施例中，该相对运动位置信息可以基于所述运动的目标对象的运动信息和所述多个采集数据帧的时间信息确定。如前所述，可以根据设定的信息以及采集数据帧的时间信息确定非基准帧相对于基准帧的相对运动位置信息。例如，给定的三维坐标内，假设以速度v沿x坐标轴匀速平移运动，采集数据帧每帧时长为t，则当第一帧反投影图像作为基准帧时，基于上述式（1），该第一帧之后的连续第M帧（即M+1帧）在x坐标轴上的相对运动位置为ΔP=vtM。
在其他实施例中，可以使用替代的等效手段实现该帧间运动校正处理。可选地，尤其是在单纯平移运动下，对于给定图像分辨率的图像，可以设定平移运动速率和每帧时长，使得帧间运动校正处理的位置信息可以基于像素移位确定。例如，可以如此设定平移运动速率和每帧时长，使得时间顺序上相邻的两帧表现为沿给定方向移动了一个或多个像素。
S123：基于所述相对运动位置信息，对所述M帧反投影图像进行运动位置校正以得到与所述对应基准帧的空间位置一致的M帧校正帧，将所述M帧校正帧和所述对应基准帧作为相应组的训练图像。
S130：获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像由从静止的目标对象采集得到的静态数据帧处理而得。
在一些实施例中，可以仅获取单个静态数据帧，然后借助于类似于前述的帧间运动校正处理、例如借助于MAF运动校正获得N个静态校正图像，作为N个标签图像。
例如，在图3A所示的实施例中，所述步骤S130可具体包括：
所述获取与所述N组训练图像相对应的N个标签图像，包括：
S132：利用迭代图像重建算法处理获取的单个静态数据帧得到单个标签图像。
S133：确定所述单个静态数据帧相对于N帧基准帧的相对位置信息。
可选地，该相对位置信息可以基于所述静止的目标对象的位置信息、所述运动的目标对象的运动信息和所述多个采集数据帧的时间信息确定。
S134：基于所述相对位置信息，对所述单个标签图像进行位置校正以得到与所述N帧基准帧的空间位置一致的N个静态校正图像，作为所述N个标签图像。
在本申请实施例中，针对标签图像的位置校正可以参考本申请实施例的帧间运动校正，如前述步骤S120所述的帧间运动校正，在此不赘述。
在优选实施例中，静态数据帧的空间位置可以与其中一个基准帧的空间位置一致。
在如图3A所示的实施例中，还可以包括获取单个静态数据帧的相关步骤。可选地，如图3A所示，在步骤S132之前，所述步骤S130还可包括：
S131：扫描位于任一基准帧对应的空间位置中的所述静止的目标对象，以获取单个静态数据帧。
但是可以想到，在另外的实施例中，所述单个静态数据帧的空间位置可以与任意基准帧的空间位置不一致，甚至与任意反投影图像的空间位置不一致。还可以想到，在另外实施例中，可以通过其他手段、例如仿真获取所述单个静态数据帧，或者该单个静态数据帧是已有的。
在另一些实施例中，可以将目标对象分别放置在对应N个基准帧的N个位置，并相应地获取N个静态数据帧。在该实施例中，则可以无需使用前述的帧间运动校正处理。
在如图3B所示的替代实施例中，所述步骤S130可具体包括：
S133’：利用迭代图像重建算法处理获取的N个静态数据帧，得到所述N个标签图像。
其中，所述N个静态数据帧从分别位于N帧基准帧对应的空间位置中的所述静止的目标对象采集而得。
在本申请实施例中，所述N个静态数据帧从分别位于N帧基准帧对应的空间位置中的所述静止的目标对象采集而得。
在优选实施例中，所述迭代图像重建算法可以为有序子集期望最大值法（OrderedSubset Expectation Maximization，OSEM）。OSEM为基于最大似然期望法的迭代图像重建算法。将全部投影数据划分为L个子集，L为自然数，每使用一个子集的数据，全部像素被更新一次。所有子集轮流使用一遍为一次迭代。OSEM包括两个步骤：确定计算似然函数的条件期望值的表达式；通过用导数求极值法导出使似然函数的条件期望值达到最大时的像素更新值。每次更新像素得到的似然函数值都大于或等于上次值，像素值最终收敛到使似然函数达到最大。在本申请实施例中，可以针对每个真事件数据帧划分子集。例如，可以在步骤S132或S133’中，针对每个静态数据帧划分L个子集。
在本申请实施例中，仅在训练时利用OSEM重建标签图像，而无需在利用图像重建网络模型进行图像重建时使用OSEM，由此可以实现快速的图像重建。
在如图3B所示的实施例中，还可以包括获取静态数据帧的相关步骤。可选地，在如图3B所示的实施例中，在步骤S133’之前，所述步骤S130还可包括：
S131’：基于所述目标对象的运动信息，确定所述N帧基准帧的位置信息。
S132’：基于所述位置信息，将所述目标对象分别静止放置在所述N帧基准帧对应的N个空间位置中，并分别扫描所述静止的目标对象，以获取N个静态数据帧。
同样可以想到的是，在另外实施例中，可以通过其他手段、例如仿真获取所述N个静态数据帧，或者该N个静态数据帧是已有的。
S140：基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
在本申请实施例中，帧内涉及各帧的帧内时间的数据，由此帧内运动校正涉及对于各帧的帧内时间产生的运动偏差、如运动伪影进行处理。相应地，帧间运动校正涉及不同帧之间的运动偏差。如前所述，在本申请实施例中，以每帧开始时刻作为各帧的帧间校正的时间信息，但是可以想到以其他时刻作为各帧的帧间校正的时间信息，只要各帧统一即可。
如图7示意性示出，图像重建网络模型可以为U形网络，所述U形网络包括多个依次连接的编码器模块和多个依次连接的解码器模块，其中相邻的编码器模块之间通过最大池化连接，相邻的解码器模块之间通过双线性插值连接，每个编码器模块还跳跃连接至对应的解码器模块。
如图7所示地，每个编码器模块可以包括卷积层、批量归一化层和ReLU层。每个解码器模块可以包括卷积层、批量归一化层和ReLU层。
在本申请实施例中所提出的网络架构基于U形网络（U-Net）架构。作为解释而非限制地，该U-Net架构包含大体对应于解码器模块的收缩部分和大体对应于编码器模块的扩张部分以及连接收缩和扩张部分的瓶颈连接。在收缩过程中，例如针对每个解码器模块，特征数量增加一倍，而图像尺寸减小为原来的一半，在扩张过程中，例如针对每个编码器模块，特征数量减小一半，图像尺寸增加一倍。从而实现下采样进行信息聚合和上采样进行像素恢复的功能。如前所述的，每个解码器模块、如每一次下采样都会有一个跳跃连接与对应的编码器模块、如上采样进行级联，这种特征融合可以帮助上采样恢复像素。在本发明实施例中，U-Net网络有利地实现了快速的图像重建，实现帧内运动校正，从而避免图像采集中存在的帧内运动伪影问题。
在图示的实施例中， U-Net网络中的每个编码器或解码器模块中，除了最后一层卷积层之外，每个卷积层都使用3 × 3 卷积核，之后进行批量归一化（batchnormalization，BN）和 ReLU 激活函数（也可称为ReLU层）。最后一个卷积层使用 1×1 卷积核来映射跨通道信息交互，这是一种很好的跨通道信息方法。在所示实施例中，空间下采样是通过使用最大池化来完成的，而上采样是使用双线性插值来完成的，这可以大幅减少计算量。
如图4所示的实施例中，所述步骤S140可具体包括：
S141：将所述训练图像输入所述图像重建网络模型，输出重建图像；
S142：构建所述重建图像与对应的标签图像之间的损失函数，基于所构建的损失函数更新所述图像重建网络模型中网络参数以确定所述网络参数的最终值。
在本申请实施例中，所构建的损失函数可以为基于回归的损失函数。
在一些实施例中，损失函数可以为均方误差（MSE）损失函数，也可称为L2损失函数。均方误差（MSE）损失函数可以以下式（2）表示：
在一些实施例中，损失函数可以为绝对误差（MAE）损失函数，也可称为L1损失函数。绝对误差（MAE）损失函数可以以下式（3）表示：
在一些实施例中，损失函数可以为平滑损失函数，也可称为Huber损失函数。平滑损失函数可以以下式（4）表示：
上述式中，L表示损失函数，f(x)表示重建图像，Y表示标签图像，δ为误差（损失值）。虽然上式中没有示出，但损失函数L与网络模型中的网络参数有关，而关于二者之间的具体关系，可以参照现有技术，在此不赘叙。
在一些实施例中，例如在步骤S142中，可以利用迭代的方式更新并最终确定图像重建网络模型中网络参数值，更具体的是基于所构建的损失函数，利用反向传播来更新网络参数，由此获得网络参数的最终值。例如，可以将训练图像逐个或分批地输入图像重建网络模型、如U-Net中，利用向前传播算法计算损失函数，反向传播根据损失函数计算得到的误差（也可称为损失值），并利用梯度下降法更新网络参数值。基于预设的迭代终止条件，反复迭代更新该图像重建网络模型中的网络参数值，并在迭代终止后将最终确定的相关参数值确定为图像重建网络模型中的第二网络结构所对应的网络参数的最终值。该预设的迭代终止条件包括但不限于计算得到的误差小于预设的误差阈值、损失值收敛、预定的迭代循环次数等。具体迭代训练过程在此不赘述。
尽管在图示的实施例中使用了U-Net神经网络，但是可以想到使用其他合适的神经网络，用于快速的图像重建的同时，消除帧内运动伪影。
在本申请的一些实施例中，还可以包括对训练后的图像重建网络模型进行验证的相关步骤。
例如，在图1所示的实施例中，该训练方法还可选地包括：
S150：以多帧反投影图像中的至少一帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成至少一组验证图像，其中所述至少一帧反投影图像不同于所述N帧反投影图像。
S160：获取与所述至少一组验证图像相对应的至少一个标签图像。
S170：基于所述至少一组验证图像和至少一个标签图像，验证训练后的图像重建网络模型。
在一些实施例中，可以验证训练后的图像重建网络模型是否符合预设标准。若不符合预设标准，可以调整所述图像重建网络模型的超参数，例如但不限于编码器单元结构和数量、解码器单元结构和数量、各层（矩阵）结构和层数中的至少一个。
本领域技术人员将明白，虽然在所示的实施例中，所示步骤S150和S160为位于步骤S120和S130之后的独立步骤，但是可以想到多种可能的具体实施手段，例如步骤S150可以与步骤S120相结合，以及/或者，步骤S160可以与步骤S130相结合。例如，可以利用帧间运动校正处理同步获得所示的训练图像和验证图像，以及/或者，同步获得用于训练和用于验证的标签图像。
相应地，在本发明实施例中，针对验证图像的帧间运动校正处理和标签图像获取可以参考针对训练图像的帧间运动校正处理和标签图像获取，在此不赘述。
在本申请一些实施例中，还可以包括获取测试图像进行测试的相关步骤。测试图像的获取和测试可以参考验证图像的获取和验证。
在一些实施例中，训练方法或装置可以部分或全部地基于各种机器学习框架、如深度学习框架实施。相应地，本申请实施例的神经网络也可以基于各种机器学习框架、如深度学习框架实现。在一些实施例中，所述机器学习框架包括但不限于PyTorch、TensorFlow、Caffe、Keras、Amazon Machine Learning、Azure Machine Learning Studio等。
在下文中将结合图7，描述一个具体的实例。
在该实例中，可以利用GATE仿真软件来采集所述采集数据。在该实例中，以（仿真）标准Derenzo假体作为成像目标，并且为获取训练数据，模拟了成像目标连续平移运动，具体地是假体从左向右开始沿着x轴方向以10mm/s的速度做平移运动，针对训练数据的采集数据时长T（作为举例而非限制地，例如T=10s）。
在该仿真中，数据是在包含若干个（作为举例而非限制地，例如4个）平板的（仿真）平板PET扫描仪上获得的，每个平板由阵列式的（例如1×5）的LYSO晶体模块组成，每个LYSO晶体模块由（例如6×16）的LYSO晶体阵列组成。每个LYSO晶体的尺寸可根据具体需要选择，例如为20 × 1.4 × 1.4 mm3。反射材料的厚度可根据具体需要选择，例如约为0.1毫米。考虑到反射材料的厚度，在该实例中实际晶体尺寸为20 × 1.5 × 1.5 mm3。
为此，按照预定时间间隔t（作为举例而非限制地，例如t=0.1s）将整体的数据平均分为多个（例如100个）数据帧，由此每个数据帧的位移量例如为0.75mm。在所示的实施例中，该位移量可以以像素（例如1个像素）表示。相应地，利用假体在各个数据帧开始时刻的位置计算整个数据帧相对于参考数据帧（对应于基准帧）的相对运动位置信息。在此，采集数据根据伽马光子在晶体中的沉积位置校正了视差效应，并剔除了随机事件和散射事件。
由此，所有的数据帧都独立进行直接反投影处理，每个反投影图像都通过帧间运动校正进行处理。对于训练数据，依次将第1、3、5...帧定义为基准帧（也可以称为相应训练图像组的初始帧），并通过帧间运动校正将相应的后续多帧（M=20）校正到与各组的初始帧的空间位置一致。由此，可以获得N=15组校正图像，每组有21个（M+1）训练图像。
例如，对于第1组训练图像，第1帧为基准帧，经校正的第2至21帧为后续的M帧校正帧；对于第2组训练图像，第3帧为基准帧，经校正的第4至23帧为后续的M帧校正帧；对于最后一组（第15组）训练图像，第29帧为基准帧，经校正的第30至49帧为后续的M帧校正帧。
在该实例中，还生成验证集，即验证图像。对于验证图像，仅设置一组，第50帧被认为是基准帧（初始帧），其随后的50帧被校正到与该第50帧的空间位置一致。
在该实例中，还生成测试数据。对于测试数据，即测试图像，仅设置一组，第80帧被认为是基准帧（初始帧），全部100帧均被被校正到与第80帧的空间位置一致。
另外，针对该同一假体，将其设置为静止，并位于前述第1帧所处的位置（x=0）。此时，仅采集1帧静态初始帧，然后由无运动模型获得的真事件数据，并基于空间位置校正，然后根据有序子集期望最大值方法（OSEM）得到共15个标签图像，每个标签图像对应于一组校验图像。类似地，可以对应生成用于1组验证图像的1个标签图像。
在该实例中，图像重建网络模型基于如图7所示的U-Net架构的神经网络，使用PyTorch 深度学习库1.8 版，并使用均方误差（Mean Square Error，MSE）用作损失函数，Adam作为优化器。
尽管在所示的实例中，采集数据为仿真数据，但可以想到本发明涵盖从实体的目标对象、如实体的假体探测的采集数据。
此外，本申请实施例还提供图像重建方法。
图5示出了根据本申请实施例的一种图像重建方法。如图5所示，该图像重建方法可包括下述步骤S510、S520和S530。
可选地，在图5所示，在步骤S510之前，该图像重建方法还可包括步骤S500。
S500：对从目标对象连续探测得到的探测数据按照预定时间间隔分割为所述多个待重建图像数据帧。
在本申请实施例中的图像重建方法例如可以是利用辐射探测设备、如医疗成像设备针对目标物体进行探测来获得探测数据。该探测数据的获取不同于仿真数据的采集，可以参考训练方法实施例中针对实体目标对象的探测数据获取的特征，在此不赘述。
S510：对多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像。
在本申请实施例中，所述反投影处理为非滤波的直接反投影。借助于该直接反投影，能够避免在图像重建过程中引入大量的滤波计算，由此有利于实现快速的图像重建。
S520：对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像。
如图6所示的实施例中，所述步骤S520可具体包括：
S521：在所述多帧第一中间图像中确定基准帧；
S522：确定所述多帧第一中间图像中的其余帧相对于所述基准帧的相对位置信息；
S523：基于所述相对位置信息，对所述其余帧进行空间位置校正以得到与基准帧的空间位置一致的校正帧，将所述校正帧和所述基准帧作为所述多帧第二中间图像。
S530：利用图像重建网络模型对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。由此，所获得的最终图像例如可以用于后续的应用，如诊断等。
在本申请实施例中，图像重建方法中的数据帧分割、反投影、帧间运动校正可以参考前述训练方法的相关特征，并可以明确结合到此处以得到新的实施例，在此不再赘述。
在本申请实施例中，在图像重建方法中的相对位置信息可以基于多种手段确定，例如基于体内标记等。
在本申请实施例中，该图像重建方法中的图像重建网络模型优选是由本申请任一实施例的训练方法训练而成。
可选地，该图像重建方法可以包括训练图像重建网络模型的步骤。该训练步骤可以根据本申请其他实施例描述的训练方法实现。
本发明实施例的重建方法能很好去除反投影及图像域运动所带来的伪影和噪声，重建图像质量好，同时计算时间快。一旦网络训练完成，在不考虑数据采集时间的情况下，可以实时动态成像，这对于运动物体成像以及介入式的PET有很好的应用前景。
在一个实验表明，对于运动信息精确获取，或运动信息存在高斯噪声（μ=0，σ=1）干扰下，通过本发明实施例的方法均能获取较高的重建图像，SSIM分别为0.9640和0.9513，位置信息及成像质量恢复的很好。此外，当实验中对环形系统下方形假体进行运动校正时，该方法依旧能较好的恢复位置信息。说明本申请设计的网络具有较好的鲁棒性。
本申请实施例还涉及能够实施本申请实施例方法的计算机设备。
在一些实施例中，提供了一种计算机设备，其可包括处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例的训练方法。
在一些实施例中，提供了一种计算机设备，其可包括处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行本申请任一实施例的图像重建方法。
图8示出了一种可以实施本申请实施例的方法的示例性计算机设备800的示意图，在一些实施例中可以包括比图示更多或更少的计算机设备。在一些实施例中，可以利用单个或多个计算机设备实施。在一些实施例中，可以利用云端或分布式的计算机设备实施。
如图8所示，计算机设备800包括处理器801，其可以根据存储在只读存储器（ROM）802中的程序和/或数据或者从存储部分808加载到随机访问存储器（RAM）803中的程序和/或数据而执行各种适当的操作和处理。处理器801可以为单核或多核的处理器，也可以包含多个处理器。在一些实施例中，处理器801可以包括通用的主处理器（如CPU）以及一个或多个特殊的协处理器，例如图形处理器（GPU）、神经网络处理器（NPU）、数字信号处理器（DSP）或其他通用或专用集成电路等。在RAM803中，还存储有计算机设备800操作所需的各种程序和数据。CPU801、ROM802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的模型生成方法、识别方法的步骤或功能。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如显示器以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
图8仅示意性示出示意性的计算机设备，但根据本申请实施例的计算机设备可以包括比图8所示计算机设备更多或更少的组件或者具有与图8所示实施例设备相同、部分相同或不相同的架构。
在优选的实施例中，本申请实施例的训练方法或装置可以部分或全部在云端计算机设备的机器学习平台中实现，或者部分或全部地在自搭建计算机设备的机器学习装置、如基于GPU阵列、FPGA阵列或ASIC阵列的机器学习装置中实现。
在一些实施例中，还可以将所述计算机设备与各种图像处理设备、如医疗成像设备或其部件相结合，以得到具有本发明优点的图像处理系统。
如图9示出了一种图像处理系统，该图像处理系统可包括探测设备910和本申请实施例所述的计算机设备920。该计算机设备920优选用于实施根据本申请实施例的图像重建方法。
此外，在本发明实施例中，计算机设备可同时用于训练，并在训练后可用于重建。并且在本申请实施例中，计算机设备可以根据不同情况连接不同的探测设备。可见，本发明实施例的方案具有较高的泛化性。
在本申请实施例中，探测设备被配置为通过对目标对象进行辐射探测而获得探测数据并且将所获得的所述探测数据提供给所述计算机设备。
在本申请实施例中，探测设备可以涵盖多种医疗成像设备及其探测仪器。例如，探测设备可以包括CT扫描仪、PET探测器或PET/CT设备。
在本申请实施例中，还提供一种图像重建网络模型的训练装置。图10示出了示例性实施例的图像重建网络模型的训练装置的示意图，该训练装置可包括反投影单元1010、生成单元1020、获取单元1030和训练单元1040。该反投影单元1010可被配置为对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像。该生成单元1020可被配置为以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像，其中N≥1。该获取单元1030可被配置为获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像由从静止的目标对象采集得到的静态数据帧处理而得。该训练单元1040可被配置为基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
在本申请实施例中，还提供一种图像重建装置。图11示出了示例性实施例的图像重建装置的示意图，该图像重建装置可包括反投影单元1110、帧间运动校正单元1120和图像重建网络模型1130。该反投影单元1110可被配置为对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像。该帧间运动校正单元1120可被配置为对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像。该图像重建网络模型1130可被配置为对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。
在本申请实施例中所述的装置可以结合本申请实施例中所述的方法特征，反之亦然。
尽管未示出，在一些实施例中还提供一种计算机可读存储介质，存储有计算机程序，计算机程序配置成被运行时执行任一本申请实施例的方法。该计算机程序包含组成根据本申请实施例的装置的各个程序模块/单元，各个程序模块/单元构成的计算机程序被执行时能够实现与上述实施例中描述的方法中的各个步骤所对应的功能。该计算机程序还可在如本申请实施例所述的计算机设备上运行。
在本申请的实施例的存储介质包括非易失性和/或易失性的可以由任何方法或技术来实现信息存储的物品。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域技术人员应明白，本说明书的实施例可以以方法、系统或计算机程序产品等多种形式实施。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。
除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本文中，针对多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本申请的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
已参考上述实施例具体示出并描述了本申请的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。
Claims (26)
1.一种图像重建网络模型的训练方法，其特征在于，包括：
对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像；
以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以获得所述反投影图像与所述基准帧之间的相对运动位置信息，基于所述相对运动位置信息对所述反投影图像进行运动位置校正，以生成N组训练图像，其中N≥1；
获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像通过从静止的目标对象采集得到的静态数据帧处理得到；
基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
2.根据权利要求1所述的训练方法，其特征在于，还包括：
以多帧反投影图像中的至少一帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成至少一组验证图像，其中所述至少一帧反投影图像不同于所述N帧反投影图像；
获取与所述至少一组验证图像相对应的至少一个标签图像；
基于所述至少一组验证图像和至少一个标签图像，验证训练后的图像重建网络模型。
3.根据权利要求1或2所述的训练方法，其特征在于，所述以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以生成N组训练图像，包括：
以预定的间隔在多帧反投影图像中确定N帧基准帧，N≥2；
确定每帧基准帧之后的连续M帧反投影图像相对于对应基准帧之间的相对运动位置信息，其中M≥1；
基于所述相对运动位置信息，对所述M帧反投影图像进行运动位置校正以得到与所述对应基准帧的空间位置一致的M帧校正帧，将所述M帧校正帧和所述对应基准帧作为相应组的训练图像。
4.根据权利要求1或2所述的训练方法，其特征在于，所述获取与所述N组训练图像相对应的N个标签图像，包括：
利用迭代图像重建算法处理获取的单个静态数据帧得到单个标签图像；
确定所述单个静态数据帧相对于N帧基准帧的相对位置信息；
基于所述相对位置信息，对所述单个标签图像进行位置校正以得到与所述N帧基准帧的空间位置一致的N个静态校正图像，作为所述N个标签图像。
5.根据权利要求4所述的训练方法，其特征在于，所述获取与所述N组训练图像相对应的N个标签图像，还包括：
扫描位于任一基准帧对应的空间位置中的所述静止的目标对象，以获取单个静态数据帧。
6.根据权利要求4所述的训练方法，其特征在于，所述迭代图像重建算法为有序子集期望最大值法。
7.根据权利要求1或2所述的训练方法，其特征在于，所述获取与所述N组训练图像相对应的N个标签图像，包括：
利用迭代图像重建算法处理获取的N个静态数据帧，得到所述N个标签图像，其中所述N个静态数据帧从分别位于N帧基准帧对应的空间位置中的所述静止的目标对象采集而得。
8.根据权利要求7所述的训练方法，其特征在于，所述获取与所述N组训练图像相对应的N个标签图像，还包括：
基于所述目标对象的运动信息，确定所述N帧基准帧的位置信息；
基于所述位置信息，将所述目标对象分别静止放置在所述N帧基准帧对应的N个空间位置中，并分别扫描所述静止的目标对象，以获取N个静态数据帧。
9.根据权利要求1或2所述的训练方法，其特征在于，所述图像重建网络模型为U形网络，所述U形网络包括多个依次连接的编码器模块和多个依次连接的解码器模块，其中相邻的编码器模块之间通过最大池化连接，相邻的解码器模块之间通过双线性插值连接，每个编码器模块还跳跃连接至对应的解码器模块。
10.根据权利要求9所述的训练方法，其特征在于，每个编码器模块包括卷积层、批量归一化层和ReLU层；每个解码器模块包括卷积层、批量归一化层和ReLU层。
11.根据权利要求1或2所述的训练方法，其特征在于，基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型，包括：
将所述训练图像输入所述图像重建网络模型，输出重建图像；
构建所述重建图像与对应的标签图像之间的损失函数，基于所构建的损失函数更新所述图像重建网络模型中网络参数以确定所述网络参数的最终值。
12.根据权利要求1或2所述的训练方法，其特征在于，在反投影处理之前，所述训练方法还包括：
对从运动的目标对象连续采集得到的采集数据按照预定时间间隔分割为所述多个采集数据帧。
13.根据权利要求1或2所述的训练方法，其特征在于，所述反投影处理为非滤波的直接反投影。
14.一种图像重建方法，其特征在于，包括：
对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像；
对所述多帧第一中间图像进行帧间运动校正处理以获得所述第一中间图像中基准帧与其余帧的相对运动位置信息，基于所述相对运动位置信息对所述第一中间图像进行运动位置校正，得到多帧第二中间图像；
利用图像重建网络模型对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。
15.根据权利要求14所述的图像重建方法，其特征在于，所述图像重建网络模型由根据权利要求1至13中任一项所述的训练方法训练而成。
16.根据权利要求14或15所述的图像重建方法，其特征在于，所述对所述多帧第一中间图像进行帧间运动校正处理，得到多帧第二中间图像，包括：
在所述多帧第一中间图像中确定基准帧；
确定所述多帧第一中间图像中的其余帧相对于所述基准帧的相对位置信息；
基于所述相对位置信息，对所述其余帧进行空间位置校正以得到与基准帧的空间位置一致的校正帧，将所述校正帧和所述基准帧作为所述多帧第二中间图像。
17.根据权利要求14或15所述的图像重建方法，其特征在于，在反投影处理之前，所述图像重建方法还包括：
对从目标对象连续探测得到的探测数据按照预定时间间隔分割为所述多个待重建图像数据帧。
18.根据权利要求14或15所述的图像重建方法，其特征在于，所述反投影处理为非滤波的直接反投影。
19.一种图像重建网络模型的训练装置，其特征在于，包括：
反投影单元，被配置为对从运动的目标对象采集得到的多个采集数据帧进行反投影处理，得到多帧反投影图像；
生成单元，被配置为以多帧反投影图像中的N帧反投影图像为基准帧，对所述多帧反投影图像中的至少一部分进行帧间运动校正处理以获得所述反投影图像与所述基准帧之间的相对运动位置信息，基于所述相对运动位置信息对所述反投影图像进行运动位置校正，以生成N组训练图像，其中N≥1；
获取单元，被配置为获取与所述N组训练图像相对应的N个标签图像，其中所述N个标签图像由从静止的目标对象采集得到的静态数据帧处理而得；
训练单元，被配置为基于所述N组训练图像和所述N个标签图像，训练用于帧内运动校正的图像重建网络模型。
20.根据权利要求19所述的训练装置，其特征在于，所述N个标签图像由从静止的目标对象采集得到的静态数据帧经迭代图像重建算法处理而得。
21.一种图像重建装置，其特征在于，包括：
反投影单元，被配置为对从目标对象探测得到的多个待重建图像数据帧进行反投影处理，得到多帧第一中间图像；
帧间运动校正单元，被配置为对所述多帧第一中间图像进行帧间运动校正处理以获得所述第一中间图像中基准帧与其余帧之间的相对运动位置信息，基于所述相对运动位置信息对所述第一中间图像进行运动位置校正，得到多帧第二中间图像；
图像重建网络模型，被配置为对所述多帧第二中间图像进行帧内运动校正处理，得到最终的重建图像。
22.一种计算机设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求1至13中任一项所述的训练方法。
23.一种计算机设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求14至18中任一项所述的图像重建方法。
24.一种图像处理系统，其特征在于，包括探测设备和权利要求23所述的计算机设备，其中，所述探测设备被配置为通过对目标对象进行辐射探测而获得探测数据并且将所获得的所述探测数据提供给所述计算机设备。
25.根据权利要求24所述的图像处理系统，其特征在于，所述探测设备包括CT扫描仪、PET探测器或PET/CT设备。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时执行权利要求1至18中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210057274.9A CN114092589B (zh) | 2022-01-19 | 2022-01-19 | 图像重建方法及训练方法、装置、设备及存储介质 |
| PCT/CN2022/132849 WO2023138197A1 (zh) | 2022-01-19 | 2022-11-18 | 图像重建方法及训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210057274.9A CN114092589B (zh) | 2022-01-19 | 2022-01-19 | 图像重建方法及训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114092589A CN114092589A (zh) | 2022-02-25 |
| CN114092589B true CN114092589B (zh) | 2022-05-27 |
Family
ID=80308822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210057274.9A Active CN114092589B (zh) | 2022-01-19 | 2022-01-19 | 图像重建方法及训练方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114092589B (zh) |
| WO (1) | WO2023138197A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092589B (zh) * | 2022-01-19 | 2022-05-27 | 苏州瑞派宁科技有限公司 | 图像重建方法及训练方法、装置、设备及存储介质 |
| CN115079073B (zh) * | 2022-03-10 | 2023-04-11 | 杭州永川科技有限公司 | 频率差分准静态磁感应成像方法、系统、设备以及介质 |
| CN114913098A (zh) * | 2022-06-28 | 2022-08-16 | 苏州科达科技股份有限公司 | 图像处理超参数优化方法、系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378982A (zh) * | 2019-07-23 | 2019-10-25 | 上海联影医疗科技有限公司 | 重建图像处理方法、装置、设备及存储介质 |
| CN111223066A (zh) * | 2020-01-17 | 2020-06-02 | 上海联影医疗科技有限公司 | 运动伪影校正方法、装置、计算机设备和可读存储介质 |
| CN111627082A (zh) * | 2020-05-21 | 2020-09-04 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1959397B1 (en) * | 2007-02-19 | 2019-08-07 | Wisconsin Alumni Research Foundation | Iterative HYPR medical image reconstruction |
| US11222447B2 (en) * | 2020-05-06 | 2022-01-11 | Siemens Medical Solutions Usa, Inc. | Inter-frame motion correction in whole-body direct parametric image reconstruction |
| CN114092589B (zh) * | 2022-01-19 | 2022-05-27 | 苏州瑞派宁科技有限公司 | 图像重建方法及训练方法、装置、设备及存储介质 |
-
2022
- 2022-01-19 CN CN202210057274.9A patent/CN114092589B/zh active Active
- 2022-11-18 WO PCT/CN2022/132849 patent/WO2023138197A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378982A (zh) * | 2019-07-23 | 2019-10-25 | 上海联影医疗科技有限公司 | 重建图像处理方法、装置、设备及存储介质 |
| CN111223066A (zh) * | 2020-01-17 | 2020-06-02 | 上海联影医疗科技有限公司 | 运动伪影校正方法、装置、计算机设备和可读存储介质 |
| CN111627082A (zh) * | 2020-05-21 | 2020-09-04 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114092589A (zh) | 2022-02-25 |
| WO2023138197A1 (zh) | 2023-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gong et al. | PET image reconstruction using deep image prior | |
| CN114092589B (zh) | 图像重建方法及训练方法、装置、设备及存储介质 | |
| Wang et al. | PET image reconstruction using kernel method | |
| US9990741B2 (en) | Motion correction in a projection domain in time of flight positron emission tomography | |
| Reader et al. | 4D image reconstruction for emission tomography | |
| US9155514B2 (en) | Reconstruction with partially known attenuation information in time of flight positron emission tomography | |
| JP4855931B2 (ja) | 動き補償再構成技法 | |
| Isola et al. | Fully automatic nonrigid registration‐based local motion estimation for motion‐corrected iterative cardiac CT reconstruction | |
| Burger et al. | A variational reconstruction method for undersampled dynamic x-ray tomography based on physical motion models | |
| Zhou et al. | Limited view tomographic reconstruction using a cascaded residual dense spatial-channel attention network with projection data fidelity layer | |
| Reed et al. | Dynamic ct reconstruction from limited views with implicit neural representations and parametric motion fields | |
| US20230127939A1 (en) | Multi-task learning based regions-of-interest enhancement in pet image reconstruction | |
| AU2019271915A1 (en) | Method and system for motion correction in CT imaging | |
| CN104657950A (zh) | 一种基于Poisson TV的动态PET图像重建方法 | |
| Hashimoto et al. | Deep learning-based PET image denoising and reconstruction: a review | |
| CN109712213B (zh) | Pet图像重建方法、系统、可读存储介质和设备 | |
| Corda-D’Incan et al. | Memory-efficient training for fully unrolled deep learned PET image reconstruction with iteration-dependent targets | |
| US11164344B2 (en) | PET image reconstruction using TOF data and neural network | |
| Karakatsanis et al. | Generalized 3D and 4D motion compensated whole-body PET image reconstruction employing nested EM deconvolution | |
| CN114862980A (zh) | 散射校正方法、pet成像方法、装置、设备及存储介质 | |
| CN115423892A (zh) | 一种基于最大期望网络的无衰减校正pet重建方法 | |
| CN112365479B (zh) | Pet参数图像处理方法、装置、计算机设备及存储介质 | |
| Xie et al. | 3D few-view CT image reconstruction with deep learning | |
| Kortelainen et al. | Effect of data conserving respiratory motion compensation on left ventricular functional parameters assessed in gated myocardial perfusion SPECT | |
| US11663758B2 (en) | Systems and methods for motion estimation in PET imaging using AI image reconstructions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |