CN116503506A - 一种图像重建方法、系统、装置及存储介质 - Google Patents

一种图像重建方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN116503506A
CN116503506A CN202310745637.2A CN202310745637A CN116503506A CN 116503506 A CN116503506 A CN 116503506A CN 202310745637 A CN202310745637 A CN 202310745637A CN 116503506 A CN116503506 A CN 116503506A
Authority
CN
China
Prior art keywords
image
network
back projection
convolution
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310745637.2A
Other languages
English (en)
Other versions
CN116503506B (zh
Inventor
陈宏文
张新明
江金达
李翰威
齐宏亮
万伟权
胡德斌
黄衍超
陈小慧
夏景涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Southern Hospital Southern Medical University
Original Assignee
Southern Medical University
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University, Southern Hospital Southern Medical University filed Critical Southern Medical University
Priority to CN202310745637.2A priority Critical patent/CN116503506B/zh
Publication of CN116503506A publication Critical patent/CN116503506A/zh
Application granted granted Critical
Publication of CN116503506B publication Critical patent/CN116503506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种图像重建方法、系统、装置及存储介质，本发明实施例首先通过图像变换网络，对所述待重建图像进行图像变换处理，实现图像的去噪操作和滤波操作实现图像与剂量的映射转换，为图像重建提供良好的图像数据基础；进而通过反投影处理，得到目标反投影张量，以保留更多特征，为后续处理提供更多有用的信息；进一步通过分组卷积减少卷积参数数量，加快卷积和图像重建速度；最终通过残差密集网络的全局特征提取避免由于网络深度增加所引起的梯度消失或者爆炸的影响，实现优异的重建效果，可广泛应用于图像处理技术领域。

Description

一种图像重建方法、系统、装置及存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种图像重建方法、系统、装置及存储介质。
背景技术
PET（Positron Emission Tomography，正电子发射断层扫描）作为目前唯一在活体显示生物分子代谢水平的影像技术，其具有特异性高、全身显像和安全性高等特点，被广泛应用于多种疾病的诊断与鉴别中。PET/CT融合了PET与CT图像，“PET犹如大海中的航标，CT犹如航行图，从而能准确，迅速找到目标。”两组图像的融合提高了影像质量和诊断准确性，使得医生在了解生物代谢信息的同时获得精准解剖定位，达到早期发现病灶和诊断疾病的目的，在临床的手术和放射治疗定位中发挥着重要的作用。
随着影像技术的发展，PET/CT辐射剂量受到了越来越多的关注，但是低剂量模式下传统重建方法噪声水平较高，图像质量不理想。
发明内容
有鉴于此，本发明实施例提供一种图像重建方法、系统、装置及存储介质，能够有效提高图像重建的质量。
一方面，本发明的实施例提供了一种图像重建方法，包括：
获取待重建图像；
利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像；其中，图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；
对第一图像进行反投影处理，得到目标反投影张量；
利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像；
利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像。
可选地，利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像，包括：
利用图像变换网络，对待重建图像依次进行多层下采样和多层上采样；其中，多层下采样和多层上采样在同一维度的采样层进行特征连接；
根据多层下采样、特征连接和多层上采样，完成待重建图像的去噪操作和滤波操作实现图像与剂量的映射转换，得到第一图像。
可选地，对第一图像进行反投影处理，得到目标反投影张量，包括：
使用固定卷积操作，对第一图像进行逐个视角的反投影处理，得到逐视角反投影张量；对逐视角反投影张量沿视角方向提取向量；
基于像素值大小，对提取的向量进行排序，并放回反投影张量，得到目标反投影张量。
可选地，利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像，包括：
利用分组卷积网络，基于预设张量数将目标反投影张量进行分组，对分组后各组张量进行分组卷积；
将分组卷积的结果进行全连接处理，得到第二图像。
可选地，残差密集网络包括浅层特征提取网络和多层残差密集块，利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像，包括：
通过浅层特征提取网络，对第二图像进行浅层特征提取，得到浅层特征；
根据浅层特征，通过多层残差密集块进行全局特征融合，并结合第二图像进行全局残差学习；
基于全局特征融合和全局残差学习，完成全局特征提取处理，得到重建图像。
可选地，方法还包括：
获取原始数据，根据原始数据对图像变换网络、分组卷积网络和残差密集网络进行网络训练；其中，原始数据包括仿真模拟数据和临床真实数据。
可选地，根据原始数据对图像变换网络、分组卷积网络和残差密集网络进行网络训练，包括：
基于仿真模拟数据，对图像变换网络与分组卷积网络和残差密集网络，进行分模块训练；
对完成分模块训练的图像变换网络与分组卷积网络和残差密集网络，进行整合串联；基于临床真实数据，对整合串联后的网络进行整体训练，获得训练完成的图像变换网络、分组卷积网络和残差密集网络。
另一方面，本发明的实施例提供了一种图像重建系统，包括：
第一模块，用于获取待重建图像；
第二模块，用于利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像；其中，图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；
第三模块，用于对第一图像进行反投影处理，得到目标反投影张量；
第四模块，用于利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像；
第五模块，用于利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像。
另一方面，本发明的实施例提供了一种图像重建装置，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先获取待重建图像；利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像；其中，图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；对第一图像进行反投影处理，得到目标反投影张量；利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像；利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像。本发明实施例首先通过图像变换网络，对待重建图像进行图像变换处理，实现图像的去噪操作和滤波操作实现图像与剂量的映射转换，为图像重建提供良好的图像数据基础；进而通过反投影处理，得到目标反投影张量，以保留更多特征，为后续处理提供更多有用的信息；进一步通过分组卷积减少卷积参数数量，加快卷积和图像重建速度；最终通过残差密集网络的全局特征提取避免由于网络深度增加所引起的梯度消失或者爆炸的影响，实现优异的重建效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像重建方法的流程示意图；
图2为本发明实施例提供的一种图像重建方法的整体框架流程示意图；
图3为本发明实施例提供的U-Net网络的结构示意图；
图4为本发明实施例提供的反投影处理的架构示意图；
图5为本发明实施例提供的分组卷积网络的结构示意图；
图6为本发明实施例提供的残差密集网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，如图1和图2所示，本发明的实施例提供了一种图像重建方法，可以用于PET/CT图像重建的场景，方法包括：
S100、获取待重建图像；
具体地，针对PET/CT图像的获取，可以通过低剂量模式下获取低剂量图像（通常伴随噪声），进而进行对应函数处理，得到的低剂量正弦图图像（对应图2的有噪低剂量正弦图）作为待重建图像。
S200、利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像；
需要说明的是，图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；一些实施例中，包括：利用图像变换网络，对待重建图像依次进行多层下采样和多层上采样；其中，多层下采样和多层上采样在同一维度的采样层进行特征连接；根据多层下采样、特征连接和多层上采样，完成待重建图像的去噪操作和滤波操作实现图像与剂量的映射转换，得到第一图像。图像变换网络包括编码器和解码器。映射转换具体为图像由低剂量到高剂量的映射转换。
具体地，可以选用U-Net网络作为图像变换网络，如图3所示，U-Net由编码器和解码器组成，编码器使用普通卷积层和下采样层将特征图尺寸缩小，使其成为更低维度的表征，目的是获得尽可能多的深层特征，从而提取到空间信息和全局信息。解码器使用普通卷积和上采样操作逐步恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺寸输入输出。U-Net网络能够获取图像深层特征，自适应学习图像的去噪以及滤波操作，实现低剂量到正常剂量的映射转换。最终得到无噪正常剂量滤波正弦图（即第一图像）。
S300、对第一图像进行反投影处理，得到目标反投影张量；
需要说明的是，一些实施例中，包括：使用固定卷积操作，对第一图像进行逐个视角的反投影处理，得到逐视角反投影张量；对逐视角反投影张量沿视角方向提取向量；基于像素值大小，对提取的向量进行排序，并放回反投影张量，得到目标反投影张量。
具体地，如图4所示，使用固定卷积操作，即通过系统几何参数计算得到固定的卷积核（投影矩阵，Projection Matrix），卷积核即图像处理过程中对输入图像的像素加权函数，卷积核能够实现对真实成像几何结构和物理效应等因素进行模型化。通过卷积实现反投影操作，进行逐个视角的反投影，得到逐视角反投影张量（view-by-viewbackprojections tensor，简称VVBP张量），通过沿着视角方向提取向量；一些具体实施例中，对逐视角反投影张量沿视角方向（slice（z））提取向量，例如反投影张量大小为152*152*30，沿视角方向提取可获得152*152个长度为30的向量；随后将所提取向量根据其像素值大小进行重新排序，之后将向量放回到原张量图像，经过排序后的图像/张量（即目标反投影张量）较传统反投影图像/张量，其包含了更多的无损特征信息，而且不同切片间具有结构相关性，条状伪影和噪声较为集中的分布于所有张量开始和结束的连续层，为后续的处理提供更多有用的信息。
S400、利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像；
需要说明的是，一些实施例中，包括：利用分组卷积网络，基于预设张量数将目标反投影张量进行分组，对分组后各组张量进行分组卷积；将分组卷积的结果进行全连接处理，得到第二图像。分组卷积网络可以采用Group convolution，具体包括分组卷积层和全连接层。
具体地，如图5所示，利用排序后的VVBP张量具有的结构相似性，以及伪影噪声集中分布于某些连续的视角切片中，将获得的VVBP张量（即目标反投影张量，对应图5中的排序后张量）进行分组，分组后实行分组卷积（Group convolution），进而通过全连接层的全连接处理得到输出图像（即第二图像）。这种卷积方式一方面能够区别对待某些具有伪影噪声的组别，另一方面可以减少卷积参数数量，加快卷积和图像重建速度。
S500、利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像；
需要说明的是，残差密集网络包括浅层特征提取网络和多层残差密集块；一些实施例中，包括：通过浅层特征提取网络，对第二图像进行浅层特征提取，得到浅层特征；根据浅层特征，通过多层残差密集块进行全局特征融合，并结合第二图像进行全局残差学习；基于全局特征融合和全局残差学习，完成全局特征提取处理，得到重建图像。其中，多层残差密集块中每个残差密集块的输入数据包括上一残差密集块的输出，残差密集块通过密集连接的卷积层进行局部特征提取，基于所有残差密集块提取的局部特征的融合实现全局特征融合。
具体地，如图6所示，输入图像即第二图像，输出图像即重建图像。残差密集网络（Resudual dense network，RDN）主要由浅层特征提取网络、多层残差密集块(Residualdense block，RDB，下标1~n用于层标识)组成。两个卷积（Convolution，Conv）层组成浅层特征提取网络，用于提取浅层特征，输入到RDB后通过密集连接的卷积层提取丰富的局部特征，后经过密集特征融合（全局特征融合和全局残差学习）提取全局特征，获得最终图像。其中，各残差密集块提取得到的局部特征，最终在Concat和1×1Conv完成全局特征融合。残差密集块具有非常强大的表达学习能力，网络参数较密集网络更少，利用残差网络能够有效避免由于网络深度增加所引起的梯度消失或者爆炸的影响，可以更好的平衡模型的规模大小与性能，使网络训练更加稳定，获得更好的重建效果。
需要说明的是，一些实施例中，方法还包括：获取原始数据，根据原始数据对图像变换网络、分组卷积网络和残差密集网络进行网络训练；其中，原始数据包括仿真模拟数据和临床真实数据。
其中，根据原始数据对图像变换网络、分组卷积网络和残差密集网络进行网络训练，包括：基于仿真模拟数据，对图像变换网络与分组卷积网络和残差密集网络，进行分模块训练；对完成分模块训练的图像变换网络与分组卷积网络和残差密集网络，进行整合串联；基于临床真实数据，对整合串联后的网络进行整体训练，获得训练完成的图像变换网络、分组卷积网络和残差密集网络。进而通过训练完成的网络进行图像重建。其中，整合串联的目的在于降低训练难度与时间，进一步可以通过迁移学习的方式对整合串联后的网络进行整体训练，以增强网络重建能力。
一些具体实施例中，网络训练的具体步骤如下：
首先获取数据并进行数据预处理：
仿真模拟数据：使用4D 扩展心脏躯干(XCAT)拟人化数字体模生成的300个体模（人体数字虚拟模型）数据集。对于每个体模，在单个呼吸周期内创建两帧，每个帧具有(108x152x152)像素，共计64800张PET图像切片。
临床真实数据：使用PEC/CT中心真实扫描数据（经过脱敏处理，病人信息已隐藏），共计59例全身PET/CT扫描图像，每个病例673张图像，像素值大小为192x192，数据集共包含39707张PET/CT切片图像。
第一组仿真模拟数据为网络训练图像数据，用于验证方法可行性以及网络重建能力，第二组临床真实数据用于优化参数，提高网络泛化能力。首先，需要对两组图像根据光子数量进行筛选，去除对网络训练贡献小的图像，经过数据增广，包括旋转、平移和翻转等操作扩充图像数据集，获得原始图像（数据集一），此项操作能够增加训练样本，增加样本多样性有利于网络训练，增强网络重建的泛化能力。对原始图像分别进行两次投影，根据投影的光子数量多少，区分并获得相对应的低剂量正弦图和正常剂量正弦图两组图像数据，在第一组低剂量正弦图上模拟添加随机泊松噪声，模拟真实噪声数据，获得具有一定量噪声水平的正弦图图像（数据集二），在第二组正常剂量正弦图进行常规方法的滤波操作，获得滤波后正弦图图像（数据集三），后经过固定卷积核方式进行反投影，根据视角方向（slice（z））像素值大小进行重新排序后得到逐视角反投影张量（数据集四），所获得的数据集能够做为网络训练的输入和目标图像。
各网络训练过程中的输入与目标输出如下表1所示：
表1
网络训练过程总体可分为两个阶段，第一阶段将使用模拟仿真图像数据进行网络训练，以验证方法的可行性，训练首先将分模块单独进行，当数据结果（包括信噪比、结构相似指数等）收敛后保存相应网络参数，之后将整合串联各模块，使用分模块训练后的参数继续训练，实现正弦图到图像的端到端输出，迁移学习的操作流程提高了网络收敛速度，减少训练时间消耗。第二阶段使用真实临床 PET/CT 图像数据对网络进行训练，真实临床图像数据较模拟数据更具有多样性，使用临床图像以验证网络的真实图像重建能力，并提高网络泛化能力。
其中，一些具体实施例中，还包括对重建图像进行定量评价的步骤，包括：
结构相似指数（SSIM)：一种衡量两幅图像相似度的指标，分别在两幅图像的亮度、对比度和结构三方面进行比较，用于更多地考虑图像结构的视觉感知图像质量。其中 0 ≤SSIM ≤ 1，SSIM值越高越好。
峰值信噪比（PSNR)：，衡量图像失真或者噪声水平的客观标准，MSE是原图像与处理图像之间均方误差，它是基于对应像素点误差的图像客观评价指标，重建图像与真实图像越接近，MSE越小，PSNR越大。
归一化均方根误差（nRMSE)：均方根误差，将其值归一化到（0，1）范围内得到nRMSE，基于像素误差的图像质量评价指标，nRMSE值越小，表示重建图像越好。
综上所述，本发明实施例首先使输入有噪声的低剂量正弦图图像，经过U-Net网络，获得无噪声的正常剂量且实现滤波的图像，后经过固定卷积核方式进行反投影，获得的反投影张量沿着视角方向（slice（z））提取向量，每个向量根据像素值大小进行重新排序后放回反投影张量，得到逐视角反投影张量，后经过分组卷积，得到图像域重建图像，最后经过残差密集网络对图像进行进一步恢复处理，输出最终的重建图像。本发明实施例解决如下问题：
（1）原始投影图像预处理，原始数据受噪声影响较大，所使用的U-Net网络能够挖掘深层次图像特征，对噪声进行处理，实现由低剂量到正常剂量的映射和滤波操作，得到噪声水平较低剂量正常的正弦图。
（2）固定卷积反投影实现图像的域变换，由投影域得到图像域图像，通过沿视角方向提取VVBP张量的所有向量，根据其像素值独立地重新排序每个向量，之后将向量放回到原张量图像，经过排序后的张量包含了与对象相似的结构，不同层张量/图像之间也具有结构相关性，同时伪影被分类到所有张量的开始和结束的部分连续切片中。
（3）由于得到的张量噪声和伪影较为集中分布于所有张量开始和结束的连续层，将张量进行分组卷积，能够实现有区分性的处理，更好地消除噪声伪影等影响，且分组卷积较传统卷积操作减少了参数数量，能够加快重建速度。
（4）使用残差密集网络进行图像恢复，残差密集块获取局部特征，全局特征融合自适应学习全局特征，恢复图像细节信息，重建图像在定性以及定量结果都能够获得满意的结果。
其中，本发明实施例至少包括如下有益效果：
（1）模块化：本发明实施例将传统重建步骤进行拆分，形成不同模块，各个模块使用神经网络实现相应功能进行替代，分模块进行训练后串联整合能够有效加快网络训练速度，模块化同时具有可移植性，可以进行模块替换实现网络更新，模块进行单独训练，更换模块无需所有模块重新训练，增加效率。
（2）可解释性强：相较于其他基于深度学习的端到端重建算法，本发明实施例提出的网络具有更高的可解释性，其他端到端算法的“黑盒子”重建方式，训练思路具有盲目性和模糊性。
（3）轻量级、图像重建、训练速度快：深度学习算法程序占用内存小，且运行稳定，重建速度较传统迭代重建方法更快，反投影由固定卷积核进行域变换操作，减少图像进行域变换所训练的时间，加快了网络收敛和图像重建速度，分组卷积进行图像处理，能够有效消除伪影和噪声，减少网络参数，加快训练速度。
另一方面，本发明的实施例提供了一种图像重建系统，包括：第一模块，用于获取待重建图像；第二模块，用于利用图像变换网络，对待重建图像进行图像变换处理，得到第一图像；其中，图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；第三模块，用于对第一图像进行反投影处理，得到目标反投影张量；第四模块，用于利用分组卷积网络，对目标反投影张量进行分组卷积处理，得到第二图像；第五模块，用于利用残差密集网络，对第二图像进行全局特征提取处理，得到重建图像。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种图像重建装置，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备（如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置）使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种图像重建方法，其特征在于，包括：
获取待重建图像；
利用图像变换网络，对所述待重建图像进行图像变换处理，得到第一图像；其中，所述图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；
对所述第一图像进行反投影处理，得到目标反投影张量；
利用分组卷积网络，对所述目标反投影张量进行分组卷积处理，得到第二图像；
利用残差密集网络，对所述第二图像进行全局特征提取处理，得到重建图像。
2.根据权利要求1所述的一种图像重建方法，其特征在于，所述利用图像变换网络，对所述待重建图像进行图像变换处理，得到第一图像，包括：
利用图像变换网络，对所述待重建图像依次进行多层下采样和多层上采样；其中，所述多层下采样和所述多层上采样在同一维度的采样层进行特征连接；
根据所述多层下采样、所述特征连接和所述多层上采样，完成所述待重建图像的去噪操作和滤波操作实现图像与剂量的映射转换，得到第一图像。
3.根据权利要求1所述的一种图像重建方法，其特征在于，所述对所述第一图像进行反投影处理，得到目标反投影张量，包括：
使用固定卷积操作，对所述第一图像进行逐个视角的反投影处理，得到逐视角反投影张量；对逐视角所述反投影张量沿视角方向提取向量；
基于像素值大小，对提取的所述向量进行排序，并放回所述反投影张量，得到目标反投影张量。
4.根据权利要求1所述的一种图像重建方法，其特征在于，所述利用分组卷积网络，对所述目标反投影张量进行分组卷积处理，得到第二图像，包括：
利用分组卷积网络，基于预设张量数将所述目标反投影张量进行分组，对分组后各组张量进行分组卷积；
将所述分组卷积的结果进行全连接处理，得到第二图像。
5.根据权利要求1所述的一种图像重建方法，其特征在于，所述残差密集网络包括浅层特征提取网络和多层残差密集块，所述利用残差密集网络，对所述第二图像进行全局特征提取处理，得到重建图像，包括：
通过所述浅层特征提取网络，对所述第二图像进行浅层特征提取，得到浅层特征；
根据所述浅层特征，通过多层所述残差密集块进行全局特征融合，并结合所述第二图像进行全局残差学习；
基于所述全局特征融合和所述全局残差学习，完成全局特征提取处理，得到重建图像。
6.根据权利要求1所述的一种图像重建方法，其特征在于，还包括：
获取原始数据，根据所述原始数据对所述图像变换网络、所述分组卷积网络和所述残差密集网络进行网络训练；其中，所述原始数据包括仿真模拟数据和临床真实数据。
7.根据权利要求6所述的一种图像重建方法，其特征在于，所述根据所述原始数据对所述图像变换网络、所述分组卷积网络和所述残差密集网络进行网络训练，包括：
基于所述仿真模拟数据，对所述图像变换网络与所述分组卷积网络和所述残差密集网络，进行分模块训练；
对完成所述分模块训练的所述图像变换网络与所述分组卷积网络和所述残差密集网络，进行整合串联；基于所述临床真实数据，对所述整合串联后的网络进行整体训练，获得训练完成的所述图像变换网络、所述分组卷积网络和所述残差密集网络。
8.一种图像重建系统，其特征在于，包括：
第一模块，用于获取待重建图像；
第二模块，用于利用图像变换网络，对所述待重建图像进行图像变换处理，得到第一图像；其中，所述图像变换包括去噪操作和滤波操作实现图像与剂量的映射转换；
第三模块，用于对所述第一图像进行反投影处理，得到目标反投影张量；
第四模块，用于利用分组卷积网络，对所述目标反投影张量进行分组卷积处理，得到第二图像；
第五模块，用于利用残差密集网络，对所述第二图像进行全局特征提取处理，得到重建图像。
9.一种图像重建装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202310745637.2A 2023-06-25 2023-06-25 一种图像重建方法、系统、装置及存储介质 Active CN116503506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310745637.2A CN116503506B (zh) 2023-06-25 2023-06-25 一种图像重建方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310745637.2A CN116503506B (zh) 2023-06-25 2023-06-25 一种图像重建方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116503506A true CN116503506A (zh) 2023-07-28
CN116503506B CN116503506B (zh) 2024-02-06

Family

ID=87318684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310745637.2A Active CN116503506B (zh) 2023-06-25 2023-06-25 一种图像重建方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116503506B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843788A (zh) * 2023-08-31 2023-10-03 清华大学 一种有限角层析成像方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325686A (zh) * 2020-02-11 2020-06-23 之江实验室 一种基于深度学习的低剂量pet三维重建方法
US20200311914A1 (en) * 2017-04-25 2020-10-01 The Board Of Trustees Of Leland Stanford University Dose reduction for medical imaging using deep convolutional neural networks
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112258642A (zh) * 2020-12-21 2021-01-22 之江实验室 基于深度学习的低剂量pet数据三维迭代更新重建方法
US20210035338A1 (en) * 2019-07-31 2021-02-04 Z2Sky Technologies Inc. Unified Dual-Domain Network for Medical Image Formation, Recovery, and Analysis
CN112330565A (zh) * 2020-11-12 2021-02-05 中国人民解放军战略支援部队信息工程大学 基于改善的U-net的低剂量CT投影域中图像去噪方法
WO2021135773A1 (zh) * 2020-01-02 2021-07-08 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN114494493A (zh) * 2022-01-18 2022-05-13 清华大学 断层图像重建方法、装置、可读存储介质和电子设备
CN115063502A (zh) * 2022-06-24 2022-09-16 中山大学 基于优化迭代网络的ct图像重建方法以及系统
KR20220135349A (ko) * 2021-03-30 2022-10-07 한국과학기술원 영상 표준화를 위한 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
US20230127939A1 (en) * 2021-06-30 2023-04-27 Zhejiang Lab Multi-task learning based regions-of-interest enhancement in pet image reconstruction
WO2023114923A1 (en) * 2021-12-17 2023-06-22 The Regents Of The University Of California Fusion of deep-learning based image reconstruction with noisy image measurements

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311914A1 (en) * 2017-04-25 2020-10-01 The Board Of Trustees Of Leland Stanford University Dose reduction for medical imaging using deep convolutional neural networks
US20210035338A1 (en) * 2019-07-31 2021-02-04 Z2Sky Technologies Inc. Unified Dual-Domain Network for Medical Image Formation, Recovery, and Analysis
WO2021135773A1 (zh) * 2020-01-02 2021-07-08 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111325686A (zh) * 2020-02-11 2020-06-23 之江实验室 一种基于深度学习的低剂量pet三维重建方法
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112330565A (zh) * 2020-11-12 2021-02-05 中国人民解放军战略支援部队信息工程大学 基于改善的U-net的低剂量CT投影域中图像去噪方法
CN112258642A (zh) * 2020-12-21 2021-01-22 之江实验室 基于深度学习的低剂量pet数据三维迭代更新重建方法
KR20220135349A (ko) * 2021-03-30 2022-10-07 한국과학기술원 영상 표준화를 위한 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
US20230127939A1 (en) * 2021-06-30 2023-04-27 Zhejiang Lab Multi-task learning based regions-of-interest enhancement in pet image reconstruction
WO2023114923A1 (en) * 2021-12-17 2023-06-22 The Regents Of The University Of California Fusion of deep-learning based image reconstruction with noisy image measurements
CN114494493A (zh) * 2022-01-18 2022-05-13 清华大学 断层图像重建方法、装置、可读存储介质和电子设备
CN115063502A (zh) * 2022-06-24 2022-09-16 中山大学 基于优化迭代网络的ct图像重建方法以及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FAN ZHANG ET AL.: "Research progress of deep learning in low-dose CT image denoising", 《RADIATION PROTECTION DOSIMETRY》, vol. 199, no. 4, pages 337 - 346 *
边兆英 等: "投影数据恢复导引的PET图像滤波", 《计算机工程与应用》, vol. 47, no. 17, pages 196 - 199 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843788A (zh) * 2023-08-31 2023-10-03 清华大学 一种有限角层析成像方法及装置
CN116843788B (zh) * 2023-08-31 2023-11-28 清华大学 一种有限角层析成像方法及装置

Also Published As

Publication number Publication date
CN116503506B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
WO2022047625A1 (zh) 一种图像处理方法、系统和计算机存储介质
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN112085677B (zh) 一种图像处理方法、系统和计算机存储介质
US10387765B2 (en) Image correction using a deep generative machine-learning model
CN111951344B (zh) 一种基于级联并行卷积网络的磁共振图像重建方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN116503506B (zh) 一种图像重建方法、系统、装置及存储介质
CN114332287B (zh) 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN114022491B (zh) 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
CN114581453A (zh) 基于多轴面特征融合二维卷积神经网络的医学图像分割方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN113208641A (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN117409030A (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN117197349A (zh) 一种ct图像重建方法及装置
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法
US12045958B2 (en) Motion artifact correction using artificial neural networks
CN113066145B (zh) 基于深度学习的快速全身弥散加权成像方法及相关设备
WO2023131061A1 (en) Systems and methods for positron emission computed tomography image reconstruction
CN117635479B (zh) 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
Meyrat Spatiotemporal PET reconstruction with Learned Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant