CN112365560B - 基于多级网络的图像重建方法、系统、可读存储介质和设备 - Google Patents

基于多级网络的图像重建方法、系统、可读存储介质和设备 Download PDF

Info

Publication number
CN112365560B
CN112365560B CN202011360010.8A CN202011360010A CN112365560B CN 112365560 B CN112365560 B CN 112365560B CN 202011360010 A CN202011360010 A CN 202011360010A CN 112365560 B CN112365560 B CN 112365560B
Authority
CN
China
Prior art keywords
neural network
image
network module
iteration
original data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011360010.8A
Other languages
English (en)
Other versions
CN112365560A (zh
Inventor
吕杨
奚臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202011360010.8A priority Critical patent/CN112365560B/zh
Publication of CN112365560A publication Critical patent/CN112365560A/zh
Priority to US17/456,597 priority patent/US20220092755A1/en
Application granted granted Critical
Publication of CN112365560B publication Critical patent/CN112365560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于多级网络的图像重建方法、系统、可读存储介质和设备，属于医疗影像技术领域，获取医学扫描的原始数据，将所述原始数据分别输入至依次连接的多个神经网络模块，当前神经网络模块对原始数据进行处理后得到中间图像，将该中间图像输入至与当前神经网络模块连接的下一神经网络模块，下一神经网络模块对原始数据和当前神经网络的中间图像进行处理后得到下一神经网络模块输出的中间图像，直至获取末尾神经网络模块输出的图像作为重建图像。由于多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量。

Description

基于多级网络的图像重建方法、系统、可读存储介质和设备
技术领域
本发明涉及医疗影像技术领域，特别是涉及一种基于多级网络的图像重建方法、系统、可读存储介质和设备。
背景技术
一般情况下，采用医学影像设备(如CT(Computed Tomography，电子计算机断层扫描)、PET(Positron Emission Computed Tomography，正电子发射型计算机断层显像)、MR(Magnetic Resonance，磁共振))对受试目标进行扫描，获取相应的探测数据，根据探测数据进行图像重建。影响成像质量的最重要因素是探测数据量，一般而言，数据量越大，成像质量越好。然而在实际临床使用中，受到各种条件约束，大多数情况下并不能获得足够的探测数据量，如系统灵敏度较低，辐射敏感人群要求低辐射，长时间扫描带来的运动伪影，超长半衰期/超短半衰期药物的成像，高时间分辨率的动态成像等等。因此导致重建图像的背景噪声较大，信噪比低。
相关技术中，在低探测数据量的情况下，一般是利用正则化重建算法对探测数据进行处理，以神经网络代替原有的滤波器或正则化项，通过构造专门的神经网络实现重建图像质量的提升，但是，通过神经网络实现的方案对网络结构的要求很高，在实际应用中对图像质量的提升效果有限。目前业界对此尚未提出有效的解决方案。
发明内容
基于此，有必要针对传统的图像重建方案对图像质量的提升效果有限的问题，提供一种基于多级网络的图像重建方法、系统、可读存储介质和设备。
第一方面，本申请提供了一种基于多级网络的图像重建方法，包括以下步骤：
获取医学扫描的原始数据，将原始数据分别输入至多个神经网络模块，其中，多个神经网络模块依次连接；
获取当前神经网络模块输出的中间图像，将中间图像输入至下一神经网络模块，其中，每个神经网络模块用于进行不同维度的图像优化；
获取末尾神经网络模块输出的图像作为重建图像。
在其中一个实施例中，获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据原始数据和上一神经网络模块输出的中间图像进行迭代处理，获得第一迭代图像；
将第一迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第一优化图像；
对第一迭代图像和第一优化图像进行融合，获得当前神经网络模块输出的中间图像。
在其中一个实施例中，若当前神经网络模块为首个神经网络模块，获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据原始数据和初始化图像进行迭代处理，获得第二迭代图像；
将第二迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第二优化图像；
对第二迭代图像和第二优化图像进行融合，获得当前神经网络模块输出的中间图像。
在其中一个实施例中，神经网络模块中经训练的神经网络包括降噪神经网络或增强神经网络，其中，降噪神经网络用于图像降噪，增强神经网络用于图像对比度增强或图像分辨率增强。
在其中一个实施例中，基于多级网络的图像重建方法还包括以下步骤：
获取受试目标的原始数据样本；
根据原始数据样本获取相同迭代次数且计数降采样的第一迭代图像样本；
获取原始数据样本对应的计数完全的第一重建图像样本；
获取初始化神经网络模型，将第一迭代图像样本作为输入训练样本，将第一重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得降噪神经网络。
在其中一个实施例中，基于多级网络的图像重建方法还包括以下步骤：
获取受试目标的原始数据样本；
根据原始数据样本获取相同计数且迭代预设次数的第二迭代图像样本；
获取原始数据样本对应的迭代完全的第二重建图像样本；
获取初始化神经网络模型，将第二迭代图像样本作为输入训练样本，将第二重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得增强神经网络。
在其中一个实施例中，神经网络模块包括反馈卷积神经网络，反馈卷积神经网络分为多层迭代网络，反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级；
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层，在前卷积层与在后卷积层相连接，在前反卷积层与在后卷积层相连接。
第二方面，本申请提供了一种基于多级网络的图像重建系统，包括：
数据获取单元，用于获取医学扫描的原始数据，将原始数据分别输入至多个神经网络模块，其中，多个神经网络模块依次连接；
数据处理单元，用于获取当前神经网络模块输出的中间图像，将中间图像输入至下一神经网络模块，其中，每个神经网络模块用于进行不同维度的图像优化；
图像输出单元，用于获取末尾神经网络模块输出的图像作为重建图像。
第三方面，本申请提供了一种可读存储介质，其上存储有可执行程序，可执行程序被处理器执行时实现上述任意一项基于多级网络的图像重建方法的步骤。
第四方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述任意一项基于多级网络的图像重建方法的步骤。
相比于相关技术，本申请提供的基于多级网络的图像重建方法、系统、可读存储介质和设备，获取医学扫描的原始数据，将原始数据分别输入至依次连接的多个神经网络模块，当前神经网络模块对原始数据进行处理后得到中间图像，将该中间图像输入至与当前神经网络模块连接的下一神经网络模块，下一神经网络模块对原始数据和当前神经网络的中间图像进行处理后得到下一神经网络模块输出的中间图像，直至获取末尾神经网络模块输出的图像作为重建图像。在具体实现过程中，由于多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量，而且每个神经网络模块只进行单个维度的图像质量提升，降低了网络的配置难度且提高了网络的鲁棒性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一个实施例中的示例性医学设备100的示意图；
图2为另一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图；
图3为又一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图；
图4为一个实施例中的基于多级网络的图像重建方法的流程示意图；
图5为一个实施例中的基于多级网络的图像重建的具体过程示意图；
图6为一个实施例中的多级网络的连接示意图；
图7为一个实施例中的多级网络中每个网络模块的结构示意图；
图8和图9为一个实施例中的神经网络结构示意图；
图10为一个实施例中的基于多级网络的图像重建系统的结构示意图；
图11为另一个实施例中的基于多级网络的图像重建系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本申请，并不限定本申请的保护范围。如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
图1是一个实施例的示例性用于图像重建的医学设备100的示意图。参考图1所示，医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
扫描仪110可扫描受试目标并且生成与该受试目标相关的扫描数据。在一些实施例中，扫描仪110可以是医学成像设备，例如CT设备、PET设备、SPECT设备、MRI设备等或其任意组合(例如，PET-CT设备或CT-MRI设备)。
本申请中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据，这并非旨在限制本申请的范围。对于本领域的技术人员来说，在本申请的指导下可以进行各种修正和改变。
扫描仪110可包括支撑组件111、探测器组件112、工作台114、电子模块115以及冷却组件116。
支撑组件111可以支撑扫描仪110的一个或多个部件，例如探测器组件112、电子模块115、冷却组件116等。在一些实施例中，支撑组件111可以包括主机架、机架基座、前盖板以及后盖板(未出示)。前盖板可以与机架基座连接。前盖板可以垂直于机架基座。主机架可以安装于前盖板的侧面。主机架可以包括一个或多个支撑架以容纳探测器组件112和/或电子模块115。主机架可以包括圆形的开口(例如，检测区域113)以容纳扫描目标。在一些实施例中，主机架的开口可以是其它形状，包括，例如椭圆形。后盖板可以安装于主机架上与前盖板相对的侧面。机架基座可以支撑前盖板、主机架和/或后盖板。在一些实施例中，扫描仪110可以包括一个外壳以覆盖并保护主机架。
探测器组件112可以探测从检测区域113发射的辐射事件(例如，光子信号)。在一些实施例中，探测器组件112可以接收辐射线(例如，光子信号)并且生成电信号。探测器组件112可以包括一个或多个探测器单元。一个或多个探测器单元可以被封装而形成一个探测器区块。一个或多个探测器区块可以被封装而形成一个探测器盒。一个或多个探测器盒可以被安装而形成一个探测器模块。一个或多个探测器模块可以被安装而形成一个探测环。
电子模块115可以采集和/或处理由探测器组件112生成的电信号。电子模块115可以包括加算器、乘法器、减法器、放大器、驱动器电路、差动电路、积分电路、计数器、过滤器、模数转换器、下限检测电路、恒定系数鉴别器电路、时间-数字转换器、符合电路等其中一种或几种的组合。电子模块115可以将与探测器组件112接收到的辐射线的能量相关的模拟信号转化为数字信号。电子模块115可以比较多个数字信号、分析多个数字信号并且通过探测器组件112中所接收辐射线的能量确定图像数据。在一些实施例中，如果探测器组件112具有一个大的轴向视野(例如，0.75米至2米)，则电子模块115可以具有来自多个探测器通道的高数据输入速率。例如，电子模块115可以每秒处理数百亿事件。在一些实施例中，数据输入速率可以与探测器组件112中探测器单元的数量有关。
扫描仪110可以扫描位于其检测区域内的对象，并生成与对象相关的多个成像数据。在本申请中，“受试目标”和“对象”可交替使用。仅作为示例，受试目标可包括扫描目标、人造物体等。在另一实施例中，受试目标可包括扫描目标的特定部分、器官和/或组织。例如，受试目标可包括头部、大脑、颈部、身体、肩部、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚或其他部位等，或其任意组合。
网络120可包括任意合适的网络，该网络能协助医学设备100交换信息和/或数据。在一些实施例中，医学设备100的一个或多个组件(例如，扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如，处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例，处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例，网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中，网络120可包括一个或多个网络接入点。例如，网络120可包括有线和/或无线网络接入点，诸如基站和/或因特网交换点，医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中，存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中，存储器150可存储数据和/或指令，处理引擎140可以执行或使用该数据和/或指令以执行本申请中所描述的示例性方法。在一些实施例中，存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中，存储器150可在云平台上实现。仅作为示例，云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等，或者其任意组合。
在一些实施例中，存储器150可连接到网络120，以便与医学设备100中的一个或多个其他组件(例如，处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中，存储器150可直接连接到医学设备100中的一个或多个其他组件(例如，处理引擎140、终端130等)或与这些组件通信。在一些实施例中，存储器150可以是处理引擎140的一部分。
图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270以及用户界面设备280。
内部通信总线210可以实现计算设备200组件间的数据通信。
处理器220可根据本文所描述的技术来执行计算机指令(例如，程序代码)并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、扫描对象、组件、数据结构、过程、模块以及函数。例如，处理器220可以处理从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的图像数据。在一些实施例中，处理器220可包括一个或多个硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明，在计算设备200中仅描述了一个处理器220。然而，应当注意，本申请中的计算设备200也可包括多个处理器，因此本申请中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。
只读存储器(ROM)230和随机存取存储器(RAM)240可存储从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的数据/信息。
通信端口250可连接到网络(例如，网络120)以协助数据通信。通信端口250可在处理引擎140和扫描仪110、终端130和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙链路、Wi-Fi链路、WiMax链路、WLAN链路、ZigBee链路、移动网络链路(例如，3G，4G，5G等)等或其组合。在一些实施例中，通信端口250可以是包括标准化通信端口，诸如RS232、RS485等。在一些实施例中，通信端口250可以是专门设计的通信端口。例如，通信端口250可根据医学数字成像和通信(DICOM)协议来设计。
输入/输出组件260支持计算设备200与其他部件之间的输入/输出数据流。在一些实施例中，输入/输出组件260可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
计算设备200还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘270，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器220所执行的可能的程序指令。
用户界面设备280可以实现计算设备200和用户之间的交互和信息交换。
图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可包括天线310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入输出单元(I/O)350、内存360以及存储器390。在一些实施例中，移动设备300中还可包括任何其他合适的组件，包括但不限于系统总线或控制器(未示出)。在一些实施例中，移动操作系统370(例如，iOS、Android、Windows Phone等)和一个或多个应用程序380可从存储器390被加载到内存360中以便由CPU340执行。应用程序380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O350来实现并通过网络120提供给处理引擎140和/或医学设备100的其他组件。
为了实现本申请中所描述的各种模块、单元及其功能，计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程，计算机也可以充当服务器。在医学设备100中可以实现基于多级网络的图像重建方法、系统等。
参见图4所示，为本申请一个实施例的基于多级网络的图像重建方法的流程示意图。该实施例中的基于多级网络的图像重建方法包括以下步骤：
步骤S410：获取医学扫描的原始数据，将原始数据分别输入至多个神经网络模块，其中，多个神经网络模块依次连接；
在本步骤中，医学扫描的原始数据可以从存储器150中获取，存储器150中可以设置数据库，用于保存原始数据，原始数据也可以在扫描后从电子模块115中获取，具体过程为：受试目标可以置于医学设备扫描仪110的工作台114上，进入扫描仪110的检测区域113并进行扫描拍摄，从电子模块115中直接获取原始数据；神经网络模块中可包括神经网络，可对输入的原始数据进行处理，输出相应的图像，神经网络模块的数量为两个以上。
步骤S420：获取当前神经网络模块输出的中间图像，将中间图像输入至下一神经网络模块，其中，每个神经网络模块用于进行不同维度的图像优化；
在本步骤中，多个神经网络模块依次连接，当前神经网络模块输出的中间图像可输入至下一神经网络模块，下一神经网络模块可对输入的中间图像和原始数据进行处理，输出对应下一神经网络的中间图像，每个神经网络模块可基于原始数据对生成的图像进行不同维度的图像优化，如降低图像噪声、提高图像对比度、提高图像亮度、提高图像分辨率等等；
步骤S430：获取末尾神经网络模块输出的图像作为重建图像；
在本步骤中，通过多个神经网络模块的处理，末尾神经网络模块输出的图像已在多个维度进行优化，输出的图像可作为重建图像。
在本实施例中，获取医学扫描的原始数据，将原始数据分别输入至依次连接的多个神经网络模块，当前神经网络模块对原始数据进行处理后得到中间图像，将该中间图像输入至与当前神经网络模块连接的下一神经网络模块，下一神经网络模块对原始数据和当前神经网络的中间图像进行处理后得到下一神经网络模块输出的中间图像，直至获取末尾神经网络模块输出的图像作为重建图像。由于多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量，而且每个神经网络模块只进行单个维度的图像质量提升，降低了网络的配置难度且提高了网络的鲁棒性。
需要说明的是，基于多级网络的图像重建方法适用于各种不同类型的医学检测设备，如CT设备、PET设备、SPECT设备、MRI设备等或其任意组合(例如，PET-CT设备或CT-MRI设备)。
在一个实施例中，获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据原始数据和上一神经网络模块输出的中间图像进行迭代处理，获得第一迭代图像；
将第一迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第一优化图像；
对第一迭代图像和第一优化图像进行融合，获得当前神经网络模块输出的中间图像。
在本实施例中，神经网络模块的数据处理过程包括迭代处理、神经网络优化以及图像融合等，上一神经网络模块处理得到的中间图像会输入至当前神经网络模块，当前神经网路模块基于原始数据和上一神经网络模块输出的中间图像进行迭代处理，迭代处理可适当提高图像的有效信息；在得到第一迭代图像后，将其输入至当前神经网络模块中经训练的神经网络，利用神经网络的学习优化能力实现图像优化，再将第一优化图像和第一迭代图像进行融合，输出当前神经网络模块的中间图像，图像融合可保留图像优化信息和图像迭代信息，以便在下一神经网络模块中继续处理，从而在多个维度优化图像。
具体的，图像迭代可通过以下公式执行：
Figure BDA0002803736230000141
上式中，
Figure BDA0002803736230000142
fi n为迭代过程中的图像，aij为系统矩阵，yj为成像系统的测量数据，此处可视为医学扫描的原始数据，n为迭代次数，N为大于1的整数。
神经网路模块中的神经网络的处理过程可简单表示为：
Figure BDA0002803736230000143
上式中，
Figure BDA0002803736230000144
为第一优化图像，
Figure BDA0002803736230000145
为第一迭代图像，NN为神经网络。
图像融合可通过以下公式执行：
Figure BDA0002803736230000151
上式中，
Figure BDA0002803736230000152
为第一优化图像，
Figure BDA0002803736230000153
为第一迭代图像，η为权重系数，fN+1为融合后得到的中间图像。
在一个实施例中，若当前神经网络模块为首个神经网络模块，获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据原始数据和初始化图像进行迭代处理，获得第二迭代图像；
将第二迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第二优化图像；
对第二迭代图像和第二优化图像进行融合，获得当前神经网络模块输出的中间图像。
在本实施例中，由于首个神经网络模块未有输入的中间图像，在进行迭代处理时，可根据原始数据和初始化图像进行迭代处理，获得第二迭代图像；初始化图像一般可在系统中提前预设，初始化图像中的所有像素的像素值可均为1，首个神经网路模块基于原始数据和初始化图像进行迭代处理，迭代处理可适当提高图像的有效信息；在得到第二迭代图像后，将其输入至首个神经网络模块中经训练的神经网络，利用神经网络的学习优化能力实现图像优化，再将第二优化图像和第二迭代图像进行融合，输出首个神经网络模块的中间图像，图像融合可保留图像优化信息和图像迭代信息，以便在下一神经网络模块中继续处理，从而在多个维度优化图像。
具体的，首个神经网络模块中的图像迭代可通过以下公式执行：
Figure BDA0002803736230000154
上式中，
Figure BDA0002803736230000155
Fi n为迭代过程中的图像，Fi为初始化图像，aij为系统矩阵，yj为成像系统的测量数据，此处可视为医学扫描的原始数据，n为迭代次数，N为大于1的整数。
在一个实施例中，神经网络模块中经训练的神经网络包括降噪神经网络或增强神经网络，其中，降噪神经网络用于图像降噪，增强神经网络用于图像对比度增强或图像分辨率增强。
在本实施例中，应用于不同维度的神经网络模块中的神经网络可不同，如神经网络可为降噪神经网络或增强神经网络，降噪神经网络用于图像降噪，增强神经网络用于图像对比度增强或图像分辨率增强，通过不同神经网络的组合，使最终得到的重建图像在降噪、对比度、分辨率等维度均有较好的提升效果。
具体的，神经网络模块可包括三个，其中一个包括降噪神经网络，另外两个分别包括增强神经网络，分别用于图像对比度增强和图像分辨率增强；或者神经网络模块可包括两个，其中一个包括降噪神经网络，另外一个包括增强神经网络，用于图像对比度增强；根据实际应用需要，神经网络的类型和数量可适当增加或删减。
进一步的，以两个神经网络模块为例，其中一个包括降噪神经网络，另外一个包括增强神经网络，用于图像对比度增强。
图像重建的具体过程如图5所示，获取的原始数据分别输入至两个神经网络模块，在第一个神经网络模块中，基于原始数据和初始化图像进行N次迭代处理，得到迭代图像A(即第二迭代图像)，图像迭代过程如下：
Figure BDA0002803736230000161
将迭代图像A输入至降噪神经网络(CNN-DE)，输出降噪迭代图像(即第二优化图像)，降噪神经网络为预训练网络，功能为图像降噪，表达式如下：
Figure BDA0002803736230000162
上式中，
Figure BDA0002803736230000171
为降噪迭代图像，
Figure BDA0002803736230000172
为迭代图像A。
将降噪迭代图像和迭代图像A进行融合，输出融合图像至第二个神经网络模块，图像融合的表达式如下：
Figure BDA0002803736230000173
上式中，ηDE为降噪权重系数，fN+1为融合图像，即第一个神经网络模块输出的中间图像。
在第二个神经网络模块中，基于原始数据和第一个神经网络模块输出的中间图像进行M次迭代处理，得到迭代图像B(即第一迭代图像)，图像迭代过程如下：
Figure BDA0002803736230000174
上式中，
Figure BDA0002803736230000175
fi m为迭代过程中的图像，aij为系统矩阵，yj为成像系统的测量数据，此处可视为医学扫描的原始数据，m为迭代次数，N、M为大于1的整数，此处迭代次数m与迭代次数n相衔接。
将迭代图像B输入至增强神经网络(CNN-EH)，输出增强迭代图像(即第一优化图像)，增强神经网络为预训练网络，功能为图像对比度增强，表达式如下：
Figure BDA0002803736230000176
上式中，
Figure BDA0002803736230000177
为增强迭代图像，
Figure BDA0002803736230000178
为迭代图像B。
将增强迭代图像和迭代图像B进行融合，输出融合图像(即重建图像)，图像融合的表达式如下：
Figure BDA0002803736230000179
上式中，ηEH为增强权重系数，fN+M+1为融合后得到的重建图像。
进一步的，神经网络模块的数量不作限制，如图6和图7所示，从原始数据作为输入开始，依次连接若干个神经网络模块(CNN Block)，并最终输出重建图像。每个CNN Block都通过迭代重建、神经网络、图像融合等步骤实现对图像的某个维度的特性进行优化(如分辨率、对比度、降噪等等)。本申请的方案采用多级网络实现图像质量的逐步提升，相对于单级网络只进行单个维度的图像质量提升，降低了网络的难度且提高了网络的鲁棒性，而且算法结构可调，可根据成像目的灵活对调用的网络进行配置，如需降噪，则可在算法结构中添加用于图像降噪的CNN Block即可。
在一个实施例中，基于多级网络的图像重建方法还包括以下步骤：
获取受试目标的原始数据样本；
根据原始数据样本获取相同迭代次数且计数降采样的第一迭代图像样本；
获取原始数据样本对应的计数完全的第一重建图像样本；
获取初始化神经网络模型，将第一迭代图像样本作为输入训练样本，将第一重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得降噪神经网络。
在本实施例中，降噪神经网络是通过预先训练得到的，先获取受试目标的原始数据样本，利用原始数据样本，可得到不同的图像样本，如相同迭代次数且计数降采样的第一迭代图像样本，以及计数完全的第一重建图像样本，第一迭代图像样本可为多个降采样的计数不同的图像样本，由于低采样率，第一迭代图像样本的噪声较大，而计数完全的第一重建图像样本的噪声较小，将第一迭代图像样本作为初始化神经网络模型的训练输入，将第一重建图像样本作为初始化神经网络模型的训练输出，通过训练输入和训练输出对初始化神经网络模型进行训练，得到降噪神经网络，经训练的降噪神经网络能对输入的图像进行噪声识别并优化，输出降噪后的优化图像。
需要说明的是，第一重建图像样本可以是利用各种不同图像重建方法对原始数据进行处理后得到的；受试目标可以是已经作过医学扫描检查的对象，训练时可采用多个不同的受试目标的原始数据样本，针对不同的受试目标，获取相应的输入训练样本和输出目标样本，组成训练集；针对每个受试目标，采集的原始数据样本需尽可能多而详尽，原始数据样本的数据范围包括受试目标的全体，或根据实际需要确定的特定部位。
在一个实施例中，基于多级网络的图像重建方法还包括以下步骤：
获取受试目标的原始数据样本；
根据原始数据样本获取相同计数且迭代预设次数的第二迭代图像样本；
获取原始数据样本对应的迭代完全的第二重建图像样本；
获取初始化神经网络模型，将第二迭代图像样本作为输入训练样本，将第二重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得增强神经网络。
在本实施例中，增强神经网络是通过预先训练得到的，先获取受试目标的原始数据样本，利用原始数据样本，可得到不同的图像样本，如相同计数且迭代预设次数的第二迭代图像样本，以及迭代完全的第二重建图像样本，第二迭代图像样本可为多个迭代次数不同的图像样本，而第二重建图像样本是迭代完全的图像，由于迭代的进行可使图像的特征更加明显，因此第二重建图像样本的对比度可高于第二迭代图像，将第二迭代图像样本作为初始化神经网络模型的训练输入，将第二重建图像样本作为初始化神经网络模型的训练输出，通过训练输入和训练输出对初始化神经网络模型进行训练，得到增强神经网络，经训练的增强神经网络能对输入的图像进行对比度优化，输出较高对比度的优化图像。
需要说明的是，迭代的预设次数可根据需要进行调整，一般均小于迭代完全的迭代次数。在实际应用中，可对增强神经网络的网络参数进行调节，使之适应不同维度的增强要求，如对比度、分辨率的增强等等。
在一个实施例中，神经网络模块包括反馈卷积神经网络，反馈卷积神经网络分为多层迭代网络，反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级；
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层，在前卷积层与在后卷积层相连接，在前反卷积层与在后卷积层相连接。
在本实施例中，神将网络模块中的神经网络可为反馈卷积神经网络，可将其设置为多层迭代网络，并将输入连接至每层迭代网络的输出的前一级，由于输入与迭代网络的迭代计算结果相结合，在每层迭代计算时可有效解决梯度消失的问题，并加快训练收敛；每层迭代网络包含反馈卷积块，每个反馈卷积块中有交错连接的多个卷积层和多个反卷积层，其中在前卷积层与在后卷积层相连接，在前反卷积层与在后卷积层相连接，由此可实现不同卷积层的特征相拼接，使图像梯度和特征的传递更有效并且减少网络参数，进而减轻过拟合现象。
具体的，神经网络结构为反馈卷积神经网络(FeedBack Net，简写为FB-Net)，网络结构如图8和图9所示，图中的基本操作模块包括：
1、3x3/1x1Conv：卷积层，卷积核大小为3x3或1x1。每个卷积层都通过PReLU函数进行激活。
2、3x3 Deconv：反卷积层，卷积核大小为3x3。每个反卷积层都通过PReLU函数进行激活。
残差连接：将不同层的输入与输出相连接，可以有效解决梯度消失问题以及加快训练收敛。
稠密连接：将不同卷积层的特征相拼接(拼接后的特征汇总了稠密连接两端上一层的输出特征)，使得梯度和特征的传递更有效并且减少网络参数，进而减轻过拟合现象。
FB-Net由从上到下的三个网络分支依次迭代构成，并且
(1)每个分支都由普通的卷积模块和FB-Block构成。FB-Block包含1x1卷积模块和projection group模块。1x1卷积模块能够减少特征图的数量，加速网络的推理过程；projection group模块通过稠密连接丰富了high-level特征的表达；
Figure BDA0002803736230000211
表示第t-1次迭代的high-level特征，它作为反馈信息指导第t次迭代的low-level特征表达
Figure BDA0002803736230000212
这使得网络的学习表达能力逐步增强。图中的1L表示low-level特征，1H1、1H2、1H3表示high-level特征。
(2)每个分支网络有相同的输入和输出以及损失函数。相同的输入能够确保网络获取需要校正的low-level信息；相同的输出和损失函数能够指导网络在每个迭代过程中去重建目标图像并且使得在早期的迭代过程中，FB-Block结构里包含high-level信息的表示。图中的L0 t、L1 t、Lg t、LG t表示low-level特征，H1 t、Hg t、HG t表示high-level特征。
(3)每个分支网络共享神经网络的权重，极大地压缩了网络模型，减小了网络推理时间。
根据上述基于多级网络的图像重建方法，本发明实施例还提供一种基于多级网络的图像重建系统，以下就基于多级网络的图像重建系统的实施例进行详细说明。
参见图10所示，为一个实施例的基于多级网络的图像重建系统的结构示意图。该实施例中的基于多级网络的图像重建系统包括：
数据获取单元510，用于获取医学扫描的原始数据，将原始数据分别输入至多个神经网络模块，其中，多个神经网络模块依次连接；
数据处理单元520，用于获取当前神经网络模块输出的中间图像，将中间图像输入至下一神经网络模块，其中，每个神经网络模块用于进行不同维度的图像优化；
图像输出单元530，用于获取末尾神经网络模块输出的图像作为重建图像。
在本实施例中，数据获取单元510获取医学扫描的原始数据，将原始数据分别输入至依次连接的多个神经网络模块，当前神经网络模块对原始数据进行处理后，数据处理单元520得到中间图像，将该中间图像输入至与当前神经网络模块连接的下一神经网络模块，下一神经网络模块对原始数据和当前神经网络的中间图像进行处理后得到下一神经网络模块输出的中间图像，直至图像输出单元530获取末尾神经网络模块输出的图像作为重建图像。在具体实现过程中，由于多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量，而且每个神经网络模块只进行单个维度的图像质量提升，降低了网络的配置难度且提高了网络的鲁棒性。
在一个实施例中，数据处理单元520还用于在当前神经网络模块中，根据原始数据和上一神经网络模块输出的中间图像进行迭代处理，获得第一迭代图像；将第一迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第一优化图像；对迭代图像和第一优化图像进行融合，获得当前神经网络模块输出的中间图像。
在一个实施例中，在当前神经网络模块为首个神经网络模块时，数据处理单元520还用于在当前神经网络模块中，根据原始数据和初始化图像进行迭代处理，获得第二迭代图像；将第二迭代图像输入至当前神经网络模块中经训练的神经网络，获取神经网络输出的第二优化图像；对第二迭代图像和第二优化图像进行融合，获得当前神经网络模块输出的中间图像。
在一个实施例中，神经网络模块中经训练的神经网络包括降噪神经网络或增强神经网络，其中，降噪神经网络用于图像降噪，增强神经网络用于图像对比度增强或图像分辨率增强。
在一个实施例中，如图11所示，基于多级网络的图像重建系统还包括网络训练单元540，用于获取受试目标的原始数据样本；根据原始数据样本获取相同迭代次数且计数降采样的第一迭代图像样本；获取原始数据样本对应的计数完全的第一重建图像样本；获取初始化神经网络模型，将第一迭代图像样本作为输入训练样本，将第一重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得降噪神经网络。
在一个实施例中，基于多级网络的图像重建系统还包括网络训练单元540，用于获取受试目标的原始数据样本；根据原始数据样本获取相同计数且迭代预设次数的第二迭代图像样本；获取原始数据样本对应的迭代完全的第二重建图像样本；获取初始化神经网络模型，将第二迭代图像样本作为输入训练样本，将第二重建图像样本作为输出目标样本，对初始化神经网络模型进行训练，获得增强神经网络。
在一个实施例中，神经网络模块包括反馈卷积神经网络，反馈卷积神经网络分为多层迭代网络，反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级；
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层，在前卷积层与在后卷积层相连接，在前反卷积层与在后卷积层相连接。
本发明实施例的基于多级网络的图像重建系统与上述基于多级网络的图像重建方法一一对应，在上述基于多级网络的图像重建方法的实施例阐述的技术特征及其有益效果均适用于基于多级网络的图像重建系统的实施例中。
根据上述基于多级网络的图像重建方法，本发明实施例还提供一种可读存储介质和计算机设备。
一种可读存储介质，其上存储有可执行程序，可执行程序被处理器执行时实现上述的基于多级网络的图像重建方法的步骤。
上述可读存储介质，通过其存储的可执行程序，可以实现多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量，而且每个神经网络模块只进行单个维度的图像质量提升，降低了网络的配置难度且提高了网络的鲁棒性。
一种计算机设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述的基于多级网络的图像重建方法的步骤。
上述计算机设备，通过在处理器上运行可执行程序，可以实现多个神经网络模块依次连接，且每个神经网络模块用于进行不同维度的图像优化，使最终输出的重建图像在不同维度均得到优化处理，从而较为全面地提升图像质量，而且每个神经网络模块只进行单个维度的图像质量提升，降低了网络的配置难度且提高了网络的鲁棒性。
本领域普通技术人员可以理解实现上述实施例用于基于多级网络的图像重建方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读取存储介质中，如实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述基于多级网络的图像重建方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多级网络的图像重建方法，其特征在于，所述方法包括以下步骤：
获取医学扫描的原始数据，将所述原始数据分别输入至多个神经网络模块，其中，所述多个神经网络模块依次连接；
获取当前神经网络模块输出的中间图像，将所述中间图像输入至下一神经网络模块，其中，所述下一神经网络模块用于对输入的所述中间图像和所述原始数据进行处理，输出对应所述下一神经网络模块的中间图像，每个神经网络模块用于分别进行不同维度的图像优化，所述不同维度包括噪声维度、对比度维度、亮度维度和分辨率维度中的至少两个；
所述当前神经网络模块输出的中间图像通过对第一优化图像和第一迭代图像融合获得，所述第一迭代图像基于所述原始数据迭代处理获得，所述第一优化图像通过将所述第一迭代图像输入至经训练的神经网络中进行优化得到；
获取末尾神经网络模块输出的图像作为重建图像。
2.根据权利要求1所述的基于多级网络的图像重建方法，其特征在于，所述获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据所述原始数据和上一神经网络模块输出的中间图像进行迭代处理，获得所述第一迭代图像；
将所述第一迭代图像输入至当前神经网络模块中经训练的神经网络，获取所述神经网络输出的所述第一优化图像；
对所述第一迭代图像和所述第一优化图像进行融合，获得当前神经网络模块输出的中间图像。
3.根据权利要求1所述的基于多级网络的图像重建方法，其特征在于，若当前神经网络模块为首个神经网络模块，所述获取当前神经网络模块输出的中间图像包括以下步骤：
在当前神经网络模块中，根据所述原始数据和初始化图像进行迭代处理，获得第二迭代图像；
将所述第二迭代图像输入至当前神经网络模块中经训练的神经网络，获取所述神经网络输出的第二优化图像；
对所述第二迭代图像和所述第二优化图像进行融合，获得当前神经网络模块输出的中间图像。
4.根据权利要求1所述的基于多级网络的图像重建方法，其特征在于，所述神经网络模块中经训练的神经网络包括降噪神经网络或增强神经网络，其中，所述降噪神经网络用于图像降噪，所述增强神经网络用于图像对比度增强或图像分辨率增强。
5.根据权利要求4所述的基于多级网络的图像重建方法，其特征在于，所述方法还包括以下步骤：
获取受试目标的原始数据样本；
根据所述原始数据样本获取相同迭代次数且计数降采样的第一迭代图像样本；
获取所述原始数据样本对应的计数完全的第一重建图像样本；
获取初始化神经网络模型，将所述第一迭代图像样本作为输入训练样本，将所述第一重建图像样本作为输出目标样本，对所述初始化神经网络模型进行训练，获得所述降噪神经网络。
6.根据权利要求4所述的基于多级网络的图像重建方法，其特征在于，所述方法还包括以下步骤：
获取受试目标的原始数据样本；
根据所述原始数据样本获取相同计数且迭代预设次数的第二迭代图像样本；
获取所述原始数据样本对应的迭代完全的第二重建图像样本；
获取初始化神经网络模型，将所述第二迭代图像样本作为输入训练样本，将所述第二重建图像样本作为输出目标样本，对所述初始化神经网络模型进行训练，获得所述增强神经网络。
7.根据权利要求1-6中任意一项所述的基于多级网络的图像重建方法，其特征在于，所述神经网络模块包括反馈卷积神经网络，所述反馈卷积神经网络分为多层迭代网络，所述反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级；
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层，在前卷积层与在后卷积层相连接，在前反卷积层与在后卷积层相连接。
8.一种基于多级网络的图像重建系统，其特征在于，所述系统包括：
数据获取单元，用于获取医学扫描的原始数据，将所述原始数据分别输入至多个神经网络模块，其中，所述多个神经网络模块依次连接；
数据处理单元，用于获取当前神经网络模块输出的中间图像，将所述中间图像输入至下一神经网络模块，其中，所述下一神经网络模块用于对输入的所述中间图像和所述原始数据进行处理，输出对应所述下一神经网络模块的中间图像，每个神经网络模块用于分别进行不同维度的图像优化，所述不同维度包括噪声维度、对比度维度、亮度维度和分辨率维度中的至少两个；所述当前神经网络模块输出的中间图像通过对第一优化图像和第一迭代图像融合获得，所述第一迭代图像基于所述原始数据迭代处理获得，所述第一优化图像通过将所述第一迭代图像输入至经训练的神经网络中进行优化得到；
图像输出单元，用于获取末尾神经网络模块输出的图像作为重建图像。
9.一种可读存储介质，其上存储有可执行程序，其特征在于，所述可执行程序被处理器执行时实现权利要求1至7中任意一项所述的基于多级网络的图像重建方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有可执行程序，其特征在于，所述处理器执行所述可执行程序时实现权利要求1至7中任意一项所述的基于多级网络的图像重建方法的步骤。
CN202011360010.8A 2020-11-27 2020-11-27 基于多级网络的图像重建方法、系统、可读存储介质和设备 Active CN112365560B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011360010.8A CN112365560B (zh) 2020-11-27 2020-11-27 基于多级网络的图像重建方法、系统、可读存储介质和设备
US17/456,597 US20220092755A1 (en) 2020-11-27 2021-11-26 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011360010.8A CN112365560B (zh) 2020-11-27 2020-11-27 基于多级网络的图像重建方法、系统、可读存储介质和设备

Publications (2)

Publication Number Publication Date
CN112365560A CN112365560A (zh) 2021-02-12
CN112365560B true CN112365560B (zh) 2023-01-24

Family

ID=74535482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011360010.8A Active CN112365560B (zh) 2020-11-27 2020-11-27 基于多级网络的图像重建方法、系统、可读存储介质和设备

Country Status (2)

Country Link
US (1) US20220092755A1 (zh)
CN (1) CN112365560B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images
CN116128046B (zh) * 2023-04-14 2023-07-18 杭州国芯科技股份有限公司 嵌入式设备的多输入神经网络模型串行块的存储方法
CN117541908B (zh) * 2024-01-10 2024-04-05 华芯程(杭州)科技有限公司 光学检测图像预测模型的训练方法、装置及预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108896943A (zh) * 2018-05-10 2018-11-27 上海东软医疗科技有限公司 一种磁共振定量成像方法和装置
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN111292240A (zh) * 2020-01-23 2020-06-16 上海交通大学 一种基于成像模型与机器学习的磁共振超分辨率成像方法
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN108896943A (zh) * 2018-05-10 2018-11-27 上海东软医疗科技有限公司 一种磁共振定量成像方法和装置
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111292240A (zh) * 2020-01-23 2020-06-16 上海交通大学 一种基于成像模型与机器学习的磁共振超分辨率成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
He chen等.LEARN: Learned Experts’ Assessment-based Reconstruction Network for Sparse-data CT.《IEEE Transactions on Medical Imaging》.2018, *

Also Published As

Publication number Publication date
US20220092755A1 (en) 2022-03-24
CN112365560A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN110809782B (zh) 衰减校正系统和方法
CN112365560B (zh) 基于多级网络的图像重建方法、系统、可读存储介质和设备
US11398030B2 (en) System and method for image reconstruction
US11887221B2 (en) Systems and methods for image correction in positron emission tomography
US10980505B2 (en) System and method for air correction
US11105939B2 (en) System and method for PET data correction
CN110151210B (zh) 一种医学图像处理方法、系统、装置和计算机可读介质
CN111462020B (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN109009199B (zh) 用于正电子发射断层扫描中的图像数据处理的系统和方法
CN107638188A (zh) 图像衰减校正方法及装置
CN112419303B (zh) 神经网络训练方法、系统、可读存储介质和设备
US20230059132A1 (en) System and method for deep learning for inverse problems without training data
CN108986892A (zh) 用于确定活度图和衰减图的系统和方法
Shen et al. Rapid reconstruction of highly undersampled, non‐Cartesian real‐time cine k‐space data using a perceptual complex neural network (PCNN)
CN112001979B (zh) 运动伪影处理方法、系统、可读存储介质和设备
US11941805B2 (en) Systems and methods for image processing
CN110717951B (zh) 一种基于cGANs的PET图像直接重建方法
CN112686967B (zh) 图像重建系统和方法
WO2023216057A1 (en) System and method for medical imaging
US11508048B2 (en) Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image
CN112052885A (zh) 图像处理方法、装置、设备及pet-ct系统
CN110264537A (zh) Pet图像重建方法、系统、可读存储介质和设备
US11900602B2 (en) System and method for medical imaging
CN112927132B (zh) 提升pet系统空间分辨率均匀性的pet图像重建方法
CN112634147B (zh) 自监督学习的pet图像降噪方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant