CN110249365B - 用于图像重建的系统和方法 - Google Patents

用于图像重建的系统和方法 Download PDF

Info

Publication number
CN110249365B
CN110249365B CN201780084581.3A CN201780084581A CN110249365B CN 110249365 B CN110249365 B CN 110249365B CN 201780084581 A CN201780084581 A CN 201780084581A CN 110249365 B CN110249365 B CN 110249365B
Authority
CN
China
Prior art keywords
reconstruction
image data
reconstruction result
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780084581.3A
Other languages
English (en)
Other versions
CN110249365A (zh
Inventor
周鑫
宋燕丽
李强
李国斌
王超洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Publication of CN110249365A publication Critical patent/CN110249365A/zh
Application granted granted Critical
Publication of CN110249365B publication Critical patent/CN110249365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提出了一种图像重建的方法和系统。该方法包括获取原始图像数据(510)；其中该原始图像数据包括多个频域欠采样图像数据样本；基于图像数据生成第一重建结果(520)；以及基于图像数据生成第二重建结果(530)；融合该第一重建结果和该第二重建结果(540)；以及基于该融合结果生成重建图像(550)。

Description

用于图像重建的系统和方法
技术领域
本公开涉及图像重建领域，特别涉及一种通过融合多幅图像重建结果来生成重建图像的系统和方法。
背景技术
图像重建常常被用于医学成像。已知有各种不同的重建方法用于由医学成像过程中获取的原始图像数据来生成重建图像，并且每种重建方法都具有其自身的优点和缺点。例如，压缩感知(CS)方法和深度学习(DL)方法可用于生成磁共振成像(MRI)图像。当使用CS方法时，为了实现快速图像重建，需要限制MRI扫描的时间，并且采集来用于重建MRI图像的数据可能是欠采样的。欠采样数据可能会导致重建图像中的信息不精确。当使用DL方法时，必须使用大量训练数据来训练深度学习模型，以在重建图像中产生精确的信息。然而，深度学习模型高度依赖于训练数据，并且训练好的深度学习模型可能仅对于某种类型的原始图像具有较好的性能。因此，期望将压缩感知方法与深度学习方法相结合以用更精确的信息重建医学图像。
发明内容
根据本发明的一个方面，提供了一种方法。该方法可以在至少一个设备上实现，该设备包括至少一个处理器和至少一个计算机可读存储介质。该方法可以包括以下一个或多个操作。可以获取原始图像数据，其中原始图像数据可以包括多个频域欠采样图像数据样本。使用第一重建方法，可以基于原始图像数据生成第一重建结果。使用第二重建方法，可以基于原始图像数据生成第二重建结果。第一重建结果与第二重建结果可以融合。根据融合的结果，可以生成重构图像。
根据本发明的另一方面，提供了一种系统。该系统可以包括存储一组指令的存储设备和配置为与该存储设备通信的至少一个处理器。在执行所述指令时，所述至少一个处理器可以使所述系统获取原始图像数据，其中所述原始图像数据可以包括多个频域欠采样图像数据样本。在执行所述指令时，所述至少一个处理器还可以使所述系统使用第一重建方法基于所述原始图像数据生成第一重建结果，并且使用第二重建方法基于所述原始图像数据生成第二重建结果。方法。在执行所述指令时，所述至少一个处理器还可以使所述系统融合所述第一重构结果和所述第二重构结果，并基于所述融合结果生成重构图像。
根据本发明的另一方面，提供了非暂时性计算机可读介质。非暂时性计算机可读介质可包括可执行指令。当指令由至少一个处理器执行时，可能导致至少一个处理器实现方法。该方法可以包括获取原始图像数据，其中原始图像数据可以包括多个频域欠采样图像数据样本。该方法可以包括使用第一重建方法基于原始图像数据生成第一重建结果，以及使用第二重建方法基于原始图像数据生成第二重建结果。该方法还可以包括融合第一重建结果和第二重建结果，并基于融合结果生成重建图像。
在一些实施例中，融合第一重建结果和第二重建结果可以包括以下一个或多个操作。第一重建结果可分解为多个第一组。所述第二重构结果可以分解为多个第二组，其中所述多个第二组中的每一个可以对应于所述多个第一组中的一个。可以确定与所述多个第一组和相应的第二组之间的匹配相关的置信水平。多个第一组和相应的第二组中的每一个都可以基于置信水平进行融合。
在一些实施例中，与多个第一组和相应的第二组之间的匹配相关的确定置信水平可包括以下一个或多个操作。可以确定所述多个第一组中的每一个的灰度值与相应的第二组的灰度值之间的相似性。置信水平可根据相似性确定。
在一些实施例中，融合第一重建结果和第二重建结果可以包括以下一个或多个操作。第一重构结果可转换为第一小波域数据。可以确定第一小波域数据的第一稀疏度。第二重构结果可转换为第二小波域数据。可以确定第二小波域数据的第二稀疏度。第一重建结果和第二重建结果可以基于第一稀疏度和第二稀疏度融合。
在一些实施例中，第一重建方法可以是压缩感测方法，第二重建方法可以是深度学习方法，或者第一重建方法可以是深度学习方法，第二重建方法可以是压缩感测方法。
在一些实施例中，所述方法可以进一步包括以下一个或多个操作。基于原始数据，采用深度学习方法，可以得到第三个重建结果。第一重建结果、第二重建结果和第三重建结果可以融合。
在一些实施例中，该方法可进一步包括以下一个或多个操作。在融合第一重建结果和第二重建结果后，可以确定是否满足预设条件。对于不满足预设条件的判定，可根据融合结果更新原始图像数据；对于满足预设条件的判定，可根据融合结果生成重构图像。
在一些实施例中，融合的结果可以包括频域图像数据，基于融合的结果生成重构图像可以包括将融合的结果包括频域图像数据进行变换以获得重构图像。
在一些实施例中，第一重建结果可以包括第一图像，第二重建结果可以包括第二图像。使用第一重建方法基于原始图像数据生成第一重建结果可以包括使用压缩传感方法基于多个频域欠采样图像数据样本重建第一图像。使用第二重建方法基于原始图像数据生成第二重建结果可以包括使用深度学习方法基于多个频域欠采样图像数据样本重建第二图像。
在一些实施例中，使用第一重建方法生成基于原始图像数据的第一重建结果可以包括使用压缩传感方法重建基于多个频域欠采样图像数据样本的第一图像和使用压缩传感方法转换将第一图像终止为第一组频域图像数据，得到第一重建结果。使用第二重建方法基于原始图像数据生成第二重建结果可以包括使用深度学习方法基于原始图像数据生成第二组频域图像数据，以获得第二重建结果。
附加特征将在下文的描述中部分阐述，并且在对以下内容和附图进行检查后，部分将对本领域技术人员变得明显，或者可以通过示例的生产或操作来学习。本发明的特征可以通过实践或使用下文所讨论的详细示例中所述的方法、工具和组合的各个方面来实现和实现。
附图说明
本公开进一步以示例性实施例的形式来描述。这些示例性的实施例将参考附图详述。这些实施例是非限定性的示例性实施例，其中在附图的若干个视图中相同的附图标记表示相似的结构，并且其中：
图1是根据本公开的一些实施例的示例性成像系统100的示意图；
图2是根据本公开的一些实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图；
图3是根据本公开的一些实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图；
图4是根据本公开的一些实施例的示例性处理引擎140的示意图；
图5是根据本公开的一些实施例生成重建图像的示例性过程的流程图；
图6是根据本公开的一些实施例的示例性重建模块的框图；
图7是根据本公开的一些实施例的示例性融合模块的框图；
图8是根据本公开的一些实施例用于融合两个图像重建结果的示例性过程的流程图；
图9是根据本公开的一些实施例用于融合两个图像重建结果的示例性过程的流程图；
图10是根据本公开的一些实施例获得重建图像的示例性过程1000的流程图；
图11A-11D是根据本公开的一些实施例基于原始图像数据生成重建图像的示例性过程的示意图；
图12A是根据本公开的一些实施例的欠采样原始数据的示意图；
图12B是根据本公开的一些实施例的重建数据的示意图；
图13是根据本公开的一些实施例的示例性图像。
具体实施方式
在下面的详细描述中，通过示例阐述了许多具体的细节，以提供对相关应用的透彻理解。然而，本领域技术人员应当清楚地看到，本申请可以在没有这些细节的情况下实施。在其他情况下，为了避免不必要地混淆本申请的各个方面，已经对众所周知的方法、程序、系统、组件和/或电路进行了较为详细的描述。对所公开实施例的各种修改对于本领域技术人员来说是显而易见的，并且本文定义的一般原则可适用于其他实施例和应用，而不背离本申请的精神和范围。因此，本申请不限于所示的实施例，而是符合权利要求的最宽范围。
应理解，本文使用的术语“系统”、“发动机”、“装置”、“模块”和/或“块”是一种方法，以升序区分不同级别的不同部件、元件、零件、部分或总成。但是，如果这些术语能够达到相同的目的，它们可能会被其他表达所取代。
一般而言，本文所用的“模块”、“单元”或“块”一词是指硬件或固件中包含的逻辑，或软件指令的集合。本文所述的模块、单元或块可以软件和/或硬件的形式实现，并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，软件模块/单元/块可以编译并链接到可执行程序中。应了解，软件模块可从其他模块/单元/模块或自身调用，和/或可根据检测到的事件或中断调用。为在计算设备(如图2所示的处理器210)上执行而配置的软件模块/单元/块可以在计算机可读介质(如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质)上提供，或者作为数字下行链路提供。OAD(最初可以压缩或可安装格式存储，在执行之前需要安装、解压缩或解密)。这些软件代码可以部分或全部存储在执行计算设备的存储设备上，由计算设备执行。软件指令可以嵌入到固件中，例如EPROM。应进一步了解，硬件模块/单元/模块可包括在连接的逻辑组件中，如门和触发器，和/或可包括可编程单元，如可编程门阵列或处理器。本文所述的模块/单元/块或计算设备功能可以软件模块/单元/块的形式实现，但可以用硬件或固件表示。一般而言，本文所述的模块/单元/块是指逻辑模块/单元/块，这些逻辑模块/单元/块可以与其他模块/单元/块组合在一起，也可以划分为子模块/子单元/子块，尽管它们的物理组织或存储方式不同。该描述可适用于系统、发动机或其一部分。
可以理解，当一个单元、模块或模块被称为“开”、“连接到”、“与之通信”、“耦合到”另一个单元、模块或模块时，它可以直接打开、连接到或耦合到另一个单元、模块或模块，或与一个除非上下文另有明确说明，否则可能存在干扰单元、引擎、模块或模块。如本文所用，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。
本文所用术语仅用于描述特定的实施例和实施例，并不打算加以限制。如本文所用，单数形式“a”、“an”和“the”也可用于包括复数形式，除非上下文另有明确说明。应进一步理解，当在本公开中使用术语“包括”和/或“包含”时，指定整数、设备、行为、所述特征、步骤、元素、操作和/或组件的存在，但不排除在集成器、设备、行为、功能、步骤、元素、操作、组件和/或其组。
在一些实施例中，成像系统可包括一种或多种形式，包括数字减影血管造影术(DSA)、磁共振成像(MRI)、磁共振血管造影术(MRA)、计算机断层扫描(CT)、计算机断层扫描血管造影术(CTA)、超声扫描(US)、位置RON发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、CT-MR、CT-PET、CE-SPECT、DSA-MR、PET-MR、PET-US、SPECT-US、TMS(经颅磁刺激)——MR、US-CT、US-MR、X-Ray-CT、X-Ray-MR、X-Ray-Portal、X-Ray-US、视频CT、VIDE US等，或任何组合其中。在一些实施例中，目标区域可以是器官、纹理、物体、损伤、肿瘤等或其任何组合。举例来说，目标区域可能仅包括头部、胸部、肺、肋骨、脊椎、气管、胸膜、纵隔、腹部、长肠、小肠、膀胱、胆囊、三重加热器、盆腔、脊柱、四肢、骨骼、血管，或类似物，或其任何组合。在一些实施例中，图像可以包括二维图像和/或三维图像。在二维图像中，其最小的可分辨元素可以称为像素。在3D图像中，其最小的可分辨元素可以称为体素(“体积像素”或“体积像素”)。在一些实施例中，3D图像也可以看作是一系列二维切片或二维层。
本公开是关于一种通过融合两个重建结果来生成重建图像的图像处理系统和方法。该系统可以使用压缩感知方法生成第一重建结果，以及使用深度学习方法生成第二重建结果。该系统可以将第一重建结果分解为多个第一组，并且将第二重建结果分解为多个第二组。可以确定这些第一组中的每一组与一个对应的第二组之间的相似度。该系统可以基于第一组中的每一组与对应的第二组之间的相似度来确定置信水平，并且可以基于该置信水平来融合两个重建结果。可选地，该系统可以将第一重建结果变换为第一小波域数据，并将第二重建结果变换为第二小波域数据。可以确定第一小波域数据和第二小波域数据的稀疏度，并且可以基于第一小波域数据和第二小波域数据的稀疏度来融合两个重建结果。为了说明的目的，提供以下描述以帮助更好地理解详细过程。应当理解，这并非旨在限制本公开的范围。对于本领域普通技术人员而言，可以在本公开的指导下演绎得到一定数量的变化、改变和/或修改。那些变化、改变和/或修改并不脱离本公开的范围。
图1是根据本公开的一些实施例的示例性成像系统100的示意图。参考图1所示，成像系统100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140、以及存储器150。成像系统100中的所有组件都可以通过网络120互相连接。
扫描仪100可扫描对象并且生成与该对象相关的扫描数据。在一些实施例中，扫描仪110可以是医学成像设备，例如PET设备、SPECT设备、CT设备、MRI设备等或其任意组合(例如，PET-CT设备、PET-MRI设备或CT-MRI设备)。扫描仪110可包括机架111、检测器112、检测区域113和工作台114。在一些实施例中，扫描仪110还可包括放射性扫描源115。机架111可支承检测器112和放射性扫描源115。对象可被置于工作台114上以用于扫描。放射性扫描源115可向该对象发射放射性射线。检测器112可以检测从检测区域113发射的辐射事件(例如，γ光子)。在一些实施例中，扫描仪110可以是MRI扫描设备，并且检测器112可以包括用于检测和接收RF信号的电路。
网络120可包括能协助成像系统100交换信息和/或数据的任意合适的网络。在一些实施例中，成像系统100的一个或多个组件(例如，扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与成像系统100的一个或多个其他组件传递信息和/或数据。例如，处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例，处理引擎140可通过网络120从终端130获得用户指令。网络120可以是/或包括公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例，网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙TM网络、ZigBeeTM网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中，网络120可包括一个或多个网络接入点。例如，网络120可包括有线和/或无线网络接入点，诸如基站和/或因特网交换点，成像系统100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备130-1、平板电脑130-2、笔记本电脑130-3等或其任意组合。在一些实施例中，移动设备130-1可包括智能家用设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。在一些实施例中，智能家用设备可包括智能照明设备、智能电器的控制设备、智能监视设备、智能电视、智能摄像机、互联电话等或其任意组合。在一些实施例中，可穿戴设备可包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能饰物等或其任意组合。在一些实施例中，移动设备可包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等或者其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可包括Google GlassTM、Oculus RiftTM、HololensTM、Gear VRTM等。在一些实施例中，终端130可以是处理引擎140的一部分。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。在一些实施例中，处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中，处理引擎140可以是本地的或远程的。例如，处理引擎140可通过网络120来访问存储在扫描仪110、终端130和/或存储器150中的信息和/或数据。作为另一示例，处理引擎140可以直接连接到扫描仪110、终端130和/或存储器150以访问所存储的信息和/或数据。在一些实施例中，处理引擎140可在云平台上实现。仅作为示例，云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。在一些实施例中，处理引擎140可由图2中所示的具有一个或多个组件的计算设备200来实现。在一些实施例中，处理引擎140可以基于在医学成像过程中获取的原始图像数据来重建图像。重建方法可以包括压缩感知(CS)、深度学习(DL)等或其任意组合。
压缩感知可以指能够有效地获取和重建信号的信号获取和处理技术。在压缩感知方法中，可以通过根据一组既定的采样函数来采集有限数量的信号样本来执行信号的重建。信号样本的总数可以小于奈奎斯特-香农采样定理所要求的数量，但是这些信号样本仍然可以包含用于重建原始信号的足够信息。在压缩感知方法中，可以得到与图像数据的欠采样部分相关联的一组线性方程的数学解。该数学解可以基于采样信号为欠采样信号分配估计值，并由此可以获得重建的结果。
深度学习方法可以被用于通过执行训练图像重建模型以基于原始图像数据生成重建结果。可以通过基于训练数据训练初步模型来获得经训练图像重建模型。包含多层结构的人工神经网络(ANN)可以参与该训练。该初步模型可以学习训练数据的特征以调整多层结构的每个层。经训练图像重建模型可基于已知的原始图像数据来预测未知的图像数据。基于原始图像数据和预测图像数据可以生成重建结果。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中，存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中，存储器150可存储数据和/或指令，处理引擎140可以执行或使用该数据和/或指令以执行本公开中所描述的示例性方法。在一些实施例中，存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中，存储器150可在云平台上实现。仅作为示例，云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。
在一些实施例中，存储器150可连接到网络120，以便与成像系统100中的一个或多个其他组件(例如，处理引擎140、终端130等)通信。成像系统100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中，存储器150可直接连接到成像系统100中的一个或多个其他组件(例如，处理引擎140、终端130等)或与这些组件通信。在一些实施例中，存储器150可以是处理引擎140的一部分。
图2是根据本公开的一些实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可根据本文所描述的技术来执行计算机指令(例如，程序代码)并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块以及函数。例如，处理器210可以处理从扫描仪110、终端130、存储器150、和/或成像系统100的任何其他组件获得的图像数据。在一些实施例中，处理器210可包括一个或多个硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明，在计算设备200中仅描述了一个处理器。然而，应当注意，本公开中的计算设备200也可包括多个处理器，因此本公开中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。例如，在本公开中，计算设备200的处理器执行过程A和过程B(例如，通过CS方法和DL方法重建图像)。然而，应当理解的是，过程A和过程B也可以由计算设备200中的两个或更多个不同的处理器联合或单独地执行(例如，第一处理器使用CS方法重建图像，第二处理器使用DL方法重建图像)。
存储器220可存储从扫描仪110、终端130、存储器150、和/或成像系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或者其任意组合。例如，大容量存储器可包括磁盘、光盘、固态驱动等。可移动存储设备可包括闪驱、软盘、光盘、存储卡、压缩盘、磁带等。易失性读取存储器可包括随机存取存储器(RAM)。RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中，存储器220可存储用于执行本公开中所描述的示例性方法的一个或多个程序和/或指令。例如，存储器220可以为处理引擎140存储用于确定正则项的程序。
I/O 230可输入和/或输出信号、数据、信息等。在一些实施例中，I/O 230可实现用户与处理引擎140的交互。在一些实施例中，I/O230可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
通信端口240可连接到网络(例如，网络120)以协助数据通信。通信端口240可在处理引擎140和扫描仪110、终端130，和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙TM链路、Wi-FiTM链路、WiMaxTM链路、WLAN链路、ZigBee链路、移动网络链路(例如，3G，4G，5G等)等或其组合。在一些实施例中，通信端口240可以是包括标准化通信端口，诸如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，通信端口240可根据医学数字成像和通信(DICOM)协议来设计。
图3是根据本公开的一些实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O 350、内存360、以及存储器390。在一些实施例中，移动设备300中还可包括任何其他合适的组件，包括但不限于系统总线或控制器(未示出)。在一些实施例中，移动操作系统370(例如，iOSTM、AndroidTM、WindowsPhoneTM等)和一个或多个应用380可从存储器390被加载到内存360中以便由CPU 340执行。应用380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O 350来实现并通过网络120提供给处理引擎140和/或成像系统100的其他组件。
在一些实施例中，移动设备300可以向扫描仪110发送指令以扫描某一对象以获得原始图像数据。可选地，移动设备300可以向处理引擎140发送指令以基于原始图像数据生成重建图像。在一些实施例中，处理引擎140的部分或全部功能可以由移动设备300的CPU340实现。
为了实现本公开中所描述的各种模块、单元及其功能，计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程，计算机也可以充当服务器。
图4是根据本公开的一些实施例的示例性处理引擎140的示意图。处理引擎140可包括图像数据获取模块402、重建模块404、融合模块406和转换模块408。处理引擎140的至少一部分可在如图2所示的计算设备200或如图3所示的移动设备300上实现。
图像数据获取模块402可获取图像数据。可以从成像系统100的内部数据源(例如，扫描仪110或存储器150)或通过网络120连接到成像系统100的外部数据源(例如，位于云上的数据库)中获取图像数据。
该图像数据可以和某一对象相关。在一些实施例中，可以通过对对象的整个主体进行全面扫描来生成图像数据，并且所生成的图像数据可以包括与对象的整个主体有关的信息。在一些实施例中，可以通过对对象的一个或多个部分进行扫描来生成图像数据，并且所生成的图像数据可以包括与对象的一个或多个部分有关的信息。所述一个或多个部分可包括但不限于胸部、躯干、上肢、下肢、头部、器官、组织等。图像数据可以是2D图像数据或3D图像数据。3D图像数据可包括多个体素。2D图像数据可包括多个像素。图像数据可包括MRI图像数据、CT图像数据、X射线图像数据、超声图像数据、PET图像数据等或其任何组合。图像数据可包括由扫描仪110生成的原始数据、基于原始数据生成的图像、用于图像生成的参数等或其组合。图像数据可作为k空间数据(即，在空间频率域中)来获取。在图像重建中，可以将图像数据变换为诸如时域和/或频域的其他域数据。
MR图像是在激发之后的特定时间点的样本中的横向磁化的空间分布的复数值映射。傅里叶分析的传统定性解释认为，低空间频率(靠近k空间的中心)包含图像的信噪比和对比度信息，而高空间频率(k空间的外围区域)包含决定图像分辨率的信息。这是一些例如锁孔获取技术的高级扫描技术的基础，在该技术中获取第一个完整的k空间，然后执行后续扫描以仅获取k空间的中心部分；通过这种方式，可以获得不同对比度的图像而无需运行全面扫描。
在MRI物理学中，k空间是所测量的MR图像的2D或3D傅里叶变换，并且处于空间频率域中。在MR测量期间，以由脉冲序列(即，准确定时的射频和梯度脉冲序列)控制的预定方案对其复数值进行采样。在实际中，k空间通常是指临时图像空间，通常是矩阵，其在数据采集期间存储来自数字化MR信号的数据。当k空间已满(在扫描结束时)，对数据进行数学处理以产生最终的图像。因此，k空间在重建之前保留原始数据。
重建模块404可以执行图像重建。图像重建可以指基于不完整的图像数据或欠采样的图像数据来生成医学图像或图像数据。图像重建可以包括基于已知图像信息(即，不完整的图像数据或采样的图像数据)来预测未知图像信息。将预测图像信息进一步与采样图像数据组合以生成具有与扫描对象相关的完整信息的医学图像。在一些实施例中，重建模块404可以基于由图像数据获取模块402获取的图像数据来生成重建图像或重建图像数据。重建模块404可以使用一种或多种图像重建方法来生成重建图像和/或图像数据，所述图像重建方法包括压缩感知方法、深度学习方法等或其任意组合。在一些实施例中，重建模块404可以分别使用多种重建方法生成多个重建图像和/或多组重建图像数据。例如，重建模块404可以分别使用压缩感知方法和深度学习方法来生成重建图像。
融合模块406可以融合多个重建结果。融合可以指将多个图像和/或图像数据的信息组合成单个(或减少数量的)图像或单个图像数据组。融合图像或图像数据可具有比融合前的图像和/或图像数据更高的质量。此外，融合图像或图像数据可以包含与扫描对象相关的更精确的信息。在一些实施例中，融合模块406可以融合第一重建结果和第二重建结果。第一重建结果可以被分解为多个第一组，第二重建结果可以被分解为多个第二组。在一些实施例中，这些第一组和/或这些第二组可各自指代时域中的图像的一片区域或频域中的图像数据的一组值。第二组中的每一组可以对应于第一组中的一组。可以基于每个第一组和一个对应的第二组的相似度来执行融合。在一些实施例中，第一重建结果和第二重建结果都可以是基于原始图像数据重建的医学图像。可以基于第一组和第二组的灰度值来确定相似度。在一些实施例中，第一重建结果和第二重建结果都可以是基于原始图像数据生成的k空间数据。可以基于第一组和第二组的复数矢量来确定相似度。在一些实施例中，可以将第一重建结果和第二重建结果变换为小波域数据，并且可以基于小波域数据的稀疏度来执行融合。
转换模块408可以将第一域中的图像或图像数据变换至第二域。在一些实施例中，转换模块408可以将时域中的图像变换为空间频率域(例如，k空间)中的图像数据，反之亦然。转换模块408可以使用一种或多种方法来执行转换，所述方法包括傅立叶变换、傅里叶逆变换、拉冬变换、小波变换、S变换、拉普拉斯变换，Z变换等或其任意组合。在一些实施例中，转换模块408可以使用傅里叶变换(FT)或快速傅立叶变换(FFT)将时域中的图像变换为频域中的图像数据。在一些实施例中，转换模块408可以使用快速傅里叶逆变换(IFFT)将频域中的图像数据变换为时域中的图像。在一些实施例中，转换模块408可以使用快速傅里叶逆变换(IFFT)将频域中的图像数据变换为时域中的图像。
图5是根据本公开的一些实施例生成重建图像的示例性过程的流程图。在一些实施例中，过程500可以由处理引擎140执行。过程500的至少一部分可在图2所示的计算设备200或图3所示的移动设备300上实现。
在步骤510中，可获取图像数据。在一些实施例中，图像数据可以是k空间数据(或称为空间频率域中的数据)。k空间是所测量的MR图像的2D或3D傅里叶变换，并且处于空间频率域。在一些实施例中，图像数据可能是欠采样的。可以通过使用压缩感知方法(也称为压缩采样)对信号进行采样来获取图像数据。在一些实施例中，图像数据可以由图像数据获取模块402获取。可以由通信端口240从成像系统100的扫描仪110、存储器150、终端130和/或计算设备200的I/O 230获取图像数据。在一些实施例中，该图像数据可以通过网络120从与成像系统100相连接的外部数据源获取。可以对该图像数据进行预处理。该预处理可以包括图像归一化、图像重建、图像平滑、抑制、弱化、降噪、细节减少、突变减少等或其任意组合。预处理可以使图像具备良好的重建条件。
在步骤520中，可以基于图像数据获得第一重建结果。在一些实施例中，可以由重建模块404获得第一重建结果。在一些实施例中，第一重建结果可以是基于图像数据的重建图像。可选地，第一重建结果可以是通过处理获得的图像数据而生成的k空间数据。第一重建结果可以使用一个或多个图像重建方法来获得，这些方法包括压缩感知方法、深度学习方法、模型匹配方法、滤波器反投影(FBP)、有序子集期望最大化(OS-EM)等或其任何组合。在一些实施例中，可以在获得第一重建结果时执行域变换。在一些实施例中，域变换可以由转换模块408执行。例如，可以使用压缩感知来处理图像数据以获得原始图像或一组图像数据，然后可以对原始图像或一组图像数据执行快速傅里叶变换(FFT)，以获得重建图像数据作为第一重建结果。作为另一示例，可以对图像数据执行快速傅里叶逆变换(IFFT)以获得原始图像或一组图像数据。可以使用深度学习方法进一步处理原始图像或一组图像数据以获得重建图像。然后可以对重建图像执行FFT以获得重建图像数据作为第一重建结果。
在步骤530中，可以基于图像数据获得第二重建结果。在一些实施例中，可以通过重建模块404获得第二重建结果。在一些实施例中，第二重建结果可以与第一重建结果具有相同的格式。例如，第一重建结果和第二重建结果都可以是图像。作为另一示例，第一重建结果和第二重建结果都可以是k空间数据。第二重建结果可以使用一个或多个图像重建方法来获得，这些方法包括压缩感知方法、深度学习方法、模型匹配方法、滤波器反投影(FBP)、有序子集期望最大化(OS-EM)等或其任意组合。在一些实施例中，可以在获得第二重建结果时执行域变换。例如，可以对图像数据执行快速傅里叶逆变换(IFFT)以获得原始图像。然后可以使用深度学习方法处理原始图像以获得重建的图像数据作为第二重建结果。
在一些实施例中，可以使用不同方法获得第一重建结果和第二重建结果。例如，可以通过使用压缩感知方法处理图像数据来获取第一重建结果，并且可以通过使用深度学习方法处理图像数据来获取第二重建结果。作为另一示例，可以使用第一深度学习方法来获取第一重建结果，并且可以使用第二深度学习方法来获取第二重建结果。在一些实施例中，第一重建结果和第二重建结果可以具有相同的尺寸。例如，第一重建结果和第二重建结果可以是具有相同分辨率的图像。在一些实施例中，可以基于图像数据获得多个重建结果。例如，可以使用压缩方法获得第一重建结果，可以使用第一深度学习方法获得第二重建结果，并且可以使用第二深度学习方法获得第三重建结果。第一深度学习方法和第二深度学习方法可以采用不同的图像重建模型。
在步骤540中，可以融合第一重建结果和第二重建结果(以及可能存在的第三重建结果)。当基于图像数据获得多个重建结果时，可以融合多个重建结果。在一些实施例中，可以通过融合模块406来融合第一重建结果和第二重建结果。在一些实施例中，第一重建结果可以被分解为多个第一组，第二重建结果可以被分解为多个第二组。第二组中的每一组可以对应于第一组中的一组。可以基于第一组中的每一组和一个对应的第二组的相似度来进行融合。在一些实施例中，第一重建结果和第二重建结果都可以是图像。可以基于第一组和第二组的灰度值来确定第一组和第二组之间的相似度。在一些实施例中，第一重建结果和第二重建结果都可以是k空间数据。可以基于第一组和第二组的复数矢量来确定相似度。在一些实施例中，可以将第一重建结果和第二重建结果变换为小波域数据，并且可以基于小波域数据的稀疏度来执行融合。关于融合的更多描述可以在本公开的其他地方找到，例如，图8和9，及其描述。
在步骤550中，可以基于融合结果获得重建图像。在一些实施例中，该融合结果可以是时域中的融合图像，并且可以直接从该融合结果获得重建图像。在一些实施例中，该融合结果可以是频域中的融合图像数据，并且可以通过将融合结果变换到时域来获得重建图像。
图6是根据本公开的一些实施例的示例性重建模块的框图。重建模块404可以包括压缩感知重建单元602和一个或多个深度学习重建单元604。重建模块404的至少一部分可在如图2中所示的计算设备200或如图3中所示的移动设备300上实现。
压缩感知重建单元602可以使用压缩感知方法来重建图像。压缩感知可以指能够有效地获取和重建信号的信号获取和处理技术。在压缩感知方法中，可以通过根据一组既定的采样函数来采集有限数量的信号样本，从而执行信号的重建。信号样本的总数可以小于奈奎斯特-香农采样定理所要求的数量，但是这些信号样本仍然可以包含用于重建原始信号的足够信息。在压缩感知方法中，可以得到与图像数据的欠采样部分相关联的一组线性方程的数学解。该数学解可以基于采样信号为欠采样信号分配估计值，并由此可以获得重建的结果。
在一些实施例中，压缩感知重建单元602可基于原始图像数据重建图像。原始图像数据可以是原始的k空间数据。可以在k空间中进行有限数量的信号采样，因此可以获取有限数量的数据(也称为原始k空间数据)。压缩感知重建单元602可以使用一个或多个数学解来基于已知的原始k空间数据估计未知数据。可以基于原始k空间数据和估计数据来执行重建。压缩感知的示例性方法如Lustig等人所描述(Lustig M,Donoho D L,Santos J M,etal.“Compressed Sensing MRI”.IEEE Signal Processing Magazine,2008,25(2):72-82.)。
深度学习重建单元604可以使用深度学习方法来重建图像。在一些实施例中，深度学习重建单元604可包括一个或多个深度学习重建单元，例如深度学习重建单元1604-1、深度学习重建单元2 604-2、深度学习重建单元n 604-n等或其任意组合。在一些实施例中，每一个深度学习重建单元604都可以包括一个图像重建模型。为了获得图像重建模型，可以获取初步模型并且可以获取一组训练数据以训练该初步模型。在一些实施例中，训练数据可包括输入训练数据和输出训练数据。在一些实施例中，每个输入训练数据项可以对应一个输出训练数据项。例如，输入训练数据及其对应的输出训练数据可以从与同一对象或同一组织或器官有关的信息获得。输入训练数据和输出训练数据可以是时域中的图像格式或k空间中的图像数据格式。输入训练数据和输出训练数据的格式可以相同或不同。例如，输入训练数据和输出训练数据都可以是图像。作为另一示例，输入训练数据可以是图像，输出训练数据可以是图像数据。在一些实施例中，输出训练数据可以具有比输入训练数据更高的质量。例如，输出训练图像可以具有比其对应的输入训练图像更高的分辨率。在一些实施例中，可以对输入训练数据进行欠采样。例如，可以删除输入训练数据的一部分采样数据以模拟欠采样的情况。深度学习的示例性方法如Dong等人所描述(Dong C,Chen C L,He K,etal.“Learning a Deep Convolutional Network for Image Super-Resolution”ComputerVision–ECCV 2014.Springer International Publishing,2014:184-199.)。
图像重建模型可包括多层结构。图像重建模型可以包括，例如深度神经网络、深度置信网络、卷积神经网络、卷积深度置信网络、深度玻尔兹曼机、堆叠自动编码器、深度堆叠网络、深度编码网络、深度核心机器等及其任意组合。在一些实施例中，可以从输入训练数据中提取一个或多个特征。多层结构的初始层可以学习从输入训练数据中提取的特征，并且所学习的特征可以作为下一层的输入数据。多层结构的其他层可以从其先前层获得的输入数据中学习一个或多个特征。多层结构的最后一层可以输出对应于输出训练数据之一的结果。可以基于每层的学习来修改多层结构，以生成训练图像重建模型。
在一些实施例中，深度学习重建单元604可以处理输入图像(或图像数据)以获得输出图像(或图像数据)。输出图像(或图像数据)可具有比输入图像(或图像数据)更高的质量。
图7是根据本公开的一些实施例的示例性融合模块的框图。融合模块406可以包括分组单元702、相似度确定单元704、置信水平确定单元706和稀疏度确定单元708。融合模块406的至少一部分可在图2所示的计算设备200或图3所示的移动设备300上实现。
分组单元702可以将重建结果分解为多个组。在一些实施例中，多个组中的每一组可各自指代时域中的图像的一片区域或频域中的图像数据的一组值。在一些实施例中，分组单元702可以将重建结果分解为相同大小的多个组。例如，分组单元702可以将重建图像分解为多个组，每个组包括相同数量的像素(或者对于3D图像来说的相同数量的体素)。多个组之间可以彼此重叠。在一些实施例中，分组单元702可以将多个重建结果分别分解为多个组。多个重建结果中的多个组可以彼此对应。例如，第一重建结果中的多个第一组中的每一组可以对应于第二重建结果中的多个第二组中的一组。
相似度确定单元704可以确定多个重建结果中对应的多个组的灰度值之间的相似度。以第一重建结果中的第一组和第二重建结果中的第二组为例，多个第一组和第二组中的每一组可以仅包括一个像素，并且可以通过比较第一组的灰度值和第二组的灰度值来直接确定相似度。例如，第一组和第二组的灰度值之间的差异较小可以指示第一组和对应的第二组之间的相似度较高。可选地，多个第一组和多个第二组中的每一组可以包括多个像素，并且可以通过识别第一组和对应的第二组的欧几里德距离来确定相似度。欧几里德距离可以指欧几里德空间中两点之间的直线距离。在一些实施例中，可以将第一组和对应的第二组投影到欧几里德空间中的两个点，并且可以确定两个点之间的欧几里德距离。较短的欧几里德距离可以指示第一组和对应的第二组之间的较高相似度。
置信水平确定单元706可基于相似度来确定置信水平。置信水平可以指基于重建结果恢复真实图像和/或图像数据的可靠性水平。置信水平可以是0到1之间的值。置信水平确定单元704可以基于重建结果之间的相似度来确定重建结果的置信水平。在一些实施例中，较高的相似度可以指示较高的置信水平。
在一些实施例中，置信水平确定单元706可以通过对相似度进行变换来确定置信水平。该变换可以基于一个或多个非线性函数来执行，所述非线性函数包括高斯函数、余弦函数、负对数函数等或其任意组合。
在一些实施例中，转换模块408可以通过执行小波变换将重建结果变换为小波域数据。小波可以指波浪状振荡，这种振荡是经过精心设计的，具有对信号处理有用的特定属性。小波变换可以指一种可以将数据变换为连续时间信号的时频表示形式的数学函数。
稀疏度确定单元708可以确定小波域数据的稀疏度。稀疏度可以指一种程度，该程度表示小波域数据中的零值的数量。在一些实施例中，稀疏度确定单元708可以基于小波域数据中的多个非零值和多个零值(或它们之间的比)来确定稀疏度。在一些实施例中，重建结果(例如，第一重建结果、第二重建结果)可以被组合成多个组。该多个组可以被变换为多个小波域数据组，并且可以针对该多个小波域数据组中的每个组确定稀疏度。
图8是根据本公开的一些实施例的用于融合两个图像重建结果的示例性过程的流程图。在一些实施例中，过程800可以由融合模块406执行。过程800的至少一部分可在图2所示的计算设备200或图3所示的移动设备300上实现。
在步骤810中，可以获取第一重建结果和第二重建结果。可以使用如本公开中提到的不同方法来获取第一重建结果和第二重建结果。在一些实施例中，第一重建结果和第二重建结果都可以是图像。可选地，第一重建结果和第二重建结果都可以是k空间数据。
在步骤820中，可以将第一重建结果分解为多个第一组。多个第一组可以具有相同的大小。在一些实施例中，第一重建结果可以是图像，并且该图像可以被划分为多个区域。每个区域可包括一个或多个像素(或用于3D图像的体素)。在一些实施例中，该多个区域可以彼此重叠。例如，具有9个像素(例如，分辨率为3×3)的图像可以被划分为四个区域，每个区域的分辨率为2×2。该3×3图像的中心像素可以被所有四个区域重叠。该3×3图像中每行和每列的中间像素(中心像素除外)可以被两个区域重叠。第一重建结果的边缘可以仅包括在一个区域中。
在步骤830中，可以将第二重建结果分解为与多个第一组相对应的多个第二组。第一重建结果和第二重建结果的大小可以相同或不同。在一些实施例中，第二重建结果可以被分解成与第一重建结果相同数量的组。多个第一组和多个第二组的大小可以相同。
在步骤840中，可以确定多个第一组中的每一组的灰度值与对应的第二组的灰度值之间的相似度。在一些实施例中，多个第一组和多个第二组中的每一组可以仅包括一个像素，并且可以通过比较第一组的灰度值和第二组的灰度值来直接确定相似度。例如，第一组和第二组的灰度值之间的差异较小可以指示第一组和第二组之间的相似度较高。
在一些实施例中，多个第一组和多个第二组中的每一组可以包括两个或多个像素，并且可以通过识别第一组和对应的第二组之间欧几里德距离来确定相似度。欧几里德距离可以指欧几里德空间中两点之间的直线距离。在一些实施例中，可以将第一组和对应的第二组投影到欧几里德空间中的两个点，并且可以确定两个点之间的欧几里德距离。较短的欧几里德距离可以指示第一组和第二组之间的较高相似度。
在步骤850中，可确定与多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平。置信水平可以指第一组和相应的第二组基于原始图像数据恢复真实图像和/或图像数据的可靠性水平。置信水平可以是0到1之间的值。在一些实施例中，在步骤840中所确定的较高的相似度可以指示较高的置信水平。在一些实施例中，可以通过对相似度进行变换来确定置信水平。该变换可以基于一个或多个非线性函数来执行，所述非线性函数包括高斯函数、余弦函数、负对数函数等或其任意组合。
在步骤860中，可以基于在步骤850中确定的置信水平来融合第一重建结果和第二重建结果。在一些实施例中，可以基于在步骤850中确定的置信水平为多个第一组和对应的第二组中的每一组确定一个权重。例如，第一重建结果可以是分辨率为3×3的图像，并且可以被划分为四个区域(也称为第一区域或第一组)，每个区域包括4个像素。第二重建结果也可以是分辨率为3×3的图像，并且可以被划分为四个区域(也称为第二区域或第二组)，每个区域包括4个像素。第二区域中的每一个区域可以对应于第一区域中的一个区域。第一重建结果的中心像素可以被所有四个区域重叠，并且第二重建结果的中心像素可以被所有四个区域重叠。第一重建结果和第二重建结果的融合结果也可以是分辨率为3×3的图像。可以基于对应的置信水平为第一区域中的每一区域和对应的第二区域确定一个权重。较高的置信水平可以指示被分配给第一区域中的每一区域和相应的第二区域的权重较高。可以对应于四个第一区域和第二区域确定四个权重。分配给四个第一区域和对应的第二区域的权重的总和可以是一。为了确定融合图像的中心像素的灰度值，可以确定与第一重建结果的中心像素重叠的第一区域和第二区域(例如，所有四个区域)中的每一区域的像素的灰度值。可以基于第一区域中的每一区域和对应的第二区域来确定中心像素的四个估计灰度值。可以将四个估计灰度值与其相应的权重相乘。进一步地，可以将该相乘结果相加从而可以确定中心像素的灰度值。类似地，可以确定其他像素的灰度值。
图9是根据本公开的一些实施例的用于融合两个重建结果的示例性过程的流程图。在一些实施例中，过程900可以由融合模块406执行。过程900的至少一部分可在图2所示的计算设备200或图3所示的移动设备300上实现。
在步骤910中，可以获取第一重建结果和第二重建结果。在一些实施例中，可以使用如本公开中提到的不同方法来获取第一重建结果和第二重建结果。在一些实施例中，第一重建结果和第二重建结果都可以是图像。可选地，第一重建结果和第二重建结果都可以是k空间数据。
在步骤920中，可以使用小波变换将第一重建结果变换为第一小波域数据。小波可以指波浪状振荡，这种振荡是经过精心设计的，具有对信号处理有用的特定属性。小波变换可以指一种可以将数据变换为连续时间信号的时频表示形式的数学函数。在一些实施例中，第一重建结果可以被分解为多个第一组，该多个第一组中的每一组可以被变换为小波域数据。小波变换的示例性方法如Zhou等人所描述(Zhou,Jianping,A.L.Cunha,andM.N.Do."Nonsubsampled contourlet transform:Construction and application inenhancement."IEEE International Conference on Image Processing,2005:469-472.)。
在步骤930中，可以确定第一小波域数据的第一稀疏度。稀疏度可以指一种程度，该程度表示数据中的零值的数量。在一些实施例中，可以基于第一小波域数据中的多个非零值和多个零值(或它们之间的比)来确定第一稀疏度。在一些实施例中，可以将在第一重建结果中分解的多个第一组变换为多组第一小波域数据，并且可以为每组第一小波域数据确定一个稀疏度。
在步骤940中，可以将第二重建结果变换为第二小波域数据。在一些实施例中，第二重建结果可以被分解为对应于多个第一组的多个第二组，并且该多个第二组中的每一组可以被变换为小波域数据。
在步骤950中，可以确定第二小波域数据的第二稀疏度。在一些实施例中，可以基于第二小波域数据中的多个非零值和多个零值(或它们之间的比)来确定第二稀疏度。在一些实施例中，可以将在第二重建结果中分解的多个第二组变换为多组第二小波域数据，并且可以为每组第二小波域数据确定一个稀疏度。
在步骤960中，可以基于第一稀疏度和第二稀疏度来融合第一重建结果和第二重建结果。在一些实施例中，可以将在其对应的小波域数据中包含较低稀疏度的重建结果确定为更可靠的重建结果。例如，如果第一稀疏度低于第二稀疏度，则可以将第一重建结果确定为比第二重建结果更可靠的重建结果。在一些实施例中，可以保留更可靠的重建结果或更好的组来生成融合结果，并且可以丢弃不太可靠的重建结果或不太可靠的组。在一些实施例中，可以比较在第一重建结果中分解的多个第一组中的每一组的稀疏度和对应的第二组的稀疏度，并且可以将具有较低稀疏度的组确定为目标组。可以结合所有的目标组来进行融合以生成融合图像。
图10是根据本公开的一些实施例获得重建图像的示例性过程1000的流程图。过程1000的至少一部分可在图2所示的计算设备200或图3所示的移动设备300上实现。
在步骤1005中，可以获取空间频率域中的原始图像数据(或称为k空间数据)。在一些实施例中，原始图像数据可以是欠采样的并且包括多个欠采样图像数据样本。例如，原始图像数据的一部分可能是不完整的(或由于未收集而缺失)。在图像重建期间，可以用默认值(例如，零)预填充原始图像数据中不完整的部分。可以通过使用压缩感知方法(也称为压缩采样)对信号进行采样来获取原始图像数据。
在步骤1010中，可以基于原始图像数据使用压缩感知方法确定第一图像。压缩感知方法可以对应于压缩感知重建单元602中描述的方法，在此不再赘述。在一些实施例中，第一图像可以指基于多个欠采样图像数据样本使用压缩感知方法重建的图像。在图像重建期间，利用基于多个欠采样图像数据样本而使用压缩感知方法估计的值来更新原始图像数据中预填充有默认值的部分。
在步骤1015中，可以使用快速傅里叶逆变换将原始图像数据在时域中变换为原始图像。
在步骤1020中，可以基于原始图像使用深度学习方法确定第二图像。深度学习方法可以对应于深度学习重建单元604中描述的方法，在此不再赘述。在一些实施例中，第二图像可以指基于多个欠采样图像数据样本使用深度学习方法重建的图像。在图像重建期间，利用基于多个欠采样图像数据样本而使用深度学习方法估计的值来更新原始图像数据中预填充有默认值的部分。
在步骤1025中，可以融合第一图像和第二图像。融合方法可以对应于步骤820至860或步骤920至960中描述的方法，在此不再赘述。
在步骤1030中，可以获得融合图像。在一些实施例中，步骤1025中的融合可以在时域中执行，并且融合图像可以直接从融合结果获得。融合图像可以包括基于多个欠采样图像数据样本分别通过压缩感知方法和深度学习方法重建的融合信息。这样，融合图像中预先填充有默认值的至少一些像素可以在融合之后用估计值(例如，用估计值填充)来完成。
在一些实施例中，过程1000可以是迭代过程。例如，在每次迭代中，处理引擎140可以在步骤1035中确定预设条件是否得到满足。该预设条件可以包括迭代的预设次数，融合图像与原始图像数据或先前迭代得到的融合图像相比的预设改善程度。预设改善程度可以包括当前迭代中融合图像(或对应的图像数据)的稀疏度与前一次迭代中融合图像的稀疏度之间的稀疏度差异的阈值。预设改善程度还可以包括当前迭代中的融合图像与前一次迭代中的融合图像之间的分辨率差异的阈值。当满足预设条件时(例如，迭代次数超过预设的迭代次数或连续迭代之间的改善程度小于预设的改善程度)，过程1000可以进行到步骤1045；否则，过程1000可以进行到步骤1040。
在步骤1040中，可以在频域中将融合图像变换为补充图像数据。在一些实施例中，可以使用快速傅里叶变换(FFT)来变换融合图像。然后，过程1000可以返回到步骤1005，并且可以基于补充图像数据更新原始图像数据。例如，原始图像数据可以是欠采样的并且可以包含零值。可以基于补充图像数据中的值来更新零值。原始图像数据中的原始非零值可以不变。可选地，也可以基于补充图像数据中的值来更新原始非零值。
在第二次迭代中，可以基于第一次迭代中的补充图像数据来更新原始图像数据。在随后的迭代中，可以基于前一次迭代中的补充图像数据和/或先前迭代中的补充图像数据来进一步更新原始图像数据(或更新的原始图像数据)。
在步骤1045中，可以生成重建图像。在一些实施例中，可以直接从融合图像生成重建图像。在一些实施例中，可以根据后处理的融合图像生成重建图像。该后处理可以包括图像归一化、图像平滑、抑制、弱化、降噪、细节减少、突变减少等或其任意组合。
应当注意，以上描述仅是为了解说的目的而提供的，而并非旨在限定本公开的范围。对于本领域普通技术人员而言，可在本公开的教导下做出多种变化和修改。然而，那些变化和修改并不脱离本公开的范围。例如，在步骤1010中，可以使用压缩感知方法获得第一图像数据，并且在步骤1020中，可以使用深度学习方法获得第二图像数据。第一图像数据和第二图像数据均可以包括关于原始数据中不完整部分的估计信息。在步骤1025中，可以基于对第一图像数据和第二图像数据中原始数据不完整的部分的估计来在频域中进行融合。步骤1030中的融合图像可以是通过使用例如IFFT将频域中的融合结果变换为时域中的图像来获得。
图11A-11D是基于原始图像数据生成重建图像的示例性过程的示意图。为简洁起见，图11A-11D中所述的“图像数据”可以指k空间(频域)中的图像数据，并且图11A-11D中所述的“图像”可以指时域中的图像。然而，应该理解，对于本领域技术人员来说，可以在不偏离本公开的精神的前提下对图11A-11D进行修改和变化。这些修改和变化仍在本公开的保护范围内。
如图11A所示，可以获得原始图像数据。可以基于原始图像数据使用CS方法获得图像0(图中未示出)。可以使用快速傅立叶变换(FFT)将图像0变换为图像数据0。可以基于原始图像数据使用DL方法获得图像数据1。可以将图像数据0和图像数据1融合以生成融合图像数据。可以对融合图像数据使用快速傅立叶逆变换(IFFT)以生成重建图像。
如图11B所示，可以获得原始图像数据。可以基于原始图像数据使用CS方法获得图像0。可以使用快速傅立叶变换(FFT)将图像0变换为图像数据0。可以对原始图像数据使用快速傅立叶逆变换(IFFT)以生成原始图像。可以基于原始图像使用DL方法生成图像1，并且可以使用FFT将图像1变换为图像数据1。类似的，可以将图像数据0和图像数据1融合以生成融合图像数据。可以对融合图像数据使用快速傅立叶逆变换(IFFT)以生成重建图像。
如图11C所示，可以获得原始图像数据。可以基于原始图像数据使用CS方法获得图像0。可以基于原始图像数据使用IFFT获得图像数据1。然后，可以基于图像数据1使用DL方法获得图像1。可以融合图像0和图像1以生成重建图像。
如图11D所示，可以获得原始图像数据。可以用类似于图11C中所描述的方式获得图像0。生成图像1的方法可以重复多次以生成图像2-n。当采用DL方法时，可以基于相同或不同的图像重建模型生成图像2-n。可以融合图像0到n以生成重建图像。
图12A是根据本公开的一些实施例的欠采样原始数据的示意图。线圈1，线圈2，线圈3和线圈4可分别代表第一射频(RF)线圈，第二RF线圈，第三RF线圈和第四RF线圈。每一个RF线圈可对应于一个通道。在每个通道中，黑点(例如，黑点1210-1)可以各自表示一个采样数据样本(例如，欠采样区域中的采样数据的轨迹和/或数据线)，白点(例如，白点1220)可以各自表示一个欠采样数据样本。可以通过本公开中提到的一种或多种方法来估计/重建欠采样数据样本，这些方法包括但不限于压缩感知方法和/或深度学习方法。
图12B是根据本公开的一些实施例的重建数据的示意图。类似地，线圈1，线圈2，线圈3和线圈4可分别代表第一射频(RF)线圈，第二RF线圈，第三RF线圈和第四RF线圈，并且每一个RF线圈可对应于一个通道。在每个通道中，黑点(例如，黑点1210-2)可以各自表示一个采样数据样本，灰点(例如，灰点1230)可以各自表示一个重建数据样本。可以通过本公开中提到的一种或多种方法来生成重建数据样本，这些方法包括但不限于压缩感知方法和/或深度学习方法。
图13是根据本公开的一些实施例的示例性图像。图像1310是直接从欠采样原始数据重建的图像。图像1320是通过如本公开所描述的深度学习方法从原始数据重建的图像。图像1330是通过如本公开所描述的压缩感知方法重建的图像。图像1340是使用如本公开中所描述的融合方法融合图像1320和图像1330而生成的图像。如图13所示，与图像1320和图像1330相比，融合图像1340具有更高的对比度，更高的信噪比(SNR)和更清晰的图像纹理。
既已描述了基本概念，对本领域技术人员来说在阅读本详细公开之后十分显然的是，之前的详细公开旨在仅作为示例来给出，而并不构成限定。尽管未在本文中明确说明，可能会发生一些本领域技术人员可预期的变更、改善和修改。这些变更、改善和修改旨在由本公开所揭示，并且这些变更、改善和修改都落在本公开的示例性实施例的精神和范围之内。
此外，某些术语已用于描述本发明的实施例。例如，术语“一个实施例”、“一个实施例”和/或“一些实施例”意指与实施例相关的所述特定特征、结构或特征包括在本公开的至少一个实施例中。因此，应强调并应理解，本说明书各部分中两个或两个以上提及的“一个实施例”或“一个实施例”或“替代实施例”不一定都指同一实施例。此外，具体特征、结构或特征可以在本发明的一个或多个实施例中适当组合。
此外，本领域技术人员将对本发明表示赞赏，本发明的各个方面可以在许多专利类别或上下文中的任何一个类别或上下文中进行说明和描述，包括任何新的和有用的工艺、机器、制造或物质的组成，或任何新的和有用的改进。因此，本公开的各个方面可以完全实现硬件、完全实现软件(包括固件、驻留软件、微代码等)，或者将软件和硬件实现结合起来，这些实现通常在本文中称为“单元”、“模块”或“系统”。“此外，本公开的各个方面可以采用计算机程序产品的形式，所述计算机程序产品包含在一个或多个计算机可读介质中，并且所述计算机可读程序代码包含在所述计算机可读介质中。
计算机可读信号介质可以包括传播的数据信号，其中包含计算机可读程序代码，例如，在基带或作为载波的一部分。所述传播信号可以采取任何形式，包括电磁、光学或类似形式，或其任何适当组合。计算机可读信号介质可以是不是计算机可读存储介质的任何计算机可读介质，并且可以通信、传播或传输程序，以供指令执行系统、设备或设备使用或与之相关。包含在计算机可读信号介质上的程序代码可以使用任何适当的介质(包括无线、有线、光纤电缆、射频等)或上述的任何适当组合进行传输。
用于执行本公开方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包括面向对象的编程语言，如Java、斯卡拉、SimalTalk、Effele、JADE、埃默拉尔德、C++、C**、VB。NET、python等，常规程序编程语言，如“c”编程语言、Visual Basic、Fortran 2103、Perl、COBOL 2102、PHP、ABAP、动态编程语言(如python、ruby和groovy)或其他编程语言。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立软件包执行，部分在用户的计算机上执行，部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用Internet服务pr的Internet或者在云计算环境中，或者作为软件即服务(SaaS)等服务提供。
此外，加工元件或序列的背诵顺序，或因此而使用数字、字母或其他名称，并不打算将所要求的工艺和方法限制为除权利要求书中可能规定的以外的任何顺序。尽管上述公开通过各种实例讨论了目前被认为是本公开的各种有用实施例的内容，但应当理解，该等细节仅用于该目的，并且所附权利要求不限于所公开的实施例，但是，相反，旨在涵盖在所公开实施例的精神和范围内的修改和等效安排。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为仅软件解决方案，例如在现有服务器或移动设备上安装。
同样，应当理解的是，在本发明实施例的上述描述中，为了简化公开，有助于理解一种或多种本发明实施例。但是，这种披露方法不应解释为反映了一种意图，即要求保护的标的物需要比每项权利要求中明确陈述的更多的特征。相反，本发明实施例位于上述公开的单个实施例的所有特征中。
在一些实施例中，用于描述和声称应用的某些实施例的表示数量或性质的数字应理解为在某些情况下被术语“约”、“近似”或“实质性地”修改。例如，“约”、“近似”除非另有说明，否则近似值“或实质性”可表示其所描述值的±20％变化。因此，在一些实施例中，书面说明书和所附权利要求书中所述的数值参数是近似值，其可能随特定实施例寻求获得的期望性质而变化。在一些实施例中，数字参数应根据报告的有效位数和应用普通四舍五入技术来解释。尽管本申请的一些实施例的宽泛范围中所列的数值范围和参数是近似值，但具体实施例中所列的数值应尽可能准确地报告。
本文所引用的每一项专利、专利申请、专利申请的出版物和其他材料，如文章、书籍、说明书、出版物、文件、事物和/或类似物，在所有目的下均通过本引用并入本文中，例如：接受与本文件有关的任何起诉文件历史，与本文件不一致或冲突的任何起诉文件历史，或对与本文件有关的现在或以后的权利要求的最广泛范围有限制性影响的任何起诉文件历史。举例来说，如果与任何合并材料相关的术语的描述、定义和/或使用与本文件相关的术语、描述、定义和/或使用本文件中的术语之间存在任何不一致或冲突，应以ENT为准。
在结束语中，应当理解，本文所公开的申请的实施例是对申请实施例的原理的说明。可以采用的其他修改可以在适用范围内。因此，通过示例而非限制性地，可以根据本文的教导使用本申请实施例的替代配置。因此，本申请的实施例不限于所示和描述的精确实施例。

Claims (24)

1.一种在至少一个设备上实现的方法，所述设备包括至少一个处理器以及至少一个计算机可读存储介质，所述方法包括：
获取原始图像数据，其中所述原始图像数据包括多个频域欠采样图像数据样本；
基于所述原始图像数据使用第一重建方法生成第一重建结果；
基于所述原始图像数据使用第二重建方法生成第二重建结果；
融合所述第一重建结果和所述第二重建结果；以及
基于所述融合结果生成重建图像；
所述融合所述第一重建结果和所述第二重建结果包括：
将所述第一重建结果分解为多个第一组；
将所述第二重建结果分解为多个第二组，其中所述多个第二组中的每一组对应于所述多个第一组中的一组；
确定与所述多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平；以及
基于所述置信水平融合所述多个第一组中的每一组和对应的第二组；或者，
所述融合所述第一重建结果和所述第二重建结果包括：
将所述第一重建结果转换为第一小波域数据；
确定所述第一小波域数据的第一稀疏度；
将所述第二重建结果转换为第二小波域数据；
确定所述第二小波域数据的第二稀疏度；以及
基于所述第一稀疏度和所述第二稀疏度融合所述第一重建结果和所述第二重建结果。
2. 根据权利要求1所述的方法，其特征在于，所述确定与所述多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平包括：
确定所述多个第一组中的每一组的灰度值与所述对应的第二组的灰度值之间的相似度；以及
基于所述相似度确定所述置信水平。
3.根据权利要求1所述的方法，其特征在于，所述第一重建方法是压缩感知方法并且所述第二重建方法是深度学习方法，或者所述第一重建方法是深度学习方法并且所述第二重建方法是压缩感知方法。
4. 根据权利要求1所述的方法，还包括：
基于所述原始数据使用深度学习方法生成第三重建结果；以及
融合所述第一重建结果、所述第二重建结果和所述第三重建结果。
5.根据权利要求1所述的方法，其特征在于还包括：
在融合所述第一重建结果和所述第二重建结果之后，确定是否满足预设条件；
当确定不满足所述预设条件时，基于所述融合结果更新所述原始图像数据；
当确定满足所述预设条件时，基于所述融合结果生成所述重建图像。
6.根据权利要求1所述的方法，其特征在于，所述融合结果包括频域图像数据，并且所述基于融合结果生成重建图像包括：变换包括频域图像数据的所述融合结果，以获得所述重建图像。
7.根据权利要求1所述的方法，其特征在于，所述第一重建结果包括第一图像，并且所述第二重建结果包括第二图像，其中：
所述基于所述原始图像数据使用第一重建方法生成第一重建结果包括：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建所述第一图像；以及
所述基于所述原始图像数据使用第二重建方法生成第二重建结果包括：
基于所述多个频域欠采样图像数据样本使用深度学习方法重建所述第二图像。
8.根据权利要求1所述的方法，其特征在于，
所述基于所述原始图像数据使用第一重建方法生成第一重建结果包括：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建第一图像；以及
将所述第一图像变换为第一组频域图像数据，以得到所述第一重建结果；以及
所述基于所述原始图像数据使用第二重建方法生成第二重建结果包括：
基于所述原始图像数据样本使用深度学习方法生成第二组频域图像数据，以得到所述第二重建结果。
9. 一种系统，包括：
存储指令集的存储设备，以及
至少一个处理器，其被配置成与所述存储设备通信，其中当执行所述指令集时，所述至少一个处理器被配置为使所述系统：
获取原始图像数据，其中所述原始图像数据包括多个频域欠采样图像数据样本；
基于所述原始图像数据使用第一重建方法生成第一重建结果；
基于所述原始图像数据使用第二重建方法生成第二重建结果；
融合所述第一重建结果和所述第二重建结果；以及
基于所述融合结果生成重建图像；
为了融合所述第一重建结果和所述第二重建结果，所述至少一个处理器被配置为使所述系统：
将所述第一重建结果分解为多个第一组；
将所述第二重建结果分解为多个第二组，其中所述多个第二组中的每一组对应于所述多个第一组中的一组；
确定与所述多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平；以及基于所述置信水平融合所述多个第一组中的每一组和所述对应的第二组；或者，
为了融合所述第一重建结果和所述第二重建结果，所述至少一个处理器被配置为使所述系统：
将所述第一重建结果转换为第一小波域数据；
确定所述第一小波域数据的第一稀疏度；
将所述第二重建结果转换为第二小波域数据；
确定所述第二小波域数据的第二稀疏度；以及
基于所述第一稀疏度和所述第二稀疏度融合所述第一重建结果和所述第二重建结果。
10.根据权利要求9所述的系统，其特征在于，为了确定与所述多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平，所述至少一个处理器还被配置为使所述系统：
确定所述多个第一组中的每一组的灰度值与所述对应的第二组的灰度值之间的相似度；以及
基于所述相似度确定所述置信水平。
11.根据权利要求9所述的系统，其特征在于，所述第一重建方法是压缩感知方法并且所述第二重建方法是深度学习方法，或者所述第一重建方法是深度学习方法并且所述第二重建方法是压缩感知方法。
12.根据权利要求11所述的系统，其特征在于，所述至少一个处理器还被配置为使所述系统：
基于所述原始数据使用深度学习方法生成第三重建结果；以及
融合所述第一重建结果，所述第二重建结果和所述第三重建结果。
13.根据权利要求9所述的系统，其特征在于，所述至少一个处理器还被配置为使所述系统：
在融合所述第一重建结果和所述第二重建结果之后，确定是否满足预设条件；
当确定不满足所述预设条件时，基于所述融合结果更新所述原始图像数据；以及
当确定满足所述预设条件时，基于所述融合结果生成所述重建图像。
14.根据权利要求9所述的系统，其特征在于，所述融合结果包括频域数据以及基于所述融合结果生成重建图像，所述至少一个处理器还用于变换包括频域图像数据的所述融合结果，以获得所述重建图像。
15.根据权利要求9所述的系统，其特征在于，所述第一重建结果包括第一图像，并且所述第二重建结果包括第二图像，其中：
为了基于所述原始图像数据使用第一重建方法生成第一重建结果，所述至少一个处理器还被配置为使所述系统：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建所述第一图像；以及
为了基于所述原始图像数据使用第二重建方法生成第二重建结果，所述至少一个处理器还被配置为使所述系统：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建所述第一图像。
16.根据权利要求9所述的系统，其特征在于，
为了基于所述原始图像数据使用第一重建方法生成第一重建结果，所述至少一个处理器还被配置为使所述系统：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建第一图像；以及
将所述第一图像变换为第一组频域图像数据，以得到所述第一重建结果；以及
为了基于所述原始图像数据使用第二重建方法生成第二重建结果，所述至少一个处理器还被配置为使所述系统：
基于所述原始图像数据样本使用深度学习方法生成第二组频域图像数据，以得到所述第二重建结果。
17.一种包括可执行指令的非瞬态计算机可读介质，所述可执行指令在由至少一个处理器执行时使所述至少一个处理器实行一种方法，所述方法包括：
获取原始图像数据，其中所述原始图像数据包括多个频域欠采样图像数据样本；
基于所述原始图像数据使用第一重建方法生成第一重建结果；
基于所述原始图像数据使用第二重建方法生成第二重建结果；
融合所述第一重建结果和所述第二重建结果；以及
基于所述融合结果生成重建图像；
所述融合所述第一重建结果和所述第二重建结果还包括：
将所述第一重建结果分解为多个第一组；
将所述第二重建结果分解为多个第二组，其中所述多个第二组中的每一组对应于所述多个第一组中的一组；
确定与所述多个第一组中的每一组和对应的第二组之间的匹配相关的置信水平；以及
基于所述置信水平融合所述多个第一组中的每一组和所述对应的第二组；或者，
所述融合所述第一重建结果和所述第二重建结果还包括：
将所述第一重建结果转换为第一小波域数据；
确定所述第一小波域数据的第一稀疏度；
将所述第二重建结果转换为第二小波域数据；
确定所述第二小波域数据的第二稀疏度；以及
基于所述第一稀疏度和所述第二稀疏度融合所述第一重建结果和所述第二重建结果。
18.根据权利要求17所述的非瞬态计算机可读介质，其特征在于，所述确定与所述多个第一组中的每一组和所述对应的第二组之间的匹配相关的置信水平还包括：
确定所述多个第一组中的每一组的灰度值与所述对应的第二组的灰度值之间的相似度；以及
基于所述相似度确定所述置信水平。
19.根据权利要求18所述的非瞬态计算机可读介质，其特征在于，所述第一重建方法是压缩感知方法并且所述第二重建方法是深度学习方法，或者所述第一重建方法是深度学习方法并且所述第二重建方法是压缩感知方法。
20.根据权利要求19所述的非瞬态计算机可读介质，其特征在于，所述可执行指令在由电子设备的至少一个处理器执行时，使所述至少一个处理器实行一种方法，所述方法还包括：
基于所述原始数据使用深度学习方法生成第三重建结果；以及
融合所述第一重建结果，所述第二重建结果和所述第三重建结果。
21.根据权利要求18所述的非瞬态计算机可读介质，其特征在于，所述可执行指令在由电子设备的至少一个处理器执行时，使所述至少一个处理器实行一种方法，所述方法还包括：
在融合所述第一重建结果和所述第二重建结果之后，确定是否满足预设条件；
当确定不满足所述预设条件时，基于所述融合结果更新所述原始图像数据；以及
当确定满足所述预设条件时，基于所述融合结果生成所述重建图像。
22.根据权利要求18所述的非瞬态计算机可读介质，其特征在于，所述融合结果包括频域图像数据，并且所述基于所述融合结果生成重建图像包括：变换包括频域图像数据的所述融合结果，以获得所述重建图像。
23.根据权利要求18所述的非瞬态计算机可读介质，其特征在于，所述第一重建结果包括第一图像，并且所述第二重建结果包括第二图像，其中，
所述基于所述原始图像数据使用第一重建方法生成第一重建结果包括：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建所述第一图像；以及
所述基于所述原始图像数据使用第二重建方法生成第二重建结果包括：
将所述原始图像变换为频域图像数据；以及
基于所述多个频域欠采样图像数据样本使用深度学习方法重建所述第二图像。
24.根据权利要求18所述的非瞬态计算机可读介质，其特征在于：
所述基于所述原始图像数据使用第一重建方法生成第一重建结果包括：
基于所述多个频域欠采样图像数据样本使用压缩感知方法重建第一图像；以及
将所述第一图像变换为第一组频域图像数据，以得到所述第一重建结果；以及
所述基于所述原始图像数据使用第二重建方法生成第二重建结果包括：
基于所述原始图像数据样本使用深度学习方法生成第二组频域图像数据，以得到所述第二重建结果。
CN201780084581.3A 2017-11-10 2017-11-10 用于图像重建的系统和方法 Active CN110249365B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/100292 WO2019090447A1 (en) 2017-11-10 2017-11-10 System and method for image reconstruction

Publications (2)

Publication Number Publication Date
CN110249365A CN110249365A (zh) 2019-09-17
CN110249365B true CN110249365B (zh) 2023-05-30

Family

ID=66432341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084581.3A Active CN110249365B (zh) 2017-11-10 2017-11-10 用于图像重建的系统和方法

Country Status (3)

Country Link
US (2) US10818009B2 (zh)
CN (1) CN110249365B (zh)
WO (1) WO2019090447A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249365B (zh) * 2017-11-10 2023-05-30 上海联影医疗科技股份有限公司 用于图像重建的系统和方法
CN109978809B (zh) * 2017-12-26 2022-02-22 同方威视技术股份有限公司 图像处理方法、装置及计算机可读存储介质
US10896508B2 (en) * 2018-02-07 2021-01-19 International Business Machines Corporation System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks
EP3564695A1 (de) * 2018-05-04 2019-11-06 Siemens Healthcare GmbH Verfahren zur erzeugung eines magnetresonanz-bilddatensatzes, computerprogrammprodukt, datenträger sowie magnetresonanzanlage
US11062490B2 (en) * 2018-10-25 2021-07-13 The Board Of Trustees Of The Leland Stanford Junior University Reinforcement learning for online sampling trajectory optimization for magnetic resonance imaging
US11107191B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Apparatus and method for detail enhancement in super-resolution imaging using mobile electronic device
US11280868B2 (en) * 2019-06-19 2022-03-22 GE Precision Healthcare LLC Image enhancement with variable number of excitation (NEX) acquisitions accelerated using compressed sensing
CN110490832B (zh) * 2019-08-23 2023-05-05 哈尔滨工业大学 一种基于正则化深度图像先验方法的磁共振图像重建方法
US11061388B2 (en) * 2019-08-27 2021-07-13 Mitsubishi Electric Research Laboratories, Inc. Learning-based see-through sensing suitable for factory automation
US11348291B2 (en) * 2019-11-29 2022-05-31 Shanghai United Imaging Intelligence Co., Ltd. System and method for reconstructing magnetic resonance images
US11240465B2 (en) * 2020-02-21 2022-02-01 Alibaba Group Holding Limited System and method to use decoder information in video super resolution
CN111414942B (zh) * 2020-03-06 2022-05-03 重庆邮电大学 一种基于主动学习和卷积神经网络的遥感图像分类方法
CN111639148B (zh) * 2020-05-13 2022-03-11 广州小鹏自动驾驶科技有限公司 一种建图方法、系统及存储介质
CN111709897B (zh) * 2020-06-18 2023-10-24 深圳先进技术研究院 一种基于域变换的正电子发射断层图像的重建方法
CN113902654A (zh) * 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN111729200B (zh) * 2020-07-27 2022-06-17 浙江大学 基于深度相机和磁共振的经颅磁刺激自动导航系统和方法
CN112213674B (zh) * 2020-09-11 2023-03-21 上海东软医疗科技有限公司 磁共振压缩感知重建方法及装置
US11935211B2 (en) * 2020-09-21 2024-03-19 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN112287875B (zh) * 2020-11-16 2023-07-25 北京百度网讯科技有限公司 异常车牌识别方法、装置、设备及可读存储介质
CN112381741B (zh) * 2020-11-24 2021-07-16 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN113041500A (zh) * 2021-03-31 2021-06-29 南京伟思医疗科技股份有限公司 一种可记忆经颅磁刺激导航定位装置与定位方法
CN113240617B (zh) * 2021-07-09 2021-11-02 同方威视技术股份有限公司 扫描图像重建方法、检查设备及计算机可读存储介质
CN113989374A (zh) * 2021-11-15 2022-01-28 北京有竹居网络技术有限公司 用于非连续观测情况下物体定位的方法、装置和存储介质
US20220116513A1 (en) * 2021-12-23 2022-04-14 Intel Corporation Privacy-preserving reconstruction for compressed sensing
CN115170916B (zh) * 2022-09-06 2023-01-31 南京信息工程大学 一种多尺度特征融合的图像重建方法及系统
CN117237365B (zh) * 2023-11-16 2024-01-26 江苏世钰智能医疗科技有限公司 一种腰椎ct盘黄间隙检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
CN106530266A (zh) * 2016-11-11 2017-03-22 华东理工大学 一种基于区域稀疏表示的红外与可见光图像融合方法
CN108022230A (zh) * 2017-12-22 2018-05-11 青岛大学附属医院 肾脏多期ct图像融合系统
CN110249365A (zh) * 2017-11-10 2019-09-17 上海联影医疗科技有限公司 用于图像重建的系统和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1880524B1 (en) * 2005-04-21 2013-10-30 William Marsh Rice University Method and apparatus for compressive imaging device
US8897515B2 (en) * 2009-09-08 2014-11-25 Mayo Foundation For Medical Education And Research Method for compressed sensing image reconstruction using a priori knowledge of spatial support
US20110142316A1 (en) * 2009-10-29 2011-06-16 Ge Wang Tomography-Based and MRI-Based Imaging Systems
US8548218B2 (en) * 2010-09-21 2013-10-01 Dimitris Metaxas Image reconstruction
US9018951B2 (en) * 2011-04-18 2015-04-28 General Electric Company Accelerated multispectral data magnetic resonance imaging system and method
EP2812880A1 (en) * 2012-02-10 2014-12-17 Koninklijke Philips N.V. Clinically driven image fusion
ITGE20120048A1 (it) * 2012-05-04 2013-11-05 Esaote Spa Metodo di ricostruzione di immagini biomediche
CN103077511B (zh) * 2013-01-25 2015-04-08 西安电子科技大学 基于字典学习和结构相似的图像超分辨率重建方法
US9499392B2 (en) * 2013-02-05 2016-11-22 Butterfly Network, Inc. CMOS ultrasonic transducers and related apparatus and methods
US9730657B2 (en) * 2013-12-17 2017-08-15 Rensselaer Polytechnic Institute Computed tomography based on linear scanning
RU2568929C1 (ru) * 2014-04-30 2015-11-20 Самсунг Электроникс Ко., Лтд. Способ и система для быстрой реконструкции изображения мрт из недосемплированных данных
CN104240210B (zh) * 2014-07-21 2018-08-10 南京邮电大学 基于压缩感知的ct图像迭代重建方法
CN104434108B (zh) * 2014-12-09 2017-02-01 中国科学院武汉物理与数学研究所 一种基于相邻层信息和欠采样的多层磁共振快速成像方法
RU2626184C2 (ru) * 2015-09-04 2017-07-24 Самсунг Электроникс Ко., Лтд. Способ, устройство и система для реконструкции магнитно-резонансного изображения
US11020077B2 (en) * 2015-09-14 2021-06-01 Rensselaer Polytechnic Institute Simultaneous CT-MRI image reconstruction
CN106920265B (zh) * 2015-12-28 2024-04-26 上海联影医疗科技股份有限公司 计算机断层扫描图像重建方法及装置
US9805481B2 (en) * 2016-01-22 2017-10-31 General Electric Company System and method for regularized reconstruction of phase contrast computerized tomography
US10671939B2 (en) * 2016-04-22 2020-06-02 New York University System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
DE102016207638B4 (de) * 2016-05-03 2019-03-21 Siemens Healthcare Gmbh Multischicht Matgentresonanz Fingerprinting
CN106373167B (zh) 2016-11-15 2017-10-20 西安交通大学 一种基于深度神经网络的压缩传感核磁共振成像方法
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
US10573031B2 (en) * 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
US10859657B2 (en) * 2018-05-31 2020-12-08 The Board Of Trustees Of The Leland Stanford Junior University MRI reconstruction using deep learning, generative adversarial network and acquisition signal model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
CN106530266A (zh) * 2016-11-11 2017-03-22 华东理工大学 一种基于区域稀疏表示的红外与可见光图像融合方法
CN110249365A (zh) * 2017-11-10 2019-09-17 上海联影医疗科技有限公司 用于图像重建的系统和方法
CN108022230A (zh) * 2017-12-22 2018-05-11 青岛大学附属医院 肾脏多期ct图像融合系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Nonsubsampled shearlet based CT and MR medical image fusionusing biologically inspired spiking neural network》;Sneha Singh et al.;《Biomedical Signal Processing and Control》;全文 *
《基于自相似性和稀疏表示的先进医学CT重建方法研究》;王迎美;《中国博士学位论文全文数据库医药卫生科技辑》;全文 *

Also Published As

Publication number Publication date
CN110249365A (zh) 2019-09-17
WO2019090447A1 (en) 2019-05-16
US20190147589A1 (en) 2019-05-16
US10818009B2 (en) 2020-10-27
US20210056692A1 (en) 2021-02-25
US11398030B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
CN110249365B (zh) 用于图像重建的系统和方法
CN110809782B (zh) 衰减校正系统和方法
US11120584B2 (en) System and method for removing Gibbs artifact in medical imaging system
US11501473B2 (en) Systems and methods for image correction in positron emission tomography
US20200327662A1 (en) Systems and methods for image generation
US10692212B2 (en) System and method for image reconstruction
CN112424835B (zh) 用于图像重建的系统和方法
US11494877B2 (en) Systems and methods for image reconstruction
US10638951B2 (en) Systems and methods for magnetic resonance imaging
US20170372193A1 (en) Image Correction Using A Deep Generative Machine-Learning Model
CN112368738B (zh) 用于图像优化的系统和方法
US11869120B2 (en) System and method for image reconstruction
US20220092755A1 (en) Systems and methods for image processing
US11941805B2 (en) Systems and methods for image processing
US10347014B2 (en) System and method for image reconstruction
US11935211B2 (en) Systems and methods for image processing
US20240185484A1 (en) System and method for image reconstruction
US11703557B2 (en) Systems and methods for actual gradient waveform estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant