CN109863512B - 用于通过流形近似进行自动变换的系统和方法 - Google Patents

用于通过流形近似进行自动变换的系统和方法 Download PDF

Info

Publication number
CN109863512B
CN109863512B CN201780065879.XA CN201780065879A CN109863512B CN 109863512 B CN109863512 B CN 109863512B CN 201780065879 A CN201780065879 A CN 201780065879A CN 109863512 B CN109863512 B CN 109863512B
Authority
CN
China
Prior art keywords
data
image
domain
neural network
signal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780065879.XA
Other languages
English (en)
Other versions
CN109863512A (zh
Inventor
M·S·罗森
B·朱
B·R·罗森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Hospital Corp
Original Assignee
General Hospital Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Hospital Corp filed Critical General Hospital Corp
Publication of CN109863512A publication Critical patent/CN109863512A/zh
Application granted granted Critical
Publication of CN109863512B publication Critical patent/CN109863512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/12—Measuring magnetic properties of articles or specimens of solids or fluids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G01R33/4824—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)

Abstract

一种可以使用数据驱动的流形学习技术将传感器数据从传感器域变换到图像域的系统，该流形学习技术可以例如使用神经网络来实现。传感器数据可以由图像传感器生成，图像传感器可以是成像系统的一部分。可以将系统中的神经网络的完全连接的层应用于传感器数据，以将激活函数应用于传感器数据。激活函数可以是双曲正切激活函数。然后，可以应用卷积层来对完全连接的层的输出进行卷积以用于高级特征提取。可以将输出层应用于卷积层的输出以对输出进行去卷积并在图像域中产生图像数据。

Description

用于通过流形近似进行自动变换的系统和方法
关联申请的交叉引用
本申请基于2016年9月1日提交的美国临时申请序列第62/382,490号，以及2017年5月24日提交的美国临时申请序列第62/510,572号，要求其优先权并且通过引用以其全文结合在此。
关于联邦资助研究的说明
不适用
技术领域
本公开总体地涉及成像，并且更具体地，涉及用于从获取到的数据重建图像的系统和方法。
背景技术
成像对于广泛的行业和活动是重要的。从太空探索到石油勘探，成像在这些努力中起着关键作用。可用于成像的模态至少与使用它们的行业一样多样化。例如，仅在医疗行业中，在常规的、临床医学中采用了惊人的大量成像模态。例如，仅举数例，磁共振成像(MRI)、计算机断层扫描(CT)成像、发射断层扫描成像(包括诸如正电子发射断层扫描和单光子发射计算机断层扫描之类的模态)、光学、X射线荧光透视、以及每天被用于现代医学中的许多其他模态。
无论采用何种模态或工业/应用，重建都是任何成像过程中的关键过程。在某些情况下，图像重建可能非常基本的或很好地解决。例如，用于x射线荧光透视的图像重建通常包括将衰减值转换成数字图像中的对比度值。其他模态需要复杂得多的重建技术。
在计算断层扫描系统中，x射线源发射扇形束，该扇形束被准直为位于笛卡尔坐标系的x-y平面内，术语称为“图像平面”。x射线束穿过被成像的对象(诸如医疗患者)并撞击在辐射检测器的阵列上。经透射的辐射的强度取决于对象对X射线束的衰减，并且每个检测器产生单独的电信号，该电信号是束衰减的测量值。分别获取来自所有检测器的衰减测量值以产生所谓的“透射分布”或“衰减分布”或“投影”。在x射线荧光透视中，该2D投影被转换成单个图像。
常规CT系统中的源和检测器阵列在成像平面内的机架上并围绕对象旋转，使得x射线束与对象相交的角度持续地变化。来自检测器阵列的在给定角度处的透射分布被称为“视图”，并且对象的“扫描”包括在x射线源和检测器的一次旋转期间在不同角度方向上制作的一组视图。在2D扫描中，处理数据来构建对应于通过对象获取的两维切片的两维图像。用于从2D数据重建图像的主要方法在这个领域中被称为滤波反投影技术。这个图像重建过程将扫描过程中获取的衰减测量转换为称为“CT数”或“亨氏单元”的整数，这被用于控制显示器上对应像素的亮度。
经滤波的反投影(backprojection)图像重建方法是用于从所获取的透射分布重建CT图像的最常用技术。如图1所示，通过沿着产生如箭头106所指示的射线总和104的相同射线路径通过FOV 102投影分布100中的每个射线总和104，将每个所获取的x射线透射分布100反投影到视场(FOV)102上。在对FOV 102中的每个射线总和104进行投影时，我们没有对象的先验知识，并且作出FOV 102中的x射线衰减是均匀的，并且射线总和应该在射线路径通过的每个像素中均等地分布的假设。例如，图1中针对一个透射分布100中的单个射线总和104示出了射线路径108，并且射线路径108穿过FOV 102中的N个像素。该射线总和104的衰减值P在这N个像素之间被均等地划分。
其中μn是衰减值，该衰减值分配给具有N个像素的射线路径中的第n个像素。
显然，FOV 102中的衰减是均匀的假设是不正确的。然而，如本领域所公知的，如果对每个透射分布100进行某些校正并且在相应数量的投影角度下获取足够数量的分布，则由该错误假设引起的误差被最小化并且图像伪像被抑制。在图像重建的典型经滤波的反投影方法中，通常需要400到1000个视图以充分地抑制2D CT图像中的图像伪像。
磁共振成像(MRI)使用核磁共振(NMR)现象来产生图像。当物质(诸如人体组织)经受均匀磁场(极化场B0)时，组织中自旋的各个磁矩倾向于与该极化场对准，如果物质或组织受到在xy平面中的磁场(激励场B1)以及在拉莫尔(Larmor)频率附近的磁场(激励场B1)，净对准磁矩Mz可以旋转或“倾斜”到x-y平面中以产生净横向磁矩Mxy。由激发的自旋发射信号，并且可以接收并处理该信号以形成图像。
当利用这些信号产生图像时，采用磁场梯度(Gx、Gy和Gz)。通常，通过一系列测量周期扫描要成像的区域，其中这些梯度根据所使用的特定定位方法而变化。所接收的NMR信号的结果集或k空间(例如，频域)样本被数字化并且被处理，以使用多种公知的重建技术中的一种来重建图像。
最常见的是，当使用笛卡尔采样获取k空间数据时，使用傅立叶变换或利用傅里叶变换的各种重建技术中的任何一种来实现从k空间到图像空间的数据重建。这种k空间采样在图2A中示出。对于使用傅立叶变换作为使用笛卡尔或类似采样策略采样的k空间数据的重建过程的一部分的技术存在许多变化。
自磁共振成像开始以来，投影重建方法已被知晓。投影重建方法不是像傅立叶成像中所做的那样在直线或笛卡尔扫描模式中对k空间进行采样并且如图2A所示，而是利用一系列视图对k空间数据进行采样，所述一系列视图对从k空间的中心向外延伸的径向线进行采样，如图2B所示。对k空间进行采样所需的视图数量决定了扫描的长度，并且如果获取的视图数量不足，则重建图像中会产生条纹伪像。
例如，在美国专利第6,710,686号中描述了用于从所获取的一组投影视图重建图像的两个示例方法。在MRI中，最常见的方法是：用于将k空间样本(例如，NMR数据)从它们在径向采样轨迹上的位置重网格化(regrid)为笛卡尔网格。然后通过对重网格化的k空间样本执行2D或3D傅里叶变换来重建图像。用于重建MR图像的第二种方法是通过对每个投影视图进行第一傅里叶变换来将径向k空间投影视图变换为Radon空间。通过滤波并将它们反投影到视场(FOV)中，从这些信号投影来重建图像。如本领域所公知的，如果所获取的信号投影的数量不足以满足奈奎斯特(Nyquist)采样定理，则在重建图像中产生条纹伪像。
取决于所使用的技术，目前用于产生医学图像的很多MR扫描需要很多分钟来获取必要的数据。减少这个扫描时间是重要的考量因素，因为所减少的扫描时间增加了患者流动量、改进了患者舒适度、并通过减少运动伪像改进了图像质量。已经研发出了很多不同策略来缩短该扫描时间。
一种这样的策略通常称为“并行成像”。并行成像技术使用来自RF接收器线圈的阵列的空间信息来代替编码，否则必须使用射频脉冲和场梯度(例如相位和频率编码)以顺序方式获得编码。阵列的空间独立的接收器线圈中的每一个携载了某些空间信息并具有不同的灵敏度分布。利用该信息通过组合从单独线圈接收同时获取的数据，以便实现所接收的MR信号的完整的位置编码。通过减少所获取的相位编码的k空间采样线的数量，同时保持在固定k空间中所覆盖的最大范围，并行成像技术对k空间进行欠采样(undersample)。由单独的接收器线圈产生的单独的MR信号的组合能够实现图像所需的获取时间的减少了一个系数(与传统的k空间数据获取相比)，在最有利的情况下，该系数等于接收线圈的数量。因此，使用多个接收器线圈用于倍增成像速度，而不增加梯度切换速率或RF功率。
已经开发并应用于活体(in vivo)成像的两类这样的并行成像技术是SENSE(灵敏度编码)和SMASH(同时获取空间谐波)。利用SENSE，首先对欠采样的k空间数据进行傅里叶变换以从每个线圈产生混叠图像，并且然后通过叠加像素值的线性变换来展开混叠图像信号。利用SMASH，在傅里叶变换之前，通过构造由不同接收器线圈获取的相邻线的加权组合，填充或重建所省略的k空间线。SMASH要求确定线圈的空间灵敏度，并且这样做的一种方法是通过“自动校准”，该方法需要使用可变密度k空间采样。
数据获取方法在上述示例性成像模态中显著不同。即，对k空间进行采样以测量MR数据获取中的傅里叶系数，而在X射线CT数据获取中测量线积分。尽管如此，对于两种模态以及许多其他成像模态的图像重建的挑战是共同的：重建高质量图像。
根据标准图像重建理论，为了在没有混叠伪像情况下重建图像，用于获取图像数据的采样速率必须满足所谓奈奎斯特(Nyquist)准则，这在奈奎斯特-香农(Nyquist-Shannon)采样理论上被设置。另外，在标准图像重建理论中，不需要有关该图像的特定的先验信息。另一方面，当关于期望图像或目标图像的一些先验信息可用且被适当地合并到图像重建过程中时，即使奈奎斯特标准被违反，也可准确地重建图像。例如，如果知道期望的图像是圆形对称的且空间均匀的，仅需要平行束投影的一个视图(即，一个投影视图)来准确地重建该对象的线性衰减系数。作为另一个示例，如果知道期望的目标图像仅由单个点组成，则仅需要在该点相交的两个正交投影来准确地重建该图像点。因此，如果知道了关于期望的图像的先验信息，诸如如果期望的图像是一组稀疏地分布的点，可从以不满足尼奎斯特(Nyquist)标准的方式获取的一组数据中重建该图像。更一般来说，可以采用关于期望目标图像的稀疏性的知识来放宽奈奎斯特准则；然而，将这些论点概括为制定严格的图像重建理论是一项不简单的任务。
奈奎斯特准则是信息科学领域的最重要的基础之一。然而，它还在现代医学成像模态(诸如MRI和x射线CT成像)中起着极为重要的作用。当成像系统获取的数据样本的数量少于奈奎斯特准则所施加的要求时，在重建的图像中出现伪像。通常，这种图像伪像包括混叠伪像和条纹伪像。在实践中，无论是有意还是在不可避免的情况下，奈奎斯特准则经常被违反。例如，为了缩短时间解析的MR血管造影术研究中的数据获取时间，经常故意引入欠采样的投影重建、或径向、获取方法。
相反，在四维锥形束CT(4D CBCT)中，例如当在图像引导的放射疗法(IGRT)中使用时，欠采样是不可避免的。例如，在IGRT的情况下，在60秒的机架旋转时间期间，在10-15个呼吸循环中获取锥形束投影数据。然后通过使呼吸信号与数据获取同步，将所获取的数据回顾式地门控为8-10个阶段。在呼吸门控之后，通常可以使用少于100个锥形束投影来重建每个呼吸阶段的图像。因此，条纹伪像在每个呼吸阶段的重建图像中是泛滥的。这些欠采样伪像在4D CBCT中构成了主要挑战，并限制了4D CBCT在临床实践中的使用。
一些图像重建方法已尝试使用先验信息或其他信息来克服产生高质量图像的挑战。例如，已经开发了一种称为高度约束的反投影(HYPR)的方法，其中当在重建过程中使用信号信息的先验知识时，可以从更少的投影信号分布来重建质量图像。例如，血管造影研究中的信号信息可能已知包括诸如血管的结构。在这种情况下，当反投影路径通过这些结构时，可以通过对作为该像素位置处的已知信号信息的函数的分布进行加权来实现每个像素中的信号样本的更准确分布。在HYPR中，对于具有N个像素的反投影路径，高度约束的反投影可以表示如下：
其中Sn是被重建的图像帧中的像素n处的反射投影信号幅度，P是被反投影的投影分布中的信号样本值，以及Cn是沿反投影路径的第n个像素的先验合成图像的信号值。合成图像是从扫描期间所获取的数据来重建的，并且可以包括用于重建给定图像帧以及描绘视场中结构的其他所获取的图像数据。上述等式中的分子(P×Cn)使用合成图像中的对应信号值对每个像素进行加权，并且分母对该值进行归一化，使得所有反投影的信号样本都反映图像帧的投影和，并且没有乘以合成图像的总和。
最近，用于图像重建的数学框架称为“压缩感知”(CS)，已被用于一些图像重建技术。在压缩感知中，仅需要稀疏图像的一小组线性投影来重够质量图像。CS的理论在E.Candès,J.Romberg和T.Tao发表于IEEE信息论交易(Transactions on Information Theory)2006，52:489–509的“鲁棒不确定性原则：从高度不完整的频率信息中精确重建信号”(“Robust uncertainty principles:Exact signal reconstruction from highlyincomplete frequency information”)和D.Donoho发表于IEEE信息论交易(Transactionson Information Theory)2006；52:1289–1306的“压缩感知”(“Compressed sensing”)中以及例如在公开的美国专利第7,646,924号中描述。一些技术已经借助于CS的信号处理概念来执行计算机断层扫描数据的重建。美国专利第8,374,413号中提供了一个这样的例子，它描述了所谓的先验图像约束的压缩感知重建(PICCS)技术。
无论成像模态或所获取的数据类型如何，所有重建技术基本上基于一些原理。首先，执行已知的数据采样以产生一组已知特征的数据。然后，基于已知的数据采样技术和数据集的已知特征，应用适当的重建技术将原始数据集变换为图像。因此，应用一种与底层数据匹配的已知重建技术，该技术用于将原始数据从第一域(在其中获取原始数据)变换到第二域(原始数据在其中被理解为图像)。
例如，在CT中，数据被获取为亨氏(Hounsfield)单位，该亨氏单位使用经滤波的反投影或另一技术变换为具有图像中的相关对比度值的像素。在MR中，数据被获取为k空间数据或频域数据，通常使用一种类型的傅立叶变换将所述k空间数据或频域数据变换到图像域(例如，表示不同像素值之间的布置和关系的空间域)以生成图像。其他成像模态遵循这个精确或类似的过程。例如，PET成像使用经滤波的反投影技术。
尽管这种范例在医学和非医学成像应用中取得了成功，但它们仍然遭受常规和广泛的缺点。典型的例子，奈奎斯特准则是成像的基本要素，当没有被观察到时，往往需要大量的努力来支持具有附加的补偿的适用的重建技术，以克服了这一事实：在没有这样的补偿的情况下，所产生的图像将遭受降低图像的值的伪像。因此，仅在专利文献中，存在数千个基本重建技术的小的改变、添加或变化的示例。
期望有一种可以将原始数据变换成图像并且，由此，用作重建技术，但不需要预先设计重建技术来补偿预期的数据获取特征，包括数据中的缺陷(诸如欠采样)的系统和方法。此外，如果重建技术可以提供反馈以通知可以在未来使用的数据获取技术，则将是合乎期望的。也就是说，期望的是，重建过程不是由数据获取过程来指示，相反，不论数据获取的情况如何都执行数据重建，用于通知未来的数据获取以进一步改进重建图像。
发明内容
本公开提供了用于从传感器数据生成图像的系统和方法。如将要描述的，与传统的图像创建系统和方法相比，该系统和方法提供了更大的灵活性和改进的结果。
根据本公开的一个方面，医学成像系统可以包括图像传感器、处理器和显示器。图像传感器可以从患者获取图像数据，并且该图像数据可以在传感器域中。处理器可以从图像传感器接收传感器数据，并且可以使用神经网络将传感器数据从传感器域变换到图像域以产生患者的图像。显示器可以显示患者的图像。
在一些实施例中，图像传感器可包括以下项中的至少一个：磁共振成像(MRI)系统的射频(RF)系统，其中传感器数据包括磁共振数据；计算机断层扫描(CT)系统的x射线检测器，其中传感器数据包括X射线衰减数据；发射断层扫描系统的伽马射线检测器，其中传感器数据包括发射断层扫描数据；超声系统的超声换能器，其中传感器数据包括超声数据；以及光学成像系统的光学传感器，其中传感器数据包括光学成像数据。
根据本公开的另一方面，系统可以包括：从生成传感器数据的图像传感器接收传感器域中的传感器数据的输入，其中，传感器数据对应于捕获的图像；以及处理器，其从图像传感器接收传感器数据，并使用神经网络将传感器数据从传感器域变换到图像域。
在一些实施例中，处理器可以使用神经网络通过将神经网络的多个完全连接的层应用于传感器数据以产生矩阵，以将传感器数据从传感器域变换到图像域。每个完全连接的层表示矩阵乘法，接着是激活函数。该多个完全连接的层可以包括：输入层，该输入层将传感器数据的实部与传感器数据的虚部分离，并且将实部和虚部连接以产生输入矢量；应用于输入矢量的第一隐藏层，以及从第一个隐藏层产生矩阵的第二隐藏层。矩阵可以具有与传感器数据的尺寸相对应的尺寸。
在一些实施例中，非线性激活函数可以是双曲正切激活函数。
在一些实施例中，处理器可以进一步使用神经网络通过以下方式将传感器数据从传感器域变换到图像域：利用神经网络的多个卷积层将预定数量的卷积滤波器应用于矩阵，并且利用神经网络的去卷积层，将预定数量的去卷积滤波器应用于该多个卷积层中的卷积层，以在图像域中产生对应于捕获的图像的图像数据。
在一些实施例中，图像传感器可包括以下项中的至少一个：磁共振成像(MRI)系统的射频(RF)系统，其中传感器数据包括磁共振数据；计算机断层扫描(CT)系统的x射线检测器，其中传感器数据包括X射线衰减数据；发射断层扫描系统的伽马射线检测器，其中传感器数据包括发射断层扫描数据；超声系统的超声换能器，其中传感器数据包括超声数据；以及光学成像系统的光学传感器，其中传感器数据包括光学成像数据。
根据本公开的又另一方面，一种方法可包括：利用图像传感器在传感器域中生成传感器数据，利用处理器从图像传感器接收传感器数据，以及利用处理器执行用于使用神经网络将传感器数据从传感器域变换到图像域以产生传感器数据对应的捕获的图像的指令。
在一些实施例中，执行用于使用神经网络将传感器数据从传感器域变换到图像域的指令包括执行用于利用神经网络的多个完全连接的层处理传感器数据以产生矩阵的指令。每个完全连接的层可以表示矩阵乘法，接着是激活函数。将神经网络应用于传感器数据以产生矩阵可以包括：在该多个完全连接的层的输入层处将传感器数据的实部与传感器数据的虚部分离；在输入层处将实部和虚部连接，用于产生输入矢量；将该多个完全连接的层中的第一隐藏层应用于输入矢量，并应用该多个完全连接的层中的第二隐藏层以从第一隐藏层产生矩阵。矩阵可以具有与传感器数据的尺寸相对应的尺寸。
在一些实施例中，非线性激活函数可以是双曲正切激活函数。
在一些实施例中，执行用于使用神经网络将传感器数据从传感器域变换到图像域的指令可以进一步包括：利用神经网络的多个卷积层，将预定数量的卷积滤波器应用于矩阵，并且利用神经网络的去卷积层，将预定数量的去卷积滤波器应用于该多个卷积层中的卷积层，以在图像域中产生对应于捕获的图像的图像数据。
在一些实施例中，生成传感器数据可以包括利用磁共振成像系统将磁共振脉冲序列应用于样本，利用磁共振成像系统检测由样本响应于磁共振脉冲序列生成的响应的磁共振信号，并对响应的磁共振信号进行采样以生成传感器数据。
根据本公开的又另一方面，一种系统可以包括处理器，该处理器可以执行用于通过使用经训练的神经网络处理数据来将数据从第一域变换到第二域的指令。
在一些实施例中，使用经训练的神经网络处理数据可以包括将神经网络的多个完全连接的层应用于传感器数据以产生矩阵。该多个完全连接的层可以包括：输入层，该输入层将数据的实部与数据的虚部分离，并且该输入层将实部和虚部连接以产生输入矢量；第一隐藏层，该第一隐藏层对输入矢量进行操作，以及第二隐藏层，该第二隐藏层从第一隐藏层产生矩阵。矩阵可以具有与数据的尺寸相对应的尺寸。
在一些实施例中，非线性激活函数可以是双曲正切激活函数。
在一些实施例中，使用经训练的神经网络处理数据可以进一步包括利用神经网络的多个卷积层将预定数量的卷积滤波器应用于矩阵，并且利用神经网络的去卷积层将预定数量的去卷积滤波器应用于该多个卷积层中的卷积层，以在第二域中产生经变换的数据。
本发明的先前以及其他方面和优点将从以下描述而显现。在该描述中，参考形成其一部分且作为说明示出本发明的优选实施例的附图。然而，此类实施例不一定代表本发明的全部范围，因此对权利要求书和本文进行了参照以解释本发明的范围。
附图说明
图1示出了使用x射线透射分布的经滤波的反投影图像重建的示意图。
图2A示出了说明可用于重建k空间数据的傅立叶成像扫描模式的曲线图。
图2B示出了说明投影重建方法的曲线图，该投影重建方法可以将k空间数据采样为从k空间的中心向外延伸的径向线。
图3A和3B示出了根据实施例的说明性x射线计算机断层扫描(CT)成像系统的系统图。
图4A和4B示出了根据实施例的另一说明性x射线CT成像系统的系统图。
图5示出了根据实施例的说明性磁共振成像(MRI)系统的系统图。
图6示出了根据实施例的使用一个或多个图像传感器来光学地捕获图像的说明性电子设备的系统图。
图7示出了根据实施例的说明性超声系统的系统图。
图8示出了根据实施例的表示用于使用数据驱动的流形学习在传感器域和图像域之间进行通用图像重建的过程的说明性过程流程图。
图9示出了表示根据实施例的被配置成用于通过将数据从传感器域变换到图像域来重建图像的神经网络的说明性系统图。
图10示出了根据实施例可以由图9的神经网络执行以便重建图像的说明性过程流程图。
图11示出了图像阵列，该图像阵列说明了数据驱动的流形学习图像重建技术和传统技术的两者的结果。
具体实施方式
本发明的系统和方法可以与各种数据以及用于获取和处理数据的系统和方法一起使用。以下是成像系统的一些非限制性示例。然而，本公开的系统和方法不限于这些模态或成像。
如将要描述的，在一个方面，本公开提供了用于使用第二域中的聚合优选结果作为用于通知域变换或重建过程的向导，将在第一域中获取的数据集变换为第二域中的数据集的系统和方法。这与传统的域变换或重建技术形成对比，传统的域变换或重建技术规定了必须在第一域中获取数据的方式，使得域变换或重建技术可以在第二域中提供期望的结果。也就是说，在通过MRI中的k空间获取的投影的情况下，人们通常重网格化数据以允许执行傅里叶变换。以这种方式，通过重建技术对数据的预先设想使得需要以当变换到图像域时将产生期望的图像的预定的方式呈现数据(以形式和实质--例如采样密度)。本公开提供了不受这种方式限制的系统和方法。提供了一种框架，该框架可以用于创建图像或将数据从一个域变换到另一个域，而不对所获取的或要获取的数据具有预先设想的约束。
例如，数据驱动的流形学习构造可以用作广义图像重建技术，以将原始传感器变换到另一个域，或者在成像的情况下，将图像数据变换成图像，而无需人为设计的、获取-特定的数学变换。在非限制性上下文中，此构造或框架在本文中可称为AUTOMAP(通过流形近似的自动变换)或深度重建网络(DRN)。
通过不将图像重建或域转移问题约束到人为设计的、获取-特定的变换，可以使用超出常规表示的新信号域(例如，k空间/傅里叶空间、O空间，Radon)来获取数据。强化学习可用于自动编程新颖的数据获取方法。作为一个非限制性示例，AUTOMAP可用于设计用于MRI的新脉冲序列。同样，数据获取本身不必限于已知域。自动获取和自动重建阶段可以串联训练，以产生最佳成像协议和结果图像。
因此，本文提供的系统和方法可以用于各种设置中的任何一种，其中人们希望将数据从一个域变换到另一个域和/或开发和设计数据获取策略，该数据获取策略通过分析数据获取的期望结构以产生改进的结果。例如，除了本文提供的非限制性示例之外，本公开的系统和方法可以扩展到其他成像模态，诸如光学应用(例如，光学相干断层扫描、散斑成像等)甚至非成像应用(诸如一般数据处理)。
此外，本文提供的系统和方法不限于域变换对于产生图像或改进的图像是必要或有利的应用。关于以下描述，将清楚这一点和其他点。然而，在转向本系统和方法的细节之前，提供了操作环境(诸如成像系统)的一些非限制性示例。
首先参考图3A和图3B，x射线计算机断层扫描(CT)成像系统310包括代表“第三代”CT扫描仪的机架312。机架312具有x射线源313，该x射线源313朝向机架的相对一侧上的检测器阵列316投射x射线的扇形束、或锥形束316。检测器阵列316由多个检测器元件318形成，所述多个检测器元件318一起感测穿过医疗患者315的投射的x射线。每一个检测器元件318产生代表撞击x射线束的强度以及因此该射线束随着其穿过患者的衰减的电信号。如将描述的，该所获取的CT系统310的衰减数据可以称为“传感器数据”。在CT成像的情况下，这种数据通常在Radon空间中并以亨氏单位测量。以此方式，这种传感器数据可以被称为在“传感器域”中获取。在CT成像及其相应的传感器域的情况下，必须将传感器数据变换到图像域(诸如通过使用经滤波的反投影)以产生重建的图像。然而，如将要描述的，基于此类用于域转移的传统工具以及其固有限制来约束重建或获取是不必要的。因此，如将要解释的那样，根据本公开，打破这种传统的CT图像重建范例可以产生优异的图像。
在为了获取x射线投影数据的扫描期间，机架312和安装在其上的部件围绕患者315内的旋转的中心319旋转。机架的旋转和x射线源313的操作由CT系统的控制机构320来管理。控制机构320包括向x射线源313提供功率和定时信号的x射线控制器322和控制机架312的旋转速度与位置的机架电机控制器323。控制机构320中的数据获取系统(DAS)324从检测器元件318采样模拟数据，并将数据转换成数字信号以便随后处理。图像重建器325从DAS 324接收经采样和数字化的x射线数据并且执行高速图像重建。经重建的图像被应用作为计算机326的输入，该计算机326将图像存储在大容量存储设备328中。
计算机326还经由具有键盘的控制台330从操作者接收命令和扫描参数。相关联的显示器332允许操作者观察来自计算机326的重建的图像和其他数据。操作者提供的命令和参数被计算机326使用以对DAS 324、x射线控制器322和机架控制器323提供控制信号和信息。另外，计算机326操作台电机控制器334，该台电机控制器334控制机动化的台336以将患者315置于机架312中。
具体参考图4A和图4B，本公开的系统和方法可以被采用以重建图像，本公开的系统和方法采用设计用于与介入过程结合使用的x射线系统。其通过具有C臂410的机架来表征，该C臂410在其一端上携载x射线源组件412，并且在其另一端具有x射线检测器阵列组件414。类似于上述CT系统310，由图4A和图5中示出的C臂系统获取的数据可以被称为“传感器数据”，在在这种情况下，通常在Radon空间中获取并且以亨氏单位测量。同样，必须将这种传感器数据变换到图像域(诸如通过使用经滤波的反投影)以产生重建图像。
机架使x射线源组件412与检测器414能够围绕放置在台416上的患者周围的不同位置和角度定向，同时使医生能够访问患者。机架包括L形基座418，该L形基座418具有在台416下方延伸的水平支腿420和在水平支腿420的与台416间隔开的端部处向上延伸的竖直支腿422。支承臂424可旋转地固定到垂直支柱422的上端以用于绕水平枢轴426旋转。枢轴426与台416的中心线对准并且臂424从枢轴426径向向外延伸以在其外端上支撑C臂驱动组件427。C臂410可滑动地固定到驱动组件427并且耦合到驱动电动机(未示出)，该驱动电动机滑动C臂410以使其围绕C轴428旋转，如箭头430所示。枢轴426和C轴428在位于台416上方的等中心点(isocenter)436处彼此相交并且它们彼此垂直。
x射线源组件412安装在C臂410的一端，而检测器阵列组件414安装在其另一端。如下面将更详细讨论的，x射线源412发射锥形x射线束，该锥形x射线束被定向到检测器阵列414。组件412和414两者径向向内延伸到枢轴426，使得此锥形束的中心线穿过系统等中心点436。因此，在从置于台416上的对象获取x射线衰减数据期间，锥形束的中心射线可围绕枢轴426或枢轴426或枢轴426和枢轴426两者关于系统等中心点旋转。
现在具体参考图4B，组件412和414的旋转以及x射线源432的操作是由CT系统的控制机构440来管理的。控制机构440包括对x射线源432提供功率和定时信号的x射线控制器442。控制机构440中的数据获取系统(DAS)444从检测器元件438采样数据并将数据传递到图像重建器445。图像重建器445从DAS 444中接收经数字化的x射线数据，并且根据本发明的方法执行高速图像重建。经重建的图像被应用作为计算机446的输入，该计算机446将图像存储在大容量存储设备449中或者进一步处理图像。
控制机构440还包括枢电机控制器447和C轴电机控制器448。响应于来自计算机446的运动命令，电机控制器447和448向x射线系统中的电机提供功率，电机控制器447和448产生分别围绕枢轴426和C轴428的旋转。由计算机446执行的程序对电机驱动器447和448产生运动命令以在规定的扫描路径中移动组件412和414。
计算机446也经由具有键盘和其他手动可操作控件的控制台450从操作者接收命令和扫描参数。相关联的阴极射线管显示器452允许操作者观察来自计算机446的重建的图像和其他数据。操作者提供的命令在储存的程序的指示下被计算机446使用以向DAS 444、x射线控制器442和电机控制器447和448提供控制信号和信息。另外，计算机446操作台电机控制器454，该台电机控制器454控制台416以相对于系统等中心点436定位患者。
本公开的系统和方法还可以应用于MR成像系统。参考图5，示出了MRI系统500的示例。MRI系统500包括具有显示器504和键盘506的工作站502。工作站502包括用于运行商业上可获得的操作系统的商业上可获得的处理器508。工作站502提供操作者界面，该操作者界面能够将扫描指令输入到MRI系统500中。工作站502耦合到以下四个服务器：脉冲序列服务器510；数据获取服务器512；数据处理服务器514；以及数据存储服务器516。工作站502与每个服务器510、512、514和516连接以彼此通信。
响应于从工作站502下载的指令，脉冲序列服务器502运行操作梯度系统518和射频(RF)系统520。对梯度系统518产生并应用执行规定的扫描所需的梯度波形，该梯度系统528激发组件522中的梯度线圈以产生磁场梯度Gx、Gy和Gz，以用于定位编码MR信号。梯度线圈组件522形成包括极化磁体126和全身RF线圈528和/或局部线圈的磁体组件524的一部分。
RF激励波形由RF系统520施加到RF线圈528或单独的局部线圈(诸如头部线圈)以执行规定的磁共振脉冲序列。由RF线圈528或单独的局部线圈所检测的响应的MR信号被RF系统520接收，该响应的MR信号在由脉冲序列服务器510产生的命令的指示下，被放大、被解调、被滤波和被数字化。RF系统520包括用于产生用于MR脉冲序列的多种RF脉冲的RF发射器。RF发射器对扫描指令和来自脉冲序列服务器510的指示作出响应以产生期望的频率、相位和脉冲幅度波形的RF脉冲。所产生的RF脉冲可被施加到全身RF线圈528或被施加到一个或多个局部线圈或线圈阵列。
RF系统520也可包括一个或多个RF接收器信道。每一个RF接收器信道包括：RF前置放大器和检测器，该RF前置放大器放大由与其连接的线圈528所接收的MR信号，该检测器检测并数字化所接收的MR信号的正交分量。因此，所接收的MR信号的幅度可在任何采样点由I和Q分量的平方和的平方根来确定：
并且接收到的MR信号的相位也可确定：
在MRI系统500的情况下，在“k空间”中对这些获取的RF信号进行采样，“k空间”是频域。因此，MRI系统500获取频域中的“传感器数据”，该“传感器数据”表示用于MR或NMR成像的“传感器域”。必须将这种MR传感器数据变换到图像域以产生重建图像，这通常经由傅里叶变换或投影重建技术来实现。然而，如将要描述的，基于此类用于域转移的传统工具以及其固有限制来约束重建或获取是不必要的。因此，如将要解释的那样，根据本公开，打破这种传统的MR图像重建范例可以产生优异的图像。
脉冲序列服务器510也从生理学获取控制器530选择地接收患者数据。控制器530从连接到要被扫描对象的多个不同传感器接收信号，诸如来自电极的心电图(ECG)信号，或者来自波纹管或其他呼吸监测设备的呼吸信号。脉冲序列服务器510通常使用这样的信号以使扫描的表现与对象的心跳或呼吸同步或“门控”。
脉冲序列服务器510还连接到扫描室接口电路532，从与患者的情况和磁系统相关联的多种传感器接收信号。可以包括患者定位系统532。
由RF系统520产生的数字化MR信号样本由数据获取服务器520接收。响应于从工作站502下载的指令，数据获取服务器512操作以接收实时MR数据并提供缓冲器存储器，从而没有数据由数据过量运行而丢失。在一些扫描中，数据获取服务器512不比将所获取的MR数据传递到数据处理器服务器514做得更多。然而，在需要从所获取的MR数据导出的信息来控制扫描的进一步性能的扫描中，数据获取服务器512被编程以产生这样的信息并且将其传送到脉冲序列服务器510。例如，在预扫描期间，获取并使用MR数据来校准由脉冲序列服务器510执行的脉冲序列。并且，导航器信号可以在扫描期间被获取并且用于调整RF系统520或梯度系统518的操作参数，或者用于控制对k空间数据(例如，频域数据)进行采样的视图顺序。在所有这些示例中，数据获取服务器512获取MR数据并且实时地对其进行处理以产生用于控制扫描的信息。
数据处理服务器514从数据获取服务器512接收MR数据并且根据从工作站502下载的指令来对MR数据进行处理。这种处理可包括，例如：对原始k空间MR数据进行傅里叶变换以产生二维或三维图像；将滤波器应用于重建图像；执行对获取的MR数据的反投影图像重建；产生功能MR图像；以及计算运动或流动图像。
由数据处理服务器514重建的图像被传送回储存它们的工作站502。在数据库存储器高速缓存(未示出)中储存实时图像，可从数据库存储器高速缓存输出实时图像到操作者显示器504或位于磁组件524附近的显示器536以供主治医生使用。批处理模式图像或经选择的实时图像被储存在磁盘存储器538上的主数据库中。当这样的图像已经被重建并且被转移到存储器时，数据处理服务器514通知工作站502上的数据存储服务器516。工作站502可以由操作者使用以存档图像、产生影像或者经由网络或通信系统540将图像发送到可以包括其他联网工作站542的其他设施。
通信系统540和联网的工作站542可以表示各种本地和远程的计算机系统中的任一种，该本地和远程的计算机系统可以包括在给定的成像设施内，包括系统500或可以与系统500通信的其他远程位置。就这一点而言，联网的工作站542可以在功能上和能力上类似于或等同于操作者工作站502，尽管其被远程定位并通过通信系统540进行通信。这样，联网的工作站542可以具有显示器544和键盘546。联网的工作站542包括用于运行商业上可获得的操作系统的商业上可获得的处理器548。联网的工作站542能够提供操作者界面，该操作者界面能够将扫描指令输入到MRI系统500中。
图6是使用一个或多个图像传感器来捕获图像的说明性电子设备的图，并且该电子设备包括被配置成用于执行结合图8至图11所描述的类型的AUTOMAP图像重建算法的处理电路。成像系统610可以是便携式成像系统(诸如相机、蜂窝电话、视频相机或捕获数字图像数据的任何其他成像设备)。相机模块612可用于将传入光转换为数字图像数据。相机模块612包括一个或多个透镜614和一个或多个对应的图像传感器616。在一些实施例中，透镜614可以是透镜阵列的一部分，并且图像传感器616可以是图像传感器阵列的一部分。
处理电路618可以包括一个或多个集成电路(例如，图像处理电路、微处理器、存储设备(诸如随机存取存储器和非易失性存储器等))，并且可以经由输入620连接到相机模块612和/或形成相机模块612的一部分(例如，形成包括图像传感器616的集成电路或与图像传感器616相关联的相机模块612内的集成电路的一部分的电路)。如果需要，可以使用处理电路618进一步处理和存储由相机模块612捕获和处理的图像数据。如果需要，可以使用耦合到处理电路618的有线和/或无线通信路径将经处理的图像数据提供给外部设备(诸如计算机或其他电子设备)。例如，处理电路618可以包括现场可编程门阵列(FPGA)或专用集成电路(ASIC)，利用该处理电路618可以执行AUTOMAP数据驱动的流形学习过程(例如，使用神经网络(诸如图9的系统900中的网络))，以便在没有使用人为设计的获取-特定的数学函数的情况下，执行通用图像重建技术以将由图像传感器616生成的原始数据(例如，像素电压)变换成图像域(例如，表达不同像素值之间的布置和关系的空间域)中的图像。
例如，图像传感器616内的光敏像素阵列可以在暴露于光时产生对应于所捕获的图像的像素电压阵列。可以使用经学习的(例如，经训练的)AUTOMAP图像重建过程(例如，使用诸如图9的系统900中的网络之类的神经网络)将该像素电压阵列变换为图像域中所捕获的图像的视觉表示。例如，神经网络可以被用于将由模数转换器(ADC)电路(例如，其处理图像传感器616的像素的输出)输出的数字电压变换到图像域。
当使用传统图像处理技术时，由于图像传感器不理想(例如，CCD和CMOS图像传感器的热噪声或图像传感器中片上放大器的读出噪声)，在弱光条件下执行的数字摄影(Digital photography)和电影摄影(cinematography)可能会导致低质量的图像和视频。通过使用经学习的AUTOMAP图像重建(神经网络)代替传统的图像处理技术，可以自动补偿图像传感器的缺陷，并且因为经学习的图像重建对于诸如加性高斯白噪声之类的损坏信道噪声可能是鲁棒的，可以相对地改进图像的信噪比(SNR)，尤其是当使用真实世界的代表性数据(图像)训练经学习的图像重建时。
图7示出了可以实现本公开中所描述的方法的超声系统700的示例。超声系统700包括换能器阵列702，该换能器阵列702包括多个单独驱动的换能器元件704。换能器阵列702可包括任何合适的超声换能器阵列，包括线性阵列、弯曲阵列、相控阵列等。类似地，换能器阵列702可包括1D换能器、1.5D换能器、1.75D换能器、2D换能器、3D换能器等。
当由发射器706激励时，给定的换能器元件704产生超声能量脉冲串(burst)。从被研究的物体或对象反射回换能器阵列702的超声能量(例如，回波)被每一个换能器元件704转换为电信号(例如，回波信号)，并且通过一组开关710可以分别地施加到接收器708。发射器706、接收器708和开关710在控制器712的控制下操作，控制器712可包括一个或多个处理器。作为一个示例，控制器712可以包括计算机系统。
发射器706可以被编程为发射未聚焦的或聚焦的超声波。在一些配置中，发射器706还可以被编程为发射发散波、球面波、圆柱波、平面波或其组合。此外，发射器706可以被编程为发射空间编码或时间编码的脉冲。
接收器708可以被编程为实现手头成像任务的适当的检测序列。在一些实施例中，检测序列可包括逐行扫描、复合平面波成像、合成孔径成像和复合发散束成像中的一个或多个。
在一些配置中，发射器706和接收器708可以被编程以实现高帧速率。例如，可以实现与至少100Hz的采集脉冲重复频率(“PRF”)相关联的帧速率。在一些配置中，超声系统700可以在时间方向上对至少一百个回波信号集合进行采样和存储。
控制器712可以被编程为设计成像序列。在一些实施例中，控制器712接收定义在成像序列的设计中使用的各种因素的用户输入。
可以通过将开关710设置到它们的发射位置来执行扫描，从而引导发射器706瞬间地接通以根据设计的成像序列在单个发射事件期间激励换能器元件704。然后可以将开关710设置到它们的接收位置，并且测量由换能器元件704响应于一个或多个检测到的回波产生的后续回波信号并将其施加到接收器708。来自换能器元件704的单独的回波信号可以在接收器708中组合以产生单个回波信号。
回波信号被传送到处理单元714，处理单元714可以由硬件处理器和存储器实现，以处理回波信号或从回波信号产生的图像。作为示例，处理单元714可以使用本公开中所描述的方法来实现AUTOMAP图像重建，包括实现用于将回波信号(例如，超声系统700操作在的传感器域中的原始数据)变换成被研究的物体或对象或其一部分的视觉表示(例如，图像域中的图像)的神经网络(例如，图9的系统900中的网络)。由处理单元714从回波信号产生的图像可以被显示在显示系统716上。
图8示出了表示用于使用数据驱动的流形学习(例如，使用神经网络)在传感器域和图像域之间进行通用图像重建的过程的说明性流程图。当使用各种成像系统中的任何一种成像系统来捕获图像时可以生成传感器数据802，所述成像系统包括但不限于，磁共振成像(MRI)系统、计算机断层扫描(CT)扫描系统、正电子发射断层扫描(PET)扫描系统、超声系统、光学互补金属氧化物半导体(CMOS)成像系统、以及光学电荷耦合器件(CCD)图像传感器。传感器数据802可以在与用于获取/生成传感器数据802的特定图像捕获方法相对应的特定域中获取或编码，该特定域在本文中可称为“传感器域”。可能存在于传感器数据802内的任何噪声(例如，由于涉及图像捕获的非理想性)固有地与传感器数据交织在一起。如上所述，传感器数据802可以取决于所使用的数据获取方法在各种不同域(例如，频域、Radon域等)中的一者中编码，任何给定的传感器数据集的域在本文中一般可以称为“传感器域”。通过将传感器数据802从传感器域变换到图像域以产生图像数据808，可以有效地对传感器数据802进行解码。
在图8中，x表示传感器域中的传感器数据802，并且y表示图像域中的图像数据808。给定传感器域数据x的有噪观察值，/>上的随机投影算子：/>可以被习得。在获取/>之后，第二任务是用于通过产生将重建误差/>最小化的重建映射来重建f(x)。
利用该起始上下文，可以针对理想化场景描述重建过程，例如，输入传感器数据是无噪声的。将数据表示为其中对于ith，观测值xi指示一组n×n的输入参数，且yi指示n×n真实的、底层的图像。可以假设：
(1)存在未知的平滑的并且同胚的函数使得y＝f(x)，以及
(2)分别位于未知的平滑流行/>和/>(例如，流形804和806)上。
流形804和806两者都嵌入环境空间使得/>且/>
上述两个假设结合起来定义了数据集所在的联合流形/>可以写成：
注意，使用常规欧几里德坐标系描述(x，f(x))。然而，我们可以使用的固有坐标系将这一点等效地描述为(z，g(z))，使得在(x，f(x))和(z，g(z))之间存在同胚映射(即，x＝φx(z)且/>作为旁注，在拓扑中，可以对应于(x，f(x))邻域的/>的局部坐标图。不是直接学习环境空间中的f，可能期望学习x和/>之间的微分同胚g，以便利用嵌入空间的低维特性。因此，从x生成y＝f(x)的过程可以写成一系列函数评估：/>
为了便于以后呈现，我们注意到给定输入图像x，该输出图像遵循概率分布Q（Y|X＝x，f)，其是点质量在y＝f(x)处的退化分布。
利用由没有噪声的该理想化传感器数据提供的上下文，现在描述传感器域输入中存在噪声或其他损坏以及对应的去噪处理的非理想情况。不是观察到完美的输入数据xi，而是观察到其是具有噪声的传感器数据或者由概率分布/>描述的一些已知噪声或损坏过程的xi的损坏版本。为了处理这种复杂性，可以对我们的模型流水线使用去噪步骤/>使得我们对的预测不再是确定性值，而是具有条件分布y的随机变量，以便可以适当地表征由损坏过程引起预测不确定性。
不是明确地学习这个去噪步骤，而是可以从去噪自动编码器中汲取类比。可以替代地建模联合分布具体而言，除了上面列出的假设(1)-(2)之外，我们还假设
(3)真实分布位于由其第一时刻/>定义的半参数族/>
可以使用下面的分解建模：
其中Q(Y|X，f)表示上述重建过程的模型，表示去噪算子，且/>表示受损图像的经验分布。注意，通过将右侧的前两项塌缩为一项，可以将用于去噪和重建过程的模型组合在一起，这给出：
应该注意的是，Y＝f(X)是X的确定性和同胚映射；因此，是给定噪声输入/>的输出图像y的预测分布，这是感兴趣的估计量。因此，模型可以写为：
然后，这表示联合分布的模型的定义。
在实际训练阶段，“完美”(例如，基本上无噪声)的输入图像x是可用的，并且可以用从生成的/>训练模型。也就是说，在训练数据中观察到的/>的联合分布承认以下形式：
训练可以通过针对函数值参数(f，p)最小化观察到的概率和模型之间的KL-散度来进行，
随着KL-散度收敛于0，收敛于/>去噪预测，并且同时/>收敛到/>
应当注意，存在用于显式学习随机投影p，微分同胚g和局部坐标图φ的技术。然而，我们注意到，由于(其中/>表示无穷可微函数的集合)，整体上是/>的紧子集上的连续可微函数，并且因此可以通过通用逼近定理用理论保证近似。
图9示出了表示实现AUTOMAP图像处理的系统900的示意图，并且由此该系统900被配置为将传感器数据(例如，图8的传感器数据802)从传感器域变换到图像域，从而将传感器数据902重建为图像。系统900可以是如以上结合图8所描述的数据驱动的流形学习的示例。
传感器数据902可以被布置在传感器域903中的“n×n”矩阵中。完全连接的层918可以包括输入层904、隐藏层906和隐藏层908。神经网络的完全连接的层918中的每一个完全连接的层可以包括节点。根据分配给节点边缘的权重，这些节点中的每一个节点可以完全地连接到相邻完全连接层的节点。这些节点可以存储在节点被包括在的层的应用(例如，将层应用于另一个矩阵或矢量)期间产生的值，并且这些值可以被认为是该层的输出(例如，矩阵输出)。完全连接的层918可以被应用于传感器数据902，以便对传感器数据902从传感器域903到图像域909的流形间投影进行近似。这样，完全连接的层918产生“n×n”矩阵910。然后将卷积层920应用于矩阵910。卷积层920可以包括第一卷积层912和第二卷积层914，并且可以在输出层916处产生重建图像。这里，“n”表示沿着传感器数据902的单个维度的数据点的数量。
传感器数据902可以包括例如由成像系统(例如，图1-7的成像系统中的一者)产生的传感器域经采样的数据的矢量或矩阵。输入层904可以完全地连接到第一隐藏层906，这可以允许传感器数据902以任何顺序被矢量化。传感器数据902中的复数数据(例如，诸如MR数据)可以被分成实部和虚部并且在输入层904处的输入矢量中连接。结果，传感器数据902的“n×n”矩阵可以被重新整形成包含传感器数据902的实部和虚部两者的“2n2×1”实值矢量(例如，输入矢量)。输入层904可以完全地连接到“n2×1”第一隐藏层906，该第一隐藏层906由激活函数(例如，非线性激活函数(诸如双曲正切函数))激活。第一隐藏层906可以完全地连接到第二“n2×1”隐藏层908，当应用于隐藏层906的输出时，隐藏层908可以产生“n×n”矩阵910。每个完全连接的层918可以表示仿射映射(例如，矩阵乘法)，接着是非线性(例如，激活函数)。例如，在将第一隐藏层906应用于输入矢量(例如，应用于输入矢量的节点)期间所应用的非线性可以由以下等式表示：
g(x)＝s{Wx+b)
其中g(x)是由第一隐藏层906应用于输入矢量而产生的矩阵(例如，第一隐藏层的节点/输出)，其中x是输入矢量(例如，输入层的节点/输出)，其中W是d′×d权重矩阵，其中b是维数d’的偏移矢量，且其中s是激活函数(例如，双曲激活函数)。在将第二隐藏层908应用于第一隐藏层的输出(例如，应用于第一隐藏层的节点)期间所应用的非线性可以类似地表示。
卷积层912可以将预定数量的滤波器应用于矩阵910，接着是整流器(rectifier)非线性。第二卷积层914可以将预定数量的滤波器应用于第一卷积层912的输出，接着是整流器非线性。通过应用输出层916以在图像域中产生重建图像(例如，作为“n×n”矩阵)，可以利用预定数量的滤波器对第二卷积层914的输出进行去卷积。以这种方式，在传感器数据902从传感器域903变换到图像域909之后，可以应用第一卷积层912和第二卷积层914以执行特征提取。
应当理解，系统900被训练用于在实现之前执行图像重建。例如，可以使用已知操作将图像从图像域909变换到给定传感器域903(例如，频域、Radon域等)以产生传感器数据902。然后可以将该传感器数据902输入到系统900并且由系统900进行处理以执行训练。然后，可以分析系统900的输出并将其与原始图像进行比较，以确定重建图像中存在的误差量。然后可以调整系统900内的网络的权重(例如，层904和906之间以及层906和908之间的权重)，并且用新图像重复该训练过程。例如，可以重复训练过程预定次数或者可以重复直到观察到重建图像中观察到的误差量低于某个阈值。
应当注意，对于系统900旨在用于特定图像重建目的(例如，重建人脑图像)的情况，使用与该目的相关的图像(例如，使用人脑的图像)来训练系统900中的神经网络可能是有益的。这种基于图像的训练专业化可以使得系统900的完全连接的层918的隐藏层激活稀疏度得到改进，而不需要对这些层施加稀疏惩罚。以这种方式改进隐藏层激活稀疏性可以相比相对致密的隐藏层激活提供益处。例如，与致密隐藏层激活相比，这些益处可以包括减少的信息纠缠、更有效可变尺寸表示、改进的线性可分离性的可能性以及提高的效率。
图10示出了可以执行以实现AUTOMAP技术的说明性过程1000，诸如使用由处理电路(例如，在图5的数据处理服务器514中、在图6的处理电路618中或在图7的控制器712中)执行的神经网络(例如，图9的系统900中的网络))来从原始传感器数据(例如，图9中的传感器数据902)重建图像。
在1002处，传感器数据以矩阵布置在输入层(例如，图9的层904)处。如所描述的，在一些情况下，将传感器数据从“2×n×n”矩阵重新整形为“2n2×1”矩阵可能是有利的，例如当传感器数据是复数数据时，如在MR成像中的情况。如果在这种情况下，在传感器数据是复数的情况下(例如，可能是具有k空间数据的情况)，可以通过在神经网络的输入层处将传感器数据的实部与传感器数据的虚部连接来重新整形传感器数据。实数数据和虚数数据的这种分离和后续连接对于其中神经网络的计算框架仅使用实值输入和参数进行操作的情况可能是有益的。否则，对于传感器数据不是复数的情况，可以在输入层处将传感器数据从“n×n”矩阵重新整形为“n2×1”矩阵。
在1004处，利用具有尺寸“n2×1”的神经网络的第一隐藏层(例如，图9的隐藏层906)处的经训练的激活函数来处理传感器数据的矩阵。例如，该激活函数可以是非线性激活函数。第一隐藏层可以是完全连接的层，意味着第一隐藏层的每个神经元分别连接到输入层的每个神经元。经训练的激活函数可以包括例如双曲正切激活函数、S形激活函数或修正线性单元激活函数或其他激活函数中的任何一个。
在1006处，将具有尺寸“n2×1”的神经网络的第二隐藏层应用于第一隐藏层的输出(例如，应用于当第一隐藏层被应用于输入矢量时产生的矩阵)。第二隐藏层可以是完全连接的层，意味着第二隐藏层的每个神经元分别连接到第一隐藏层的每个神经元。第二隐藏层可以将第一隐藏层重新整形成“n×n”矩阵。
在1008处，使用卷积层(例如，图9的卷积层920)对所生成的“n×n”矩阵执行卷积处理。可以将第一卷积层(例如，图9的卷积层912)应用于所生成的“n×n”矩阵，以便将预定数量的滤波器(例如，卷积滤波器)应用于“n×n”矩阵，每个滤波器具有预定的尺寸和预定的步幅(stride)。可以将第二卷积层(例如，图9的卷积层914)应用于第一卷积层的输出，以便将预定数量的滤波器(例如，卷积滤波器)应用于第一卷积层的输出，每个滤波器具有预定的尺寸和预定的步幅。例如，这种卷积处理可以特别有利于实现附加级别的特征提取。例如，可以通过由从传感器域到图像域中的域转移执行的图像重建来实现特征提取的初始层和/或可以通过转换层来实现特征提取。
在1010处，通过应用具有尺寸为“n×n”的输出层(例如，图9的输出层916，有时被称为去卷积层或转置卷积层)对第二卷积层(例如，卷积层的最后卷积层)的输出进行去卷积以产生最终的重建图像。例如，将输出层应用于第二卷积层的输出可以将预定数量的滤波器(例如，去卷积滤波器或转置卷积滤波器)应用于第二卷积层，每个滤波器具有预定的尺寸和预定的步幅。由输出层应用的滤波器的尺寸可以与由第一和第二卷积层应用的滤波器的尺寸不同。
图11示出了使用上面结合图8至图10所描述的数据驱动的流形学习图像重建技术和传统技术的图像重建结果之间的说明性比较。列1102示出了可以基于获取方法/成像系统有效地应用于所捕获的传感器数据的不同类型的编码。每种编码类型可以对应于不同的传感器域。
这里的Radon投影编码是指可以固有地存在于使用X射线CT扫描或PET扫描医学成像技术捕获的原始图像数据中的编码。例如，诸如经滤波的反投影重建、自适应统计迭代重建和基于模型的迭代重建(MBIR)之类的传统技术可以应用于radon投影编码数据，以便将编码的数据变换到图像域。
这里的螺旋非笛卡尔傅立叶编码指的是可以固有地应用于在执行MRI扫描的螺旋或径向方法时产生的原始图像数据的编码。例如，诸如非均匀快速傅里叶变换(NUFFT)之类的传统技术可以应用于螺旋非笛卡尔傅立叶编码数据，以便将经编码的数据变换到图像域。
这里的欠采样傅立叶编码是指可以固有地应用于在磁共振(MR)成像中执行压缩感知时产生的原始图像数据的编码。例如，诸如利用小波稀疏变换的压缩感知重建之类的传统技术可以应用于欠采样傅立叶编码数据，以便将经编码的数据变换到图像域。
这里的未对准傅立叶编码是指可以固有地应用于在执行受采样失真(例如，由于错误校准的硬件)影响的MRI扫描时产生的原始图像数据的编码。例如，诸如快速傅里叶逆变换(IFFT)的传统技术可以应用于未对准傅里叶编码数据，以便将经编码的数据变换到图像域。
列1104包括编码类型中的每一种编码类型的参考图像。每个参考图像分别显示当正确地重建(例如，变换)到图像域中时编码数据应该是什么样的。可以将每个参考图像转换为对应于列1102的相关联的编码类型的传感器域中的相对应一个。
列1106包括使用本公开的AUTOMAP重建技术(例如，如以上结合图8至图10所描述的)重建的编码类型中的每一种编码类型的重建图像。
列1108包括使用传统上应用于那些相应编码类型的常规图像重建方法重建的编码类型中的每一种编码类型的重建图像。例如，对于Radon投影编码数据，示出了MBIR重建图像。对于螺旋非笛卡尔傅里叶编码数据，示出了NUFFT重建的图像。对于欠采样傅立叶编码数据，示出了压缩感知重建的图像。对于未对准的傅里叶编码数据，示出了IFFT重建的图像。
列1110包括编码类型中的每一种编码类型的神经网络误差图像，表示列1106的神经网络重建的图像与列1104的参考图像之间的差异。
列1112包括编码类型中的每一种编码类型的传统误差图像，表示列1108的传统重建的图像与列1104的参考图像之间的差异。
如所示出的，与列1108的对应的传统上重建的图像的信噪比相比，列1106的神经网络重建的图像始终具有更高的信噪比(SNR)。另外，这里示出神经网络误差图像的均方根误差(RMSE)始终低于列1112的对应传统误差图像。因此，基于这里示出的示例，本公开的神经网络重建技术由于其相对较高的SNR和相对较低的RMSE，可以被认为优于相应的传统技术。
与传统数据变换技术(诸如离散傅立叶变换)相反，使用上述数据驱动的流形学习技术，信号获取的域可以相对更灵活并且可以更适合于底层物理系统。这种广义重建可以通过在所使用的系统上进行训练来补偿硬件缺陷(诸如MRI中的梯度非线性)。这些和其他成像伪像可以由经训练的神经网络补偿。此外，广义重建可以在经过适当训练时具有更高的噪声抗扰度以及减少的欠采样误差，从而允许极大地加速图像捕获。另外，可以通过数据驱动的流形学习来生成非直观的脉冲序列(例如，用于MRI应用)，因为可以在重建之前在非直观的域中获取信号。此外，可以响应于特定的单独的对象或样本来实时定制脉冲序列。例如，可以使用大型公共或私人图像数据库(例如PACS、人类连接组项目(Human ConnectomeProject)等)来执行训练。

Claims (23)

1.一种医学成像系统，包括：
图像传感器，被配置成用于从患者获取信号数据，其中所述信号数据在信号域中；
数据驱动的流形学习神经网络，被配置成用于从所述图像传感器接收所述信号数据，并且用于将所述信号数据从所述信号域变换到图像域，以产生患者的图像；以及
显示器，被配置成用于显示所述患者的图像。
2.如权利要求1所述的医学成像系统，其特征在于，所述图像传感器包括以下中的至少一者：
磁共振成像(MRI)系统的射频(RF)系统，并且其中，所述信号数据包括磁共振数据；
计算机断层扫描(CT)系统的x射线检测器，并且其中，所述信号数据包括x射线衰减数据；
发射断层扫描系统的伽马射线检测器，并且其中，所述信号数据包括发射断层扫描数据；
超声系统的超声换能器，并且其中，所述信号数据包括超声数据；以及
光学成像系统的光学传感器，并且其中，所述信号数据包括光学成像数据。
3.一种用于重建图像的系统，包括：
输入，被配置成用于从被配置成用于生成信号数据的图像传感器接收信号域中的所述信号数据，其中所述信号数据对应于捕获的图像；以及
处理器，被配置成用于实现数据驱动的流形学习神经网络，所述数据驱动的流形学习神经网络被配置用于从所述图像传感器接收所述信号数据，并且用于将来自所述图像传感器的所述信号数据供应给所述数据驱动的流形学习神经网络以将所述信号数据从所述信号域变换到图像域，以产生所捕获的图像。
4.如权利要求3所述的系统，其特征在于，所述处理器被配置成用于使用所述神经网络通过以下方式将所述信号数据从所述信号域变换到所述图像域：
将所述神经网络的多个完全连接的层应用于所述信号数据以产生矩阵。
5.如权利要求4所述的系统，其特征在于，所述多个完全连接的层包括：
第一隐藏层，被配置成用于使用矩阵乘法，接着使用激活函数对信号数据进行操作；以及
第二隐藏层，被配置成用于从所述第一隐藏层产生矩阵，其中，所述矩阵具有与所述信号数据的尺寸相对应的尺寸。
6.如权利要求5所述的系统，其特征在于，所述多个完全连接的层进一步包括：
输入层，被配置成用于将所述信号数据的实部与所述信号数据的虚部分离，并且用于将所述实部和所述虚部连接以产生输入矢量；以及
其中所述第一隐藏层被应用于所述输入矢量。
7.如权利要求5所述的系统，其特征在于，所述激活函数是双曲正切激活函数。
8.如权利要求4所述的系统，其特征在于，所述处理器进一步被配置成用于使用所述神经网络通过以下方式将所述信号数据从所述信号域变换到所述图像域：
利用所述神经网络的多个卷积层，将预定数量的卷积滤波器应用于所述矩阵。
9.如权利要求8所述的系统，其特征在于，所述处理器进一步被配置成用于使用所述神经网络通过以下方式将所述信号数据从所述信号域变换到所述图像域：
利用所述神经网络的去卷积层，将预定数量的去卷积滤波器应用于所述多个卷积层中的卷积层，以在所述图像域中产生对应于所述捕获的图像的图像数据。
10.如权利要求3所述的系统，其特征在于，所述图像传感器包括以下中的至少一者：
磁共振成像(MRI)系统的射频(RF)系统，并且其中，所述信号数据包括磁共振数据；
计算机断层扫描(CT)系统的x射线检测器，并且其中所述信号数据包括x射线衰减数据；
发射断层扫描系统的伽马射线检测器，并且其中，所述信号数据包括发射断层扫描数据；
超声系统的超声换能器，并且其中，所述信号数据包括超声数据；以及
光学成像系统的光学传感器，并且其中，所述信号数据包括光学成像数据。
11.一种用于重建图像的方法，包括：
利用图像传感器在信号域中生成信号数据，其中，所述信号数据对应于捕获的图像；
利用处理器从所述图像传感器接收所述信号数据；以及
利用所述处理器执行数据驱动的流形学习神经网络来使用神经网络将所述信号数据从信号域变换到图像域以产生所述捕获的图像。
12.如权利要求11所述的方法，其特征在于，执行所述数据驱动的流形学习神经网络以使用所述神经网络将所述信号数据从所述信号域变换到所述图像域包括执行用于以下的指令：
将所述神经网络的多个完全连接的层应用于所述信号数据以产生矩阵。
13.如权利要求12所述的方法，其特征在于，将所述神经网络的所述多个完全连接的层应用于所述信号数据以产生所述矩阵包括：
在所述多个完全连接的层的输入层处，将所述信号数据的实部与所述信号数据的虚部分离；
在所述输入层处，将所述实部和所述虚部连接以产生输入矢量；
将多个完全连接的层中的第一隐藏层应用于所述输入矢量；以及
利用所述多个完全连接的层中的第二隐藏层从所述第一隐藏层产生所述矩阵，其中所述矩阵具有与所述信号数据的尺寸相对应的尺寸。
14.如权利要求13所述的方法，其特征在于，将所述多个完全连接的层中的所述第一隐藏层应用于所述输入矢量包括：在应用双曲正切激活函数之前对所述输入矢量执行矩阵乘法。
15.如权利要求12所述的方法，其特征在于，执行用于使用所述神经网络将所述信号数据从所述信号域变换到所述图像域的指令进一步包括执行用于以下的指令：
利用所述神经网络的多个卷积层，将预定数量的卷积滤波器应用于所述矩阵。
16.如权利要求15所述的方法，其特征在于，执行用于使用所述神经网络将所述信号数据从所述信号域变换到所述图像域的指令进一步包括执行用于以下的指令：
利用所述神经网络的去卷积层，将预定数量的去卷积滤波器应用于所述多个卷积层中的卷积层，以在所述图像域中产生对应于所述捕获的图像的图像数据。
17.如权利要求11所述的方法，其特征在于，生成所述信号数据包括：
利用磁共振成像系统将磁共振脉冲序列应用于样本；
利用所述磁共振成像系统检测由所述样本响应于所述磁共振脉冲序列生成的响应的磁共振信号；以及
对所述响应的磁共振信号进行采样以生成所述信号数据。
18.一种用于重建图像的系统，包括：
处理器，被配置成用于执行用于通过以下方式将数据从第一域变换到第二域的数据驱动的流形学习神经网络：
使用数据驱动的流形学习神经网络来处理所述数据；以及
其中所述第一域是信号域并且所述第二域是图像域。
19.如权利要求18所述的系统，其特征在于，使用所述数据驱动的流形学习神经网络来处理所述数据包括：
将所述神经网络的多个完全连接的层应用于所述数据以产生矩阵。
20.如权利要求19所述的系统，其特征在于，所述多个完全连接的层包括：
输入层，被配置成用于将所述数据的实部与所述数据的虚部分离，并且用于将所述实部和所述虚部连接以产生输入矢量；
第一隐藏层，被配置成用于使用矩阵乘法，接着使用激活函数对所述输入矢量进行操作；以及
第二隐藏层，被配置成用于从所述第一隐藏层产生矩阵，其中，所述矩阵具有与所述数据的尺寸相对应的尺寸。
21.如权利要求20所述的系统，其特征在于，所述激活函数是双曲正切激活函数。
22.如权利要求19所述的系统，其特征在于，使用所述数据驱动的流形学习神经网络来处理所述数据进一步包括：
利用所述数据驱动的流形学习神经网络的多个卷积层，将预定数量的卷积滤波器应用于所述矩阵。
23.如权利要求22所述的系统，其特征在于，使用所述数据驱动的流形学习神经网络来处理所述数据进一步包括：
利用所述神经网络的去卷积层，将预定数量的去卷积滤波器应用于所述多个卷积层中的卷积层，以在所述第二域中产生经变换的数据。
CN201780065879.XA 2016-09-01 2017-09-01 用于通过流形近似进行自动变换的系统和方法 Active CN109863512B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662382490P 2016-09-01 2016-09-01
US62/382,490 2016-09-01
US201762510572P 2017-05-24 2017-05-24
US62/510,572 2017-05-24
PCT/US2017/049832 WO2018045274A1 (en) 2016-09-01 2017-09-01 System and method for automated transform by manifold approximation

Publications (2)

Publication Number Publication Date
CN109863512A CN109863512A (zh) 2019-06-07
CN109863512B true CN109863512B (zh) 2023-10-20

Family

ID=61301724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065879.XA Active CN109863512B (zh) 2016-09-01 2017-09-01 用于通过流形近似进行自动变换的系统和方法

Country Status (3)

Country Link
US (2) US11620772B2 (zh)
CN (1) CN109863512B (zh)
WO (1) WO2018045274A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028257A2 (en) 2018-07-30 2020-02-06 Hyperfine Research, Inc. Deep learning techniques for magnetic resonance image reconstruction
KR20210059712A (ko) 2018-08-07 2021-05-25 블링크에이아이 테크놀로지스, 아이엔씨. 이미지 향상을 위한 인공지능 기법
WO2020037121A1 (en) 2018-08-15 2020-02-20 Hyperfine Research, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
CN109584324B (zh) * 2018-10-24 2022-12-06 南昌大学 一种基于自动编码器网络的正电子发射型计算机断层显像(pet)重建方法
EP3660789B1 (en) 2018-11-28 2020-11-25 Siemens Healthcare GmbH Model-based image reconstruction using analytic models learned by artificial-neural-networks
US11255932B2 (en) * 2018-12-10 2022-02-22 Electronics And Telecommunications Research Institute Magnetic-field-generating coil system, imaging system having magnetic-field-generating coil system, and method for operating imaging system
US11853812B2 (en) 2018-12-20 2023-12-26 Here Global B.V. Single component data processing system and method utilizing a trained neural network
CN109924949A (zh) * 2019-03-05 2019-06-25 北京工业大学 一种基于卷积神经网络的近红外光谱断层成像重建方法
WO2020186013A2 (en) 2019-03-14 2020-09-17 Hyperfine Research, Inc. Deep learning techniques for generating magnetic resonance images from spatial frequency data
EP3938968A4 (en) * 2019-03-15 2022-11-16 The Trustees of Columbia University in the City of New York SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIUM FOR IMAGE RECONSTRUCTION OF NON-CARTHESIAN MAGNETIC RESONANCE IMAGING INFORMATION USING DEPTH LEARNING
US11315221B2 (en) 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning
US10996306B2 (en) * 2019-04-25 2021-05-04 General Electric Company MRI system and method using neural network for detection of patient motion
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
US11120585B2 (en) * 2019-11-28 2021-09-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
US20230098406A1 (en) * 2020-03-24 2023-03-30 Evident Canada, Inc. Compressive sensing for full matrix capture
CN113705553B (zh) * 2020-05-20 2024-01-26 深圳清华大学研究院 视觉任务执行方法、装置、电子设备、存储介质及系统
CN112213674B (zh) * 2020-09-11 2023-03-21 上海东软医疗科技有限公司 磁共振压缩感知重建方法及装置
CN112085779B (zh) * 2020-09-21 2024-03-22 上海海事大学 一种波浪参数估算方法及装置
JP7377231B2 (ja) * 2021-02-02 2023-11-09 富士フイルムヘルスケア株式会社 磁気共鳴イメージング装置、及び、画像処理方法
US11399757B1 (en) 2021-07-16 2022-08-02 Omniscient Neurotechnology Pty Limited Medical imaging with features to determine emotional state

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240219B1 (en) * 1996-12-11 2001-05-29 Itt Industries Inc. Apparatus and method for providing optical sensors with super resolution
CN1297715A (zh) * 2000-12-28 2001-06-06 上海升荣数字图象技术有限公司 电阻抗断层成像乳腺肿瘤检测仪及其构成方法
CN1788680A (zh) * 2004-12-17 2006-06-21 邱毅 医学热诊断数字图像扫描系统
CN1857161A (zh) * 2006-06-08 2006-11-08 上海交通大学 用多能量放射源ct成像实现脏器表面彩色映射的方法
WO2009083847A2 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics, N.V. Counting integrating detector
CN101785670A (zh) * 2009-01-22 2010-07-28 陈跃军 模糊心电图智能在线分析仪系统
CN102122133A (zh) * 2011-01-21 2011-07-13 北京工业大学 自适应小波神经网络异常检测故障诊断分类系统及方法
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN103679654A (zh) * 2013-11-29 2014-03-26 深圳先进技术研究院 磁共振成像方法和系统
CN103717129A (zh) * 2011-05-24 2014-04-09 加利福尼亚大学董事会 脑磁图源成像
CN104101687A (zh) * 2014-07-10 2014-10-15 天津大学 基于超声多普勒与电学多传感器的多相流可视化测试方法
CN105872046A (zh) * 2016-03-30 2016-08-17 东北大学 一种ct设备的云端虚拟机控制系统及方法
CN105868785A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6462342B1 (en) * 2000-06-22 2002-10-08 Ge Medical Systems Global Technology Co. Llc Method and system for pet image reconstruction
US20130211238A1 (en) * 2001-01-30 2013-08-15 R. Christopher deCharms Methods for physiological monitoring, training, exercise and regulation
DE10119660B4 (de) 2001-04-20 2006-01-05 Siemens Ag Verfahren zur schnellen Gewinnung eines Magnetresonanzbildes
US7646924B2 (en) 2004-08-09 2010-01-12 David Leigh Donoho Method and apparatus for compressed sensing
GB0602229D0 (en) 2006-02-03 2006-03-15 Univ Sussex Electrical potential sensor for use in the detection of nuclear magnetic resonance signals
US20070288410A1 (en) * 2006-06-12 2007-12-13 Benjamin Tomkins System and method of using genetic programming and neural network technologies to enhance spectral data
US7375523B1 (en) 2006-10-30 2008-05-20 General Electric Company System and method for fast MR coil sensitivity mapping
JP5220125B2 (ja) * 2007-12-20 2013-06-26 ウイスコンシン アラムナイ リサーチ ファウンデーシヨン 先験的画像制限画像再構成法
WO2011015952A1 (en) * 2009-08-07 2011-02-10 Medinol Ltd. Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
US20150198684A1 (en) * 2014-01-13 2015-07-16 Tamer BASHA System and Method For Flexible Automated Magnetic Resonance Imaging Reconstruction
US20160071003A1 (en) * 2014-09-10 2016-03-10 Qualcomm Incorporated Multilayer Perceptron for Dual SIM Dual Active Interference Cancellation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240219B1 (en) * 1996-12-11 2001-05-29 Itt Industries Inc. Apparatus and method for providing optical sensors with super resolution
CN1297715A (zh) * 2000-12-28 2001-06-06 上海升荣数字图象技术有限公司 电阻抗断层成像乳腺肿瘤检测仪及其构成方法
CN1788680A (zh) * 2004-12-17 2006-06-21 邱毅 医学热诊断数字图像扫描系统
CN1857161A (zh) * 2006-06-08 2006-11-08 上海交通大学 用多能量放射源ct成像实现脏器表面彩色映射的方法
WO2009083847A2 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics, N.V. Counting integrating detector
CN101785670A (zh) * 2009-01-22 2010-07-28 陈跃军 模糊心电图智能在线分析仪系统
CN102122133A (zh) * 2011-01-21 2011-07-13 北京工业大学 自适应小波神经网络异常检测故障诊断分类系统及方法
CN103717129A (zh) * 2011-05-24 2014-04-09 加利福尼亚大学董事会 脑磁图源成像
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN103679654A (zh) * 2013-11-29 2014-03-26 深圳先进技术研究院 磁共振成像方法和系统
CN104101687A (zh) * 2014-07-10 2014-10-15 天津大学 基于超声多普勒与电学多传感器的多相流可视化测试方法
CN105872046A (zh) * 2016-03-30 2016-08-17 东北大学 一种ct设备的云端虚拟机控制系统及方法
CN105868785A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A New Approach to Image Reconstruction from Projections Using a Recurrent Neural Network;Cierniak R;《 International Journal of Applied Mathematics & Computer Science》;20081231;第18卷(第2期);第147–157页 *
Image reconstruction by domain transform manifold learning;Bo Zhu等;《arXiv:1704.08841》;20170428;第1-18页 *
ImageNet Classification with Deep Convolutional Neural Networks;Krizhevsky, A等;《Advances in neural》;20121231;第1097–1105页 *
基于信号互相关函数与神经网络的全自动图像配准算法;刘君等;《航天医学与医学工程》;第19卷(第6期);425-429 *
基于数据驱动的微小故障诊断方法综述;文成林等;《自动化学报》;1-14 *

Also Published As

Publication number Publication date
US20230215161A1 (en) 2023-07-06
CN109863512A (zh) 2019-06-07
US11620772B2 (en) 2023-04-04
WO2018045274A1 (en) 2018-03-08
US20190213761A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN109863512B (zh) 用于通过流形近似进行自动变换的系统和方法
US11195310B2 (en) Iterative image reconstruction framework
EP2973411B1 (en) System and method for simultaneous image artifact reduction and tomographic reconstruction
US8509514B2 (en) Method for prior image constrained image reconstruction
US10915990B2 (en) Systems and methods for denoising medical images with deep learning network
US8224056B2 (en) Method for computed tomography motion estimation and compensation
JP2020506742A (ja) 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定
US20120099774A1 (en) Method For Image Reconstruction Using Low-Dimensional-Structure Self-Learning and Thresholding
CN113436290A (zh) 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统
JP2008200478A (ja) 局所化および高度に限定された画像再構成法
JP2016152916A (ja) Ｘ線コンピュータ断層撮像装置及び医用画像処理装置
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
US10970885B2 (en) Iterative image reconstruction
US11416984B2 (en) Medical image processing apparatus, medical image generation apparatus, medical image processing method, and storage medium
US11391803B2 (en) Multi-shot echo planar imaging through machine learning
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
US20230342996A1 (en) System and method for complex input data configurations for imaging applications
US20230342995A1 (en) Patch-based medical image generation for complex input datasets
CN115552272A (zh) 使用多个磁共振成像系统配置对磁共振图像的校正
US20220019850A1 (en) Medical data processing apparatus and method
Miller Methods for Reducing 3D Non-Cartesian Reconstruction Time
WO2024008764A1 (en) Cone beam artifact reduction
Zhao et al. Deep learning for medical image reconstruction: Focus on MRI, CT and PET
Omer High-Resolution Computed Tomography Image Reconstruction in Sinogram Space
CN116563154A (zh) 一种医疗成像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant