CN113412430A - 借助于人工神经网络的功能性磁共振成像伪影移除 - Google Patents
借助于人工神经网络的功能性磁共振成像伪影移除 Download PDFInfo
- Publication number
- CN113412430A CN113412430A CN201980091461.5A CN201980091461A CN113412430A CN 113412430 A CN113412430 A CN 113412430A CN 201980091461 A CN201980091461 A CN 201980091461A CN 113412430 A CN113412430 A CN 113412430A
- Authority
- CN
- China
- Prior art keywords
- signals
- neural network
- magnetic resonance
- resonance imaging
- artificial neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 147
- 238000002599 functional magnetic resonance imaging Methods 0.000 title claims abstract description 46
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 64
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 43
- 230000036962 time dependent Effects 0.000 claims abstract description 36
- 230000015654 memory Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000000306 recurrent effect Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 32
- 230000005291 magnetic effect Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000000241 respiratory effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000012880 independent component analysis Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 201000000980 schizophrenia Diseases 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000005292 diamagnetic effect Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000011086 high cleaning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000005298 paramagnetic effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/4806—Functional imaging of brain activation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
- G01R33/56509—Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurosurgery (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种医学成像系统(100、400)，其包括存储器(110)，所述存储器存储机器可执行指令(120)和经配置的人工神经网络(122)。所述医学成像系统还包括处理器(104)，所述处理器被配置用于控制所述医学成像系统。对所述机器可执行指令的执行使所述处理器接收(200)磁共振成像数据(124)，其中，所述磁共振成像数据是描述针对体素的集合中的每个体素的时间相关性BOLD信号(1100)的BOLD功能性磁共振成像数据。对所述机器可执行指令的执行还使所述处理器通过使用所述磁共振成像数据重建针对体素的集合中的每个体素的所述时间相关性BOLD信号来构建(202)初始信号的集合(126)。对所述机器可执行指令的执行还使所述处理器响应于将初始信号的集合输入到所述经配置的人工神经网络中而接收(204)经修改的信号的集合(128)。所述经配置的人工神经网络被配置用于从初始信号的集合移除生理伪影。
Description
技术领域
本发明涉及磁共振成像，具体涉及功能性磁共振成像。
背景技术
作为用于产生对象体内的图像的流程的一部分，由磁共振成像(MRI)扫描器使用大的静态磁场以使原子的核自旋对齐。这一大的静态磁场称为B0场或主磁场。可以使用MRI空间地测量对象的各种量或性质。各种成像协议可以通过使用脉冲序列来实施以控制磁共振数据的采集，并且可以用于测量对象的各种性质。
例如，在功能性磁共振成像(fMRI)中，使用磁共振成像来测量脑活动。常见类型的功能性磁共振成像是血氧水平依赖性(BOLD)对比度。BOLD成像依赖于氧合和脱氧血红蛋白的性质。氧合血红蛋白是顺磁性的，而脱氧血红蛋白是反磁性的。因此，T2*加权脉冲序列可以检测脑中血液的氧合的变化。然而，BOLD效应很小，并且T2*加权图像的对比度仅改变百分之几。由呼吸或心脏运动引起的患者运动最少能是也是大约百分之几的对比度的变化。为了执行BOLD磁共振成像，需要从信号中移除该生理噪声。
Anderson等人的期刊文章“Common component classification:What can welearn from machine learning？”(NeuroImage、第56卷、第2号、第517-524页(2011年5月15日))公开了机器学习方法已经被应用为通过研究脑中呈现组之间的时间强度变化的位置来对fMRI扫描进行分类，经常报告90％或更好的分类准确度。机器学习分类器被创建，并且然后被用于解构分类器以检查其对生理噪声的灵敏度、任务重新排序和跨扫描分类能力。既在运行内又跨运行训练并测试模型，以评估跨状况的稳定性和再现性。说明了独立分量分析用于特征提取和伪影移除两者的用途。
发明内容
本发明提供了一种医学成像系统、一种计算机程序产品以及一种方法。
如上面提到的，功能性磁共振成像信号可以容易地被生理伪影模糊。从功能性磁共振成像数据中移除该噪声的典型方式是监测对象的生理过程，诸如呼吸和心脏运动。这使得能够移除生理伪影。实施例可以通过使用经配置的人工神经网络来自动移除生理伪影而简化该过程。可以训练生理神经网络以移除生理伪影，而不需要传感器来监测呼吸或心脏运动。
在一个方面中，本发明提供了一种医学成像系统，所述医学成像系统包括存储器，所述存储器存储机器可执行指令。所述医学成像系统还包括处理器，所述处理器被配置用于通过执行所述机器可执行指令来控制所述医学成像系统。对所述机器可执行指令的执行使所述处理器接收磁共振成像数据。所述磁共振成像数据是描述针对体素的集合中的每个体素的时间相关性信号的功能性磁共振成像数据。例如所述磁共振成像数据包括个体地描述每个体素的数据，并且该数据包含时间相关性信号。对所述机器可执行指令的执行还使所述处理器通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的所述时间相关性信号来构建初始信号的集合。
所述初始信号的集合具有针对体素的集合中的每个体素的时间相关性信号。对所述机器可执行指令的执行还使所述处理器响应于将所述初始信号的集合输入到经配置的人工神经网络中而收经修改的信号的集合。所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影。该实施例可以是有益的，因为功能性磁共振成像特别易受到生理伪影的影响，所述生理伪影是由对象的生理变化或运动引起的伪影。
应当注意，经修改的信号的集合可以是来自初始信号的集合的纯噪声信号，或其可以是噪声已移除的信号。这两者是基本上等效的。
在另一实施例中，所述医学成像系统还包括磁共振成像系统，所述磁共振成像系统被配置用于根据时间相关性功能性磁共振成像协议来采集所述磁共振成像数据。对所述机器可执行指令的执行还使所述处理器控制所述磁共振成像系统以采集所述磁共振成像数据。
在另一实施例中，所述经配置的人工神经网络包针对所述体素的集合中的每个体素的递归神经网络。针对每个体素的递归神经网络的使用可能是有益的，因为体素的集合中的每个体素的信号是时间相关的。递归神经网络的使用使得能够在时域中处理该信号。
针对体素中的每个体素的递归神经网络可以具有数个或多个层。这些多个层可以包括不同的类型，诸如部分连接层以及卷积层。
在另一实施例中，所经配置的人工神经网络包括输入计算层。体素中的每个体素的所述递归神经网络包括被连接到所述输入计算层的输入。在该实施例中，不是将数据直接输入到个体递归神经网络中，而是首先将输入输入到输入计算层中，并且然后将递归神经网络的输入连接到其中。这可以是有益的，因为可以使用输入计算层更好地建模诸如血流和其他体素的移动以及其他这样的协作行为的效果。
在另一实施例中，经修改的信号的集合是噪声信号的集合和清洁信号的集合之一。初始信号的集合是针对体素中的每个体素的测量的时间相关性BOLD信号。对于每个体素，存在时间相关性BOLD信号。由于生理伪影，初始信号的集合还具有噪声。噪声信号的集合是初始信号的集合的噪声分量，并且经清洁的信号的集合是没有噪声分量的时间相关性信号的集合。神经网络被配置用于移除生理伪影或噪声。具有产生经清洁的信号的集合的经配置的神经网络等效于产生噪声信号的集合的经配置的神经网络。
在另一实施例中，所述神经网络包括多个递归神经网络，并且其中，所述体素的集合中的每个体素的递归神经网络形成所述多个递归神经网络。对于体素的集合中的每个体素，存在个体或单独的递归神经网络。
在另一实施例中，部分连接层的使用可以用于指定特定体素的特定距离或半径内的体素的效应。这在表示局部效应时可以是有用的。
在另一实施例中，所述经配置的人工神经网络包括输出计算层。每个体素的所述递归神经网络包括被连接到所述输出计算层的输出。该实施例也可以是有益的，因为在提供输出时可以考虑相邻体素的输出。这可以提供噪声信号的更有效或更好的移除。
在另一实施例中，所述输出计算层是全连接的。
在另一实施例中，所述输出层是卷积连接的。
在另一实施例中，所述输出计算层是部分连接的。
在另一实施例中，每个体素的所述递归神经网络包括直接反馈或直接反馈循环。直接反馈可以是作为下一次迭代的反馈或经由递归神经网络内的隐藏层提供的反馈而反馈到递归神经网络中的个体信号。所述经配置的人工神经网络包括隐藏反馈层。每个体素的所述递归神经网络的所述直接反馈是经由所述隐藏反馈层提供的。
在该实施例中，代替于递归神经网络的直接反馈被直接馈送到其自身，递归神经网络的直接反馈经过能够组合和/或分布来自多个递归神经网络的反馈的中间层。这可以有助于对影响多于一个体素的效应进行建模。
在另一实施例中，隐藏反馈层包括至少一个全连接层。
隐藏反馈层包括至少一个卷积层。
在另一实施例中，对所述机器可执行指令的执行还使所述处理器接收针对所述体素的集合中的每个体素的训练信号的集合。对所述机器可执行指令的执行还使所述处理器接收针对所述体素的集合中的每个体素的清洁信号的集合。所述训练信号的集合包括所述清洁信号的集合加上生理伪影。对所述机器可执行指令的执行还使所述处理器接收描述对象运动的生理伪影数据。所述生理伪影数据是移动数据。所述移动数据是与所述清洁信号的集合时间相关的。
对所述机器可执行指令的执行还使所述处理器使用所述训练信号的集合、所述清洁信号和所述生理伪影数据来训练所述经配置的人工神经网络。这些训练步骤可以是有益的，因为它们可以能够训练经配置的人工神经网络以在不存在生理伪影数据的情况下移除生理伪影数据。例如，如果呼吸或心率传感器提供生理伪影数据，则得到的经配置的人工神经网络可以能够在不存在生理伪影数据或传感器数据的情况下从初始信号的集合移除该噪声。
在另一实施例中，对所述机器可执行指令的执行还使所述处理器接收噪声降低值。对所述机器可执行指令的执行还使所述处理器使用所述初始信号的集合、所述经修改的信号和所述噪声降低值来构建能控制地清洁的信号的集合。如之前提到的，经修改的信号的集合可以包含清洁信号或具有噪声的信号。无论哪种方式，将其与初始信号的集合结合使用，可以动态地或可控地调节所移除的噪声量。例如，如果经修改的信号的集合仅包含噪声信号，则可以通过将噪声降低值乘以经修改的信号的集合并且然后从初始信号的集合中减去其来构造能控制地清洁的信号的集合。相反，如果经修改的信号的集合是已经清洁噪声的信号，则可以执行类似的操作，具有等效的结果。
在另一实施例中，如果所述经修改的信号的集合是噪声信号的集合，那么构建所述能控制地清洁的信号的集合包括从所述初始信号的集合中减去所述噪声降低值的倍数乘以所述经修改的信号的集合。
在另一实施例中，如果经修改的信号的集合是经清洁的信号的集合，那么构建所述能控制地清洁的信号的集合包括：通过从所述初始信号的集合中减去所述经修改的信号的集合来计算噪声信号的集合；并且通过从所述初始信号的集合中减去所述噪声降低值的倍数乘以所述噪声信号的集合来构建所述能控制地清洁的信号的集合。
在另一实施例中，对所述机器可执行指令的执行还使所述处理器根据所述经修改的信号的集合来重建BOLD磁共振图像。如果经修改的信号的集合是经清洁的信号的集合，则这可以直接使用经修改的信号的集合来执行。如果经修改的信号的集合是噪声信号的集合，则可以通过从经修改的信号的集合中减去经修改的信号的集合来计算经清洁的信号的集合。
在另一实施例中，对所述机器可执行指令的执行还使所述处理器根据能控制地清洁的信号的集合来重建功能性磁共振图像。这可以是有益的，因为它可以使得操作者能够调节得到的功能性磁共振图像中的最佳信号。
在另一实施例中，对所述机器可执行指令的执行还使所述处理器根据所述经修改的信号的集合来重建功能性磁共振图像。例如，如果经修改的信号的集合包括通过经配置的人工神经网络移除所有噪声的信号。
在另一实施例中，针对所述体素的集合中的每个体素的所述递归神经网络是长短期记忆神经网络。长短期记忆神经网络的使用可以是有益的，因为它可以提供在时间上相关的伪影的更好移除。
在另一实施例中，所述磁共振成像数据是描述针对所述体素的集合中的每个体素的时间相关性BOLD信号的BOLD功能性磁共振成像数据。这可以是特别有益的，因为BOLD功能性磁共振成像特别易受生理伪影的影响。例如，由于呼吸或心脏引起的对象的移动可能导致与BOLD信号相同的量级的失真。BOLD信号通常是信号的百分之几。这也与由生理移动或伪影引起的噪声具有相同的数量级。
在另一方面中，本发明提供了一种操作医学成像系统的方法。所述方法包括接收磁共振成像数据。所述磁共振成像数据是描述针对体素的集合中的每个体素的时间相关性信号的功能性磁共振成像数据。所述方法还包括通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的时间相关性信号来构建初始信号的集合。所述方法还包括响应于将所述初始信号的集合输入到经配置的人工神经网络中而接收经修改的信号的集合。所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影。
在另一方面中，本发明提供了一种训练经配置的人工神经网络的方法。所述方法首先包括收针对所述体素的集合中的每个体素的训练信号的集合。所述方法还包括接收针对所述体素的集合中的每个体素的清洁信号的集合。所述训练信号的集合包括所述清洁信号的集合加上生理伪影。所述方法还包括接收描述对象运动的生理伪影数据。所述生理伪影数据是移动数据。所述移动数据是与所述清洁信号的集合时间相关的。所述方法还包括使用所述训练信号的集合、所述清洁信号和所述生理伪影数据来训练所述经配置的人工神经网络。
在另一实施例中，所述训练信号的集合包括顺序数据点。对所述机器可执行指令的执行使所述处理器训练所述经配置的人工神经网络，使得所述清洁信号的集合顺序地偏移预定迭代次数。这种训练使递归神经网络将输出经修改的信号的集合延迟预定迭代次数。这可以具有以下优点：递归神经网络使用初始信号的集合的若干样本来产生经修改的信号的集合。
在另一方面中，本发明提供了一种包括用于由处理器执行的机器可执行指令的计算机程序产品。对所述机器可执行指令的执行使所述处理器接收磁共振成像数据。所述磁共振成像数据是描述针对体素的集合中的每个体素的时间相关性BOLD信号的BOLD功能性磁共振成像数据。对所述机器可执行指令的执行还使所述处理器通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的所述时间相关性BOLD信号来构建初始信号的集合。所述方法还包括响应于将所述初始信号的集合输入到所述经配置的人工神经网络中而接收经修改的信号的集合。所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影。
应该理解，可发组合本发明的一个或多个前述实施例，只要组合后的实施例不相互排斥即可。
如本领域技术人员将认识到的，本发明的若干方面可以实现为装置、方法或计算机程序产品。因此，本发明的各方面可采取完全硬件实施例，完全软件实施例(包括固件，驻留软件，微代码等)，或组合了软件和硬件方面的实施例的形式，其可以在本文统称为“电路”、“模块”或“系统”。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。
可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。如在本文中使用的“计算机可读存储介质”包括任何有形存储介质，其可以存储能够由计算设备的处理器执行的指令。可以将所述计算机可读存储介质称为“计算机可读非瞬态存储介质”。所述计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储数据，所述数据能够被所述计算设备的处理器访问。计算机可读存储介质的示例包括但不限于：软盘，磁硬盘驱动器，固态硬盘，闪存，USB拇指驱动器，随机存取存储器(RAM)，只读存储器(ROM)，光盘，磁光盘和处理器的寄存器文件。光盘的示例包括压缩光盘(CD)和数字多用光盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以经由调制解调器、经由互联网或经由局域网络来取回数据。体现在计算机可读介质上的计算机可执行代码可使用任何恰当的介质来传输，包括但不限于无线、有线、光缆、RF等，或上述各项的任何适当的组合。
计算机可读信号介质可以包括具有实现在其中的例如在基带内或作为载波的一部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取多种形式中的任一种，包括但不限于，电磁的、光学的、或它们的任意合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且其能够传递、传播或传输程序用于由指令运行系统、装置或设备使用或与其结合使用。
“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是处理器能够直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一示例。计算机存储可设备以是任何易失性或非易失性计算机可读存储介质。
用在本文中的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指计算设备的集合或网络，每个计算设备均包括一处理器或多个处理器。所述计算机可执行代码可以由多个处理器运行，所述处理器可以处在相同的计算设备内或其甚至可以跨多个计算设备分布。
计算机可执行代码可以包括令处理器执行本发明的各方面的机器可执行指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以以一种或多种编程语言(包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如C编程语言或类似编程语言的常规过程编程语言)的任何组合来编写并且被编译为机器可执行指令。在一些情况下，所述计算机可执行代码可以以高级语言的形式或以预编译形式并且结合在飞行中生成机器可执行指令的解释器来使用。
所述计算机可执行代码可以作为单机软件包全部地在所述用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或全部地在所述远程计算机或服务器上运行。在后者的场景中，所述远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))或可以对外部计算机做出的连接(例如，使用因特网服务提供商通过因特网)而被连接到用户的计算机。
本发明的各方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图示和/或框图得以描述。应该理解，流程图、图示和/或框图的每个框或框的一部分能够在适用时通过以计算机可执行代码的形式的计算机程序指令来实施。还应当理解的是，当不是相互排斥的时，在不同的流程图、图示和/或框图中块的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机的处理器或其他可编程数据处理装置以生产机器，使得经由计算机的处理器或其他可编程数据处理装置运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的器件。
这些计算机程序指令还可以被存储在计算机可读介质中，其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或一个或多个框图框中所指定的功能/动作的指令的制品。
所述计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中所指定的功能/动作的过程。
如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据和/或接收来自操作者的信息或数据。用户接口可使来自操作者的输入能够被计算机接收，且可将输出从计算机提供给用户。换言之，用户接口可以允许操作者控制或操纵计算机，并且该接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的示例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏垫、网络摄像头、头盔、踏板、有线手套、遥控器以及加速度计接收数据都是实现从操作者接收信息或数据的用户接口部件的示例。
如在本文中所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置进行交互或对其进行控制的接口。硬件接口可允许处理器将控制信号或指令发送给外部计算设备和/或装置。硬件接口也可以使处理器与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。
本文中使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和触觉数据。显示器的示例包括但不限于：电脑监视器、电视屏幕、触摸屏、触觉电子显示屏、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影机和头戴式显示器。
磁共振成像数据在本文中被定义为使用在磁共振成像扫描期间通过磁共振装置的天线对由原子自旋发射的射频信号的所记录的测量结果。磁共振成像(MRI)图像或MR图像在本文中被定义为包含在磁共振成像数据内的解剖数据的经重建的二维或三维可视化。这种可视化能够使用计算机来执行。
附图说明
在下文中将仅通过举例的方式，并且参考附图描述本发明的优选实施例，在附图中：
图1图示了医学成像系统的示例；
图2示出了图示操作图1的医学成像系统的方法的流程图；
图3示出了图示训练经配置的人工神经网络的方法的流程图；
图4图示了医学成像系统的又一示例；
图5示出了图示操作图4的医学成像系统的方法的流程图；
图6图示了经配置的人工神经网络的示例；
图7图示了经配置的人工神经网络的又一示例；
图8图示了经配置的人工神经网络的又一示例；
图9图示了经配置的人工神经网络的又一示例；
图10图示了具有噪声的时间相关性功能性磁共振成像信号的示例；
图11图示了没有噪声的时间相关性功能性磁共振成像信号的理想化；
图12图示了展开的递归神经网络的示例；
图13图示了展开的LSTM神经网络的示例；并且
图14图示了经配置的人工神经网络的又一示例。
附图标记列表
100 医学成像系统
102 计算机
104 处理器
106 硬件接口
108 用户接口
110 存储器
120 机器可执行指令
122 经配置的人工神经网络
124 磁共振成像数据
126 初始信号的集合
128 经修改的信号的集合
130 功能性磁共振图像
200 接收磁共振成像数据
202 通过使用磁共振成像数据重建针对体素的集合中的每个的时间相关性信号来构建初始信号的集合
204 响应于将初始信号的集合输入到经配置的人工神经网络中而接收经修改的信号的集合，其中，所述经配置的人工神经网络被配置用于从初始信号的集合移除生理伪影
300 接收针对体素的集合中的每个的训练信号的集合
302 接收针对体素的集合中的每个的清洁信号的集合
304 接收描述对象运动的生理伪影数据
306 使用训练信号的集合、清洁信号和生理伪影数据来训练经配置的人工神经网络
400 医学成像系统
402 磁共振成像系统
404 磁体
406 磁体的膛
408 成像区
409 感兴趣区域
410 磁场梯度线圈
412 磁场梯度线圈电源
414 射频线圈
416 收发器
418 对象
420 对象支撑体
430 脉冲序列命令
500 控制磁共振成像系统以采集磁共振成像数据
600 递归神经网络
600 LSTM
602 输入
604 输出
606 直接反馈或隐藏层神经元
700 输入计算层
702 层输入的输入
800 输出计算层
802 输出计算层的输出
900 连接的隐藏层
1000 混杂伪影的BOLD信号
1002 时间
1004 BOLD响应
1100 理想化无伪影bold信号
1102 初始下降
1104 峰
1106 刺激后下冲
具体实施方式
在这些附图中相似编号的元件或为等价元件或执行相同的功能。如果功能等价，则先前已经论述的元件将不必要在后面的附图中论述。
图1图示了医学成像系统100的示例。医学成像系统100包括计算机102。计算机包括处理器104。处理器104旨在表示一个或多个处理器或处理核，并且还可以分布在多个计算机中间。处理器被示出为连接到任选的硬件接口106、任选的用户接口108和存储器110。硬件接口106可以使得处理器104能够向医学成像系统100的其他部件发送和接收信号或信息并控制它们。
硬件接口106也可以是网络接口，并且可以使得处理器104能够与其他计算机系统交换数据和/或指令。用户接口108可以实现数据的显示和/或图像的绘制。用户接口108还可以由操作者使用以控制医学成像系统的操作和功能。存储器110是处理器104可访问的任何存储器。存储器110可以包括易失性和非易失性存储器。存储器110中的条目可以在存储器的多种模态内拷贝或复制，诸如在主存储器中以及存储在硬盘驱动器或其他计算机存储介质上。
存储器110被示出为包含机器可执行指令120。由处理器104对机器可执行指令120的执行使得处理器104能够控制医学成像系统的各种部件。对机器可执行指令的执行还可以使得处理器104能够执行各种数据和数值计算以及数据处理。
存储器110还被示出为包含经配置的人工神经网络122。经配置的人工神经网络被配置用于从时间相关性功能性磁共振成像信号移除生理伪影。示例将是从所谓的BOLD磁共振成像信号移除噪声。存储器110还被示出为包含磁共振成像数据124。磁共振成像数据124是描述针对体素的集合中的每个的时间相关性信号的功能性磁共振成像数据。存储器110还被示出为包含根据磁共振成像数据124重建的初始信号的集合126。信号的集合126中的每个是时间相关性信号，并且存在针对体素的集合中的每个的信号。存储器110还包含已经响应于将初始信号的集合126输入到经配置的人工神经网络122中而接收到的经修改的信号的集合128。
在不同的示例中，经修改的信号的集合128可以采取不同的形式。在一个示例中，经修改的信号的集合是移除噪声的时间相关性功能性磁共振成像信号。在另一示例中，经修改的信号的集合128是噪声分量。存储器110还被示出为包含已经使用经修改的信号的至少一个集合128的重建的功能性磁共振图像130。在一些示例中，经修改的信号的集合128和初始信号的集合126两者被用于构建功能性磁共振图像130。
图3示出了图示操作图1的医学成像系统100的方法的流程图。首先，在步骤200中，接收磁共振成像数据124。磁共振成像数据是描述针对体素的集合中的每个的时间相关性信号的功能性磁共振成像数据。接下来在步骤202中，通过使用磁共振成像数据124重建针对体素的集合中的每个的时间相关性信号来构建初始信号的集合。然后在步骤204中，初始信号的集合126被输入到经配置的人工神经网络122中。作为响应，经配置的人工神经网络122然后输出经修改的信号的集合128。然后，该方法可以执行任选的步骤号206。在步骤206中，至少使用经修改的信号的集合128来构建功能性磁共振图像130。
图3示出了图示训练或配置图1的经配置的人工神经网络122的方法的流程图。首先，在步骤300中，针对体素的集合中的每个接收训练信号的集合。接下来在步骤302中，针对体素的集合中的每个接收清洁信号的集合。训练信号的集合包括清洁信号的集合加上的生理伪影或噪声。然后，在步骤304中，接收描述对象运动的生理伪影数据。移动数据是与清洁信号的集合时间相关的。最后，在步骤206中，使用训练信号的集合、清洁信号和生理伪影数据来训练经配置的人工神经网络。可以在将经配置的人工神经网络122部署到医学成像系统100之前执行图3中图示的训练方法。在其他示例中，使用医学成像系统100来执行图3中图示的训练方法。这可以是在经配置的人工神经网络122的初始使用之前和/或其可以是随着更多数据和训练信号变得可用的继续训练。
图4图示了医学成像系统400的又一示例。图4中图示的医学成像系统400类似于图1中的医学成像系统，除了其额外包括磁共振成像系统402。磁共振成像系统402包括磁体404。磁体404是具有通过其的膛406的超导圆柱型磁体。使用不同类型的磁体也是可能的，例如，还能够使用分裂式圆柱磁体和所谓的开放式磁体二者。分裂式圆柱磁体相似于标准圆柱磁体，除了已经将低温保持器分裂成两段以允许接近磁体的等平面，这种磁体例如可以结合带电粒子束治疗而使用。开放式磁体具有两个磁体段，一个在另一个之上，之间有足够大的空间，以接收对象：两个段的布置相似于亥姆霍兹线圈的布置。开放式磁体是常见的，因为对象受到较少约束。在圆柱形磁体的低温保持器内部存在一系列超导线圈。在圆柱形磁体404的膛406之内存在成像区408，在所述成像区中，磁场足够强且足够均匀以执行磁共振成像。示出了成像区408内的感兴趣区域409。磁共振数据通常针对感兴趣区域来进行采集。对象418被示出为由对象支撑体420支撑，使得对象418的至少部分在成像区408和感兴趣区域409内。
在磁体的膛406之内还存在磁场梯度线圈410的集合，所述磁场梯度线圈用于初步采集磁共振数据，以对磁体404的成像区408之内的磁自旋进行空间编码。磁场梯度线圈410连接到磁场梯度线圈电源412。磁场梯度线圈410旨在为代表性的。通常，磁场梯度线圈410包含三个独立的线圈集合，以用于在三个正交空间方向上进行空间编码。磁场梯度线圈电源向磁场梯度线圈供应电流。根据时间来控制供应到磁场梯度线圈410的电流，并且该电流可以是斜变的或脉冲的。
毗邻于成像区408是射频线圈414，所述射频线圈用于操控成像区408之内的磁自旋的取向并且用于从也在成像区408之内的自旋接收无线电发射。射频天线可以包含多个线圈元件。射频天线也可以称作通道或天线。射频线圈414连接到射频收发器416。可以由独立的发射线圈和接收线圈以及独立的发射器和接收器替代射频线圈414和射频收发器416。应理解，射频线圈414和射频收发器416是代表性的。射频线圈414还旨在表示专用的发射天线和专用的接收天线。同样地，收发器416也可以表示独立的发射器和接收器。射频线圈414也可以具有多个接收/发射元件，并且射频收发器416可以具有多个接收/发射通道。例如，如果执行诸如SENSE的并行成像技术，则射频线圈414可以将具有多个线圈元件。
在该示例中，对象418被定位为使得对象的头部区域在感兴趣区域409内以用于执行功能性磁共振成像。
收发器416和梯度控制器412被示出为连接到计算机系统102的硬件接口106。存储器110被示出为还包含脉冲序列命令430的集合。脉冲序列命令430被配置用于控制磁共振成像系统以根据功能性磁共振成像协议来采集磁共振成像数据124，所述功能性磁共振成像协议测量针对体素的集合中的每个的时间相关性信号。例如，如果功能性磁共振成像技术是BOLD技术，则脉冲序列命令430可以被配置用于进行T2*的准确测量。
图5示出了图示操作图4的医学成像系统400的方法的流程图。该方法以步骤500开始。在步骤500中，处理器104利用脉冲序列命令430控制磁共振成像系统402以采集磁共振成像数据124。然后，该方法前进到如图2中描述的步骤200、202、204和206。
图6图示了经配置的人工神经网络122的一种架构。在该示例中，存在被分配给磁共振成像数据的每个体素的递归神经网络600。递归神经网络600的图示可以表示单个递归神经网络、具有多个层的递归神经网络或系列中的多个递归神经网络。每个递归神经网络600包括输入602和输出604。每个递归神经网络600还包括直接反馈606或直接反馈回路，其可以被视为反馈信号或经由神经元的隐藏层的连接。直接反馈606被图示为线，但也可以被图示为框以表示隐藏层或神经元。图6中图示的示例是最简单的架构。
图7图示了经配置的人工神经网络122的更复杂的版本。在图7中，代替于经配置的人工神经网络122的输入直接馈送到个体递归神经网络600中，现在替代地存在输入计算层700。输入计算层700具有用作用于经配置的人工神经网络122的输入的输入702。然后，输入计算层700的输出被引导到个体递归神经网络600的输入。输入计算层可以例如是全连接的、卷积连接的或部分连接的。输入计算层的初始使用可以帮助移除在空间上或在多个体素上相关的伪影。
图8示出了经配置的人工神经网络122的进一步改善或改进。图8中图示的示例类似于图7中的示例，除了已经添加了额外的输出计算层800。递归神经网络600的输出604连接到输出计算层800的输入。输出计算层800然后具有其自己的输出802，其是整体经配置的人工神经网络122的输出。输出层也可以是全连接层、卷积连接层和部分连接层。输出计算层800的添加还可以进一步改进移除在多个体素上相关或在空间上相关的噪声或生理伪影的能力。图8所示的示例示出了输入计算层700和输出计算层800两者。可以从图8所示的示例中移除输入计算层700。
图9示出了经配置的人工神经网络122的又一示例。图9中图示的示例类似于图8中图示的示例，不同之处在于直接反馈606或隐藏层神经元被实施为隐藏反馈层900。隐藏反馈层900提供个体递归神经网络600之间的通信。隐藏反馈层900可以例如被实施为全连接层、卷积连接层或部分连接层。
功能性磁共振成像(fMRI)具有有益于心理疾病的临床评估的巨大潜力。经由BOLD(血氧水平相关性)信号在体内测量的病理性脑活动与诸如抑郁症、精神分裂症、自闭症等的精神障碍有关。
然而，由于主要是生理性质的不同信号伪影，fMRI遭受固有低信噪比。纯频域滤波或其他伪影移除算法(诸如独立分量分析(ICA))常常由于这些伪影的对象特异性而失败，或需要繁琐的用户交互。另一方面，由于有限的硬件可用性(例如呼吸带、ECG)，测量伪影信号并不总是可行的。
实施例可以提供一种基于人工神经网络(ANN)将混杂伪影的fMRI时间过程映射到无伪影时间过程的成像系统。在第一训练时段中，记录fMRI数据。此外，例如，利用呼吸带、相机、ECG等同时记录生理伪影。伪影信号用于例如使用简单回归技术来清洁BOLD时间过程。给定混杂伪影和清洁信号，递归深度神经网络被训练为从第一个映射到后一个。提供足够多且很清洁的数据集，该算法将能够自动清洁未见过的数据集的数据。
另外，由用户在GUI设置中控制的外部参数控制清洁的强度。用户设置也可能移除有效数据部分的“强清洁”或可能导致残余伪影的“弱清洁”。
功能性磁共振成像(fMRI)具有有益于心理疾病的临床评估的巨大潜力，例如用于疾病分类、处置选择或疾病进展预后。经由BOLD(血氧水平依赖性)信号在体内测量的病理性脑活动已经与诸如抑郁症、精神分裂症、自闭症等的精神障碍有关。
如先前提到的，fMRI遭受固有低信噪比，并且因此倾向于主要地生理性质的许多不同的信号伪影。尽管热和系统噪声与静态场强成线性比例，但是生理伪影以2的幂成比例。
最近的自动伪影降低技术(诸如频域滤波或独立分量分析(ICA))常常由于这些伪影的对象特异性(例如，信号频率和形状)而失效。为了改进这些方法，需要繁琐的手工工作和专家知识。另一方面，由于适当设置中的有限硬件可用性(例如呼吸带、ECG)，测量伪影信号不总是可行的。
示例可以提供一种基于人工神经网络(ANN)将混杂伪影的fMRI时间过程映射到无伪影时间过程的成像系统。在第一训练时段中，记录fMRI数据。此外，例如，利用呼吸带、相机、ECG或类似种类的传感器同时记录生理伪影。伪影信号用于例如使用简单的线性回归技术来清洁BOLD时间过程。给定混杂伪影和清洁信号，递归深度神经网络被训练为从第一个映射到后一个。提供足够很多且很清洁的数据集，该算法将能够自动清洁未见过的数据集的数据。
另外，可以考虑由用户在图形用户接口(GUI)中控制的外部参数以设置清洁水平。用户设置也可能移除有效数据部分的“高清洁水平”或可能导致一些剩余的残余伪影的弱清洁水平。
为了构建本发明，提供了无伪影fMRI训练数据。所使用的大量采集的fMRI BOLD时间序列例如可以手动清洁。这些时间序列源自于大量对象和不同的脑区域，并且在其持续时间内改变。清洁可以在先前步骤中实现，例如通过谱的视觉检查并使用ICA或其他技术(如回归)在适当的频带中进行滤波。此外，可以例如利用呼吸带和ECG来测量伪影信号。给定测量的信号，可以将其从BOLD信号中回归出来。图10和11示出了混杂伪影的信号和理想的无伪影BOLD信号的示例。为了数据增强，还可以将来自一个对象的伪影信号与来自另一对象的清洁的BOLD信号进行组合。
图10示出了图示针对单个体素的理想化BOLD响应1000的曲线。x轴是时间1002，并且y轴1004是BOLD响应。通过检查图10中的信号可以看出，它是极其嘈杂的，并且解释或看见BOLD信号是不可能的。
图11图示了理想化无伪影BOLD信号1100。可以看出，无伪影BOLD信号1100具有初始下降1102、峰1104和刺激后下冲1106。这在图10中是不可见的。
给定许多配对的时间序列，可以训练递归神经网络(RNN)以学习从混杂伪影的时间序列x(t)到无伪影的时间序列y(t)的映射y＝f(x)。在其最简单的形式中，RNN可以被视为在时域中展开的全连接的神经网络，参见下面的图12。在该示例中，对于时间的每个实例仅存在单个神经元，并且仅学习两个参数。假设双曲正切作为激活函数，传递函数变为yt＝tanh(wyt-1+uxt)，其中，w和u是可学习参数。
图12示出了表示在多个时间段的时段内的一个体素的单个递归神经网络600的操作。这图示了所谓的展开过程，或它是在时间上展开的递归神经网络600的图像。各种输入602和604表示到相同递归神经网络600中但是在后续时间间隔处的输入。
这种简单的情形仅服务于图示目的，即神经网络如何可以用于学习时间序列之间的映射。可以(并且必须)通过将这些描述的单元中的更多堆叠到彼此上来增加网络复杂性，从而导致深度人工神经网络。这将使得网络能够适当地学习多个伪影的复杂结构，并且最终将其从信号中回归出来。此外，可以考虑分层架构，其中首先，伪影信号本身由RNN学习，并且然后被馈送到负责以非线性方式从原始BOLD序列中回归出伪影信号的第二网络中。对于第二网络，可以引入控制回归强度的额外参数。这样，用户具有宁愿允许假阳性(弱回归导致剩余伪影)或假阴性(强回归导致错误移除的真实BOLD信号)的能力。
上面概述的方法的一个缺点是直到单个时间点才捕获到时间相关性。然而，为了学习长期相关性，诸如呼吸和心跳伪影，人们需要更复杂的架构。一种方法将是长短期记忆(LSTM)网络作为RNN。图13示出了这些更复杂的单元的架构，其具有通过不同的操作门(输入门、遗忘门、输出门)修改的内部状态变量。
图13图示了用所谓的LSTM网络替换简单的递归神经网络600。这是长短期记忆网络。LSTM600’可以用于替换其他示例中图示的递归神经网络600。在图13中，LSTM600’再次用于单个体素。如同图12，LSTM600’被示出为在时间上展开。
在又一示例中，可以考虑将混杂伪影移除的范围也扩展到由记录系统(MRI、ECG、运动传感器等)生成的那些及其潜在的不期望串扰。供应商通常在fMRI实验的整个过程期间注意确保完美的图像/数据质量，但是系统加热和其他时间效应可能稍微影响数据质量。而且，在MRI中应用的强梯度的相互作用能对其他传感器(ru ECG)的并发读数具有不利影响。也可以在深度学习系统中馈送该信息以移除这些影响。
示例可以用作fMRI数据集的分析中的第一步。在数据采集之后，在图形用户接口中向用户呈现数据和处理选项。在处理选项之中，用户可以选择“自动伪影移除”并且额外设置控制伪影移除的强度的参数。
另外的示例可以具有以下性质或特征中的一个或多个：
基于以下的最佳滤波器参数的自动预选择而无需用户交互：
大的通用数据集的统计分析(例如，用于训练ANN)。
现场采集的特定数据的统计分析，因为各种采集的信号可能具有不同的性质，并且可能是操作者和设备类型相关的。
基于所使用的fMRI序列的参数的自适应选择。
基于所使用的装备类型的参数的自适应选择(源自技术差异的特定差异，例如ECG与VCG与相机系统以及供应商设备差异)。
使用门控重复单元(GRU)作为LSTM的一个特殊类别，以减少训练所需的参数的数量以及减少训练时间。
增加“ANN”的深度以增加表达能力(例如，学习缓慢和快速变化的动态的更好分开)。
在反向传播期间使用快捷连接，例如用于更快的梯度流。
将两个ANN堆叠在彼此的顶部上以增加网络的表达能力和学习能力。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的；本发明不限于公开的实施例。
本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，词语“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定元件，但是这并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上，例如与其他硬件一起提供或作为其他硬件的一部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统分布。权利要求书中的任何附图标记都不得被解释为对范围的限制。
图14图示了经配置的人工神经网络122的又一示例。图14中图示的示例类似于图8中图示的示例，不同之处在于不存在输入层700和输出层800。初始信号的集合被直接输入到递归神经网络600的输入602中。经修改的信号的集合由递归神经网络600的输出604直接输出。对于体素的集合中的每个体素，存在递归神经网络600。隐藏反馈层900提供个体递归神经网络600之间的通信。隐藏反馈层900可以例如被实施为全连接层、卷积连接层或部分连接层。隐藏反馈层900使得经配置的人工神经网络能够移除在不同体素之间空间相关的生理伪影。
Claims (15)
1.一种医学成像系统(100、400)，包括：
-存储器(110)，其存储机器可执行指令(120)和经配置的人工神经网络(122)；
-处理器(104)，其被配置用于通过执行所述机器可执行指令来控制所述医学成像系统，其中，对所述机器可执行指令的执行使所述处理器：
-接收(200)磁共振成像数据(124)，其中，所述磁共振成像数据是BOLD功能性磁共振成像数据，所述BOLD功能性磁共振成像数据描述针对体素的集合中的每个体素的时间相关性BOLD信号(1100)，其中，所述磁共振成像数据是BOLD功能性磁共振成像数据，所述BOLD功能性磁共振成像数据描述针对体素的集合中的每个体素的时间相关性BOLD信号，其中，所述经配置的人工神经网络包括针对所述体素的集合中的每个体素的递归神经网络(600)；
-通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的所述时间相关性BOLD信号来构建(202)初始信号的集合(126)；并且
-响应于将所述初始信号的集合输入到所述经配置的人工神经网络中而从所述经配置的人工神经网络接收(204)经修改的信号的集合(128)，其中，所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影。
2.根据权利要求1所述的医学成像系统，其中，所述医学成像系统还包括磁共振成像系统(402)，所述磁共振成像系统被配置用于根据时间相关性功能性磁共振成像协议来采集所述磁共振成像数据，其中，对所述机器可执行指令的执行还使所述处理器控制(500)所述磁共振成像系统以采集所述磁共振成像数据。
3.根据权利要求1或2所述的医学成像系统，其中，所述神经网络包括多个递归神经网络，并且其中，所述体素的集合中的每个体素的所述递归神经网络形成所述多个递归神经网络。
4.根据前述权利要求中的任一项所述的医学成像系统，其中，所述经配置的人工神经网络包括输入计算层(700)，其中，每个体素的所述递归神经网络包括被连接到所述输入计算层的输入(602)。
5.根据权利要求4所述的医学成像系统，其中，所述输入计算层是以下各项中的任一项：
-全连接的；
-卷积连接的；以及
6.根据前述权利要求中的任一项所述的医学成像系统，其中，所述经配置的人工神经网络包括输出计算层(800)，其中，每个体素的所述递归神经网络包括被连接到所述输出计算层的输出(604)。
7.根据权利要求6所述的医学成像系统，其中，所述输出计算层是以下各项中的任一项：
-全连接的；
-卷积连接的；以及
-部分连接的。
8.根据前述权利要求中的任一项所述的医学成像系统，其中，每个体素的所述递归神经网络包括直接反馈(606)，其中，所述经配置的人工神经网络包括隐藏反馈层(900)，其中，每个体素的所述递归神经网络的所述直接反馈是经由所述隐藏反馈层提供的。
9.根据前述权利要求中的任一项所述的医学成像系统，其中，对所述机器可执行指令的执行还使所述处理器：
-接收(300)针对所述体素的集合中的每个体素的训练信号的集合；
-接收(302)针对所述体素的集合中的每个体素的清洁信号的集合，其中，所述训练信号的集合包括所述清洁信号的集合加上生理伪影；
-接收(304)描述对象运动的生理伪影数据，其中，所述生理伪影数据是与所述清洁信号的集合时间相关的；
-使用所述训练信号的集合、所述清洁信号和所述生理伪影数据来训练(306)所述经配置的人工神经网络。
10.根据前述权利要求中的任一项所述的医学成像系统，其中，对所述机器可执行指令的执行还使所述处理器：
-接收噪声降低值；并且
-使用所述初始信号的集合、所述经修改的信号的集合和所述噪声降低值来构建能控制地清洁的信号的集合。
11.根据权利要求10所述的医学成像系统，其中，执行以下各项中的任一项：
-其中，如果所述经修改的信号的集合是噪声信号的集合，那么构建所述能控制地清洁的信号的集合包括从所述初始信号的集合中减去所述噪声降低值的倍数乘以所述经修改的信号的集合；以及
-其中，如果所述经修改的噪声信号的集合是经清洁的信号的集合，那么构建所述能控制地清洁的信号的集合包括：
-通过从所述初始信号的集合中减去所述经修改的信号的集合来计算噪声信号的集合；并且
-通过从所述初始信号的集合中减去所述噪声降低值的倍数乘以所述噪声信号的集合来构建所述能控制地清洁的信号的集合。
12.根据权利要求10或11所述的医学成像系统，其中，对所述机器可执行指令的执行还使所述处理器根据所述能控制地清洁的信号的集合来重建功能性磁共振图像(130)。
13.根据前述权利要求中的任一项所述的医学成像系统，其中，针对所述体素的集合中的每个体素的所述递归神经网络是长短期记忆神经网络(600’)。
14.一种操作医学成像系统的方法，其中，所述方法包括：
-接收(200)磁共振成像数据(124)，其中，所述磁共振成像数据是BOLD功能性磁共振成像数据，所述BOLD功能性磁共振成像数据描述针对体素的集合中的每个体素的时间相关性BOLD信号；
-通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的所述时间相关性BOLD信号来构建(202)初始信号的集合(126)；并且
-响应于将所述初始信号的集合输入到经配置的人工神经网络(122)中而从所述经配置的人工神经网络接收(204)经修改的信号的集合(128)，其中，所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影，其中，所述经配置的人工神经网络包括针对所述体素的集合中的每个体素的递归神经网络(600)。
15.一种包括机器可执行指令(120)的计算机程序产品，所述机器可执行指令用于由处理器(104)执行经配置的人工神经网络(122)的实施方式，其中，对所述机器可执行指令的执行使所述处理器：
-接收(200)磁共振成像数据(124)，其中，所述磁共振成像数据是BOLD功能性磁共振成像数据，所述BOLD功能性磁共振成像数据描述针对体素的集合中的每个体素的时间相关性BOLD信号；
-通过使用所述磁共振成像数据重建针对所述体素的集合中的每个体素的所述时间相关性BOLD信号来构建(202)初始信号的集合(126)；并且
-响应于将所述初始信号的集合输入到所述经配置的人工神经网络中而从所述经配置的人工神经网络接收(204)经修改的信号的集合(128)，其中，所述经配置的人工神经网络被配置用于从所述初始信号的集合移除生理伪影，其中，所述经配置的人工神经网络包括针对所述体素的集合中的每个体素的递归神经网络(600)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18211002.3A EP3663785A1 (en) | 2018-12-07 | 2018-12-07 | Functional magnetic resonance imaging artifact removal by means of an artificial neural network |
| EP18211002.3 | 2018-12-07 | ||
| PCT/EP2019/082520 WO2020114830A1 (en) | 2018-12-07 | 2019-11-26 | Functional magnetic resonance imaging artifact removal by means of an artificial neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113412430A true CN113412430A (zh) | 2021-09-17 |
| CN113412430B CN113412430B (zh) | 2024-06-11 |
Family
ID=64959088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980091461.5A Active CN113412430B (zh) | 2018-12-07 | 2019-11-26 | 借助于人工神经网络的功能性磁共振成像伪影移除 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11978136B2 (zh) |
| EP (2) | EP3663785A1 (zh) |
| JP (1) | JP7442525B2 (zh) |
| CN (1) | CN113412430B (zh) |
| WO (1) | WO2020114830A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11408954B2 (en) * | 2020-03-24 | 2022-08-09 | GE Precision Healthcare LLC | Systems and methods of reducing noise and artifacts in magnetic resonance imaging |
| TR202019736A2 (tr) * | 2020-12-04 | 2022-06-21 | Aselsan Elektronik Sanayi Ve Ticaret As | Tespi̇t uygulamalari i̇çi̇n gürültü önleme metodu |
| US11808832B2 (en) * | 2021-06-10 | 2023-11-07 | GE Precision Healthcare LLC | System and method for deep learning-based generation of true contrast images utilizing synthetic magnetic resonance imaging data |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104603630A (zh) * | 2012-09-06 | 2015-05-06 | 皇家飞利浦有限公司 | 具有基于导航器的运动检测的磁共振成像系统 |
| CN107507148A (zh) * | 2017-08-30 | 2017-12-22 | 南方医科大学 | 基于卷积神经网络去除磁共振图像降采样伪影的方法 |
| US9848812B1 (en) * | 2013-07-19 | 2017-12-26 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Detection of mental state and reduction of artifacts using functional near infrared spectroscopy (FNIRS) |
| US20180143275A1 (en) * | 2016-11-22 | 2018-05-24 | Hyperfine Research, Inc. | Systems and methods for automated detection in magnetic resonance images |
| CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3547552B2 (ja) * | 1996-03-15 | 2004-07-28 | 株式会社日立メディコ | 核磁気共鳴を用いた検査装置 |
| US20060018524A1 (en) * | 2004-07-15 | 2006-01-26 | Uc Tech | Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT |
| US8315962B1 (en) | 2009-11-25 | 2012-11-20 | Science Applications International Corporation | System and method for multiclass discrimination of neural response data |
| CA3053487A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
| US10890641B2 (en) * | 2017-04-07 | 2021-01-12 | Cornell University | System and method of robust quantitative susceptibility mapping |
| DE102017208560A1 (de) * | 2017-05-19 | 2018-11-22 | Siemens Healthcare Gmbh | Funktionelle Magnetresonanz-Bildgebung |
| US11638569B2 (en) * | 2018-06-08 | 2023-05-02 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound |
-
2018
- 2018-12-07 EP EP18211002.3A patent/EP3663785A1/en not_active Withdrawn
-
2019
- 2019-11-26 JP JP2021532012A patent/JP7442525B2/ja active Active
- 2019-11-26 CN CN201980091461.5A patent/CN113412430B/zh active Active
- 2019-11-26 EP EP19805999.0A patent/EP3891520B1/en active Active
- 2019-11-26 WO PCT/EP2019/082520 patent/WO2020114830A1/en unknown
- 2019-11-26 US US17/299,804 patent/US11978136B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104603630A (zh) * | 2012-09-06 | 2015-05-06 | 皇家飞利浦有限公司 | 具有基于导航器的运动检测的磁共振成像系统 |
| US9848812B1 (en) * | 2013-07-19 | 2017-12-26 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Detection of mental state and reduction of artifacts using functional near infrared spectroscopy (FNIRS) |
| US20180143275A1 (en) * | 2016-11-22 | 2018-05-24 | Hyperfine Research, Inc. | Systems and methods for automated detection in magnetic resonance images |
| CN107507148A (zh) * | 2017-08-30 | 2017-12-22 | 南方医科大学 | 基于卷积神经网络去除磁共振图像降采样伪影的方法 |
| CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| SACHIN 等: "ICA components classiofication of FMRI data using neural networks", INTERNATIONAL JOURNAL OF ENGINEERING SCIENCE INVENTION RESEARCH & DEVELOPMENT, vol. 3, no. 7, pages 371 - 376, XP055593664 * |
| SALIMI-KHORSHIDI GHOLAMREZA等: "Automatic denoising of functional MRI data: Combining independent component analysis and hierarchical fusion of classifiers", NEUROIMAGE, pages 449 - 468 * |
| 吴琴;李光明;: "血氧水平依赖功能磁共振成像在肿瘤中的应用研究进展", 四川生理科学杂志, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11978136B2 (en) | 2024-05-07 |
| EP3663785A1 (en) | 2020-06-10 |
| CN113412430B (zh) | 2024-06-11 |
| EP3891520B1 (en) | 2024-01-10 |
| JP2022511065A (ja) | 2022-01-28 |
| JP7442525B2 (ja) | 2024-03-04 |
| EP3891520A1 (en) | 2021-10-13 |
| WO2020114830A1 (en) | 2020-06-11 |
| US20220028133A1 (en) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10823798B2 (en) | Virtual CT images from magnetic resonance images | |
| US11978136B2 (en) | Functional magnetic resonance imaging artifact removal by means of an artificial neural network | |
| CN110073232B (zh) | 用于多状态磁共振指纹识别的磁共振成像系统、方法和计算机可读介质 | |
| US11656310B2 (en) | Real-time fMRI | |
| CN110476075A (zh) | 针对解剖区域的磁共振指纹识别词典的选择 | |
| EP3913387A1 (en) | Motion estimation and correction in magnetic resonance imaging | |
| US20220237787A1 (en) | Fmri task settings with machine learning | |
| CN114097041A (zh) | 针对深度学习电特性断层摄影的不确定度图 | |
| EP4150360A1 (en) | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations | |
| EP4237868B1 (en) | Determination of a subject specific hemodynamic response function | |
| JP7418357B2 (ja) | 導電率変化の電気特性トモグラフィマッピング | |
| CN110114685A (zh) | 使用最大似然重建的对心脏的t1映射 | |
| EP4306983A1 (en) | Making anatomical measurements using magnetic resonance imaging | |
| EP4318015A1 (en) | Mri denoising using specified noise profiles | |
| EP4266074A1 (en) | Segmentation of medical images reconstructed from a set of magnetic resonance images | |
| Pinto | Brain Functional Connectivity in Resting-State fMRI: Implementation and Validation in a Healthy Population. | |
| JP2024512439A (ja) | 心臓磁気共鳴イメージング用の計画画像の段階的再構成 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |