CN114556410A - 医学图像的增强 - Google Patents
医学图像的增强 Download PDFInfo
- Publication number
- CN114556410A CN114556410A CN202080071653.2A CN202080071653A CN114556410A CN 114556410 A CN114556410 A CN 114556410A CN 202080071653 A CN202080071653 A CN 202080071653A CN 114556410 A CN114556410 A CN 114556410A
- Authority
- CN
- China
- Prior art keywords
- image
- contrast
- magnetic resonance
- images
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 129
- 230000005291 magnetic effect Effects 0.000 claims abstract description 97
- 238000010801 machine learning Methods 0.000 claims abstract description 37
- 239000002872 contrast media Substances 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000035945 sensitivity Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 151
- 238000012549 training Methods 0.000 claims description 96
- 238000003384 imaging method Methods 0.000 claims description 52
- 201000010099 disease Diseases 0.000 claims description 16
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 230000000747 cardiac effect Effects 0.000 claims description 10
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000002405 diagnostic procedure Methods 0.000 claims description 8
- 238000009792 diffusion process Methods 0.000 claims description 7
- 238000009534 blood test Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 230000010412 perfusion Effects 0.000 claims description 5
- 238000011976 chest X-ray Methods 0.000 claims description 4
- 238000002001 electrophysiology Methods 0.000 claims description 4
- 230000007831 electrophysiology Effects 0.000 claims description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000002592 echocardiography Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000004611 spectroscopical analysis Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims description 2
- 238000003756 stirring Methods 0.000 claims 2
- 230000007170 pathology Effects 0.000 abstract description 9
- 230000001575 pathological effect Effects 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 35
- 206010030113 Oedema Diseases 0.000 description 25
- 210000001519 tissue Anatomy 0.000 description 11
- 208000010125 myocardial infarction Diseases 0.000 description 10
- 229910052688 Gadolinium Inorganic materials 0.000 description 8
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 8
- 230000002107 myocardial effect Effects 0.000 description 7
- 210000004165 myocardium Anatomy 0.000 description 7
- 230000001684 chronic effect Effects 0.000 description 6
- 238000002075 inversion recovery Methods 0.000 description 6
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 231100000241 scar Toxicity 0.000 description 5
- 206010016654 Fibrosis Diseases 0.000 description 4
- 230000004761 fibrosis Effects 0.000 description 4
- 230000035882 stress Effects 0.000 description 4
- 206010064966 Myocardial oedema Diseases 0.000 description 3
- 208000009525 Myocarditis Diseases 0.000 description 3
- 206010000891 acute myocardial infarction Diseases 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000002598 diffusion tensor imaging Methods 0.000 description 3
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000037390 scarring Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- UQSXHKLRYXJYBZ-UHFFFAOYSA-N Iron oxide Chemical compound [Fe]=O UQSXHKLRYXJYBZ-UHFFFAOYSA-N 0.000 description 2
- 241000276426 Poecilia Species 0.000 description 2
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000001969 hypertrophic effect Effects 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000013146 percutaneous coronary intervention Methods 0.000 description 2
- 230000009894 physiological stress Effects 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 201000010046 Dilated cardiomyopathy Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000003510 Nephrogenic Fibrosing Dermopathy Diseases 0.000 description 1
- 206010067467 Nephrogenic systemic fibrosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 201000005180 acute myocarditis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000001218 blood-brain barrier Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 238000002607 contrast-enhanced ultrasound Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002597 diffusion-weighted imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- WPBNNNQJVZRUHP-UHFFFAOYSA-L manganese(2+);methyl n-[[2-(methoxycarbonylcarbamothioylamino)phenyl]carbamothioyl]carbamate;n-[2-(sulfidocarbothioylamino)ethyl]carbamodithioate Chemical compound [Mn+2].[S-]C(=S)NCCNC([S-])=S.COC(=O)NC(=S)NC1=CC=CC=C1NC(=S)NC(=O)OC WPBNNNQJVZRUHP-UHFFFAOYSA-L 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 230000005298 paramagnetic effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000001991 pathophysiological effect Effects 0.000 description 1
- 230000007310 pathophysiology Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Public Health (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
一种用于增强磁共振图像的方法和设备,不需要向患者施用造影剂就产生对比度增强的图像。图像处理设备使用经训练的机器学习算法作为图像处理器,优选地作为生成对抗网络,以根据无造影剂磁共振图像产生图像,其中,所产生的图像具有相似的外观、更好的图像质量和更好的病理敏感度,且与实际获取的对比度增强的图像相比,能够区分更多的病理状况。
Description
技术领域
本发明涉及一种方法和设备,该方法和设备用于从专用定量成像数据集产生改进的经计算的对比度增强的医学图像,而不依赖于任何可注射的造影剂。
背景技术
医学成像是一种十分普遍的、通过形成患者的解剖结构的图像和患者体内的生理过程的图像来辅助临床医生的技术。存在各种各样的医学成像技术或模态,例如X光或计算机断层扫描(CT)成像、核医学成像,例如正电子发射断层扫描(PET)或单光子发射计算机断层扫描(SPECT)以及磁共振(MR)成像(MRI)。
本发明涉及MRI。典型地,MR图像是由患者组织的多个磁性性质的差异引起的对比度的二维显示。许多不同类型的MRI序列或“模态”,例如T1加权MRI、T2加权MRI或T2*加权MRI,是众所周知的。这些序列通常预编程到MRI扫描仪中,并使用静态磁场、振荡磁场和射频(RF)脉冲的不同组合,结果是:所得到的图像的对比度更大程度上取决于期望的模态(例如T1或T2)和参数的选择。除了上面提到的MR成像模态之外,其它已知模态是水脂成像、双反转恢复T2-加权成像、STIR(短τ反转恢复)T2-加权成像、带标记的CMR(心血管磁共振)成像、应变编码成像、弥散加权成像、弥散张量成像和动脉自旋标记成像。此外,在心脏MRI中,所谓的“电影图像(cine image)”可通过在多个心跳内对患者进行成像来获得,以产生一堆图像,这一堆图像图像可形成为视频图像的帧,从而显示心脏跳动、血液流动和其它类型的运动。
医学成像的一个重要发展是引入对比度增强(CE)成像,在CE成像中,在向患者施用造影剂之后获得图像。在这种图像中,图像的对比度反映造影剂的位置,且可增强组织之间的区别。此外,图像的对比度可反映造影剂的流入和流出,从而给出与患者组织的病理生理学相关的附加药代动力学信息。造影剂可与X光(CT)成像和MR成像一起使用,核医学成像固有地涉及放射性示踪剂的施用,为了这些目的,放射性示踪剂可视为产生对比度增强的图像的造影剂。
在心脏MR成像中,通常使用顺磁性造影剂,例如基于钆的造影剂(GBCA)。GBCA最常见的用途包括第一次灌注、早期钆增强(EGE)、晚期钆增强(LGE)成像和血管造影研究。特别地,LGE成像已经在临床心脏病学中成为用于评估心肌的活力以及用于区分缺血性心脏病和非缺血性心脏病的金标准。这可能影响患者是否需要进行有创手术的临床决策(例如,开放心脏手术,或疏通冠状动脉中的阻塞的有创经皮冠状动脉介入(PCI),或更简单的无创治疗)。临床医生已经对解释CE MR图像非常熟悉,因此更愿意看到这种容易帮助他们诊断各种医学状况的CE医学图像。结合CE和无造影剂成像的结果,允许计算其它感兴趣的量,例如细胞外体积(ECV)、急性心肌梗死中可抢救的危险区域、存活心肌等。
然而,CE成像通常需要静脉插管和向对象施用造影剂,这不仅是有创的,而且还延长扫描过程,在LGE成像的情况下,通常扫描过程超过45分钟。长时间的扫描过程使得对象难以保持静止—这是对高质量图像的要求,还降低了患者在扫描仪内的耐受性。此外,在一些应用中,例如在心脏MRI中,对象的心跳和屏气能力可显著限制序列的临床可接受的持续时间。
造影剂还可存在禁忌而不能用于某些类型的患者(例如,不能有效地排泄造影剂且可能发生严重且不可逆的并发症肾源性全身性纤维化的患者)。在其它人(例如,怀孕或哺乳的妇女,儿童)身上,诸如GBCA的造影剂可能不太理想。例如,最近,已经公布经历过多次MRI检查的患者的脑中存在GBCA积聚的证据,这些脑积聚的临床意义上的预后不明确。许多患者需要连续的检查以监测疾病和对治疗的反应,因此并发症的潜在风险可能大大增加。作为示例给出GBCA,且对于其它造影剂(例如,MRI中的氧化铁、锰、CT中的碘化造影剂等)存在类似的限制。
虽然存在这些困难,但是通常在临床实践中使用CE医学成像。例如,传统上认为LGE包含鉴别诊断所需的关键且不可替代的信息,因此,虽然对患者而言存在额外的成本、风险(尽管很小)和负担,但是通常仍施用GBCA。由于LGE十分普遍,许多临床医生可识别LGE图像,并将观察到的图案分配给特定的疾病表现。
传统上,对MRI图像的兴趣仅限于图像上对比度的变化,而不是磁性参数(T1或T2)的绝对值,但是最近已经使用MRI序列,其使得基于对可变对比度的MR数据集的采集和分析,能够定量地映射物质的特定的基本磁性性质,例如,T1、T1-rho、T2、T2*等。在心脏MRI中,随着在心脏诊断成像中的应用越来越多,初始T1映射(还称为造影前T1映射,或无造影剂T1映射)技术尤其已经成为心肌组织表征的新方法。这些技术反映来自细胞内隔室和细胞外隔室的信号,并提供定量的、逐个像素的测量,以检测心肌成分的变化。T1映射能够检测与过量水相关的病理学重要过程,例如在水肿和炎症、蛋白质沉积和其它T1改变物质(如脂肪、铁)和一系列常见的心脏疾病中检测。T1映射提供T1加权图像的标准化和定量表示,且已经证明具有窄的正常范围以及能够区分宽范围的心肌疾病。其优点包括定量测量、相对简单的单次屏气采集、优异的再现性以及避免基于钆的造影剂。映射技术已经表明对疾病的敏感度超过且早于可观察到的LGE图案(费雷拉等人,“初始T1映射检测急性心肌炎的位置、程度和模式,无需使用钆造影剂”,Cardiovasc Magn Reson 16杂志,36(2014);Dass等人,“在肥厚型和扩张型心肌病中使用磁共振非造影T1映射的心肌组织表征”,心血管成像。2012;5:726–733)。
发明内容
根据本发明的第一方面,提供一种产生经计算的对比度增强的医学图像的方法,该方法包括:接收对象的图像数据集,图像数据集包括通过执行无造影剂磁共振成像过程而获得的初始定量映射图像;以及将图像数据集输入到图像处理器,并使用图像处理器处理图像数据集,以产生经计算的对比度增强的医学图像,其中,图像处理器包括机器学习处理器,机器学习处理器在训练数据集上进行训练,训练数据集包括多组图像,每组图像包括无造影剂初始定量映射图像和对应获取的对比度增强的医学图像,无造影剂初始定量映射图像具有与图像数据集的定量映射图像相同的定量映射。
因此,在本发明中,通过训练图像处理器根据无造影剂定量映射图像预测经计算的对比度增强的医学图像将是什么,来消除向对象施用造影剂的需要。先前认为这种消除不可能进行,原因是对比度增强成像的药代动力学方面不同于初始成像的药代动力学方面。这里,发明人已经发现,无造影剂定量映射提供与CE医学图像相同或比CE医学图像更好的病理敏感度。结果,通过在多组图像上训练机器学习处理器,组中的一个图像是从没有造影剂的对象获得的定量映射图像,且组中的另一个图像是在施用造影剂之后获得的对应医学图像,经训练的机器学习处理器可以从无造影剂定量映射图像产生经计算的CE医学图像。已经评估经计算的CE医学图像具有比所获取的CE医学图像更好的图像质量,且在一些情况下对疾病(例如,水肿)的敏感度更好,如下所讨论的。
经计算的CE医学图像提供定量映射图像的标准化呈现,以及通过指定训练数据集和MR模态来实现不同疾病敏感度的方式。
经计算的CE医学图像没有典型的CE伪影(例如,LGE伪影),且与CE(已知与局灶性纤维化和脑中脑血屏障的破坏相关)相比对病理变化(包括弥漫性病理中的细胞内基质的一般扩张和水肿)更敏感。因此,以类似于CE(例如LGE)的外观示出的经计算的CE医学图像具有更好的图像质量,且与实际CE(例如LGE)相比可检测更宽的病理范围。这被认为是由于在使用机器学习来给经计算的CE医学图像呈现与CE图像相似的外观的同时,利用初始定量映射中的信息而产生。这是在不需要给对象施用造影剂和相关的冗长扫描过程的情况下实现的。
机器学习处理器进行训练以处理无造影剂定量映射图像,且产生经计算的CE医学图像,以在预定程度上与作为目标或“基准真实值”的对应获取的对比度增强的医学图像匹配,例如通过最小化差异(或将差异降低到预定阈值之下)来匹配,该最小化设定成使得通过同时训练的机器学习分类器不能使经计算的CE医学图像与对应的实际获取的CE医学图像区分开。由于所获取的CE医学图像在机器学习中用作目标或基准真实值图像,因此经计算的CE医学图像实际上与所获取的CE医学图像具有相同的类型。
众所周知,机器学习处理器使用数据处理算法从输入数据产生目标输出数据,其中,该算法在迭代训练过程中予以细化,在迭代训练过程中,来自训练数据集的输入数据(对此,目标数据是已知的)由机器学习处理器处理,输出与目标数据进行比较,并调整该算法(例如,通过深度学习中的反向传播),重复该过程直到输出足够接近目标,因此机器学习处理器被视为经过训练且可用于处理新的输入数据。
无造影剂定量映射图像可以是T1映射图像,包括例如T1-rho映射或应力T1映射。替换地,无造影剂定量映射图像可具有除了T1映射之外的定量映射图像,例如T2映射或T2*映射。
图像处理器还可以在附加的一个或多个无造影剂MR图像中使用信息。因此,该方法可包括从多个不同的无造影剂序列获得对象的磁共振图像,将多个图像输入到图像处理器,并处理图像以产生增强的(经计算的CE)图像,从而标准化所述的映射技术的外观。
对应获取的CE医学图像可以是CE磁共振图像,例如LGE图像(实际上,经计算的CE医学图像亦是如此)。
在一个示例中,对应获取的CE医学图像本身可以是与图像数据集的定量映射图像具有相同或不同的定量映射的定量映射图像,这对于即时临床诊断所用的T1映射外观的标准化较为有用。
可以预见,在训练合成LGE图像(阿卜杜拉等人,“合成晚期钆增强心脏磁共振以诊断心肌瘢痕”,斯堪的纳维亚心血管疾病杂志,52:3,127-132)和分割病变掩模(费雷拉等人,“初始T1映射检测急性心肌炎的位置、程度和模式,无需使用钆造影剂”,CardiovascMagn Reson 16杂志,36(2014)),或此类衍生图像与对比度增强的图像的组合中使用。
然而,在替代实施例中,对应获取的CE医学图像可以为非MR模态的经计算的对比度增强的图像,例如对比度增强的图像,诸如晚期碘化的对比度增强的CT图像、对比度增强的PET图像、对比度增强的SPECT图像或对比度增强的超声图像等等(实际上,经计算的CE医学图像亦是如此)。通常,可以是任何类型的成像,其利用对比剂的施用或引入生理应激以产生附加增强,特别是以在医疗应用中已作为标准被接受的任何形式来产生附加增强。
在一种类型的实施方式中,对象的图像数据集可以仅包括初始定量定量映射图像。这在应用该方法来标准化定量映射的情况下可能较为有用。在另一种类型的实施方式中,对象的图像数据集可进一步包括对象的其它图像和/或不是图像数据的另外的数据。因此,图像处理器可包括将一个或多个图像模态作为输入的一个或多个卷积流,和/或将MR元数据或非图像诊断信息作为输入的流。现在,将解释可以以任何组合使用的一些非限制性示例。
对象的图像数据集可进一步包括至少一个另外的磁共振图像,至少一个另外的磁共振图像通过除了图像数据集的定量映射图像的定量映射之外的无造影剂磁共振模态而获得。在这种情况下,训练数据集的多组图像进一步包括通过另一个无造影剂磁共振模态而获得的至少一个另外的磁共振图像。
在一些示例中,至少一个另外的磁共振图像可包括至少一个以下图像:原始磁共振图像、作为原始磁共振图像的融合的图像、或作为原始磁共振图像的衍生的图像。
在一些示例中,至少一个另外的磁共振图像可包括至少一个以下图像:T1映射图像、T1加权图像(包括T1反转恢复加权图像)、T2加权图像、T2*加权图像、T2映射图像、T2*映射图像、或电影CMR图像。
在一些示例中,至少一个另外的磁共振图像包括至少一个以下图像:STIR图像、带标记的CMR图像、应变编码图像、弥散加权图像、弥散张量图像、动脉自旋标记图像、PD(质子密度)加权图像、或水脂分离图像。
对象的图像数据集可进一步包括至少一个无造影剂非MR图像。在这种情况下,训练数据集的多组图像进一步包括与图像数据集的至少一个非磁共振图像具有相同的类型的至少一个非磁共振图像。
在一些示例中,至少一个非磁共振图像可包括至少一个以下项:超声心动图、核灌注图像、CT图像、电生理学心脏图图像、或胸部X光。
至少一个非磁共振图像可处于初始基线、应力或药理学诱导的条件下。
该方法可进一步包括以下步骤:向图像处理器输入已能够从同一个对象的先前访问或研究中获得的至少一个获取的CE医学图像。
基于CE医学图像或其它临床上可行的人类图像分割,CE医学图像可被衍生的分割掩模替代。这种处理的掩模可以从具有临床意义的参数(例如指示水肿、纤维化、梗死、微血管阻塞或类似物的病理水平)的这种图像中衍生。
图像数据集可包括不是图像数据的另外的数据,通常,另外的数据可以是与对象相关的数据和/或与输入图像相关的数据。
在一些示例中,另外的数据可包括至少一个以下项:成像元数据,例如图像采集参数、或至少一个非成像诊断测试结果。
成像元数据可包括至少一个以下项:MR设备制造商型号名称或称号、磁场强度、软件版本、反转时间等。
非成像诊断测试结果可包括至少一个以下项:MR光谱结果、血检结果、心电图、对象的临床特征(例如,医学状况、药物、症状、对象的风险因素、对象的病史、体检结果)、或对象的转诊原因。
图像处理器包括经训练的机器学习算法、过程或处理器,其可以是例如以下之一:经训练的生成对抗网络(GAN)、经训练的条件GAN、经训练的全卷积神经网络、经训练的变分自编码器、经训练的U-Net、经训练的V-Net。图像处理器可具有与输入模态的数量匹配的多个输入流,和/或将非图像信息作为输入的非卷积流。
经计算的CE医学图像提供定量映射图像的标准化呈现,以及通过指定训练数据集和CMR模态来实现不同疾病敏感度的方式。
该技术是数据驱动的,且从无造影剂映射得到信息,这意味着机器学习处理器可以在具有不同特征(例如,有水肿和无心肌水肿、心肌炎、急性心肌梗死和/或慢性心肌梗死)的多个对应获取的CE医学图像的训练数据集上进行训练。在这种情况下,可使用图像处理器处理图像数据集,以产生多个经计算的对比度增强的医学图像,使得经计算的对比度增强的医学图像具有不同的敏感度(例如,仅检测慢性MI(心肌梗死)瘢痕,或者检测慢性MI瘢痕和水肿)。
可选地,可组合这样的多个经计算的对比度增强的医学图像,以产生组合的对比度增强的医学图像来进一步增强,从而产生可区分疾病状况(例如,慢性MI瘢痕和水肿)的新的综合计算的CE医学图像。与单个经计算的CE医学图像或单个传统CE医学图像相比,组合的对比度增强的医学图像可更好地区分疾病状况。
作为仅组合经计算的CE医学图像的替代,可组合经计算的CE医学图像和所获取的CE医学图像,但是还可包括经计算的CE医学图像和所获取的CE医学图像,以产生组合的经计算的CE图像。
根据本发明的第一方面,机器学习处理器已如上所述地进行训练。可选地,训练机器学习处理器的步骤可以是该方法的一部分。
根据本发明的第一方面,接收对象的图像数据集并将图像数据集输入到图像处理器。可选地,获得对象的图像数据集的步骤可以是该方法的一部分,例如对对象执行无造影剂磁共振成像过程,以获得包括初始定量映射图像的图像数据集,且当使用其它图像时,还执行其它成像过程以获得那些其它图像。
根据本发明的第二方面,提供一种图像处理器,图像处理器适于产生经计算的对比度增强的医学图像,图像处理器包括:输入,用于接收对象的图像数据集,图像数据集包括通过执行无造影剂磁共振成像过程而获得的定量映射图像;以及数据处理器,用于处理输入的图像数据集,以产生经计算的对比度增强的医学图像,其中,数据处理器包括机器学习处理器,机器学习处理器在训练数据集上进行训练,训练数据集包括多组图像,每组图像包括无造影剂初始定量映射图像和对应获取的对比度增强的医学图像,无造影剂初始定量映射图像与图像数据集的定量映射图像具有相同的定量映射。
本发明的第二方面的图像处理器执行与本发明的第一方面等效的方法,因此,上述各特征可同样应用于本发明的第二方面。
根据本发明的第三方面,提供一种训练数据处理器的方法,数据处理器是如上所述的数据处理器,该方法包括以下步骤:a)接收训练数据集,训练数据集包括对应的多组图像,多组图像包括对象的无造影剂初始定量映射图像、对象的对应获取的对比度增强的图像、以及可选地包括对象的至少一个另外的图像和/或不是图像的另外的数据;b)向数据处理器输入每组的无造影剂初始定量映射图像,且如果存在每组的对象的至少一个另外的图像和/或另外的数据,则输入对象的至少一个另外的图像和/或另外的数据,通过数据处理器使用生成图像处理功能来对输入进行处理,以产生经计算的对比度增强的医学图像,并将经计算的对比度增强的医学图像与来自组的对应获取的对比度增强的图像进行比较;c)改变由数据处理器执行的处理,以减小经计算的对比度增强的医学图像与来自组的对应获取的对比度增强的图像之间的差异;以及d)重复步骤b)和c),直到经计算的对比度增强的医学图像和对应获取的对比度增强的图像之间的差异低于预定阈值。
本发明的第三方面的方法可用于训练本发明的第一方面和第二方面中的图像处理器,因此,上述各特征可同样应用于本发明的第三方面。
优选地,该方法进一步包括:操作对抗辨别器,以通过将每个图像分类成由生成图像处理功能产生的经计算的对比度增强的图像或对比度增强的图像,来在由生成图像处理功能产生的经计算的对比度增强的医学图像和对应获取的对比度增强的图像之间进行区分,其中,在步骤c)中改变由生成图像处理器执行的处理,以减小成本函数,成本函数包括经计算的对比度增强的医学图像与对应获取的对比度增强的图像之间的差异以及分类置信度。同时训练对抗辨别器,以通过减小分类的单独损失函数(例如,交叉熵损失)来提高其分类精度。
根据本发明的另外的方面,提供一种计算机程序,计算机程序能够由计算机设备执行,且配置成在执行时,使得计算机设备执行根据本发明的第一方面的方法,提供一种计算机可读存储介质和计算机设备,计算机可读存储介质存储这种计算机程序、以及计算机设备配置成执行类似的方法。
本发明还可提供一种磁共振扫描仪系统或扫描仪操作系统,其适于执行或控制无造影剂MR成像过程,并处理所得到的MR图像,以根据本发明的方法在扫描仪上提供合规的增强的医学图像。因此,本发明包括扫描仪,扫描仪可提供经计算的CE医学图像,作为操作者可用的输出选项之一。
附图说明
将参考附图通过示例的方式进一步描述本发明,其中:
图1(A)示意性地示出了根据本发明的一个实施例的用于处理单个MR初始(即,无造影剂)T1映射图像的设备;
图1(B)示意性地示出了根据本发明的第二实施例的用于处理由附加MR序列补充的MR初始TI映射图像的设备;
图2(A)示意性地示出了根据本发明的实施例的用于训练用于处理MR初始T1映射图像的设备的过程;
图2(B)示出了提供给图2(A)所示的训练过程的训练数据集;
图3(A)和图3(B)示意性地示出了根据本发明的另一实施例的、在用于处理MR初始T1映射图像的设备中训练生成器和辨别器的步骤;
图4(A)和图4(B)示意性地示出了根据本发明的另一实施例的、在用于处理MR初始T1映射图像的设备中训练生成器和辨别器的示例步骤;
图5示意性地示出了在图4的实施例的设备中使用的生成器结构的示例;
图6示出了使用四个输入信息流的替代生成器结构;
图7示意性地示出了在图4的实施例中使用的辨别器结构;
图8示出了在不同数据集上训练多个图像处理器单元以实现对不同疾病状况的敏感度;
图9示出了组合多个c-CE图像,以产生可区分各种类型的疾病状况的组合的c-CE图像,每个c-CE图像由不同地训练的图像处理器单元产生;
图10(A)和图10(B)分别示意性地示出了根据现有技术和本发明的实施例的MRI过程;
图11(A)和图11(B)示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图12示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图13示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图14示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图15示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图16(A)和图16(B)示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图17示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图18(A)和图18(B)示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图19(A)和图19(B)示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和初始T1扫描的比较;
图20是示出在检测到LGE增强的存在时,经计算的LGE和LGE之间的对准的曲线图;
图21是c-CE图像和所获取的CE图像的图像质量的曲线图;
图22示出了根据本发明的实施例获得的LGE扫描、经计算的LGE扫描和增强的初始T1扫描的比较;以及
图23示出了可区分正常组织、心肌水肿和心肌梗死瘢痕的、组合的经计算的CE图像。
具体实施方式
在本文中,参考磁共振成像或扫描“过程”。过程根据协议进行,且可包括一个或多个扫描序列,其中每个序列产生不同地加权的原始图像及其融合和衍生,例如定量映射等,且可包括非MR成像步骤,例如血检和造影剂施用。该协议还可规定与对象相关的各方面,例如休息时间和屏气要求。
图1示意性地示出了根据本发明的第一实施例的设备,该设备实现用于处理无造影剂磁共振T1映射图像的方法以产生经计算的对比度增强的医学图像。
设备1包括输入3,输入3接收图像数据集100,在该示例中图像数据集100仅包括T1映射图像101(还称为“T1映射图像”或“T1映射”),T1映射图像101先前已通过执行无造影剂磁共振成像过程而获得,例如灰度或彩色图中的MOLLI或ShMOLLI T1映射图像,灰度或彩色图可以是任何数量的原始输入T1加权图像和具有任何关联元数据(例如反转时间)的相位图,该关联元数据使用T1映射实验而获得。T1数据可被T2数据或足以预测CE图像的目标类型的任何其它MR图像数据集替代。
在这些示例中,T1映射图像101(以及在下文中描述且用于训练的T1映射图像21)是具有定量映射的图像的示例。可使用任何T1映射,包括T1-rho映射或应力T1映射。更一般地,T1映射图像101(以及在下文中描述且用于训练的T1映射图像21)可被具有任何其它定量映射的图像例如T2映射图像或T2*映射图像替代。这种定量映射通过获取和分析对比度可变的MR数据集来提供。所得到的图像在图像中提供物质的特定的基本磁性性质的定量映射,例如T1、T1-rho、T2、T2*等。
MR图像数据集100传递到图像处理器5,图像处理器5是使用经训练的机器学习(或人工智能)过程的数据处理器。图像处理器5对输入的图像数据集100进行处理,以产生经计算的对比度增强的图像6,经计算的对比度增强的图像6与所获取的对比度增强的图像具有相似的外观和病理学敏感度,该所获取的对比度增强的图像可以在施用造影剂之后扫描对象而获得。这里,经计算的对比度增强的图像被称为经计算的CE医学图像(c-CE图像)6。c-CE图像可显示在显示器7上或以其它方式输出。
在图1(A)的实施例中,图像处理器5在训练数据集上进行训练,训练数据集包括多组图像,每组图像包括无造影剂T1映射图像和对应获取的对比度增强的医学图像,无造影剂T1映射图像具有与图像数据集100的T1映射图像101相同的定量映射。
通过执行与图像数据集100的T1映射图像101相同的无造影剂磁共振成像过程,例如MOLLI或ShMOLLI获取,来获得训练数据集的无造影剂T1映射图像。
训练数据集的对应获取的对比度增强的医学图像是用于机器学习的目标或“基准真实值”图像。因此,经计算的c-CE图像6实际上与所获取的CE医学图像具有相同的类型。
图1(B)示出了本发明的第二实施例,其中,设备1与图1(A)的设备相同。除了图像数据集100被扩展以包括除了T1映射图像101之外的另外的数据。
图像数据集100的另外的数据可包括至少一个另外的磁共振图像102。另外的磁共振图像102通过除了T1映射图像101的定量映射获取之外的无造影剂磁共振模态而获得。一些示例是T2*加权图像、电影MR图像、STIR、带标记的CMR、应变图像、弥散图像、PD加权图像、DTI(弥散张量成像)、ASL(动脉自旋标记)等。上面给出了其它示例。另外的磁共振图像102可通过单个无造影剂磁共振模态或通过多个不同的无造影剂磁共振模态而获得。
图像数据集100在输入3处接收并传递到图像处理器5,图像处理器5如上所述地操作,以产生在显示器7上显示或以其它方式输出的c-CE医学图像6。在这种情况下,如上所述,图像处理器5在训练数据集上进行训练,除了训练数据集的多组图像进一步包括通过其它无造影剂磁共振模态而获得的至少一个另外的磁共振图像,其它无造影剂磁共振模态对应于图像数据集100的另外的磁共振图像102的模态。
图像数据集100的另外的数据可包括至少一个非磁共振图像103。通过无造影剂非磁共振模态而获得非磁共振图像103。上面给出了一些示例。可通过单个模态或通过多个不同模态而获得非磁共振图像103。
图像数据集100在输入3处接收并传递到图像处理器5,图像处理器5如上所述地操作,以产生在显示器7上显示或以其它方式输出的c-CE医学图像。在这种情况下,如上所述,图像处理器5在训练数据集上进行训练,除了训练数据集的多组图像进一步包括通过无造影剂非磁共振模态而获得的至少一个非磁共振图像,无造影剂非磁共振模态对应于图像数据集100的非磁共振图像103的模态。图像数据集100的另外的数据可包括不是图像数据的另外的数据104。另外的数据104可以是与对象相关的数据和/或与输入图像相关的数据。另外的数据104可以是成像元数据(例如图像采集参数)、或者对象的至少一个非成像诊断测试结果(例如,血检结果、心电图、临床特征(例如,医学状况、药物、症状、风险因素、病史、体检结果))、对象转诊以进行成像的原因、以及其它成像诊断测试(超声心动图、核灌注成像、CT扫描、电生理学心脏映射、胸部X光等))。上面给出了其它示例。
虽然示出了三种不同类型的另外的数据,即,另外的磁共振图像102、非磁共振图像103和另外的数据104。然而,不必使用所有这些类型的另外的数据,更一般地,可使用不同类型的另外的数据中的任何一种或任何组合。在这种情况下,训练数据集包括对应的数据组合。
图像数据集100在输入3处接收并传递到图像处理器5,图像处理器5如上所述地操作,以产生在显示器7上显示或以其它方式输出的c-CE医学图像。在这种情况下,如上所述,图像处理器5在训练数据集上进行训练,除了训练数据集进一步包括另外的数据,另外的数据对应于图像数据集100的另外的数据104。
参考图1(B)描述的另外的数据的替代类型可以以任何组合一起使用。即,至少一个另外的磁共振图像102、至少一个非磁共振图像103和另外的数据104可以以任何组合使用,且训练数据集包括对应的数据组合。
因此,图像处理器5是在训练数据集上进行训练的经训练的机器学习过程,训练数据集的内容对应于输入到设备1的图像数据集100的数据流,以及通过使用造影剂而获得的对应获取的对比度增强的医学图像。
所获取的CE医学图像可以是MR图像。在这种情况下,所获取的CE医学图像可以为不是定量映射图像的MR图像。替代地,所获取的CE医学图像可以是作为定量映射图像的MR图像,可选地,与图像数据集100的T1映射图像101具有相同的定量映射,或者具有不同的定量映射。在这种情况下,图像通过执行对比度增强的磁共振成像过程而获得。
替代地,训练数据集的所获取的对比度增强的医学图像可以为非磁共振模态的对比度增强的医学图像,例如对比度增强的CT图像、PET图像、或SPECT图像、或超声图像,其基于造影剂的施用(注射、摄取、吸入等)或通过引入生理应激而获得,以产生依赖于病理生理学组织特性的附加增强。在这种情况下,图像通过执行相关的非磁共振模态的对比度增强过程来获得。
可以在图像处理器5中使用的合适的机器学习算法的示例是:全卷积神经网络、变分自编码器、U-net(U网)、密集U-net、V-net(V网)、生成对抗网络(GAN),包括GAN的变体,例如条件GAN、周期GAN、级联细化网络。
图像处理器5可以在图1(A)或图1(B)所示的设备1执行方法之前进行训练,以提供经训练的机器学习处理器。
图2(A)示出了图像处理器5如何进行训练。具体地,图2(A)示出了执行训练方法的功能块,如下。
图2(B)示出了在训练中使用的训练数据集20。训练数据集20包括多组图像25,每组图像25包括以下数据。
如上所提到的,训练数据集20的每组图像包括无造影剂T1映射图像21和所获取的对比度增强的医学图像26,无造影剂T1映射图像21与图像数据集100的T1映射图像101具有相同的定量映射。每组中的无造影剂映射图像21和对比度增强的医学图像26彼此对应,原因是图像21和26从同一个对象或患者获得,例如是在向患者施用造影剂之前和向患者施用造影剂之后获得的图像。
可以在相同的MR扫描过程中获得训练数据集20的对应的多组图像25的无造影剂T1映射图像和所获取的CE医学图像,其中,在相对于对象的相同位置获取图像,使得图像包含匹配的病理配置。然而,替代地,可以在不同的时间从不同的过程获得图像。例如,可使用不同的扫描仪获得图像(例如,其中一个过程需要不同于另一个过程的协议或扫描仪配置)。如上所提到的,虽然所获取的CE医学图像可以是T1映射图像,但是替代地,图像可以是与T1映射具有不同的模态的MR图像(包括但不限于定量映射图像),或者可以是由非磁共振模态产生的对比度增强的医学图像。图像可来自以下项的不同过程:相同或不同的成像技术;相同或不同的患者位置,例如在提供图像位置和方向信息的情况下,组合短轴CMR图像和长轴CMR图像以预测短轴LGE;和/或相同或不同的时间,例如来自同一个患者的先前访问的过程。
通常,训练数据集20的多组图像25(在使用经训练的处理器的情况下,是输入数据)是与同一个患者配准的数据。
使用多组图像25。原则上,可使用任意数量的多组图像25,但是通过增加多组图像25的数量和多组图像25的变化来改进训练。优选地,训练集包括来自具有不同临床状况的许多不同患者的多对图像25,且合适的训练集可以从例如肥厚型心肌病登记处获得,肥厚型心肌病登记处具有超过4000对合适的质量受控的造影前CMR图像和对应的LGE(晚期钆增强)图像。
在使用图1(A)的设备的情况下,训练数据集20的多组图像25仅包括T1映射图像21和所获取的对比度增强的医学图像26,而不包括下面描述的另外的数据。在这种情况下,“一组”图像25是一对图像。然而,训练数据集20可包括另外的数据,如下。
在使用图1(B)的设备的情况下,另外的数据如下使用。
在图像数据集100包括至少一个另外的MR图像102的情况下,训练数据集20的多组图像25另外包括通过另一个无造影剂磁共振模态而获得的至少一个另外的磁共振图像22,该另一个无造影剂磁共振模态对应于图像数据集100的另外的磁共振图像102的模态。
在图像数据集100包括至少一个非MR图像103的情况下,训练数据集20的多组图像25另外包括通过无造影剂非磁共振模态而获得的至少一个非磁共振图像23,该无造影剂非磁共振模态对应于图像数据集100的非磁共振图像103的模态。
在图像数据集100包括另外的数据104的情况下,训练数据集20的多组图像25另外包括另外的数据24,另外的数据24对应于图像数据集100的另外的数据104。
如下所述,使用机器学习领域中已知的技术来执行训练。训练数据集20在输入30处接收,进入包括机器学习算法32的训练处理器35中,机器学习算法32处理每组图像25的无造影剂T1映射图像21(且如果还使用至少一个另外的磁共振图像22、至少一个非磁共振图像23和/或另外的数据24,则处理它们)以产生同一个患者的经计算的CE图像31。
经计算的CE图像31与训练数据集20中对应的实际CE图像26进行比较,且成本函数计算器33计算图像的差异的度量。然后,机器学习算法32被重复地修改,以通过例如反向传播来减小经计算的CE图像31和实际CE图像26之间的差异。训练数据集20的数据可通过旋转、平移、反射、缩放、失真、添加噪声等增强,以提高学习过程的鲁棒性。
一旦判断出经计算的CE图像31足够接近实际CE图像26,则机器学习算法32被视为经过训练,随后可用于处理设备1中新的无造影剂MR图像,以产生经计算的CE医学图像6。
图3(A)和图3(B)示出了机器学习算法32的特定示例,即条件生成对抗网络(条件GAN)的训练过程。条件GAN例如在以下文章中描述:菲利普伊索拉等人,“基于条件对抗网络的图像到图像的平移”,伯克利AI研究(BAIR)实验室,加州大学伯克利分校;和王廷春等人,“基于条件GAN的高分辨率图像合成和语义处理”,英伟达公司,CVPR 2018,其教导可应用于本文。
在这种情况下,机器学习算法32包括执行训练方法的以下功能块。具体地,机器学习算法32包括生成器51和辨别器52。图3(A)示出了生成器51的训练步骤。生成器51进行训练以处理每组图像25的无造影剂T1映射图像21(且如果还使用至少一个另外的磁共振图像22、至少一个非磁共振图像23和/或另外的数据24,则处理它们)以产生经计算的CE图像31,经计算的CE图像31:a)与所获取的CE图像26具有最小的逐个像素的差异,以及b)不能与用于辨别器52的所获取的CE图像26区分开。
图3(B)示出了使用分类损失值55的反向传播的辨别器52的训练步骤。辨别器52进行训练,以辨别来自训练数据集20的所获取的CE医学图像26和由生成器51产生的经计算的CE医学图像31。不给辨别器52提供表明哪个经计算的CE图像31对应于哪个所获取的CE图像26的信息,且辨别器52仅进行训练以区分这两种类型的图像,并给出这种区分的置信度有多大的指示。
差异块53获得经计算的CE图像31与所获取的CE图像26之间的差异,该差异与辨别器52的分类损失值55一起馈送到生成器损失函数块54。生成器损失函数块54通过使用生成损失的反向传播来训练生成器51,以重复地修改生成器的处理,从而最小化经计算的CE医学图像31与对应获取的CE医学图像26之间的差异,并增加辨别器52的分类损失值55。
一旦经计算的CE医学图像31足够接近训练数据集中的实际CE图像,则在如图1所示的设备的实施例中,生成器51可用于处理新的无造影剂MR图像。辨别器52不需要在图1的图像处理器5中使用。
图4(A)示出了使用条件GAN方法、T1映射图像21和所获取的对比度增强的医学图像26训练机器学习图像处理器的具体示例,在该示例中,所获取的对比度增强的医学图像26为LGE MR图像,其作为训练的基准真实值。T1映射图像21可位于灰度或彩色图中。T1彩色图是T1映射图像,其中T1值根据预定映射被映射到图像中的颜色,例如在US-2013/0322713中解释的。
如上文参考图3所解释的,生成器51生成经计算的CE图像31(在这种情况下,是经计算的LGE图像),经计算的CE图像与来自训练数据集20的实际获取的CE图像26(在这种情况下,是LGE图像)进行比较,使得生成器51可进行训练,以最小化对应成对的经计算的CE医学图像31和所获取的CE医学图像26之间的L1距离损失,经计算的CE图像31还提供给辨别器52,使得生成器51可进行训练,以使分类损失值55最大,如由辨别器52判断的。
图4(B)示出了同时训练机器学习辨别器52,以通过最小化分类损失值55来识别经计算的CE图像31和所获取的CE图像26的具体示例。
图5示出了生成器51所使用的生成器结构的一个示例,该生成器结构是标准U-net结构,从训练集20到达该标准U-net结构的输入是T1映射图像21,T1映射图像21由卷积神经网络层处理并进行级联,作为U-net的输入。
图6示出了用于生成器51的修改结构,从训练数据集20到达生成器51的输入是T1映射图像21,且还是:至少一个另外的磁共振图像22、至少一个非磁共振图像23和另外的数据24。
图7示出了图4的实施例中的辨别器52所使用的辨别器结构。经计算的CE医学图像31和所获取的CE医学图像26由卷积层和全连接(FC)层处理,以产生使用置信度分数区分真实CE图像或经计算的CE图像的标签。
图8示出了使用不同的训练数据集训练图像处理器5以实现对不同疾病状况的敏感度。在该示例中,图像处理器5包括在相应的训练数据集20-1、20-2等上进行训练的多个单元5-1、5-2等,这些单元具有不同的特征,例如对不同疾病状况(例如,有水肿和无心肌水肿、心肌炎、急性心肌梗死和/或慢性心肌梗死)的不同敏感度。随后多个单元5-1、5-2等处理图像数据集100,以产生对不同疾病类似地具有不同敏感度的c-CE图像6-1、6-2等。
这样的c-CE医学图像6-1、6-2等可组合,以产生组合的对比度增强的医学图像来进一步增强。图9示出了可以在图像处理器5中实现的、产生组合的c-CE图像6-C的具体示例。如图所示,T1映射图像101由图像处理器5的两个单元5-1、5-2处理,以产生两个相应的c-CE图像6-1、6-2。图9示出了第一c-CE图像6-1对水肿敏感且第二c-CE图像6-2对水肿不敏感的示例。
c-CE图像6-1、6-2提供给ROI生成器61,ROI生成器61生成水肿感兴趣区域(ROI)62,作为与在第二c-CE图像6-2(对水肿不敏感)中相比,在第一c-CE图像6-1(对水肿敏感)中具有更高信号强度的心肌区域。水肿ROI61被彩色编码。水肿ROI 61和c-CE图像6-1、6-2中的一个或两者(作为示例,在图9中示出了第二c-CE图像6-2)提供给图像组合单元63,图像组合单元63将水肿ROI 61和c-CE图像6-1、6-2中的一个或两者组合以产生组合的c-CE图像6-C。如图9所示,组合的c-CE图像6-C在单个经计算的LGE图像(c-LGE图像)中检测并区分正常心肌(暗色),水肿(粉红色)、心肌梗死瘢痕(白色),传统LGE图像不能实现这种检测和区分。
因此,将定量T1映射转换成LGE样图像,提供了标准化呈现,并允许直接组合多个模态和经训练的c-LGE图像6-1、6-2等,以进一步衍生综合性组合的c-LGE图像6-C。与需要施用造影剂的常规CE图像相比,不需要施用造影剂的组合的cLGE 6-C可区分更多的疾病状况。作为示例,图23示出了以下项的两个示例:T1映射图像101;对水肿敏感的c-LGE图像6-1;对水肿不敏感的c-LGE图像6-2;以及检测和区分正常心肌(黑色)、水肿感兴趣区域(粉红色)和心肌梗死瘢痕(白色)的、组合的c-LGE图像6-C,如图23中箭头所示。
图10(A)和图10(B)分别示出了(现有技术)心脏磁共振(CMR)组织表征协议成像过程的一般示例和根据本发明的实施例的无创无造影剂过程。
如图10(A)所示,现有技术成像过程可包括长系列的不同成像序列,以生成各种模态MR图像。所示出的过程包括:(1)试行和计划(3分钟),(2)电影(HLA、VLA、LVOT长轴)(5分钟),(3)初始T1映射(5分钟),(4)初始T2映射(5分钟),(5)T2*映射(3分钟),(6)施用GBCA(1分钟),(7)电影(短轴堆叠)(5分钟),(8)后GBCA-在施用GBCA之后10分钟时的晚期钆增强(LGE)(5分钟),(9)在施用之后15分钟时的后对比度T1映射(5分钟)。这种类型的过程可持续例如45分钟左右,对于一些对象而言可能太长,或者对于一些患者组(例如急性或不稳定的患者)而言可能不合适。
图10(B)示出了根据本发明的实施例的修改的协议。实质上,过程可以在施用造影剂之前停止,且本发明的图像处理器利用初始T1映射来产生经计算的CE图像,在这种情况下,是经计算的LGE图像,因此不需要物理地获取图像。这可将过程的时长减少到大约25分钟。
通过例如图10(B)所示的过程的步骤4将本发明的实施例应用于无CE的MR T1映射图像,并根据这些过程的步骤7将所得到的经计算的CE图像(在这种情况下,是经计算的LGE)与真实CE图像(在这种情况下,是LGE)进行比较,来测试本发明的实施例。本发明的这个实施例将初始T1映射图像作为输入,将图5所示的生成器作为图像处理器,图像处理器使用图4所示的传统GAN方法进行训练。
为了比较的目的,图11至图19示出了初始T1映射图像、实际LGE图像和所获得的经计算的LGE图像。在图11至图19中的每幅图中,左侧图像是T1图像,在原始图像中是彩色图(但是在黑白版的附图中颜色不可见),中间图像是由本发明的实施例产生的经计算的LGE图像,右侧图像是在施用造影剂之后来自对象的实际LGE图像。
图11(A)和图11(B)说明在没有显著LGE的情况下,对于个体中的各种病理,经计算的LGE图像与LGE图像非常相似,指示存活(活的)心肌。
图12示出了在肥厚型心肌病中具有弥散纤维化的个体的比较图像,如模糊的LGE所指示的(箭头所示)。
图13示出了右心室和左心室之间的下插入点中的局灶性LGE(箭头所示)。
图14示出了在基底前壁中大面积的参差不齐的LGE(箭头所示),且图15示出了基底下侧壁中的弥散纤维化(箭头所示)。
在对比度增强的成像中,使用反转恢复(IR)或相敏IR(PSIR)技术获取LGE图像,以揭示异常心肌增强。适当的反转时间(TI)必须选择为“零”,使得正常心肌组织在LGE图像中变暗。如果扫描操作者通过选择不正确的TI而犯错误,则LGE图像将具有较差的质量或受损的诊断值。最佳TI随着GBCA流出组织而改变,这同样意味着LGE图像的再现性较差。图19(A)和图19(B)示出了使用次优TI和心肌组织的错误归零来获取真实LGE图像的情况。相比之下,经计算的CE不具有对操作者选择正确TI较为敏感的机制,图像全部显示成具有适当的空(暗)心肌。
因为经计算的CE过程比实际CE扫描过程短得多,所以该技术可能对例如由停留在扫描仪内的患者疲劳或不容忍所引起的伪像更稳健。
图17示出了比较图像,其中在45分钟扫描过程结束时获得LGE图像。许多患者在扫描结束时变得疲惫且不再能够稳定地屏住呼吸,从而在LGE图像上引起呼吸伪影(箭头所示)。经计算的CE图像所基于的初始T1映射图像的屏气时间短(每个切片,小于10秒),且初始T1映射图像在扫描过程开始时执行。心脏的整个左心室可由8至10个切片覆盖(即,在5分钟内覆盖,5分钟包括指令时间和切片之间的时间,以允许患者呼吸),使得不太可能存在运动伪影或患者不容忍。
图18(A)和图18(B)示出了经计算的CE图像的示例,经计算的CE图像显示比实际CE图像更好的图像质量和更少的噪声。
图21示出由人类观察者评估的、经计算的LGE(虚拟LGE)和真实LGE图像的平均质量分数。这表明经计算的LGE与传统获得的LGE相比具有明显更好的图像质量。
诸如T1映射的无造影剂MRI模态携带丰富的信息且与LGE图像相比,对某些病理例如弥漫性变化和水肿具有更好的敏感度。
图16(A)和图16(B)示出了如下情况:经计算的LGE图像在肥厚(增厚)隔膜中显示病理,而实际LGE图像没有显示病理(箭头所示)。
图20示出了在检测LGE增强的存在和计算LGE增强的百分比方面,经计算的LGE与所获取的LGE大体上良好一致,其受到潜在的诊断显著差异的影响。
图22示出了经计算的LGE图像检测水肿的情况。相比之下,实际LGE没有显示水肿或检测到较小范围的水肿。这表明在检测水肿时(经计算的LGE显示出更好的灵敏度(由箭头突出显示)。
图23示出了通过使用图9的方法组合多个经计算的LGE图像而生成的、经计算的LGE图像检测并区分多种状况,例如水肿、慢性心肌梗死疤瘢(由箭头突出显示)。这表明经计算的LGE图像包含更多信息且与传统获取的LGE图像相比能够检测更多的疾病状况。
上述示例演示了当方法应用于T1映射的示例时方法的功效,T1映射应用于初始T1映射图像101。应理解这些益处源于定量映射的使用,因此,对于T1映射的其它变体(包括例如T1-rho映射或应力T1映射)而言,实际上对于除了T1映射之外的其它无造影剂定量映射(例如T2映射或T2*映射)而言,可预期类似的功效。
图1(A)和图1(B)所示的设备1还可执行参考图8和图9描述的组合,设备1可以是实现方法的步骤的计算机设备。类似地,图2至图4(A)所示的用于训练的功能块可以是实现方法的步骤的计算机设备。为了实现这一点,可提供能够由计算机设备执行的计算机程序。计算机程序配置成使得在执行时,使计算机设备执行方法的相关步骤。
在使用的情况下,计算机设备可以是任何类型的计算机系统,但是通常具有传统结构。计算机程序可以以任何合适的编程语言编写。计算机程序可存储在计算机可读存储介质上,计算机可读存储介质可以是任何类型的存储介质,例如:可插入到计算系统的驱动器中且可以磁性、光学地或光磁性存储信息的记录介质;计算机系统的固定记录介质,例如硬盘驱动器;或计算机存储器。
作为方法的一部分,可获得MR图像数据集100。通过执行无造影剂成像磁共振过程以提供T1映射图像,来获得MR图像数据集100,且在使用其它图像的情况下,通过执行合适的无造影剂成像过程以提供其它图像,来获得MR图像数据集100。
Claims (49)
1.一种产生经计算的对比度增强的医学图像的方法,所述方法包括:
接收对象的图像数据集,所述图像数据集包括通过执行无造影剂磁共振成像过程而获得的初始定量映射图像;以及
将所述图像数据集输入到图像处理器,并使用所述图像处理器处理所述图像数据集,以产生经计算的对比度增强的医学图像,
其中,所述图像处理器包括机器学习处理器,所述机器学习处理器在训练数据集上进行训练,所述训练数据集包括多组图像,每组图像包括无造影剂定量映射图像和对应获取的对比度增强的医学图像,所述无造影剂定量映射图像具有与所述图像数据集的所述定量映射图像相同的定量映射。
2.根据权利要求1所述的方法,其中,所述初始定量映射图像是T1映射图像。
3.根据权利要求1所述的方法,其中,所述初始定量映射图像是T2映射图像或T2*映射图像。
4.根据前述权利要求中任一项所述的方法,其中,所述对应获取的对比度增强的医学图像是对比度增强的磁共振图像。
5.根据权利要求4所述的方法,其中,所述对应获取的对比度增强的医学图像是对比度增强的定量映射图像,所述对比度增强的定量映射图像与所述图像数据集的所述定量映射图像具有相同的定量映射。
6.根据权利要求1至3中任一项所述的方法,所述对应获取的对比度增强的医学图像为非磁共振模态的对比度增强的图像。
7.根据权利要求6所述的方法,其中,所述非磁共振模态的对比度增强的图像是以下图像之一:对比度增强的计算机断层扫描图像、对比度增强的PET图像、对比度增强的SPECT图像或超声图像。
8.根据前述权利要求中任一项所述的方法,其中,所述对象的图像数据集仅包括所述初始定量映射图像。
9.根据权利要求1至7中任一项所述的方法,其中,所述对象的图像数据集进一步包括至少一个另外的磁共振图像,所述至少一个另外的磁共振图像通过除了所述图像数据集的所述定量映射图像的定量映射之外的无造影剂磁共振模态而获得,且所述训练数据集的所述多组图像进一步包括通过另一个无造影剂磁共振模态而获得的至少一个另外的磁共振图像。
10.根据权利要求9所述的方法,其中,所述至少一个另外的磁共振图像包括至少一个以下图像:原始磁共振图像、作为原始磁共振图像的融合的图像、或作为原始磁共振图像的衍生的图像。
11.根据权利要求9或10所述的方法,其中,所述至少一个另外的磁共振图像包括至少一个以下图像:T1映射图像、T1加权图像、T2加权图像、T2*加权图像、T2映射图像、T2*映射图像、或电影CMR图像。
12.根据权利要求9至11中任一项所述的方法,其中,所述至少一个另外的磁共振图像包括至少一个以下图像:STIR图像、带标记的CMR图像、应变编码图像、弥散加权图像、弥散张量图像、动脉自旋标记图像、PD加权图像、或水脂分离图像。
13.根据权利要求1至7或9至12中任一项所述的方法,其中,所述对象的图像数据集进一步包括至少一个非磁共振图像,且所述训练数据集的所述多组图像进一步包括与所述图像数据集的所述至少一个非磁共振图像具有相同的类型的至少一个非磁共振图像。
14.根据权利要求13所述的方法,其中,所述至少一个非磁共振图像包括至少一个以下项:超声心动图、核灌注图像、CT图像、电生理学心脏图图像、或胸部X光。
15.根据权利要求1至7或9至14中任一项所述的方法,其中,所述图像数据集包括不是图像数据的另外的数据,且所述训练数据集包括与每组图像相关联的训练数据,所述训练数据与不是图像数据的所述另外的数据具有相同的类型。
16.根据权利要求15所述的方法,其中,所述另外的数据包括至少一个以下项:成像元数据、图像采集参数、或非成像诊断测试结果。
17.根据权利要求16所述的方法,其中,所述非成像诊断测试结果是至少一个以下项:MR光谱结果、血检结果、心电图、所述对象的临床特征、或所述对象的转诊原因。
18.根据前述权利要求中任一项所述的方法,进一步包括以下步骤:向所述图像处理器输入已能够从同一个对象的先前访问或研究中获得的至少一个CE图像。
19.根据前述权利要求中任一项所述的方法,其中,所述图像是心脏图像。
20.根据前述权利要求中任一项所述的方法,其中,所述图像处理器是以下之一:经训练的变分自编码器、经训练的全卷积神经网络、经训练的U-Net、经训练的V-Net、或经训练的生成对抗网络,可选地,所述经训练的生成对抗网络是经训练的条件生成对抗网络。
21.根据前述权利要求中任一项所述的方法,其中,所述图像处理器包括将一个或多个图像模态作为输入的一个或多个卷积流,和/或将相关成像元数据或图像采集参数或非图像诊断信息作为输入的流。
22.根据前述权利要求中任一项所述的方法,其中,
使用所述图像处理器处理所述图像数据集,以产生具有不同疾病敏感度的多个经计算的对比度增强的医学图像,以及
所述方法进一步包括组合所述多个经计算的对比度增强的医学图像,以产生组合的经计算的对比度增强的医学图像。
23.根据前述权利要求中任一项所述的方法,其中,所述机器学习处理器已通过处理所述训练数据集的无造影剂定量映射图像来进行训练,以产生经计算的对比度增强的医学图像。
24.根据前述权利要求中任一项所述的方法,其中,经训练的机器学习算法已被训练,以最小化由所述图像处理器产生的经计算的对比度增强的医学图像与所述对应获取的对比度增强的图像之间的差异。
25.根据前述权利要求中任一项所述的方法,进一步包括训练所述机器学习处理器的步骤。
26.根据前述权利要求中任一项所述的方法,进一步包括以下步骤:对对象执行无造影剂磁共振成像过程,以获得包括所述初始定量映射图像的所述图像数据集。
27.一种计算机程序,能够由计算机设备执行,且配置成在执行时,使得所述计算机设备执行根据权利要求1至25中任一项所述的方法。
28.一种计算机可读存储介质,存储根据权利要求27所述的计算机程序。
29.一种图像处理器,适于产生经计算的对比度增强的医学图像,所述图像处理器包括:
输入,用于接收对象的图像数据集,所述图像数据集包括通过执行无造影剂磁共振成像过程而获得的定量映射图像;以及
数据处理器,用于处理所述图像数据集,以产生经计算的对比度增强的医学图像,
其中,所述数据处理器包括机器学习处理器,所述机器学习处理器在训练数据集上进行训练,所述训练数据集包括多组图像,每组图像包括无造影剂初始定量映射图像和对应获取的对比度增强的医学图像,所述无造影剂初始定量映射图像与所述图像数据集的所述定量映射图像具有相同的定量映射。
30.根据权利要求29所述的图像处理器,其中,所述初始定量映射图像是T1映射图像。
31.根据权利要求29所述的图像处理器,其中,所述初始定量映射图像是T2映射图像或T2*映射图像。
32.根据权利要求29至31中任一项所述的图像处理器,其中,经训练的机器学习算法是以下之一:经训练的生成对抗网络、经训练的变分自编码器、经训练的全卷积神经网络、经训练的U-Net、经训练的V-Net,可选地,所述经训练的生成对抗网络是经训练的条件生成对抗网络。
33.根据权利要求29至32中任一项所述的图像处理器,其中,所述获取的对比度增强的医学图像是对比度增强的磁共振图像。
34.根据权利要求28的图像处理器,其中,所述获取的对比度增强的医学图像是定量映射图像,所述定量映射图像具有与所述图像数据集的所述定量映射图像相同的定量映射。
35.根据权利要求29至34中任一项所述的图像处理器,其中,所述获取的对比度增强的医学图像为非磁共振模态的对比度增强的图像。
36.根据权利要求29至35中任一项所述的图像处理器,其中,所述图像是心脏图像。
37.根据权利要求29至36中任一项所述的图像处理器,其中,所述对象的图像数据集仅包括所述初始定量映射图像。
38.根据权利要求29至36中任一项所述的图像处理器,其中,所述对象的图像数据集进一步包括至少一个另外的磁共振图像,所述至少一个另外的磁共振图像通过除了所述图像数据集的所述定量映射图像的定量映射之外的无造影剂磁共振模态而获得,且所述训练数据集的所述多组图像进一步包括通过另一个无造影剂磁共振模态而获得的至少一个另外的磁共振图像。
39.根据权利要求38所述的图像处理器,其中,所述至少一个另外的磁共振图像包括至少一个以下图像:T1映射图像、T1加权图像、T2加权图像、T2*加权图像、T2映射图像、T2*映射图像、或电影CMR图像。
40.根据权利要求38或39所述的图像处理器,其中,所述至少一个另外的磁共振图像包括至少一个以下图像:STIR图像、带标记的CMR图像、应变编码图像、弥散加权图像、弥散张量图像、动脉自旋标记图像、PD加权图像、或水脂分离图像。
41.根据权利要求29至36或38至40中任一项所述的图像处理器,其中,所述对象的图像数据集进一步包括至少一个非磁共振图像,且所述训练数据集的所述多组图像进一步包括与所述图像数据集的所述至少一个非磁共振图像具有相同的类型的至少一个非磁共振图像。
42.根据权利要求41所述的图像处理器,其中,所述至少一个非磁共振图像包括至少一个以下项:超声心动图、核灌注图像、CT图像、电生理学心脏图、或胸部X光。
43.根据权利要求29至36或38至42中任一项所述的图像处理器,其中,所述图像数据集包括不是图像数据的另外的数据,且所述训练数据集包括与每组图像相关联的另外的训练数据,所述另外的训练数据与不是图像数据的所述另外的数据具有相同的类型。
44.根据权利要求43所述的图像处理器,其中,所述另外的数据包括至少一个以下项:成像元数据、图像采集参数、或非成像诊断测试。
45.根据权利要求44所述的图像处理器,其中,所述非成像诊断测试结果是至少一个以下项:MR光谱结果、血检结果、心电图、所述对象的临床特征、或所述对象的转诊原因。
46.一种训练数据处理器的方法,所述数据处理器是根据权利要求29至45中任一项所述的数据处理器,所述方法包括以下步骤:
a)接收训练数据集,所述训练数据集包括对应的多组图像,所述多组图像包括对象的无造影剂初始定量映射图像、所述对象的对应获取的对比度增强的图像、以及可选地包括所述对象的至少一个另外的图像和/或不是图像的另外的数据;
b)向所述数据处理器输入每组的无造影剂初始定量映射图像,且如果存在每组的所述对象的至少一个另外的图像和/或所述另外的数据,则输入所述对象的至少一个另外的图像和/或所述另外的数据,通过所述数据处理器使用生成图像处理功能来对输入进行处理,以产生经计算的对比度增强的医学图像,并将所述经计算的对比度增强的医学图像与来自所述组的所述对应获取的对比度增强的图像进行比较;
c)改变由所述数据处理器执行的处理,以减小所述经计算的对比度增强的医学图像与来自所述组的所述对应获取的对比度增强的图像之间的差异;以及
d)重复步骤b)和c),直到所述经计算的对比度增强的医学图像和所述对应获取的对比度增强的图像之间的差异低于预定阈值。
47.根据权利要求46所述的方法,进一步包括:操作辨别器,以通过将每个图像分类成由所述生成图像处理功能产生的经计算的对比度增强的医学图像或获取的对比度增强的图像,来在由所述生成图像处理功能产生的经计算的对比度增强的医学图像和所述对应获取的对比度增强的图像之间进行区分,并输出分类置信度值,
其中,在步骤c)中改变由所述生成图像处理器执行的处理,以训练所述生成图像处理器,来减小所述经计算的对比度增强的医学图像与所述对应获取的对比度增强的图像之间的差异,并减小所述辨别器的分类置信度,同时训练所述辨别器以增加所述辨别器自身的分类置信度。
48.根据权利要求46或47所述的方法,其中,所述初始定量映射图像是T1映射图像。
49.根据权利要求46或47所述的方法,其中,所述初始定量映射图像是T2映射图像或T2*映射图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1912701.8 | 2019-09-04 | ||
GBGB1912701.8A GB201912701D0 (en) | 2019-09-04 | 2019-09-04 | Method and apparatus for enhancing medical images |
PCT/GB2020/052117 WO2021044153A1 (en) | 2019-09-04 | 2020-09-04 | Enhancement of medical images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114556410A true CN114556410A (zh) | 2022-05-27 |
Family
ID=68207104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080071653.2A Pending CN114556410A (zh) | 2019-09-04 | 2020-09-04 | 医学图像的增强 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220343475A1 (zh) |
EP (1) | EP4026086A1 (zh) |
JP (1) | JP2022547047A (zh) |
CN (1) | CN114556410A (zh) |
GB (1) | GB201912701D0 (zh) |
WO (1) | WO2021044153A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423894A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019210545B4 (de) * | 2019-07-17 | 2024-02-01 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisbilddatensatzes und einer trainierten Generatorfunktion |
JP2022550688A (ja) * | 2019-09-25 | 2022-12-05 | サトゥル メディカル,インコーポレイテッド | 低投与量容積造影mriを改良するためのシステム及び方法 |
EP4049235A4 (en) * | 2020-01-23 | 2023-01-11 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND ELECTRONIC DEVICE CONTROL METHOD |
US20210272237A1 (en) * | 2020-02-29 | 2021-09-02 | University Of Florida Research Foundation, Inc. | Multimodal ct image super-resolution via transfer generative adversarial network |
KR20220064045A (ko) * | 2020-11-11 | 2022-05-18 | 삼성전자주식회사 | 영상을 생성하는 방법 및 장치와 영상 생성을 위한 신경망을 트레이닝하는 방법 |
US11727087B2 (en) * | 2021-04-05 | 2023-08-15 | Nano-X Ai Ltd. | Identification of a contrast phase depicted in a medical image |
US20230023122A1 (en) * | 2021-07-16 | 2023-01-26 | Washington University | Use of morphometric changes in the brain as a biomarker to predict brain tumor survival |
EP4152037A1 (en) * | 2021-09-16 | 2023-03-22 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Apparatus and method for generating a perfusion image, and method for training an artificial neural network therefor |
US20230196557A1 (en) * | 2021-12-22 | 2023-06-22 | Siemens Healthcare Gmbh | Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging |
EP4233726A1 (de) * | 2022-02-24 | 2023-08-30 | Bayer AG | Vorhersage einer repräsentation eines untersuchungsbereichs eines untersuchungsobjekts nach der applikation unterschiedlicher mengen eines kontrastmittels |
KR20240019639A (ko) * | 2022-08-04 | 2024-02-14 | 메디컬아이피 주식회사 | 비조영영상을 조영영상으로 변환하는 방법 및 그 장치 |
CN116458894B (zh) * | 2023-04-21 | 2024-01-26 | 山东省人工智能研究院 | 基于复合型生成对抗网络的心电信号增强与分类方法 |
CN118628378B (zh) * | 2024-08-07 | 2024-10-18 | 晓智未来(成都)科技有限公司 | 基于CycleGAN的X光图像增强方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130322713A1 (en) | 2012-05-29 | 2013-12-05 | Isis Innovation Ltd. | Color map design method for assessment of the deviation from established normal population statistics and its application to quantitative medical images |
CA3078728A1 (en) * | 2017-10-09 | 2019-04-18 | The Board Of Trustees Of The Leland Stanford Junior University | Contrast dose reduction for medical imaging using deep learning |
US11100621B2 (en) * | 2017-10-20 | 2021-08-24 | Imaging Biometrics, Llc | Simulated post-contrast T1-weighted magnetic resonance imaging |
-
2019
- 2019-09-04 GB GBGB1912701.8A patent/GB201912701D0/en not_active Ceased
-
2020
- 2020-09-04 CN CN202080071653.2A patent/CN114556410A/zh active Pending
- 2020-09-04 JP JP2022514541A patent/JP2022547047A/ja active Pending
- 2020-09-04 EP EP20768674.2A patent/EP4026086A1/en active Pending
- 2020-09-04 US US17/639,926 patent/US20220343475A1/en active Pending
- 2020-09-04 WO PCT/GB2020/052117 patent/WO2021044153A1/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423894A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
CN115423894B (zh) * | 2022-11-04 | 2023-02-03 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220343475A1 (en) | 2022-10-27 |
WO2021044153A1 (en) | 2021-03-11 |
GB201912701D0 (en) | 2019-10-16 |
JP2022547047A (ja) | 2022-11-10 |
EP4026086A1 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114556410A (zh) | 医学图像的增强 | |
Wang et al. | Deep learning detection of penumbral tissue on arterial spin labeling in stroke | |
Jahnke et al. | Navigator-gated 3D blood oxygen level–dependent CMR at 3.0-T for detection of stress-induced myocardial ischemic reactions | |
Jahng et al. | Human brain: reliability and reproducibility of pulsed arterial spin-labeling perfusion MR imaging | |
Rindler et al. | Neuroimaging of intracerebral hemorrhage | |
Vogel-Claussen et al. | Cardiac valve assessment with MR imaging and 64-section multi–detector row CT | |
EP2419880B1 (en) | Plausible reference curves for dynamic, contrast-enhanced imaging studies | |
JP2005515809A (ja) | 導出されたパラメトリック画像に基づく造影剤取り込みの評価を行う方法及び装置 | |
Barkhausen et al. | Imaging of myocardial infarction: comparison of magnevist and gadophrin-3 in rabbits | |
Manka et al. | Clinical feasibility of accelerated, high spatial resolution myocardial perfusion imaging | |
Farrelly et al. | Improved detection of subendocardial hyperenhancement in myocardial infarction using dark blood–pool delayed enhancement MRI | |
Saad et al. | Review of brain lesion detection and classification using neuroimaging analysis techniques | |
Winder et al. | Automatic arterial input function selection in CT and MR perfusion datasets using deep convolutional neural networks | |
Zhang et al. | Additive value of 3T cardiovascular magnetic resonance coronary angiography for detecting coronary artery disease | |
Abd-Elmoniem et al. | Coronary vessel wall 3-T MR imaging with time-resolved acquisition of phase-sensitive dual inversion-recovery (TRAPD) technique: initial results in patients with risk factors for coronary artery disease | |
Opfer et al. | Advances in pediatric cardiovascular imaging | |
Othman et al. | Free-breathing arterial spin labeling MRI for the detection of pulmonary embolism | |
Ley-Zaporozhan et al. | Proton MRI in COPD | |
Setser et al. | Cine delayed-enhancement MR imaging of the heart: initial experience | |
Lin et al. | Cine MRI‐Derived Radiomics Features of the Cardiac Blood Pool: Periodicity, Specificity, and Reproducibility | |
van Kesteren et al. | Non-contrast enhanced navigator-gated balanced steady state free precession magnetic resonance angiography as a preferred magnetic resonance technique for assessment of the thoracic aorta | |
Moon et al. | Cardiovascular magnetic resonance and the evaluation of heart failure | |
Davarpanah et al. | Accelerated two-and three-dimensional cine MR imaging of the heart by using a 32-channel coil | |
Niendorf et al. | MRI of kidney size matters | |
Zaarour et al. | Diagnostic performance and relationships of structural parameters and strain components for the diagnosis of cardiac amyloidosis with MRI |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |