CN111145141A - 使用经训练的网络检测梗塞 - Google Patents
使用经训练的网络检测梗塞 Download PDFInfo
- Publication number
- CN111145141A CN111145141A CN201911076284.1A CN201911076284A CN111145141A CN 111145141 A CN111145141 A CN 111145141A CN 201911076284 A CN201911076284 A CN 201911076284A CN 111145141 A CN111145141 A CN 111145141A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- computed tomography
- contrast enhanced
- enhanced computed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010061216 Infarction Diseases 0.000 title claims abstract description 33
- 230000007574 infarction Effects 0.000 title claims abstract description 33
- 238000002591 computed tomography Methods 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 47
- 239000003550 marker Substances 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000002107 myocardial effect Effects 0.000 claims 4
- 230000003068 static effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000013170 computed tomography imaging Methods 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 5
- 239000002775 capsule Substances 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009647 digital holographic microscopy Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000003176 fibrotic effect Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
公开了使用经训练的网络检测梗塞。系统和方法包括:获取第一多个图像;针对所述第一多个图像中的每个,确定是否在图像中描绘了梗塞并且基于该确定生成与图像相关联的标记;获取第二多个非造影增强的计算机断层扫描图像;针对所述第二多个非造影增强的计算机断层扫描图像中的每个,确定所述第一多个图像中的对应的一个图像;将所述第二多个非造影增强的计算机断层扫描图像中的每个与关联于所述第一多个图像中的对应的那个图像的标记相关联;以及训练神经网络以输出网络生成的标记,训练基于所述第二多个非造影增强的计算机断层扫描图像和相关联的标记。
Description
背景技术
医学成像系统获取患者体积的图像。放射科医生使用这些图像来标识和诊断疾病。例如,为了评估心肌梗塞,获取磁共振(MR)图像或造影增强的计算机断层扫描(CT)图像,并且放射科医生标识所获取的图像内的纤维化组织。
照例针对经受心脏评估的患者获取非造影CT图像,因为从CT图像确定的钙评分是心脏事件的良好预测因子。获取附加的MR图像来检测梗塞是时间和资源密集的,并且为了相同的目的替换地获取造影增强的CT图像使患者暴露于附加的辐射,同时还要求附加的时间。由于非造影CT图像的易于获取和可用性,想要系统基于非造影CT图像来检测梗塞。
附图说明
图1是根据一些实施例的用以训练网络以检测梗塞的系统的框图;
图2是根据一些实施例的部署经训练的网络以检测梗塞的系统的框图;
图3是根据一些实施例的用以训练和部署网络以检测梗塞的处理的流程图;
图4是根据一些实施例的图示训练数据的生成的框图;
图5是根据一些实施例的图示训练数据的生成的框图;
图6是根据一些实施例的图示训练数据的生成的框图;
图7是根据一些实施例的用以训练网络的系统的框图;
图8是根据一些实施例的用以使用转移学习训练网络的系统的框图;
图9是根据一些实施例的用以训练网络以检测梗塞的计算系统的框图;
图10是根据一些实施例的部署经训练的网络以检测梗塞的成像系统的示意图;和
图11图示根据一些实施例的使用经训练的网络生成标记。
具体实施方式
提供以下描述,以使得任何本领域技术人员能够作出并使用所描述的实施例,并且提出为了执行所描述的实施例而想见的最佳模式。然而,各种修改对于本领域技术人员来说仍然是显而易见的。
在此描述的实施例利用经训练的人工神经网络来基于输入的非造影CT图像检测梗塞。有利地,实施例可以减少针对分离的MR获取或分离的造影增强的CT获取的需要。因此,一些实施例显著地降低了检测成本(与MR成像相比)或减少了为了检测所要求的辐射剂量和造影剂(与造影增强的CT成像相比)。
根据一些实施例,基于非造影CT图像和指示每个图像是否描绘了梗塞的标记来训练网络。在一些实施例中,标记还可以指示非造影CT图像中的梗塞的位置。如将在下面描述那样,可以基于与非造影CT训练图像对应的MR或造影增强的CT图像来生成训练数据标记。如果训练数据量受限制,则网络训练可以采用转移学习。
图1图示根据一些实施例的用以基于非造影CT图像来训练网络的系统100。如在此描述的非造影CT图像可以包括二维CT图像、三维CT图像(例如,基于所获取的二维图像重新构建的)或CT图像“切片”(例如,重新构建的三维图像的切片)。“非造影”指示其中在感兴趣的区域中造影剂实质上不存在的状态。因此,可以在将造影剂引入到感兴趣的区域之前或者在已经引入造影剂并且已经流逝足够的时间以使造影剂实质上从感兴趣的区域冲洗掉之后获取非造影图像。
网络110是使用训练系统115、非造影CT图像120和标记130来训练的。非造影CT图像120可以包括从0至n的一个或多个图像,并且标记130可以包括针对每个图像的一个或多个标记。典型地,数据120和130包括大量的数据集和对应的注释(即,n是大的数目)。
虽然在此被描绘和描述为非造影CT图像,但是图像120可以包括使用任何成像模态获取的并且采用已知或将变为已知的任何格式的医学图像数据。示例包括但是不限制于单光子发射计算机断层扫描(SPECT)、正电子发射断层扫描(PET)、超声波、光声成像、磁性粒子成像、光学相干断层扫描、光学相机、红外相机、三维相机/深度相机、内窥镜检查和数字全息显微镜。图像120可以包括使用任何上面列出的或其它的成像模态获取的原始数据。每个图像可以包括获取参数(例如,DICOM图像)。
根据一些实施例,网络110还接收与每个非造影图像120相关的其它训练数据。该其它训练数据可以包括与每个图像120中描绘的患者有关的人口统计信息。其它训练数据也可以或者替换地包括基于每个图像120生成的分段数据。
一个或多个标记130与每个图像120(和如上面描述的任何其它相关联的数据)相关联,如由图像120和标记130之间的虚线指示的那样。标记130可以指示其对应的图像是否描绘梗塞。标记130还可以指示梗塞在其对应的图像中的位置。标记130可以包括网络110要被训练来输出的任何其它合适的信息。
宽泛地,网络110可以包括神经元网络,其接收输入、根据该输入改变内部状态、并且取决于输入和内部状态产生输出。某些神经元的输出被连接到其它神经元的输入以形成有指向的并且加权的图。可以通过基于地面真实数据的训练处理来修改权重以及计算内部状态的函数。网络110可以包括已知的或者将变为已知的任何一种或多种类型的人工神经网络,包括但是不限制于卷积神经网络、递归神经网络、长短期存储网络、深储层计算和深回波状态网络、深信念网络和深堆叠网络。
网络110可以是使用如本领域中已知的训练系统115训练的,以生成用以基于输入的非造影CT图像数据来输出标记的函数。训练系统115可以包括用于训练已知的或者将变为已知的人工神经网络的任何一个或多个系统。例如,训练系统115可以采用监督学习、无监督学习和/或强化学习,其被用作为如在深度神经网络的情形下已知的函数逼近器。可以使用生成性对抗网络,包括已知的生成性网络和判别性网络。
根据一些实施例,经训练的人工神经网络110实现函数。函数可以表征为与每个网络节点相关联的一组参数值。在一个示例中,函数由用于完全卷积网络的内核的参数值来表示。函数(例如,体现在经训练的卷积内核的参数值中)可以如本领域中已知那样部署到诸如图2的系统200的外部系统。
系统200包括经训练的网络210。网络210可以是如上面关于网络100描述的那样训练的。网络210可以包括任何类型的计算系统以实现得自于图1的网络110的训练的学习函数。
在操作中,获取非造影CT图像220并且将其输入到经训练的网络210。输入的非造影CT图像220的格式和类型与用于训练网络110的非造影CT图像220的格式和类型对应。例如,如果网络110是基于三维CT图像训练的,则输入图像220由三维CT图像构成。如果网络110是基于切片图像的组训练的,其中每个组对应于三维CT图像,则输入图像220由一组切片图像构成。此外,如果网络110是使用与每个非造影CT图像相关联的人口统计和/或分段数据训练的,则将相同类型的数据连同输入图像220一起输入到经训练的网络210。
网络210然后根据所训练的模型进行操作以基于输入图像来输出一个或多个标记。如上面描述那样,所述一个或多个标记可以指示在(多个)输入图像中是否描绘了梗塞、任何所描绘的梗塞的位置、以及网络210被训练以输出的任何其它信息。
例如,输出可以包括基于由分段算法生成的各种结构的坐标将梗塞的位置与所分段的器官和/或区域相关联的报告。在一些实施例中,标记可以包括指示梗塞的位置的图形覆盖图。图11描绘经训练的网络1110,其接收非造影CT并且作为响应输出图像1130。图像1130包括图像1120和位于检测到的梗塞处的覆盖图1135。
图3是根据一些实施例的图1和图2中描绘的处理300的流程图。可以使用硬件和软件的任何合适的组合来执行处理300和在此描述的其它处理。体现这些处理的软件程序代码可以由任何非暂态有形介质存储,其包括固定盘、易失性或非易失性随机存取存储器、软盘、CD、DVD、闪存驱动器或磁带。实施例不限制于下面描述的示例。
最初,在S310处,获取多个图像。可以从一个或多个公共的或私有的图像存储库获取图像,并且图像可以包括为了如在此描述那样训练网络的目的而获取的图像。在S310的一些实施例中,图像是描绘心脏结构的切片。例如,S310可以包括获取许多MR图像或造影增强的CT图像,以及生成每个图像的多个切片。
在S320处,针对多个图像中的每个图像基于在图像中是否描绘了梗塞而生成标记。在这方面,许多(如果不是全部的话)图像可以描绘心肌的至少一部分。根据一些实施例,在S310处使用模态来获取图像,所述模态使得能够使用已知的或者将变为已知的系统来进行梗塞检测。例如,在S310处获取的图像可以包括MR图像或造影增强的CT图像,其由放射科医生和/或被通过自动化手段分析以标识梗塞,并且在S320处生成对应的标记。
在S330处获取第二多个图像。该第二多个图像可以包括如关于非造影CT图像120描述那样的非造影CT图像。继续上面的示例,第二多个图像可以包括从许多非造影CT图像生成的图像切片。
接着,在S340处,针对第二多个图像中的每个图像确定第一多个图像中的对应的一个。一般地,第二多个图像中的每个与第一多个图像中的一个相匹配。匹配的图像可以从相似角度描绘同一患者的解剖结构的相似部分。匹配的图像的确定可以包括对每个图像进行分段以标识其中描绘的结构以及将各图像对于彼此进行配准。将关于图4至图6描述用于这种确定的各种实施例。
在S350处,将第二多个图像中的每个与针对第一多个图像中的其对应的那个图像生成的标记相关联。因此,在S350之后,第二多个图像中的每个与对应的标记相关联。然后在S360处使用图像和对应的标记来训练网络,以基于输入图像来输出标记,如关于图1描述的那样。
然后可以如关于图2描述的那样部署经训练的网络。其中部署有经训练的网络的计算系统可以与用于训练网络的计算系统不同。在S370处,以与用于训练网络的图像格式相同的图像格式将图像输入到经训练的网络。如果在训练期间使用了任何附加的输入数据(例如,人口统计数据),则在S370处也将该数据输入到经训练的网络。
凭借经训练的网络的操作,由经训练的网络输出与输入图像相关联的标记,并且在S380处接收该标记。标记可以包括能够指示输入图像中存在梗塞的任何类型的输出。标记可以包括文本、声音警报、图形等。
根据一些实施例,用户可以指示标记是否正确(即,在输入图像中是否描绘了梗塞)。该信息可以用于更新训练数据。例如,将输入图像添加到训练集并且与反映用户的指示的标记相关联。可以基于更新的训练集如上面描述那样重新执行训练,以便进一步细化经训练的网络。
图4图示根据一些实施例的在S310至S350处的训练数据的生成。如所示出那样,在S310处获取MR图像402并且从其生成MR切片406。由放射科医生和/或自动系统评价408每个切片406以确定是否在其中描绘了梗塞。每个切片被以任何合适的方式标记有其对应的确定,造成被标记的MR切片410。确定和标记可以指示任何其它合适的信息,诸如梗塞的位置或严重性。
获取非造影CT图像412并且从其生成非造影CT切片414。在非造影CT图像412和MR图像402之间优选地存在对应关系,其由图4中的虚线指示。例如,图像402和412可以描绘同一患者,并且可以已经在时间上接近地被获取。
配准组件415确定切片414中的每个与MR切片410中的一个之间的对应关系。在一些实施例中,配准组件415将每个切片410和414分段(或者使用来自图像402,412的先前分段的分段信息),以标识内部结构(例如,腔室、心室)并且使用这些结构来确定针对切片414中的每个的对应切片410。
如所示出那样,切片414的数目可以明显大于MR切片410的数目。因此,多个一个的切片414可以对应于同一切片410。图4示出被标记的MR切片410a对应于非造影CT切片414a、被标记的MR切片410b对应于非造影CT切片414b、被标记的MR切片410c对应于非造影CT切片414c、以及被标记的MR切片410d对应于非造影CT切片414c。
接着,在S350处,将非造影CT切片414中的每个与其对应的MR切片410的标记相关联。如在图4中描绘那样,被标记的MR切片410a的标记420a与非造影CT切片414a中的每个相关联。非造影CT切片414b-d中的每个被类似地与标记420b-d相关联。应当注意,图4的处理是针对许多MR图像402和对应的非造影CT图像412进行的。
图5描绘了根据一些实施例的S310-S350。获取MR图像502并且从其生成MR切片506。如上面描述那样评价508每个切片506以确定是否在其中描绘了梗塞,并且对每个切片506进行标记以生成被标记的MR切片510。与图4的系统相反,获取造影增强的CT图像512,并且从其生成造影增强的CT切片514。再次地,在造影增强的CT图像512和MR图像502之间可以存在对应关系。
配准组件516确定切片514中的每个与MR切片510中的一个之间的对应关系。进行确定可以包括被分段的体素的分段和配准。造影的使用可以促进切片514的分段。类似于图4,图5示出被标记的MR切片510a对应于造影增强的CT切片514a、被标记的MR切片510b对应于造影增强的CT切片514b、被标记的MR切片510c对应于造影增强的CT切片514c、以及被标记的MR切片510d对应于造影增强的CT切片514d。
图5还示出非造影CT图像520和从其生成的非造影CT切片522。非造影CT图像520对应于造影增强的CT图像512。例如,可以已经在获取图像512之前或之后立即获取了图像520,虽然实施例并不限制于此。
由于非造影CT图像520和造影增强的CT图像512之间的对应关系,可以高效地确定非造影CT切片522和造影增强的CT切片514之间的对应关系。如在图5中描绘那样,并且基于这些所确定的对应关系,每组切片图像514a-d被对应的一组非造影切片图像522a-d代替。然后,将非造影切片图像522a-d中每个与对应于其造影增强的CT切片514的MR切片510的标记530相关联。
图6描绘了S310-S350的又一实施例。获取造影增强的图像602并且从其生成切片606。评价608切片606以标识梗塞并且因此对切片606进行标记以创建被标记的造影增强的图像610。
非造影CT图像612对应于造影增强的CT图像602。如上面描述那样,可以已经在获取图像602之前或之后立即获取了图像612。从非造影CT图像612生成非造影CT切片614。接下来,在S340处针对每个非造影CT切片614确定对应的被标记的造影增强的CT切片610。确定可以由配准组件616执行,并且可以通过切片614和切片610之间的固有相似性来促进。例如,图像602和612可以实质上同时描绘同一患者体积,可以基于使用相同的CT成像系统—其使用相似的获取参数—获取的投影图像,并且可以是使用类似的重新构建算法来重新构建的。
将非造影切片图像614中的每个与如由配准组件616确定的其对应的被标记的造影增强的CT切片610的标记618相关联。实施例并不限制于在图4至图6中图示的系统。
图7图示根据一些实施例的在S360处训练网络的训练架构700。实施例并不限制于图7中描绘的训练的类型。
在训练期间,网络710接收非造影CT图像0-n720。基于其初始配置和设计,网络710基于每个接收的非造影CT图像0-n720输出预测的标记。损失层组件740通过将基于输入的非造影CT图像0-n720生成的每个预测的标记0-n与对应于输入的非造影CT图像0-n720的实际标记0-n730进行比较来确定损失。例如,网络710基于非造影CT图像9生成预测的标记9。损失层组件740基于预测的标记9和对应于非造影CT图像9的实际标记9730之间的差别来确定损失。针对每组非造影CT图像0-n执行前述以确定总损失。损失可以包括L1损失以及L2损失或者任何其它合适的总损失量度。
总损失从损失层组件740后向传播到网络710,作为响应这改变网络710的内部权重,如本领域中已知那样。重复处理直到确定总损失已经达到可接受的水平或者另外训练终止。
图8是根据一些实施例的采用转移学习的训练架构800的框图。网络810包括用于检测较低水平特征的经预训练的层812。已经使用另一组训练数据预训练了该经预训练的层812以准确地检测这些较低水平的图像特征。
网络800的训练可以如上面关于网络700描述的那样进行。然而,损失的后向传播仅造成网络810的上层814的修改。更具体地,在训练期间层812的内部权重和架构保持固定。在训练数据的量受限制的情况下,诸如架构800的训练架构可能是有益的。
图9图示根据一些实施例的计算系统900。系统900可以包括计算系统以促进胶囊网络的设计和训练,如本领域中已知的那样。计算系统900可以包括单机系统,或者计算系统900的一个或多个元件可以是按网络或云、边缘或雾定位的。
系统900包括网络适配器910以经由网络连接与外部设备通信。(多个)处理单元930可以包括一个或多个处理器、处理器核或其它处理单元,以执行处理器可执行的处理步骤。在这方面,存储系统940—其可以包括一个或多个存储器设备(例如硬盘驱动器、固态驱动器)—存储可以由(多个)处理单元930执行的训练程序942的处理器可执行的处理步骤,以如在此描述那样训练胶囊网络。
训练程序942可以利用节点操作库944,其包括代码以执行与如在胶囊网络定义945中定义的胶囊操作相关联的各种操作。根据一些实施例,计算系统900提供接口和开发软件(未示出),以使得能够开发训练程序942并且生成定义945。存储设备940还包括非造影CT数据946和标记947,其可以如上面描述那样由训练程序使用以训练在定义945内定义的网络。
图10图示根据一些实施例的其中可以部署经训练的网络的医学成像系统1000。一般地,成像系统1000可以获取患者的非造影CT图像并且将图像输入到如在此描述的经训练的网络,以便生成如上面描述那样的一个或多个相关联的标记。实施例不限制于系统1000或任何成像系统。例如,分离的计算系统可以从成像系统或者从图片存档和通信系统接收图像,并且将这些图像输入到由分离的计算系统实现的经训练的网络,以便生成一个或多个标记。
系统1000包括限定孔口1012的台架1010。如本领域中已知的,台架1010容纳用于获取CT图像数据的CT成像组件。CT成像组件可以包括一个或多个x射线管和一个或多个对应的x射线检测器。
床体1014和底座1016是可操作的,以将躺在床体1014上的患者移动到孔口1012中以及移动出孔口1012。患者进入和离开孔口1012的运动可以允许使用台架1010的CT成像元件对患者进行扫描。
控制系统1020可以包括任何一般目的的或专用的计算系统。因此,控制系统1020包括:一个或多个处理单元1022,被配置为执行处理器可执行的程序代码以引起系统1020如在此描述那样进行操作;以及存储设备1030,用于存储程序代码。存储设备1030可以包括一个或多个固定盘、固态随机存取存储器和/或安装在对应的接口(例如,USB端口)中的可移除介质(例如,拇指驱动器)。
存储设备1030存储成像控制程序1032的程序代码。一个或多个处理单元1022可以执行成像控制程序1032以与成像系统接口1024结合,引起在台架1010内的辐射源从不同的投影角度朝向孔口1012内的身体发射辐射,并且控制对应的检测器以获取二维CT数据。获取的数据可以作为图像数据1036存储在存储器1030中。
一个或多个处理单元1022还可以执行实现的经训练的网络1034的代码。在训练网络之后,可以由系统900导出代码。可以执行代码以从图像数据1036接收图像数据并且基于其生成标记。
所获取的非造影CT图像和其关联的所生成的标记可以被经由终端接口1026传输到终端1040。终端1040可以包括耦合到系统1040的显示设备和输入设备。在一些实施例中,终端1040是分离的计算设备,诸如但是不限制于台式计算机、膝上型计算机、平板计算机、智能手表、投影仪、增强/虚拟现实设备以及智能电话。
本领域技术人员将领会可以在不脱离权利要求的情况下配置上面描述的实施例的各种适配和修改。因此,要理解可以与在此具体地描述那样不同地实践权利要求。
Claims (20)
1.一种计算系统,包括:
存储系统;
一个或多个处理器,用于执行存储在存储系统上的处理器可执行的处理步骤,以引起所述计算系统:
获取第一多个图像;
针对所述第一多个图像中的每个,确定是否在图像中描绘了梗塞并且基于该确定生成与图像相关联的标记;
获取第二多个非造影增强的计算机断层扫描图像;
针对所述第二多个非造影增强的计算机断层扫描图像中的每个,确定所述第一多个图像中的对应的一个图像;
针对所述第二多个非造影增强的计算机断层扫描图像中的每个,将非造影增强的计算机断层扫描图像与关联于所述第一多个图像中的对应的那个图像的标记相关联;以及
训练网络以输出网络生成的标记,训练基于所述第二多个非造影增强的计算机断层扫描图像和相关联的标记。
2.根据权利要求1所述的计算系统,所述一个或多个处理器执行存储在存储系统上的处理器可执行的处理步骤,以引起所述计算系统:
操作经训练的网络以接收第一非造影增强的计算机断层扫描图像,并且输出指示是否在第一非造影增强的计算机断层扫描图像中描绘了梗塞的标记。
3.根据权利要求1所述的计算系统,其中所述第一多个图像包括切片图像,并且所述第二多个图像包括切片图像。
4.根据权利要求3所述的计算系统,其中,针对所述第二多个非造影增强的计算机断层扫描图像中的每个确定所述第一多个图像中的对应的一个图像包括:
检测在所述第一多个图像内的第一心肌结构;
检测在所述第二多个图像内的第二心肌结构;和
利用所述第二多个图像配准所述第一多个图像。
5.根据权利要求3所述的计算系统,其中所述第一多个图像包括MR图像切片。
6.根据权利要求3所述的计算系统,其中所述第一多个图像包括造影增强的计算机断层扫描图像切片。
7.根据权利要求1所述的计算系统,其中标记指示梗塞的位置。
8.根据权利要求1所述的计算系统,所述一个或多个处理器执行存储在存储系统上的处理器可执行的处理步骤,以引起所述计算系统:
操作经训练的网络以接收第一非造影增强的计算机断层扫描图像并且输出如下图像:该图像包括第一非造影增强的计算机断层扫描图像和覆盖描绘于第一非造影增强的计算机断层扫描图像中的梗塞的位置的图形。
9.一种计算机实现的方法,包括:
获取第一多个图像;
针对所述第一多个图像中的每个,确定是否在图像中描绘了梗塞并且基于该确定生成与图像相关联的标记;
获取第二多个非造影增强的计算机断层扫描图像;
针对所述第二多个非造影增强的计算机断层扫描图像中的每个,确定所述第一多个图像中的对应的一个;
针对所述第二多个非造影增强的计算机断层扫描图像中的每个,将非造影增强的计算机断层扫描图像与关联于所述第一多个图像中的对应的那个图像的标记相关联;和
训练神经网络以输出网络生成的标记,训练基于所述第二多个非造影增强的计算机断层扫描图像和相关联的标记。
10.根据权利要求9所述的方法,进一步包括:
操作经训练的网络以接收第一非造影增强的计算机断层扫描图像,并且输出指示是否在第一非造影增强的计算机断层扫描图像中描绘了梗塞的标记。
11.根据权利要求9所述的方法,其中所述第一多个图像包括切片图像,并且所述第二多个图像包括切片图像。
12.根据权利要求11所述的方法,其中,针对所述第二多个非造影增强的计算机断层扫描图像中的每个确定所述第一多个图像中的对应的一个图像包括:
检测在所述第一多个图像内的第一心肌结构;
检测在所述第二多个图像内的第二心肌结构;和
利用所述第二多个图像配准所述第一多个图像。
13.根据权利要求11所述的方法,其中,所述第一多个图像包括MR图像切片。
14.根据权利要求11所述的方法,其中,所述第一多个图像包括造影增强的计算机断层扫描图像切片。
15.根据权利要求9所述的方法,其中标记指示梗塞的位置。
16.根据权利要求9所述的方法,进一步包括操作经训练的网络以接收第一非造影增强的计算机断层扫描图像并且输出如下图像:该图像包括第一非造影增强的计算机断层扫描图像和覆盖描绘于第一非造影增强的计算机断层扫描图像中的梗塞的位置的图形。
17.一种系统,包括:
人工神经网络;
存储的数据,包括多个非造影增强的计算机断层扫描图像,图像中的每个与指示是否在图像中描绘了梗塞的标记相关联;以及
训练架构,用于训练人工神经网络以接收第一非造影增强的计算机断层扫描图像,并且输出指示是否在第一图像中描绘了梗塞的第一标记。
18.根据权利要求17所述的系统,其中训练架构在人工神经网络的训练期间将网络的底层保持为静态并且仅训练网络的上层。
19.根据权利要求17所述的系统,其中所述多个非造影增强的计算机断层扫描图像包括切片图像。
20.根据权利要求17所述的系统,训练架构用于训练人工神经网络以接收第一非造影增强的计算机断层扫描图像并且输出如下图像:该图像包括第一非造影增强的计算机断层扫描图像和覆盖描绘于第一非造影增强的计算机断层扫描图像中的梗塞的位置的图形。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311543532.5A CN117576034A (zh) | 2018-11-06 | 2019-11-06 | 使用经训练的网络检测梗塞 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/181442 | 2018-11-06 | ||
US16/181,442 US10937205B2 (en) | 2018-11-06 | 2018-11-06 | Detection of infarcts using trained network |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311543532.5A Division CN117576034A (zh) | 2018-11-06 | 2019-11-06 | 使用经训练的网络检测梗塞 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145141A true CN111145141A (zh) | 2020-05-12 |
CN111145141B CN111145141B (zh) | 2023-12-12 |
Family
ID=68470366
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311543532.5A Pending CN117576034A (zh) | 2018-11-06 | 2019-11-06 | 使用经训练的网络检测梗塞 |
CN201911076284.1A Active CN111145141B (zh) | 2018-11-06 | 2019-11-06 | 使用经训练的网络检测梗塞 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311543532.5A Pending CN117576034A (zh) | 2018-11-06 | 2019-11-06 | 使用经训练的网络检测梗塞 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10937205B2 (zh) |
EP (1) | EP3660783B1 (zh) |
CN (2) | CN117576034A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11436732B2 (en) * | 2019-03-12 | 2022-09-06 | The General Hospital Corporation | Automatic segmentation of acute ischemic stroke lesions in computed tomography data |
JP7376053B2 (ja) * | 2021-02-01 | 2023-11-08 | クラリピーアイ インコーポレイテッド | ディープラーニング基盤の造影増強ctイメージ対照度増幅装置及び方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103536305A (zh) * | 2012-07-11 | 2014-01-29 | 通用电气公司 | 用于执行图像类型识别的系统和方法 |
US8649844B2 (en) * | 2010-10-25 | 2014-02-11 | Fujifilm Corporation | Medical image diagnosis assisting apparatus, method, and program |
CN105051784A (zh) * | 2013-03-15 | 2015-11-11 | 哈特弗罗公司 | 对模拟准确度和性能的图像质量评估 |
WO2017106469A1 (en) * | 2015-12-15 | 2017-06-22 | The Regents Of The University Of California | Systems and methods for analyzing perfusion-weighted medical imaging using deep neural networks |
US20180197317A1 (en) * | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
US20180300907A1 (en) * | 2017-04-14 | 2018-10-18 | Siemens Medical Solutions Usa, Inc. | Network training and architecture for medical imaging |
CN108694994A (zh) * | 2018-05-11 | 2018-10-23 | 浙江大学 | 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540803B2 (en) * | 2013-03-15 | 2020-01-21 | PME IP Pty Ltd | Method and system for rule-based display of sets of images |
US9785866B2 (en) * | 2015-01-22 | 2017-10-10 | Microsoft Technology Licensing, Llc | Optimizing multi-class multimedia data classification using negative data |
-
2018
- 2018-11-06 US US16/181,442 patent/US10937205B2/en active Active
-
2019
- 2019-11-06 CN CN202311543532.5A patent/CN117576034A/zh active Pending
- 2019-11-06 EP EP19207429.2A patent/EP3660783B1/en active Active
- 2019-11-06 CN CN201911076284.1A patent/CN111145141B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8649844B2 (en) * | 2010-10-25 | 2014-02-11 | Fujifilm Corporation | Medical image diagnosis assisting apparatus, method, and program |
CN103536305A (zh) * | 2012-07-11 | 2014-01-29 | 通用电气公司 | 用于执行图像类型识别的系统和方法 |
CN105051784A (zh) * | 2013-03-15 | 2015-11-11 | 哈特弗罗公司 | 对模拟准确度和性能的图像质量评估 |
WO2017106469A1 (en) * | 2015-12-15 | 2017-06-22 | The Regents Of The University Of California | Systems and methods for analyzing perfusion-weighted medical imaging using deep neural networks |
US20180197317A1 (en) * | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
US20180300907A1 (en) * | 2017-04-14 | 2018-10-18 | Siemens Medical Solutions Usa, Inc. | Network training and architecture for medical imaging |
CN108694994A (zh) * | 2018-05-11 | 2018-10-23 | 浙江大学 | 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法 |
Non-Patent Citations (6)
Title |
---|
GURPREET SINGH等: "Machine learning in cardiac CT: Basic concepts and contemporary data", 《JOURNAL OF CARDIOVASCULAR COMPUTED TOMOGRAPHY》 * |
GURPREET SINGH等: "Machine learning in cardiac CT: Basic concepts and contemporary data", 《JOURNAL OF CARDIOVASCULAR COMPUTED TOMOGRAPHY》, vol. 12, no. 3, 30 April 2018 (2018-04-30), pages 192 - 201, XP085408790, DOI: 10.1016/j.jcct.2018.04.010 * |
MANOJ MANNIL等: "Texture Analysis and Machine Learning for Detecting Myocardial Infarction in Noncontrast Low-Dose Computed Tomography", 《INVESTIGATIVE RADIOLOGY》 * |
MANOJ MANNIL等: "Texture Analysis and Machine Learning for Detecting Myocardial Infarction in Noncontrast Low-Dose Computed Tomography", 《INVESTIGATIVE RADIOLOGY》, vol. 53, no. 6, 1 June 2018 (2018-06-01), pages 338 - 343, XP055688387, DOI: 10.1097/RLI.0000000000000448 * |
孙佰清等: "人工神经网络在医疗智能诊断系统中的应用", 《哈尔滨商业大学学报(自然科学版)》 * |
孙佰清等: "人工神经网络在医疗智能诊断系统中的应用", 《哈尔滨商业大学学报(自然科学版)》, no. 4, 30 August 2002 (2002-08-30), pages 394 - 395 * |
Also Published As
Publication number | Publication date |
---|---|
US10937205B2 (en) | 2021-03-02 |
US20200143571A1 (en) | 2020-05-07 |
EP3660783B1 (en) | 2022-05-04 |
EP3660783A1 (en) | 2020-06-03 |
CN117576034A (zh) | 2024-02-20 |
CN111145141B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10607114B2 (en) | Trained generative network for lung segmentation in medical imaging | |
JP7134962B2 (ja) | 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法 | |
US11847781B2 (en) | Systems and methods for medical acquisition processing and machine learning for anatomical assessment | |
EP3639240B1 (en) | A system and computer-implemented method for segmenting an image | |
CN107545309B (zh) | 使用深度生成机器学习模型的图像质量评分 | |
Dangi et al. | A distance map regularized CNN for cardiac cine MR image segmentation | |
CN110619945B (zh) | 针对机器学习网络的输入的训练的量的表征 | |
CN104346821B (zh) | 用于医学成像的自动规划 | |
JP7005191B2 (ja) | 画像処理装置、医用画像診断装置、及びプログラム | |
US20200265276A1 (en) | Copd classification with machine-trained abnormality detection | |
CN113362272A (zh) | 具有不确定性估计的医学图像分割 | |
US11393099B2 (en) | Image segmentation and prediction of segmentation | |
US10973472B2 (en) | Artificial intelligence-based material decomposition in medical imaging | |
US11996197B2 (en) | Generating modified medical images and detecting abnormal structures | |
Parajuli et al. | Flow network tracking for spatiotemporal and periodic point matching: Applied to cardiac motion analysis | |
CN111145141B (zh) | 使用经训练的网络检测梗塞 | |
JP2020062355A (ja) | 画像処理装置、データ生成装置及びプログラム | |
Cau et al. | Applications of artificial intelligence-based models in vulnerable carotid plaque | |
Lekadir et al. | Statistically-driven 3D fiber reconstruction and denoising from multi-slice cardiac DTI using a Markov random field model | |
US20220005190A1 (en) | Method and system for generating a medical image with localized artifacts using machine learning | |
Wang et al. | A Two-Stage Generative Model with CycleGAN and Joint Diffusion for MRI-based Brain Tumor Detection | |
Xia et al. | Learning to complete incomplete hearts for population analysis of cardiac MR images | |
KR102593628B1 (ko) | 고품질 의료 영상 생성 방법 및 시스템 | |
KR102710082B1 (ko) | 흉부 의료 영상 객체 검출 시스템 및 그 방법 | |
O'Brien et al. | Machine Learning Based Cardiac Scar Detection in Computed Tomography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240830 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen Patentee before: Siemens Healthineers AG Country or region before: Germany |