CN107545269B - 使用递归神经网络进行血管疾病检测的方法和系统 - Google Patents
使用递归神经网络进行血管疾病检测的方法和系统 Download PDFInfo
- Publication number
- CN107545269B CN107545269B CN201710485670.0A CN201710485670A CN107545269B CN 107545269 B CN107545269 B CN 107545269B CN 201710485670 A CN201710485670 A CN 201710485670A CN 107545269 B CN107545269 B CN 107545269B
- Authority
- CN
- China
- Prior art keywords
- cross
- lstm
- sectional image
- resolution
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 32
- 208000019553 vascular disease Diseases 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 103
- 238000010968 computed tomography angiography Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 64
- 238000013527 convolutional neural network Methods 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 26
- 210000004204 blood vessel Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 abstract description 8
- 230000006496 vascular abnormality Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 10
- 210000004351 coronary vessel Anatomy 0.000 description 6
- 208000031481 Pathologic Constriction Diseases 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 206010047050 Vascular anomaly Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 210000001627 cerebral artery Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002254 renal artery Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
公开了一种使用递归神经网络(RNN)进行血管疾病检测和表征的方法和装置。从3D计算机断层扫描血管造影(CTA)图像中提取多个2D横截面图像分块,每一个沿着3D CTA图像中所关注血管的血管中心线的相应采样点提取。使用经训练的RNN,基于多个2D横截面图像分块,通过对沿着血管中心线的采样点中每一个进行分类对所关注血管中的血管异常进行检测和表征。
Description
本申请要求于2016年6月23日提交的美国临时申请No.62/353,888的权益,其公开内容通过引用并入本文。
背景技术
本发明涉及医学图像中的血管疾病检测和表征,并且更具体地涉及使用递归神经网络在医学图像中进行血管疾病检测和表征。
最近几代计算机断层扫描(CT)扫描仪实现了高质量CT血管造影(CTA)图像的获得,其可用作用于排除诸如冠状动脉狭窄和斑块之类的血管疾病的侵入性血管造影术的替代方案。这导致了在CTA图像中用于血管疾病自动检测的各种算法的发展。然而,由于血管分支的不同长度,这类算法通常仅依赖于沿着血管分支提取的局部图像特征,并且因此只能够产生独立地表征沿血管分支的中心线点的局部预测,而没有考虑到沿着血管分支的预测与图像特征之间的总体依赖性。
发明内容
本发明提供了一种用于使用递归神经网络在医学图像中进行自动血管疾病检测和表征的方法和系统。本发明的实施例使用递归神经网络(RNN)利用沿着血管分支嵌入的顺序图像上下文信息来检测和表征患者的计算机断层扫描血管造影(CTA)图像中的血管异常。
在本发明的一个实施例中,从3D计算机断层扫描血管造影(CTA)图像中提取多个2D横截面图像分块,其中,在沿着3D CTA图像中所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个。使用经训练的递归神经网络(RNN),基于多个2D横截面图像分块,通过对沿着血管中心线的多个采样点中的每一个进行分类来检测所关注血管中的血管异常。
通过参考以下详细描述和附图,本发明的这些和其它优点对于本领域普通技术人员将是显而易见的。
附图说明
图1图示了沿着冠状动脉的血管疾病的示例;
图2图示了根据本发明实施例的使用递归神经网络进行血管疾病检测的方法;
图3A图示了根据本发明实施例的用于血管异常检测的使用双向长短期记忆(LSTM)和卷积神经网络(CNN)的递归神经网络(RNN)架构;
图3B图示了详细描述了双向LSTM层的操作的图3A的RNN架构。
图4图示了RNN和该RNN的展开表示;
图5图示了LSTM网络;
图6图示了根据本发明实施例的用于使用多尺度时空LSTM对医学图像序列进行分类的方法;
图7图示了根据本发明实施例的级联多尺度时空LSTM;
图8图示了根据本发明实施例的门控多尺度时空LSTM;
图9图示了根据本发明实施例的集成的级联和门控多尺度时空LSTM;和
图10是能够实施本发明的计算机的高级框图。
具体实施方式
本发明涉及使用递归神经网络在医学图像中进行血管疾病自动检测和表征的方法和系统。本文描述了本发明的实施例以给出对使用递归神经网络对医学图像进行分类的方法和血管疾病检测方法的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。在本文中通常在识别和操纵对象的方面来描述对象的数字表示。这类操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此,应当理解,可以使用存储在计算机系统内的数据在计算机系统内执行本发明实施例。
本发明实施例在递归神经网络(RNN)架构内使用沿着血管分支中心线的顺序图像上下文来检测和表征血管异常,诸如狭窄、斑块等。图1图示了沿着冠状动脉的血管疾病的示例。如图1中所示,冠状动脉100包含血管异常102、104和106,这些血管异常中的每一个都是非钙化斑块。将非钙化斑块102、104和106分别分类为中度、临界和轻度。本发明的实施例检测这类斑块和狭窄的位置,并且表征它们的类型和/或严重性。
图2图示了根据本发明实施例的使用递归神经网络进行血管疾病检测的方法。在步骤202处,接收患者的3D计算机断层扫描血管造影(CTA)图像。该CTA图像包括患者的至少一个所关注血管(例如,冠状动脉、肾动脉、大脑动脉等)。可以直接从CT扫描器接收CTA图像,或者可以通过加载先前存储的CTA图像来接收CTA图像。
在步骤204处,在CTA图像中检测到血管中心线。在有利的实现中,例如通过使用中心线跟踪方法或基于机器学习的中心线检测方法,在CTA图像中自动检测到血管中心线。可以使用组合的模型驱动和数据驱动方法在CTA图像中检测血管中心线,如题为“Method andSystem for Coronary Artery Center Line Extraction”的美国专利申请No.9,129,417中所述,其通过引用整体并入本文。替换地,可以使用题为“Robust Vessel TreeModeling”的美国专利申请No.7,953,266中描述的方法在CTA图像中检测血管中心线,其全部内容通过引用并入本文。也可以使用用于提取血管中心线的其它自动或半自动技术。在另一个可能的实现中,可以由用户使用诸如鼠标的用户输入设备来对血管中心线进行手动注释。
在步骤206处,在沿着血管中心线的多个采样点处从3D CTA图像中提取2D横截面图像。对血管中心线进行采样,以沿着血管中心线建立多个采样点。可以使用均匀的采样分布来定义均匀间隔的采样点,但是本发明不限于此,并且可以取决于所关注血管使用其他可能的采样分布。在血管中心线上的每个采样点处从3D CTA图像提取相应的2D横截面图像。每个2D横截面图像可以是以相应采样点为中心并且与在该采样点处与血管中心线的切线方向对齐的预定尺寸的图像。
在步骤208处,使用经训练的递归神经网络(RNN),基于提取的2D横截面图像,对沿着血管中心线的每个采样点进行分类。根据有利的实施例,RNN对每个采样点的分类不仅取决于在该采样点提取的横截面图像,而且还取决于在其它采样点处提取的横截面图像。RNN通常用于来自具有多个时间点的顺序信息的预测任务。根据本发明的有利实施例,将从CTA图像中的各个空间位置(即,各自的中心线采样点)提取的横截面图像输入RNN,RNN处理图像的空间序列,如同它们是图像的动态时间序列。可以使用诸如长短期记忆(LSTM)或门控递归单元(GRU)之类的各种类型的RNN架构对血管中心线的采样点进行分类。在本文描述的示例实现中使用了LSTM,但是本发明不限于此,而是可以使用任何类型的RNN架构。
图3A图示了根据本发明实施例的针对血管异常检测的使用双向LSTM和卷积神经网络(CNN)的RNN架构。如图3A中所示,分别沿着血管中心线300在采样点302、304、306和308处提取2D横截面图像312、314、316和318。可以将2D横截面图像312、314、316和318中的每一个认为是对应于RNN输入的时间点。在图3A的实施例中,通过卷积神经网络(CNN)320将2D横截面图像312、314、316和318连接到RNN层330。在替代实现中,可以使用完全连接的层来代替CNN 320。CNN 320获取固定尺寸的图像。因此,输入CNN 320的2D横截面图像312、314、316和318可以是从较大2D横截面图像提取的预定尺寸的图像分块。CNN 320将每个输入图像312、314、316和318编码成作为输入图像的高级语义表示的特征向量,并且将由CNN 320针对每个2D横截面图像312、314、316和318提取的特征向量输入RNN层330。应当理解的是,将相同的经训练的CNN 320(即,具有相同的学习权重)应用于2D横截面图像312、314、316和318中的每一个。
RNN层330输入由CNN 320针对2D横截面图像312、314、316和318中的每一个提取的特征向量,并且输出针对血管中心线300的每个对应的采样点302、304、306和308的分类结果。如图3A 中所示,分类结果可以是正常或异常的二进制分类。分类结果也可以是多类标签,例如针对斑块类型分类(例如钙化、非钙化、混合),或者例如针对狭窄分级回归的连续值。如图3A中所示,将RNN层实现为双向LSTM 330。在典型的RNN中,时间点的输出仅依赖于先前的时间点。然而,这种典型的RNN构架不适合于在血管中检测和分级狭窄,因为狭窄位置和分级是基于该位置的上游和下游的血管腔面积/直径来临床确定的。根据本发明的有利实施例,构造双向RNN,其中,将原始(正向)和相反的(反向)输入均馈送到RNN。图3B图示了图3A的RNN架构,其中具体描述双向LSTM层330的操作。如图3B中所示,双向LSTM层330包括正向LSTM层430a和反向LSTM层430b。正向LSTM层430a和反向LSTM层430b是具有不同学习权重的第一和第二训练LSTM。将由CNN 320针对每个2D横截面图像312、314、316和318提取的特征输入正向LSTM层430a和反向LSTM层430b。正向LSTM层通过基于对应的2D横截面图像(例如,图像312)对序列中的第一采样点(例如,采样点302)进行分类而开始,并且然后基于来自对应于先前分类的采样点的横截面图像的图像信息和对应的2D横截面图像,沿着血管中心线对正向(例如,从口到远端)中每个后续的采样点顺序地进行分类。基于对应的2D横截面图像(例如,图像318),反向LSTM层通过对序列中的最终采样点(例如,采样点308)进行分类来开始,并且然后基于来自对应于先前分类的采样点的横截面图像的图像信息和相应的2D横截面图像,沿着中心线顺序地对反向(例如,从远端到口)中每个之前的采样点进行分类。也就是说,正向LSTM层在血管中心线300的一端开始并向前工作,而反向LSTM层在血管中心线300的另一端开始并向后工作。正向LSTM和反向LSTM。将针对每个采样点的正向LSTM输出和反向LSTM输出组合(例如,通过对正向和反向输出进行级联、求和或平均(加权或未加权)),以便确定最终的分类结果332、334、336和338。例如,如果正向和反向LSTM直接输出分类标签,则可以对两个LSTM的结果进行求和或平均。在另一个可能的实现中,可以在LSTM输出和最终分类标签之间添加1-2个神经网络层。在这种情况下,两个LSTM的输出可以级联成作为到附加神经网络层的输入的较长的特征向量。
有关对RNN/LSTM架构进行训练的附加细节将在下面更详细地描述。此外,在本发明的有利实施例中,可以将图3A和图3B 中所示的RNN/LSTM架构修改为包含多尺度图像信息,如下面结合图6的方法所述。
返回到图2,在步骤210处,输出针对沿着血管中心线的每个采样点的分类结果。例如,可以将每个采样点分类为正常或异常。RNN架构可以为每个采样点输出针对斑块类型分类的多类标签。例如,可以将每个采样点分类为正常、钙化斑块、非钙化斑块或混合斑块之一。RNN架构可以输出针对每个采样点的数值。该数值可用于确定针对每个采样点的异常或正常分类以及严重性(例如,轻度、中度、临界)。分类结果可以以各种方式可视化。例如,可以将沿着分类为异常的血管中心线的位置提供给用户,或者可以将其在显示设备上显示的CTA图像中突出显示,连同提供或突出显示的还有斑块类型的表征和/或异常的严重性的表征。在另一个可能的实现中,可以将针对采样点确定的数值转换为颜色图,可以显示该颜色图以提供沿整个血管的血管疾病的可视化。
大多数医学成像模式的时间分辨率已经进展到可以在常规临床实践(例如,跳动的心脏的超声序列)中捕获实时视频序列的阶段。根据本发明的实施例,将来自静态CTA图像的输入制定为动态序列。特别而言,在每个血管中心线点处,并且垂直于中心线轨迹对图像分块进行采样。通过沿着中心线从口向远端移动,生成横截面图像的动态序列。该序列的长度可以根据情况而变化。大多数机器学习算法只接受具有固定长度的输入向量。此外,将针对大多数机器学习算法的输入图像尺寸设置为在训练后固定的超参数。然而,正在被检测的对象可能在患者之间或甚至在同一序列内具有显著不同的尺寸。本发明人已经认识到,所希望的是一种可以处理对象尺寸以及输入序列长度中的变化的方法。
通常使用基于窗口(具有固定长度)的方法来处理具有可变长度的输入。例如,可以仅考虑当前帧,以及在该当前帧之前和之后的n个帧,从而产生2n + 1的观察窗口。有固定长度的输入,可以应用许多现有的机器学习算法(例如,AdaBoost或支持向量机)。然而,正在被检测的事件(例如,冠状动脉狭窄)的长度可能显著地变化,并且固定窗口对于某些数据集来说可能太小,但对于其他数据集来说太大。如图3A和图3B中所图示,本发明的实施例使用LSTM来处理针对血管疾病(例如,冠状动脉斑块)检测的具有可变长度的输入。作为一种RNN,LSTM考虑所有输入,直到当前帧做出预测为止。此外,如图3A和图3B中所示,本发明的实施例使用双向LSTM,其使用两个LSTM层,一个处理序列的向前观察,并且一个处理该序列的向后观察。因此,通过使用双向LSTM,观察整个输入以预测当前位置(采样点)是否包含冠状动脉斑块。
如上所述,CNN用于将每个输入图像编码为特征向量,该特征向量作为输入图像的高级语义表示。CNN获取具有固定尺寸的图像。然而,正在被检测/分类的对象可能在患者之间,或者甚至在具有相同的序列内具有显著不同的尺寸。针对每个序列或每帧来执行分类的最佳视野(FoV)可能不同。
递归神经网络(RNN)是可以处理具有可变长度的输入的架构。图4图示了RNN 400以及RNN 400的展开表示410。不同于常规网络,RNN在其存储器单元中包含反馈回路,如图4的RNN 400中所示。如图4中的RNN 400的展开表示410所示,给定输入序列[X0,X1,… Xt],RNN可以“展开”t次以生成与输入长度相匹配的无回路架构。展开的网络有t + 1层,并且每一层是相同的(即,每一层共享相同的学习权重)。展开后,类似于传统的前馈神经网络,可以基于具有反向传播的地面真实训练样本来训练RNN。训练中的唯一区别在于,网络的每个副本的权重需要进行平均,以确保更新后所有副本都相同。针对训练的一个挑战是,在梯度反向传播阶段期间,梯度信号最终会被乘以大量次数(与时间步长的数量一样多)。这(当梯度信号的幅度小于1的时候)导致梯度消失或(当梯度的幅度大于1时)梯度爆炸。在梯度消失的情况下,网络将无法有效更新;而在梯度爆炸下,训练过程发散。因此,常规RNN具有用长序列进行训练的问题,并且因此在学习长期记忆方面存在限制。
长短期记忆(LSTM)通过引入控制输入、输出和存储器状态的三个门来解决传统RNN的长期记忆问题。图5图示了LSTM网络。如图5中所示,LSTM网络500包括分别控制输入、输出和存储器状态的输入门502、输出门504和忘记门506。假设在时间步长t-1,存储器状态为Ct-1,输出状态为ht-1,并且时间t处的输入状态为Xt。门的打开或关闭由当前输入信号Xt和最后时间点ht-1的输出信号的sigmoid函数来控制如下:
其中,it,ft和ot分别是输入门、忘记门和输出门的门功能,W、U是权重,b是偏差,这些参数是从训练集学习到的。给定当前观察(例如,图2方法中的当前2D横截面图像),则将存储器状态Ct更新为:
而新的输出ht是:
通过门的协调操作,LSTM可以通过忽略噪声输入(设置it = 0)来保持长时间段的存储器状态(设置ft = 1)以实现长期存储。或者,它可以快速地丢弃存储器状态(例如,设置ft = 0并设置it = 1)来学习短期存储器。应当理解,在图2、图3A和图3B的实施例中,即使采样点是空间序列而不是时间序列,也将每个采样点认为是“时间步长”(并且将每个2D横截面图像分块认为是对应的输入)。
LSTM通常用于涉及1D数据序列的应用。为了将图像用作输入,提取图像的紧凑的高级表示,例如使用CNN(如图3A和图3B中所示)。CNN将具有固定尺寸的图像作为输入(否则执行填充或裁剪以使尺寸正常化)。然而,所关注的对象在不同序列中可能具有相当不同的尺寸。对象的尺寸甚至在相同的序列内都可能变化。固定的视野(FoV)可能不是处理这样的大变化的最佳方式。根据本发明的有利实施例,可以将多尺度图像信息并入LSTM框架中。图6图示了根据本发明实施例的使用多尺度时空LSTM对医学图像序列进行分类的方法。尽管使用LSTM架构来描述图6的方法,然而该方法不限于LSTM,而是一般可以应用于RNN。在有利的实施例中,图6的方法可以与图3A和图3B的架构一起用于图2的步骤208中,以执行血管疾病的检测和表征。然而,本发明不限于此,并且图6的方法也可以应用于2D或3D医学图像以还执行其他医学图像分类任务。
在步骤602处,接收医学图像序列。当将该医学图像序列用于执行血管疾病检测和表征时,该医学图像序列是在血管中心线的采样点处提取的2D横截面图像(或图像分块)。该序列可以是从静态图像(如在血管疾病检测实施例中)在各个空间位置提取的图像序列,或者是2D或3D医学图像的时间序列。可以直接从医学图像采集设备接收医学图像,或者可以通过加载先前存储的医学图像序列来接收医学图像。
在步骤604处,针对医学图像序列中的每个图像生成具有多个降低分辨率图像的图像金字塔。图像金字塔是输入图像数据的尺度空间表示。在血管疾病检测实施例中,针对每个2D横截面图像生成具有多个降低分辨率图像的图像金字塔。例如,三级图像金字塔可以具有从粗到细的8mm、4mm和2mm的缩小分辨率图像。具有像素(或体素)固定尺寸的图像分块在不同分辨率实际上具有不同的视野(FoV)。例如,具有15 × 15像素的分块在8 mm分辨率时具有120 × 120 mm2的FoV,而在2 mm分辨率时具有30 × 30 mm2的FoV。
在步骤606处,使用训练的LSTM架构,基于针对医学图像序列中的每个图像生成的多个降低分辨率图像对医学图像序列进行分类。LSTM架构输出针对每个“时间步长”(例如,血管疾病检测实施例中的每个采样点)的分类结果。在血管疾病检测实施例中,LSTM架构使用双向LSTM。
针对每个“时间步长”(或空间位置)的图像金字塔可以在LSTM框架中以各种不同的方式使用。图7、图8和图9图示了将多分辨率图像信息并入LSTM框架中的替代实施例。图7图示了根据本发明实施例的级联多尺度时空LSTM。如图7中所图示,在一个实施例中,级联操作708用于将从图像分块702、704和706提取的CNN特征与不同的图像分辨率(例如,分别为8mm、4mm和2mm)级联成一个长特征向量。然后,将所级联的特征向量经由LSTM的输入门710输入LSTM。该实施例的优点在于对LSTM架构没有改变,而是使用从多分辨率输入图像提取的级联特征对其进行训练。该实施例的缺点在于,不太歧视性的特征可能会湮没最歧视性的特征,这可能限制所获得的识别精度的总体改善。
图8图示了根据本发明实施例的门控多尺度时空LSTM。如图8中所图示,在另一个实施例中,可以将LSTM的“门控”扩展到图像金字塔图像。代替针对输入使用单个门,针对每个金字塔级可以使用单独的门(并且学习了单独的门控功能)。如图8中所示,门812、814和816分别用不同的图像分辨率(例如,分别为8mm、4mm和2mm)控制针对图像分块802、814和816的CNN特征的输入。在门控之后,使用求和操作820将来自不同分辨率的输入信号加起来,这不改变输入维度(不同于图7的级联操作)。该实施例允许对LSTM进行训练以通过忽略来自其他分辨率的信息来选择正确的“比例”。
图9图示了根据本发明实施例的集成的级联和门控多尺度时空LSTM。对于级联(图7)和门控(图8)时空LSTM,将多尺度图像信息的集成限制到输入,并且使用单个LSTM来执行学习。然而,对于一些应用来说,更协同地利用来自多个尺度的信息来改善识别精度可能是有益的。在图9的实施例中,将多尺度图像信息更紧密地集成。如图9中所示,针对每个金字塔级图像902、904和906训练相应的LSTM(LSTM 1 912、LSTM 2 914和LSTM 3 916),并且将较低级LSTM的输出馈送到下一级LSTM。较高级别的LSTM获取两个输入:一个来自在其对应的金字塔级处的图像,并且另一个来自较低级别的LSTM。这两个输入信号可以通过级联或门控进行集成。替换地,可以用较低级的LSTM输出来控制较高级LSTM的门。在这种情况下,较高级的LSTM从其自身的金字塔级图像获取一个输入,但是门由三个信号控制:当前输入、其自己的以前的输出和较低级LSTM的当前输出。
回到图6,在步骤608处,输出分类结果。具体地,可以例如通过在计算机系统的显示设备上显示分类结果来输出针对每个“时间步长”(或每个空间位置)(例如,血管中心线上的每个采样点)的分类结果。
通过使用图6的方法将多尺度图像信息集成到图2的血管疾病检测和表征方法中,在存在不同血管(例如,冠状动脉)尺寸的情况下可以改善血管疾病的检测精度。图6的方法也此外可用于其他医学成像分类/检测应用。
在上述实施例中,使用图2和图6的方法从患者的CTA图像检测和表征血管疾病(异常)。也可以将这些方法类似地应用于其它血管分类应用。例如,可以类似地应用上述方法来执行血管腔和外壁横截面直径或面积估计。大多数定量血管分析方法使用血管的3D模型来计算直径/面积。直接从图像数据估计血管直径可以移除计算血管的3D模型的需要,这是非常耗时的任务。也可以将上述方法类似地应用于检测图像伪像,诸如运动伪像,由于钙化和/或金属植入物引起的晕状伪像和部分容积效应。一旦获取医学图像中的血管图像伪像,对医学图像中的血管图像伪像的自动检测就能够在患者仍在手术台上时通过标记这些图像以用于重新获取来极大地有益于临床工作流程。伪像检测也可用于向图像重建算法提供反馈以确定最佳的重建参数集合。也可以将上述方法类似地应用于血管中心线泄漏的检测。已经提出了以非常高的灵敏度提取医学图像中的血管中心线但是以假分支泄漏到附近的结构或其他血管中为代价的方法。需要区分真正的中心线和泄漏。上述方法可用于训练中心线泄漏检测器。上述方法也可以类似地应用于血管设备的检测,诸如脉管系统中的支架、移植物、线圈和夹子。
针对使用递归神经网络的血管疾病检测和使用多尺度时空LSTM对医学图像序列进行分类的上述方法可以在计算机上使用熟知的计算机处理器、存储器单元、存储设备、计算机软件及其他组件来实现。图10中图示了这种计算机的高级框图。计算机1002包含处理器1004,其通过执行定义这种操作的计算机程序指令来控制计算机1002的整体操作。当希望执行计算机程序指令时,可以将计算机程序指令存储在储存设备1012(例如,磁盘)中并将其加载到存储器1010中。因此,图2和图6的方法步骤可以由存储在存储器1010和/或储存器1012中的计算机程序指令来定义,并由执行计算机程序指令的处理器1004来控制。诸如CT扫描仪之类的图像采集设备1020可以连接到计算机1002以将图像数据输入计算机1002。可以将图像采集设备1020和计算机1002实现为一个设备。图像采集设备1020和计算机1002也可以通过网络进行无线通信。在可能的实施例中,计算机1002可以相对于图像采集设备1020进行远程定位,并且本文描述的方法步骤可以作为服务器或基于云的服务的一部分来执行。在这种情况下,方法步骤可以在单个计算机上执行或分布在多个联网的计算机之间。计算机1002还包括用于经由网络与其他设备通信的一个或多个网络接口1006。计算机1002还包括使得用户能够与计算机1002(例如,显示器、键盘、鼠标、扬声器、按钮等)进行交互的其它输入/输出设备1008。这样的输入/输出设备1008可以与计算机程序集合结合使用,作为注释工具来注释从图像采集设备1020接收的卷。本领域技术人员将认识到,实际计算机的实现也可以包含其他组件,以及图10是用于说明目的的这种计算机的一些组件的高级表示。
前面的具体实施方式应理解为在各方面都是说明性和示例性的而非限制性的,并且本文公开的本发明的范围不是根据具体实施方式确定的,而是从根据专利法所允许的全部范围解读的权利要求来确定的。应当理解,这里所图示和描述的实施例仅仅是本发明的原理的说明,并且在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其它特征组合。
Claims (24)
1.一种使用递归神经网络进行血管疾病检测的方法,包括:
从3D计算机断层扫描血管造影CTA图像提取多个2D横截面图像分块,其中,在沿着3DCTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个;以及
使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支;
其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
使用经训练的卷积神经网络CNN将所述2D横截面图像分块中的每一个编码成相应的特征向量;以及
使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类。
2.根据权利要求1所述的方法,还包括:
检测所述3D CTA图像中的所关注血管的血管中心线。
3.根据权利要求1所述的方法,其中,所述双向RNN是双向长短期记忆LSTM网络,并且使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类包括:
将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络;
使用所述正向LSTM网络,以从第1采样点到第n采样点的正向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述正向LSTM网络对每个采样点进行分类;
使用所述反向LSTM网络,以从第n采样点到第1采样点的反向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述反向LSTM网络对每个采样点进行分类;以及
针对所述多个采样点中的每一个,对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合。
4.根据权利要求1所述的方法,其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
针对所述2D横截面图像分块中的每一个生成多尺度图像信息;以及
使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类。
5.根据权利要求4所述的方法,其中,针对所述2D横截面图像分块中的每一个生成多尺度图像信息包括:
针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔。
6.根据权利要求5所述的方法,其中,所述经训练的RNN是双向长短期记忆LSTM网络,并且使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量;
基于双向LSTM的经学习的输入门控功能,输入当前采样点的级联特征向量;和
基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类。
7.根据权利要求5所述的方法,其中,所述经训练的RNN是双向长短期记忆LSTM网络,并且使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
基于所述双向LSTM针对每个分辨率的相应经学习的门控功能,输入针对每个分辨率编码的特征向量;
对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和;以及
基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类。
8.根据权利要求5所述的方法,其中,使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆LSTM网络;以及
从最低分辨率级LSTM开始,由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类,其中,除了最高分辨率级LSTM之外,每个LSTM的输出被输入到在下一分辨率级的后续LSTM,并且最高分辨率级LSTM输出针对当前采样点的分类结果。
9.根据权利要求1所述的方法,其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,检测所述所关注血管中的血管中心线的假分支并且通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类对所述所关注血管中的血管中心线的假分支的类型进行分类。
10.根据权利要求1所述的方法,其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,检测所述所关注血管中的血管中心线的假分支并且通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类对所述所关注血管中的血管中心线的假分支的严重性进行分类。
11.一种使用递归神经网络进行血管疾病检测的设备,包括:
用于从3D计算机断层扫描血管造影CTA图像提取多个2D横截面图像分块的装置,其中,在沿着3D CTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个;以及
用于使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支的装置;
其中,所述用于通过使用经训练的递归神经网络RNN基于所述多个2D横截面图像分块沿着所述血管中心线对所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支的装置RNN包括:
用于使用经训练的卷积神经网络CNN将所述2D横截面图像分块中的每一个编码成相应的特征向量的装置;和
用于使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类的装置。
12.根据权利要求11所述的设备,其中,所述双向RNN是双向长短期记忆LSTM网络,并且用于使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类的装置包括:
用于将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络的装置;
用于使用所述正向LSTM网络,以从第1采样点到第n采样点的正向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类的装置,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述正向LSTM网络对每个采样点进行分类;
用于使用所述反向LSTM网络,以从第n采样点到第1采样点的反向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类的装置,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述反向LSTM网络对每个采样点进行分类;以及
用于针对所述多个采样点中的每一个,对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合的装置。
13.根据权利要求11所述的设备,其中,用于使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支的装置包括:
用于针对所述2D横截面图像分块中的每一个生成多尺度图像信息的装置;以及
用于使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类的装置。
14.根据权利要求13所述的设备,其中,用于针对所述2D横截面图像分块中的每一个生成多尺度图像信息的装置包括:
用于针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔的装置。
15.根据权利要求14所述的设备,其中,所述经训练的RNN是双向长短期记忆LSTM网络,并且用于使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置;
用于将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量的装置;
用于基于双向LSTM的经学习的输入门控功能,输入当前采样点的级联特征向量的装置;和
用于基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类的装置。
16.根据权利要求14所述的设备,其中,所述经训练的RNN是双向长短期记忆LSTM网络,并且用于使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置;
用于基于所述双向LSTM针对每个分辨率的相应经学习的门控功能,输入针对每个分辨率编码的特征向量的装置;
用于对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和的装置;以及
用于基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类的装置。
17.根据权利要求14所述的设备,其中,用于使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置;
用于将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆LSTM网络的装置;以及
用于从最低分辨率级LSTM开始,由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类的装置,其中,除了最高分辨率级LSTM之外,每个LSTM的输出被输入到在下一分辨率级的后续LSTM,最高分辨率级LSTM输出针对当前采样点的分类结果。
18.一种使用递归神经网络存储用于血管疾病检测的计算机程序指令的非暂时计算机可读介质,当由处理器执行时所述计算机程序指令使所述处理器执行操作,所述操作包括:
从3D计算机断层扫描血管造影CTA图像提取多个2D横截面图像分块,其中,在沿着3DCTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个;以及
使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支;
其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
使用经训练的卷积神经网络CNN将所述2D横截面图像分块中的每一个编码成相应的特征向量;以及
使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类。
19.根据权利要求18所述的非暂时计算机可读介质,其中, 所述双向RNN是双向长短期记忆LSTM网络,并且使用经训练的双向RNN,基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类包括:
将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络;
使用所述正向LSTM网络,以从第1采样点到第n采样点的正向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述正向LSTM网络对每个采样点进行分类;
使用所述反向LSTM网络,以从第n采样点到第1采样点的反向,对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类,其中,基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量,所述反向LSTM网络对每个采样点进行分类;以及
针对所述多个采样点中的每一个,对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合。
20.根据权利要求18所述的非暂时计算机可读介质,其中,使用经训练的递归神经网络RNN,基于所述多个2D横截面图像分块,通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管中心线的假分支包括:
针对所述2D横截面图像分块中的每一个生成多尺度图像信息;以及
使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类。
21.根据权利要求20所述的非暂时计算机可读介质,其中针对所述2D横截面图像分块中的每一个生成多尺度图像信息包括:
针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔。
22.根据权利要求21所述的非暂时计算机可读介质,其中,所述经训练的RNN是双向长短期记忆LSTM网络,并且使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量;
基于双向LSTM的经学习的输入门控功能,输入当前采样点的级联特征向量;和
基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类。
23.根据权利要求21所述的非暂时计算机可读介质,其中, 所述经训练的RNN是双向长短期记忆LSTM网络,并且使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
基于所述双向LSTM针对每个分辨率的相应经学习的门控功能,输入针对每个分辨率编码的特征向量;
对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和;以及
基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态,对当前采样点进行分类。
24.根据权利要求21所述的非暂时计算机可读介质,其中,使用所述经训练的RNN,基于针对所述多个2D横截面图像分块生成的多尺度图像信息,对沿着血管中心线的所述多个采样点中的每一个进行分类包括,针对沿着所述血管中心线的所述多个采样点中的每一个:
使用针对每个分辨率的相应经训练的卷积神经网络CNN,将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量;
将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆LSTM网络;以及
从最低分辨率级LSTM开始,由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类,其中,除了最高分辨率级LSTM之外,每个LSTM的输出被输入到在下一分辨率级的后续LSTM,并且最高分辨率级LSTM输出针对当前采样点的分类结果。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662353888P | 2016-06-23 | 2016-06-23 | |
US62/353888 | 2016-06-23 | ||
US15/429,806 US9767557B1 (en) | 2016-06-23 | 2017-02-10 | Method and system for vascular disease detection using recurrent neural networks |
US15/429806 | 2017-02-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107545269A CN107545269A (zh) | 2018-01-05 |
CN107545269B true CN107545269B (zh) | 2021-06-08 |
Family
ID=59828800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710485670.0A Active CN107545269B (zh) | 2016-06-23 | 2017-06-23 | 使用递归神经网络进行血管疾病检测的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9767557B1 (zh) |
EP (1) | EP3261024B1 (zh) |
CN (1) | CN107545269B (zh) |
Families Citing this family (99)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917925B1 (en) * | 2014-03-28 | 2014-12-23 | Heartflow, Inc. | Systems and methods for data and model-driven image reconstruction and enhancement |
KR20180003123A (ko) * | 2016-06-30 | 2018-01-09 | 삼성전자주식회사 | 메모리 셀 유닛 및 메모리 셀 유닛들을 포함하는 순환 신경망 |
EP3510505A1 (en) * | 2016-09-07 | 2019-07-17 | Koninklijke Philips N.V. | Systems, methods, and apparatus for diagnostic inferencing with a multimodal deep memory network |
US10176388B1 (en) | 2016-11-14 | 2019-01-08 | Zoox, Inc. | Spatial and temporal information for semantic segmentation |
US10546234B2 (en) | 2017-04-03 | 2020-01-28 | Gyrfalcon Technology Inc. | Buffer memory architecture for a CNN based processing unit and creation methods thereof |
US10331999B2 (en) * | 2017-04-03 | 2019-06-25 | Gyrfalcon Technology Inc. | Memory subsystem in CNN based digital IC for artificial intelligence |
US10331368B2 (en) * | 2017-04-03 | 2019-06-25 | Gyrfalcon Technology Inc. | MLC based magnetic random access memory used in CNN based digital IC for AI |
US10552733B2 (en) * | 2017-04-03 | 2020-02-04 | Gyrfalcon Technology Inc. | Memory subsystem in CNN based digital IC for artificial intelligence |
US10296824B2 (en) | 2017-04-03 | 2019-05-21 | Gyrfalcon Technology Inc. | Fabrication methods of memory subsystem used in CNN based digital IC for AI |
US10534996B2 (en) | 2017-04-03 | 2020-01-14 | Gyrfalcon Technology Inc. | Memory subsystem in CNN based digital IC for artificial intelligence |
US10331367B2 (en) * | 2017-04-03 | 2019-06-25 | Gyrfalcon Technology Inc. | Embedded memory subsystems for a CNN based processing unit and methods of making |
US10475214B2 (en) * | 2017-04-05 | 2019-11-12 | General Electric Company | Tomographic reconstruction based on deep learning |
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
US11030394B1 (en) * | 2017-05-04 | 2021-06-08 | Amazon Technologies, Inc. | Neural models for keyphrase extraction |
CN107527069A (zh) * | 2017-08-22 | 2017-12-29 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
US11114206B2 (en) | 2017-10-06 | 2021-09-07 | Tellus You Care, Inc. | Vital signs with non-contact activity sensing network for elderly care |
JP2020535862A (ja) * | 2017-10-06 | 2020-12-10 | テルース ユー ケア インコーポレーションTellus You Care, Inc. | 高齢者介護のための非接触活動検出ネットワーク |
US10762637B2 (en) | 2017-10-27 | 2020-09-01 | Siemens Healthcare Gmbh | Vascular segmentation using fully convolutional and recurrent neural networks |
CN107730497B (zh) * | 2017-10-27 | 2021-09-10 | 哈尔滨工业大学 | 一种基于深度迁移学习的血管内斑块属性分析方法 |
DE102017010397A1 (de) * | 2017-11-09 | 2019-05-09 | FotoFinder Systems GmbH | Verfahren zur Auswertung des Hautbildes eines Menschen im Rahmen der Hautkrebs-Vorsorgeuntersuchung sowie Vorrichtung zu dessen Betrieb |
JP2019097591A (ja) * | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN107895369B (zh) * | 2017-11-28 | 2022-11-22 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、存储介质及设备 |
US10258304B1 (en) | 2017-11-29 | 2019-04-16 | Siemens Healthcare Gmbh | Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks |
WO2019134753A1 (en) * | 2018-01-08 | 2019-07-11 | Siemens Healthcare Gmbh | Biologically-inspired network generation |
CN108399409B (zh) * | 2018-01-19 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置及终端 |
CN108280827B (zh) * | 2018-01-24 | 2020-11-24 | 北京红云视界技术有限公司 | 基于深度学习的冠状动脉病变自动检测方法、系统和设备 |
US10657426B2 (en) * | 2018-01-25 | 2020-05-19 | Samsung Electronics Co., Ltd. | Accelerating long short-term memory networks via selective pruning |
EP3749215A4 (en) | 2018-02-07 | 2021-12-01 | Atherosys, Inc. | DEVICE AND METHOD FOR CONTROLLING THE ULTRASONIC RECORDING OF THE PERIPHERAL ARTERIES IN THE TRANSVERSAL PLANE |
US10896508B2 (en) * | 2018-02-07 | 2021-01-19 | International Business Machines Corporation | System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks |
CN108470359A (zh) * | 2018-02-11 | 2018-08-31 | 艾视医疗科技成都有限公司 | 一种糖尿病性视网膜眼底图像病变检测方法 |
CN110310287B (zh) * | 2018-03-22 | 2022-04-19 | 北京连心医疗科技有限公司 | 基于神经网络的危及器官自动勾画方法、设备和存储介质 |
CN108510506A (zh) * | 2018-04-14 | 2018-09-07 | 深圳市图智能科技有限公司 | 一种管状结构图像分割方法 |
WO2019203851A1 (en) * | 2018-04-20 | 2019-10-24 | Hewlett-Packard Development Company, L.P. | Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote |
WO2019212992A1 (en) * | 2018-04-30 | 2019-11-07 | Atherosys, Inc. | Method and apparatus for the automatic detection of atheromas in peripheral arteries |
EP3564862A1 (en) * | 2018-05-03 | 2019-11-06 | Siemens Aktiengesellschaft | Determining influence of attributes in recurrent neural networks trained on therapy prediction |
US11836997B2 (en) * | 2018-05-08 | 2023-12-05 | Koninklijke Philips N.V. | Convolutional localization networks for intelligent captioning of medical images |
CN108629773B (zh) * | 2018-05-10 | 2021-06-18 | 北京红云智胜科技有限公司 | 建立训练识别心脏血管类型的卷积神经网络数据集的方法 |
CN108830155B (zh) * | 2018-05-10 | 2021-10-15 | 北京红云智胜科技有限公司 | 一种基于深度学习的心脏冠状动脉分割及识别的方法 |
WO2019222135A1 (en) | 2018-05-16 | 2019-11-21 | Benevis Informatics, Llc | Systems and methods for review of computer-aided detection of pathology in images |
US10937549B2 (en) | 2018-05-22 | 2021-03-02 | Shenzhen Keya Medical Technology Corporation | Method and device for automatically predicting FFR based on images of vessel |
CN110070534B (zh) * | 2018-05-22 | 2021-11-23 | 深圳科亚医疗科技有限公司 | 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 |
CN108776779B (zh) * | 2018-05-25 | 2022-09-23 | 西安电子科技大学 | 基于卷积循环网络的sar序列图像目标识别方法 |
CN108921024A (zh) * | 2018-05-31 | 2018-11-30 | 东南大学 | 基于人脸特征点信息与双网络联合训练的表情识别方法 |
US11727573B2 (en) * | 2018-06-07 | 2023-08-15 | Agfa Healthcare Nv | Sequential segmentation of anatomical structures in 3D scans |
CN108960303B (zh) * | 2018-06-20 | 2021-05-07 | 哈尔滨工业大学 | 一种基于lstm的无人机飞行数据异常检测方法 |
US10776923B2 (en) | 2018-06-21 | 2020-09-15 | International Business Machines Corporation | Segmenting irregular shapes in images using deep region growing |
JP2021527859A (ja) * | 2018-06-21 | 2021-10-14 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 深層領域拡張を使用した画像内の不規則形状のセグメント化 |
US10643092B2 (en) | 2018-06-21 | 2020-05-05 | International Business Machines Corporation | Segmenting irregular shapes in images using deep region growing with an image pyramid |
KR102154652B1 (ko) | 2018-07-04 | 2020-09-11 | 서울대학교산학협력단 | 순환신경망을 이용한 구간혈압 추정 방법 및 그 방법을 구현하기 위한 구간 혈압 추정 장치 |
CN109035226B (zh) * | 2018-07-12 | 2021-11-23 | 武汉精测电子集团股份有限公司 | 基于LSTM模型的Mura缺陷检测方法 |
EP3593722A1 (en) * | 2018-07-13 | 2020-01-15 | Neuroanalytics Pty. Ltd. | Method and system for identification of cerebrovascular abnormalities |
CN110794254B (zh) * | 2018-08-01 | 2022-04-15 | 北京映翰通网络技术股份有限公司 | 一种基于强化学习的配电网故障预测方法及系统 |
CN110599444B (zh) * | 2018-08-23 | 2022-04-19 | 深圳科亚医疗科技有限公司 | 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质 |
US11069078B2 (en) * | 2018-08-23 | 2021-07-20 | Shenzhen Keya Medical Technology Corporation | Method, device and system for generating a centerline for an object in an image |
DE102018214325A1 (de) * | 2018-08-24 | 2020-02-27 | Siemens Healthcare Gmbh | Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes |
CN109389045B (zh) * | 2018-09-10 | 2021-03-02 | 广州杰赛科技股份有限公司 | 基于混合时空卷积模型的微表情识别方法与装置 |
KR102170733B1 (ko) | 2018-09-21 | 2020-10-27 | 서울대학교산학협력단 | 주기적 생체신호의 잡음을 제거하는 방법 및 그 장치 |
EP3637428A1 (en) | 2018-10-12 | 2020-04-15 | Siemens Healthcare GmbH | Natural language sentence generation for radiology reports |
CN109359698B (zh) * | 2018-10-30 | 2020-07-21 | 清华大学 | 基于长短时记忆神经网络模型的漏损识别方法 |
US10964017B2 (en) * | 2018-11-15 | 2021-03-30 | General Electric Company | Deep learning for arterial analysis and assessment |
CN109567793B (zh) * | 2018-11-16 | 2021-11-23 | 西北工业大学 | 一种面向心律不齐分类的ecg信号处理方法 |
CN109753049B (zh) * | 2018-12-21 | 2021-12-17 | 国网江苏省电力有限公司南京供电分公司 | 一种源网荷互动工控系统的异常指令检测方法 |
US10813612B2 (en) | 2019-01-25 | 2020-10-27 | Cleerly, Inc. | Systems and method of characterizing high risk plaques |
EP3928285A4 (en) * | 2019-02-19 | 2022-12-07 | Cedars-Sinai Medical Center | CALCIUM-FREE CT ANGIOGRAPHY SYSTEMS AND METHODS |
US11308362B2 (en) * | 2019-03-26 | 2022-04-19 | Shenzhen Keya Medical Technology Corporation | Method and system for generating a centerline for an object, and computer readable medium |
KR102202029B1 (ko) | 2019-04-18 | 2021-01-13 | 서울대학교산학협력단 | 순환신경망을 이용한 구간혈압 추정 방법 및 그 방법을 구현하기 위한 구간 혈압 추정 장치 |
CN110222759B (zh) * | 2019-06-03 | 2021-03-30 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别系统 |
CN110276748B (zh) * | 2019-06-12 | 2022-12-02 | 上海移视网络科技有限公司 | 心肌缺血区域的血流速和血流储备分数的分析方法 |
CN110349143B (zh) * | 2019-07-08 | 2022-06-14 | 上海联影医疗科技股份有限公司 | 一种确定管状组织感兴趣区的方法、装置、设备及介质 |
CN114072838A (zh) * | 2019-07-17 | 2022-02-18 | 西门子医疗有限公司 | 根据2d医学图像进行3d血管中心线重建 |
CN110378412B (zh) * | 2019-07-17 | 2021-07-27 | 湖南视比特机器人有限公司 | 基于局部几何特征序列建模的二维轮廓形状识别分类方法 |
WO2021014181A1 (en) | 2019-07-22 | 2021-01-28 | Siemens Healthcare Gmbh | Assessment of coronary artery calcification in angiographic images |
WO2021012225A1 (en) * | 2019-07-24 | 2021-01-28 | Beijing Didi Infinity Technology And Development Co., Ltd. | Artificial intelligence system for medical diagnosis based on machine learning |
CN114365188A (zh) * | 2019-08-16 | 2022-04-15 | 未艾医疗技术(深圳)有限公司 | 基于vrds ai下腔静脉影像的分析方法及产品 |
CN110490863B (zh) * | 2019-08-22 | 2022-02-08 | 北京红云智胜科技有限公司 | 基于深度学习的检测冠脉造影有无完全闭塞病变的系统 |
US11200976B2 (en) | 2019-08-23 | 2021-12-14 | Canon Medical Systems Corporation | Tracking method and apparatus |
EP3796210A1 (en) | 2019-09-19 | 2021-03-24 | Siemens Healthcare GmbH | Spatial distribution of pathological image patterns in 3d image data |
CN110517279B (zh) * | 2019-09-20 | 2022-04-05 | 北京深睿博联科技有限责任公司 | 头颈血管中心线提取方法及装置 |
US11195273B2 (en) * | 2019-10-11 | 2021-12-07 | International Business Machines Corporation | Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory |
US11417424B2 (en) | 2019-10-11 | 2022-08-16 | International Business Machines Corporation | Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning |
CN110808096B (zh) * | 2019-10-30 | 2022-04-19 | 北京邮电大学 | 基于卷积神经网络的心脏病变自动检测系统 |
US11348291B2 (en) * | 2019-11-29 | 2022-05-31 | Shanghai United Imaging Intelligence Co., Ltd. | System and method for reconstructing magnetic resonance images |
CN111062963B (zh) * | 2019-12-16 | 2024-03-26 | 上海联影医疗科技股份有限公司 | 一种血管提取方法、系统、设备及存储介质 |
CN111161240B (zh) * | 2019-12-27 | 2024-03-05 | 上海联影智能医疗科技有限公司 | 血管分类方法、装置、计算机设备和可读存储介质 |
US20220392065A1 (en) | 2020-01-07 | 2022-12-08 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
JP2023509514A (ja) | 2020-01-07 | 2023-03-08 | クリールリー、 インコーポレーテッド | 医用画像分析、診断、重症度分類、意思決定、および/または疾患追跡のためのシステム、方法、およびデバイス |
US11969280B2 (en) | 2020-01-07 | 2024-04-30 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
US11816555B2 (en) * | 2020-02-12 | 2023-11-14 | Palantir Technologies Inc. | System and method for chaining discrete models |
CN111369528B (zh) * | 2020-03-03 | 2022-09-09 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
CN111681226B (zh) * | 2020-06-09 | 2024-07-12 | 上海联影医疗科技股份有限公司 | 基于血管识别的目标组织定位方法和装置 |
CN111598870B (zh) * | 2020-05-15 | 2023-09-15 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 |
CN111797196B (zh) * | 2020-06-01 | 2021-11-02 | 武汉大学 | 一种结合注意力机制lstm和神经主题模型的服务发现方法 |
CN111815599B (zh) * | 2020-07-01 | 2023-12-15 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
KR102387928B1 (ko) * | 2020-07-06 | 2022-04-19 | 메디컬아이피 주식회사 | 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치 |
CN111738735B (zh) * | 2020-07-23 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置和相关设备 |
US11678853B2 (en) * | 2021-03-09 | 2023-06-20 | Siemens Healthcare Gmbh | Multi-task learning framework for fully automated assessment of coronary artery disease |
EP4084011A1 (en) | 2021-04-30 | 2022-11-02 | Siemens Healthcare GmbH | Computer-implemented method and evaluation system for evaluating at least one image data set of an imaging region of a patient, computer program and electronically readable storage medium |
US20230289963A1 (en) | 2022-03-10 | 2023-09-14 | Cleerly, Inc. | Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination |
CN116863013B (zh) * | 2023-05-26 | 2024-04-12 | 新疆生产建设兵团医院 | 基于人工智能的扫描图像处理方法及其系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996329A (zh) * | 2010-11-17 | 2011-03-30 | 沈阳东软医疗系统有限公司 | 一种对血管形变区域的检测装置和方法 |
CN102258381A (zh) * | 2010-03-12 | 2011-11-30 | 西门子公司 | 用于自动检测和分类心脏ct容积中的冠状动脉狭窄的方法和系统 |
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
WO2016054779A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3037432B2 (ja) * | 1993-11-01 | 2000-04-24 | カドラックス・インク | 光波オーブンによる食物調理方法および調理装置 |
US6285992B1 (en) * | 1997-11-25 | 2001-09-04 | Stanley C. Kwasny | Neural network based methods and systems for analyzing complex data |
EP1996080A4 (en) | 2006-03-22 | 2010-12-08 | Volcano Corp | AUTOMATED LESION ANALYSIS BASED ON AUTOMATIC PLAQUE IDENTIFICATION ACCORDING TO A CLASSIFICATION CRITERION |
US7940974B2 (en) * | 2006-11-21 | 2011-05-10 | General Electric Company | Method and system for adjusting 3D CT vessel segmentation |
US7953266B2 (en) | 2007-02-06 | 2011-05-31 | Siemens Medical Solutions Usa, Inc. | Robust vessel tree modeling |
US20100004526A1 (en) | 2008-06-04 | 2010-01-07 | Eigen, Inc. | Abnormality finding in projection images |
US9761004B2 (en) * | 2008-09-22 | 2017-09-12 | Siemens Healthcare Gmbh | Method and system for automatic detection of coronary stenosis in cardiac computed tomography data |
JP2011135651A (ja) | 2009-12-22 | 2011-07-07 | Panasonic Electric Works Co Ltd | 電力供給システム |
JP5309109B2 (ja) * | 2010-10-18 | 2013-10-09 | 富士フイルム株式会社 | 医用画像処理装置および方法、並びにプログラム |
WO2012116198A2 (en) * | 2011-02-23 | 2012-08-30 | The Johns Hopkins University | System and method for detecting and tracking a curvilinear object in a three-dimensional space |
US9129417B2 (en) | 2012-02-21 | 2015-09-08 | Siemens Aktiengesellschaft | Method and system for coronary artery centerline extraction |
-
2017
- 2017-02-10 US US15/429,806 patent/US9767557B1/en active Active
- 2017-06-01 EP EP17174063.2A patent/EP3261024B1/en active Active
- 2017-06-23 CN CN201710485670.0A patent/CN107545269B/zh active Active
- 2017-08-18 US US15/680,584 patent/US9881372B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102258381A (zh) * | 2010-03-12 | 2011-11-30 | 西门子公司 | 用于自动检测和分类心脏ct容积中的冠状动脉狭窄的方法和系统 |
CN101996329A (zh) * | 2010-11-17 | 2011-03-30 | 沈阳东软医疗系统有限公司 | 一种对血管形变区域的检测装置和方法 |
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
WO2016054779A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
Non-Patent Citations (3)
Title |
---|
"Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification";ZUXUAN WU等;《MULTIMEDIA,ACM》;20151013;全文 * |
"Parrallel Multi-Dimensional LSTM,With Application to Fast Biomedical Volumetric Image Segmentation";Marijn F Stollenga等;《arXiv:1506.07452V1 [cs.CV]》;20150624;全文 * |
Segmentation of retinal blood vessels by combining the detection of centerlines and morphological recognition;Mendonca等;《IEEE transacctions on medical imaging》;20061031;第9卷(第25期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
EP3261024A3 (en) | 2018-03-14 |
US9881372B2 (en) | 2018-01-30 |
EP3261024A2 (en) | 2017-12-27 |
CN107545269A (zh) | 2018-01-05 |
US9767557B1 (en) | 2017-09-19 |
EP3261024B1 (en) | 2019-12-25 |
US20170372475A1 (en) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545269B (zh) | 使用递归神经网络进行血管疾病检测的方法和系统 | |
US10762637B2 (en) | Vascular segmentation using fully convolutional and recurrent neural networks | |
US10664968B2 (en) | Computer aided diagnosis apparatus and method based on size model of region of interest | |
TWI793337B (zh) | 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用 | |
Wu et al. | Automatic detection of coronary artery stenosis by convolutional neural network with temporal constraint | |
US10667776B2 (en) | Classifying views of an angiographic medical imaging system | |
US5872861A (en) | Digital image processing method for automatic detection of stenoses | |
Marbun et al. | Classification of stroke disease using convolutional neural network | |
Xian et al. | Main coronary vessel segmentation using deep learning in smart medical | |
US9060685B2 (en) | Whole tissue classifier for histology biopsy slides | |
CN113012086B (zh) | 一种跨模态图像的合成方法 | |
Zhou et al. | Automated deep learning analysis of angiography video sequences for coronary artery disease | |
CN111862038B (zh) | 一种斑块检测方法、装置、设备及介质 | |
EP4248381A1 (en) | Automated medical image quality control system | |
Zreik et al. | Automatic detection and characterization of coronary artery plaque and stenosis using a recurrent convolutional neural network in coronary CT angiography | |
US9524550B2 (en) | System and method for coronary digital subtraction angiography | |
WO2023237553A1 (en) | Method and system for assessing functionally significant vessel obstruction based on machine learning | |
Behnami et al. | Automatic detection of patients with a high risk of systolic cardiac failure in echocardiography | |
WO2022096867A1 (en) | Image processing of intravascular ultrasound images | |
Hampe et al. | Deep learning-based detection of functionally significant stenosis in coronary CT angiography | |
Lainé et al. | Carotid artery wall segmentation in ultrasound image sequences using a deep convolutional neural network | |
EP4343680A1 (en) | De-noising data | |
JP2009061175A (ja) | 医用画像処理装置及びプログラム | |
Manzanera et al. | Patient-specific 3d cellular automata nodule growth synthesis in lung cancer without the need of external data | |
Zou et al. | Intelligent assessment of percutaneous coronary intervention based on GAN and LSTM models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen, Germany Patentee before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |