CN111709925B - 用于血管斑块分析的装置、系统及介质 - Google Patents
用于血管斑块分析的装置、系统及介质 Download PDFInfo
- Publication number
- CN111709925B CN111709925B CN202010531281.9A CN202010531281A CN111709925B CN 111709925 B CN111709925 B CN 111709925B CN 202010531281 A CN202010531281 A CN 202010531281A CN 111709925 B CN111709925 B CN 111709925B
- Authority
- CN
- China
- Prior art keywords
- plaque
- centerline
- image block
- learning network
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 47
- 230000002792 vascular Effects 0.000 title claims abstract description 27
- 208000031481 Pathologic Constriction Diseases 0.000 claims abstract description 57
- 208000037804 stenosis Diseases 0.000 claims abstract description 57
- 230000036262 stenosis Effects 0.000 claims abstract description 57
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000011002 quantification Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 19
- 210000004351 coronary vessel Anatomy 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 12
- 238000010968 computed tomography angiography Methods 0.000 claims description 10
- 238000002059 diagnostic imaging Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 210000000702 aorta abdominal Anatomy 0.000 claims description 4
- 210000001715 carotid artery Anatomy 0.000 claims description 4
- 230000002490 cerebral effect Effects 0.000 claims description 4
- 210000001105 femoral artery Anatomy 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 6
- 238000012549 training Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002526 effect on cardiovascular system Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 208000019553 vascular disease Diseases 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/037—Emission tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本公开涉及一种用于血管斑块分析的装置、系统及介质。装置包括:获取单元,配置为获取血管的中心线点的序列及各个中心线点处的图像块的序列;斑块检测单元,配置为:基于图像块的序列,利用第一学习网络来检测斑块以及确定斑块的开始和结束位置,第一学习网络包括基于图像块的序列提取特征映射的编码器和基于特征映射生成各个斑块的开始和结束位置的斑块范围生成器;以及斑块类型分类和狭窄度量化单元,配置为:对于各个检出的斑块,利用第二学习网络复用第一学习网络的参数和所提取的特征映射的至少部分,确定该斑块的类型和狭窄度。从而,自动准确且迅速地检出并定位斑块并确定其类型和狭窄度,降低运算复杂度,改进操作便利性和用户友好度。
Description
相关申请的交叉引用
本申请基于并要求于2020年5月26日提交且申请号为63/030,248的美国临时申请的优先权,其通过引用整体上并入本文。
技术领域
本公开涉及用于医学图像分析的装置、系统和介质,并且更具体地,涉及用于血管图像分析的装置、系统和介质。
背景技术
血管类疾病已经成为人类健康的重要问题。相当比例的血管类疾病由血管壁上的斑块积聚引起,但这些斑块的检测、分析和诊断存在问题,下面以冠脉为例进行说明。
冠状动脉疾病(CAD)通常表示冠状动脉发生了狭窄或阻塞。它是最常见的心脏病,通常是由冠状动脉壁上的动脉粥样硬化斑块积聚引起的。冠状动脉被斑块狭窄或阻塞(即狭窄)的患者,其心肌的血液供应有限,可能患有心肌缺血。此外,如果斑块破裂,则患者可能患上急性冠状动脉综合症,甚或更严重的心脏病发作(心肌梗塞)。根据动脉粥样硬化斑块的组成,可将其进一步分为钙化斑块、非钙化斑块和混合斑块(即具有钙化和非钙化成分两者)。斑块的稳定性根据其组成而变化。钙化斑块相对稳定,而非钙化斑块或混合斑块则不稳定且更容易破裂。
然而,风险更高的非钙化斑块或混合斑块利用现有的医学成像手段反而更难以检测或者检测更加复杂。冠状动脉CT血管造影(CCTA)是用于分析CAD和冠状动脉斑块的常用非侵入性方法。以CCTA为例,非钙化斑块和混合斑块与周围组织的照射对比度比较低,导致检测更加复杂,甚至漏检或与周围组织混淆。
动脉粥样硬化斑块散布于结构复杂的冠脉各支(例如左冠状动脉的前降支、右冠状动脉主干、左冠状动脉主干和左旋支)的血管壁上,呈现出多发性的特点,对斑块的分析和诊断是一项艰巨而耗时的工作。即使对于有经验的放射科医师和心血管专家而言,也是如此。例如,对于冠脉的全面人工扫描也造成了大工作负荷和工作强度,放射科医师和心血管专家即便全面扫描冠脉也可能遗漏局部的斑块,尤其容易遗漏与周围组织CT密度接近但风险性高的非钙化斑块和混合斑块。进一步说来,即便检出了斑块,对于斑块类型的分类误差也会严重影响放射科医师和心血管专家的诊断结果,从而导致后续过度治疗或治疗不足;对于斑块类型的分类准确度严重依赖于放射科医师和心血管专家的经验,且个体差异较大。
虽然近日也提出了一些血管斑块分析算法试图帮助放射线医师进行日常诊断程序并减少他们的工作量,但这些算法中存在如下缺点:需要大量人工交互(例如体素级别的标注);或者需要预先进行繁杂且耗时的血管腔分割、血管的健康直径估计和血管壁形态分析等辅助分析;或者只能对血管的局部进行分析,在自动化水平、运算(涉及检测阶段和训练阶段)复杂度、操作便利性和用户友好度等方面均无法满足临床需求,依然存在改进空间。
发明内容
提供了本公开以解决现有技术中存在的上述问题。需要一种用于血管斑块分析的装置、系统和介质,其能够以端到端的方式,自动且灵活地为血管的任何分支、路径、分段或者整个血管树准确且迅速地检出并定位斑块并确定各个检出斑块的类型和狭窄度,有效降低了运算复杂度(涉及检测阶段和训练阶段),且显著改进了操作便利性和用户友好度。
根据本公开的第一方案,提供了一种用于血管斑块分析的装置。所述装置可以包括获取单元、斑块检测单元和斑块类型分类和狭窄度量化单元。获取单元可以配置为获取血管的一组中心线点的序列以及各个中心线点处的图像块的序列。斑块检测单元可以配置为:基于所述各中心线点处的图像块的序列,利用第一学习网络来检测斑块以及确定各个检出的斑块的开始位置和结束位置。所述第一学习网络可以依序包括编码器和斑块范围生成器。所述编码器可以被配置为基于所述各中心线点处的图像块的序列提取特征映射。所述斑块范围生成器可以被配置为基于所提取的特征映射生成各个斑块的开始位置和结束位置。斑块类型分类和狭窄度量化单元可以配置为:对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型和狭窄度。
根据本公开的第二方案,提供了一种用于血管斑块分析的系统。所述系统可以包括接口和处理器。接口可以配置为获取由医学成像装置采集的沿着血管的一组图像。所述处理器可以被配置为基于所述血管的一组图像来重建所述血管的3D模型,并提取血管的一组中心线点的序列以及各个中心线点处的图像块的序列。所述处理器还可以配置为基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,然后基于所提取的特征映射生成各个斑块的开始位置和结束位置。所述处理器还配置为对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型和狭窄度。
根据本公开的第三方案,提供一种计算机存储介质,其上存储有计算机可执行指令。该计算机可执行指令由处理器执行时可以实现用于血管斑块分析的方法。该方法具体可以包括获取血管的一组中心线点的序列以及各个中心线点处的图像块的序列。该方法还可以包括基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,然后基于所提取的特征映射生成各个斑块的开始位置和结束位置。以及所述方法还可以包括:对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型和狭窄度。
利用根据本公开各个实施例的用于血管斑块分析的装置、系统和介质,能够以端到端的方式,自动且灵活地为血管的任何分支、路径、分段或者整个血管树准确且迅速地检出并定位斑块并确定各个检出斑块的类型和狭窄度,有效降低了运算复杂度(涉及检测阶段和训练阶段),且显著改进了操作便利性和用户友好度。
应当理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
在不一定按比例绘制的附图中,相似的附图标记可以在不同的视图中描述相似的组件。具有字母后缀或不同字母后缀的相似附图标记可以表示相似组件的不同实例。附图通过示例而非限制的方式大体上示出了各种实施例,并且与说明书和权利要求书一起用于解释所公开的实施例。这样的实施例是说明性的,并且不意图是本方法、系统或其上具有用于实现该方法的指令的非暂时性计算机可读介质的穷举或排他性实施例。
图1示出根据本公开的实施例的用于血管斑块分析的装置的结构和工作原理的示意性图示。
图2示出根据本公开的实施例的用于血管斑块分析的装置中的斑块检测单元的编码器的3D卷积架构的示例性图示。
图3示出根据本公开的实施例的用于血管斑块分析的装置中的斑块检测单元的示例性图示。
图4示出根据本公开的实施例的用于血管斑块分析的装置中利用的学习网络的示例性图示。
图5示出根据本公开的实施例的用于血管斑块分析的装置中利用的学习网络的示例性图示。
图6示出图5中所示的学习网络中的编码器和解码器的示例性图示。
图7示出根据本公开的实施例的用于对用于血管斑块分析的装置中利用的学习网络进行训练的示意性流程图。
图8示出根据本公开的实施例的用于血管斑块分析的系统的结构框图。
具体实施方式
现在将详细参照示例性实施例,其示例在附图中图示出。在本公开中,术语“血管”包括冠脉、颈动脉、腹主动脉、脑部血管、眼部血管、股动脉中的任何一种,表述“血管的一组中心线点的序列”表示依序的至少一部分血管的一系列中心线点,该至少一部分可以表示血管的分支、分段、路径、任何一部分树结构,也可以包括整段血管或者整个血管树,在此不做具体限定。下面的具体实施例中以沿着单条路径的血管部分的一系列中心线点为例进行说明,但本公开不限于此,而是可以根据意图进行斑块分析的关注血管(包括部分或整体)来调整学习网络的节点的数量和结构框架,如果需要,也可以根据各个中心线点之间的空间约束关系来调整各个节点之间的信息传播方式,来得到适于关注血管的学习网络。本公开中的表述“中心线点处的图像块”旨在表示该图像块中含有该中心线点,例如该中心线点处相对于中心线的2D切片图像,或者该中心线点周围的3D容积图像块。本文对学习网络的说明中,为了描述方便,省略了对激活层的说明,例如,卷积层后面(通常在对应的池化层之前)可以具有激活函数层(例如RELU函数层),又例如,全连接层中的神经元输出可以设有激活函数层(例如Sigmoid函数层),在此不赘述。此外,在本公开中,表述“第一”、“第二”、“第三”、“第四”、“第五”、“第六”和“第七”仅用于彼此区分,并不存在数量上的限定;并且同样的“第?”(?为序号)构件在附图标记不同的情况下可以表示不同的构件,例如参数不同的网络层。各个步骤的执行次序未必是附图所示的次序,只要确保步骤之间不存在逻辑问题,各个步骤可以采用任何不同于附图所示的次序来执行。
图1示出根据本公开的实施例的用于血管斑块分析的装置100及其作用原理的示意性图示。如图1所示,所述装置100包括获取单元101,其可以配置为获取血管的一组中心线点的序列以及各个中心线点处的图像块的序列X={x1,x2,...,xN},其中,N是中心线点的数量。在本公开中,分析管路仅需要获取血管的一组中心线点以及各个中心线点处的图像块的序列,无需额外的标注,诸如血管壁的分割蒙版。
可以采用各种方式获取血管的一组中心线点的序列以及各个中心线点处的图像块的序列。例如,在一些医学成像装置配套的处理软件或工作站中具有现有的血管3D重建和中心线提取功能,可以直接取得其所提取的血管的一组中心线点的序列,并基于3D重建单元重建的3D模型来提取各个中心线点处的图像块的序列。又例如,获取单元101也可以配置为基于医学成像装置采集的沿着血管的一组图像来重建血管的3D模型,并提取中心线和各个中心线点处的图像块。以冠脉为例,冠脉CTA(CCTA)装置是常用的非侵入成像装置,可以基于沿着冠脉延伸方向的一系列的CTA图像来实现重建,并提取中心线和各个中心线点处的图像块。通过利用血管的CTA图像,尤其其现成的处理软件或工作站中的重建和中心线提取功能,用于血管斑块分析的装置100可以在不增加例行医学成像模态(modality)和保持医生的例行工作流程的情况下,方便且迅速地获得所需的输入信息,成本较低且用户友好度高。
所述装置100还可以包括斑块检测单元102和斑块类型分类和狭窄度量化单元103。斑块检测单元102可以配置为:基于所述各中心线点处的图像块的序列,利用第一学习网络来检测斑块以及确定各个检出的斑块的开始位置和结束位置M为检测斑块的数量,所述第一学习网络依序包括编码器和斑块范围生成器,所述编码器被配置为基于所述各中心线点处的图像块的序列提取特征映射,所述斑块范围生成器被配置为基于所提取的特征映射生成各个斑块的开始位置和结束位置。各个检出的斑块的开始位置和结束位置/>可以馈送到所述斑块类型分类和狭窄度量化单元103,其可以配置为:对于各个检出的斑块1、2…、M(M是自然数且小于或等于N),利用第二学习网络复用(共享)所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型C={cp1,cp2,...,cpM}和狭窄度σ={σp1,σp2,...,σpM}。根据应用场景,σ可以是一个定量数或两类(有或没有狭窄)/多类输出。例如,可以根据狭窄的严重程度将σ分为4类:[0,25%),[25%,50%),[50、75%),[75%,100%];或两类[0、50%),[50%,100%];或其他类别。
该装置100以端到端的方式,自动且灵活地为血管的任何分支、路径、分段或者整个血管树准确(达到中心线点的定位精度)且迅速地检出并定位斑块并确定各个检出斑块的类型和狭窄度,操作便利且用户友好度高。通过一并检出斑块位置(分别分布于哪个解剖细节结构处、各个斑块的长度、斑块的数量)、检出斑块的类型(例如钙化、非钙化和混合)以及狭窄度(例如狭窄度水平),为放射科医生和心血管专家提供全面、直观且综合的定量评估结果,使其能够进行准确诊断并显著降低工作量;通过在检测阶段和训练阶段中第二学习网络与所述第一学习网络的参数和特征映射的至少部分的复用(共享),可以有效降低运算复杂度,并显著缩短处理时间,这在医学图像处理中尤为关键。
在一些实施例中,所述斑块类型分类和狭窄度量化单元103可以进一步配置为:对于各个检出的斑块M,确定该斑块的其他属性,例如但不限于正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数(是否存在、严重水平等)。这些其他属性能够辅助一些特定类型的血管疾病的诊断,都由单个斑块类型分类和狭窄度量化单元103来确定,使得放射科医生和心血管专家能够按需得到更细节的参考信息,进一步减少其工作量,增加诊断的准确度。在一些实施例中,在确定斑块M的开始位置和结束位置之后,也可以基于斑块M所处的各个中心线点的局部的中间信息(包括但不限于是否存在斑块的概率相关参数、特征映射等),来进一步细化开始位置和结束位置,通过基于局部分布信息的细化,能够从斑块M中剔除误识别为斑块部分的边缘非斑块部分,从而锐化斑块边缘使其尺寸更精准。
在一些实施例中,所述图像块可以是2D图像块,也可以是3D图像块。注意,在本公开中,技术术语“3D图像块”可以表示各个中心线点周围的容积块,也可以表示各个中心线点周围的沿中心线的(例如但不限于连续的)2D切片图像块的叠层。例如,所述2D图像块可在相应中心线点处与中心线正交,但2D图像块的取向并不限于此,也可以相对于中心线倾斜。在一些实施例中,所述第一学习网络的输入具有多个通道,且通过将在各个相应中心点处的一组多个尺度的图像块调整为相同尺寸并堆叠而成。通过使用各个中心点处的一组多个尺寸的图像块的信息,可以显著降低单个图像块尺寸的不当选择(过大则混入了周边组织的图像信息,过小则遗漏了血管的图像信息)对结果的不利影响,该组图像块中总有尺寸适当的图像块(例如,血管在不同位置直径不同,相应的图像块的适合尺寸也不同)。通过对多个通道的分析结果(例如斑块位置、斑块类型和斑块狭窄度)进行比较,并通过例如执行多数决定策略等来确定最终的分析结果,可以进一步提高分析结果的准确性。
所述编码器可以采用多种架构的学习网络,例如但不限于多层卷积神经网络,各层均可以包括卷积层和池化层,以从输入图像提取特征映射用于后续处理级。所述卷积层的卷积核的维度可设置为与所述图像块的维度相同。
例如,对于2D图像块,编码器可以使用一组2D卷积层和池化层,以为各个中心线点处的2D图像块生成对应的特征映射。可以直接使用常用的CNN架构,诸如VGG(包括多个3×3卷积层和2×2最大池化层)以及ResNet(其在卷积层之间添加了跳层连接)。或者,也可以使用定制的架构。
例如,对于3D图像块,编码器可以使用3D卷积层和池化层的组合来生成特征映射。可以使用已建立的CNN架构的3D版本,例如3D VGG和3D ResNet。或者,也可以使用定制的架构,在所述图像块为3D图像块的情况下,所述编码器200可以依序包括多个3D卷积层和池化层,图2中示出了3个卷积层201、202和203和1个池化层204,但这仅仅作为示例而非限制。每个3D卷积层可以包括多个3D卷积核,其配置为分别提取立体空间和各个坐标平面内的特征映射,且各个3D卷积核提取的各个特征映射进行联合后馈送到下一层,如此能够提取到不同维度上的信息。相较于仅仅使用用于提取立体空间内的特征映射的3D卷积核(例如卷积核3×3×3),能够全面且独立地保留各个坐标平面内的局部信息,例如,在图像块的重要信息集中于某个坐标平面内的情况下,仅仅使用用于提取立体空间内的特征映射的3D卷积核,该重要信息容易被其他坐标空间或者空间信息削弱或污染,但利用本公开的这种卷积核设置,既能够全面且独立地保留各个坐标平面内的局部信息,又兼顾空间内的信息分布,从而得到更精确的分析结果。
在图2中,作为示例,每个3D卷积层201(202或203)可以包括4个3D卷积核201a、201b、201c、201d(202a、202b、202c、202d,或者203a、203b、203c、203d),其中,为了提取立体空间和各个坐标平面内的特征映射,分别设置了对应的单个3D卷积核,但并不限于此,为了提取立体空间和各个坐标平面内的特征映射,也可以设置对应的数个3D卷积核。
斑块范围生成器可以采用各种实现方式。下面分别结合图3、图4和图5,对各种实施例进行具体说明。
图3示出了一种针对2D图像块的斑块检测单元的实施例,该斑块检测单元可以包括编码器301、一个以上的第一全连接层303和第一后处理单元305,其中,所述一个以上的第一全连接层303和第一后处理单元305共同构成斑块范围生成器。所述编码器301可以被配置为:基于血管的一组中心线点的序列(图2中示出了顺序的20个中心线点作为示例)以及各个中心线点处的2D图像块的序列300,提取2D图像块级别的特征映射302,即为每个中心线点独立地提取特征映射302。这些特征映射302被馈送到所述一个以上的第一全连接层303,其配置为基于所提取的特征映射302独立地确定在各个中心线点处的2D图像块上存在斑块的概率相关参数304,如图3所示,这一组20个中心线点处的2D图像块上存在斑块的概率相关参数304依序为(0,0.1,0.2,0.8,0.8,0.9,1,0.9,0.3,0.1,0.1,0.1,0.1,0.9,0.9,0.7,1,0.8,0.2,0)。图3中示出了概率作为概率相关参数304的示例,但概率相关参数304也可以是其他形式的反映概率的参数,例如分数等。第一后处理单元305可以配置为:基于各个中心线点处的2D图像块上存在斑块的概率相关参数304,确定存在斑块的中心线点,例如,可以通过将各个概率相关参数304与某个阈值(例如0.6)进行比较,超出阈值的情况下,对应的中心线点被认为存在斑块。第一后处理单元305还可以配置为:将一组连续的确定存在斑块的中心线点合并为斑块,例如将概率相关参数304依序为(0.8,0.8,0.9,1,0.9)的第4-8个中心线点合并为斑块1,确定该组中心线点中的第一个中心线点(例如第4个中心线点)和最后一个中心线点(例如第8个中心线点)作为该斑块1的开始位置和结束位置/>
针对图3中所示的基于全连接层的斑块范围生成器,可以相应地采用基于全连接层的斑块类型分类和狭窄度量化单元(未图示),具体说来,所述第二学习网络可以包括一个以上的第二全连接层(未图示),其配置为复用由所述编码器301为确定存在斑块的中心线点处的2D图像块提取的特征映射302作为输入。例如,对于检出的斑块1,可以复用第4-8个中心线点处提取的特征映射302作为输入,利用所述一个以上的第二全连接层,来确定斑块1的类型和狭窄度。在一些实施例中,还可以包括基于全连接层的斑块实例细化单元,其配置为,对于各个检出的斑块:基于由所述编码器为确定存在该斑块的中心线点处的2D图像块提取的特征映射,利用一个以上的第六全连接层来细化该斑块的开始位置和结束位置。例如,对于检出的斑块1,可以复用第4-8个中心线点处提取的特征映射302作为输入,利用所述一个以上的第六全连接层,来确定斑块1的细化的开始位置和结束位置。在一些实施例中,为了解决检测到的斑块长度不一的问题,可以将诸如最大池化、自适应池化和空间金字塔池化之类的池化方法应用于特征映射,以生成相同尺寸的池化特征映射。
图4示出根据本公开的实施例的用于血管斑块分析的装置中利用的学习网络的示例性图示,该装置可以包括获取单元(未示出)、斑块检测单元(包括编码器401和斑块范围生成器402)和斑块类型分类和狭窄度量化单元403。获取血管的一组中心线点的序列以及各个中心线点处的2D图像块的序列400,在所述图像块为2D图像块的情况下,所述编码器401被配置为提取2D图像块级别的特征映射404。注意,在图4中示出双向LSTM网络层405作为示例,但并不作为限制,该双向LSTM网络层也可以替换为其他类型的RNN层或卷积RNN层,例如但不限于单向LSTM、双向GRU、卷积RNN、卷积GRU等。
如图4所示,所述斑块范围生成器402依序包括第一递归神经网络(RNN)或卷积RNN层405(例如双向LSTM网络层405)、一个以上的第三全连接层406和第二后处理单元(未示出),第一RNN或卷积RNN层405连同一个以上的第三全连接层406配置为基于所提取的特征映射404确定在各个中心线点处的2D图像块上存在斑块的概率相关参数(0,0.1,0.2,0.8,0.8,0.9,1,0.9,0.6,0.1,0.1,0.1,0.1,0.9,0.9,0.7,1,0.8,0.2,0)。该第二后处理单元与上文中的第一后处理单元305类似,在此不赘述。通过引入第一RNN或卷积RNN层,可以沿着中心线跨图像块累积信息,考虑到上下文和序列上的信息,而通过引入第一卷积RNN层,能够进一步通过将所有元素级别运算替换为卷积运算,从而获得在GPU上的加速且能够保留空间信息。
下面继续以双向LSTM网络层405以及检出斑块1和2为例,对斑块类型分类和狭窄度量化单元403进行说明。注意,本文中的双向LSTM网络层的对应部分405’和405”均是本公开中的表述“第二RNN或卷积RNN层”的示例,一个以上的第三全连接层的对应部分406’和406”均是本公开中的表述“一个以上的第七全连接层”的示例。
对于检出的斑块1,复用由所述编码器401为存在该斑块1的第4-9个中心线点处的2D图像块提取的特征映射404’作为输入。该输入馈送到用于确定斑块1的类型的管路,该管路依序包括双向LSTM网络层的对应部分405’(即双向LSTM网络层405中对应于第4-9个中心线点的子网络)、池化层407’和一个以上的第四全连接层408’,从而确定斑块类型。用于确定检出的斑块2的类型的管路与之类似,包括双向LSTM网络层的对应部分405”、池化层407”和一个以上的第四全连接层408”,在此不赘述。
对于检出的斑块2,复用由所述编码器401为存在该斑块1的第14-18个中心线点处的2D图像块提取的特征映射404”作为输入。该输入馈送到用于确定斑块2的狭窄度的管路,该管路依序包括双向LSTM网络层的对应部分405”(即双向LSTM网络层405中对应于第14-18个中心线点的子网络)、池化层407”和一个以上的第五全连接层409”,从而确定斑块2的狭窄度。用于确定检测的斑块1的狭窄度的管路与之类似,包括双向LSTM网络层的对应部分405’、池化层407’和一个以上的第五全连接层409’。
在一些实施例中,用于血管斑块分析的装置还可以包括斑块实例细化单元。图4中示出斑块实例细化单元作为斑块类型分类和狭窄度量化单元403的构成部分,这仅仅作为示例,前者也可以为与后者独立的单元。下面以检出斑块1为例,对斑块实例细化单元的构成进行说明。
对于检出的斑块1,基于由所述编码器401为确定存在该斑块1的第4-9个中心线点处的2D图像块提取的特征映射404’,利用双向LSTM网络层的对应部分405’(即双向LSTM网络层405中对应于第4-9个中心线点的子网络)和一个以上的第三全连接层的对应部分406’(即一个以上的第三全连接层406中对应于第4-9个中心线点的子网络),来细化该斑块的开始位置和结束位置,也就是确定细化的斑块1。以上针对斑块1的斑块实例细化单元的构成也适用于其他检出斑块。例如,对于检出的斑块2,基于由所述编码器401为确定存在该斑块1的第14-18个中心线点处的2D图像块提取的特征映射404”,利用双向LSTM网络层的对应部分405”(即双向LSTM网络层405中对应于第14-18个中心线点的子网络)和一个以上的第三全连接层的对应部分406”(即一个以上的第三全连接层406中对应于第14-18个中心线点的子网络),来细化该斑块的开始位置和结束位置,也就是确定细化的斑块2。具体说来,可以利用一个以上的第三全连接层的对应部分406’(406”),来分别得到未经细化的斑块1(2)存在于的中心线点处的局部强化处理后的概率相关参数,可以例如通过将各个概率相关参数与阈值进行比较,来剔除边缘处更可能属于非斑块部分的中心线点(例如对于斑块1而言的第9个中心线点),进而确定细化后的斑块1(2)的开始位置和结束位置。
还可以采用其他方法来确定各个斑块的开始位置和结束位置。例如,可以采用基于锚框生成的方法,然后将这些锚框按照是否存在斑块进行分类。一种用于生成锚框的示例性策略是选择期间长度大于阈值的任意一对中心线点作为候选,并对斑块状态进行分类。在给定某个阈值的情况下选择锚框之后,可以应用非最大抑制来合并候选区域并获得各个斑块的开始和结束位置。
图5示出根据本公开的实施例的用于血管斑块分析的装置中利用的学习网络的示例性图示,其中的斑块检测单元可以配置为基于所述各中心线点处的图像块的序列500,利用第一学习网络来检测斑块以及确定各个检出的斑块的开始位置和结束位置,所述第一学习网络依序包括编码器501和斑块范围生成器503。如图5所示,斑块范围生成器503可以实现为解码器503,具体说来,可以包括解码器503和第三后处理单元504。编码器501被配置为基于所述各中心线点处的图像块的序列500确定特征映射502,注意虽然图5中没有具体标识,即便图像块是3D图像块,斑块也可以以一维坐标来表示,其坐标方向(以z坐标为例)可以沿着中心线,特征映射502则可以包括不同尺度和/或视野(不同分辨率)的多个特征映射,且各个特征映射可以馈送到解码器503的网络结构中的不同位置处。解码器503是上采样路径,其通过组合低分辨率特征和高分辨率特征的信息将特征映射502恢复到图像块的原始分辨率。
解码器503可配置为每个中心线点i输出二元组数组(ρi,Li),其中,i为中心线点的序号,ρi为该中心线点作为斑块的中心点的概率相关参数(例如但不限于分数),以及Li是对应斑块的长度,以下以分数作为概率相关参数的示例进行说明,但须知概率相关参数不限于此。第三后处理单元504可以配置为:选择分数达到阈值的中心线点作为斑块的中心(例如中心点1和中心点2分别作为斑块1和2的中心点),基于该中心线点的位置p以及对应斑块的长度L(例如长度1和长度2),来分别计算该斑块的开始位置ps和结束位置pe为(ps,pe)=(p-L/2,p+L/2),例如对于斑块1,可以计算其开始位置为中心点1的位置-1/2*长度1且结束位置为中心点1的位置+1/2*长度1。
在一些实施例中,所述解码器503进一步配置为确定各个中心线点i的斑块类型ci和狭窄度σi,例如斑块1的类型1和狭窄度1,斑块2的类型2和狭窄度2,从而复用作斑块类型分类和狭窄度量化单元。在这种情况下,解码器503对于各个中心线点i会输出四元素数组(ρi,Li,ci,σi),以表征该中心线点i作为斑块中心的概率,以及在其可作为斑块中心的情况下对应斑块的长度、类型和狭窄度,从而将斑块范围生成器503和斑块类型分类和狭窄度量化单元整合为一个单元。
在一些实施例中,该解码器503可以进一步配置为兼用作斑块实例细化单元,以对于各个检出的斑块,细化该斑块的开始位置和结束位置。在一些实施例中,该解码器503可以进一步配置为对于各个检出的斑块,确定该斑块的其他属性,例如但不限于正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数。
图6示出图5中所示的学习网络中的编码器501和解码器503的示例性图示,其中,作为输入的图像块可以为3D图像块。如图6所示,所述编码器501和所述解码器503均通过包括多个卷积块的全卷积神经网络实现。注意,在图6中,卷积块Dn表示第n个下采样卷积块,特征映射Dn表示第n个下采样卷积块所得到的特征映射,卷积块Un表示第n个上采样卷积块,特征映射Un表示作为第n个上采样卷积块的输入的特征映射,“/2”表示利用2×2×2的池化层进行池化,“×2”表示利用1×1×2上采样单元进行上采样运算(注意,图6中以斑块坐标采用z坐标为例,但不限于此)。如此,可以将斑块检测单元和斑块类型分类和狭窄度量化单元嵌入到同一解码器503,通过网络的多通道输出对于各个中心线点i直接输出四元素数组(ρi,Li,ci,σi),以表征该中心线点i(i对应于所述z坐标)作为斑块中心的概率,以及在其可作为斑块中心的情况下对应斑块的长度、类型和狭窄度。如此,显著简化了学习网络的架构,这两个单元之间可以共享/复用几乎所有的特征映射和学习网络参数,进一步能够显著降低训练阶段和预测阶段中的工作负荷以及处理时间。在一些实施例中,除了斑块类型和狭窄度,如果需要,其他属性,例如正性重构、脆弱性和餐巾纸环征相关参数,也可以以类型的方式进行分析。
如图6所示,来自所述编码器501的各个卷积块,例如卷积块D1、卷积块D2、卷积块D3、卷积块D4,的特征映射D1、特征映射D2、特征映射D3、特征映射D4,在执行沿着垂直于斑块的坐标方向(例如z方向)的坐标平面(例如xy坐标平面)内的池化(例如但不限于最大池化、平均池化、自适应池化、空间金字塔池化等)后馈送到所述解码器503,以作为对应分辨率的卷积块U1、卷积块U2、卷积块U3、卷积块U4各自的输入,即特征映射U1、特征映射U2、特征映射U3、特征映射U4。
图7示出根据本公开的实施例的用于对用于血管斑块分析的装置中利用的学习网络进行训练的示意性流程图。该流程始于步骤700,接收训练样本集,各个训练样本包括血管的一组中心线点处的图像块的序列以及各个斑块的开始和结束位置标签、斑块类型标签和狭窄度标签(即标注的地面真值)。注意,此流程以装置用于检测斑块及其开始和结束位置、斑块类型和狭窄度作为示例,如果需要,也可以以类似方法对还用于检测其他属性的装置中利用的学习网络进行训练,在此不赘述。
在步骤701,可以载入各个训练样本,具体载入其中的各个图像块(第i个图像块,i=1到N,N为该组中心线点的总数)的训练数据。在步骤702,可以确定第i个图像块的多任务损失函数,并累积起来。在确定处理了该训练样本中的所有图像块的情况下(步骤703中为是),就可以得到该训练样本的总损失函数,并可以基于此,采用各种方式,例如但不限于随机梯度下降法、RMSProp法或Adam法的优化方法,来调节学习网络的参数(步骤704)。如此针对各个训练样本进行训练,直到对训练样本集中的所有训练样本完成训练为止,从而得到并输出学习网络(步骤705)。以上训练过程仅仅是简化示例,也可以进行各种变型,以引入最小批梯度下降等等,以提高训练效率。
学习网络中的第一学习网络(对应于斑块检测单元)和第二学习网络(对应于斑块类型分类和狭窄度量化单元)共享至少部分的网络参数和提取的特征映射。在训练过程中的步骤702,可以先计算第一学习网络的相应任务的损失函数,并直接利用该计算过程中的中间特征映射中的共享特征映射来计算第二学习网络的相应任务的损失函数,从而能够显著降低多任务损失函数的计算量和耗时。在训练过程中的步骤704,在对第一学习网络的参数调节之后,第二学习网络可以直接沿用该调节后的共享参数,也就是说,对于第一学习网络的参数调节自动完成了对于第二学习网络中的相应参数的调节,从而能够显著降低调节的计算量和耗时。
下面在根据本公开的各种学习网络下对相应的多任务损失函数进行具体说明。
总体说来,多任务损失函数通常可以遵循以下公式:
l=ld+λclc+λσlσ+λdrldr+∑kλoakloak, 公式(1)
其中,ld表示斑块检测损失,lc表示斑块分类损失,lσ表示狭窄度损失,以及ldr表示检测细化损失,loak表示其他属性的损失(k表示其他属性的序号),这些属性可以是正性重构、脆弱性和餐巾纸环征,λc,λσ,λdr和λoak是相关联的权重。
不需要对其他属性进行检测也无需细化时,可去除相应项,多任务损失函数可以简化为公式(5):
l=ld+λclc+λσlσ 公式(5)
以下对于图4和图5中呈现的学习网络的两个示例性实现给出详细的损失函数表达式。
对于图4所示的2D实现,多任务损失函数的各个分量可以细化为如下。
ld为二元交叉熵损失,其中,pi为第i个2D图像块上存在斑块的概率,γi是第i个2D图像块的斑块状态标签(0还是1),以及N是该序列中2D图像块的总数。
lc为多类交叉熵损失,其中,pij为第i个2D图像块上存在第j种斑块类型的概率,γij是第i个2D图像块的单斑块类型标签,以及对于三种斑块类型而言C=3。根据应用场景,如果提供的狭窄状态是二元标签(0或1)或多类标签(诸如不同的狭窄严重水平),lσ可以是交叉熵损失,或者lσ可以是L2损失,
其中,σi是预测的从0到1的范围内的狭窄得分,ζi是对于第i个斑块的狭窄地面真值,以及P是所检出的斑块的总数。
根据其他属性的参数值类型(二元、多类、多标签或连续值),loak可以是交叉熵损失或Ln正则化损失。
对于图5所示的(尤其是图6所示的)学习网络的全卷积实现,第一学习网络和第二学习网络实际上是整合的,多任务损失函数中的各个分量可以细化如下。
斑块检测损失ld可以根据公式(6)来计算:
其中,ld是斑块检测损失,pi是第i个中心线点处的图像块相对于斑块中心的概率相关参数(例如但不限于得分),γi是进行转换(例如但不限于高斯)之后的第i个中心线点处的图像块的斑块中心状态标签且取值范围为从0到1,N是中心线点的总数,α和β是常数。例如,可以设置α=2,β=4。
多任务损失函数中的各个其他分量,例如lc,lσ和loak可以采用根据本公开的各个实施例的定义。在全卷积的示例性实现中,可以不检测细化,相应地ldr=0。
图8示出根据本公开的实施例的用于血管斑块分析的系统的结构框图。在一些实施例中,该系统可以包括模型训练装置800、图像采集装置801和斑块分析装置802。在一些实施例中,该系统可以仅包括斑块分析装置802,具体包括:通信接口803,其配置为获取由图像采集装置801(例如医学成像装置)采集的沿着血管的一组图像;处理器806,所述处理器806被配置为:基于所述血管的一组图像来重建所述血管的3D模型,并提取血管的一组中心线点的序列以及各个中心线点处的图像块的序列;基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,并基于所提取的特征映射生成各个斑块的开始位置和结束位置;以及对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型和狭窄度。如果需要,处理器806也可以进一步配置为确定各个斑块的其他属性,例如正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数;以及也可以进一步配置为细化各个斑块的开始位置和结束位置。可以采用根据本公开各个实施例的第一学习网络和第二学习网络的具体架构,在此不赘述。下文中对斑块分析装置的硬件构造进行具体说明,该硬件构造也可适用于模型训练装置800,在此不赘述。
在一些实施例中,所述血管包括冠脉、颈动脉、腹主动脉、脑部血管、眼部血管、股动脉中的任何一种,图像采集装置801可以包括但不限于CTA装置。具体说来,图像采集装置801可以包括CT、MRI、包括功能性磁共振成像(例如fMRI、DCE-MRI和扩散MRI)、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像以及放射治疗射野成像等任何一种成像装置。
在一些实施例中,模型训练装置800配置为对学习网络(例如第一学习网络和第二学习网络)进行训练,并将训练好的学习网络传输到斑块分析装置802,斑块分析装置802则可以配置为:基于血管的一组中心线点的序列以及各个中心线点处的图像块的序列,利用训练好的学习网络执行对血管的斑块分析。在一些实施例中,模型训练装置800和斑块分析装置802可以整合在同个计算机或处理器中。
在一些实施例中,斑块分析装置802可以是专用计算机或通用计算机。例如,斑块分析装置802可以是为医院定制的计算机,以执行图像采集和图像处理任务,或者可以是在云端的服务器。如图中所示,斑块分析装置802可以包括通信接口803、处理器806、内存805、储存器804和总线807,以及还可以包括显示器。通信接口803、处理器806、内存805和储存器804与总线807相连且可以通过总线807彼此通信。
在一些实施例中,通信接口803可以包括网络适配器、电缆连接器、串行连接器,USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE、5G等)适配器等。斑块分析装置802可以通过通信接口803连接到模型训练装置800、图像采集装置801以及其他构件。在一些实施例中,通信接口803配置为接收来自模型训练装置800的训练好的学习网络,以及也可以配置为接收来自图像采集装置801的医学图像,例如血管的一组图像,具体说来,例如投影角度适当且充盈充分以便实现血管的3D重建的血管的两幅血管CTA图像,但不限于此。
在一些实施例中,内存805/储存器804可以是非暂时性计算机可读的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备,或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。在一些实施例中,该介质上存储有计算机可执行指令,该计算机可执行指令由处理器806执行时,可以至少实现如下步骤:获取血管的一组中心线点的序列以及各个中心线点处的图像块的序列;基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,基于所提取的特征映射生成各个斑块的开始位置和结束位置;以及对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型和狭窄度。
在一些实施例中,储存器804可以储存训练好的网络和数据,诸如在执行计算机程序的同时所生成的特征映射等。在一些实施例中,内存805可以储存计算机可执行指令,诸如一个以上图像处理(诸如斑块分析)程序。在一些实施例中,诸如图1中所示的获取单元101、斑块检测单元102和斑块类型分类和狭窄度量化单元103可以实现为在储存器804上的应用程序,这些应用程序可以加载到内存805,然后由处理器806执行以实现相应的处理步骤。在一些实施例中,可以从图像块以不同粒度提取并存储在储存器804中。可以逐个地或者同时地从储存器804读取特征映射并将其存储在内存805中。
在一些实施例中,处理器806可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器806可以通信地耦合到内存805并且被配置为执行存储在其上的计算机可执行指令。
在一些实施例中,模型训练装置800可以利用由执行训练过程的软件特别编程的硬件来实现。例如,模型训练装置800可以包括类似于斑块分析装置802的处理器和非易失性计算机可读介质。该处理器通过执行存储在计算机可读介质中存储的用于训练过程的可执行指令来实现训练。模型训练装置800还可以包括输入和输出接口以与训练数据库、网络和/或用户接口通信。用户接口可用于选择训练数据集、调节训练过程中的一个或多个参数、选择或修改学习网络的框架、和/或手动或半自动地提供与用于训练的图像块序列相关联的预测结果(例如标注地面真值)。
对于本领域技术人员显而易见的是,可以对所公开的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明书和实践,其他实施例对于本领域技术人员来说将是显而易见的。本公开的各个权利要求都可以作为独立实施例来理解,彼此之间的任意组合也都可作为本公开的实施例,并认为这些实施例都包括在本公开中。
旨在说明书和示例仅被视为示例性的,其中真实范围由所附权利要求及其等同物指示。
Claims (17)
1.一种用于血管斑块分析的装置,其特征在于,所述装置包括:
获取单元,其配置为获取不包括带有血管壁分割标注的血管的一组中心线点的序列,以及各个中心线点处的图像块的序列;
斑块检测单元,其配置为:基于所述各中心线点处的图像块的序列,利用第一学习网络来检测斑块以及确定各个检出的斑块的开始位置和结束位置,所述第一学习网络依序包括编码器和斑块范围生成器,所述编码器被配置为基于所述各中心线点处的图像块的序列提取特征映射,所述斑块范围生成器被配置为基于所提取的特征映射生成各个斑块的开始位置和结束位置;以及
斑块类型分类和狭窄度量化单元,其配置为:对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型、狭窄度,以及该斑块的正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数。
2.根据权利要求1所述的装置,其特征在于,所述血管包括冠脉、颈动脉、腹主动脉、脑部血管、眼部血管、股动脉中的任何一种,所述获取单元进一步配置为:接收经由计算机断层摄影血管造影(CTA)装置采集的血管的CTA图像,基于所述血管的CTA图像,提取所述血管的一组中心线点的序列以及各个中心线点处的图像块的序列。
3.根据权利要求1所述的装置,其特征在于,各个中心线点处的所述图像块为在相应中心线点处与中心线正交的2D图像块、相应中心线点周围的沿中心线的2D切片图像块的叠层、或相应中心线点周围的3D图像块中的一种,所述编码器包括卷积层和池化层,所述卷积层的卷积核的维度与所述图像块的维度相同。
4.根据权利要求3所述的装置,其特征在于,所述第一学习网络的输入具有多个通道,且通过将在各个相应中心点处的一组多个尺度的图像块调整为相同尺寸并堆叠而成。
5.根据权利要求1所述的装置,其特征在于,在所述图像块为3D图像块的情况下,所述编码器依序包括多个3D卷积层和池化层,每个3D卷积层包括多个3D卷积核,其配置为分别提取立体空间和各个坐标平面内的特征映射,且各个3D卷积核提取的各个特征映射进行联合后馈送到下一层。
6.根据权利要求1所述的装置,其特征在于,在所述图像块为2D图像块的情况下,所述编码器被配置为提取2D图像块级别的特征映射,
所述斑块范围生成器包括:一个以上的第一全连接层,其配置为基于所提取的特征映射确定在各个中心线点处的2D图像块上存在斑块的概率相关参数;以及第一后处理单元,其被配置为:基于各个中心线点处的2D图像块上存在斑块的概率相关参数,确定存在斑块的中心线点,将一组连续的确定存在斑块的中心线点合并为斑块,确定该组中心线点中的第一个中心线点和最后一个中心线点作为该斑块的开始位置和结束位置,并且
所述第二学习网络包括一个以上的第二全连接层,其配置为复用由所述编码器为确定存在斑块的中心线点处的2D图像块提取的特征映射作为输入。
7.根据权利要求1所述的装置,其特征在于,在所述图像块为2D图像块的情况下,所述编码器被配置为提取2D图像块级别的特征映射,
所述斑块范围生成器依序包括第一递归神经网络(RNN)或卷积RNN层、一个以上的第三全连接层和第二后处理单元,第一RNN或卷积RNN层连同一个以上的第三全连接层配置为基于所提取的特征映射确定在各个中心线点处的2D图像块上存在斑块的概率相关参数,所述第二后处理单元被配置为:基于各个中心线点处的2D图像块上存在斑块的概率相关参数,确定存在斑块的中心线点,将一组连续的确定存在斑块的中心线点合并为斑块,确定该组中心线点中的第一个中心线点和最后一个中心线点作为该斑块的开始位置和结束位置,并且
所述第二学习网络被配置为,对于各个检出的斑块:复用由所述编码器为存在该斑块的中心线点处的2D图像块提取的特征映射作为输入,依序包括第二RNN或卷积RNN层、池化层和一个以上的第四全连接层作为用于确定该斑块的类型的管路,且依序包括所述第二RNN或卷积RNN层、池化层和一个以上的第五全连接层作为用于确定该斑块的狭窄度的管路,其中,所述第二RNN或卷积RNN层由所述第一RNN或卷积RNN层中对应于存在该斑块的中心线点的子网络构成。
8.根据权利要求1所述的装置,其特征在于,所述斑块范围生成器包括:解码器,其配置为每个中心线点输出二元组数组(ρi,Li),其中,i为中心线点的序号,ρi为该中心线点作为斑块的中心点的概率相关参数,以及Li是对应斑块的长度;以及第三后处理单元,其配置为:选择分数达到阈值的中心线点作为斑块的中心,基于该中心线点的位置p来计算该斑块的开始位置ps和结束位置pe为(ps,pe)=(p-L/2,p+L/2)。
9.根据权利要求8所述的装置,其特征在于,所述解码器进一步配置为确定各个斑块的斑块类型和狭窄度,从而复用作所述斑块类型分类和狭窄度量化单元。
10.根据权利要求8所述的装置,其特征在于,在所述图像块为3D图像块的情况下,所述编码器和所述解码器均通过包括多个卷积块的全卷积神经网络实现,来自所述编码器的各个卷积块的特征映射在执行沿着垂直于斑块的坐标方向的坐标平面内的池化后馈送到所述解码器。
11.根据权利要求6所述的装置,其特征在于,还包括斑块实例细化单元,其配置为,对于各个检出的斑块:基于由所述编码器为确定存在该斑块的中心线点处的2D图像块提取的特征映射,利用一个以上的第六全连接层来细化该斑块的开始位置和结束位置。
12.根据权利要求7所述的装置,其特征在于,还包括斑块实例细化单元,其配置为,对于各个检出的斑块:基于由所述编码器为确定存在该斑块的中心线点处的2D图像块提取的特征映射,利用所述第二RNN或卷积RNN层和一个以上的第七全连接层,来细化该斑块的开始位置和结束位置,所述一个以上的第七全连接层由所述一个以上的第三全连接层中对应于存在该斑块的中心线点的子网络构成。
13.根据权利要求8或9所述的装置,其特征在于,所述解码器进一步配置为兼用作斑块实例细化单元,以对于各个检出的斑块,细化该斑块的开始位置和结束位置。
14.根据权利要求9所述的装置,其特征在于,所述第一学习网络和所述第二学习网络是整合的,且使用公式(1)定义的多任务损失函数来训练:
l=ld+λclc+λσlσ 公式(1)
其中,ld是斑块检测损失,lc是斑块分类损失,lσ是狭窄度损失,λc,λσ是相关联的权重,且斑块检测损失ld可以根据公式(2)来计算:
其中,ld是斑块检测损失,pi是第i个中心线点处的图像块相对于斑块中心的得分,γi是进行转换之后的第i个中心线点处的图像块的斑块中心状态标签且取值范围为从0到1,N是中心线点的总数,α和β是常数。
15.一种用于血管斑块分析的系统,其特征在于,所述系统包括:
接口,其配置为获取由医学成像装置采集的沿着血管的一组图像;
处理器,所述处理器被配置为:
基于所述血管的一组图像来重建所述血管的3D模型,并提取不包括带有血管壁分割标注的血管的一组中心线点的序列以及各个中心线点处的图像块的序列;
基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,并基于所提取的特征映射生成各个斑块的开始位置和结束位置;以及
对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型、狭窄度,以及该斑块的正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数。
16.根据权利要求15所述的系统,其特征在于,所述血管包括冠脉、颈动脉、腹主动脉、脑部血管、眼部血管、股动脉中的任何一种,所述医学成像装置包括CTA装置。
17.一种计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令由处理器执行时,实现如下步骤:
获取不包括带有血管壁分割标注的血管的一组中心线点的序列以及各个中心线点处的图像块的序列;
基于所述各中心线点处的图像块的序列,利用第一学习网络,基于所述各中心线点处的图像块的序列提取特征映射,基于所提取的特征映射生成各个斑块的开始位置和结束位置;以及
对于各个检出的斑块,利用第二学习网络复用所述第一学习网络的参数和所提取的特征映射的至少部分,来确定该斑块的类型、狭窄度,以及该斑块的正性重构、脆弱性和餐巾纸环征中的至少一种的相关参数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063030248P | 2020-05-26 | 2020-05-26 | |
US63/030,248 | 2020-05-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709925A CN111709925A (zh) | 2020-09-25 |
CN111709925B true CN111709925B (zh) | 2023-11-03 |
Family
ID=72540023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010531281.9A Active CN111709925B (zh) | 2020-05-26 | 2020-06-11 | 用于血管斑块分析的装置、系统及介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210374950A1 (zh) |
CN (1) | CN111709925B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11756191B2 (en) * | 2018-12-13 | 2023-09-12 | Shenzhen Institutes Of Advanced Technology | Method and apparatus for magnetic resonance imaging and plaque recognition |
EP3923183A1 (en) * | 2020-06-11 | 2021-12-15 | Tata Consultancy Services Limited | Method and system for video analysis |
CN113077432B (zh) * | 2021-03-30 | 2024-01-05 | 中国人民解放军空军军医大学 | 基于冠状动脉cta图像粥样硬化斑块综合特征的患者危险度分级系统 |
CN113205509B (zh) * | 2021-05-24 | 2021-11-09 | 山东省人工智能研究院 | 一种基于位置卷积注意力网络的血管斑块ct影像分割方法 |
CN113393427B (zh) * | 2021-05-28 | 2023-04-25 | 上海联影医疗科技股份有限公司 | 斑块分析方法、装置、计算机设备和存储介质 |
CN113470107B (zh) * | 2021-06-04 | 2023-07-14 | 广州医科大学附属第一医院 | 支气管中心线提取方法及其系统和存储介质 |
US20230102246A1 (en) * | 2021-09-29 | 2023-03-30 | Siemens Healthcare Gmbh | Probabilistic tree tracing and large vessel occlusion detection in medical imaging |
CN115272165B (zh) * | 2022-05-10 | 2023-09-26 | 推想医疗科技股份有限公司 | 图像的特征提取方法、图像分割模型的训练方法和装置 |
CN114732431B (zh) * | 2022-06-13 | 2022-10-18 | 深圳科亚医疗科技有限公司 | 对血管病变进行检测的计算机实现方法、装置及介质 |
CN115222665B (zh) * | 2022-06-13 | 2023-04-07 | 北京医准智能科技有限公司 | 一种斑块检测方法、装置、电子设备及可读存储介质 |
CN114757944B (zh) * | 2022-06-13 | 2022-08-16 | 深圳科亚医疗科技有限公司 | 一种血管图像的分析方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932714A (zh) * | 2018-07-23 | 2018-12-04 | 苏州润心医疗器械有限公司 | 冠脉ct图像的斑块分类方法 |
CN110310271A (zh) * | 2019-07-01 | 2019-10-08 | 无锡祥生医疗科技股份有限公司 | 颈动脉斑块的性质判别方法、存储介质及超声装置 |
CN110503640A (zh) * | 2018-08-21 | 2019-11-26 | 深圳科亚医疗科技有限公司 | 对医学图像进行分析的装置、系统及计算机可读介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3096497B1 (fr) * | 2019-05-23 | 2021-04-30 | Paul Jean Francois | Procédé, dispositif et support lisible par ordinateur pour classifier automatiquement une lésion coronarienne selon la classification CAD-RADS par un réseau de neurones profond |
-
2020
- 2020-06-11 CN CN202010531281.9A patent/CN111709925B/zh active Active
- 2020-12-14 US US17/121,595 patent/US20210374950A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932714A (zh) * | 2018-07-23 | 2018-12-04 | 苏州润心医疗器械有限公司 | 冠脉ct图像的斑块分类方法 |
CN110503640A (zh) * | 2018-08-21 | 2019-11-26 | 深圳科亚医疗科技有限公司 | 对医学图像进行分析的装置、系统及计算机可读介质 |
CN110310271A (zh) * | 2019-07-01 | 2019-10-08 | 无锡祥生医疗科技股份有限公司 | 颈动脉斑块的性质判别方法、存储介质及超声装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111709925A (zh) | 2020-09-25 |
US20210374950A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709925B (zh) | 用于血管斑块分析的装置、系统及介质 | |
Shi et al. | Deep learning-based attenuation map generation for myocardial perfusion SPECT | |
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
Zhao et al. | Automatic extraction and stenosis evaluation of coronary arteries in invasive coronary angiograms | |
Menze et al. | The multimodal brain tumor image segmentation benchmark (BRATS) | |
JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US9445777B2 (en) | Projection image generation apparatus, program and method | |
CN113711271A (zh) | 用于通过正电子发射断层摄影进行肿瘤分割的深度卷积神经网络 | |
US9471987B2 (en) | Automatic planning for medical imaging | |
US20150161782A1 (en) | Method of, and apparatus for, segmentation of structures in medical images | |
JP7059298B6 (ja) | 心筋ct灌流画像合成 | |
US8428316B2 (en) | Coronary reconstruction from rotational X-ray projection sequence | |
CN111429502B (zh) | 用于生成对象的中心线的方法和系统以及计算机可读介质 | |
US11508460B2 (en) | Method and system for anatomical tree structure analysis | |
CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
US20230037338A1 (en) | Method and system for anatomical tree structure analysis | |
Liu et al. | A vessel-focused 3D convolutional network for automatic segmentation and classification of coronary artery plaques in cardiac CTA | |
CN110599444B (zh) | 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质 | |
US20220222812A1 (en) | Device and method for pneumonia detection based on deep learning | |
Abbasi et al. | Automatic brain ischemic stroke segmentation with deep learning: A review | |
CN111627023B (zh) | 一种冠脉投影图像生成的方法、装置及计算机可读介质 | |
Moosavi Tayebi et al. | 3D multimodal cardiac data reconstruction using angiography and computerized tomographic angiography registration | |
Orłowski et al. | Efficient computation of Hessian-based enhancement filters for tubular structures in 3D images | |
CN111798468B (zh) | 图像处理方法及装置、存储介质及电子终端 | |
CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |