CN114998292A - 一种基于残差双注意力机制的心血管钙化斑块检测系统 - Google Patents

一种基于残差双注意力机制的心血管钙化斑块检测系统 Download PDF

Info

Publication number
CN114998292A
CN114998292A CN202210707582.1A CN202210707582A CN114998292A CN 114998292 A CN114998292 A CN 114998292A CN 202210707582 A CN202210707582 A CN 202210707582A CN 114998292 A CN114998292 A CN 114998292A
Authority
CN
China
Prior art keywords
module
attention
calcified
residual double
attention module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210707582.1A
Other languages
English (en)
Inventor
徐平
陈成
吴修柯
陈逸璇
张曼莉
黄成奇
刘亦安
严明
祝磊
薛凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210707582.1A priority Critical patent/CN114998292A/zh
Publication of CN114998292A publication Critical patent/CN114998292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于残差双注意力机制的心血管钙化斑块检测系统。本发明提出基于残差双注意力机制的分割模型，包括主干网络模块BackBone和残差双注意力模块，所述残差双注意力模块包括并联的第一注意力模块、第二注意力模块，以及融合模块；所述两个并行的注意力模块输入为所述BackBone模块的输出特征X，输出为分割结果。本发明通过构建残差双注意力机制模块，解决了网络随深度的加深会出现的梯度消失的问题，使得特征随着层层前向传播得到完整保留的信息越来越少的问题得到解决，从而使得新特征能够更加准确完整，分割出的钙化区域更加精确。

Description

一种基于残差双注意力机制的心血管钙化斑块检测系统
技术领域
本发明属于医学图像处理领域，涉及一种基于残差双注意力机制的心血管钙化斑块检测系统。
背景技术
世界上约有6％的成年人患有心血管疾病，而冠状动脉粥样硬化类疾病是造成大部分疾病患者死亡的首要原因。冠状动脉钙化斑块的产生是冠状动脉粥样硬化发展到一定程度的主要表现形式，它是机体企图遏制炎症和稳定粥样硬化斑块的结果，是一个可调控的过程。冠状动脉钙化是冠脉粥样硬化的主要标识之一，其含量可以对心血管疾病事件进行有效的预测。所以，能够在早期发现沉积在血管上的冠状动脉粥样硬化斑块对于心血管疾病的治疗至关重要。因此，研究探索关于心血管钙化斑块检测方法有一定意义。
在心血管疾病的预防和治疗中，钙化斑块的精准检测和识别具有重要的研究意义。而对心血管疾病患者的CTA(CT血管造影)图像中的钙化斑块区域进行准确完整的检测，属于图像分割的领域。以往的图像分割多是采用模式识别的方法进行，根据阈值、边缘、区域增长、模糊集理论和图论等分割特点进行分类。已提出用于钙化区域分割的模式识别方法有k-均值聚类、随机森林等方法。通过位置、大小、形状和强度特征等描述要分类的候选钙化层。Toumoulin等选择冠状动脉内外边界之间较高强度的区域作为钙化斑块。Wesarg等观察到斑块动脉的管腔比正常动脉的管腔狭窄，因此可以通过结合管腔半径和管腔强度特征检测钙化斑块。Wang和Liatsis通过假设正常动脉具有圆形横截面来定位钙化狭窄。由于定量方法需要末端位点的正常横截面以计算斑块体积，因此斑块位置的先验知识对斑块的准确识别是必不可少的。Kurkure等和Brunner等以心脏为中心提出了心脏坐标系。同样，Sánchez，等描述了相对于解剖界标的候选位置。
Figure BDA0003705995340000012
等使用多图集配准来估计冠状动脉树的位置。此外，在过去的几年中，Wersag等提出了一种通过血管分割来定位钙化的方法。该自动检测算法将直径信息和灰度值进行结合，对钙化区域进行分析。Saur等用天然血管数据集自动检测和评估CT(Multi-Slice Computed Tomography，MSCT)图像中的冠状动脉钙化斑块，以获得有关每个斑块的信息。以上这些方法多是根据图像像素的底层信息来进行图像分割，需要依赖人工设计复杂的特征，只适用于当前一般问题，分割效果难以令人满意。
随着科学技术及影像医学的不断发展，近年来应用于临床的多层螺旋CT可以无创地检出及定量分析冠状动脉钙化斑块。这种无创的检查手段有望成为冠心病检查及评估的首选方法。其后处理重建方法的选择对钙化斑块的检出和积分的计算非常关键。目前临床医生主要通过观察医学影像来诊断病情。但由于冠状动脉管径细小，分支较多，在心脏外膜表面血管走形曲折，不同病人，冠状动脉空间分布位置各异，CT断层图像通常只能显示众多冠状动脉分支血管的截面，医生很难在薄层扫描获得的大量断层图像中跟踪观察某支血管。而且扫描过程中常会由于心脏博动产生运动伪影增加医生辨识细小血管的难度。
因此钙化斑块的检测定位并计算钙化积分的冠心病病灶区域智能检测研究，能通过定量计算判断冠状动脉是否狭窄，精确定位狭窄区的位置，多角度多方位地观察冠状动脉血管全程，为医生定量分析冠状动脉粥样硬化程度，定位钙化区，使医生对血管长度，病变位置及诊断更加直观，更为准确。
发明内容
本发明的目的是为了克服现有方法的局限性，提供一种基于残差双注意力机制的心血管钙化斑块检测系统。
一种基于残差双注意力机制的心血管钙化斑块检测系统包括：
数据获取以及预处理模块，用于获取心血管的DICOM(Digital Imaging andCommunications in Medicine)数据，然后将其转化为CTA图像以及对应的mask(掩膜)子图；然后对mask子图进行二值化处理；
心血管钙化斑块分割模块，用于利用训练好的基于残差双注意力机制的分割模型实现对上述CTA图像的心血管钙化区域进行特征提取；
所述基于残差双注意力机制的分割模型，输入为CTA图像以及对应的mask子图，输出为分割结果；
所述基于残差双注意力机制的分割模型包括主干网络模块BackBone和残差双注意力模块；
所述BackBone模块包括依次级连的卷积层、最大池化层、四个叠加层、池化层；
所述的四个叠加层分别包括数量分别是[3,4,6,3]的Blocks，每个Blocks包括一个3层卷积、一个激活函数、一个最大池化层；
作为优选，所述的3层卷积的卷积核大小分别为1×1，3×3，1×1，所述激活函数为非线性激活函数；
所述残差双注意力模块包括并联的第一注意力模块、第二注意力模块，以及融合模块；所述并联的第一注意力模块、第二注意力模块的输入为所述BackBone模块的输出特征X，输出为分割结果；
所述第一注意力模块包括一个卷积层和一个softmax层；
所述第一注意力模块将所得特征映射通过计算输出第一注意力模块最终特征；具体是：
1)原始特征A(C×H×W)，通过所述卷积层来生成两个新特征映射B和F接着把所述两个新特征映射B和F变形为C×N，其中N＝H×W是像素数量，然后在F的转置和B之间使用矩阵相乘，再通过所述softmax层来计算空间注意力映射sji(N×N)：
Figure BDA0003705995340000031
其中sji表示衡量第一注意力模块第i个位置对第j个位置的影响。两个位置的特征表示越相似，它们之间的相关性就越强。Bi和Fj分别是B上的第i个位置的局部特征和F上第j个位置的局部特征。
2)原始特征A通过所述一个卷积层来生成新特征映射D(C×H×W)并变形为C×N，接着D的各个位置上的局部特征Di和转置后sji的各个位置使用矩阵相乘，并将结果变形为C×H×W。最后通过放缩参数α乘它，并与原始特征A的各个位置上的局部特征Aj相加来获取第j个位置上的最终输出
Figure BDA0003705995340000032
如下：
Figure BDA0003705995340000033
其中Aj表示A第j个位置的局部特征，Di表示D第i个位置的局部特征。按照上述公式，遍历j，合并
Figure BDA0003705995340000041
得到最终输出E1；
所述第二注意力模块直接将原始特征通过计算输出第二注意力模块最终输出；具体是：
将原始特征A变形成(C×N)，接着将原始特征A与原始特征A的转置使用矩阵乘法，通过所述softmax层来获取通道注意力映射xji(C×C)：
Figure BDA0003705995340000042
其中xji衡量了第二注意力模块第i个通道对第j个通道的影响。Ai和Aj分别是原始特征A第i个位置和第j个位置的局部特征。对xji的转置和Ai用矩阵乘法并将结果变形成C×H×W。然后使用放缩参数β乘结果并与Aj逐元素相加获第二注意力模块第j个位置最终输出
Figure BDA0003705995340000043
Figure BDA0003705995340000044
按照上述公式，遍历j，合并
Figure BDA0003705995340000045
得到最终输出E2；
所述融合模块是将所述第一注意力模块最终输出E1和所述第二注意力模块最终输出E2与原始特征A相加得到一个新的特征，再将第一注意力模块得到的结果E1和第二注意力模块得到的结果E2和这个新的特征分别上采样再将三组结果相加到分割结果；
钙化积分计算模块，用于将分割后的钙化区域进行钙化程度计算；具体是：
1)设置CT值分割阈值a1、a2、a3，0＜a1＜a2＜a3；
2)获取所述基于注意力机制的分割模型分割得到多个钙化区域，确定上述各钙化区域的平均CT值；按照预设的CT值分割阈值将上述钙化区域进行划分，得到平均CT值在(0,a1]，(a1,a2]，(a2,a3]，(a3,+∞]的4个钙化分区；
3)对平均CT值在(0,a1]，(a1,a2]，(a2,a3]，(a3,+∞]的4个钙化分区分别进行权重系数赋分；
4)将DICOM图像像素值(灰度值)转换为CT值；再通过像素点得到钙化斑块分割结果的钙化区域面积；具体是：
首先获取两个DICOM Tag信息：rescale intercept和rescale slope；
然后通过公式计算得到CT值：
Hu＝pixel_val×rescal_slope+rescal_intercept
其中，pixel_val是第i个像素的灰度值，Hu是第i个像素的CT值；
5)根据所述钙化区域面积以及权重系数赋分进行Agatston积分计算；
AS＝Σ(钙化面积×权重系数)
所述权重系数赋分根据病变的CT值，CT值越高，权重系数越大。
本发明的另一个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的系统。
本发明的又一个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的系统。
基于残差双注意力机制的心血管钙化斑块检测系统具有以下特点：
1.数据处理模块能够将原始的DICOM数据转化成更加直观的图片数据，能够更好的观察检测结果和为分割模块提供原始数据。
2.通过构建残差双注意力机制模块，解决了网络随深度的加深会出现的梯度消失的问题，使得特征随着层层前向传播得到完整保留的信息越来越少的问题得到解决，从而使得得出的新的特征能够更加准确完整，分割出的钙化区域更加精确。
3.积分计算模块以分割模块分割出的图像作为输入，通过已经分割出的钙化区域来计算钙化积分的值从而能够预测发生心血管疾病风险。
附图说明
图1是本发明提出的钙化斑块检测及其钙化积分Agatston计算的整个过程；
图2是本发明提出的分割模块中BackBone的主要结构；
图3是本发明提出的分割模块中残差双注意力机制的主要结构。
具体实施方式
以下结合附图对发明作进一步说明。
一种基于残差双注意力机制的心血管钙化斑块检测系统采用以下方法，如图1具体步骤如下：
步骤1：对用于模型输入的CTA图数据进行处理；
将从医院拿到的原始DICOM数据进行处理，将每一个文档里包含的钙化斑块信息转换为CTA图像以及对应钙化斑块mask图(一张mask图上包含相应CTA图像的所有钙化斑块位置信息)，确保输入训练网络的所有心血管病人的CTA图像和mask图都能实现一一对应，图片尺寸大小都为512×512。并且对mask图进行二值化；
步骤2：构建基于残差双注意力机制的分割模型；
2-1构建BackBone。所述的BackBone部分是由基于残差网络构成，其具体结构如图2所示，首先是一个卷积核大小为3的卷积层和一个全连接层，之后连接了四个叠加层layer1-layer4，叠加层对应的Blocks数量分别是[3,4,6,3]，每个Blocks由一个3层卷积，分别为1×1，3×3，1×1大小的卷积核组成，激活函数为非线性激活函数。最后经由一个最大池化层将特征输入到两个注意力模块；
2-2构建注意力机制网络，注意力机制部分如图3所示，经由BackBone部分的输出结果为特征X，X作为输入经过一个卷积层输出A分别送到两个注意力模块。第一注意力模块给定局部特征A(C×H×W)，我们首先将其放入一个卷积层来生成两个新特征映射B和F，接着把他们变形为C×N，其中N＝H×W，它是像素数量。然后我们在F的转置和B之间使用矩阵相乘，再应用softmax层来计算空间注意力映射sji(N×N)：
Figure BDA0003705995340000061
其中sji衡量了第i个位置对第j个位置的影响。两个位置的特征表示越相似，它们之间的相关性就越强。Bi和Fj分别是B上的第i个位置的局部特征和F上第j个位置的局部特征。同时，我们将特征A放入卷积层来生成新特征映射D(C×H×W)并变形为C×N。接着在D和转置后的S使用矩阵相乘，并将结果变形为C×H×W。最终，我们通过放缩参数α乘它，并与A元素级相加来获取最终输出
Figure BDA0003705995340000071
如下：
Figure BDA0003705995340000072
其中Aj表示A第j个位置的局部特征，Di表示D第i个位置的局部特征；按照上述公式，遍历j，合并
Figure BDA0003705995340000073
得到最终输出E1；
第二注意力模块与第一注意力模块不同，直接从原始特征A(C×H×W)计算通道注意力映射X(C×C)。将A变形成(C×N)，接着将A与A的转置使用矩阵乘法，最终使用softmax层来获取通道注意力映射xji(C×C)：
Figure BDA0003705995340000074
其中xji衡量了第i个通道对第j个通道的影响。Ai和Aj分别是原始特征A第i个位置和第j个位置的局部特征，对xji的转置和A使用矩阵乘法并将结果变形成C×H×W。然后使用放缩参数β乘结果并与A逐元素相加获得最终输出
Figure BDA0003705995340000075
Figure BDA0003705995340000076
按照上述公式，遍历j，合并
Figure BDA0003705995340000077
得到最终输出E2；
其中β从0逐渐学得权重。上式表明每个通道的最终特征是所有通道特征和原始特征的加权求和，它帮助提升特征可辨性；
最后将第一注意力模块最终输出和第二注意力模块最终输出与原始特征相加得到一个新的特征，再将第一注意力模块得到的结果和第二注意力模块得到的结果和这个新的特征分别上采样然后将三组结果相加到分割结果；
步骤3：训练基于残差双注意力机制的模型；
3-1构建训练数据集，基于多注意力机制视觉增强模型在使用时需要使用固定大小的CTA数据作为训练样本，即将所有用于训练的图像数据通过预处理后转化为相同的长度，且相对应的mask图归一化到0～1范围内。训练样本的标签为钙化和背景；
步骤4：应用基于残差双注意力机制的模型检测；
4-1将用于检测的测试数据输入训练模型进行检测；
步骤5：钙化积分Agatston的计算，计算过程如图1所示，Agatston积分由钙化面积、体积、血管分布等因素决定，其计算的过程如下：
5-1 CT值的测量及分割方法：
选择具体钙化斑块作为兴趣区，确定出其平均CT值。并且按照CT值单位将每个具体钙化斑块分割为四部分，计算分割后每一部分所占比率，即130～199HU、200～299HU、300～399HU及≥400HU。
5-2 DICOM图像像素值(灰度值)转换为CT值
首先，需要读取两个DICOM Tag信息：rescale intercept和rescale slope。
然后通过公式计算得到CT值：
Hu＝pixel_val×rescal_slope+rescal_intercept
其中，pixel_val是第i个像素的灰度值，Hu是第i个像素的CT值。
5-3通过像素点得到钙化斑块分割结果的钙化区域面积；
5-4 Agatston积分计算；
Agatston积分(Agatston Score,AS)及其修正方法是目前最常用的钙化积分，也是绝大多数医院影像报告中出现的积分。Agatston积分由钙化面积、体积、血管分布等因素决定，其计算的原理为：
AS＝Σ(钙化面积×权重系数)
如图1所示，首先根据分割出的钙化区域构造出3D连通体，然后根据病变的CT值进行权重系数赋分，CT值越高，权重系数越大。
病变CT值 权重系数
130-199HU 1分
200-299HU 2分
300-399HU 3分
400HU及以上 4分
每一层的钙化积分等于该层钙化区域面积与权重值的乘积，每一个连通体的钙化积分则是该连通体所有层数的钙化积分值之和，分值越高发生心血管疾病风险就越高。当遍历完所有连通体后则输出各个连通体的钙化积分值否则继续遍历并计算。

Claims (8)

1.一种基于残差双注意力机制的心血管钙化斑块检测系统，其特征在于包括：
数据获取以及预处理模块，用于获取心血管的DICOM数据，然后将其转化为CTA图像以及对应的mask子图；然后对mask子图进行二值化处理；
心血管钙化斑块分割模块，用于利用训练好的基于残差双注意力机制的分割模型实现对上述CTA图像的心血管钙化区域进行特征提取；
所述基于残差双注意力机制的分割模型，输入为CTA图像以及对应的mask子图，输出为分割结果；所述基于残差双注意力机制的分割模型包括主干网络模块BackBone和残差双注意力模块；
所述主干网络模块BackBone包括依次级连的卷积层、最大池化层、四个叠加层、池化层；
所述残差双注意力模块包括并联的第一注意力模块、第二注意力模块，以及融合模块；所述第一注意力模块、第二注意力模块的输入为所述BackBone模块的输出特征X，输出为分割结果；
所述第一注意力模块包括一个卷积层和一个softmax层；将所得特征映射通过计算输出第一注意力模块最终特征；具体是：
1)大小为C×H×W的原始特征A，通过所述卷积层生成两个新特征映射B和F，接着把所述两个新特征映射B和F变形为C×N，其中N＝H×W是像素数量，然后在F的转置和B之间使用矩阵相乘，再通过所述softmax层来计算空间注意力映射sji(N×N)：
Figure FDA0003705995330000011
其中sji表示衡量第一注意力模块第i个位置对第j个位置的影响，Bi和Fj分别是B上的第i个位置的局部特征和F上第j个位置的局部特征；
2)原始特征A通过所述一个卷积层来生成大小为C×H×W的新特征映射D，并变形为C×N，接着D的各个位置上的局部特征Di和转置后sji的各个位置使用矩阵相乘，并将结果变形为C×H×W，最后乘以放缩参数α，并与原始特征A的各个位置上的局部特征Aj相加来获取第j个位置上的最终输出大小为C×H×W的
Figure FDA0003705995330000021
Figure FDA0003705995330000022
其中Aj表示A第j个位置的局部特征，Di表示D第i个位置的局部特征；按照上述公式，遍历j，合并
Figure FDA0003705995330000023
得到最终输出E1；
所述第二注意力模块直接将原始特征通过计算输出第二注意力模块最终输出；具体是：
将原始特征A变形成C×N，接着将原始特征A与原始特征A的转置使用矩阵乘法，通过所述softmax层来获取通道注意力映射大小为C×C的xji：
Figure FDA0003705995330000024
其中xji衡量第二注意力模块第i个通道对第j个通道的影响，Ai和Aj分别是原始特征A第i个位置和第j个位置的局部特征；
对xji的转置和Ai用矩阵乘法并将结果变形成C×H×W，然后使用放缩参数β乘结果并与Aj逐元素相加获第二注意力模块第j个位置最终输出大小为C×H×W的
Figure FDA0003705995330000025
Figure FDA0003705995330000026
按照上述公式，遍历j，合并
Figure FDA0003705995330000027
得到最终输出E2；
所述融合模块是将所述第一注意力模块最终输出E1和所述第二注意力模块最终输出E2与原始特征A相加得到一个新的特征，再将第一注意力模块得到的结果E1和第二注意力模块得到的结果E2和这个新的特征分别上采样再将三组结果相加到分割结果；
钙化积分计算模块，用于将分割后的钙化区域进行钙化程度计算。
2.如权利要求1所述系统，其特征在于所述基于残差双注意力机制的分割模型的主干网络模块BackBone中四个叠加层分别包括数量分别是[3,4,6,3]的Blocks，每个Blocks包括一个3层卷积、一个激活函数、一个最大池化层。
3.如权利要求2所述系统，其特征在于所述的3层卷积的卷积核大小分别为1×1，3×3，1×1。
4.如权利要求2所述系统，其特征在于所述激活函数为非线性激活函数。
5.如权利要求1所述系统，其特征在于所述钙化积分计算模块具体是：
1)设置CT值分割阈值a1、a2、a3，0＜a1＜a2＜a3；
2)获取所述基于注意力机制的分割模型分割得到多个钙化区域，确定上述各钙化区域的平均CT值；按照预设的CT值分割阈值将上述钙化区域进行划分，得到平均CT值在(0,a1]，(a1,a2]，(a2,a3]，(a3,+∞]的4个钙化分区；
3)对平均CT值在(0,a1]，(a1,a2]，(a2,a3]，(a3,+∞]的4个钙化分区分别进行权重系数赋分；
4)将DICOM图像像素值转换为CT值；再通过像素点得到钙化斑块分割结果的钙化区域面积；
5)根据所述钙化区域面积以及权重系数赋分进行Agatston积分计算；
AS＝Σ(钙化面积×权重系数)
其中权重系数赋分根据病变的CT值设定。
6.如权利要求5所述系统，其特征在于步骤4)具体是：
首先获取两个DICOMTag信息：rescaleintercept和rescale slope；
然后通过公式计算得到CT值：
Hu＝pixel_val×rescal_slope+rescal_intercept
其中，pixel_val是第i个像素的灰度值，Hu是第i个像素的CT值。
7.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的系统。
8.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的系统。
CN202210707582.1A 2022-06-21 2022-06-21 一种基于残差双注意力机制的心血管钙化斑块检测系统 Pending CN114998292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210707582.1A CN114998292A (zh) 2022-06-21 2022-06-21 一种基于残差双注意力机制的心血管钙化斑块检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210707582.1A CN114998292A (zh) 2022-06-21 2022-06-21 一种基于残差双注意力机制的心血管钙化斑块检测系统

Publications (1)

Publication Number Publication Date
CN114998292A true CN114998292A (zh) 2022-09-02

Family

ID=83036840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210707582.1A Pending CN114998292A (zh) 2022-06-21 2022-06-21 一种基于残差双注意力机制的心血管钙化斑块检测系统

Country Status (1)

Country Link
CN (1) CN114998292A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713626A (zh) * 2022-11-21 2023-02-24 山东省人工智能研究院 一种基于深度学习的3d冠脉cta斑块识别方法
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713626A (zh) * 2022-11-21 2023-02-24 山东省人工智能研究院 一种基于深度学习的3d冠脉cta斑块识别方法
CN115713626B (zh) * 2022-11-21 2023-07-18 山东省人工智能研究院 一种基于深度学习的3d冠脉cta斑块识别方法
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统

Similar Documents

Publication Publication Date Title
US11576621B2 (en) Plaque vulnerability assessment in medical imaging
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
Wu et al. Automatic detection of coronary artery stenosis by convolutional neural network with temporal constraint
CN111476757B (zh) 一种冠脉斑块数据检测方法、系统、存储介质、终端
Han et al. Deep learning analysis in coronary computed tomographic angiography imaging for the assessment of patients with coronary artery stenosis
US8139836B2 (en) Automatic segmentation of the heart and aorta in medical 3-D scans without contrast media injections
CN110490040B (zh) 一种识别dsa冠状动脉图像中局部血管狭窄程度的方法
CN103337096B (zh) 一种冠状动脉ct造影图像钙化点检测方法
US20220284583A1 (en) Computerised tomography image processing
CN114998292A (zh) 一种基于残差双注意力机制的心血管钙化斑块检测系统
CN110448319B (zh) 基于造影影像及冠状动脉的血流速度计算方法
CN106447645A (zh) 增强ct图像中冠脉钙化检测及量化装置和方法
US8649843B2 (en) Automated calcium scoring of the aorta
Nishi et al. Deep learning-based intravascular ultrasound segmentation for the assessment of coronary artery disease
Jawaid et al. Framework for detection and localization of coronary non-calcified plaques in cardiac CTA using mean radial profiles
CN112862833A (zh) 血管分段方法、电子装置和存储介质
CN112308846B (zh) 血管分割方法、装置及电子设备
WO2022105623A1 (zh) 一种基于迁移学习的颅内血管病灶识别方法
Arora et al. A state-of-the-art review on coronary artery border segmentation algorithms for intravascular ultrasound (IVUS) images
Khaled et al. Automatic fuzzy-based hybrid approach for segmentation and centerline extraction of main coronary arteries
Al-Oudat et al. An Interactive automation for human biliary tree diagnosis using computer vision
CN113223704B (zh) 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
Zhao et al. Automated breast lesion segmentation from ultrasound images based on ppu-net
Zhan et al. Recognition of angiographic atherosclerotic plaque development based on deep learning
Radovanovic et al. Carotid Artery Segmentation Using Convolutional Neural Network in Ultrasound Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination