CN108492272A - 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 - Google Patents

基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 Download PDF

Info

Publication number
CN108492272A
CN108492272A CN201810254788.7A CN201810254788A CN108492272A CN 108492272 A CN108492272 A CN 108492272A CN 201810254788 A CN201810254788 A CN 201810254788A CN 108492272 A CN108492272 A CN 108492272A
Authority
CN
China
Prior art keywords
image
vulnerable plaque
attention model
neural network
cardiovascular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810254788.7A
Other languages
English (en)
Other versions
CN108492272B (zh
Inventor
辛景民
白琼
石培文
刘思杰
邓杨阳
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810254788.7A priority Critical patent/CN108492272B/zh
Publication of CN108492272A publication Critical patent/CN108492272A/zh
Application granted granted Critical
Publication of CN108492272B publication Critical patent/CN108492272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统，方法包括，1.基于自上而下的注意力模型剔除原始极坐标图像中的噪声；2.利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割；3.对分类与分割出的易损斑块图像进行区域精修；系统包括依次连接的基于自上而下的注意力模型剔除原始极坐标图像中的噪声得到预处理图像的子系统，利用多任务神经网络对预处理图像中的易损斑块进行分类与分割的子系统，以及对分类与分割出的易损斑块图像进行区域精修的子系统。剔除了血管对后续易损斑块识别的噪声干扰,使得易损斑块定位更加准确。

Description

基于注意力模型及多任务神经网络的心血管易损斑块识别方 法及系统
技术领域
本发明属于医学图像处理领域，涉及基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统。
背景技术
易损斑块是冠状动脉粥样硬化病变当中最危险的斑块，易损斑块是造成血栓、引发急性冠脉综合症、甚至导致猝死的主要原因，因此，从各种斑块中检测识别易损斑块具有非常高的价值。心血管光学相干层成像技术是一种用近红外光反射成像的血管内成像技术,可以清晰的观察到易损斑块，为此基于光学相干层成像(OCT)的易损斑块识别已成为重要研究趋势。
针对OCT易损斑块常用性能评价标准包括：易损斑块检测的召回率R；易损斑块检测的准确率P；易损斑块检测的重合度D。
若真实目标集为{A1,A2…An}A1，A2，…An表示所有N个真实目标的区域范围；检测出的目标集为{B1，B2，…Bm},B1,B2,…Bm表示检测出的所有M个目标区域范围。
定义设nTP,nFP,nFN初始值为0；依次判断从1～M的检测区域，若任意Bi，Bj都被判为错误，不参与下面计算；若Bi与任意Ak有交集，且DSC值大于0.5，则认为该目标i检测正确，Ntp++,DSC值小于等于0.5认为该目标i检测错误，nFP++；依次判断从1～N的真实检测目标区域；若Ak与任意一个Bi没有交集，则认为该目标判为漏检，nFN++；召回率R:R＝nTP/(nTP+nFN)；准确率P:P＝nTP/(nTP+nFP)；重合度D为所有检测正确的区域与其对应真实区域的DSC值的均值，其现有OCT图像识别方法中的召回率、准确率和重合度不高，精度低，无法满足实际需求。
发明内容
本发明的目的在于提出一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统，从而高效识别出OCT图像中的易损斑块，并能够依据上述评价标准获得较为满意的召回率、准确率和重合度。
为达到上述目的，本发明所述的
一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，包括如下步骤，
步骤1，基于自上而下的注意力模型剔除原始极坐标图像中的噪声；
将原始极坐标图像通过坐标转换变换为笛卡尔坐标图像；将转换后的笛卡尔坐标图像输入自上而下的注意力模型，生成同尺寸大小的二值化噪声mask，并将其剔除后得到预处理图像；
步骤2，利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割；多任务神经网络包括两个分支，一个用于分类识别预处理图像中是否包含易损斑块图像的分支网络，另一个分支通过语义分割网络定位易损斑块图像的分支网络，两个分支网络共享两个卷积层；
结合分类与分割两个网络分支，整个多任务神经网络的损失函数表示如下：
L＝αLcls+βLseg (3)
式中，α,β代表整个网络的权重；
通过对标定好的心血管OCT易损斑块图像进行训练最小化损失函数L，求解α,β后获得最优的网络结构；完成对易损斑块图像进行分类与分割；
步骤3，对分类与分割出的易损斑块图像进行区域精修；通过中值滤波器剔除不连续的易损斑块图像的标签信息，从而识别获得心血管易损斑块图像的检测结果。
优选的，步骤1中，在不降低图像分辨率不损失图像信息的前提下，自上而下的注意力模型中应用空洞卷积层，通过多个空洞卷积层，使得图像感受视野指数级增加。
优选的，步骤1中自上而下的注意力模型中融入有坐标转换，将最终的特征图谱从极坐标转换为笛卡尔坐标，最后连接softmax层实现像素级分类，生成同尺寸大小的二值化噪声mask。
优选的，步骤1中，将获得的二值化噪声mask与原始极坐标图像的笛卡尔坐标图像相乘剔除心血管OCT图像中的噪声部分；所述的噪声部分包括成像导管、成像探头以及血管。
优选的，步骤2中，对于分类识别预处理图像中是否包含易损斑块图像的分支网络，分支网络的输入是预处理图像x,输出y是预处理图像分类结果，其中y∈{0,1}，取值为0代表预处理图像不包括易损斑块，取值为1代表包含易损斑块；
在n张训练图像中损失函数定义如下:
yi表示分别识别分支网络中分类与分割出的易损斑块图像的真实标签，表示图像yi中像素点预测概率。
优选的，步骤2中，对于通过语义分割网络定位易损斑块图像的分支网络，将像素级分类转换为列分类；假设分支网络输入的预处理图像尺寸为M*N，通过多次卷积和反卷积层，网络生成了对应大小为M*N的特征映射图像，之后使用尺寸为M*1的卷积核，步幅设为1可生成尺寸为1*N的特征映射；对应的损失函数定义为：
式中i代表输入图像的个数，yj表示语义分割分支网络中分割出的易损斑块图像的真实标签，代表图像yj中每个像素点的预测概率。
一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，包括依次连接的基于自上而下的注意力模型剔除原始极坐标图像中的噪声得到预处理图像的子系统，利用多任务神经网络对预处理图像中的易损斑块进行分类与分割的子系统，以及对分类与分割出的易损斑块图像进行区域精修的子系统。
优选的，所述基于自上而下的注意力模型剔除原始极坐标图像中的噪声的子系统用于将原始极坐标图像通过坐标转换变换为极坐标图像，将转换后的图像输入自上而下的注意力模型，生成同尺寸大小的二值化噪声mask，并将其剔除后得到预处理图像。
优选的，利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割的子系统，包括两个分支，一个用于分类识别预处理图像中是否包含易损斑块图像，另一个分支通过语义分割网络定位易损斑块图像。
优选的，对分类与分割出的易损斑块图像进行区域精修的子系统用于根据先验统计信息确定中值滤波器中的像素大小，并通过该确定像素大小后的中值滤波器剔除不连续的易损斑块标签信息，输出更为精确的检测结果。
本发明具有以下有益效果：
本发明所述的基于注意力模型及多任务神经网络的心血管易损斑块识别方法和系统，在识别心血管OCT易损斑块过程中，通过自上而下的注意力模型得到二值化噪声，从而有效的利用先验知识剔除了血管对后续易损斑块识别的噪声干扰。再通过多任务神经网络对易损斑块进行分类与分割，对OCT图像中的易损斑块进行分类和分割，由于分类任务和分割任务具有相同的底部特征，在训练过程中我们通过比对分类结果实时剔除分割过程的非易损斑块负样本，从而使得易损斑块定位更加准确。最后通过中值滤波器剔除不连续的易损斑块标签信息，使得最终检测结果更为精确。本发明通过串联两个深度学习网络，实现了end-to-end网络结构，只需要输入原始图像，便可获得最终分割结果，使用方便，操作简单，精度高，实用性强。
附图说明
图1为本发明实例中所述系统的结构示意图；
图2a为本发明实例中所述极坐标下心血管OCT图像；
图2b为本发明实例中所述笛卡尔坐标下心血管OCT图像；
图3a为本发明实例中所述极坐标下噪声示意图；
图3b为本发明实例中所述笛卡尔坐标下噪声示意图；
图4a为本发明实例中所述基于注意力模型流程图；
图4b为本发明实例中所述基于注意力模型自上而下的注意力模型结构图；
图5a-d为本发明实例中所述感兴趣区域多情况提取效果图；
图6a-b为本发明实例中所述感兴趣区域双坐标提取效果对比图；
图7为本发明实例中所述Multi-task网络结构图；
图8为本发明实例中所述区域精修流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1，本发明所述的基于注意力模型及多任务神经网络的心血管易损斑块识别系统，包括基于自上而下的注意力模型剔除原始极坐标图像中的噪声的子系统；利用多任务神经网络对预处理图像中易损斑块图像进行分类与分割子系统，以及对分类与分割出的易损斑块图像进行区域精修子系统。所述基基于自上而下的注意力模型剔除原始极坐标图像中的噪声的子系统的输出端经利用多任务神经网络对预处理图像中易损斑块图像进行分类与分割子系统与对分类与分割出的易损斑块图像进行区域精修子系统的输入端相连接。
所述基于自上而下的注意力模型剔除原始极坐标图像中的噪声的子系统的工作过程如图4a所示为：
将图2a所示原始极坐标图像(352*720)通过坐标转换变换为图2b笛卡尔坐标图像(400*400)；
将转换后的笛卡尔坐标图像输入自上而下的注意力模型；在不降低图像分辨率不损失图像信息的前提下，自上而下的注意力模型中还应用了空洞卷积层，通过多个空洞卷积层(dilated cov)，本优选实例中采用3*3的卷积核，使得图像感受视野指数级增加。具体的，自上而下的注意力模型如图4b所示为全卷积神经网络FCN,由2个卷积层，2个pooling层，5个空洞卷积层(结构如表1所示)；
还将坐标转换融入网络中，实现将最终的特征图谱(feature map)从极坐标转换为笛卡尔坐标，最后连接softmax层实现像素级分类，生成同尺寸大小的二值化噪声mask，笛卡尔坐标下的噪声如图3a所示，极坐标下的噪声如图3b所示，噪声主要包括成像导管、成像探头以及血管；
而后将获得的mask与原始极坐标图像的笛卡尔坐标图像(400*400)相乘剔除心血管OCT图像中的噪声部分。经过该系统剔除噪声后的结果如图5a-d中的4组图)及图6a-b中的两组图所示，剔除精度可达99.15％，而且具有较强的鲁棒性，不同的血管形态，不同的拍摄角度，不同的坐标下都能够准确识别并剔除。
表1自上而下的注意力模型中空洞卷积层结构示意表
Layer 1 2 3 4 5
Filter size 3*3 3*3 3*3 3*3 3*3
Dilation(w,h) (2,2) (4,4) (8,8) (16,16) \
Receptive field 7*7 15*15 31*31 63*63 63*63
所述利用多任务神经网络(multi-task)对易损斑块进行分类与分割子系统工作过程如图7所示为：
多任务神经网络(Multi-task网络)体系结构包括两个分支，一个用于分类识别图像中是否包含易损斑块，另一个分支通过语义分割网络定位易损斑块，两个分支共享两个卷积层。
对于分类网络，网络的输入是图像x,输出是y，其中y∈{0,1}表示图像x的对应标签。在n张训练图像中损失函数定义如下:
yi表示分别识别分支网络中分类与分割出的易损斑块图像的真实标签，表示图像yi中像素点预测概率。
对于语义分割网络，为了在不降低图像分辨率损失图像信息的前提下也引入6层空洞卷积层(结构如表2所示)，扩大网络感知视野，提升分割精度。与此同时，由于图像中同一列中的label值相同，为了提升运算性能，我们将像素级分类转换为列分类。假设网络的输入图像尺寸为M*N，通过多次卷积和反卷积层，网络生成了对应大小为M*N的特征映射图像，之后使用尺寸为M*1的卷积核，步幅设为1可生成尺寸为1*N的特征映射。对应的损失函数定义为：
式中i代表输入图像的个数，yj表示语义分割分支网络中分类与分割出的易损斑块图像的真实标签，代表图像yj中每个像素点的预测概率。
结合分类与分割网络，整个Multi-task网络的损失函数表示如下：
L＝αLcls+βLseg (3)
式中α,β代表整个网络的权重，通过对2000张标定好的心血管OCT易损斑块图像进行训练，最小化损失函数L，求解α,β我们可以获得最优的网络结构。
表2 Multi-task网络中空洞卷积层结构示意表
Layer 1 2 3 4 5 6
Filter size 3*3 3*3 3*3 3*3 3*3 1*1
Dilation(w,h) (1,2) (2,4) (4,8) (8,16) (16，32) \
Receptive field 5*7 9*15 17*31 33*63 65*129 65*129
所述区域精修子系统的工作过程如图8所示为：根据先验统计信息，利用3*3像素大小的中值滤波器剔除不连续的易损斑块标签信息，从而获得更为精确的检测结果。
对上述检测结果进行验证性试验
本发明是通过使用2017CCCV-IVOCT心血管OCT易损斑块识别技术挑战赛所提供的公开数据集进行测试，其中包括手动标记的2000张训练图像(1000张含有易损斑块的正样本图像以及1000张不含易损斑块的负样本图像)，测试样本由300张图像构成。
我们针对OCT易损斑块常用性能评价标准：易损斑块检测的召回率R；易损斑块检测的准确率P；易损斑块检测的重合度D,设计了最终的综合评价指标S:S＝0.5*(2*P*R)/(P+R))+0.5*D,S值越大，易损斑块识别效果越好。并设立了四个对比实验来验证我们所提出的DomainNet+Multi-task网络效果，包括：用原始图像按列进行分类(Raw+Cls)、用自上而下的注意力模型处理后图像再按列进行分类(DomainNet+Cls)、用原始图像进行分割(Raw+Seg)、用DomainNet处理后的图像分割(DomainNet+Seg),具体检测结果如表3所示，我们所提出的DomainNet+Multi-task网络可以将分类结果的召回率R提高近8个点(0.9393)，并将最终的得分S提高近5个点(0.8767)。
表3易损斑块识别效果对比表

Claims (10)

1.一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，包括如下步骤，
步骤1，基于自上而下的注意力模型剔除原始极坐标图像中的噪声；
将原始极坐标图像通过坐标转换变换为笛卡尔坐标图像；将转换后的笛卡尔坐标图像输入自上而下的注意力模型，生成同尺寸大小的二值化噪声mask，并将其剔除后得到预处理图像；
步骤2，利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割；多任务神经网络包括两个分支，一个用于分类识别预处理图像中是否包含易损斑块图像的分支网络，另一个分支通过语义分割网络定位易损斑块图像的分支网络，两个分支网络共享两个卷积层；
结合分类与分割两个网络分支，整个多任务神经网络的损失函数表示如下：
L＝αLcls+βLseg (3)
式中，α,β代表整个网络的权重；
通过对标定好的心血管OCT易损斑块图像进行训练最小化损失函数L，求解α,β后获得最优的网络结构；完成对易损斑块图像进行分类与分割；
步骤3，对分类与分割出的易损斑块图像进行区域精修；通过中值滤波器剔除不连续的易损斑块图像的标签信息，从而识别获得心血管易损斑块图像的检测结果。
2.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，步骤1中，在不降低图像分辨率不损失图像信息的前提下，自上而下的注意力模型中应用空洞卷积层，通过多个空洞卷积层，使得图像感受视野指数级增加。
3.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，步骤1中自上而下的注意力模型中融入有坐标转换，将最终的特征图谱从极坐标转换为笛卡尔坐标，最后连接softmax层实现像素级分类，生成同尺寸大小的二值化噪声mask。
4.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，步骤1中，将获得的二值化噪声mask与原始极坐标图像的笛卡尔坐标图像相乘剔除心血管OCT图像中的噪声部分；所述的噪声部分包括成像导管、成像探头以及血管。
5.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，步骤2中，对于分类识别预处理图像中是否包含易损斑块图像的分支网络，分支网络的输入是预处理图像x,输出y是预处理图像分类结果，其中y∈{0,1}，取值为0代表预处理图像不包括易损斑块，取值为1代表包含易损斑块；
在n张训练图像中损失函数定义如下:
yi表示分别识别分支网络中分类与分割出的易损斑块图像的真实标签，表示图像yi中像素点预测概率。
6.根据权利要求1所述的一种基于注意力模型及多任务神经网络的心血管易损斑块识别方法，其特征在于，步骤2中，对于通过语义分割网络定位易损斑块图像的分支网络，将像素级分类转换为列分类；假设分支网络输入的预处理图像尺寸为M*N，通过多次卷积和反卷积层，网络生成了对应大小为M*N的特征映射图像，之后使用尺寸为M*1的卷积核，步幅设为1可生成尺寸为1*N的特征映射；对应的损失函数定义为：
式中i代表输入图像的个数，yj表示语义分割分支网络中分割出的易损斑块图像的真实标签，代表图像yj中每个像素点的预测概率。
7.一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，包括依次连接的基于自上而下的注意力模型剔除原始极坐标图像中的噪声得到预处理图像的子系统，利用多任务神经网络对预处理图像中的易损斑块进行分类与分割的子系统，以及对分类与分割出的易损斑块图像进行区域精修的子系统。
8.根据权利要求7所述一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，所述基于自上而下的注意力模型剔除原始极坐标图像中的噪声的子系统用于将原始极坐标图像通过坐标转换变换为极坐标图像，将转换后的图像输入自上而下的注意力模型，生成同尺寸大小的二值化噪声mask，并将其剔除后得到预处理图像。
9.根据权利要求7所述一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，利用多任务神经网络对预处理图像中的易损斑块图像进行分类与分割的子系统，包括两个分支，一个用于分类识别预处理图像中是否包含易损斑块图像，另一个分支通过语义分割网络定位易损斑块图像。
10.根据权利要求7所述一种基于注意力模型及多任务神经网络的心血管易损斑块识别系统，其特征在于，对分类与分割出的易损斑块图像进行区域精修的子系统用于根据先验统计信息确定中值滤波器中的像素大小，并通过该确定像素大小后的中值滤波器剔除不连续的易损斑块标签信息，输出更为精确的检测结果。
CN201810254788.7A 2018-03-26 2018-03-26 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 Active CN108492272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254788.7A CN108492272B (zh) 2018-03-26 2018-03-26 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254788.7A CN108492272B (zh) 2018-03-26 2018-03-26 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统

Publications (2)

Publication Number Publication Date
CN108492272A true CN108492272A (zh) 2018-09-04
CN108492272B CN108492272B (zh) 2021-01-19

Family

ID=63337836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254788.7A Active CN108492272B (zh) 2018-03-26 2018-03-26 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统

Country Status (1)

Country Link
CN (1) CN108492272B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN109583496A (zh) * 2018-11-28 2019-04-05 武汉精立电子技术有限公司 一种用于显示面板大面积缺陷分类的网络模型及方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109712119A (zh) * 2018-12-13 2019-05-03 深圳先进技术研究院 一种磁共振成像及斑块识别方法和装置
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109859201A (zh) * 2019-02-15 2019-06-07 数坤（北京）网络科技有限公司 一种非钙化斑块检出方法及其设备
CN109886269A (zh) * 2019-02-27 2019-06-14 南京中设航空科技发展有限公司 一种基于注意力机制的交通广告牌识别方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110070529A (zh) * 2019-04-19 2019-07-30 深圳睿心智能医疗科技有限公司 一种血管腔内影像分割方法、系统及电子设备
CN110084279A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN110378895A (zh) * 2019-07-25 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于深度注意力学习的乳腺癌图像识别方法
CN110490817A (zh) * 2019-07-22 2019-11-22 武汉大学 一种基于掩模学习的图像噪声抑制方法
CN110610480A (zh) * 2019-08-02 2019-12-24 成都上工医信科技有限公司 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN111178364A (zh) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 一种图像识别方法和装置
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN111444969A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种弱监督的ivoct图像异常区域检测方法
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112734749A (zh) * 2021-01-11 2021-04-30 四川大学华西医院 一种基于卷积神经网络模型的声带白斑辅助诊断系统
CN112926697A (zh) * 2021-04-21 2021-06-08 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN113506270A (zh) * 2021-07-13 2021-10-15 北京建筑大学 一种处理下腔静脉图像的方法、系统及存储介质
CN117198514A (zh) * 2023-11-08 2023-12-08 中国医学科学院北京协和医院 一种基于clip模型的易损斑块识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102762743A (zh) * 2009-12-09 2012-10-31 阿维埃尔公司 用于心血管疾病的诊断和分类的生物标记物检验
CN103479399A (zh) * 2013-10-11 2014-01-01 华北电力大学（保定） 一种血管内超声图像序列中钙化斑块帧的自动检索方法
CN104143047A (zh) * 2014-07-21 2014-11-12 华北电力大学（保定） 血管内超声灰阶图像的自动组织标定方法
US20150003694A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Bidirectional blood vessel segmentation
CN104398271A (zh) * 2014-11-14 2015-03-11 西安交通大学 血管与斑块的三维力学及组织特性成像检测方法
US9477901B2 (en) * 2012-09-13 2016-10-25 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
CN106056126A (zh) * 2015-02-13 2016-10-26 西门子公司 医学成像中的斑块易损性评定
CN106570871A (zh) * 2016-11-02 2017-04-19 天津大学 模糊c均值颈动脉超声图像内中膜厚度测量方法及系统
CN107610117A (zh) * 2017-09-18 2018-01-19 广州慧扬健康科技有限公司 冠状动脉管腔图像自动分割系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102762743A (zh) * 2009-12-09 2012-10-31 阿维埃尔公司 用于心血管疾病的诊断和分类的生物标记物检验
US9477901B2 (en) * 2012-09-13 2016-10-25 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
US20150003694A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Bidirectional blood vessel segmentation
CN103479399A (zh) * 2013-10-11 2014-01-01 华北电力大学（保定） 一种血管内超声图像序列中钙化斑块帧的自动检索方法
CN104143047A (zh) * 2014-07-21 2014-11-12 华北电力大学（保定） 血管内超声灰阶图像的自动组织标定方法
CN104398271A (zh) * 2014-11-14 2015-03-11 西安交通大学 血管与斑块的三维力学及组织特性成像检测方法
CN106056126A (zh) * 2015-02-13 2016-10-26 西门子公司 医学成像中的斑块易损性评定
CN106570871A (zh) * 2016-11-02 2017-04-19 天津大学 模糊c均值颈动脉超声图像内中膜厚度测量方法及系统
CN107610117A (zh) * 2017-09-18 2018-01-19 广州慧扬健康科技有限公司 冠状动脉管腔图像自动分割系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A. D. ANDRUSHIA 等: ""Top down scene context based visual attention model for natural images"", 《2015 2ND INTERNATIONAL CONFERENCE ON ELECTRONICS AND COMMUNICATION SYSTEMS (ICECS)》 *
J. XU 等: ""A top-down attention model based on the semi-supervised learning"", 《2012 5TH INTERNATIONAL CONFERENCE ON BIOMEDICAL ENGINEERING AND INFORMATICS》 *
LAURENT ITTI 等: ""Mechanisms of top-down attention"", 《TRENDS IN NEUROSCIENCES》 *
Y. FANG 等: ""A visual attention model combining top-down and bottom-up mechanisms for salient object detection"", 《2011 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
刘玮 等: "《计算机视觉中的目标特征模型和视觉注意模型》", 30 September 2016, 华中科技大学出版社 *
廖播 等: "基于视觉注意力模型的医学图像目标检测", 《计算机仿真》 *
薛迪秀: ""基于卷积神经网络的医学图像癌变识别研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN109583496A (zh) * 2018-11-28 2019-04-05 武汉精立电子技术有限公司 一种用于显示面板大面积缺陷分类的网络模型及方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109598727B (zh) * 2018-11-28 2021-09-14 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109712119A (zh) * 2018-12-13 2019-05-03 深圳先进技术研究院 一种磁共振成像及斑块识别方法和装置
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109859201A (zh) * 2019-02-15 2019-06-07 数坤（北京）网络科技有限公司 一种非钙化斑块检出方法及其设备
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111598891B (zh) * 2019-02-20 2023-08-08 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN109886269A (zh) * 2019-02-27 2019-06-14 南京中设航空科技发展有限公司 一种基于注意力机制的交通广告牌识别方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN109993082B (zh) * 2019-03-20 2021-11-05 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110084279A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
CN110070529A (zh) * 2019-04-19 2019-07-30 深圳睿心智能医疗科技有限公司 一种血管腔内影像分割方法、系统及电子设备
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN110490817A (zh) * 2019-07-22 2019-11-22 武汉大学 一种基于掩模学习的图像噪声抑制方法
CN110378895A (zh) * 2019-07-25 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于深度注意力学习的乳腺癌图像识别方法
CN110610480A (zh) * 2019-08-02 2019-12-24 成都上工医信科技有限公司 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN111178364A (zh) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 一种图像识别方法和装置
CN111444969A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种弱监督的ivoct图像异常区域检测方法
CN111724365B (zh) * 2020-06-16 2021-11-09 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112734749A (zh) * 2021-01-11 2021-04-30 四川大学华西医院 一种基于卷积神经网络模型的声带白斑辅助诊断系统
CN112926697A (zh) * 2021-04-21 2021-06-08 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN112926697B (zh) * 2021-04-21 2021-10-12 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN113506270A (zh) * 2021-07-13 2021-10-15 北京建筑大学 一种处理下腔静脉图像的方法、系统及存储介质
CN117198514A (zh) * 2023-11-08 2023-12-08 中国医学科学院北京协和医院 一种基于clip模型的易损斑块识别方法及系统
CN117198514B (zh) * 2023-11-08 2024-01-30 中国医学科学院北京协和医院 一种基于clip模型的易损斑块识别方法及系统

Also Published As

Publication number Publication date
CN108492272B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN108492272A (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
Yuan et al. Vision-based defect detection for mobile phone cover glass using deep neural networks
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN106940816A (zh) 基于3d全连接卷积神经网络的ct图像肺结节检测系统
Fang et al. Crop leaf disease grade identification based on an improved convolutional neural network
CN110148162A (zh) 一种基于复合算子的异源图像匹配方法
CN113989662B (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN106250845A (zh) 基于卷积神经网络的火焰检测方法及装置
CN107705288A (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN110135271A (zh) 一种细胞分类方法及装置
CN112001928B (zh) 一种视网膜血管分割方法及系统
CN109410184A (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN111161278A (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN104680185B (zh) 基于边界点重分类的高光谱图像分类方法
CN109165658A (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN108509950A (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN104680545A (zh) 光学图像中存在显著目标的检测方法
Chengdong et al. Establishing and validating a spotted tongue recognition and extraction model based on multiscale convolutional neural network
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant