CN114693622A - 一种基于人工智能的斑块侵蚀自动检测系统 - Google Patents

一种基于人工智能的斑块侵蚀自动检测系统 Download PDF

Info

Publication number
CN114693622A
CN114693622A CN202210285789.4A CN202210285789A CN114693622A CN 114693622 A CN114693622 A CN 114693622A CN 202210285789 A CN202210285789 A CN 202210285789A CN 114693622 A CN114693622 A CN 114693622A
Authority
CN
China
Prior art keywords
module
original image
oct
layer
plaque erosion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210285789.4A
Other languages
English (en)
Other versions
CN114693622B (zh
Inventor
王钊
孙皓月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210285789.4A priority Critical patent/CN114693622B/zh
Publication of CN114693622A publication Critical patent/CN114693622A/zh
Application granted granted Critical
Publication of CN114693622B publication Critical patent/CN114693622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的斑块侵蚀自动检测系统，主要包括基于形状编码的卷积神经网络Mask RCNN‑CK检测模型和基于领域知识的后处理算法模块两部分，基于形状编码的卷积神经网络Mask RCNN‑CK检测模型包括三个输入分支：原始图像、凸度和曲率，它们分别使用独立的编码模块进行特征提取，然后经过分类回归模块和分割模块得到斑块侵蚀的初步检测结果；基于领域知识的后处理算法模块包括基于临床可解释特征的分类模块和三维处理模块，通过提取斑块侵蚀的临床特征进一步优化初步检测结果，获得斑块侵蚀的最终检测结果。本发明实现了血管内图像中斑块侵蚀的自动检测，为斑块侵蚀的临床诊断提供了可靠的依据。

Description

一种基于人工智能的斑块侵蚀自动检测系统
技术领域
本发明涉及医学图像处理领域，具体涉及一种基于人工智能的斑块侵蚀自动检测系统。
背景技术
斑块侵蚀作为急性冠状动脉综合征(Acute Coronary Syndromes,ACS)的重要发病机制之一，导致约35％的血栓性冠状动脉猝死和25％的急性心肌梗死。最近的研究表明，具有斑块侵蚀的ACS患者可以采用保守的抗血栓治疗，而无需冠脉支架的置入。光学相干断层扫描成像技术(Optical Coherence Tomography,OCT)以其较高的分辨率，是目前临床上唯一一种可用于体内诊断斑块侵蚀的成像方式。目前，斑块侵蚀的诊断和识别主要依赖于医生对血管内OCT图像的视觉评估及分析，需要医生具备大量且丰富的经验的同时，存在着观察者内及观察者间的高度可变性。近年来，随着医学信息数据库的不断建立和完善，数据挖掘与机器学习在医学辅助诊断、模式识别等领域得到了广泛的应用与研究，计算机辅助医疗诊断技术也应运而生。
当前使用计算机辅助识别斑块侵蚀的方法主要为半自动化方法。2014年，Wang Z等在“Computer-aided image analysis algorithm to enhance in vivo diagnosis ofplaque erosion by intravascular optical coherence tomography”中采用机器学习框架下的逻辑回归分析模型，使用冠状动脉斑块的光学性质和形态学性质，即表面强度、光学衰减、表面粗糙度以及组织突出等作为定量特征，对斑块侵蚀的区域进行识别和诊断。
然而，以上所述的识别方法需要使用者手动选取斑块侵蚀的候选区域，然后使用该算法对候选区域进行识别，而斑块侵蚀候选区域的手动标注仍然是一个较为困难的问题。
发明内容
本发明的目的是提出一种基于人工智能的斑块侵蚀自动检测系统，该系统采用OCT原始图像作为系统的输入，可以全自动地快速提供OCT原始图像中斑块侵蚀的检测结果，有助于降低临床检测难度及所需时间，提高医生的工作效率，为ACS患者的个性化治疗提供依据。
本发明提出的一种基于人工智能的斑块侵蚀自动检测系统主要包括基于形状编码的卷积神经网络Mask RCNN-CK检测模型以及基于领域知识的后处理算法模块两个部分，斑块侵蚀自动检测系统的输入为OCT原始图像，OCT原始图像的采样使用商用OCT系统，成像时OCT系统将一条头端带光学透镜的成像导管放置在患者的冠状动脉血管里，通过高速旋转导管内的探头并将其回拉，获得血管内OCT原始图像。OCT原始图像首先经过基于形状编码的卷积神经网络Mask RCNN-CK检测模型得到斑块侵蚀的初步检测结果，该初步检测结果作为基于领域知识的后处理算法模块的输入，得到斑块侵蚀的最终检测结果。
基于形状编码的卷积神经网络Mask RCNN-CK检测模型中包括形状特征提取模块和Mask RCNN-CK检测模型两个部分。
所述形状特征提取模块包括一个管腔分割模型，主要用于提取斑块侵蚀的凸度和曲率两个形状特征。本发明训练一个基于卷积神经网络的管腔分割模型使得可以对OCT原始图像中血管的管腔进行自动分割，得到管腔分割结果，基于管腔分割结果，计算管腔凸集(即包含管腔内所有像素点的最小凸多边形)与管腔之间的差异为凸度，计算管腔边界曲线斜率的变化率为曲率；预先获取基于卷积神经网络的管腔分割模型的训练集1、验证集1和测试集1，采用训练集1对管腔分割模型进行训练，以验证集1的损失为监测指标，设置学习率并以监测指标不变时调整学习率，得到训练好的管腔分割模型；采用训练好的管腔分割模型对测试集1进行分割，根据测试集1中待分割OCT原始图像的每个像素点的分类概率，获得待分割OCT原始图像的管腔分割结果。
所述Mask RCNN-CK检测模型是一种多输入的卷积神经网络模型，三个输入分支分别为OCT原始图像、凸度以及曲率，对应着特征提取模块中三个不同的编码模块，OCT原始图像采用ResNet50+FPN(残差网络50+特征金字塔网络)模块进行五种不同尺度大小的特征提取，凸度经过编码模块_1进行特征提取，曲率经过编码模块_2进行形状特征提取，所得到的七种特征映射图进一步通过区域建议网络得到多个候选的感兴趣区域，最后采用分类回归模块和分割模块对所有的候选的感兴趣区域进行一次分类回归以及掩码生成，将分类回归结果(包括斑块侵蚀的分类结果class及其回归框box)与掩码结果(mask)相结合得到斑块侵蚀的初步检测结果；预先获取Mask RCNN-CK检测模型的训练集2、验证集2和测试集2，采用训练集2对Mask RCNN-CK检测模型进行训练，其中，Mask RCNN-CK检测模型的训练集2中的每一个训练样本包括采集的OCT原始图像、以及由形状特征提取模块提取的该OCT原始图像对应的凸度和曲率特征，以验证集2的损失为检测指标，得到训练好的Mask RCNN-CK检测模型；采用训练好的Mask RCNN-CK检测模型对测试集2进行检测，得到斑块侵蚀的初步检测结果。
所述基于领域知识的后处理算法模块中包括基于临床可解释特征的分类模块和三维处理模块两个部分。
所述基于临床可解释特征的分类模块包括一个使用斑块侵蚀的临床特征对斑块侵蚀的初步检测结果进行分类的SVM模型，主要用于进一步提取斑块侵蚀的临床特征。基于临床可解释特征的分类模块根据基于形状编码的卷积神经网络Mask RCNN-CK检测模型得到的初步检测结果，在OCT原始图像中提取初步检测结果对应的区域，得到OCT原始图像中的感兴趣区域，在该感兴趣区域上进一步提取斑块侵蚀的临床可解释特征，来识别OCT原始图像中底层斑块的特征，主要包括组织的光学和形态学特征、三维连续性以及其他特征，光学特征包括组织的强度和光衰减，组织的强度表示为感兴趣区域的像素、对比度和灰度直方图，光衰减表示为像素梯度的变化，形态学特征表示为区域的凸集与区域之间的差异，三维连续性表示为将OCT原始图像前一帧和后一帧的组织的光学和形态学特征以及其他特征作为当前帧OCT原始图像的附加特征，其他特征表示为感兴趣区域与OCT原始图像中心点之间的距离特征；使用通过基于形状编码的卷积神经网络Mask RCNN-CK检测模型得到的斑块侵蚀的初步检测结果作为基于临床可解释特征的分类模块的训练集3，遍历训练集3中的所有感兴趣区域，依次对这些感兴趣区域进行组织的光学和形态学特征、三维连续性以及其他特征的提取，将这些特征输入支持向量机(Support Vector Machine,SVM)模型，经过最大迭代次数训练后，得到训练好的SVM模型；采用训练好的SVM模型对感兴趣区域提取模块得到的待分类OCT原始图像中感兴趣区域进行分类，得到初步检测结果的分类结果。
所述三维处理模块用于对基于临床可解释特征的分类模块得到的初步检测结果的分类结果进一步进行三维连续性处理，使用26—邻域连通域算法对初步检测结果的分类结果的三维连通区域进行标识，针对初步检测结果的分类结果中每一个三维连通区域，如果两个连通区域之间存在重叠且两个连通区域之间只存在一帧OCT原始图像，则在该帧OCT原始图像上标记两个连通区域之间的交集，如果存在连通区域包含的OCT原始图像少于连续三帧，则去除该连通区域对应的OCT原始图像上的初步检测结果的分类结果，从而得到斑块侵蚀的最终检测结果；其中，所述26—邻域连通域算法具体如下：首先将来自于同一条血管中的一组连续OCT原始图像的初步检测结果的分类结果进行二值化处理，背景区域像素的值为0，目标区域的像素值为1，像素值为1的像素点如果其26个相邻像素点的像素值也均为1，则将这27个像素点赋予同一个连通区域标记(连通区域标记为从1开始的自然数)，对一组初步检测结果的分类结果从左到右，从上到下，从第一帧到最后一帧逐像素进行扫描，完成一组初步检测结果的分类结果的连通区域标记。
本发明提出了一种基于人工智能的斑块侵蚀自动检测系统，实现了血管内OCT图像上斑块侵蚀的全自动检测，可以为斑块侵蚀的临床诊断提供客观依据，有助于提高血管内斑块侵蚀的诊断准确性及效率，为ACS患者的个性化治疗提供可靠的依据。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1是本发明提出的基于人工智能的斑块侵蚀自动检测系统结构示意图。
图2是一种形状特征提取模块结构示意图。
图3是本发明提出的Mask RCNN-CK检测模型结构示意图。
图4是一种编码模块结构示意图。
图5是本发明提出的基于临床可解释特征的分类模块结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提出了一种基于人工智能的斑块侵蚀自动检测系统，其整体框架如图1所示。该系统以OCT原始图像1为输入，经过基于形状编码的卷积神经网络Mask RCNN-CK检测模型2得到的初步检测结果27，所述基于形状编码的卷积神经网络Mask RCNN-CK检测模型2包括形状特征提取模块4以及Mask RCNN-CK检测模型14，初步检测结果27经过基于领域知识的后处理算法模块3，得到最终检测结果35，所述基于领域知识的后处理算法模块3包括基于临床可解释特征的分类模块28和三维处理模块34。
图2为本实施例采用的一种形状特征提取模块4的结构示意图，包括一个基于U型神经网络的管腔分割模型5，该基于U型神经网络的管腔分割模型5由对称的左侧路径和右侧路径组成，左侧路径由依次连接的2个普通卷积模块6、1个下采样层7、2个普通卷积模块6、1个下采样层7、2个普通卷积模块6、1个下采样层7、2个普通卷积模块6，1个下采样层7组成，左侧路径与右侧路径通过2个普通卷积模块6进行连接，右侧路径由依次连接的1个上采样层8，2个普通卷积模块6，1个上采样层8，2个普通卷积模块6，1个上采样层8，2个普通卷积模块6，1个上采样层8，2个普通卷积模块6，1个输出卷积模块9组成，其中普通卷积模块6是由1个3×3的卷积层、批归一化处理层和ReLU激活函数层依次连接组成，下采样层7采用2×2最大池化层进行特征提取，上采样层8通过2×2反卷积层恢复图像的细节及空间信息，输出卷积模块9为1个1×1的卷积层，跳跃连接10用于在每一个上采样层8之后，将左侧对称路径的特征图裁剪至与右侧路径特征图相同尺寸大小后，与右侧路径特征图进行连接，用于补充下采样过程中丢失的底层信息；输入的OCT原始图像1经过2个普通卷积模块6后，进入下采样阶段，下采样阶段采用4个2×2大小的最大池化层和8个普通卷积模块6对图像特征进行提取来达到下采样的目的，之后再经过两个普通卷积模块6，进入上采样阶段，在上采样阶段中，与上采样层8相同尺寸的下采样特征会与相应上采样层8合并来弥补下采样过程中丢失的部分信息，最后经过一个1×1输出卷积模块9得到管腔分割结果11；预先获取训练集1、验证集1和测试集1，采用训练集1对管腔分割模型5进行训练，以验证集1的损失为监测指标，选用交叉熵损失函数作为模型的损失函数，Adam优化器作为模型的优化函数，训练过程中设置初始学习率，监测指标不变时则调整学习率，得到训练好的管腔分割模型5；采用训练好的管腔分割模型5对测试集1进行分割，根据测试集1中待分割图像的每个像素点的分类概率，获得OCT图像的管腔分割结果11；基于管腔分割模型5提供的OCT原始图像的管腔分割结果11，计算凸度12为管腔11凸集与管腔11本身之间的差异，计算曲率13为管腔11边界曲线的斜率变化率。
图3是本发明提出的Mask RCNN-CK检测模型14的结构示意图，该Mask RCNN-CK检测模型14依次由OCT原始图像1，凸度12和曲率13三个输入分支模块、特征提取模块15、分类回归模块16、分割模块17以及斑块侵蚀的初步检测结果27的输出分支构成，OCT原始图像1使用ResNet50+FPN模块18作为特征提取模块，得到五种不同尺寸大小的特征图21，凸度12使用编码模块_1(19)作为特征提取模块，得到凸度对应的特征图25，曲率使用编码模块_2(20)作为特征提取模块，得到曲率对应的特征图26，编码模块_1(19)和编码模块_2(20)均使用如图4所示的模块结构，该模块由依次连接的三个部分组成，第一部分22由1个步长为2的3×3卷积层，1个步长为1的3×3卷积层，和一个步长为2的3×3的最大池化层组成，第二部分23由2个步长为1的3×3卷积层，1个步长为2的3×3卷积层组成，第三部分24通过将第二部分22得到的特征图在第三维度上拆分为四个，分别经由1×1卷积层及3×3卷积层，1×1卷积层及5×5卷积层，3×3池化层及1×1卷积层，1×1卷积层分别得到四个特征图，将得到的四个特征图在第三维度上连接后输出一个与第二部分23输出大小相同的特征图，其中所述的所有卷积层后均连接批归一化处理层和激活函数层。对特征提取模块15所得到的七种特征映射图(21，25，26)进一步提取多个候选的感兴趣区域，即以每一张特征图上的每个像素点为中心，对应到OCT原始图像上，生成宽度为1，长宽比分别为0.5、1、2的3个长宽比不同但面积相同的感兴趣区域，最后采用分类回归模块16和分割模块17对这些候选的感兴趣区域进行分类回归以及掩码生成，得到初步检测结果27；预先获取训练集2、验证集2和测试集2，采用训练集2中OCT原始图像1及其对应的上述形状特征提取模块4所提取的凸度12和曲率13特征对Mask RCNN-CK检测模型14进行训练，以验证集2的损失为监测指标，选用交叉熵损失函数作为模型的损失函数，随机梯度下降(Stochastic Gradient Descent,SGD)优化器作为模型的优化函数，训练过程中设置初始学习率，监测指标不变时则调整学习率，得到训练好的Mask RCNN-CK检测模型14；采用训练好的Mask RCNN-CK检测模型14对测试集2进行检测，获得斑块侵蚀的初步检测结果27。
图5是本发明提出的基于临床可解释特征的分类模块28示意图，依次包括感兴趣区域提取模块29，特征向量提取模块31以及SVM模型32，其中感兴趣区域提取模块29根据基于形状编码的卷积神经网络Mask RCNN-CK检测模型2得到的初步检测结果掩码27，通过在OCT原始图像1中提取该初步检测结果27对应的区域，得到OCT原始图像中的感兴趣区域30，在该感兴趣区域30上进一步通过特征向量提取模块31提取斑块侵蚀的临床可解释特征向量，来识别OCT原始图像中底层斑块的特征，主要包括组织的光学和形态学特征、三维连续性以及其他特征，光学特征包括组织的强度和光衰减，组织的强度表示为感兴趣区域的像素、对比度和灰度直方图，光衰减表示为像素梯度的变化，形态学特征表示为区域的凸集与区域之间的差异，三维连续性表示为将当前帧OCT原始图像前一帧和后一帧的组织的光学和形态学特征以及其他特征作为当前帧OCT原始图像的附加特征，其他特征表示为感兴趣区域与OCT原始图像中心点之间的距离特征；使用通过基于形状编码的卷积神经网络MaskRCNN-CK检测模型得到的斑块侵蚀的所有初步检测结果作为基于临床可解释特征的分类模块的训练集3，遍历训练集3中的所有感兴趣区域30，依次对这些感兴趣区域进行临床可解释特征向量的提取，将这些临床可解释特征向量输入具有线性核的SVM模型32，经过多次迭代训练后，得到训练好的SVM模型32；采用训练好的SVM模型32对感兴趣区域提取模块29得到的感兴趣区域30进行分类，进而得到初步检测结果的分类结果33。
根据基于临床可解释特征的分类模块28得到的分类结果33，三维处理模块34进一步对初步检测结果的分类结果33进行三维连续性处理，使用26—邻域连通域算法对初步检测结果的分类结果33的三维连通区域进行标识，针对初步检测结果的分类结果中每一个三维连通区域，如果两个连通区域之间存在重叠且两个连通区域之间只存在一帧OCT原始图像，则在该帧OCT原始图像上标记两个连通区域之间的交集，如果存在连通区域包含的图像少于连续三帧，则去除该连通区域对应的OCT原始图像上的初步检测结果的分类结果，从而得到斑块侵蚀的最终检测结果35。
以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (7)

1.一种基于人工智能的斑块侵蚀自动检测系统，其特征在于，该斑块侵蚀自动检测系统主要包括基于形状编码的卷积神经网络Mask RCNN-CK检测模型(2)以及基于领域知识的后处理算法模块(3)两个部分，所述斑块侵蚀自动检测系统的输入为采集的OCT原始图像(1)，OCT原始图像首先通过基于形状编码的卷积神经网络Mask RCNN-CK检测模型(2)得到斑块侵蚀的初步检测结果(27)，该斑块侵蚀的初步检测结果(27)作为基于领域知识的后处理算法模块(3)的输入，得到斑块侵蚀的最终检测结果(35)；
其中，所述基于形状编码的卷积神经网络Mask RCNN-CK检测模型(2)依次包括形状特征提取模块(4)和Mask RCNN-CK检测模型(14)；所述基于领域知识的后处理算法模块(3)依次包括基于临床可解释特征的分类模块(28)和三维处理模块(34)；
所述形状特征提取模块(4)包含一个管腔分割模型(5)，预先获取训练集1、验证集1和测试集1，采用训练集1对所述管腔分割模型(5)进行训练，以验证集1的损失为监测指标，设置学习率并以监测指标不变时调整学习率，得到训练好的管腔分割模型；采用训练好的管腔分割模型对测试集1进行分割，根据测试集1中待分割OCT原始图像的每个像素点的分类概率，获得待分割OCT原始图像的管腔分割结果(11)，并基于管腔分割结果(11)，分别计算斑块侵蚀的形状特征：凸度(12)和曲率(13)；
所述Mask RCNN-CK检测模型(14)是一种多输入的卷积神经网络模型，包括特征提取模块(15)、分类回归模块(16)、分割模块(17)三个模块，所述Mask RCNN-CK检测模型(14)还包括OCT原始图像(1)、凸度(12)和曲率(13)三个输入分支和斑块侵蚀的初步检测结果(27)的输出分支；预先获取训练集2、验证集2和测试集2，采用训练集2中OCT原始图像及其对应的由所述形状特征提取模块(4)提取的凸度和曲率对所述Mask RCNN-CK检测模型(14)进行训练，以验证集2的损失为监测指标，选用交叉熵损失函数作为模型的损失函数，随机梯度下降优化器作为模型的优化函数，训练过程中设置初始学习率，监测指标不变时则调整学习率，得到训练好的Mask RCNN-CK检测模型；采用训练好的Mask RCNN-CK检测模型对测试集2进行检测，测试集2中的OCT原始图像(1)使用ResNet50+FPN模块(18)作为特征提取模块，得到五种不同尺寸大小的特征图(21)，凸度(12)使用编码模块_1(19)作为特征提取模块，得到凸度对应的特征图(25)，曲率(13)使用编码模块_2(20)作为特征提取模块，得到曲率对应的特征图(26)；对特征提取模块(15)所得到的七种特征映射图(21，25，26)进一步提取多个候选的感兴趣区域，即以每一张特征图上的每个像素点为中心，对应到OCT原始图像上，生成宽度为1，长宽比分别为0.5、1、2的3个长宽比不同但面积相同的感兴趣区域，最后采用分类回归模块(16)和分割模块(17)对这些候选的感兴趣区域进行分类回归以及掩码生成，获得斑块侵蚀的初步检测结果(27)；
所述基于临床可解释特征的分类模块(28)包括感兴趣区域提取模块(29)、特征向量提取模块(31)和支持向量机模型(32)，其中感兴趣区域提取模块(29)根据斑块侵蚀的初步检测结果(27)，通过在OCT原始图像中提取该斑块侵蚀的初步检测结果(27)对应的区域，得到OCT原始图像中的感兴趣区域(30)，在该感兴趣区域(30)上进一步通过特征向量提取模块(31)提取斑块侵蚀的临床可解释特征向量；使用通过基于形状编码的卷积神经网络MaskRCNN-CK检测模型(2)得到的斑块侵蚀的所有初步检测结果作为基于临床可解释特征的分类模块的训练集3，遍历训练集3中的所有感兴趣区域，依次对这些感兴趣区域进行临床可解释特征向量的提取，将这些临床可解释特征向量输入具有线性核的支持向量机模型(32)中，经过最大迭代次数训练后，得到训练好的支持向量机模型；采用训练好的支持向量机模型对感兴趣区域提取模块(29)得到的待分类OCT原始图像中感兴趣区域(30)进行分类，进而得到初步检测结果的分类结果(33)；
根据基于临床可解释特征的分类模块(28)得到的初步检测结果的分类结果(33)，所述三维处理模块(34)进一步对初步检测结果的分类结果(33)进行三维连续性处理，使用26—邻域连通域算法对初步检测结果的分类结果(33)的三维连通区域进行标识，针对初步检测结果的分类结果中每一个三维连通区域，如果两个连通区域之间存在重叠且两个连通区域之间只存在一帧OCT原始图像，则在该帧OCT原始图像上标记两个连通区域之间的交集，如果存在连通区域包含的OCT原始图像少于连续三帧，则去除该连通区域对应的OCT原始图像上的初步检测结果的分类结果，从而得到斑块侵蚀的最终检测结果(35)。
2.根据权利要求1所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述管腔分割模型(5)的一种实现方式为：构造基于U型神经网络的管腔分割模型(5)，该基于U型神经网络的管腔分割模型(5)由对称的左侧路径和右侧路径组成，左侧路径由依次连接的2个普通卷积模块(6)、1个下采样层(7)、2个普通卷积模块(6)、1个下采样层(7)、2个普通卷积模块(6)、1个下采样层(7)、2个普通卷积模块(6)，1个下采样层(7)组成，左侧路径与右侧路径通过2个普通卷积模块(6)进行连接，右侧路径由依次连接的1个上采样层(8)，2个普通卷积模块(6)，1个上采样层(8)，2个普通卷积模块(6)，1个上采样层(8)，2个普通卷积模块(6)，1个上采样层(8)，2个普通卷积模块(6)，1个输出卷积模块(9)组成，其中普通卷积模块(6)是由1个3×3的卷积层、批归一化处理层和ReLU激活函数层依次连接组成，下采样层(7)采用2×2最大池化层进行特征提取，上采样层(8)通过2×2反卷积层恢复图像的细节及空间信息，输出卷积模块(9)为1个1×1的卷积层，跳跃连接(10)用于在每一个上采样层(8)之后，将左侧对称路径的特征图裁剪至与右侧路径特征图相同尺寸大小后，与右侧路径特征图进行连接，用于补充下采样过程中丢失的底层信息；输入的OCT原始图像(1)经过2个普通卷积模块(6)后，进入下采样阶段，下采样阶段采用4个2×2大小的最大池化层和8个普通卷积模块(6)对图像特征进行提取来达到下采样的目的，之后再经过2个普通卷积模块(6)，进入上采样阶段，在上采样阶段中，与上采样层(8)相同尺寸的下采样特征会与相应上采样层(8)合并来弥补下采样过程中丢失的部分信息，最后经过一个1×1输出卷积模块(9)得到管腔分割结果(11)。
3.根据权利要求2所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述编码模块_1(19)和编码模块_2(20)的一种实现方法如下：构造一个由三个部分组成的编码模块，第一部分(22)由1个步长为2的3×3卷积层、1个步长为1的3×3卷积层和一个步长为2的3×3的最大池化层组成，第二部分(23)由2个步长为1的3×3卷积层、1个步长为2的3×3卷积层组成，第三部分(24)通过将第二部分(23)得到的特征图在通道上拆分为4个特征图，这4个特征图分别经由1×1卷积层及3×3卷积层、1×1卷积层及5×5卷积层、3×3池化层及1×1卷积层、1×1卷积层处理后，将处理后得到的4个特征图在通道上进行连接，所述编码模块中所有卷积层后均连接批归一化处理层和激活函数层。
4.根据权利要求3所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述OCT原始图像(1)的采集方式为：使用现有商用OCT系统，成像时现有商用OCT系统将一条头端带光学透镜的成像导管放置在患者的冠状动脉血管里，通过高速旋转导管内的探头并将其回拉，获得血管内OCT原始图像。
5.根据权利要求4所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述凸度(12)为管腔凸集与管腔之间的差异；所述曲率(13)为管腔边界曲线斜率的变化率。
6.根据权利要求5所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述斑块侵蚀的临床可解释特征向量主要包括组织的光学特征、形态学特征、三维连续性以及其他特征，其中，光学特征包括组织的强度和光衰减，组织的强度表示为感兴趣区域的像素、对比度和灰度直方图，光衰减表示为像素梯度的变化；形态学特征表示为区域的凸集与区域之间的差异，三维连续性表示为将当前帧OCT原始图像前一帧和后一帧的组织的光学特征、形态学特征以及其他特征作为当前帧OCT原始图像的附加特征；其他特征表示为感兴趣区域与OCT原始图像中心点之间的距离特征。
7.根据权利要求6所述的基于人工智能的斑块侵蚀自动检测系统，其特征在于，所述26—邻域连通域算法具体如下：首先将来自于同一条血管中的一组连续OCT原始图像的初步检测结果的分类结果进行二值化处理，背景区域像素的值为0，目标区域的像素值为1；如果像素值为1的像素点的26个相邻像素点的像素值也均为1，则将这27个像素点赋予同一个连通区域标记，连通区域标记为从1开始的自然数，对一组初步检测结果的分类结果从左到右，从上到下，从第一帧到最后一帧逐像素进行扫描，完成一组初步检测结果的分类结果的连通区域标记。
CN202210285789.4A 2022-03-22 2022-03-22 一种基于人工智能的斑块侵蚀自动检测系统 Active CN114693622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210285789.4A CN114693622B (zh) 2022-03-22 2022-03-22 一种基于人工智能的斑块侵蚀自动检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210285789.4A CN114693622B (zh) 2022-03-22 2022-03-22 一种基于人工智能的斑块侵蚀自动检测系统

Publications (2)

Publication Number Publication Date
CN114693622A true CN114693622A (zh) 2022-07-01
CN114693622B CN114693622B (zh) 2023-04-07

Family

ID=82139614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210285789.4A Active CN114693622B (zh) 2022-03-22 2022-03-22 一种基于人工智能的斑块侵蚀自动检测系统

Country Status (1)

Country Link
CN (1) CN114693622B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955957A (zh) * 2023-08-07 2023-10-27 中国矿业大学 一种煤矿开采工作面顶板导水裂隙带发育高度的预测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105274225A (zh) * 2015-10-22 2016-01-27 山东省眼科研究所 一种用于检测斑块状角膜营养不良病的snp位点
US20170251931A1 (en) * 2016-03-04 2017-09-07 University Of Manitoba Intravascular Plaque Detection in OCT Images
CN108171702A (zh) * 2018-01-18 2018-06-15 平安科技（深圳）有限公司 易损斑块识别方法、应用服务器及计算机可读存储介质
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
WO2019191517A1 (en) * 2018-03-28 2019-10-03 Ubi interactive inc. Interactive screen devices, systems, and methods
CN111583260A (zh) * 2020-06-10 2020-08-25 中国医学科学院阜外医院 斑块易损性预测方法、装置、设备和存储介质
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升（北京）科学技术有限公司 血管内图像融合方法、系统及图像采集装置
WO2021058317A1 (en) * 2019-09-23 2021-04-01 Koninklijke Philips N.V. Co-registration of intravascular and extravascular imaging for extravascular image with intravascular tissue morphology
US20210251490A1 (en) * 2018-06-11 2021-08-19 Farida Cheriet System and method for determining coronal artery tissue type based on an oct image and using trained engines
CN113536000A (zh) * 2021-07-14 2021-10-22 西安工程大学 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法
CN113592879A (zh) * 2021-07-29 2021-11-02 昆明同心医联科技有限公司 基于人工智能的颈动脉斑块分割方法、装置及存储介质
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN114010157A (zh) * 2021-11-03 2022-02-08 深圳睿心智能医疗科技有限公司 血管斑块风险预测方法、装置、设备及介质
WO2022051211A1 (en) * 2020-09-02 2022-03-10 The General Hospital Corporation System for and method of deep learning diagnosis of plaque erosion through optical coherence tomography

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105274225A (zh) * 2015-10-22 2016-01-27 山东省眼科研究所 一种用于检测斑块状角膜营养不良病的snp位点
US20170251931A1 (en) * 2016-03-04 2017-09-07 University Of Manitoba Intravascular Plaque Detection in OCT Images
US20200202519A1 (en) * 2018-01-18 2020-06-25 Ping An Technology (Shenzhen) Co., Ltd. Vulnerable plaque identification method, application server thereof, and computer readable medium
CN108171702A (zh) * 2018-01-18 2018-06-15 平安科技（深圳）有限公司 易损斑块识别方法、应用服务器及计算机可读存储介质
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
WO2019191517A1 (en) * 2018-03-28 2019-10-03 Ubi interactive inc. Interactive screen devices, systems, and methods
US20210251490A1 (en) * 2018-06-11 2021-08-19 Farida Cheriet System and method for determining coronal artery tissue type based on an oct image and using trained engines
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
WO2021058317A1 (en) * 2019-09-23 2021-04-01 Koninklijke Philips N.V. Co-registration of intravascular and extravascular imaging for extravascular image with intravascular tissue morphology
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升（北京）科学技术有限公司 血管内图像融合方法、系统及图像采集装置
CN111583260A (zh) * 2020-06-10 2020-08-25 中国医学科学院阜外医院 斑块易损性预测方法、装置、设备和存储介质
WO2022051211A1 (en) * 2020-09-02 2022-03-10 The General Hospital Corporation System for and method of deep learning diagnosis of plaque erosion through optical coherence tomography
CN113536000A (zh) * 2021-07-14 2021-10-22 西安工程大学 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法
CN113592879A (zh) * 2021-07-29 2021-11-02 昆明同心医联科技有限公司 基于人工智能的颈动脉斑块分割方法、装置及存储介质
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN114010157A (zh) * 2021-11-03 2022-02-08 深圳睿心智能医疗科技有限公司 血管斑块风险预测方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KURIHARA O等: ""Seasonal variations in the pathogenesis of acute coronary syndromes"" *
VAN SOEST G等: ""Atherosclerotic tissue characterization in vivo by optical coherence tomography attention imaging"" *
桂家辉等: ""血管内光学相干层析成像技术在冠状动脉粥样硬化斑块检测方面的应用"" *
贺桢等: ""基于卷积神经网络检测颈动脉斑块"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955957A (zh) * 2023-08-07 2023-10-27 中国矿业大学 一种煤矿开采工作面顶板导水裂隙带发育高度的预测方法
CN116955957B (zh) * 2023-08-07 2024-02-20 中国矿业大学 一种煤矿开采工作面顶板导水裂隙带发育高度的预测方法

Also Published As

Publication number Publication date
CN114693622B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Dutta et al. Classification of diabetic retinopathy images by using deep learning models
CN107563983B (zh) 图像处理方法以及医学成像设备
CN107369160B (zh) 一种oct图像中脉络膜新生血管分割算法
CN110458847B (zh) 基于cta影像的自动冠脉分割及中心线提取方法
Buelow et al. Automatic extraction of the pulmonary artery tree from multi-slice CT data
CN105279759B (zh) 结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法
Chen et al. 3D intracranial artery segmentation using a convolutional autoencoder
CN108629768B (zh) 一种食管病理图像中上皮组织的分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN113240684B (zh) 对提取出含冠脉中心线的掩膜数据转换为中心线点集方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
Javidi et al. Retinal image assessment using bi-level adaptive morphological component analysis
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN114693622B (zh) 一种基于人工智能的斑块侵蚀自动检测系统
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
Qin et al. A review of retinal vessel segmentation for fundus image analysis
CN111080556A (zh) 一种强化ct图像气管壁增强方法、系统、设备及介质
CN112950612A (zh) 一种基于卷积神经网络的脑肿瘤图像分割方法
CN112634291A (zh) 一种基于神经网络的烧伤创面区域自动分割方法
CN109816665B (zh) 一种光学相干断层扫描图像的快速分割方法及装置
Shao et al. A segmentation method of airway from chest CT image based on VGG-Unet neural network
Trimeche et al. Fully automatic CNN-based segmentation of retinal bifurcations in 2D adaptive optics ophthalmoscopy images
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
You et al. Extraction of samples from airway and vessel trees in 3D lung CT based on a multi-scale principal curve tracing algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant