CN107993228B - 一种基于心血管oct影像的易损斑块自动检测方法和装置 - Google Patents

一种基于心血管oct影像的易损斑块自动检测方法和装置 Download PDF

Info

Publication number
CN107993228B
CN107993228B CN201711353459.XA CN201711353459A CN107993228B CN 107993228 B CN107993228 B CN 107993228B CN 201711353459 A CN201711353459 A CN 201711353459A CN 107993228 B CN107993228 B CN 107993228B
Authority
CN
China
Prior art keywords
oct
image
training
vulnerable plaque
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711353459.XA
Other languages
English (en)
Other versions
CN107993228A (zh
Inventor
陈韵岱
曹一挥
朱锐
李嘉男
金琴花
荆晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN201711353459.XA priority Critical patent/CN107993228B/zh
Publication of CN107993228A publication Critical patent/CN107993228A/zh
Application granted granted Critical
Publication of CN107993228B publication Critical patent/CN107993228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明涉及一种基于心血管OCT影像的易损斑块自动检测方法和装置，该方法包括：获取多张OCT图像，建立OCT图像数据集；将OCT图像数据集分成OCT训练图集和OCT测试图集；使用OCT训练图集对待训练模型进行训练，以形成训后模型；利用训后模型对OCT测试图集进行易损斑块检测和易损斑块分类；根据分类结果对易损斑块进行提示。本发明利用训练好的训后模型自动对图像进行特征提取，实现自动检测和识别OCT图像上是否含有易损斑块及确定易损斑块的种类，无需人工参与，便于医生能够快速准确的对OCT图像进行分析，本发明提出的方法及装置能在复杂的OCT图像中进行检测，检测准确率较高，具有较好的鲁棒性及检测速度。

Description

一种基于心血管OCT影像的易损斑块自动检测方法和装置
技术领域
本发明涉及医疗器械技术领域，特别是涉及一种基于心血管OCT影像的易损斑块自动检测方法和装置。
背景技术
易损斑块是指易导致血栓形成或能快速发展为犯病变的所有斑块。易损斑块表面的包膜非常薄，斑块内部含有的脂质又非常多，很容易发生破裂。比如在情绪激动、剧烈运动、酗酒、寒冷等因素刺激下会造成人体血压升高、血流剧烈冲击斑块或者血管发生痉挛，这些情况下易损斑块的包膜就会受损破裂。
目前，用于易损斑块检测的方法很多，包括冠状动脉造影、血管内超声、光学相干断层等，这些都需要人工分辨OCT图像中是否含有易损斑块及对易损斑块进行分类(破裂斑块、薄纤维帽斑块斑块、红血栓、混合血栓等)。
然而临床上评估分析心血管易损斑块一方面需要医生花费大量的时间和精力来分析、判断OCT图像；另一方面，无法满足临床中实时分析的需求，且无法建立统一的临床标准。并且目前对于易损斑块特征的自动识别主要是基于纹理以及弹性两类特征，利用这两类特征对易损斑块进行自动识别的鲁棒性较差且检测速度也较低。
发明内容
因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种基于心血管OCT影像的易损斑块自动检测方法和装置。
具体地，本发明一个实施例提出的一种基于心血管OCT影像的易损斑块自动检测方法，包括：
步骤1、获取OCT图像，建立OCT图像数据集；
步骤2、将所述OCT图像数据集分成OCT训练图集和OCT测试图集；
步骤3、使用所述OCT训练图集对待训练模型进行训练，以形成训后模型；
步骤4、利用所述训后模型对所述OCT测试图集进行易损斑块检测和易损斑块分类；
步骤5、根据分类结果对所述易损斑块进行提示。
在本发明的一个实施例中，在步骤1之后，还包括：
将所述OCT图像数据集中的图像进行坐标转换，以将直角坐标系下的所述OCT图像数据集转换成极坐标下的OCT图像数据集。
在本发明的一个实施例中，在步骤2之后，还包括：
判断所述OCT训练图集的图像数量是否超过第一阈值，若否，则扩充所述OCT训练图集以使所述OCT训练图集的图像数量超过第一阈值；
标记所述OCT训练图集中的易损斑块的信息。
在本发明的一个实施例中，扩充所述OCT训练图集，包括，
将所述OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，所述第一OCT训练图集中的所有图像均包含易损斑块信息，所述第二OCT训练图集中的任一图像均不包含易损斑块信息；
按照设定步长，将所述第一OCT训练图集中含易损斑块的每一个OCT图像进行拼接处理，以完成对所述OCT训练图集的扩充。
在本发明的一个实施例中，步骤3包括：
将所述OCT训练图集输入至全卷积网络以获得所述OCT训练图集的特征图；
对所述特征图进行去卷积处理以获得所述特征图的位置敏感分数图；
提取所述OCT训练图集图像的多个候选框；
将所有所述候选框均投影在所述位置敏感分数图上，采用所述候选框对所述全卷积网络进行训练，以完成对所述全卷积网络的分类训练；
计算全卷积网络的损失函数以形成训后模型。
在本发明的一个实施例中，在步骤3之后，还包括：
对所述OCT测试图集中的所有原始图像均进行拼接处理以形成待检测OCT图像集。
在本发明的一个实施例中，步骤4包括：
利用所述训后模型，在所述原始图像中生成第一检测框，所述第一检测框用于对所述OCT测试图集中的第K个原始图像中的易损斑块进行检测及分类，其中，K为自然数；
利用所述训后模型，在所述待检测OCT图像集中生成第二检测框，所述第二检测框用于对所述待检测OCT图像集中的第K个待检测OCT图像中的易损斑块进行检测和分类；
其中，所述第K个待检测OCT图像是通过对所述第K个原始图像进行拼接处理而形成的。
在本发明的一个实施例中，在所述待检测OCT图像集中生成第二检测框之后，还包括：
判断所述第二检测框在所述第K个待检测OCT图像中的位置与所述第K个待检测OCT图像边缘之间的距离是否小于第二阈值，若是，则对所述第K个待检测OCT图像进行拼接处理以形成所述第K个原始图像和第三检测框。
在本发明的一个实施例中，在对所述第K个待检测OCT图像进行拼接处理以形成所述第K个原始图像和第三检测框之后，还包括：
在所述第K个原始图像上，求取所述第一检测框和所述第三检测框的并集以形成第四检测框。
在本发明的一个实施例中，在步骤5之前，还包括：
一种基于心血管OCT影像的易损斑块自动检测装置，包括数字信号处理单元及存储单元，所述存储单元用于存储处理指令,所述处理指令被所述数字信号处理单元执行时实现上述实施例中任一项方法中的步骤。
本发明实施例，具备如下优点：
本发明通过机器深度学习，利用训练好的训后模型自动对图像进行特征提取，实现自动检测和识别OCT图像上是否含有易损斑块及确定易损斑块的种类，无需人工参与，便于医生能够快速准确的对OCT图像进行分析，本发明提出的方法及装置能在复杂的OCT图像中进行检测，检测准确率较高，具有较好的鲁棒性及检测速度。
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
下面将结合附图，对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种基于心血管OCT影像的易损斑块自动检测方法的流程示意图；
图2为本发明实施例提供的一种直角坐标系下的OCT图像示意图；
图3为本发明实施例提供的一种极坐标系下的OCT图像示意图；
图4为本发明实施例提供的一种特征图子区域平均池化；
图5为本发明实施例提供的一种生成候选框的步长选择结果示意图；
图6为本发明实施例提供的一种维数变化示意图；
图7为本发明实施例提供的一种损失函数组成示意图；
图8为本发明实施例提供的一种OCT测试图集中的原始图像的示意图；
图9为本发明实施例提供的一种OCT测试图集中的待检测OCT图像的示意图；
图10为本发明实施例提供的另一种OCT测试图集中的原始图像的示意图；
图11为本发明实施例提供的另一种OCT测试图集中的待检测OCT图像的示意图；
图12为本发明实施例提供的再一种OCT测试图集中的原始图像的示意图；
图13为本发明实施例提供的一种检测框删除方式的示意图；
图14为本发明实施例提供的一种检测框合并方式的示意图；
图15(a)-图15(c)为本发明实施例提供的一种不同坐标系下的易损斑块标记结果示意图；
图16为本发明实施例提供的一种基于心血管OCT影像的易损斑块自动检测装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1，图1为本发明实施例提供的一种基于心血管OCT影像的易损斑块自动检测方法的流程示意图。该检测方法包括：
步骤1、获取OCT图像，建立OCT图像数据集；
步骤2、将所述OCT图像数据集分成OCT训练图集和OCT测试图集；
步骤3、使用所述OCT训练图集对待训练模型进行训练，以形成训后模型；
步骤4、利用所述训后模型对所述OCT测试图集进行易损斑块检测和易损斑块分类；
步骤5、根据分类结果对所述易损斑块进行提示。
其中，在步骤1之后，还包括：
步骤1.1、将所述OCT图像数据集中的图像进行坐标转换，以将直角坐标系下的所述OCT图像数据集转换成极坐标下的OCT图像数据集。
其中，在步骤2之后，还包括：
步骤2.1、判断所述OCT训练图集的图像数量是否超过第一阈值，若否，则扩充所述OCT训练图集以使所述OCT训练图集的图像数量超过第一阈值；
步骤2.2、标记所述OCT训练图集中的易损斑块的信息。
其中，步骤2.1包括：
步骤2.1.1、将所述OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，所述第一OCT训练图集中的所有图像均包含易损斑块信息，所述第二OCT训练图集中的任一图像均不包含易损斑块信息；
步骤2.1.2、按照设定步长，将所述第一OCT训练图集中含易损斑块的每一个OCT图像进行拼接处理，以完成对所述OCT训练图集的扩充。
其中，步骤3包括：
步骤3.1、将所述OCT训练图集输入至全卷积网络以获得所述OCT训练图集的特征图；
步骤3.2、对所述特征图进行去卷积处理以获得所述特征图的位置敏感分数图；
步骤3.3、提取所述OCT训练图集图像的多个候选框；
步骤3.4、将所有所述候选框均投影在所述位置敏感分数图上，采用所述候选框对所述全卷积网络进行训练，以完成对所述全卷积网络的分类训练；
步骤3.5、计算全卷积网络的损失函数以形成训后模型。
其中，在步骤3之后，还包括：
步骤3.6、对所述OCT测试图集中的所有原始图像均进行拼接处理以形成待检测OCT图像集。
其中，步骤4包括：
步骤4.1、利用所述训后模型，在所述原始图像中生成第一检测框，所述第一检测框用于对所述OCT测试图集中的第K个原始图像中的易损斑块进行检测及分类，其中，K为自然数；
步骤4.2、利用所述训后模型，在所述待检测OCT图像集中生成第二检测框，所述第二检测框用于对所述待检测OCT图像集中的第K个待检测OCT图像中的易损斑块进行检测和分类；
其中，所述第K个待检测OCT图像是通过对所述第K个原始图像进行拼接处理而形成的。
其中，在步骤4.2之后，还包括：
步骤4.3、判断所述第二检测框在所述第K个待检测OCT图像中的位置与所述第K个待检测OCT图像边缘之间的距离是否小于第二阈值，若是，则对所述第K个待检测OCT图像进行拼接处理以形成所述第K个原始图像和第三检测框。
其中，在步骤4.3之后，还包括：
步骤4.4、在所述第K个原始图像上，求取所述第一检测框和所述第三检测框的并集以形成第四检测框，也即将所述第一检测框和所述第三检测框合并以形成第四检测框。
一种基于心血管OCT影像的易损斑块自动检测装置，包括数字信号处理单元及存储单元，存储单元用于存储处理指令,处理指令被数字信号处理单元执行时实现上述实施例中任一项方法中的步骤。
本实施例通过已标记易损斑块信息的OCT训练图集去训练待训练模型，并利用训练好的训后模型自动检测和识别OCT图像上是否含有易损斑块及确定易损斑块的种类，整个检测过程实现了机器的自动识别，识别准确率高，并且检测速度快，具有较好的鲁棒性及检测速度。
实施例二
请参见图2-图14及图15(a)-图15(c)，图2为本发明实施例提供的一种直角坐标系下的OCT图像示意图，图3为本发明实施例提供的一种极坐标系下的OCT图像示意图，图4为本发明实施例提供的一种特征图子区域平均池化，图5为本发明实施例提供的一种生成候选框的步长选择结果示意图，图6为本发明实施例提供的一种维数变化示意图，图7为本发明实施例提供的一种损失函数组成示意图，图8为本发明实施例提供的一种OCT测试图集中的原始图像的示意图，图9为本发明实施例提供的一种OCT测试图集中的待检测OCT图像的示意图，图10为本发明实施例提供的另一种OCT测试图集中的原始图像的示意图，图11为本发明实施例提供的另一种OCT测试图集中的待检测OCT图像的示意图，图12为本发明实施例提供的再一种OCT测试图集中的原始图像的示意图，图13为本发明实施例提供的一种检测框删除方式的示意图，图14为本发明实施例提供的一种检测框合并方式的示意图，图15(a)-图15(c)为本发明实施例提供的一种不同坐标系下的易损斑块标记结果示意图。在上述实施例的基础上，本实施例将对本发明的自动检测方法进行详细介绍。
步骤1、建立OCT图像数据集；
获取多张OCT图像，利用所获取的所有OCT图像建立OCT图像数据集。
步骤2、极坐标转换；
利用下述公式将OCT图像数据集中的图像进行坐标转换，如图2和图3所示，以将直角坐标系下的OCT图像数据集转换成极坐标下的OCT图像数据集。
Figure BDA0001510690340000091
其中，x、y分别表示直角坐标系下的横坐标和纵坐标，ρ、θ分别表示极坐标系下的极径和极角。
步骤3、建立OCT训练图集和OCT测试图集；
步骤3.1、将OCT图像数据集分成OCT训练图集和OCT测试图集；
其中，OCT训练图集包含多张含易损斑块的OCT图像和多张不含易损斑块的OCT图像；OCT测试图集包含多张含易损斑块的OCT图像和多张不含易损斑块的OCT图像。
优选地，OCT图像数据集共包含2000张OCT图像，从OCT图像数据集中随机选取1700张OCT图像作为OCT训练图集，300张OCT图像作为OCT测试图集。
步骤3.3、人工标记OCT训练图集中的OCT图像是否含有易损斑块，若含有易损斑块，标记易损斑块的种类，以及易损斑块的具体坐标。
步骤4、扩充OCT训练图集；
步骤4.1、判断OCT训练图集的图像数量是否超过第一阈值；
优选地，第一阈值为20000张OCT图像。
步骤4.2、若否，则将OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，第一OCT训练图集中的所有图像均包含易损斑块信息，第二OCT训练图集中的任一图像均不包含易损斑块信息；
步骤4.3设定拼接的步长，从第一OCT训练图集中调取一张第一OCT图像，从第一OCT图像的左侧，以设定的步长从第一OCT图像的左边缘开始截取第一OCT图像的第一部分，将截取的第一部分的左边缘拼接至第一OCT图像剩余部分的右边缘形成第一拼接OCT图像，按照上述方式，以设定的步长向第一OCT图像进行平移，从第一OCT图像的左端开始进一步截取第一OCT图像的第二部分，从而进行拼接获取第二拼接OCT图像，按照上述方式，将第一OCT训练图集中所有OCT图像进行拼接，由所有拼接的OCT图像和原始存在于第一OCT训练图集中的所有OCT图像组成扩充后的第一OCT训练图集，从而形成扩充后的OCT训练图集。
优选地，步长为10像素。
优选地，第一OCT训练图集中由900张OCT图像组成，经前后拼接处理后第一OCT训练图集中共由35549张OCT图像组成。
步骤5、训练待训练模型；
步骤5.1、获取OCT训练图集的特征图；
步骤5.1.1、输入OCT训练图集中的所有OCT图像，对OCT训练图集中的所有OCT图像运行全卷积网络，从而获取特征图；
优选地，全卷积网络为ResNet101网络，在获取特征图时去掉ResNet101网络最后一层的全连接层，并且只保留ResNet101网络的前100层，接下来将一个1*1*1024的全卷积层对ResNet101网络的第100层的输出进行降维，从而获取特征图。
优选地，全卷积网络还可以为AlexNet网络或VGG网络。
步骤5.2、获取特征图的位置敏感分数图；
对特征图用k2(C+1)个1024*1*1的卷积核去卷积，以此获得k2(C+1)个位置敏感分数图。
其中，如图4所示，k指特征图区域被平分为k×k个子区域，(C+1)中C指的是C个易损斑块种类和一个背景。
优选地，易损斑块的种类包括破裂斑块、薄纤维帽斑块、浅表钙化结节、巨噬细胞、红血栓和混合血栓。
步骤5.3、生成候选框；
以80～130像素为间距、10～30像素为步长，从OCT图像的左侧至右侧提取候选框，直至将整张OCT图像提取完毕，生成多个候选框，并且把IOU≥0.1的特征图设为训练正样本，IOU＝0的特征设为训练正样本，IOU＝0的特征图设为训练负样本，其中训练正样本为含易损斑块的OCT图像，训练负样本为不含易损斑块的OCT图像。
优选地，如图5所示，以120像素为间距、10像素为步长生成的候选框，检测易损斑块的正确率为87.57％。
步骤5.4、待训练模型的分类训练；
步骤5.4.1、将所有候选框均投影在位置敏感分数图上，并生成大小为k2(C+1)×W×H的第一立体块，其中，W和H分别为候选框的宽度和高度；
步骤5.4.2、采用空间相关池化的方式，在第一立方块中选出候选框中第K子区域对应的位置敏感分数图的子区域。并对位置敏感分数图的各子区域进行平均池化，使每个子区域对应一个像素值，如图6所示，最终得到大小为(C+1)×k×k的第二立方块。
其中，平均池化的公式为：
Figure BDA0001510690340000121
其中，rc(i，j)为C类中第(i，j)个子区域的池化结果，Zi，j，z为k2(C+1)个位置敏感分数图，(x0，y0)为特征图左上角的子区域，n为子区域中像素点的个数，Θ是网络中的学习参数。
步骤5.4.3、对于不同种类的易损斑块，分别对其特征图的k×k个子区域求和，得到每种易损斑块的分数，其中，每个特征图对应一个(C+1)维度的分数图，计算k×k个子区域对应的每一种类的易损斑块的分数计算公式为：
Figure BDA0001510690340000131
步骤5.4.4、利用softmax函数(归一化指数函数)得到每种易损斑块特征图的最终得分，并自动选取得分最高的类别，通过最高的最终得分确定候选框所对应的OCT图像的易损斑块的种类，完成待训练模型的分类训练。特征图的得分计算公式为：
Figure BDA0001510690340000132
步骤5.5、候选框的回归；
因为候选框所包含的区域中很有可能含有属于不同种类易损斑块的区域，采用与分类训练相同的方法进一步对候选框进行回归，使得检测过程中的检测框中尽可能的只包含同一种类易损斑块的信息。利用k2(C+1)维的全卷积层和新拓展的一个2k2维的卷积层对候选框进行回归。在这个2k2维的图上进行空间池化，并对每个特征图生成一个2k2向量，然后通过平均投票方式将2k2向量聚合成2维向量，这个2维向量在参数化之后，将候选框参数表示为t＝(tx，ty)，其中tx和ty分别代表横坐标上的两个坐标点这两点之间的区域则为所求易损斑块种类的部分，从而完成对候选框的回归。
步骤5.6、损失函数计算；
如图7所示，损失函数由分类损失和回归损失构成，损失函数的计算公式如下所示：
L(s,tx,y,w,h)＝Lcls(sc*)+λ[c*＞0]Lreg(t,t*)
其中，c*是特征图的标签，当c*＝0时表示为背景；Lcls(sc*)＝-log(sc*)为用于分类的交叉熵；Lreg为候选框回归损失函数，t为自动检测的检测框，t*为人工标记的检测框。对于待训练模型的训练，需要不断的调整参数，以使损失函数达到最小。同时，根据损失函数的值，网络中的参数也会随之改变。一般来说，当两次损失函数的数值相差小于第三阈值，完成待训练模型的训练，形成训后模型。
优选地，当两次损失函数的数值相差的第三阈值小于0.01％，完成待训练模型的训练，形成训后模型。
步骤6、拼接处理OCT测试图集中的所有原始图像；
提取OCT测试图集中的一张原始图像，如图8所示，以原始图像的中心为中心，将该原始图像中心的前半部分拼接至其后半部分，如图9所示，构成新的待检测OCT图像，直至按照上述步骤将OCT测试图集中的所有原始图像拼接处理完毕，所有新形成的待检测OCT图像构成待检测OCT图像集。
步骤7、对易损斑块的检测和分类；
步骤7.1、将OCT测试图集中的第K张原始图像输入至训后模型中，生成第一检测框；
步骤7.2、将待检测OCT图像集中的第K张待检测OCT图像输入至训后模型中，生成第二检测框；
步骤7.3、利用生成的第二检测框对待检测OCT图像集中的第K张待检测OCT图像进行易损斑块检测和易损斑块分类，确定第K张待检测OCT图像是否含有易损斑块，及含有的易损斑块所属的种类。
步骤8、判断待检测OCT图像是否需要还原至原始图像；
步骤8.1、如图10所示，判断第二检测框在对应的第K张待检测OCT图像中的位置与该待检测OCT图像边缘之间的距离是否小于第二阈值，若是，如图11所示，则将该待检测OCT图像的前半部分拼接在该待检测OCT图像的后半部分，如图12所示，使其恢复成拼接处理前的第K张原始图像，并形成第三检测框。
步骤8.2、取第一检测框和第三检测框的并集以形成第四检测框。
步骤8.3、重复步骤8.1和8.2，直至处理完成所有待检测OCT图像，从而得到多个第二检测框及多个第四检测框，将长度小于80～130像素的第二检测框及第四检测框删除，如图13所示，当删除的第二检测框或第四检测框小于80像素时正确率最高，合并间距小于20～34像素的第二检测框及第四检测框，如图14所示，当合并的第二检测框或第四检测框为32像素时正确率最高，若两个检测框相距的距离过近，我们则可认为两个检测框属于同一个易损斑块，因此可以进行合并。
优选地，将长度小于80像素的第四检测框删除，合并间距小于32像素的第四检测框时，正确率为87.57％。
步骤9、对不同易损斑块种类进行提示；
步骤9.1、将检测完成的待检测OCT图像及经拼接处理得到的原始图像进行坐标转化，如图15(a)-15(c)，从极坐标系转换为直角坐标系，并以不同记号标记出不同种类的易损斑块。
坐标系转化方程为：x＝ρ×cosθ及y＝ρ×sinθ
其中，x、y分别表示直角坐标系下的横坐标和纵坐标，ρ、θ分别表示极坐标系下的极径和极角。
优选地，用不同颜色对不同种类的易损斑块。
本实施例的有益效果：
1、本实施例因OCT图像的检测目标区域高度为图像高度不变，因此在图像坐标上OCT图像只有长度和位置的任意性，因此利用本实施例的方式能够快速、准确的生成候选框。
2、本实施例只需要横坐标上的两个参数便能对候选框进行回归，简化了对候选框进行回归的步骤。
3、本实施例为了解决在检测到OCT测试图集中OCT图像的易损斑块后，检测框边缘不贴边问题，在进行测试之前对OCT测试图集中的所有原始图像均进行了拼接处理，从而解决了检测框不贴边问题，提高了对易损斑块检测的准确率。
4、本实施例通过将原始图像的检测框与待检测OCT图像的检测框合并取并集的方式解决边缘检测框不贴边的问题，从而提高检测正确率。
实施例三
请参见图16，图16为本发明实施例提供的一种基于心血管OCT影像的易损斑块自动检测装置的结构示意图。在上述实施例的基础上，本实施例将对本发明的检测装置进行介绍。该装置包括：
依次电连接的探测单元、探头接口单元、光信号处理单元、数字信号处理单元、存储单元及显示器；其中，探测单元包括光纤探头，光纤探头用于根据探头接口单元的动作采集血管的样品信号，并将样品信号通过探头接口单元发送给光信号处理单元；光信号处理单元用于对样品信号进行处理得到图像帧；数字信号处理单元包括数据分析模块，数据分析模块用于对易损斑块的检测结果进行分析处理，存储单元用于存储处理指令。
综上所述，本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (4)

1.一种基于心血管OCT影像的易损斑块自动检测方法，其特征在于，包括：
步骤1、获取多张OCT图像，利用所获取的所有所述OCT图像建立OCT图像数据集；
步骤2、将所述OCT图像数据集分成OCT训练图集和OCT测试图集，OCT训练图集包含多张含易损斑块的OCT图像和多张不含易损斑块的OCT图像；
步骤3、使用所述OCT训练图集对待训练模型进行训练，以形成训后模型；
所述步骤3包括：
步骤3.1、将所述OCT训练图集的OCT图像输入至全卷积网络以获得所述OCT训练图集的特征图，所述全卷积网络为ResNet101网络，且在获得所述特征图时去掉所述ResNet101网络最后一层的全连接层，只保留所述ResNet101网络的前100层，并利用一个1024*1*1的全卷积层对所述ResNet101网络的第100层的输出进行降维以获得特征图；
步骤3.2、对所述特征图用k2(C+1)个1024*1*1的卷积核进行去卷积处理以获得所述特征图的k2(C+1)个位置敏感分数图，k2指所述特征图区域被平分为k×k个子区域，(C+1)中C指的是C个易损斑块种类和一个背景；
步骤3.3、以10～30像素为步长，从所述OCT训练图集的OCT图像的左侧至右侧提取多个候选框；
步骤3.4、将所有所述候选框均投影在所述位置敏感分数图上，生成大小为k2(C+1)×W×H的第一立方块，其中，W和H分别为候选框的宽度和高度，采用空间相关池化的方式，在所述第一立方块中选出候选框中第K子区域对应的位置敏感分数图的子区域，并对所述位置敏感分数图的各子区域进行平均池化，使每个所述子区域对应一个像素值，最终得到大小为(C+1)×k×k的第二立方块，对所述特征图的k×k个子区域求和，得到易损斑块的分数，利用softmax函数得到易损斑块的特征图的最终得分，并选取得分最高的类别，通过最高的最终得分确定所述候选框所对应的OCT图像的易损斑块的种类，以完成对所述全卷积网络的分类训练；
步骤3.5、利用k2(C+1)维的全卷积层和一个2k2维的卷积层对所述候选框进行回归；
步骤3.6、计算全卷积网络的损失函数以形成训后模型，所述损失函数由分类损失和回归损失构成；
步骤4、以所述OCT测试图集中的第K张原始图像的中心为中心，将该第K张原始图像中心的前半部分拼接至其后半部分，构成待检测OCT图像，所有所述待检测OCT图像构成待检测OCT图像集，其中，K为自然数；
步骤5、利用所述训后模型对所述OCT测试图集进行易损斑块检测和易损斑块分类；
所述步骤5包括：
步骤5.1、利用所述训后模型，在所述OCT测试图集中的第K张原始图像中生成第一检测框，第一检测框用于对OCT测试图集中的第K张原始图像中的易损斑块进行检测及分类；
步骤5.2、利用所述训后模型，在所述待检测OCT图像集的第K张待检测OCT图像中生成第二检测框，所述第二检测框用于对所述待检测OCT图像集中的第K张待检测OCT图像中的易损斑块进行检测和分类；
步骤5.3、判断所述第二检测框在所述第K张待检测OCT图像中的位置与所述第K张待检测OCT图像边缘之间的距离是否小于第二阈值，若是，则将所述第K张待检测OCT图像的前半部分拼接在该待检测OCT图像的后半部分，以形成所述第K张原始图像和第三检测框；
步骤5.4、在所述第K个原始图像上，求取所述第一检测框和所述第三检测框的并集以形成第四检测框，将长度小于80像素的所述第二检测框及所述第四检测框删除，合并间距小于20像素的所述第二检测框及所述第四检测框；
步骤6、根据分类结果对所述易损斑块进行提示。
2.根据权利要求1所述的检测方法，其特征在于，步骤2之后，还包括：
判断所述OCT训练图集的图像数量是否超过第一阈值，若否，则扩充所述OCT训练图集以使所述OCT训练图集的图像数量超过第一阈值；
标记所述OCT训练图集中的易损斑块的信息。
3.根据权利要求2所述的检测方法，其特征在于，扩充所述OCT训练图集，包括，
将所述OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，所述第一OCT训练图集中的所有图像均包含易损斑块信息，所述第二OCT训练图集中的任一图像均不包含易损斑块信息；
按照设定步长，将所述第一OCT训练图集中含易损斑块的每一个OCT图像进行拼接处理，以完成对所述OCT训练图集的扩充。
4.一种基于心血管OCT影像的易损斑块自动检测装置，包括数字信号处理单元及存储单元，所述存储单元用于存储处理指令，其特征在于，所述处理指令被所述数字信号处理单元执行时实现如权利要求1-3任一项方法中的步骤。
CN201711353459.XA 2017-12-15 2017-12-15 一种基于心血管oct影像的易损斑块自动检测方法和装置 Active CN107993228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711353459.XA CN107993228B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的易损斑块自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711353459.XA CN107993228B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的易损斑块自动检测方法和装置

Publications (2)

Publication Number Publication Date
CN107993228A CN107993228A (zh) 2018-05-04
CN107993228B true CN107993228B (zh) 2021-02-02

Family

ID=62038826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711353459.XA Active CN107993228B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的易损斑块自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN107993228B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
CN110223280B (zh) * 2019-06-03 2021-04-13 Oppo广东移动通信有限公司 静脉血栓检测方法和静脉血栓检测装置
CN110827255A (zh) * 2019-10-31 2020-02-21 杨本强 一种基于冠状动脉ct图像的斑块稳定性预测方法及系统
CN111369524B (zh) * 2020-03-02 2021-07-27 推想医疗科技股份有限公司 结节识别模型训练方法、结节识别方法及装置
CN111724314A (zh) * 2020-05-08 2020-09-29 天津大学 一种医疗影像中特殊标记的检测与去除方法
CN111739024B (zh) * 2020-08-28 2020-11-24 安翰科技(武汉)股份有限公司 图像识别方法、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218763B2 (en) * 2003-02-27 2007-05-15 Eastman Kodak Company Method for automated window-level settings for magnetic resonance images
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN105574859B (zh) * 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R-FCN: Object Detection via Region-based Fully Convolutional Networks;Jifeng Dai 等;《NIPS，16 Proceedings of the 30th international conference on neural information processing systems》;20161205;第1-6页第1-4节 *
R-FCN: Object Detection via Region-based Fully Convolutional Networks;Jifeng Dai等;《NIPS,16 Proceedings of the 30th international conference on neural information processing systems》;20161205;第1-6页第1-4节 *

Also Published As

Publication number Publication date
CN107993228A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107993228B (zh) 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
JP4950071B2 (ja) ３次元医療画像からの肺動脈樹の自動抽出の方法
TWI544898B (zh) 決定皮膚發炎分數之裝置及方法
CN107993229B (zh) 一种基于心血管ivoct图像的组织分类方法和装置
US20160042525A1 (en) Apparatus and method for visualization of region of interest
CN110036408B (zh) 活动性出血和血液外渗的自动ct检测和可视化
CN111462049B (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
KR101482247B1 (ko) 기도 추출 방법 및 그 장치
CN110349143B (zh) 一种确定管状组织感兴趣区的方法、装置、设备及介质
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
EP1083443A2 (en) Ultrasonic image apparatus for separating object
US20120070068A1 (en) Four dimensional reconstruction and characterization system
CN113012127A (zh) 基于胸部医学影像的心胸比测量方法
CN112070748A (zh) 金属油管缺陷检测方法和装置
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN109102486A (zh) 基于机器学习的表面缺陷检测方法及装置
CN112070750A (zh) 皮革制品缺陷检测方法和装置
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
JPH09204532A (ja) 画像認識方法および画像表示方法
CN110717471B (zh) 基于支持向量机模型b超图像目标检测方法及b超扫描仪
JPH08299341A (ja) 超音波体積演算装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant