CN108052909A - 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 - Google Patents

一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 Download PDF

Info

Publication number
CN108052909A
CN108052909A CN201711351259.0A CN201711351259A CN108052909A CN 108052909 A CN108052909 A CN 108052909A CN 201711351259 A CN201711351259 A CN 201711351259A CN 108052909 A CN108052909 A CN 108052909A
Authority
CN
China
Prior art keywords
oct
fibrous cap
thin fibrous
image
atlas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711351259.0A
Other languages
English (en)
Other versions
CN108052909B (zh
Inventor
陈韵岱
曹挥
曹一挥
朱锐
李嘉男
金琴花
荆晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN201711351259.0A priority Critical patent/CN108052909B/zh
Publication of CN108052909A publication Critical patent/CN108052909A/zh
Application granted granted Critical
Publication of CN108052909B publication Critical patent/CN108052909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明涉及一种基于心血管OCT影像的薄纤维帽斑块自动检测方法和装置，该方法包括：利用N张OCT图像建立OCT图像数据集；将OCT图像数据集分为OCT训练图集和OCT测试图集；使用含薄纤维帽斑块信息的OCT训练图集对待训练网络进行训练，以形成训后网络，训后网络用于对OCT测试图集进行检测和分类；利用训后网络对OCT测试图集进行薄纤维帽斑块检测和薄纤维帽斑块分类；根据分类结果对薄纤维帽斑块进行提示。本发明利用训练好的训后网络对图像进行特征提取，实现自动检测和识别OCT图像上是否含有薄纤维帽斑块，无需人工参与，便于医生能够准确的对OCT图像进行分析，检测准确率较高，具有较好的鲁棒性及检测速度。

Description

一种基于心血管OCT影像的薄纤维帽斑块自动检测方法和 装置
技术领域
本发明涉及医疗器械技术领域，特别是涉及一种基于心血管OCT影像的薄纤维帽斑块自动检测方法和装置。
背景技术
易损斑块是指易导致血栓形成或能快速发展为犯病变的所有斑块。易损斑块表面的包膜非常薄，斑块内部含有的脂质又非常多，因此很容易发生破裂。比如在情绪激动、剧烈运动、酗酒、寒冷等因素刺激下会造成人体血压升高、血流剧烈冲击斑块或者血管发生痉挛，这些情况下易损斑块的包膜就会受损破裂。
目前，伴随炎症浸润的薄纤维帽斑块(TCFA)是最常见的易损斑块类型，由其继发斑块破裂引起致急性冠脉事件占全部冠脉事件的60-70％。
虽然用于薄纤维帽斑块检测的方法很多，包括冠状动脉造影、血管内超声、光学相干断层等，但是都需要基于人工分辨图像中是否含有薄纤维帽斑块，且目前临床上评估分析心血管薄纤维帽斑块一方面需要医生花费大量的时间和精力来分析、判断OCT图像中是否含有薄纤维帽斑块；另一方面，无法满足临床中实时分析的需求，且无法建立统一的临床标准。
发明内容
因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种基于心血管OCT影像的薄纤维帽斑块自动检测方法和装置。
具体地，本发明一个实施例提出一种基于心血管OCT影像的薄纤维帽斑块自动检测方法，包括：
步骤1、获取N张OCT图像，利用所述N张OCT图像建立OCT图像数据集，其中，N为自然数；
步骤2、将所述OCT图像数据集分为两部分，其中，一部分为OCT训练图集，另一部分为OCT测试图集；
步骤3、使用含有薄纤维帽斑块信息的所述OCT训练图集对待训练网络进行训练，以形成训后网络，所述训后网络用于对所述OCT测试图集进行检测和分类；
步骤4、利用所述训后网络对所述OCT测试图集进行薄纤维帽斑块检测和薄纤维帽斑块分类；
步骤5、根据分类结果对所述薄纤维帽斑块进行提示。
在本发明的一个实施例中，所述OCT训练图集和所述OCT测试图集均包括含薄纤维帽斑块的OCT图像和不含薄纤维帽斑块的OCT图像。
在本发明的一个实施例中，在步骤3之前，还包括：
按照第一设定步长，将所述OCT训练图集中含薄纤维帽斑块的所有图像进行前后拼接处理以获得M张第一拼接图像，所述M张第一拼接图像用于扩充所述OCT训练图集，其中，M是自然数。
在本发明的一个实施例中，步骤3包括：
输入所述OCT训练图集的图像至待训练网络，以获得所述OCT训练图集的特征图；
对所述特征图进行去卷积处理以获得所述特征图的位置敏感分数图；
在所述薄纤维帽斑块区域内提取多个第一候选框，在所述薄纤维帽斑块区域外提取多个第二候选框；
将所有所述第一候选框和所有所述第二候选框均投影在所述位置敏感分数图上，确定所述OCT训练图集中薄纤维帽斑块的种类，以完成对所述待训练网络的分类训练；
计算所述待训练网络的损失函数以形成训后网络。
在本发明的一个实施例中，在所述薄纤维帽斑块区域内提取多个第一候选框，在所述薄纤维帽斑块区域外提取多个第二候选框，包括：
若所述OCT训练图集中的OCT图像含有薄纤维帽斑块，则在所述薄纤维帽斑块区域内，按照第一设定间距和第二设定步长，以所述薄纤维帽斑块的中心线为轴向两侧提取多个所述第一候选框，在所述薄纤维帽斑块区域外，按照第二设定间距和第三设定步长提取多个所述第二候选框；
若所述OCT训练图集中的OCT图像不含薄纤维帽斑块，则按照第二设定间距和第三设定步长提取多个所述第二候选框。
在本发明的一个实施例中，在步骤4之前，还包括：
对所述OCT测试图集中的所有原始图像均进行拼接处理以形成待检测OCT图像集。
在本发明的一个实施例中，步骤4包括：
将所述OCT测试图集中的第K个原始图像输入至所述训后网络，以获得所述第K个原始图像的第一检测框；
将所述待检测OCT图像集中的第K个待检测图像输入至所述训后网络，以获得所述第K个待检测图像的第二检测框；
利用所述第二检测框对所述待检测OCT图像集中的第K个待检测图像进行薄纤维帽斑块检测和薄纤维帽斑块分类；
其中，所述第K个待检测图像是通过对所述第K个原始图像进行拼接处理而形成的。
在本发明的一个实施例中，利用所述第二检测框对所述待检测OCT图像集中的第K个待检测图像进行薄纤维帽斑块检测和薄纤维帽斑块分类之后，还包括：
判断所述第二检测框在所述第K个待检测图像中的位置与所述第K个待检测图像边缘之间的距离是否小于第二阈值，若是，则对所述第K个待检测图像进行拼接处理以形成所述第K个原始图像和第三检测框。
在本发明的一个实施例中，在对所述第K个待检测图像进行拼接处理以形成所述第K个原始图像和第三检测框之后，还包括：
将所述第一检测框与所述第三检测框进行取并集处理，以获得第四检测框。
一种基于心血管OCT影像的薄纤维帽斑块自动检测装置，包括数字信号处理单元及存储单元，所述存储单元用于存储处理指令,所述处理指令被所述数字信号处理单元执行时实现上述实施例中任一项方法中的步骤。
本发明实施例，具备如下优点：
本发明通过机器深度学习，利用训练好的训后网络自动对图像进行特征提取，实现自动检测和识别OCT图像上是否含有薄纤维帽斑块，无需人工参与，便于医生能够快速准确的对OCT图像进行分析，本发明提出的方法及装置能在复杂的OCT图像中进行检测，检测准确率较高，具有较好的鲁棒性及检测速度。
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
下面将结合附图，对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种基于心血管OCT影像的薄纤维帽斑块自动检测方法的流程示意图；
图2为本发明实施例提供的一种直角坐标系下的OCT图像示意图；
图3为本发明实施例提供的一种极坐标系下的OCT图像示意图；
图4为本发明实施例提供的一种特征图子区域平均池化；
图5为本发明实施例提供的一种维数变化示意图；
图6为本发明实施例提供的一种损失函数组成示意图；
图7为本发明实施例提供的一种OCT测试图集中的原始图像的示意图；
图8为本发明实施例提供的一种OCT测试图集中的待检测OCT图像的示意图；
图9为本发明实施例提供的另一种OCT测试图集中的原始图像的示意图；
图10为本发明实施例提供的另一种OCT测试图集中的待检测OCT图像的示意图；
图11为本发明实施例提供的再一种OCT测试图集中的原始图像的示意图；
图12为本发明实施例提供的一种检测框删除方式的示意图；
图13为本发明实施例提供的一种检测框合并方式的示意图；
图14为本发明实施例提供的一种不同坐标系下的薄纤维帽斑块标记结果示意图；
图15为本发明实施例提供的另一种基于心血管OCT影像的薄纤维帽斑块自动检测方法的流程示意图；
图16为本发明实施例提供的一种基于心血管OCT影像的薄纤维帽斑块自动检测装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1，图1为本发明实施例提供的一种基于心血管OCT影像的薄纤维帽斑块自动检测方法的流程示意图。该检测方法包括：
步骤1、获取N张OCT图像，利用N张OCT图像建立OCT图像数据集，其中，N为自然数；
步骤2、将OCT图像数据集分为两部分，其中，一部分为OCT训练图集，另一部分为OCT测试图集；
步骤3、使用含有薄纤维帽斑块信息的OCT训练图集对待训练网络进行训练，以形成训后网络，训后网络用于对OCT测试图集进行检测和分类；
步骤4、利用训后网络对OCT测试图集进行薄纤维帽斑块检测和薄纤维帽斑块分类；
步骤5、根据分类结果对薄纤维帽斑块进行提示。
优选地，OCT训练图集和OCT测试图集均包括含薄纤维帽斑块的OCT图像和不含薄纤维帽斑块的OCT图像。
其中，在步骤3之前，还包括：
步骤3.1、按照第一设定步长，将OCT训练图集中含薄纤维帽斑块的所有图像进行前后拼接处理以获得M张第一拼接图像，M张第一拼接图像用于扩充OCT训练图集，其中，M是自然数。
其中，步骤3包括：
步骤3.2、输入OCT训练图集的图像至待训练网络，以获得OCT训练图集的特征图；
步骤3.3、对特征图进行去卷积处理以获得特征图的位置敏感分数图；
步骤3.4、在薄纤维帽斑块区域内提取多个第一候选框，在薄纤维帽斑块区域外提取多个第二候选框；
步骤3.5、将所有第一候选框和所有第二候选框均投影在位置敏感分数图上，确定OCT训练图集中薄纤维帽斑块的种类，以完成对待训练网络的分类训练；
步骤3.6、计算待训练网络的损失函数以形成训后网络。
其中，步骤3.4包括：
步骤3.4.1、若OCT训练图集中的OCT图像含有薄纤维帽斑块，则在薄纤维帽斑块区域内，按照第一设定间距和第二设定步长，以薄纤维帽斑块的中心线为轴向两侧提取多个第一候选框，在薄纤维帽斑块区域外，按照第二设定间距和第三设定步长提取多个第二候选框；
步骤3.4.2、若OCT训练图集中的OCT图像不含薄纤维帽斑块，则按照设定宽度和设定步长提取多个第二候选框。
其中，步骤4包括：
步骤4.1、将OCT测试图集中的第K个原始图像输入至训后网络，以获得第K个原始图像的第一检测框；
步骤4.2、将待检测OCT图像集中的第K个待检测图像输入至训后网络，以获得第K个待检测图像的第二检测框；
步骤4.3、利用第二检测框对待检测OCT图像集中的第K个待检测图像进行薄纤维帽斑块检测和薄纤维帽斑块分类；
其中，第K个待检测图像是通过对第K个原始图像进行拼接处理而形成的。
其中，在步骤4.3之后，还包括：
步骤4.4、判断所述第二检测框在所述第K个待检测图像中的位置与所述第K个待检测图像边缘之间的距离是否小于第二阈值，若是，则对所述第K个待检测图像进行拼接处理以形成所述第K个原始图像和第三检测框。
其中，在步骤4.4之后，还包括：
步骤4.5、将第一检测框与第三检测框进行取并集处理，以获得第四检测框。
一种基于心血管OCT影像的薄纤维帽斑块自动检测装置，包括数字信号处理单元及存储单元，存储单元用于存储处理指令,处理指令被数字信号处理单元执行时实现上述实施例中任一项方法中的步骤。
本实施例通过已标记薄纤维帽斑块信息的OCT训练图集去训练待训练网络，并利用训练好的训后网络自动检测和识别OCT图像上是否含有薄纤维帽斑块，整个检测过程实现了机器的自动识别，识别准确率高，并且检测速度快，具有较好的鲁棒性及检测速度。
实施例二
请参见图2～图14，图2为本发明实施例提供的一种直角坐标系下的OCT图像示意图，图3为本发明实施例提供的一种极坐标系下的OCT图像示意图，图4为本发明实施例提供的一种特征图子区域平均池化，图5为本发明实施例提供的一种维数变化示意图，图6为本发明实施例提供的一种损失函数组成示意图，图7为本发明实施例提供的一种OCT测试图集中的原始图像的示意图，图8为本发明实施例提供的一种OCT测试图集中的待检测OCT图像的示意图，图9为本发明实施例提供的另一种OCT测试图集中的原始图像的示意图，图10为本发明实施例提供的另一种OCT测试图集中的待检测OCT图像的示意图，图11为本发明实施例提供的再一种OCT测试图集中的原始图像的示意图，图12为本发明实施例提供的一种检测框删除方式的示意图，图13为本发明实施例提供的一种检测框合并方式的示意图，图14为本发明实施例提供的一种不同坐标系下的薄纤维帽斑块标记结果示意图。在上述实施例的基础上，本实施例将对本发明的自动检测方法进行详细介绍。
步骤1、建立OCT图像数据集；
获取N张OCT图像，利用所获取的所有OCT图像建立OCT图像数据集，其中，N为自然数。
步骤2、极坐标转换；
利用下述公式将OCT图像数据集中的图像进行坐标转换，如图2和图3所示，以将直角坐标系下的OCT图像数据集转换成极坐标下的OCT图像数据集。
其中，x、y分别表示直角坐标系下的横坐标和纵坐标，ρ、θ分别表示极坐标系下的极径和极角。
步骤3、建立OCT训练图集和OCT测试图集；
步骤3.1、将OCT图像数据集分成OCT训练图集和OCT测试图集；
其中，OCT训练图集包含多张含薄纤维帽斑块的OCT图像和多张不含薄纤维帽斑块的OCT图像；OCT测试图集包含多张含薄纤维帽斑块的OCT图像和多张不含薄纤维帽斑块的OCT图像。
优选地，OCT图像数据集共包含2000张OCT图像，从OCT图像数据集中随机选取1700张OCT图像作为OCT训练图集，其中，900张含薄纤维帽斑块300张OCT图像作为OCT测试图集。
步骤3.3、人工标记OCT训练图集中的OCT图像是否含有薄纤维帽斑块，若含有薄纤维帽斑块，标记薄纤维帽斑块，以及薄纤维帽斑块的具体坐标。
步骤4、扩充OCT训练图集；
步骤4.1、判断OCT训练图集的图像数量是否超过第一阈值；
优选地，第一阈值为20000张OCT图像。
步骤4.2、若否，则将OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，第一OCT训练图集中的所有图像均包含薄纤维帽斑块信息，第二OCT训练图集中的任一图像均不包含薄纤维帽斑块信息；
步骤4.3按照第一设定步长，从第一OCT训练图集中调取一张第一OCT图像，从第一OCT图像的左侧，以第一设定步长从第一OCT图像的左边缘开始截取第一OCT图像的第一部分，将截取的第一部分的左边缘拼接至第一OCT图像剩余部分的右边缘形成第一拼接图像，按照上述方式，以第一设定步长向第一OCT图像进行平移，从第一OCT图像的左端开始进一步截取第一OCT图像的第二部分，从而进行拼接获取第二拼接图像，按照上述方式，将第一OCT训练图集中所有OCT图像进行拼接，由所有拼接的OCT图像和原始存在于第一OCT训练图集中的所有OCT图像组成扩充后的第一OCT训练图集，从而形成扩充后的OCT训练图集。
优选地，第一设定步长为10像素。
优选地，第一OCT训练图集中由900张OCT图像组成，经前后拼接处理后第一OCT训练图集中共由35549张OCT图像组成。
步骤5、训练待训练网络；
步骤5.1、获取OCT训练图集的特征图；
步骤5.1.1、输入OCT训练图集中的所有OCT图像，对OCT训练图集中的所有OCT图像运行全卷积网络，从而获取特征图；
优选地，全卷积网络为ResNet101网络，在获取特征图时去掉ResNet101网络最后一层的全连接层，并且只保留ResNet101网络的前100层，接下来将一个1*1*1024的全卷积层对ResNet101网络的第100层的输出进行降维，从而获取特征图。
优选地，全卷积网络还可以为AlexNet网络或VGG网络。
步骤5.2、获取特征图的位置敏感分数图；
对特征图用k2(C+1)个1024*1*1的卷积核去卷积，以此获得k2(C+1)个位置敏感分数图。
其中，如图4所示，k指特征图区域被平分为k×k个子区域，(C+1)中C指的薄纤维帽斑块和一个背景。
步骤5.3、生成候选框；
步骤5.3.1、若OCT训练图集中的OCT图像中含有薄纤维帽斑块，则在其薄纤维帽斑块区域内，以薄纤维帽斑块的中心线为轴，按照第一设定间距和第二设定步长向两侧提取多个第一候选框，在OCT图像中的薄纤维帽斑块区域外，按照第二设定间距和第三设定步长提取多个第二候选框；
优选地，第一设定间距为50～60像素。
优选地，第二设定步长为10～30像素。
优选地，第二设定间距为10像素。
优选地，第三第二设定步长10像素。
步骤5.3.2、若OCT训练图集中的OCT图像中不含薄纤维帽斑块，则按照第二设定间距和所述第三设定步长从OCT图像的左侧至右侧提取第二候选框，直至将整张OCT图像提取完毕，生成多个第二候选框。
步骤5.4、待训练网络的分类训练；
步骤5.4.1、将所有第一候选框和第二候选框均投影在位置敏感分数图上，并生成大小为k2(C+1)×W×H的第一立体块，其中，W和H分别为候选框的宽度和高度；
步骤5.4.2、采用空间相关池化的方式，在第一立方块中选出第一候选框或第二候选框中第K子区域对应的位置敏感分数图的子区域。并对位置敏感分数图的各子区域进行平均池化，使每个子区域对应一个像素值，如图5所示，最终得到大小为(C+1)×k×k的第二立方块。
其中，平均池化的公式为：
其中，rc(i，j)为C类中第(i，j)个子区域的池化结果，Zi，j，z为k2(C+1)个位置敏感分数图，(x0，y0)为特征图左上角的子区域，n为子区域中像素点的个数，Θ是网络中的学习参数。
步骤5.4.3、对于OCT训练图集中的OCT图像中的薄纤维帽斑块区域和非薄纤维帽斑块区域，分别对其特征图的k×k个子区域求和，分别得到薄纤维帽斑块区域和非薄纤维帽斑块区域的分数，其中，每个特征图对应一个(C+1)维度的分数图，薄纤维帽斑块的分数计算公式为：
步骤5.4.4、利用softmax函数(归一化指数函数)分别求得薄纤维帽斑块区域和非薄纤维帽斑块区域特征图的最终得分，并自动选取得分最高的类别，通过最高的最终得分确定第一候选框或第二候选框所对应的OCT图像的区域，完成待训练网络的分类训练，其中，分类训练包括薄纤维帽斑块分类训练和非薄纤维帽斑块分类训练。特征图的得分计算公式为：
步骤5.5、第一候选框的回归；
因为第一候选框所包含的区域中有可能含有非薄纤维帽斑块区域，采用与分类训练相同的方法进一步对第一候选框进行回归，使得检测过程中的检测框中尽可能的只包含薄纤维帽斑块的信息。利用k2(C+1)维的全卷积层和新拓展的一个2k2维的卷积层对第一候选框进行回归。在这个2k2维的图上进行空间池化(Psroi-pooling)，并对每个特征图生成一个2k2向量，然后通过平均投票方式将2k2向量聚合成2维向量，这个2维向量在参数化之后，将第一候选框参数表示为t＝(tx，ty)，其中tx和ty分别代表横坐标上的两个坐标点这两点之间的区域则为所求薄纤维帽斑块的部分，从而完成对第一候选框的回归。
步骤5.6、损失函数计算；
如图6所示，损失函数由分类损失和回归损失构成，损失函数的计算公式如下所示：
L(s,tx,y,w,h)＝Lcls(sc*)+λ[c*＞0]Lreg(t,t*)
其中，c*是特征图的标签，当c*＝0时表示为背景；Lcls(sc*)＝-log(sc*)为用于分类的交叉熵；Lreg为第一候选框回归损失，t为自动检测的检测框，t*为人工标记的检测框。对于待训练网络的训练，需要不断的调整参数，以使损失函数达到最小。同时，根据损失函数的值，网络中的参数也会随之改变。一般来说，当两次损失函数的数值相差小于第三阈值时，完成待训练网络的训练，形成训后网络。
优选地，当两次损失函数的数值相差的第三阈值小于0.01％时，完成待训练网络的训练，形成训后网络。
步骤6、拼接处理OCT测试图集中的所有原始图像；
提取OCT测试图集中的一张原始图像，如图7所示，以原始图像的中心为中心，将该原始图像中心的前半部分拼接至其后半部分，如图8所示，构成新的待检测OCT图像，直至按照上述步骤将OCT测试图集中的所有原始图像拼接处理完毕，所有新形成的待检测OCT图像构成待检测OCT图像集。
步骤7、对薄纤维帽斑块的检测和分类；
步骤7.1、将OCT测试图集中的第K个原始图像输入至训后网络中，生成第一检测框；
步骤7.2、将待检测OCT图像集中的第K个待检测OCT图像输入至训后网络中，生成第二检测框；
步骤7.3、利用生成的第二检测框对待检测OCT图像集中的第K个待检测OCT图像进行薄纤维帽斑块检测和薄纤维帽斑块分类，确定第K个待检测OCT图像是否含有薄纤维帽斑块及薄纤维帽斑块的坐标。
步骤8、判断待检测OCT图像是否需要还原至原始图像；
步骤8.1、如图9所示，判断第二检测框在对应的第K个待检测OCT图像中的位置与该待检测OCT图像边缘之间的距离是否小于第二阈值，若是，如图10所示，则将第K个待检测OCT图像的前半部分拼接在该第K个待检测OCT图像的后半部分，如图11所示，使其恢复成拼接处理前的第K个原始图像，并形成第三检测框。
步骤8.2、取第一检测框和第三检测框的并集以形成第四检测框。
步骤8.3、重复步骤8.1和8.2，直至处理完成待检测OCT图像集所有待检测OCT图像，从而得到多个第二检测框及多个第四检测框，将长度小于80～130像素的第二检测框及第四检测框删除，如图12所示，当删除的第二检测框或第四检测框小于80像素时正确率最高，合并间距小于20～34像素的第二检测框及第四检测框，如图13所示，当合并的第二检测框或第四检测框为32像素时正确率最高，若两个检测框相距的距离过近，我们则可认为两个检测框属于同一个薄纤维帽斑块，因此可以进行合并。
优选地，将长度小于120像素的第四检测框删除，合并间距小于32像素的第四检测框时，正确率为87.55％。
步骤9、对不同薄纤维帽斑块种类进行提示；
步骤9.1、将检测完成的待检测OCT图像及经拼接处理得到的原始图像进行坐标转化，如图14，从极坐标系转换为直角坐标系，并以不同记号标记出不同种类的薄纤维帽斑块。
坐标系转化方程为：x＝ρ×cosθ及y＝ρ×sinθ
其中，x、y分别表示直角坐标系下的横坐标和纵坐标，ρ、θ分别表示极坐标系下的极径和极角。
优选地，用不同颜色对不同种类的薄纤维帽斑块。
本实施例的有益效果：
1、本实施例因OCT图像的检测目标区域高度为图像高度不变，因此在图像坐标上OCT图像只有长度和位置的任意性，因此利用本实施例的方式能够完全包含薄纤维帽斑块区域，并且能够减少大小不符合规格的候选框的数量，并能合并符合规格的候选框，提高检测的准确率。
2、本实施例只需要横坐标上的两个参数便能对候选框进行回归，简化了对候选框进行回归的步骤。
3、本实施例为了解决在检测到OCT测试图集中OCT图像的薄纤维帽斑块后，检测框边缘不贴边问题，在进行测试之前对OCT测试图集中的所有原始图像均进行了拼接处理，从而解决了检测框不贴边问题，提高了对薄纤维帽斑块检测的准确率。
4、本实施例通过将原始图像的检测框与待检测OCT图像的检测框合并取并集的方式解决边缘检测框不贴边的问题，从而提高检测正确率。
实施例三
请参见图15，图15为本发明实施例提供的另一种基于心血管OCT影像的薄纤维帽斑块自动检测方法的流程示意图。该检测方法包括：
步骤1、获取多张OCT图像，建立OCT图像数据集；
步骤2、将OCT图像数据集分成OCT训练图集和OCT测试图集；
步骤3、使用OCT训练图集对待训练网络进行训练，以形成训后网络；
步骤4、利用训后网络对OCT测试图集进行薄纤维帽斑块检测和薄纤维帽斑块分类；
步骤5、根据分类结果对薄纤维帽斑块进行提示。
其中，在步骤1之后，还包括：
步骤1.1、将OCT图像数据集中的图像进行坐标转换，以将直角坐标系下的OCT图像数据集转换成极坐标下的OCT图像数据集。
其中，在步骤2之后，还包括：
步骤2.1、判断OCT训练图集的图像数量是否超过第一阈值，若否，则扩充OCT训练图集以使OCT训练图集的图像数量超过第一阈值；
步骤2.2、标记OCT训练图集中的薄纤维帽斑块的信息。
其中，步骤2.1包括：
步骤2.1.1、将OCT训练图集分成第一OCT训练图集和第二OCT训练图集，其中，第一OCT训练图集中的所有图像均包含薄纤维帽斑块信息，第二OCT训练图集中的任一图像均不包含薄纤维帽斑块信息；
步骤2.1.2、按照设定步长，将第一OCT训练图集中含薄纤维帽斑块的每一个OCT图像进行拼接处理，以完成对OCT训练图集的扩充。
其中，步骤3包括：
步骤3.1、将OCT训练图集输入至全卷积网络以获得OCT训练图集的特征图；
步骤3.2、对特征图进行去卷积处理以获得特征图的位置敏感分数图；
步骤3.3、提取OCT训练图集图像的多个候选框；
步骤3.4、将所有候选框均投影在位置敏感分数图上，采用候选框对全卷积网络进行训练，以完成对全卷积网络的分类训练；
步骤3.5、计算全卷积网络的损失函数以形成训后网络。
其中，在步骤3之后，还包括：
步骤3.6、对OCT测试图集中的所有原始图像均进行拼接处理以形成待检测OCT图像集。
其中，步骤4包括：
步骤4.1、利用训后网络，在原始图像中生成第一检测框，第一检测框用于对OCT测试图集中的第K个原始图像中的薄纤维帽斑块进行检测及分类；
步骤4.2、利用训后网络，在待检测OCT图像集中生成第二检测框，第二检测框用于对待检测OCT图像集中的第K个待检测OCT图像中的薄纤维帽斑块进行检测和分类；
其中，第K个待检测OCT图像是通过对第K个原始图像进行拼接处理而形成的。
其中，在步骤4.2之后，还包括：
步骤4.3、判断第二检测框在第K个待检测OCT图像中的位置与第K个待检测OCT图像边缘之间的距离是否小于第二阈值，若是，则对第K个待检测OCT图像进行拼接处理以形成第K个原始图像和第三检测框。
其中，在步骤4.3之后，还包括：
步骤4.4、在第K个原始图像上，求取第一检测框和第三检测框的并集以形成第四检测框。
本实施例通过已标记薄纤维帽斑块信息的OCT训练图集去训练待训练网络，并利用训练好的训后网络自动检测和识别OCT图像上是否含有薄纤维帽斑块，整个检测过程实现了机器的自动识别，识别准确率高，并且检测速度快，具有较好的鲁棒性及检测速度。
实施例四
请参见图16，图16为本发明实施例提供的一种基于心血管OCT影像的薄纤维帽斑块自动检测装置的结构示意图。在上述实施例的基础上，本实施例将对本发明的检测装置进行介绍。该装置包括：
依次电连接的探测单元、探头接口单元、光信号处理单元、数字信号处理单元、存储单元及显示器；其中，探测单元包括光纤探头，光纤探头用于根据探头接口单元的动作采集血管的样品信号，并将样品信号通过探头接口单元发送给光信号处理单元；光信号处理单元用于对样品信号进行处理得到图像帧；数字信号处理单元包括数据分析模块，数据分析模块用于对薄纤维帽斑块的检测结果进行分析处理，存储单元用于存储处理指令。
综上所述，本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种基于心血管OCT影像的薄纤维帽斑块自动检测方法，其特征在于，包括：
步骤1、获取N张OCT图像，利用所述N张OCT图像建立OCT图像数据集，其中，N为自然数；
步骤2、将所述OCT图像数据集分为两部分，其中，一部分为OCT训练图集，另一部分为OCT测试图集；
步骤3、使用含有薄纤维帽斑块信息的所述OCT训练图集对待训练网络进行训练，以形成训后网络，所述训后网络用于对所述OCT测试图集进行检测和分类；
步骤4、利用所述训后网络对所述OCT测试图集进行薄纤维帽斑块检测和薄纤维帽斑块分类；
步骤5、根据分类结果对所述薄纤维帽斑块进行提示。
2.根据权利要求1所述的检测方法，其特征在于，所述OCT训练图集和所述OCT测试图集均包括含薄纤维帽斑块的OCT图像和不含薄纤维帽斑块的OCT图像。
3.根据权利要求1所述的检测方法，其特征在于，在步骤3之前，还包括：
按照第一设定步长，将所述OCT训练图集中含薄纤维帽斑块的所有图像进行前后拼接处理以获得M张第一拼接图像，所述M张第一拼接图像用于扩充所述OCT训练图集，其中，M是自然数。
4.根据权利要求1所述的检测方法，其特征在于，步骤3包括：
输入所述OCT训练图集的图像至待训练网络，以获得所述OCT训练图集的特征图；
对所述特征图进行去卷积处理以获得所述特征图的位置敏感分数图；
在所述薄纤维帽斑块区域内提取多个第一候选框，在所述薄纤维帽斑块区域外提取多个第二候选框；
将所有所述第一候选框和所有所述第二候选框均投影在所述位置敏感分数图上，确定所述OCT训练图集中薄纤维帽斑块的种类，以完成对所述待训练网络的分类训练；
计算所述待训练网络的损失函数以形成训后网络。
5.根据权利要求4所述的检测方法，其特征在于，在所述薄纤维帽斑块区域内提取多个第一候选框，在所述薄纤维帽斑块区域外提取多个第二候选框，包括：
若所述OCT训练图集中的OCT图像含有薄纤维帽斑块，则在所述薄纤维帽斑块区域内，按照第一设定间距和第二设定步长，以所述薄纤维帽斑块的中心线为轴向两侧提取多个所述第一候选框，在所述薄纤维帽斑块区域外，按照第二设定间距和第三设定步长提取多个所述第二候选框；
若所述OCT训练图集中的OCT图像不含薄纤维帽斑块，则按照所述第二设定间距和所述第三设定步长提取多个所述第二候选框。
6.根据权利要求1所述的检测方法，其特征在于，在步骤4之前，还包括：
对所述OCT测试图集中的所有原始图像均进行拼接处理以形成待检测OCT图像集。
7.根据权利要求6所述的检测方法，其特征在于，步骤4包括：
将所述OCT测试图集中的第K个原始图像输入至所述训后网络，以获得所述第K个原始图像的第一检测框；
将所述待检测OCT图像集中的第K个待检测图像输入至所述训后网络，以获得所述第K个待检测图像的第二检测框；
利用所述第二检测框对所述待检测OCT图像集中的第K个待检测图像进行薄纤维帽斑块检测和薄纤维帽斑块分类；
其中，所述第K个待检测图像是通过对所述第K个原始图像进行拼接处理而形成的。
8.根据权利要求7所述的检测方法，其特征在于，利用所述第二检测框对所述待检测OCT图像集中的第K个待检测图像进行薄纤维帽斑块检测和薄纤维帽斑块分类之后，还包括：
判断所述第二检测框在所述第K个待检测图像中的位置与所述第K个待检测图像边缘之间的距离是否小于第二阈值，若是，则对所述第K个待检测图像进行拼接处理以形成所述第K个原始图像和第三检测框。
9.根据权利要求8所述的检测方法，其特征在于，在对所述第K个待检测图像进行拼接处理以形成所述第K个原始图像和第三检测框之后，还包括：
将所述第一检测框与所述第三检测框进行取并集处理，以获得第四检测框。
10.一种基于心血管OCT影像的薄纤维帽斑块自动检测装置，包括数字信号处理单元及存储单元，所述存储单元用于存储处理指令，其特征在于，所述处理指令被所述数字信号处理单元执行时实现如权利要求1-9任一项方法中的步骤。
CN201711351259.0A 2017-12-15 2017-12-15 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 Active CN108052909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711351259.0A CN108052909B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711351259.0A CN108052909B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置

Publications (2)

Publication Number Publication Date
CN108052909A true CN108052909A (zh) 2018-05-18
CN108052909B CN108052909B (zh) 2021-02-02

Family

ID=62133131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711351259.0A Active CN108052909B (zh) 2017-12-15 2017-12-15 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN108052909B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
CN110110600A (zh) * 2019-04-04 2019-08-09 平安科技（深圳）有限公司 眼部oct图像病灶识别方法、装置及存储介质
CN113096115A (zh) * 2021-04-28 2021-07-09 博动医学影像科技（上海）有限公司 冠状动脉斑块状态评估方法、装置、电子设备
CN113469875A (zh) * 2021-07-13 2021-10-01 中国人民解放军总医院 光衰图像合成方法、装置、终端设备及存储介质
CN114882017A (zh) * 2022-06-30 2022-08-09 中国科学院大学 基于颅内动脉图像的薄纤维帽斑块检测的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651765A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种采用深度神经网络的缩略图自动生成的方法
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651765A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种采用深度神经网络的缩略图自动生成的方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI 等: "R-FCN: Object Detection via Region-based Fully Convolutional Networks", 《NIPS，16 PROCEEDINGS OF THE 30TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
CN110110600A (zh) * 2019-04-04 2019-08-09 平安科技（深圳）有限公司 眼部oct图像病灶识别方法、装置及存储介质
CN113096115A (zh) * 2021-04-28 2021-07-09 博动医学影像科技（上海）有限公司 冠状动脉斑块状态评估方法、装置、电子设备
CN113469875A (zh) * 2021-07-13 2021-10-01 中国人民解放军总医院 光衰图像合成方法、装置、终端设备及存储介质
CN113469875B (zh) * 2021-07-13 2023-07-14 中国人民解放军总医院 光衰图像合成方法、装置、终端设备及存储介质
CN114882017A (zh) * 2022-06-30 2022-08-09 中国科学院大学 基于颅内动脉图像的薄纤维帽斑块检测的方法及装置

Also Published As

Publication number Publication date
CN108052909B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN108052909A (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
Li et al. Recognition and evaluation of bridge cracks with modified active contour model and greedy search-based support vector machine
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN108460760B (zh) 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
Reid et al. A semi-automated methodology for discontinuity trace detection in digital images of rock mass exposures
CN107993228A (zh) 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN109886939B (zh) 基于张量投票的桥梁裂缝检测方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN110532894A (zh) 基于边界约束CenterNet的遥感目标检测方法
CN104867137B (zh) 一种基于改进ransac算法的图像配准方法
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN106485651B (zh) 快速鲁棒性尺度不变的图像匹配方法
CN104301630B (zh) 一种视频图像拼接方法及装置
CN110207592A (zh) 建筑裂缝测量方法、装置、计算机设备和存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN104751111B (zh) 识别视频中人体行为的方法和系统
CN106705849A (zh) 线结构光传感器标定方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN107462204A (zh) 一种三维路面标准轮廓提取方法及系统
Pathak et al. An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data
CN110297041A (zh) 一种基于fcn与gru的3d编织复合材料缺陷检测方法
CN113096121B (zh) 基于交叉断裂力学和图像处理的路面裂缝检测方法和系统
CN104463240A (zh) 一种控制列表界面的方法及装置
CN109558801B (zh) 道路网络提取方法、介质、计算机设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant