CN109697459A - 一种面向光学相干断层图像斑块形态检测方法 - Google Patents
一种面向光学相干断层图像斑块形态检测方法 Download PDFInfo
- Publication number
- CN109697459A CN109697459A CN201811471299.3A CN201811471299A CN109697459A CN 109697459 A CN109697459 A CN 109697459A CN 201811471299 A CN201811471299 A CN 201811471299A CN 109697459 A CN109697459 A CN 109697459A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- detection
- patch
- morphology observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012014 optical coherence tomography Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000007689 inspection Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 150000002632 lipids Chemical class 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 24
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013210 evaluation model Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 description 6
- 208000001613 Gambling Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002608 intravascular ultrasound Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开涉及一种面向光学相干断层图像斑块形态检测方法，涉及图像处理技术领域。所述面向光学相干断层图像斑块形态检测方法，基于深度学习建模思想和基于网络端到端训练思想利用一个构建的U‑net网络，并且使用焦点损失函数，使用交并比和混合矩阵作为评价模型表现的指标，构建OCT图像斑块形态检测完整计算框架；既先对感兴趣板块区域进行检查分割，然后在分割的基础上对不同板块进行分类检测；提出了一种新颖、有效的OCT图像板块检测方法，为OCT图像斑块检测任务提供了一种全新的思路。
Description
技术领域
本发明涉及图像处理技术领域，具体的涉及一种面向光学相干断层图像斑块形态检测方法。
背景技术
光学相干断层扫描技术(光学相干层析技术，Optical Coherence tomography,OCT)是近十年迅速发展起来的一种成像技术，它利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织二维或三维结构图像。由于OCT图像可以展现血管浅层的细节特征，在疾病预测方面的作用愈发重要，其研究工作也越来越多。OCT图像早先的算法利用手工标定OCT图像去检测不同的区域，既费时又费力，其准确性更易受标定者极大的影响。Rabel等人介绍了利用OCT图像，结合IVUS/VH-IVUS图像联合去检测斑块区域来预测疾病的算法。虽然准确率较之以前有所提升，但仍然是及其费时的，其准确性仍然受到人的专业程度影响，得不到保证。
为了克服这些障碍，一些基于半监督学习和完全自动分割方法被提出。其中，Wang等人提供了一种利用动态规划去测量纤维帽厚度的半自动分割算法，这种算法利用衰减系数(attenuation coefficients)去描述纤维帽的厚度特征。Athanasiou等人提出了一种可以自动分割OCT图像浅层中的不同斑块的算法。这些算法的分割效果比较明显，但是泛化能力有限。一些学者利用支持向量机(SVM)去对不同斑块区域做分类。然而，由于OCT图像中各种斑块面积分布差异性很大，造成了数据不平衡问题，利用SVM去对区域做分类并没有取得很好的效果。2012年，Krizhevsky等人在大规模视觉识别挑战赛(ILSVRC)中取得了第一名的成绩，拉开了深度学习的大幕。随后，深度学习在计算机视觉的各个领域都取得了十足的进展：在图像分类方面，Kaiming He等人提出的Resnet成功刷新了ILSVRC的成绩，成为了现在许多工作的基础。在图像分割方面，全卷积网络(FCN)的出现为图像分割领域带来了新的思路。RCNN,Faster-RCNN,Mask-RCNN系列算法一步步刷新了目标检测领域新的高度。在物体生成方面，生成对抗网络(GAN)开启了无监督学习新的大门。在医学图像处理方面，针对医学图像数据集小的特点，Olaf Ronneberger等人提出的U-net网络结构取得了优异的表现。针对深度学习中极度的正负样本不平衡问题，Tsung-Yi Lin等人提出了焦点损失函数(Focal loss)，通过可调节参数，降低损失值，减小了易分类样本在网络学习中的影响，让网络专注于难分类样本的学习，从而有效地减缓了数据不平衡问题。可以自动学习数据内部特征、算法泛化能力强是深度学习较之传统算法的两大优势。
随着计算机硬件水平的逐步提升，计算机计算能力日益增强，使得以密集计算为代表的深度学习技术蓬勃发展，进而深刻地影响着计算机视觉各个领域；目前，并没有利用深度学习对斑块形态检测建模的研究，如何对OCT图像中不同斑块进行精确的区域分割一直是OCT图像中不同斑块检测待解决的核心问题。
发明内容
针对现有技术存在的上述问题，本发明提供了一种面向光学相干断层图像斑块形态检测方法，利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务提出了一种新颖、有效的OCT图像板块检测方法，为OCT图像斑块检测任务提供了一种全新的思路。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：
一种面向光学相干断层图像斑块形态检测方法，包括以下步骤：
步骤一、OCT图像的数据增强
通过数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集；
步骤二、斑块形态检测数据集构建
针对OCT图像斑块形态检测，设计U型全卷积网络模型，构建OCT图像斑块检测模型；
步骤三、检测模型损失函数设计
选取焦点损失函数作为网络最终的损失函数，有效减缓数据不平衡；
步骤四、检测模型优化
通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化；
步骤五、检测模型评价指标
分别通过交并比和混合矩阵对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估，通过这两方面的模型评估，建立模型综合评价指标；
步骤六、斑块形态检测完整计算框架构建
在模型评价指标的基础上，结合模型输出的检测结果，共同构建OCT斑块形态检测的完整计算框架；计算框架包含：模型评价指标和指标检测结果两部分。
进一步的，所述步骤一OCT图像的数据增强，针对OCT图像数据量小的特点，采用图像随机旋转、图像翻转变换、图像伽马变换和图像缩放变换4方面的数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集。
进一步的，所述步骤二斑块形态检测数据集构建，设计U型全卷积网络模型，网络模型结构中没有全连接层，使得图像的空间结构，语义信息得到了保留；同时不同层之间的特征图进行了通道维度上的融合相连；
所述U型全卷积网络模型引入了上采样操作，使得下采样后的图像可以恢复到原始图像尺寸，进而和浅层的输出特征图进行通道维度上的融合相连，充分地利用了不同层输出特征图的语义信息。
进一步的，所述步骤三检测模型损失函数设计，OCT图像中绿色纤维斑块和红色脂质斑块的面积分布极度不平衡，以交叉熵损失函数为基础，采用损失函数来缓解OCT图像形态检测的数据不平衡问题，其数学描述如下：
FL(Pt)＝-(1-Pt)rlog(Pt)
Pt为网络预测各个类别的概率值，γ≥0，为可调制参数。焦点损失函数通过可调制参数γ；
所述焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
进一步的，所述步骤四检测模型优化，引入判别式模型的工作流程包括以下步骤：
通过检测模型对输入图像进行不同斑块区域检测；
对输入图像、检测图像、人工标定图像分别进行卷积操作，提取图像中的特征，用于判别式模型输入；
把输入图像、检测图像或输入图像、人工标定图像的卷积特征图在通道维度上进行相加，组成融合特征图像；
对输入图像、检测图像组成的特征图的标签记为0，将这些特征图送入判别式模型，训练判别式模型；类似地，把输入图像、人工标定图像组成的特征图的标签记为1，同样送入判别式模型进行学习，更新判别式模型参数。
控制判别式模型参数，对检测模型进行训练，提高检测模型的检测精度。
进一步的，所述步骤五检测模型评价指标，交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，针对整体斑块轮廓检测问题，交并比可以很好地度量模型表现能力；
混合矩阵是常用的可视化分类结果准确率的度量指标，容易可视化分类结果，对模型的准确率和误分率有一个直观的展现；
通过这两方面的模型评估，建立模型综合评价指标。
所述交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，记检测结果与人工标定结果的交集为Sint ersec tion，并集为Sunion，则交并比定义为其数值越大，说明检测结果与人工标定结果的重合度越大。
本发明的有益效果：本发明的面向光学相干断层图像斑块形态检测方法，基于深度学习建模思想和基于网络端到端训练思想利用一个构建的U-net网络，并且使用焦点损失函数，使用交并比和混合矩阵作为评价模型表现的指标，构建OCT图像斑块形态检测完整计算框架；有别于传统算法将OCT图像板块检测任务分为两个处理步骤，既先对感兴趣板块区域进行检查分割，然后在分割的基础上对不同板块进行分类检测；本发明通过利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务；基于深度学习建模思想，针对OCT图像斑块形态检测任务，将该问题分解为OCT图像斑块整体形态检测、不同斑块间的形态检测两个子问题；通过设计合理的网络结构学习OCT图像内部特征；基于网络端到端训练思想，研究同时解决两个子问题的网络设计：同时进行斑块整体形态检测和不同板块间的形态检测；并且通过引入判别式模型来对检测模型进行优化，研究提出了一种新颖、有效的OCT图像板块检测方法，为OCT图像斑块检测任务提供了一种全新的思路。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述面向光学相干断层图像斑块形态检测方法的流程图；
图2为本发明实施例所述U型全卷积网络模型示意图；
图3为本发明实施例所述不同可调制参数γ下，真实类别的概率值下降曲线图；
图4为本发明实施例所述判别式模型工作流程图；
图5为本发明实施例所述模型评价指标示例((a)交并比示例；(b)混合矩阵示例)；
图6为本发明实施例所述OCT斑块检测检测初步结果示例(其中红色代表脂质斑块，绿色代表纤维斑块)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
如图1-5所示
一种面向光学相干断层图像斑块形态检测方法，包括以下步骤：
步骤一、OCT图像的数据增强
通过数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集；
研究过程中，针对OCT图像数据量小的特点，采用数据增强技术来增加数据量，使网络可以更好地学习数据内部特征；采用如下技术来增加模型训练数据量：
图像随机旋转：随机旋转图像一定角度，改变图像内容的朝向，增强网络对不同方向的适应性。
图像翻转变换：沿着水平和垂直方向翻转图像。增强网络对不同方向的适应性。
图像伽马变换：通过不同的伽马值，改变图像的亮度，增强网络对亮度的适应性。
图像缩放变换：对图像进行一定比例的缩写放大，增加网络对不同尺度的适应性。
通过上述4方面的数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集。
步骤二、斑块形态检测数据集构建
如图2所示：针对OCT图像斑块形态检测，设计U型全卷积网络模型，构建OCT图像斑块检测模型；
由于OCT图像数量较少，且人工标定成本较高，为了完成斑块检测任务，需要保存图像的空间数据结构以及充分利用特征图的语义信息，一种U型全卷积网络结构很好地满足了这两方面的需要，如图2所示：
这种网络结构中没有全连接层，使得图像的空间结构，也即语义信息得到了保留；此外，为了充分利用网络不同结构层中的语义信息，不同层之间的特征图进行了通道维度上的融合相连；为此，该网络引入了上采样操作，使得下采样后的图像可以恢复到原始图像尺寸，进而和浅层的输出特征图进行通道维度上的融合相连，充分地利用了不同层输出特征图的语义信息；
针对OCT图像斑块形态检测特定任务，设计科学合理的U型网络结构，从而构建OCT图像斑块检测模型。
步骤三、检测模型损失函数设计
选取焦点损失函数作为网络最终的损失函数，有效减缓数据不平衡；
针对OCT图像数据量较少的特点，以卷积神经网络(CNN,Convolutional NeuralNetwork)为基本模型，在此基础上，设计合理的网络来学习OCT图像中潜在的数据结构；针对OCT图像不同斑块面积分布极其不平衡，以交叉熵损失函数为基础，设计合理的损失函数来缓解OCT图像形态检测的数据不平衡问题；本发明采用Tsung-Yi Lin等人提出的焦点损失函数(FL，Focal Loss)，其数学描述如下：
FL(pt)＝-(1-pt)γlog(pt)
其中Pt为网络预测各个类别的概率值，γ≥0，为可调制参数；焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本；
如图3所示，焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。对于不同的可调制参数γ，真实类别的概率值的下降趋势如图3所示；当γ＝0时，焦点损失函数演化为交叉损失熵函数。从图中可以看出，在“易分类样本”区域，增加可调制参数γ的值，可以降低损失值，从而减小了易分类样本在网络学习中的影响，让网络专注于难分类样本的学习。对于OCT图像斑块形态检测特定问题，选取焦点损失函数作为网络最终的损失函数，从理论上，可以有效减缓数据不平衡问题。此外，需要通过实验的方式来进一步确定调制参数γ的取值。
步骤四、检测模型优化
通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化；
如图4所示，为了进一步优化检测模型，引入一个判别式模型；判别式模型的作用是努力判断OCT斑块检测结果是来自于检测模型，还是来源于人工标定的结果；
检测模型尽量生成和人工标定图像相似的结果去迷惑判别式模型。检测模型和判别式模型形成了一个博弈过程；在此过程中，检测模型的检测能力和判别式模型的判别能力都在提高，直到判别模型无法区分检测结果来源于检测模型还是人工标定图像。
图4展示了判别式模型的工作流程。具体来说，可以分为5个步骤：
通过检测模型对输入图像进行不同斑块区域检测；
对输入图像、检测图像、人工标定图像分别进行卷积操作，提取图像中的特征，用于判别式模型输入；
把输入图像、检测图像或输入图像、人工标定图像的卷积特征图在通道维度上进行相加，组成融合特征图像；
对输入图像、检测图像组成的特征图的标签记为0，将这些特征图送入判别式模型，训练判别式模型；类似地，把输入图像、人工标定图像组成的特征图的标签记为1，同样送入判别式模型进行学习，更新判别式模型参数；
控制判别式模型参数，对检测模型进行训练，提高检测模型的检测精度。
通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化。
步骤五、检测模型评价指标
分别通过交并比和混合矩阵对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估，通过这两方面的模型评估，建立模型综合评价指标；
本发明将OCT图像斑块检测问题分解为斑块整体形态检测、不同斑块间的形态检测两个子问题；相应地，在模型评估阶段，分别对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估；通过这两方面的模型评估，将建立模型综合评价指标。
交并比：交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率。记检测结果与人
工标定结果的交集为Sint ersec tion，并集为Sunion，则交并比定义为：
其数值越大，说明检测结果与人工标定结果的重合度越大。检测结果越好。针对整体斑块轮廓检测问题，交并比可以很好地度量模型表现能力。交并比计算示例如图5(a)所示。
混合矩阵：混合矩阵是常用的可视化分类结果准确率的度量指标。一方面它展示了每一类预测的准确率；另一方面，它展示了每一类中误分为其他类的错分率。针对不同斑块形态检测问题，由于斑块间面积分布极度不平衡，对于面积较大区域，准确率往往会很高。然而，对于面积较小的区域，准确率往往会较低，故不能综合评价模型的表现能力。利用混合矩阵，可以很容易可视化分类结果，对模型的准确率和误分率有一个直观的展现。一种混合矩阵示例展示如图5(b)所示，综上，交并比和混合矩阵构成了检测模型的综合评价指标。
步骤六、斑块形态检测完整计算框架构建
如图6所示，在模型评价指标的基础上，结合模型输出的检测结果，共同构建OCT斑块形态检测的完整计算框架。
本发明的面向光学相干断层图像斑块形态检测方法，基于深度学习建模思想和基于网络端到端训练思想利用一个构建的U-net网络，并且使用焦点损失函数，使用交并比和混合矩阵作为评价模型表现的指标，构建OCT图像斑块形态检测完整计算框架；有别于传统算法将OCT图像板块检测任务分为两个处理步骤，既先对感兴趣板块区域进行检查分割，然后在分割的基础上对不同板块进行分类检测；
本发明通过利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务；基于深度学习建模思想，针对OCT图像斑块形态检测任务，将该问题分解为OCT图像斑块整体形态检测、不同斑块间的形态检测两个子问题；通过设计合理的网络结构学习OCT图像内部特征；基于网络端到端训练思想，研究同时解决两个子问题的网络设计：同时进行斑块整体形态检测和不同板块间的形态检测；并且通过引入判别式模型来对检测模型进行优化，研究提出了一种新颖、有效的OCT图像板块检测方法，为OCT图像斑块检测任务提供了一种全新的思路。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种面向光学相干断层图像斑块形态检测方法，其特征在于：包括以下步骤：
步骤一、OCT图像的数据增强
通过数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集；
步骤二、斑块形态检测数据集构建
针对OCT图像斑块形态检测，设计U型全卷积网络模型，构建OCT图像斑块检测模型；
步骤三、检测模型损失函数设计
选取焦点损失函数作为网络最终的损失函数，有效减缓数据不平衡；
步骤四、检测模型优化
通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化；
步骤五、检测模型评价指标
分别通过交并比和混合矩阵对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估，通过这两方面的模型评估，建立模型综合评价指标；
步骤六、斑块形态检测完整计算框架构建
在模型评价指标的基础上，结合模型输出的检测结果，共同构建OCT斑块形态检测的完整计算框架所述计算框架包含：模型评价指标和指标检测结果两部分。
2.如权利要求1所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述步骤一OCT图像的数据增强，针对OCT图像数据量小的特点，采用图像随机旋转、图像翻转变换、图像伽马变换和图像缩放变换4方面的数据增强技术，增加OCT图像数据量，从而构建网络学习的数据集。
3.如权利要求1所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述步骤二斑块形态检测数据集构建，设计U型全卷积网络模型，网络模型结构中没有全连接层，使得图像的空间结构，语义信息得到了保留；同时不同层之间的特征图进行了通道维度上的融合相连；
所述U型全卷积网络模型引入了上采样操作，使得下采样后的图像可以恢复到原始图像尺寸，进而和浅层的输出特征图进行通道维度上的融合相连，充分地利用了不同层输出特征图的语义信息。
4.如权利要求1所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述步骤三检测模型损失函数设计，OCT图像中绿色纤维斑块和红色脂质斑块的面积分布极度不平衡，以交叉熵损失函数为基础，采用损失函数来缓解OCT图像形态检测的数据不平衡问题，其数学描述如下：
FL(Pt)＝-(1-Pt)rlog(Pt)
Pt为网络预测各个类别的概率值，γ≥0，为可调制参数。焦点损失函数通过可调制参数γ；
所述焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
5.如权利要求1所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述步骤四检测模型优化，引入判别式模型的工作流程包括以下步骤：
通过检测模型对输入图像进行不同斑块区域检测；
对输入图像、检测图像、人工标定图像分别进行卷积操作，提取图像中的特征，用于判别式模型输入；
把输入图像、检测图像或输入图像、人工标定图像的卷积特征图在通道维度上进行相加，组成融合特征图像；
对输入图像、检测图像组成的特征图的标签记为0，将这些特征图送入判别式模型，训练判别式模型；类似地，把输入图像、人工标定图像组成的特征图的标签记为1，同样送入判别式模型进行学习，更新判别式模型参数。
控制判别式模型参数，对检测模型进行训练，提高检测模型的检测精度。
6.如权利要求1所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述步骤五检测模型评价指标，交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，针对整体斑块轮廓检测问题，交并比可以很好地度量模型表现能力；
混合矩阵是常用的可视化分类结果准确率的度量指标，容易可视化分类结果，对模型的准确率和误分率有一个直观的展现；
通过这两方面的模型评估，建立模型综合评价指标。
7.如权利要求6所述的一种面向光学相干断层图像斑块形态检测方法，其特征在于：所述交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，记检测结果与人工标定结果的交集为Sintersection，并集为Sunion，则交并比定义为其数值越大，说明检测结果与人工标定结果的重合度越大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811471299.3A CN109697459A (zh) | 2018-12-04 | 2018-12-04 | 一种面向光学相干断层图像斑块形态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811471299.3A CN109697459A (zh) | 2018-12-04 | 2018-12-04 | 一种面向光学相干断层图像斑块形态检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109697459A true CN109697459A (zh) | 2019-04-30 |
Family
ID=66230303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811471299.3A Pending CN109697459A (zh) | 2018-12-04 | 2018-12-04 | 一种面向光学相干断层图像斑块形态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697459A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110148128A (zh) * | 2019-05-23 | 2019-08-20 | 中南大学 | 一种补全病变骨骼以获得骨骼预期参考模型的方法 |
| CN111597899A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 景区地面塑料瓶探测方法 |
| CN112927212A (zh) * | 2021-03-11 | 2021-06-08 | 上海移视网络科技有限公司 | 基于深度学习的oct心血管斑块自动识别与分析方法 |
| CN114693622A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993228A (zh) * | 2017-12-15 | 2018-05-04 | 中国人民解放军总医院 | 一种基于心血管oct影像的易损斑块自动检测方法和装置 |
| CN107993221A (zh) * | 2017-11-16 | 2018-05-04 | 济南大学 | 心血管光学相干断层oct图像易损斑块自动识别方法 |
| CN108052909A (zh) * | 2017-12-15 | 2018-05-18 | 中国人民解放军总医院 | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 |
| CN108108351A (zh) * | 2017-12-05 | 2018-06-01 | 华南理工大学 | 一种基于深度学习组合模型的文本情感分类方法 |
| CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
| CN108460341A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于集成深度卷积网络的光学遥感图像目标检测方法 |
| CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
| CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN108805889A (zh) * | 2018-05-07 | 2018-11-13 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与系统、设备 |
| CN108921092A (zh) * | 2018-07-02 | 2018-11-30 | 浙江工业大学 | 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法 |
-
2018
- 2018-12-04 CN CN201811471299.3A patent/CN109697459A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993221A (zh) * | 2017-11-16 | 2018-05-04 | 济南大学 | 心血管光学相干断层oct图像易损斑块自动识别方法 |
| CN108108351A (zh) * | 2017-12-05 | 2018-06-01 | 华南理工大学 | 一种基于深度学习组合模型的文本情感分类方法 |
| CN107993228A (zh) * | 2017-12-15 | 2018-05-04 | 中国人民解放军总医院 | 一种基于心血管oct影像的易损斑块自动检测方法和装置 |
| CN108052909A (zh) * | 2017-12-15 | 2018-05-18 | 中国人民解放军总医院 | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 |
| CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
| CN108460341A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于集成深度卷积网络的光学遥感图像目标检测方法 |
| CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN108805889A (zh) * | 2018-05-07 | 2018-11-13 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与系统、设备 |
| CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
| CN108921092A (zh) * | 2018-07-02 | 2018-11-30 | 浙江工业大学 | 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIELONGZ: "《U-Net卷积神经网络简要解析（附基于TensorFlow自己实现的代码参考）》", 《博客园》 * |
| 王光磊等: "OCT影像下纤维斑块的自动识别算法", 《激光杂志》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110148128A (zh) * | 2019-05-23 | 2019-08-20 | 中南大学 | 一种补全病变骨骼以获得骨骼预期参考模型的方法 |
| CN111597899A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 景区地面塑料瓶探测方法 |
| CN111597899B (zh) * | 2020-04-16 | 2023-08-11 | 浙江工业大学 | 景区地面塑料瓶探测方法 |
| CN112927212A (zh) * | 2021-03-11 | 2021-06-08 | 上海移视网络科技有限公司 | 基于深度学习的oct心血管斑块自动识别与分析方法 |
| CN112927212B (zh) * | 2021-03-11 | 2023-10-27 | 上海移视网络科技有限公司 | 基于深度学习的oct心血管斑块自动识别与分析方法 |
| CN114693622A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测系统 |
| CN114693622B (zh) * | 2022-03-22 | 2023-04-07 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697459A (zh) | 一种面向光学相干断层图像斑块形态检测方法 | |
| CN103914834B (zh) | 一种基于前景先验和背景先验的显著性物体检测方法 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| Muramatsu et al. | Detection of retinal nerve fiber layer defects on retinal fundus images for early diagnosis of glaucoma | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN109977780A (zh) | 一种基于深度学习算法的硅藻的检测与识别方法 | |
| CN110097559A (zh) | 基于深度学习的眼底图像病灶区域标注方法 | |
| CN109447940A (zh) | 卷积神经网络训练方法、超声图像识别定位方法及系统 | |
| CN107610123A (zh) | 一种基于深度卷积神经网络的图像美学质量评价方法 | |
| CN104346617B (zh) | 一种基于滑动窗口和深度结构提取特征的细胞检测方法 | |
| CN107123123A (zh) | 基于卷积神经网络的图像分割质量评价方法 | |
| CN104933707B (zh) | 一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法 | |
| CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN108038513A (zh) | 一种肝脏超声图像的特征分类方法 | |
| CN110097545A (zh) | 基于深度学习的眼底图像生成方法 | |
| CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN106096613A (zh) | 基于角点特征的图像多目标检测方法及装置 | |
| CN112308830A (zh) | 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 | |
| CN109886929A (zh) | 一种基于卷积神经网络的mri肿瘤体素检测方法 | |
| CN109903339A (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
| CN110008925A (zh) | 一种基于集成学习的皮肤自动检测方法 | |
| Wang et al. | Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning | |
| CN109671055A (zh) | 肺结节检测方法及装置 | |
| CN109671060A (zh) | 基于选择性搜索和cnn的计算机辅助乳腺肿块检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |