CN110659673A - 视网膜光学相干层析体数据自动识别方法及装置 - Google Patents

视网膜光学相干层析体数据自动识别方法及装置 Download PDF

Info

Publication number
CN110659673A
CN110659673A CN201910832886.9A CN201910832886A CN110659673A CN 110659673 A CN110659673 A CN 110659673A CN 201910832886 A CN201910832886 A CN 201910832886A CN 110659673 A CN110659673 A CN 110659673A
Authority
CN
China
Prior art keywords
volume data
oct volume
retina
scan
retina oct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910832886.9A
Other languages
English (en)
Inventor
孙延奎
张浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910832886.9A priority Critical patent/CN110659673A/zh
Publication of CN110659673A publication Critical patent/CN110659673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种视网膜光学相干层析体数据自动识别方法及装置，其中，方法包括：获取每个视网膜OCT体数据的每个B‑扫描的特征向量，并根据每个B‑扫描的特征向量得到每个视网膜OCT体数据的全局特征；根据每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；获取待分类的视网膜OCT体数据，并得到待分类的视网膜OCT体数据的全局特征，将待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。根据本发明实施例的方法，可以有效识别体数据的标签分类结果，可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。

Description

视网膜光学相干层析体数据自动识别方法及装置
技术领域
本发明涉及医学图像分析技术领域，特别涉及一种视网膜光学相干层析体数据自动识别方法。
背景技术
视网膜OCT(optical coherence tomography，光学相干断层扫描)体数据由一系列二维切片图像(B-扫描)组成，因此在仅定体数据标签的前提下，如何训练分类器模型对测试样本进行自动分类是一个亟待解决的问题。
相关技术中，比较常见的方法有两类：一类是，根据训练集，训练出适用于B-扫描的二维图像分类器模型，通过对视网膜OCT体数据中每个B-扫描分类并通过多数投票等推理方法获得该体数据的分类结果；另一类是，通过获得OCT体数据的全局特征训练分类器模型。显然，后者更具有应用价值，但如何构造体数据的全局特征使其具有很好的特征区分能力是该技术的关键，否则无法有效识别体数据的标签分类结果，无法获得高精度的视网膜OCT体数据分类性能。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种视网膜光学相干层析体数据自动识别方法，该方法可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。
本发明的另一个目的在于提出一种视网膜光学相干层析体数据自动识别装置。
为达到上述目的，本发明一方面实施例提出了一种视网膜光学相干层析体数据自动识别方法，包括以下步骤：获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征；根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；获取待分类的视网膜OCT体数据，并得到所述待分类的视网膜OCT体数据的全局特征，将所述待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。
本发明实施例的视网膜光学相干层析体数据自动识别方法，提取每个视网膜OCT体数据的每个B-扫描的特征向量，从而构造体数据的全局特征，使其具有很好的特征区分能力，有效识别体数据的标签分类结果，可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。
另外，根据本发明上述实施例的视网膜光学相干层析体数据自动识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，述获取每个视网膜OCT体数据的每个B-扫描的特征向量，包括：通过预设提取方式提取所述每个B-扫描的特征向量，其中，所述预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
进一步地，在本发明的一个实施例中，所述通过预设提取方式提取所述每个B-扫描的特征向量，包括：将所述每个视网膜OCT体数据拆分为二维切片；将每一个切片的标签设为其所属体数据的标签；训练二维分类器，利用迁移学习得到的带所述标签的切片对所述分类器进行有监督训练，以得到所述每个B-扫描的特征向量。
进一步地，在本发明的一个实施例中，所述根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征，包括：
根据所述每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到所述每个视网膜OCT体数据的全局特征。
进一步地，在本发明的一个实施例中，所述根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型，包括：根据所述每个视网膜OCT体数据的全局特征选择分类器模型；将所述每个视网膜OCT体数据的全局特征作为所述分类器模型的输入，并利用所述每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
为达到上述目的，本发明另一方面实施例提出了一种视网膜光学相干层析体数据自动识别装置，包括：获取模块，用于获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征；训练模块，用于根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；分类模块，用于获取待分类的视网膜OCT体数据，并得到所述待分类的视网膜OCT体数据的全局特征，将所述待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。
本发明实施例的视网膜光学相干层析体数据自动识别装置，提取每个视网膜OCT体数据的每个B-扫描的特征向量，从而构造体数据的全局特征，使其具有很好的特征区分能力，有效识别体数据的标签分类结果，可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。
另外，根据本发明上述实施例的视网膜光学相干层析体数据自动识别装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述获取模块进一步用于通过预设提取方式提取所述每个B-扫描的特征向量，其中，所述预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
进一步地，在本发明的一个实施例中，所述获取模块包括：拆分单元，用于将所述每个视网膜OCT体数据拆分为二维切片；设置单元，用于将每一个切片的标签设为其所属体数据的标签；训练单元，用于训练二维分类器，利用迁移学习得到的带所述标签的切片对所述分类器进行有监督训练，以得到所述每个B-扫描的特征向量。
进一步地，在本发明的一个实施例中，所述获取模块还包括：生成单元，用于根据所述每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到所述每个视网膜OCT体数据的全局特征。
进一步地，在本发明的一个实施例中，所述训练模块包括：选择单元，用于根据所述每个视网膜OCT体数据的全局特征选择分类器模型；训练单元，用于将所述每个视网膜OCT体数据的全局特征作为所述分类器模型的输入，并利用所述每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的视网膜光学相干层析体数据自动识别方法的流程图；
图2为根据本发明一个具体实施例的视网膜光学相干层析体数据自动识别方法的流程图；
图3为根据本发明一个实施例的卷积神经网络分类器结构示意图；
图4为根据本发明一个实施例的ResNet-50的网络架构示意图；
图5为根据本发明实施例的视网膜光学相干层析体数据自动识别装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的视网膜光学相干层析体数据自动识别方法及装置，首先将参照附图描述根据本发明实施例提出的视网膜光学相干层析体数据自动识别方法。
图1是本发明实施例的视网膜光学相干层析体数据自动识别方法的流程图。
如图1所示，该视网膜光学相干层析体数据自动识别方法包括以下步骤：
在步骤S101中，获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据每个B-扫描的特征向量得到每个视网膜OCT体数据的全局特征。
其中，在本发明的一个实施例中，获取每个视网膜OCT体数据的每个B-扫描的特征向量，包括：通过预设提取方式提取每个B-扫描的特征向量，其中，预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
可以理解的是，本发明实施例可以获取OCT体数据中每个B-扫描图像的特征向量，其中，提取的特征可以是各种人工特征、学习特征，也可以是不同特征的组合，在此不做具体限定。
进一步地，在本发明的一个实施例中，通过预设提取方式提取每个B-扫描的特征向量，包括：将每个视网膜OCT体数据拆分为二维切片；将每一个切片的标签设为其所属体数据的标签；训练二维分类器，利用迁移学习得到的带标签的切片对分类器进行有监督训练，以得到每个B-扫描的特征向量。
举例而言，如图2所示，构造二维B扫描特征提取器，包括：
步骤S1：将体数据拆分为二维切片图像(B-扫描)，并将所有切片放缩至统一尺寸(如224×224)。
步骤S2：将每一个切片的标签设为其所属体数据的标签，该标签用于监督卷积神经网络的训练。
步骤S3：训练二维分类器。修改深度残差网络ResNet-50的全连接层适用二维视网膜OCT切片分类器应用，利用迁移学习使用步骤S2中得到的带标签的二维切片，对分类器进行有监督训练(fine-tuning)。
步骤S4：去掉步骤S3中训练的ResNet50中的全连接层，将其作为二维B扫描特征提取器使用。
进一步地，在本发明的一个实施例中，根据每个B-扫描的特征向量得到每个视网膜OCT体数据的全局特征，包括：根据每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到每个视网膜OCT体数据的全局特征。
可以理解的是，体数据全局特征构建：将OCT体数据的每个二维B-扫描图像的特征向量顺次按行拼接成二维特征图，作为该体数据的全局特征。具体地：对于训练数据中每个视网膜OCT体数据，提取该体数据中每个二维切片图像的特征向量；将每个体数据中所有二维切片图像的特征向量顺次串行拼接成一维特征向量或按行排列获得二维特征图，作为该体数据的全局特征。
举例而言，构造体数据的全局特征，包括：对于训练集中每个视网膜OCT体数据，利用得到的特征提取器模型，提取每个B-扫描的特征向量；将每个B-扫描(二维切片图像)的特征向量顺次按行拼接成二维特征图，该特征图作为该OCT体数据的全局特征。
在步骤S102中，根据每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型。
可以理解的是，本发明实施例利用训练集中每个体数据的全局特征及其标签训练分类器模型。具体地：利用体数据的全局特征及其体标签作为输入训练分类器模型，其中分类器可以是传统的分类器比如贝叶斯、支持向量机、随机森林、K最邻近等，也可以是深度学习模型如卷积神经网络分类器等。
进一步地，在本发明的一个实施例中，根据每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型，包括：根据每个视网膜OCT体数据的全局特征选择分类器模型；将每个视网膜OCT体数据的全局特征作为分类器模型的输入，并利用每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
可以理解的是，如图3所示，选择分类器模型，可以如采用图中所示的CNN模型，将训练集中每个体数据的全局特征(即二维特征图)作为图中CNN模型的输入，进行监督学习，获得体数据标签级的CNN分类器模型。
在步骤S103中，获取待分类的视网膜OCT体数据，并得到待分类的视网膜OCT体数据的全局特征，将待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。
可以理解的是，对于给定的OCT体数据，获得其全局特征，并将其全局特征输入到训练好的分类器模型给出识别结果。具体地：对于给定的OCT体数据，按照步骤S101的方法获得该体数据的全局特征，然后将它作为步骤S102得到的分类器模型的输入，输出该体数据的分类结果。
综上，本发明实施例的方法包括训练阶段和测试阶段，其中，在训练阶段，对于每个视网膜OCT体数据，提取其中每个B-扫描的特征向量；将每个B-扫描(二维切片图像)的特征向量顺次按行排列获得二维特征图(称为该OCT体数据的全局特征)；进一步利用体数据的全局特征及体标签作为输入训练分类器模型；在测试阶段，对于给定的OCT体数据，按照训练阶段的方法获得该体数据的全局特征，然后输入训练好的分类器模型进行分类。
下面将通过一个具体实施例对视网膜光学相干层析体数据自动识别方法进行进一步阐述。
自2012年基于ImageNet数据集的图像识别大赛以来，卷积神经网络(CNN)模型被广泛应用于计算机视觉(尤其是图像分类)。近年来，各种著名的CNN架构被开发出来，如AlexNet，VGG，GoogLeNet和ResNet等。本发明实施例可以基于迁移学习微调(fine-tune)CNN模型来适应特定的数据集，比如OCT图像数据集。这里针对本发明实施例提出的视网膜OCT体数据标签级的体数据分类系统(需要说明的是，本发明实施例的自动识别方法可以应用于该分类系统)，主要描述一个基于CNN模型的实施方案。
在该方案中，该系统由三个模块构成：1)图像特征提取器:该特征提取器用于获取OCT体数据中每个B-扫描图像的特征向量。这里二维B-扫描特征提取器提取的特征可以是各种人工特征、学习特征，也可以是不同特征的组合；2)体数据全局特征构建:将OCT体数据的每个二维B-扫描图像的特征向量顺次按行拼接成二维特征图，作为该体数据的全局特征；3)体标签级的图像分类器：利用体数据的全局特征及其体标签作为输入训练分类器模型。其中分类器可以是传统的分类器比如贝叶斯、支持向量机、随机森林、K最邻近等，也可以是深度学习模型如卷积神经网络分类器等。对于给定的OCT体数据，获得其全局特征，并将其全局特征输入到训练好的分类器模型给出识别结果。
其中，系统第一个模块中的图像分类器采用基于迁移学习的卷积神经网络(CNN)模型；第三个模块中的体级标签的分类器也采用CNN模型。可以发现，通过构造体数据的二维特征图表示，这种方案将OCT体数据分类转化为两个二维图像分类：一种是关于B扫描的，另一种是关于二维特征图的。这种实施方案能够很好地解决OCT体数据分类中面临的存储量大、计算量大的问题。
本发明实施例的实施步骤如下：
步骤1：获得B-扫描特征提取的CNN模型
ResNet是一个具有代表性的深度网络，它可以有一个高达152层的深度网络。这里本发明实施例以ResNet-50为例，说明如何获取CNN模型进行B扫描特征提取。ResNet-50的架构如图4所示。
ResNet-50由五个构建块Conv1～Conv5和一个全连接(FC)层组成。Conv5块的输出是一个大小为2048的特征向量，FC 1000代表一个具有1000个类输出的全连接层。获得一个用于B-扫描特征提取的CNN模型最直接的方法是，利用预先训练好的ResNet-50作为特征提取器。具体来说，Conv1～Conv5中固定所有的预训练权值，忽略全连通层和softmax层。对于每一个OCT体积数据的B扫描，将Conv5块的输出作为B-扫描的特征向量，该特征向量的维数是2048。这种方法的优点是不需要对ResNet-50进行训练，因此是高效的。然而，由于没有利用OCT图像的特征，得到的B-扫描特征向量往往不够好。
一种常用的方法是，利用OCT体数据集对预训练的ResNet-50模型进行微调，得到B-扫描分类器模型，然后将之作为B-扫描特征提取器使用。一种微调方法是，首先固定所有Conv1～Conv5中所有预训练的权值，修改ResNet-50中的全连通层，使其具有K类输出，其中K为OCT体数据的分类数，这里全连通层的权值是随机生成的。为了微调ResNet-50模型，需要生成一个具有图像级标签的B-扫描数据集，用于重新训练模型参数。
第一阶段：生成B-扫描训练数据集
注意到微调ResNet-50需要每个B扫描的真值(ground-truth)标签来进行监督学习。一般而言，逐个标注大规模OCT数据集的每个B-扫描图像是不切实际的，因为只有经验丰富的眼科医生才能对这类图片进行标注。因此，通常的做法是使用体数据的体标签作为它的每个B-扫描图像的标签。亦即在体数据标签已知的情况下，它的每个B-扫描的标签取为该体数据的体标签。
第二阶段：重新训练CNN模型的权重参数
由于ResNet模型中靠前的网络层提取图像的低层特征，如边缘、点等等，这些计算对不同的场景是通用的,而在中间和后面的卷积层更加侧重提取数据集的高级特征,比如猫和狗之间的区别，不同的犬种区别，等等，这些计算对新场景通常不适用。因此，在模型微调期间，较低卷积层及其权重常常保持不变。在本发明实施例的实现中，固定ResNet-50中Conv1、Conv2、Conv3中的所有权值参数，采用标记好的B扫描训练样本交替地训练Conv4、Conv5模型中的权值参数和FC层中的权值参数。
步骤2：构造体数据的二维特征图表示。具体操作如下：
对于训练集中每个视网膜OCT体数据，利用步骤1获得的图像特征提取器提取OCT体数据中每个B-扫描的特征向量。假设每个B扫描的特征向量的大小为L，则L远小于B-扫描图像的维数。例如，如果本发明实施例使用ResNet-50或其微调版本作为B-扫描特征提取器，则有L＝2048。将体数据中每个B-扫描的特征向量按行排列就得到一个二维矩阵，称它为体数据的二维特征图或全局特征表示。
体数据的二维特征图表示具有如下优点：
(1)数据降维。典型地，如果每个体数据由100个B-扫描图像组成，每个B-扫描图像的大小为1000x512，则利用其二维特征图(2D feature map)表示，可以将其大小从1000x100x512＝51,200,000减小到100x2048＝204,800。
(2)数据相关性。如果体数据是沿着一个横截面的垂直方向采集的，则其二维特征图的行与行之间具有数据相关性。
(3)从3D到2D。由于在体数据的二维特征图上可以使用各种图像分类器模型进行分类，因此这种表示方法将OCT体数据分类问题转化为了图像分类问题。
(4)泛化能力。所提出的二维特征图表示并不局限于OCT体数据，原则上，它可以适用于任何其他三维医学数据，如体MRI和/或CT数据。
步骤3：体标签级的CNN分类器。具体操作步骤如下：
(1)选择分类器模型。针对OCT体数据的二维特征图表示，可以使用各种图像分类器进行训练和分类。当然，一种自然的选择是使用CNN图像分类器。本例中作为一个例子，本发明实施例设计了一个CNN模型如图3所示。
该体系结构由四个卷积块和一个FC层组成，后跟一个softmax分类器。每个卷积块都是一个标准的CNN模块，包括2D卷积、批量归一化、LeakyRelu和max池层。每个Conv块都有一个带有4个通道的3x3大小的核。全连接层输出一个K维向量，其中K是OCT体数据集中的类数。
(2)将训练集中每个体数据的全局特征(即二维特征图)作为图3中CNN模型的输入，利用其体数据标签进行监督学习，获得体标签级的CNN图像分类器模型。
步骤4：对测试体数据进行自动分类。具体操作如下：
对于任何测试的OCT体数据，首先按照步骤2中的方法获得体数据的二维特征图，然后将其作为步骤3中获得的体标签级的CNN分类器的输入进行分类。
需要说明的是，上述给出的微调ResNet-50实施案例中，初始的二维B-扫描标签是通过分配其所在原始体数据的体标签生成的。然而，视网膜上的病变通常是局部的，这意味着并不是所有异常体数据的B-扫描都有病变。病理上，没有病变的B-扫描应该被标记为正常，即使它们来自一个异常的体数据，但上述实施例中B-扫描标注规则并不满足这种条件。因此，实施例中所采用的做法并不是最优的。在本发明实施例所提出的系统框架中，允许采用其它改进的B-扫描特征提取器。
根据本发明实施例的视网膜光学相干层析体数据自动识别方法，提取每个视网膜OCT体数据的每个B-扫描的特征向量，从而构造体数据的全局特征，使其具有很好的特征区分能力，有效识别体数据的标签分类结果，可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。
其次参照附图描述根据本发明实施例提出的视网膜光学相干层析体数据自动识别装置。
图5是本发明实施例的视网膜光学相干层析体数据自动识别装置的方框示意图。
如图5所示，该视网膜光学相干层析体数据自动识别装置10包括：获取模块100、训练模块200和分类模块300。
其中，获取模块100用于获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据每个B-扫描的特征向量得到每个视网膜OCT体数据的全局特征；训练模块200用于根据每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；分类模块300用于获取待分类的视网膜OCT体数据，并得到待分类的视网膜OCT体数据的全局特征，将待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。本发明实施例的装置10可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验
进一步地，在本发明的一个实施例中，获取模块100进一步用于通过预设提取方式提取每个B-扫描的特征向量，其中，预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
进一步地，在本发明的一个实施例中，获取模块100包括：拆分单元、设置单元和训练单元。
其中，拆分单元，用于将每个视网膜OCT体数据拆分为二维切片；设置单元，用于将每一个切片的标签设为其所属体数据的标签；训练单元，用于训练二维分类器，利用迁移学习得到的带标签的切片对分类器进行有监督训练，以得到每个B-扫描的特征向量。
进一步地，在本发明的一个实施例中，获取模块100还包括：生成单元。其中，生成单元用于根据每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到每个视网膜OCT体数据的全局特征。
进一步地，在本发明的一个实施例中，训练模块200包括：选择单元和训练单元。
其中，选择单元，用于根据每个视网膜OCT体数据的全局特征选择分类器模型；训练单元，用于将每个视网膜OCT体数据的全局特征作为分类器模型的输入，并利用每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
需要说明的是，前述对视网膜光学相干层析体数据自动识别方法实施例的解释说明也适用于该实施例的视网膜光学相干层析体数据自动识别装置，此处不再赘述。
根据本发明实施例的视网膜光学相干层析体数据自动识别装置，提取每个视网膜OCT体数据的每个B-扫描的特征向量，从而构造体数据的全局特征，使其具有很好的特征区分能力，有效识别体数据的标签分类结果，可获得高精度的视网膜OCT体数据分类性能，有效保证分类的准确性和有效性，提升使用体验。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种视网膜光学相干层析体数据自动识别方法，其特征在于，包括以下步骤：
获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征；
根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；以及
获取待分类的视网膜OCT体数据，并得到所述待分类的视网膜OCT体数据的全局特征，将所述待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。
2.根据权利要求1所述的方法，其特征在于，所述获取每个视网膜OCT体数据的每个B-扫描的特征向量，包括：
通过预设提取方式提取所述每个B-扫描的特征向量，其中，所述预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
3.根据权利要求2所述的方式，其特征在于，所述通过预设提取方式提取所述每个B-扫描的特征向量，包括
将所述每个视网膜OCT体数据拆分为二维切片；
将每一个切片的标签设为其所属体数据的标签；
训练二维分类器，利用迁移学习得到的带所述标签的切片对所述分类器进行有监督训练，以得到所述每个B-扫描的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征，包括：
根据所述每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到所述每个视网膜OCT体数据的全局特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型，包括：
根据所述每个视网膜OCT体数据的全局特征选择分类器模型；
将所述每个视网膜OCT体数据的全局特征作为所述分类器模型的输入，并利用所述每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
6.一种视网膜光学相干层析体数据自动识别装置，其特征在于，包括：
获取模块，用于获取每个视网膜OCT体数据的每个B-扫描的特征向量，并根据所述每个B-扫描的特征向量得到所述每个视网膜OCT体数据的全局特征；
训练模块，用于根据所述每个视网膜OCT体数据的全局特征及标签作为输入，训练分类器模型；
分类模块，用于获取待分类的视网膜OCT体数据，并得到所述待分类的视网膜OCT体数据的全局特征，将所述待分类的视网膜OCT体数据的全局特征输入训练好的分类器模型，得到待分类的视网膜OCT体数据的最终标签分类结果。
7.根据权利要求6所述的装置，其特征在于，所述获取模块进一步用于通过预设提取方式提取所述每个B-扫描的特征向量，其中，所述预设提取方式包括人工提取特征方式、半监督学习特征方式与监督学习特征方式中的一种或多种。
8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：
拆分单元，用于将所述每个视网膜OCT体数据拆分为二维切片；
设置单元，用于将每一个切片的标签设为其所属体数据的标签；
训练单元，用于训练二维分类器，利用迁移学习得到的带所述标签的切片对所述分类器进行有监督训练，以得到所述每个B-扫描的特征向量。
9.根据权利要求6所述的装置，其特征在于，所述获取模块还包括：
生成单元，用于根据所述每个B-扫描的特征向量顺次串行拼接成一维特征向量或按行拼接成二维特征图，以得到所述每个视网膜OCT体数据的全局特征。
10.根据权利要求6所述的装置，其特征在于，所述训练模块包括：
选择单元，用于根据所述每个视网膜OCT体数据的全局特征选择分类器模型；
训练单元，用于将所述每个视网膜OCT体数据的全局特征作为所述分类器模型的输入，并利用所述每个视网膜OCT体数据的标签进行监督学习，以获得训练好的分类器模型。
CN201910832886.9A 2019-09-04 2019-09-04 视网膜光学相干层析体数据自动识别方法及装置 Pending CN110659673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910832886.9A CN110659673A (zh) 2019-09-04 2019-09-04 视网膜光学相干层析体数据自动识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910832886.9A CN110659673A (zh) 2019-09-04 2019-09-04 视网膜光学相干层析体数据自动识别方法及装置

Publications (1)

Publication Number Publication Date
CN110659673A true CN110659673A (zh) 2020-01-07

Family

ID=69037888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910832886.9A Pending CN110659673A (zh) 2019-09-04 2019-09-04 视网膜光学相干层析体数据自动识别方法及装置

Country Status (1)

Country Link
CN (1) CN110659673A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209438A1 (en) * 2017-05-16 2018-11-22 Sightline Innovation Inc. Neural network system for non-destructive optical coherence tomography
CN109389669A (zh) * 2017-08-04 2019-02-26 阿里健康信息技术有限公司 虚拟环境中人体三维模型构建方法及系统
CN109583297A (zh) * 2018-10-25 2019-04-05 清华大学 视网膜oct体数据识别方法及装置
CN109858498A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种用于核型白内障图像的特征提取方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN110188820A (zh) * 2019-05-30 2019-08-30 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209438A1 (en) * 2017-05-16 2018-11-22 Sightline Innovation Inc. Neural network system for non-destructive optical coherence tomography
CN109389669A (zh) * 2017-08-04 2019-02-26 阿里健康信息技术有限公司 虚拟环境中人体三维模型构建方法及系统
CN109583297A (zh) * 2018-10-25 2019-04-05 清华大学 视网膜oct体数据识别方法及装置
CN109858498A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种用于核型白内障图像的特征提取方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN110188820A (zh) * 2019-05-30 2019-08-30 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫俊: "基于特征学习的OCT视网膜病变分类技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑（月刊）》 *

Similar Documents

Publication Publication Date Title
US11823046B2 (en) Identifying subject matter of a digital image
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
Shanmugam et al. Alzheimer’s disease classification using pre-trained deep networks
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Sridhar et al. A Torn ACL mapping in knee MRI images using deep convolution neural network with Inception-v3
Dong et al. Identifying carotid plaque composition in MRI with convolutional neural networks
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Zhang et al. Fully automatic segmentation of the right ventricle via multi-task deep neural networks
CN110751629A (zh) 一种心肌影像分析装置及设备
Nagamani et al. Tomato leaf disease detection using deep learning techniques
CN113127661A (zh) 基于循环查询扩展的多监督医学图像检索方法和系统
Carmo et al. Extended 2D consensus hippocampus segmentation
Magboo et al. Detection of Brain Tumors from MRI Images using Convolutional Neural Networks
CN110659673A (zh) 视网膜光学相干层析体数据自动识别方法及装置
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey
Carmo et al. Extended 2d volumetric consensus hippocampus segmentation
Mathew et al. Deep convolutional neural network with transfer learning for automatic brain tumor detection from MRI
Akram et al. Cancerous tumor segmentation of kidney images and prediction of tumor using medical image segmentation and deep learning techniques
REDDY ENUMULA et al. Alzheimer's disease prediction and classification using CT images through machine learning.
Vinta et al. Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model
KR102566095B1 (ko) 조직병리영상의 공동 분류 및 분할을 위한 딥러닝 장치 및 그 방법
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging
Blanc Artificial intelligence methods for object recognition: applications in biomedical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200107