CN110211136B - 图像分割模型的构建方法、图像分割方法、装置及介质 - Google Patents

图像分割模型的构建方法、图像分割方法、装置及介质 Download PDF

Info

Publication number
CN110211136B
CN110211136B CN201910487537.8A CN201910487537A CN110211136B CN 110211136 B CN110211136 B CN 110211136B CN 201910487537 A CN201910487537 A CN 201910487537A CN 110211136 B CN110211136 B CN 110211136B
Authority
CN
China
Prior art keywords
image
training set
retina
oct
retinal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910487537.8A
Other languages
English (en)
Other versions
CN110211136A (zh
Inventor
周永进
郭梦麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910487537.8A priority Critical patent/CN110211136B/zh
Publication of CN110211136A publication Critical patent/CN110211136A/zh
Application granted granted Critical
Publication of CN110211136B publication Critical patent/CN110211136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像分割模型的构建方法、图像分割方法、装置及介质，方法包括：获取视网膜OCT图像，并提取视网膜黄斑中心凹无血管区域另存为标注图像，将视网膜OCT图像以及标注图像构建数据集；对数据集进行数据扩增，并划分为训练集以及测试集，分别对训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；获取重构后的训练集与测试集，并采用神经网络模型对重构后的训练集进行学习与训练，建立图像分割模型。本发明能够减少或消除图像颜色属性变化而造成的分割效果不同的影响，提高对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的判断及分割的准确度。

Description

图像分割模型的构建方法、图像分割方法、装置及介质
技术领域
本发明涉及医疗图像分析处理技术领域，尤其涉及的是一种图像分割模型的构建方法、图像分割方法、装置及介质。
背景技术
视网膜黄斑中心凹是视网膜视觉最敏锐的区域。黄斑中心凹周围被毛细血管包绕，留了中央约几百微米大小的无血管区域存在，称之为视网膜黄斑中心凹无血管区域(Foveal Avascular Zone，FAZ)。测量FAZ尺寸大小在许多视网膜疾病的诊断和治疗中发挥着重要作用。糖尿病视网膜病变和视网膜静脉阻塞等疾病都会引起FAZ尺寸大小的变化。因此，精确分割出视网膜黄斑中心凹无血管区域非常重要。
但是，现有的用于FAZ分割的软件都只能针对图像颜色属性固定的图像对FAZ进行分割，当同一图像的图像颜色属性(例如对比度,亮度等)改变时，软件分割出来的FAZ区域也会随之改变。因此，现有的分割方法对图像的图像颜色属性变化的鲁棒性较低，无法对不同图像颜色属性的图像中FAZ进行准确分割。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像分割模型的构建方法、图像分割方法、装置及介质，旨在解决现有技术中的分割方法对图像的图像颜色属性变化的鲁棒性较低，无法对不同图像颜色属性的图像中FAZ进行准确分割的问题。
本发明解决技术问题所采用的技术方案如下：
一种图像分割模型的构建方法，其中，所述方法包括：
获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集；
对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；
获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型。
优选地，所述获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集，包括：
获取视网膜OCT图像，并通过专家人工标注的方式对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行标记；
从带有所述标记的视网膜OCT图像中提取视网膜黄斑中心凹无血管区域，并将提取的视网膜黄斑中心凹无血管区域另存为标注图像；
将所述视网膜OCT图像以及所述标注图像构建数据集。
优选地，所述对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集，包括：
分别对所述数据集中的视网膜OCT图像以及标注图像进行数据扩增，并按照预设的比例，将扩增后的数据集按照预设的比例划分为训练集与测试集；
分别将所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增，且将所述训练集以及测试集中的标注图像进行对应数量的扩增，获取扩增后的训练集与测试集。
优选地，所述分别对所述数据集中的视网膜OCT图像以及标注图像进行数据扩增，包括：
对所述数据集中的视网膜OCT图像以及标注图像以随机换角度进行选准，并将旋转后的视网膜OCT图像以及标注图像添加至所述数据集中；
或者，对所述数据集中的视网膜OCT图像以及标注图像进行裁剪、平移或图像缩放，并将裁剪、平移或图像缩放后的视网膜OCT图像以及标注图像添加至所述数据集中。
优选地，所述图像颜色属性包括：图像的对比度或者亮度。
优选地，所述分别将所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增，且将所述训练集以及测试集中的标注图像进行对应数量的扩增，获取扩增后的训练集与测试集，包括：
将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.9倍、1.1倍，亮度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，且将所述训练集中的标注图像进行对应数量的扩增；
将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，亮度扩增至原先的0.7倍、0.8倍、0.9倍、1.1倍、1.2倍以1.3倍，且将所述训练集中的标注图像进行对应数量的扩增；
获取扩增后的训练集与测试集。
优选地，所述获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型，包括：
对所述训练集以及所述测试集中的OCT图像进行归一化处理；
将归一化处理后的所述训练集输入至神经网络模型中训练，并获取每一次训练的预测图像；
所述神经网络模型通过最小化loss函数更新模型权重，使所述神经网络模型在经过多次训练后使预测图像与所述标注图像的差异减小；
当所述loss函数不再减少或者趋于稳定值后，生成图像分割模型，所述图像分割模型用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割。
优选地，所述获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型，还包括：
当所述loss函数不再减少或者趋于稳定值后，使用所述测试集测试所述图像分割模型对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割效果。
一种图像分割方法，其中，所述图像分割方法包括：
获取视网膜OCT图像，并将所述视网膜OCT图像输入至预设的图像法分割模型进行分割，以得到所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域，其中，所述图像分割模型为上述任一项所述的图像分割模型的构建方法所构建得到的图像分割模型。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的图像分割模型的构建方法或者上述图像分割方法的步骤。
一种图像分割装置，包括：处理器、与处理器通信连接的存储介质，其中，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的图像分割模型的构建方法或者上述的图像分割方法的步骤。
本发明的有益效果：本发明通过建立对图像颜色属性变化不敏感的图像分割模型进行视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割，能够减少或消除图像颜色属性变化而造成的分割效果不同的影响，提高对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的判断及分割的准确度。
附图说明
图1是本发明提供的图像分割模型的构建方法的较佳实施例的流程图。
图2是本发明提供的图像分割模型的构建方法中的视网膜OCT图像示意图。
图3是本发明提供的图像分割模型的构建方法中对视网膜OCT图像中的FAZ标记的示意图。
图4是本发明提供的图像分割模型的构建方法中训练集示意图。
图5是本发明提供的图像分割模型的构建方法中测试集示意图。
图6是本发明提供的图像分割装置的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了解决现有技术中的分割方法对图像的图像颜色属性变化的鲁棒性较低，无法对不同图像颜色属性的图像中FAZ进行准确分割的问题。本实施例提供一种图像分割模型的构建方法，具体如图1中所示，包括如下步骤：
步骤S100、获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集；
步骤S200、对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；
步骤S300、获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型。
具体地，本实施例首先获取视网膜OCT(optical coherence tomography，光学相干断层扫描技术)图像，如图2中所示。获取所述视网膜OCT图像之后，通过专家人工标注的方式对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行标记，然后从带有所述标记的视网膜OCT图像中提取视网膜黄斑中心凹无血管区域，并将提取的视网膜黄斑中心凹无血管区域另存为标注图像，具体如图3中所示，将所述视网膜OCT图像以及所述标注图像构建数据集。优选地，本实施例还对标注图像进行二值化处理，具体地，将将标注图像中像素点的值大于0的置为1，通过对标注图像进行二值化处理，便于后续神经网络模型进行训练，有利于提高分割准确。
进一步地，本实施例分别对所述数据集中的视网膜OCT图像以及标注图像进行相同的数据扩增，例如通过对数据集中视网膜OCT图像以及标注图像进行随机角度的旋转、随机裁切、几何变换、镜像等方式进行数据扩增。具体地，对所述数据集中的视网膜OCT图像以及标注图像以随机换角度进行选准，并将旋转后的视网膜OCT图像以及标注图像添加至所述数据集中；或者，对所述数据集中的视网膜OCT图像以及标注图像进行裁剪、平移或图像缩放，并将裁剪、平移或图像缩放后的视网膜OCT图像以及标注图像添加至所述数据集中。通过上述数据扩增的方式使得数据集中的视网膜OCT图像以及标注图像的数量增加。然后按照预设的比例，将扩增后的数据集按照预设的比例划分为训练集与测试集，例如预设的比例为7：3，随机分为两部分，一部分作为训练集用于训练神经网络模型，另一部分作为测试集用于检测神经网络模型分割结果的正确率。当然，比例的选取是可以设定的，本实施例并不对此进行限定。
进一步地，为了本实施例中所构建的图像分割模型能够对图像颜色属性变化不敏感视网膜OCT图像中的视网膜黄斑中心凹无血管区域，本实施例需要对所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增。所述图像颜色属性包括：图像的对比度或者亮度。具体地，将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.9倍、1.1倍，亮度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，且将所述训练集中的标注图像进行对应数量的扩增，如图4中所示，图4中上一排为图5视网膜OCT图像，下一排为标注图像，且从图4中可以看出训练集中的视网膜OCT图像为不同亮度以及对比度的图像，而标注图像仅为对应数量的增加。然后将测试集中的OCT图像的图像颜色属性分别进行调整扩增，在此过程中，进行扩增的调整还要添加训练集中未涉及的调整来更好地提高对视网膜黄斑中心凹无血管区域(FAZ)的分割效果、泛用性和对图像颜色属性变化的鲁棒性。例如，将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，亮度扩增至原先的0.7倍、0.8倍、0.9倍、1.1倍、1.2倍以1.3倍，且将所述训练集中的标注图像进行对应数量的扩增，如图5中所示，图5中上一排为图5视网膜OCT图像，下一排为标注图像，且从图5中可以看出测试集中的视网膜OCT图像为不同亮度以及对比度的图像，而标注图像仅为对应数量的增加。其中，对比度调整的0.8倍和1.2倍，亮度调整的0.7倍和1.3倍，为上述训练集中未涉及的调整。扩增完成后获取扩增后的训练集与测试集。
进一步地，本实施例获取重构后的训练集与测试集后，采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型。该图像分割模型可以对图像颜色属性不敏感的视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割。具体地，所述图像分割模型包括：图像编码部分、解码部分和分割结果重建部分。其中，编码部分包括许多个编码器，编码器主要通过卷积不断提取图像特征。每个编码器包括4个卷积层、4个激活层和1个2*2池化层。其中，卷积层用于对图像进行卷积以提取图像特征，激活层用于为神经网络模型加入非线性特性，提高神经网络模型的复杂程度以提高结果准确度，池化层用于对特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，另一方面进行特征压缩，利于提取主要特征。所述编码器通过卷积层卷积得到包含图像特征的特征图，特征图通过激活层激活得到激活后的特征图，再通过2*2的池化层记录下特征图中每个2*2池化块的最大值以及最大值的位置，在此过程中将特征图的尺寸缩小为先前的一半。解码部分包括与每一个编码器相对应的解码器，解码器通过上采样和卷积使得图像特征得以重现。每个解码器包括4个卷积层、4个激活层和1个2*2上采样层。每个解码器通过与2*2的池化层相对应的2*2的上采样层将特征图还原为先前的两倍。当利用该图像分割模型对图像进行分割时，具体为：将特征图中的值放入对应的2*2的池化层中记录的最大值的位置，再将其它位置的值设为0，在此过程中特征图会增大两倍。再通过卷积层卷积得到包含图像特征的特征图，特征图通过激活层激活得到激活后的特征图。分割结果重建部分包括1个卷积层和1个激活层。特征图经过卷积层卷积后通过激活层的激活获得分割结果图。
具体地，本实施例中的神经网络模型中的编码部分包括5个编码器，每个编码器包括4个卷积层、4个激活层和1个2*2池化层，如表1所示。
Figure BDA0002085892330000101
Figure BDA0002085892330000111
表1
所述解码部分包括5个解码器，每个解码器包括4个卷积层、4个激活层和1个2*2上采样层，如表2中所示。
Figure BDA0002085892330000112
表2
所述分割结果重建部分包括1个卷积层和1个激活层，具体如表3中所示。
每层类型 大小 卷积核数目 Pad 步长
卷积层 3×3 1 1 1
激活层 无 无 无 无
具体地，本实施例在构建图像分割模型时，对所述训练集以及所述测试集中的OCT图像进行归一化处理，xi*＝xi/255，其中，xi表示归一化前第i个像素点的值，xi*表示归一化后第i个像素点的值，整个流程是将OCT图像的所有像素点的值除以255，由于视网膜OCT图像的像素点的值在0-255之间，归一化能够将视网膜OCT图像的像素点的值归一至0-1之间。这样可以提高数据之间的可比性，提高神经网络模型训练速度，有利于提高所构建的图像分割模型的分割结果准确度。
归一化处理后，本实施例将归一化处理后的所述训练集输入至神经网络模型中训练，并获取每一次训练的预测图像；所述神经网络模型通过最小化loss函数更新模型权重，使所述神经网络模型在经过多次训练后使预测图像与所述标注图像的差异减小；当所述loss函数不再减少或者趋于稳定值后，生成图像分割模型，所述图像分割模型用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割。优选地，本实施例中的神经网络模型的loss函数为：
Figure BDA0002085892330000121
其中，
Figure BDA0002085892330000122
表示神经网络模型的预测像素点的值，yi表示实际像素点的值。loss函数用于计算神经网络模型的预测图像与标注图像的差异值。
当所述loss函数不再减少或者趋于稳定值后，使用所述测试集测试所述图像分割模型对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割效果，以便测试本实施例中所构建的图像分割模型可以准确地从视网膜OCT图像中将视网膜黄斑中心凹无血管区域分割出来。
基于上述实施例，本发明还提供一种图像分割方法，该图像分割方法包括：获取视网膜OCT图像，并将所述视网膜OCT图像输入至预设的图像法分割模型进行分割，以得到所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域，其中，所述图像分割模型为实施例中通过图像分割模型的构建方法所构建得到的图像分割模型，通过该图像分割模型可以准确地从视网膜OCT图像中将视网膜黄斑中心凹无血管区域分割出来。
由此可见，本实施例通过建立对图像颜色属性变化不敏感的图像分割模型进行视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割，能够减少或消除图像颜色属性变化而造成的分割效果不同的影响，提高对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的判断及分割的准确度。
基于上述实施例，本发明还提供了一种图像分割装置，其原理框图可以如图6所示。该图像分割装置包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该图像分割装置的处理器用于提供计算和控制能力。该图像分割装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该图像分割装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种歌曲演唱提示方法。该图像分割装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该图像分割装置的温度传感器是预先在图像分割装置内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的图像分割装置的限定，具体的图像分割装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种图像分割装置，包括存储器和处理器，存储器中存储有计算机程序，所述图像分割装置包括上述实施例中的显示屏，该处理器执行计算机程序时至少可以实现以下步骤：
获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集；
对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；
获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：获取视网膜OCT图像，并通过专家人工标注的方式对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行标记；从带有所述标记的视网膜OCT图像中提取视网膜黄斑中心凹无血管区域，并将提取的视网膜黄斑中心凹无血管区域另存为标注图像；将所述视网膜OCT图像以及所述标注图像构建数据集。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：分别对所述数据集中的视网膜OCT图像以及标注图像进行数据扩增，并按照预设的比例，将扩增后的数据集按照预设的比例划分为训练集与测试集；分别将所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增，且将所述训练集以及测试集中的标注图像进行对应数量的扩增，获取扩增后的训练集与测试集。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：对所述数据集中的视网膜OCT图像以及标注图像以随机换角度进行选准，并将旋转后的视网膜OCT图像以及标注图像添加至所述数据集中；或者，对所述数据集中的视网膜OCT图像以及标注图像进行裁剪、平移或图像缩放，并将裁剪、平移或图像缩放后的视网膜OCT图像以及标注图像添加至所述数据集中。优选地，所述图像颜色属性包括：图像的对比度或者亮度。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.9倍、1.1倍，亮度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，且将所述训练集中的标注图像进行对应数量的扩增；将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，亮度扩增至原先的0.7倍、0.8倍、0.9倍、1.1倍、1.2倍以1.3倍，且将所述训练集中的标注图像进行对应数量的扩增；获取扩增后的训练集与测试集。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：对所述训练集以及所述测试集中的OCT图像进行归一化处理；将归一化处理后的所述训练集输入至神经网络模型中训练，并获取每一次训练的预测图像；所述神经网络模型通过最小化loss函数更新模型权重，使所述神经网络模型在经过多次训练后使预测图像与所述标注图像的差异减小；当所述loss函数不再减少或者趋于稳定值后，生成图像分割模型，所述图像分割模型用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割。优选地，当所述loss函数不再减少或者趋于稳定值后，使用所述测试集测试所述图像分割模型对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了图像分割模型的构建方法、图像分割方法、装置及介质，所述方法包括：获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集；对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型。本发明能够减少或消除图像颜色属性变化而造成的分割效果不同的影响，提高对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的判断及分割的准确度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像分割模型的构建方法，其特征在于，所述方法包括：
获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集；
对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集；
获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型；
所述图像分割模型包括：
图像编码部分、解码部分和分割结果重建部分；其中，编码部分包括许多个编码器，编码器主要通过卷积不断提取图像特征；每个编码器包括4个卷积层、4个激活层和1个2*2池化层；卷积层用于对图像进行卷积以提取图像特征，激活层用于为神经网络模型加入非线性特性，池化层用于对特征图进行压缩，
当利用该图像分割模型对图像进行分割时，将特征图中的值放入对应的2*2的池化层中记录的最大值的位置，再将其它位置的值设为0，在此过程中特征图会增大两倍，再通过卷积层卷积得到包含图像特征的特征图，特征图通过激活层激活得到激活后的特征图，分割结果重建部分包括1个卷积层和1个激活层，特征图经过卷积层卷积后通过激活层的激活获得分割结果图。
2.根据权利要求1所述的图像分割模型的构建方法，其特征在于，所述获取视网膜OCT图像，并从所述视网膜OCT图像中提取视网膜黄斑中心凹无血管区域另存为标注图像，将所述视网膜OCT图像以及所述标注图像构建数据集，包括：
获取视网膜OCT图像，并通过专家人工标注的方式对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行标记；
从带有所述标记的视网膜OCT图像中提取视网膜黄斑中心凹无血管区域，并将提取的视网膜黄斑中心凹无血管区域另存为标注图像；
将所述视网膜OCT图像以及所述标注图像构建数据集。
3.根据权利要求1所述的图像分割模型的构建方法，其特征在于，所述对所述数据集进行数据扩增，并将扩增后的数据集划分为训练集以及测试集，分别对所述训练集以及测试集中的视网膜OCT图像的图像颜色属性进行扩增调整，重构训练集与测试集，包括：
分别对所述数据集中的视网膜OCT图像以及标注图像进行数据扩增，并按照预设的比例，将扩增后的数据集按照预设的比例划分为训练集与测试集；
分别将所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增，且将所述训练集以及测试集中的标注图像进行对应数量的扩增，获取扩增后的训练集与测试集；
所述图像颜色属性包括：图像的对比度或者亮度。
4.根据权利要求2所述的图像分割模型的构建方法，其特征在于，所述分别对所述数据集中的视网膜OCT图像以及标注图像进行数据扩增，包括：
对所述数据集中的视网膜OCT图像以及标注图像以随机换角度进行选准，并将旋转后的视网膜OCT图像以及标注图像添加至所述数据集中；
或者，对所述数据集中的视网膜OCT图像以及标注图像进行裁剪、平移或图像缩放，并将裁剪、平移或图像缩放后的视网膜OCT图像以及标注图像添加至所述数据集中。
5.根据权利要求4所述的图像分割模型的构建方法，其特征在于，所述分别将所述训练集和测试集中的视网膜OCT图像的图像颜色属性进行扩增，且将所述训练集以及测试集中的标注图像进行对应数量的扩增，获取扩增后的训练集与测试集，包括：
将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.9倍、1.1倍，亮度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，且将所述训练集中的标注图像进行对应数量的扩增；
将所述训练集中的视网膜OCT图像的对比度扩增至原先的0.8倍、0.9倍、1.1倍以及1.2倍，亮度扩增至原先的0.7倍、0.8倍、0.9倍、1.1倍、1.2倍以1.3倍，且将所述训练集中的标注图像进行对应数量的扩增；
获取扩增后的训练集与测试集。
6.根据权利要求1所述的图像分割模型的构建方法，其特征在于，所述获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型，包括：
对所述训练集以及所述测试集中的OCT图像进行归一化处理；
将归一化处理后的所述训练集输入至神经网络模型中训练，并获取每一次训练的预测图像；
所述神经网络模型通过最小化loss函数更新模型权重，使所述神经网络模型在经过多次训练后使预测图像与所述标注图像的差异减小；
当所述loss函数不再减少或者趋于稳定值后，生成图像分割模型，所述图像分割模型用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割。
7.根据权利要求6所述的图像分割模型的构建方法，其特征在于，所述获取重构后的训练集与测试集，并采用神经网络模型对所述重构后的训练集进行学习与训练，建立用于对所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域进行分割的图像分割模型，还包括：
当所述loss函数不再减少或者趋于稳定值后，使用所述测试集测试所述图像分割模型对不同图像颜色属性的视网膜OCT图像中的视网膜黄斑中心凹无血管区域的分割效果。
8.一种图像分割方法，其特征在于，所述图像分割方法包括：
获取视网膜OCT图像，并将所述视网膜OCT图像输入至预设的图像法分割模型进行分割，以得到所述视网膜OCT图像中的视网膜黄斑中心凹无血管区域，其中，所述图像分割模型为上述权利要求1-7任一项所述的图像分割模型的构建方法所构建得到的图像分割模型。
9.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-7任一项所述的图像分割模型的构建方法或者上述权利要求8所述的图像分割方法的步骤。
10.一种图像分割装置，包括：处理器、与处理器通信连接的存储介质，其特征在于，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-7任一项所述的图像分割模型的构建方法或者上述权利要求8所述的图像分割方法的步骤。
CN201910487537.8A 2019-06-05 2019-06-05 图像分割模型的构建方法、图像分割方法、装置及介质 Active CN110211136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910487537.8A CN110211136B (zh) 2019-06-05 2019-06-05 图像分割模型的构建方法、图像分割方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487537.8A CN110211136B (zh) 2019-06-05 2019-06-05 图像分割模型的构建方法、图像分割方法、装置及介质

Publications (2)

Publication Number Publication Date
CN110211136A CN110211136A (zh) 2019-09-06
CN110211136B true CN110211136B (zh) 2023-05-02

Family

ID=67791067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487537.8A Active CN110211136B (zh) 2019-06-05 2019-06-05 图像分割模型的构建方法、图像分割方法、装置及介质

Country Status (1)

Country Link
CN (1) CN110211136B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555856A (zh) * 2019-09-09 2019-12-10 成都智能迭迦科技合伙企业(有限合伙) 一种基于深度神经网络的黄斑水肿病变区域分割方法
CN110765330A (zh) * 2019-10-28 2020-02-07 深圳前海微众银行股份有限公司 数据集分类方法、装置、设备及计算机存储介质
CN110992364B (zh) * 2019-12-31 2023-11-28 重庆艾可立安医疗器械有限公司 视网膜图像识别方法、装置、计算机设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY142859A (en) * 2008-09-10 2011-01-14 Inst Of Technology Petronas Sdn Bhd A non-invasive method for analysing the retina for ocular manifested diseases
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107292887B (zh) * 2017-06-20 2020-07-03 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107516080A (zh) * 2017-08-22 2017-12-26 京东方科技集团股份有限公司 视网膜病变影像的眼球定位方法、装置及电子设备
CN109087302A (zh) * 2018-08-06 2018-12-25 北京大恒普信医疗技术有限公司 一种眼底图像血管分割方法及设备
CN109635862B (zh) * 2018-12-05 2021-08-24 合肥奥比斯科技有限公司 早产儿视网膜病plus病变分类方法
CN109615634A (zh) * 2018-12-13 2019-04-12 深圳大学 光学眼底图像分割方法、装置、计算机设备及存储介质
CN109691979A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN109784337B (zh) * 2019-03-05 2022-02-22 北京康夫子健康技术有限公司 一种黄斑区识别方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110211136A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110211136B (zh) 图像分割模型的构建方法、图像分割方法、装置及介质
CN110738643B (zh) 脑出血的分析方法、计算机设备和存储介质
CN111179372B (zh) 图像衰减校正方法、装置、计算机设备和存储介质
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
CN109615634A (zh) 光学眼底图像分割方法、装置、计算机设备及存储介质
US11315241B2 (en) Method, computer device and storage medium of fundus oculi image analysis
CN111161274B (zh) 腹部图像分割方法、计算机设备
CN115439651A (zh) 一种基于空间多尺度注意网络的dsa脑血管分割系统及方法
CN113397475B (zh) 基于oct图像的阿尔茨海默症风险的预测方法、系统及介质
CN110992439B (zh) 纤维束追踪方法、计算机设备和存储介质
CN111951272A (zh) 脑部影像的分割方法、装置、计算机设备和可读存储介质
CN110929730A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114170440A (zh) 图像特征点的确定方法、装置、计算机设备和存储介质
US20240005510A1 (en) Method and apparatus of nidus segmentation, electronic device, and storage medium
CN110766661B (zh) 磁共振成像的水脂分离方法、磁共振成像方法和设备
CN112541900A (zh) 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN114782452A (zh) 一种荧光素眼底血管造影图像的处理系统及装置
CN111899263A (zh) 图像分割方法、装置、计算机设备及存储介质
CN109615676B (zh) 一种光学图像重构方法、装置、计算机设备及存储介质
CN116309922B (zh) Ct灌注影像的去伪影方法、装置、设备和存储介质
CN117495951B (zh) 颅内动脉瘤定位方法、装置、计算机设备及存储介质
CN112581346B (zh) 基于对抗网络的二值图像隐写方法
CN116309438A (zh) 组织分割方法、计算机设备和存储介质
CN111080594B (zh) 切片标记确定方法、计算机设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant