CN110428421A - 黄斑图像区域分割方法和设备 - Google Patents

黄斑图像区域分割方法和设备 Download PDF

Info

Publication number
CN110428421A
CN110428421A CN201910263263.4A CN201910263263A CN110428421A CN 110428421 A CN110428421 A CN 110428421A CN 201910263263 A CN201910263263 A CN 201910263263A CN 110428421 A CN110428421 A CN 110428421A
Authority
CN
China
Prior art keywords
image
region
eye fundus
fundus image
macula lutea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910263263.4A
Other languages
English (en)
Inventor
王欣
黄烨霖
李舒磊
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201910263263.4A priority Critical patent/CN110428421A/zh
Publication of CN110428421A publication Critical patent/CN110428421A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种黄斑图像区域分割方法和设备,所述方法包括:从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,并获取所述机器学习模型在分类过程中提取的特征信息;根据所述特征信息获得热力图;利用所述热力图从所述眼底图像中分割出感兴趣区域。

Description

黄斑图像区域分割方法和设备
技术领域
本发明涉及眼科图像检测领域,具体涉及一种黄斑图像区域分割方法 和设备。
背景技术
在医疗领域中,黄斑在眼底视神经盘的颞侧0.35cm处并稍下方,处于 人眼的光学中心区,是视力轴线的投影点。黄斑位于视网膜的中心,该部 位集中了大量的视觉功能细胞。黄斑区的异常经常直接导致视觉能力的下 降,黄斑区的病变如果没有被及时的发现和治疗,失明的几率将大大提高。
目前,机器学习在医学领域得到了广泛的应用,尤其以深度学习为代 表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面,深 度学习技术已经被用于青光眼、糖尿病视网膜病变等病种的检测,并取得 了良好效果。但是,由于眼底图像中黄斑的形态特征往往因病变程度的不 同而差异巨大,导致现有的机器学习技术对黄斑部疾病识别的准确性无法 达到预期。
发明内容
有鉴于此,本发明提供一种黄斑图像区域分割方法,包括:
从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像 和背景;
利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,并 获取所述机器学习模型在分类过程中提取的特征信息;
根据所述特征信息获得热力图;
利用所述热力图从所述眼底图像中分割出感兴趣区域。
可选地,所述特征信息是所述机器学习模型中用于提取所述黄斑区域 图像的特征的神经网络输出的特征信息。
可选地,所述特征信息是所述神经网络中的最后一个卷积层输出的多 个特征图及其相应的权重。
可选地,所述热力图是所述多个特征图和相应权重的乘积之和。
可选地,所述利用所述热力图从所述眼底图像中分割出感兴趣区域, 包括:
融合所述热力图和所述黄斑区域图像得到融合图像;
在所述融合图像中识别出热力区域;
在所述眼底图像中标记所述热力区域。
可选地,在所述利用机器学习模型对所述黄斑区域图像和所述眼底图 像进行分类的步骤中,所述机器学习模型还用于输出类别信息;
所述利用所述热力图从所述眼底图像中分割出感兴趣区域,还包括:
判断所述类别信息是否为设定类别信息;
当所述类别信息是设定类别信息时,在所述融合图像中确定连通区域;
在所述眼底图像中标记所述连通区域。
可选地,在所述融合图像中确定连通区域,包括:
根据设定阈值在所述融合图像识别连通区域;
根据识别出的各个连通区域的像素点组成数量进行筛选;
保留筛选后的连通区域。
可选地,所述方法还包括:
计算标记的全部连通区域的面积总和。
可选地,所述方法还包括:
计算所述面积总和与所述眼底图像中的视盘影像面积的比例。
相应地,本发明还提供一种黄斑图像区域分割设备,包括:至少一个 处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储 器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理 器执行,以使所述至少一个处理器执行上述黄斑图像区域分割方法。
根据本发明实施例提供的黄斑图像区域分割方法及设备,首先使用机 器学习模型对眼底图像和黄斑区域图像进行分类,可获得机器学习模型在 分类过程中提取的特征信息;然后根据这些特征信息得到热力图,通过图 像展示出机器学习模型所关注的内容,最后可以利用此热力图在眼底图像 中将感兴趣区域分割出来,此区域中必然包含影响分类结果的内容,对于 存在异常的眼底图像,可以确保此区域中包含与黄斑相关的异常内容,本 发明提供的分割方案具有较高的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍, 显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普 通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获 得其他的附图。
图1是一幅眼底图像;
图2是从图1中截取的黄斑区域图像;
图3为一种机器学习模型的结构示意图;
图4是在眼底图像中截取黄斑区域图像的过程示意图;
图5为根据特征信息获得的热力图;
图6是根据热力图分割一种感兴趣区域的过程示意图;
图7是根据热力图分割另一种感兴趣区域的过程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发 明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼 此之间未构成冲突就可以相互结合。
本发明实施例提供一种黄斑图像分类方法,该方法可以由计算机和服 务器等电子设备执行。在本方法中使用了机器学习模型识别图像,所述机 器学习模型可以是多种类型和结构的神经网络。该方法包括如下步骤:
S1A,从眼底图像中截取黄斑区域图像,黄斑区域图像中包括黄斑影像 和背景。为了提高识别效率,在本实施例中对获取的眼底照片进行了预处 理,得到了如图1示的眼底图像。预处理包括但不限于图像增强、去除边 界等操作。在其它实施例中也可以不进行这些预处理,可直接使用眼底拍 照设备采集的眼底照片。
在得到眼底图像之后,此步骤需要识别黄斑所在的大致位置,然后截 取一个设定形状的区域图像,保证此区域中包含黄斑影像及其附近的一些 背景。如图2所示,本实施例中截取了矩形图像,也即黄斑区域图像的边 界是矩形的,在其它实施例中也可以使用其他形状,例如正圆形、椭圆形 等。
关于识别黄斑所在大致位置的方式可参照中国专利文件 CN108717696A,该文件提供了一种黄斑影像检测方法,利用机器学习模型 识别黄斑区域、视盘区域、黄斑-视盘联合区域确定黄斑区域。当然,也可 以采用其它现有技术识别黄斑的大致位置。
S2A,利用机器学习模型对黄斑区域图像和眼底图像进行分类,得到至 少一个类别信息。此步骤中使用的机器学习模型可以是单分类模型或者多 标签分类模型。使用单分类模型则只输出一个类别信息;多分类模型则可 能输出多个类别信息。类别信息表示机器学习模型根据这两个图像得出的 正常(健康)或异常(疾病)的结果,对于异常结果还可以进行更具体的 分类。在本实施例中有N种预定类别,其中至少包括正常类别,以及黄斑 区玻璃膜疣、地图状萎缩、中心性浆液性脉络膜视网膜病变、黄斑前膜、 黄斑裂孔、黄斑水肿等多种疾病类别,机器学习模型输出的类别信息用于 表示这N种类别中的至少一种。
根据本发明实施例提供的黄斑图像分类方法,从全局眼底图像中截取 黄斑所在位置的局部区域图像,然后将全局图像和局部图像一同输入机器 学习模型,使其根据黄斑局部特征和眼底全局特征进行分类,由于黄斑类 异常是由全眼底性疾病引起的,所以在进行黄斑区异常检测时结合全眼底 图像可以有效提高异常检测的准确率。最终得到的类别信息可以作为辅助 医生做出疾病诊断的参考数据,提高医生的工作效率。
结合图4所示,在一个优选的实施例中,步骤S1A包括如下步骤:
S1A1,在眼底图像中识别第一黄斑区域41,该区域中包括黄斑和一些背 景。图4示出了一幅区域识别示意图。利用现有技术从眼底图像中识别黄 斑区域时,大多数现有技术会试图找到比较精确的黄斑区域,尽可能地减 少背景,所以在识别时找到的区域是一个相对精准的区域,其中较暗的内 容是黄斑影像,其周围亮度较高的是少部分背景。
S1A2,根据眼底图像中的视盘影像43的尺寸对第一黄斑区域41进行扩 充得到第二黄斑区域42。为此,本方案可以先从眼底图像中识别视盘影像43。视盘的特征比较明显,利用现有图像分割技术从图像中找到精确的视 盘影像是比较容易的。可以将视盘影像43视为一个圆形区域,并测量此圆 形区域的半径r。
然后基于第一黄斑区域41的边界进行扩充。具体扩充方式有多种,在 本实施例中,该区域边界为矩形,选择分别基于矩形的四个边向外部扩充r, 得到第二黄斑区域42。
S1A3,在眼底图像中截取第二黄斑区域42作为黄斑区域图像。由此截 取的区域中将包括更多的背景。
现有技术普遍认为对黄斑定位越精确、背景内容越少则分类结果越准 确,但实际上很多黄斑类异常是由全眼底性疾病引起的,仅通过黄斑范围 内的特征不能体现异常类型,将过于小范围的黄斑影像输入机器学习模型 反而会降低其分类准确性。上述优选方案对黄斑区域进行扩充,克服现有 技术的偏见,使机器学习模型根据扩充范围的黄斑区域图像和全眼底图像 进行分类输出类别信息,由此可以进一步提高分类准确性。
本发明的一个实施例还提供一种黄斑图像分类装置,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像 中包括黄斑影像和背景。具体可参照上述步骤S1A。
机器学习模型,用于对所述黄斑区域图像和所述眼底图像进行分类, 输出至少一个类别信息。具体可参照上述步骤S2A。
在一个实施例中,该机器学习模型包括:
第一神经网络,用于提取眼底图像中的第一特征信息;
第二神经网络,用于提取黄斑区域图像的第二特征信息,黄斑区域图 像是眼底图像中的一部分,黄斑区域图像中包括黄斑影像和背景;
分类单元,用于根据第一特征信息和第二特征信息输出至少一个类别 信息。
第一神经网络和第二神经网络可以是各种卷积神经网络,分类单元中 可包括池化层、全连接层等多种单元。
图3示出了一个具体的机器学习模型结构,这只是为了清楚地说明而 做出的举例,而非对机器学习模型结构的限定。图3所示模型包括第一神 经网络31、第二神经网络32,这两个网络并行分别提取黄斑区域图像的特 征和眼底图像的特征。第一全局平均池化层(GAP)33用于对第一神经网络 31提取的特征进行处理;第二全局平均池化层(GAP)34用于对第二神经 网络32提取的特征进行处理。连接模块(Concat)35用于将第一全局平均 池化层33和第二全局平均池化层34输出的处理结果进行连接。全连接层 (FC)36用于对连接模块35输出的连接结果进行处理。最后通过分类器 (softmax)37对全连接层36输出的处理结果进行分类而得到类别信息。
由于目前机器学习的分类准确率通常不能达到100%,为了体现分类结 果的客观性,在一个优选的实施例中,机器学习模型还将输出对应于类别 信息的置信度信息。作为一个举例,机器学习模型输出一个类别信息表示 属于某种疾病类别,同时还输出一个百分比数据,表示此结果的可信度。 该百分比数据是分类器37的中间结果,分类器会使用设定的函数对之前一 层输出的数据进行判断,计算此数据属于各种预定类型的置信度,取最高置信度对应的类别作为最终分类结果,在本实施例中输出此最终结果的同 时还输出对应的百分比数据作为置信度信息。
本发明的一个实施例还提供一种黄斑图像分类设备,包括:至少一个 处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储 器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理 器执行,以使所述至少一个处理器执行上述黄斑图像分类方法。
众所周知,具有分类能力的机器学习模型是利用大量的训练数据(或 称样本数据)进行训练得到的。本发明实施例提供一种黄斑图像分类模型 训练方法,该方法可以由计算机和服务器等电子设备执行。该方法包括如 下步骤:
获取多组训练数据,每组训练数据分别包括眼底图像、黄斑区域图像 和标签信息,其中黄斑区域图像截取自眼底图像,黄斑区域图像中包括黄 斑影像和背景。这些眼底图像的类型是已知的,标签信息用于表示其已知 类别。已知类别至少包括正常类和多种疾病类别。
利用多组训练数据对机器学习模型进行训练。设置收敛条件,使机器 学习模型根据输出的类别信息与标签信息进行比对,从而根据比对结果修 正模型参数,直至达到收敛条件为止。
上述训练数据可以完全是由人工标注得到的,其中的黄斑区域图像, 可以通过人工在全局眼底图像中截取而得到。作为一个优选的实施例,可 采用自动生成方式根据眼底图像获得黄斑区域图像。
具体地,获取多组训练数据可包括如下步骤:
获取眼底图像,并在眼底图像中识别第一黄斑区域。可以利用中国专 利文件CN108717696A提供的黄斑影像检测方法识别第一黄斑区域。根据眼 底图像中的视盘影像的尺寸对第一黄斑区域进行扩充得到第二黄斑区域。 在眼底图像中截取第二黄斑区域作为黄斑区域图像。具体可参照识别方案 中的步骤S1A1-S1A3。
上述方案基于全局眼底图像自动识别黄斑区域图像,自动获得训练数 据,由此可以提高模型训练的效率。
实际应用中,由于可采集到的眼底图像样本有限,为了获得更多的训 练数据,本方案可以通过对实际采集的眼底图像进行加工而得到更多的训 练数据。
具体地,由于黄斑区各种异常的发病率的差异和就医比例的差异,在 收集到的数据集中,各类异常类别包含的图像数量极不均衡。为了训练出 性能更好的模型,提高识别的准确率,可对原始的训练数据进行数据扩充。 例如采用随机翻转、镜像、旋转、平移、随机加噪声、模糊化、提高对比 度、调整颜色空间等来进行数据扩增。其目的是尽可能模拟眼底图自然拍 摄中可能出现的形态,例如对一张眼底图像进行处理,得到的图像用于模 拟较暗且有伪影的眼底图;例如对一张眼底图像进行处理,得到的图像用 于模拟实际场景中因拍摄人员技术或镜头污损等原因,导致的图像质量偏 低这类实际场景。这些扩充的图像与原始图像的标签信息一致。
根据上述扩充方式,基于一幅实际采集的眼底图像进行处理,可以得 到多幅变换图像作为训练数据,由此可以显著提高训练数据的数量,从而 优化机器学习模型的性能。
本发明的一个实施例还提供一种黄斑图像分类模型训练设备,包括: 至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中, 所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少 一个处理器执行,以使所述至少一个处理器执行上述黄斑图像分类模型训 练方法。
下面结合图5-图7介绍本发明提供的黄斑图像区域分割方法。
本发明的一个实施例提供了一种黄斑图像区域分割方法,该方法可以 由计算机和服务器等电子设备执行。该方法包括如下步骤:
S1B,从眼底图像中截取黄斑区域图像,黄斑区域图像中包括黄斑影像 和背景。具体可参照上述实施例中的步骤S1A,此处不再赘述。
S2B,利用机器学习模型对黄斑区域图像和眼底图像进行分类,并获取 机器学习模型在分类过程中提取的特征信息。关于机器学习模型的分类及 其结构可参照上述实施例中的步骤S2A,此处不再赘述。
需要说明的是,应用于本实施例时,可以不必获得机器学习模型的分 类结果和置信度信息。此步骤是将机器学习模型所关注的内容提取出来。 模型是通过提取眼底图像和黄斑区域图像中的特征信息,从而实现分类的, 这些特征信息属于分类过程的中间结果而非最终结果。在本实施例中只获 得这些中间结果即可。
S3B,根据特征信息获得热力图,这是一种特征信息可视化处理。以图5 为例,获取机器学习模型分类过程中所提取的特征信息,可生成如图5所 示的热力图(也称热图,HeatMap),在对最后结果影响比较大的位置生成 的热度相对于其它位置更高。
S4B,利用热力图从眼底图像中分割出感兴趣区域,感兴趣区域包括多 种。
在一个实施例中,如图6所示,至少可以在眼底图像中将热力区域611 分割出来,具体可将图6所示热力图(其附图标记为61)与原图(眼底图 像或者黄斑区域图像)进行融合处理,然后在融合的图像中根据热力区的 像素值确定热力区域611的边界。此区域是影响分类结果的区域,是热力 图所关注的区域,决定眼底图像类别的特征应当集中在这一区域中,将此 区域作为感兴趣区域呈现给用户,提示用户重点观察此区域。
在另一个实施例中,需要获得机器学习模型对黄斑区域图像和眼底图 像进行分类时输出的类别信息。首先判断该类别信息是否为设定类别信息, 在本实施例中,设定类别为黄斑区玻璃膜疣,如果根据模型输出的类别信 息确定眼底图像属于黄斑区玻璃膜疣,则如图7所示,将热力图(其附图 标记为71)与原图(眼底图像或者黄斑区域图像)进行融合处理,所得到 的融合图像能够使异常区域的特征更加突出。融合算法有多种,例如可以 采用加权相加的方式融合两幅图像。
然后在融合图像中确定连通区域。具体算法有多种,在本实施例中采 用OTSU算法(大津法或最大类间方差法),可得到如图7所示的结果,其 中包括多个被标记出的连通区域711。与此同时,也可以在眼底图像中标记 出热力区域710。
根据本发明实施例提供的黄斑图像区域分割方法,首先使用机器学习 模型对眼底图像和黄斑区域图像进行分类,可获得机器学习模型在分类过 程中提取的特征信息;然后根据这些特征信息得到热力图,通过图像展示 出机器学习模型所关注的内容,最后可以利用此热力图在眼底图像中将感 兴趣区域分割出来,此区域中必然包含影响分类结果的内容,对于存在异 常的眼底图像,可以确保此区域中包含与黄斑相关的异常内容,本发明提 供的分割方案具有较高的准确性。
在一个优选的实施例中,在融合图像中确定连通区域的过程中,首先 根据设定阈值(例如OTSU算法)在融合图像识别全部连通区域,然后根据 识别出的各个连通区域的像素点组成数量进行筛选。在本实施例中设定像 素点数量阈值为50,最终保留像素点数量大于50的连通区域。经过筛选可 以过滤掉一些面积较小的连通区域,这些区域可能是由于镜头污点等因素 引起的图像噪声,筛选处理可以弥补根据阈值法分割连通区域的误差,在保证一定召回率的前提下减少误判,进一步提高分割准确性。
对于一些黄斑疾病,根据上述实施例可能会得到较多分散的连通区域。 当需要对疾病进行持续观测时,需要隔一段时间再次或多次采集眼底图像 并进行上述分割处理。对连通区域进行标记虽然比较直观,但是用户很难 比较前后多次的分割结果并观测到微小的变化。在一个优选的实施例中, 在获得连通区域后,计算标记的全部连通区域的面积总和,得到一个量化 的异常区域数据,使用户可以更直观地比较多个分割结果间的差异,便于 后续的病情进展跟踪。
面积总和可起到量化作用,但仍缺乏参考依据,需要医生具备一定的 经验才能直接根据面积做出判断,为了进一步提高便利性,还可以计算面 积总和与眼底图像中的视盘影像面积的比例,也就是异常区域的面积总和 与视盘面积之比,这一数值属于一种客观参照数据,可作为协助医生做出 疾病诊断的参考值。
本实施例提供一种具体的生成热力图的方式。在本实施例中,特征信 息是机器学习模型中用于提取黄斑区域图像的特征的神经网络输出的特征 信息。以图3所示机器学习模型为例,特征信息来自第一神经网络31,它 包括特征图(feature map)和相应的权重。
在此可以使用类激活映射(Class Activation Mapping,CAM)算法,模 型最后的分类结果其实是池化后的值与相应权重的乘积,池化后的值是由 第一全局平均池化层33生成的,所以最后分类的结果可以看为是特征图 (feature map)与权重的乘积,权重代表每个特征图对于最后结果的贡献 程度。将特征图乘以权重直接相加即可得到热力图,对于最后结果影响大 的地方应该有相对较大的值,影响小的地方有相对较小的值。
对于输入的黄斑区域图像,第一神经网络31的最后一个卷积层会提取 出许多feature map,各个fearure map分别表示部分特征。feature map 保留着图片的空间信息,因此通过feature map的叠加即可得到热力图。
本发明的一个实施例还提供一种黄斑图像区域分割设备,包括:至少 一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述 存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个 处理器执行,以使所述至少一个处理器执行上述黄斑图像区域分割方法。
本发明的一个实施例还提供一种黄斑图像区域分割装置,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像 中包括黄斑影像和背景。具体可参照上述实施例中的步骤S1B。
提取单元,用于利用机器学习模型对所述黄斑区域图像和所述眼底图 像进行分类,并获取所述机器学习模型在分类过程中提取的特征信息。具 体可参照上述实施例中的步骤S2B。
热力图生成单元,用于根据所述特征信息获得热力图。具体可参照上 述实施例中的步骤S3B。
分割单元,用于利用所述热力图从所述眼底图像中分割出感兴趣区域。 具体可参照上述实施例中的步骤S4B。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、 或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施 例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个 或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不 限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形 式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序 产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流 程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中 的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专 用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个 机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产 生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机 实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的 功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方 式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保 护范围之中。

Claims (10)

1.一种黄斑图像区域分割方法,其特征在于,包括:
从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;
利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,并获取所述机器学习模型在分类过程中提取的特征信息;
根据所述特征信息获得热力图;
利用所述热力图从所述眼底图像中分割出感兴趣区域。
2.根据权利要求1所述的方法,其特征在于,所述特征信息是所述机器学习模型中用于提取所述黄斑区域图像的特征的神经网络输出的特征信息。
3.根据权利要求2所述的方法,其特征在于,所述特征信息是所述神经网络中的最后一个卷积层输出的多个特征图及其相应的权重。
4.根据权利要求3所述的方法,其特征在于,所述热力图是所述多个特征图和相应权重的乘积之和。
5.根据权利要求1所述的方法,其特征在于,所述利用所述热力图从所述眼底图像中分割出感兴趣区域,包括:
融合所述热力图和所述黄斑区域图像得到融合图像;
在所述融合图像中识别出热力区域;
在所述眼底图像中标记所述热力区域。
6.根据权利要求5所述的方法,其特征在于,在所述利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类的步骤中,所述机器学习模型还用于输出类别信息;
所述利用所述热力图从所述眼底图像中分割出感兴趣区域,还包括:
判断所述类别信息是否为设定类别信息;
当所述类别信息是设定类别信息时,在所述融合图像中确定连通区域;
在所述眼底图像中标记所述连通区域。
7.根据权利要求6所述的方法,其特征在于,在所述融合图像中确定连通区域,包括:
根据设定阈值在所述融合图像识别连通区域;
根据识别出的各个连通区域的像素点组成数量进行筛选;
保留筛选后的连通区域。
8.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
计算标记的全部连通区域的面积总和。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
计算所述面积总和与所述眼底图像中的视盘影像面积的比例。
10.一种黄斑图像区域分割设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-9中任意一项所述的黄斑图像区域分割方法。
CN201910263263.4A 2019-04-02 2019-04-02 黄斑图像区域分割方法和设备 Pending CN110428421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910263263.4A CN110428421A (zh) 2019-04-02 2019-04-02 黄斑图像区域分割方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910263263.4A CN110428421A (zh) 2019-04-02 2019-04-02 黄斑图像区域分割方法和设备

Publications (1)

Publication Number Publication Date
CN110428421A true CN110428421A (zh) 2019-11-08

Family

ID=68408373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910263263.4A Pending CN110428421A (zh) 2019-04-02 2019-04-02 黄斑图像区域分割方法和设备

Country Status (1)

Country Link
CN (1) CN110428421A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930386A (zh) * 2019-11-20 2020-03-27 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN111563910A (zh) * 2020-05-13 2020-08-21 上海鹰瞳医疗科技有限公司 眼底图像分割方法及设备
CN111709966A (zh) * 2020-06-23 2020-09-25 上海鹰瞳医疗科技有限公司 眼底图像分割模型训练方法及设备
CN111968117A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 重合度检测方法、装置、设备以及存储介质
CN112767378A (zh) * 2021-01-28 2021-05-07 佛山科学技术学院 一种基于Dense-Unet的玻璃体浑浊程度评级方法
CN112862782A (zh) * 2021-02-05 2021-05-28 佛山科学技术学院 一种基于R-Unet的人眼玻璃体混浊程度分级方法
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
WO2022160118A1 (zh) * 2021-01-27 2022-08-04 深圳技术大学 基于计算机视觉特征的oct图像分类方法及系统、设备
CN115049734A (zh) * 2022-08-12 2022-09-13 摩尔线程智能科技(北京)有限责任公司 在图像中定位目标物的方法和装置
CN116167949A (zh) * 2023-04-25 2023-05-26 天津中智云海软件科技有限公司 一种基于医疗影像大数据的临床辅助决策系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206707A1 (en) * 2016-01-15 2017-07-20 Anthony Guay Virtual reality analytics platform
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN109101994A (zh) * 2018-07-05 2018-12-28 北京致远慧图科技有限公司 一种卷积神经网络迁移方法、装置、电子设备及存储介质
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109410185A (zh) * 2018-10-10 2019-03-01 腾讯科技(深圳)有限公司 一种图像分割方法、装置和存储介质
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206707A1 (en) * 2016-01-15 2017-07-20 Anthony Guay Virtual reality analytics platform
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN109101994A (zh) * 2018-07-05 2018-12-28 北京致远慧图科技有限公司 一种卷积神经网络迁移方法、装置、电子设备及存储介质
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109410185A (zh) * 2018-10-10 2019-03-01 腾讯科技(深圳)有限公司 一种图像分割方法、装置和存储介质
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张德彪: "基于深度学习的糖尿病视网膜病变分类和病变检测方法的研究", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930386A (zh) * 2019-11-20 2020-03-27 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN110930386B (zh) * 2019-11-20 2024-02-20 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN111563910A (zh) * 2020-05-13 2020-08-21 上海鹰瞳医疗科技有限公司 眼底图像分割方法及设备
CN111563910B (zh) * 2020-05-13 2023-06-06 上海鹰瞳医疗科技有限公司 眼底图像分割方法及设备
CN111709966B (zh) * 2020-06-23 2023-06-06 上海鹰瞳医疗科技有限公司 眼底图像分割模型训练方法及设备
CN111709966A (zh) * 2020-06-23 2020-09-25 上海鹰瞳医疗科技有限公司 眼底图像分割模型训练方法及设备
CN111968117A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 重合度检测方法、装置、设备以及存储介质
CN111968117B (zh) * 2020-09-25 2023-07-28 北京康夫子健康技术有限公司 重合度检测方法、装置、设备以及存储介质
WO2022160118A1 (zh) * 2021-01-27 2022-08-04 深圳技术大学 基于计算机视觉特征的oct图像分类方法及系统、设备
CN112767378A (zh) * 2021-01-28 2021-05-07 佛山科学技术学院 一种基于Dense-Unet的玻璃体浑浊程度评级方法
CN112862782A (zh) * 2021-02-05 2021-05-28 佛山科学技术学院 一种基于R-Unet的人眼玻璃体混浊程度分级方法
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
CN115049734A (zh) * 2022-08-12 2022-09-13 摩尔线程智能科技(北京)有限责任公司 在图像中定位目标物的方法和装置
CN116167949B (zh) * 2023-04-25 2023-06-30 天津中智云海软件科技有限公司 一种基于医疗影像大数据的临床辅助决策系统
CN116167949A (zh) * 2023-04-25 2023-05-26 天津中智云海软件科技有限公司 一种基于医疗影像大数据的临床辅助决策系统

Similar Documents

Publication Publication Date Title
CN110428421A (zh) 黄斑图像区域分割方法和设备
CN109961848A (zh) 黄斑图像分类方法和设备
CN110570421B (zh) 多任务的眼底图像分类方法和设备
CN111493814B (zh) 眼底病变的识别系统
CN110021009B (zh) 一种评估眼底图像质量的方法、装置及存储介质
CN105513077B (zh) 一种用于糖尿病性视网膜病变筛查的系统
CN110555845A (zh) 眼底oct图像识别方法及设备
CN108095683A (zh) 基于深度学习的处理眼底图像的方法和装置
CN112017185B (zh) 病灶分割方法、装置及存储介质
CN108537801A (zh) 基于生成对抗网络的视网膜血管瘤图像分割方法
CN110327013A (zh) 眼底图像检测方法、装置及设备和存储介质
CN109684981A (zh) 青光眼图像识别方法、设备和筛查系统
CN110516685A (zh) 基于卷积神经网络的晶状体浑浊程度检测方法
CN108596895A (zh) 基于机器学习的眼底图像检测方法、装置及系统
JP2019192215A (ja) 深層学習を用いた網膜層の3d定量解析
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN110188613A (zh) 图像分类方法及设备
CN110599480A (zh) 多源输入的眼底图像分类方法和设备
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN109671049A (zh) 一种医学图像处理方法、系统、设备、存储介质
CN112957005A (zh) 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法
CN113658165A (zh) 杯盘比确定方法、装置、设备及存储介质
CN114862760A (zh) 一种早产儿视网膜病变检测方法及装置
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210721

Address after: 100083 room 21, 4th floor, building 2, national defense science and Technology Park, beipolytechnic, Haidian District, Beijing

Applicant after: Beijing Yingtong Technology Development Co.,Ltd.

Applicant after: SHANGHAI YINGTONG MEDICAL TECHNOLOGY Co.,Ltd.

Address before: Room 01, 8 / F, building B3, No. 180, Yizhou Road, Xuhui District, Shanghai 200030

Applicant before: SHANGHAI YINGTONG MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right