CN110599480A - 多源输入的眼底图像分类方法和设备 - Google Patents

多源输入的眼底图像分类方法和设备 Download PDF

Info

Publication number
CN110599480A
CN110599480A CN201910880043.6A CN201910880043A CN110599480A CN 110599480 A CN110599480 A CN 110599480A CN 201910880043 A CN201910880043 A CN 201910880043A CN 110599480 A CN110599480 A CN 110599480A
Authority
CN
China
Prior art keywords
macular
disc
image
optic disc
region image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910880043.6A
Other languages
English (en)
Inventor
王欣
贺婉佶
黄烨霖
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201910880043.6A priority Critical patent/CN110599480A/zh
Publication of CN110599480A publication Critical patent/CN110599480A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种多源输入的眼底图像分类方法和设备，所述方法包括：获取眼底图像；在所述眼底图像中截取黄斑区域图像和视盘区域图像；利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行分类得到分类结果。

Description

多源输入的眼底图像分类方法和设备
技术领域
本发明涉及眼科图像检测领域，具体涉及一种多源输入的眼底图像分类方法和设备。
背景技术
人体的很多疾病如黄斑变性、视网膜肿瘤、糖尿病性视网膜病变、动脉硬化等会波及眼睛，引起视网膜的变化。眼底图因其拍摄方便、无创性等特点，可以用来检测眼底异常改变，并监测疾病的进程。
目前，机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变这样的单一病种的检测，并取得了良好效果。
但是在实际应用场景中，视网膜疾病种类较多，各种疾病的表现形态有部分差异和部分相似性，因此，单独针对其中的某一种或者某几种疾病进行检测，有可能会造成对其他疾病的误判。例如患者为脉络膜新生血管性黄斑变性，如果输入只针对糖尿病视网膜病变的分级建模的模型中，该例图片会因为有出血和渗出而被对应地识别为糖尿病视网膜病变的非增殖中重度；另外在一些情况下，多种视网膜疾病可能会同时出现，例如患者可能会同时有青光眼和糖尿病性视网膜病变这两种疾病，将其眼底图像输入针对其中任一种病变的分类模型中，都将会导致另一种病变被漏检。
由此可见，现有的眼底图像的分类检测方案准确性和实用性仍有待提高。
发明内容
有鉴于此，本发明提供一种多源输入的眼底图像分类方法，包括：
获取眼底图像；
在所述眼底图像中截取黄斑区域图像和视盘区域图像；
利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；
利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行分类得到分类结果。
可选地，在所述眼底图像中截取黄斑区域图像和视盘区域图像包括：
识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸；
根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像。
可选地，所述识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸包括：
利用预测网络预测所述眼底图像中的预测黄斑中心位置、视盘中心位置和视盘尺寸，所述预测网络在预测过程中生成热力图，所述黄斑中心位置和所述视盘中心位置是根据所述热力图的像素值确定的。
可选地，所述根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像包括：
以所述视盘中心位置为中心、以所述视盘尺寸的第一设定倍数为尺寸在所述眼底图像中截取视盘区域图像；
以所述黄斑中心位置为中心、以所述视盘尺寸的第二设定倍数为尺寸在所述眼底图像中截取黄斑区域图像，所述第二设定倍数大于所述第一设定倍数。
可选地，利用特征提取网络对所述黄斑区域图像提取黄斑特征信息，包括：
将所述黄斑区域图像与所述热力图叠加得到加权后的黄斑区域图像；
利用特征提取网络对加权后的黄斑区域图像提取黄斑特征信息。
可选地，利用特征提取网络对所述视盘区域图像提取视盘特征信息，包括：
将所述视盘区域图像与所述热力图叠加得到加权后的视盘区域图像；
利用特征提取网络对加权后的视盘区域图像提取视盘特征信息。
可选地，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行分类得到分类结果，包括：
将所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行连接得到组合特征信息；
利用分类网络对所述组合特征信息进行分类得到针对所述眼底图像整体的分类结果。
可选地，所述特征提取网络为3个，其中第一特征提取网络用于对所述黄斑区域图像提取黄斑特征信息、第二特征提取网络用于对所述视盘区域图像提取视盘特征信息、第三特征提取网络用于对所述眼底图像提取全局特征信息。
可选地，所述分类网络输出的分类结果包括各个类别及其置信度。
本发明还提供一种多源输入的眼底图像分类设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述多源输入的眼底图像分类方法。
根据本发明提供的眼底图像分类方法和设备，首先基于黄斑中心位置、视盘中心位置和视盘尺寸在眼底图像中截取黄斑区域图像和视盘区域图像，然后将黄斑区域图像、视盘区域图像和眼底图像这三个图像作为多源输入，利用特征提取网络分别提取这三个图像的特征信息，然后根据三个图像的特征信息进行分类，本方案尤其适合针对眼底的整体性疾病和异常进行识别，综合多源输入相应的特征信息得到分类结果可以降低误检几率，提高对眼底图像的识别准确性和实用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一幅眼底图像；
图2是本发明实施例中根据眼底图像得到的热力图及其与原图的结合示意图；
图3为本发明实施例中的训练数据示意图；
图4为本发明实施例中的一个优选的整体性异常检测框架图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种眼底数据预测方法，该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是多种类型和结构的神经网络。该方法包括如下步骤：
S1A，获取眼底图像。为了提高识别效率，在本实施例中对获取的眼底照片进行了预处理，得到了如图1示的眼底图像。预处理包括但不限于图像增强、去除边界等操作。在其它实施例中也可以不进行这些预处理，可直接使用眼底拍照设备采集的眼底照片。
S2A，利用机器学习模型预测眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸。本实施例中的机器学习模型用于进行回归，该模型是利用大量标注了黄斑中心位置、视盘中心位置和视盘尺寸的样本眼底图像进行训练得到的，具体将在下文中介绍模型的训练方案。
本实施例中的机器学习模型首先提取眼底图像的特征信息，然后根据特征信息得到上述三个信息，这些特征信息属于回归过程的中间结果而非最终结果。模型的特征提取部分可采用堆叠的沙漏结构(stacked hour-glass modules)，也可以选用YoloV3、DSOD的特征提取部分，或类似U-Net的结构。在此步骤中所获取的特征信息是特征提取网络的最后一层输出的二维的特征图(Feature map),最后一层可以是卷积层、池化层或者等等。
本实施例中的机器学习模型在预测过程中会生成热力图，这是一种对特征信息的可视化处理。以图2为例，获取机器学习模型预测过程中所提取的特征信息，可生成如图2所示左侧的热力图(也称热图，HeatMap)，在可选的实施例中，可以基于特征图生成热力图，或者特征图就是热力图。例如在预测的过程中，特征提取网络输出为特征图进行归一化处理，使其中每个点的像素值范围在0～255，即可得到热力图。在热力图中，越靠近视盘和黄斑中心位置的像素点值越大，越远离中心的像素点的值越小。
如图2所示，在对预测结果影响比较大的位置生成的热度(数值)相对于其它位置更高。将热力图与眼底图像结合(右侧)可以更清楚地看出，越接近视盘和黄斑中心的位置热力图的值越高，表示模型的关注度越高，因此模型可以根据热力图的像素值来确定黄斑中心位置和视盘中心位置。
预测结果中的黄斑中心位置和视盘中心位置可以通过像素点的坐标来表示。视盘尺寸的表达方式有多种，例如可以将视盘视区域为一个圆形区域，在此给出圆形区域的半径，或者将视盘视为一个正方形或长方形区域，在此给出方形区域的长度和/或宽度等等。
图2只是为了进行说明而示出的可视化结果，实际应用时可以向用户展示热力图及其与原图的结合结果，提示用户重点观察此区域。也可以不做可视化处理，热力图将作为一种辅助数据用于后续对眼底图像进行分类或分割感兴趣区域。
根据本发明实施例提供的眼底数据预测方法，结合神经网络算法和回归两方面的优势可以准确地定位到眼底图像中的视盘和黄斑中心位置。预测集合了视盘和黄斑位置信息的热力图，将视盘跟黄斑的距离和位置的先验信息隐含地融合在模型中，提高检测的准确率。
对于视盘区域的疾病，病变区域一般集中在视盘的一个视盘直径的范围内。对于黄斑区域的疾病，一般以病变区域距离黄斑中心凹的距离来衡量疾病的严重程度，如糖尿病性黄斑水肿，其中最重要的分级指标是水肿病变与黄斑中心凹的距离。而为了更好的确定相对距离，一般以黄斑中心凹与病变的距离与视盘直径的比值来作为衡量指标。对于一些整体性眼底疾病而言，是否波及黄斑区域和视盘区域，是衡量视力受损程度的重要依据。本发明提供的方案在预测黄斑和视盘中心的同时还得到视盘的尺寸，可以为医生确定治疗方案提供重要依据。
此外，得到的热力图可应用于进行对眼底图像进行异常检测，利用注意力选择机制，通过将其与原图对应区域相叠加，给视盘、黄斑相对中心的区域相对更大的关注度，从而更好地模拟临床医生实际诊断方式，即在越靠近视盘和黄斑中心的位置出现的病变越危急，需要给予更多的关注，从而提高异常检测操作的准确性。
在一个优选的实施例中，机器学习模型采用如下方式得到黄斑中心位置和视盘中心位置：获取热力图中的两个峰值；确定两个峰值对应眼底图像中的两个像素点；根据两个像素点的像素值确定黄斑中心位置和视盘中心位置。
热力图的峰值位置最有可能是黄斑和视盘的中心位置。特征提取网络输出的特征图中有两个峰值位置，分别是黄斑中心位置和视盘中心位置。在原始眼底图像中，黄斑中心暗于视盘中心，即其像素值低于视盘中心像素值，因此根据这两个峰值位置对应到原始眼底图像中的像素值，即可区分黄斑和视盘中心。
本发明还提供一种眼底数据预测设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底数据预测方法。
本发明实施例提供一种眼底数据预测模型训练方法，可用于训练上述实施例中所使用的机器学习模型，本方法可以由计算机和服务器等电子设备执行。本方法包括如下步骤：
S1B，获取训练数据，训练数据包括如图3所示的标记了黄斑中心31位置、视盘中心32位置和视盘区域33的眼底图像，其中视盘区域33的标记内容用于确定视盘尺寸。在本实施中，视盘区域33的标注为正方形，其边长为视盘尺寸，可以被视为视盘的直径。在其它实施例中也可以采用圆形或其他形状对此区域进行标注。
实际应用时应当获取大量的上述训练数据，如果实际的眼底图像数量不够多，可以添加一个数据增强模块基于实际的眼底图像生成训练数据，数据增强模块可采用随机翻转、镜像、旋转、平移、随机加噪声、模糊化、提高对比度、调整颜色空间等手段，基于原始的眼底图像来进行数据扩增。其原则是尽可能地模拟眼底图自然拍摄中可能出现的形态，使得生成的眼底图与实际拍摄的眼底图一致。
根据上述扩充方式，基于一幅实际采集的眼底图像进行处理，可以得到多幅变换图像作为训练数据，由此可以显著提高训练数据的数量，从而优化机器学习模型的性能。
S2B，利用上述训练数据对机器学习模型进行训练，以使其根据输入的眼底图像预测黄斑中心位置、视盘中心位置和视盘尺寸。训练时应当设置一定的收敛条件，利用大量如图3所示的样本图像使机器学习模型预测的结果与实际标注的内容达到一定的一致性。
具体地，应当设定合适的损失函数来衡量预测结果与标注内容(实际数据)间的差异，并根据差异给与相应的惩罚从而使模型优化自身的参数，直到模型的预测结果与标注内容的差距足够小并保持稳定。损失函数可包括两部分，一部分用来衡量预测的视盘和黄斑的中心点与实际数据的差异，另一部分用来衡量预测的视盘尺寸与实际尺寸的差异，这两部分可以有所偏重，具体根据实际应用场景进行设置。
根据本发明实施例提供的眼底数据预测模型训练方法，结合神经网络算法和回归两方面的优势，利用标注了视盘和黄斑中心位置以及视盘尺寸的训练数据对机器学习模型进行训练，使其能够预测这些信息。
作为一个优选的实施例，训练过程采用如下损失函数：
Loss＝Lp+λLwh，
其中Lp表示预测的黄斑中心位置、视盘中心位置与训练数据中的黄斑中心位置、视盘中心位置的差异，Lwh表示预测的视盘尺寸与训练数据中的视盘尺寸的差异，λ为权重，0＜λ＜1。在一个具体的实施例中λ取值为0.1。
进一步地，上式中
其中Fmap(x,y)为预测过程中所提取的特征图中的像素点的值，Heatmap(x,y)是热力图中的像素点的值，N为所述特征图中的像素点数量，x、y是像素点的坐标，Ω是像素位置的集合。在模型训练过程中，将heatmap(热力图)作为卷积网络生成的特征图的目标，即模型训练时通过反向传播，使卷积网络生成的特征图Fmap(特征图)尽可能接近heatmap。
进一步地，上式中
其中为预测的视盘尺寸，Sd为训练数据中的视盘尺寸，所述视盘尺寸包括视盘标注框的长度信息和/或宽度信息。
更进一步地，本实施例采用如下方式获得热力图：
其中(xm0,ym0)为训练数据中的黄斑中心位置，(xd0,yd0)为训练数据中的视盘中心位置，σ为训练数据中的视盘尺寸信息，(x,y)是heatmap对应像素点的坐标位置。
σ2＝wh/4，w和h分别为训练数据中的视盘区域的宽和高，σ相当于视盘半径。
本发明还提供一种眼底数据预测模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底数据预测模型训练方法。
本发明实施例提供一种多源输入的眼底图像分类方法，该方法可以由计算机和服务器等电子设备执行。本方法可以用于识别眼底图像的异常情况进行分类。该方法包括如下步骤：
S1C，获取眼底图像。如图1所示的眼底图像，为了提高识别效率，在本实施例中对获取的眼底照片进行了预处理，预处理包括但不限于图像增强、去除边界等操作。在其它实施例中也可以不进行这些预处理，可直接使用眼底拍照设备采集的眼底照片。
S2C，在眼底图像中截取黄斑区域图像和视盘区域图像。作为一个优选的实施例，首先识别眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸，然后根据这三个数据来截取图像。
此步骤中可以但不限于使用上述实施例中的机器学习模型来预测这三个数据，具体可参见上述眼底数据预测方法及其模型训练方法，此处不再赘述。此步骤也可以使用其它方式，例如机器视觉算法识别图像而得到这两个区域图像。
在此截取的两个区域图像至少应当分别包含完整的黄斑影像和视盘影像，还可以适当包含一些背景(背景也是眼底区域，即黄斑和视盘的周围)。作为一个举例，例如视盘尺寸是半径，则以视盘中心位置为圆心、以视盘尺寸为半径截取一个圆形区域图像，即可得到视盘区域图像，如果将视盘尺寸向外扩充一段距离，则可截取到包含一些背景的视盘区域图像。
黄斑的轮廓比较模糊，普遍认为其没有明确的边界，但其范围比视盘更大。所以在本实施例中也以视盘尺寸为依据截取黄斑区域图像。作为一个举例，例如视盘尺寸是半径信息，那么则以黄斑中心位置为圆心、以略大于视盘尺寸的半径截取一个圆形区域图像，即可得到黄斑区域图像，这一图像的尺寸优选为略大于视盘区域图像的尺寸。
S3C，利用特征提取网络分别对黄斑区域图像提取黄斑特征信息、对视盘区域图像提取视盘特征信息、对眼底图像提取全局特征信息。此步骤中的特征提取网络为卷积神经网络，其输出的特征信息为多维的特征向量。在此步骤中将上述三个图像作为网络的输入，经过网络进行特征提取，输出对应三个图像的三组特征向量。
S4C，利用分类网络对黄斑特征信息、视盘特征信息和全局特征信息进行分类得到分类结果。分类网络例如包括全连接层、softmax分类器等，根据上述三组特征信息进行分类，得到的分类结果例如是眼底异常或疾病的种类(标签)。具体地，可以将分类网络配置为执行多标签分类任务，最终输出的分类结果为各种标签的置信度信息，上述分类网络和特征提取网络具体可采用如Resnet、Densenet、Nasnet及Inception系列。在应用于分类前应当使用训练数据对其进行训练，训练数据包括眼底图像及其黄斑区域图像和视盘区域图像和相应的类别(标签)。
根据本发明实施例提供的眼底图像分类方法，首先基于黄斑中心位置、视盘中心位置和视盘尺寸在眼底图像中截取黄斑区域图像和视盘区域图像，然后将黄斑区域图像、视盘区域图像和眼底图像这三个图像作为多源输入，利用特征提取网络分别提取这三个图像的特征信息，然后根据三个图像的特征信息进行分类，本方案尤其适合针对眼底的整体性疾病和异常进行识别，综合多源输入相应的特征信息得到分类结果可以降低误检几率，提高对眼底图像的识别准确性和实用性。
在一个具体的实施例中，上述方法用于对眼底整体性异常进行分类，标签包括整体性异常的类别，例如糖尿病性视网膜病变的各个分级(非增殖期轻度、中度、中度和增殖期)，高血压性视网膜病变的各个分级、中重度病理性近视、动脉阻塞、静脉阻塞等30个异常类别。
在步骤S4C中，将黄斑特征信息、视盘特征信息和全局特征信息这三组特征进行拼接得到组合特征信息。例如这三组特征分别是1024维的特征向量，在此得到的组合特征信息3072维的特征向量。
然后利用分类网络对此组合特征信息进行分类得到针对眼底图像整体的分类结果，例如该分类结果为30个异常类别的置信度信息。
图4示出了一个优选的整体性异常检测框架，眼底图像41进入热力图生成网络(眼底数据预测模型)，该网络输出热力图像42以及黄斑中心位置、视盘中心位置和视盘尺寸，在本实施例中视盘尺寸为长度和宽度。
本实施例中有3个特征提取网络，特征提取网络一(第一特征提取网络)，用于提取视盘区域的特征，其输入的视盘区域的中心是定位到的视盘中心，长和宽是定位模型得到的视盘长和宽的1.5倍(第一设定倍数)；特征提取网络二(第二特征提取网络)，用于提取黄斑区域的特征，其输入的黄斑区域的中心是定位到的黄斑中心，长和宽是视盘大小的2倍(第二设定倍数)；特征提取网络三(第三特征提取网络)，用于提取眼底图像41的整体性的特征。
本实施例中采用热力图像42，利用注意力选择机制，通过将其与原图对应区域相乘的方式(上采样)来获取加权后的图像。特征提取网络一和特征提取网络二针对加权后的图像提取特征信息。通过给视盘、黄斑相对中心的区域相对更大的权重，可以更好地模拟临床医生实际诊断的方式，即在越靠近视盘和黄斑中心的位置出现的病变越危急，需要给予更多的关注。
将3个特征提取网络提取的特征合并，通过一个全连接层和softmax函数(分类网络)输出30类整体性异常类别的置信度。在整体性异常检测的过程中，通过加入视盘和黄斑区域单独提取的特征，让模型在关注整体的色彩、纹理变化的同时，更多地关注黄斑区域和视盘区域的病变，模拟医生诊断方式，提高了异常检测的准确率。
为了清楚地展示加入视盘、黄斑的特征后，对整体性异常检测性能的优化情况，在此将30类整体性异常按照其是否会以视盘和黄斑区域的病变作为诊断依据分为三组，第一组是会波及到视盘区域的异常(如病理性近视、糖网增殖期等)，第二组会波及到黄斑区域的异常(如中重度糖网非增殖期、静脉阻塞等)，第三组是没有明显的黄斑、视盘区域选择性(如脉络膜缺损、动脉硬化等)。分别计算三组异常经过包含黄斑和视盘特征提取网络和只有整个眼底图特征提取网络的异常检测系统后，预测的精确率和召回率。对比结果如下表所示：
由上表可知，在对整体性的异常进行分类时，在加入视盘区域和黄斑区域的特征后，三组异常检测的平均召回率和精确率都有较大的提升，验证了本方案的有效性。
本方法还可以用于对黄斑区域的异常进行分类，标签包括黄斑相关异常的类别，例如年龄相关性黄斑变性、黄斑前膜、黄斑水肿、黄斑裂孔等多个异常类别。
在步骤S4C中，将黄斑特征信息和全局特征信息这两组特征进行拼接得到组合特征信息，而不需要视盘特征信息。例如这两组特征分别是1024维的特征向量，在此得到的组合特征信息2048维的特征向量。
然后利用分类网络对此组合特征信息进行分类得到针对黄斑的分类结果，例如各个黄斑异常类别的置信度信息。
由于有些黄斑类异常是由全眼底性疾病引起的，如糖尿病性视网膜病变导致的黄斑水肿、静脉阻塞导致的黄斑水肿和病理性近视导致的黄斑前膜、脉络膜新生血管等，将黄斑特征信息和全局特征信息这两组特征进行连接加入整体性的特征，可以有效提高黄斑区异常检测的准确率。
本方法还可以用于对视盘区域的异常进行分类，标签还包括视盘相关异常的类别，例如青光眼、视乳头水肿、视盘前膜、视神经萎缩等多个异常类别。
在步骤S4C中，分类网络只针对视盘特征信息进行分类而得到针对视盘的分类结果，例如各个视盘异常类别的置信度信息。由于视盘区域的疾病相对集中，因此不必加入其他区域的特征，只采用视盘区域的特征进行异常检测即可。
本发明还提供一种多源输入的眼底图像分类设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述多源输入的眼底图像分类方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种多源输入的眼底图像分类方法，其特征在于，包括：
获取眼底图像；
在所述眼底图像中截取黄斑区域图像和视盘区域图像；
利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；
利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行分类得到分类结果。
2.根据权利要求1所述的方法，其特征在于，在所述眼底图像中截取黄斑区域图像和视盘区域图像，包括：
识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸；
根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像。
3.根据权利要求2所述的方法，其特征在于，所述识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸，包括：
利用预测网络预测所述眼底图像中的预测黄斑中心位置、视盘中心位置和视盘尺寸，所述预测网络在预测过程中生成热力图，所述黄斑中心位置和所述视盘中心位置是根据所述热力图的像素值确定的。
4.根据权利要求1所述的方法，其特征在于，所述根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像包括：
以所述视盘中心位置为中心、以所述视盘尺寸的第一设定倍数为尺寸在所述眼底图像中截取视盘区域图像；
以所述黄斑中心位置为中心、以所述视盘尺寸的第二设定倍数为尺寸在所述眼底图像中截取黄斑区域图像，所述第二设定倍数大于所述第一设定倍数。
5.根据权利要求2所述的方法，其特征在于，利用特征提取网络对所述黄斑区域图像提取黄斑特征信息，包括：
将所述黄斑区域图像与所述热力图叠加得到加权后的黄斑区域图像；
利用特征提取网络对加权后的黄斑区域图像提取黄斑特征信息。
6.根据权利要求2所述的方法，其特征在于，利用特征提取网络对所述视盘区域图像提取视盘特征信息，包括：
将所述视盘区域图像与所述热力图叠加得到加权后的视盘区域图像；
利用特征提取网络对加权后的视盘区域图像提取视盘特征信息。
7.根据权利要求1所述的方法，其特征在于，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行分类得到分类结果，包括：
将所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行连接得到组合特征信息；
利用分类网络对所述组合特征信息进行分类得到针对所述眼底图像整体的分类结果。
8.根据权利要求1所述的方法，其特征在于，所述特征提取网络为3个，其中第一特征提取网络用于对所述黄斑区域图像提取黄斑特征信息、第二特征提取网络用于对所述视盘区域图像提取视盘特征信息、第三特征提取网络用于对所述眼底图像提取全局特征信息。
9.根据权利要求1所述的方法，其特征在于，所述分类网络输出的分类结果包括各个类别及其置信度。
10.一种多源输入的眼底图像分类设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-9中任意一项所述的多源输入的眼底图像分类方法。
CN201910880043.6A 2019-09-18 2019-09-18 多源输入的眼底图像分类方法和设备 Pending CN110599480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910880043.6A CN110599480A (zh) 2019-09-18 2019-09-18 多源输入的眼底图像分类方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910880043.6A CN110599480A (zh) 2019-09-18 2019-09-18 多源输入的眼底图像分类方法和设备

Publications (1)

Publication Number Publication Date
CN110599480A true CN110599480A (zh) 2019-12-20

Family

ID=68860667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910880043.6A Pending CN110599480A (zh) 2019-09-18 2019-09-18 多源输入的眼底图像分类方法和设备

Country Status (1)

Country Link
CN (1) CN110599480A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696100A (zh) * 2020-06-17 2020-09-22 上海鹰瞳医疗科技有限公司 基于眼底影像确定吸烟程度的方法及设备
CN112132131A (zh) * 2020-09-22 2020-12-25 深兰科技（上海）有限公司 量筒液位识别方法和装置
WO2021120753A1 (zh) * 2020-07-31 2021-06-24 平安科技（深圳）有限公司 脉络膜血管的管腔区域识别方法、装置、设备及介质
CN113768461A (zh) * 2021-09-14 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析方法、系统和电子设备
WO2022160676A1 (zh) * 2021-01-29 2022-08-04 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN109684981A (zh) * 2018-12-19 2019-04-26 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
CN109961848A (zh) * 2019-04-02 2019-07-02 上海鹰瞳医疗科技有限公司 黄斑图像分类方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN109684981A (zh) * 2018-12-19 2019-04-26 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
CN109961848A (zh) * 2019-04-02 2019-07-02 上海鹰瞳医疗科技有限公司 黄斑图像分类方法和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696100A (zh) * 2020-06-17 2020-09-22 上海鹰瞳医疗科技有限公司 基于眼底影像确定吸烟程度的方法及设备
WO2021120753A1 (zh) * 2020-07-31 2021-06-24 平安科技（深圳）有限公司 脉络膜血管的管腔区域识别方法、装置、设备及介质
CN112132131A (zh) * 2020-09-22 2020-12-25 深兰科技（上海）有限公司 量筒液位识别方法和装置
CN112132131B (zh) * 2020-09-22 2024-05-03 深兰科技（上海）有限公司 量筒液位识别方法和装置
WO2022160676A1 (zh) * 2021-01-29 2022-08-04 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113768461A (zh) * 2021-09-14 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析方法、系统和电子设备
CN113768461B (zh) * 2021-09-14 2024-03-22 北京鹰瞳科技发展股份有限公司 一种眼底图像分析方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN110570421B (zh) 多任务的眼底图像分类方法和设备
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
CN110599480A (zh) 多源输入的眼底图像分类方法和设备
Cheng et al. Sparse dissimilarity-constrained coding for glaucoma screening
Bajwa et al. G1020: A benchmark retinal fundus image dataset for computer-aided glaucoma detection
EP3373798B1 (en) Method and system for classifying optic nerve head
Wang et al. Human visual system-based fundus image quality assessment of portable fundus camera photographs
Salazar-Gonzalez et al. Segmentation of the blood vessels and optic disk in retinal images
Sinthanayothin Image analysis for automatic diagnosis of diabetic retinopathy
CN109726743B (zh) 一种基于三维卷积神经网络的视网膜oct图像分类方法
CN112017185B (zh) 病灶分割方法、装置及存储介质
Kandhasamy et al. Diagnosis of diabetic retinopathy using multi level set segmentation algorithm with feature extraction using SVM with selective features
CN109961848B (zh) 黄斑图像分类方法和设备
CN102458225A (zh) 图像处理设备及其控制方法和计算机程序
US20220198831A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
Shanmugam et al. An automatic recognition of glaucoma in fundus images using deep learning and random forest classifier
CN113066066A (zh) 视网膜异常分析方法及设备
Guo et al. Emfn: Enhanced multi-feature fusion network for hard exudate detection in fundus images
CN112957005A (zh) 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法
Agarwal et al. A survey on recent developments in diabetic retinopathy detection through integration of deep learning
CN116758038A (zh) 基于训练网络的婴幼儿视网膜疾病信息识别方法及系统
CN110598652B (zh) 眼底数据预测方法和设备
Dubey et al. Recent developments on computer aided systems for diagnosis of diabetic retinopathy: a review
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination