CN110555845A - 眼底oct图像识别方法及设备 - Google Patents

眼底oct图像识别方法及设备 Download PDF

Info

Publication number
CN110555845A
CN110555845A CN201910926070.2A CN201910926070A CN110555845A CN 110555845 A CN110555845 A CN 110555845A CN 201910926070 A CN201910926070 A CN 201910926070A CN 110555845 A CN110555845 A CN 110555845A
Authority
CN
China
Prior art keywords
lesion
region
determining
interest
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910926070.2A
Other languages
English (en)
Inventor
杨志文
王欣
黄烨霖
姚轩
贺婉佶
琚烈
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201910926070.2A priority Critical patent/CN110555845A/zh
Publication of CN110555845A publication Critical patent/CN110555845A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种眼底OCT图像识别方法及设备，所述方法包括：利用神经网络对眼底OCT图像进行识别，得到关于病变和中心凹的识别结果；根据所述识别结果确定感兴趣区域；根据感兴趣区域的位置和/或尺寸确定病变程度。

Description

眼底OCT图像识别方法及设备
技术领域
本发明涉及眼科图像检测领域，具体涉及一种眼底OCT图像识别方法及设备。
背景技术
机器学习技术在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测和眼部疾病鉴别诊断方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变这样的单一病种的检测，并取得了良好效果。
眼部图片所能提示的疾病种类多、数量大，且病变的表现形式非常不同，有大面积的眼底出血，也有非常微小的出血、渗出。眼底图像可以提示的疾病包括视网膜病变(包括糖尿病性视网膜病变等多种疾病)、动脉硬化/高血压眼底病变(包含动脉硬化、视盘水肿等病变)、青光眼、黄斑变性、玻璃体病变、视网膜血管病变、视神经疾病、屈光不正、病理性近视等多种眼部及非眼部疾病。
眼部OCT图像具有无创、高速、高分辨率、三维成像等优点，在诊断多种眼部疾病中得到广泛的应用。现有技术可以利用神经网络对OCT图像进行分类得到关于某种疾病的识别结果，这种方案具有一定的准确性，但这种识别结果临床应用价值较小，实用性较差。
发明内容
有鉴于此，本发明提供一种眼底OCT图像识别方法，包括：
利用神经网络对眼底OCT图像进行识别，得到关于病变和中心凹的识别结果；
根据所述识别结果确定感兴趣区域；
根据感兴趣区域的位置和/或尺寸确定病变程度。
可选地，所述神经网络包括分类网络，所述识别结果包括分类结果，所述分类结果表示正常或属于各种疾病类型，以及有中心凹或无中心凹。
可选地，当所述分类结果表示有疾病时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的疾病热力图。
可选地，当所述分类结果表示有中心凹时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的中心凹热力图。
可选地，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底OCT图像中所述疾病热力图的热力区域面积、所述OCT图像的面积确定病变体积；
根据所述病变体积确定病变程度。
可选地，当所述感兴趣区域包括所述疾病热力图和所述中心凹热力图时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
分别确定所述疾病热力图和所述中心凹热力图的形心，并确定二者间的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
可选地，所述神经网络包括分割网络，所述识别结果包括分割结果，所述分割结果指示各种病变区域以及中心凹区域。
可选地，所述感兴趣区域包括分割结果指示的病变区域。
可选地，所述感兴趣区域包括分割结果指示的中心凹区域。
可选地，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底OCT图像中的病变区域的面积、所述OCT图像的面积确定病变体积；
根据所述病变体积确定病变程度。
可选地，当所述感兴趣区域包括所述病变区域和所述中心凹区域时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
确定所述中心凹区域的凹点和所述病变区域的形心，并确定所述凹点和所述形心的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
可选地，所述神经网络包括分类网络和分割网络，其中所述分类网络输出所述分类结果，表示正常或属于各种疾病类型，以及有中心凹或无中心凹；所述分割网络输出分割结果，指示各种病变区域以及中心凹区域；
所述识别结果是所述分类结果和所述分割结果的结合。
相应地，本发明还提供一种眼底OCT图像识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底OCT图像识别方法。
根据本发明实施例提供的眼底OCT图像识别方法及设备，通过神经网络对眼底OCT图像进行分类和/或分割，由此可以鉴别多种眼底疾病，在对病变进行识别的同时还识别中心凹，根据病变和中心凹相关的感兴趣区域的位置和面积可有效地评估病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率，使得本方案具有较强的实用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一个分类网络的示意图；
图2为本发明实施例中的热力图可视化效果图；
图3为本发明实施例中利用分割网络得到的分割结果的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种眼底OCT图像识别方法，在本方法中使用了神经网络对眼底OCT图像进行识别，本方法包括如下步骤：
S1A，利用神经网络对眼底OCT图像进行识别，得到关于病变和中心凹的识别结果。本步骤中所使用的神经网络可包括分类网络和分割网络中的至少一个。
在本实施例中使用分类网络，相应的识别结果为分类结果，分类结果表示输入的眼底OCT图像为正常(不存在病变)或属于某一种或多种疾病类型，以及有中心凹或无中心凹。该分类网络学习的样本图像的标签为正常、疾病1、疾病2、……、疾病n、有中心凹、无中心凹，则在此步骤中针对输入的眼底OCT图像的识别结果则为上述标签中的至少一种。
图1示出了一个分类网络的示例，该网络包括一些隐层和分类模块，分类模块输出的疾病类型可包括活动性CNV、非活动性CNV、黄斑前膜、黄斑囊样水肿、黄斑裂孔、地图样萎缩等等，以及其它病变类。
例如分类结果可以是属于“疾病i”这一种类型，或者可以是属于“疾病i”和“有中心凹”这两种或更多种类型等等，即分类网络可以被配置为执行多标签分类任务或者单一标签的分类任务，分类结果至少用于表示图像是否体现出一种或多种疾病，此外还可以表示图像中是否体现出中心凹。
在一个优选的实施例中，神经网络在输出决策时，针对不同标签(类型)采用不同的阈值来给出风险提示，进而提高检测的敏感度。
S2A，根据识别结果确定感兴趣区域。感兴趣区域是疾病类型对应病变的区域，或者中心凹所在的区域，具体根据识别结果而定。一个眼底OCT图像可同时包含多个感兴趣区域，也可能只有一个感兴趣区域。
需要说明的是，本实施例针对存在异常的眼底进行介绍，如果步骤S1A中识别结果表示属于正常并且无中心凹，则不存在感兴趣区域；如果识别结果表示属于正常并且有中心凹，则只有一个感兴趣区域，即中心凹区域。针对这两种情况可以输出表示该图像属于正常的识别结果，不需要进行后续操作。
在一个实施例中，当分类结果表示属于某一种或多种疾病时，相应的感兴趣区域是根据分类网络提取的特征信息确定的疾病热力图；当分类结果表示有中心凹时，相应的感兴趣区域是根据分类网络提取的特征信息确定的中心凹热力图。
关于上述热力图的生成方式，具体是提取分类网络最后全连接层的所有通道权重参数W和OCT图像经过分类网络得到的所有通道特征图F，每一个通道的特征图对应模型预测的一个标签(类型)，当分类网络预测的某一标签的概率pi∈P大于设定的阈值thresi时，将该标签对应通道的特征图fi和权重参数wi做矩阵相乘得到模型对于该预测标签的热力图cami，并对cami上的每个元素vj,k按照thresj进行阈值激活，公式如下：
将所有类型对应的cami相加，即可得到关于所有感兴趣区域的热力图CAM：
n为标签类别数量
例如一个分类结果表示属于一种疾病并且有中心凹，根据上述方式可生成疾病热力图cam1和中心凹热力图cam2，将它们相加并与眼底OCT图像原图相结合即可得到如图2所示的结果，其中位于左侧的是疾病热力图cam1，位于中部的是中心凹热力图cam2。可以对用户输出这一叠加的结果，达到分类结果可视化的目标，由此证实分类结果的可信性，并可以提示用户重点查看热力图覆盖的位置，辅助医生进行诊断。
S3A，根据感兴趣区域的位置和/或尺寸确定病变程度。病变程度总体可分为两种，第一种是疾病的严重程度，第二种是疾病对视力的影响程度，确定方式需要根据感兴趣区域的类型而定。
本领域技术人员应当理解，在对眼球进行OCT扫描时，是对一个目标区域进行多次扫描，由此得到针对一个目标区域的多张眼底OCT图像，用户可以选择目标区域，一般情况下是黄斑区域或者视盘区域，当然也可以是其它区域。
本发明提供的方案可以针对某一张眼底OCT图像进行处理，在步骤S1A中得到这一张图像的识别结果，在步骤S2A中得到这一张图像的感兴趣区域，并在步骤S3A中得到这一张图像所反映的病变程度；
本发明提供的方案也可以针对某一次扫描的多张或者全部图像进行处理，在步骤S1A中分别得到多张图像的识别结果，在步骤S2A中分别得到多张图像的感兴趣区域，并在步骤S3A中根据各个图像的感兴趣区域的融合结果，得到多张图像所反映的病变程度。
在一个实施例中，当分类结果表示属于一种或多种疾病时(感兴趣区域包括疾病热力图)，步骤S3A包括如下步骤：
根据多次扫描的眼底OCT图像中疾病热力图的热力区域面积、OCT图像的面积确定病变体积vi。具体地
其中i为第i类疾病，例如CNV、黄斑囊样水肿等疾病种类。n为OCT图像数量，在计算体积时需要使用多张眼底图像，n是针对一个目标区域多次扫描的OCT图像的数量，一般为19张，也可以更多。si,j为第j次扫描的第i类疾病热力区域面积，Δd为设备每两次扫描间隔(距离)。根据上式得到的面积是图像面积，为了使结果更加直观，还可以根据OCT图片的标尺计算出实际体积。
然后根据病变体积确定病变程度，例如θi＝∑wv-i*vi,其中wv-i为第i类疾病评估权重，vi第i类疾病病变体积，由此得到的θi是第i类疾病的病变程度。权重的取值可根据病变疾病类别进行设置，具体可根据临床情况而定，由此使得对于不同的疾病种类，病变体积的大小对相应的病变程度评估结果的影响不相同，实现量化识别结果提高实用性的目的。
又如其中m是所有病变类型的数量(此次扫描的图像共体现出多少种疾病)，vi是第i类疾病病变体积，vk是中心凹体积，计算中心凹体积的方式与计算病变体积的方式相同，此处不再赘述。由此得到的θ是全部病变总的病变程度，实际上它是所有病变体积之和与中心凹体积之比，该比例越大则表示病变越严重。
为了向用户呈现出更加直观的结果，可以对上述θ或者θi进行分级，向用户输出分级结果。例如θ＝0为无病变；0<θ<0.5为病变一级；0.5<θ<1为病变二级；1<θ<1.5为病变三级；1.5<θ为病变四级；等级越高，病变越严重。
本实施例综合考虑了病灶区域与中心凹的影响，病灶离中心凹越近，中心凹形态越容易遭到破坏，即检测出的中心凹区域体积越小，θ值越大。
在一个实施例中，当分类结果表示属于一种或多种疾病，并且有中心凹时(感兴趣区域包括疾病热力图和中心凹热力图)，步骤S3A包括如下步骤：
分别确定疾病热力图和中心凹热力图的形心，并确定二者间的距离。形心是指热力图的峰值位置，热力图表达的是分类网络对于每个像素的soft-confidence(置信度)，confidence最大处即为热力图的形心，也即感兴趣区域的中心。
具体可通过中心凹和各个病灶区域的形心，计算出各病灶与中心凹之间的像素距离，此距离为形心距离。然后进一步确定两种形心连线与病灶区域边缘的交点，计算出该交点与中心凹形心的距离，此为最近距离。
根据距离和图像标尺确定实际距离，并根据该实际距离确定病变对视力的影响程度。根据OCT图片的标尺，估算出真实距离，评估病变区域的危害程度，例如实际距离越小对应的影响程度越大，二者间可以是线性或非线性的对应关系。
具体可以采用对距离分级的方式将分级结果作为影响程度，例如对于CNV，其病变区域与中心凹区域的实际距离为1-199um,则为近中心凹型CNV，视力影响程度为三级；实际距离200-250um,则为旁中心凹型CNV，对视力影响程度为二级；实际距离大于250um,则为中心凹外型CNV,对视力影响程度为一级。
根据本发明实施例提供的眼底OCT图像识别方法，通过神经网络对眼底OCT图像进行分类，由此可以鉴别多种眼底疾病，在对病变进行分类的同时还识别中心凹，根据病变类型和中心凹相关的感兴趣区域的位置和面积可有效地评估疾病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率。
本发明实施例提供一种眼底OCT图像识别方法，在本方法中使用了神经网络对眼底OCT图像进行识别，与上述实施例的不同之处在于本实施例基于分割网络进行识别和处理。本方法包括如下步骤：
S1B，利用神经网络对眼底OCT图像进行识别，得到关于病变和中心凹的识别结果。在本实施例中使用分割网络，相应的识别结果为分割结果，分割结果指示各种病变区域以及中心凹区域。图3示出了一个分割结果示意图，分割网络对左侧的眼底OCT图像进行识别，得到右侧的分割结果图像，其中展示出三种区域，分别为两种病变区域和中心凹区域。
需要说明的是，本实施例针对存在异常的眼底进行介绍，如果识别的图像是正常并且无中心凹的，则在此不会得到分割结果，也不需要进行后续处理；如果识别的图像是正常但是有中心凹，在此会得到关于中心凹形态的分割结果。
S2B，根据识别结果确定感兴趣区域。在本实施例中，分割结果指示的病变区域以及中心凹区域即为感兴趣区域。
S3B，根据感兴趣区域的位置和/或尺寸确定病变程度。病变程度总体可分为两种，第一种是疾病的严重程度，第二种是疾病对视力的影响程度，确定方式需要根据感兴趣区域的类型而定。
在一个实施例中，当分割结果指示存在一个或多个疾病区域时(感兴趣区域包括病变区域)，步骤S3B包括如下步骤：
根据多次扫描的眼底OCT图像中的病变区域的面积、OCT图像的面积确定病变体积。具体地，首先可以计算病变区域与图像总面积的比值，即分别计算分割网络预测出的各种病变区域的像素总数与图像所有像素总数之比，然后计算各种病变体积。进而根据病变体积确定病变程度。
关于病变体积的计算以及整体病变程度评估与上述实施例中基于分类网络的处理方式相同，此处不再赘述。
在一个实施例中，当分割结果指示存在一个或多个疾病区域并且存在中心凹区域时(感兴趣区域包括病变区域和中心凹区域)，步骤S3B包括如下步骤：
确定中心凹区域的凹点和病变区域的形心，并确定凹点和型心的距离。其中凹点为中心凹最深处，即分割网络测出的所有属于中心凹形态边缘的像素点坐标(x,y)中y值最大处。本实施例中的形心即为病变区域的中心，分割结果中的病变区域一般是不规则形状，确定不规则形状中心的方式有多种，本发明可以使用任一种现有方式确定其形心。
然后根据距离和图像标尺确定实际距离，进而根据实际距离确定病变对视力的影响程度。此步骤可参照上述实施例中基于分类网络的处理方式相同，此处不再赘述。
根据本发明实施例提供的眼底OCT图像识别方法，通过神经网络对眼底OCT图像进行分割，由此可以得到多种眼底疾病的病变区域，在对病变进行分割的同时还对中心凹进行识别和分割，根据病变区域和中心凹区域的位置和面积可有效地评估疾病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率。
本发明实施例提供一种眼底OCT图像识别方法，本方法同时使用上述分类网络和分割网络进行识别和处理，在各个步骤中将分别根据这两种网络的输出结果进行处理。该方法包括如下步骤：
S1C，利用分类网络和分割网络分别对眼底OCT图像进行识别，其中分类网络输出分类结果，表示正常或属于各种疾病类型，以及有中心凹或无中心凹；分割网络输出分割结果，指示各种病变区域以及中心凹区域。具体可参照上述步骤S1A和步骤S1B，此处不再赘述。
结合分类结果和分割结果，得到关于病变和中心凹的识别结果。具体可以将两种网络的结果加权后得到关于图像的疾病风险整体评估。加权参数可根据需要调整，也可以在数据中自适应学习后得到。本系统整合多种网络，既考虑了图像级别的整体特征，也结合了像素级别的细粒度特征，多层级图像特征可保证高精度以及强泛化能力。
S2C，根据识别结果确定感兴趣区域。在本实施例中保留基于两种网络确定的感兴趣区域，具体可参照上述步骤S2A和步骤S2B。并可进一步将基于两种网络确定的感兴趣区域进行整合，保留整合后的感兴趣区域。
S3C，根据感兴趣区域的位置和/或尺寸确定病变程度。在本实施例中分别基于两种网络确定的感兴趣区域确定病变程度，具体可参照上述步骤S3A和步骤S3B，并可进一步将基于两种网络确定的病变程度进行整合，最终向用户提供整合后的病变程度评估结果。
根据本发明实施例提供的眼底OCT图像识别方法，通过分类网络和分割网络对眼底OCT图像进行识别，整合两种网络，既考虑了图像级别的整体特征，也结合了像素级别的细粒度特征，多层级图像特征可保证高精度以及强泛化能力，由此可以提高识别结果的准确性。
上述各个实施例中所使用的的神经网络的架构可以是2D或者3D的，并包含卷积层、池化层、BatchNorm层、Dropout层和全连接层。该神经网络优选为卷积深度神经网络，具体可以是如VGG，Inception，ResNet,U-net及其变体等现有的网络结构，也可以是上述网络的组合。神经网络的权重初始化可以来自于经过公开数据集预训练的参数，也可以来自于随机初始化。
在利用神经网络进行分类或者分割之前应当使用大量的样本数据及其标签对网络进行训练。在训练过程中，首先可以进行数据处理，包含针对标签和图片的整理，例如针对标签：对于矛盾标签的清理、结合领域内的医学知识对于多个带有/不带有一定层级特性的标签的简化。例如针对样本图片：数据整理包括通过截取和缩放的方式对图片尺寸的统一，通过扭曲、平移、镜像、高斯平滑、和旋转等来对不均衡样本如黄斑囊样水肿、黄斑裂孔等样本进行扩增，最终效果尽可能的模拟视网膜oct扫描时的各种形态，也包括采用针对同一图片多个不同缩放比例下的相同和不同尺寸裁剪，提取图片的一个或多个通道，如G通道。
将经过整理的图片和标签输入到神经网络中，经过训练即可得到上述分类网络和分割网络。用于训练分类网络的图片的标签即为类型信息，用于训练分割网络的图片的标签即为对病变区域或中心凹的标注内容。
作为优选的实施方式，神经网络采用层级损失函数来提高预测的准确性，在对应的层级损失函数中，再设置加权损失函数来促进网络的学习，其中加权损失函数为希望各个分类在最终的损失函数中所贡献的比例，公式如下：Losstotal＝w1Loss1+…wcLossc,i＝1...c，其中Lossi为网络输出层第i个标签的损失函数，wi为针对第i个标签设置的权重。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (13)

1.一种眼底OCT图像识别方法，其特征在于，包括：
利用神经网络对眼底OCT图像进行识别，得到关于病变和中心凹的识别结果；
根据所述识别结果确定感兴趣区域；
根据感兴趣区域的位置和/或尺寸确定病变程度。
2.根据权利要求1所述的方法，其特征在于，所述神经网络包括分类网络，所述识别结果包括分类结果，所述分类结果表示正常或属于各种疾病类型，以及有中心凹或无中心凹。
3.根据权利要求2所述的方法，其特征在于，当所述分类结果表示有疾病时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的疾病热力图。
4.根据权利要求2或3所述的方法，其特征在于，当所述分类结果表示有中心凹时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的中心凹热力图。
5.根据权利要求3所述的方法，其特征在于，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底OCT图像中所述疾病热力图的热力区域面积、所述OCT图像的面积确定病变体积；
根据所述病变体积确定病变程度。
6.根据权利要求4所述的方法，其特征在于，当所述感兴趣区域包括所述疾病热力图和所述中心凹热力图时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
分别确定所述疾病热力图和所述中心凹热力图的形心，并确定二者间的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
7.根据权利要求1所述的方法，其特征在于，所述神经网络包括分割网络，所述识别结果包括分割结果，所述分割结果指示各种病变区域以及中心凹区域。
8.根据权利要求7所述的方法，其特征在于，所述感兴趣区域包括分割结果指示的病变区域。
9.根据权利要求7或8所述的方法，其特征在于，所述感兴趣区域包括分割结果指示的中心凹区域。
10.根据权利要求8所述的方法，其特征在于，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底OCT图像中的病变区域的面积、所述OCT图像的面积确定病变体积；
根据所述病变体积确定病变程度。
11.根据权利要求9所述的方法，其特征在于，当所述感兴趣区域包括所述病变区域和所述中心凹区域时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
确定所述中心凹区域的凹点和所述病变区域的形心，并确定所述凹点和所述形心的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
12.根据权利要求1所述的方法，其特征在于，所述神经网络包括分类网络和分割网络，其中所述分类网络输出所述分类结果，表示正常或属于各种疾病类型，以及有中心凹或无中心凹；所述分割网络输出分割结果，指示各种病变区域以及中心凹区域；
所述识别结果是所述分类结果和所述分割结果的结合。
13.一种眼底OCT图像识别设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-12中任意一项所述的眼底OCT图像识别方法。
CN201910926070.2A 2019-09-27 2019-09-27 眼底oct图像识别方法及设备 Pending CN110555845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910926070.2A CN110555845A (zh) 2019-09-27 2019-09-27 眼底oct图像识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910926070.2A CN110555845A (zh) 2019-09-27 2019-09-27 眼底oct图像识别方法及设备

Publications (1)

Publication Number Publication Date
CN110555845A true CN110555845A (zh) 2019-12-10

Family

ID=68741781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910926070.2A Pending CN110555845A (zh) 2019-09-27 2019-09-27 眼底oct图像识别方法及设备

Country Status (1)

Country Link
CN (1) CN110555845A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127431A (zh) * 2019-12-24 2020-05-08 杭州求是创新健康科技有限公司 一种基于区域自适应多任务神经网络的干眼症分级评估系统
CN111259743A (zh) * 2020-01-09 2020-06-09 中山大学中山眼科中心 一种近视图像深度学习识别模型训练方法及系统
CN111445449A (zh) * 2020-03-19 2020-07-24 上海联影智能医疗科技有限公司 感兴趣区域的分类方法、装置、计算机设备和存储介质
CN111739616A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN111753831A (zh) * 2020-06-28 2020-10-09 上海联影医疗科技有限公司 一种图像分析方法、装置、图像采集设备及存储介质
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112133441A (zh) * 2020-08-21 2020-12-25 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN113066054A (zh) * 2021-03-12 2021-07-02 武汉大学 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
WO2021164640A1 (zh) * 2020-02-19 2021-08-26 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113768460A (zh) * 2021-09-10 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
TWI784688B (zh) * 2021-08-26 2022-11-21 宏碁股份有限公司 眼睛狀態評估方法及電子裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796717A (zh) * 2011-07-07 2014-05-14 霍华德基金会控股有限公司 视觉功效和/或黄斑色素沉着的改善或与之相关的改善
GB201709248D0 (en) * 2017-06-09 2017-07-26 Univ Surrey Method and apparatus for processing retinal images
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109583364A (zh) * 2018-11-27 2019-04-05 上海鹰瞳医疗科技有限公司 图像识别方法及设备
CN109784337A (zh) * 2019-03-05 2019-05-21 百度在线网络技术（北京）有限公司 一种黄斑区识别方法、装置及计算机可读存储介质
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796717A (zh) * 2011-07-07 2014-05-14 霍华德基金会控股有限公司 视觉功效和/或黄斑色素沉着的改善或与之相关的改善
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
GB201709248D0 (en) * 2017-06-09 2017-07-26 Univ Surrey Method and apparatus for processing retinal images
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109583364A (zh) * 2018-11-27 2019-04-05 上海鹰瞳医疗科技有限公司 图像识别方法及设备
CN109784337A (zh) * 2019-03-05 2019-05-21 百度在线网络技术（北京）有限公司 一种黄斑区识别方法、装置及计算机可读存储介质
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王文玲;关艳玲;户秀慧;: "中心性浆液性脉络膜视网膜病变患者脉络膜毛细血管扩张和中心凹下脉络膜厚度关系的研究", 眼科新进展, no. 05, pages 72 - 74 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127431A (zh) * 2019-12-24 2020-05-08 杭州求是创新健康科技有限公司 一种基于区域自适应多任务神经网络的干眼症分级评估系统
CN111259743A (zh) * 2020-01-09 2020-06-09 中山大学中山眼科中心 一种近视图像深度学习识别模型训练方法及系统
CN111259743B (zh) * 2020-01-09 2023-11-24 中山大学中山眼科中心 一种近视图像深度学习识别模型训练方法及系统
WO2021164640A1 (zh) * 2020-02-19 2021-08-26 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
US11967181B2 (en) 2020-02-19 2024-04-23 Boe Technology Group Co., Ltd. Method and device for retinal image recognition, electronic equipment, and storage medium
CN111445449A (zh) * 2020-03-19 2020-07-24 上海联影智能医疗科技有限公司 感兴趣区域的分类方法、装置、计算机设备和存储介质
CN111445449B (zh) * 2020-03-19 2024-03-01 上海联影智能医疗科技有限公司 感兴趣区域的分类方法、装置、计算机设备和存储介质
CN111753831A (zh) * 2020-06-28 2020-10-09 上海联影医疗科技有限公司 一种图像分析方法、装置、图像采集设备及存储介质
CN111739616B (zh) * 2020-07-20 2020-12-01 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN111739616A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN112133441B (zh) * 2020-08-21 2024-05-03 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN112133441A (zh) * 2020-08-21 2020-12-25 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN113066054A (zh) * 2021-03-12 2021-07-02 武汉大学 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法
CN113066054B (zh) * 2021-03-12 2022-03-15 武汉大学 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113576399B (zh) * 2021-08-02 2024-03-08 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
TWI784688B (zh) * 2021-08-26 2022-11-21 宏碁股份有限公司 眼睛狀態評估方法及電子裝置
CN113768460A (zh) * 2021-09-10 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN113768460B (zh) * 2021-09-10 2023-11-14 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备

Similar Documents

Publication Publication Date Title
CN110555845A (zh) 眼底oct图像识别方法及设备
CN109493954B (zh) 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
Kauppi et al. The diaretdb1 diabetic retinopathy database and evaluation protocol.
Narasimha-Iyer et al. Robust detection and classification of longitudinal changes in color retinal fundus images for monitoring diabetic retinopathy
Xiong et al. An approach to evaluate blurriness in retinal images with vitreous opacity for cataract diagnosis
EP3373798B1 (en) Method and system for classifying optic nerve head
Liu et al. Automated macular pathology diagnosis in retinal OCT images using multi-scale spatial pyramid and local binary patterns in texture and shape encoding
JP6842481B2 (ja) 深層学習を用いた網膜層の３ｄ定量解析
Kauppi Eye fundus image analysis for automatic detection of diabetic retinopathy
JP2011520503A (ja) 自動陥凹乳頭比測定システム
CN109961848B (zh) 黄斑图像分类方法和设备
Harangi et al. Automatic detection of the optic disc using majority voting in a collection of optic disc detectors
Surendiran et al. Segmentation of optic disc and cup using modified recurrent neural network
Fraz et al. Retinal image analysis aimed at extraction of vascular structure using linear discriminant classifier
EP4264627A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
Mohammad et al. Texture analysis for glaucoma classification
CN113158821B (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
US20220230325A1 (en) Computer based method for classifying a mass of an organ as a cyst
Balakrishnan et al. A hybrid PSO-DEFS based feature selection for the identification of diabetic retinopathy
Chauhan et al. Data mining techniques for diagnostic support of glaucoma using stratus OCT and perimetric data
US11302006B2 (en) 3D quantitative analysis with deep learning
CN112991289B (zh) 图像标准切面的处理方法及装置
Singh et al. Assessment of disc damage likelihood scale (DDLS) for automated glaucoma diagnosis
Tamilarasi et al. Template matching algorithm for exudates detection from retinal fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination