CN113066066A - 视网膜异常分析方法及设备 - Google Patents

视网膜异常分析方法及设备 Download PDF

Info

Publication number
CN113066066A
CN113066066A CN202110337626.1A CN202110337626A CN113066066A CN 113066066 A CN113066066 A CN 113066066A CN 202110337626 A CN202110337626 A CN 202110337626A CN 113066066 A CN113066066 A CN 113066066A
Authority
CN
China
Prior art keywords
region
information
abnormality
category
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110337626.1A
Other languages
English (en)
Inventor
王欣
黄烨霖
杨志文
姚轩
贺婉佶
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd, Beijing Airdoc Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN202110337626.1A priority Critical patent/CN113066066A/zh
Publication of CN113066066A publication Critical patent/CN113066066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明提供一种视网膜异常分析方法及设备，所述方法包括：利用特征提取模块分别对至少一张眼底图像进行特征提取；通过区域检测模块对提取的特征进行识别，所述区域检测模块包括类别分支和回归分支，所述类别分支用于根据所述特征得到区域类别信息，所述回归分支用于根据所述特征得到区域位置信息；通过整体异常检测模块对所述特征进行识别，得到整体异常类别信息；对所述区域类别信息对应的区域进行分割，得到区域面积信息；对所述至少一张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析，得到异常相关性数据，用于体现各种整体异常类别与各种区域类别及其区域面积信息、区域位置信息的对应关系。

Description

视网膜异常分析方法及设备
技术领域
本发明涉及医学数据分析领域，具体涉及一种视网膜异常分析方法及设备。
背景技术
人体的很多疾病如黄斑变性、视网膜肿瘤、糖尿病性视网膜病变、动脉硬化等会波及眼睛，引起视网膜的变化。眼底图因其拍摄方便、无创性等特点，可以用来检测眼底异常改变，并监测疾病的进程。
近年来，机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变、年龄相关性黄斑变性等眼底疾病的检测，并取得了良好效果。但是，在实际医学应用场景中，青光眼诊断所依赖的杯盘比、糖尿病的诊断依据出血、渗出、视网膜新生血管、年龄相关性黄斑变性诊断所依赖的玻璃膜疣、地图状萎缩、脉络膜新生血管等视网膜病灶，不仅其出现与疾病诊断密切相关，而且其出现的位置、数量也会影响到眼底疾病的危重程度及医生的诊断方案。
现有技术已经能够实现利用深度学习的技术对多种视网膜病灶进行检测和分类，但现有的检测结果难以体现疾病或异常的严重程度。
发明内容
有鉴于此，本发明提供一种视网膜异常分析方法，包括：
利用特征提取模块分别对至少一张眼底图像进行特征提取；
通过区域检测模块对提取的特征进行识别，所述区域检测模块包括类别分支和回归分支，所述类别分支用于根据所述特征得到区域类别信息，所述回归分支用于根据所述特征得到区域位置信息；
通过整体异常检测模块对所述特征进行识别，得到整体异常类别信息；
对所述区域类别信息对应的区域进行分割，得到区域面积信息；
对所述至少一张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析，得到异常相关性数据，用于体现各种整体异常类别与各种区域类别及其区域面积信息、区域位置信息的对应关系。
可选地，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
根据所述区域类别信息分别确定各个眼底图像中各类区域的数量；
针对各种整体异常类别所对应的各类区域的数量进行统计，得到平均区域数量。
可选地，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
针对各种整体异常类别所对应的各类区域的区域面积信息进行统计，得到平均区域面积信息和/或最大区域面积信息。
可选地，属于异常类的区域面积信息为区域内异常的分割区域像素面积和视盘面积的比值。
可选地，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
分别计算各种整体异常类别所对应的各类区域与黄斑和/或视盘区域的距离，以确定其中的最短距离。
可选地，对一张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计所得到的异常相关性数据包括各类异常区域的数量、异常区域的最大面积和/或最小面积、异常区域与黄斑/视盘的最小距离。
可选地，所述特征提取模块用于获取多组不同尺度组合的特征图，经上采样后进行合并融合，输出多组不同尺度的特征组合。
可选地，所述区域检测模块包括融合模块，用于对所述多组不同尺度的特征组合进行进一步融合；所述类别分支用于根据进一步融合后的特征组合得到区域类别信息，所述回归分支用于根据进一步融合后的特征组合得到区域位置信息。
可选地，所述整体异常检测模块根据所述多组不同尺度的特征组合进行进一步特征提取，得到相应的多组不同类别的置信度信息，对多组置信度信息进行融合，根据融合结果得到整体异常类别信息。
相应地，本发明还提供一种视网膜异常分析设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述视网膜异常分析方法。
根据本发明实施例提供的视网膜异常分析方法及设备，通过特征提取模块、区域检测模块和整体异常检测模块可以得到对应于眼底图像的区域类别信息、区域位置信息和整体异常类别信息，进一步还可以得到区域面积信息，通过多这些数据进行统计和分析，可以得到异常相关性数据，能够体现各种整体异常类别与各种区域类别及其区域面积信息、区域位置信息的对应关系。
对于单张眼底图像，所得到的统计数据能够更好地辅助医生对疾病进行诊断和治疗，并且针对同一患者治疗前后的视网膜病灶进行量化分析对比也能够帮助医生更好地了解患者预后情况，制定更佳的治疗方案；对于批量的眼底图像所得到的统计分析数据，可以使医生直观地了解到各种疾病所出现的各种病变区域的普遍情况，这种数据可以作为疾病诊断的参考依据，通过与个体的数据进行比对，能够更快了解到个体的疾病严重程度，由此能够辅助医生的诊断、治疗和预后评估。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一种视网膜异常分析系统的结构示意图；
图2为整体异常类别与区域异常类别的对应关系示意图；
图3为本发明实施例中一种优选的视网膜异常分析系统的结构示意图；
图4为本发明实施例中的异常区域分割示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种视网膜异常分析方法，该方法可以由计算机或服务器等电子设备执行。本方法借助一个包含神经网络的系统对眼底图像进行识别和分析，如图1所示该系统包括特征提取模块1、区域检测模块2、整体异常检测模块3和量化分析模块4。
其中特征提取模块1是一个神经网络，有多种可选的网络结构，比如Resnet、YoloV3、stacked hourglass modules、U-Net、Inception Resnet V2等网络中特征提取部分的结构。将眼底图像输入特征提取模块1，通过特征提取输出相应的特征数据。
区域检测模块2是一个多分支神经网络，主要用于定位到视网膜图像中的异常区域、结构性区域和图像质量相关区域，同时给出该区域的类别。异常区域是指如眼底中的出血、渗出、棉絮斑、微动脉瘤等病变区域；结构性区域是指如黄斑、视盘等视网膜结构区域；图像质量相关区域是指如亮斑、伪影等由拍摄条件引起的干扰区域。
区域检测模块2包括类别分支21和回归分支22，其中类别分支21用于根据特征提取模块1提取的特征得到区域类别信息，回归分支22用于根据特征提取模块1提取的特征得到区域位置信息，比如区域的坐标。
整体异常检测模块3是一个用于执行分类任务的神经网络，其中包括卷积层、池化层和全连接层等网络结构，根据特征提取模块1提取的特征对眼底图像进行分类，得到整体异常类别信息，分类结果为正常或者属于某种疾病类别，如不同级别的糖网(NPDRI、NPDRII、NPDRIII及PDR四类)、年龄相关性黄斑变性(AMDI、AMDII、AMD-CNV、AMD-GA等)、其他类别的黄斑变性、动脉硬化及青光眼等。
系统中还包括一个感兴趣区域分割模块，可以是用于图像分割的神经网络，也可以是基于机器视觉算法(比如OTSU阈值分割法)执行分割处理。区域检测模块2输出的结果通常只是一个大致的区域范围，比如采用方框来标记区域范围和位置，因此还需要一个分割模块对这些区域中的感兴趣目标进行具体的识别，得到病变区域的具体形状、结构性区域的具体形状、图像质量相关区域的具体形状，进而可以计算其面积信息。
量化分析模块4是一个进行统计计算的模块，用于对上述模块输出的结果做统计和分析，得到异常相关性数据。量化分析模块4可以针对某一张眼底图像的上述信息进行统计，也可以针对多张眼底图像(一个数据集)的信息进行统计。
举例来说，比如通过上述模块识别得到某张眼底图像的整体异常类别为糖网增殖期，得到的区域类别中包括出血区域，并且出血区域有多个，针对这一张眼底图像的结果进行统计分析，可以得到出血区域的数量、其中的最大面积、最小面积，以及通过各个出血区域与黄斑或者视盘的距离进行统计，可以得到其中的最短距离等。关于对多张眼底图像的信息进行统计和分析，由于整体性异常基本都能与异常区域类别相对应，如不同严重程度的糖网、年龄相关性黄斑变性等疾病与出血、渗出、玻璃膜疣等的面积、分布和数量有关，通过对一个数据集进行分析，可以得到相应的相关性数据。
在使用上述系统对眼底图像进行识别和分析之前，需要先对其中的神经网络进行训练，所使用的训练数据为眼底图像，其标签包括整体异常类别、区域类别和区域位置。作为优选的实施例，由于很多视网膜异常类别的临床诊断，是通过不同病灶的数量及其分布得到的，所以视网膜整体异常类别与异常区域的类别及其分布，存在较强的相关性，训练时将区域检测模块2和整体异常检测模块3进行同步地训练，可以提高训练效率，获得更好的模型性能。
如图2所示，部分视网膜异常类别的识别依赖于区域异常的类别。因此，同时训练整体异常检测模块和区域检测模块，不仅在最终推理时能够同时输出多维度的视网膜异常信息，而且通过多维度信息的输入，能够辅助神经网络模型更好地学习到区域异常与整体异常之间的相关性，提升模型输出的准确性。
为了更准确的进行异常检测，提高识别的准确率，在训练时还可以对原始的训练数据进行数据扩充。具体可以采用随机翻转、镜像、旋转、平移、随机加噪声、模糊化、提高对比度、调整颜色空间等来进行数据扩增。其原则是，尽可能地模拟眼底图自然拍摄中可能出现的形态，使得增强后的图片，接近扩增得到的眼底图与实际拍摄的眼底图一致。此外，由于最终希望得到的目标中包含的区域坐标，需要在训练时输入，因此，在对图像数据做增强的同时，需要对坐标进行与数据扩增相同的变换，如翻转、平移、旋转等。
训练完成后即可对一张或多张眼底图像进行识别和统计分析。
在一个实施例中，对一张眼底图像进行识别和统计时，首先利用特征提取模块1、区域检测模块2和整体异常检测模块3得到对应于此眼底图像的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息，再由量化分析模块4对这些数据进行统计和分析，可以得到如各类异常区域的数量、最大/最小面积、与黄斑/视盘的最小距离等异常相关性数据。比如对于出血区域，可以统计此眼底图像中共有多少个出血区域、最大或最小的出血区域的面积、与黄斑/视盘的最近的出血区域的距离。
在另一实施例中，对多张眼底图像(一个数据集)进行识别和统计时，先利用特征提取模块1、区域检测模块2和整体异常检测模块3分别对每个眼底图像进行识别，得到对应各个眼底图像的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息。再由量化分析模块4对这些数据进行统计和分析，作为优选的实施例，可以得到如下异常相关性数据：各种整体异常类别对应的各类区域的平均区域数量、平均区域面积信息、异常区域与黄斑区的最短距离、异常区域与视盘区的最短距离、黄斑直径、视盘直径。
作为举例，相关性数据可以采用表格形式展现：
Figure BDA0002998135970000061
关于平均区域数量，可根据区域类别信息分别确定各个眼底图像中各类区域的数量；然后针对各种整体异常类别所对应的各类区域的数量进行统计，得到平均区域数量。如上表所示，此数据集中被识别为正常(整体异常类别信息)的眼底图像中，存在的出血区域的数量平均为0.0194个、被识别为非增殖期糖网轻度(整体异常类别信息)的眼底图像中，存在的出血区域的数量平均为1.7个……被识别为糖网增殖期(整体异常类别信息)的眼底图像中，存在的出血区域的数量平均为14.9998个。
关于平均区域面积，具体是针对各种整体异常类别所对应的各类区域的区域面积信息进行统计，得到平均区域面积信息。作为优选的实施例，异常类的区域面积信息为区域内异常的分割区域像素面积和视盘面积的比值。如上表所示，此数据集中被识别为正常(整体异常类别信息)的眼底图像中，各个眼底图像的出血区域的平均面积为0.0075、被识别为非增殖期糖网轻度(整体异常类别信息)的眼底图像中，各个眼底图像的出血区域的平均面积为0.0184……被识别为糖网增殖期(整体异常类别信息)的眼底图像中，各个眼底图像的出血区域的平均面积为0.0242。
关于最大面积，如上表所示，此数据集中被识别为正常(整体异常类别信息)的眼底图像中，出血区域的最大面积为0.0086、被识别为非增殖期糖网轻度(整体异常类别信息)的眼底图像中，出血区域的最大面积为0.0222……被识别为糖网增殖期(整体异常类别信息)的眼底图像中，出血区域的最大面积为0.049。
关于与黄斑最短距离，具体是分别计算各种整体异常类别所对应的各类区域与黄斑区域的距离，以确定其中的最短距离。如上表所示，此数据集中被识别为正常(整体异常类别信息)的眼底图像中，距离黄斑最近的出血区域与黄斑的距离是0.2076、被识别为非增殖期糖网轻度(整体异常类别信息)的眼底图像中，距离黄斑最近的出血区域与黄斑的距离是0.9967……被识别为糖网增殖期(整体异常类别信息)的眼底图像中，距离黄斑最近的出血区域与黄斑的距离是0.8576。
关于与视盘最短距离，如上表所示，此数据集中被识别为正常(整体异常类别信息)的眼底图像中，距离视盘最近的出血区域与视盘的距离是0.2554、被识别为非增殖期糖网轻度(整体异常类别信息)的眼底图像中，距离视盘最近的出血区域与视盘的距离是1.8406……被识别为糖网增殖期(整体异常类别信息)的眼底图像中，距离视盘最近的出血区域与视盘的距离是0.8462。
如上所述的异常相关性数据可以体现各种整体异常类别与各种区域类别及其区域面积信息、区域位置信息的对应关系。上表是以出血这种病变区域所进行的举例，通过这一举例可以看出，出血的数量、面积随糖网的严重程度逐渐变多、变大。
对于视盘、黄斑这种结构性区域，则可以统计属于各种整体异常类别的眼底图像的视盘平均直径、黄斑平均直径等，并由此可以看出各种整体性异常、异常区域会对眼底结构性区域产生的影响。
图3示出了一种优选的系统结构，在该实施例中，特征提取模块1用于获取多组不同尺度组合的特征图，经上采样后进行合并融合，输出多组不同尺度的特征组合。图像经过该特征提取后，产生多尺度的特征图，最终不同尺度的特征图经上采样后进行合并融合，最终输出三组不同尺度组合的特征图。
区域检测模块2包括融合模块，用于对多组不同尺度的特征组合进行进一步融合。如图3所示，该模块包含三个分支，每个分支分别以特征提取模块不同尺度组合(特征组合一、特征组合二、特征组合三)作为输入，以区域坐标和区域类别作为输出。
该模块内部，包含一组卷积层，用以将输入的特征组合进一步融合，融合后的三个特征组合的尺寸分别为13×13、26×26、52×52；基于进一步融合后特征图的区域坐标回归分支和类别分支，其中坐标回归分支用以回归坐标的中心相对于特征图上每个点的偏移距离和拉伸长度及宽度；类别分支用于根据特征组合得到区域类别信息，类别分支用以区分区域的异常类别，采用sigmoid来计算检测到的回归区域对每个类别的置信度，最终采信置信度最高的类别作为最终的区域类别。
该区域检测模块能够检测的异常类别有18个，其中包含15类异常区域(出血、渗出等)了；两个视网膜结构性区域(视盘、黄斑中心凹)，用于对异常区域所在的位置进行量化分析；及一个图像质量相关的区域(伪影/光斑)，用于防止将光斑和伪影误判断为某类异常区域。
整体异常检测模块3根据所述多组不同尺度的特征组合进行进一步特征提取，得到相应的多组不同类别的置信度信息，对多组置信度信息进行融合，根据融合结果得到整体异常类别信息。
整体异常检测模块3以特征提取模块输出的三个不同尺度特征组合的输出作为输入，然后分别经过进一步的特征提取及全连接层和softmax函数，得到三组不同类别的置信度的输出，最后对这三组输出进行融合，得到整体性异常检测模块的异常类别。
该模块中的特征提取模块包含一般的卷积层和空间金字塔池化层(SPP)，与传统的全局平均池化层(GAP)相比，空间金字塔池化层能够提取到不同尺度的特征，对前面卷积得到的特征进行不同程度的整合，然后传递到全连接层，增加网络的识别能力，提高其对整体性异常检测的准确性。
最终的整体性异常检测模块，需要对以上的三个分支输出的结果进行融合，以得到最终输出的类别及其置信度。有多种可选的融合方式，如对三组softmax输出的得分求均值，或者以三个分支的输出作为特征，用逻辑回归分类器进行融合，得到每个类别最终的置信度。最终采信置信度最高的类别作为整体性异常检测模块的类别。
该模块所能够识别的整体性的异常类别包含15类，其中主要为：正常、不同级别的糖网(NPDRI、NPDRII、NPDRIII及PDR四类)、年龄相关性黄斑变性(AMDI、AMDII、AMD-CNV、AMD-GA四类)、其他类别的黄斑变性(四类)、动脉硬化及青光眼。这些整体性异常基本都能与异常区域类别相对应，如不同严重程度的糖网、年龄相关性黄斑变性等疾病与出血、渗出、玻璃膜疣等的面积、分布和数量有关。
本实施例在量化分析时，黄斑、视盘的位置采用黄斑中心凹及视盘检测框的中心点坐标。区域的量化面积为区域内异常的分割区域像素面积和视盘面积的比值。其计算方法为，首先对异常区域采用OTSU阈值分割方法进行分割，如图4所示，然后结合每类异常区域的不同特征，获得异常区域的分割结果，计算分割区域内的像素点数，最终用于输出面积量化结果，采用分割结果的像素点数与视盘区域内的像素点数之比。与黄斑、视盘的距离的量化指标与此类似，为区域中心与视盘、黄斑中心的像素距离和视盘直径的比值。
该量化分析模块可以辅助临床医生更准确地判断整体性异常的严重程度，并且可以根据异常区域是否危及重要结构性区域，如黄斑、视盘等确定最终的治疗方案。更进一步的是，当病人经过一定的治疗或者控制后，可以根据量化分析结果，评估治疗的有效性及病人的康复程度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种视网膜异常分析方法，其特征在于，包括：
利用特征提取模块分别对至少一张眼底图像进行特征提取；
通过区域检测模块对提取的特征进行识别，所述区域检测模块包括类别分支和回归分支，所述类别分支用于根据所述特征得到区域类别信息，所述回归分支用于根据所述特征得到区域位置信息；
通过整体异常检测模块对所述特征进行识别，得到整体异常类别信息；
对所述区域类别信息对应的区域进行分割，得到区域面积信息；
对所述至少一张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析，得到异常相关性数据，用于体现各种整体异常类别与各种区域类别及其区域面积信息、区域位置信息的对应关系。
2.根据权利要求1所述的方法，其特征在于，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
根据所述区域类别信息分别确定各个眼底图像中各类区域的数量；
针对各种整体异常类别所对应的各类区域的数量进行统计，得到平均区域数量。
3.根据权利要求1所述的方法，其特征在于，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
针对各种整体异常类别所对应的各类区域的区域面积信息进行统计，得到平均区域面积信息和/或最大区域面积信息。
4.根据权利要求3所述的方法，其特征在于，属于异常类的区域面积信息为区域内异常的分割区域像素面积和视盘面积的比值。
5.根据权利要求1所述的方法，其特征在于，对多张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计分析的步骤具体包括：
分别计算各种整体异常类别所对应的各类区域与黄斑和/或视盘区域的距离，以确定其中的最短距离。
6.根据权利要求1所述的方法，其特征在于，对一张眼底图像对应的区域类别信息、区域面积信息、区域位置信息和整体异常类别信息进行统计所得到的异常相关性数据包括各类异常区域的数量、异常区域的最大面积和/或最小面积、异常区域与黄斑/视盘的最小距离。
7.根据权利要求1所述的方法，其特征在于，所述特征提取模块用于获取多组不同尺度组合的特征图，经上采样后进行合并融合，输出多组不同尺度的特征组合。
8.根据权利要求7所述的方法，其特征在于，所述区域检测模块包括融合模块，用于对所述多组不同尺度的特征组合进行进一步融合；所述类别分支用于根据进一步融合后的特征组合得到区域类别信息，所述回归分支用于根据进一步融合后的特征组合得到区域位置信息。
9.根据权利要求7所述的方法，其特征在于，所述整体异常检测模块根据所述多组不同尺度的特征组合进行进一步特征提取，得到相应的多组不同类别的置信度信息，对多组置信度信息进行融合，根据融合结果得到整体异常类别信息。
10.一种视网膜异常分析设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-9中任意一项所述的视网膜异常分析方法。
CN202110337626.1A 2021-03-30 2021-03-30 视网膜异常分析方法及设备 Pending CN113066066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110337626.1A CN113066066A (zh) 2021-03-30 2021-03-30 视网膜异常分析方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110337626.1A CN113066066A (zh) 2021-03-30 2021-03-30 视网膜异常分析方法及设备

Publications (1)

Publication Number Publication Date
CN113066066A true CN113066066A (zh) 2021-07-02

Family

ID=76564596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110337626.1A Pending CN113066066A (zh) 2021-03-30 2021-03-30 视网膜异常分析方法及设备

Country Status (1)

Country Link
CN (1) CN113066066A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113768460A (zh) * 2021-09-10 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN114821272A (zh) * 2022-06-28 2022-07-29 上海蜜度信息技术有限公司 图像识别方法、系统、介质、电子设备及目标检测模型
CN115222638A (zh) * 2022-08-15 2022-10-21 深圳市眼科医院 一种基于神经网络模型的视网膜血管图像分割方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458772B (zh) * 2011-04-07 2017-10-31 香港中文大学 视网膜图像分析方法和装置
CN107680684A (zh) * 2017-10-12 2018-02-09 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109829882A (zh) * 2018-12-18 2019-05-31 苏州比格威医疗科技有限公司 一种糖尿病视网膜病变分期预测方法
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111325725A (zh) * 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
EP3719808A1 (en) * 2019-04-04 2020-10-07 Optos PLC Determining levels of hypertension from retinal vasculature images
CN112200794A (zh) * 2020-10-23 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于卷积神经网络的多模型糖网病变自动筛查方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458772B (zh) * 2011-04-07 2017-10-31 香港中文大学 视网膜图像分析方法和装置
CN107680684A (zh) * 2017-10-12 2018-02-09 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109829882A (zh) * 2018-12-18 2019-05-31 苏州比格威医疗科技有限公司 一种糖尿病视网膜病变分期预测方法
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
EP3719808A1 (en) * 2019-04-04 2020-10-07 Optos PLC Determining levels of hypertension from retinal vasculature images
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111325725A (zh) * 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
CN112200794A (zh) * 2020-10-23 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于卷积神经网络的多模型糖网病变自动筛查方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113576399B (zh) * 2021-08-02 2024-03-08 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113768460A (zh) * 2021-09-10 2021-12-10 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN113768460B (zh) * 2021-09-10 2023-11-14 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN114821272A (zh) * 2022-06-28 2022-07-29 上海蜜度信息技术有限公司 图像识别方法、系统、介质、电子设备及目标检测模型
CN115222638A (zh) * 2022-08-15 2022-10-21 深圳市眼科医院 一种基于神经网络模型的视网膜血管图像分割方法及系统

Similar Documents

Publication Publication Date Title
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
CN110570421B (zh) 多任务的眼底图像分类方法和设备
CN113066066A (zh) 视网膜异常分析方法及设备
CN107358606B (zh) 用于识别糖尿病视网膜病变的人工神经网络装置及系统装置
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
Wang et al. Human visual system-based fundus image quality assessment of portable fundus camera photographs
US10441160B2 (en) Method and system for classifying optic nerve head
CN113768461B (zh) 一种眼底图像分析方法、系统和电子设备
Shanmugam et al. An automatic recognition of glaucoma in fundus images using deep learning and random forest classifier
CN110599480A (zh) 多源输入的眼底图像分类方法和设备
KR102313143B1 (ko) 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
Sedai et al. Multi-stage segmentation of the fovea in retinal fundus images using fully convolutional neural networks
CN111862009A (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
Murugeswari et al. Investigations of severity level measurements for diabetic macular oedema using machine learning algorithms
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
EP3417401B1 (en) Method for reducing artifacts in oct using machine learning techniques
CN110598652B (zh) 眼底数据预测方法和设备
Yadav et al. Automatic Cataract Severity Detection and Grading Using Deep Learning
Jayachandran et al. Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images
Gandhi et al. Evaluation of deep learning networks for keratoconus detection using corneal topographic images
Datta et al. An Integrated Fundus Image Segmentation Algorithm for Multiple Eye Ailments
Purwanithami et al. Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation
CN112598028B (zh) 眼底图像配准模型训练方法、眼底图像配准方法和装置
Varma et al. A reliable automatic cataract detection using deep learning
Barman et al. Image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination