CN115170503A - 基于决策规则和深度神经网络的眼底图像视野分类方法及装置 - Google Patents

基于决策规则和深度神经网络的眼底图像视野分类方法及装置 Download PDF

Info

Publication number
CN115170503A
CN115170503A CN202210774838.0A CN202210774838A CN115170503A CN 115170503 A CN115170503 A CN 115170503A CN 202210774838 A CN202210774838 A CN 202210774838A CN 115170503 A CN115170503 A CN 115170503A
Authority
CN
China
Prior art keywords
visual field
model
classification
decision rule
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210774838.0A
Other languages
English (en)
Other versions
CN115170503B (zh
Inventor
余奇
杨杰
郭天骄
刘堃
许迅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Shanghai First Peoples Hospital
Original Assignee
Shanghai Jiaotong University
Shanghai First Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Shanghai First Peoples Hospital filed Critical Shanghai Jiaotong University
Priority to CN202210774838.0A priority Critical patent/CN115170503B/zh
Publication of CN115170503A publication Critical patent/CN115170503A/zh
Application granted granted Critical
Publication of CN115170503B publication Critical patent/CN115170503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请涉及计算机视觉与数字图像处理领域，公开了一种基于决策规则和深度神经网络的眼底图像拍摄视野自动化分类方法及装置。其中，将用于检测F1、F2视野的决策规则模块和CNN分类模块结合构成F1、F2视野检测模块。将用于分类F3至F7视野的决策规则模块和CNN分类模块结合构成F3至F7视野的分类模块。利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整决策规则和参数；利用视野类别标注与CNN分类模块分类结果的差距构建损失函数，输入训练集训练CNN模型，迭代更新网络参数。本发明兼顾可解释性和可迁移性，使得多视野分类指标有一定程度的提升，结果可靠。

Description

基于决策规则和深度神经网络的眼底图像视野分类方法及 装置
技术领域
本申请涉及计算机视觉与数字图像处理技术领域，特别涉及基于决策规则和深度神经网络的眼底图像视野分类的技术。
背景技术
随着计算机科学的发展，计算机辅助技术在各个领域都有着广阔的应用前景。现有研究表明，将深度学习方法引入眼底彩色照相可以为多种眼病，如年龄相关性黄斑变性、糖尿病性视网膜病变等的分析提供中间信息。一些研究表明，眼底彩色照相还可以反映心血管健康，甚至可以反映性别、年龄和种族等更多个人信息。由于其易于获得而且信息丰富，眼底彩色照相被广泛使用。
眼底彩照检查通常需要拍摄多个视野，不同视野对于分析不同的状况有着不同的权重。在计算机辅助技术出现之前，眼科医生在进一步分析之前会手动对视野进行分类。然而，人工视野分类是费力、低效且容易出错的。因此，计算机辅助视野分类是十分有价值的。
然而，目前的分类方法尚无法很好地兼顾可解释性和可迁移性，其结果的可靠性也有待提高。
发明内容
本申请的目的在于提供一种基于决策规则和深度神经网络的眼底图像视野分类方法及装置。针对现有算法的局限性，本发明目的在于设计一种同时检测眼底彩照14个视野的算法。该方法能基于决策规则和深度神经网络，兼顾可解释性和可迁移性，使得多视野分类指标有一定程度的提升，且结果可靠。该发明可应用于计算机辅助诊断、眼底彩照预处理等领域。
本申请公开了一种基于决策规则和深度神经网络的眼底图像视野分类方法，所述方法包括如下步骤：
建立数据集步骤：给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注；并且，将所述数据集划分为用于训练模型和调整参数的训练集，以及用于检测结果的验证集；
预处理的步骤：对每张所述眼底彩照的原始RGB域眼底图像进行预处理，以获得尺寸统一的RGB图像和增强域图像；
建立并训练眼底图像视野分类方法模型的步骤：利用划分好训练集和验证集的所述数据集进行模型训练和验证；
测试模型的步骤：利用所述眼底图像视野分类方法模型对已经过处理的所述眼底图像进行分类，以获得最终分类结果。
在一个优选例中，采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像：裁剪、填充、尺寸变换运算。
在一个优选例中，采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像：卷积、高斯滤波、背景减除运算。
在一个优选例中，所述建立并训练眼底图像视野分类方法模型，进一步包含：
设计用于检测F1、F2视野的第一决策规则模块、用于分类F3至F7视野的第二决策规则模块，以及CNN分类模型；
将所述第一决策规则模块与所述CNN分类模块结合构成相应的第一视野检测模块，并且，将所述第二决策规则模块与所述CNN分类模块结合构成相应的第二视野分类模块；
通过将所述视野类别标注与对应决策规则模块的决策结果之间的差距输入到所述训练集，来调整决策规则和参数，并且，利用所述视野类别标注与所述对应CNN分类模块的分类结果之间的差距，构建损失函数，输入所述训练集，来训练CNN模型，迭代更新网络参数。
在一个优选例中，根据所述第一和第二决策规则模块的成功与否，来决定分类结果选择决策规则模块的结果或CNN分类的结果。
在一个优选例中，利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整决策规则和参数的步骤中，在所述训练集上最大化准确率，其中，将准确率最大化问题定义为：
Figure BDA0003726421450000031
其中，T1代表F1、F2视野决策规则模块中相似度决策阈值，T2代表F3至F7视野决策规则模块中相似度决策阈值，N为验证集的图片数；PF为模型预测的眼底视野类别，GF为视野类别标注，
Figure BDA0003726421450000032
表示模型预测的结果与标注相同的数量。
在一个优选例中，利用视野类别标注与CNN分类模块分类结果的差距构建损失函数，输入训练集训练CNN模型，迭代更新网络参数，使损失函数最小化，其中损失函数最小化问题定义为：
Figure BDA0003726421450000033
上式中，θ代表模型参数，n为每次训练的图像数即batch数量；Goh表示彩照的视野类别标注GF的14维one-hot编码形式；Poh表示CNN的预测结果。
本申请公开了一种基于决策规则和深度神经网络的眼底图像视野分类装置，包括：
建立数据集单元，用于给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注；并且，将所述数据集划分为用于训练模型和调整参数的训练集，以及用于检测结果的验证集；
预处理单元，用于对每张所述眼底彩照的原始RGB域眼底图像进行预处理，以获得尺寸统一的RGB图像和增强域图像；
建立并训练眼底图像视野分类方法模型单元，用于利用划分好训练集和验证集的所述数据集进行模型训练和验证；
测试模型单元，用于利用所述眼底图像视野分类方法模型对已经过处理的所述眼底图像进行分类，以获得最终分类结果。
本申请还公开了一种基于决策规则和深度神经网络的眼底图像视野分类设备包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
本申请实施方式中，基于决策规则和深度神经网络，兼顾可解释性和可迁移性，使得多视野分类指标有一定程度的提升，且结果可靠。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法的流程图；
图2为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中的图像区域划分示意图；
图3为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中用于检测F1、F2视野的决策规则模块(F12-Rule模块)示意图；
图4为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中F1、F2视野的检测模型(F12-det)示意图；
图5为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中用于分类F3至F7视野的决策规则模块(F37-Rule模块)示意图；
图6为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中F3至F7视野的分类模型(F37-Class)示意图；
图7为根据本发明的一个实施例的基于决策规则和深度神经网络的眼底图像视野分类方法中眼底照片视野预测流程示意图。
图8为根据本发明的一种基于决策规则和深度神经网络的眼底图像视野分类装置结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
部分概念的说明：
视野及视野类别标注：为了对眼部眼底结构进行较为全面的记录拍摄，基于DRSS研究的7视野拍摄方案是眼底疾病临床研究的经典拍摄方案。该拍摄方案拍摄范围以视盘、黄斑、黄斑颞侧及颞上、颞下、鼻上、鼻下七个视野进行拍摄，这七个拍摄视野的视野类别标注依次为F1、F2、F3、F4、F5、F6和F7。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种基于决策规则和深度神经网络的眼底图像视野分类方法，该方法通过构建决策规则、构建并训练神经网络，可以对眼底图像中的多视野进行自动分类，其具体流程如图1所示，该方法包括以下步骤：
第一步，参见步骤110和步骤120，建立数据集。
具体地说，给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注。划分为训练集用于训练神经网络模型、调整参数，验证集用于检测结果。
优选的，所述第一步中，数据集包含每一张彩照的视野类别标注，即GF。数据按照病人的编号、访视时间进行分组，每组包含有多个视野的彩照和视野类别标定。训练集和验证集的划分按照病人编号排名。
第二步，参见步骤130，预处理。
具体地说，对一张原始RGB域的眼底图像，通过预处理得到尺寸统一的RGB图像和增强域图像用于后续步骤。
优选的，所述第二步中，对一张原始的眼底彩图IRaw，对其进行预处理得到统一尺寸的RGB图Iori和增强图Ieh，该过程可表示为：
Figure BDA0003726421450000071
其中fCPR表示裁剪、填充和尺寸变换运算，即将原始图片的外围黑色背景裁剪掉；将图片的行(或列)方向上补零使得图片长宽相同；再将图片缩放到固定大小(224×224)。G(σ)为高斯滤波器，σ是其方差，*表示图像卷积运算，设定σ为图像视场半径的1/30。
第三步，参见步骤140和步骤150，建立并训练眼底图像视野分类方法模型。
具体地说，设计用于检测F1、F2视野的决策规则模块(F12-Rule模块)、用于分类F3至F7视野的决策规则模块(F37-Rule模块)、CNN分类模型。将用于检测F1、F2视野的决策规则模块(F12-Rule模块)与CNN分类模块结合构成F1、F2视野的检测模块(F12-det模块)。将用于分类F3至F7视野的决策规则模块(F37-Rule模块)与CNN分类模块结合构成F3至F7视野的分类模块(F37-Class模块)。利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整决策规则和参数；利用视野类别标注与CNN分类模块分类结果的差距构建损失函数，输入训练集训练CNN模型，迭代更新网络参数。
优选的，所述第三步中，需要将一张图像划分为7个区域，各区域如图2所示。其中，区域④为边长为图像一半的且与图像圆心同心的正方形。其边长延长线于图像边缘构成其他区域，如图2所示。
优选的，所述第三步中，用于检测F1、F2视野的决策规则模型的示意图如图3所示。
其中，完整七视野图像组表示一位病人的一次访视所拍摄的双眼七视野彩照，通常包含14个视野(左右眼各7个视野)。F1、F2视野决策规则包含如下条件：
1)P1中视盘与黄斑检测结果“有效”，且视盘位于图2中区域④；
2)P2中视盘与黄斑检测结果“有效”，且视盘位于图2中区域③或⑤；
3)P1中视盘检测结果“有效”、视盘位于区域二，且P1与P2“匹配”。
其中，P1、P2为任意两张照片；“有效”表示形状偏椭圆形。
具体地，全卷积神经网络模块检测出的视盘区域(或黄斑)，周长的平方与面积的比值在11和12.2之间；“匹配”表示两张图像中至少存在一对相似度大于T1的图像块。具体地，取P1的区域③、区域⑤图像块，分别与P2中全部相同大小的图像块计算相似度。相似度使用协方差进行计算。
所述第三步中，若照片对P1、P2满足上述三条件中的两种，则将F12-Rule视为检测成功，P1、P2分别为F1和F2视野。其左右眼判断规则如下：对于条件1)和2)，视盘在黄斑的左侧则判断为右眼，否则判断为左眼；对于条件3)若P1最左侧与P2“匹配”，则判断为右眼，否则判断为左眼。若一组照片中不存在满足上述三条件中的两种的图像对，则F12-Rule模块视为检测失败。
所述第三步中，利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整F12-Rule模块的参数T1，使F12-Rule模块在训练集上最大化准确率，其中准确率最大化问题定义为。
Figure BDA0003726421450000081
上式中，T1代表F12-Rule模块中相似度决策阈值，N为验证集的图片数；PF为模型预测的眼底视野类别，GF为视野类别标注，
Figure BDA0003726421450000091
表示模型预测的结果与标注相同的数量。
优选的，所述第三步中，用于检测F1、F2视野的决策规则模型与CNN分类模型结合构成F1、F2视野的检测模型(F12-det)。此模型将单次访视图像组作为输入，将已分类的F1、F2视野和其他未分类的视野作为输出。其流程图如图4所示。
其中，当F12-Rule模块检测成功时，直接将其检测的F1、F2视野和其他视野作为F12-det的输出；当F12-Rule模块检测失败时，将CNN模块检测的F1、F2视野和其他视野作为F12-det的输出。
优选的，所述第三步中，CNN分类模型使用深度学习领域常用的ResNet50作为主干网络，并将全连接层神经元数设为14以适用于本发明。利用视野类别标注与CNN分类模块分类结果的差距构建损失函数，输入训练集训练CNN模型，迭代更新网络参数，使损失函数最小化，其中损失函数最小化问题定义为：
Figure BDA0003726421450000092
上式中，θ代表模型参数，n为每次训练的图像数即batch数量。Goh表示彩照的视野类别标注GF的14维one-hot编码形式。Poh表示CNN的预测结果。
优选的，所述第三步中，用于分类F3至F7视野的决策规则模块(F37-Rule模块)的示意图如图5所示。
其中，决策规则包含如下条件(以右眼为例，判别左眼时左右区域需对调)：
1)P与F2的区域③匹配；
2)P与F1的区域①匹配；
3)P与F1的区域⑥匹配；
4)P与F1的区域②匹配”；
5)P与F1的区域⑦匹配。
其中，P为任意一张照片；“匹配”表示两张图像中至少存在一对相似度大于T2的图像块。
具体地，取F2的区域③、F1的区域①、F1的区域⑥、F1的区域②、F1的区域⑦图像块，分别与P中全部相同大小的图像块计算相似度。相似度使用协方差进行计算。若一张照片满足条件1)至5)其中之一时，分别对应判别为右眼F3至F7视野(判别左眼时左右区域需对调)，并视该照片为分类成功。若一张照片不满足上述任何条件，则视该照片为分类失败。
优选的，所述第三步中，利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整F37-Rule模块的参数T2，使F37-Rule模块在训练集上最大化准确率，其中准确率最大化问题定义为。
Figure BDA0003726421450000101
上式中，T2代表F37-Rule模块中相似度决策阈值，N为验证集的图片数；PF为模型预测的眼底视野类别，GF为视野类别标注，
Figure BDA0003726421450000102
表示模型预测的结果与标注相同的数量。
优选的，所述第三步中，用于分类F3至F7视野的决策规则模型与CNN分类模型结合构成F3至F7视野的检测模型(F37-Class)。此模型将已分类的F1、F2视野和其他未分类的视野作为两个输入，将已分类的F3至F7的视野和外眼视野作为输出。其流程图如图6所示。
其中，当一张照片使用F37-Rule模块分类成功时，直接使用F37-Rule模块的分类结果。当一张照片使用F37-Rule模块分类失败时，将CNN模块对该照片的分类结果作为F37-Class的输出。
第四步，参见步骤160，测试模型。
具体地说，在验证集上采用第三步构建的模型来对眼底图像视野进行分类：用F12-det检测出左右眼F1和F2视野，再用F37-Class分类出左右眼F3至F7视野和外眼视野，得到最终分类结果。
优选的，所述第四步中，利用第三步中训练好的模型预测验证集眼底图像的视野类别。预测流程如下：
(a)输入一组单次访视的图像；
(b)使用F1、F2视野的检测模型(F12-det)检测。具体的，通过F12-Rule模块检测图像组中的F1和F2视野，若成功检测出，则直接将F12-Rule模块的检测结果作为输出，若失败，则使用CNN模型的分类结果作为输出，输出为已分类的F1、F2视野和未分类的其他视野的图像；
(c)使用F3至F7视野的检测模型(F37-Class)进行分类。具体的，将已分类的F1、F2视野和未分类的其他视野的图像输入至F37-Rule模块，对未分类的其他视野的图像进行分类，一张图像若F37-Rule模块成功分类，则使用F37-Rule模块的分类结果作为该图像的视野类别，若F37-Rule模块未能成功分类，则使用CNN模型的分类结果作为该图像的视野类别。
优选的，所述第四步中，利用第三步中训练好的模型预测验证集眼底图像的视野类别。预测流程图如图7所示。
其中，上下两虚线框分别表示所述第四步中的F1、F2视野的检测模型(F12-det)和F3至F7视野的检测模型(F37-Class)。
与现有技术相比，本发明具有如下的有益效果：
本发明设计了一种基于决策规则和深度神经网络的眼底图像视野分类方法，该方法结合了决策规则和深度神经网络的优势，兼顾可解释性和可迁移性，使多视野分类指标更具有精确性、鲁棒性。本发明同时涵盖了眼底彩照中14个视野的分类。
上述实施例的效果通过以下实验进一步说明
1.实验条件
本实验CNN模型的训练、决策规则阈值的调整采用上海市第一人民医院提供的数据集，训练集383人共计27239张照片，验证集80人共计6451张照片，此外LONGITUDINAL与Drishti-GS数据集作为外部数据验证集。CNN模型实现采用Pytorch，计算硬件为NvidiaGTX 1080Ti GPU和i7-8700 CPU。
CNN训练过程中的参数如下：优化器采用Adam，动量设置为0.9；训练过程共80代，每次训练时的batch大小设置为32，初始模型学习率为0.0001，最终保存的模型参数为在验证集上损失最小的模型参数。决策规则阈值设定为能在训练集上得到最大准确率的值。
为了表现本算法的优势，实验中对比其他基于神经网络的定位、分割方法，包括文献[1][2][3][4][5]中的算法。
2.实验内容
本发明对本地验证集、LONGITUDINAL数据集与Drishti-GS数据集验证结果进行了定量分析，所对比的方法包括文章[3][4][5]中的算法。评价指标为准确率(Acc)，准确率定义如下：
Figure BDA0003726421450000121
其中，N为验证集的图片数；PF为模型预测的眼底视野类别，GF为视野类别标注，
Figure BDA0003726421450000122
表示模型预测的结果与标注相同的数量。Acc反映了模型预测结果和标注的重合程度，Acc越高说明重合程度越好，结果越好。
由于其他方法中部分并未在本发明使用的数据集进行实验，因此本发明复现了他们的方法。对不同方法进行验证后，得到实验结果如表1所示：
表1.不同方法在不同数据验证集上视野分类Acc对比(最好的结果加粗表示)
Figure BDA0003726421450000123
Figure BDA0003726421450000131
从表1的结果可以看出，本发明所提出视野分类方法相比于其他基于深度神经网络的方法，在验证集上的结果更好，与真实标定更接近，而且同时进行14视野分类，功能较其他方法更全面。
本申请的第二实施方式涉及一种基于决策规则和深度神经网络的眼底图像视野分类装置，其结构如图8所示，该基于决策规则和深度神经网络的眼底图像视野分类装置包括：
建立数据集单元，用于给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注；并且，将所述数据集划分为用于训练模型和调整参数的训练集，以及用于检测结果的验证集；
预处理单元，用于对每张所述眼底彩照的原始RGB域眼底图像进行预处理，以获得尺寸统一的RGB图像和增强域图像；
建立并训练眼底图像视野分类方法模型单元，用于利用划分好训练集和验证集的所述数据集进行模型训练和验证；
测试模型单元，用于利用所述眼底图像视野分类方法模型对已经过处理的所述眼底图像进行分类，以获得最终分类结果。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述基于决策规则和深度神经网络的眼底图像视野分类装置的实施方式中所示的各模块的实现功能可参照前述基于决策规则和深度神经网络的眼底图像视野分类方法的相关描述而理解。上述基于决策规则和深度神经网络的眼底图像视野分类装置的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述基于决策规则和深度神经网络的眼底图像视野分类装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施方式还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。
此外，本申请实施方式还提供一种基于决策规则和深度神经网络的眼底图像视野分类设备，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(Central Processing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称“DSP”)、专用集成电路(Application Specific Integrated Circuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-only memory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，在阅读了本申请的上述公开内容之后，本领域技术人员可以对本申请作各种改动或修改，这些等价形式同样落于本申请所要求保护的范围。
参考文献：
[1]Zapata,M.A.,Royo-Fibla,D.,Font,O.,Vela,J.I.,Marcantonio,I.,Moya-Sánchez,E.U.,Sánchez-Pérez,A.,Garcia-Gasulla,D.,Cortés,U.,Ayguadé,E.,et al.,2020.Artificial intelligence to identify retinal fundus images,qualityvalidation,laterality evaluation,macular degeneration,and suspectedglaucoma.Clinical Ophthalmology(Auckland,NZ)14,419.
[2]Lai,X.,Li,X.,Qian,R.,Ding,D.,Wu,J.,Xu,J.,2019.Four models forautomatic recognition of left and right eye in fundus images,in:InternationalConference on Multimedia Modeling,Springer.pp.507–517.
[3]Liu,C.,Han,X.,Li,Z.,Ha,J.,Peng,G.,Meng,W.,He,M.,2019a.A self-adaptive deep learning method for automated eye laterality detection based oncolor fundus photography.Plos one 14,e0222025.
[4]Yuen,V.,Ran,A.,Shi,J.,Sham,K.,Yang,D.,Chan,V.T.,Chan,R.,Yam,J.C.,Tham,C.C.,McKay,G.J.,et al.,2021.Deep-learning–based pre-diagnosis assessmentmodule for retinal photographs:A multicenter study.Translational visionscience&technology 10,16–16.
[5]Rim,T.H.,Da Soh,Z.,Tham,Y.C.,Yang,H.H.S.,Lee,G.,Kim,Y.,Nusinovici,S.,Ting,D.S.W.,Wong,T.Y.,Cheng,C.Y.,2020.Deep learning for automated sortingof retinal photographs.Ophthalmology Retina 4,793–800.
[6]Guo,T.,Liang,Z.,Gu,Y.,Yang,J.,Yu,Q.,2021.Deep multi-task frameworkfor optic disc and fovea detection.Journal of Electronic Imaging 30,1–18.URL:https://doi.org/10.1117/1.JEI.30.4.043002,doi:10.1117/1.JEI.30.4.043002.

Claims (10)

1.一种基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，所述方法包括如下步骤：
建立数据集步骤：给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注；并且，将所述数据集划分为用于训练模型和调整参数的训练集，以及用于检测结果的验证集；
预处理的步骤：对每张所述眼底彩照的原始RGB域眼底图像进行预处理，以获得尺寸统一的RGB图像和增强域图像；
建立并训练眼底图像视野分类方法模型的步骤：利用划分好训练集和验证集的所述数据集进行模型训练和验证；
测试模型的步骤：利用所述眼底图像视野分类方法模型对已经过处理的所述眼底图像进行分类，以获得最终分类结果。
2.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像：裁剪、填充、尺寸变换运算。
3.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像：卷积、高斯滤波、背景减除运算。
4.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，所述建立并训练眼底图像视野分类方法模型，进一步包含：
设计用于检测F1、F2视野的第一决策规则模块、用于分类F3至F7视野的第二决策规则模块，以及CNN分类模型；
将所述第一决策规则模块与所述CNN分类模块结合构成相应的第一视野检测模块，并且，将所述第二决策规则模块与所述CNN分类模块结合构成相应的第二视野分类模块；
通过将所述视野类别标注与对应决策规则模块的决策结果之间的差距输入到所述训练集，来调整决策规则和参数，并且，利用所述视野类别标注与所述对应CNN分类模块的分类结果之间的差距，构建损失函数，输入所述训练集，来训练CNN模型，迭代更新网络参数。
5.根据权利要求4中所述的基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，根据所述第一和第二决策规则模块的成功与否，来决定分类结果选择决策规则模块的结果或CNN分类的结果。
6.根据权利要求4中所述的基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，利用视野类别标注与决策规则模块的决策结果差距，输入训练集，调整决策规则和参数的步骤中，在所述训练集上最大化准确率，其中，将准确率最大化问题定义为：
Figure FDA0003726421440000021
其中，T1代表F1、F2视野决策规则模块中相似度决策阈值，T2代表F3至F7视野决策规则模块中相似度决策阈值，N为验证集的图片数；PF为模型预测的眼底视野类别，GF为视野类别标注，
Figure FDA0003726421440000022
表示模型预测的结果与标注相同的数量。
7.根据权利要求4中所述的一种基于决策规则和深度神经网络的眼底图像视野分类方法，其特征在于，利用视野类别标注与CNN分类模块分类结果的差距构建损失函数，输入训练集训练CNN模型，迭代更新网络参数，使损失函数最小化，其中损失函数最小化问题定义为：
Figure FDA0003726421440000023
上式中，θ代表模型参数，n为每次训练的图像数即batch数量；Goh表示彩照的视野类别标注GF的14维one-hot编码形式；Poh表示CNN的预测结果。
8.一种基于决策规则和深度神经网络的眼底图像视野分类装置，其特征在于，包括：
建立数据集单元，用于给定一个包含多张眼底彩照的数据集，对每一张彩照给定相应的视野类别标注；并且，将所述数据集划分为用于训练模型和调整参数的训练集，以及用于检测结果的验证集；
预处理单元，用于对每张所述眼底彩照的原始RGB域眼底图像进行预处理，以获得尺寸统一的RGB图像和增强域图像；
建立并训练眼底图像视野分类方法模型单元，用于利用划分好训练集和验证集的所述数据集进行模型训练和验证；
测试模型单元，用于利用所述眼底图像视野分类方法模型对已经过处理的所述眼底图像进行分类，以获得最终分类结果。
9.一种基于决策规则和深度神经网络的眼底图像视野分类设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至7中任意一项所述的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。
CN202210774838.0A 2022-07-01 2022-07-01 基于决策规则和深度神经网络的眼底图像视野分类方法及装置 Active CN115170503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210774838.0A CN115170503B (zh) 2022-07-01 2022-07-01 基于决策规则和深度神经网络的眼底图像视野分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210774838.0A CN115170503B (zh) 2022-07-01 2022-07-01 基于决策规则和深度神经网络的眼底图像视野分类方法及装置

Publications (2)

Publication Number Publication Date
CN115170503A true CN115170503A (zh) 2022-10-11
CN115170503B CN115170503B (zh) 2023-12-19

Family

ID=83489328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210774838.0A Active CN115170503B (zh) 2022-07-01 2022-07-01 基于决策规则和深度神经网络的眼底图像视野分类方法及装置

Country Status (1)

Country Link
CN (1) CN115170503B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385443A (zh) * 2023-06-06 2023-07-04 珠海横琴圣澳云智科技有限公司 基于图像的样本质量确定方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969833A (zh) * 2007-12-10 2011-02-09 眼技术有限公司 基于视网膜体积图像和良好记录的眼底图像进行微视野检测的方法
US20150104087A1 (en) * 2013-10-10 2015-04-16 University Of Rochester Automated Fundus Image Field Detection and Quality Assessment
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
CN110826470A (zh) * 2019-11-01 2020-02-21 复旦大学 基于深度主动学习的眼底图像左右眼识别方法
CN111414951A (zh) * 2020-03-16 2020-07-14 中国人民解放军国防科技大学 用于图像的细分类方法及装置
US20200234445A1 (en) * 2018-04-13 2020-07-23 Bozhon Precision Industry Technology Co., Ltd. Method and system for classifying diabetic retina images based on deep learning
US20200401841A1 (en) * 2019-06-24 2020-12-24 Samsung Sds Co., Ltd. Apparatus for diagnosing glaucoma
CN114445666A (zh) * 2022-01-27 2022-05-06 复旦大学 基于深度学习眼底图像左右眼及视野位置分类方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969833A (zh) * 2007-12-10 2011-02-09 眼技术有限公司 基于视网膜体积图像和良好记录的眼底图像进行微视野检测的方法
US20150104087A1 (en) * 2013-10-10 2015-04-16 University Of Rochester Automated Fundus Image Field Detection and Quality Assessment
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
US20200234445A1 (en) * 2018-04-13 2020-07-23 Bozhon Precision Industry Technology Co., Ltd. Method and system for classifying diabetic retina images based on deep learning
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
US20200401841A1 (en) * 2019-06-24 2020-12-24 Samsung Sds Co., Ltd. Apparatus for diagnosing glaucoma
CN110826470A (zh) * 2019-11-01 2020-02-21 复旦大学 基于深度主动学习的眼底图像左右眼识别方法
CN111414951A (zh) * 2020-03-16 2020-07-14 中国人民解放军国防科技大学 用于图像的细分类方法及装置
CN114445666A (zh) * 2022-01-27 2022-05-06 复旦大学 基于深度学习眼底图像左右眼及视野位置分类方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RAJIV RAMAN 等: "Fundus photograph-based deep learning algorithms in detecting diabetic retinopathy", 《HTTPS://DOI.ORG/10.1038/S41433-018-0269-Y》 *
余奇 等, 《上海交通大学学报（医学版）》 *
袁援生 等: "早期老年黄斑变性黄斑区密集点矩阵视野的改变", 《昆明医学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385443A (zh) * 2023-06-06 2023-07-04 珠海横琴圣澳云智科技有限公司 基于图像的样本质量确定方法和装置
CN116385443B (zh) * 2023-06-06 2023-08-11 珠海横琴圣澳云智科技有限公司 基于图像的样本质量确定方法和装置

Also Published As

Publication number Publication date
CN115170503B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
Diaz-Pinto et al. CNNs for automatic glaucoma assessment using fundus images: an extensive validation
Li et al. Deep learning-based automated detection of retinal diseases using optical coherence tomography images
Gómez-Valverde et al. Automatic glaucoma classification using color fundus images based on convolutional neural networks and transfer learning
CN111259982B (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
Seeböck et al. Unsupervised identification of disease marker candidates in retinal OCT imaging data
Hassan et al. RAG-FW: A hybrid convolutional framework for the automated extraction of retinal lesions and lesion-influenced grading of human retinal pathology
Ajitha et al. Identification of glaucoma from fundus images using deep learning techniques
Zhao et al. High‐quality retinal vessel segmentation using generative adversarial network with a large receptive field
Almoosawi et al. ResNet-34/DR: a residual convolutional neural network for the diagnosis of diabetic retinopathy
CN115170503B (zh) 基于决策规则和深度神经网络的眼底图像视野分类方法及装置
Das et al. Automated classification of retinal OCT images using a deep multi-scale fusion CNN
Mujeeb Rahman et al. Automatic screening of diabetic retinopathy using fundus images and machine learning algorithms
CN111462093A (zh) 一种基于眼底图像进行疾病分类的方法
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
CN113705670A (zh) 基于磁共振成像和深度学习的脑部图像分类方法及设备
WO2017046378A1 (en) Method and computer program product for characterizing a retina of a patient from an examination record comprising at least one image of at least a part of the retina
Dasgupta et al. Deep learning based framework for automatic diagnosis of glaucoma based on analysis of focal notching in the optic nerve head
Faris Cataract Eye Detection Using Deep Learning Based Feature Extraction with Classification
Khan et al. Ddnet: Diabetic retinopathy detection system using skip connection-based upgraded feature block
Rajendiran et al. Machine Learning based Detection of Alzheimer’s disease in MRI images
Chauhan et al. Cataract detection from eye fundus image using an ensemble of transfer learning models
Birgui Sekou et al. Segmentation of retinal blood vessels using dictionary learning techniques
Opoku et al. CLAHE-CapsNet: Efficient retina optical coherence tomography classification using capsule networks with contrast limited adaptive histogram equalization
Gonzalez et al. 3D brain tumor segmentation: narrow UNet CNN
Manjushree et al. Automated Detection of Diabetic Retinopathy using Deep Learning in Retinal Fundus Images: Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant