CN113052012B - 一种基于改进d-s证据的眼疾图像识别方法及系统 - Google Patents

一种基于改进d-s证据的眼疾图像识别方法及系统 Download PDF

Info

Publication number
CN113052012B
CN113052012B CN202110249477.3A CN202110249477A CN113052012B CN 113052012 B CN113052012 B CN 113052012B CN 202110249477 A CN202110249477 A CN 202110249477A CN 113052012 B CN113052012 B CN 113052012B
Authority
CN
China
Prior art keywords
fusion
image
evidence
classification result
migration network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110249477.3A
Other languages
English (en)
Other versions
CN113052012A (zh
Inventor
胡若
吴建方
胡景茜
戴青云
贺钧
毛艳
赵慧民
徐虹
李晓东
位团结
潘陆海
陈家旭
徐硕瑀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202110249477.3A priority Critical patent/CN113052012B/zh
Publication of CN113052012A publication Critical patent/CN113052012A/zh
Application granted granted Critical
Publication of CN113052012B publication Critical patent/CN113052012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于改进D‑S证据的眼疾图像识别方法及系统,采集眼底图像;对眼底图像进行数据增强得到增强图像;分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到最终的分类结果;通过统一眼底图像的尺寸,适当降低分辨率,去除冗余、无用的区域,降低运算量,减少运算时间;通过改变RGB通道顺序来进行线下数据增强,降低深度神经网络过拟合的风险;对D‑S证据理论进行改进,消除常见的四种悖论,并利用改进的D‑S证据理论对两个深度神经网络模型进行融合,使得融合的网络减小模型间的固有偏差,提升鲁棒性和准确率。

Description

一种基于改进D-S证据的眼疾图像识别方法及系统
技术领域
本公开属于深度学习技术领域、人工智能技术领域,具体涉及一种基于改进D-S证据的眼疾图像识别方法及系统。
背景技术
随着医疗影像技术和计算机视觉的快速发展,眼底筛查方法具有较高的准确率和精准度,但实际上依赖于昂贵的设备和复杂的操作,另外,眼疾总是悄无声息且不可逆转,唯有早发现早治疗才能挽救视觉于视力窃贼的无形出没,故廉价快捷的早期眼底筛查已成为学术界和工业界的研究热点。
深度学习已经成为医疗辅助诊断的研究热点,它具有强大的自动特征提取、特征选择、特征表达及复杂模型的构建能力,更为重要的是深度学习能从像素级的原始图像中逐级提取和抽象表达更高级的特征,为医学图像的识别提供了新思路。迁移学习是将已经学到的知识重新适应解决新的问题,不仅大大减少了训练时间,还减少了对大量数据的需求。
D-S证据理论是一种数学理论和不确定理论的一般框架,满足比贝叶斯理论更弱的条件,它具有处理不确定和未知信息的能力,与传统的概率论相比,D-S证据理论在基于数据融合的分类中表现出更好的性能,被广泛应用于故障诊断,工程技术,目标识别与跟踪,信息融合等领域。传统的D-S理论是一种有效的证据融合理论,但在某些情况下会失效,存在常见的四种悖论。
发明内容
本发明的目的在于提出一种基于改进D-S证据的眼疾图像识别方法,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为了实现上述目的,根据本公开的一方面,提供一种基于改进D-S证据的眼疾图像识别方法,所述方法包括以下步骤:
S100,采集眼底图像;
S200,对眼底图像进行数据增强得到增强图像;
S300,分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
S400,构建融合模型;
S500,通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果。
进一步地,在S100中,采集眼底图像的方法为:采集的眼底图像源自于ODIR-5K医学影像数据集,包含5,000名患者的彩色眼底照片;所述彩色眼底照片通过Canon,Zeiss和Kowa中任意一种相机捕获,由于眼底图像在特征分类中存在着严重的冗余,它的病理区域位于视盘和视杯区域,或者周围的血管和视神经区域,所以本发明在保证图像有效信息的情况下,将图像尺寸缩为512×512×3像素,这样做一方面可以消除一些冗余的信息,另一方面,可以减少神经网络参数的运算数量,缩短运算时间。
进一步地,在S200中,对眼底图像进行数据增强得到增强图像的方法为:
通过平移、旋转、翻转、裁剪得到预处理图像,并通过标签保留变换来增加预处理图像的数量,其中,使用随机旋转、水平镜像、垂直镜像、改变RGB通道为RBG、改变RGB通道为BGR的方法中任意一种或多种增强预处理图像得到多个增强图像,使眼底图像进行数据增强得到的增强图像的数量增加五倍。
进一步地,在S300中,分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果的方法为:
第一迁移网络包含一个ResNet50模型,最后全连接层的神经元的个数为2048,优化器为Adam;第二迁移网络包含一个ResNet101模型,最后全连接层神经元的个数为2048,优化器为Adam;第一迁移网络与第二迁移网络的学习速率、正则项系数是超参数,通过训练损失和测试准确率进行调整;第一迁移网络与第二迁移网络的最后一层为分类层,均采用CrossEntropyLoss函数来构造损失函数;
用训练集来训练第一迁移网络与第二迁移网络,利用反向传播,通过Adam优化器来更新网络参数,每次送入第一迁移网络与第二迁移网络的训练样本批量为15,训练次数为50;根据训练损失和测试准确率调整超参数,最终第一迁移网络与第二迁移网络的学习率均为0.00005,正则化参数均为0.000003;其中,训练集划分自于增强图像中。
进一步地,在S400中,构建融合模型的方法为:
假设一组分类结果Θ={A1,A2,...An},令分类结果Ai(i∈[1,n])表示一个命题或假设,n为分类结果的数量,Θ称为辨识框架,A1,A2,...An彼此独立,构造映射函数m:2Θ→[0,1]作为基本概率分配函数BPA,映射函数m满足:
Figure BDA0002965395660000031
其中,
Figure BDA0002965395660000032
为空集,A是一个命题,m(A)为命题A的基本概率分配函数;
对于命题
Figure BDA0002965395660000033
在识别框架Θ中,存在有限个基本概率分配函数BPA:m1,m2,m3,...ml,融合式定义如下:
Figure BDA0002965395660000034
其中,
Figure BDA0002965395660000035
m1(A1)、m2(A2)...ml(An)为命题A1,A2,...An为基本概率分配函数;
其中,k表示冲突因子,表示分类结果之间的矛盾程度,(1-k)是归一化系数;
以指数函数f(x)=exp(x)作为非线性映射函数,因为它是增函数且f(x)>0,故满足要求,但m(A)∈[0,1],
Figure BDA0002965395660000036
exp(m(A))≥1,所以要对m(A)进行归一化处理:
Figure BDA0002965395660000037
通过归一化处理把m(A)之间的距离缩小,使得m(A)∈(0,1),但不会改变分类结果之间的大小关系,这保持了融合式的有效性,因为不改变分类结果的大小关系,在证据融合时中,仍然能有效直观地选择高概率融合结果;
经过试验,发现如果存在m(A)=0的情况,通过归一化处理就能消除的悖论;
总结起来,构建融合模型为:
确保识别框架Θ={A1,A2,...An}完备有限,用mi
Figure BDA0002965395660000038
进行概率分配,使其满足式子(1),i∈[1,l];
S401,令变量i,j的初始值为1;i∈[1,l],j∈[1,n];
S402,通过公式:
Figure BDA0002965395660000041
对基本概率进行映射和归一化;
S403,当j≤n时,令j的值增加1并转到步骤S402(即转到S402时j的值增加1);当j>n时,设置j的值为1并转到步骤S404;
S404,当i≤l时,令i的值增加1并转到步骤S402(即转到S402时i的值增加1);当i>l时,转到步骤S405;
S405,通过公式
Figure BDA0002965395660000042
计算冲突因子k,k表示分类结果之间的矛盾程度,(1-k)是归一化系数;
S406,通过公式
Figure BDA0002965395660000043
进行证据融合。
本发明还提供了一种基于改进D-S证据的眼疾图像识别系统,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
图像采集单元,用于采集眼底图像;
图像增强单元,用于对眼底图像进行数据增强得到增强图像;
双重分类单元,用于分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
模型构建单元,用于构建融合模型;
结果融合单元,用于通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果。
本公开的有益效果为:本发明提供一种基于改进D-S证据的眼疾图像识别方法及系统,具体包括以下有益效果:(1)通过统一眼底图像的尺寸,适当降低分辨率,去除冗余、无用的区域,降低运算量,减少运算时间;(2)通过改变RGB通道顺序来进行线下数据增强,降低深度神经网络过拟合的风险;(3)对D-S证据理论进行改进,消除常见的四种悖论,并利用改进的D-S证据理论对两个深度神经网络模型进行融合,使得融合的网络减小模型间的固有偏差,提升鲁棒性和准确率。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为一种基于改进D-S证据的眼疾图像识别方法的流程图;
图2所示为一种基于改进D-S证据的眼疾图像识别系统结构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
如图1所示为根据本发明的一种基于改进D-S证据的眼疾图像识别方法的流程图,下面结合图1来阐述根据本发明的实施方式的一种基于改进D-S证据的眼疾图像识别方法。
本公开提出一种基于改进D-S证据的眼疾图像识别方法,所述方法具体包括以下步骤:
S100,采集眼底图像;
本发明的眼底图像来自于ODIR-5K,它包含5,000名患者的年龄,双眼的彩色眼底照片和医生的诊断关键词(ODIR-5K)。该数据集是上工医疗技术有限公司从中国不同医院/医疗中心收集的“真实”患者信息。在这些机构中,眼底图像由市场上的各种相机捕获,例如Canon,Zeiss和Kowa。病人的识别信息被移除,注释由经过培训的人类读者进行标记,并具有质量控制管理。他们将患者分为8个标签,包括正常(N),糖尿病(D),青光眼(G),白内障(C),AMD(AMD),高血压(H),近视(M)和其他疾病/异常(O)。由于O不是一种确切的疾病,它共含有1012种眼疾,故本发明只选取了N,D,G,C,AMD,H,M共七类眼底图像,去除图像质量差,有镜头污点,视盘不可见,无眼底照片,图像偏位,含有激光斑点的图像,本发明选取的七类单一眼底图像共5258张,各类数量如表1所示。
Figure BDA0002965395660000061
眼底图像在疾病识别中存在着严重的冗余,它的病理区域位于视盘和视杯区域,或者周围的血管和视神经区域,所以本发明在保证图像有效信息的情况下,将图像尺寸改为512×512×3像素,这样做一方面可以消除一些冗余的信息,另一方面,可以减少神经网络参数的运算数量,缩短运算时间。
S200,对眼底图像进行数据增强得到增强图像;
为了提高数据集的多样性,降低过拟合的风险,本发明使用了数据增强的方法对原始数据进行增强。通过数据增强,能够避免数据集的有限尺寸而导致的学习规律,也能通过改变视网膜血管(Blood Vessel)和视盘(Optic Disc)位置而提高泛化性能。通常数据增强的方法有平移、旋转、翻转、裁剪等,通过标签保留变换来增加图像的数量,在本发明的数据增强方法中,使用了随机旋转、水平镜像、垂直镜像、改变RGB通道为RBG,BGR五种方法来增强数据,使数据变为原来的六倍。经增强后共有31548张眼底图像。其中RGB通道置换并不会改变图像的结构,但会改变图像的亮度和对比度,故使用这种方法来提高数据集的多样性。
S300,分别通过训练好的第一迁移网络和训练好的第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
第一迁移网络包含一个ResNet50模型,最后全连接层的神经元的个数为2048,优化器为Adam;第二迁移网络包含一个ResNet101模型,最后全连接层神经元的个数为2048,优化器为Adam;学习速率、正则项系数是超参数,通过训练损失和测试准确率不断调整;两个迁移网络的最后一层为分类层,均采用CrossEntropyLoss函数来构造损失函数。用训练集来训练两个迁移网络,利用反向传播,通过Adam优化器来更新网络参数,每次送入网络的训练样本批量为15,训练次数为50;根据训练损失和测试准确率调整超参数,最终两个网络的学习率均为0.00005,正则化参数均为0.000003。
本发明的实验是在一台配置为Intel(R)Core(TM)i9-109200X CPU@3.5GHz,32GRAM,NVIDIA GeForce RTX 3080 10G GPU的计算机上实现,整个实验都是在Python(version 3.7.9)上进行的。
S400,构建优化的D-S证据框架;
D-S证据理论是一种数学理论和不确定理论的一般框架,满足比贝叶斯理论更弱的条件,它具有处理不确定和未知信息的能力。与传统的概率论相比,D-S证据理论在基于数据融合的分类中表现出更好的性能,被广泛应用于故障诊断,工程技术,目标识别与跟踪,信息融合等领域。
D-S证据理论假设一组有限元素Θ={A1,A2,...An},Ai(i∈[1,n])表示一个命题或假设,Θ称为辨识框架,A1,A2,...An彼此独立,映射函数m:2Θ→[0,1]叫做基本概率分配函数(BPA),满足:
Figure BDA0002965395660000071
D-S证据理论提供了一个有效的证据融合公式,它将不同来源的证据结合起来,对于命题
Figure BDA0002965395660000072
在识别框架Θ中,存在有限个基本概率分配函数m1,m2,m3,...ml,融合式子定义如下:
Figure BDA0002965395660000073
m(A)为基本概率分配;,l为基本概率分配函数的数量;n为命题的数量;
其中,
Figure BDA0002965395660000074
k表示冲突因子,表示证据之间的矛盾程度,(1-k)是归一化系数。
传统的D-S理论是一种有效的证据融合理论,但在某些情况下会失效,例如,冲突因子k→1时,它就会失效。有四种常见的悖论:完全冲突悖论,0信任悖论,1信任悖论,高冲突悖论,如表2所示,这四种悖论就是D-S理论失效的情况。在表2中,m1,m2,m3,m4,m5是基本概率分配函数BPA,命题
Figure BDA0002965395660000075
Figure BDA0002965395660000076
Figure BDA0002965395660000081
在上述4种悖论里,完全冲突的悖论中经计算k=1,导致分母为零,在这种情况下,D-S融合规则不能用来做证据融合;在0信任悖论中,冲突因子k=0.99,应用(2)(3),合成结果为:
m(A)=0,m(B)=0.73,m(C)=0.27 (4);
由于m3(A)=0,导致m(A)=0,不管其他支撑证据有多强,命题A的最后结果都为0,由此可见融合规则具有一票否决的缺陷;在1信任悖论中,冲突因子k=0.9998,融合结果为:
m(A)=0,m(B)=1,m(C)=0 (5);
所有的基本概率分配函数都赋予命题B一个很小的BPA,但最终的融合结果却认为B是正确的命题,很显然这是荒谬的,在工程应用上它是不合理的;在高冲突悖论中,冲突因子k=0.99986,融合结果为:
m(A)=0,m(B)=0.3571,m(C)=0.4286,m(D)=0,m(D)=0.2143 (6);
基本概率分配函数m1,m3,m4,m5都赋予命题A大的BPA,但最终的融合结果却认为命题A是一个错误的命题,所以高度冲突的证据会导致最终的错误结果。
由于k→1和BPA之间高度冲突致使D-S理论失效,不能用来做证据融合,其本质原因是某个BPA→0或者BPA之间距离过大,高度冲突。为了解决这个问题,本发明对D-S理论进行改进。
优化的D-S证据理论
由于BPA→0或者BPA之间距离过大,高度冲突时,D-S理论做证据融合会失效,为了解决这个问题,许多研究人员提出了一些新的融合规则,大多数提出的方法都是通过改变融合规则来解决问题。
本发明所提出的方法则是通过改变BPA的维度来解决冲突,我们将BPA映射到另一维度让它们之间的距离变小,使得
Figure BDA0002965395660000082
但不改变它们的大小关系,为此,我们使用指数函数f(x)=exp(x)作为非线性映射函数,exp(x)是指数函数,因为它是增函数且f(x)>0,故满足要求,但m(A)∈[0,1](即0到1之间的小数),
Figure BDA0002965395660000091
exp(m(A))≥1,所以要对它进行归一化处理:
Figure BDA0002965395660000092
m'(Aj)为归一化后的m(A);
公式(7)是本发明改进算法的核心,它会把m(A)之间的距离缩小,使得m(A)∈(0,1),但不会改变他们之间的大小关系,这保持了(2)的有效性,因为不改变它们的大小关系,在证据融合时中,仍然能有效直观地选择高概率融合结果。
经过试验,发现如果存在m(A)=0的情况,执行(7)就能消除表2中的悖论,如表3所示:
Figure BDA0002965395660000093
总结起来,本发明改进的D-S证据理论的算法框架为(算法1):
Figure BDA0002965395660000101
表3里的值由表2里的值经过算法1求出并融合,由表3可知,完全冲突的悖论改进后k=0.959,最后融合结果为:
m'(A)=0.748,m'(B)=0.184,m'(C)=0.068 (8);
融合后认为命题A是正确命题,符合实际应用且消除分母为0融合规则失效的缺陷;0信任悖论经改进后,冲突因子k=0.966,融合结果为:
m'(A)=0.385,m'(B)=0.382,m'(C)=0.233 (9);
融合后认为命题A是正确命题,结果合乎逻辑,此方法消除一票否决的缺陷;1信任悖论经改进后,冲突因子k=0.961,融合结果为:
m'(A)=0.192,m'(B)=0.105,m'(C)=0.703 (10);
融合结果消除命题B是正确命题的错误结论,最终认为命题C是正确命题,符合实际工程应用;高冲突悖论经改进后,冲突因子k=0.998,融合结果为:
m'(A)=0.598,m'(B)=0.127,m'(C)=0.109,m'(D)=0.066,m'(E)=0.099(11);
融合结果修正命题A为正确命题,消除证据间高度冲突导致的错误结果。
经本发明提出的算法改进后,D-S证据理论有效消除了四种常见悖论,经改进的D-S证据理论融合结果合乎逻辑和实际工程应用,因此它是一种有效的改进。
S500,通过优化的D-S证据框架(融合模型)对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果;
S600,输出第三分类结果;
融合模型的整体框架:
本发明使用DNNs结合改进的D-S证据理论来对7种眼底图像做分类,以ResNet50作为m1,ResNet101作为m2分别产生BPA。由前文可知,D-S证据理论是一种强大的证据融合理论,但经典的D-S证据理论有它的局限性,当某个BPA→0时,会导致冲突因子k→1,那么在这种情况下,就不能使用经典的D-S证据理论来做数据融合了。也有很多学者对D-S证据理论提出了改进,这些方法都应用于传感器采集的数据融合,本发明提出的改进的D-S证据理论直接应用于图像分类,以两个DNN产生的BPA进行证据融合来识别眼疾。
有益效果
通过建立基于迁移学习的深度神经网络,两个迁移模型可以从不同层面提取眼底图像的图像特征,改进的D-S证据理论将两个网络的输出进行决策融合,减小模型间的固有偏差,提升了鲁棒性和识别准确率。通过改变RGB通道顺序进行数据增强,有效地增加了数据的多样性,降低了过拟合的风险,最终网络的准确率为92.37%,召回率为88.96%,特异性为98%,受试者工作特征曲线的面积为0.987,F1评分为0.914,Kappa系数为0.878。
为了评估所提出模型的性能,我们分别从准确率Precision,召回率Recall,特异性Specificity,F1评分(F1 Score),Kappa系数,受试者工作特征曲线(ROC)的曲线下面积(AUC)六个性能指标来度量模型的性能,如表4。
Figure BDA0002965395660000111
Figure BDA0002965395660000112
Figure BDA0002965395660000113
Figure BDA0002965395660000114
其中,
T为true表示正确;
F为false表示错误;
P为positive表示积极的,看成正例;
N为negative表示消极的,看成负例;
TP为预测为P(正例),预测对了,则原始:正—>结果:正,正例预测为正例;
TN为预测为N(负例),预测对了,则原始:负—>结果:负,负例预测为负例;
FP为预测为P(正例),预测错了,则原始:负—>结果:正,负例预测为正例;
FN为预测为N(负例),预测错了,则原始:正—>结果:负,正例预测为负例。
Figure BDA0002965395660000121
本发明提供的一种基于改进D-S证据的眼疾图像识别方法及系统与现有的技术相比具有以下有益效果:通过建立基于迁移学习的深度神经网络,两个迁移模型可以从不同层面提取眼底图像的图像特征,改进的D-S证据理论将两个网络的输出进行决策融合,减小模型间的固有偏差,提升了鲁棒性和识别准确率。通过改变RGB通道顺序进行数据增强,有效地增加了数据的多样性,降低了过拟合的风险,最终网络的准确率为92.37%,召回率为88.96%,特异性为98%,受试者工作特征曲线的面积为0.987,F1评分为0.914,Kappa系数为0.878。因此,综合各种指标,本专利中的算法拥有较好的实用前景和泛化能力。
本公开的实施例提供的一种基于改进D-S证据的眼疾图像识别系统,如图2所示为本公开的一种基于改进D-S证据的眼疾图像识别系统结构图,该实施例的一种基于改进D-S证据的眼疾图像识别系统包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于改进D-S证据的眼疾图像识别系统实施例中的步骤。
所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
图像采集单元,用于采集眼底图像;
图像增强单元,用于对眼底图像进行数据增强得到增强图像;
双重分类单元,用于分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
模型构建单元,用于构建融合模型;
结果融合单元,用于通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果。
所述一种基于改进D-S证据的眼疾图像识别系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于改进D-S证据的眼疾图像识别系统,可运行的系统可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种基于改进D-S证据的眼疾图像识别系统的示例,并不构成对一种基于改进D-S证据的眼疾图像识别系统的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种基于改进D-S证据的眼疾图像识别系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种基于改进D-S证据的眼疾图像识别系统运行系统的控制中心,利用各种接口和线路连接整个一种基于改进D-S证据的眼疾图像识别系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种基于改进D-S证据的眼疾图像识别系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (5)

1.一种基于改进D-S证据的眼疾图像识别方法,其特征在于,所述方法包括以下步骤:
S100,采集眼底图像;
S200,对眼底图像进行数据增强得到增强图像;
S300,分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
S400,构建融合模型;
S500,通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果;
其中,构建融合模型的方法为:
假设一组分类结果Θ={A1,A2,...An},令分类结果Ai(i∈[1,n])表示一个命题或假设,n为分类结果的数量,Θ称为辨识框架,A1,A2,...An彼此独立,构造映射函数m:2Θ→[0,1]作为基本概率分配函数BPA,映射函数m满足:
Figure FDA0003305211940000011
其中,
Figure FDA0003305211940000012
为空集,A是一个命题,m(A)为命题A为基本概率分配函数;
对于命题
Figure FDA0003305211940000013
在识别框架Θ中,存在有限个基本概率分配函数BPA:m1,m2,m3,...ml,融合式定义如下:
Figure FDA0003305211940000014
其中,
Figure FDA0003305211940000015
m1(A1)、m2(A2)...ml(An)为命题A1,A2,...An为基本概率分配函数;
k表示冲突因子,表示分类结果之间的矛盾程度,(1-k)是归一化系数;
以指数函数f(x)=exp(x)作为非线性映射函数,因为它是增函数且f(x)>0,故满足要求,但m(A)∈[0,1],
Figure FDA0003305211940000021
exp(m(A))≥1,所以要对m(A)进行归一化处理:
Figure FDA0003305211940000022
通过归一化处理把m(A)之间的距离缩小,使得m(A)∈(0,1),但不会改变分类结果之间的大小关系,这保持了融合式的有效性,因为不改变分类结果的大小关系,在证据融合时中,仍然能有效直观地选择高概率融合结果;
经过试验,发现如果存在m(A)=0的情况,通过归一化处理就能消除的悖论;
总结起来,构建融合模型为:
确保识别框架Θ={A1,A2,...An}完备有限,用mi
Figure FDA0003305211940000026
进行概率分配,使其满足式子(1),i∈[1,l];
S401,令变量i,j的初始值为1;i∈[1,l],j∈[1,n];
S402,通过公式:
Figure FDA0003305211940000023
对基本概率进行映射和归一化;
S403,当j≤n时,令j的值增加1并转到步骤S402;当j>n时,设置j的值为1并转到步骤S404;
S404,当i≤l时,令i的值增加1并转到步骤S402;当i>l时,转到步骤S405;
S405,通过公式:
Figure FDA0003305211940000024
计算冲突因子k,k表示分类结果之间的矛盾程度,(1-k)是归一化系数;
S406,通过公式
Figure FDA0003305211940000025
进行证据融合。
2.根据权利要求1所述的一种基于改进D-S证据的眼疾图像识别方法,其特征在于,在S100中,采集眼底图像的方法为:采集的眼底图像源自于ODIR-5K医学影像数据集,包含5,000名患者的彩色眼底照片;所述彩色眼底照片通过Canon,Zeiss和Kowa中任意一种相机捕获,并将图像尺寸缩为521×521×3像素。
3.根据权利要求1所述的一种基于改进D-S证据的眼疾图像识别方法,其特征在于,在S200中,对眼底图像进行数据增强得到增强图像的方法为:
通过平移、旋转、翻转、裁剪得到预处理图像,并通过标签保留变换来增加预处理图像的数量,其中,使用随机旋转、水平镜像、垂直镜像、改变RGB通道为RBG、改变RGB通道为BGR的方法中任意一种或多种增强预处理图像得到多个增强图像。
4.根据权利要求1所述的一种基于改进D-S证据的眼疾图像识别方法,其特征在于,在S300中,分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果的方法为:
第一迁移网络包含一个ResNet50模型,最后全连接层的神经元的个数为2048,优化器为Adam;第二迁移网络包含一个ResNet101模型,最后全连接层神经元的个数为2048,优化器为Adam;第一迁移网络与第二迁移网络的学习速率、正则项系数是超参数,通过训练损失和测试准确率进行调整;第一迁移网络与第二迁移网络的最后一层为分类层,均采用CrossEntropyLoss函数来构造损失函数;
用训练集来训练第一迁移网络与第二迁移网络,利用反向传播,通过Adam优化器来更新网络参数,每次送入第一迁移网络与第二迁移网络的训练样本批量为15,训练次数为50;根据训练损失和测试准确率调整超参数,最终第一迁移网络与第二迁移网络的学习率均为0.00005,正则化参数均为0.000003;其中,训练集划分自于增强图像中。
5.一种基于改进D-S证据的眼疾图像识别系统,其特征在于,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
图像采集单元,用于采集眼底图像;
图像增强单元,用于对眼底图像进行数据增强得到增强图像;
双重分类单元,用于分别通过第一迁移网络和第二迁移网络对增强图像进行分类得到第一分类结果和第二分类结果;
模型构建单元,用于构建融合模型;
结果融合单元,用于通过融合模型对增强图像的第一分类结果和第二分类结果进行融合得到第三分类结果;
其中,构建融合模型的方法为:
假设一组分类结果Θ={A1,A2,...An},令分类结果Ai(i∈[1,n])表示一个命题或假设,n为分类结果的数量,Θ称为辨识框架,A1,A2,...An彼此独立,构造映射函数m:2Θ→[0,1]作为基本概率分配函数BPA,映射函数m满足:
Figure FDA0003305211940000041
其中,
Figure FDA0003305211940000042
为空集,A是一个命题,m(A)为命题A为基本概率分配函数;
对于命题
Figure FDA0003305211940000043
在识别框架Θ中,存在有限个基本概率分配函数BPA:m1,m2,m3,...ml,融合式定义如下:
Figure FDA0003305211940000044
其中,
Figure FDA0003305211940000045
m1(A1)、m2(A2)...ml(An)为命题A1,A2,...An为基本概率分配函数;
k表示冲突因子,表示分类结果之间的矛盾程度,(1-k)是归一化系数;
以指数函数f(x)=exp(x)作为非线性映射函数,因为它是增函数且f(x)>0,故满足要求,但m(A)∈[0,1],
Figure FDA0003305211940000046
exp(m(A))≥1,所以要对m(A)进行归一化处理:
Figure FDA0003305211940000047
通过归一化处理把m(A)之间的距离缩小,使得m(A)∈(0,1),但不会改变分类结果之间的大小关系,这保持了融合式的有效性,因为不改变分类结果的大小关系,在证据融合时中,仍然能有效直观地选择高概率融合结果;
经过试验,发现如果存在m(A)=0的情况,通过归一化处理就能消除的悖论;
总结起来,构建融合模型为:
确保识别框架Θ={A1,A2,...An}完备有限,用mi
Figure FDA0003305211940000048
进行概率分配,使其满足式子(1),i∈[1,l];
S401,令变量i,j的初始值为1;i∈[1,l],j∈[1,n];
S402,通过公式:
Figure FDA0003305211940000051
对基本概率进行映射和归一化;
S403,当j≤n时,令j的值增加1并转到步骤S402;当j>n时,设置j的值为1并转到步骤S404;
S404,当i≤l时,令i的值增加1并转到步骤S402;当i>l时,转到步骤S405;
S405,通过公式:
Figure FDA0003305211940000052
计算冲突因子k,k表示分类结果之间的矛盾程度,(1-k)是归一化系数;
S406,通过公式
Figure FDA0003305211940000053
进行证据融合。
CN202110249477.3A 2021-03-08 2021-03-08 一种基于改进d-s证据的眼疾图像识别方法及系统 Active CN113052012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249477.3A CN113052012B (zh) 2021-03-08 2021-03-08 一种基于改进d-s证据的眼疾图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249477.3A CN113052012B (zh) 2021-03-08 2021-03-08 一种基于改进d-s证据的眼疾图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN113052012A CN113052012A (zh) 2021-06-29
CN113052012B true CN113052012B (zh) 2021-11-19

Family

ID=76510633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249477.3A Active CN113052012B (zh) 2021-03-08 2021-03-08 一种基于改进d-s证据的眼疾图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN113052012B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807324A (zh) * 2021-11-02 2021-12-17 中国人民解放军32021部队 一种声呐图像识别方法、装置、电子设备和储存介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084803A (zh) * 2019-04-29 2019-08-02 南京星程智能科技有限公司 基于人类视觉系统的眼底图像质量评估方法
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112163599A (zh) * 2020-09-08 2021-01-01 北京工商大学 一种基于多尺度多层次融合的图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107679525B (zh) * 2017-11-01 2022-11-29 腾讯科技(深圳)有限公司 图像分类方法、装置及计算机可读存储介质
CN108921227B (zh) * 2018-07-11 2022-04-08 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084803A (zh) * 2019-04-29 2019-08-02 南京星程智能科技有限公司 基于人类视觉系统的眼底图像质量评估方法
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112163599A (zh) * 2020-09-08 2021-01-01 北京工商大学 一种基于多尺度多层次融合的图像分类方法

Also Published As

Publication number Publication date
CN113052012A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
Zhang et al. Automatic cataract grading methods based on deep learning
Li et al. Fully automated detection of retinal disorders by image-based deep learning
Li et al. Deep learning-based automated detection of retinal diseases using optical coherence tomography images
Tsiknakis et al. Deep learning for diabetic retinopathy detection and classification based on fundus images: A review
Tayal et al. DL-CNN-based approach with image processing techniques for diagnosis of retinal diseases
Mayro et al. The impact of artificial intelligence in the diagnosis and management of glaucoma
Benet et al. Artificial intelligence: the unstoppable revolution in ophthalmology
Kurmann et al. Expert-level automated biomarker identification in optical coherence tomography scans
Abdelmotaal et al. Classification of color-coded Scheimpflug camera corneal tomography images using deep learning
Xu et al. A hierarchical deep learning approach with transparency and interpretability based on small samples for glaucoma diagnosis
Li et al. Automated detection of retinal exudates and drusen in ultra-widefield fundus images based on deep learning
Lin et al. Automated diagnosing primary open-angle glaucoma from fundus image by simulating human’s grading with deep learning
Panda et al. Glauconet: patch-based residual deep learning network for optic disc and cup segmentation towards glaucoma assessment
CN113052012B (zh) 一种基于改进d-s证据的眼疾图像识别方法及系统
Jiang et al. Automatic classification of heterogeneous slit-illumination images using an ensemble of cost-sensitive convolutional neural networks
Yu et al. Intelligent detection and applied research on diabetic retinopathy based on the residual attention network
Fu et al. A retrospective comparison of deep learning to manual annotations for optic disc and optic cup segmentation in fundus photographs
Gutierrez et al. Artificial intelligence in glaucoma: posterior segment optical coherence tomography
Zheng et al. Development and validation of deep learning algorithms for automated eye laterality detection with anterior segment photography
Olivas et al. Glaucoma detection in Latino population through OCT’s RNFL thickness map using transfer learning
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
Naik et al. Efficient diabetic retinopathy detection using convolutional neural network and data augmentation
Hsu et al. Deep learning for automated diabetic retinopathy screening fused with heterogeneous data from EHRs can lead to earlier referral decisions
Zhou et al. Deep learning-based classification of the anterior chamber angle in glaucoma gonioscopy
Derwin et al. Hybrid multi-kernel SVM algorithm for detection of microaneurysm in color fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant