CN115829980B - 一种眼底照片的图像识别方法、装置、设备及存储介质 - Google Patents

一种眼底照片的图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115829980B
CN115829980B CN202211595444.5A CN202211595444A CN115829980B CN 115829980 B CN115829980 B CN 115829980B CN 202211595444 A CN202211595444 A CN 202211595444A CN 115829980 B CN115829980 B CN 115829980B
Authority
CN
China
Prior art keywords
segmentation
image
network
loss
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211595444.5A
Other languages
English (en)
Other versions
CN115829980A (zh
Inventor
凌晓
曾昭翔
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hetao Technology Co ltd
Original Assignee
Shenzhen Hetao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hetao Technology Co ltd filed Critical Shenzhen Hetao Technology Co ltd
Priority to CN202211595444.5A priority Critical patent/CN115829980B/zh
Publication of CN115829980A publication Critical patent/CN115829980A/zh
Application granted granted Critical
Publication of CN115829980B publication Critical patent/CN115829980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及人工智能技术领域,尤其涉及一种眼底照片的图像识别方法、装置、设备及存储介质。本发明中,通过多层级的分割网络对待识别图形进行分割,并根据待识别图像中的不同的分割目标使用不同层级的分割网络,提高了待识别图像中的不同分割目标的分割精度,最后基于分割网络参数训练分类模型,对待识别图像进行评级分类,并将评级分类结果与基于分割结果得到的评级分类结果进行处理,得到最终的目标评级分类结果,提高了待识别图像的评级分类精度。

Description

一种眼底照片的图像识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种眼底照片的图像识别方法、装置、设备及存储介质。
背景技术
糖网病病变等级评级工作通常遵循较为详细的五级病变等级(即正常、轻度非增殖、中度非增殖、重度非增殖和增殖)。在现有的病变评级工作中,最引人注目的就是利用深度卷积神经网络通过迁移学习的方式在大量的高质量标记的眼底图像上进行训练,直接得到彩色眼底图像的病变评级。尽管这类方法取得了媲美眼科专家的病变诊断水平,但这种绕过病灶检测直接进行病变筛查的方式并不被眼科医生所普遍接受,因为一旦发生诊断错误,网络无法给出直观的提示以便眼科医生进行核查,造成糖网病病变等级评级的精度较低,因此,在对眼底图像进行病变评级分类的过程中,如何提高图像评级分类的精度成为亟待解决的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种眼底照片的图像识别方法、装置、设备及存储介质,以解决在对眼底图像进行病变评级分类的过程中,病变评级分类精度较低的问题。
本申请实施例的第一方面提供了一种眼底照片的图像识别方法,所述图像识别方法包括:
使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数;
从N个特征图中选取至少两个特征图,使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果;
对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将所述分割特征图和与所述分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,所述分割图为与所述待识别图像分辨率相同的图像;
对每个分割图中连通域个数进行统计,得到所述待识别图像中的异常结果,根据所述待识别图像中的异常结果对所述待识别图像进行评级分类,得到第一评级分类结果;
使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对所述第一评级分类结果与所述第二评级分类结果进行目标评级分类,得到所述待识别图像对应的目标评级分类结果。
本申请实施例的第二方面提供了一种眼底照片的图像识别装置,其特征在于,所述图像识别装置包括:
下采样处理模块,用于使用下采样处理网络对所述待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数;
分割模块,用于从N个特征图中选取至少两个特征图,使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果;
上采样模块,用于对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将所述分割特征图和与所述分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,所述分割图为与所述待识别图像分辨率相同的图像;
第一评级分类模块,用于对每个分割图中连通域个数进行统计,得到所述待识别图像中的异常结果,根据所述待识别图像中的异常结果对所述待识别图像进行评级分类,得到第一评级分类结果;
第二评级分类模块,用于使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对所述第一评级分类结果与所述第二评级分类结果进行目标评级分类,得到所述待识别图像对应的目标评级分类结果。
第三方面,本发明实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的图像识别方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的图像识别方法。
本发明与现有技术相比存在的有益效果是:
使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数,从N个特征图中选取至少两个特征图,使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果,对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将分割特征图和与分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,分割图为与待识别图像分辨率相同的图像,对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果,根据待识别图像中的异常结果对待识别图像进行评级分类,得到第一评级分类结果,使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对第一评级分类结果与第二评级分类结果进行目标评级分类,得到待识别图像对应的目标评级分类结果。本发明中,通过多层级的分割网络对待识别图形进行分割,并根据待识别图像中的不同的分割目标使用不同层级的分割网络,提高了待识别图像中的不同分割目标的分割精度,最后基于分割网络参数训练分类模型,对待识别图像进行评级分类,并将评级分类结果与基于分割结果得到的评级分类结果进行处理,得到最终的目标评级分类结果,提高了待识别图像的评级分类精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种眼底照片的图像识别方法的一应用环境示意图;
图2是本发明一实施例提供的一种眼底照片的图像识别方法的流程示意图;
图3是本发明一实施例提供的眼底照片的图像;
图4是本发明一实施例提供的眼底照片待识别图像的预处理结果图;
图5是本发明一实施例提供的眼底照片待识别图像的微血管瘤分割图;
图6是本发明一实施例提供的眼底照片待识别图像的棉绒斑分割图;
图7是本发明一实施例提供的眼底照片待识别图像的出血分割图;
图8是本发明一实施例提供的眼底照片待识别图像的硬性渗出分割图;
图9是本发明一实施例提供的眼底照片待识别图像的分割图;
图10是本发明一实施例提供的一种眼底照片的图像识别装置的结构示意图;
图11是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本发明说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本发明说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
应理解,以下实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
本发明一实施例提供的一种眼底照片的图像识别方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2,是本发明一实施例提供的眼底照片的图像识别方法的流程示意图,上述眼底照片的图像识别方法可以应用于图1中的服务端,上述服务端连接相应的客户端,如图2所示,该眼底照片的图像识别方法可以包括以下步骤。
S201:使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图。
在步骤S201中,下采样处理网络用于提取待识别图像中的特征,每一次下采样处理后,得到一个对应的特征图,将对应的特征再次进行下采样处理,再次得到一个对应的特征图,使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图。
本实施例中,下采样处理网络由最基本的残差卷积块作为其主要的结构单元,每个残差卷积块的卷积层之后都紧跟了批正则化层和激活函数层,对待识别图像进行连续5次的下采样处理,得到5个对应的特征图。其中,下采样处理网络中的残差卷积块可以包括多层卷积层,使用卷积层与了批正则化层和激活函数层连接。本实施例中残差卷积块可以设有第一卷积层、第二卷积层和第三卷积层,第一卷积层在其输出端与第一正则化层连接,第一正则化层在其输出端与第一激活函数层连接,第二卷积层在其输出端与二正则化层连接,第二正则化层在其输出端与第二激活函数层连接,第一激活函数层的输出端与第二卷积层连接,同时第一激活函数层的输出端还与第三卷积层的输出端形成跳跃连接;实际应用时,残差卷积块利用第一卷积层与第一激活函数层对输入图像进行下采样处理,利用第一激活函数层与第三卷积层形成的跳跃连接将特征进行叠加,使得原特征增加输入特征和输出特征的差异。
需要说明的是,每一次下采样处理后得到特征图分辨大小相对于上一次的特征图的分辨率大小缩小一倍,若第一次进行下采样处理,则第一次下采样处理得到的特征图分辨率大小相对于待识别图像分辨率大小缩小一倍。
本实施例中,对待识别图像连续进行5次下采样处理,将分辨率大小为640×640的待识别图像进行第一次下采样处理,得到分辨率大小为320×320的特征图,对分辨率大小为320×320的特征图进行第二次下采样处理,得到分辨率大小为160×160的特征图,对分辨率大小为160×160的特征图进行第三次下采样处理,得到分辨率大小为80×80的特征图,对分辨率大小为80×80×48的特征图进行第四次下采样处理,得到分辨率大小为40×40的特征图,对分辨率大小为40×40的特征图进行第五次下采样处理,得到分辨率大小为20×20的特征图。
可选地,使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征,包括:
获取待识别图像,对待识别图像进行预处理,得到标准图像;
将标准图像输入至下采样处理网络中,进行连续N次的下采样处理,输出N个特征图。
本实施例中,参见图3,是本发明一实施例提供的眼底照片的图像,参见图4,是本发明一实施例提供的眼底照片待识别图像的预处理结果图,在大规模的糖网病筛查中,由于不同的眼底相机设备、成像条件以及采集人员业务水平等因素的影响,获取到的彩色眼底图像往往会有不一样的图像分辨率、明亮程度和对比度。这些各异的图像参数往往会对标准化的识别系统产生干扰。可以通过估计眼底图像中的视场大小来对眼底图像的尺度进行大致的归一化,这是因为一般成人眼球的物理大小是比较一致的,然后利用高斯滤波器来估计眼底图像的背景亮度,再通过背景减除的方式完成整体图像的亮度均衡和对比度增强。为了使所有图像具有一致的长宽,提取后的图像四周还需要进行填充处理,利用图像长宽比进行归一化处理的方式,该方法可以更好地保留原始图像中的几何结构信息,防止其发生扭曲导致眼底结构的信息失真。本实施例中,将获取到眼底照片通过预处理后,得到分辨率大小为640×640×3的标准待识别图像,将标准图像输入至下采样处理网络中,进行连续N次的下采样处理,输出N个特征图。
S202:从N个特征图中选取至少两个特征图,使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果。
在步骤S202中,在对眼底照片的图像进行识别的过程中,往往需要识别出眼底照片中的异常像素,由于眼底照片中的异常原因包括多种,所以在N个特征图中选取至少两个特征图进行图像分割,得到对应的分割结果,检测出对应的异常目标。
本实施例中,将对眼底照片中的糖网病病灶进行识别,糖网病病灶的检测分割工作主要检测四类病灶:微血管瘤、出血、硬性渗出、棉绒斑。微血管瘤常出现于小动脉和小静脉之间的毛细血管网中,是初期糖网病的重要特征。当微血管瘤破裂后,将会形成出血。出血在彩色眼底图像上一般呈暗红色,其大小形状多样,通常以斑点状居多,同时由于出血和微动脉瘤在颜色上比较接近,甚至一些小的点状出血和微动脉瘤在形状上也非常相似,因此有很多方法把出血和微动脉瘤合称为红色病灶进行检测。硬性渗出和棉绒斑则是由于毛细血管前小动脉阻塞,神经纤维层微小梗死导致的组织液渗出,在彩色眼底图像上一般都具有明亮的强度特点。
对眼底照片中的糖网病病灶进行识别时,从N个特征图中选取其中的4个特征图,使用分割网络对其中的4个特征图进行图像分割,将分割网络划分为4个分割子网络,每个分割子网络分别对对应的特征图进行分割,得到对应的分割结果。
可选地,从N个特征图中选取至少两个特征图,使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果,包括:
根据待识别图像中的不同分割目标的尺寸大小,从N个特征图中选取与不同分割目标的尺寸大小对应的至少两个特征图;
使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果。
本实施里中,对眼底照片中的糖网病病灶进行识别,由于微血管瘤在眼底图像中十分细小,在多次下采样处理操作后很大可能会“消失不见”,因此在检测微血管瘤时不宜使用下采样处理次数过多即分辨率过小的特征图,本实施例中选择对待识别图像进行连续两次下采样处理后得到的特征图来检测微血管瘤,所以第一个分割子网络对连续两次下采样处理后得到的特征图进行分割,得到微血管瘤分割结果。在检测棉绒斑时,棉绒斑的大小普遍来说比微血管瘤稍大,本实施例中选择对待识别图像进行连续三次下采样处理后得到的特征图来检测棉绒斑,所以第二个分割子网络对连续三次下采样处理后得到的特征图进行分割,得到棉绒斑分割结果。在检测出血和硬性渗出时,出血和硬性渗出的在眼底图像中一般而言面积较大,本实施例中选择对待识别图像进行连续五次下采样处理后得到的特征图来检测出血和硬性渗出,所以第三个分割子网络与第四个分割子网络对连续五次下采样处理后得到的特征图进行分割,得到出血和硬性渗出割结果。使用不同下采样处理次数得到的特征图对不同大小的眼底病灶进行检测分割,可以避免算法忽略面积较小的眼底病灶,提升病灶分割以及病变评级的准确度。
需要说明的是,第三个分割子网络与第四个分割自网络都是对连续五次下采样处理后得到的特征图进行分割,分割子网络结构相同,所以将第三个分割子网络与第四个分割子网络进行合并得到合并后的分割子网络,在不同的通道输出不同的分割结果,所以第三个分割子网络比第一个分割子网络与第二个分割子网络输出的分割结果多一个通道数。将第三个分割子网络与第四个分割子网络进行合并,减少了分割网络中的网络参数,可以提高分割效率。
需要说明的是,在通过分割网络进行分割时之前,需要对分割网络进行训练,得到训练好的分割网络,使用训练好的分割网络对特征图进行分割处理,本实施例中,对下采样处理网络与分割网络进行同时训练,训练时,首先获取分割数据集,其中分割数据集中包括分割样本图像与分割样本图像对应的标签值,使用分割数据集对分割网络进行训练,当分割网络中包括多个分割子网络时,基于每个分割子网络中对应的损失函数构建训练损失函数,对每个分割子网络中对应的损失函数设置不同的权重,得到训练损失函数,根据训练损失函数对下采样处理网络与分割网络进行训练,得到训练好的下采样处理网络与分割网络,使用训练好的下采样处理网络与分割网络对待识别图像进行下采样处理与分割处理。
S203:对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将分割特征图和与分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,分割图为与待识别图像分辨率相同的图像。
在步骤S203中,将分割结果进行上采样处理,得到对应的分割图,分割图的分辨率大小与进行第一次下采样处理时的待识别图像的分辨率大小相等。
本实施例中,对分割结果进行上采样处理,得到对应的分割特征图,进行上采样处理时,可以通过上采样网络进行上采样处理,上采样网络可以包括一个上采样层,本实施例不限于上采样层的数量。在任一上采样层中,可以使用双线性插值对该上采样层中输入的特征图的尺寸进行放大或还原。
对于任一上采样网络,将该分割结果作为该上采样网络中上采样层的输入,获取该上采样网络中上采样层输出的特征,可以将分割结果输入金字塔池化层,金字塔池化层可以将输入的特征进行不同尺度的池化。将池化后输出的不同尺度的特征图与该上采样网络中上采样层输出的特征图进行融合,可以将融合结果输入该上采样网络中上采样层的下一层,经过该上采样网络中所有层后获取该上采样模块输出的特征图,将该上采样网络输出的特征图输入下一个上采样网络,按照这种方式,直到经过所有的上采样网络,获取最后一个上采样网络输出的特征图为分割图。
由于在下采样处理过程中会导致细节信息丢失,为了减少细节信息丢失,可以在补充浅层特征的过程中,将下采样处理模块输出的特征图先经过金字塔池化层,通过学习可以获取从浅层到深层的多尺度特征,最后再与上采样层输出的特征图进行融合,使得图像分割可以提取到更加丰富的浅层细节特征和深层特征。
可选地,对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将分割特征图和与分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图之后,还包括:
若分割图的分辨率大小与待识别图像分辨率的大小不相等,对分割图进行上采样,得到上采样后的分割图;
若上采样后的分割图与待识别图像分辨率的大小相等,将上采样后的分割图作为分割结果对应的分割图。
本实施例中,对每个分割结果进行上采样,得到对应的分割图后,若分割图的分辨率大小与待识别图像分辨率的大小不相等,对分割图进行上采样,得到上采样后的分割图,若上采样后的分割图与待识别图像分辨率的大小相等,将上采样后的分割图作为分割结果对应的分割图。
例如,对眼底照片中的糖网病病灶进行识别时,得到的分割结果是基于连续多次下采样处理后得到的特征图进行分割得到的,若对分割结果进行一次上采样,得到的分割图的分辨率大小与待识别图像分辨率的大小不相等,因此,对分割结果进行多次的上采样。
需要说明的是,在对上采样分割图进行再次上采样处理时,将与上采样分割结果对应的图像分辨率大小相等的下采样处理得到的特征图进行融合,并在下采样处理网络与上采样网络之间引入残差网络,进行残差连接,很好地解决了分割网络训练过程中的过拟合以及梯度消失爆炸的问题,并且,能够最大程度保留来自上一特征图的特征信息,从而提升分割图的分割准确率,进而为糖网病病灶分析等辅助诊断评估提供有效参考依据,提高精准医学科研量化分析能力。另外,只需将待识别图像输入到预先训练好的网络中即可自动获取到不同病变的分割图像,显著提升了分割效率。
例如,对待识别图像进行连续两次下采样处理后得到的特征图来检测微血管瘤,得到微血管瘤分割结果,对微血管瘤分割结果进行上采样处理,得到320×320大小的分割图,对分辨率大小为320×320的分割图再次进行上采样,得到640×640大小的上采样后的分割图,将640×640大小的上采样后的分割图通过卷积后得到640×640的微血管瘤分割结果对应的分割图,参见图5,是本发明一实施例提供的眼底照片待识别图像的微血管瘤分割图。对待识别图像进行连续三次下采样处理后得到的特征图来检测棉绒斑,得到棉绒斑分割结果,对棉绒斑分割结果进行上采样处理,得到160×160大小的分割图,对分辨率大小为160×160的分割图再次进行上采样,得到320×320大小的上采样后的分割图,将320×320大小的上采样后的分割图再进行上采样,得到640×640大小的上采样后的分割图,将640×640大小分割图通过卷积得到640×640×2的棉绒斑分割结果对应的分割图,参见图6,是本发明一实施例提供的眼底照片待识别图像的棉绒斑分割图。对待识别图像进行连续五次下采样处理后得到的特征图来检测出血和硬性渗出,得到出血和硬性渗出分割结果,对出血和硬性渗出进行上采样处理,得到40×40大小的分割图,对分辨率大小为40×40的分割图再次进行上采样,得到80×80大小的上采样后的分割图,对分辨率大小为80×80的上采样后的分割图再次进行上采样,得到160×160大小的上采样后的分割图,对分辨率大小为160×160的上采样后的分割图再次进行上采样,得到320×320大小的上采样后的分割图,对分辨率大小为320×320的上采样后的分割图再次进行上采样,得到640×640大小的上采样后的分割图,将640×640大小的分割图通过卷积后得到640×640×3的出血和硬性渗出分割结果对应的分割图,参见图7,是本发明一实施例提供的眼底照片待识别图像的出血分割图,参见图8,是本发明一实施例提供的眼底照片待识别图像的硬性渗出分割图。当将各个分割图进行合并时,得到待识别图像对应的分割图,参见图9,是本发明一实施例提供的眼底照片待识别图像的分割图。
S204:对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果,根据待识别图像中的异常结果对待识别图像进行评级分类,得到第一评级分类结果。
本实施例中,若待识别图像中存在异常,根据得到的分割图可以统计每个分割图中的连通域个数,根据异常情况的大小,得到分割图中连通域个数的个数不同。
本实施例中,统计分割图中连通域个数,可以作为对待识别图像病变评级的依据,若得到的连通域个数较多,则认为待识别图像中异常情况较严重。本实施例中,对眼底照片中的糖网病病变进行评级,糖网病病变等级评级工作通常遵循较为详细的五级病变等级(即正常、轻度非增殖、中度非增殖、重度非增殖和增殖),根据对应分割图结果,统计分割图中连通域个数,眼底照片中的糖网病病变进行评级。
可选地,对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果,根据待识别图像中的异常结果对待识别图像进行评级分类,得到第一评级分类结果,包括:
对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果;
根据异常结果,计算待识别图像的连通域个数,基于连通域个数,对待识别图像进行评级分类,得到第一评级分类结果。
本实施例中,对每个分割图中连通域个数进行统计,计算每个分割图中连通域个数与连通域个数在所有分割图中所占的比例,由于每个分割图中对应的分割对象不同,造成不同对象的分割图中连通域个数的差距较大,对不同的分割图中连通域个数在所有分割图中所占的比例设置不同的权重,计算每个分割图中连通域个数所占比例值之和,基于每个分割图中连通域个数所占比例值之和对待识别图像进行评级分类,得到第一评级分类结果。例如,本实施例中,对识别眼底照片中的糖网病病灶,可以将评级分类结果分为五级病变等级(即正常、轻度非增殖、中度非增殖、重度非增殖和增殖)。
S205:使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对第一评级分类结果与第二评级分类结果进行目标评级分类,得到待识别图像对应的目标评级分类结果。
在步骤S205中,使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,对第一评级分类结果与第二评级分类结果进行评级分类,得到最终的目标评级分类结果。
本实施例中,预设分类网络由池化层与全连接层组成,综合待识别图像中的各类特征,将特征从高维特征空间中映射到一维的等级分类空间中,得到第二评级分类结果。根据预设评级分类规则,对第一评级分类结果与第二评级分类结果进行目标评级分类,得到待识别图像对应的目标评级分类结果,目标评级分类中的预设评级分类规则可以是对第一评级分类结果与第二评级分类结果设置不同的权重值,权重值相加为1,本实施里中,可以设置第二评级分类结果的权重值大于第一评级分类结果的权重值。得到待识别图像对应的目标评级分类结果。
可选地,使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果之前,还包括:
获取初始分类网络、样本眼底照片对应的第N次下采样处理得到的样本特征图、标准眼底照片第N次下采样处理得到的标准特征图、样本眼底照片对应的标签值与标准眼底照片对应的标签值,标准眼底照片为无病变的眼底照片;
使用初始分类网络对样本眼底照片对应的第N次下采样处理得到的样本特征图进行评级分类,得到对应第一初始评级分类结果,使用初始分类网络对标准眼底照片第N次下采样处理得到的标准特征图进行评级分类,得到对应第二初始评级分类结果;
计算样本眼底照片对应的标签值与第一初始评级分类结果之间的第一差值损失、第一均方差损失与第一交叉熵损失,计算标准眼底照片对应的标签值与第二初始评级分类结果之间的第二差值损失、第二均方差损失与第二交叉熵损失,计算基于标准眼底照片对应的标签值和样本眼底照片对应的标签值得到的第一差值,与基于第一初始评级分类结果和第二评级分类结果得到的第二差值之间的第三差值损失、第三均方差损失与第三交叉熵损失;
将第一均方差损失与第一交叉熵损失之和确定为第一权重值,将第二均方差损失与第二交叉熵损失之和确定为第二权重值,将第三均方差损失与第三交叉熵损失之和确定为第三权重值;
将第一差值损失、第二差值损失与第三差值损失分别与第一权重值、第二权重值与第三权重值相乘后相加,构建分类损失函数;
基于分类损失函数与分割网络模型参数,对初始分类网络进行训练,得到训练好的分类网络,将训练好的分类网络作为预设分类网络。
本实施例中,初始分类网络进行训练时,在分割网络固定的基础上对初始分类网络进行训练,以便于使分割网络得到的分割结果更准确,对初始分类网络进行训练时,使用的损失函数为基于均方差损失函数与交叉损失函数得到的分类损失函数,对初始分类网络进行训练,得到训练好的分类网络,将训练好的分类网络作为预设分类网络。
需要说明的是,本实施例中在构建分类损失函数时引入标准眼底照片图像,标准眼底照片图像用于表示无病变的眼底照片,将标准眼底照片图像输入至初始分类网络中,输出的评级分类与对应的标签值之间的差值,作为损失函数的一部分。
具体地,将样本眼底照片第N次下采样处理得到的样本特征图输入至初始分类网络中,输出样本眼底照片对应的第一初始评级分类结果,将标准眼底照片对应的第N次下采样处理得到的标准特征图输入至初始分类网络中,输出标准眼底照片对应的第二初始评级分类结果。
计算样本眼底照片对应的第一初始评级分类结果与样本眼底照片对应的标签值之间的第一差值损失、第一均方差损失与第一交叉熵损失,计算标准眼底照片对应的第二初始评级分类结果与标准眼底照片对应的标签值之间的第二差值损失、第二均方差损失与第二交叉熵损失,计算基于标准眼底照片对应的标签值和样本眼底照片对应的标签值得到的第一差值,与基于第一初始评级分类结果和第二评级分类结果得到的第二差值之间的第三差值损失、第三均方差损失与第三交叉熵损失,其中第一差值损失通过第一初始评级分类结果与样本眼底照片对应的标签值之间的差值得到,第二差值损失通过第二初始评级分类结果与标准眼底照片对应的标签值之间之间的差值得到。
对第一差值损失、第二差值损失与第三差值损失设置不同的权重值,构建分类损失函数,在设置权重值时,根据对应的损失比重设置每个损失对应的权重值,通过每个损失对应的均方差损失与交叉熵损失之和确定每个损失对应的损失比重,均方差损失与交叉熵损失之和越大,对应损失的权重值越大,例如,根据第一均方差损失与第一交叉熵损失之和确定第一差值损失对应的损失比重,根据第二均方差损失与第二交叉熵损失之和确定第二差值损失对应的损失比重,根据第三均方差损失与第三交叉熵损失之和确定第三差值损失对应的损失比重,得到对应的权重值,将第一差值损失、第二差值损失与第三差值损失与对应的权重值相乘后相加,构建分类损失函数,分类损失函数将多种可能性损失。
基于分类损失函数与分割网络模型参数,对初始分类网络进行训练,得到训练好的分类网络,将训练好的分类网络作为预设分类网络,本实施例中,在对初始分类网络进行训练时,分类损失函数包括多种损失,可以提高初始分类网络的训练精度,使训练好的分类网络在对特征图进行评级分类时,提高评级分类的精度。
需要说明的是,在对初始分类网络进行训练时,固定下采样处理网络的权重参数与分割网络模型参数,对初始分类网络进行训练,训练时,基于上述中的分类损失函数对初始分类网络进行训练,得到训练好的分类网络,固定下采样处理网络的权重参数与分割网络模型参数以便于保证分割网络的的分割精度,在分割网络分割精度的基础上与下采样处理网络特征提取精度的基础上对初始分类网络进行训练,分割网络分割精度与下采样处理网络特征提取精度可以保证通过分割网络得到的分割图得到的第一评级分类结果的准确性和通过下采样处理网络得到的特征图的准确性,从而保证目标评级分类结果的精度。需要说明的是,得到训练好的分类网络后,还可以将对应的训练好的分类网络与分割网络进行微调,对训练好的分类网络进行微调时,首先获取对应的分割分类数据集,其中分割分类数据集中包括眼底照片与眼底照片对应的分类标签与分割标签,使用分割分类数据集对训练好的分类网络与分割网络进行微调,微调时,微调分类网络中的全连接层与分割网络中的最后一层的参数,当分割网络包括多个分割子网络时,微调分类网络中的全连接层与每个分割子网络中的最后一层的参数,得到微调后的分割网络与微调后的分类网络,将微调后的分割网络作为预设分类网络,使用微调后的分割网络与微调后的分类网络对待识别图像进行分割与分类,以提高对待识别图像的分割结果与评级分类结果。
使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数,从N个特征图中选取至少两个特征图,使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果,对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将分割特征图和与分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,分割图为与待识别图像分辨率相同的图像,对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果,根据待识别图像中的异常结果对待识别图像进行评级分类,得到第一评级分类结果,使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对第一评级分类结果与第二评级分类结果进行目标评级分类,得到待识别图像对应的目标评级分类结果。本发明中,通过多层级的分割网络对待识别图形进行分割,并根据待识别图像中的不同的分割目标使用不同层级的分割网络,提高了待识别图像中的不同分割目标的分割精度,最后基于分割网络参数训练分类模型,对待识别图像进行评级分类,并将评级分类结果与基于分割结果得到的评级分类结果进行处理,得到最终的目标评级分类结果,提高了待识别图像的评级分类精度。
请参阅图10,图10是本发明实施例提供的一种眼底照片的图像识别装置的结构示意图。本实施例中该终端包括的各单元用于执行图2对应的实施例中的各步骤。具体请参阅图2以及图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图10,图像识别装置10包括:下采样处理模块101,分割模块102,上采样模块103,第一评级分类模块104,第二评级分类模块105。
下采样处理模块101,用于使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数。
分割模块102,用于从N个特征图中选取至少两个特征图,使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果。
上采样模块103,用于对每个分割结果进行上采样,得到对应的对每个分割结果进行上采样,得到对应的分割特征图,将分割特征图和与分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图,分割图为与待识别图像分辨率相同的图像。
第一评级分类模块104,用于对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果,根据待识别图像中的异常结果对待识别图像进行评级分类,得到第一评级分类结果。
第二评级分类模块105,用于使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对第一评级分类结果与第二评级分类结果进行目标评级分类,得到待识别图像对应的目标评级分类结果。
可选地,上述下采样处理模块101包括:
预处理单元,用于获取待识别图像,对待识别图像进行预处理,得到标准图像。
特征图获取单元,用于将标准图像输入至下采样处理网络中,进行连续N次的下采样处理,输出N个特征图。
可选地,上述分割模块102包括:
选取单元,用于根据待识别图像中的不同分割目标的尺寸大小,从N个特征图中选取与不同分割目标的尺寸大小对应的至少两个特征图。
分割结果确定单元,用于使用分割网络对至少两个特征图进行图像分割,得到对应的分割结果。
可选地,上述图像识别装置10还包括:
第一判断单元,用于若分割图的分辨率大小与待识别图像分辨率的大小不相等,对分割图进行上采样,得到上采样后的分割图。
第二判断单元,用于若上采样后的分割图与待识别图像分辨率的大小相等,将上采样后的分割图作为分割结果对应的分割图。
可选地,上述第一评级分类模块104包括:
统计单元,用于对每个分割图中连通域个数进行统计,得到待识别图像中的异常结果。
第一评级分类结果确定单元,用于根据异常结果,计算待识别图像的连通域个数,基于连通域个数,对待识别图像进行评级分类,得到第一评级分类结果。
可选地,上述图像识别装置10还包括:
获取模块,用于获取初始分类网络、样本眼底照片对应的第N次下采样处理得到的样本特征图、标准眼底照片第N次下采样处理得到的标准特征图、样本眼底照片对应的标签值与标准眼底照片对应的标签值,标准眼底照片为无病变的眼底照片;
初始评级分类模块,用于使用初始分类网络对样本眼底照片对应的第N次下采样处理得到的样本特征图进行评级分类,得到对应第一初始评级分类结果,使用初始分类网络对标准眼底照片第N次下采样处理得到的标准特征图进行评级分类,得到对应第二初始评级分类结果;
损失确定模块,用于计算样本眼底照片对应的标签值与第一初始评级分类结果之间的第一差值损失、第一均方差损失与第一交叉熵损失,计算标准眼底照片对应的标签值与第二初始评级分类结果之间的第二差值损失、第二均方差损失与第二交叉熵损失,计算基于标准眼底照片对应的标签值和样本眼底照片对应的标签值得到的第一差值,与基于第一初始评级分类结果和第二评级分类结果得到的第二差值之间的第三差值损失、第三均方差损失与第三交叉熵损失;
权重值确定模块,用于将第一均方差损失与第一交叉熵损失之和确定为第一权重值,将第二均方差损失与第二交叉熵损失之和确定为第二权重值,将第三均方差损失与第三交叉熵损失之和确定为第三权重值。
构建模块,用于将第一差值损失、第二差值损失与第三差值损失分别与第一权重值、第二权重值与第三权重值相乘后相加,构建分类损失函数。
训练模块,用于基于分类损失函数与分割网络模型参数,对初始分类网络进行训练,得到训练好的分类网络,将训练好的分类网络作为预设分类网络。
需要说明的是,上述单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图11是本发明实施例提供的一种计算机设备的结构示意图。如图11所示,该实施例的计算机设备包括:至少一个处理器(图11中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个眼底照片的图像识别方法实施例中的步骤。
该计算机设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图11仅仅是计算机设备的举例,并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU,该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等,其中,内存储器可以是计算机设备的内存,内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘,在另一些实施例中也可以是计算机设备的外部存储设备,例如,计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当计算机程序产品在计算机设备上运行时,使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (9)

1.一种眼底照片的图像识别方法,其特征在于,所述图像识别方法包括:
使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数;
从N个特征图中选取至少两个特征图,使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果;
对每个分割结果进行上采样,得到对应的分割特征图,将所述分割特征图和与所述分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图;
若所述分割图的分辨率大小与所述待识别图像分辨率的大小不相等,对所述分割图进行上采样,得到上采样后的分割图;
在对上采样分割图进行再次上采样处理时,将与上采样分割结果对应的图像分辨率大小相等的下采样处理得到的特征图进行融合,并在下采样处理网络与上采样网络之间引入残差网络,进行残差连接;
若所述上采样后的分割图与所述待识别图像分辨率的大小相等,将所述上采样后的分割图作为分割结果对应的分割图;
对每个分割图中连通域个数进行统计,得到所述待识别图像中的异常结果,根据所述待识别图像中的异常结果对所述待识别图像进行评级分类,得到第一评级分类结果;
使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对所述第一评级分类结果与所述第二评级分类结果进行目标评级分类,得到所述待识别图像对应的目标评级分类结果。
2.如权利要求1所述的图像识别方法,其特征在于,所述使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征,包括:
获取待识别图像,对所述待识别图像进行预处理,得到标准图像;
将所述标准图像输入至下采样处理网络中,进行连续N次的下采样处理,输出N个特征图。
3.如权利要求1所述的图像识别方法,其特征在于,所述从N个特征图中选取至少两个特征图,使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果,包括:
根据所述待识别图像中的不同分割目标的尺寸大小,从所述N个特征图中选取与所述不同分割目标的尺寸大小对应的至少两个特征图;
使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果。
4.如权利要求1所述的图像识别方法,其特征在于,所述对每个分割图连通域个数进行统计,得到所述待识别图像中的异常结果,根据所述待识别图像中的异常结果对所述待识别图像进行评级分类,得到第一评级分类结果,包括:
对每个分割图中连通域个数进行统计,得到所述待识别图像中的异常结果;
根据所述异常结果,计算所述待识别图像的连通域个数,基于所述连通域个数,对所述待识别图像进行评级分类,得到第一评级分类结果。
5.如权利要求1所述的图像识别方法,其特征在于,所述使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果之前,还包括:
获取初始分类网络、样本眼底照片对应的第N次下采样处理得到的样本特征图、标准眼底照片对应的第N次下采样处理得到的标准特征图、样本眼底照片对应的标签值与标准眼底照片对应的标签值,所述标准眼底照片为无病变的眼底照片;
使用所述初始分类网络对所述样本眼底照片对应的第N次下采样处理得到的样本特征图进行评级分类,得到对应第一初始评级分类结果,使用所述初始分类网络对所述标准眼底照片对应的第N次下采样处理得到的标准特征图进行评级分类,得到对应第二初始评级分类结果;
计算所述样本眼底照片对应的标签值与所述第一初始评级分类结果之间的第一差值损失、第一均方差损失与第一交叉熵损失,计算所述标准眼底照片对应的标签值与所述第二初始评级分类结果之间的第二差值损失、第二均方差损失与第二交叉熵损失,计算基于所述标准眼底照片对应的标签值和所述样本眼底照片对应的标签值得到的第一差值,与基于所述第一初始评级分类结果和所述第二评级分类结果得到的第二差值之间的第三差值损失、第三均方差损失与第三交叉熵损失;
将所述第一均方差损失与第一交叉熵损失之和确定为第一权重值,将所述第二均方差损失与第二交叉熵损失之和确定为第二权重值,将所述第三均方差损失与第三交叉熵损失之和确定为第三权重值;
将所述第一差值损失、第二差值损失与第三差值损失分别与第一权重值、第二权重值与所述第三权重值相乘后相加,构建分类损失函数;
基于所述分类损失函数与所述分割网络模型参数,对所述初始分类网络进行训练,得到训练好的分类网络,将所述训练好的分类网络作为预设分类网络。
6.一种眼底照片的图像识别装置,其特征在于,所述图像识别装置包括:
下采样处理模块,用于使用下采样处理网络对待识别图像进行连续N次的下采样处理,得到N个特征图,N为大于1的整数;
分割模块,用于从N个特征图中选取至少两个特征图,使用分割网络对所述至少两个特征图进行图像分割,得到对应的分割结果;
上采样模块,用于对应的对每个分割结果进行上采样,得到对应的分割特征图,将所述分割特征图和与所述分割特征图分辨率大小相等的特征图进行拼接,得到对应的分割图;
若所述分割图的分辨率大小与所述待识别图像分辨率的大小不相等,对所述分割图进行上采样,得到上采样后的分割图;
在对上采样分割图进行再次上采样处理时,将与上采样分割结果对应的图像分辨率大小相等的下采样处理得到的特征图进行融合,并在下采样处理网络与上采样网络之间引入残差网络,进行残差连接;
若所述上采样后的分割图与所述待识别图像分辨率的大小相等,将所述上采样后的分割图作为分割结果对应的分割图;
第一评级分类模块,用于对每个分割图中连通域个数进行统计,得到所述待识别图像中的异常结果,根据所述待识别图像中的异常结果对所述待识别图像进行评级分类,得到第一评级分类结果;
第二评级分类模块,用于使用预设分类网络对第N次下采样处理得到特征图进行评级分类,得到第二评级分类结果,根据预设评级分类规则,对所述第一评级分类结果与所述第二评级分类结果进行目标评级分类,得到所述待识别图像对应的目标评级分类结果。
7.如权利要求6所述的图像识别装置,其特征在于,所述图像识别装置还包括:
获取模块,用于获取初始分类网络、样本眼底照片对应的第N次下采样处理得到的样本特征图、标准眼底照片第N次下采样处理得到的标准特征图、样本眼底照片对应的标签值与标准眼底照片对应的标签值,所述标准眼底照片为无病变的眼底照片;
初始评级分类模块,用于使用所述初始分类网络对所述样本眼底照片对应的第N次下采样处理得到的样本特征图进行评级分类,得到对应第一初始评级分类结果,使用所述初始分类网络对所述标准眼底照片第N次下采样处理得到的标准特征图进行评级分类,得到对应第二初始评级分类结果;
损失确定模块,用于计算所述样本眼底照片对应的标签值与所述第一初始评级分类结果之间的第一差值损失、第一均方差损失与第一交叉熵损失,计算所述标准眼底照片对应的标签值与所述第二初始评级分类结果之间的第二差值损失、第二均方差损失与第二交叉熵损失,计算基于所述标准眼底照片对应的标签值和所述样本眼底照片对应的标签值得到的第一差值,与基于所述第一初始评级分类结果和所述第二评级分类结果得到的第二差值之间的第三差值损失、第三均方差损失与第三交叉熵损失;
权重值确定模块,用于将所述第一均方差损失与第一交叉熵损失之和确定为第一权重值,将所述第二均方差损失与第二交叉熵损失之和确定为第二权重值,将所述第三均方差损失与第三交叉熵损失之和确定为第三权重值;
构建模块,用于将所述第一差值损失、第二差值损失与第三差值损失分别与第一权重值、第二权重值与所述第三权重值相乘后相加,构建分类损失函数;
训练模块,用于基于所述分类损失函数与所述分割网络模型参数,对所述初始分类网络进行训练,得到训练好的分类网络,将所述训练好的分类网络作为预设分类网络。
8.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的图像识别方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的图像识别方法。
CN202211595444.5A 2022-12-13 2022-12-13 一种眼底照片的图像识别方法、装置、设备及存储介质 Active CN115829980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211595444.5A CN115829980B (zh) 2022-12-13 2022-12-13 一种眼底照片的图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211595444.5A CN115829980B (zh) 2022-12-13 2022-12-13 一种眼底照片的图像识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115829980A CN115829980A (zh) 2023-03-21
CN115829980B true CN115829980B (zh) 2023-07-25

Family

ID=85546778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211595444.5A Active CN115829980B (zh) 2022-12-13 2022-12-13 一种眼底照片的图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115829980B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275712A (zh) * 2020-01-15 2020-06-12 浙江工业大学 一种面向大尺度图像数据的残差语义网络训练方法
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN113378933A (zh) * 2021-06-11 2021-09-10 合肥合滨智能机器人有限公司 甲状腺超声图像分类和分割网络、训练方法、装置及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170470B1 (en) * 2018-12-06 2021-11-09 Facebook, Inc. Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
CN110120047B (zh) * 2019-04-04 2023-08-08 平安科技(深圳)有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110147456B (zh) * 2019-04-12 2023-01-24 中国科学院深圳先进技术研究院 一种图像分类方法、装置、可读存储介质及终端设备
CN110320162B (zh) * 2019-05-20 2021-04-23 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN111369582B (zh) * 2020-03-06 2023-04-07 腾讯科技(深圳)有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN112150470B (zh) * 2020-09-22 2023-10-03 平安科技(深圳)有限公司 图像分割方法、装置、介质及电子设备
CN113515990A (zh) * 2020-09-28 2021-10-19 阿里巴巴集团控股有限公司 图像处理和人群密度估计方法、设备及存储介质
CN112967287A (zh) * 2021-01-29 2021-06-15 平安科技(深圳)有限公司 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质
CN114418989A (zh) * 2022-01-18 2022-04-29 北京瑞医博科技有限公司 口腔医学影像的牙齿分割方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275712A (zh) * 2020-01-15 2020-06-12 浙江工业大学 一种面向大尺度图像数据的残差语义网络训练方法
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN113378933A (zh) * 2021-06-11 2021-09-10 合肥合滨智能机器人有限公司 甲状腺超声图像分类和分割网络、训练方法、装置及介质

Also Published As

Publication number Publication date
CN115829980A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110120047B (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
Raj et al. Fundus image quality assessment: survey, challenges, and future scope
CN111242961A (zh) 一种用于pd-l1抗体染色切片的自动读片方法及其系统
Gonzalez-Castro et al. Reliability of an automatic classifier for brain enlarged perivascular spaces burden and comparison with human performance
CN115829980B (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
Wood et al. Deep learning models for triaging hospital head MRI examinations
CN109886081A (zh) 一种车道线形点串提取方法和装置
CN113470102A (zh) 高精度测量眼底血管弯曲度的方法、装置、介质和设备
CN113469963B (zh) 肺动脉图像分割方法及装置
Jagan Mohan et al. An improved accuracy rate in microaneurysms detection in retinal fundus images using non-local mean filter
Cazañas-Gordón et al. Multiscale attention gated network (MAGNet) for retinal layer and macular cystoid edema segmentation
CN113658097B (zh) 一种眼底图像质量增强模型的训练方法及装置
CN113140291B (zh) 图像分割方法、装置、模型训练方法及电子设备
Oliveira et al. Preanalytic variable effects on segmentation and quantification machine learning algorithms for amyloid-β analyses on digitized human brain slides
CN114742848B (zh) 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置
CN115393314A (zh) 一种基于深度学习的口腔医疗图像识别方法及系统
CN110634119A (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
CN114663421A (zh) 基于信息迁移和有序分类的视网膜图像智能分析系统及方法
CN111179226B (zh) 视野图的识别方法、装置及计算机存储介质
Furtado Deep semantic segmentation of diabetic retinopathy lesions: what metrics really tell us

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant