CN109003264B - 一种视网膜病变图像类型识别方法、装置和存储介质 - Google Patents

一种视网膜病变图像类型识别方法、装置和存储介质 Download PDF

Info

Publication number
CN109003264B
CN109003264B CN201810732444.2A CN201810732444A CN109003264B CN 109003264 B CN109003264 B CN 109003264B CN 201810732444 A CN201810732444 A CN 201810732444A CN 109003264 B CN109003264 B CN 109003264B
Authority
CN
China
Prior art keywords
staging
domestic
international
model
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810732444.2A
Other languages
English (en)
Other versions
CN109003264A (zh
Inventor
张毅
孙星
郭晓威
周旋
常佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201810732444.2A priority Critical patent/CN109003264B/zh
Publication of CN109003264A publication Critical patent/CN109003264A/zh
Application granted granted Critical
Publication of CN109003264B publication Critical patent/CN109003264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

本发明实施例公开了一种视网膜病变图像类型识别方法、装置和存储介质;本发明实施例可以采集国际分期样本集和国内分期样本集,然后,根据该国际分期样本集对预设国际分期模型进行训练,并采用训练后国际分期模型对国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量,再然后,根据该国内分期样本集和输出向量对预设国内分期模型进行训练,并基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别;该方案可以在提高处理效率的同时,提高识别的准确率,且使得该准确率具有一定稳定性。

Description

一种视网膜病变图像类型识别方法、装置和存储介质
技术领域
本发明涉及通信技术领域,具体涉及一种视网膜病变图像类型识别方法、装置和存储介质。
背景技术
糖尿病视网膜病变(DR)是糖尿病最常见的微血管并发症之一,也是成年人低视力和盲的主要原因,它严重影响着全球成千上万人的生活质量。糖尿病视网膜病变迄今尚无有效的治愈方法,早期发现早期治疗对延缓其进展至关重要,因此,根据视网膜病变的严重程度进行分类,并准确识别其病变类型,对于后期的诊治十分有必要。
对于视网膜病变程度,现有存在有多种分类方式,其中,国际分类方式(国际分期)主要可以分为5类,分别为正常、温和非增值性(Mild NPDR)、中度非增值性(ModerateNPDR)、重度非增值性(Severe NPDR)和增值性(PDR);中国分类方式(国内分期)主要分为7类,分别为正常、Ⅰ期、II期、III期、IV期(增生早期)、V期(纤维增生期)和VI期(增生晚期)。传统对于视网膜病变类型的识别,一般都是由医生根据经验,通过查看患者的眼底彩色扫描照片来进行判断,其准确性受医生水平影响较大,且十分费时费力。为此,现有又提出一种基于人工定义的特征来对病变类型进行识别的方案,例如,具体可以根据人工定义的特征如微血瘤、血管轮廓和渗出等,利用预设算法来对患者的眼底彩色扫描照片进行匹配,并根据匹配结果来确定其病变类型。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于需要人工进行定义,因此,处理效率较低,而且,由于人工定义的特征具有局限性,且算法较为固定,所以识别准确率也较低,且不稳定。
发明内容
本发明实施例提供一种视网膜病变图像类型识别方法、装置和存储介质,可以在提高处理效率的同时,提高识别的准确率,且使得该准确率具有一定稳定性。
本发明实施例提供一种视网膜病变图像类型识别方法,包括:
采集国际分期样本集和国内分期样本集;
根据所述国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,所述国际分期模型至少包括多个卷积层;
采用所述训练后国际分期模型对所述国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量;
根据所述国内分期样本集和输出向量对预设国内分期模型进行训练,得到训练后国内分期模型;
基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
相应的,本发明实施例还提供一种视网膜病变图像类型识别装置,包括:
采集单元,用于采集国际分期样本集和国内分期样本集;
国际训练单元,用于根据所述国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,所述国际分期模型至少包括多个卷积层;
迁移学习单元,用于采用所述训练后国际分期模型对所述国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量;
国内训练单元,用于根据所述国内分期样本集和输出向量对预设国内分期模型进行训练,得到训练后国内分期模型;
识别单元,用于基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
可选的,在一些实施例中,所述国际训练单元,具体可以用于将所述国际分期样本集中的样本分别导入预设国际分期模型中进行计算,得到所述国际分期样本集中的样本的国际分期预测值,获取国际分期样本集中的样本的国际分期标注值,对所述国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。
可选的,在一些实施例中,所述国内训练单元可以包括运算子单元、获取子单元和收敛子单元,如下:
所述运算子单元,用于采用预设国内分期模型对所述国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值;
所述获取子单元,用于获取国内分期样本集中的样本的国内分期标注值;
所述收敛子单元,用于对所述国内分期样本集中的样本的国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
可选的,在一些实施例中,所述国际分期模型和国内分期模型的网络结构相同,所述运算子单元,具体可以用于:
将所述国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取所述国内分期模型中预设目标卷积层的输出向量;
从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;
将所述迁移数据样本和目标卷积层的输出向量进行加权平均处理后,作为所述目标卷积层的下一层卷积层的输入向量;
将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;
对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
可选的,在一些实施例中,所述国际分期模型和国内分期模型的网络结构相同,所述运算子单元,具体可以用于:
将所述国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取所述国内分期模型中预设目标卷积层的输出向量;
从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;
将所述迁移数据样本和目标卷积层的输出向量进行级联,得到级联后向量;
对所述级联后向量进行降维操作后,作为所述目标卷积层的下一层卷积层的输入向量;
将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;
对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
可选的,在一些实施例中,所述视网膜病变图像类型识别装置还可以包括预处理单元,如下:
所述预处理单元,可以用于对所述国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理。
可选的,在一些实施例中,所述识别单元,具体可以用于采集待识别眼底图像,对所述待识别眼底图像进行增强处理和/或预处理,得到处理后图像,采用训练后国内分期模型对所述处理后图像进行识别,得到所述处理后图像的视网膜病变国内分期类型。
此外,本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例提供的任一种视网膜病变图像类型识别方法中的步骤。
本发明实施例可以通过采集国际分期样本集来对预设国际分期模型进行训练,然后,利用训练后国际分期模型对采集到的国内分期样本集进行计算,并将得到的国际分期模型中每个卷积层的输出向量作为迁移数据样本,与国内分期样本集进行结合,来对国内分期模型进行训练,此后,便可以基于训练后国内分期模型对待识别眼底图像进行识别,以确定该待识别眼底图像的视网膜病变国内分期类型;由于该方案可以利用国际分期模型和国内分期模型来进行图像特征识别,因此,相对于现有只能通过人工来选择特征进行匹配的方案而言,可以更好地利用图像中所包含的信息,在提高识别效率的同时,对提高识别准确率也有积极的作用,而且,还可以减少人为因素,如经验或误操作的影响,使得该准确率具有一定稳定性;此外,由于在对国内分期模型进行训练时,还对训练后国际分期模型中间层所输出的数据进行迁移学习,所以,还可以大大提高国内分期的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的视网膜病变图像类型识别方法的场景示意图;
图1b是本发明实施例提供的视网膜病变图像类型识别方法的流程图;
图1c是本发明实施例提供的方法中国内分期模型训练流程的框架图;
图2a是本发明实施例提供的视网膜病变图像类型识别方法的另一流程图;
图2b是本发明实施例提供的方法中国内分期模型训练流程的框架图;
图2c是本发明实施例提供的方法中国内分期模型训练流程的另一框架图;
图3a是本发明实施例提供的视网膜病变图像类型识别装置的结构示意图;
图3b是本发明实施例提供的视网膜病变图像类型识别装置的另一结构示意图;
图4是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视网膜病变图像类型识别方法、装置和存储介质。
其中,该视网膜病变图像类型识别装置具体可以集成在网络设备中,该网络设备可以是终端或服务器等设备。
例如,如图1a所示,网络设备可以采集国际分期样本集和国内分期样本集,比如,具体可以从互联网、指定数据库和/或医疗记录中获取多个国际分期样本,以得到国际分期样本集,以及获取多个国内分期样本,以得到国内分期样本集,等等,然后,根据该国际分期样本集对预设国际分期模型进行训练,在国际分期模型训练完毕后,再将国内分期样本集中的样本同时导入训练后国际分期模型和预设的国内分期模型中,将国际分期模型的中间层输出(即迁移数据样本)和国内分期模型对应位置的中间层输出进行预设处理后(加权平均或级联)作为国内分期模型的后续层的输入,以对国内分期模型进行训练,此后,便可以基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
由于目前国内分期样本的数量相对于国际分期样本的数量而言,较为不足,因此,如果直接采用国内分期样本集对国内分期模型进行训练的话,会导致其分类精度不高,所以,本发明实施例可以通过对国际分期模型中的数据进行迁移学习来提高国内分期模型的分类精度,进而提高国内分期模型识别的准确率和稳定性,以下将分别进行详细说明。
需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
实施例一、
本实施例将从视网膜病变图像类型识别装置的角度进行描述,该视网膜病变图像类型识别装置具体可以集成在网络设备中,该网络设备可以是终端或服务器等设备,其中,该终端可以包括平板电脑、笔记本电脑或个人计算机(PC,Personal Computer)等。
一种视网膜病变图像类型识别方法,包括:采集国际分期样本集和国内分期样本集,根据该国际分期样本集对预设国际分期模型进行训练,采用训练后国际分期模型对该国内分期样本集进行计算,根据计算得到的国际分期模型中每个卷积层的输出向量和国内分期样本集对预设国内分期模型进行训练,并基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
如图1b所示,该视网膜病变图像类型识别方法的具体流程可以如下:
101、采集国际分期样本集和国内分期样本集;
其中,采集的途径可以有多种,比如,可以从互联网、指定数据库和/或医疗记录中进行获取,具体可以根据实际应用的需求而定。
所谓国际分期,指的是国际医学对医疗影像的一种分类标准(即国际分类方式),而国际分期样本集,指的是按照国际分类方式,对视网膜病变程度进行分类并进行标注的多个眼底图像样本的集合;即国际分期样本集可以包括多个标注了国际分期类型的眼底图像样本,简称为国际分期样本。其中,国际分期类型具体可如表一所示。
表一:
类型 名称
0 正常
1 温和非增值性(Mild NPDR)
2 中度非增值性(Moderate NPDR)
3 重度非增值性(Severe NPDR)
4 增值性(PDR)
类似的,所谓国内分期也是一种医疗影像的分类标准,它指的是中国医学对医疗影像的一种分类标准(即国内分类方式),而国内分期样本集,指的是按照国内(中国)分类方式,对视网膜病变程度进行分类并进行标注的多个眼底图像样本的集合;即国内分期样本集可以包括多个标注了国内分期类型的眼底图像样本,简称为国内分期样本。其中,国内分期类型具体可如表二所示。
表二:
类型 名称
0 正常
1 Ⅰ期
2 II期
3 III期
4 IV期(增生早期)
5 V期(纤维增生期)
6 VI期(增生晚期)
需说明的是,本发明实施例的“眼底图像”或“眼底图像样本”指的是眼底彩色扫描图像,具体可以通过拍摄或扫描检测者的眼睛来得到。
由于所采集的眼底图像样本的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行模型训练,改善训练效果,可以对采集到的眼底图像样本(包括国际分期样本和国内分期样本)进行数据增强和/或预处理,使得图像规格化,即可选的,在步骤“采集国际分期样本集和国内分期样本集”之后,该视网膜病变图像类型识别方法还可以包括:
对该国际分期样本集中的样本(即国际分期样本)和国内分期样本集中的样本(即国内分期样本)进行数据增强处理和/或预处理,具体可以如下:
(1)数据增强处理。
例如,具体可以采用如下任意一种或多种操作对该国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理,如下:
a.对该国际分期样本集中的样本和国内分期样本集中的样本进行50%概率的左右翻转。
b.对该国际分期样本集中的样本和国内分期样本集中的样本进行边框裁剪。
其中,具体裁剪策略可根据实际应用的需求而定,比如,具体可以对这些样本的高和宽进行0~20%的边框裁剪,等等。
c.对该国际分期样本集中的样本和国内分期样本集中的样本进行亮度值调整。
其中,具体调整策略可根据实际应用的需求而定,比如,可以对这些样本的每个像素点加上一预设亮度值,其中该预设亮度值取值范围可以为(-20,20);和/或,还可以将每个像素点的亮度乘以0.8至1.2之间的一个随机值,等等。
d.对该国际分期样本集中的样本和国内分期样本集中的样本的尺寸进行缩放。
其中,具体缩放策略可根据实际应用的需求而定,比如,可以将这些样本的尺寸缩放为原来的90%~110%之间,等等。
e.对该国际分期样本集中的样本和国内分期样本集中的样本进行旋转。
其中,具体旋转策略可根据实际应用的需求而定,比如,可以将这些样本随机旋转-180°~180°之间的某个角度,等等。
(2)预处理。
例如,具体可以采用如下任意一种或多种操作对该国际分期样本集中的样本和国内分期样本集中的样本进行预处理,如下:
a.对该国际分期样本集中的样本和国内分期样本集中的样本进行缩放,使得所有样本中的眼球具有相同的半径。
此外,还可以对这些样本的尺寸进行调整,比如,将尺寸缩放至预设大小,等等。
b.对该国际分期样本集中的样本和国内分期样本集中的样本的颜色通道进行调整,以增强每个样本中各像素之间的区别度。
其中,具体调整策略可根据实际应用的需求而定,比如,对于样本中的每个像素点,可以将其每个颜色通道的值,减去以该像素点为中心的预设区域范围内的像素点的相应颜色通道的平均值,再将每个像素点乘以一个预设固定值(如4)以增加个像素点间的区别度,再加上一定的灰度值,比如加上50%的灰度值,等等。
c.对该国际分期样本集中的样本和国内分期样本集中的样本进行裁剪,以减少样本中无信息区域的面积。
其中,具体裁剪策略可根据实际应用的需求而定,在此不再赘述。
102、根据该国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型;例如具体可以如下:
将该国际分期样本集中的样本(即国际分期样本)分别导入预设国际分期模型中进行计算,得到该国际分期样本集中的样本的国际分期预测值,获取国际分期样本集中的样本的国际分期标注值,对该国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。
其中,国际分期标注值可以由标注审核人员根据专业医生的指导进行标注。
需说明的是,该国际分期模型的网络结构可以根据实际应用的需求而定,比如,可以采用卷积神经网络(CNN,Convolutional Neural Network),其中,该国际分期模型至少包括多个卷积层,此外,还可以全连接层(FC,Fully Connected Layers),其中,每一层卷积层用于对上一层的输出进行卷积处理,主要用于探测上一层特征的局部连接,而全连接层则用于将“分布式特征表示”映射到样本标记空间。
还需说明的是,若在步骤101中,已经对国际分期样本集中的样本进行了数据增强处理和/或预处理,则此时,步骤“根据该国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型”具体为:根据数据增强处理和/或预处理后的国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,具体的训练方式与直接采用国际分期样本集类似,详见前面的描述,在此不作赘述。
103、采用该训练后国际分期模型对该国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量。
例如,以该训练后国际分期模型包括三层卷积层为例,则采用该训练后国际分期模型对该国内分期样本集进行计算后,可以分别得到第一卷积层的输出向量、第二次卷积层的输出向量和第三次卷积层的输出向量。
比如,以计算该国内分期样本集中的某个样本,如国内分期样本1为例,参见图1c,可以将国内分期样本1导入该训练后国际分期模型,这样,经过该训练后国际分期模型的第一层卷积层计算之后,便可以得到该国内分期样本1在该训练后国际分期模型中所对应的第一卷积层的输出向量,同理,经过该训练后国际分期模型的第二层卷积层计算之后,便可以得到该国内分期样本1在该训练后国际分期模型中所对应的第二层卷积层的输出向量,以此类推,该内分期样本集中的其他样本也如是。
需说明的是,若在步骤101中,已经对国内分期样本集中的样本进行了数据增强处理和/或预处理,则此时,步骤“采用该训练后国际分期模型对该国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量”具体为:采用该训练后国际分期模型对该数据增强处理和/或预处理后的国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量。
104、根据该国内分期样本集、以及国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型;例如,具体可以如下:
采用预设国内分期模型对该国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值,获取国内分期样本集中的样本的国内分期标注值,对该国内分期样本集中的样本的国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
其中,国内分期标注值可以由标注审核人员根据专业医生的指导进行标注。
其中,该国内分期模型与国际分期模型的网络结构相同,比如,若国际分期模型采用的是某种结构的CNN网络,则该国内分期模型也需采用同样结构的CNN网络,也就是说,该国内分期模型也至少可以包括多个卷积层,此外,还可以全连接层,且卷积层层数与国际分期模型相等,比如,若国际分期模型包括了3层卷积层,则该国内分期模型也包括3层卷积层。
由于国内分期模型和国际分期模型的网络结构相同,因此,可以将国际分期模型的中间层输出和国内分期模型对应位置的中间层输出进行预设处理后作为国内分期模型的后续层的输入,其中,该预设处理可以是加权平均,也可以是级联(Connected,也称为串联),具体可以根据实际应用的需求而定。即,步骤“采用预设国内分期模型对该国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值”具体可以包括如下任意一种方式:
(1)方式一:
a1.将该国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量。
其中,该预设目标卷积层的“初始”可以指定国内分期模型中的任意一中间层,具体根据实际应用的需求而定,比如,可以以国内分期模型中的第一层卷积层作为目标卷积层,或者,也可以国内分期模型中的第二层卷积层作为目标卷积层,等等。
b1.从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本,然后执行步骤c1。
例如,若在步骤a1中,指定国内分期模型中的第一层卷积层为初始的目标卷积层,则需要从国际分期模型中获取其第一层卷积层的输出向量作为迁移数据样本;而若在步骤a1中,指定国内分期模型中第二层卷积层为初始的目标卷积层,则需要从国际分期模型中获取其第二层卷积层的输出向量作为迁移数据样本(此时不关心其第一层卷积层的输出向量),依次类推。
c1.将迁移数据样本(步骤b1)和目标卷积层(步骤a1)的输出向量进行加权平均处理后,作为该目标卷积层的下一层卷积层的输入向量,然后执行步骤d1。
d1.将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤(即步骤b1),然后重复执行步骤b1至d1,直至该国内分期模型中的所有卷积层计算完毕,然后执行步骤e1。
例如,参见图1c,在步骤c1和d1中,可以将训练后国际分期模型中的第一层卷积层的输出向量作为迁移数据样本,传送给国内分期模型,并与国内分期模型的第一层卷积层的输出向量进行加权平均后,作为国内分期模型的第二层卷积层的输入,进而计算得到国内分期模型的第二层卷积层的输出向量。
同理,可以将训练后国际分期模型中的第二层卷积层的输出向量作为迁移数据样本,传送给国内分期模型,并与国内分期模型的第二层卷积层的输出向量进行加权平均后,作为国内分期模型的第三层卷积层的输入,进而计算得到国内分期模型的第三层卷积层的输出向量,以此类推,等等;由于图1c所示的网络结构只包括三层卷积层,而此时最后一层卷积层(第三层卷积层)已计算完毕,因此,此时可以执行步骤e1。
e1.对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
(2)方式二:
a2.将该国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量。
其中,步骤a2和a1的执行类似,在此不作赘述。
b2.从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本,然后执行步骤c2。
其中,步骤b2和b1的执行类似,在此不作赘述。
c2.将该迁移数据样本和目标卷积层的输出向量进行级联,得到级联后向量,然后执行步骤d2。
d2.对该级联后向量进行降维操作后,作为该目标卷积层的下一层卷积层的输入向量,然后执行步骤e2。
之所以需要进行降维操作,这是因为,经过步骤c2的级联后,级联后向量的维数为目标卷积层的输出向量的一倍(由于结构相同,因此,迁移数据样本与目标卷积层的输出向量的维数相同),所以,需要对该级联后向量进行降维操作,才能保持所在层原有的维数。
比如,若迁移数据样本和目标卷积层的输出向量的维数均为“1024”,级联后维数即为“2048”,因此,需要进行降维操作,比如,再进行一次卷积处理,将其维数降为“1024”,等等。
需说明的是,在第一种方式中,由于进行的是加权平均,因此,不存在“维数”增加的问题,因此,不需要进行降维操作。
e2.将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕,然后执行步骤f2。
例如,参见图1c,在步骤c2至e2中,可以将训练后国际分期模型中的第一层卷积层的输出向量作为迁移数据样本,传送给国内分期模型,并与国内分期模型的第一层卷积层的输出向量进行级联和降维后,作为国内分期模型的第二层卷积层的输入,进而计算得到国内分期模型的第二层卷积层的输出向量。
同理,可以将训练后国际分期模型中的第二层卷积层的输出向量作为迁移数据样本,传送给国内分期模型,并与国内分期模型的第二层卷积层的输出向量进行级联和降维后,作为国内分期模型的第三层卷积层的输入,进而计算得到国内分期模型的第三层卷积层的输出向量,以此类推,等等;由于图1c所示的网络结构只包括三层卷积层,而此时最后一层卷积层(第三层卷积层)已计算完毕,因此,此时可以执行步骤f2。
f2.对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
需说明的是,若在步骤101中,已经对国内分期样本集中的样本进行了数据增强处理和/或预处理,则此时,步骤“根据该国内分期样本集、以及国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型”具体为:根据数据增强处理和/或预处理后的国内分期样本集、以及国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型;其中,训练的方式与直接采用“国内分期样本集、以及国际分期模型中每个卷积层的输出向量”类似,详见前面的描述,在此不作赘述。
需说明的是,步骤103和104可以先后执行,也可以并行执行,在此不作赘述。
105、基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
例如,具体可以采集待识别眼底图像,采用训练后国内分期模型对该待识别眼底图像进行识别,得到该待识别眼底图像的视网膜病变国内分期类型。
由于所采集的待识别眼底图像的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行计算,提高计算效果,可以对采集到的待识别眼底图像进行数据增强和/或预处理,使得图像规格化,即可选的,在步骤“采用训练后国内分期模型对该待识别眼底图像进行识别,得到该待识别眼底图像的视网膜病变国内分期类型”之前,还可以包括:
对该待识别眼底图像进行增强处理和/或预处理,得到处理后图像。
则此时,步骤“采用训练后国内分期模型对该待识别眼底图像进行识别,得到该待识别眼底图像的视网膜病变国内分期类型”具体为:采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
其中,增强处理和/或预处理的方式与对训练样本的增强处理和/或预处理类似,具体可以如下:
(1)数据增强处理。
例如,具体可以采用如下任意一种或多种操作对该待识别眼底图像进行数据增强处理,如下:
a.对该待识别眼底图像进行50%概率的左右翻转。
b.对该待识别眼底图像进行边框裁剪。
其中,具体裁剪策略可根据实际应用的需求而定,比如,具体可以对待识别眼底图像的高和宽进行0~20%的边框裁剪,等等。
c.对该待识别眼底图像进行亮度值调整。
其中,具体调整策略可根据实际应用的需求而定,比如,可以将待识别眼底图像的每个像素点加上一预设亮度值,其中该预设亮度值取值范围可以为(-20,20);和/或,还可以将每个像素点的亮度乘以0.8至1.2之间的一个随机值,等等。
d.对该待识别眼底图像的尺寸进行缩放。
其中,具体缩放策略可根据实际应用的需求而定,比如,可以将待识别眼底图像的尺寸缩放为原来的90%~110%之间,等等。
e.对该待识别眼底图像进行旋转。
其中,具体旋转策略可根据实际应用的需求而定,比如,可以将待识别眼底图像随机旋转-180°~180°之间的某个角度,等等。
(2)预处理。
例如,具体可以采用如下任意一种或多种操作对该待识别眼底图像进行预处理,如下:
a.对该待识别眼底图像进行缩放,使得所有样本中的眼球具有相同的半径。
此外,还可以对待识别眼底图像的尺寸进行调整,比如,将尺寸缩放至预设大小,等等。
b.对该待识别眼底图像的颜色通道进行调整,以增强每个样本中各像素之间的区别度。
其中,具体调整策略可根据实际应用的需求而定,比如,对于待识别眼底图像中的每个像素点,可以将其每个颜色通道的值,减去以该像素点为中心的预设区域范围内的像素点的相应颜色通道的平均值,再将每个像素点乘以一个预设固定值(如4)以增加个像素点间的区别度,再加上一定的灰度值,比如加上50%的灰度值,等等。
c.对该待识别眼底图像进行裁剪,以减少样本中无信息区域的面积。
其中,具体裁剪策略可根据实际应用的需求而定,在此不再赘述。
其中,在采用训练后国内分期模型对图像(待识别眼底图像或处理后图像)进行识别时,即可以仅使用该训练后国内分期模型对该图像进行识别,比如,可以将该图像,如待识别眼底图像或处理后图像直接导入该训练后国内分期模型中进行计算;或者,也可以与在训练该国内分期模型类似,引入国际分期模型中的数据作为参考,即例如,步骤“采用训练后国内分期模型对该处理后图像(或待识别眼底图像)进行识别,得到该处理后图像(或待识别眼底图像)的视网膜病变国内分期类型”可以包括:
获取该处理后图像(或待识别眼底图像)在国际分期模型中每个卷积层的输出向量,得到第一输出向量集;获取该处理后图像(或待识别眼底图像)在国内分期模型中预设目标卷积层的输出向量,得到第二输出向量;从该第一输出向量集中获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据;将该迁移数据和第二输出向量进行预设处理(如加权平均或级联(若级联的话,还需要进行降维处理))后,作为该目标卷积层的下一层卷积层的输入向量;将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从该第一输出向量集中获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕;对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到该处理后图像(或待识别眼底图像)的视网膜病变国内分期类型。
由上可知,本实施例可以通过采集国际分期样本集来对预设国际分期模型进行训练,然后,利用训练后国际分期模型对采集到的国内分期样本集进行计算,并将得到的国际分期模型中每个卷积层的输出向量作为迁移数据样本,与国内分期样本集进行结合,来对国内分期模型进行训练,此后,便可以基于训练后国内分期模型对待识别眼底图像进行识别,以确定该待识别眼底图像的视网膜病变国内分期类型;由于该方案可以利用国际分期模型和国内分期模型来进行图像特征识别,因此,相对于现有只能通过人工来选择特征进行匹配的方案而言,可以更好地利用图像中所包含的信息,在提高识别效率的同时,对提高识别准确率也有积极的作用,而且,还可以减少人为因素,如经验或误操作的影响,使得该准确率具有一定稳定性;此外,由于在对国内分期模型进行训练时,还对训练后国际分期模型中间层所输出的数据进行迁移学习,所以,还可以大大提高国内分期的准确性。
实施例二、
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该视网膜病变图像类型识别装置具体集成在网络设备中为例进行说明。
如图2a所示,一种视网膜病变图像类型识别方法,具体流程可以如下:
201、网络设备采集国际分期样本集和国内分期样本集。
其中,采集的途径可以有多种,比如,可以从互联网、指定数据库和/或医疗记录中获取多个糖尿病视网膜病变的国际分期样本,得到国际分期样本集;以及,从互联网、指定数据库和/或医疗记录中获取多个糖尿病视网膜病变的国内分期样本,得到国内分期样本集,等等;该国际分期类型和国内分期类型具体可参见表一和表二,在此不作赘述。
202、网络设备对该国际分期样本集中的样本(即国际分期样本)和国内分期样本集中的样本(即国内分期样本)进行数据增强处理和/或预处理,得到处理后国际分期样本集和处理后国内分期样本集。
其中,数据增强处理和预处理的方式可以根据实际应用的需求进行设置,比如,具体可以采用如下任意一种操作对该国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理:
(1)数据增强处理。
a.对该国际分期样本集中的样本和国内分期样本集中的样本进行50%概率的左右翻转。
b.对该国际分期样本集中的样本和国内分期样本集中的样本进行边框裁剪。
其中,具体裁剪策略可根据实际应用的需求而定,比如,具体可以对这些样本的高和宽进行0~20%的边框裁剪,等等。
c.对该国际分期样本集中的样本和国内分期样本集中的样本进行亮度值调整。
其中,具体调整策略可根据实际应用的需求而定,比如,可以对这些样本的每个像素点加上一预设亮度值,其中该预设亮度值取值范围可以为(-20,20);和/或,还可以将每个像素点的亮度乘以0.8至1.2之间的一个随机值,等等。
d.对该国际分期样本集中的样本和国内分期样本集中的样本的尺寸进行缩放。
其中,具体缩放策略可根据实际应用的需求而定,比如,可以将这些样本的尺寸缩放为原来的90%~110%之间,等等。
e.对该国际分期样本集中的样本和国内分期样本集中的样本进行旋转。
其中,具体旋转策略可根据实际应用的需求而定,比如,可以将这些样本随机旋转-180°~180°之间的某个角度,等等。
(2)预处理。
a.对该国际分期样本集中的样本和国内分期样本集中的样本进行缩放,使得所有样本中的眼球具有相同的半径。
此外,还可以对这些样本的尺寸进行调整,比如,将尺寸缩放至预设大小,等等。
b.对该国际分期样本集中的样本和国内分期样本集中的样本的颜色通道进行调整,以增强每个样本中各像素之间的区别度。
其中,具体调整策略可根据实际应用的需求而定,比如,对于样本中的每个像素点,可以将其每个颜色通道的值,减去以该像素点为中心的预设区域范围内的像素点的相应颜色通道的平均值,再将每个像素点乘以一个预设固定值(如4)以增加个像素点间的区别度,再加上一定的灰度值,比如加上50%的灰度值,等等。
c.对该国际分期样本集中的样本和国内分期样本集中的样本进行裁剪,以减少样本中无信息区域的面积。
其中,具体裁剪策略可根据实际应用的需求而定,在此不再赘述。
203、网络设备根据处理后国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型。例如具体可以如下:
将该处理后国际分期样本集中的样本(即国际分期样本)分别导入预设国际分期模型中进行计算,得到该处理后国际分期样本集中的样本的国际分期预测值,获取该处理后国际分期样本集中的样本的国际分期标注值,对该处理后国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。比如,具体可以如下:
网络设备从该处理后国际分期样本集中确定当前需要训练的样本,得到当前国际分期样本,将该当前国际分期样本导入预设国际分期模型中进行计算,得到该当前国际分期样本的国际分期预测值,获取该当前国际分期样本的国际分期标注值,对该国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,使得该当前国际分期样本的国际分期预测值与国际分期标注值误差最小化,进而对该国际分期模型中的参数进行调整;返回执行“从该处理后国际分期样本集中确定当前需要训练的样本,得到当前国际分期样本”的步骤,直至该国际分期样本集中的所有样本均训练完毕,即可得到训练后国际分期模型。
其中,国际分期标注值可以由标注审核人员根据专业医生的指导进行标注,比如,参见表一,若某个国际分期样本的特征符合糖尿病视网膜病变国际分期“1”的特征,则可以在该国际分期样本上标注“1”,并备注为“国际分期1,温和非增值性”;若某个国际分期样本的特征符合糖尿病视网膜病变国际分期“2”的特征,则可以在该国际分期样本上标注“2”,并备注为“国际分期2,中度非增值性”,以此类推。
此外,需说明的是,该预设国际分期模型的网络结构可以根据实际应用的需求而定,比如,一般可以采用CNN。其中,该国际分期模型至少包括多个卷积层,此外,还可以全连接层。每一层卷积层用于对上一层的输出进行卷积处理,主要用于探测上一层特征的局部连接,而全连接层则用于将“分布式特征表示”映射到样本标记空间。
204、网络设备采用该训练后国际分期模型对处理后国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量。
例如,以该训练后国际分期模型包括三层卷积层,且当前需要训练的国内分期样本为国内分期样本1为例,参见图2b和图2c,可以将国内分期样本1导入该训练后国际分期模型,这样,经过该训练后国际分期模型的第一层卷积层计算之后,便可以得到该国内分期样本1在该训练后国际分期模型中所对应的第一卷积层的输出向量,同理,经过该训练后国际分期模型的第二层卷积层计算之后,便可以得到该国内分期样本1在该训练后国际分期模型中所对应的第二层卷积层的输出向量,以此类推,该内分期样本集中的其他样本也如是。
205、网络设备根据处理后国内分期样本集、以及国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型。例如,具体可以如下:
网络设备采用预设国内分期模型对该处理后国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到该处理后国内分期样本集中的样本的国内分期预测值,获取该处理后国内分期样本集中的样本的国内分期标注值,对该国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
其中,国内分期标注值则可以由标注审核人员根据专业医生的指导进行标注。比如,参见表二,若某个国内分期样本的特征符合糖尿病视网膜病变国内分期“1”的特征,则可以在该国内分期样本上标注“1”,并备注为“国内分期Ⅰ期”;若某个国内分期样本的特征符合糖尿病视网膜病变国内分期“2”的特征,则可以在该国内分期样本上标注“2”,并备注为“国内分期II期”,以此类推。
其中,该国内分期模型与国际分期模型的网络结构相同,比如,若国际分期模型采用的是某种结构的CNN网络,则该国内分期模型也需采用同样结构的CNN网络,也就是说,该国内分期模型也至少可以包括多个卷积层,此外,还可以全连接层,且卷积层层数与国际分期模型相等,比如,如图2b和图2c所示,若国际分期模型包括了3层卷积层,则该国内分期模型也包括3层卷积层。
由于国内分期模型和国际分期模型的网络结构相同,因此,可以将国际分期模型的中间层输出和国内分期模型对应位置的中间层输出进行预设处理,如加权平均或级联后作为国内分期模型的后续层的输入。例如,还是以该国内分期模型和国际分期模型均为包括三层卷积层的CNN,且目标卷积层为第一层卷积层为例,如图2b和图2c所示,步骤205具体可以包括如下任意一种方式:
(1)方式一:
A2051、网络设备将该国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量。
比如,若当前训练样本为国内分期样本1,则此时,可以将国内分期样本1导入预设国内分期模型中进行计算,以获取国内分期样本1在该国内分期模型中预设目标卷积层的输出向量,等等。
其中,该预设目标卷积层的“初始”可以指定国内分期模型中的任意一中间层,具体根据实际应用的需求而定,比如,在本实施例中,该“初始”的目标卷积层即为该国内分期模型中的第一层卷积层。
A2052、网络设备从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本,然后执行步骤A2053。
例如,以当前训练样本为国内分期样本1为例,若在步骤A2051中,指定国内分期模型中的第一层卷积层为初始的目标卷积层,则如图2b所示,需要获取该国内分期样本1在国际分期模型的第一层卷积层的输出向量,来作为当前该国内分期样本1的迁移数据样本,以提供给国内分期模型,并作为该国内分期模型的第二层卷积层的输入向量的来源之一。
A2053、网络设备将迁移数据样本和目标卷积层的输出向量进行加权平均处理后,作为该目标卷积层的下一层卷积层的输入向量,然后执行步骤A2054,比如,具体可参见图2b。
A2054、网络设备将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行步骤A2052(即返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤),然后重复执行步骤A2052至A2054,直至该国内分期模型中的所有卷积层计算完毕,然后执行步骤A2055。
例如,以当前训练样本为国内分期样本1为例,参见图2b,在步骤A2053和A2054中,可以将国内分期样本1在训练后国际分期模型中的第一层卷积层的输出向量,作为迁移数据样本,传送给国内分期模型,然后,与该国内分期模型的第一层卷积层的输出向量(即该国内分期样本1经过国内分期模型计算后,得到的第一层卷积层的输出向量)进行加权平均后,作为国内分期模型的第二层卷积层的输入,进而计算得到该国内分期样本1在国内分期模型的第二层卷积层的输出向量。
同理,可以将该国内分期样本1在训练后国际分期模型中的第二层卷积层的输出向量,作为迁移数据样本传送给国内分期模型,并与该国内分期样本1在国内分期模型的第二层卷积层的输出向量进行加权平均后,作为国内分期模型的第三层卷积层的输入,进而计算得到该国内分期样本1在国内分期模型的第三层卷积层的输出向量,以此类推,等等;由于图2b所示的网络结构只包括三层卷积层,而此时最后一层卷积层(第三层卷积层)已计算完毕,因此,此时可以执行步骤A2055。
A2055、网络设备对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
A2056、网络设备获取该处理后国内分期样本集中的样本的国内分期标注值。
A2057、网络设备对该国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
例如,还是以当前训练样本为国内分期样本1为例,在步骤A2055至A2057中,可以对国内分期样本1在该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到该国内分期样本1的国内分期预测值,然后,获取该国内分期样本1的国内分期标注值,对该国内分期样本1的国内分期预测值和国内分期标注值进行收敛,使得该国内分期样本1的国际分期预测值与国内分期标注值误差最小化,进而对该国内分期模型中的参数进行调整,便可以完成一次训练。
依次类推,可以对该处理后国内分期样本集的其他样本如“国内分期样本2”进行如上训练(执行步骤A2051~A2057),直至该处理后国内分期样本集中所有样本均训练完毕,即可得到训练后国内分期模型。
(2)方式二:
B2051、网络设备将该国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量。
其中,步骤B2051和A2051的执行类似,在此不作赘述。
B2052、网络设备从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本,然后执行步骤B2053。
其中,步骤B2052和A2052的执行类似,在此不作赘述。
B2053、网络设备将该迁移数据样本和目标卷积层的输出向量进行级联,得到级联后向量,然后执行步骤B2054。
B2054、网络设备对该级联后向量进行降维操作后,作为该目标卷积层的下一层卷积层的输入向量,然后执行步骤B2055。
B2055、网络设备将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕,然后执行步骤f2。
例如,以当前训练样本为国内分期样本1为例,如图2c所示,在步骤B2053至B2055中,可以将国内分期样本1在训练后国际分期模型中的第一层卷积层的输出向量,作为迁移数据样本,传送给国内分期模型,然后,与国内分期模型的第一层卷积层的输出向量(即该国内分期样本1经过国内分期模型计算后,得到的第一层卷积层的输出向量)进行级联和降维后,作为国内分期模型的第二层卷积层的输入,进而计算得到该国内分期样本1在国内分期模型的第二层卷积层的输出向量。
同理,可以将该国内分期样本1训练后国际分期模型中的第二层卷积层的输出向量,作为迁移数据样本传送给国内分期模型,并与该国内分期样本1在国内分期模型的第二层卷积层的输出向量进行级联和降维后,作为国内分期模型的第三层卷积层的输入,进而计算得到该国内分期样本1在国内分期模型的第三层卷积层的输出向量,以此类推,等等;由于图2c所示的网络结构只包括三层卷积层,而此时最后一层卷积层(第三层卷积层)已计算完毕,因此,此时可以执行步骤B2056。
B2056、网络设备对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
B2057、网络设备获取该处理后国内分期样本集中的样本的国内分期标注值。
B2058、网络设备对该国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
其中,步骤B2056至B2058与步骤A2055至A2057类似,在此不作赘述。
需说明的是,步骤204和205可以先后执行,也可以并行执行,即除了可以先将当前国内分期样本输入至训练后国际分期模型后,再输入至预设国内分期模型中之外,也可以将当前国内分期样本同时输入至训练后国际分期模型和预设国内分期模型中,其执行顺序对上述流程的实现不产生影响,因此,在此不作赘述。
206、网络设备采集待识别眼底图像。
例如,该网络设备具体可以接收医疗检测设备或医疗监控设备等提供的待识别眼底图像。
207、网络设备对该待识别眼底图像进行增强处理和预处理,得到处理后图像。
其中,增强处理和/或预处理的方式与对训练样本的增强处理和/或预处理类似,例如,具体可以采用如下任意一种操作:
(1)数据增强处理。
a.对该待识别眼底图像进行50%概率的左右翻转。
b.对该待识别眼底图像进行边框裁剪。
其中,具体裁剪策略可根据实际应用的需求而定,比如,具体可以对待识别眼底图像的高和宽进行0~20%的边框裁剪,等等。
c.对该待识别眼底图像进行亮度值调整。
其中,具体调整策略可根据实际应用的需求而定,比如,可以将待识别眼底图像的每个像素点加上一预设亮度值,其中该预设亮度值取值范围可以为(-20,20);和/或,还可以将每个像素点的亮度乘以0.8至1.2之间的一个随机值,等等。
d.对该待识别眼底图像的尺寸进行缩放。
其中,具体缩放策略可根据实际应用的需求而定,比如,可以将待识别眼底图像的尺寸缩放为原来的90%~110%之间,等等。
e.对该待识别眼底图像进行旋转。
其中,具体旋转策略可根据实际应用的需求而定,比如,可以将待识别眼底图像随机旋转-180°~180°之间的某个角度,等等。
(2)预处理。
例如,具体可以采用如下任意一种或多种操作对该待识别眼底图像进行预处理,如下:
a.对该待识别眼底图像进行缩放,使得所有样本中的眼球具有相同的半径。
此外,还可以对待识别眼底图像的尺寸进行调整,比如,将尺寸缩放至预设大小,等等。
b.对该待识别眼底图像的颜色通道进行调整,以增强每个样本中各像素之间的区别度。
其中,具体调整策略可根据实际应用的需求而定,比如,对于待识别眼底图像中的每个像素点,可以将其每个颜色通道的值,减去以该像素点为中心的预设区域范围内的像素点的相应颜色通道的平均值,再将每个像素点乘以一个预设固定值(如4)以增加个像素点间的区别度,再加上一定的灰度值,比如加上50%的灰度值,等等。
c.对该待识别眼底图像进行裁剪,以减少样本中无信息区域的面积。
其中,具体裁剪策略可根据实际应用的需求而定,在此不再赘述。
208、网络设备采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
例如,网络设备可以直接采用该训练后国内分期模型对该图像进行识别,比如,可以将该处理后图像直接导入该训练后国内分期模型中进行计算;或者,也可以引入国际分期模型中的数据作为参考,比如,具体可以如下:
网络设备分别将该处理后图像导入至训练后国际分期模型和训练后国内分期模型中,然后,获取该处理后图像在国内分期模型中预设目标卷积层的输出向量,得到第二输出向量;并从训练后国际分期模型中获取与该目标卷积层在结构位置上对应的卷积层的输出向量(即该处理后图像在国际分期模型的相应卷积层上的输出向量,在本发明实施例称为第一输出向量),得到迁移数据;将该迁移数据和第二输出向量进行“加权平均”或“级联并降维”后,作为该目标卷积层的下一层卷积层的输入向量;将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行“从训练后国际分期模型中获取与该目标卷积层在结构位置上对应的卷积层的输出向量”的步骤,直至该国内分期模型中的所有卷积层计算完毕,此后,继续采用该国内分期模型的后续层对该最后一层卷积层的输出向量进行计算,比如,可以对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,便可以得到该处理后图像的视网膜病变国内分期类型,比如,“正常”、“Ⅰ期”、“II期”、“III期”,“IV期”、“V期”或“VI期”,等等。
由上可知,本实施例可以通过采集国际分期样本集来对预设国际分期模型进行训练,然后,利用训练后国际分期模型对采集到的国内分期样本集进行计算,并将得到的国际分期模型中每个卷积层的输出向量作为迁移数据样本,与国内分期样本集进行结合,来对国内分期模型进行训练,此后,便可以基于训练后国内分期模型对待识别眼底图像进行识别,以确定该待识别眼底图像的视网膜病变国内分期类型;由于该方案可以利用国际分期模型和国内分期模型来进行图像特征识别,因此,相对于现有只能通过人工来选择特征进行匹配的方案而言,可以更好地利用图像中所包含的信息,在提高识别效率的同时,对提高识别准确率也有积极的作用,而且,还可以减少人为因素,如经验或误操作的影响,使得该准确率具有一定稳定性;此外,由于在对国内分期模型进行训练时,还对训练后国际分期模型中间层所输出的数据进行迁移学习,所以,还可以避免由于国内分期样本数量不足所导致的国内分期模型分类精度不高的问题,大大提高国内分期的准确性。
实施例三、
为了更好地实施以上方法,本发明实施例还提供一种视网膜病变图像类型识别装置,该视网膜病变图像类型识别装置具体可以集成在网络设备中,该网络设备可以是终端或服务器等设备。
例如,如图3a所示,该视网膜病变图像类型识别装置可以包括采集单元301、国际训练单元302、迁移学习单元303、国内训练单元304和识别单元305,如下:
(1)采集单元301;
采集单元301,用于采集国际分期样本集和国内分期样本集。
其中,采集的途径可以有多种,比如,采集单元301,具体可以用于从互联网、指定数据库和/或医疗记录中获取多个国际分期样本,得到国际分期样本集,以及从互联网、指定数据库和/或医疗记录中获取多个国内分期样本,得到国内分期样本集。
由于所采集的样本的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行模型训练,改善训练效果,可以对采集到的样本进行预处理,使得图像规格化,即如图3b所示,该视网膜病变图像类型识别装置还可以包括预处理单元306,如下:
该预处理单元306,可以用于对该国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理。
例如,该预处理单元306,具体可以用于对该国际分期样本集中的样本和国内分期样本集中的样本进行如一任意一种或多种的数据增强处理:
对该国际分期样本集中的样本和国内分期样本集中的样本进行50%概率的左右翻转;
对该国际分期样本集中的样本和国内分期样本集中的样本进行边框裁剪;
对该国际分期样本集中的样本和国内分期样本集中的样本进行亮度值调整;
对该国际分期样本集中的样本和国内分期样本集中的样本的尺寸进行缩放;
对该国际分期样本集中的样本和国内分期样本集中的样本进行旋转。
又例如,该预处理单元306,具体可以用于对该国际分期样本集中的样本和国内分期样本集中的样本进行如一任意一种或多种的预处理:
对该国际分期样本集中的样本和国内分期样本集中的样本进行缩放,使得所有样本中的眼球具有相同的半径;
对该国际分期样本集中的样本和国内分期样本集中的样本的颜色通道进行调整,以增强每个样本中各像素之间的区别度;
对该国际分期样本集中的样本和国内分期样本集中的样本进行裁剪,以减少样本中无信息区域的面积。
以上数据增强处理和预处理的具体实施方式可参见前面的方法实施例,在此不作赘述。
(2)国际训练单元302;
国际训练单元302,用于根据该国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型。
例如,该国际训练单元302,具体可以用于将该国际分期样本集中的样本分别导入预设国际分期模型中进行计算,得到该国际分期样本集中的样本的国际分期预测值,获取国际分期样本集中的样本的国际分期标注值,对该国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。
其中,国际分期标注值则可以由标注审核人员根据专业医生的指导进行标注。
需说明的是,该国际分期模型的网络结构可以根据实际应用的需求而定,比如,可以采用CNN,其中,该国际分期模型至少包括多个卷积层,此外,还可以其他的层,如全连接层等,在此不作赘述。
还需说明的是,若预处理单元306已经对国际分期样本集中的样本进行了数据增强和/或预处理,则此时:
该国际训练单元302,具体可以用于根据数据增强处理和/或预处理后的国际分期样本集(简称为处理后国际分期样本集)对预设国际分期模型进行训练,得到训练后国际分期模型。
(3)迁移学习单元303;
迁移学习单元303,用于采用该训练后国际分期模型对该国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量。
(4)国内训练单元304;
国内训练单元304,用于根据该国内分期样本集和国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型。
需说明的是,若预处理单元306已经对国内分期样本集中的样本进行了数据增强和/或预处理,则国内训练单元304,具体可以用于根据数据增强处理和/或预处理后的国内分期样本集(即处理后国内分期样本集)、以及国际分期模型中每个卷积层的输出向量对预设国内分期模型进行训练,得到训练后国内分期模型。
例如,该国内训练单元304可以包括运算子单元、获取子单元和收敛子单元,如下:
该运算子单元,用于采用预设国内分期模型对该国内分期样本集中的样本(或处理后国内分期样本集)、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值。
该获取子单元,用于获取国内分期样本集中的样本的国内分期标注值。
其中,国内分期标注值可以由标注审核人员根据专业医生的指导进行标注。
该收敛子单元,用于对该国内分期样本集中的样本的国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
其中,该国内分期模型与国际分期模型的网络结构相同,比如,若国际分期模型采用的是某种结构的CNN网络,则该国内分期模型也需采用同样结构的CNN网络,也就是说,该国内分期模型也至少可以包括多个卷积层,此外,还可以全连接层,且卷积层层数与国际分期模型相等,比如,若国际分期模型包括了3层卷积层,则该国内分期模型也包括3层卷积层。
由于国内分期模型和国际分期模型的网络结构相同,因此,可以将国际分期模型的中间层输出和国内分期模型对应位置的中间层输出进行预设处理后作为国内分期模型的后续层的输入,其中,该预设处理可以是加权平均,也可以是级联,具体可以根据实际应用的需求而定。即该运算子单元,具体可以用于:
将该国内分期样本集(或处理后国内分期样本集)中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量;从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;将该迁移数据样本和目标卷积层的输出向量进行加权平均处理后,作为该目标卷积层的下一层卷积层的输入向量;将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕;对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
或者,该运算子单元,具体可以用于将该国内分期样本集(或处理后国内分期样本集)中的样本分别导入预设国内分期模型中进行计算,以获取该国内分期模型中预设目标卷积层的输出向量;从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;将该迁移数据样本和目标卷积层的输出向量进行级联,得到级联后向量;对该级联后向量进行降维操作后,作为该目标卷积层的下一层卷积层的输入向量;将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕;对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
(5)识别单元305;
识别单元305,用于基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
例如,该识别单元305,具体可以用于采集待识别眼底图像,对该待识别眼底图像进行增强处理和/或预处理,得到处理后图像,采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
由于所采集的待识别眼底图像的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行计算,提高计算效果,可以对采集到的待识别眼底图像进行数据增强和/或预处理,使得图像规格化,即:
预处理单元306,还可以用于对该待识别眼底图像进行增强处理和/或预处理,得到处理后图像。
其中,增强处理和/或预处理的方式可参见前面的方法实施例,在此不作赘述。
则此时,识别单元305,具体可以用于采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
其中,识别单元305在采用训练后国内分期模型对图像(待识别眼底图像或处理后图像)进行识别时,即可以仅使用该训练后国内分期模型对该图像进行识别,比如,可以将该图像,如待识别眼底图像或处理后图像直接导入该训练后国内分期模型中进行计算;或者,也可以与在训练该国内分期模型类似,引入国际分期模型中的数据作为参考,即:
识别单元305,具体可以用于获取该处理后图像(或待识别眼底图像)在国际分期模型中每个卷积层的输出向量,得到第一输出向量集;获取该处理后图像(或待识别眼底图像)在国内分期模型中预设目标卷积层的输出向量,得到第二输出向量;从该第一输出向量集中获取与该目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据;将该迁移数据和第二输出向量进行预设处理(如加权平均或级联)处理后,作为该目标卷积层的下一层卷积层的输入向量;将该目标卷积层更新为该目标卷积层的下一层卷积层,并返回执行从该第一输出向量集中获取与该目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至该国内分期模型中的所有卷积层计算完毕;对该国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到该处理后图像(或待识别眼底图像)的视网膜病变国内分期类型。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视网膜病变图像类型识别装置可以由国际训练单元302通过采集单元301采集的国际分期样本集来对预设国际分期模型进行训练,然后,由迁移学习单元303利用训练后国际分期模型对采集到的国内分期样本集进行计算,并得到的国际分期模型中每个卷积层的输出向量作为迁移数据样本,与国内分期样本集进行结合,由国内训练单元304来对国内分期模型进行训练,此后,便可以由识别单元305基于训练后国内分期模型对待识别眼底图像进行识别,以确定该待识别眼底图像的视网膜病变国内分期类型;由于该方案可以利用国际分期模型和国内分期模型来进行图像特征识别,因此,相对于现有只能通过人工来选择特征进行匹配的方案而言,可以更好地利用图像中所包含的信息,在提高识别效率的同时,对提高识别准确率也有积极的作用,而且,还可以减少人为因素,如经验或误操作的影响,使得该准确率具有一定稳定性;此外,由于在对国内分期模型进行训练时,还对训练后国际分期模型中间层所输出的数据进行迁移学习,所以,还可以避免由于国内分期样本数量不足所导致的国内分期模型分类精度不高的问题,大大提高国内分期的准确性。
实施例四、
本发明实施例还提供一种网络设备,具体可以为终端,也可以为服务器,该网络设备可以集成本发明实施例所提供的任一种视网膜病变图像类型识别装置。
例如,如图4所示,其示出了本发明实施例所涉及的网络设备的结构示意图,具体来讲:
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
采集国际分期样本集和国内分期样本集,根据该国际分期样本集对预设国际分期模型进行训练,采用训练后国际分期模型对该国内分期样本集进行计算,根据计算得到的国际分期模型中每个卷积层的输出向量和国内分期样本集对预设国内分期模型进行训练,并基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
其中,该国内分期模型与国际分期模型的网络结构相同,比如,若国际分期模型采用的是某种结构的CNN网络,则该国内分期模型也需采用同样结构的CNN网络,也就是说,该国内分期模型也至少可以包括多个卷积层,此外,还可以全连接层,且卷积层层数与国际分期模型相等。
由于国内分期模型和国际分期模型的网络结构相同,因此,可以将国际分期模型的中间层输出和国内分期模型对应位置的中间层输出进行预设处理后作为国内分期模型的后续层的输入,其中,该预设处理可以是加权平均,也可以是级联,具体可参见前面的实施例,在此不再赘述。
可选的,由于所采集的样本的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行模型训练,改善训练效果,可以对采集到的样本进行数据增强和/或预处理,使得图像规格化,即处理器401还可以运行存储在存储器402中的应用程序,从而实现如下功能:
对该国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理,具体可参见前面的实施例,在此不作赘述。
同理,也可以对待识别眼底图像进行数据增强处理和/或预处理,即处理器401还可以运行存储在存储器402中的应用程序,从而实现如下功能:
采集待识别眼底图像,对该待识别眼底图像进行增强处理和/或预处理,得到处理后图像,采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由上可知,本实施例的网络设备可以通过采集国际分期样本集来对预设国际分期模型进行训练,然后,利用训练后国际分期模型对采集到的国内分期样本集进行计算,并将得到的国际分期模型中每个卷积层的输出向量作为迁移数据样本,与国内分期样本集进行结合,来对国内分期模型进行训练,此后,便可以基于训练后国内分期模型对待识别眼底图像进行识别,以确定该待识别眼底图像的视网膜病变国内分期类型;由于该方案可以利用国际分期模型和国内分期模型来进行图像特征识别,因此,相对于现有只能通过人工来选择特征进行匹配的方案而言,可以更好地利用图像中所包含的信息,在提高识别效率的同时,对提高识别准确率也有积极的作用,而且,还可以减少人为因素,如经验或误操作的影响,使得该准确率具有一定稳定性;此外,由于在对国内分期模型进行训练时,还对训练后国际分期模型中间层所输出的数据进行迁移学习,所以,还可以大大提高国内分期的准确性。
实施例五、
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种视网膜病变图像类型识别方法中的步骤。例如,该指令可以执行如下步骤:
采集国际分期样本集和国内分期样本集,根据该国际分期样本集对预设国际分期模型进行训练,采用训练后国际分期模型对该国内分期样本集进行计算,根据计算得到的国际分期模型中每个卷积层的输出向量和国内分期样本集对预设国内分期模型进行训练,并基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别。
其中,该国内分期模型与国际分期模型的网络结构相同,比如,若国际分期模型采用的是某种结构的CNN网络,则该国内分期模型也需采用同样结构的CNN网络,也就是说,该国内分期模型也至少可以包括多个卷积层,此外,还可以全连接层,且卷积层层数与国际分期模型相等。
由于国内分期模型和国际分期模型的网络结构相同,因此,可以将国际分期模型的中间层输出和国内分期模型对应位置的中间层输出进行预设处理后作为国内分期模型的后续层的输入,其中,该预设处理可以是加权平均,也可以是级联,具体可参见前面的实施例,在此不再赘述。
可选的,由于所采集的样本的规格,如尺寸、像素和/或颜色通道等可能有所差异,因此,为了便于后续进行模型训练,改善训练效果,可以对采集到的样本进行数据增强和/或预处理,使得图像规格化,即该指令还可以执行如下步骤:
对该国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理,具体可参见前面的实施例,在此不作赘述。
同理,也可以对待识别眼底图像进行数据增强处理和/或预处理,即该指令还可以执行如下步骤:
采集待识别眼底图像,对该待识别眼底图像进行增强处理和/或预处理,得到处理后图像,采用训练后国内分期模型对该处理后图像进行识别,得到该处理后图像的视网膜病变国内分期类型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种视网膜病变图像类型识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种视网膜病变图像类型识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种视网膜病变图像类型识别方法、装置和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种视网膜病变图像类型识别方法,其特征在于,包括:
采集国际分期样本集和国内分期样本集;
根据所述国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,所述国际分期模型至少包括多个卷积层;
采用所述训练后国际分期模型对所述国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量;
采用预设国内分期模型对所述国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值;
获取国内分期样本集中的样本的国内分期标注值;
对所述国内分期样本集中的样本的国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型;
基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别;
其中所述采用预设国内分期模型对所述国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值的步骤包括:
将所述国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取所述国内分期模型中预设目标卷积层的输出向量;所述国际分期模型和国内分期模型的网络结构相同;
从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;
将所述迁移数据样本和目标卷积层的输出向量进行加权平均处理后,作为所述目标卷积层的下一层卷积层的输入向量;
将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;
对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,包括:
将所述国际分期样本集中的样本分别导入预设国际分期模型中进行计算,得到所述国际分期样本集中的样本的国际分期预测值;
获取国际分期样本集中的样本的国际分期标注值;
对所述国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。
3.根据权利要求1所述的方法,其特征在于,所述国际分期模型和国内分期模型的网络结构相同,所述采用预设国内分期模型对所述国内分期样本集中的样本、以及国际分期模型中每个卷积层的输出向量进行计算,得到国内分期样本集中的样本的国内分期预测值,包括:
将所述国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取所述国内分期模型中预设目标卷积层的输出向量;
从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;
将所述迁移数据样本和目标卷积层的输出向量进行级联,得到级联后向量;
对所述级联后向量进行降维操作后,作为所述目标卷积层的下一层卷积层的输入向量;
将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;
对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述采集国际分期样本集和国内分期样本集之后,还包括:
对所述国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本进行预处理。
5.根据权利要求4所述的方法,其特征在于,所述对所述国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理,包括:
对所述国际分期样本集中的样本和国内分期样本集中的样本进行50%概率的左右翻转;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本进行边框裁剪;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本进行亮度值调整;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本的尺寸进行缩放;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本进行旋转。
6.根据权利要求4所述的方法,其特征在于,所述对所述国际分期样本集中的样本和国内分期样本集中的样本进行预处理,包括:
对所述国际分期样本集中的样本和国内分期样本集中的样本进行缩放,使得所有样本中的眼球具有相同的半径;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本的颜色通道进行调整,以增强每个样本中各像素之间的区别度;和/或,
对所述国际分期样本集中的样本和国内分期样本集中的样本进行裁剪,以减少样本中无信息区域的面积。
7.根据权利要求1至3任一项所述的方法,其特征在于,所述基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别,包括:
采集待识别眼底图像;
对所述待识别眼底图像进行增强处理和/或预处理,得到处理后图像;
采用训练后国内分期模型对所述处理后图像进行识别,得到所述处理后图像的视网膜病变国内分期类型。
8.根据权利要求7所述的方法,其特征在于,所述采用训练后国内分期模型对所述处理后图像进行识别,得到所述处理后图像的视网膜病变国内分期类型,包括:
获取所述处理后图像在国际分期模型中每个卷积层的输出向量,得到第一输出向量集;
获取所述处理后图像在国内分期模型中预设目标卷积层的输出向量,得到第二输出向量;
从所述第一输出向量集中获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据;
将所述迁移数据和第二输出向量进行加权平均或级联后,作为所述目标卷积层的下一层卷积层的输入向量;
将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从所述第一输出向量集中获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;
对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到所述处理后图像的视网膜病变国内分期类型。
9.一种视网膜病变图像类型识别装置,其特征在于,包括:
采集单元,用于采集国际分期样本集和国内分期样本集;
国际训练单元,用于根据所述国际分期样本集对预设国际分期模型进行训练,得到训练后国际分期模型,所述国际分期模型至少包括多个卷积层;
迁移学习单元,用于采用所述训练后国际分期模型对所述国内分期样本集进行计算,得到国际分期模型中每个卷积层的输出向量;
国内训练单元,用于根据所述国内分期样本集和输出向量对预设国内分期模型进行训练,得到训练后国内分期模型;
识别单元,用于基于训练后国内分期模型对待识别眼底图像进行视网膜病变类型识别;
其中所述国内训练单元包括运算子单元、获取子单元和收敛子单元;
所述运算子单元,用于将所述国内分期样本集中的样本分别导入预设国内分期模型中进行计算,以获取所述国内分期模型中预设目标卷积层的输出向量;所述国际分期模型和国内分期模型的网络结构相同;从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量,得到迁移数据样本;将所述迁移数据样本和目标卷积层的输出向量进行加权平均处理后,作为所述目标卷积层的下一层卷积层的输入向量;将所述目标卷积层更新为所述目标卷积层的下一层卷积层,并返回执行从国际分期模型中每个卷积层的输出向量中,获取与所述目标卷积层在结构位置上对应的卷积层的输出向量的步骤,直至所述国内分期模型中的所有卷积层计算完毕;对所述国内分期模型中最后一层卷积层的输出向量进行全连接运算,得到国内分期样本集中的样本的国内分期预测值;
所述获取子单元,用于获取国内分期样本集中的样本的国内分期标注值;
所述收敛子单元,用于对所述国内分期样本集中的样本的国内分期标注值和国内分期预测值进行收敛,得到训练后国内分期模型。
10.根据权利要求9所述的装置,其特征在于,
所述国际训练单元,具体用于将所述国际分期样本集中的样本分别导入预设国际分期模型中进行计算,得到所述国际分期样本集中的样本的国际分期预测值,获取国际分期样本集中的样本的国际分期标注值,对所述国际分期样本集中的样本的国际分期标注值和国际分期预测值进行收敛,得到训练后国际分期模型。
11.根据权利要求9、10任一项所述的装置,其特征在于,还包括预处理单元;
所述预处理单元,用于对所述国际分期样本集中的样本和国内分期样本集中的样本进行数据增强处理和/或预处理。
12.一种计算机可读存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的视网膜病变图像类型识别方法中的步骤。
CN201810732444.2A 2018-07-05 2018-07-05 一种视网膜病变图像类型识别方法、装置和存储介质 Active CN109003264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810732444.2A CN109003264B (zh) 2018-07-05 2018-07-05 一种视网膜病变图像类型识别方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810732444.2A CN109003264B (zh) 2018-07-05 2018-07-05 一种视网膜病变图像类型识别方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN109003264A CN109003264A (zh) 2018-12-14
CN109003264B true CN109003264B (zh) 2022-05-06

Family

ID=64599054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810732444.2A Active CN109003264B (zh) 2018-07-05 2018-07-05 一种视网膜病变图像类型识别方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN109003264B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN114022725A (zh) * 2021-10-09 2022-02-08 北京鹰瞳科技发展股份有限公司 一种训练多病种转诊系统的方法、多病种转诊系统以及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292856A1 (en) * 2015-04-06 2016-10-06 IDx, LLC Systems and methods for feature detection in retinal images
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292856A1 (en) * 2015-04-06 2016-10-06 IDx, LLC Systems and methods for feature detection in retinal images
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Convolutional neural networks based transfer learning for diabetic retinopathy fundus image classification;Xiaogang Li et al.;《 2017 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20171016;第1-11页 *

Also Published As

Publication number Publication date
CN109003264A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN110619319A (zh) 一种基于改进的mtcnn模型人脸检测方法和系统
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN109002846B (zh) 一种图像识别方法、装置和存储介质
CN111079833B (zh) 图像识别方法、装置以及计算机可读存储介质
WO2020029915A1 (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
CN109003264B (zh) 一种视网膜病变图像类型识别方法、装置和存储介质
CN109712128A (zh) 特征点检测方法、装置、计算机设备和存储介质
JP2019200671A (ja) 学習装置、学習方法、プログラム、データ生成方法及び識別装置
CN109087310B (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN114121232A (zh) 分类模型训练方法、装置、电子设备及存储介质
CN116863522A (zh) 痤疮分级方法、装置、设备及介质
CN114864093B (zh) 基于眼底图像进行疾病预测的装置、方法及存储介质
US20240087133A1 (en) Method of refining tissue specimen image, and computing system performing same
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质
CN113724214A (zh) 一种基于神经网络的图像处理方法及装置
CN114120035A (zh) 一种医学影像识别训练方法
CN114187281A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN112381810A (zh) 一种肺炎图像识别方法、装置及计算设备
CN112801013A (zh) 一种基于关键点识别校验的人脸识别方法、系统及装置
CN114596621B (zh) 一种基于机器视觉的舌象数据处理方法及系统
CN109544515B (zh) 一种趋势确定方法及装置
CN115690891B (zh) 人脸情绪的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20191008

Address after: 518052 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A

Applicant after: Tencent Medical Health (Shenzhen) Co., Ltd.

Address before: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant