CN111028218A

CN111028218A - 眼底图像质量判定模型训练方法、装置和计算机设备

Info

Publication number: CN111028218A
Application number: CN201911259240.2A
Authority: CN
Inventors: 盛斌; 沈雅欣; 戴超
Original assignee: Shanghai Zhitang Health Technology Co Ltd
Current assignee: Shanghai Zhitang Health Technology Co Ltd
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2020-04-17
Anticipated expiration: 2039-12-10
Also published as: CN111028218B

Abstract

本申请涉及一种眼底图像质量判定模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取目标眼底图像；基于由原始眼底图像训练得到的眼底图像质量判定模型提取目标眼底图像的待分类图像特征；基于预训练的域分类器预测待分类图像特征属于原始眼底图像对应的图像特征的概率值；根据概率值调整眼底图像质量判定模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。采用本方法能够提升模型泛化能力。

Description

眼底图像质量判定模型训练方法、装置和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种眼底图像质量判定模型训练方法、装置和计算机设备。

背景技术

眼底图像是指针对眼球内后部的组织所采集的图像，是用来对眼底疾病进行辅助诊断的重要依据。在基于眼底图像进行眼底疾病自动诊断时，若眼底图像具有模糊不清、病灶区域显示不全等问题时，就会造成误诊。因此在眼底疾病自动诊断前进行眼底图像质量自动判定以过滤掉不可诊断图像是很有必要的。

目前主要是通过机器学习模型对眼底图像进行识别，通过从眼底图像提取图像特征，基于图像特征判断眼底图像是否满足进行自动诊断的条件。然而，由于眼底图像会因不同的图像采集设备、测试人群而呈现不同的分布，因此当测试图像与训练图像不属于同一分布时，机器学习模型在使用时可能会不适合基于训练图像拟合的模型参数，从而影响机器学习模型的性能。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升模型泛化能力的眼底图像质量判定模型训练方法、装置、计算机设备和存储介质。

一种眼底图像质量判定模型训练方法，所述方法包括：

获取目标眼底图像；

基于由原始眼底图像训练得到的眼底图像质量判定模型提取所述目标眼底图像的待分类图像特征；

基于预训练的域分类器预测所述待分类图像特征属于原始眼底图像对应的图像特征的概率值；

根据所述概率值调整所述眼底图像质量判定模型的模型参数并继续训练，直至所述待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在其中一个实施例中，所述眼底图像质量判定模型具有全局子模型以及多个局部子模型；所述基于由原始眼底图像训练眼底图像质量判定模型的步骤包括；

获取原始眼底图像以及将所述原始眼底图像分割得到的多个原始局部图像；所述原始眼底图像具有全局质量评分标签；所述原始局部图像具有区域标识以及局部质量评分标签；

基于所述原始眼底图像及对应的全局质量评分标签训练所述全局子模型；

根据所述区域标识从所述多个局部子模型中筛选出目标子模型；

基于与所述区域标识对应的原始局部图像以及与所述原始局部图像对应的局部质量评分标签训练所述目标子模型；

合并所述训练后的全局子模型以及目标子模型，得到所述由原始眼底图像训练得到的眼底图像质量判定模型。

在其中一个实施例中，所述局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；所述局部质量评分标签包括清晰度标签、伪影标签以及质量标签；所述基于与所述区域标识对应的原始局部图像以及与所述原始局部图像对应的局部质量评分标签训练所述目标子模型包括：

获取所述原始局部图像的清晰度特征、伪影特征以及质量特征；

基于所述清晰度特征以及对应的清晰度标签训练所述清晰度判定模型；

基于所述伪影特征以及对应的伪影标签训练所述伪影判定模型；

基于所述质量特征以及对应的质量标签训练所述质量判定模型

合并所述清晰度判定模型、伪影判定模型以及质量判定模型得到所述目标子模型。

在其中一个实施例中，所述域分类器训练方法包括：

获取原始眼底图像、与原始眼底图像对应的分类标签及目标眼底图像；

提取所述原始眼底图像的待分类特征图和目标眼底图像的待分类特征图；

预测从所述原始眼底图像提取出的待分类图像特征或从所述目标眼底图像图提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值；

按照所述概率值与所述分类标签之间的差异调整模型参数并继续训练，直至满足训练停止条件。

在其中一个实施例中，所述的眼底图像质量判定模型包括浅层模型；所述根据所述概率值调整所述眼底图像质量判定模型的模型参数并继续训练，直至所述待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件包括：

获取与原始眼底图像对应的分类标签；

根据所述概率值与所述分类标签之间的差异调整所述浅层模型的模型参数并继续训练，直至所述待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在其中一个实施例中，所述眼底图像质量评分模型包括特征提取子模型和质量分类模型；所述特征提取模型具有全局子模型以及多个局部子模型；所述方法还包括：

获取目标眼底图像以及将所述目标眼底图像分割得到的多个局部目标眼底图像；

将所述目标眼底图像以及局部目标眼底图像对应输入所述全局子模型以及多个局部子模型，得到全局图像特征以及局部图像特征；

将所述全局图像特征以及局部图像特征输入质量分类模型，得到所述目标眼底图像的质量评分和局部目标眼底图像的质量评分；

基于所述目标眼底图像的质量评分和局部目标眼底图像的质量评分确定所述目标眼底图像的综合质量评分。

在其中一个实施例中，所述方法还包括：

对所述全局图像特征进行平均池化，得到所述全局图像特征的整体均值；

将所述整体均值转换成对应的可视化图像并对应输出。

一种眼底图像质量判定模型训练装置，所述装置包括：

图像获取模块，用于获取目标眼底图像；

特征提取模块，用于基于由原始眼底图像训练得到的眼底图像质量判定模型提取所述目标眼底图像的待分类图像特征；

参数调整模块，用于基于预训练的域分类器预测所述待分类图像特征属于原始眼底图像对应的图像特征的概率值；根据所述概率值调整所述眼底图像质量判定模型的模型参数并继续训练，直至所述待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标眼底图像；

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标眼底图像；

上述眼底图像质量判定模型训练方法、装置、计算机设备和存储介质，由于眼底图像质量判定模型是基于原始眼底图像预先训练得到的机器学习模型，因此眼底图像质量判定模型可以用来准确地提取出原始眼底图像的有效特征信息，以及根据提取出的有效特征信息进行准确地质量判定，而调参后的眼底图像质量判定模型更倾向于从目标眼底图像提取出与原始眼底图像共有的公共特征，因此调参后的眼底图像质量判定模型也能够基于从目标眼底图像提取出的图像特征对目标眼底图像进行精准地质量判定。

附图说明

图1为一个实施例中眼底图像质量判定模型训练方法的应用场景图；

图2为一个实施例中眼底图像质量判定模型训练方法的流程示意图；

图3为一个实施例中眼底图像质量判定模型与域分类器进行对抗训练的流程示意图；

图4为另一个实施例中眼底图像质量判定模型使用流程示意图；

图5为一个实施例中眼底图像质量判定模型训练装置的结构框图；

图6为另一个实施例中眼底图像质量判定模型训练装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中眼底图像质量判定模型训练方法的应用环境图。参照图1，该眼底图像质量判定模型训练方法应用于眼底图像质量判定模型训练系统。该眼底图像质量判定模型训练系统包括终端102和服务器104。该眼底图像质量判定模型训练方法以及使用方法均可以在终端102或服务器104完成。眼底图像质量判定模型包括特征提取模型以及质量分类器，当需要对眼底图像进行质量评分时，终端102可以基于特征提取模型提取眼底图像的图像特征，基于质量分类器对提取出的图像特征进行质量评分，也可以将眼底图像发送至服务器104，由服务器104进行特征提取和质量评分。终端102与服务器104通过模型进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种眼底图像质量判定模型训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，获取目标眼底图像。

其中，眼底图像为针对不同人种的眼球内后部的组织所采集的图像。眼底图像包括原始眼底图像以及目标眼底图像，原始眼底图像与目标眼底图像为基于不同图像设备针对不同人种所采集的图像帧。

具体地，不同的图像采集设备在预设时间段内对不同人种的人眼进行图像采集，并按照预设时间频率生成图像帧。时间频率是指单位时间内所需拍摄眼底图像的帧数，如1帧/秒。图像采集设备在图像帧中嵌入设备标识，并将嵌有设备标识的图像帧发送至计算机设备。当计算机设备接收到图像采集设备发送的图像帧时，计算机设备根据图像帧中的设备标识对眼底图像进行划分，得到原始眼底图像集和目标眼底图像集。比如，当图像采集设备A为对中国人的人眼采集眼底图像，图像采集设备B为对欧美人的人眼采集眼底图像时，计算机设备将图像采集设备A采集的眼底图像划分为原始眼底图像集，将图像采集设备B采集的眼底图像划分为目标眼底图像集。

进一步地，计算机设备将原始眼底图像集中的眼底图像的分类标签设置为与原始眼底图像类别对应的标签，如可以将原始眼底图像集中的眼底图像的分类标签均设置为1，将目标眼底图像集中的眼底图像的分类标签均设置为0。

在一个实施例中，图像采集设备在采集到图像帧后，可检测该图像帧中是否存在人眼，若存在人眼，则获取该图像帧作为眼底图像发送至计算机设备。

在一个实施例中，计算机设备在获取到图像采集设备发送的图像帧后，计算机设备根据眼球检测算法识别图像帧中的眼球区域，并对眼球区域进行裁剪，得到眼底图像。眼球检测算法可以根据需要自定义，如可以为OpenCV眼球检测算法等。

S204，基于由原始眼底图像训练得到的眼底图像质量判定模型提取目标眼底图像的待分类图像特征。

其中，由原始眼底图像训练得到的眼底图像质量判定模型为基于原始眼底图像和对应的质量评分标签训练得到的机器学习模型，为了描述方便，下述将由原始眼底图像训练得到的眼底图像质量判定模型成为初始眼底图像质量判定模型。初始眼底图像质量判定模型包括初始特征提取模型以及质量分类器；初始特征提取模型用于从眼底图像中提取如病灶轮廓、血管边缘等图像特征；质量分类器用于根据提取出的图像特征进行质量评分。质量评分标签为由专业眼科医生基于表1的图像质量判定标准从伪影、清晰度以及病灶区域位置三个维度对眼底图像的质量进行综合评判得到的最终得分。表1为一个实施例中图像质量判定标准表。

表1：图像质量判定标准

具体地，计算机设备将目标眼底图像输入初始特征提取模型，初始特征提取模型的输入层对目标眼底图像进行图片处理，得到图像矩阵，之后，初始特征提取模型的卷积层根据预设的卷积核对图像矩阵进行卷积计算，得到目标眼底图像的待分类图像特征。

由于初始特征提取模型是由原始眼底图像以及对应的质量评分标签训练而得，因此初始特征提取模型可以准确提取出原始眼底图像的有效特征图。

在一个实施例中，初始眼底图像质量判定模型具有分割器，初始特征提取模型具有全局图像分支以及局部图像分支。当初始图像质量判定模型接收到目标眼底图像后，基于分割器对目标眼底图像进行分割，得到多张局部图像，并将将目标眼底图像输入全局图像分支以及局部图像分支，由全局图像分支对目标眼底图像进行全局特征提取，由局部图像对目标眼底图像进行分割，得到局部图像后，对局部图像进行局部特征提取。

在一个实施例中，初始特征提取模型可以对目标眼底图像进行低维度特征提取，得到如人眼纹理、眼球颜色等浅层特征。

由于不同人的眼底图像的深层特征基本一致，浅层特征区别较大，因此影响眼底图像分布的因素主要来源于浅层特征，故初始特征提取模型只需提取出的浅层特征，即可使域分类器根据浅层特征实现特征分类预测。

S206，基于预训练的域分类器预测所述待分类图像特征属于原始眼底图像对应的图像特征的概率值。

其中，域分类器为能够分辨特征提取模型提取出的特征图来源于原始眼底图像或是目标眼底图像的机器学习模型。

具体地，计算机设备在初始特征提取模型的卷积层后添加梯度反转层，由梯度反转层将域分类器与初始特征提取模型串联，形成对抗模型。其中，在对抗模型向前传播时，梯度反转层不会作用于模型，但是在反向传播的时候，梯度反转层会将反向传播参数乘以某一负数，从而达到梯度反转的效果。

进一步的，当初始特征提取模型提取出目标眼底图像的待分类图像特征后，特征提取模型将目标特征图传输至域分类器。域分类器预存储有目标眼底图像的图像特征以及原始眼底图像的图像特征，域分类器将从目标眼底图像提取出的待分类图像特征与预存储的图像特征进行相似度匹配，得到待分类图像特征属于原始眼底图像对应的图像特征的概率值。

在一个实施例中，当初始特征具有全局分支以及多个局部分支时，域分类器将从全局图像提取出的全局特征以及从局部图像提取出的局部特征分别与预存储的图像特征进行相似度匹配，从而根据匹配结果综合计算从目标眼底图像提取出的待分类图像特征来源于目标眼底图像或原始眼底图像的概率值。为了描述方便，下述将从目标眼底图像提取出的待分类图像特征称为目标眼底图像特征。

S208，根据概率值调整初始特征提取模型并继续训练，直至域分类器将目标特征图分辨为基于原始眼底图像提取出的特征图。

具体地，域分类器将概率值通过反向梯度层传输至初始特征提取模型。初始特征提取模型将域分类器发送的概率值与原始眼底图像的分类标签输入损失函数度量模型，损失函数度量模型根据概率值以及分类标签进行差值计算，并根据计算得到的差值调整模型参数，从而使得参数调整后的特征提取模型更倾向于提取原始眼底图像以及目标眼底图像之间的公共特征。比如，当域分类器判断目标眼底图像特征为从原始眼底图像提取出的特征信息的概率值为0.3，且原始眼底图像的分类标签为1时，损失函数度量模型将1减去0.3，得到差值，并根据差值调整模型参数。其中模型参数为机器学习模型中每个神经元的偏置以及权重。

进一步地，计算机设备继续将目标眼底图像集中的下一顺序的目标眼底图像输入参数调整后的初始特征提取模型，由参数调整后的初始特征提取模型(记作特征提取模型)提取目标眼底图像特征，并根据域分类器基于目标眼底图像特征返回的分类概率值再次调整模型参数，直至调参后的模型满足预设条件，如直至域分类器将基于特征提取模型提取出的目标眼底图像特征分类为从原始眼底图像提取出的特征图，或直至与分类器分辨不清目标眼底图像特征是基于原始眼底图像提取出的特征图还是基于目标眼底图像提取出的特征图。

图3为一个实施例中眼底图像质量判定模型与域分类器进行对抗训练的流程示意图。如图3所示，当域分类器将目标眼底图像特征分类为基于原始眼底图像提取出的特征图后，计算机设备将原始眼底图像以及目标眼底图像输入特征提取模型。特征提取模型从原始眼底图像中提取出原始图像特征，从目标眼底图像中提取出目标眼底图像特征，并将原始图像特征、与原始眼底图像对应的分类标签以及目标眼底图像特征传输至域分类器，以使域分类器根据原始图像特征、与原始眼底图像对应的分类标签以及目标眼底图像特征进行对应训练，从而提升分类能力。之后采用上述眼底图像质量判定模型训练方法，基于提升后的域分类器再次对特征提取模型进行训练。

上述眼底图像质量判定模型训练方法中，通过获取目标眼底图像，并将目标眼底图像输入至眼底图像质量判定模型，可以获得目标眼底图像的待分类图像特征；通过将待分类图像特征输入域分类器，可以得到待分类图像特征属于原始眼底图像对应的图像特征的概率值；通过基于概率值对应调整眼底图像质量判定模型参数，使得调参后的眼底图像质量判定模型更倾向于从目标眼底图像中提取出与原始眼底图像共有的公共特征；由于眼底图像质量判定模型是基于原始眼底图像预先训练得到的机器学习模型，因此眼底图像质量判定模型可以用来准确地提取出原始眼底图像的有效特征信息，以及根据提取出的有效特征信息进行准确地质量判定，而调参后的眼底图像质量判定模型更倾向于从目标眼底图像提取出与原始眼底图像共有的公共特征，因此调参后的眼底图像质量判定模型也能够基于从目标眼底图像提取出的图像特征对目标眼底图像进行精准地质量判定。

在一个实施例中，基于由原始眼底图像训练眼底图像质量判定模型的步骤包括：获取原始眼底图像以及将原始眼底图像分割得到的多个原始局部图像；原始眼底图像具有全局质量评分标签；基于原始眼底图像及对应的全局质量评分标签训练全局子模型；根据区域标识从多个局部子模型中筛选出目标子模型；基于与区域标识对应的原始局部图像以及与原始局部图像对应的局部质量评分标签训练目标子模型；合并训练后的全局子模型以及目标子模型，得到由原始眼底图像训练得到的眼底图像质量判定模型。

其中，眼底图像质量判定模型包括全局子模型以及多个局部子模型，例如，眼底图像质量判定模型包括整体图像质量判定子模型、黄斑区域质量判定子模型以及视盘区域质量判定子模型。全局质量评分标签为由专业眼科医生根据预设的质量评判标准为原始眼底图像标注的质量分数；局部质量评分标签为由专业眼科医生为原始局部图像标注的质量分数。

具体地，当待训练的初始眼底图像质量判定模型获取到原始眼底图像后，初始眼底图像质量判定模型识别图像中的病灶区域以及视盘区域，并对识别出的病灶区域以及视盘区域进行对应分割，得到多个原始局部图像，之后眼底图像质量判定模型根据原始局部图像所包含的区域为原始局部图像添加区域标识。比如，初始眼底图像质量判定模型将原始眼底图像分割为黄斑区域以及视盘区域，并将包含黄斑的原始局部图像的区域标识设置为黄斑区，将包含视盘的原始局部图像的区域标识设置为视盘区。

进一步地，初始眼底图像质量判定模型根据区域标识的种类确定待初始化的局部子模型的数量，并获取局部子模型的模型标识，之后将区域标识以及模型标识对应存储。初始眼底图像质量判定模型将原始眼底图像以及对应的全局质量评分标签输入全局子模型中，全局子模型基于原始眼底图像以及对应的全局质量评分标签对应调整参数以及权重。初始眼底图像质量判定模型从原始局部图像中提取出区域标识，并基于区域标识与局部子模型标识之间的对应关系确定对应的局部子模型(记作目标子模型)，然后将原始局部图像以及对应的局部质量评分标签输入目标子模型，以使目标子模型根据原始局部图像以及对应的局部质量评分标签对应调整参数和权重。

当全局子模型局部子模型根据全部局部图像完成模型训练时，合并训练后的全局子模型以及目标子模型，得到初始眼底图像质量判定模型。

本实施例中，由于每个局部子模型是根据具有相同区域标签的原始局部图像训练而得；全局子模型是根据原始图像以及与原始图像对应的全局质量评分标签训练，从而训练后的初始眼底图像质量判定模型能够从原始图像中准确地提取出全局图像特征和局部图像特征。

在一个实施例中，基于与区域标识对应的原始局部图像以及与原始局部图像对应的局部质量评分标签训练目标子模型包括：获取原始局部图像的清晰度特征、伪影特征以及质量特征；基于清晰度特征以及对应的清晰度标签训练清晰度判定模型；基于伪影特征以及对应的伪影标签训练伪影判定模型；基于质量特征以及对应的质量标签训练质量判定模型；合并清晰度判定模型、伪影判定模型以及质量判定模型得到所述目标子模型。

其中，局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；清晰度判定模型、伪影判定模型以及质量判定模型均包括特征提取模型以及质量分类模型。局部质量评分标签包括清晰度标签、伪影标签以及质量标签；清晰度标签、伪影标签以及质量标签均为专业眼科医生基于表1标注的分数值。表2为一个实施例中图像质量判定标准表。

表2：图像质量判定标准

具体地，眼底图像质量判定模型包括一个全局子模型以及多个局部子模型。全局子模型包括清晰度判定模型、伪影判断模型、位置判定模型以及质量判定模型；局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；清晰度判定模型、伪影判断模型、位置判定模型以及质量判定模型分别包括一个特征提取模型和质量分类模型。

当清晰度判定模型获取到原始局部图像以及对应的清晰度标签时，清晰度判定模型中的特征提取模型从原始局部图像中提取关于血管拱边缘特征、病变区域特征等特征信息，并将提取出的图像特征输入质量分类模型，由质量分类模型根据图像特征预测清晰度分数。之后，质量分类模型将预测清晰度分数以及清晰度标签对应输入损失度量函数，由损失度量函数计算得到预测清晰度分数与清晰度标签之间的差异。损失度量函数将差异值返回至清晰度判定模型，以使清晰度判定模型根据差异值对应调整模型参数。

容易理解地，伪影判定模型以及质量判定模型也可以基于上述方法进行模型训练。合并训练后的清晰度判定模型、伪影判定模型以及质量判定模型，得到目标子模型。

本实施例中，通过对清晰度判定模型、伪影判定模型以及质量判定模型进行对应训练，使得眼底图像质量判定模型可以从清晰度、伪影以及质量三个维度全面分析眼底图像的质量，从而得到置信度更高地综合质量分数。

在一个实施例中，域分类器训练方法包括：获取原始眼底图像、与原始眼底图像对应的分类标签及目标眼底图像；提取原始眼底图像的待分类特征图和目标眼底图像的待分类特征图；预测从原始眼底图像提取出的待分类图像特征或从目标眼底图像图提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值；按照概率值与分类标签之间的差异调整模型参数并继续训练，直至满足训练停止条件。

其中，分类标签为指示当前眼底图像属于原始眼底图像的概率信息，比如，在当前眼底图像属于原始眼底图像时，当前眼底图像的分类标签即为1。

具体地，计算机设备获取图像采集装置发送的眼底图像，并按照设备标识将眼底图像划分为原始眼底图像集以及目标眼底图像集后，计算机设备遍历原始眼底图像集以及目标眼底图像集，分别将眼底图像以及对应的分类标签，或目标眼底图像发送至眼底图像质量判定模型。眼底图像质量判定模型从原始眼底图像中提取出待分类图像特征，并将从原始图像提取出的待分类图像特征以及对应的分类标签输入域分类器中。域分类器预测从原始眼底图像提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值，并将预测概率值以及对应的分类标签输入损失度量函数，由损失度量函数确定概率值与分类标签之间的差异，并将差异值反传至域分类器。域分类器根据差异值进行模型参数的调整，并继续训练，直至满足训练条件。

同理，当眼底图像质量判定模型将从目标眼底图像提取出的待分类图像特征输入域分类器后，域分类器判断待分类图像特征是否携带有分类标签，若未携带分类标签，域分类器自动生成目标眼底图像的分类标签，并将分类标签以及待分类图像特征的预测概率输入损失度量函数，之后根据损失度量函数反传回的差异值进行模型参数的调整。

在另一个实施例中，损失度量函数可以使用Sigmoid交叉熵损失函数。

本实施例中，基于原始眼底图像、与原始眼底图像对应的分类标签及目标眼底图像对域分类器进行训练，使得训练后的域分类器具有图像特征分类的能力，从而后续域分类器可以准确地预测基于眼底图像质量判定模型提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值。

在一个实施例中，根据所述概率值调整所述眼底图像质量判定模型的模型参数并继续训练，直至所分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件包括：获取与原始眼底图像对应的分类标签；根据概率值与分类标签之间的差异调整浅层模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

其中，眼底图像质量判定模型中的特征提取模型包括浅层模型以及深层模型；浅层模型是指用于提取如眼底纹理特征、眼底颜色特征等浅层特征的神经网络模型；深层模型是指用于提取高维度地深层特征的神经网络模型。

具体地，当初始眼底图像质量判定模型获取到原始眼底图像的分类标签以及域分类器返回的差异值后，初始眼底图像质量判定模型固定初始特征提取模型中的深层模型，根据差异值对应调整浅层模型的模型参数。调参后的初始眼底图像质量判定模型获取目标眼底图像集中下一顺序的目标眼底图像，并基于下一顺序的目标眼底图像继续训练浅层模型，直至特征提取模型针对目标眼底图像提取出的目标眼底图像特征被域分类器分类为针对原始图像提取出的图像特征，或直至域分类器分辨不清目标眼底图像特征是针对目标眼底图像提取出的图像特征还是针对原始图像提取出的图像特征。

本实施例中，由于不同人种的眼底图像的深层特征基本一致，浅层特征区别较大，因此影响眼底图像分布的因素主要来源于浅层特征，故只需对应调整浅层模型的模型参数即可实现从目标眼底图像中提取公共特征的目的，从而可以节约对深层模型进行参数调节时所消耗的计算机资源。

在一个实施例中，上述眼底图像质量评分判定模型训练方法还包括:获取目标眼底图像以及将目标眼底图像分割得到的多个局部目标眼底图像；将目标眼底图像以及局部目标眼底图像对应输入全局子模型以及多个局部子模型，得到全局图像特征以及局部图像特征；将全局图像特征以及局部图像特征输入质量分类模型，得到目标眼底图像的质量评分和局部目标眼底图像的质量评分；基于目标眼底图像的质量评分和局部目标眼底图像的质量评分确定目标眼底图像的综合质量评分。

具体地，眼底图像质量评分模型中具有分割器，用于对图像进行分割。当分割器获取目标眼底图像并对目标眼底图像进行分割，得到多张局部目标眼底图像后，分割器将整张目标眼底图像输入全局子模型中的特征提取模型，由全局子模型中的特征提取模型提取目标眼底图像的全局图像特征。与此同时，分割器将多张局部目标眼底图像对应输入局部子模型中，由局部子模型的特征提取模型提取局部目标眼底图像的局部图像特征。

进一步地，全局子模型将全局图像特征输入与全局子模型对应的质量分类器，以使质量分类器基于全局图像特征预测对应的全局质量评分。局部子模型将局部图像特征输入与局部子模型对应的质量分类器，由质量分类器基于局部图像特征预测对应的局部质量评分。

进一步地，与全局子模型对应的质量分类器以及与局部子模型对应的质量分类器分别将预测得到的全局质量评分以及局部质量评分输入权重回归网络。权重回归网络基于预设权重对全局质量评分以及局部质量评分进行加权计算，从而得到目标图像的总和质量评分。

本实施例中，通过训练后的眼底图像质量判定模型对目标眼底图像进行多维度地质量评分，使得最终得到的综合质量评分的置信度更高。

在一个实施例中，眼底图像质量判定模型训练方法还包括：对全局图像特征进行平均池化，得到全局图像特征的整体均值；将整体均值转换成对应的可视化图像并对应输出。

具体地，在特征提取模型与质量分类模型之间增加一个全局池化模型，使得眼底图像质量判定模型能够对全局图像特进行全局平均池化。更具体地，全局池化模型获取与全局图像特征对应的全局特征图，并对全局特征图中每个元素值进行求和，得到元素值总和。全局池化模型统计全局特征图中的元素总数，将元素值总和除以元素总数，从而得到全局图像特征的整体均值。之后，特征提取模型将整体均值乘以全局特征图，得到对应的数字网格形式的可视化图像。

本实施例中，通过对特征图进行可视化展示，使得眼底图像采集者可以根据可视化展示的图像确定质量缺陷区域，从而可以针对质量缺陷区域进行二次拍摄。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了便于本领域技术人员的理解，如图4所示,提供了一种眼底图像质量判定模型使用示意图。当计算机设备接收到目标眼底图像时，计算机设备对目标眼底图像进行分割，得到包括视盘区域的局部图像和包括黄斑区域的局部图像。并将目标眼底图像和多张局部图像输入眼底图像质量判定模型。眼底图像质量判定模型的全局子模型对目标眼底图像进行全局质量判定，局部子模型对局部图像进行局部质量判定，最后基于全局质量评分和局部质量评分确定目标眼底图像的综合得分，与此同时眼底图像质量判定模型将从目标眼底图像提取出的目标图像特征转换成可视化图像，并对应展示。

在一个实施例中，如图5所示，提供了一种眼底图像质量判定模型训练装置500，包括：图像获取模块502、特征提取模块504和参数调整模块506，其中：

图像获取模块502，用于获取目标眼底图像。

特征提取模块504，用于基于由原始眼底图像训练得到的眼底图像质量判定模型提取目标眼底图像的待分类图像特征。

参数调整模块506，用于基于预训练的域分类器预测待分类图像特征属于原始眼底图像对应的图像特征的概率值；根据概率值调整眼底图像质量判定模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在一个实施例中，如图6所示，上述眼底图像质量判定模型训练装置500还包括初始模型训练模块508，用于获取原始眼底图像以及将原始眼底图像分割得到的多个原始局部图像；原始眼底图像具有全局质量评分标签；原始局部图像具有区域标识以及局部质量评分标签；基于原始眼底图像及对应的全局质量评分标签训练全局子模型；根据区域标识从多个局部子模型中筛选出目标子模型；基于与区域标识对应的原始局部图像以及与原始局部图像对应的局部质量评分标签训练目标子模型；合并训练后的全局子模型以及目标子模型，得到由原始眼底图像训练得到的眼底图像质量判定模型。

初始模型训练模块508还用于获取原始局部图像的清晰度特征、伪影特征以及质量特征；基于清晰度特征以及对应的清晰度标签训练清晰度判定模型；基于伪影特征以及对应的伪影标签训练伪影判定模型；基于质量特征以及对应的质量标签训练质量判定模型合并清晰度判定模型、伪影判定模型以及质量判定模型得到目标子模型。

在一个实施例中，眼底图像质量判定模型训练装置500还包括域分类器训练模块510，用于获取原始眼底图像、与原始眼底图像对应的分类标签及目标眼底图像；提取原始眼底图像的待分类特征图和目标眼底图像的待分类特征图；预测从原始眼底图像提取出的待分类图像特征或从目标眼底图像图提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值；按照概率值与分类标签之间的差异调整模型参数并继续训练，直至满足训练停止条件。

在一个实施例中，参数调整模块506还用于获取与原始眼底图像对应的分类标签；根据概率值与分类标签之间的差异调整浅层模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在一个实施例中，眼底图像质量判定模型训练装置500还包括模型使用模块512，用于获取目标眼底图像以及将目标眼底图像分割得到的多个局部目标眼底图像；将目标眼底图像以及局部目标眼底图像对应输入全局子模型以及多个局部子模型，得到全局图像特征以及局部图像特征；将全局图像特征以及局部图像特征输入质量分类模型，得到目标眼底图像的质量评分和局部目标眼底图像的质量评分；基于目标眼底图像的质量评分和局部目标眼底图像的质量评分确定目标眼底图像的综合质量评分。

在一个实施例中，模型使用模块512还用于对全局图像特征进行平均池化，得到全局图像特征的整体均值；将整体均值转换成对应的可视化图像并对应输出。

关于眼底图像质量判定模型训练装置的具体限定可以参见上文中对于眼底图像质量判定模型训练方法的限定，在此不再赘述。上述眼底图像质量判定模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、模型接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型训练数据。该计算机设备的模型接口用于与外部的终端通过模型连接通信。该计算机程序被处理器执行时以实现一种眼底图像质量判定模型训练方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取目标眼底图像；

基于由原始眼底图像训练得到的眼底图像质量判定模型提取目标眼底图像的待分类图像特征；

基于预训练的域分类器预测待分类图像特征属于原始眼底图像对应的图像特征的概率值；

根据概率值调整眼底图像质量判定模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在一个实施例中，眼底图像质量判定模型具有全局子模型以及多个局部子模型，处理器执行计算机程序时还实现以下步骤：

获取原始眼底图像以及将原始眼底图像分割得到的多个原始局部图像；原始眼底图像具有全局质量评分标签；原始局部图像具有区域标识以及局部质量评分标签；

基于原始眼底图像及对应的全局质量评分标签训练全局子模型；

根据区域标识从多个局部子模型中筛选出目标子模型；

基于与区域标识对应的原始局部图像以及与原始局部图像对应的局部质量评分标签训练目标子模型；

合并训练后的全局子模型以及目标子模型，得到由原始眼底图像训练得到的眼底图像质量判定模型。

在一个实施例中，局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；局部质量评分标签包括清晰度标签、伪影标签以及质量标签；处理器执行计算机程序时还实现以下步骤：

获取原始局部图像的清晰度特征、伪影特征以及质量特征；

基于清晰度特征以及对应的清晰度标签训练清晰度判定模型；

基于伪影特征以及对应的伪影标签训练伪影判定模型；

基于质量特征以及对应的质量标签训练质量判定模型

合并清晰度判定模型、伪影判定模型以及质量判定模型得到目标子模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

提取原始眼底图像的待分类特征图和目标眼底图像的待分类特征图；

预测从原始眼底图像提取出的待分类图像特征或从目标眼底图像图提取出的待分类图像特征属于原始眼底图像对应的图像特征的概率值；

按照概率值与分类标签之间的差异调整模型参数并继续训练，直至满足训练停止条件。

在一个实施例中，眼底图像质量判定模型包括浅层模型；处理器执行计算机程序时还实现以下步骤：

获取与原始眼底图像对应的分类标签；

根据概率值与分类标签之间的差异调整浅层模型的模型参数并继续训练，直至待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件。

在一个实施例中，眼底图像质量评分模型包括特征提取子模型和质量分类模型；处理器执行计算机程序时还实现以下步骤：

获取目标眼底图像以及将目标眼底图像分割得到的多个局部目标眼底图像；

将目标眼底图像以及局部目标眼底图像对应输入全局子模型以及多个局部子模型，得到全局图像特征以及局部图像特征；

将全局图像特征以及局部图像特征输入质量分类模型，得到目标眼底图像的质量评分和局部目标眼底图像的质量评分；

基于目标眼底图像的质量评分和局部目标眼底图像的质量评分确定目标眼底图像的综合质量评分。

对全局图像特征进行平均池化，得到全局图像特征的整体均值；

将整体均值转换成对应的可视化图像并对应输出。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取目标眼底图像；

在一个实施例中，眼底图像质量判定模型具有全局子模型以及多个局部子模型；计算机程序被处理器执行时还实现以下步骤：

根据区域标识从多个局部子模型中筛选出目标子模型；

在一个实施例中，局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；局部质量评分标签包括清晰度标签、伪影标签以及质量标签；计算机程序被处理器执行时还实现以下步骤：

获取原始局部图像的清晰度特征、伪影特征以及质量特征；

基于伪影特征以及对应的伪影标签训练伪影判定模型；

基于质量特征以及对应的质量标签训练质量判定模型

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在一个实施例中，眼底图像质量判定模型包括浅层模型；计算机程序被处理器执行时还实现以下步骤：

获取与原始眼底图像对应的分类标签；

在一个实施例中，眼底图像质量评分模型包括特征提取子模型和质量分类模型；计算机程序被处理器执行时还实现以下步骤：

将整体均值转换成对应的可视化图像并对应输出。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种眼底图像质量判定模型训练方法，所述方法包括：

获取目标眼底图像；

2.根据权利要求1所述的方法，其特征在于，所述眼底图像质量判定模型具有全局子模型以及多个局部子模型；所述基于由原始眼底图像训练眼底图像质量判定模型的步骤包括：

3.根据权利要求2所述的方法，其特征在于，所述局部子模型包括清晰度判定模型、伪影判定模型以及质量判定模型；所述局部质量评分标签包括清晰度标签、伪影标签以及质量标签；所述基于与所述区域标识对应的原始局部图像以及与所述原始局部图像对应的局部质量评分标签训练所述目标子模型包括：

基于所述质量特征以及对应的质量标签训练所述质量判定模型；

4.根据权利要求1所述的方法，其特征在于，所述域分类器训练方法包括：

5.根据权利要求1所述的方法，其特征在于，所述眼底图像质量判定模型包括浅层模型；所述根据所述概率值调整所述眼底图像质量判定模型的模型参数并继续训练，直至所述待分类图像特征属于原始眼底图像对应的图像特征的概率值符合模型训练停止条件包括：

获取与原始眼底图像对应的分类标签；

6.根据权利要求1所述的方法，其特征在于，所述眼底图像质量评分模型包括特征提取子模型和质量分类模型；所述特征提取模型具有全局子模型以及多个局部子模型；所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述整体均值转换成对应的可视化图像并对应输出。

8.一种眼底图像质量判定模型训练装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标眼底图像；

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。