CN111401390B

CN111401390B - 分类器方法及装置、电子设备及存储介质

Info

Publication number: CN111401390B
Application number: CN201910000459.4A
Authority: CN
Inventors: 马文婷; 张志鹏; 寿文卉
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Priority date: 2019-01-02
Filing date: 2019-01-02
Publication date: 2023-04-07
Anticipated expiration: 2039-01-02
Also published as: CN111401390A

Abstract

本发明实施例公开了一种分类器训练方法及装置、电子设备及存储介质。所述方法包括：获取第一图像；对所述第一图像进行变换处理，得到N张第二图像，其中，N不小于2的正整数；分别从所述第一图像及N张所述第二图像中提取图像特征；融合所述图像特征，得到融合特征；利用所述融合特征训练分类器。

Description

分类器方法及装置、电子设备及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种分类器训练方法及装置、电子设备及存储介质。

背景技术

在现有的分类器中包括两种：

一种是：多输入的分类器，但是这种多输入的分类器，这种分类器虽然使用了多输入样本进行训练，但是得到分类效果并达不到预期效果；

另一种是：但输入的分类器，对实际需要分类的数据的分类效果同样也达不到预期效果。

发明内容

有鉴于此，本发明实施例期望提供一种分类器训练方法及装置、电子设备及存储介质

本发明的技术方案是这样实现的：一种分类器训练方法，包括：

获取第一图像；

对所述第一图像进行变换处理，得到N张第二图像，其中，N不小于2的正整数；

分别从所述第一图像及N张所述第二图像中提取图像特征；

融合所述图像特征，得到融合特征；

利用所述融合特征训练分类器。

基于上述方案，所述对所述第一图像进行变换处理，得到N张第二图像，包括以下至少之一：

对所述第一图像进行预定角度的旋转，获得所述第二图像；

对所述第一图像进行滤波，获得所述第二图像；

对所述第一图像进行直方图均衡化，得到所述第二图像。

基于上述方案，所述对所述第一图像进行预定角度的旋转，获得所述第二图像，包括：

对所述第一图像按照a*B角度进行旋转，得到A张所述第二图像，其中，a为小于A的正整数，B为预设角度值，A小于或等于所述N。

基于上述方案，所述对所述第一图像进行滤波，获得所述第二图像，包括：

对所述第一图像进行C个不同尺度的高斯滤波，得到C张所述第二图像，C小于或等于N。

基于上述方案，所述融合所述图像特征，得到融合特征，包括：

将从所述第一图像和所述第二图像中提取的图像特征进行拼接，得到所述融合特征；

或

将从所述第一图像和所述第二图像中提取的相同类型的特征进行加权求和得到所述融合特征。

基于上述方案，所述方法还包括：

根据所述融合特征生成为训练集、验证集及测试集，

利用所述训练集训练所述分类器的第一类参数；

基于所述验证集获得所述分类器的第二类参数；

利用所述测试及，对训练后的所述分类器进行测试；

若所述分类器的分类结果的评价指标满足预设条件，停止所述分类器的训练。

基于上述方案，所述利用所述融合特征训练分类器，包括：

利用所述融合特征训练机器学习分类器；

和/或，

利用所述融合特征训练深度学习分类器。

一种分类器训练装置，包括：

获取模块，用于获取第一图像；

变换模块，用于对所述第一图像进行变换处理，得到N张第二图像，其中，N不小于2的正整数；

提取模块，用于分别从所述第一图像及N张所述第二图像中提取图像特征；

融合模块，用于融合所述图像特征，得到融合特征；

训练模块，用于利用所述融合特征训练分类器。

一种电子设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意一个技术方案提供的分类器训练方法。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意一个技术方案提供的分类器训练方法。

本发明实施例提供的技术方案，在训练分类器之前，会对获得第一图像进行图像变换，得到第一图像变换后的N张第二图像；分别从第一图像和第二图像中提取出图像特征，这些图像特征由于是基于同一张第一图像的，故提取出的图像特征之间相互关联和/或相互补充；相对于仅从第一图像直接提取图像特征导致有些图像特征没有被挖掘出来的特征遗漏现象；同时相对于分别输入多张图像分别提取多张图像的特征，减少了因为多张图像的关联性不强挖掘的特想特征独立性太强分类器的分类效果不佳的问题。在本实施例中对一张第一图像变化得到多张第二图像，一方面充分挖掘了一张原始图像的特征，减少特征遗漏；另一方面通过图像变换，实现了图像特征之间的关联和互补，减少图像特征太过独立导致的分类器训练效果不佳的问题。故利用本实施例中同时融合第一图像和第二图像的图像特征的融合特征训练得到的分类器，具有分类效果好的特点。

附图说明

图1为本发明实施例提供的第一种分类器训练方法的流程示意图；

图2为本发明实施例提供的一种图像变换及图像特征的处理示意图；

图3为本发明实施例提供的一种分类器训练装置的结构示意图；

图4为本发明实施例提供的一种分类器训练流程示意图；

图5为本发明实施例提供的一种分类器测试流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种分类器训练方法，包括：

步骤S110：获取第一图像；

步骤S120：对所述第一图像进行变换处理，得到N张第二图像，其中，N不小于2的正整数；

步骤S130：分别从所述第一图像及N张所述第二图像中提取图像特征；

步骤S140：融合所述图像特征，得到融合特征；

步骤S150：利用所述融合特征训练分类器。

在本实施例中所述分类器可为对图像进行分类的各种模型或功能模块。

在本实施例中，所述第一图像可为原始图像，例如，利用医疗影像设备采集的原始医疗图像。该医疗图像可为各种身体组织的成像，例如，眼部图像和/或病变位置的病变组织成像等。

如图2所示，在步骤S120中会所述第一图像进行变换，得到N张第二图像。第二图像是基于第一图像生成的，与第一图像相似但是却有区别。如此，通过步骤S120就实现了一张图像生成了N+1张图像。且这N+1张图像有区别却有极大的相似性。

在本实施例中，分别从所述第一图像和N张第二图像中提取出图像特征，提取图像特征时，可以采用具有特征提取的深度学习模型来提起，例如，利用全连接网络(FNN)或卷积神经网络(CNN)或深度信念网络(DBN)分别从所述第一图像和N张第二图像中提取出图像特征。例如，CNN或FNN或DBN等特征提取模型可以从一张图像中提取出包括P个元素的图像特征，则在步骤S120中，特征提取模型会从第一图像和第二图像中提取出P*(N+1)个图像特征。在还有一些实施例中，还可以利用机器学习模型从所述第一图像和第二图像中提取出图像特征，所述机器学习模型包括但不限于向量机模型(SVM)。

所述步骤S130会融合从第一图像和各所述第二图像中提取出的图像特征，得到融合特征。例如，融合所述图像特征的方式有多种，例如，一种方式直接拼接基于一个原始图像得到的图像特征，得到一个融合特征。例如，直接拼接P*(N+1)个图像特征，得到了一个维度为P*(N+1)的融合特征。

由于融合特征中的各个特征来自一张第一图像或者基于同一张第一图像生成的第二图像，故一个融合特征的各个图像特征具有很强的关联性和互补性。

例如，从第二图像A中提取出了图像细节A的图像特征但是没有提取出图像细节B的图像特征，从第二图像B中提取出了图像细节B的图像特征但是没有提取到图像细节A的图像特征。但是由于第二图像A和第二图像B都是来自同一个原始图像的变换图像，将会从第一图像和多张第二图像中提取的图像特征，融合成一条图像特征，故此时融合特征中既包括图像细节A的图像特征，由包括图像细节B的特征，如此，在融合特征中实现了图像特征的互补，减少了图像特征的遗漏。

再例如，从第二图像C和第一图像中分别提取了图像细节A的图像特征，由于都是针对同一图像细节的图像特征，提取出的特征自身具有很大的相似性；其由于第二图像C是第一图像的变形，即便第二图像C中的图像细节A与第一图像中的图像细节A也可能有轻微差异，如此，即便利用同样的特征提取模型分别从第二图像C及第一图像中提取的图像特征也可能不完全相似。如此，后续与第一图像相似度很高但是还是有差异的图像，也能够将该图像识别为与第一图像同一类的图像。如此，分别从第二图像C和第一图像中提取的同一个图像细节的图像特征融合到一条融合特征之后，就会形成图像特征之间的加强；这种图像特征之间加强为前述图像特征之间关联性的体现。

总之，通过对第一图像的变换得到第二图像，分别从第一图像和第二图像中提取出图像特征融合之后，用于分类器的训练，可以减少融合特征中图像特征的关联性和互补性，减少仅从原始的第一图像中提取特征进行分类器训练导致的分类效果达不到预期的现象。与此同时，由于直接从第一图像变换得到第二图像，如此实现了图像特征的翻倍，从而扩充了分类器的训练样本数，从而减少了样本数据的获取难度。

在一些实施例中，所述步骤S120可包括以下至少之一：

对所述第一图像进行预定角度的旋转，获得所述第二图像；

对所述第一图像进行滤波，获得所述第二图像；

对所述第一图像进行直方图均衡化，得到所述第二图像。

所述对所述第一图像进行预定角度的旋转，获得所述第二图像，可包括以下至少之一

对所述第一图像进行水平翻转，得到一张选择180度的第二图像；

对所述第一图像进行处置翻转，得到一张旋转90度或270度的第二图像；

对所述第一图像进行30度旋转，得到一张旋转30度以后的第二图像；

对所述第一图像进行60度旋转，得到一张旋转60度以后的第二图像；

对所述第一图像进行90度旋转，得到一张旋转90度以后的第二图像；

对所述第一图像进行135度旋转，得到一张旋转135度以后的第二图像；

对所述第一图像进行225度旋转，得到一张旋转225度以后的第二图像；

对所述第一图像进行255度旋转，得到一张旋转255度以后的第二图像。

故在一些实施例中所述对所述第一图像进行预定角度的旋转，获得所述第二图像可包括：对所述第一图像按照a*B角度进行旋转，得到A张所述第二图像，其中，a为小于A的正整数，B为预设角度值，A小于或等于所述N。

所述B的取值可为30度、45度、60度或90度等取值。

在一些实施例中所述步骤S120还可包括：

对第一图像进行左半像的镜像，得到一张左半图镜像的第二图像；

和/或，

对第一图像进行右半图的镜像，得到一张右半图镜像的第二图像。

在一些实施例中，所述对所述第一图像进行直方图均衡化，得到所述第二图像中，所述直方图可为所述第一图像的直方图，若所述直方图为灰度直方图；则所述灰度直方图反应的一张图像不同灰度级别的像素个数分布状况，通过灰度直方图均衡化，使得在各个灰度级别的像素个数分布均衡化，显然实现了对第一图像的变换，从而生成了变换后的第二图像。

在还有一些实施例中，所述直方图还可以为颜色直方图，颜色直方图可用于表示一张图像中各种颜色所包含像素个数的分布状况，通过颜色直方图均衡化，使得在各种颜色中的像素个数均衡化，显然实现对第一图像的变换得到了第二图像。

此处的直方图均衡化可认为将：不同灰度级别或者不同颜色的像素个数的趋于一致化。

所述直方图均衡化为所述第一图像变换为第二图像的一种换换方式。

在还有一些实施例中，所述步骤S120还可包括：

对所述第一图像进行滤波，得到第二图像；

此处的滤波，可包括：色彩滤波，例如，过滤掉某一个成分光线的滤波，得到一张滤波后的第二图像。

在还有一些实施例中，对第一图像进行滤波还可以对图像中各图像像素的像素值进行滤波。

例如，在一些实施例中，所述对所述第一图像进行滤波，得到第二图像，包括：对所述第一图像进行C个不同尺度的高斯滤波，得到C张所述第二图像，C小于或等于N。

不同尺度的高斯滤波使用的高斯核的尺度不同，尺度越大则高斯滤波之后得到的第二图像的模糊程度越大。利用P个不同尺度的高斯核进行高斯滤波，会得到P个不同的高斯滤波后的第二图像。采用不同尺度的高斯核，得到的高斯滤波后的第二图像发生变换也不同，如此，即便利用相同的图像特征提取模型提取从不同尺度高斯滤波后的图像中提取的特征具有相似性，也会具有差异性；如此，利用这种图像特征融合后的融合特征进行分类器的训练，可以提升分类的泛化能力。

在一些实施例中，为了使得获得融合特征更好的训练分类器，在本实施例中，所述步骤S120中至少会采用两种以上的变换方式变换所述第一图像得到N张所述第二图像。例如，结合图像旋转及图像滤波方式，获得N张第二图像；再例如，结合图像滤波及图像镜像方式，获得N张第二图像；再例如，结合图像滤波及直方图均衡化得到N张第二图像。

所述步骤S130可包括：

或，

例如，将签署(N+1)个由P个元素构成的图像特征拼接，可以得到一个包含P*(N+1)个元素的融合特征。此处的包含P个元素的图像特征的维度为P；包含P*(N+1)个元素的融合特征的维度为P*(N+1)。

再例如，在本实施例中，在进行特征加权求和进行图像特征的融合特征。例如，所述图像特征为指示图像为特定个类图像的概率值，进行加权求和时，可以将第一类的概率值加权求和，将第二类的概率值加权求和，一直到最后一类的概率值加权求和。采用这种方式得到的融合特征的维度与从一个图像中提取的图像特征的维度是相同。此处的加权求和时的权值相同，则该概率值的加权求和可为概率值的算术平均值。

在还有一些实施例中，若从第一图像和第二图像中提取的图像特征是指示对应图像中是否包含某一目标图形的布尔变量，则所述步骤S130还可包括：对从第一图像和第二图像中提取的图像特征进行布尔变量的布尔运算，例如，对布尔变量进行逻辑与运算或逻辑或运算，得到所述融合特征。

对于多张原始的第一图像变换处理之后，会形成多个融合特征。这些融合特征形成融合特征集。

总之，在步骤S130中融合图像特征得到融合特征的方式有多种，具体的实现方式不限于上述任意一种。在一些实施例中，可以根据提取的图像特征的类型选择对应的融合方式。例如，若提取的图像特征为某一个由描述信息构成的图像特征，可以采集直接拼接的方式。若图像特征为概率值，可以采用加权求和等融合算法得到融合特征。若图像特征为布尔变量，可以通过布尔变量的逻辑运算得到融合特征。

在一些实施例中，所述方法还包括：

根据所述融合特征生成为训练集、验证集及测试集，

利用所述训练集训练所述分类器的第一类参数；

基于所述验证集获得所述分类器的第二类参数；

利用所述测试及，对训练后的所述分类器进行测试；

在本实施例中，分类器的模型参数，有一些是可以直接通过训练集的训练得到的，例如，与模型的梯度下降相关的普通参数。在还有一些情况下，有一些参数可能需要结合验证集才能确定，这种参数可以称之为超参数。所述普通参数为所述第一类参数的一种，所述超参数为所述第二类参数的一种。

以深度神经网络为例，所述超参数可包括：神经网络的网络层数、网络节点数、迭代次数及学习率等。所述普通参数可为超参数确定之后，网络节点的权重和/或阈值等参数。

根据融合特征生成训练集、验证集及测试集，这三个集合中的融合特征不相同。

在完成分类器的训练之后，利用测试集对分类器进行测试；然后基于分类器对测试集中测试数据的分类结果，计算损失值，若损失值低于预设阈值，可认为达到停止训练的预设条件，则停止所述神经网络的训练，否则继续训练指导所述神经网络利用测试数据进行测试的损失值低于所述预设阈值；或者，神经网络的损失值不再降低(即神经网络的梯度不再下降)为止。

在一些实施例中，所述利用所述融合特征训练分类器，包括：

利用所述融合特征训练机器学习分类器；

和/或，

利用所述融合特征训练分类神经网络。

所述机器学习分类器可为：全梯度下降树(GBDT)分类器。

所述分类神经网络可为：CNN或FNN，或者，深度信念网络(DBN)等。

如图3所示，本实施例提供一种分类器训练装置，包括：

获取模块110，用于获取第一图像；

变换模块120，用于对所述第一图像进行变换处理，得到N张第二图像，其中，N不小于2的正整数；

提取模块130，用于分别从所述第一图像及N张所述第二图像中提取图像特征；

融合模块140，用于融合所述图像特征，得到融合特征；

训练模块150，用于利用所述融合特征训练分类器。

在一些实施例中，所述获取模块110、变换模块120、提取模块130、融合模块140及训练模块150可为程序模块，所述程序模块被处理器执行后，能够实现前述的第一图像的获取、第二图像的生成、图像特征的提取，图像特征的融合以及最后的分类器的训练。

在一些实施例中，所述获取模块110、变换模块120、提取模块130、融合模块140及训练模块150可为软硬结合模块，所述软硬结合模块可包括各种可编程阵列，例如，现场可编程阵列或复杂可编程阵列。

在还有一些实施例中，所述获取模块110、变换模块120、提取模块130、融合模块140及训练模块150可为纯硬件模块，所述纯硬件模块可为专用集成电路。

在一些实施例中，所述变换模块120，具体用于执行以下至少之一：

对所述第一图像进行预定角度的旋转，获得所述第二图像；

对所述第一图像进行滤波，获得所述第二图像；

对所述第一图像进行直方图均衡化，得到所述第二图像。

在一些实施例中，所述变换模块120，具体用于对所述第一图像按照a*B角度进行旋转，得到A张所述第二图像，其中，a为小于A的正整数，B为预设角度值，A小于或等于所述N。

在一些实施例中，所述对所述第一图像进行滤波，获得所述第二图像，包括：

在一些实施例中，所述融合模块140，具体用于将从所述第一图像和所述第二图像中提取的图像特征进行拼接，得到所述融合特征；或，将从所述第一图像和所述第二图像中提取的相同类型的特征进行加权求和得到所述融合特征。

在一些实施例中，所述装置还包括：

生成模块，用于根据所述融合特征生成为训练集、验证集及测试集，

训练模块150，用于利用所述训练集训练所述分类器的第一类参数；

获得模块，用于基于所述验证集获得所述分类器的第二类参数；

测试模块，用于利用所述测试及，对训练后的所述分类器进行测试；

停止模块，用于若所述分类器的分类结果的评价指标满足预设条件，停止所述分类器的训练。

在一些实施例中，所述训练模块150，具体用于利用所述融合特征训练机器学习分类器；和/或，利用所述融合特征训练深度学习分类器。

以下结合上述任意实施例提供几个具体示例：

示例1：

本示例一方面提供了一个CNN的多变换训练流程，对同输入的眼底图像进行不同的变化，提高了所训练网络的泛化能力，对于输入的眼底图像能更好的提取有效的特征用于后续的训练。

本示例另一方面提出了一种多层次的特征融合系统，对于原图与原图的每一种变换提取特征形成多层次的融合特征用于后续的特征融合模块和特征分类器模块，使原图像的特征更加饱满，进一步增强了原图信息。

本示例提供一种单输入多层次的特征融合系统，通过特征多层次集成、增强的方式获得更多有助于分类的图像信息。

本示例将同一张眼底图像经过不同变换，增加了图像不同视角与尺度的信息，是一种有效的数据增强手段。所述变换包括对原有图像进行旋转、翻转、镜像及多尺度的高斯滤波等变换操作，将原图与原图变换得到的图像同样经过训练好的CNN模型提取特征1到N张图像的图像特征，在特征融合模块通过拼接或加和等操作将这些图像特征融合，得到增强后的图像特征(即前述融合特征)。得到的增强后的图像特征用于最后分类器的训练。这种多层次的特征融合最大程度的得到了原图像的细节信息，挖掘图像内在的关联性和互补性信息，提高了最终对于眼底图像等待处理图像的分类精度。

本示例还提供一个特征分类器作为最终的分类模块；使用前几个模块得到的同输入多层次融合特征，训练一个新的分类器，并将测试集图像同样进行多个变换后得到的特征集融合，输入到训练好的分类器中进行最终的分类，得到最后对于测试集图像的糖尿病视网膜病变分类结果。

同输入多层次系统的步骤包括：

1：划分数据集，并对不均衡的数据集做数据增强与扩充。将数据集分为训练集、验证集，测试集为不带有的标签的特定数据。。

2：训练网络。选取合适的网络结构，载入经图像网络(ImageNet)预训练的模型参数，在该基础上进行调优(finetuning)训练，通过更改模型的输入图像尺寸等方式进行数据增强，减小图像信息损失。同时，训练上考虑各种预处理变换，通过同一输入在网路中的不同变换形成一个唯一的预训练网络模型，该模型实现了第一层次单输入多变换融合。

3：利用已训练模型提取图像特征。训练好的模型的主要用途是提取图像的图像特征，即提取训练集与验证集图像的图像特征。提取图像特征时单独利用每一种预处理变换作为输入，利用预训练网络模型提取该变换的融合特征。如将每张图像做水平翻转、旋转、多尺度的滤波等不同变换，对每种变换提取所选网络层的图像特征，该步骤针对单输入实现第二层次的变换融合，形成第1到第N张融合特征；

4：特征融合。将第二层次的融合特征，即第1到第N张融合特征进行特征组合，将所提取的特征进行拼接，根据最终拼接得到的特征长度进行对应的降维操作，并形成第三层次的单输入多变换融合特征。

5：训练机器学习分类器，可以用非深度学习的机器学习算法分类器，也可用处理好的特征重新训练一个用于特征分类的CNN模型。利用每张图像的融合后的特征向量及图像的分期标签训练分类器。

6：利用CNN提取测试集图像的每张特征，同样特征的多层次融合，利用训练好的分类器进行特征的分类得到最后的结果。

将上述方法应用于糖尿病性视网膜病变分期判别问题中。

图4所示的为分类器的训练过程包括：

输入图像，通过预处理变换对CNN进行预处理；

利用预处理后的图像，对原始图像和预训练后的图像进行特征提取，得到第1图像特征至第N图像特征，进行特征融合；将融合特征进行分类器的训练。

图5所示为分类器的测试过程包括：

输入图像；

对图像进行预处理，此处的预处理包括：预处理1、预处理2至预处理N；

利用CNN模型对预处理后的图像进行特征提取，得到第1图像特征至第N图像特征；

将融合特征输入到分类器，分类器输出分类结果；

基于分类结果对分类器进行评估，确定是否需要继续训练分类器。

图4及图5中的预处理可包括：将各种原始图像变换得到变换后的图像。

示例2：

本示例提供另一种分类模型训练方法，包括：

1：划分数据集，并对不均衡的数据集做数据增强与扩充。第一部分本示例将数据集划分为训练集及验证集。测试集为不带有的标签的特定数据。。

例如，本示例的评估数据集共88631幅，包含从17563名患者的左眼和右眼拍摄的彩色眼底图像，该数据集由kaggle竞赛提供，包括五个时期：普通(DR)、轻微(mild)、中等(Moderate)、严重(Sever)、增生(Proliferative DR)；因为kaggle竞赛的测试集不可用，本示例将原来的训练集分成一个新的训练级和一个验证集。本示例随机选择90％的患者进行训练，其余的则用于评估。文中使用的是下面对数数据的分布进行统计：

五个时期对应描述如下:

2：训练网络。这里采用的网络结构为Inception_V3结构，，载入经ImageNet预训练的模型参数，在该基础上进行finetuning训练，同时更改模型的输入图像尺寸为600*600。在网络训练过程中将输入的眼底图像进行水平翻转、旋转30度、旋转60度等预处理变换，实现了第一层次单输入多变换融合。

3：利用已训练模型提取图像特征。训练好的Inception_V3模型的主要用途是提取图像的特征，提取训练集与验证集图像的特征。提取特征的方式为：将每张图像做三种不同的变换：水平翻转、旋转30度、旋转60度，对于每种变换提取长度5个概率特征，形成1到4个融合特征，该步骤为单输入实现第二层次的变换融合；

4：特征融合。将第二层次的融合特征，即第1到第4个融合特征进行特征融合，对于每种变换提取的长度为5的概率特征，将所提取的特征向量进行拼接，最终每张图像的所得到的融合特征长度为20。形成第三层次的单输入多变换融合特征。

5：训练机器学习分类器。本系统采用了GBDT分类器，是在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，利用每张图像的融合后的特征向量及图像的分期标签训练GBDT分类器。

6：将待测眼底图像输入网络，利用CNN网络提取图像的第1到4融合特征，经过特征融合模块融合特征，利用训练好的分类器进行特征的分类得到最后的结果。

评价标准：

糖网病变分期的评测标准是业界常用的二次加权卡帕系数，即衡量两个评级之间的一致性。此度量标准通常从0(评估者的一致性比较偶然)到1(评估者具有完全一致性)不等。如果评分者之间的一致性低于偶然预期，则此度量可能低于0，二次加权卡帕是在由人类评估者分配的分数与预测分数之间计算的。

对于糖网病变分期的图像，每张图片有五种可能的评分，0，1，2，3，4。分别代表不同的病变等级。首先，每个图像都对应一个人类评分(Rater A)和一个模型预测评分(RaterB)。二次加权卡帕系数计算如下：

首先，构造混合矩阵阵O，混合矩阵O第i行第j列元素O_i,j对应于通过Rater A接收评级i并且通过Rater B接收评级j的图像的数目。权重矩阵w的第i行第j列元素w_i,j采用如下公式计算得到的：

N为等级总数。在混合矩阵O、权重矩阵w及评级矩阵E，第i行对应于评级i；第j列对应评级j。

假设评级分数之间不存在关联性，则计算预期评级矩阵E为标注者对标注的不同等级个数与分类器分类的不同等级个数的外积构成。归一化使得E和O具有相同的总和。例如，有100张图像，标注者将100张图像划分到N等级，其中，第1个等级的张数为S1；分类器将这100张图像也划分到N等级，其中，第1等级的张数为S2，其中，E中第1个元素为S1*S2。

从这三个矩阵中，二次加权卡伯计算如下：

精度评价：

测试集采用的是Kaggle竞赛中提供的数据，评测方法是：将所有图像的预测结果写入csv文件，把文件提交至kaggle竞赛中的糖网病变分期比赛中，评测得分是二次加权卡帕系数，下表为不同方案的结果比较：

表一不同的特征集成方法的精度

通过以上不同实验结果的对比可以看出：

网络输入图像的尺寸增大，可以减少图像信息的损失，因为图像中病变区域相对于整张图像所占比例相当小，所以增大图像可以提高分期性能，但因为图像处理单元(GPU)内存的有限，图像的尺寸与训练时的batch_size相互限制，所以不能无限制增大图像大小。例如，通过输入图像的上采样可以增大图像尺寸，例如，通过上采样可以增加一张图像的像素个数，后续在图像特征提取的卷积或池化过程中，可以获得更多的图像特征。

经过了本发明的同输入多层次融合系统，图像提取增强后的特征获得了更多的图像内在细节信息，来对图像提取多变换增强的特征，也可以提高算法的泛化能力，再进一步训练分类器之后，相比直接分期性能有很大的提升，说明本发明有效提升了糖尿病视网膜病变的分类效果。

同时，从实验本示例可以看出，使用GBDT做最后分类器比一层全连接层分类性能好，本示例认为是样本的特征维度较小，一层的全连接层不能够很好的拟合数据分布的高次函数。

1、单输入多层次的特征融合系统。通过特征多层次集成、增强的方式获得更多有助于分类的图像信息。

2、将原图与原图变换得到的图像同样经过训练好的CNN模型提取特征1到N张融合特征，在特征融合模块通过拼接或加和等操作将这些特征融合，得到增强后的图像特征，用于最后分类器的训练。这种多层次的特征融合最大程度的得到了原图像的细节信息，挖掘图像内在的关联性和互补性信息，提高了最终对于眼底图像的分类精度。

与传统的眼底图像检测方法相比，本系统提出了一种同输入多层次的特征融合系统，通过特征多层次集成、增强的方式获得更多有助于分类的图像信息。本示例将同一张眼底图像经过不同变换，增加了图像不同视角与尺度的信息，是一种有效的数据增强手段。包括对原有图像进行旋转、翻转、镜像及多尺度的高斯滤波等操作，将原图与原图变换得到的图像同样经过训练好的CNN模型提取特征1到N张融合特征，在特征融合模块通过拼接或加和等操作将这些特征融合，得到增强后的图像特征，用于最后分类器的训练。这种多层次的特征融合最大程度的得到了原图像的细节信息，挖掘图像内在的关联性和互补性信息，提高了最终对于眼底图像的分类精度。

本实施例提供一种电子设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的分类器训练方法，例如，如图1、图4及图5所示的方法。

所述存储器可为各种类型的存储器，例如，随机存储器、只读存储器或闪存等。

所述处理器可为各种类型的处理器，中央处理器、微处理器、数字信号处理器或可编程阵列等。

所述处理器可以通过总线等于所述存储器连接，可以通过计算机可执行指令的执行，实现上述任意一个技术方案提供的分类器训练方法。

本实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够前述一个或多个技术方案提供的分类器训练方法，例如，如图1、图4及图5所示的方法。所述计算机存储介质可为非瞬间存储介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种分类器训练方法，其特征在于，包括：

获取第一图像；

分别从所述第一图像及N张所述第二图像中提取图像特征；

融合所述图像特征，得到融合特征；

利用所述融合特征训练分类器。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行变换处理，得到N张第二图像，包括以下至少之一：

对所述第一图像进行预定角度的旋转，获得所述第二图像；

对所述第一图像进行滤波，获得所述第二图像；

对所述第一图像进行直方图均衡化，得到所述第二图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行预定角度的旋转，获得所述第二图像，包括：

4.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行滤波，获得所述第二图像，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，

所述融合所述图像特征，得到融合特征，包括：

或

6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

根据所述融合特征生成为训练集、验证集及测试集，

利用所述训练集训练所述分类器的第一类参数；

基于所述验证集获得所述分类器的第二类参数；

利用所述测试及，对训练后的所述分类器进行测试；

7.根据权利要求1至4任一项所述的方法，其特征在于，所述利用所述融合特征训练分类器，包括：

利用所述融合特征训练机器学习分类器；

和/或，

利用所述融合特征训练深度学习分类器。

8.一种分类器训练装置，其特征在于，包括：

获取模块，用于获取第一图像；

融合模块，用于融合所述图像特征，得到融合特征；

训练模块，用于利用所述融合特征训练分类器。

9.一种电子设备，其特征在于，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现权利要求1至7任一项提供的方法。

10.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现权利要求1至7任一项提供的方法。