CN112560948B - 数据偏差下的眼底图分类方法及成像方法 - Google Patents

数据偏差下的眼底图分类方法及成像方法 Download PDF

Info

Publication number
CN112560948B
CN112560948B CN202011476264.6A CN202011476264A CN112560948B CN 112560948 B CN112560948 B CN 112560948B CN 202011476264 A CN202011476264 A CN 202011476264A CN 112560948 B CN112560948 B CN 112560948B
Authority
CN
China
Prior art keywords
network
sample
model
parameters
target network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011476264.6A
Other languages
English (en)
Other versions
CN112560948A (zh
Inventor
赵荣昌
陈宣霖
何博文
贾孝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202011476264.6A priority Critical patent/CN112560948B/zh
Publication of CN112560948A publication Critical patent/CN112560948A/zh
Application granted granted Critical
Publication of CN112560948B publication Critical patent/CN112560948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数据偏差下的眼底图分类方法，包括获取历史的眼底图像数据、标记并分类；构建目标网络和在线网络的基础模型；共享目标网络和在线网络的参数权重；为目标网络提供课程模块；为在线网络构建监督对抗损失函数；进行第一阶段学习和进行第二阶段学习，得到最终的网络模型；采用最终的网络模型对实时获取的眼底图像数据进行分类。本发明还公开了一种包括所述数据偏差下的眼底图分类方法的成像方法。本发明能够较好地处理样本中存在的偏差问题；同时在线网络和目标网络的网络参数相互自适应调整，动态引导模型对样本进行学习，从而使得模型的预测从有偏转向无偏，提升了模型的敏感度，而且可靠性高，敏感性好，分类准确性高。

Description

数据偏差下的眼底图分类方法及成像方法
技术领域
本发明书属于图像处理领域，具体涉及一种数据偏差下的眼底图分类方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人工智能算法已经广泛应用于人们的生产和生活中，给人们的生产和生活带来了无尽的便利。
目前，基于人工智能算法的计算机辅助图像处理技术，已经广泛应用于医院等单位。在医疗领域，基于人工智能算法的计算机辅助图像处理技术已经广泛应用于眼底图像的分类、识别和成像等，给相关人员带来了巨大的便利，也极大地提高了效率。
但是，基于人工智能算法的计算机辅助图像处理技术在具体应用时，依旧存在一些问题：由于异常图像的数目较少，以及异常图像难以具体正确分类的问题，这使得目前的基于人工智能算法的计算机辅助图像处理技术，存在较大的数据偏差；而假阳性的判断指标的引入，会在模型训练时会导致模型产生一些偏差，从而严重影响模型的分类结果和分类精确性。
发明内容
本发明的目的之一在于提供一种可靠性高、敏感性好和分类准确性高的数据偏差下的眼底图分类方法。
本发明的目的之二在于提供一种包括了所述数据偏差下的眼底图分类方法的成像方法。
本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；
S2.构建目标网络和在线网络的基础模型；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；
S4.为目标网络提供课程模块；
S5.为在线网络构建监督对抗损失函数；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
步骤S1所述的历史的眼底图像数据，标记并分类，具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集。
步骤S2所述的构建目标网络和在线网络的基础模型，具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中/>为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
式中m(F)为注意力的特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；/>为叉乘计算；
F.对在线网络模型进行训练。
步骤S3所述的采用指数移动平均法共享目标网络和在线网络的参数权重，具体为采用如下步骤进行共享：
设定表示第k次迭代后的在线网络的权重，/>表示第k次迭代后的目标网络的权重，/>为第k-1次迭代后的目标网络的权重；
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享。
步骤S4所述的为目标网络提供课程模块，具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且 为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
式中为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
式中为第0步迭代时判定为难样本的概率分数；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新。
步骤S5所述的为在线网络构建监督对抗损失函数，具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
式中ζ为定义的重平衡损失函数；为边界损失函数；αi为权重函数；/>为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；θyi为网络权重；N为样本数；Ι(yi＝yj)为样本为自身时二值化的指示函数；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积。
步骤S6所述的进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间，具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络。
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数。
步骤S7所述的进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型，具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％。
本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
本发明提供的这种数据偏差下的眼底图分类方法及成像方法，在线网络通过监督对抗损失学习表征，目标网络采用双课程模块，有利于处理样本中存在的偏差问题；同时在线网络和目标网络的网络参数相互自适应的调整，动态的引导模型对样本进行从易到难的学习，从而使得模型的预测从有偏转向无偏，提升了模型的敏感度，而且可靠性高，敏感性好，分类准确性高。
附图说明
图1为本发明分类方法的方法流程示意图。
图2为本发明分类方法中在线网络与目标网络共用的网络结构组成示意图。
图3为本发明分类方法中加权损失与难易样本的预测分数的关系变化示意图。
图4为本发明分类方法中加权损失与控制参数η的关系变化示意图。
图5为本发明成像方法的方法流程示意图。
具体实施方式
如图1所述为本发明分类方法的方法流程示意图：本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
S2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中/>为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
式中m(F)为注意力的特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；/>为叉乘计算；
F.对在线网络模型进行训练；
其中，对在线网络模型进行训练，具体为在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
设定表示第k次迭代后的在线网络的权重，/>表示第k次迭代后的目标网络的权重，/>为第k-1次迭代后的目标网络的权重；
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
S4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且 为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
式中为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
式中为第0步迭代时判定为难样本的概率分数；
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
S5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
式中ζ为定义的重平衡损失函数；为边界损失函数；αi为权重函数；/>为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；θyi为网络权重；N为样本数；Ι(yi＝yj)为样本为自身时二值化的指示函数；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
如图5所述为本发明成像方法的方法流程示意图：本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
S2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中/>为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
式中m(F)为注意力的特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；/>为叉乘计算；
F.对在线网络模型进行训练；
对在线网络模型进行训练，在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习。)；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
设定表示第k次迭代后的在线网络的权重，/>表示第k次迭代后的目标网络的权重，/>为第k-1次迭代后的目标网络的权重；
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
S4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且 为第t步迭代时判定为难样本的概率分数标准；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
式中为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
式中为第0步迭代时判定为难样本的概率分数；
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
S5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
式中ζ为定义的重平衡损失函数；为边界损失函数；αi为权重函数；/>为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；θyi为网络权重；N为样本数；Ι(yi＝yj)为样本为自身时二值化的指示函数；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类；
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
在具体实施时，本发明的成像方法，可以直接应用于眼底图像成像的设备，该设备在每次成像并获取对应的眼底图像以后，采用本发明的分类方法进行眼底图像的分类和识别，并根据分类和识别结果，可以再次对眼底图像进行对应的成像和标记操作(比如根据分类的类别，在各个眼底图像上进行分类结果的标记)。

Claims (8)

1.一种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；
S2.构建目标网络和在线网络的基础模型；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；
S4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且为第t步迭代时判定为难样本的概率分数标准；η为超参数；t为迭代次数；/>为难样本鉴别分数；
b.采用如下公式作为难样本的判别公式：
式中为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
式中为第0步迭代时判定为难样本的概率分数；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
S5.为在线网络构建监督对抗损失函数；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
2.根据权利要求1所述的数据偏差下的眼底图分类方法，其特征在于步骤S1所述的历史的眼底图像数据，标记并分类，具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集。
3.根据权利要求1或2所述的数据偏差下的眼底图分类方法，其特征在于步骤S2所述的构建目标网络和在线网络的基础模型，具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中/>为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
式中m(F)为三维注意力特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；为叉乘计算；
F.对在线网络模型进行训练。
4.根据权利要求3所述的数据偏差下的眼底图分类方法，其特征在于步骤S3所述的采用指数移动平均法共享目标网络和在线网络的参数权重，具体为采用如下步骤进行共享：
设定表示第k次迭代后的在线网络的权重，/>表示第k次迭代后的目标网络的权重，为第k-1次迭代后的目标网络的权重；
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享。
5.根据权利要求4所述的数据偏差下的眼底图分类方法，其特征在于步骤S5所述的为在线网络构建监督对抗损失函数，具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
式中ζ为定义的重平衡损失函数；为边界损失函数；αi为权重函数；/>为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；/>为网络权重；N为样本数；Ι(yi＝yj)为样本为自身时二值化的指示函数；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积。
6.根据权利要求5所述的数据偏差下的眼底图分类方法，其特征在于步骤S6所述的进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间，具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数。
7.根据权利要求6所述的数据偏差下的眼底图分类方法，其特征在于步骤S7所述的进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型，具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％。
8.一种包括权利要求1～7之一所述的数据偏差下的眼底图分类方法的成像方法，其特征在于还包括如下步骤：
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
CN202011476264.6A 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法 Active CN112560948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011476264.6A CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011476264.6A CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Publications (2)

Publication Number Publication Date
CN112560948A CN112560948A (zh) 2021-03-26
CN112560948B true CN112560948B (zh) 2024-04-26

Family

ID=75063606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011476264.6A Active CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Country Status (1)

Country Link
CN (1) CN112560948B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610118B (zh) * 2021-07-19 2023-12-12 中南大学 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN113807425B (zh) * 2021-09-11 2023-11-10 中南大学 基于自适应正则深度聚类的组织病理图像分类方法
CN115424084B (zh) * 2022-11-07 2023-03-24 浙江省人民医院 基于类别加权网络的眼底照片分类方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
WO2019240964A1 (en) * 2018-06-12 2019-12-19 Siemens Aktiengesellschaft Teacher and student based deep neural network training
CN111160474A (zh) * 2019-12-30 2020-05-15 合肥工业大学 一种基于深度课程学习的图像识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679525B (zh) * 2017-11-01 2022-11-29 腾讯科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
WO2019099305A1 (en) * 2017-11-14 2019-05-23 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240964A1 (en) * 2018-06-12 2019-12-19 Siemens Aktiengesellschaft Teacher and student based deep neural network training
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
CN111160474A (zh) * 2019-12-30 2020-05-15 合肥工业大学 一种基于深度课程学习的图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EGDCL: An Adaptive Curriculum Learning Framework for Unbiased Glaucoma Diagnosis;Zhao, R. et al.;《Computer Vision – ECCV 2020 Lecture Notes in Computer Science》;20201112;第12366卷;摘要，第1-4节，图1-4 *
Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results;Antti Tarvainen et al.;《Advances in Neural Information Processing Systems 30 (NIPS 2017) pre-proceedings》;20171231;第1-3节, 图1-2 *
混合学习模式下学习风格量化研究;张科伟;《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》;20190315;H127-33 *

Also Published As

Publication number Publication date
CN112560948A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN110490320B (zh) 基于预测机制和遗传算法融合的深度神经网络结构优化方法
CN114970605A (zh) 一种多模态特征融合神经网络的制冷设备故障诊断方法
CN111753918B (zh) 一种基于对抗学习的去性别偏见的图像识别模型及应用
CN106919980A (zh) 一种基于神经节分化的增量式目标识别系统
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN115131313A (zh) 基于Transformer的高光谱图像变化检测方法及装置
CN116704431A (zh) 水污染的在线监测系统及其方法
CN113239897A (zh) 基于时空特征组合回归的人体动作评价方法
CN114722950B (zh) 一种多模态的多变量时间序列自动分类方法及装置
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
CN116702090A (zh) 一种多模态数据融合与不确定估计的水位预测方法及系统
CN116702076A (zh) 一种基于cnn特征融合的小样本迁移学习故障诊断方法、系统、计算机及存储介质
CN115358838A (zh) 一种基于卷积神经网络的信贷时序数据建模方法及装置
CN116861250A (zh) 一种故障诊断模型训练方法及装置
CN111461229A (zh) 一种基于目标传递和线搜索的深层神经网络优化及图像分类方法
CN114495114B (zh) 基于ctc解码器的文本序列识别模型校准方法
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
Barthélemy et al. Comparison of discrete choice models and artificial neural networks in presence of missing variables
CN115482418B (zh) 基于伪负标签的半监督模型训练方法、系统及应用
CN117668701B (zh) Ai人工智能机器学习系统及方法
CN117236409B (zh) 基于大模型的小模型训练方法、装置、系统和存储介质
CN116910617A (zh) 一种基于mcdlstm-cnn的化工生产过程故障诊断方法及其系统
Guardamagna Convolutional neural networks for statistical post-processing of wind gusts speed

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant