CN116503385B - 基于虚拟全局代理的糖网眼底图像分级方法和设备 - Google Patents
基于虚拟全局代理的糖网眼底图像分级方法和设备 Download PDFInfo
- Publication number
- CN116503385B CN116503385B CN202310745450.2A CN202310745450A CN116503385B CN 116503385 B CN116503385 B CN 116503385B CN 202310745450 A CN202310745450 A CN 202310745450A CN 116503385 B CN116503385 B CN 116503385B
- Authority
- CN
- China
- Prior art keywords
- sample
- feature
- samples
- virtual global
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000012549 training Methods 0.000 claims abstract description 120
- 230000008569 process Effects 0.000 claims abstract description 56
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000001308 synthesis method Methods 0.000 claims abstract description 14
- 239000003795 chemical substances by application Substances 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 37
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000005457 optimization Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
基于虚拟全局代理的糖网眼底图像分级方法和设备，属于图像分级技术领域，解决糖网眼底图像样本分布不均衡造成的模型分级精确度低问题。本发明方法包括：虚拟全局代理方法中根据所有训练样本数据集的分布情况进行虚拟全局代理带点的选择；基于虚拟全局代理方法提出一种线性动态镜像特征合成方法，利用外部存储空间来保存过往的训练样本特征从而使得模型在进行样本特征合成的时候可以利用到全部的数据集特征，根据当前训练批次的状态对外部存储空间中保存的样本特征进行一个动态的调整；同时，还根据当前训练过程中少数类别样本的平均损失占比差值来动态的控制样本的生成。本发明适用于糖网眼底图像分级。
Description
技术领域
本申请涉及图像分级技术领域，尤其涉及糖网眼底图像分级。
背景技术
糖尿病视网膜眼底病变分级是深度学习在医学图像处理领域中的一个典型应用。该任务中的网络模型预测能力受到许多因素的干扰，主要是由于眼底图像数据集中的图像特征具有较高的相似度，仅在病变点上存在一些不同。这会使得网络模型难以提取数据集中的关键信息，并导致分类效果不理想。因此，如何提高网络模型的预测准确率，以及如何将其应用于生产实践，一直是医学图像分类领域的研究热点。研究人员需要探索新的方法和技术，以提高网络模型对眼底图像的特征提取和分类能力，从而为医学诊断和治疗提供更加准确和可靠的支持。
通常基于度量学习的医学图像分类的方法都会通过样本图像之间特征的相似性来衡量样本的语义相似度，从而使得计算机能够对图像的内容进行理解与分类。基于代理的损失则能够快速、可靠地收敛，但是其无法考虑到丰富的数据与数据之间的关系。
但是，由于显卡的显存容量限制，网络模型在训练的过程中只能以分批次的形式加载数据集进行训练，而这种训练方式会使得网络模型只能通过局部少量数据的分布情况进行更新，导致更新受到限制，可能会向着错误的方向进行更新，从而导致模型的偏置。此外，局部的样本特征分布难以完整反映整个数据集的特征分布，这也会使得利用局部样本特征对模型进行更新容易造成偏置。
在大多数的医学图像数据集中，往往都会存在比较严重的样本分布不均衡问题。过少的患病严重患者的样本数据量将会直接导致该类别样本在训练过程中样本信息的缺乏。以往的深度度量学习方法大多采用Hard-negative挖掘策略来缓解训练过程中信息样本的缺乏带来的影响。然而，这种挖掘方法仅仅只利用到了训练数据集中的一个子集，从而使得模型难以全面的描述嵌入空间的全局几何形状。
现有技术提出了一种基于内存机制的跨批次训练方法（XBM），可以使得模型能够考虑到更多的样本信息。但在XBM中仍然存在一定的限制，外部存储空间中保存的数据无法及时的随着模型的更新而做出相应的调整，这就会使得外部储存空间中保存的样本特征会与当前模型存在一定的偏差，利用这些存在偏差的数据对模型进行更新难免会使得模型受到一定的限制。
现有方法开始考虑生成潜在的Hard-negative样本来为模型提供额外的样本信息来充分训练模型。然而，目前的方法也有几个缺点。首先，生成样本的Hard-level无法得到精准的控制。其次，它们都需要一种对抗性的方式来训练生成器，这使得模型难以端到端学习，训练过程也非常不稳定。
现有方法还提出了一种HDML框架来动态的控制生成的样本，但是该方法仍然存在一些问题，首先，合成的样本是根据训练过程中Mini-batch中的样本信息通过线性插值而来，这就会使得合成的样本信息难以全面反映出真实的样本特征。其次，该方法在进行样本合成时仅仅通过训练过程中的平均损失来控制合成样本的Hard-level。在某些情况下这种控制样本合成的方法可能会进一步加重训练过程中样本分布不均衡的程度。
发明内容
本发明目的是为了解决现有技术针对糖网眼底图像的样本分布不均衡及模型分级精确度低的问题，提供了基于虚拟全局代理的糖网眼底图像分级方法和设备。
本发明是通过以下技术方案实现的，本发明一方面，提供一种基于虚拟全局代理的糖网眼底图像分级方法，所述方法包括：
建立基于虚拟全局代理的神经网络模型；
利用所述基于虚拟全局代理的神经网络模型，对糖网眼底图像进行分级；其中，所述基于虚拟全局代理的神经网络模型的建立方法，具体包括：
步骤1、获取糖网眼底图像样本数据集，所述糖网眼底图像样本数据集包含图像及其对应的分类标签；
步骤2、利用CNN神经网络对所述眼底图像进行特征提取，使用Tml损失作为损失函数将提取的特征向量映射到一个嵌入空间内，在模型训练迭代预设次数后，此时暂停梯度回传；
步骤3、使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理点；
步骤4、对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，使用Tml损失函数并结合Vgpl损失函数对CNN神经网络进行优化，以选出虚拟全局代理点作为Vgpl损失函数初始代理点，以继续梯度回传更新网络参数，直至损失收敛，迭代训练结束；其中的Vgpl为基于代理的损失，Tml为基于样本对的损失。
进一步地，步骤2中，所述CNN神经网络达到预设迭代次数之前使用Tml损失函数，达到预设迭代次数之后同时使用Tml损失函数和Vgpl损失函数。
进一步地，步骤3，具体包括：
步骤3.1、对整个训练数据集进行采样并获取数据集的空间嵌入表示；
步骤3.2、对训练数据集的嵌入空间表示按照样本类别进行划分有，其中代表着嵌入空间中类别为的样本集合；
步骤3.3、计算样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量，计算公式为：
其中，为代表着嵌入空间中类别为的样本集合，为使得集合中存在至少一个样本使得满足条件的最小值，为集合中的第个样本，为两个样本点和之间的欧氏距离；
步骤3.4、对于样本集合中的第个样本，要求与之对应的应当满足下面的公式：
其中为集合中的样本数量，为一个小于1的非零常量；的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高；
将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合；
步骤3.5、对所有类别重复步骤3.3-步骤3.5，得到所有类别的候选样本点集合；
步骤3.6、通过下面的公式求取每个类别的虚拟全局代理点：
其中，为集合中的样本数量，为中的一个样本，为类别的样本所对应的虚拟全局代理。
进一步地，步骤4中，所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，具体包括：
步骤4.1、将步骤2中CNN神经网络提取的特征向量映射成的嵌入空间表示保存到Feature memory bank中；
步骤4.2、获取训练过程中mini-batch中的少数类别，建立所述mini-batch中的少数类别样本集合，其中代表着类别为的少数类别样本集合；
步骤4.3、在Feature memory bank中获取集合所对应的镜像样本特征集合，其中为镜像样本特征集合中类别为的样本特征集合；
步骤4.4、利用步骤4.2中的所述少数类别样本集合和步骤4.3中的所述镜像样本特征集合，获取少数类别样本的平均特征变化量；
步骤4.5、获取Feature memory bank中非本批次mini-batch的其他少数类样本集合，其中为集合中的类别为的样本特征集合；按下面公式对进行更新，公式如下：
其中为集合中的类别为的样本特征集合，为类别为的样本所对应的平均特征变化量；
步骤4.6、重复步骤4.2-步骤4.5，完成对整个特征集合的更新后，将新生成的样本特征加入到模型训练过程中的样本特征集合中，并使用更新后的样本特征参与到后续的损失计算中；
步骤4.7、将特征集合中的所有样本特征点与步骤3中所对应类别的虚拟全局代理点之间构成一个个的样本对，计算集合中的样本点与各个类别的虚拟全局代理点之间的欧氏距离；
步骤4.8、根据步骤4.7中的欧式距离将特征集合中的每一个类别的样本集合进行排序；
步骤4.9、根据少数类别样本的平均损失占比差值来动态调整模型对于少数类别样本的关注度；
步骤4.10、最后将按照下面的公式将映射到集合的值域范围内，公式如下：
其中，为镜像特征合成集合中所有样本点的得分集合；是集合中的最小得分值，是集合中的最大得分值；是少数类别样本的平均损失占比差值；
步骤4.11、在feature memory bank中找到得分值最接近步骤4.10中映射后的样本平均损失占比的样本特征，得到具有不同学习价值的镜像样本特征。
进一步地，步骤4.4中，所述少数类别样本的平均特征变化量的计算公式为：
其中为少数类别样本特征集合中的一个样本所对应的样本特征向量，为镜像样本特征集合中的一个与所对应的特征向量，为特征集合中的样本数量。
进一步地，步骤4.8中，所述排序公式为：
其中，为特征集合中的一个样本点所对应的样本特征，这个样本点的类别为；为类别为的虚拟全局代理，D代表着两个样本点之间的欧氏距离，C为数据集的类别数量，为常量，且大于特征空间中距离最远的两点之间距离的平方。
进一步地，步骤4.9中，所述少数类别的样本的平均损失占比差值求解公式为：
其中C为样本数据集中的类别数量，是类别为的样本的虚拟全局代理损失，为少数类别样本的平均损失占比差值。
第二方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种基于虚拟全局代理的糖网眼底图像分级方法的步骤。
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行如上文所述的一种基于虚拟全局代理的糖网眼底图像分级方法。
第四方面，本发明提供一种计算机程序产品，所述计算机程序被处理器执行时实现如上文所述的一种基于虚拟全局代理的糖网眼底图像分级方法。
本发明的有益效果：
本发明提出了一种虚拟全局代理方法来使得网络模型在训练的过程中能够参考整体数据集的分布情况进行更新。
首先，本发明的虚拟全局代理方法中各个样本类别的代理点是在特征空间中的样本具有一定聚类效果后，根据所有训练样本数据集的分布情况选择而来。此时的代理能够在特征空间中能够更准确的反映出真实的训练样本特征分布。为了能够更全面的利用训练样本数据中的信息，还在虚拟全局代理方法中加入了基于样本对的损失函数的计算，从而使得本发明提出的方法可以兼顾两种类型损失的优点。
其次，本发明基于上面提到的虚拟全局代理方法提出了一种线性动态镜像特征合成方法。该方法同样可以利用外部存储空间来保存过往的训练样本特征从而使得模型在进行样本特征合成的时候可以利用到全部的数据集特征。与XBM不同的是，本发明所提出的线性动态镜像特征合成方法会根据当前训练批次的状态对外部存储空间中保存的样本特征进行一个动态的调整来尽量减缓保存在外部存储空间中的样本特征与网络模型之间存在的差异性。同时，还根据当前训练过程中少数类别样本的平均损失占比差值来动态的控制样本的生成，当训练过程中的少数类别样本占比达到一定程度时，便会放弃本次样本的合成从而尽可能的使得每一个批次的训练过程中各个样本之间都能达到一种动态的平衡。
本发明适用于糖网眼底图像分级。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为依靠局部样本的更新示意图和有全局代理的更新示意图；
图2为本发明的VGPM （虚拟全局代理方法）网络结构示意图；
图3为本发明的线性动态镜像特征合成模型架构示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
具体实施方式一、一种基于虚拟全局代理的糖网眼底图像分级方法，所述方法包括：
建立基于虚拟全局代理的神经网络模型；
利用所述基于虚拟全局代理的神经网络模型，对糖网眼底图像进行分级；其中，所述基于虚拟全局代理的神经网络模型的建立方法，具体包括：
步骤1、获取糖网眼底图像样本数据集，所述糖网眼底图像样本数据集包含图像及其对应的分类标签；
步骤2、利用CNN神经网络对所述眼底图像进行特征提取，使用Tml损失作为损失函数将提取的特征向量映射到一个嵌入空间内，在模型训练迭代预设次数后使嵌入空间达到初步聚类效果后，此时暂停梯度回传；
步骤3、使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理点；
步骤4、对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，使用Tml损失函数并结合Vgpl（proxynca）损失函数对CNN神经网络进行优化，以选出虚拟全局代理点作为Vgpl损失函数初始代理点，以继续梯度回传更新网络参数，直至损失收敛，迭代训练结束；其中的Vgpl为基于代理的损失，Tml为基于样本对的损失。
本实施方式提出了一种虚拟全局代理方法来使得网络模型在训练的过程中能够参考整体数据集的分布情况进行更新。本实施方式中，虚拟全局代理方法中根据所有训练样本数据集的分布情况进行虚拟全局代理带点的选择；基于虚拟全局代理方法提出一种线性动态镜像特征合成方法，利用外部存储空间来保存过往的训练样本特征从而使得模型在进行样本特征合成的时候可以利用到全部的数据集特征，根据当前训练批次的状态对外部存储空间中保存的样本特征进行一个动态的调整；同时，还根据当前训练过程中少数类别样本的平均损失占比差值来动态的控制样本的生成。
具体实施方式二，本实施方式是对实施方式一所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤2中所述CNN神经网络，做了进一步限定，具体包括：
步骤2中，所述CNN神经网络达到预设迭代次数之前使用Tml损失函数，达到预设迭代次数之后同时使用Tml损失函数和Vgpl损失函数。
本实施方式的虚拟全局代理方法中各个样本类别的代理点是在特征空间中的样本具有一定聚类效果后，根据所有训练样本数据集的分布情况选择而来。此时的代理能够在特征空间中能够更准确的反映出真实的训练样本特征分布。为了能够更全面的利用训练样本数据中的信息，还在虚拟全局代理方法中加入了基于样本对的损失函数的计算，从而使得本实施方式提出的方法可以兼顾两种类型损失的优点。
具体实施方式三，本实施方式是对实施方式一所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤3，做了进一步限定，具体包括：
步骤3，具体包括：
步骤3.1、对整个训练数据集进行采样并获取数据集的空间嵌入表示；
步骤3.2、对训练数据集的嵌入空间表示按照样本类别进行划分有，其中代表着嵌入空间中类别为的样本集合；
步骤3.3、为集合中的第个样本，为两个样本点和之间的欧氏距离，为样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量。则有：
其中，为代表着嵌入空间中类别为的样本集合，为使得集合中存在至少一个样本使得满足条件的最小值；
步骤3.4、对于样本集合中的一个样本，要求与之对应的应当满足下面的公式：
其中为集合中的样本数量，为一个小于1的非零常量；的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高；
将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合；
步骤3.5、对所有类别重复步骤3.3-步骤3.5，得到所有类别的候选样本点集合；
步骤3.6、通过下面的公式求取每个类别的虚拟全局代理点：
其中，为集合中的样本数量，为中的一个样本，为类别的样本所对应的虚拟全局代理。
本实施方式中，本实施方式的虚拟全局代理方法中各个样本类别的代理点是在特征空间中的样本具有一定聚类效果后，根据所有训练样本数据集的分布情况选择而来。此时的代理能够在特征空间中能够更准确的反映出真实的训练样本特征分布。
具体实施方式四，本实施方式是对实施方式三所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤4中所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，做了进一步限定，具体包括：
步骤4中，所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，具体包括：
步骤4.1、将步骤2中CNN神经网络提取的特征向量映射成的嵌入空间表示保存到Feature memory bank中；
步骤4.2、获取训练过程中mini-batch中的少数类别（在模型初始化时人工设定哪种类别为少数类别样本）构成此mini-batch中的少数类别样本集合，其中代表着类别为的少数类别样本集合；
步骤4.3、在Feature memory bank中获取集合所对应的镜像样本特征集合，其中为镜像样本特征集合中类别为的样本特征集合；
步骤4.4、利用步骤4.2中的所述少数类别样本集合和步骤4.3中的所述镜像样本特征集合，获取少数类别样本的平均特征变化量；
步骤4.5、获取Feature memory bank中非本批次mini-batch的其他少数类样本集合，其中为集合中的类别为的样本特征集合；按下面公式对进行更新，公式如下：
其中为集合中的类别为的样本特征集合，为类别为的样本所对应的平均特征变化量；
步骤4.6、在按照步骤4.2、步骤4.3、步骤4.4、步骤4.5对整个特征集合进行更新后，将新生成的样本特征加入到模型训练过程中的样本特征集合中，并使得这部分更新后的样本特征能够参与到后续的损失计算过程中；
步骤4.7、将特征集合中的所有样本特征点与步骤3中所对应类别的虚拟全局代理点之间构成一个个的样本对，计算集合中的样本点与各个类别的虚拟全局代理点之间的欧氏距离；
步骤4.8、根据步骤4.7中的欧式距离将特征集合中的每一个类别的样本集合进行排序；
步骤4.9、根据少数类别样本的平均损失占比差值来动态调整模型对于少数类别样本的关注度；
需要说明的是，当某一个少数类别样本的平均度量损失占比较低时，选择加入更具有学习价值的样本点，从而尽可能的增大该类别样本在训练过程中的权重。
步骤4.10、最后将按照下面的公式将映射到集合的值域范围内，公式如下：
其中，为镜像特征合成集合中所有样本点的得分集合；是集合中的最小得分值，是集合中的最大得分值；是少数类别样本的平均损失占比差值；
需要说明的是，由于从特征集合中所求得的各个样本的值是分布在一个离散的区间上的。因此，需要一个函数能够将映射到特征集合所对应的值集合的值域范围内。并且这个函数还要和有着相同的单调性。从而在feature memorybank中找到得分值最接近这个映射后的样本平均损失占比的样本特征并加入到损失计算过程；
得分集合是feature memory bank中的除了镜像特征之外其他特征经过线性变化后，经过步骤4.9中公式计算后得到的损失值集合。
步骤4.11、在feature memory bank中找到得分值最接近步骤4.10中映射后的样本平均损失占比的样本特征，得到具有不同学习价值的镜像样本特征。
需要说明的是，本实施方式的步骤4中，是当前mini-batch中的特征，是Feature memory bank中存储的对应的特征。
减去的值除以当前mini-batch中样本的个数，就是平均变化值。对应步骤4.4中的公式。
之后利用平均变化值来给Feature memory bank中其他少数类样本做线性更新，对应步骤4.5公式。
但是样本合成需要大量算力，故不能将所有更新后的少数类样本做样本合成，只能挑选学习价值更高的来做样本合成。
在训练的过程中依据当前训练批次中少数类别样本的平均损失占比差值来动态控制合成具有不同学习价值的镜像样本特征。
步骤4.1-4.6是所有Feature memory bank中少数类样本更新，步骤4.7-4.10是挑选出一部分样本进行特征合成。
本实施方式中，基于上面提到的虚拟全局代理方法提出了一种线性动态镜像特征合成方法。该方法同样可以利用外部存储空间来保存过往的训练样本特征从而使得模型在进行样本特征合成的时候可以利用到全部的数据集特征。与XBM不同的是，本实施方式所提出的线性动态镜像特征合成方法会根据当前训练批次的状态对外部存储空间中保存的样本特征进行一个动态的调整来尽量减缓保存在外部存储空间中的样本特征与网络模型之间存在的差异性。同时，还根据当前训练过程中少数类别样本的平均损失占比差值来动态的控制样本的生成，当训练过程中的少数类别样本占比达到一定程度时，便会放弃本次样本的合成从而尽可能的使得每一个批次的训练过程中各个样本之间都能达到一种动态的平衡。
具体实施方式五，本实施方式是对实施方式四所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤4.4中，所述少数类别样本的平均特征变化量，做了进一步限定，具体包括：
步骤4.4中，所述少数类别样本的平均特征变化量的计算公式为：
其中为少数类别样本特征集合中的一个样本所对应的样本特征向量，为镜像样本特征集合中的一个与所对应的特征向量，为特征集合中的样本数量。
本实施方式给出了少数类别样本的平均特征变化量的计算方法，用于后续对其他少数类样本集合的更新。
具体实施方式六，本实施方式是对实施方式五所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤4.8中所述排序，做了进一步限定，具体包括：
步骤4.8中，所述排序公式为：
其中，为特征集合中的一个样本点所对应的样本特征，这个样本点的类别为；为类别为的虚拟全局代理，D代表着两个样本点之间的欧氏距离，C为数据集的类别数量，为一个值比较大的常量，确保能大于特征空间中距离最远的两点之间距离的平方即可。
本实施方式中，样本特征所对应的样本点与（为类别为的虚拟全局代理）距离越近并且与其他虚拟全局代理点的距离越远则的值也就越小，这样的样本点相对来说也就更容易被模型区分。反之样本特征所对应的样本点距离越远，并且该样本点与其他虚拟全局代理点的距离越近则的值也就越大，这样的样本点相对来说更具有学习价值。因此可以通过控制的大小来选择具有不同学习价值的样本。
具体实施方式七，本实施方式是对实施方式六所述的一种基于虚拟全局代理的糖网眼底图像分级方法的进一步限定，本实施方式中，对步骤4.9中，所述少数类别的样本的平均损失占比差值，做了进一步限定，具体包括：
步骤4.9中，所述少数类别的样本的平均损失占比差值求解公式为：
其中C为样本数据集中的类别数量，是类别为的样本的虚拟全局代理损失，为少数类别样本的平均损失占比差值。
本实施方式中，的值域范围为，当为0时，则在本批次的训练过程中少数类别样本损失占比已经不低于平均水平，因此将不再为该类别样本添加新合成样本特征，从而避免加入合成样本后该类别样本占比过高从而导致出现新的不平衡问题。的值越大则需要添加学习价值更大的少数类别样本特征从而尽可能的增加该类别样本在损失计算过程中的权重占比，从而提高模型对该类别样本的关注度。
具体实施方式八，本实施方式是对如上文所述的一种基于虚拟全局代理的糖网眼底图像分级方法的实施例，具体包括：
首先介绍全局代理的必要性及最终的目的。
如图1所示，相同形状的数据点代表着同一类别的图像在特征空间中的分布情况。其中白色的数据代表着当前训练批次中的样本点的分布情况，灰色的点则代表着除本训练批次之外的其他样本点此时应有的特征分布情况，黑色的点为根据样本的整体分布情况而选择出来的代理点。图1左边部分展示了在不考虑全局代理点时的模型的更新方向。如果仅仅只考虑白色的样本点的特征分布情况，则模型的更新将会更倾向于按照黑色箭头所代表的优化方向进行，从而使得两种不同类别样本之间的距离尽可能的远。如果仅仅只考虑白色的当前训练样本分布，可以发现这样的优化方向是较为合理的。然而当我们拥有了整体的全局数据分布视野后，考虑到此时灰色样本点的特征分布情况后就会发现会有其他更合理的优化方向。如图1中的右半部分展示了有全局代理样本点之后的优化方向，此时黑色的点为全局代理样本点。训练数据集中的每个样本类别都有一个全局代理样本点，这个样本点是在获取所有训练集中的特征分布后选择而来，代理样本点一般为该类别样本的聚类中心。此时可以看到，当我们将训练过程中Mini-batch内的白色样本点分别与各个代理点之间构成一个个的样本对后。则与代理点同类别的样本将会朝着代理点靠近（对应图中灰色的箭头），不同类别的样本将会远离代理点（对应图中的黑色箭头）。此时的白色样本点将会在这两种作用力下逐渐朝着代理点的方向（聚类中心）靠近。显然，相较于左边没有代理时模型的优化方向，有了全局代理之后的优化方向将更为合理。
具体实施例一：
在现阶段机器学习领域中，卷积神经网络(CNN)无疑是最为常用的一种模型，在各种机器学习任务中都可以看到它的身影。然而，受到显卡的显存容量大小的限制，网络模型在一次训练的过程中无法加载全部数据，只能以分批次的形式来对网络模型进行训练。而这种训练的方式是存在一定的弊端的。网络模型在一次训练过程中，会根据训练过程中的一个Mini-batch中所包含的样本的分布情况进行优化，而一个Mini-batch的数据仅仅只占总体数据分布的很小一部分。因此，如果仅仅只考虑当前批次中的数据特征分布来知道网络模型的优化，则会大大降低模型的优化速度，甚至是如同盲人摸象一般得出错误的结论。当然，也有解决该问题的方法，那就是模型的每次优化更新都在加载完全量数据之后进行。然而这种方法势必会导致运算量成几何倍数的上升，得不偿失。因此，如何采用一种既可以减少计算量，又能使得模型在更新的过程中能够考虑到总体数据分布来进行优化的方法显得十分有必要了。为此，我们提出了一种虚拟全局代理方法(VGPM)，该方法所对应的网络结构如图2所示，其中的Vgpl为基于代理的损失，Tml为基于样本对的损失。Selecter为虚拟全局代理点的选择方法。与传统的度量学习网络模型结构不同，VGPM中的网络模型的训练过程会分为两个阶段。在第一个阶段的训练过程中，我们训练的主要目的学习到一个具有一定聚集效果的嵌入空间，在这个阶段中主要用到的是Tml损失来帮助模型在嵌入空间中达到初步的聚类效果。在第二个训练阶段开始前，我们首先会获取到全部训练数据集的特征嵌入表示，对应图3中的All dataset embeddings模块。之后便会通过Selecter方法为每一个类别的样本都选择出一个与之对应的虚拟全局代理样本点。在第二个训练阶段中，我们将在训练的过程中利用到这些全局代理样本点从而使得网络模型在优化的过程中能够考虑到样本的整体分布，而不是仅仅只根据当前批次中的样本分布情况来对模型进行优化。在选取虚拟全局代理时，模型会对全部训练数据集进行统一的采集处理。当然，模型在训练的初期很难在嵌入空间中获得一个良好聚类效果，所以在刚开始的训练过程中就生成虚拟的全局代理显然是不合理的。因此，我们选择在经过一段时间的训练后，当嵌入空间中的样本有着一定的聚类效果时再加载全部数据集并生成虚拟的全局代理对象。并在此时开启线性动态镜像特征合成方法以解决训练数据分布不均，导致的少数类样本在训练过程中的样本信息不够丰富的问题。
一种基于虚拟全局代理的线性动态镜像特征合成糖网眼底图像分级方法，具体包括：
如图2所示，将训练集送入一个由CNN作为骨干网络的分类框架中，由神经网络提取特征，使用Tml损失作为损失函数，迭代1500次后使嵌入空间达到初步聚类效果后，此时暂停梯度回传，使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理样本点。
如图3所示，之后对少数类使用线性动态镜像特征合成方法并使用Vgpl损失函数来一起辅助模型进行优化，以选出虚拟全局代理样本点作为其初始代理点，并继续梯度回传更新网络参数。直至损失收敛，迭代训练结束。Tml损失从始至终都参与网络的训练，1500次后仍然参与网络的训练。
Selecter方法（虚拟全局代理的选取），具体包括：
我们设表示数据空间，在将网络模型进行一段时间的训练后，我们对整个训练数据集进行采样。每个样本点都有一个标签，即该数据集包含个类别，这些样本的标签构成了标签集。设是从数据到特征空间的映射，其中提取的特征具有对应数据点的语义特征。
在模型进行一段时间的训练后，我们对整个数据集进行采样并获取数据集的空间嵌入表示。此时的代表了整体数据的分布情况，我们需要在这个空间中为每一个类别选出一个虚拟的全局代理对象，被选举出的代理对象会参与接下来的网络模型的训练过程中。因此，这个全局代理对象应该要能反映出数据空间总体样本的分布情况。
我们将整个训练数据集的嵌入空间表示按照样本的类别进行划分则有，其中代表着嵌入空间中类别为的样本集合。设为集合中的第个样本，为两个样本点和之间的欧氏距离，为样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量。则有：
其中，为代表着嵌入空间Z中类别为的样本集合，为使得集合中存在至少一个使得满足下面所述条件的最小值。对于样本集合中的一个样本，我们要求与之对应的应当满足下面的公式：
其中为集合中的样本数量，为一个小于1的非零常量。的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高。我们将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合。之后便可以用同样的方法求出所有类别的候选样本点集合。
在得到所有类别的候选样本点集合后，我们便可以求取各个类别样本的虚拟全局代理。我们按照下面的公式来求取各个类别样本的虚拟全局代理。
其中，为集合中的样本数量，为类别的样本所对应的虚拟全局代理对象。
通过上述方式可以为样本集合中的每一个类别的样本都寻找到一个虚拟的全局代理点。有了这些虚拟全局代理点之后，我们便可以在之后的每一个批次训练的过程中通过基于代理的损失函数来影响网络模型的优化。
在虚拟全局代理方法为数据集中存在的每一个类别的样本都求得了一个虚拟全局代理点。在开启了虚拟全局代理之后，便可以通过损失函数让其影响网络模型的优化。因此随着训练的不断进行，模型会更倾向于使得数据集中的样本点向着聚类中心（虚拟全局代理点）的位置进行聚拢。
如图3所示，选取虚拟全局代理后，开启线性动态特征合成方法，具体包括：
对于训练过程中构成Mini-batch的样本集合，我们可以获取到其中的少数类别（在对模型进行初始化时通过人工设定哪种类别的样本为少数类别样本）样本的特征从而将这些少数类别样本构成一个样本特征集合，其中代表着类别为的少数类别样本集合。对于少数类别样本集合中的样本，我们都可以在Feature memory bank中获取到这些样本所对应的样本特征，我们将这部分样本特征构成一个镜像样本特征集合，其中为镜像样本特征集合中类别为的样本特征集合。特征集合与中所包含的样本特征是由同样的样本点在不同的训练批次中由网络模型提取而来的，也即特征集合与特征集合的大小是一样的，它们之间存在着一一对应的关系。特征集合是由网络模型提取当前训练批次中的少数类别样本的图像特征构成的，而镜像特征集合则是当前训练批次中的少数类别样本所对应的保存在Feature memory bank中的图像特征所构成的集合。在得到少数类别样本特征集合以及与其对应的镜像特征集合之后，我们便可以获取少数类别样本的平均特征变化量，其中为类别为的少数类别样本所对应的平均特征变化量。少数类样本特征集合的平均特征变化量的获取公式如下所示：
其中为少数类别样本特征集合中的一个样本所对应的样本特征向量，为镜像样本特征集合中的一个与所对应的特征向量，为特征集合中的样本数量。我们可以通过上述公式求取到所有的少数类别样本特征的平均变化量。
虽然在模型的训练过程中我们在Feature memory bank中保存了过往训练批次的样本特征，但是这些特征却难以较好的反映当前数据集的特征状态。即Feature memorybank中保存的是过往训练过程中提取的样本特征，这部分样本特征无法随着模型的不断训练而进行更新，因此随着模型的不断训练这部分数据与模型之间会存在一定的偏差。因此我们还需要能够对保存在Feature memory bank中的样本特征进行更新从而尽可能的减少这部分样本特征与网络模型之间存在的偏差。在每一个Mini-batch的训练过程中，我们都能从Feature memory bank中获取到一个包含Mini-batch中少数类别样本的镜像特征集合。而Feature memory bank中除去中的样本特征之外还存有未包含在当前Mini-batch中的其他样本的镜像特征，我们将这一部分特征集合称作，其中为集合中的类别为的样本特征集合。对于保存在Feature memory bank中的一个少数类别样本集合，我们按照下面的公式对其进行线性更新：
其中为集合中的类别为的样本特征集合，为类别为的样本所对应的平均特征变化量。在按照上面的公式对整个特征集合进行更新后，我们便可以将新生成的样本特征加入到模型训练过程中的样本特征集合中，从而使得这部分更新后的样本特征能够参与到后续的损失计算过程中。当然，如果让特征集合中全部的样本特征都参与到损失函数的计算过程中，将会极大程度上增加该Mini-batch训练中少数类别样本特征的数量。这将会在一定程度上增加模型的计算量，并且将Feature memory bank中包含的全部少数类别样本全部参与训练过程的损失计算过程还会导致训练过程中少数类别样本的占比权重增加过多，从而造成新的样本不均衡问题。因此我们还需要对这部分样本进行筛选并找出其中能够对模型的更新起到促进作用的合成样本。
之前我们分别为训练集中各个类别的样本都求得了一个虚拟全局代理，在这里我们可以将特征集合中的所有样本特征点与各个虚拟全局代理点之间构成一个个的样本对，之后便可以计算集合中的样本点与各个类别的虚拟全局代理点之间的欧氏距离。在求得特征集合与各个全局虚拟代理点之间的欧氏距离之后，我们便可以将特征集合中的样本特征按照类别分别进行排序。我们将按照下面的公式对每一个类别的样本集合进行排序。
其中为特征集合中的一个样本点所对应的样本特征，这个样本点的类别为。为类别为的虚拟全局代理，D代表着两个样本点之间的欧氏距离，C为数据集的类别数量，为一个值比较大的常量，确保能大于特征空间中距离最远的两点之间距离的平方即可。
随着训练的不断进行，数据集中大部分的样本都会有满足损失函数约束的趋势，此时如果将合成的满足损失函数约束的样本点加入损失函数的计算过程中，将不会对模型的优化起到太大的作用。因此，我们在对合成的样本集合中的样本进行选择时就需要有针对的进行选择，在进行选择的时候尽可能的选择更有学习价值的样本。观察上面的公式可以发现，样本特征所对应的样本点与距离越近并且与其他虚拟全局代理点的距离越远则的值也就越小，这样的样本点相对来说也就更容易被模型区分。反之样本特征所对应的样本点距离越远，并且该样本点与其他虚拟全局代理点的距离越近则的值也就越大，这样的样本点相对来说更具有学习价值。因此我们便可以通过控制的大小来选择具有更大学习价值的样本。
随着训练的进行，数据集中大部分的样本都会有满足损失函数约束的趋势，此时如果将合成的满足损失函数约束的样本点加入损失函数的计算过程中，将不会对模型的优化起到太大的作用。因此我们需要对生成的少数类别样本特征集合Z'中的样本特征进行动态的选择，根据当前模型的训练情况选择具有不同学习价值的样本点。尽可能的减少模型的计算量并避免添加过多的少数类别样本特征到模型的训练过程从而使得少数类别样本的权重过高而造成新的不平衡问题。
在模型的训练过程中，不同类别样本在损失函数计算过程中的占比能在一定程度上反映出样本的分布情况。如果训练过程中一个类别样本的损失占比过高则往往代表着该类别样本的数量较多或者该类别样本的分布难以较好的满足损失函数的约束。因此，我们可以利用少数类别样本的平均度量损失占比来动态的选择具有不同学习价值的合成样本。当某一个少数类别样本的平均度量损失占比较低时，我们选择加入更具有学习价值的样本点，从而尽可能的增大该类别样本在训练过程中的权重。通过使用这种根据少数类别样本的平均损失占比来动态的调整模型对于少数类别样本的关注度，从而使得模型能够对于数据集中的各个类别样本都能有效的给予关注，避免模型陷入局部最优解。为了方便后续的处理，这里我们按照少数类别样本的平均损失占比差值来动态的控制样本的合成。某一个少数类别为的样本的平均损失占比差值求解公式如下：
其中C为样本数据集中的类别数量，是类别为的样本的虚拟全局代理损失，为少数类别样本的平均损失占比差值。观察上述公式可以发现的值域范围为，当为0时，则在本批次的训练过程中少数类别样本损失占比已经不低于平均水平，因此将不再为该类别样本添加新合成样本特征，从而避免加入合成样本后该类别样本占比过高从而导致出现新的不平衡问题。的值越大则需要添加学习价值更大的少数类别样本特征从而尽可能的增加该类别样本在损失计算过程中的权重占比，从而提高模型对该类别样本的关注度。
我们在获取到少数类别样本的镜像特征合成集合并按照大小进行排序后便可以根据各个少数类别样本的值来动态的选择具有不同学习价值的样本。由于从特征集合中所求得的各个样本的值是分布在一个离散的区间上的。因此，我们需要一个函数能够将映射到特征集合所对应的值集合的值域范围内。并且这个函数还要和有着相同的单调性。我们按照下面的公式将映射到集合的值域范围内。
其中，为镜像特征合成集合中所有样本点的得分集合。是集合中的最小得分值，是集合中的最大得分值。少数类别样本的平均损失占比差值。
由于镜像特征合成集中所有特征元素求得的集合的值域是一个离散区间。所以我们将按照上述公式进行映射后得到的并不一定能够在集合中找到对应的数值。因此，我们还需要从镜像特征集合中找到一个样本点，该样本点能够使得其对应的在数值上是最接近的数值的样本点。我们按照此方法为每一个少数类别样本都找到合适的合成样本后，便可以让这些样本也参与到后续的损失结算过程中。从而增加少数类别样本的权重，使得模型能够给予少数类别样本更多的关注来从而减少样本分布不均衡问题对模型带来的干扰。至此，我们便可以在训练的过程中依据当前训练批次中少数类别样本的平均损失占比差值来动态控制合成具有不同学习价值的镜像样本特征。
Claims (5)
1.一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，所述方法包括：
建立基于虚拟全局代理的神经网络模型；
利用所述基于虚拟全局代理的神经网络模型，对糖网眼底图像进行分级；其中，所述基于虚拟全局代理的神经网络模型的建立方法，具体包括：
步骤1、获取糖网眼底图像样本数据集，所述糖网眼底图像样本数据集包含图像及其对应的分类标签；
步骤2、利用CNN神经网络对所述眼底图像进行特征提取，使用Tml损失作为损失函数将提取的特征向量映射到一个嵌入空间内，在模型训练迭代预设次数后，此时暂停梯度回传；
步骤3、使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理点；
步骤4、对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，使用Tml损失函数并结合Vgpl损失函数对CNN神经网络进行优化，以选出虚拟全局代理点作为Vgpl损失函数初始代理点，以继续梯度回传更新网络参数，直至损失收敛，迭代训练结束；其中的Vgpl为基于代理的损失，Tml为基于样本对的损失；
步骤3，具体包括：
步骤3.1、对整个训练数据集进行采样并获取数据集的空间嵌入表示；
步骤3.2、对训练数据集的嵌入空间表示按照样本类别进行划分有，其中代表着嵌入空间中类别为的样本集合；
步骤3.3、计算样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量，计算公式为：
其中，为代表着嵌入空间中类别为的样本集合，为使得集合中存在至少一个样本使得满足条件的最小值，为集合中的第个样本，为两个样本点和之间的欧氏距离；
步骤3.4、对于样本集合中的第个样本，要求与之对应的应当满足下面的公式：
其中为集合中的样本数量，为一个小于1的非零常量；的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高；
将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合；
步骤3.5、对所有类别重复步骤3.3-步骤3.5，得到所有类别的候选样本点集合；
步骤3.6、通过下面的公式求取每个类别的虚拟全局代理点：
其中，为集合中的样本数量，为中的一个样本，为类别的样本所对应的虚拟全局代理；
步骤4中，所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，具体包括：
步骤4.1、将步骤2中CNN神经网络提取的特征向量映射成的嵌入空间表示保存到Feature memory bank中；
步骤4.2、获取训练过程中mini-batch中的少数类别，建立所述mini-batch中的少数类别样本集合，其中代表着类别为的少数类别样本集合；
步骤4.3、在Feature memory bank中获取集合所对应的镜像样本特征集合，其中为镜像样本特征集合中类别为的样本特征集合；
步骤4.4、利用步骤4.2中的所述少数类别样本集合和步骤4.3中的所述镜像样本特征集合，获取少数类别样本的平均特征变化量；
步骤4.5、获取Feature memory bank中非本批次mini-batch的其他少数类样本集合，其中为集合中的类别为的样本特征集合；按下面公式对进行更新，公式如下：
其中为集合中的类别为的样本特征集合，为类别为的样本所对应的平均特征变化量；
步骤4.6、重复步骤4.2-步骤4.5，完成对整个特征集合的更新后，将新生成的样本特征加入到模型训练过程中的样本特征集合中，并使用更新后的样本特征参与到后续的损失计算中；
步骤4.7、将特征集合中的所有样本特征点与步骤3中所对应类别的虚拟全局代理点之间构成一个个的样本对，计算集合中的样本点与各个类别的虚拟全局代理点之间的欧氏距离；
步骤4.8、根据步骤4.7中的欧式距离将特征集合中的每一个类别的样本集合进行排序；
步骤4.9、根据少数类别样本的平均损失占比差值来动态调整模型对于少数类别样本的关注度；
步骤4.10、最后将按照下面的公式将映射到集合的值域范围内，公式如下：
其中，为镜像特征合成集合中所有样本点的得分集合；是集合中的最小得分值，是集合中的最大得分值；是少数类别样本的平均损失占比差值；C为样本数据集中的类别数量；
步骤4.11、在feature memory bank中找到得分值最接近步骤4.10中映射后的样本平均损失占比的样本特征，得到具有不同学习价值的镜像样本特征；
步骤4.4中，所述少数类别样本的平均特征变化量的计算公式为：
其中为少数类别样本特征集合中的一个样本所对应的样本特征向量，为镜像样本特征集合中的一个与所对应的特征向量，为特征集合中的样本数量；
步骤4.8中，所述排序公式为：
其中，为特征集合中的一个样本点所对应的样本特征，这个样本点的类别为；为类别为的虚拟全局代理，D代表着两个样本点之间的欧氏距离，C为数据集的类别数量，为常量，且大于特征空间中距离最远的两点之间距离的平方；
步骤4.9中，所述少数类别的样本的平均损失占比差值求解公式为：
其中C为样本数据集中的类别数量，是类别为的样本的虚拟全局代理损失，为少数类别样本的平均损失占比差值。
2.根据权利要求1所述的一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，步骤2中，所述CNN神经网络达到预设迭代次数之前使用Tml损失函数，达到预设迭代次数之后同时使用Tml损失函数和Vgpl损失函数。
3.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，当所述处理器运行所述存储器存储的计算机程序时执行权利要求1至2中任一项所述的方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行权利要求1至2中任一项所述的方法。
5.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310745450.2A CN116503385B (zh) | 2023-06-25 | 2023-06-25 | 基于虚拟全局代理的糖网眼底图像分级方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310745450.2A CN116503385B (zh) | 2023-06-25 | 2023-06-25 | 基于虚拟全局代理的糖网眼底图像分级方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503385A CN116503385A (zh) | 2023-07-28 |
| CN116503385B true CN116503385B (zh) | 2023-09-01 |
Family
ID=87326939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310745450.2A Active CN116503385B (zh) | 2023-06-25 | 2023-06-25 | 基于虚拟全局代理的糖网眼底图像分级方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503385B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| WO2019033636A1 (zh) * | 2017-08-16 | 2019-02-21 | 哈尔滨工业大学深圳研究生院 | 基于最小化损失学习的不平衡样本分类方法 |
| CN110912972A (zh) * | 2019-11-07 | 2020-03-24 | 北京浪潮数据技术有限公司 | 一种业务处理方法、系统、电子设备及可读存储介质 |
| CN112966740A (zh) * | 2021-03-05 | 2021-06-15 | 西安邮电大学 | 基于核心样本自适应扩充的小样本高光谱图像分类方法 |
| KR20220040295A (ko) * | 2020-09-23 | 2022-03-30 | 네이버 주식회사 | 메트릭 학습을 위한 가상의 학습 데이터 생성 방법 및 시스템 |
| CN115439685A (zh) * | 2022-08-26 | 2022-12-06 | 重庆长安汽车股份有限公司 | 一种小样本图像数据集划分方法及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11177996B2 (en) * | 2017-04-04 | 2021-11-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Training a software agent to control a communication network |
| US11397888B2 (en) * | 2018-06-14 | 2022-07-26 | Accenture Global Solutions Limited | Virtual agent with a dialogue management system and method of training a dialogue management system |
-
2023
- 2023-06-25 CN CN202310745450.2A patent/CN116503385B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019033636A1 (zh) * | 2017-08-16 | 2019-02-21 | 哈尔滨工业大学深圳研究生院 | 基于最小化损失学习的不平衡样本分类方法 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN110912972A (zh) * | 2019-11-07 | 2020-03-24 | 北京浪潮数据技术有限公司 | 一种业务处理方法、系统、电子设备及可读存储介质 |
| KR20220040295A (ko) * | 2020-09-23 | 2022-03-30 | 네이버 주식회사 | 메트릭 학습을 위한 가상의 학습 데이터 생성 방법 및 시스템 |
| CN112966740A (zh) * | 2021-03-05 | 2021-06-15 | 西安邮电大学 | 基于核心样本自适应扩充的小样本高光谱图像分类方法 |
| CN115439685A (zh) * | 2022-08-26 | 2022-12-06 | 重庆长安汽车股份有限公司 | 一种小样本图像数据集划分方法及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "基于深度卷积神经网络的糖尿病视网膜病变分期及病灶检测";谢云霞 等;《计算机应用》;第40卷(第8期);第2460-2464页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503385A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7386370B1 (ja) | 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム | |
| JP2023523029A (ja) | 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体 | |
| CN108615555A (zh) | 基于标记基因和混合核函数svm的结直肠癌预测方法和装置 | |
| CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
| WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
| WO2022016912A1 (zh) | 用于婴幼儿脑病历图像分割的全卷积遗传神经网络优化方法 | |
| CN111986811A (zh) | 一种基于大数据的疾病预测系统 | |
| CN108564592A (zh) | 基于动态多种群集成差分进化算法的图像分割方法 | |
| CN110599068A (zh) | 一种基于粒子群优化算法的云资源调度方法 | |
| CN110991621A (zh) | 一种基于通道数搜索卷积神经网络的方法 | |
| WO2024016739A1 (zh) | 训练神经网络模型的方法、电子设备、云端、集群及介质 | |
| CN110390348A (zh) | 一种不平衡数据集分类方法、系统、装置和存储介质 | |
| CN109871934A (zh) | 基于Spark分布式的并行二进制飞蛾扑火算法的特征选择方法 | |
| CN113255873A (zh) | 一种聚类天牛群优化方法、系统、计算机设备和存储介质 | |
| CN113743474A (zh) | 基于协同半监督卷积神经网络的数字图片分类方法与系统 | |
| CN115309985A (zh) | 推荐算法的公平性评估方法及ai模型选择方法 | |
| CN116503385B (zh) | 基于虚拟全局代理的糖网眼底图像分级方法和设备 | |
| CN114093448A (zh) | 一种疾病风险预测模型的构建方法 | |
| CN117217287A (zh) | 面向分层强化学习的多元子策略生成模型的训练方法 | |
| CN116720260A (zh) | 一种基于迁移学习的船型优化方法 | |
| CN113807005B (zh) | 基于改进fpa-dbn的轴承剩余寿命预测方法 | |
| CN109800850A (zh) | 一种新型的群智能游牧算法 | |
| CN114334168A (zh) | 结合协同学习策略的粒子群混合优化的特征选择算法 | |
| CN117854716B (zh) | 基于hf-gan的心脏病诊断缺失数据填补方法及系统 | |
| US20240311668A1 (en) | Optimizing quantum computing circuit state partitions for simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |