CN112331313B - 一种基于标签编码的糖网影像病变的自动分级方法 - Google Patents

一种基于标签编码的糖网影像病变的自动分级方法 Download PDF

Info

Publication number
CN112331313B
CN112331313B CN202011342147.0A CN202011342147A CN112331313B CN 112331313 B CN112331313 B CN 112331313B CN 202011342147 A CN202011342147 A CN 202011342147A CN 112331313 B CN112331313 B CN 112331313B
Authority
CN
China
Prior art keywords
soft
label
offset
parameter
hard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011342147.0A
Other languages
English (en)
Other versions
CN112331313A (zh
Inventor
邓佳坤
彭真明
朱强
孙晓丽
魏浩然
程晓彬
赵学功
唐普英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011342147.0A priority Critical patent/CN112331313B/zh
Publication of CN112331313A publication Critical patent/CN112331313A/zh
Application granted granted Critical
Publication of CN112331313B publication Critical patent/CN112331313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于标签编码的糖网影像病变的自动分级方法，其中的标签编码技术不仅可用于糖网影像病变分级问题，还可以运用到其他的有序分类问题。本发明首先针对糖网病变的5种病变等级标签进行软编码来控制模型预测概率分布，以解决各标签之间的类依赖问题；再搭建糖网数据集并通过模型训练，可以得到模型参数和参数软标签中的偏移参数；再利用偏移参数计算5种病变等级的软编码可用于迁移学习；最后通过训练所得到的模型可以准确的进行糖网影像病变分级。该方法能够有效的解决糖网病变分级问题中标签之间的依赖，通过该软编码的方法可以灵活的控制模型的标签预测概率分布，提高糖网病变分级的准确性；同时可以建立硬软标签映射进行迁移学习。

Description

一种基于标签编码的糖网影像病变的自动分级方法
技术领域
本发明涉及图像处理及机器视觉应用领域，特别是糖尿病诱发视网膜病变的严重程度评估与智能分级，该发明中的标签编码技术同时也适用于深度学习中的其他有序分类问题。
背景技术
在糖尿病诱发视网膜病变的严重程度分级中，根据国际临床糖尿病视网膜病变(DR)严重程度量表如表一所示，病变级别可以分为正常、轻度、中度、重度、增值型5类如图一所示。该病变的严重程度分类中有一部分属于有序分类问题，各类别之间存在着依赖关系，对于某一个标签，不同的类别预测概率分布起着不一样的作用。例如对于增值型（DR4）眼底照片的不同预测如图二所示，其中包括比较差的预测、较好的预测、很好的预测以及完美的预测。同时对于有序分类问题来说，对于某一个标签，对于与之更近的标签的预测概率应该比与之更远的标签概率更大，例如对于病变中度（DR2）的眼底照片的不同预测如图三所示，其中包括好的预测和不好的预测。而在传统的分类问题种，一般会对标签转换为onehot编码，而该种编码方式在训练过程中不能生成所需要的预测分布，在糖网病变检测若发生错误的预测极其容易误导医生，比如对病变2级进行预测，结果显示4级概率为0.95，其他级别概率趋近于0。Raúl Díaz等人提出了SORD算法，该算法针对有序分类问题，将硬标签转换为了固定的软标签，将该算法运用于糖网分级，对于病变2级可能得到的结果为1级的概率为0.6，2级的概率为0.3，3级的概率为0.1，即使发生错误预测，但依然表示出病变2级的可能。而该算法的缺点在于只能将硬标签转换为固定的软标签分布，不具有泛化能力。不同的数据集，不同的分类任务应该学到不一样的软标签分布；同时，无论容易分辨的病变等级还是不容易区分的病变等级，使用该算法得到的病变等级概率普遍偏低，即使预测正确，结果也显示该概率为0.6左右，对于容易区分的病变等级比如4级，预测应该得到更高的概率。
发明内容
本发明所要解决的技术问题就是提供一种标签编码的方法，将糖网病变的5个等级标签转化为概率分布标签，既软标签。在糖尿病诱发视网膜病变分级中能使得模型学习到应有的类别预测概率分布，即容易区分的病变等级预测结果为较高的概率，不易区分的病变等级预测结果为较为均匀概率分布，更有助于辅助眼科医生进行糖网病变分级。该软标签的分布不仅满足有序分类任务的要求：离当前标签越远的标签的预测概率越低，离当前标签越近的标签的预测概率越高，还能在不同的数据集或不同的分类任务种学到合适的软标签分布。
为了解决上述技术问题，达到上述目的，本发明所采用的技术方案如下所述。
一种基于标签编码的糖网影像病变的自动分级方法，包括如下步骤：
步骤 1：对糖网病变的5种病变等级标签进行参数软编码，得到5种对应的参数软标签，转入步骤2；
步骤2：将糖网图片以及其病变等级经过步骤1处理得到的参数软标签通过模型进行训练，得到训练好的模型，通过该训练好的模型可以对糖网图片病变分级；
上述技术方案中，步骤2还能得到参数软标签中的偏移参数；
步骤 3：利用步骤2得到的参数软标签中的偏移参数进行步骤1中的参数软编码可以得到各硬标签对应的软标签，进而建立硬软标签映射，转入步骤4；
步骤4：对于同类的新糖网数据集，通过步骤3的硬软标签映射可以将同类的新数据集中的标签转化为软标签，与糖网图片通过模型进行训练可以得到新数据集的模型，进而可以对新数据集的糖网图片进行病变分级。
上述技术方案中，所述步骤1包括如下步骤：
步骤1.1：糖网病变5个等级分别为正常、轻度、中度、重度和增值，对应硬标签i分别设为0、1、2、3、4，对任意硬标签i，构建5个偏移参数
Figure 732525DEST_PATH_IMAGE002
，用于给硬标签向量L=[0,1,2,3,4]中的每一元素作偏移，共计25个偏移参数，先利用式（1）将偏移参数的范围转换到（-1，1），得到限制偏移参数
Figure 243141DEST_PATH_IMAGE004
，式（1）如下：
Figure 288457DEST_PATH_IMAGE006
其中，
Figure 886929DEST_PATH_IMAGE008
，表示当前的硬标签值；
Figure 966880DEST_PATH_IMAGE010
，表示当前标签的第j个偏移参数；
Figure 867971DEST_PATH_IMAGE012
为硬标签i对应的5个偏移参数，为训练应该得到的参数；
Figure 400584DEST_PATH_IMAGE014
如步骤1.1中所示；
Figure 802746DEST_PATH_IMAGE016
表示双曲正切函数,任意输入x经过该函数所得到的数都在（-1，1）范围；
步骤1.2：构建偏移量控制参数c，该参数取值范围为[0,0.5），利用式（2）构建硬标签i对应的标签偏移参数向量
Figure 737204DEST_PATH_IMAGE018
，式（2）如下：
Figure 58464DEST_PATH_IMAGE020
其中，
Figure 78373DEST_PATH_IMAGE004
为标签i对应的5个范围为（-1，1）的偏移参数;c为偏移量控制参数，取值范围为[0,0.5）;
Figure 18647DEST_PATH_IMAGE018
中每一个元素通过偏移量控制参数c将偏移参数控制在（-c,c）；
步骤1.3：将标签偏移参数向量
Figure 807611DEST_PATH_IMAGE018
与硬标签向量
Figure 814619DEST_PATH_IMAGE022
相加可以得到偏移硬标签向量
Figure 321824DEST_PATH_IMAGE024
如式（3）所示，式（3）如下：
Figure 800210DEST_PATH_IMAGE026
其中，
Figure 709260DEST_PATH_IMAGE024
表示经过偏移的偏移硬标签向量；L为硬标签向量[0,1,2,3,4]，由糖网病变的5个级别0，1，2，3，4构建；
Figure 372323DEST_PATH_IMAGE018
为标签偏移参数向量，每一个元素的取值范围为（-c,c）,标签偏移参数向量
Figure 570086DEST_PATH_IMAGE018
与L相加来控制L中每一个元素的偏移，当c取0时表示L中的元素未发生偏移，当c取0.5时L中的相邻元素可能会近似相等；
步骤1.4：对于硬标签i，其偏移硬标签向量
Figure 914479DEST_PATH_IMAGE024
中的每一个元素减去第i+1个元素得到硬标签i的类间距离向量
Figure 491085DEST_PATH_IMAGE028
如式（4）所示，式（4）如下：
Figure 528312DEST_PATH_IMAGE030
其中，i的取值为0，1，2，3，4，表示硬标签值；
Figure 541267DEST_PATH_IMAGE024
表示硬标签i对应的偏移硬标签向量；j的取值为1，2，3，4，5，
Figure 627035DEST_PATH_IMAGE032
表示向量
Figure 245098DEST_PATH_IMAGE024
中的第j个元素；
步骤1.5：对于任意硬标签为i的类间距离向量
Figure DEST_PATH_IMAGE033
，可以通过式（5），转换为带参数的软编码向量
Figure DEST_PATH_IMAGE035
，即参数软标签，式（5）如下：
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE039
表示硬标签i的类间距离向量
Figure 92706DEST_PATH_IMAGE033
中的第j个值；
Figure 406007DEST_PATH_IMAGE035
为硬标签i对应的软编码向量，也叫做软标签，其由5个概率值
Figure DEST_PATH_IMAGE041
组成，分别表示标签i的糖网影像照片为标签0，1，2，3，4的概率值，他们的和概率为1；
Figure DEST_PATH_IMAGE043
表示硬标签i所对应软编码向量中得第j个值，由式（5）中
Figure 116037DEST_PATH_IMAGE044
的所得到，该式的分子由
Figure 854186DEST_PATH_IMAGE046
所得到，
Figure 436477DEST_PATH_IMAGE039
越小分子越大，
Figure 689604DEST_PATH_IMAGE039
越大分子越小，无论j为何值，分母都为
Figure 179491DEST_PATH_IMAGE048
；通过该式形成的软编码具有标签处概率值最大，离标签越远概率值越低。
上述技术方案中，所述步骤2包括如下步骤：
步骤2.1：使用糖网图片以及对应的病变等级经过步骤1处理得到的带有可训练参数的参数软标签构建训练数据集；
步骤2.2：将步骤2.1得到的训练数据集通过模型进行训练，根据损失函数继续进行梯度下降和参数更新，可以得到训练完成的模型以及参数软标签中可训练的偏移参数
Figure 444250DEST_PATH_IMAGE012
，式（6）如下：
Figure 994180DEST_PATH_IMAGE050
其中，
Figure 485336DEST_PATH_IMAGE052
表示模型的损失函数，通过更新函数内参数使其到达最小以得到最优模型；
Figure 778914DEST_PATH_IMAGE054
表示输入数据集中的眼底图片集X通过模型所得到的预测值集Y，其中m表示模型中可训练的参数；
Figure 429338DEST_PATH_IMAGE056
表示输入数据集中的硬标签集y通过参数软编码得到的软标签集，其中b表示可训练的偏移参数；
Figure 946907DEST_PATH_IMAGE058
用来衡量模型的预测与真实标签之间的距离，距离越少表示预测越准，由于Y,S中的可训练参数只有m,b，因此该损失函数可表示为
Figure 112309DEST_PATH_IMAGE060
，表示损失函数为m，b的函数，进而通过梯度下降和参数更新可以得到m，b两类参数，即通过训练可与得到模型以及参数软标签中的偏移参数
Figure 881682DEST_PATH_IMAGE012
；
步骤2.3：通过训练得到的模型可以对其他眼底图片进行糖网病变程度进行评估。
上述技术方案中，所述步骤3包括如下步骤：
步骤3.1：使用步骤2.2所得到的偏移参数
Figure 448929DEST_PATH_IMAGE012
，经过步骤1.1中的式（1）和步骤1.2中的式（2）得到硬标签i对应的标签偏移参数向量
Figure 386667DEST_PATH_IMAGE018
;
步骤3.2：使用步骤3.1所得到的标签偏移参数向量
Figure 39366DEST_PATH_IMAGE018
，经过步骤1.3中的式（3）和步骤1.4中的式（4），得到硬标签i的类间距离向量
Figure DEST_PATH_IMAGE061
;
步骤3.3：使用步骤3.2所得到的类间距离向量
Figure 205905DEST_PATH_IMAGE033
，经过步骤1.5中的式（5）,得到硬标签i的软编码
Figure 362080DEST_PATH_IMAGE035
,进而建立硬软标签映射。
上述技术方案中，所述步骤4包括如下步骤：
步骤4.1：对新数据集中的眼底图像标签可以直接通过步骤3.3的硬软便签映射转化为软标签，进而搭建模型，将输入眼底图片以及对应的软标签通过模型进行训练，得到适应于新数据集的模型；
步骤4.2：通过步骤4.1的模型可以对新数据中的验证眼底照片进行预测，即糖网病变分级。
因为本发明采用上述技术方案，因此具备以下有益效果：
1.在糖网病变分级中，采用该标签编码方法对标签进行处理，可以在训练过程中使得深度模型学到应有的预测概率分布，即容易分辨的病变级别会得到准确的预测，不易分辨的病变级别会给出当前级别以及周围级别的概率，便于辅助眼科医生进行医疗诊断。
2. 对于所得到的软硬标签映射对，在同类型的数据集中可以进行迁移学习，从而省略了重新训练偏移参数的时间。
3.同时该标签编码方法具有很强的泛化能力，适用于各种有序分类问题，比如风景图质量检测，道路质量评估，影视质量等，不同数据集能学到适应的软标签，在各种有序分类问题中都能取得更为准确的预测。
4.该标签编码方法针对的是5分类的糖网病变分级问题，针对参数稍微修改，还能适用其他的多分类问题。
附图说明
图1为糖尿病视网膜（DR）病变5种病变等级的眼底图片；
图2为增值型病变眼底图片的可能发生的类别预测概率分布图和完美的预测概率分布图,其中（a）为不好的预测，（b）为较好的预测，（c）为最好的预测，（d）为完美的预测；
图3为中度病变眼底图片坏的类别预测概率分布与好的类别预测概率分布图,其中（a）为坏的类别预测概率分布图，（b）为好的类别预测概率分布图；
图4为整个算法设计方案流程。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
本发明所要解决的技术问题就是提供一种标签编码的方法，在糖尿病诱发视网膜病变分级中能使得深度模型学习到应有的类别预测概率分布，以提高分级的准确度和有效性。整个算法设计方案流程如图4所示，包括步骤：
步骤1.1：糖网病变5个等级分别为正常、轻度、中度、重度和增值，对应硬标签i分别设为0、1、2、3、4。对任意硬标签i，构建5个偏移参数
Figure 362397DEST_PATH_IMAGE062
，用于给硬标签向量L=[0,1,2,3,4]中的每一元素作偏移，共计25个偏移参数，该偏移参数不做范围限制，通过网络模型训练可以得到具体的值。先利用式（1）将偏移参数的范围转换到（-1，1），得到限制偏移参数
Figure DEST_PATH_IMAGE063
，式（1）如下：
Figure DEST_PATH_IMAGE065
其中，
Figure 784282DEST_PATH_IMAGE008
，表示当前的硬标签值；
Figure 223353DEST_PATH_IMAGE066
，表示当前标签的第j个偏移参数；
Figure 561931DEST_PATH_IMAGE012
为硬标签i对应的5个偏移参数，为训练应该得到的参数；
Figure 795466DEST_PATH_IMAGE014
如步骤1.1中所示；
Figure 94860DEST_PATH_IMAGE068
表示双曲正切函数,任意输入x经过该函数所得到的数都在（-1，1）范围内。
步骤1.2：构建偏移量控制参数c，该参数取值范围为[0,0.5），利用式（2）构建硬标签i对应的标签偏移参数向量
Figure 72044DEST_PATH_IMAGE018
，式（2）如下：
Figure 779974DEST_PATH_IMAGE020
其中，
Figure 122094DEST_PATH_IMAGE024
表示经过偏移的偏移硬标签向量；L为硬标签向量[0,1,2,3,4]，由糖网病变的5个级别0，1，2，3，4构建；
Figure 971101DEST_PATH_IMAGE018
为标签偏移参数向量，每一个元素的取值范围为（-c,c）,标签偏移参数向量
Figure 548713DEST_PATH_IMAGE018
与L相加来控制L中每一个元素的偏移，当c取0时表示L中的元素未发生偏移，当c取0.5时L中的相邻元素可能会近似相等。本示例中取c=0.2；
步骤1.3：将标签偏移参数向量
Figure 799566DEST_PATH_IMAGE018
与硬标签向量
Figure 312587DEST_PATH_IMAGE022
相加可以得到偏移硬标签向量LO如式（3）所示，式（3）如下：
Figure 648890DEST_PATH_IMAGE026
其中，
Figure 46505DEST_PATH_IMAGE024
表示经过偏移的偏移硬标签向量；L为硬标签向量[0,1,2,3,4]，由糖网病变的5个级别0，1，2，3，4构建；
Figure 89547DEST_PATH_IMAGE018
为标签偏移参数向量，每一个元素的取值范围为（-c,c）,与L相加来控制L中每一个元素的偏移，当c取0时表示L中的元素未发生偏移，当c取0.5时L中的相邻元素可能会近似相等，建议取值0.2；
步骤1.4：对于硬标签i，其偏移硬标签向量
Figure 835786DEST_PATH_IMAGE024
中的每一个元素减去第i+1个元素得到硬标签i的类间距离向量
Figure 456123DEST_PATH_IMAGE028
如式（4）所示，式（4）如下：
Figure DEST_PATH_IMAGE069
其中，i的取值为0，1，2，3，4，表示硬标签值；
Figure 93647DEST_PATH_IMAGE070
表示硬标签i对应的偏移硬标签向量；j的取值为1，2，3，4，5，
Figure DEST_PATH_IMAGE071
表示向量
Figure 381409DEST_PATH_IMAGE070
中的第j个元素；例如若取c=0，i=2,则
Figure DEST_PATH_IMAGE073
,
Figure DEST_PATH_IMAGE075
[-2,-1,0,1,2],该式表示，标签0，1，2，3，4离标签2的距离分别为-2，-1，0，1，2；
步骤1.5：对于任意硬标签为i的类间距离向量
Figure DEST_PATH_IMAGE076
，可以通过式（5），转换为带参数的软编码向量
Figure DEST_PATH_IMAGE077
，式（5）如下：
Figure DEST_PATH_IMAGE079
其中，
Figure 580440DEST_PATH_IMAGE039
表示硬标签i的类间距离向量
Figure 953653DEST_PATH_IMAGE061
中的第j个值；
Figure 614441DEST_PATH_IMAGE077
为硬标签i对应的软编码向量，也叫做软标签，其由5个概率值
Figure DEST_PATH_IMAGE080
组成，分别表示标签i的糖网影像照片为标签0，1，2，3，4的概率值，他们的和概率为1；
Figure DEST_PATH_IMAGE082
表示硬标签i所对应软编码向量中得第j个值，由式（5）中
Figure 215099DEST_PATH_IMAGE044
的所得到，该式的分子由
Figure DEST_PATH_IMAGE083
所得到，
Figure 771982DEST_PATH_IMAGE039
越小分子越大，
Figure 632491DEST_PATH_IMAGE039
越大分子越小，无论j为何值，分母都为
Figure 96970DEST_PATH_IMAGE048
；通过该式形成的软编码具有标签处概率值最大，离标签越远概率值越低。
步骤2.1：使用糖网图片以及对应的病变等级经过步骤1处理得到的带有可训练参数的参数软标签构建训练数据集；
本示例种，使用了35000张糖网图片作为训练集，该糖网图片来自世界各地，对每一个标签经过步骤1处理，然后构建训练数据集。
步骤2.2：将步骤2.1得到的训练数据集通过模型进行训练，可以得到模型参数和参数软标签中的偏移参数
Figure 703532DEST_PATH_IMAGE012
。
本示例中，简单搭建网络，并对网络模型进行相关的优化配置，其中损失函数使用交叉损失熵函数。然后将步骤2.1构建的训练数据集输入模型进行训练可以得到模型参数和参数软标签中的偏移参数
Figure 228054DEST_PATH_IMAGE012
。
步骤2.3：通过训练得到的模型可以对其他眼底图片进行糖网病变程度进行评估。
步骤3.1：使用步骤2.2所得到的偏移参数
Figure 61012DEST_PATH_IMAGE012
，经过步骤1.1中的式（1）和步骤1.2中的式（2）得到硬标签i对应的标签偏移参数向量
Figure 63603DEST_PATH_IMAGE018
。
步骤3.2：使用步骤3.1所得到的标签偏移参数向量
Figure 790251DEST_PATH_IMAGE018
，经过步骤1.3中的式（3）和步骤1.4中的式（4），得到硬标签i的类间距离向量
Figure 547991DEST_PATH_IMAGE033
。
步骤3.3：使用步骤3.2所得到的类间距离向量
Figure 101201DEST_PATH_IMAGE033
，经过步骤1.5中的式（5）,得到硬标签i的软编码
Figure 907483DEST_PATH_IMAGE035
,进而建立硬软标签映射。
本示例中建立的硬软标签映射为标签0为[0.7,0.3,0,0,0],标签1为[0.3,0.7,0,0,0],标签2为[0,0,0.7,0.3,0],标签3为[0,0,0.3,0.6,0.1]，标签4为[0,0,0,0.1,0.9]。
步骤4.1：对新数据集中的眼底图像标签可以直接通过步骤3.3的硬软便签映射转化为软标签，进而搭建模型，将输入眼底图片以及对应的软标签通过模型进行训练，得到适应于新数据集的模型；
本示例中，新的数据集来自印度一个5000张左右的数据集。由于硬软标签已经建立了映射，能够表示不同标签之间的关系。因而直接使用步骤3.3中的映射对该数据集进行软标签转换，进而训练新的模型。
步骤4.2：通过步骤4.1的模型可以对新数据中的验证眼底照片进行预测，即糖网病变分级。

Claims (3)

1.一种基于标签编码的糖网影像病变的自动分级方法，其特征在于，包括如下步骤：
步骤 1：对糖网病变的5种病变等级标签进行参数软编码，得到5种对应的参数软标签，转入步骤2；
步骤2：将糖网图片以及其病变等级经过步骤1处理得到的参数软标签通过模型进行训练，得到训练好的模型，通过该训练好的模型对糖网图片病变分级；步骤2还能得到参数软标签中的偏移参数；
步骤 3：利用步骤2得到的参数软标签中的偏移参数进行步骤1中的参数软编码得到各硬标签对应的软标签，进而建立硬软标签映射，转入步骤4；
步骤4：对于同类的新糖网数据集，通过步骤3的硬软标签映射将同类的新数据集中的标签转化为软标签，与糖网图片通过模型进行训练得到新数据集的模型，进而对新数据集的糖网图片进行病变分级；所述步骤1包括如下步骤：
步骤1.1：糖网病变5个等级分别为正常、轻度、中度、重度和增值，对应硬标签i分别设为0、1、2、3、4，对任意硬标签i，构建5个偏移参数
Figure DEST_PATH_IMAGE001
，用于给硬标签向量L=[0,1,2,3,4]中的每一元素作偏移，共计25个偏移参数，先利用式（1）将偏移参数的范围转换到（-1，1），得到限制偏移参数
Figure 667438DEST_PATH_IMAGE002
，式（1）如下：
Figure DEST_PATH_IMAGE003
其中，
Figure 933335DEST_PATH_IMAGE004
，表示当前的硬标签值；
Figure DEST_PATH_IMAGE005
，表示当前标签的第j个偏移参数；
Figure 338908DEST_PATH_IMAGE006
为硬标签i对应的5个偏移参数，为训练应该得到的参数；
Figure DEST_PATH_IMAGE007
如步骤1.1中所示；
Figure 591029DEST_PATH_IMAGE008
表示双曲正切函数,任意输入x经过该函数所得到的数都在（-1，1）范围；
步骤1.2：构建偏移量控制参数c，该参数取值范围为[0,0.5），利用式（2）构建硬标签i对应的标签偏移参数向量
Figure DEST_PATH_IMAGE009
，式（2）如下：
Figure 195186DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为标签i对应的5个范围为（-1，1）的偏移参数;c为偏移量控制参数，取值范围为[0,0.5）;
Figure 631983DEST_PATH_IMAGE009
中每一个元素通过偏移量控制参数c,将偏移参数控制在（-c,c）；
步骤1.3：将标签偏移参数向量
Figure 311138DEST_PATH_IMAGE009
与硬标签向量
Figure 288322DEST_PATH_IMAGE012
相加得到偏移硬标签向量
Figure DEST_PATH_IMAGE013
如式（3）所示，式（3）如下：
Figure 950247DEST_PATH_IMAGE014
其中，
Figure 354684DEST_PATH_IMAGE013
表示经过偏移的偏移硬标签向量；L为硬标签向量[0,1,2,3,4]，由糖网病变的5个级别0，1，2，3，4构建；
Figure 141374DEST_PATH_IMAGE009
为标签偏移参数向量，每一个元素的取值范围为（-c,c）,标签偏移参数向量
Figure 656669DEST_PATH_IMAGE009
与L相加来控制L中每一个元素的偏移，当c取0时表示L中的元素未发生偏移，当c取0.5时L中的相邻元素可能会近似相等；
步骤1.4：对于硬标签i，其偏移硬标签向量
Figure 720571DEST_PATH_IMAGE013
中的每一个元素减去第i+1个元素得到硬标签i的类间距离向量
Figure DEST_PATH_IMAGE015
如式（4）所示，式（4）如下：
Figure 499171DEST_PATH_IMAGE016
其中，i的取值为0，1，2，3，4，表示硬标签值；
Figure 835475DEST_PATH_IMAGE013
表示硬标签i对应的偏移硬标签向量；j的取值为1，2，3，4，5，
Figure DEST_PATH_IMAGE017
表示向量
Figure 793941DEST_PATH_IMAGE013
中的第j个元素；
步骤1.5：对于任意硬标签为i的类间距离向量
Figure 836984DEST_PATH_IMAGE018
，通过式（5），转换为带参数的软编码向量
Figure DEST_PATH_IMAGE019
，即参数软标签，式（5）如下：
Figure 911119DEST_PATH_IMAGE020
其中，
Figure 469139DEST_PATH_IMAGE021
表示硬标签i的类间距离向量
Figure 529499DEST_PATH_IMAGE018
中的第j个值；
Figure 567993DEST_PATH_IMAGE019
为硬标签i对应的软编码向量，也叫做软标签，其由5个概率值
Figure 485134DEST_PATH_IMAGE022
组成，分别表示标签i的糖网影像照片为标签0，1，2，3，4的概率值，他们的和概率为1；
Figure 733712DEST_PATH_IMAGE023
表示硬标签i所对应软编码向量中的第j个值，由式（5）中
Figure 394501DEST_PATH_IMAGE024
所得到，该式的分子由
Figure 271190DEST_PATH_IMAGE025
所得到，
Figure 624811DEST_PATH_IMAGE021
越小分子越大，
Figure 95107DEST_PATH_IMAGE021
越大分子越小，无论j为何值，分母都为
Figure 559586DEST_PATH_IMAGE026
；通过该式形成的软编码具有标签处概率值最大，离标签越远概率值越低；所述步骤2包括如下步骤：
步骤2.1：使用糖网图片以及对应的病变等级经过步骤1处理得到的带有可训练参数的参数软标签构建训练数据集；
步骤2.2：将步骤2.1得到的训练数据集通过模型进行训练，根据损失函数继续进行梯度下降和参数更新，得到训练完成的模型以及参数软标签中可训练的偏移参数
Figure 540049DEST_PATH_IMAGE006
，式（6）如下：
Figure 64571DEST_PATH_IMAGE027
其中，
Figure 22163DEST_PATH_IMAGE028
表示模型的损失函数，通过更新函数内参数使其到达最小以得到最优模型；
Figure 24754DEST_PATH_IMAGE029
表示输入数据集中的眼底图片集X通过模型所得到的预测值集Y，其中m表示模型中可训练的参数；
Figure 876036DEST_PATH_IMAGE030
表示输入数据集中的硬标签集y通过参数软编码得到的软标签集，其中b表示可训练的偏移参数；
Figure 571459DEST_PATH_IMAGE031
用来衡量模型的预测与真实标签之间的距离，距离越少表示预测越准，由于Y,S中的可训练参数只有m,b，因此该损失函数可表示为
Figure 750768DEST_PATH_IMAGE032
，表示损失函数为m，b的函数，进而通过梯度下降和参数更新得到m，b两类参数，即通过训练得到模型以及参数软标签中的偏移参数
Figure 557050DEST_PATH_IMAGE006
；
步骤2.3：通过训练得到的模型对其他眼底图片进行糖网病变程度进行评估。
2.根据权利要求1所述的基于标签编码的糖网影像病变的自动分级方法，其特征在于：所述步骤3包括如下步骤：
步骤3.1：使用步骤2.2所得到的偏移参数
Figure 279149DEST_PATH_IMAGE006
，经过步骤1.1中的式（1）和步骤1.2中的式（2）得到硬标签i对应的标签偏移参数向量
Figure 879895DEST_PATH_IMAGE009
;
步骤3.2：使用步骤3.1所得到的标签偏移参数向量
Figure 812079DEST_PATH_IMAGE009
，经过步骤1.3中的式（3）和步骤1.4中的式（4），得到硬标签i的类间距离向量
Figure 156472DEST_PATH_IMAGE018
;
步骤3.3：使用步骤3.2所得到的类间距离向量
Figure 982346DEST_PATH_IMAGE018
，经过步骤1.5中的式（5）,得到硬标签i的软编码
Figure 753993DEST_PATH_IMAGE019
,进而建立硬软标签映射。
3.根据权利要求2所述的基于标签编码的糖网影像病变的自动分级方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：对新数据集中的眼底图像标签直接通过步骤3.3的硬软便签映射转化为软标签，进而搭建模型，将输入眼底图片以及对应的软标签通过模型进行训练，得到适应于新数据集的模型；
步骤4.2：通过步骤4.1的模型对新数据中的验证眼底照片进行预测，即糖网病变分级。
CN202011342147.0A 2020-11-25 2020-11-25 一种基于标签编码的糖网影像病变的自动分级方法 Active CN112331313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011342147.0A CN112331313B (zh) 2020-11-25 2020-11-25 一种基于标签编码的糖网影像病变的自动分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011342147.0A CN112331313B (zh) 2020-11-25 2020-11-25 一种基于标签编码的糖网影像病变的自动分级方法

Publications (2)

Publication Number Publication Date
CN112331313A CN112331313A (zh) 2021-02-05
CN112331313B true CN112331313B (zh) 2022-07-01

Family

ID=74309703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011342147.0A Active CN112331313B (zh) 2020-11-25 2020-11-25 一种基于标签编码的糖网影像病变的自动分级方法

Country Status (1)

Country Link
CN (1) CN112331313B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN109472781A (zh) * 2018-10-29 2019-03-15 电子科技大学 一种基于串行结构分割的糖尿病视网膜病变检测系统
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN110929775A (zh) * 2019-11-18 2020-03-27 南通大学 一种用于视网膜病变分类的卷积神经网络权值优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380647B2 (en) * 2009-08-14 2013-02-19 Xerox Corporation Training a classifier by dimension-wise embedding of training data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法
CN109472781A (zh) * 2018-10-29 2019-03-15 电子科技大学 一种基于串行结构分割的糖尿病视网膜病变检测系统
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN110929775A (zh) * 2019-11-18 2020-03-27 南通大学 一种用于视网膜病变分类的卷积神经网络权值优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs;V Gulshan等;《JAMA The Journal of the American Medical Association》;20161130;第2402-2410页 *
深度学习在医学图像辅助诊断中的应用研究;曹占涛;《中国博士学位论文全文数据库 (医药卫生科技辑)》;20200715;第E060-1页 *
眼科人工智能的算法新进展;戈宗元等;《山东大学学报(医学版)》;20201023;第17-21页 *

Also Published As

Publication number Publication date
CN112331313A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
Postels et al. On the practicality of deterministic epistemic uncertainty
Choudhuri et al. Distribution alignment using complement entropy objective and adaptive consensus-based label refinement for partial domain adaptation
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN111723780A (zh) 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN114419323B (zh) 基于跨模态学习与领域自适应rgbd图像语义分割方法
CN108960270A (zh) 一种基于流形迁移学习的数据标定方法及系统
CN110910319A (zh) 一种基于大气散射模型的手术视频实时去雾增强方法
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
CN114037011A (zh) 一种中医舌色噪声标注样本的自动识别与清洗方法
CN116229170A (zh) 基于任务迁移的联邦无监督图像分类模型训练方法、分类方法及设备
CN114137967B (zh) 基于多网络联合学习的驾驶行为决策方法
CN113780365B (zh) 样本生成方法和装置
CN116994295B (zh) 基于灰度样本自适应选择门的野生动物类别识别方法
CN112331313B (zh) 一种基于标签编码的糖网影像病变的自动分级方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
CN112967227A (zh) 基于病灶感知建模的糖尿病视网膜病变自动评估系统
CN117115567A (zh) 基于特征调整的域泛化图像分类方法、系统、终端及介质
CN115331007A (zh) 基于无监督领域自适应的视盘视杯分割方法及其成像方法
CN112785559B (zh) 基于深度学习的多个异构模型相互组合的骨龄预测方法
Almero et al. Particle Swarm Optimization-based Dark Channel Prior Parameters Selection for Single Underwater Image Dehazing
CN114170214A (zh) 基于眼底图像的高度近视检测方法及相关装置
CN114049303A (zh) 一种基于多粒度特征融合的渐进式骨龄评估方法
CN113657382B (zh) 一种目标检测任务中最佳检测模型的选取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant