CN116129185A - 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法 - Google Patents

一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法 Download PDF

Info

Publication number
CN116129185A
CN116129185A CN202310068918.9A CN202310068918A CN116129185A CN 116129185 A CN116129185 A CN 116129185A CN 202310068918 A CN202310068918 A CN 202310068918A CN 116129185 A CN116129185 A CN 116129185A
Authority
CN
China
Prior art keywords
sample
model
confidence
classification
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310068918.9A
Other languages
English (en)
Inventor
李晓光
房振亚
卓力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202310068918.9A priority Critical patent/CN116129185A/zh
Publication of CN116129185A publication Critical patent/CN116129185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法属于图像分类方法。该方法结合了集成学习、置信学习、数据指导网络参数更新、软标签等先进模糊分类思想，首先通过教师委员会模型对含噪数据样本进行迭代投票筛选，筛选出高、低置信度样本；再利用高置信度样本指导训练的网络模型，同时预测低置信度样本，形成网络参数指导数据更新的更新模式，最后对模糊不确定性样本给予软标签并优化分类标准。本发明可以有效地提高舌象腐腻模糊分类的准确性。

Description

一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法
技术领域
本发明属于图像分类方法，特别涉及一种基于数据和模型协同更新的中医舌图像腐腻特征模糊分类方法。
背景技术
舌象特征可反映人体脏腑气血发生的虚、实、寒、热、等证候变化。中医舌诊通过观察舌象中舌色和舌苔等特征来了解人体生理功能和病理变化，是中医“四诊”的主要诊察手段，也是应用广泛、最具临床价值的诊法之一。然而，传统舌诊具有主观性强、特征分类模糊和不确定性等问题，阻碍了中医舌诊的传承和发展。舌象特征的客观化、定量化分析是中医舌诊现代化发展的重要路径。舌象自动分析利用计算机和信息技术提取舌象的诊察特征，获得与人体生理功能和病理变化相关的舌象指标。因此，舌象特征的自动提取与分析在舌诊现代化中具有重要意义。
深度学习技术的发展和普及在图像分类、识别、语音识别、自动翻译等领域带来了显著的性能提升，很多计算机视觉以及语音识别技术已经走向了实用。这为中医舌象特征分析提供了新的契机。
在舌象分析中，中医舌象诊察特征主要包括苔色、舌色和舌苔腐腻等特征。舌苔的质地主要指舌苔颗粒度的大小和疏密度的变化。在临床实践中，腐和腻类别界限不明显，易混淆，分类结果存在不确定性。本发明主要针对舌苔的腐腻特征自动分类问题开展研究。
在舌象腐腻特征分类当中，舌象标签标注环节是容易引入噪声的环节。其可能存在的标注问题包括：(1)从舌象本身特征角度分析：舌象特征存在连续性、类别模糊性。舌苔从正常到腐或腻之间的变化是连续的，难以确定显著的分类界限，类别边缘样本的标签存在较大不确定性；(2)从医生或标注者的角度分析。标注流程缺乏标注规范，不同的标注过程可能引入标注噪声。有些医生对照病人直接记录舌象标签，有些则先采集舌图像，然后再进行回顾性舌象特征标注。观察环境差异可能引入舌象特征标注的偏差或错误；以上原因会导致标注数据集中舌苔腐腻标签会混入不确定性标签以及错误标签。不确定的标签就会对后续的模型训练造成不小的影响，大大降低分类精度。
本发明提出了一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法，设计了一种针对不确定含噪样本进行模糊分类的有效方法，该方法结合了集成学习、置信学习、数据指导网络参数更新、软标签等先进模糊分类思想，首先通过教师委员会模型对含噪数据样本进行迭代投票筛选，筛选出高、低置信度样本；再利用高置信度样本指导训练的网络模型，同时预测低置信度样本，形成网络参数指导数据更新的更新模式，最后对模糊不确定性样本给予软标签并优化分类标准。本发明可以有效地提高舌象腐腻模糊分类的准确性。
发明内容
本发明的目的在于解决舌象腐腻特征分类时，由于舌象特征连续性强、不确定高造成的噪声样本对分类模型精度的影响问题。对于医生标注而言，首先舌象特征存在连续性、类别模糊性。舌苔从正常到腐或腻之间的变化是连续的，难以确定显著的分类界限，类别边缘样本的标签存在较大不确定性，按照明确分类标注，同一医生在不同时间可能标注不一致；其次标签含有噪声。缺乏标注规范，不同的标注过程可能引入标注噪声。有些医生对照病人直接记录舌象标签，有些则先采集舌图像，然后再进行回顾性舌象特征标注。观察环境差异可能引入舌象特征标注的偏差或错误；不同医生经验不同，造成标注结果含噪声。不确定含噪标签的存在极大影响了模型的鲁棒性以及分类精度。针对以上问题，提出一种基于数据和模型协同更新的中医舌象特征模糊分类方法，该方法通过结合教师教员会模型优化的置信学习、样本数据调优网络参数、软、伪标签解决不确定性样本三大模块，逐步解决中医舌象腐腻特征分类当中的数据含噪问题。
本发明是采用以下技术手段实现的：
一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法，根据标签置信度估计模块、样本数据和网络参数迭代更新模块以及软标签模块相互结合实现。该方法的整体网络框架如附图1所示，该方法分为两个部分：基于标签置信度估计的含噪样本筛选模块以及基于样本概率分布的网络模型迭代更新机制模块。以下是对上述两部分的详细介绍。
首先是基于标签置信度估计的含噪样本筛选模块。该模块主要采用教师委员会模型投票与网络预测概率相结合的方式对样本标签置信度进行估计，将原始含噪的舌象样本分为高置信度样本与低置信度样本。该模块分为两个阶段，中医舌象含噪样本的粗筛选阶段和低置信度样本的细筛选阶段，具体步骤如下：
1)中医舌象含噪样本的粗筛选：
第一步：通过混合图片数据以及旋转、平移等的操作对原始舌象训练样本进行数据增强，解决舌象样本中存在的数据不均衡问题；
第二步：由准确标注的样本库对教师委员会中的3个分类网络进行初始训练；
第三步：通过教师委员会模型对含噪标签训练数据进行标签置信度估计。教师委员会投票模型如附图2所示，采用高置信度标注的训练样本对教师委员会模型进行模型训练，3个网络分别用相同的训练集训练100轮，分别得到分类性能达到90％以上的网络模型预测性能，此时，教师委员会模型中的3个网络分别具有高置信度，且用于下一步的投票评估。
第四步：根据标签置信度估计结果，对训练样本进行分类。具体分类结果为：高置信度样本与低置信度样本。分类的依据：为了实现更可靠的提取特征能力，选择3个不同的典型分类网络组成教师委员会，通过对含噪训练集进行统一预测，预测分类机制如公式(1)所示。
Figure BDA0004063307250000031
其中，a代表样本类别，k为预测结果一致的模型数量，K为总模型数量，t为多模型预测标签，T为原始标签，Th1为设定阈值0.5。将样本的标签按照阈值分类，若一致预测的分类器比例大于Th1，且预测标签与原标签相同的样本，分为高置信度标签样本类别，表明样本标签可靠性高，作为下一轮的训练样本；若一致预测的分类器比例大于Th1，但预测标签与原本标签类别不一致的样本，或者所有模型全部预测不一致的样本，均为疑似标签存在错误或不确定性样本，归分为低置信度标签样本类别。
2)中医舌象低置信度样本的细筛选：
第一步：选取ShuffleNetV2网络结构作为第二阶段的基础模型；
第二步：将上一阶段的高置信度样本作为新的训练样本，训练ShuffleNetV2网络模型，利用高置信度样本将网络模型训练至稳定且分类精度达到90％以上的水平，即认为该网络模型为指导第二阶段的预测分类模型；
第三步：高置信度网络模型预测低置信度样本进行细致分类。高置信度样本训练出的网络模型具有对于舌象不确定性含噪样本的高置信度，将模型用于低置信度样本的预测具有可靠性。根据模型预测的输出概率将低置信度样本划分为不确定性样本与伪错误性样本。预测分类机制如公式2所示：
Figure BDA0004063307250000041
其中，r代表低置信度样本当中的具体分类样本类别，例如腐苔、腻苔或非腐腻苔，T为原始标签，p为单个样本经过高置信度模型预测后的最大输出概率，Th2、Th3为设定阈值。r1、r2分别代表不确定性样本和伪错误样本。由于高置信度预测模型由教师委员会模型选出的高置信度样本训练而成，所以预测结果与教师委员会投票结果均一致，故可以将低置信度样本的类别按照阈值分为两类，若样本的最大预测概率处于Th3-1之间，且预测结果与教师委员会多模型预测结果t一致,则将低置信度样本赋予r2类别的伪标签加入高置信度样本之中；若样本的最大预测概率处于Th2-Th3之间，则将这类样本归为r1类别，目的是解决该类样本的模糊性和不确定性。
第二是基于样本概率分布的网络模型迭代更新模块。更新机制的示意框图如附图3所示。针对含噪数据集的训练过程采取了数据模型和数据标签协同更新的机制。在训练过程中，在对低置信度样本更新标签同时优化网络参数，做到降低数据样本噪声的同时使得网络模型的性能也逐步提升。
首先对于该模块采用的网络结构进行详细介绍：如附图4所示，模块采用ShuffleNetV2网络结构，采用“平衡”卷积，使输入输出的通道宽度的比值为1；将分组卷积优化到了最佳，并没有一味的增加分组的数量；同时，该网络降低了模型的碎片化程度并减少网络中元素含量，一定程度上提高了网络结构的计算能力与效率。
其次，介绍网络模型和数据标签协同更新模块的损失函数：损失函数由两部分组成：分类损失和交叉熵损失。
由于KL散度具有非对称性，选择KL散度作为含噪数据集的概率估计更新机制的损失函数，如公式(3)所示。
Figure BDA0004063307250000042
公式(3)作为基于样本概率分布的网络模型协同更新模块的分类损失函数(Lc)。在分类问题中，训练集X＝{x1,x2，…,xn}，代表有n个元素。对于每个舌象样本xi，标签分布表示了标签在[0,1]之间的概率变化，是对xi的无噪声标签的估计。
Figure BDA0004063307250000053
为网络预测第i个图像赋予的软标签，f(xi；θ)为网络预测的标签分布，f是模型由softmax函数处理后的预测结果，θ是网络模型参数包括ShuffleNetV2网络结构中批量计算时输入的尺寸大小、深度卷积核的大小、特征传递单元循环次数以及网络模型的大小。其表现了图像xi和网络参数之间的关系，利用网络模型参数的更新，原始的硬标签被以概率形式的软标签所替代，分布体现了该标签的对应的预测概率值。
其次，当f(xi；θ)标签分布yd相同,模型网络将停止更新，然而,因为标签分布被用作学习网络参数θ的监督信号，所以f(xi；θ)趋向于较快地接近yd而导致训练速度过快，即软标签还未更新，网络参数却已更新。因此，需要添加一个额外的熵损失Le来避免上述问题。熵损失定义为公式(4)：
Figure BDA0004063307250000051
其中n、i含义与公式(3)相同，j代表m种分类问题的一个计数标志，fj(x；θ)是第j类中的图像和网络参数的预测分布。公式(4)的设置可以防止协同更新在训练过程中停滞，因为样本标签的分布不会趋于某一个硬标签。
综上所述，在基于样本概率分布的网络模型协同更新模块的总体损失设置为公式(5)：
Figure BDA0004063307250000052
其中Lc为公式(3)含义，Le为公式(4)含义。
损失函数设置完成后，使用预测分布与软标签之间的KL散度对偶式来度量分类损失并将包含噪声的标签替换成随着训练过程不断更新的软标签。当预测分布不再发生变化，说明此时标签和网络参数都已更新完毕，网络模型和数据标签更新机制的细节阐述如下：
第一步，首先将高置信度模型作为初始训练模型，高置信度模型筛选出的不确定性样本作为输入。
第二步：设置高置信度网络模型结构参数。初始网络模型输入图片大小为224×224，网络结构采用分支网络，左边通过一个3×3的深度可分离卷积，步长为2，经过BN层，接下来通过1×1卷积，之后经过BN层以及ReLU激活函数；右边通过一个1×1卷积，之后经过BN层以及ReLU激活函数，再经过3×3的深度可分离卷积，步长为1，之后经过BN；最后经过1x1卷积，之后经过BN层和ReLU激活函数。经过卷积完之后进行堆叠操作和channelshuffle。特征输出尺寸经过一个1×1卷积由输入时的224×224变为112×112，网络模型含有4个特征图发生变化的stage，最终，特征输出尺寸为7×7。
第三步，根据上述的网络结构和分类损失以及交叉熵损失函数的设置，规定了网络结构反向传播赋予软标签的功能，公式(3)可以将噪声样本的错误标签通过样本概率分布形式赋予软标签，即网络模型可根据样本的softmax结果给出每个样本的每种分类的概率，其中第一大概率作为样本的硬标签，由于整个样本是不确定性样本，故根据模型预测概率中的第二大概率赋予软标签，此时该不确定性样本被网络模型根据预测概率值赋予了两个标签，将被赋予软标签的样本重新加入到训练集当中，用于下一轮训练。
第四步，在不确定性样本对高置信度网络模型训练中，规定每10轮模型网络参数进行一次更新，主要更新的是ShuffleNetV2网络结构中的特征单元传递循环次数，具体的变化为当网络模型赋予样本中软标签增加时，特征单元传递循环次数增加。网络模型参数每更新1次，特征单元传递循环次数加1，直至训练结束。
本发明与现有技术相比，具有以下明显的优势和有益效果：
首先，采用三个网络模型作为教师委员会模型集成预测训练样本，根据预测结果一致性对样本进行不同置信度分类；将预测结果和原始标签一致的作为高置信度样本；其次应用高置信度样本训练轻量化网络ShuffleNetV2，该网络作为高置信度模型对含噪样本进行分类筛选；最后，将高置信度模型筛选出的错误样本进行伪标签的修正以及不确定样本的软标签的赋予，从而实现舌象腐腻样本的分类。以北京宣武中医院专业医生标注的中医舌象数据集为基础，实验结果表明，所提出的方法在过滤舌象腐腻样本噪声标签上能取得较好的效果，显著提升了舌象腐腻特征中不确定性样本类别存在较多的腻苔类别的分类精度。
本发明的特点：
1.提出一种数据和模型协同更新的中医舌象腐腻特征分类方法。针对模糊、含噪标注样本分类问题，该方法包括标签置信度估计与筛选、分类模型训练、分类网络与数据标注协同更新3部分构成，以及优化测试的评价方式。
2.对含噪样本进行由粗到细的两阶段筛选策略。该策略第一阶段采用异质多模型构
成教师委员会，利用集成学习对样本标注进行置信度估计，筛选高置信度样本作
为模型训练集；第二阶段利用高置信度训练集更细的网络模型对含噪数据集中不确定性样本进行筛选。
3.基于标注置信度的网络更新机制。首先，利用高置信度样本集训练轻量化分类模型；通过分类模型对不确定性样本赋予软标签。通过概率软标签表达样本的标注不确定性。
下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。
附图说明：
图1、发明方法网络结构；
图2、教师委员会投票机制示意图
图3、数据标签和网络模型协同更新方法示意图；
图4、腐腻特征分类网络结构；
具体实施方式：
以下结合说明书附图，对本发明的实施实例加以详细说明：
(1)从医院现场采集的舌图像分辨率为5184×3456,舌图像分辨率太大，不能直接作为训练数据集，并且为了减少所采集的舌图像中存在的无关信息对舌图像腐腻特征分类造成干扰，主要通过对舌苔中纹理和颜色进行分析，将舌苔分为非腐腻，腻，腐3类。每幅舌图像中舌体部分包含舌边缘和舌体中心，舌边缘一般决定舌色分类，腐腻特征块通常分布在舌体中心，有部分分布在舌体表面其他区域，为保证医生标定的单幅舌图像标签和腐腻类别标签相对应，保持数据一致性，实验中通过取每幅舌图像的腐腻特征代表块作为初始图像块。
(2)训练的具体实现步骤如下：
1)对中医舌象样本中数量少，样本不均衡的问题，利用数据增强的方式对较少量的样本进行数量增强。其中腐苔类样本数量在数据扩充之前不到另外两类的1/3，数据增强后达到样本不同类别的样本数量相当。具体数据增强方法为对腐苔类型舌象块进行不同旋转角度的数据增强的样本扩充，将扩充后的腐类样本和其他类别样本结合作为均衡数据集。
2)针对含噪舌象样本的模型训练，初始训练集为进行数据增强后的数据集X，数据集X由3186张腐苔舌象块、3156张腻苔舌象块、3320张非腐腻舌象块组成，基于置信度评估的教师委员会模型投票后的训练样本分成高置信度样本和低置信度样本。基于置信度评估的教师委员会投票模型采取InceptionV3，MobileNetV1，ResNet50作为3个基础网络，组成教师委员会模型。阈值Th1设定为0.5。初始学习率为0.001，权重衰减指数设置为1×10-6，为防止神经网络训练过程中更新权重时的不确定性，引入动量参数，参数值为0.9，训练中Batchsize设置为45。整个教师委员会投票模型得到高置信度样本总量为8831块，低置信度样本总量为831块。
3)利用高置信度样本对特征分类网络训练。相对于自然图像，舌图像腐腻特征不同类别之间的差异较小，很多细小的纹理可能都是重要信息，所以使用Adam优化器训练模型，采用固定步长衰减学习率，起始学习率设置为0.001，训练100个epoch，直至网络收敛，并达到99.6％的训练准确率。.
4)高置信度网络模型预测低置信度样本。按照公式(2)中的分类方法，将Th2、Th3设定阈值为0.3和0.7，可将低置信度样本分为不确定性样本和伪错误样本，伪错误样本手动更新标签后加入高置信度训练集，不确定性样本作为数据和模型协同更新的输入用于下一步的噪声处理。
5)模型赋予不确定性样本软标签。模型输入为低置信度样本中的不确定性样本，网络模型选择ShffleNetV2网络结构，训练参数中初始学习率设为0.001，decay衰减系数设为1e-5。损失函数设置为公式(5)。模型可根据样本的softmax结果给出每个样本的每种分类的概率。其中网络模型预测的每个样本第一大概率作为样本的硬标签，模型预测概率中的第二大概率赋予软标签，此时该不确定性样本被网络模型根据预测概率值赋予了两个标签，将被赋予软标签的样本重新加入到训练集当中，用于下一轮训练，当网络模型训练至49轮至50轮，软标签的赋予结果基本不发生改变，数据模型和网络参数都保持稳定不变的状态，说明该网络结构和数据集的协同更新已经完成，直至训练50个epoch。
6)最后训练适用于含噪舌象样本的整体网络模型。输入为原始的高置信度样本、加入伪标签的样本以及赋予软标签的不确定性样本组成的数据集，使用步骤5)更新完参数和趋于稳定后的网络模型作为初始训练模型，采用Adam优化器训练模型，采用固定步长衰减学习率，起始学习率设置为0.001，训练100个epoch，直至网络收敛。
7)最终训练直到腐腻分类指标接近无变动，选取验证结果指标最高的模型作为分类网络训练的最优模型。
将训练好的整体模型用于中医舌象含噪样本的测试阶段，测试集为93幅中医舌象样本，经过舌象滑块数据增强后，其中腐苔类别为875张，腻苔类别为707张，非腐腻苔类别为658张。
在测试阶段中对含噪不确定性样本的分类方法进行针对性优化。具体实施方法如下：
1)通过基于数据和模型协同更新模块训练好的模型对测试集进行预测，标签采用原始标注标签。
2)在测试模块中对测试样本进行类别估计。首先，对测试样本是否是不确定性样本进行判定。若样本预测的概率在公式(2)的Th2-Th3范围内，则认为是不确定性样本，不确定性样本采取根据softmax输出概率的前两大预测概率确定预测结果，其中若预测结果为前两大概率中的一项即为预测结果正确。若样本判定不在Th2-Th3范围内，则为确定样本，依然采取单个标签、单个结果进行分类精度评估。
3)最后，网络模型的分类准确结果由确定性样本预测正确结果和不确定性样本预测正确结果相加组成，测试平均精度可达到94.6％。

Claims (1)

1.一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法，其特征在于：
分为两个部分：基于标签置信度估计的含噪样本筛选模块以及基于样本概率分布的网络模型迭代更新机制模块；
首先是基于标签置信度估计的含噪样本筛选模块；该模块采用教师委员会模型投票与网络预测概率相结合的方式对样本标签置信度进行估计，将原始含噪的舌象样本分为高置信度样本与低置信度样本；该模块分为两个阶段，中医舌象含噪样本的粗筛选阶段和低置信度样本的细筛选阶段，具体步骤如下：
1)中医舌象含噪样本的粗筛选：
第一步：对原始舌象训练样本进行数据增强；
第二步：由准确标注的样本库对教师委员会中的3个分类网络进行初始训练；
第三步：通过教师委员会模型对含噪标签训练数据进行标签置信度估计；采用高置信度标注的训练样本对教师委员会模型进行模型训练，3个网络分别用相同的训练集训练100轮，分别得到分类性能达到90％以上的网络模型预测性能；
第四步：根据标签置信度估计结果，对训练样本进行分类；具体分类结果为：高置信度样本与低置信度样本；
选择3个不同的典型分类网络组成教师委员会，通过对含噪训练集进行统一预测，预测分类机制如公式(1)所示；
Figure FDA0004063307240000011
其中，a代表样本类别，k为预测结果一致的模型数量，K为总模型数量，t为多模型预测标签，T为原始标签，Th1为设定阈值0.5；将样本的标签按照阈值分类，若一致预测的分类器比例大于Th1，且预测标签与原标签相同的样本，分为高置信度标签样本类别，表明样本标签可靠性高，作为下一轮的训练样本；若一致预测的分类器比例大于Th1，但预测标签与原本标签类别不一致的样本，或者所有模型全部预测不一致的样本，均为疑似标签存在错误或不确定性样本，归分为低置信度标签样本类别；
2)中医舌象低置信度样本的细筛选：
第一步：选取ShuffleNetV2网络结构作为第二阶段的基础模型；
第二步：将上一阶段的高置信度样本作为新的训练样本，训练ShuffleNetV2网络模型，利用高置信度样本将网络模型训练至稳定且分类精度达到90％以上的水平，即认为该网络模型为指导第二阶段的预测分类模型；
第三步：高置信度网络模型预测低置信度样本进行细致分类；高置信度样本训练出的网络模型具有对于舌象不确定性含噪样本的高置信度，将模型用于低置信度样本的预测具有可靠性；根据模型预测的输出概率将低置信度样本划分为不确定性样本与伪错误性样本；预测分类机制如公式(2)所示：
Figure FDA0004063307240000021
其中，r代表低置信度样本当中的具体分类样本类别，为腐苔、腻苔或非腐腻苔，T为原始标签，p为单个样本经过高置信度模型预测后的最大输出概率，Th2、Th3为设定阈值；r1、r2分别代表不确定性样本和伪错误样本；
若样本的最大预测概率处于Th3-1之间，且预测结果与教师委员会多模型预测结果t一致,则将低置信度样本赋予r2类别的伪标签加入高置信度样本之中；若样本的最大预测概率处于Th2-Th3之间，则将这类样本归为r1类别；
第二是基于样本概率分布的网络模型迭代更新模块；
模块采用ShuffleNetV2网络结构，采用“平衡”卷积，使输入输出的通道宽度的比值为1；
网络模型和数据标签协同更新模块的损失函数：损失函数由两部分组成：分类损失和交叉熵损失；
选择KL散度作为含噪数据集的概率估计更新机制的损失函数，如公式(3)所示；
Figure FDA0004063307240000022
公式(3)作为基于样本概率分布的网络模型协同更新模块的分类损失函数(Lc)；在分类问题中，训练集X＝{x1,x2，…,xn}，代表有n个元素；对于每个舌象样本xi，标签分布表示了标签在[0,1]之间的概率变化，是对xi的无噪声标签的估计；
Figure FDA0004063307240000023
为网络预测第i个图像赋予的软标签，f(xi；θ)为网络预测的标签分布，f是模型由softmax函数处理后的预测结果，θ是网络模型参数包括ShuffleNetV2网络结构中批量计算时输入的尺寸大小、深度卷积核的大小、特征传递单元循环次数以及网络模型的大小；
当f(xi；θ)标签分布yd相同,模型网络将停止更新，然而,因为标签分布被用作学习网络参数θ的监督信号，所以f(xi；θ)趋向于较快地接近yd而导致训练速度过快，即软标签还未更新，网络参数却已更新；因此，需要添加一个额外的熵损失Le来避免上述问题；熵损失定义为公式(4)：
Figure FDA0004063307240000031
其中n、i含义与公式(3)相同，j代表m种分类问题的一个计数标志，fj(x；θ)是第j类中的图像和网络参数的预测分布；公式(4)的设置可以防止协同更新在训练过程中停滞，因为样本标签的分布不会趋于某一个硬标签；
综上所述，在基于样本概率分布的网络模型协同更新模块的总体损失设置为公式(5)：
L＝Lc+Le (5)
其中Lc为公式(3)含义，Le为公式(4)含义；
损失函数设置完成后，使用预测分布与软标签之间的KL散度对偶式来度量分类损失并将包含噪声的标签替换成随着训练过程不断更新的软标签；当预测分布不再发生变化，说明此时标签和网络参数都已更新完毕；
网络模型和数据标签更新机制的细节阐述如下：
第一步，首先将高置信度模型作为初始训练模型，高置信度模型筛选出的不确定性样本作为输入；
第二步：设置高置信度网络模型结构参数；初始网络模型输入图片大小为224×224，网络结构采用分支网络，左边通过一个3×3的深度可分离卷积，步长为2，经过BN层，接下来通过1×1卷积，之后经过BN层以及ReLU激活函数；右边通过一个1×1卷积，之后经过BN层以及ReLU激活函数，再经过3×3的深度可分离卷积，步长为1，之后经过BN；最后经过1x1卷积，之后经过BN层和ReLU激活函数；经过卷积完之后进行堆叠操作和channel shuffle；特征输出尺寸经过一个1×1卷积由输入时的224×224变为112×112，网络模型含有4个特征图发生变化的stage，最终，特征输出尺寸为7×7；
第三步，根据上述的网络结构和分类损失以及交叉熵损失函数的设置，规定了网络结构反向传播赋予软标签的功能，公式(3)将噪声样本的错误标签通过样本概率分布形式赋予软标签，即网络模型可根据样本的softmax结果给出每个样本的每种分类的概率，其中第一大概率作为样本的硬标签，根据模型预测概率中的第二大概率赋予软标签，将被赋予软标签的样本重新加入到训练集当中，用于下一轮训练；
第四步，在不确定性样本对高置信度网络模型训练中，规定每10轮模型网络参数进行一次更新，更新的是ShuffleNetV2网络结构中的特征单元传递循环次数，具体的变化为当网络模型赋予样本中软标签增加时，特征单元传递循环次数增加；网络模型参数每更新1次，特征单元传递循环次数加1，直至训练结束。
CN202310068918.9A 2023-01-19 2023-01-19 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法 Pending CN116129185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310068918.9A CN116129185A (zh) 2023-01-19 2023-01-19 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310068918.9A CN116129185A (zh) 2023-01-19 2023-01-19 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法

Publications (1)

Publication Number Publication Date
CN116129185A true CN116129185A (zh) 2023-05-16

Family

ID=86304349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310068918.9A Pending CN116129185A (zh) 2023-01-19 2023-01-19 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法

Country Status (1)

Country Link
CN (1) CN116129185A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置
CN117036869B (zh) * 2023-10-08 2024-01-09 之江实验室 一种基于多样性和随机策略的模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN109086799A (zh) 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
WO2021184817A1 (zh) 一种医学图像中肝脏及其病灶分割的方法
CN111739075B (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
Yoon et al. Tumor identification in colorectal histology images using a convolutional neural network
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112766379A (zh) 一种基于深度学习多权重损失函数的数据均衡方法
Ionescu et al. Prediction of reader estimates of mammographic density using convolutional neural networks
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN112819821B (zh) 一种细胞核图像检测方法
CN107945182A (zh) 基于卷积神经网络模型GoogleNet的玉米叶片病害识别方法
CN114037011B (zh) 一种中医舌色噪声标注样本的自动识别与清洗方法
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN112950643A (zh) 基于特征融合深监督U-Net的新冠肺炎病灶分割方法
WO2023193390A1 (zh) 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统
CN116129185A (zh) 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CN116385373A (zh) 结合稳定学习与混合增强的病理学图像分类方法及系统
CN117094980A (zh) 基于深度学习的超声乳腺结节图像可解释性方法
CN115295154A (zh) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN112494063B (zh) 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN112132788B (zh) 一种基于特征区域等级识别的骨龄评估方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN116884597A (zh) 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination