CN113822389B - 一种基于内窥镜图片的消化道疾病分类系统 - Google Patents

一种基于内窥镜图片的消化道疾病分类系统 Download PDF

Info

Publication number
CN113822389B
CN113822389B CN202111399563.9A CN202111399563A CN113822389B CN 113822389 B CN113822389 B CN 113822389B CN 202111399563 A CN202111399563 A CN 202111399563A CN 113822389 B CN113822389 B CN 113822389B
Authority
CN
China
Prior art keywords
digestive tract
picture
model
tract disease
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111399563.9A
Other languages
English (en)
Other versions
CN113822389A (zh
Inventor
戴捷
张泽宇
李寿山
鹿伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zidong Information Technology Suzhou Co ltd
Original Assignee
Zidong Information Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zidong Information Technology Suzhou Co ltd filed Critical Zidong Information Technology Suzhou Co ltd
Priority to CN202111399563.9A priority Critical patent/CN113822389B/zh
Publication of CN113822389A publication Critical patent/CN113822389A/zh
Application granted granted Critical
Publication of CN113822389B publication Critical patent/CN113822389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于内窥镜图片的消化道疾病分类系统，包括服务器和移动设备；所述服务器接收图片并标注后加入训练样本；通过主动学习方法将训练样本加入教师模型进行训练；使用教师模型预测未标注样本得到软标签；采用软标签蒸馏训练每个单学生模型和集成模型，并将模型配置到移动设备；所述移动设备进行消化道疾病图片分类检测，获得消化道疾病分类结果；计算消化道疾病分类结果的可信度，将可信的消化道疾病图片分类结果进行输出显示。本发明基于主动学习和多学生知识蒸馏的分类模型使得原本依赖大量GPU资源的疾病分类任务可以在小型的移动设备上运行，从而更方便高效地帮助基层医院的医生提供诊断参考。

Description

一种基于内窥镜图片的消化道疾病分类系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于内窥镜图片的消化道疾病分类系统。
背景技术
现今，内窥镜已成为检测诊断消化道疾病的常用设备，配合内窥镜使用的图像处理技术不断发展，获得病变组织的特殊图像，并能用图像分析技术实现对病变的定量分析和定量诊断。但现有的图像分析识别系统多使用大规模预训练模型，进行分类推理时需要大量GPU资源。
然而，移动设备没有强大的GPU计算资源，已有的方法不能支持移动设备，这给医生对疾病的诊断带来了不便，不能利用移动设备入个人手机提供诊断参考，该困难使得基于人工智能的消化道疾病识别系统的应用受到了很大的限制。例如：基层医院由于经费短缺，很难购买需要大量GPU资源的人工智能设备，医生只能人工判断内窥镜图片的疾病类别，对医生的精力以及经验来说是一种挑战。但是对于基层医院来说，有经验的医生非常缺乏，更迫切需要人工智能设备的帮助。
发明内容
本发明的目的是提供一种基于内窥镜图片的消化道疾病分类系统，能够不依赖于GPU计算资源，运行在移动设备上并具有良好的消化道疾病分类预测精准度。
为了解决上述技术问题，本发明提供了一种基于内窥镜图片的消化道疾病分类系统，包括服务器和移动设备；
所述服务器包括：
数据处理模块，接收消化道疾病图片并标注后加入训练样本；
教师模型训练模块，建立教师模型，通过主动学习方法将训练样本加入教师模型进行训练，实时保存当前最优的教师模型；使用当前最优的教师模型预测未标注样本得到概率值，该概率值为软标签；
多学生集成模型训练模块，包括多个学生模型以及由多个学生模型集成的集成模型，采用软标签蒸馏训练每个单学生模型和集成模型，实时保存当前最优的学生模型和集成模型，并将当前最优的学生模型和集成模型配置到移动设备；
所述移动设备包括：
测试模块，根据多学生集成模型训练模块配置的学生模型和集成模型进行消化道疾病图片分类检测，获得消化道疾病分类结果；
分类结果判断模块，计算消化道疾病分类结果的可信度，将不可信的消化道疾病图片上传至数据处理模块，将可信的消化道疾病图片分类结果进行输出显示。
作为本发明的进一步改进，所述数据处理模块接收消化道疾病图片并标注后加入训练样本的方法为：接收来自内窥镜设备输出的消化道疾病视频数据，按照固定时间切分视频片段并抽取每个视频片段中单位时间内的帧图片作为消化道疾病图片；同时，接收不可信的消化道疾病图片，当不可信的消化道疾病图片到达一定数量后进行人工标注，标注后加入训练样本。
作为本发明的进一步改进，所有消化道疾病图片加入训练样本前或进入测试模块中分类检测前，均进行预处理，所述预处理方法包括：对消化道疾病图片进行缩放裁剪、随机水平翻转或标准化处理。
作为本发明的进一步改进，所述教师模型为：
Figure 3583DEST_PATH_IMAGE001
其中，X表示教师模型的概率输出，
Figure 118169DEST_PATH_IMAGE002
表示教师模型的网络函数，E为预处理过的消化道疾病图片表示向量。
作为本发明的进一步改进，所述教师模型训练时，采用梯度下降法，所述教师模型的输出分类网络softmax层，公式如下：
Figure 899044DEST_PATH_IMAGE003
其中，P i 为第i个类别的概率值，m为消化道疾病图片的总类别数，v i 为第i个类别的预测输出，v n 为第n个类别的预测输出，
Figure 962946DEST_PATH_IMAGE004
为自然对数函数的底数。
作为本发明的进一步改进，所述教师模型训练时，采用主动学习方法将不可信的消化道疾病图片经人工标注后加入训练样本更新训练教师模型，即采用如下损失函数：
Figure 538283DEST_PATH_IMAGE005
其中，N为已标注样本和经人工标注后的样本总数，m为消化道疾病图片的总类别数，
Figure 140166DEST_PATH_IMAGE006
为指示函数，若括号内等式成立取值为1，否则取值为0，i为第i张图片，j为第j个分类，
Figure 459152DEST_PATH_IMAGE007
表示分类网络第i张图片第j个类别的预测输出。
作为本发明的进一步改进，所述学生模型为：
Figure 347867DEST_PATH_IMAGE008
其中，
Figure 359685DEST_PATH_IMAGE009
，
Figure 183285DEST_PATH_IMAGE010
，…，
Figure 305962DEST_PATH_IMAGE011
分别为k个学生模型的网络函数，E为预处理过的消化道疾病图片表示向量，
Figure 282139DEST_PATH_IMAGE012
分别为k个学生模型的概率输出，
Figure 464859DEST_PATH_IMAGE013
为集成后的概率输出。
作为本发明的进一步改进，所述学生模型训练时由教师模型分别蒸馏k个学生模型和集成模型，采用如下损失函数：
Figure 41333DEST_PATH_IMAGE014
其中，C表示未标注样本数，m表示消化道疾病图片的总类别数，k表示学生模型中的网络个数，
Figure 702122DEST_PATH_IMAGE015
表示教师模型第i张图片第j个类别的预测输出，即软标签，
Figure 31341DEST_PATH_IMAGE016
表示第n个学生模型第i张图片第j个类别的预测输出，
Figure 916120DEST_PATH_IMAGE017
表示学生模型集成后第i张图片第j个类别的预测输出。
作为本发明的进一步改进，所述分类结果判断模块计算消化道疾病分类结果的可信度时，采用信息熵衡量分类结果的可信度，信息熵公式如下：
Figure 714312DEST_PATH_IMAGE018
其中，m表示消化道疾病图片的总类别数，
Figure 913212DEST_PATH_IMAGE019
表示分类网络第i张图片第j个类别的预测输出；
设置可信度阈值，当分类结果的信息熵低于阈值为可信的消化道疾病图片分类结果，否则为不可信的消化道疾病图片，对不可信的消化道疾病图片经人工标注后再次投入训练样本；
对可信的消化道疾病图片的分类标签进行输出显示，可信的消化道疾病图片的分类标签计算公式如下：
Figure 863982DEST_PATH_IMAGE020
其中，
Figure 388504DEST_PATH_IMAGE021
为第i张图片的信息熵，T为阈值，j*为第i张图片的预测标签。
一种基于内窥镜图片的消化道疾病分类方法，包括以下步骤：
S1：接收消化道疾病图片并标注后加入训练样本；
S2：通过主动学习方法将训练样本加入提前建立的教师模型中进行训练，实时保存当前最优的教师模型；
S3：使用当前最优的教师模型预测未标注的消化道疾病图片得到概率值，将该概率值设置为软标签；
S4：采用软标签蒸馏训练提前建立的单学生模型和由多个学生模型集成的集成模型，实时保存当前最优的学生模型和集成模型；
S5：将当前最优的学生模型和集成模型配置到移动设备进行消化道疾病图片分类检测，获得消化道疾病分类结果；
S6：计算消化道疾病分类结果的可信度，将不可信的消化道疾病图片返回步骤S1，并持续执行步骤S1-S5，直到获得可信的消化道疾病图片分类结果。
本发明的有益效果：本发明可以解决现有的系统由于使用大规模预训练模型，进行分类推理时需要大量GPU资源的问题，通过使用主动学习和压缩教师模型的方法，可以实现在移动设备上运行并保持较好的预测性能；
相对于目前主流单学生的知识蒸馏方法，本发明采用多学生蒸馏方式，利用集成学习思想提升了单学生蒸馏的性能，能够让蒸馏后多学生集成模型的分类效果同教师大模型的分类效果相同，甚至更好；另外一方面，本发明采用主动学习方法能够让蒸馏后的模型通过主动挑选新标注样本进一步提高分类效果。
附图说明
图1是本发明方法流程示意图；
图2是本发明消化道疾病图片示意图；
图3是本发明实施例提供的基于主动学习的多学生知识蒸馏模型；
图4是本发明实施例提供的可信图片实时结果显示图；
图5是本发明实施例提供的不可信图片实时结果显示图；
图6是本发明系统结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参考图1，本发明提供了一种基于内窥镜图片的消化道疾病分类方法，包括以下步骤：
S1：接收消化道疾病图片并标注后加入训练样本；
S2：通过主动学习方法将训练样本加入提前建立的教师模型中进行训练，实时保存当前最优的教师模型；
S3：使用当前最优的教师模型预测未标注的消化道疾病图片得到概率值，将该概率值设置为软标签；
S4：采用软标签蒸馏训练提前建立的单学生模型和由多个学生模型集成的集成模型，实时保存当前最优的学生模型和集成模型；
S5：将当前最优的学生模型和集成模型配置到移动设备进行消化道疾病图片分类检测，获得消化道疾病分类结果；
S6：计算消化道疾病分类结果的可信度，将不可信的消化道疾病图片返回步骤S1，并持续执行步骤S1-S5，直到获得可信的消化道疾病图片分类结果。
本发明教师模型训练采用主动学习方法，教师模型为大型网络，蒸馏的学生模型为多个超小型网络的集成，通过将大参数量的教师模型的知识传递给小参数量的多学生模型及集成模型，使得原本依赖大量GPU资源的疾病分类任务可以在小型的移动设备上运行，从而更方便高效地帮助基层医院的医生提供诊断参考。
具体的，步骤S1中接收来自内窥镜设备输出的消化道疾病视频数据，按照固定时间切分视频片段并抽取每个视频片段中单位时间的帧图片作为消化道疾病图片；同时，接收不可信的消化道疾病图片，不可信的消化道疾病图片来自经过移动设备检测后的分类结果图片，当不可信的消化道疾病图片到达一定数量后进行人工标注，标注后加入训练样本。由于一般的识别分类模型无法直接输入原生的视频，因此进一步要对视频数据进行视频帧的抽取，其中视频帧的抽取采用一定的时间间隔，本实施例不对具体的间隔时间作限定。比如，一段时长为10分钟的原生检测视频，以1分钟为时间段进行切分，共得到10段视频，每段视频以200ms为时间间隔进行抽取，共取得10组300张视频帧图片，如图2所示，为其中一张胃溃疡疾病帧图片。
所有消化道疾病图片加入训练样本前或进行步骤S5中的检测前，均进行预处理，图片预处理操作包括以下几种中的一种或多种：缩放裁剪处理、随机水平翻转处理、标准化处理。缩放裁剪处理用于将输入图片处理成固定的尺寸。标准化处理是指在图片的RGB维度上减去数据对应维度的统计平均值，以消除公共的部分、凸显个体之间的特征和差异。随机水平翻转处理也是为了进行数据增强来提高模型的泛化能力。本实施例不对图片缩放裁剪的取值作限定。比如，将不同输入图片的尺寸缩放为640*640*3的大小，随后裁剪为384*384*3的大小，剪去图片四个边角的黑色冗余部分，最后进行数据标准化得到最终的输入图像的特征。
具体模型训练及配置过程：教师模型为：
Figure 408413DEST_PATH_IMAGE001
其中，X表示教师模型的概率输出，
Figure 942162DEST_PATH_IMAGE002
表示教师模型的网络函数，E为预处理过的消化道疾病图片表示向量。
教师模型训练时，采用梯度下降法，所述教师模型的输出分类网络softmax层，公式如下：
Figure 996706DEST_PATH_IMAGE003
其中，P i 为第i个类别的概率值，m为消化道疾病图片的总类别数，v i 为第i个类别的预测输出，v n 为第n个类别的预测输出 ，
Figure 678748DEST_PATH_IMAGE004
为自然对数函数的底数。其输出作为软标签。
教师模型训练时，采用主动学习方法将移动设备上传的消化道疾病图片经人工标注后加入训练样本更新训练教师模型，即采用如下损失函数：
Figure 451531DEST_PATH_IMAGE005
其中，N为已标注样本和经人工标注后的样本总数，m为消化道疾病图片的总类别数，
Figure 257813DEST_PATH_IMAGE006
为指示函数，若括号内等式成立取值为1，否则取值为0，i为第i张图片，j为第j个分类，
Figure 166864DEST_PATH_IMAGE007
表示分类网络第i张图片第j个类别的预测输出。
学生模型为：
Figure 298768DEST_PATH_IMAGE008
其中，
Figure 309580DEST_PATH_IMAGE009
，
Figure 185132DEST_PATH_IMAGE010
，…，
Figure 948689DEST_PATH_IMAGE011
分别为k个学生模型的网络函数，E为预处理过的消化道疾病图片表示向量，
Figure 985915DEST_PATH_IMAGE012
分别为k个学生模型的概率输出，
Figure 716980DEST_PATH_IMAGE013
为集成后的概率输出。
学生模型训练时由教师模型分别蒸馏k个学生模型和集成模型，利用软标签，采用如下损失函数：
Figure 130643DEST_PATH_IMAGE014
其中，C表示未标注样本数，m表示消化道疾病图片的总类别数，k表示学生模型中的网络个数，
Figure 14286DEST_PATH_IMAGE015
表示教师模型第i张图片第j个类别的预测输出，即软标签，
Figure 222413DEST_PATH_IMAGE016
表示第n个学生模型第i张图片第j个类别的预测输出，
Figure 925927DEST_PATH_IMAGE017
表示学生模型集成后第i张图片第j个类别的预测输出。
步骤S6中，具体地，计算学生模型分类结果的不确定性，学生模型对未标注样本测试后，使用信息熵衡量分类结果的可信度，信息熵越大可信度越低，信息熵公式如下：
Figure 894014DEST_PATH_IMAGE018
其中，m表示消化道疾病图片的总类别数，
Figure 366584DEST_PATH_IMAGE019
表示分类网络第i张图片第j个类别的预测输出；
比较信息熵和阈值大小，信息熵低于阈值的分为可信度高的样本，否则分为可信度低的样本，对可信度低的样本上传返回步骤S1，经人工标注后再次投入训练样本，而可信度高的样本经过标签计算后输出显示，样本标签计算公式如下：
Figure 11192DEST_PATH_IMAGE020
其中，
Figure 467581DEST_PATH_IMAGE022
为第i张图片的信息熵，T为阈值，j*为第i张图片的预测标签。
实施例一
参照图1、图3和图6，一种基于内窥镜图片的消化道疾病分类系统，在服务器上运行，接收来自内窥镜设备输出的消化道疾病视频数据和来自移动设备多学生集成模型测试模块中选取的不可信图片，当接收到的不可信图片数量大于Y时，提醒人工标注每张图片的疾病类别，例如Y可取128，然后进行图片预处理操作。
教师模型可以使用ViT-Huge网络，共32层，每层网络由4个主要的部分构成，即一个用于获取序列特征及信息的多头注意力层、一个用于非线性变换的前馈传播层和两个用于归一化的加和标准化层；在每一层的多头注意力层和前馈传播层之前都添加加和标准化层，前馈传播层位于多头注意力层之后，每一层ViT网络的输出直接作为下一层ViT网络的输入，公式如下：
Figure 463526DEST_PATH_IMAGE023
其中，
Figure 587340DEST_PATH_IMAGE024
表示教师模型ViT-Huge网络函数，E为预处理过的消化道疾病图片表示向量。
可选地，如图3所示，教师模型训练时采用主动学习方法，根据学生模型测试出的不可信样本经人工标注后更新训练集，不断迭代训练。
学生模型可使用3个集成的Resnet18网络，每个网络一共由18个带有权重的层组成，使用的卷积核由1*1，3*3，1*1组成，主要分为6个部分，分别是conv1、conv2_x、conv3_x、conv4_x、conv5_x以及最后自适应全局池化层和全连接层。图片预处理后通过3个Resnet18网络的概率输出分别为
Figure 137270DEST_PATH_IMAGE025
，集成后概率输出为
Figure 815376DEST_PATH_IMAGE026
，公式如下：
Figure 108954DEST_PATH_IMAGE027
其中，
Figure 572427DEST_PATH_IMAGE028
，
Figure 558838DEST_PATH_IMAGE029
，
Figure 989819DEST_PATH_IMAGE030
分别为3个Resnet18网络函数，E为预处理过的消化道疾病图片表示向量。
如图3所示，学生模型训练时由教师模型分别蒸馏3个Resnet18模型和集成模型，损失函数的比例设成1:1:1:1。在训练过程中，设置批大小为64，教师模型的初始学习率为0.00001，学生模型的初始学习率为0.001，采用Adam优化器，在其它实施方式中，模型训练时对应的超参数也可以不同，批大小和初始学习率也可以为其它值，本实施例不对训练过程中的各个参数取值作限定。
将当前训练好的学生模型和集成模型配置到移动设备，这样可对移动设备直接输入待检测的内窥镜消化道疾病图片，在移动设备端通过学生模型和集成模型检测疾病分类结果，如图2所示的未标注的疾病图片，经学生模型输出后，计算分类结果的不确定性，学生模型对未标注样本测试后，使用信息熵衡量分类结果的可信度，信息熵越大可信度越低，因此，
设置可信度阈值，当分类结果的信息熵低于阈值为可信的消化道疾病图片分类结果，否则为不可信的消化道疾病图片，对不可信的消化道疾病图片经人工标注后再次投入训练样本；
信息熵公式如下：
Figure 87088DEST_PATH_IMAGE031
其中，i为第i张图片，j为第j个分类，m表示消化道疾病图片的总类别数，
Figure 638024DEST_PATH_IMAGE032
表示分类网络第i张图片第j个类别的预测输出；
对可信的消化道疾病图片的分类标签进行输出显示，可信的消化道疾病图片的分类标签计算公式如下：
Figure 529757DEST_PATH_IMAGE033
其中，
Figure 182455DEST_PATH_IMAGE034
为第i张图片的信息熵，T为阈值，可取值100，j*为第i张图片的预测标签；
在移动设备上课向用户显示学生模型对测试数据的测试结果，分为2种情况，如图4所示，若分类结果是可信的，显示该图片的分类标签，若分类结果是不可信的，如图5所示，提示用户将该图片上传至服务器端。
进一步的，学生模型中的小型网络可选用Resnet18，数量k可取值3，使用测试数据对多学生模型进行测试，测试结果分为3个Resnet18模型分别的概率输出以及集成后的概率输出。
参考下表一所示的教师模型ViT-Huge、多学生集成Resnet18模型在性能接近的情况下参数量的对比结果，学生模型相比教师模型的压缩比接近1:18，可见，本发明有效地解决了疾病分类任务依赖于GPU计算资源的问题，使得在移动设备上可以正常运行并具有良好的预测精准度。
表一
Figure 817836DEST_PATH_IMAGE035
实施例二
如图6所示，本发明实施例提供一种基于内窥镜图片的消化道疾病分类系统，包括服务器和移动设备；
所述服务器包括：
数据处理模块，接收消化道疾病图片并标注后加入训练样本；
教师模型训练模块，建立教师模型，通过主动学习方法将训练样本加入教师模型进行训练，实时保存当前最优的教师模型；使用当前最优的教师模型预测未标注样本得到概率值，该概率值为软标签；
多学生集成模型训练模块，包括多个学生模型以及由多个学生模型集成的集成模型，采用软标签蒸馏训练每个单学生模型和集成模型，实时保存当前最优的学生模型和集成模型，并将当前最优的学生模型和集成模型配置到移动设备；
所述移动设备包括：
测试模块，根据多学生集成模型训练模块配置的学生模型和集成模型进行消化道疾病图片分类检测，获得消化道疾病分类结果；
分类结果判断模块，计算消化道疾病分类结果的可信度，将不可信的消化道疾病图片上传至数据处理模块，将可信的消化道疾病图片分类结果进行输出显示。
使用时，移动设备还包括视频接口模块、预处理数据模块、多学生集成模型测试模块和显示模块，多学生集成模型测试模块即根据服务器配置的多学生模型和集成模型，其经过教师模型的蒸馏训练，使得学生模型进行压缩，使其可以再移动设备上顺利运行，且蒸馏后的模型效果同教师大模型分类效果相同，甚至更好；视频接口模块接收内窥镜设备输出的消化道疾病图片，经过预处理数据模块对图片进行预处理后进入多学生集成模型测试模块进行检测，检测结果进入分类结果判断模块，分类结果判断模块计算消化道疾病分类结果的可信度，设置可信度阈值，当可信度小于阈值，即可信的图片结果，则输出可信消化道疾病分类结果到显示模块进行显示，否则将不可信的消化道疾病图片上传到服务器的数据处理模块，进行人工标注后加入训练样本，持续模型训练过程，采用主动学习方法能够让蒸馏后的模型通过主动挑选的新标注样本进一步提高分类效果。
在服务器上，整个教师模型和学生模型体系即多学生知识蒸馏模型体系，数据处理模块，接收内窥镜设备输出的消化道疾病图片并标注为原始样本；同时，接收移动设备上传的消化道疾病图片为未标注样本；其中，内窥镜设备输出的是消化道疾病视频数据，按照固定时间切分视频片段并抽取每个视频片段中单位时间的帧图片作为消化道疾病图片；数据处理模块内的帧图片到达一定数量后进行人工标注，标注后的帧图片加入训练样本。
教师模型训练模块，采用主动学习方法将原始样本作为训练样本建立教师模型，将未标注样本进行人工标注后加入训练样本训练教师模型，直至所有未标注样本经标注后都被加入训练样本，实时保存当前最优的教师模型；使用当前最优的教师模型预测未标注样本得到概率值，该概率值为软标签；
多学生集成模型训练模块，包括多个学生模型以及由多个学生模型集成的集成模型，采用软标签蒸馏每个单学生模型和集成模型进行训练，实时保存当前最优的多学生集成模型，并将当前最优的多学生集成模型配置到移动设备的多学生集成模型测试模块。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于内窥镜图片的消化道疾病分类系统，其特征在于：包括服务器和移动设备；
所述服务器包括：
数据处理模块，接收消化道疾病图片并标注后加入训练样本；
教师模型训练模块，建立教师模型，通过主动学习方法将训练样本加入教师模型进行训练，实时保存当前最优的教师模型；使用当前最优的教师模型预测未标注样本得到概率值，该概率值为软标签；
多学生集成模型训练模块，包括多个学生模型以及由多个学生模型集成的集成模型，采用软标签蒸馏训练每个单学生模型和集成模型，实时保存当前最优的学生模型和集成模型，并将当前最优的学生模型和集成模型配置到移动设备；
所述移动设备包括：
测试模块，根据多学生集成模型训练模块配置的学生模型和集成模型进行消化道疾病图片分类检测，获得消化道疾病分类结果；
分类结果判断模块，计算消化道疾病分类结果的可信度，将不可信的消化道疾病图片上传至数据处理模块，将可信的消化道疾病图片分类结果进行输出显示；
所述学生模型训练时由教师模型分别蒸馏k个学生模型和集成模型，采用如下损失函数：
Figure 523218DEST_PATH_IMAGE001
其中，C表示未标注样本数，m表示消化道疾病图片的总类别数，k表示学生模型中的网 络个数，
Figure 338728DEST_PATH_IMAGE002
表示教师模型第i张图片第j个类别的预测输出，即软标签，
Figure 16834DEST_PATH_IMAGE003
表示第n个学生模型第i张图片第j个类别的预测输出，
Figure 559679DEST_PATH_IMAGE004
表示学生模型集成后第i张图片第j个类别的预测输出。
2.如权利要求1所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述数据处理模块接收消化道疾病图片并标注后加入训练样本的方法为：接收来自内窥镜设备输出的消化道疾病视频数据，按照固定时间切分视频片段并抽取每个视频片段中单位时间内的帧图片作为消化道疾病图片；同时，接收不可信的消化道疾病图片，当不可信的消化道疾病图片到达一定数量后进行人工标注，标注后加入训练样本。
3.如权利要求1所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所有消化道疾病图片加入训练样本前或进入测试模块中分类检测前，均进行预处理，所述预处理方法包括：对消化道疾病图片进行缩放裁剪、随机水平翻转或标准化处理。
4.如权利要求1所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述教师模型为：
Figure 6841DEST_PATH_IMAGE005
其中，X表示教师模型的概率输出，
Figure 727672DEST_PATH_IMAGE006
表示教师模型的网络函数，E为预处理过的消 化道疾病图片表示向量。
5.如权利要求4所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述教师模型训练时，采用梯度下降法，所述教师模型的输出分类网络softmax层，公式如下：
Figure 158654DEST_PATH_IMAGE007
其中，P i 为第i个类别的概率值，m为消化道疾病图片的总类别数，v i 为第i个类别的预测 输出，v n 为第n个类别的预测输出，
Figure 990344DEST_PATH_IMAGE008
为自然对数函数的底数。
6.如权利要求4所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述教师模型训练时，采用主动学习方法将不可信的消化道疾病图片经人工标注后加入训练样本更新训练教师模型，即采用如下损失函数：
Figure 308324DEST_PATH_IMAGE009
其中，N为已标注样本和经人工标注后的样本总数，m为消化道疾病图片的总类别数，
Figure 200056DEST_PATH_IMAGE010
为指示函数，若括号内等式成立取值为1，否则取值为0，i为第i张图片，j为第j 个分类，
Figure 852754DEST_PATH_IMAGE011
表示分类网络第i张图片第j个类别的预测输出。
7.如权利要求1所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述学生模型为：
Figure 222556DEST_PATH_IMAGE012
其中，
Figure 909889DEST_PATH_IMAGE013
，
Figure 972523DEST_PATH_IMAGE014
，…，
Figure 846938DEST_PATH_IMAGE015
分别为k个学生模型的网络函数，E为预处理过的消化道 疾病图片表示向量，
Figure 803786DEST_PATH_IMAGE016
分别为k个学生模型的概率输出，
Figure 80047DEST_PATH_IMAGE017
为集成后的概 率输出。
8.如权利要求1所述的一种基于内窥镜图片的消化道疾病分类系统，其特征在于：所述分类结果判断模块计算消化道疾病分类结果的可信度时，采用信息熵衡量分类结果的可信度，信息熵公式如下：
Figure 313582DEST_PATH_IMAGE018
其中，m表示消化道疾病图片的总类别数，
Figure 940872DEST_PATH_IMAGE011
表示分类网络第i张图片第j个 类别的预测输出；
设置可信度阈值，当分类结果的信息熵低于阈值为可信的消化道疾病图片分类结果，否则为不可信的消化道疾病图片，对不可信的消化道疾病图片经人工标注后再次投入训练样本；
对可信的消化道疾病图片的分类标签进行输出显示，可信的消化道疾病图片的分类标签计算公式如下：
Figure 652477DEST_PATH_IMAGE019
其中，
Figure 48823DEST_PATH_IMAGE020
为第i张图片的信息熵，T为阈值，j*为第i张图片的预测标签。
CN202111399563.9A 2021-11-24 2021-11-24 一种基于内窥镜图片的消化道疾病分类系统 Active CN113822389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399563.9A CN113822389B (zh) 2021-11-24 2021-11-24 一种基于内窥镜图片的消化道疾病分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399563.9A CN113822389B (zh) 2021-11-24 2021-11-24 一种基于内窥镜图片的消化道疾病分类系统

Publications (2)

Publication Number Publication Date
CN113822389A CN113822389A (zh) 2021-12-21
CN113822389B true CN113822389B (zh) 2022-02-22

Family

ID=78918096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111399563.9A Active CN113822389B (zh) 2021-11-24 2021-11-24 一种基于内窥镜图片的消化道疾病分类系统

Country Status (1)

Country Link
CN (1) CN113822389B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
CN113486990A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN113538334A (zh) * 2021-06-09 2021-10-22 香港中文大学深圳研究院 一种胶囊内窥镜图像病变识别装置及训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022195B2 (ja) * 2018-02-28 2022-02-17 富士フイルム株式会社 機械学習装置、方法およびプログラム並びに記録媒体
CN113367644B (zh) * 2021-08-11 2022-04-15 紫东信息科技(苏州)有限公司 具有设备迁移能力的消化道疾病识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
CN113538334A (zh) * 2021-06-09 2021-10-22 香港中文大学深圳研究院 一种胶囊内窥镜图像病变识别装置及训练方法
CN113486990A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《多教师多学生模型知识蒸馏》;江米江米;《https://blog.csdn.net/github_39502869/article/details/103665986》;20191223;1-3 *

Also Published As

Publication number Publication date
CN113822389A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN107591200B (zh) 基于深度学习及影像组学的骨龄标记识别评估方法及系统
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
US11908128B2 (en) Systems and methods to process images for skin analysis and to visualize skin analysis
CN110660484B (zh) 骨龄预测方法、装置、介质及电子设备
CN110599421B (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN110414607A (zh) 胶囊内窥镜图像的分类方法、装置、设备及介质
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
CN115862831B (zh) 一种智能在线预约诊疗管理系统及方法
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN115546861A (zh) 一种在线课堂专注度识别方法、系统、设备及介质
CN113822389B (zh) 一种基于内窥镜图片的消化道疾病分类系统
CN113643297A (zh) 一种基于神经网络的计算机辅助牙龄分析方法
Pan et al. BP neural network classification for bleeding detection in wireless capsule endoscopy
CN116580832A (zh) 基于视频数据的老年痴呆症辅助诊断系统及其方法
CN116993699A (zh) 一种眼动辅助训练下的医学图像分割方法及系统
CA3147017C (en) System and method for classifying dermatological images using machine learning
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质
CN115760707A (zh) 一种基于自监督学习的皮损图像智能分类装置
Hoque Tania An Intelligent Image-based Colourimetric Test Framework for Diagnosis
CN108229514A (zh) 物体检测方法、装置和电子设备
Akbarian et al. A computer vision approach to combat lyme disease
CN110647926A (zh) 医学影像流识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant