CN111126574B - 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 - Google Patents

基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 Download PDF

Info

Publication number
CN111126574B
CN111126574B CN201911397441.9A CN201911397441A CN111126574B CN 111126574 B CN111126574 B CN 111126574B CN 201911397441 A CN201911397441 A CN 201911397441A CN 111126574 B CN111126574 B CN 111126574B
Authority
CN
China
Prior art keywords
unlabeled
machine learning
image sample
learning model
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911397441.9A
Other languages
English (en)
Other versions
CN111126574A (zh
Inventor
王晓宁
孙钟前
付星辉
尚鸿
郑瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911397441.9A priority Critical patent/CN111126574B/zh
Publication of CN111126574A publication Critical patent/CN111126574A/zh
Application granted granted Critical
Publication of CN111126574B publication Critical patent/CN111126574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于对机器学习模型进行训练的方法及装置。该方法包括：第一阶段：输入未标注样本集；基于经初始化或经预训练的机器学习模型通过主动学习从未标注样本集中选择待标注样本；对待标注样本进行标注，并将经标注的样本存储在标注数据集中；将标注数据集划分为训练数据集和验证数据集；使用训练数据集对机器学习模型进行训练，得到经训练的机器学习模型；使用验证数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及第二阶段：在经训练的机器学习模型的性能小于预定性能指标时，重复第一阶段中的步骤；直到经训练的机器学习模型的性能大于等于预定性能指标。

Description

基于内镜图像对机器学习模型进行训练的方法、装置和存储 介质
技术领域
本发明涉及机器学习领域，特别涉及一种用于基于内镜图像对机器学习模型进行训练的方法及装置以及存储介质。
背景技术
人工智能（Artificial Intelligence, AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习（Machine Learning, ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
在机器学习领域中，机器学习模型的训练是基于大量样本数据进行的。在一些情况下，没有类标签的样本数据非常丰富，而具有类标签的样本数据则十分匮乏。一般而言，需要对没有类标签的样本数据进行人工标注，这会耗费大量时间并且成本高昂。此外，样本数据中可能存在大量简单的、对所训练模型而言易于分类的样本，这种样本数据对于所训练的模型的效果的提升作用很小，甚至没有作用，反而会增加模型的训练时间，且容易造成模型对简单样本的过拟合。
目前超过90%的医疗数据来自于医疗影像，医疗影像数据已经成为医生诊断必不可少的“证据”之一。经训练的机器学习模型可以辅助医生进行诊断，以提高诊断效率。但是，在机器学习模型的训练过程中，通常需要对海量的医疗影像数据进行人工标注来生成训练数据集。除了上述不足之外，这类标注大多需要医生来完成。然而，不同医生由于各自的专业知识、工作经验、工作状态等可能得出不一致的标注结论，从而可能影响训练数据集的质量，进而影响所训练的模型的准确性和鲁棒性。
发明内容
根据本发明的第一方面，提供了一种用于对机器学习模型进行训练的方法，其特征在于至少包括下述步骤：
第一阶段：
-输入未标注样本集；
-基于经初始化或经预训练的机器学习模型通过主动学习从未标注样本集中选择待标注样本；
-对待标注样本进行标注，并将经标注的样本存储在标注数据集中；
-将标注数据集划分为训练数据集和验证数据集；
-使用训练数据集对机器学习模型进行训练，得到经训练的机器学习模型；
-使用验证数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及
第二阶段：
-在经训练的机器学习模型的性能小于预定性能指标时，重复第一阶段中的步骤；直到经训练的机器学习模型的性能大于等于预定性能指标。
在一些实施例中，在第一阶段的主动学习中使用下述策略中的任一项或二者的组合从未标注样本集中选择待标注样本：
i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；
ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本。
在一些实施例中，在第二阶段的主动学习中使用下述策略中的任一项或其任意组合从未标注样本集中选择待标注样本：
i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；
ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本；
iii）基于机器学习模型对标注数据集中的每个标注样本进行预测，得到每个标注样本在机器学习模型的最后一个卷积层的特征向量，计算标注数据集中的每个标注样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示分类任务的分类类别，N表示分类任务的分类类别总数；基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到每个未标注样本在机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的样本作为待标注样本。
在一些实施例中，计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
在一些实施例中，样本为图像，并且数据增强至少包括对图像的翻转、旋转、平移和缩放。
在一些实施例中，将标注数据集划分为训练数据集和验证数据集包括：按照预定比例将标注数据集划分为训练数据集和验证数据集。
在一些实施例中，经预训练的机器学习模型是预先利用ImageNet数据集训练的。
在一些实施例中，机器学习模型可以至少包括DenseNet或AlexNet。
在一些实施例中，样本为内镜图像，内镜图像至少包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个。
在一些实施例中，经训练的机器学习模型的性能包括F1分数。
根据本发明的第二方面，提供了一种用于基于内镜图像对机器学习模型进行训练的方法，其特征在于至少包括下述步骤：
第一阶段：
-输入未标注内镜图像样本集；
-基于经初始化或经预训练的机器学习模型通过主动学习从未标注内镜图像样本集中选择待标注内镜图像样本；
-对待标注内镜图像样本进行标注，并将经标注的内镜图像样本存储在标注内镜图像数据集中；
-将标注内镜图像数据集划分为训练内镜图像数据集和验证内镜图像数据集；
-使用训练内镜图像数据集对机器学习模型进行训练，得到经训练的机器学习模型；
-使用验证内镜图像数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及
第二阶段：
-在经训练的机器学习模型的性能小于预定性能指标时，重复第一阶段中的步骤；直到经训练的机器学习模型的性能大于等于预定性能指标。
在一些实施例中，针对分类任务，在第一阶段的主动学习中使用下述策略中的任一项或二者的组合：
i）基于机器学习模型对未标注内镜图像样本中的每个未标注样本进行预测，得到针对每个未标注内镜图像样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注内镜图像样本作为待标注内镜图像样本；
ii）对未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到每个未标注内镜图像样本的多个增强变型，基于机器学习模型对每个未标注内镜图像样本的多个增强变型进行预测，得到针对每个未标注内镜图像样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注内镜图像样本作为待标注内镜图像样本。
在一些实施例中，针对分类任务，在第二阶段的主动学习中使用下述策略中的任一项或其任意组合：
i）基于机器学习模型对未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到针对每个未标注内镜图像样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注内镜图像样本作为待标注内镜图像样本；
ii）对未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到每个未标注内镜图像样本的多个增强变型，基于机器学习模型对每个未标注内镜图像样本的多个增强变型进行预测，得到针对每个未标注内镜图像样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注内镜图像样本作为待标注内镜图像样本；
iii）基于机器学习模型对标注数据集中的每个标注内镜图像样本进行预测，得到每个标注内镜图像样本在机器学习模型的最后一个卷积层的特征向量，计算标注数据集中的每个标注内镜图像样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示分类任务的分类类别，N表示分类任务的分类类别总数；基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到每个标注内镜图像样本在机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的内镜图像样本作为待标注内镜图像样本。
在一些实施例中，计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
在一些实施例中，样本为图像，并且数据增强至少包括对图像的翻转、旋转、平移和缩放。
在一些实施例中，将标注数据集划分为训练数据集和验证数据集包括：按照预定比例将标注数据集划分为训练数据集和验证数据集。
在一些实施例中，内镜图像样本至少包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个。
根据本发明的第三方面，提供了一种用于对机器学习模型进行训练的装置，其特征在于至少包括：
输入模块，被配置用于输入未标注样本集；
选择模块，被配置用于基于经初始化或经预训练的机器学习模型通过主动学习从未标注样本集中选择待标注样本；
标注模块，被配置用于对待标注样本进行标注，并将经标注的样本存储在标注数据集中；
划分模块，被配置用于将标注数据集划分为训练数据集和验证数据集；
训练模块，被配置用于使用训练数据集对机器学习模型进行训练，得到经训练的机器学习模型；
验证模块，被配置用于使用验证数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及
判断模块，被配置用于经训练的机器学习模型的性能小于预定性能指标时，重复第一阶段中的步骤；直到经训练的机器学习模型的性能大于等于预定性能指标。
在一些实施例中，在第一阶段的主动学习中使用下述策略中的任一项或二者的组合从未标注样本集中选择待标注样本：
i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；
ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本。
在一些实施例中，在第二阶段的主动学习中使用下述策略中的任一项或其任意组合从未标注样本集中选择待标注样本：
i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；
ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本；
iii）基于机器学习模型对标注数据集中的每个标注样本进行预测，得到每个标注样本在机器学习模型的最后一个卷积层的特征向量，计算标注数据集中的每个标注样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示分类任务的分类类别，N表示分类任务的分类类别总数；基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到每个未标注样本在机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的样本作为待标注样本。
在一些实施例中，计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
在一些实施例中，样本为图像，并且数据增强至少包括对图像的翻转、旋转、平移和缩放。
在一些实施例中，将标注数据集划分为训练数据集和验证数据集包括：按照预定比例将标注数据集划分为训练数据集和验证数据集。
在一些实施例中，经预训练的机器学习模型是预先利用ImageNet数据集训练的。
在一些实施例中，机器学习模型可以至少包括DenseNet或AlexNet。
在一些实施例中，样本为内镜图像，内镜图像至少包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个。
在一些实施例中，经训练的机器学习模型的性能包括F1分数。
根据本发明的第四方面，提供了一种用于基于内镜图像对机器学习模型进行训练的装置，其特征在于至少包括下述步骤：
输入模块，被配置用于输入未标注内镜图像样本集；
选择模块，被配置用于基于经初始化或经预训练的机器学习模型通过主动学习从未标注内镜图像样本集中选择待标注内镜图像样本；
标注模块，被配置用于对待标注内镜图像样本进行标注，并将经标注的内镜图像样本存储在标注内镜图像数据集中；
划分模块，被配置用于将标注内镜图像数据集划分为训练内镜图像数据集和验证内镜图像数据集；
训练模块，被配置用于使用训练内镜图像数据集对机器学习模型进行训练，得到经训练的机器学习模型；
验证模块，被配置用于使用验证内镜图像数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及
判断模块，被配置用于在经训练的机器学习模型的性能小于预定性能指标时，重复第一阶段中的步骤；直到经训练的机器学习模型的性能大于等于预定性能指标。
在一些实施例中，针对分类任务，在第一阶段的主动学习中使用下述策略中的任一项或二者的组合：
i）基于机器学习模型对未标注内镜图像样本中的每个未标注样本进行预测，得到针对每个未标注内镜图像样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注内镜图像样本作为待标注内镜图像样本；
ii）对未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到每个未标注内镜图像样本的多个增强变型，基于机器学习模型对每个未标注内镜图像样本的多个增强变型进行预测，得到针对每个未标注内镜图像样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注内镜图像样本作为待标注内镜图像样本。
在一些实施例中，针对分类任务，在第二阶段的主动学习中使用下述策略中的任一项或其任意组合：
i）基于机器学习模型对未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到针对每个未标注内镜图像样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注内镜图像样本作为待标注内镜图像样本；
ii）对未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到每个未标注内镜图像样本的多个增强变型，基于机器学习模型对每个未标注内镜图像样本的多个增强变型进行预测，得到针对每个未标注内镜图像样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注内镜图像样本作为待标注内镜图像样本；
iii）基于机器学习模型对标注数据集中的每个标注内镜图像样本进行预测，得到每个标注内镜图像样本在机器学习模型的最后一个卷积层的特征向量，计算标注数据集中的每个标注内镜图像样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示分类任务的分类类别，N表示分类任务的分类类别总数；基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到每个标注内镜图像样本在机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的内镜图像样本作为待标注内镜图像样本。
在一些实施例中，计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
在一些实施例中，样本为图像，并且数据增强至少包括对图像的翻转、旋转、平移和缩放。
在一些实施例中，将标注数据集划分为训练数据集和验证数据集包括：按照预定比例将标注数据集划分为训练数据集和验证数据集。
在一些实施例中，内镜图像样本至少包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个。
根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有指令，指令当在处理器上执行时促使处理器执行根据第一、第二方面描述的方法。
本发明提供的方法及装置通过被训练的机器学习模型的主动学习来选择未标注样本集中的部分样本、特别是最难分类的若干样本作为待标注样本，对这些待标注样本进行标注，然后使用经标注的样本数据来训练该机器学习模型并验证其性能。这种方式可以大大减少需要标注的样本的数量，从而可以降低标注成本，缩短标注周期，并且降低模型训练时间，减少模型训练所需要的计算机资源。此外，通过将模型认为最难分类的样本选择为待标注样本来进行标注，可以避免大量简单样本进入训练数据集，这有助于构建高质量的训练数据集，进而提高模型的训练效率，提升所训练的模型的准确率。特别地，在基于医疗影像样本数据（诸如内镜图像）训练机器学习模型的过程中，可以将模型认为最难分类的样本交由经验丰富的专科医生进行标注，这提升了样本标注的准确性，并进一步提高了训练数据集的质量以及模型的训练效果。
根据在下文中所描述的实施例，本发明的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在下面结合附图对于示例性实施例的描述中，本发明的更多细节、特征和优点被公开，在附图中：
图1示出了应用本发明提供的方法的示例系统；
图2示出了根据本发明实施例的方法的示例性流程图；
图3示出了在根据本发明实施例的方法中使用的样本的示例；
图4示出了根据本发明实施例的装置的示例性框图；以及
图5示出了根据本发明实施例的计算系统的示例性框图。
具体实施方式
在详细介绍本发明的实施例之前，首先对一些相关的概念进行解释：
1、标注：在机器学习领域中，模型的训练是基于训练数据集进行的，训练数据集通常包括经标注的样本。标注意为为样本添加标记，例如，在分类问题中，标注意为将样本划分为某个类别或为其添加类别标签等。
2、主动学习：是一种机器学习方法，由算法主动提出要对哪些样本数据进行标注，之后由标注人员对将这些样本数据进行标注，再将经标注的数据加入到训练数据集中来对算法进行训练。主动学习算法一般可以分为两部分：学习引擎和选择引擎。学习引擎维护一个基准分类器，并使用监督学习算法对系统提供的已标注样本进行学习从而使该分类器的性能提高，而选择引擎负责运行样本选择算法选择未标注的样本以交由标注人员进行标注，再将标注后的样本加入到已标注样本集中。学习引擎和选择引擎交替工作，经过多次循环，基准分类器的性能逐渐提高，当满足预设条件时，过程终止。
3、DenseNet（密集连接卷积网络）：一种神经网络，其中存在大量密集的连接，故称之为密集连接卷积网络（DenseNet）。
4、AlexNet：2012年由Alex Krizhevsky等人提出的深度网络模型。
5、信息熵：熵代表随机分布的混乱程度，信息熵越大，表明模型对样本的不确定程度越高。
图1示意性示出了应用本发明提供的方法的示例系统100。如图1所示，系统100包括服务器110、网络120、用户端设备130。
服务器110可以是单个服务器或服务器集群，或者也可以是具有存储器和处理器的其他计算设备。服务器110上部署有机器学习模型111。服务器110上还存储有两个数据集：未标注数据集112，用于存储未标注样本；和标注数据集114，用于存储经标注的样本。标注数据集114又可以划分为训练数据集和验证数据集，分别用于存储经标注的训练样本和验证样本。机器学习模型111可以是任何合适的模型，例如AlexNet、DenseNet等，其参数可以被随机初始化，或者可以通过在诸如ImageNet（一种大型可视化数据库）的数据集上的预训练模型进行迁移学习而被初始化。
机器学习模型111可以通过以下过程来训练。首先，使用经初始化的机器学习模型111，通过主动学习，从未标注数据集112中存储的未标注样本中筛选出模型认为最难区分的未标注样本。然后，将筛选出的未标注样本交由标注人员113进行标注，并将标注后的样本存储至标注数据集114。可选地，标注后的样本可以按照预定比例（诸如2:1）随机划分至训练数据集和验证数据集中。接着，使用训练数据集中存储的样本训练机器学习模型111，更新其参数。之后使用验证数据集中存储的样本验证机器学习模型111的性能（诸如分类准确度），若性能满足预设要求（诸如分类准确度达到阈值准确度），则结束训练过程；否则，循环执行上述训练过程，直到性能满足预设要求为止。或者，在一些实施例中，可能存在无法继续标注的情况，例如缺少适当的标注人员、资金不足、时间不足等，此时也将结束训练过程。
下面以DenseNet-121网络结构为例，示出了机器学习模型111的示例结构。该结构包括4个密集块（Dense Block），模型增长速度（growth-rate）设置为24，其表示每一层增加的特征个数。过渡层（transition layer）特征压缩比设置为0.5。模型的具体结构如下表所示：
其中，每个密集块包括多个卷积层，以密集块1为例，其具体结构如下表所示，其他密集块的结构与之类似：
。
网络120的示例包括局域网（LAN）、广域网（WAN）、个域网（PAN）、和/或诸如因特网之类的通信网络的组合。服务器110和用户端设备130中的每一个可以包括能够通过网络120进行通信的至少一个通信接口（未示出）。这样的通信接口可以是以下项中的一个或多个：任何类型的网络接口（例如，网络接口卡（NIC））、有线或无线（诸如IEEE 802.11无线LAN（WLAN））无线接口、全球微波接入互操作（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、BluetoothTM接口、近场通信（NFC）接口等。通信接口的另外的示例在本文其他地方描述。
用户端设备130可以是任何类型的计算设备，例如移动电话、膝上型计算机、平板计算机、可穿戴计算设备（诸如智能手表、头戴式设备等）、台式计算机等以及具有一定计算能力的诸如医疗成像设备等的专业设备。用户可以通过用户端设备130上的应用程序，经由网络120访问服务器110上部署的机器学习模型111提供的功能。示例性地，用户端设备130可以将图片上传至服务器110，机器学习模型111可以对图片进行分类并输出其类别（例如是否存在异常、存在异常的可能性级别等），服务器110可以将该类别发送至用户端设备130。应理解，虽然分别示出，但用户端设备130与服务器110可以是同一计算设备。
图2示意性示出了根据本发明实施例的方法的示例性流程图200。
在步骤211处，输入未标注样本集。例如，可以经由I/O接口将未标注样本输入或传输至部署有机器学习模型的设备或可由其访问的另一设备中，并将这些未标注样本存储在未标注数据集中，机器学习模型可以从该数据集中读取这些未标注样本。示例性地，未标注样本集可以是内镜图像数据集，其可以包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个的内镜图像，图3示出了其示例。
在步骤212处，基于经初始化或经预训练的机器学习模型通过主动学习从未标注样本集中选择待标注样本。在一些实施例中，经预训练的机器学习模型是预先利用ImageNet数据集训练的。在一些实施例中，机器学习模型可以至少包括DenseNet或AlexNet。例如，机器学习模型的模型参数可以被随机初始化。或者，借助迁移学习，可以在诸如ImageNet的已知数据集上预训练机器学习模型，并使用学习到的参数作为模型的初始参数。
以及，在一些实施例中，针对分类任务，可以在主动学习中使用下述策略中的任一项或二者的组合：i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本。
针对策略i，例如，在二分类任务中，样本的预测结果的预测概率越接近0.5，说明信息熵比较高，表明当前模型对该样本具有较高的不确定性，即样本需要进行标注的价值越高。从而，可以选择预测概率与预定概率值（诸如0.5）的差值最小的若干个样本作为待标注样本。或者，可以选择预测概率落入预定区间内的样本作为待标注样本。
针对策略ii，数据增强可以包括翻转、旋转、平移和缩放中的一个或多个。例如，可以将一个图像样本进行翻转、旋转、平移或缩放，得到几张、甚至几十张图像，使用当前机器学习模型对这些图像中的每一个进行预测。若这些图像的预测结果一致，则说明该图像样本对于当前机器学习模型而言属于易于辨别的样本。若这些图像的预测结果不一致的程度较高，则说明该图像样本对于当前机器学习模型而言属于不易辨别的样本。然而，应注意，经过数据增强后的图像可能只包括原图像的一部分，仅通过观察该部分，可能确实无法确定其分类。因此，示例性地，可以采取少数服从多数的原则，即预定比例可以为50%，当多于50%的图像的预测结果一致时，就认为该图像易于辨别；反之，可以将其选择为待标注样本。
在步骤213处，对待标注样本进行标注，并将经标注的样本存储在标注数据集中。例如，可以经由I/O接口输出或发送所选择的待标注样本，使得标注人员可以对这些样本进行标注并反馈标注结果。示例性地，当样本为内镜图像时，可以将这些待标注样本交由相关领域的经验丰富的医生进行标注，以提高标注的准确性，提高经标注的样本的质量，以及进而提高所训练的机器学习模型的准确性。
在步骤214处，将标注数据集划分为训练数据集和验证数据集。在一些实施例中，将标注数据集划分为训练数据集和验证数据集包括：按照预定比例将标注数据集划分为训练数据集和验证数据集。示例性地，预定比例可以为2:1、3:1、5:2等。例如，当预定比例为2:1时，可以随机地将标注数据集中的2/3的样本划分至训练数据集中，并且将其中1/3的样本划分至验证数据集中。训练数据集用于对当前机器学习模型进行训练，以调整其参数。验证数据集用于验证经训练的当前机器学习模型的性能。
在步骤215处，使用训练数据集对机器学习模型进行训练，得到经训练的机器学习模型。
在步骤216处，使用验证数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能。在一些实施例中，经训练的机器学习模型的性能包括F1分数。F1分数是一种衡量二分类模型精确度的指标，它同时兼顾了分类模型的精确率和召回率，最大值是1，最小值是0。F1分数可以根据下式计算：
其中，以TP表示正例预测正确的个数，FP表示负例预测错误的个数，TN表示负例预测正确的个数，FN表示正例预测错误的个数，则P=TP/(TP+FP)，为精确率，R=TP/(TP+FN)，为召回率。然而，应理解，可以根据实际需要使用其他指标来衡量经训练的机器学习模型的性能，例如上文的精确率、召回率以及准确率、ROC曲线与AUC值等。
在经训练的机器学习模型的性能小于预定性能指标时，重复步骤211-216；直到经训练的机器学习模型的性能大于等于预定性能指标。
在步骤221处，判断经训练的机器学习模型的性能是否小于预定性能指标，若是，则返回至步骤211处；否则，进行至步骤222，结束对机器学习模型的训练。
应注意，当已经执行过步骤211-216之后，针对分类任务，在主动学习中可以使用下述策略中的任一项或其任意组合：
i）基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到针对每个未标注样本的预测结果，并在预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择未标注样本作为待标注样本；
ii）对未标注样本中的每个未标注样本进行数据增强，得到每个未标注样本的多个增强变型，基于机器学习模型对每个未标注样本的多个增强变型进行预测，得到针对每个未标注样本的多个增强变型的多个预测结果，并在多个预测结果中相同预测结果小于预定比例时，选择未标注样本作为待标注样本；
iii）基于机器学习模型对标注数据集中的每个标注样本进行预测，得到每个标注样本在机器学习模型的最后一个卷积层的特征向量，计算标注数据集中的每个标注样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示分类任务的分类类别，N表示分类任务的分类类别总数；基于机器学习模型对未标注样本中的每个未标注样本进行预测，得到每个未标注样本在机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的样本作为待标注样本。
策略i与策略ii已在上文中进行说明。针对策略iii，在一些实施例中，计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。应理解，也可以使用例如欧氏距离、切比雪夫距离等来计算LDPi与各个ULDi的相似度。示例性地，可以按从小到大的顺序对针对所有未标注样本计算的相似度进行排序，选择前m个未标注样本作为待标注样本，其中m为预先设定的。或者，也可以将针对各个未标注样本计算的相似度与阈值相似度进行比较，选择低于阈值相似度的未标注样本作为待标注样本，其中阈值相似度为预先设定的。
应理解，由于策略iii需要使用标注数据集中的标注样本，所以只有在标注数据集不为空时才可使用该策略。策略i、ii、iii可以单独使用，也可以组合使用，因此，当标注数据集为空时，可以存在3种策略使用方式，而当标注数据集不为空时，可以存在7种策略使用方式，如下表所示：
。
图4示意性示出了根据本发明实施例的训练装置400的示例性框图。如图4所示，训练装置400包括输入模块401、选择模块402、标注模块403、划分模块404、训练模块405、验证模块406以及判断模块407。
输入模块401被配置用于输入未标注样本集；选择模块402被配置用于基于经初始化或经预训练的机器学习模型通过主动学习从未标注样本集中选择待标注样本；标注模块403被配置用于对待标注样本进行标注，并将经标注的样本存储在标注数据集中；划分模块404被配置用于将标注数据集划分为训练数据集和验证数据集；训练模块405被配置用于使用训练数据集对机器学习模型进行训练，得到经训练的机器学习模型；验证模块406被配置用于使用验证数据集对经训练的机器学习模型进行验证，得到经训练的机器学习模型的性能；以及，判断模块407被配置用于经训练的机器学习模型的性能小于预定性能指标时，重复在输入模块401、选择模块402、标注模块403、划分模块404、训练模块405中执行的操作，直到经训练的机器学习模型的性能大于等于预定性能指标。
本发明提供的用于对机器学习模型进行训练的方法和装置适用于基于各种样本的场景，特别是基于图片样本的场景，尤其是基于内镜图像样本的场景。在基于内镜图像样本对机器学习模型进行训练的方法和装置中，使用未标注的内镜图像作为未标注样本，根据上述方法从中选择部分内镜图像作为待标注内镜图像样本，对待标注内镜图像样本进行标注后，将其划分为训练内镜图像数据集和验证内镜图像数据集，然后使用训练内镜图像数据集训练机器学习模型，并使用验证内镜图像数据集验证经训练的机器学习模型的性能。
基于诸如内镜图像的医疗影像样本训练的机器学习模型可以为医生诊断提供参考，也可以为健康管理提供辅助作用。然而，诸如内镜图像的医疗影像样本的标注工作十分繁杂，并且需要大量医生的参与，因而可能耗费大量时间及人力成本。在大量样本中选择要交与医生进行标注的样本往往通过以下方式进行：随机挑选，或者人工选择比较复杂的样本。但是，由于人为觉得比较复杂的样本与机器认为复杂的样本可能不同，所以通过上述方式选择的样本中可能存在大量简单样本，这些样本对模型的训练效果并无显著益处，反而容易造成模型对简单样本的过拟合。使用本文提供的基于主动学习选择待标注样本的训练方法和装置，可以有效避免上述问题，有助于在短时间内以更少的人力成本更大限度地提升所训练的机器学习模型的性能。
图5示意性示出了一个示例系统500，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备510。
计算设备510可以是例如服务提供商的服务器或任何其它合适的计算设备或计算系统，其范围从具有大量存储器和处理器资源的全资源设备到具有有限的存储器和/或处理资源的低资源设备。在一些实施例中，上面关于图4描述的训练装置400可以采取计算设备510的形式。
如图示的示例计算设备510包括彼此通信耦合的处理系统511、一个或多个计算机可读介质512以及一个或多个I/O接口513。尽管未示出，但是计算设备510还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。
处理系统511代表使用硬件执行一个或多个操作的功能。因此，处理系统511被图示为包括可被配置为处理器、功能块等的硬件元件514。这可以包括在硬件中实现作为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件514不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质512被图示为包括存储器/存储装置515。存储器/存储装置515表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置515可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置515可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质512可以以下面进一步描述的各种其他方式进行配置。
一个或多个输入/输出接口513代表允许用户向计算设备510键入命令和信息并且还允许使用各种输入/输出设备将信息呈现给用户和/或发送给其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）、网卡、接收机等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、触觉响应设备、网卡、发射机等。
计算设备510还包括训练应用516。训练应用516可以作为计算程序指令存储在存储器/存储装置515中。训练应用516可以连同处理系统511、I/O接口一起实现关于图4描述的训练装置400的各个模块的全部功能。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备510访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备510的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。
如前所述，硬件元件514和计算机可读介质512代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件514体现的一个或多个指令和/或逻辑。计算设备510可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件514，可以至少部分地以硬件来实现将模块实现为可由计算设备510作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备510和/或处理系统511）可执行/可操作以实现本文所述的技术、模块和示例。
本文描述的技术可以由计算设备510的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。计算设备510的功能还可以通过使用分布式系统、诸如通过如下所述的平台530在“云”520上全部或部分地实现。
云520包括和/或代表用于资源532的平台530。平台530抽象云520的硬件（例如，服务器）和软件资源的底层功能。资源532可以包括在远离计算设备510的服务器上执行计算机处理时可以使用的应用和/或数据。资源532还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的客户网络提供的服务。
平台530可以抽象资源和功能以将计算设备510与其他计算设备连接。平台530还可以用于抽象资源的分级以提供遇到的对于经由平台530实现的资源532的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统500内。例如，功能可以部分地在计算设备510上以及通过抽象云520的功能的平台530来实现。
通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获利。

Claims (13)

1.一种用于对机器学习模型进行训练的方法，其特征在于至少包括下述步骤：
第一阶段：
-输入未标注图像样本集；
-基于经初始化或经预训练的所述机器学习模型通过主动学习从所述未标注图像样本集中选择待标注图像样本；
-对所述待标注图像样本进行标注，并将经标注的图像样本存储在标注数据集中；
-将所述标注数据集划分为训练数据集和验证数据集；
-使用所述训练数据集对所述机器学习模型进行训练，得到经训练的机器学习模型；
-使用所述验证数据集对所述经训练的机器学习模型进行验证，得到所述经训练的机器学习模型的性能；以及
第二阶段：
-在所述经训练的机器学习模型的性能小于预定性能指标时，重复所述第一阶段中的步骤；直到所述经训练的机器学习模型的性能大于等于所述预定性能指标；
其中，在所述第二阶段的主动学习中使用下述策略中的任一项或其任意组合从所述未标注图像样本集中选择所述待标注图像样本：
i）基于所述机器学习模型对所述未标注图像样本中的每个未标注图像样本进行预测，得到针对所述每个未标注图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注图像样本作为所述待标注图像样本；
ii）对所述未标注图像样本中的每个未标注图像样本进行数据增强，得到所述每个未标注图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注图像样本的多个增强变型进行预测，得到针对所述每个未标注图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注图像样本作为所述待标注图像样本；
iii）基于所述机器学习模型对所述标注数据集中的每个标注图像样本进行预测，得到所述每个标注图像样本在所述机器学习模型的最后一个卷积层的特征向量，计算所述标注数据集中的每个标注图像样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示所述分类任务的分类类别，N表示所述分类任务的分类类别总数；基于所述机器学习模型对所述未标注图像样本中的每个未标注图像样本进行预测，得到所述每个未标注图像样本在所述机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的图像样本作为所述待标注图像样本。
2.根据权利要求1所述的方法，其特征在于，在所述第一阶段的主动学习中使用下述策略中的任一项或二者的组合从所述未标注图像样本集中选择所述待标注图像样本：
i）基于所述机器学习模型对所述未标注图像样本中的每个未标注图像样本进行预测，得到针对所述每个未标注图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注图像样本作为所述待标注图像样本；
ii）对所述未标注图像样本中的每个未标注图像样本进行数据增强，得到所述每个未标注图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注图像样本的多个增强变型进行预测，得到针对所述每个未标注图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注图像样本作为所述待标注图像样本。
3.根据权利要求1所述的方法，其中所述计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
4.根据权利要求1或2所述的方法，其中所述数据增强至少包括对所述图像的翻转、旋转、平移和缩放。
5.根据权利要求1或2所述的方法，其中所述将所述标注数据集划分为训练数据集和验证数据集包括：按照预定比例将所述标注数据集划分为训练数据集和验证数据集。
6.根据权利要求1或2所述的方法，其中所述图像样本为内镜图像，所述内镜图像至少包括食管、十二指肠、结直肠、胃和咽喉中的一个或多个。
7.根据权利要求1或2所述的方法，其中经训练的机器学习模型的性能包括F1分数。
8.一种用于基于内镜图像对机器学习模型进行训练的方法，其特征在于至少包括下述步骤：
第一阶段：
-输入未标注内镜图像样本集；
-基于经初始化或经预训练的所述机器学习模型通过主动学习从所述未标注内镜图像样本集中选择待标注内镜图像样本；
-对所述待标注内镜图像样本进行标注，并将经标注的内镜图像样本存储在标注内镜图像数据集中；
-将所述标注内镜图像数据集划分为训练内镜图像数据集和验证内镜图像数据集；
-使用所述训练内镜图像数据集对所述机器学习模型进行训练，得到经训练的机器学习模型；
-使用所述验证内镜图像数据集对所述经训练的机器学习模型进行验证，得到所述经训练的机器学习模型的性能；以及
第二阶段：
-在所述经训练的机器学习模型的性能小于预定性能指标时，重复所述第一阶段中的步骤；直到所述经训练的机器学习模型的性能大于等于所述预定性能指标，
其中，在所述第二阶段的主动学习中使用下述策略中的任一项或其任意组合从所述未标注内镜图像样本集中选择所述待标注内镜图像样本：
i）基于所述机器学习模型对所述未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到针对所述每个未标注内镜图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本；
ii）对所述未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到所述每个未标注内镜图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注内镜图像样本的多个增强变型进行预测，得到针对所述每个未标注内镜图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本；
iii）基于所述机器学习模型对所述标注内镜图像数据集中的每个标注内镜图像样本进行预测，得到所述每个标注内镜图像样本在所述机器学习模型的最后一个卷积层的特征向量，计算所述标注内镜图像数据集中的每个标注内镜图像样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示所述分类任务的分类类别，N表示所述分类任务的分类类别总数；基于所述机器学习模型对所述未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到所述每个标注内镜图像样本在所述机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的内镜图像样本作为所述待标注内镜图像样本。
9.根据权利要求8所述的方法，其特征在于，在所述第一阶段的主动学习中使用下述策略中的任一项或二者的组合从所述未标注内镜图像样本集中选择所述待标注内镜图像样本：
i）基于所述机器学习模型对所述未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到针对所述每个未标注内镜图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本；
ii）对所述未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到所述每个未标注内镜图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注内镜图像样本的多个增强变型进行预测，得到针对所述每个未标注内镜图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本。
10.根据权利要求8所述的方法，其中所述计算LDPi与各个ULDi的相似度是通过计算LDPi与各个ULDi之间的余弦距离进行的。
11.一种用于实施如权利要求1所述的方法的装置，其特征在于至少包括：
用于所述第一阶段的模块，包括：
输入模块，被配置用于输入未标注图像样本集；
选择模块，被配置用于基于经初始化或经预训练的所述机器学习模型通过主动学习从所述未标注图像样本集中选择待标注图像样本；
标注模块，被配置用于对所述待标注图像样本进行标注，并将经标注的图像样本存储在标注数据集中；
划分模块，被配置用于将所述标注数据集划分为训练数据集和验证数据集；
训练模块，被配置用于使用所述训练数据集对所述机器学习模型进行训练，得到经训练的机器学习模型；
验证模块，被配置用于使用所述验证数据集对所述经训练的机器学习模型进行验证，得到所述经训练的机器学习模型的性能；以及
用于所述第二阶段的模块，包括：
判断模块，被配置用于所述经训练的机器学习模型的性能小于预定性能指标时，重复所述第一阶段中的步骤；直到所述经训练的机器学习模型的性能大于等于所述预定性能指标，其中，所述判断模块进一步配置来使用下述策略中的任一项或其任意组合从所述未标注图像样本集中选择所述待标注图像样本：
i）基于所述机器学习模型对所述未标注图像样本中的每个未标注图像样本进行预测，得到针对所述每个未标注图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注图像样本作为所述待标注图像样本；
ii）对所述未标注图像样本中的每个未标注图像样本进行数据增强，得到所述每个未标注图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注图像样本的多个增强变型进行预测，得到针对所述每个未标注图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注图像样本作为所述待标注图像样本；
iii）基于所述机器学习模型对所述标注数据集中的每个标注图像样本进行预测，得到所述每个标注图像样本在所述机器学习模型的最后一个卷积层的特征向量，计算所述标注数据集中的每个标注图像样本的最后一个卷积层的特征向量的均值LDc（ {0,1，…，N}），其中c表示所述分类任务的分类类别，N表示所述分类任务的分类类别总数；基于所述机器学习模型对所述未标注图像样本中的每个未标注图像样本进行预测，得到所述每个未标注图像样本在所述机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的图像样本作为所述待标注图像样本。
12.一种用于实施如权利要求8所述的方法的装置，其特征在于至少包括：
用于所述第一阶段的模块，包括：
输入模块，被配置用于输入未标注内镜图像样本集；
选择模块，被配置用于基于经初始化或经预训练的所述机器学习模型通过主动学习从所述未标注内镜图像样本集中选择待标注内镜图像样本；
标注模块，被配置用于对所述待标注内镜图像样本进行标注，并将经标注的内镜图像样本存储在标注内镜图像数据集中；
划分模块，被配置用于将所述标注内镜图像数据集划分为训练内镜图像数据集和验证内镜图像数据集；
训练模块，被配置用于使用所述训练内镜图像数据集对所述机器学习模型进行训练，得到经训练的机器学习模型；
验证模块，被配置用于使用所述验证内镜图像数据集对所述经训练的机器学习模型进行验证，得到所述经训练的机器学习模型的性能；以及
用于所述第二阶段的模块，包括：
判断模块，被配置用于在所述经训练的机器学习模型的性能小于预定性能指标时，重复所述第一阶段中的步骤；直到所述经训练的机器学习模型的性能大于等于所述预定性能指标，
其中，所述判断模块进一步配置来使用下述策略中的任一项或其任意组合从所述未标注内镜图像样本集中选择所述待标注内镜图像样本：
i）基于所述机器学习模型对所述未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到针对所述每个未标注内镜图像样本的预测结果，并在所述预测结果针对分类任务中每个分类类别的分类预测概率在预定范围内时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本；
ii）对所述未标注内镜图像样本中的每个未标注内镜图像样本进行数据增强，得到所述每个未标注内镜图像样本的多个增强变型，基于所述机器学习模型对所述每个未标注内镜图像样本的多个增强变型进行预测，得到针对所述每个未标注内镜图像样本的多个增强变型的多个预测结果，并在所述多个预测结果中相同预测结果小于预定比例时，选择所述未标注内镜图像样本作为所述待标注内镜图像样本；
iii）基于所述机器学习模型对所述标注内镜图像数据集中的每个标注内镜图像样本进行预测，得到所述每个标注内镜图像样本在所述机器学习模型的最后一个卷积层的特征向量，计算所述标注内镜图像数据集中的每个标注内镜图像样本的最后一个卷积层的特征向量的均值LDc（{0,1，…，N}），其中c表示所述分类任务的分类类别，N表示所述分类任务的分类类别总数；基于所述机器学习模型对所述未标注内镜图像样本中的每个未标注内镜图像样本进行预测，得到所述每个标注内镜图像样本在所述机器学习模型的最后一个卷积层的特征向量ULDi以及分类类别的预测结果Pi，Pi/>{0,1,…,N}；并计算LDPi与各个ULDi的相似度，选择预定数量的相似度较小的内镜图像样本作为所述待标注内镜图像样本。
13.一种计算机可读存储介质，其上存储有指令，所述指令当在处理器上执行时促使所述处理器执行权利要求1-10中任一项所述的方法。
CN201911397441.9A 2019-12-30 2019-12-30 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 Active CN111126574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911397441.9A CN111126574B (zh) 2019-12-30 2019-12-30 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397441.9A CN111126574B (zh) 2019-12-30 2019-12-30 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111126574A CN111126574A (zh) 2020-05-08
CN111126574B true CN111126574B (zh) 2023-07-28

Family

ID=70505340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397441.9A Active CN111126574B (zh) 2019-12-30 2019-12-30 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111126574B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612161A (zh) * 2020-05-26 2020-09-01 罗普特科技集团股份有限公司 一种自动更新深度学习模型的方法、装置及存储介质
CN114078578A (zh) * 2020-08-06 2022-02-22 富泰华工业（深圳）有限公司 数据标注模型训练方法、装置、电子设备及存储介质
CN112308143A (zh) * 2020-10-30 2021-02-02 江苏云从曦和人工智能有限公司 一种基于多样性的样本筛选方法、系统、设备及介质
CN112712515A (zh) * 2021-01-06 2021-04-27 重庆金山医疗器械有限公司 一种内镜图像处理方法、装置、电子设备及存储介质
CN112434809B (zh) * 2021-01-26 2021-04-06 成都点泽智能科技有限公司 基于主动学习的模型训练方法、装置及服务器
CN112766390A (zh) * 2021-01-26 2021-05-07 上海明略人工智能(集团)有限公司 用于确定训练样本的方法、装置及设备
CN112785585B (zh) * 2021-02-03 2023-07-28 腾讯科技（深圳）有限公司 基于主动学习的图像视频质量评价模型的训练方法以及装置
CN113268596A (zh) * 2021-05-24 2021-08-17 康键信息技术（深圳）有限公司 科室分类模型的验证方法、装置、设备及存储介质
CN113505805B (zh) * 2021-05-25 2023-10-13 平安银行股份有限公司 样本数据闭环生成方法、装置、设备及存储介质
CN113344216A (zh) * 2021-06-17 2021-09-03 上海商汤科技开发有限公司 数据标注方法和平台
CN113554062B (zh) * 2021-06-25 2023-08-01 北京百度网讯科技有限公司 多分类模型的训练方法、设备和存储介质
CN113591927B (zh) * 2021-07-02 2024-04-19 北京地平线机器人技术研发有限公司 一种检测模型的训练方法及装置
CN113344916A (zh) * 2021-07-21 2021-09-03 上海媒智科技有限公司 机器学习模型能力的获取方法、系统、终端、介质及应用
CN113435540A (zh) * 2021-07-22 2021-09-24 中国人民大学 一种类分布不匹配时的图像分类方法、系统、介质和设备
CN113642659B (zh) * 2021-08-19 2023-06-20 上海商汤科技开发有限公司 一种训练样本集生成的方法、装置、电子设备及存储介质
CN114141382A (zh) * 2021-12-10 2022-03-04 厦门影诺医疗科技有限公司 一种消化内镜视频数据筛选标注方法、系统和应用
CN114764874B (zh) * 2022-04-06 2023-04-07 北京百度网讯科技有限公司 深度学习模型的训练方法、对象识别方法和装置
CN116563735A (zh) * 2023-05-15 2023-08-08 国网电力空间技术有限公司 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247996A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种应用于异分布数据环境的主动学习方法
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法
CN109920501A (zh) * 2019-01-24 2019-06-21 西安交通大学 基于卷积神经网络和主动学习的电子病历分类方法及系统
CN109948703A (zh) * 2019-03-20 2019-06-28 上海交通大学 基于深度学习的基因图像处理估计方法、系统、介质及设备
CN109960800A (zh) * 2019-03-13 2019-07-02 安徽省泰岳祥升软件有限公司 基于主动学习的弱监督文本分类方法及装置
CN110427994A (zh) * 2019-07-24 2019-11-08 腾讯医疗健康(深圳)有限公司 消化道内镜图像处理方法、装置、存储介质、设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032901A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Greedy Active Learning for Reducing User Interaction
US11194846B2 (en) * 2016-11-28 2021-12-07 Here Global B.V. Method and apparatus for providing automated generation of parking restriction data using machine learning
US10719780B2 (en) * 2017-03-31 2020-07-21 Drvision Technologies Llc Efficient machine learning method
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247996A (zh) * 2017-06-29 2017-10-13 哈尔滨工程大学 一种应用于异分布数据环境的主动学习方法
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法
CN109920501A (zh) * 2019-01-24 2019-06-21 西安交通大学 基于卷积神经网络和主动学习的电子病历分类方法及系统
CN109960800A (zh) * 2019-03-13 2019-07-02 安徽省泰岳祥升软件有限公司 基于主动学习的弱监督文本分类方法及装置
CN109948703A (zh) * 2019-03-20 2019-06-28 上海交通大学 基于深度学习的基因图像处理估计方法、系统、介质及设备
CN110427994A (zh) * 2019-07-24 2019-11-08 腾讯医疗健康(深圳)有限公司 消化道内镜图像处理方法、装置、存储介质、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Active learning reduces annotation time for clinical concept extraction;Kholghi M等;《International Journal of Medical Informatics》;第25-31页 *
基于图理论学习模型的胃窥镜图像自动标注;王李冬;《杭州师范大学学报(自然科学版)》;第11卷(第1期);第71-76页 *

Also Published As

Publication number Publication date
CN111126574A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
US10504009B2 (en) Image hash codes generated by a neural network
US9990558B2 (en) Generating image features based on robust feature-learning
US10937540B2 (en) Medical image classification based on a generative adversarial network trained discriminator
US10540578B2 (en) Adapting a generative adversarial network to new data sources for image classification
US20180285778A1 (en) Sensor data processor with update ability
WO2021098534A1 (zh) 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
US11893659B2 (en) Domain adaption
TWI831016B (zh) 機器學習方法、機器學習系統以及非暫態電腦可讀取媒體
CN115699041A (zh) 利用专家模型的可扩展迁移学习
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
US20230368028A1 (en) Automated machine learning pre-trained model selector
McCullough et al. Convolutional neural network models for automatic preoperative severity assessment in unilateral cleft lip
CN111967581B (zh) 分群模型的解释方法、装置、计算机设备和存储介质
CN113192627A (zh) 一种基于病人与疾病二部图的再入院预测方法及系统
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
Jin et al. Metadata and image features co-aware personalized federated learning for smart healthcare
EP4160488A1 (en) Adaptive aggregation for federated learning
EP4364102A1 (en) Method for training and using a deep learning algorithm to compare medical images based on dimensionality-reduced representations
KR102569976B1 (ko) 의료 영상 처리 방법
US20220398506A1 (en) Systems and Methods for Implicit Rate-Constrained Optimization of Non-Decomposable Objectives
CN116935143B (zh) 基于个性化联邦学习的dfu医学图像分类方法及系统
US12014288B1 (en) Method of and system for explainability for link prediction in knowledge graph
KR102501793B1 (ko) 데이터셋 구성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant