CN110390674B - 图像处理方法、装置、存储介质、设备以及系统 - Google Patents

图像处理方法、装置、存储介质、设备以及系统 Download PDF

Info

Publication number
CN110390674B
CN110390674B CN201910670469.9A CN201910670469A CN110390674B CN 110390674 B CN110390674 B CN 110390674B CN 201910670469 A CN201910670469 A CN 201910670469A CN 110390674 B CN110390674 B CN 110390674B
Authority
CN
China
Prior art keywords
data set
model
training
label
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910670469.9A
Other languages
English (en)
Other versions
CN110390674A (zh
Inventor
王晓宁
孙钟前
付星辉
尚鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201910670469.9A priority Critical patent/CN110390674B/zh
Publication of CN110390674A publication Critical patent/CN110390674A/zh
Application granted granted Critical
Publication of CN110390674B publication Critical patent/CN110390674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质、设备以及系统，属于人工智能技术领域，具体涉及计算机视觉技术和机器学习技术。方法包括：获取待检测图像；基于第一模型对待检测图像进行分类，第一模型是在第二模型的约束下基于第一训练数据集训练得到的，第一训练数据集包括纯净数据集和噪音数据集，第二模型是在训练第一模型之前基于第二训练数据集训练得到的；纯净数据集包括标注一致的样本图像，噪音数据集包括标注不一致的样本图像，第二训练数据集为第一训练数据集的子集且包括纯净数据集。本申请实现了在增加训练数据集的数据量的同时，又能够基于知识蒸馏技术降低因标注标签出错而对模型预测精准度的影响，确保了模型的预测准确率。

Description

图像处理方法、装置、存储介质、设备以及系统
技术领域
本申请涉及人工智能技术领域，特别涉及一种图像处理方法、装置、存储介质、设备以及系统。
背景技术
计算机视觉技术和机器学习技术作为人工智能的核心，其应用范围目前已经遍及各个领域，比如医疗领域便是其中一种。在医疗领域中，利用计算机视觉技术和机器学习技术对医疗影像进行处理，可实现对病人是否罹患某种疾病进行识别。比如，通过机器学习模型辅助医生进行消化道疾病检测。
相关技术在通过图像处理进行疾病检测时，通常的做法是：获取一个训练数据集，该训练数据集中包括标注的样本图像；根据该训练数据集对某个深度神经网络进行训练，得到一个机器学习模型；之后，将待检测图像输入该机器学习模型中，即可得到该机器学习模型输出的预测结果。
针对上述图像处理方式，训练过程中通常是基于这样一个假设，即标注人员对样本图像的标注标签全部是正确的。然而，在某些情形下医疗影像所表现出的病变特征，即使是一些经过专业训练的医生，也可能较难分辨其病变性质，即标注标签有一定的出错概率，对于该种情况，基于上述训练方式训练出来的机器学习模型的精度非常有限，会严重影响后续图像检测过程中的检测精准度。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质、设备以及系统，解决了相关技术存在的模型精度较差，进而导致在图像检测过程中检测精准度较差的问题。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取待检测图像；
基于第一模型对所述待检测图像进行分类，所述第一模型是在第二模型的约束下基于第一训练数据集训练得到的，所述第一训练数据集包括纯净数据集和噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；
其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述第二训练数据集为所述第一训练数据集的子集且包括所述纯净数据集。
另一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取待检测图像；
处理模块，用于基于第一模型对所述待检测图像进行分类，所述第一模型是在第二模型的约束下基于第一训练数据集训练得到的，所述第一训练数据集包括纯净数据集和噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；
其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述第二训练数据集为所述第一训练数据集的子集且包括所述纯净数据集。
在一种可能的实现方式中，所述噪音数据集的总个数为n-1个，n为不小于2的正整数；
其中，第n-1噪音数据集中包括n-1个标注人员标注一致的样本图像；第n-2噪音数据集中包括n-2个标注人员标注一致的样本图像；以此类推，第一噪音数据集中包括n个标注人员均标注不一致的样本图像。
在一种可能的实现方式中，所述训练模块，还用于获取所述标注人员对所述样本图像的标注标签；
获取所述第二模型对所述样本图像的预测标签；
基于所述样本图像的标注标签和所述第二模型输出的预测标签，生成所述样本图像的实际标签。
在一种可能的实现方式中，应用下述公式，生成所述样本图像的实际标签：
Figure BDA0002141534530000021
其中，
Figure BDA0002141534530000022
指代所述样本图像的实际标签；λ指代可调节系数，其取值为一个常数；y指代所述样本图像的标注标签；s指代上一步训练过程中得到的模型对所述样本图像的预测标签。
在一种可能的实现方式中，所述损失函数的计算公式为：
L(yi,f(xi))＝l(λyi+(1-λ)si,f(xi))
其中，λ指代可调节系数，其取值为一个常数；i的取值为正整数，xi指代第i个样本图像，yi为所述标注人员对样本图像xi的标注标签，f(xi)指代当前训练的模型对样本图像xi的预测标签，si指代上一步训练过程中得到的模型对样本图像xi的预测标签。
另一方面，提供了一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的图像处理方法。
另一方面，提供了一种图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的图像处理方法。
另一方面，提供了一种图像处理系统，所述系统包括：模型训练设备和图像处理设备，所述图像处理设备包括显示屏幕；
所述模型训练设备，用于在第二模型的约束下，基于第一训练数据集训练第一模型，所述第一训练数据集包括纯净数据集和噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述第二训练数据集为所述第一训练数据集的子集且包括所述纯净数据集；
所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现：获取待检测图像，基于所述第一模型对所述待检测图像进行分类；
所述显示屏幕用于对输出的预测分类结果进行显示。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例将训练数据集分为了纯净数据集和噪音数据集，其中，纯净数据集中包括标注一致的样本图像，噪音数据集中包括标注不一致的样本图像，为了规避标注不一致的数据对模型训练造成的不良影响，实现有效利用标注不一致的数据，在模型训练过程中包括多步模型训练，比如用于对待检测图像进行分类的第一模型即是在第二模型的约束下训练得到的，其中，第二模型的训练过程在训练第一模型之前，也即模型训练是一个知识蒸馏过程，之前训练得到的模型会指导当前的模型训练，其中，每一步训练使用的训练数据集中均包括纯净数据集，且之前训练使用的数据集为当前训练使用的数据集的子集，这也确保了知识蒸馏过程是一个逐步提高模型的预测精准度的过程。
换一种表达方式，本申请实施例除了能够利用标注一致的数据之外，还能够有效利用标注不一致的数据，实现了在增加训练数据集的数据量的同时，又能够降低因标注标签出错而对模型预测精准度的影响，从而可以在有效利用标注不一致的数据的基础上，有效提高模型的预测准确率。即，基于上述训练方式训练出来的机器学习模型的精度较佳，在获取到待检测图像后，可直接基于第一模型对待检测图像进行分类，确保了图像检测过程中的检测精准度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法涉及的实施环境的示意图；
图2是本申请实施例提供的一种消化道内镜影像的示意图；
图3是本申请实施例提供的一种图像处理方法的流程图；
图4是本申请实施例提供的一种模型训练过程中知识蒸馏框架的示意图；
图5是本申请实施例提供的一种图像处理方法的流程图；
图6是本申请实施例提供的一种图像处理装置的结构示意图；
图7是本申请实施例提供的一种图像处理装置的结构示意图；
图8是本申请实施例提供的一种模型训练设备的结构示意图；
图9是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的图像处理方案应用于智能医疗领域，涉及人工智能的计算机视觉技术和机器学习技术等。
其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(OpticalCharacter Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
而机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
下面通过如下实施例对本申请提供的一种图像处理方法进行说明:
在对本申请实施例进行详细地解释说明之前，先对本申请实施例涉及到的一些名词进行解释说明。
标注一致：指代对于同一张图像，不同的标注人员标注的标签完全相同。
作为一个示例，以医疗影像为例，标注一致指代：对于同一张医疗影像，不同的专业标注人员标注的标签完全相同。其中，此处的专业标注人员通常指代相关领域的医生。
标注不一致：指代对于同一张图像，不同的标注人员标注的标签不同。
其中，对于同一张图像，标注不一致既可以包括每个标注人员标注的标签均不一致的情况，也可以包括其中部分标注人员标注的标签相同，但与另外的一些标注人员标注的标签不同的情况，本申请实施例对此不进行具体限定。
作为一个示例，假设一共有3个标注人员对同一张图像进行标注，则标注不一致可以包括如下两种情况：2个标注人员标注一致，但与第三个标注人员标注不一致；3个标注人员均标注不一致。
另外，需要说明的是，标注不一致可能存在多个等级。
作为一个示例，以一张关于结直肠的医疗影像为例，医生A可能标注该影像存在腺瘤性息肉，医生B可能标注该影像存在腺癌，医生C可能标注该影像存在非腺瘤性息肉，即3个医生给出的标注结论均不一致；当然，也可能会出现医生A和医生B标注该影像存在腺瘤性息肉，而医生C标注该影像存在腺癌的情况，即2人的标注结论一致。
干净数据集：指代全部标注人员均标注一致的样本图像构成的数据集合。
其中，在统计意义上，该数据集具有更高的准确率。在本申请实施例中，干净数据集也可称之为纯净数据集，以符号Dc指代。
继续以医疗影像为例，假设3个医生进行同一张医疗影像的标注，则干净数据集指代这3个医生标注过的医疗影像中标注一致的数据集合。
噪音数据集：指代标注人员标注不一致的样本图像构成的数据集合。
在一种可能的实现方式中，假设有n个专业标注人员对样本图像进行标注，则在本申请实施例中噪音数据集的总个数为n-1个，n为不小于2的正整数。
其中，噪音数据集Dn-1中包括n-1个标注人员标注一致的样本图像；噪音数据集Dn-2中包括n-2个标注人员标注一致的样本图像；以此类推，噪音数据集D1中包括n个标注人员均标注不一致的样本图像。
继续以医疗影像为例，假设3个医生进行同一张医疗影像的标注，则噪音数据集D2表示2个医生标注一致的医疗影像构成的数据集合，D1表示3个医生标注均不一致的医疗影像构成的数据集合。
深度神经网络：基于深度学习，源于神经网络，其中，深度学习为机器学习的子类，深度神经网络从字面上理解即是深层次的神经网络。作为一个示例，将简单的单层神经网络中的隐藏层扩展出来多层时，便得到了深度神经网络。
在一种可能的实现方式中，本申请实施例使用的深度神经网络包括但不限于DenseNet(Densely Connected Convolutional Networks，密集连接卷积网络)、VGG(Visual Geometry Group Network，视觉几何组)网络，本申请实施例对此不进行具体限定。
时下在高发的恶性肿瘤中，诸如食道癌、结肠癌以及胃癌等消化道癌症的发病率和死亡率呈持续上升趋势。如果能在病变早期及时发现并进行治疗，则大部分的早癌患者可以被完全治愈。因此，进行癌症早期筛查十分重要。
近年来，随着机器学习技术和计算机视觉技术的发展，医学领域也取得了重大突破，即基于机器学习技术和计算机视觉技术的人工智能可以协助医生进行疾病检测。其中，医疗影像是人工智能辅助医生进行疾病检测的可选条件之一。即，利用医疗影像，结合人工智能可以辅助医生进行疾病检测。作为一个示例，利用消化道内镜影像，可以结合人工智能进行消化道疾病检测。
其中，基于机器学习技术和计算机视觉技术辅助进行疾病检测，还需使用训练数据集训练机器学习模型。而在进行模型训练之前，首先还需由专业标注人员标注已有的医疗影像，作为训练数据集。
需要说明的是，不同于日常生活中常见图片上的物体，在某些情形下医疗影像所表现的病变特征，即使是一些经过专业训练的医生，也可能较难分辨其病变性质，因此标注过程有一定的出错概率，即由于不同医生各自的专业知识、工作经验、工作状态等不同，所以可能会给出不一致的标注结论。然而，对训练数据集的标注准确率至关重要，因为它决定了基于该训练数据集训练出来的模型所能到达的检测效果。
基于此，在标注过程中，对于同一张医疗影像，通常会有多个专业标注人员进行标注。其中，多个专业标注人员给出一致性标注结论的数据，在统计意义上具有更高的准确率。但是，如果仅使用标注一致的数据，而丢弃标注不一致的数据，则会大大降低训练数据集中包括的数据量，造成资源浪费，最终训练出的模型效果也可能较差。而对于标注不一致的数据，如果仅是简单地随机选取某个专业标注人员的标注结果作为实际标签，则标签出错的可能性较高，若将其会同标注一致的数据一起作为训练数据集，则极有可能会对模型训练造成误导。
针对上述存在的问题，本申请实施例提供的图像处理方法能够有效利用这部分标注不一致的数据，能够实现在增加样本数据量的同时，降低因标签出错而对模型造成的影响，从而提高训练出来的机器学习模型的预测准确率。
下面对本申请实施例提供的一种图像处理方法涉及的实施环境进行介绍。
参见图1，该实施环境中包括模型训练设备101和图像处理设备102。
其中，模型训练设备101用于进行模型训练，图像处理设备102用于基于模型训练设备101训练好的机器学习模型进行图像处理，即基于该机器学习模型完成对待检测图像进行分类，比如识别待检测的医疗影像中是否存在疾病以及疾病种类。
在一种可能的实现方式中，图像处理设备102通常包括显示屏幕，用于显示机器学习模型输出的预测分类结果，以及对临床医生进行提示。
在本申请实施例中，上述模型训练设备101和图像处理设备102构成了图像处理系统。
作为一个示例，图像处理设备102包括显示屏幕；其中，模型训练设备101，用于在第二模型的约束下，基于第一训练数据集训练第一模型，第一训练数据集包括纯净数据集和噪音数据集，第二模型是在训练第一模型之前基于第二训练数据集训练得到的；其中，纯净数据集包括标注一致的样本图像，噪音数据集包括标注不一致的样本图像，第二训练数据集为第一训练数据集的子集且包括纯净数据集。
在一种可能的实现方式中，以当前训练第一模型为例，则第二模型是在训练第一模型之前基于第二训练数据集训练得到的，详细来说是指，第二模型是在当前训练过程的上一步训练过程中基于第二训练数据集训练得到的。
图像处理设备102包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现：获取待检测图像，基于第一模型对待检测图像进行分类；显示屏幕用于对输出的预测分类结果进行显示。
另外，若图像处理设备102不包括显示屏幕，则该实施环境中还可以包括显示设备，图像处理设备102负责控制显示设备输出预测分类结果以及对临床医生进行提示。其中，显示设备通常为显示器。
作为一个示例，进行提示的方式包括但不局限于：语音提示、显示设备或显示屏幕上指示灯的特殊示警提示、在显示的影像画面中高亮显示检测到的病灶区域等，本申请实施例对此不进行具体限定。
其中，模型训练设备101图像处理设备102均为具有计算能力的计算机设备，其中，模型训练设备101的类型包括但不限于图1所示的台式电脑或服务器等固定式设备，智能手机或平板电脑等移动式设备，图像处理设备102的类型包括但不限于移动式医疗终端等移动式设备，本申请实施例对此不进行具体限定。
其中，本申请实施例能够利用专业标注人员标注不一致的数据和专业标注人员标注一致的数据，来提高模型的预测精准度。比如，针对医疗领域，采用本申请实施例提供的模型训练方式，能够使得训练出来的机器学习模型更好地辅助医生进行疾病检测。
换一种表达方式，本申请实施例在模型训练过程中，除了利用标注一致的数据之外，还能够有效利用标注不一致的数据，实现了在增加训练数据集的数据量的同时，又能够降低因标注的标签出错而对模型预测精准度的影响，从而可以在有效利用标注不一致的数据的基础上，有效提高模型的预测准确率。
作为一个示例，上述标注一致的数据在本申请实施例中也称之为干净数据集，上述标注不一致的数据在本申请实施例中也称之为噪音数据集。
在一种可能的实现方式中，以进行消化道内镜影像疾病检测为例，则消化道内镜影像疾病检测包括但不限于：食管癌、咽喉、胃癌、十二指肠疾病、结直肠疾病等。其中，图2示出了出了部分消化道内镜影像的示例。
下面对本申请实施例提供的一种图像处理方法进行详细地解释说明。
另外，在下文中出现的诸如第一、第二、第三、第四等描述，仅是用于区分不同的对象，而不构成任何其他的限定。
图3是本申请实施例提供的一种图像处理方法的流程图。该方法的执行主体为图1中示出的模型训练设备和图像处理设备，参见图3，本申请实施例提供的方法流程包括：
模型训练阶段
在一种可能的实现方式中，针对模型训练过程，本申请实施例设计了一个如图4所示的知识蒸馏框架，依据该知识蒸馏框架完成机器学习模型训练。下面结合图4所示的知识蒸馏框架对模型训练过程进行介绍说明。
301、模型训练设备基于纯净数据集进行模型训练，得到辅助模型。
如前文所述，纯净数据集中包括不同标注人员均标注一致的样本图像。
作为一个示例，假设有n个标注人员进行样本图像的标注，则纯净数据集为n个标注人员均给出一致性标注结果的样本图像的集合。
参见图4，由于在统计意义上纯净数据集具有更高的准确率，因此本申请实施例首先利用标注标签准确率高的纯净数据集进行模型训练。即，本申请实施例首先利用纯净数据集Dc对深度神经网络进行训练，得到辅助模型fDc。
在一种可能的实现方式中，深度神经网络包括但不限于DenseNet、VGG等，本申请实施例对此不进行具体限定。
302、模型训练设备在辅助模型的约束下，基于纯净数据集和第n-1噪音数据集进行模型训练，得到第n-1模型。
如前文所述，噪音数据集中包括标注不一致的样本图像，在本申请实施例中标注人员的个数为n个，其中，n为不小于2的正整数，则噪音数据集的总个数为n-1个。
在本申请实施例中，噪音数据集Dn-1中包括n-1个标注人员标注一致的样本图像，其中，噪音数据集Dn-1在本文中也称之为第n-1噪音数据集。
噪音数据集Dn-2中包括n-2个标注人员标注一致的样本图像，其中，噪音数据集Dn-2在本文中也称之为第n-2噪音数据集。
以此类推，噪音数据集D1中包括n个标注人员均标注不一致的样本图像，其中，噪音数据集D1在本文中也称之为第一噪音数据集。
如图4所示，简言之，本步骤用于根据辅助模型fDc在纯净数据集Dc上学习到的特征，指导深度神经网络学习纯净数据集Dc和噪音数据集Dn-1上的知识，以此训练模型fDn-1。
换一种表达方式，本步骤在辅助模型fDc的约束下，基于纯净数据集Dc和噪音数据集Dn-1对深度神经网络进行模型训练，得到模型fDn-1。
另外，在本文中假设更多的标注人员标注一致的数据，在统计意义上具有更高的准确率，相应标注的标签正确的可能性更大。因此，本申请实施例先基于准确率更高的数据进行模型训练，进而基于得到的模型指导后续的训练过程。
作为一个示例，由于纯净数据集在统计意义上具有更高的准确率，因此首先基于纯净数据集进行模型训练；在接下来的训练过程中，由于噪音数据集Dn-1在全部的噪音数据集中具有最高的准确率，因此针对第二步训练过程，在辅助模型fDc的指导下，采用纯净数据集+噪音数据集Dn-1进行模型训练，得到模型fDn-1。
303、模型训练设备在第n-1模型的约束下，基于纯净数据集、第n-1噪音数据集和第n-2噪音数据集进行模型训练，得到第n-2模型。
如前文所述，上述第n-2噪音数据集即指代噪音数据集Dn-2，上述第n-2模型即指代模型fDn-2。
参见图4，简言之，本步骤用于根据模型fDn-1在纯净数据集Dc+噪音数据集Dn-1上学习到的特征，指导深度神经网络学习纯净数据集Dc+噪音数据集Dn-1+噪音数据集Dn-2上的知识，以此训练模型fDn-2。
也即，针对第三步训练过程，由于噪音数据集Dn-2在剩余的噪音数据集中具有最高的准确率，因此在第三步训练过程中，在第二步训练过程得到的模型fDn-1的指导下，采用纯净数据集+噪音数据集Dn-1+噪音数据集Dn-2进行模型训练，得到模型fDn-2。
304、以此类推，模型训练设备重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至得到第一模型。
在本申请实施例中，不断重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至将噪音数据集D1加入到训练过程中，得到第一模型。其中，第一模型在本文中也称之为模型fD1。
在一种可能的实现方式中，参见图4，与第一步训练过程匹配的训练数据集包括纯净数据集Dc；与第二步训练过程匹配的训练数据集包括纯净数据集Dc+噪音数据集Dn-1；与第二步训练过程匹配的训练数据集包括纯净数据集Dc+噪音数据集Dn-1+噪音数据集Dn-2；以此类推，与最后一步训练过程匹配的训练数据集包括纯净数据集Dc+噪音数据集Dn-1+噪音数据集Dn-2+…+噪音数据集D1。
也即，下一步训练过程使用的样本数据量要比上一步训练过程使用的样本数据量大，详细来说，是每一步训练过程相较于上一步训练过程而言，均多了一个噪音数据集，换一种表达方式，第二步训练过程额外加入噪音数据集Dn-1，第三步训练过程额外加入噪音数据集Dn-1，以此类推，第n步训练过程即最后一步训练过程额外加入噪音数据集D1。
综上所述，本申请实施例实现了根据辅助模型fDc在纯净数据集Dc上学到的特征，指导深度神经网络学习纯净数据集Dc+噪音数据集Dn-1上的知识，训练模型fDn-1。以此类推，最后一步，使用上一步得到的模型fD2，指导深度神经网络学习纯净数据集Dc+噪音数据集Dn-1+...+噪音数据集D1上的知识，训练模型fD1，本申请实施例提供的这一训练过程称之为知识蒸馏过程。
另外，在本文中模型fD1也称之为第一模型，模型fD2也称之为第二模型。
以模型fD1和fD2为例，则模型fD1是在上一步训练过程中得到的模型fD2的约束下，基于第一训练数据集训练得到的；其中，第一训练数据集包括纯净数据集和噪音数据集，详细来说，包括n-1个噪音数据集，分别为噪音数据集Dn-1+噪音数据集Dn-2+…+噪音数据集D1；而用于训练模型fD2的第二训练数据集为第一训练数据集的子集且包括纯净数据集，即第二训练数据集包括纯净数据集和n-2个噪音数据集，分别为噪音数据集Dn-1+噪音数据集Dn-2+…+噪音数据集D2。
即，模型fD1的训练过程，包括：在模型fD2的约束下，基于纯净数据集、噪音数据集Dn-1+噪音数据集Dn-2+…+噪音数据集D1，进行模型训练，得到模型fD1。
在完成模型fD1的训练后，至此模型训练过程结束，训练好的模型fD1在被集成到图像处理设备中后，能够实现通过图像处理设备辅助对待检测图像进行分类。作为一个示例，若使用消化道内镜影像进行模型fD1的训练，且将训练好的模型fD1集成到移动式医疗终端上，则作为图像处理设备的移动式医疗终端，能够辅助医生对待检测医疗影像进行消化道疾病检测。
图像检测阶段
305、图像处理设备获取待检测图像。
在一种可能的实现方式中，待检测图像为针对机体部位的医疗影像。
其中，机体部位泛指人体器官，示例性地，在本申请实施例中机体部位可指代消化道部位，本申请实施例对此不进行具体限定。
作为一个示例，该待检测图像通常是医学仪器的摄像头深入到机体部位的内部进行图像采集得到的。而摄像头在采集到医疗影像后会直接传输给图像处理设备。
在本申请实施例中，在将待检测图像输入机器学习模型进行检测之前，还可先对待检测图像进行预处理，其中，预处理包括但不限于尺寸裁剪处理和对齐处理，本申请实施例对此不进行具体限定。
306、图像处理设备基于第一模型对待检测图像进行分类，并输出得到的预测分类结果。
在本申请实施例中，假设第一模型是基于消化道内镜影像训练得到的，则待检测图像也同样为消化道内镜影像，即训练好的模型与待检测图像是匹配的。将待检测图像输入到第一模型中，第一模型便会输出预测分类结果，即输出诊断结果。比如，给出相关病患是否罹患某种疾病。例如，输入到图像处理设备中一张消化道结直肠影像，图像处理设备输出的诊断结果为腺癌。
在一种可能的实现方式中，可通过图像处理设备的显示屏幕对输出的预测分类结果进行显示。
需要说明的是，本申请实施例仅是以消化道内镜影像为例进行说明。在实际应用过程中，本申请实施例还可用于进行其他方面的疾病检测，仅需使用本申请实施例提供的模型训练方式和相应的训练数据集进行训练即可，本申请实施例对此不进行具体限定。
本申请实施例提供的方法至少具有以下有益效果：
在模型训练过程中，本申请实施例将训练数据集分为了纯净数据集和噪音数据集，其中，纯净数据集中包括标注一致的样本图像，噪音数据集包括标注不一致的样本图像，进一步地噪音数据集又细分为n-1个，其中，噪音数据集Dn-1中包括n-1个标注人员标注一致的样本图像，噪音数据集Dn-2中包括n-2个标注人员标注一致的样本图像，以此类推，噪音数据集D1中包括n个标注人员均标注不一致的样本图像。
由于更多的标注人员标注一致的数据，在统计意义上具有更高的准确率，相应标注的标签正确的可能性更大，因此本申请实施例基于知识蒸馏框架，先基于准确率更高的数据进行模型训练，进而基于得到的模型指导后续的训练过程，也即在模型训练过程中，重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至将噪音数据集D1加入到训练过程中，得到模型fD1。
另外，每一步训练过程使用的训练数据集中均包括纯净数据集，且下一步训练过程中使用的训练数据集相较于上一步训练过程均多了一个噪音数据集，即每一步训练过程均是在上一步训练过程的基础上再额外加入一个噪音数据集，其中，额外加入的这个噪音数据集为剩余的噪音数据集中准确率最高的。
综上所述，在模型训练过程中，本申请实施例除了利用标注一致的数据之外，还能够有效利用标注不一致的数据，实现了在增加训练数据集的数据量的同时，又能够降低因标注的标签出错而对模型预测精准度的影响，从而可以在有效利用标注不一致的数据的基础上，有效提高模型的预测准确率。
换一种表达方式，本申请实施例提供的图像处理方法能够有效利用这部分标注不一致的数据，能够实现在增加样本数据量的同时，降低因标签出错而对模型造成的影响，从而提高训练出来的机器学习模型的预测准确率。
即，基于上述训练方式训练出来的机器学习模型的精度较佳，能够确保图像检测过程中的检测精准度。
伪标签计算和损失函数设计
在另一个实施例中，前述提及的知识蒸馏思想的核心还在于损失函数的设计，其中，损失函数用来衡量训练的机器学习模型对样本图像的预测值与样本图像的真实值的不一致程度。假设y为由专业标注人员标注的标签，y*为未知的真实标签，由于标注人员标注的y存在一定程度上的出错概率，因此本申请实施例会根据某种规则来重新设置y的值，以使其更接近于真实标签y*，其中，本申请实施例将重新赋值的y定义为伪标签
Figure BDA0002141534530000145
其中，上述伪标签在本文中也称之为实际标签。
在一种可能的实现方式中，对应于前述的知识蒸馏框架，本申请实施例采用蒸馏法计算伪标签
Figure BDA0002141534530000141
其中，伪标签
Figure BDA0002141534530000142
的计算公式如下。
Figure BDA0002141534530000143
在上述公式中，
Figure BDA0002141534530000144
指代样本图像的实际标签；λ指代可调节系数，其取值为一个常数；y指代样本图像的标注标签；s指代上一步训练过程中得到的模型对相应样本图像的预测结果，比如模型fDc,fDn-1等输出的预测结果，其中，在本文中预测结果也称之为预测标签。
需要说明的第一点是，伪标签是由专业标注人员的标注标签和上一步训练得到的模型的预测标签按照一定的权重比例得到，这使得伪标签在统计意义上尽可能接近于真实标签y*，最终可以使训练出来的模型效果更好。
需要说明的第二点是，通过上述公式可知，样本图像的伪标签
Figure BDA0002141534530000151
的重新赋值涉及到上一步训练得到的模型的预测结果，而知识蒸馏思想正是体现在此，上一步训练得到的模型的预测结果，会对下一步训练过程中样本图像的伪标签
Figure BDA0002141534530000153
赋值产生影响，即上一步训练过程中模型在相应样本数据上学习到的特征，会用于指导下一步的训练过程。
另外，本申请实施例在损失函数的计算中，采用蒸馏法计算loss，即损失函数的计算公式如下。
L(yi,f(xi))＝l(λyi+(1-λ)si,f(xi))
其中，λ指代可调节系数，其取值为一个常数；i的取值为正整数，xi指代第i个样本图像，yi为标注人员对样本图像xi的标注标签，f(xi)指代当前训练的模型对样本图像xi的预测标签，si指代上一步训练过程中得到的模型对样本图像xi的预测标签。
在一种可能的实现方式中，si＝δ[fD(xi)/T]，其中，δ[]指代sigmod激活函数，T为一个常量，fD为上一步训练过程中得到的模型。l()函数可为常用的交叉熵损失函数，本申请实施例对此不进行具体限定。
在上述公式中，伪标签为
Figure BDA0002141534530000152
它是由专业标注人员的标注标签yi和模型fD的预测结果si按照一定的权重比例得到，使得伪标签在统计意义上尽可能接近于真实标签，最终可以使训练出来的模型效果更好。
下面结合上述伪标签的计算方式以及损失函数的设计方式，对上述步骤304中有关于模型fD1的训练过程进行详细说明。
在一种可能的实现方式中，在模型fD2的约束下，基于纯净数据集和n-1个噪音数据集进行模型训练，得到模型fD1，包括：
将纯净数据集和n-1个噪音数据集中的样本图像输入深度神经网络；获取深度神经网络对样本图像的预测标签；基于损失函数，不断迭代更新深度神经网络的网络参数，直至深度神经网络收敛。
其中，该损失函数即为前述提及的基于蒸馏思想的损失函数，其用于衡量样本图像的实际标签与预测标签的不一致程度；另外，如前文所述，实际标签即伪标签的获取过程，包括：获取标注人员对样本图像的标注标签；获取模型fD2对样本图像的预测标签；基于样本图像的标注标签和模型fD2输出的预测标签，生成样本图像的实际标签。
需要说明的是，在由模型fD2指导模型fD1进行训练的过程中，模型fD2会对所有标注一致的数据和标注不一致的数据进行预测，即输出预测标签，进而结合标注标签，生成伪标签，本申请实施例对此不进行具体限定。
在另一个实施例中，除了采用蒸馏法计算伪标签
Figure BDA0002141534530000165
之外，还可以采取如下两种伪标签
Figure BDA0002141534530000166
的计算方式。
第一种、平滑标签方法
该方法利用下述公式计算伪标签
Figure BDA0002141534530000161
即对模型进行正则化约束，引入一个独立于样本分布的均匀分布u，通过修改真值分布，避免模型对预测结果过于自信。
Figure BDA0002141534530000162
其中，u是一个常数向量，λ为可调节系数。
第二种、自举方法
该方法利用下述公式计算伪标签
Figure BDA0002141534530000163
但是由于在训练过程中没有引入任何额外信息，因此通常s’和标注标签y具有高度相关性，所以该方法与直接使用标注标签y并没有太大差别。
Figure BDA0002141534530000164
其中，s’为在模型训练过程中上一轮迭代得到的预测结果。
需要说明的第一点是，在神经网络中迭代次数是指整个训练数据集输入到网络进行训练的次数，也即，前述每一步训练得到的模型，在实际训练过程中均是基于整个训练数据集进行多次训练后得到的。
需要说明的第二点是，本申请实施例在计算伪标签时采用了蒸馏法的计算方式，其不但借鉴了平滑标签方法和自举方法的原理，但同时又优于这两种方法，因为上一步模型输出的预测结果要优于一个不变的常量向量u，而自举方法实际上在处理噪音数据集的问题上并没有明显优势。
在本申请实施例中，由于伪标签是由专业标注人员的标注标签和上一步训练得到的模型的预测标签按照一定的权重比例得到，这使得伪标签在统计意义上尽可能接近于真实标签y*，最终可以使训练出来的模型效果更好。
综上所述，本申请实施例采用知识蒸馏框架、伪标签和损失函数的上述计算方式，能够最大化标注不一致的数据的作用，实现对标注不一致的数据的有效利用，能够实现在增加样本数据量的同时，降低因标签出错而对模型造成的影响，从而提高训练出来的机器学习模型的预测准确率。
在一种可能的实现方式中，以进行消化道疾病检测为例，则参加图5，本申请实施例提供的方法流程包括：
501、模型训练设备基于纯净数据集对深度神经网络进行训练，得到辅助模型fDc，其中，纯净数据集中包括n个医生均标注一致的消化道内镜影像。
其中，n为进行训练数据集标注的医生总数。
502、模型训练设备在辅助模型fDc的约束下，基于纯净数据集和噪音数据集Dn-1对深度神经网络进行训练，得到模型fDn-1。
503、模型训练设备在模型fDn-1的约束下，基于纯净数据集、噪音数据集Dn-1和噪音数据集Dn-2，对深度神经网络进行训练，得到模型fDn-2。
504、以此类推，模型训练设备重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至得到模型fD1。
其中，图像处理设备集成有训练好的模型fD1。
505、图像处理设备获取待检测的消化道内镜影像。
506、图像处理设备基于模型fD1对的消化道内镜影像进行分类，并输出得到的预测分类结果。
本申请实施例能够最大化医生标注不一致的数据的作用，能够有效降低医生标注错误的标签的影响，能够实现在增加样本数据量的同时，降低因标签出错而对模型造成的影响，最终提高模型对消化道内镜影像的分类准确率，更好地辅助医生进行消化道内镜影像的疾病诊断。
图6是本申请实施例提供的一种图像处理装置的结构示意图。参见图6，该装置包括：
获取模块601，用于获取待检测图像；
处理模块602，用于基于第一模型对所述待检测图像进行分类，所述第一模型是在第二模型的约束下基于第一训练数据集训练得到的，所述第一训练数据集包括纯净数据集和噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；
其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述第二训练数据集为所述第一训练数据集的子集且包括所述纯净数据集。
本申请实施例提供的装置，将训练数据集分为了纯净数据集和噪音数据集，其中，纯净数据集中包括标注一致的样本图像，噪音数据集中包括标注不一致的样本图像，为了规避标注不一致的数据对模型训练造成的不良影响，实现有效利用标注不一致的数据，在模型训练过程中包括多步模型训练，比如用于对待检测图像进行分类的第一模型即是在第二模型的约束下训练得到的，其中，第二模型的训练过程在训练第一模型之前，也即模型训练是一个知识蒸馏过程，之前训练得到的模型会指导当前的模型训练，其中，每一步训练使用的训练数据集中均包括纯净数据集，且之前训练使用的数据集为当前训练使用的数据集的子集，这也确保了知识蒸馏过程是一个逐步提高模型的预测精准度的过程。
换一种表达方式，本申请实施例除了能够利用标注一致的数据之外，还能够有效利用标注不一致的数据，实现了在增加训练数据集的数据量的同时，又能够降低因标注标签出错而对模型预测精准度的影响，从而可以在有效利用标注不一致的数据的基础上，有效提高模型的预测准确率。即，基于上述训练方式训练出来的机器学习模型的精度较佳，在获取到待检测图像后，可直接基于第一模型对待检测图像进行分类，确保了图像检测过程中的检测精准度。
在一种可能的实现方式中，所述噪音数据集的总个数为n-1个，n为不小于2的正整数；
其中，第n-1噪音数据集中包括n-1个标注人员标注一致的样本图像；第n-2噪音数据集中包括n-2个标注人员标注一致的样本图像；以此类推，第一噪音数据集中包括n个标注人员均标注不一致的样本图像。
在一种可能的实现方式中，所述第二训练数据集包括所述纯净数据集和n-2个噪音数据集，参见图7，该装置还包括：
训练模块603，用于在所述第二模型的约束下，基于所述纯净数据集和n-1个噪音数据集进行模型训练，得到所述第一模型。
在一种可能的实现方式中，训练模块603，还用于基于所述纯净数据集进行模型训练，得到辅助模型；在所述辅助模型的约束下，基于所述纯净数据集和所述第n-1噪音数据集进行模型训练，得到第n-1模型；在所述第n-1模型的约束下，基于所述纯净数据集、所述第n-1噪音数据集和所述第n-2噪音数据集进行模型训练，得到第n-2模型；以此类推，重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至得到所述第一模型。
在一种可能的实现方式中，训练模块603，还用于将所述纯净数据集和n-1个噪音数据集中的样本图像输入深度神经网络；获取所述深度神经网络对所述样本图像的预测标签；基于损失函数，不断迭代更新所述深度神经网络的网络参数，直至所述深度神经网络收敛，所述损失函数用于衡量所述样本图像的实际标签与预测标签的不一致程度；
其中，所述实际标签基于所述第二模型输出的相应预测标签得到。
在一种可能的实现方式中，训练模块603，还用于获取所述标注人员对所述样本图像的标注标签；
获取所述第二模型对所述样本图像的预测标签；
基于所述样本图像的标注标签和所述第二模型输出的预测标签，生成所述样本图像的实际标签。
在一种可能的实现方式中，应用下述公式，生成所述样本图像的实际标签：
Figure BDA0002141534530000191
其中，
Figure BDA0002141534530000192
指代所述样本图像的实际标签；λ指代可调节系数，其取值为一个常数；y指代所述样本图像的标注标签；s指代上一步训练过程中得到的模型对所述样本图像的预测标签。
在一种可能的实现方式中，所述损失函数的计算公式为：
L(yi,f(xi))＝l(λyi+(1-λ)si,f(xi))
其中，λ指代可调节系数，其取值为一个常数；i的取值为正整数，xi指代第i个样本图像，yi为所述标注人员对样本图像xi的标注标签，f(xi)指代当前训练的模型对样本图像xi的预测标签，si指代上一步训练过程中得到的模型对样本图像xi的预测标签。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本申请实施例提供的一种模型训练设备的结构示意图，该模型训练设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该模型训练设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该模型训练设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的图像处理方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图9是本申请实施例提供的一种图像处理设备的结构示意图，该图像处理设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)901和一个或一个以上的存储器902，其中，所述存储器902中存储有至少一条指令，所述至少一条指令由所述处理器901加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该图像处理设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该图像处理设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的图像处理方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，应用于医疗影像领域，所述方法包括：
获取待检测的消化道内镜影像；
基于第一模型对所述待检测的消化道内镜影像进行分类，所述第一模型是在第二模型的约束下基于第一训练数据集训练且在所述第一训练数据集中的样本图像的实际标签和预测标签之间的不一致程度满足预设条件时得到的，所述第一训练数据集包括纯净数据集和n-1个噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；
其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述标注一致指代对于同一张样本图像，不同的标注人员标注的标签相同；所述标注不一致指代对于同一张样本图像，不同的标注人员标注的标签不同；所述第二训练数据集包括所述纯净数据集和n-2个噪音数据集，n为不小于2的正整数；其中，第n-1噪音数据集中包括n-1个标注人员标注一致的样本图像；第n-2噪音数据集中包括n-2个标注人员标注一致的样本图像；以此类推，第一噪音数据集中包括n个标注人员均标注不一致的样本图像；所述样本图像是由专业标注人员进行人工标注的，所述样本图像为针对消化道部位的消化道内镜影像；
所述样本图像的所述实际标签的获取过程，包括：
获取所述专业标注人员对所述样本图像的所述标注标签；
获取所述第二模型对所述样本图像的所述预测标签；
按照预设的权重比例，基于所述样本图像的所述标注标签和所述第二模型输出的所述预测标签，生成所述样本图像的实际标签。
2.根据权利要求1所述的方法，其特征在于，所述第一模型的训练过程，包括：
在所述第二模型的约束下，基于所述纯净数据集和n-1个噪音数据集进行模型训练，得到所述第一模型。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
基于所述纯净数据集进行模型训练，得到辅助模型；
在所述辅助模型的约束下，基于所述纯净数据集和所述第n-1噪音数据集进行模型训练，得到第n-1模型；
在所述第n-1模型的约束下，基于所述纯净数据集、所述第n-1噪音数据集和所述第n-2噪音数据集进行模型训练，得到第n-2模型；
以此类推，重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至得到所述第一模型。
4.根据权利要求2所述的方法，其特征在于，所述在所述第二模型的约束下，基于所述纯净数据集和n-1个噪音数据集进行模型训练，包括：
将所述纯净数据集和n-1个噪音数据集中的样本图像输入深度神经网络；
获取所述深度神经网络对所述样本图像的预测标签；
基于损失函数，不断迭代更新所述深度神经网络的网络参数，直至所述深度神经网络收敛，所述损失函数用于衡量所述样本图像的所述实际标签与所述预测标签的不一致程度；
其中，所述实际标签基于所述第二模型输出的相应预测标签得到。
5.根据权利要求1所述的方法，其特征在于，应用下述公式，生成所述样本图像的所述实际标签：
Figure FDF0000017263750000021
其中，
Figure FDF0000017263750000022
指代所述样本图像的所述实际标签；λ指代可调节系数，其取值为一个常数；y指代所述样本图像的所述标注标签；s指代上一步训练过程中得到的模型对所述样本图像的所述预测标签。
6.根据权利要求4所述的方法，其特征在于，所述损失函数的计算公式为：
L(yi,f(xi))＝l(λyi+(1-λ)si,f(xi))
其中，λ指代可调节系数，其取值为一个常数；i的取值为正整数，xi指代第i个样本图像，yi为所述标注人员对样本图像xi的标注标签，f(xi)指代当前训练的模型对样本图像xi的预测标签，si指代上一步训练过程中得到的模型对样本图像xi的预测标签。
7.一种图像处理装置，其特征在于，应用于医疗影像领域，所述装置包括：
获取模块，用于获取待检测的消化道内镜影像；
处理模块，用于基于第一模型对所述待检测的消化道内镜影像进行分类，所述第一模型是在第二模型的约束下基于第一训练数据集训练且在所述第一训练数据集中的样本图像的实际标签和预测标签之间的不一致程度满足预设条件时得到的，所述第一训练数据集包括纯净数据集和n-1个噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练得到的；
其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述标注一致指代对于同一张样本图像，不同的标注人员标注的标签相同；所述标注不一致指代对于同一张样本图像，不同的标注人员标注的标签不同；所述第二训练数据集包括所述纯净数据集和n-2个噪音数据集，n为不小于2的正整数；其中，第n-1噪音数据集中包括n-1个标注人员标注一致的样本图像；第n-2噪音数据集中包括n-2个标注人员标注一致的样本图像；以此类推，第一噪音数据集中包括n个标注人员均标注不一致的样本图像；所述样本图像是由专业标注人员进行人工标注的，所述样本图像为针对消化道部位的消化道内镜影像；
所述装置还包括：
训练模块，用于获取所述专业标注人员对所述样本图像的所述标注标签；获取所述第二模型对所述样本图像的所述预测标签；按照预设的权重比例，基于所述样本图像的所述标注标签和所述第二模型输出的所述预测标签，生成所述样本图像的实际标签。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
所述训练模块，还用于在所述第二模型的约束下，基于所述纯净数据集和n-1个噪音数据集进行模型训练，得到所述第一模型。
9.根据权利要求7或8所述的装置，其特征在于，所述训练模块，还用于基于所述纯净数据集进行模型训练，得到辅助模型；在所述辅助模型的约束下，基于所述纯净数据集和所述第n-1噪音数据集进行模型训练，得到第n-1模型；在所述第n-1模型的约束下，基于所述纯净数据集、所述第n-1噪音数据集和所述第n-2噪音数据集进行模型训练，得到第n-2模型；以此类推，重复执行在上一步训练过程中得到的模型的约束下，基于与当前训练过程匹配的训练数据集进行模型训练的过程，直至得到所述第一模型。
10.根据权利要求8所述的装置，其特征在于，所述训练模块，还用于将所述纯净数据集和n-1个噪音数据集中的样本图像输入深度神经网络；获取所述深度神经网络对所述样本图像的预测标签；基于损失函数，不断迭代更新所述深度神经网络的网络参数，直至所述深度神经网络收敛，所述损失函数用于衡量所述样本图像的所述实际标签与所述预测标签的不一致程度；
其中，所述实际标签基于所述第二模型输出的相应预测标签得到。
11.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至6中任一个权利要求所述的图像处理方法。
12.一种图像处理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6中任一个权利要求所述的图像处理方法。
13.一种图像处理系统，其特征在于，应用于医疗影像领域，所述系统包括：模型训练设备和图像处理设备，所述图像处理设备包括显示屏幕；
所述模型训练设备，用于在第二模型的约束下，基于第一训练数据集训练第一模型，所述第一训练数据集包括纯净数据集和n-1个噪音数据集，所述第二模型是在训练所述第一模型之前基于第二训练数据集训练且在所述第一训练数据集中的样本图像的实际标签和预测标签之间的不一致程度满足预设条件时得到的；其中，所述纯净数据集包括标注一致的样本图像，所述噪音数据集包括标注不一致的样本图像，所述标注一致指代对于同一张样本图像，不同的标注人员标注的标签相同；所述标注不一致指代对于同一张样本图像，不同的标注人员标注的标签不同；所述第二训练数据集包括所述纯净数据集和n-2个噪音数据集，n为不小于2的正整数；其中，第n-1噪音数据集中包括n-1个标注人员标注一致的样本图像；第n-2噪音数据集中包括n-2个标注人员标注一致的样本图像；以此类推，第一噪音数据集中包括n个标注人员均标注不一致的样本图像；所述样本图像是由专业标注人员进行人工标注的，所述样本图像为针对消化道部位的消化道内镜影像；
所述模型训练设备，还用于获取所述专业标注人员对所述样本图像的所述标注标签；获取所述第二模型对所述样本图像的所述预测标签；按照预设的权重比例，基于所述样本图像的所述标注标签和所述第二模型输出的所述预测标签，生成所述样本图像的实际标签；
所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现：获取待检测的消化道内镜影像，基于所述第一模型对所述待检测的消化道内镜影像进行分类；
所述显示屏幕用于对输出的预测分类结果进行显示。
CN201910670469.9A 2019-07-24 2019-07-24 图像处理方法、装置、存储介质、设备以及系统 Active CN110390674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910670469.9A CN110390674B (zh) 2019-07-24 2019-07-24 图像处理方法、装置、存储介质、设备以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910670469.9A CN110390674B (zh) 2019-07-24 2019-07-24 图像处理方法、装置、存储介质、设备以及系统

Publications (2)

Publication Number Publication Date
CN110390674A CN110390674A (zh) 2019-10-29
CN110390674B true CN110390674B (zh) 2022-08-16

Family

ID=68287209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670469.9A Active CN110390674B (zh) 2019-07-24 2019-07-24 图像处理方法、装置、存储介质、设备以及系统

Country Status (1)

Country Link
CN (1) CN110390674B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275104A (zh) * 2020-01-16 2020-06-12 重庆金山医疗技术研究院有限公司 一种模型训练方法、装置、服务器及存储介质
CN111507419B (zh) * 2020-04-22 2022-09-30 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN112734906B (zh) * 2020-12-30 2022-08-19 华东师范大学 一种基于知识蒸馏的超声或ct医学影像的三维重建方法
CN113033219A (zh) * 2021-03-25 2021-06-25 北京百度网讯科技有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN113011570B (zh) * 2021-04-30 2023-04-07 电子科技大学 一种采用神经网络压缩系统的人脸表情识别方法
CN113139500B (zh) * 2021-05-10 2023-10-20 重庆中科云从科技有限公司 烟雾检测方法、系统、介质及设备
CN113470031B (zh) * 2021-09-03 2021-12-03 北京字节跳动网络技术有限公司 息肉分型方法、模型训练方法及相关装置
CN113782146B (zh) * 2021-09-16 2023-08-22 平安科技（深圳）有限公司 基于人工智能的全科用药推荐方法、装置、设备及介质
CN116664966B (zh) * 2023-03-27 2024-02-20 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images;Sheng Guo 等;《arXiv:1808.01097v4[cs.CV]》;20181018;正文第3-4节 *

Also Published As

Publication number Publication date
CN110390674A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN110390674B (zh) 图像处理方法、装置、存储介质、设备以及系统
Min et al. Overview of deep learning in gastrointestinal endoscopy
Anaya-Isaza et al. An overview of deep learning in medical imaging
Yu et al. Integrating online and offline three-dimensional deep learning for automated polyp detection in colonoscopy videos
Zhang et al. COVID-19 diagnosis via DenseNet and optimization of transfer learning setting
Hauser et al. Explainable artificial intelligence in skin cancer recognition: A systematic review
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
Zhang et al. SHA-MTL: soft and hard attention multi-task learning for automated breast cancer ultrasound image segmentation and classification
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN110427994A (zh) 消化道内镜图像处理方法、装置、存储介质、设备及系统
Tang et al. One click lesion RECIST measurement and segmentation on CT scans
JP2021144675A (ja) 方法及びプログラム
Chan et al. Quasi-conformal statistical shape analysis of hippocampal surfaces for Alzheimer׳ s disease analysis
RU2720363C2 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
Chauhan et al. Convolution neural network for effective burn region segmentation of color images
Raut et al. Transfer learning based video summarization in wireless capsule endoscopy
Li et al. A multi-label classification model for full slice brain computerised tomography image
Meng et al. Radiomics-enhanced deep multi-task learning for outcome prediction in head and neck cancer
Innat et al. A convolutional attention mapping deep neural network for classification and localization of cardiomegaly on chest X-rays
Hasan et al. Dental impression tray selection from maxillary arch images using multi-feature fusion and ensemble classifier
CN109859813A (zh) 一种实体修饰词识别方法及装置
Redie et al. Oral cancer detection using transfer learning-based framework from histopathology images
Li et al. Feature pyramid based attention for cervical image classification
Guo et al. The Gap in the Thickness: Estimating Effectiveness of Pulmonary Nodule Detection in Thick-and Thin-Section CT Images with 3D Deep Neural Networks
Islam Bhuiyan et al. Deep learning-based analysis of COVID-19 X-ray images: Incorporating clinical significance and assessing misinterpretation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant