CN111242948B - 图像处理、模型训练方法、装置、设备和存储介质 - Google Patents

图像处理、模型训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111242948B
CN111242948B CN202010352826.XA CN202010352826A CN111242948B CN 111242948 B CN111242948 B CN 111242948B CN 202010352826 A CN202010352826 A CN 202010352826A CN 111242948 B CN111242948 B CN 111242948B
Authority
CN
China
Prior art keywords
medical image
model
image sample
target
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010352826.XA
Other languages
English (en)
Other versions
CN111242948A (zh
Inventor
王朔
李悦翔
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010352826.XA priority Critical patent/CN111242948B/zh
Publication of CN111242948A publication Critical patent/CN111242948A/zh
Application granted granted Critical
Publication of CN111242948B publication Critical patent/CN111242948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请涉及一种图像处理、模型训练方法、装置、设备和存储介质。所述图像处理方法包括：获取候选医学影像样本集和目标模型；查询与目标模型匹配的评估模型；通过目标模型，提取候选医学影像样本集中候选医学影像样本相应的目标特征；将目标特征输入评估模型，映射得到相应候选医学影像样本的评估量化结果；候选医学影像样本的评估量化结果与候选医学影像样本所包含的信息量成正比；从候选医学影像样本集中筛选出待标注的医学影像样本；待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；待标注的医学影像样本被标注后用于训练目标模型。采用本方法能够降低模型训练成本。

Description

图像处理、模型训练方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理、模型训练方法、装置、设备和存储介质。
背景技术
随着人工智能的兴起和发展，机器学习模型的训练、以及采用训练的机器学习模型进行数据处理越来越广泛。比如，在智能医疗领域，对医学影像进行处理的分类模型或者分割模型的训练，以及使用分类模型进行医学影像分类或者使用分割模型对医学影像进行语义分割等。
目前，在通过图像样本训练机器学习模型时，需要人工对图像样本进行标注，再采用标注后的图像样本训练模型。但随着训练过程中的数据量不断增加，样本的数量不断增加，完成图像样本标注的成本也越来越高，尤其是医学影像样本，需要高水平的专业人员进行标注。因此，传统训练方法的成本较高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低模型训练成本的图像处理、模型训练方法、装置、设备和存储介质。
一种图像处理方法，其特征在于，所述方法包括：
获取候选医学影像样本集和目标模型；
查询与所述目标模型匹配的评估模型；
通过所述目标模型，提取所述候选医学影像样本集中候选医学影像样本相应的目标特征；
将所述目标特征输入所述评估模型，映射得到相应候选医学影像样本的评估量化结果；所述候选医学影像样本的评估量化结果与所述候选医学影像样本所包含的信息量成正比；
从所述候选医学影像样本集中筛选出待标注的医学影像样本；所述待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；所述待标注的医学影像样本被标注后用于训练所述目标模型。
在一个实施例中，所述评估模型、重建模型和判别模型通过迭代地对抗训练得到；所述对抗训练的其中一方为所述评估模型和所述重建模型，所述对抗训练的另一方为所述判别模型；所述判别模型通过区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化所述评估模型基于医学影像样本的不确定度进行处理的模型性能；所述初始目标特征通过所述目标模型提取；所述重建目标特征，通过所述重建模型根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果得到；所述第一医学影像样本的评估量化结果，通过所述评估模型根据所述第一医学影像样本的初始目标特征映射得到。
在一个实施例中，所述判别模型包括第一判别模型和第二判别模型；所述评估模型、所述重建模型、所述第一判别模型及所述第二判别模型通过迭代地双重对抗训练得到；所述第一判别模型通过判别第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化所述评估模型基于样本的不确定度进行处理的模型性能；所述第二判别模型通过判别第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征，优化所述评估模型基于样本的表征度进行处理的模型性能。
在一个实施例中，所述重建目标特征包括第一重建目标特征和第二重建目标特征；所述第一重建目标特征用于第一判别模型、且通过所述重建模型根据所述第一医学影像样本的初始目标特征和差异值共同映射得到；所述差异值为预设数值与所述第一医学影像样本的评估量化结果的差异值；所述第二重建目标特征用于第二判别模型、且通过所述重建模型根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果共同映射得到。
一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取候选医学影像样本集和目标模型；
查询模块，用于查询与所述目标模型匹配的评估模型；
提取模块，用于通过所述目标模型，提取所述候选医学影像样本集中候选医学影像样本相应的目标特征；
映射模块，用于将所述目标特征输入所述评估模型，映射得到相应候选医学影像样本的评估量化结果；所述候选医学影像样本的评估量化结果与所述候选医学影像样本所包含的信息量成正比；
筛选模块，用于从所述候选医学影像样本集中筛选出待标注的医学影像样本；所述待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；所述待标注的医学影像样本被标注后用于训练所述目标模型。
一种图像处理方法，其特征在于，所述方法包括：
获取候选图像样本集和目标模型；
查询与所述目标模型匹配的评估模型；
通过所述目标模型，提取所述候选图像样本集中候选图像样本相应的目标特征；
将所述目标特征输入所述评估模型，映射得到相应候选图像样本的评估量化结果；所述候选图像样本的评估量化结果与所述候选图像样本所包含的信息量成正比；
从所述候选图像样本集中筛选用于训练所述目标模型的目标图像样本；所述目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取候选图像样本集和目标模型；
查询模块，用于查询与所述目标模型匹配的评估模型；
提取模块，用于通过所述目标模型，提取所述候选图像样本集中候选图像样本相应的目标特征；
映射模块，用于将所述目标特征输入所述评估模型，映射得到相应候选图像样本的评估量化结果；所述候选图像样本的评估量化结果与所述候选图像样本所包含的信息量成正比；
筛选模块，用于从所述候选图像样本集中筛选用于训练所述目标模型的目标图像样本；所述目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
上述图像处理方法、装置、计算机设备和存储介质，在获取到候选图像样本集和待训练的目标模型后，即自动查询与目标模型匹配的评估模型，采用该评估模型来从候选图像样本集中筛选用于训练目标模型的目标图像样本，即待标注的图像样本。其中，评估模型所作用的对象是通过目标模型提取的候选图像样本相应的目标特征，而目标特征则是目标模型在实际执行模型任务时所关注的数据；另外，评估模型所输出的对象是候选图像样本的评估量化结果，而候选图像样本的评估量化结果与候选图像样本所包含的信息量成正比；这样就能从候选图像样本集中筛选出针对该目标模型的训练需求、且最具信息量的目标图像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标图像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能，尤其是在图像为医学影像的场景下效果尤为明显。
一种模型训练方法，其特征在于，所述方法包括：
获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；所述样本集包括第一医学影像样本和第二医学影像样本；
通过所述目标模型，提取所述医学影像样本集中医学影像样本的初始目标特征；
通过所述评估模型，根据所述第一医学影像样本的初始目标特征，生成所述第一医学影像样本的评估量化结果；所述第一医学影像样本的评估量化结果与所述第一医学影像样本所包含的信息量成正比；
通过所述重建模型，根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果，得到所述第一医学影像样本的重建目标特征；
将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入判别模型，对所述评估模型、所述重建模型和所述判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；
其中，训练得到的评估模型用于筛选训练所述目标模型的目标医学影像样本。
一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；所述医学影像样本集包括第一医学影像样本和第二医学影像样本；
模型处理模块，用于通过所述目标模型，提取所述医学影像样本集中医学影像样本的初始目标特征；通过所述评估模型，根据所述第一医学影像样本的初始目标特征，生成所述第一医学影像样本的评估量化结果；所述第一医学影像样本的评估量化结果与所述第一医学影像样本所包含的信息量成正比；通过所述重建模型，根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果，得到所述第一医学影像样本的重建目标特征；
对抗训练模块，用于将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入判别模型，对所述评估模型、所述重建模型和所述判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练所述目标模型的目标医学影像样本。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述模型训练方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法的步骤。
上述模型训练方法、装置、计算机设备和存储介质，通过第一医学影像样本和第二医学影像样本两类医学影像样本，迭代地对抗训练评估模型、重建模型和判别模型。其中，判别模型的输入为第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，其目的是将评估模型和重建模型联合的输出与第二医学影像样本的初始目标特征尽可能分辨出来，优化评估模型对样本所包含信息量的识别能力；而且由于目标特征是目标模型在实际执行模型任务时所关注的数据，这样通过对抗训练得到的评估模型来筛选医学影像样本时，就能筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的数据流向示意图；
图3为一个实施例中图像处理方法的流程示意图；
图4为一个实施例中使用评估模型筛选目标医学影像样本的示意图；
图5为一个实施例中训练评估模型的示意图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为一个实施例中基于对抗网络的主动学习原理示意图；
图8为一个实施例中模型训练方法的流程示意图；
图9为一个实施例中图像处理装置的结构框图；
图10为一个实施例中模型训练装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取候选医学影像样本集和目标模型，将获取的候选医学影像样本集和目标模型上传至服务器104，服务器104在获取到候选医学影像样本集和目标模型后，即查询与目标模型匹配的评估模型；通过目标模型，提取候选医学影像样本集中候选医学影像样本相应的目标特征；将目标特征输入评估模型，映射得到相应候选医学影像样本的评估量化结果；其中，候选医学影像样本的评估量化结果与所述候选医学影像样本所包含的信息量成正比。服务器104再从候选医学影像样本集中筛选出待标注的医学影像样本；其中，待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；而且待标注的医学影像样本被标注后用于训练目标模型。目标模型训练完成后即可用于对医学影像进行处理。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个具体的实施例中，如图2所示，终端102上运行的前端可以获取用户提供的候选医学影像样本集和目标模型，前端再将用户提供的候选医学影像样本集和目标模型上传至后端（服务器104）。后端则执行本申请提供的图像处理方法，并将筛选出的目标医学影像样本反馈至前端。在另外的实施例中，前端还可以获取用户提供的目标任务以及目标医学影像样本的数量。
本申请提供的模型训练方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；医学影像样本集包括第一医学影像样本和第二医学影像样本；通过目标模型，提取医学影像样本集中医学影像样本的初始目标特征；通过评估模型，根据第一医学影像样本的初始目标特征，生成第一医学影像样本的评估量化结果；第一医学影像样本的评估量化结果与第一医学影像样本所包含的信息量成正比；通过重建模型，根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果，得到第一医学影像样本的重建目标特征；将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入判别模型，对评估模型、重建模型和判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练目标模型的目标医学影像样本。服务器104获取的医学影像样本集、目标模型、评估模型、重建模型和判别模型可以由终端102上传。
在一个实施例中，如图3所示，提供了一种图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤302，获取候选医学影像样本集和目标模型。
其中，候选医学影像样本集是候选的用于训练目标模型的医学影像样本的集合。医学影像样本是用作模型训练样本的医学影像。医学影像是一种特殊的医学领域的图像，是指为了医疗或医学研究，对目标对象以非侵入方式取得的内部组织影像。比如，电子计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic ResonanceImaging，MRI)图像、超声(B超、彩色多普勒超声、心脏彩超以及三维彩超)图像、X光图像、心电图、脑电图以及光学摄影等由医学仪器生成的图像。
目标模型是用于实现目标功能的机器学习模型。目标功能具体可以是分类功能、识别功能或语义分割功能等。目标模型具体可以是实现图像分类功能的分类模型、实现图像识别功能的识别模型或实现语义分割的语义分割模型等。
目前通用的模型训练过程是人工对样本集中的样本进行标注，再采用大量标注后的样本对目标模型进行训练。但是如果对这些样本都进行标注，则需要耗费大量时间。尤其是在智能医疗领域，由于智能医疗领域中作为处理对象的图像是医学影像，医学影像不同于普通意义上的图像，需要专业的工作人员专门对医学影像进行标注，因此标注所耗费的时间和成本更高。因此，本申请意图从海量的候选医学影像样本中筛选最具信息量的医学影像样本进行标注，再采用这些少量已标注医学影像样本对目标模型进行训练，以求达到既能降低医学影像样本的标注成本，又能使得筛选出的医学影像样本在训练目标模型上，能使得训练得到的目标模型在测试集上能够取得接近于使用所有医学影像样本训练目标模型所能取得的性能的目的，甚至能优于使用所有医学影像样本训练目标模型所能取得的性能。
具体地，服务器可提供运行于终端的前端（如网页前台），用户可直接与前端交互，这样前端即可获取用户提供的候选医学影像样本集和目标模型。比如，用户在网页上传候选医学影像样本以及目标模型的名称或者模型结构。前端再将获取的候选医学影像样本集和目标模型上传至服务器，这样服务器即获取到候选医学影像样本集和目标模型。
可以理解，目前机器学习模型领域已经存在一些能够实现特定功能的通用模型。比如实现图像分类的通用模型ResNet18，或者实现语义分割的通用模型DRN等。当用户以这些模型作为目标模型时，可直接在前端提供所使用到的通用模型的模型名称即可。当然，在部分实施例中，目标模型也可以是用户自主设计的模型，此时，用户则需要提供目标模型具体的模型结构。
步骤304，查询与目标模型匹配的评估模型。
其中，评估模型是用于对医学影像样本进行信息量评估的模型。评估模型的评估量化结果可以作为筛选目标医学影像样本的依据。可以理解，在利用医学影像样本训练模型时，模型是从医学影像样本所包含的信息中学习数据规律，继而学会特定的能力。由此可见，训练模型的医学影像样本的信息量越大，医学影像样本更具“价值”，模型越能学到有用的信息。这样少量最具信息量的医学影像样本在用于训练模型时，也能达到很好的训练效果。
具体地，服务器可针对各种目标模型，事先训练各种模型匹配的评估模型，这样在获取到目标模型后，即可直接查询与该目标模型匹配的评估模型。服务器在训练目标模型时，可采用目前机器学习模型领域公开的通用数据集作为训练数据，这样训练数据有效性高，可以提高模型的训练效率。当然，服务器也可另行收集专用数据作为训练数据训练模型，这样训练数据指向性强，可以提高模型的目的性。专用数据可以是特定领域的数据，比如医学领域的医学影像等。其中，评估模型具体的训练过程可参考后续实施例中的具体描述。
举例说明，服务器可采用公开的CIFAR10/100分类数据集以及CityScapes语义分割数据集作为训练数据集等。在分类任务上使用ResNet18作为目标模型，在语义分割任务上使用DRN作为目标模型等。
在另外的实施例中，对于用户提供的特定的目标模型，服务器则可实时训练与该目标模型匹配的评估模型。
步骤306，通过目标模型，提取候选医学影像样本集中候选医学影像样本相应的目标特征。
其中，目标特征是目标模型在实现模型功能时所关注的数据。比如，对图像进行颜色分类，则关注图像的颜色特征；再比如，对图像进行尺寸分类，则关注图像的尺寸特征，等等。
可以理解，在本申请中，筛选医学影像样本是为了训练目标模型。那么，为了提高筛选的医学影像样本在目标模型上的指向性，引入考虑医学影像样本在目标模型上的特征，通过目标模型提取候选医学影像样本的目标特征，再通过评估模型对目标特征进行评估。这样，评估医学影像样本是依据医学影像样本在目标模型上的特征，对医学影像样本的信息量进行评估，这样，筛选出的医学影像样本更符合训练目标模型的需求。
具体地，服务器可将候选医学影像样本输入目标模型，得到目标模型中的网络层从候选医学影像样本中提取的目标特征。其中，目标特征可以是目标模型的其中一层网络层提取的特征，也可以是目标模型的多于一层网络层提取的特征，还可以是目标模型的多于一层网络层提取的特征的融合结果，等。目标模型所实现的功能不同时，提取目标特征的网络层可能不同。
步骤308，将目标特征输入评估模型，映射得到相应候选医学影像样本的评估量化结果；候选医学影像样本的评估量化结果与候选医学影像样本所包含的信息量成正比。
其中，评估量化结果是评估模型的输出，是评估结果的量化数值。评估量化结果越大，相应候选医学影像样本所包含的信息量越大；评估量化结果越小，相应候选医学影像样本所包含的信息量越小。
具体地，服务器可将目标特征输入评估模型，得到评估模型输出的对该目标特征进行评估处理的结果，从而映射得到的评估量化结果，也就是该目标特征相应的候选医学影像样本的评估量化结果。其中，评估模型的输入可以是一个候选医学影像样本的目标特征，这样评估模型可以对单个候选医学影像样本进行评估。评估模型的输入可以是多于一个候选医学影像样本的目标特征，这样评估模型可以对批量候选医学影像样本进行评估。
在一个具体的实施例中，候选医学影像样本所包含的信息量可以通过候选医学影像样本的不确定度和表征度中的至少一种来反映。
当用不确定度来反映候选模型所包含的信息量时，不确定度越高，候选医学影像样本所包含的信息量越大。分类器对最不确定的医学影像样本进行分类时容易出错，分类结果的置信度不高。因此，在筛选待标注的目标医学影像样本去训练目标模型时，医学影像样本的不确定度是一个重要的考虑因素。在本实施例中，候选医学影像样本的不确定度，可以通过候选医学影像样本之间的距离反映，候选医学影像样本与其他医学影像样本的距离越大，该候选医学影像样本的不确定度越大。
举例说明，以分类任务为例，“候选医学影像样本对于目标模型的不确定度”可以理解为选择医学影像样本的依据是目标模型给这些医学影像样本分类是否准确的概率。
当用表征度来反映候选模型所包含的信息量时，表征度越高，候选医学影像样本所包含的信息量越大。医学影像样本的表征度高时可以避免同一类中重复选择不必要的医学影像样本，使得所选医学影像样本更具“价值”。举例说明，以分类任务为例，“候选医学影像样本对于目标模型的表征度”可以理解为选择医学影像样本的时候，是根据这些医学影像样本对整个数据集的表征能力，例如是否所有类别都包含。
这样，在同时考虑不确定度和表征度时，可以有效地完成最具有信息量的目标医学影像样本的选择，不会存在选择出的目标医学影像样本间信息量重复的问题。
步骤310，从候选医学影像样本集中筛选出待标注的医学影像样本；待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；待标注的医学影像样本被标注后用于训练目标模型。
具体地，服务器在得到每个候选医学影像样本的评估量化结果，或者得到每批候选医学影像样本的评估量化结果，根据每个（批）候选医学影像样本的评估量化结果，选择评估量化结果最大的一部分候选医学影像样本，得到目标医学影像样本，也就是待标注的医学影像样本。其中，筛选出的目标医学影像样本的数量可以自定义设置；且筛选出的目标医学影像样本的目标医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果。
进一步地，服务器筛选出目标医学影像样本后，可将筛选出的目标医学影像样本反馈至前端，即反馈给用户。用户则可对目标医学影像样本进行标注后，采用标注后的目标医学影像样本训练目标模型。
目标模型训练好后则用于对医学影像的处理。比如，目标模型是用于分类的模型，则目标模型训练好后则用于对医学影像进行分类处理，如对医学影像所对应的成像部位进行分类等。再比如，目标模型是用于语义分割的模型，则目标模型训练好后则用于对医学影像进行语义分割处理，如分割出医学影像样本中的病灶区域。
举例说明，图4为一个实施例中使用评估模型筛选目标医学影像样本的示意图。参考该图，可以看到候选医学影像样本集中包括大量的未标注图像，通过目标模型（TaskModel）对这些未标注图像提取目标特征，再通过评估模型（也可称图像选择器，ImageSelector）基于目标特征进行评估，得到评估量化结果，服务器再基于评估量化结果筛选出目标医学影像样本（待标注医学影像样本）。这些目标医学影像样本被标注后，可用于训练目标模型，训练得到的目标模型能够在测试集上取得接近于使用所有候选医学影像样本训练目标模型所取得的性能。
上述图像处理方法，在获取到候选医学影像样本集和待训练的目标模型后，即自动查询与目标模型匹配的评估模型，采用该评估模型来从候选医学影像样本集中筛选用于训练目标模型的目标医学影像样本，即待标注的医学影像样本。其中，评估模型所作用的对象是通过目标模型提取的候选医学影像样本相应的目标特征，而目标特征则是目标模型在实际执行模型任务时所关注的数据；另外，评估模型所输出的对象是候选医学影像样本的评估量化结果，而候选医学影像样本的评估量化结果与候选医学影像样本所包含的信息量成正比；这样就能从候选医学影像样本集中筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
在一个实施例中，该图像处理方法还包括：获取目标任务和待标注的医学影像样本的数量。步骤306包括：根据目标任务定位目标模型中的目标隐层；将候选医学影像样本集中的候选医学影像样本输入目标模型，通过目标隐层，提取各候选医学影像样本相应的、且用于目标任务的目标特征。步骤310包括：从候选医学影像样本集中，筛选数量的、且评估量化结果最大的候选医学影像样本，获得用于训练目标模型的待标注的医学影像样本。
其中，目标任务是目标模型所实现的功能。比如分类任务、分割任务或者识别任务等。可以理解，实现不同功能的目标模型的主干网络可以是相同的，但是不同的目标模型所关注的数据不同，也即所关注主干网络的网络层不同。那么，服务器在通过目标模型对候选医学影像样本提取目标特征时，可以结合目标任务，定位目标模型中的特定网络层。隐层是目标模型中包括的网络层，目标模型中包括的隐层的数量可以多于一个。
具体地，终端可通过前端获取用户提供的候选医学影像样本、目标模型、目标任务以及目标医学影像样本的数量，并将获取的这些数据反馈至服务器。服务器在获取到这些数据后，根据目标任务定位目标模型中的目标隐层，将候选医学影像样本集中的候选医学影像样本输入目标模型，获取该目标隐层的输出结果，即为候选医学影像样本相应的、且用于目标任务的目标特征。服务器再将目标特征输入评估模型，映射得到候选医学影像样本的评估量化结果；再将候选医学影像样本按照相应的评估量化结果降序排序，从排序的首个候选医学影像样本起，选择评估量化结果最大的预设数量的候选医学影像样本。
其中，选择评估量化结果最大的预设数量的候选医学影像样本，是指选择的预设数量的候选医学影像样本的评估量化结果，均不低于其它未选择的候选医学影像样本的评估量化结果。当用户提供了目标医学影像样本的数量时，预设数量即为用户提供的该数量。在用户未提供目标医学影像样本的数量时，预设数量即为服务器实现设置的某一数量。
另外，当服务器将目标特征批量输入评估模型时，映射得到的是批量候选医学影像样本共同对应的评估量化结果，此时，再将候选医学影像样本按照批次、并按照相应的评估量化结果降序排序，从排序的首批候选医学影像样本起，选择评估量化结果最大的预设数量的候选医学影像样本。
在本实施例中，用户只需要提供目标任务、目标模型以及待标注的数据量，即可获得在测试集上取得优异性能的选择后的数据，操作简单用户有友好度高。
在一个实施例中，将目标特征输入评估模型，映射得到相应候选医学影像样本的评估量化结果，包括：将目标特征输入评估模型，通过评估模型中多于一层网络结构的依次处理，得到目标特征相应候选医学影像样本的评估量化结果；其中，网络结构包括全连接层和随机失活层；候选医学影像样本的评估量化结果与候选医学影像样本的不确定度正相关、且与候选医学影像样本的表征度正相关。
其中，全连接层（fully connected layers，FC）在卷积神经网络中起到“分类器”的作用。随机失活（Dropout）是对神经网络进行优化的方式，在学习过程中通过将隐含层的部分权重或输出随机归零。全连接层后连接随机失活（Dropout）层可避免评估模型在训练过程中过拟合导致的将所有输入的评估量化结果预测为1的现象。评估模型也可具体为评分网络（ScoreNet），用于对候选医学影像样本对于目标模型的不确定度和表征度进行混合评分。候选医学影像样本的得分高，表示候选医学影像样本对于目标模型的不确定度大且表征度高。
在另外的实施例中，由于评估模型对候选医学影像样本进行评估后，服务器是根据评估结果从候选医学影像样本中筛选目标医学影像样本；那么，评估模型也可称为图像选择器（Image Selector）。
具体地，服务器在得到候选医学影像样本的目标特征后，可将目标特征输入评估模型，通过评估模型中多于一层网络结构的全连接层和随机失活层的依次处理，得到目标特征相应候选医学影像样本的评估量化结果，也就是对候选医学影像样本对于目标模型的不确定度和表征度的混合评分。
在一个具体的实施例中，多于一层网络结构具体可以是5层（分别为Linear1_x、Linear2_x、Linear3_x、Linear4_x和Linear5_x），评估模型（ScoreNet）的具体结构如下表所示：
表一：
Figure 962767DEST_PATH_IMAGE002
续表一：
Figure 737825DEST_PATH_IMAGE004
其中，“Linear, 512”表示线性变化，且输出特征的维度为512。“Dropout, 0.5”表示dropout率为0.5。“Linear, 1”表示线性变化，且输出特征的维度为1。ReLU和Sigmoid均为神经网络中常用的非线性激活函数。
在本实施例中，进行数据选择的过程中，只使用了评估模型，由于评估模型的结构简单，因此能够快速地进行数据选择，提高了数据筛选效率，而且使得用户有较好的用户体验。
在一个实施例中，评估模型、重建模型和判别模型通过迭代地对抗训练得到；对抗训练的其中一方为评估模型和重建模型，对抗训练的另一方为判别模型；判别模型通过区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化评估模型基于医学影像样本的不确定度进行处理的模型性能；初始目标特征通过目标模型提取；重建目标特征，通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果得到；第一医学影像样本的评估量化结果，通过评估模型根据第一医学影像样本的初始目标特征映射得到。
可以理解，对抗训练通常指的是生成对抗网络的训练过程。生成对抗网络包括生成网络和判别网络，生成网络学习生成与真实图像相似的图像，以干扰判别网络的判断，判别网络学习更加精准地区分真实图像和生成的图像，两个网络之间形成一种动态的“博弈过程”，相互对抗，相互促进。
其中，初始目标特征是真实的目标特征，通过目标模型从真实的医学影像样本提取。比如，目标模型根据第一医学影像样本提取第一医学影像样本的初始目标特征；再比如，目标模型根据第二医学影像样本提取第二医学影像样本的初始目标特征。重构目标模型是生成的目标特征，通常通过重建模型根据真实的目标特征生成。生成的目标特征（重建目标特征）与真实的目标特征（初始目标特征），通常被用作判别模型的两类输入。
需要说明的是，第一医学影像样本和第二医学影像样本为两类医学影像样本，但并不限定是真实在某一方面存在差异的两类医学影像样本，可以是从一堆医学影像样本中随机划分出的两部分医学影像样本。
一方面，评估模型是用于筛选医学影像样本的模型，是训练的目标。那么，在训练评估模型时，基于对抗训练原理的启发，可引入重建模型和判别模型，将重建模型的输入与评估模型的输出相关联，通过重建模型根据医学影像样本的初始目标特征和评估量化结果来生成重建目标特征，从而将评估模型和重建模型协同作为对抗训练的其中一方，判别模型则作为对抗训练的另一方。
另一方面，由于分类器对最不确定的医学影像样本进行分类时容易出错，分类结果的置信度不高。因此，在筛选待标注的目标医学影像样本去训练目标模型时，医学影像样本的不确定度是一个重要的考虑因素。医学影像样本在目标模型上的不确定度，可通过目标模型从医学影像样本提取的目标特征之间的距离来定义，那么可通过判别模型区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，来优化评估模型，通过对抗训练使得评估模型在筛选医学影像样本过程中，能够考虑到医学影像样本对于目标模型的不确定度。
其中，重建模型具体可采用VAE（Variational auto-encoder，变分自编码器），或者，DCGAN（Deep Convolution Generative Adversarial Networks，深度卷积生成对抗网络）的生成器等。判别模型则可以采用通用的判别器，如DCGAN的判别器等。
在本实施例中，在结合重建模型和判别模型对抗训练评估模型时，使用判别模型优化评估模型，通过对抗训练使得评估模型在选择数据过程中，能够考虑到待选择医学影像样本对于目标模型的不确定性。后续在应用评估模型的过程中，可自动选择出具有信息量的部分医学影像样本进行目标模型的训练，使得目标模型能在测试集上取得接近于使用所有数据训练目标模型所取得的性能，在保障模型性能的条件下极大地减少了模型训练时间，并减少了标注医学影像样本所消耗的人力物力。
在一个实施例中，判别模型包括第一判别模型和第二判别模型；评估模型、重建模型、第一判别模型及第二判别模型通过迭代地双重对抗训练得到；第一判别模型通过判别第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化评估模型基于医学影像样本的不确定度进行处理的模型性能；第二判别模型通过判别第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征，优化评估模型基于医学影像样本的表征度进行处理的模型性能。
再一方面，在筛选待标注的目标医学影像样本去训练目标模型时，医学影像样本的不确定度是一个重要的考虑因素；然而仅考虑医学影像样本的不确定度时，虽然能筛选出具有信息量的医学影像样本，但存在选择出的医学影像样本之间信息量重复的问题。医学影像样本的表征度高时可以避免同一类中重复选择不必要的医学影像样本，使得所选医学影像样本更具“价值”，医学影像样本的表征度也是一个重要的考虑因素。医学影像样本在目标模型上的表征度，可通过医学影像样本对整个数据集的表征能力来定义，那么可再引入一个判别模型，通过一个判别模型区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，通过另一个判别模型区分第一医学影像样本的初始目标特征和第一医学影像样本的重建目标特征，双重优化评估模型，通过双重对抗训练使得评估模型在筛选医学影像样本过程中，能够同时考虑到医学影像样本对于目标模型的不确定度和表征度。
在本实施例中，在结合重建模型和判别模型对抗训练评估模型时，使用两个判别模型分别优化评估模型，通过双重对抗训练使得评估模型在选择数据过程中，能够同时考虑到待选择医学影像样本对于目标模型的不确定性和表征性。后续在应用评估模型的过程中，可自动选择出最具有信息量的部分医学影像样本进行目标模型的训练，使得目标模型能在测试集上取得接近于使用所有数据训练目标模型所取得的性能，在保障模型性能的条件下极大地减少了模型训练时间，并减少了标注医学影像样本所消耗的人力物力。
其中，优化评估模型基于医学影像样本的不确定度进行处理的模型性能，是指使得评估模型在处理医学影像样本时能够考虑医学影像样本的不确定度，以筛选出不确定度高的医学影像样本。优化评估模型基于医学影像样本的表征度进行处理的模型性能，是指使得评估模型在处理医学影像样本时能够考虑医学影像样本的表征度，以筛选出表征度高的医学影像样本。本申请实施例中，通过第一判别模型和第二判别模型分别优化，可以使得评估模型在处理医学影像样本时能够同时考虑医学影像样本的不确定度和表征度，以筛选出不确定度高且表征度高的医学影像样本。
在一个实施例中，重建目标特征包括第一重建目标特征和第二重建目标特征；第一重建目标特征用于第一判别模型、且通过重建模型根据第一医学影像样本的初始目标特征和差异值共同映射得到；差异值为预设数值与第一医学影像样本的评估量化结果的差异值；第二重建目标特征用于第二判别模型、且通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果共同映射得到。
可以理解，在通过评估模型对医学影像样本进行评估时，希望能够对第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本预测较小的评估量化结果，与第二医学影像样本不相似的且具有代表性的医学影像样本预测较大的评估量化结果，从而使得第一判别模型无法区分输入来自第一医学影像样本或第二医学影像样本，第二判别模型无法区分输入来自真实数据还是生成数据。
一方面，重建模型在生成用于第一判别模型的第一重建目标特征时，由于重建模型意图生成与第二医学影像样本的初始目标特征相似的数据来“欺骗”第一判别模型，而第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本被预测较小的评估量化结果，则可通过重建模型根据第一医学影像样本的初始目标特征和差异值共同映射得到，差异值为预设数值与第一医学影像样本的评估量化结果的差异值。其中，根据第一医学影像样本的初始目标特征和差异值共同映射得到，可以是将第一医学影像样本的初始目标特征和差异值进行特定运算后，作为重建模型的输入。比如可以是根据第一医学影像样本的初始目标特征和差异值的乘积映射得到，即将第一医学影像样本的初始目标特征和差异值相乘后作为重建模型的输入。其中，预设数值是评估模型理论上可输出的最大数值。
举例说明，假设第一医学影像样本
Figure DEST_PATH_IMAGE005
，第二医学影像样本
Figure 510521DEST_PATH_IMAGE006
，第一医学影像样本
Figure 941502DEST_PATH_IMAGE005
的初始目标特征
Figure DEST_PATH_IMAGE007
，第二医学影像样本
Figure 835509DEST_PATH_IMAGE006
的初始目标特征
Figure 606019DEST_PATH_IMAGE008
，第一医学影像样本
Figure 560068DEST_PATH_IMAGE005
的评估量化结果
Figure DEST_PATH_IMAGE009
，预设数值1与第一医学影像样本
Figure 275083DEST_PATH_IMAGE005
的评估量化结果
Figure 113726DEST_PATH_IMAGE009
的差异值
Figure 597797DEST_PATH_IMAGE010
，重建模型根据
Figure DEST_PATH_IMAGE011
得到第一医学影像样本
Figure 457169DEST_PATH_IMAGE005
的第一重建目标特征
Figure 534846DEST_PATH_IMAGE012
。
另一方面，重建模型在生成用于第二判别模型的第二重建目标特征时，由于重建模型意图生成与第一医学影像样本的初始目标特征相似的数据来“欺骗”第二判别模型，而第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本被预测较小的评估量化结果，则可通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果的乘积映射得到。
举例说明，重建模型根据
Figure DEST_PATH_IMAGE013
得到第一医学影像样本
Figure 770656DEST_PATH_IMAGE005
的第二重建目标特征
Figure 374812DEST_PATH_IMAGE014
。
这样，在本实施例中，在训练过程中，评估模型的优化受到两个判别模型的约束。在训练的初始阶段，评估模型给输入预测不同的评估量化结果，使得第一判别模型能够容易区分出当前的输入来自第一医学影像样本或第二医学影像样本，并使得第二判别模型能够区分出当前的输入来自真实数据还是生成数据。随着训练地进行，评估模型在两个判别模型的约束下，能够对第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本预测较小的评估量化结果，与第二医学影像样本不相似的且具有代表性的医学影像样本预测较大的评估量化结果，从而使得第一判别模型无法区分当前的输入来自第一医学影像样本或第二医学影像样本，第二判别模型无法区分当前的输入来自真实数据还是生成数据。
在一个实施例中，第一医学影像样本和第二医学影像样本可来自同一医学影像样本集。该医学影像样本集中包括大量未标注数据。服务器可从医学影像样本集中随机选出一些未标注医学影像样本记为第二医学影像样本，用作已标注数据池（labeled set）；医学影像样本集中剩余的未标注医学影像样本记为第一医学影像样本，用作未标注数据池（unlabeled set）。
图5示出了一个实施例中训练评估模型的示意图。参考图5，已标注数据池（labeled set）中的已标注数据（第二医学影像样本
Figure 811610DEST_PATH_IMAGE006
）与未标注数据池（unlabeled set）中的未标注数据（第一医学影像样本
Figure 501217DEST_PATH_IMAGE005
）输入目标模型（Task Model），提取出第一医学影像样本
Figure 947242DEST_PATH_IMAGE005
的初始目标特征
Figure 281271DEST_PATH_IMAGE007
，第二医学影像样本
Figure 13604DEST_PATH_IMAGE006
的初始目标特征
Figure 65874DEST_PATH_IMAGE008
。第一医学影像样本
Figure 909065DEST_PATH_IMAGE005
的初始目标特征
Figure 363180DEST_PATH_IMAGE007
再输入评估模型（ScoreNet），得到第一医学影像样本
Figure 266414DEST_PATH_IMAGE005
的评估量化结果
Figure 71559DEST_PATH_IMAGE009
。
一方面，第一医学影像样本
Figure 718441DEST_PATH_IMAGE005
的初始目标特征
Figure 761483DEST_PATH_IMAGE007
与
Figure 101198DEST_PATH_IMAGE010
相乘后输入重构模型的编码器（Encoder），输出编码结果
Figure DEST_PATH_IMAGE015
，再经过重构模型的解码器（Decoder）输出第一医学影像样本
Figure 596901DEST_PATH_IMAGE005
的第一重建目标特征
Figure 47474DEST_PATH_IMAGE012
。第一医学影像样本
Figure 210602DEST_PATH_IMAGE005
的第一重建目标特征
Figure 449779DEST_PATH_IMAGE012
与第二医学影像样本
Figure 229516DEST_PATH_IMAGE006
的初始目标特征
Figure 218201DEST_PATH_IMAGE008
作为第一判别模型（Uncertainty Discriminator，uDis）的两类输入，区分当前的输入来自已标注数据池或未标注数据池{labeled，unlabeled}。
另一方面，第一医学影像样本
Figure 235835DEST_PATH_IMAGE005
的初始目标特征
Figure 58298DEST_PATH_IMAGE007
与
Figure 918807DEST_PATH_IMAGE009
相乘后输入重构模型的编码器（Encoder），输出编码结果
Figure 586548DEST_PATH_IMAGE016
，再经过重构模型的解码器（Decoder）输出第一医学影像样本
Figure 583323DEST_PATH_IMAGE005
的第二重建目标特征
Figure 311108DEST_PATH_IMAGE014
。第一医学影像样本
Figure 658912DEST_PATH_IMAGE005
的第二重建目标特征
Figure 864766DEST_PATH_IMAGE014
与第一医学影像样本
Figure 981626DEST_PATH_IMAGE005
的初始目标特征
Figure 880312DEST_PATH_IMAGE007
作为第二判别模型（Representativeness Discriminator，rDis）的两类输入，区分当前的输入来自原始数据或生成数据{original，summary}。
其中，重构模型的解码器（Decoder）和第一判别模型可看作一个生成式对抗网络（GAN, Generative Adversarial Networks ），重构模型的解码器（Decoder）和第二判别模型可看作另一个生成式对抗网络。评估模型（ScoreNet）和重建模型（VAE）构成价值评估器（Value Rater），与两个判别模型对抗训练。评估模型、重建模型和判别模型的具体训练过程，可参考后续实施例中的具体描述。
上述实施例中，通过第一医学影像样本和第二医学影像样本两类医学影像样本，对抗训练评估模型、重建模型和判别模型。其中，第一判别模型的输入为第一医学影像样本的第一重建目标特征和第二医学影像样本的初始目标特征，第二判别模型的输入为第一医学影像样本的第二重建目标特征和第一医学影像样本的初始目标特征，同时考虑到医学影像样本在目标模型上的不确定性和表征度，共同优化评估模型对医学影像样本所包含信息量的识别能力；而且由于目标特征是目标模型在实际执行模型任务时所关注的数据，这样通过对抗训练得到的评估模型来筛选医学影像样本时，就能筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
在一个实施例中，如图6所示，提供了一种模型训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤602，获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；医学影像样本集包括第一医学影像样本和第二医学影像样本。
本申请中，模型开发人员设计了一种基于对抗网络的主动学习模型，该主动学习模型包括评估模型、重建模型和判别模型。其中，评估模型用于主动学习模型中的采样函数，用来评估输入医学影像样本的不确定性。不确定性通过不确定度来衡量。具体地，评估模型用于从第一医学影像样本中筛选出与第二医学影像样本深度特征差异较大的医学影像样本，即高不确定度的医学影像样本。由于衡量深度特征之间差异的难度较大，故引入重建模型和判别模型，基于生成对抗框架来衡量深度特征之间的差异。
其中，医学影像样本集是用于对抗训练评估模型、重建模型和判别模型的数据集合。第一医学影像样本和第二医学影像样本为两类医学影像样本，但并不限定是真实在某一方面存在差异的两类医学影像样本，可以是从一堆医学影像样本中随机划分出的两部分医学影像样本。
在一个具体的实施例中，医学影像样本集可采用目前机器学习领域公开的训练集。比如，CIFAR10/100分类数据集以及CityScapes语义分割数据集等。评估模型、重建模型和判别模型都可以采用Kaiming初始化参数进行模型参数初始化。
步骤604，通过目标模型，提取医学影像样本集中医学影像样本的初始目标特征。
在本申请中，训练评估模型来筛选医学影像样本是为了训练目标模型。那么，为了提高筛选的医学影像样本在目标模型上的指向性，引入考虑医学影像样本在目标模型上的特征，通过目标模型提取医学影像样本的目标特征，再通过评估模型对目标特征进行评估。这样，评估医学影像样本是依据医学影像样本在目标模型上的特征，对医学影像样本的信息量进行评估，这样，筛选出的医学影像样本更符合训练目标模型的需求。
其中，初始目标特征，是通过目标模型，从医学影像样本集中医学影像样本提取的真实的目标特征。通过目标模型提取医学影像样本集中医学影像样本的初始目标特征，包括通过目标模型提取各第一医学影像样本的初始目标特征，以及各第二医学影像样本的初始目标特征。
具体地，服务器可将第一医学影像样本（第二医学影像样本）输入目标模型，得到目标模型中的网络层从第一医学影像样本（第二医学影像样本）中提取的目标特征。其中，目标特征可以是目标模型的其中一层网络层提取的特征，也可以是目标模型的多于一层网络层提取的特征，还可以是目标模型的多于一层网络层提取的特征的融合结果，等。目标模型所实现的功能不同时，提取目标特征的网络层可能不同。
在一个具体的实施例中，医学影像样本集可采用目前机器学习领域常用的模型。比如，在分类任务上使用ResNet18作为目标模型，在语义分割任务上使用DRN作为目标模型。
步骤606，通过评估模型，根据第一医学影像样本的初始目标特征，生成第一医学影像样本的评估量化结果；第一医学影像样本的评估量化结果与第一医学影像样本所包含的信息量成正比。
具体地，服务器可将第一医学影像样本的初始目标特征输入评估模型，得到评估模型输出的对该初始目标特征进行评估处理的结果，从而映射得到的评估量化结果，也就是该第一医学影像样本的评估量化结果。其中，评估模型的输入可以是一个第一医学影像样本的初始目标特征，这样评估模型可以对单个第一医学影像样本进行评估。评估模型的输入可以是多于一个第一医学影像样本的初始目标特征，这样评估模型可以对批量第一医学影像样本进行评估。
步骤608，通过重建模型，根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果，得到第一医学影像样本的重建目标特征。
可以理解，评估模型是用于筛选医学影像样本的模型，是训练的目标。那么，在训练评估模型时，引入重建模型和判别模型时，可将重建模型的输入与评估模型的输出相关联，通过重建模型根据医学影像样本的初始目标特征和评估量化结果来生成重建目标特征，从而将评估模型和重建模型协同作为对抗训练的其中一方，判别模型则作为对抗训练的另一方。
在一个具体的实施例中，重建模型包括编码器和解码器。编码器用于将目标模型提取的特征嵌入至同一个潜在空间，解码器则基于编码器的编码结果重建目标模型提取的特征。其中，目标模型提取的特征可以是深度特征。
其中，重建模型具体可采用VAE（Variational auto-encoder，变分自编码器），或者，DCGAN（Deep Convolution Generative Adversarial Networks，深度卷积生成对抗网络）的生成器等。
步骤610，将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入判别模型，对评估模型、重建模型和判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练目标模型的目标医学影像样本。
可以理解，由于分类器对最不确定的医学影像样本进行分类时容易出错，分类结果的置信度不高。因此，在筛选待标注的目标医学影像样本去训练目标模型时，医学影像样本的不确定度是一个重要的考虑因素。医学影像样本在目标模型上的不确定度，可通过目标模型从医学影像样本提取的目标特征之间的距离来定义，那么可通过判别模型区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，来优化评估模型，通过对抗训练使得评估模型在筛选医学影像样本过程中，能够考虑到医学影像样本对于目标模型的不确定度。
其中，判别模型可以采用通用的判别器，如DCGAN的判别器等。
具体地，在基于对抗网络的主动学习模型的训练过程中，使用自适应矩估计（Adam）优化器对模型进行参数优化。在优化的过程中，通过不断更新模型参数w和偏置参数b，在每次迭代过程中，计算预测结果误差并反向传播到模型，计算梯度并更新模型的参数。
在训练过程中，评估模型的优化受到判别模型的约束。在训练的初始阶段，评估模型给输入预测不同的分数，使得判别模型能够容易区分出当前的输入来自第一医学影像样本还是第二医学影像样本。随着训练的进行，评估模型在判别模型的约束下，能够对第一医学影像样本中与第二医学影像样本相似的医学影像样本预测较小的评估量化结果，对第一医学影像样本中与第二医学影像样本不相似的医学影像样本预测较大的评估量化结果，从而使得判别模型无法区分出当前的输入来自第一医学影像样本还是第二医学影像样本。
上述模型训练方法，通过第一医学影像样本和第二医学影像样本两类医学影像样本，迭代地对抗训练评估模型、重建模型和判别模型。其中，判别模型的输入为第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，其目的是将评估模型和重建模型联合的输出与第二医学影像样本的初始目标特征尽可能分辨出来，优化评估模型对医学影像样本所包含信息量的识别能力；而且由于目标特征是目标模型在实际执行模型任务时所关注的数据，这样通过对抗训练得到的评估模型来筛选医学影像样本时，就能筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
在一个实施例中，判别模型包括第一判别模型和第二判别模型。将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入判别模型，对评估模型、重建模型和判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练，包括：将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
可以理解，在筛选待标注的目标医学影像样本去训练目标模型时，医学影像样本的不确定度是一个重要的考虑因素；然而仅考虑医学影像样本的不确定度时，虽然能筛选出具有信息量的医学影像样本，但存在选择出的医学影像样本之间信息量重复的问题。医学影像样本的表征度高时可以避免同一类中重复选择不必要的医学影像样本，使得所选医学影像样本更具“价值”，医学影像样本的表征度也是一个重要的考虑因素。模型开发人员可设计两支判别分支，分别用于优化评估模型，通过对抗训练使得评估模型在选择医学影像样本的过程中，能够同时考虑到医学影像样本对于目标模型的不确定性和表征性。包括两支判别分支的主动学习模型可以称为基于对偶对抗网络的主动学习模型（DualAdversarial Network for Active Learning，DAAL），也可称为基于双重对抗网络的主动学习模型。
其中，评估模型用于主动学习模型中的采样函数，用来评估输入医学影像样本的不确定性和表征性。不确定性通过不确定度来衡量，表征性通过表征度来衡量。具体地，评估模型用于从第一医学影像样本中筛选出与第二医学影像样本深度特征差异较大（即高不确定度）、且与第一医学影像样本深度特征差异较小（即表征度高）的医学影像样本；也就是筛选出与第二医学影像样本不相似、又能代表第一医学影像样本的医学影像样本。
在一个实施例中，通过评估模型，根据第一医学影像样本的初始目标特征，生成第一医学影像样本的评估量化结果，包括：将第一医学影像样本的初始目标特征输入评估模型，通过评估模型中多于一层网络结构的依次处理，得到第一医学影像样本的评估量化结果；其中，网络结构包括全连接层和随机失活层；第一医学影像样本的评估量化结果与第一医学影像样本的不确定度正相关、且与第一医学影像样本的表征度正相关；第一判别模型用于优化评估模型筛选不确定度大的医学影像样本；第二判别模型用于优化评估模型筛选表征度高的医学影像样本。
具体地，服务器在得到候选医学影像样本的目标特征后，可将目标特征输入评估模型，通过评估模型中多于一层网络结构的全连接层和随机失活层的依次处理，得到目标特征相应候选医学影像样本的评估量化结果，也就是对候选医学影像样本对于目标模型的不确定度和表征度的混合评分。
在一个具体的实施例中，多于一层网络结构具体可以是5层（分别为Linear1_x、Linear2_x、Linear3_x、Linear4_x和Linear5_x），评估模型（ScoreNet）的具体结构如前述表一所示。
在一个具体的实施例中，重建模型可包括编码器和解码器。例如，重建模型可以是VAE，在实施例中的VAE的具体结构如下表所示：
表二：
Figure 449834DEST_PATH_IMAGE018
其中，mu指均值，var指标准差，Fc_mu和Fc_logvar用于将输入的目标特征强制映射到正态分布的特征空间中。Fc_mu和Fc_logvar可以包括于Encoder。
在一个具体的实施例中，判别模型具有与评估模型相似的结构，不同在于判别模型中移除了全连接层后的随机失活层。判别模型的具体结构如下表所示：
表三：
Figure 459378DEST_PATH_IMAGE020
其中，评估模型中的Linear1_x-Linear5_x，重建模型中的Encoder、Fc_mu、Fc_logvar和Decoder以及判别器中的Linear1_x-Linear5_x，都可采用Kaiming初始化参数进行参数初始化。
上述实施例中，在结合重建模型和判别模型对抗训练评估模型时，使用两个判别模型分别优化评估模型，通过双重对抗训练使得评估模型在选择数据过程中，能够同时考虑到待选择医学影像样本对于目标模型的不确定性和表征性。后续在应用评估模型的过程中，可自动选择出最具有信息量的部分医学影像样本进行目标模型的训练，使得目标模型能在测试集上取得接近于使用所有数据训练目标模型所取得的性能，在保障模型性能的条件下极大地减少了模型训练时间，并减少了标注医学影像样本所消耗的人力物力。
在一个实施例中，通过重建模型，根据第一医学影像样本的初始目标特征和评估量化结果，得到第一医学影像样本的重建目标特征，包括：获取预设数值与第一医学影像样本的评估量化结果之间的差异值；将第一医学影像样本的初始目标特征和差异值的乘积输入重建模型，映射得到第一医学影像样本的第一重建目标特征；将第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果的乘积输入重建模型，映射得到第一医学影像样本的第二重建目标特征。将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练，包括：将第一医学影像样本的第一重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的第二重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
可以理解，在通过评估模型对医学影像样本进行评估时，希望能够对第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本预测较小的评估量化结果，与第二医学影像样本不相似的且具有代表性的医学影像样本预测较大的评估量化结果，从而使得第一判别模型无法区分输入来自第一医学影像样本或第二医学影像样本，第二判别模型无法区分输入来自真实数据还是生成数据。
一方面，重建模型在生成用于第一判别模型的第一重建目标特征时，由于重建模型意图生成与第二医学影像样本的初始目标特征相似的数据来“欺骗”第一判别模型，而第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本被预测较小的评估量化结果，则可通过重建模型根据第一医学影像样本的初始目标特征和差异值的乘积映射得到，差异值为预设数值与第一医学影像样本的评估量化结果的差异值。
另一方面，重建模型在生成用于第二判别模型的第二重建目标特征时，由于重建模型意图生成与第一医学影像样本的初始目标特征相似的数据来“欺骗”第二判别模型，而第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本被预测较小的评估量化结果，则可通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果的乘积映射得到。
在本实施例中，在训练过程中，评估模型的优化受到两个判别模型的约束。在训练的初始阶段，评估模型给输入预测不同的评估量化结果，使得第一判别模型能够容易区分出当前的输入来自第一医学影像样本或第二医学影像样本，并使得第二判别模型能够区分出当前的输入来自真实数据还是生成数据。随着训练地进行，评估模型在两个判别模型的约束下，能够对第一医学影像样本中与第二医学影像样本相似的且没有代表性的医学影像样本预测较小的评估量化结果，与第二医学影像样本不相似的且具有代表性的医学影像样本预测较大的评估量化结果，从而使得第一判别模型无法区分当前的输入来自第一医学影像样本或第二医学影像样本，第二判别模型无法区分当前的输入来自真实数据还是生成数据。
在一个实施例中，医学影像样本集中的医学影像样本为未标注医学影像样本。该模型训练方法还包括：从医学影像样本集中筛选出部分未标注医学影像样本作为伪标注医学影像样本，记为第一医学影像样本；第二医学影像样本为医学影像样本集中剩余的未标注医学影像样本。
具体地，服务器可从医学影像样本集中随机选出一些未标注医学影像样本记为第二医学影像样本，用作已标注数据池（labeled set）；医学影像样本集中剩余的未标注医学影像样本记为第一医学影像样本，用作未标注数据池（unlabeled set）。其中，未标注医学影像样本具体可以是未标记图像（unlabeled images），已标注医学影像样本具体可以是已标注图像（labeled images）。
参考图7，该图示出了一个实施例中基于对抗网络的主动学习原理示意图。由图7上图可以看到，我们希望训练评估模型（Image Selector），使得评估模型能够用来评估输入医学影像样本的不确定性和表征性。也就是希望对于评估模型从未标记图像（unlabeledimages）筛选出图像，特征提取器（Feature Extractor）对该图像提取和已标注图像（labeled images）提取的特征之间特征距离尽量大（maxmize distance betweenfeatures），且特征提取器（Feature Extractor）对该图像和未标记图像（unlabeledimages）提取出的特征之间特征距离尽量小（minmize distance between features）。
那么，基于图7上图的建模构思，但考虑到衡量深度特征之间特征距离的难度较大，故引入重建模型（Encoder+Decoder）和判别模型（Discriminator），基于生成对抗框架来衡量深度特征之间的特征距离，继而设计得到图7下图的模型结构。参考图7下图，重建模型包括编码器（Encoder）和解码器（Decoder），解码器和第一判别模型形成一个GAN，解码器和第二判别模型形成另一个GAN。其中，第一判别模型用于区分输入来自未标记图像还是已标注图像，第二判别模型用于区分输入来自真实的数据还是生成的数据，这样评估模型和重建模型作为价值评估器（Value Rater）与两个判别模型分别对抗训练，得到优化。另外，考虑到训练得到的评估模型用于筛选用来训练目标模型的医学影像样本，为了使得筛选出的医学影像样本更具指向性，还可将通过目标模型对医学影像样本提取目标特征后，将目标特征作为评估模型的作用对象，即在图7下图的未标记图像和评估模型之间，以及已标注图像和第一评估模型之间增加目标模型的处理。
这样，服务器在训练得到评估模型后，后续该评估模型可用于从目标模型的候选医学影像样本集中筛选出待标注的目标医学影像样本，这些目标医学影像样本被反馈给用户后，用户可对这些目标医学影像样本进行标注后，再用来训练模板模型，可以使得目标模型能够在测试集上取得接近于使用所有数据训练目标模型所取得的性能。
在本实施例中，在训练评估模型时，由于训练时并不需要医学影像样本的标注信息，即可从未标注医学影像样本中随机选取一些医学影像样本假设为已标注医学影像样本，可以避免在医学影像样本收集上花费不必要的时间。而且能训练评估模型能够从学会从剩余医学影像样本中筛选出与选出的医学影像样本不相似且具有代表性的医学影像样本，也就是学会从数据集中筛选出最具信息量的数据，这样训练出的评估模型可有效地用于医学影像样本筛选。
在一个实施例中，将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练，包括：将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型；基于评估模型的稀疏性损失、重建模型的目标损失以及对抗损失构建损失函数，根据损失函数对评估模型、重建模型和判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练；其中，双重对抗训练的其中一重对抗训练中，对抗双方的其中一方为评估模型和重建模型，另一方为第一判别模型；双重对抗训练的另一重对抗训练中，对抗双方的其中一方为评估模型和重建模型，另一方为第二判别模型。
具体地，第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征为第一判别模型的两类输入，第一判别模型通过对这两类输入的学习，用于区分当前的输入来自第一医学影像样本还是第二医学影像样本。第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征为第二判别模型的两类输入，第二判别模型通过对这两类输入的学习，用于区分当前的输入来自真实的特征还是生成的特征。
对于基于双重对抗网络的主动学习模型，其中评估模型在对目标特征进行评估时存在稀疏性损失，该稀疏性损失可以是通过正则项来防止所有的医学影像样本被赋予相同的权重。重建模型在重建目标特征时存在重建损失，评估模型和重建模型分别与第一判别模型和第二判别模型的对抗训练也存在对抗损失。另外，重建模型通过变分自编码器实现时，还存在先验损失。此时，先验损失和重建损失共同为重建模型的目标损失。这样，服务器可根据这些损失构建损失函数，来优化主动学习模型的模型参数。
具体地，服务器可根据评估模型的稀疏性损失、重建模型的先验损失和重建损失，来更新评估模型和重建模型的编码器的模型参数。服务器可根据重建模型的重建损失和双重对抗损失，来更新重建模型的解码器的模型参数。服务器可根据双重对抗损失，来更新第一判别模型和第二判别模型的模型参数。
在一个实施例中，服务器在训练得到评估模型后，可通过评估模型筛选出的医学影像样本，和全部医学影像样本分别训练目标模型，比较目标模型的效率效果。其中，在每次医学影像样本筛选中，可选择医学影像样本集中医学影像样本总量的百分之五，用于目标模型的训练。
另外，本申请实施例提供的医学影像图像处理方法和模型训练方法中，通过评估模型筛选出的是医学影像样本集中具有表征性的医学影像样本。通常“摘要”可以指数据集中一部分具体表征性的数据。那么，本案的主动学习模型也适用于数据摘要的任务。
而且，本申请模型训练方法所训练出的一种基于对偶对抗网络的主动学习模型，利用对偶对抗网络，无需分步地完成从待标注数据集中选择最不确定性和最具表征性的数据，且使用该主动学习模型筛选出的样本来训练目标模型，训练得到的目标模型能够在测试集上达到更优的性能。而且，相对于现有的一些分步的主动学习方法，大大降低了样本查询时间。样本查询时间可以是查询并选择哪一部分数据用于标注并训练目标模型所需要的时间。
本申请所提供的图像处理方法还可以迁移应用于其他的应用场景下。具体地，如图8所示，在其他应用场景下的图像处理方法的步骤如下：
步骤802，获取候选图像样本集和目标模型。
具体地，这里用作候选图像样本的图像，是各应用场景下的处理对象，比如，身份认证场景下的人脸图像或者身份证图像等。
步骤804，查询与目标模型匹配的评估模型。
步骤806，通过目标模型，提取候选图像样本集中候选图像样本相应的目标特征。
步骤808，将目标特征输入评估模型，映射得到相应候选图像样本的评估量化结果；候选图像样本的评估量化结果与候选图像样本所包含的信息量成正比。
步骤810，从候选图像样本集中筛选用于训练目标模型的目标图像样本；目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
上述实施例中，在获取到候选图像样本集和待训练的目标模型后，即自动查询与目标模型匹配的评估模型，采用该评估模型来从候选图像样本集中筛选用于训练目标模型的目标图像样本。其中，评估模型所作用的对象是通过目标模型提取的候选图像样本相应的目标特征，而目标特征则是目标模型在实际执行模型任务时所关注的数据；另外，评估模型所输出的对象是候选图像样本的评估量化结果，而候选图像样本的评估量化结果与候选图像样本所包含的信息量成正比；这样就能从候选图像样本集中筛选出针对该目标模型的训练需求、且最具信息量的目标图像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标图像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
需要说明的是，前述各实施例的图像处理方法和模型训练方法均可迁移应用于其他的智能场景。
应该理解的是，虽然上述实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块901、查询模块902、提取模块903、映射模块904和筛选模块905，其中：
获取模块901，用于获取候选医学影像样本集和目标模型。
查询模块902，用于查询与目标模型匹配的评估模型。
提取模块903，用于通过目标模型，提取候选医学影像样本集中候选医学影像样本相应的目标特征。
映射模块904，用于将目标特征输入评估模型，映射得到相应候选医学影像样本的评估量化结果；候选医学影像样本的评估量化结果与候选医学影像样本所包含的信息量成正比。
筛选模块905，用于从候选医学影像样本集中筛选出待标注的医学影像样本；待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；待标注的医学影像样本被标注后用于训练目标模型。
在一个实施例中，获取模块901还用于获取目标任务和目标医学影像样本的数量。提取模块903还用于根据目标任务定位目标模型中的目标隐层；将候选医学影像样本集中的候选医学影像样本输入目标模型，通过目标隐层，提取各候选医学影像样本相应的、且用于目标任务的目标特征。筛选模块905还用于从候选医学影像样本集中，筛选数量的、且评估量化结果最大的候选医学影像样本，获得用于训练目标模型的目标医学影像样本。
在一个实施例中，映射模块904还用于将目标特征输入评估模型，通过评估模型中多于一层网络结构的依次处理，得到目标特征相应候选医学影像样本的评估量化结果；其中，网络结构包括全连接层和随机失活层；候选医学影像样本的评估量化结果与候选医学影像样本的不确定度正相关、且与候选医学影像样本的表征度正相关。
在一个实施例中，评估模型、重建模型和判别模型通过迭代地对抗训练得到；对抗训练的其中一方为评估模型和重建模型，对抗训练的另一方为判别模型；判别模型通过区分第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化评估模型基于医学影像样本的不确定度进行映射；初始目标特征通过目标模型提取；重建目标特征，通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果得到；第一医学影像样本的评估量化结果，通过评估模型根据第一医学影像样本的初始目标特征映射得到。
在一个实施例中，判别模型包括第一判别模型和第二判别模型；评估模型、重建模型、第一判别模型及第二判别模型通过迭代地双重对抗训练得到；第一判别模型通过判别第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，优化评估模型基于医学影像样本的不确定度进行映射；第二判别模型通过判别第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征，优化评估模型基于医学影像样本的表征度进行映射。
在一个实施例中，重建目标特征包括第一重建目标特征和第二重建目标特征；第一重建目标特征用于第一判别模型、且通过重建模型根据第一医学影像样本的初始目标特征和差异值共同映射得到；差异值为预设数值与第一医学影像样本的评估量化结果的差异值；第二重建目标特征用于第二判别模型、且通过重建模型根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果共同映射得到。
在一个实施例中，获取模块901还用于获取候选图像样本集和目标模型。查询模块902还用于查询与目标模型匹配的评估模型。提取模块903还用于通过目标模型，提取候选图像样本集中候选图像样本相应的目标特征。映射模块904还用于将目标特征输入评估模型，映射得到相应候选图像样本的评估量化结果；候选图像样本的评估量化结果与候选图像样本所包含的信息量成正比。筛选模块905还用于从候选图像样本集中筛选用于训练目标模型的目标图像样本；目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像处理装置，在获取到候选医学影像样本集和待训练的目标模型后，即自动查询与目标模型匹配的评估模型，采用该评估模型来从候选医学影像样本集中筛选用于训练目标模型的目标医学影像样本，即待标注的医学影像样本。其中，评估模型所作用的对象是通过目标模型提取的候选医学影像样本相应的目标特征，而目标特征则是目标模型在实际执行模型任务时所关注的数据；另外，评估模型所输出的对象是候选医学影像样本的评估量化结果，而候选医学影像样本的评估量化结果与候选医学影像样本所包含的信息量成正比；这样就能从候选医学影像样本集中筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
在一个实施例中，如图10所示，提供了一种模型训练装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1001、模型处理模块1002和对抗训练模块1003，其中：
获取模块1001，用于获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；医学影像样本集包括第一医学影像样本和第二医学影像样本。
模型处理模块1002，用于通过目标模型，提取医学影像样本集中医学影像样本的初始目标特征；通过评估模型，根据第一医学影像样本的初始目标特征，生成第一医学影像样本的评估量化结果；第一医学影像样本的评估量化结果与第一医学影像样本所包含的信息量成正比；通过重建模型，根据第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果，得到第一医学影像样本的重建目标特征。
对抗训练模块1003，用于将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入判别模型，对评估模型、重建模型和判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练目标模型的目标医学影像样本。
在一个实施例中，判别模型包括第一判别模型和第二判别模型。对抗训练模块1003还用于将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
在一个实施例中，模型处理模块1002还用于获取预设数值与第一医学影像样本的评估量化结果之间的差异值；将第一医学影像样本的初始目标特征和差异值的乘积输入重建模型，映射得到第一医学影像样本的第一重建目标特征；将第一医学影像样本的初始目标特征和第一医学影像样本的评估量化结果的乘积输入重建模型，映射得到第一医学影像样本的第二重建目标特征。对抗训练模块1003还用于将第一医学影像样本的第一重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的第二重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型，对评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
在一个实施例中，医学影像样本集中的医学影像样本为未标注医学影像样本。获取模块1001还用于从医学影像样本集中筛选出部分未标注医学影像样本记为第一医学影像样本，用作伪标注医学影像样本；第二医学影像样本为医学影像样本集中剩余的未标注医学影像样本；其中，训练得到的评估模型，用于从目标模型的候选医学影像样本集中筛选出待标注的目标医学影像样本；待标注的目标医学影像样本被标注后用于训练目标模型。
在一个实施例中，模型处理模块1002还用于将第一医学影像样本的初始目标特征输入评估模型，通过评估模型中多于一层网络结构的依次处理，得到第一医学影像样本的评估量化结果；其中，网络结构包括全连接层和随机失活层；第一医学影像样本的评估量化结果与候选医学影像样本的不确定度正相关、且与候选医学影像样本的表征度正相关；第一判别模型用于优化评估模型筛选不确定度大的医学影像样本；第二判别模型用于优化评估模型筛选表征度高的医学影像样本。
在一个实施例中，对抗训练模块1003还用于将第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征输入第一判别模型，并将第一医学影像样本的重建目标特征和第一医学影像样本的初始目标特征输入第二判别模型；基于评估模型的稀疏性损失、重建模型的目标损失以及对抗损失构建损失函数，根据损失函数对评估模型、重建模型和判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练；其中，双重对抗训练的其中一重对抗训练中，对抗双方的其中一方为评估模型和重建模型，另一方为第一判别模型；双重对抗训练的另一重对抗训练中，对抗双方的其中一方为评估模型和重建模型，另一方为第二判别模型。
关于模型训练装置的具体限定可以参见上文中对于模型训练方法的限定，在此不再赘述。上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述模型训练装置，通过第一医学影像样本和第二医学影像样本两类医学影像样本，迭代地对抗训练评估模型、重建模型和判别模型。其中，判别模型的输入为第一医学影像样本的重建目标特征和第二医学影像样本的初始目标特征，其目的是将评估模型和重建模型联合的输出与第二医学影像样本的初始目标特征尽可能分辨出来，优化评估模型对医学影像样本所包含信息量的识别能力；而且由于目标特征是目标模型在实际执行模型任务时所关注的数据，这样通过对抗训练得到的评估模型来筛选医学影像样本时，就能筛选出针对该目标模型的训练需求、且最具信息量的目标医学影像样本，从而大大降低了从候选数据池中筛选用于训练目标模型的数据的时间，且利用这些目标医学影像样本去训练目标模型时，既能极大地降低标注成本，又能在极大程度上保障训练目标网络所取得的性能。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储评估模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法和/或模型训练方法。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取候选医学影像样本集和目标模型；
查询与所述目标模型匹配的评估模型；
通过所述目标模型，提取所述候选医学影像样本集中候选医学影像样本相应的目标特征；
将所述目标特征输入所述评估模型，映射得到相应候选医学影像样本的评估量化结果；所述候选医学影像样本的评估量化结果与所述候选医学影像样本的不确定度正相关、且与所述候选医学影像样本的表征度正相关；
从所述候选医学影像样本集中筛选出待标注的医学影像样本；所述待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；所述待标注的医学影像样本被标注后用于训练所述目标模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标任务和待标注的医学影像样本的数量；
所述通过所述目标模型，提取所述候选医学影像样本集中候选医学影像样本相应的目标特征，包括：
根据所述目标任务定位所述目标模型中的目标隐层；
将所述候选医学影像样本集中的候选医学影像样本输入所述目标模型，通过所述目标隐层，提取各所述候选医学影像样本相应的、且用于所述目标任务的目标特征；
所述从所述候选医学影像样本集中筛选出待标注的医学影像样本，包括：
从所述候选医学影像样本集中，筛选评估量化结果最大的、且具有所述数量的候选医学影像样本，获得用于训练所述目标模型的待标注的医学影像样本。
3.根据权利要求1所述的方法，其特征在于，所述将所述目标特征输入所述评估模型，映射得到相应候选医学影像样本的评估量化结果，包括：
将所述目标特征输入所述评估模型，通过所述评估模型中多于一层网络结构的依次处理，得到所述目标特征相应候选医学影像样本的评估量化结果；
其中，所述网络结构包括全连接层和随机失活层。
4.一种图像处理方法，其特征在于，所述方法包括：
获取候选图像样本集和目标模型；
查询与所述目标模型匹配的评估模型；
通过所述目标模型，提取所述候选图像样本集中候选图像样本相应的目标特征；
将所述目标特征输入所述评估模型，映射得到相应候选图像样本的评估量化结果；所述候选图像样本的评估量化结果与所述候选图像样本的不确定度正相关、且与所述候选图像样本的表征度正相关；
从所述候选图像样本集中筛选用于训练所述目标模型的目标图像样本；所述目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
5.一种模型训练方法，其特征在于，所述方法包括：
获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；所述医学影像样本集包括第一医学影像样本和第二医学影像样本；
通过所述目标模型，提取所述医学影像样本集中医学影像样本的初始目标特征；
通过所述评估模型，根据所述第一医学影像样本的初始目标特征，生成所述第一医学影像样本的评估量化结果；所述第一医学影像样本的评估量化结果与所述第一医学影像样本的不确定度正相关、且与所述第一医学影像样本的表征度正相关；
通过所述重建模型，根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果，得到所述第一医学影像样本的重建目标特征；
将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入判别模型，对所述评估模型、所述重建模型和所述判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练所述目标模型的目标医学影像样本。
6.根据权利要求5所述的方法，其特征在于，所述判别模型包括第一判别模型和第二判别模型；
所述将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入判别模型，对所述评估模型、重建模型和判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练，包括：
将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入第一判别模型，并将所述第一医学影像样本的重建目标特征和所述第一医学影像样本的初始目标特征输入第二判别模型，对所述评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
7.根据权利要求6所述的方法，其特征在于，所述通过所述重建模型，根据所述第一医学影像样本的初始目标特征和评估量化结果，得到所述第一医学影像样本的重建目标特征，包括：
获取预设数值与所述第一医学影像样本的评估量化结果之间的差异值；
将所述第一医学影像样本的初始目标特征和所述差异值的乘积输入所述重建模型，映射得到所述第一医学影像样本的第一重建目标特征；
将所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果的乘积输入所述重建模型，映射得到所述第一医学影像样本的第二重建目标特征；
所述将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入第一判别模型，并将所述第一医学影像样本的重建目标特征和初始目标特征输入第二判别模型，对所述评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练，包括：
将所述第一医学影像样本的第一重建目标特征和所述第二医学影像样本的初始目标特征输入第一判别模型，并将所述第一医学影像样本的第二重建目标特征和所述第一医学影像样本的初始目标特征输入第二判别模型，对所述评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练。
8.根据权利要求5所述的方法，其特征在于，所述医学影像样本集中的医学影像样本为未标注样本；所述方法还包括：
从所述医学影像样本集中筛选出部分未标注样本记为第一医学影像样本，用作伪标注样本；所述第二医学影像样本为所述医学影像样本集中剩余的未标注样本；
其中，训练得到的评估模型，用于从所述目标模型的候选医学影像样本集中筛选出待标注的目标医学影像样本；所述待标注的目标医学影像样本被标注后用于训练所述目标模型。
9.根据权利要求6所述的方法，其特征在于，所述通过所述评估模型，根据所述第一医学影像样本的初始目标特征，生成所述第一医学影像样本的评估量化结果，包括：
将所述第一医学影像样本的初始目标特征输入所述评估模型，通过所述评估模型中多于一层网络结构的依次处理，得到所述第一医学影像样本的评估量化结果；
其中，所述网络结构包括全连接层和随机失活层；所述第一判别模型用于优化所述评估模型筛选不确定度大的医学影像样本；所述第二判别模型用于优化所述评估模型筛选表征度高的医学影像样本。
10.根据权利要求6所述的方法，其特征在于，所述将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入第一判别模型，并将所述第一医学影像样本的重建目标特征和所述第一医学影像样本的初始目标特征输入第二判别模型，对所述评估模型、重建模型、第一判别模型和第二判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练，包括：
将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入第一判别模型，并将所述第一医学影像样本的重建目标特征和所述第一医学影像样本的初始目标特征输入第二判别模型；
基于所述评估模型的稀疏性损失、所述重建模型的目标损失以及对抗损失构建损失函数，根据所述损失函数对所述评估模型、所述重建模型和所述判别模型进行迭代地双重对抗训练，直至满足训练停止条件时结束训练；
其中，所述双重对抗训练的其中一重对抗训练中，对抗双方的其中一方为所述评估模型和所述重建模型，另一方为所述第一判别模型；所述双重对抗训练的另一重对抗训练中，对抗双方的其中一方为所述评估模型和所述重建模型，另一方为所述第二判别模型。
11.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取候选图像样本集和目标模型；
查询模块，用于查询与所述目标模型匹配的评估模型；
提取模块，用于通过所述目标模型，提取所述候选图像样本集中候选图像样本相应的目标特征；
映射模块，用于将所述目标特征输入所述评估模型，映射得到相应候选图像样本的评估量化结果；所述候选医学影像样本的评估量化结果与所述候选医学影像样本的不确定度正相关、且与所述候选医学影像样本的表征度正相关；
筛选模块，用于从所述候选图像样本集中筛选用于训练所述目标模型的目标图像样本；所述目标图像样本的评估量化结果不低于筛选后剩余候选图像样本的评估量化结果。
12.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取候选医学影像样本集和目标模型；
查询模块，用于查询与所述目标模型匹配的评估模型；
提取模块，用于通过所述目标模型，提取所述候选医学影像样本集中候选医学影像样本相应的目标特征；
映射模块，用于将所述目标特征输入所述评估模型，映射得到相应候选医学影像样本的评估量化结果；所述候选图像样本的评估量化结果与所述候选图像样本的不确定度正相关、且与所述候选图像样本的表征度正相关；
筛选模块，用于从所述候选医学影像样本集中筛选出待标注的医学影像样本；所述待标注的医学影像样本的评估量化结果不低于筛选后剩余候选医学影像样本的评估量化结果；所述待标注的医学影像样本被标注后用于训练所述目标模型。
13.一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取医学影像样本集、目标模型、评估模型、重建模型和判别模型；所述医学影像样本集包括第一医学影像样本和第二医学影像样本；
模型处理模块，用于通过所述目标模型，提取所述医学影像样本集中医学影像样本的初始目标特征；通过所述评估模型，根据所述第一医学影像样本的初始目标特征，生成所述第一医学影像样本的评估量化结果；所述第一医学影像样本的评估量化结果与所述第一医学影像样本的不确定度正相关、且与所述第一医学影像样本的表征度正相关；通过所述重建模型，根据所述第一医学影像样本的初始目标特征和所述第一医学影像样本的评估量化结果，得到所述第一医学影像样本的重建目标特征；
对抗训练模块，用于将所述第一医学影像样本的重建目标特征和所述第二医学影像样本的初始目标特征输入判别模型，对所述评估模型、所述重建模型和所述判别模型进行迭代地对抗训练，直至满足训练停止条件时结束训练；其中，训练得到的评估模型用于筛选训练所述目标模型的目标医学影像样本。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202010352826.XA 2020-04-29 2020-04-29 图像处理、模型训练方法、装置、设备和存储介质 Active CN111242948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352826.XA CN111242948B (zh) 2020-04-29 2020-04-29 图像处理、模型训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352826.XA CN111242948B (zh) 2020-04-29 2020-04-29 图像处理、模型训练方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111242948A CN111242948A (zh) 2020-06-05
CN111242948B true CN111242948B (zh) 2020-09-01

Family

ID=70864501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352826.XA Active CN111242948B (zh) 2020-04-29 2020-04-29 图像处理、模型训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111242948B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335259B (zh) * 2019-06-25 2021-08-31 腾讯科技（深圳）有限公司 一种医学影像识别方法、装置和存储介质
CN112464706A (zh) * 2020-10-14 2021-03-09 鲁班嫡系机器人（深圳）有限公司 果实筛选、分拣方法、装置、系统、存储介质及设备
CN113240021B (zh) * 2021-05-19 2021-12-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113408697B (zh) * 2021-05-31 2022-09-16 杭州电子科技大学 一种基于强化学习自编码器的脑电数据重建方法
CN113487617A (zh) * 2021-07-26 2021-10-08 推想医疗科技股份有限公司 数据处理方法、装置、电子设备以及存储介质
CN114550009B (zh) * 2022-04-01 2022-12-06 中国科学院空天信息创新研究院 星载遥感图像的轻量化目标检测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070540A (zh) * 2019-04-28 2019-07-30 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110457675A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 预测模型训练方法、装置、存储介质及计算机设备
CN110766080A (zh) * 2019-10-24 2020-02-07 腾讯科技（深圳）有限公司 一种标注样本确定方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
EP3576020A1 (en) * 2018-05-30 2019-12-04 Siemens Healthcare GmbH Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
CN110766084B (zh) * 2019-10-28 2021-06-15 北京理工大学 基于cae与hl-cnn的小样本sar目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070540A (zh) * 2019-04-28 2019-07-30 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110457675A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 预测模型训练方法、装置、存储介质及计算机设备
CN110766080A (zh) * 2019-10-24 2020-02-07 腾讯科技（深圳）有限公司 一种标注样本确定方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adversarial Representation Active Learning;Ali Mottaghi 等，;《GoundAI》;20191220;1-13 *
Dual Adversarial Transfer for Sequence Labeling;Joey Tianyi Zhou 等，;《Dual Adversarial Transfer for Sequence Labeling》;20191231;1-12 *
Semi-supervised Adversarial Active Learning on;Yayong Li 等，;《arXiv》;20190821;1-12 *
Task-Aware Variational Adversarial Active Learning;Kwanyoung Kim;《arXiv》;20200212;1-10 *

Also Published As

Publication number Publication date
CN111242948A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
KR20220064395A (ko) 이미지들 및 전문 지식으로부터 피부 상태들을 수집하고 식별하기 위한 시스템
CN111127385B (zh) 基于生成式对抗网络的医学信息跨模态哈希编码学习方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN111553419B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
Dara et al. Feature extraction in medical images by using deep learning approach
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN113570497A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN112258250A (zh) 基于网络热点的目标用户识别方法、装置和计算机设备
CN111382807B (zh) 图像处理方法、装置、计算机设备和存储介质
CN114764865A (zh) 数据分类模型训练方法、数据分类方法和装置
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
Hitzler Discovering visual concepts and rules in convolutional neural networks
CN113821610A (zh) 信息匹配方法、装置、设备及存储介质
CN114612246A (zh) 对象集合识别方法、装置、计算机设备及存储介质
Bharathi et al. The significance of feature selection techniques in machine learning
Mendoza et al. Anomaly Detection with generative models
Prasad K-Net-Deep joint segmentation with Taylor driving training optimization based deep learning for brain tumor classification using MRI
Razzak Reducing the Burden of Aerial Image Labelling Through Human-in-the-Loop Machine Learning Methods
Li et al. DR-FER: Discriminative and Robust Representation Learning for Facial Expression Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023689

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20210924

Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right