CN112396605B - 网络训练方法及装置、图像识别方法和电子设备 - Google Patents

网络训练方法及装置、图像识别方法和电子设备 Download PDF

Info

Publication number
CN112396605B
CN112396605B CN202110078577.4A CN202110078577A CN112396605B CN 112396605 B CN112396605 B CN 112396605B CN 202110078577 A CN202110078577 A CN 202110078577A CN 112396605 B CN112396605 B CN 112396605B
Authority
CN
China
Prior art keywords
image
sample image
recognition network
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110078577.4A
Other languages
English (en)
Other versions
CN112396605A (zh
Inventor
吴振洲
杨春宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ande Yizhi Technology Co ltd
Original Assignee
Beijing Ande Yizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ande Yizhi Technology Co ltd filed Critical Beijing Ande Yizhi Technology Co ltd
Priority to CN202110078577.4A priority Critical patent/CN112396605B/zh
Publication of CN112396605A publication Critical patent/CN112396605A/zh
Application granted granted Critical
Publication of CN112396605B publication Critical patent/CN112396605B/zh
Priority to PCT/CN2021/122144 priority patent/WO2021259392A2/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种网络训练方法及装置、图像识别方法和电子设备。该方法包括：根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，第一图像组至少包括已标注的第一样本图像；根据训练集中的第二图像组，对第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，第二图像组包括已标注的第一、第二样本图像及未标注的第三样本图像；根据第一图像组，对第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。根据本公开的实施例，能够充分利用粗标注与无标注的图像数据，减少对精细标注的数据需求量，提高识别网络的训练效果，从而提高图像识别网络对图像数据的分割识别精度。

Description

网络训练方法及装置、图像识别方法和电子设备
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种网络训练方法及装置、图像识别方法和电子设备。
背景技术
深度学习在自然图像处理与识别等领域取得了巨大的成功，在医学影像方面较传统的图像处理算法也取得了长足的进展。利用深度学习技术，对医学影像数据进行组织器官及病灶的自动分割提取与类型识别，对于辅助医生进行疾病诊断具有重要参考意义，可以提高医生工作效率。
现有的医学图像分割与识别算法属于完全监督式的深度学习模型。在模型训练阶段，需要对每一例训练的医学影像数据的每一个切片进行完整的标注，即需要精确的划定目标区域及其属性，不能有遗漏和矛盾。这种基于全监督式深度学习的图像分割与识别算法依赖于大量的精细标注数据才能获得较好的分割识别效果，当精细标注数据不足时，完全监督式深度学习算法的性能受到极大制约，训练得到的模型精度不能够对医学图像进行准确的分割和识别。
发明内容
本公开提出了一种网络训练方法及装置、图像识别方法和电子设备。
根据本公开的一方面，提供了一种网络训练方法，所述方法包括：根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络；其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，其中，所述图像识别网络用于对待处理图像进行目标识别。
在一种可能的实现方式中，所述第一图像组包括第一样本图像及第二样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像，对所述初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络；根据所述第一图像组中的第一样本图像及第二样本图像，对所述第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络；根据所述第一图像组中的第一样本图像，对所述第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络。
在一种可能的实现方式中，所述根据所述第一图像组中的第一样本图像，对所述初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络，包括：将所述第一样本图像输入所述图像识别网络，得到第一识别结果；根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差；根据所述第一损失，训练所述图像识别网络；
其中，所述根据所述第一图像组中的第一样本图像，对所述第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：将所述第一样本图像输入所述图像识别网络，得到第二识别结果；根据所述第一损失函数、所述第一样本图像的标注信息及所述第二识别结果，确定第二损失；根据所述第二损失，训练所述图像识别网络。
在一种可能的实现方式中，所述根据所述第一图像组中的第一样本图像及第二样本图像，对所述第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第三识别结果及第四识别结果；根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第三识别结果、所述第二样本图像的标注信息及所述第四识别结果，确定第三损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差；根据所述第三损失，训练所述图像识别网络；
其中，所述根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络，包括：将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第五识别结果及第六识别结果；根据所述第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第五识别结果、所述第二样本图像的标注信息及所述第六识别结果，确定第四损失；根据所述第四损失，训练所述图像识别网络。
在一种可能的实现方式中，所述根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，包括：将所述第二图像组中的第一样本图像、第二样本图像及第三样本图像分别输入所述图像识别网络，得到第七识别结果、第八识别结果及第九识别结果；根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失；其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差，所述第三损失函数用于指示所述图像识别网络对第三样本图像的识别误差；根据所述第五损失，训练所述图像识别网络。
在一种可能的实现方式中，所述根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失，包括：将所述第一样本图像的标注信息及所述第七识别结果代入所述第一损失函数中运算，得到第一子损失；将所述第二样本图像的标注信息及所述第八识别结果代入所述第二损失函数中运算，得到第二子损失；将所述第三样本图像及所述第九识别结果代入所述第三损失函数中运算，得到第三子损失；根据所述第一子损失、所述第二子损失及所述第三子损失，确定所述第五损失。
在一种可能的实现方式中，所述将所述第一样本图像输入所述初始状态的图像识别网络，得到第一识别结果，包括：对所述第一样本图像进行随机采样，得到预设尺寸的采样图像块；将所述采样图像块输入所述图像识别网络，得到所述采样图像块的第一识别结果；
其中，所述根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失，包括：根据所述第一样本图像的标注信息，确定所述采样图像块的标注信息；将所述采样图像块的标注信息及第一识别结果代入所述第一损失函数中运算，得到所述第一损失。
在一种可能的实现方式中，所述第一图像组包括第一样本图像及第二样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像及第二样本图像，训练所述初始状态的图像识别网络，得到第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
在一种可能的实现方式中，所述第一图像组包括第一样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像，训练所述初始状态的图像识别网络，得到所述第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：根据所述第一图像组中的第一样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
根据本公开的一方面，提供了一种图像识别方法，所述方法包括：将待处理图像输入图像识别网络中处理，得到所述待处理图像的识别结果，所述识别结果包括所述待处理图像中目标的区域及类别，其中，所述图像识别网络是根据上述的网络训练方法训练得到的。
在一种可能的实现方式中，所述待处理图像包括三维的医学图像，所述待处理图像中目标的类别包括多个征象类别以及一个病灶类别，所述图像识别网络包括多个三维卷积层。
根据本公开的一方面，提供了一种网络训练装置，包括：第一训练模块，用于根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络；其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
第二训练模块，用于根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
目标训练模块：用于根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，其中，所述图像识别网络用于对待处理图像进行目标识别。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述的方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
通过训练集中包括的已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像对图像识别网络进行多轮训练，得到目标状态的图像识别网络。根据本公开实施例的网络训练方法，能够充分利用粗标注与无标注的图像数据，减少对精细标注的数据需求量，提高识别网络的训练效果，从而提高图像识别网络对图像数据的分割识别精度。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开实施例的网络训练方法的流程图。
图2示出根据本公开实施例的网络训练方法的流程图。
图3示出根据本公开的实施例的图像识别网络的结构示意图。
图4示出根据本公开实施例的网络训练装置的框图。
图5示出根据本公开实施例的图像识别的装置的框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应当理解，本公开的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何处理以及所有可能处理，并且包括这些处理。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
相关技术中，深度学习分割模型依赖于对分割区域的精确标注才能进行训练，例如HR-NET全监督模型。当标注数据足够丰富和准确的时候，这种全监督的模式既可以在训练集上达到相当高的精度，也可以有很好的推广性，在测试集上保持近似的精度水平。但当标注数据不够丰富或准确时，这种全监督的模式会陷入对训练集的过拟合，即在训练集上可以达到很高的精度，但对新的测试数据无法做出正确的预测。
医学影像中组织器官的标注，尤其是组织器官病灶和征象的精细标注，需要高年资医生投入大量时间进行标注。这些标注工作不是医生在阅片过程中的例行工作，属于额外的工作，因此在进行分割与识别技术的研发过程中较难快速取得大量的高质量标注数据。在缺乏标注数据的情况下，现有的完全监督式深度学习模型无法取得实用的精度。与此同时，各医院在日常工作中均积累了大量粗略标注和无标注的医学影像数据，现有的监督式学习模型不能对这些数据进行充分的利用。
根据本公开实施例的网络训练方法，能够充分利用粗标注与无标注的医学影像数据，减少对精细标注的数据需求量，提高分割识别网络模型的训练效果，从而提高模型对医学影像数据的分割识别精度。
图1示出根据本公开实施例的网络训练方法的流程图，如图1所示，所述方法包括步骤S1~步骤S3：
在步骤S1中，根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络。
其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
在步骤S2中，根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
在步骤S3中，根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络；
其中，所述图像识别网络用于对待处理图像进行目标识别。
根据本公开的实施例的网络训练方法，可通过第一图像组和第二图像组逐步对图像识别网络进行训练，可充分利用未标注的第三样本图像来弥补已标注的第一样本图像、已标注的第二样本图像数据的稀缺，在标注过的样本图像数据量相同的情况下，采用该方法进行训练可以提高图像识别网络的精度。
在一种可能的实现方式中，所述网络训练方法可以由终端设备或其它处理设备执行，其中，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端等。其它处理设备可为服务器或云端服务器等。在一些可能的实现方式中，该网络训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在一种可能的实现方式中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像。在示例中，第一样本图像、第二样本图像和第三样本图像可以是3D医学影像，例如，肺部的CT（Computed Tomography，计算机断层扫描）影像、头部的MRI（Magnetic Resonance Imaging，磁共振成像）影像，心脏的超声影像。本公开对具体的组织器官类型和医学图像类型不做限定。
其中，医学影像可以是具有相关病理学的图片，即可以是包括一个或多个病灶的图片，用于确定医学影像图片中病灶的类别，例如，乳腺疾病的病灶类别可以包括腺病、纤维腺瘤、乳腺炎、原位腺癌、浸润性腺癌等。本公开对病灶的类别不做限制。
其中，医学影像还可以是具有一种或多种征象的图片。其中，征象是正常或异常的影像表现，即把影像征象的特征与自然界中的某些事物或现象进行联系和类比，用这些事物或现象命名影像征象。例如，肺部疾病的病灶典型征象类别可以包括磨玻璃影、实变、铺路石征、条索、空洞、树芽征等。本公开对征象的类别不做限制。
在一种可能的实现方式中，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度。
在示例中，第一样本图像可例如由高年资医生通过检测框或分割线精确标注出病灶区域的位置信息，并且对病灶区域标注出征象类别和病灶类别，标注信息的内容较多。第二样本图像可例如由低年资医生通过检测框或分割线标注出病灶区域的位置信息，但没有对病灶区域标注出征象类别或病灶类别，标注信息的内容较少。
其中，由于低年资医生经验比较少，可以对医学影像中病灶区域位置进行大体的标注，并且难以准确地确定征象类型或病灶类型。因此，低年资医生对医学影像标注的精度（即第二图像的第二标注精度）小于高年资医学对医学影像标注的精度（第一图像的第一标注精度）。
在第三样本图像中，可不具有任何标注信息，即第三样本图像为没有经过医生标注的图像。
其中，对于医学影像中病灶区域位置，以及征象及病灶类别的精细标注难度比较大，需要高年资医生投入大量时间进行标注才可以获得具有第一标注精度的第一样本图像。而这些标注工作不是高年资医生在阅片过程中的例行工作，属于额外的工作，因此在医学图像识别技术的研发过程中较难快速取得大量的具有第一标注精度的第一样本图像。对比不易获取的具有第一标注精度的第一样本图像，第二标注精度的第二样本图像相对比较容易获取，通过低年资医生在实习或培训过程中对医疗影像进行标注就可以获取。与此同时，各医院在日常工作中均积累了大量无标注的第三样本图像。因此，第三样本图像的数量大于第二样本图像的数量，第二样本图像的数量大于第一样本图像的数量。
在一种可能的实现方式中，可预先设置图像识别网络，用于对待处理图像进行目标识别，确定图像中目标所在的区域和目标的类别。该图像识别网络可以是深度卷积神经网络，包括多个卷积层、多个反卷积层、全连接层等，采用例如U形网络（U Network，U-NET）的网络结构，本公开对图像识别网络的具体网络结构不作限制。
在一种可能的实现方式中，在步骤S1中，可使用第一图像组训练图像识别网络，获得第一状态的图像识别网络。所述第一图像组至少包括第一样本图像，也即第一图像组可以仅包括第一样本图像，也可以包括第一样本图像和第二样本图像。
在该步骤中，可使用第一样本图像训练图像识别网络，获得第一状态的图像识别网络；或者可使用第一样本图像和第二样本图像训练图像识别网络，获得第一状态的图像识别网络；还可先用第一样本图像训练图像识别网络，再使用第一样本图像和第二样本图像训练图像识别网络，即通过第一样本图像训练图像识别网络至该网络的参数收敛，然后再使用第一样本图像和第二样本图像训练图像识别网络至该网络的参数收敛，经过两轮训练获得第一状态的图像识别网络。
其中，在训练集中第一样本图像数量充足的情况下，可使用第一样本图像训练图像识别网络，获得第一状态的图像识别网络，并且训练的效果可以更高效精准。但是，使用第一样本图像训练图像识别网络会比较依赖第一样本图像数量，在第一样本图像数量不够充足的情况下，会陷入对训练集中第一样本图像的过拟合，即在训练集上可以达到很高的精度，但对新的测试数据无法做出正确的预测。
其中，为了节约训练时间，并且在训练集中第一样本图像数量不充足的情况下，可使用第一样本图像和第二样本图像训练图像识别网络，获得第一状态的图像识别网络。但是，由于第一样本图像数量不充足，并且由于第二样本图像的标注精度小于第一样本图像的标注精度，可能会在训练过程中引入噪声，因此使用第一样本图像和第二样本图像训练图像识别网络获得的图像识别网络的精准度不够高，在对精度要求不是特别高的情况下可以考虑使用第一样本图像和第二样本图像训练图像识别网络。
其中，为了获得较好的训练效果，在第一样本图像数量不够充足的情况下，还可先用第一样本图像训练图像识别网络，再使用第一样本图像和第二样本图像训练图像识别网络，获得第一状态的图像识别网络。通过这种方式，可利用具有第二标注精度的第二样本图像来弥补具有第一标注精度的第一样本图像的稀缺，在样本图像数量相同的情况下，采用该方式进行训练可以提高图像识别网络的精度。
应当理解，本领域技术人员可根据实际情况选择上述的任意方式进行训练，本公开对此不作限制。
在一种可能的实现方式中，在步骤S2中，可使用第一样本图像、第二样本图像及第三样本图像训练第一状态的图像识别网络，获得第二状态的图像识别网络。
对比第一样本图像和第二样本图像，第三样本图像比较容易获取，各医院以及体检机构在日常工作中积累了大量的第三样本图像。在这种情况下，通过第二图像组的第一样本图像、第二样本图像及第三样本图像对第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，可以充分利用第三样本图像，以弥补第一样本图像和第二样本图像的稀缺，丰富了训练集中样本的多样性，提高图像识别网络的精度。
在一种可能的实现方式中，在步骤S3中，可使用第一图像组训练第二状态的图像识别网络，获得目标状态的图像识别网络。该步骤中，可采用与步骤S1对应的方式训练第二状态的图像识别网络。
也即，在步骤S1中使用第一样本图像进行训练时，可在步骤S3中使用第一样本图像训练图像识别网络，获得目标状态的图像识别网络；在步骤S1中使用第一样本图像和第二样本图像进行训练时，可在步骤S3中使用第一样本图像和第二样本图像训练图像识别网络，获得目标状态的图像识别网络；在步骤S1中使用第一样本图像和第二样本图像进行两轮训练时，可在步骤S3中先用第一样本图像和第二样本图像训练图像识别网络，再使用第一样本图像训练图像识别网络，通过两轮训练获得目标状态的图像识别网络。
通过采用步骤S1~S3中的方法训练图像识别网络，可以充分利用多层次的样本图像，可以利用初级医生标注的第二样本图像和无标注的第三样本图像，减少对高年资医生精细标注的第一样本图像的需求量，能够在同样标注信息量的情况下，获得的目标图像识别网络可以有效提升该网络的图像识别结果的精度，节省图像识别网络训练的研发成本。
下面对根据本公开实施例的网络训练方法进行展开说明。
如前所述，在步骤S1和步骤S3中，可选择不同的训练方式通过第一图像组训练图像识别网络。在第一图像组包括第一样本图像及第二样本图像的情况下，可在步骤S1和步骤S3中通过第一图像组各自进行两轮训练，也即步骤S1、S2、S3共有5轮训练。
图2示出根据本公开实施例的网络训练方法的流程图。如图2所示，在一种可能实现的方式中，步骤S1可包括：
在步骤S11中，根据所述第一图像组中的第一样本图像，对所述初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络；
在步骤S12中，根据所述第一图像组中的第一样本图像及第二样本图像，对所述第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络；
其中，步骤S3可包括：
在步骤S31中，根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络；
在步骤S32中，根据所述第一图像组中的第一样本图像，对所述第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络。
也就是说，可在步骤S11中，通过第一样本图像对初始状态的图像识别网络进行一轮训练，得到第一中间状态的图像识别网络。其中，第一样本图像的标注信息可以包括病灶区域和类别（征象类别和病灶类别）。
在一种可能实现的方式中，步骤S11可包括：
将所述第一样本图像输入所述图像识别网络，得到第一识别结果；根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差；根据所述第一损失，训练所述图像识别网络；
也即，在步骤S11的训练过程中，可将第一样本图像输入图像识别网络中处理，输出第一样本图像的识别结果（此处称为第一识别结果）。该第一识别结果可包括图像中的病灶区域和类别（征象类别和病灶类别），设图像中的病灶包括n种可能的征象类别，则图像中的任意像素点包括n+2种类别，即n种征象类别和病灶、非病灶两种病灶类别。
在一种可能的实现方式中，根据第一样本图像的标注信息与第一识别结果之间的差异，可确定图像识别网络的第一损失。可预先设置有第一损失函数，用于指示图像识别网络对第一样本图像的识别误差。第一损失函数可为分类损失函数，例如采用交叉熵损失函数，本公开对第一损失函数的具体函数类型不作限制。
在一种可能的实现方式中，第一损失函数Ls可以表示为：
Figure 878760DEST_PATH_IMAGE001
（1）
在公式（1）中，Ldice为戴斯损失函数，如下公式所示：
Figure 606545DEST_PATH_IMAGE002
（2）
在公式（1）和（2）中，yi为第一样本图像x的标注信息的第i个类别，n+2表示类别数量，其中，i=1,2,…,n表示征象类别，i=n+1,n+2表示病灶类别，net(x)i表示第一样本图像x输入图像识别网络net(x)得到的识别结果的第i个类别，即图像识别网络net（x）的第i个输出通道的识别结果。
公式（1）表示的第一损失函数Ls，可以用于计算图像识别网络的各通道戴斯损失的平均值，得到第一损失。在得到第一损失后，可根据第一损失反向调整图像识别网络的网络参数。
在一种可能的实现方式中，可以通过梯度下降法来调节图像识别网络的网络参数，使得网络参数优化，提升分类准确率；其中，梯度下降法可以采用随机梯度下降法（Stochastic Gradient Descent，SGD）、批量梯度下降法（Batch Gradient Descent，BGD）或者小批量梯度下降法（Mini Batch Gradient Descent，MBGD），本公开对梯度下降法的选取类型不做限定。
在一种可能的实现方式中，根据所述第一损失，训练图像识别网络可迭代执行多次，并根据设定的学习率进行训练。例如，可以采用带有预热的余弦退火学习率衰减方法（Cosine Annealing）。在使用梯度下降法来优化图像识别网络的网络参数的过程中，越接近第一损失的最小值时，越需要通过降低学习率来满足精细调节网络参数的需求。带有预热的余弦退火学习率衰减方法可以通过余弦函数来降低学习率。在余弦函数中，随着自变量的增加余弦值（余弦函数的输出值）先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，精细调节网络参数，提高神经网络的精度，提高图像识别的准确率。
经过多次的训练迭代，在网络收敛的情况下，可得到第一中间状态的图像识别网络，完成步骤S11的训练过程。
经过该轮训练，可使第一中间状态的图像识别网络具备分辨输入图像的目标区域（例如病灶所在区域）以及类别（征象类别和病灶类别）的能力。但第一样本图像数量较少，第一中间状态的图像识别网络的精度不高，可在后续步骤中继续训练。
在一种可能的实现方式中，由于三维的医学图像分辨率较高且电子设备的处理器（例如图形处理器GPU）的内存有限，因此在第一样本图像的尺寸超出处理能力或训练中的数据处理量过大时，可对第一样本图像进行采样。
在一种可能实现的方式中，将所述第一样本图像输入所述初始状态的图像识别网络，得到第一识别结果的步骤，可包括：
对所述第一样本图像进行随机采样，得到预设尺寸的采样图像块；将所述采样图像块输入所述图像识别网络，得到所述采样图像块的第一识别结果；
其中，所述根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失的步骤，可包括：
根据所述第一样本图像的标注信息，确定所述采样图像块的标注信息；将所述采样图像块的标注信息及第一识别结果代入所述第一损失函数中运算，得到所述第一损失。
也就是说，可设置有预设尺寸，以使输入网络的采样图像块尺寸一致。例如第一样本图像的尺寸为120*512*512，即在深度方向（即医学影像切片间距的方向）上有120像素，在宽度方向和高度方向分别有512像素。预设尺寸可设置为16*384*384，即在深度方向上有16像素，在宽度方向和高度方向分别有384像素。本公开对预设尺寸的具体取值不作限制。
在一种可能的实现方式中，可基于预设尺寸对第一样本图像进行随机采样，得到预设尺寸的采样图像块；再将采样图像块输入图像识别网络，输出采样图像块的识别结果（即第一识别结果）。同时，可根据第一样本图像的标注信息以及采样图像块的位置，相应地确定出采样图像块的标注信息；将采样图像块的标注信息及第一识别结果代入到上述公式（1）的第一损失函数中运算，得到第一损失。
在得到第一损失后，可根据第一损失反向调整图像识别网络的网络参数。经过多个批次的训练，在网络收敛的情况下，可得到第一中间状态的图像识别网络，完成步骤S11的训练过程。
通过随机采样的处理方式，能够降低训练中的数据处理量，并提高样本的多样性，有利于在训练集中精标注样本有限的情况下，提高图像识别网络的识别精确度。
在一种可能的实现方式中，在得到第一中间状态的图像识别网络后，可在步骤S12中根据第一图像组中的第一样本图像及第二样本图像，对第一中间状态的图像识别网络进行训练。其中，第二样本图像的标注信息可以包括病灶区域和病灶类别，也即图像中的任意像素点包括病灶和非病灶两种病灶类别。
在一种可能实现的方式中，步骤S12可包括：
将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第三识别结果及第四识别结果；
根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第三识别结果、所述第二样本图像的标注信息及所述第四识别结果，确定第三损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差；
根据所述第三损失，训练所述图像识别网络。
也即，在步骤S12的训练过程中，可将第一样本图像及第二样本图像输入图像识别网络中处理，输出第一样本图像的识别结果（此处称为第三识别结果）及第二样本图像的识别结果（此处称为第四识别结果）。第三识别结果与第四识别结果可包括图像中的病灶区域和类别（征象类别和病灶类别），设图像中的病灶包括n种可能的征象类别，则图像中的任意像素点包括n+2种类别，即n种征象类别和病灶、非病灶两种病灶类别。
在一种可能的实现方式中，根据第一样本图像的标注信息与第三识别结果之间的差异，以及第二样本图像的标注信息与第四识别结果之间的差异，可确定图像识别网络的第三损失；可预先设置有第一损失函数及第二损失函数，其中，第一损失函数用于指示图像识别网络对第一样本图像的识别误差，第二损失函数用于指示图像识别网络对第二样本图像的识别误差。第一损失函数和第二损失函数可为分类损失函数，例如采用交叉熵损失函数，本公开对第一损失函数及第二损失函数的具体函数类型不作限制。
在一种可能实现的方式中，第二损失函数Lc可以表示为：
Figure 282245DEST_PATH_IMAGE003
（3）
在公式（3）中，Ldice为戴斯损失函数，见上文公式（2）；yn+1和yn+2为第一样本图像x的标注信息的第n+1个和第n+2个类别，net(x)n+1和net(x)n+2表示第二样本图像x输入图像识别网络net(x)得到的识别结果的第n+1个和第n+2类别，即图像识别网络net（x）的第n+1个和第n+2个输出通道的识别结果。其中，n+1,n+2表示病灶类别，即病灶、非病灶两种病灶类别。
公式（3）表示的第二损失函数Lc，可以用于计算图像识别网络病灶类别通道（即n+1，n+2通道）戴斯损失的平均值。
在一种可能实现的方式中，根据公式（1）表示的第一损失函数Ls及公式（3）表示的第二损失函数Lc，将第一损失函数Ls的运算结果与第二损失函数Lc的运算结果的加权和，确定为第三损失。各项权重为1时，第三损失可以表示为Ls+Lc的运算结果。其中，第三损失的各个损失函数可以具有不同的权值，本公开对具体权值的取值不做限制。在得到第三损失后，可根据第三损失反向调整图像识别网络的网络参数。其中，根据第三损失训练图像识别网络可迭代执行多次，可通过上文所述的梯度下降法来调节图像识别网络的网络参数，并根据设定的学习率进行训练，此处不再赘叙。
经过多次的训练迭代，在网络收敛的情况下，可得到第一状态的图像识别网络，完成步骤S12的训练过程。
在步骤S11中，在第一样本图像数量不够充足的情况下，会陷入对训练集中第一样本图像的过拟合，即在训练集上可以达到很高的精度，但对新的测试数据无法做出正确的预测，使经过训练的第一中间状态的图像识别网络的精度不高。因此，在步骤S12中，可以利用具有第二标注精度的第二样本图像弥补具有第一标注精度的第一样本图像的稀缺，继续对第一中间状态的图像识别网络进行训练。
经过该轮训练，在第一样本图像数量相同的情况下，可以提高图像识别网络的精度。也即，第一状态的图像识别网络分辨输入图像的目标区域（例如病灶所在区域）以及类别（征象类别和病灶类别）的准确度优于第一中间状态的图像识别网络。
在一种可能的实现方式中，在第二样本图像的尺寸超出处理能力或训练中的数据处理量过大时，可参照上文对第一样本图像采样方式，对第二样本图像进行采样。
在一种可能实现的方式中，将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第三识别结果及第四识别结果，可包括：
对所述第一样本图像及所述第二样本图像分别进行随机采样，得到预设尺寸的采样图像块。将第一样本图像的采样图像块输入所述图像识别网络，得到第一样本图像的采样图像块的第三识别结果。将第二样本图像的采样图像块输入所述图像识别网络，得到第二样本图像的采样图像块的第四识别结果。
其中，根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第三识别结果、所述第二样本图像的标注信息及所述第四识别结果，确定第三损失，可包括：
根据所述第一样本图像的标注信息，确定第一样本图像的采样图像块的标注信息。将第一样本图像的采样图像块的标注信息及第三识别结果代入所述第一损失函数中运算，得到第一损失函数的运算结果。根据所述第二样本图像的标注信息，确定第二样本图像的采样图像块的标注信息。将第二样本图像的采样图像块的标注信息及第四识别结果代入所述第二损失函数中运算，得到第二损失函数的运算结果。通过第一损失函数的运算结果与第二损失函数的运算结果的加权和可以得到第三损失。
也就是说，可设置有预设尺寸，以使输入网络的采样图像块尺寸一致。例如第一样本图像及第二样本图像的尺寸为120*512*512。预设尺寸可设置为16*384*384。本公开对预设尺寸的具体取值不作限制。
在一种可能的实现方式中，可基于预设尺寸对第一样本图像及第二样本图像进行随机采样，得到预设尺寸的采样图像块；再将采样图像块输入图像识别网络，输出采样图像块的识别结果（即第三识别结果与第四识别结果）。同时，可根据第一样本图像、第二样本图像的标注信息以及各自采样图像块的位置，相应地确定出第一样本图像、第二样本图像的采样图像块的标注信息；将第一样本图像的采样图像块的标注信息及第三识别结果代入到上述公式（1）的第一损失函数Ls中运算，并将第二样本图像的采样图像块的标注信息及第四识别结果代入到上述公式（3）的第二损失函数Lc中运算，即根据由上述公式（1）的第一损失函数Ls和上述公式（3）的第二损失函数Lc的加权和构成的复合函数，得到第三损失。例如，在第一损失函数Ls和第二损失函数Lc的权重为1时，复合函数可以表示为Ls+Lc。应当理解，复合函数中的各损失函数可以具有不同的权值，本公开对具体权值的取值不做限制。
在得到第三损失后，可根据第三损失反向调整图像识别网络的网络参数。经过多个批次的训练，在网络收敛的情况下，可得到第一状态的图像识别网络，完成步骤S12的训练过程。
通过随机采样的处理方式，能够降低训练中的数据处理量，并提高样本的多样性，有利于在训练集中精标注样本有限的情况下，提高图像识别网络的识别精确度。
在一种可能的实现方式中，在得到第一状态的图像识别网络后，可在步骤S2中根据第二图像组中的第一样本图像、第二样本图像及第三样本图像，对第一状态的图像识别网络进行训练。其中，第一样本图像可具有第一标注精度，标注信息可以包括病灶区域和类别（征象类别和病灶类别），第二样本图像可具有第二标注精度，标注信息可以包括病灶区域和类别（病灶类别）。第三样本图像是没有经过医生标注的医学影像。
在一种可能实现的方式中，步骤S2可包括：
将所述第二图像组中的第一样本图像、第二样本图像及第三样本图像分别输入所述图像识别网络，得到第七识别结果、第八识别结果及第九识别结果；
根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失；
其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差，所述第三损失函数用于指示所述图像识别网络对第三样本图像的识别误差；
根据所述第五损失，训练所述图像识别网络。
也即，在步骤S2的训练过程中，可将第一样本图像、第二样本图像及第三样本图像分别输入图像识别网络中处理，输出第一样本图像的识别结果（此处称为第七识别结果）、第二样本图像的识别结果（此处称为第八识别结果）及第三样本图像的识别结果（此处称为第九识别结果）。第七识别结果、第八识别结果及第九识别结果可包括图像中的病灶区域和类别（征象类别和病灶类别），设图像中的病灶包括n种可能的征象类别，则图像中的任意像素点包括n+2种类别，即n种征象类别和病灶、非病灶两种病灶类别。
在一种可能的实现方式中，根据第一样本图像的标注信息与第七识别结果之间的差异，第二样本图像的标注信息与第八识别结果之间的差异，及第三样本图像的预测结果与第四识别结果之间的差异，可确定图像识别网络的第五损失。
在一种可能的实现方式中，可预先设置有第一损失函数、第二损失函数及第三损失函数，其中，第一损失函数用于指示图像识别网络对第一样本图像的识别误差，第二损失函数用于指示图像识别网络对第二样本图像的识别误差，第三损失函数用于指示图像识别网络对第三样本图像的识别误差。第一损失函数、第二损失函数及第三损失函数可为分类损失函数，例如采用交叉熵损失函数，本公开对第一损失函数、第二损失函数及第三损失函数的具体函数类型不作限制。
在一种可能实现的方式中，第三损失函数Lu可以表示为：
Figure 956940DEST_PATH_IMAGE004
（4）
在公式（4）中，Ldice为戴斯损失函数，见上文公式（2）；其中，p(·)表示扰动空间变换函数，例如，旋转、平移、缩放、自由形变等。p(x)表示对样本图像x的变换，例如，第三样本图像的变换，p(net(x))表示对图像识别网络识别结果net(x)的变换。
λ为正则化系数，可以设置的范围为0.1~0.9。Lv为正则项函数，可以表示为：
Figure 962549DEST_PATH_IMAGE005
（5）
在公式（5）中，KL散度函数(Kullback-Leibler Divergence)，也叫做相对熵（Relative Entropy)，可以是两个随机分布间距离的度量，用于衡量ym和p(xk)概率分布的差异情况。
其中ym可以表示为：
Figure 64497DEST_PATH_IMAGE006
（6）
在公式（6）中，b表示每一个训练批次中采样图像块xk（例如，第三样本图像的采样图像块）的数量，例如，可以设为4，8，16。图像识别网络可以通过多个批次训练至该网络的参数收敛。
通过正则项函数Lv可以为每一个训练批次中图像识别网络预测输出结果的散度损失，避免该网络坍缩到平凡解上。
公式（4）表示的第三损失函数Lu，可以用于指示所述图像识别网络对第三样本图像的识别误差。
在一种可能实现的方式中，所述根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失，包括：
将所述第一样本图像的标注信息及所述第七识别结果代入所述第一损失函数中运算，得到第一子损失；将所述第二样本图像的标注信息及所述第八识别结果代入所述第二损失函数中运算，得到第二子损失；将所述第三样本图像及所述第九识别结果代入所述第三损失函数中运算，得到第三子损失；根据所述第一子损失、所述第二子损失及所述第三子损失，确定所述第五损失。
也即，可以将第一样本图像的标注信息及第七识别结果代入所述第一损失函数Ls中运算，获得第一损失函数Ls的运算结果，即第一子损失；将第二样本图像的标注信息及第八识别结果代入所述第二损失函数Lc中运算，获得第二损失函数Lc的运算结果，即第二子损失；并且将第三样本图像的标注信息及第九识别结果代入所述第三损失函数Lu中运算，获得第三损失函数Lu的运算结果，即第三子损失。
在一种可能的实现方式中，通过第一损失函数Ls的运算结果（第一子损失）、第二损失函数Lc的运算结果（第二子损失）与第三损失函数Lu的运算结果（第三子损失）的加权和，确定为第五损失。各项权重为1时，第五损失可以表示为Ls+Lc+Lu的运算结果。其中，第五损失的各个子损失可以具有不同的权值，本公开对具体权值的取值不做限制。
在一种可能实现的方式中，通过第五损失反向调节图像识别网络的网络参数，训练图像识别网络可迭代执行多次，可以通过上文所述的梯度下降法来调节图像识别网络的网络参数，并根据设定的学习率进行训练，此处不再赘叙。
经过多次的训练迭代，在网络收敛的情况下，可得到第二状态的图像识别网络，完成步骤S2的训练过程。
对比第一样本图像和第二样本图像的不易获取，第三样本图像比较容易获取，各医院以及体检机构在日常工作中积累了大量的第三样本图像。在这种情况下，步骤S2通过第二图像组的第一样本图像、第二样本图像及第三样本图像对第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，可以充分利用第三样本图像，以弥补第一样本图像和第二样本图像的稀缺，提高图像识别网络的精度。
在一种可能的实现方式中，在第三样本图像的尺寸超出处理能力或训练中的数据处理量过大时，可参照上文对第一样本图像及第二样本图像采样方式，对第三样本图像进行采样。
在示例中，可以根据第一样本图像的标注信息，确定第一样本图像的采样图像块的标注信息。将第一样本图像的采样图像块的标注信息及第七识别结果代入所述第一损失函数 Ls中运算，获得第一损失函数Ls的运算结果，即第一子损失；
根据第二样本图像的标注信息，确定第二样本图像的采样图像块的标注信息。将第二样本图像的采样图像块的标注信息及第八识别结果代入所述第二损失函数Lc中运算，获得第二损失函数Lc的运算结果，即第二子损失；
并且根据第三样本图像的标注信息，确定第三样本图像的采样图像块的标注信息。将第三样本图像的采样图像块的标注信息及第九识别结果代入所述第三损失函数Lu中运算，获得第三损失函数Lu的运算结果，即第三子损失。
通过第一损失函数Ls的运算结果（第一子损失）、第二损失函数Lc的运算结果（第二子损失）与第三损失函数Lu的运算结果（第三子损失）的加权和可以得到第五损失。各项权重为1时，第五损失可以表示为Ls+Lc+Lu的运算结果。其中，第五损失的各个子损失可以具有不同的权值，本公开对具体权值的取值不做限制。第一损失函数Ls用于指示图像识别网络对第一样本图像的识别误差，第二损失函数Lc用于指示所述图像识别网络对第二样本图像的识别误差，第三损失函数Lu用于指示所述图像识别网络对第三样本图像的识别误差。
在得到第五损失后，可根据第五损失反向调整图像识别网络的网络参数。经过多个批次的训练，在网络收敛的情况下，可得到第二状态的图像识别网络，完成步骤S2的训练过程。
通过这种方式，能够降低训练中的数据处理量，并提高样本的多样性，提高图像识别网络的训练效果。
在一种可能的实现方式中，在得到第二状态的图像识别网络后，可在步骤S31中根据第一图像组中的第一样本图像及第二样本图像，对第二状态的图像识别网络进行训练。其中，第一样本图像的标注信息可以包括病灶区域和类别（征象类别和病灶类别）。第二样本图像的标注信息可以包括病灶区域和病灶类别，也即图像中的任意像素点包括病灶和非病灶两种病灶类别。
在一种可能实现的方式中，步骤S31可包括：
将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第五识别结果及第六识别结果；
根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第五识别结果、所述第二样本图像的标注信息及所述第六识别结果，确定第四损失；
根据所述第四损失，训练所述图像识别网络。
也即，在步骤S31的训练过程中，可将第一样本图像及第二样本图像输入图像识别网络中处理，输出第一样本图像的识别结果（此处称为第五识别结果）及第二样本图像的识别结果（此处称为第六识别结果）。第五识别结果与第六识别结果可包括图像中的病灶区域和类别（征象类别和病灶类别），设图像中的病灶包括n种可能的征象类别，则图像中的任意像素点包括n+2种类别，即n种征象类别和病灶、非病灶两种病灶类别。
在一种可能的实现方式中，根据第一样本图像的标注信息与第五识别结果之间的差异，以及第二样本图像的标注信息与第六识别结果之间的差异，可确定图像识别网络的第四损失；可预先设置有第一损失函数及第二损失函数，其中，第一损失函数用于指示图像识别网络对第一样本图像的识别误差，第二损失函数用于指示图像识别网络对第二样本图像的识别误差。第一损失函数和第二损失函数可为分类损失函数，例如采用交叉熵损失函数，本公开对第一损失函数及第二损失函数的具体函数类型不作限制。
在一种可能实现的方式中，根据公式（1）表示的第一损失函数Ls及公式（3）表示的第二损失函数Lc，将第一损失函数Ls的运算结果与第二损失函数Lc的运算结果的加权和，确定为第三损失。各项权重为1时，第三损失可以表示为Ls+Lc的运算结果。其中，第三损失的各个损失函数可以具有不同的权值，本公开对具体权值的取值不做限制。在得到第三损失后，可根据第三损失反向调整图像识别网络的网络参数。其中，根据第三损失训练图像识别网络可迭代执行多次，可通过上文所述的梯度下降法来调节图像识别网络的网络参数，并根据设定的学习率进行训练，此处不再赘叙。
经过多次的训练迭代，在网络收敛的情况下，可得到第二中间状态的图像识别网络，完成步骤S31的训练过程。
经过该轮训练，可以使第一样本图像与第二样本图像对图像识别网络的训练发挥更大的作用，降低步骤S2中由于使用无标注的第三样本图像引入的噪声对图像识别网络的训练的影响，提高图像识别网络对待处理图像进行目标识别的精度。为了进一步提高图像识别网络的精度，可在后续步骤中继续训练。
在一种可能的实现方式中，在第二样本图像的尺寸超出处理能力或训练中的数据处理量过大时，可参照上文对第一样本图像、第二样本图像的采样方式。
在一种可能实现的方式中，将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第五识别结果及第六识别结果，可包括：
对所述第一样本图像及所述第二样本图像分别进行随机采样，得到预设尺寸的采样图像块。将第一样本图像的采样图像块输入所述图像识别网络，得到第一样本图像的采样图像块的第五识别结果。将第二样本图像的采样图像块输入所述图像识别网络，得到第二样本图像的采样图像块的第六识别结果。
其中，根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第五识别结果、所述第二样本图像的标注信息及所述第六识别结果，确定第四损失，可包括：
根据所述第一样本图像的标注信息，确定第一样本图像的采样图像块的标注信息。将第一样本图像的采样图像块的标注信息及第五识别结果代入所述第一损失函数中运算，得到第一损失函数的运算结果。根据所述第二样本图像的标注信息，确定第二样本图像的采样图像块的标注信息。将第二样本图像的采样图像块的标注信息及第六识别结果代入所述第二损失函数中运算，得到第二损失函数的运算结果。将第一损失函数的运算结果与第二损失函数的运算结果相加可以得到第四损失。
也就是说，可设置有预设尺寸，以使输入网络的采样图像块尺寸一致。例如第一样本图像及第二样本图像的尺寸为120*512*512。预设尺寸可设置为16*384*384。本公开对预设尺寸的具体取值不作限制。
在一种可能的实现方式中，可基于预设尺寸对第一样本图像及第二样本图像进行随机采样，得到预设尺寸的采样图像块；再将采样图像块输入图像识别网络，输出采样图像块的识别结果（即第五识别结果与第六识别结果）。同时，可根据第一样本图像、第二样本图像的标注信息以及各自采样图像块的位置，相应地确定出第一样本图像、第二样本图像的采样图像块的标注信息；将第一样本图像的采样图像块的标注信息及第五识别结果代入到上述公式（1）的第一损失函数Ls中运算，并将第二样本图像的采样图像块的标注信息及第六识别结果代入到上述公式（3）的第二损失函数Lc中运算，即根据由上述公式（1）的第一损失函数Ls和上述公式（3）的第二损失函数Lc的加权和构成的复合函数，得到第四损失。例如，在第一损失函数Ls和第二损失函数Lc的权重为1时，复合函数可以表示为Ls+Lc。应当理解，复合函数中的各损失函数可以具有不同的权值，本公开对具体权值的取值不做限制。
在得到第四损失后，可根据第四损失反向调整图像识别网络的网络参数。经过多个批次的训练，在网络收敛的情况下，可得到第二中间状态的图像识别网络，完成步骤S31的训练过程。
通过随机采样的处理方式，能够降低训练中的数据处理量，并提高样本的多样性，有利于在训练集中精标注样本有限的情况下，提高图像识别网络的识别精确度。
在一种可能的实现方式中，在得到第二中间状态的图像识别网络后，可在步骤S32中，通过第一样本图像对第二中间状态的图像识别网络进行一轮训练，得到目标状态的图像识别网络。其中，第一样本图像的标注信息可以包括病灶区域和类别（征象类别和病灶类别）。
在一种可能实现的方式中，步骤S32可包括：
将所述第一样本图像输入所述图像识别网络，得到第二识别结果；根据所述第一损失函数、所述第一样本图像的标注信息及所述第二识别结果，确定第二损失；根据所述第二损失，训练所述图像识别网络。
也即，在步骤S32的训练过程中，可将第一样本图像输入图像识别网络中处理，输出第一样本图像的识别结果（此处称为第二识别结果）。该第二识别结果可包括图像中的病灶区域和类别（征象类别和病灶类别），设图像中的病灶包括n种可能的征象类别，则图像中的任意像素点包括n+2种类别，即n种征象类别和病灶、非病灶两种病灶类别。
在一种可能的实现方式中，根据第一样本图像的标注信息与第二识别结果之间的差异，可确定图像识别网络的第二损失。可预先设置有第一损失函数，用于指示图像识别网络对第一样本图像的识别误差。第一损失函数可为分类损失函数，例如采用交叉熵损失函数，本公开对第一损失函数的具体函数类型不作限制。
在一种可能的实现方式中，可将第一样本图像的标注信息与第二识别结果代入公式（1）表示的第一损失函数Ls，得到第二损失。在得到第二损失后，可根据第二损失反向调整图像识别网络的网络参数。其中，根据第二损失训练图像识别网络可迭代执行多次，可通过上文所述的梯度下降法来调节图像识别网络的网络参数，并根据设定的学习率进行训练，此处不再赘叙。
经过多次的训练迭代，在网络收敛的情况下，可得到目标状态的图像识别网络，完成步骤S32的训练过程。
经过训练，可进一步减少在之前步骤中由于使用无标注的第三样本图像及具有第二标注精度的第二样本图像引入的噪声，得到高精度的图像识别网络，该网络可以对医学影像准确分割与识别。
在一种可能的实现方式中，在第一样本图像的尺寸超出处理能力或训练中的数据处理量过大时，可参照上文对第一样本图像的采样方式。
在一种可能实现的方式中，将所述第一样本图像输入所述第二中间状态的图像识别网络，得到第二识别结果的步骤，可包括：
对所述第一样本图像进行随机采样，得到预设尺寸的采样图像块；将所述采样图像块输入所述图像识别网络，得到所述采样图像块的第二识别结果；
其中，所述根据预设的第一损失函数、所述第一样本图像的标注信息及所述第二识别结果，确定第二损失的步骤，可包括：
根据所述第一样本图像的标注信息，确定所述采样图像块的标注信息；将所述采样图像块的标注信息及第二识别结果代入所述第一损失函数中运算，得到所述第二损失。
也就是说，可设置有预设尺寸，以使输入网络的采样图像块尺寸一致。例如第一样本图像的尺寸为120*512*512，预设尺寸可设置为16*384*384。本公开对预设尺寸的具体取值不作限制。
在一种可能的实现方式中，可基于预设尺寸对第一样本图像进行随机采样，得到预设尺寸的采样图像块；再将采样图像块输入图像识别网络，输出采样图像块的识别结果（即第二识别结果）。同时，可根据第一样本图像的标注信息以及采样图像块的位置，相应地确定出采样图像块的标注信息；将采样图像块的标注信息及第二识别结果代入到上述公式（1）的第一损失函数中运算，得到第二损失。
在得到第二损失后，可根据第二损失反向调整图像识别网络的网络参数。经过多个批次的训练，在网络收敛的情况下，可得到目标状态的图像识别网络，完成步骤S32的训练过程。
通过随机采样的处理方式，能够降低训练中的数据处理量，并提高样本的多样性，有利于在训练集中精标注样本有限的情况下，提高图像识别网络的识别精确度。
综上，通过采用如图2所示的步骤S11，S12，S2，S31，S32的五轮训练，可以充分利用多层次的样本图像，即可充分利用初级医生标注的第二样本图像和无标注的第三样本图像，减少对高年资医生精细标注的第一样本图像的需求量，能够在同样标注信息量的情况下，有效提升图像识别结果的精度，节省图像识别网络训练的研发成本。
在一种可能实现的方式中，在所述图像识别网络的每轮训练过程中，可以包括多个批次的训练，每一批次输入图像识别网络的样本图像需要来自不同的病人，并且需要包括至少1个具有第一标注精度的第一样本图像，可以避免在训练过程中图像识别网络的坍塌，提高图像识别网络的训练效果。
在一种可能实现的方式中，所述第一图像组包括第一样本图像及第二样本图像，步骤S1可包括：根据所述第一图像组中的第一样本图像及第二样本图像，训练所述初始状态的图像识别网络，得到第一状态的图像识别网络。
其中，步骤S3可包括：根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
也就是说，在步骤S1中，为了节约训练时间，可以简化训练步骤，即，根据第一图像组中的第一样本图像及第二样本图像，训练所述初始状态的图像识别网络，得到第一状态的图像识别网络。该步骤可以替代步骤S11和步骤S12，即替代根据第一图像组中的第一样本图像，对初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络，再根据第一图像组中的第一样本图像及第二样本图像，对第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络。该步骤替代步骤S11和步骤S12获得的图像识别结果的精度没有步骤S11和步骤S12获得的图像识别结果的精度高。在对精度要求不是特别高的情况下，可以采用该步骤替代步骤S11和步骤S12。
其中，根据所述第一图像组中的第一样本图像及第二样本图像，训练所述初始状态的图像识别网络，得到第一状态的图像识别网络，可以参照上文训练过程，此处不再赘叙。
在步骤S3中，为了节约训练时间，可以简化训练步骤，即，根据第一图像组中的第一样本图像及第二样本图像，训练所述第二状态的图像识别网络，得到目标状态的图像识别网络。该步骤可以替代步骤S31和步骤S32，即替代根据第一图像组中的第一样本图像，对第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络，再根据第一图像组中的第一样本图像及第二样本图像，对第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络。该步骤替代步骤S31和步骤S32获得的图像识别结果的精度没有步骤S31和步骤S32获得的图像识别结果的精度高，即对降低步骤S2中无标注的第三样本图像引入的噪声对图像识别网络的训练的影响效果没有步骤S31和步骤S32的有效。在对精度要求不是特别高的情况下，可以采用该步骤替代步骤S31和步骤S32。
其中，根据所述第一图像组中的第一样本图像及第二样本图像，训练所述第二状态的图像识别网络，得到目标状态的图像识别网络，可以参照上文训练过程，此处不再赘叙。
在一种可能实现的方式中，所述第一图像组包括第一样本图像，步骤S1可包括：根据所述第一图像组中的第一样本图像，训练所述初始状态的图像识别网络，得到所述第一状态的图像识别网络；
其中，步骤S3可包括：根据所述第一图像组中的第一样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
也就是说，在步骤S1中，在训练集中第一样本图像充足的情况下，可以简化训练步骤，即，根据所述第一图像组中的第一样本图像，训练所述初始状态的图像识别网络，得到所述第一状态的图像识别网络。该步骤可以替代步骤S11和步骤S12，即替代根据第一图像组中的第一样本图像，对初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络，再根据第一图像组中的第一样本图像及第二样本图像，对第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络。
在训练集中第一样本图像充足的情况下，可以采用该步骤替代步骤S11和步骤S12，训练过程可以更高效更精准。但是，采用该步骤替代步骤S11和步骤S12，会比较依赖第一样本图像数量，在第一样本图像数量不够充足的情况下，会陷入对训练集中第一样本图像的过拟合，即在训练集上可以达到很高的精度，但对新的测试数据无法做出正确的预测。
其中，根据所述第一图像组中的第一样本图像，训练所述初始状态的图像识别网络，得到所述第一状态的图像识别网络，可以参照上文训练过程，此处不再赘叙。
在步骤S3中，在训练集中第一样本图像充足的情况下，为了节约训练时间，可以简化训练步骤，即，根据所述第一图像组中的第一样本图像，训练所述第二状态的图像识别网络，得到所述目标状态的图像识别网络。该步骤可以替代步骤S31和步骤S32，即替代根据第一图像组中的第一样本图像，对第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络，再根据第一图像组中的第一样本图像及第二样本图像，对第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络。
在训练集中第一样本图像充足的情况下，可以采用该步骤替代步骤S31和步骤S32，可以有效降低无标注的第三样本图像引入的噪声对图像识别网络的训练的影响，经过训练得到的图像识别网络可以更高效更精准。但是，采用该步骤替代步骤S31和步骤S32，会比较依赖第一样本图像数量，只有在第一样本图像数据充足的情况下，才可以更好的降低无标注的第三样本图像引入的噪声对图像识别网络的训练的影响。
其中，根据所述第一图像组中的第一样本图像，训练所述第二状态的图像识别网络，得到所述目标状态的图像识别网络，可以参照上文训练过程，此处不再赘叙。
在一种可能实现的方式中，所述待处理图像包括三维的医学图像，所述待处理图像中目标的类别包括多个征象类别以及一个病灶类别，所述图像识别网络包括多个三维卷积层。
在示例中，待处理图像可以包括三维的医学图像，例如，肺部的CT影像、头部的MRI影像，心脏的超声影像。本公开对具体的组织器官类型和医学图像类型不做限定。
其中，待处理图像可以是具有相关病理学的图片，即可以是包括一个或多个病灶的图片，用于确定医学影像图片中病灶的类别，例如，乳腺疾病的病灶类别可以包括腺病、纤维腺瘤、乳腺炎、原位腺癌、浸润性腺癌等。本公开对病灶的类别不做限制。
其中，待处理图像还可以是具有一种或多种征象的图片。例如，待处理图像可以是肺部疾病的医学图像，待处理图像可以包括磨玻璃影、实变、铺路石征、条索、空洞、树芽征等征象中的一种或多种。本公开对征象的类别不做限制。
在示例中，所述图像识别网络包括多个三维卷积层，该图像识别网络可以用net(x)表示，x表示输入的三维医学图像的采样图像块，net(x)i表示图像识别网络输出的第i个识别概率通道的概率图，i=1,2,…，n+2。其中，该图像识别网络输出的n+2个识别概率通道，分别对应n种征象类别的识别概率，以及病灶识别概率和非病灶识别概率。
图3示出根据本公开的实施例的图像识别网络的结构示意图。如图3所示，所述图像识别网络依次包括第一编码网络块N11、第二编码网络块N12、第三编码网络块N13、第一解码网络块N21、第二解码网络块N22、第三解码网络块N23、输出网络块N3。
如图3所示，每个编码网络块（N11~N13）包括两个卷积层(图3中黑色三角)和一个下采样层(图3中黑色向下箭头)。
每个卷积层(图3中黑色三角)可以包括卷积单元（Conv1）、实例归一化单元（Instance Normalization，IN）、以及带泄露的修正线性单元（LeakyReLu）。
其中，卷积单元（Conv1）可以包括一个滤波器尺寸为3*3*3步长为1的3D卷积。
其中，实例归一化单元可以消除特征之间的量纲差异，避免特征之间差距太大导致特征之间竞争太严重而忽略特征数值较小的特征属性。其中，特征可以是卷积单元（Conv1）的输出的数据块。
例如，假如特征图x∈RN×C×H×W，N表示特征图的数量，C表示特征图的通道数，H表示特征图在高度方向的像素数，W表示特征图在宽度方向的像素数，IN对每个特征图的H，W维度的数据求均值和标准差，保留N，C维度，即不对N，C维度的数据求均值和标准差，只在每个通道的内部求均值和标准差。
通过设置实例归一化单元，可以使图像识别网络中各卷积层数据分布是类似的。
其中，带泄露的修正线性单元，也可以称为非线性激活函数，可以给输入的负值赋予一个非零斜率，可以表示为：
Figure 961915DEST_PATH_IMAGE007
（7）
在公式（7）中，xi表示输入数据（例如，实例归一化单元IN的输出数据），yi表示输出数据，ai可以为(1，+∞)区间内的参数。。
每个下采样层可以包括最大池化单元（Max Pool）。
其中，所述最大池化单元的池化窗可以设置为2*2*1，对该单元输入的医学影像数据的深度方向不进行池化，在其他方向上的池化范围为2*2，即在医学影像数据每张切片的宽度和高度方向的池化范围为2*2。
如图3所示，每个解码网络块（N21~N23）包括两个卷积层(图3中黑色三角)和一个上采样层（图3中白色向上箭头）。其中，每个解码网络块包括的卷积层同每个编码网络块中的卷积层一样，此处不再赘叙。每个上采样层可以包括最近邻上采样单元（Up Sample）。
其中，最近邻上采样单元可以在待求像素的四邻像素中，将距离待求解像素最近的邻像素值赋给待求解像素，这种采样方式具有更好的鲁棒性和速度。
如图3所示，图像识别网络以串联的方式(图3中横向长箭头)将各个编码网络块未进行下采样前的输出同对应的各解码网络块的输出进行汇聚，用于在多分辨率下进行区域性质分析。例如，第一编码网络块N11中第二卷积层输出数据和第三解码网络块N23的输出数据进行汇聚，作为第一输出网络块N3的输入数据。
如图3所示，输出网络块N3包括三个卷积层，其中，前两个卷积层（图3中黑色三角）同每个编码网络块中的卷积层一样，此处不再赘述。最后一个卷积层(图3中白色三角)包括卷积单元(Conv2)和激活单元(Sigmoid)。
其中，卷积单元(Conv2)可以采用n+2组1*1*1的卷积生成特征图。应当理解，n可以对应n种征象类别，本公开对n值不做限定。
激活单元可以通过激活函数将卷积单元(Conv2)输出的特征图生成识别概率图，激活函数可以表示为：
Figure 174722DEST_PATH_IMAGE008
（8）
在公式（8）中，xi表示卷积单元(Conv2)输出的第i组特征图，i=1,2,…，n+2，即n个征象类别及病灶类别和非病灶类别；S(x)i表示第i组概率图，即图像识别网络输出的第i个识别概率通道的概率图net(x)i。
在一种可能的实现方式中，所述图像识别网络包括多个三维卷积层，各层的通道数可以设置为32，并且在各下采样层中对深度方向不进行采样。其中，深度方向可以为医学影像切片间距的方向。
在一种可能实现的方式中，将待处理图像输入图像识别网络中处理，得到所述待处理图像的识别结果，所述识别结果包括所述待处理图像中目标的区域及类别，
其中，所述图像识别网络是根据上文所述的网络训练方法训练得到的。
可以将待处理的图像输入根据上文步骤S1~步骤S3所述的网络训练方法训练得到的图像识别网络中处理，得到所述待处理图像的识别结果，例如，可以将肺部CT的3D影像输入训练得到的图像识别网络中处理（目标状态的图像识别网络），可得到肺部的识别结果。
其中，目标区域可以医学影像的组织器官，可以是组织器官的多个部分（例如肺左上叶、左下叶、右上叶、右中叶、右下叶），还可以是组织器官的目标征象区域（例如肺部图像中的磨玻璃影区域），还可以是病灶区域。并且所述识别结果还包括目标类别，例如，磨玻璃影、实变、铺路石征、条索、空洞、树芽征等基于征象的类别，或者，如肺部左上叶结节标识等基于病灶的类别。
在一种可能实现的方式中，将待处理图像输入根据上文步骤S1~步骤S3所述的网络训练方法训练得到的图像识别网络处理，获得图像分识别的结果。
对待处理图像采样，通过滑动窗口的方式在待处理图像（尺寸为120*512*512）中选取采样图像块，采样图像块的尺寸为16*384*384。
将待处理图像的采样图像块送入目标状态的图像识别网络（采用上文步骤S1~步骤S3中的网络训练方法训练得到的图像识别网络），依次经过第一编码网络块N11运算输出尺寸为32*16*192*192（32表示通道数）的编码特征；经过第二编码网络块N12运算输出尺寸为32*16*96*96的编码特征；经过第三编码网络块N13运算输出尺寸为32*16*48*48的编码特征；经过第一解码网络块N21运算，并串联第三编码网络块N13的第二卷积层输出进行汇聚后，输出尺寸为64*16*96*96的解码特征；经过第二解码网络块N22运算，并串联第二编码网络块N12的第二卷积层输出进行汇聚后，输出尺寸为64*16*192*192的解码特征；经过第三解码网络块N23运算，并串联第一编码网络块N11的第二卷积层输出进行汇聚后，输出尺寸为64*16*384*384的解码特征；经过输出网络块N3运算输出尺寸为(n+2)*16*384*384的概率图，即采样块识别概率图的尺寸为(n+2)*16*384*384。
通过滑动窗口对待处理图像采样，可以获得多个待处理图像采样图像块的识别概率图，不同采样图像块的识别概率图之间很可能存在交叠区域。因此，可以采用有交叠的滑动窗口方式对待处理图像进行目标概率标记，即确定待处理图像的识别结果。可以采用加权平均的方式进行交叠区域的概率融合计算。权值设置方式为方差为窗口半宽的高斯函数，窗的中心点位于窗口中心。例如，窗口的尺寸可以为16*512*512，在深度方向上交叠，活动窗口步长为窗宽（即窗口的深度值16）的一半，可以设置为8。
通过上述过程，可以实现对待处理三维医学图像的准确识别，获得图像的待处理图像中目标的区域及类别。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了图像识别装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像识别方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图4示出根据本公开实施例的网络训练装置的框图，如图4所示，所述网络训练装置包括：
第一训练模块41，用于根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络；其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
第二训练模块42，根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
目标训练模块43：用于根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，其中，所述图像识别网络用于对待处理图像进行目标识别。
在一种可能实现的方式中，本公开实施例提供了一种图像识别装置，用于将待处理图像输入图像识别网络中处理，得到所述待处理图像的识别结果，所述识别结果包括所述待处理图像中目标的区域及类别，其中，所述图像识别网络是根据网络训练装置训练得到的。
本公开实施例提供了一种电子设备，其特征在于，包括：处理器、用于存储处理器可执行指令的存储器。其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得所述计算机或处理器执行上述方法。
本公开实施例提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得所述计算机或处理器执行上述方法。
图5是根据一示例性实施例示出的一种用于图像识别的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图5，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出（I/O）接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种网络训练方法，其特征在于，所述方法包括：
根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络；
其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，
其中，所述图像识别网络用于对待处理图像进行目标识别。
2.根据权利要求1所述的方法，其特征在于，所述第一图像组包括第一样本图像及第二样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像，对所述初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络；
根据所述第一图像组中的第一样本图像及第二样本图像，对所述第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络；
根据所述第一图像组中的第一样本图像，对所述第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像组中的第一样本图像，对所述初始状态的图像识别网络进行训练，得到第一中间状态的图像识别网络，包括：
将所述第一样本图像输入所述图像识别网络，得到第一识别结果；
根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差；
根据所述第一损失，训练所述图像识别网络；
其中，所述根据所述第一图像组中的第一样本图像，对所述第二中间状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：
将所述第一样本图像输入所述图像识别网络，得到第二识别结果；
根据所述第一损失函数、所述第一样本图像的标注信息及所述第二识别结果，确定第二损失；
根据所述第二损失，训练所述图像识别网络。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像组中的第一样本图像及第二样本图像，对所述第一中间状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：
将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第三识别结果及第四识别结果；
根据预设的第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第三识别结果、所述第二样本图像的标注信息及所述第四识别结果，确定第三损失，其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差；
根据所述第三损失，训练所述图像识别网络；
其中，所述根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到第二中间状态的图像识别网络，包括：
将所述第一样本图像及所述第二样本图像分别输入所述图像识别网络，得到第五识别结果及第六识别结果；
根据所述第一损失函数及第二损失函数、所述第一样本图像的标注信息及所述第五识别结果、所述第二样本图像的标注信息及所述第六识别结果，确定第四损失；
根据所述第四损失，训练所述图像识别网络。
5.根据权利要求1所述的方法，其特征在于，所述根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，包括：
将所述第二图像组中的第一样本图像、第二样本图像及第三样本图像分别输入所述图像识别网络，得到第七识别结果、第八识别结果及第九识别结果；
根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失；
其中，所述第一损失函数用于指示所述图像识别网络对第一样本图像的识别误差，所述第二损失函数用于指示所述图像识别网络对第二样本图像的识别误差，所述第三损失函数用于指示所述图像识别网络对第三样本图像的识别误差；
根据所述第五损失，训练所述图像识别网络。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的第一损失函数、第二损失函数及第三损失函数、所述第一样本图像的标注信息及所述第七识别结果、所述第二样本图像的标注信息及所述第八识别结果、所述第三样本图像及所述第九识别结果，确定第五损失，包括：
将所述第一样本图像的标注信息及所述第七识别结果代入所述第一损失函数中运算，得到第一子损失；
将所述第二样本图像的标注信息及所述第八识别结果代入所述第二损失函数中运算，得到第二子损失；
将所述第三样本图像及所述第九识别结果代入所述第三损失函数中运算，得到第三子损失；
根据所述第一子损失、所述第二子损失及所述第三子损失，确定所述第五损失。
7.根据权利要求3所述的方法，其特征在于，所述将所述第一样本图像输入所述初始状态的图像识别网络，得到第一识别结果，包括：
对所述第一样本图像进行随机采样，得到预设尺寸的采样图像块；
将所述采样图像块输入所述图像识别网络，得到所述采样图像块的第一识别结果；
其中，所述根据预设的第一损失函数、所述第一样本图像的标注信息及所述第一识别结果，确定第一损失，包括：
根据所述第一样本图像的标注信息，确定所述采样图像块的标注信息；
将所述采样图像块的标注信息及第一识别结果代入所述第一损失函数中运算，得到所述第一损失。
8.根据权利要求1所述的方法，其特征在于，所述第一图像组包括第一样本图像及第二样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像及第二样本图像，训练所述初始状态的图像识别网络，得到第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像及第二样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
9.根据权利要求1所述的方法，其特征在于，所述第一图像组包括第一样本图像，所述根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像，训练所述初始状态的图像识别网络，得到所述第一状态的图像识别网络；
其中，所述根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，包括：
根据所述第一图像组中的第一样本图像，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络。
10.一种图像识别方法，其特征在于，所述方法包括：
将待处理图像输入图像识别网络中处理，得到所述待处理图像的识别结果，所述识别结果包括所述待处理图像中目标的区域及类别，
其中，所述图像识别网络是根据权利要求1-9中任意一项所述的网络训练方法训练得到的。
11.根据权利要求10所述的方法，其特征在于，所述待处理图像包括三维的医学图像，所述待处理图像中目标的类别包括多个征象类别以及一个病灶类别，所述图像识别网络包括多个三维卷积层。
12.一种网络训练装置，其特征在于，包括：
第一训练模块，用于根据训练集中的第一图像组，对初始状态的图像识别网络进行训练，得到第一状态的图像识别网络；
其中，所述训练集中包括已标注的第一样本图像、已标注的第二样本图像及未标注的第三样本图像，所述第一样本图像的标注信息具有第一标注精度，所述第二样本图像的标注信息具有第二标注精度，所述第一标注精度大于所述第二标注精度，所述第一图像组至少包括第一样本图像；
第二训练模块，用于根据所述训练集中的第二图像组，对所述第一状态的图像识别网络进行训练，得到第二状态的图像识别网络，所述第二图像组包括第一样本图像、第二样本图像及第三样本图像；
目标训练模块：用于根据所述第一图像组，对所述第二状态的图像识别网络进行训练，得到目标状态的图像识别网络，
其中，所述图像识别网络用于对待处理图像进行目标识别。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至11中任意一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
CN202110078577.4A 2021-01-21 2021-01-21 网络训练方法及装置、图像识别方法和电子设备 Active CN112396605B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110078577.4A CN112396605B (zh) 2021-01-21 2021-01-21 网络训练方法及装置、图像识别方法和电子设备
PCT/CN2021/122144 WO2021259392A2 (zh) 2021-01-21 2021-09-30 网络训练方法及装置、图像识别方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078577.4A CN112396605B (zh) 2021-01-21 2021-01-21 网络训练方法及装置、图像识别方法和电子设备

Publications (2)

Publication Number Publication Date
CN112396605A CN112396605A (zh) 2021-02-23
CN112396605B true CN112396605B (zh) 2021-04-23

Family

ID=74624969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078577.4A Active CN112396605B (zh) 2021-01-21 2021-01-21 网络训练方法及装置、图像识别方法和电子设备

Country Status (2)

Country Link
CN (1) CN112396605B (zh)
WO (1) WO2021259392A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396605B (zh) * 2021-01-21 2021-04-23 北京安德医智科技有限公司 网络训练方法及装置、图像识别方法和电子设备
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681743B (zh) * 2018-04-16 2019-12-06 腾讯科技（深圳）有限公司 图像对象识别方法和装置、存储介质
US10430692B1 (en) * 2019-01-17 2019-10-01 Capital One Services, Llc Generating synthetic models or virtual objects for training a deep learning network
CN110245721B (zh) * 2019-06-25 2023-09-05 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN111126481A (zh) * 2019-12-20 2020-05-08 湖南千视通信息科技有限公司 一种神经网络模型的训练方法及装置
CN111489366A (zh) * 2020-04-15 2020-08-04 上海商汤临港智能科技有限公司 神经网络的训练、图像语义分割方法及装置
CN111582371B (zh) * 2020-05-07 2024-02-02 广州视源电子科技股份有限公司 一种图像分类网络的训练方法、装置、设备及存储介质
CN112396605B (zh) * 2021-01-21 2021-04-23 北京安德医智科技有限公司 网络训练方法及装置、图像识别方法和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally;Zongwei Zhou等;《CVPR》;20171231;第7340-7351页 *
医学图像分析深度学习方法研究与挑战;田娟秀 等;《自动化学报》;20180331;第44卷(第3期);第401-424页 *

Also Published As

Publication number Publication date
WO2021259392A2 (zh) 2021-12-30
WO2021259392A3 (zh) 2022-02-17
CN112396605A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN110475505B (zh) 利用全卷积网络的自动分割
US20200380695A1 (en) Methods, systems, and media for segmenting images
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110189323B (zh) 一种基于半监督学习的乳腺超声图像病灶分割方法
US20220092789A1 (en) Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN111932529B (zh) 一种图像分类分割方法、装置及系统
WO2023035586A1 (zh) 图像检测方法、模型训练方法、装置、设备、介质及程序
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN111598871B (zh) 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
WO2023071154A1 (zh) 图像分割方法及相关模型的训练方法和装置、设备
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN115809998A (zh) 基于E2C-Transformer网络的胶质瘤MRI数据分割方法
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Network training method and device, image recognition method and electronic equipment

Effective date of registration: 20220715

Granted publication date: 20210423

Pledgee: Su Qiwen

Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000432

PE01 Entry into force of the registration of the contract for pledge of patent right