CN111340209A - 网络模型训练方法、图像分割方法、病灶定位方法 - Google Patents

网络模型训练方法、图像分割方法、病灶定位方法 Download PDF

Info

Publication number
CN111340209A
CN111340209A CN202010099732.6A CN202010099732A CN111340209A CN 111340209 A CN111340209 A CN 111340209A CN 202010099732 A CN202010099732 A CN 202010099732A CN 111340209 A CN111340209 A CN 111340209A
Authority
CN
China
Prior art keywords
image
network model
segmented
segmentation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010099732.6A
Other languages
English (en)
Inventor
张欢
刘恩佑
赵朝炜
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infervision Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN202010099732.6A priority Critical patent/CN111340209A/zh
Publication of CN111340209A publication Critical patent/CN111340209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种网络模型训练方法及装置、图像分割方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法包括：基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息；基于第一类标记信息、第二类标记信息以及样本图像确定训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。本公开实施例提供的网络模型训练方法，能够有效提高标记的有效信息使用量，进而有效提高所训练的分割网络模型的分割精准度。

Description

网络模型训练方法、图像分割方法、病灶定位方法
技术领域
本公开涉及图像处理技术领域，具体涉及网络模型训练方法及装置、图像分割方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。
背景技术
图像分割技术作为图像处理技术领域和计算机视觉技术领域的重要组成部分，其重要性不言而喻。尤其是在医学图像的应用场景(比如病灶定位场景)中，图像分割技术的优劣能够直接影响病灶的定位精准度，进而直接影响后续辅助诊断效果。
然而，由于医学图像中常常包括形状不规则和/或边界不清晰的人体或动物体的组织器官结构，因此，现有应用到医学图像的应用场景中的图像分割方法存在分割精准度差、鲁棒性差以及成本较高等诸多缺陷。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种网络模型训练方法及装置、图像分割方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。
在一方面，本公开实施例提供了一种网络模型训练方法，该网络模型训练方法包括：基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息；基于第一类标记信息、第二类标记信息以及样本图像确定训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。
在本公开一实施例中，训练数据包括第一组训练数据和第二组训练数据，基于第一类标记信息、第二类标记信息以及样本图像确定训练数据包括：基于第一类标记信息和样本图像确定第一组训练数据；基于第二类标记信息和样本图像确定第二组训练数据。其中，基于训练数据训练初始网络模型，以生成分割网络模型，包括：基于第一组训练数据和第二组训练数据并行训练初始网络模型，以生成分割网络模型。
在本公开一实施例中，样本图像对应有样本图像序列，基于训练数据训练初始网络模型，以生成分割网络模型，包括：基于样本图像序列确定多幅与样本图像存在序列关联关系的关联图像；将多幅关联图像和样本图像输入至初始网络模型，并结合训练数据调整初始网络模型的网络参数，以生成分割网络模型。
在本公开一实施例中，待分割目标包括至少一个第一级分割区域，每一第一级分割区域包括多个第二级分割区域，其中，第一类标记信息包括第一级分割区域对应的边界轮廓信息，第二类标记信息包括第二级分割区域对应的区域框选信息。
在本公开一实施例中，样本图像为医学图像，初始网络模型包括多层损失函数层，并且多层损失函数层之间存在递进关系。
在本公开一实施例中，医学图像为肺部医学图像，待分割目标为包括多个肺叶和多个肺段的肺器官，初始网络模型包括三层损失函数层，其中，第一层损失函数层包括与左右肺对应的损失函数，第二层损失函数层包括与多个肺叶对应的损失函数，第三层损失函数层包括与多个肺段对应的损失函数。
在另一方面，本公开实施例提供了一种图像分割方法，该图像分割方法包括：将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，其中，分割网络模型基于上述任一实施例所提及的网络模型训练方法获得；基于图像分割信息对待分割图像进行图像分割操作。
在本公开一实施例中，待分割图像对应有分割图像序列，在将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息之前，进一步包括：基于分割图像序列确定多幅与待分割图像存在序列关联关系的关联图像。其中，将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，包括：将多幅关联图像和待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息。
在另一方面，本公开实施例提供了一种病灶定位方法，该病灶定位方法包括：基于分割网络模型确定医学图像对应的图像分割信息，其中，分割网络模型基于上述任一实施例所提及的网络模型训练方法获得；确定病灶与医学图像的相对位置信息；基于图像分割信息和相对位置信息确定病灶的定位信息。
在另一方面，本公开实施例提供了一种网络模型训练装置，该网络模型训练装置包括：标记信息确定模块，用于基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息；训练数据确定模块，用于基于第一类标记信息、第二类标记信息以及样本图像确定训练数据；分割网络模型生成模块，用于确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。
在另一方面，本公开实施例提供了一种图像分割装置，该图像分割装置包括：确定模块，用于将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，其中，分割网络模型基于上述任一实施例所提及的网络模型训练方法获得；分割模块，用于基于图像分割信息对待分割图像进行图像分割操作。
在另一方面，本公开实施例提供了一种病灶定位装置，该病灶定位装置包括：图像分割信息确定模块，用于基于分割网络模型确定医学图像对应的图像分割信息，其中，分割网络模型基于上述任一实施例所提及的网络模型训练方法获得；相对位置信息确定模块，用于确定病灶与医学图像的相对位置信息；定位信息确定模块，用于基于图像分割信息和相对位置信息确定病灶的定位信息。
在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的网络模型训练方法或图像分割方法或病灶定位方法。
在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的网络模型训练方法或图像分割方法或病灶定位方法。
本公开实施例提供的网络模型训练方法，通过基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，并基于第一类标记信息、第二类标记信息以及样本图像确定训练数据，进而确定初始网络模型，并基于训练数据训练初始网络模型以生成分割网络模型的方式，实现了将初始网络模型训练为能够用于确定待分割图像对应的图像分割信息的分割网络模型的目的。与现有技术相比，由于本公开实施例生成的训练数据中包括待分割目标对应的不同类型的标记信息，因此，本公开实施例能够有效提高粗标记的有效信息使用量，进而有效提高所训练的分割网络模型的分割精准度。此外，当不同类型的标记信息之间存在关联关系时，本公开实施例不但能够进一步提高标记的有效信息使用量，而且与现有采用单一类型的标记信息进行训练的方案相比，在保证分割网络模型的分割精准度的前提下，本公开实施例能够借助不同类型的标记信息之间的关联关系降低标记时间和标记成本，进而提高总体研发效率。此外，当标记信息中包括区域框选信息时，本公开实施例能够基于区域框选信息确定分割信息，与现有人工直接标记分割信息相比，本公开实施例能够进一步缩短标记时间，降低标记成本。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本公开实施例所适用的一场景示意图。
图2所示为本公开实施例所适用的另一场景示意图。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。
图4所示为本公开另一示例性实施例提供的网络模型训练方法的流程示意图。
图5所示为本公开一示例性实施例提供的样本图像以及样本图像对应的第二类标记信息的展示示意图。
图6所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型以生成分割网络模型的流程示意图。
图7所示为本公开一示例性实施例提供的初始网络模型对应的算法流程示意图。
图8所示为本公开一示例性实施例提供的图像分割方法的流程示意图。
图9所示为本公开另一示例性实施例提供的图像分割方法的流程示意图。
图10所示为本公开一示例性实施例提供的病灶定位方法的流程示意图。
图11所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。
图12所示为本公开另一示例性实施例提供的网络模型训练装置的结构示意图。
图13所示为本公开一示例性实施例提供的分割网络模型生成模块的结构示意图。
图14所示为本公开一示例性实施例提供的图像分割装置的结构示意图。
图15所示为本公开另一示例性实施例提供的图像分割装置的结构示意图。
图16所示为本公开一示例性实施例提供的病灶定位装置的结构示意图。
图17所示为本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
图像分割技术是图像处理技术领域和计算机视觉技术领域的重要研究方向，是图像语义理解的重要环节。具体而言，图像分割技术指的是将图像的待分割区域划分成若干具有相同或相似性质的区域的技术。图像分割技术是后续的图像处理与分析等技术的辅助技术，其应用场景非常广泛。尤其是在医学图像的应用场景(比如病灶定位场景)中，图像分割技术的优劣能够直接影响病灶的定位精准度，进而直接影响后续辅助诊断效果。
肺叶和肺段均是对人体肺器官的解剖学位置描述。根据人体肺器官的结构，可将人体肺器官划分为左肺和右肺，并且左肺和右肺共包括5个肺叶和18个肺段，每一肺叶均包括若干肺段。具体地，5个肺叶包括左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶。18个肺段包括左肺上叶尖后段、左肺上叶前段左肺上叶上舌段、左肺上叶下舌段、左肺下叶背段、左肺下叶前基底段、左肺下叶外基底段、左肺下叶后基底段、右肺上叶尖段、右肺上叶后段、右肺上叶前段、右肺中叶外段、右肺中叶内段、右肺下叶背段、右肺下叶内基底段、右肺下叶前基底段、右肺下叶外基底段和右肺下叶后基底段。通常情况下，基于叶间裂划分肺叶，基于肺段支气管、肺段和肺段之间的肺纹理带划分肺段。
由于人体肺器官的结构复杂，因此，与人体肺器官相关的图像分割方法、以及依赖于图像分割方法实现的病灶定位方法等均存在诸多缺陷。比如，现有与人体肺器官相关的病灶定位方法主要包括两种。第一种是基于传统算法实现的，第二种是基于深度学习实现的。具体而言，第一种主要利用肺叶肺段的医学含义，采用区域生长的方法对气管进行分割，进而根据病灶和气管、叶支气管、段支气管之间的关系给出病灶的解剖学定位。然而，如果存在气管阻塞等情况，就很难基于区域生长的方法分割出完整的气管，进而最终导致病灶的定位精准度较差。即，第一种方法的鲁棒性较差。第二种需要大量且准确的人工标记样本数据，研发成本高且开发周期长。
综上，如何在提高图像分割方法的分割精准度及鲁棒性的同时降低成本成为亟待解决的问题。
基于上述提及的技术问题，本公开的基本构思是提出一种网络模型训练方法及装置、图像分割方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法通过基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，并基于第一类标记信息、第二类标记信息以及样本图像确定训练数据，进而确定初始网络模型，并基于训练数据训练初始网络模型以生成分割网络模型的方式，实现了将初始网络模型训练为能够用于确定待分割图像对应的图像分割信息的分割网络模型的目的。与现有技术相比，由于本公开实施例生成的训练数据中包括待分割目标对应的不同类型的标记信息，因此，本公开实施例能够有效提高粗标记的有效信息使用量，进而有效提高所训练的分割网络模型的分割精准度。此外，当不同类型的标记信息之间存在关联关系时，本公开实施例不但能够进一步提高标记的有效信息使用量，而且与现有采用单一类型的标记信息进行训练的方案相比，在保证分割网络模型的分割精准度的前提下，本公开实施例能够借助不同类型的标记信息之间的关联关系降低标记时间和标记成本，进而提高总体研发效率。此外，当标记信息中包括区域框选信息时，本公开实施例能够基于区域框选信息确定分割信息，与现有人工直接标记分割信息相比，本公开实施例能够进一步缩短标记时间，降低标记成本。
在介绍了本公开的基本原理之后，下面将参考附图来具体介绍本公开的各种非限制性实施例。
示例性系统
图1所示为本公开实施例所适用的一场景示意图。如图1所示，本公开实施例所适用的场景中包括服务器1和图像采集设备2，其中，服务器1和图像采集设备2之间存在通信连接关系。
具体而言，图像采集设备2用于采集包括待分割目标的样本图像，服务器1用于基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息；基于第一类标记信息、第二类标记信息以及样本图像确定训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。即，该场景实现了一种网络模型训练方法。
或者，图像采集设备2用于采集包括待分割目标的待分割图像，服务器1用于将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息；基于图像分割信息对待分割图像进行图像分割操作。即，该场景实现了一种图像分割方法。其中，此场景提及的分割网络模型可为上述场景中生成的分割网络模型。
或者，图像采集设备2用于采集包括病灶的医学图像，服务器1用于基于分割网络模型确定医学图像对应的图像分割信息；确定病灶与医学图像的相对位置信息；基于图像分割信息和相对位置信息确定病灶的定位信息。即，该场景实现了一种病灶定位方法。其中，此场景提及的分割网络模型可为上述场景中生成的分割网络模型。
由于图1所示的上述场景利用服务器1实现了网络模型训练方法和/或图像分割方法和/或病灶定位方法，因此，不但能够提高场景的适应能力，而且能够有效降低图像采集设备2的计算量。
需要说明的是，本公开还适用于另一场景。图2所示为本公开实施例所适用的另一场景示意图。具体地，该场景中包括图像处理设备3，并且，图像处理设备3中包括图像采集模块301和计算模块302，图像采集模块301和计算模块302之间存在通信连接关系。
具体而言，图像处理设备3中的图像采集模块301可用于执行图1所示各场景中的图像采集设备2的功能，图像处理设备3中的计算模块302可用于执行图1所示各场景中的服务器1的功能。本公开实施例不再赘述。
由于图2所示的上述场景利用图像处理设备3实现了网络模型训练方法和/或图像分割方法和/或病灶定位方法，无需与服务器等相关装置进行数据传输操作，因此，图2所示的上述场景能够保证网络模型训练方法或图像分割方法或病灶定位方法的实时性。
需要说明的是，图1和图2所示的上述场景中提及的图像采集设备2和图像采集模块301，包括但不限于为X线机、CT扫描仪、MRI设备等医学图像采集装置。对应地，图1和图2所示的上述场景中提及的图像采集设备2和图像采集模块301所采集的样本图像和待分割图像，包括但不限于为X线图像、CT图像、MRI图像等能够将人体或动物体内部组织器官结构、密度等信息以影像方式呈现的医学图像数据，比如CT图像集合。此外，应当理解，本公开实施例提供的网络模型训练方法和图像分割方法，不局限于医学图像的适用场景，只要涉及到图像分割的应用场景，均属于本公开实施例的适用范围。
示例性方法
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。如图3所示，本公开实施例提供的网络模型训练方法包括如下步骤。
步骤10，基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息。
步骤10中提及的第一类标记信息和第二类标记信息是不同类型的标记信息。
示例性地，不同类型指的是标记信息的标记区域不同。比如，待分割目标为肺器官，第一类标记信息为肺叶对应的标记信息，第二类标记信息为肺段对应的标记信息。
示例性地，不同类型指的是标记信息的标记方式不同。比如，第一类标记信息为边界轮廓信息，第二类标记信息为区域框选信息。其中，区域框选信息指的是基于待标记的分割区域(待分割目标包括多个分割区域)框选出的预设尺寸的分割框，该分割框完全落入该分割区域的范围。
在本公开一实施例中，待分割目标包括至少一个第一级分割区域，每一第一级分割区域包括多个第二级分割区域。其中，第一类标记信息包括第一级分割区域对应的边界轮廓信息，第二类标记信息包括第二级分割区域对应的区域框选信息。举例说明，待分割目标为肺器官，第一级分割区域为肺叶，第二级分割区域为肺段。那么，第一类标记信息为肺叶的边界轮廓信息，第二类标记信息为肺段的区域框选信息。
本公开实施例通过限定第一类标记信息和第二类标记信息分别对应不同级别的分割区域的方式，实现了待分割目标的层次化标记。由于不同级别的分割区域之间存在关联关系，因此，不同类型的标记信息之间亦对应有关联关系。由此，本公开实施例能够借助不同类型的标记信息之间的关联关系进一步提高标记的有效信息使用量，进而为最终确定高精准度的分割网络模型提供前提条件。
步骤20，基于第一类标记信息、第二类标记信息以及样本图像确定训练数据。
示例性地，基于第一类标记信息、第二类标记信息以及样本图像直接生成用于训练初始网络模型的训练数据。其中，训练数据包括基于第一类标记信息和第二类标记信息确定的样本图像的图像分割信息。比如，基于预设的空间判断算法，利用第一类标记信息和第二类标记信息生成样本图像的图像分割信息。
步骤30，确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。
示例性地，初始网络模型为卷积神经网络(Convolutional Neural Networks,CNN)模型。
示例性地，步骤30中提及的基于训练数据训练初始网络模型，指的是基于训练数据调整初始网络模型的网络参数，进而生成能够用于确定待分割图像对应的图像分割信息的分割网络模型。即，初始网络模型和分割网络模型的模型结构是相同的，初始网络模型和分割网络模型之间的差异为模型的网络参数差异。
需要说明的是，本公开实施例中提及的样本图像的数量，可根据初始网络模型以及训练情况确定，本公开实施例对此不进行统一限定。
在实际应用过程中，首先基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，然后基于第一类标记信息、第二类标记信息以及样本图像确定训练数据，最后确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型。
本公开实施例提供的网络模型训练方法，通过基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，并基于第一类标记信息、第二类标记信息以及样本图像确定训练数据，进而确定初始网络模型，并基于训练数据训练初始网络模型以生成分割网络模型的方式，实现了将初始网络模型训练为能够用于确定待分割图像对应的图像分割信息的分割网络模型的目的。与现有技术相比，由于本公开实施例生成的训练数据中包括待分割目标对应的不同类型的标记信息，因此，本公开实施例能够有效提高粗标记的有效信息使用量，进而有效提高所训练的分割网络模型的分割精准度。此外，当不同类型的标记信息之间存在关联关系时，本公开实施例不但能够进一步提高标记的有效信息使用量，而且与现有采用单一类型的标记信息进行训练的方案相比，在保证分割网络模型的分割精准度的前提下，本公开实施例能够借助不同类型的标记信息之间的关联关系降低标记时间和标记成本，进而提高总体研发效率。此外，当标记信息中包括区域框选信息时，本公开实施例能够基于区域框选信息确定分割信息，与现有人工直接标记分割信息相比，本公开实施例能够进一步缩短标记时间，降低标记成本。
在本公开一实施例中，初始网络模型包括多层损失函数层，并且该多层损失函数层之间存在递进关系，并且层与层之间基于加和的方式串联。在神经网络中，损失函数能够评价网络模型输出的预测值与真实值之间的差异。本公开实施例通过在初始网络模型中设置多层存在递进关系的损失函数层的方式，实现了阶梯式训练初始网络模型的目的，降低了模型训练的不确定性，进而提高了所确定的分割网络模型的分割精准度。
图4所示为本公开另一示例性实施例提供的网络模型训练方法的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图4所示，在本公开实施例提供的网络模型训练方法中，基于第一类标记信息、第二类标记信息以及样本图像确定训练数据步骤，包括如下步骤。
步骤21，基于第一类标记信息和样本图像确定第一组训练数据。
步骤22，基于第二类标记信息和样本图像确定第二组训练数据。
需要说明的是，步骤21和22中形成的第一组训练数据和第二组训练数据，是为了支持步骤31中的并行训练。
示例性地，第一组训练数据包括待分割目标对应的第一组图像分割信息，第二组训练数据包括待分割目标对应的第二组图像分割信息。比如，待分割目标为肺器官，第一组图像分割信息为与肺叶相关的分割信息，第二组图像分割信息为与肺段相关的分割信息。
并且，在本公开实施例提供的网络模型训练方法中，确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型步骤，包括如下步骤。
步骤31，确定初始网络模型，并基于第一组训练数据和第二组训练数据并行训练初始网络模型，以生成分割网络模型。
示例性地，步骤31中提及的并行训练，指的是分别且同时基于第一组训练数据和第二组训练数据对初始网络模型进行训练操作。
在实际应用过程中，首先基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，然后基于第一类标记信息和样本图像确定第一组训练数据，并基于第二类标记信息和样本图像确定第二组训练数据，继而确定初始网络模型，并基于第一组训练数据和第二组训练数据并行训练初始网络模型，以生成分割网络模型。
本公开实施例提供的网络模型训练方法，通过基于第一类标记信息和样本图像确定第一组训练数据，并基于第二类标记信息和样本图像确定第二组训练数据，继而基于第一组训练数据和第二组训练数据并行训练初始网络模型的方式，实现了基于第一类标记信息和第二类标记信息训练初始网络模型的目的。由于本公开实施例基于第一组训练数据和第二组训练数据并行训练初始网络模型，因此，与基于第一组训练数据和第二组训练数据串行训练初始网络模型的方案相比，本公开实施例不但能够进一步节省训练时间，而且能够充分利用第一类标记信息和第二类标记信息之间的关联关系，进而进一步优化训练效果，进而进一步提高所确定的分割网络模型的分割精准度。
图5所示为本公开一示例性实施例提供的样本图像以及样本图像对应的第二类标记信息的展示示意图。如图5所示，样本图像为肺器官的CT(Computed Tomography,电子计算机断层扫描)图像的图像帧，对应地，第一类标记信息为肺叶对应的边界轮廓信息(图中未示出)，第二类标记信息为肺段对应的区域框选信息。其中，图5所示的肺器官的白色方块能够表征肺段对应的区域框选信息(即第二类标记信息)。
图6所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型以生成分割网络模型的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图6所示实施例，下面着重叙述图6所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本公开实施例提供的网络模型训练方法中，样本图像对应有样本图像序列(比如，样本图像序列为CT图像序列，样本图像为CT图像序列中的一帧图像帧)。其中，基于训练数据训练初始网络模型，以生成分割网络模型步骤，包括如下步骤。
步骤32，基于样本图像序列确定多幅与样本图像存在序列关联关系的关联图像。
示例性地，样本图像序列为CT图像序列，样本图像为CT图像序列中的一帧图像帧，关联图像为样本图像对应的前P帧图像帧和后M帧图像帧，其中，P和M均为大于或等于1的正整数。
优选地，P＝4且M＝4。经本公开发明人多次实验验证后确定，当P＝4且M＝4时，初始网络模型不仅能够学习到与样本图像相关的序列变化信息，而且保持较快的学习速度，进而实现了学习效果与学习速度的平衡。
步骤33，将多幅关联图像和样本图像输入至初始网络模型，并结合训练数据调整初始网络模型的网络参数，以生成分割网络模型。
在实际应用过程中，首先基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息，然后基于第一类标记信息、第二类标记信息以及样本图像确定训练数据，继而确定初始网络模型，并基于样本图像序列确定多幅与样本图像存在序列关联关系的关联图像，最后将多幅关联图像和样本图像输入至初始网络模型，并结合训练数据调整初始网络模型的网络参数，以生成分割网络模型。
本公开实施例提供的网络模型训练方法，通过基于样本图像序列确定多幅与样本图像存在序列关联关系的关联图像，进而将多幅关联图像和样本图像输入至初始网络模型，并结合训练数据调整初始网络模型的网络参数以生成分割网络模型的方式，实现了基于训练数据训练初始网络模型以生成分割网络模型的目的。与图3所示实施例相比，本公开实施例中的初始网络模型能够学习到更多与样本图像相关的序列变化信息，进而进一步提高所确定的分割网络模型的分割精准度。
图7所示为本公开一示例性实施例提供的初始网络模型对应的算法流程示意图。在本公开实施例中，待分割目标为包括多个肺叶和多个肺段的肺器官，初始网络模型为基于Resnet50+FPN(Feature Pyramid Networks,特征金字塔网络)确定的网络模型。该初始网络模型包括三层损失函数层，其中，第一层损失函数层包括与左右肺对应的损失函数，第二层损失函数层包括与多个肺叶对应的损失函数，第三层损失函数层包括与多个肺段对应的损失函数。
应当理解，因Resnet50+FPN为现有技术，本公开实施例的创新点在于多层损失函数层的设置，因此，不再详细赘述具体的模型结构。
在实际应用过程中，当将样本图像和关联图像输入至初始网络模型后，初始网络模型对样本图像和关联图像中的像素进行卷积计算以提取特征，以最终得到多个特征图(Feature Map,FM)，即图7所示的18个通道的特征，这18个通道的特征分别对应18个肺段。如果假设该18个通道的特征分别为f1,f2,……,f18，那么，基于肺叶肺段之间的对应关系可知，每一肺叶Lobe均有一些fx特征与之对应，故该肺叶的特征可基于下述公式(1)表示。此外，基于左肺和右肺与肺叶的对应关系可知，左肺和右肺均有一些Lobex特征与之对应，故左肺和右肺的特征RL-f均可基于下述公式(2)表示。
Figure BDA0002386474220000101
Figure BDA0002386474220000102
然后，对每一级反向传播一个交叉熵的损失。具体地，第一层损失函数层包括的与左右肺对应的损失函数L1可基于下述公式(3)表示，第二层损失函数层包括的与多个肺叶对应的损失函数L2可基于下述公式(4)表示，第三层损失函数层包括的与多个肺段对应的损失函数L3可基于下述公式(5)表示。
Figure BDA0002386474220000103
Figure BDA0002386474220000104
Figure BDA0002386474220000111
在上述公式中，IM代表整张图像的像素，pixel代表一个像素点，训练mask在对应pixel的类别为i，其中，mask表征的是肺段对应的框选区域，N是图中有效像素点的数量，对于L2和L3而言，有效像素点为全图的点，而对于L1，有效像素点为mask不为-1的点。
应当理解，初始网络模型的最后的loss是整张图像的有效像素点loss的均值。同时，对于缺少完整数据标注的肺段信息(比如只标记了一部分肺段信息)，采用部分回传loss的方案，即在mask不等于-1的点回传loss。
结合上述内容可知，对于肺段信息来说，图像中的肺叶区域会传递损失的梯度，非肺叶区域不会传递损失的梯度，因此，肺叶区域进行的是有监督的学习，非肺叶区域进行的是无监督的学习。基于此，通过大量的样本数据的训练后，初始网络模型就会猜测到一个肺叶内肺段之间的边界。
本公开实施例通过在初始网络模型中设置三层损失函数层，并基于肺器官的具体组织结构限定第一层损失函数层包括与左右肺对应的损失函数，第二层损失函数层包括与多个肺叶对应的损失函数，第三层损失函数层包括与多个肺段对应的损失函数的方式，不但降低了初始网络模型的不确定性，而且实现了利用肺段、肺叶和左右肺之间的关系作为先验信息，以降低初始网络模型学习的不确定性的目的，进而提高了初始网络模型的鲁棒性。
需要说明的是，图7所示实施例提及的初始网络模型，不局限应用于将肺器官作为待分割目标的应用场景，还可以应用于将与肺器官存在相似结构的待分割目标(比如心脏)的应用场景。
此外，需要说明的是，图7所示实施例提及的三层损失函数层以及各损失函数层包括的具体损失函数均不局限于应用到图7所示实施例提及的Resnet50+FPN网络模型中。
图8所示为本公开一示例性实施例提供的图像分割方法的流程示意图。具体地，本公开实施例提供的图像分割方法应用于包括待分割目标的待分割图像。如图8所示，本公开实施例提供的图像分割方法包括如下步骤。
步骤50，将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息。
示例性地，步骤50中提及的分割网络模型基于上述任一实施例提及的网络模型训练方法获得。
步骤60，基于图像分割信息对待分割图像进行图像分割操作。
在实际应用过程中，首先将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，然后基于图像分割信息对待分割图像进行图像分割操作。
本公开实施例提供的图像分割方法，通过将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，然后基于图像分割信息对待分割图像进行图像分割操作的方式，实现了基于分割网络模型对待分割图像进行图像分割操作的目的。当本公开实施例中的分割网络模型基于上述实施例提及的网络模型训练方法获得时，与现有技术相比，本公开实施例不但能够有效提高分割精准度，而且能够有效提高分割速度和分割鲁棒性。
图9所示为本公开另一示例性实施例提供的图像分割方法的流程示意图。在本公开图8所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。
如图9所示，在本公开实施例提供的图像分割方法中，待分割图像对应有分割图像序列，在将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息步骤之前，还包括如下步骤。
步骤40，基于分割图像序列确定多幅与待分割图像存在序列关联关系的关联图像。
与步骤40中提及的关联图像的相关信息，可参见图6所示实施例，本公开实施例不再赘述。
并且，在本公开实施例提供的图像分割方法中，将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息步骤包括如下步骤。
步骤51，将多幅关联图像和待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息。
在实际应用过程中，首先基于分割图像序列确定多幅与待分割图像存在序列关联关系的关联图像，继而将多幅关联图像和待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息，然后基于图像分割信息对待分割图像进行图像分割操作。
由于本公开实施例提供的图像分割方法能够充分利用关联图像所携带的、与样本图像相关的序列变化信息，因此，与图8所示实施例相比，本公开实施例能够进一步提高分割精准度。
图10所示为本公开一示例性实施例提供的病灶定位方法的流程示意图。具体地，本公开实施例提供的病灶定位方法应用于包括病灶的医学图像，比如，包括肺结节的肺器官CT图像。如图10所示，本公开实施例提供的病灶定位方法包括如下步骤。
步骤70，基于分割网络模型确定医学图像对应的图像分割信息。
示例性地，步骤70中提及的分割网络模型基于上述任一实施例提及的网络模型训练方法获得。
步骤80，确定病灶与医学图像的相对位置信息。
比如，可基于预先建立的基准坐标系确定病灶与医学图像的相对位置关系。又比如，可基于人工确定病灶与医学图像的相对位置关系。
步骤90，基于图像分割信息和相对位置信息确定病灶的定位信息。
示例性地，病灶的定位信息指的是与病灶属于医学图像的哪一分割区域相关的信息。
在实际应用过程中，首先基于分割网络模型确定医学图像对应的图像分割信息，并确定病灶与医学图像的相对位置信息，继而基于图像分割信息和相对位置信息确定病灶的定位信息。
本公开实施例提供的病灶定位方法，通过基于分割网络模型确定医学图像对应的图像分割信息，并确定病灶与医学图像的相对位置信息，继而基于图像分割信息和相对位置信息确定病灶的定位信息的方式，实现了借助图像分割信息对病灶进行定位的目的。由于病灶的定位信息能够有效辅助后续的诊断工作，因此，本公开实施例能够有效降低医务人员的工作量，节省医疗资源。
示例性装置
图11所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。如图11所示，本公开实施例提供的网络模型训练装置包括：
标记信息确定模块100，用于基于包括待分割目标的样本图像确定待分割目标对应的第一类标记信息和第二类标记信息；
训练数据确定模块200，用于基于第一类标记信息、第二类标记信息以及样本图像确定训练数据；
分割网络模型生成模块300，用于确定初始网络模型，并基于训练数据训练初始网络模型，以生成分割网络模型，其中，分割网络模型用于确定待分割图像对应的图像分割信息。
图12所示为本公开另一示例性实施例提供的网络模型训练装置的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图12所示，在本公开实施例提供的网络模型训练装置中，训练数据确定模块200包括：
第一组训练数据确定单元210，用于基于第一类标记信息和样本图像确定第一组训练数据；
第二组训练数据确定单元220，用于基于第二类标记信息和样本图像确定第二组训练数据。
并且，在本公开实施例提供的网络模型训练装置中，分割网络模型生成模块300包括：
第一生成单元310，用于确定初始网络模型，并基于第一组训练数据和第二组训练数据并行训练初始网络模型，以生成分割网络模型。
图13所示为本公开一示例性实施例提供的分割网络模型生成模块的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图13所示实施例，下面着重叙述图13所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图13所示，在本公开实施例提供的网络模型训练装置中，分割网络模型生成模块300包括：
第一确定单元320，用于基于样本图像序列确定多幅与样本图像存在序列关联关系的关联图像；
第二生成单元330，用于将多幅关联图像和样本图像输入至初始网络模型，并结合训练数据调整初始网络模型的网络参数，以生成分割网络模型。
图14所示为本公开一示例性实施例提供的图像分割装置的结构示意图。如图14所示，本公开实施例提供的图像分割装置包括：
确定模块500，用于将待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息；
分割模块600，用于基于图像分割信息对待分割图像进行图像分割操作。
图15所示为本公开另一示例性实施例提供的图像分割装置的结构示意图。在本公开图14所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。
如图15所示，本公开实施例提供的网络模型训练装置还包括：
关联图像确定模块400，用于基于分割图像序列确定多幅与待分割图像存在序列关联关系的关联图像。
并且，在本公开实施例提供的网络模型训练装置中，确定模块500包括：
第二确定单元510，用于将多幅关联图像和待分割图像输入至分割网络模型，以确定待分割图像对应的图像分割信息。
图16所示为本公开一示例性实施例提供的病灶定位装置的结构示意图。如图16所示，本公开实施例提供的病灶定位装置包括：
图像分割信息确定模块700，用于基于分割网络模型确定医学图像对应的图像分割信息；
相对位置信息确定模块800，用于确定病灶与医学图像的相对位置信息；
定位信息确定模块900，用于基于图像分割信息和相对位置信息确定病灶的定位信息。
应当理解，图11至图13提供的网络模型训练装置中的标记信息确定模块100、训练数据确定模块200和分割网络模型生成模块300，以及训练数据确定模块200中包括的第一组训练数据确定单元210和第二组训练数据确定单元220，以及分割网络模型生成模块300中包括的第一生成单元310、第一确定单元320和第二生成单元330的操作和功能可以参考上述图3至图8提供的网络模型训练方法，为了避免重复，在此不再赘述。
此外，应当理解，图14和图15提供的图像分割装置中的关联图像确定模块400、确定模块500和分割模块600，以及确定模块50中包括的第二确定单元510的操作和功能可以参考上述图8和图9提供的图像分割方法，为了避免重复，在此不再赘述。
此外，应当理解，图16提供的病灶定位装置中的图像分割信息确定模块700、相对位置信息确定模块800和定位信息确定模块900的操作和功能可以参考上述图10提供的病灶定位方法，为了避免重复，在此不再赘述。
示例性电子设备
下面，参考图17来描述根据本公开实施例的电子设备。图17所示为本公开一示例性实施例提供的电子设备的结构示意图。
如图17所示，电子设备4包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备4中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的各个实施例的网络模型训练方法、图像分割方法、病灶定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如医学图像等各种内容。
在一个示例中，电子设备4还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置403可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息，包括确定出的病灶的定位信息等。该输出装置404可以包括例如显示器、通信网络及其所连接的远程输出设备等等。
当然，为了简化，图17中仅示出了该电子设备4中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备4还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的网络模型训练方法、图像分割方法和病灶定位方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的网络模型训练方法、图像分割方法和病灶定位方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种网络模型训练方法，其特征在于，包括：
基于包括待分割目标的样本图像确定所述待分割目标对应的第一类标记信息和第二类标记信息；
基于所述第一类标记信息、所述第二类标记信息以及所述样本图像确定训练数据；
确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成分割网络模型，其中，所述分割网络模型用于确定待分割图像对应的图像分割信息。
2.根据权利要求1所述的方法，其特征在于，所述训练数据包括第一组训练数据和第二组训练数据，所述基于所述第一类标记信息、所述第二类标记信息以及所述样本图像确定训练数据，包括：
基于所述第一类标记信息和所述样本图像确定所述第一组训练数据；
基于所述第二类标记信息和所述样本图像确定所述第二组训练数据；
其中，所述基于所述训练数据训练所述初始网络模型，以生成分割网络模型，包括：
基于所述第一组训练数据和所述第二组训练数据并行训练所述初始网络模型，以生成所述分割网络模型。
3.根据权利要求1所述的方法，其特征在于，所述样本图像对应有样本图像序列，所述基于所述训练数据训练所述初始网络模型，以生成分割网络模型，包括：
基于所述样本图像序列确定多幅与所述样本图像存在序列关联关系的关联图像；
将所述多幅关联图像和所述样本图像输入至所述初始网络模型，并结合所述训练数据调整所述初始网络模型的网络参数，以生成所述分割网络模型。
4.根据权利要求1至3任一所述的方法，其特征在于，所述待分割目标包括至少一个第一级分割区域，每一所述第一级分割区域包括多个第二级分割区域，其中，所述第一类标记信息包括所述第一级分割区域对应的边界轮廓信息，所述第二类标记信息包括所述第二级分割区域对应的区域框选信息。
5.根据权利要求1至3任一所述的方法，其特征在于，所述样本图像为医学图像，所述初始网络模型包括多层损失函数层，并且所述多层损失函数层之间存在递进关系。
6.根据权利要求5所述的方法，其特征在于，所述医学图像为肺部医学图像，所述待分割目标为包括多个肺叶和多个肺段的肺器官，所述初始网络模型包括三层损失函数层，其中，第一层损失函数层包括与左右肺对应的损失函数，第二层损失函数层包括与所述多个肺叶对应的损失函数，第三层损失函数层包括与所述多个肺段对应的损失函数。
7.一种图像分割方法，其特征在于，应用于包括待分割目标的待分割图像，包括：
将所述待分割图像输入至分割网络模型，以确定所述待分割图像对应的图像分割信息，其中，所述分割网络模型基于上述权利要求1至6任一所述的网络模型训练方法获得；
基于所述图像分割信息对所述待分割图像进行图像分割操作。
8.根据权利要求7所述的方法，其特征在于，所述待分割图像对应有分割图像序列，在所述将所述待分割图像输入至分割网络模型，以确定所述待分割图像对应的图像分割信息之前，进一步包括：
基于所述分割图像序列确定多幅与所述待分割图像存在序列关联关系的关联图像；
其中，所述将所述待分割图像输入至分割网络模型，以确定所述待分割图像对应的图像分割信息，包括：
将所述多幅关联图像和所述待分割图像输入至分割网络模型，以确定所述待分割图像对应的图像分割信息。
9.一种病灶定位方法，其特征在于，应用于包括病灶的医学图像，包括：
基于分割网络模型确定所述医学图像对应的图像分割信息，其中，所述分割网络模型基于上述权利要求1至6任一所述的网络模型训练方法获得；
确定所述病灶与所述医学图像的相对位置信息；
基于所述图像分割信息和所述相对位置信息确定所述病灶的定位信息。
10.一种网络模型训练装置，其特征在于，包括：
标记信息确定模块，用于基于包括待分割目标的样本图像确定所述待分割目标对应的第一类标记信息和第二类标记信息；
训练数据确定模块，用于基于所述第一类标记信息、所述第二类标记信息以及所述样本图像确定训练数据；
分割网络模型生成模块，用于确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成分割网络模型，其中，所述分割网络模型用于确定待分割图像对应的图像分割信息。
11.一种图像分割装置，其特征在于，应用于包括待分割目标的待分割图像，包括：
确定模块，用于将所述待分割图像输入至分割网络模型，以确定所述待分割图像对应的图像分割信息，其中，所述分割网络模型基于上述权利要求1至6任一所述的网络模型训练方法获得；
分割模块，用于基于所述图像分割信息对所述待分割图像进行图像分割操作。
12.一种病灶定位装置，其特征在于，应用于包括病灶的医学图像，包括：
图像分割信息确定模块，用于基于分割网络模型确定所述医学图像对应的图像分割信息，其中，所述分割网络模型基于上述权利要求1至6任一所述的网络模型训练方法获得；
相对位置信息确定模块，用于确定所述病灶与所述医学图像的相对位置信息；
定位信息确定模块，用于基于所述图像分割信息和所述相对位置信息确定所述病灶的定位信息。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6任一所述的网络模型训练方法或上述权利要求7或8所述的图像分割方法或上述权利要求9所述的病灶定位方法。
14.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至6任一所述的网络模型训练方法或上述权利要求7或8所述的图像分割方法或上述权利要求9所述的病灶定位方法。
CN202010099732.6A 2020-02-18 2020-02-18 网络模型训练方法、图像分割方法、病灶定位方法 Pending CN111340209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010099732.6A CN111340209A (zh) 2020-02-18 2020-02-18 网络模型训练方法、图像分割方法、病灶定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010099732.6A CN111340209A (zh) 2020-02-18 2020-02-18 网络模型训练方法、图像分割方法、病灶定位方法

Publications (1)

Publication Number Publication Date
CN111340209A true CN111340209A (zh) 2020-06-26

Family

ID=71185406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010099732.6A Pending CN111340209A (zh) 2020-02-18 2020-02-18 网络模型训练方法、图像分割方法、病灶定位方法

Country Status (1)

Country Link
CN (1) CN111340209A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450351A (zh) * 2021-08-06 2021-09-28 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113470029A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 训练方法及装置、图像处理方法、电子设备和存储介质
WO2022141092A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 模型生成方法、图像处理方法、装置及可读存储介质
CN116797596A (zh) * 2023-08-17 2023-09-22 杭州健培科技有限公司 一种肺结节所属肺段识别模型和训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020969A (zh) * 2012-12-25 2013-04-03 中国科学院深圳先进技术研究院 一种ct图像肝脏分割的处理方法及系统
CN107103334A (zh) * 2017-04-26 2017-08-29 太原理工大学 一种基于卷积神经网络和字典对学习的肺结节分类方法
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN110390680A (zh) * 2019-07-04 2019-10-29 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020969A (zh) * 2012-12-25 2013-04-03 中国科学院深圳先进技术研究院 一种ct图像肝脏分割的处理方法及系统
CN107103334A (zh) * 2017-04-26 2017-08-29 太原理工大学 一种基于卷积神经网络和字典对学习的肺结节分类方法
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN110390680A (zh) * 2019-07-04 2019-10-29 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141092A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 模型生成方法、图像处理方法、装置及可读存储介质
CN113450351A (zh) * 2021-08-06 2021-09-28 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113450351B (zh) * 2021-08-06 2024-01-30 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113470029A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 训练方法及装置、图像处理方法、电子设备和存储介质
CN113470029B (zh) * 2021-09-03 2021-12-03 北京字节跳动网络技术有限公司 训练方法及装置、图像处理方法、电子设备和存储介质
CN116797596A (zh) * 2023-08-17 2023-09-22 杭州健培科技有限公司 一种肺结节所属肺段识别模型和训练方法
CN116797596B (zh) * 2023-08-17 2023-11-28 杭州健培科技有限公司 一种肺结节所属肺段识别模型和训练方法

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
CN111292314B (zh) 冠脉分段方法、装置、图像处理系统和存储介质
WO2021017372A1 (zh) 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
EP3020537B1 (en) Semantic medical image to 3d print of anatomic structure
US20230104173A1 (en) Method and system for determining blood vessel information in an image
CN111047609B (zh) 肺炎病灶分割方法和装置
CN104346821B (zh) 用于医学成像的自动规划
Tian et al. Multi-step medical image segmentation based on reinforcement learning
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN111681247B (zh) 肺叶肺段分割模型训练方法和装置
CN111275707B (zh) 肺炎病灶分割方法和装置
CN106462974B (zh) 用于分割图像的参数优化
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112150472A (zh) 基于cbct的三维颌骨图像分割方法、装置及终端设备
CN110246580A (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
CN111862046A (zh) 一种心脏冠脉剪影中导管位置判别系统和方法
CN114037663A (zh) 一种血管分割方法、装置及计算机可读介质
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
Wang et al. A DCNN system based on an iterative method for automatic landmark detection in cephalometric X-ray images
US20220092786A1 (en) Method and arrangement for automatically localizing organ segments in a three-dimensional image
Lefebvre et al. Lassnet: A four steps deep neural network for left atrial segmentation and scar quantification
US20230103262A1 (en) Image processing method and device
CN112837283B (zh) 一种肺栓塞检测系统、介质及电子设备
CN114596275A (zh) 肺血管分割方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626