CN111062944B - 网络模型训练方法及装置、图像分割方法及装置 - Google Patents

网络模型训练方法及装置、图像分割方法及装置 Download PDF

Info

Publication number
CN111062944B
CN111062944B CN201911255524.4A CN201911255524A CN111062944B CN 111062944 B CN111062944 B CN 111062944B CN 201911255524 A CN201911255524 A CN 201911255524A CN 111062944 B CN111062944 B CN 111062944B
Authority
CN
China
Prior art keywords
network model
image
determining
contour
unit set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911255524.4A
Other languages
English (en)
Other versions
CN111062944A (zh
Inventor
于朋鑫
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN201911255524.4A priority Critical patent/CN111062944B/zh
Publication of CN111062944A publication Critical patent/CN111062944A/zh
Application granted granted Critical
Publication of CN111062944B publication Critical patent/CN111062944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

公开了一种网络模型训练方法及装置、图像分割方法及装置、计算机可读存储介质及电子设备,涉及图像处理技术领域。该网络模型训练方法包括:基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合;基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合;确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。

Description

网络模型训练方法及装置、图像分割方法及装置
技术领域
本公开涉及图像处理技术领域,具体涉及网络模型训练方法及装置、图像分割方法及装置、计算机可读存储介质及电子设备。
背景技术
图像分割技术作为图像处理技术领域和计算机视觉技术领域的重要组成部分,其重要性不言而喻。然而,现有图像分割技术的分割精准度仍然较差。尤其在三维图像数据领域,无论是逐像素分割方法还是逐体素分割方法,其分割精准度都比较低。
因此,如何提高图像分割技术的分割精准度成为亟待解决的问题。
发明内容
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种网络模型训练方法及装置、图像分割方法及装置、计算机可读存储介质及电子设备。
在一方面,本公开实施例提供了一种网络模型训练方法,该网络模型训练方法包括:基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合;基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合;确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
在另一方面,本公开实施例提供了一种图像分割方法,该图像分割方法包括:确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合;基于第三图像单元集合和分割网络模型确定预测距离集合,其中,该分割网络模型基于上述实施例提及的网络模型训练方法获得;基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
在另一方面,本公开实施例提供了一种网络模型训练装置,该网络模型训练装置包括:轮廓单元集合确定模块,用于基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合;训练数据确定模块,用于基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合;分割网络模型生成模块,用于确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
在另一方面,本公开实施例提供了一种图像分割装置,该图像分割装置包括:集合确定模块,用于确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合;预测距离集合确定模块,用于基于第三图像单元集合和分割网络模型确定预测距离集合,其中,分割网络模型基于上述实施例提及的网络模型训练方法获得;图像分割模块,用于基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
在另一方面,本公开实施例提供了一种计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序用于执行上述实施例所提及的网络模型训练方法和/或图像分割方法。
在另一方面,本公开实施例提供了一种电子设备,该电子设备包括:处理器和用于存储处理器可执行指令的存储器,其中,处理器用于执行上述实施例所提及的网络模型训练方法和/或图像分割方法。
本公开实施例提供的网络模型训练方法,通过基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,并基于轮廓单元集合和样本图像数据确定训练数据,进而确定初始网络模型,并基于训练数据训练初始网络模型以生成分割网络模型的方式,实现了利用样本图像数据训练初始网络模型以生成分割网络模型的目的。由于第一基准单元集合和轮廓单元集合能够表征距离信息,第一图像单元集合能够表征图像特征信息,因此,本公开实施例借助轮廓单元集合、第一基准单元集合和第一图像单元集合实现了基于相似度与距离的映射关系训练生成分割网络模型的目的。与现有基于人工的分割方法相比,本公开实施例不仅能够充分避免人工误差,而且能够极大提高分割效率。与现有将样本图像数据整体作为标签数据的深度学习分割方法相比,本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。尤其当样本图像数据为三维图像数据时,本公开实施例能够通过三维图像数据中提取二维数据(比如距离数据、相似度数据等)的方式实现训练生成分割网络模型的目的,因此,能够充分利用二维图像的深度学习资源,从而实现利用低维度图像特征来实现分割高维度图像数据的目的。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本公开实施例所适用的一场景示意图。
图2所示为本公开实施例所适用的另一场景示意图。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。
图4所示为本公开一示例性实施例提供的初始网络模型的结构示意图。
图5所示为本公开一示例性实施例提供的基于轮廓单元集合和样本图像数据确定训练数据的流程示意图。
图6所示为本公开一示例性实施例提供的基于样本图像数据确定轮廓单元集合对应的第一基准单元集合的流程示意图。
图7所示为本公开一示例性实施例提供的基准坐标系的示意图。
图8所示为本公开一示例性实施例提供的基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合的流程示意图。
图9所示为本公开一示例性实施例提供的基于位置关系确定多个第一基准单元各自对应的第一图像单元的流程示意图。
图10所示为本公开一示例性实施例提供的第一图像单元集合的布局示意图。
图11所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。
图12所示为本公开一示例性实施例提供的基于轮廓单元集合和第一基准单元集合确定第一距离集合的流程示意图。
图13所示为本公开另一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。
图14所示为本公开又一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。
图15所示为本公开一示例性实施例提供的图像分割方法的流程示意图。
图16所示为本公开一示例性实施例提供的基于第三图像单元集合和分割网络模型确定预测距离集合的流程示意图。
图17所示为本公开另一示例性实施例提供的基于第三图像单元集合和分割网络模型确定预测距离集合的流程示意图。
图18所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。
图19所示为本公开一示例性实施例提供的训练数据确定模块的结构示意图。
图20所示为本公开一示例性实施例提供的第一基准单元集合确定单元的结构示意图。
图21所示为本公开一示例性实施例提供的第一图像单元集合确定单元的结构示意图。
图22所示为本公开一示例性实施例提供的第一图像单元确定子单元的结构示意图。
图23所示为本公开一示例性实施例提供的分割网络模型生成模块的结构示意图。
图24所示为本公开一示例性实施例提供的第一距离集合确定单元的结构示意图。
图25所示为本公开另一示例性实施例提供的分割网络模型生成模块的结构示意图。
图26所示为本公开又一示例性实施例提供的分割网络模型生成模块的结构示意图。
图27所示为本公开一示例性实施例提供的图像分割装置的结构示意图。
图28所示为本公开一示例性实施例提供的预测距离集合确定模块的结构示意图。
图29所示为本公开另一示例性实施例提供的预测距离集合确定模块的结构示意图。
图30所示为本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
近年来,随着智能科技的迅速发展,图像处理技术和计算机视觉技术日益受到广泛关注。图像分割技术作为图像处理技术领域和计算机视觉技术领域的重要组成部分,其重要性不言而喻。具体地,图像分割技术指的是把图像分割成若干特定区域以便提取出感兴趣目标的技术。
现有图像分割方法主要包括:基于人工的分割方法、逐像素分割方法、逐体素分割方法等。然而,基于人工的分割方法存在人工误差,分割精准度较差;逐像素分割方法在处理三维图像数据时候不能考虑图像的三维特征信息,分割精准度不高;逐体素分割方法不但计算量大,对硬件设备要求高,而且数据的收集和标注都比较困难,很难利用迁移学习的优势,分割精准度也较差。
基于上述提及的技术问题,本公开的基本构思是提出一种网络模型训练方法及装置、图像分割方法及装置、计算机可读存储介质及电子设备。
该网络模型训练方法通过基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,并基于轮廓单元集合和样本图像数据确定训练数据,进而确定初始网络模型,并基于训练数据训练初始网络模型以生成分割网络模型的方式,实现了利用样本图像数据训练初始网络模型以生成分割网络模型的目的。由于第一基准单元集合和轮廓单元集合能够表征距离信息,第一图像单元集合能够表征图像特征信息,因此,本公开实施例借助轮廓单元集合、第一基准单元集合和第一图像单元集合实现了基于相似度与距离的映射关系训练生成分割网络模型的目的。与现有基于人工的分割方法相比,本公开实施例不仅能够充分避免人工误差,而且能够极大提高分割效率。与现有将样本图像数据整体作为标签数据的深度学习分割方法相比,本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。尤其当样本图像数据为三维图像数据时,本公开实施例能够通过三维图像数据中提取二维数据(比如距离数据、相似度数据等)的方式实现训练生成分割网络模型的目的,因此,能够充分利用二维图像的深度学习资源,从而实现利用低维度图像特征来实现分割高维度图像数据的目的。
该图像分割方法通过通过确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,并基于第三图像单元集合和分割网络模型确定预测距离集合,继而基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作的方式,实现了对待分割图像数据进行图像分割操作的目的。由于本公开实施例提供的图像分割方法是基于分割网络模型实现的,因此,本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。此外,本公开实施例能够实现利用低维度图像特征来实现分割高维度图像数据的目的。
在介绍了本公开的基本原理之后,下面将参考附图来具体介绍本公开的各种非限制性实施例。
图1所示为本公开实施例所适用的一场景示意图。如图1所示,本公开实施例所适用的场景中包括服务器1和图像采集设备2,其中,服务器1和图像采集设备2之间存在通信连接关系。
具体而言,图像采集设备2用于采集包括待分割目标的图像数据以作为样本图像数据,服务器1用于基于图像采集设备2采集的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合,继而确定初始网络模型,并基于训练数据训练初始网络模型以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。即,该场景实现了一种网络模型训练方法。
或者,图像采集设备2用于采集包括待分割目标的待分割图像数据,服务器1用于确定图像采集设备2采集的待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,然后基于第三图像单元集合和分割网络模型确定预测距离集合,继而基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。即,该场景实现了一种图像分割方法。其中,此场景提及的分割网络模型可为上述场景中生成的用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息的分割网络模型。由于图1所示的上述场景利用服务器1实现了网络模型训练方法和/或图像分割方法,因此,不但能够提高场景的适应能力,而且能够有效降低图像采集设备2的计算量。
需要说明的是,本公开还适用于另一场景。图2所示为本公开实施例所适用的另一场景示意图。具体地,该场景中包括图像处理设备3,并且,图像处理设备3中包括图像采集模块301和计算模块302。
具体而言,图像处理设备3中的图像采集模块301用于采集包括待分割目标的图像数据以作为样本图像数据,图像处理设备3中的计算模块302用于基于图像采集模块301采集的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合,继而确定初始网络模型,并基于训练数据训练初始网络模型以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。即,该场景实现了一种网络模型训练方法。
或者,图像处理设备3中的图像采集模块301用于采集包括待分割目标的待分割图像数据,图像处理设备3中的计算模块302用于确定图像采集模块301采集的待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,然后基于第三图像单元集合和分割网络模型确定预测距离集合,继而基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。即,该场景实现了一种图像分割方法。其中,此场景提及的分割网络模型可为上述场景中生成的用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息的分割网络模型。由于图2所示的上述场景利用图像处理设备3实现了网络模型训练方法和/或图像分割方法,无需与服务器等相关装置进行数据传输操作,因此,上述场景能够保证网络模型训练方法或图像分割方法的实时性。
需要说明的是,上述场景中提及的图像采集设备2和图像采集模块301,包括但不限于为X线机、CT扫描仪、MRI设备等图像采集装置。对应地,上述场景中提及的图像采集设备2和图像采集模块301所采集的样本图像数据和待分割图像数据,包括但不限于为X线图像、CT图像、MRI图像等能够将人体或动物体内部组织器官结构、密度等信息以影像方式呈现的医学图像数据,比如CT图像集合。此外,应当理解,本公开实施例提供的网络模型训练方法和图像分割方法,不局限于上述提及的医学图像的适用场景,只要涉及到图像分割的应用场景,均属于本公开实施例的适用范围。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。如图3所示,本公开实施例提供的网络模型训练方法包括如下步骤。
步骤10,基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合。
步骤10中提及的轮廓单元集合,指的是基于待分割目标的轮廓所形成的多个轮廓单元的集合。比如,样本图像数据为三维图像数据,待分割目标为三维目标,那么,轮廓单元集合为基于三维目标的轮廓所形成的多个体素的集合。即,轮廓单元为体素。又比如,样本图像数据为二维图像数据,待分割目标为二维目标,那么,轮廓单元集合为基于二维目标的轮廓所形成的多个像素的集合。即,轮廓单元为像素。
步骤20,基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合。
示例性地,第一基准单元集合指的是对轮廓单元集合起到参照作用的多个第一基准单元的集合。
举例说明,如果第一基准单元集合的位置信息是确定的,那么,通过确定第一基准单元集合和轮廓单元集合之间的物理距离,便可预测出轮廓单元集合的位置信息。基于此,便给出了一种轮廓单元集合的位置信息的预测方法。
示例性地,第一图像单元集合指的是基于第一基准单元集合中的多个第一基准单元确定的多个第一图像单元的集合。其中,第一图像单元能够表征图像特征,比如,图像灰度特征。
在本公开一实施例中,多个第一基准单元和多个第一图像单元之间存在一一对应关系,但是,每一图像单元包括多个灰度特征。比如,样本图像数据为三维图像数据,每一图像单元均包括与对应的第一基准单元所处位置相关的两个体素信息,其中,一体素信息为对应的第一基准单元所处位置处的体素的体素值,另一体素信息为对应的第一基准单元所处位置处的体素与该体素相邻的其他体素进行插值计算后确定的体素值。
步骤30,确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
示例性地,步骤30中提及的基于训练数据训练初始网络模型,指的是基于训练数据调整初始网络模型的模型参数,进而生成能够用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息的分割网络模型。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,最后确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,并基于轮廓单元集合和样本图像数据确定训练数据,进而确定初始网络模型,并基于训练数据训练初始网络模型以生成分割网络模型的方式,实现了利用样本图像数据训练初始网络模型以生成分割网络模型的目的。由于第一基准单元集合和轮廓单元集合能够表征距离信息,第一图像单元集合能够表征图像特征信息,因此,本公开实施例借助轮廓单元集合、第一基准单元集合和第一图像单元集合实现了基于相似度与距离的映射关系训练生成分割网络模型的目的。与现有基于人工的分割方法相比,本公开实施例不仅能够充分避免人工误差,而且能够极大提高分割效率。与现有将样本图像数据整体作为标签数据的深度学习分割方法相比,本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。尤其当样本图像数据为三维图像数据时,本公开实施例能够通过三维图像数据中提取二维数据(比如距离数据、相似度数据等)的方式实现训练生成分割网络模型的目的,因此,能够充分利用二维图像的深度学习资源,从而实现利用低维度图像特征来实现分割高维度图像数据的目的。
图4所示为本公开一示例性实施例提供的初始网络模型的结构示意图。如图4所示,在本公开实施例提供的网络模型训练方法中,初始网络模型为U-Net网络模型。
具体而言,在本公开实施例提供的U-Net网络模型中,编码部分包括4个2×2最大池化(Max Pooling)层,每个最大池化层之前都有两个卷积模块,每个卷积模块中包括一个3×3卷积层,一个批量归一化(Batch Normalization)层以及一个激活函数ReLU。其中,第一个最大池化层前的卷积层的通道数为32,之后每经过一个最大池化层,卷积层通道数增加一倍。对应地,解码部分包括4个2×2转置卷积(Transposed Convolution)层,每个转置卷积层之后都有两个卷积模块,这两个卷积模块与编码部分的对应部分相同。第一个转置卷积层的通道数为256,之后每进行一次转置卷积,通道数减半。
此外,编码部分与解码部分由一个过渡层进行连接。其中,过渡层包含两个卷积模块,其中的卷积为3×3卷积,通道数为512。编码部分与解码部分之间使用跳跃连接。并且,U-Net网络模型的分类层是一个通道数为2的1×1卷积层。该网络的数据层与第一个卷积层之间有一个批量归一化(Batch Normalization)层。
在实际应用过程中,将上述实施例提及的第一图像单元集合输入至U-Net网络模型,即可得到第一图像单元集合对应的第一基准单元集合与轮廓单元集合之间的预测距离信息。
由于U-Net网络模型能够支持少量样本图像数据前提下的训练过程,因此,本公开实施例能够极大降低训练过程的计算量,尤其对于样本图像数量较少的医学图像数据,U-Net网络模型的优势更加明显。此外,由于U-Net网络模型能够实现像素点级别的图像分割操作,因此,本公开实施例能够提高分割精准度。
需要说明的是,本公开实施例不局限于上述提及的U-Net网络模型,其他基于深度学习的网络模型均可应用到本公开实施例提及的网络模型训练方法中。
图5所示为本公开一示例性实施例提供的基于轮廓单元集合和样本图像数据确定训练数据的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图5所示实施例,下面着重叙述图5所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图5所示,在本公开实施例提供的网络模型训练方法中,基于轮廓单元集合和样本图像数据确定训练数据步骤,包括如下步骤。
步骤21,基于样本图像数据确定轮廓单元集合对应的第一基准单元集合。
示例性地,第一基准单元集合中包括多个第一基准单元,轮廓单元集合包括多个轮廓单元,多个第一基准单元和多个轮廓单元之间为一一对应关系。
需要说明的是,上述提及的多个第一基准单元和多个轮廓单元之间局限于一一对应关系。比如,亦可以是多个第一基准单元的数量大于多个轮廓单元的数量。
步骤22,基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合。
第一图像单元集合能够表征第一基准单元集合对应的图像特征信息。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于样本图像数据确定轮廓单元集合对应的第一基准单元集合,并基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合,最后确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过基于样本图像数据确定轮廓单元集合对应的第一基准单元集合,并基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合的方式,实现了基于轮廓单元集合和样本图像数据确定训练数据的目的。由于第一图像单元集合是基于第一基准单元集合和样本图像数据确定的,因此,本公开实施例能够建立图像特征和距离特征之间的映射关系(即相似度与距离之间的映射关系),从而实现了基于图像特征和距离特征之间的映射关系训练初始网络模型的目的。
图6所示为本公开一示例性实施例提供的基于样本图像数据确定轮廓单元集合对应的第一基准单元集合的流程示意图。在本公开图5所示实施例的基础上延伸出本公开图6所示实施例,下面着重叙述图6所示实施例与图5所示实施例的不同之处,相同之处不再赘述。
如图6所示,在本公开实施例提供的网络模型训练方法中,样本图像数据为三维图像数据,基于样本图像数据确定轮廓单元集合对应的第一基准单元集合步骤,包括如下步骤。
步骤211,基于样本图像数据建立基准坐标系。
示例性地,样本图像数据为三维图像数据,基准坐标系为欧式坐标系。
步骤212,基于样本图像数据在基准坐标系的正投影信息确定轮廓单元集合对应的第一基准单元集合。
步骤212中提及的正投影信息,指的是将样本图像数据正投影到基准坐标系的基准面中所得到的正投影信息。其中,正投影指的是平行投射线垂直于投影面(即基准面)。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于样本图像数据建立基准坐标系,并基于样本图像数据在基准坐标系的正投影信息确定轮廓单元集合对应的第一基准单元集合,继而基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合,最后确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过基于样本图像数据建立基准坐标系,并基于样本图像数据在基准坐标系的正投影信息确定轮廓单元集合对应的第一基准单元集合的方式,实现了基于样本图像数据确定轮廓单元集合对应的第一基准单元集合的目的。由于利用正投影信息能够明确表征第一基准单元集合和轮廓单元集合之间的位置关系,因此,本公开实施例能够进一步降低第一基准单元集合和轮廓单元集合之间的距离信息的确定难度,降低训练过程中的计算量。
图7所示为本公开一示例性实施例提供的基准坐标系的示意图。在本公开实施例中,样本图像数据为三维图像数据,具体地,三维图像数据为包括心脏的CT图像集合,基准坐标系为包括X轴、Y轴和Z轴的欧式坐标系。CT图像集合中包括的多幅图像帧沿垂直于XY平面的方向层叠设置,那么,在平行于XY平面的每一图像帧中,同一图像帧中任意两点间的物理距离可以利用像素间距表示,不同图像帧中任意两点间的物理距离可以利用层厚表示。
如图7所示,将CT图像集合视为一立方体,即图像体。该图像体共包括六个平面,分别为A面、B面、C面、D面、E面和F面。其中,A面为图像体中平行于XZ平面、且Y轴的坐标为y的平面。B面为图像体中平行于YZ平面、且X轴的坐标为0的平面。C面为图像体中平行于XY平面、且Z轴的坐标为z的平面。D面为图像体中平行于YZ平面、且X轴的坐标为x的平面。E面为图像体中平行于XY平面、且Z轴的坐标为0的平面。F面为图像体中平行于XZ平面、且Y轴的坐标为0的平面。
需要说明的是,针对心脏对应的轮廓单元集合中的每一轮廓单元,均能够基于该轮廓单元到A面至F面的坐标系距离、以及像素间距和层厚等参数确定该轮廓单元到A面至F面的物理距离。
基于此,示例性地,基于上述提及的图像体和欧式坐标系之间的位置关系,可将A面至F面轮流确定为第一基准单元集合,对应地,基于与第一基准单元对应的轮廓单元确定轮廓单元集合。比如,将A面确定为第一基准单元集合,那么,心脏的轮廓单元正投影到A面时,能够在A面呈现的轮廓单元作为该第一基准单元集合对应的轮廓单元集合。
需要说明的是,本公开实施例提及的基准坐标系不局限于上述坐标系。举例说明,样本图像数据为二维图像,坐标系为二维平面直角坐标系,那么,可将待分割目标视为一平面体,进而基于该平面体在不同轴的正投影信息确定第一基准单元集合。
图8所示为本公开一示例性实施例提供的基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合的流程示意图。在本公开图5所示实施例的基础上延伸出本公开图8所示实施例,下面着重叙述图8所示实施例与图5所示实施例的不同之处,相同之处不再赘述。
如图8所示,在本公开实施例提供的网络模型训练方法中,第一基准单元集合包括多个第一基准单元,基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合步骤,包括如下步骤。
步骤221,确定多个第一基准单元与样本图像数据的位置关系。
举例说明,在图7所示基准坐标系中,第一基准单元集合为A面,用矩阵形式表示即为尺寸为n×m的矩阵,称为矩阵I,矩阵I中的每一点的元素值为该点的z值,即0。那么,利用每一点的元素值即可确定A面与样本图像数据的位置关系。应当理解,矩阵I中每一点的元素值均对应样本图像数据的一图像区域(比如体素)。
步骤222,基于位置关系确定多个第一基准单元各自对应的第一图像单元。
步骤223,将多个第一基准单元各自对应的图像单元信息组合在一起,以生成第一基准单元集合对应的第一图像单元集合。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于样本图像数据确定轮廓单元集合对应的第一基准单元集合,继而确定多个第一基准单元与样本图像数据的位置关系,基于位置关系确定多个第一基准单元各自对应的第一图像单元,并将多个第一基准单元各自对应的图像单元信息组合在一起,以生成第一基准单元集合对应的第一图像单元集合,最后确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过确定多个第一基准单元与样本图像数据的位置关系,并基于位置关系确定多个第一基准单元各自对应的第一图像单元,进而将多个第一基准单元各自对应的图像单元信息组合在一起,以生成第一基准单元集合对应的第一图像单元集合的方式,建立了第一基准单元集合和第一图像单元集合之间的映射关系,为后续基于图像特征和距离特征之间的映射关系训练初始网络模型提供了前提条件。
图9所示为本公开一示例性实施例提供的基于位置关系确定多个第一基准单元各自对应的第一图像单元的流程示意图。在本公开图8所示实施例的基础上延伸出本公开图9所示实施例,下面着重叙述图9所示实施例与图8所示实施例的不同之处,相同之处不再赘述。
如图9所示,在本公开实施例提供的网络模型训练方法中,样本图像数据为三维图像数据,基于位置关系确定多个第一基准单元各自对应的第一图像单元步骤,包括如下步骤。
步骤2221,基于位置关系确定多个第一基准单元各自对应的第一体素信息。
步骤2222,基于多个第一基准单元各自对应的第一体素信息,确定多个第一基准单元各自对应的连通体素信息。
示例性地,连通体素信息指的是基于与第一体素信息对应的第一体素确定的与该第一体素相邻或相近的体素(即连通体素)所确定的连通体素信息。
步骤2223,基于多个第一基准单元各自对应的第一体素信息和连通体素信息,确定多个第一基准单元各自对应的第一图像单元。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于样本图像数据确定轮廓单元集合对应的第一基准单元集合,继而确定多个第一基准单元与样本图像数据的位置关系,基于位置关系确定多个第一基准单元各自对应的第一体素信息,并基于多个第一基准单元各自对应的第一体素信息确定多个第一基准单元各自对应的连通体素信息,继而基于多个第一基准单元各自对应的第一体素信息和连通体素信息确定多个第一基准单元各自对应的第一图像单元,并将多个第一基准单元各自对应的图像单元信息组合在一起,以生成第一基准单元集合对应的第一图像单元集合,最后确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过基于位置关系确定多个第一基准单元各自对应的第一体素信息,并基于多个第一基准单元各自对应的第一体素信息确定多个第一基准单元各自对应的连通体素信息,继而基于多个第一基准单元各自对应的第一体素信息和连通体素信息确定多个第一基准单元各自对应的第一图像单元的方式,实现了基于位置关系确定多个第一基准单元各自对应的第一图像单元的目的。由于连通体素信息能够表征第一体素周围预设范围内的体素信息,因此,本公开实施例能够进一步提高所确定的第一图像单元所包含的图像特征信息量,进而为进一步提高分割网络模型的分割精准度提供了前提条件。
图10所示为本公开一示例性实施例提供的第一图像单元集合的布局示意图。如图10所示,在本公开实施例中,第一图像单元集合基于上述实施例中提及的A面对应的矩阵I确定,即第一图像单元集合用矩阵pre表示。
示例性地,矩阵pre中的每一层的尺寸均与矩阵I的尺寸相同。即,每一层的尺寸均为n×m,矩阵pre的尺寸为3×n×m。
具体而言,在本公开实施例中,第一层的每一点的元素值为矩阵I中对应位置处的体素值,第二层中的每一点的元素值为对矩阵I中对应位置处的体素进行坐标系6连通体素双线性插值计算后确定的值,第二层中的每一点的元素值为对矩阵I中对应位置处的体素进行坐标系26连通体素双线性插值计算后确定的值。
举例说明,三维图像数据为CT图像数据,假如矩阵I在(n,m)处的值为z,那么矩阵pre的第一层的(n,m)处的元素值为三维图像数据的(n,m,z)处的体素值,表示为CT(n,m,z),矩阵pre的第二层的(n,m)处的元素值为双线性插值[CT(n-1,m,z),CT(n+1,m,z),CT(n,m-1,z),CT(n,m+1,z),CT(n,m,z-1),CT(n,m,z+1)]的计算结果,矩阵pre的第三层的(n,m)处的元素值为双线性插值[CT(n-1,m,z),CT(n+1,m,z),CT(n,m-1,z),CT(n,m+1,z),CT(n,m,z-1),CT(n,m,z+1),CT(n-1,m,z)……]的计算结果。
图11所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图11所示实施例,下面着重叙述图11所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图11所示,在本公开实施例提供的网络模型训练方法中,基于训练数据训练初始网络模型,以生成分割网络模型步骤,包括如下步骤。
步骤31,基于轮廓单元集合和第一基准单元集合确定第一距离集合。
步骤31中提及的第一距离集合,指的是轮廓单元集合中的每一轮廓单元和该轮廓单元对应的第一基准单元之间均存在一对应的第一距离(即物理距离),多个轮廓单元各自对应的第一距离组合在一起,形成第一距离集合。第一距离集合的计算方式可参见上述实施例,本公开实施例不再赘述。
示例性地,当第一基准单元集合中包括的第一基准单元的数量大于轮廓单元集合中包括的轮廓单元的数量时,将不能与轮廓单元匹配的第一基准单元所在位置的元素值限定为0,以避免无效数据干扰计算过程的情况。
步骤32,将第一图像单元集合输入至初始网络模型,以确定第二距离集合。
由于第一图像单元集合是基于第一基准单元集合对应的图像特征确定的,所以,将第一图像单元集合输入至初始模型后,所确定的第二距离集合即为预测距离集合。
需要说明的是,此处提及的第二距离集合,指的是针对第一图像单元集合中的每一图像单元均存在一对应的第二距离(即预测距离),因此,多个第一图像单元各自对应的预测距离形成第二距离集合。
步骤33,基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,以生成分割网络模型。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,最后确定初始网络模型,基于轮廓单元集合和第一基准单元集合确定第一距离集合,继而将第一图像单元集合输入至初始网络模型以确定第二距离集合,并基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过基于轮廓单元集合和第一基准单元集合确定第一距离集合,并将第一图像单元集合输入至初始网络模型以确定第二距离集合,继而基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作以生成分割网络模型的方式,实现了基于训练数据训练初始网络模型以生成分割网络模型的目的。
图12所示为本公开一示例性实施例提供的基于轮廓单元集合和第一基准单元集合确定第一距离集合的流程示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例,下面着重叙述图12所示实施例与图11所示实施例的不同之处,相同之处不再赘述。
如图12所示,在本公开实施例提供的网络模型训练方法中,基于轮廓单元集合和第一基准单元集合确定第一距离集合步骤,包括如下步骤。
步骤311,针对多个轮廓单元中的每个轮廓单元,确定轮廓单元和轮廓单元对应的第一基准单元之间的物理距离。
步骤312,基于多个轮廓单元各自对应的物理距离确定第一距离集合。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,最后确定初始网络模型,并针对多个轮廓单元中的每个轮廓单元,确定轮廓单元和轮廓单元对应的第一基准单元之间的物理距离,然后基于多个轮廓单元各自对应的物理距离确定第一距离集合,继而将第一图像单元集合输入至初始网络模型以确定第二距离集合,并基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,通过针对多个轮廓单元中的每个轮廓单元,确定轮廓单元和轮廓单元对应的第一基准单元之间的物理距离,并基于多个轮廓单元各自对应的物理距离确定第一距离集合的方式,实现了基于轮廓单元集合和第一基准单元集合确定第一距离集合的目的。
图13所示为本公开另一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。在本公开图11所示实施例的基础上延伸出本公开图13所示实施例,下面着重叙述图13所示实施例与图11所示实施例的不同之处,相同之处不再赘述。
如图13所示,在本公开实施例提供的网络模型训练方法中,在将第一图像单元集合输入至初始网络模型,以确定第二距离集合步骤之后,还包括:
步骤35,基于第二距离集合更新第一基准单元集合,以生成第二基准单元集合。
步骤36,基于第二基准单元集合确定第二基准单元集合对应的第二图像单元集合。
步骤37,将第二图像单元集合输入至经历第一次调整操作后的初始网络模型,以确定第三距离集合。
步骤38,基于轮廓单元集合和第二图像单元集合确定第四距离集合。
并且,在本公开实施例中,基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,以生成分割网络模型步骤,包括如下步骤。
步骤331,基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作。
步骤332,基于第三距离集合和第四距离集合对经历第一次调整操作后的初始网络模型的模型参数进行第二次调整操作,以生成分割网络模型。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,最后确定初始网络模型,基于轮廓单元集合和第一基准单元集合确定第一距离集合,继而将第一图像单元集合输入至初始网络模型以确定第二距离集合,并基于第二距离集合更新第一基准单元集合以生成第二基准单元集合,然后基于第二基准单元集合确定第二基准单元集合对应的第二图像单元集合,并将第二图像单元集合输入至经历第一次调整操作后的初始网络模型以确定第三距离集合,基于轮廓单元集合和第二图像单元集合确定第四距离集合,最后基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,并基于第三距离集合和第四距离集合对经历第一次调整操作后的初始网络模型的模型参数进行第二次调整操作,以生成分割网络模型。
需要说明的是,当经历第二次调整操作后的初始网络模型的预测精度仍然不能达到预设要求时,可继续基于图13给出的迭代方式进行迭代计算,直至得到符合预设要求的初始网络模型(即分割网络模型)为止。
在本公开一实施例中,对初始网络模型确定的预测距离集合与物理距离集合进行回归损失计算。即,通过降低损失的方式优化初始网络模型。
比如,样本图像数据为上述实施例提及的三维图像数据,对应的物理距离集合为矩阵D,预测距离集合为矩阵O,那么,可基于下述计算式(1)计算矩阵D和矩阵O之间的二维回归损失L。
Figure BDA0002310146120000101
在实际应用过程中,当二维回归损失L不符合预设要求时,根据矩阵O更新上述实施例提及的矩阵I,得到新的矩阵I,并基于新的矩阵I和初始网络模型重新进行预测操作,直至得到的预测距离集合(即矩阵O)和物理距离集合(即矩阵D)之间的二维回归损失L满足预设要求即可(即多次迭代直至二维回归损失L满足预设要求即可)。
示例性地,新的矩阵I的确定过程为:将原矩阵I中的每个位置处的元素值更新为原矩阵I中的每个位置处的元素值与对应位置处的矩阵O中的元素值的和。
与图11所示实施例相比,本公开实施例实现了基于一组样本图像数据对初始网络模型的模型参数进行迭代计算的目的。与图11所示实施例相比,本公开实施例能够充分避免所确定的第二距离集合(即预测距离集合)与第一距离集合(即物理距离集合)之间的误差较大,进而导致分割网络模型的精准度较差的情况。即,本公开实施例能够进一步提高所确定的分割网络模型的预测精准度。
图14所示为本公开又一示例性实施例提供的基于训练数据训练初始网络模型,以生成分割网络模型的流程示意图。在本公开图12和图13所示实施例的基础上延伸出本公开图14所示实施例,下面着重叙述图14所示实施例与图12和图13所示实施例的不同之处,相同之处不再赘述。
如图14所示,在本公开实施例提供的网络模型训练方法中,基于多个轮廓单元各自对应的物理距离确定第一距离集合步骤,包括如下步骤。
步骤3121,基于多个轮廓单元各自对应的物理距离确定多个轮廓单元各自对应的预设步长距离。
需要说明的是,步骤3121中提及的预设步长距离,指的是基于物理距离的实际情况所确定的预设步长距离。
步骤3122,基于多个轮廓单元各自对应的预设步长距离确定第一距离集合。
并且,在本公开实施例中,在将第一图像单元集合输入至初始网络模型,以确定第二距离集合步骤之前,还包括:
步骤34,基于第一距离集合确定初始网络模型的预测步长信息。
应当理解,基于第一距离集合确定初始网络模型的预测步长信息后,基于初始网络模型确定的预测距离信息应当与预测步长距离对应。比如,预设步长距离为[-2g,2g]的闭区间范围,那么,经限定预测步长信息后,初始网络模型的预测距离的范围亦应当为[-2g,2g]的闭区间范围。其中,g表示像素间距或层厚。
在实际应用过程中,首先基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合,然后基于轮廓单元集合和样本图像数据确定训练数据,最后确定初始网络模型,并针对多个轮廓单元中的每个轮廓单元,确定轮廓单元和轮廓单元对应的第一基准单元之间的物理距离,继而基于多个轮廓单元各自对应的物理距离确定多个轮廓单元各自对应的预设步长距离,并基于多个轮廓单元各自对应的预设步长距离确定第一距离集合,基于第一距离集合确定初始网络模型的预测步长信息,继而将第一图像单元集合输入至初始网络模型以确定第二距离集合,并基于第二距离集合更新第一基准单元集合以生成第二基准单元集合,然后基于第二基准单元集合确定第二基准单元集合对应的第二图像单元集合,并将第二图像单元集合输入至经历第一次调整操作后的初始网络模型以确定第三距离集合,基于轮廓单元集合和第二图像单元集合确定第四距离集合,最后基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,并基于第三距离集合和第四距离集合对经历第一次调整操作后的初始网络模型的模型参数进行第二次调整操作,以生成分割网络模型。
本公开实施例提供的网络模型训练方法,基于预设步长距离的设定建立了图像特征与移动步长之间的映射关系。由于训练过程需经过多次迭代计算,因此,本公开实施例提及的分割网络模型预测的是当前所在区域的图像特征与移动步长之间的映射关系。由于图像特征(一般为像素特征或体素特征)对应的图像区域尺寸较小,在训练过程中极易被误匹配,因此,与图11或图13所示实施例相比,本公开实施例通过限定图像特征与移动步长之间的映射关系的方式,能够进一步提高分割网络模型的预测精准度。
举例说明,当确定轮廓单元集合和第一基准单元集合(即矩阵I)对应的物理距离集合为尺寸为n×m的物理距离矩阵D时,将矩阵D中大于2g的元素值修改为2g,小于2g的元素值修改为-2g。对于轮廓单元集合中不存在,但矩阵I中存在的位置处的元素值,记该元素值为0。相应地,限定初始网络模型的预测步长信息为[-2g,2g]的闭区间范围。
那么,在实际预测过程中,每次均根据基准单元集合对应当前位置处的图像特征信息(即图像单元集合)判断基准单元集合要前进或后退的步长,当当前基准单元集合与轮廓单元集合之间的距离误差符合预设条件时,则停止预测。至此,基于样本图像数据对应的基准单元集合和步长之间的多次映射关系,使初始网络模型学习到了基准单元集合和步长之间的映射关系。
图15所示为本公开一示例性实施例提供的图像分割方法的流程示意图。如图15所示,本公开实施例提供的图像分割方法包括如下步骤。
步骤40,确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合。
步骤50,基于第三图像单元集合和分割网络模型确定预测距离集合。
需要说明的是,步骤50中提及的分割网络模型可基于上述任一实施例提及的网络模型训练方法确定。
步骤60,基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
在实际应用过程中,首先确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,并基于第三图像单元集合和分割网络模型确定预测距离集合,然后基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
本公开实施例提供的图像分割方法,通过确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,并基于第三图像单元集合和分割网络模型确定预测距离集合,继而基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作的方式,实现了对待分割图像数据进行图像分割操作的目的。由于本公开实施例提供的图像分割方法是基于分割网络模型实现的,因此,本公开实施例不仅能够借助相似度与距离的映射关系降低硬件的计算量,而且能够充分提高分割精准度。此外,本公开实施例能够实现利用低维度图像特征来实现分割高维度图像数据的目的。
图16所示为本公开一示例性实施例提供的基于第三图像单元集合和分割网络模型确定预测距离集合的流程示意图。在本公开图15所示实施例的基础上延伸出本公开图16所示实施例,下面着重叙述图16所示实施例与图15所示实施例的不同之处,相同之处不再赘述。
如图16所示,在本公开实施例提供的网络模型训练方法中,基于第三图像单元集合和分割网络模型确定预测距离集合步骤,包括如下步骤。
步骤51,将第三图像单元集合输入至分割网络模型,以确定第一预测距离集合。
步骤52,判断第一预测距离集合是否符合预设条件。
在步骤52中,当第一预测距离集合符合预设条件时,则执行步骤53,当第一预测距离集合不符合预设条件时,则执行步骤54。
步骤53,基于第一预测距离集合确定预测距离集合。
步骤54,基于第一预测距离集合更新第三基准单元集合,以生成第四基准单元集合。
步骤55,基于第四基准单元集合确定第四图像单元集合。
步骤56,将第四图像单元集合输入至分割网络模型,以确定第二预测距离集合。
步骤57,判断第二预测距离集合是否符合预设条件。
在步骤57中,当第二预测距离集合符合预设条件时,则执行步骤58,当第二预测距离集合不符合预设条件时,则执行步骤59。
步骤58,基于第一预测距离集合和第二预测距离集合确定预测距离集合。
示例性地,第一预测距离集合中包括多个第一预测距离,第二预测距离集合中包括多个第二预测距离,并且多个第一预测距离和多个第二预测距离之间存在一一对应关系。那么,基于第一预测距离集合和第二预测距离集合确定预测距离集合步骤可执行为:将多个第一预测距离分别与各自对应的第二预测距离进行累加计算,以得到预测距离集合。
步骤59,基于第二预测距离集合更新第四基准单元集合,以生成第五基准单元集合。
需要说明的是,当基于第五基准单元集合确定的第三预测距离集合仍然不能符合预设条件时,可继续进行迭代计算,直至得到符合预设条件的预测距离集合为止。
在实际应用过程中,首先确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合,将第三图像单元集合输入至分割网络模型以确定第一预测距离集合,并判断第一预测距离集合是否符合预设条件,当第一预测距离集合符合预设条件时,基于第一预测距离集合确定预测距离集合,当第一预测距离集合不符合预设条件时,基于第一预测距离集合更新第三基准单元集合以生成第四基准单元集合,继而基于第四基准单元集合确定第四图像单元集合,并将第四图像单元集合输入至分割网络模型以确定第二预测距离集合,判断第二预测距离集合是否符合预设条件,当第二预测距离集合符合预设条件时,基于第一预测距离集合和第二预测距离集合确定预测距离集合,当第二预测距离集合不符合预设条件时,基于第二预测距离集合更新第四基准单元集合以生成第五基准单元集合,当基于第五基准单元集合确定的第三预测距离集合仍然不能符合预设条件时,可继续进行迭代计算,直至得到符合预设条件的预测距离集合为止,最后基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
应当理解,本公开实施例提供的图像分割方法中的分割网络模型,可基于图14所示实施例提供的网络模型训练方法确定。
本公开实施例提供的图像分割方法,基于图像特征与移动步长之间的映射关系实现了确定预测距离集合的目的。因此,本公开实施例能够进一步提高图像分割操作的分割精准度。
图17所示为本公开另一示例性实施例提供的基于第三图像单元集合和分割网络模型确定预测距离集合的流程示意图。在本公开图16所示实施例的基础上延伸出本公开图17所示实施例,下面着重叙述图17所示实施例与图16所示实施例的不同之处,相同之处不再赘述。
如图17所示,在本公开实施例提供的网络模型训练方法中,判断第一预测距离集合是否符合预设条件步骤,包括如下步骤。
步骤521,判断第一预测距离集合中的多个第一预测距离的平均绝对值是否小于预设阈值。
并且,在本公开实施例中,判断第二预测距离集合是否符合预设条件步骤,包括如下步骤。
步骤571,判断第二预测距离集合中的多个第二预测距离的平均绝对值是否小于预设阈值。
需要说明的是,步骤521和步骤571中提及的预设阈值,可基于实际情况确定。比如,预设阈值为1g。应当理解,本公开实施例给出了判断是否符合预设条件的具体实现方式,
图18所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。如图18所示,本公开实施例提供的网络模型训练装置包括:
轮廓单元集合确定模块100,用于基于包括待分割目标的样本图像数据确定待分割目标对应的轮廓单元集合;
训练数据确定模块200,用于基于轮廓单元集合和样本图像数据确定训练数据,其中,训练数据包括轮廓单元集合对应的第一基准单元集合和第一图像单元集合;
分割网络模型生成模块300,用于确定初始网络模型,并基于训练数据训练初始网络模型,以生成分割网络模型,其中,分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
图19所示为本公开一示例性实施例提供的训练数据确定模块的结构示意图。在本公开图18所示实施例的基础上延伸出本公开图19所示实施例,下面着重叙述图19所示实施例与图18所示实施例的不同之处,相同之处不再赘述。
如图19所示,在本公开实施例提供的网络模型训练装置中,训练数据确定模块200包括:
第一基准单元集合确定单元210,用于基于样本图像数据确定轮廓单元集合对应的第一基准单元集合;
第一图像单元集合确定单元220,用于基于第一基准单元集合和样本图像数据确定第一基准单元集合对应的第一图像单元集合。
图20所示为本公开一示例性实施例提供的第一基准单元集合确定单元的结构示意图。在本公开图19所示实施例的基础上延伸出本公开图20所示实施例,下面着重叙述图20所示实施例与图19所示实施例的不同之处,相同之处不再赘述。
如图20所示,在本公开实施例提供的网络模型训练装置中,第一基准单元集合确定单元210包括:
基准坐标系确定子单元2110,用于基于样本图像数据建立基准坐标系;
第一基准单元集合确定子单元2120,用于基于样本图像数据在基准坐标系的正投影信息确定轮廓单元集合对应的第一基准单元集合。
图21所示为本公开一示例性实施例提供的第一图像单元集合确定单元的结构示意图。在本公开图19所示实施例的基础上延伸出本公开图21所示实施例,下面着重叙述图21所示实施例与图19所示实施例的不同之处,相同之处不再赘述。
如图21所示,在本公开实施例提供的网络模型训练装置中,第一图像单元集合确定单元220包括:
位置关系确定子单元2210,用于确定多个第一基准单元与样本图像数据的位置关系;
第一图像单元确定子单元2220,用于基于位置关系确定多个第一基准单元各自对应的第一图像单元;
第一图像单元集合确定子单元2230,用于将多个第一基准单元各自对应的图像单元信息组合在一起,以生成第一基准单元集合对应的第一图像单元集合。
图22所示为本公开一示例性实施例提供的第一图像单元确定子单元的结构示意图。在本公开图21所示实施例的基础上延伸出本公开图22所示实施例,下面着重叙述图22所示实施例与图21所示实施例的不同之处,相同之处不再赘述。
如图22所示,在本公开实施例提供的网络模型训练装置中,第一图像单元确定子单元2220包括:
第一体素信息确定子单元22210,用于基于位置关系确定多个第一基准单元各自对应的第一体素信息;
连通体素信息确定子单元22220,用于基于多个第一基准单元各自对应的第一体素信息,确定多个第一基准单元各自对应的连通体素信息;
第一确定子单元22230,用于基于多个第一基准单元各自对应的第一体素信息和连通体素信息,确定多个第一基准单元各自对应的第一图像单元。
图23所示为本公开一示例性实施例提供的分割网络模型生成模块的结构示意图。在本公开图18所示实施例的基础上延伸出本公开图23所示实施例,下面着重叙述图23所示实施例与图18所示实施例的不同之处,相同之处不再赘述。
如图23所示,在本公开实施例提供的网络模型训练装置中,分割网络模型生成模块300包括:
第一距离集合确定单元310,用于基于轮廓单元集合和第一基准单元集合确定第一距离集合;
第二距离集合确定单元320,用于将第一图像单元集合输入至初始网络模型,以确定第二距离集合;
分割网络模型确定单元330,用于基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作,以生成分割网络模型。
图24所示为本公开一示例性实施例提供的第一距离集合确定单元的结构示意图。在本公开图23所示实施例的基础上延伸出本公开图24所示实施例,下面着重叙述图24所示实施例与图23所示实施例的不同之处,相同之处不再赘述。
如图24所示,在本公开实施例提供的网络模型训练装置中,第一距离集合确定单元310包括:
物理距离确定子单元3110,用于针对多个轮廓单元中的每个轮廓单元,确定轮廓单元和轮廓单元对应的第一基准单元之间的物理距离;
第一距离集合确定子单元3120,用于基于多个轮廓单元各自对应的物理距离确定第一距离集合。
图25所示为本公开另一示例性实施例提供的分割网络模型生成模块的结构示意图。在本公开图23所示实施例的基础上延伸出本公开图25所示实施例,下面着重叙述图25所示实施例与图23所示实施例的不同之处,相同之处不再赘述。
如图25所示,在本公开实施例提供的网络模型训练装置中,分割网络模型确定单元330包括:
第一次调整子单元3310,用于基于第一距离集合和第二距离集合对初始网络模型的模型参数进行第一次调整操作;
分割网络模型确定子单元3320,用于基于第三距离集合和第四距离集合对经历第一次调整操作后的初始网络模型的模型参数进行第二次调整操作,以生成分割网络模型。
并且,在本公开实施例提供的网络模型训练装置中,分割网络模型生成模块300还包括:
第二基准单元集合确定单元350,用于基于第二距离集合更新第一基准单元集合,以生成第二基准单元集合;
第二图像单元集合确定单元360,用于基于第二基准单元集合确定第二基准单元集合对应的第二图像单元集合;
第三距离集合确定单元370,用于将第二图像单元集合输入至经历第一次调整操作后的初始网络模型,以确定第三距离集合;
第四距离集合确定单元380,用于基于轮廓单元集合和第二图像单元集合确定第四距离集合。
图26所示为本公开另一示例性实施例提供的分割网络模型生成模块的结构示意图。在本公开图24和图25所示实施例的基础上延伸出本公开图26所示实施例,下面着重叙述图26所示实施例与图24和图25所示实施例的不同之处,相同之处不再赘述。
如图26所示,在本公开实施例提供的网络模型训练装置中,第一距离集合确定子单元3120包括:
预设步长距离确定子单元31210,用于基于多个轮廓单元各自对应的物理距离确定多个轮廓单元各自对应的预设步长距离;
第二确定子单元31220,用于基于多个轮廓单元各自对应的预设步长距离确定第一距离集合。
并且,在本公开实施例提供的网络模型训练装置中,分割网络模型生成模块300还包括:
预测步长信息确定单元340,用于基于第一距离集合确定初始网络模型的预测步长信息。
图27所示为本公开一示例性实施例提供的图像分割装置的结构示意图。如图27所示,本公开实施例提供的图像分割装置包括:
集合确定模块400,用于确定待分割图像数据对应的第三基准单元集合,并基于第三基准单元集合确定第三图像单元集合;
预测距离集合确定模块500,用于基于第三图像单元集合和分割网络模型确定预测距离集合;
图像分割模块600,用于基于第三基准单元集合和预测距离集合对待分割图像数据进行图像分割操作。
图28所示为本公开一示例性实施例提供的预测距离集合确定模块的结构示意图。在本公开图27所示实施例的基础上延伸出本公开图28所示实施例,下面着重叙述图28所示实施例与图27所示实施例的不同之处,相同之处不再赘述。
如图28所示,在本公开实施例提供的图像分割装置中,预测距离集合确定模块500包括:
第一预测距离集合确定单元510,用于将第三图像单元集合输入至分割网络模型,以确定第一预测距离集合;
第一判断单元520,用于判断第一预测距离集合是否符合预设条件;
第一确定单元530,用于基于第一预测距离集合确定预测距离集合;
第四基准单元集合生成单元540,用于基于第一预测距离集合更新第三基准单元集合,以生成第四基准单元集合;
第四图像单元集合确定单元550,用于基于第四基准单元集合确定第四图像单元集合;
第二预测距离集合确定单元560,用于将第四图像单元集合输入至分割网络模型,以确定第二预测距离集合;
第二判断单元570,用于判断第二预测距离集合是否符合预设条件;
第二确定单元580,用于基于第一预测距离集合和第二预测距离集合确定预测距离集合;
第五基准单元集合生成单元590,用于基于第二预测距离集合更新第四基准单元集合,以生成第五基准单元集合。
图29所示为本公开另一示例性实施例提供的预测距离集合确定模块的结构示意图。在本公开图28所示实施例的基础上延伸出本公开图29所示实施例,下面着重叙述图29所示实施例与图28所示实施例的不同之处,相同之处不再赘述。
如图29所示,在本公开实施例提供的图像分割装置中,第一判断单元520包括:
第一判断子单元5210,用于判断第一预测距离集合中的多个第一预测距离的平均绝对值是否小于预设阈值。
并且,在本公开实施例提供的图像分割装置中,第二判断单元570包括:
第二判断子单元5710,用于判断第二预测距离集合中的多个第二预测距离的平均绝对值是否小于预设阈值。
应当理解,图18至图26提供的网络模型训练装置中的轮廓单元集合确定模块100、训练数据确定模块200和分割网络模型生成模块300,以及训练数据确定模块200中包括的第一基准单元集合确定单元210和第一图像单元集合确定单元220,以及第一基准单元集合确定单元210中包括的基准坐标系确定子单元2110和第一基准单元集合确定子单元2120,以及第一图像单元集合确定单元220中包括的位置关系确定子单元2210、第一图像单元确定子单元2220和第一图像单元集合确定子单元2230,以及第一图像单元确定子单元2220中包括的第一体素信息确定子单元22210、连通体素信息确定子单元22220和第一确定子单元22230,以及分割网络模型生成模块300中包括的第一距离集合确定单元310、第二距离集合确定单元320、分割网络模型确定单元330、预测步长信息确定单元340、第二基准单元集合确定单元350、第二图像单元集合确定单元360、第三距离集合确定单元370和第四距离集合确定单元380,以及第一距离集合确定单元310中包括的物理距离确定子单元3110和第一距离集合确定子单元3120,以及第一距离集合确定子单元3120中包括的预设步长距离确定子单元31210和第二确定子单元31220,以及分割网络模型确定单元330中包括的第一次调整子单元3310和分割网络模型确定子单元3320的操作和功能可以参考上述图3至图14提供的网络模型训练方法,为了避免重复,在此不再赘述。
此外,应当理解,图27至图29提供的图像分割装置中的集合确定模块400、预测距离集合确定模块500和图像分割模块600,以及预测距离集合确定模块500中包括的第一预测距离集合确定单元510、第一判断单元520、第一确定单元530、第四基准单元集合生成单元540、第四图像单元集合确定单元550、第二预测距离集合确定单元560、第二判断单元570、第二确定单元580和第五基准单元集合生成单元590,以及第一判断单元520中包括的第一判断子单元5210,以及第二判断单元570中包括的第二判断子单元5710的操作和功能可以参考上述图15至图17提供的图像分割方法,为了避免重复,在此不再赘述。
下面,参考图30来描述根据本公开实施例的电子设备。图30所示为本公开一示例性实施例提供的电子设备的结构示意图。
如图30所示,电子设备70包括一个或多个处理器701和存储器702。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备70中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器701可以运行所述程序指令,以实现上文所述的本公开的各个实施例的网络模型训练方法、图像分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如样本图像数据等各种内容。
在一个示例中,电子设备70还可以包括:输入装置703和输出装置704,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置703可以包括例如键盘、鼠标等等。
该输出装置704可以向外部输出各种信息,包括确定出的图像分割信息等。该输出装置704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图30中仅示出了该电子设备70中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备70还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本公开各种实施例的网络模型训练方法、图像分割方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本公开各种实施例的网络模型训练方法、图像分割方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种网络模型训练方法,其特征在于,包括:
基于包括待分割目标的样本图像数据确定所述待分割目标对应的轮廓单元集合;
基于所述轮廓单元集合和所述样本图像数据确定训练数据,其中,所述训练数据包括所述轮廓单元集合对应的第一基准单元集合和第一图像单元集合,所述第一基准单元集合指的是对所述轮廓单元集合起到参照作用的多个第一基准单元的集合,所述第一图像单元集合用于表征图像特征,所述第一图像单元集合指的是基于所述多个第一基准单元确定的多个第一图像单元的集合,所述多个第一基准单元和所述多个第一图像单元之间存在一一对应关系;
确定初始网络模型,并基于所述训练数据训练所述初始网络模型,以生成分割网络模型,其中,所述分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述轮廓单元集合和所述样本图像数据确定训练数据,包括:
基于所述样本图像数据确定所述轮廓单元集合对应的所述第一基准单元集合;
基于所述第一基准单元集合和所述样本图像数据确定所述第一基准单元集合对应的第一图像单元集合。
3.根据权利要求2所述的方法,其特征在于,所述基于所述样本图像数据确定所述轮廓单元集合对应的所述第一基准单元集合,包括:
基于所述样本图像数据建立基准坐标系;
基于所述样本图像数据在所述基准坐标系的正投影信息确定所述轮廓单元集合对应的所述第一基准单元集合。
4.根据权利要求2或3所述的方法,其特征在于,所述第一基准单元集合包括多个第一基准单元,所述基于所述第一基准单元集合和所述样本图像数据确定所述第一基准单元集合对应的第一图像单元集合,包括:
确定所述多个第一基准单元与所述样本图像数据的位置关系;
基于所述位置关系确定所述多个第一基准单元各自对应的第一图像单元;
将所述多个第一基准单元各自对应的图像单元信息组合在一起,以生成所述第一基准单元集合对应的第一图像单元集合。
5.根据权利要求4所述的方法,其特征在于,所述样本图像数据为三维图像数据,所述基于所述位置关系确定所述多个第一基准单元各自对应的第一图像单元,包括:
基于所述位置关系确定所述多个第一基准单元各自对应的第一体素信息;
基于所述多个第一基准单元各自对应的第一体素信息,确定所述多个第一基准单元各自对应的连通体素信息;
基于所述多个第一基准单元各自对应的第一体素信息和连通体素信息,确定所述多个第一基准单元各自对应的第一图像单元。
6.根据权利要求1所述的方法,其特征在于,所述基于所述训练数据训练所述初始网络模型,以生成分割网络模型,包括:
基于所述轮廓单元集合和所述第一基准单元集合确定第一距离集合;
将所述第一图像单元集合输入至所述初始网络模型,以确定第二距离集合;
基于所述第一距离集合和所述第二距离集合对所述初始网络模型的模型参数进行第一次调整操作,以生成所述分割网络模型。
7.根据权利要求6所述的方法,其特征在于,所述轮廓单元集合包括多个轮廓单元,所述第一基准单元集合包括多个第一基准单元,所述基于所述轮廓单元集合和所述第一基准单元集合确定第一距离集合,包括:
针对所述多个轮廓单元中的每个轮廓单元,确定所述轮廓单元和所述轮廓单元对应的第一基准单元之间的物理距离;
基于所述多个轮廓单元各自对应的物理距离确定所述第一距离集合。
8.根据权利要求7所述的方法,其特征在于,所述基于所述多个轮廓单元各自对应的物理距离确定所述第一距离集合,包括:
基于所述多个轮廓单元各自对应的物理距离确定所述多个轮廓单元各自对应的预设步长距离;
基于所述多个轮廓单元各自对应的预设步长距离确定所述第一距离集合;
其中,在所述将所述第一图像单元集合输入至所述初始网络模型,以确定第二距离集合之前,还包括:
基于所述第一距离集合确定所述初始网络模型的预测步长信息。
9.根据权利要求6至8任一所述的方法,其特征在于,在所述将所述第一图像单元集合输入至所述初始网络模型,以确定第二距离集合之后,还包括:
基于所述第二距离集合更新所述第一基准单元集合,以生成第二基准单元集合;
基于所述第二基准单元集合确定所述第二基准单元集合对应的第二图像单元集合;
将所述第二图像单元集合输入至经历所述第一次调整操作后的初始网络模型,以确定第三距离集合;
基于所述轮廓单元集合和所述第二图像单元集合确定第四距离集合;
其中,所述基于所述第一距离集合和所述第二距离集合对所述初始网络模型的模型参数进行第一次调整操作,以生成所述分割网络模型,包括:
基于所述第一距离集合和所述第二距离集合对所述初始网络模型的模型参数进行第一次调整操作;
基于所述第三距离集合和所述第四距离集合对经历所述第一次调整操作后的初始网络模型的模型参数进行第二次调整操作,以生成所述分割网络模型。
10.一种图像分割方法,其特征在于,包括:
确定待分割图像数据对应的第三基准单元集合,并基于所述第三基准单元集合确定第三图像单元集合;
基于所述第三图像单元集合和分割网络模型确定预测距离集合,其中,所述分割网络模型基于上述权利要求1至9任一所述的网络模型训练方法获得;
基于所述第三基准单元集合和所述预测距离集合对所述待分割图像数据进行图像分割操作。
11.根据权利要求10所述的方法,其特征在于,所述基于所述第三图像单元集合和分割网络模型确定预测距离集合,包括:
将所述第三图像单元集合输入至所述分割网络模型,以确定第一预测距离集合;
当所述第一预测距离集合符合预设条件时,基于所述第一预测距离集合确定所述预测距离集合。
12.根据权利要求11所述的方法,其特征在于,在所述将所述第三图像单元集合输入至所述分割网络模型,以确定第一预测距离集合之后,还包括:
当所述第一预测距离集合不符合预设条件时,基于所述第一预测距离集合更新所述第三基准单元集合,以生成第四基准单元集合;
基于所述第四基准单元集合确定第四图像单元集合;
将所述第四图像单元集合输入至所述分割网络模型,以确定第二预测距离集合;
当所述第二预测距离集合符合所述预设条件时,基于所述第一预测距离集合和所述第二预测距离集合确定所述预测距离集合。
13.一种网络模型训练装置,其特征在于,包括:
轮廓单元集合确定模块,用于基于包括待分割目标的样本图像数据确定所述待分割目标对应的轮廓单元集合;
训练数据确定模块,用于基于所述轮廓单元集合和所述样本图像数据确定训练数据,其中,所述训练数据包括所述轮廓单元集合对应的第一基准单元集合和第一图像单元集合,所述第一基准单元集合指的是对所述轮廓单元集合起到参照作用的多个第一基准单元的集合,所述第一图像单元集合用于表征图像特征,所述第一图像单元集合指的是基于所述多个第一基准单元确定的多个第一图像单元的集合,所述多个第一基准单元和所述多个第一图像单元之间存在一一对应关系;
分割网络模型生成模块,用于确定初始网络模型,并基于所述训练数据训练所述初始网络模型,以生成分割网络模型,其中,所述分割网络模型用于确定待分割图像数据对应的基准单元集合和轮廓单元集合之间的距离信息。
14.一种图像分割装置,其特征在于,包括:
集合确定模块,用于确定待分割图像数据对应的第三基准单元集合,并基于所述第三基准单元集合确定第三图像单元集合;
预测距离集合确定模块,用于基于所述第三图像单元集合和分割网络模型确定预测距离集合,其中,所述分割网络模型基于上述权利要求1至9任一所述的网络模型训练方法获得;
图像分割模块,用于基于所述第三基准单元集合和所述预测距离集合对所述待分割图像数据进行图像分割操作。
15.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至9任一所述的网络模型训练方法,或者执行上述权利要求10至12任一所述的图像分割方法。
16.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至9任一所述的网络模型训练方法,或者执行上述权利要求10至12任一所述的图像分割方法。
CN201911255524.4A 2019-12-10 2019-12-10 网络模型训练方法及装置、图像分割方法及装置 Active CN111062944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911255524.4A CN111062944B (zh) 2019-12-10 2019-12-10 网络模型训练方法及装置、图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911255524.4A CN111062944B (zh) 2019-12-10 2019-12-10 网络模型训练方法及装置、图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN111062944A CN111062944A (zh) 2020-04-24
CN111062944B true CN111062944B (zh) 2020-08-14

Family

ID=70300166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911255524.4A Active CN111062944B (zh) 2019-12-10 2019-12-10 网络模型训练方法及装置、图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN111062944B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927319B (zh) * 2021-02-25 2023-10-03 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN116596923B (zh) * 2023-07-17 2023-09-12 天津市蓟州区民力新能源科技有限公司 基于边缘检测的园林植物识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354846A (zh) * 2015-11-05 2016-02-24 沈阳东软医疗系统有限公司 一种分割三维医疗图像的方法和装置
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN108898608A (zh) * 2018-05-28 2018-11-27 广东技术师范学院 一种前列腺超声图像分割方法及设备
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110517267B (zh) * 2019-08-02 2022-05-10 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质

Also Published As

Publication number Publication date
CN111062944A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
US20210374474A1 (en) Method, apparatus, and electronic device for training neural network model
US11670071B2 (en) Fine-grained image recognition
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
JP7373554B2 (ja) クロスドメイン画像変換
CN111062944B (zh) 网络模型训练方法及装置、图像分割方法及装置
CN111860398A (zh) 遥感图像目标检测方法、系统及终端设备
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN114067057A (zh) 一种基于注意力机制的人体重建方法、模型、装置
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
US20220375211A1 (en) Multi-layer perceptron-based computer vision neural networks
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
WO2023036157A1 (en) Self-supervised spatiotemporal representation learning by exploring video continuity
CN114503162A (zh) 具有不确定性的特征点位置估计的图像处理系统和方法
CN113326851A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
US20210365718A1 (en) Object functionality predication methods, computer device, and storage medium
CN109034176B (zh) 辨识系统以及辨识方法
CN116071601A (zh) 训练模型的方法、装置、设备和介质
CN111860054A (zh) 一种卷积网络训练方法和装置
CN115880317A (zh) 一种基于多分支特征融合精炼的医学图像分割方法
KR20230167086A (ko) 공간과 시간에 따른 어텐션을 이용한 비디오 시퀀스에서 객체 표현에 대한 비지도 학습
CN112789627A (zh) 一种神经网络处理器、数据处理方法及相关设备
CN114387197A (zh) 一种双目图像处理方法、装置、设备和存储介质
CN113469172B (zh) 目标定位、模型训练、界面交互方法及设备
CN117058380B (zh) 基于自注意力的多尺度轻量化三维点云分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee before: Beijing Tuoxiang Technology Co.,Ltd.