CN114782468A - 图像分割模型训练方法、图像处理方法及相关装置 - Google Patents
图像分割模型训练方法、图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN114782468A CN114782468A CN202210468575.0A CN202210468575A CN114782468A CN 114782468 A CN114782468 A CN 114782468A CN 202210468575 A CN202210468575 A CN 202210468575A CN 114782468 A CN114782468 A CN 114782468A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- segmentation model
- loss value
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了图像分割模型训练方法、图像处理方法及相关装置,该训练方法包括:获取训练图像和对应的训练标签;其中,训练图像为肛提肌切面图像,训练标签包括第一标签和第二标签,第一标签用于表征训练图像中肛提肌裂孔的范围,第二标签用于表征训练图像中尿道区域的范围;利用初始分割模型对训练图像进行分割,得到第一训练结果和第二训练结果;基于训练标签、第一训练结果和第二训练结果生成损失值,并基于损失值对初始分割模型进行参数调节;若检测到满足训练完成条件,则将参数调节后的初始分割模型确定为图像分割模型;该方法将肛提肌裂孔区域和尿道区域关联起来进行训练,使得图像分割模型更加准确地识别出肛提肌裂孔位置和尿道区域位置。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及图像分割模型训练方法、图像处理方法及相关装置。
背景技术
超声盆底以其无创性、可重复性、无射线照射和费用低廉等优点被广泛应用于盆底功能障碍性疾病的诊断和治疗后的疗效评估。三维盆底可用于肛提肌裂孔状态的评估,协助诊断盆底功能障碍性疾病。通常情况下,盆底测量基于肛提肌切面图像识别肛提肌并进行测量,然而,对肛提肌的识别准确率较低,进而使得测量结果不准确。
发明内容
有鉴于此,本申请的目的在于提供图像分割模型训练方法、图像处理方法及相关装置,能够更加准确地识别出肛提肌裂孔位置。
为解决上述技术问题,本申请提供了一种图像分割模型训练方法,包括:
获取训练图像和对应的训练标签;其中,所述训练图像为肛提肌切面图像,所述训练标签包括第一标签和第二标签,所述第一标签用于表征所述训练图像中肛提肌裂孔的范围,所述第二标签用于表征所述训练图像中尿道区域的范围;
利用初始分割模型对所述训练图像进行分割,得到第一训练结果和第二训练结果;
基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,并基于所述损失值对所述初始分割模型进行参数调节;
若检测到满足训练完成条件,则将参数调节后的所述初始分割模型确定为图像分割模型。
可选地,所述基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,包括:
利用所述第一标签和所述第一训练结果生成第一损失值;
利用所述第二标签和所述第二训练结果生成第二损失值。
可选地,所述初始分割模型包括一个编码器和一个解码器;
所述基于所述损失值对所述初始分割模型进行参数调节,包括:
分别利用所述第一损失值和所述第二损失值对所述编码器和所述解码器进行参数调节。
可选地,所述初始分割模型包括一个编码器和两个解码器;
其中第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果,所述编码器的输出为所述两个解码器的输入。
可选地,所述基于所述损失值对所述初始分割模型进行参数调节,包括:
分别利用所述第一损失值和所述第二损失值对所述编码器进行参数调节;
利用所述第一损失值对所述第一解码器进行参数调节;
利用所述第二损失值对所述第二解码器进行参数调节。
可选地,所述初始分割模型包括两个编码器和两个解码器;
其中,第一编码器的输入为所述训练图像,所述第一编码器的输出为第一解码器的输入,第二编码器的输入为所述训练图像和所述第一解码器的输出,第二编码器的输出为第二解码器的输入;
所述第一解码器用于输出所述第一训练结果,所述第二解码器用于输出所述第二训练结果。
可选地,所述基于所述损失值对所述初始分割模型进行参数调节,包括:
利用所述第一损失值对所述第一编码器和所述第一解码器进行参数调节;
利用所述第二损失值对所述第二编码器和所述第二解码器进行参数调节。
可选地,所述获取训练图像,包括:
获取初始训练图像;
对所述初始训练图像进行数据增广处理或图像转换处理,得到所述训练图像。
本申请还提供了一种图像处理方法,包括:
获取待处理图像;其中,所述待处理图像为肛提肌切面图像;
将所述待处理图像输入图像分割模型,得到肛提肌裂孔分割图像;所述图像分割模型基于上述的图像分割模型训练方法得到。
可选地,还包括:
利用目标图像得到所述待处理图像中的关键点位置;其中,所述目标图像包括所述待处理图像和所述肛提肌裂孔分割图像,或包括所述待处理图像、所述肛提肌裂孔分割图像和所述图像分割模型输出的尿道区域分割图像;
根据所述关键点位置生成预设测量项对应的测量值。
本申请还提供了一种图像分割模型训练装置,包括:
训练获取模块,用于获取训练图像和对应的训练标签;其中,所述训练图像为肛提肌切面图像,所述训练标签包括第一标签和第二标签,所述第一标签用于表征所述训练图像中肛提肌裂孔的范围,所述第二标签用于表征所述训练图像中尿道区域的范围;
训练分割模块,用于利用初始分割模型对所述训练图像进行分割,得到第一训练结果和第二训练结果;
参数调节模块,用于基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,并基于所述损失值对所述初始分割模型进行参数调节;
模型确定模块,用于若检测到满足训练完成条件,则将参数调节后的所述初始分割模型确定为图像分割模型。
本申请还提供了一种图像处理装置,包括:
待测获取模块,用于获取待处理图像;其中,所述待处理图像为肛提肌切面图像;
图像分割模块,用于将所述待处理图像输入图像分割模型,得到肛提肌裂孔分割图像;所述图像分割模型基于上述的图像分割模型训练方法得到。
本申请还提供了一种电子设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的图像分割模型训练方法,和/或,上述的图像处理方法。
本申请还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的图像分割模型训练方法,和/或,上述的图像处理方法。
可见,该方法在模型训练时,对训练图像中的肛提肌裂孔区域和尿道区域进行标识,由于肛提肌裂孔和尿道区域的相对位置具有一定规律,因此利用第一标签和第二标签共同训练初始分割模型,能够使得初始分割模型学习到二者之间的位置关系信息,进而使得训练完毕后得到图像分割模型不仅能够直接对肛提肌裂孔区域进行识别,还能够基于对尿道区域的识别能力辅助对肛提肌裂孔区域的识别,同时,还能够基于对肛提肌裂孔区域的识别能力赋予对尿道区域的识别,即二者相互促进和辅助,进而使得图像分割模型具备更强的对肛提肌裂孔区域和尿道区域的识别能力,在应用时,能够更加准确地识别出待处理图像中的肛提肌裂孔位置和尿道区域位置。
此外,本申请还提供了图像处理方法、图像分割模型训练装置、图像处理装置、电子设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像分割模型训练方法流程图;
图2为本申请实施例提供的一种模型结构图;
图3为本申请实施例提供的另一种模型结构图;
图4为本申请实施例提供的另一种模型结构图;
图5为本申请实施例提供的一种待处理图像处理后效果图;
图6为本申请实施例提供的一种图像分割模型训练装置的结构示意图;
图7为本申请实施例提供的一种图像处理装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请中的图像分割模型训练方法和/或图像处理方法可以由指定的电子设备执行,该指定的电子设备的数量以及形式不做限定,例如,在一种实施方式中,电子设备的数量为一个,例如可以为服务器,其可以单独执行图像分割模型训练方法的各个步骤,或者,可以为超声设备,其可以单独执行图像处理方法的各个步骤。在另一种实施方式中,电子设备的数量为多个,各个电子设备相互配合,分别执行图像分割模型训练方法和/或图像处理方法中的部分步骤,最终完成模型训练和/或图像处理,当电子设备的数量为多个时,电子设备的形式可以为多种,例如可以包括计算机、超声设备和服务器。
请参考图1,图1为本申请实施例提供的一种图像分割模型训练方法流程图。该方法包括:
S101:获取训练图像和对应的训练标签。
训练图像,是指具有对应标识(即训练标签),用于对初始分割模型进行训练的图像,在本申请中,训练图像为肛提肌切面图像。本实施例并不限定获取训练图像的具体方式,在一种实施方式中,可以获取初始图像,并将其进行可视化输出,以便进行人工标识,在人工标识过程中,根据用户输入的标识指令得到训练标签,在得到训练标签后将其与初始图像进行对应关系绑定,完成对训练图像和训练标签的获取。在另一种实施方式中,训练图像和对应的训练标签可以被预先设置好,从存储了训练图像和标签的对象(例如存储路径、硬件设备)处读取数据完成获取。
在本申请中,每个训练图像的训练标签包括第一标签和第二标签,其中,第一标签用于表征训练图像中肛提肌裂孔的范围,而第二标签用于表征训练图像中尿道区域的范围。其中,尿道区域是指在超声盆底检查时人体尿道相关部位在超声图像上的成像区域,其具体形状等因素根据超声盆底检查时的角度等因素而不同。
可以理解的是,在实际应用中,根据获取超声图像的超声设备的机型、成像模式、成像环境等因素的不同,不同的超声图像在图像颜色风格等方面差异较大。为了能够提高图像分割模型的通用性,同时避免上述因素对图像处理准确率造成干扰。在生成训练图像时,可以采用数据增广处理或图像转换处理。具体的,获取初始训练图像,初始训练图像的具体数量和颜色数据分布形式不做限定。对初始训练图像进行数据增广处理或图像转换处理,得到训练图像。可以理解的是,若进行数据增广处理,则可以在后续训练过程中使得模型学习到如何在各种颜色风格和数据分布下进行图像分割,进而使得图像分割模型在后续能够不受到图像颜色和不同数据分布的干扰。若采用图像转换处理,则在应用过程中,同样需要对待处理的图像进行图像转换处理,图像分割模型可以在统一的颜色尺度和数据分布下进行工作,进而不受到干扰,还能够对各种颜色尺度和数据分布的图像进行处理。
数据增广处理和图像转换处理的具体方式不做限定,例如在一种实施方式中,可以将所有的初始训练图像转换为灰度图像,在转换后进行归一化,让数据分布统一,完成图像转换处理。在另一种实施方式中,可以设置生成对抗网络(GAN,Generative AdversarialNetworks),利用生成对抗网络,可以基于初始训练图像生成不同颜色风格、数据分布的肛提肌切面图像作为训练图像,完成数据增广处理。或者,利用GAN将不同颜色风格、数据分布的初始训练图像映射到同一个颜色风格、数据分布下,得到训练图像,完成图像转换处理。
S102:利用初始分割模型对训练图像进行分割,得到第一训练结果和第二训练结果。
初始分割模型,是指训练未完毕的图像分割模型,其经过训练能够得到用于对肛提肌裂孔区域进行识别和分割的图像分割模型。利用初始分割模型对训练图像进行处理,可以基于当前的模型参数对训练图像中的肛提肌裂孔的范围和尿道区域的范围进行预测,得到第一训练结果和第二训练结果。第一训练结果用于反映初始分割模型对肛提肌裂孔的预测,第二训练结果用于反映初始分割模型对尿道区域的预测。两个训练结果的形式为图像形式。
S103:基于训练标签、第一训练结果和第二训练结果生成损失值,并基于损失值对初始分割模型进行参数调节。
训练标签能够表征训练图像中肛提肌裂孔和尿道区域的准确位置,因此,利用训练标签、第一训练结果和第二训练结果,能够确定初始分割模型距离真正准确预测肛提肌裂孔和尿道区域的差距,该差距可以通过损失值体现。本实施例并不限定损失值的具体计算方式,在一种实施方式中,由于第一训练结果和第二训练结果分别表征不同部位的位置,因此可以分别利用第一训练结果和训练标签,以及利用第二训练结果和训练标签计算损失值。在另一种实施方式中,由于肛提肌裂孔和尿道区域具有一定的相关关系,因此第一训练结果和第二训练结果都能够直接或间接的反映模型对肛提肌裂孔的预测能力,因此,可以综合利用训练标签、第一训练结果和第二训练结果计算得到损失值。此外,损失值的计算方式还可以根据模型结构的不同而不同。
本实施例并不限定初始分割模型的具体类型,可是使用任意分割模型,例如可以为Fcn(Fully Convolutional Network)模型、U-Net模型、SegNet模型、PSPNet模型等。在一种实施方式中,初始分割模型可以包括编码器和解码器,其中,编码器用于提取输入图像的深层特征,解码器用于将特征进行还原,并进行预测。编码器和解码器的数量、连接关系等不做限定,根据需要,可以存在多种可行的设置方案。
损失值的生成方式应当与模型结构相匹配。在一种实施方式中,损失值包括第一损失值和第二损失值,其中,利用第一标签和第一训练结果生成第一损失值,利用第二标签和第二训练结果生成第二损失值。根据模型结构的不同,利用第一损失值和第二损失值进行参数调节的方式不同。
具体的,考虑到肛提肌裂孔区域面积大于尿道区域的面积,且肛提肌裂孔区域包含尿道区域,因此一个编码器就能同时提取肛提肌裂孔区域和尿道区域的特征。因此在第一种实施方式中,初始分割模型包括一个编码器和一个解码器。请参考图2,图2为本申请实施例提供的一种模型结构图,编码器m和解码器p即构成初始分割模型。在训练过程中,编码器m和解码器p不仅负责预测肛提肌裂孔区域进而得到第一训练结果,同时还用于预测尿道区域进而得到第二训练结果,因此模型预测为双通道输出。编码器m能同时提取肛提肌裂孔区域和尿道区域的特征,解码器能够同时预测肛提肌裂孔区域和尿道区域,使得初始分割模型能够将两个区域相关联学习。在参数调节过程中,分别利用第一损失值和第二损失值对编码器和解码器进行参数调节,具体的,利用第一损失值对编码器和解码器进行参数调节,同时利用第二损失值对编码器和解码器进行参数调节,因为编码器m和解码器p需要同时具备对两个区域的识别能力。利用第一损失值的调节过程和利用第二损失值的调节过程的执行顺序不做限定。
在第二种实施方式中,初始分割模型包括一个编码器和两个解码器,其中第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果,编码器的输出为两个解码器的输入。请参考图3,图3为本申请实施例提供的另一种模型结构图,编码器m在提取特征后,将其分别发送给解码器p和解码器q,解码器p利用特征生成第一训练结果,解码器q生成第二训练结果。在参数调节时,分别利用第一损失值和第二损失值对编码器进行参数调节,此外,单独利用第一损失值对第一解码器进行参数调节,并利用第二损失值对第二解码器进行参数调节。
在第三种实施方式中,考虑到肛提肌裂孔区域和尿道区域的形状、位置关系较复杂,可以利用肛提肌裂孔区域的预测结果辅助进行尿道区域的预测,辅助进行尿道区域的分割,在参数反向传播时,尿道区域又会促进肛提肌裂孔区域的分割。具体的,初始分割模型包括两个编码器和两个解码器,其中,第一编码器的输入为训练图像,第一编码器的输出为第一解码器的输入,第二编码器的输入为训练图像和第一解码器的输出,第二编码器的输出为第二解码器的输入,第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果。请参考图4,图4为本申请实施例提供的另一种模型结构图。其中,肛提肌切面图像输入两个编码器,编码器m为第一编码器,其提取特征后输出至解码器p(第一解码器),解码器p生成第一训练结果,即肛提肌裂孔区域分割图。编码器n(第二编码器)不仅获取肛提肌切面图像,还获取肛提肌裂孔区域分割图作为尿道区域分割的基础数据,其提取特征后输出到解码器q(第二解码器),由解码器q生成尿道区域分割图,即第二训练结果。在参数调节时,利用第一损失值对第一编码器和第一解码器进行参数调节,利用第二损失值对第二编码器和第二解码器进行参数调节。
需要说明的是,上述三种模型结构仅为三种可行的结构,其他可选结构在此不做赘述。
S104:若检测到满足训练完成条件,则将参数调节后的初始分割模型确定为图像分割模型。
训练完成条件,是指表明初始分割模型训练完毕的条件,其数量和具体内容不做限定,例如可以为初始分割模型的准确度进行限定的条件,或者可以为对训练轮次进行限定的条件,或者可以为训练时长进行限定的条件。在检测到满足一个、多个或全部训练完成条件时,可以确定初始分割模型训练完毕,能够被应用,因此将参数调节后的初始分割模型确定为图像分割模型。
在应用过程中,可以利用图像分割模型对待处理的图像中的肛提肌裂孔区域进行识别。具体的,首先获取待处理图像。需要注意的是,待处理图像为肛提肌切面图像。将待处理图像输入图像分割模型,即可得到肛提肌裂孔分割图像,图像分割模型基于上述的图像分割模型训练方法得到。根据模型结构的不同,肛提肌裂孔分割图像的具体生成过程可以不同。
得到肛提肌裂孔分割图像后,可以进一步执行后续操作,例如,在一种实施方式中,可以预训练得到关键点热力图预测网络。关键点热力图预测网络能够对肛提肌裂孔分割图像中的预设关键点进行识别预测,其网络类型不做限定,例如可以为基于深度学习技术的关键点热力图预测网络,任意可以完成目标检测或预测的网络架构均可选,例如HRnet(high-resolution network,高分辨率网络)、LAB网络或CenterNet网络等,关键点热力图预测网络能够根据输入的图像预测关键点位置,该输入的图像可以被称为目标图像。预设关键点的数量和具体实际意义不做限定,例如可以为左侧肛提肌附着点、右侧肛提肌附着点、耻骨联合后缘点和肛提肌肛管后缘点共四个关键点。
可以理解的是,图像分割模型除了具备对肛提肌裂孔区域进行识别的能力外,还具备对尿道区域进行识别的能力,因此图像分割模型还可以输出尿道区域分割图像。尿道区域和肛提肌裂孔区域的相对位置关系使得尿道区域分割图像能够辅助进行肛提肌裂孔中关键点的定位。因此在一种实施方式中,利用目标图像得到待处理图像中的关键点位置。其中,目标图像包括包括待处理图像和肛提肌裂孔分割图像,或包括待处理图像、肛提肌裂孔分割图像和图像分割模型输出的尿道区域分割图像,即,目标图像的选取存在上述两种可行的实施方式,可以理解的是,目标图像的数量越多,其在进行关键点定位时能够获取的信息就越多,定位的准确性就越高。在引入尿道区域分割图像后,能够进一步提高关键点定位的准确性。通常情况下,引入待处理图像进行关键点检测同样能够在一定程度上提高定位准确性。确定目标图像后,各个目标图像可以被输入至上述的关键点热力图预测网络,进而得到关键点位置。
在定位关键点后,可以根据关键点位置生成预设测量项对应的测量值。关键点位置可以为坐标形式或其他形式,例如在图像上标出的图像形式。基于该关键点位置,可以计算得到对医生诊断等有帮助的测量值,例如可以包括肛提肌裂孔区域的面积、周长、左侧肛提肌附着点到右侧肛提肌附着点的距离、耻骨联合后缘点到肛提肌肛管后缘点的距离、尿道区域质心到左侧肛提肌附着点、右侧肛提肌附着点的距离等。在得到上述测量值后,还可以进行可视化显示,以便辅助医生诊断。可视化显示的具体形式不做限定,除了对上述测量值进行可视化显示外,还可以输出其他内容,例如待处理图像、肛提肌裂孔分割图像或尿道区域分割图像等。请参考图5,图5为本申请实施例提供的一种待处理图像处理后效果图,其中示出了肛提肌裂孔区域的范围、尿道区域的范围以及各个关键点的位置和名称。
应用本申请实施例提供的模型训练方法和图像处理方法,在模型训练时,对训练图像中的肛提肌裂孔区域和尿道区域进行标识,由于肛提肌裂孔和尿道区域的相对位置具有一定规律,因此利用第一标签和第二标签共同训练初始分割模型,能够使得初始分割模型学习到二者之间的位置关系信息,进而使得训练完毕后得到图像分割模型不仅能够直接对肛提肌裂孔区域进行识别,还能够基于对尿道区域的识别能力辅助对肛提肌裂孔区域的识别,同时,还能够基于对肛提肌裂孔区域的识别能力赋予对尿道区域的识别,即二者相互促进和辅助,进而使得图像分割模型具备更强的对肛提肌裂孔区域和尿道区域的识别能力,在应用时,能够更加准确地识别出待处理图像中的肛提肌裂孔位置和尿道区域位置。
下面对本申请实施例提供的图像分割模型训练装置进行介绍,下文描述的图像分割模型训练装置与上文描述的图像分割模型训练方法可相互对应参照。
请参考图6,图6为本申请实施例提供的一种图像分割模型训练装置的结构示意图,包括:
训练获取模块110,用于获取训练图像和对应的训练标签;其中,训练图像为肛提肌切面图像,训练标签包括第一标签和第二标签,第一标签用于表征训练图像中肛提肌裂孔的范围,第二标签用于表征训练图像中尿道区域的范围;
训练分割模块120,用于利用初始分割模型对训练图像进行分割,得到第一训练结果和第二训练结果;
参数调节模块130,用于基于训练标签、第一训练结果和第二训练结果生成损失值,并基于损失值对初始分割模型进行参数调节;
模型确定模块140,用于若检测到满足训练完成条件,则将参数调节后的初始分割模型确定为图像分割模型。
可选地,参数调节模块130,包括:
第一生成单元,用于利用第一标签和第一训练结果生成第一损失值;
第二生成单元,用于利用第二标签和第二训练结果生成第二损失值。
可选地,初始分割模型包括一个编码器和一个解码器;
参数调节模块130,包括:
第一调节单元,用于分别利用第一损失值和第二损失值对编码器和解码器进行参数调节。
可选地,初始分割模型包括一个编码器和两个解码器;
其中第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果,编码器输出为两个解码器的输入。
可选地,参数调节模块130,包括:
第二调节单元,用于分别利用第一损失值和第二损失值对编码器进行参数调节;
第三调节单元,用于利用第一损失值对第一解码器进行参数调节;
第四调节单元,用于利用第二损失值对第二解码器进行参数调节。
可选地,初始分割模型包括两个编码器和两个解码器;
其中,第一编码器的输入为训练图像,第一编码器的输出为第一解码器的输入,第二编码器的输入为训练图像和第一解码器的输出,第二编码器的输出为第二解码器的输入;
第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果。
可选地,参数调节模块130,包括:
第五调节单元,用于利用第一损失值对第一编码器和第一解码器进行参数调节;
第六调节单元,用于利用第二损失值对第二编码器和第二解码器进行参数调节。
可选地,训练获取模块110,包括:
初始获取单元,用于获取初始训练图像;
增广或转换处理单元,用于对初始训练图像进行数据增广处理或图像转换处理,得到训练图像。
下面对本申请实施例提供的图像处理装置进行介绍,下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。
请参考图7,图7为本申请实施例提供的一种图像处理装置的结构示意图,包括:
待测获取模块210,用于获取待处理图像;其中,所述待处理图像为肛提肌切面图像;
图像分割模块220,用于将所述待处理图像输入图像分割模型,得到肛提肌裂孔分割图像;所述图像分割模型基于上述的图像分割模型训练方法得到。
可选地,还包括:
定位模块,用于利用目标图像得到所述待处理图像中的关键点位置;其中,所述目标图像包括所述待处理图像和所述肛提肌裂孔分割图像,或包括所述待处理图像、所述肛提肌裂孔分割图像和所述图像分割模型输出的尿道区域分割图像;
测量模块,用于根据所述关键点位置生成预设测量项对应的测量值。
下面对本申请实施例提供的电子设备进行介绍,下文描述的电子设备与上文描述的图像分割模型训练方法,和/或,图像处理方法可相互对应参照。
请参考图8,图8为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102,还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中,处理器101用于控制电子设备100的整体操作,以完成上述的图像分割模型训练方法,和/或,图像处理方法中的全部或部分步骤;存储器102用于存储各种类型的数据以支持在电子设备100的操作,这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令,以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static RandomAccess Memory,SRAM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,EPROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、只读存储器(Read-Only Memory,ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件105可以包括:Wi-Fi部件,蓝牙部件,NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、数字信号处理器(Digital Signal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field ProgrammableGate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述实施例给出的图像分割模型训练方法,和/或,图像处理方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的图像分割模型训练方法,和/或,图像处理方法可相互对应参照。
本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的图像分割模型训练方法,和/或,图像处理方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语包括、包含或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种图像分割模型训练方法,其特征在于,包括:
获取训练图像和对应的训练标签;其中,所述训练图像为肛提肌切面图像,所述训练标签包括第一标签和第二标签,所述第一标签用于表征所述训练图像中肛提肌裂孔的范围,所述第二标签用于表征所述训练图像中尿道区域的范围;
利用初始分割模型对所述训练图像进行分割,得到第一训练结果和第二训练结果;
基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,并基于所述损失值对所述初始分割模型进行参数调节;
若检测到满足训练完成条件,则将参数调节后的所述初始分割模型确定为图像分割模型。
2.根据权利要求1所述的图像分割模型训练方法,其特征在于,所述基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,包括:
利用所述第一标签和所述第一训练结果生成第一损失值;
利用所述第二标签和所述第二训练结果生成第二损失值。
3.根据权利要求2所述的图像分割模型训练方法,其特征在于,所述初始分割模型包括一个编码器和一个解码器;
所述基于所述损失值对所述初始分割模型进行参数调节,包括:
分别利用所述第一损失值和所述第二损失值对所述编码器和所述解码器进行参数调节。
4.根据权利要求2所述的图像分割模型训练方法,其特征在于,所述初始分割模型包括一个编码器和两个解码器;
其中,第一解码器用于输出第一训练结果,第二解码器用于输出第二训练结果,所述编码器的输出为所述两个解码器的输入。
5.根据权利要求4所述的图像分割模型训练方法,其特征在于,所述基于所述损失值对所述初始分割模型进行参数调节,包括:
分别利用所述第一损失值和所述第二损失值对所述编码器进行参数调节;
利用所述第一损失值对所述第一解码器进行参数调节;
利用所述第二损失值对所述第二解码器进行参数调节。
6.根据权利要求2所述的图像分割模型训练方法,其特征在于,所述初始分割模型包括两个编码器和两个解码器;
其中,第一编码器的输入为所述训练图像,所述第一编码器的输出为第一解码器的输入,第二编码器的输入为所述训练图像和所述第一解码器的输出,第二编码器的输出为第二解码器的输入;
所述第一解码器用于输出所述第一训练结果,所述第二解码器用于输出所述第二训练结果。
7.根据权利要求6所述的图像分割模型训练方法,其特征在于,所述基于所述损失值对所述初始分割模型进行参数调节,包括:
利用所述第一损失值对所述第一编码器和所述第一解码器进行参数调节;
利用所述第二损失值对所述第二编码器和所述第二解码器进行参数调节。
8.根据权利要求1所述的图像分割模型训练方法,其特征在于,所述获取训练图像,包括:
获取初始训练图像;
对所述初始训练图像进行数据增广处理或图像转换处理,得到所述训练图像。
9.一种图像处理方法,其特征在于,包括:
获取待处理图像;其中,所述待处理图像为肛提肌切面图像;
将所述待处理图像输入图像分割模型,得到肛提肌裂孔分割图像;所述图像分割模型基于如权利要求1至8任一项所述的图像分割模型训练方法得到。
10.根据权利要求9所述的图像处理方法,其特征在于,还包括:
利用目标图像得到所述待处理图像中的关键点位置;其中,所述目标图像包括所述待处理图像和所述肛提肌裂孔分割图像,或包括所述待处理图像、所述肛提肌裂孔分割图像和所述图像分割模型输出的尿道区域分割图像;
根据所述关键点位置生成预设测量项对应的测量值。
11.一种图像分割模型训练装置,其特征在于,包括:
训练获取模块,用于获取训练图像和对应的训练标签;其中,所述训练图像为肛提肌切面图像,所述训练标签包括第一标签和第二标签,所述第一标签用于表征所述训练图像中肛提肌裂孔的范围,所述第二标签用于表征所述训练图像中尿道区域的范围;
训练分割模块,用于利用初始分割模型对所述训练图像进行分割,得到第一训练结果和第二训练结果;
参数调节模块,用于基于所述训练标签、所述第一训练结果和所述第二训练结果生成损失值,并基于所述损失值对所述初始分割模型进行参数调节;
模型确定模块,用于若检测到满足训练完成条件,则将参数调节后的所述初始分割模型确定为图像分割模型。
12.一种图像处理装置,其特征在于,包括:
待测获取模块,用于获取待处理图像;其中,所述待处理图像为肛提肌切面图像;
图像分割模块,用于将所述待处理图像输入图像分割模型,得到肛提肌裂孔分割图像;所述图像分割模型基于如权利要求1至8任一项所述的图像分割模型训练方法得到。
13.一种电子设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至8任一项所述的图像分割模型训练方法,和/或,如权利要求9至10任一项所述的图像处理方法。
14.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的图像分割模型训练方法,和/或,如权利要求9至10任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468575.0A CN114782468A (zh) | 2022-04-29 | 2022-04-29 | 图像分割模型训练方法、图像处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468575.0A CN114782468A (zh) | 2022-04-29 | 2022-04-29 | 图像分割模型训练方法、图像处理方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114782468A true CN114782468A (zh) | 2022-07-22 |
Family
ID=82435558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210468575.0A Pending CN114782468A (zh) | 2022-04-29 | 2022-04-29 | 图像分割模型训练方法、图像处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782468A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115221976A (zh) * | 2022-08-18 | 2022-10-21 | 抖音视界有限公司 | 一种基于图神经网络的模型训练方法及装置 |
-
2022
- 2022-04-29 CN CN202210468575.0A patent/CN114782468A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115221976A (zh) * | 2022-08-18 | 2022-10-21 | 抖音视界有限公司 | 一种基于图神经网络的模型训练方法及装置 |
CN115221976B (zh) * | 2022-08-18 | 2024-05-24 | 抖音视界有限公司 | 一种基于图神经网络的模型训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292884B (zh) | 一种识别mri图像中水肿和血肿的方法及装置 | |
CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
CN108959794B (zh) | 一种基于深度学习的结构频响动力学模型修正方法 | |
CN110428415B (zh) | 医学图像的质量评估方法、装置、设备及存储介质 | |
CN109933852B (zh) | 预测车辆尺寸偏差的方法、装置、存储介质及电子设备 | |
CN110693529B (zh) | 一种基于二维图像的卵巢和/或卵泡自动测量方法 | |
CN114782468A (zh) | 图像分割模型训练方法、图像处理方法及相关装置 | |
CN111862020A (zh) | 一种眼前节生理年龄预测方法、装置、服务器及存储介质 | |
CN113176529A (zh) | 一种磁梯度仪校正方法、磁梯度仪校正装置及存储介质 | |
TW201801674A (zh) | 電阻抗斷層攝影術影像之後處理系統與後處理方法 | |
CN112967386A (zh) | 生物力学建模方法、装置、电子设备及存储介质 | |
JP2008014709A (ja) | 画像処理装置 | |
CN113298780A (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
CN111583356A (zh) | 一种基于卷积神经网络的磁共振图像合成方法和装置 | |
CN111053579B (zh) | 盆底状态的分类方法、系统、超声设备及计算机存储介质 | |
US11416653B2 (en) | Numerical model of the human head | |
CN114748099B (zh) | 偏移检测方法、装置、设备以及计算机可读存储介质 | |
CN114372970B (zh) | 一种手术参考信息生成方法及装置 | |
CN113537407B (zh) | 基于机器学习的图像数据评价处理方法及装置 | |
CN111401563A (zh) | 机器学习模型更新方法和装置 | |
US20220253735A1 (en) | Method for simulation assisted data generation and deep learning intelligence creation in non-destructive evaluation systems | |
CN113616247A (zh) | 一种术后超声监护方法及系统 | |
CN111948286A (zh) | 一种基于超声波和深度学习的应力检测方法、装置及设备 | |
CN115398442A (zh) | 用于评估传感器测量值的设备和自动化方法和该设备的应用 | |
EP3789956A1 (en) | Method and system for analyzing the mechanical response of microstructures under investigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |