CN111709966A - 眼底图像分割模型训练方法及设备 - Google Patents
眼底图像分割模型训练方法及设备 Download PDFInfo
- Publication number
- CN111709966A CN111709966A CN202010580229.2A CN202010580229A CN111709966A CN 111709966 A CN111709966 A CN 111709966A CN 202010580229 A CN202010580229 A CN 202010580229A CN 111709966 A CN111709966 A CN 111709966A
- Authority
- CN
- China
- Prior art keywords
- confidence information
- representing
- segmentation model
- confidence
- fundus image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种眼底图像分割模型训练方法及设备,所述方法包括:获取经过预训练的第一分割模型和第二分割模型;分别利用所述第一分割模型和第二分割模型对训练数据中的眼底图像进行分割,其中所述第一分割模型输出关于所述第一感兴趣目标的第一置信度信息,所述第二分割模型输出关于所述第一感兴趣目标和所述第二感兴趣目标的第二置信度信息;根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息;根据由所述集成置信度信息、第二置信度、所述标注数据以及由所述第二置信度确定的分割结果构建的损失函数优化所述第二分割模型的参数。
Description
技术领域
本发明涉及医学图像检测领域,具体涉及一种眼底图像分割模型训练方法及设备。
背景技术
近年来机器学习技术在医学领域得到了广泛的应用,尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面,语义分割的任务大部分使用端到端的深度学习方法取得较好的结果,精确的边界和位置检测对于跟踪眼底图像病灶发展是很重要的,对病灶进行逐像素分割是一项很有医学应用价值的任务。
现有技术已经可以实现通过大量眼底图像数据集训练机器学习模型,使其能够准确分割出眼底图像中的感兴趣目标。具体来说,用于训练分割性能的数据中包括眼底图像,以及对于其中感兴趣目标的标注数据,对于生成方来说,需要付出一定的人工对眼底图像中的感兴趣目标进行手工标注,以得到训练数据。本领域技术人员可以理解,为了得到更好的性能,往往需要较大的训练数据集,由此需要耗费较多人力。
在实际应用中,随着需求的变化,生产方经常需要对模型的分割功能进行改进。比如原先训练了一个能够分割眼底图像中的一种或多种感兴趣目标的模型,称之为低层级模型;在需求改变时,需要模型仍能够分割原先的感兴趣目标,并在此基础上能够分割新的感兴趣目标,也即增加了感兴趣类别。为此,生产方需要训练一个高层级模型,按照现有技术,生产方需要使用大量新数据重新训练模型,新的训练数据中不但需要标注原先的感兴趣目标,还需要标注新增加的感兴趣目标,这种重复性的标注工作浪费人力,并且更多种类的感兴趣目标也增加了标注难度,如果训练数据量较小会影响模型的分割性能。
发明内容
有鉴于此,本发明提供一种眼底图像分割模型训练方法,包括:
获取经过预训练的第一分割模型和第二分割模型,其中所述第一分割模型能够对眼底图像中的第一感兴趣目标与背景进行分割,所述第二分割模型能够对眼底图像中的所述第一感兴趣目标、第二感兴趣目标与背景进行分割;
分别利用所述第一分割模型和第二分割模型对训练数据中的眼底图像进行分割,所述训练数据包括眼底图像和关于其中所述第一感兴趣目标、所述第二感兴趣目标的标注数据,其中所述第一分割模型输出关于所述第一感兴趣目标的第一置信度信息,所述第二分割模型输出关于所述第一感兴趣目标和所述第二感兴趣目标的第二置信度信息;
根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息;
根据由所述集成置信度信息、第二置信度信息、所述标注数据以及由所述第二置信度信息确定的分割结果构建的损失函数优化所述第二分割模型的参数。
可选地,根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息,包括:
通过将所述第一置信度信息分配到所述第二置信度信息上得到配准置信度信息;
根据所述配准置信度信息和所述第二置信度信息得到集成置信度信息。
可选地,Yl表示所述第一分割模型的类别空间,Yl=[bgl,Cl],Cl表示所述第一感兴趣目标,bgl表示背景;
Yh表示所述第二分割模型的类别空间,Yh=[bgh,Cl,Cnew],Cl表示所述第一感兴趣目标,Cnew表示所述第二感兴趣目标,bgh表示背景,bgl=bgh∪Cnew;
利用如下方式得到所述配准置信度信息:
其中x表示眼底图像,I表示眼底图像中的像素点,y表示像素点所属的类别,ql[I,y]表示所述第一分割模型对像素I在类别y上的预测置信度,ql[I,bgl]表示所述第一分割模型对像素I在类别bgl上的预测置信度,表示所属配准置信度信息。
可选地,按照如下方式得到集成置信度信息:
其中qint[I,y]表示集成置信度信息,qh[I,y]表示所述第二分割模型对像素I在类别y上的预测置信度,α为设定权重。
可选地,根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息,包括:
通过将第二置信度信息对应到所述第一置信度信息上得到配准置信度信息;
根据所述配准置信度信息和所述第一置信度信息得到集成置信度信息。
可选地,Yl表示所述第一分割模型的类别空间,Yl=[bgl,Cl],Cl表示第一感兴趣目标,bgl表示背景;
Yh表示所述第二分割模型的类别空间,Yh=[bgh,Cl,Cnew],Cl表示第一感兴趣目标,Cnew表示第二感兴趣目标,bgh表示背景,bgl=bgh∪Cnew;
利用如下方式得到所述配准置信度信息:
其中x表示眼底图像,I表示眼底图像中的像素点,y表示像素点所属的类别,qh[I,y]表示所述第二分割模型对像素I在类别y上的预测置信度,qh[I,bgl]表示所述第二分割模型对像素I在类别bgl上的预测置信度,表示所述配准置信度信息。
可选地,按照如下方式得到集成置信度信息:
其中qint[I,y]表示集成置信度信息,ql[I,y]表示所述第一分割模型对像素I在类别y上的预测置信度,α为设定权重。
可选地,所述损失函数loss为
可选地,所述第一感兴趣目标包括眼底出血区域,所述第二感兴趣目标包括渗出区域。
本发明还提供一种眼底图像分割方法,包括:
利用上述训练方法得到所述第二分割模型;
利用所述第二分割模型对眼底图像进行分割,得到关于其中第一感兴趣目标、第二感兴趣目标的分割结果。
相应地,本发明提供一种眼底图像分割模型训练设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述眼底图像分割模型训练方法。
相应地,本发明提供一种眼底图像分割设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述眼底图像分割方法。
本发明提供的眼底图像分割模型训练方法及设备可以有效应对训练数据集较小的情况。相对于高层级的训练数据而言,低层级分割模型所需的训练数据的标注工作量更小并且更容易获得,甚至能够直接获取到公开的模型,而不需要训练方提供训练数据,根据本方案只需要使用相对较少的高层级训练数据对分割模型进行训练,使其具备一定的分割性能,然后借助低层级分割模型对基于少量高层级标注数据集训练的高层级分割模型进行优化,即可提高模型的性能,本方案可以减少人工标注的工作量,具有较高的实用性和训练效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的眼底图像分割模型训练方法的流程图;
图2为本发明实施例中的眼底图像类别空间示意图;
图3为本发明实施例中的两个分割模型的预训练示意图;
图4为本发明实施例中优化高层级分割模型的原理示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种眼底图像分割模型训练方法,本方法可以由计算机或服务器等电子设备执行,训练机器学习模型对眼底图像中的感兴趣目标进行分割,本申请所述模型可以是各种结构的神经网络。
关于明机器学习领域中的分割与分类问题,由于分割在本质上是像素级别的分类,基于此观点,为了清楚地描所述模型,在此对本申请相关内容做出一些定义:本申请所述模型的识别对象是眼底图像,记为x,每一张眼底图像由一些像素I组成;Y表示类别空间,Y=bg+C,其中bg指背景(非感兴趣类别),C表示感兴趣类别,y表示像素点所属的类别;f(x,θ)表示一个分割模型,向分割模型输入一张眼底图像x, 其中θ表示模型的待优化的参数,q[I,y]表示模型对像素I在类别y上的预测置信度,表示模型对像素I的预测类别。
如图1所示,本方法包括如下步骤:
S1,获取经过预训练的第一分割模型和第二分割模型。本方案使用两套分割类别系统,第二套分割类别系统(适用于第二分割模型)是在第一套分割类别系统(适用于第一分割模型)的基础上,添加了新的感兴趣分割类别。因此,这两套分割类别系统具有层级关系,可以将第二套分割类别系统称为高层级类别系统、将第一套分割类别系统称为低层级类别系统。
在执行本方法之前,预先使用合适的训练数据构建上述两个模型,以使其具有一定的分割能力。使用特定的或者公知的深度学习分割模型的训练方法都是可行的,两个模型的网络结构可以是相同或不同的,本方案不受模型结构的限制,可以使用所有可以输出各像素的类别置信度的模型。
结合图2和图3所示,其中第一分割模型31能够对眼底图像中的第一感兴趣目标与背景进行分割,第二分割模型32能够对眼底图像中的第一感兴趣目标、第二感兴趣目标与背景进行分割。比如第一分割模型经31过第一训练数据训练,第一训练数据包括眼底图像和关于其中第一感兴趣目标的第一标注数据。第一训练数据(低层级数据)记为{Xl,Yl=[bgl,Cl]},Xl表示眼底图像,Yl表示眼底图像的类别空间,bgl表示背景,Cl表示第一感兴趣目标,第一标注数据用于表示眼底图像中哪些像素点为背景,哪些像素点为第一感兴趣目标。基于低层级数据集训练得到的第一分割模型31(低层级模型)记为fl(x;θl)。
第二分割模型32经过第二训练数据训练,第二训练数据包括眼底图像和关于其中第一感兴趣目标、第二感兴趣目标的第二标注数据。第二训练数据(高层级数据)记为{Xh,Yh=[bgh,Cl,Cnew]},Xh表示眼底图像,Yh表示眼底图像的类别空间,bgh表示背景,Cl表示第一感兴趣目标,Cnew表示第二感兴趣目标,第二标注数据用于表示眼底图像中哪些像素点为背景,哪些像素点为第一感兴趣目标或者第二感兴趣目标。基于高层级数据集训练得到的第二分割模型32(高层级模型)记为fh(x;θh)。
根据上述内容可以发现,适用于两个模型的训练数据不相同但有关联关系。第二训练数据是在第一训练数据的基础上添加了新的感兴趣类别,相当于从低层级训练数据的眼底图像背景类别中抽取出了一个新的子类,也就是说,低层级的背景等于高层及的背景加上新的感兴趣类别。因此,第二套分割类别系统(背景+感兴趣分割类别)与第一套分割类别系统之间有一种包含关系,bgl=bgh∪Cnew。
需要说明的是,上述第一感兴趣目标和第二感兴趣目标应当被理解为统称,主要用于表达二者不存在交集,是不同的目标,它们可以分别只有一种目标,也可以分别包括多种目标。比如第一感兴趣目标包括眼底出血、视盘,第二感兴趣目标包括渗出、弧形斑等等。
S2,分别利用第一分割模型和第二分割模型对训练数据(第二训练数据)中的眼底图像进行分割。这两个模型互不干扰,分别独立地对相同的眼底图像Xh中的感兴趣目标进行分割,第一分割模型31只能区该分眼底图像Xh中的第一感兴趣目标和背景,第二分割模型32能够区该分眼底图像Xh中的第一感兴趣目标、第二感兴趣目标和背景。
第一分割模型31输出关于第一感兴趣目标的第一置信度信息ql,用于表达该眼底图像中的各个像素点是属于第一感兴趣目标Cl还是属于背景bgl;第二分割模型32输出关于第一感兴趣目标和第二感兴趣目标的第二置信度信息qh,用于表达该眼底图像中的各个像素点是属于第一感兴趣目标Cl还是第二感兴趣目标Cnew,或是属于背景bgh。第一置信度信息和第二置信度信息也称为置信度图。
S3,根据第一置信度信息和第二置信度信息得到集成置信度信息。本方案训练的对象是第二分割模型32(高层级模型),第一分割模型31(低层级模型)的用途是协助提高训练效率,因此要使其输出的第一置信度信息ql为优化第二分割模型的参数做出贡献,由于低层级和高层级模型的分类类别并不是一一对应,而是上述包含关系,因此需要先进行置信度图的集成,两者进行融合得到的集成置信度信息记为qint。
S4,根据由集成置信度信息、第二置信度信息、标注数据(第二标注数据,也即高层级数据集的标注数据)以及由第二置信度确定的分割结果构建的损失函数优化第二分割模型的参数。结合图4所示,比如根据集成置信度信息qint与第二置信度信息qh的差异,以及高层级模型的分割结果(相当于模型对像素点分类结果的集合)与第二标注数据m(相当于眼底图像每个像素点的实际类别信息的结合)的差异所确定的损失函数loss优化第二分割模型fh(x;θh)的参数θh。
作为优选的实施例,损失函数loss为
CE表示差异计算函数,m[I]表示标注数据(高层级数据集的标注数据),qint[I]表示集成置信度信息,qh[I]表示第二置信度(高层级模型输出的置信度信息),表示高层级模型输出的分割结果(根据高层级模型输出的置信度信息来确定),w为设定权重(超参数)。关于差异计算函数,本实施例可以使用各种用于考察两个分布之间的差别的损失函,比如交叉熵(cross-entropy),或者L2、KL散度损失函数等等都是可行的。
在本发明方案中,集成置信度的计算和高层级模型参数的优化是同步进行的,高层级模型以当前的参数来计算高层级置信度信息,并进一步计算集成置信度信息,然后计算损失函数优化其参数。对于之后的训练数据,则使用优化后的高层级模型来计算高层级置信度信息,并进一步计算集成置信度信息,然后再次计算损失函数优化其参数,由此使得集成置信度也会随着高层级模型的更新而同步更新。
在一个具体的应用场景中,低层级类别系统的感兴趣类别是[眼底出血],高层级类别系统的感兴趣类别是[眼底出血,渗出,视盘,弧形斑]。有一个已经训练完成的能够分割眼底出血区域的低层级分割模型;有一个对应于高层级类别系统的带标注的眼底图像数据集(为了减少人工标注分割数据的工作量,此数据集可以比较小)。在此应用场景中,可以使用这个高层级数据集训练一个高层级基础分割模型,然后利用上述方法,借助低层级分割基础模型来提升高层级分割模型的性能。
本发明实施例提供的眼底图像分割模型训练方法可以有效应对训练数据集较小的情况,相对于高层级的训练数据而言,低层级分割模型所需的训练数据的标注工作量更小并且更容易获得,甚至能够直接获取到公开的模型,而不需要训练方提供训练数据,根据本方案只需要使用相对较少的高层级训练数据对分割模型进行训练,使其具备一定的分割性能,然后借助低层级分割模型对基于少量高层级标注数据集训练的高层级分割模型进行优化,即可提高模型的性能,本方案可以减少人工标注的工作量,具有较高的实用性和训练效率。
下面提供一种可选的集成置信度信息计算方案,即步骤S3具体可以包括:
S31A,通过将第一置信度信息分配到第二置信度信息上得到配准置信度信息。作为示例性的说明,将上述低层级模型产生的关于bgl的置信度分配到bgh∪Cnew上面,分配比例由高层级模型产生的关于bgh∪Cnew这些类别的置信度的比例决定,得到的配准置信度信息可以被理解为“伪高层级置信度”,记为
S32A,根据配准置信度信息和第二置信度信息得到集成置信度信息,即根据高层级模型输出的qh和步骤S31A计算的确定集成置信度信息qint。本实施例保留了第二置信度信息qh,通过将低层级信度信息配置到高层级类别空间中,得到伪高层级置信度信息,进而计算集成置信度信息,并由此计算高层级模型的损失函数来优化其参数。
进一步地,如上文所述Yl表示第一训练数据的类别空间,Yl=[bgl,Cl],Cl表示第一感兴趣目标,bgl表示背景;Yh表示第二训练数据的类别空间,Yh=[bgh,Cl,Cnew],Cl表示第一感兴趣目标,Cnew表示第二感兴趣目标,bgh表示背景,bgl=bgh∪Cnew;
本实施例使用如下方式得到配准置信度信息:
其中x表示眼底图像,I表示眼底图像中的像素点,y和y′表示像素点所属的类别,ql[I,y]表示第一分割模型对像素I在类别y上的预测置信度,ql[I,bgl]表示第一分割模型对像素I在类别bgl上的预测置信度,表示配准置信度信息。
举例来说,对于一个像素点I,低层级模型输出的低层级置信度信息ql[I]为[0.9,0.1],表示该像素点属于眼底出血Cl的置信度是0.9,属于背景bgl的置信度是0.1;高层级模型输出的高层级置信度信息qh[I]为[0.8,0.15,0.05],表示该像素点属于眼底出血Cl的置信度是0.8,属于渗出Cnew的置信度是0.15,属于背景bgh的置信度是0.05。
相应地,按照如下方式得到集成置信度信息:
其中qint[I,y]表示集成置信度信息,qh[I,y]表示第二分割模型对像素I在类别y上的预测置信度(第二置信度信息,也即高层级置信度信息),α为设定权重(超参数)。
下面提供另一种可选的集成置信度信息计算方案,即步骤S3具体可以包括:
S31B,通过将第二置信度信息对应到第一置信度信息上得到配准置信度信息。作为示例性的说明,将高层级模型产生的关于bgh∪Cnew这些类别的置信度的和对应到bgl,得到的配准置信度信息可以被理解为“伪低层级置信度”,记为
S32B,根据配准置信度信息和第一置信度信息得到集成置信度信息。即根据低层级模型输出的ql和步骤S31B计算的确定集成置信度信息qint。本实施例保留了第一置信度信息qh,通过将高层级信度信息对应到低层级类别空间中,得到伪低层级置信度信息,进而计算集成置信度信息,并由此计算高层级模型的损失函数来优化其参数。
进一步地,利用如下方式得到配准置信度信息:
本实施例采用低层级类别空间,其中x表示眼底图像,I表示眼底图像中的像素点,y和y′表示像素点所属的类别,qh[I,y]表示第二分割模型对像素I在类别y上的预测置信度,qh[I,bgl]表示第二分割模型对像素I在类别bgl上的预测置信度,表示配准置信度信息。
举例来说,对于一个像素点I,低层级模型输出的低层级置信度信息ql[I]为[0.9,0.1],表示该像素点属于眼底出血Cl的置信度是0.9,属于背景bgl的置信度是0.1;高层级模型输出的高层级置信度信息qh[I]为[0.8,0.15,0.05],表示该像素点属于眼底出血Cl的置信度是0.8,属于渗出Cnew的置信度是0.15,属于背景bgh的置信度是0.05。
相应地,按照如下方式得到集成置信度信息:
其中qint[I,y]表示集成置信度信息,ql[I,y]表示第一分割模型对像素I在类别y上的预测置信度(第一置信度,也即低层级模型输出的置信度),α为设定权重(超参数)。
根据上述各个实施例对第二分割模型(高层级分割模型)进行训练后,即可利用第二分割模型对眼底图像进行分割,得到关于其中第一感兴趣目标、第二感兴趣目标的分割结果。即使只通过较少的数据集进行训练,在低层级分割模型的协助下,高层级模型也能表现出较好的分割性能。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (12)
1.一种眼底图像分割模型训练方法,其特征在于,包括:
获取经过预训练的第一分割模型和第二分割模型,其中所述第一分割模型能够对眼底图像中的第一感兴趣目标与背景进行分割,所述第二分割模型能够对眼底图像中的所述第一感兴趣目标、第二感兴趣目标与背景进行分割;
分别利用所述第一分割模型和第二分割模型对训练数据中的眼底图像进行分割,所述训练数据包括眼底图像和关于其中所述第一感兴趣目标、所述第二感兴趣目标的标注数据,其中所述第一分割模型输出关于所述第一感兴趣目标的第一置信度信息,所述第二分割模型输出关于所述第一感兴趣目标和所述第二感兴趣目标的第二置信度信息;
根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息;
根据由所述集成置信度信息、第二置信度信息、所述标注数据以及由所述第二置信度信息确定的分割结果构建的损失函数优化所述第二分割模型的参数。
2.根据权利要求1所述的方法,其特征在于,根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息,包括:
通过将所述第一置信度信息分配到所述第二置信度信息上得到配准置信度信息;
根据所述配准置信度信息和所述第二置信度信息得到集成置信度信息。
3.根据权利要求2所述的方法,其特征在于:
Yl表示所述第一分割模型的类别空间,Yl=[bgl,Cl],Cl表示所述第一感兴趣目标,bgl表示背景;
Yh表示所述第二分割模型的类别空间,Yh=[bgh,Cl,Cnew],Cl表示所述第一感兴趣目标,Cnew表示所述第二感兴趣目标,bgh表示背景,bgl=bgh∪Cnew;
利用如下方式得到所述配准置信度信息:
其中x表示眼底图像,I表示眼底图像中的像素点,y表示像素点所属的类别,ql[I,y]表示所述第一分割模型对像素I在类别y上的预测置信度,ql[I,bgl]表示所述第一分割模型对像素I在类别bgl上的预测置信度,qdummy_h[I,y]表示所属配准置信度信息。
5.根据权利要求1所述的方法,其特征在于,根据所述第一置信度信息和所述第二置信度信息得到集成置信度信息,包括:
通过将第二置信度信息对应到所述第一置信度信息上得到配准置信度信息;
根据所述配准置信度信息和所述第一置信度信息得到集成置信度信息。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述第一感兴趣目标包括眼底出血区域,所述第二感兴趣目标包括渗出区域。
10.一种眼底图像分割方法,其特征在于,包括:
利用权利要求1-9中任一项所述的方法得到所述第二分割模型;
利用所述第二分割模型对眼底图像进行分割,得到关于其中第一感兴趣目标、第二感兴趣目标的分割结果。
11.一种眼底图像分割模型训练设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-9中任意一项所述的眼底图像分割模型训练方法。
12.一种眼底图像分割设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求10所述的眼底图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010580229.2A CN111709966B (zh) | 2020-06-23 | 2020-06-23 | 眼底图像分割模型训练方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010580229.2A CN111709966B (zh) | 2020-06-23 | 2020-06-23 | 眼底图像分割模型训练方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709966A true CN111709966A (zh) | 2020-09-25 |
CN111709966B CN111709966B (zh) | 2023-06-06 |
Family
ID=72542218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010580229.2A Active CN111709966B (zh) | 2020-06-23 | 2020-06-23 | 眼底图像分割模型训练方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709966B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112307908A (zh) * | 2020-10-15 | 2021-02-02 | 武汉科技大学城市学院 | 一种视频语义提取方法及装置 |
CN112418263A (zh) * | 2020-10-10 | 2021-02-26 | 上海鹰瞳医疗科技有限公司 | 一种医学图像病灶分割标注方法及系统 |
CN113344894A (zh) * | 2021-06-23 | 2021-09-03 | 依未科技(北京)有限公司 | 眼底豹纹斑特征提取及特征指数确定的方法和装置 |
CN113768461A (zh) * | 2021-09-14 | 2021-12-10 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析方法、系统和电子设备 |
WO2022260142A1 (ja) * | 2021-06-09 | 2022-12-15 | 京セラ株式会社 | 認識器学習装置、認識装置、電子機器、及び学習方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740689A (zh) * | 2019-01-09 | 2019-05-10 | 贵州宽凳智云科技有限公司 | 一种图像语义分割的错误标注数据筛选方法及系统 |
CN110211087A (zh) * | 2019-01-28 | 2019-09-06 | 南通大学 | 可分享的半自动糖尿病眼底病变标注方法 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
-
2020
- 2020-06-23 CN CN202010580229.2A patent/CN111709966B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
CN109740689A (zh) * | 2019-01-09 | 2019-05-10 | 贵州宽凳智云科技有限公司 | 一种图像语义分割的错误标注数据筛选方法及系统 |
CN110211087A (zh) * | 2019-01-28 | 2019-09-06 | 南通大学 | 可分享的半自动糖尿病眼底病变标注方法 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
Non-Patent Citations (1)
Title |
---|
熊昌镇;智慧;: "多模型集成的弱监督语义分割算法" * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418263A (zh) * | 2020-10-10 | 2021-02-26 | 上海鹰瞳医疗科技有限公司 | 一种医学图像病灶分割标注方法及系统 |
CN112307908A (zh) * | 2020-10-15 | 2021-02-02 | 武汉科技大学城市学院 | 一种视频语义提取方法及装置 |
CN112307908B (zh) * | 2020-10-15 | 2022-07-26 | 武汉科技大学城市学院 | 一种视频语义提取方法及装置 |
WO2022260142A1 (ja) * | 2021-06-09 | 2022-12-15 | 京セラ株式会社 | 認識器学習装置、認識装置、電子機器、及び学習方法 |
JP2022188780A (ja) * | 2021-06-09 | 2022-12-21 | 京セラ株式会社 | 認識器学習装置、認識装置、電子機器、及び学習方法 |
JP7260706B2 (ja) | 2021-06-09 | 2023-04-18 | 京セラ株式会社 | 認識器学習装置、認識装置、電子機器、及び学習方法 |
CN113344894A (zh) * | 2021-06-23 | 2021-09-03 | 依未科技(北京)有限公司 | 眼底豹纹斑特征提取及特征指数确定的方法和装置 |
CN113344894B (zh) * | 2021-06-23 | 2024-05-14 | 依未科技(北京)有限公司 | 眼底豹纹斑特征提取及特征指数确定的方法和装置 |
CN113768461A (zh) * | 2021-09-14 | 2021-12-10 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析方法、系统和电子设备 |
CN113768461B (zh) * | 2021-09-14 | 2024-03-22 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析方法、系统和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111709966B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709966A (zh) | 眼底图像分割模型训练方法及设备 | |
US10354392B2 (en) | Image guided video semantic object segmentation method and apparatus | |
CN111738908B (zh) | 结合实例分割和循环生成对抗网络的场景转换方法及系统 | |
Rashid et al. | Fully convolutional neural network for lungs segmentation from chest X-rays | |
CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
CN110879960B (zh) | 生成卷积神经网络学习用图像数据集的方法及计算装置 | |
CN113689436B (zh) | 图像语义分割方法、装置、设备及存储介质 | |
CN110570435A (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
CN112070071B (zh) | 视频中的对象标注方法、装置、计算机设备及存储介质 | |
CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
CN113569852A (zh) | 语义分割模型的训练方法、装置、电子设备及存储介质 | |
CN115393625A (zh) | 从粗略标记进行图像分段的半监督式训练 | |
JP6713422B2 (ja) | 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム | |
CN112434582A (zh) | 一种车道线颜色识别方法、系统、电子设备及存储介质 | |
CN116664873A (zh) | 图像信息处理方法、装置及存储介质 | |
CN111126493A (zh) | 深度学习模型的训练方法、装置、电子设备及存储介质 | |
CN116994084A (zh) | 区域入侵检测模型训练方法及区域入侵检测方法 | |
CN111311601A (zh) | 一种拼接图像的分割方法及装置 | |
CN113888567B (zh) | 一种图像分割模型的训练方法、图像分割方法及装置 | |
CN113282781B (zh) | 图像检索方法及装置 | |
CN114120096A (zh) | 一种基于交互式ai的红绿灯标注方法及系统 | |
CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
CN112215205B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN112308090A (zh) | 图像分类方法及装置 | |
CN112287938A (zh) | 一种文本分割方法、系统、设备以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |