CN111652887B - 图像分割模型训练方法、装置、计算机设备及存储介质 - Google Patents

图像分割模型训练方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111652887B
CN111652887B CN202010404394.2A CN202010404394A CN111652887B CN 111652887 B CN111652887 B CN 111652887B CN 202010404394 A CN202010404394 A CN 202010404394A CN 111652887 B CN111652887 B CN 111652887B
Authority
CN
China
Prior art keywords
image
segmentation
sample
model
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010404394.2A
Other languages
English (en)
Other versions
CN111652887A (zh
Inventor
余双
陈文婷
初春燕
边成
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010404394.2A priority Critical patent/CN111652887B/zh
Publication of CN111652887A publication Critical patent/CN111652887A/zh
Application granted granted Critical
Publication of CN111652887B publication Critical patent/CN111652887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分割模型训练方法、装置、计算机设备及存储介质,属于计算机技术领域。方法包括:获取第一样本图像和第一样本分割图像;调用图像分割模型,对第一样本图像进行分割处理,得到第一预测分割图像;调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到第一类别标识;调用特征提取模型,对第一预测分割图像和第一样本分割图像进行特征提取,得到第一预测分割图像的第一拓扑特征和第一样本分割图像的第二拓扑特征;根据第一类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,训练图像分割模型,提高了图像分割模型的准确度。

Description

图像分割模型训练方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种图像分割模型训练方法、装置、计算机设备及存储介质。
背景技术
图像分割技术是指将图像中的对象分割出来的技术,随着计算机技术的发展,图像分割技术的应用越来越广泛,例如,医学图像分割、人物图像分割等。
例如,在血管分割场景中,调用图像分割模型,对包含血管的初始图像中的每个像素点进行特征提取,根据提取到的特征,确定每个像素点的类别,从而区分血管像素点和非血管像素点,根据每个像素点的类别,对初始图像进行分割处理,得到血管图像。
但是如果某些像素点的类别确定错误,会导致血管图像中的血管不连续,与实际情况不符,因此,如何保证图像分割模型分割出的对象的连续性成为当前亟需解决的问题。
发明内容
本申请实施例提供了一种图像分割模型训练方法、装置、计算机设备及存储介质,可以提高图像分割模型分割出的对象的连续性,以使图像分割模型更加准确。所述技术方案如下:
一方面,提供了一种图像分割模型训练方法,所述方法包括:获取第一样本数据,所述第一样本数据包括第一样本图像和所述第一样本图像对应的第一样本分割图像,所述第一样本分割图像通过对所述第一样本图像中的对象进行标注得到;调用图像分割模型,对所述第一样本图像进行分割处理,得到第一预测分割图像;调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识,所述第一类别标识指示所述第一预测分割图像所属的图像类别;调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征;根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,以使训练后的所述图像分割模型的损失值收敛,所述目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
可选地,所述方法还包括:获取第二样本图像对应的第二预测分割图像,所述第二预测分割图像通过调用图像分割模型对所述第二样本图像进行分割处理得到;调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二预测分割图像的第五图像信息进行判别处理,得到所述第二预测分割图像的第三类别标识,所述第三类别标识指示所述第二预测分割图像所属的图像类别;根据所述第三类别标识和第三预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
另一方面,提供了一种图像分割方法,所述方法包括:调用图像分割模型,生成任一图像对应的预测分割图像,所述图像分割模型采用如上述方面所述的图像分割模型训练方法训练得到。
再一方面,提供了一种图像分割模型训练装置,所述装置包括:数据获取模块,用于获取第一样本数据,所述第一样本数据包括第一样本图像和所述第一样本图像对应的第一样本分割图像,所述第一样本分割图像通过对所述第一样本图像中的对象进行标注得到;第一调用模块,用于调用图像分割模型,对所述第一样本图像进行分割处理,得到第一预测分割图像;第二调用模块,用于调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识,所述第一类别标识指示所述第一预测分割图像所属的图像类别;第三调用模块,用于调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征;第一训练模块,用于根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,以使训练后的所述图像分割模型的损失值收敛,所述目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
可选地,所述第二调用模块,包括:图像获取单元,用于获取第一重合图像,所述第一重合图像通过将所述第一样本图像和所述第一预测分割图像进行重合得到,所述第一重合图像包括所述第一图像信息和所述第二图像信息;调用单元,用于调用所述判别模型,根据所述第一重合图像进行判别处理,得到所述第一预测分割图像的第一类别标识。
可选地,所述判别模型包括特征提取层和判别层,所述调用单元,用于调用所述特征提取层,对所述第一重合图像进行特征提取,得到所述第一重合图像的关联特征,所述关联特征指示所述第一图像信息与所述第二图像信息之间的关联性;所述调用单元,还用于调用所述判别层,根据所述关联特征进行判别处理,得到所述第一类别标识。
可选地,所述关联特征包括多个区域关联特征,所述第一图像信息包括多个第一区域图像信息,所述第二图像信息包括多个第二区域图像信息,所述调用单元,还用于调用所述特征提取层,根据所述多个第一区域图像信息和所述多个第二区域图像信息,分别对所述第一重合图像中对应的区域进行特征提取,得到多个区域分别对应的区域关联特征。
可选地,所述第一训练模块,包括:损失值获取单元,用于根据所述第一类别标识、所述目标类别标识和第一关系数据,获取所述第一预测分割图像的损失值,所述第一关系数据表示判别模型为任一图像确定的类别标识、所述任一图像的目标类别标识与所述任一图像的损失值之间的关系;所述损失值获取单元,还用于根据所述第一拓扑特征、所述第二拓扑特征和第二关系数据,获取所述第一预测分割图像的第二损失值,所述第二关系数据表示任一预测分割图像的拓扑特征、所述任一预测分割图像对应的样本分割图像的拓扑特征和所述任一预测分割图像的损失值之间的关系;调整单元,根据所述第一损失值和所述第二损失值,调整所述图像分割模型的模型参数。
可选地,所述装置还包括:第二训练模块,用于根据所述第一类别标识和所述第一预测分割图像对应的第一预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
可选地,所述装置还包括:图像获取模块,用于获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二样本分割图像的第四图像信息进行判别处理,得到所述第二样本分割图像的第二类别标识,所述第二类别标识指示所述第二样本分割图像所属的图像类别;第二训练模块,用于根据所述第二类别标识和第二预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第二类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
可选地,所述装置还包括:图像获取模块,用于获取第二样本图像对应的第二预测分割图像,所述第二预测分割图像通过调用图像分割模型对所述第二样本图像进行分割处理得到;所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二预测分割图像的第五图像信息进行判别处理,得到所述第二预测分割图像的第三类别标识,所述第三类别标识指示所述第二预测分割图像所属的图像类别;第二训练模块,用于根据所述第三类别标识和第三预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
可选地,所述装置还包括:图像获取模块,用于获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;乱序处理模块,用于对所述第二样本分割图像进行乱序处理,得到第三样本分割图像;所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第三样本分割图像的第六图像信息进行判别处理,得到所述第三样本分割图像的第四判别标识,所述第四类别标识指示所述第三样本分割图像所属的图像类别;第二训练模块,用于根据所述第四类别标识和第四预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第四预设类别标识指示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。
可选地,所述第一类别标识表示所述第一预测分割图像的连续性等级与第一预设等级和第二预设等级的对比结果,所述第一预设等级表示乱序处理后的样本分割图像的连续性等级,所述第二预设等级表示样本分割图像的连续性等级。
可选地,所述第一预测分割图像的第二图像信息包括多个第二区域图像信息,所述第一拓扑特征包括多个第一区域拓扑特征,所述第一样本分割图像的第七图像信息包括多个第七区域图像信息,所述第二拓扑特征包括多个第二区域拓扑特征;所述第三调用模块,还用于调用所述特征提取模型,根据所述多个第二区域图像信息,分别对所述第一预测分割图像中对应的区域进行特征提取,得到多个区域分别对应的第一区域拓扑特征;
所述第三调用模块,还用于调用所述特征提取模型,根据所述多个第七区域图像信息,分别对所述第一样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第二区域拓扑特征。
可选地,所述装置还包括:乱序处理模块,用于对所述第一样本分割图像进行乱序处理,得到第四样本分割图像;所述第三调用模块,还用于调用所述特征提取模型,对所述第四样本分割图像进行特征提取,得到所述第四样本分割图像的第三拓扑特征;所述第一训练模块,还用于根据所述第一拓扑特征、所述第二拓扑特征和所述第三拓扑特征之间的差异,以及所述第一类别标识和目标类别标识之间的差异,训练所述图像分割模型。
可选地,所述第一样本图像包括至少一条血管,所述第一预测分割图像包括至少一条血管以及每条血管的类型。
再一方面,提供了一种图像分割装置,所述装置包括:图像生成模块,用于调用图像分割模型,生成任一图像对应的预测分割图像,所述图像分割模型采用如上述方面所述的图像分割模型训练装置训练得到。
再一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现上述方面所述的图像分割模型训练方法中所执行的操作;或者,以实现上述方面所述的图像分割方法中所执行的操作。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如所述的图像分割模型训练方法中所执行的操作;或者,以实现上述方面所述的图像分割方法中所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的图像分割模型训练方法、装置、计算机设备及存储介质,会将图像分割模型输出的预测分割图像输入至判别模型中,由判别模型来确定该预测分割图像的类别标识,并且还根据特征提取模型,来提取第一预测分割图像的第一拓扑特征和第一样本分割图像的第二拓扑特征,根据判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,来训练图像分割模型,直至图像分割模型输出的预测分割图像足够准确,可以骗过判别模型,使判别模型将预测分割结果判定为标注分割图像。因此,可以将该判别模型和图像分割模型看做是对抗模型,随着判别模型的准确度越来越高,判别模型能够更加准确地区分出标注分割图像和通过图像分割模型生成的预测分割图像,通过判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,训练图像分割模型,可以促使图像分割模型更加关注图像的拓扑特征,,得到的预测分割图像中对象的连续性也更加接近于标注分割图像中对象的连续性,也即是保证了图像分割模型分割出的对象的连续性。
另外,类别标识表示图像与该至少一个连续性等级的对比结果,从而可以根据该判别模型输出的类别标识确定图像的连续性等级,也即是获取到图像中对象的连续性等级,实现了对图像中对象的连续性的检测,后续可以根据预测分割图像中对象的连续性等级,对图像分割模型进行训练,使得图像分割模型在分割处理时,可以更加关注对象的连续性,因此调用图像分割模型得到的预测分割图像中,对象的连续性也会提高。
另外,通过获取第一图像信息和第二图像信息之间的关联特征,可以获取到第一样本图像中对象的拓扑结构与第一预测分割图像中对象的拓扑结构之间的相似性,从而判别模型可以根据第一图像信息和第二图像信息之间的关联特征,准确获取第一预测分割图像中对象的连续性等级。
另外,通过获取不同拓扑连续性的样本对判别模型进行训练,可以使得判别模型可以区分不同拓扑连续性等级的图像,使得判别模型对图像中对象的拓扑特征更加敏感,输出的判别标识能够指示该图像的拓扑连续性等级,从而确定预测分割图像中的拓扑损失,后续根据预测分割图像中的拓扑损失对图像分割模型进行训练,可以使得图像分割模型更加关注对象的拓扑连续性,调用该图像分割模型生成的预测分割图像中对象的连续性更好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种图像分割模型训练方法的流程图;
图3是本申请实施例提供的一种图像分割模型训练方法的流程图;
图4是本申请实施例提供的一种图像分割模型训练方法的流程图;
图5是本申请实施例提供的一种图像分割模型训练方法的流程图;
图6是本申请实施例提供的一种样本图像、样本分割图像、预测分割图像和乱序处理后的样本分割图像的示意图;
图7是本申请实施例提供的一种图像分割模型训练装置的结构示意图;
图8是本申请实施例提供的另一种图像分割模型训练装置的结构示意图;
图9是本申请实施例提供的一种图像分割装置的结构示意图;
图10是本申请实施例提供的一种终端的结构框图;
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像信息称为第二图像信息,且类似地,可将第二图像信息称为第一图像信息。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或者两个以上,多个包括两个或者两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个,举例来说,多个像素点包括3个像素点,而每个是指这3个像素点中的每一个像素点,任一是指这3个像素点中的任意一个,可以是第一个,也可以是第二个,还可以是第三个。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习技术来训练图像分割模型,通过如下实施例对本申请的图像分割模型训练方法和图像分割方法进行详细说明:
本申请实施例提供的图像分割模型训练方法和图像分割方法可以应用在计算机设备中,在一种可能实现方式中,该计算机设备可以是服务器,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在另一种可能实现方式中,该计算机设备可以是终端,该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在另一种可能实现方式中,该计算机设备可以包括终端和服务器,图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和服务器102,该终端101和服务器102建立有通信连接。
可选地,终端101可以将第一样本图像和第一样本图像对应的第一样本分割图像上传至服务器102中,服务器102接收第一样本图像和第一样本分割图像,调用图像分割模型,对第一样本图像进行分割处理,得到第一预测分割图像;服务器102调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识;调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征,根据第一类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,训练图像分割模型。在训练图像分割模型之后,服务器102可以保存该训练的图像分割模型,终端101还可以将任一图像上传至服务器102中,由服务器102调用训练的图像分割模型对该任一图像进行分割处理,得到预测分割图像。
可选地,终端101上可以安装有目标应用,该目标应用可以是具有图像处理功能的应用,或者与图像处理相关的应用,该服务器102可以是为该目标应用提供服务的服务器。
本申请实施例提供的方法,可以应用于图像处理的场景中。
例如,在动静脉血管分割场景下,如果用户想要区分血管图像中的静脉血管和动脉血管,可以将血管图像输入至计算机设备中,计算机设备在获取到血管图像之后,可以采用本申请实施例提供的方法,训练图像分割模型,调用训练的图像分割模型,对血管图像进行分割处理,得到该血管图像的动静脉血管图像,该动静脉血管图像中包括可以明显区分的静脉血管和动脉血管,实现了动脉血管与动脉血管分割的效果。
例如,在街道分割场景下,对于卫星拍摄的地图图像,如果想要区分地图图像中的街道,可以将该地图图像输入至计算机设备中,计算机设备在获取到地图图像之后,可以采用本申请实施例提供的方法,训练图像分割模型,调用训练的图像分割模型,对地图图像进行分割处理,得到该地图图像的街道图像,实现了街道与其他物体分割的效果。
由于图像分割模型在训练过程中,会将图像分割模型输出的预测分割图像输入至判别模型中,由判别模型来检验预测分割图像是否达到了样本分割图像的标准,并由特征提取模型来提取预测分割图像的第一拓扑特征和样本分割图像的第二拓扑特征,并根据判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,来训练图像分割模型,以使该图像分割模型输出的预测分割图像的连续性较好,能够达到样本分割图像的标准,从而该图像分割模型的准确性更高。
本申请实施例提供的方法还可以应用于其他任一对图像中的对象进行分割的场景。
图2是本申请实施例提供的一种图像分割模型训练方法的流程图,本申请实施例的交互主体为计算机设备,参见图2,该方法包括:
201、获取第一样本数据,第一样本数据包括第一样本图像和第一样本图像对应的第一样本分割图像,第一样本分割图像通过对第一样本图像中的对象进行标注得到。
其中,第一样本数据是对图像分割模型进行训练的数据,该第一样本数据中包括第一样本图像,该第一样本图像包括多个样本像素点的原始图像信息。第一样本图像可以是计算机设备拍摄的图像,也可以是其他设备拍摄的图像,如医学设备拍摄的医学图像、卫星设备拍摄的地图图像等。另外,该第一样本图像可以是设备进行拍摄得到的完整图像,也可以是完整图像中的部分区域,本申请实施例对此不做限定。
该第一样本分割图像是通过对第一样本图像中的对象进行标注得到的,该第一样本分割图像包括多个样本像素点的标注图像信息。
202、调用图像分割模型,对第一样本图像进行分割处理,得到第一预测分割图像。
图像分割模型是用于将至少一种类型的对象从原始图像中分割出来的模型,第一预测分割图像包括多个样本像素点的分割图像信息,该分割图像信息用于指示对应的样本像素点所属的对象。
另外,图像分割模型可以预先训练过的模型,在该图像分割模型的使用过程中,若发现该图像分割模型输出的预测分割图像效果较差,可以采用本申请提供的方法,对该图像分割模型继续进行训练。该图像分割模型也可以是未经过训练的图像分割模型,本申请实施例对图像分割模型是否已经过训练不做限定。
203、调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到第一预测分割图像的第一类别标识,第一类别标识指示第一预测分割图像所属的图像类别。
判别模型是用于判别图像所属的图像类别的模型,其中,第一图像信息包括第一样本图像中多个样本像素点的原始图像信息,第二图像信息包括多个样本像素点的分割图像信息,且该分割图像信息指示对应的样本像素点所属的对象。判别模型根据多个样本像素点的原始图像信息和多个样本像素点的多个分割图像信息进行判别处理,输出该第一预测分割图像所属的图像类别,该图像类别指示第一预测分割图像的效果。
204、调用特征提取模型,对第一预测分割图像和第一样本分割图像进行特征提取,得到第一预测分割图像的第一拓扑特征和第一样本分割图像的第二拓扑特征。
其中,特征提取模型可以是对第一预测分割图像进行特征提取的模型。拓扑特征为拓扑结构的特征,拓扑结构可以看做是多个线条互相连接。在图像分割时,线条一般会是对象的轮廓或者是对象本身,如果线条连续性较好,可以划分完整的对象,如果线条不连续,则表示该对象中断,从而导致分割效果较差。
205、根据第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练图像分割模型,以使训练后的图像分割模型的损失值收敛,目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
由于目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像,从而第一类别标识和目标类别标识之间的差异也就是:第一预测分割图像当前的分割效果与样本分割图像的分割效果之间的差异。
由于第一拓扑特征指示第一预测分割图像中对象的连续性效果,第二拓扑特征指示第一样本分割图像中对象的连续性效果,因此第一拓扑特征与第二拓扑特征之间的差异也就是:第一预测分割图像中对象的连续性效果与第一样本分割图像中对象的连续性效果之间的差异。
因此,根据第一类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,来训练图像分割模型,以使图像分割模型输出的预测分割图像能够达到样本分割图像的效果,且预测分割图像中对象的连续性效果能够达到样本。
本申请实施例提供的图像分割模型训练方法,会将图像分割模型输出的预测分割图像输入至判别模型中,由判别模型来确定该预测分割图像的类别标识,并且还根据特征提取模型,来提取第一预测分割图像的第一拓扑特征和第一样本分割图像的第二拓扑特征,根据判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,来训练图像分割模型,直至图像分割模型输出的预测分割图像足够准确,可以骗过判别模型,使判别模型将预测分割结果判定为标注分割图像。因此,可以将该判别模型和图像分割模型看做是对抗模型,随着判别模型的准确度越来越高,判别模型能够更加准确地区分出标注分割图像和通过图像分割模型生成的预测分割图像,通过判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,训练图像分割模型,可以促使图像分割模型更加关注图像的拓扑特征,得到的预测分割图像中对象的连续性也更加接近于标注分割图像中对象的连续性,也即是保证了图像分割模型分割出的对象的连续性。
图3是本申请实施例提供的一种图像分割模型训练方法的流程图。本申请实施例的交互主体为计算机设备,参见图3,该方法包括:
301、获取第一样本数据,该第一样本数据包括第一样本图像和第一样本图像对应的第一样本分割图像。
第一样本数据是用于训练图像分割模型的数据,该第一样本数据包括第一样本图像和第一样本图像对应的第一样本分割图像,其中,第一样本图像和第一样本分割图像可以是彩色图像,也可以是灰度图像,可选地,第一样本图像和第一样本分割图像均是彩色图像,或者,第一样本图像是彩色图像,第一样本分割图像是灰度图像。
其中,该第一样本图像包括多个样本像素点的原始图像信息,第一样本图像可以是计算机设备拍摄的图像,也可以是其他设备拍摄的图像,如医学设备拍摄的医学图像、卫星设备拍摄的地图图像等。另外,该第一样本图像可以是设备进行拍摄得到的完整图像,也可以是完整图像中的部分区域,本申请实施例对此不做限定。
该第一样本分割图像是通过对第一样本图像中的对象进行标注得到的,该第一样本分割图像包括多个样本像素点的标注图像信息。
例如,第一样本图像为医学图像,如图4所示,该医学图像可以是眼底视网膜图像401,该眼底视网膜图像401包括视网膜以及位于视网膜上的多条血管,该第一样本分割图像可以是血管图像402,该血管图像402中包括多条血管以及每条血管的类型,在该血管图像402中,是采用不同的线条来表示不同类型的血管,另外,也可以通过像素值等其他图像信息来表示血管的类型。
可选地,第一样本图像可以是完整图像中的部分区域,因此,获取第一样本数据可以包括:对获取的样本图像和样本图像对应的样本分割图像进行切割处理,将样本图像和样本分割图像切分为多个第一样本图像和多个第一样本分割图像,后续根据多个第一样本图像和多个第一样本分割图像训练图像分割模型。这样,可以减少需要获取的样本图像和样本分割图像的数量,避免了由于样本图像和样本分割图像的数量较少,而影响图像分割模型的训练效果。
如图4所示,对眼底视网膜图像401进行切割处理,得到第一眼底网膜图像403,对血管图像402进行切割处理,得到第一血管图像404,根据第一眼底网膜图像403和第一血管图像404训练图像分割模型,例如,将第一眼底网膜图像403输入至图像分割模型中,得到第一预测血管图像405,根据第一血管图像404和第一预测血管图像405来训练图像分割模型,另外,对获取多个第一预测血管图像405进行拼接还可以得到眼底视网膜图像401对应的预测分割图像406。其中,图4采用虚线来表示血管的轮廓,不同类型的血管采用不同类型的虚线表示。
302、调用图像分割模型,对第一样本图像进行分割处理,得到第一预测分割图像。
图像分割模型是用于将至少一种类型的对象从原始图像中分割出来的模型,第一预测分割图像是图像分割模型对样本图像进行分割处理后得到的图像,该第一预测分割图像包括多个样本像素点的分割图像信息,该分割图像信息用于指示对应的样本像素点所属的对象。可选地,样本像素点的分割图像信息可以包括像素值,同一类型的对象对应的像素值相同,不同类型的对象对应的像素值不同,则第一预测分割图像中,属于同一个对象的像素点的像素值相同,属于不同对象的像素点的像素值不同,从而可以根据像素值将多种类型的对象区分开,实现了对多种类型的对象进行分割的效果。
另外,该第一预测分割图像可以是彩色图像,也可以是灰度图像,可选地,如果第一预测分割图像是彩色图像,包括多个颜色通道,可以通过不同的颜色通道来显示对应的对象。
例如,第一预测分割图像中包括动脉血管、静脉血管和其他血管,可以采用红色通道来显示动脉血管,动脉血管对应的每个像素点的像素值为[255,0,0],通过绿色通道来显示静脉血管,静脉血管对应的每个像素点的像素值为[0,255,0],通过蓝色通过来显示其他血管,其他血管对应的每个像素点的像素值为[0,0,255]。
其中,图像分割模型将至少一种类型的对象从原始图像中分割出来,需要获知该对象的类型以及该对象在原始图像中的位置。可选地,该图像分割模型是像素级的图像分割模型,换而言之,该图像分割模型可以获取每个像素点对应的类型,根据每个像素点对应的类型,生成第一预测分割图像。在一种可能实现方式中,调用图像分割模型,对第一样本图像进行分割处理,得到第一预测分割图像,可以包括:调用图像分割模型,对第一样本图像进行卷积处理,得到第一样本图像中每个像素点的图像特征,根据每个像素点的图像特征,确定对应像素点的类型的概率图,根据该概率图生成第一预测分割图像。其中,像素点对应的类型为像素点所属对象对应的类型,因此,通过该像素级的图像分割模型,可以确定对象的类型以及该对象在原始图像中的位置,从而将至少一种类型的对象从第一样本图像中分割出来。
另外,该图像分割模型可以是能够实现图像分割的任一种模型,在一种可能实现方式中,该图像分割模型可以采用U-Net(Unity-Networking,统一网络)模型来实现,如图5所示,该图像分割模型501可以先对第一样本图像进行多次下采样,在该下采样的过程中,第一样本图像的尺寸逐渐减小,为了使第一样本图像和第一预测分割图像的尺寸大小一致,还可以通过上采样来放大第一样本图像的尺寸。其中,其中,在上采样过程中,可以综合第一样本图像在下采样过程中提取到的一些特征以及最后提取到的特征进行上采样,也即是,上述上采样过程采用跳跃式传递的方式实现,最后根据上采样得到的特征来对第一样本图像进行分割处理。
需要说明的是,本申请实施例在此仅以U-Net模型为例,对图像分割模型进行说明,而该图像分割模型还可以采用其他模型来实现,本申请实施例对此不做限定。
303、调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到第一预测分割图像的第一类别标识,该第一类别标识指示第一预测分割图像所属的图像类别。
判别模型是用于判别图像所属的图像类别的模型,具有图像分类功能。可选地,判别模型预设有多个图像类别,通过确定图像属于该预设的多个图像类别中的哪个图像类别,来对图像进行分类。
在一种可能实现方式中,预设的多个图像类别可以包括对图像中的对象进行标注得到的分割图像、通过调用图像分割模型生成的分割图像、或者对图像中的对象进行标注及乱序处理后的分割图像等中的至少两项。
可以理解地,如果图像是根据对样本图像进行标注得到的分割图像,则该分割图像的分割效果较好,该分割图像中对象的连续性也较好;如果图像是图像分割模型生成的分割图像,可能会出现图像中某些像素点的分类错误,导致对象中断的情况,例如,动脉血管对应的部分像素点的分类结果为静脉血管,会导致动脉血管中断,因此,该分割图像的分割效果相比标注得到的分割图像的分割效果较差,对象的连续性也较差;如果图像是对标注分割图像进行乱序处理的分割图像,则该分割图像中,对象失去了连续性,对象的分割效果相对于标注分割图像和预测分割图像来说,分割效果最差。
因此,分割图像中的对象是否连续,可以指示该图像的分割效果,而判别模型可以根据图像的分割效果,也就是分割图像中对象的连续性,对分割图像进行分类,从而,可以根据判别模型输出的第一类别标识,确定第一预测分割图像中对象的连续性。
另外,该判别模型可以根据样本图像中对象的连续性和预测分割图像中对象的连续性来确定预测分割图像的分割效果。可选地,该判别模型设置有至少一个连续性等级,第一类别标识表示第一预测分割图像与该至少一个连续性等级的对比结果,根据该对比结果可以确定该第一预测分割图像的图像类别。在一种可能实现方式中,第一类别标识表示第一预测分割图像的连续性等级与第一预设等级和第二预设等级的对比结果,第一预设等级表示乱序处理后的样本分割图像的连续性等级,第二预设等级表示样本分割图像的连续性等级,从而可以根据该判别模型输出的类别标识确定预测分割图像的连续性等级,也即是获取到预测分割图像中对象的连续性等级,实现了对预测分割图像中对象的连续性的检测,后续可以根据预测分割图像中对象的连续性等级,对图像分割模型进行训练,使得图像分割模型在分割处理时,可以更加关注对象的连续性,提高预测分割图像中对象的连续性。
例如,如果预测分割图像的连续性等级未超过第一预设等级,则对比结果为0,如果预测分割图像的连续性等级超过第一预设等级,则对比结果为1。因此,如果该第一类别标识为[0,0]则表示预测分割图像的连续性等级未超过第一预设等级和第二预设等级,该类别标识表示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。如果该第一类别标识为[1,0]则表示预测分割图像的连续性等级超过第一预设等级,但未超过第二预设等级,该类别标识表示的图像类别为通过调用图像分割模型生成的预测分割图像。如果该第一类别标识为[1,1]则表示预测分割图像的连续性等级超过第一预设等级和第二预设等级,该类别标识表示的图像类别为对图像中的对象进行标注得到的样本分割图像。
其中,第一图像信息包括第一样本图像中多个样本像素点的原始图像信息,第二图像信息包括多个样本像素点的分割图像信息,且该分割图像信息指示对应的样本像素点所属的对象。根据第一图像信息和第二图像信息进行判别处理,包括:根据多个样本像素点的原始图像信息与该多个样本像素点的分割图像信息进行判别处理,也即是参考第一样本图像,来确定第一预测分割图像的分割效果。
可选地,判别模型每次仅能处理一张图像,因此,在参考第一样本图像,来确定第一预测分割图像的分割效果时,可以将第一样本图像和第一预测分割图像进行重合,得到第一重合图像,将第一重合图像输入至判别模型中,由判别模型对该第一重合图像进行处理。在一种可能实现方式中,调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到第一预测分割图像的第一类别标识,包括:获取第一重合图像,第一重合图像通过将第一样本图像和第一预测分割图像进行重合得到,第一重合图像包括第一图像信息和第二图像信息;调用判别模型,根据第一重合图像进行判别处理,得到第一预测分割图像的第一类别标识。
其中,将第一样本图像和第一预测分割图像进行重合处理时,会保留第一样本图像中的第一图像信息和第一预测分割图像中的第二图像信息,从而将第一重合图像输入至判别模型后,判别模型可以将第一样本图像的第一图像信息作为参考,对第一预测分割图像的第二图像信息进行判别处理,通过将两张图像合并成一张图像,并在一张图像中保留两张图像的图像信息,实现了判别模型对两张图像中的图像信息进行判别处理。
其中,第一重合图像包括第一图像信息和第二图像信息可以是指:第一重合图像中每个样本像素点对应该样本像素点的原始图像信息和分割图像信息。例如,第一样本图像为258*258的三通道图像,第一预测分割图像为258*258的三通道图像,第一重合图像为258*258的六通道图像。
由于判别模型是参考第一样本图像,确定第一预测分割图像的分割效果的,因此,第一样本图像与第一预测分割图像的关联性越高,第一预测分割图像的分割效果越好,第一样本图像与第一预测分割图像的关联性越低,第一预测分割图像的分割效果越差,其中,第一样本图像与第一预测分割图像的关联性可以是第一样本图像与第一预测分割图像的相似性。例如,第一样本图像中第一样本像素点所属对象类别为静脉血管,若第一预测分割图像中与该第一样本像素点对应的第二样本像素点所属对象类别为动脉血管或者其他血管,则第一样本像素点与第二样本像素点的关联性较低,若第二样本像素点所属对象的类别为静脉血管,则第一样本像素点与第二样本像素点的关联性较高。
在一种可能实现方式中,判别模型包括特征提取层和判别层,调用判别模型,根据第一重合图像进行判别处理,得到第一预测分割图像的第一类别标识,包括:调用特征提取层,对第一重合图像进行特征提取,得到第一重合图像的关联特征,关联特征指示第一图像信息与第二图像信息之间的关联性;调用判别层,根据关联特征进行判别处理,得到第一类别标识。
其中,第一图像信息包括第一样本图像中多个样本像素点的原始图像信息,该原始图像信息可以指示对应样本像素点所属的对象,第二图像信息包括多个样本像素点的分割图像信息,且该分割图像信息指示对应的样本像素点所属的对象。因此,第一图像信息与第二图像信息之间的关联性可以是第一图像信息中原始图像信息指示的对应样本像素点所属的对象,与分割图像信息指示的对应样本像素点所属的对象是否为同一对象,也可以是第一图像信息中连续的多个样本像素点所属的对象,与第二图像信息中对应的连续的多个样本像素点所属的对象是否为同一对象。
例如,在动静脉血管分割的场景下,第一图像信息与第二图像信息之间的关联性可以是第一样本图像中动脉血管的拓扑结构与第一预测分割图像中动脉血管的拓扑结构的相似性,以及第一样本图像中静脉血管的拓扑结构与第一预测分割图像中静脉血管的拓扑结构的相似性。
通过获取第一图像信息和第二图像信息之间的关联特征,可以获取到第一样本图像中对象的拓扑结构与第一预测分割图像中对象的拓扑结构之间的相似性,从而判别模型可以根据第一图像信息和第二图像信息之间的关联特征,准确获取第一预测分割图像中对象的连续性等级。
可选地,关联特征包括多个区域关联特征,多个区域关联特征可以表示两个图像的整体关联特征。在一种可能实现方式中,第一图像信息包括多个第一区域图像信息,第二图像信息包括多个第二区域图像信息,调用特征提取层,对第一重合图像进行特征提取,得到第一重合图像的关联特征,包括:调用特征提取层,根据多个第一区域图像信息和多个第二区域图像信息,分别对第一重合图像中对应的区域进行特征提取,得到多个区域分别对应的区域关联特征,而得到该多个区域关联特征即是得到了第一重合图像的关联特征。由于获取局部关联特征相对于直接获取整体关联特征更加精确,因此,通过获取第一重合图像的局部关联特征,来获取第一重合图像的整体关联特征,可以使得到的关联特征更加精确,从而根据关联特征得到的判别标识也更加精确。
可选地,特征提取层为卷积层,区域的大小可以根据卷积层的卷积核大小来确定,该区域为该卷积层的感受野。
可选地,特征提取层可以包括多个卷积层,该多个卷积层可以逐层对该第一重合图像进行特征提取,该第一重合图像的关联特征为最后一个卷积层提取到的关联特征。
例如,第一个卷积层对第一重合图像进行特征提取,得到第一重合图像的第一关联特征,第二个卷积层对第一重合图像的第一关联特征进行特征提取,得到第一重合图像的第二关联特征,第三个卷积层对第一重合图像的第二关联特征进行特征提取,得到第一重合图像的第三关联特征,直至第n个卷积层对第一重合图像的第n-1关联特征进行特征提取,得到第一重合图像的第n关联特征,n为正整数。通过多个卷积层对第一重合图像进行特征提取,可以根据图像的局部关联性,获取到图像的整体关联性,实现了对预测分割图像的分割效果的判断。
需要说明的是,本申请实施例中的判别模型可以是经过训练,且准确度达到预设准确度的模型,也可以是经过训练,但准确度未达到预设准确度的模型,还可以是未经过训练的模型。如果判别模型为经过训练,但准确度未达到预设准确度的模型,或者,该判别模型为未经过训练的模型,还可以在获取第一类别标识之后,对判别模型进行训练。
在一种可能实现方式中,调用判别模型,根据第一样本图像的第一图像信息和第一预测分割图像的第二图像信息进行判别处理,得到第一预测分割图像的第一类别标识之后,方法还包括:根据第一类别标识和第一预测分割图像对应的第一预设类别标识之间的差异,训练判别模型,以使训练后的判别模型的损失值收敛,第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。通过训练判别模型可以提高判别模型的准确性,使得图像分割模型更难骗过该判别模型,需要图像分割模型生成更加接近于标注分割图像的预测分割图像,进而提高图像分割模型的准确性。
其中,在训练判别模型时,需要根据图像的判别结果以及该图像的真实图像类别,来确定判别模型的输出是否准确,如果图像的判别结果以及该图像的真实图像类别不同,则该判别模型的输出不准确,需要根据第一类别标识和第一预设类别标识之间的差异,来训练判别模型。
其中,该图像的真实图像类别为第一预设类别标识,计算机设备可以根据图像的来源、图像的标签等获知图像的真实图像类别。
第一类别标识和第一预设类别标识之间的差异越大,判别模型的准确性越低,第一类别标识和第一预设类别标识之间的差异越小,判别模型的准确率越高,因此,可以根据第一类别标识和第一预设类别标识之间的差异来训练判别模型。
在一种可能实现方式中,根据第一类别标识和第一预测分割图像对应的第一预设类别标识之间的差异,训练判别模型,包括:根据第一类别标识、第一预设类别标识和第三关系数据,获取所述第一预测分割图像的损失值,第三关系数据表示判别模型为任一图像确定的类别标识、该任一图像的预设类别标识与该任一图像的损失值之间的关系;根据该损失值,调整该判别模型的模型参数。
可选地,该第三关系数据,可以如下所示:
Figure GDA0004051770220000201
其中,
Figure GDA0004051770220000202
为损失值,指示判别模型的判别损失,y1为第一预设类别标识,log为对数函数,D(x,G(x))为第一类别标识,是判别模型对第一重合图像的预测结果,x为第一样本图像,G(x)为第一预测分割图像,log为对数函数,
Figure GDA0004051770220000211
为期望函数。
另外,除了根据第一预测分割图像来训练判别模型之外,还可以根据其他图像来训练该判别模型,以下训练过程,可以在执行上述步骤303之前执行,也可以在执行上述步骤303之后执行。
在一种可能实现方式中,获取第二样本图像对应的第二样本分割图像,第二样本分割图像通过对第二样本图像中的对象进行标注得到;调用判别模型,根据第二样本图像的第三图像信息和第二样本分割图像的第四图像信息进行判别处理,得到第二样本分割图像的第二类别标识,第二类别标识指示第二样本分割图像所属的图像类别;根据第二类别标识和第二预设类别标识之间的差异,训练判别模型,以使训练后的判别模型的损失值收敛,第二类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
通过采用样本分割图像对判别模型进行训练,使得判别模型可以更好学习标注分割图像的特征,再对其他图像进行判别处理时,可以更好地区分标注分割图像和其他图像,使得图像分割模型输出的预测分割图像难以骗过该判别模型。
其中,第二类别标识是判定模型为第二样本分割图像确定的类别标识,但是该第二样本图像实际上是通过对第二样本图像中的对象进行标注得到的,因此,该第二样本图像的真实图像类别应该是标注分割图像,即真实类别标识为第二类别标识,因此,根据第一类别标识和第二预设类别标识之间的差异,来训练判别模型,以使判别模型的损失值减小,随着对判别模型的多次训练,该判别模型的损失值逐渐减小,直至该损失值收敛,则判别模型的准确率达到要求。
另外,第二样本图像和第一样本图像可以是同一样本图像,也可以是不同的样本图像,本申请实施例对此不做限定。
另外,根据第二类别标识和第二预设类别标识之间的差异,训练判别模型的方式与根据第一类别标识和第一预测分割图像对应的第一预设类别标识之间的差异,训练判别模型的方式类似,在此不再一一赘述。
在另一种可能实现方式中,获取第二样本图像对应的第二预测分割图像,第二预测分割图像通过调用图像分割模型对第二样本图像进行分割处理得到;调用判别模型,根据第二样本图像的第三图像信息和第二预测分割图像的第五图像信息进行判别处理,得到第二预测分割图像的第三类别标识,第三类别标识指示第二预测分割图像所属的图像类别;根据第三类别标识和第三预设类别标识之间的差异,训练判别模型,以使训练后的判别模型的损失值收敛,第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
通过采用预测分割图像对判别模型进行训练,使得判别模型可以更好学习预测分割图像的特征,再对其他图像进行判别处理时,可以更好地区分预测分割图像和其他图像,在对图像分割模型输出的预测分割图像进行判别处理时,可以将该预测分割图像确认为预测分割图像,使得图像分割模型输出的预测分割图像难以骗过该判别模型。
另外,根据第三类别标识和第三预设类别标识之间的差异,训练判别模型的方式与根据第一类别标识和第一预测分割图像对应的第一预设类别标识之间的差异,训练判别模型的方式类似,在此不再一一赘述。
为了使判别模型更加准确地确定图像的分割效果,或者拓扑连续性,在训练判别模型时,可以获取一些不同拓扑连续性的样本。该不同连续性的样本可以通过对样本分割图像进行打乱处理得到。在另一种可能实现方式中,获取第二样本图像对应的第二样本分割图像,第二样本分割图像通过对第二样本图像中的对象进行标注得到;对第二样本分割图像进行乱序处理,得到第三样本分割图像;调用判别模型,根据第二样本图像的第三图像信息和第三样本分割图像的第六图像信息进行判别处理,得到第三样本分割图像的第四判别标识,第四类别标识指示第三样本分割图像所属的图像类别;根据第四类别标识和第四预设类别标识之间的差异,训练判别模型,以使训练后的判别模型的损失值收敛,第四预设类别标识指示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。
通过获取不同拓扑连续性的样本对判别模型进行训练,可以使得判别模型可以区分不同拓扑连续性等级的图像,使得判别模型对图像中对象的拓扑特征更加敏感,输出的判别标识能够指示该图像的拓扑连续性等级,从而确定预测分割图像中的拓扑损失,后续根据预测分割图像中的拓扑损失对图像分割模型进行训练,可以使得图像分割模型更加关注对象的拓扑连续性。
其中,打乱处理可以是,将第二样本分割图像中的部分像素点对应的像素值删除,也就是将该像素值设置为[0,0,0],还可以是将第二样本分割图像中任两个像素点对应的像素值进行交换处理,例如,第一样本分割图像中第一像素点的像素值为[0,255,0],第二像素点的像素值为[0,0,255],将第一像素点和第二像素点对应的像素值进行交换处理后,第一像素点的像素值为[0,0,255],第二像素点的像素值为[0,255,0]。其中,在进行交换处理时,还可以将连续的多个第一像素点与连续的多个第二像素点对应的像素值进行交换处理。
该打乱处理还可以是移动第二样本分割图像中的部分对象的位置,例如,将第二样本图像中第一像素点的像素值设置为第二像素点的像素值,将第二像素点的像素点删除,也就是设置为[0,0,0]。
另外,根据第四类别标识和第四预设类别标识之间的差异,训练判别模型的方式与根据第一类别标识和第一预测分割图像对应的第一预设类别标识之间的差异,训练判别模型的方式类似,在此不再一一赘述。
另外,需要说明的是,在训练判别模型时,还可以将以上提供的三种训练方式进行任意结合。例如,在一种可能实现方式中,根据第二类别标识和第二预设类别标识之间的差异、第三类别标识和第三预设类别标识之间的差异和第四类别标识和第四预设类别标识之间的差异,训练判别模型。
可选地,根据第二类别标识和第二预设类别标识之间的差异、第三类别标识和第三预设类别标识之间的差异和第四类别标识和第四预设类别标识之间的差异,训练判别模型,可以包括:根据第二类别标识、第二预设类别标识、第三类别标识、第三预设类别标识、第四类别标识、第四预设类别标识和第三关系数据,获取损失值,第三关系数据表示判别模型为任一图像确定的类别标识、该任一图像的预设类别标识与该任一图像的损失值之间的关系;根据该损失值,调整该判别模型的模型参数。
可选地,该第三关系数据,可以如下所示:
Figure GDA0004051770220000231
其中,
Figure GDA0004051770220000232
为期望函数,log为对数函数,X为第二样本图像,y1为第三预设类别标识,log为对数函数,D(X,G(X))为第三类别标识,是判别模型对第三重合图像的预测结果,G(x)为第二预测分割图像,y2为第二预设类别标识,D(X,L)为第二类别标识,是判别模型对第二重合图像的预测结果,L为第二样本分割图像,y3是第四预设类别标识,D(X,Ls)为第四类别标识,是判别模型对第四重合图像的预测结果,Ls为第三样本分割图像,
Figure GDA0004051770220000241
为损失值,指示判别模型的判别损失。
需要说明的是,由于第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像,第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像,因此,y1既可以是第一预设类别标识,也可以是第三预设类别标识。
304、调用特征提取模型,对第一预测分割图像进行特征提取,得到第一预测分割图像的第一拓扑特征。
其中,特征提取模型可以是对第一预测分割图像进行特征提取的模型,该特征提取模型可以VGG(Visual Geometry Group,全连接卷积)网络模型,如VGG16、VGG19等。
拓扑特征为拓扑结构的特征,拓扑结构可以看做是多个线条互相连接。在图像分割时,线条一般会是对象的轮廓或者是对象本身,如果线条连续性较好,可以划分完整的对象,如果线条不连续,则表示该对象中断,从而导致分割效果较差。
另外,该特征提取模型可以是预先训练好的用于提取拓扑特征的模型,在训练图像分割模型的过程中,无需对该特征提取模型进行训练,该特征提取模型提取的拓扑特征也更加准确,从而可以加快图像分割模型的训练速度。
由于预测分割图像相比样本图像少了许多冗余信息,对预测分割图像进行拓扑特征提取,得到的拓扑特征效果更好,例如,在视网膜的动静脉分割场景下,预测分割图像中包括动脉血管和静脉血管,而不包括视网膜信息,因此,对该预测分割图像进行特征提取,可以获取到动脉血管和静脉血管的拓扑特征。
可选地,特征提取模型在对第一预测分割图像进行特征提取时,可以先提取预测分割图像的局部区域的拓扑特征,多个局部区域的拓扑特征构成第一预测分割图像的第一拓扑特征。在一种可能实现方式中,第一预测分割图像的第二图像信息包括多个第二区域图像信息,第一拓扑特征包括多个第一区域拓扑特征,调用特征提取模型,对第一预测分割图像进行特征提取,得到第一预测分割图像的第一拓扑特征,包括:调用特征提取模型,根据多个第二区域图像信息,分别对第一预测分割图像中对应的区域进行特征提取,得到多个区域分别对应的第一区域拓扑特征。由于直接获取图像的全局拓扑特征会出现拓扑特征不准确的问题,因此,该特征提取模型先获取局部区域的区域拓扑特征,通过获取多个局部区域的区域拓扑特征来得到更加准确地全部拓扑特征。
可选地,特征提取模型可以包括卷积层,区域的大小可以根据卷积层的卷积核大小来确定,该区域为该卷积层的感受野。
可选地,特征提取模型可以包括多个卷积层,该多个卷积层可以逐层对该第一预测分割图像进行特征提取,该第一预测分割图像的第一拓扑特征可以仅包括最后一个卷积层提取到的拓扑特征,也可以包括每个卷积层提取到的拓扑特征。
例如,第一个卷积层对第一预测分割图像进行特征提取,得到第一预测分割图像的第一关联特征,第二个卷积层对第一预测分割图像的第一关联特征进行特征提取,得到第一预测分割图像的第二关联特征,第三个卷积层对第一预测分割图像的第二关联特征进行特征提取,得到第一预测分割图像的第三关联特征,直至第n个卷积层对第一预测分割图像的第n-1关联特征进行特征提取,得到第一预测分割图像的第n关联特征,n为正整数。通过多个卷积层对第一预测分割图像进行特征提取,可以根据图像的局部关联性,获取到图像的整体关联性,实现了对预测分割图像的分割效果的判断。
又如,如图5所示,特征提取模型503包括4个卷积层,第一拓扑特征包括每个卷积层输出的拓扑特征。这样可以对比每一层中拓扑特征的差异,能够更加准确地获取到第一预测分割图像的拓扑损失,在根据第一预测分割图像的拓扑损失训练图像分割模型时,可以使训练的图像分割模型更加准确。
305、调用特征提取模型,对第一样本分割图像进行特征提取,得到第一样本分割图像的第二拓扑特征。
第一样本图像中的信息较为丰富,如果对第一样本图像进行特征提取,可能会难以提取到该第一样本图像的拓扑特征,由于第一样本分割图像是对第一样本图像中的对象进行标注得到的,因此,该第一样本分割图像可以认为是真实分割图像,该第一样本分割图像中的图像分割信息能够还原第一样本图像中的对象,从而对第一样本分割图像进行特征提取,不仅能够提取到拓扑特征,该拓扑特征还可以较好地表示第一样本图像的拓扑特征。
可选地,特征提取模型在对第一样本分割图像进行特征提取时,可以先提取预测分割图像的局部区域的拓扑特征,多个局部区域的拓扑特征构成第一样本分割图像的第一拓扑特征。在一种可能实现方式中,第一样本分割图像的第七图像信息包括多个第七区域图像信息,第二拓扑特征包括多个第二区域拓扑特征,调用特征提取模型,对第一样本分割图像进行特征提取,得到第一样本分割图像的第一拓扑特征,包括:调用特征提取模型,根据多个第七区域图像信息,分别对第一样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第二区域拓扑特征。由于直接获取图像的全局拓扑特征会出现拓扑特征不准确的问题,因此,该特征提取模型先获取局部区域的区域拓扑特征,通过获取多个局部区域的区域拓扑特征来得到更加准确地全部拓扑特征。
可选地,特征提取模型可以包括卷积层,区域的大小可以根据卷积层的卷积核大小来确定,该区域为该卷积层的感受野。
可选地,特征提取模型可以包括多个卷积层,该多个卷积层可以逐层对该第一样本分割图像进行特征提取,该第一样本分割图像的第一拓扑特征可以仅包括最后一个卷积层提取到的拓扑特征,也可以包括每个卷积层提取到的拓扑特征。
需要说明的是,上述步骤306与步骤305类似,在此不再一一赘述。
需要说明的是,本申请实施例对步骤303至步骤305的执行时机不做限定,步骤303至步骤305可以同时执行,也可以按照先后顺序执行。如果步骤302至步骤305按照先后顺序依次执行,则步骤303至步骤305可以按照任一先后顺序执行,本申请实施例对步骤303至步骤305的执行顺序不做限定。
306、对第一样本分割图像进行乱序处理,得到第四样本分割图像。
该步骤306与步骤303中将第二样本分割图像进行乱序处理,得到第四样本分割图像的过程类似,在此不再一一赘述。
307、调用特征提取模型,对第四样本分割图像进行特征提取,得到第四样本分割图像的第三拓扑特征。
由于第四样本分割图像是对第一样本分割图像进行乱序处理后得到的图像,因此,该第四样本分割图像的拓扑连续性会较差,因此,后续可以将第一样本分割图像作为正例,将第四样本分割图像作为负例,来确定第一预测分割图像的拓扑连续性是否达到预期效果。
可选地,特征提取模型在对第四样本分割图像进行特征提取时,可以先提取预测分割图像的局部区域的拓扑特征,多个局部区域的拓扑特征构成第四样本分割图像的第一拓扑特征。在一种可能实现方式中,第四样本分割图像的第八图像信息包括多个第八区域图像信息,第三拓扑特征包括多个第三区域拓扑特征,调用特征提取模型,对第四样本分割图像进行特征提取,得到第四样本分割图像的第一拓扑特征,包括:调用特征提取模型,根据多个第八区域图像信息,分别对第四样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第三区域拓扑特征。由于直接获取图像的全局拓扑特征会出现拓扑特征不准确的问题,因此,该特征提取模型先获取局部区域的区域拓扑特征,通过获取多个局部区域的区域拓扑特征来得到更加准确地全部拓扑特征。
可选地,特征提取模型可以包括卷积层,区域的大小可以根据卷积层的卷积核大小来确定,该区域为该卷积层的感受野。
可选地,特征提取模型可以包括多个卷积层,该多个卷积层可以逐层对该第四样本分割图像进行特征提取,该第四样本分割图像的第一拓扑特征可以仅包括最后一个卷积层提取到的拓扑特征,也可以包括每个卷积层提取到的拓扑特征。
该步骤307、步骤305与上述步骤306类似,在此不再一一赘述。
需要说明的是,上述步骤306可以在步骤301之后的任一时机执行,上述步骤307在步骤306之后的任一时机执行。
308、根据第一拓扑特征、第二拓扑特征和第三拓扑特征之间的差异、以及第一类别标识和目标类别标识之间的差异,训练图像分割模型。
由于第一类别标识和目标类别标识是基于判别模型确定的,而第一拓扑特征、第二拓扑特征和第三拓扑特征是基于图像分割模型确定的,因此,第一类别标识和目标类别标识可以对应一个关系数据,第一拓扑特征、第二拓扑特征和第三拓扑特征可以对应一个关系数据。
在一种可能实现方式中,根据第一拓扑特征、第二拓扑特征和第三拓扑特征之间的差异、以及第一类别标识和目标类别标识之间的差异,训练图像分割模型,包括:根据第一类别标识、目标类别标识和第一关系数据,获取第一预测分割图像的第一损失值,第一关系数据表示判别模型为任一图像确定的类别标识、任一图像的目标类别标识与任一图像的损失值之间的关系;根据第一拓扑特征、第二拓扑特征、第三拓扑特征和第二关系数据,获取第一预测分割图像的第二损失值,第二关系数据表示任一预测分割图像的拓扑特征、任一预测分割图像对应的样本分割图像的拓扑特征、任一预测分割图像对应的乱序处理后的样本分割图像的拓扑特征和任一预测分割图像的损失值之间的关系;根据第一损失值和第二损失值,调整图像分割模型的模型参数。也就是说,通过判别模型和特征提取模型来确定预测分割图像的拓扑损失值,根据两个模型获取的拓扑损失值对图像分割模型进行训练,可以使得获取到的拓扑损失值更加准确,从而可以进一步提高图像分割模型的训练效果。
可选地,第一关系数据可以如下所示:
Figure GDA0004051770220000281
其中,
Figure GDA0004051770220000282
为第一损失值,y2为目标类别标识,x为第一样本图像,G(x)为第一预测分割图像,D(x,G(x))为第一类别标识,log为对数函数,
Figure GDA0004051770220000283
为期望函数。
可选地,该第二关系数据可以如下所示:
Figure GDA0004051770220000284
在第二关系数据中,可以将样本分割图像L作为锚、预测分割图像G(x)作为正例、乱序处理后的样本分割图像Ls为反例,其中,α是一个超参数,代表边距并置为1,该边距指示特征的最小距离间隔。N代表用于提取特征的网络的层数,可选地,N为4且特征提取模型的特征提取层分别为第2、4、6和8层的激活层。
Figure GDA0004051770220000285
Figure GDA0004051770220000286
分别表示在第i层中,正例和锚的距离与反例和锚的距离,max为取最大值函数。其中,Ci、Wi和Hi分别表示第i层的特征图的通道个数、宽度和高度。Fi表示在特征提取模型第i层的映射函数,为矩阵A中每个元素的平方和的平方根。
也就是说,本申请实施例采用三元组损失来缩小预测分割图像和样本分割图像之间的拓扑特征距离,其中,三元组损失包括预测分割图像相对于样本分割图像的拓扑损失、以及乱序处理后的样本分割图像相对于样本分割图像的拓扑损失。
另外,在根据第一损失值和第二损失值,调整图像分割模型的模型参数,可以包括:对第一损失值和第二损失值进行统计处理,根据统计处理后的损失值,调整该图像分割模型的模型参数。
需要说明的是,本申请实施例仅是以判别模型和特征提取模型来辅助图像分割模型进行训练,对图像分割模型的训练过程进行示例性说明,而在另一实施例中,还可以根据判别模型来辅助图像分割模型进行训练,而不采用特征提取模型。
在一种可能实现方式中,在执行步骤303之后,直接执行下述步骤:根据第一类别标识和目标类别标识之间的差异,训练图像分割模型。
如果判别模型对图像分割模型输出的多个预测分割图像进行判别处理之后,输出的多个类别标识中大部分类别标识指示该预测分割图像的图像类别为样本分割图像,则该图像分割模型训练完成。
该图像分割模型和判别模型相当于构成了一个对抗模型,由于图像分割模型生成预测分割图像,由判别模型验证该预测分割图像是生成的图像还是真实的图像,判别模型的训练目标是:通过训练判别模型,使得判别模型能够更加准确地区分出标注分割图像和通过图像分割模型生成的预测分割图像。而图像分割模型的训练目标是:通过训练图像分割模型,使得图像分割模型生成的预测分割图像更加精确,更加接近于标注分割图像,更加容易骗过判别模型,使判别模型能将预测分割图像判定为标注分割图像。
可选地,根据第一类别标识和目标类别标识之间的差异,训练图像分割模型,可以包括:根据第一类别标识、目标类别标识和第一关系数据,获取第一预测分割图像的损失值,第一关系数据表示判别模型为任一图像确定的类别标识、任一图像的目标类别标识与任一图像的损失值之间的关系;根据损失值,调整图像分割模型的模型参数。
需要说明的另一点是,图像分割模型可以是训练完成的模型,也可以是未训练的模型,还可以是部分训练完成的模型。如果图像分割模型是训练完成的模型,那么在执行步骤306时,可以无需根据第一样本分割图像和第一预测分割图像之间的差异,来训练该图像分割模型,如果图像分割模型是没有经过训练的模型,还可以是部分训练完成的模型,需要根据第一拓扑特征、第二拓扑特征和第三拓扑特征之间的差异,以及第一样本分割图像和第一预测分割图像之间的差异,以及第一类别标识和目标类别标识之间的差异,来训练该图像分割模型。
可选地,根据第一拓扑特征、第二拓扑特征和第三拓扑特征之间的差异,以及第一样本分割图像和第一预测分割图像之间的差异,以及第一类别标识和目标类别标识之间的差异,来训练图像分割模型,可以包括:根据第一样本分割图像、第一预测分割图像和第四关系数据,获取图像分割模型的损失值,根据图像分割模型的损失值,以及第一预测分割图像的第一损失值和第二损失值,来调整图像分割模型的模型参数,以使该图像分割模型的损失值收敛。
其中,第四关系数据表示图像分割模型为任一图像生成的分割图像,以及该任一图像的标注图像和图像分割模型的损失值之间的关系。
可选地,该第四关系数据可以如下所示:
Figure GDA0004051770220000301
其中,L4为图像分割模型的损失值,c表示对象的类别,μc表示类别对应的权重,log为对数函数,可选地,图像分割模型将三个类别的对象从图像中分割处理,μc表示三个类别对应的权重,例如,μc分别为0.3、0.4和0.3。
在根据图像分割模型的损失值,以及第一预测分割图像的第一损失值和第二损失值,来调整图像分割模型的模型参数时,可以对图像分割模型的损失值、第一损失值和第二损失值进行统计处理,根据统计处理后的损失值来调整图像分割模型的参数。
可选地,可以采用如下方式,对图像分割模型的损失值、第一损失值和第二损失值进行统计处理:
L=L4+λ1L3+λ2L5;
其中,L为统计处理后的损失值,L5为第二损失值。其中,λ1和λ2为权重,可以[0,1]内的任一数值。可选地,λ1设置为0.2,λ2设置为0.1。
如果该图像分割模型是部分训练好的模型,在训练该图像分割模型时,可以保持训练完成部分的模型参数不变。例如,图像分割模型的特征提取层是预先训练完成的,则在训练图像分割模型时,可以保持特征提取层的模型参数不变。
需要说明的是,上述步骤306和步骤307为可选执行步骤,可以根据需求选择执行或者不执行。在一种可能实现方式中,不执行该步骤306和步骤307,在执行步骤305之后,直接根据第一拓扑特征和第二拓扑特征之间的差异、以及第一类别标识和目标类别标识之间的差异,训练图像分割模型。
在一种可能实现方式中,根据第一拓扑特征和第二拓扑特征之间的差异、以及第一类别标识和目标类别标识之间的差异,训练图像分割模型,可以包括:根据第一拓扑特征、第二拓扑特征和第二关系数据,获取第一预测分割图像的损失值,第二关系数据表示任一预测分割图像的拓扑特征、任一预测分割图像对应的样本分割图像的拓扑特征和任一预测分割图像的损失值之间的关系;根据第一类别标识、目标类别标识和第一关系数据,获取第一预测分割图像的第一损失值,第一关系数据表示判别模型为任一图像确定的类别标识、任一图像的目标类别标识与任一图像的损失值之间的关系;根据第一损失值和第二损失值,调整图像分割模型的模型参数。
需要说明的是,本申请实施例提供的图像分割模型训练方法,还可以仅通过判别模型辅助图像分割模型进行训练,也就是说,不执行上述步骤304和步骤305,在执行步骤303之后,根据第一类别标识和目标类别标识之间的差异,训练图像分割模型。
需要说明的是,本申请实施例提供的图像分割模型训练方法,还可以仅通过特征提取模型辅助图像分割模型进行训练,也就是说,不执行上述步骤303在执行步骤305之后,可以根据第一拓扑特征和第二拓扑特征之间的差异,训练图像分割模型;或者,在执行上述步骤307之后,可以根据第一拓扑特征、第二拓扑特征和第三拓扑特征之间的差异,训练图像分割模型。
本申请实施例提供的图像分割模型训练方法,会将图像分割模型输出的预测分割图像输入至判别模型中,由判别模型来确定该预测分割图像的类别标识,并且还根据特征提取模型,来提取第一预测分割图像的第一拓扑特征和第一样本分割图像的第二拓扑特征,根据判别模型输出的类别标识和目标类别标识之间的差异、以及第一拓扑特征和第二拓扑特征之间的差异,来训练图像分割模型,可以促使图像分割模型更加关注图像的拓扑特征,得到的预测分割图像中对象的连续性也更加接近于标注分割图像中对象的连续性,也即是保证了图像分割模型分割出的对象的连续性。
另外,类别标识表示图像与该至少一个连续性等级的对比结果,从而可以根据该判别模型输出的类别标识确定图像的连续性等级,也即是获取到图像中对象的连续性等级,实现了对图像中对象的连续性的检测,后续可以根据预测分割图像中对象的连续性等级,对图像分割模型进行训练,使得图像分割模型在分割处理时,可以更加关注对象的连续性,因此调用图像分割模型得到的预测分割图像中,对象的连续性也会提高。
另外,通过获取第一图像信息和第二图像信息之间的关联特征,可以获取到第一样本图像中对象的拓扑结构与第一预测分割图像中对象的拓扑结构之间的相似性,从而判别模型可以根据第一图像信息和第二图像信息之间的关联特征,准确获取第一预测分割图像中对象的连续性等级。
另外,通过获取不同拓扑连续性的样本对判别模型进行训练,可以使得判别模型可以区分不同拓扑连续性等级的图像,使得判别模型对图像中对象的拓扑特征更加敏感,输出的判别标识能够指示该图像的拓扑连续性等级,从而确定预测分割图像中的拓扑损失,后续根据预测分割图像中的拓扑损失对图像分割模型进行训练,可以使得图像分割模型更加关注对象的拓扑连续性,调用该图像分割模型生成的预测分割图像中对象的连续性更好。
另外,特征提取模型提取的拓扑特征可以是多个卷积层输出的拓扑特征,从而可以对比每一层中拓扑特征的差异,能够更加准确地获取到第一预测分割图像的拓扑损失,在根据第一预测分割图像的拓扑损失训练图像分割模型时,可以使训练的图像分割模型更加准确。
需要说明的是,本申请实施例在训练图像分割模型时,可以使用判别模型和特征提取模型对该图像分割模型进行训练,但是在图像分割模型训练完成,使用图像分割模型对图像进行分割处理时,可以仅通过该图像分割模型完成。
需要说明的是,上述图像分割模型可以应用在分割动静脉血管的场景下,可选地,第一样本图像包括至少一条血管,第一预测分割图像包括至少一条血管以及每条血管的类型。
如图6所示,第一样本图像601为视网膜血管图像,该视网膜血管图像包括视网膜以及位于视网膜上的至少一条血管,第一样本分割图像602为动静脉血管图像,该第一样本分割图像可以是认为对第一样本图像601中的动静脉血管进行标注得到的,第一预测分割图像603为动静脉血管图像,该第一预测分割图像603可以是图像分割模型对第一样本图像601进行分割处理得到的,乱序分割图像604为动静脉血管图像,该乱序分割图像604是对第一样本分割图像602进行乱序处理得到的。
可以采用图5所示的判别模型对上述第一样本图像601、第一样本分割图像602、第一预测分割图像603和乱序分割图像604进行判别处理,将第一样本图像601和第一样本分割图像602进行重合,得到第二重合图像,将第二重合图像输入至判别模型中,由判别模型输出第一样本分割图像602的类别标识;将第一样本图像601和第一预测分割图像603进行重合,得到第一重合图像,将第一重合图像输入至判别模型中,由判别模型输出第一预测分割图像603的类别标识;将第一样本图像601和乱序分割图像604进行重合,得到第三重合图像,将第三重合图像输入至判别模型中,由判别模型输出乱序分割图像604的类别标识。
其中,类别标识可以是[0,0],[1,0]和[1,1],如果类别标识是[0,0]表示图像为乱序处理后的样本分割图像,如果类别标识是[1,0]表示图像为图像分割模型生成的预测分割图像,如果类别标识是[1,1]表示图像为样本分割图像。其中,样本分割图像、预测分割图像和乱序处理后的样本分割图像的拓扑连续性依次降低,因此,可以根据判别模型对图像的拓扑连续性进行排序,通过排序结果可以调整图像分割模型的模型参数,以使图像分割模型输出的预测分割图像的拓扑连续性最好。
另外,还可以采用如图5所示的特征提取模型,来获取样本分割图像602的拓扑特征和预测分割图像603的拓扑特征,利用三元组损失来缩小样本分割图像602和预测分割图像603之间的特征距离。
表1列出了采用不同模型训练图像分割模型后,图像分割模型的准确度,如表1所示,如果采用相关技术中的判别模型(GD)来辅助图像分割模型进行训练的话,动静脉血管分类的结果可以提升2.6%。如果采用本申请实施例提供的可以进行拓扑连续性排序的判别模型(TR-D)来辅助图像分割模型进行训练的话,动静脉血管分类的结果可以提升2.93%。如果采用本申请实施例提供的特征提取模型(TL)来辅助图像分割模型进行训练的话,动静脉血管分类的结果可以提升2.84%。如果结合使用判别模型(TR-D)和特征提取模型(TL),动静脉血管分类的结果可以达到96.29%。
表1
Figure GDA0004051770220000331
Figure GDA0004051770220000341
表2列出了本申请提供的方法和其他方法的比较,本申请提供的方法同时在AV-DRIVE公开数据集上,同时达到了动静脉分类的最优结果。本申请在INSPIRE-AVR上,效果略低于基于图论的方法即Zhao等人和Srinidhi等人提出的方法。主要因为这两种方法在AV-DRIVE和INPIRE-AV数据集上训练,而本申请提供的方法仅仅在AV-DRIVE上训练。
表2
Figure GDA0004051770220000342
本申请提供的方法利用了动静脉的拓扑连续性的特点,以使图像分割模型学习保留血管的拓扑结构信息,从而提高了图像分割模型的在动静脉血管分类的表现。并且,本申请还提供了一种对拓扑连续性进行排序的判别模型,对多个具备不同的拓扑连续性的图像进行排序,并利用对抗学习的方法使图像分割模型的预测分割图像中的对象更加连续,解决了深度学习方法中动静脉血管分类,血管不连续的问题。
另外,还会通过特征提取模型提取图像的拓扑特征,通过利用三元组损失缩小样本分割图像中的动静脉血管和预测分割图像中动静脉血管的特征距离,从而提升了动静脉血管分类的精度。
另外,本申请提供的图像分割模型,在DRIVE公开数据集取得了目前为止最好的动静脉分类的表现。
图7是本申请实施例提供的一种图像分割模型训练装置的结构示意图,如图7所示,该装置包括:
数据获取模块701,用于获取第一样本数据,该第一样本数据包括第一样本图像和该第一样本图像对应的第一样本分割图像,该第一样本分割图像通过对该第一样本图像中的对象进行标注得到;
第一调用模块702,用于调用图像分割模型,对该第一样本图像进行分割处理,得到第一预测分割图像;
第二调用模块703,用于调用判别模型,根据该第一样本图像的第一图像信息和该第一预测分割图像的第二图像信息进行判别处理,得到该第一预测分割图像的第一类别标识,该第一类别标识指示该第一预测分割图像所属的图像类别;
第三调用模块704,用于调用特征提取模型,对该第一预测分割图像和该第一样本分割图像进行特征提取,得到该第一预测分割图像的第一拓扑特征和该第一样本分割图像的第二拓扑特征;
第一训练模块705,用于根据该第一类别标识和目标类别标识之间的差异、以及该第一拓扑特征和该第二拓扑特征之间的差异,训练该图像分割模型,以使训练后的该图像分割模型的损失值收敛,该目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
如图8所示,可选地,该第二调用模块703,包括:
图像获取单元7031,用于获取第一重合图像,该第一重合图像通过将该第一样本图像和该第一预测分割图像进行重合得到,该第一重合图像包括该第一图像信息和该第二图像信息;
调用单元7032,用于调用该判别模型,根据该第一重合图像进行判别处理,得到该第一预测分割图像的第一类别标识。
可选地,该判别模型包括特征提取层和判别层,该调用单元7032,用于调用该特征提取层,对该第一重合图像进行特征提取,得到该第一重合图像的关联特征,该关联特征指示该第一图像信息与该第二图像信息之间的关联性;
该调用单元7032,还用于调用该判别层,根据该关联特征进行判别处理,得到该第一类别标识。
可选地,该关联特征包括多个区域关联特征,该第一图像信息包括多个第一区域图像信息,该第二图像信息包括多个第二区域图像信息,该调用单元7032,还用于调用该特征提取层,根据该多个第一区域图像信息和该多个第二区域图像信息,分别对该第一重合图像中对应的区域进行特征提取,得到多个区域分别对应的区域关联特征。
可选地,该第一训练模块705,包括:
损失值获取单元7051,用于根据该第一类别标识、该目标类别标识和第一关系数据,获取该第一预测分割图像的损失值,该第一关系数据表示判别模型为任一图像确定的类别标识、该任一图像的目标类别标识与该任一图像的损失值之间的关系;
损失值获取单元7051,还用于根据该第一拓扑特征、该第二拓扑特征和第二关系数据,获取该第一预测分割图像的第二损失值,该第二关系数据表示任一预测分割图像的拓扑特征、该任一预测分割图像对应的样本分割图像的拓扑特征和该任一预测分割图像的损失值之间的关系;
调整单元7052,根据该第一损失值和该第二损失值,调整该图像分割模型的模型参数。
可选地,该装置还包括:
第二训练模块706,用于根据该第一类别标识和该第一预测分割图像对应的第一预设类别标识之间的差异,训练该判别模型,以使训练后的该判别模型的损失值收敛,该第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
可选地,该装置还包括:
图像获取模块707,用于获取第二样本图像对应的第二样本分割图像,该第二样本分割图像通过对该第二样本图像中的对象进行标注得到;
该第二调用模块703,用于调用该判别模型,根据该第二样本图像的第三图像信息和该第二样本分割图像的第四图像信息进行判别处理,得到该第二样本分割图像的第二类别标识,该第二类别标识指示该第二样本分割图像所属的图像类别;
第二训练模块706,用于根据该第二类别标识和第二预设类别标识之间的差异,训练该判别模型,以使训练后的该判别模型的损失值收敛,该第二类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
可选地,该装置还包括:
图像获取模块707,用于获取第二样本图像对应的第二预测分割图像,该第二预测分割图像通过调用图像分割模型对该第二样本图像进行分割处理得到;
该第二调用模块703,用于调用该判别模型,根据该第二样本图像的第三图像信息和该第二预测分割图像的第五图像信息进行判别处理,得到该第二预测分割图像的第三类别标识,该第三类别标识指示该第二预测分割图像所属的图像类别;
第二训练模块706,用于根据该第三类别标识和第三预设类别标识之间的差异,训练该判别模型,以使训练后的该判别模型的损失值收敛,该第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
可选地,该装置还包括:
图像获取模块707,用于获取第二样本图像对应的第二样本分割图像,该第二样本分割图像通过对该第二样本图像中的对象进行标注得到;
乱序处理模块708,用于对该第二样本分割图像进行乱序处理,得到第三样本分割图像;
该第二调用模块703,用于调用该判别模型,根据该第二样本图像的第三图像信息和该第三样本分割图像的第六图像信息进行判别处理,得到该第三样本分割图像的第四判别标识,该第四类别标识指示该第三样本分割图像所属的图像类别;
第二训练模块706,用于根据该第四类别标识和第四预设类别标识之间的差异,训练该判别模型,以使训练后的该判别模型的损失值收敛,该第四预设类别标识指示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。
可选地,该第一类别标识表示该第一预测分割图像的连续性等级与第一预设等级和第二预设等级的对比结果,该第一预设等级表示乱序处理后的样本分割图像的连续性等级,该第二预设等级表示样本分割图像的连续性等级。
可选地,该第一预测分割图像的第二图像信息包括多个第二区域图像信息,该第一拓扑特征包括多个第一区域拓扑特征,该第一样本图像的第七图像信息包括多个第七区域图像信息,该第二拓扑特征包括多个第二区域拓扑特征;该第三调用模块704,还用于调用该特征提取模型,根据该多个第二区域图像信息,分别对该第一预测分割图像中对应的区域进行特征提取,得到多个区域分别对应的第一区域拓扑特征;
该第三调用模块704,还用于调用该特征提取模型,根据该多个第七区域图像信息,分别对该第一样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第二区域拓扑特征。
可选地,该装置还包括:
乱序处理模块708,用于对该第一样本分割图像进行乱序处理,得到第四样本分割图像;
该第三调用模块704,还用于调用该特征提取模型,对该第四样本分割图像进行特征提取,得到该第四样本分割图像的第三拓扑特征;
该第一训练模块705,还用于根据该第一拓扑特征、该第二拓扑特征和该第三拓扑特征之间的差异,以及该第一类别标识和目标类别标识之间的差异,训练该图像分割模型。
可选地,该第一样本图像包括至少一条血管,该第一预测分割图像包括至少一条血管以及每条血管的类型。
图9是本申请实施例提供的一种图像分割装置的结构示意图,如图11所示,该装置包括:图像生成模块901,用于调用图像分割模型,生成任一图像对应的预测分割图像,该图像分割模型采用如上述方面该的图像分割模型训练装置训练得到。
图10是本申请实施例提供的一种终端的结构框图。该终端1000用于执行上述实施例中终端或智能设备执行的步骤,可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像分割模型训练方法,或者,以实现本申请中方法实施例提供的图像分割方法。
在一些实施例中,终端1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。射频电路1004用于接收和发射RF(RadioFrequency,射频)信号,也称电磁信号。显示屏1005用于显示UI(User Interface,用户界面)。摄像头组件1006用于采集图像或视频。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1101和一个或一个以上的存储器1102,其中,存储器1102中存储有至少一条指令,至少一条指令由处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1100可以用于执行上述图像分割模型训练方法中服务器所执行的步骤,或者用于执行上述图像分割方法中服务器所执行的步骤。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现上述实施例的图像分割模型训练方法中所执行的操作,或者,以实现上述实施例的图像分割方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现上述实施例的图像分割模型训练方法中所执行的操作,或者,以实现上述实施例的图像分割方法中所执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现上述实施例的图像分割模型训练方法中所执行的操作,或者,以实现上述实施例的图像分割方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (30)

1.一种图像分割模型训练方法,其特征在于,所述方法包括:
获取第一样本数据,所述第一样本数据包括第一样本图像和所述第一样本图像对应的第一样本分割图像,所述第一样本分割图像通过对所述第一样本图像中的对象进行标注得到;
调用图像分割模型,对所述第一样本图像进行分割处理,得到第一预测分割图像;
调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识,所述第一类别标识指示所述第一预测分割图像所属的图像类别;
调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征;
根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,以使训练后的所述图像分割模型的损失值收敛,所述目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
2.根据权利要求1所述的方法,其特征在于,所述调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识,包括:
获取第一重合图像,所述第一重合图像通过将所述第一样本图像和所述第一预测分割图像进行重合得到,所述第一重合图像包括所述第一图像信息和所述第二图像信息;
调用所述判别模型,根据所述第一重合图像进行判别处理,得到所述第一预测分割图像的第一类别标识。
3.根据权利要求2所述的方法,其特征在于,所述判别模型包括特征提取层和判别层,所述调用所述判别模型,根据所述第一重合图像进行判别处理,得到所述第一预测分割图像的第一类别标识,包括:
调用所述特征提取层,对所述第一重合图像进行特征提取,得到所述第一重合图像的关联特征,所述关联特征指示所述第一图像信息与所述第二图像信息之间的关联性;
调用所述判别层,根据所述关联特征进行判别处理,得到所述第一类别标识。
4.根据权利要求3所述的方法,其特征在于,所述关联特征包括多个区域关联特征,所述第一图像信息包括多个第一区域图像信息,所述第二图像信息包括多个第二区域图像信息,所述调用所述特征提取层,对所述第一重合图像进行特征提取,得到所述第一重合图像的关联特征,包括:
调用所述特征提取层,根据所述多个第一区域图像信息和所述多个第二区域图像信息,分别对所述第一重合图像中对应的区域进行特征提取,得到多个区域分别对应的区域关联特征。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,包括:
根据所述第一类别标识、所述目标类别标识和第一关系数据,获取所述第一预测分割图像的第一损失值,所述第一关系数据表示所述判别模型为任一图像确定的类别标识、所述任一图像的目标类别标识与所述任一图像的损失值之间的关系;
根据所述第一拓扑特征、所述第二拓扑特征和第二关系数据,获取所述第一预测分割图像的第二损失值,所述第二关系数据表示任一预测分割图像的拓扑特征、所述任一预测分割图像对应的样本分割图像的拓扑特征和所述任一预测分割图像的损失值之间的关系;
根据所述第一损失值和所述第二损失值,调整所述图像分割模型的模型参数。
6.根据权利要求1所述的方法,其特征在于,所述调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识之后,所述方法还包括:
根据所述第一类别标识和所述第一预测分割图像对应的第一预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;
调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二样本分割图像的第四图像信息进行判别处理,得到所述第二样本分割图像的第二类别标识,所述第二类别标识指示所述第二样本分割图像所属的图像类别;
根据所述第二类别标识和第二预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第二类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第二样本图像对应的第二预测分割图像,所述第二预测分割图像通过调用图像分割模型对所述第二样本图像进行分割处理得到;
调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二预测分割图像的第五图像信息进行判别处理,得到所述第二预测分割图像的第三类别标识,所述第三类别标识指示所述第二预测分割图像所属的图像类别;
根据所述第三类别标识和第三预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;
对所述第二样本分割图像进行乱序处理,得到第三样本分割图像;
调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第三样本分割图像的第六图像信息进行判别处理,得到所述第三样本分割图像的第四类别标识,所述第四类别标识指示所述第三样本分割图像所属的图像类别;
根据所述第四类别标识和第四预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第四预设类别标识指示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。
10.根据权利要求5至9任一项所述的方法,其特征在于,所述第一类别标识表示所述第一预测分割图像的连续性等级与第一预设等级和第二预设等级的对比结果,所述第一预设等级表示乱序处理后的样本分割图像的连续性等级,所述第二预设等级表示样本分割图像的连续性等级。
11.根据权利要求1所述的方法,其特征在于,所述第一预测分割图像的第二图像信息包括多个第二区域图像信息,所述第一拓扑特征包括多个第一区域拓扑特征,所述第一样本分割图像的第七图像信息包括多个第七区域图像信息,所述第二拓扑特征包括多个第二区域拓扑特征,所述调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征,包括:
调用所述特征提取模型,根据所述多个第二区域图像信息,分别对所述第一预测分割图像中对应的区域进行特征提取,得到多个区域分别对应的第一区域拓扑特征;
调用所述特征提取模型,根据所述多个第七区域图像信息,分别对所述第一样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第二区域拓扑特征。
12.根据权利要求1所述的方法,其特征在于,所述根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型之前,所述方法还包括:
对所述第一样本分割图像进行乱序处理,得到第四样本分割图像;
调用所述特征提取模型,对所述第四样本分割图像进行特征提取,得到所述第四样本分割图像的第三拓扑特征;
所述根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,包括:
根据所述第一拓扑特征、所述第二拓扑特征和所述第三拓扑特征之间的差异,以及所述第一类别标识和目标类别标识之间的差异,训练所述图像分割模型。
13.根据权利要求1所述的方法,其特征在于,所述第一样本图像包括至少一条血管,所述第一预测分割图像包括至少一条血管以及每条血管的类型。
14.一种图像分割方法,其特征在于,所述方法包括:
调用图像分割模型,生成任一图像对应的预测分割图像,所述图像分割模型采用如权利要求1至13任一项所述的方法训练得到。
15.一种图像分割模型训练装置,其特征在于,所述装置包括:
数据获取模块,用于获取第一样本数据,所述第一样本数据包括第一样本图像和所述第一样本图像对应的第一样本分割图像,所述第一样本分割图像通过对所述第一样本图像中的对象进行标注得到;
第一调用模块,用于调用图像分割模型,对所述第一样本图像进行分割处理,得到第一预测分割图像;
第二调用模块,用于调用判别模型,根据所述第一样本图像的第一图像信息和所述第一预测分割图像的第二图像信息进行判别处理,得到所述第一预测分割图像的第一类别标识,所述第一类别标识指示所述第一预测分割图像所属的图像类别;
第三调用模块,用于调用特征提取模型,对所述第一预测分割图像和所述第一样本分割图像进行特征提取,得到所述第一预测分割图像的第一拓扑特征和所述第一样本分割图像的第二拓扑特征;
第一训练模块,用于根据所述第一类别标识和目标类别标识之间的差异、以及所述第一拓扑特征和所述第二拓扑特征之间的差异,训练所述图像分割模型,以使训练后的所述图像分割模型的损失值收敛,所述目标类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
16.根据权利要求15所述的装置,其特征在于,所述第二调用模块,包括:
图像获取单元,用于获取第一重合图像,所述第一重合图像通过将所述第一样本图像和所述第一预测分割图像进行重合得到,所述第一重合图像包括所述第一图像信息和所述第二图像信息;
调用单元,用于调用所述判别模型,根据所述第一重合图像进行判别处理,得到所述第一预测分割图像的第一类别标识。
17.根据权利要求16所述的装置,其特征在于,所述判别模型包括特征提取层和判别层;
所述调用单元,用于调用所述特征提取层,对所述第一重合图像进行特征提取,得到所述第一重合图像的关联特征,所述关联特征指示所述第一图像信息与所述第二图像信息之间的关联性;
所述调用单元,还用于调用所述判别层,根据所述关联特征进行判别处理,得到所述第一类别标识。
18.根据权利要求17所述的装置,其特征在于,所述关联特征包括多个区域关联特征,所述第一图像信息包括多个第一区域图像信息,所述第二图像信息包括多个第二区域图像信息;
所述调用单元,还用于调用所述特征提取层,根据所述多个第一区域图像信息和所述多个第二区域图像信息,分别对所述第一重合图像中对应的区域进行特征提取,得到多个区域分别对应的区域关联特征。
19.根据权利要求15所述的装置,其特征在于,所述第一训练模块,包括:
损失值获取单元,用于根据所述第一类别标识、所述目标类别标识和第一关系数据,获取所述第一预测分割图像的第一损失值,所述第一关系数据表示所述判别模型为任一图像确定的类别标识、所述任一图像的目标类别标识与所述任一图像的损失值之间的关系;
所述损失值获取单元,还用于根据所述第一拓扑特征、所述第二拓扑特征和第二关系数据,获取所述第一预测分割图像的第二损失值,所述第二关系数据表示任一预测分割图像的拓扑特征、所述任一预测分割图像对应的样本分割图像的拓扑特征和所述任一预测分割图像的损失值之间的关系;
调整单元,用于根据所述第一损失值和所述第二损失值,调整所述图像分割模型的模型参数。
20.根据权利要求15所述的装置,其特征在于,所述装置还包括:
第二训练模块,用于根据所述第一类别标识和所述第一预测分割图像对应的第一预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第一预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
21.根据权利要求15所述的装置,其特征在于,所述装置还包括:
图像获取模块,用于获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;
所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二样本分割图像的第四图像信息进行判别处理,得到所述第二样本分割图像的第二类别标识,所述第二类别标识指示所述第二样本分割图像所属的图像类别;
第二训练模块,用于根据所述第二类别标识和第二预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第二类别标识指示的图像类别为对图像中的对象进行标注得到的样本分割图像。
22.根据权利要求15所述的装置,其特征在于,所述装置还包括:
图像获取模块,用于获取第二样本图像对应的第二预测分割图像,所述第二预测分割图像通过调用图像分割模型对所述第二样本图像进行分割处理得到;
所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第二预测分割图像的第五图像信息进行判别处理,得到所述第二预测分割图像的第三类别标识,所述第三类别标识指示所述第二预测分割图像所属的图像类别;
第二训练模块,用于根据所述第三类别标识和第三预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第三预设类别标识指示的图像类别为通过调用图像分割模型生成的预测分割图像。
23.根据权利要求15所述的装置,其特征在于,所述装置还包括:
图像获取模块,用于获取第二样本图像对应的第二样本分割图像,所述第二样本分割图像通过对所述第二样本图像中的对象进行标注得到;
乱序处理模块,用于对所述第二样本分割图像进行乱序处理,得到第三样本分割图像;
所述第二调用模块,用于调用所述判别模型,根据所述第二样本图像的第三图像信息和所述第三样本分割图像的第六图像信息进行判别处理,得到所述第三样本分割图像的第四类别标识,所述第四类别标识指示所述第三样本分割图像所属的图像类别;
第二训练模块,用于根据所述第四类别标识和第四预设类别标识之间的差异,训练所述判别模型,以使训练后的所述判别模型的损失值收敛,所述第四预设类别标识指示的图像类别为对图像中的对象进行标注及乱序处理后的样本分割图像。
24.根据权利要求19至23任一项所述的装置,其特征在于,所述第一类别标识表示所述第一预测分割图像的连续性等级与第一预设等级和第二预设等级的对比结果,所述第一预设等级表示乱序处理后的样本分割图像的连续性等级,所述第二预设等级表示样本分割图像的连续性等级。
25.根据权利要求15所述的装置,其特征在于,所述第一预测分割图像的第二图像信息包括多个第二区域图像信息,所述第一拓扑特征包括多个第一区域拓扑特征,所述第一样本分割图像的第七图像信息包括多个第七区域图像信息,所述第二拓扑特征包括多个第二区域拓扑特征;
所述第三调用模块,还用于调用所述特征提取模型,根据所述多个第二区域图像信息,分别对所述第一预测分割图像中对应的区域进行特征提取,得到多个区域分别对应的第一区域拓扑特征;
所述第三调用模块,还用于调用所述特征提取模型,根据所述多个第七区域图像信息,分别对所述第一样本分割图像中对应的区域进行特征提取,得到多个区域分别对应的第二区域拓扑特征。
26.根据权利要求15所述的装置,其特征在于,所述装置还包括:
乱序处理模块,用于对所述第一样本分割图像进行乱序处理,得到第四样本分割图像;
所述第三调用模块,还用于调用所述特征提取模型,对所述第四样本分割图像进行特征提取,得到所述第四样本分割图像的第三拓扑特征;
所述第一训练模块,还用于根据所述第一拓扑特征、所述第二拓扑特征和所述第三拓扑特征之间的差异,以及所述第一类别标识和目标类别标识之间的差异,训练所述图像分割模型。
27.根据权利要求15所述的装置,其特征在于,所述第一样本图像包括至少一条血管,所述第一预测分割图像包括至少一条血管以及每条血管的类型。
28.一种图像分割装置,其特征在于,所述装置包括:
图像生成模块,用于调用图像分割模型,生成任一图像对应的预测分割图像,所述图像分割模型采用如权利要求15至27任一项所述的装置训练得到。
29.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至13任一项所述的图像分割模型训练方法中所执行的操作;或者,以实现如权利要求14所述的图像分割方法中所执行的操作。
30.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至13任一项所述的图像分割模型训练方法中所执行的操作;或者,以实现如权利要求14所述的图像分割方法中所执行的操作。
CN202010404394.2A 2020-05-13 2020-05-13 图像分割模型训练方法、装置、计算机设备及存储介质 Active CN111652887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010404394.2A CN111652887B (zh) 2020-05-13 2020-05-13 图像分割模型训练方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010404394.2A CN111652887B (zh) 2020-05-13 2020-05-13 图像分割模型训练方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111652887A CN111652887A (zh) 2020-09-11
CN111652887B true CN111652887B (zh) 2023-04-07

Family

ID=72348333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010404394.2A Active CN111652887B (zh) 2020-05-13 2020-05-13 图像分割模型训练方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111652887B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132847A (zh) * 2020-09-27 2020-12-25 北京字跳网络技术有限公司 模型训练方法、图像分割方法、装置、电子设备和介质
CN112257728B (zh) * 2020-11-12 2021-08-17 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112330684B (zh) * 2020-11-23 2022-09-13 腾讯科技(深圳)有限公司 对象分割方法、装置、计算机设备及存储介质
CN112232355B (zh) * 2020-12-11 2021-04-02 腾讯科技(深圳)有限公司 图像分割网络处理、图像分割方法、装置和计算机设备
CN112598686B (zh) * 2021-03-03 2021-06-04 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质
CN113743455A (zh) * 2021-07-23 2021-12-03 北京迈格威科技有限公司 目标检索方法、装置、电子设备及存储介质
CN114565620B (zh) * 2022-03-01 2023-04-18 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006086467A1 (en) * 2005-02-10 2006-08-17 Siemens Corporate Research, Inc. System and method for using learned discriminative models to segment three dimensional colon image data
CN108447049A (zh) * 2018-02-27 2018-08-24 中国海洋大学 一种基于生成式对抗网络的数字化生理生物体分割方法
US10361802B1 (en) * 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技(深圳)有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361802B1 (en) * 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
WO2006086467A1 (en) * 2005-02-10 2006-08-17 Siemens Corporate Research, Inc. System and method for using learned discriminative models to segment three dimensional colon image data
CN108447049A (zh) * 2018-02-27 2018-08-24 中国海洋大学 一种基于生成式对抗网络的数字化生理生物体分割方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技(深圳)有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianmin DONG 等.Medical Image Segmentation Based on Topology Correlation of Regions.《2008 International Conference on BioMedical Engineering and Informatics》.2008,142-146. *
刘博文.视网膜血管与视盘分割方法研究.《中国优秀硕士学位论文全文数据库 医药卫生科技辑》.2019,(第12期),E073-26. *

Also Published As

Publication number Publication date
CN111652887A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652887B (zh) 图像分割模型训练方法、装置、计算机设备及存储介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
EP4345777A1 (en) Living body detection method and apparatus, and training method and apparatus for living body detection system
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111598168B (zh) 图像分类方法、装置、计算机设备及介质
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN110619284B (zh) 一种视频场景划分方法、装置、设备及介质
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN112989085A (zh) 图像处理方法、装置、计算机设备及存储介质
US20230067934A1 (en) Action Recognition Method, Apparatus and Device, Storage Medium and Computer Program Product
CN114465737A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN114495916B (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN112699832A (zh) 目标检测方法、装置、设备以及存储介质
CN114783070A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
Zhang et al. Attention-guided feature extraction and multiscale feature fusion 3d resnet for automated pulmonary nodule detection
CN111598923B (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN115708120A (zh) 脸部图像处理方法、装置、设备以及存储介质
CN111598924B (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN111652878B (zh) 图像检测方法、装置、计算机设备及存储介质
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN115222966A (zh) 对抗数据生成方法、装置、计算机设备及存储介质
CN113709584A (zh) 视频划分方法、装置、服务器、终端及存储介质
CN113709559B (zh) 视频划分方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant