CN113160243A - 一种图像分割方法及电子设备 - Google Patents

一种图像分割方法及电子设备 Download PDF

Info

Publication number
CN113160243A
CN113160243A CN202110312650.XA CN202110312650A CN113160243A CN 113160243 A CN113160243 A CN 113160243A CN 202110312650 A CN202110312650 A CN 202110312650A CN 113160243 A CN113160243 A CN 113160243A
Authority
CN
China
Prior art keywords
network
image
determining
geometric
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110312650.XA
Other languages
English (en)
Inventor
刘林虎
田疆
师忠超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110312650.XA priority Critical patent/CN113160243A/zh
Publication of CN113160243A publication Critical patent/CN113160243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像分割方法及电子设备,包括:将待分割图像输入预设的分割网络;利用所述分割网络对所述待分割图像进行分割处理,以从所述待分割图像中确定目标物图像;所述分割网络通过预设的辅助网络和几何模块训练得到;所述几何模块用于确定非标注样本对应的几何特征图;利用分割网络实现图像分割处理,分割网络通过预设的辅助网络和几何模块进行训练,几何模块用于确定非标注样本对应的几何特征图;所以分割网络能够针对目标物共性的形状和结构进行特征提取,从而对该形状和结构加以有效的利用,提高了分割网络进行图像分割处理的效率和准确性。

Description

一种图像分割方法及电子设备
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种图像分割方法及电子设备。
背景技术
当前,神经网络技术已经在图像识别领域得到广泛的运用。而图像分割,正是图像识别领域中一项重要的具体应用。图像分割即利用图像分割网络将图像中特定的目标物,与目标物以外的背景部分分割开来,以便于后续针对目标物部分进行进一步处理。
在一些领域当中,图像中特定的目标物具有较为明确的几何形状和结构特点。不过现有的分割网络,并未对此形状和结构加以有效的利用,不能够针对目标物共性的几何形状和结构特点进行针对性的特征提取,从而实现图像分割,可见此类分割网络的性能和效率,尚有待提高。
发明内容
本申请提供一种图像分割方法,包括:
将待分割图像输入预设的分割网络;
利用所述分割网络对所述待分割图像进行分割处理,以从所述待分割图像中确定目标物图像;
所述分割网络通过预设的辅助网络和几何模块训练得到;所述几何模块用于确定非标注样本对应的几何特征图。
优选的,所述待分割图像包括,医学图像;所述利用所述分割网络对所述待分割图像进行分割处理,以从所述待分割图像中确定目标物图像包括:
利用所述分割网络的编码网络,确定所述医学图像对应的待分割特征图;
利用所述分割网络的解码网络,确定所述待分割特征图的图像特征;
利用所述分割网络的结构识别网络,确定所述待分割特征图对应的结构特征;
根据所述图像特征和所述结构特征,确定所述目标物图像;所述目标物图像中,包括所述医学图像中的器官结构图像。
优选的,所述结构识别网络通过所述几何模块确定的几何特征图训练得到;所述几何特征图对应特定的器官结构。
优选的,所述通过预设的辅助网络和几何模块训练得到所述分割网络包括:
确定标注样本的标注标签;利用待训练网络确定所述标注样本的第一预测标签;
利用所述待训练网络、所述辅助网络和所述几何模块,确定所述非标注样本对应的几何特征图;
根据所述标注样本的标注标签、所述标注样本的第一预测标签和所述非标注样本对应的几何特征图,对所述待训练网络进行数据训练;
将完成所述数据训练的所述待训练网络确定为所述分割网络。
优选的,所述利用所述待训练网络、所述辅助网络和所述几何模块,确定所述非标注样本对应的几何特征图包括:
利用所述待训练网络和所述几何模块,确定所述非标注样本对应的第一几何特征图;
确定所述非标注样本对应的扰动样本;
利用所述辅助网络和所述几何模块,确定所述扰动样本对应的第二几何特征图。
优选的,所述利用所述待训练网络和所述几何模块,确定所述非标注样本对应的第一几何特征图包括:
利用所述待训练网络,确定所述非标注样本对应的第一图像特征向量;
利用所述几何模块,确定所述第一图像特征向量对应的第一目标物特征向量和第一背景特征向量;根据所述第一目标物特征向量和所述第一背景特征向量,确定所述第一几何特征图。
优选的,所述利用所述辅助网络和所述几何模块,确定所述扰动样本对应的第二几何特征图包括:
利用所述辅助网络,确定所述扰动样本对应的第二图像特征向量;
利用所述几何模块,确定所述第二图像特征向量对应的第二目标物特征向量和第二背景特征向量;根据所述第二目标物特征向量和所述第二背景特征向量,确定所述第二几何特征图。
优选的,还包括:
利用所述待训练网络,确定所述非标注样本的第二预测标签;
利用所述辅助网络,确定所述非标注样本的第三预测标签。
优选的,所述根据所述标注样本的标注标签、所述标注样本的第一预测标签和所述非标注样本对应的几何特征图,对所述待训练网络进行数据训练包括:
根据所述标注标签、所述第一预测标签、所述第二预测标签、所述第三预测标签和所述几何特征图,对所述待训练网络进行数据训练。
本申请提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现本申请所述的图像分割方法。
与现有技术相比,本申请提供的一种图像分割方法及电子设备,利用分割网络实现图像分割处理,分割网络通过预设的辅助网络和几何模块进行训练,几何模块用于确定非标注样本对应的几何特征图;所以分割网络能够针对目标物共性的形状和结构进行特征提取,从而对该形状和结构加以有效的利用,提高了分割网络进行图像分割处理的效率和准确性。
附图说明
图1为本申请一实施例提供的一种图像分割方法的流程示意图;
图2为本申请一实施例提供的一种图像分割方法中医学图像的示意图;
图3为本申请一实施例提供的一种图像分割方法中分割网络的结构示意图;
图4为本申请一实施例提供的另一种图像分割方法中分割网络训练的流程示意图;
图5为本申请一实施例提供的另一种图像分割方法中分割网络训练的结构示意图;
图6为本申请一实施例提供的另一种图像分割方法中分割网络训练的流程示意图;
图7为本申请一实施例提供的一种图像分割装置的结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图像分割,即利用分割网络将图像中特定的目标物,与目标物以外的背景部分分割开来。分割网络可以利用监督学习的方式训练得到,不过监督学习的方式需要使用大量的标注样本。在一些情况下,标注样本的数量有限,不足以有效的完成训练。所以也可采用半监督学习的方式进行训练。即使用部分标注样本和部分非标注样本,共同完成训练。
在一些领域当中,分割网络所针对的目标物,具有明确的几何形状和结构特点。例如,对于医学图像的图像分割,所针对的目标物即特定的人体器官;而同种人体器官具有高度一致的形状和结构。
不过在现有的分割网络当中,并未对此形状和结构加以有效的利用。特别是半监督学习训练的得到的分割网络,往往都不能够对非标注样本中,此类目标物共性的几何形状和结构特点进行针对性的特征提取,从而实现图像分割。即并未充分的利用到目标物全部的有价值特征进行分析和运算。可见此类分割网络的性能和效率,尚有待提高。
因此,本申请实施例将提供一种图像分割方法。如图1所示,本实施例中方法包括以下步骤:
步骤101、将待分割图像输入预设的分割网络。
待分割图像,是图像分割所针对的目标。也就是,需从待分割图像中分离出特定的目标物。本实施例中,待分割图像中的目标物,需具有明确的几何形状和结构特点。具体的,待分割图像可以是医学图像,例如临床上常见的MR图像或CT图像等。而待分割图像中特定的目标物,可以是人体器官或组织结构。如图2所示,为针对人类大脑的医学图像。从图2中可见,其中灰白色部分示出了大脑(即目标物)俯视角度拍摄的形态,黑色部分则为背景。针对医学图像的图像分割,即是将其中目标物部分与背景部分分离。
分割网络是预先训练得到的,可针对待分割图像进行图像分割处理的神经网络模型,具体可以基于卷积神经网络构建。在本实施例中,分割网络可以采用半监督学习的训练方式训练得到。分割网络将通过预设的辅助网络和几何模块进行训练,其中,几何模块用于确定非标注样本对应的几何特征图。具体的,本实施例中利用几何模块对于非标注样本进行处理,确定非标注样本对应的几何特征图。几何特征图中,包括了与目标物共性的形状和结构有关的图像特征。在待分割图像是医学图像的情况下,几何特征图对应特定的器官结构。
所以在训练过程中,结合辅助网络以及该几何特征图进行半监督学习训练,可使得训练后得到的分割网络能够针对目标物共性的形状和结构进行特征提取,并将此特征结合到后续的计算过程中。
在实际进行图像分割时,需首先将待分割图像,输入到上述的分割网络当中。
步骤102、利用分割网络对待分割图像进行分割处理,以从待分割图像中确定目标物图像。
图像分割网络对待分割图像进行分割处理,即可从中分割出代表目标物的图像范围,即确定目标物图像。进而将目标物图像输出,即完成了图像分割的过程。
在本步骤中,分割网络的网络结构如图3所示,分割网络对待分割图像进行分割处理的过程可以包括:
利用分割网络的编码网络,确定医学图像对应的待分割特征图;利用分割网络的解码网络,确定待分割特征图的图像特征。利用分割网络的结构识别网络,确定待分割特征图对应的结构特征。根据图像特征和结构特征,确定目标物图像。
编码网络和解码网络,是常规分割网络中均会包括的网络结构。待分割图像经过编码网络和解码网络,可进行图像层面上的特征提取,得到待分割特征图的图像特征。本实施例对此不赘述。现有技术中,往往仅根据待分割特征图的图像特征进行分割处理,这也是常规的分割网络性能不足的原因所在。
结构识别网络,是本实施例涉及的分割网络中特有的网络结构。通过结构识别网络,能够针对目标物共性的形状和结构进行特征提取,确定待分割特征图对应的结构特征。结构识别网络是通过几何模块确定的几何特征图训练得到。
也就是说,本实施例中分割网络能够通过不同的特征提取方式,确定待分割图像的图像特征和结构特征。进一步的,即可根据图像特征和结构特征相结合进行特征分析和运算,确定待分割图像中的目标物图像,即完成图像分割。在待分割图像是医学图像的情况下,目标物图像中包括医学图像中的器官结构图像。
通过以上技术方案可知,本实施例存在的有益效果是:利用分割网络实现图像分割处理,分割网络通过预设的辅助网络和几何模块进行训练,几何模块用于确定非标注样本对应的几何特征图;所以分割网络能够针对目标物共性的形状和结构进行特征提取,从而对该形状和结构加以有效的利用,提高了分割网络进行图像分割处理的效率和准确性。
图1所示仅为本申请所述方法的基础实施例,在其基础上进行一定的优化和拓展,还能够得到所述方法的其他优选实施例。
如图4所示,为本申请所述图像分割方法的另一个具体实施例。本实施例在前述实施例的基础上,对于分割网络的训练过程进行进一步的描述。在本实施例中,利用分割网络对待分割图像进行处理的过程,与图1所示实施例基本一致,在此不重复叙述。而所涉及的通过预设的辅助网络和几何模块训练得到分割网络的过程,则包括以下步骤:
步骤401、确定标注样本的标注标签;利用待训练网络确定标注样本的第一预测标签。
待训练网络,可以指训练尚未完成的神经网络,也就是分割网络完成训练之前的形态。换言之,本实施例中描述的训练过程,即是将待训练网络训练称为分割网络的过程。
本实施例中描述的训练过程为半监督学习训练,所以需要使用标注样本和非标注样本。其中,标注样本即具有相应的标注标签的样本数据。该标注标签体现了标注样本既定正确的图像分割结果。
利用待训练网络对标注样本进行运算,可确定相应的第一预测标签。可以认为,第一预测标签就是待训练网络基于当前状态对于标注样本进行图像分割的结果。具体的,可以利用待训练网络中的编码网络和解码网络对标注样本进行运算,得到第一预测标签。
具体的,标注样本可以表示为:
Figure BDA0002990486880000081
即共有n个标注样本。对于其中的第i个标注样本
Figure BDA0002990486880000082
Figure BDA0002990486880000083
代表该标注样本的样本数据,yi代表该标注样本的标注标签。i为1~n范围内的任意整数。
第一预测标签可以表示为:
Figure BDA0002990486880000084
其中,
Figure BDA0002990486880000085
代表标注样本
Figure BDA0002990486880000086
对应的第一预测标签;Fp代表结合编码网络和解码网络的运算过程;Θ代表待训练网络当前的网络参数,本实施例中,对于网络参数Θ的具体内容不做限定,任何可在训练中进行调整的网络参数均可在网络参数Θ涉及的范围之内。
可以理解的是,由于此时训练尚未完成,所以第一预测标签可能是正确结果,即
Figure BDA0002990486880000087
与yi一致;也可能是错误结果,即
Figure BDA0002990486880000088
与yi不一致。因此,可基于标注标签和第一预测标签,构建第一损失函数如下:
Figure BDA0002990486880000091
其中,Ll代表第一损失函数;H代表交叉熵损失函数,r1代表交叉熵损失函数的权重系数;D代表Dice损失函数,r2代表Dice损失函数的权重系数。
可以理解的是,第一损失函数体现了待训练网络对于标注样本进行运算的准确程序。
步骤402、利用待训练网络、辅助网络和几何模块,确定非标注样本对应的几何特征图。
非标注样本,是指不具有相应的标注标签的样本数据。本实施例中,非标注样本可以表示为
Figure BDA0002990486880000092
即共有m个非标注样本。其中的第j个非标注样本的样本数据为
Figure BDA0002990486880000093
j为1~m范围内的任意整数。
本实施例中,将根据非标注样本确定几何特征图。几何特征图是可在一定程度上反应非标注样本的形状和结构的特征图。几何特征图包括第一几何特征图和第二几何特征图。具体来说,可以利用待训练网络和几何模块,确定非标注样本对应的第一几何特征图。确定非标注样本对应的扰动样本;利用辅助网络和几何模块,确定扰动样本对应的第二几何特征图。待训练网络、辅助网络和几何模块的结构关系,如图5所示。
也就是说,第一几何特征图是结合待训练网络和几何模块,对非标注样本进行处理所得到。处理过程可具体为:利用待训练网络,确定非标注样本对应的第一图像特征向量;利用几何模块,确定第一图像特征向量对应的第一目标物特征向量和第一背景特征向量;根据第一目标物特征向量和第一背景特征向量,确定第一几何特征图。
针对任意非标注样本
Figure BDA0002990486880000094
可利用待训练网络中的编码网络对其进行处理,得到图像特征图。然后再利用Sigmoid函数对图像特征图进行进一步运算,确定第一图像特征向量。即
Figure BDA0002990486880000095
其中,
Figure BDA0002990486880000096
代表第一图像特征向量,Z代表图像特征图。
利用几何模块对第一图像特征向量进行平均池化处理,可确定第一目标物特征向量和第一背景特征向量。
可表示为:
Figure BDA0002990486880000101
其中,Af代表第一目标物特征向量,Ab代表第一背景特征向量,Avg代表平均池化运算,h代表预设的超参数阈值。也就是说,在
Figure BDA0002990486880000102
的情况下,可认为该第一图像特征向量可能代表目标物所在部分,即可进行平均池化运算,以将之确定为第一目标物特征向量。反之,在
Figure BDA0002990486880000103
的情况下,可认为该第一图像特征向量可能代表背景所在部分,即可进行平均池化运算,以将之确定为第一背景特征向量。
根据第一目标物特征向量和第一背景特征向量,可进一步进行上池化运算,确定第一特征中心图。即
Figure BDA0002990486880000104
其中,
Figure BDA0002990486880000105
代表第一特征中心图,Unpooling代表上池化运算。
利用第一特征中心图,和上述获得的图像特征图进行相似性运算,即可最终确定该第一几何特征图。即
Figure BDA0002990486880000106
其中
Figure BDA0002990486880000107
代表第一几何特征图,Cos代表相似性运算。
对非标注样本进行扰动处理,还可得到非标注样本对应的扰动样本。可以认为,扰动样本与非标注样本在样本数据的数值上稍有区别。辅助网络则是与待训练网络具有相同或类似结构,可实现类似功能的神经网络。在训练过程中,辅助网络用于作为对照,对待训练网络进行数据训练。利用辅助网络和几何模块对扰动样本进行相应的处理,可确定对应的第二几何特征图。
具体的,可以利用辅助网络,确定扰动样本对应的第二图像特征向量;利用几何模块,确定第二图像特征向量对应的第二目标物特征向量和第二背景特征向量;根据第二目标物特征向量和第二背景特征向量,确定第二几何特征图。由于辅助网络类似于待训练网络,所以第二几何特征图的具体计算原理与第一几何特征图一致,在此不重复叙述。本实施例中,可以将第二几何特征图表示为
Figure BDA0002990486880000111
可以理解的是,虽然扰动样本与非标注样本在样本数据的数值上稍有区别,但二者在形状和结构上依然具有较高的一致性。因此理论上,相应的第一几何特征图和第二几何特征图所反映出的形状和结构,应当可以体现这种一致性。
当前由于待训练网络未处于训练完成的状态,乃至一些情况下辅助网络,也未处于训练完成的状态,所以第一几何特征图和第二几何特征图所反映出的形状和结构可能具有一致性,也可能不具有。因此可结合几何特征图对二者进行同步的且相互的训练。
也就是,根据第一几何特征图
Figure BDA0002990486880000112
和第二几何特征图
Figure BDA0002990486880000113
可构建第二损失函数Lg如下:
Figure BDA0002990486880000114
其中,d表示方差运算。
在后续的训练过程中,只需结合几何特征图进行训练,或者说结合第二损失函数进行训练,即可在待训练网络中训练得到上述的结构识别网络,使得分割网络具有针对目标物共性的形状和结构进行特征提取的特性。
步骤403、根据标注样本的标注标签、标注样本的第一预测标签和非标注样本对应的几何特征图,对待训练网络进行数据训练。
本实施例中,可基于上述涉及的标注标签、第一预测标签和几何特征图,对待训练网络进行数据训练。也就是,可结合第一损失函数Ll和第二损失函数Lg进行数据训练。
在一些情况下,可以根据第一损失函数Ll和第二损失函数Lg构建目标损失函数L为:
L=a1Ll+a2Lg
其中,a1代表第一损失函数的权重系数,a2代表第二损失函数的权重系数。
在具体的数据训练过程中可以不断的调整网络参数Θ,使得目标损失函数计算得到的损失数值趋于收敛。如损失数值满足特定条件,或训练轮次满足特定条件,则可认为训练完成。本实施例中,对于具体的手段,即调整网络参数的方式不做限定。如梯度反转、梯度下降等各类本领域中常用的训练手段,均可结合在本实施例整体技术方案中。
步骤404、将完成数据训练的待训练网络确定为分割网络。
完成上述数据训练的待训练网络,即可确定为本实施例中的分割网络,用以对待分割图像进行分割处理。至此,本实施例进一步的完成了对于分割网络的训练过程。本实施例中,结合了代表目标物形状和结构的几何特征图进行数据训练,使得分割网络具有了上述的结构识别网络,也就具有针对目标物共性的形状和结构进行特征提取的特性。
进一步的,如图6所示,本申请中还可提供另一种分割网络的训练过程,包括以下步骤:
步骤601、确定标注样本的标注标签;利用待训练网络确定标注样本的第一预测标签。
步骤602、利用待训练网络、辅助网络和几何模块,确定非标注样本对应的几何特征图。
上述步骤601~步骤602中内容,与图4所示实施例一致,在此不重复叙述。也就是说,本实施例中同样有上述的第一损失函数Ll和第二损失函数Lg
步骤603、利用待训练网络,确定非标注样本的第二预测标签。
第二预测标签与第一预测标签类似,就是待训练网络基于当前状态对于非标注样本进行图像分割的结果。具体的,可以利用待训练网络中的编码网络和解码网络对非标注样本进行运算,得到第二预测标签。第二预测标签可表示为
Figure BDA0002990486880000131
步骤604、利用辅助网络,确定非标注样本的第三预测标签。
由于辅助网络具有与待训练网络相同或类似的网络结构,所以可以同理的利用辅助网络确定非标注样本的第三预测标签。第三预测标签就是辅助网络基于当前状态对于非标注样本进行图像分割的结果。具体的,可以利用辅助网络中的编码网络和解码网络对非标注样本进行运算,得到第三预测标签。第三预测标签可表示为
Figure BDA0002990486880000132
同样可以理解的是,理论上待训练网络和辅助网络对于同一非标注样本的图像分割结果应当趋于一致,即第二预测标签和第三预测标签应当趋于一致。不过由于待训练网络和辅助网络未处于训练完成的状态,所以第二预测标签和第三预测标签可能一致,也可能不一致。因此可根据第二预测标签和第三预测标签构建第三损失函数如下:
Figure BDA0002990486880000133
其中,d表示方差运算。
步骤605、根据标注标签、第一预测标签、第二预测标签、第三预测标签和几何特征图,对待训练网络进行数据训练。
在本实施例中,根据标注标签、第一预测标签、第二预测标签、第三预测标签和几何特征图进行数据训练,也就是结合第一损失函数,第二损失函数和第三损失函数进行数据训练。
具体的,可以根据第一损失函数,第二损失函数和第三损失函数构建目标损失函数L为:
L=Ll+b1Lu+b2Lg
其中,b1代表第二损失函数的权重系数,b2代表第三损失函数的权重系数。
步骤606、将完成数据训练的待训练网络确定为分割网络。
基于上述目标损失函数对待训练网络进行训练,即可将完成训练的待训练网络确定为分割网络。
如图7所示,为本申请所述图像分割装置的一个具体实施例。本实施例装置,即用于执行图1~6所述方法的实体装置。其技术方案本质上与上述实施例一致,上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括:
输入模块701,用于将待分割图像输入预设的分割网络;
分割模块702,用于利用分割网络对待分割图像进行分割处理,以从待分割图像中确定目标物图像;
输出模块703,用于输出目标物图像;
训练模块704,用于通过预设的辅助网络和几何模块训练得到分割网络;几何模块用于确定非标注样本对应的几何特征图。
另外在图7所示实施例的基础上,优选的,还包括:
待分割图像包括,医学图像;分割模块702包括:
编码单元721,用于利用分割网络的编码网络,确定医学图像对应的待分割特征图。
解码单元722,用于利用分割网络的解码网络,确定待分割特征图的图像特征。
结构识别单元723,用于利用分割网络的结构识别网络,确定待分割特征图对应的结构特征;结构识别网络通过几何模块确定的几何特征图训练得到;几何特征图对应特定的器官结构。
分割单元724,用于根据图像特征和结构特征,确定目标物图像;目标物图像中,包括医学图像中的器官结构图像。
训练模块704包括:
第一预测单元741,用于确定标注样本的标注标签;利用待训练网络确定标注样本的第一预测标签;
几何特征图确定单元742,用于利用待训练网络、辅助网络和几何模块,确定非标注样本对应的几何特征图;
训练单元742,用于根据标注样本的标注标签、标注样本的第一预测标签和非标注样本对应的几何特征图,对待训练网络进行数据训练;将完成数据训练的待训练网络确定为分割网络。
几何特征图确定单元742包括:
第一几何特征图子单元7421,用于利用待训练网络和几何模块,确定非标注样本对应的第一几何特征图;
第二几何特征图子单元7422,用于确定非标注样本对应的扰动样本;利用辅助网络和几何模块,确定扰动样本对应的第二几何特征图。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像分割方法,包括:
将待分割图像输入预设的分割网络;
利用所述分割网络对所述待分割图像进行分割处理,以从所述待分割图像中确定目标物图像;
所述分割网络通过预设的辅助网络和几何模块训练得到;所述几何模块用于确定非标注样本对应的几何特征图。
2.根据权利要求1所述方法,所述待分割图像包括,医学图像;所述利用所述分割网络对所述待分割图像进行分割处理,以从所述待分割图像中确定目标物图像包括:
利用所述分割网络的编码网络,确定所述医学图像对应的待分割特征图;
利用所述分割网络的解码网络,确定所述待分割特征图的图像特征;
利用所述分割网络的结构识别网络,确定所述待分割特征图对应的结构特征;
根据所述图像特征和所述结构特征,确定所述目标物图像;所述目标物图像中,包括所述医学图像中的器官结构图像。
3.根据权利要求2所述方法,所述结构识别网络通过所述几何模块确定的几何特征图训练得到;所述几何特征图对应特定的器官结构。
4.根据权利要求1所述方法,所述通过预设的辅助网络和几何模块训练得到所述分割网络包括:
确定标注样本的标注标签;利用待训练网络确定所述标注样本的第一预测标签;
利用所述待训练网络、所述辅助网络和所述几何模块,确定所述非标注样本对应的几何特征图;
根据所述标注样本的标注标签、所述标注样本的第一预测标签和所述非标注样本对应的几何特征图,对所述待训练网络进行数据训练;
将完成所述数据训练的所述待训练网络确定为所述分割网络。
5.根据权利要求4所述方法,所述利用所述待训练网络、所述辅助网络和所述几何模块,确定所述非标注样本对应的几何特征图包括:
利用所述待训练网络和所述几何模块,确定所述非标注样本对应的第一几何特征图;
确定所述非标注样本对应的扰动样本;
利用所述辅助网络和所述几何模块,确定所述扰动样本对应的第二几何特征图。
6.根据权利要求5所述方法,所述利用所述待训练网络和所述几何模块,确定所述非标注样本对应的第一几何特征图包括:
利用所述待训练网络,确定所述非标注样本对应的第一图像特征向量;
利用所述几何模块,确定所述第一图像特征向量对应的第一目标物特征向量和第一背景特征向量;根据所述第一目标物特征向量和所述第一背景特征向量,确定所述第一几何特征图。
7.根据权利要求5所述方法,所述利用所述辅助网络和所述几何模块,确定所述扰动样本对应的第二几何特征图包括:
利用所述辅助网络,确定所述扰动样本对应的第二图像特征向量;
利用所述几何模块,确定所述第二图像特征向量对应的第二目标物特征向量和第二背景特征向量;根据所述第二目标物特征向量和所述第二背景特征向量,确定所述第二几何特征图。
8.根据权利要求4~7任意一项所述方法,还包括:
利用所述待训练网络,确定所述非标注样本的第二预测标签;
利用所述辅助网络,确定所述非标注样本的第三预测标签。
9.根据权利要求8所述方法,所述根据所述标注样本的标注标签、所述标注样本的第一预测标签和所述非标注样本对应的几何特征图,对所述待训练网络进行数据训练包括:
根据所述标注标签、所述第一预测标签、所述第二预测标签、所述第三预测标签和所述几何特征图,对所述待训练网络进行数据训练。
10.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-9任一项所述的图像分割方法。
CN202110312650.XA 2021-03-24 2021-03-24 一种图像分割方法及电子设备 Pending CN113160243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312650.XA CN113160243A (zh) 2021-03-24 2021-03-24 一种图像分割方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312650.XA CN113160243A (zh) 2021-03-24 2021-03-24 一种图像分割方法及电子设备

Publications (1)

Publication Number Publication Date
CN113160243A true CN113160243A (zh) 2021-07-23

Family

ID=76888389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312650.XA Pending CN113160243A (zh) 2021-03-24 2021-03-24 一种图像分割方法及电子设备

Country Status (1)

Country Link
CN (1) CN113160243A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111583282A (zh) * 2020-05-18 2020-08-25 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
US20200272841A1 (en) * 2018-12-17 2020-08-27 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
US20200272841A1 (en) * 2018-12-17 2020-08-27 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111583282A (zh) * 2020-05-18 2020-08-25 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHUAILIN LI等: "Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images", 《ARXIV:2007.10732V1 [CS.CV]》 *
XIANGDE LUO等: "Semi-supervised Medical Image Segmentation through Dual-task Consistency", 《ARXIV:2009.04448V2 [CS.CV]》 *
YICHI ZHANG: "Dual-Task Mutual Learning for Semi-Supervised Medical Image Segmentation", 《ARXIV:2103.04708V1 [EESS.IV]》 *
刘少鹏等: "面向医学图像分割的半监督条件生成对抗网络", 《软件学报》 *
黄泳嘉等: "基于混合损失函数的改进型U-Net干部医学影像分割方法", 《激光与光电子学进展》 *

Similar Documents

Publication Publication Date Title
CN110188202B (zh) 语义关系识别模型的训练方法、装置及终端
Zhou et al. Facial depression recognition by deep joint label distribution and metric learning
US9070041B2 (en) Image processing apparatus and image processing method with calculation of variance for composited partial features
CN109165563B (zh) 行人再识别方法和装置、电子设备、存储介质、程序产品
CN111639535A (zh) 基于深度学习的人脸识别方法及装置
CN112233128B (zh) 图像分割方法及模型的训练方法、装置、介质、电子设备
CN113807412B (zh) 一种多标签图像分类方法、装置、设备及存储介质
CN115471216B (zh) 智慧实验室管理平台的数据管理方法
CN115391494B (zh) 中医症候智能识别方法及装置
CN116702091A (zh) 基于多视图clip的多模态讽刺意图识别方法、装置和设备
CN115798661A (zh) 临床医学领域的知识挖掘方法和装置
CN114022687B (zh) 一种基于增强学习的图像描述对抗生成方法
CN115190999A (zh) 使用对比损失对分布外的数据进行分类
CN112767422A (zh) 图像分割模型的训练方法及装置,分割方法及装置,设备
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN112163603A (zh) 零样本图像识别方法、装置、电子设备及存储介质
CN117012370A (zh) 多模态疾病辅助推理系统、方法、终端及存储介质
CN115457329B (zh) 图像分类模型的训练方法、图像分类方法和装置
CN113160243A (zh) 一种图像分割方法及电子设备
CN112699907A (zh) 数据融合的方法、装置和设备
CN115908933A (zh) 半监督分类模型训练、图像分类方法和装置
CN115761268A (zh) 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN113449775A (zh) 一种基于类激活映射机制的多标签图像分类方法和系统
CN110543894A (zh) 一种医学影像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination