CN112348816B - 脑磁共振图像分割方法、存储介质及电子装置 - Google Patents
脑磁共振图像分割方法、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112348816B CN112348816B CN202110016226.0A CN202110016226A CN112348816B CN 112348816 B CN112348816 B CN 112348816B CN 202110016226 A CN202110016226 A CN 202110016226A CN 112348816 B CN112348816 B CN 112348816B
- Authority
- CN
- China
- Prior art keywords
- matrix
- candidate
- voxel
- hyper
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了脑磁共振图像分割方法、存储介质及电子装置。其中,该方法包括:获取待分割的目标脑磁共振图像中的超体素集合;对超体素集合进行提取,得到基础特征矩阵;对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;将聚类结果映射到所述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据目标体素位置对目标脑磁共振图像进行分割。本发明解决了现有脑磁共振图像分割技术分割不准确的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及脑磁共振图像分割方法、存储介质及电子装置。
背景技术
图像分割(Image Segmentation)是按照区域属性特征一致的准则,把图像分割成特殊性质的目标和区域的过程。这些区域互不相交,而且区域中的所有像素点都满足基于灰度、纹理和彩色等特征的某种相似性准则即具有均匀性。将目标区域分割出来以后,就可以利用其他的各种技术对图像进行特征提取、匹配等处理,因此图像分割在脑磁共振图像的应用领域上具有非常重要的意义。主流分割方法采用基于边缘的分割方法、基于阈值的分割方法、和基于区域的分割方法来这也的分割方法往往分割精度不准。现有技术还包括基于深度学习技术的分割方法来分割现有脑磁共振图像,其中强监督学习依赖于大量标注数据和精心设计的网络模型,可以得到很好的处理结果,在一些任务领域,远高于传统处理方法的结果,但是实际中有些图像的边界并没有那么清楚,而且边界模糊,不同区域之间经常重叠,该种方法处理的结果精度就难以符合实际的要求。以上方法往往需要大量标注图像,在使用过程中步骤烦琐,且标注错误容易造成图像分割错误不够准确。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了脑磁共振图像分割方法、存储介质及电子装置,以至少解决现有脑磁共振图像分割技术分割不准确的技术问题。
根据本发明实施例的一个方面,提供了一种脑磁共振图像分割方法,包括:获取待分割的目标脑磁共振图像中的超体素集合;对上述超体素集合进行提取,得到基础特征矩阵;对上述基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;将上述聚类结果映射到上述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据上述目标体素位置对上述目标脑磁共振图像进行分割。
作为一种可选地实施方式,上述获取待分割的目标脑磁共振图像中的超体素集合包括:对上述目标脑磁共振图像进行初始分割,得到多个候选超体素;获取每个上述候选超体素各自与预先选定的参考超体素之间的特征相似度,以及任意两个上述候选超体素之间的距离;将上述特征相似度大于第一阈值,且上述距离小于第二阈值的候选超体素,添加到上述超体素集合中;其中,上述超体素集合包括上述目标脑磁共振图像中的所有体素。
作为一种可选地实施方式,上述对上述超体素集合进行提取,得到基础特征矩阵包括:提取上述超体素集合中各个超体素分别对应的基础特征;对上述超体素分别对应的上述基础特征进行压缩,得到压缩后的基础特征;对上述压缩后的基础特征进行归一化处理,得到上述基础特征矩阵;其中,上述特征矩阵包括上述目标脑磁共振图像中所有体素特征。
作为一种可选地实施方式,上述对上述基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果包括:基于上述基础特征矩阵编码得到第一深度子空间矩阵;根据上述第一深度子空间矩阵及预先配置的参考矩阵,计算得到第二深度子空间矩阵;对上述第一深度子空间矩阵和上述第二深度子空间矩阵进行比对判别,获取投影损失值,其中,上述投影损失值用于指示数据真实性的概率;根据上述投影损失值确定上述基础特征矩阵中的超体素所属的聚类类别,以得到上述聚类结果;其中,上述聚类结果包括脑脊液体素集合、灰质体素集合和白质体素集合。
作为一种可选地实施方式,上述根据上述第一深度子空间矩阵及预先配置的参考矩阵,计算得到第二深度子空间矩阵的步骤包括:通过生成器中的上述参考矩阵的系数计算相似矩阵,对上述相似矩阵使用谱聚类算法,得到候选聚类结果;在对上述第一深度子空间矩阵和上述候选聚类结果进行采样时,将上述候选聚类结果中属于同一类别的超体素进行线性组合,以获取上述第二深度子空间矩阵;其中,上述第一深度子空间矩阵为上述生成器根据上述基础特征矩阵生成的真数据,上述第二深度子空间矩阵为上述生成器根据上述第一深度子空间生成的假数据。
作为一种可选地实施方式,在上述通过生成器中的自动编码器对上述基础特征矩阵中的基础特征进行非线性变换和降维处理,以得到上述第一深度子空间矩阵后,还包括:通过上述参考矩阵对上述第一深度子空间矩阵中的特征进行线性重组,得到中间特征;通过上述生成器中的解码器将上述中间特征还原到上述基础特征所在的基础特征空间,得到关联特征矩阵;根据上述第一深度子空间矩阵及上述关联特征矩阵,确定第一置信度集;其中,基于上述中间特征、上述关联特征矩阵、上述第一置信度集和上述投影损失值,确定判别器判别过程中产生的判别损失值,所述判别器用于判断接收数据的真实性。
作为一种可选地实施方式,上述根据上述投影损失值确定上述基础特征矩阵中的超体素所属的聚类类别,以得到上述聚类结果的步骤包括:根据上述候选聚类结果,生成第一候选判别器,每个类别的上述候选聚类结果对应一个上述第一候选判别器;在上述第一候选判别器中对上述候选聚类结果进行判别,以从上述第一候选判别器中确定出第一判别器,并获取第一投影损失值和第一判别损失值;根据上述第一判别损失值和上述第一投影损失值更新上述候选聚类结果,并生成第二候选判别器;在上述第二候选判别器和上述第一判别器中,对更新后的上述候选聚类结果进行判别,以确定出第二判别器,并获取第二投影损失值和第二判别损失值;重复以上步骤,在输出的投影损失值小于预设条件的情况下,停止判别,将当前的上述候选聚类结果确定为上述聚类结果。
根据本发明实施例的又一方面,本发明提供一种脑磁共振图像分割装置,该装置包括:获取单元,用于获取待分割的目标脑磁共振图像中的超体素集合;提取单元,用于对上述超体素集合进行提取,得到基础特征矩阵;聚类单元,用于对上述基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;映射处理单元,用于将上述聚类结果映射到上述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;分割单元,用于根据上述目标体素位置对上述目标脑磁共振图像进行分割。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述脑磁共振图像分割方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的脑磁共振图像分割方法。
在本发明的实施例中,获取待分割的目标脑磁共振图像中的超体素集合;对上述超体素集合进行提取,得到基础特征矩阵;对上述基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;将上述聚类结果映射到上述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据上述目标体素位置对上述目标脑磁共振图像进行分割。也就是说,通过获取目标脑磁共振图像中的上述超体素集合,然后直接基于超体素中提取的特征进行聚类得到聚类结果,并根据蕨类结果来完成对目标脑磁共振图像的分割,从而实现在不依赖预先标注的图像的情况下,就可以准确高效地完成对目标脑磁共振图像进行区域分割,进而克服相关技术中图像分割准确性较低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的脑磁共振图像分割方法的流程示意图;
图2是根据本发明实施例的另一种可选的脑磁共振图像分割方法的流程示意图;
图3是根据本发明实施例的另一种可选的脑磁共振图像分割方法的流程示意图;
图4是根据本发明实施例的另一种可选的脑磁共振图像分割方法的流程示意图;
图5是根据本发明实施例的一种可选的聚类网络的结构示意图;
图6是根据本发明实施例的一种可选的脑磁共振图像分割方法的步骤示意图;
图7是根据本发明实施例的另一种可选的脑磁共振图像分割方法的步骤示意图;
图8是根据本发明实施例的一种可选的核磁共振图分割装置。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前图像分割技术需要大量的标注图像才能实现有效的分割结果,而大量标注图像一般由人力操作,极大限制地限制了图像分割技术的使用场景。因此一个使用较少标注图像,甚至不需要标注图像的方法就显得尤为重要。
为解决以上问题,本发明提供一种脑磁共振图像分割方法,可以在无需监督网络模型学习和不依赖标注图像的情况下,将核磁共振图像中的组织进行分类。作为一种可选的实施例,该方法流程可以如图1所示,具体包括如下步骤:
S102:获取待分割的目标脑磁共振图像中的超体素集合;
S104:对超体素集合进行提取,得到基础特征矩阵;
S106:对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;
S108:将聚类结果映射到目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据目标体素位置对目标脑磁共振图像进行分割。
可选地,在本实施例中,提供一目标脑磁共振图像,获取目标脑磁共振图像的所有超体素集合,该超体素集合包括目标脑磁共振图像的所有体素特征;对超体素集合进行提取,得到基础特征矩阵,该基础特征矩阵是一超体素集合为单位的特征量;对基础特征矩阵案子多个类别进行空间聚类,将目标脑磁共振图像的体素分为脑脊液体素、灰质体素、白质体素三个部分;将分类后的脑脊液体素、灰质体素、白质体素三个部分映射到目标脑磁共振图像,就可以将脑磁共振图像分为脑脊液图像、灰质图像、白质图像三个部分,实现对目标共振图像的精准分割。
体素作为三维图像中的最小单位,通常包含方向向量和几何向量,超体素是将位置相近、特征相近的体素结合在一起,选取超体素作为计算单位可以在尽可能包含体素特征量的情况减少运算步骤。
可选地,在本实施例中,步骤S102无需获取标注体素,通过对目标脑磁共振图像进行初始分割,利用迭代空间模糊聚类算法,可以根据初始分割后的目标脑磁共振图像得到目标脑磁共振图像中的所有体素的超体素集合。如图2所示的流程图,步骤S102具体包括:
S202:对目标脑磁共振图像进行初始分割,得到多个候选超体素;
S204:获取每个候选超体素各自与预先选定的参考超体素之间的特征相似度,以及任意两个候选超体素之间的距离;
S206:将特征相似度大于第一阈值,且距离小于第二阈值的候选超体素,添加到超体素集合中。
在本实施例中,步骤S202中的初始分割包括:忽略图像背景部分,按照脑组织将目标脑磁共振图像分割大致分为蛋白质、灰质以及脑脊液三部分,每个部分中至少选取一个体素作为候选体素,该候选体素用于作为超体素集合的参考体素,每个部分的选出的候选体素的个数可以不同。
在本实施例中,步骤S204根据选取的参考体素,需要将体素进行分类。在步骤S204中,采用特征相似度来表示候选体素与参考体素之间的特征差值,该特征差值包括几何特征差值、空间特征差值和两个超体素之间的距离。可选地,步骤S204具体包括:提取每个候选体素的候选特征,候选特征一般包括几何特征和空间特征;将与参考体素几何特征和空间特征相似,且距离相近的体素分到同一个体素合集。
在本实施例中,步骤S206设置第一阈值和第二阈值作为区分候选体素与参考体素之间的相似程度,若特征相似度在第一阈值和第二阈值之间则可以说明候选体素和参考体素之间相似;具体地,步骤S206包括:计算候选体素的特征各自与参考体素的参考特征之间的特征相似度,获取特征相似度大于第一阈值的候选超体素,得到候选超体素集合;比对候选超体素集合中任意两个候选超体素之间的距离;将距离小于第二阈值的候选超体素,添加到超体素集合中。
可选地,在本申请的实施例中,步骤S102获得了目标脑磁共振图像中的所有超体素集合,步骤S104需要对每一个集合中的超体素提出共同特征方便后续计算。具体地,步骤S104包括:
S302:提取超体素集合中各个超体素分别对应的基础特征;
S304:对超体素分别对应的基础特征进行压缩,得到压缩后的基础特征;
S306:对压缩后的基础特征进行归一化处理,得到基础特征矩阵。
在本实施例中,候选超体素的几何特征是二维向量,候选超体素的方向特征是三维向量,体素之间距离是一位向量,因此需要对超速中的特征进行处理,得到超体素每个几何对应的基础特征。具体地,步骤S302中,利用灰度直方图、局部二值化模式(Local BinaryPatter,LBP)计算超体素值,将超体素三维向量转化为数组或矩阵。
在本实施例中,在步骤S304中,由于分三部分选取的参考体素,超体素集合值之间差值很大,得到的差值矩阵过于稀疏,需要进行适当的特征压缩。
在本实施例中,在步骤S306中,由于选取部分不同,特征量和特征量之间的阈值不同,因此转化后的数组和矩阵的阈值各不相同,为了方便后续计算,需要保证阈值一致。为了保证特征的值域一致,需要对压缩后的基础特征进行归一化预处理。最终,将目标脑磁共振图像中的所有超体素特征聚成一个超体素特征矩阵,该超体素特征矩阵为基础特征矩阵。
如图4所示,上述S106对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果的具体步骤如下:
S402:基于基础特征矩阵编码得到第一深度子空间矩阵;
S404:根据第一深度子空间矩阵及预先配置的参考矩阵,计算得到第二深度子空间矩阵;
S406:对第一深度子空间矩阵和第二深度子空间矩阵进行比对判别,获取投影损失值,其中,投影损失值用于指示数据真实性的概率;
S408:根据投影损失值确定基础特征矩阵中的超体素所属的聚类类别,以得到聚类结果。
可选地,在本申请的实施例中,步骤S106需要选择合适的网络模型对基础特征矩阵进行聚类训练,一般选用生成对抗网络(GAN,Generative adversarial networks)进行分类。生成对抗网络(GAN,Generative adversarial networks)是人工智能学界的提供热门研究方向,生成对抗网络的基本思想源自博弈论,核心在于生成生成器和判别器,通过对抗学习的方式来训练,目的是估测数据样本的潜在分布并生成新的数据样本。生成对抗网络使用对抗方法,同时训练了一个生成器和一个判别器,生成器的本质是一种生成模型,通过将一种分布映射到另一种分布上生成数据,在学习过程中,生成模型的优化目标是尽可能地去生成伪造的数据,从而获得真实数据的统计分布规律;而判别器模型则用于判别给出的一个输入数据是来源于真实数据还是生成模型。最终,当一个判别模型无法准确分辨生成的数据是否伪造时,判别模型与生成模型训练结束。现有的生成对抗网络(GAN,Generative adversarial networks)中的判别器训练空间较大容易造成生成器生成不准的问题。
在本申请的实施例中,如图5所示,针对上述问题,本发明提供一种自我监督深度子空间聚类网络(Deep Adversarial Subspace Clustering Net,DASCN),将超体素进行分类并求出每种超体素对应的分布概率。自我监督深度子空间聚类网络(Deep AdversarialSubspace Clustering Net,DASCN)包括生成器110(生成器110包括自动编码器111、自表示层112、普聚类113和采样层114)和判别器120,生成器110用于根据输入值生成假数据,判别器120用于计算假数据和真数据之间的损失函数。判别器120根据生成器110预设的生成次数对生成器110进行判别,每判别一次,判别器120将损失函数反馈到生成器110中,生成器110再次生成真数据和假数据,判别器120生成新的损失函数,并将新的损失函数重新带入生成器110生成数据,重复上述生成器110和判别器120的博弈过程,直到判别器120生成稳定的损失函数趋于稳定。此时,判别器120不能分辨生成器110生成的假数据和真数据,判别器120认定真数据和假数据相同。通过生成器110和判别器120之间的不断博弈,可以让生成器110和判别器120之间相互训练,生成器110通过接受判别器120产生的损失数据,逐渐减少产生真数据的类别和生成判别器120的个数,最终实现一个类别对应一个生成器110,此时,生成器110生训练的效果较好,可以生成一个较好的假数据,假数据包含有三个类别,用于映射到图像上。
可选地,在本发明的实施例中,步骤S402至步骤S408中包含的自我监督深度子空间聚类网络(Deep Adversarial Subspace Clustering Net,DASCN)如图5所示,自我监督深度子空间聚类网络(Deep Adversarial Subspace Clustering Net,DASCN)包括生成器110和判别器120,生成器110包含自动编码器111、自表示层112、谱聚类113以及采样层114。
其中,自动编码器111用于根据基础特征矩阵编码得到第一深度子空间矩阵和对线性重组后的第一深度子空间矩阵进行还原;自表示层112为预先配置的参考矩阵,用于对第一深度子空间Z进行线性重组和计算超体素之间的相似矩阵;谱聚类113存储有谱聚类算法,用于对超体之间的相似矩阵使用谱聚类算法获取候选聚类结果;采样层114,对候选聚类结果和第一深度子空间矩阵进行采样,并将采样结果线性重组生成第二深度子空间矩阵;判别器120包括两层连接层,两层连接层的参数共享,具体得到聚类结果的步骤如下:
步骤S502:基于基础特征矩阵,自动编码器111生成第一深度子空间矩阵Z,第一深度子空间Z中包含真数据z;
步骤S504:根据第一深度子空间Z,自表示层112对第一深度子空间Z进行非线性重组,并计算超体素之间的相似矩阵A;
步骤S506:根据相似类矩阵A,普聚类113获得候选结果;
步骤S512:在判别结果为假的情况下,生成器进行再次生成候选聚类结果重新判别;
步骤S514:在判别结果为真的情况下,判别器停止判别,输出聚类结果D。
可选地,在步骤S504中,通过生成器110中的自动编码器111对基础特征矩阵中的基础特征进行非线性变换和降维处理,以得到第一深度子空间矩阵Z。预先配置的参考矩阵是一个N×N的矩阵,表达式为,参考矩阵的系数矩阵用C表示。通过参考矩阵的系数矩阵C计算亲和度矩阵得到相似矩阵A,相似矩阵A为超体素之间的相似矩阵,相似矩阵A的计算公式如公式(1)所示:
第一深度子空间矩阵Z经过参考矩阵重组后得到新的特征矩阵,用CZ表示新的特征矩阵;新的特征矩阵CZ经过自动编码器111还原到第一深度子空间矩阵Z输出真数据z,真数据z和第一深度子空间矩阵Z之间的表达公式如公式(2)所示:
其中,第一深度子空间Z为真数据z的集合。
可选地,在步骤S506中,相似矩阵A根据谱聚类113采用谱聚类算法得到候选聚类结果。根据第一深度子空间矩阵Z,自动编码器111输出的真数据z,采样层114进行采样;采样时,将候选聚类结果中同一类别中的样本进行线性组合,如公式(3)所示:
公式(4)用于表示聚类类别:
在本申请的实施例中,聚类结果可以包括但不限于以下三个类别:灰质类别、白质类别和脑脊液类别。
在本发明的实施例中,以首次判别为例,根据第一候选聚类结果生成器110生成第一类别、第二类别和第三类别。据公式(5)和第一类别,判别器120生成第一类别候选判别器;根据公式(5)和第二类别,判别器120生成第二类别候选判别器;根据公式(5)和第三类别,判别器120生成第三类别候选判别器。第一类别候选判别器分别对第一类别中的真假数据、第二类别中的真假数据、第三类别中的真假数据进行判别;第二类别候选判别器分别对第一类别中的真假数据、第二类别中的真假数据、第三类别中的真假数据进行判别;第三类别候选判别器分别对第一类别中的真假数据、第二类别中的真假数据、第三类别中的真假数据进行判别。
为获取各个类别对应的判别器,需要计算各个类别的数据在各个判别器上的平均投影损失值,如公式(6)所示。根据公式(6),分别获取第一类别针对第一类别候选判别器、针对第二类别候选判别器、针对第三类别候选判别器产生的子投影损失值,第一类别选择子投影损失值最小的候选判别器作为第一类别判别器;根据公式(6),分别获取第二类别针对第一类别候选判别器、针对第二类别候选判别器、针对第三类别候选判别器产生的子投影损失值,第二类别选择子投影损失值最小的候选判别器作为第二类别判别器;根据公式(6),分别获取第三类别针对第一类别候选判别器、针对第二类别候选判别器、针对第三类别候选判别器产生的子投影损失值,第二类别选择子投影损失值最小的候选判别器作为第三类别判别器。
在一些实施例中,两个类别选择同一个判别器,选择其中一个判别器作为一个类别的判别器;对没有判别器的类别,采用正三角分解法,求出该类别的特征矩阵作为该类别的判别器。
获取第一类别真假数据在第一判别器下产生的第一类别真子投影损失值和第一类别假子投影损失值,第一类别真子投影损失值和第一类别假子投影损失值进行加权求和,加权求和公式如公式(7)所示;得到第一判别器针对第一类别的第一类别判别器损失值。
获取第二类别真假数据在第二判别器下产生的第二类别真子投影损失值和第二类别假子投影损失值,第二类别真子投影损失值和第二类别假子投影损失值进行加权求和,加权求和公式如公式(7)所示;得到第二判别器针对第二类别的第二类别判别器损失值。
获取第三类别真假数据在第三判别器下产生的第三类别真子投影损失值和第三类别假子投影损失值,第三类别真子投影损失值和第三类别假子投影损失值进行加权求和,加权求和公式如公式(7)所示;得到第三判别器针对第三类别的第三类别判别器损失值
对第一类别判别器损失值、第二类别判别器损失值、第三类别判别器损失值进行加权求值,如公式(8)所示,作为第一次判别产生的投影损失值;
在步骤S510中,根据判别器120产生的损失判断数据的真假性,判别器120产生的投影损失值在预设范围内,表示判别器120无法判断出数据的真假,在理想条件下,预设范围趋于0。
在步骤S512-S514中,生成器110和判别器120进行对抗训练,直到判别器产生的投影损失值较小,代表生成器110生成满意的聚类结果。此时,判别器停止判别,输出聚类结果。
在本发明的又一实施例中,设定生成器110预设次数;超过预设次数后,采用判别器120进行判别;判别器120判断生成的数据为假时,将生成器110生成假数据的损失和判别器120产生的损失带入生成器110中,对生成器110再次训练。第一深度子空间矩阵Z生成第二深度子空间过程中会产生大量损失;还包括第一深度子空间经过生成器110重建和还原得到第一损失,第一损失为关联特征矩阵;自表示层113对第一深度子空间进行线性重组产生第二损失,记第二损失为中间特征;自表示层113自身约束会产生第三损失,第三损失为第一置信度集;具体获取关联特征矩阵、中间特征和第一置信度集的步骤如下:
中间特征、关联特征矩阵和第一置信度集用于判别器计算投影损失值;
在本实施例中,计算一次判别产生的损失函数的计算公式(12)包括:
在一种实施例中,生成器110每训练次(),判别器120进行一次训练。判别器120训练结束后,将损失函数反馈到生成器110中,生成器110再次生成真数据和假数据,判别器120生成新的损失函数,并将新的损失函数重新带入生成器110生成数据,重复上述生成器110和判别器120的博弈过程,直到判别器120生成稳定的损失函数趋于稳定。此时,判别器120不能分辨生成器110生成的假数据和真数据,判别器120认定真数据和假数据相同。通过生成器110和判别器120之间的不断博弈,可以让生成器110和判别器120之间相互训练,生成器110通过接受判别器120产生的损失数据,逐渐减少产生真数据的类别和生成判别器120的个数,最终实现一个类别对应一个生成器110,此时,生成器110生训练的效果较好,可以生成一个较好的假数据,假数据包含有三个类别,用于映射到图像上。
在一种具体的实施例中,设定预定次数为T,生成器110生成T次后判别器120判别一次。第一次判别结果如图6所示,在T次内产生三种候选聚类结果D11、D12和D13,分别对这三种候选聚类结果利用公式(6)生成三个判别器U1、U2和U3。
如图6示,三个判别器U1、U2和U3分别对候选聚类结果D11(如图6点填充图案)进行判别,且分别对应三种判别器产生三种子投影损失值L11、L21、L31。假设从三种子投影损失值L11、L21、L31中选择出子投影损失值最小的是L11,并且L11对应的判别器U1,那么U1是候选聚类结果D11对应的类别判别器。
如图6所示,三个判别器U1、U2和U3分别对候选聚类结果D12(如图6斜线填充图案)进行判别,且分别对应三种判别器产生三种子投影损失值L12、L22、L32,假设从三种子投影损失值L12、L22、L32中选择出子投影损失值最小的是L22,并且L22对应的判别器U2,那么U2是候选聚类结果D12对应的类别判别器。
如图6所示,三个判别器U1、U2和U3分别对候选聚类结果D13(如图6直线填充图案)进行判别,且分别对应三种判别器产生三种子投影损失值L13、L23、L33,假设从三种子投影损失值L13、L23、L33中选择出子投影损失值最小的是L33,并且L33对应的判别器U3,那么U3是候选聚类结果D13对应的类别判别器。
可选地,对于图6的步骤。计算第一次判别产生的判别损失,将第一次判别损失带入第二次判别,生成器110产生第二次候选聚类结果,包括D21、D22、D23。
如图7所示,分别对这三种候选聚类结果利用公式(6)生成三个候选判别器U4、U5和U6。
对于候选聚类结果D21,分别用第一次判别产生的U1、第二次生成的候选判别器U4、U5和U6进行判别,产生四个子投影损失值L211、L214、L215、L216。假设从三种子投影损失值L211、L214、L215、L216中选择出子投影损失值最小的是L214,并且L214对应的判别器U4,那么U4是候选聚类结果D21对应的类别判别器。
对于候选聚类结果D22,分别用第一次判别产生的U2、第二次生成的候选判别器U4、U5和U6进行判别,产生四个子投影损失值L212、L224、L225、L226。假设从三种子投影损失值L212、L224、L225、L226中选择出子投影损失值最小的是L225,并且L225对应的判别器U5,那么U5是候选聚类结果D22对应的类别判别器。
对于候选聚类结果D23,分别用第一次判别产生的U3、第二次生成的候选判别器U4、U5和U6进行判别,产生四个子投影损失值L233、L234、L235、L236。假设从三种子投影损失值L233、L234、L235、L236中选择出子投影损失值最小的是L236,并且L236对应的判别器U6,那么U6是候选聚类结果D23对应的类别判别器。
在一种实施例中,会出现两种候选聚类结果选择同一种判别器的情况,在此情况下,选择其中一个候选聚类结果进行三角分解,假设在图6中,D21和D22同时选择U4判别器,选取D22进行正三角分解,选出分解后的特征量作为选出的D22的判别器,其他情况相同,在此不做赘叙。结合图6及图7所示来说明第N+1次判别产生聚类结果的步骤可以包括:计算第N次判别产生的判别损失,将第N次判别损失带入第N+1次判别。生成器110产生第N+1次的候选聚类结果,对第N+1次产生的候选聚类结果生成三个候选判别器;根据第N次判别产生的判别器和第N+1次生成的候选判别器,确定得到第N+1次判别器。在第N+1次判别器生成的子投影损失值在预设条件以内的情况下,判别器120停止判别,并将第N+1次生成的候选聚类结果确定为本次训练产生的聚类结果,输出该聚类结果。
根据本发明的实施例的又一方面,如图8所示,本发明提供一种脑磁共振图像分割装置,包括:获取单元802,用于获取待分割的目标脑磁共振图像中的超体素集合;提取单元804,用于对超体素集合进行提取,得到基础特征矩阵;聚类单元806,用于对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;映射处理单元808,用于将聚类结果映射到目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;分割单元810,用于根据目标体素位置对目标脑磁共振图像进行分割。
需要说明的是,这里脑磁共振图像分割装置的实施例,可以参考上述方法实施例,这里不再赘述。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
步骤 S1:获取待分割的目标脑磁共振图像中的超体素集合;
步骤 S2:对超体素集合进行提取,得到基础特征矩阵;
步骤S3:对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;
步骤S4:将聚类结果映射到目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据目标体素位置对目标脑磁共振图像进行分割。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
根据本发明的实施例的又一方面,还提供了一种电子装置,该电子装置包括存储器和处理器,其中存储器中存储有计算机程序,处理器被设置为通过计算机程序执行的方法包括:
步骤 S1:获取待分割的目标脑磁共振图像中的超体素集合;
步骤 S2:对超体素集合进行提取,得到基础特征矩阵;
步骤S3:对基础特征矩阵按照多个类别进行空间聚类,以得到聚类结果;
步骤S4:将聚类结果映射到目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;根据目标体素位置对目标脑磁共振图像进行分割。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种脑磁共振图像分割方法,其特征在于,包括:
获取待分割的目标脑磁共振图像中的超体素集合;
对所述超体素集合进行提取,得到基础特征矩阵;
基于所述基础特征矩阵编码得到第一深度子空间矩阵;
通过生成器中的参考矩阵的系数计算相似矩阵,对所述相似矩阵使用谱聚类算法,得到候选聚类结果;
在对所述第一深度子空间矩阵和所述候选聚类结果进行采样时,将所述候选聚类结果中属于同一类别的超体素进行线性组合,以获取第二深度子空间矩阵;
对所述第一深度子空间矩阵和所述第二深度子空间矩阵进行比对判别,获取投影损失值,其中,所述投影损失值用于指示数据真实性的概率;
根据所述投影损失值确定所述基础特征矩阵中的超体素所属的聚类类别,以得到聚类结果;
将所述聚类结果映射到所述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;
根据所述目标体素位置对所述目标脑磁共振图像进行分割。
2.根据权利要求1所述的方法,其特征在于,所述获取待分割的目标脑磁共振图像中的超体素集合包括:
对所述目标脑磁共振图像进行初始分割,得到多个候选超体素;
获取每个所述候选超体素各自与预先选定的参考超体素之间的特征相似度,以及任意两个所述候选超体素之间的距离;
将所述特征相似度大于第一阈值,且所述距离小于第二阈值的候选超体素,添加到所述超体素集合中;
其中,所述超体素集合包括所述目标脑磁共振图像中的所有体素。
3.根据权利要求1所述的方法,其特征在于,所述对所述超体素集合进行提取,得到基础特征矩阵包括:
提取所述超体素集合中各个超体素分别对应的基础特征;
对所述超体素分别对应的所述基础特征进行压缩,得到压缩后的基础特征;
对所述压缩后的基础特征进行归一化处理,得到所述基础特征矩阵;
其中,所述特征矩阵包括所述目标脑磁共振图像中所有体素特征。
4.根据权利要求1所述的方法,其特征在于,所述聚类结果包括脑脊液体素集合、灰质体素集合和白质体素集合。
5.根据权利要求1所述的方法,其特征在于,所述第一深度子空间矩阵为所述生成器根据所述基础特征矩阵生成的真数据,所述第二深度子空间矩阵为所述生成器根据所述第一深度子空间生成的假数据。
6.根据权利要求1所述的方法,其特征在于,在所述通过生成器中的自动编码器对所述基础特征矩阵中的基础特征进行非线性变换和降维处理,以得到所述第一深度子空间矩阵后,还包括:
通过所述参考矩阵对所述第一深度子空间矩阵中的特征进行线性重组,得到中间特征;
通过所述生成器中的解码器将所述中间特征还原到所述基础特征所在的基础特征空间,得到关联特征矩阵;
根据所述第一深度子空间矩阵及所述关联特征矩阵,确定第一置信度集;
其中,基于所述中间特征、所述关联特征矩阵、所述第一置信度集和所述投影损失值,确定判别器判别过程中产生的判别损失值,所述判别器用于判断接收数据的真假性。
7.根据权利要求1所述的方法,其特征在于,所述根据所述投影损失值确定所述基础特征矩阵中的超体素所属的聚类类别,以得到所述聚类结果的步骤包括:
根据所述候选聚类结果,生成第一候选判别器,每个类别的所述候选聚类结果对应一个所述第一候选判别器;
在所述第一候选判别器中对所述候选聚类结果进行判别,以从所述第一候选判别器中确定出第一判别器,并获取第一投影损失值和第一判别损失值;
根据所述第一判别损失值和所述第一投影损失值更新所述候选聚类结果,并生成第二候选判别器;
在所述第二候选判别器和所述第一判别器中,对更新后的所述候选聚类结果进行判别,以确定出第二判别器,并获取第二投影损失值和第二判别损失值;
重复以上步骤,在输出的投影损失值小于预设条件的情况下,停止判别,将当前的所述候选聚类结果确定为所述聚类结果。
8.一种脑磁共振图像分割装置,其特征在于,包括:
获取单元,用于获取待分割的目标脑磁共振图像中的超体素集合;
提取单元,用于对所述超体素集合进行提取,得到基础特征矩阵;
聚类单元,用于基于所述基础特征矩阵编码得到第一深度子空间矩阵;通过生成器中的参考矩阵的系数计算相似矩阵;对所述相似矩阵使用谱聚类算法,得到候选聚类结果;在对所述第一深度子空间矩阵和所述候选聚类结果进行采样时,将所述候选聚类结果中属于同一类别的超体素进行线性组合,以获取第二深度子空间矩阵;对所述第一深度子空间矩阵和所述第二深度子空间矩阵进行比对判别,获取投影损失值,其中,所述投影损失值用于指示数据真实性的概率;根据所述投影损失值确定所述基础特征矩阵中的超体素所属的聚类类别,以得到聚类结果;
映射处理单元,用于将所述聚类结果映射到所述目标脑磁共振图像中,以确定相同的超体素所在的目标体素位置;
分割单元,用于根据所述目标体素位置对所述目标脑磁共振图像进行分割。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的计算机程序,其中,所述计算机程序运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110016226.0A CN112348816B (zh) | 2021-01-07 | 2021-01-07 | 脑磁共振图像分割方法、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110016226.0A CN112348816B (zh) | 2021-01-07 | 2021-01-07 | 脑磁共振图像分割方法、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112348816A CN112348816A (zh) | 2021-02-09 |
CN112348816B true CN112348816B (zh) | 2021-06-01 |
Family
ID=74427714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110016226.0A Active CN112348816B (zh) | 2021-01-07 | 2021-01-07 | 脑磁共振图像分割方法、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348816B (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106997591A (zh) * | 2017-03-21 | 2017-08-01 | 南京理工大学 | 一种rgb‑d图像变尺度超体素分割方法 |
US10304192B2 (en) * | 2017-07-11 | 2019-05-28 | Sony Corporation | Fast, progressive approach to supervoxel-based spatial temporal video segmentation |
CN108664976B (zh) * | 2018-04-25 | 2022-06-03 | 安徽大学 | 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法 |
CN109472263B (zh) * | 2018-10-12 | 2021-06-15 | 东南大学 | 一种结合全局和局部信息的大脑磁共振图像分割方法 |
CN110008506B (zh) * | 2019-02-22 | 2023-04-25 | 南京航空航天大学 | 一种骨肿瘤仿生修复方法 |
CN109934235B (zh) * | 2019-03-20 | 2021-04-20 | 中南大学 | 一种无监督的腹部ct序列图像多器官同时自动分割方法 |
-
2021
- 2021-01-07 CN CN202110016226.0A patent/CN112348816B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112348816A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
Lei et al. | Multiscale superpixel segmentation with deep features for change detection | |
CN113313234A (zh) | 用于图像分割的神经网络系统和方法 | |
JP5725918B2 (ja) | 情報処理方法及び情報処理装置 | |
US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
JP5567448B2 (ja) | 画像領域分割装置、画像領域分割方法および画像領域分割プログラム | |
CN108961180B (zh) | 红外图像增强方法及系统 | |
CN112017192B (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及系统 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
Epifanio et al. | Morphological texture features for unsupervised and supervised segmentations of natural landscapes | |
CN107067037B (zh) | 一种使用llc准则定位图像前景的方法 | |
CN108399430A (zh) | 一种基于超像素和随机森林的sar图像舰船目标检测方法 | |
CN114639122A (zh) | 一种基于卷积生成对抗网络的姿态修正行人再识别方法 | |
Khandare et al. | A survey paper on image segmentation with thresholding | |
Wang et al. | Small vehicle classification in the wild using generative adversarial network | |
Wang et al. | SAR target discrimination based on BOW model with sample-reweighted category-specific and shared dictionary learning | |
CN114612315A (zh) | 一种基于多任务学习的高分辨率影像缺失区域重建方法 | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
CN112348816B (zh) | 脑磁共振图像分割方法、存储介质及电子装置 | |
Song et al. | Unsupervised Bayesian image segmentation using wavelet-domain hidden Markov models | |
CN114972882A (zh) | 基于多注意力机制的磨损表面损伤深度估计方法及系统 | |
Hassan et al. | Salient object detection based on CNN fusion of two types of saliency models | |
CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
Jensch et al. | A comparative evaluation of three skin color detection approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |