CN112164067A - 一种基于多模态子空间聚类的医学图像分割方法及装置 - Google Patents

一种基于多模态子空间聚类的医学图像分割方法及装置 Download PDF

Info

Publication number
CN112164067A
CN112164067A CN202011083744.6A CN202011083744A CN112164067A CN 112164067 A CN112164067 A CN 112164067A CN 202011083744 A CN202011083744 A CN 202011083744A CN 112164067 A CN112164067 A CN 112164067A
Authority
CN
China
Prior art keywords
medical image
self
mode
subspace clustering
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011083744.6A
Other languages
English (en)
Inventor
张小乾
万黎明
刘知贵
郭丽
白克强
秦明伟
罗亮
李理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202011083744.6A priority Critical patent/CN112164067A/zh
Publication of CN112164067A publication Critical patent/CN112164067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态子空间聚类的医学图像分割方法及装置，该方法包括：步骤1：获取原始医学图像，并进行预处理；步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行谱聚类，得到聚类后的医学特征数据；步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。本发明方法针对复杂医学图像分割效果佳，精度高。

Description

一种基于多模态子空间聚类的医学图像分割方法及装置
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种基于多模态子空间聚类的医学图像分割方法及装置。
背景技术
医学磁共振(MR)图像凭借高对比度、高分辨率、多方位等优点，广泛应用于临床医学诊断和研究。为了有效提取图像中的关键信息，图像分割成为了医学图像处理中必不可少的环节。但是，医学图像数据常具有较高的维度及多种不同属性(模态)的异构特征，其中高维数据一般含有较多的冗余特征，采用现有的阈值图像分割法、边缘检测图像分割法、区域图像分割等传统图像分割的方法，直接对其分割不仅耗时且往往难以取得好的分割效果，甚至还可能出现过度分割的情况；且医学图像中存在灰度不均匀性和复杂噪声等缺陷会掩盖数据的内在结构信息，给数据内在信息的挖掘造成一定的困难，进而影响分割精度。
因此目前出现了很多基于聚类方法的图像分割法。其中最热门的基于子空间聚类的方法，子空间聚类，又称为子空间分割，假设数据分布于若干个低维子空间，子空间聚类就是将数据按某种方式分类到其所属的子空间的过程。近年来，诸多子空间聚类方法相继被提出。特别是基于稀疏子空间聚类和低秩表示的方法，得到了广泛的应用。这些方法利用了子空间联合中的无噪声数据是自表示的，即每个数据点可以表示为其他数据点的系数线性组合。尽管子空间聚类在最近的发展中取得了巨大的成功，但由于实际数据不一定符合线性子空间模型，因此在实际应用中的适用性非常有限。随着多视图学习已成为模式识别和机器学习等领域的重点内容，以及深度框架的兴起，深度学习方法取得了广泛的成功，多视图深度子空间聚类也成为了研究的热点，Yang等提出了一种典型的相关分析网络，Benton等提出了深度广义CAA方法，同时学习从每个视图到共享空间的非线性映射。Abavisani等在他们的基础上提出了一种基于CNNs的无监督多模态子空间聚方法，该框架由多模态编码器、自表示层和多模态编码器三个主要阶段组成。这类基于深度子空间聚类的方法可以很好的解决子空间聚类方法中存在的一些问题。但是在没有标记的情况下进行特征学习，由于缺乏有效的监督很难用这种方法学习良好的特征表示。
因此，针对现有检测设备采集到的复杂数据，如何有效挖掘其内在信息以提高分割精度是医学图像处理领域亟待解决的问题之一。
发明内容
本发明所要解决的技术问题是医学图像数据常具有较高的维度及多种不同属性(模态)的异构特征，其中高维数据一般含有较多的冗余特征，采用现有的阈值图像分割法、边缘检测图像分割法、区域图像分割等传统图像分割的方法，直接对其分割不仅耗时且往往难以取得好的分割效果，甚至还可能出现过度分割的情况；且医学图像中存在灰度不均匀性和复杂噪声等缺陷会掩盖数据的内在结构信息，给数据内在信息的挖掘造成一定的困难，进而影响分割精度。另外，很多基于聚类方法的图像分割法也存在分割精度不高等问题。
本发明目的在于提供一种基于多模态子空间聚类的医学图像分割方法及装置，解决上述这些复杂医学图像分割存在的问题，且复杂医学图像分割效果佳，精度高。
本发明方法借鉴了深度学习与标签传播的思想，实现对多模态数据的深度映射与核传播，构建多模态相关特征子空间学习模型及其算法，突破关键理论与技术，丰富多模态学习的理论体系。我们的目标是同时实现特征学习和子空间聚类，在多模态学习子空间聚类的基础上，提出一种端到端可训练的自监督卷积子空间聚类的框架网络，该框架是一种自动编码为基础的、自表示模块和谱聚类模块组成联合优化框架。本发明还将引入一种双重自我监督，利用谱聚类输出来监督学习模块，和自表示的训练将多模态编码模块的特征提取、自表示模块和亲和学习、谱聚类的数据分割集成到一个联合优化框架中。可以有效的提升图像分割的准确率。
自监督学习的出发点是考虑在缺少标签或者完全没有标签的情况下，依然学习到能够表示原始图片的良好有意义的特征。第一类自监督任务——数据恢复任务中，能够通过学习到的特征还原生成原始数据的特征。第二类基于数据变换的任务——对于样本X，对其做任意变换T(i)：X→Y，则自监督任务的目标是能够对生成的估计出其变换的参数i.我们所用到的就是第二类于数据变换的任务的自监督学习。
模态：每一种信息的来源或者形式，都可以称为一种模态。例如，人有听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。多模态机器学习是指通过机器学习的方法实现处理和理解多模态信息的能力。
稀疏子空间聚类是一种基于谱聚类(谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法进行聚类)的数据聚类框架，高维数据通常分布于若干个低维子空间的并上，因此高维数据在适当字典的表示具有稀疏性。稀疏子空间聚类利用高维数据的稀疏表示系数构造相似度矩阵，然后利用普聚类方法得到数据的子空间聚类结果。其核心就是设计能够揭示高维数据子空间结构的表示模型，使得到的表示系数及由此构造的相似度矩阵有助于精确的子空间聚类。
本发明通过下述技术方案实现：
第一方面，本发明提供了基于自监督多模态深度子空间聚类的医学图像分割方法，该方法包括以下步骤：
步骤1：获取原始医学图像，并进行预处理；
步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；
步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。
本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型。受深度多模态子空间聚类算法的启发，拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。
本发明方法设计思想的分析推导过程：
本发明中利用到自监督学习、多模态学习与子空间聚类的方法相结合。传统的深度子空间是为了找到稀疏或低秩矩阵C，然后计算出亲和度矩阵W，进而分割出我们需要的数据。具体地，利用深度学习的方法寻求一组隐式的低维子空间，用于拟合未标注的高维数据，并根据相应的结构关系划分这些子空间。令X＝[x1,…,xn]∈RD×N是从RD中的维度为
Figure BDA0002719581160000031
的n个线性子空间S1∪S2∪…∪Sn的并集绘制的N个信号
Figure BDA0002719581160000032
的集合。给定x，子空间聚类的任务是找到位于Se的子矩阵，
Figure BDA0002719581160000034
其中N1+N2+…+Nn＝N。
然而，利用子空间聚类面对的一个问题就是找到稀疏或低秩矩阵C。稀疏子空间聚类(SSC)和基于低秩表示的子空间聚类(LRR)算法利用了子空间并集中的无噪声数据，换句话说，假设每个数据点可以表示为其他数据点的线性组合。
Figure BDA0002719581160000033
其中||C||p是SSC的1范数和LRR的核范数。这里，λ是正则化参数。另外，为了防止平凡解C＝I，在SSC的情况下，将上述diag(C)＝0的附加约束添加到上述优化问题中。一旦找到稀疏或低秩矩阵C，就将谱聚类方法应用于亲和度矩阵W＝1/2(|C|+CT)，以获得数据X的分割。
本发明为了解决现有复杂医学图像分割方法中在没有标记的情况下进行特征学习，由于缺乏有效的监督很难用这种方法学习良好的特征表示，尽而影响复杂医学图像分割效果不佳，精度不高。因此，本发明引入优化自监督，通过公式去训练稀疏或低秩矩阵C，后续介绍了多模态之后这边的C也会被Θ替换。
其中自表示层的自监督是利用谱聚类产生的标签信息，本发明将谱聚类作为网络的一个模块，向自表示模型提供反馈。此方法可以有效的将细化自监督的作用。
Figure BDA0002719581160000041
强制自表示矩阵C只有当第i个和第j个数据点具有相同的标签时，Cij才是非零的。也就是说将谱聚类的结果纳入到自表示模型中，可以细化自表示矩阵C提供的自监督。
聚类网络通过使用编码器，编码器类型网络将数据嵌入到潜在空间来探索自表示。图3给出了单模态子空间聚类的DSC方法的概述。该方法优化了类似于公式(2)的目标，使用嵌入在网络内的可训练密集层来近似矩阵C。
然而，基于以上单模态子空间聚类的方法，往往医学图像数据呈现多样性，单一模态数据情况比较少，本发明是利用不同形式提供的补充信息来提高识别性能，因此本发明引入的多模态深度子空间学习的概念。对于多模态学习本发马宁的设计方法是利用不同形式提供的补充信息来提高识别性能，通过利用多模态之间的互补性，剔除模态间的冗余从而学习到更好的特征表示。在缺乏标注数据、样本存在大量噪声以及数据收集质量不可靠时，可通过不同模态间的知识迁移提高质量较差模态的性能。本发明所提出的基于自监督多模态深度子空间聚类方法模型的框架主要包括三个阶段：多模态编码器(图4所示)，自表示层，多模态解码器。首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。其中所提到的空间融合方法来自于不同模态的补充信息的联合表示。联合表示与每种模态具有空间对应关系。图5显示了空间融合的视觉示例，其中五种不同的模态被组合产生融合结果Y。使用空间融合的方法在多模态学习应用中特别流行。将这种空间融合的方法应用于本发明的自监督多模态深度子空间聚类问题上。
本发明在以上分析的基础上将自表示层的参数表示为Θs，如图6所示，模型通过不断迭代训练。训练出共同的Θs。得到的Θs全部适用所有的模态。这些参数基本上是公式(2)中C的元素。以下损失函数用于训练网络，不断的优化Θs：
Figure BDA0002719581160000051
s.t.diag(Θs)＝0, (3)
其中ZΘe表示编码器的输出，
Figure BDA0002719581160000052
是解码器输出端的重构信号。这里，网络参数Θ由编码器参数Θe，解码器参数Θd和自表示层参数Θs组成。这里，λ1和λ2是两个正则化参数。
本发明将多模态和子空间聚类结合，将C换成上述本发明训练好的Θs，本发明强制执行共享亲和度矩阵，因为一种模态中的类似数据在其他模态中也应相似。在DSC框架中，如下从自表示层权重计算亲和度矩阵：
Figure BDA0002719581160000053
共享的Θs在整个模态中产生共同的亲和度矩阵W。本发明强制执行共享Θs的模态，同时具有不同的编码器，解码器和潜在表示。对于M模态问题，本发明堆叠M个并行DSC网络，它们共享一个共同的自表示层。这样就解决了多模态的问题。本发明再将子空间聚类中的W＝1/2(|C|+CT)用
Figure BDA0002719581160000054
替换，得到亲和度矩阵W之后使用聚类算法就可以得到我们所需要的分割结果。我们将Θs同时替换公式(2)中的C。这样才形成了一个完整的基于自监督多模态深度子空间聚类方法模型。
基于自监督多模态深度子空间聚类方法模型：利用深度网络训练(图7所示)方法将图像的模态特征表示到多模态子空间聚类中，在对图像进行分割，提取出所需要的医学图像位置。将多模态学习结合特征学习和子空间聚类的联合优化框架。从子空间聚类结果中提取有用的自监督信息可以指导特诊学习和改进自表示的模型，将多模态特征集成到子空间聚类中，形成端到端可训练框架。本发明提出了一种同时用于多模态学习、特征学习和子空间聚类的端到端可训练框架算法，称为基于自监督多模态深度子空间聚类方法模型。利用自我监督机制，结合多模态学习和子空间聚类的方法，有效的提升了医学图像分割的精确性。
进一步地，步骤2中的所述线性特征矩阵的表示公式为：
X＝[x1,…,xn]∈RD×N
式中，RD中的维度为
Figure BDA0002719581160000055
的n个线性子空间S1∪S2∪…∪Sn的并集绘制的N个信号
Figure BDA0002719581160000056
的集合。
进一步地，步骤3中所述基于自监督多模态深度子空间聚类方法模型的框架包括多模态编码器、自表示层、多模态解码器，首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。
进一步地，基于所述基于自监督多模态深度子空间聚类方法模型的框架，步骤3中所述基于自监督多模态深度子空间聚类方法模型的构建及训练步骤如下：
步骤31：将所述线性特征矩阵通过多模态深度子空间聚类得到亲和度矩阵
Figure BDA0002719581160000061
Θs表示对应于端到端训练策略所学习的自表示层权重参数；
步骤32：采用自监督机器学习指导特征学习，对模型进行不断迭代训练，训练出共同的Θs，得到的Θs全部适用所有的模态；并将训练出共同的Θs纳入到自表示模型中，细化自表示模型；
步骤33：通过以下损失函数来训练模型网络，不断的优化Θs；
Figure BDA0002719581160000062
s.t.diag(Θs)＝0
其中ZΘe表示编码器的输出，
Figure BDA0002719581160000063
是解码器输出端的重构信号；网络参数Θ由编码器参数Θe，解码器参数Θd和自表示层参数Θs组成；λ1和λ2是两个正则化参数。
进一步地，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤2包括以下子步骤：
所述卷积神经网络的低层网络，使用M卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用N卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述M卷积核的数量少于所述N卷积核的数量；
所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；
所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
进一步地，步骤4所述卷积神经网络的反卷积的卷积层数与步骤2中所述卷积的卷积层数相同。
第二方面，本发明还提供了一种医学图像分割装置，包括：
输入模块：用于输入获取的原始医学图像；
预处理模块：用于对所述输入单元输入的原始医学图像进行预处理，并传送至处理单元；
处理模块：包括第一处理单元、第二处理单元和第三处理单元；
所述第一处理单元，用于通过卷积神经网络对所述预处理模块预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
第二处理单元，用于构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对所述第一处理单元获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；
第三处理单元，用于将所述第二处理单元聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像；
输出模块，用于所述第三处理单元分割后的医学图像。
第三方面，本发明还提供了一种医学图像分割设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述医学图像分割方法的步骤。
第四方面，本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述医学图像分割方法的步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型；拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。
2、本发明方法针对复杂医学图像分割效果佳，精度高；尤其在动脉粥样硬化斑块的医学图像实施本发明方法，通过本发明方法对动脉粥样硬化斑块图像进行分割，所得的斑块轮廓曲线直接作为水平集函数的初始化零水平集函数进行演化，分割结果平均结构性度量经过计算为93.70％，证明本发明方法对医学图像分割的使用性较高。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明基于自监督多模态深度子空间聚类的医学图像分割方法流程图。
图2为本发明构建的基于自监督多模态深度子空间聚类方法模型的框架图。
图3为现有技术中单模态子空间聚类的DSC方法图。
图4为本发明自编码器示意图。
图5为本发明空间融合示例。
图6为本发明不同空间融合结构的深度多模态子空间聚类网络示意图。
图7为本发明深度网络学习算法训练过程图。
图8为本发明实施例分割结果图一。
图9为本发明实施例分割结果图二。
图10为本发明实施例分割结果图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
实施例1
如图1至图10所示，本发明基于自监督多模态深度子空间聚类的医学图像分割方法，该分割方法框架如图2所示，本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型。受深度多模态子空间聚类算法的启发，拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。
该方法包括以下步骤：
步骤1：获取原始医学图像，并进行预处理；
步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行谱聚类，得到聚类后的医学特征数据；
步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。
具体地，步骤2中的所述线性特征矩阵的表示公式为：
X＝[x1,…,xn]∈RD×N
式中，RD中的维度为
Figure BDA0002719581160000091
的n个线性子空间S1∪S2∪…∪Sn的并集绘制的N个信号
Figure BDA0002719581160000092
的集合。
具体地，步骤3中所述基于自监督多模态深度子空间聚类方法模型的框架包括多模态编码器、自表示层、多模态解码器，首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。
具体地，基于所述基于自监督多模态深度子空间聚类方法模型的框架，步骤3中所述基于自监督多模态深度子空间聚类方法模型的构建及训练步骤如下：
步骤31：将所述线性特征矩阵通过多模态深度子空间聚类得到亲和度矩阵
Figure BDA0002719581160000093
Θs表示对应于端到端训练策略所学习的自表示层权重参数；并对所述亲和度矩阵进行谱聚类；
步骤32：采用自监督机器学习指导特征学习，对模型进行不断迭代训练，训练出共同的Θs，得到的Θs全部适用所有的模态；并将训练出共同的Θs纳入到自表示模型中，细化自表示模型；
步骤33：通过以下损失函数来训练模型网络，不断的优化Θs；
Figure BDA0002719581160000101
s.t.diag(Θs)＝0
其中ZΘe表示编码器的输出，
Figure BDA0002719581160000102
是解码器输出端的重构信号；网络参数Θ由编码器参数Θe，解码器参数Θd和自表示层参数Θs组成；λ1和λ2是两个正则化参数。
具体地，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤2包括以下子步骤：
所述卷积神经网络的低层网络，使用M卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用N卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述M卷积核的数量少于所述N卷积核的数量；
所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；
所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
具体地，步骤4所述卷积神经网络的反卷积的卷积层数与步骤2中所述卷积的卷积层数相同。
本发明实施时，以动脉粥样硬化斑块的医学图像为实施对象，通过本发明方法对动脉粥样硬化斑块图像进行分割，所得的斑块轮廓曲线直接作为水平集函数的初始化零水平集函数进行演化，分割结果如图8、图9所示，分割结果平均结构性度量经过计算为93.70％，证明本发明方法对医学图像分割的使用性较高。
如图10所示，通过构建基于自监督多模态深度子空间聚类方法模型分割出的动脉粥样硬化斑块的医学图像，经过实验分析得出斑块所在候选区域的平均灰度值均在0.5以上。对比传统的分割结果，本发明方法不仅消除了动脉粥样硬化斑块图片的噪声，而且斑块定位图像清晰还原了其根本形状。
实施例2
如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种医学图像分割装置，包括：
输入模块：用于输入获取的原始医学图像；
预处理模块：用于对所述输入单元输入的原始医学图像进行预处理，并传送至处理单元；
处理模块：包括第一处理单元、第二处理单元和第三处理单元；
所述第一处理单元，用于通过卷积神经网络对所述预处理模块预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
第二处理单元，用于构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对所述第一处理单元获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；
第三处理单元，用于将所述第二处理单元聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像；
输出模块，用于所述第三处理单元分割后的医学图像。
具体地，各个模块执行的过程均按照实施例1中的详细流程执行，此处不再一一赘述。
实施例3
如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种医学图像分割设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现实施例1所述医学图像分割方法的步骤。
实施例4
如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述医学图像分割方法的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，该方法包括以下步骤：
步骤1：获取原始医学图像，并进行预处理；
步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行谱聚类，得到聚类后的医学特征数据；
步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。
2.根据权利要求1所述的基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，步骤2中的所述线性特征矩阵的表示公式为：
X＝[x1,…,xn]∈RD×N
式中，RD中的维度为
Figure FDA0002719581150000012
的n个线性子空间S1∪S2∪…∪Sn的并集绘制的N个信号
Figure FDA0002719581150000013
的集合。
3.根据权利要求2所述的基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，步骤3中所述基于自监督多模态深度子空间聚类方法模型的框架包括多模态编码器、自表示层、多模态解码器，首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。
4.根据权利要求3所述的基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，基于所述基于自监督多模态深度子空间聚类方法模型的框架，步骤3中所述基于自监督多模态深度子空间聚类方法模型的构建及训练步骤如下：
步骤31：将所述线性特征矩阵通过多模态深度子空间聚类得到亲和度矩阵
Figure FDA0002719581150000011
Θs表示对应于端到端训练策略所学习的自表示层权重参数；
步骤32：采用自监督机器学习指导特征学习，对模型进行不断迭代训练，训练出共同的Θs，得到的Θs全部适用所有的模态；并将训练出共同的Θs纳入到自表示模型中，细化自表示模型；
步骤33：通过以下损失函数来训练模型网络，不断的优化Θs；
Figure FDA0002719581150000021
s.t.diag(Θs)＝0
其中ZΘe表示编码器的输出，
Figure FDA0002719581150000022
是解码器输出端的重构信号；网络参数Θ由编码器参数Θe，解码器参数Θd和自表示层参数Θs组成；λ1和λ2是两个正则化参数。
5.根据权利要求1所述的基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤2包括以下子步骤：
所述卷积神经网络的低层网络，使用M卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用N卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述M卷积核的数量少于所述N卷积核的数量；
所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；
所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
6.根据权利要求1所述的基于自监督多模态深度子空间聚类的医学图像分割方法，其特征在于，步骤4所述卷积神经网络的反卷积的卷积层数与步骤2中所述卷积的卷积层数相同。
7.一种医学图像分割装置，其特征在于，包括：
输入模块：用于输入获取的原始医学图像；
预处理模块：用于对所述输入单元输入的原始医学图像进行预处理，并传送至处理单元；
处理模块：包括第一处理单元、第二处理单元和第三处理单元；
所述第一处理单元，用于通过卷积神经网络对所述预处理模块预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；
第二处理单元，用于构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对所述第一处理单元获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；
第三处理单元，用于将所述第二处理单元聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像；
输出模块，用于所述第三处理单元分割后的医学图像。
8.一种医学图像分割设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述医学图像分割方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述医学图像分割方法的步骤。
CN202011083744.6A 2020-10-12 2020-10-12 一种基于多模态子空间聚类的医学图像分割方法及装置 Pending CN112164067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011083744.6A CN112164067A (zh) 2020-10-12 2020-10-12 一种基于多模态子空间聚类的医学图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011083744.6A CN112164067A (zh) 2020-10-12 2020-10-12 一种基于多模态子空间聚类的医学图像分割方法及装置

Publications (1)

Publication Number Publication Date
CN112164067A true CN112164067A (zh) 2021-01-01

Family

ID=73866490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011083744.6A Pending CN112164067A (zh) 2020-10-12 2020-10-12 一种基于多模态子空间聚类的医学图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN112164067A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096207A (zh) * 2021-03-16 2021-07-09 天津大学 基于深度学习和边缘辅助的快速磁共振成像方法与系统
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN114565613A (zh) * 2022-04-29 2022-05-31 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115131642A (zh) * 2022-08-30 2022-09-30 之江实验室 一种基于多视子空间聚类的多模态医学数据融合系统
CN115984662A (zh) * 2023-03-21 2023-04-18 广东省科技基础条件平台中心 一种多模态数据预训练及识别方法、装置、设备及介质
CN117611931A (zh) * 2024-01-23 2024-02-27 西南科技大学 一种基于深度自表示局部块学习的数据分类方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259904A (zh) * 2020-01-16 2020-06-09 西南科技大学 一种基于深度学习和聚类的语义图像分割方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259904A (zh) * 2020-01-16 2020-06-09 西南科技大学 一种基于深度学习和聚类的语义图像分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNJIAN ZHANG等: ""Self-Supervised Convolutional Subspace Clustering Network"", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
MAHDI ABAVISANI等: ""Deep Multimodal Subspace Clustering Networks"", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096207A (zh) * 2021-03-16 2021-07-09 天津大学 基于深度学习和边缘辅助的快速磁共振成像方法与系统
CN113096207B (zh) * 2021-03-16 2023-01-13 天津大学 基于深度学习和边缘辅助的快速磁共振成像方法与系统
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113222998B (zh) * 2021-04-13 2022-05-31 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN114565613A (zh) * 2022-04-29 2022-05-31 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN114565613B (zh) * 2022-04-29 2022-08-23 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115131642A (zh) * 2022-08-30 2022-09-30 之江实验室 一种基于多视子空间聚类的多模态医学数据融合系统
CN115984662A (zh) * 2023-03-21 2023-04-18 广东省科技基础条件平台中心 一种多模态数据预训练及识别方法、装置、设备及介质
CN115984662B (zh) * 2023-03-21 2023-08-04 广东省科技基础条件平台中心 一种多模态数据预训练及识别方法、装置、设备及介质
CN117611931A (zh) * 2024-01-23 2024-02-27 西南科技大学 一种基于深度自表示局部块学习的数据分类方法及系统
CN117611931B (zh) * 2024-01-23 2024-04-05 西南科技大学 一种基于深度自表示局部块学习的数据分类方法及系统

Similar Documents

Publication Publication Date Title
CN112164067A (zh) 一种基于多模态子空间聚类的医学图像分割方法及装置
Wang et al. Deep visual domain adaptation: A survey
CN111581405B (zh) 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN111291212A (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN112329760B (zh) 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN112766079B (zh) 一种基于内容风格分离的无监督图像到图像翻译方法
CN111369565A (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111985538A (zh) 基于语义辅助注意力机制的小样本图片分类模型及方法
CN113642604A (zh) 一种基于云边协同的音视频辅助触觉信号重建方法
CN113255602A (zh) 基于多模态数据的动态手势识别方法
CN113343974A (zh) 考虑模态间语义距离度量的多模态融合分类优化方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN115718815A (zh) 一种跨模态检索方法和系统
Li et al. Image decomposition with multilabel context: Algorithms and applications
CN113343966B (zh) 一种红外与可见光图像文本描述生成方法
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN113065520A (zh) 一种面向多模态数据的遥感图像分类方法
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
CN113065496A (zh) 神经网络机器翻译模型训练方法、机器翻译方法和装置
CN110647917B (zh) 一种模型复用方法与系统
CN107633259A (zh) 一种基于稀疏字典表示的跨模态学习方法
CN116958613A (zh) 深度多视图聚类方法、装置、电子设备及可读存储介质
CN113112464B (zh) 基于跨模态交流编码器的rgbd显著性物体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination