CN110580509B - 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法 - Google Patents

基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法 Download PDF

Info

Publication number
CN110580509B
CN110580509B CN201910864554.9A CN201910864554A CN110580509B CN 110580509 B CN110580509 B CN 110580509B CN 201910864554 A CN201910864554 A CN 201910864554A CN 110580509 B CN110580509 B CN 110580509B
Authority
CN
China
Prior art keywords
data
hidden
matrix
depth
multimodal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910864554.9A
Other languages
English (en)
Other versions
CN110580509A (zh
Inventor
杨光
牛张明
陆纬
江荧辉
李劳
王承嘉
叶旭冏
董豪
方飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.
Hangzhou hailui Boyan Technology Co.,Ltd.
Original Assignee
Digong Hangzhou Science And Technology Industry Co ltd
Hangzhou Hailui Boyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digong Hangzhou Science And Technology Industry Co ltd, Hangzhou Hailui Boyan Technology Co ltd filed Critical Digong Hangzhou Science And Technology Industry Co ltd
Priority to CN201910864554.9A priority Critical patent/CN110580509B/zh
Publication of CN110580509A publication Critical patent/CN110580509A/zh
Application granted granted Critical
Publication of CN110580509B publication Critical patent/CN110580509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：使用深度神经网络学习多模态数据的隐藏表征；如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。利用多模态数据获得隐藏表征，保证数据完整性的同时提高合成图像的准确率和稳定性。

Description

基于隐藏表征和深度生成对抗模型的多模态数据处理系统和 方法
技术领域
本发明涉及图像处理领域，更具体而言，本发明涉及基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法。
背景技术
近年来，不同模态的神经影像技术(如结构、弥散和功能磁共振)已经被广泛地应用于人脑图像的研究中。随着人工智能技术的突飞猛进，研究人员将机器学习(人工智能)与神经影像学相结合，通过复原出的清晰医学影像，实现对组织图像的不同区域的精准呈现，有助于医生对患者病情做出更好的诊断。
尽管多模态神经影像技术和人脑连接组学研究方法不断发展，目前已经能够考察脑结构和功能连接通路，但是多模态数据往往会出现数据缺漏的问题。与此同时，现有脑部组织分类算法准确率较低、稳定性较差。
发明内容
针对现有技术中存在的问题，本发明提出基于隐藏表证和深度对抗模型的图像处理系统和方法。利用多模态数据(包括MRI、正电子发射计算机断层扫描PET、基因、认知表现、人口统计信息等生物样本库)获得隐藏表征，保证数据完整性的同时提高合成图像的准确率和稳定性。这样的算法将有望成为神经病理学研究的标准部分，训练有素地帮助科学家分析大量数据，以开启对疾病原因和潜在治疗的新见解。
根据本发明的一个实施例，提供一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：
使用深度神经网络学习多模态数据的隐藏表征；
如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。
在本发明的一个实施例中，所述多模态数据包括图像数据和生物样本库数据。
在本发明的一个实施例中，所述多模态数据包括完整多模态数据和不完整多模态数据。
在本发明的一个实施例中，利用具有完整多模态数据的样本来获取共同的隐藏表征；
利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征；
将所有的隐藏表征被投影到标签空间用于图像合成。
在本发明的一个实施例中，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据包括：通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块。
在本发明的一个实施例中，在每一个残差起始块中，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，在该残差起始路径上实施1×1卷积层。
根据本发明的另一个实施例，提供一种基于隐藏表征和深度生成对抗模型的多模态数据处理系统，包括：
隐藏表征生成单元，所述隐藏表征生成单元使用深度神经网络学习多模态数据的隐藏表征；
图像生成单元，所述图像生成单元通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。
在本发明的另一个实施例中，所述多模态数据包括完整多模态数据和不完整多模态数据。
在本发明的另一个实施例中，所述隐藏表征生成单元包括包括隐藏表征空间，将所述多模态数据的每个模态投射到所述隐藏表征空间中，其中利用具有完整多模态数据的样本来获取共同的隐藏表征，利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征。
在本发明的另一个实施例中，图像生成单元通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的基于隐藏表征和深度生成对抗模型的多模态数据处理方法的流程图。
图2示出根据本发明的一个实施例的融合不完整多模态数据的处理系统。
图3示出根据本发明的一个实施例的RIED-Net的整体架构。
图4示出原始卷积块的模式和本发明提出的残差起始块的示意图。
图5示出根据本发明的一个实施例的基于隐藏表征和深度生成对抗模型的多模态数据处理系统的框图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
图1示出根据本发明的一个实施例的基于隐藏表征和深度生成对抗模型的多模态数据处理方法的流程图。
首先，在步骤110，使用深度神经网络学习多模态数据的隐藏表征。在本发明的实施例中，多模态数据包括图像数据，例如，磁共振成像(MRI)和正电子发射断层扫描(PET)等等，还包括基因、认知表现、人口统计信息等生物样本库的数据。
首先，处理每种模式的数据(如MRI、PET、单核苷酸多态性(SNP))作为能够反映不同属性信息的显性特征。例如，MRI数据可以提供脑解剖信息，PET和SNP数据可以分别提供脑功能信息和先天遗传信息。将多模态数据进行融合。例如，首先对每个模态分别进行特征选择，然后将选择的特征串联起来进行处理得到多模态数据的隐藏表征。
基于模态数据处理方法的一个问题是缺少数据，即，并非所有样本都具有完整的多模态数据。存在两种处理该问题的方法，一是丢弃具有缺失值的样本，二是输入缺失值。简单地丢弃具有至少一种缺失模态的样本，并使用具有完整多模态数据的剩余样本进行图像合成。但是，这种简单的策略不仅忽略了丢弃样本中的大量有用信息，而且造成小样本问题升级。第二种方法是利用各种数据归算技术(例如，零插补，k-最近邻(KNN)，期望最大化，低秩矩阵完成等)来估算丢失的数据，以便任何使用完整数据的诊断模型可以使用。然而，该策略可能引入不必要的噪声，从而降低分类性能。对于处理不完整的多模态数据，也开发了几种方法。然而，这些方法不能有效地利用多种模式之间的相关性。
图2示出根据本发明的一个实施例的融合不完整多模态数据的处理系统。
如图2所示，该系统包括一个多模态数据的隐藏表征空间210，每个模态都可以投射到这个空间中。通过从不同的模态到这个共同的隐藏表征空间间的投影，建模不同模态之间的关联。
为了充分利用所有可用样本来获取更可靠的隐藏表征，首先利用具有完整多模态数据的样本来获取共同的隐藏表征211，利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征212。此外，所有的隐藏表征被投影到相应的标签空间220用于图像合成。
在本发明的实施例中，使用隐藏空间中的新特征表示来执行分类任务，而不是原始特征。由于将原始特征投影到隐藏空间中涉及稀疏特征学习，因此预期这些新特征表示比原始特征更少噪声。其次，本发明利用所有可用的主题来训练更可靠的模型，而传统方法通常仅使用具有完整多模态数据的主体或通过特定算法估算缺失值。第三，本发明将隐藏表征学习和分类器训练整合到一个统一的框架中，而大多数传统方法通常分别执行这两个任务。
下面介绍优化算法以及模型预测步骤。
设X∈Rd×n为特征矩阵，其中d和n分别为特征维数和对象数，Y∈Rl×n表示对应的标签矩阵，l为类的总数。采用多类群稀疏特征选择方法建立最小二乘回归模型：
Figure BDA0002200874050000051
W∈Rd×l是回归系数矩阵，T表示转置运算符，||·||F表示弗洛贝尼乌斯范数，||·||2，1表示l2，1-范数，
Figure BDA0002200874050000052
并且β是用于平衡重建误差(第一项)和正则化器(第二项)的折中参数。l2，1-范数正则化器已广泛应用于多任务特征学习，并用于惩罚W的每一行中的系数，因此只有W中的某些行是非零的。在方程(1)中，最优解决方案为信息特征分配相对较大的权重，而将零或小权重分配给无信息或信息量较少的特征。
在本发明的实施例中，对于多模态数据融合，可以将方程(1)扩展为：
Figure BDA0002200874050000053
其中V是模态的数量，XV表示第v个模态的特征矩阵。在方程(2)中，将不同模态的原始特征投影到标签空间中，而不考虑不同模态之间的相关性。假设这些模态存在一个共同的潜在特征空间，其中包含来自不同视角的信息。因此，将方程(2)扩展为以下公式：
Figure BDA0002200874050000054
此外，为了减轻潜在空间学习中的异常效应，我们采用l1范数来代替Frobenius范数。因此，方程(3)中的目标函数被转换为：
Figure BDA0002200874050000061
其中β，γ和η是正则化参数，H∈Rh×n是所有模态的常见潜在特征表示，
Figure BDA0002200874050000062
是第v个模态的特征投影矩阵，
Figure BDA0002200874050000063
是第v个模态的稀疏误差矩阵，P∈Rl×h是标签将公共潜在特征表示投影到标签空间的投影矩阵。注意，方程(4)和方程(2)中的系数矩阵Wv的维数是不同的，其中方程(2)中的Wv直接将第v个特征矩阵映射到标签空间，而方程(4)中的Wv映射了第v个特征矩阵到公共潜在空间H，其随后将通过P映射到标签空间。方程(4)中的等式约束用于强制同一对象的不同模态数据，在它们被Wv投影后，具有共同特征分量(h)和模态特定差异分量(Ev)。此外，假设差异分量是稀疏的，我们对Ev施加l1-范数，而对P施加Frobenius范数以限制其系数值的大小。
另外，为了在投影之后保留数据的局部结构(即，为了在投影之前和之后保留样本的局部邻域)，我们在方程(4)中添加拉普拉斯正则化器，给定为：
Figure BDA0002200874050000064
其中第二项是拉普拉斯正则化项，其被添加以确保类似输入具有类似的潜在特征表示，并且λ是其正则化参数。具体来说，拉普拉斯矩阵给出Lv＝Dv-Sv，Dv是一个对角矩阵，其第i个对角线元素表示在Sv中第i行的总和。Sv是第v个模态的相似性矩阵，其第(i，j)个元素以
Figure BDA0002200874050000065
给出，其中Xv，：i和Xv，：j分别表示Xv的第i列和第j列，并且在本发明中根据经验设定σ＝1。
到目前为止，方程(5)中提出的方法只能应用于具有完整多模态数据的主体，即每个模态具有相同数量的样本，n＝nv；
Figure BDA0002200874050000071
但是，使用方程(5)时具有不完整多模态数据的主体将被丢弃。直观地，使用更多样本进行模型训练应该会产生更可靠的预测模型。为了使方程(5)中的联合潜在特征学习模型适用于不完整的多模态数据，必须进行一些修改。首先，将Xv分解为两部分，一部分具有完整的多模态数据，另一部分具有不完整的多模态数据，比如，
Figure BDA0002200874050000072
其中
Figure BDA0002200874050000073
是v-模式中的样本总数。注意，由nc表示的完整多模态数据的数量对于每个Xv是相同的。然后，Xv的相应标签由
Figure BDA0002200874050000074
给出。同样，方程(5)约束下的矩阵H也分解为两部分，比如
Figure BDA0002200874050000075
其中Hc表示完整多模态的隐藏表征数据，并且
Figure BDA0002200874050000076
表示重新发送的第v个模态数据的潜在特征表示(除了包括在Hc中的数据)。使用上面的记法，我们将方程(5)扩展为：
Figure BDA0002200874050000077
其中
Figure BDA0002200874050000078
是所有样本的隐藏表征矩阵。注意，隐藏表征
Figure BDA0002200874050000079
特定于第v个模态，因为它不与诸如Hc的其他模态共享。因此，我们也将
Figure BDA00022008740500000710
称为模态特定的隐藏表征。
使用方程(6)，我们可以包括来自数据集的所有数据，无论模型训练时的模态完整性，即学习Wv和P所有模态都通过Wv投射到一个共同的潜在特征空间，P是分类器系数矩阵，用于从潜在特征空间中的数据点预测标签。
方程(6)中的目标函数不是关于所有变量的共同凸函数。因此，利用增广拉格朗日乘数(ALM)算法有效地解决问题。在训练模型之后，可以获得第v个模态的特征投影矩阵Wv和标签投影矩阵P。对于具有Ω个可用模态的给定测试样本Xte，通过平均每个可用模态的特征投影计算隐藏表征，例如与
Figure BDA0002200874050000081
其中|Ω|表示Ω中的模数。因此，该测试样本的最终分类标签为yte＝phte。
返回图1，在步骤120，如果多模态数据有部分数据遗失，通过深度生成对抗模型(GAN)生成缺失数据，协同隐藏表征共同生成图像数据。
在本发明的实施例中，将不完整多模态数据及其隐藏表征输入作为输入图像I∈Rm×n，而对应的输出图像O∈Rm×n，则它们之间的关系可以表示为：
O＝S(I)
其中S：Rm×n→Rm×n表示输入和输出之间的复杂非线性映射图像。
图像合成问题是对函数S进行估计：
Figure BDA0002200874050000082
本发明提出了残差初始编码器-解码器神经网络(RIED-Net)来估计所需的S，用l1范数用来衡量输入和输出图像之间差异。RIED-Net的整体架构如图3所示。在图3中，3×3卷积激活表示在3×3卷积之后以一个校正线性单元(relu)作为激活函数。每个框的底部提供每个卷积层的特征图深度(通道数)。
RIED-Net由编码路径(左侧)和解码路径(右侧)组成，用于将提取的补丁中的基本信息从低级压缩到高级，并从压缩后的特征图中重建最终输出。增加了“复制和裁剪”的思想和对称扩展路径，以捕获从编码路径到解码路径的上下文特征。引入卷积层和反卷积层代替最大池化层和反池化层作为可学习的滤波器，在编码过程中跟踪像素信息，降低特征图的空间分辨率，在解码过程中提高空间分辨率。此外，还提出了初始残差块的概念，以解决网络越深的问题，保证更好的精度。RIED-Net有9个残差起始块，编码路径中有5个块，解码路径中有4个块。该模型可采用128×128×1的灰度图像，输出相同尺寸的预测掩模。在每个块中，存在一个具有3个卷积层的主路径和一个从第一层到最后一层的残差起始路径，在该残差起始路径上实施1×1卷积层。通道数可以在图3中的每个层的顶部找到。在编码路径中的每个块之间，实现一个步幅等于2的卷积层，将分辨率降低一半；在解码路径中的每个块之间，实现一个步幅等于2的反卷积层，将分辨率提高一倍。该模型共有12247233个可训练参数。12247233个参数中，25％(3052960)在卷积和反卷积层内，用于保留像素信息的分辨率变化；3％(348192)在残差起始捷径内；其余72％参数在特征生成的主要编码和解码路径内。
图4示出原始卷积块的模式和本发明提出的残差起始块的示意图。在传统的2层卷积块中，在给定输入图像/特征映射x的情况下，假设通过叠加非线性层拟合所需的映射为H(x)。在引入一个具有单个卷积层的残差起始捷径后，在所提出的残差起始块中H(x)可以估计为F(x)+G(x)。通过这种方法，可以同时使用两个不同级别的特征来估计H(x)，这将提高引入更多特征时的精度。由于引入了更多的特征，可以提高精度，而且G(x)可以看作是x的投影/估计，按照中的相同逻辑，残差映射F(x)和投影G(x)更容易优化，结果比原始映射H(x)更准确。
在本发明的实施例中，不期望沿着不同接收路径的卷积层学习复杂的映射并将它们组合在一起。在这里，实现了一个单一的初始路径，其中有一个投影层(1×1卷积层)，它可以改变特征映射的通道大小，以实现残差学习所需的按像素求和。其次，与初始块相比，残差初始块需要更少的参数。在本发明的残差初始块中，只添加了一个最便宜的1×1卷积层，并且通过按像素求和来组合输出，该求和没有参数。在初始块中，需要更多参数，因为(1)需要不同特征大小的多个起始路径，以及(2)来自不同起始路径的特征映射被连接在一起用于后续层。本发明提出的残差初始块解决了输入要素图与输出要素图具有不同通道的问题。与其他最先进的初始设计相比，它的部署也更简单、更容易。
在本发明的一些实施例中，当多模态数据是纵向数据(即在不同时间点对同一对象的测量)，使用递归神经网络(RNN)，例如门控循环单元(GRU)和长短期记忆(LSTM)，对数据进行时序分析，捕捉同一对象随时间的迁移的变化。
图5示出根据本发明的一个实施例的基于隐藏表征和深度生成对抗模型的多模态数据处理系统的框图。如图5所示，该多模态数据处理系统500包括隐藏表征生成单元510以及图像生成单元520。
隐藏表征生成单元510使用深度神经网络学习多模态数据的隐藏表征。隐藏表征生成单元510可以对不完整多模态数据进行处理。具体的处理过程可参考上文结合图1和图2所描述的过程。
图像生成单元520通过深度生成对抗模型(GAN)生成缺失数据，协同隐藏表征共同生成图像数据。图像生成单元520使用残差初始编码器-解码器神经网络(RIED-Net)进行处理，其具体过程可参考上文结合图3和图4所描述的过程。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (7)

1.一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：
使用深度神经网络学习多模态数据的隐藏表征，其中深度神经网络的学习模型为：
Figure FDA0002913921800000011
Figure FDA0002913921800000012
其中
Figure FDA0002913921800000013
是所有样本的隐藏表征矩阵，Wv是第v个模态的特征投影矩阵，P是标签投影矩阵，β、γ、λ和η是正则化参数，Ev是第v个模态的稀疏误差矩阵，XV表示第v个模态的特征矩阵，Xv包括完整的多模态数据
Figure FDA0002913921800000014
和不完整的多模态数据
Figure FDA0002913921800000015
Xv的相应标签由
Figure FDA0002913921800000016
给出；拉普拉斯矩阵给出Lv＝Dv-Sv,Dv是一个对角矩阵，其第i个对角线元素表示在Sv中第i行的总和； Sv是第v个模态的相似性矩阵，其第(i,j)个元素以
Figure FDA0002913921800000017
给出，其中Xv,：i和Xv,：j分别表示Xv的第i列和第j列，并且根据经验设定σ＝1；
如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据，其中通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据包括：通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块，在每一个残差起始块中，输入为给定输入图像或特征映射x，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，主路径获得残差映射F(x)，在残差起始路径上实施1×1卷积层获得x的投影G(x)，并且将主路径和残差起始路径按像素求和形成组合输出F(x)+G(x)。
2.如权利要求1所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，所述多模态数据包括图像数据和生物样本库数据。
3.如权利要求1所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，所述多模态数据包括完整多模态数据和不完整多模态数据。
4.如权利要求3所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，利用具有完整多模态数据的样本来获取共同的隐藏表征；
利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征；
将所有的隐藏表征被投影到标签空间用于图像合成。
5.一种基于隐藏表征和深度生成对抗模型的多模态数据处理系统，包括：
隐藏表征生成单元，所述隐藏表征生成单元使用深度神经网络学习多模态数据的隐藏表征，其中深度神经网络的学习模型为：
Figure FDA0002913921800000021
Figure FDA0002913921800000022
其中
Figure FDA0002913921800000023
是所有样本的隐藏表征矩阵，Wv是第v个模态的特征投影矩阵，P是标签投影矩阵，β、γ和λ是正则化参数，Ev是第v个模态的稀疏误差矩阵，XV表示第v个模态的特征矩阵，Xv包括完整的多模态数据
Figure FDA0002913921800000024
和不完整的多模态数据
Figure FDA0002913921800000025
Xv的相应标签由
Figure FDA0002913921800000026
给出；拉普拉斯矩阵给出Lv＝Dv-Sv,Dv是一个对角矩阵，其第i个对角线元素表示在Sv中第i行的总和； Sv是第v个模态的相似性矩阵，其第(i,j)个元素以
Figure FDA0002913921800000031
给出，其中Xv,：i和Xv,：j分别表示Xv的第i列和第j列，并且根据经验设定σ＝1；
图像生成单元，所述图像生成单元通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据，
其中图像生成单元通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块，在每一个残差起始块中，输入为给定输入图像或特征映射x，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，主路径获得残差映射F(x)，在残差起始路径上实施1×1卷积层获得x的投影G(x)，并且将主路径和残差起始路径按像素求和形成组合输出F(x)+G(x)。
6.如权利要求5所述的基于隐藏表征和深度生成对抗模型的多模态数据处理系统，其特征在于，所述多模态数据包括完整多模态数据和不完整多模态数据。
7.如权利要求6所述的基于隐藏表征和深度生成对抗模型的多模态数据处理系统，其特征在于，所述隐藏表征生成单元包括隐藏表征空间，将所述多模态数据的每个模态投射到所述隐藏表征空间中，其中利用具有完整多模态数据的样本来获取共同的隐藏表征，利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征。
CN201910864554.9A 2019-09-12 2019-09-12 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法 Active CN110580509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864554.9A CN110580509B (zh) 2019-09-12 2019-09-12 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864554.9A CN110580509B (zh) 2019-09-12 2019-09-12 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法

Publications (2)

Publication Number Publication Date
CN110580509A CN110580509A (zh) 2019-12-17
CN110580509B true CN110580509B (zh) 2021-03-26

Family

ID=68812045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864554.9A Active CN110580509B (zh) 2019-09-12 2019-09-12 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法

Country Status (1)

Country Link
CN (1) CN110580509B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696027B (zh) * 2020-05-20 2023-04-07 电子科技大学 一种基于适应性注意力机制的多模态的图像风格迁移方法
CN112353381B (zh) * 2020-11-24 2022-06-28 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523149B1 (en) * 2011-05-11 2023-01-11 Tata Consultancy Services Ltd. A method and system for association and decision fusion of multimodal inputs
CN106202281B (zh) * 2016-06-28 2019-09-06 广东工业大学 一种多模态数据表示学习方法及系统
CN107038330B (zh) * 2016-10-27 2020-09-08 北京郁金香伙伴科技有限公司 一种数据缺失的补偿方法和装置
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109472232B (zh) * 2018-10-31 2020-09-29 山东师范大学 基于多模态融合机制的视频语义表征方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Residual Inception Encoder–Decoder Network for Medical Imaging Synthesis;Fei Gao等;《https://ieeexplore.ieee.org/document/8695110》;20190422;第1-11页 *
Metric Learning on Healthcare Data with Incomplete Modalities;Qiuling Suo等;《Twenty-Eighth International Joint Conference on Artificial Intelligence{IJCAI-19}》;20190831;第3534-3540页 *

Also Published As

Publication number Publication date
CN110580509A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
Li et al. Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives
Liu et al. Learning disentangled representations in the imaging domain
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Dangi et al. A distance map regularized CNN for cardiac cine MR image segmentation
Wolterink et al. Automatic segmentation and disease classification using cardiac cine MR images
Bogovic et al. An unbiased template of the Drosophila brain and ventral nerve cord
Poudel et al. Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation
Liu et al. Pdam: A panoptic-level feature alignment framework for unsupervised domain adaptive instance segmentation in microscopy images
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
Kamraoui et al. DeepLesionBrain: Towards a broader deep-learning generalization for multiple sclerosis lesion segmentation
CN112669248B (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
Chang et al. Automatic cardiac MRI segmentation and permutation-invariant pathology classification using deep neural networks and point clouds
Sikka et al. MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease
CN110580509B (zh) 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法
Isensee et al. Or-unet: an optimized robust residual u-net for instrument segmentation in endoscopic images
Seo et al. Neural contrast enhancement of CT image
Hamghalam et al. Modality completion via gaussian process prior variational autoencoders for multi-modal glioma segmentation
Ibrahim et al. A survey on human cancer categorization based on deep learning
Dong et al. Towards robust partially supervised multi-structure medical image segmentation on small-scale data
Manimegalai et al. 3d convolutional neural network framework with deep learning for nuclear medicine
US11763952B2 (en) Systems, methods, and apparatuses for learning semantics-enriched representations via self-discovery, self-classification, and self-restoration in the context of medical imaging
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Gaggion et al. Multi-center anatomical segmentation with heterogeneous labels via landmark-based models
Liu et al. Medical image segmentation using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200717

Address after: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant after: Hangzhou hailui Boyan Technology Co.,Ltd.

Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Address before: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant before: Hangzhou hailui Boyan Technology Co.,Ltd.

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Guang

Inventor after: Niu Zhangming

Inventor after: Lu Wei

Inventor after: Jiang Yinghui

Inventor after: Li Lao

Inventor after: Wang Chengjia

Inventor after: Ye Xujiong

Inventor after: Dong Hao

Inventor after: Fang Fei

Inventor before: Yang Guang

Inventor before: Niu Zhangming

Inventor before: Lu Wei

Inventor before: Jiang Yinghui

Inventor before: Li Lao

Inventor before: Wang Chengjia

Inventor before: Ye Xujiong

Inventor before: Dong Hao

Inventor before: Fang Fei

GR01 Patent grant
GR01 Patent grant