CN103838836B - 基于判别式多模态深度置信网多模态数据融合方法和系统 - Google Patents

基于判别式多模态深度置信网多模态数据融合方法和系统 Download PDF

Info

Publication number
CN103838836B
CN103838836B CN201410064933.7A CN201410064933A CN103838836B CN 103838836 B CN103838836 B CN 103838836B CN 201410064933 A CN201410064933 A CN 201410064933A CN 103838836 B CN103838836 B CN 103838836B
Authority
CN
China
Prior art keywords
modal
degree
discriminant
depth confidence
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410064933.7A
Other languages
English (en)
Other versions
CN103838836A (zh
Inventor
王亮
谭铁牛
王威
黄岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201410064933.7A priority Critical patent/CN103838836B/zh
Publication of CN103838836A publication Critical patent/CN103838836A/zh
Application granted granted Critical
Publication of CN103838836B publication Critical patent/CN103838836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法,该方法包括以下步骤:建立判别式多模态深度置信网;对于多个模态数据对应的深度置信网,利用限制波尔兹曼机,获得深度置信网优化后的网络权重;采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数,获得优化后的玻尔兹曼机权重,得到最终的判别式多模态深度置信网模型;向深度置信网模型输入待融合的多模态数据,得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息,判别式的挖掘不同模态数据之间的关联性,从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。

Description

基于判别式多模态深度置信网多模态数据融合方法和系统
技术领域
本发明涉及模式识别与机器学习领域,特别涉及一种基于判别式多模态深度置信网的多模态数据融合方法和系统。
背景技术
一个概念或者内容通常可以被多个模态数据来表示,例如,图像和其相应的文字注释是表示相同内容的两种模态数据;当人们在阅读时,嘴唇的动作和相应的声音也是两种对应的模态数据。大量的工作已经证实,与单个模态数据相比,多个模态数据可以为概念提供更为全面的描述,从而可以潜在地帮助一些常见的模式识别问题,例如分类和检索。多模态数据融合的一般做法是将多模态数据融合为同一个表达,然后这个共同表达可以进一步用于后续的分类或者检索任务。
现有的多模态数据融合工作可以大致分为两类:第一类是利用“浅”层的融合模型,即模型只包括输入和共同表达这两层结构。实际上,由于各个模态都包含其模态相关的特性,会对数据融合过程带来负面的影响,从而会很大程度上降低最后数据融合的质量;另外一类工作是使用“深”层模型进行数据融合,虽然这些模型可以很好的处理多模态数据的复杂特性,但是现有大量的模型都是生成式的模型,并不能很好的适用于判别性的任务,例如分类和检索。
发明内容
本发明的目的是提供一种基于判别式多模态深度置信网的多模态数据融合方法和系统。为了增强多模态数据融合结果的判别性,本发明在传统无监督多模态玻尔兹曼机的基础上引入有监督的类别信息,使得融合结果更适用于分类和检索等判别型的任务。
根据本发明的一方面,本发明提出了一种基于判别式多模态深度置信 网的多模态数据融合方法,该方法包括以下步骤:
步骤1、建立判别式多模态深度置信网,并设置网络的层数和节点数;
步骤2、对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机,采用无监督地自底向上的逐层训练方法来训练网络,获得多个模态数据对应的深度置信网优化后的网络权重;
步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果输入到判别式多模态玻尔兹曼机中进行数据融合,并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到对应的融合结果。
根据本发明的另一方面,本发明还提出了一种基于判别式多模态深度置信网的多模态数据融合系统,所述系统包括:网络建立模块、网络权重优化模块和数据融合模块,其中:
所述网络建立模块,用于建立判别式多模态深度置信网,并设置网络的层数和节点数;
所述网络权重优化模块,用于对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机,采用无监督的自底向上的逐层训练方法来训练网络,以获得多个模态数据对应的深度置信网优化后的网络权重;对于判别式多模态玻尔兹曼机,采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
所述数据融合模块,用于向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到输出层节点值,即为多模态数据融合结果。
由于本发明通过推广无监督多模态深度模型适以最大间隔方式来解决多模态数据融合,从而可以使得融合结果更具判别性。同时在训练多个模态相关的置信网权重阶段,还可以利用大量无类别标签的模态数据。
附图说明
图1是本发明基于判别式多模态深度置信网的多模态数据融合方法流 程图。
图2是本发明一实施例的解决图像和文本融合问题的模型图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
根据本发明的一方面,提出一种基于判别式多模态深度置信网的多模态数据融合方法,能够广泛地应用于多模态数据的分类和检索问题。
图1示出了本发明提出的基于判别式多模态深度置信网的多模态数据融合方法的流程图,如图1所示,所述方法包括以下步骤:
步骤1、建立判别式多模态深度置信网,并设置网络的层数和节点数;
其中,所述判别式多模态深度置信网为多层网络结构,包括多个模态数据对应的深度置信网和一个判别式玻尔兹曼机。所述判别式多模态深度置信网的输入层为训练多模态数据,比如可以为对应图像的像素点,在本发明一实施例中,要求所有模态内的数据保持相同的大小,例如同样大小的图像;所述输入层不仅限于图像和文本模态,还包括语音等可以表示为列向量的数据;输出层用于表示训练多模态数据的融合结果;该判别式多模态深度置信网具有网络权重,用于根据当前层节点值获得下一层节点值。所述深度置信网的输入层和输出层的节点数是固定的,但是其各隐含层的节点数需要手工调节以使得该模型的效果最优。
图2示出了本发明一实施例中所使用的判别式多模态深度置信网结构,其中图2(a)表示判别式多模态深度置信网,图2(b)和图2(c)分别表示多个模态对应的深度置信网和判别式多模态玻尔兹曼机,该实施例对图像和文本两个模态的数据进行融合,对于其他多模态数据的融合同理类推。如图2所示,这是一个五层的判别式多模态深度置信网,每层中的圆形点表示网络节点。最底两层分别代表图像和文本输入层,图像输入层输入的是一个维的图像列向量文本输入层输入的是一个维的列向量向量的每一维度用一个节点表示,其取值范围为0到1的实数,对应归一化后的输入向量。最高层为类别层,图像和文本的类别表示为一个c维的向量向量的每一维取值为0或1,对应是 否属于相应的c个类别。对于中间分别包含个节点的四个隐含层和最后包含dh个节点的输出层h,则分别得到 和dh维的五个列向量,相应的值分别由该层前一层的向量值计算得到:
其中,g(x)=1/(1+e-x),为特征变换矩阵,其与向量进行乘法运算,可以得到关于图像的多个特征表达,即多个隐含层的向量值,表示针对于文本数据的特征变换矩阵,分别是网络层与层之间的连接权重。
步骤2、对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机(restricted Boltzmann machine,RBM),采用无监督的自底向上的逐层训练方法来训练网络,获得多个模态数据对应的深度置信网优化后的网络权重;
以图2最下面的两层网络为例进行说明,把输入层数据,比如图像v和第一隐含层当作一个限制的玻尔兹曼机,其能量函数定义为:
F ( v , h 1 v ) = - v T V 1 h 1 v - b 1 v - b 2 h 1 v ,
其中,V1表示输入层节点与隐含层节点之间的连接权重,b1和b2分别表示输入层和隐含层各节点的常数偏置项。
在能量函数的基础上可以得到输入层数据,比如图像v的概率分布P(v):
p ( v ) = Σ h 1 Σ v , h exp ( - F ( v , h 1 v ) ) exp ( - F ( v , h 1 v ) ) ,
利用梯度下降算法来最小化-logP(v),从而可以以迭代的方式对V1进行调整:
V 1 ← V 1 - ∈ ∂ log p ( v ) ∂ V 1 ,
其中,∈表示一个常数学习率。对上式中的的具体简化求解方式,可以参考Hinton等人2006年发表在Neural Computation上的文章“A fast learning algorithm for deep belief nets”。迭代地使用来调整深度置信网络最底两层之间的连接权重V1,进而把调整后的结果当作对V1的优化结果。自底向上,分别把网络中其余相邻的两层看作RBM并初始化其相应的权重,直至完成对网络中其他权重的计算。
步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果,即隐含层得到的对应于原始输入数据的输出向量,输入到判别式多模态玻尔兹曼机中进行数据融合,并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
所述判别式多模态玻尔兹曼机是由多模态数据比如图像和文本的最高隐含层(这里简写为v和u),共享隐含层h和类别层y组成的三层网络结构。所述玻尔兹曼机的目标函数E的定义包括两项:其一Lmax为真实类别与错误类别的条件概率(给定数据)之间差值的合页损失(hinge loss);其二Lgen为多模态数据及其类别的负对数似然函数:
E=Lmax+λLgen
L m a x = Σ i m a x ( Δ - Σ ∀ y , y ≠ y i [ log p ( y i | v i , u i ) - log ( y | v i , u i ) ] , 0 ) ,
Lgen=-∑ip(vi,ui,yi),
其中,λ表示比例参数,Δ表示间隔参数,vi,ui和yi分别表示两个模态的数据和相应的类别,y表示任意与yi不同的类别,p(v,u,y)表示v,u和y的联合概率分布,其值由该网络的能量函数F(v,u,y,h)计算得到:
p ( v , u , y ) = Σ h 1 Σ v , u , y , h e - F ( v , u , y , h ) e - F ( v , u , y , h ) ,
F(v,u,y,h)=-vTVh-uTUh-yTWh-aTv-bTu-cTy-dTh
其中,{a,b,c,d}表示各层相应的偏置项。而调节概率p(y|v,u)可以下式计算得到:
p ( y | u , v ) = e c t Π j ( 1 + e d j + Σ i V i j v i + Σ i U k j u k + W t j ) Σ l e c l Π j ( 1 + e d j + Σ i V i j v i + Σ i U k j u k + W l j ) ,
其中y=1t
步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据,比如图像v和文本u,得到输出层节点值,即为对应的多模态数据融合结果h。
根据本发明的另一方面,还提出了一种基于判别式多模态深度置信网的多模态数据融合系统,所述系统包括:网络建立模块、网络权重优化模块和数据融合模块,其中:
所述网络建立模块,用于建立判别式多模态深度置信网,并设置网络的层数和节点数;
其中,所述判别式多模态深度置信网为多层网络结构,包括多个模态,并设置网络的层数和节点数对应的深度置信网和一个判别式玻尔兹曼机;所述判别式多模态深度置信网的输入层为训练多模态数据,输出层表示训练多模态数据的融合结果;所述判别式多模态深度置信网具有网络权重,用于根据当前层节点值获得下一层节点值;
所述网络权重优化模块,用于对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机,采用无监督的自底向上的逐层训练方法来训练网络,以获得多个模态数据对应的深度置信网优 化后的网络权重;对于判别式多模态玻尔兹曼机,采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
所述数据融合模块,用于向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到输出层节点值,即为多模态数据融合结果。
为了详细说明本发明的具体实施方式,以某图像数据集为例说明。该数据集包含25000张日常生活中的图像,图像相应的文本以及两者共同的类别,总共属于38个类别,包括鸟、湖、花和夜晚等。实现的模型可以自动对这些图像和文本数据进行融合,进而有利于后续的分类和检索任务。具体步骤如下:
步骤S1,将数据集中的15000个图像文本对作为训练集,剩下的10000个图像文本对作为测试集。
步骤S2,使用一个四层的判别式多模态深度置信网模型,其两个输入层、两个隐含层、输出层和类别层分别包含3857、2000、1000、1000、1000和38个结点。
步骤S3,对于每张图像提取Pyramid、Histogram of Words(PHOW)、Gist和MPEG-7descriptors特征,并将他们按照顺序串联为一个3857维的向量作为图像输入层的输入。对于每个图像对应的文本,使用词袋表示法(Bag of Word)形成一个2000维的向量作为文本输入层的输入。
步骤S4,对于图像和文本的深度置信网分别把两层结构3857-1000、1000-1000、2000-1000和1000-1000当作限制的玻尔兹曼机来优化权重。对于判别式玻尔兹曼机,优化是以迭代优化的方式进行的,这里设置最大迭代次数为400可以保证收敛。
步骤S6,把测试图像和文本输入训练好的模型,输出层输出融合后的结果。然后对融合结果执行检索任务或者利用logistic分类器执行分类任务。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于判别式多模态深度置信网的多模态数据融合方法,其特征在于,该方法包括以下步骤:
步骤1、建立判别式多模态深度置信网,并设置网络的层数和节点数;
步骤2、对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机,采用无监督地自底向上的逐层训练方法来训练网络,获得多个模态数据对应的深度置信网优化后的网络权重;
步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果输入到判别式多模态玻尔兹曼机中进行数据融合,并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到对应的融合结果;
其中,所述玻尔兹曼机的目标函数包括两项内容:真实类别与错误类别的条件概率之间差值的合页损失,和多模态数据及其类别的负对数似然函数。
2.根据权利要求1所述的方法,其特征在于,所述判别式多模态深度置信网为多层网络结构。
3.根据权利要求1所述的方法,其特征在于,所述判别式多模态深度置信网包括多个模态,并设置网络的层数和节点数对应的深度置信网和一个判别式玻尔兹曼机。
4.根据权利要求1所述的方法,其特征在于,所述判别式多模态深度置信网的输入层为训练多模态数据,输出层表示训练多模态数据的融合结果,所述判别式多模态深度置信网具有网络权重,以根据当前层节点值获得下一层节点值。
5.根据权利要求1所述的方法,其特征在于,所述判别式多模态玻尔兹曼机是由多模态数据的最高隐含层、共享隐含层和类别层组成的三层网络结构。
6.一种基于判别式多模态深度置信网的多模态数据融合系统,其特征在于,所述系统包括:网络建立模块、网络权重优化模块和数据融合模块,其中:
所述网络建立模块,用于建立判别式多模态深度置信网,并设置网络的层数和节点数;
所述网络权重优化模块,用于对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的玻尔兹曼机,采用无监督的自底向上的逐层训练方法来训练网络,以获得多个模态数据对应的深度置信网优化后的网络权重;对于判别式多模态玻尔兹曼机,采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;
所述数据融合模块,用于向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到输出层节点值,即为多模态数据融合结果;
其中,所述玻尔兹曼机的目标函数包括两项内容:真实类别与错误类别的条件概率之间差值的合页损失,和多模态数据及其类别的负对数似然函数。
7.根据权利要求6所述的系统,其特征在于,所述判别式多模态深度置信网为多层网络结构。
8.根据权利要求6所述的系统,其特征在于,所述判别式多模态深度置信网包括多个模态,并设置网络的层数和节点数对应的深度置信网和一个判别式玻尔兹曼机。
9.根据权利要求6所述的系统,其特征在于,所述判别式多模态深度置信网的输入层为训练多模态数据,输出层表示训练多模态数据的融合结果,所述判别式多模态深度置信网具有网络权重,以根据当前层节点值获得下一层节点值。
CN201410064933.7A 2014-02-25 2014-02-25 基于判别式多模态深度置信网多模态数据融合方法和系统 Active CN103838836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410064933.7A CN103838836B (zh) 2014-02-25 2014-02-25 基于判别式多模态深度置信网多模态数据融合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410064933.7A CN103838836B (zh) 2014-02-25 2014-02-25 基于判别式多模态深度置信网多模态数据融合方法和系统

Publications (2)

Publication Number Publication Date
CN103838836A CN103838836A (zh) 2014-06-04
CN103838836B true CN103838836B (zh) 2016-09-28

Family

ID=50802333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410064933.7A Active CN103838836B (zh) 2014-02-25 2014-02-25 基于判别式多模态深度置信网多模态数据融合方法和系统

Country Status (1)

Country Link
CN (1) CN103838836B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111366123A (zh) * 2020-03-06 2020-07-03 大连理工大学 一种基于多任务学习的零件表面粗糙度和刀具磨损预测方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910930B2 (en) 2014-12-31 2018-03-06 TCL Research America Inc. Scalable user intent mining using a multimodal restricted boltzmann machine
CN106033555A (zh) * 2015-03-13 2016-10-19 中国科学院声学研究所 基于满足k度稀疏约束的深度学习模型的大数据处理方法
CN104881685B (zh) * 2015-05-27 2019-04-02 清华大学 基于捷径深度神经网络的视频分类方法
CN105825230B (zh) * 2016-03-15 2019-04-05 中国农业大学 基于深度置信网络模型的土壤墒情预测方法和系统
CN106093135B (zh) * 2016-06-02 2020-11-10 中国石油大学(华东) 一种基于石墨烯气敏传感器阵列的电力变压器故障智能诊断装置
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技(深圳)有限公司 一种基于机器学习的网络模型构造方法及装置
CN108804453B (zh) * 2017-04-28 2020-06-02 深圳荆虹科技有限公司 一种视音频识别方法及装置
CN107391852B (zh) * 2017-07-26 2020-07-10 清华大学 基于深度置信网络的暂态稳定性实时评估方法及装置
CN107480289B (zh) * 2017-08-24 2020-06-30 成都澳海川科技有限公司 用户属性获取方法及装置
CN109581137B (zh) * 2017-10-19 2021-06-25 广西大学 一种小电流接地系统单相接地故障选线方法
CN109062995B (zh) * 2018-07-05 2021-07-30 北京工业大学 一种社交策展网络上画板(Board)封面的个性化推荐算法
CN109167600A (zh) * 2018-10-12 2019-01-08 哈尔滨工业大学 基于深度置信网络的抗音调干扰ldpc码的译码方法
CN110301920B (zh) * 2019-06-27 2020-06-02 清华大学 用于心理压力检测的多模态融合方法及装置
CN116543283B (zh) * 2023-07-05 2023-09-15 合肥工业大学 一种考虑模态不确定性的多模态目标检测方法
CN117349675B (zh) * 2023-12-04 2024-03-01 环球数科集团有限公司 一种多种信息源的多模态大模型构建系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN102663447A (zh) * 2012-04-28 2012-09-12 中国科学院自动化研究所 基于判别相关分析的跨媒体检索方法
CN102902966A (zh) * 2012-10-12 2013-01-30 大连理工大学 一种基于深度信赖网络的超分辨率人脸识别方法
CN103440352A (zh) * 2013-09-24 2013-12-11 中国科学院自动化研究所 基于深度学习的对象间的关联分析方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239336B2 (en) * 2009-03-09 2012-08-07 Microsoft Corporation Data processing using restricted boltzmann machines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN102663447A (zh) * 2012-04-28 2012-09-12 中国科学院自动化研究所 基于判别相关分析的跨媒体检索方法
CN102902966A (zh) * 2012-10-12 2013-01-30 大连理工大学 一种基于深度信赖网络的超分辨率人脸识别方法
CN103440352A (zh) * 2013-09-24 2013-12-11 中国科学院自动化研究所 基于深度学习的对象间的关联分析方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
multi-task deep neural network for multi-label learning;Yan Huang等;《IEEE》;20130918;第2897-2900页 *
基于多特征融合的网络媒体综合检索;朱江烽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140115;第I138-2320页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111366123A (zh) * 2020-03-06 2020-07-03 大连理工大学 一种基于多任务学习的零件表面粗糙度和刀具磨损预测方法

Also Published As

Publication number Publication date
CN103838836A (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
CN103838836B (zh) 基于判别式多模态深度置信网多模态数据融合方法和系统
Alzubaidi et al. A survey on deep learning tools dealing with data scarcity: definitions, challenges, solutions, tips, and applications
CN103345656B (zh) 一种基于多任务深度神经网络的数据识别方法及装置
CN105631479B (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN109992779B (zh) 一种基于cnn的情感分析方法、装置、设备及存储介质
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110377686A (zh) 一种基于深度神经网络模型的地址信息特征抽取方法
CN107015963A (zh) 基于深度神经网络的自然语言语义分析系统及方法
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
Robbes et al. Leveraging small software engineering data sets with pre-trained neural networks
Mittelman et al. Weakly supervised learning of mid-level features with Beta-Bernoulli process restricted Boltzmann machines
CN108427665A (zh) 一种基于lstm型rnn模型的文本自动生成方法
CN110825850B (zh) 一种自然语言主题分类方法及装置
CN110196945B (zh) 一种基于LSTM与LeNet融合的微博用户年龄预测方法
CN115131613B (zh) 一种基于多向知识迁移的小样本图像分类方法
CN106021402A (zh) 用于跨模态检索的多模态多类Boosting框架构建方法及装置
CN109960732A (zh) 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN107491782A (zh) 利用语义空间信息的针对少量训练数据的图像分类方法
CN106997484A (zh) 一种优化用户信用模型建模过程的方法及装置
CN107305543A (zh) 对实体词的语义关系进行分类的方法和装置
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
Tan Information Analysis of Advanced Mathematics Education‐Adaptive Algorithm Based on Big Data
CN110188791B (zh) 基于自动估计的视觉情感标签分布预测方法
Chen et al. Sparse Boltzmann machines with structure learning as applied to text analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant