CN104346440B - 一种基于神经网络的跨媒体哈希索引方法 - Google Patents
一种基于神经网络的跨媒体哈希索引方法 Download PDFInfo
- Publication number
- CN104346440B CN104346440B CN201410531086.0A CN201410531086A CN104346440B CN 104346440 B CN104346440 B CN 104346440B CN 201410531086 A CN201410531086 A CN 201410531086A CN 104346440 B CN104346440 B CN 104346440B
- Authority
- CN
- China
- Prior art keywords
- data
- hash
- function
- mode
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007935 neutral effect Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013461 design Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 241001269238 Data Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于神经网络的跨媒体哈希索引方法，包括如下步骤：（1）设计了基于神经网络的哈希函数学习的网络结构（2）对每种模态的神经网络进行逐层预训练（3）将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调（4）去掉网络的输出层，将哈希编码层的输出结构作为哈希函数的输出以支持跨模态的快速检索。利用该方法可以实现基于内容的海量数据的高效跨媒体检索，用户可以通过提交一种类型检索数据去检索另外一种类型数据。
Description
技术领域
本发明涉及跨媒体检索，尤其涉及一种基于海量数据的跨媒体高效索引方法。
背景技术
互联网技术的高速发展和社交网络的风靡，使得互联网上的多模态数据的数量在以惊人的速度增长。举例来说，用户向社交网络上传图片时一般同时会对图片添加一些描述性文本。因此，如何利用不同模态数据之间关联关系来实现跨模态(也称作跨媒体)检索是一个非常有意义的研究问题。由于网络上多模态数据的数据量非常庞大，通过哈希索引技术来提高跨媒体检索性能是最近研究热点。
已有的跨媒体哈希算法大多基于流形学习、字典学习或生成概率图模型。它们的目标在于通过使用学习得到的哈希函数将不同模态数据映射到同一个子空间内，同时保持数据在模态内相似性和模态间关联关系。本发明提出了一种基于神经网络的跨媒体哈希算法，使得得到的哈希索引不仅保持模态间数据关联性，也具有模态内数据鉴别性。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于神经网络的跨媒体哈希哈希索引的方法。
一种基于神经网络的跨媒体哈希索引方法包括如下步骤：
1)设计基于神经网络的哈希函数的网络结构；
2)对每种模态的神经网络进行逐层预训练；
3)将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调；
4)去掉网络的输出层，将哈希编码层的输出结构作为哈希函数的输出，以支持跨模态的快速检索。
所述的步骤1)包括：
对于得到的包含多模态类型数据的多媒体文档集合，构建分别属于每个模态类型的数据集；假设构成多媒体文档的数据来自两个模态：数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度，通常dx≠dy；n是数据集X和Y中所包含数据的个数；此外，T＝[t1，t2，...，tn]∈Rc×n为数据集X和Y对应的类别标签矩阵，每一个ti∈Rc为两种模态数据点对xi和yi所对应的类别标签向量， tij＝1表示xi和yi均属于第j个类别，c为所有类别的个数；
神经网络结构由两个子神经网络组成，记作NNx和NNy，对应分别对X和Y中数据的逐层学习，每个子神经网络NNx或NNy有L层，包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理)，将数据x沿着它对应模态的神经子网络NNx进行正向传播，第l层的表达x(l)通过一组非线性变换后可得到l+1层的表达x(l+1)，这一非线性变换如公式(6)所示
x(l)1)＝f(l)(W(l)x(l)) (6)
其中W(l)为投影矩阵，f(l)(·)为非线性激活函数，在第一层到第L-2层，使用的非线性变换函数是sigmoid函数，在第L-1层使用非线性变换函数是softmax函数；
哈希函数Hx是子神经网络NNx的一部分，Hx将x为输入，将输入x通过正向传播到第L-1层，输出x的k维哈希编码：
Hx(x)＝sign(x(L-1)) (7)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出，sign(·)为将实数x(L-1)转换为二值哈希编码的函数；
对于另外一个模态数据所对应的哈希函数Hy,采用相同的方法得到。
所述的步骤3)包括：
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy 融合，实现对不同模态数据的统一表达，
保持模态间数据对应性的损失函数：对于存在对应关系的来自不同模态数据，这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导，因此在求解中先去掉二值函数sign(·)，直接将实数值作为数据在哈希编码层的表达，基于这一分析，在公式(8)中定义了损失函数l1：
其中x(L-1)，y(L-1)分别为来自不同模态、存在对应关系的一对数据x，y在哈希编码层上的表达；
保持模态内数据鉴别性的损失函数：对于来自同一模态的数据，如果它们具有相同的类别标签，则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致，基于这一分析，在公式(9)中定义损失函数l2：
l2(x，y，t)＝KL(x(L)，t)+KL(y(L)，t) (9)
其中x，y为来自不同模态、存在对应关系的一对数据，x(L)，y(L)分别为它们在输出层上的表达，t为它们对应的类别标签，KL(·)为KL-散度函数，用于衡量数据在输出层表达和类别标签的一致性；
将两个损失函数结合起来，对数据集X和Y内所有数据形成了如公式(10)的整体损失函数：
其中λ为平衡两个损失项的参数；
通过最小化公式(10)中所定义的损失函数，并采用经典的反向传播算法，对整个网络中参数进行微调，直到整个神经网络收敛或达到最大迭代次数。
本发明可以实现基于内容的海量数据的高效跨媒体检索。用户可以通过提交一种模态的检索例子去检索另外一种模态的媒体对象。
附图说明
图1是基于神经网络的跨媒体哈希索引算法流程图。
具体实施方式
一种基于神经网络的跨媒体哈希索引方法包括如下步骤：
1)设计基于神经网络的哈希函数的网络结构；
2)对每种模态的神经网络进行逐层预训练；
3)将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调；
4)去掉网络的输出层，将哈希编码层的输出结构作为哈希函数的输出，以支持跨模态的快速检索。
所述的步骤1)包括：
对于得到的包含多模态类型数据的多媒体文档集合，构建分别属于每个模态类型的数据集；假设构成多媒体文档的数据来自两个模态(为了表达上的方便，下面都假设构成多媒体文档的数据是来自两个模态，实际上本发明的方法 可以扩展到任意多个模态)：数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度，通常dx≠dy；n是数据集X和Y中所包含数据的个数；此外，T＝[t1，t2，...，tn]∈Rc×n为数据集X和Y对应的类别标签矩阵，每一个ti∈Rc 为两种模态数据点对xi和yi所对应的类别标签向量，tij＝１表示xi和yi均属于第j个类别，c为所有类别的个数；
如图1所示，本发明的神经网络结构由两个子神经网络组成，记作NNx和NNy，对应分别对X和Y中数据的逐层学习，每个子神经网络NNx或NNy有L层，包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理)，将数据x沿着它对应模态的神经子网络NNx进行正向传播，第l层的表达x(l)通过一组非线性变换后可得到l+1层的表达x(l+1)，这一非线性变换如公式(11)所示
x(l+1)＝f(l)(W(l)x(l)) (11)
其中W(l)为投影矩阵，f(l)(·)为非线性激活函数，在第一层到第L-2层，使用的非线性变换函数是sigmoid函数，在第L-1层使用非线性变换函数是softmax函数；
哈希函数Hx是子神经网络NNx的一部分，Hx将x为输入，将输入x通过正向传播到第L-1层，输出x的k维哈希编码：
Hx(x)＝sign(x(L-1)) (12)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出，sign(·)为将实数x(L-1)转换为二值哈希编码的函数；
对于另外一个模态数据所对应的哈希函数Hy,采用相同的方法得到。所述的步骤2)包括：
对神经网络NNx和NNy中的每一层分别使用传统的预训练方法叠加自动编码机进行初始化，使得最终得到的网络不至于陷入一个较差的局部最优解。所述的步骤3)包括：
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy 融合，实现对不同模态数据的统一表达，
保持模态间数据对应性的损失函数：对于存在对应关系的来自不同模态数据，这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导，因此在求解中先去掉二值函数sign(·)，直接将实数值作为数据在哈希编码层的表达，基于这一分析，在公式(13)中定义了损失函数l1：
其中x(L-1)，y(L-1)分别为来自不同模态、存在对应关系的一对数据x，u在哈希编码层上的表达；
保持模态内数据鉴别性的损失函数：对于来自同一模态的数据，如果它们具有相同的类别标签，则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致，基于这一分析，在公式(14)中定义损失函数l2：
l2(x，y，t)＝KL(x(L)，t)+KL(y(L)，t) (14)
其中x，y为来自不同模态、存在对应关系的一对数据，x(L)，y(L)分别为它们在输出层上的表达，t为它们对应的类别标签，KL(·)为KL-散度函数，用于衡量数据在输出层表达和类别标签的一致性；
将两个损失函数结合起来，对数据集X和Y内所有数据形成了如公式(15)的整体损失函数：
其中λ为平衡两个损失项的参数；
通过最小化公式(15)中所定义的损失函数，并采用经典的反向传播算法，对整个网络中参数进行微调，直到整个神经网络收敛或达到最大迭代次数。所述的步骤4)包括：
得到优化后网络NNx和NNy后，分别去掉NNx和NNy的输出层，并在NNx和NNy的哈希编码层的输出结果上加上二值化函数sign(·)，得到哈希函数Hx，Hy。
本发明的算法的完整流程如算法1所示。
实施例
为了验证本发明的效果，从“维基百科-特色文本”(Wikipedia featurearticles)上爬取了约2900个网页，每个网页中包含了一张图像以及几段对图像内容进行描述的文本，将这些网页作为本发明实验的数据集。本发明具体进行了针对两种类型媒体(图像和文本媒体)的跨媒体检索实验。
对图像模态数据，本发明提取每幅图像SIFT特征，再用K-means聚类方法对SIFT特征进行聚类，形成1000个聚类质心。这样，每张图像可被表达为1000维“视觉词袋”(Bag ofvisual words)；对文本模态数据，根据单词TF值大小来选取了最具代表性5000个单词，这样每个文本数据可被表达为5000维“文本词袋”(Bag of textual words)。
为了进一步验证本发明对大规模数据的跨媒体检索性能，在公开标准数据集NUS-WIDE上也进行了跨媒体检索实验。NUS-WIDE包含约26万个图像，每个图像具有图像上传者标注的标签信息。将图像和标签信息作为两种媒体数据，也可进行跨媒体检索实验。图像数据通过NUS-WIDE抽取好的500维视觉词袋特征进行表达，标签信息通过1000维文本词袋进行表达。
为了客观地评价本发明算法性能，使用平均准确率(Mean Average Precision，MAP)评价标准，针对不同哈希编码长度L给出了其MAP结果。维基百科数据集上的MAP结果如表1所示，NUS-WIDE数据集上的MAP结果如表2所示，
表1.维基百科数据集上MAP的结果
表2.NUS-WIDE数据集上的MAP结果
Claims (1)
1.一种基于神经网络的跨媒体哈希索引方法，其特征在于包括如下步骤：
1)设计基于神经网络的哈希函数的网络结构；
2)对每种模态的神经网络进行逐层预训练；
3)将不同模态的神经网络融合成一个新的网络，设计模态间和模态内数据的损失函数，基于损失函数来通过反向传播方式对整个网络参数进行微调；
4)去掉网络的输出层，将哈希编码层的输出结果作为哈希函数的输出，以支持跨模态的快速检索；
所述的步骤1)包括：
对于得到的包含多模态类型数据的多媒体文档集合，构建分别属于每个模态类型的数据集；假设构成多媒体文档的数据来自两个模态：数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度，通常dx≠dy；n是数据集X和Y中所包含数据的个数；此外，T＝[t1，t2，...，tn]∈Rc×n为数据集X和Y对应的类别标签矩阵，每一个ti∈Rc为两种模态数据点对xi和yi所对应的类别标签向量，tij＝1表示xi和yi均属于第j个类别，c为所有类别的个数；
神经网络结构由两个子神经网络组成，记作NNx和NNy，对应分别对X和Y中数据的逐层学习，每个子神经网络NNx或NNy有L层，包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层；对任意x∈X，将数据x沿着它对应模态的神经子网络NNx进行正向传播，第L层的表达xL通过一组非线性变换后可得到L+1层的表达xL+1，这一非线性变换如公式(1)所示
xL+1＝f(L)(W(L)xL) (1)
其中W(L)为投影矩阵，f(L)(·)为非线性激活函数，在第一层到第L-2层，使用的非线性变换函数是sigmoid函数，在第L-1层使用非线性变换函数是softmax函数；
哈希函数Hx是子神经网络NNx的一部分，Hx将x为输入，将输入x通过正向传播到第L-1层，输出x的k维哈希编码：
Hx(x)＝sign(x(L-1)) (2)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出，sign(·)为将实数x(L-1)转换为二值哈希编码的函数；
对于另外一个模态数据y∈Y所对应的哈希函数Hy,采用相同的方法得到；所述的步骤3)包括：
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy融合，实现对不同模态数据的统一表达，
保持模态间数据对应性的损失函数：对于存在对应关系的来自不同模态数据，这一损失函数将保证其在哈希编码层编码相似或一致；由于难以对二值哈希编码进行求导，因此在求解中先去掉二值函数sign(·)，直接将实数值作为数据在哈希编码层的表达，基于这一分析，在公式(3)中定义了损失函数
其中x(L-1)，y(L-1)分别为来自不同模态、存在对应关系的一对数据x，y在哈希编码层上的表达；
保持模态内数据鉴别性的损失函数：对于来自同一模态的数据，如果它们具有相同的类别标签，则应该保证这些具有相同类别标签的数据在神经网络输出层的表达相似或一致，基于这一分析，在公式(4)中定义损失函数
其中x，y为来自不同模态、存在对应关系的一对数据，x(L)，y(L)分别为它们在输出层上的表达，t为它们对应的类别标签，KL(·)为KL-散度函数，用于衡量数据在输出层表达和类别标签的一致性；
将两个损失函数结合起来，对数据集X和Y内所有数据形成了如公式(5)的整体损失函数：
其中λ为平衡两个损失项的参数；
通过最小化公式(5)中所定义的损失函数，并采用经典的反向传播算法，对整个网络中参数进行微调，直到整个神经网络收敛或达到最大迭代次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410531086.0A CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410531086.0A CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104346440A CN104346440A (zh) | 2015-02-11 |
| CN104346440B true CN104346440B (zh) | 2017-06-23 |
Family
ID=52502031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410531086.0A Expired - Fee Related CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104346440B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834748B (zh) * | 2015-05-25 | 2018-08-03 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
| CN105279554B (zh) * | 2015-09-29 | 2017-12-15 | 东方网力科技股份有限公司 | 基于哈希编码层的深度神经网络的训练方法及装置 |
| CN105893477A (zh) * | 2016-03-25 | 2016-08-24 | 中国科学技术大学 | 一种基于双路神经网络的保距哈希方法 |
| CN106202413B (zh) * | 2016-07-11 | 2018-11-20 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
| CN108009625B (zh) * | 2016-11-01 | 2020-11-06 | 赛灵思公司 | 人工神经网络定点化后的微调方法和装置 |
| CN106557332A (zh) * | 2016-11-30 | 2017-04-05 | 上海寒武纪信息科技有限公司 | 一种指令生成过程的复用方法及装置 |
| CN106776553A (zh) * | 2016-12-07 | 2017-05-31 | 中山大学 | 一种基于深度学习的非对称文本哈希方法 |
| CN106649715B (zh) * | 2016-12-21 | 2019-08-09 | 中国人民解放军国防科学技术大学 | 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法 |
| CN107067020B (zh) | 2016-12-30 | 2019-11-15 | 腾讯科技（上海）有限公司 | 图片识别方法及装置 |
| CN108694200B (zh) * | 2017-04-10 | 2019-12-20 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
| CN107256271B (zh) * | 2017-06-27 | 2020-04-03 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
| KR102563752B1 (ko) | 2017-09-29 | 2023-08-04 | 삼성전자주식회사 | 뉴럴 네트워크를 위한 트레이닝 방법, 뉴럴 네트워크를 이용한 인식 방법 및 그 장치들 |
| CN107766555B (zh) * | 2017-11-02 | 2020-04-21 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
| CN108319686B (zh) * | 2018-02-01 | 2021-07-30 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| US11429820B2 (en) * | 2018-03-13 | 2022-08-30 | Recogni Inc. | Methods for inter-camera recognition of individuals and their properties |
| CN108629414B (zh) * | 2018-05-09 | 2020-04-14 | 清华大学 | 深度哈希学习方法及装置 |
| CN110059198B (zh) * | 2019-04-08 | 2021-04-13 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
| CN110059154B (zh) * | 2019-04-10 | 2022-04-15 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
| CN110110140A (zh) * | 2019-04-19 | 2019-08-09 | 天津大学 | 基于注意力扩展编解码网络的视频摘要方法 |
| CN110222140B (zh) * | 2019-04-22 | 2021-07-13 | 中国科学院信息工程研究所 | 一种基于对抗学习和非对称哈希的跨模态检索方法 |
| CN110188209B (zh) * | 2019-05-13 | 2021-06-04 | 山东大学 | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 |
| CN110188223B (zh) * | 2019-06-06 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及计算机设备 |
| CN110750660B (zh) * | 2019-10-08 | 2023-03-10 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
| CN111639240B (zh) * | 2020-05-14 | 2021-04-09 | 山东大学 | 一种基于注意力感知机制的跨模态哈希检索方法及系统 |
| CN111628866B (zh) * | 2020-05-22 | 2021-08-31 | 深圳前海微众银行股份有限公司 | 神经网络校验方法、装置、设备及可读存储介质 |
| CN111639197B (zh) * | 2020-05-28 | 2021-03-12 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统 |
| CN114168759A (zh) * | 2020-09-11 | 2022-03-11 | 四川大学 | 基于跨媒体分析的科技数据检索技术 |
| WO2022104540A1 (zh) * | 2020-11-17 | 2022-05-27 | 深圳大学 | 一种跨模态哈希检索方法、终端设备及存储介质 |
| CN112559810B (zh) * | 2020-12-23 | 2022-04-08 | 上海大学 | 一种利用多层特征融合生成哈希码的方法及装置 |
| CN112905822B (zh) * | 2021-02-02 | 2022-07-01 | 华侨大学 | 一种基于注意力机制的深度监督跨模态对抗学习方法 |
| CN115410717B (zh) * | 2022-09-15 | 2024-05-21 | 北京京东拓先科技有限公司 | 模型训练方法、数据检索方法、影像数据检索方法和装置 |
| CN116881482A (zh) * | 2023-06-27 | 2023-10-13 | 四川九洲视讯科技有限责任公司 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353875A (zh) * | 2013-06-09 | 2013-10-16 | 华中科技大学 | 基于可视搜索的媒体交互方法及系统 |
| CN103559191A (zh) * | 2013-09-10 | 2014-02-05 | 浙江大学 | 基于隐空间学习和双向排序学习的跨媒体排序方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5909681A (en) * | 1996-03-25 | 1999-06-01 | Torrent Systems, Inc. | Computer system and computerized method for partitioning data for parallel processing |
-
2014
- 2014-10-10 CN CN201410531086.0A patent/CN104346440B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353875A (zh) * | 2013-06-09 | 2013-10-16 | 华中科技大学 | 基于可视搜索的媒体交互方法及系统 |
| CN103559191A (zh) * | 2013-09-10 | 2014-02-05 | 浙江大学 | 基于隐空间学习和双向排序学习的跨媒体排序方法 |
Non-Patent Citations (1)
| Title |
|---|
| Psychological stress detection from cross-media microblog data using Deep Sparse Neural Network;Huijie Lin et al;《Multimedia and Expo(ICME)》;20140718;第2页第2栏第2段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104346440A (zh) | 2015-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104346440B (zh) | 一种基于神经网络的跨媒体哈希索引方法 | |
| Castellano et al. | Deep learning approaches to pattern extraction and recognition in paintings and drawings: An overview | |
| Ashraf et al. | MDCBIR-MF: multimedia data for content-based image retrieval by using multiple features | |
| CN109241317B (zh) | 基于深度学习网络中度量损失的行人哈希检索方法 | |
| CN111639679B (zh) | 一种基于多尺度度量学习的小样本学习方法 | |
| CN105740401B (zh) | 一种基于个体行为和群体兴趣的兴趣地点推荐方法及装置 | |
| CN110750656B (zh) | 一种基于知识图谱的多媒体检测方法 | |
| CN103345656B (zh) | 一种基于多任务深度神经网络的数据识别方法及装置 | |
| CN109299342A (zh) | 一种基于循环生成式对抗网络的跨模态检索方法 | |
| CN108132968A (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
| CN110196945B (zh) | 一种基于LSTM与LeNet融合的微博用户年龄预测方法 | |
| CN109753602B (zh) | 一种基于机器学习的跨社交网络用户身份识别方法和系统 | |
| CN110059181A (zh) | 面向大规模分类体系的短文本标签方法、系统、装置 | |
| CN110096588A (zh) | 跨语言文本分类 | |
| Yang et al. | Identification of species by combining molecular and morphological data using convolutional neural networks | |
| CN107330446A (zh) | 一种面向图像分类的深度卷积神经网络的优化方法 | |
| Gikunda et al. | State-of-the-art convolutional neural networks for smart farms: A review | |
| CN102289522A (zh) | 一种对于文本智能分类的方法 | |
| CN101916376A (zh) | 基于局部样条嵌入的正交半监督子空间图像分类方法 | |
| CN111832573B (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
| CN106611015A (zh) | 标签的处理方法及装置 | |
| CN110210468A (zh) | 一种基于卷积神经网络特征融合迁移的文字识别方法 | |
| Huang et al. | Learning social image embedding with deep multimodal attention networks | |
| Yong et al. | Application of MobileNetV2 to waste classification | |
| Huang et al. | Fine-art painting classification via two-channel deep residual network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170623 Termination date: 20181010 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |