CN106844518A - 一种基于子空间学习的不完整跨模态检索方法 - Google Patents
一种基于子空间学习的不完整跨模态检索方法 Download PDFInfo
- Publication number
- CN106844518A CN106844518A CN201611243419.5A CN201611243419A CN106844518A CN 106844518 A CN106844518 A CN 106844518A CN 201611243419 A CN201611243419 A CN 201611243419A CN 106844518 A CN106844518 A CN 106844518A
- Authority
- CN
- China
- Prior art keywords
- mode
- modal
- learning
- modal data
- projection matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000005065 mining Methods 0.000 claims description 4
- 238000009412 basement excavation Methods 0.000 abstract 1
- 238000013480 data collection Methods 0.000 abstract 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于子空间学习的不完整跨模态检索方法,该方法通过收集多模态数据并提取特征;构造不完整观测的多模态数据集合;基于回归方式学习不完整观测多模态数据集共享子空间表达;对不同模态数据集进行特征学习以选择出具有较强判别能力的特征;挖掘不完整观测模态间和模态内相似性关系,建立优化目标函数;优化目标函数得到多模态数据共享子空间表达及基于回归方式的投影矩阵;根据投影矩阵进行跨模态检索。本发明解决了模态间特征异质的问题,同时可充分利用具有完整模态和不完整模态的数据,增强了跨模态检索性能。
Description
技术领域
本发明涉及跨模态检索技术领域,尤其是一种基于子空间学习的不完整跨模态检索方法。
背景技术
随着多媒体技术的迅猛发展,用户每天都分享着海量的多媒体信息,如图像、文本和视频。往往同一语义的数据由以上多种媒体特征进行描述,如一个网页可以由文本,图片和超级链接进行表征。以上多媒体数据的爆炸式增长,极大地促进了跨模态检索的应用需求,如用文本检索图片或者用图片检索文本等。因此,跨模态检索具有极其重要的研究和应用价值。
传统跨模态检索方法一般假设每一个数据点都具有完整的多模态表达,如由网页组成的数据集合,每一个网页都有完整的文本模态表达和图像模态表达。然而,在更为一般的场景中,一些数据点可能仅有部分的多模态表达,而只有部分数据点包含完整的多模态表达,这样的数据集合称之为不完整观测多模态数据。在上述场景中,传统跨模态检索方法一般仅使用具有完整多模态表达的数据点进行建模,不能有效使用那些包含部分模态特征的数据点。因此,传统跨模态检索方法不能有效处理不完整跨模态检索问题。
发明内容
本发明的目的在于解决上述技术问题而提出一种基于子空间学习的不完整跨模态检索方法,以解决现有跨模态检索方法不能有效满足不完整跨模态检索的需求的问题。
本发明是这样实现的,一种基于子空间学习的不完整跨模态检索方法,包括步骤:
步骤S1,收集多模态数据并分别提取各模态的特征;
步骤S2,利用提取的各模态的特征构造不完整观测多模态数据集;
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达,并分别学习各模态数据线性投影矩阵;
步骤S4,通过各模态数据线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出判别能力符合判别要求的特征;
步骤S5,挖掘不完整观测多模态集中的各模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数;
步骤S6,优化所述目标函数得到多模态数据集共享子空间表达以及各模态的线性投影矩阵;
步骤S7,根据所述各模态的线性投影矩阵进行跨模态检索。
本发明在利用提取的各模态的特征构造不完整观测多模态数据集后,首先为每一模态学习一个线性投影矩阵,并使得具有完整模态表达的数据点的不同模态特征具有相同的子空间表达;然后针对具有不完整模态表达的数据点,同样将其投影到以上子空间,以得到所有数据点的子空间表达;最后引入特征学习,选择不同模态符合判别要求的具有较高判别力的特征进行子空间的学习;在此基础上,还加入模态间和模态内相似性关系,以进一步提升跨模态检索的性能。
本发明通过线性投影矩阵将不同模态数据投影到同一子空间,解决了模态间特征异质的问题,同时可充分利用具有完整模态和不完整模态的数据。鉴于不同模态的特征冗余性较大且可能含有较强噪声,特征选择被嵌入到模型中以选择出具有较强判别能力的特征。最后,本发明同时将模态间和模态内的相似性关系考虑在内,可以进一步增强跨模态检索性能。
附图说明
图1是以图像和文本两模态为例的基于子空间学习的不完整跨模态检索方法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
参见图1所示,一种基于子空间学习的不完整跨模态检索方法,包括以下步骤:
步骤S1,收集多模态数据并分别提取各个不同模态的特征;
所述多模态数据包括有图片数据以及图片数据相对应的文本数据,如图像标注词;
所述不同模态特征,针对图片数据一般是视觉描述算子,比如S IFT或者GIST特征;针对文本数据一般是文档的词频向量。
步骤S2,利用步骤S1提取的各个模态的特征,构造不完整观测多模态数据集;
所述构造不完整观测多模态数据集,即仅部分数据点包含完整的多模态特征表达,另外一部分数据点包含部分的多模态特征表达。
例如,针对由图像数据模态和对应的文本数据模态组成的多模态数据集合,则是部分样本包含文本模态与图片模态这两个模态的特征表达,其余的样本仅仅包含文本模态特征表达或者图片模态特征表达,其中包含文本模态与图片模态这两个模态的特征表达的样本与包含文本模态特征表达或者图片模态特征表达的比例可随机确定,具体比例不限。
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达F,并分别学习各个不同模态的线性投影矩阵U1和U2。
在该步骤S3中,基本的优化目标函数为:
s.t.F∈{0,1}n×k;FIk=In
其中,为数据库第一个模态的特征表达(如图像或者文本),为具有完整模态特征的数据在当前模态下的特征表达,仅有当前模态特征的数据的特征表达,Fc和分别对应具有完整模态特征的数据的子空间表达和仅有当前模态特征的数据的子空间表达,且满足优化目标中c表示具有完整模态数据点对应的数据,如Fc表示此部分点的子空间表达,表示此部分点在第一个模态下的特征表达。约束条件中,n和k别表示数据库样本总数目以及类别数目。和具有相似的解释。最终的不完整观测多模态数据集的共享子空间表达为U1和U2分别为两个模态的线性投影矩阵。
该优化目标函数的约束条件中Ik和In,分别为k维和n维的由1组成的列向量,且k和n分别为多模态数据类别数目和样本总数目。
以上约束条件使得学习得到的共享子空间符合数据语义类别结构,即每一个数据点属于且仅属于所有类别中的一类。
步骤S4,给上述线性投影矩阵U1和U2增加设计的结构约束,以对不同模态数据集进行特征学习,进而选择出符合判别要求的具有较强判别能力的特征。
步骤S4中,该线性投影矩阵的结构约束为L21范数约束,其定义为:
其中,U1(i,:)表示第一个模态对应投影矩阵的第i行,通过最小化上述目标,可自动选择出符合判别要求的具有较高判别能力的特征,并同时去除冗余和具有符合预设噪声强度的较强噪声的特征。
步骤S5,在选出具有较高判别能力的特征后,挖掘不完整观测模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数。
步骤S5中,模态间和模态内的相似性关系Wpq和Wp分别定义为:
其中Wpq(ij)表示模态间相似性关系矩阵的第i行第j列对应的元素值,为由高斯核计算出的相似度,表示两模态特征表达对应同一数据点,其中表示p模态下第i个数据点对应的特征,表示q模态下第j个数据点对应的特征。
基于以上两种相似度矩阵,则总体相似度矩阵构造为:
进而得到拉普拉斯矩阵L=D-W,其中D为对角矩阵,且其每个对角线元素对应W矩阵所对应行的所有元素之和。具体的L可以表示为
其中L值中的元素与W具有相一致的对应关系。
结合子空间学习与特征学习,最终的优化目标函数为:
s.t.F∈{0,1}n×k;FIk=In
其中α和β为预设的正整数,用于决定最终的优化目标函数中不同项的权值大小。
步骤S6,采用交替优化方式优化目标函数得到多模态数据共享子空间表达F以及各个模态的线性投影矩阵U。
在该步骤S6中,采用交替优化方式求解F和U,直至算法收敛。
固定U,则目标函数改写为
s.t.F∈{0,1}n×k;FIk=In
首先将约束条件进行松弛为FTF=I;F≥0,之后将子空间表达F进行拆分,则上述优化目标变为:
采用拉格朗日乘子法进行求解Fc:
其中为拉格朗日乘子法求解上述优化目标的拉格朗日乘子,其计算方式为对于任意一个矩阵,假设用符号表示为Z,则
采用梯度方法求解和
固定F,则目标函数改写为:
则U可以依据梯度进行求解,满足:
其中Q为对角矩阵,且满足其第m个元素为1/(2||Ui(m,:)||2),其中Ui(m,:)对应第Ui第m行,上式中i和j值分别可取1和2。
步骤S7,根据所得投影矩阵进行跨模态检索任务。
在该步骤中,利用投影矩阵对多模态数据点进行投影得到各自对应的子空间表达,之后便可在此子空间中以欧氏距离进行距离度量进行跨模态检索。
为了验证本发明的实施效果,接下来以PASCAL VOC 2007数据库为例进行说明。该数据库分别包含5,011和4,952幅训练和测试图像,共计20个类别,这些图像用GIST特征进行描述,同时文本模态由图像的标注词组成。
在该PASCAL VOC 2007数据库上可以进行由图像检索标注词和由标注词检索图像的跨模态检索任务。
具体步骤如下:
步骤S1,提取PASCAL VOC 2007图像的GIST特征和由标注词组成的文本特征,并以此两个模态组成多模态数据集。
步骤S2,在上述多模态数据集中,随机选择部分数据点使其包含完整的多模态特征表达,其余数据点则随机挑选出一部分仅包含文本特征,另外一部分仅包含图片特征,以此构造不完整观测多模态训练数据集合。
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达F,并分别学习不同模态的线性投影矩阵U1和U2。
步骤S4,设计上述线性投影矩阵U1和U2的结构约束,实现对不同模态数据集的特征选择,即||U1||21+||U2||21。
步骤S5,挖掘不完整观测模态间和模态内相似性关系W,并结合子空间学习和特征学习建立优化目标函数。
步骤S6,令α和β取值为0.01和0.01,并采用交替优化方式求解上述优化目标得到多模态数据共享子空间表达以及各个模态的线性投影矩阵。
步骤S7,利用投影矩阵对测试集不同模态数据进行投影,在相同子空间下基于欧氏距离完成跨模态检索任务。
表1和表2是本发明以平均准确率(MAP)为观测指标在不同模态缺失情况下分别以图片和文本作为检索词(query)的性能比较。
表1图片(Image)检索文本(Text)在不同模态不完整度情况下各个检索方法的性能比较。表中的数字表示map(mean averay precision)值。各个检索方法包括现有的PLS、BLM、CCA、CDFE、BMLDA、GMMFA方法以及本发明的方法MY。
Image | 0% | 10% | 30% | 50% | 70% | 90% |
PLS | 27.57 | 27.66 | 27.4 | 26.79 | 27.82 | 24.45 |
BLM | 30.63 | 30.63 | 30.05 | 29.52 | 28.72 | 23.99 |
CCA | 26.67 | 26.39 | 25.27 | 23.52 | 23.20 | 15.99 |
CDFE | 29.98 | 29.67 | 28.09 | 27.85 | 26.92 | 21.78 |
GMLDA | 31.08 | 30.59 | 28.63 | 30.40 | 28.61 | 22.84 |
GMMFA | 30.57 | 30.20 | 28.12 | 30.14 | 27.70 | 22.27 |
My | 37.49 | 36.70 | 35.86 | 33.17 | 29.92 | 23.61 |
表1
表2文本(Text)检索图片(Image)在不同模态不完整度情况下各个方法的性能比较。表中的数字表示map(mean averay precision)值。各个检索方法包括现有的PLS、BLM、CCA、CDFE、BMLDA、GMMFA方法以及本发明的方法MY。
Text | 0% | 10% | 30% | 50% | 70% | 90% |
PLS | 19.97 | 20.13 | 19.82 | 19.74 | 19.94 | 17.91 |
BLM | 23.07 | 23.04 | 22.47 | 22.02 | 21.31 | 18.30 |
CCA | 22.23 | 22.08 | 21.55 | 19.60 | 19.52 | 13.67 |
CDFE | 22.46 | 22.59 | 20.58 | 21.56 | 20.77 | 15.41 |
GMLDA | 24.63 | 24.23 | 22.56 | 23.69 | 21.80 | 17.07 |
GMMFA | 24.34 | 23.95 | 22.07 | 23.34 | 21.39 | 17.13 |
My | 29.66 | 28.07 | 27.48 | 26.38 | 22.70 | 16.24 |
表2
以上所述的具体实施例,对本发明的目的、技术方案和效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于子空间学习的不完整跨模态检索方法,其特征在于,包括步骤:
步骤S1,收集多模态数据并分别提取各模态的特征;
步骤S2,利用提取的各模态的特征构造不完整观测多模态数据集;
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达,并分别学习各模态数据线性投影矩阵;
步骤S4,通过各模态数据线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出判别能力符合判别要求的特征;
步骤S5,挖掘不完整观测多模态集中的各模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数;
步骤S6,优化所述目标函数得到多模态数据集共享子空间表达以及各模态的线性投影矩阵;
步骤S7,根据所述各模态的线性投影矩阵进行跨模态检索。
2.根据权利要求1所述方法,其特征在于,所述不完整观测多模态数据集中有部分数据包含完整的多模态特征表达,其它部分数据包含部分多模态特征。
3.根据权利要求1所述方法,其特征在于,步骤S3中,通过对同一数据点不同模态特征表达学习得到可反映多模态数据的类别信息的相同的子空间表达,从而得不完整观测多模态数据集共享子空间表达。
4.根据权利要求1所述方法,其特征在于,步骤S4中,所述通过对各个模态的线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出不同模态判别能力符合判别要求的特征的同时,还去除冗余和具有预定强度噪声的特征。
5.根据权利要求1所述方法,其特征在于,步骤S6中,采用交替优化方式优化所述目标函数直至模型收敛,得到不完整多模态数据共享子空间表达和各个模态对应的线性投影矩阵。
6.根据权利要求1所述方法,其特征在于,步骤S7中,根据所述各模态的线性投影矩阵进行跨模态检索的步骤为:根据所述各模态的线性投影矩阵对新的多模态数据点进行投影得到新的多模态数据点子空间表达,进而进行跨模态检索。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611243419.5A CN106844518B (zh) | 2016-12-29 | 2016-12-29 | 一种基于子空间学习的不完整跨模态检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611243419.5A CN106844518B (zh) | 2016-12-29 | 2016-12-29 | 一种基于子空间学习的不完整跨模态检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106844518A true CN106844518A (zh) | 2017-06-13 |
CN106844518B CN106844518B (zh) | 2019-02-12 |
Family
ID=59113892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611243419.5A Active CN106844518B (zh) | 2016-12-29 | 2016-12-29 | 一种基于子空间学习的不完整跨模态检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106844518B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633259A (zh) * | 2017-08-21 | 2018-01-26 | 天津大学 | 一种基于稀疏字典表示的跨模态学习方法 |
CN108798641A (zh) * | 2018-06-19 | 2018-11-13 | 东北大学 | 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法 |
CN109271486A (zh) * | 2018-09-19 | 2019-01-25 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN109376261A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 基于中级文本语义增强空间的模态独立检索方法和系统 |
CN109741833A (zh) * | 2018-12-29 | 2019-05-10 | 东软集团股份有限公司 | 一种数据处理的方法和装置 |
CN109739991A (zh) * | 2018-11-22 | 2019-05-10 | 国网天津市电力公司 | 基于共享特征空间的模态异质电力数据统一语义主题建模方法 |
CN109784405A (zh) * | 2019-01-16 | 2019-05-21 | 山东建筑大学 | 基于伪标签学习和语义一致性的跨模态检索方法及系统 |
CN112564945A (zh) * | 2020-11-23 | 2021-03-26 | 南京邮电大学 | 一种基于时序先验和稀疏表示的ip网络流量估计方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050086210A1 (en) * | 2003-06-18 | 2005-04-21 | Kenji Kita | Method for retrieving data, apparatus for retrieving data, program for retrieving data, and medium readable by machine |
WO2013159356A1 (zh) * | 2012-04-28 | 2013-10-31 | 中国科学院自动化研究所 | 基于判别相关分析的跨媒体检索方法 |
CN105701514A (zh) * | 2016-01-15 | 2016-06-22 | 天津大学 | 一种用于零样本分类的多模态典型相关分析的方法 |
CN105930873A (zh) * | 2016-04-27 | 2016-09-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于子空间的自步跨模态匹配方法 |
-
2016
- 2016-12-29 CN CN201611243419.5A patent/CN106844518B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050086210A1 (en) * | 2003-06-18 | 2005-04-21 | Kenji Kita | Method for retrieving data, apparatus for retrieving data, program for retrieving data, and medium readable by machine |
WO2013159356A1 (zh) * | 2012-04-28 | 2013-10-31 | 中国科学院自动化研究所 | 基于判别相关分析的跨媒体检索方法 |
CN105701514A (zh) * | 2016-01-15 | 2016-06-22 | 天津大学 | 一种用于零样本分类的多模态典型相关分析的方法 |
CN105930873A (zh) * | 2016-04-27 | 2016-09-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于子空间的自步跨模态匹配方法 |
Non-Patent Citations (2)
Title |
---|
KAIYE WANG ET AL.: "Learning Coupled Feature Spaces for Cross-modal Matching", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
XIAOHUA ZHAI ET AL.: "Cross-media retrieval by intra-media and inter-media correlation mining", 《MULTIMEDIA SYSTEMS》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633259A (zh) * | 2017-08-21 | 2018-01-26 | 天津大学 | 一种基于稀疏字典表示的跨模态学习方法 |
CN107633259B (zh) * | 2017-08-21 | 2020-03-31 | 天津大学 | 一种基于稀疏字典表示的跨模态学习方法 |
CN108798641A (zh) * | 2018-06-19 | 2018-11-13 | 东北大学 | 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法 |
CN108798641B (zh) * | 2018-06-19 | 2021-06-11 | 东北大学 | 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法 |
CN109271486A (zh) * | 2018-09-19 | 2019-01-25 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN109271486B (zh) * | 2018-09-19 | 2021-11-26 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN109376261A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 基于中级文本语义增强空间的模态独立检索方法和系统 |
CN109739991A (zh) * | 2018-11-22 | 2019-05-10 | 国网天津市电力公司 | 基于共享特征空间的模态异质电力数据统一语义主题建模方法 |
CN109741833A (zh) * | 2018-12-29 | 2019-05-10 | 东软集团股份有限公司 | 一种数据处理的方法和装置 |
CN109784405A (zh) * | 2019-01-16 | 2019-05-21 | 山东建筑大学 | 基于伪标签学习和语义一致性的跨模态检索方法及系统 |
CN109784405B (zh) * | 2019-01-16 | 2020-09-08 | 山东建筑大学 | 基于伪标签学习和语义一致性的跨模态检索方法及系统 |
CN112564945A (zh) * | 2020-11-23 | 2021-03-26 | 南京邮电大学 | 一种基于时序先验和稀疏表示的ip网络流量估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106844518B (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106844518B (zh) | 一种基于子空间学习的不完整跨模态检索方法 | |
CN108334574B (zh) | 一种基于协同矩阵分解的跨模态检索方法 | |
Wang et al. | A comprehensive survey on cross-modal retrieval | |
Santa Cruz et al. | Visual permutation learning | |
CN106649715A (zh) | 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法 | |
JP2020123318A (ja) | テキスト相関度を確定するための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
GB2546360A (en) | Image captioning with weak supervision | |
US8243988B1 (en) | Clustering images using an image region graph | |
Qu et al. | A novel cross modal hashing algorithm based on multi-modal deep learning | |
Ionescu et al. | Result diversification in social image retrieval: a benchmarking framework | |
CN113270199B (zh) | 医学跨模态多尺度融合类别指导哈希方法及其系统 | |
CN111080551B (zh) | 基于深度卷积特征和语义近邻的多标签图像补全方法 | |
CN113297410A (zh) | 一种图像检索方法、装置、计算机设备及存储介质 | |
CN109472282B (zh) | 一种基于极少训练样本的深度图像哈希方法 | |
US12112537B2 (en) | Contrastive captioning for image groups | |
Li et al. | Dynamic key-value memory enhanced multi-step graph reasoning for knowledge-based visual question answering | |
Patel et al. | Self-supervised visual representations for cross-modal retrieval | |
CN106933824A (zh) | 在多个文档中确定与目标文档相似的文档集合的方法和装置 | |
CN110472058B (zh) | 实体搜索方法、相关设备及计算机存储介质 | |
Xia et al. | Content-irrelevant tag cleansing via bi-layer clustering and peer cooperation | |
CN103377381A (zh) | 识别图像的内容属性的方法和装置 | |
CN111259176A (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
Pineda et al. | Scalable object discovery: A hash-based approach to clustering co-occurring visual words | |
Wang et al. | Image matching via the local neighborhood for low inlier ratio | |
Kang et al. | A novel unsupervised approach for multilevel image clustering from unordered image collection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd. Address before: Unit 300465 TEDA MSD-G1-1001, 57 Second Avenue, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. |
|
CP03 | Change of name, title or address |