CN107203636B - 基于超图主集聚类的多视频摘要获取方法 - Google Patents
基于超图主集聚类的多视频摘要获取方法 Download PDFInfo
- Publication number
- CN107203636B CN107203636B CN201710427912.0A CN201710427912A CN107203636B CN 107203636 B CN107203636 B CN 107203636B CN 201710427912 A CN201710427912 A CN 201710427912A CN 107203636 B CN107203636 B CN 107203636B
- Authority
- CN
- China
- Prior art keywords
- video
- clustering
- key frame
- hypergraph
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 230000010076 replication Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视频摘要处理,为提供一种能够结合视频的视觉信息和与主题相关的先验信息,利用超图主集聚类思想和最大边际相关思想的多视频摘要方法。本发明所采用的技术方案是:基于超图主集聚类的多视频摘要方法,首先构建视频关键帧内容节点超图,通过二分类的主集聚类得到覆盖性强的候选关键帧集;然后利用网页图片与视频集在同一事件主题下的共性关系,得到与主题相关性程度高且冗余性小的关键帧集;最后通过视频帧在视觉上的连贯性对关键帧集进行排序,实现简洁且有意义的多视频摘要。本发明主要应用于视频处理场合。
Description
技术领域
本发明涉及视频摘要处理。特别是涉及对具有冗余性,交叉性等特点的多媒体视频数据,通过超图主集聚类方法对多视频关键镜头进行分析,再结合网页图片的辅助信息进行摘要获取的基于超图主集聚类的多视频摘要方法。具体讲,涉及基于超图主集聚类的多视频摘要方法。
背景技术
随着技术的发展,在线视频的数量正以飞快的速度增长,用户也可以使用自己的移动设备方便地上传个人视频到共享网站。记录同一事件、同一场景的视频可能存在大量的冗余信息,这对用户捕捉重要信息带来了困难。因此对大量的视频集中提取出有意义的部分,使用户快速获取视频信息的重要内容的技术是迫切需求的。视频摘要是通过将一个或多个视频转换为精简视频来满足此要求的技术,引起了越来越多的研究人员的关注。多视频摘要技术旨在针对某个查询主题下的大量视频,提取出和检索主题内容相关的且有意义的部分,并以一定的逻辑形式呈现出来,目的是通过简洁而又涵盖主题内容的概要帮助用户更好地了解视频集的重要信息。视频摘要的方法也可以分为两类:基于关键帧的视频摘要和基于视频剪辑的视频摘要。不管是哪类方法,根本目的都是一样的,就是使用户在最短的时间获取原始视频中最大的信息量。多视频摘要需要满足的基本要求:1)最大信息覆盖率;2)重要性;3)主题相关性。最大信息覆盖率指的是所提取的视频内容能够覆盖同一主题下多个视频的主要内容。重要性指的则是根据某些先验信息提取视频集中重要的关键镜头,从而提取出多个视频中重要的内容。主题相关性指的是要保证获取的视频摘要并能准确的反映查询主题的内容。
对于单视频摘要,目前有很多实现方法。但是多视频数据集的处理就比较困难。一方面多视频数据集存在较大的冗余性:大量同性质的网站提供相同或者类似的视频资源,用户可以上传自己的视频数据。另一方面多视频数据集同一内容所表现出来的音频信息,文本信息和视觉信息可能存在较大差别。因此多视频摘要技术相对于单个视频摘要获取就存在比较大的困难。
作为一个更具挑战性的任务,研究学者针对多视频数据集提出了一些比较可行的方法。其中聚类的方法或者图模型法在原始搜索结果中分析和发现视觉相似的图像作为搜索样例原型是一种比较常用的方法。传统的聚类方法不能解决多视频数据集在同一主题下内容多样且冗余所带来的困难。只考虑视觉上的信息效果较差,需要结合多视频的多模态信息进行摘要的获取。
针对同一主题下的多视频数据集,利用视频的视觉共现特性(visual Co-occurrence)实现多视频摘要是一种比较新颖的方法。该方法认为重要的视觉概念往往重复出现在同一主题下的多个视频中,并根据这一特点提出了最大二元组查找算法(MaximalBiclique Finding),提取多视频的稀疏共现模式,从而实现多视频摘要。但是该方法仅适用于特定的数据集,对于视频中重复性较小的视频集,该方法就失去了意义。
此外,相关学者利用多视频中的文本,音频等多模态信息,判断视频中的重要信息,生成多视频摘要。目前,由于多视频数据的复杂性,多视频摘要技术的方法还有待提升。因此,如何借助已有的多视频信息对数据集进行视频结构和内容的分析,更好地实现多视频摘要,成为目前相关学者研究的热点。
发明内容
本发明所要解决的技术问题是:针对多媒体视频数据的冗余信息、重复信息较多等特点,提供一种能够结合视频的视觉信息和与主题相关的先验信息,利用超图主集聚类思想和最大边际相关思想的多视频摘要方法。
本发明所采用的技术方案是:基于超图主集聚类的多视频摘要获取方法,首先构建视频关键帧内容节点超图,通过二分类的主集聚类得到覆盖性强的候选关键帧集;然后利用网页图片与视频集在同一事件主题下的共性关系,得到与主题相关性程度高且冗余性小的关键帧集;最后通过视频帧在视觉上的连贯性对关键帧集进行排序,实现简洁且有意义的多视频摘要。
具体地,构建超图模型,关联矩阵H(v,e)定义如下:
AS=H*W*H′–Dv (2)
其中A(i,j)=exp(-dis(vi,vj)),vi是属于超边ej的任意顶点,vj是超边ej的中心点,dis(vi,vj)为顶点vi到超边中心点vj归一化后的距离,超边的权重w(ei)定义为 顶点的度定义为d(v)=∑e∈Ew(e)·h(v,e),顶点的度和超边权重构成的对角线矩阵分别称为顶点度矩阵Dv,超边权重矩阵W,AS为(2)式中得到的邻接矩阵。
二分类的主集聚类是通过迭代求解二次方程将图划分为不同主集,具体表示如下:
max f(x)=xTASx (3)
s.t.x∈Δ (4)
其中,称作Rn上的标准单纯形,AS为(2)式中得到的邻接矩阵,另外式(3)中的目标函数提供了一个集群的凝聚力的度量,f(x)表示相应簇的内聚性,向量x的支持集被定义为向量x中非零元素的下标集合,即σ(x)={x∈V:xi>0},那么主集与二次型(3)的局部解之间就建立了联系,因此通过求解二次型的局部最大值来求解主集,最直接的求解方法就是繁殖方程法,其复制动态方程由(5)式表示:
网页图片和视频集在同一主题下存在共性关系,通过网页图片对聚类得到的候选关键帧进行选择得到主题相关性程度高且冗余性小的关键帧集,设计如下目标函数:
其中,m表示关键帧集合帧的个数,Fm代表已选择的关键帧集合,Q为同一主题查询的网页图片,保证了关键帧的主题相关性,g表示已经得到的关键帧集合中的某一帧,sim(si,g)代表要选定的帧和得到的关键帧集合中某一帧g的余弦相似性,保证关键帧集合Fm的新颖性,λ是用来平衡这两项性质的参数。
1)输入超图G=(V,E,H)及其得到的邻接矩阵AS,V为特征集X的顶点集合,E为超边集合,H为超图关联矩阵。
2)初始化迭代次数t=1并初始化向量X(t)=[(1/n),(1/n),…,(1/n )]n×1,n表示的是n帧特征集。
4)输出一个簇,其顶点是矢量X(t)的正分量xi(t)按降序排列,并让第一顶点代表这个簇。
5)从特征集X中删除这些顶点及其在超图中的亲和力关系。
6)转到步骤2)重复此过程直到将所有视频帧分类完毕,得到最终分类结果Cluster 1到Cluster k。
得到候选关键帧的具体步骤是,同一个类别C,中的视频帧具有相似的视觉或语义内容,因此首先从每类中选取一帧作为候选关键帧,其规则为从每类中选取距离该类平均特征向量距离最近的一帧作为候选关键帧,即:
本发明的特点及有益效果是:
本发明针对现有的多视频摘要方法的缺点,结合多视频数据集冗余性、主题多样性、交叉性等特点,设计在超图链接上进行主集聚类的基础上结合网页图片的辅助信息提取摘要的方法,其优势主要表现在以下方面:
有效性:实验验证本发明得到的多视频摘要结果相比于传统的聚类具有较好的效果,并能够自适应得到摘要长度,性能较好,更适用于多视频摘要问题中。
新颖性:将超图模型应用于主集聚类算法中,充分利用了视频关键节点之间的关系得到最大覆盖性的候选关键帧。在此基础上通过网页图片进一步增强摘要的主题相关性。
实用性:简单可行,与传统聚类算法相比能够自动确定簇数,计算成本低,可以用在多媒体信息处理领域中。
附图说明:
图1是本发明提供的在超图链接上进行主集聚类的多视频摘要方法的流程图。
具体实施方式
本发明针对多媒体视频数据的冗余信息、重复信息较多等特点,结合视频的视觉信息和与主题相关的先验信息,利用主集聚类思想和最大边际相关思想对传统的多视频摘要方法进行了改进,最后利用视觉上的相似性进行摘要呈现,达到了有效利用视频主题相关信息、提高用户浏览视频效率的目的。
本发明的目的在于提供一种基于超图主集聚类的多视频摘要技术。针对多视频数据集冗余性高、交叉性强、主题多样性等特点,本发明首先构建视频关键帧内容节点超图,通过二分类的主集聚类得到覆盖性强的候选关键帧集。然后利用网页图片与视频集在同一事件主题下的共性关系,得到与主题相关性程度高且重要性强的关键帧集。最后通过视频帧在视觉上的连贯性对关键帧集进行排序,实现简洁且有意义的多视频摘要。
本发明所提供的方法为:设计适用于多视频摘要数据集特点的方法,通过在视频帧节点构建的超图上进行主集聚类得到候选关键帧(镜头),然后利用网页图片的辅助信息构造目标函数来获取多视频的关键帧(镜头),从而实现关键帧的提取,并在此基础上利用关键帧(镜头)在视觉上的连贯性对摘要结果进行呈现。
多视频摘要技术旨在依托对大量的视频集的视频结构和内容的分析,提取出和检索主题内容相关的且有意义的部分,并以一定的逻辑形式呈现出来,目的是通过简洁而又涵盖主题内容的概要帮助用户更好的了解视频集的重要信息。对于某一查询主题的视频集,费时、费力、毫无线索地去获取重要信息很容易产生“信息过载”的现象。而且多视频集具有主题多样性和重复性的特点,直接使用传统的聚类方法来解决问题,得到的结果不尽人意。为此本发明提供一种聚类和主题概念结合的多视频摘要技术。通过主集在超图上聚类得到候选关键帧,更好的满足同一事件主题的最大信息覆盖性。然后再利用结合网页图片的目标函数进行处理,一般来讲,查询的网页图片集没有视频集的嘈杂和语义上无意义的部分,能够反映用户对相同事件的理解和兴趣。所以,网页图片的辅助信息更好的保证获取的关键帧与主题的相关性程度。其方法原理如下:
(1)超图原理:
超图是对简单图的扩展,简单图的一条边只能包含2个顶点,而超图的超边可以包含任意的多个顶点。超图能够更好的描述视频帧节点之间关联性,关联矩阵H(v,e)定义如下:
AS=H*W*H′-Dv (2)
其中A(i,j)=exp(-dis(vi,vj)),vi是属于超边ej的任意顶点,vj是超边ej的中心点,dis(vi,vj)为顶点vi到超边中心点vj归一化后的距离。此外,超边的权重w(ei)定义为顶点的度定义为d(v)=∑e∈Ew(e)·h(v,e)。顶点的度和超边权重构成的对角线矩阵分别称为顶点度矩阵Dv,超边权重矩阵W。
(2)主集聚类思想:
主集是图论中的一个组合概念,它将最大完全子图的概念推广到边缘加权图。它同时强调内部的同质性和外部的不均匀性,因此被认为是“集群”的一般定义。通过迭代求解二次方程将图划分为不同主集,具体表示如下:
max f(x)=xTASx (3)
s.t.x∈Δ (4)
其中,AS为(2)式中得到的邻接矩阵。另外式(3)中的目标函数提供了一个集群的凝聚力的度量,f(x)表示相应簇的内聚性,向量x的支持集被定义为向量x中非零元素的下标集合,即σ(x)={x∈V:xi>0},那么主集与二次型(3)的局部解之间就建立了联系,因此通过求解二次型的局部最大值来求解主集,最直接的求解方法就是繁殖方程法,其复制动态方程由(5)式表示:
下面结合附图和具体实施方式,进一步详细说明本发明。
图1描述了在超图链接上进行主集聚类的多视频摘要方法的流程图其具体步骤如下所述:
(1)提取视频特征:对海量视频进行预处理,对镜头检测得到的镜头或视频帧提取相关特征。
(2)构建K近邻超图模型得到邻接矩阵:本发明通过(1)式来对视频帧节点构建超图模型,并通过式(2)得到视频帧节点之间的邻接矩阵AS。
(3)主集聚类得到聚类簇:
1)输入超图G=(V,E,H)及其得到的邻接矩阵AS,V为特征集X的顶点集合,E为超边集合,
H为超图关联矩阵。
2)初始化迭代次数t=1并初始化向量X(t)=[(1/n),(1/n),…,(1/n)]n×1,n表示的是n帧特征集。
4)输出一个簇,其顶点是矢量X(t)的正分量x(t)按降序排列,并让第一顶点代表这个簇。
5)从特征集X中删除这些顶点及其在超图中的亲和力关系。
6)转到步骤2)重复此过程直到将所有视频帧分类完毕,得到最终分类结果Cluster 1到Cluster k。
与传统的聚类算法不同,主导集群自动确定簇数,计算成本低,能够自适应的满足最大信息覆盖,得到聚类簇C={C1,C2,…,Ck}。
(4)得到候选关键帧:
同一个类别C,中的视频帧具有相似的视觉或语义内容,因此首先从每类中选取一帧作为候选关键帧。其规则为从每类中选取距离该类平均特征向量距离最近的一帧作为候选关键帧,即:
(5)关键帧的选择:
从候选关键帧中获取关键帧,本发明借助网页图片的信息,设计了如下目标函数,考虑摘要主题相关性和新颖性。
2)按照如下迭代公式进行其它关键帧fm+1:
Fm+1=Fm∪{fm+1} (8)
其中,m表示关键帧集合帧的个数,Fm代表已选择的关键帧集合。Q为同一主题查询的网页图片。保证了关键帧的主题相关性,g表示已经得到的关键帧集合中的某一帧,sim(si,g)代表要选定的帧和得到的关键帧集合中某一帧g的余弦相似性,保证关键帧集合Fm的新颖性。λ是用来平衡这两项性质的参数。
Claims (3)
1.一种基于超图主集聚类的多视频摘要获取方法,其特征是,首先构建视频关键帧内容节点超图,通过二分类的主集聚类得到候选关键帧集;然后利用网页图片与视频集在同一事件主题下的共性关系,得到与主题相关性程度高且冗余性小的关键帧集;最后通过视频帧在视觉上的连贯性对关键帧集进行排序,实现多视频摘要的获取;构建超图模型,关联矩阵H(v,e)定义如下:
AS=H*W*H′–Dv (2)
其中A(i,j)=exp(-dis(vi,vj)),vi是属于超边ej的任意顶点,vj是超边ej的中心点,dis(vi,vj)为顶点vi到超边中心点vj归一化后的距离,超边的权重w(ei)定义为 顶点的度定义为d(v)=∑e∈Ew(e)·h(v,e),顶点的度和超边权重构成的对角线矩阵分别称为顶点度矩阵Dv,超边权重矩阵W,AS为(2)式中得到的邻接矩阵;
二分类的主集聚类是通过迭代求解二次方程将图划分为不同主集,具体表示如下:
max f(x)=xTASx (3)
s.t.x∈Δ (4)
其中,称作Rn上的标准单纯形,另外式(3)中的目标函数提供了一个集群的凝聚力的度量,f(x)表示相应簇的内聚性,向量x的支持集被定义为向量x中非零元素的下标集合,即σ(x)={x∈V:xi>0},那么主集与二次型(3)的局部解之间就建立了联系,因此通过求解二次型的局部最大值来求解主集,最直接的求解方法就是繁殖方程法,其复制动态方程由(5)式表示:
网页图片和视频集在同一主题下存在共性关系,通过网页图片对聚类得到的候选关键帧进行选择得到主题相关性程度高且冗余性小的关键帧集,设计如下目标函数:
1)输入超图G=(V,E,H)及其得到的邻接矩阵AS,V为特征集X的顶点集合,E为超边集合,H为超图关联矩阵;
2)初始化迭代次数t=1并初始化向量X(t)=[(1/n),(1/n),…,(1/n)]n×1,n表示的是n帧特征集;
4)输出一个簇,其顶点是矢量X(t)的正分量xi(t)按降序排列,并让第一顶点代表这个簇;
5)从特征集X中删除这些顶点及其在超图中的亲和力关系;
6)转到步骤2)重复此过程直到将所有视频帧分类完毕,得到最终分类结果Cluster 1到Cluster k。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710427912.0A CN107203636B (zh) | 2017-06-08 | 2017-06-08 | 基于超图主集聚类的多视频摘要获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710427912.0A CN107203636B (zh) | 2017-06-08 | 2017-06-08 | 基于超图主集聚类的多视频摘要获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107203636A CN107203636A (zh) | 2017-09-26 |
CN107203636B true CN107203636B (zh) | 2020-06-16 |
Family
ID=59908377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710427912.0A Expired - Fee Related CN107203636B (zh) | 2017-06-08 | 2017-06-08 | 基于超图主集聚类的多视频摘要获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107203636B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107911755B (zh) * | 2017-11-10 | 2020-10-20 | 天津大学 | 一种基于稀疏自编码器的多视频摘要方法 |
CN107943990B (zh) * | 2017-12-01 | 2020-02-14 | 天津大学 | 基于带权重的原型分析技术的多视频摘要方法 |
CN108427713B (zh) * | 2018-02-01 | 2021-11-16 | 宁波诺丁汉大学 | 一种用于自制视频的视频摘要方法及系统 |
CN110798752B (zh) * | 2018-08-03 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 用于生成视频摘要的方法和系统 |
CN109857906B (zh) * | 2019-01-10 | 2023-04-07 | 天津大学 | 基于查询的无监督深度学习的多视频摘要方法 |
CN110147442B (zh) * | 2019-04-15 | 2023-06-06 | 深圳智能思创科技有限公司 | 一种可控长度的文本摘要生成系统及方法 |
CN110070070B (zh) * | 2019-04-30 | 2021-03-02 | 苏州大学 | 一种动作识别方法 |
CN110210533B (zh) * | 2019-05-20 | 2021-01-19 | 清华大学深圳研究生院 | 基于最大覆盖位置问题的图片组地理定位方法 |
CN111651588B (zh) * | 2020-06-10 | 2024-03-05 | 扬州大学 | 一种基于有向图的文章摘要信息提取算法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104835174A (zh) * | 2015-05-25 | 2015-08-12 | 厦门大学 | 基于超图模式搜索的鲁棒模型拟合方法 |
CN104850857A (zh) * | 2015-05-15 | 2015-08-19 | 浙江大学 | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 |
-
2017
- 2017-06-08 CN CN201710427912.0A patent/CN107203636B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850857A (zh) * | 2015-05-15 | 2015-08-19 | 浙江大学 | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 |
CN104835174A (zh) * | 2015-05-25 | 2015-08-12 | 厦门大学 | 基于超图模式搜索的鲁棒模型拟合方法 |
Non-Patent Citations (1)
Title |
---|
基于超图排序算法的视频摘要;冀中,等.;《电子学报》;20170531;第45卷(第5期);第1035-1043页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107203636A (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107203636B (zh) | 基于超图主集聚类的多视频摘要获取方法 | |
Gupta et al. | Nonnegative shared subspace learning and its application to social media retrieval | |
Tian et al. | Sparse transfer learning for interactive video search reranking | |
Jiang et al. | Learning query and document relevance from a web-scale click graph | |
Kim et al. | Ranking and retrieval of image sequences from multiple paragraph queries | |
Zhang et al. | Efficient indexing for large scale visual search | |
CN107943990B (zh) | 基于带权重的原型分析技术的多视频摘要方法 | |
CN111782833B (zh) | 基于多模型网络的细粒度跨媒体检索方法 | |
WO2022206103A1 (zh) | 一种微博异构信息的用户画像构建方法 | |
Liang et al. | Self-paced cross-modal subspace matching | |
CN105701225B (zh) | 一种基于统一关联超图规约的跨媒体检索方法 | |
Zhou et al. | Latent visual context learning for web image applications | |
Zhu et al. | Topic hypergraph hashing for mobile image retrieval | |
Camargo et al. | Multimodal latent topic analysis for image collection summarization | |
CN106993240B (zh) | 基于稀疏编码的多视频摘要方法 | |
Sergieh et al. | Geo-based automatic image annotation | |
Liu et al. | Event-based media enrichment using an adaptive probabilistic hypergraph model | |
Tian et al. | Image search reranking with hierarchical topic awareness | |
Mironica et al. | Fisher kernel based relevance feedback for multimodal video retrieval | |
Li et al. | A rank aggregation framework for video multimodal geocoding | |
Cai et al. | Constrained keypoint quantization: towards better bag-of-words model for large-scale multimedia retrieval | |
Su et al. | Cross-modality based celebrity face naming for news image collections | |
Zhang et al. | Multi-modal tag localization for mobile video search | |
Han et al. | An auto-encoder-based summarization algorithm for unstructured videos | |
Castano et al. | A new approach to security system development |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200616 |