CN111339354B - 一种基于增量式概念树的视频内容结构表示方法 - Google Patents

一种基于增量式概念树的视频内容结构表示方法 Download PDF

Info

Publication number
CN111339354B
CN111339354B CN202010089209.5A CN202010089209A CN111339354B CN 111339354 B CN111339354 B CN 111339354B CN 202010089209 A CN202010089209 A CN 202010089209A CN 111339354 B CN111339354 B CN 111339354B
Authority
CN
China
Prior art keywords
concept
tree
newly added
subtree
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010089209.5A
Other languages
English (en)
Other versions
CN111339354A (zh
Inventor
张涛
荣美
单浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010089209.5A priority Critical patent/CN111339354B/zh
Publication of CN111339354A publication Critical patent/CN111339354A/zh
Application granted granted Critical
Publication of CN111339354B publication Critical patent/CN111339354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于增量式概念树的视频内容结构表示方法,包括将视频时序变化转变为动态形式背景、对形式背景进行对象拓扑表示,分析新增对象对对象拓扑产生的影响,再根据产生的不同影响将新增对象分类;分析以新增对象特征为基底前提下的对象之间的关系;确定新增对象后能够生长的子树并通过新增对象的子树生长算法将其在概念树中的相应位置生长;通过概念树更新算法完成概念树的更新,从而对视频内容进行结构表示。

Description

一种基于增量式概念树的视频内容结构表示方法
技术领域
本发明涉及视频内容结构表示方法,尤其涉及一种基于增量式概念树的视频内容结构表示方法。
背景技术
随着智能终端的愈发普及,人们日益习惯于借助互联网接受与传递消息,互联网上的多媒体数据呈现爆炸式增长,尤其是视频数据,成为应用越来越广泛的媒体形式。视频是能记录、保留空间和时间各种信息的非结构化数据流,近些年对视频领域的研究也越来越深入,如视频挖掘、视频理解、视频描述等,视频内容的结构化表示作为其基础研究内容,一直是视频分析领域的研究热点之一。
作为研究高层次知识之间关系的重要工具,概念认知学习通过使用特定的认知学习方法来建立不同的认知学习方法来获得特定的概念,从而能够快速有效地处理数据,完成动态变化的大规模数据分析,自动提取有价值的信息。概念格作为概念认知领域的一种进行数据可视化分析的有效工具,已经在信息检索、数字图书馆、软件工程和知识发现等方面得到广泛应用,并仍然具有很大的潜在应用价值。
然而,概念格在直观地表示形式背景中各个属性间的关联性和关联强度方面存在一定的不足。基于此问题,现有技术中提出的属性拓扑这一新型形式背景表示方法,以属性为顶点,属性对间的包含关系为权值,以加权图的形式对形式背景进行刻画,将属性间的耦合关系和耦合强度直观地表现在拓扑图上,具有表现形式简单、直观且与形式背景一一对应的优点。
从认知学习角度看,视频所表达的内容由各关键帧内容组成的时间序列组合而成,因此可将视频内容的整体结构理解为观众对多个关键帧图像按时间序列组合而形成的整体概念认知结构。在视频的播放过程中,随着视频内容的不断发展,关键帧图像的数量逐渐增加,基于关键帧图像形成的形式背景时刻处于动态增加的状态,在形式背景中加入新的概念时,概念格的变化会变得非常复杂。因此我们一种能够有效处理大规模动态形式背景的概念格构造方法,并将其用于对大量视频数据进行视频内容结构表示,形成对视频内容的整体概念认知的可视化结构。
发明内容
根据现有技术存在的问题,本发明公开了一种基于增量式概念树的视频内容结构表示方法,具体包括如下步骤:
将视频时序变化转变为动态形式背景、对形式背景进行对象拓扑表示:在属性拓扑的基础上对动态形式背景做形式变换,将转置后的形式背景构造成以对象为结点、对象对间的关系为结点间连线的关联网络结构;
对于新增对象Δg,在原有的对象拓扑结构的基础上,根据新增对象的特征以及新增对象和拓扑图中各原有对象间存在的具体的相容或包含关系,分析新增对象对对象拓扑产生的影响,再根据产生的不同影响将新增对象分类;
根据新增对象的不同类别对其在概念树中加入的位置进行判别,并对增量形式背景进行坍缩和结构化表示,分析以新增对象特征为基底前提下的对象之间的关系;
根据增量形式背景的坍缩和结构化表示中的各对象之间的关系及子树生长的约束条件,确定新增对象后能够生长的子树并通过新增对象的子树生长算法使子树在概念树中的相应位置生长;
根据概念树中新增概念结点与原概念集合中各概念结点之间的关系确定其对应的概念更新方式,同时通过概念树更新算法完成概念树的更新,从而对视频内容进行结构表示。
进一步的,对形式背景进行对象拓扑表示时:将对象拓扑的邻接矩阵表示法定义为OT=(V,Edge),其中,
V=G (1)
Figure BDA0002383147150000021
在形式背景K=(G,M,I)中,若
Figure BDA0002383147150000022
定义一对算子:
Figure BDA0002383147150000023
Figure BDA0002383147150000031
其中,f(A)是A中所有对象共有的最大属性集合,g(B)是B中所有属性共有的最大对象集合,如果二元组(A,B)满足f(A)=B且g(B)=A,称二元组(A,B)是形式背景K中的一个形式概念,A称为概念(A,B)的外延,B称为概念(A,B)的内涵,用B(G,M,I)或B(K)表示形式背景K=(G,M,I)的所有概念构成的集合;
Figure BDA0002383147150000032
满足
Figure BDA0002383147150000033
则称集合Gj为对象gi的父对象集合,且
Figure BDA0002383147150000034
均为gi的父对象,表示为gj=Par(gi);同理,称对象gi为对象gj的子对象,表示为gi=Chr(gj)。
进一步的,全局对象即具有所有属性信息的对象,新增的全局对象会与原形式背景中的所有对象产生关联关系;顶层对象和伴生对象只具有原属性集中的部分属性信息,故其只会和原拓扑结构中的部分对象产生关联关系;所述将新增对象分类时分为三类:
(i)若
Figure BDA0002383147150000035
使得f(Δg)=M,则称新对象Δg为全局对象;
(ii)若
Figure BDA0002383147150000036
满足f(g)∩f(Δg)=f(Δg)≠f(g),则称新对象Δg为伴生对象;在拓扑结构中,表现为对象结点g指向结点Δg的单向边,权重为f(Δg);
(iii)其它类,则称新增对象Δg为顶层对象;其中新增顶层对象的化分分为两种情况:
第一种:f(g)∩f(Δg)=f(g),在拓扑结构中表现为对象结点Δg指向结点g的单向边,权重为f(g);
第二种:f(g)∩f(Δg)≠f(g)且f(g)∩f(Δg)≠f(Δg),即二者为相容关系,在拓扑结构中表现为对象结点Δg和结点g存在双向边,权重为f(g)∩f(Δg)。
进一步的,根据新增对象的不同类别对其在概念树中加入的位置进行判别时:对于全局对象,原来形式背景中的所有对象都是作为新增对象的子集存在,即对
Figure BDA0002383147150000041
Figure BDA0002383147150000042
则其必然位于新拓扑结构中全局起点层、概念树中最顶层的位置;
新增对象为顶层对象时,新增对象不会作为任何一个非全局对象的子集形式存在,即对
Figure BDA0002383147150000043
且f(g)≠M,有
Figure BDA0002383147150000044
则其必然位于新拓扑结构顶层对象层的位置,体现在概念树中则是以概念树的根结点r为父结点单独的作为一个结点加入到概念树的根结点r之后的顶层位置;
新增对象为伴生对象时,新增对象会作为至少一个非全局对象的子集形式存在,即对
Figure BDA0002383147150000045
且f(g)≠M,有
Figure BDA0002383147150000046
则其必然位于新拓扑结构伴生对象层的位置,体现在概念树中则是伴随生长在其父对象集合之后的底层位置;
进一步的,对增量形式背景进行坍缩和结构化表示时:引入了增量形式背景的坍缩和结构化表示,分析以新增对象特征为基底前提下的对象之间的关系;
设原形式背景K=(G,M,I),新增对象Δg后的形式背景为K′=(G′,M,I′),对
Figure BDA0002383147150000047
Figure BDA0002383147150000048
则Gc为增量形式背景坍缩后的对象集合,对
Figure BDA0002383147150000049
有Mc={mi∈M|mi=f(Δg)∩f(gi),gi∈Gc},则增量形式背景的坍缩Kc可以表示为:
Kc=(Gc,Mc,Ic) (5)
其中,
Figure BDA00023831471500000410
表示为增量形式背景坍缩后的对象集合,Mc={mi∈M|mi=f(Δg)∩f(gi),gi∈Gc}表示为新增对象Δg对Gc产生的影响,
Figure BDA0002383147150000051
(i)新增对象Δg后只能够生长对象集合Gc中的对象,Δg的子树中不会存在任何一个对象集合{G-Gc}中的对象;
(ii)新增对象Δg后只能够生长子树r→...→D,对于子树r→...→gi或者r→...→G1则不能够作为Δg的子树生长在Δg之后的位置,其中,对gj∈Gc,若G1={gi|gi∈Gc},f(gj)=f(gi),则D={gj,G1};
(iii)新增对象Δg后能够生长子树r→...→E和子树r→...→F,对于子树r→...→gj则不能够作为Δg的子树生长在Δg之后的位置,其中,对gj∈Gc,若G2={gi∈Gc|gi=par(gj)},令E={gj,G2},F=G2
进一步的,所述更新概念树时:
设概念树Tree中所有的概念为B(KT),(A,B)∈B(KT),则新增对象Δg后概念树根据f(Δg)∩B的不同结果存在三种更新方式,具体表述为:
(i)若f(Δg)∩B=B,概念代替更新,即原概念(A,B)所在概念树Tree中的子树删除,在新增对象Δg后生长新概念为({A∪Δg},B)的子树;
(ii)若
Figure BDA0002383147150000052
概念增加更新,即原概念(A,B)所在概念树Tree中的子树不变,在新增对象Δg后生长新概念为({A∪,Δg},{f(Δg)∩B})的子树;
(iii)若
Figure BDA0002383147150000053
概念不更新,即原概念(A,B)所在概念树Tree中的子树不变,在新增对象Δg后不会生长新的子树。
其中,在上述更新方式(i)中存在由新概念代替旧概念的情况:概念树Tree中所有的概念为B(KT),(A1,B1)∈B(KT),(A2,B2)∈B(KT),新增对象Δg后,若f(Δg)∩B1=f(Δg)∩B2=B,如果#A1>#A2,其中#表示集合中的元素个数,则新增概念(A2,B)将被新增概念(A1,B)代替更新,在新增对象的子树中,概念为(A2,B)的子树部分被删除,只新增概念为(A1,B)的支路部分;否则,新增概念(A1,B)将被新增概念(A2,B)代替更新,在新增对象的子树中,概念为(A1,B)的子树部分被删除,只新增概念为(A2,B)的支路部分。
进一步的,新增对象的子树生长算法包括如下步骤:
Step1:Gr={G-Gc},判断条件Gr=G,不满足则转至Step2;否则,转至Step7;
Step2:Kc=(Gc,Mc,Ic),删除初始概念树Tree中的Gr以及其前项支路和子树部分,得到坍缩后的概念树Treec,转至Step3;
Step3:判断条件
Figure BDA0002383147150000061
使得G1={gi|gi∈Gc},f(gj)=f(gi),gj∈Gc,满足则转至Step4;否则,转至Step5;
Step4:删除Treec中r→...→gi或者r→...→G1中的gi和G1以及其前项支路和子树,转至Step5;
Step5:判断条件
Figure BDA0002383147150000062
使得G2={gi∈Gc|gi=par(gj)},gj∈Gc,满足则转至Step6;否则,转至Step8;
Step6:删除Treec中的r→...→gj中的gj及其前项支路和子树,此时的概念树记为Tree″,转至Step8;
Step7:
Figure BDA0002383147150000063
执行Step8;
Step8:算法结束,输出新增对象Δg后能够生长的子树Tree″。
所述概念树更新算法包括如下步骤:
Step1:判断条件
Figure BDA0002383147150000071
满足则转至Step6;否则,转至Step2;
Step2:计算概念树Tree″中的所有概念为B(KT″),(A1,B1),(A2,B2)∈B(KT″),转至Step3;
Step3:判断条件f(Δg)∩B1=B1,满足则转至Step4;否则,转至Step5;
Step4:原概念(A1,B1)所在概念树Tree中的子树删除,在新增对象Δg后生长新概念为({A1∪Δg},B1)的子树,转至Step5;
Step5:判断条件
Figure BDA0002383147150000072
满足则转至Step6;否则,转至Step7;
Step6:原概念(A1,B1)所在概念树Tree中的子树不变,在新增对象Δg后生长新概念为({A1∪Δg},{f(Δg)∩B1})的子树,转至Step7;
Step7:判断条件
Figure BDA0002383147150000073
满足则转至Step8;否则,转至Step9;
Step8:原概念(A1,B1)所在概念树Tree中的子树不变,在新增对象Δg后不会生长新的概念为({A1∪Δg},B1)的子树,转至Step9;
Step9:判断条件f(Δg)∩B1=f(Δg)∩B2=B,满足则转至Step10;否则,转至Step13;
Step10:判断条件#A1>#A2,满足则转至Step11;否则,转至Step12;
Step11:在新增对象的子树中,概念为({A2∪Δg},B)的子树部分被删除,只新增概念为的({A1∪Δg},B)支路部分,转至Step13;
Step12:在新增对象的子树中,概念为({A1∪Δg},B)的子树部分被删除,只新增概念为的({A2∪Δg},B)支路部分,转至Step13;
Step13 Tree′=Tree,转至Step14;
Step14算法结束,输出更新后的概念树Tree′。
进一步的,所述新增对象的子树生长算法及其概念树更新算法只针对新增顶层对象和伴生对象时的情况,对于新增全局对象,只需将原概念树Tree的根结点r更新为r′=Δg∪r即可。
由于采用了上述技术方案,本发明提供的一种基于增量式概念树的视频内容结构表示方法,本方法基于属性拓扑基础理论,提出用增量式概念树可视化地表示视频内容结构,用树结构表示概念之间的关系,实现了对视频关键帧中各个概念的动态增加过程的最大程度可视化表示,并且从图论层面提出概念树的生成更新算法,计算成本大幅度降低。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法的整体流程图;
图2为本发明实验例视频的18个关键帧图像;
图3为本发明实验例所示形式背景对应的对象拓扑图;
图4为本发明实验例中新增伴生对象10在概念树中加入的位置示意图;
图5为本发明实验例中新增顶层对象14在概念树中加入的位置示意图;
图6为本发明实验例坍缩前的增量式形式背景对应的拓扑结构图;
图7为本发明实验例坍缩后的增量式形式背景对应的拓扑结构图;
图8为本发明实验例中新增对象14后能够生长的子树结构图;
图9为本发明实验例中新增对象14后更新得到的增量式概念树结构图;
图10为本发明实验例所示形式背景,即本发明实验例中视频内容的增量式概念树可视化结构表示图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1所示的一种基于增量式概念树的视频内容结构表示方法,具体包括如下步骤:
S1、形式背景的对象拓扑表示
以短视频《拔萝卜》为实验对象,截取其中18个关键帧图像进行视频内容结构表示,将其按时间顺序以编号1~18命名并排列表示在图2中。关键帧图像的选定条件为:在一段时间区间内场景保持较长时间不变的帧图像作为该区间的关键帧图像。
对上述18个关键帧图像进行形式概念分析层面的处理,依次将每个关键帧图像记为{1,2,3,…,18},图像中的信息作为该对象(关键帧图像)具有的属性。需要注意的是,在这个过程中只关注对象和属性间的耦合关系,忽略某对象具有的属性的个数,再经过预处理操作构造如表1所示形式背景。其中,用{a,b,c,…,j}表征各个属性:a={大萝卜}(预处理时被删减),b={小萝卜},c={萝卜屋},d={老爷爷},e={老奶奶},f={蓝兔子},g={粉兔子},h={狗},i={猫},j={老鼠}。
表1预处理后视频关键帧图像构造的形式背景
Figure BDA0002383147150000091
Figure BDA0002383147150000101
图3为本实验例形式背景对应的对象拓扑图,由形式背景下的所有对象及其它们之间带权值的边构成,边上的权值由公式(2)确定。
S2、新增对象的类别判定
本实验例中,不存在Δg使得f(Δg)=M,故全局对象集为
Figure BDA0002383147150000102
存在
Figure BDA0002383147150000103
且Δg∈{1,3,4,5,6,7,8,10,11,12,13,14,15,16,17},使得f(g)∩f(Δg)=f(Δg)≠f(g),故伴生对象集为{1,3,4,5,6,7,8,10,11,12,13,14,15,16,17};同理,顶层对象集为{2,9,18}。
S3、新增对象在概念树中加入的位置判别
在新增对象在概念树中加入的位置判别方法中,根据上述对新增对象的类别判定结果将不同类型对象加入到拓扑结构及概念树的不同位置:将全局对象作为概念树新的根节点对原根节点更新,将顶层对象单独的作为一个结点加入到其父对象,即概念树的根结点r之后的顶层位置,将伴生对象加入到其所有父对象(非全局对象)后的底层位置。
本实验例中,对于新增伴生对象Δg∈{1,3,4,5,6,7,8,10,11,12,13,14,15,16,17},
Figure BDA0002383147150000104
且f(g)≠M,
Figure BDA0002383147150000105
其将位于新拓扑结构伴生对象层的位置,体现在概念树中则是伴随生长在其父对象集合之后的底层位置。以新增伴生对象10为例,
Figure BDA0002383147150000111
且f(g)≠M,有
Figure BDA0002383147150000112
故将其伴随生长在其父对象集合{1,2}之后的底层位置,如图4所示。
对于新增顶层对象Δg∈{2,18},
Figure BDA0002383147150000113
且f(g)≠M,
Figure BDA0002383147150000114
其将位于新拓扑结构顶层对象层的位置,体现在概念树中则是以概念树的根结点r为父结点单独地作为一个结点加入到概念树的根结点r之后的顶层位置。以新增顶层对象14为例,对
Figure BDA0002383147150000115
且f(g)≠M,有
Figure BDA0002383147150000116
故将其作为单独节点生长在概念树根节点r下,如图5所示。
S4、增量形式背景的坍缩及结构化表示
在增量形式背景的坍缩及结构化表示方法中,新增对象Δg后,增量形式背景坍缩为Kc=(Gc,Mc,Ic),坍缩后的拓扑结构为OTc=(Vc,Edgec),新增对象Δg(f(Δg)≠M)只具有部分的属性信息,因此新增对象只和与其有共同属性的对象产生关联关系。考虑到新增形式背景的坍缩发生在整个增量过程中,与新增对象的类型无关,因此在本实验例中,以新增对象14为例,分析在以新增对象特征为基底前提下的对象之间的关联关系,以降低后续过程的计算复杂性。
设当前形式背景K=(G,M,I),其中G={1,2,3,4,5,6,7,8,9}。坍缩前的增量式形式背景对应的拓扑结构如图6所示。由定义3可知,在当前形式背景中新增对象14,存在
Figure BDA0002383147150000117
使得
Figure BDA0002383147150000118
则坍缩后的增量式形式背景对应的拓扑结构如图7所示,新增对象与原形式背景中的各对象间关系更加简洁。
S5、新增对象的子树生长
在计算新增对象的子树生长过程中,要根据增量形式背景结构化表示中的各对象之间的关系确定在新增对象后能够生长的子树。
本实验例中,由上述新增对象14与坍缩后的增量式形式背景中各对象间的关系,进一步以新增顶层对象14后的子树生长为例,根据子树生长的约束条件对其进行分析,具体流程如下:
Step1 Gr=G-Gc={1,2,3,4,5,6,7,8,9}-{1,2}={3,4,5,6,7,8,9},判断条件Gr=G,不满足,转至Step2;
Step2 Kc=(Gc,Mc,Ic),删除未新增对象14时的概念树中对象{1,2}以及其前项支路和子树部分,得到坍缩后的概念树Treec,转至Step3;
Step3判断条件
Figure BDA0002383147150000121
使得G1={gi|gi∈{1,2}},f(gj)=f(gi),gj∈{1,2},不满足,转至Step5;
Step4跳过;
Step5判断条件
Figure BDA0002383147150000122
使得G2={gi∈Gc|gi=par(gj)},gj∈{1,2},不满足,转至Step8;
Step6跳过;
Step7跳过;
Step8算法结束,输出新增对象14后能够生长的子树Tree″。
图8为进行上述步骤后得到的能生长在新增对象14后的子树结构。
S6、概念树的更新
在概念树的更新算法中,设概念树中所有的概念为B(KT),(A,B)∈B(KT),新增对象Δg后,根据f(Δg)∩B的不同结果进行概念的代替更新、增加、不更新。
本实验例中,以新增对象14后的概念更新为例,分析概念树的更新过程,具体流程如下:
Step1判断条件
Figure BDA0002383147150000131
不满足,转至Step2;
Step2计算概念树Tree″中的所有概念为B(KT″)={(9,{d,e,f,g,h,i,j}),({8,9},{d,e,f,g,h,i}),(13,{b,h,j}),({9,13},{h,j}),({12,13},{b,j}),({7,8,9},h),({1,2,10,11,12},b),({9,12,13},j)},其中
Figure BDA0002383147150000132
转至Step3;
Step3判断条件f(Δg)∩B1=B1,f(14)∩{b,h,j}={b,h,j},
Figure BDA0002383147150000133
Figure BDA0002383147150000134
满足,转至Step4;
Step4原概念(13,{b,h,j}),({9,13},{h,j}),({12,13},{b,j}),({7,8,9},h),({1,2,10,11,12},b),({9,12,13},j)}所在概念树Tree中的子树删除,在新增对象Δg后生长新概念为({13,14},{b,h,j}),({9,13,14},{h,j}),({12,13,14},{b,j}),({7,8,9,14},h),({1,2,10,11,12,14},b),({9,12,13,14},j)}的子树,转至Step5;
Step5判断条件
Figure BDA0002383147150000135
Figure BDA0002383147150000136
满足,转至Step6;
Step6原概念(9,{d,e,f,g,h,i,j}),({8,9},{d,e,f,g,h,i})所在概念树Tree中的子树不变,在新增对象Δg后生长新概念为({9,14},{h,i,j}),({8,9,14},{h,i})的子树,转至Step7;
Step7判断条件
Figure BDA0002383147150000141
不满足,转至Step9;
Step8跳过;
Step9判断条件f(Δg)∩B1=f(Δg)∩B2=B,不满足,转至Step13;
Step10跳过;
Step11跳过;
Step12跳过;
Step13 Tree′=Tree,转至Step14;
Step14算法结束,输出更新后的概念树Tree′。
图9为进行上述步骤后得到的新增对象14并更新后的概念树。图10为对表1所示形式背景进行增量式概念树结构表示图。可见,基于增量式概念树的视频内容结构表示方法能够有效地对视频内容进行可视化结构表示。对比图3和图10,可知,采用增量式概念树对视频内容进行可视化结构表示不仅简洁地表现出概念间的层次关联关系,更使得整个过程有较强的逻辑性和可解释性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于增量式概念树的视频内容结构表示方法,其特征在于包括:
以短视频为对象,截取多个关键帧图像进行视频内容结构表示,对关键帧图像进行形式概念分析层面的处理,将图像中的信息作为该对象具有的属性,将视频时序变化转变为动态形式背景、对形式背景进行对象拓扑表示:在属性拓扑的基础上对动态形式背景做形式变换,将转置后的形式背景构造成以对象为结点、对象对间的关系为结点间连线的关联网络结构;
对于新增对象Δg,在原有的对象拓扑结构的基础上,根据新增对象的特征以及新增对象和拓扑图中各原有对象间存在的具体的相容或包含关系,分析新增对象对对象拓扑产生的影响,再根据产生的不同影响将新增对象分类;
根据新增对象的不同类别对其在概念树中加入的位置进行判别,并对增量形式背景进行坍缩和结构化表示,分析以新增对象特征为基底前提下的对象之间的关系;
根据增量形式背景的坍缩和结构化表示中的各对象之间的关系及子树生长的约束条件,确定新增对象后能够生长的子树并通过新增对象的子树生长算法使子树在概念树中的相应位置生长;
根据概念树中新增概念结点与原概念集合中各概念结点之间的关系确定其对应的概念更新方式,同时通过概念树更新算法完成概念树的更新,从而对视频内容进行结构表示;
根据新增对象的不同类别对其在概念树中加入的位置进行判别时:对于全局对象,原来形式背景中的所有对象都是作为新增对象的子集存在,即对
Figure FDA0003719118810000011
Figure FDA0003719118810000012
则其必然位于新拓扑结构中全局起点层、概念树中最顶层的位置;
新增对象为顶层对象时,新增对象不会作为任何一个非全局对象的子集形式存在,即对
Figure FDA0003719118810000013
且f(g)≠M,有
Figure FDA0003719118810000014
则其必然位于新拓扑结构顶层对象层的位置,体现在概念树中则是以概念树的根结点r为父结点单独的作为一个结点加入到概念树的根结点r之后的顶层位置;
新增对象为伴生对象时,新增对象会作为至少一个非全局对象的子集形式存在,即对
Figure FDA0003719118810000015
且f(g)≠M,有
Figure FDA0003719118810000016
则其必然位于新拓扑结构伴生对象层的位置,体现在概念树中则是伴随生长在其父对象集合之后的底层位置;
对增量形式背景进行坍缩和结构化表示时:引入了增量形式背景的坍缩和结构化表示,分析以新增对象特征为基底前提下的对象之间的关系;
设原形式背景K=(G,M,I),新增对象Δg后的形式背景为K′=(G′,M,I′),对
Figure FDA0003719118810000021
Figure FDA0003719118810000022
则Gc为增量形式背景坍缩后的对象集合,对
Figure FDA0003719118810000023
有Mc={mi∈M|mi=f(Δg)I f(gi),gi∈Gc},则增量形式背景的坍缩Kc可以表示为:
Kc=(Gc,Mc,Ic) (5)
其中,
Figure FDA0003719118810000024
表示为增量形式背景坍缩后的对象集合,Mc={mi∈M|mi=f(Δg)I f(gi),gi∈Gc}表示为新增对象Δg对Gc产生的影响,
Figure FDA0003719118810000025
新增对象的子树生长算法包括如下步骤:
Step1:Gr={G-Gc},判断条件Gr=G,不满足则转至Step2;否则,转至Step7;
Step2:Kc=(Gc,Mc,Ic),删除初始概念树Tree中的Gr以及其前项支路和子树部分,得到坍缩后的概念树Treec,转至Step3;
Step3:判断条件
Figure FDA0003719118810000026
使得G1={gi|gi∈Gc},f(gj)=f(gi),gj∈Gc,满足则转至Step4;否则,转至Step5;
Step4:删除Treec中r→...→gi或者r→...→G1中的gi和G1以及其前项支路和子树,转至Step5;
Step5:判断条件
Figure FDA0003719118810000031
使得G2={gi∈Gc|gi=par(gj)},gj∈Gc,满足则转至Step6;否则,转至Step8;
Step6:删除Treec中的r→...→gj中的gj及其前项支路和子树,此时的概念树记为Tree″,转至Step8;
Step7:
Figure FDA0003719118810000032
执行Step8;
Step8:算法结束,输出新增对象Δg后能够生长的子树Tree″;
所述概念树更新算法包括如下步骤:
Step1:判断条件
Figure FDA0003719118810000033
满足则转至Step6;否则,转至Step2;
Step2:计算概念树Tree″中的所有概念为
Figure FDA0003719118810000034
Figure FDA0003719118810000035
转至Step3;
Step3:判断条件f(Δg)I B1=B1,满足则转至Step4;否则,转至Step5;
Step4:原概念(A1,B1)所在概念树Tree中的子树删除,在新增对象Δg后生长新概念为({A1 UΔg},B1)的子树,转至Step5;
Step5:判断条件
Figure FDA0003719118810000036
满足则转至Step6;否则,转至Step7;
Step6:原概念(A1,B1)所在概念树Tree中的子树不变,在新增对象Δg后生长新概念为({A1 UΔg},{f(Δg)I B1})的子树,转至Step7;
Step7:判断条件
Figure FDA0003719118810000037
满足则转至Step8;否则,转至Step9;
Step8:原概念(A1,B1)所在概念树Tree中的子树不变,在新增对象Δg后不会生长新的概念为({A1 UΔg},B1)的子树,转至Step9;
Step9:判断条件f(Δg)I B1=f(Δg)I B2=B,满足则转至Step10;否则,转至Step13;
Step10:判断条件#A1>#A2,满足则转至Step11;否则,转至Step12;
Step11:在新增对象的子树中,概念为({A2 UΔg},B)的子树部分被删除,只新增概念为的({A1 UΔg},B)支路部分,转至Step13;
Step12:在新增对象的子树中,概念为({A1 UΔg},B)的子树部分被删除,只新增概念为的({A2 UΔg},B)支路部分,转至Step13;
Step13 Tree′=Tree,转至Step14;
Step14算法结束,输出更新后的概念树Tree′。
2.根据权利要求1所述的一种基于增量式概念树的视频内容结构表示方法,其特征还在于:对形式背景进行对象拓扑表示时:将对象拓扑的邻接矩阵表示法定义为OT=(V,Edge),其中,
V=G (1)
Figure FDA0003719118810000041
在形式背景K=(G,M,I)中,若
Figure FDA0003719118810000042
定义一对算子:
Figure FDA0003719118810000043
Figure FDA0003719118810000044
其中,f(A)是A中所有对象共有的最大属性集合,g(B)是B中所有属性共有的最大对象集合,如果二元组(A,B)满足f(A)=B且g(B)=A,称二元组(A,B)是形式背景K中的一个形式概念,A称为概念(A,B)的外延,B称为概念(A,B)的内涵,用
Figure FDA0003719118810000051
Figure FDA0003719118810000052
表示形式背景K=(G,M,I)的所有概念构成的集合;
Figure FDA0003719118810000053
满足
Figure FDA0003719118810000054
则称集合Gj为对象gi的父对象集合,且
Figure FDA0003719118810000055
均为gi的父对象,表示为gj=Par(gi);同理,称对象gi为对象gj的子对象,表示为gi=Chr(gj)。
3.根据权利要求1所述的一种基于增量式概念树的视频内容结构表示方法,其特征还在于:所述将新增对象分类时分为三类:
(i)若
Figure FDA0003719118810000056
使得f(Δg)=M,则称新对象Δg为全局对象;
(ii)若
Figure FDA0003719118810000057
满足f(g)If(Δg)=f(Δg)≠f(g),则称新对象Δg为伴生对象;在拓扑结构中,表现为对象结点g指向结点Δg的单向边,权重为f(Δg);
(iii)其它类,则称新增对象Δg为顶层对象;其中新增顶层对象的化分分为两种情况:
第一种:f(g)I f(Δg)=f(g),在拓扑结构中表现为对象结点Δg指向结点g的单向边,权重为f(g);
第二种:f(g)I f(Δg)≠f(g)且f(g)I f(Δg)≠f(Δg),即二者为相容关系,在拓扑结构中表现为对象结点Δg和结点g存在双向边,权重为f(g)I f(Δg)。
4.根据权利要求3所述的一种基于增量式概念树的视频内容结构表示方法,其特征还在于:
(i)新增对象Δg后只能够生长对象集合Gc中的对象,Δg的子树中不会存在任何一个对象集合{G-Gc}中的对象;
(ii)新增对象Δg后只能够生长子树r→...→D,对于子树r→...→gi或者r→...→G1则不能够作为Δg的子树生长在Δg之后的位置,其中,对gj∈Gc,若G1={gi|gi∈Gc},f(gj)=f(gi),则D={gj,G1};
(iii)新增对象Δg后能够生长子树r→...→E和子树r→...→F,对于子树r→...→gj则不能够作为Δg的子树生长在Δg之后的位置,其中,对gj∈Gc,若G2={gi∈Gc|gi=par(gj)},令E={gj,G2},F=G2
5.根据权利要求1所述的一种基于增量式概念树的视频内容结构表示方法,其特征还在于:更新概念树时:
设概念树Tree中所有的概念为
Figure FDA0003719118810000061
Figure FDA0003719118810000062
则新增对象Δg后概念树根据f(Δg)I B的不同结果存在三种更新方式,具体表述为:
(i)若f(Δg)I B=B,概念代替更新,即原概念(A,B)所在概念树Tree中的子树删除,在新增对象Δg后生长新概念为({AUΔg},B)的子树;
(ii)若
Figure FDA0003719118810000063
概念增加更新,即原概念(A,B)所在概念树Tree中的子树不变,在新增对象Δg后生长新概念为({AU,Δg},{f(Δg)I B})的子树;
(iii)若
Figure FDA0003719118810000064
概念不更新,即原概念(A,B)所在概念树Tree中的子树不变,在新增对象Δg后不会生长新的子树;
其中,在上述更新方式(i)中存在由新概念代替旧概念的情况:概念树Tree中所有的概念为
Figure FDA0003719118810000065
Figure FDA0003719118810000066
新增对象Δg后,若f(Δg)I B1=f(Δg)I B2=B,如果#A1>#A2,其中#表示集合中的元素个数,则新增概念(A2,B)将被新增概念(A1,B)代替更新,在新增对象的子树中,概念为(A2,B)的子树部分被删除,只新增概念为(A1,B)的支路部分;否则,新增概念(A1,B)将被新增概念(A2,B)代替更新,在新增对象的子树中,概念为(A1,B)的子树部分被删除,只新增概念为(A2,B)的支路部分。
6.根据权利要求1至5任意一项权利要求所述的一种基于增量式概念树的视频内容结构表示方法,其特征还在于:所述新增对象的子树生长算法及其概念树更新算法只针对新增顶层对象和伴生对象时的情况,对于新增全局对象,只需将原概念树Tree的根结点r更新为r′=ΔgUr即可。
CN202010089209.5A 2020-02-12 2020-02-12 一种基于增量式概念树的视频内容结构表示方法 Active CN111339354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089209.5A CN111339354B (zh) 2020-02-12 2020-02-12 一种基于增量式概念树的视频内容结构表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089209.5A CN111339354B (zh) 2020-02-12 2020-02-12 一种基于增量式概念树的视频内容结构表示方法

Publications (2)

Publication Number Publication Date
CN111339354A CN111339354A (zh) 2020-06-26
CN111339354B true CN111339354B (zh) 2022-08-19

Family

ID=71181510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089209.5A Active CN111339354B (zh) 2020-02-12 2020-02-12 一种基于增量式概念树的视频内容结构表示方法

Country Status (1)

Country Link
CN (1) CN111339354B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151852A (zh) * 2005-05-31 2008-03-26 思科技术公司 在无线网状网络中使用的多无线生成树协议
CN102880692A (zh) * 2012-09-19 2013-01-16 上海交通大学 一种面向检索的监控视频语义描述和检测建模方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN104036013A (zh) * 2014-06-25 2014-09-10 燕山大学 基于属性拓扑的博客数据的形式概念计算方法
CN105243081A (zh) * 2015-09-07 2016-01-13 河南大学 一种基于形式概念的文件系统目录结构组织方法
CN105630897A (zh) * 2015-12-18 2016-06-01 武汉大学 一种内容感知的地理视频多层次关联方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151852A (zh) * 2005-05-31 2008-03-26 思科技术公司 在无线网状网络中使用的多无线生成树协议
CN102880692A (zh) * 2012-09-19 2013-01-16 上海交通大学 一种面向检索的监控视频语义描述和检测建模方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN104036013A (zh) * 2014-06-25 2014-09-10 燕山大学 基于属性拓扑的博客数据的形式概念计算方法
CN105243081A (zh) * 2015-09-07 2016-01-13 河南大学 一种基于形式概念的文件系统目录结构组织方法
CN105630897A (zh) * 2015-12-18 2016-06-01 武汉大学 一种内容感知的地理视频多层次关联方法

Also Published As

Publication number Publication date
CN111339354A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111462282B (zh) 一种场景图生成方法
CN113190754B (zh) 一种基于异构信息网络表示学习的推荐方法
CN110677284B (zh) 一种基于元路径的异构网络链路预测的方法
CN102609465B (zh) 基于潜在社群的信息推荐方法
CN108280132B (zh) 建立语义图像分割的个性化知识库的方法及系统
CN112948625B (zh) 一种基于属性异质信息网络嵌入的电影推荐方法
JP2006120056A (ja) データベースシステムおよびその方法
CN112016601A (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
JP3797821B2 (ja) オントロジー構築支援装置
CN116843028A (zh) 多模态知识图谱构建方法、系统、存储介质及电子设备
WO2016006276A1 (ja) インデックス生成装置及びインデックス生成方法
CN111339354B (zh) 一种基于增量式概念树的视频内容结构表示方法
CN110188207B (zh) 知识图谱构建方法及装置、可读存储介质、电子设备
CN115439507A (zh) 基于多层次互增强与相关金字塔的三维视频目标跟踪方法
CN108491628A (zh) 产品设计需求驱动的三维cad装配模型聚类及检索方法
CN112396137B (zh) 一种融合上下文语义的点云语义分割方法
WO2024032717A1 (zh) 智能设备地理信息图谱的构建方法、设备和系统
CN112364245B (zh) 基于异构信息网络嵌入的Top-K电影推荐方法
CN112765490A (zh) 一种基于知识图谱和图卷积网络的信息推荐方法及系统
CN116304336A (zh) 融合知识图谱和图神经网络的课程推荐方法
CN115344729B (zh) 基于用户反馈的遥感影像统筹系统及方法
CN111291193A (zh) 一种知识图谱在零次学习上的运用方法
CN115546465A (zh) 一种用于定位界面上元素位置的方法、介质及电子设备
CN109753579B (zh) 一种基于频繁项目集的图片标注推荐方法
JP4652357B2 (ja) メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant