CN106530319B - 一种基于轨迹有向图的视频对象协同分割方法 - Google Patents
一种基于轨迹有向图的视频对象协同分割方法 Download PDFInfo
- Publication number
- CN106530319B CN106530319B CN201610849175.9A CN201610849175A CN106530319B CN 106530319 B CN106530319 B CN 106530319B CN 201610849175 A CN201610849175 A CN 201610849175A CN 106530319 B CN106530319 B CN 106530319B
- Authority
- CN
- China
- Prior art keywords
- track
- video
- frame
- score
- candidate target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000005764 inhibitory process Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000002401 inhibitory effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于轨迹有向图的视频对象协同分割方法。其具体步骤如下：(1)、输入视频组各个帧序列；(2)、为视频帧产生运动矢量场、初始显著性图和候选对象；(3)、对各个候选对象进行前向后向跟踪，并进行最大化抑制及轨迹分割，形成一组轨迹集合；(4)、构建一个有向有权图，轨迹为图中结点，根据匹配分数建立结点之间的有向边；(5)、将有向有权图转化为无向有权图，利用最大团提取算法提取最大团，计算各个最大团的加权团分数，将加权团分数最大的团对应的轨迹区域作为主要对象区域，进行流行排序算法生成对象级显著性图，最后利用GrabCut得到最终的分割结果；(6)、根据已得到的对象分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象。
Description
技术领域
本发明涉及图像，视频处理技术领域，具体地说是涉及一种基于轨迹有向图的视频对象协同分割方法。
背景技术
随着互联网和多媒体技术的蓬勃发展，人们获取图像的手段日益方便与灵活，如在监控视频，社交网络，新闻报道等领域中，视频数据逐渐增多，视频数据包含更为丰富的信息，在视频数据爆炸性增长的过程中，人们对视频数据智能化处理的需求也日益增长。视频对象分割是一个具有挑战性的领域，旨在视频中提取人们所关注的主要对象的区域，相较于图片分割，视频对象分割利用视频中对象的运动信息，可以更为有效地提取有意义的对象区域，然而对于一些运动复杂的视频，视频对象分割依然较难以准确提取对象，视频协同分割利用多组视频的信息，不仅利用了单个视频内对象的运动信息，同时利用了与其他视频内对象的相似性，因此可以在多个视频内更为准确地提取多类对象。视频对象协同分割可以用于视频检索，视频监控，基于内容的图像/视频缩放，图像/视频编码等领域。
Fu等人在2014年美国电气电子工程师协会计算机视觉和模式识别会议上发表了“基于物体的多类前景视频协分割”一文，该文将各个候选区域作为每帧的各个状态，并设计了一个多状态选择图模型，通过能量函数最小化方法在各个帧内挑选多类对象，该算法要需要多类对象均共同存在于每个视频中，并且无法处理如遮挡现象等对象不存在于某一帧内的情况，限制了算法的应用。
Zhang等人在2014年欧洲计算机视觉国际会议上发表了“基于加权团的视频对象协分割”一文，该文利用候选对象跟踪构成轨迹，将多个视频的所有轨迹相连构成最大团，再使用相似性阈值将共同对象之间边保留，非共同对象的边去除，将加权团分数最大的团作为主要共同对象，该方法的具体步骤如下：
(1)、为每个视频帧生成光流场及若干候选对象区域，并计算各个候选对象的分数；
(2)、为每个候选对象进行前向及后向的跟踪，形成大量轨迹，对轨迹进行最大化抑制，减少轨迹数目，并对最大化抑制后的轨迹进行轨迹分割。
(3)、将各条轨迹两两相连，构成一个无向有权图，各条轨迹为图中的结点，计算轨迹之间的相似性作为边的权值，根据(1)中的候选对象分数计算轨迹的分数作为结点的权值，通过一个人工设定的阈值将图中边的权值小于阈值的边去掉，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为主要对象进行提取。提取后的最大团内的对象区域作为种子点建立GMM模型对每帧进行细化分割，得到最终的分割结果。
(4)、将已提取的最大团从图结构中剔除，重新加权团分数最大的最大团作为主要对象并进行细化分割。
但是上述方法存在的不足是需要人工设定视频间共同对象的相似性，使得算法不够可靠，对相似性阈值的敏感度较高。综上所述，现有的视频对象协同分割方法，不能准确、无约束地提取多个视频内的各个对象，这影响了视频对象协同分割方法的广泛应用。
发明内容
本发明的目的在于针对已有技术中存在的缺陷，提出一种基于轨迹有向图的视频对象协同分割方法，该方法能够在不需要人工设定视频间共同对象的相似性阈值的情况下，更为准确地自动地提取出视频组中出现的多类对象。
为了达到上述目的，本发明采用的技术方案如下：
一种基于轨迹有向图的视频对象协同分割方法，具体步骤如下：
(1)、分别输入原始视频组中个第m个视频序列Vm(m＝1,...,M)，对视频Vm其中的第t帧记为Fm,t(t＝1,...,Nm)；
(2)、利用稠密光流法算法，得到视频帧Fm,t的像素点的运动矢量场，为各个视频帧Fm,t产生初始显著性图ISm,t，利用候选对象生成方法，为各个视频帧Fm,t产生q个候选对象区域，记为xm,t,i(i＝1,...,q)；
(3)、对各个视频帧内的各个候选对象区域xm,t,i分别在整段视频内进行前向以及后向的追踪，并对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合Xk(k＝1,...,K)；
(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(Xk,Xl)为Xk与Xl之间设置一条有向边，方向由Xk指向Xl。
(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OSm,t，利用主要对象区域及对象级显著性图作GrabCut得到最终的细化分割结果。
(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象；
上述步骤(2)中的生成像素点的运动矢量场，初始显著性图及候选对象区域的方法，具体步骤如下：
(2-1)、对于视频帧Fm,t，参照其前一帧Fm,t-1，利用稠密光流场估计算法LDOF，得到视频帧Fm,t中每个像素点相对应于前一帧Fm,t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧Fm,t-1的运动矢量场其中，w和h分别为视频帧的宽度和高度；
(2-2)、为每个视频Vm单独使用基于超像素的时空显著性检测方法，即SP法，获得每帧的初始显著性图ISm,t；
(2-3)、利用候选对象生成算法为每个视频帧Fm,t单独生成q个候选对象区域，q取100；
上述步骤(3)中的为各个视频生成轨迹集合的方法，具体步骤如下：
(3-1)、首先定义各个候选对象的初始对象分数IOS(xm,t,i)，其计算公式为：
其中，p表示像素点，p∈xm,t,i表示候选对象xm,t,i内的像素点，p∈Fm,t表示帧Fm,t内的所有像素点，|xm,t,i|表示候选对象xm,t,i内的像素数目；
(3-2)、为每个候选对象xm,t,i在单个视频Vm内进行前向及后向的轨迹跟踪，向前跟踪至第一帧，向后跟踪至最后一帧，得到每个候选对象xm,t,i所对应的一条轨迹Xm,t,i，以后向跟踪为例，对于第t帧的候选对象xm,t,i向后寻找第t+1帧中的一个最匹配候选对象xm,t+1,j，前后两帧的任意两个候选对象的匹配性记为Ssimi(xm,t,i,xm,t+1,j)，其计算公式为：
其中，hm,t,i及hm,t+1,j分别表示候选对象xm,t,i及xm,t+1,j的RGB颜色直方图，χ2(·)计算颜色直方图之间的卡方距离，warpt,t+1(xm,t+1,j)为将候选对象xm,t+1,j通过运动矢量场映射到第t帧中的区域，|xm,t,i∩warpt+1,t(xm,t+1,j)|为两个区域之间的交集像素数目，|xm,t,i∪warpt+1,t(xm,t+1,j)|为两个区域的并集像素数目；
(3-3)、在单个视频Vm内对所有轨迹进行最大化抑制，定义每条轨迹的初始轨迹分数ITS(Xm,t,i)，其计算公式为：
ITS(Xm,t,i)＝∑x∈Xm,t,i IOS(x)
其中，x表示一个候选对象，x∈Xm,t,i表示属于轨迹Xm,t,i的所有候选对象，从所有轨迹中选择一条初始轨迹分数最高的轨迹，作为参考轨迹XR，并依次计算XR与其他所有轨迹Y的重叠度O(XR,Y)，其计算公式为：
其中，x∈XR表示所有属于参考轨迹XR的候选对象，y∈Y表示所有属于轨迹Y的候选对象，将O(XR,Y)＞0.5的所有轨迹Y从轨迹集合中剔除，从新的轨迹集合中选取一条除X以外的另一条初始轨迹分数最高的轨迹，并重复此步骤多次，直到所有剩余的轨迹都已被作为参考轨迹；
(3-4)、对最大化抑制后的所有轨迹进行轨迹拆分，若轨迹内前后两帧候选对象匹配性符合Ssimi(xm,t,i,xm,t+1,j)＜(u-1.5·σ2)
则将xm,t,i与xm,t+1,j的边断开，使成为两条新的轨迹，其中，u为原轨迹中所有前后两帧候选对象匹配性的平均值，σ2为原轨迹中所有前后两帧候选对象匹配性的方差，最终生成一组轨迹集合Xm,k(m＝1,...,M；k＝1,...,K)；
上述步骤(4)中的构建一个有向有权图的方法，具体步骤如下：
(4-1)、依次为每条轨迹Xm,k生成一组临时协同显著性图定义并初始化定义一组标记图并初始化为任意两条轨迹的相似性定义为Ssimi(Xm,k,Xn,l)，其计算公式为：
Ssimi(Xm,k,Xn,l)＝1-χ2(hm,k,hn,l)
其中，hm,k为轨迹Xm,k的颜色直方图，hn,l为轨迹Xn,l的颜色直方图，为轨迹Xm,k在视频Vn中找到一条最相似轨迹Xn,l，将Xn,l内的候选对象与标记图作交集获得比较区域
并更新标记图：
计算轨迹Xm,k与各帧比较区域的相似性
将赋给相似性图中的对应位置：
随后为轨迹Xm,k在视频Vn中寻找下一条最相似轨迹Xn,l，重复进行上面的步骤，直到视频Vn中的所有轨迹都被寻找过，至所有轨迹都被寻找过后，计算轨迹Xm,k与标记图的相似性：
将赋给相似性图中的对应位置：
最后，将得到的相似性归一化到0到1之间，并与初始显著性图相乘得到临时协同显著性图
(4-2)、构建一个有向有权图G＝(V,E)，为每条轨迹Xm,k计算其他轨迹Xn,l的轨迹分数FTSm,k(Xn,l)，计算公式为：
为每条轨迹Xm,k在各个视频的各帧中寻找轨迹分数FTSm,k(Xn,l)最大的轨迹Xn,l，并在轨迹Xk与Xl之间设置一条有向边，方向由Xk指向Xl，记为e＝(Xm,k,Xn,l)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合；
上述步骤(5)中的主要对象提取的方法，具体步骤如下：
(5-1)、将相互指向对方的两条轨迹之间设定为有边相连，将没有相互指向对方的两个轨迹结点以及没有任意有向边相连的两个轨迹结点之间设定为没有边相连，以此将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，并利用最大团提取算法提取各个最大团；
(5-2)、计算各个最大团的加权团分数W(Ch)，计算公式为：
将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为对象区域。
(5-3)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Oj内的像素点作为查询结点，对各个视频Vm分别做流型排序，生成一组对象级的显著性图OSm,t
(5-4)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Cj内的像素点作为种子点作视频Vm的属于前景的高斯混合模型，对于视频Vm中的各帧Fm,t将(5-3)中得到的对象级的显著性图OSm,t做最大类间方差阈值分割，将得到的背景区域的像素作帧Fm,t的属于背景的高斯混合模型，利用视频Vm的前景高斯混合模型以及视频帧Fm,t的背景高斯混合模型对各帧Fm,t作图分割得到最终的第j类主要对象的细化分割结果。
上述步骤(6)中的多类对象提取的方法，具体步骤如下：
(6-1)、为提取多类对象，对于(5-4)中得到的细化分割结果的区域在初始显著性图ISm,t中置为一个适当的负数，更新得到新的初始显著性图，基于新的初始显著性图重新利用(3-1)中的公式计算候选对象的分数，并重复步骤(5-2)～(6-1)，依次得到多类对象的分割结果。
本发明的基于轨迹有向图的视频对象协同分割方法与现有的技术相比，具有如下优点：
该发明基于轨迹有向图的进行视频对象协同分割，能够不需要定义视频间对象的相似性程度，更为自动、更准确、完整地检测视频中的显著对象。
附图说明
图1是本发明的基于轨迹有向图的进行视频对象协同分割的流程图。
图2是本发明步骤(1)输入视频组中的两个视频中各抽取的一帧原始图像。
图3(a)是本发明步骤(2-2)中获得的初始显著性图。
图3(b)是本发明步骤(2-3)中获得的其中若干个候选对象区域。
图4是本发明步骤(3)中得到的一段连续3帧的轨迹结果。
图5(a)是本发明步骤(4)中得到的相似性图。
图5(b)是本发明步骤(4)中得到的临时协同显著性图。
图6(a)是本发明步骤(5)中得到的对象级显著性图。
图6(b)是本发明步骤(5)中得到的第一类对象的细化分割结果。
图7(a)是本发明步骤(6)中更新后的初始显著性图。
图7(b)是本发明步骤(6)得到的第二类对象的细化分割结果。
具体实施方式
下面结合说明书附图对本发明的实施例作进一步详细说明。
本发明进行的仿真实验是在CPU为3.4GHz、内存为16G的PC测试平台上编程实现。
如图1所示，本发明的基于轨迹有向图的视频对象协同分割方法，其具体步骤如下：
(1)、分别输入原始视频组中个第m个视频序列Vm(m＝1,...,M)，对视频Vm其中的第t帧记为Fm,t(t＝1,...,Nm)，如图2所示分别为两个视频的首帧；
(2)、利用稠密光流法算法，得到视频帧Fm,t的像素点的运动矢量场，为各个视频帧Fm,t产生初始显著性图ISm,t，利用候选对象生成方法，为各个视频帧Fm,t产生q个候选对象区域，记为xm,t,i(i＝1,...,q)；
(2-1)、对于视频帧Fm,t，参照其前一帧Fm,t-1，利用稠密光流场估计算法LDOF，得到视频帧Fm,t中每个像素点相对应于前一帧Fm,t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧Fm,t-1的运动矢量场其中，w和h分别为视频帧的宽度和高度；
(2-2)、为每个视频Vm单独使用基于超像素的时空显著性检测方法，即SP法，获得每帧的初始显著性图ISm,t，如图3(a)所示；
(2-3)、利用候选对象生成算法为每个视频帧Fm,t单独生成q个候选对象区域，q取100，如图3(b)所示，为其中若干个候选对象区域；
(3)、对各个视频帧内的各个候选对象区域xm,t,i分别在整段视频内进行前向以及后向的追踪，并对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合Xk(k＝1,...,K)；
(3-1)首先定义各个候选对象的初始对象分数IOS(xm,t,i)，其计算公式为：
其中，p表示像素点，p∈xm,t,i表示候选对象xm,t,i内的像素点，p∈Fm,t表示帧Fm,t内的所有像素点，|xm,t,i|表示候选对象xm,t,i内的像素数目，每个候选对象xm,t,i在单个视频Vm内进行前向及后向的轨迹跟踪，向前跟踪至第一帧，向后跟踪至最后一帧，得到每个候选对象xm,t,i所对应的一条轨迹Xm,t,i，以后向跟踪为例，对于第t帧的候选对象xm,t,i向后寻找第t+1帧中的一个最匹配候选对象xm,t+1,j，前后两帧的任意两个候选对象的匹配性记为Ssimi(xm,t,i,xm,t+1,j)，其计算公式为：
其中，hm,t,i及hm,t+1,j分别表示候选对象xm,t,i及xm,t+1,j的RGB颜色直方图，χ2(·)计算颜色直方图之间的卡方距离，warpt,t+1(xm,t+1,j)为将候选对象xm,t+1,j通过运动矢量场映射到第t帧中的区域，|xm,t,i∩warpt+1,t(xm,t+1,j)|为两个区域之间的交集像素数目，|xm,t,i∪warpt+1,t(xm,t+1,j)|为两个区域的并集像素数目；
(3-3)、在单个视频Vm内对所有轨迹进行最大化抑制，首先定义每条轨迹的初始轨迹分数ITS(Xm,t,i)，其计算公式为：
其中，x表示一个候选对象，x∈Xm,t,i表示属于轨迹Xm,t,i的所有候选对象，从所有轨迹中选择一条初始轨迹分数最高的轨迹，作为参考轨迹XR，并依次计算XR与其他所有轨迹Y的重叠度O(XR,Y)，其计算公式为：
其中，x∈XR表示所有属于参考轨迹XR的候选对象，y∈Y表示所有属于轨迹Y的候选对象，将O(XR,Y)＞0.5的所有轨迹Y从轨迹集合中剔除，从新的轨迹集合中选取一条除X以外的另一条初始轨迹分数最高的轨迹，并重复此步骤多次，直到所有剩余的轨迹都已被作为参考轨迹；
(3-4)、对最大化抑制后的所有轨迹进行轨迹拆分，若轨迹内前后两帧候选对象匹配性符合Ssimi(xm,t,i,xm,t+1,j)＜(u-1.5·σ2)
则将xm,t,i与xm,t+1,j的边断开，使成为两条新的轨迹，其中，u为原轨迹中所有前后两帧候选对象匹配性的平均值，σ2为原轨迹中所有前后两帧候选对象匹配性的方差，最终生成一组轨迹集合Xm,k(m＝1,...,M；k＝1,...,K)，如图4所示为一段轨迹区域；
(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(Xk,Xl)为Xk与Xl之间的一条有向边，方向由Xk指向Xl。
(4-1)、依次为每条轨迹Xm,k生成一组临时协同显著性图定义并初始化定义一组标记图并初始化为任意两条轨迹的相似性定义为Ssimi(Xm,k,Xn,l)，其计算公式为：
Ssimi(Xm,k,Xn,l)＝1-χ2(hm,k,hn,l)
其中，hm,k为轨迹Xm,k的颜色直方图，hn,l为轨迹Xn,l的颜色直方图，为轨迹Xm,k在视频Vn中找到一条最相似轨迹Xn,l，将Xn,l内的候选对象与标记图作交集获得比较区域
并更新标记图：
计算轨迹Xm,k与各帧比较区域的相似性
将赋给临时协同显著性图中的对应位置：
随后为轨迹Xm,k在视频Vn中寻找下一条最相似轨迹Xn,l，重复进行上面的步骤，直到视频Vn中的所有轨迹都被寻找过，至所有轨迹都被寻找过后，计算轨迹Xm,k与标记图的相似性：
将赋给临时协同显著性图中的对应位置：
最后，将得到的相似性图归一化到0到1之间，图4中轨迹的相似性图如图5(a)所示，将相似性图与初始显著性图相乘得到临时协同显著性图如图5(b)所示：
(4-2)、构建一个有向有权图G＝(V,E)，为每条轨迹Xm,k计算其他轨迹Xn,l的轨迹分数FTSm,k(Xn,l)，计算公式为：
为每条轨迹Xm,k在各个视频的各帧中寻找轨迹分数FTSm,k(Xn,l)最大的轨迹Xn,l，并在轨迹Xk与Xl之间设置一条有向边，方向由Xk指向Xl，记为e＝(Xm,k,Xn,l)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，图结构展示如图5所示；
(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OSm,t，利用主要对象区域及对象级显著性图作Grabcut得到最终的细化分割结果。
(5-1)、将相互指向对方的两条轨迹之间设定为有边相连，将没有相互指向对方的两个轨迹结点以及没有任意有向边相连的两个轨迹结点之间设定为没有边相连，以此将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，并利用最大团提取算法提取各个最大团；
(5-2)、计算各个最大团的加权团分数W(Ch)，计算公式为：
将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为对象区域。
(5-3)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Oj内的像素点作为查询结点，对各个视频Vm分别做流型排序，生成一组对象级的显著性图OSm,t，如图6(a)所示；
(5-4)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Cj内的像素点作为种子点作视频Vm的属于前景的高斯混合模型，对于视频Vm中的各帧Fm,t将(5-3)中得到的对象级的显著性图OSm,t做最大类间方差阈值分割，将得到的背景区域的像素作帧Fm,t的属于背景的高斯混合模型，利用视频Vm的前景高斯混合模型以及视频帧Fm,t的背景高斯混合模型对各帧Fm,t作图分割得到最终的第j类主要对象的细化分割结果，如图6(b)所示。
(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，重新计算最大团分数，得到其他类的对象；
(6-1)、为提取多类对象，对于(5-4)中得到的细化分割结果的区域在初始显著性图ISm,t中置为一个适当的负数，更新得到新的初始显著性图，如图7(a)所示，基于新的初始显著性图重新利用(3-1)中的公式计算候选对象的分数，并重复步骤(5-2)～(6-1)，依次得到多类对象的分割结果，如图7(b)所示。
从上述仿真实验结果可以看出，本发明基于轨迹有向图的进行视频对象协同分割的方法，不需要定义视频间对象的相似性程度，更为自动、更准确、完整地检测视频中的显著对象。
Claims (6)
1.一种基于轨迹有向图的视频对象协同分割方法，其特征在于，具体步骤如下：
(1)、分别输入原始视频组中个第m个视频序列Vm，其中，m＝1,...,M，对视频Vm其中的第t帧记为Fm,t(t＝1,...,Nm)；
(2)、利用稠密光流法算法，得到视频帧Fm,t的像素点的运动矢量场，为各个视频帧Fm,t产生初始显著性图ISm,t，利用候选对象生成方法，为各个视频帧Fm,t产生q个候选对象区域，记为xm,t,i(i＝1,...,q)；
(3)、利用显著性图ISm,t计算各个候选对象的初始对象分数IOS(xm,t,i)，对各个视频帧内的各个候选对象区域xm,t,i分别在整段视频Vm内进行前向以及后向的追踪，产生对应的轨迹Xm,t,i，对产生的轨迹计算初始轨迹分数ITS(Xm,t,i)，并通过初始轨迹分数对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合Xm,k，其中，m＝1,...M，k＝1,...Km；
(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(Xk,Xl)为Xk与Xl之间设置一条有向边，方向由Xk指向Xl；生成该有向有权图的做法为，为每条轨迹Xm,k生成一组临时协同显著性图其中，n＝1,...,M，并基于临时显著性图，为每条轨迹Xm,k计算其他轨迹Xn,l的轨迹分数FTSm,k(Xn,l)，然后为每条轨迹Xm,k在各个视频的各帧中寻找轨迹分数FTSm,k(Xn,l)最大的轨迹Xn,l，并在轨迹Xk与Xl之间设置一条有向边，方向由Xk指向Xl；
(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OSm,t，利用主要对象区域及对象级显著性图作GrabCut得到最终的细化分割结果；
(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象。
2.根据权利要求1所述的基于轨迹有向图的视频对象协同分割方法，其特征在于，所述步骤(2)中的生成像素点的运动矢量场，初始显著性图及候选对象区域的方法，具体步骤如下：
(2-1)、对于视频帧Fm,t，参照其前一帧Fm,t-1，利用稠密光流场估计算法LDOF，得到视频帧Fm,t中每个像素点相对应于前一帧Fm,t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧Fm,t的运动矢量场其中，w和h分别为视频帧的宽度和高度；
(2-2)、为每个视频Vm单独使用基于超像素的时空显著性检测方法，即SP法，获得每帧的初始显著性图ISm,t；
(2-3)、利用候选对象生成算法为每个视频帧Fm,t单独生成q个候选对象区域，q取100。
3.根据权利要求2所述的基于轨迹有向图的视频对象协同分割方法，其特征在于，所述步骤(3)中的为各个视频生成轨迹集合的方法，具体步骤如下：
(3-1)、首先定义各个候选对象的初始对象分数IOS(xm,t,i)，其计算公式为：
其中，p表示像素点，p∈xm,t,i表示候选对象xm,t,i内的像素点，p∈Fm,t表示帧Fm,t内的所有像素点，|xm,t,i|表示候选对象xm,t,i内的像素数目；
(3-2)、为每个候选对象xm,t,i在单个视频Vm内进行前向及后向的轨迹跟踪，向前跟踪至第一帧，向后跟踪至最后一帧，得到每个候选对象xm,t,i所对应的一条轨迹Xm,t,i，以后向跟踪为例，对于第t帧的候选对象xm,t,i向后寻找第t+1帧中的一个最匹配候选对象xm,t+1,j，前后两帧的任意两个候选对象的匹配性记为Ssimi(xm,t,i,xm,t+1,j)，其计算公式为：
其中，hm,t,i及hm,t+1,j分别表示候选对象xm,t,i及xm,t+1,j的RGB颜色直方图，χ2(·)计算颜色直方图之间的卡方距离，warpt,t+1(xm,t+1,j)为将候选对象xm,t+1,j通过运动矢量场映射到第t帧中的区域，|xm,t,i∩warpt+1,t(xm,t+1,j)|为两个区域之间的交集像素数目，|xm,t,i∪warpt+1,t(xm,t+1,j)|为两个区域的并集像素数目；
(3-3)、在单个视频Vm内对所有轨迹进行最大化抑制，定义每条轨迹的初始轨迹分数ITS(Xm,t,i)，其计算公式为：
其中，x表示一个候选对象，x∈Xm,t,i表示属于轨迹Xm,t,i的所有候选对象，从所有轨迹中选择一条初始轨迹分数最高的轨迹，作为参考轨迹XR，并依次计算XR与其他所有轨迹Y的重叠度O(XR,Y),其计算公式为：
其中，x∈XR表示所有属于参考轨迹XR的候选对象，y∈Y表示所有属于轨迹Y的候选对象，将O(XR,Y)＞0.5的所有轨迹Y从轨迹集合中剔除，从新的轨迹集合中选取一条除X以外的另一条初始轨迹分数最高的轨迹，并重复此步骤多次，直到所有剩余的轨迹都已被作为参考轨迹；
(3-4)、对最大化抑制后的所有轨迹进行轨迹拆分，若轨迹内前后两帧候选对象匹配性符合Ssimi(xm,t,i,xm,t+1,j)＜(u-1.5·σ2)
则将xm,t,i与xm,t+1,j的边断开，使成为两条新的轨迹，其中，u为原轨迹中所有前后两帧候选对象匹配性的平均值，σ2为原轨迹中所有前后两帧候选对象匹配性的方差，最终生成一组轨迹集合Xm,k(m＝1,...,M；k＝1,...,K)。
4.根据权利要求1所述的基于轨迹有向图的视频对象协同分割方法，其特征在于，所述步骤(4)中的构建一个有向有权图的方法，具体步骤如下：
(4-1)、依次为每条轨迹Xm,k生成一组临时协同显著性图定义并初始化定义一组标记图并初始化为任意两条轨迹的相似性定义为Ssimi(Xm,k,Xn,l)，其计算公式为：
Ssimi(Xm,k,Xn,l)＝1-χ2(hm,k,hn,l)
其中，hm,k为轨迹Xm,k的颜色直方图，hn,l为轨迹Xn,l的颜色直方图，为轨迹Xm,k在视频Vn中找到一条最相似轨迹Xn,l，将Xn,l内的候选对象与标记图作交集获得比较区域
并更新标记图：
计算轨迹Xm,k与各帧比较区域的相似性
将赋给相似性图中的对应位置：
随后为轨迹Xm,k在视频Vn中寻找下一条最相似轨迹Xn,l，重复进行上面的步骤，直到视频Vn中的所有轨迹都被寻找过，至所有轨迹都被寻找过后，计算轨迹Xm,k与标记图的相似性：
将赋给相似性图中的对应位置：
最后，将得到的相似性归一化到0到1之间，并与初始显著性图相乘得到临时协同显著性图
(4-2)、构建一个有向有权图G＝(V,E)，为每条轨迹Xm,k计算其他轨迹Xn,l的轨迹分数FTSm,k(Xn,l)，计算公式为：
为每条轨迹Xm,k在各个视频的各帧中寻找轨迹分数FTSm,k(Xn,l)最大的轨迹Xn,l，并在轨迹Xk与Xl之间设置一条有向边，方向由Xk指向Xl，记为e＝(Xm,k,Xn,l)，其中，V表示视频组内所有轨迹Xk(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合；p表示像素点，p∈xm,t,i表示候选对象xm,t,i内的像素点，p∈Fm,t表示帧Fm,t内的所有像素点，|xm,t,i|表示候选对象xm,t,i内的像素数目。
5.根据权利要求3所述的基于轨迹有向图的视频对象协同分割方法，其特征在于，所述步骤(5)中的主要对象提取的方法，具体步骤如下：
(5-1)、将相互指向对方的两条轨迹之间设定为有边相连，将没有相互指向对方的两个轨迹结点以及没有任意有向边相连的两个轨迹结点之间设定为没有边相连，以此将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，并利用最大团提取算法提取各个最大团；
(5-2)、计算各个最大团的加权团分数W(Ch)，计算公式为：
将加权团分数最大的最大团作为第j类主要对象Oj，对应团内的轨迹的各个区域作为对象区域；
(5-3)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Oj内的像素点作为查询结点，对各个视频Vm分别做流型排序，生成一组对象级的显著性图OSm,t；
(5-4)、对于各个视频Vm将(5-2)中提取出的属于第j类主要对象内的候选对象区域xm,t,i∈Cj内的像素点作为种子点作视频Vm的属于前景的高斯混合模型，对于视频Vm中的各帧Fm,t将(5-3)中得到的对象级的显著性图OSm,t做最大类间方差阈值分割，将得到的背景区域的像素作帧Fm,t的属于背景的高斯混合模型，利用视频Vm的前景高斯混合模型以及视频帧Fm,t的背景高斯混合模型对各帧Fm,t作图分割得到最终的第j类主要对象的细化分割结果。
6.根据权利要求5所述的基于轨迹有向图的视频对象协同分割方法，其特征在于，所述步骤(6)中的多类对象提取的方法，具体步骤如下：
(6-1)、为提取多类对象，对于步骤(5-4)中得到的细化分割结果的区域在初始显著性图ISm,t中置为一个适当的负数，更新得到新的初始显著性图，基于新的初始显著性图重新利用步骤(3-1)中的公式计算候选对象的分数，并重复步骤(5-2)～(5-4)及步骤(6-1)，依次得到多类对象的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610849175.9A CN106530319B (zh) | 2016-09-24 | 2016-09-24 | 一种基于轨迹有向图的视频对象协同分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610849175.9A CN106530319B (zh) | 2016-09-24 | 2016-09-24 | 一种基于轨迹有向图的视频对象协同分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106530319A CN106530319A (zh) | 2017-03-22 |
| CN106530319B true CN106530319B (zh) | 2019-10-11 |
Family
ID=58344605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610849175.9A Expired - Fee Related CN106530319B (zh) | 2016-09-24 | 2016-09-24 | 一种基于轨迹有向图的视频对象协同分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106530319B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952278A (zh) * | 2017-04-05 | 2017-07-14 | 深圳市唯特视科技有限公司 | 一种基于超像素的动态户外环境中的自动分割方法 |
| CN108595496B (zh) * | 2018-03-16 | 2021-08-27 | 中国地质大学（武汉） | 一种OpenStreetMap与土地利用数据的类别映射方法 |
| CN109191485B (zh) * | 2018-08-29 | 2020-05-22 | 西安交通大学 | 一种基于多层超图模型的多视频目标协同分割方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9208385B2 (en) * | 2013-07-23 | 2015-12-08 | TCL Research America Inc. | System and method for moving object detection and processing |
| CN105224914A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 一种基于图的无约束视频中显著物体检测方法 |
-
2016
- 2016-09-24 CN CN201610849175.9A patent/CN106530319B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9208385B2 (en) * | 2013-07-23 | 2015-12-08 | TCL Research America Inc. | System and method for moving object detection and processing |
| CN105224914A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 一种基于图的无约束视频中显著物体检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Video Object Co-Segmentation by Regulated Maximum Weight Cliques;Dong Zhang et al.;《European Conference on Computer Vision》;20141231;第1-16页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106530319A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Enhanced object detection with deep convolutional neural networks for advanced driving assistance | |
| CN105913456B (zh) | 基于区域分割的视频显著性检测方法 | |
| Arbelle et al. | Microscopy cell segmentation via adversarial neural networks | |
| Idrees et al. | Tracking in dense crowds using prominence and neighborhood motion concurrence | |
| US11494938B2 (en) | Multi-person pose estimation using skeleton prediction | |
| Grcic et al. | Dense anomaly detection by robust learning on synthetic negative data | |
| CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
| EP2930690B1 (en) | Apparatus and method for analyzing a trajectory | |
| CN109389086A (zh) | 检测无人机影像目标的方法和系统 | |
| Lian et al. | Spatial–temporal consistent labeling of tracked pedestrians across non-overlapping camera views | |
| CN106530319B (zh) | 一种基于轨迹有向图的视频对象协同分割方法 | |
| CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
| CN106228109A (zh) | 一种基于骨骼运动轨迹的动作识别方法 | |
| CN110956158A (zh) | 一种基于教师学生学习框架的遮挡行人再标识方法 | |
| Fu et al. | Learning confidence measures by multi-modal convolutional neural networks | |
| CN104751111A (zh) | 识别视频中人体行为的方法和系统 | |
| CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 | |
| CN104866853A (zh) | 一种足球比赛视频中的多运动员的行为特征提取方法 | |
| CN114973305B (zh) | 一种针对拥挤人群的精确人体解析方法 | |
| Zhang et al. | Boosting transferability of physical attack against detectors by redistributing separable attention | |
| Cygert et al. | Closer look at the uncertainty estimation in semantic segmentation under distributional shift | |
| Zhao et al. | Saliency-guided video classification via adaptively weighted learning | |
| Zhu et al. | An adaptive post-processing network with the global-local aggregation for semantic segmentation | |
| CN104331700B (zh) | 基于轨迹能量扩散图的组行为识别方法 | |
| CN106846321A (zh) | 一种基于贝叶斯概率与神经网络的图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191011 |