CN110599518A - 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 - Google Patents

一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 Download PDF

Info

Publication number
CN110599518A
CN110599518A CN201910752113.XA CN201910752113A CN110599518A CN 110599518 A CN110599518 A CN 110599518A CN 201910752113 A CN201910752113 A CN 201910752113A CN 110599518 A CN110599518 A CN 110599518A
Authority
CN
China
Prior art keywords
target
block
ith
visual saliency
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752113.XA
Other languages
English (en)
Other versions
CN110599518B (zh
Inventor
胡栋
邱伟平
邱英灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910752113.XA priority Critical patent/CN110599518B/zh
Publication of CN110599518A publication Critical patent/CN110599518A/zh
Application granted granted Critical
Publication of CN110599518B publication Critical patent/CN110599518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标跟踪的技术领域,具体涉及一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,在基于视觉显著度的目标跟踪框架中,采用SLIC超像素分割算法来生成目标图像的超像素区域,并确定各个超像素区域中的最大矩形分块,引入条件数,通过平滑度和陡度用来确定分块的模糊程度,实现目标分块的选择性修改,并对分块使用中心关联拓扑模型来进行目标描述,有效的减少了用于特征描述的像素点个数,在目标外观发生运动模糊更好地分离前景与背景,提高了目标跟踪的准确率与实时性。

Description

一种基于视觉显著度的超像素分割与条件数分块的目标跟踪 方法
技术领域
本发明属于目标跟踪的技术领域,具体涉及一种基于视觉显著度的超像素分割与条 件数分块的跟踪方法。
背景技术
人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力,通过在计 算机视觉任务中引入这种视觉注意机制,即视觉显著度(Visual Saliency)。基于视觉显著 度的目标跟踪系统能够很好解决跟踪场景下,如何快速定位目标所有可能的样本位置, 从而有效地降低目标样本区域的选择时间,相对于传统的样本选择,在样本选择时花费 的时间较少,同时也可以有效地解决目标跟踪过程中的目标完全遮挡问题。但后期对样本处理时,需要对样本内的所有像素点进行特征描述,这就导致了跟踪系统的算法复杂 性比较高,很难实现实时跟踪;另外,基于视觉显著度的目标跟踪系统在发生运动模糊 时并不鲁棒,在大部分的视频目标跟踪算法中通常假定跟踪的目标是清晰的,或者模糊 程度比较低,这就导致当跟踪目标发生较为严重模糊时,跟踪算法会发生严重的跟踪错 误。如何降低跟踪算法的复杂性,以及跟踪过程中的目标图像模糊是一个急需解决的问 题。
发明内容
为解决现有技术中跟踪算法的复杂程度高,在跟踪过程中目标图像模糊而导致跟踪 错误的问题,本发明提出了一种基于视觉显著度的超像素分割与条件数分块的跟踪方法。
本发明所采用的技术方案是:一种基于视觉显著度的超像素分割与条件数分块的跟 踪方法,包括以下步骤:
步骤1:读入视频流,获取当前帧图像;
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,将视觉显著值大于最小视觉显著度阈值的像素点作为可能的目标图像位置中心,根据可能的目标图像位置中心提取目标样本区域;
logSZ=-log P(F,Il,Ig)+log P(F,Il,Ig|C=1)+log P(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
步骤3:对目标样本区域采用SLIC超像素分割算法进行区域划分,得到若干超像素块,每个所述超像素块均具有多个矩形区域;
步骤4:选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:判断目标分块的模糊度,对模糊的目标分块进行修改;
步骤6:对所有的目标分块进行结构关联,得到目标样本;
步骤7:对目标样本进行梯度方向直方图特征提取,将提取的特征作为观测模型,为下一步的分类作出特征采样;
步骤8:采用朴素贝叶斯分类器对降维后的正负目标样本特征进行分类,分类器分数最大的位置为当前帧目标位置L;
步骤9:在目标位置L及其周围提取特征,更新至外观模型;
步骤10:判断当前帧是否为结束帧,若是,结束当前序列跟踪任务,否则读入下帧图像并跳回步骤2。
进一步的,所述最小视觉显著度阈值为需跟踪的目标图像内所有像素点的视觉显著 值的最小值。
进一步的,所述步骤4具体为:通过条件数Ki最小的像素点位置来确定的需要用于构建外观模型的矩形区域,条件数Ki由式(3)计算得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,条件数Ki越小对应图像的像素点越稳定,矩阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量;
若条件数Ki最小的像素点落在超像素的矩形区域内,则该矩形区域用于构建目标的 外观模型,目标分块的尺度大小与该矩形区域对应的超像素区域中最大的矩形区域大小 相同;若条件数Ki最小的像素点没有位于现有的分块内,则删除该像素点,并且舍弃该条件数点。
进一步的,所述步骤5中目标分块的模糊度通过判断目标分块的局部模式是否满足 平滑度要求得到;
判断目标分块的局部模式是否满足平滑度要求,具体为:设置平滑度阈值θsm,若目标分块的平滑度不小于平滑度阈值θsm时,代表该目标分块满足平滑度要求,具有良 好的清晰度,不需要进行修改;否则,代表该目标分块发生了模糊,需要对该目标分块 进行修改;
目标分块的平滑度通过计算第i个目标分块的分块局部模式的位置方差得到,具体 计算公式如下:
其中,O(·)为第i个目标分块的局部模式,为第i个目标分块的中心点的位置坐标,N为第i个目标分块中的N个坐标点。
进一步的,所述步骤5中目标分块的模糊度还可以通过判断目标分块的局部模式是 否满足陡峭度要求得到;
判断目标分块的局部模式是否满足陡峭度要求,具体为:设置陡峭度阈值θst,若分块的陡峭度不小于陡峭度阈值θst,代表该目标分块的局部模式是陡峭的,具有良好的清 晰度,不需要进行修改,否则,代表该目标分块发生了模糊,需要进行修改;
目标分块的陡峭度,通过N个目标分块位置坐标和局部模式之间的平均距离来测量 陡度:
其中,O(·)为第i个目标分块的局部模式,为第i个目标分块的中心点的位置坐标,(x,y)为目标位置的中心点坐标。
进一步的,所述步骤5中的对发生模糊的分块进行修改,具体为:
通过平滑度和陡峭度判断发生模糊的分块是否满足修改条件,若满足,则使用上一 帧没有发生模糊的图像帧中的第i个分块来代替需要修改的第i个分块;否则删除需要修改的第i分块,并删除上一帧没有发生模糊的图像帧中的第i个分块;
所述修改条件包括修改条件一和修改条件二中的任意一个;
所述修改条件一为:所需修改的分块与背景具有区分度,具体由下式进行确定:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ 为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成, BM由背景局部分块的HSV直方图生成,θc1为分块与背景区分度阈值,大于这个阈值 说明所需修改的分块与背景具有区分度,反之,所需修改的分块与背景没有区分度
所述修改条件二包括修改的分块与最相邻的分块的间隔满足分块距离阈值,具体表 示如下:
其中j≠i,为需要修改的第i个分块,为需要修改的第j个分块,θc2为分块 距离的阈值。
进一步的,所述步骤6中,对所有的目标分块进行结构关联,得到目标样本,具体为对目标分块使用中心关联拓扑模型来进行目标描述,得到目标样本;所述中心关联拓 扑模型表示为:其中,Xt为t时刻目标分块的状态,Xt c为 目标中心点的位置坐标,为第i个局部块的中心点的位置坐标,表示目 标中心点的位置坐标和第i个局部块的中心点的位置坐标的相对位置,m为分块的总数。
进一步的,所述步骤8中的朴素贝叶斯分类器,定义为:
其中,f=(f1,f2,…,fn)为当前帧图像中低维特征,y的取值为0和1,其中1表示 视频序列中目标的正样本,0表示视频序列中的负样本。
有益效果:本发明能有效地降低目标样本区域的选择时间,提高了目标跟踪系统的 处理效率,也可以有效地解决目标跟踪过程中的目标完全遮挡问题。
附图说明
图1基本原理示意图;
图2 Diving序列初始帧与SLIC超像素分割对比图;
图3 Diving序列目标区域条件数分布与选取的目标分块;
图4分块关联模型图;
图5本发明方法与Struck,SCM,TLD,LSHT算法对模糊图像的处理对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合具体实施方式,进一步阐明本发明。
本发明提出的一种基于超像素分割和条件数分块的目标跟踪,其基本思想是:在基 于视觉显著度的目标跟踪框架中,采用SLIC(Simple Linear Iterative Clustering)超像素分 割算法来生成目标图像的超像素区域,并确定各个超像素区域中的最大矩形分块,通 过平滑度和陡度用来确定分块的模糊程度,实现目标分块的选择性修改,并对分块使用 中心关联拓扑模型来进行目标描述,有效的减少用于特征描述的像素点个数,在目标外 观发生运动模糊时更好地分离前景与背景,提高目标跟踪的准确率与实时性。
实施例:
以序列Diving为例,对本发明的具体实施结合附图说明作进一步的详细描述,具体 包括以下步骤:
步骤1:对初始帧图像进行初始化,具体步骤如下:
(a)根据视频序列中标记好的目标图像,通过式(1)计算出目标图像内所有像素点的视觉显著值,把那个最小的视觉显著值当做是最小视觉显著度阈值θvs
logSZ=-log P(F,Il,Ig)+log P(F,Il,Ig|C=1)+log P(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
(b)对目标图像使用SLIC(Simple Linear Iterative Clustering)超像素分割算法进行 分割,充分利用目标样本的结构信息,对于包含N个像素点的彩色图像,产生同样大小 的k个超像素区域,超像素区域的间距满足SLIC超像素分割算法的聚类选择3×3的邻域内梯度最小点,并将其设定为初始种子中心点C=[li,ai,bi,xi,yi]T,其中li是 中心点Ci的L颜色分量值,ai是中心点Ci的A颜色分量值,bi是中心点Ci的B颜色分 量值,点Ci在视频图像中的位置为坐标(xi,yi)。分割后的所有超像素块包含在集合Xt, 假设分割后的超像素块有M个区域,第m个超像素块的最大矩形区域为最大矩 形区域中所有的像素点都包含在集合SLIC超像素分割算 法在计算超像素邻域与聚类中心的距离是通过下式计算:
式中,参数m为SLIC分割后图像区域的紧凑程度,m的大小范围在1到20之间,本实施例中m的 值设置为10,在视频图像中将具有像素点的类中心指定好后,形成超像素的像素集合会 生成一个新类中点。
残差的计算公式为E=|C′i-Ci|,用C′i不断的替代Ci并重新开始迭代过程,并给图像中的所有像素再次分配一个类中心点,重复迭代过程,直到残差E小于预先设置的阈 值σ。超像素分割后的图像如图2中的(b)所示。
(c)对于初始帧分割后超像素块的矩形区域是否需要用于构建外观模型,通过条件 数Ki最小的像素点位置来确定的,所述条件数Ki根据式(3)得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,σmax(H)与 σmin(H)的通过除法运算得到的条件数Ki,条件数Ki越小对应图像的像素点越稳定,矩 阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量。
如果条件数Ki落在超像素的矩形区域内,则该矩形区域用于构建目标的外观模型, 所选分块的尺度大小与超像素区域最大矩形相同,后续的分块选择同样通过条件数Ki最 小值的像素来判断,如果该像素点没有位于现有的分块内,则删除该像素点,并舍弃该条件数点。
(d)对所有的目标分块进行结构关联,t时刻目标的状态用Xt来表示,Xt可以定义为:其中Xt c为目标中心点的位置坐标,为第i 个局部块的中心点的位置坐标,表示目标中心点的位置坐标和第i个局部块的中心点 的位置坐标的相对位置,m为分块的总数,基于这种相对位置的结构关联模型图,如图 4,图像区域内部目标局部分块与目标图像区域的中心位置存在关联,各个局部分块之 间没有任何联系,依旧相互独立,得到结构关联目标样本后,对样本进行梯度方向直方 图特征提取。
(e)对初始帧中结构关联后的分块用梯度直方图(HOG)特征进行特征提取,并将提取 的特征作为观测模型,这个观测模型是用来分类的时候用这些特征来判别正负样本。
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,若当前帧图像中存在视觉显著值超过最小视觉显著度阈值θvs,则说明当前帧图像中存在注视区域,假定 大于最小视觉显著度阈值θvs的显著像素点个数为N,将N个显著像素点按视觉显著值从 大到小将其记录为Ci=(xi,yi),i∈[0,N],并将这些点作为可能的目标位置中心;然后 根据这些位置中心点提取目标样本区域。否则,结束这一帧搜索下一帧图像。
步骤3:在得出目标样本区域后,参考上述步骤(b)对目标样本区域采用SLIC超 像素分割算法进行区域划分,得到若干超像素块,每个超像素块均具有多个矩形区域;
步骤4:参考上述步骤(c)选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:在目标跟踪的过程中,某些目标分块会由于运动模糊导致图像质量变差,通过设置两个阈值:平滑度阈值θsm和陡峭度阈值θst。当Dsm≥θsm时,代表该分块的局 部模式是平滑的,当Dst≥θst时,代表该分块的局部模式是陡峭的,这两种情况只要满 足其一,就代表当前目标分块具有良好的清晰度,不需要对分块进行修改。如果Dsm≤θsm, 并且Dst≤θst说明该分块发生了模糊,需要进行修改。若当前目标分块具有良好的清晰 度,则执行步骤7,否则,执行步骤6。具体地:
分块模糊度的判断,通过计算第i个分块的分块局部模式的位置方差来得到平滑度:
其中,O(·)为N个样本中第i个分块的局部模式,为第i个分块的中心点的位置坐标。
通过N个分块样本位置坐标和局部模式之间的平均距离来测量陡峭度:
其中,O(·)为N个样本中第i个分块的局部模式,为第i个分块的中心点的位 置坐标,(x,y)为样本目标位置的中心点坐标。
步骤6:对于通过平滑度和陡度判断为需要修改的分块,首先需要修改的分块与目标很接近,并且与背景具有很强的区分度,这可以避免整体目标样本被判定为背景导致 的跟踪失败;其次对于需要修改的分块和其它分块的间隔比较大,保证目标样本的外观 模型包含尽可能多的目标信息。
具体为:根据式(7)确定分块是否与与背景具有很强的区分度:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ 为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成, BM由背景局部分块的HSV直方图生成。θc1为分块与背景区分度阈值,大于这个阈值 说明是可以区分分块与背景的,反之,分块与背景没有区分度。
根据式(8)确定需要修改的分块和其最邻近的分块的间隔:
其中j≠i,为需要修改的第i个分块,为需要修改的第j个分块,θc2为分块 距离的阈值。
如果满足两个修改条件中的一个,则使用系统模板中的第i个分块来代替目标样本 中的第i个分块;如果两个准则都不满足,则删除目标样本中的第i分块,并删除系统 模板中的第i个分块。
步骤7:对所有的目标分块进行结构关联,Xt c为目标中心点的位置坐标,为第i个局部块的中心点的位置坐标,表示目标中心点的位置坐标和第i 个局部块的中心点的位置坐标的相对位置,m为分块的总数,基于这种相对位置的结构 关联模型图,图像区域内部目标局部分块与目标图像区域的中心位置存在关联,各个局 部分块之间没有任何联系,依旧相互独立,得到结构关联目标样本后,对样本进行HoG 特征提取。
步骤8:采用朴素贝叶斯分类器对降维后的正负样本特征进行分类,分类器定义为:
其中,f=(f1,f2,…,fn)为视频图像中低维特征,y的取值为0和1,其中1表示视频序列中目标的正样本,0表示视频序列中的负样本。
分类器分数最大位置即为当前帧目标位置L,在目标位置L及其周围提取特征,并更新至目标分块外观模型。
步骤9:判断当前帧是否为结束帧,若不是,则读入下一帧图像并跳回步骤2,若是,结束当前序列跟踪任务。
为了更好的实现对本文目标跟踪算法的评价,采用Object tracking BenchMark(OTB) 中公开的评价标准对算法性能进行评估,选取了5组包含有图像模糊这个挑战性的视频 序列进行测试,分别BlurCar2,Boy,Deer,BlurBody,BlurOwl视频序列。在跟踪序列的对比图中,红色框代表本文算法,绿色框代表Struck算法,蓝色框代表SCM算法, 橙黄色框代表TLD算法,浅蓝色代表LSHT。本发明在对具有模糊图像的处理中,目标 跟踪算法是基于视觉显著度的目标跟踪框架,采用SLIC超像素分割算法来生成超像素, 引入条件数用于目标样本的预处理,通过平滑度和陡度用来确定分块的模糊程度,实现 目标分块的选择性修改,并对分块使用中心关联拓扑模型来进行目标描述,有效的减少 了用于特征描述的像素点个数,在目标外观发生运动模糊更好地分离前景与背景,达到 了良好的跟踪效果。
计算本发明方法与Struck,SCM,TLD,LSHT这五个算法准确率,通过OTB评价 标准中的跟踪位置的准确率PRE(Precision),准确率采用的是目标中心位置的偏差来进 行度量的,在某一视频序列中所有图像的目标中心位置误差,即可代表算法在当前视频 序列上跟踪的准确程度。中心位置误差一般通过欧氏距离来计算,目标跟踪结果中得到 的中心位置与目标所在的真实中心位置间的欧氏距离定义为:
准确的跟踪定义为跟踪结果的中位置误差小于20图像帧为准确跟踪,跟踪准确率为序列中跟踪正确的帧数与总帧数的比值。准确度对比实验结果如表1所示。
表1 准确度对比实验结果
PRE LSHT TLD SCM Struck 本文算法
BlurCar2 0.282 0.613 0.283 0.236 0.953
Boy 0.507 0.429 0.439 0.935 0.954
Deer 0.655 0.441 0.869 0.781 0.905
BlurBody 0.448 0.687 0.667 0.733 0.764
Blurowl 0.276 0.246 0.375 0.399 0.603
从表1中可以看出,本发明实验选择的测试序列中,本发明的在模糊测试序列中的准确率表现高于其它算法,同时可以实现实时的目标跟踪,达到目标跟踪的实时性标准。由此可以得出,在相同复杂的跟踪场景下,相比于其他几种跟踪算法,本发明具有较高 的准确性和实时性。

Claims (8)

1.一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:包括以下步骤:
步骤1:读入视频流,获取当前帧图像;
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,将视觉显著值大于最小视觉显著度阈值的像素点作为可能的目标图像位置中心,根据可能的目标图像位置中心提取目标样本区域;
logSZ=-logP(F,Il,Ig)+logP(F,Il,Ig|C=1)+logP(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
步骤3:对目标样本区域采用SLIC超像素分割算法进行区域划分,得到若干超像素块,每个所述超像素块均具有多个矩形区域;
步骤4:选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:判断目标分块的模糊度,对模糊的目标分块进行修改;
步骤6:对所有的目标分块进行结构关联,得到目标样本;
步骤7:对目标样本进行梯度方向直方图特征提取,将提取的特征作为观测模型,为下一步的分类作出特征采样;
步骤8:采用朴素贝叶斯分类器对降维后的正负目标样本特征进行分类,分类器分数最大的位置为当前帧目标位置L;
步骤9:在目标位置L及其周围提取特征,更新至外观模型;
步骤10:判断当前帧是否为结束帧,若是,结束当前序列跟踪任务,否则读入下帧图像并跳回步骤2。
2.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述最小视觉显著度阈值为需跟踪的目标图像内所有像素点的视觉显著值的最小值。
3.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤4具体为:通过条件数Ki最小的像素点位置来确定的需要用于构建外观模型的矩形区域,条件数Ki由式(3)计算得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,条件数Ki越小对应图像的像素点越稳定,矩阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量;
若条件数Ki最小的像素点落在超像素的矩形区域内,则该矩形区域用于构建目标的外观模型,目标分块的尺度大小与该矩形区域对应的超像素区域中最大的矩形区域大小相同;若条件数Ki最小的像素点没有位于现有的分块内,则删除该像素点,并且舍弃该条件数点。
4.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤5中目标分块的模糊度通过判断目标分块的局部模式是否满足平滑度要求得到;
判断目标分块的局部模式是否满足平滑度要求,具体为:设置平滑度阈值θsm,若目标分块的平滑度不小于平滑度阈值θsm时,代表该目标分块满足平滑度要求,具有良好的清晰度,不需要进行修改;否则,代表该目标分块发生了模糊,需要对该目标分块进行修改;
目标分块的平滑度通过计算第i个目标分块的分块局部模式的位置方差得到,具体计算公式如下:
其中,为第i个目标分块的局部模式,为第i个目标分块的中心点的位置坐标,N为第i个目标分块中的N个坐标点。
5.根据权利要求4所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤5中目标分块的模糊度还可以通过判断目标分块的局部模式是否满足陡峭度要求得到;
判断目标分块的局部模式是否满足陡峭度要求,具体为:设置陡峭度阈值θst,若分块的陡峭度不小于陡峭度阈值θst,代表该目标分块的局部模式是陡峭的,具有良好的清晰度,不需要进行修改,否则,代表该目标分块发生了模糊,需要进行修改;
目标分块的陡峭度,通过N个目标分块位置坐标和局部模式之间的平均距离来测量陡度:
其中,为第i个目标分块的局部模式,为第i个目标分块的中心点的位置坐标,(x,y)为目标位置的中心点坐标。
6.根据权利要求4或5所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤5中的对发生模糊的分块进行修改,具体为:
通过平滑度和陡峭度判断发生模糊的分块是否满足修改条件,若满足,则使用上一帧没有发生模糊的图像帧中的第i个分块来代替需要修改的第i个分块;否则删除需要修改的第i分块,并删除上一帧没有发生模糊的图像帧中的第i个分块;
所述修改条件包括修改条件一和修改条件二中的任意一个;
所述修改条件一为:所需修改的分块与背景具有区分度,具体由下式进行确定:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成,BM由背景局部分块的HSV直方图生成,θc1为分块与背景区分度阈值,大于这个阈值说明所需修改的分块与背景具有区分度,反之,所需修改的分块与背景没有区分度
所述修改条件二包括修改的分块与最相邻的分块的间隔满足分块距离阈值,具体表示如下:
其中j≠i,为需要修改的第i个分块,为需要修改的第j个分块,θc2为分块距离的阈值。
7.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤6中,对所有的目标分块进行结构关联,得到目标样本,具体为对目标分块使用中心关联拓扑模型来进行目标描述,得到目标样本;所述中心关联拓扑模型表示为:其中,Xt为t时刻目标分块的状态,Xt c为目标中心点的位置坐标,为第i个局部块的中心点的位置坐标,rt i表示目标中心点的位置坐标和第i个局部块的中心点的位置坐标的相对位置,m为分块的总数。
8.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤8中的朴素贝叶斯分类器,定义为:
其中,f=(f1,f2,…,fn)为当前帧图像中低维特征,y的取值为0和1,其中1表示视频序列中目标的正样本,0表示视频序列中的负样本。
CN201910752113.XA 2019-08-15 2019-08-15 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 Active CN110599518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752113.XA CN110599518B (zh) 2019-08-15 2019-08-15 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752113.XA CN110599518B (zh) 2019-08-15 2019-08-15 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110599518A true CN110599518A (zh) 2019-12-20
CN110599518B CN110599518B (zh) 2022-08-26

Family

ID=68854317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752113.XA Active CN110599518B (zh) 2019-08-15 2019-08-15 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110599518B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516649A (zh) * 2021-07-28 2021-10-19 亿嘉和科技股份有限公司 基于超像素分割的柜体表面检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550181A (zh) * 2018-03-12 2018-09-18 中国科学院自动化研究所 移动设备上在线跟踪与稠密重建方法、系统及设备
US20180276885A1 (en) * 2017-03-27 2018-09-27 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276885A1 (en) * 2017-03-27 2018-09-27 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
CN108550181A (zh) * 2018-03-12 2018-09-18 中国科学院自动化研究所 移动设备上在线跟踪与稠密重建方法、系统及设备
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516649A (zh) * 2021-07-28 2021-10-19 亿嘉和科技股份有限公司 基于超像素分割的柜体表面检测方法
CN113516649B (zh) * 2021-07-28 2024-02-02 亿嘉和科技股份有限公司 基于超像素分割的柜体表面检测方法

Also Published As

Publication number Publication date
CN110599518B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
US7162055B2 (en) Tracking semantic objects in vector image sequences
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
Sulaiman et al. Denoising-based clustering algorithms for segmentation of low level salt-and-pepper noise-corrupted images
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
WO2017181892A1 (zh) 前景分割方法及装置
CN106933816A (zh) 基于全局特征和局部特征的跨镜头目标检索系统及方法
Li et al. Real-time object tracking via compressive feature selection
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
Hernández et al. Spatio-temporal grabcut human segmentation for face and pose recovery
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN111310768A (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN105139422B (zh) 一种自解释目标跟踪方法及装置
CN113780421B (zh) 基于人工智能的脑部pet影像识别方法
Ghahremannezhad et al. Real-time hysteresis foreground detection in video captured by moving cameras
Chen et al. Illumination-invariant video cut-out using octagon sensitive optimization
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
Lezoray Supervised automatic histogram clustering and watershed segmentation. Application to microscopic medical color images
CN110136100B (zh) Ct切片图像的自动分类方法和装置
Wu et al. A vehicle color classification method for video surveillance system concerning model-based background subtraction
CN110599517A (zh) 一种基于局部特征和全局hsv特征组合的目标特征描述方法
CN112560740A (zh) 一种基于PCA-Kmeans的可见光遥感影像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant