CN107273905A - 一种结合运动信息的目标主动轮廓跟踪方法 - Google Patents

一种结合运动信息的目标主动轮廓跟踪方法 Download PDF

Info

Publication number
CN107273905A
CN107273905A CN201710446147.7A CN201710446147A CN107273905A CN 107273905 A CN107273905 A CN 107273905A CN 201710446147 A CN201710446147 A CN 201710446147A CN 107273905 A CN107273905 A CN 107273905A
Authority
CN
China
Prior art keywords
pixel
mrow
super
msubsup
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710446147.7A
Other languages
English (en)
Other versions
CN107273905B (zh
Inventor
周雪
冯媛媛
邹见效
徐红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710446147.7A priority Critical patent/CN107273905B/zh
Publication of CN107273905A publication Critical patent/CN107273905A/zh
Application granted granted Critical
Publication of CN107273905B publication Critical patent/CN107273905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基结合运动信息的目标主动轮廓跟踪方法，以超像素为基本单元，分别对目标与背景区域的表观特征和运动特征进行建模，并采用决策树算法将两者融合起来，克服了传统的主动目标轮廓跟踪方法对于表观特征的依赖性，在目标与背景颜色，纹理等特征相似，但具有明显相对运动的场景中跟踪精度有明显提升，具有很好的应用前景。

Description

一种结合运动信息的目标主动轮廓跟踪方法
技术领域
本发明属于计算机视觉技术领域，更为具体地讲，涉及一种结合运动信息的目标主动轮廓跟踪方法。
背景技术
在计算机视觉领域中，目标主动跟踪技术占有十分重要的地位，它通过对视频中序列图像的处理，获得感兴趣目标在连续序列图像中位置随时间变化的轨迹。目标主动跟踪技术的应用十分广泛，如军事制导，视频监控，智能交通，人机交互，公共安全等。目标主动跟踪的表达形式有矩形，椭圆形，轮廓等，采用轮廓的形式能很好的表达目标形状与尺寸的变化信息，为高层行为的识别与理解提供方便，因此，目标主动轮廓跟踪一直是目标跟踪领域的一个研究热点。目标主动轮廓跟踪算法主要分为参数主动轮廓模型和几何主动轮廓模型。
参数主动轮廓模型以上世纪八十年代Kass等人提出Snake模型为代表，该方法用参数显示的表达曲线，通过求解一个能量变分模型的最小值来实现轮廓分割。Snake模型具有良好的跟踪特定区域目标轮廓的能力，常被用来进行医学图像的分割，但存在以下缺点：对图像边界的捕捉范围很小，对初始轮廓的要求很高，对参数设置非常敏感，不能灵活处理拓扑变化，而且容易错误的收敛到局部极值点。
几何活动轮廓模型以Osher等人提出的水平集(Level Set)方法为代表，它以隐式方法的来描述轮廓，用一个n+1维的水平集函数的零值来表达一个n维的曲线，因此能够灵活处理目标拓扑变化。水平集方法广泛应用于图像处理和计算机视觉领域，例如图像分割，目标跟踪，形状检测与识别等。传统的水平集方法将水平集函数初始化为符号距离函数，并且每隔一段时间需要进行重新初始化，导致计算复杂，耗时很大。李纯明等人提出了DRLSE(Distance Regularized Level Set Evolution)模型，将水平集初始化为二值函数，然后通过构造一个带距离约束的能量惩罚项使得水平集函数近似的保持为符号距离函数，从而保证了稳定的数值解，并且避免了重新初始化，大大的减小了计算量。
将水平集运用到目标主动跟踪领域，通常需要将目标的先验知识，如颜色，梯度，纹理，形状等表观特征加入到水平集演化方程中，来约束曲线进化到目标边缘处。由于单个像素的特征提取容易受噪声干扰产生不稳定性，可以考虑采用超像素对图像进行分割。超像素将图像划分成颜色，纹理等表观特征相似的邻近像素的集合，具有计算效率高，保持图像边界等优点，使用超像素作为图像处理的基本单元，比直接考虑单个像素更为有效。
除此之外，目标的运动也是一种非常有效的可用于跟踪的特征，特别是在目标与背景具有明显相对运动的场景中，运动特征可作为颜色，纹理等表观特征的有效补充，得到更加精确的轮廓跟踪结果。光流法通常被用来刻画运动信息，由光流法得到的光流场能够代表每个像素点的运动速度大小和方向，在具有明显相对运动的场景中，运动目标区域和背景区域的光流场幅值大小具有明显的差异，利用光流场能够有效地区分出运动目标与背景。
发明内容
本发明的目的在于克服现有技术的不足，提出一种结合运动信息的目标主动轮廓跟踪方法，以克服表观特征目标轮廓跟踪对于颜色，梯度等特征的依赖性，在目标表观特征不够明显，但是具有明显相对运动的场景中能达到良好的跟踪效果。
为实现上述发明目的，本发明结合运动信息的目标主动轮廓跟踪方法，其特征在于，包括以下步骤：
(1)、初始化SVM(支持向量机)分类器
针对序列图像第一帧图像，首先手动标定初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；
对于每一个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到该超像素的d维表观特征向量；
记感兴趣区域的初始轮廓内像素点为正，初始轮廓外像素点为负，统计每个超像素内的所有像素点，若超过半数像素点为正，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1；
将每个超像素的n维表观特征向量作为输入，其标记作为输出对SVM分类器进行训练，得到初始化的SVM分类器；同时，将每个超像素的n维表观特征向量作为输入，其标记作为输出作为一组训练样本存入样本池中；
将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像；
(2)、基于SVM分类器和局部信息的判别式表观模型构建
将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；
对于每个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到每个超像素的d维表观特征向量；
2.1)、基于SVM分类器的置信图计算
将第i个超像素spi′的n维表观特征向量输入到SVM分类器中，得到该超像素的样本标记值，即基于SVM分类器的置信图值ConfMapsvm_i；
2.2)、基于局部信息的置信图计算
首先，计算每个超像素属于目标和属于背景的概率，具体计算步骤如下：
2.2.1)、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记，如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内，则记为Lj为1，否则为-1；
2.2.2)、记当前帧图像感兴趣区域第i个超像素为spi′，其中心坐标为(xi′,yi′)；上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj)，设置阈值为TR；
2.2.3)、记当前帧图像感兴趣区域第i个超像素spi′属于目标轮廓内的似然概率为p(spi′|obj)，属于背景的似然概率为p(spi′|bck)，令：p(spi′|obj)＝p(spi′|bck)＝0；
2.2.4)、对于当前帧图像感兴趣区域第i个超像素spi′，遍历上一帧图像感兴趣区域的超像素spj，并进行以下运算：
2.2.4.1)、令m＝n＝0，j＝1
2.2.4.2)、如果则：
当Lj为1时：
num1＝p(spi′|obj)+pij
m＝m+1
当Lj为-1：
num2＝p(spi′|bck)+pij
n＝n+1
如果不成立，则转到步骤
2.2.4.3)、计算属于目标轮廓内的似然概率p(spi′|obj)、属于背景的似然概率p(spi′|bck)：
其中，pij定义为超像素spi′与spj的相似度，记spi′和spj的表观特征向量分别为fi′，fj，则pij的计算公式为：
pij＝exp(-||fi′-fj||2)，
其中，||fi′-fj||2表示特征向量fi′，fj的欧式距离；
2.2.4.4)、如果没有遍历完上一帧图像感兴趣区域的超像素spj，则j＝j+1，返回步骤2.2.4.2)，否则，结束，得到第i个超像素spi′属于目标轮廓内的似然概率p(spi′|obj)，属于背景的似然概率p(spi′|bck)；
定义第i个超像素spi′基于局部信息的置信图值为：
置信图值的取值范围为[-1,1]，并且具有以下的对称判别属性：
2.3)、融合得到表观特征的置信图
对于第i个超像素spi′，基于局部信息的置信图值ConfMaplocal_i的权值为w1_i，基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i，令：
w1_i＝ε*|ConfMaplocal_i|
w2_i＝1-ε*|ConfMaplocal_i|
其中，ε为常量，根据具体跟踪场景设置，可以取0.5，融合后的置信图值ConfMapi为：
ConfMapi＝w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i；
将当前帧图像的所有超像素按照步骤2.1)～2.3)进行处理，得到融合后的置信图，然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值，得到表观特征的置信图；
(3)、基于运动信息的光流灰度图计算
采用稠密光流计算法来计算当前帧图像上每一个像素点的光流，得到光流场是一个双通道图像，分别为x方向和y方向上的位移；通过孟塞尔颜色系统(Munsell ColorSystem)实现可视化，得到光流彩色图，其中，不同的颜色代表不同运动方向，颜色深浅代表运动速度的快慢；再通过以下公式将光流彩色图转换成光流灰度图：
I＝0.2989*R+0.5870*G+0.1140*B
其中R，G和B分别代表彩色空间三个通道的像素点像素值；
(4)、基于决策树的融合权重计算
将表观特征的置信图像素点的取值为-1到1等分的10个区间，分别用0～9表示，光流灰度图像素点的取值为0到255等分的8个区间，分别用0～7表示；
使用决策树对像素点进行预测分类，如果一个像素点位置在表观特征的置信图中的像素点像素值在：
区间0、1，则该像素点置为背景；
区间2，同时，该像素点位置在光流灰度图中像素点像素值在区间0，则该像素点置为目标，否则，则该像素点置为背景；
区间3、4，同时，该像素点位置在光流灰度图中像素点像素值在区间0、1，则该像素点置为目标，否则，则该像素点置为背景；
区间5、6，同时，该像素点位置在光流灰度图中像素点像素值在区间0-3，则该像素点置为目标，否则，则该像素点置为背景；
区间7、8，同时，该像素点位置在光流灰度图中像素点像素值在区间0-5，则该像素点置为目标，否则，则该像素点置为背景；
区间9，则该像素点置为目标；
将属于目标的像素点标记为1，属于背景的像素点标记为-1，可以得到最终的置信图即融合置信图；
(5)、水平集轮廓演化
采用基于边缘的DRLSE(Distance Regularized Level Set Evolution)模型进行水平集轮廓演化，演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次；
然后，再由边缘梯度函数和曲率共同引导，得到目标轮廓。
(6)、更新样本池，并重新初始化SVM(支持向量机)分类器
依据目标轮廓，对感兴趣区域的超像素进行标记：如果超过半数像素点为正即落入目标轮廓内，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1，然后作为一组训练样本存入样本池中；
样本池容纳的最大训练样本个数为Sz，采用排队的方式进行更新，新来的训练样本排在队列的末端，直到训练样本个数超过Sz，则删除排在队列前端的训练样本，训练样本总个数Sz保持不变；
用样本池中的训练样本对SVM分类器进行训练，得到更新的初始化的SVM分类器；
将下一帧作为当前帧，返回步骤(2)。
本发明的目的是这样实现的。
本发明结合运动信息的目标主动轮廓跟踪方法，以超像素为基本单元，分别对目标与背景区域的表观特征和运动特征进行建模，并采用决策树算法将两者融合起来，克服了传统的主动目标轮廓跟踪方法对于表观特征的依赖性，在目标与背景颜色，纹理等特征相似，但具有明显相对运动的场景中跟踪精度有明显提升，具有很好的应用前景。
附图说明
图1是本发明结合运动信息的目标主动轮廓跟踪方法的一种具体实施方式流程图；
图2是融合基于SVM分类器的置信图以及基于局部信息的置信图得到表观特征的置信图的三个典型实例过程图；
图3是感兴趣区域图像、光流彩色图和灰度一具体实例图，其中，(a)感兴趣区域图像，(b)基于孟塞尔颜色系统显示的光流彩色图，(c)光流灰度图；
图4是决策树示意图；
图5是决策树判断生成置信图示意图，其中，(a)感兴趣区域图像；(b)调整后的光流灰度图，c)基于表观特征得到的置信图，d)基于决策树判断融合后的置信图；
图6是一个序列图像的轮廓跟踪结果和跟踪精度图，其中，(a)为轮廓跟踪结果，(b)为跟踪精度；
图7是另一个序列图像的轮廓跟踪结果和跟踪精度图，其中，(a)为轮廓跟踪结果，(b)为跟踪精度；
图8是另一个序列图像的轮廓跟踪结果和跟踪精度图，其中，(a)为轮廓跟踪结果，(b)为跟踪精度。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
本发明在水平集的框架下设计了一种结合运动信息和表观特征的目标主动轮廓跟踪方法。在表观特征建模部分，以超像素为基本单元提取目标与背景的颜色特征和纹理特征，考虑到实际场景中的目标或背景存在多种表观模式(多种颜色或纹理)，使用两类分类器很难得到正确分类结果，本发明提出一种基于局部信息的置信图计算方法，并将其与SVM分类器得到的置信图进行自适应权重融合，得到更为可靠的表观特征置信图。在运动特征建模部分，引入光流法来刻画目标的运动信息，得到的光流场能够代表每个像素点的运动速度大小和方向。最后使用决策树将目标的表观特征和运动特征结合起来生成置信图，嵌入到水平集轮廓演化的框架中。
本发明的主要特点在于：1)考虑到单个像素容易受噪声干扰产生不稳定性，提出以超像素作为图像处理的基本单元，提取颜色特征向量和LBP纹理特征向量。2)表观特征建模部分，考虑到实际场景中的目标或背景可能存在多种表观模式(如颜色等)，导致SVM分类器的准确度下降，提出了一种基于局部信息的置信图计算方法，超像素的置信图计算只与它邻近区域的有限个超像素保持关系，能在一定程度上避免其它因素的干扰。3)运动特征建模部分，使用稠密光流计算方法获取光流场，采用孟塞尔颜色系统实现光流场的可视化，并将其转化成光流灰度图。4)将表观特征置信图和光流灰度图作为两个属性训练决策树，利用决策树对感兴趣区域的像素点进行预测生成置信图，引导水平集函数的演化。
图1是本发明结合运动信息的目标主动轮廓跟踪方法的一种具体实施方式流程图。
在本实施例中，如图1所示，本发明结合运动信息的目标主动轮廓跟踪方法包括以下步骤：
步骤S1：初始化SVM(支持向量机)分类器；
步骤S2：基于SVM分类器和局部信息的判别式表观模型构建；
步骤S3：基于运动信息的光流灰度图计算；
步骤S4：基于决策树的融合权重计算；
步骤S5：水平集轮廓演化；
步骤S6：更新样本池，并重新初始化SVM分类器，返回对下一帧图像进行目标主动轮廓跟踪。
下面结合附图对本发明所涉及的各个步骤进行详细说明：
1、初始化SVM(支持向量机)分类器
针对序列图像第一帧图像，首先手动标定初始轮廓，初始轮廓的最大外接矩形向外扩大50(即p＝50)个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素。在本实施例中，采用SLIC超像素分割，其算法可参考文献：R.Achanta,A.Shaji,K.Smith and A.Lucchi.SLICSuperpixels Compared to State-of-the-Art Superpixel Methods[J].IEEE Trans.onPattern Analysis and Machine Intelligence,2012,34(11):2274-2282。
对于每个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到该超像素的d维表观特征向量。在本实施中，对于超像素，提取颜色特征和纹理特征向量为：将RGB图像的超像素转换到HSV颜色空间，对颜色进行量化，将h划分为8等份，s划分为4等份，v划分为4等分，然后统计每个超像素内所有像素点落入每个区间的数目，得到128(8×4×4)维归一化颜色特征向量；将RGB图像的超像素转为灰度图，计算其LBP(LocalBinary Pattern,局部二值模式)值，将LBP值等分为8个区间，同样基于超像素直方图统计得到8维的归一化LBP特征向量即纹理特征向量。
将颜色特征和纹理特征向量进行合并，得到136(即d＝136)维的表观特征向量。
训练SVM分类器需要采集正负样本，记感兴趣区域的初始轮廓内像素点为正，初始轮廓外像素点为负，统计每个超像素内的所有像素点，若超过半数像素点为正，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1。
将每个超像素的n维表观特征向量作为输入，其标记作为输出对SVM分类器进行训练，得到初始化的SVM分类器；同时，将每个超像素的128维表观特征向量作为输入，其标记1或-1作为输出作为一组训练样本存入样本池中。
将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像。
2、基于SVM分类器和局部信息的判别式表观模型构建
将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓，进行第一张图像相同的感兴趣区域确定、超像素分割以及感兴趣的颜色特征和纹理特征向量提取，得到每个超像素的136(即d＝136)维表观特征向量。
2.1、基于SVM分类器的置信图计算
将第i个超像素spi′的136维表观特征向量输入到SVM分类器中，得到该超像素的样本标记值，即基于SVM分类器的置信图值ConfMapsvm_i。
2.2、基于局部信息的置信图计算
由于实际应用场景中往往存在很多目标与背景表观特征相似的区域，或者目标与背景存在多种表观模式，如多种颜色等，导致分类器的准确度下降，本发明提出了一种基于局部信息的置信图计算方法以克服该问题。
首先，计算每个超像素属于目标和属于背景的概率，具体计算步骤如下：
2.2.1、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记，如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内，则记为Lj为1，否则为-1；
2.2.2、记当前帧图像感兴趣区域第i个超像素为spi′，其中心坐标为(xi′,yi′)；上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj)，设置阈值为TR；
2.2.3、记当前帧图像感兴趣区域第i个超像素spi′属于目标轮廓内的似然概率为p(spi′|obj)，属于背景的似然概率为p(spi′|bck)，令：p(spi′|obj)＝p(spi′|bck)＝0；
2.2.4、对于当前帧图像感兴趣区域第i个超像素spi′，遍历上一帧图像感兴趣区域的超像素spj，并进行以下运算：
2.2.4.1、令m＝n＝0，j＝1
2.2.4.2、如果则：
当Lj为1时：
num1＝p(spi′|obj)+pij
m＝m+1
当Lj为-1：
num2＝p(spi′|bck)+pij
n＝n+1
如果不成立，则转到步骤
2.2.4.3、计算属于目标轮廓内的似然概率p(spi′|obj)、属于背景的似然概率p(spi′|bck)：
其中，pij定义为超像素spi′与spj的相似度，记spi′和spj的表观特征向量分别为fi′，fj，则pij的计算公式为：
pij＝exp(-||fi′-fj||2)，
其中，||fi′-fj||2表示特征向量fi′，fj的欧式距离；
2.2.4.4、如果没有遍历完上一帧图像感兴趣区域的超像素spj，则j＝j+1，返回步骤2.2.4.2，否则，结束，得到第i个超像素spi′属于目标轮廓内的似然概率p(spi′|obj)，属于背景的似然概率p(spi′|bck)；
定义第i个超像素spi′基于局部信息的置信图值为：
置信图值的取值范围为[-1,1]，并且具有以下的对称判别属性：
2.3、融合得到表观特征的置信图
为了得到更加精准，更加具有鲁棒性的置信图，考虑将SVM分类器得到的置信图与基于局部信息得到的置信图融合起来。
对于第i个超像素spi′，基于局部信息的置信图值ConfMaplocal_i的权值为w1_i，基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i，令：
w1_i＝ε*|ConfMaplocal_i|
w2_i＝1-ε*|ConfMaplocal_i|
其中，ε为常量，根据具体跟踪场景设置，可以取0.5，融合后的置信图值ConfMapi为：
ConfMapi＝w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i。
将当前帧图像的所有超像素按照步骤2.1)～2.3)进行处理，得到融合后的置信图，然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值，得到表观特征的置信图。
图2分别显示了3个序列的ROI，基于SVM分类器得到的置信图，基于局部信息得到的置信图，以及将两者自适应权重融合后得到的置信图即表观特征的置信图。可以看出SVM分类器对于目标与背景颜色单一的简单场景分类效果较好，对于目标与背景存在多种颜色的复杂场景分类效果下降；基于局部信息的置信图计算在多种场景中分类效果都比较稳定，但在目标轮廓边缘处容易产生错误的划分，并且比较依赖上一帧的轮廓跟踪结果。本发明将两种置信图进行融合，在多种场景都具有不错的分类效果和稳定性。
4、基于运动信息的光流灰度图计算
光流是空间运动物体在二维成像平面上像素点的瞬时运动速度，表达了相邻帧图像之间物体的运动信息。本发明采用的是稠密光流计算法来计算图像上每一个像素点的光流，参考文献：Sun D,Roth S,Black M J.Secrets of Optical Flow Estimation andTheir Principles.IEEE International Conference on Computer Vision and PatternRecognition,2010:2432-2439。
从而得到光流场是一个双通道图像，分别为x方向和y方向上的位移；通过孟塞尔颜色系统(Munsell Color System)实现可视化，得到光流彩色图，其中，不同的颜色代表不同运动方向，颜色深浅代表运动速度的快慢；再通过以下公式将光流彩色图转换成光流灰度图：
I＝0.2989*R+0.5870*G+0.1140*B
其中R，G和B分别代表彩色空间三个通道的像素点像素值。
图3分别显示了感兴趣区域图像，通过孟塞尔颜色系统实现可视化的光流彩色图，以及转换后的光流灰度图。
4、基于决策树的融合权重计算
将表观特征的置信图像素点的取值为-1到1等分的10个区间，分别用0～9表示，光流灰度图像素点的取值为0到255等分的8个区间，分别用0～7表示；
使用如图4所示的决策树对像素点进行预测分类，如果一个像素点位置在表观特征的置信图中的像素点像素值在：
区间0、1，则该像素点置为背景；
区间2，同时，该像素点位置在光流灰度图中像素点像素值在区间0，则该像素点置为目标，否则，则该像素点置为背景；
区间3、4，同时，该像素点位置在光流灰度图中像素点像素值在区间0、1，则该像素点置为目标，否则，则该像素点置为背景；
区间5、6，同时，该像素点位置在光流灰度图中像素点像素值在区间0-3，则该像素点置为目标，否则，则该像素点置为背景；
区间7、8，同时，该像素点位置在光流灰度图中像素点像素值在区间0-5，则该像素点置为目标，否则，则该像素点置为背景；
区间9，则该像素点置为目标；
将属于目标的像素点标记为1，属于背景的像素点标记为-1，可以得到最终的置信图即融合置信图。
图5显示了感兴趣区域的光流灰度图，表观特征置信图，以及由两者训练生成的决策树判断得到的置信图。由图5可以看出，由于背景区域的绳子部分与目标一起移动，导致光流灰度图的背景区域也包含了一些运动赋值较大的地方；表观特征置信图的目标区域白色部分与背景中的某些白色部分极为相似，导致计算结果将目标的某些部分错误的划分成背景。通过决策树判断，将目标的运动特征与表观特征相结合，生成的置信图融合了两者的优点，目标与背景区域的划分更为准确，更加具有鲁棒性。
5、水平集轮廓演化
本发明的水平集轮廓演化方程采用基于边缘的DRLSE(Distance RegularizedLevel Set Evolution)模型，演化方程为：
将式中的第三项改为利用置信图引导，得到本发明的水平集演化方程：
演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次。
水平集函数的演化分2次进行，首先在置信图ConfMap的引导下迭代100(即k＝100)次，当ConfMap>0时，曲线具有向外扩张的趋势；当ConfMap<0时，曲线具有向内收缩的趋势，因此置信图的引导能使曲线快速收敛到目标轮廓边缘处。
然后由边缘梯度函数和曲率共同引导，得到目标轮廓。演化公式为：
边缘梯度函数的引导能使曲线收敛到图像的局部梯度最大值，即目标真实轮廓边缘处，曲率的引导能使曲线保持光滑性，一共迭代50次。
水平集轮廓演化属于现有技术，在此不再赘述。
为了实施本发明的具体思想，我们在多个视频序列上做了大量的比较实验。并与2种轮廓跟踪算法进行了比较，一种是Superpixel Tracking，本发明将其简记为SPT。参见文献：S.Wang,H.C.Lu,F.Yang,et al.Superpixel Tracking[C].IEEE InternationalConference on Computer Vision,2011,1323-1330.该算法提取超像素的颜色特征，采用均值漂移聚类计算置信图，本文基于该置信图进行level set跟踪。另一种是基于光流场和水平集的目标轮廓跟踪(Optical Flow Levelset)，简记为OFL。参考文献：方宇强,戴斌,宋金泽,单恩忠.基于光流和水平集的运动目标分割方法研究[C].2009中国智能自动化会议论文集,2009:1541-1547.该方法利用光流场建立水平集函数的能量泛函，引导level set的演化。图6～8给出了三个序列的轮廓跟踪结果和跟踪精度图，通过比较实验进一步验证了本发明方法的有效性。
6、更新样本池，并重新初始化SVM(支持向量机)分类器
经过初始化的SVM分类器具有一定的分类能力，但不能适应目标表观特征的变化，因此需要对样本进行实时更新。
依据目标轮廓，对感兴趣区域的超像素进行标记：如果超过半数像素点为正即落入目标轮廓内，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1，然后作为一组训练样本存入样本池中；
样本池容纳的最大训练样本个数为Sz，采用排队的方式进行更新，新来的训练样本排在队列的末端，直到训练样本个数超过Sz，则删除排在队列前端的训练样本，训练样本总个数Sz保持不变。
将下一帧作为当前帧，返回步骤2，对下一帧进行目标主动轮廓跟踪。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种结合运动信息的目标主动轮廓跟踪方法，其特征在于，包括以下步骤：
(1)、初始化SVM(支持向量机)分类器
针对序列图像第一帧图像，首先手动标定初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；
对于每一个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到该超像素的d维表观特征向量；
记感兴趣区域的初始轮廓内像素点为正，初始轮廓外像素点为负，统计每个超像素内的所有像素点，若超过半数像素点为正，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1；
将每个超像素的n维表观特征向量作为输入，其标记作为输出对SVM分类器进行训练，得到初始化的SVM分类器；同时，将每个超像素的n维表观特征向量作为输入，其标记作为输出作为一组训练样本存入样本池中；
将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像；
(2)、基于SVM分类器和局部信息的判别式表观模型构建
将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；
对于每个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到每个超像素的d维表观特征向量；
2.1)、基于SVM分类器的置信图计算
将第i个超像素sp′i的n维表观特征向量输入到SVM分类器中，得到该超像素的样本标记值，即基于SVM分类器的置信图值ConfMapsvm_i；
2.2)、基于局部信息的置信图计算
首先，计算每个超像素属于目标和属于背景的概率，具体计算步骤如下：
2.2.1)、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记，如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内，则记为Lj为1，否则为-1；
2.2.2)、记当前帧图像感兴趣区域第i个超像素为sp′i，其中心坐标为(x′i,y′i)；上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj)，设置阈值为TR；
2.2.3)、记当前帧图像感兴趣区域第i个超像素sp′i属于目标轮廓内的似然概率为p(sp′i|obj)，属于背景的似然概率为p(sp′i|bck)，令：p(sp′i|obj)＝p(sp′i|bck)＝0；
2.2.4)、对于当前帧图像感兴趣区域第i个超像素sp′i，遍历上一帧图像感兴趣区域的超像素spj，并进行以下运算：
2.2.4.1)、令m＝n＝0，j＝1
2.2.4.2)、如果则：
当Lj为1时：
num1＝p(sp′i|obj)+pij
m＝m+1
当Lj为-1：
num2＝p(sp′i|bck)+pij
n＝n+1
如果不成立，则转到步骤
2.2.4.3)、计算属于目标轮廓内的似然概率p(sp′i|obj)、属于背景的似然概率p(sp′i|bck)：
其中，pij定义为超像素sp′i与spj的相似度，记sp′i和spj的表观特征向量分别为f′i，fj，则pij的计算公式为：
pij＝exp(-||f′i-fj||2)，
其中，||f′i-fj||2表示特征向量f′i，fj的欧式距离；
2.2.4.4)、如果没有遍历完上一帧图像感兴趣区域的超像素spj，则j＝j+1，返回步骤2.2.4.2)，否则，结束，得到第i个超像素sp′i属于目标轮廓内的似然概率p(sp′i|obj)，属于背景的似然概率p(sp′i|bck)；
定义第i个超像素sp′i基于局部信息的置信图值为：
<mrow> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>;</mo> </mrow>
置信图值的取值范围为[-1,1]，并且具有以下的对称判别属性：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> <mo>&lt;</mo> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>&lt;</mo> <mn>0</mn> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> </mrow> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>&lt;</mo> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>&lt;</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> </mrow> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>ConfMap</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>_</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>sp</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>|</mo> <mi>b</mi> <mi>c</mi> <mi>k</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
2.3)、融合得到表观特征的置信图
对于第i个超像素sp′i，基于局部信息的置信图值ConfMaplocal_i的权值为w1_i，基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i，令：
w1_i＝ε*|ConfMaplocal_i|
w2_i＝1-ε*|ConfMaplocal_i|
其中，ε为常量，根据具体跟踪场景设置，可以取0.5，融合后的置信图值ConfMapi为：
ConfMapi＝w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i；
将当前帧图像的所有超像素按照步骤2.1)～2.)进行处理，得到融合后的置信图，然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值，得到表观特征的置信图；
(3)、基于运动信息的光流灰度图计算
采用稠密光流计算法来计算当前帧图像上每一个像素点的光流，得到光流场是一个双通道图像，分别为x方向和y方向上的位移；通过孟塞尔颜色系统(Munsell Color System)实现可视化，得到光流彩色图，其中，不同的颜色代表不同运动方向，颜色深浅代表运动速度的快慢；再通过以下公式将光流彩色图转换成光流灰度图：
I＝0.2989*R+0.5870*G+0.1140*B
其中R，G和B分别代表彩色空间三个通道的像素点像素值；
(4)、基于决策树的融合权重计算
将表观特征的置信图像素点的取值为-1到1等分的10个区间，分别用0～9表示，光流灰度图像素点的取值为0到255等分的8个区间，分别用0～7表示；
使用决策树对像素点进行预测分类，如果一个像素点位置在表观特征的置信图中的像素点像素值在：
区间0、1，则该像素点置为背景；
区间2，同时，该像素点位置在光流灰度图中像素点像素值在区间0，则该像素点置为目标，否则，则该像素点置为背景；
区间3、4，同时，该像素点位置在光流灰度图中像素点像素值在区间0、1，则该像素点置为目标，否则，则该像素点置为背景；
区间5、6，同时，该像素点位置在光流灰度图中像素点像素值在区间0-3，则该像素点置为目标，否则，则该像素点置为背景；
区间7、8，同时，该像素点位置在光流灰度图中像素点像素值在区间0-5，则该像素点置为目标，否则，则该像素点置为背景；
区间9，则该像素点置为目标；
将属于目标的像素点标记为1，属于背景的像素点标记为-1，可以得到最终的置信图即融合置信图；
(5)、水平集轮廓演化
采用基于边缘的DRLSE(Distance Regularized Level Set Evolution)模型进行水平集轮廓演化，演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次；
然后，再由边缘梯度函数和曲率共同引导，得到目标轮廓。
(6)、更新样本池，并重新初始化SVM(支持向量机)分类器
依据目标轮廓，对感兴趣区域的超像素进行标记：如果超过半数像素点为正即落入目标轮廓内，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1，然后作为一组训练样本存入样本池中；
样本池容纳的最大训练样本个数为Sz，采用排队的方式进行更新，新来的训练样本排在队列的末端，直到训练样本个数超过Sz，则删除排在队列前端的训练样本，训练样本总个数Sz保持不变；
用样本池中的训练样本对SVM分类器进行训练，得到更新的初始化的SVM分类器；
将下一帧作为当前帧，返回步骤(2)。
2.根据权利要求1所述的目标主动轮廓跟踪方法，其特征在于，步骤(1)中所述的提取颜色特征和纹理特征向量为：将RGB图像的超像素转换到HSV颜色空间，对颜色进行量化，将h划分为8等份，s划分为4等份，v划分为4等分，然后统计每个超像素内所有像素点落入每个区间的数目，得到128(8×4×4)维归一化颜色特征向量；将RGB图像的超像素转为灰度图，计算其LBP(Local Binary Pattern,局部二值模式)值，将LBP值等分为8个区间，同样基于超像素直方图统计得到8维的归一化LBP特征向量即纹理特征向量。
CN201710446147.7A 2017-06-14 2017-06-14 一种结合运动信息的目标主动轮廓跟踪方法 Active CN107273905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710446147.7A CN107273905B (zh) 2017-06-14 2017-06-14 一种结合运动信息的目标主动轮廓跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710446147.7A CN107273905B (zh) 2017-06-14 2017-06-14 一种结合运动信息的目标主动轮廓跟踪方法

Publications (2)

Publication Number Publication Date
CN107273905A true CN107273905A (zh) 2017-10-20
CN107273905B CN107273905B (zh) 2020-05-08

Family

ID=60067141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710446147.7A Active CN107273905B (zh) 2017-06-14 2017-06-14 一种结合运动信息的目标主动轮廓跟踪方法

Country Status (1)

Country Link
CN (1) CN107273905B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932722A (zh) * 2018-07-12 2018-12-04 浙江工业大学 一种确定目标单像素轮廓的方法
CN110108704A (zh) * 2019-05-10 2019-08-09 合肥学院 一种蓝藻自动监测预警方法及其自动监测预警系统
CN110378927A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种基于肤色的目标检测与跟踪方法
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
WO2020063189A1 (zh) * 2018-09-26 2020-04-02 惠州学院 一种视频目标轨迹提取方法及装置
CN111222574A (zh) * 2020-01-07 2020-06-02 西北工业大学 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN112101182A (zh) * 2020-09-10 2020-12-18 哈尔滨市科佳通用机电股份有限公司 一种基于改进slic方法的铁路货车地板破损故障识别方法
CN112215893A (zh) * 2020-10-28 2021-01-12 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
CN112288345A (zh) * 2019-07-25 2021-01-29 顺丰科技有限公司 装卸口状态检测方法、装置、服务器及存储介质
CN112862930A (zh) * 2021-03-15 2021-05-28 网易（杭州）网络有限公司 游戏场景的处理方法、装置及电子设备
WO2022110969A1 (zh) * 2020-11-27 2022-06-02 清华大学 无监督图像分割方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366382A (zh) * 2013-07-04 2013-10-23 电子科技大学 一种基于超像素的主动轮廓跟踪方法
US20160012313A1 (en) * 2014-07-10 2016-01-14 Thomson Licensing Method and apparatus for tracking superpixels between related images
US20160110885A1 (en) * 2014-10-21 2016-04-21 Government Of The United States As Represented By The Secretary Of The Air Force Cloud based video detection and tracking system
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366382A (zh) * 2013-07-04 2013-10-23 电子科技大学 一种基于超像素的主动轮廓跟踪方法
US20160012313A1 (en) * 2014-07-10 2016-01-14 Thomson Licensing Method and apparatus for tracking superpixels between related images
US20160110885A1 (en) * 2014-10-21 2016-04-21 Government Of The United States As Represented By The Secretary Of The Air Force Cloud based video detection and tracking system
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XUE ZHOU等: "Learning A Superpixel-Driven Speed Function for Level Set Tracking", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
XUE ZHOU等: "Level set tracking with fusion of color and dynamical shape priors", 《2009 IEEE INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE》 *
侯文迪等: "基于运动信息与Hog特征的伪装色移动目标跟踪", 《计算机工程与应用》 *
杨恢先等: "基于超像素和局部稀疏表示的目标跟踪方法", 《系统仿真学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932722A (zh) * 2018-07-12 2018-12-04 浙江工业大学 一种确定目标单像素轮廓的方法
WO2020063189A1 (zh) * 2018-09-26 2020-04-02 惠州学院 一种视频目标轨迹提取方法及装置
CN110378927A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种基于肤色的目标检测与跟踪方法
CN110108704A (zh) * 2019-05-10 2019-08-09 合肥学院 一种蓝藻自动监测预警方法及其自动监测预警系统
CN112288345A (zh) * 2019-07-25 2021-01-29 顺丰科技有限公司 装卸口状态检测方法、装置、服务器及存储介质
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN110717414B (zh) * 2019-09-24 2023-01-03 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN111222574B (zh) * 2020-01-07 2022-04-05 西北工业大学 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN111222574A (zh) * 2020-01-07 2020-06-02 西北工业大学 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN112101182A (zh) * 2020-09-10 2020-12-18 哈尔滨市科佳通用机电股份有限公司 一种基于改进slic方法的铁路货车地板破损故障识别方法
CN112215893B (zh) * 2020-10-28 2022-10-28 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
CN112215893A (zh) * 2020-10-28 2021-01-12 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
WO2022110969A1 (zh) * 2020-11-27 2022-06-02 清华大学 无监督图像分割方法、电子设备和存储介质
CN112862930A (zh) * 2021-03-15 2021-05-28 网易（杭州）网络有限公司 游戏场景的处理方法、装置及电子设备
CN112862930B (zh) * 2021-03-15 2024-04-12 网易（杭州）网络有限公司 游戏场景的处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN107273905B (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN107273905A (zh) 一种结合运动信息的目标主动轮廓跟踪方法
Wang et al. Sgpn: Similarity group proposal network for 3d point cloud instance segmentation
Rafique et al. Scene understanding and recognition: statistical segmented model using geometrical features and Gaussian naïve bayes
Ren et al. Rgb-(d) scene labeling: Features and algorithms
CN109035293B (zh) 适用于视频图像中显著人体实例分割的方法
CN106997597B (zh) 一种基于有监督显著性检测的目标跟踪方法
CN104680141B (zh) 基于运动单元分层的人脸表情识别方法及系统
CN105869178B (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
Arif et al. Automated body parts estimation and detection using salient maps and Gaussian matrix model
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109919122A (zh) 一种基于3d人体关键点的时序行为检测方法
CN110717896B (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN105528575B (zh) 基于上下文推理的天空检测方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN103942577A (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN109558855B (zh) 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法
CN107808384A (zh) 基于网格化局部分水岭的模糊聚类方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN109784216B (zh) 基于概率图的车载热成像行人检测RoIs提取方法
Wang et al. Study on the method of transmission line foreign body detection based on deep learning
CN108734200A (zh) 基于bing特征的人体目标视觉检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant