CN102201060B - 一种基于形状语义的非参数轮廓跟踪评价方法 - Google Patents
一种基于形状语义的非参数轮廓跟踪评价方法 Download PDFInfo
- Publication number
- CN102201060B CN102201060B CN 201110144012 CN201110144012A CN102201060B CN 102201060 B CN102201060 B CN 102201060B CN 201110144012 CN201110144012 CN 201110144012 CN 201110144012 A CN201110144012 A CN 201110144012A CN 102201060 B CN102201060 B CN 102201060B
- Authority
- CN
- China
- Prior art keywords
- contour
- shape
- parametric
- outline
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了本发明涉及一种基于形状语义的非参数轮廓跟踪评价方法，主要包含步骤：首先采用最小空间距离法获得当前帧图像的非参数轮廓跟踪结果与标准轮廓位置间的对应关系；然后对非参数轮廓跟踪结果与标准轮廓进行二值化处理，提取每个轮廓点的形状上下文特征；最后在最小空间距离法获得的对象关系的局部区域中，采用金字塔匹配核进行搜索，从而获得基于轮廓语义的匹配关系和距离度量。本发明实现了有效的非参数轮廓跟踪结果的评价，是一种通用的方法，对于任意轮廓跟踪结果均适用，对于轮廓表示没有任何限制，无需采用控制点表示轮廓，也无需保证轮廓是闭合的；同时有效提高了搜索效率，提高了非参数轮廓评价的精确性，具有很好的应用前景。
Description
技术领域
本发明涉及本发明涉及计算机视觉领域，特别涉及一种基于形状语义的非参数轮廓跟踪(nonparametric contour tracking)的评价技术。
背景技术
目标跟踪是计算机视觉领域中非常重要的研究问题，因为它是高层视觉问题如运动分析和行为识别等研究的基础。从跟踪结果表示方式来说，现在跟踪算法大致可分为两大类：区域跟踪和轮廓跟踪。
一般来说，区域跟踪算法是采用窗口形式来表示物体。大多情况下，窗口采用矩形或椭圆形，由于矩形或椭圆形可以用一系列参数来表示，因此，区域跟踪结果的精确度可以通过简单地计算这些参数与标准窗口参数间的距离来获得，标准窗口参数为事先标定，从而实现区域跟踪结果的评价。然而，无论采用矩形窗口或椭圆窗口都包含很多背景和噪声像素，无法对目标物体进行精确的表达和分割，无法适用于目标行为识别和动画生成等需要精确分割的视觉应用领域。
轮廓跟踪算法采用目标物体的轮廓来表示跟踪结果，因此该类算法可以为一些高层计算机视觉任务提供坚实的基础，比如运动、行为分析和识别等。轮廓跟踪的主要问题是如何对跟踪结果进行有效的评价，特别是基于非参数轮廓表示的情况下，如水平集表示方法。由于目标的轮廓存在非刚性形变的特点，使得对目标的轮廓跟踪结果的评价变得异常困难。目前国内外对于轮廓跟踪结果的评价研究非常少。对于参数轮廓跟踪方法，如基于B样条曲线的轮廓跟踪，Tissainayagam和Suter提出了四种度量距离：轮廓距离误差、中心点误差、可变形状参数误差以及相对信噪比，这些度量距离在轮廓跟踪评价中取得了良好的效果。但是该类评价方法只适用于基于B样条曲线的轮廓跟踪结果。在基于B样条曲线的轮廓跟踪中，轮廓是通过一系列带控制点的B样条曲线来表示的，对于两个轮廓之间，控制点的对应关系是确定的，所以只需计算对应点的距离关系即可实现对两个轮廓相似度的评价。然而，对于非参数的轮廓跟踪方法，如基于水平集的轮廓跟踪，其轮廓的长度和形状都是时刻发生变化的，并且没有显示的表达方式，因此对两个轮廓之间的相似性进行评价是非常困难的。
发明内容
本发明的目的在于：为了克服现有技术的不足，本发明提供了一种基于形状语义的非参数轮廓跟踪评价方法。
为了实现上述目的，本发明采用了以下的技术方案：一种基于形状语义的非参数轮廓跟踪评价方法，包括以下步骤:（1）对于当前帧图像的非参数轮廓跟踪结果和标准轮廓，采用最小空间距离法获得轮廓跟踪结果所获得的轮廓和标准轮廓之间的像素对应关系；其中，非参数轮廓跟踪结果即采用非参数方法对轮廓进行表示的轮廓跟踪结果；标准轮廓即通过手工标注获得的标准目标轮廓。
（2）对非参数轮廓跟踪结果与标准轮廓进行二值化处理，提取非参数轮廓跟踪结果所获得的轮廓上每个像素点的形状上下文特征；其中，形状上下文特征是一种表示特定点局部领域内形状分布信息的描述子）（3）采用金字塔匹配核来计算非参数轮廓跟踪结果所获得的轮廓上每个像素点和标准轮廓像素点的形状上下文特征的相似度；其中，金字塔匹配核是一种多尺度直方图匹配的核函数。
（4）根据步骤（3）计算得到的形状上下文特征的相似度，在最小空间距离法获得的像素对应关系的局部区域中进行搜索，从而获得基于形状语义的非参数轮廓跟踪结果所获得的轮廓的像素点对应关系；（5）融合空间相似度和形状语义相似度来对两个轮廓整体相似性进行评价。
作为优选，所述的步骤（1）具体包括以下子步骤：
首先，对于非参数轮廓跟踪所获得轮廓上的任一像素点，采用最小欧氏距离寻找标准轮廓上的对应像素点；其次，依次获得非参数轮廓跟踪结果所获得轮廓的所有像素点与标准轮廓像素点的对应关系。
采用上述优选的方案后，基于最小欧氏距离的轮廓点对应关系可以为后续工作一个较好的初始估计，从而减少语义轮廓匹配的运算复杂度。
作为优选，所述的步骤（2）具体包括以下子步骤：首先，对非参数轮廓跟踪结果与标准轮廓进行二值化处理；其次，对于非参数轮廓跟踪结果所获得轮廓上的每一个像素点，提取其在3个尺度下的形状上下文特征，其中角度固定为12等分，尺度分别为48、96、192等分。
采用上述优选方案后，融合多尺度信息可以消除轮廓形状大小的影响。
作为优选，所述的步骤（3）具体包括以下子步骤：首先，对于非参数跟踪结果所获得轮廓与标准轮廓上两点的形状上下文直方图特征，采用直方图的交来获取不同尺度下匹配点的对数；其次，根据像素状态的维数和尺度的大小，确定每层尺度的权重；最后，将上述两个结果作为金字塔匹配核的参数来计算跟踪轮廓点和标准轮廓点的形状上下文特征的相似度。
采用上述的优选方案后，采用金字塔匹配核的参数进行计算，金字塔匹配核是一种多尺度直方图匹配的核函数，该核函数获得非常好的轮廓点对应关系。
作为优选，所述的步骤（4）具体包括以下子步骤：首先，在最小空间距离法获得的像素对应关系的局部区域中确定一个邻域；其次，对于轮廓跟踪结果上的任一一点，即轮廓跟踪结果所述获得轮廓上的任一像素点，搜索该领域中最小形状上下文特征距离的点，从而获得基于形状语义的轮廓点对应关系。
采用上述的优选方案后，在最小空间距离法获得的像素对应关系的领域中进行搜索，可以大大减少形状匹配的运算复杂度。
作为优选，所述的步骤（5）具体包括以下子步骤：首先，根据轮廓点的形状语义对应关系，计算对应轮廓点的空间相似度和形状语义相似度；
其次，对空间相似度和形状语义相似度进行归一化并进行融合，计算所有对应点距离的均值来对两个轮廓整体相似性进行评价。
采用上述的优选方案后，对空间相似度和形状语义相似度进行归一化并进行融合，这两种特征进行互补，从而获得更具判别性的结果。
本发明的有益效果：
（1）本发明所采用的评价算法是一种通用的方法，对于任意轮廓跟踪结果均适用，对于轮廓表示没有任何限制，无需采用控制点表示轮廓，也无需保证轮廓是闭合的；
（2）本发明提取轮廓点在不用尺度下的形状上下文特征，该特征可以有效的表示轮廓点领域内的形状语义信息，从而可以获得更符合形状语义和人类视觉的轮廓匹配点；
（3） 本发明金字塔匹配核来搜索基于形状上下文特征相似度的对应轮廓点的关系，可以有效地提高搜索效率；
（4）本发明融合了空间距离相似度和形状语义相似度，大大地提高了非参数轮廓评价的精确性。
下面结合说明书附图和具体实施方式对本发明做进一步介绍。
附图说明
图1为本发明实施例的系统方框图；
图2为本发明实施例非参数轮廓跟踪结果的轮廓图像；
图3为本发明实施例非参数轮廓跟踪结果的轮廓的离散点；
图4为本发明实施例形状上下文特征提取模板的参数模板；
图5为本发明实施例形状上下文特征直方图；
图6为本发明实施例基于最短距离点的局部搜索示意图；
图7为本发明实施例基于形状语义对应点的示意图。
具体实施方式
下面通过实施例对本发明进行具体的描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，该领域的技术工程师可根据上述发明的内容对本发明作出一些非本质的改进和调整。
如图1～图7所示，图1为本发明实施例的算法。本发明为一种基于形状语义的非参数轮廓跟踪评价方法，本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其他工作模式不再赘述。
本发明的实施例采用一台具有3.2G赫兹中央处理器和1G字节内存的奔腾4计算机并用Matlab语言编制了序列粒子群优化跟踪框架的工作程序，实现了本发明的方法，本发明的基于形状语义的非参数轮廓跟踪评价方法包括以下步骤：计算基于最短距离的对应点关系、提取轮廓各点的形状上下文特征即shape context、基于金字塔匹配核即pyramid match kernel的形状搜索、融合空间距离和形状语义距离的评价准则等模块，具体步骤如下所述：（1）对于当前帧图像的非参数轮廓跟踪结果和标准轮廓，采用最小空间距离法获得轮廓跟踪结果和标准轮廓之间的像素对应关系；如图3所示，给定t时刻图像的非参数轮廓跟踪结果和标准轮廓，首先提取获得轮廓的离散点，其中 
，
，分别表示轮廓跟踪结果和标准轮廓上的离散点；然后根据最短空间距离准则获得两组离散点基于空间距离的对应关系，对于跟踪结果上的任意一点
，可以通过解以下优化问题获得与其对应
。
(2)对非参数轮廓跟踪结果与标准轮廓进行二值化处理，提取每个轮廓点的形状上下文特征；首先需要对轮廓图像进行二值化，轮廓图像为图2 中的轮廓图像，其中轮廓上的像素点为1，其余像素点为0。设置形状上下文特征提取模板的参数。
如图4和图5所示，在本发明中，角度固定为12等分，尺度分别为48、96、192等分。对于二值图像中轮廓上任意一点，将给定的模板应用于该点上，提取其在3个尺度下的形状上下文特征直方图，如图5所示，记为
。同样的，用同样的处理方法处理第二个轮廓，得到一组向量。
(3)采用金字塔匹配核来计算跟踪轮廓点和标准轮廓点的形状上下文特征的相似度，金字塔匹配核即pyramid match kernel；
对于不同轮廓上两点的形状上下文直方图特征，采用直方图的交来获取不同尺度下匹配点的对数，
根据像素状态的维数和尺度的个数，确定每层尺度的权重
，其中
为像素空间位置的维数，在本发明中
；表示第尺度
。
在获得所有尺度下直方图的交和权重后，我们可以建立金字塔匹配核的相似度函数，为了使该相似度函数具有普适性，我们对其进行有效的归一化处理，具体操作如下，
其中，
为归一化因子，设置为
。
(4) 根据形状上下文特征的相似度，在最小空间距离法获得的对象关系的局部区域中进行搜索，从而获得基于形状语义的轮廓点对应关系；
步骤(1) 所确定的不同轮廓点的对应关系，那么对于轮廓一上的任意一点，在轮廓二上均有与之对应的点
，如图6所示。为了使得轮廓点的对应关系建立在轮廓点的形状语义基础上，我们在
的局部空间设置一个邻域
，见图6中的圆形领域，在该搜索该领域中搜索与轮廓点
具有最大语义形状相似度的点，具体操作如下：
基于上述过程，我们可以基于形状语义的轮廓点对应关系。
(5) 融合空间距离和形状语义距离来对两个轮廓整体相似性进行评价；
根据步骤 (4) 所确定的轮廓点形状语义对应关系，可以分别计算对应轮廓点的空间相似度和形状语义相似度，
对空间距离和形状语义距离进行归一化并进行融合，使得评价机制既反应轮廓间的空间相似性和形状语义相似性。
其中，
分别为两种相似度度量的权重，在本发明中
。
如图7所示，十字符号和菱形符号分别代表轮廓跟踪结果和标准轮廓上的店，线段连接对应的点vv。
Claims (5)
1.一种基于形状语义的非参数轮廓跟踪评价方法，其特征在于：包括以下步骤:
（1）对于当前帧图像的非参数轮廓跟踪结果和标准轮廓，采用最小空间距离法获得轮廓跟踪结果所获得的轮廓和标准轮廓之间的像素对应关系；
（2）对非参数轮廓跟踪结果与标准轮廓进行二值化处理，提取非参数轮廓跟踪结果所获得的轮廓上每个像素点的形状上下文特征，提取标准轮廓像素点的形状上下文特征；
（3）采用金字塔匹配核来计算非参数轮廓跟踪结果所获得的轮廓上每个像素点和标准轮廓像素点的形状上下文特征的相似度；
（4）根据步骤（3）计算得到的形状上下文特征的相似度，首先，在最小空间距离法获得的像素对应关系的局部区域中确定一个邻域；其次，对于轮廓跟踪结果上的任一一点，搜索该邻域中最小形状上下文特征距离的点，从而获得基于形状语义的非参数轮廓跟踪结果所获得的轮廓的像素点对应关系；
（5）根据轮廓点的形状语义对应关系，计算对应轮廓点的空间相似度和形状语义相似度，融合空间相似度和形状语义相似度来对两个轮廓整体相似性进行评价。
2.根据权利要求1所述的基于形状语义的非参数轮廓跟踪评价方法，其特征在于：所述的步骤（1）具体包括以下子步骤:首先，对于非参数轮廓跟踪所获得轮廓上的任一像素点，采用最小欧氏距离寻找标准轮廓上的对应像素点；其次，依次获得非参数轮廓跟踪结果所获得轮廓的所有像素点与标准轮廓像素点的对应关系。
3.根据权利要求1所述的基于形状语义的非参数轮廓跟踪评价方法，其特征在于：所述的步骤（2）具体包括以下子步骤：首先，对非参数轮廓跟踪结果与标准轮廓进行二值化处理；其次，对于非参数轮廓跟踪结果所获得轮廓上的每一个像素点，提取其在3个尺度下的形状上下文特征，其中角度固定为12等分，尺度分别为48、96、192等分。
4.根据权利要求1所述的基于形状语义的非参数轮廓跟踪评价方法，其特征在于：所述的步骤（3）具体包括以下子步骤：首先，对于非参数跟踪结果所获得轮廓与标准轮廓上两点的形状上下文直方图特征，采用直方图的交来获取不同尺度下匹配点的对数；其次，根据像素状态的维数和尺度的大小，确定每层尺度的权重；最后，将上述两个结果作为金字塔匹配核的参数来计算跟踪轮廓点和标准轮廓点的形状上下文特征的相似度。
5.根据权利要求1所述的基于形状语义的非参数轮廓跟踪评价方法，其特征在于：所述的步骤（5）具体包括以下子步骤：首先，根据轮廓点的形状语义对应关系，计算对应轮廓点的空间相似度和形状语义相似度；其次，对空间相似度和形状语义相似度进行归一化并进行融合，计算所有对应点距离的均值来对两个轮廓整体相似性进行评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110144012 CN102201060B (zh) | 2011-05-31 | 2011-05-31 | 一种基于形状语义的非参数轮廓跟踪评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110144012 CN102201060B (zh) | 2011-05-31 | 2011-05-31 | 一种基于形状语义的非参数轮廓跟踪评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102201060A CN102201060A (zh) | 2011-09-28 |
| CN102201060B true CN102201060B (zh) | 2013-01-02 |
Family
ID=44661723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110144012 Expired - Fee Related CN102201060B (zh) | 2011-05-31 | 2011-05-31 | 一种基于形状语义的非参数轮廓跟踪评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102201060B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123712B (zh) * | 2013-04-26 | 2017-07-28 | 富士通株式会社 | 相似度计算装置和方法与对象识别设备和方法 |
| CN104851095B (zh) * | 2015-05-14 | 2017-12-26 | 江南大学 | 基于改进型形状上下文的工件图像稀疏立体匹配方法 |
| CN110059521B (zh) * | 2018-01-18 | 2022-05-13 | 浙江宇视科技有限公司 | 目标跟踪方法及装置 |
| CN111104947A (zh) * | 2019-11-21 | 2020-05-05 | 凌云光技术集团有限责任公司 | 基于特征一致性的干扰轮廓滤除方法和系统 |
| CN113983957B (zh) * | 2021-10-29 | 2023-03-21 | 西南交通大学 | 多源信息融合的轮对廓形动态识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070098221A1 (en) * | 2005-10-27 | 2007-05-03 | Charles Florin | Method for detection and tracking of deformable objects using adaptive time-varying autoregressive model |
| CN101639935B (zh) * | 2009-09-07 | 2012-07-04 | 南京理工大学 | 基于几何活动轮廓目标跟踪的数字人连续切片图像分割方法 |
-
2011
- 2011-05-31 CN CN 201110144012 patent/CN102201060B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102201060A (zh) | 2011-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Robust face alignment under occlusion via regional predictive power estimation | |
| CN107742102B (zh) | 一种基于深度传感器的手势识别方法 | |
| CN103295242B (zh) | 一种多特征联合稀疏表示的目标跟踪方法 | |
| WO2019018063A1 (en) | FINAL GRAIN IMAGE RECOGNITION | |
| CN103679154A (zh) | 基于深度图像的三维手势动作的识别方法 | |
| CN107123130B (zh) | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN106570480A (zh) | 一种基于姿势识别的人体动作分类方法 | |
| CN102201060B (zh) | 一种基于形状语义的非参数轮廓跟踪评价方法 | |
| Li et al. | Semantic scan context: a novel semantic-based loop-closure method for LiDAR SLAM | |
| CN105118051B (zh) | 一种应用于静态图像人体分割的显著性检测方法 | |
| Kim et al. | Real-time facial feature extraction scheme using cascaded networks | |
| US9081800B2 (en) | Object detection via visual search | |
| CN106023184A (zh) | 一种基于各向异性中心环绕差异的深度显著性检测方法 | |
| Zou et al. | Shape-based retrieval and analysis of 3D models using fuzzy weighted symmetrical depth images | |
| CN102004921A (zh) | 基于图像特征分析的目标辨识方法 | |
| CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
| Guo et al. | A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects | |
| Sun et al. | Selective embedding with gated fusion for 6D object pose estimation | |
| Shih | Hand gesture recognition using color-depth association for smart home | |
| Liao et al. | Local feature matching from detector-based to detector-free: a survey | |
| Dyana et al. | Combining features for shape and motion trajectory of video objects for efficient content based video retrieval | |
| Zhang et al. | 3D Gesture Estimation from RGB Images Based on DB-InterNet | |
| Zhou et al. | Overview on Interest Point Detection Over 40 Year’s Development: A Review | |
| Duan et al. | Zero‐Shot 3D Pose Estimation of Unseen Object by Two‐step RGB-D Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20110928 Assignee: Zhejiang Gela Weibao Glass Technology Co., Ltd. Assignor: Wenzhou University Contract record no.: 2014330000386 Denomination of invention: Method for tracking and evaluating nonparametric outline based on shape semanteme Granted publication date: 20130102 License type: Common License Record date: 20141010 Application publication date: 20110928 Assignee: NEW DIMENSION SYSTEMS CO., LTD. Assignor: Wenzhou University Contract record no.: 2014330000385 Denomination of invention: Method for tracking and evaluating nonparametric outline based on shape semanteme Granted publication date: 20130102 License type: Common License Record date: 20141010 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20180531 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |