CN103218825B

CN103218825B - 一种尺度不变的时空兴趣点快速检测方法

Info

Publication number: CN103218825B
Application number: CN201310083702.6A
Authority: CN
Inventors: 姚开博; 桑农
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2013-03-15
Filing date: 2013-03-15
Publication date: 2015-07-08
Anticipated expiration: 2033-03-15
Also published as: CN103218825A

Abstract

本发明应用于动作识别、表情分析、视频检索、机器人导航、人机交互、目标检测及跟踪等视频分析领域；公开了一种尺度不变的时空兴趣点快速检测方法，该方法包括：设置时空兴趣点检测算子在不同时空尺度下的参数；输入连续的视频帧后，计算积分视频；计算像素点的时空兴趣点检测算子响应函数，得到多时空尺度强度响应映射图；选择时空尺度；经过非最大值抑制，得到候选的时空兴趣点；将边缘响应的候选时空兴趣点去除，得到检测结果。本发明可以检测出显著和鲁棒的局部时空特征点，定位准确；有较强抵抗噪声干扰的能力；有一定抗遮挡、旋转、时空尺度变化能力；实时性能好；通过域值选择可决定输出稀疏或稠密的点集。

Description

一种尺度不变的时空兴趣点快速检测方法

技术领域

本发明属于视频分析领域，更具体地，涉及一种尺度不变的时空兴趣点快速检测方法。

背景技术

近年来，在空间域基于关键点的局部视点不变特征成功地应用了在目标识别和图像匹配上，但在空间-时间域，关键点检测方法研究虽然已有所进展，但是成果有限。目前在国际上公开发表的论文文献中已经提出了9种主要时空兴趣点检测方法，主要分为角点检测法和团块检测法两类。

2003年，I.Laptev和T.Lindberg最先提出Harris时空兴趣点检测方法，他们将2维兴趣点检测思想从空间域推广至空间－时间域，这种推广考虑了视频数据的3维本质，可以在空间和时间方向上定位局部点特征，较好地克服了尺度、速度、视角等变化影响，但检测到的时空角点是稀疏的，不能完成多种动作的分类。2005年，P.Dollar等人发现时空兴趣点法在一些应用领域中表示行为所存在的问题，提出了基于Gabor滤波器的特征检测，它可以同时应用于空间域和时间域，获得了一个稠密集合，有利于更明显的表示多种行为。该集合在一定程度上可以是稀疏的，但是过于稀疏对行为的有效表示会产生若干问题，同时该方法不能进行时空尺度变换。2005年，Y.Ke等人将积分图推广到积分视频，提出体积特征检测方法，其尺度可以进行选择，可以获得大量的特征点，并可以实现高效的计算特征点，但得到的点太多，需要进行重采样计算金字塔图像。2006年，A.Oikonomopoulos等人提出了一种基于熵度量方法的兴趣点检测方法，它是Kadir和Brady的兴趣点检测方法的一种改进形式。他们将凸点与时空区域的熵相关联，描述了检测兴趣点的一个框架，其尺度特性取决于最大熵。在行为数据集上测试了该描述符，获得了较好的识别结果，但该方法提取的点是是稀疏，且计算效率低。2008年，G.Willems等人提出了，基于3维Hessian矩阵的时空兴趣点检测方法，将2维SURF中特征定位方法盒子过滤器推广到3维，该方法不用计算高斯时空尺度变化，只需改变3维盒子过滤器尺寸大小，定位和时空尺度选择同时完成。2009年Wong和R.Cipolla提出了全局信息检测方法。该检测方法在标准数据库上测试时，可以容易检测到时空兴趣点的全局信息，产生稀疏的点集，但需要动作完整的视频。另外还有MSER和V-FAST检测方法，据2012年Tsz-Ho Yu和J.Woodford对7种检测算子性能评价后指出，MSER和V-FAST是其中速度最慢的两种方法。

以上论述各种方法都是基于各种不同的兴趣点度量方法检测，各有优缺点。存在问题有：或生成点数量稀疏，或运算量大，或不抗时空尺度变化，或检测出的兴趣点时空位置不准确。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种尺度不变的时空兴趣点快速检测方法，旨在解决现有技术基于各种不同的兴趣点度量方法检测导致生成点数量稀疏、运算量大和时空位置不准确的问题。

本发明提供了一种尺度不变的时空兴趣点快速检测方法，包括下述步骤：

S1：根据三维双层LOG最优化函数设置时空兴趣点检测算子在不同时空尺度下的参数；

S2：从待处理的视频中获取灰度帧图像序列；

S3：对所述灰度帧图像序列中每个像素点的灰度值进行积分运算获得积分视频；并根据所述积分视频获得所述检测算子内、外层的体积；

S4：根据检测算子内、外层的体积获得时空兴趣点检测算子的响应函数，并根据响应函数获得多时空尺度下的强度响应映射图；

S5：在强度响应映射图中，选取各个像素点的多个不同时空尺度对应的强度响应值，将多个强度响应值中最大的强度响应值与第一阈值进行比较，当最大的强度响应值大于第一阈值，将当前像素点响应的极值处对应的时空尺度作为当前尺度；

S6：将当前尺度下强度响应值对应的像素点作为时空兴趣点集的第一候选点，所述第一候选点属于第一候选点集合；

S7：在强度响应映射图中的所述第一候选点的邻域内，当第一候选点对应的强度响应值是该邻域的局部最大值时，将第一候选点作为第二候选点，第二候选点属于第二候选点集合；

S8：将所述第二候选点的强度响应值与第二阈值进行比较，当第二候选点的强度响应值大于第二阈值时，将所述第二候选点作为第三候选点，所述第三候选点属于第三候选点集合；

S9：在强度响应映射图中对所述第三候选点的强度响应值进行处理获得三阶Hessian矩阵，并计算Hessian矩阵的行列式和迹；

S10：当所述行列式小于等于零或迹大于第三阈值时，在所述第三候选点集合中去除Hessian矩阵对应的第三候选点，并将第三候选点集合中保留下的时空兴趣点作为检测结果。

更进一步地，在步骤S1中，所述三维双层LOG最优化函数为：

[R_{i}^{*}, R_{o}^{*}, c_{i}^{*}, c_{o}^{*}] = \arg_{R_{i}, R_{o}, c_{i}, c_{o}}

min 　e_p(R_i,R_o,c_i,c_o)

s.t.

c_{i} \cdot ΣΣ Σ_{x^{2} + y^{2} + t^{2} \leq R_{i}^{2}} 1 = c_{o} \cdot ΣΣ Σ_{R_{i}^{2} < x^{2} + y^{2} + t^{2} \leq R_{o}^{2}} 1;

R_i、R_o、c_i、c_o分别为时空兴趣点检测算子的里半径、外半径、里权重和外权重的初始值，s.t.表示约束，e_p(R_i,R_o,c_i,c_o)为误差函数；x，y，t为视频像素点的空间位置坐标，为不同时空尺度下对应的里半径、外半径、里权重和外权重的最优化结果。

更进一步地，在步骤S1中，所述时空兴趣点检测算子由两个形状相同、体积大小不同、中心点位置相同的几何体内外嵌套构成；所述几何体呈几何中心对称。

更进一步地，所述时空兴趣点检测算子为双层立方体检测算子、双层球体检测算子或双层多面体检测算子。

更进一步地，在步骤S4中，双层立方体检测算子对应的响应函数为：

令

R_{i} = R_{i}^{*},

R_{o} = R_{o}^{*},

c_{i} = c_{i}^{*},

c_{o} = c_{o}^{*},

R (x, y, t) = | c_{i} \cdot \underset{| x | \leq R_{i}}{Σ} \underset{| y | \leq R_{i}}{Σ} \underset{| t | \leq R_{i}}{Σ} v (x, y, t) - c_{o} \cdot \underset{R_{i} < | x | \leq R_{o}}{Σ} \underset{R_{i} < | y | \leq R_{o}}{Σ} \underset{R_{i} < | t | \leq R_{o}}{Σ} v (x, y, t) |,

v(x，y，t)为像素点(x，y，t)的灰度值。

更进一步地，在步骤S5中，所述当前尺度s^*=arg_s'∈Scmax resMap(x,y,t,s')；s’表示时空尺度，集合Sc={1，2，…，N}，resMap(x,y,t,s')为多时空尺度下的强度响应映射图，其数据结构用一个4维数组表示。

更进一步地，所述第一阈值的取值范围为（0，1），所述第二阈值的取值范围为（5，500），所述第三阈值的取值范围为[0，+∞）。

更进一步地，当所述第二阈值越大时，所述时空兴趣点集越稀疏；当所述第二阈值越小时，所述时空兴趣点集越稠密。

更进一步地，在步骤S7中，通过逻辑公式R>RC判断所述第一候选点对应的强度响应值是否为该邻域的局部最大值，其中resMap(x',y',t',s'),x',y',t',s'为时空强度响应映射图中位置下标。

更进一步地，在步骤S9中，所述三阶Hessian矩阵

H (x, y, t) = [\begin{matrix} R_{xx} & R_{xy} & R_{xt} \\ R_{xy} & R_{yy} & R_{yt} \\ R_{xt} & R_{yt} & R_{tt} \end{matrix}],

R_xx，R_xy，R_xt，R_yy，R_yt，R_tt是检测算子响应函数沿x，y，t轴方向的二阶导数。

本发明提供的尺度不变的时空兴趣点快速检测方法先用函数逼近的思想设计出时空兴趣点检测算子，再用检测算子去检测时空兴趣点；在连续的视频帧或图像序列中，检测出最显著和鲁棒的局部时空特征点，定位准确，检测点数量可调节，有较强抵抗噪声干扰的能力；实时性能优异，时空尺度不变，抗噪声和重复性好；有一定抗遮挡、抗旋转、抗时空尺度变化的能力；还可以通过域值选择决定输出稀疏或稠密的点集。

附图说明

图1是本发明实施例提供的尺度不变的时空兴趣点快速检测方法实现流程图；

图2是本发明实施例提供的三维双层LOG检测算子形状变化图；

（a）双层球体检测算子；（b）、（c）双层多面体检测算子；（d）双层立方体检测算子；

图3是本发明在KTH(瑞典皇家理工学院)人的动作数据集上对时空兴趣点的检测结果示例；

（a）拍手动作视频，镜头由远到近；（b）跑步动作视频，人由远到近，从视频画面右上角小跑到左下角；（c）挥手动作视频。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的尺度不变的时空兴趣点快速检测方法在连续的视频帧或图像序列中，检测出最显著和鲁棒的局部时空特征点，该方法检测点数量可调节，实时性能优异，时空尺度不变，抗噪声和重复性好，可以应用于相关的动作识别、表情分析、机器人导航、人机交互、视频检索、目标跟踪等领域。

图1示出了本发明实施例提供的尺度不变的时空兴趣点快速检测方法实现流程，具体包括下述步骤：

S2：从待处理的视频中获取灰度帧图像序列；

S7：在强度响应映射图中的所述第一候选点的邻域内，如果第一候选点对应的强度响应值是该邻域的局部最大值，则将第一候选点作为第二候选点，第二候选点属于第二候选点集合；

S8：将第二候选点的强度响应值与第二阈值进行比较，若第二候选点的强度响应值大于第二阈值，则将所述第二候选点作为第三候选点，所述第三候选点属于第三候选点集合；

S9：在强度响应映射图中对第三候选点的强度响应值进行处理获得三阶Hessian矩阵，并计算Hessian矩阵的行列式和迹；

S10：当所述行列式小于等于零或迹大于第三阈值时，在所述第三候选点集合中去除Hessian矩阵对应的第三候选点；将第三候选点集合中保留下的时空兴趣点作为检测结果。

在本发明实施例中，时空兴趣点检测算子可以根据下述方式设计：

（1）三维LoG函数（LoG3D）公式的定义：

LoG 3 D (x, y, t, σ, τ) = \frac{1}{{(2 π)}^{3 / 2} σ^{2} τ} \cdot (\frac{2}{σ^{2}} - \frac{x^{2} + y^{2}}{σ^{4}} + \frac{1}{τ^{2}} - \frac{t^{2}}{τ^{4}}) \cdot e^{- \frac{1}{2} \frac{x^{2} + y^{2}}{σ^{2}} - \frac{1}{2} \frac{t^{2}}{τ^{2}}},

其中x，y，t为空间点位置坐标，σ为x，y方向的空间尺度，τ为t方向空间尺度。如果直接用LoG3D作可变时空尺度的兴趣点检测算子，计算量巨大。很难想象用它来通过时空尺度变化生成一组不同的3维模板(m×n×k)，再分别与3维视频数据作卷积运算而只得到一个像素灰度值的强度响应，这也是少有学者在这方面作深入探讨的原因。

（2）本发明提出一种三维双层球体LOG函数(BLoG3D)去逼近LoG3D函数(令σ=τ)，公式如下：

BLoG 3 D (x, y, t, R_{i}, R_{o}, c_{i}, c_{o}) = \{\begin{matrix} c_{i} & x^{2} + y^{2} + t^{2} \leq R_{i}^{2} \\ c_{o} & R_{i}^{2} < x^{2} + y^{2} + t^{2} \leq R_{o}^{2} \\ 0 & x^{2} + y^{2} + t^{2} > R_{o}^{2} \end{matrix},

其中x，y，t为视频像素点的空间点位置坐标，R_i、R_o、c_i、c_o分别为时空兴趣点检测算子的里半径、外半径、里权重和外权重的初始值；其中里半径是指内层中心点至内层表面的距离；外半径是指外层中心点至外层表面的距离；里权重指内层体积积分系数；外权重指外层体积积分系数。

（3）这种逼近被公式化为最优化问题，BLoG3D算子参数被优化到使逼近函数与被逼近函数的误差的p-范数达到最小。误差函数定义为：

e_p（R_i,R_o,c_i,c_o）=||BLoG3D（x,y,t,R_i,R_o,c_i,c_o）-LoG3D（x,y,t,σ）||_p,其中p∈{1,2,∞}，表达式为p-范数，使BLoG3D算子有零响应，其它参数意义不变。其三维双层球体LOG最优化函数定义为：

[R_{i}^{*}, R_{o}^{*}, c_{i}^{*}, c_{o}^{*}] = \arg_{R_{i}, R_{o}, c_{i}, c_{o}}

min e_p(R_i,R_o,c_i,c_o)

s.t.

c_{i} \cdot ΣΣ Σ_{x^{2} + y^{2} + t^{2} \leq R_{i}^{2}} 1 = c_{o} \cdot ΣΣ Σ_{R_{i}^{2} < x^{2} + y^{2} + t^{2} \leq R_{o}^{2}} 1,

其中s.t.表示约束，为不同时空尺度下对应的里半径、外半径、里权重和外权重的最优化结果。

（4）这是个高度非线性最优化问题，求解得到一组不同时空尺度下的算子参数。下给出一组p=1时的1-范数，时空尺度(σ)的相应算子的最优化参数如表一所示，其中，1≤s≤N，N≤7。

表一

（5）相应的BLoG3D算子的响应函数定义为：

令

R_{i} = R_{i}^{*},

R_{o} = R_{o}^{*},

c_{i} = c_{i}^{*},

c_{o} = c_{o}^{*},

R (x, y, t) = | c_{i} \cdot ΣΣ Σ_{x^{2} + y^{2} + t^{2} \leq R_{i}^{2}} v (x, y, t) - c_{o} \cdot ΣΣ Σ_{R_{i}^{2} < x^{2} + y^{2} + t^{2} \leq R_{o}^{2}} v (x, y, t) |,

其中运算符|·｜表示对表达式取绝对值，v(x，y，t)为像素点(x，y，t)的灰度值,其它参数意义不变。

（6）为了采用积分视频进行快速计算，本发明采用双层立方体LoG函数(CBLoG3D)替换BLoG3D函数去逼近LoG3D函数，通过最优化函数可求出不同算子的参数。该函数实时性最好。

CBLoG 3 D (x, y, t, R_{i}, R_{o}, c_{i}, c_{o}) = \{\begin{matrix} c_{i} & | x | \leq R_{i}, | y | \leq R_{i}, | t | \leq R_{i} \\ c_{o} & R_{i} < | x | \leq R_{o}, R_{i} < | y | \leq R_{o}, R_{i} < | t | \leq R_{o} \\ 0 & | x | > R_{o}, | y | > R_{o}, | t | > R_{o} \end{matrix}

其中运算符|·|表示对表达式取绝对值，其它参数意义不变。相应的CBLoG3D算子的响应函数为：令

R_{i} = R_{i}^{*},

R_{o} = R_{o}^{*},

c_{i} = c_{i}^{*},

c_{o} = c_{o}^{*},

R (x, y, t) = | c_{i} \cdot \underset{| x | \leq R_{i}}{Σ} \underset{| y | \leq R_{i}}{Σ} \underset{| t | \leq R_{i}}{Σ} v (x, y, t) - c_{o} \cdot \underset{R_{i} < | x | \leq R_{o}}{Σ} \underset{R_{i} < | y | \leq R_{o}}{Σ} \underset{R_{i} < | t | \leq R_{o}}{Σ} v (x, y, t) |,

参数意义不变。

（7）本发明的时空检测算子的形状及结构基本特征为：检测算子由两个形状相同、体积大小不同、中心点位置相同的几何体内外嵌套构成，所述几何体呈几何中心对称。检测算子可以为双层立方体检测算子、双层球体检测算子或双层多面体检测算子。

典型的检测算子形状变化如图2所示，从左至右，相应算子的抗旋转能力依次减弱，计算复杂性依次降低，但计算效率依次提高。

作为本发明的一个实施例，当检测算子选用双层立方体检测算子(CBLoG3D)时，可以设置N组不同时空间尺度(s)下的参数，如表二所示，内层和外层立方体边长分别为和个像素。

表二

可以设置用于过滤时空兴趣点的第一阈值T1、第二阈值T2和第三阈值T3的范围为：0＜T1<1，5＜T2<500，0≤T3。第一阈值T1取很小时，可以使更多的点成为候选点，使最终结果检测到准确合适的特征点，但计算代价增大，实践中可根据应用目的选取合适值。第二阈值T2越大时，时空兴趣点集所得结果越稀疏；反之，点集越稠密。第三阈值T3用于辅助去除边缘响应处的候选时空兴趣点。这个实例中，第一阈值T1、第二阈值T2、第三阈值T3可以分别取0.5、10.0、0.0。

在本发明的时空兴趣点检测算子设计基本原理下，本领域的技术人员可以在所附权利要求范围内对检测算子作出其它变形或修改，参数相应有不同的取法。

在本发明实施例中，步骤S2中读入待处理的视频并作预处理；从视频文件（或图像序列、或摄像头等）读入帧图像。如果是彩色图像，则将每一帧转化为灰度图像，结果得到灰度帧图像序列，像素点灰度值表示为v(x，y，t)，其中x，y，t为视频像素点的空间点位置坐标。

在本发明实施例中，步骤S3中计算体积积分，得到积分视频；具体为：像素点v(x，y，t)的积分视频定义为小于等于(x，y，t)位置的所有像素灰度值之和；计算公式如下：

cv (x, y, t) = Σ_{x^{,} = 1}^{x} Σ_{y^{,} = 1}^{y} Σ_{t^{,} = 1}^{t} v (x^{,}, y^{,}, t^{,}),

其中x',y',t'为灰度帧图像序列中像素点的位置下标。使用积分视频快速计算时空兴趣点检测算子内外两层的体积，体积计算公式为：

vol(x,y,t,R)=e-a-f-g+b+c+h-d,　其中

R &Element; {R_{i}, R_{o}}, \{\begin{matrix} d = cv (y - R - 1, x - R - 1, t - R - 1); \\ c = cv (y + R, x - R - 1, t - R - 1); \\ h = cv (y - R - 1, x + R, t - R - 1); \\ g = cv (y + R, x + R, t - R - 1); \\ b = cv (y - R - 1, x - R - 1, t + R); \\ a = cv (y + R, x - R - 1, t + R); \\ f = cv (y - R - 1, x + R, t + R); \\ e = cv (y + R, x + R, t + R) . \end{matrix}

在本发明实施例中，步骤S4中可以通过公式R(x,y,t,s)＝|c_o(s)·[vol(x,y,t,R_o(s))-vol(x,y,t,R_i(s))]-c_i(s)·vol(x,y,t,R_i(s))|计算本发明的时空兴趣点检测算子响应函数；其中，c_o(s)，c_i(s)，R_o(s)，R_i(s)分别为相应尺度s下的参数。像素点的任意1个尺度空间下强度响应值计算只要14个加法，2个乘法即可完成，而且运算时间是常数，计算效率高。

结果得到多时空尺度强度响应映射图，其数据结构用个4维数组表示为resMap(x，y，t，s)，用于存放当前帧t、图像位置(x，y)的像素，在不同时空尺度s下的CBLoG3D检测算子响应函数的值R(x，y，t，s)。1≤s≤N，N≤9，一般取5就可以满足需要。

在本发明实施例中，在步骤S5中，当resMap(x，y，t，s)>T1，取响应强度极值处的时空尺度为当前尺度s^*，s^*=arg_s'∈Scmax resMap(x,y,t,s')，其中s’表示时空尺度，集合Sc={1，2，…，N}。将当前尺度下强度响应值最大值对应的像素点作为时空兴趣点集的第一候选点P_k，第一候选点集合CP₁={P_k}，1≤k≤M₁，M₁为CP₁的元素个数。

在本发明实施例中，在步骤S7中，在多时空尺度强度响应映射图中找出局部最大值，得到时空兴趣点的候选点。在强度响应映射图中第一候选点Pk邻域内，将强度响应最大值对应的像素点作为第二候选点P_i，第二候选点集合CP₂={p_i}，1≤i≤M₂，M₂为CP₂元素个数；响应映射图中当前帧t、位置(x，y)，令尺度层s=s^*，该点响应强度为R=resMap(x，y，t，s)。当R同时大于周围80个点的响应值时，此为局部最大值。

作为本发明的一个实施例，在步骤S7中，可以通过逻辑公式R>｜RC｜判断所述第一候选点对应的强度响应值是否为该邻域的局部最大值；其中resMap(x',y',t',s')；x',y',t',s'为时空强度响应映射图中位置下标。

在本发明实施例中，可以通过选择合适的第二阈值大小来确定时空兴趣点集的稀疏或稠密；当第二阈值越大时，时空兴趣点集越稀疏；当第二阈值越小时，时空兴趣点集越稠密。

在本发明实施例中，将第二候选点Pi的强度响应值R＞第二阈值T2对应的时空兴趣点作为第三候选点P_h，第三候选点集合CP₃={p_h}，1≤h≤M₃，M₃为CP₃元素个数。

由于沿着边缘上的特征定位表现不很稳定，所以在边缘上响应的候选时空兴趣点要去除。本发明采用三阶Hessian矩阵来计算，其行列式和迹可用来计算时空主曲率的比例。去除该边缘响应点后，得到最终时空兴趣点。

当前时空尺度下的三阶Hessian矩阵如下：

H (x, y, t) = [\begin{matrix} R_{xx} & R_{xy} & R_{xt} \\ R_{xy} & R_{yy} & R_{yt} \\ R_{xt} & R_{yt} & R_{tt} \end{matrix}],

其中R_xx，R_xy，R_xt，R_yy，R_yt，R_tt是检测算子响应函数R沿x，y，t轴方向的二阶导数。当H的行列式：Det(H(x,y,t))＝｜H(x,y,t)｜≤0时，去除该候选时空兴趣点,这里|·|表达式指计算矩阵的行列式；或当H的迹：tr(H(x,y,t))=Rxx+Ryy+Rtt>T3时，从CP₃中去除Hessian矩阵对应的第三候选点。

将第三候选点集合CP₃中保留下的点作为时空兴趣点检测结果。每个点包括属性有时空位置（x，y，t）、空间尺度（s）和时空兴趣点响应强R。

本发明实施例提供的尺度不变的时空兴趣点快速检测方法与现有方法相比，可以通过选择阈值可决定输出稀疏或稠密的结果点集。具有实时性能优异，不用计算高斯时空尺度变化，兴趣点定位与时空尺度选择同时完成。计算1个时空点的强度响应，14个加法和2个乘法运算就可完成，并且在任意时空尺度空间下的计算时间都是这个常数。可以检测出显著和鲁棒的局部时空特征点，定位准确，重复性好。如果后续应用有特定要求，还可采用进一步的算法抑制不需要的时空兴趣点，如在空间背景上和在时间轴方向上抑制。具有较强抵抗噪声干扰的能力。具有一定抗遮挡、旋转、时空尺度变化能力。

本发明提供的尺度不变的时空兴趣点快速检测方法可以应用于动作识别、表情分析、机器人导航、人机交互、视频检索、目标跟踪等视频分析领域；图3示出本发明应用于具体实例中在KTH(瑞典皇家理工学院)人的动作数据集上时空兴趣点的检测结果。

为方便显示说明，从3个动作视频中分别选出9帧有代表性的时空兴趣点检测结果的图像依次显示，得到3个示例。其中圆圈中心表示检测到的兴趣点在图像中的位置（x，y），当前帧图像代表了此点在视频中所处时间位置（t），圆圈半径可表示出兴趣点的时空尺度（s）大小。图3（a）是拍手动作视频：摄像镜头由远到近，人的动作图像有时空尺度变化。人在拍手时，人肩部、手部、腰部和脚部运动的位置被准确检测到，可重复性、鲁棒性很好；图3（b）是跑步动作视频：人从视频画面右上角小跑到左下角，从远到近，人大小存在时空尺度变化。人的手臂、臀部、腰部和腿脚部运动的位置被准确检测到，可重复性、鲁棒性很好；图3（c）挥手动作视频，人的头部、手部、腰部和脚部运动的位置被准确检测到，可重复性、鲁棒性很好。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种尺度不变的时空兴趣点快速检测方法，其特征在于，包括下述步骤：

S2：从待处理的视频中获取灰度帧图像序列；

S10：当所述行列式小于等于零或迹大小第三阈值时，在所述第三候选点集合中去除Hessian矩阵对应的第三候选点，并将第三候选点集合中保留下的时空兴趣点作为检测结果；

在步骤S1中，所述三维双层LOG最优化函数为：

\begin{matrix} [R_{i}^{*}, R_{o}^{*}, c_{i}^{*}, c_{o}^{*}] = \arg_{R_{i}, R_{o}, c_{i}, c_{o}} \min e_{p} (R_{i}, R_{o}, c_{i}, c_{o}) \\ s . t . \\ c_{i} \cdot ΣΣ Σ_{x^{2} + y^{2} + t^{2} \leq R_{i}^{2}} 1 = c_{o} \cdot ΣΣ Σ_{R_{i}^{2} < x^{2} + y^{2} + t^{2} \leq R_{o}^{2}} 1 \end{matrix};

R_i、R_o、c_i、c_o分别为时空兴趣点检测算子的里半径、外半径、里权重和外权重的初始值，s.t.表示约束，e_p(R_i,R_o,c_i,c_o)为误差函数；x，y，t为视频像素点的空间位置坐标，为不同时空尺度下对应的里半径、外半径、里权重和外权重的最优化结果；

在步骤S4中，双层立方体检测算子对应的响应函数为：

R (x, y, t) = | c_{i} \cdot \underset{| x | \leq R_{i}}{Σ} \underset{| y | \leq R_{i}}{Σ} \underset{| t | \leq R_{i}}{Σ} v (x, y, t) - c_{o} \cdot \underset{R_{i} < | x | \leq R_{o}}{Σ} \underset{R_{i} < | y | \leq R_{o}}{Σ} \underset{R_{i} < | t | \leq R_{o}}{Σ} v (x, y, t) |;

v(x，y，t)为像素点(x，y，t)的灰度值。

2.如权利要求1所述的检测方法，其特征在于，在步骤S1中，所述时空兴趣点检测算子由两个形状相同、体积大小不同、中心点位置相同的几何体内外嵌套构成；所述几何体呈几何中心对称。

3.如权利要求2所述的检测方法，其特征在于，所述时空兴趣点检测算子为双层立方体检测算子、双层球体检测算子或双层多面体检测算子。

4.如权利要求1所述的检测方法，其特征在于，在步骤S5中，所述当前尺度s*＝arg_s'∈Sc max resMap(x,y,t,s')；s’表示时空尺度，集合Sc＝{1，2，…，N}，resMap(x,y,t,s')为多时空尺度下的强度响应映射图，其数据结构用一个4维数组表示。

5.如权利要求1所述的检测方法，其特征在于，所述第一阈值的取值范围为(0，1)，所述第二阈值的取值范围为(5，500)，所述第三阈值的取值范围为[0，+∞)。

6.如权利要求1或5所述的检测方法，其特征在于，当所述第二阈值越大时，所述时空兴趣点集越稀疏；当所述第二阈值越小时，所述时空兴趣点集越稠密。

7.如权利要求1所述的检测方法，其特征在于，在步骤S7中，通过逻辑公式R>RC判断所述第一候选点对应的强度响应值是否为该邻域的局部最大值，其中

RC &Element; \underset{x^{'} &NotEqual; x, y^{'} &NotEqual; y, t^{'} &NotEqual; t, s^{'} &NotEqual; s}{\underset{s - 1 \leq s^{'} \leq s + 1}{\underset{t - 1 \leq t^{'} \leq t + 1}{\underset{y - 1 \leq y^{'} \leq y + 1}{\underset{x - 1 \leq x^{'} \leq x + 1}{\cup}}}}} resMap (x^{'}, y^{'}, t^{'}, s^{'});

x',y',t',s'为时空强度响应映射图中位置下标。

8.如权利要求1所述的检测方法，其特征在于，在步骤S9中，所述三阶Hessian矩阵

H (x, y, t) = [\begin{matrix} R_{xx} & R_{xy} & R_{xt} \\ R_{xy} & R_{yy} & R_{yt} \\ R_{xt} & R_{yt} & R_{tt} \end{matrix}],