CN108596959A - 一种视频图像时空特征点的提取方法 - Google Patents

Abstract

本发明公开了一种视频图像时空特征点的提取方法，该方法基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数，之后先将灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果，构建视频图像的Hessian矩阵，其次根据Hessian矩阵进行运算得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值，最后根据各像素点的响应值，按照非极大值抑制的方法，确定视频图像的时空特征点。通过该方法能够在视频中提取出表征空间信息及时间信息的特征点，即时空特征点，解决了现有技术中提取出的视频的特征点仅具有视频空间信息而不具有时间信息的技术问题。

Description

一种视频图像时空特征点的提取方法

技术领域

本发明涉及视频处理技术领域，更具体地说，涉及一种视频图像时空特征点的提取方法。

背景技术

在现有的视频处理过程中，常将一个视频分解成多个单帧的图像，通过提取各帧图像中的特征点，实现对图像的表征进而实现对视频的表征，但是一个视频所包含的信息绝不仅有像素的灰度信息，其还包括各像素之间的时间信息，因此该表征视频的方法是片面的，其没有根据视频中包含的时间信息对视频进行表征。

参考现有技术采用的提取图像像素中的特征点，并对特征点进行描述从而实现表征图像的方法，可以考虑提取视频中包含空间信息和时间信息的时空特征点，并对该时空特征点进行描述从而实现对视频的表征，而如何提取视频的时空特征点则是首先需要解决的。

发明内容

本发明的主要目的在于提供一种视频图像时空特征点的提取方法，旨在解决现有提取出的视频特征点仅具有视频空间信息而不具有时间信息的技术问题。

为实现上述目的，本发明提供一种视频图像时空特征点的提取方法，该方法包括：

基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数；

将灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果构建视频图像的Hessian矩阵；

根据Hessian矩阵进行行列式运算，得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值；

根据各像素点的响应值，按照非极大值抑制的方法，确定视频图像的时空特征点。

可选的，基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数的步骤包括：

基于视频图像中各像素点p的灰度信息f(p)和运动信息v_p，根据f'(p)＝f(p)+v_p，计算得到视频图像的灰度运动函数f'(p)。

可选的，将灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果构建视频图像的Hessian矩阵包括：

将灰度运动函数f'(p)与高斯函数g(p,σ)的二阶微分进行卷积，构建Hessian矩阵Hessian矩阵中的各元素L表示高斯函数g(p,σ)的各二阶微分分别与灰度运动函数f'(p)的卷积结果，σ表示高斯函数g(p,σ)的尺度。

可选的，根据各像素点的响应值，按照非极大值抑制的方法，确定视频图像中的时空特征点的步骤包括：

比较同一尺度σ下，像素点与像素点在空间上相邻的像素点的响应值，若像素点的响应值为极大值，则比较像素点与相邻两个尺度邻域的像素点的响应值，若像素点的响应值为极值点，则确定像素点为视频图像中的时空特征点。

可选的，根据Hessian矩阵进行行列式运算，得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值包括：

运算Hessian矩阵中的元素，计算得到Hessian矩阵的行列式函数det(H)；

将各像素点p的行列式函数值det(H)的二范数确定为各像素点的响应值，行列式函数值det(H)的二范数为det(H_p)＝||det(H)||₂。

进一步地，本发明还提供了一种视频图像时空特征点的提取装置，该装置包括处理器、存储器及通信总线；

通信总线用于实现处理器和存储器之间的连接通信；

处理器用于执行存储器中存储的一个或者多个程序，以实现如下步骤：

基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数；

将灰度运动函数与高斯函数的二阶微分进行卷积运算，并根据卷积运算的结果构建视频图像的Hessian矩阵；

根据Hessian矩阵进行行列式运算，得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值；

根据各像素点的响应值，按照非极大值抑制的方法，确定视频图像的时空特征点。

可选的，处理器还用于执行存储器存储的程序，以实现基于视频图像中各像素点p的灰度信息f(p)和运动信息v_p，根据f'(p)＝f(p)+v_p，计算得到视频图像的灰度运动函数f'(p)。

可选的，处理器还用于执行存储器存储的程序，以实现：将灰度运动函数f'(p)与高斯函数g(p,σ)的二阶微分进行卷积，构建Hessian矩阵Hessian矩阵中的各元素L表示高斯函数g(p,σ)的各二阶微分分别与灰度运动函数f'(p)的卷积结果，σ表示高斯函数g(p,σ)的尺度。

可选的，处理器还用于执行存储器存储的程序，以实现：比较同一尺度下，像素点与像素点在空间上相邻的像素点的响应值，若像素点的响应值为极大值，则比较像素点与相邻两个尺度邻域的像素点的响应值，若像素点的响应值为极值点，则确定像素点为视频图像中的时空特征点。

可选的，处理器还用于执行存储器存储的程序，以实现以下步骤：

运算Hessian矩阵中的元素，计算得到Hessian矩阵的行列式函数det(H)；

将各像素点p的行列式函数值det(H)的二范数确定为各像素点的响应值，行列式函数值det(H)的二范数为det(H_p)＝||det(H)||₂。

有益效果

本发明提供一种视频图像时空特征点的提取方法，该方法基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数，之后先将灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果，构建视频图像的Hessian矩阵，其次根据Hessian矩阵进行运算得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值，最后根据各像素点的响应值，按照非极大值抑制的方法，确定视频图像的时空特征点。通过该方法能够在视频中提取出表征空间信息及时间信息的特征点，即时空特征点，解决了现有技术中提取出的视频的特征点仅具有视频空间信息而不具有时间信息的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明视频图像时空特征点的提取方法的基本流程示意图；

图2为本发明第一实施例提供的一种盒子滤波器示意图；

图3为本发明第一实施例提供的另一种盒子滤波器示意图；

图4为本发明视频图像时空特征点的提取装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

图1为本实施例提供的视频图像时空特征点提取方法的基本流程图，该方法包括：

S101、基于视频图像中各像素点的灰度信息和运动信息得到视频图像的灰度运动函数。

需要理解的是，可以采用灰度函数f(p)和运动函数v_p表征一个视频中像素的灰度信息和运动信息，因此，将各像素的位置坐标带入上述灰度函数和运动函数，即可得到各像素点的灰度信息和运动信息。此处的灰度运动函数是指可以表征视频图像各像素点灰度信息以及运动信息的函数。参考灰度运动函数的物理意义将其落到坐标系上，该灰度运动函数是x、y、t三维坐标系上的函数。

在本实施例另外的一些示例中，灰度运动函数f'(p)为根据视频图像中各像素点p的灰度信息f(p)和运动信息v_p，按照公式f'(p)＝f(p)+v_p得到的。此处对采用求p₀处的像素点的运动信息v_p0，对求视频图像各像素点运动函数v_p的过程进行介绍：

设且p₀＝x_ie₁+y_je₂+t_ke₃，p₁＝x_ie₁+y_je₂+(t_k+1)e₃，则上的p₀处的像素点的运动信息可以表示为：

其中，S为在t＝t_k+1平面上以p₀为中心，大小为l×l的邻域的点的集合。

S102、将灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果构建视频图像的Hessian矩阵；

需要了理解的是，此处将灰度运动函数与高斯函数进行卷积是将灰度运动函数与高斯函数在坐标轴各方向上的二阶微分进行卷积，该处的坐标轴各方向是指三维坐标系中坐标轴的三个方向x、y、t。

本文中高斯函数g(p,σ)的表达式为：

该表达式中的各元素的介绍如下：

1、p∈G₃，G₃表示灰度运动函数所在的三维坐标系统，p表示灰度运动函数中的各个像素点；

2、σ为中的高斯函数g(p,σ)的尺度因子，可采用尺度σ在三维坐标方向x、y、t即e₁、e₂、e₃上的模值σ_x、σ_y、σ_t对尺度σ进行表示，具体的表达式为

3、“∧”表示外积运算，“·”表示内积运算。

基于上述以f'(p)表示灰度运动函数的示例，此处以f′(p)与高斯函数对x的二阶微分进行卷积得到卷积结果L_xx(p,σ)为例，介绍步骤S102中f'(p)与高斯函数g(p,σ)在x轴方向的卷积运算，其卷积运算为：

其中，表示卷积运算，上式卷积运算的前半部分是对原始视频图像的高斯二阶微分卷积，后半部分是高斯二阶微分在p处与运动矢量的卷积，它反映了在视频的p点及邻域的运动信息。

以上述相同的计算方式可以计算得到f′(p)与高斯函数在各方向二阶微分的卷积结果：

根据卷积结果可构建Hessian(黑塞)矩阵其中，元素L_ij(p,σ)(i,j∈{x,y,t})表示高斯函数g(p,σ)i、j方向的二阶微分分别与灰度运动函数f'(p)的卷积结果。

S103、根据Hessian矩阵进行行列式运算，得到Hessian矩阵的行列式函数，并根据视频图像各像素点对应的行列式函数值，确定视频图像各像素点的响应值。

此处将基于上述的示例对该S103步骤进行解释说明。在得到Hessian矩阵后，求其行列式得到Hessian矩阵的行列式函数det(H)，具体的运算过程为：

det(H)＝L_xxL_yyL_tt-L_xxL_yt ²-L_xy ²L_tt+L_xyL_xtL_yt+L_xtL_xyL_yt-L_xt ²L_yy＝L_xx(L_yyL_tt-L_ytL_yt)+L_xy(L_xtL_yt-L_xyL_tt)+L_xt(L_xyL_yt-L_xtL_yy)需要理解的是，上式行列式函数det(H)中的L_ij为Hessian矩阵中元素L_ij(p,σ)的简写。

将卷积结果进一步带入上述行列式函数det(H)进行运算，其运算过程将会非常复杂，因此本文将采用盒子滤波器简化上式的计算过程，具体的，是采用将视频图像的积分视频与相应的盒子滤波器进行运算。该处的积分视频V(p)是基于灰度运动函数f'(p)得到的，具体为：其中S₀表示从原点o到p组成的立方体，p∈S₀；该处的盒子滤波器可参见图2及图3所示，图2以及图3为中的白色和黑色立方体内填充同一值N(N∈{-2，-1，1})，灰色部分的填充值为0。图2为在一个方向上高斯二阶偏导的近似盒子滤波器，每一个长方体区域尺寸为3×5×9；图3为在两个方向上高斯二阶混合偏导的近似盒子滤波器，每一个立方体单元尺寸为3×3×9，各立方体单元间隔为一个像元。

以D_ij(i,j∈{x,y,t})表示积分视频与相应盒子滤波器的响应值，则可对上式行列式函数det(H)进行简化：

在该化简结果中：

为进一步的简化det(H)，令A₁＝D_xxD_yyD_tt、B₁＝D_xxD_ytD_yt、A₂＝D_xyD_ytD_xt、B₂＝D_xyD_ttD_xt、A₃＝D_xyD_ttD_xy、B₃＝D_xtD_yyD_xt，则上述化简结果可进一步简化为：

det(H)＝C₁(A₁-B₁Y₁)+C₂(A₂-B₂Y₂+A₃-B₃Y₃)

由于在计算det(H)过程中，高斯二阶微分滤波的最小尺度σ＝1.2，并且最小模板的尺寸为9×9×9，因此其中，|·|_F为弗罗贝尼乌斯范数(Frobenius norm，即Frobenius范数)。理论上，对于不同的σ值和对应的模板尺寸，C₁值是不同的，但是在本发明中为了简化起见，将它认为是常数。同理可以得出：C₂＝0.038、Y₁＝7.52、Y₂＝Y₃＝0.37。

需要理解的是，化简得到的det(H)可以分为f(p)和dv_p分别与盒子滤波器的响应值之和，第一部分的计算结果是一个标量，它反映了视频图像的像素值变化情况；另一部分是矢量，它反映了点的运动变化情况。本文中视频图像各像素点的响应值det(H_P)：det(H_p)＝||det(H)||₂。

S104、根据各像素点的响应值，按照非极大值抑制的方法，确定所述视频图像的时空特征点。

需要理解的是，此处的时空特征点为视频图像中既携带了视频的空间信息，又携带了视频的时间信息的像素点，通过对视频中该类部分像素点的描述，则可以实现对视频的表征。在计算得到各像素点的响应值后，需按照非极大值抑制的方法确定视频图像的时空特征点，该确定时空特征点的过程具体为：比较同一尺度σ下，像素点与所述像素点在空间上相邻的像素点的响应值，若所述像素点的响应值为极大值，则比较所述像素点与相邻两个尺度邻域的像素点的响应值，若所述像素点的响应值为极值点，则确定所述像素点为所述视频图像中的时空特征点。

为便于理解，此处将对该确定时空特征点的过程进行介绍：将像素点先与同尺度当前帧的8个相邻像素点以及上下帧对应的9*2＝18个点，即在空间上相邻26个像素点的响应值进行比较，若该像素点的响应值为的极大值，则将该像素点与相邻的两个尺度中对应9*3*2＝54个像素点的响应值比较大小，若该像素点为相邻的两个尺度像素点的响应值的极值点，则确定该像素点为图像邻域26+54＝80个像素点响应值的极值点，则确定该像素点为对应视频图像时空特征点。

由于本实施例所提供的视频图像时空特征点的提取方法能够在视频中提取出表征空间信息及时间信息的特征点，即时空特征点，解决了现有技术中提取出的视频特征点仅具有视频空间信息而不具有时间信息的技术问题。

第二实施例

本实施例还提供了一种视频图像时空特征点的提取装置，参见图4所示，其包括处理器41、存储器44及通信总线43，其中：

通信总线43用于实现处理器41和存储器44之间的连接通信；

处理器41用于执行存储器44中存储的程序，以实现上述第一实施例中的视频图像时空特征点的提取方法的各步骤。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述，同时，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种视频图像时空特征点的提取方法，其特征在于，所述方法包括：

基于视频图像中各像素点的灰度信息和运动信息得到所述视频图像的灰度运动函数；

将所述灰度运动函数与高斯函数的二阶微分进行卷积，并根据卷积结果构建所述视频图像的Hessian矩阵；

根据所述Hessian矩阵进行行列式运算，得到所述Hessian矩阵的行列式函数，并根据所述视频图像各像素点对应的行列式函数值，确定所述视频图像各像素点的响应值；

根据所述各像素点的响应值，按照非极大值抑制的方法，确定所述视频图像的时空特征点。

2.如权利要求1所述的提取方法，其特征在于，所述基于视频图像中各像素点的灰度信息和运动信息得到所述视频图像的灰度运动函数的步骤包括：

基于所述视频图像中各像素点p的灰度信息f(p)和运动信息v_p，根据f'(p)＝f(p)+v_p，计算得到所述视频图像的灰度运动函数f'(p)。

3.如权利要求1所述的提取方法，其特征在于，所述将所述灰度运动函数与高斯函数的二阶微分进行卷积，并根据所述卷积结果构建所述视频图像的Hessian矩阵包括：

将所述灰度运动函数f'(p)与所述高斯函数g(p,σ)的二阶微分进行卷积，构建Hessian矩阵所述Hessian矩阵中的各元素L表示所述高斯函数g(p,σ)的各二阶微分分别与所述灰度运动函数f'(p)的卷积结果，所述σ表示高斯函数g(p,σ)的尺度。

4.如权利要求3所述的提取方法，其特征在于，所述根据所述各像素点的响应值，按照非极大值抑制的方法，确定所述视频图像中的时空特征点的步骤包括：

比较同一尺度σ下，像素点与所述像素点在空间上相邻的像素点的响应值，若所述像素点的响应值为极大值，则比较所述像素点与相邻两个尺度邻域的像素点的响应值，若所述像素点的响应值为极值点，则确定所述像素点为所述视频图像中的时空特征点。

5.如权利要求1-4任一项所述的提取方法，其特征在于，所述根据所述Hessian矩阵进行行列式运算，得到所述Hessian矩阵的行列式函数，并根据所述视频图像各像素点对应的行列式函数值，确定所述视频图像各像素点的响应值包括：

运算所述Hessian矩阵中的元素，计算得到所述Hessian矩阵的行列式函数det(H)；

将各像素点p的行列式函数值det(H)的二范数确定为所述各像素点的响应值，所述行列式函数值det(H)的二范数为det(H_p)＝||det(H)||₂。

6.一种视频图像时空特征点的提取装置，所述装置包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如下步骤：

基于视频图像中各像素点的灰度信息和运动信息得到所述视频图像的灰度运动函数；

将所述灰度运动函数与高斯函数的二阶微分进行卷积运算，并根据所述卷积运算的结果构建所述视频图像的Hessian矩阵；

根据所述Hessian矩阵进行行列式运算，得到所述Hessian矩阵的行列式函数，并根据所述视频图像各像素点对应的行列式函数值，确定所述视频图像各像素点的响应值；

根据所述各像素点的响应值，按照非极大值抑制的方法，确定所述视频图像的时空特征点。

7.如权利要求6所述的提取装置，所述处理器还用于执行所述存储器存储的程序，以实现基于所述视频图像中各像素点p的灰度信息f(p)和运动信息v_p，根据f'(p)＝f(p)+v_p，计算得到所述视频图像的灰度运动函数f'(p)。

8.如权利要求6所述的提取装置，所述处理器还用于执行所述存储器存储的程序，以实现：将所述灰度运动函数f'(p)与所述高斯函数g(p,σ)的二阶微分进行卷积，构建Hessian矩阵所述Hessian矩阵中的各元素L表示所述高斯函数g(p,σ)的各二阶微分分别与所述灰度运动函数f'(p)的卷积结果，所述σ表示高斯函数g(p,σ)的尺度。

9.如权利要求8所述的提取装置，所述处理器还用于执行所述存储器存储的程序，以实现：比较同一尺度下，像素点与所述像素点在空间上相邻的像素点的响应值，若所述像素点的响应值为极大值，则比较所述像素点与相邻两个尺度邻域的像素点的响应值，若所述像素点的响应值为极值点，则确定所述像素点为所述视频图像中的时空特征点。

10.如权利要求6-9任一项所述的提取装置，所述处理器还用于执行所述存储器存储的程序，以实现以下步骤：

运算所述Hessian矩阵中的元素，计算得到所述Hessian矩阵的行列式函数det(H)；

将各像素点p的行列式函数值det(H)的二范数确定为所述各像素点的响应值，所述行列式函数值det(H)的二范数为det(H_p)＝||det(H)||₂。