CN105787484B - 一种物体跟踪或识别的方法、装置 - Google Patents

Abstract

本发明适用于视觉跟踪以及图像物体识别领域，提供了一种物体跟踪或识别的方法、装置，所述方法包括：根据第一帧至第N帧图像建立N组k均值样本库和SUFR样本库；获取并截取第N+1帧图像，得到一个截取图像；在SUFR样本库中查找与截取图像最相似的两个像素点；如果查找到，则根据第N+1帧图像建立第N+1组k均值样本库和SUFR样本库；如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断9个归一化后的缩放图像块中的哪一个是正样本。本发明，利用当前图像帧之前的多个图像帧的图像信息来进行目标物体的跟踪或识别，识别效果更好。

Description

一种物体跟踪或识别的方法、装置

技术领域

本发明属于视觉跟踪以及图像物体识别领域，尤其涉及一种物体跟踪或识别的方法、装置。

背景技术

在视觉跟踪以及图像物体识别领域，常常采用的都是基于某个物体固有的图像特征来实现物体的识别和跟踪，而这往往要求所提取的物体特征具有不变性，也就是要求所提取到的物体特征不会随着外界环境的变化而变化。但是当前我们所进行的图像特征的提取和识别，往往都是基于数字图像来进行处理的，而所在图像中的物体也会随着外界的光照变化，因此，所得到的数字图像也发生变化，那么要保证所获取的图像特征不变，也变得很困难。这种情况下，依据某个环境或情况下的物体特征往往不能很好的适应后续的环境变化。

针对这个问题很多人都提出了许多方法来解决，比如SIFT、SURF以及onlineboosting等方法，但是这些方法也有其不好的地方。

SIFT或SURF虽然可以抗拒一定的形变和缩放，但是往往也只能找到单个的点，利用的只是图像的某个局部的信息，在做图像跟踪或识别的时候，特别是在复杂环境下效果不是很好。

online boosting算法采用的是基于在线获取图像正负样本训练来形成多个级联的弱分类器，最终形成强分类器，从而用于下一帧图像的物体识别，但是online boosting的算法只利用了上一帧的信息，对于之前多帧信息并没有考虑在内，所以对于某个物体在某个时刻的变化超出online boosting的识别范围，这时再依然只是利用原有的信息可能就会找不到物体，有可能在某些情况下一直出现找不到物体的情况，这时候跟踪和识别的效果不是很好。

发明内容

本发明实施例提供了一种物体跟踪或识别的方法、装置，旨在解决现有技术提供的物体跟踪或识别的方法，只利用了上一帧图像帧的信息，跟踪和识别效果不是很好的问题。

一方面，提供一种物体跟踪或识别的方法，所述方法包括：

根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库；

获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；

在SUFR样本库中查找与所述截取图像最相似的两个像素点；

如果查找到，则根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SUFR样本库；

如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本。

进一步地，所述根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库包括：

获取当前图像帧，并在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来8个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同；

提取出由所述第一矩形框和所述第二矩形框框出的一个实体图像块和八个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值；

将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

进一步地，在所述将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中之后，还包括：

获取当前图像帧的下一图像帧；

若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

进一步地，在所述根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库时，还包括：

计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；

判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

进一步地，在所述获取当前图像帧的下一图像帧之后，还包括：

判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。

另一方面，提供一种物体跟踪或识别的装置，所述装置包括：

样本库建立单元，用于根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库；

图像截取单元，用于获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；

像素点查找单元，用于在SUFR样本库中查找与所述截取图像最相似的两个像素点；

样本库更新单元，用于如果查找到，则根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SUFR样本库；

正样本标定单元，用于如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本。

进一步地，所述样本库建立单元包括：

当前图像帧获取模块，用于获取当前图像帧，

目标物体框出模块，用于在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来8个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同；

K均值样本库建立模块，用于提取出由所述第一矩形框和所述第二矩形框框出的一个实体图像块和八个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值；

SURF样本库建立模块，用于将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

进一步地，所述样本库建立单元还包括：

下一图像帧获取模块，用于获取当前图像帧的下一图像帧；

K均值样本库更新模块，用于若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

进一步地，所述样本库建立单元还包括：

权值计算模块，用于计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；

权值判断模块，用于判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

样本删除模块，用于如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

进一步地，所述样本库建立单元还包括：

校正模块，用于判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。

在本发明实施例，利用了当前图像帧之前的多个图像帧的图像信息来进行目标物体的跟踪或识别，识别效果更好。

附图说明

图1是本发明实施例一提供的物体跟踪或识别的方法的实现流程图；

图2是本发明实施例一提供的标注有第一矩形框和第二矩形框的第一帧图像、由第一矩形框和第二矩形框框出的归一化缩放图像块以及根据归一化缩放图像块和由第一矩形框框出的图像块建立的样本库之间的关系示意图；

图3是本发明实施例一提供的第二帧图像中的物体发生旋转的示意图；

图4是本发明实施例一提供的调用SURF算法对发生旋转后的图像进行校正的示意图；

图5是本发明实施例一提供的建立好第二帧图像对应的第二组样本后，第二帧图像和样本库中的样本之间的关系示意图；

图6是本发明实施例二提供的物体跟踪或识别的装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库；获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；在SUFR样本库中查找与所述截取图像最相似的两个像素点；如果查找到，则根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SUFR样本库；如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的物体跟踪或识别方法的实现流程，详述如下：

在步骤S101中，根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SUFR样本库。

在本发明实施例中，根据获取的第一帧至第N帧图像建立N组k均值正样本库、N组k均值负样本库和SUFR样本库包括以下步骤：

步骤1、获取当前图像帧，并在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框框的周围扩展开来8个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同。

其中，在本发明附图中，为了将第一矩形框和第二矩形框进行区分，将第一矩形框用实体框表示，将第二矩形框用虚线框表示，实体框框出的是正样本，虚线框框出的是负样本。

步骤2、提取出由所述第一矩形框和所述第二矩形框框出的1个实体图像块和8个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值。

其中，第一个关系条件a)为：

O_Positive_distance<min(O_Negative_distance_k)。

第二个关系条件b)为：

min(O_Negative_distance_k)<＝O_Positive_distance<＝max(O_Negative_distance_k)。

第三个关系条件c)为：

max(O_Negative_distance_k)<＝O_Positive_distance。

对于第一和第三个关系条件，我们保持正负欧式距离的样本不变，对于第二个关系条件，我们选用一个区间[M,N]，使得：

min(O_Negative_distance_k)<M<O_Positive_distance<N<max(O_Negative_distance_k)，且N>＝M，选取的N和M的值要求在[M,N]区间内没有包含O_Negative_distance_k值。

这时候上面的三个关系条件就变成了：

a1)O_Positive_distance<min(O_Negative_distance_k)；

b1)M<O_Positive_distance<N；

c1)max(O_Negative_distance_k)<＝O_Positive_distance。

步骤3、将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

进一步地，在步骤3之后，还包括：

获取当前图像帧的下一图像帧；

若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

优选地，在获取到当前图像帧的下一图像帧之后，判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。

优选地，在步骤1中，还包括：

计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；

判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

在步骤S102中，获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数。

在本发明实施例中，根据前N帧图像建立好k均值正负样本库以及SURF样本库之后，当获取到新的图像后，利用上一帧(第N帧)图像帧中目标物体的位置信息，按照目标物体在上一帧图像中所在的位置，在当前帧中截取图像，截取图像的高和宽是第N组正样本的2～3倍。

在步骤S103中，在SUFR样本库中查找与所述截取图像最相似的两个像素点，如果查找到，则执行步骤S104，否则执行步骤S105。

在本发明实施例中，计算截取得到的截取图像与SURF样本库中的样本之间的欧式距离，若能在SURF样本库中找到与截取图像距离最近的两个像素点，即最相似的两个像素点，则执行步骤S104，否则执行步骤S105。

在步骤S104中，根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SUFR样本库。

在本发明实施例中，如果在SUFR样本库中可以查找到与所述截取图像最相似的两个像素点，则目标物体在第N+1帧图像中，根据第N+1帧图像按照步骤1至步骤3所提及的方法建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SUFR样本库。

在步骤S105中，获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本。

在本发明实施例中，若在SURF样本库中没有找到与所述取图像最相似的两个像素点，那么把在第N+1帧所框出的图像(基于上一帧(第N帧)正样本所在位置，在当前图像帧中框出上一帧的正样本的2-3倍的图像)，按照对第一帧图像的处理方法，先框出9个图像块，同时把所框出的9个图像块缩放为20*20，且将9个图像块的像素值归一化后，计算这些图像块与K均值样本库中的负样本的均值之间的欧式距离，若满足计算得到的欧式距离在[M_new,N_new]之间，则认为该图像块是正样本库中的正样本，即标定了当前帧图像中的目标物体位置，若所有计算得到的欧式距离均不在[M_new,N_new]之间，则说明当前帧中未能找到目标物体，或目标物体本身已不在当前帧的图像中。

下面举例具体说明如何根据第一帧图像至第三帧图像建立样本库：

具体的，第一帧图像对应的第一组样本库的建立过程包括以下步骤：

步骤11、获取第一帧图像帧，并在第一帧图像中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来八个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同。

其中，目标物体是待跟踪或识别的物体。通过摄像头获取到第一帧图像后，并在该图像中，把目标物体用第一矩形框框起来，如图2所示。在图2中，第一矩形框(实体框)框起来的是需要识别或跟踪的目标物体，是实体图像块，表明该物体是后续需要根据跟踪或识别的目标物体，围绕在第一矩形框的周围的8个第二矩形框(虚线框)是根据第一矩形框的大小，在第一矩形框的周围扩展开来的同样大小的第二矩形框，第二矩形框(虚线框)框起来的是虚线图像块。其中，第二矩形框与第一矩形框的大小相同。

步骤12、提取出由所述第一矩形框和所述第二矩形框框出的1个实体图像块和8个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个条件，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值。

具体的，如图2所示，从第一帧图像中提取出由8个第二矩形框和1个第一矩形框所构成的9个图像块，并对该9个图像块进行缩放，缩放成为20*20的1个小实体正方形图像块和8个小虚线正方形图像块，把缩放后的8个小虚线正方形图像块的像素值归一化至[0,1]之间，作为K均值样本库中的负样本存储在K均值样本库的负样本库中，把缩放后的1个实线框小实体正方形图像块的像素值归一化至[0,1]之间，作为K均值样本库中的正样本存储在K均值样本库的正样本库中。

对于标记好正负样本的K均值样本库，现在需要建立一个空间，用于把正负样本放入这个维度的空间中。

对于20*20的正样本和负样本，把每个20*20的矩阵从左向右，从上到下拉成一个400维的向量，再计算负样本的均值，最后计算正样本与负样本的均值之间的欧式距离值O_Positive_distance以及每个负样本与负样本的均值之间的欧式距离值O_Negative_distance_k，其中，k＝1,2,3……,Num，Num为负样本个数，Num＝8。

具体的，通过下述公式计算得到负样本的均值：

通过下述公式计算正样本与负样本的均值之间的欧式距离：

通过下述公式计算第k个负样本与负样本的均值之间的欧式距离：

具体的，存储正负样本时，需使O_Positive_distance与O_Negative_distance_k之间满足如下关系：

a)、O_Positive_distance<min(O_Negative_distance_k)；

b)、min(O_Negative_distance_k)<＝O_Positive_distance<＝max(O_Negative_distance_k)；

c)、max(O_Negative_distance_k)<＝O_Positive_distance。

对于a)和c)的情况，我们保持正负欧式距离的样本不变，对于b)的情况，我们选用一个区间[M,N]，使得min(O_Negative_distance_k)<M<O_Positive_distance<N<max(O_Negative_distance_k)，且N>＝M，选取的N和M的值要求在[M,N]区间内没有包含O_Negative_distance_k值。

这时，上面的三个关系就变成了：

a1)、O_Positive_distance<min(O_Negative_distance_k)；

b1)、M<O_Positive_distance<N；

c1)、max(O_Negative_distance_k)<＝O_Positive_distance。

后续，可以根据上面的三个关系条件以及下一帧图像中的9个正方形图像块之间的欧式距离分布来判断9个正方形图像块中的哪一个图像块是正样本图像块。

步骤13、将第一帧图像中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

标注有第一矩形框和第二矩形框的第一帧图像、由第一矩形框和第二矩形框框出的归一化缩放图像块以及根据归一化缩放图像块和由第一矩形框框出的图像块建立的样本库之间的关系如图2所示。

另外，建立好第一帧图像对应的第一组样本后，可以建立该第一组样本对应的影响度权值。其公式为：影响度权值＝alpha*e^(-(t-t_i))，当alpha*e^(-(t-t_i))<beda时，把满足该影响度权值的样本从K均值样本库和SURF样本库中删除，否则保存当前的K均值样本和SURF样本。t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数，alpha>1，这里的alpha和beda是一个可调参数(这里可以把alpha设置为1，beda设置为0.01，这样基本上利用的就是前5帧图像对应的样本来判断当前帧图像的正负样本)，用于调整过去图像信息对当前图像信息的影响程度，该公式是根据实验数据归纳统计得到的。其中，在当前获取的图像帧的帧数为1时，第一帧图像对应的影响度权值最大。

当获取到第二帧图像时，判断第二帧图像中的物体是否发生旋转或者形变，如果是(如图3所示)，则先调用SURF算法对当前图像帧进行校正，再采用步骤S101至步骤S104的方法，根据第二帧图像建立包括第二组k均值正样本库、第二组k均值负样本库和SURF样本库。

具体的，计算SURF样本库中的SURF样本与图4中的虚线框中具有相同特征点的位置，这里选取距离最近的2个点，如图4所示，调用SURF算法检测得到图4中虚线框中的点O1、A1分别与图4右边的点O2、A2相对应，利用这个四个点所在坐标中的位置的正切值可以计算出它们偏转处置方向的角度分别为∠B1O1A1和∠B2O2A2，得到偏转的角度sigma＝|∠B1O1A1-∠B2O2A2|，这时候sigma即是当前帧图像(第二帧图像)所偏转的角度，然后以O1为中心，旋转sigma个角度即可得到校正后的图像。由于O1与O2对应，A1与A2对应，这时选取其中一个对应点，如O1与O2根据O2点在第一矩形框中的位置，可以在旋转后图像中的O1点得到同样大小的第一矩形正样本框。

建立好第二帧图像对应的第二组样本后，第二帧图像和样本库中的样本之间的关系如图5所示，还可以重新建立第一组样本和该第二组样本对应的影响度权值。

这时候第一帧图像的影响度权值为alpha*e^(-(t-t_1))，第二帧图像的影响度权值为alpha*e^(-(t-t_2))，t＝t_2＝2>t_1＝1。可以看出，第一帧图像的影响度权值小于第二帧图像的影响度权值。另外，K均值样本库中的三个关系条件也更新为：

a1)、O_Positive_distance<min(O_Negative_distance_k)；

b1)、M_new<O_Positive_distance<N_new；

c1)、max(O_Negative_distance_k)<＝O_Positive_distance；

其中，k＝1,2,3……,Num，Num为负样本个数，N_new为当前帧库中负样本个数，M_new，N_new为更新后的M和N值。

其中，若M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

当接收到第三帧图像时，同样是按照对第二帧图像的处理方法，先获取SURF样本库中的样本，截取目标物体在第二帧所在位置在第三帧图像中的2至3倍宽高的图像，与SURF样本库中的SURF样本做计算，找到SURF样本库中与当前图像特征点相同的最近两个点的样本图像，按照对第二帧图像的处理方法，更样本库，同样每组样本的影响度权值和K均值样本库中的三个关系条件都被修改。

随着图像帧的帧数不断递增加，K均值样本库和SURF样本库中的样本的数量也在增加，但是第一帧、第二帧的影响度权值却在递减，当获取到的图像帧的帧数达到一定量满足条件alpha*e^(-(t-t_i))<beda时，把当前对应的第i个样本删除，这样保持了样本库的更新。其中，通过实验发现，最好设置alpha参数大一些，保证K均值样本库中的样本的多样性，这样才能更好地实现K均值的辅助分类。

同时随着样本库的正负样本量加大，会出现一个正样本的分布区域，当采用SURF算法不能计算得到当前帧图像最近的两个点的时候，以上一帧图像所确定正样本的位置为中心，3倍的正样本宽高来截取当前帧图像，并利用获取到第一帧图像时的处理方法，先获取当前图像帧的9个20*20个图像块，并计算这20*20个图像块中的每个图像块与当前K均值样本库中的负样本的均值之间的欧式距离，并根据这9个图像块与当前K均值样本库中的负样本的均值之间的欧式距离分布和K均值样本库中的三个关系条件，来判断这9个图像块中哪个图像块是正样本。

本实施例，利用了当前图像帧之前的多个图像帧的图像信息来进行目标物体的跟踪或识别，识别效果更好。并且通过引入一个影响度权值参数来调整当前图像帧之前积累的多个图像帧的图像信息随着时间变化对当前图像帧的影响度，这也符合实际的应用。另外，利用SURF算法对图像做了一个调整，通过第一帧图像，建立一个新的策略来实现正负样本的标定，建立起一个依据图像像素特征分类的K均值聚类的算法来判定图像的位置变化。

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

实施例二

图6示出了本发明实施例二提供的物体跟踪或识别的装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该装置6包括：样本库建立单元61、图像截取单元62、像素点查找单元63、样本库更新单元64和正样本标定单元65。

其中，样本库建立单元61，用于根据获取的第一帧至第N帧图像建立包括N组正样本、N组负样本和N组SUFR样本的k均值正样本库、负样本库和SUFR样本库；

图像截取单元62，用于获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；

像素点查找单元63，用于在SUFR样本库中查找与所述截取图像最相似的两个像素点；

样本库更新单元64，用于如果查找到，则根据所述第N+1帧图像建立包括第N+1组正样本、第N+1组负样本和N+1组SUFR样本的新的k均值正样本库、负样本库和SUFR样本库；

正样本标定单元65，用于如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本。

具体的，所述样本库建立单元61包括：

当前图像帧获取模块，用于获取当前图像帧，

目标物体框出模块，用于在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来8个第二矩形框，所述第二举行框与所述第一矩形框的大小相同；

K均值样本库建立模块，用于提取出由所述第一矩形框和所述第二矩形框框出的一个实体图像块和八个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值；

SURF样本库建立模块，用于将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

进一步地，所述样本库建立单元61还包括：

下一图像帧获取模块，用于获取当前图像帧的下一图像帧；

K均值样本库更新模块，用于若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

进一步地，所述样本库建立单元61还包括：

权值计算模块，用于计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；

权值判断模块，用于判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

样本删除模块，用于如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

进一步地，所述样本库建立单元61还包括：

校正模块，用于判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。

本发明实施例提供的物体跟踪或识别的装置可以应用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物体跟踪或识别的方法，其特征在于，所述方法包括：

根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SURF 样本库；其中，所述SURF 样本库为加速鲁棒特征样本库；

获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；

在SURF 样本库中查找与所述截取图像最相似的两个像素点；

如果查找到，则根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SURF 样本库；

如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本；

其中，所述三个关系条件包括第一关系条件、第二关系条件和第三关系条件；

所述第一关系条件为正样本与负样本的均值之间的欧式距离小于负样本与负样本的均值之间的欧式距离中的最小值；

所述第二关系条件为正样本与负样本的均值之间的欧式距离大于等于负样本与负样本的均值之间的欧式距离中的最小值，且小于等于负样本与负样本的均值之间的欧式距离中的最大值；

所述第三关系条件为正样本与负样本的均值之间的欧式距离大于等于负样本与负样本的均值之间的欧式距离中的最大值。

2.如权利要求1所述的方法，其特征在于，所述根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SURF 样本库包括：

获取当前图像帧，并在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来8个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同；

提取出由所述第一矩形框和所述第二矩形框框出的一个实体图像块和八个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值；其中，N大于等于M，M大于负样本与负样本的均值之间的欧式距离值中的最小值，N小于负样本与负样本的均值之间的欧式距离值中的最大值；将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

3.如权利要求2所述的方法，其特征在于，在所述将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中之后，还包括：

获取当前图像帧的下一图像帧；

若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

4.如权利要求1所述的方法，其特征在于，在所述根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SURF 样本库，还包括：

计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；其中，alpha为alpha通道的参数，e为对数的底数；

判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

5.如权利要求3所述的方法，其特征在于，在所述获取当前图像帧的下一图像帧之后，还包括：

判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。

6.一种物体跟踪或识别的装置，其特征在于，所述装置包括：

样本库建立单元，用于根据获取的第一帧至第N帧图像建立包括N组k均值正样本库、N组k均值负样本库和SURF 样本库；其中，所述SURF 样本库为加速鲁棒特征样本库；

图像截取单元，用于获取第N+1帧图像，并截取所述第N+1帧图像，得到一个截取图像，所述截取图像的高和宽是第N组正样本的预设倍数；

像素点查找单元，用于在SURF 样本库中查找与所述截取图像最相似的两个像素点；

样本库更新单元，用于如果查找到，则根据所述第N+1帧图像建立包括第N+1组k均值正样本库、第N+1组k均值负样本库和SURF 样本库；

正样本标定单元，用于如果未查找到，则获取第N+1帧图像的9个归一化的缩放图像块与当前k均值样本库中的负样本的均值之间的欧式距离，根据所述欧式距离以及k均值样本库中正负样本满足的三个关系条件来判断所述9个归一化后的缩放图像块中的哪一个是正样本；

其中，所述三个关系条件包括第一关系条件、第二关系条件和第三关系条件；

所述第一关系条件为正样本与负样本的均值之间的欧式距离小于负样本与负样本的均值之间的欧式距离中的最小值；

所述第二关系条件为正样本与负样本的均值之间的欧式距离大于等于负样本与负样本的均值之间的欧式距离中的最小值，且小于等于负样本与负样本的均值之间的欧式距离中的最大值；

所述第三关系条件为正样本与负样本的均值之间的欧式距离大于等于负样本与负样本的均值之间的欧式距离中的最大值。

7.如权利要求6所述的装置，其特征在于，所述样本库建立单元包括：

当前图像帧获取模块，用于获取当前图像帧，

目标物体框出模块，用于在当前图像帧中用第一矩形框框出目标物体，并在所述第一矩形框的周围扩展开来8个第二矩形框，所述第二矩形框与所述第一矩形框的大小相同；

K均值样本库建立模块，用于提取出由所述第一矩形框和所述第二矩形框框出的一个实体图像块和八个虚线图像块，将归一化的缩放实体图像块和归一化的缩放虚线图像块作为一组正样本实体图像块和一组负样本虚线图像块分别存储至K均值样本库的正样本库中和K均值样本库的负样本库中，其中，存储正负样本时，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N，在[M,N]区间内，不包含每个负样本与负样本的均值之间的欧式距离值；其中，N大于等于M，M大于负样本与负样本的均值之间的欧式距离值中的最小值，N小于负样本与负样本的均值之间的欧式距离值中的最大值；

SURF样本库建立模块，用于将当前图像帧中，由第一矩形框框出的实体图像块作为目标物体样本存储至SURF样本库中。

8.如权利要求7所述的装置，其特征在于，所述样本库建立单元还包括：

下一图像帧获取模块，用于获取当前图像帧的下一图像帧；

K均值样本库更新模块，用于若根据下一图像帧计算得到的正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，且M_new大于M，N_new小于N，则k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M_new小于N_new，否则，k均值样本库中正负样本满足的三个关系条件中的第二个关系条件中，正样本与负样本的均值之间的欧式距离值大于M小于N。

9.如权利要求6所述的装置，其特征在于，所述样本库建立单元还包括：

权值计算模块，用于计算第i帧图像帧生成的第i组样本的影响度权值alpha*e^(t-t_i)；其中，alpha为alpha通道的参数，e为对数的底数；

权值判断模块，用于判断所述影响度权值alpha*e^(t-t_i)是否小于预设的阈值beda；

样本删除模块，用于如果是，则将满足上述预设条件的第i帧图像帧对应的i组样本从k均值样本库和SURF样本库中删除；

其中，t表示当前获取的图像帧的帧数，t_i表示在第i帧图像帧下，形成的样本库中的样本的帧数。

10.如权利要求8所述的装置，其特征在于，所述样本库建立单元还包括：

校正模块，用于判断下一图像帧中的目标物体是否发生旋转或者产生形变，如果是，则调用SURF算法对当前图像帧进行校正。