CN110322478B

CN110322478B - 特征点观察窗口处理方法、跟踪方法、装置、设备和介质

Info

Publication number: CN110322478B
Application number: CN201910495024.1A
Authority: CN
Inventors: 罗汉杰
Original assignee: Guangzhou Shiyuan Electronics Thecnology Co Ltd
Current assignee: Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date: 2019-06-10
Filing date: 2019-06-10
Publication date: 2021-09-07
Anticipated expiration: 2039-06-10
Also published as: CN110322478A

Abstract

本发明涉及一种特征点观察窗口的处理方法、跟踪方法、装置、设备和介质，该方法包括：确定图像特征点在原始窗口中的特征点位置，根据该特征点位置设置中心区域边界，并将该中心区域边界围成的区域设置为中心感兴趣区域，使得图像特征点位于该中心感兴趣区域内，在四周区域设置四周感兴趣区域和屏蔽区域，然后基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜，将该掩膜叠加在原始观察窗口上生成用于对图像特征点进行跟踪的目标观察窗口。该方案能够使得目标观察窗口只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素进行屏蔽，利用目标观察窗口对图像特征点进行跟踪时，能够在确保对图像特征点进行准确跟踪的同时，提高跟踪效率。

Description

特征点观察窗口处理方法、跟踪方法、装置、设备和介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种特征点观察窗口的处理方法、特征点观察窗口的处理装置、基于图像金字塔的特征点跟踪方法、基于图像金字塔的特征点跟踪装置、计算机设备和计算机可读存储介质。

背景技术

在计算机视觉系统当中，特征纹理匹配属于重要的图像处理任务，特征纹理匹配是指在多张图像中提取出一些特征纹理，这些特征纹理被称为特征点，然后将这些特征点匹配起来。

传统技术通常通过检测观察窗口下的像素点强度随时间的变换率，来求出相应特征点的移动速度和方向，从而实现对特征点的跟踪。然而，这种技术为了准确找到匹配点的位置，通常会采用一个较大的观察窗口来对特征点进行跟踪，而随着观察窗口的增大，运算量会极大地增大，对特征点进行跟踪的效率就会变低，导致这种技术对特征点进行跟踪的灵活性较低，难以兼顾对特征点进行跟踪的准确性和效率。

发明内容

基于此，有必要针对传统技术对特征点进行跟踪的灵活性较低的技术问题，提供一种特征点观察窗口的处理方法、特征点观察窗口的处理装置、基于图像金字塔的特征点跟踪方法、基于图像金字塔的特征点跟踪装置、计算机设备和计算机可读存储介质。

一种特征点观察窗口的处理方法，包括步骤：

确定特征点位置；所述特征点位置为图像特征点在原始观察窗口中的位置；

根据所述特征点位置设置中心区域边界，将所述中心区域边界围成的区域设为中心感兴趣区域，以使所述图像特征点位于所述中心感兴趣区域内；其中，所述中心区域边界位于窗口边界内；所述窗口边界为所述原始观察窗口的边界；

在四周区域内设置四周感兴趣区域和屏蔽区域；其中，所述四周区域为位于所述中心区域边界与所述窗口边界之间的区域；

基于所述中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜；

将所述掩膜叠加在所述原始观察窗口上生成目标观察窗口，用于对所述图像特征点进行跟踪。

一种基于图像金字塔的特征点跟踪方法，包括步骤：

分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；

获取原始观察窗口，并根据如上所述的特征点观察窗口的处理方法对所述原始观察窗口进行处理，生成目标观察窗口；

利用所述目标观察窗口在所述图像金字塔的各层图像中对图像特征点进行跟踪。

一种特征点观察窗口的处理装置，包括：

位置确定模块，用于确定特征点位置；所述特征点位置为图像特征点在原始观察窗口中的位置；

第一区域设置模块，用于根据所述特征点位置设置中心区域边界，将所述中心区域边界围成的区域设为中心感兴趣区域，以使所述图像特征点位于所述中心感兴趣区域内；其中，所述中心区域边界位于窗口边界内；所述窗口边界为所述原始观察窗口的边界；

第二区域设置模块，用于在四周区域内设置四周感兴趣区域和屏蔽区域；其中，所述四周区域为位于所述中心区域边界与所述窗口边界之间的区域；

掩膜创建模块，用于基于所述中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜；

窗口生成模块，用于将所述掩膜叠加在所述原始观察窗口上生成目标观察窗口，用于对所述图像特征点进行跟踪。

一种基于图像金字塔的特征点跟踪装置，包括：

金字塔建立模块，用于分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；

窗口获取模块，用于获取原始观察窗口，并根据如上所述的特征点观察窗口的处理方法对所述原始观察窗口进行处理，生成目标观察窗口；

特征点跟踪模块，用于利用所述目标观察窗口在所述图像金字塔的各层图像中对图像特征点进行跟踪。

一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

确定特征点位置；所述特征点位置为图像特征点在原始观察窗口中的位置；根据所述特征点位置设置中心区域边界，将所述中心区域边界围成的区域设为中心感兴趣区域，以使所述图像特征点位于所述中心感兴趣区域内；其中，所述中心区域边界位于窗口边界内；所述窗口边界为所述原始观察窗口的边界；在四周区域内设置四周感兴趣区域和屏蔽区域；其中，所述四周区域为位于所述中心区域边界与所述窗口边界之间的区域；基于所述中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜；将所述掩膜叠加在所述原始观察窗口上生成目标观察窗口，用于对所述图像特征点进行跟踪。

分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；获取原始观察窗口，并根据如上所述的特征点观察窗口的处理方法对所述原始观察窗口进行处理，生成目标观察窗口；利用所述目标观察窗口在各层图像中对图像特征点进行跟踪。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下的步骤：

上述特征点观察窗口的处理方法、跟踪方法、装置、设备和介质，确定图像特征点在原始窗口中的特征点位置，根据该特征点位置设置中心区域边界，并将该中心区域边界围成的区域设置为中心感兴趣区域，使得图像特征点位于该中心感兴趣区域内，在四周区域设置四周感兴趣区域和屏蔽区域，然后基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜，将该掩膜叠加在原始观察窗口上生成用于对图像特征点进行跟踪的目标观察窗口。

由于在特征点的观察窗口当中，图像特征点的纹理信息主要由该特征点附近的区域所携带，而离该特征点较远的四周占据的像素较多但能够提供的有效纹理信息相对较少，因此，本方案根据图像特征点的位置为观察窗口设置掩膜，一方面将图像特征点附近区域设置为中心感兴趣区域，有利于提取该特征点比较重要的纹理信息，以确保对特征点进行跟踪的准确性；另一方面，将该观察窗口中离该特征点较远的区域设置为四周感兴趣区域和屏蔽区域，即对观察窗口的四周区域进行降采样，以减少对特征点进行跟踪时所产生的运算量。该方案能够使得目标观察窗口只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素进行屏蔽，实现了在保证跟踪的准确性的同时提高跟踪效率的效果。

附图说明

图1为一个实施例中特征点观察窗口的处理方法的应用场景图；

图2为一个实施例中对图像特征点进行跟踪的原理图；

图3为一个实施例中特征点观察窗口的处理方法的流程示意图；

图4为一个实施例中观察窗口的示意图；

图5为一个实施例中多种掩膜图案的示意图；

图6为一个实施例中对图像使用掩膜的原理图；

图7为一个实施例中基于图像金字塔的特征点跟踪方法的流程示意图；

图8为一个实施例中图像金字塔的示意图；

图9为一个实施例中对图像特征点进行跟踪的效果对比图；

图10为一个实施例中特征点观察窗口的处理装置的结构框图；

图11为一个实施例中基于图像金字塔的特征点跟踪装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明提供的特征点观察窗口的处理方法，可以应用于如图1所示的应用场景中，图1为一个实施例中特征点观察窗口的处理方法的应用场景图，该应用场景包括计算机设备100，该计算机设备100可以是具有图像处理能力的终端或服务器，其中，终端可以包括各种个人计算机、笔记本电脑和平板电脑等，服务器可以用独立的服务器或多个服务器组成的服务器集群来实现。

计算机设备100可以对多张图像中的图像特征点进行跟踪匹配，一般而言，在对图像特征点进行跟踪时，可以通过观察窗口下的图像特征点灰度随时间的变化率，从而求出该特征点的移动速度和方向，以实现对该图像特征点的跟踪。

具体的，结合图2对图像特征点的跟踪匹配进行详细说明，图2为一个实施例中对图像特征点进行跟踪的原理图，图2示出了原图像I和目标图像J，原图像I上具有图像特征点K1，该图像特征点K1是原图像I上目标物210的一个角点，目标图像J上具有目标物220，该目标物220是与目标物21相对应的，可以看作是相邻两帧视频图像中的同一个物体从目标物210的位置移动到目标物220的位置，而在目标图像J中具有图像特征点K2，该图像特征点K2是与图像特征点K1相匹配的，即图像特征点K2为匹配点，对原图像I的图像特征点K1进行跟踪，即在目标图像J中找出图像特征点K2的位置。其中，观察窗口W可以用于在原图像I和目标图像J中跟踪图像特征点K1，找出图像特征点K2的位置，具体可以如采用光流法等特征点跟踪方法基于该观察窗口W计算出图像特征点K1的在目标图像J上的位置偏移量A，然后根据位置偏移量A和图像特征点K1在原图像I的位置即可跟踪到图像特征点K2在目图像J上的位置。

如图1所示，计算机设备100可以对原图像I上的图像特征点K在目标图像上的位置进行跟踪，其中，图像特征点K是原图像I上的目标物200的角点，而传统技术在对图像特征点K进行跟踪时，通常会将观察窗口W的尺寸设置得比较大，便于提高对图像特征点的跟踪具有较高的准确率，但随着观察窗口W的尺寸增加，计算机设备100在对图像特征点K进行跟踪的运算量将会极大增大，增加对图像特征点K进行跟踪匹配的运行时间。

本发明实施例提供的特征点观察窗口的处理方法，能够基于计算机设备100进行实现，该计算机设备100确定图像特征点在原始观察窗口中的特征点位置，接着根据该特征点位置设置中心区域边界，并将该中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于该中心感兴趣区域内；其中，该中心区域边界位于原始观察窗口的窗口边界内；该计算机设备100还在中心区域边界与窗口边界之间形成的四周区域设置四周感兴趣区域和屏蔽区域，然后基于该中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜，最后将该掩膜叠加在原始观察窗口上，生成目标观察窗口，该目标观察窗口能够用于对图像特征点进行跟踪，使得目标观察窗口只对感兴趣区域(包括中心感兴趣区域和四周感兴趣区域)的像素点进行处理，而对屏蔽区域的像素进行屏蔽，实现了在保证跟踪的准确性的同时提高跟踪效率的效果。

在一个实施例中，提供了一种特征点观察窗口的处理方法，参考图3，图3为一个实施例中特征点观察窗口的处理方法的流程示意图，该方法可以基于如图1所示的计算机设备100进行实现，该特征点观察窗口的处理方法可以包括以下步骤：

步骤S101，确定特征点位置。

本步骤中，特征点位置是指图像特征点在原始观察窗口中的位置，原始观察窗口是指待处理的特征点观察窗口。其中，原始观察窗口的形状可以是多种多样的，而为了便于计算机设备100进行窗口参数计算和调整，原始观察窗口的形状通常会采用正方形。

利用观察窗口对图像特征点进行跟踪，该图像特征点会位于观察窗口当中。本步骤主要是在对原始观察窗口进行处理时，首先确定图像特征点在原始观察窗口中的位置，该位置即为上述特征点位置，该特征点位置可以通过图像特征点在该原始观察窗口的位置坐标进行表示。为了便于对图像特征点进行跟踪，在使用观察窗口时，通常会将观察窗口的中心位置重合于图像特征点在原图像上的位置，换句话说，图像特征点通常会位于观察窗口的中心位置。而观察窗口的形状通常是如圆形、正方形等规则的几何形状，则图像特征点在观察窗口中的位置与该观察窗口的几何中心所在的位置一致。

具体的，参考图4，图4为一个实施例中观察窗口的示意图，图像特征点K是原图像I上的目标物200的一个角点，设观察窗口W为原始观察窗口，该原始观察窗口W为正方形，为了便于对图像特征点K进行跟踪，将该原始观察窗口W的几何中心设置为图像特征点K相重合，则本步骤可以确定该图像特征点K在原始观察窗口W中的位置为该原始观察窗口W的几何中心对应的位置处，若设定该原始观察窗口W的几何中心对应的位置坐标为(x0,y0)，则图像特征点K在原始观察窗口W的位置可以用位置坐标(x0,y0)进行表示。

步骤S102，根据特征点位置设置中心区域边界，将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域内。

本步骤主要是确定了特征点位置后，设置中心区域边界并创建中心感兴趣区域，以使图像特征点位于该中心感兴趣区域内，其中，中心区域边界位于窗口边界之内，窗口边界是指原始观察窗口的边界。具体的，下面结合图4对本步骤进行说明：

如图4所示的图像特征点K为原图像I上的目标物200的一个角点，该图像特征点K位于原始观察窗口W之内，在确定了该图像特征点K在原始观察窗口W的位置后，可以以该图像特征点K为中心创建中心区域边界B1，通过中心区域边界B1包围图像特征点K，而该中心区域边界B1在二维平面上围成了一个区域Z，将该区域Z称为中心感兴趣区域Z。而由于图像特征点K被中心区域边界B1包围，因此该图像特征点K位于该中心区域边界B1所包围形成的中心感兴趣区域Z之内。

在原始观察窗口W当中，图像特征点K附近区域的像素点携带了该图像特征点K的主要的纹理信息，所以该附近区域的信息比较重要，为图像特征点K的准确匹配提供了主要信息，而在原始观察窗口W中离该图像特征点K较远区域则像素占比较大，但能提供的有效信息相对较少。因此，本步骤可以根据该图像特征点K的在原始观察窗口W中的特征点位置，设置包围该图像特征点K的中心区域边界B1，该中心区域边界B1所包围形成的中心感兴趣区域Z即可用于提取该图像特征点K附近区域的纹理信息。其中，中心区域边界B1需要位于在该原始观察窗口W的窗口边界B2内，在此基础上，可以通过调整中心区域边界B1来扩大、缩小中心感兴趣区域Z的大小，使得中心感兴趣区域Z既能够用于在原图像I当中，框选出尽可能多的图像特征点K附近区域的像素点所携带的纹理信息，又不会框选到较多离该图像特征点K较远区域的像素。其中，中心感兴趣区域Z的大小可以利用其占据平面面积来进行衡量，在图像处理技术当中，该中心感兴趣区域Z的平面面积可以通过其占据的像素点数量进行表示，即占据的像素点数量越多，表示该中心感兴趣区域Z越大。

步骤S103，在四周区域内设置四周感兴趣区域和屏蔽区域。

本步骤中，四周区域是指位于中心区域边界和窗口边界之间的区域。参考图4，在原始观察窗口W当中，中心区域边界B1和窗口边界B2之间形成了区域S，该区域S成为四周区域S，其中，四周区域S是相对于中间区域而言的，中间区域是指图像特征点K附近的区域，该中间区域可以对应于中心感兴趣区域Z，而离该图像特征点K较远的区域，则对应于本步骤中的四周区域S，四周区域S相对于中心感兴趣区域Z来说像素占比较大，但能提供的有效信息较少。

因此，本步骤在该四周区域内设置四周感兴趣区域以及屏蔽区域，其中，屏蔽区域用于对原始观察窗口中对应位置上的像素点进行屏蔽，使得在对图像进行处理时，只对四周感兴趣区域对应的像素点进行处理，而忽略屏蔽区域对应的像素点，从而实现对原始观察窗口的四周区域进行降采样，减少对图像特征点K进行跟踪时所产生的运算量，从而提高跟踪效率。

对于四周感兴趣区域和屏蔽区域的具体设置，可以先设置四周感兴趣区域，然后将四周区域中除四周感兴趣区域以外的区域设置为屏蔽区域；也可以先设置屏蔽区域，再将四周区域中除屏蔽区域以外的区域设置为四周感兴趣区域。以先设置四周感兴趣区域为例，可以使用如中点圆法、Bresenham画圆算法等方法，以图像特征点K为圆心构建多个圆环，然后将多个圆环在四周区域当中所占据的区域作为四周感兴趣区域，用于提取该四周区域的信息；还可以以图像特征点K为起点，等间夹角地生成一系列射线，将这一系列射线在四周区域当中所占据的区域作为四周感兴趣区域来提取四周区域的信息。在四周感兴趣区域的设置完成以后，则将四周区域中出四周感兴趣区域以外的区域设置为屏蔽区域。

步骤S104，基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜。

其中，根据中心感兴趣区域、四周感兴趣区域和屏蔽区域可以生成掩膜图案，从而创建掩膜，该掩膜的大小与原始观察窗口W的大小一致，便于直接将该掩膜覆盖在原始观察窗口W上。可以理解的是，设置不同的中心感兴趣区域、四周感兴趣区域和屏蔽区域可以生成不同的掩膜图案，从而能够灵活创建具有不同图案的掩膜。

如图5示出了多种掩膜图案，图5为一个实施例中多种掩膜图案的示意图，图5中三个掩膜均为正方形掩膜，掩膜宽度w为21个像素点所对应的宽度，三个掩膜的中心感兴趣区域均为正方形，该中心感兴趣区域的中心重合于掩膜的中心。其中，掩膜501的中心感兴趣区域的宽度w_center为9个像素点长度，而掩膜502和掩膜503的中心感兴趣区域的宽度w_center都是5个像素点长度，因此掩膜501的中心感兴趣区域相对于掩膜502和掩膜503来说，将可以用于在如图4所示的原图像上框选出更多的图像特征点K附近区域的纹理信息。而掩膜501、掩膜502和掩膜503的四周感兴趣区域均为多个圆环，而在不同的掩膜当中，圆环的设置间隔有所不同，其中，掩膜501在设置多个圆环时，采用的圆环间隔step为3个像素点长度，掩膜502采用的圆环间隔step为2个像素点长度，掩膜503采用的圆环间隔step为4，在各个圆环的宽度(如可以默认为1个像素点长度)均相同的情况下，设置的圆环间隔越大，在四周区域S中形成的四周感兴趣区域越小，屏蔽区域则会越大。因此，通过灵活设置不同的中心感兴趣区域、四周感兴趣区域和屏蔽区域，可以根据实际情况适应性生成不同的掩膜图案，从而创建出相应的掩膜。

步骤S105，将掩膜叠加在原始观察窗口上生成目标观察窗口，用于对图像特征点进行跟踪。

本步骤可以将掩膜叠加在原始观察窗口上，从而生成目标观察窗口，该目标观察窗口的大小与原始观察窗口的大小一致，且在该目标观察窗口相应的位置上设有掩膜的感兴趣区域(包括中心感兴趣区域和四周感兴趣区域)和屏蔽区域。在图像处理当中，掩膜(mask)的概念是指对待处理图像的部分进行遮挡，只对没有遮挡的部分进行运算，从而控制图像处理的区域和处理过程。

下面结合图6对本步骤进行具体说明，如图6所示，图6为一个实施例中对图像使用掩膜的原理图，图6中最左边的是原图，原图上具有一个三角形，中间的是掩膜，该掩膜的大小与原图d的大小相同，该掩膜上具有白色的感兴趣区域和黑色的屏蔽区域，将原图与掩膜进行叠加可以使得该掩膜上的屏蔽区域对原图的对应位置上的像素点进行屏蔽，从而得到图6中最右边的掩膜后图，该掩膜后图的大小与原图一致，与原图不同的是，掩膜后图相对于原图来说，部分的像素点被掩膜的屏蔽区域所屏蔽，所以在该掩膜后图当中，只有位于掩膜的感兴趣区域(即十字的白色区域)对应的位置上的像素点才会显示在掩膜后图上。其中，原图可以对应于本步骤的原始观察窗口，在该原始观察窗口上叠加掩膜，从而可以得到对应于掩膜后图的目标观察窗口。

这样，在利用该目标观察窗口对如图4所示的原图像I上的图像特征点K进行跟踪时，可以通过该目标观察窗口上的中心感兴趣区域捕捉该图像特征点K附近区域的全部纹理信息，利用四周感兴趣区域来提取离该图像特征点K较远区域的部分纹理信息，同时还利用屏蔽区域来对离该图像特征点K较远区域的部分纹理信息进行屏蔽，一方面有利于提取出对于跟踪该图像特征点K比较重要的纹理信息，以确保对图像特征点K进行跟踪的准确性，另一方面还对观察窗口中的四周区域进行降采样，以减少对图像特征点K进行跟踪时所产生的运算量，使得在利用该目标观察窗口对图像特征点进行跟踪时，只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素点进行屏蔽，保证对图像特征点进行准确跟踪的同时，还能够提高跟踪效率。

上述特征点观察窗口的处理方法，确定图像特征点在原始窗口中的特征点位置，根据该特征点位置设置中心区域边界，并将该中心区域边界围成的区域设置为中心感兴趣区域，使得图像特征点位于该中心感兴趣区域内，在四周区域设置四周感兴趣区域和屏蔽区域，然后基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜，将该掩膜叠加在原始观察窗口上生成用于对图像特征点进行跟踪的目标观察窗口。由于在特征点的观察窗口当中，图像特征点的纹理信息主要由该特征点附近的区域所携带，而离该特征点较远的四周占据的像素较多但能够提供的有效纹理信息相对较少，因此，本方案根据图像特征点的位置为观察窗口设置掩膜，一方面将图像特征点附近区域设置为中心感兴趣区域，有利于提取该特征点比较重要的纹理信息，以确保对特征点进行跟踪的准确性；另一方面，将该观察窗口中离该特征点较远的区域设置为四周感兴趣区域和屏蔽区域，即对观察窗口的四周区域进行降采样，以减少对特征点进行跟踪时所产生的运算量。该方案能够使得目标观察窗口只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素进行屏蔽，实现了在保证跟踪的准确性的同时提高跟踪效率的效果。

对于利用观察窗口来对图像特征点进行跟踪匹配的图像处理任务来说，图像特征点及其对应的匹配点通常都是位于观察窗口的中心位置，例如对于正方形的观察窗口，图像特征点通常位于其对角线交点位置，如对于圆形的观察窗口，图像特征点则通常位于其圆心位置。因此，对于图像特征点位于原始观察窗口的中心位置的情况，在一个实施例中，可以采用如下步骤设置中心感兴趣区域，即上述步骤S102中的根据特征点位置设置中心区域边界，将中心区域边界围成的区域设为中心感兴趣区域的步骤可以包括：

以特征点位置为中心，创建中心区域边界；将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域的中心位置。

本实施例以图像特征点在原始观察窗口的特征点位置为中心，由此可以创建出包围该图像特征点的中心区域边界，使得该图像特征点位于中心感兴趣区域的中心位置，而且由于图像特征点还位于原始观察窗口的中心位置，所以中心感兴趣区域的中心位置会重合于原始观察窗口的中心位置，这样更便于利用该中心感兴趣区域去提取该图像特征点附近区域的主要纹理信息，而且在原始观察窗口的中心位置设置中心感兴趣区域，能够有更大空间去调整该中心感兴趣区域的大小，即对该中心感兴趣区域的调节会更加灵活，有利于在对图像特征点进行跟踪时灵活地对中心感兴趣区域的大小等参数进行调节。

进一步的，为了更加便于计算机设备100对图像特征点进行跟踪，原始观察窗口的形状通常会设置成正方形，这样只需要设置正方形的边长即可快速调节原始观察窗口的大小，相应的，为了便于掩膜的生成以及参数的调节，中心感兴趣区域的形状可以设置为与原始观察窗口的形状相同，如图4所示，原始观察窗口W的形状为正方形，则中心感兴趣区域的形状也可以设置为正方形，使得在设置中心感兴趣区域时，由于中心感兴趣区域的中心位置重合于原始观察窗口的中心位置，而且图像特征点K也位于该中心感兴趣区域的中心位置处，因此可只需要调节中心感兴趣区域的边长即可对中心感兴趣区域的大小进行快速调节，便于灵活地生成多种掩膜。

在生成掩膜的过程中，除设置中心感兴趣区域以外，还在四周区域内设置四周感兴趣区域和屏蔽区域，如图4所示，在原始观察窗口W当中，四周区域S是指中心区域边界B1与窗口边界B2之间的区域，在四周区域设置四周感兴趣区域和屏蔽区域的目的主要在于对原始观察窗口的四周区域进行降采样，以减少对图像特征点K进行跟踪时所产生的运算量，而在四周区域设置四周感兴趣区域和屏蔽区域的方式有多种，在一个实施例中，在四周区域内设置四周感兴趣区域和屏蔽区域的步骤可以包括：

在四周区域内创建多个圆环区域；根据多个圆环区域设置四周感兴趣区域和屏蔽区域。

本实施例可以在四周区域当中通过设置套圆(即多个圆环)的方式，来设置四周感兴趣区域和屏蔽区域。其中，可以在四周区域内，以中心感兴趣区域内的某个像素点为圆心，按照一定的圆环间隔设置多个圆环，圆环在四周区域内占据的区域成为圆环区域，圆环的数量为多个，由此可以在四周区域内创建出多个圆环区域，而圆环的数量可以由圆环间隔进行设定，圆环间隔越大，圆环的数量则越少，可以结合图5进行说明，在掩膜502当中，圆环间隔step为2个像素点长度，而掩膜503的圆环间隔step为4个像素点长度，因此，掩膜502在四周区域中具有比掩膜503更多的圆环。

而为了更加便于计算机设备对图像特征点进行跟踪，原始观察窗口和中心感兴趣区域的形状通常会设置成正方形，而待跟踪的图像特征点则一般位于中心感兴趣区域的中心位置。基于此，在一个实施例中，在四周区域内创建多个圆环区域的步骤具体包括：以图像特征点为圆心，按照设定的圆环间隔，在四周区域内创建多个圆环区域。

本实施例以位于中心感兴趣区域的中心位置的图形特征点为圆心，按照预先设定的圆环间隔在四周区域内创建多个圆环区域，由于圆心位置固定，因此只需要调节圆环间隔即可灵活地在四周区域内设置多个圆环，便于掩膜生成以及参数调节。

在多个圆环区域创建完毕后，可以根据该圆环区域设置四周感兴趣区域和屏蔽区域，在一个实施例中，上述根据多个圆环区域设置四周感兴趣区域和屏蔽区域的步骤可以包括：

将多个圆环区域设为四周感兴趣区域，然后将该四周区域内，除该四周感兴趣区域以外的区域设置为屏蔽区域。参考图5，在掩膜502的四周区域内具有多个圆环区域(对应于白色圆环)，可以将该多个白色圆环设置为四周感兴趣区域，然后将四周区域内出这些白色圆环以外的区域设置为屏蔽区域，从而完成在四周区域内对四周感兴趣区域和屏蔽区域的设置。

考虑到中心感兴趣区域和圆环间隔在设置过程中是相互关联的，为了将图像特征点的跟踪匹配速度和准确性得到较好的平衡，可以基于相应目标观察窗口对图像特征点的跟踪匹配速度以及匹配效果，反过来对中心感兴趣区域和圆环间隔调整。

在一个实施例中，上述特征点观察窗口的处理方法，还可以包括如下步骤：

固定圆环间隔，调节中心感兴趣区域的大小；获取对中心感兴趣区域进行大小调节前后，利用对应生成的目标观察窗口，对图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；根据匹配率下降比例与匹配时间下降比例的相对大小，设置掩膜的中心感兴趣区域的大小。

本实施例可以步骤S102和步骤S103设置中心感兴趣区域、四周感兴趣区域和屏蔽区域以后，重新对中心感兴趣区域的大小进行设置，需要说明的是，本实施例的四周感兴趣区域和屏蔽区域，是基于在四周区域内按照一定圆环间隔创建多个圆环区域进行设置的。

具体的，首先固定圆环间隔，在此基础上对中心感兴趣区域的大小进行调节，如扩大或缩小该中心感兴趣区域，为了便于理解，假设该中心感兴趣区域的形状为正方形，通过调节中心感兴趣区域的边长可以对中心感兴趣区域的大小进行调节。然后，可以利用调节前后的中心感兴趣区域结合四周感兴趣区域和屏蔽区域，分别生成两个掩膜，再将这两个掩膜分别叠加到原始观察窗口上，可以得到两个目标观察窗口，对应于调节前后的目标观察窗口。

接着可以在测试图像上，分别利用这两个目标观察窗口进行图像特征点的跟踪测试，从而可以分别获取两个目标观察窗口对图像特征点进行跟踪的匹配率和匹配时间，然后计算调节前后，匹配率的下降比例以及匹配时间的下降比例，并基于匹配率的下降比例和匹配时间的下降比例的相对大小来设置中心感兴趣区域的最终大小。以缩小中心感兴趣区域为例，由于当中心感兴趣区域越小，匹配时间也会越少，但匹配率会下降。因此，当匹配率的下降比例大于匹配时间的下降比例时，可以认为不能继续缩小中心感兴趣区域的大小了，此时可以将缩小前的中心感兴趣区域的大小设置为用于生成掩膜的中心感兴趣区域的最终大小。

进一步的，在一个实施例中，可以在中心感兴趣区域的最终大小确定后，确定圆环间隔的最终大小，具体步骤可以包括：

固定中心感兴趣区域，调节圆环间隔的大小；获取对圆环间隔进行大小调节前后，利用对应生成的目标观察窗口，对图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；根据匹配率下降比例与匹配时间下降比例的相对大小，设置掩膜的圆环间隔的大小。

本实施例中，可以在中心感兴趣区域的大小设置完毕后，固定该中心感兴趣区域，即保持该中心感兴趣区域的大小、形状和位置等参数不变，然后在设置四周感兴趣区域和屏蔽区域时，调节圆环间隔的大小，如增大圆环间隔、缩小圆环间隔等方式进行调节。然后，可以基于调节前后的圆环间隔，在四周区域内相应设置四周感兴趣区域和屏蔽区域，并结合中心感兴趣区域分别生成两个掩膜，再将这两个掩膜分别叠加到原始观察窗口上，可以得到两个目标观察窗口，对应于调节前后的目标观察窗口。

同样的，可以在测试图像上，分别利用这两个目标观察窗口进行图像特征点的跟踪测试，获取调节前后，匹配率的下降比例以及匹配时间的下降比例，从而基于匹配率的下降比例和匹配时间的下降比例的相对大小来设置圆环间隔的最终大小。以增大圆环间隔为例，圆环间隔越大，套圆越少，匹配时间也会越少，但匹配率会下降，因此，当匹配率的下降比例大于匹配时间的下降比例时，认为是不能继续增大了，此时可以将增大前的圆环间隔设置为用于生成掩膜的圆环间隔的最终大小。

上述实施例的技术方案，能够在保证匹配率的基础上对中心感兴趣区域和圆环间隔进行动态调节，以减少匹配时间，使得在利用相应的目标观察窗口对图像特征点进行跟踪的匹配率和匹配时间能够获得更好的平衡。

在一个实施例中，还提供了一种基于图像金字塔的特征点跟踪方法，如图7所示，图7为一个实施例中基于图像金字塔的特征点跟踪方法的流程示意图，该基于图像金字塔的特征点跟踪方法可以包括如下步骤：

步骤S401，分别对原图像和目标图像建立图像金字塔。

其中，图像金字塔一般包括多层图像，如图8所示，图8为一个实施例中图像金字塔的示意图，图像金字塔化一般包括两个步骤，首先对图像进行一次低通滤波进行平滑，然后对图像的像素点在横纵两个方向上进行1/2抽样处理，从而得到一系列尺度缩小的图像。设L表示图像金字塔的层级，如图8所示，当L＝0时，为原图像，当向图像金字塔的上层移动时，图像的尺寸和分辨率降低，伴随的细节就越少。基于图像金字塔对图像特征点进行跟踪时，一般是从顶层(L＝3)开始对图像特征点进行跟踪，先获得一个粗糙的跟踪结果，然后将跟踪结果作为下一层的初始点再进行跟踪，不断迭代直到到达第L＝0层，作为一种由粗到细的分析策略。

在对图像特征点进行跟踪之前，先分别对原图像和目标图像建立图像金字塔，其中，原图像是指图像特征点所在的图像，目标图像是指匹配点所在的图像，所谓匹配点是指与图像特征点相匹配的点，而图像金字塔包括多层图像，图像金字塔的各层图像可以包括各层原图像和各层目标图像。以具有3个层级的图像金字塔为例，第2层级的图像可以包括第2层级的原图像和第2层级的目标图像，在第2层级的图像中对图像特征点进行跟踪是指，基于第2层级的原图像上的图像特征点的相关信息，在第2层级的目标图像中找到与该图像特征点相匹配的匹配点的位置。

步骤S402，获取原始观察窗口，并根据如上所述的特征点观察窗口的处理方法对原始观察窗口进行处理，生成目标观察窗口。

本步骤主要是获取原始观察窗口后，可以利用如上任一项实施例所述的特征点观察窗口的处理方法，对该原始观察窗口进行处理，从而生成目标观察窗口。为了便于方案的描述，可以假设原始观察窗口和掩膜的中心感兴趣区域的形状均为正方形，且图像特征点位于原始观察窗口的中心位置。

具体的，对于给定的形状为正方形的原始观察窗口W，原始观察窗口W可以表示为：W＝{(u,v)|0<u<w,0<v<w}，其中，w为原始观察窗口的边长，u和v为该原始观察窗口内的坐标，而给定的掩膜的中心感兴趣区域为w_center，边长表示为w_center，w_center<w，并且中心感兴趣区域W_center的中点与原始观察窗口W一致。然后可以使用中点圆法、Bresenham画圆算法等方法，以原始观察窗口W的中心点为圆心坐标，r_i为半径，画出一系列圆的图案。其中，w_center/2≤r_i<w/2，r₀＝w/2，r_i-r_i+1＝step，i＝0,1...，step为给定圆环间隔，如图5所示，通过设定不同的w、w_center和step的值，可以生成不同的掩膜图案。为了便于后续描述，在原始观察窗口上覆盖掩膜生成目标观察窗口后，可以将生成的目标观察窗口设为M＝{(u,v)|(u,v)∈mask(W)}，mask(W)表示掩膜中的有效像素，即感兴趣区域(包括中心感兴趣区域和四周感兴趣区域)内的像素，u和v为目标观察窗口内的坐标。

步骤S403，利用目标观察窗口在各层图像中对图像特征点进行跟踪。

本步骤可以利用步骤S402生成的目标观察窗口在图像金字塔的各层原图像和目标图像上对图像特征点进行跟踪匹配。

在一个实施例中，利用目标观察窗口在各层图像中对图像特征点进行跟踪的步骤具体可以包括：

在当前层原图像中，利用目标观察窗口计算图像特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算图像特征点的海森矩阵；在当前层目标图像中，利用目标观察窗口计算初始匹配点的第二灰度值；其中，该初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，该匹配点是指当前层目标图像上与图像特征点相匹配的像素点。

本实施例对图像特征点进行跟踪的上述步骤体现为在图像金字塔的当前层图像上对图像特征点进行跟踪，其中，当前层图像包括当前层原图像和当前层目标图像，即利用目标观察窗口在当前层目标图像中，找到与当前层原图像上图像特征点相匹配的匹配点的位置，上述步骤可以基于KLT光流法进行实现，下面将上述各步骤结合到图像金字塔中进行具体说明。

对于原图像I和其中的一个图像特征点的位置x，求在目标图像J中找到的匹配点的位置x′，给定迭代次数为K，根据上述步骤S402，将目标观察窗口设为M＝{(u,v)|(u,v)∈mask(W)}，mask(W)表示掩膜中的有效像素，即感兴趣区域(包括中心感兴趣区域和四周感兴趣区域)内的像素，u和v为目标观察窗口内的坐标。

分别对原图像I和目标图像J建立图像金字塔

和

L_m为给定的图像金字塔层数，一般为3。然后，初始化图像金字塔的顶层图像的搜索偏移位置

从第L＝L_m(顶层)开始不断往下，对每一层图像作如下处理：

a.计算图像特征点x在图像金字塔第L层原图像I^L上的位置：x^L＝[p_x p_y]^T＝x/2^L；

b.计算初始匹配点x_init′在图像金字塔第L层目标图像J^L上的位置：x′^L＝[p_x′ p_y′]^T＝x_init′/2^L；

c.计算第L层原图像I^L在X和Y两个方向的梯度矩阵I_x，I_y。

本步骤中，梯度矩阵I_x和I_y可以分别表示为

和

可以首先获取第L层原图像I^L上的图像特征点的第一灰度值I^L(x)，然后基于该第一灰度值I^L(x)计算该特征点在当前层原图像I^L上横坐标方向X和纵坐标方向Y的梯度矩阵，该横坐标方向和纵坐标方向两个方向的梯度矩阵可以作为图像特征点的第一灰度梯度值。

d.计算第L层原图像I^L在位置x^L＝[p_x p_y]^T的海森矩阵H：

其中，(u,v)表示目标观察窗口M内的坐标。H为2×2大小的矩阵，体现的是第L层原图像I^L中，在x^L位置的图像灰度二阶导数。

e.初始化位置迭代参数

用来记录迭代过程中匹配到图像特征点的位置偏移量；

f.迭代变量k从1到K(K为给定的迭代次数，用于控制如下步骤(步骤f1至步骤f4)的迭代次数，一般设置为30)，迭代以下操作：

f1.图像特征点在第L层目标图像J^L的匹配位置为

并计算图像的光流向量p^k：

本步骤中，可以先将第一灰度值和第二灰度值进行作差，得到灰度偏差值，从而根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量p^k，该光流向量p^k表示了图像特征点在该次迭代的跟踪偏移量，它含了灰度偏差信息，也包含了灰度梯度信息。

f2.更新位置迭代参数γ^k＝γ^k-1-p^k；

f3.如果‖p^k‖小于一个给定的阈值(如1e^-4)，则说明迭代已经收敛，则退出循环，去到步骤g；否则，进入步骤f4；

f4.设k＝k+1，回到步骤f1继续迭代；

g.在图像金字塔的第L层得到的最终匹配偏移：d^L＝γ^k；

h.初始化图像金字塔的下一层图像的匹配偏移位置：g^L-1＝2(g^L+d^L)；

i.设L＝L-1，回到步骤a进行图像金字塔的下一层图像的计算；

j.最终得到图像特征点x在目标图像J中的匹配点的位置为x′＝x_init′+g⁰+d⁰。

上述基于图像金字塔的特征点跟踪方法的效果可以参考图9，图9为一个实施例中对图像特征点进行跟踪的效果对比图，该对比图的横坐标为测试图像索引，对应为多个测试图像的样本，纵坐标表示匹配时间，实线表示原KLT光流法的跟踪效果，虚线表示本实施例提供的跟踪方法的跟踪效果，与原KLT光流法相比，在获得等同的匹配精度和匹配率的前提下，本实施例提供的跟踪方法的匹配速度能够减少30％至40％左右。可见，本实施例提供的基于图像金字塔的特征点跟踪方法，能够在确保对图像特征点进行准确跟踪的基础上，还提高了对特征点进行跟踪的效率。

在一个实施例中，提供了一种特征点观察窗口的处理装置，参考图10，图10为一个实施例中特征点观察窗口的处理装置的结构框图，该特征点观察窗口的处理装置可以包括：

位置确定模块101，用于确定特征点位置；特征点位置为图像特征点在原始观察窗口中的位置；

第一区域设置模块102，用于根据特征点位置设置中心区域边界，将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域内；其中，中心区域边界位于窗口边界内；窗口边界为原始观察窗口的边界；

第二区域设置模块103，用于在四周区域内设置四周感兴趣区域和屏蔽区域；其中，四周区域为位于中心区域边界与窗口边界之间的区域；

掩膜创建模块104，用于基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜；

窗口生成模块105，用于将掩膜叠加在原始观察窗口上生成目标观察窗口，用于对图像特征点进行跟踪。

在一个实施例中，第一区域设置模块102进一步用于：以特征点位置为中心，创建中心区域边界；将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域的中心位置；其中，图像特征点位于原始观察窗口的中心位置。

在一个实施例中，原始观察窗口的形状和中心感兴趣区域的形状均为正方形。

在一个实施例中，第二区域设置模块103进一步用于：在四周区域内创建多个圆环区域；根据多个圆环区域设置四周感兴趣区域和屏蔽区域。

在一个实施例中，第二区域设置模块103进一步用于：以图像特征点为圆心，按照设定的圆环间隔，在四周区域内创建多个圆环区域；其中，图像特征点位于中心感兴趣区域的中心位置；中心感兴趣区域的形状和原始观察窗口的形状均为正方形。

在一个实施例中，上述特征点观察窗口的处理装置，还可以包括：

第一掩膜设置单元，用于：固定圆环间隔，调节中心感兴趣区域的大小；获取对中心感兴趣区域进行大小调节前后，利用对应生成的目标观察窗口，对图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；根据匹配率下降比例与匹配时间下降比例的相对大小，设置掩膜的中心感兴趣区域的大小。

第二掩膜设置单元，用于：固定中心感兴趣区域，调节圆环间隔的大小；获取对圆环间隔进行大小调节前后，利用对应生成的目标观察窗口，对图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；根据匹配率下降比例与匹配时间下降比例的相对大小，设置掩膜的圆环间隔的大小。

在一个实施例中，第二区域设置模块103还进一步用于：

将多个圆环区域设为四周感兴趣区域；将四周区域内，除四周感兴趣区域以外的区域设为屏蔽区域。

本发明的特征点观察窗口的处理装置与本发明的特征点观察窗口的处理方法一一对应，关于特征点观察窗口的处理装置的具体限定可以参见上文中对于特征点观察窗口的处理方法的限定，在上述特征点观察窗口的处理方法的实施例阐述的技术特征及其有益效果均适用于特征点观察窗口的处理装置的实施例中，在此不再赘述。上述特征点观察窗口的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，还提供了一种基于图像金字塔的特征点跟踪装置，参考图11，图11为一个实施例中基于图像金字塔的特征点跟踪装置的结构框图，该基于图像金字塔的特征点跟踪装置可以包括：

金字塔建立模块401，用于分别对原图像和目标图像建立图像金字塔；图像金字塔包括多层图像；

窗口获取模块402，用于获取原始观察窗口，并根据如上所述的特征点观察窗口的处理方法对原始观察窗口进行处理，生成目标观察窗口；

特征点跟踪模块403，用于利用目标观察窗口在各层图像中对图像特征点进行跟踪。

在一个实施例中，特征点跟踪模块403进一步用于：

在当前层原图像中，利用目标观察窗口计算图像特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算图像特征点的海森矩阵；在当前层目标图像中，利用目标观察窗口计算初始匹配点的第二灰度值；初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，匹配点为当前层目标图像上与图像特征点相匹配的像素点。

本发明的基于图像金字塔的特征点跟踪装置与本发明的基于图像金字塔的特征点跟踪方法一一对应，关于基于图像金字塔的特征点跟踪装置的具体限定可以参见上文中对于基于图像金字塔的特征点跟踪方法的限定，在上述基于图像金字塔的特征点跟踪方法的实施例阐述的技术特征及其有益效果均适用于基于图像金字塔的特征点跟踪装置的实施例中，在此不再赘述。上述基于图像金字塔的特征点跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是具有图像处理能力的终端或服务器，其内部结构图可以如图12所示，图12为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种特征点观察窗口的处理方法、基于图像金字塔的特征点跟踪方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项实施例所述的特征点观察窗口的处理方法、基于图像金字塔的特征点跟踪方法。

在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

确定特征点位置；特征点位置为图像特征点在原始观察窗口中的位置；根据特征点位置设置中心区域边界，将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域内；其中，中心区域边界位于窗口边界内；窗口边界为原始观察窗口的边界；在四周区域内设置四周感兴趣区域和屏蔽区域；其中，四周区域为位于中心区域边界与窗口边界之间的区域；基于中心感兴趣区域、四周感兴趣区域和屏蔽区域创建掩膜；将掩膜叠加在原始观察窗口上生成目标观察窗口，用于对图像特征点进行跟踪。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

以特征点位置为中心，创建中心区域边界；将中心区域边界围成的区域设为中心感兴趣区域，以使图像特征点位于中心感兴趣区域的中心位置；图像特征点位于原始观察窗口的中心位置。

以图像特征点为圆心，按照设定的圆环间隔，在四周区域内创建多个圆环区域；其中，图像特征点位于中心感兴趣区域的中心位置；中心感兴趣区域的形状和原始观察窗口的形状均为正方形。

分别对原图像和目标图像建立图像金字塔；图像金字塔包括多层图像；获取原始观察窗口，并根据如上任一项实施例所述的特征点观察窗口的处理方法对原始观察窗口进行处理，生成目标观察窗口；利用目标观察窗口在各层图像中对图像特征点进行跟踪。

上述计算机设备，通过所述处理器上运行的计算机程序，能够使得目标观察窗口只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素进行屏蔽，实现了在保证跟踪的准确性的同时提高跟踪效率的效果。

本领域普通技术人员可以理解实现如上任一项实施例所述的特征点观察窗口的处理方法、基于图像金字塔的特征点跟踪方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

据此，在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上任一项实施例所述的特征点观察窗口的处理方法、基于图像金字塔的特征点跟踪方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

上述计算机可读存储介质，通过其存储的计算机程序，能够使得目标观察窗口只对感兴趣区域的像素点进行处理，而对屏蔽区域的像素进行屏蔽，实现了在保证跟踪的准确性的同时提高跟踪效率的效果。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种特征点观察窗口的处理方法，其特征在于，包括步骤：

确定特征点位置；所述特征点位置为图像特征点在原始观察窗口中的位置；所述原始观察窗口为待处理的特征点观察窗口；

在四周区域内设置四周感兴趣区域和屏蔽区域；其中，所述四周区域为位于所述中心区域边界与所述窗口边界之间的区域；所述四周感兴趣区域和所述屏蔽区域为所述四周区域中的不同区域；

2.根据权利要求1所述的方法，其特征在于，所述图像特征点位于所述原始观察窗口的中心位置；

所述根据所述特征点位置设置中心区域边界，将所述中心区域边界围成的区域设为中心感兴趣区域的步骤包括：

以所述特征点位置为中心，创建所述中心区域边界；

将所述中心区域边界围成的区域设为所述中心感兴趣区域，以使所述图像特征点位于所述中心感兴趣区域的中心位置。

3.根据权利要求2所述的方法，其特征在于，所述原始观察窗口的形状和所述中心感兴趣区域的形状均为正方形。

4.根据权利要求1所述的方法，其特征在于，所述在四周区域内设置四周感兴趣区域和屏蔽区域的步骤包括：

在所述四周区域内创建多个圆环区域；

根据所述多个圆环区域设置所述四周感兴趣区域和屏蔽区域。

5.根据权利要求4所述的方法，其特征在于，所述在所述四周区域内创建多个圆环区域的步骤包括：

以所述图像特征点为圆心，按照设定的圆环间隔，在所述四周区域内创建多个圆环区域；其中，所述图像特征点位于所述中心感兴趣区域的中心位置；所述中心感兴趣区域的形状和所述原始观察窗口的形状均为正方形。

6.根据权利要求5所述的方法，其特征在于，还包括步骤：

固定所述圆环间隔，调节所述中心感兴趣区域的大小；

获取对所述中心感兴趣区域进行大小调节前后，利用对应生成的目标观察窗口，对所述图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；

根据所述匹配率下降比例与所述匹配时间下降比例的相对大小，设置所述掩膜的中心感兴趣区域的大小。

7.根据权利要求6所述的方法，其特征在于，还包括步骤：

固定所述中心感兴趣区域，调节所述圆环间隔的大小；

获取对所述圆环间隔进行大小调节前后，利用对应生成的目标观察窗口，对所述图像特征点进行跟踪得到的匹配率下降比例以及匹配时间下降比例；

根据所述匹配率下降比例与所述匹配时间下降比例的相对大小，设置所述掩膜的圆环间隔的大小。

8.根据权利要求4所述的方法，其特征在于，所述根据所述多个圆环区域设置所述四周感兴趣区域和屏蔽区域的步骤包括：

将所述多个圆环区域设为所述四周感兴趣区域；

将所述四周区域内，除所述四周感兴趣区域以外的区域设为所述屏蔽区域。

9.一种基于图像金字塔的特征点跟踪方法，其特征在于，包括步骤：

获取原始观察窗口，并根据如权利要求1至8任一项所述的特征点观察窗口的处理方法对所述原始观察窗口进行处理，生成目标观察窗口；

利用所述目标观察窗口在各层图像中对图像特征点进行跟踪。

10.根据权利要求9所述的方法，其特征在于，所述利用所述目标观察窗口在各层图像中对图像特征点进行跟踪的步骤包括：

在当前层原图像中，利用所述目标观察窗口计算所述图像特征点的第一灰度值和第一灰度梯度值，根据所述第一灰度梯度值计算所述图像特征点的海森矩阵；

在当前层目标图像中，利用所述目标观察窗口计算初始匹配点的第二灰度值；所述初始匹配点为预设于所述当前层目标图像上的像素点；

将所述第一灰度值和第二灰度值进行作差，得到灰度偏差值；

根据所述灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；

基于所述光流向量和所述初始匹配点在所述当前层目标图像上的位置，获取匹配点在所述当前层目标图像上的位置；其中，所述匹配点为所述当前层目标图像上与所述图像特征点相匹配的像素点。

11.一种特征点观察窗口的处理装置，其特征在于，包括：

位置确定模块，用于确定特征点位置；所述特征点位置为图像特征点在原始观察窗口中的位置；所述原始观察窗口为待处理的特征点观察窗口；

第二区域设置模块，用于在四周区域内设置四周感兴趣区域和屏蔽区域；其中，所述四周区域为位于所述中心区域边界与所述窗口边界之间的区域；所述四周感兴趣区域和所述屏蔽区域为所述四周区域中的不同区域；

12.一种基于图像金字塔的特征点跟踪装置，其特征在于，包括：

窗口获取模块，用于获取原始观察窗口，并根据如权利要求1至8任一项所述的特征点观察窗口的处理方法对所述原始观察窗口进行处理，生成目标观察窗口；

特征点跟踪模块，用于利用所述目标观察窗口在各层图像中对图像特征点进行跟踪。

13.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法的步骤。