CN108320298A - 一种视觉目标跟踪方法与设备 - Google Patents

Abstract

本申请的目的是提供一种视觉目标跟踪方法，该方法包括：从视频中读取当前帧图像；根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括：确定所述当前帧图像的置信图信息；识别所述当前帧图像中的被遮挡区域；根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。本申请通过在视觉目标跟踪过程中计时为每个像素分配不同的匹配置信度，将低置信度分配给被噪声干扰的像素，结合置信度图与遮挡区域等确定跟踪结果区域信息，该跟踪方法在各种干扰的环境下都能取得很好的跟踪结果，大大提升了跟踪的准确率。

Description

一种视觉目标跟踪方法与设备

技术领域

本申请涉及通信领域，尤其涉及一种用于视觉目标跟踪的技术。

背景技术

视觉目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获取运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解。视觉目标跟踪是计算机视觉和增强现实领域富有挑战性的工作，它的困难之处在于处理各种视觉信息和运动信息。视觉信息包括目标的轮廓、颜色、纹理、运动变化、光照变化、场景改变、遮挡、运动模糊等。视觉信息的多样性和变化特征使得现有的跟踪技术在复杂场景下很容易丢失目标。

发明内容

本申请的一个目的是提供一种视觉目标跟踪方法。

根据本申请的一个方面，提供了一种视觉目标跟踪方法，该方法包括：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

根据本申请的另一个方面，提供了一种视觉目标跟踪方法，其中，该方法包括：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

根据所述跟踪结果区域信息更新所述模板信息；

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

根据本申请的一个方面，提供了一种视觉目标跟踪的设备，该设备包括：

读取装置，用于从视频中读取当前帧图像；

目标跟踪装置，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

根据本申请的另一个方面，提供了一种视觉目标跟踪的设备，该设备包括：

读取模块，用于从视频中读取当前帧图像；

执行模块，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

更新模块，用于根据所述跟踪结果区域信息更新所述模板信息；

再执行模块，用于从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

根据本申请的一个方面，提供了一种用于视觉目标跟踪的额设备，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

根据本申请的另一个方面，提供了一种用于视觉目标跟踪的额设备，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

根据所述跟踪结果区域信息更新所述模板信息；

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

根据本申请的一个方面，提供了一种种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

根据本申请的另一个方面，提供了一种种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

根据所述跟踪结果区域信息更新所述模板信息；

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

与现有技术相比，本申请通过在视觉目标跟踪过程中计算运动参数时为每个像素分配不同的匹配置信度，将低置信度分配给被噪声干扰的像素，如通过当前帧图像与模板的差异图像识别的被遮挡区域等，并结合置信度图与遮挡区域等确定跟踪结果区域信息，该跟踪方法提供了更好的跟踪算法，在各种干扰的环境下都能取得很好的跟踪结果，大大提升了跟踪的准确率。而且，在当前帧图像跟踪完成后，基于当前帧图像的跟踪结果区域信息与模板信息，结合卡尔曼滤波器更新模板信息，使得模板能够适应光照或者快速运动引起的外观变化，该方法在剧烈光照变化或者运动模糊等情况下依然能够取得很好的跟踪效果，能够很好的适应各种复杂的环境干扰。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了现有视觉目标跟踪(1)与本申请中新提出的视觉目标跟踪(2)的跟踪结果展示图；

图2示出根据本申请一个实施例的一种视觉目标跟踪方法的方法流程图；

图3示出根据本申请另一个实施例的一种视觉目标跟踪方法的方法流程图；

图4示出根据本申请一个实施例的一种视觉目标跟踪设备的设备结构图；

图5示出根据本申请另一个实施例的一种视觉目标跟踪设备的设备结构图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

图1分别示出现有技术(1)与本申请(2)的视觉目标跟踪结果，本申请中视觉目标跟踪设备通过更好的跟踪算法，能够在各种复杂环境干扰下达到良好的跟踪结果。

图2示出了根据本申请一个方面的一种视觉目标跟踪方法，其中，该方法包括步骤S11和步骤S12。在步骤S11中，视觉目标跟踪设备从视频中读取当前帧图像；在步骤S12中，视觉目标跟踪设备根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括步骤S121、步骤S122和步骤S123，其中，在步骤S121中，视觉目标跟踪设备确定所述当前帧图像的置信图信息；在步骤S122中，视觉目标跟踪设备识别所述当前帧图像中的被遮挡区域；在步骤S123中，视觉目标跟踪设备根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

具体而言，在步骤S11中，视觉目标跟踪设备从视频中读取当前帧图像。例如，视觉目标跟踪设备包括具有自动采集视频信息的目标跟踪设备，如智能眼镜等。视觉目标跟踪设备当前设置有目标的模板信息，如目标相关的初始图像或位置等，其中，该模板信息可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。视觉目标跟踪设备读取当前视频中的当前帧图像用于进行目标跟踪。

在步骤S12中，视觉目标跟踪设备根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括步骤S121、步骤S122和步骤S123，其中，在步骤S121中，视觉目标跟踪设备确定所述当前帧图像的置信图信息；在步骤S122中，视觉目标跟踪设备识别所述当前帧图像中的被遮挡区域；在步骤S123中，视觉目标跟踪设备根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备根据模板信息以及当前图像帧相关信息进行模板跟踪，在模板跟踪过程中，为每个像素分配不同的匹配置信度，如对于每个像素，先将置信度图均匀初始化，再根据前一帧图像帧和模板信息的差异确定每个像素对应的置信度，组成当前帧图像的置信图信息；随后，视觉目标跟踪设备通过当前帧图像与模板信息的差异图像，对当前设备进行遮挡检测，识别当前帧图像的被遮挡区域，如通过对差异图像的多样性标准及空间标准等进行比较，满足预设条件的区域作为被遮挡区域。为了从模板匹配时排除掉遮挡部分的影响，将遮挡像素对应的置信度设置较低或者直接设置为零，随后根据模板信息和更新后的置信图信息确定当前帧图像模板匹配的最优求解，并根据该最优求解以及模板信息确定视觉目标在当前帧图像中的跟踪结果区域信息等。

例如，视觉目标跟踪设备基于用户的操作正在进行视觉目标跟踪，视觉目标跟踪设备从当前视频中读取当前帧图像，其中，当前视觉目标跟踪所使用的模板T可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。视觉目标跟踪设备采用如下(1)中的模板匹配最优化P_t以最小化目标函数的表达式：

s.t.-b≤p_t-p_t-1≤b. (1)

其中，如式(1)所示，假设我们给出了一个图像序列I_t，其中z＝(x,y)^T表示像素坐标，t＝0，1，2，…表示时间时刻。目标跟踪旨在获取每帧图像中模板T的位置，其中，表示物体和相机之间的相对运动引起图像中物体位置变化的几何扭曲，Λ_T表示模板T的支撑集，T(z)表示模板中像素z的亮度，p_t表示Φ_t所指定转换的参数向量；其中，b表示几何变化的容忍度，可以是预设约束条件，防止连续帧之间出现大幅度的运动跳跃。

此处C表示置信图，它的每个元素C(x)记录各像素x对应的匹配置信度，通过在计算运动参数时对模板中每个像素分配对应的匹配置信度，减少一些外在噪声(特别是对于遮挡)的影响。在一些实施例中，视觉目标跟踪设备对当前帧图像中每个像素x的置信度进行均匀初始化，随后，根据前一帧图像与模板之间的差异更新当前帧图像各像素x对应的匹配置信度：

式(2)中，ε表示当前帧图像与模板间的最大差异：

其中，|.|表示向量的绝对值，I_t-1表示上一图像帧的后验估计状态。在一些实施例中，为了提高有遮挡的环境因素时视觉目标跟踪的跟踪效果，同时考虑到遮挡区别于其他扰动因素，如照明变化和运动模糊通常对所有像素产生类似的干扰，而遮挡部分通常是紧密连接的区域，视觉目标跟踪设备根据模板T与当前图像帧的差异图像，确定对应的用于识别遮挡区域的参数，如多样性标准信息、空间标准信息等，进而识别当前帧对应的被遮挡区域。如步骤S122所示，该步骤包括子步骤S1221和子步骤S1222。在步骤S1221中，视觉目标跟踪设备根据所述模板信息确定所述当前帧图像对应的差异图像信息；在步骤S1222中，视觉目标跟踪设备根据所述差异图像信息识别所述当前帧图像中的被遮挡区域。例如，视觉目标跟踪设备根据当前帧图像和模板信息构建当前差异图像D如下：

如式(4)所示，|.|表示向量的绝对值。随后，视觉目标跟踪设备根据当前得到的差异图像D计算相关的被遮挡参数，如多样性标准信息、空间标准信息等，识别当前帧图像中的被遮挡区域。在一些实施例中，在步骤S1222中，视觉目标跟踪设备根据所述差异图像信息的相关信息确定所述当前图像帧对应的多样性信息，若所述多样性信息大于多样性标准阈值信息，根据所述差异图像信息确定对应的空间标准信息，并基于所述空间标准信息识别所述当前帧图像中的被遮挡区域。其中，多样性标准信息包括差异图像D的平均值与其标准差的比值，例如，先计算差异图像D的平均值为μ(D)，其标准差为σ(D)，多样性标准信息记为θ，显然，低σ(D)表示差异图像D的多样性较少，多样性标准信息θ的数值偏大，存在遮挡的可能性较高。如果

μ(D)/σ(D)≤θ₀ (5)

如式(5)所示，θ₀为预设的多样性标准阈值，如将通过多次实验数据分析后设置多样性标注阈值为θ₀＝0.75，若多样性阈值信息θ＞0.75，视觉目标跟踪设备确定该当前帧图像存在遮挡。在一些实施例中，在步骤S1222中，若所述多样性标准信息小于或等于多样性标准阈值信息，视觉目标跟踪设备确定所述当前帧图像不存在被遮挡区域；其中，在步骤S123中，视觉目标跟踪设备根据所述置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备确定当前图像帧对应的差异图像的多样性阈值信息θ≤0.75，视觉目标跟踪设备确定该当前帧图像未存在遮挡，视觉目标跟踪设备根据对应的匹配置信图，确定对应的最优匹配结果。

在一些实施例中，视觉目标跟踪设备通过多样性标准信息确定当前帧图像存在遮挡后，根据空间标准信息识别当前帧图像中的被遮挡区域。视觉目标跟踪设备对当前帧图像对应的差异图像D进行二值化，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。此处，将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像，所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。例如，通过取平均值等，将像素灰度值小于128的像素的灰度值设置为0填充背景，将像素灰度值大于或等于128的像素的灰度值设置为255填充前景。随后，视觉目标跟踪设备应用形态学对二值化后的图像进行操作，如利用膨胀和/或腐蚀等形态学操作去除二值化后图像中的小区域，如利用开操作去除二值化后的差异图像中单独的黑点，利用闭操作去除二值化后的差异图像中单独的白点等。视觉目标跟踪设备处理完成后，得到的差异图像中存在一个或多个连接区域R，其中取各连接区域R的面积表示为a₁(R)，取各连接区域R的最小凸多边形面积为a₂(R)，记各连接区域R的空间标准信息为(a₁(R),a₂(R))，如果各连接区域R的空间标准信息满足如下条件：

如式(6)所示，其中θ₁＝0.12和θ₁＝0.55为预设的空间标准阈值信息，其中，若连接区域R满足式(6)，则视觉目标跟踪设备确定该连接区域R为遮挡区域。在一些实施例中，步骤S123包括步骤S1231和步骤S1232。在步骤S1231中，视觉目标跟踪设备根据所述被遮挡区域更新所述置信图信息确定所述优化置信图信息；在步骤S1232中，视觉目标跟踪设备根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备识别出当前帧图像对应的遮挡区域后，为了在模板匹配过程中排除遮挡部分，将所有遮挡像素的置信度直接设置为零，得到对应的优选置信图信息，视觉目标跟踪设备根据该优选置信图信息进行最优匹配求解获取视觉跟踪结果区域信息。

在一些实施例中，在步骤S1232中，视觉目标跟踪设备根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息满足预设约束条件；视觉目标跟踪设备基于所述目标差异信息和所述模板信息迭代更新确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备获取根据优化置信图信息，先考虑无约束条件下的置信度匹配问题，即放弃式(1)中的约束条件。用J(p；I)表示的目标函数ε₂针对参数p和图像I的雅可比矩阵，有

式(7)中是图像I针对的梯度，表示变换函数的雅可比。对于传入帧I_t，运动参数最初估计取p_t＝p_t-1。根据均值伪反转法(PMJ)，目标差异信息Δp计算为：

Δp≈-2[(J^TJ)^-1J^T]ε₂(p_t；I_t) (8)

其中

J＝J(p₀；I₀)+J(p_t；I_t) (9)

若目标差异信息Δp满足式(1)中的约束条件，基于如下公式更新参数：

p_t←p_t+Δp (10)

迭代更新直到达到收敛或最大迭代次数，例如，取最大迭代次数为30次，迭代更新至收敛或迭代更新30次后确定运动参数p_t为最优匹配解，根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。在一些实施例中，若目标差异信息Δp得到的运动参数p_t不满足式(1)中的约束条件，视觉目标跟踪设备从该约束条件中取样并基于上述解法求解对应的目标差异信息，并选取其中最小差异对应的运动参数作为最优匹配解。如在步骤S1232中，视觉目标跟踪设备根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息未满足预设约束条件；视觉目标跟踪设备从所述预设约束条件中均匀取样多个测试参数信息，并结合所述优化置信图信息确定各测试参数信息相对应的目标差异信息，优选其中目标差异信息最小的对应的测试参数信息为所述跟踪结果区域信息。

例如，若运动参数p_t不满足式(1)中的约束条件，取用Ω_t＝{q|-b≤q≤b}表示有效解空间，从该空间中均匀地进行Ns次采样选取候选解决方案q_i(1≤i≤Ns)，并求解各q_i对应的目标差异信息，选择具有最小目标差异信息的运动参数作为最优匹配解

其中，此处取Ns＝2500。视觉目标跟踪设备根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。

在一些实施例中，该方法还包括步骤S13(未示出)。在步骤S13中，视觉目标跟踪设备从所述视频中获取下一帧图像作为当前帧图像，并根据所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。例如，视觉目标跟踪设备根据模板信息确定当前帧图像对应的跟踪结果区域信息后，获取视频中下一帧图像作为当前帧图像，并根据模板信息根据上述步骤对该当前帧图像执行视觉目标跟踪处理。

在一些实施例中，该方法还包括步骤S14(未示出)。在步骤S14中，视觉目标跟踪设备根据所述跟踪结果区域信息更新所述模板信息；其中，在步骤S13中，视觉目标跟踪设备从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。例如，视觉目标跟踪设备根据当前帧处理得到的跟踪结果区域信息采用卡尔曼滤波器进行模板更新，随后从视频中获取下一帧图像，并基于更新后的模板执行视觉目标跟踪。

图3示出根据本申请的一种视觉目标跟踪方法，其中，该方法包括步骤S21、步骤S22、步骤S23和步骤S24。在步骤S21中，视觉目标跟踪设备从视频中读取当前帧图像；在步骤S22中，视觉目标跟踪设备根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；在步骤S23中，视觉目标跟踪设备根据所述跟踪结果区域信息更新所述模板信息；在步骤S24中，视觉目标跟踪设备从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

例如，视觉目标跟踪设备基于用户的操作正在进行视觉目标跟踪，视觉目标跟踪设备从当前视频中读取当前帧图像，其中，当前视觉目标跟踪所使用的模板T可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。在一些实施例中，所述视觉目标跟踪处理包括：视觉目标跟踪设备确定所述当前帧图像的置信图信息；视觉目标跟踪设备识别所述当前帧图像中的被遮挡区域；视觉目标跟踪设备根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备根据模板信息以及当前图像帧相关信息进行模板跟踪，在模板跟踪过程中，为每个像素分配不同的匹配置信度，如对于每个像素，先将置信度图均匀初始化，再根据前一帧图像和模板信息的差异确定每个像素对应的置信度，组成当前帧图像的置信图信息；随后，视觉目标跟踪设备通过当前帧图像与模板信息的差异图像，对当前设备进行遮挡检测，识别当前帧图像的被遮挡区域，如通过对差异图像的多样性标准及空间标准等进行比较，满足预设条件的区域作为被遮挡区域。为了从模板匹配时排除掉遮挡部分的影响，将遮挡像素对应的置信度设置较低或者直接设置为零，随后根据模板信息和更新后的置信图信息确定当前帧图像模板匹配的最优求解，并根据该最优求解以及模板信息确定视觉目标在当前帧图像中的跟踪结果区域信息等。例如，视觉目标跟踪设备采用如下(12)中的模板匹配最优化P_t以最小化目标函数的表达式：

s.t.-b≤p_t-p_t-1≤b. (12)

其中，如式(12)所示，假设我们给出了一个图像序列I_t，其中z＝(x,y)^T表示像素坐标，t＝0，1，2，…表示时间时刻。目标跟踪只在获取每帧图像中模板T的位置，其中，表示物体和相机之间的相对运动引起图像中物体位置变化的几何扭曲，Λ_T表示模板T的支撑集，T(z)表示模板中像素z的亮度，p_t表示Φ_t所指定转换的参数向量；其中，b表示几何变化的容忍度，可以是预设约束条件，防止连续帧之间出现大幅度的运动跳跃。

此处C表示置信图，它的每个元素C(x)记录各像素x对应的匹配置信度，通过在计算运动参数时对模板中每个像素分配对应的匹配置信度，减少一些外在噪声(特别是对于遮挡)的影响。在一些实施例中，视觉目标跟踪设备对当前帧图像中每个像素x的置信度进行均匀初始化，随后，根据当前帧图像与模板之间的差异更新当前帧图像各像素x对应的匹配置信度：

式(13)中，ε表示当前帧图像与模板间的最大差异：

其中，|.|表示向量的绝对值，I_t-1表示上一图像帧的后验估计状态。在一些实施例中，为了提高有遮挡的环境因素时视觉目标跟踪的跟踪效果，同时考虑到遮挡区别于其他扰动因素，如照明变化和运动模糊通常对所有像素产生类似的干扰，而遮挡部分通常是紧密连接的区域，视觉目标跟踪设备根据模板T与当前图像帧的差异图像，确定对应的用于识别遮挡区域的参数，如多样性标准信息、空间标准信息等，进而识别当前帧对应的被遮挡区域。视觉目标跟踪设备根据当前帧图像和模板信息构建当前差异图像D如下：

如式(15)所示，|.|表示向量的绝对值。随后，视觉目标跟踪设备根据当前得到的差异图像D计算相关的被遮挡参数，如多样性标准信息、空间标准信息等，识别当前帧图像中的被遮挡区域。多样性标准信息包括差异图像D的平均值与其标准差的比值，例如，先计算差异图像D的平均值为μ(D)，其标准差为σ(D)，多样性标准信息记为θ，显然，低σ(D)表示差异图像D的多样性较少，多样性标准信息θ的数值偏大，存在遮挡的可能性较高。如果

μ(D)/σ(D)≤θ₀ (16)

如式(16)所示，θ₀为预设的多样性标准阈值，如将通过多次实验数据分析后设置多样性标注阈值为θ₀＝0.75，若多样性阈值信息θ＞0.75，视觉目标跟踪设备确定该当前帧图像存在遮挡。视觉目标跟踪设备对当前帧图像对应的差异图像D进行二值化，并应用形态学对二值化后的图像进行操作，如利用膨胀和/或腐蚀等形态学操作去除二值化后图像中的小区域。视觉目标跟踪设备处理完成后，得到的差异图像中存在一个或多个连接区域R，其中取各连接区域R的面积表示为a₁(R)，取各连接区域R的最小凸多边形面积为a₂(R)，记各连接区域R的空间标准信息为(a₁(R),a₂(R))，如果各连接区域R的空间标准信息满足如下条件：

如式(17)所示，其中θ₁＝0.12和θ₁＝0.55为预设的空间标准阈值信息，其中，若连接区域R满足式(17)，则视觉目标跟踪设备确定该连接区域R为遮挡区域。为了在模板匹配过程中排除遮挡部分，将所有遮挡像素的置信度直接设置为零，得到对应的优选置信图信息，先考虑无约束条件下的置信度匹配问题，即放弃式(12)中的约束条件。用J(p；I)表示的目标函数ε₂针对参数p和图像I的雅可比矩阵，有

式(18)中是图像I针对的梯度，表示变换函数的雅可比。对于传入帧I_t，运动参数最初估计取p_t＝p_t-1。根据均值伪反转法(PMJ)，目标差异信息Δp计算为：

Δp≈-2[(J^TJ)^-1J^T]ε₂(p_t；I_t) (19)

其中

J＝J(p₀；I₀)+J(p_t；I_t) (20)

若目标差异信息Δp满足式(1)中的约束条件，基于如下公式更新参数：

p_t←p_t+Δp (21)

迭代更新直到达到收敛或最大迭代次数，例如，取最大迭代次数为30次，迭代更新至收敛或迭代更新30次后确定运动参数p_t为最优匹配解，根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。在一些实施例中，视觉目标跟踪设备采用卡尔曼滤波器进行模板更新，如步骤S23步骤包括子步骤S231(未示出)和子步骤S232(未示出)。在步骤S231中，视觉目标跟踪设备根据所述跟踪结果区域信息与所述模板信息确定卡尔曼滤波器对应的状态矩阵和控制输入模型；在步骤S232中，视觉目标跟踪设备基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息更新所述模板信息。

例如，视觉目标跟踪设备采用卡尔曼滤波器来更新模板信息。此处分别用y_t和z_t表示模板T的亮度在时间t的矢量化状态估计和观察，卡尔曼滤波器用控制输入模型来定义状态预测和观测模型

式(22)中A_t是应用于先前状态y_t-1的状态转换矩阵，B_t是应用于控制向量u_t的控制输入模型，H_t是将真实状态空间映射到观察空间的观察矩阵，w_t和v_t分别是状态噪声和观测噪声。在卡尔曼滤波中，通常假定w_t和v_t为零均值的高斯分布，并且分别记其方差为Q_t和L_t，即w_t～(0，Q_t)，v_t～(0，L_t)。

以下，用符号表示给出观察时间t'≤t下y在时间t的估计值，P_t|t’’表示对应的误差协方差。

基于式(22)的原理，首先计算状态矩阵，此处尽管存在外在环境的干扰，物体本身保持不变且可以直接观察。它意味着可以采用简单的状态转换和观察模型，使得A_t＝I和H_t＝I(这里I代表单位矩阵)。我们采用自动协方差最小二乘法(ALS)技术来学习噪声协方差矩阵Q_t和L_t。为了减少计算复杂度和对训练数据的依赖性，在像素的噪声彼此独立的假设下，我们将噪声协方差矩阵Q_t和L_t简化为对角线矩阵。

随后，视觉目标跟踪设备根据像素之间强度共生概率近似来构建控制输入模型，控制矩阵B_t被构建为

式(23)中B_t(i,j)表示控制矩阵B_t的第i行第j列的元素，k控制用于计算的窗口的大小。共生函数定义为

式(24)中y_m(i)和y_m(j)分别表示像素i和像素j在时刻m的亮度。考虑到具有相似亮度的像素倾向于保持与输入相似的反应，在构建控制矩阵B_t之后，将其归一化为行随机矩阵。在一些实施例中，初始控制矩阵B₀根据初始模板y₀构建。在另一些实施例中，一旦计算了B_t，我们固定

B_t＝B_t+1＝...＝B_t+k-1， (25)

式(25)中直到B_t+k下次更新，其中可以设置k＝25。

在获得后验估计之后，我们计算环境输入u_t以最小化先前模板与当前估计之间的平方误差：

在一些实施例中，在步骤S232中，视觉目标跟踪设备基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息确定更新模板的先验状态估计信息，基于所述先验状态估计信息与所述跟踪结果区域信息确定所述模板信息更新后的后验状态估计信息。

例如，首先计算先验状态估计和协方差：

前述步骤中获得的跟踪结果区域信息被用作观察z_t。因此计算残差和协方差：

随后更新后验状态估计和协方差：

其中为最优卡尔曼增益，I表示单位矩阵。

随后，视觉目标跟踪设备根据当前更新后的模板，读取视频中下一帧图像后，基于更新后的模板对下一帧图像执行视觉目标跟踪获取所述目标在下一帧图像中的跟踪结果区域信息。

图4示出了根据本申请一个方面的一种视觉目标跟踪设备，其中，该设备包括读取装置11和目标跟踪装置12。读取装置11，用于从视频中读取当前帧图像；目标跟踪装置12，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括确定模块121、识别模块122和目标跟踪模块123，其中，确定模块121，用于确定所述当前帧图像的置信图信息；识别模块122，用于识别所述当前帧图像中的被遮挡区域；目标跟踪模块123，用于根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

具体而言，读取装置11，用于从视频中读取当前帧图像。例如，视觉目标跟踪设备包括具有自动采集视频信息的目标跟踪设备，如智能眼镜等。视觉目标跟踪设备当前设置有目标的模板信息，如目标相关的初始图像或位置等，其中，该模板信息可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。视觉目标跟踪设备读取当前视频中的当前帧图像用于进行目标跟踪。

目标跟踪装置12，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括确定模块121、识别模块122和目标跟踪模块123，其中，确定模块121，用于确定所述当前帧图像的置信图信息；识别模块122，用于识别所述当前帧图像中的被遮挡区域；目标跟踪模块123，用于根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备根据模板信息以及当前图像帧相关信息进行模板跟踪，在模板跟踪过程中，为每个像素分配不同的匹配置信度，如对于每个像素，先将置信度图均匀初始化，再根据前一帧图像和模板信息的差异确定每个像素对应的置信度，组成当前帧图像的置信图信息；随后，视觉目标跟踪设备通过当前帧图像与模板信息的差异图像，对当前设备进行遮挡检测，识别当前帧图像的被遮挡区域，如通过对差异图像的多样性标准及空间标准等进行比较，满足预设条件的区域作为被遮挡区域。为了从模板匹配时排除掉遮挡部分的影响，将遮挡像素对应的置信度设置较低或者直接设置为零，随后根据模板信息和更新后的置信图信息确定当前帧图像模板匹配的最优求解，并根据该最优求解以及模板信息确定视觉目标在当前帧图像中的跟踪结果区域信息等。

例如，视觉目标跟踪设备基于用户的操作正在进行视觉目标跟踪，视觉目标跟踪设备从当前视频中读取当前帧图像，其中，当前视觉目标跟踪所使用的模板T可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。视觉目标跟踪设备采用如下(30)中的模板匹配最优化P_t以最小化目标函数的表达式：

s.t.-b≤p_t-p_t-1≤b. (30)

其中，如式(30)所示，假设我们给出了一个图像序列I_t，其中z＝(x,y)^T表示像素坐标，t＝0，1，2，…表示时间时刻。目标跟踪旨在获取每帧图像中模板T的位置，其中，表示物体和相机之间的相对运动引起图像中物体位置变化的几何扭曲，Λ_T表示模板T的支撑集，T(z)表示模板中像素z的亮度，p_t表示Φ_t所指定转换的参数向量；其中，b表示几何变化的容忍度，可以是预设约束条件，防止连续帧之间出现大幅度的运动跳跃。

此处C表示置信图，它的每个元素C(x)记录各像素x对应的匹配置信度，通过在计算运动参数时对模板中每个像素分配对应的匹配置信度，减少一些外在噪声(特别是对于遮挡)的影响。在一些实施例中，视觉目标跟踪设备对当前帧图像中每个像素x的置信度进行均匀初始化，随后，根据前一帧图像与模板之间的差异更新当前帧图像各像素x对应的匹配置信度：

式(31)中，ε表示当前帧图像与模板间的最大差异：

其中，|.|表示向量的绝对值，I_t-1表示上一图像帧的后验估计状态。在一些实施例中，为了提高有遮挡的环境因素时视觉目标跟踪的跟踪效果，同时考虑到遮挡区别于其他扰动因素，如照明变化和运动模糊通常对所有像素产生类似的干扰，而遮挡部分通常是紧密连接的区域，视觉目标跟踪设备根据模板T与当前图像帧的差异图像，确定对应的用于识别遮挡区域的参数，如多样性标准信息、空间标准信息等，进而识别当前帧对应的被遮挡区域。如识别模块122包括确定单元1221和识别单元1222。确定单元1221，用于根据所述模板信息确定所述当前帧图像对应的差异图像信息；识别单元1222，用于根据所述差异图像信息识别所述当前帧图像中的被遮挡区域。例如，视觉目标跟踪设备根据当前帧图像和模板信息构建当前差异图像D如下：

如式(33)所示，|.|表示向量的绝对值。随后，视觉目标跟踪设备根据当前得到的当前帧图像计算相关的被遮挡参数，如多样性标准信息、空间标准信息等，识别当前帧图像中的被遮挡区域。在一些实施例中，识别单元1222包括多样性确定单元12221和识别遮挡单元12222，其中，多样性确定单元12221，用于根据所述差异图像信息的相关信息确定所述当前图像帧对应的多样性信息；识别遮挡单元12222，若所述多样性信息大于多样性标准阈值信息，用于根据所述差异图像信息确定对应的空间标准信息，并基于所述空间标准信息识别所述当前帧图像中的被遮挡区域。其中，多样性标准信息包括差异图像D的平均值与其标准差的比值，例如，先计算差异图像D的平均值为μ(D)，其标准差为σ(D)，多样性标准信息记为θ，显然，低σ(D)表示差异图像D的多样性较少，多样性标准信息θ的数值偏大，存在遮挡的可能性较高。如果

μ(D)/σ(D)≤θ₀ (34)

如式(34)所示，θ₀为预设的多样性标准阈值，如将通过多次实验数据分析后设置多样性标注阈值为θ₀＝0.75，若多样性阈值信息θ＞0.75，视觉目标跟踪设备确定该差异图像D存在遮挡。在一些实施例中，识别单元1222还包括未遮挡单元12223，其中，若所述多样性标准信息小于或等于多样性标准阈值信息，未遮挡单元12223，用于确定所述当前帧图像不存在被遮挡区域；其中，目标跟踪模块123，用于根据所述置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备确定当前图像帧对应的差异图像的多样性阈值信息θ≤0.75，视觉目标跟踪设备确定该当前帧图像未存在遮挡，视觉目标跟踪设备根据对应的匹配置信图，确定对应的最优匹配结果。

在一些实施例中，视觉目标跟踪设备通过多样性标准信息确定当前帧图像存在遮挡后，根据空间标准信息识别当前帧图像中的被遮挡区域。视觉目标跟踪设备对当前帧图像对应的差异图像D进行二值化，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。此处，将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像，所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。例如，通过取平均值等，将像素灰度值小于128的像素的灰度值设置为0填充背景，将像素灰度值大于或等于128的像素的灰度值设置为255填充前景。随后，视觉目标跟踪设备应用形态学对二值化后的图像进行操作，如利用膨胀和/或腐蚀等形态学操作去除二值化后图像中的小区域，如利用开操作去除二值化后的差异图像中单独的黑点，利用闭操作去除二值化后的差异图像中单独的白点等。视觉目标跟踪设备处理完成后，得到的差异图像中存在一个或多个连接区域R，其中取各连接区域R的面积表示为a₁(R)，取各连接区域R的最小凸多边形面积为a₂(R)，记各连接区域R的空间标准信息为(a₁(R),a₂(R))，如果各连接区域R的空间标准信息满足如下条件：

如式(35)所示，其中θ₁＝0.12和θ₁＝0.55为预设的空间标准阈值信息，其中，若连接区域R满足式(6)，则视觉目标跟踪设备确定该连接区域R为遮挡区域。在一些实施例中，目标跟踪模块123包括优化单元1231和跟踪单元1232。优化单元1231，用于根据所述被遮挡区域更新所述置信图信息确定所述优化置信图信息；跟踪单元1232，用于根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备识别出当前帧图像对应的遮挡区域后，为了在模板匹配过程中排除遮挡部分，将所有遮挡像素的置信度直接设置为零，得到对应的优选置信图信息，视觉目标跟踪设备根据该优选置信图信息进行最优匹配求解获取视觉跟踪结果区域信息。

在一些实施例中，跟踪单元1232包括迭代单元12321，其中，迭代单元12321，用于根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息满足预设约束条件，并基于所述目标差异信息和所述模板信息迭代更新确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备获取根据优化置信图信息，先考虑无约束条件下的置信度匹配问题，即放弃式(30)中的约束条件。用J(p；I)表示的目标函数ε₂针对参数p和图像I的雅可比矩阵，有

式(36)中是图像I针对的梯度，表示变换函数的雅可比。对于传入帧I_t，运动参数最初估计取p_t＝p_t-1。根据均值伪反转法(PMJ)，目标差异信息Δp计算为：

Δp≈-2[(J^TJ)^-1J^T]ε₂(p_t；I_t) (37)

其中

J＝J(p₀；I₀)+J(p_t；I_t) (38)

若目标差异信息Δp满足式(1)中的约束条件，基于如下公式更新参数：

p_t←p_t+Δp (39)

迭代更新直到达到收敛或最大迭代次数，例如，取最大迭代次数为30次，迭代更新至收敛或迭代更新30次后确定运动参数p_t为最优匹配解，根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。在一些实施例中，若目标差异信息Δp得到的运动参数p_t不满足式(30)中的约束条件，视觉目标跟踪设备从该约束条件中取样并基于上述解法求解对应的目标差异信息，并选取其中最小差异对应的运动参数作为最优匹配解。如跟踪单元1232还包括取样单元12322，其中，取样单元12322，用于根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息未满足预设约束条件；视觉目标跟踪设备从所述预设约束条件中均匀取样多个测试参数信息，并结合所述优化置信图信息确定各测试参数信息相对应的目标差异信息，优选其中目标差异信息最小的对应的测试参数信息为所述跟踪结果区域信息。例如，若运动参数p_t不满足式(30)中的约束条件，取用Ω_t＝{q|-b≤q≤b}表示有效解空间，从该空间中均匀地进行Ns次采样选取候选解决方案q_i(1≤i≤Ns)，并求解各q_i对应的目标差异信息，选择具有最小目标差异信息的运动参数作为最优匹配解

其中，此处取Ns＝2500。视觉目标跟踪设备根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。

在一些实施例中，该设备还包括获取装置13(未示出)。获取装置13，用于从所述视频中获取下一帧图像作为当前帧图像，并根据所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。例如，视觉目标跟踪设备根据模板信息确定当前帧图像对应的跟踪结果区域信息后，获取视频中下一帧图像作为当前帧图像，并根据模板信息根据上述步骤对该当前帧图像执行视觉目标跟踪处理。

在一些实施例中，该设备还包括更新装置14(未示出)。更新装置14，用于根据所述跟踪结果区域信息更新所述模板信息；其中，获取装置13，用于从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。例如，视觉目标跟踪设备根据当前帧处理得到的跟踪结果区域信息采用卡尔曼滤波器进行模板更新，随后从视频中获取下一帧图像，并基于更新后的模板执行视觉目标跟踪。

图5示出根据本申请的一种视觉目标跟踪设备，其中，该设备包括读取装置21、执行装置22、更新装置23和再执行装置24。读取装置21，用于从视频中读取当前帧图像；执行装置22，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；更新装置23，用于根据所述跟踪结果区域信息更新所述模板信息；再执行装置24，用于从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

例如，视觉目标跟踪设备基于用户的操作正在进行视觉目标跟踪，视觉目标跟踪设备从当前视频中读取当前帧图像，其中，当前视觉目标跟踪所使用的模板T可以是视觉目标跟踪设备基于用户的输入或者预存的待跟踪模板获取的，也可以是根据视频信息以及用户指定坐标提取的模板信息等。在一些实施例中，所述视觉目标跟踪处理包括：确定模块221，用于确定所述当前帧图像的置信图信息；识别模块222，用于识别所述当前帧图像中的被遮挡区域；跟踪模块223，用于根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。例如，视觉目标跟踪设备根据模板信息以及当前图像帧相关信息进行模板跟踪，在模板跟踪过程中，为每个像素分配不同的匹配置信度，如对于每个像素，先将置信度图均匀初始化，再根据前一帧图像和模板信息的差异确定每个像素对应的置信度，组成当前帧图像的置信图信息；随后，视觉目标跟踪设备通过当前帧图像与模板信息的差异图像，对当前设备进行遮挡检测，识别当前帧图像的被遮挡区域，如通过对差异图像的多样性标准及空间标准等进行比较，满足预设条件的区域作为被遮挡区域。为了从模板匹配时排除掉遮挡部分的影响，将遮挡像素对应的置信度设置较低或者直接设置为零，随后根据模板信息和更新后的置信图信息确定当前帧图像模板匹配的最优求解，并根据该最优求解以及模板信息确定视觉目标在当前帧图像中的跟踪结果区域信息等。例如，视觉目标跟踪设备采用如下(41)中的模板匹配最优化P_t以最小化目标函数的表达式：

s.t.-b≤p_t-p_t-1≤b. (41)

其中，如式(41)所示，假设我们给出了一个图像序列I_t，其中z＝(x,y)^T表示像素坐标，t＝0，1，2，…表示时间时刻。目标跟踪只在获取每帧图像中模板T的位置，其中，表示物体和相机之间的相对运动引起图像中物体位置变化的几何扭曲，Λ_T表示模板T的支撑集，T(z)表示模板中像素z的亮度，p_t表示Φ_t所指定转换的参数向量；其中，b表示几何变化的容忍度，可以是预设约束条件，防止连续帧之间出现大幅度的运动跳跃。

此处C表示置信图，它的每个元素C(x)记录各像素x对应的匹配置信度，通过在计算运动参数时对模板中每个像素分配对应的匹配置信度，减少一些外在噪声(特别是对于遮挡)的影响。在一些实施例中，视觉目标跟踪设备对当前帧图像中每个像素x的置信度进行均匀初始化，随后，根据当前帧图像与模板之间的差异更新当前帧图像各像素x对应的匹配置信度：

式(42)中，ε表示当前帧图像与模板间的最大差异：

其中，|.|表示向量的绝对值，I_t-1表示上一图像帧的后验估计状态。在一些实施例中，为了提高有遮挡的环境因素时视觉目标跟踪的跟踪效果，同时考虑到遮挡区别于其他扰动因素，如照明变化和运动模糊通常对所有像素产生类似的干扰，而遮挡部分通常是紧密连接的区域，视觉目标跟踪设备根据模板T与当前图像帧的差异图像，确定对应的用于识别遮挡区域的参数，如多样性标准信息、空间标准信息等，进而识别当前帧对应的被遮挡区域。视觉目标跟踪设备根据当前帧图像和模板信息构建当前差异图像D如下：

如式(44)所示，|.|表示向量的绝对值。随后，视觉目标跟踪设备根据当前得到的差异图像D计算相关的被遮挡参数，如多样性标准信息、空间标准信息等，识别当前帧图像中的被遮挡区域。多样性标准信息包括差异图像D的平均值与其标准差的比值，例如，先计算差异图像D的平均值为μ(D)，其标准差为σ(D)，多样性标准信息记为θ，显然，低σ(D)表示差异图像D的多样性较少，多样性标准信息θ的数值偏大，存在遮挡的可能性较高。如果

μ(D)/σ(D)≤θ₀ (45)

如式(45)所示，θ₀为预设的多样性标准阈值，如将通过多次实验数据分析后设置多样性标注阈值为θ₀＝0.75，若多样性阈值信息θ＞0.75，视觉目标跟踪设备确定该当前帧图像存在遮挡。视觉目标跟踪设备对当前帧图像对应的差异图像D进行二值化，并应用形态学对二值化后的图像进行操作，如利用膨胀和/或腐蚀等形态学操作去除二值化后图像中的小区域。视觉目标跟踪设备处理完成后，得到的差异图像中存在一个或多个连接区域R，其中取各连接区域R的面积表示为a₁(R)，取各连接区域R的最小凸多边形面积为a₂(R)，记各连接区域R的空间标准信息为(a₁(R),a₂(R))，如果各连接区域R的空间标准信息满足如下条件：

如式(46)所示，其中θ₁＝0.12和θ₁＝0.55为预设的空间标准阈值信息，其中，若连接区域R满足式(46)，则视觉目标跟踪设备确定该连接区域R为遮挡区域。为了在模板匹配过程中排除遮挡部分，将所有遮挡像素的置信度直接设置为零，得到对应的优选置信图信息，先考虑无约束条件下的置信度匹配问题，即放弃式(41)中的约束条件。用J(p；I)表示的目标函数ε₂针对参数p和图像I的雅可比矩阵，有

式(47)中是图像I针对的梯度，表示变换函数的雅可比。对于传入帧I_t，运动参数最初估计取p_t＝p_t-1。根据均值伪反转法(PMJ)，目标差异信息Δp计算为：

Δp≈-2[(J^TJ)^-1J^T]ε₂(p_t；I_t) (48)

其中

J＝J(p₀；I₀)+J(p_t；I_t) (49)

若目标差异信息Δp满足式(30)中的约束条件，基于如下公式更新参数：

p_t←p_t+Δp (50)

迭代更新直到达到收敛或最大迭代次数，例如，取最大迭代次数为30次，迭代更新至收敛或迭代更新30次后确定运动参数p_t为最优匹配解，根据该最优匹配解以及模板信息得到的区域为跟踪结果区域信息。在一些实施例中，视觉目标跟踪设备采用卡尔曼滤波器进行模板更新，如更新装置23步骤包括参数确定模块231(未示出)和更新模块232(未示出)。参数确定模块231，用于根据所述跟踪结果区域信息与所述模板信息确定卡尔曼滤波器对应的状态矩阵和控制输入模型；更新模块232，用于基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息更新所述模板信息。

例如，视觉目标跟踪设备采用卡尔曼滤波器来更新模板信息。此处分别用y_t和z_t表示模板T的亮度在时间t的矢量化状态估计和观察，卡尔曼滤波器用控制输入模型来定义状态预测和观测模型

式(51)中A_t是应用于先前状态y_t-1的状态转换矩阵，B_t是应用于控制向量u_t的控制输入模型，H_t是将真实状态空间映射到观察空间的观察矩阵，w_t和v_t分别是状态噪声和观测噪声。在卡尔曼滤波中，通常假定w_t和v_t为零均值的高斯分布，并且分别记其方差为Q_t和L_t，即w_t～(0，Q_t)，v_t～(0，L_t)。

以下，用符号表示给出观察时间t'≤t下y在时间t的估计值，P_t|t’’表示对应的误差协方差。

基于式(51)的原理，首先计算状态矩阵，此处尽管存在外在环境的干扰，物体本身保持不变且可以直接观察。它意味着可以采用简单的状态转换和观察模型，使得A_t＝I和H_t＝I(这里I代表单位矩阵)。我们采用自动协方差最小二乘法(ALS)技术来学习噪声协方差矩阵Q_t和L_t。为了减少计算复杂度和对训练数据的依赖性，在像素的噪声彼此独立的假设下，我们将噪声协方差矩阵Q_t和L_t简化为对角线矩阵。

随后，视觉目标跟踪设备根据像素之间强度共生概率近似来构建控制输入模型，控制矩阵B_t被构建为

式(52)中B_t(i,j)表示控制矩阵B_t的第i行第j列的元素，k控制用于计算的窗口的大小。共生函数定义为

式(53)中y_m(i)和y_m(j)分别表示像素i和像素j在时刻m的亮度。考虑到具有相似亮度的像素倾向于保持与输入相似的反应，在构建控制矩阵B_t之后，将其归一化为行随机矩阵。在一些实施例中，初始控制矩阵B₀根据初始模板y₀构建。在另一些实施例中，一旦计算了B_t，我们固定

B_t＝B_t+1＝...＝B_t+k-1， (54)

式(54)中直到B_t+k下次更新，其中可以设置k＝25。

在获得后验估计之后，我们计算环境输入u_t以最小化先前模板与当前估计之间的平方误差：

在一些实施例中，更新模块232包括更新单元2321和后验确定单元2322。更新单元2321，用于基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息确定更新模板的先验状态估计信息；后验确定单元2322，用于基于所述先验状态估计信息与所述跟踪结果区域信息确定所述模板信息更新的后验状态估计信息。

例如，首先计算先验状态估计和协方差：

前述步骤中获得的跟踪结果区域信息被用作观察zt。因此计算残差和协方差：

随后更新后验状态估计和协方差：

其中为最优卡尔曼增益，I表示单位矩阵。

随后，视觉目标跟踪设备根据当前更新后的模板，读取视频中下一帧图像后，基于更新后的模板对下一帧图像执行视觉目标跟踪获取所述目标在下一帧图像中的跟踪结果区域信息。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (28)

1.一种视觉目标跟踪方法，其中，该方法包括：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

2.根据权利要求1所述的方法，其中，所述方法还包括：

从所述视频中获取下一帧图像作为当前帧图像，并根据所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

3.根据权利要求2所述的方法，其中，所述方法还包括：

根据所述跟踪结果区域信息更新所述模板信息；

其中，所述从所述视频中获取下一帧图像作为当前帧图像，并根据所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理，包括：

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

4.根据权利要求1所述的方法，其中，所述识别所述当前帧图像中的被遮挡区域，包括：

根据所述模板信息确定所述当前帧图像对应的差异图像信息；

根据所述差异图像信息识别所述当前帧图像中的被遮挡区域。

5.根据权利要求4所述的方法，其中，所述根据所述差异图像信息识别所述当前帧图像中的被遮挡区域，包括：

根据所述差异图像信息的相关信息确定所述当前图像帧对应的多样性标准信息；

若所述多样性标准信息大于多样性标准阈值信息，根据所述差异图像信息确定对应的空间标准信息，并基于所述空间标准信息识别所述当前帧图像中的被遮挡区域。

6.根据权利要求5所述的方法，其中，所述根据所述差异图像信息识别所述当前帧图像中的被遮挡区域，还包括：

若所述多样性标准信息小于或等于多样性标准阈值信息，确定所述当前帧图像不存在被遮挡区域；

其中，所述根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息，包括：

根据所述置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

7.根据权利要求1所述的方法，其中，所述根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息，包括：

根据所述被遮挡区域更新所述置信图信息确定所述优化置信图信息；

根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

8.根据权利要求7所述的方法，其中，所述根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息，包括：

根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息满足预设约束条件；

基于所述目标差异信息和所述模板信息迭代更新确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

9.根据权利要求7所述的方法，其中，所述根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息，还包括：

根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息未满足预设约束条件；

从所述预设约束条件中均匀取样多个测试参数信息，并结合所述优化置信图信息确定各测试参数信息相对应的目标差异信息，优选其中目标差异信息最小的对应的测试参数信息为所述跟踪结果区域信息。

10.一种视觉目标跟踪方法，其中，该方法包括：

从视频中读取当前帧图像；

根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

根据所述跟踪结果区域信息更新所述模板信息；

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

11.根据权利要求10所述的方法，其中，所述视觉目标跟踪处理包括：

确定所述当前帧图像的置信图信息；

识别所述当前帧图像中的被遮挡区域；

根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

12.根据权利要求10所述的方法，其中，所述根据所述跟踪结果区域信息更新所述模板信息，包括：

根据所述跟踪结果区域信息与所述模板信息确定卡尔曼滤波器对应的状态矩阵和控制输入模型；

基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息更新所述模板信息。

13.根据权利要求12所述的方法，其中，所述基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息更新所述模板信息，包括：

基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息确定更新模板的先验状态估计信息；

基于所述先验状态估计信息与所述跟踪结果区域信息确定所述模板信息更新后的后验状态估计信息。

14.一种视觉目标跟踪设备，其中，该设备包括：

读取装置，用于从视频中读取当前帧图像；

目标跟踪装置，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

其中，所述视觉目标跟踪处理包括：

确定模块，用于确定所述当前帧图像的置信图信息；

识别模块，用于识别所述当前帧图像中的被遮挡区域；

目标跟踪模块，用于根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

15.根据权利要求14所述的设备，其中，所述设备还包括：

获取装置，用于从所述视频中获取下一帧图像作为当前帧图像，并根据所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

16.根据权利要求15所述的设备，其中，所述设备还包括：

更新装置，用于根据所述跟踪结果区域信息更新所述模板信息；

其中，所述获取装置用于：

从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

17.根据权利要求14所述的设备，其中，所述识别模块包括：

确定单元，用于根据所述模板信息确定所述当前帧图像对应的差异图像信息；

识别单元，用于根据所述差异图像信息识别所述当前帧图像中的被遮挡区域。

18.根据权利要求17所述的设备，其中，识别单元包括：

多样性确定单元，用于根据所述差异图像信息的相关信息确定所述当前图像帧对应的多样性标准信息；

识别遮挡单元，若所述多样性标准信息大于多样性标准阈值信息，用于根据所述差异图像信息确定对应的空间标准信息，并基于所述空间标准信息识别所述当前帧图像中的被遮挡区域。

19.根据权利要求18所述的设备，其中，识别单元还包括：

未遮挡单元，若所述多样性标准信息小于或等于多样性标准阈值信息，用于确定所述当前帧图像不存在被遮挡区域；

其中，所述目标跟踪模块用于：

根据所述置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

20.根据权利要求14所述的设备，其中，所述目标跟踪模块包括：

优化单元，用于根据所述被遮挡区域更新所述置信图信息确定所述优化置信图信息；

跟踪单元，用于根据所述优化置信图信息确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

21.根据权利要求20所述的设备，其中，跟踪单元包括迭代单元，该迭代单元用于：

根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息满足预设约束条件；

基于所述目标差异信息和所述模板信息迭代更新确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

22.根据权利要求20所述的设备，其中，所述跟踪单元还包括取样单元，该取样单元用于：

根据所述优化置信图信息和所述模板信息确定所述视觉目标在所述当前帧图像中相对于所述模板信息的目标差异信息，其中，所述目标差异信息未满足预设约束条件；

从所述预设约束条件中均匀取样多个测试参数信息，并结合所述优化置信图信息确定各测试参数信息相对应的目标差异信息，优选其中目标差异信息最小的对应的测试参数信息为所述跟踪结果区域信息。

23.一种视觉目标跟踪设备，其中，该设备包括：

读取装置，用于从视频中读取当前帧图像；

执行装置，用于根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；

更新装置，用于根据所述跟踪结果区域信息更新所述模板信息；

再执行装置，用于从所述视频中获取下一帧图像作为当前帧图像，并根据更新后的所述模板信息对所述当前帧图像执行所述视觉目标跟踪处理。

24.根据权利要求23所述的设备，其中，所述视觉目标跟踪处理包括：

确定模块，用于确定所述当前帧图像的置信图信息；

识别模块，用于识别所述当前帧图像中的被遮挡区域；

跟踪模块，用于根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。

25.根据权利要求23所述的设备，其中，所述更新装置包括：

参数确定模块，用于根据所述跟踪结果区域信息与所述模板信息确定卡尔曼滤波器对应的状态矩阵和控制输入模型；

更新模块，用于基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息更新所述模板信息。

26.根据权利要求25所述的设备，其中，所述更新模块包括：

更新单元，用于基于所述状态矩阵、所述控制输入模型、所述跟踪结果区域信息以及所述模板信息确定更新模板的先验状态估计信息；

后验确定单元，用于基于所述先验状态估计信息与所述跟踪结果区域信息确定所述模板信息更新后的后验状态估计信息。

27.一种用于视觉目标跟踪的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器如权利要求1至13中任一项所述的方法。

28.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至13中任一项所述的方法。