CN112598714A - 一种基于视频帧单应性变换的静止目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视频帧单应性变换的静止目标跟踪方法，涉及计算机视觉技术领域。包括：对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区；提取当前帧的前一帧和后一帧的SIFT特征点；根据SIFT特征点得到单应性转换矩阵；根据所述单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区；计算当前帧的多边形选区及其预测选区之间的面积交并比；将所述面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果。本发明在目标建立跟踪后不管目标是否出现在画面都可以一直精确更新目标位置，避免同一个目标的重复跟踪。

Description

一种基于视频帧单应性变换的静止目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于视频帧单应性变换的静止目标跟踪方法。

背景技术

在计算机视觉中，目标检测是在图像或视频帧（一系列的图像）中扫描和搜寻目标，概括来说就是在一个场景中对目标进行定位和识别。目标跟踪是计算机视觉领域中重要的研究方向和应用方法，目标跟踪技术也被广泛应用于人类生产生活的各个领域，例如，视频监控等，在视频监控技术领域中，通常是对输入视频中的人或物进行轨迹追踪，从而准确地确定出人或物的移动轨迹。

但是，现有的目标识别均是针对静止背景中的动态目标进行识别，如何跟踪视频帧中静止的目标成为了成为了亟待解决的问题。

发明内容

本发明目的在于，提供一种基于视频帧单应性变换的静止目标跟踪方法，以提高跟踪视频帧中静止的目标的跟踪能力。

为实现上述目的，本发明实施例提供一种基于视频帧单应性变换的静止目标跟踪方法，包括：对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区；提取当前帧的前一帧和后一帧的SIFT特征点；根据所述SIFT特征点得到单应性转换矩阵；根据所述单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区；计算当前帧的多边形选区及其预测选区之间的面积交并比；将所述面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果。

优选地，所述对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区，包括：对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型；对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。

优选地，所述根据所述SIFT特征点得到单应性转换矩阵，包括：根据视频帧中的SIFT特征点获取其对应的描述子；通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；使用随机抽样一致算法剔除错误匹配后，计算得到单应性变换矩阵。

优选地，所述计算当前帧的多边形选区及其预测选区之间的面积交并比，包括：多边形选区及其预测选区之间的面积交并比IOU(A,B)公式为：

，其中，A表示多边形选区，B表示预测选区，

表示A和B的面积交集像素点数，

表示A和B的面积并集像素点数。

优选地，所述将所述面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果，包括：若跟踪目标与检测目标成功匹配，则判断成功跟踪并使用检测目标的多边形选区更新跟踪目标位置；若跟踪目标未匹配到相应的检测目标，则使用跟踪目标的预测选区更新跟踪目标位置；若检测目标未匹配到相应的跟踪目标，则建立一个新的跟踪目标位置初始化为当前检测目标的多边形选区。

本发明实施例还提供一种基于视频帧单应性变换的静止目标跟踪装置，包括：检测模块，用于对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区；特征点提取模块，用于提取当前帧的前一帧和后一帧的SIFT特征点；单应性转换矩阵获取模块，用于根据所述SIFT特征点得到单应性转换矩阵；跟踪模块，用于根据所述单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区；交并比计算模块，用于计算当前帧的多边形选区及其预测选区之间的面积交并比；匹配模块，用于将所述面积交并比结合二分图完全匹配算法进行目标匹配。

优选地，所述检测模块包括：标注训练模块，用于对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型；检测选区模块，用于对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。

优选地，所述单应性转换矩阵获取模块包括：描述子获取模块，用于根据视频帧中的SIFT特征点获取其对应的描述子；特征点匹配模块，用于通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；误差剔除模块，用于使用随机抽样一致算法剔除错误匹配。

本发明实施例还提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的基于视频帧单应性变换的静止目标跟踪方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的基于视频帧单应性变换的静止目标跟踪方法。

本发明提供的基于视频帧单应性变换的静止目标跟踪方法，相比于现有技术，具有如下有益效果：

(1)使用检测目标的位置更新跟踪目标的位置解决了跟踪目标位置误差累积的问题，让跟踪目标位置更准确；

(2)使用多边形选区对目标的位置进行描述能够更好的用于密集型目标跟踪，同时更好的对目标进行多视角的跟踪；

(3)对于离开拍摄画面的目标仍然可以很好的进行预测跟踪；

(4)由于使用了前后帧的单应性变化进行目标位置的预测，可以对视频进行大幅度的跳帧处理，提高算法整体速度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的基于视频帧单应性变换的静止目标跟踪方法的流程示意图；

图2是本发明某一实施例提供的基于视频帧单应性变换的静止目标跟踪装置的结构示意图；

图3是本发明某一实施例提供的计算机终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本发明某一实施例提供的基于视频帧单应性变换的静止目标跟踪方法的流程示意图。在本实施例中，基于视频帧单应性变换的静止目标跟踪方法，包括：

步骤S100，对采集到的待识别目标视频帧进行标注，并通过目标检测得到视频帧中检测目标的多边形选区。

步骤S200，提取当前帧的前一帧和后一帧的尺度不变特征变换（Scale InvariantFeature Transform,SIFT）特征点。

步骤S300，根据SIFT特征点得到单应性转换矩阵。

步骤S400，根据单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区。

步骤S500，计算当前帧的多边形选区及其预测选区之间的面积交并比。

步骤S600，将面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果。

基于视频相邻帧的单应性变换进行选区（框）的预测和匹配以及跟踪目标的位置更新，目标建立跟踪后不管目标是否出现在画面都可以一直精确更新目标位置，避免同一个目标的重复跟踪（跟踪id的变化）。上述实施例适用于对静止目标以及背景的识别和跟踪，例如使用移动的拍摄设备拍摄静止货架或者静止冰柜中的商品，可以应用于静止货物的清点计数等。

为了更具体地说明本发明实施例地技术方案：

步骤S100，对采集到的待识别目标视频帧进行标注，并通过目标检测得到视频帧中检测目标的多边形选区，包括：步骤S110，对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型。步骤S120，对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。使用深度学习实例分割网络进行多边形区域的检测，如常用的网络结构有Mask Rcnn，SoloV2，TensorMask等。

步骤S200、步骤S300和步骤S400，是利用上一帧和当前帧计算得到单应性变换矩阵，将跟踪目标的多边形框位置映射到当前帧的图像坐标系中。具体包括：对前后帧计算SIFT特征特征点；对得到的SIFT特征进行匹配，利用匹配的点计算得到单应性转换矩阵；利用得到的单应性转换矩阵对每一个跟踪目标的位置进行变换得到预测位置。其中，步骤S300，根据SIFT特征点得到单应性转换矩阵，包括：步骤S310，根据视频帧中的SIFT特征点获取其对应的描述子。步骤S320，通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；步骤S330，使用随机抽样一致算法剔除错误匹配后，计算得到单应性变换矩阵。

SIFT算法的全称是Scale-invariant feature transform，尺度不变特征转换，是一种不随图像尺度旋转变化而变化的特征，因此SIFT特征不会随着图像的放大缩小，或者旋转而改变，同时由于在提取特征时做的一些特殊处理，使得SIFT特征对于光照变化也有比较强的适应性。在一个实施例中，提取当前帧的SIFT特征，每一个SIFT特征点采用4*4*8=128维描述子进行，128维的关键点描述子的相似性度量采用欧式距离，寻找相似性最大（欧式距离最近）的作为匹配上的特征点，得到匹配的点后计算单应性变换矩阵。

单应性（Homography）变换是用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，可以用来描述两个不同视角像素坐标系的对应关系。设单应性矩阵为：

两个不同视角像素坐标系的极坐标为(x,y), (x’,y’)；则其转换公式为：

利用步骤2中得到的特征点对(x,y) (x’,y’)即可以计算出H矩阵中的9个参数。

一般单应性矩阵计算有以下几个步骤：提取每张视频帧中SIFT特征点以及其对应的描述子；通过匹配特征点描述子，找到两张图中匹配的特征点对（这里可能存在错误匹配）；使用随机抽样一致算法(Random Sample Consensus, RANSAC)剔除错误匹配；求解方程组，计算单应性变换矩阵。

计算得到单应性变换矩阵后，对跟踪目标的位置进行预测。每个跟踪目标的多边形选区P使用多边形顶点来表示，顶点在像素坐标系中的x,y按顺时针排列可以表示为P~[[x1, y1],[x2, y2],[x3, y3],...,[xn, yn]], n表示顶点的个数,则顶点可以表示为[xi, yi], i=1,2,3,...,n;利用4中的转换公式可以得到每个顶点的预测位置为：

则该多边形框的预测位置表示为P’~[[x1’, y1’],[x2’, y2’],[x3’, y3’],...,[xn’, yn’]]。

利用当前帧的多边形选区及其预测选区之间的面积交并比，判断跟踪目标和检测目标能否匹配。其中，多边形选区及其预测选区之间的面积交并比IOU(A,B)公式为：

其中，A表示多边形选区，B表示预测选区，

表示A和B的面积交集像素点数，

表示A和B的面积并集像素点数。依次计算得到所有跟踪目标和检测目标的多边形交并比再利用二分图完全匹配(KM)算法进行匹配即可得到跟踪目标和检测目标的匹配对。

将面积交并比结合二分图完全匹配算法进行目标匹配，若跟踪目标与检测目标成功匹配，则判断成功跟踪并使用检测目标的多边形选区更新跟踪目标位置；若跟踪目标未匹配到相应的检测目标，则使用跟踪目标的预测选区更新跟踪目标位置；若检测目标未匹配到相应的跟踪目标，则建立一个新的跟踪目标位置初始化为当前检测目标的多边形选区。

在实际应用中，需要不断重复检测和跟踪过程，直到所有视频帧都处理完。为了提高跟踪能力，建立一张纯色背景图将所有跟踪目标的多边形框绘制，当有目标重叠区域较大时仅保留检测得分高的选区，得到最后的跟踪识别结果。为了实现所有的目标（包括离开画面的目标）都能够跟踪到位置，需要建立一张纯色背景图，将所有的跟踪目标的多边形框根据相对位置绘制，利用跟踪的单应性矩阵不断的更新绘制的目标的位置，当新目标的预测位置和所绘制的目标位置重叠区域（交并比）较大时，则认为此时的这两个目标为同一个跟踪目标，保留检测得分高的目标区域，使得算法可以达到目标离开视频画面后又进入视频画面的目标的跟踪的目的。

请参阅图2，图2是本发明某一实施例提供地基于视频帧单应性变换的静止目标跟踪装置的结构示意图。在本实施例中与上述实施例相同的部分，在此不再赘述。在本实施例中，基于视频帧单应性变换的静止目标跟踪装置包括：

检测模块1，用于对采集到的待识别目标视频帧进行标注，并通过目标检测得到视频帧中检测目标的多边形选区。

特征点提取模块2，用于提取当前帧的前一帧和后一帧的SIFT特征点。

单应性转换矩阵获取模块3，用于根据 SIFT特征点得到单应性转换矩阵。

跟踪模块4，用于根据单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区。

交并比计算模块5，用于计算当前帧的多边形选区及其预测选区之间的面积交并比。

匹配模块6，用于将面积交并比结合二分图完全匹配算法进行目标匹配。

在本发明实施例的一个示例中，检测模块1包括：标注训练模块11，用于对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型；检测选区模块12，用于对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。

在本发明实施例的一个示例中，单应性转换矩阵获取模块3包括：描述子获取模块31，用于根据视频帧中的SIFT特征点获取其对应的描述子；特征点匹配模块32，用于通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；误差剔除模块33，用于使用随机抽样一致算法剔除错误匹配。

关于基于视频帧单应性变换的静止目标跟踪装置的具体限定可以参见上文中对于的限定，在此不再赘述。上述基于视频帧单应性变换的静止目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参阅图3，本发明实施例提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任意一个实施例中的基于视频帧单应性变换的静止目标跟踪方法。

处理器用于控制该计算机终端设备的整体操作，以完成上述的基于视频帧单应性变换的静止目标跟踪方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该计算机终端设备的操作，这些数据例如可以包括用于在该计算机终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

在一示例性实施例中，计算机终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C) 、数字信号处理器(DigitalSignal Processor，简称DSP) 、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD) 、现场可编程门阵列(Field Programmable Gate Array ，简称FPGA) 、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的XX方法，并达到如上述方法一致的技术效果。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于视频帧单应性变换的静止目标跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由计算机终端设备的处理器执行以完成上述的基于视频帧单应性变换的静止目标跟踪方法，并达到如上述方法一致的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于视频帧单应性变换的静止目标跟踪方法，其特征在于，包括：

对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区；

提取当前帧的前一帧和后一帧的SIFT特征点；

根据所述SIFT特征点得到单应性转换矩阵；

根据所述单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区；

计算当前帧的多边形选区及其预测选区之间的面积交并比；

将所述面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果。

2.根据权利要求1所述的基于视频帧单应性变换的静止目标跟踪方法，其特征在于，所述对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区，包括：

对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型；

对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。

3.根据权利要求1所述的基于视频帧单应性变换的静止目标跟踪方法，其特征在于，所述根据所述SIFT特征点得到单应性转换矩阵，包括：

根据视频帧中的SIFT特征点获取其对应的描述子；

通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；

使用随机抽样一致算法剔除错误匹配后，计算得到单应性变换矩阵。

4.根据权利要求1所述的基于视频帧单应性变换的静止目标跟踪方法，其特征在于，所述计算当前帧的多边形选区及其预测选区之间的面积交并比，包括：

多边形选区及其预测选区之间的面积交并比IOU(A,B)公式为：

其中，A表示多边形选区，B表示预测选区，

表示A和B的面积交集像素点数，

表示A和B的面积并集像素点数。

5.根据权利要求1所述的基于视频帧单应性变换的静止目标跟踪方法，其特征在于，所述将所述面积交并比结合二分图完全匹配算法进行目标匹配，输出跟踪结果，包括：

若跟踪目标与检测目标成功匹配，则判断成功跟踪并使用检测目标的多边形选区更新跟踪目标位置；

若跟踪目标未匹配到相应的检测目标，则使用跟踪目标的预测选区更新跟踪目标位置；

若检测目标未匹配到相应的跟踪目标，则建立一个新的跟踪目标位置初始化为当前检测目标的多边形选区。

6.一种基于视频帧单应性变换的静止目标跟踪装置，其特征在于，包括：

检测模块，用于对采集到的待识别目标视频帧进行标注，并通过目标检测得到所述视频帧中检测目标的多边形选区；

特征点提取模块，用于提取当前帧的前一帧和后一帧的SIFT特征点；

单应性转换矩阵获取模块，用于根据所述SIFT特征点得到单应性转换矩阵；

跟踪模块，用于根据所述单应性转换矩阵对每一个跟踪目标的位置进行变换得到当前跟踪目标在下一帧图片中的预测选区；

交并比计算模块，用于计算当前帧的多边形选区及其预测选区之间的面积交并比；

匹配模块，用于将所述面积交并比结合二分图完全匹配算法进行目标匹配。

7.根据权利要求6所述的基于视频帧单应性变换的静止目标跟踪装置，其特征在于，所述检测模块包括：

标注训练模块，用于对采集到的待识别目标视频帧进行标注，同时使用标注的数据训练检测模型；

检测选区模块，用于对视频帧利用检测模型进行目标检测，将检测到的外接点连接成多边形区域，得到检测目标的多边形选区。

8.根据权利要求6所述的基于视频帧单应性变换的静止目标跟踪装置，其特征在于，所述单应性转换矩阵获取模块包括：

描述子获取模块，用于根据视频帧中的SIFT特征点获取其对应的描述子；

特征点匹配模块，用于通过匹配特征点的描述子，查找检测目标和跟踪目标中匹配的特征点对；

误差剔除模块，用于使用随机抽样一致算法剔除错误匹配。

9.一种计算机终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5任一项所述的基于视频帧单应性变换的静止目标跟踪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于视频帧单应性变换的静止目标跟踪方法。

Images