CN110415269A - 一种动静态背景下的目标跟踪算法 - Google Patents

Abstract

本发明公开了一种动静态背景下的目标跟踪算法，首先将待检测的视频或是图片流数据导入，基于第一帧图像裁剪目标区域；然后进行第一步的目标物校正，通常第一张图像中是标准的信息，校正主要是对第二帧及其后的所有帧中的目标物进行，让目标物尽可能的位于框的中心；第二次校正主要是为了解决在第一次校正不准确的情况下目标物的偏差校正，两次校正保证了目标物不论怎么运动或是相机怎么运动都能实现精准的目标物动态跟踪；利用校正后的位置信息在本帧(即现在时刻分析的帧)裁剪出新的区域，作为下一帧跟踪的依据；读取下一帧，基于上一帧校正的区域去判断当前帧中目标物的位置，并在原图中框选出来；依次不断的校正直到检测完成。

Description

一种动静态背景下的目标跟踪算法

技术领域

本发明涉及图像处理、分析、机器学习、动态目标跟踪领域，尤其涉及一种动静态背景下的目标跟踪算法。

背景技术

在智能化的今天，随着无人机技术大力的发展，用于安防及目标跟踪的技术日新月异。自动化的目标跟踪技术越来越受到重视和关注。目标跟踪在通常的情况下是基于静态背景下的目标跟踪，对视频中前后两幅图像做差即可求出变化的区域，根据区域的光流特性即可捕捉目标物。该方法的主要缺点是基于的静态背景，在动态背景中的效果往往较差。

现有的算法对于捕捉动态背景下的运动目标物，可用于摄像头抖动小、移动慢的场景，同时目标物所占的像素的数量要尽可能的多。但是在高空拍摄的时候，往往目标物所占的像素点数是较少的，若放大目标物则会出现失真的情况不利于跟踪和特征的提取。

在实际的场景中动态背景下的目标跟踪更为普遍且更有实际的应用价值，动态的场景中基于无人机拍摄实现持续的目标物跟踪在刑侦与案件侦破中的作用越发凸显。本发明以2019年ICCV无人机视频跟踪挑战赛为背景，设计的算法可以实现动态目标物持续、高准率的动态捕捉。

发明内容

本发明的目的在于提供一种动静态背景下的目标跟踪算法，以解决现有技术在动态背景下目标物跟踪准确率低、易丢失的问题，同时为任何在动静态背景下目标物的跟踪提供了一种指导性的检测、追踪方法。

本发明的目的是通过以下技术方案来实现的：一种动静态背景下的目标跟踪算法，该方法包括：

S1：读取视频流或是图片流数据，在第一帧图像中确定待跟踪目标物的初始位置，位置信息包含图像坐标系中左上角点的坐标(P(x,y))、长(L)、宽(W)，其中整个目标物位于矩形框内；

S2：根据待跟踪目标物的位置及长、宽在第一帧原图中裁剪出长为L、宽为W的矩形区域，对应的单位为像素点个数；第一帧裁剪的矩形区域为标准的检测区域，不需要校正，针对第二及其后的每一帧进行校正；

S3：第一次校正以目标物为前景对应的像素进行连通区域的扩充，扩充的种子点为矩形区域的中点，背景的像素的不扩充，采用的方法是聚类的思想找到扩充后连通区域的几何中心；

S4：目标物位置第二次校正即在第一次校正的情况下实现校正，采用的方法是直线关联结构物的中心定位方法确定新的矩形区域的中心，并求出器在全局图像中的坐标关系；

S5：基于新的矩形区域坐标的关系，在原图中裁剪出新的矩形框完成第二次校正；

S6：基于校正的图像在下一帧的图像中进行相似度的比较，即可找到下一帧的目标物，并进行框选，直到检测跟踪完毕。

进一步的，所述的标准的矩形区域即所需要捕获的目标物的几何中心位于裁剪后矩形框的中心即column/2和row/2处，其中column表示矩形区域的列数，row表示矩形区域的行数。

进一步的，所述S3中，选择矩形框的中心点为种子点，进行8邻域扩充或者4邻域扩充。

进一步的，所述的直线关联结构物即以连通区域内的像素组成为直线组成的元素，分别求取0度、45度、90度、135度四个方向寻找最长的直线。

进一步的，所述的求解最长直线段的方式为遍历轮训比较的方式，找到这四个方向上最长的直线段，以直线段的中心为新的矩形区域的中心，并求出其在全局图像中的坐标关系。

进一步的，在扩充的连通区域里采用聚类方法找到连通区域的中心点，即求出所有连通点的横坐标均值

与纵坐标的均值

基于这个点p_o(x_o,y_o)确定新的裁剪区域的中心，column为矩形框对应图像的列数，row为矩形框对应图像的行数；n为连通区域的中前景像素点的个数。

进一步的，第一次更新裁剪矩形区域的左上角坐标在原图中的x值为：

p_lx＝p_x+x_o-L/2

y值为

p_ly＝p_y+y_o-W/2。

进一步的，第二次校正0度方向的直线长度为：

45度方向的直线长度为：

90度方向的直线长度为：

135度方向的直线长度为：

其中columns表示为图像的列数，rows表示为图像的行数，g(i，j)代表像素点(i，j)对应的灰度像素值。

进一步的，第二次更新裁剪矩形区域中左上角在原图坐标的x值为：

p_lx2＝p_x+x_o-L/2+(I_xbegin(n)-I_xend(n))/2+I_xbegin(n)(n∈[0,45,90,135])-L/2

y值为

p_ly＝p_y+y_o-W/2+(I_ybegin(n)-I_yend(n))/2+I_ybegin(n)(n∈[0,45,90,135])-W/2。

本发明解决了现有技术在动态背景下目标物跟踪准确率低、易丢失的问题，同时为任何在动静态背景下目标物的跟踪提供了一种指导性的检测、追踪方法，本发明采用两次联合校正的思想让待检测目标物一直处于矩形区域的中心，保证了目标物不会丢失。

附图说明

图1为本发明流程图；

图2为裁剪的目标物图；

图3为第一次校正效果图；

图4为第二次校正效果图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的技术方案作进一步的描述。详细的实施方式流程图如图1所示。

本发明的目的是通过以下技术方案来实现的：一种动静态背景下的目标跟踪算法，该方法包括：

本发明提出的方法可以使用实时在线的视频流，或是连续的图片。首先读取视频流或是图片流数据，根据需要追踪的目标物的位置，在第一帧图像中确定待跟踪目标物的初始位置，位置信息包含了在原图像坐标系中目标物左上角点的坐标(P(x,y))、长(L)、宽(W)，使整个目标物位于矩形框内。该矩形框不是在原图绘制一个矩形框，而是表示目标物出于图像中的位置关系。

根据待跟踪目标物的位置及长、宽在第一帧原图中裁剪出长为L、宽为W的矩形区域，对应的单位为像素。将矩形框单独裁剪出来研究，主要是为了让提取的结果更加的准确可靠，当然在实现第一次以及第二次校正过后要对矩形框进行两次新的校正裁剪操作。

本发明校正的目的在于使目标物一直位于矩形框的中心或是尽量位于矩阵框的中心，即便是经历了多帧的检测捕获目标物依然不会丢失，即使有很多无关信息的干扰。

第一帧裁剪的矩形区域为标准的检测区域，一般不需要校正，主要针对第二及其后的每一帧进行校正。标准的矩形框即所需要捕获的目标物的几何中心正好的位于裁剪后矩形框的中心即column/2和row/2处，其中column表示矩形区域的列数，row表示矩形区域的行数。

第一次校正以目标物的为前景对应的像素进行8连通区域的扩充，扩充的种子点为矩形区域的中点，背景像素的不扩充。背景与前景的确立，矩形框中点像素点扩张的8邻域所有像素点即为前景，当然这是针对单一颜色的目标情况。找到扩充后连通区域的几何中心，采用的方法是聚类算法的思想。即目标物所在的连通区域的像素点应位于同一区域。中心的点的确立方式可以采用简单的实施方式，即所有连通区域点的x坐标与y坐标求均值即可得到，目标物的几何中心。所有连通点区域的中心点的横坐标均值为：

纵坐标的均值为：

基于点p_o(x_o,y_o)确定新的裁剪区域的中心；column为矩形框对应图像的列数，row为矩形框对应图像的行数；n为连通区域的中前景像素点的个数。

第一次更新裁剪矩形区域的左上角坐标的x值为：

p_lx＝p_x+x_o-L/2

y值为

p_ly＝p_y+y_o-W/2

其中，p_lx为第一次校正后新矩形框在原图中位置中左上角点的横坐标，p_ly为第一次校正后新矩形框在原图中位置中矩形框新的左上角点的纵坐标。

基于第一次裁剪后得到的新坐标，更新新的裁剪矩形框，目的在于为第二矩形的框校正更新。

在第一次校正的基础上对目标物进行第二次的校正，采用二次校正的目的在于让目标物更好的位于矩形框的几何中心，增加的了方法的鲁棒性。目标物位置第二次校正即在第一次校正后实现另一种方法的校正，采用的方法是直线关联结构物的中心定位思想。所谓的直线关联结构物即以连通区域内的像素组成为直线组成的元素，分别求取0度、45度、90度、135度四个方向寻找最长的直线。例如在遇到羊群检测的情况下时，羊后背所包含的像素点构成了一条直线，若这一条直线更好的位于矩形框中，则检测的结果会更加的准确。

180度情形，在直线关联结构物研究0、45、90、135度四个方向，对应的360度情形为8个方向，首先在于研究这八个方向要捕获最长直线已经足够，根据图形学知识可知对应的30、60度等表示的像素点不利于表示与求解。

当捕获了这8个方向上相似的像素点对应的直线段时，将每一条直线段对应的首末端像素点的坐标保存起来。即每一天直线段有对应的坐标信息都可以被求出，每个角度直线段对应两个方向。

第二次校正0度方向的直线长度为：

45度方向的直线长度为：

90度方向的直线长度为：

135度方向的直线长度为：

其中columns表示为图像的列数，rows表示为图像的行数，g(i，j)代表像素点(i，j)对应的灰度像素值。

其中求解最长的连通区域的直线段方式为：采用遍历轮询比较的方式一次比较，从而得出这8个方向上最长的直线段，以直线段的中心为新的矩形区域的中心，并求出其在全局图像中的新坐标。其中新矩形框中左上角在原图的坐标x值为：

p_lx2＝p_x+x_o-L/2+(I_xbegin(n)-I_xend(n))/2+I_xbegin(n)(n∈[0,45,90,135])-L/2

y值为

p_ly＝p_y+y_o-W/2+(I_ybegin(n)-I_yend(n))/2+I_ybegin(n)(n∈[0,45,90,135])-W/2其中，n表示角度方向；I_xbegin(n)表示最长边对应的起始x值；I_xend(n)表示最长边对应的末端x值；I_ybegin(n)表示最长边对应的起始y值；I_yend(n)表示最长边对应的末端y值。

基于新的矩形区域坐标值，在原图中裁剪出新的矩形框完成第二次校正。经过第一次与第二次校正后的矩形框去匹配检测下一帧目标区域中的目标物，基于目标区域中的最大响应，即在下一帧中可得到同样大小尺寸新的矩形区域。基于校正的图像在下一帧的图像中进行相似度的比较，即可找到下一帧的目标物，基于响应的最大值进行框选。通常这个矩形区域中目标物会部分偏离中心。同样采用先前的第一步与第二步的校正后，目标物依然会位于矩形框的中心。基于此循环往复的进行匹配检测、校正。即可实现对目标物的持续准确定位跟踪。两次的校正效果图如图2至图4所示。

Claims (9)

1.一种动静态背景下的目标跟踪算法，其特征在于，该方法包括：

S1：读取视频流或是图片流数据，在第一帧图像中确定待跟踪目标物的初始位置，位置信息包含图像坐标系中左上角点的坐标(P(x,y))、长(L)、宽(W)，其中整个目标物位于矩形框内；

S2：根据待跟踪目标物的位置及长、宽在第一帧原图中裁剪出长为L、宽为W的矩形区域，对应的单位为像素点个数；第一帧裁剪的矩形区域为标准的检测区域，不需要校正，针对第二及其后的每一帧进行校正；

S3：第一次校正以目标物为前景对应的像素进行连通区域的扩充，扩充的种子点为矩形区域的中点，背景的像素的不扩充，采用的方法是聚类的思想找到扩充后连通区域的几何中心；

S4：目标物位置第二次校正即在第一次校正的情况下实现校正，采用的方法是直线关联结构物的中心定位方法确定新的矩形区域的中心，并求出器在全局图像中的坐标关系；

S5：基于新的矩形区域坐标的关系，在原图中裁剪出新的矩形框完成第二次校正；

S6：基于校正的图像在下一帧的图像中进行相似度的比较，即可找到下一帧的目标物，并进行框选，直到检测跟踪完毕。

2.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于所述的标准的矩形区域即所需要捕获的目标物的几何中心位于裁剪后矩形框的中心即column/2和row/2处，其中column表示矩形区域的列数，row表示矩形区域的行数。

3.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于所述S3中，选择矩形框的中心点为种子点，进行8邻域扩充或者4邻域扩充。

4.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于所述的直线关联结构物即以连通区域内的像素组成为直线组成的元素，分别求取0度、45度、90度、135度四个方向寻找最长的直线。

5.根据权利要求3所述的一种动静态背景下的目标跟踪算法，其特征在于所述的求解最长直线段的方式为遍历轮训比较的方式，找到这四个方向上最长的直线段，以直线段的中心为新的矩形区域的中心，并求出其在全局图像中的坐标关系。

6.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于在扩充的连通区域里采用聚类方法找到连通区域的中心点，即求出所有连通点的横坐标均值

与纵坐标的均值

基于这个点p_o(x_o,y_o)确定新的裁剪区域的中心，column为矩形框对应图像的列数，row为矩形框对应图像的行数；n为连通区域的中前景像素点的个数。

7.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于第一次更新裁剪矩形区域的左上角坐标在原图中的x值为：

p_lx＝p_x+x_o-L/2

y值为

p_ly＝p_y+y_o-W/2。

8.根据权利要求4所述的一种动静态背景下的目标跟踪算法，其特征在于第二次校正0度方向的直线长度为：

45度方向的直线长度为：

90度方向的直线长度为：

135度方向的直线长度为：

其中columns表示为图像的列数，rows表示为图像的行数，g(i，j)代表像素点(i，j)对应的灰度像素值。

9.根据权利要求1所述的一种动静态背景下的目标跟踪算法，其特征在于第二次更新裁剪矩形区域中左上角在原图坐标的x值为：

p_lx2＝p_x+x_o-L/2+(I_xbegin(n)-I_xend(n))/2+I_xbegin(n)(n∈[0,45,90,135])-L/2

y值为

p_ly＝p_y+y_o-W/2+(I_ybegin(n)-I_yend(n))/2+I_ybegin(n)(n∈[0,45,90,135])-W/2。