CN112215088A - 一种视频中舱门残缺形状的跟踪方法 - Google Patents

Abstract

本发明公开了一种视频中舱门残缺形状的跟踪方法，涉及计算机视觉目标追踪领域。该方法利用机舱门残缺之前是完整舱门这一特征，通过训练残缺机舱门模型，在舱门残缺时加载残缺舱门模型，并根据完整舱门的初始位置和摄像头的已知运动方向，对残缺机舱门执行残缺舱门的跟踪，实现了在舱门残缺的情况下也能跟踪舱门位置的功能。

Description

一种视频中舱门残缺形状的跟踪方法

技术领域

本发明属于计算机视觉目标追踪领域，具体涉及一种视频中舱门残缺形状的跟踪方法。

背景技术

随着计算机性能的飞速发展，计算机越来越广泛的渗入人类生活的方方面面。计算机通过强大的性能和运行在计算机上高度智能化的软件让人类社会更加智能和高效。计算机视觉便是计算机影响人类社会的一个热门领域。随着人们对交通更加智能化的追求，智慧机场也成为计算机视觉的又一重要应用场景。在智慧机场的场景下，计算机需要对实时视频流中的舱门进行实时跟踪，舱门的实时监控过程中，由于摄像头焦距变化使得舱门只有一部分出现在监控视频中，有时候需要对舱门的某一区域进行仔细观察和追踪，这就要求计算机需要对残缺目标进行追踪和检测。

目前常用的目标跟踪检测的方法有：基于目标模型建模的方法和基于搜索的方法。

基于目标模型建模的方法：通过对目标模型进行建模，然后在后续出现的帧中找到目标。可用的方式包括：趋于匹配，光流法，特征点跟踪等。光流法是针对外观模型对视频序列中的像素进行操作，通过相邻帧像素点的位移变化来判断目标的移动方向。常用的方式为特征点跟踪，首先生成目标物体的特征，在之后的图像中根据目标的特征定位目标，常用的特征有SIFT特征，SURF特征，Harris角点等。

基于搜索的方法：基于搜索的方法针对目标模型建模方法寻找目标时间长的缺点。研究人员发现运动的目标帧与帧之间的目标位置不是随机的，当前帧目标位置一般与上一帧目标的位置存在关联性。用这种关联性减少搜索目标的范围，提高目标检测的效率。该方法也被成为预测算法。常见的预测算法有Kalman滤波，粒子滤波。Kalman滤波是通过建立状态方程，将观测数据进行状态输入，对方程参数进行优化，通过前n帧的目标位置，有效的预测第n帧的位置。另一种减少搜索范围的方法是内核方法，应用快速下降法，向梯度下降最快的方向迭代，快速找到最优位置，常见的有Meanshift，Camshift算法。

上述方法有一个致命的缺陷，没有将背景信息考虑在内，导致在目标遮挡，光照变化以及运动模糊等干扰下容易出现跟踪失败。

发明内容

本发明的目的在于：通过对机舱门残缺情况下进行目标跟踪，确定舱门最终位置，实现智慧机场场景中对机舱门的追踪的应用场景。本发明采取如下技术方案：

一种视频中舱门残缺形状的跟踪方法，包括以下步骤：

1、采集残缺机舱门图片并进行标点和图片样本预处理，其中，图片样本预处理包括普氏变换对齐和PCA降维，得到平均舱门形状。

2、对步骤1中进行标点和图片样本预处理后的图片计算平均舱门形状，提取相应的纹理特征，得到残缺舱门模型。

3、采集视频，舱门残缺时加载残缺舱门模型，根据完整舱门的初始位置和摄像头的已知运动方向，对视频流逐帧执行残缺舱门的跟踪过程，最后返回机舱门的最终位置。

本发明利用机舱门残缺之前是完整舱门这一特征，通过训练残缺机舱门模型，在舱门残缺时加载残缺舱门模型，并根据完整舱门的初始位置和摄像头的已知运动方向，对残缺机舱门执行残缺舱门的跟踪，实现了在舱门残缺的情况下也能跟踪舱门位置的功能。

附图说明

图1为视频中残缺舱门即将离开视频范围调整距离前的形状

图2为视频中残缺舱门即将离开视频范围调整距离后的形状

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明做进一步详细的描述，本发明提出的一种视频中舱门残缺形状的跟踪方法，包括以下步骤：

1、采集残缺机舱门图片并进行标点和图片样本预处理，其中，图片样本预处理包括普氏变换对齐和PCA降维，并从中得到平均舱门形状。

2、对步骤1中标点后的图片提取纹理特征，得到残缺舱门模型。

3、采集视频，舱门残缺时加载残缺舱门模型，根据完整舱门的初始位置和摄像头的已知运动方向，对视频流逐帧执行残缺舱门的跟踪过程，最后返回机舱门的最终位置。

具体步骤如下：

1、图片标点和图片样本预处理：

1.1搜集N个图片样本，每个图片样本中只需有残缺舱门，不需考虑舱门角度，大小等问题；

1.2标记图片样本集：对每个图片样本中的舱门轮廓，以同样的顺序和位置标记舱门的K个关键特征点，将图片样本i的舱门形状记为

(

和

分别表示第i张图片的第j个特征点在图片样本中的横坐标值和纵坐标值)；

1.3对图片样本进行灰度化处理，减少训练时间：采用

对图片中每个像素点进行灰度化，其中R，G，B代表像素点颜色的三通道，Gray表示灰度化后的像素值。

1.4对图片样本进行对齐：

该步骤的目的是消除图片样本中的不同舱门由于角度、距离、姿态的因素造成的非形状干扰，从而使点分布模型更加有效，该步骤一般采用普氏变换完成，利用普氏变换对图片样本的舱门形状集合π＝{X₁，X₂，......X_N}对齐的过程为：

(1)计算平均残缺机舱门形状。

(2)将训练集中所有机舱门形状对齐到第一个机舱门形状，需要对每个舱门形状X_i计算三个值：旋转角度θ_i，缩放尺度S_i，平移向量X_c；令M(S_i，θ_i)[X_i]表示对X_i做旋转角度为θ_i，缩放尺度为S_i的变换，舱门形状X_i向X₁的对齐过程就是求θ_i，S_i，X_c使得

最小的过程，其中

(3)重复执行(1)，(2)直到平均残缺机舱门形状收敛，得到对齐后的舱门形状集合π。

1.5对舱门形状集合π进行PCA降维计算：

(1)计算平均形状向量：

(2)计算协方差矩阵：

(3)计算协方差矩阵的特征值并将其从大到小依次排序，记为λ₁，λ₂，λ₃......λ_q，选择前j个特征向量P＝P₁，P₂，P₃......P_j，j大小满足

由此，任一舱门形状向量可近似表示为

则b可由

计算得出。

2、提取相应的纹理特征，得到残缺舱门模型

用步骤1得到的灰度图片，在第i个训练图片样本上的第j个特征点的两侧，记垂直于第j+1和第j-1个特征点的连线方向并且过第j个特征点的直线为h，在h上以第j个特征点为中心的两边分别各取m个像素，加上第j个特征点本身，构成一个2m+1维向量，作为该特征点的纹理向量；对所有灰度化的每个图片样本的每个特征点都执行此操作，用g_ij表示第i张训练图片样本中第j个特征点的纹理向量。计算舱门形状集合π的第j个特征点的纹理均值

由舱门形状集合π的平均形状向量

和纹理均值

共同构成残缺舱门的模型(

3、调用残缺舱门跟踪算法对残缺舱门进行追踪。

3.1残缺舱门初始形状的确定：基于视频流上一帧完整舱门确定残缺舱门模型的特征点位置X^s，将平均形状向量

对齐到X^s，计算公式为：

使得||X^*-X^s||_F最小。X^*因此作为下一帧残缺舱门的初始形状。

3.2读入视频流的下一帧残缺舱门，进行灰度化处理，计算每个特征点的新位置：对于残缺机舱门形状上第j个特征点，记垂直于第j+1和第j-1个特征点的连线方向并且过第j个特征点的直线为h，在h上以第j个特征点为中心的两边分别各选取l个像素点，以每个像素点为中心沿h方向取该点的纹理向量并与第j个特征点的平均纹理向量

计算欧式距离，由此得到2l+1个欧式距离值。以最小的欧式距离值对应的像素点作为第j个特征点的当前最优位置。对X^*的每个特征点按上述过程进行计算，由此得到的新的舱门形状X^new。

3.3将初始残缺舱门形状X^*对齐到调整后的舱门形状X^new，计算公式为：X^*′＝M(S，θ)[X^*]+X_c，使得||X^new-X^*′||_F最小，计算出S，θ，X_c三个参数的值，根据式：X^new＝M(S，θ)(X^*+dX)+X_c，可得形状变化向量dX＝(M(S^-1，-θ)X^new-X_c)-X^*。根据

有：

则db＝P^T*dX＝P^T*((M(S^-1，-θ)X^new-X_c)-X^*)。则舱门形状X^new′＝M(S，θ)(X^*+P*db)+X_C为修订后的舱门形状。

3.4把新的形状X^new′作为初始残缺舱门形状X^*，重复执行步骤3.2，3.3，3.4直到||db||_F小于阈值或重复执行次数达到预先设定次数。

3.5当前残缺模型的特征点即将消失在图像边缘时，判定哪些坐标点在图片中消失，缩小相应边点之间的间隔，使得当前残缺模型的所有特征点都能出现在视频帧中。缩小相应边点之间的间隔具体步骤包括：假设即将运动出视频图像的特征点s所在的舱门边为w，记舱门边w中删除特征点s后剩余的特征点集合为S，将S中最长的两个特征点间的距离等分为|S|，将|S|+1个特征点按原来的位置顺序标记在等分距离上，作为下一帧残缺舱门的初始形状，重新开始3.2，3.3，3.4，3.5直到残缺舱门形状稳定。如图1，特征点6和7为即将运动离开视频的点，构成集合O；则剩下特征点{1，2，3，4，5，8，9，10，11，12，13，14，15}构成集合S。S中特征点分布在3条边上，其中特征点1至12，为顶部舱门最长的距离；特征点1至5，为左侧舱门最长的距离；特征点8至12，为左侧舱门最长的距离。在特征点集合S+O中，顶部舱门共有5个特征点，左侧舱门和右侧舱门各有6个特征点，因此将这些特征点分别在上述3条最长距离上进行等分标记，作为下一帧残缺舱门的初始形状，则得到图2所示舱门特征点。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合；本领域的技术人员根据本发明技术方案的技术特征所做出的任何非本质的添加、替换，均属于本发明的保护范围。

Claims (1)

1.一种视频中舱门残缺形状的跟踪方法，其特征在于，该方法包括以下步骤：

S1)采集残缺机舱门图片并对残缺机舱门图片进行标点和图片样本预处理，得到平均舱门形状；

S2)对步骤S1)中标点后的图片提取纹理特征，得到残缺舱门模型；

S3)采集视频，舱门残缺时加载残缺舱门模型，根据完整舱门的初始位置和摄像头的已知运动方向，对视频流逐帧执行残缺舱门的跟踪过程，返回机舱门的运动位置；

其中，步骤S1)中对残缺机舱门图片进行标点和图片样本预处理具体包括：

S11)搜集N个图片样本，每个图片样本中只需有残缺舱门，不需考虑舱门角度、大小的问题；

S12)标记图片样本集：对每个图片样本中的舱门轮廓，以同样的顺序和位置标记舱门的K个关键特征点，将图片样本i的舱门形状记为

其中

和

分别表示第i张图片第j个特征点在图片样本中的横坐标值和纵坐标值；

S13)对图片样本进行灰度化处理，减少训练时间；

S14)对图片样本进行对齐：

该步骤的目的是消除图片样本中的不同舱门由于角度、距离、姿态的因素造成的非形状干扰，从而使点分布模型更加有效，该步骤一般采用普氏变换完成，利用普氏变换对图片样本的舱门形状集合π＝{X₁，X₂，......X_N}对齐过程为：

(1)计算平均舱门形状；

(2)将训练集中所有机舱门形状对齐到第一个机舱门形状，需要对每个舱门形状X_i计算三个值：旋转角度θ_i，缩放尺度S_i，平移向量X_c；令M(S_i，θ_i)[X_i]表示对X_i做旋转角度为θ_i，缩放尺度为S_i的变换，舱门形状X_i向X₁的对齐过程就是求θ_i，S_i，X_c使得

最小的过程，其中

(3)重复执行(1)，(2)直到平均机舱门形状收敛，得到对齐后的舱门形状集合π；

S15)对舱门形状集合π进行PCA降维计算：

(1)计算平均形状向量：

(2)计算协方差矩阵：

(3)计算协方差矩阵的特征值并将其从大到小依次排序，记为λ₁，λ₂，λ₃......λ_q，选择前j个特征向量P＝P₁，P₂，P₃......P_j，j大小满足

由此，任一舱门形状向量可近似表示为

则b可由

计算得出。

其中，步骤S2)具体包括：

用步骤S13)得到的灰度图片，在第i个训练图片样本上的第j个特征点的两侧，记垂直于第j+1和第j-1个特征点的连线方向并且过第j个特征点的直线为h，在h上以第j个特征点为中心的两边分别各取m个像素，加上第j个特征点本身，构成一个2m+1维向量，作为该特征点的纹理向量；对所有灰度化的每个图片样本的每个特征点都执行此操作，用g_ij表示第i张训练图片样本中第j个特征点的纹理向量，计算舱门形状集合π的第j个特征点的纹理均值

由舱门形状集合π的平均形状向量

和纹理均值

共同构成残缺舱门的模型

其中，步骤S3)具体包括：

S31)残缺舱门初始形状的确定：基于视频流上一帧完整舱门确定残缺舱门模型的特征点位置X^s，将平均形状向量

对齐到X^s，计算公式为：

使得||X^*-X^s||_F最小，X^*因此作为下一帧残缺舱门的初始形状；

S32)读入视频流的下一帧残缺舱门，进行灰度化处理，计算每个特征点的新位置：对于残缺机舱门形状上第j个特征点，记垂直于第j+1和第j-1个特征点的连线方向并且过第j个特征点的直线为h，在h上以第j个特征点为中心的两边分别各选取l个像素点，以每个像素点为中心沿h方向取该点的纹理向量并与第j个特征点的平均纹理向量

计算欧式距离，由此得到2l+1个欧式距离值，以最小的欧式距离值对应的像素点作为第j个特征点的当前最优位置，对X^*的每个特征点按上述过程进行计算，由此得到的新的舱门形状X^new。

S33)将初始残缺舱门形状X^*对齐到调整后的舱门形状X^new，计算公式为：X^*′＝M(S，θ)[X^*]+X_c，使得||X^new-X^*′||_F最小，计算出S，θ，X_c三个参数的值，根据式：X^new＝M(S，θ)(X^*+dX)+X_c，可得形状变化向量dX＝(M(S^-1，-θ)X^new-X_c)-X^*。根据

有：

则db＝P^T*dX＝P^T*((M(S^-1，-θ)X^new-X_c)-X^*)，则舱门形状X^new′＝M(S，θ)(X^*+P*db)+X_C为修订后的舱门形状；

S34)把新的形状X^new′作为初始残缺舱门形状X^*，重复执行步骤S32)，S33)，S34)直到||db||_F小于阈值或重复执行次数达到预先设定次数；

S35)当前残缺模型的特征点即将消失在图像边缘时，判定哪些坐标点在图像中消失，缩小相应边点之间的间隔，使得当前残缺模型的所有特征点都能继续出现在视频帧中，缩小相应边点之间的间隔具体包括：记即将运动出视频图像边界的特征点集合为O，将舱门形状中删除该特征点集合O后剩余的特征点集合记为S，将S中同在同一条边上最长的两个特征点间的距离按该边在集合S+O中的特征点数进行等分，并按集合S+O的特征点位置顺序标记在等分距离上，作为下一帧残缺舱门的初始形状，重新开始S32)，S33)，S34)，S35)直到残缺舱门形状稳定。

Images