CN111583304A - 一种优化视频关键人物运动轨迹的特征提取方法 - Google Patents

Abstract

本发明公开一种优化视频关键人物运动轨迹的特征提取方法。该方法首先对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，删除与关键人物运动无关的轨迹；最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，完成对视频中关键人物的轨迹优化。本发明方法解决了冗余轨迹较多的问题，又避免了在复杂背景的变化对关键人物运动轨迹的影响，能够有效地提取出运动人物的运动特征，具有较好的实用性和鲁棒性。

Description

一种优化视频关键人物运动轨迹的特征提取方法

技术领域

本发明涉及一种优化视频关键人物运动轨迹的特征提取方法，属于计算机视觉、行为识别和人工智能交叉技术应用领域。

背景技术

近年来，视频人物行为识别是计算机视觉和人工智能的一个重要研究课题，尤其是视频人物动作的特征提取对视频人物的识别起着重要的作用，决定了识别的精度的高低，往往具有重要的理论意义和实际应用价值。

在视频人物行为识别中，最重要的步骤是对于视频人物动作的特征提取，现在主流的特征提取方式之一是通过计算特征点运动的光流场从而跟踪特征点运动从而形成轨迹。轨迹特征在一定程度上可以很好的表示人物的运动，但是通过传统的iDT算法生成的轨迹存在冗余轨迹过多的问题，通过删除iDT算法中的部分冗余轨迹可以在很大程度上减少计算的复杂度，同时减少与人物运动无关的轨迹可以提高识别精度。

对于iDT算法的优化视频关键人物运动轨迹的特征提取涉及以下三种方法：

(1)iDT算法：计算整个视频序列的光流场，同时对每个视频片段的首帧进行特征点的采样，通过光流场可以计算得到该兴趣点在下一帧的位置，通过跟踪该兴趣点在每一帧中的位置可以形成描述人物运动的轨迹。

(2)Faster R-CNN网络：Faster R-CNN是由区域建议网络(Region ProposalNetwork，RPN)和Fast R-CNN组成的目标检测算法，主要是通过RPN来找寻可能是目标的一个区域，然后通过Fast R-CNN对RPN的结构进一步优化。

(3)余弦相似度：通过计算两个向量的夹角的余弦值来评估两者的相似度。

发明内容

本发明的目是提供一种一种优化视频关键人物运动轨迹的特征提取方法，以解决密集轨迹算法中冗余轨迹较多的问题。通过删除和减少iDT算法中与人物动作无关的背景轨迹和人物运动的相似轨迹，获取通过Faster R-CNN检测框的人物轨迹对iDT算法中产生的所有轨迹进行初优化，再计算经过初优化后所有轨迹之间的余弦测量度来得到描述人物动作的特征轨迹从而完成人物运动的特征提取。

一种优化视频关键人物运动轨迹的特征提取方法，包括以下步骤：

步骤1，对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；

步骤2，接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，从而删除与关键人物运动无关的轨迹；

步骤3，最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，从而完成对于视频中关键人物的轨迹优化。

所述步骤1具体为：将输入的视频分解为包含L帧的多个视频片段，采用步长为5*5的采样框对各个视频片段的不同帧进行特征点采样，设置第s个视频片段中第t帧的第m个特征点坐标为p_s,t,m＝(x_s,t,m,y_s,t,m)，其中x_s,t,m和y_s,t,m分别表示第s个视频片段第t帧中第m个特征点的横坐标和纵坐标，则在第t+1帧中第m个特征点通过密集光流场的得到，计算如下：

其中，M表示中值滤波器，尺寸大小为3×3，ω_s,t,m＝(μ_s,t,m,υ_s,t,m)，表示第s个视频片段第t帧中的第m个特征点密集光流场，μ_s,t,m和υ_s,t,m分别表示光流的水平分量和垂直分量，则第s个视频片段中一条由特征点m构成的轨迹为P_s,m＝(p_s,0,m,p_s,1,m,...,p_s,k,m,...,p_s,L-1,m)，其中，0≤k≤L-1且k为整数。

所述步骤2中，使用Faster R-CNN对第s个视频片段中每一帧进行人体运动框检测，判断视频片段的各帧中特征点是否在人体运动检测框内，统计轨迹中特征点在检测框内的个数，通过判断特征点在人体检测框的个数来对轨迹进行删除和保留，所述Faster R-CNN是通过构建区域建议网络和Fast R-CNN对视频中的目标人物进行检测和判定。

所述步骤2包括如下步骤：

步骤21，使用基于VGG16的Faster R-CNN网络生成每个视频片段中每帧进行关键人物运动的人物检测框，第s个视频片段所有帧的人体运动检测框检测组成的集合表示为H_s，具体表示如下：

H_s＝[h_s,0,h_s,1,...,h_s,k,...,h_s,L-1]

其中，h_s,k＝(a_s,k,b_s,k,r_s,k,c_s,k)表示第s个视频片段中第k帧的人体运动检测框，a_s,k,b_s,k分别表示第s个视频片段中第k帧人体运动检测框左上角的横坐标和纵坐标，r_s,k,c_s,k分别表示检测框的高度和长度；

步骤22，判断步骤1得到的轨迹P_s,m上的特征点是否在步骤21中各帧中的人体运动检测框H_s之内，计算过程如下：

对P_s,m中第k帧上第m个轨迹点p_s,k,m，设置num＝0，如果a_s,k≤x_s,k,m≤a_s,k+c_s,k且b_s,k≥y_s,k,m≥b_s,k+r_s,k，则num＝num+1；否则，num不变；其中，num表示轨迹P_s,m上的所有特征点在人体检测框内的和；设置res＝0，阈值β，并进行以下判断：

如果num≥β，则保留该轨迹，res＝res+1；

如果num＜β，则删除该轨迹，res不变；

其中，res表示经过初优化轨迹的个数，经过对视频片段s中所有轨迹的判断，得到初优化的轨迹的集合为T_s，T_s＝(P_s,1,P_s,2,...,P_s,n,...,P_s,res)，其中，1≤n≤res且n为整数。

所述步骤3中，计算步骤2中经过初优化后的轨迹之间的余弦相似度，首先将第一条轨迹保留，然后计算其余轨迹与第一条轨迹之间的余弦相似度，从而将剩余轨迹分入保留轨迹的集合和删除轨迹的集合，然后遍历保留轨迹集合中的所有轨迹，计算所述保留轨迹与删除轨迹集合中的所有轨迹之间的余弦相似度，进一步更新保留轨迹集合和删除轨迹集合，最终得到的保留轨迹的集合即可作为视频人物运动特征提取的结果。

所述步骤3包括如下步骤：

步骤31，设置T_save和T_del分别为保留轨迹的集合和删除轨迹集合，保留步骤22得到的T_s中的第一条轨迹P_s,1到集合T_save中；

步骤32，计算T_s中其他轨迹和P_s,1间的余弦相似度，设置阈值

来判定该轨迹是否删除，假设P_s,e是T_s中的任意轨迹，其中1≤e≤res且e为整数，利用ΔP_s,n表示轨迹在各帧之间关键点的偏移，具体计算公式如下：

ΔP_s,n＝(Δp_s,0,n,Δp_s,1,n,...,Δp_s,k,n,...,Δp_s,L-2,n)

其中，n表示第n段轨迹，Δp_s,k,n表示关键点在第k帧和第k+1帧的位移，具体计算公式如下：

P_s,1和P_s,e两条轨迹在各帧之间关键点的偏移为：

ΔP_s,1＝(Δp_s,0,1,Δp_s,1,1,...,Δp_s,k,1,...,Δp_s,L-2,1)

ΔP_s,e＝(Δp_s,0,e,Δp_s,1,e,...,Δp_s,k,e,...,Δp_s,L-2,e)

则轨迹P_s,1和P_s,e之间的余弦测量度λ表示为：

若

则证明轨迹P_s,1和P_s,e为相关轨迹，将轨迹P_s,e放入删除轨迹集合T_del中；

若

则证明轨迹P_s,1和P_s,e为无关轨迹，将轨迹P_s,e放入保留轨迹集合T_save中；

步骤33，从步骤32中得到了删除轨迹集合T_del和保留轨迹集合T_save，遍历保留轨迹集合T_save中的所有轨迹，并与删除轨迹集合T_del中所有轨迹进行步骤32，每次遍历都及时更新删除轨迹集合T_del和保留轨迹集合T_save，最终，在保留轨迹集合T_save中的所有轨迹可以作为描述视频人物运动的轨迹特征信息进行特征提取。

有益效果：本发明提出的一种优化视频关键人物运动轨迹的特征提取方法，具体有益效果如下：

(1)本发明通过获取人体检测框的轨迹，减少了背景运动轨迹的干扰，具有良好的实用性和鲁棒性，能够有效提取与人物运动相关的轨迹。

(2)本发明将初优化后的轨迹进行相似度检测，减少了重复描述人物运动的轨迹，更能表示视频中人物的运动特征。

(3)本发明通过大大减少与人物无关的背景变化轨迹和重复描述人物运动的轨迹，降低了计算的成本。

附图说明

图1是一种优化视频关键人物运动轨迹的特征提取方法流程。

图2是基于Faster R-CNN的网络结构图。

图3是轨迹经过初优化后通过余弦相似度筛选的流程图。

具体实施方式

下面对本发明附图的某些实施例作更加详细的描述。

在具体实施中，图1是基于iDT算法的优化视频关键人物运动轨迹的特征提取方法流程。首先对输入视频进行分割，将输入视频分割为多个视频片段，每个视频片段包含L帧，视频片段之间的间隔为5帧，L按照经验取15。通过对每个视频片段的首帧进行特征点采样，可以得到多个特征点，其中，设置第s个视频片段中首帧的第m个特征点坐标为p_s,1,m＝(x_s,1,m,y_s,1,m)，x_s,t,m和y_s,t,m分别表示第s个视频片段第t帧中第m个特征点的横坐标和纵坐标，则该兴趣点在第t+1帧中的位置根据光流场可以计算得出，

其中，M表示中值滤波器，尺寸大小为3×3，ω_s,t,m＝(μ_s,t,m,υ_s,t,m)，表示第s个视频片段第t帧中的第m个特征点密集光流场，μ_s,t,m和υ_s,t,m分别表示光流的水平分量和垂直分量。则第s个视频片段中一条由特征点m构成的轨迹为P_s,m＝(p_s,0,m,p_s,1,m,...,p_s,k,m,...,p_s,L-1,m)，其中，0≤k≤L-1且k为整数。

然后，通过Faster R-CNN对视频片段每帧进行人体特征框检测，图2是基于FasterR-CNN的网络结构图，通过记录每条轨迹在每帧人体检测框框中个数的和来判断该轨迹是否为人物运动轨迹。具体过程为首先记录Faster R-CNN生成的人物运动轨迹框的信息，第s个视频片段中第k帧的人体运动检测框表示为h_s,k＝(a_s,k,b_s,k,r_s,k,c_s,k)，其中，a_s,k,b_s,k分别表示第s个视频片段中第k帧人体运动检测框左上角的横坐标和纵坐标，r_s,k,c_s,k分别表示检测框的高度和长度，对第s个视频片段第k帧上第m个轨迹点p_s,k,m进行是否在人体检测框内的判断，首先设置num＝0，num表示每条轨迹中轨迹点在检测框内的个数，设置阈值β，β按照经验取3。如果num≥β，则说明该轨迹为人物运动相关轨迹，并保留该轨迹，如果num＜β则表示该轨迹属于背景移动产生的轨迹，并删除改轨迹，重复所述操作，记录轨迹条数为res，保留下的轨迹为初优化后的轨迹。

最后，计算初优化后所有轨迹间余弦相似度，图3是轨迹经过初优化后通过余弦相似度筛选的流程图，可以得到最终描述人物运动的轨迹特征从而完成特征提取。具体步骤为首先设置保留轨迹集合T_save和删除轨迹集合T_del，并将轨迹初优化后轨迹集和中第一条轨迹放入保留轨迹集合T_save中，设置阈值

按照经验取0.9。计算初优化轨迹集合中其他轨迹和第一条轨迹之间的余弦相似度λ。如果

则将该轨迹放入删除轨迹集合中，如果

则将该轨迹放入保留轨迹集合中。轨迹间余弦相似度的计算过程为首先计算轨迹在各个帧之间的偏移，对于轨迹P_s,n，轨迹的偏移为ΔP_s,n＝(Δp_s,0,n,Δp_s,1,n,...,Δp_s,k,n,...,Δp_s,L-2,n)，其中

轨迹P_s,1和P_s,e之间的余弦测量度λ可以表示为

经过所述计算第一条轨迹和其余轨迹之间余弦相似度，则更新保留轨迹集合和删除轨迹集合，然后依次遍历保留轨迹集合中的其余轨迹，并计算删除轨迹集合中所有轨迹的余弦相似度，若不是重复轨迹，则继续保留在保留轨迹集合中，若是重复轨迹，则将该轨迹放入删除轨迹集合中，及时更新保留轨迹和删除轨迹集合，最终在保留轨迹集合中的轨迹可以作为视频人物运动特征进行特征提取。

Claims (9)

1.一种优化视频关键人物运动轨迹的特征提取方法，其特征在于：包括以下步骤：

步骤1，对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；

步骤2，接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，从而删除与关键人物运动无关的轨迹；

步骤3，最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，从而完成对于视频中关键人物的轨迹优化。

2.根据权利要求1所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤1具体为：将输入的视频分解为包含L帧的多个视频片段，采用步长为5*5的采样框对各个视频片段的不同帧进行特征点采样，设置第s个视频片段中第t帧的第m个特征点坐标为p_s,t,m＝(x_s,t,m,y_s,t,m)，其中x_s,t,m和y_s,t,m分别表示第s个视频片段第t帧中第m个特征点的横坐标和纵坐标，则在第t+1帧中第m个特征点通过密集光流场的得到，计算如下：

其中，M表示中值滤波器，尺寸大小为3×3，ω_s,t,m＝(μ_s,t,m,υ_s,t,m)，表示第s个视频片段第t帧中的第m个特征点密集光流场，μ_s,t,m和υ_s,t,m分别表示光流的水平分量和垂直分量，则第s个视频片段中一条由特征点m构成的轨迹为P_s,m＝(p_s,0,m,p_s,1,m,...,p_s,k,m,...,p_s,L-1,m)，其中，0≤k≤L-1且k为整数。

3.根据权利要求2所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤1中，L的取值为15。

4.根据权利要求1所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤2中，使用Faster R-CNN对第s个视频片段中每一帧进行人体运动框检测，判断视频片段的各帧中特征点是否在人体运动检测框内，统计轨迹中特征点在检测框内的个数，通过判断特征点在人体检测框的个数来对轨迹进行删除和保留，所述Faster R-CNN是通过构建区域建议网络和Fast R-CNN对视频中的目标人物进行检测和判定。

5.根据权利要求4所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤2包括如下步骤：

步骤21，使用基于VGG16的Faster R-CNN网络生成每个视频片段中每帧进行关键人物运动的人物检测框，第s个视频片段所有帧的人体运动检测框检测组成的集合表示为H_s，具体表示如下：

H_s＝[h_s,0,h_s,1,...,h_s,k,...,h_s,L-1]

其中，h_s,k＝(a_s,k,b_s,k,r_s,k,c_s,k)表示第s个视频片段中第k帧的人体运动检测框，a_s,k,b_s,k分别表示第s个视频片段中第k帧人体运动检测框左上角的横坐标和纵坐标，r_s,k,c_s,k分别表示检测框的高度和长度；

步骤22，判断步骤1得到的轨迹P_s,m上的特征点是否在步骤21中各帧中的人体运动检测框H_s之内，计算过程如下：

对P_s,m中第k帧上第m个轨迹点p_s,k,m，设置num＝0，如果a_s,k≤x_s,k,m≤a_s,k+c_s,k且b_s,k≥y_s,k,m≥b_s,k+r_s,k，则num＝num+1；否则，num不变；其中，num表示轨迹P_s,m上的所有特征点在人体检测框内的和；设置res＝0，阈值β，并进行以下判断：

如果num≥β，则保留该轨迹，res＝res+1；

如果num＜β，则删除该轨迹，res不变；

其中，res表示经过初优化轨迹的个数，经过对视频片段s中所有轨迹的判断，得到初优化的轨迹的集合为T_s，T_s＝(P_s,1,P_s,2,...,P_s,n,...,P_s,res)，其中，1≤n≤res且n为整数。

6.根据权利要求5所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤22中，β的取值为3。

7.根据权利要求1所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤3中，计算步骤2中经过初优化后的轨迹之间的余弦相似度，首先将第一条轨迹保留，然后计算其余轨迹与第一条轨迹之间的余弦相似度，从而将剩余轨迹分入保留轨迹的集合和删除轨迹的集合，然后遍历保留轨迹集合中的所有轨迹，计算所述保留轨迹与删除轨迹集合中的所有轨迹之间的余弦相似度，进一步更新保留轨迹集合和删除轨迹集合，最终得到的保留轨迹的集合即可作为视频人物运动特征提取的结果。

8.根据权利要求7所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤3包括如下步骤：

步骤31，设置T_save和T_del分别为保留轨迹的集合和删除轨迹集合，保留步骤22得到的T_s中的第一条轨迹P_s,1到集合T_save中；

步骤32，计算T_s中其他轨迹和P_s,1间的余弦相似度，设置阈值

来判定该轨迹是否删除，假设P_s,e是T_s中的任意轨迹，其中1≤e≤res且e为整数，利用ΔP_s,n表示轨迹在各帧之间关键点的偏移，具体计算公式如下：

ΔP_s,n＝(Δp_s,0,n,Δp_s,1,n,...,Δp_s,k,n,...,Δp_s,L-2,n)

其中，n表示第n段轨迹，Δp_s,k,n表示关键点在第k帧和第k+1帧的位移，具体计算公式如下：

P_s,1和P_s,e两条轨迹在各帧之间关键点的偏移为：

ΔP_s,1＝(Δp_s,0,1,Δp_s,1,1,...,Δp_s,k,1,...,Δp_s,L-2,1)

ΔP_s,e＝(Δp_s,0,e,Δp_s,1,e,...,Δp_s,k,e,...,Δp_s,L-2,e)

则轨迹P_s,1和P_s,e之间的余弦测量度λ表示为：

若

则证明轨迹P_s,1和P_s,e为相关轨迹，将轨迹P_s,e放入删除轨迹集合T_del中；

若

则证明轨迹P_s,1和P_s,e为无关轨迹，将轨迹P_s,e放入保留轨迹集合T_save中；

步骤33，从步骤32中得到了删除轨迹集合T_del和保留轨迹集合T_save，遍历保留轨迹集合T_save中的所有轨迹，并与删除轨迹集合T_del中所有轨迹进行步骤32，每次遍历都及时更新删除轨迹集合T_del和保留轨迹集合T_save，最终，在保留轨迹集合T_save中的所有轨迹可以作为描述视频人物运动的轨迹特征信息进行特征提取。

9.根据权利要求8所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤32中，

的取值为0.9。

Images