CN105208402B - 一种基于运动对象与图像分析的视频帧复杂度测度方法 - Google Patents

Abstract

本发明公开了一种基于运动对象与图像分析的视频帧复杂度测度方法，属于图像处理技术领域。本发明基于视频帧的运动目标特征点的运动矢量信息计算各视频帧的运动复杂度，再计算视频图像的灰度图的边缘比率、灰度一致性以及运动目标特征点的特征点集中度，由该三者的加权求和得到视频帧的图像复杂度，最后对运动复杂度和图像复杂度进行加权求和，得到视频帧复杂度。本发明用于视频的复杂度测度处理，能够有效地定量确定视频复杂度值，反映视频的特性，有利于视频分析等进一步操作。

Description

一种基于运动对象与图像分析的视频帧复杂度测度方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于运动对象与图像背景分析的视频复杂 度测度方法。

背景技术

视频复杂度是对视频内在的复杂程度的描述，它能反应是否可完成或完成某些视频分析 操作(如视频对象识别，目标提取，异常行为检测，视频分割等)的内在的困难程度。对视 频的复杂度有定性的了解，不仅有利于对视频有一个整体概观，而且便于进一步把握相关视 频处理与分析；而对视频的复杂度进行定量分析，则有助于更加准确地把握执行视频分析相 应工作所存在的内在的困难程度，以便指导工作进行合理的设计与实施。定性定量地描述图 像的复杂程度，这不仅有利于更好指导和把握视频处理与分析工作，而且对视频分析各领域 都有极其重要的意义。

针对常见的视频分析如视频对象识别，目标提取，视频分割等操作来说，视频复杂度是 指在一个给定视频中发现或提取一个真实目标的内在困难程度，本文主要从运动目标特征和 图像整体特征两方面进行视频复杂度的测度操作，以便对视频数据有一个整体把握，用来指 导后续视频分析的尺度参数和方法选择。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种计算视频帧的复杂度的测度方 法。

本发明的基于运动对象与图像分析的视频帧复杂度测度方法，包括下列步骤：

步骤一：分别计算视频帧的运动复杂度C_m和图像复杂度C_g：

1、运动复杂度C_m：

首先提取视频每帧中目标的运动矢量特征：提取视频帧的运动目标特征点，并提取运动 目标特征点的运动矢量，然后基于视频帧的运动矢量提取运动目标特征点的速度特征和方向 特征，再基于速度特征、方向特征的预设等级划分分别统计每个等级所对应的出现概率，用， P_ri表示速度特征的每个等级的出现概率，P_dj表示方向特征的每个等级的出现概率，最后，基 于每个等级所对应的出现概率的统计结果，根据公式(1)计算各视频帧的运动复杂度C_m：

公式(1)中，N1表示速度特征的预设等级数，N2表示方向特征的预设等级数，α_ri、α_dj表示权值，且α_ri+α_dj＝1。

2、图像复杂度C_g：

将视频帧转换为灰度图后分别计算边缘比率R、灰度一致性U和特征点集中度J：

确定视频帧的目标边缘，并统计该目标边缘的像素点个数P_e，根据公式(2)计算边缘比 率R：

R＝P_e/(M×N) (2)

公式(2)中，M和N分别表示视频帧的行数和列数。

遍历转换为灰度图的视频帧的每一个像素，并与其相邻像素的灰度值比较，提取视频帧 的灰度一致性U，如公式(3)所示：

公式(3)中，f(i,j)表示在像素点(i,j)处的灰度值，f'(i,j)表示以像素点(i,j)为中心 的预设邻域范围的灰度均值；

基于计算运动复杂度中所提取的运动目标特征点，可提取其位置特征，对该位置特征进 行聚类处理，然后计算每一类中运动目标特征点的位置特征在水平和竖直方向的方差V_ix、V_iy， 由公式(4)得到特征点集中度J：

公式(4)中，N_c表示预设聚类数，n_i表示每类运动目标特征点个数，N_f表示运动目标特征点总数。

对边缘比率R、灰度一致性U和特征点集中度J进行加权求和得到视频图像的图像复杂 度C_g；

步骤二：对运动复杂度C_m和图像复杂度C_g进行加权求和，输出视频复杂度。

由于采用了上述技术方案，本发明的有益效果是：基于目标的运动特性，数量以及空间 分布情况的视频复杂度测度方法能够有效地定量确定视频复杂度值，反映视频的特性，有利 于视频分析等进一步操作。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式，对本发明作进一步 地详细描述。

本发明用于计算给定视频的各视频帧的复杂度，对输入的视频分别计算各视频帧的运动 复杂度和图像复杂度，再将两者进行加权求和输出各视频帧的复杂度，具体步骤如下：

步骤1：计算视频帧的运动复杂度。

步骤1.1：提取视频帧的运动目标特征点和背景特征点：

基于预设跟踪帧步长所确定的当前视频段，首先从第一帧开始处理，在四个角上各取一 宽为视频帧图像行数四分之一，长为视频帧图像列数四分之一大小的块，并在块中以视频帧 图像列数的三十分之一作为步长均匀取点，作为背景特征点。然后检测视频帧中的FAST (Features from Accelerated Segment Test)角点作为运动目标特征点，本实施方式中，设置检测 的最大运动目标特征点为500，两个运动目标特征点之间的最小距离为10，特征检测的质量 等级为0.01。

步骤1.2：跟踪背景特征点和运动目标特征点的运动：从当前视频段的第二帧开始，跟 踪上一帧的背景特征点和运动目标特征点在当前帧的位置，并作为下一帧跟踪的基准，即对 当前视频段的第一帧中每一个背景特征点和运动目标特征点，用光流法分别跟踪其在当前视 频段的第二帧的位置，再以第二帧中各特征点(背景特征点和运动目标特征点)的位置为基 准，跟踪其在当前视频段的第三帧的位置，以此类推，直到最后一帧。删除当前视频段中第 一帧和最后一帧中不动的背景特征点后保存剩余的背景特征点(即保存第一帧和最后一帧中 运动的背景特征点)，以及保存每一帧的运动目标特征点的位置特征。

若对上述步骤进行隔帧处理的话，可能存在很多特征点没有动，无效信息太多，而且处 理速度较慢，如果跟踪帧数太多，可能会跳过一些有效信息，因此本文经过实验选取五帧作 为跟踪帧步长。

步骤1.3：基于步骤1.2得到的背景特征点的位置特征，用RASANC方法估计六参数全局 模型，作为因摄像机移动而产生的背景运动模型。

步骤1.4：基于步骤1.2得到运动目标特征点的位置特征，提取运动目标特征点的初级 运动矢量，但这是受摄像机移动影响的综合运动矢量。根据步骤1.3的背景运动模型，将运 动目标特征点在第一帧的位置特征代入该背景运动模型可得到其第五帧的位置信息(即运动 目标特征点的位置特征)，并基于该位置信息提取运动目标特征点的背景运动矢量，然后从综 合运动矢量(初级运动矢量)中去除背景运动矢量便得到运动目标特征点的运动矢量，即有 效运动矢量。同时，为了降低运算量，基于公式(1)计算视频帧的运动复杂度时，还可以去 掉有效运动矢量为零的运动目标特征点。

步骤1.5：根据步骤1.4得到的运动矢量，提取运动目标特征点的速度特征和方向特征， 并将速度特征按大小依次分为五个等级(速度等级)，将方向特征按八个象限逆时针依次分为 八个等级(方向等级)。遍历每个运动目标特征点的速度特征和方向特征，分类到其所属的等 级，生成速度直方图和方向直方图，并计算每个速度等级以及方向等级出现的概率，根据公 式(1)得到各视频帧的运动复杂度C_m，其中，设置α_ri＝0.6，α_dj＝0.4。

步骤2：计算图像复杂度：

步骤2.1：将待测度的视频帧图像转换为灰度图，确定视频帧的目标边缘。因视频帧图 像中目标边缘表现为图像灰度显著变化的地方，本实施方式中通过Canny边缘检测算子确定 视频帧的目标边缘，将Canny算子的低阈值定义那些被认为是属于明显图像轮廓的边缘像素， 高阈值定义属于所有重要轮廓的边缘，经过实验，将Canny算子的高低阈值分别设为50和 400比较合适，通过Canny边缘检测算子提取目标边缘的像素个数，然后根据公式(2)计算 得到边缘比率R。

步骤2.2：根据步骤2.1中的灰度图，遍历每一个像素，并与其3×3邻域范围的灰度均 值比较，由公式(3)计算视频帧的灰度一致性U。

步骤2.3：对步骤1.4得到的运动目标特征点，可提取其位置特征并进行聚类处理，如 采用Kmeans方法进行聚类，聚类的总数设为4。然后计算每一类中运动目标特征点的位置特 征在水平和竖直方向的方差，根据公式(4)得到特征点集中度J：

步骤2.4：对边缘比率R、灰度一致性U和特征点集中度J进行加权求和得到视频图像 的图像复杂度C_g，本实施方式中，取R、U和J的均值作为各视频帧的图像复杂度。另外，由于运动复杂度是跟踪帧步长为5而得到的，因此各视频帧的图像复杂度也可以该踪帧步长 为一个单位提取，即基于步骤2.1～2.3得到5帧各自的R、U和J，然后对R、U和进行归 一化处理后并分别求5帧的均值R′、U′和J′，得到提取单位所对应的边缘比率R′、灰度一 致性U′和特征点集中度J′，再由得到视频帧的图像复杂度C_g。

步骤3：将运动复杂度C_m和图像复杂度C_g进行加权求和，则得到视频帧复杂度C，如某段视频的视频帧复杂度C集合即反映了该段视频的总体复杂程度。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述， 均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过 程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (7)

1.一种基于运动对象与图像分析的视频帧复杂度测度方法，其特征在于，包括下列步骤：

步骤一：分别计算视频帧的运动复杂度C_m和图像复杂度C_g：

运动复杂度C_m：

提取视频帧的运动目标特征点，并提取运动目标特征点的运动矢量：

基于预设跟踪帧步长所确定的当前视频段，对当前视频段的第一帧提取背景特征点和运动目标特征点，从当前视频段的第二帧开始，跟踪上一帧的背景特征点和运动目标特征点在当前帧的位置，并作为下一帧跟踪的基准；删除当前视频段中第一帧和最后一帧中不动的背景特征点，由删除后的背景特征点的位置特征得到背景运动模型；

基于当前视频段各帧的运动目标特征点的位置特征，提取运动目标特征点的初级运动矢量；将当前视频段的第一帧的运动目标特征点的位置特征带入背景运动模型，以确定在当前视频段的最后一帧的对应位置特征，并基于所述最后一帧的位置特征提取运动目标特征点的背景运动矢量；

从各帧所得到的初级运动矢量中删除背景运动矢量得到各帧的运动目标特征点的运动矢量；

基于所述运动矢量提取运动目标特征点的速度特征和方向特征，基于速度特征、方向特征的预设等级划分分别统计每个等级所对应的出现概率；

根据公式计算运动复杂度C_m，其中N1表示速度特征的预设等级数，N2表示方向特征的预设等级数，P_ri表示速度特征的每个等级的出现概率，P_dj表示方向特征的每个等级的出现概率，α_ri、α_dj表示权值，且α_ri+α_dj＝1；

图像复杂度C_g：

将视频帧转换为灰度图后分别计算边缘比率R、灰度一致性U和特征点集中度J：

确定视频帧的目标边缘，并根据公式R＝P_e/(M×N)统计视频帧的边缘比率R，其中，M和N分别表示视频帧的行数和列数，P_e表示视频帧的目标边缘的像素点个数；

根据公式计算视频图像的灰度一致性U，其中f(i,j)表示在像素点(i,j)处的灰度值，f'(i,j)表示以像素点(i,j)为中心的预设邻域范围的灰度均值；

对视频帧的运动目标特征点的位置特征进行聚类处理，并根据公式计算特征点集中度J，其中N_c表示预设聚类数，n_i表示每类运动目标特征点个数，N_f表示运动目标特征点总数，V_ix和V_iy分别表示每类运动目标特征点的位置特征在水平和竖直方向的方差；

对边缘比率R、灰度一致性U和特征点集中度J进行加权求和得到视频图像的图像复杂度C_g；

步骤二：对运动复杂度C_m和图像复杂度C_g进行加权求和，输出视频复杂度。

2.如权利要求1所述的方法，其特征在于，在计算运动复杂度C_m时，删除各视频帧中运动矢量为零的运动目标特征点。

3.如权利要求1或2所述的方法，其特征在于，预设跟踪帧步长为5。

4.如权利要求1所述的方法，其特征在于，在计算运动复杂度C_m时，将速度特征按大小划分为五个等级，将方向特征按八个象限逆时针划分为八个等级。

5.权利要求1所述的方法，其特征在于，所述α_ri＝0.6，α_dj＝0.4。

6.如权利要求1所述的方法，其特征在于，在计算图像复杂度C_g时，f'(i,j)表示以像素点(i,j)为中心的3*3邻域范围的灰度均值。

7.如权利要求1所述的方法，其特征在于，预设聚类数N_c的取值为4。