CN103871077A - 一种道路车辆监控视频中的关键帧提取方法 - Google Patents

Abstract

本发明公开了一种道路车辆监控视频中的关键帧提取方法，首先提取采集到的道路车辆监控视频的样本图像集，通过前景运动对象检测提取车辆最小外接矩形图像作为样本图像源，针对每个从进入到离开监控区域的车辆目标的外接矩形序列图像，判断符合车辆监控分析要求的作为正样本图像，不符合要求的作为负样本图像，得到用于训练AdaBoost分类器的训练样本图像集；提取前景车辆目标的面积特征和积分通道特征，训练得到AdaBoost分类器；利用训练好的分类器对从进入到离开监控区域的车辆目标的外接矩形图像序列进行分类，AdaBoost分类器对每帧图像打分，选择打分最高的图像作为关键帧。本发明可提高道路车辆监控视频关键帧提取的有效性和准确性。

Description

一种道路车辆监控视频中的关键帧提取方法

技术领域

本发明涉及数字图像处理领域,特别是一种道路车辆监控视频中的关键帧提取方法。背景技术

随着数字视频处理技术的发展,各种道路视频监控系统广泛应用于道路安全管理。如何对海量道路监控视频数据进行有效处理是一个重要的问题。道路监控视频具有区别于一般视频的特点：摄像机固定于一个位置对道路场景进行拍摄，几乎不存在场景的变换；人们最关心的重要信息是从进入视频到离开监控区域的运动车辆的车牌、车型、车辆颜色等特征信息。

现有单纯使用MPEG4或H.264视频编码标准的道路视频监控系统存在监控视频数据量与视频检索效率的矛盾。视频数据量越大，检索效率越低。如何从车辆进入到离开监控范围的视频序列中自动得到最能清晰反映车辆车牌、车型等信息的显著关键帧是解决该矛盾的关键。道路车辆监控系统中一般都采用设定虚拟线圈的方法提取关键帧，即在道路监控视频中设定一系列的预定区域，模拟现实中的感应线圈，当进入虚拟线圈的运动车辆产生触发时提取相应的图像作为关键帧。该方法计算速度快，成本低，但虚拟线圈的位置、大小和数目都需要针对不同的道路监控视频具体而定，具有很大局限性。

针对这个问题，研究者们提出了各种改进的视频数据量压缩方法，目的是提取能够充分反映车牌、车型、车辆颜色等特征信息的关键帧。ZHAO Shu-long在利用运动车辆检测对视频分段的基础上，提出一种基于车牌定位的关键帧提取方法。该方法选择车牌距离图像底部最近的图像帧作为关键帧，只适用于摄像机正对车道拍摄的情况。当监控摄像机位于路口侧面，与车道成一个角度时该方法并不适用。Congcong Li提出一种贪婪算法，先检测出运动目标，然后不断将检测出运动目标的图像帧进行融合重叠，得到虚拟的关键帧图像，该方法只适用于有固定速度运动目标的场景。Yuanfeng Yang通过设置虚拟检测线，根据当前帧与背景的差异衡量当前帧的运动信息量，从而进行视频分段，并采用聚类的方法进行关键帧选取。Yan Yang等提取图像的边缘直方图和信息熵作为运动信息特征，选择对应的局部最大值作为关键帧，该方法简单直观，但没有考虑人对道路监控视频关注的重点，准确率较低。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种道路车辆监控视频中的关键帧提取方法，快速、准确地提取关键帧，从而实现道路车辆监控视频分析数据量的有效压缩。

为解决上述技术问题，本发明所采用的技术方案是：一种道路车辆监控视频中的关键帧提取方法，该方法为：

1）通过前景运动对象检测方法从采集到的道路车辆监控视频序列中提取前景车辆目标，解码所述采集到的道路车辆监控视频序列，得到多帧序列图像，从每一帧序列图像中截取前景车辆目标最小外接矩形图像，计算所有前景车辆目标最小外接矩形图像在其所对应的序列图像中的面积比例P：

其中，h,w分别为前景车辆目标最小外接矩形图像的像素高和宽；H，W分别为序列图像的像素高和宽；得到面积特征向量；

2）将所有前景车辆目标最小外接矩形图像转换成像素大小一致的转换图像，对所述转换图像进行梯度幅值通道变换和梯度方向通道变换，得到积分通道特征向量；

3）扩充上述面积特征向量，使得面积特征向量与积分通道特征向量维数一致，合并维数一致的面积特征向量与积分通道特征向量，得到总的特征向量；

4）将上述所有前景车辆目标最小外接矩形图像作为样本图像源，从所述样本图像源中选取符合车辆监控分析要求的作为正样本图像，将样本图像源中不符合车辆监控分析要求的作为负样本图像；符合车辆监控分析要求是指样本图像在对应的序列图像中占的面积比例为0.4%以上，不符合车辆监控分析要求是指样本图像在对应的序列图像中占的面积比例小于0.4%；

5）标记所有的正样本图像和负样本图像：(x₁,y₂)，...,(x_n,y_n)，y_i=0其中表示负样本图

像，y_i=1表示正样本图像，x_i表示样本图像源中的样本图像；i=1,2,L,n；

6）初始化权重ω₁,_i：

其中m和l分别为负样本图像和正样本图像的个数；n=m+l；

7）训练分类器：令t=1；

8）利用下式归一化权重：

ω_t,_i为训练第t个分类器的第i个样本图像的权重；ω'_t,_i为归一化后的第t个分类器的第i个样本图像的权重；

9）即得到阈值θ_j和方向P_j，其中0<θ_j<f_max，f_max是总的特征向量中的元素最大值，弱分类器h_j为：

$h_j=\left\{\begin{array}{cc}1& p_{j}f<p_j{\mathrm{\&theta;}}_j\\ 0& \mathrm{else}\end{array}\right.$

其中P_j决定不等式的方向，P_j为1或者0；

则第j个弱分类器的迭代误差和ε_j为：

10）选择迭代误差和最小的弱分类器h_t(x)作为候选分类器；

11）利用下式更新权重：ω_t+₁,_i=ω'_t,_iβ_t ^1-ei，当x_i被正确分类时，e_i=0，反之，e_i=1；

12）令t=t+1，将ω_t+1,_i作为训练第t+1个分类器的第i个样本图像的权重，重复上述步骤8）～步骤11），直到得到T个候选分类器，利用所述T个候选分类器确定强分类器h(x)：

$h\left(x\right)=\left\{\begin{array}{c}1,\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{a}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{a}_t\\ 0,\mathrm{else}\end{array}\right.;;$

13）解码需要检测的道路车辆监控视频序列，得到多帧需检测的序列图像，利用上述强分类器h(x)对所述多帧需检测的序列图像打分，将得分最高的作为关键帧。

与现有技术相比，本发明所具有的有益效果为：本发明通过提取样本图像的面积特征和积分通道特征，利用AdaBoost方法训练得到一个分类器，最后利用AdaBoost分类器对测试样本进行分类，能快速、准确地提取出道路车辆监控视频中的关键帧，能够有效地提取出一个运动车辆从进入到离开监控区域的序列图像帧中最清晰显著的图像，从而实现道路车辆监控视频分析数据量的有效压缩。与现有的其他关键帧提取方法相比，在针对道路监控视频中特定车辆图像序列的关键帧提取问题上，本发明结合人对道路车辆监控视频关注重点，提取样本图像的面积特征和积分通道特征，表现出更高的准确率，更低的漏检率。同时，只要前期一次训练出有效的AdaBoost分类器，使用时提取关键帧速度快，方便快捷，具有较好的适用性。

附图说明

图1为本发明的方法流程图；

图2（a）正样本示例，车牌车型清晰，显著度高；

图2（b）负样本示例，因角度、面积等原因，车牌、车型等显著度低；

图3中间结果对比；

图4（a）测试视频示例；

图4（b）前景运动检测提取车辆目标最小外接矩形；

图4（c）分类器分类结果；

图4（d）选择分类结果中打分最高的图像作为关键帧。

具体实施方式

如图1，本发明首先对采集到的道路车辆监控视频提取训练样本图像集，通过前景运动对象检测提取车辆最小包围矩形图像作为样本图像源，针对每个从进入到离开监控区域的车辆目标的外接矩形序列图像，选取肉眼主观判断符合车辆监控分析要求的作为正样本图像，不符合要求的作为负样本图像，得到用于训练AdaBoost分类器的训练样本图像集，符合车辆监控分析要求是指可以清晰辨识车牌号码，且样本图像在对应的序列图像中占的面积比例为0.4%以上，不符合车辆监控分析要求是无法清晰辨识车牌号码，并且指样本图像在对应的序列图像中占的面积比例小于0.4%；如图2所示为部分样本图像示意图；其次，先对所有样本提取面积特征，再将所有样本统一转换成64×64像素大小，提取积分通道特征，结合面积特征和积分通道特征，得到2560维的特征向量；再次，将特征向量作为AdaBoost的输入，设定训练轮数T=1024，训练得到分类器；最后，选取若干段监控视频对算法进行测试。本发明的具体方法步骤如下：

首先，对采集到的道路车辆监控视频提取训练样本图像集。在长沙三一大道、双拥路和车站北路等路口采集上午和下午真实路况下具有代表性的道路车辆视频，共采集48段视频，总时长52分钟，总数据量约为2.1G，包含208个运动车辆，最长的运动车辆图像序列为66帧，最短的为23帧。从视频序列中截取包含运动车辆的最小外接矩形图像共2677张，选取的正样本图像共683张，负样本图像共1994张，用于训练分类器，部分样本如图2所示。

其次，对所有样本提取面积特征和积分通道特征。先提取面积特征，采用以下公式计算前景车辆目标的面积比例：

h，w分别为前景车辆目标最小外接矩形的像素高和宽；

H，W分别为采集到的视频解码后得到序列图像的像素高和宽。

将所有样本统一转换成64×64像素大小，提取积分通道特征。为实现特征的快速计算，将特征定义为通道图上随机矩形区域的像素值和，可以通过通道积分图在常数复杂度下完成计算，即：

$\underset{y_1<y<y_2}{{\mathrm{\&Sigma;}}_{x_1<x<x_2}}{C}_k(x,y)=f_k(x_2,y_2)-f_k(x_1,y_2)-f_k(x_2,y_1)+f_k(x_1,y_1)$

c_k表示第K类积分通道。

随机选取通道图上两个像素点，像素坐标分别为(x₁,y₁)，(x₂,y₂)，得到四个随机矩形区域，矩形的四个顶点像素坐标分别为(0,0)(0,y₁)(x₁,0)(x₁,y₁)，(0,0)(0,y₁)(x2,0)(x₂,y₁)，(0,0)(0,y₂)(x₁,0)(x₁,y₂)，(0,0)(0,y₂)(x₂,0)(x₂,y₂)f_k(x₁,y₁)、f_k(x₁,y₂)、f_k(x₂,y₁)和f_k(x₂,y₂)分别表示相应随机矩形区域所有点的像素值和。

计算七类积分通道（一个梯度幅值通道、六个梯度方向通道）。

(1)梯度幅值通道：梯度幅值通道C₁的计算基于图像I的灰度图Igray，计算方法如下： $C_1(x,y)=\sqrt{{\left(\frac{{\&PartialD;\mathrm{\&theta;I}}^{\mathrm{gray}}(x,y)}{\mathrm{\&theta;x}}\right)}^2}+{\left(\frac{{\&PartialD;\mathrm{\&theta;I}}^{\mathrm{gray}}(x,y)}{\mathrm{\&theta;y}}\right)}^2$

分别表示图像I的灰度图gray对x,y所求偏导数。

(2)梯度方向通道：首先要基于灰度图Igray计算每个像素位置的梯度方向： $\mathrm{\&theta;}(x,y)={\tan }^{-1}\left(\frac{\frac{{\&PartialD;I}^{\mathrm{gray}}}{\&PartialD;x}(x,y)}{\frac{{\&PartialD;I}^{\mathrm{gray}}}{\&PartialD;y}(x,y)}\right)$

然后把θ(x,y)离散为六个梯度方向

得到六个方向上的梯度幅值通道图：C_k(x,y)=C₁(x,y).1[θ(x，y)二θ_k-2]，其中k =2,3,...,7。

结合面积特征和积分通道特征，得到2560维的特征向量。

再次，将特征向量作为AdaBoost的输入，设定训练轮数T=1024，训练得到强分类器。具体的AdaBoost算法过程如下：

步骤（1）：标记n个样本图像(x₁,y₁)，…,(x_n，y_n)，其中m个负正样本图像标记为Y_i=o，、Al个正样本图像标记为y_i=1。

步骤（2）：初始化权重。每个负样本图像的初始权值为

每个正样本图像的初始权值为

步骤（3）：选择T个弱分类器（迭代T次）。对于t=1,...,T，

权值归一化，使ω_t成概率分布。

${\mathrm{\&omega;}}_{t,i}^{\&prime;}\&LeftArrow;\frac{{\mathrm{\&omega;}}_{t,i}}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{t,i}}$

对每一个特征j，训练一个弱分类器h_j，则第j个弱分类器的迭代误差和 ${\mathrm{\&epsiv;}}_j=\underset{i}{\mathrm{\&Sigma;}{\mathrm{\&omega;}}_{t,j}^{\&prime;}}|h_j\left(x_i\right)-y_i|;$

选择最小迭代误差和ε_t对应的弱分类器h_t。

更新权重：ω_t+i=ω_tβ_c ^1-Bi,若样本x_i被正确分类（即当标记样本x_i为正样本，之后又

将x_i分类为正样本时，分类正确；反之，不正确），ε_i=0；否则，ε_i=1。

步骤（4）：将T个弱分类器线性组合在一起，得到一个强分类器： $h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\&Sigma;}}_{t-1}^T{a}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}{\mathrm{\&Sigma;}}_{t-1}^T{a}_t\\ 0& \mathrm{otherwise}\end{array}\right.$

其中

最后，选取若干段监控视频对算法进行测试。测试视频共包含67个运动车辆目标，从中截取了运动车辆最小外接矩形图像2000张，有67个从进入到离开监控区域的车辆目标的外接矩形图像序列。以人工目测法作为评价其他算法参考准则，通过比较各种算法提取出的图像帧区间分布及其与人工目测法提取的图像帧区间的重合程度来比较算法中间结果的优劣。人工目测方法从肉眼主观判断符合车辆监控分析要求的图像帧区间中任选一帧作为关键帧，K-Means聚类方法和本文算法提取的关键帧落在肉眼主观判断符合车辆监控分析要求的图像帧区间时，即认为与人工目测法提取的关键帧相同。

通过提取关键帧的准确率、误检率和漏检率指标来衡量关键提取算法的有效性。各指标定义如下：

以测试视频中提取的车牌号为湘A KL489的运动车辆图像序列为例，如图4所示，在监控区域共记录53帧，肉眼主观判断符合车辆监控分析要求的图像帧区间是[47，53]，如图3所示。从图3可以看出，本文算法提取第50、51、52、53帧，均在肉眼主观判断符合车辆监控分析要求的图像帧区间[47，53]内，且分布集中；K-Means聚类方法提取第11、12、44、45、46、47、48、53帧，其中第47、48和53帧在肉眼主观判断符合车辆监控分析要求的图像帧区间[47，53]内，但重合度小，且分布不集中，呈现跳跃性。本文算法在中间结果的提取上表现出更优越的性能。

关键帧提取的实验结果如表1所示，可以看出，与K-Means聚类方法相比，本文方法表现好出更高的准确率、更低的漏检率和误检率，所提取的结果与人工目测法提取的结果最为相近。

通过以上本发明所提出的针对道路监控视频中特定车辆图像序列，在前景运动对象检测的基础上的关键帧提取方法，能够有效地提取出一个运动车辆从进入到离开监控区域的序列图像帧中最清晰显著的图像，从而实现道路车辆监控视频分析数据量的有效压缩。与传统聚类的关键帧提取算法相比，本发明的方法可提高道路车辆监控视频关键帧提取的有效性和准确性。

Claims (1)

1.一种道路车辆监控视频中的关键帧提取方法，其特征在于，该方法为：

1）通过前景运动对象检测方法从采集到的道路车辆监控视频序列中提取前景车辆目标，解码所述采集到的道路车辆监控视频序列，得到多帧序列图像，从每一帧序列图像中截取前景车辆目标最小外接矩形图像，计算所有前景车辆目标最小外接矩形图像在其所对应的序列图像中的面积比例P：

其中，h,W分别为前景车辆目标最小外接矩形图像的

像素高和宽；H，W分别为序列图像的像素高和宽；得到面积特征向量；

2）将所有前景车辆目标最小外接矩形图像转换成像素大小一致的转换图像，对所述转换图像进行梯度幅值通道变换和梯度方向通道变换，得到积分通道特征向量；

3）扩充上述面积特征向量，使得面积特征向量与积分通道特征向量维数一致，合并维数一致的面积特征向量与积分通道特征向量，得到总的特征向量；

4）将上述所有前景车辆目标最小外接矩形图像作为样本图像源，从所述样本图像源中选取符合车辆监控分析要求的作为正样本图像，将样本图像源中不符合车辆监控分析要求的作为负样本图像；符合车辆监控分析要求是指样本图像在对应的序列图像中占的面积比例为0.4%以上，不符合车辆监控分析要求是指样本图像在对应的序列图像中占的面积比例小于0.4%；

5）标记所有的正样本图像和负样本图像：(x₁,y₁)，…，(x_n，y_n)，其中y_i=o表示负样本图像，y_i=1表示正样本图像，x_i表示样本图像源中的样本图像；i=1,2,...,n；

6）初始化权重ω₁,_i：

其中m和l分别为负样本图像和正样本图像的个数；n=m+l；

7）训练分类器：令t=1；

8）利用下式归一化权重：

为训练第t个分类器的第i个样本图像的权重；ω'_t,_i为归一化后的第t个分类器的第i个样本图像的权重；

9）对所述总的特征向量中的每个元素f，训练一个弱分类器hj，即得到阈值θ_j和方向P_j，其中0<θ_j<f_max，f_max是总的特征向量中的元素最大值，所述弱分类器h_j为： $h_j=\left\{\begin{array}{cc}1& p_{j}f<p_j{\mathrm{\&theta;}}_j\\ 0& \mathrm{else}\end{array}\right.$

其中P_j决定不等式的方向，P_j为1或者0；

则第j个弱分类器的迭代误差和ε_j为：

10）选择迭代误差和最小的弱分类器ht(x)作为候选分类器；

11）利用下式更新权重：ω_t+₁,_i=ω'_t,_iβ_t ^1-ei，当x_i被正确分类时，e_i=0，反之，e_i=1；

设

ε_t为最小的迭代误差和；

12）令t=t+1，将ω_t+₁,_i作为训练第t+1个分类器的第i个样本图像的权重，重复上述步骤8）～步骤11），直到得到T个候选分类器，利用所述T个候选分类器确定强分类器h(x)：

$h\left(x\right)=\left\{\begin{array}{c}1,\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{a}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{a}_t\\ 0,\mathrm{else}\end{array};\right.$

13）解码需要检测的道路车辆监控视频序列，得到多帧需检测的序列图像，利用上述强分类器h(x)对所述多帧需检测的序列图像打分，将得分最高的作为关键帧。

Images