CN1687929A - 基于视频特征曲线的视频检索的方法 - Google Patents

Abstract

基于视频特征曲线的视频检索的方法属视频处理领域。本方法用视频采集设备采集视频信号；视频信号通过输入设备采集到计算机保存，为视频特征曲线的检索做好准备；从采集的视频信号当中提取视频特征曲线，即提取视频序列单帧静态图像各个子区域的平均灰度值或分通道提取视频序列单帧静态图像各个子区域的平均颜色值绘制视频特征曲线；将提取出的视频特征曲线数据存储在硬盘当中；在存取的视频特征曲线的数据集中检索和样例视频的视频特征曲线相匹配的视频特征曲线，采用例子查询方式，在对视频特征曲线进行匹配和检索结束后，返回视频特征曲线检索结果，保存并显示匹配结果。该方法可用于电视台视频节目的检索及基于Web视频数据库的检索。

Description

基于视频特征曲线的视频检索的方法

技术领域

基于视频特征曲线的视频检索的方法属视频处理领域。视频特征曲线是一种新型的视频特征，用于唯一区别某一视频与其它视频，是利用计算机技术、视频摄取技术、数字视频处理技术等实现视频特征曲线提取及基于视频特征曲线视频检索的方法，应用在视频检索、定位等领域。

背景技术

随着多媒体技术的发展及网络的宽带化，数字视频技术已经深入到人们生活的各个方面，成为生活中不可或缺的一部分。如何方便、快捷地在海量的视频数据中查找用户感兴趣的内容，已经成为学术界、工业界的研究热点之一。而成功的检索系统主要依赖于检索特征的选取，视频特征有关键帧、相机运动参数、字幕等。这些特征的应用范围存在局限，各有优缺点。

在视频检索的现有技术中，利用关键帧代表一个镜头来与检索图像进行相似度计算，但几幅关键帧很难覆盖整个镜头的内容，因此这种检索方法效果并不理想；摄像机的运动参数也是视频检索领域中的一个重要特征，实际上要定量求出相机的所有运动参数是有一定的难度的，特别是在一般视频中的应用难度更大；利用视频字幕的检索，对于理解图像内容十分重要，但这类算法效果并不十分明显，且只能对含有字幕的视频进行检索，在应用范围上也受到一定的限制。在视频定位方面，传统的方法是基于像素级的比较，需处理的信息量巨大，由于视频数据结构复杂，含有有大量的空间信息及时间信息，因此如何提取视频特征使其能够体现视频的时间、空间特性，就成为视频检索技术中的关键问题。

发明内容

本发明的目的是提出一种的充分体现视频在时间、空间两方面信息变化的视频特征及其提取方法和基于该视频特征的视频检索方法，从而扩展单一视频特征的应用范围，降低视频特征的提取算法复杂度，提高视频识别、检索和定位的精度和效率。

本发明的基本思想是认为视频是由一系列静态图像按一定的时间顺序组成，既有较大的时间、空间冗余，又具有较大的时间和空间相关性，利用静态图像序列的某些随时间而顺序变化的特征来表征视频，可以在保留视频时域、空域特征的同时使得视频特征数据量急剧减少，并将所选定的特征绘制在时空坐标系中，表现为一组曲线，因此将这种视频特征定义为视频特征曲线。

利用图像的特征，综合考虑视频特征曲线提取时间、算法复杂度、现有设备计算能力三个因素，本发明选择利用样例视频序列和目标视频序列的单帧静态图像平均灰度值作为视频特征曲线的提取方式或者利用样例视频序列和目标视频序列的单帧静态图像在不同颜色空间中各通道的平均颜色值作为视频特征曲线的提取方式。

在视频序列中各帧图像在时间轴上有其固定顺序，两段不同的视频序列中有许多帧不同的静态图像具有相同的平均灰度值，但是它们的在时间轴上的分布会不同，把这些按照时间顺序排列的静态图像的灰度值进行排列绘制成曲线进行匹配会减少误检率，且当时间轴足够长时，它们被误为相同的可能性会更低。当视频序列较短时，只用一个特征值变化序列表示的曲线较易发生误检。为了提高视频检索的准确度，降低误检率，可以在RGB颜色空间中提取单帧静态图像各通道的平均颜色值，由这一组值绘制成视频特征曲线，或将单帧视频序列的静态图像分成多个子区域，分别提取每个子区域的平均灰度值或各颜色通道平均值绘制视频特征曲线并进行视频检索。可以通过在YUV空间提取亮度和色差信号的值，由这一组值绘制成视频特征曲线，或将单帧视频序列的静态图像分成多个子区域，分别提取每个子区域的平均灰度值或各颜色通道平均值绘制视频特征曲线并进行视频检索。

视频特征曲线的定义、提取与基于视频特征曲线的视频检索的计算机方法包括用视频采集卡提取视频片断，在计算机处理器中完成对视频特征曲线的提取以及和用户提供的样例视频进行匹配、检索，最后将比对结果进行显示输出。

本发明提供了一种基于视频特征曲线的视频检索的方法，其特征在于：

提出了一种视频特征曲线的概念，应用于视频检索领域，在本方法中通过提取视频序列单帧静态图像平均灰度值和分通道提取视频序列单帧静态图像平均颜色值，按照时间序列进行排序，并在坐标系中绘制出视频特征曲线，利用视频特征曲线完成视频检索功能，视频特征曲线的定义方法为：

(a).用V_f表示一段具有n帧的视频序列f，由F_fi表示视频序列f的第i帧静态图像(i＝1，2…n)，其中：

V_f＝{F_f1，F_f2，F_f3，…，F_fn}                            ①

(b).定义AvgG_fi(i＝1，2…n)为步骤(a)所定义的视频f的第i帧的平均灰度值，定义AvgC_fi(i＝1，2…n)代表视频f第i帧的平均颜色值，则视频f的灰度序列及颜色序列表示的曲线SF_f ^G和SF_f ^C如公式②、③所示；公式③中AvgCCanal1_fi、AvgCCanal2_fi、AvgCCanal3_fi分别代表不同颜色空间中的各个颜色通道的平均值(i＝1，2…n)，在RGB颜色空间当中AvgCCanal1_fi、AvgCCanal2_fi、AvgCCanal3_fi可以分别代表Red颜色通道的颜色平均值，Green颜色通道的颜色平均值，Blue颜色通道的颜色平均值；也可以在YUV空间当中分别代表Y亮度通道，和U、V两个色差通道的数值；AvgCCanal1_fi(i＝1，2，…，n)中下角标fi代表视频序列f的第i帧

${\mathrm{SF}}_f^G=\{{\mathrm{AvgG}}_{f1},{\mathrm{AvgG}}_{f2},\·\·\·,{\mathrm{AvgG}}_{\mathrm{fn}}\}---\left(2\right)$

${\mathrm{SF}}_f^C=\left\{\begin{array}{c}\{{\mathrm{AvgCCanal}1}_{f1},\mathrm{AvgCCanal}{1}_{f2},\·\·\·,{\mathrm{AvgCCanal}1}_{\mathrm{fn}}\}\\ \{{\mathrm{AvgCCanal}2}_{f1},{\mathrm{AvgCCanal}2}_{f2},\·\·\·,{\mathrm{AvgCCanal}2}_{\mathrm{fn}}\}\\ \{{\mathrm{AvgCCanal}3}_{f1},{\mathrm{AvgCCanal}3}_{f2},\·\·\·,{\mathrm{AvgCCanal}3}_{\mathrm{fn}}\}\end{array}\right.----\left(3\right)$

本发明包括下述步骤：

(1)用视频采集设备采集目标视频信号，例如数字摄像机提取目标视频信号或由视频采集卡采集目标视频信号；

(2)将步骤(1)当中提取的目标视频信号通过输入设备，如USB等接口采集到计算机的硬盘当中保存，为视频特征曲线的检索做好准备；

(3)从采集的视频信号当中提取视频特征曲线，利用视频特征曲线概念提取视频序列单帧静态图像各个子区域的平均灰度值或分通道提取视频序列单帧静态图像各个子区域的平均颜色值绘制视频特征曲线的方法为：

i将视频的每帧静态图像分成L×V个矩形子区域，其中L代表水平有L个均匀分割的矩形子区域，V代表垂直方向有V个均匀分割的矩形子区域，整个静态图像被分割成为等大的L×V个矩形子区域，如图7所示；

ii计算步骤i所分割的每一个子区域的平均灰度值或者分通道颜色平均值，单一子区域按照水平方向被记作第j个区域，垂直方向被记作第k个子区域，整个单帧图像中任意一个子区域被记作区域(j，k)，其中1≤j≤L，1≤k≤V；

iii按时间顺序计算并按照时间顺序排列步骤ii中L×V个子区域的平均灰度值或者分通道颜色平均值，得到L×V条灰度视频特征曲线或者分通道颜色视频特征曲线，视频特征曲线在坐标系当中自动绘制完成，其中坐标轴Y轴表示各个子区域的平均灰度值或者分通道颜色平均值，坐标轴X轴表示视频的帧数，用灰度值绘制一个子区域的视频特征曲线，共有L×V个子区域，就需要绘制L×V条灰度视频特征曲线；分通道颜色视频特征曲线的绘制条数由视频单帧图像的子区域数和颜色的通道数共同决定，RGB空间就要绘制L×V×3条视频特征曲线，YUV空间也要绘制L×V×3条视频特征曲线；

(1｀)用视频采集设备采集样例视频信号，例如用数字摄像机提取用户提供的样例视频信号或由视频采集卡采集样例视频信号；

(2｀)通过输入设备，如通过USB等接口将步骤(1｀)中的样例视频信号采集到计算机的硬盘当中保存；

(3｀)将步骤(2｀)当中的样例视频提取视频特征曲线，样例视频特征曲线的提取方法与步骤(3)当中所述的利用视频特征曲线概念提取视频序列单帧静态图像各个子区域的平均灰度值和分通道提取视频序列单帧静态图像各个子区域的颜色平均值绘制视频特征曲线的方法相同；

如图1所示，在整体技术方案的组成框图中步骤(1)、(2)、(3)为目标视频的采集、存储和视频特征曲线提取过程与步骤(1｀)、(2｀)、(3｀)样例视频的采集、存储和视频特征曲线提取过程在执行步骤上是并行关系，目标视频与样例视频可以分别进行采集、存储和视频特征曲线提取，为视频特征曲线的匹配和检索做好准备；

(4)将提取出的视频特征曲线数据存储在硬盘当中；

(5)从步骤(4)存取的视频特征曲线的数据集中检索和样例视频的视频特征曲线相匹配的视频特征曲线，采用例子查询方式，即用户提交或从系统提供的一些典型视频中选择样例视频或者直接选取视频特征曲线，寻找与其类似的视频，具体方法详述如下：

I将用户提供的m帧样例视频序列p与n帧的目标视频序列q进行检索匹配，样例视频的长度m必须小于目标视频的长度n，否则检索无效，按照步骤(3)当中提供的视频序列单帧静态图像分割方法将视频每帧静态图像分割成L×V个子区域，并逐帧计算样例视频p当中L×V个子区域里的平均灰度值AvgG_pi(j，k)和目标视频值q当中L×V个子区域里的平均灰度AvgG_qi(j，k)得到视频特征曲线SF_p ^G和SF_q ^G，其中SF_q ^G如公式④所示；

${\mathrm{SF}}_q^G=\left\{\begin{array}{c}{\mathrm{AvgG}}_{q1}\left(\mathrm{1,1}\right),\mathrm{Avg}{G}_{q2}\left(\mathrm{1,1}\right),\·\·\·,\mathrm{Avg}{G}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgG}}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgG}}_{q2}\left(\mathrm{1,2}\right),\·\·\·,{\mathrm{AvgG}}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgG}}_{q1}(1,V),{\mathrm{AvgG}}_{q2}(1,V),\·\·\·,{\mathrm{AvgG}}_{\mathrm{qn}}(1,V)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgG}}_{q1}(L,V),{\mathrm{AvgG}}_{q2}(L,V),\·\·\·,{\mathrm{AvgG}}_{\mathrm{qn}}(L,V)\end{array}\right\}---\left(4\right)$

在RGB空间或者YUV空间当中分通道提取平均值时，按照步骤(3)当中提供的视频序列单帧静态图像分割方法将视频逐帧分割成L×V个子区域，并逐帧分通道计算样例视频p当中L×V个子区域里的分通道平均颜色值AvgCCanal1_pi(j，k)、AvgCCanal2_pi(j，k)、AvgCCanal3_pi(j，k)和目标视频q当中L×V个子区域里的分通道平均颜色值AvgCCanal1_qi(j，k)、AvgCCanal2_qi(j，k)、AvgCCanal3_qi(j，k)得到视频特征曲线SF_p ^CCanal1、SF_p ^CCanal2、SF_p ^CCanal3和SF_q ^CCanal1、SF_q ^CCanal2、SF_q ^CCanal3，其中SF_q ^CCanal1、SF_q ^CCanal2、SF_q ^CCanal3⑤所示；

${\mathrm{SF}}_q^c\mathrm{Canal}1=\left\{\begin{array}{c}{\mathrm{AvgCCanal}1}_{q1}\left(\mathrm{1,1}\right),{\mathrm{AvgCCanal}1}_{q2}\left(\mathrm{1,2}\right),\·\·\·,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgCCanal}1}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}1}_{q2}\left(\mathrm{1,2}\right),\·\·\·,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}1}_{q1}(1,V),{\mathrm{AvgCCanal}1}_{q2}(1,V),\·\·\·,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}(1,V)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}1}_{q1}(L,V),\mathrm{AvgCCanal}{1}_{q2}(L,V),\·\·\·,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}(L,V)\end{array}\right\}$

${\mathrm{SF}}_q^c\mathrm{Canal}2=\left\{\begin{array}{c}{\mathrm{AvgCCanal}2}_{q1}\left(\mathrm{1,1}\right),{\mathrm{AvgCCanal}2}_{q2}\left(\mathrm{1,1}\right),\·\·\·,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgCCanal}2}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}2}_{q2}\left(\mathrm{1,2}\right),\·\·\·,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}2}_{q1}(L,V),{\mathrm{AvgCCanal}2}_{q2}(1,V),\·\·\·,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}(1,V)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}2}_{q1}(L,V),A{\mathrm{vgCCanal}2}_{q2}(L,V),\·\·\·,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}(L,V)\end{array}\right\}---\left(5\right)$

${\mathrm{SF}}_q^c\mathrm{Canal}3=\left\{\begin{array}{c}\mathrm{AvgCCanal}{3}_{q1}\left(\mathrm{1,1}\right),A{\mathrm{vgCCanal}3}_{q2}\left(\mathrm{1,1}\right),\·\·\·,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ \mathrm{AvgCCanal}{3}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}3}_{q2}\left(\mathrm{1,2}\right),\·\·\·,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}3}_{q1}(1,V),{\mathrm{AvgCCanal}3}_{q2}(1,V),\·\·\·,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}(1,V)\\ \·\·\·\·\·\·\·\·\·\·\\ {\mathrm{AvgCCanal}3}_{q1}(L,V),{\mathrm{AvgCCanal}3}_{q2}(L,V),\·\·\·,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}(L,V)\end{array}\right\}$

II将步骤I计算得出的视频序列单帧静态图像的子区域平均灰度值排列成m帧样例视频p与n帧的目标视频q的平均灰度序列AvgG_pi和AvgG_qi，按照公式⑥计算样例视频p的平均灰度序列前后帧差，记作ΔAvgG_ph(j，k)，h代表前后帧差的序数，其每次增加的步长为1，其中h的范围在1≤h≤m-1；按照公式⑦计算目标视频q的平均灰度序列前后帧差，记作ΔAvgG_qg(j，k)，其中g代表视频序列q的前后帧差的序数，其每次增加的步长为1，g的范围在1≤g≤n-1；

ΔAvgG_ph(j，k)＝|AvgG_ph(j，k)-AvgG_p(h+1)(j，k)|(h＝1…m-1)  ⑥

ΔAvgG_qg(j，k)＝|AvgG_qg(j，k)-AvgG_q(g+1)(j，k)|(g＝1…n-1)  ⑦

III在步骤II计算出视频序列单帧静态图像平均灰度序列的前后帧差后，通过计算机处理器对样例视频和目标视频进行循环比较，算出累计样例视频和目标视频中的匹配帧数，具体方法详述如下：

如果是初次比较则设定用户提供的样例视频p的起始前后帧差序数h＝1，目标视频q的起始前后帧差序数g设置为1，如果是在循环比较的过程，则目标视频q的前后帧差序数g由上次循环传递过来，代表目标视频开始比较的起始帧；将样例视频p的视频特征曲线的第h帧的第(j，k)个子区域的差值ΔAvgG_ph(j，k)与目标视频q的第g+h帧差相对应子区域的ΔAvgG_q(g+h)(j，k)进行比较，其中(1≤j≤L；1≤k≤V；1≤h≤m-1；g在每次循环期间取单值，总体范围在1≤g≤n-1)；得到(j，k)相邻两帧子区域差值的对比值SubThcal_h ^G(j，k)，如公式⑧所示；

SubThcal_h ^G(j，k)＝|ΔAvgG_q(g+h)(j，k)-ΔAvgG_ph(j，k)| ⑧

从上面算式所得出的SubThcal_h ^G(j，k)小于所设定的单帧子区域匹配阈值SubTH，SubTH是一个基于统计结果的经验值，在程序当中有一初始值，在进行比较之后用户可根据检索结果适当调整以适应用户提取样例视频的特征值，即SubThcal_h ^G(j，k)＜SubTH，则认为样例视频p的第h帧的第(j，k)个子区域与目标视频q的第g帧的第(j，k)个子区域匹配，则将视频序列单帧子区域匹配可接受的总帧数numEligible加1，即：numEligible｀＝numEligible+1，否则认为不匹配可接受的总帧数numEligible不变，判断样例视频p的前后帧差序数h是否小于等于样例视频的总帧数m，若h≤m则说明样例视频未完成循环比较过程，将h｀＝h+1，将样例视频p的视频特征曲线的第h｀帧的第(j，k)个子区域的差值ΔAvgG_pf(j，k)与目标视频q的第g+h｀帧差相对应子区域的ΔAvgG_q(g+h｀)(j，k)进行比较，直到样例视频p的前后帧差序数h大于样例视频总帧数m为止，认为循环比较过程结束；判断样例视频p的前后帧差序数h是否小于样例视频的总帧数m，若h＜m则说明样例视频未完成循环比较过程，将h｀＝h+1，将样例视频p的视频特征曲线的第h｀帧的第(j，k)个子区域的差值ΔAvgG_pf(j，k)与目标视频q的第g+h｀帧差相对应子区域的ΔAvgG_q(g+h｀)(j，k)进行比较，直到样例视频p的前后帧差序数h大于等于样例视频总帧数m为止，认为循环比较过程结束；

IV在步骤III进行完一次样例视频和目标视频单帧静态图像子区域平均灰度序列的前后帧差循环比较后按照公式⑨计算异常因子ExceptionFactor，异常因子ExceptionFactor表示检索过程中，不可接受的帧数占总帧数的百分比，判断异常因子ExceptionFactor是否小于异常因子阈值UserThcal，异常因子阈值UserThcal是一个基于统计结果的经验值，在程序当中有一初始值，在进行比较之后用户可根据检索结果适当调整以适应用户提取样例视频的特征值，即ExceptionFactor≤UserThcal，便认为两段视频匹配成功，其中numSum为样例视频的总帧数；

$\mathrm{ExceptionFactor}=(1-\frac{\mathrm{numEligible}}{\mathrm{numSum}})\×100\%---\left(9\right)$

V如果匹配未成功则样例视频将移动到目标视频下一帧并将此帧作为起始帧重新开始比较，重复步骤III的比较过程得到新的异常因子ExceptionFactor的值，若异常因子在用户可接受域的范围之外即：ExceptionFactor≥UserThcal，继续移动样例视频特征曲线重复步骤III的比较过程，直到ExceptionFactor≤UserThcal则匹配成功，若样例视频的尾帧移出了目标视频的尾帧还没有得到可接受的异常因子的值，则认为匹配失败；

(6)在对视频特征曲线进行匹配和检索结束后，返回视频特征曲线检索结果，保存并显示匹配结果。

附图说明

图1是本发明整体技术方案示例的组成框图；

1、数字摄像机提取目标视频信号或由视频采集卡采集电视信号，2、用USB设备把采集的信号输入到PC机中，3、在计算机中提取目标视频的视频特征曲线，1｀、用户提供的样例视频信号，2｀、用USB设备把样例视频信号输入到PC机中，3｀、在计算机中提取样例视频的视频特征曲线，4、将视频特征曲线的数据存储在硬盘当中，5、基于视频特征曲线对样例视频进行检索，6、在显示器上输出检索结果；

图2是本发明系统执行设备组成框图；

图3是本发明主程序流程图；

图4是灰度视频特征曲线计算模块的流程图；

图5是颜色视频特征曲线计算模块的流程图；

图6是视频特征曲线匹配过程的流程图；

图7是说明视频序列单帧静态图像的分割方式；

图8是样例视频以2×2方式分割的单帧静态图像的灰度视频特征曲线；

图9是目标视频1以2×2方式分割的单帧静态图像的灰度视频特征曲线；

图10是目标视频2以2×2方式分割的单帧静态图像的灰度视频特征曲线；

图11是样例视频和目标视频1进行匹配成功后的比较结果和定位；

图12是样例视频和目标视频2的匹配结果；

具体实施方式

下面结合附图描述本发明的优选实施例，在本发明的说明书和附图中，相同或者相应的部件被标以相同的附图标记，以下所述的样例视频和目标视频均采集白中央电视台2套电视广告。

首先通过电视盒从电视机中采集视频信号转换为数字视频信号并通过高速USB接口输入到计算机当中保存起来，这样便完成了视频特征曲线的样例视频和目标视频的采集过程。

具体实施中将图像传输到计算机后，在计算机中完成以下程序：

第一步：读取样例视频：Hair手机广告样例视频以avi格式存储，分辨率为352×288、24位真彩、共233帧；从视频数据集中读取目标视频：调用另一段Hair手机广告视频，该视频以avi格式存储，分辨率为352×288、24位真彩、共358帧，以目标视频1表示，从视频数据集中读取一段奥克斯空调广告视频，以目标视频2表示，该视频以avi格式存储，分辨率为320×240、24位真彩、共330帧。

第二步：为样例视频和目标视频设置相同分割方式，以2×2的格式分割样例视频和目标视频序列的单帧静态图像。

第三步：设定视频特征曲线的类别，设定提取样例视频和目标视频的灰度视频特征曲线。

第四步：执行灰度视频特征曲线计算模块，具体步骤见图4的灰度视频特征曲线计算模块的流程图。分别计算Hair手机广告样例视频序列单帧静态画面各个子区域的平均灰度值，调用灰度视频特征曲线计算模块计算样例视频的灰度值第0帧对应左上、右上、左下、右下四个子区域的平均灰度值分别为：188、110、152、48，第1帧对应的四个子区域的平均灰度值分别为：128、128、88、88。第2帧到尾帧第232帧同理。执行灰度视频特征曲线计算模块，计算目标视频1和目标视频2的单帧静态图像子区域的平均灰度值，并保存计算结果。

第五步：通过计算出的各个子区域的平均灰度值描绘并显示视频特征曲线如图8所示；对应四个子区域分别绘制四条灰度视频特征曲线，用不同颜色进行区分，并将结果保存在计算机的硬盘当中。目标视频1的视频特征曲线如图9所示；目标视频2的视频特征曲线如图10所示。

第六步：对样例视频和目标视频的视频特征曲线进行匹配，执行视频特征曲线匹配模块，具体步骤见图6的视频特征曲线匹配流程图：

(1)将目标视频的起始帧数设置为0；

(2)计算样例视频和目标视频各自对应的视频特征曲线的前后帧差；

(3)将目标视频的当前帧数加1，判断当前目标视频是否到达尾帧，若达到尾帧则结束匹配步骤，没有到达尾帧时继续匹配；

(4)将样例视频起始帧数设置为0；

(5)将样例视频的帧数加1，比较样例视频和目标视频各自对应的视频特征曲线的前后帧差，得到比较差值，判断比较差值是否小于单帧子区域匹配阈值SubTH，若小于则将可接受帧数加1，表明样例视频和目标视频在此帧匹配；若大于单帧子区域匹配阈值SubTH，将样例视频当前帧数加1进行下一帧匹配过程；

(6)判断样例视频帧数是否达到尾帧，若没有达到尾帧则将样例视频的当前帧数加1继续进行比较，直到到达样例视频的尾帧为止；若已经比较到样例视频的尾帧，则计算异常因子ExceptionFactor，判断异常因子是否小于异常因子阈值UserThcal，若小于则认为匹配成功；否则认为匹配失败，重新将样例视频的起始帧数设置为1，目标视频的起始帧数加1，重新开始比较，直到比较到目标视频的尾帧为止。

第七步：将匹配结果显示并保存。计算样例视频与目标视频1单帧静态图像平均灰度视频特征曲线之间的距离得出结论：两段视频特征曲线匹配成功，并定位出样例视频在目标视频1的准确位置，第114帧，结果如图11所示；计算样例视频与目标视频2的单帧静态图像平均灰度视频特征曲线之间的距离得出结论：两段视频特征曲线匹配失败，结果如图12所示。

对于多个目标视频，本发明采用逐一比较的方式完成，同样可以完成视频特征曲线的提取、检索、匹配过程，该实施例证明视频特征曲线可应用在视频定位领域。

相应于本发明的方法，本发明还提供了一种处理执行设备。本发明的处理执行设备可以实现在计算机或者其它形式的计算机设备中。

如图2所示，处理执行设备主要包括：视频采集设备：圆刚AVer-TV USB电视盒从电视机中采集视频信号转换为数字信号作为视频特征曲线的样例视频和目标视频；输入设备：USB 2.0，高速USB接口将视频信号输入到计算机当中；视频特征曲线提取设备：应用Visual C++编制的视频特征曲线提取和检索系统；视频特征曲线的显示设备：应用Visual C++编制的视频特征曲线提取和检索系统将匹配结果显示输出在CRT显示器上；存储设备：USB 2.0接口120GB移动硬盘。

由上述说明可知，本发明至少具有下述优点：

1.视频特征曲线应用范围广泛，可应用于视频检索、定位等领域，且对视频无特殊要求，适用于多种类型的视频。

2.视频特征曲线的提取方法简单，只涉及求取视频中每帧静态图像的不同子区域的平均灰度或颜色空间中各颜色通道平均值。

3.视频特征曲线本身数据量小，视频特征曲线特征文件为二进制数据文件通常仅占几十KB，而视频文件通常占几百MB，因此视频特征文件在保留视频特征的同时使信息量急剧减少。

4.对于样例视频为目标视频中一部分的情况，利用视频特征曲线能够在样例视频中精确定位目标视频所在的位置。

以上以举例的方式对本发明的若干具体实施方式进行了说明，但上述说明不能解释为限制本发明的保护范围。相反，在阅读以上说明后，对本领域的技术人员显而易见的一切变形或者等同方案都在本发明的保护范围内。

Claims (1)

1、一种基于视频特征曲线的视频检索的方法，其特征在于：

提出了一种视频特征曲线的概念，应用于视频检索领域，在本方法中通过提取视频序列单帧静态图像平均灰度值和分通道提取视频序列单帧静态图像平均颜色值，按照时间序列进行排序，并在坐标系中绘制出视频特征曲线，利用视频特征曲线完成视频检索功能，视频特征曲线的定义方法为：

(a).用V_f表示一段具有n帧的视频序列f，由F_fi表示视频序列f的第i帧静态图像(i＝1，2...n)，其中：

V_f＝{F_f1，F_f2，F_f3，...，F_fn}                        ①

(b).定义AvgG_fi(i＝1，2...n)为步骤(a)所定义的视频f的第i帧的平均灰度值，定义AvgC_fi(i＝1，2...n)代表视频f第i帧的平均颜色值，则视频f的灰度序列及颜色序列表示的曲线SF_f ^G和SF_f ^C如公式②、③所示；公式③中AvgCCanal1_fi、AvgCCanal2_fi、AvgCCanal3_fi分别代表不同颜色空间中的各个颜色通道的平均值(i＝1，2...n)，在RGB颜色空间当中AvgCCanal1_fi、AvgCCanal2_fi、AvgCCanal3_fi可以分别代表Red颜色通道的颜色平均值，Green颜色通道的颜色平均值，Blue颜色通道的颜色平均值；也可以在YUV空间当中分别代表Y亮度通道，和U、V两个色差通道的数值；AvgCCanal1_fi(i＝1，2，...，n)中下角标fi代表视频序列f的第i帧

${\mathrm{SF}}_f^G=\{{\mathrm{AvgG}}_{f1},{\mathrm{AvgG}}_{f2},...,{\mathrm{AvgG}}_{\mathrm{fn}}\}$ ②

${\mathrm{SF}}_f^C=\left\{\begin{array}{c}\{{\mathrm{AvgCCanal}1}_{f1},{\mathrm{AvgCCanal}1}_{f2},...,\mathrm{AvgCCanal}{1}_{\mathrm{fn}}\}\\ \{{\mathrm{AvgCCanal}2}_{f1},A{\mathrm{vgCCanal}2}_{f2},...,{\mathrm{AvgCCanal}2}_{\mathrm{fn}}\}\\ \{{\mathrm{AvgCCanal}3}_{f1},\mathrm{AvgC}{\mathrm{Canal}3}_{f2},...,\mathrm{AvgCCana}{l3}_{\mathrm{fn}}\}\end{array}\right.$ ③

本发明包括下述步骤：

(1)用视频采集设备采集目标视频信号，例如数字摄像机提取目标视频信号或由视频采集卡采集目标视频信号；

(2)将步骤(1)当中提取的目标视频信号通过输入设备，如USB等接口采集到计算机的硬盘当中保存，为视频特征曲线的检索做好准备；

(3)从采集的视频信号当中提取视频特征曲线，利用视频特征曲线概念提取视频序列单帧静态图像各个子区域的平均灰度值或分通道提取视频序列单帧静态图像各个子区域的平均颜色值绘制视频特征曲线的方法为：

i将视频的每帧静态图像分成L×V个矩形子区域，其中L代表水平有L个均匀分割的矩形子区域，V代表垂直方向有V个均匀分割的矩形子区域，整个静态图像被分割成为等大的L×V个矩形子区域；

ii计算步骤i所分割的每一个子区域的平均灰度值或者分通道颜色平均值，单一子区域按照水平方向被记作第j个区域，垂直方向被记作第k个子区域，整个单帧图像中任意一个子区域被记作区域(j，k)，其中1≤j≤L，1≤k≤V；

iii按时间顺序计算并按照时间顺序排列步骤ii中L×V个子区域的平均灰度值或者分通道颜色平均值，得到L×V条灰度视频特征曲线或者分通道颜色视频特征曲线，视频特征曲线在坐标系当中自动绘制完成，其中坐标轴Y轴表示各个子区域的平均灰度值或者分通道颜色平均值，坐标轴X轴表示视频的帧数，用灰度值绘制一个子区域的视频特征曲线，共有L×V个子区域，就需要绘制L×V条灰度视频特征曲线；分通道颜色视频特征曲线的绘制条数由视频单帧图像的子区域数和颜色的通道数共同决定，RGB空间就要绘制L×V×3条视频特征曲线，YUV空间也要绘制L×V×3条视频特征曲线；

(1`)用视频采集设备采集样例视频信号，例如用数字摄像机提取用户提供的样例视频信号或由视频采集卡采集样例视频信号；

(2`)通过输入设备，如通过USB等接口将步骤(1`)中的样例视频信号采集到计算机的硬盘当中保存；

(3`)将步骤(2`)当中的样例视频提取视频特征曲线，样例视频特征曲线的提取方法与步骤(3)当中所述的利用视频特征曲线概念提取视频序列单帧静态图像各个子区域的平均灰度值和分通道提取视频序列单帧静态图像各个子区域的颜色平均值绘制视频特征曲线的方法相同；

在整体技术方案的组成框图中步骤(1)、(2)、(3)为目标视频的采集、存储和视频特征曲线提取过程与步骤(1`)、(2`)、(3`)样例视频的采集、存储和视频特征曲线提取过程在执行步骤上是并行关系，目标视频与样例视频可以分别进行采集、存储和视频特征曲线提取，为视频特征曲线的匹配和检索做好准备；

(4)将提取出的视频特征曲线数据存储在硬盘当中；

(5)从步骤(4)存取的视频特征曲线的数据集中检索和样例视频的视频特征曲线相匹配的视频特征曲线，采用例子查询方式，即用户提交或从系统提供的一些典型视频中选择样例视频或者直接选取视频特征曲线，寻找与其类似的视频，具体方法详述如下：

I将用户提供的m帧样例视频序列p与n帧的目标视频序列q进行检索匹配，样例视频的长度m必须小于目标视频的长度n，否则检索无效，按照步骤(3)当中提供的视频序列单帧静态图像分割方法将视频每帧静态图像分割成L×V个子区域，并逐帧计算样例视频p当中L×V个子区域里的平均灰度值AvgG_pi(j，k)和目标视频值q当中L×V个子区域里的平均灰度AvgG_qi(j，k)得到视频特征曲线SF_p ^G和SF_q ^G，其中SF_q ^G如公式④所示；

${\mathrm{SF}}_q^G=\left\{\begin{array}{c}{\mathrm{AvgG}}_{q1}\left(\mathrm{1,1}\right)\mathrm{Avg}{G}_{q2}\left(\mathrm{1,1}\right),...,{\mathrm{AvgG}}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgG}}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgG}}_{q2}\left(\mathrm{1,2}\right),...,{\mathrm{AvgG}}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ ............\\ {\mathrm{AvgG}}_{q1}(1,V),{\mathrm{AvgG}}_{q2}(1,V),...,{\mathrm{AvgG}}_{\mathrm{qn}}(1,V)\\ .............\\ {\mathrm{AvgG}}_{q1}(L,V),{\mathrm{AvgG}}_{q2}(L,V),...,{\mathrm{AvgG}}_{\mathrm{qn}}(L,V)\end{array}\right\}$ ④

在RGB空间或者YUV空间当中分通道提取平均值时，按照步骤(3)当中提供的视频序列单帧静态图像分割方法将视频逐帧分割成L×V个子区域，并逐帧分通道计算样例视频p当中L×V个子区域里的分通道平均颜色值AvgCCanal1_pi(j，k)、AvgCCanal2_pi(j，k)、AvgCCanal3_pi(j，k)和目标视频q当中L×V个子区域里的分通道平均颜色值AvgCCanal1_qi(j，k)、AvgCCanal2_qi(j，k)、AvgCCanal3_qi(j，k)得到视频特征曲线SF_p ^CCanal1、SF_p ^CCanal2、SF_p ^CCanal3和SF_q ^CCanal1、SF_q ^CCanal2、SF_q ^CCanal3，其中SF_q ^CCanal1、SF_q ^CCanal2、SF_q ^CCanal3如公式

⑤所示；

${\mathrm{SF}}_q^c\mathrm{Canal}1=\left\{\begin{array}{c}{\mathrm{AvgCCanal}1}_{q1}\left(\mathrm{1,1}\right),{\mathrm{AvgCCanal}1}_{q2}\left(\mathrm{1,1}\right),...,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgCCanal}1}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}1}_{q2}\left(\mathrm{1,2}\right),...,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ ...........\\ {\mathrm{AvgCCanal}1}_{q1}(1,V),{\mathrm{AvgCCanal}1}_{q2}(1,V),...,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}(1,V)\\ ...........\\ \mathrm{AvgC}{\mathrm{Canal}1}_{q1}(L,V),{\mathrm{AvgCCanal}1}_{q2}(L,V),...,{\mathrm{AvgCCanal}1}_{\mathrm{qn}}(L,V)\end{array}\right\}$

${\mathrm{SF}}_q^c\mathrm{Canal}2=\left\{\begin{array}{c}{\mathrm{AvgCCanal}2}_{q1}\left(\mathrm{1,1}\right),{\mathrm{AvgCCanal}2}_{q2}\left(\mathrm{1,1}\right),...,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgCCanal}2}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}2}_{q2}\left(\mathrm{1,2}\right),...,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ ...........\\ {\mathrm{AvgCCanal}2}_{q1}(1,V),{\mathrm{AvgCCanal}2}_{q2}(1,V),...,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}(1,V)\\ ...........\\ \mathrm{AvgC}{\mathrm{Canal}2}_{q1}(L,V),{\mathrm{AvgCCanal}2}_{q2}(L,V),...,{\mathrm{AvgCCanal}2}_{\mathrm{qn}}(L,V)\end{array}\right\}$

${\mathrm{SF}}_q^c\mathrm{Canal}3=\left\{\begin{array}{c}{\mathrm{AvgCCanal}3}_{q1}\left(\mathrm{1,1}\right),{\mathrm{AvgCCanal}3}_{q2}\left(\mathrm{1,1}\right),...,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}\left(\mathrm{1,1}\right)\\ {\mathrm{AvgCCanal}3}_{q1}\left(\mathrm{1,2}\right),{\mathrm{AvgCCanal}3}_{q2}\left(\mathrm{1,2}\right),...,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}\left(\mathrm{1,2}\right)\\ ...........\\ {\mathrm{AvgCCanal}3}_{q1}(1,V),{\mathrm{AvgCCanal}3}_{q2}(1,V),...,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}(1,V)\\ ...........\\ \mathrm{AvgC}{\mathrm{Canal}3}_{q1}(L,V),{\mathrm{AvgCCanal}3}_{q2}(L,V),...,{\mathrm{AvgCCanal}3}_{\mathrm{qn}}(L,V)\end{array}\right\}$

II将步骤I计算得出的视频序列单帧静态图像的子区域平均灰度值排列成m帧样例视频p与n帧的目标视频q的平均灰度序列AvgG_pi和AvgG_qi，按照公式⑥计算样例视频p的平均灰度序列前后帧差，记作ΔAvgG_ph(j，k)，h代表前后帧差的序数，其每次增加的步长为1，其中h的范围在1≤h≤m-1；按照公式⑦计算目标视频q的平均灰度序列前后帧差，记作ΔAvgG_qg(j，k)，其中g代表视频序列q的前后帧差的序数，其每次增加的步长为1，g的范围在1≤g≤n-1；

ΔAvgG_ph(j，k)＝|AvgG_ph(j，k)-AvgG_p(h+1)(j，k)|(h＝1...m-1)  ⑥

ΔAvgG_qg(j，k)＝|AvgG_qg(j，k)-AvgG_q(g+1)(j，k)|(g＝1...n-1)  ⑦

III在步骤II计算出视频序列单帧静态图像平均灰度序列的前后帧差后，通过计算机处理器对样例视频和目标视频进行循环比较，算出累计样例视频和目标视频中的匹配帧数，具体方法详述如下：

如果是初次比较则设定用户提供的样例视频p的起始前后帧差序数h＝1，目标视频q的起始前后帧差序数g设置为1，如果是在循环比较的过程，则目标视频q的前后帧差序数g由上次循环传递过来，代表目标视频开始比较的起始帧；将样例视频p的视频特征曲线的第h帧的第(j，k)个子区域的差值ΔAvgG_ph(j，k)与目标视频q的第g+h帧差相对应子区域的ΔAvgG_q(g+h)(j，k)进行比较，其中(1≤j≤L；1≤k≤V；1≤h≤m-1；g在每次循环期间取单值，总体范围在1≤g≤n-1)；得到(j，k)相邻两帧子区域差值的对比值SubThcal_h ^G(j，k)，如公式⑧所示；

${{\mathrm{SubThcal}}_h}^G(j,k)=|\mathrm{\ΔAvg}{G}_{q(g+h)}(j,k)-\mathrm{\ΔAvg}{G}_{\mathrm{ph}}(j,k)|$ ⑧

从上面算式所得出的SubThcal_h ^G(j，k)小于所设定的单帧子区域匹配阈值SubTH，SubTH是一个基于统计结果的经验值，在程序当中有一初始值，在进行比较之后用户可根据检索结果适当调整以适应用户提取样例视频的特征值，即SubThcal_h ^G(j，k)＜SubTH，则认为样例视频p的第h帧的第(j，k)个子区域与目标视频q的第g帧的第(j，k)个子区域匹配，则将视频序列单帧子区域匹配可接受的总帧数numEligible加1，即：numEligible`＝numEligible+1，否则认为不匹配可接受的总帧数numEligible不变，判断样例视频p的前后帧差序数h是否小于等于样例视频的总帧数m，若h≤m则说明样例视频未完成循环比较过程，将h`＝h+1，将样例视频p的视频特征曲线的第h`帧的第(j，k)个子区域的差值ΔAvgG<sub>pf</sub>(j，k)与目标视频q的第g+h`帧差相对应子区域的ΔAvgG<sub>q(g+h`)</sub>(j，k)进行比较，直到样例视频p的前后帧差序数h大于样例视频总帧数m为止，认为循环比较过程结束；判断样例视频p的前后帧差序数h是否小于样例视频的总帧数m，若h＜m则说明样例视频未完成循环比较过程，将h`＝h+1，将样例视频p的视频特征曲线的第h`帧的第(j，k)个子区域的差值ΔAvgG<sub>pf</sub>(j，k)与目标视频q的第g+h`帧差相对应子区域的ΔAvgG_q(g+h`)(j，k)进行比较，直到样例视频p的前后帧差序数h大于等于样例视频总帧数m为止，认为循环比较过程结束；

IV在步骤III进行完一次样例视频和目标视频单帧静态图像子区域平均灰度序列的前后帧差循环比较后按照公式⑨计算异常因子ExceptionFactor，异常因子ExceptionFactor表示检索过程中，不可接受的帧数占总帧数的百分比，判断异常因子ExceptionFactor是否小于异常因子阈值UserThcal，异常因子阈值UserThcal是一个基于统计结果的经验值，在程序当中有一初始值，在进行比较之后用户可根据检索结果适当调整以适应用户提取样例视频的特征值，即ExceptionFactor≤UserThcal，便认为两段视频匹配成功，其中numSum为样例视频的总帧数；

$\mathrm{ExceptionFactor}=(1-\frac{\mathrm{numEligible}}{\mathrm{numSum}})\&times;100\%$ ⑨

V如果匹配未成功则样例视频将移动到目标视频下一帧并将此帧作为起始帧重新开始比较，重复步骤III的比较过程得到新的异常因子ExceptionFactor的值，若异常因子在用户可接受域的范围之外即：ExceptionFactor≥UserThcal，继续移动样例视频特征曲线重复步骤III的比较过程，直到ExceptionFactor≤UserThcal则匹配成功，若样例视频的尾帧移出了目标视频的尾帧还没有得到可接受的异常因子的值，则认为匹配失败；

(6)在对视频特征曲线进行匹配和检索结束后，返回视频特征曲线检索结果，保存并显示匹配结果。

Images