CN106445985A - 基于手绘运动轮廓的视频检索方法及系统 - Google Patents

Abstract

本发明公开了一种基于手绘运动轮廓的视频检索方法及系统，所述方法步骤：在构建视频索引数据库阶段，首先对视频片段的光流场进行运动分解得到具有典型运动结构的子运动矢量场；利用运动结构编码算法对每个子运动矢量场提取运动描述子；将每个子运动矢量场的描述子及相关ID信息存入索引数据库；在视频检索阶段，首先对用户的手绘运动轮廓进行矢量化，得到运动矢量场；然后利用运动结构编码算法对该矢量场提取运动特征；最后对索引数据库进行排序，得到检索结果。本发明可以有效地对视频进行运动层面的索引标注以及基于手绘运动轮廓的检索，具有很好的跨场景适应性，在大规模监控视频的索引和浏览方面具有重要的应用价值。

Description

基于手绘运动轮廓的视频检索方法及系统

技术领域

本发明涉及的是计算机视觉领域，具体地，涉及的是一种基于手绘运动轮廓的视频检索方法及系统。

背景技术

在计算机视觉领域，如何基于用户手绘轮廓有效地进行视频检索是一个非常重要的问题，尤其是在大数据时代。随着越来越多的数字高清摄像头被安置在城市的各个角落，每天产生大量的视频数据。如何从海量数据里快速查找出用户想要的视频是非常值得研究的，而且也具有实用价值。在监控视频中，有五种典型的运动模式：lane(直行)、clockwiseArch(顺时针旋转)、counter-clockwise Arch(逆时针旋转)、fountainhead(散开)和bottleneck(聚集)。这些运动模式常见于交通路口、商场出入口、火车站等重要活动场所。手绘运动轮廓可以直接表达出用户的需求，且易于用户操作。所以，基于用户手绘的运动轮廓去检索具有类似运动模式的视频是海量视频管理中的重要需求。

目前基于手绘轮廓或者轨迹进行视频检索的技术主要集中在如何对单个运动目标的运动轨迹进行建模、距离匹配等。比如利用曲线拟合的方法对目标轨迹进行表示；基于曲线拟合和字符串的混合建模方案；对轨迹进行重新采样、尺度伸缩、平移等处理；基于累积策略的关键点表示方法；基于PCA系数进行轨迹表示；利用零空间进行轨迹建模；基于非线性核空间的表征方法；还有基于时间敏感的狄里克莱过程混合模型等等。这些轨迹表示方法只对单一的轨迹进行建模，却没有涉及多条轨迹组成的运动轮廓。手绘运动轮廓具有典型的空间结构信息，所以对单一轨迹进行建模方法并不能直接用于表征手绘运动轮廓。而且，现有的视频检索技术，并未涉及如何基于手绘运动轮廓检索具有上述五种典型运动模式的视频。

如：公开号为CN104778242A(申请号：201510164390.0)的中国发明专利申请，该专利公开一种基于图像动态分割的手绘草图图像检索方法及系统，具体步骤为：数据库图像预处理；图像兴趣点局部特征提取；图像动态分割处理；图像兴趣点全局特征提取；图像兴趣点特征构造；手绘草图特征提取；图像-手绘草图相似性计算，相似性最高的K幅图像将作为最后的检索结果返回给用户。

公开号为CN 103177098A(申请号：201310089346.9)的中国发明专利，公开了一种基于手绘图的三维模型检索的方法，具体包括如下：1.产生多视角轮廓图；2.为每张多视角轮廓图提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征3.获得新特征的形式；4.利用新特征的形式，从2得到的所有多视角轮廓图特征中，提取出相应维度的特征以组成一个新特征；5.同2方法提取手绘图像特征；6.利用离线阶段中3得到的新特征的形式，用与4相同的方法从手绘轮廓图特征中获得手绘图的新特征；7.通过k-d树特征匹配方法，找出与手绘图的新特征最相似的轮廓图的新特征，确定出生成该轮廓图的三维模型。

但是上述专利并没有提及如何有效地表征手绘运动轮廓，亦没有给出如何从海量视频中检索出用户想要的运动模式。

发明内容

鉴于现有的基于手绘运动轮廓的视频检索方法存在上述不足，本发明提出了一种基于手绘运动轮廓的视频检索方法及系统。

为实现以上目的，本发明采用以下技术方案：本发明利用运动结构编码进行索引数据库构建以及提取手绘运动轮廓特征，然后采用排序进行视频检索。本发明可以有效地对视频进行运动层面的索引标注以及基于手绘运动轮廓的检索，具有很好的跨场景适应性。

根据本发明的第一方面，提供一种基于手绘运动轮廓的视频检索方法，分为两个部分，即构建视频索引数据库(S1-S3)和在线视频检索(S4-S6)：

S1：对任意给定的视频序列，计算其光流场并进行运动矢量场分解，得到子运动矢量场；

S2：对每个子运动矢量场进行运动结构编码，得到运动描述子；

S3：将每个子运动矢量场的运动描述子及其ID信息存入索引数据库；

S4：对用户输入的手绘运动轮廓进行矢量化，得到手绘运动轮廓的运动矢量场；

S5：对手绘运动轮廓的运动矢量场进行运动结构编码，得到手绘运动轮廓的运动描述子；

S6：将手绘运动轮廓的运动描述子与索引数据库中运动描述子进行排序，从而得到该手绘运动轮廓的检索结果。

优选地，所述步骤S1，具体为：采用LK光流法，在相邻两帧计算光流；利用mean-shift算法对光流场在时域上进行聚类，得到运动矢量场；利用粒子漂流算法对该运动矢量场进行分解，得到子运动矢量场。

优选地，所述步骤S2，具体为：对每个子运动矢量场进行幅值归一化，然后计算其旋度图和散度图；在子运动矢量场上进行运动轨迹采样，得到切向轨迹和径向轨迹；最后对旋度图在切向轨迹上进行路径积分，得到旋度特征向量；对散度图在径向轨迹上进行路径积分，得到散度特征向量；将所述的旋度特征向量和散度特征向量进行特征抽取，构成运动描述子。

优选地，所述步骤S3，具体为：对每一个子运动矢量场分配一个ID，将此ID信息以及运动矢量场、运动描述子一并存入索引数据库。

优选地，所述步骤S4，具体为：对手绘运动轮廓进行线性内插，得到稠密的运动轨迹；对每一条轨迹均匀提取关键点，相邻关键点的位置差构成运动矢量；对运动轨迹之间的点进行运动矢量线性内插，得到密集的运动矢量场。

优选地，步骤S5中运动描述子的获取方法同步骤S2。

优选地，所述步骤S6，具体为：将手绘运动轮廓的运动描述子和索引数据库中的运动描述子的差的绝对值作为特征向量，输入到已经训练好的排序器中进行排序，从而得到该手绘运动轮廓的视频检索结果。

更优选地，所述排序器为Ranking SVM排序器。

根据本发明的第二方面，提供一种基于手绘运动轮廓的视频检索系统，包括：

运动矢量场分解模块：对任意给定的视频序列，计算其光流场并进行运动矢量场分解，得到子运动矢量场，并输出给运动结构编码模块；

手绘运动轮廓矢量化模块：对用户输入的手绘运动轮廓进行矢量化，得到手绘运动轮廓的运动矢量场，并输出给运动结构编码模块；

运动结构编码模块：对运动矢量场分解模块得到的每个子运动矢量场进行编码，得到运动描述子；对手绘运动轮廓矢量化模块得到的手绘运动轮廓的运动矢量场进行运动结构编码，得到手绘运动轮廓的运动描述子；

索引数据库模块：将运动结构编码模块得到的每个子运动矢量场及其运动描述子和ID信息存入索引数据库；

排序模块：将手绘运动轮廓的描述子和索引数据库中的运动描述子输入到排序器，得到该手绘运动轮廓的检索结果。

与现有技术相比，本发明具有以下有益效果：

本发明提出的基于手绘运动轮廓的视频检索技术，由于使用运动结构编码，可以同时有效地对手绘运动轮廓和视频中的运动矢量场进行运动特征提取和表示，使得用户可以基于手绘运动轮廓检索出具有特定运动模式的视频。在实际应用场景中具有很好的鲁棒性和适应性，在大规模监控视频的索引和浏览方面具有重要的应用价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一较优实施例的总体流程图；

图2为本发明一较优实施例的一个手绘运动轮廓及其运动特征提取示意图；其中：(a)为手绘运动轮廓矢量化示意图，(b)为运动结构编码算法示意图；

图3为本发明一较优实施例的手绘运动轮廓样例及其排名前五的检索结果。

图4为本发明一较优实施例的在公开的视频数据库上的检索结果，其中：(a)、(b)、(c)分别表示使用CDT^P、CD Ratio、Eigenvalue Ratio三种运动特征在不同实验设置下的Precision-Recall曲线，图中纵轴Precision表示准确率，横轴Recall表示召回率；(a)UCF→CUHK，表示在UCF数据集上训练，在CUHK数据集上测试；(b)CUHK→UCF，表示在CUHK数据集上训练，在UCF数据集上测试；(c)UCF+CUHK,表示在UCF和CUHK混合数据集上随机取一半用于训练，剩下一半用于测试。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例1

如图1所示，为了验证本发明基于手绘运动轮廓的视频检索方法的有效性，本实施例中收集了150个手绘运动轮廓作为查询(sketch query)，并利用国际上公开的群体监控视频数据集，即UCF群体数据集和CUHK群体数据集作为候选集(gallery videos)。UCF数据集包括61个来自互联网的群体视频片段以及PETS2009的群体图像序列，其中总共包含的群体行为模式有66个lane(直行)、8个cArch(顺时针旋转)、20个ccArch(逆时针旋转)、29个fountainhead(散开)和20个bottleneck(聚集)。CUHK数据集由95个视频片段组成，其中总共包含的群体行为模式有91个lane、20个cArch，18个ccArch、9个fountainhead以及20个bottleneck。

参见图1所示流程图，所述方法具体实施步骤为：

在构建视频索引数据库阶段：

S1：对任意给定的群体监控视频，进行运动矢量场分解；具体步骤如下：

采用LK光流法，在相邻两帧计算光流；利用mean-shift算法对光流场在时域上进行聚类，得到运动矢量场；利用粒子漂流算法对该运动矢量场进行分解，得到子运动矢量场。

S2：对每个子运动矢量场进行运动结构编码，得到运动描述子CDT^P；具体步骤如下：

图2中(b)所示即为运动结构编码算法流程图。对每个子运动矢量场，计算其旋度图和散度图，如图2中(b)所示，旋转和发散的程度由颜色深浅表示，颜色越深代表旋转或发散的程度越大；反之，颜色越浅，则旋转或发散的程度越小；在子运动矢量场上进行运动轨迹采样，得到切向轨迹t₁...t_m和径向轨迹最后对旋度图在切向轨迹上进行路径积分，得到旋度特征向量f_c；对散度图在径向轨迹上进行路径积分，得到散度特征向量f_d。在图2中(b)中，相应的子图横轴表示特征的维数，纵轴表示特征的值；将所述的旋度特征向量和散度特征向量进行K维特征抽取(K一般设置为6)，分别得到和构成运动描述子CDT^P。同样地，图2(b)中相应的子图横轴表示特征的维数，纵轴表示特征的值。

S3：将视频片段的每个子运动矢量场及运动特征信息存入索引数据库；具体步骤如下：

对每一个子运动矢量场分配一个ID，将此ID信息以及运动矢量场区域信息、运动描述子CDT^P一并存入索引数据库。利用倒排索引的方式，在检索时根据运动描述子进行相似度进行排序，返回每个子运动矢量场的ID、以及区域信息用作后续展示相应的视频及运动模式。

在视频检索阶段：

S4：手绘运动轮廓矢量化；具体步骤如下：

对手绘运动轮廓进行线性内插，得到稠密的运动轨迹；对每一条轨迹均匀提取关键点，相邻关键点的位置差构成运动矢量；对运动轨迹之间的点进行运动矢量线性内插，得到密集的运动矢量场。图2(a)即为手绘运动轮廓矢量化示意图。

S5：提取手绘运动轮廓矢量场的运动描述子；具体步骤同(2)。图2中(b)所示即为运动结构编码算法流程图，展示了从运动矢量场提取CDT^P描述子的具体过程。

S6：将手绘运动轮廓的运动描述子和索引数据库中的运动描述子送入RankingSVM排序器，从而检索出包含类似手绘运动轮廓的视频片段；具体步骤如下：

将手绘运动轮廓的运动描述子与索引数据库中运动描述子的差的绝对值作为特征输入到Ranking SVM排序器。将数据集分为训练集和测试集，利用训练集来训练RankingSVM排序器，然后利用测试集来测试基于手绘运动轮廓的视频检索性能。

图3所示即为手绘运动轮廓样例以及相应的排名前五的检索结果。如图4中(a)、(b)、(c)所示，分别表示使用CDT^P、CD Ratio、Eigenvalue Ratio在跨数据集(UCF→CUHK、CUHK→UCF)和混合数据集(UCF+CUHK)上的Precision-Recall曲线，曲线越逼近右上角，表明性能越好。通过比较可以看出，本实施例提出的方法在基于手绘运动轮廓的视频检索中取得了非常好的结果。在跨数据集评估策略下，表现出很好的泛化能力，表明本实施例提出的方法具有很好的鲁棒性，具有实用价值。

实施例2

如图1所示，基于实施例1所述的方法，一种用于实现上述方法的基于手绘运动轮廓的视频检索系统，包括：

运动矢量场分解模块：对任意给定的视频序列，计算其光流场并进行运动矢量场分解，得到子运动矢量场，并输出给运动结构编码模块；

手绘运动轮廓矢量化模块：对用户输入的手绘运动轮廓进行矢量化，得到手绘运动轮廓的运动矢量场，并输出给运动结构编码模块；

运动结构编码模块：对运动矢量场分解模块得到的每个子运动矢量场进行编码，得到运动描述子；对手绘运动轮廓矢量化模块得到的手绘运动轮廓的运动矢量场进行运动结构编码，得到手绘运动轮廓的运动描述子；

索引数据库模块：将运动结构编码模块得到的每个子运动矢量场及其运动描述子和ID信息存入索引数据库；

Ranking SVM排序模块：将手绘运动轮廓的描述子和索引数据库中的运动描述子输入到Ranking SVM排序器，得到该手绘运动轮廓的检索结果。

上述各个模块所采用的技术特征见上述方法各个步骤对应部分，本系统能够很好地实现特定运动模式的视频检索。

以上实施例是本发明的优选实施例，在其他实施例中也可以变化相关条件，比如排序器，可以不采用Ranking SVM排序器，采用其他现有的技术也可以实现，这对本发明的实现没有实质性影响。

本发明提出的基于手绘运动轮廓的视频检索方法，由于使用运动结构编码算法，可以同时有效地对手绘运动轮廓和视频中的运动矢量场进行运动特征提取和表征，使得用户可以基于手绘运动轮廓检索出具有特定运动模式的视频。在实际应用场景中具有很好的鲁棒性和适应性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于手绘运动轮廓的视频检索方法，其特征在于，包括构建视频索引数据库S1-S3和在线视频检索S4-S6：

S1：对任意给定的视频序列，计算其光流场并进行运动矢量场分解，得到子运动矢量场；

S2：对每个子运动矢量场进行运动结构编码，得到运动描述子；

S3：将每个子运动矢量场的运动描述子及其ID信息存入索引数据库；

S4：对用户输入的手绘运动轮廓进行矢量化，得到手绘运动轮廓的运动矢量场；

S5：对手绘运动轮廓的运动矢量场进行运动结构编码，得到手绘运动轮廓的运动描述子；

S6：将手绘运动轮廓的运动描述子与索引数据库中运动描述子进行排序，从而得到该手绘运动轮廓的检索结果。

2.根据权利要求1所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S1，是指：采用LK光流法，在相邻两帧计算光流；利用mean-shift算法对光流场在时域上进行聚类，得到运动矢量场；利用粒子漂流算法对该运动矢量场进行分解，得到子运动矢量场。

3.根据权利要求1所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S2，是指：对每个子运动矢量场进行幅值归一化，然后计算其旋度图和散度图；在子运动矢量场上进行运动轨迹采样，得到切向轨迹和径向轨迹；最后对旋度图在切向轨迹上进行路径积分，得到旋度特征向量；对散度图在径向轨迹上进行路径积分，得到散度特征向量；将所述的旋度特征向量和散度特征向量进行特征抽取，构成运动描述子。

4.根据权利要求1所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S3，是指：对每一个子运动矢量场分配一个ID，将此ID信息以及运动矢量场、运动描述子一并存入索引数据库。

5.根据权利要求1所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S4，是指：对手绘运动轮廓进行线性内插，得到稠密的运动轨迹；对每一条轨迹均匀提取关键点，相邻关键点的位置差构成运动矢量；对运动轨迹之间的点进行运动矢量线性内插，得到密集的运动矢量场。

6.根据权利要求1所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S5，是指：对每个子运动矢量场进行幅值归一化，然后计算其旋度图和散度图；在子运动矢量场上进行运动轨迹采样，得到切向轨迹和径向轨迹；最后对旋度图在切向轨迹上进行路径积分，得到旋度特征向量；对散度图在径向轨迹上进行路径积分，得到散度特征向量；将所述的旋度特征向量和散度特征向量进行特征抽取，构成运动描述子。

7.根据权利要求1-6任一项所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述步骤S6，是指：将手绘运动轮廓的运动描述子和索引数据库中的运动描述子的差的绝对值作为特征向量，输入到已经训练好的排序器中进行排序，从而得到该手绘运动轮廓的视频检索结果。

8.根据权利要求7所述的一种基于手绘运动轮廓的视频检索方法，其特征在于，所述排序器为Ranking SVM排序器。

9.一种用于实现上述权利要求1-8任一项所述方法的基于手绘运动轮廓的视频检索系统，其特征在于，包括：

运动矢量场分解模块：对任意给定的视频序列，计算其光流场并进行运动矢量场分解，得到子运动矢量场，并输出给运动结构编码模块；

手绘运动轮廓矢量化模块：对用户输入的手绘运动轮廓进行矢量化，得到手绘运动轮廓的运动矢量场，并输出给运动结构编码模块；

运动结构编码模块：对运动矢量场分解模块得到的每个子运动矢量场进行编码，得到运动描述子；对手绘运动轮廓矢量化模块得到的手绘运动轮廓的运动矢量场进行运动结构编码，得到手绘运动轮廓的运动描述子；

索引数据库模块：将运动结构编码模块得到的每个子运动矢量场及其运动描述子和ID信息存入索引数据库；

排序模块：将手绘运动轮廓的描述子和索引数据库中的运动描述子输入到排序器，得到该手绘运动轮廓的检索结果。