CN103475935A - 一种视频片段的检索方法及装置 - Google Patents

Abstract

本发明公开了一种视频片段检索的方法及装置，所述方法包括：获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。本发明实现了对大量视频数据的检索，同时提高了检索速度和检索的准确率。

Description

一种视频片段的检索方法及装置

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种视频片段的检索方法及装置。

背景技术

当今信息社会，随着各领域技术迅速发展，信息的种类也不断增加，除了文本、数字之外，图形图像和基于时间的多媒体信息，如：视频、音频等已在信息的传输、存储和处理领域占的比重也越来越多。网络以及数字电视、计算机等相关技术的普及，使得海量数据在更多的地方广泛使用。为了更好地利用这些数据，对多媒体信息检索也越来越重要。

目前对多媒体的查找和检索多数为示例查询，即给出一幅图片或者片段进行查找，传统的方法是人工进行查找。它主要有如下局限性：当多媒体数据量大，人工检索查找费时费力。

发明内容

有鉴于此，本发明实施例提供了一种视频片段的检索方法和装置，来解决以上背景技术部分提到的技术问题。

一方面，本发明实施例提供了一种视频片段的检索方法，所述方法包括：

获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；

对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；

提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；

计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；

将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。

进一步的，所述对所述目标视频片段和所述待检索视频文件进行归一化处理包括：

对所述目标视频片段和所述待检索视频文件解码获取视频文件内容；

按相同的编码方式对所述视频文件内容图像重新编码，使编码后的视频文件具有相同的属性，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式。

进一步的，所述计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量包括：

以关键帧图像的一角为原点顺序获取关键帧图像上的N个像素点；

以所述像素点为中心点，计算每个中心点n邻域内n×n个像素点像素值的平均值；

根据所述像素值的平均值，生成关键帧图像的特征向量。

进一步的，所述将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配包括：

计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差；

判断所述均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功。

进一步的，所述计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件包括：

计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度；

判断所述匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，

其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

相应的，本发明还公开了一种视频片段的检索装置，所述装置包括：

获取视频模块，用于获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；

归一化视频模块，用于对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；

提取关键帧模块，用于提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；

运算模块，用于计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；

匹配模块，用于将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。

进一步的，所述归一化视频模块包括：

解码单元，用于对所述目标视频片段和所述待检索视频文件解码获取视频文件内容；

编码单元，用于按相同的编码方式对所述视频文件内容重新编码，使编码后的视频具有相同的属性，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式。

进一步的，所述运算模块包括：

像素点获取单元，用于以关键帧图像的一角为原点顺序获取关键帧图像上的N个像素点；

平均值计算单元，用于以所述像素点为中心点，计算每个中心点n邻域内n×n个像素点像素值的平均值；

特征向量生成单元，用于根据所述像素值的平均值，生成关键帧图像的特征向量。

进一步的，所述匹配模块包括：

第一计算单元，用于计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差；

第一判断单元，用于判断所述均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功。

进一步的所述匹配模块还包括：

第二计算单元，用于计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度；

第二判断单元，用于判断所述匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，

其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

本发明通过对目标视频片段和待检索视频文件进行归一化处理，然后从归一化目标视频片段和归一化待检索视频文件中提取关键帧图像，并计算、比较每帧图像的特征向量，最后输出相应的视频文件，本发明实现了对大量视频数据的检索，同时提高了检索速度和检索的准确率。

附图说明

图1是本发明中第一实施例的一种视频片段的检索方法的流程图；

图2是本发明中第一实施例的获取关键帧像素点的示意图；

图3是本发明中第一实施例的某个像素点5邻域内5×5个像素点的示意图；

图4是本发明中第二实施例的一种视频片段的检索装置的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在图1中示出了本发明的第一实施例。

图1为根据本发明第一实施例的一种视频片段的检索方法的实现流程，该流程详述如下：

在步骤101中，获取目标视频片段和待检索视频文件。

所述目标视频片段包括至少一帧图像，当所述目标视频片段只包含一帧图像时，即为静止的图片。所述待检索视频文件中的帧图像数可以多于目标视频片段的帧图像数，也可以小于目标视频片段的帧图像数。待检索视频文件可以是本地存储器中的视频文件，也可以是从服务器上下载下来的视频文件。

在步骤102中，对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件。

图像归一化是通过一系列变换，将原始图像和待处理图像转换成相应的唯一标准形式，对所述目标视频片段和所述待检索视频文件进行归一化处理是首先采用解码器对所述目标视频片段和所述待检索视频文件进行解码得到相应的视频文件内容，然后采用相同的编码方式对所述视频文件内容进行重新编码，得到相应的归一化目标视频片段和归一化待检索视频文件。所述归一化目标视频片段和所述归一化待检索视频文件具有相同的属性，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式，其中，所述视频格式为MPEG、AVI、MOV、ASF、WMV、3GP、FLV、F4V、RMVB中的一种，所述视频格式包括但不限于上面提到的视频格式。

在步骤103中，提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像。

在第一实施例中采用帧间差分的方法提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像，所述帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得这两帧图像差异之处的方法，它可以很好地适用于存在多个运动目标和场景变化的情况。当监控场景中出现异常物体运动或场景发生变化时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值图像，对绝对值图像进行二值化处理得到二值化图像，计算二值图像目标变化范围并判断所述范围是否大于阈值来分析视频或图像序列的运动和变化程度，从而确定图像序列中有无物体运动或场景有无变化。

本实施首先选定第一帧图像为关键帧图像，然后在一定的时间段内，通过对关键帧图像和相邻帧图像做差分运算，得到两帧图像亮度差的绝对值图像，对所述绝对值图像进行二值化处理得到二值化图像，计算二值化图像目标变化范围并判断该变化范围是否大于预定阈值，如果否，则继续与下一帧图像做差分运算，如果是，则提取该相邻帧作为关键帧图像，并用新得到的关键帧图像顺序与下一帧图片进行差分运算，依此类推，就可以从归一化目标视频片段和归一化待检索视频文件中提取出一系列关键帧图像，例如，在一段包含了人物和景物的归一化视频图像中，首先选定第一帧图像，如人物，作为关键帧图像，每隔2秒与相邻帧图像做差分运算及相关处理，如果相邻帧图像仍然是与第一帧关键帧图像相同的人物且场景没有变化或变化微小，则忽略该相邻帧图像，间隔2秒后，第一关键帧图像与下一相邻帧图像做差分运算及相关处理，如果下一相邻帧图像是景物，则提取该相邻帧图像，并将其作为关键帧图像与下一帧图像进行比较。

采用这种方法提取关键帧既能够保证最大限度获取了视频画面信息又能够有效减少大量冗余的关键帧，很好地提高了检索效率。

在步骤104中，计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量。

在本实施例中，首先将关键帧图像转换成3通道图像，图像的每个像素点的像素值用R、G、B三个分量来表示。

然后以关键帧图像的一角为原点，在本实施例中以左上角为例，在横轴和竖轴方向按照一定的顺序和方式获取N个像素点，其中N为正整数，N的大小取决于像素点选取的方式和关键帧图像的大小，如图3所示。

以获取到的N个像素点为中心点，寻找这些中心点对应的n邻域，其中n为小于N的奇数，如图3所示，以图2中的点(i，j)为中心点，获取5邻域内的5×5个像素点。

分别用R、G、B三个分量来表示n邻域内的每个像素点的像素值，计算每个中心点n邻域内n×n个像素点的像素值的平均值x，以点(i，j)为例，x的计算公式如下：

$S=\underset{l=j-n/2}{\overset{j+n/2}{\mathrm{\Σ}}}\underset{k=i-n/2}{\overset{i+n/2}{\mathrm{\Σ}}}\frac{(R_{\mathrm{kl}}+G_{\mathrm{kl}}+B_{\mathrm{kl}})}{C_{\mathrm{bitcount}}}$ (k，l取整数)

$x=\frac{S}{n\×n}$

其中S表示以点（i，j）为中心点的n邻域内n×n个像素点的像素值之和。R_kl、G_kl、B_kl是n×n邻域内第k行第l列个像素点像素值的R、G、B分量，C_bitcount是该图像的颜色通道数，在本实施例中C_bitcount为3。x是以像素点（i，j）为中心的n邻域内n×n个像素点的像素值的平均值。

分别计算N个中心点n邻域内像素值的平均值x，然后将这N个x值构成一个特征向量，把该向量作为该关键帧图像的特征向量X，即X=(x₀，x₁，……，x_N-1)，其中x₀是第一个中心像素点n邻域像素点像素值的平均值，x₁是第二个中心像素点n邻域像素点像素值的平均值，依此类推。

用上述方法分别计算归一化目标视频片段和归一化待检索视频片段的关键帧图像的特征向量。

在步骤105中，计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差。

在步骤106中，判断均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功，执行步骤107，如果否，则继续执行步骤105。

在步骤107中，匹配成功的关键帧图像数M加1。

在步骤108中，判断帧图像是否比较完成，如果是，执行步骤109，如果否，转入步骤105。

在步骤109中，计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度。

在步骤110中，判断匹配度是否大于等于匹配阈值，如果是，则执行步骤111，输出待检索视频文件，如果否，则执行步骤112，继续检索下一个视频文件夹。

分别计算步骤104中所述的归一化目标视频片段的每一帧关键帧图像的特征向量与归一化待检索视频文件的每一帧关键帧图像的特征向量的均方根误差，若均方根误差值小于预定阈值，则判定这两帧关键帧图像匹配成功，同时匹配成功的关键帧图像数M加1，继续执行步骤105，直到所有的关键帧图像的均方根误差都比较完成后计算归一化目标视频片段和归一化待检索视频文件的匹配度，并判断匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，如果否，则检索下一个视频文件。其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

本发明中，在计算特征向量时，图像通道不限单通道和三通道，也可以为单通道或双通道或其它通道数，每个像素点的像素值也不限于用RGB分量表示，还可以采用灰度值来表示。

本发明实施例通过对目标视频片段和待检索视频文件进行归一化处理，然后采用帧间差分法提取归一化目标视频片段和归一化待检索视频文件中的关键帧图像，并计算、比较每帧图像的特征向量，最后输出相应的视频文件，本发明实现了对大量视频数据的检索，同时提高了检索速度和检索的准确率。

图4中示出了本发明的第二实施例。

图4为本发明第二实施例的一种视频片段的检索装置的示意图，所述装置包括：获取视频模块401、归一化视频模块402、提取关键帧模块403、运算模块404和匹配模块405。所述获取视频模块401用于获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；所述归一化视频模块402，用于对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；所述提取关键帧模块403，用于提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；所述运算模块404，用于计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；所述匹配模块405，用于将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。

所述归一化视频模块402包括解码单元4021和编码单元4022，所述解码单元4021用于对所述目标视频片段和所述待检索视频文件解码获取视频文件内容；所述编码单元4022用于按相同的编码方式对所述视频文件内容重新编码，使编码后的视频文件具有相同的属性，编码后的视频文件即为归一化目标视频片段和归一化待检索视频文件，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式。所述视频格式为MPEG、AVI、MOV、ASF、WMV、3GP、FLV、F4V、RMVB中的一种，视频格式包括但不限于以上几种。

所述提取关键帧模块403采用差分法提取归一化目标视频片段和归一化待检索视频文件的关键帧图像。

所述运算模块404包括像素点获取单元4041、平均值计算单元4042、特征向量生成单元4043。所述像素点获取单元4041，用于以关键帧图像的一角为原点顺序获取关键帧图像上的N个像素点；所述平均值计算单元4042，用于以所述像素点为中心点，计算每个中心点n邻域内n×n个像素点像素值的平均值；所述特征向量生成单元4043，用于根据所述像素值的平均值，生成关键帧图像的特征向量。

所述匹配模块405包括第一计算单元4051、第一判断单元4052、第二计算单元4053和第二判断单元4054。所述第一计算单元4051，用于计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差；所述第一判断单元4052，用于判断所述均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功；所述第二计算单元4053，用于计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度；所述第二判断单元4054，用于判断所述匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

本发明提供的技术方案，充分考虑了关键帧图像的时间性和空间性，从而提高了视频检索的准确率。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频片段的检索方法，其特征在于，所述方法包括：

获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；

对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；

提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；

计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；

将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。

2.根据权利要求1所述的一种视频片段的检索方法，其特征在于，所述对所述目标视频片段和所述待检索视频文件进行归一化处理包括：

对所述目标视频片段和所述待检索视频文件解码获取视频文件内容；

按相同的编码方式对所述视频文件内容重新编码，使编码后的视频文件具有相同的属性，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式。

3.根据权利要求1所述的一种视频片段的检索方法，其特征在于，所述计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量包括：

以关键帧图像的一角为原点顺序获取关键帧图像上的N个像素点；

以所述像素点为中心点，计算每个中心点n邻域内n×n个像素点像素值的平均值；

根据N个中心点n邻域像素值的平均值，生成关键帧图像的特征向量。

4.根据权利要求1所述的一种视频片段的检索方法，其特征在于，所述将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配包括：

计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差；

判断所述均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功。

5.根据权利要求1所述的一种视频片段的检索方法，其特征在于，所述计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件包括：

计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度；

判断所述匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，

其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

6.一种视频片段的检索装置，其特征在于，所述装置包括：

获取视频模块，用于获取目标视频片段和待检索视频文件，所述目标视频片段包括至少一帧图像；

归一化视频模块，用于对所述目标视频片段和所述待检索视频文件进行归一化处理，得到归一化目标视频片段和归一化待检索视频文件；

提取关键帧模块，用于提取所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像；

运算模块，用于计算所述归一化目标视频片段和所述归一化待检索视频文件的关键帧图像的特征向量；

匹配模块，用于将计算得到的归一化目标视频片段关键帧的特征向量和归一化待检索视频文件关键帧的特征向量一一匹配，并计算匹配度，如果匹配度大于等于匹配阈值，则输出所述待检索视频文件。

7.根据权利要求6所述的一种视频片段的检索装置，其特征在于，所述归一化视频模块包括：

解码单元，用于对所述目标视频片段和所述待检索视频文件解码获取视频文件内容；

编码单元，用于按相同的编码方式对所述视频文件内容图像重新编码，使编码后的视频文件具有相同的属性，所述属性包括画面分辨率、帧速率、音频比特率、采样率和视频格式。

8.根据权利要求6所述的一种视频片段的检索装置，其特征在于，所述运算模块包括：

像素点获取单元，用于以关键帧图像的一角为原点顺序获取关键帧图像上的N个像素点；

平均值计算单元，用于以所述像素点为中心点，计算每个中心点n邻域内n×n个像素点像素值的平均值；

特征向量生成单元，用于根据所述像素值的平均值，生成关键帧图像的特征向量。

9.根据权利要求6所述的一种视频片段的检索装置，其特征在于，所述匹配模块包括：

第一计算单元，用于计算所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像特征向量的均方根误差；

第一判断单元，用于判断所述均方根误差是否小于预定阈值，如果是，则所述归一化目标视频片段和所述归一化待检索视频文件对应关键帧图像匹配成功。

10.根据权利要求9所述的一种视频片段的检索装置，其特征在于，所述匹配模块还包括：

第二计算单元，用于计算所述归一化目标视频片段与所述归一化待检索视频文件的匹配度；

第二判断单元，用于判断所述匹配度是否大于等于匹配阈值，如果是，则输出所述待检索视频文件，

其中，所述匹配度为匹配成功的关键帧图像数占目标视频片段关键帧图像总数的比例。

Images