CN102292727B - 视频描述符生成器 - Google Patents

Abstract

一种视频描述符生成器，其包括：每图片特征量提取装置，其针对每个图片(其为帧或者域)从视频提取一定量的特征，并且输出每图片特征量；图片间特征量差异计算装置，其从每图片特征量计算图片间特征量差异(其为图片之间的特征量的差异)作为差异特征量，并且计算指示表示差异特征量所具有的信息量的差异特征信息量；附加特征量提取装置，其从视频计算将被添加作为附加特征的特征量；以及特征量组合装置，其用于，在差异特征信息量的大小小于预定标准时，配置包括除了差异特征量之外的附加特征量的视频描述符。

Description

视频描述符生成器

技术领域

本发明涉及用于检索视频的视频描述符生成设备、视频描述符生成方法以及视频描述符生成程序，其能够在多个运动图像中检测相似或相同的运动图像段。

背景技术

在专利文献1中公开了视频描述符生成设备的示例。图6是示出了在专利文献1中描述的视频描述符生成设备的框图。

每帧特征提取单元1000计算来自输入视频的帧单元特征，并将其向特征表创建单元1010输出。特征表创建单元1010根据从每帧特征提取单元1000输出的帧单元特征来创建特征表，并且输出特征表作为视频描述符。

接下来，将描述图6中所示的设备的操作。

每帧特征提取单元1000执行从输入视频提取特征(诸如每帧的颜色)的过程，并且向特征表创建单元1010输出所获得的特征作为帧单元特征。

特征表创建单元1010使用阈值来对帧之间特征的变化执行处理，并且在时间方向中压缩特征。具体而言，特征表创建单元1010计算帧的帧单元特征之间的差异，并且确定该差异是否在某个可允许的变化范围内。继而，特征表创建单元1010将视频分为时间段，在时间段中视频在可允许的变化范围内，并且针对每个划分的时间段，输出一组特征和时间段长度(帧数)作为视频描述符。

因此，可以在时间方向中压缩在帧单元中获得的视频的特征，由此可以缩小特征大小。此外，还可以实现高速匹配。

现有技术文献

专利文献

专利文献1：日本未审专利公开No.10-320400

发明内容

本发明将解决的问题

然而，上述系统涉及在具有较少时间变化(运动)的场景中性能较低的问题，这是由于如果帧的特征之间的变化在可允许的范围内，则相应帧之间的特征的差异被忽视并且使用段的代表值。因此，在较少时间变化的场景中，特征均近似成相同特征，从而使得在执行运动图像的检索时此类场景中的性能较低。

[发明目标]

本发明的目标是提供一种视频描述符生成设备，该设备能够解决从较少时间变化(运动)的运动图像生成的视频描述符的辨别能力较低的问题。

用于解决问题的装置

根据本发明的一个方面，视频描述符生成设备包括每图片特征提取单元，其针对每个图片(其为帧或者域)从视频提取特征，并且输出每图片特征；图片间特征差异计算单元，其从每图片特征计算图片间特征差异(其为图片特征之间的差异)作为差异特征，并且计算指示差异特征的信息量的差异特征信息量；附加特征提取单元，其从视频计算将被添加作为附加特征的特征；以及特征组合单元，如果差异特征信息量的容量小于特定标准，则该特征组合单元通过并入除了差异特征之外的附加特征而构成视频描述符。

本发明的效果

当按照上文描述对本发明进行配置时，本发明能够实现改进从具有较少时间变化(运动)的运动图像生成的视频描述符的辨别能力的有利效果。

附图说明

图1是示出了本发明的第一实施方式的配置的框图。

图2是示出了本发明的第二实施方式的配置的框图。

图3是示出了图片间特征差异计算单元110的一个实施方式的配置的框图。

图4是示出了图片间特征差异计算单元110的另一实施方式的配置的框图

图5是示出了每图片特征计算方法的示例的示图。

图6是示出了与本发明有关的视频描述符生成设备的配置的框图。

具体实施方式

接下来，将参照附图详细描述本发明的实施方式。

参照图1，根据本发明的第一实施方式的视频描述符生成设备包括每图片特征提取单元100、图片间特征差异计算单元110、特征添加确定单元120、附加特征提取单元130以及特征组合单元140。

每图片特征提取单元100计算来自输入视频的每个图片的特征，并且向图片间特征差异计算单元110输出每图片特征。图片间特征差异计算单元110根据从每图片特征提取单元100输出的每图片特征生成差异特征，并且向特征组合单元140输出差异特征，以及还向特征添加确定单元120输出描述差异特征的信息量(称为差异特征信息量)的信息(称为差异特征信息量信息)。特征添加确定单元120根据从图片间特征差异计算单元110输出的差异特征信息量信息确定添加特征的必要性，并且如果特征的添加是必要的，则向特征组合单元140输出特征添加确定信息。附加特征提取单元130计算来自视频的附加特征(其为将被添加的特征)，并将其向特征组合单元140输出。特征组合单元140基于从特征添加确定单元120输出的特征添加确定信息将从图片间特征差异计算单元110输出的差异特征以及从附加特征提取单元130输出的附加特征组合，并且输出视频描述符。

接下来，将详细描述图1中示出的第一实施方式的操作。

首先，向每图片特征提取单元100输入视频。如果原始视频是编码的，则首先由解码器对视频解码，然后以由帧或域组成的图片单元来输入数据。

每图片特征提取单元100计算每个图片的特征向量。每图片特征提取单元100将图片视为一个静止图像，并且提取指示以下特征的视觉特征的向量，这些特征诸如该图片的颜色、图案、形状等。向图片间特征差异计算单元110输出经计算的特征向量作为每图片特征。

如果一特征指示以下特征，诸如图片单元中的颜色、图案、形状等，则该特征可以是任何视觉特征。例如，在MPEG-7的第3部分中描述的视觉特征(诸如颜色布局和边缘直方图)可以用于这一目的。

图片间特征差异计算单元110计算指示相应输入图片的特征的特征之间的差异。这意味着图片间特征差异计算单元110计算在时间上相互邻接的图片的特征向量之间的差异，从而获得差异特征向量。继而，图片间特征差异计算单元110计算用于描述差异特征向量所需要的信息量，作为差异特征信息量。以下将描述图片间特征差异计算单元110的操作细节。

向特征组合单元140输出经计算的差异特征。另一方面，向特征添加确定单元120输出描述差异特征信息量的差异特征信息量信息。

特征添加确定单元120基于从图片间特征差异提取单元110输出的差异特征信息量信息来确定是否有必要添加特征，并且输出特征添加确定信息。具体而言，如果由差异特征信息量信息描述的差异特征信息量在特定阈值之内，如同确定图片之间的差异很小从而使得场景的动态性很小，则特征添加确定单元120输出指示添加特征的信号的信息作为特征添加确定信息。然而，如果仅仅用一对连续的图片之间的差异特征信息量进行确定，则即使当由于巧合仅存在一张在其中与之前图片的差异较小的图片时，特征也被确定为待添加。为了避免此类情况，可以接受的是仅当针对特定数目(3个图片或更多图片)的连续图片的差异特征信息量持续小的状态时，才可以输出指示添加特征的信号的信息作为特征添加确定信息。在这种情况下，可以从在其中差异特征信息量变小的第一图片执行对添加特征的信令发送，或者从在其中执行确定的图片执行该信令发送。向特征组合单元140输出指示确定结果的特征添加确定信息。

另一方面，附加特征提取单元130从输入视频提取附加特征。附加特征可以是更详细地提取的与由每图片特征提取单元100提取的特征的类型相同的特征，或者是完全不同的特征。对前者的示例是每图片特征提取单元100在较大的块单元中提取边缘特征，而附加特征提取单元130在较小的块单元中提取边缘特征。对后者的示例是每图片特征提取单元100提取颜色特征而附加特征提取单元130提取边缘特征。备选地，由附加特征提取单元130提取的特征可以不是针对每个图片计算的特征。例如，可以接收的是在图片之间执行运动估计并且可以将图片之间的运动量用作特征，或者针对多个连续的图片计算图片之间的运动量并通过对其应用统计处理来计算特征。向特征组合单元140输出按照这种方式计算的附加特征。

特征组合单元140基于从特征添加确定单元120输出的特征添加确定信息，将从图片间特征差异提取单元110输出的差异特征以及从附加特征提取单元130输出的附加特征进行组合，从而生成视频描述符。特征组合单元140适合于仅当信令发送特征添加确定信息以添加特征时向视频描述符添加附加特征，而在其他情况中，仅向视频描述符添加差异特征。当添加附加特征或者差异特征时，特征组合单元140对任一特征进行编码以生成视频描述符。为了对差异特征进行编码，可以使用以下将在对图片间特征差异计算单元110的描述中描述的各种差异编码系统。即使对于附加特征，如果对特征值的生成有偏差，则可以通过使用诸如霍夫曼编码、算术编码之类的熵编码来减小描述符的大小。

接下来，将参照图3描述图片间特征差异计算单元110的实施方式。

参照图3，图片间特征差异计算单元110的实施方式包括存储器元件300、减法器310以及差异特征信息量计算单元320。

存储器元件300存储针对一个图片对其输入的每图片特征，并且向减法器310输出所存储的每图片特征作为参照图片特征。减法器310从输入的每图片特征中减去从存储器元件300输出的参照图片特征，并且输出差异特征。差异特征信息量计算单元320接收从减法器310输出的差异特征，并且输出差异特征信息量信息。

接下来，将描述在图3中示出的图片间特征差异计算单元110的操作。

存储器元件300存储之前图片的每图片特征，并且为了计算差异，向减法器310输出每图片特征作为参照图片特征。减法器310从输入的每图片特征中减去参照图片特征以获得差异特征。具体而言，差异特征通过以下表达式1来进行计算：

[表达式1]

D(t)＝V(t)-V(t-T)

其中，在时间t的特征向量是V(t)，图片之间的时间间隔是T，并且差异向量是D(t)。

在计算差异向量D(t)之后，用当前时间的每图片特征覆盖存储器元件300中的特征。该特征在计算时间t+T的差异特征时被用作参照图片特征。

经计算的差异特征D(t)还向差异特征信息量计算单元320输入。差异特征信息量计算单元320根据差异特征D(t)的值来估计差异特征的信息量(即，差异特征信息量)，计算用于描述它的信息(即，差异特征信息量信息)，并且输出该信息。应当注意，差异特征信息量信息可以是在假设用差异编码实际应用差异特征向量D(t)的情况中估计的所生成的代码量。备选地，差异特征信息量信息可以不是所生成的代码量本身，而是与代码量的容量具有很大相关性的量，诸如在其中在差异特征向量D(t)及其差量中生成差异的特征向量的元素数目，或者是通过实际应用差异编码而计算的代码量的观察值。在这种情况下，任何方法都可以用于差异编码。例如，可以预先使用学习数据针对特征向量的每个维度计算差值出现的可能性，并且通过使用该可能性，通过霍夫曼编码或算术编码执行差异编码。还可以连同元素(维度)的索引，仅对在其中在特征向量中生成差异的元素的差值进行编码。

接下来，将参照图4描述图片间特征差异计算单元110的另一实施方式。

参照图4，图片间特征差异计算单元110的实施方式包括存储器元件300、减法器310、每图片特征信息量计算单元400、比较器410、差异特征信息量计算单元420和开关430。

存储器元件300与减法器310之间的连接关系与在图3中示出的图片间特征差异计算单元110中的连接关系相同。每图片特征信息量计算单元400接收每图片特征，并且向比较器410输出每图片特征的信息量(称为每图片特征信息量)。差异特征信息量计算单元420接收从减法器310输出的差异特征并且向比较器410输出差异特征信息量，并且还输出差异特征信息量信息。比较器410比较从每图片特征信息计算单元400输出的每图片特征信息量和从差异特征信息量计算单元420输出的差异特征信息量，并且向开关430输出特征选择信号。开关430接收每图片特征和从减法器310输出的差异特征，基于从比较器410输出的特征选择信号选择它们中的任何一个，并且输出所选择的一个作为差异特征。

接下来，将描述图4中示出的图片间特征差异计算单元110的操作。

存储器元件300、减法器310、差异特征信息量计算单元320与图3中示出的那些相同。

每图片特征信息计算单元400从特征V(t)的值估计每图片特征的信息量(即，每图片特征信息量)。每图片特征可以是从特征V(t)估计的所生成的代码量，或者是通过实际执行编码而计算的代码量的观察值。在这种编码中，可适用类似于在上述差异编码的情况中的熵编码。备选地，如果所生成的代码量几乎恒定，则可以使用固定值作为代码量而不是依赖于特征V(t)的值。向比较器410输出所获得的每图片特征信息量。

另一方面，差异特征信息量计算单元420的操作与图3中示出的差异特征信息量计算单元320的操作相同，并且差异特征信息量计算单元420计算差异特征信息量以及用于描述它的差异特征信息量信息。差异特征信息量计算单元420与差异特征信息量计算单元320的不同之处在于差异特征信息量计算单元420还输出差异特征信息量。向比较器410输出所获得的差异特征信息量。

比较器410比较从每图片特征信息计算单元400输出的每图片特征信息量和从差异特征信息量计算单元420输出的差异特征信息量，选择较小的值，并且输出用于控制开关430的信号。因此，如果每图片特征信息量较小，则控制开关430连接每图片特征，而如果差异特征信息量较小，则控制开关430连接从减法器310输出的差异特征信息量。

接下来，将描述第一实施方式的有利效果。

由于第一实施方式适合于如果图片之间的特征差异很小并且因而预期到性能降级，则插入附加特征，因此即使在缺乏时间方向的变化的场景中也可以改进标识能力，并且因此还改进了检索性能。此外，由于特征的添加限于图片之间的特征差异很小的情况，因此可以改进性能而不会将特征的容量增加到超过必要限度。

接下来，将参照附图详细描述本发明的第二实施方式。

参照图2，本发明的第二实施方式的视频描述符生成设备包括每图片特征提取单元100、图片间特征差异计算单元110、特征添加确定单元120、附加特征提取单元230和特征组合单元240。

每图片特征提取单元100、图片间特征差异计算单元110和特征添加确定单元120之间的连接关系与它们在图1中示出的视频描述符生成设备中的连接关系相同。然而，来自特征添加确定单元120的输出还向附加特征提取单元230输入。附加特征提取单元230基于从特征添加确定单元120输出的特征添加确定信息从输入视频提取附加特征，并且向特征组合单元140输出附加特征。特征组合单元240组合从图片间特征差异计算单元110输出的差异特征以及从附加特征提取单元230输出的附加特征，并且输出视频描述符。

接下来，将详细描述本发明的第二实施方式的操作。每图片特征提取单元100、图片间特征差异计算单元110和特征添加确定单元120的操作与它们在图1中示出的视频描述符生成设备中的操作相同。

附加特征提取单元230的操作同样基本上类似于图1中示出的视频描述符生成设备的附加特征提取单元130的操作。然而，附加特征提取单元230根据从特征添加确定单元120输出的特征添加确定信息进行操作的方面是不同的。因此，附加特征提取单元230仅在特征添加确定信息指示添加特征的信号时提取附加特征，而不在其他情况下提取特征。向特征组合单元240输出所提取的附加特征。

特征组合单元240的操作同样基本上类似于图1中示出的视频描述符生成设备的特征组合单元240的操作。然而，特征组合单元240组合从附加特征提取单元230间歇地输出的附加特征和差异特征从而生成视频描述符的方面是不同的。当从特征添加确定单元120输出的特征添加确定信息指示添加特征的信号时执行该组合。

在第二实施方式中，由于对附加特征的计算限于真正需要附加特征的情况，因此可以更有效地生成视频描述符。

接下来，将描述本发明的第三实施方式。

图5示出了从图片提取特征的示例性方法。在该方法中，预先设置图片内的任何两个区域的对，并且获得对的两个区域的特征之间的差异作为特征向量。在这个实施方式中，将相应的区域对指示为P1、P2、P3、…，并且将从第n个对确定的特征指示为Vn。如图5中所示，区域对可以采取区域的形状和位置的各种组合。此外，各种方法可以用于从对Pn计算特征Vn。例如，存在一种方法，其中在对的每个阴影区域和网状区域中计算亮度的平均值，并且从它们的量关系确定特征Vn的值。具体而言，从在阴影区域内获得的平均亮度值中减去在网状区域内获得的平均亮度值以计算差值，并且当差值为正时，Vn＝1，而当差值为负时，Vn＝-1。还可能如果差值的绝对值小于阈值，则Vn为0，从而使得通过3个值指示特征Vn。

图1中的每图片特征提取单元100在N个对上执行上述处理，从而获得N个维度中的特征向量Vn。接下来，图片间特征差异计算单元110计算之前图片和当前图片的特征向量Vn之间的差异，并且输出该差异作为差异特征。同时，图片间特征差异计算单元110在差异特征的维度之间对其中差异不为0的维度的数目进行计数，并且输出该数目作为差异特征信息量信息。如果差异特征信息量信息的值为预先确定的阈值TH或更小，则特征添加确定单元120输出添加特征的信号。另一方面，通过与图5中示出的方法相同的方法计算的特征可以被用作附加特征。例如，附加特征计算单元130使用与在每图片特征提取单元100中所使用的那些不同的M个对按照相同方式计算特征。继而，如果输出了添加特征的信号，则特征量组合单元140组合差异特征和附加特征，从而生成视频描述符。在这种情况下，在附加特征所添加到的帧中，除了原始的N-维特征之外还使用M-维特征。

在这种情况下，虽然各种类型的差异编码都可适用于差异特征，但就与之前图片的维度具有值差的维度而言，可以使用对维度的索引和对中的差值进行编码的方法。如果特征向量Vn初始可以采取如上所述的3个值-1、0和1，则在其中之前图片的值固定的情况下，可以被用作差的值的数目为2(例如，如果之前图片的值为1，则差可以是-1或-2)。因此，用于区分这两个值的信息可以以1比特来指示该差异。可以按照这种方式执行差异编码。

虽然以上示例已经描述了使用相同类型的特征作为附加特征的情况，但是附加特征也可以是不同的特征。例如，可以在图片之间计算运动向量并且其统计量可以被用作特征。

尽管以上已经描述了本发明的实施方式，但是本发明并不限于这些示例。本领域普通技术人员应当理解，可以对其中的形式和细节进行各种改变而不会背离本发明的范围。例如，图片间特征差异计算单元110可以按照特定图片周期向特征组合单元140输出每图片特征，代替差异特征。在图4中示出的图片间特征差异计算单元110的情况中，实现它的具体方法是，确定比较器410是否在过去的特定图片周期内向开关430输出选择每图片特征的信号，并且如果否，则向开关430输出选择每图片特征的信号，而无需考虑比较确定的结果。此外，在图片间特征差异计算单元110的情况中，图片间特征差异计算单元110可以包括接收输入的每图片特征和从减法器310输出的差异特征的开关，以及仅在特定图片周期中输出一次用于选择输入的每图片特征的控制信号并且在其他时间输出用于选择差异特征的控制信号的开关控制单元。

此外，本发明的视频描述符生成设备被适配从而使得其功能可以由计算机和程序以及硬件实现。此类程序以被写在诸如磁盘、半导体存储器之类的计算机可读记录介质上的形式提供，例如当计算机启动时由计算机读取，并且控制该计算机的操作，从而允许计算机充当上述实施方式的视频描述符生成设备。

本申请基于并且要求来自于2009年1月23日提交的日本专利申请No.2009-12809的优先权的权益，在此通过引用并入其公开的全部内容。

工业实用性

本发明可适用于以高准确性从多个视频检索相似或相同的视频。特别地，关于检索视频的相同段，本发明可适用于标识在网络上分发的非法复制的运动图像，以及标识在实际电波上分发的商业广告。

参考标号

100每图片特征提取单元

110图片间特征差异计算单元

120特征添加确定单元

130附加特征提取单元

140特征组合单元

230附加特征提取单元

240特征组合单元

300存储器元件

310减法器

320差异特征信息量计算单元

400每图片特征信息量计算单元

410比较器

420差异特征信息量计算单元

430开关

1000每帧特征提取单元

1010特征表创建单元

Claims (18)

1.一种视频描述符生成设备，包括：

每图片特征提取单元，其针对每个图片从视频提取特征，并且输出每图片特征，其中所述图片为帧或者域；

图片间特征差异计算单元，其从所述视频的所述每图片特征计算图片间特征差异作为差异特征，并且计算指示用于描述所述差异特征所必需的信息量的差异特征信息量，其中所述图片间特征差异为图片的特征之间的差异；

附加特征提取单元，其从所述视频计算将被添加作为附加特征的特征；以及

特征组合单元，在所述差异特征信息量的容量小于特定标准时，所述特征组合单元生成包括所述附加特征和所述差异特征的视频描述符。

2.根据权利要求1所述的视频描述符生成设备，其中：

所述附加特征提取单元仅当所述差异特征信息量的所述容量小于所述特定标准时计算所述附加特征。

3.根据权利要求1所述的视频描述符生成设备，其中：

所述图片间特征差异计算单元比较每图片特征信息量与所述差异特征信息量，并且如果所述差异特征信息量更大，则获得所述每图片特征作为所述差异特征，其中所述每图片特征信息量为所述每图片特征的信息量。

4.根据权利要求3所述的视频描述符生成设备，其中：

通过执行实际编码和测量代码量计算所述每图片特征信息量和所述差异特征信息量。

5.根据权利要求1所述的视频描述符生成设备，其中：

以所述特定标准，在图片单元中确定所述差异特征信息量的所述容量。

6.根据权利要求1所述的视频描述符生成设备，其中：

以所述特定标准，在特定数目的连续图片中确定所述差异特征信息量的所述容量。

7.根据权利要求1所述的视频描述符生成设备，其中：

所述附加特征是与所述每图片特征相同类型的特征，并且更详细地表示所述每图片特征。

8.根据权利要求1所述的视频描述符生成设备，其中：

所述附加特征是与所述每图片特征的类型具有不同类型的特征。

9.根据权利要求1所述的视频描述符生成设备，其中：

所述图片间特征差异计算单元在特定图片周期中计算所述每图片特征作为所述差异特征。

10.一种视频描述符生成方法，包括：

针对每个图片从视频提取特征，并且输出每图片特征，其中所述图片为帧或者域；

从所述视频的所述每图片特征计算图片间特征差异作为差异特征，并且计算指示用于描述所述差异特征所必需的信息量的差异特征信息量，其中所述图片间特征差异为图片的特征之间的差异；

从所述视频计算将被添加作为附加特征的特征；以及

在所述差异特征信息量的容量小于特定标准时，生成包括所述附加特征和所述差异特征的视频描述符。

11.根据权利要求10所述的视频描述符生成方法，其中：

在所述附加特征的所述计算中，仅当所述差异特征信息量的所述容量小于所述特定标准时计算所述附加特征。

12.根据权利要求10所述的视频描述符生成方法，其中：

在所述差异特征信息量的所述计算中，比较每图片特征信息量与所述差异特征信息量，并且如果所述差异特征信息量更大，则获得所述每图片特征作为所述差异特征，其中所述每图片特征信息量为所述每图片特征的信息量。

13.根据权利要求12所述的视频描述符生成方法，其中：

通过执行实际编码和测量代码量计算所述每图片特征信息量和所述差异特征信息量。

14.根据权利要求10所述的视频描述符生成方法，其中：

以所述特定标准，在图片单元中确定所述差异特征信息量的所述容量。

15.根据权利要求10所述的视频描述符生成方法，其中：

以所述特定标准，在特定数目的连续图片中确定所述差异特征信息量的所述容量。

16.根据权利要求10所述的视频描述符生成方法，其中：

所述附加特征是与所述每图片特征相同类型的特征，并且更详细地表示所述每图片特征。

17.根据权利要求10所述的视频描述符生成方法，其中：

所述附加特征是与所述每图片特征的类型具有不同类型的特征。

18.根据权利要求10所述的视频描述符生成方法，其中：

在所述差异特征信息量的所述计算中，在特定图片周期中计算所述每图片特征作为所述差异特征。

Images