CN103916677B - 一种广告视频识别方法和装置 - Google Patents

Abstract

本发明公开了一种广告视频识别方法，包括：提取视频数据中每一帧图像的图像特征；将所述图像特征与哈希映射容器中的连续多天图像特征进行匹配；根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；在所述匹配位置分布图中识别出广告视频的位置。本发明实现了利用视频信息来自动分割电视广告，精确的以帧为单位分割以提取更加鲁棒的特征来获取更加准确的匹配。本发明还公开了用于实现上述方法的装置。

Description

一种广告视频识别方法和装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种广告视频识别方法和装置。

背景技术

随着数字图像技术和模式识别技术的发展，对电视视频数据进行自动化智能化分析已成为可能，但也存在着计算量大和识别准确度不够等问题。

在对电视视频中的广告进行识别和分割时，一种方法是利用音频信息的静音检测和视频信息的镜头检测、切变率检测，以及广告本身时长具有一定规律的方法对电视广告进行自动分割，这种分割的准确度和识别精确度不高；另外一种方法是利用广告在电视节目中循环播放的特点，提取视频的关键帧，利用关键帧进行图像匹配获取重复片段信息并进行分割。这种方法相对于前一种方法识别精确度有所提高，但分割的准确度仍然很低。

发明内容

本发明实施例提供一种广告视频识别方法和装置，能够精确的以帧为单位分割出电视节目中的广告视频。

为达上述目的，本发明实施例采用以下技术方案：

一种广告视频识别方法，包括：

提取视频数据中每一帧图像的图像特征；

将所述图像特征与哈希映射容器中的连续多天图像特征进行匹配；

根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；

在所述匹配位置分布图中识别出广告视频的位置。

实现了利用视频信息来自动分割电视广告，相对于音频信息需要利用一定时长的信息来提取特征，视频信息每一帧具有时间的独立性，这样可以精确的以帧为单位分割。视频信息内容要比音频信息丰富，可以提取更加鲁棒的特征来获取更加准确的匹配。

所述根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图，包括：

对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置；

根据所述压缩后的位置构建所述匹配位置分布图。以便于后续的识别分割位置。

所述在匹配位置分布图中识别出广告视频的位置，包括：

根据所述匹配位置分布图建立位置直方图；

根据所述位置直方图识别出广告视频；

对所述广告视频进行匹配处理，确定广告视频的位置。

所述根据所述位置直方图识别出广告视频，包括：

屏蔽所述位置直方图中的噪声和干扰视频；

根据所述位置直方图识别出广告视频。

消除因视频编码以及因电视广告在图像局部弹出而造成显示图像突然改变等噪声干扰。

对所述广告视频进行匹配处理，确定广告视频的位置，包括：

判断当前广告视频与相邻的广告视频是否匹配；

当所述当前广告视频与相邻的广告视频匹配时，合并所述当前广告视频与相邻的广告视频的起始位置；

当所述当前广告视频与相邻的广告视频不匹配时，确定所述当前广告视频与相邻的广告视频的分割位置；

判断确定分割位置后的当前广告视频与其间隔一个广告视频的广告视频是否匹配；

当所述当前广告视频与其间隔一个广告视频的广告视频匹配时，将三个广告视频合并为一个广告视频，并重新确定合并后的广告视频的分割位置；

判断重新确定分割位置的当前广告视频与相邻的广告视频是否匹配；

当所述重新确定分割位置的当前广告视频与相邻的广告视频匹配时，合并所述重新确定分割位置的当前广告视频与相邻的广告视频的起始位置。

所述对所述广告视频进行匹配处理，包括：

将两个广告视频的位置直方图二值化，并根据以下公式计算所述两个广告视频的二值化位置直方图的相似性；

其中，D1、D2分别为两个广告视频的二值化位置直方图中值为1的柱的数量，D为两个广告视频的二值化位置直方图的距离，th_sim为预设阈值。

所述将所述图像特征与哈希映射容器中的连续多天图像特征进行匹配，包括：

存储所述图像特征在所述哈希映射容器的时间轴上第一次出现的位置以及所述图像特征再次出现时与所述第一次出现的位置的相对位置。以节省系统资源，提高存储效率。

一种广告视频识别装置，包括：

提取模块，用于提取视频数据中每一帧图像的图像特征；

匹配模块，用于将所述图像特征与包括连续多天图像特征的哈希映射容器进行匹配；

处理模块，用于根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；

识别模块，用于在所述匹配位置分布图中识别出广告视频的位置。

所述处理模块包括：

压缩单元，用于对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置；

处理单元，用于根据所述压缩后的位置构建所述匹配位置分布图。

所述识别模块包括：

处理单元，用于根据所述匹配位置分布图建立位置直方图；

识别单元，用于根据所述位置直方图识别出广告视频；

匹配单元，用于对所述广告视频进行匹配处理，确定广告视频的位置。

所述识别单元包括：

屏蔽子单元，用于屏蔽所述位置直方图中的噪声和干扰视频；

识别子单元，用于根据所述位置直方图识别出广告视频。

所述匹配模块包括：

存储单元，用于存储所述图像特征在所述哈希映射容器的时间轴上第一次出现的位置以及所述图像特征再次出现时与所述第一次出现的位置的相对位置。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例提供的一种广告视频识别方法的流程示意图；

图2是本发明实施例中匹配位置分布图的示意图；

图3是本发明实施例中压缩后的匹配位置分布图的示意图；

图4是本发明实施例中在匹配位置分布图中识别出广告视频的位置的流程示意图；

图5是本发明实施例中进行广告视频分割处理后匹配位置分布图的示意图；

图6是本发明实施例提供的一种广告视频识别装置的结构示意图；

图7是本发明实施例中处理模块的结构示意图；

图8是本发明实施例中识别模块的结构示意图；

图9是本发明实施例中识别单元的结构示意图；

图10是本发明实施例中匹配模块的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种广告视频识别方法，包括以下步骤：

S101，提取视频数据中每一帧图像的图像特征。

从待处理的视频数据中提取出每一帧图像的图像特征，可利用经过离散余弦变换（DCT，Discrete Cosine Transform）优化后的感知哈希算法获取每一帧图像的图像特征。

S102，将图像特征与哈希映射容器（hashmap）中的连续多天图像特征进行匹配。

哈希映射容器（hashmap）存储在数据库中。利用局部敏感哈希算法对连续N天的图像特征建立hashmap，记录每个图像特征出现的位置，该位置为图像特征在哈希映射容器时间轴上的位置。

在本发明一实施例中，存储图像特征在哈希映射容器（hashmap）的时间轴上第一次出现的位置以及该图像特征再次出现时与第一次出现的位置的相对位置。数据库中需要记录每帧图像特征出现的位置，如果直接存储，需要大量内存。由于视频数据中相似特征经常连续出现，因此只需存储每个图像特征第一次出现的位置，该图像特征再次出现时记录与上一次出现时的帧差（位置差）。如果有连续多次出现时的帧差（位置差）为1，则记录1的数目，最后利用BitSet来压缩存储每一个特征出现的位置，从而有效减少所需的内存，提高存储效率。

S103，根据匹配到的图像特征在哈希映射容器时间轴上的位置构建匹配位置分布图。

由待处理视频数据每一帧图像特征在hashmap中匹配到的相似或相同图像特征的位置构建出该匹配位置分布图。

匹配位置分布图如图2所示，其中的纵轴为待处理视频数据中的每一帧，横轴为hashmap中所有帧的位置，可以连续的帧看做一段时间。图中斜线代表在横轴上的一段时间内，纵轴上待处理视频数据中相应的帧出现了可以和hashmap中相应的位置的图像特征匹配的连续帧，可视为一个匹配的视频片段。

在本发明一实施例中，为了便于后续处理，可以对图2所示的匹配位置分布图在时间轴（横轴）上进行压缩，对匹配到的图像特征在hashmap时间轴上的位置进行压缩处理，得到压缩后的位置。如图3所示，经过压缩处理的匹配位置分布图纵轴为待处理视频数据中的每一帧，横轴为hashmap中所有帧经过压缩后的位置。此时横轴上的一个点代表一时间段，可采用一固定时间长度对时间轴进行压缩处理，使图2中代表图像特征匹配位置的斜线变为图3中与纵轴方向相同的直线。例如，待处理视频数据的帧在hashmap中存在N个特征匹配的位置，在时间轴上的位置为x_i(i=1,……,N)，以固定长度FL（例如750帧）对时间轴进行压缩，压缩后的位置xq_i=x_i/FL,i=(1,......,N)。

经过压缩处理可以有效的对误匹配或过匹配进行过滤和弥补，进而有效提高了匹配的准确度。

S104，在匹配位置分布图中识别出广告视频的位置。

在本发明一实施例中，步骤S104中在匹配位置分布图中识别出广告视频的位置，如图4所示，进一步包括以下步骤。

S104a，根据匹配位置分布图建立位置直方图；

位置直方图横轴与压缩后的匹配位置分布图相同，也为hashmap中所有帧的经过压缩后的位置；位置直方图纵轴为匹配一致的连续帧数，也可视为一持续时间段的长度。记录该位置直方图中每个柱所代表的连续匹配帧的起止帧所在的位置。

S104b，根据位置直方图识别出广告视频。

根据以下公式来识别广告视频：

其中，bn为位置直方图中值大于第一阈值th1的柱的数量，位置直方图中柱的值代表的持续帧数应超过一定时间，未超过该第一阈值th1的柱视为噪声干扰予以屏蔽。ct为将位置直方图中大于该第一阈值th1的柱重新按位置排列后，相邻柱之间的位置差小于第二阈值th2的持续的最大长度；使相邻柱之间的位置差小于第二阈值th2，是为了屏蔽与广告视频类似的干扰视频，例如新闻类节目中经常重复出现的主持人画面，该类画面重复出现并且每次出现之间的时间间隔相对较短。根据上述公式识别位置直方图中的每个柱，取值为1的柱识别为广告视频，即Ad的值为1，在其他（others）情况下，没有发现广告视频，即Ad的值为0。

S104c，对广告视频进行匹配处理，确定广告视频的位置。

在本公开一实施例中，步骤S103c的实现过程包括：

判断当前广告视频与相邻的广告视频是否匹配。例如将当前n秒的广告视频S_i与下一个n秒的广告视频S_i+1进行匹配。

当当前广告视频与相邻的广告视频匹配时，合并当前广告视频与相邻的广告视频的起始位置。如果匹配则将两个广告视频合并为一个并且合并起始位置。

当当前广告视频与相邻的广告视频不匹配时，确定当前广告视频与相邻的广告视频的分割位置。不匹配时将广告视频S_i的终止位置前后各取m帧组成一视频片段，与S_i和S_i+1两段广告视频进行比较，精确划分分割位置。

判断确定分割位置后的当前广告视频与其间隔一个广告视频的广告视频是否匹配。即将分割好的广告视频间隔一个广告视频进行匹配。

当所述当前广告视频与其间隔一个广告视频的广告视频匹配时，将三个广告视频合并为一个广告视频，并重新确定合并后的广告视频的分割位置。如果不匹配则继续判断当前广告视频的相邻广告视频是否与其间隔一个广告视频的广告视频匹配。

判断重新确定分割位置的当前广告视频与相邻的广告视频是否匹配。

当重新确定分割位置的当前广告视频与相邻的广告视频匹配时，合并重新确定分割位置的当前广告视频与相邻的广告视频的起始位置。如果不匹配则继续判断该相邻的广告视频是否与其相邻的广告视频匹配。

上述各步骤中对两个广告视频进行匹配的方法为：

先将两个广告视频的位置直方图二值化，二值化过程为：如果相邻柱b_i和b_i+1均不为零，将柱b_i的终止位置与b_i+1的起始位置进行比较，如果接近（即小于一定阈值）则将两个相邻柱合并，合并后的柱的值为b_i和b_i+1的和，并将柱b_i+1置为零，以解决时间压缩过程中可能出现的将连续的广告视频分到不同柱中的问题。再对位置直方图中的柱利用第一阈值th1进行过滤，小于该第一阈值的柱置为0，大于该第一阈值的柱置为1，消除位置直方图中的噪声。

然后计算两个二值化位置直方图的距离D，将一个位置直方图中值为1的柱与另一位置直方图中对应位置的柱±1范围内的柱进行比较，如果有一个值为1的柱与其匹配，则两个二值化位置直方图的距离D加1。

最后再利用如下公式计算两位置的相似性，

其中，sim为相似度判断值，D₁和D₂分别为两个位置直方图中值为1柱的个数。即两个位置直方图中值为1的柱数目相似度大于一定的相似度阈值th_sim时，认为两个广告视频的位置直方图能够匹配，此时相似度判断值sim取值为1；在其他（others）情况下，即两个位置直方图中值为1的柱数目相似度不大于相似度阈值th_sim时，认为两个广告视频的位置直方图不能匹配，此时相似度判断值sim取值为0。

确定各广告视频分割位置后的匹配位置分布图如图5所示，图中白色竖线表示对应位置图像特征匹配成功，白色横线表示分割位置。图中沿横轴方向上重复出现的白色竖线即为匹配到的广告视频，白色横线为各个广告视频的分割位置，从而获取到每一个广告视频信息，如出现次数，播放时长和播放内容组合等等。

图6是本发明实施例提供的一种广告视频识别装置，包括：

提取模块60，用于提取视频数据中每一帧图像的图像特征；

匹配模块61，用于将所述图像特征与包括连续多天图像特征的哈希映射容器进行匹配；

处理模块62，用于根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；

识别模块63，用于在所述匹配位置分布图中识别出广告视频的位置。

所述处理模块62如图7所示，包括：

压缩单元620，用于对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置；

处理单元621，用于根据所述压缩后的位置构建所述匹配位置分布图。

所述识别模块63如图8所示，包括：

处理单元630，用于根据所述匹配位置分布图建立位置直方图；

识别单元631，用于根据所述位置直方图识别出广告视频；

匹配单元632，用于对所述广告视频进行匹配处理，确定广告视频的位置。

所述识别单元631如图9所示，包括：

屏蔽子单元631a，用于屏蔽所述位置直方图中的噪声和干扰视频；

识别子单元631b，用于根据所述位置直方图识别出广告视频。

所述匹配模块61如图10所示，包括：

存储单元610，用于存储所述图像特征在所述哈希映射容器的时间轴上第一次出现的位置以及所述图像特征再次出现时与所述第一次出现的位置的相对位置。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种广告视频识别方法，其特征在于，包括：

提取视频数据中每一帧图像的图像特征；

将所述图像特征与哈希映射容器中的连续多天图像特征进行匹配；

根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；

在所述匹配位置分布图中识别出广告视频的位置；

所述根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图，包括：

对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置；

根据所述压缩后的位置构建所述匹配位置分布图；

所述对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置，包括：

采用一固定时间长度对所述哈希映射容器时间轴进行压缩，得到所述匹配到的图像特征在所述哈希映射容器时间轴上压缩后的位置。

2.如权利要求1所述的方法，其特征在于，所述在所述匹配位置分布图中识别出广告视频的位置，包括：

根据所述匹配位置分布图建立位置直方图；

根据所述位置直方图识别出广告视频；

对所述广告视频进行匹配处理，确定广告视频的位置。

3.如权利要求2所述的方法，其特征在于，所述根据所述位置直方图识别出广告视频，包括：

屏蔽所述位置直方图中的噪声和干扰视频；

根据所述位置直方图识别出广告视频。

4.如权利要求2所述的方法，其特征在于，对所述广告视频进行匹配处理，确定广告视频的位置，包括：

判断当前广告视频与相邻的广告视频是否匹配；

当所述当前广告视频与相邻的广告视频匹配时，合并所述当前广告视频与相邻的广告视频的起始位置；

当所述当前广告视频与相邻的广告视频不匹配时，确定所述当前广告视频与相邻的广告视频的分割位置；

判断确定分割位置后的当前广告视频与其间隔一个广告视频的广告视频是否匹配；

当所述当前广告视频与其间隔一个广告视频的广告视频匹配时，将三个广告视频合并为一个广告视频，并重新确定合并后的广告视频的分割位置；

判断重新确定分割位置的当前广告视频与相邻的广告视频是否匹配；

当所述重新确定分割位置的当前广告视频与相邻的广告视频匹配时，合并所述重新确定分割位置的当前广告视频与相邻的广告视频的起始位置。

5.如权利要求2-4任一所述的方法，其特征在于，所述对所述广告视频进行匹配处理，包括：

将两个广告视频的位置直方图二值化，并根据以下公式计算所述两个广告视频的二值化位置直方图的相似性；

$sim=\left\{\begin{array}{cc}1,& \frac{D}{max(D1,D2)}>{\mathrm{th}}_{sim}\\ 0,& others\end{array}\right.$

其中，D1、D2分别为两个广告视频的二值化位置直方图中值为1的柱的数量，D为两个广告视频的二值化位置直方图的距离，th_sim为预设阈值。

6.如权利要求1所述的方法，其特征在于，所述将所述图像特征与哈希映射容器中的连续多天图像特征进行匹配，包括：

存储所述图像特征在所述哈希映射容器的时间轴上第一次出现的位置以及所述图像特征再次出现时与所述第一次出现的位置的相对位置。

7.一种广告视频识别装置，其特征在于，包括：

提取模块，用于提取视频数据中每一帧图像的图像特征；

匹配模块，用于将所述图像特征与包括连续多天图像特征的哈希映射容器进行匹配；

处理模块，用于根据匹配到的图像特征在所述哈希映射容器时间轴上的位置构建匹配位置分布图；

识别模块，用于在所述匹配位置分布图中识别出广告视频的位置；

所述处理模块包括：

压缩单元，用于对匹配到的图像特征在所述哈希映射容器时间轴上的位置进行压缩处理，得到压缩后的位置；

处理单元，用于根据所述压缩后的位置构建所述匹配位置分布图；

所述压缩单元具体用于：

采用一固定时间长度对所述哈希映射容器时间轴进行压缩，得到所述匹配到的图像特征在所述哈希映射容器时间轴上压缩后的位置。

8.如权利要求7所述的装置，其特征在于，所述识别模块包括：

处理单元，用于根据所述匹配位置分布图建立位置直方图；

识别单元，用于根据所述位置直方图识别出广告视频；

匹配单元，用于对所述广告视频进行匹配处理，确定广告视频的位置。

9.如权利要求8所述的装置，其特征在于，所述识别单元包括：

屏蔽子单元，用于屏蔽所述位置直方图中的噪声和干扰视频；

识别子单元，用于根据所述位置直方图识别出广告视频。

10.如权利要求7所述的装置，其特征在于，所述匹配模块包括：

存储单元，用于存储所述图像特征在所述哈希映射容器的时间轴上第一次出现的位置以及所述图像特征再次出现时与所述第一次出现的位置的相对位置。