CN105657446B - 一种视频中贴片广告的检测方法和装置 - Google Patents

Abstract

本发明实施例提供了一种视频中贴片广告的检测方法和装置，涉及信号处理技术，以解决现有技术无法从视频中检测出贴片广告的问题。技术方案包括：根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；根据预先设置的第二卷积神经网络模型对所述包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；根据所述顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。本发明实施例提供的技术方案可以应用在对视频内容进行编辑处理的过程中。

Description

一种视频中贴片广告的检测方法和装置

技术领域

本发明涉及信号处理技术领域，特别是涉及一种视频中贴片广告的检测方法和装置。

背景技术

为了增加商业利益，在电影或者电视剧等视频中均会插入贴片广告。然而，对于购买了视频版权的视频网站而言，贴片广告与其经范围的毫不相干，严重地影响了视频网站的经济利益。

目前需要本领域技术人员迫切解决的一个技术问题就是：现有技术无法对视频中插入的贴片广告进行检测，使得用户观看带有贴片广告的视频体验差，并且由于贴片广告的存在严重影响了购买该视频版权的用户利益。

发明内容

本发明实施例所要解决的技术问题是提供一种视频中贴片广告的检测方法，能够达到从视频中检测出贴片广告的目的。

相应的，本发明实施例还提供了一种视频中贴片广告的检测装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种视频中贴片广告的检测方法，包括：根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；根据预先设置的第二卷积神经网络模型对所述包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；根据所述顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。

进一步地，所述根据预先设置的第一卷积神经网络模型对视频帧进行处理包括：根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧；根据预先设置的第一卷积神经网络模型对所述关键帧进行检测，获取所述关键帧中包含贴片广告的关键帧；根据所述包含贴片广告的关键帧，获取包含贴片广告的视频帧。

进一步地，所述根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧之前，还包括：从预测的贴片广告出现时间段内获取待检测的视频帧；则所述根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧替换为：根据预先设置的采样间隔对所述待检测的视频帧进行采样，获取关键帧。

进一步地，本发明实施例提供的视频中贴片广告的检测方法，还包括：根据预先设置的内容，对所述包含贴片广告的视频帧中的贴片广告进行替换处理。

进一步地，所述第一卷积神经网络模型由第一子卷积神经网络模型和第二子卷积神经网络模型构成；其中，所述第一子卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成，所述第二子卷积神经网络模型根据预先设置的未包含贴片广告的视频帧训练生成。

进一步地，所述第二卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成；其中，所述包含贴片广告的视频帧中每个视频帧的贴片广告位置不相同。

为了解决上述问题，本发明公开了一种视频中贴片广告的检测装置，包括：

第一获取模块，用于根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；

第二获取模块，用于根据预先设置的第二卷积神经网络模型对所述第一获取模块获取的包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；

确定模块，用于根据所述第二获取模块获取的顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。

进一步地，所述第一获取模块包括：

第一获取子模块，用于根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧；

第二获取子模块，用于根据预先设置的第一卷积神经网络模型对所述第一获取子模块获取的关键帧进行检测，获取所述关键帧中包含贴片广告的关键帧；

第三获取子模块，用于根据所述第二获取子模块获取的包含贴片广告的关键帧，获取包含贴片广告的视频帧。

进一步地，所述第一获取模块还包括：

第四获取子模块，用于从预测的贴片广告出现时间段内获取待检测的视频帧；

则所述第一获取子模块，还用于根据预先设置的采样间隔对所述第四获取子模块获取的待检测的视频帧进行采样，获取关键帧。

进一步地，本发明实施例提供的视频中贴片广告的检测装置，还包括：

处理模块，用于根据预先设置的内容，对所述包含贴片广告的视频帧中的贴片广告进行替换处理。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测方法和装置，能够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据第二卷积神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广告在视频帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有技术无法检测视频中存在的贴片广告的问题。

附图说明

图1是本发明的一种视频中贴片广告的检测方法流程图一；

图2是图1所示的视频中贴片广告的检测方法中步骤101的流程图一；

图3是图1所示的视频中贴片广告的检测方法中步骤101的流程图二；

图4是本发明的一种视频中贴片广告的检测方法流程图二；

图5是本发明实施例提供的一种视频中贴片广告的检测装置结构示意图一；

图6是图5所示的视频中贴片广告的检测装置中第一获取模块501的结构示意图一；

图7是图5所示的视频中贴片广告的检测装置中第一获取模块501的结构示意图二；

图8是本发明实施例提供的一种视频中贴片广告的检测装置结构示意图二。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了解决现有技术无法从视频中检测出贴片广告的问题，本发明实施例提供一种视频中贴片广告的检测方法和装置。

如图1所示，本发明实施例提供的视频中贴片广告的检测方法，包括：

步骤101，根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧。

为了减少计算量，加快处理速度，在本实施例中，如图2所示，步骤101具体可以包括：

步骤1011，根据预先设置的采样间隔对视频帧进行采样，获取关键帧。

需要说明的是，本实施例不对采样间隔进行具体的限定，在实际的使用过程中，用户可以根据实际需要设定采样间隔。

步骤1012，根据预先设置的第一卷积神经网络模型对关键帧进行检测，获取关键帧中包含贴片广告的关键帧。

具体地，本实施例所述的第一卷积神经网络模型由第一子卷积神经网络模型和第二子卷积神经网络模型构成，其中，第一子卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成，第二子卷积神经网络模型根据预先设置的未包含贴片广告的视频帧训练生成。

步骤1012采用第一卷积神经网络模型对关键帧进行分类检测，从中获取包含贴片广告的类对应的关键帧。

步骤1013，根据包含贴片广告的关键帧，获取包含贴片广告的视频帧。

具体地，步骤1013可以根据包含贴片广告的关键帧，按照预先设置的跳帧策略和贴片广告的连续性，确定包含贴片广告的起始视频帧和结束视频帧，获取起始视频帧和结束视频帧之间的视频帧为包含贴片广告的视频帧。

本发明实施例提供的视频中贴片广告的检测方法为了进一步减小计算量，加快处理速度，如图3所示，在步骤1011之前，还可以包括：

步骤1010，从预测的贴片广告出现时间段内获取待检测的视频帧。

在本实施例中，可以根据贴片广告出现的一惯性确定贴片广告出现的时间段，例如：一般在视频开头5分钟之内，或者结束10分钟之内会出现贴片广告，所以步骤1010可以根据该预测时间段获取待检测的视频帧。

则此时，步骤1011可以替换为步骤1011’，根据预先设置的采样间隔对待检测的视频帧进行采样，获取关键帧。

通过以上图2或图3所示的步骤可以将对视频帧的操作转化为对关键帧的操作，从而可以达到减少计算量，加快处理速度的目的。

步骤102，根据预先设置的第二卷积神经网络模型对包含贴片广告的视频帧进行回归处理，获取包含贴片广告的视频中贴片广告的顶点坐标。

在本实施例中，第二卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成，其中，包含贴片广告的视频帧中每个视频帧的贴片广告位置不相同，视频内容相同。

步骤102采用第二卷积神经网络模型对包含贴片广告的视频帧进行处理，，获取包含贴片广告的视频中贴片广告的顶点坐标的方式，处理问题更直接、准确率更高。

步骤103，根据顶点坐标确定贴片广告在包含贴片广告的视频中的位置。

进一步地，如图4所示，由于步骤101-103可以检测出视频帧中的贴片广告，使得本发明实施例提供的视频中贴片广告的检测方法，还可以包括：

步骤104，根据预先设置的内容，对包含贴片广告的视频帧中的贴片广告进行替换处理。

具体地，步骤101-103可以确定出包含贴片广告的视频帧以及贴片广告在该视频帧中的具体位置，可以根据检测出的贴片广告的位置信息设置对应的替换内容，步骤104可以用该内容替换视频中原本存在的贴片广告。

本实施例并不对预先设置的内容进行限定，该内容可以是其他贴片广告，也可以为空，当然还可以为其他形式，此处不再一一赘述。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测方法，能够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据第二卷积神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广告在视频帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有技术无法检测视频中存在的贴片广告的问题。

如图5所示，本发明实施例还提供一种视频中贴片广告的检测装置，包括：

第一获取模块501，用于根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；

第二获取模块502，用于根据预先设置的第二卷积神经网络模型对第一获取模块501获取的包含贴片广告的视频帧进行回归处理，获取包含贴片广告的视频帧中贴片广告的顶点坐标；

确定模块503，用于根据第二获取模块502获取的顶点坐标确定贴片广告在包含贴片广告的视频帧中的位置。

进一步地，如图6所示，第一获取模块501可以包括：

第一获取子模块5011，用于根据预先设置的采样间隔对视频帧进行采样，获取关键帧；

第二获取子模块5012，用于根据预先设置的第一卷积神经网络模型对第一获取子模块5011获取的关键帧进行检测，获取关键帧中包含贴片广告的关键帧；

第三获取子模块5013，用于根据第二获取子模块5012获取的包含贴片广告的关键帧，获取包含贴片广告的视频帧。

进一步地，如图7所示，第一获取模块501还可以包括：

第四获取子模块5010，用于从预测的贴片广告出现时间段内获取待检测的视频帧；

则第一获取子模块5011，还用于根据预先设置的采样间隔对第四获取子模块5010获取的待检测的视频帧进行采样，获取关键帧。

进一步地，如图8所示，本发明实施例提供的视频中贴片广告的检测装置，还可以包括：

处理模块504，用于根据预先设置的内容，对包含贴片广告的视频帧中的贴片广告进行替换处理。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测装置，能够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据第二卷积神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广告在视频帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有技术无法检测视频中存在的贴片广告的问题。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种视频中贴片广告的检测方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种视频中贴片广告的检测方法，其特征在于，包括：

根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；其中，所述根据预先设置的第一卷积神经网络模型对视频帧进行处理包括：根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧；根据预先设置的第一卷积神经网络模型对所述关键帧进行检测，获取所述关键帧中包含贴片广告的关键帧；根据所述包含贴片广告的关键帧，获取包含贴片广告的视频帧；其中，所述第一卷积神经网络模型由第一子卷积神经网络模型和第二子卷积神经网络模型构成；所述第一子卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成；

根据预先设置的第二卷积神经网络模型对所述包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；所述第二子卷积神经网络模型根据预先设置的未包含贴片广告的视频帧训练生成；所述第二卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成；其中，所述包含贴片广告的视频帧中每个视频帧的贴片广告位置不相同，视频内容相同；

根据所述顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。

2.根据权利要求1所述的方法，其特征在于，所述根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧之前，还包括：

从预测的贴片广告出现时间段内获取待检测的视频帧；

则所述根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧替换为：

根据预先设置的采样间隔对所述待检测的视频帧进行采样，获取关键帧。

3.根据权利要求1所述的方法，其特征在于，还包括：

根据预先设置的内容，对所述包含贴片广告的视频帧中的贴片广告进行替换处理。

4.一种视频中贴片广告的检测装置，其特征在于，包括：

第一获取模块，用于根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；其中，所述第一获取模块包括：第一获取子模块，用于根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧；第二获取子模块，用于根据预先设置的第一卷积神经网络模型对所述第一获取子模块获取的关键帧进行检测，获取所述关键帧中包含贴片广告的关键帧；第三获取子模块，用于根据所述第二获取子模块获取的包含贴片广告的关键帧，获取包含贴片广告的视频帧；其中，所述第一卷积神经网络模型由第一子卷积神经网络模型和第二子卷积神经网络模型构成；所述第一子卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成；

第二获取模块，用于根据预先设置的第二卷积神经网络模型对所述第一获取模块获取的包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；所述第二子卷积神经网络模型根据预先设置的未包含贴片广告的视频帧训练生成；所述第二卷积神经网络模型根据预先设置的包含贴片广告的视频帧训练生成；其中，所述包含贴片广告的视频帧中每个视频帧的贴片广告位置不相同，视频内容相同；

确定模块，用于根据所述第二获取模块获取的顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。

5.根据权利要求4所述的装置，其特征在于，所述第一获取模块还包括：

第四获取子模块，用于从预测的贴片广告出现时间段内获取待检测的视频帧；

则所述第一获取子模块，还用于根据预先设置的采样间隔对所述第四获取子模块获取的待检测的视频帧进行采样，获取关键帧。

6.根据权利要求4所述的装置，其特征在于，还包括：

处理模块，用于根据预先设置的内容，对所述包含贴片广告的视频帧中的贴片广告进行替换处理。