CN112437340A - 一种音视频中确定有无变种长广告的方法及系统 - Google Patents

一种音视频中确定有无变种长广告的方法及系统 Download PDF

Info

Publication number
CN112437340A
CN112437340A CN202011270725.4A CN202011270725A CN112437340A CN 112437340 A CN112437340 A CN 112437340A CN 202011270725 A CN202011270725 A CN 202011270725A CN 112437340 A CN112437340 A CN 112437340A
Authority
CN
China
Prior art keywords
template
segment
file
feature
ending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011270725.4A
Other languages
English (en)
Other versions
CN112437340B (zh
Inventor
邱宏
庄焕槟
房晓飞
王方圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Mosi Technology Co ltd
Guangdong Radio And Television Bureau
Original Assignee
Beijing Zhongke Mosi Technology Co ltd
Guangdong Radio And Television Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Mosi Technology Co ltd, Guangdong Radio And Television Bureau filed Critical Beijing Zhongke Mosi Technology Co ltd
Priority to CN202011270725.4A priority Critical patent/CN112437340B/zh
Publication of CN112437340A publication Critical patent/CN112437340A/zh
Application granted granted Critical
Publication of CN112437340B publication Critical patent/CN112437340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供一种音视频中确定有无变种长广告的方法及系统，该方法包括：获取模板文件的表示特征和目标文件的表示特征；从模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；若判断获知目标文件中存在目标片段，目标片段的起始特征与所述模板起始特征匹配，目标片段的结束特征与模板结束特征匹配，目标片段的时长与模板文件的时长之差在预设范围内，则认为目标文件中存在变种长广告。本发明实施例能够有效解决广播电视音视频变种长广告的比对检测问题，大幅提升省级及以下频道的广告编目效率。

Description

一种音视频中确定有无变种长广告的方法及系统
技术领域
本发明涉及信息处理技术领域，尤其涉及一种音视频中确定有无变种长广告的方法及系统。
背景技术
广告是广播电视音视频内容中一种重要的节目形式。广播电视音视频广告的编目具有实际的社会经济价值。
目前，多数音视频广告统计分析利用了广告重复播出的特点，使用音视频模板比对的方法确定广告在广播电视中播出的次数、时段等信息。
实际应用中，广告播出情况更为复杂，尤其是省级及以下频道常常播出一些时长较长的商业广告或者节目式的购物广告。对于重复播放的长广告或购物广告的统计分析，依然可以借助传统模板比对的方法解决，但无法解决播出内容存在变换的长广告或者购物广告的统计分析。主要原因在于：
(1)此类广告播出内容与模板音视频存在较大差异，序列比对的相似度较低；
(2)此类广告由于时长的原因增加了人工判断播出音视频内容与模板音视频内容是否一致的难度，换言之人工创建模板难度很高；
(3)此类广告与电视剧类似，整体上几乎不存在重复播出的情况，仅对片头、片尾存在重复播放的情况。
针对上述问题，一种思路是采用动态时间规整(Dynamic Time Warping，简称DTW)的方式允许序列之间有弯曲，但是其平方级的计算复杂度严重限制了其实用性；另一种思路是计算序列之间两两图像帧/音频帧的匹配情况，构建极大连通区域来表达序列层面的匹配情况，但其仅对时间序列上的压缩或拉伸变换鲁棒，普适性较差，并且其计算复杂度也是平方级。实际应用中，变种长广告的编目仍以人工编目为主，人力投入大幅增加。
发明内容
本发明实施例提供一种音视频中确定有无变种长广告的方法及系统，用以解决现有技术中无法识别变种长广告的缺陷，实现音视频中变种长广告的识别以及统计。
本发明实施例提供一种音视频中确定有无变种长广告的方法，包括：
获取模板文件的表示特征和目标文件的表示特征；
从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
根据本发明一个实施例的音视频中确定有无变种长广告的方法，所述模板文件的表示特征通过如下方式获取：
均匀抽取所述模板文件中的若干帧；
计算每个抽取出来的帧的局部二值模式特征，组合得到所述模板文件的表示特征。
根据本发明一个实施例的音视频中确定有无变种长广告的方法，所述若判断获知述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，具体包括：
在所述目标文件的表示特征的第三预设时间段中，采用滑动窗方式是否包含起始片段，所述起始片段与所述模板起始特征的相似度大于预设阈值；
在所述目标文件的表示特征的第四预设时间段中，采用滑动窗方式确定是否包含结束片段，所述结束片段与所述模板结束特征的相似度大于所述预设阈值；
若存在所述起始片段和所述结束片段，则将所述起始片段的起始点至所述结束片段的结束点作为所述目标片段。
根据本发明一个实施例的音视频中确定有无变种长广告的方法，所述采用滑动窗方式是否包含起始片段，具体包括：
采用滑动窗方式，计算所述第三预设时间段内每一片段与所述模板起始特征之间的相似度，若存在任一片段与所述模板起始特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述起始片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板起始特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述起始片段。
根据本发明一个实施例的音视频中确定有无变种长广告的方法，所述第四预设时间段通过如下方式确定：
在所述目标文件的表示特征中，将所述起始片段的起始点作为起点，向后移动所述模板文件的长度，再向前移动所述模板起始特征的长度，得到的点作为第四预设时间段的中心点；
在中心点的左右两边延伸预设偏移量，左边偏移量到右边偏移量的距离作为所述第四预设时间段。
根据本发明一个实施例的音视频中确定有无变种长广告的方法，所述采用滑动窗方式确定是否包含结束片段，具体包括：
采用滑动窗方式，计算所述第四预设时间段内每一片段与所述模板结束特征之间的相似度，若存在任一片段与所述模板结束特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述结束片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板结束特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述结束片段。
本发明实施例还提供一种音视频中确定有无变种长广告的系统，包括：
表示模块，用于获取模板文件的表示特征和目标文件的表示特征；
模板模块，用于从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
判断模块，用于若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述音视频中确定有无变种长广告的方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述音视频中确定有无变种长广告的方法的步骤。
本发明实施例提供的一种音视频中确定有无变种长广告的方法及系统，首先在播出的目标文件中比对监测是否有模板文件的起始段内容播出，然后利用模板文件的时长约束确定一个模板结束段内容可能播放的时段范围，再后在候选时段范围内比对检测是否有模板文件的长广告的借宿段内容播出，最后根据起始段的比对检测结果和结束段的比对结果确定模板音视频长广告在播出音视频中的匹配结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种音视频中确定有无变种长广告的方法流程图；
图2为本发明实施例中音视频变种长广告比对方法示意图；
图3为本发明实施例中音视频结束段候选比对示意图；
图4为本发明实施例提供的一种音视频中确定有无变种长广告的系统结构示意图；
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种音视频中确定有无变种长广告的方法，主要有如下特征：
一，此处变种长广告是指在原来的模板音频文件或模板视频文件的基础上，进行时长的变换，称之为变种长广告，一般而言，播出音视频中的变种实例往往与模板音频文件、模板视频文件具有基本一致的播出时长，并在开始时段、结束时段与模板音视频保持一致，仅对中间时段的做内容变换。
二，本发明实施例利用开始时段、结束时段的相似度约束以及播出时长约束，准确检测出播出音视频中是否含有模板音视频的变种实例，由于其仅计算固定长度的开始时段和结束时段的音视频特征序列的相似度，时间复杂度为O(N)，N为开始时段或结束时段特征序列的长度。
三，本发明实施例仅使用模板音视频的开始时段在播出音视频中进行检测，并根据序列比对的结果在一组连续满足相似度要求的片段中进行最优选择，作为音视频变种长广告开始时段在播出音视频中的一次播出实例。
四，本发明实施例在播出音视频特征序列中，以开始时段起始位置为起点向前遍历，找到距离为模板音视频广告时长的位置，以该位置为中心点在其左右一定范围内，利用序列匹配的方法匹配检测模板音视频结束时段的最优播出实例，模板音视频时长约束能够有效降低变种长广告的误报率，并提高边界检测精度。
本发明的目的在于给定一个音视频长广告模板，在播出音视频中将该模板的变种长广告检索、定位出来。此处音视频长广告模板称之为模板文件，播出音视频称之为目标文件，图1为本发明实施例提供的一种音视频中确定有无变种长广告的方法流程图，如图1所示，该方法包括：
S1，获取模板文件的表示特征和目标文件的表示特征；
本发明实施例中，模板文件的表示特征由模板文件中若干帧的目标特征组成，选中的每一帧都对应一个目标特征，这些帧的目标特征按照时间顺序排列得到模板文件的表示特征。
目标文件的表示特征由所述目标文件中若干帧的目标特征组成，选中的目标文件中的每一帧都对应一个目标特征，这些帧的目标特征按照时间顺序排列得到目标文件的表示特征。
模板文件为音频文件或视频文件，目标文件为音频文件或视频文件，模板文件和目标文件的类型相同。
目标特征可以选择常见的特征算子，通过这些特征算子来表示相应的帧。
S2，从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
具体地，从该模板文件的表示特征中截取出第一预设时间段内的特征，作为模板起始特征，从模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征。
第一预设时间段为从模板文件的表示特征中的起始点开始，往后的一段时间，第二预设时间段为模板文件的表示特征中的结束点开始，往前的一段时间。
S3，若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
通过将模板起始特征和模板结束特征在目标文件的表示特征中进行匹配，如果在目标文件中能够找到目标片段，该目标片段的特点是：目标片段的起始特征与模板起始特征匹配，目标片段的结束特征与模板结束特征匹配，并且目标片段的时长和模板文件之间的时长之差在预设范围之内，则判断该目标文件中存在变种长广告。
本发明实施例提供的一种音视频中确定有无变种长广告的方法，首先在播出的目标文件中比对监测是否有模板文件的起始段内容播出，然后利用模板文件的时长约束确定一个模板结束段内容可能播放的时段范围，再后在候选时段范围内比对检测是否有模板文件的长广告的借宿段内容播出，最后根据起始段的比对检测结果和结束段的比对结果确定模板音视频长广告在播出音视频中的匹配结果。
本发明实施例所提方法，能够有效解决广播电视音视频变种长广告的比对检测问题，大幅提升省级及以下频道的广告编目效率。
在上述实施例的基础上，优选地，所述模板文件的表示特征通过如下方式获取：
均匀抽取所述模板文件中的若干帧；
计算每个抽取出来的帧的局部二值模式特征，组合得到所述模板文件的表示特征。
具体地，本发明实施例中，通过均匀抽取的方式，抽取出模板文件中的多个帧，然后计算出每个帧的局部二值模式特征，得到该模板文件的表示特征。
目标文件的表示特征也是按照如此方法获得。
在上述实施例的基础上，优选地，所述若判断获知述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，具体包括：
在所述目标文件的表示特征的第三预设时间段中，采用滑动窗方式是否包含起始片段，所述起始片段与所述模板起始特征的相似度大于预设阈值；
具体地，在该目标文件的表示特征中，选取第三预设时间段，采用滑动窗方法，计算每个滑动窗口与模板起始特征的相似度，并选取出相似度大于预设阈值的滑动窗口所在的片段作为起始片段；
在所述目标文件的表示特征的第四预设时间段中，采用滑动窗方式确定是否包含结束片段，所述结束片段与所述模板结束特征的相似度大于所述预设阈值；
同样地，在该目标文件的表示特征中，选取第四预设时间段，采用滑动窗方式，计算每个滑动窗口与模板结束特征的相似度，将相似度大于预设阈值的滑动窗口所在的片段作为结束片段。
若存在所述起始片段和所述结束片段，则将所述起始片段的起始点至所述结束片段的结束点作为所述目标片段。
然后将起始片段的起始点到结束片段的结束点之间的片段作为目标片段。
在上述实施例的基础上，优选地，所述采用滑动窗方式是否包含起始片段，具体包括：
采用滑动窗方式，计算所述第三预设时间段内每一片段与所述模板起始特征之间的相似度，若存在任一片段与所述模板起始特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述起始片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板起始特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述起始片段。
具体地，采用滑动窗方式，计算第三预设时间段内每个时间片段和模板起始特征之间的相似度，如果只存在一个片段与模板起始特征之间的相似度大于预设阈值，那么将这个片段作为起始片段。
按照窗口滑动的顺序，如果第一次出现某个片段与模板起始特征之间的相似度大于预设阈值，并且在该片段之后的连续多个后续片段，每个后续片段与模板起始特征之间的相似度均大于预设阈值，则从所有这些片段中选取出相似度最大的片段作为起始片段。
在上述实施例的基础上，优选地，所述第四预设时间段通过如下方式确定：
在所述目标文件的表示特征中，将所述起始片段的起始点作为起点，向后移动所述模板文件的长度，再向前移动所述模板起始特征的长度，得到的点作为第四预设时间段的中心点；
在中心点的左右两边延伸预设偏移量，左边偏移量到右边偏移量的距离作为所述第四预设时间段。
具体地，在已经选取出起始片段的基础上，将起始片段的起始点作为起点，向后移动一定长度，此处的长度即为模板文件的长度，然后在向前移动模板起始特征的长度，将得到的点作为第四预设时间段的中心点。
在中心点的左右两边分别延伸一定的偏移量，左边偏移量加上右边偏移量得到第四预设时间段。
在上述实施例的基础上，优选地，所述采用滑动窗方式确定是否包含结束片段，具体包括：
采用滑动窗方式，计算所述第四预设时间段内每一片段与所述模板结束特征之间的相似度，若存在任一片段与所述模板结束特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述结束片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板结束特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述结束片段。
同理，采用滑动窗方式，计算第四预设时间段内每个片段与模板结束特征之间的相似度，如果只存在一个片段与模板结束特征之间的相似度大于预设阈值，则将该片段作为结束片段。
按照预设顺序，如果在该片段之后还存在着多个后续片段，每个后续片段与模板结束特征之间的相似度均大于预设阈值，那么将所有满足条件的片段中，相似度最大的片段作为结束片段。
本发明一优选实施例还提供一种音视频中确定有无变种长广告的方法，该方法包括如下几个步骤：
步骤1，抽取模板音视频文件的表示特征，模板音视频文件即为模板文件，本发明实施例中将模板音视频文件称作TpltFile，模板音视频文件的表示特征记作TpltFeat，计算TpltFile的音视频帧序列长度，记作TpltLen；
由于音视频广告比对要求定位出模板音视频在播出音视频中的起始时间和结束时间，因此本发明实施例中采用均匀抽取的方式，而不是基于镜头分割的视频帧抽取方式。
对于广播的音频模板抽取音频帧序列，对于电视的视频模板抽取视频帧序列，本发明实施例以电视的视频模板为例进行说明，电视模板的表示特征提取步骤如下：
步骤1.1，均匀抽取视频图像帧序列，本发明抽取间隔为1，对于PAL制的视频模板TpltFile，若其时长为10分钟，抽取的视频图像帧序列共包含7500张图片，则TpltFile的音视频帧序列{f1,f2,…fTpltLen}的长度TpltLen为7500；
步骤1.2，在视频图像帧序列{f1,f2,…f7500}基础上，分别计算每帧图片的局部二值模式(LocalBinaryPattern)LBP特征，此处的LBP特征即为本发明实施例中的目标特征。
本发明实施例采用的LBP特征，得到TpltFile的特征序列表示TpltFeat，即{u1,u2,…uTpltLen}，其中每帧图片用一个32位的二进制串表示，计算机中可以采用4字节的整型变量存储。
本发明实施例中LBP特征是对常见LBP特征的一种扩展，具体如下：
(1)仅提取图像中心区域的特征，去除可能受台标、挂角广告、游动字幕影响的四周边缘区域；
(2)将中心区域进一步划分为均匀四宫格，在每个宫格中再采用常见LBP特征提取方法，划分九宫格提取该区域的LBP特征，即一个8位的二进制串；
(3)从左上宫格开始按照顺时针将每个宫格的8位二进制串拼接，得到单张图片的32位二进制串特征表示。
步骤2，抽取播出音视频文件的表示特征，此处播出的音视频文件即为目标文件，本发明实施例中也称之为AVFile，播出音视频文件的表示特征记作AVFeat，计算AVFile的文件时长，记作AVLen；
参考步骤1各子步骤的方法，完成步骤2。
步骤2.1，均匀抽取播出电视视频AVFile的图像帧序列，若其时长为120分钟，抽取的视频图像帧序列共包含90000张图片，则AVFile的音视频帧序列{f1,f2,…fAVLen}的长度AVLen为90000；
步骤2.2，在视频图像帧序列{f1,f2,…fAVLen}基础上，分别计算每帧图片的局部二值模式LBP特征，得到AVFile的特征序列表示AVFeat，即{v1,v2,…vAVLen}。
步骤3，从模板音视频文件表示特征起始段截取第一预设时间段内的特征，记作TpltFeat_Start；
以步骤1中所述例子，对于模板电视视频TpltFile的表示特征{u1,u2,…uTpltLen}，从开始处截取第一预设时间段内的特征，即TpltFeat_Start＝{u1,u2,…us}，本发明实施例中第一预设时间段选择时长为10秒，此时s＝125。
步骤4，从模板音视频文件表示特征结束段截取第二预设时间段内的特征记作TpltFeat_End；
步骤1中所述，对于模板音视频TpltFile的特征{u1,u2,…uTpltLen}，从结束处截取第二预设时间段内的特征，即TpltFeat_End＝{uTpltLen-s+1,uTpltLen-s+2,…uTpltLen}，本发明实施例中第二预设时间段为10秒，此时s＝125，s表示模板起始特征的个数和模板结束特征的个数。
步骤5，图2为本发明实施例中音视频变种长广告比对方法示意图，如图2所示，在播出音视频文件AVFile中，比对确认是否有与模板音视频开始时段特征TpltFeat_Start匹配的时段，若存在记作Cand_Ret_Start_i并进入下一步；
步骤5.1，比较播出音视频与模板音视频的时间长短，若AVLen比TpltLen小，则返回至步骤1；
步骤5.2，对于TpltFeat_Start＝{u1,u2,…us}依次在AVFile的特征序列AVFeat＝{v1,v2,…vAVLen}中，采用步长为1、窗宽为s的滑动窗方式比对确定是否包含满足相似度阈值T1约束的音视频片段，通常T1为0.8,若不存在此类片段，则返回至步骤1，若存在记作Cand_Ret_Starti表示{vi,vi+1,…vi+s}与{u1,u2,…us}的相似度>T1，其中i+s<AVLen；
步骤5.3，若Cand_Ret_Starti之后，连续多个后续片段满足相似度约束，则从Cand_Ret_Starti,Cand_Ret_Starti+1,…Cand_Ret_Starti+r中选择一个与TpltFeat_Start相似度最大的片段作为开始片段实际的一次比对结果，即为Cand_Ret_Startx＝{vx,vi+1,…vx+s}，Cand_Ret_Startx即为起始片段；
步骤6，在播出音视频文件AVFile中的第四预设时段内，比对确认是否有与模板音视频结束时段特征TpltFeat_End匹配的片段，若存在记作Cand_Ret_End_i并进入下一步；
步骤6.1，图3为本发明实施例中音视频结束段候选比对示意图，如图3所示，以模板音视频TpltFile开始片段在播出音视频AVFile中一次播出Cand_Ret_Startx的开始时间x作为起点向后移动TpltLen-s步作为后续范围的中心点，以shift作为允许的预设偏移量，则本次TpltFile_End在AVFile中可能比对成功片段的下标介于{x+TpltLen-sshift,x+TpltLen-s+shift}，其中shift对应时长通常为5秒，x+TpltLen-s+shift<AVLen；
步骤6.2，对于{x+TpltLen-sshift,x+TpltLen-s+shift}范围内的结束时段后续片段，依次与TpltFeat_End进行比对，若不存在满足相似度阈值T2约束的音视频片段，通常T2为0.8,若不存在此类片段，则返回至步骤1，若存在记作Cand_Ret_Endj表示{vj,vj+1,…vj+s}与{uTplt-s+1,uTplt-s+2,…uTpltLen}的相似度>T2，其中j+s<AVLen；
步骤6.3，在{x+TpltLen-sshift，x+TpltLen-s+shift}范围内，选择与TpltFeat_End相似度最高的片段记作Cand_Ret_Endy作为本次音视频模板结束时段在播出音视频中对应的播出实例片段；
步骤7，对于存在起始片段匹配成功、满足时长约束的结束片段匹配成功，本发明认为播出音视频中存在音视频模板的一次变种播出视频。
播出起始位置为Cand_Ret_Startx开始位置x，结束位置为Cand_Ret_Endy的结束位置y+s，即匹配结果为{vx,vx+1,…vy+s}为{u1,u2,…uTpltLen}的一次变种播出，确认该目标文件中存在变种长广告。
图4为本发明实施例提供的一种音视频中确定有无变种长广告的系统结构示意图，如图4所示，该系统包括：
表示模块401用于获取模板文件的表示特征和目标文件的表示特征；
模板模块402用于从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
判断模块403用于若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
本实施例为与上述方法对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。
图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行一种音视频中确定有无变种长广告的方法，该方法包括：
获取模板文件的表示特征和目标文件的表示特征；
从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的一种音视频中确定有无变种长广告的方法，该方法包括：
获取模板文件的表示特征和目标文件的表示特征；
从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的一种音视频中确定有无变种长广告的方法，该方法包括：
获取模板文件的表示特征和目标文件的表示特征；
从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种音视频中确定有无变种长广告的方法，其特征在于，包括：
获取模板文件的表示特征和目标文件的表示特征；
从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
2.根据权利要求1所述的音视频中确定有无变种长广告的方法，其特征在于，所述模板文件的表示特征通过如下方式获取：
均匀抽取所述模板文件中的若干帧；
计算每个抽取出来的帧的局部二值模式特征，组合得到所述模板文件的表示特征。
3.根据权利要求1或2所述的音视频中确定有无变种长广告的方法，其特征在于，所述若判断获知述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，具体包括：
在所述目标文件的表示特征的第三预设时间段中，采用滑动窗方式是否包含起始片段，所述起始片段与所述模板起始特征的相似度大于预设阈值；
在所述目标文件的表示特征的第四预设时间段中，采用滑动窗方式确定是否包含结束片段，所述结束片段与所述模板结束特征的相似度大于所述预设阈值；
若存在所述起始片段和所述结束片段，则将所述起始片段的起始点至所述结束片段的结束点作为所述目标片段。
4.根据权利要求3所述的音视频中确定有无变种长广告的方法，其特征在于，所述采用滑动窗方式是否包含起始片段，具体包括：
采用滑动窗方式，计算所述第三预设时间段内每一片段与所述模板起始特征之间的相似度，若存在任一片段与所述模板起始特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述起始片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板起始特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述起始片段。
5.根据权利要求3所述的音视频中确定有无变种长广告的方法，其特征在于，所述第四预设时间段通过如下方式确定：
在所述目标文件的表示特征中，将所述起始片段的起始点作为起点，向后移动所述模板文件的长度，再向前移动所述模板起始特征的长度，得到的点作为第四预设时间段的中心点；
在中心点的左右两边延伸预设偏移量，左边偏移量到右边偏移量的距离作为所述第四预设时间段。
6.根据权利要求3所述的音视频中确定有无变种长广告的方法，其特征在于，所述采用滑动窗方式确定是否包含结束片段，具体包括：
采用滑动窗方式，计算所述第四预设时间段内每一片段与所述模板结束特征之间的相似度，若存在任一片段与所述模板结束特征之间的相似度大于所述预设阈值，则将所述任一片段作为所述结束片段；
若在所述任一片段之后，还存在着连续预设数值个后续片段，每一后续片段与所述模板结束特征之间的相似度大于所述预设阈值，则将相似度最大的片段作为所述结束片段。
7.一种音视频中确定有无变种长广告的系统，其特征在于，包括：
表示模块，用于获取模板文件的表示特征和目标文件的表示特征；
模板模块，用于从所述模板文件的表示特征中截取第一预设时间段内的特征，作为模板起始特征，从所述模板文件的表示特征中截取第二预设时间段内的特征，作为模板结束特征；
判断模块，用于若判断获知所述目标文件中存在目标片段，所述目标片段的起始特征与所述模板起始特征匹配，所述目标片段的结束特征与所述模板结束特征匹配，所述目标片段的时长与所述模板文件的时长之差在预设范围内，则认为所述目标文件中存在变种长广告。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述音视频中确定有无变种长广告的方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述音视频中确定有无变种长广告的方法的步骤。
CN202011270725.4A 2020-11-13 2020-11-13 一种音视频中确定有无变种长广告的方法及系统 Active CN112437340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011270725.4A CN112437340B (zh) 2020-11-13 2020-11-13 一种音视频中确定有无变种长广告的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011270725.4A CN112437340B (zh) 2020-11-13 2020-11-13 一种音视频中确定有无变种长广告的方法及系统

Publications (2)

Publication Number Publication Date
CN112437340A true CN112437340A (zh) 2021-03-02
CN112437340B CN112437340B (zh) 2023-02-21

Family

ID=74700601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270725.4A Active CN112437340B (zh) 2020-11-13 2020-11-13 一种音视频中确定有无变种长广告的方法及系统

Country Status (1)

Country Link
CN (1) CN112437340B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235956A (zh) * 2013-03-28 2013-08-07 天脉聚源(北京)传媒科技有限公司 一种广告检测方法和装置
US20130223683A1 (en) * 2012-02-24 2013-08-29 Canon Kabushiki Kaisha Method and Apparatus for Generating Image Description Vector, Image Detection Method and Apparatus
CN103297851A (zh) * 2013-05-16 2013-09-11 中国科学院自动化研究所 长视频中目标内容的快速统计与自动审核方法及装置
CN105468755A (zh) * 2015-11-27 2016-04-06 东方网力科技股份有限公司 一种视频筛选存储方法和装置
CN105959686A (zh) * 2016-06-22 2016-09-21 腾讯科技（深圳）有限公司 一种视频特征提取方法、视频匹配方法及装置
CN107426585A (zh) * 2017-08-01 2017-12-01 中国农业大学 一种基于音视频信息检索的电视广告监播系统
US20180121541A1 (en) * 2016-11-02 2018-05-03 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream
CN109712642A (zh) * 2018-12-10 2019-05-03 电子科技大学 一种精准快速的广告播出监测方法
US10346474B1 (en) * 2018-03-30 2019-07-09 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream using audio-based and video-based automated content recognition
CN110830836A (zh) * 2019-11-18 2020-02-21 电子科技大学 一种视频广告播出监测方法
CN111651636A (zh) * 2020-03-31 2020-09-11 易视腾科技股份有限公司 视频相似片段搜索方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223683A1 (en) * 2012-02-24 2013-08-29 Canon Kabushiki Kaisha Method and Apparatus for Generating Image Description Vector, Image Detection Method and Apparatus
CN103235956A (zh) * 2013-03-28 2013-08-07 天脉聚源(北京)传媒科技有限公司 一种广告检测方法和装置
CN103297851A (zh) * 2013-05-16 2013-09-11 中国科学院自动化研究所 长视频中目标内容的快速统计与自动审核方法及装置
CN105468755A (zh) * 2015-11-27 2016-04-06 东方网力科技股份有限公司 一种视频筛选存储方法和装置
CN105959686A (zh) * 2016-06-22 2016-09-21 腾讯科技（深圳）有限公司 一种视频特征提取方法、视频匹配方法及装置
US20180121541A1 (en) * 2016-11-02 2018-05-03 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream
CN107426585A (zh) * 2017-08-01 2017-12-01 中国农业大学 一种基于音视频信息检索的电视广告监播系统
US10346474B1 (en) * 2018-03-30 2019-07-09 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream using audio-based and video-based automated content recognition
CN109712642A (zh) * 2018-12-10 2019-05-03 电子科技大学 一种精准快速的广告播出监测方法
CN110830836A (zh) * 2019-11-18 2020-02-21 电子科技大学 一种视频广告播出监测方法
CN111651636A (zh) * 2020-03-31 2020-09-11 易视腾科技股份有限公司 视频相似片段搜索方法及装置

Also Published As

Publication number Publication date
CN112437340B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
WO2019085941A1 (zh) 一种关键帧提取方法、装置和存储介质
US8818037B2 (en) Video scene detection
JP6216045B2 (ja) フィンガープリントに基づく広告検出方法、広告検出システム及びプログラム
KR101369915B1 (ko) 영상 식별자 추출 장치
US8311390B2 (en) Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence
US20160261929A1 (en) Broadcast receiving apparatus and method and controller for providing summary content service
US9596520B2 (en) Method and system for pushing information to a client
JP2010191955A (ja) 画像のシーケンスを処理する方法および装置、記憶媒体ならびに信号
WO2017067400A1 (zh) 一种视频文件识别方法及装置
CN112445935B (zh) 一种基于内容分析的视频精选合集的自动生成方法
CN107135401B (zh) 关键帧选取方法及系统
WO2017114211A1 (zh) 用于对视频场景切换进行检测的方法和装置
JP2005513663A (ja) コマーシャル及び他のビデオ内容の検出用のファミリーヒストグラムに基づく技術
EP2922061B1 (en) Extraction method and device
CN105704559A (zh) 一种海报生成方法及装置
CN110996183B (zh) 视频摘要的生成方法、装置、终端及存储介质
US10965965B2 (en) Detecting of graphical objects to identify video demarcations
JP6966705B2 (ja) Ｃｍ区間検出装置、ｃｍ区間検出方法、及びプログラム
US10270872B2 (en) Information pushing method and system
CN112699787A (zh) 一种广告插入时间点的检测方法及装置
CN108985244B (zh) 一种电视节目类型识别方法及装置
CN114339451A (zh) 视频剪辑方法、装置、计算设备及存储介质
CN112437340B (zh) 一种音视频中确定有无变种长广告的方法及系统
KR102534270B1 (ko) 메타 데이터 제공 장치 및 방법
CN108052941B (zh) 一种新闻字幕跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant