CN100586201C - 一种广告视频检测的方法 - Google Patents
一种广告视频检测的方法 Download PDFInfo
- Publication number
- CN100586201C CN100586201C CN200610080667A CN200610080667A CN100586201C CN 100586201 C CN100586201 C CN 100586201C CN 200610080667 A CN200610080667 A CN 200610080667A CN 200610080667 A CN200610080667 A CN 200610080667A CN 100586201 C CN100586201 C CN 100586201C
- Authority
- CN
- China
- Prior art keywords
- shots
- advertisement
- audio
- video
- advertising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 21
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000190235 Tanakia himantegus chii Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明属于视频分析及检索技术领域，具体涉及一种广告视频检测的方法。现有的广告视频检测方法，一般是从广告具有的图像特征出发来进行识别。这种方法因为仅仅利用了图像特征，因此存在检测错误或检测不全的问题。针对现有技术的不足，本发明提出了同时利用广告视频具有的图像和音频特征综合进行检测。本发明首先检测视频中的镜头边界，然后以镜头为单位，通过镜头中音频帧类型和数目的分析，识别广告镜头和非广告镜头，并通过平滑处理，最终检测出广告视频。试验结果证明了本发明的有效性，从而实现了从视频中自动检测广告的应用。
Description
技术领域
本发明属于视频分析及检索技术领域，具体涉及一种广告视频检测的方法。
背景技术
随着人类视频信息的常年累积，如电视台视频节目的积累、网上数字视频的增加、家庭视频的增多，以及数字图书馆、视频点播、远程教学等大量的应用，视频信息已经出现爆炸性增长。为了有效地利用这些信息，视频分析与检索技术也就成为近年来计算机研究和应用的热点问题。
在众多的视频类型中，广告视频作为一种重要形式，伴随着我们的日常生活，具有非常重要的使用价值和商业价值。其中，如何从视频中自动检测出广告，则是广告视频研究和应用的关键问题。现有的广告视频检测方法，一般是从广告具有的图像特征出发来进行识别，这种方法因为仅仅利用了图像特征，因此存在检测错误或检测不全的问题。如1999年在ICMCS国际会议上发表的文献“AudiCom：a Video Analysis System for Auditing CommercialBroadcasts”(作者是J.M.Sanchez和X.Binefa)，利用图像特征检测知道的或者注册过的广告，而音频特征没有被使用。
发明内容
针对现有技术的不足，本发明提出了同时利用广告视频具有的图像和音频特征，综合进行检测。本发明首先检测视频中的镜头，然后以镜头为单位，通过镜头中音频帧类型和数目的分析，识别广告镜头和非广告镜头，并通过平滑处理，最终检测出广告视频。试验结果证明了本发明的有效性，从而实现了从视频中自动检测广告的应用。
本发明的目的是这样实现的：
(1)检测视频中的镜头；
(2)以每个镜头为单位进行分析，如满足以下任何一个条件，则判断该镜头为广告镜头：
(A)镜头中包含的音频帧数目小于400，并且该镜头中包含的音乐帧比例大于20％；
或者，
(B)镜头中音乐帧所占比例大于除音乐声类以外的其它任何一个音频种类所占的比例；
(3)按照以下原则进行平滑处理操作：
(a)如果连续的广告镜头中有小于k个孤立的非广告镜头，则将这些非广告镜头修改为广告镜头；
(b)如果连续的非广告镜头中有小于k个孤立的广告镜头，则将这些广告镜头修改为非广告镜头；其中k为3；
(4)集合上述检测出的广告镜头，得到广告视频。
进一步，运用声音分类器判断音频帧是否是音乐帧，采用基于支持向量机的分类模型进行音频分类。
所述分类模型分为两部分：分类器模型训练和分类预测。
进一步，音频帧的音频特征采用的是对数能量和梅尔倒频谱系数组成的13维特征向量。
进一步，分类器模型训练的过程是：
1)选择训练样本；
2)提取每一个样本的对数能量和梅尔倒频谱系数组成的音频特征，并将所有这些特征写入一个特征文件中；
3)利用支持向量机生成分类器模型，分类以帧为单位，给每个音频帧赋值一个相应的类别，训练样本的类别标注也是以帧为单位，利用标注好的类别进行支持向量机模型训练，最终训练生成一个4类的分类器模型。
进一步，所述训练样本包含下列4类：(1)音乐声；(2)说话声；(3)背景声；(4)无声。
进一步，所述分类预测具体做法为：对于要进行分类的视频，先提取该视频对应音频的对数能量和梅尔倒频谱系数组成的音频特征，并利用支持向量机训练出来的分类器模型进行自动分类标注。
进一步，k的值为3。
本发明的效果在于：本发明能够有效实现从视频中检测出广告视频。
本发明之所以具有如此显著的技术效果，其原因在于：
现有的广告视频检测方法，一般是从广告具有的图像特征出发，来进行识别。这种方法因为仅仅利用了图像特征，因此存在检测错误或检测不全的问题。针对现有技术的不足，本发明提出了同时利用广告视频具有的图像和音频特征，综合进行检测。本发明首先检测视频中的镜头边界，然后以镜头为单位，通过镜头中音频帧类型和数目的分析，识别广告镜头和非广告镜头，并通过平滑处理，最终检测出广告视频。试验结果证明了本发明的有效性，从而实现了从视频中有效检测广告视频的应用。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面结合具体实施例，对本发明作进一步详细的描述。
本发明广告视频检测的方法的流程图，如图1所示，包括以下步骤：
(1)检测视频中的镜头；
首先使用时空切片算法(spatio-temporal slice)，检测视频中的镜头，关于时空切片算法的详细描述可以参考文献“Video Partitioning byTemporal Slice Coherency”[C.W.Ngo，T.C.Pong，and R.T.Chin，IEEE Transactions on Circuits and Systems for Video Technology，Vol.11，No.8，pp.941-953，August，2001]。
(2)以每个镜头为单位进行分析，如满足以下任何一个条件，则判断该镜头为广告镜头；
(A)镜头中包含的音频帧数目小于400，并且该镜头中包含的音乐帧比例大于20％；或者
(B)镜头中音乐帧所占比例大于其它任何一个音频种类所占的比例。
运用声音分类器判断音频帧是否是音乐帧，音频分类采用了基于支持向量机的分类模型，分为两部分：分类器模型训练和分类预测。音频特征采用的是对数能量和梅尔倒频谱系数组成的13维特征向量。分类器模型训练的过程是：首先选择训练样本，然后提取每一个样本的对数能量和梅尔倒频谱系数组成的音频特征，并将所有这些特征写入一个特征文件中，然后利用支持向量机生成分类器模型，训练样本包含下列4类：(1)音乐声；(2)说话声；(3)背景声；(4)无声。分类以帧为单位，给每个音频帧赋值一个相应的类别，训练样本的类别标注也是以帧为单位，利用标注好的类别进行模型训练，最终训练生成一个4类的分类器模型。分类预测时，对于要进行分类的视频，提取该视频对应音频的对数能量和梅尔倒频谱系数组成的音频特征，然后利用支持向量机训练出来的分类器模型进行自动分类标注。
(3)按照以下原则进行平滑处理操作：
(a)如果连续的广告镜头中有小于k个孤立的非广告镜头，则将这些非广告镜头修改为广告镜头；
(b)如果连续的非广告镜头中有小于k个孤立的广告镜头，则将这些广告镜头修改为非广告镜头。在本实施例中，k＝3；
或者
(a)如果连续的广告镜头中有k个孤立的非广告镜头，则将这些非广告镜头修改为广告镜头；
(b)如果连续的非广告镜头中有k个孤立的广告镜头，则将这些广告镜头修改为非广告镜头。在本实施例中，k＝3。
(4)集合上述检测出的广告镜头，从而得到广告视频。
下面的实验结果表明，本发明能够实现从视频中检测出广告视频，证明了本发明的有效性。
试验使用了一个1小时的视频，人工观看共有9个广告。应用本发明的方法，如上述实施方式所示，即首先自动检测该视频的镜头；然后以每个镜头为单位进行分析，判断该镜头是否为广告镜头；基于上述结果，进行平滑处理；最后，集合所有检测出的广告镜头，从而得到广告视频。该检测到的广告视频，和原视频中的9个广告对比，结果是本发明检测出了所有这9个广告，因此取得了100％的正确率。
另外，因为本发明是以镜头为单位检测广告视频，因此，在试验结果中，需要进一步评价广告视频的边界是否检测准确，因此，本发明使用了下列2个标准进行评价：
查准率＝本发明检测的正确广告镜头/本发明检测的所有广告镜头；
查全率＝本发明检测的正确广告镜头/视频中包括的所有广告镜头。
试验结果采用下列方法进行评价：用本发明自动检测到的广告镜头，和人工观看的广告视频镜头进行对照，最后结果如下：应用本发明的方法，查全率＝100％，查准率＝86％。这样，本发明检测出了视频中所有的广告镜头，并且达到了86％的准确率，取得了很好的效果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1、一种广告视频检测的方法，包括以下步骤：
(1)检测视频中的镜头；
(2)以每个镜头为单位进行分析，如满足以下任何一个条件，则判断该镜头为广告镜头：
(A)镜头中包含的音频帧数目小于400，并且该镜头中包含的音乐帧比例大于20％；
或者，
(B)镜头中音乐帧所占比例大于说话声、背景声和无声中任何一个音频种类所占的比例；
(3)按照以下原则进行平滑处理操作：
(a)如果连续的广告镜头中有小于k个孤立的非广告镜头，则将这些非广告镜头镜头修改为广告镜头；
(b)如果连续的非广告镜头中有小于k个孤立的广告镜头，则将这些广告镜头修改为非广告镜头；
其中k为3；
(4)集合上述检测出的广告镜头，得到广告视频。
2、如权利要求1所述的一种广告视频检测的方法，其特征在于：步骤(2)中，运用声音分类器判断音频帧是否是音乐帧，采用基于支持向量机的分类模型进行音频分类。
3、如权利要求2所述的一种广告视频检测的方法，其特征在于：所述分类模型分为两部分：分类器模型训练和分类预测。
4、如权利要求1、2或3所述的一种广告视频检测的方法，其特征在于：音频帧的音频特征采用的是对数能量和梅尔倒频谱系数组成的13维特征向量。
5、如权利要求3所述的一种广告视频检测的方法，其特征在于：分类器模型训练的过程是：
1)选择训练样本；
2)提取每一个样本的对数能量和梅尔倒频谱系数组成的音频特征，并将所有这些特征写入一个特征文件中；
3)利用支持向量机生成分类器模型，分类以帧为单位，给每个音频帧赋值一个相应的类别，训练样本的类别标注也是以帧为单位，利用标注好的类别进行支持向量机模型训练，最终训练生成一个4类的分类器模型。
6、如权利要求5所述的一种广告视频检测的方法，其特征在于：所述训练样本包含下列4类：(1)音乐声；(2)说话声；(3)背景声；(4)无声。
7、如权利要求3、5或6所述的一种广告视频检测的方法，其特征在于：分类预测具体做法为：对于要进行分类的视频，先提取该视频对应音频的对数能量和梅尔倒频谱系数组成的音频特征，并利用支持向量机训练出来的分类器模型进行自动分类标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200610080667A CN100586201C (zh) | 2006-05-25 | 2006-05-25 | 一种广告视频检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200610080667A CN100586201C (zh) | 2006-05-25 | 2006-05-25 | 一种广告视频检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101080028A CN101080028A (zh) | 2007-11-28 |
| CN100586201C true CN100586201C (zh) | 2010-01-27 |
Family
ID=38907209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200610080667A Expired - Fee Related CN100586201C (zh) | 2006-05-25 | 2006-05-25 | 一种广告视频检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100586201C (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102760169A (zh) * | 2012-06-13 | 2012-10-31 | 天脉聚源(北京)传媒科技有限公司 | 一种电视直播流中的广告段检测方法 |
| CN102799633B (zh) * | 2012-06-26 | 2015-07-15 | 天脉聚源(北京)传媒科技有限公司 | 一种广告视频检测方法 |
| CN105763884A (zh) * | 2014-12-18 | 2016-07-13 | 广州市动景计算机科技有限公司 | 视频处理方法、装置及设备 |
| CN107452401A (zh) * | 2017-05-27 | 2017-12-08 | 北京字节跳动网络技术有限公司 | 一种广告语音识别方法及装置 |
| CN107426585A (zh) * | 2017-08-01 | 2017-12-01 | 中国农业大学 | 一种基于音视频信息检索的电视广告监播系统 |
| CN108769731B (zh) * | 2018-05-25 | 2021-09-24 | 北京奇艺世纪科技有限公司 | 一种检测视频中目标视频片段的方法、装置及电子设备 |
| CN110996138B (zh) * | 2019-12-17 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 一种视频标注方法、设备及存储介质 |
| US11678029B2 (en) | 2019-12-17 | 2023-06-13 | Tencent Technology (Shenzhen) Company Limited | Video labeling method and apparatus, device, and computer-readable storage medium |
| CN113382290B (zh) * | 2021-06-17 | 2023-06-09 | 辽宁首耀新能源科技发展有限公司 | 一种广告视频替换的方法 |
-
2006
- 2006-05-25 CN CN200610080667A patent/CN100586201C/zh not_active Expired - Fee Related
Non-Patent Citations (6)
| Title |
|---|
| A Highlight Scene Detection and Video SummarizationSystemusing Audio Feature for a Personal Video Recorder. Otsuka, I., etc.IEEE Transactions on Consumer Electronics,Vol.Vol.51 No.No.1. 2005 |
| A Highlight Scene Detection and Video SummarizationSystemusing Audio Feature for a Personal Video Recorder. Otsuka, I., etc.IEEE Transactions on Consumer Electronics,Vol.Vol.51 No.No.1. 2005 * |
| 基于内容的视频检索关键技术. 彭宇新，Ngo，Chong-Wah，郭宗明，肖建国.计算机工程，第Vol.30卷第No.1期. 2004 |
| 基于内容的视频检索关键技术. 彭宇新，Ngo，Chong-Wah，郭宗明，肖建国.计算机工程，第Vol.30卷第No.1期. 2004 * |
| 视频流中广告内容的检测. 明鸣，朱明.计算机工程，第Vol.31卷第No.6期. 2005 |
| 视频流中广告内容的检测. 明鸣，朱明.计算机工程，第Vol.31卷第No.6期. 2005 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101080028A (zh) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100586201C (zh) | 一种广告视频检测的方法 | |
| US11665288B2 (en) | Methods and apparatus to identify media using hybrid hash keys | |
| CN111797820B (zh) | 一种视频数据处理方法、装置、电子设备及存储介质 | |
| CN110650359B (zh) | 使用散列键识别媒体的方法和装置 | |
| JP2005530214A (ja) | メガ話者識別（ｉｄ）システム及びその目的に相当する方法 | |
| CN1957396A (zh) | 分析信息信号的设备和方法 | |
| US11653062B2 (en) | Methods and apparatus to determine audio source impact on an audience of media | |
| US11558661B2 (en) | Methods and apparatus to identify streaming media sources | |
| CN111370022B (zh) | 音频广告检测方法、装置、电子设备及介质 | |
| US8116462B2 (en) | Method and system of real-time identification of an audiovisual advertisement in a data stream | |
| CN112913251B (zh) | 利用水印和签名的媒体识别 | |
| US20100114345A1 (en) | Method and system of classification of audiovisual information | |
| US20150051912A1 (en) | Method for Segmenting Videos and Audios into Clips Using Speaker Recognition | |
| JP2010038943A (ja) | 音響信号処理装置及び方法 | |
| Zhao et al. | Fast commercial detection based on audio retrieval | |
| Chaisorn et al. | Two-level multi-modal framework for news story segmentation of large video corpus | |
| US12132957B2 (en) | Methods and apparatus to identify streaming media sources | |
| Petridis et al. | A multi-class method for detecting audio events in news broadcasts | |
| CN105933761B (zh) | 一种新型视听节目广告投播方法 | |
| CN116662608A (zh) | 一种广告识别方法 | |
| Rehatschek et al. | Mediacampaign—A multimodal semantic analysis system for advertisement campaign detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220913 Address after: 3007, Hengqin international financial center building, No. 58, Huajin street, Hengqin new area, Zhuhai, Guangdong 519031 Patentee after: New founder holdings development Co.,Ltd. Patentee after: Peking University Patentee after: PEKING University FOUNDER R & D CENTER Address before: 100871, fangzheng building, 298 Fu Cheng Road, Beijing, Haidian District Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: Peking University Patentee before: PEKING University FOUNDER R & D CENTER |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100127 |