CN103617263A - 一种基于多模态特征的电视广告片花自动检测方法 - Google Patents
一种基于多模态特征的电视广告片花自动检测方法 Download PDFInfo
- Publication number
- CN103617263A CN103617263A CN201310632893.7A CN201310632893A CN103617263A CN 103617263 A CN103617263 A CN 103617263A CN 201310632893 A CN201310632893 A CN 201310632893A CN 103617263 A CN103617263 A CN 103617263A
- Authority
- CN
- China
- Prior art keywords
- video
- method based
- advertisement film
- audio
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title abstract description 8
- 239000012634 fragment Substances 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 abstract 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 abstract 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 abstract 1
- 238000007670 refining Methods 0.000 abstract 1
- 230000003252 repetitive effect Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多模态特征的电视广告片花自动检测方法，a.将电视视频数据分割为镜头单元；b.对a中提取的音频指纹特征做索引；c.在索引中查找视频其它位置处相似的地方；d.对c步骤通过音频比对获得的视频匹配段候选；e.细化匹配搜索其边界点；f.对e步骤产生的很多视频片段匹配对的结果，进行后处理，排除时间或内容重复性片段；g.对f步骤的结果视频段，再进一步利用特征识别判断是否是广告片花；h.对g步骤的判断结束后，最后输出结果。本发明的一种基于多模态特征的电视广告片花自动检测方法，（1）自动广告片花片段高效准确自动发现；（2）无监督的广告片花片段自动发现方式；（3）后处理排除冗余结果。
Description
技术领域
本发明涉及视频智能分析的领域，尤其是一种基于多模态特征的电视广告片花自动检测方法，可以实现重复段检测、音频匹配和视觉匹配相集合。
背景技术
随着因特网和传统媒体的迅速发展,数字化媒体正逐渐成为人们工作生活中的不可或缺的重要信息载体。而广告作为一种极其重要的商业手段是数字化媒体应用的重要组成部分,随着人们生活水平的提高,电视媒体作为一种娱乐方式,也在不断丰富中。商家为了其产品有更广泛的影响力和知名度,越来越多地在电视节目中投放和产品有关的广告,尤其在黄金时间和热播节目中间,广告片断层出不穷,但是对于广大电视观众,却不能流畅完整地观看电视节目。所以,对于电视节目中的广告,商家需要知道其投放的广告是否正常播放,而普通电视观众为了观看或者收藏完整的节目视频,希望将其中的广告部分去除。因此,对电视节目的广告进行自动监测成为不同用户的共同追求。
对电视视频流中的广告片花检测或识别的方法有两大类型：1）有监督学习的，需要首先收集一批广告片花片段的视频数据，然后通过训练识别或模板匹配对新的视频流进行识别检测，这种方法需要首先收集大量的电视广告数据；2）无监督方法，利用电视广告片花重复性播放的特点，对多天的电视视频节目进行重复片段的检测，作为广告片花片段候选，这种方法不需要事先收集电视广告片花数据，而且可以为第1）种方法提供训练数据。
基于无监督方法，即重复片段检测的广告片花自动监测包括三个方面的内容：1）特征提取和索引；2）重复段的检出；3）检出片段的优化，包括重复性片段的排除、边界细化等。而主要实用问题有两个方面：1）电视视频数据量很大，多个电视台每天24小时的数据，实用系统实现要求高效率快速；2）广告片花片段检测结果的准确性，包括边界的准确性。
现有技术一的技术方案：基于学习的广告识别：收集一批广告视频段作为训练数据，以镜头单位，并考虑前后的上下文镜头信息，提取音频、视觉一系列特征，用SVM训练分类器，对测试视频数据同样提取特征，并对每一个镜头进行识别判断是不是广告，其存在缺点（1）需要预先准备训练数据，使用不方便；（2）识别计算比较耗时，效率不高。
现有技术二的技术方案：电视视频中的无监督的重复性片段检测：对电视视频分段提取音频和视觉特征，并同时结合利用它们进行聚类，从而发现类似的视频片段，其存在缺点（1）同时提取使用音视频特征，没能很好地利用音频处理速度快而视频相对准确性高的特点，处理大量数据时效率不高，并且结果准确性欠佳；（2）对结果没有进行广告片花边界点的细化查找，没有后处理。
发明内容
本发明要解决的技术问题是：为了克服上述中存在的问题，提供一种基于多模态特征的电视广告片花自动检测方法，使其能够无监督地高效准确地自动从电视节目视频流中检测出广告片花片段。
本发明解决其技术问题所采用的技术方案是：一种基于多模态特征的电视广告片花自动检测方法，具体步骤如下：
a.选取一天24小时或多天的电视视频数据，将电视视频数据分割为镜头单元，利用分帧提取其音频指纹特征和镜头关键帧视觉特征；
b.对a中提取的音频指纹特征做基于k-d树的方法的索引；
c.对a中电视视频数据的逐个小段在索引中查找视频其它位置处相似的地方，作为相同节目段的候选；
d.对c步骤通过音频比对获得的视频匹配段候选，使用视觉特征进行匹配验证；
e.对通过d步骤验证的片段，细化匹配搜索其边界点，即起点和终点；
f.对e步骤产生的很多视频片段匹配对的结果，进行后处理，排除时间或内容重复性片段；
g.对f步骤的结果视频段，再进一步利用特征识别判断是否是广告片花；
h.对g步骤的判断结束后，最后输出结果
本发明的有益效果是，本发明的一种基于多模态特征的电视广告片花自动检测方法，
（1）自动广告片花片段高效准确自动发现：音频特征匹配速度快，但视频帧图像特征匹配准确性要高，所以采用先基于音频获取候选片段，再用视觉特征对候选片段进行过滤、边界确定等后处理，既保证准确性，又效率很高；
（2）无监督的广告片花片段自动发现方式:通过重复段的检测，基于重复出现的原则，发现可能的广告和节目片花片段，不需要事先收集一批广告片花的训练数据，使用方便；
（3）后处理排除冗余结果：广告或片花片段会在电视视频流里面重复出现多次，并存在着同一个广告长短版本不同的情况，通过后处理，排除重复性的结果，并保留不同版本的广告或片花。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的一种基于多模态特征的电视广告片花自动检测方法的总体流程图；
图2是本发明的一种基于多模态特征的电视广告片花自动检测方法中基于索引匹配的流程图；
图3是本发明的一种基于多模态特征的电视广告片花自动检测方法中视频结果段后处理的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的一种基于多模态特征的电视广告片花自动检测方法，具体步骤如下：
a.选取一天24小时或多天的电视视频数据，将电视视频数据分割为镜头单元，其电视视频数据分割根据视频帧与帧之间的颜色直方图差异，采用方法：[]J.Mas and G.Fernandez,“Video shot boundary detection based on colorhistogram,”Notebook Papers TRECVID,2003，利用分帧提取其音频指纹特征和镜头关键帧视觉特征，其音频指纹特征采用以下快速高效的音频指纹特征提取方式：[]Jaap Haitsma,T.K.2002.A Highly Robust Audio FingerprintingSystem.In:ISMIR，镜头关键帧视觉特征对每一关键帧，提取3*3分块颜色矩(Color moment)特征，采用以下方法：[]stricker M，Orengo M.similarityof col0r images[J].Proc.SPIE St0rage and Retrieval f0r Image and VideoD tabases，1995，242O：381—392；
b.对a中提取的音频指纹特征做索引，从而实现索引的建立和检索，其使用基于k-d树的方法，k-d树是每个节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分割成两部分。在超平面左边的点代表节点的左子树，在超平面右边的点代表节点的右子树。超平面的方向可以用下述方法来选择：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。这样，超平面可以用该x值来确定，其法矢为x轴的单位向量；
c.对a中电视视频数据的逐个小段在索引中查找视频其它位置处相似的地方，作为相同节目段的候选；
d.对c步骤通过音频比对获得的视频匹配段候选，使用视觉特征进行匹配验证；
e.对通过d步骤验证的片段，细化匹配搜索其边界点，即起点和终点，如图2所示，其具体步骤如下：检出近邻镜头（排除自身5s内）后向后段匹配，匹配结束后继续向后段匹配直至不匹配，然后向前逐个镜头匹配寻找终点，存入结果列表，最后对结果列表进行后处理；
f.对e步骤产生的很多视频片段匹配对的结果，进行后处理，如图3所示，排除时间或内容重复性片段；
g.对f步骤的结果视频段，再进一步利用特征识别判断是否是广告片花；
h.对g步骤的判断结束后，最后输出结果。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (1)
1.一种基于多模态特征的电视广告片花自动检测方法，其特征是具体步骤如下：
a.选取一天24小时或多天的电视视频数据，将电视视频数据分割为镜头单元，利用分帧提取其音频指纹特征和镜头关键帧视觉特征；
b.对a中提取的音频指纹特征做基于k-d树的方法的索引；
c.对a中电视视频数据的逐个小段在索引中查找视频其它位置处相似的地方，作为相同节目段的候选；
d.对c步骤通过音频比对获得的视频匹配段候选，使用视觉特征进行匹配验证；
e.对通过d步骤验证的片段，细化匹配搜索其边界点，即起点和终点；
f.对e步骤产生的很多视频片段匹配对的结果，进行后处理，排除时间或内容重复性片段；
g.对f步骤的结果视频段，再进一步利用特征识别判断是否是广告片花；
h.对g步骤的判断结束后，最后输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310632893.7A CN103617263A (zh) | 2013-11-29 | 2013-11-29 | 一种基于多模态特征的电视广告片花自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310632893.7A CN103617263A (zh) | 2013-11-29 | 2013-11-29 | 一种基于多模态特征的电视广告片花自动检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103617263A true CN103617263A (zh) | 2014-03-05 |
Family
ID=50167966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310632893.7A Pending CN103617263A (zh) | 2013-11-29 | 2013-11-29 | 一种基于多模态特征的电视广告片花自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103617263A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104185017A (zh) * | 2013-05-23 | 2014-12-03 | 中国科学院深圳先进技术研究院 | 视频匹配方法和系统 |
| CN106375867A (zh) * | 2016-08-22 | 2017-02-01 | 无锡天脉聚源传媒科技有限公司 | 一种在电视视频中切割广告的方法及装置 |
| CN106601243A (zh) * | 2015-10-20 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种视频文件识别方法及装置 |
| CN107426585A (zh) * | 2017-08-01 | 2017-12-01 | 中国农业大学 | 一种基于音视频信息检索的电视广告监播系统 |
| CN107452371A (zh) * | 2017-05-27 | 2017-12-08 | 北京字节跳动网络技术有限公司 | 一种语音分类模型的构建方法及装置 |
| CN107798563A (zh) * | 2017-11-09 | 2018-03-13 | 山东师范大学 | 基于多模态特征的互联网广告效果测评方法及系统 |
| CN108520078A (zh) * | 2018-04-20 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 视频识别方法和装置 |
| CN110476428A (zh) * | 2017-03-29 | 2019-11-19 | 尼尔森（美国）有限公司 | 使用覆盖的定向内容放置 |
| CN116862626A (zh) * | 2023-09-05 | 2023-10-10 | 广州数说故事信息科技有限公司 | 一种多模态商品对齐方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040170392A1 (en) * | 2003-02-19 | 2004-09-02 | Lie Lu | Automatic detection and segmentation of music videos in an audio/video stream |
| CN101316327A (zh) * | 2007-05-29 | 2008-12-03 | 中国科学院计算技术研究所 | 一种多模态融合的采访镜头检测方法 |
| CN101834982A (zh) * | 2010-05-28 | 2010-09-15 | 上海交通大学 | 基于多模态的暴力视频分层筛选方法 |
| CN103123619A (zh) * | 2012-12-04 | 2013-05-29 | 江苏大学 | 基于情感上下文的视觉语音多模态协同分析方法及系统 |
-
2013
- 2013-11-29 CN CN201310632893.7A patent/CN103617263A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040170392A1 (en) * | 2003-02-19 | 2004-09-02 | Lie Lu | Automatic detection and segmentation of music videos in an audio/video stream |
| CN101316327A (zh) * | 2007-05-29 | 2008-12-03 | 中国科学院计算技术研究所 | 一种多模态融合的采访镜头检测方法 |
| CN101834982A (zh) * | 2010-05-28 | 2010-09-15 | 上海交通大学 | 基于多模态的暴力视频分层筛选方法 |
| CN103123619A (zh) * | 2012-12-04 | 2013-05-29 | 江苏大学 | 基于情感上下文的视觉语音多模态协同分析方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 姚正忠 等: ""广播电视广告智能检测系统的设计与实现"", 《广播与电视技术》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104185017B (zh) * | 2013-05-23 | 2017-02-08 | 中国科学院深圳先进技术研究院 | 视频匹配方法和系统 |
| CN104185017A (zh) * | 2013-05-23 | 2014-12-03 | 中国科学院深圳先进技术研究院 | 视频匹配方法和系统 |
| CN106601243B (zh) * | 2015-10-20 | 2020-11-06 | 阿里巴巴集团控股有限公司 | 一种视频文件识别方法及装置 |
| CN106601243A (zh) * | 2015-10-20 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种视频文件识别方法及装置 |
| CN106375867A (zh) * | 2016-08-22 | 2017-02-01 | 无锡天脉聚源传媒科技有限公司 | 一种在电视视频中切割广告的方法及装置 |
| CN110476428B (zh) * | 2017-03-29 | 2022-02-11 | 六科股份有限公司 | 使用覆盖进行定向内容放置的方法和系统 |
| CN110476428A (zh) * | 2017-03-29 | 2019-11-19 | 尼尔森（美国）有限公司 | 使用覆盖的定向内容放置 |
| CN107452371A (zh) * | 2017-05-27 | 2017-12-08 | 北京字节跳动网络技术有限公司 | 一种语音分类模型的构建方法及装置 |
| CN107426585A (zh) * | 2017-08-01 | 2017-12-01 | 中国农业大学 | 一种基于音视频信息检索的电视广告监播系统 |
| CN107798563A (zh) * | 2017-11-09 | 2018-03-13 | 山东师范大学 | 基于多模态特征的互联网广告效果测评方法及系统 |
| CN107798563B (zh) * | 2017-11-09 | 2020-05-05 | 山东师范大学 | 基于多模态特征的互联网广告效果测评方法及系统 |
| CN108520078B (zh) * | 2018-04-20 | 2020-03-20 | 百度在线网络技术（北京）有限公司 | 视频识别方法和装置 |
| CN108520078A (zh) * | 2018-04-20 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 视频识别方法和装置 |
| CN116862626A (zh) * | 2023-09-05 | 2023-10-10 | 广州数说故事信息科技有限公司 | 一种多模态商品对齐方法 |
| CN116862626B (zh) * | 2023-09-05 | 2023-12-05 | 广州数说故事信息科技有限公司 | 一种多模态商品对齐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103617263A (zh) | 一种基于多模态特征的电视广告片花自动检测方法 | |
| CN101821734B (zh) | 时基媒体之间的匹配的检测和分类 | |
| CN106407484B (zh) | 一种基于弹幕语义关联的视频标签提取方法 | |
| KR101548438B1 (ko) | 영상을 비교하기 위한 방법 및 장치 | |
| CN107169106B (zh) | 视频检索方法、装置、存储介质及处理器 | |
| CN104376105B (zh) | 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法 | |
| CN103530638B (zh) | 多摄像头下的行人匹配方法 | |
| CN103430175B (zh) | 用于对视频进行比较的方法和装置 | |
| CN107180056B (zh) | 视频中片段的匹配方法和装置 | |
| CN101937506A (zh) | 近拷贝视频检测方法 | |
| CN101162470A (zh) | 一种基于分层匹配的视频广告识别方法 | |
| CN103297851A (zh) | 长视频中目标内容的快速统计与自动审核方法及装置 | |
| CN102890700A (zh) | 一种基于体育比赛视频的相似视频片段检索方法 | |
| Awad et al. | Content-based video copy detection benchmarking at TRECVID | |
| CN103605666A (zh) | 一种进行广告检测的视频拷贝检测方法 | |
| CN102881160A (zh) | 一种低照度场景下的户外交通标志识别方法 | |
| CN103853794A (zh) | 一种基于部件关联的行人检索方法 | |
| Wan et al. | A new technique for summarizing video sequences through histogram evolution | |
| CN103631786A (zh) | 一种视频文件的聚类方法和装置 | |
| Zheng et al. | Multi-spectral vehicle re-identification with cross-directional consistency network and a high-quality benchmark | |
| Strat et al. | Retina enhanced SIFT descriptors for video indexing | |
| Bosilj et al. | Beyond MSER: Maximally stable regions using tree of shapes | |
| Tsai et al. | Album-based object-centric event recognition | |
| CN105554595A (zh) | 一种视频摘要智能提取与分析系统 | |
| CN104484457A (zh) | 一种并行视频运动目标提取和检索的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140305 |