CN103714314B - 一种结合边缘和颜色信息的电视视频台标识别方法 - Google Patents
一种结合边缘和颜色信息的电视视频台标识别方法 Download PDFInfo
- Publication number
- CN103714314B CN103714314B CN201310651670.5A CN201310651670A CN103714314B CN 103714314 B CN103714314 B CN 103714314B CN 201310651670 A CN201310651670 A CN 201310651670A CN 103714314 B CN103714314 B CN 103714314B
- Authority
- CN
- China
- Prior art keywords
- edge
- template
- station symbol
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007619 statistical method Methods 0.000 claims abstract description 4
- 238000004040 coloring Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000002035 prolonged effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种结合边缘和颜色信息的电视视频台标识别方法,a.给定示例视频流,得到多幅边缘图像;b.得到一幅背景干净的边缘台标图像;c.对台标图像所在的区域进行分块,记录每块的大小和起始位置,得到台标的边缘模板;d.给定台标示例视频流,通过长时间的帧间像素统计方法消除背景,得到台标颜色模板;f输出匹配结果,此次匹配结束。本发明的一种结合边缘和颜色信息的电视视频台标识别方法,(1)采用台标半透明化;(2)复杂背景渐变或长时间不变;(3)台标变色,另外,在有些需要颜色识别的情况下,采用建立新模板的方式进行识别。
Description
技术领域
本发明涉及图像识别的领域,尤其是一种结合边缘和颜色信息的电视视频台标识别方法。
背景技术
电视视频中的台标包含了电视台名、信号来源、节目类别等信息,可作为检索、识别未知视频的重要依据,在视频信息导航、安防等领域应用广泛。在大规模视频数据库中,台标可以作为检索工具,将视频节目进行分类;在视频安全监控中,台标可作为重要的特征,检测播放内容的合法性;在视频转播中,识别替换原始台标,避免出现两个台标的情况。研究台标自动识别的意义在设计一种能够在视频序列中有效监测、提取和识别台标的方法,提高电视视频监测效率,为后续的视频分析、理解和检索工作提供重要信息。
台标的正确识别包括三个方面的内容:1)台标的正确分割;2)台标特征的有效表示;3)有效的识别算法。而台标检测与识别主要存在两个难点:1)电视视频背景复杂,如光强变化大、内容切换快等,使得电视台标在检测过程中受背景的影响很大;2)电视台标取向半透明化,使用传统的阈值分割、边缘检测技术已很难提取出效果理想的台标图象。
目前现有技术中与本发明相关的技术,第一种为基于颜色直方图的台标识别算法:此方法包括台标内容的表示以及台标特征的匹配两个问题。在台标内容的表示方面,其按照台标图像的全局和局部的颜色分布来索引图像,通过计算每种颜色的像素的个数并构造颜色直方图和颜色集;在台标特征匹配方面,以颜色特征为基础,进行距离测度计算,利用统计学原理的相似性度量的性质进行台标的检索,其存在缺点:(1)该方法只能检测图像的颜色分布,没有考虑图像的纹理和形状的因素;(2)该方法对相似颜色和透明台标不易识别,识别率不高。第二种为基于关键帧提取和字符串匹配的台标识别算法:此方法首先对提取的关键帧做差分处理,分割出台标图像区域,然后对台标图像做垂直投影并计算出表示台标特征的0-1字符串,最后用改进的字符串匹配算法实现台标的快速识别,此算法存在的缺点为:(1)该方法容易受到台标背景的干扰,对于半透明的台标,无法分割出完整的台标区域;(2)该方法中台标分割的阈值无法自适应选取,分割出的台标区域不稳定,影响台标的正确识别。第三种为基于视频帧加权的台标自动检测算法:此方法首先根据台标位置的先验知识,利用视频帧加权方法对视频图像帧做实时背景更新处理,得到稳定的灰度台标图像;然后采用Canny算子对灰度台标图像进行边缘检测,得到台标的轮廓图像;最后采用简化的分水岭填充算法得到单个台标图像,此算法存在的缺点为:(1)当背景长时间不变或变化很小时,将不能分割出台标或者分割效果不理想;(2)由于半透明台标区域的像素值会随着背景的变化而变化,因此对半透明台标识别效果不理想;(3)视频流中相邻帧图像相似性极高,一般至少每隔30帧抽取一帧做帧差或加权和时算法才有效,因此实时性差;(4)由于背景的复杂性,不是所有台标提取出的边缘都能够形成闭合的线段,所以分水岭填充算法并不总是有效。
发明内容
本发明要解决的技术问题是:为了克服上述中存在的问题,提高一种结合边缘和颜色信息的电视视频台标识别方法,使其能够近实时地检测并识别出电视视频中的台标,经实验证明,本方法对于台标的半透明化、视频背景复杂、视频背景长时间不变等极端情形仍有着很高的识别率和鲁棒性。
本发明解决其技术问题所采用的技术方案是:一种结合边缘和颜色信息的电视视频台标识别方法,具体方法如下:
a.给定示例视频流,选取多帧图像,用Canny算子进行边缘检测,得到多幅边缘图像;
b.首先对多幅边缘图像进行加权求和,然后对多幅边缘图像两两相叠后加权求和,最后对两幅和图像进行求调和平均,从而得到一幅背景干净的边缘台标图像;
c.对台标图像所在的区域进行分块,记录每块的大小和起始位置,得到台标的边缘模板;
d.给定台标示例视频流,通过长时间的帧间像素统计方法消除背景,得到台标颜色模板;
e.给定待识别的视频流,按步骤(a)(b)得到边缘特征图像,然后采用分块匹配的方法,将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果,分两种情况处理:
(1)若经过步骤(e)获得了最佳匹配结果,且匹配分数大于一定的阈值,则可进行如下处理:
A若临时边缘模板为空,则将临时边缘模板初始化为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
B若临时边缘模板不为空,且(e)中得到的匹配分数大于之前的匹配分数,则将临时边缘模板更新为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
(2)若经过步骤(e)没有获得任何匹配结果,但匹配分数满足一定阈值范围,且临时边缘模板不为空,则将(e)中待检测边缘图像与临时边缘模板图像进行匹配,如果匹配成功,转入步骤(f),否则,按步骤(d)得到待检测的颜色特征图像,然后采用逐点匹配的方法,将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配,根据颜色匹配得到的结果,又可分为两种情况处理:
C若经过步骤(2)获得了最佳匹配结果,则根据匹配的台标名称,转入步骤(1);
D若经过步骤(2)仍然没有获得任何匹配结果,则认为模板库中没有符合待识别视流的台标信息,匹配结果设为无;
f输出匹配结果,此次匹配结束。
本发明的有益效果是,本发明的一种结合边缘和颜色信息的电视视频台标识别方法,(1)采用台标半透明化:半透明台标区域的像素值会随着背景的变化而变化,导致台标边缘像素不稳定,边缘特征提取效果不理想,本发明提出的边缘台标模板提取方法对这种半透明台标的边缘提取有很好的效果;(2)复杂背景渐变或长时间不变:基于边缘的台标识别,有时会出现背景复杂的情况。而该问题一般情况下会有一个渐变的过程,该变化会最终会导致测试图像和模板无法匹配,本发明采用在线学习的方法,利用视频流中相邻帧图像相似性,制作临时模板,对于背景复杂而无法提取出干净的台标边缘特征的情形有着很高的识别率,该方法对于背景长时不变的情形同样有效;(3)台标变色:不同信道(机顶盒)得到的相同台的视频,其台标颜色会有部分变化(色彩度和饱和度可能不同),会导致颜色的识别出现问题,采用基于边缘的识别方法基本不会受此问题影响,因为canny算子的提取边缘过程,对于整体颜色变化并不敏感,另外,在有些需要颜色识别的情况下,采用建立新模板的方式进行识别。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的一种结合边缘和颜色信息的电视视频台标识别方法的台标检测与识别流程图;
图2是本发明的一种结合边缘和颜色信息的电视视频台标识别方法中的构建基于边缘的台标模板的流程图;
图3是本发明的一种结合边缘和颜色信息的电视视频台标识别方法中的基于颜色台标模板建立过程的示意图;
图4是本发明的一种结合边缘和颜色信息的电视视频台标识别方法的台标识别的具体流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1和图4所示的一种结合边缘和颜色信息的电视视频台标识别方法,具体方法如下:
a.给定示例视频流,选取多帧图像,采用Canny算子对于训练视频提取出多幅台标区域(左上角区域)的边缘图像;
b.首先对多幅边缘图像进行加权求和,然后对多幅边缘图像两两相叠后加权求和,给每一幅图像一个初始化权值,通过不断的迭代调整这些权值,该迭代过程侧重于图像上边缘点较少的图像影响较大,在满足迭代结束条件之后,生成一幅边缘图像,作为模板图像;
c.对于模板图像通过人机交互,对台标图像所在的区域进行分块,记录每块的大小和起始位置、大小、块内点的数目等信息,存放在与图像同名的dat文件中,其建立过程如图2所示;
基于边缘的台标识别:
该方法主要对于边缘的几个矩形框中对应位置的像素点进行统计,把能够匹配上的像素点的个数分别除以模板和测试图像中边缘点的个数,得到的结果再求平均,作为不同框的相似分数。最终选择相似度最大的模板最为该测试台标的识别结果,如果结果不满足识别要求,则拒识。
d.给定台标示例视频流,通过长时间的帧间像素统计方法消除背景,得到台标颜色模板的创建,首先,对训练视频中,每一帧台标区域(左上角250×120的区域)的像素点进行建模,统计N帧中,每一个像素点的方差情况,记录整个区域的最大方差,然后将方差值小于最大值三分之一的像素点标记为台标前景,其他为台标背景。最后,选择训练视频中的最后一帧,提取出台标前景部分,背景部分置为黑色。如果最终的台标部分有个别噪声(如图3(c)中的左边缝隙),可以通过人工的方式编辑擦除;
基于颜色的台标识别:
如果基于边缘的识别方法未能识别出台标的种类,且测试图像满足一定条件(临时模板为空或识别的最大平均相似度介于0.2至0.3之间),则进行基于颜色的识别。该步骤从模板中非0像素点(黑色)的位置,去找测试区域中相同位置是否有相似颜色的像素点,如果有则相似像素点数加1。然后,统计相似像素点占模板中非0相似点个数的百分比,最为台标的相似度。最终选择相似度最大的模板最为该测试台标的识别结果,如果结果不满足识别要求,则拒识。
e.给定待识别的视频流,按步骤(a)(b)得到边缘特征图像,然后采用分块匹配的方法,将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果,分两种情况处理:
(1)若经过步骤(e)获得了最佳匹配结果,且匹配分数大于一定的阈值,则可进行如下处理:
A若临时边缘模板为空,则将临时边缘模板初始化为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
B若临时边缘模板不为空,且(e)中得到的匹配分数大于之前的匹配分数,则将临时边缘模板更新为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
(2)若经过步骤(e)没有获得任何匹配结果,但匹配分数满足一定阈值范围,且临时边缘模板不为空,则将(e)中待检测边缘图像与临时边缘模板图像进行匹配,如果匹配成功,转入步骤(f),否则,按步骤(d)得到待检测的颜色特征图像,然后采用逐点匹配的方法,将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配,根据颜色匹配得到的结果,又可分为两种情况处理:
C若经过步骤(2)获得了最佳匹配结果,则根据匹配的台标名称,转入步骤(1);
D若经过步骤(2)仍然没有获得任何匹配结果,则认为模板库中没有符合待识别视流的台标信息,匹配结果设为无;
f输出匹配结果,此次匹配结束。
综上所述,如果基于边缘的方法已经识别出台标种类,则直接得到识别结果,不进行基于颜色的识别;如果基于边缘的方法没有能够识别出结果,且满足一定条件(临时模板为空或识别的最大平均相似度介于0.2至0.3之间),则进行基于颜色的识别方法,最终得到识别的结果。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (1)
1.一种结合边缘和颜色信息的电视视频台标识别方法,其特征是具体方法如下:
a.给定示例视频流,选取多帧图像,用Canny算子进行边缘检测,得到多幅边缘图像;
b.首先对多幅边缘图像进行加权求和,然后对多幅边缘图像两两相叠后加权求和,最后对两幅和图像进行求调和平均,从而得到一幅背景干净的边缘台标图像;
c.对台标图像所在的区域进行分块,记录每块的大小和起始位置,得到台标的边缘模板;
d.给定台标示例视频流,通过长时间的帧间像素统计方法消除背景,得到台标颜色模板;
e.给定待识别的视频流,按步骤(a)(b)得到边缘特征图像,然后采用分块匹配的方法,将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果,分两种情况处理:
(1)若经过步骤(e)获得了最佳匹配结果,且匹配分数大于一定的阈值,则可进行如下处理:
A若临时边缘模板为空,则将临时边缘模板初始化为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
B若临时边缘模板不为空,且(e)中得到的匹配分数大于之前的匹配分数,则将临时边缘模板更新为(e)中待识别的边缘特征图像,并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f);
(2)若经过步骤(e)没有获得任何匹配结果,但匹配分数满足一定阈值范围,且临时边缘模板不为空,则将(e)中待检测边缘图像与临时边缘模板图像进行匹配,如果匹配成功,转入步骤(f),否则,按步骤(d)得到待检测的颜色特征图像,然后采用逐点匹配的方法,将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配,根据颜色匹配得到的结果,又可分为两种情况处理:
C若经过步骤(2)获得了最佳匹配结果,则根据匹配的台标名称,转入步骤(1);
D若经过步骤(2)仍然没有获得任何匹配结果,则认为模板库中没有符合待识别视流的台标信息,匹配结果设为无;
f输出匹配结果,此次匹配结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310651670.5A CN103714314B (zh) | 2013-12-06 | 2013-12-06 | 一种结合边缘和颜色信息的电视视频台标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310651670.5A CN103714314B (zh) | 2013-12-06 | 2013-12-06 | 一种结合边缘和颜色信息的电视视频台标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103714314A CN103714314A (zh) | 2014-04-09 |
CN103714314B true CN103714314B (zh) | 2017-04-19 |
Family
ID=50407274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310651670.5A Active CN103714314B (zh) | 2013-12-06 | 2013-12-06 | 一种结合边缘和颜色信息的电视视频台标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103714314B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105872840A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 卫视台标识别方法及装置 |
WO2017088478A1 (zh) * | 2015-11-24 | 2017-06-01 | 乐视控股(北京)有限公司 | 数字分离方法及装置 |
CN105678298B (zh) * | 2016-01-11 | 2019-02-12 | 上海赛特斯信息科技股份有限公司 | 台标识别方法 |
CN109977859B (zh) * | 2019-03-25 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 一种图标识别的方法以及相关装置 |
CN110856033B (zh) * | 2019-12-05 | 2021-12-10 | 米哈游科技(上海)有限公司 | 一种对象显示方法、装置、终端及存储介质 |
CN111753762B (zh) | 2020-06-28 | 2024-03-15 | 北京百度网讯科技有限公司 | 视频中关键标识的识别方法、装置、设备以及存储介质 |
CN112906656A (zh) * | 2021-03-30 | 2021-06-04 | 自然资源部第三海洋研究所 | 水下照片珊瑚礁识别方法、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739561A (zh) * | 2008-11-11 | 2010-06-16 | 中国科学院计算技术研究所 | 一种电视台标训练方法和识别方法 |
CN101950366A (zh) * | 2010-09-10 | 2011-01-19 | 北京大学 | 一种台标检测和识别的方法 |
CN102289663A (zh) * | 2011-07-29 | 2011-12-21 | 四川长虹电器股份有限公司 | 一种基于颜色和形状的台标识别方法 |
CN102426647A (zh) * | 2011-10-28 | 2012-04-25 | Tcl集团股份有限公司 | 一种台标识别的方法、装置 |
-
2013
- 2013-12-06 CN CN201310651670.5A patent/CN103714314B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739561A (zh) * | 2008-11-11 | 2010-06-16 | 中国科学院计算技术研究所 | 一种电视台标训练方法和识别方法 |
CN101950366A (zh) * | 2010-09-10 | 2011-01-19 | 北京大学 | 一种台标检测和识别的方法 |
CN102289663A (zh) * | 2011-07-29 | 2011-12-21 | 四川长虹电器股份有限公司 | 一种基于颜色和形状的台标识别方法 |
CN102426647A (zh) * | 2011-10-28 | 2012-04-25 | Tcl集团股份有限公司 | 一种台标识别的方法、装置 |
Non-Patent Citations (3)
Title |
---|
Supervised Tv Logo Detection Based on SVMS;Guoruixiao等;《2010 2nd IEEE InternationalConference on Network Infrastructure and Digital Content》;20100926;全文 * |
基于改进Chamfer匹配的台标识别;胡星火等;《计算机工程》;20130131;第39卷(第1期);全文 * |
基于边缘和颜色信息的台标识别方法研究;李艳梅;《中国优秀硕士学位论文全文数据库(电子期刊)》;20130915(第9期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103714314A (zh) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103714314B (zh) | 一种结合边缘和颜色信息的电视视频台标识别方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
Recky et al. | Windows detection using k-means in cie-lab color space | |
CN103699532B (zh) | 图像颜色检索方法和系统 | |
CN102196292B (zh) | 基于人机交互生成视频深度图序列的方法及系统 | |
CN105005766B (zh) | 一种车身颜色识别方法 | |
CN110930427B (zh) | 一种基于语义轮廓信息的图像分割方法、设备和存储介质 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN107507206B (zh) | 一种基于显著性检测的深度图提取方法 | |
CN108093314B (zh) | 一种视频新闻拆分方法及装置 | |
JP2013235577A (ja) | 尤度最大化を用いたナンバープレートの文字分割 | |
CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
CN106373096B (zh) | 一种多特征权值自适应的阴影消除方法 | |
CN107977645B (zh) | 一种视频新闻海报图的生成方法及装置 | |
El Khoury et al. | Color and sharpness assessment of single image dehazing | |
CN104123529A (zh) | 人手检测方法及系统 | |
CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN106570885A (zh) | 基于亮度和纹理融合阈值的背景建模方法 | |
CN106599834A (zh) | 信息推送方法和系统 | |
CN109660814B (zh) | 一种视频前景删除篡改的检测方法 | |
CN106066887A (zh) | 一种广告序列图像快速检索和分析方法 | |
CN113673534A (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
CN106951831A (zh) | 一种基于深度摄像机的行人检测跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190329 Address after: 230000 Room 1201, Block D, Lenovo Science and Technology Port, 5899 Xiyou Road, Hefei Economic and Technological Development Zone, Anhui Province Patentee after: Anhui Yichen Shenshi Technology Co., Ltd. Address before: 230601 No. 111 Kowloon Road, Hefei economic and Technological Development Zone, Anhui Patentee before: Anhui University |
|
TR01 | Transfer of patent right |