CN103902987A - 一种基于卷积网络的台标识别方法 - Google Patents
一种基于卷积网络的台标识别方法 Download PDFInfo
- Publication number
- CN103902987A CN103902987A CN201410156448.2A CN201410156448A CN103902987A CN 103902987 A CN103902987 A CN 103902987A CN 201410156448 A CN201410156448 A CN 201410156448A CN 103902987 A CN103902987 A CN 103902987A
- Authority
- CN
- China
- Prior art keywords
- station symbol
- station
- convolution
- carry out
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积网络技术的台标识别方法，针对处理相似台标在卷积神经网络识别准确度不高的问题，提出了一种级联神经网络来分类识别台标。其步骤是：第一步采集所需要识别的台标样本；第二步建立级联型卷积网络阵列，把采集的样本进行训练；第三步测试的图像经过卷积神经网络阵列运算，第四步统计阵列计算的结果判定所属台标。本发明已经在PC机进行了实验，进行40个电视台标的识别，包括10个CCTV电视台标和29个非CCTV台标、1个非台标。识别结果：40个台平均识别率为96.98%，平均错误率为0.62%。
Description
技术领域
本发明涉及台标识别技术领域，特别是一种基于卷积网络的台标识别方法。
背景技术
台标识别技术是近几年技术进步与市场需求双重催生下发展起来的，它是现代电视技术、网络信息技术、图像处理与人工智能等技术发展下的产物，是目前基于内容的视频检索、分析、理解等领域的热门技术。
原有的台标识别方法种类繁多，常用的方法包括Hu不变矩法、模板匹配法、基于边缘检测以及基于区域的方法。随着机器智能技术的发展，相关研究人员提出基于神经网络的台标识别方法，利用台标位置、形状等的时空不变特性，利用已经训练好的神经网络对候选台标区域进行检测识别，最后根据决策结果判断，但是准确率不高，识别数量上也无法满足需求。
发明内容
本发明的目的是克服现有神经网络算法的不足，提出了一种基于卷积网络的台标识别方法。
本发明采用以下方案实现：一种基于卷积网络的台标识别算法，其特征在于包括以下步骤：
步骤S01：台标样本采集阶段只获取格式为YUYV视频流中Y分量存储成图像文件，采集所需要识别的台标样本；
步骤S02：卷积参数库建立的阶段通过生成一个训练对应矩阵，N个台标按照对应矩阵关系两两训练达到区分效果，然后把网络参数存储成卷积神经网络对应矩阵参数库，共N*（N-1）/2个卷积神经网络对应矩阵参数库；
步骤S03：统计识别阶段中把测试台标输入这N*（N-1）/2个卷积神经网络对应矩阵参数库进行卷积计算，输出数据按照正负对台标拟属电视台进行累加，统计累加值最高的判断为对应电视台台标，其中N为整数。
在本发明一实施例中，所述步骤S01中的台标样本采集包括：
步骤S21：按一定时间间隔从视频流中获取YUYY中Y分量存储成像；
步骤S22：在图像中按固定句型框来抽取台标图缩放到一定大小、采样到M张，M为整数；
步骤S23：完成对所有电视台台标的采样。
在本发明一实施例中，所述步骤S03中的卷积计算包括以下步骤：
步骤S31：采用随机数初始化网络参数，把采集好的台标样本随机排序后输入；
步骤S32：图像进行预处理，包括滤波和直方图均值化，进行正向传播进入C1层；
步骤S33：进行随机卷积处理，进行子采样处理，按对应关系存入S1层；
步骤S34：进行随机卷积处理，进行子采样处理，按对应关系存入C2层；
步骤S35：图像矩阵调整成序列，进行固定卷积处理，按对应关系存入S2子层；
步骤S36：进行固定卷积处理，按对应关系存入N1子层；
步骤S37：采用特定函数y=s（x）处理统计后的输出；
步骤S38：反向中采用x=f（y），进行反向传播；
步骤S39：数据经S2、C2、S1、C1子层，并通过对比正向传播数据修改网络参数；
步骤S40：重复步骤S31到S39直到达到区分两组台标效果。
本发明的方法的主要特点如下：
针对台标识别需要较高的识别率，而原有神经网络对多个对象识别时需要增加网络层数和训练复杂度之后，还无法取得较高的识别率的弊端，本发明在不增加网络层数和训练复杂度的情况下，提供一种基于卷积神经网络的台标识别方法，来提高台标识别的效率和准确率。
附图说明
图1为台标识别算法流程图。
图2为测试图像例图。
图3 为样本采集流程图。
图4为卷积网络参数库对应关系。
图5为卷积神经网络结构。
图6为S1层进入C2层的对应关系1。
图7为S1层进入C2层的对应关系2。
图8为S1层进入C2层的对应关系3。
图9为判决标准样例。
图10为台标判决流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参见图1，本实施例中，该基于卷积网络的台标识别算法包括：步骤S01：台标样本采集阶段只获取格式为YUYV视频流中Y分量存储成图像文件，采集所需要识别的台标样本；步骤S02：卷积参数库建立的阶段通过生成一个训练对应矩阵，N个台标按照对应矩阵关系两两训练达到区分效果，然后把网络参数存储成卷积神经网络对应矩阵参数库，共N*（N-1）/2个卷积神经网络对应矩阵参数库；步骤S03：统计识别阶段中把测试台标输入这N*（N-1）/2个卷积神经网络对应矩阵参数库进行卷积计算，输出数据按照正负对台标拟属电视台进行累加，统计累加值最高的判断为对应电视台台标，其中N为整数。
较佳的，本实施例中，获取机顶盒视频流（YUYV格式）中Y分量提取获得所需H*W（H为高度，W为宽度）的图像，按台标相应位置（一般为显示图像的左上角）由固定位置大小的矩形框抽取样本图像H1*W1，按比例缩放到一定大小（实验下采用54*131）进行训练。样本图像如下图2所示，样本采集流程图如图3所示，包括：a、按一定时间间隔从视频流中获取YUYY中Y分量存储成像；b、在图像中按固定句型框来抽取台标图缩放到一定大小、采样到M张；c、完成对所有电视台台标的采样。
卷积参数库建立：一共有N组台标，按照图4表格对应关系（圆圈代表对应其行与列的台标）进行卷积神经网络训练。共获得N*（N-1）/2个卷积网络矩阵参数库，设定行项为正样本，列项为负样本（如第一个圈代表第N组与第N-1组台标训练，第N组为正样本，第N-1组为负样本）。
卷积神经网络结构，如图5。
（1）采用随机数初始化网络参数，把采集好的台标样本随机排序后输入。
（2）图像进行预处理，包括滤波和直方图均值化，进行正向传播进入C1层。
（3）进行随机卷积处理，进行子采样处理，按对应关系存入S1层。
（4）进行随机卷积处理，进行子采样处理，按对应关系存入C2层，如图6的对应关系。还能采用图7，图8的对应关系。
（5）图像矩阵调整成序列，进行固定卷积处理，按对应关系存入S2子层。
（6）进行固定卷积处理，按对应关系存入N1子层。
（7）采用特定函数y=s（x）处理统计后的输出。
（8）反向中采用x=f（y）（f为s的反函数），进行反向传播。
（9）数据经S2、C2、S1、C1子层，并通过对比正向传播数据修改网络参数。
（10）重复（1）到（9）直到达到区分两组台标效果。
在数据由S1层向C2层传输过程中，可以修改对应关系结构优化神经网络，通过实验验证图6的对应关系数据收敛效果较好。
统计识别阶段：测试样本输入卷积判断，输出大于零的标定为正样本（表示该台标通过第一个卷积运算后，判断为更趋近与正样本）。如图9样例，测试样本为台标3，3个卷积输出判断为正样本，正样本，负样本，得出台标3累加值为2，则判断该测试台标为台标3。判决流程图如图10所示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (3)
1.一种基于卷积网络的台标识别算法，其特征在于包括以下步骤：
步骤S01：台标样本采集阶段只获取格式为YUYV视频流中Y分量存储成图像文件，采集所需要识别的台标样本；
步骤S02：卷积参数库建立的阶段通过生成一个训练对应矩阵，N个台标按照对应矩阵关系两两训练达到区分效果，然后把网络参数存储成卷积神经网络对应矩阵参数库，共N*（N-1）/2个卷积神经网络对应矩阵参数库；
步骤S03：统计识别阶段中把测试台标输入这N*（N-1）/2个卷积神经网络对应矩阵参数库进行卷积计算，输出数据按照正负对台标拟属电视台进行累加，统计累加值最高的判断为对应电视台台标，其中N为整数。
2.根据权利要求1所述的基于卷积网络的台标识别算法，其特征在于：所述步骤S01中的台标样本采集包括：
步骤S21：按一定时间间隔从视频流中获取YUYY中Y分量存储成像；
步骤S22：在图像中按固定句型框来抽取台标图缩放到一定大小、采样到M张，M为整数；
步骤S23：完成对所有电视台台标的采样。
3.根据权利要求1所述的基于卷积网络的台标识别算法，其特征在于：所述步骤S03中的卷积计算包括以下步骤：
步骤S31：采用随机数初始化网络参数，把采集好的台标样本随机排序后输入；
步骤S32：图像进行预处理，包括滤波和直方图均值化，进行正向传播进入C1层；
步骤S33：进行随机卷积处理，进行子采样处理，按对应关系存入S1层；
步骤S34：进行随机卷积处理，进行子采样处理，按对应关系存入C2层；
步骤S35：图像矩阵调整成序列，进行固定卷积处理，按对应关系存入S2子层；
步骤S36：进行固定卷积处理，按对应关系存入N1子层；
步骤S37：采用特定函数y=s（x）处理统计后的输出；
步骤S38：反向中采用x=f（y），进行反向传播；
步骤S39：数据经S2、C2、S1、C1子层，并通过对比正向传播数据修改网络参数；
步骤S40：重复步骤S31到S39直到达到区分两组台标效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410156448.2A CN103902987B (zh) | 2014-04-17 | 2014-04-17 | 一种基于卷积网络的台标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410156448.2A CN103902987B (zh) | 2014-04-17 | 2014-04-17 | 一种基于卷积网络的台标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103902987A true CN103902987A (zh) | 2014-07-02 |
| CN103902987B CN103902987B (zh) | 2017-10-20 |
Family
ID=50994299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410156448.2A Active CN103902987B (zh) | 2014-04-17 | 2014-04-17 | 一种基于卷积网络的台标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103902987B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
| CN104517128A (zh) * | 2015-01-20 | 2015-04-15 | 厦门水贝自动化科技有限公司 | 一种螃蟹脱壳的红外监测方法和装置 |
| CN104777802A (zh) * | 2015-01-20 | 2015-07-15 | 厦门水贝自动化科技有限公司 | 一种软壳蟹集约化养殖监控系统 |
| CN105117739A (zh) * | 2015-07-29 | 2015-12-02 | 南京信息工程大学 | 一种基于卷积神经网络的服装分类方法 |
| WO2016037300A1 (en) * | 2014-09-10 | 2016-03-17 | Xiaoou Tang | Method and system for multi-class object detection |
| CN105657446A (zh) * | 2015-12-30 | 2016-06-08 | 北京奇艺世纪科技有限公司 | 一种视频中贴片广告的检测方法和装置 |
| CN106488313A (zh) * | 2016-10-31 | 2017-03-08 | Tcl集团股份有限公司 | 一种台标识别方法及系统 |
| CN106548121A (zh) * | 2015-09-23 | 2017-03-29 | 阿里巴巴集团控股有限公司 | 一种活体识别的测试方法及装置 |
| CN106599892A (zh) * | 2016-12-14 | 2017-04-26 | 四川长虹电器股份有限公司 | 基于深度学习的电视台标识别系统 |
| CN106778701A (zh) * | 2017-01-20 | 2017-05-31 | 福州大学 | 一种加入Dropout的卷积神经网络的果蔬图像识别方法 |
| CN106845442A (zh) * | 2017-02-15 | 2017-06-13 | 杭州当虹科技有限公司 | 一种基于深度学习的台标检测方法 |
| CN107135402A (zh) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | 一种识别电视台图标的方法及装置 |
| CN107133631A (zh) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | 一种识别电视台图标的方法及装置 |
| CN107679577A (zh) * | 2017-10-12 | 2018-02-09 | 理光图像技术（上海）有限公司 | 基于深度学习的图像检测方法 |
| CN107851174A (zh) * | 2015-07-08 | 2018-03-27 | 北京市商汤科技开发有限公司 | 图像语义标注的设备和方法 |
| CN108009637A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 基于跨层特征提取的像素级台标识别网络的台标分割方法 |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN109117768A (zh) * | 2018-07-30 | 2019-01-01 | 上海科江电子信息技术有限公司 | 一种基于深度学习的台标识别方法 |
| CN110287888A (zh) * | 2019-06-26 | 2019-09-27 | 中科软科技股份有限公司 | 一种台标识别方法及系统 |
| CN110543884A (zh) * | 2018-05-29 | 2019-12-06 | 国际关系学院 | 一种基于图像的网络攻击组织溯源方法 |
| CN110610230A (zh) * | 2019-07-31 | 2019-12-24 | 国家计算机网络与信息安全管理中心 | 一种台标检测方法、装置及可读存储介质 |
| CN111368909A (zh) * | 2020-03-03 | 2020-07-03 | 温州大学 | 一种基于卷积神经网络深度特征的车标识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007010473A2 (en) * | 2005-07-18 | 2007-01-25 | Consiglio Nazionale Delle Ricerche | Automatic method and system for visual inspection of railway infrastructure |
| CN101807257A (zh) * | 2010-05-12 | 2010-08-18 | 上海交通大学 | 图像标签信息识别方法 |
| CN103607603A (zh) * | 2013-11-28 | 2014-02-26 | Tcl集团股份有限公司 | 一种识别台标的方法及装置 |
-
2014
- 2014-04-17 CN CN201410156448.2A patent/CN103902987B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007010473A2 (en) * | 2005-07-18 | 2007-01-25 | Consiglio Nazionale Delle Ricerche | Automatic method and system for visual inspection of railway infrastructure |
| CN101807257A (zh) * | 2010-05-12 | 2010-08-18 | 上海交通大学 | 图像标签信息识别方法 |
| CN103607603A (zh) * | 2013-11-28 | 2014-02-26 | Tcl集团股份有限公司 | 一种识别台标的方法及装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
| WO2016037300A1 (en) * | 2014-09-10 | 2016-03-17 | Xiaoou Tang | Method and system for multi-class object detection |
| CN104517128A (zh) * | 2015-01-20 | 2015-04-15 | 厦门水贝自动化科技有限公司 | 一种螃蟹脱壳的红外监测方法和装置 |
| CN104777802A (zh) * | 2015-01-20 | 2015-07-15 | 厦门水贝自动化科技有限公司 | 一种软壳蟹集约化养殖监控系统 |
| CN107851174B (zh) * | 2015-07-08 | 2021-06-01 | 北京市商汤科技开发有限公司 | 图像语义标注的设备和方法及其模型的生成方法和系统 |
| CN107851174A (zh) * | 2015-07-08 | 2018-03-27 | 北京市商汤科技开发有限公司 | 图像语义标注的设备和方法 |
| CN105117739A (zh) * | 2015-07-29 | 2015-12-02 | 南京信息工程大学 | 一种基于卷积神经网络的服装分类方法 |
| CN106548121A (zh) * | 2015-09-23 | 2017-03-29 | 阿里巴巴集团控股有限公司 | 一种活体识别的测试方法及装置 |
| CN105657446A (zh) * | 2015-12-30 | 2016-06-08 | 北京奇艺世纪科技有限公司 | 一种视频中贴片广告的检测方法和装置 |
| CN105657446B (zh) * | 2015-12-30 | 2018-06-22 | 北京奇艺世纪科技有限公司 | 一种视频中贴片广告的检测方法和装置 |
| CN107133631A (zh) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | 一种识别电视台图标的方法及装置 |
| CN107135402A (zh) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | 一种识别电视台图标的方法及装置 |
| CN106488313A (zh) * | 2016-10-31 | 2017-03-08 | Tcl集团股份有限公司 | 一种台标识别方法及系统 |
| CN106599892A (zh) * | 2016-12-14 | 2017-04-26 | 四川长虹电器股份有限公司 | 基于深度学习的电视台标识别系统 |
| CN106778701A (zh) * | 2017-01-20 | 2017-05-31 | 福州大学 | 一种加入Dropout的卷积神经网络的果蔬图像识别方法 |
| CN106845442A (zh) * | 2017-02-15 | 2017-06-13 | 杭州当虹科技有限公司 | 一种基于深度学习的台标检测方法 |
| CN107679577A (zh) * | 2017-10-12 | 2018-02-09 | 理光图像技术（上海）有限公司 | 基于深度学习的图像检测方法 |
| CN108009637A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 基于跨层特征提取的像素级台标识别网络的台标分割方法 |
| CN108009637B (zh) * | 2017-11-20 | 2021-06-25 | 天津大学 | 基于跨层特征提取的像素级台标识别网络的台标分割方法 |
| CN108255605B (zh) * | 2017-12-29 | 2020-12-04 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN110543884A (zh) * | 2018-05-29 | 2019-12-06 | 国际关系学院 | 一种基于图像的网络攻击组织溯源方法 |
| CN109117768A (zh) * | 2018-07-30 | 2019-01-01 | 上海科江电子信息技术有限公司 | 一种基于深度学习的台标识别方法 |
| CN110287888A (zh) * | 2019-06-26 | 2019-09-27 | 中科软科技股份有限公司 | 一种台标识别方法及系统 |
| CN110610230A (zh) * | 2019-07-31 | 2019-12-24 | 国家计算机网络与信息安全管理中心 | 一种台标检测方法、装置及可读存储介质 |
| CN111368909A (zh) * | 2020-03-03 | 2020-07-03 | 温州大学 | 一种基于卷积神经网络深度特征的车标识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103902987B (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103902987A (zh) | 一种基于卷积网络的台标识别方法 | |
| Noh et al. | Better to follow, follow to be better: Towards precise supervision of feature super-resolution for small object detection | |
| Yu et al. | Dilated residual networks | |
| Xiong et al. | A pursuit of temporal accuracy in general activity detection | |
| Qiu et al. | Mining discriminative food regions for accurate food recognition | |
| He et al. | Multi-scale FCN with cascaded instance aware segmentation for arbitrary oriented word spotting in the wild | |
| CN109977773B (zh) | 基于多目标检测3d cnn的人体行为识别方法及系统 | |
| Hosang et al. | Taking a deeper look at pedestrians | |
| Ravanbakhsh et al. | Action recognition with image based CNN features | |
| CN109255284B (zh) | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 | |
| CN105069472A (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
| CN105574505A (zh) | 一种多摄像机间人体目标再识别的方法及系统 | |
| CN104598924A (zh) | 一种目标匹配检测方法 | |
| CN110287879B (zh) | 一种基于注意力机制的视频行为识别方法 | |
| Duta et al. | Histograms of motion gradients for real-time video classification | |
| CN109299668A (zh) | 一种基于主动学习和聚类分析的高光谱图像分类方法 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
| Guo et al. | Detection of ice hockey players and teams via a two-phase cascaded CNN model | |
| CN107609509A (zh) | 一种基于运动显著性区域检测的动作识别方法 | |
| CN114022823A (zh) | 一种遮挡驱动的行人再识别方法、系统及可存储介质 | |
| Roy et al. | New tampered features for scene and caption text classification in video frame | |
| Cao et al. | A new region proposal network for far-infrared pedestrian detection | |
| CN104598881A (zh) | 基于特征压缩与特征选择的歪斜场景文字识别方法 | |
| CN116524596A (zh) | 一种基于动作粒度分组结构的体育视频动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |