CN104657721B - 一种基于自适应模板的视频osd时间识别方法 - Google Patents

Abstract

本发明涉及一种基于自适应模板的视频OSD时间识别方法，包括以下步骤：1)对视频帧中的OSD时间区域进行定位，获得若干候选区域；2)在各候选区域中，对时间字符进行定位及识别，根据设定时间段内的识别结果确定一个最终识别区域；3)根据所述最终识别区域生成多个字符模板，各字符模板记录每个字符的前景和背景区域；4)利用所述字符模板对待识别视频帧进行时间识别，并获得对应的识别置信度。与现有技术相比，本发明具有识别精度高、适用范围广、可处理短暂花屏情况等优点。

Description

一种基于自适应模板的视频OSD时间识别方法

技术领域

本发明涉及一种视频信息识别方法，尤其是涉及一种基于自适应模板的视频OSD时间识别方法。

背景技术

视频OSD(on-screen display)时间识别主要采用图像分类算法，可以从图像中抽取边缘信息等特征，然后用Kmeans、SVM等机器学习模型进行分类；也可以直接用深度神经网络进行分类；还可以使用OCR软件进行识别，由于OCR软件是针对所有字符库的识别，因此，使用视频OCR技术识别文字非常耗时，更重要的是，这种检测识别方法的准确率很低，并不能处理低分辨率情况，如果把数字识别成字符后续将很难处理。由于OSD时间识别的结果通常要用作数据库索引，因此对精度要求非常高(99.99％以上)。当出现复杂背景变化、花屏等情况时，现有的机器学习算法的分类准确率会受到较大影响，无法满足需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精度高、适用范围广、可处理短暂花屏情况的基于自适应模板的视频OSD时间识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于自适应模板的视频OSD时间识别方法，包括以下步骤：

1)对视频帧中的OSD时间区域进行定位，获得若干候选区域；

2)在各候选区域中，对时间字符进行定位及识别，根据设定时间段内的识别结果确定一个最终识别区域；

3)根据所述最终识别区域生成多个字符模板，各字符模板记录每个字符的前景和背景区域；

4)利用所述字符模板对待识别视频帧进行时间识别，并获得对应的识别置信度。

所述步骤1)中，采用Boosting方法和先验参数检测时间字符所在区域，对OSD时间区域进行定位。

所述先验参数包括区域长宽比和区域位置。

所述步骤2)中，采用深度神经网络方法对时间字符进行定位及识别，具体为：

a)在视频帧图像中找到单一颜色的联通区域；

b)在联通区域上采用扫描窗口的方法，对每个窗口进行字符识别，保留置信度大于设定置信度阈值的窗口；

c)检索同时满足如下条件的六个窗口：

i)在同一水平线上，ii)相同间隔，iii)构成数字满足时间约束；

d)判断步骤c)是否检索到满足条件的六个窗口，若是，则执行步骤e)，若否，则减小设定置信度阈值，返回步骤b)；

e)判断检索到满足条件的六个窗口的组合数据是否大于1，若是，则选择其中字符识别置信度最高的一组为最终定位结果，若否，则直接以检索到的六个窗口为最终定位结果。

所述步骤3)中，根据步骤2)获得的多帧深度神经网络定位和识别的字符生成字符模板。

所述步骤4)中，根据字符模板对待识别视频帧进行时间识别时，将各个字符模板应用到待识别视频帧上，统计每个字符模板下前景的灰度值方差，取方差最小的字符模板作为识别结果，并用该方差作为对应的识别置信度。

该方法还包括：

判断识别置信度是否小于设定值，若是，则根据上一视频帧的识别结果修正当前视频帧的识别结果，若否，则退出。

与现有技术相比，本发明具有以下优点：

(1)本发明利用一段时间的识别结果自适应地生成字符模板，可以充分利用OSD字符的特性，识别更加准确，大大减少复杂背景对识别结果的影响；

(2)由于字符位置固定，所以采用字符模板进行识别，字符边缘会精确到每个像素，有利于提高识别精度；

(3)不同摄像头厂商之间的OSD时间字体差异很大，本发明采用自适应的字符模板，字符模板是根据历史数据确定的，比起通用的字符识别模型，识别率达到100％，适用范围更广；

(4)本发明对字符进行识别时，采用基于深度神经网络的字符分类器，可以有效识别不同字体的时间字符，从而有效帮助生成字符模板；

(5)本发明采用了帧间的时间识别修正，可以进一步提升识别精度，并可处理短暂的花屏情况。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例提供一种基于自适应模板的视频OSD时间识别方法，通过对输入的监控视频进行识别，获得视频中每一帧的OSD时间，具体包括以下步骤：

步骤S01，对视频帧中的OSD时间区域进行定位，获得若干候选区域。

采用Boosting方法检测时间字符所在区域，该区域的梯度变化具有一定规律。然后通过OSD字符区域的一些其他先验参数帮助确定位置，先验参数包括区域的长宽比、区域的位置等，可以有若干个候选区域。

步骤S02，在各候选区域中，采用深度神经网络方法对时间字符进行定位及识别，根据设定时间段内的识别结果确定一个最终识别区域，具体为：

a)在视频帧图像中找到单一颜色的联通区域；

b)在联通区域上采用扫描窗口的方法，对每个窗口进行字符识别，保留置信度大于设定置信度阈值的窗口；

c)检索同时满足如下条件的六个窗口：

i)在同一水平线上，ii)相同间隔，iii)构成数字满足时间约束；

d)判断步骤c)是否检索到满足条件的六个窗口，若是，则执行步骤e)，若否，则减小设定置信度阈值，返回步骤b)；

e)判断检索到满足条件的六个窗口的组合数据是否大于1，若是，则选择其中字符识别置信度最高的一组为最终定位结果，若否，则直接以检索到的六个窗口为最终定位结果。

步骤S03，根据多帧深度神经网络定位和识别的字符生成多个字符模板，各字符模板记录每个字符的前景和背景区域，由同一字符的多帧图片在每个像素上灰度值的方差大小来区分前景与背景区域。

本方法能根据视频帧中OSD时间字体自动生成专门的字符模板，比起通用的字符识别模型，识别率解决100％；同时可以适用不同视频，即使该视频的字体不在字符识别的训练数据中。

步骤S04，利用所述字符模板对待识别视频帧进行时间识别，并获得对应的识别置信度。

根据字符模板对待识别视频帧进行时间识别时，将各个字符模板应用到待识别视频帧上，统计每个字符模板下前景的灰度值方差，取方差最小的字符模板作为识别结果，并用该方差作为对应的识别置信度。

实施例2

参考图1所示，本实施例提供的基于自适应模板的视频OSD时间识别方法还包括：

步骤S05，判断识别置信度是否小于设定值，若是，则利用帧间时间连续递增的先验，根据上一视频帧的识别结果修正当前视频帧的识别结果，若否，则退出。

其余同实施例1。

Claims (6)

1.一种基于自适应模板的视频OSD时间识别方法，其特征在于，包括以下步骤：

1)对视频帧中的OSD时间区域进行定位，获得若干候选区域；

2)在各候选区域中，采用深度神经网络方法对时间字符进行定位及识别，根据设定时间段内的识别结果确定一个最终识别区域，具体为：

a)在视频帧图像中找到单一颜色的联通区域；

b)在联通区域上采用扫描窗口的方法，对每个窗口进行字符识别，保留置信度大于设定置信度阈值的窗口；

c)检索同时满足如下条件的六个窗口：

i)在同一水平线上，ii)相同间隔，iii)构成数字满足时间约束；

d)判断步骤c)是否检索到满足条件的六个窗口，若是，则执行步骤e)，若否，则减小设定置信度阈值，返回步骤b)；

e)判断检索到满足条件的六个窗口的组合数据是否大于1，若是，则选择其中字符识别置信度最高的一组为最终定位结果，若否，则直接以检索到的六个窗口为最终定位结果；

3)根据所述最终识别区域生成多个字符模板，各字符模板记录每个字符的前景和背景区域；

4)利用所述字符模板对待识别视频帧进行时间识别，并获得对应的识别置信度。

2.根据权利要求1所述的基于自适应模板的视频OSD时间识别方法，其特征在于，所述步骤1)中，采用Boosting方法和先验参数检测时间字符所在区域，对OSD时间区域进行定位。

3.根据权利要求2所述的基于自适应模板的视频OSD时间识别方法，其特征在于，所述先验参数包括区域长宽比和区域位置。

4.根据权利要求1所述的基于自适应模板的视频OSD时间识别方法，其特征在于，所述步骤3)中，根据步骤2)获得的多帧深度神经网络定位和识别的字符生成字符模板。

5.根据权利要求1所述的基于自适应模板的视频OSD时间识别方法，其特征在于，所述步骤4)中，根据字符模板对待识别视频帧进行时间识别时，将各个字符模板应用到待识别视频帧上，统计每个字符模板下前景的灰度值方差，取方差最小的字符模板作为识别结果，并用该方差作为对应的识别置信度。

6.根据权利要求1所述的基于自适应模板的视频OSD时间识别方法，其特征在于，该方法还包括：

判断识别置信度是否小于设定值，若是，则根据上一视频帧的识别结果修正当前视频帧的识别结果，若否，则退出。