CN102567982A - 一种视频节目特定信息的提取系统及其方法、移动终端 - Google Patents

Abstract

本发明公开了一种视频节目特定信息的提取系统及其方法、移动终端，其中该系统还包括：标识区域提取模块，用于提取视频节目的视频帧中的特定标识区域；标识区域增强模块，连接所述标识区域提取模块，用于对所述特定标识区域进行图像增强处理，滤除所述特定标识区域的视频背景噪声；标识区域识别模块，连接所述标识区域增强模块，用于对滤除噪声后的所述特定标识区域进行标识提取。本发明实现了对移动终端(如手机)的视频节目的特定信息提取。

Description

一种视频节目特定信息的提取系统及其方法、移动终端

技术领域

本发明涉及信息提取技术，特别是涉及对移动终端播放的视频节目的特定信息进行提取的系统及其方法、移动终端。

背景技术

随着手机的日益普及和视频传输技术的发展，越来越多的用户利用手机收看电视、电影等视频节目。

在收看视频节目的同时，用户经常需要记录节目上的特定信息，如经典的人物对白，厂商地址，节目提供的电话(例如电视购物节目中的电话)，网址，比赛结果，日期，视频介绍等等。在很多情况下，人们一般用笔或大脑人工记录这些特定信息，很容易遗忘和出错，也跟不上节目的播放速度，给用户的使用造成很大的不便。

发明内容

本发明的目的在于提供一种视频节目特定信息的提取系统及其方法、移动终端，用于提取移动终端播放的视频节目的特定信息，并通过格式转换实现用户对特定信息的操作。

为了实现上述目的，本发明提供了一种视频节目特定信息的提取系统，其特征在于，还包括：

标识区域提取模块，用于提取视频节目的视频帧中的特定标识区域；

标识区域增强模块，连接所述标识区域提取模块，用于对所述特定标识区域进行图像增强处理，滤除所述特定标识区域的视频背景噪声；

标识区域识别模块，连接所述标识区域增强模块，用于对增强处理后的所述特定标识区域进行标识提取。

所述的视频节目特定信息的提取系统，其中，所述标识区域提取模块通过如下方式从所述视频帧中提取所述特定标识区域：

R＝(Ti∩Ci)/Ti

其中，

R为验证帧C与参考帧T的重叠比例，验证帧C为相邻视频帧，参考帧T为视频帧，C＝T±N，i、N为正整数；

Ti为参照帧中的第i个文字区域的面积；

Ci为验证帧中与参照帧中第i个文字区域相对应的区域的面积；

若R大于或等于一设定值，则提取出该参考帧的第i个文字区域作为特定标识区域。

所述的视频节目特定信息的提取系统，其中，所述标识区域增强模块采用如下灰度变换函数对所述特定标识区域进行图像增强处理：

h(x，y)＝M[f(x，y)]+b＝af(x，y)+b

其中，a为直线的斜率，b为h轴上的截距，输入图像f(x，y)为特定标识区域的灰度图像，输出图像h(x，y)为增强处理后的特定标识区域的灰度图像；

若a＝1，b＝0，则输出图像复制输入图像；

若a＞1，b＝0，则输入图像的对比度被扩展；

若a＜1，b＝0，则输入图像的对比度被压缩；

若a＜0，b＝0，则对输入图像求反；

若a＝1，b≠0，则输出图像将比输入图像偏亮或偏暗。

所述的视频节目特定信息的提取系统，其中，所述标识区域识别模块又包括：

行切分模块，用于求取所述增强处理后的特定标识区域中的行水平方向的投影，根据该投影的值提取该行为字符行；

字符切分模块，连接所述行切分模块，用于对所述字符行按照从左向右的方向搜索行中单个字符的左右界，根据字符的特征，从字符数据库中找出与该字符相匹配的字符，并作为所提取的标识。

所述的视频节目特定信息的提取系统，其中，所述标识包括：电话号码、网址、文本字符。

所述的视频节目特定信息的提取系统，其中，还包括：

标识分类模块，连接所述标识区域识别模块，用于根据类型对所提取的标识进行分类，并将所述标识存储成与其类型对应的格式。

所述的视频节目特定信息的提取系统，其中，所述标识分类模块还用于：

当所述标识为电话号码时，将所述电话号码存储成可拨打格式的电话号码；和/或

当所述标识为网址时，将所述网址存储成可链接格式的网址；和/或

当所述标识为文本字符时，将所述文本字符存储成文字编辑版的格式。

为了实现上述目的，本发明还提供了一种视频节目特定信息的提取方法，其特征在于，包括：

步骤一，提取视频节目的视频帧中的特定标识区域；

步骤二，对所述特定标识区域进行图像增强处理，滤除所述特定标识区域的视频背景噪声；

步骤三，对增强处理后的所述特定标识区域进行标识提取。

所述的视频节目特定信息的提取方法，其中，所述步骤一中，还包括：以如下方式从所述视频帧中提取所述特定标识区域：

R＝(Ti∩Ci)/Ti

其中，

R为验证帧C与参考帧T的重叠比例，验证帧C为相邻视频帧，参考帧T为视频帧，C＝T±N，i、N为正整数；

Ti为参照帧中的第i个文字区域的面积；

Ci为验证帧中与参照帧中第i个文字区域相对应的区域的面积；

若R大于或等于一设定值，则提取出该参考帧的第i个文字区域作为特定标识区域。

所述的视频节目特定信息的提取方法，其中，所述步骤二中，还包括：

采用如下灰度变换函数对所述特定标识区域进行图像增强处理：

h(x，y)＝M[f(x，y)]+b＝af(x，y)+b

其中，a为直线的斜率，b为h轴上的截距，输入图像f(x，y)为特定标识区域的灰度图像，输出图像h(x，y)为增强处理后的特定标识区域的灰度图像；

若a＝1，b＝0，则输出图像复制输入图像；

若a＞1，b＝0，则输入图像的对比度被扩展；

若a＜1，b＝0，则输入图像的对比度被压缩；

若a＜0，b＝0，则对输入图像求反；

若a＝1，b≠0，则输出图像将比输入图像偏亮或偏暗。

所述的视频节目特定信息的提取方法，其中，所述步骤三中，还包括：

求取所述增强处理后的特定标识区域中行在水平方向的投影，根据该投影的值提取该行为字符行；

对所述字符行按照从左向右的方向搜索行中单个字符的左右界，根据字符的特征，从字符数据库中找出与该字符相匹配的字符，并作为所提取的标识。

所述的视频节目特定信息的提取方法，其中，还包括：

步骤四，根据类型对所提取的标识进行分类，并将所述标识存储成与其类型对应的格式。

所述的视频节目特定信息的提取方法，其中，所述步骤四中，还包括：

当所述标识为电话号码时，将所述电话号码存储成可拨打格式的电话号码；和/或

当所述标识为网址时，将所述网址存储成可链接格式的网址；和/或

当所述标识为文本字符时，将所述文本字符存储成文字编辑版的格式。

为了实现上述目的，本发明还提供了一种移动终端，其特征在于，包括任一所述的提取系统。

与现有技术相比，本发明的有益技术效果是：

采用本发明所提供的系统及其方法，当用户收看移动终端上的视频节目时，若视频帧中出现了对用户有用的特定信息，可直接将特定信息转换为特定的格式，大大方便了用户对特定信息的获取，存储和其他的便捷操作，节约了不必要的获取时间，使用户摆脱了传统的低效率的用笔或大脑机械性记忆等方法。

本发明还提供了一种将视频节目上特定信息并转换为特定格式的一种方式，其是对移动终端(如手机)的视频节目的特定信息，如字符，电话号码，网址等进行提取和格式转换保存为相应的格式，实现了对视频节目上如字符，电话号码，网址等特定信息的提取与保存，对于电话号码可以转换为拨打号码，对网址可转换为可存储或链接的格式，大大方便了用户的各种操作。

附图说明

图1是本发明的视频节目特定信息的提取系统结构图；

图2是本发明的视频节目特定信息的提取方法流程图；

图3是本发明的线性灰度变化图；

图4是本发明原始的灰度图像；

图5是本发明增强处理后的灰度图像。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

图1是本发明的视频节目特定信息的提取系统结构图，该系统30用于对移动终端100的视频节目的特定信息进行提取，移动终端100包括：控制单元10、节目播放模块20、提取系统30、存储模块40、显示模块50。

控制单元10，为中央处理器CPU，用于负责协调各个模块的工作。

视频节目播放模块20，连接控制单元10，用于播放用户的视频节目。

进一步地，提取系统30又包括：标识区域提取模块31、标识区域增强模块32、标识区域识别模块33、标识分类模块34。

标识区域提取模块31，用于从移动终端100正在播放的视频节目的视频帧中提取出特定标识区域，其是基于特定标识区域的特征提取方式提取出特定标识区域，以区分特定标识区域和视频背景区域。

标识区域增强模块32，连接标识区域提取模块31，用于对特定标识区域进行图像增强处理，滤除特定标识区域的视频背景噪声，以减少视频背景噪声对特定标识区域的影响和干扰，从而增强特定标识区域。

标识区域识别模块33，连接标识区域增强模块32，用于将噪声滤除后的特定标识区域进行图像识别，从特定标识区域中提取特定标识。

标识分类模块34，连接标识区域识别模块33，用于对提取的特定标识进行合理的分类，其是根据标识的类型进行分类。

存储器模块40，连接控制单元10，主要是根据控制单元10的控制实现存储功能，即存储手机中运行所需要的程序，短信、视频节目、通讯录等。

显示器模块50，连接控制单元10，用于根据控制单元10的控制显示视频节目、短信等内容。

进一步地，标识区域识别模块33又包括：

行切分模块331，用于求取增强处理后的特定标识区域中的行水平方向的投影，根据该投影的值提取该行为字符行；

字符切分模块332，连接行切分模块331，用于对字符行按照从左向右的方向搜索行中单个字符的左右界，根据字符的特征，从字符数据库中找出与该字符相匹配的字符，按照此方式获取字符行中的所有字符，并把这些字符作为所提取的标识，这些标识包括：电话号码、网址以及其他字符。

应用上述移动终端100，用户观看视频节目的同时，对于视频节目中有用的特定标识，移动终端在不影响观看质量的同时，可以快速的获取特定标识并转换为特定的格式供用户进行便捷的操作。

如图2所示，是本发明的视频节目特定信息的提取方法流程图。该方法流程包括如下步骤：

步骤210，对手机上的视频节目的视频帧进行分析和处理，提取视频帧中的特定标识区域；

步骤220，对特定标识区域进行图像增强处理，滤除特定标识区域的视频背景噪声，以减少视频背景噪声对特定标识区域的影响和干扰，从而增强特定标识区域；

步骤230，对图像增强处理后的特定标识区域进行特定标识提取；

步骤240，对提取得到的特定标识进行分类并存储。

本方法利用了视频帧播放的特点，快速获取了特定标识区域所在的视频帧，并对特定标识区域进行了图像增强，通过OCR(Optical CharacterRecognition，光学字符识别)识别，最后将有价值的特定标识提供给用户，大大方便了用户，也提高了视频节目的利用率。

下面结合图1、2以及移动终端为手机时的硬件，通过一具体实施例对本发明的实现方法进行详细描述：

1、首先，用户正在观看视频节目；

2、当画面上突然出现有用的特定信息时，用户按下手机上设置的“提取特定标识”按键，则手机进入对该视频帧的分析和处理程序，对该视频帧的特定标识进行提取步骤。

由于标识信息一般是后期加入，因此大小均有一定的限度和单一的格式，如颜色，字体尺寸较为固定等等，与视频背景的对比一般很强烈，位置也相对固定，并且往往持续若干帧，因此要先对视频帧的特定标识区域进行提取。

3、提取视频帧的特定标识区域。该提取是基于特定标识区域的特征，初步区分特定标识区域和视频背景区域。

视频中的同一段文字通常会出现在连续多帧上，并且位置在这些连续多帧中都是相对静止不变的，视频通常被解码为每秒约25帧，而标识如字幕等等一般出现至少2秒，因此视频中的特定标识一般出现在连续50帧图像上。

对于用户选择“提取特定标识”按键后，对该视频帧的前后的一系列帧进行分析，虽然不同帧之间各不相同，但标识的对应区域亮度或颜色变化不大，只是在标识区域出现或消失的时候，才出现很大的亮度或颜色变化。因此，本发明通过对该视频帧与相邻的视频帧进行比较，就可以得到候选的特定标识区域.。

标识区域提取模块31当在某个时间点第T帧(即target，目标)被用户选中进行特定标识的提取，则将第T帧作为参照帧，由于视频中的特定标识一般出现在连续50帧图像上，为了方便和减少计算量，以其前后N(如10)验证帧进行比较，根据验证帧与参考帧的重叠比例与设定值的比较确定参考帧中的文字区域是否是特定标识区域，即用户感兴趣和有价值的部分。若重叠比例大于该设定值，则确定该文字区域为特定标识区域，反之，则该文字区域不是特定标识区域，其中N为正整数。

设Ti为参照帧T中的第i个文字区域的面积，Ci(C为T±10)为验证帧C中与参照帧T中第i个文字区域相对应的区域的面积，则验证帧C与参考帧T两帧的重叠比例R为：

R＝(Ti∩Ci)/Ti

其中，Ti∩Ci是指Ti、Ci的交集。

由于视频图像中文字是静止的，而大部分背景物体则是移动的，因此在时间轴上，相应的像素点若属于背景笔画则变化较大，而属于文字笔画则变动很小。

标识区域提取模块31若前后10个验证帧所重叠的文字区域面积超过参照帧中的文字区域面积的一设定值(如90％)，即验证帧与参考帧两帧的重叠比例R大于或等于90％，则将该文字区域作为用户感兴趣和有价值的特定标识区域。该设定值可根据实际需要作调整。

4，标识区域增强模块32对特定标识区域进行图像增强处理，滤除掉视频背景噪声，以减少视频背景噪声对特定标识区域的影响和干扰，达到增强特定标识区域的目的。

一般而言，图像增强是根据具体的视频背景和图像的模糊情况而采用特定的增强方法来突出图像中的某些信息，削弱或削除无关信息，从而强调图像的整体或局部特征。

对于手机上的图像增强，本发明可以采用灰度变换增强。

灰度变换的目的即改变灰度的动态范围，从而增强某些灰度级的细节部分。

由于成像时曝光不足或过度，以及成像设备的非线性或图像记录设备动态范围太窄等因素，造成图像对比度不足、细节分辨不清等缺陷，为了突出感兴趣的目标或者灰度区间，相对抑制那些不感兴趣的灰度区域，这时可将图像灰度线性扩展，显著改善图像的主观质量。

设r(即Raw的缩写，原始的意思)为原始图像的灰度，e(即enhanced的缩写，增强的意思)为增强图像的灰度，M(即Mapped，映射的)为映射函数，通过映射函数M，将原始图像f(x，y)中的灰度r映射成增强图像h(x，y)中的灰度e，使得图像灰度的动态范围得以好、扩展或压缩，用以改善对比度。在本发明中，本发明使用线性变换来实现灰度变换。线性灰度变换如下图3所示。

其灰度变换函数为：

h(x，y)＝M[f(x，y)]+b＝af(x，y)+b

其中，a为直线的斜率，b为h轴上的截距。

基于如上公式，可得到：

(1)若a＝1，b＝0，则输出图像复制输入图像；

(2)若a＞1，b＝0，则输入图像的对比度被扩展；

(3)若a＜1，b＝0，则输入图像的对比度被压缩；

(4)若a＜0，b＝0，则对输入图像求反；

(5)若a＝1，b≠0，则输出图像将比输入图像偏亮或偏暗。

经过处理后，特定标识区域得到了增强，滤除了视频背景噪声，如图4和图5所示，其中图4绘示了原始的灰度图像，图5绘示了增强处理后的灰度图像。

5、对上述经过增强处理后的特定标识区域的图像，其视频背景噪声得到了滤除，手机将该清晰的图像送入标识区域识别模块33，提取出特定标识。

标识区域识别模块33采用一种OCR识别方式从增强图像中提取出特定标识。

特定标识区域经过标识区域增强模块32的图像增强处理后得到的是一个完整的图像，其中包含有行与行之间的空白间隙，以及字与字之间的空白间隙，因此可以采用行切分和字符切分方法把单个字符从中图像中分离出来。即由标识区域识别模块33采用OCR识别方式提取出特定标识。

由于视频中的字符是后期制作加上去的，因此基本都是印刷体，字体比较统一且不会出现倾斜，因此标识区域识别模块33采用行切分与字符切分相结合的方法从图像中识别出特定标识。

(1)行切分

字符的行与行之间通常都有一定的空白间隙，行切分模块331利用这个间隙进行行切分，设增强图像中的第i行，第j列的像素值为P(i，j)，则

行切分模块331采用数学积分方法求取第i行水平方向的投影为

其中L即为行的长度，通过第i行水平方向的投影确定行与行之间的界限，

这一投影反映了文本图像按行灰度累积密度分布情况，且行与行之间为空白间隙。

A、该行从左向右，即j的取值从1到L，若均没有字体，则

的值为0，字体的灰度累积密度分布也为0，则该行为空白间隙；

B、该行从左向右，即j的取值从1到L，若有字体，则

的值不为0，字体的灰度累积密度分布也不为0，则该行为字符行。

行切分模块331通过水平投影的方法完成了字符的行与行的切分，得到了一系列字符行。

(2)字符切分

在行切分模块331完成行切分后，由字符切分模块332把字符行切分为单个字符，其是按照从左向右的方向搜索每一行中单个字符的左右界，根据字符的特征，从字符数据库中找出与之相匹配的字符，从而获取所有字符行中的所有字符，并把这些字符作为所提取的标识。

标识区域识别模块33识别出特定标识后，送到标识分类模块34继续进行后续操作。

6、标识分类模块34对提取出的特定标识后，按照类型进行分类，并将特定标识存储成与类型对应的格式，例如，若特定标识属于电话号码类，则存储成可拨打方式的电话号码，存储快捷菜单，若属于网址类，则存储成可直接链接方式的网址，若属于文本字符类，则存储成文字编辑板的方式，以供用户保存和编辑等等。

本发明提出了一种视频节目特定信息的格式转换系统及其方法，其是用户利用手机看视频节目时，对视频节目上的特定信息，如字符，电话号码，网址等进行提取和保存为相应的格式，以方便用户进行各种操作。本发明的特征为提取和保存手机视频节目上的特定信息。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种视频节目特定信息的提取系统，其特征在于，还包括：

标识区域提取模块，用于提取视频节目的视频帧中的特定标识区域；

标识区域增强模块，连接所述标识区域提取模块，用于对所述特定标识区域进行图像增强处理，滤除所述特定标识区域的视频背景噪声；

标识区域识别模块，连接所述标识区域增强模块，用于对增强处理后的所述特定标识区域进行标识提取。

2.根据权利要求1所述的视频节目特定信息的提取系统，其特征在于，所述标识区域提取模块通过如下方式从所述视频帧中提取所述特定标识区域：

R＝(Ti∩Ci)/Ti

其中，

R为验证帧C与参考帧T的重叠比例，验证帧C为相邻视频帧，参考帧T为视频帧，C＝T±N，i、N为正整数；

Ti为参照帧中的第i个文字区域的面积；

Ci为验证帧中与参照帧中第i个文字区域相对应的区域的面积；

若R大于或等于一设定值，则提取出该参考帧的第i个文字区域作为特定标识区域。

3.根据权利要求1或2所述的视频节目特定信息的提取系统，其特征在于，所述标识区域增强模块采用如下灰度变换函数对所述特定标识区域进行图像增强处理：

h(x，y)＝M[f(x，y)]+b＝af(x，y)+b

其中，a为直线的斜率，b为h轴上的截距，输入图像f(x，y)为特定标识区域的灰度图像，输出图像h(x，y)为增强处理后的特定标识区域的灰度图像；

若a＝1，b＝0，则输出图像复制输入图像；

若a＞1，b＝0，则输入图像的对比度被扩展；

若a＜1，b＝0，则输入图像的对比度被压缩；

若a＜0，b＝0，则对输入图像求反；

若a＝1，b≠0，则输出图像将比输入图像偏亮或偏暗。

4.根据权利要求1或2所述的视频节目特定信息的提取系统，其特征在于，所述标识区域识别模块又包括：

行切分模块，用于求取所述增强处理后的特定标识区域中的行水平方向的投影，根据该投影的值提取该行为字符行；

字符切分模块，连接所述行切分模块，用于对所述字符行按照从左向右的方向搜索行中单个字符的左右界，根据字符的特征，从字符数据库中找出与该字符相匹配的字符，并作为所提取的标识。

5.根据权利要求1或2所述的视频节目特定信息的提取系统，其特征在于，所述标识包括：电话号码、网址、文本字符。

6.根据权利要求5所述的视频节目特定信息的提取系统，其特征在于，还包括：

标识分类模块，连接所述标识区域识别模块，用于根据类型对所提取的标识进行分类，并将所述标识存储成与其类型对应的格式。

7.根据权利要求6所述的视频节目特定信息的提取系统，其特征在于，所述标识分类模块还用于：

当所述标识为电话号码时，将所述电话号码存储成可拨打格式的电话号码；和/或

当所述标识为网址时，将所述网址存储成可链接格式的网址；和/或

当所述标识为文本字符时，将所述文本字符存储成文字编辑版的格式。

8.一种视频节目特定信息的提取方法，其特征在于，包括：

步骤一，提取视频节目的视频帧中的特定标识区域；

步骤二，对所述特定标识区域进行图像增强处理，滤除所述特定标识区域的视频背景噪声；

步骤三，对增强处理后的所述特定标识区域进行标识提取。

9.根据权利要求8所述的视频节目特定信息的提取方法，其特征在于，所述步骤一中，还包括：以如下方式从所述视频帧中提取所述特定标识区域：

R＝(Ti∩Ci)/Ti

其中，

R为验证帧C与参考帧T的重叠比例，验证帧C为相邻视频帧，参考帧T为视频帧，C＝T±N，i、N为正整数；

Ti为参照帧中的第i个文字区域的面积；

Ci为验证帧中与参照帧中第i个文字区域相对应的区域的面积；

若R大于或等于一设定值，则提取出该参考帧的第i个文字区域作为特定标识区域。

10.根据权利要求8或9所述的视频节目特定信息的提取方法，其特征在于，所述步骤二中，还包括：

采用如下灰度变换函数对所述特定标识区域进行图像增强处理：

h(x，y)＝M[f(x，y)]+b＝af(x，y)+b

其中，a为直线的斜率，b为h轴上的截距，输入图像f(x，y)为特定标识区域的灰度图像，输出图像h(x，y)为增强处理后的特定标识区域的灰度图像；

若a＝1，b＝0，则输出图像复制输入图像；

若a＞1，b＝0，则输入图像的对比度被扩展；

若a＜1，b＝0，则输入图像的对比度被压缩；

若a＜0，b＝0，则对输入图像求反；

若a＝1，b≠0，则输出图像将比输入图像偏亮或偏暗。

11.根据权利要求8或9所述的视频节目特定信息的提取方法，其特征在于，所述步骤三中，还包括：

求取所述增强处理后的特定标识区域中行在水平方向的投影，根据该投影的值提取该行为字符行；

对所述字符行按照从左向右的方向搜索行中单个字符的左右界，根据字符的特征，从字符数据库中找出与该字符相匹配的字符，并作为所提取的标识。

12.根据权利要求8或9所述的视频节目特定信息的提取方法，其特征在于，还包括：

步骤四，根据类型对所提取的标识进行分类，并将所述标识存储成与其类型对应的格式。

13.根据权利要求12所述的视频节目特定信息的提取方法，其特征在于，所述步骤四中，还包括：

当所述标识为电话号码时，将所述电话号码存储成可拨打格式的电话号码；和/或

当所述标识为网址时，将所述网址存储成可链接格式的网址；和/或

当所述标识为文本字符时，将所述文本字符存储成文字编辑版的格式。

14.一种移动终端，其特征在于，包括如权利要求1-7中任一所述的提取系统。

Images