CN108446603A - 一种新闻标题检测方法及装置 - Google Patents

Abstract

本发明公开了一种新闻标题检测方法及装置，该方法包括：对待检测视频帧进行标题区检测，得到标题候选区域；提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；通过时域信息检测即当前视频帧和目标视频帧的文本颜色特征值和背景颜色特征值与预设的颜色阈值范围进行判断，确定标题候选区域中的主标题。通过本发明实现了能够准确检测到短时新闻标题的目的。

Description

一种新闻标题检测方法及装置

技术领域

本发明涉及信息处理技术领域，特别是涉及一种新闻标题检测方法及装置。

背景技术

新闻视频中蕴含着大量的最新咨询信息，对于视频网站和新闻类的应用端来说有着重要的价值。视频网站或者新闻类的应用端需要对每日播出的整条新闻进行拆分、上线，供用户对其中感兴趣的每条新闻进行点击观看。由于全国的电视台数量众多，除卫视台外还存在各类地方台。如果需要对所有的新闻进行分割的话，需要耗费大量的人力进行切分，对切分好的新闻属性标题，上线到发布系统中。另一方面，由于新闻的时效性，对于新闻视频的处理速度的要求也是十分严格的，所以给人工分割带来了更大的压力。例如，新闻一般都是在某个时间段大量播出，为了保证时效性，需要在规定的时间内尽快将整个的新闻节目切割成独立的新闻条目，而不能采用积压任务后期处理的方式进行生产。

现有的自动的新闻视频拆分和分析技术，通常会包括新闻标题的检测技术、文字识别技术等。新闻的标题是新闻拆分中具有重大意义的语义线索。对于长新闻拆分来讲，新闻标题的出现、结束和重复往往意味着不同的信息，预示着新闻的结构。主副标题是指一条新闻围绕一个主题会出现多条内容不一的副标题，但这类主标题在新闻视频中出现的时间往往较短，通常会以一种动画的方式在新闻底部出现，然后滑动至新闻中下部作为一种标题信息的补充，因此采用传统的信息定位和跟踪技术很难检测到这类短时新闻标题。

发明内容

针对于上述问题，本发明提供一种新闻标题检测方法及装置，实现了能够准确检测到短时新闻标题的目的。

为了实现上述目的，本发明提供了如下技术方案：

一种新闻标题检测方法，该方法包括：

对待检测视频帧进行标题区检测，得到标题候选区域；

提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

优选地，所述对待检测视频帧进行标题区检测，得到标题候选区域，包括：

按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

对所述待检测图像进行边缘二值化处理，得到二值化图像；

分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

优选地，所述提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值，包括：

对所述标题候选区域内的图像进行二值化处理，得到二值化图像；

对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值。

优选地，所述若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域，包括：

获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

若满足，则将所述标题候选区域确定为主标题候选区域。

优选地，所述获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题，包括：

获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。

一种新闻标题检测装置，该装置包括：

检测模块，用于对待检测视频帧进行标题区检测，得到标题候选区域；

颜色提取模块，用于提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

第一判断模块，用于若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

第二判断模块，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

优选地，所述检测模块包括：

图像获取单元，用于按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

二值化处理单元，用于对所述待检测图像进行边缘二值化处理，得到二值化图像；

边缘二值化单元，用于分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

边缘加强单元，用于选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

边界确定单元，用于对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

检测单元，用于依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

优选地，所述颜色提取模块包括：

图像处理单元，用于对所述标题候选区域内的图像进行二值化处理，得到二值化图像；

水平扫描单元，用于对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

垂直扫描单元，用于对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

均值计算单元，用于根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

均值判断单元，用于判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

掩码图像生成单元，用于根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

特征值计算单元，用于计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值。

优选地，所述第一判断模块包括：

第一特征值获取单元，用于获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

第一确定单元，用于根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

第一判断单元，用于判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

第二确定单元，用于若满足，则将所述标题候选区域确定为主标题候选区域。

优选地，所述第二判断模块包括:

第二特征值获取单元，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

第三确定单元，用于依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

第二判断单元，用于判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。

相较于现有技术，本发明首先对待检测视频帧进行标题区域检测，得到标题候选区域，这样明确了标题区域的检测范围使得后续的判断范围缩小提高了检测效率。然后通过颜色信息提取确定了标题候选区域中的文本颜色特征值以及背景颜色特征值，再通过时域检测也就是先对当前视频帧中的颜色特征值确定主标题候选区，再通过后续时域内的颜色特征值确定该主标题候选区是否为主标题。由于本发明是基于颜色特征提取和视频帧的时域分析得到了短时主标题，解决了现有技术中当主标题为短时标题时无法检测到该标题的难题，实现了能够准确检测到短时新闻标题的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种新闻标题检测方法的流程示意图；

图2为本发明实施例二提供的一种标题候选区域检测方法的流程示意图；

图3为本发明实施例三提供的一种新闻标题检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参见图1为本发明实施例一提供的一种新闻标题检测方法的流程示意图，该方法包括以下步骤：

S11、对待检测视频帧进行标题区检测，得到标题候选区域；

由于在新闻视频播放过程会存在一种主标题，即该主标题在新闻视频中出现的时间往往较短，会通过一种动画形式在新闻底部出现，随着新闻视频的播放，会滑动至新闻的中下部作为一种标题信息的补充。

因此，首先要确定新闻视频当前帧的标题区域，然后才能后进行短时标题信息的检测，相比于传统未分区域的标题检测，节省了检测时间，提高了检测效率。

S12、提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

具体的，在得到标题候选区域后对该区域进行颜色信息的提取，通过颜色特征初步判断标题候选区域中的文本颜色信息和背景颜色信息，为了后续检测和判断的准确将文本颜色信息和背景颜色信息均以颜色特征值进行表示。在本发明中通过颜色信息进行判断是因为现有的新闻视频播放过程中一般会在标题文本和背景设置不同的颜色进行显示，以便能够给用户带来更清晰的视觉效果，所以利用这个方面进行颜色信息的初步提取，能够对标题文本和背景进行更准确区分。

S13、若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

S14、获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

需要说明的是，在得到了标题候选区域后，一条新闻中的某个主标题下面的副标题颜色是基本不变的，可以通过判断当前视频帧的标题区域和N帧后的标题区域内的颜色信息确定主标题的存在时间，根据存在时间进一步可以验证该主标题是否为短时标题。

具体的，由于新闻视频是一个动态播放的格式，每个新闻视频都是由多个视频帧构成的，所以要先对当前视频帧中的文本颜色特征值和背景颜色特征值确定当前标题文本是否为主标题候选区域，然后需要采集预设时间段后也就是N帧后对应的颜色特征值，具体播放多少帧后，需要根据不同新闻视频的内容进行灵活设置。因为副标题信息主要为颜色信息，在新闻视频播放过程中，同一主标题对应的副标题的颜色基本不变，由此可以根据副标题的颜色信息判断对应的主标题存在时间，因此可以确定这个主标题是否为短时新闻标题。

通过本发明实施例一公开的技术方案，首先对待检测视频帧进行标题区域检测，得到标题候选区域，这样明确了标题区域的检测范围使得后续的判断范围缩小提高了检测效率。然后通过颜色信息提取确定了标题候选区域中的文本颜色特征值以及背景颜色特征值，再通过时域检测也就是先对当前视频帧中的颜色特征值确定主标题，再通过后续时域内的颜色特征值确定该主标题是否为短时标题。由于本发明是基于颜色特征提取和视频帧的时域分析综合得到的短时标题的判断结果，解决了现有技术中无法检测到短时标题的难题，实现了能够准确检测到短时新闻标题的目的。

实施例二

参照本发明实施例一提供的一种短时新闻标题检测方法，在本发明实施例二中将结合具体的实现过程进一步说明该方法，参见图2，在实施例一的基础上，本实施例提供了一种标题候选区域检测方法，包括：

S111、按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

S112、对所述待检测图像进行边缘二值化处理，得到二值化图像；

S113、分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

S114、选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

S115、对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

S116、依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

具体的，对于待拆分的新闻，也就是新闻视频，是由视频帧组成的，其中视频帧为一幅图像，进而还新闻是由多幅图像组成的，首先对每一幅图像，也就是每个视频帧，选取视频帧底部区域内的图像。这是由于大部分新闻标题出现的位置都在视频帧底部，进行区域选取的目的是为了减少计算量，提升检测精度。将该视频帧底部区域作为待检测图像，对应的底部区域的选取方法为：

假设视频帧的宽高为W、H，则底部区域Rect(rect.x，rect.y，rect.w，rect.h)在视频帧中的位置为：

rect.x＝0；

rect.y＝H*cut_ratio；

rect.w＝W；

rect.h＝H*(1-cut_ratio)；

其中，(rect.x，rect.y)为矩形区域在视频帧中的起点坐标，rect.w和rect.h分别为该区域的宽和高。

然后对待检测图像进行二值化处理，目的是便于图像处理和进行颜色特征提取，二值化处理之前还主要包括了灰度转换、计算分割阈值等方面。

由于待检测图像为彩色图像，所以需要将待检测图像由RGB色彩空间转换为灰度或者任意亮度色彩分离空间，其中，任意亮度色彩分离空间可以为YUV、HSV、HSL和LAB。

当RGB转换为灰度空间时，转换公式为：

Gray＝R*0.299+G*0.587+B*0.114

对于亮度色彩分离空间，以HSL举例，亮度L(Lightness)的转化公式为：L＝(max(R，G，B)+min(R，G，B))/2。

然后，对于转换后的图像进行边缘特征提取，提取边缘的方法有多种，例如：Sobel算子和Canny算子等，在本实施例以Sobel算子为例进行说明。

利用水平方向边缘梯度算子和垂直方向边缘梯度算子，同灰度或者亮度图像的进行卷积，获得水平边缘图E_h和垂直边缘图E_v，最终计算边缘强度图E_all，即对于边缘图上任意一点E_all(x，y)，可以通过该式E_all(x，y)＝sqrt(E_v(x，y)²+E_h(x，y)²)计算得到。

水平方向和垂直方向的边缘梯度算子以Sobel算子为例，其他算子同样适用。

对于边缘强度图E_all与预先设定的边缘强度图阈值Th_e1进行对比，根据比较结果将边缘图二值化，即，如果E_all(x，y)>Th_e1E(x，y)，则令该坐标对应的边缘图E(x，y)＝1，否则E(x,y)＝0。

因此对于待检测图像的RGB每个通道分别执行上述操作，得到三个通道分别的边缘强度图E_r，E_g，Eb。

对于E_r，E_g，E_b与预先设定的阈值Th_e2进行对比，将边缘图二值化，即以红色通道举例，如果E_r(x，y)>Th_e2，则Er(x,y)＝1，否则Er(x，y)＝0。需要说明的是阈值Th_e2和Th_e1可以相同也可以不同，一般优选Th_e2<Th_e1。

对于得到的边缘图像E进行边缘加强，具体的可以选用某个通道进行加强，也可以选择全部三个通道进行加强，其目的是为了防止字幕区域出现渐变导致检测失败，E(x，y)＝E(x，y)|E_r(x，y)|E_g(x，y)|E_b(x，y)，得到最终的边缘图。

对于最终的边缘图进行水平方向的投影，统计每一行i(i为该行的序号)中符合下述条件的像素的数量设为Num_edge，如果Num_edge>Th_num，则将直方图H[i]＝1，否则为0。

该条件为：该像素以及上下相邻像素中存在至少一个像素为1的值，就认为该像素的边缘值为1，同时统计该像素左右连续的像素边缘值为1，且连续的长度大于阈值Th_len的像素的总个数。

对于直方图H，进行遍历，H[i]＝＝1之间的行间距，如果间距大于阈值Th_row，则将这两行之间的边缘图像区域作为第一阶段候选区域，如果没有，继续处理下一帧输入视频帧。

对于每一个第一阶段候选区域，统计垂直方向的边缘投影直方图V，对于任意一列i，如果这一列的边缘像素为1的数量大于Th_v，则V[i]＝1，否则V[i]＝0，强制设置V[0]＝1&&V[W-1]＝1。寻找V中，V[i]＝＝1&&V[j]＝＝1&&V[k]_k∈(i,j)＝＝0&&argmax(i-j)的区域作为字幕区域的左右边界。选择这个区域内的原始图像，作为第二阶段的候选区域。

精细寻找第二阶段候选区域的左右边界，以一定长度的滑动窗口扫描第二阶段候选区域的原图，计算每一个窗口内的颜色直方图，同时统计该窗口内颜色直方图中非0位的个数num_color，寻找单色区域或者颜色复杂的背景区域的位置，即num_color<Th_color1||num_color>Th_color2，将符合该条件的窗口的中心位置，作为新的垂直方向边界。

对于上述方法确定的矩形区域CandidateRect，利用约束条件进行判断，约束条件包括但不限于，CandidateRect的起点的位置信息需在一定的图像范围中，CandidateRect的高度需要在一定的范围中等等，如果符合条件认为是一个标题候选区域，如果该标题候选区域没有处在跟踪中，则进行下一步处理，否则放弃这个跟踪区域。

需要说明的是在确定标题候选区域时，可以只检测一帧视频帧选取出候选区域，进行后续颜色信息的提取与判断。也可以通过检测标题候选区域后实行跟踪，当跟踪符合条件的若干帧后，进行相应信息的判断。

基于实施例一，本发明实施例二提供了一种颜色特征提取方法，包括：

S121、对述标题候选区域内的图像进行二值化处理，得到二值化图像；

具体的，获取当前时刻的视频帧中的标题候选区域对应的图像，将输入标题图像由RGB色彩空间转化为灰度/或者任意亮度色彩分离空间(如YUV，HSV，HSL，LAB)，对于灰度空间换公式为：Gray＝R*0.299+G*0.587+B*0.114

对于亮度色彩分离空间，以HSL举例，亮度L(Lightness)的转化公式为：L＝(max(R，G，B)+min(R，G，B))/2。

对于灰度或者亮度图像，利用OTSU方法计算灰度分割阈值，OTSU方法的描述为：

假设灰度图像I可以分割为N个灰度(N<＝256)，对于这N个灰度可以提取图像的N阶灰度直方图H；

对于直方图中的每一位t(0<＝t<N)，计算如下公式：

x(i)＝i*256/N

获得使最大的t对应的x(t)作为分割阈值Th_B。

对于输入标题图像中的像素(x，y)其对应的二值化图像B的像素为I(x，y)，如果I(x,y)<Th_B，则将B(x,y)＝0，否则B(x,y)＝255，得到二值化图像。

S122、对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

水平扫描图像B的每行像素，取本行第一个像素值为color，统计本行像素值不等于color的像素的个数num，如果num<Th₂，则背景区域像素值为back_color＝back_color+color，count＝count+1。

S123、对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

垂直扫描图像B的每列像素，取本列第一个像素值为color，统计本列像素值不等于color的像素的个数num，如果num<Th₂，则back_color＝back_color+color，count＝count+1。

S124、根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

S125、判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

计算背景像素的平均值，即back_color＝back_color/count，如果back_color<128，则设置背景区域颜色为back_color＝0，否则设置back_color＝255；

需要说明的是，对背景像素值和背景像素数量的计算，可以先扫描每行的像素再扫描没列的像素，也可先扫描每列的像素再扫描每行的像素。

S126、根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

S127、计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值；

基于上述实例，计算mask上面像素值等于255的位置上的像素在原图像上面的RGB通道的均值，R_{Text_avg}G_{Text_avg}B_{Text_avg}，该均值为第一均值记为文本颜色特征值。

计算mask上面像素值等于0的位置上的像素在原图像上面的RGB通道的均值，R_{back_avg}G_{back_avg}B_{back_avg}，该均值为第二均值记为背景颜色特征值。

获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

若满足，则将所述标题候选区域确定为主标题候选区域。

对应的，获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。

需要说明的是，若检测某个新闻的主标题是否为短时标题时，首先已知的是该新闻的主标题文本颜色、主标题背景颜色、副标题文本颜色和副标题背景颜色，基于上述的颜色信息可以设置RGB三色通道对应的颜色阈值范围，从而实现通过颜色检测某个区域内的文本是否满足主标题或者副标题的要求。对应的，通过已知的颜色阈值预先设定了第一主标题颜色阈值范围，也就是可以通过第一主标题颜色阈值范围来判断文本颜色是否满足主标题的文本颜色；通过第二主标题颜色阈值范围来判断该标题候选区域的文本背景颜色是否满足主标题背景颜色，从而确定该区域是否为主标题候选区域。

对应的，副标题的颜色阈值范围的设定与主标题的方法一致，此处不做赘述。需要说明的是，上述阈值范围的设定可以结合实际应用对幅度范围灵活设置，只要保证满足对应的颜色信息即可。

还根据上述具体实施例中进行说明，将第一均值(第一文本颜色特征值)R_{Text_ avg}G_{Text_avg}B_{Text_avg}同预先设定的第一主标题颜色阈值范围[R_{main_text_low},R_{main_text_high}][G_{main_text_low},G_{main_text_high}],[B_{main_text_low,}B_{main_text_high}]进行比较，将第二均值(第一背景颜色特征值)R_{back_avg}G_{back_avg}B_{back_avg}同预先设定的第二主标题颜色阈值范围[R_{main_back_low},R_{main_back_high}],[G_{main_back_low},G_{main_back_high}],[B_{main_back_low},B_{main_back_high}]进行比较。如果在范围条件内，则判断为主标题候选区域。

例如，待视频帧播放N帧后，在N+1帧内选取相同的候选区域CandidateRect，利用提取当前帧的标题颜色信息，R_{Text_avg_2}G_{Text_avg_2}B_{Text_avg_2}和R_{back_avg_2}G_{back_avg_2}B_{back_avg_2}。

将第二标题文本特征值R_{Text_avg_2}G_{Text_avg_2}B_{Text_avg_2}同预先设定的第一副标题颜色阈值范围[R_{sub_text_low,}R_{sub_text_high}],[G_{sub_text_low},G_{sub_text_high}],[B_{sub_text_low},B_{sub_text_high}]进行比较，将第二背景颜色特征值R_{back_avg_2}G_{back_avg_2}B_{back_avg_2}同预先设定的第二副标题颜色阈值范围[R_{sub_back_low},R_{sub_back_high}],[G_{sub_back_low},G_{sub_back_high}],[B_{sub_back_low},B_{sub_back_high}]进行比较，如果在范围条件内，则认为之前检测到的区域是一个短时标题区域。进而可以确定该区域内的主标题为短时新闻标题。

根据本发明实施例二公开的技术方案，为了更好地理解新闻结构，通过自动确定候选标题区域中文本颜色信息以及背景颜色信息，然后通过颜色信息确定该候选区域是主标题还是副标题。同时结合N帧后的候选区域颜色属于副标题，确定了该主标题存在的时间长度，进而可以将该主标题确定为短时标题，相比于传统的确定方法，本发明基于颜色进行判断实现了能够准确检测出短时新闻标题的目的。

实施例三

与本发明实施例一和实施例二所公开的新闻标题检测方法相对应，本发明的实施例三还提供了一种新闻标题检测装置，参见图3，该装置具体包括：

检测模块1，用于对待检测视频帧进行标题区检测，得到标题候选区域；

颜色提取模块2，用于提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

第一判断模块3，用于若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

第二判断模块4，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

可选的，在本发明的另一实施例中，所述检测模块包括：

图像获取单元，用于按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

二值化处理单元，用于对所述待检测图像进行边缘二值化处理，得到二值化图像；

边缘二值化单元，用于分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

边缘加强单元，用于选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

边界确定单元，用于对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

检测单元，用于依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

可选的，在本发明的另一实施例中，所述颜色提取模块包括：

图像处理单元，用于对所述标题候选区域内的图像进行二值化处理，得到二值化图像；

水平扫描单元，用于对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

垂直扫描单元，用于对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

均值计算单元，用于根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

均值判断单元，用于判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

掩码图像生成单元，用于根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

特征值计算单元，用于计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值。

可选的，在本发明的另一实施例中，所述第一判断模块包括：

第一特征值获取单元，用于获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

第一确定单元，用于根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

第一判断单元，用于判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

第二确定单元，用于若满足，则将所述标题候选区域确定为主标题候选区域。

可选的，在本发明的另一实施例中，所述第二判断模块包括：

第二特征值获取单元，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

第三确定单元，用于依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

第二判断单元，用于判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。

在本发明的实施例三中，首先对待检测视频帧进行标题区域检测，得到标题候选区域，这样明确了标题区域的检测范围使得后续的判断范围缩小提高了检测效率。然后通过颜色信息提取确定了标题候选区域中的文本颜色特征值以及背景颜色特征值，再通过时域检测也就是先对当前视频帧中的颜色特征值确定主标题候选区域，再通过后续时域内的颜色特征值确定该主标题。由于本发明是基于颜色特征提取和视频帧的时域分析综合得到的主标题，解决了现有技术中无法检测到短时标题的难题，实现了了能够准确检测到短时新闻标题的目的。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种新闻标题检测方法，其特征在于，该方法包括：

对待检测视频帧进行标题区检测，得到标题候选区域；

提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

2.根据权利要求1所述的方法，其特征在于，所述对待检测视频帧进行标题区检测，得到标题候选区域，包括：

按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

对所述待检测图像进行边缘二值化处理，得到二值化图像；

分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

3.根据权利要求1所述的方法，其特征在于，所述提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值，包括：

对所述标题候选区域内的图像进行二值化处理，得到二值化图像；

对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值。

4.根据权利要求1所述的方法，其特征在于，所述若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域，包括：

获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

若满足，则将所述标题候选区域确定为主标题候选区域。

5.根据权利要求1所述的方法，其特征在于，所述获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题，包括：

获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。

6.一种新闻标题检测装置，其特征在于，该装置包括：

检测模块，用于对待检测视频帧进行标题区检测，得到标题候选区域；

颜色提取模块，用于提取所述标题候选区域的标题文本颜色信息和背景颜色信息，并依据所述标题文本颜色信息对应的像素值和所述背景颜色信息对应的像素值进行计算，得到文本颜色特征值和背景颜色特征值；

第一判断模块，用于若当前视频帧对应的标题候选区域的第一文本颜色特征值满足第一主标题颜色阈值范围，则判断所述当前视频帧对应的第一背景颜色特征值是否满足与第二主标题颜色阈值范围，如果是，则判断所述标题候选区域为主标题候选区域；

第二判断模块，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，若所述第二文本颜色特征值满足第一副标题颜色阈值范围，且所述第二背景颜色特征值满足第二副标题颜色阈值范围，则将当前视频帧对应的所述主标题候选区域确定为主标题。

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

图像获取单元，用于按照预设的剪裁比例获取所述待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；

二值化处理单元，用于对所述待检测图像进行边缘二值化处理，得到二值化图像；

边缘二值化单元，用于分别对所述待检测图像对应的RGB图像进行边缘二值化处理，得到RGB边缘二值化图像；

边缘加强单元，用于选取所述RGB边缘二值化图像，对所述二值化图像进行边缘加强得到目标边缘图；

边界确定单元，用于对所述目标边缘图进行水平方向和竖直方向投影，并依据获得的水平方向的直方图和竖直方向的直方图确定目标边缘图的上下边界和左右边界；

检测单元，用于依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。

8.根据权利要求6所述的装置，其特征在于，所述颜色提取模块包括：

图像处理单元，用于对所述标题候选区域内的图像进行二值化处理，得到二值化图像；

水平扫描单元，用于对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；

垂直扫描单元，用于对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；

均值计算单元，用于根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；

均值判断单元，用于判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；

掩码图像生成单元，用于根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；

特征值计算单元，用于计算所述掩码图像中文本像素点在所述标题候选区域图像上的RGB通道的第一均值，将所述第一均值记为背景颜色特征值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的RGB通道的第二均值，将所述第二均值记为文本颜色特征值。

9.根据权利要求6所述的装置，其特征在于，所述第一判断模块包括：

第一特征值获取单元，用于获取当前视频帧对应的标题候选区域的第一背景颜色特征值和第一文本颜色特征值；

第一确定单元，用于根据主标题文本颜色信息确定第一主标题颜色阈值范围，并根据主标题背景颜色信息确定第二主标题颜色阈值范围；

第一判断单元，用于判断所述第一文本颜色特征值是否满足所述第一主标题颜色阈值范围，如果是，则判断所述第一背景颜色特征值是否满足预设第二主标题颜色阈值范围；

第二确定单元，用于若满足，则将所述标题候选区域确定为主标题候选区域。

10.根据权利要求6所述的装置，其特征在于，所述第二判断模块包括:

第二特征值获取单元，用于获取目标视频帧对应的标题候选区域的第二文本颜色特征值和第二背景颜色特征值，其中，所述目标视频帧与所述当前视频帧之间间隔N个视频帧，N为正整数；

第三确定单元，用于依据副标题文本颜色信息确定第一副标题颜色阈值范围，并依据副标题背景颜色信息确定第二副标题颜色阈值范围；

第二判断单元，用于判断所述第二文本颜色特征值是否满足第一副标题颜色阈值范围，如果是，则判断所述第二背景颜色特征值是否满足第二副标题颜色阈值范围，如果是，则将所述当前视频帧对应的主标题候选区域确定为主标题。