CN1703095B - 检测字母盒的装置和方法及具备其的mpeg解码器 - Google Patents

Abstract

在用于检测MPEG解码器的字母盒(letter box)的器件和方法中，所述方法包括：执行处理区域过滤，以便选择用来检测字母盒的图像的处理区域；执行宏块内过滤，在所述处理区域的图像的一条线中根据宏块中的像素的改变水平来确定字母盒区域；执行脉冲数据过滤，用于从被检测的线排除来自所确定的字母盒区域的高频分量；执行宏块间的过滤，用于根据在所述图像的宏块间的线的改变水平来确定字母盒区域；执行线间过滤，以便根据所述线的平均像素值来确定字母盒的边界；并且执行画面间的过滤，用于输出具有最高频率数的字母盒的边界值以作为连续图像中的字母盒的边界。

Description

检测字母盒的装置和方法及具备其的MPEG解码器

本美国非临时专利申请要求2004年5月27日提交的韩国专利申请2004-37813的、在35 U.S.C.§119下的优先权，其整体内容通过引用被包含在此。

技术领域

本发明涉及MPEG解码技术，具体而言涉及用于检测MPEG解码器的字母盒的装置和方法。

背景技术

图1A-1C图解了字母盒处理特征，由此在编码器中将16:9高宽比的视频信号转换为4:3高宽比的视频信号，并且图1A-1C图解了一个补充特征，其中包括字母盒的4:3高宽比的视频信号被转换为16:9高宽比的视频信号。

多数现有的电视机被配置为以4:3高宽比显示。因此，图1A所示的具有16:9高宽比的用于显示的图像首先被转换为图1B所示的4:3高宽比的图像，这被称为MPEG编码操作。在这种情况下，为了彼此匹配不同高宽比的图像，使用被称为Pan-Scan的MPEG-2标准，或者通过向图像的上和下区域插入无效图像数据——例如向字母盒区域a和a’插入——来编码图像。

但是，在图1B所示的图像被解码和注入在具有16:9或4:3高宽比的屏幕上的情况下，当所述图像匹配4:3屏幕的高宽比的时候，对于在16:9屏幕上的高宽比发生图像不匹配，因此屏幕的左右区域不对应于解码图像的像素值。

于是，没有左右区域b和b’的屏幕被显示，或者在内插后在其上注入图像，结果产生不自然的图像图案。而且，因为在上下区域a和a’或在左右区域b和b’出现无效图像，因此在屏幕显示器上的空间被浪费。另外，对于使用CRT(阴极射线管)来作为监控器的电视机，连续输出相同的像素值，这以引起屏幕损伤。

在这种情况下，当在屏幕上显示解码的图像时，如果去除了在编码时插入的图像a和a’，并且因此在16:9屏幕上注入原始的16:9图像，则有可能观看到在其原始状态还未被编码的图像。但是，因为MPEG解码器不可能识别在编码MPEG时插入的图像的大小，因此用户按照他本身的基准使用预定大小来选择结果产生的图像大小。而且，当所述数值不正确时，这种技术在图像再现中无效。因此，为了按照屏幕的高宽比来显示正确的图像，重要的是正确地检测在编码时被插入到上下区域中的字母盒a和a’的大小。

发明内容

本发明涉及一种用于检测字母盒的装置和方法，能够通过正确地检测被插入到图像中的字母盒的大小来按照高宽比而正确地显示解码的屏幕，本发明也涉及使用所述装置和方法的MPEG解码器。

在一个方面，本发明涉及一种用于检测字母盒的方法，包括步骤：执行处理区域过滤，以便选择用来检测字母盒的图像的处理区域；执行宏块内过滤，以便在所述处理区域的图像的一条线中根据宏块中的像素的改变水平来确定字母盒区域；执行脉冲数据过滤，以便从被检测的线排除来自所确定的字母盒区域的高频分量；执行宏块间的过滤，以便根据在所述图像的宏块间的线的改变水平来确定字母盒区域；执行线间过滤，以便根据所述线的平均像素值来确定字母盒的边界；以及执行画面间的过滤，用于输出具有最高频率数的字母盒的边界值以作为连续图像中的字母盒的边界。

在一个实施例中，在已经执行了图像的解码操作后执行用于检测字母盒的所述方法。

在另一个实施例中，以在图像中包括的多个宏块为单位来执行用于检测字母盒的所述方法。

在另一个实施例中，所述处理区域过滤步骤排除其中可能存在图像中的不常见的像素的图像的边界部分。

在另一个实施例中，所述宏块内过滤步骤包括子步骤：关于多个图像宏块，计算一条线中的像素之间的差值；关于宏块，根据所述差值来计算宏块的每一条线的像素变化；关于宏块，根据一条线中的像素的改变水平值来计算在图像的一条线中的像素的改变水平值；将在图像的一条线中的图像的改变水平值与第一门限值相比较；并且当在图像的一条线中的图像的改变水平值大于第一门限值时确定对应的线不被包括在字母盒区域中。

在另一个实施例中，在像素之间的差值对应于在宏块的同一线上相距期望距离的位置中存在的像素之间的差值。

在另一个实施例中，所述脉冲数据过滤步骤包括子步骤：将在所述宏块内过滤步骤中计算的一条线中的像素之间的差值与第二门限值相比较；以及当在所述像素之间的差值大于第二门限值时确定对应的线不属于所述字母盒区域。

在另一个实施例中，所述宏块内过滤步骤包括子步骤：对于图像的多个宏块的每个，计算一条线中的像素的和；通过将在所计算的宏块的一条线中的像素的和的平均值与在相邻宏块的一条线中的像素的和的平均值相比较来计算在每个块的一条线中的改变水平值；根据宏块的改变水平值来计算在图像的一条线中的改变水平值；将在图像的一条线中的改变水平值与第三门限值相比较；以及如果在图像的一条线中的所述改变水平值大于第三门限值，则确定对应的线不属于所述字母盒区域。

在另一个实施例中，所述线间过滤步骤包括子步骤：计算线中包括的像素的平均值；将所述线的像素的平均值与前一条线的像素的平均值相比较；并且如果平均值之间的差大于期望的门限值，则确定对应的线不属于所述字母盒区域。

在另一个方面，本发明涉及用于检测字母盒的装置，包括：处理区域过滤器，用于选择用来检测字母盒的图像的处理区域；宏块内过滤器，用于计算来自宏块中的处理区域的图像的一条线中的像素的改变水平，并且通过将在一条线中的像素的改变水平与第一门限值相比较来确定对应的线是否属于字母盒区域；脉冲数据过滤器，用于从宏块内过滤器中被确定为包括在字母盒中的线来检测高频分量；宏块间过滤器，用于对于在宏块间没有高频分量的线，计算图像的改变水平，并且通过将在一条线中的图像的改变水平与第三门限值相比较来确定对应的线是否属于字母盒区域；线间过滤器，用于通过将在宏块间过滤器中被确定为包括在字母盒中的线与相邻线的像素值的平均值相比较来确定字母盒的边界；画面间过滤器，用于重复地执行所述处理区域过滤器、宏块内过滤器、脉冲数据过滤器、宏块间过滤器和线间过滤器的操作与先前设置的图像数目相同的那么多次，并且输出在所执行的结果中具有最高频率数的字母盒的边界值。

在一个实施例中，在已经执行了图像的所有解码操作后进行字母盒检测。

在另一个实施例中，以在图像中包括的多个宏块为单位来执行过滤。

在另一个实施例中，处理区域过滤器排除了图像中可能存在不常见的像素的图像的边界部分。

在另一个实施例中，所述宏块内过滤器对于构成所述图像的多个宏块计算一条线中的像素之间的差值，将基于所述差值的所计算的宏块的一条线中的像素的改变水平值与第一门限值相比较，并且如果在图像的一条线中的改变水平值大于第一门限值，则确定对应的线不属于字母盒区域。

在另一个实施例中，在像素之间的差值是在宏块的同一条线上相距期望距离的位置中存在的像素之间的差值。

在另一个实施例中，所述脉冲数据过滤器将在所述像素之间的差值与第二门限值相比较，如果在所述像素之间的差值大于第二门限值则确定对应的线不属于所述字母盒区域。

在另一个实施例中，通过将所述图像的多个宏块的每个的像素的和的平均值与相邻宏块的一条线中的像素的和相比较来计算一条线中的每个宏块的改变水平值，将根据一条线中的所述改变水平值而计算的所述图像的一条线中的改变水平值与第三门限值相比较，并且如果所述图像的改变水平值大于第三门限值，则确定对应的线不属于所述字母盒区域。

在另一个实施例中，所述线间过滤器将所述线的像素的平均值与前一线的像素的平均值相比较，并且如果在平均值之间的差大于第四门限值，则确定对应的线不属于所述字母盒区域。

在另一个方面，本发明涉及一种MPEG解码器，包括：解码单元，用于解码包括字母盒的图像；字母盒检测单元，用于提取所解码图像的处理区域，并且通过以在所提取的处理区域中包括的多个宏块为单位来计算图像的像素的改变水平和图像的线的改变水平而确定对应的线是否属于字母盒区域；图像显示控制单元，用于响应于所述字母盒检测结果，并且控制和显示图像的大小；其中，所述字母盒检测单元执行字母盒检测操作与先前设置的检测那么多次，并且输出具有最高频率数的字母盒边界值。

附图说明

通过更具体地说明在附图中图解的本发明的优选实施例，本发明的上述和其他目的、特征和优点将会更加清楚，其中，在不同的视图中，类似的附图标号表示相同的部件。所述附图不必然成比例，而是重点放在图解本发明的原理。在附图中：

图1A-1C是图解字母盒处理特征的图，其中，16:9高宽比的视频信号在编码器中被转换为4:3高宽比的视频信号，并且图1A-1C图解了一个例证特征，其中包含字母盒的4:3高宽比的视频信号被转换为16:9高宽比的视频信号；

图2是按照本发明的一个实施例的MPEG解码器的方框图；

图3是按照本发明的一个实施例的字母盒检测器的方框图；

图4是图解用于检测字母盒的图像构造和由图3所示的处理区域过滤器进行的过滤程序；

图5是说明图4所示的宏块的结构和由图3所示的宏块内的过滤器进行的过滤程序；

图6是说明图3所示的宏块间过滤器的过滤程序的图；和

图7A和7B是图解按照本发明的一个实施例的用于检测字母盒的方法的流程图。

具体实施方式

下面参照附图来更详细地说明本发明的优选实施例。但是，本发明可以以不同形式被体现，并且不应当被理解为限定在此给出的实施例。而是，这些实施例被提供使得本公开是彻底和完整的，并且充分地向本领域的技术人员传送本发明的范围。在说明书中，类似的标号表示类似的元件。

以下，将结合附图来说明本发明的一个例证实施例。

根据按照本发明的用于检测字母盒的新颖装置和方法，一种MPEG解码器进行图像的解码，然后通过六步骤过滤处理检测插入图像中的字母盒的大小而不影响解码的结果和不需要另外的存储器存取操作。结果，有可能按照高宽比来正确地显示所解码的图像。

图2是图解按照本发明的一个优选实施例的MPEG解码器100的方框图。

参见图2，按照本发明的MPEG解码器100解码所编码的比特流STREAM_ENC，检测插入图像的字母盒的大小，并且调整和输出所解码的图像以与显示单元90的屏幕高宽比匹配。结果，可以按照显示单元90的屏幕高宽比来正确地显示所解码的图像。

为了完成正确的显示，MPEG解码器100包括：外部存储器10，它用作用于存储图像数据的视频存储器；总线20，它连接到在MPEG解码器100中包括的每个逻辑单元，并且用作用于收发信号和数据信息的路径；MPEG解码器30，用于解码所编码的MPEG比特流STREAM_ENC；系统控制单元70，用于控制MPEG解码器100的所有操作；显示控制单元80，用于调整和输出解码结果以与显示单元90的屏幕高宽比匹配。

MPEG解码器30包括：视频流接口单元40，用于连接编码的比特流STREAM_ENC；MPEG解码单元50，用于进行编码的比特流STREAM_ENC的解码操作；字母盒检测单元60，用于检测在编码时插入图像中的字母盒，其中，MPEG解码器30执行图像的解码操作和用于检测被插入图像的字母盒的大小的操作。

在MPEG解码单元50进行一系列解码程序(例如，逆离散余弦变换：IDCT)和运动补偿程序后，字母盒检测单元60读出用于在外部存储器中存储解码数据的数据，并且检测在图像中存在的字母盒的大小。在字母盒检测单元60中检测的字母盒信息通过系统控制单元70被发送到显示控制单元80。显示控制单元80响应于控制信号和从系统控制单元70输入的字母盒信息，并且调整和输出所解码的图像以与显示单元90的屏幕高宽比匹配。

按照本发明，字母盒检测单元60的每个过滤器由用以优化其速度、数据存储空间等的专用硬件构成。但是，有可能在计算机可读的记录介质上将字母盒检测功能体现为计算机可读的代码。所述计算机可读记录介质包括所有种类的记录装置，其中存储了可以由计算机系统读取的数据，并且计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。而且，所述计算机可读记录介质可以被通过网络连接的计算机系统分布，并且使用一种分布方案而被存储和实现为计算机可读代码。

图3是图2所示的按照本发明的一个实施例的字母盒检测单元60的方框图。

参见图3，按照本发明的字母盒检测单元60包括处理区域过滤器(PAF)61、宏块内过滤器(INT_MF)62、脉冲数据过滤器(IDF)63、宏块间过滤器(IMF)64、线间过滤器(ILF)65和画面间过滤器(IPF)66。

传统类型的字母盒检测单元以线为单位从外部存储器10读取像素，并且以线为单位处理像素。但是，因为MPEG操作以宏块为单位执行有损的压缩，因此以宏块为单位来改变像素值的改变水平。因此，本发明通过根据这样的MPEG属性以宏块为单位执行过滤的5个步骤来提高用于检测字母盒的精度。具体上，因为按照本发明的字母盒检测单元60通过搜索在存储当MPEG解码器结束解码操作时出现的最后像素值时出现的信号而检测字母盒，因此字母盒检测单元60不反作用系统性能。具有这样的结构的字母盒检测单元60的每个过滤器的操作将被描述如下。

图4是示出用于检测字母盒的图像的构造和图3所示的处理区域过滤器61的过滤程序的视图。

参见图4，处理区域过滤器61执行用于排除图像的边缘部分——其中可能存在解码图像200的异常像素——的功能，并且选择其中存在稳定数据的处理区域220。当以几个步骤来处理数据以编码和解码图像时，可能在每个图像的边缘区域210中存在异常像素。因此，本发明通过使用处理区域过滤器61从字母盒排除图像的边缘区域210——其中可能存在异常像素——而提高了用于检测字母盒的精度。

图5图解了图4所示的宏块的构造和图3所示的宏块内过滤器62的过滤程序。

参见图4和5，宏块内过滤器62计算通过处理区域过滤器61选择的有效数据区域中包括的每个宏块221的一条线中的像素d00、d01、...、df6、df7之间的差，并且根据所计算的在像素d00、d01、...、df6、df7之间的差来测量在所述宏块的一条线内的像素的改变水平NO_MB_LB。在通过求和在几个宏块的一条线中的NO_MB_LB值而获得在图像的一条线中(one line ofimage)的NO_MB_LB值之后，通过将在图像的一条线中的NO_MB_LB与期望的门限值TH_NUM_INTRA_LINE_MB相比较来确定在字母盒中是否包括任意线。在宏块内过滤器62中执行的过滤程序被详细描述如下。

由处理区域过滤器61过滤的图像220由图4所示的多个宏块221、222、223、...构成，并且所述多个宏块221、222、223、...由图5所示的16*16个像素构成。

首先，宏块内过滤器62用于计算在每个宏块221的一条线中的像素d00、d01、...、df6、df7之间的差。此时，在所计算的像素d00、d01、...、df6、df7之间的差和在像素之间的对应关系如下。

【方程1】

d00＝|p00-p08|，d01＝|p01-p09|

d02＝|p02-p0a|，d03＝|p03-p0b|

d04＝|p04-p0c|，d05＝|p05-p0d|

d06＝|p06-p0e|，d07＝|p07-p0f|

d10＝|p10-p18|，d11＝|p11-p19|

d12＝|p12-p1a|，d13＝|p13-p1b|

d14＝|p14-p1c|，d15＝|p15-p1d|

d16＝|p16-p1e|，d17＝|p17-p1f|

df0＝|pf0-pf8|，df1＝|pf1-pf9|

df2＝|pf2-pfa|，df3＝|pf3-pfb|

df4＝|pf4-pfc|，df5＝|pf5-pfd|

df6＝|pf6-pfe|，df7＝|pf7-pff|

在此，为什么从第一个获得在一个像素和相隔8个像素的一个像素之间的差而不是获得在相邻的两个像素之间的差的原因是以8x8为单位来进行逆离散余弦变换(IDCT)，并且获得在一个任意块中的像素和属于另一个块的像素之间的差(即改变)可用于更精确地检测字母盒。

在方程1中计算了每个宏块221的一条线中的像素d00、d01、...、df6、df7之间的差后，在方程2中，获得了比期望的门限值TH_INTRA_MB大的在一条线中的像素d00、d01、...、df6、df7之间的差的数量(NUM[(从d00到d07)>TH_INTRA_MB])，并且确定所获得的数量是否大于期望的门限值TH_NUM_INTRA_MB。如果作为确定结果确定所获得的数量大于所述门限值，这通过逐个地提高计数值来计算在一条线中的宏块的像素的改变水平NO_MB_LB。在每个宏块的每条线中进行这样的计算。

【方程2】

如果NUMI[(从d00到d07)>TH_INTRA_MB]>TH_NUM_INTRA_MB

NO_MB_LB＝NO_MB_LB+1

在此，当在一条线中的宏块的像素的改变水平值NO_MB_LB提高时，对应的线不是字母盒的可能性变大。

在方程1和2的程序都在每个宏块的每一条线中被执行后，计算对于由多个宏块形成的图像的一条行线的一条线中的像素之间的改变水平NO_MB_LB。通过下述方式来计算在图像的每条线中的像素之间的改变水平NO_MB_LB：即，求和在多个宏块221、222、223、...的每条线中的像素之间的改变水平，其被布置在图像的水平方向(即在行方向)上。

在计算了在图像的一条线中的像素之间的改变水平NO_MB_LB后，将在图像的一条线中的像素之间的改变水平NO_MB_LB与期望的门限值TH_NUM_INTRA_LINE_MB相比较，并且确定对应的线是否属于字母盒区域。

【方程3】

在一条线中的NO_MB_LB>TH_NUM_INTRA_LINE_MB

当作为在方程3中的比较结果在图像的一条线中的像素之间的改变水平NO_MB_LB大于期望的门限值TH_NUM_INTRA_LINE_MB的时候，确定对应的线不是字母盒(即，被确定为有效区域)。而且，当作为在方程3中的比较结果在图像的一条线中的像素之间的改变水平NO_MB_LB小于期望的门限值TH_NUM_INTRA_LINE_MB的时候，对应的线可以是字母盒存在的指示。

当完成宏块内过滤器62的过滤时，通过脉冲数据过滤器63来进行对于被选择作为字母盒的像素的过滤。脉冲数据过滤器63用于补偿宏块内过滤器62。即，宏块内过滤器62通过测量在宏块内改变的像素的数量来确定字母盒，并且脉冲数据过滤器63通过测量像素水平的改变来确定字母盒。脉冲数据过滤器63检测在图像中的高频分量，其中，确定具有至少一个包含高频分量的像素的线不是字母盒区域。

这是因为在编码MPEG图像之前在诸如低通过滤器LPF等的预处理程序中处理所述MPEG图像，并且多数脉冲噪音因此被去除。而且，因为由于在MPEG中的有损压缩而导致发生的噪音的噪音特征去除了在像素之间的高频分量，因此如果在宏块内过滤器62中对应于字母盒的部分中存在具有严重差别的至少一个像素，则所述线是字母盒的概率较大。因此，脉冲数据过滤器63确定通过方程1获得的在像素d00、d01、...、d0f之间的差是否大于期望的门限值TH_MAX_DIFF_PIX(即，是否存在高频分量)，如果作为确定结果在像素d00、d01、...、d0f之间的差大于期望的门限值TH_MAX_DIFF_PIX(即，如果存在高频分量)，则确定对应的线不是字母盒。也对于在每个宏块内包括的所有线执行脉冲数据过滤器63的过滤程序。

在脉冲数据过滤器63的过滤后，按照本发明的字母盒检测单元60通过宏块间过滤器64执行过滤。

图6是说明图3所示的宏块间过滤器64的过滤程序的视图。

参见图4和6，宏块间过滤器64计算在每个宏块221、222、223、...的一条线中的像素的和A0-A15、B0-B15、C0-C15、...，并且根据所计算的每个的一条线中的像素的和A0-A15、B0-B15、C0-C15、...以及相邻宏块的平均值来获得每个宏块的一条线中的改变水平NO_MB_LB1。而且，通过求和在多个宏块的一条线中的改变水平NO_MB_LB1来获得图像的一条线中的改变水平NO_MB_LB1，然后通过将在一条线中的宏块的改变水平NO_MB_LB1与期望的门限TH_NUM_INTER_MB相比较来确定对应的线是否属于字母盒区域。在宏块间过滤器64中执行的过滤程序如下。

检测到字母盒的图像由多个宏块221、222、223、...构成，并且宏块221、222、223、...的每个由16条线构成，每条线包括16个像素。首先，宏块间过滤器64计算在宏块221、222、223、...的一条线中的像素的和A0-A15、B0-B15、C0-C15、...。在此，A0表示第一宏块221的第一线的像素的和(即，A0＝p00+p01+p0e+p0f)，B0表示第二宏块222的第一线的像素的和。而且，在每个宏块内进行宏块的线的求和。

在计算了在每个宏块的一条线中的像素的和A0-A15、B0-B15、C0-C15、...之后，获得在所计算的一个宏块的一条线中的像素的和与和所述宏块相邻的周围宏块的平均值之间的差，将所述差与期望的门限值TH_INTER_MB相比较，然后如方程4所示获得在宏块间的一条线中的改变水平。

【方程4]

如果|AVE(A0，B0...)-C0|>TH_INTER_MB

NO_MB_LB1＝NO_MB_LB1+1

在此，当在宏块间的每条线中的改变水平值NO_MB_LB1增加时，对应的线不是字母盒的可能性变大。对于所有宏块的每个执行在宏块的一条线中的改变水平NO_MB_LB1的计算和比较。

此时，如果确定在每个宏块的一条线中的改变水平大于期望的门限值TH_INTER_MB，则这意味着对应的宏块的对应线不是字母盒的概率变大。因此，当将在一个宏块的一条线中的改变与一个周围宏块进行比较时，所述比较在不包括对应宏块的对应线的情况下被执行。例如，在第三宏块223的第一线的C0与相邻宏块221和222的第一线的和A0和B0的平均值之间的差大于期望的门限值TH_INTER_MB的情况下，当对于第四宏块的第一线执行所述比较和求和操作时不使用第三宏块223的第一线的和C0。此时，将所述第四宏块的第一线的像素的和与排除了第三宏块223的第一线的和C0的、第一和第二宏块221和222的第一线的和A0和B0的平均值相比较。

当在每个宏块的一条线中完成了方程4的程序时，在多个宏块上形成的一个图像的一条线中计算在宏块间的改变水平NO_MB_LB1。将图像的一条线中的宏块之间的改变水平NO_MB_LB1计算为在多个宏块221、222、223、...的一条线中的改变NO_MB_LB1的和，所述多个宏块221、222、223、...排列在图像的宽度方向上(即，在行方向上)。

随后，将在图像的一条线中的宏块间的改变水平NO_MB_LB1与期望的门限值TH_UM_INNTER_MB相比较，并且确定对应的线是否属于一个字母盒区域。

【方程5】

在一条线中的NO_MB_LB1>TH_NUM_INNTER_MB

作为在方程5中的比较结果，当在图像的一条线中的宏块NO_MB_LB1之间的改变水平大于期望的门限值TH_NUM_INNTER_MB的时候，确定对应的线不是字母盒(即，所述线是有效区域)。作为方程5的比较结果，当在图像的一条线中的像素之间的改变水平NO_MB_LB1变得小于期望的门限值TH_NUM_INTER_MB的时候，这表示对应的线可以是字母盒。

回到图3，线间过滤器65接着搜索在图像中的相邻线的像素值的平均值，并且按照下述特征来确定所述字母盒的边界：所述特征是，所述字母盒区域由多条线构成，在所述多条线中，期望的间隔具有连续的值。

【方程6】

如果|AVE(当前线)-AVE(前一条线)|>TH_LINNE_BY_LINE

在方程6中，当在当前线的像素的平均值和前一条线的像素的平均值之间的差大于门限值TH_LINNE_BY_LINNE时，确定当前线属于其线与当前线不连续的区域(即有效区域)。当在当前线的像素的平均值和前一条线的像素的平均值之间的差小于门限值TH_LINNE_BY_LINNE时，确定当前线对应于字母盒。此时，位于图像上部的字母盒被搜索在第一线是否存在连续，并且位于图像下部的字母盒被搜索在最后一条线是否存在连续，以便确定每个图像的每个字母盒的位置。

当使用上述的过滤程序来检测图像的字母盒时，画面间过滤器66确定从其检测到字母盒的图像的数量pic_RANGE。当检测到其字母盒的图像的数量pic_RANGE小于期望数量NUM_PIC_LBD时，上述的系列过滤程序被重复执行，直到检测到其字母盒的图像的数量pic_RANGE变为期望数量NUM_PIC_LBD。当检测到其字母盒的图像的数量pic_RANGE大于期望数量NUM_PIC_LBD时，产生一个中断信号，并且输出在直到此时间点执行的字母盒检测结果中具有最高频率数的字母盒所对应的大小。

回到图2，如果在每个图像中的字母盒检测结果被输出到MPEG解码器(decoding device)100的系统控制单元70，则系统控制单元70可以被过载。因此，画面间过滤器66(见图3)设置字母盒检测的期望数量，并且所述字母盒检测结果不输出到MPEG解码器100的系统控制单元70，直到像以前设置的那么多次检测到字母盒。

图7A和7B是按照本发明的一个实施例的用于检测字母盒的方法的流程图。

参见图7A和7B，按照本发明的用于检测字母盒的方法首先执行处理区域过滤PAF操作(步骤610)。所述处理区域过滤PAF程序包括步骤：接收其中已经完成了解码操作的图像(步骤612)，去除图像的边界部分并且选择图像的处理区域(步骤614)。

随后，执行宏块内过滤，其中，从在每个宏块的一条线中计算的像素之间的差获得在一条线中的像素的改变水平NO_MB_LB，并且确定对应的线是否属于所述字母盒区域(步骤620)。所述宏块内过滤程序(步骤620)计算在宏块的一条线中的所计算的像素d00、d01、...、df6、df7之间的差值(步骤622)，并且根据在所计算的像素d00、d01、...、df6、df7之间的差值来测量在一条线中的像素之间的改变水平(步骤624)。在步骤624中测量的一条线中的像素之间的改变水平包括在宏块的一条线中的像素的改变水平NO_MB_LB和在宏块的一条线中的像素的改变水平NO_MB_LB。在图像的一条线中的像素的改变水平NO_MB_LB被计算作为在图像的宽度方向(即在行方向)中排列的多个宏块的一条线中的像素之间的改变水平NO_MB_LB的和。在步骤624中测量了图像的一条线中的像素NO_MB_LB之间的改变水平后，宏块内过滤程序(步骤620)确定在所测量的图像的一条线中的像素之间的改变水平是否大于第一门限值TH_NUM_INTRA_LINE_MB，然后确定对应的线是否是字母盒区域(步骤626)。即，如果作为在步骤626中的确定结果是在所测量的图像的一条线中的像素之间的改变水平大于第一门限值TH_NUM_INTRA_LINE_MB，则确定对应的线不是字母盒。而且，如果在所测量的图像的一条线中的像素之间的改变水平大于第一门限值TH_NUM_INTRA_LINE_MB，则对应的线可以是字母盒。

在步骤620中执行了宏块内过滤INT_MF后，执行脉冲数据过滤IDF，用于检测在图像中存在的高频分量的幅度(步骤630)。在步骤630确定在步骤622中计算的在像素之间的差值d00、d01、...、df6、df7是否大于第二门限值TH_MAX_DIFF_PIX，然后确定对应的线是否属于所述字母盒区域。即，如果在宏块的一条线中计算的像素之间的差d00、d01、...、df6、df7大于第二门限值TH_MAX_DIFF_PIX，则确定对应的线不是字母盒区域(即，它被确定为有效区域)。而且，如果确定在像素之间的差d00、d01、...、df6、df7小于第二门限值TH_MAX_DIFF_PIX，则对应的线可以属于一个字母盒区域。

随后，根据在宏块中包括的一条线中的像素的和与相邻宏块的一条线中的像素的和的平均值来计算在图像的一条线中的宏块的改变水平NO_MB_LB1，并且执行宏块间的过滤IMF以确定对应的线是否属于所述字母盒区域(步骤640)。

在宏块间过滤步骤(步骤640)中，计算每个宏块的一条线中的像素的和A0-A15、B0-B15、C0-C15...(步骤642)。通过将一条线中的宏块的像素的和A0-A15、B0-B15、C0-C15...与相邻宏块的平均值相比较来获得在一条线中的每个宏块的改变水平NO_MB_LB1，然后，通过求和在一条线中的每个宏块的改变水平和在一条线中多个宏块的改变水平来获得在图像的一条线中的宏块的改变水平NO_MB_LB1(步骤644)。随后，通过将在步骤644中所计算的图像的一条线中的宏块的改变水平NO_MB_LB1与第三门限值TH_NUM_INTER_MB相比较来确定对应的线是否属于字母盒区域(步骤646)。如果作为在步骤646中的确定结果在图像的一条线中的宏块的改变水平NO_MB_LB1大于第三门限值TH_NUM_INTER_MB，则确定对应的线不属于字母盒区域(即，对应的线被确定为有效区域)。如果在图像的一条线中的宏块的改变水平NO_MB_LB1小于第三门限值TH_NUM_INTER_MB，则对应的线可以属于字母盒区域。

在步骤640的宏块间的过滤后，执行线间过滤ILF，其中，搜索图像的相邻线的像素值的平均值，然后，确定连续字母盒的边界(步骤650)。

在线间过滤步骤(步骤650)中，计算在图像的一条线中的像素的平均值(步骤652)，并且确定在当前线的像素的平均值和前一条线的像素的平均值之间的差是否大于期望的门限值TH_LINE_BY_LINNE，以便确定是否所述线是连续的(步骤654)。例如，如果在当前线的像素的平均值和前一条线的像素的平均值之间的差大于期望的门限值TH_LINE_BY_LINE，则确定当前线属于与前一条线所属的区域不同的区域。而且，如果在当前线的像素的平均值和前一条线的之间的差小于期望的门限值TH_LINE_BY_LINE，则确定当前线属于字母盒区域。然后，按照在步骤654确定的结果来确定当前图像的字母盒大小(步骤656)。

如上所述，如果按照在步骤610-650中执行的系列过滤程序而确定了一个图像的字母盒大小，则执行画面间的过滤IPF，其中将字母盒检测重复执行像先前设置的那么多次(步骤660)。

在画面间的过滤步骤(步骤660)中，确定其中执行了步骤610-650的图像的数量PIC_RANGE(步骤662)，并且搜索所确定的数量图像，确认其字母盒被检测到的图像的数量是否大于第四门限值NUM_PIC_LBD(即，确认是否像先前设置的那么多次检测到字母盒)(步骤664)。如果作为在步骤664的确定结果其字母盒被检测到的图像的数量大于第四门限值NUM_PIC_LBD，则输出直到那时在字母盒检测结果中具有最高频率数的字母盒大小(步骤666)。

按照本发明，如果在MPEG解码装置中执行了图像的解码，则有可能执行宏块的过滤单元，然后检测在图像中插入的字母盒大小。结果，有可能精确地按照屏幕的高宽比显示所解码的图像。

虽然已经参照本发明的优选实施例具体示出和说明了本发明，本领域的技术人员会明白，在不脱离所附的权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种用于检测字母盒的方法，包括步骤：

执行处理区域过滤，以便选择用来检测字母盒的图像的处理区域；

执行宏块内过滤，以便在所述处理区域的图像的一条线中根据宏块中的像素的改变水平来确定字母盒区域；

执行脉冲数据过滤，以便从被检测的线排除来自所确定的字母盒区域的高频分量；

执行宏块间的过滤，以便根据在所述图像的宏块间的线的改变水平来确定字母盒区域；

执行线间过滤，以便根据所述线的平均像素值来确定字母盒的边界；以及

执行画面间的过滤，用于输出具有最高频率数的字母盒的边界值以作为连续图像中的字母盒的边界，

其中，以在图像中包括的多个宏块为单位来执行用于检测字母盒的所述方法，

其中，所述宏块内过滤步骤包括子步骤：

关于多个图像宏块的每个，计算一条线中的像素之间的差值；

根据所述差值对于每个宏块计算每一条线的像素的改变水平值；

关于多个宏块，根据一条线中的像素的改变水平值来计算在图像的一条线中的像素的改变水平值；

将在图像的一条线中的像素的改变水平值与第一门限值相比较；并且

当在图像的一条线中的像素的改变水平值大于第一门限值时确定对应的线不被包括在字母盒区域中。

2.按照权利要求1的方法，其中，在已经执行了图像的解码操作后执行用于检测字母盒的所述方法。

3.按照权利要求1的方法，其中，所述处理区域过滤步骤排除其中可能存在图像中的不常见的像素的图像的边界部分。

4.按照权利要求1的方法，其中，在像素之间的差值对应于在宏块的同一线上相距期望距离的位置中存在的像素之间的差值。

5.按照权利要求1的方法，其中，所述脉冲数据过滤步骤包括子步骤：

将在所述宏块内过滤步骤中计算的一条线中的像素之间的差值与第二门限值相比较；以及

当在所述像素之间的差值大于第二门限值时确定对应的线不属于所述字母盒区域。

6.按照权利要求1的方法，其中，所述宏块间过滤步骤包括子步骤：

对于图像的多个宏块的每个，计算一条线中的像素的和；

通过将在所计算的宏块的一条线中的像素的和的平均值与在相邻宏块的相同线中的像素的和的平均值相比较来计算在每个块的一条线中的改变水平值；

根据宏块的改变水平值来计算在图像的一条线中的改变水平值；

将在图像的一条线中的改变水平值与第三门限值相比较；以及

如果在图像的一条线中的所述改变水平值大于第三门限值，则确定对应的线不属于所述字母盒区域。

7.按照权利要求1的方法，其中，所述线间过滤步骤包括子步骤：

计算线中包括的像素的平均值；

将所述线的像素的平均值与前一条线的像素的平均值相比较；并且

如果平均值之间的差大于期望的门限值，则确定所述线不属于所述字母盒区域。

8.一种用于检测字母盒的装置，包括：

处理区域过滤器，用于选择用来检测字母盒的图像的处理区域；

宏块内过滤器，用于计算来自处理区域的图像的一条线中的像素的改变水平值，并且通过将计算的一条线中的像素的改变水平值与第一门限值相比较来确定对应的线是否属于字母盒区域；

脉冲数据过滤器，用于从宏块内过滤器中被确定为包括在字母盒中的线来检测高频分量；

宏块间过滤器，用于对于没有高频分量的线，计算图像的改变水平，并且通过将在一条线中的图像的改变水平与第三门限值相比较来确定对应的线是否属于字母盒区域；

线间过滤器，用于通过将在宏块间过滤器中被确定为包括在字母盒中的线与相邻线的像素值的平均值相比较来确定字母盒的边界；

画面间过滤器，用于重复地执行所述处理区域过滤器、宏块内过滤器、脉冲数据过滤器、宏块间过滤器和线间过滤器的操作与先前设置的图像数目相同的那么多次，并且输出在所执行的结果中具有最高频率数的字母盒的边界值，

其中，所述检测字母盒的装置以图像中包括的多个宏块为单位来执行过滤，

其中，所述宏块内过滤器对于构成所述图像的多个宏块的每个计算一条线中的像素之间的差值，将基于所述差值的所计算的宏块的一条线中的像素的改变水平值之和与第一门限值相比较，并且如果在图像的一条线中的改变水平值大于第一门限值，则确定对应的线不属于字母盒区域。

9.按照权利要求8的装置，其中，所述检测字母盒的装置在已经执行了图像的所有解码操作后进行字母盒检测。

10.按照权利要求8的装置，其中，处理区域过滤器排除了图像中可能存在不常见的像素的图像的边界部分。

11.按照权利要求8的装置，其中，在像素之间的差值是在宏块的同一条线上相距期望距离的位置中存在的像素之间的差值。

12.按照权利要求8的装置，其中，所述脉冲数据过滤器将在所述像素之间的差值与第二门限值相比较，如果在所述像素之间的差值大于第二门限值则确定对应的线不属于所述字母盒区域。

13.按照权利要求8的装置，其中，宏块间过滤器通过将所述图像的多个宏块的每个的一条线中的像素的和的平均值与相邻宏块的同一条线中的像素的和的平均值相比较来计算一条线中的每个宏块的改变水平值，将根据一条线中的所述改变水平值而计算的所述图像的一条线中的改变水平值与第三门限值相比较，并且如果所述图像的改变水平值大于第三门限值，则确定对应的线不属于所述字母盒区域。

14.按照权利要求8的装置，其中，所述线间过滤器将所述线的像素的平均值与前一线的像素的平均值相比较，并且如果在平均值之间的差大于第四门限值，则确定所述线不属于所述字母盒区域。

15.一种MPEG解码器，包括：

解码单元，用于解码包括字母盒的图像；

字母盒检测单元，用于提取所解码图像的处理区域，并且通过以在所提取的处理区域中包括的多个宏块为单位来计算图像的像素的改变水平和图像的线的改变水平而确定对应的线是否属于字母盒区域；

图像显示控制单元，用于响应于字母盒检测结果，并且控制和显示图像的大小；

其中，所述字母盒检测单元执行字母盒检测操作与先前设置的检测那么多次，并且输出具有最高频率数的字母盒边界值，

其中，所述字母盒检测单元包括：

处理区域过滤器，用于选择用来检测字母盒的图像的处理区域；

宏块内过滤器，用于计算所述宏块中的处理区域的图像的一条线中的像素的改变水平，并且通过将所计算的一条线中的像素的改变水平与第一门限值相比较来确定对应的线是否属于字母盒区域；

脉冲数据过滤器，用于从在宏块内过滤器中被确定为包括在字母盒中的线来检测高频分量；

宏块间过滤器，用于对于宏块间的没有高频分量的线计算图像的改变水平，并且通过将在一条线中的图像的改变水平与第三门限值相比较来确定对应的线是否属于字母盒区域；

线间过滤器，用于通过将宏块间过滤器中被确定为包括在字母盒中的线与相邻线的像素值的平均值相比较来确定字母盒的边界；

画面间过滤器，用于重复地执行所述处理区域过滤器、宏块内过滤器、脉冲数据过滤器、宏块间过滤器和线间过滤器的操作与先前设置的图像数目相同的那么多次，并且输出在所执行的结果中具有最高频率数的字母盒的边界值，

其中，所述字母盒检测单元以图像中包括的多个宏块为单位来执行过滤，

其中，所述宏块内过滤器对于构成所述图像的多个宏块的每个计算一条线中的像素之间的差值，将基于所述差值的所计算的宏块的一条线中的像素的改变水平值之和与第一门限值相比较，并且如果在图像的一条线中的改变水平值大于第一门限值，则确定对应的线不属于字母盒区域。

Images