CN101114442A - 视频窗检测器 - Google Patents

Abstract

本发明提供了基于用于真实度的图像的选择部分的一个特征自动地识别显示的视频窗的位置，该真实度基于用于选择部分的亮度值的一个分布。接着图像被算术地搜索用于一个大的真实度的矩形，并且如果搜索到，则在大矩形的每一个边缘周围的较小矩形中执行一个类似的操作，依次，放大到一个像素的分辨率，从而识别边缘的位置。为了保持视频窗的边缘上的方位，上述过程只要需要就能够被重复实施。

Description

视频窗检测器

技术领域

本发明通常涉及改善视频和图形的质量。

背景技术

电视、计算机显示器和其他显示设备存在多种显示尺寸和屏幕宽高比。例如，普通电视机显示器具有4∶3(1.33∶1)的屏幕宽高比(这里称为标准显示器)，而宽屏幕显示器，例如剧院或者高清晰度电视显示器，具有16∶9(1.78∶1)的屏幕宽高比。还存在有更宽的显示器，其具有2.39∶1或者2.35∶1的屏幕宽高比。而且，给定的显示器单元应当能够显示大量已有的视频信号格式。为了使给定的显示器单元能显示一种除它自身本地(native)格式之外的格式，各种各样的技术被用来收缩或伸展非本地格式的屏幕宽高比。这些技术中的许多包括将非本地图像以它的原始格式投射到本地显示器上和简单地将不存在图像信息的“间隙”变黑。

上下加框(letter boxing)是一种将较宽视频格式，例如16∶9，转变成更具正方形格式同时保留了原始屏幕宽高比的实践方法。所得到的视频显示器必须在图像区域的上方和下方包含掩蔽区域，通常称为黑条，或者，更准确地，称为遮片。相反，当最初没有为宽屏幕设计的视频在宽屏幕显示器上显示时，左右两边加框(pillar boxing)、或者四周加框(window boxing)是必需的。原始素材被收缩和设置在宽屏幕帧的中央，同时垂直黑条被设置在任一边。而且有时会有这种情况，即标准比率的图像在上下加框的图片的中央部分显示，导致周围有黑色边框。这种效果称为匹配加框，并且显然浪费了很多屏幕空间，也降低了原始图像的分辨率。

因此，在一些时候显示器上有很多区域可能实际上根本不显示任何视频，例如，用来仅仅容纳一个黑边框。因此，这些空白区域的存在不仅减少了原始图像的尺寸和/或分辨率，而且任何视频增强或其他处理实际上在空白区域中都呈现无用，导致低效率使用计算机和/或存储器资源。

除了容纳其格式不是显示器屏幕本地格式的显示图像之外，其他的一些情况，其中视频图像被非视频背景包围或者被嵌入到非视频帧(例如一个画中画，其中的第二个视频被嵌入到具有皮肤的帧中(例如视窗类边框)通常包括控制按钮或者信息图标。

因此，希望自动地确定视频窗的边缘的位置。

发明内容

一般地说，本发明涉及识别在显示图像中的视频窗的边缘的位置。本发明能以多种方式实现，包括作为一个方法、系统、设备、装置、或计算机可读媒体。以下讨论本发明的几个实施方式。

在一个实施方式中，描述了一种确定在显示屏幕上显示的视频窗的位置的方法，该方法通过如下步骤实施：接收由多个像素构成的视频帧，每个像素具有相关联的像素数据，一组像素数据与一幅真实图像相关联，将视频帧分割成许多区域，每个区域包含大约相同数量的像素，进一步将显示屏分割为多个估计矩形，每一个估计矩形包括大约相同数量的区域，和如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘。

在另一个实施方式中，可被处理器执行的计算机程序产品用于确定在显示屏幕上显示的视频窗的位置。该计算机程序产品包括计算机代码，用于接收由多个像素构成的视频帧，每个像素具有相关联的像素数据，一组像素数据与一幅真实图像相关联；计算机代码，用于将视频帧分割为多个区域，每个区域包含大约相同数量的像素；计算机代码，用于进一步将显示器分割为多个估计矩形，每个估计矩形包含大约相同数量的区域；计算机代码，用于如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘，和用于存储计算机代码的计算机可读媒体。

在又一个实施方式中，描述了一种用于确定在显示屏幕上显示的视频窗的位置的设备，其包括：用于接收由多个像素构成的视频帧的装置，每个像素具有相关联的像素数据，一组像素数据与一幅真实图像相关联，用于将视频帧分割为多个区域的装置，每个区域包含大约相同数量的像素，用于进一步将显示器分割为多个估计矩形的装置，每个估计矩形包含大约相同数量的区域，和用于如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘的装置。

附图说明

通过下面与附图相结合的详细描述，本发明的其他方面和优点将变得明显。

图1和2示出了根据本发明的一个实施方式的典型视频帧，从该典型视频帧中显示具有边缘的图像。

图3示出了根据本发明的一个实施方式与预定的真实值阈值相比较的典型估计矩形真实值。

图4-7示出了根据本发明的一个实施方式定位视频窗的边缘。

图8示出了根据本发明的一个实施方式估计矩形的放大图。

图9和10示出了根据本发明的一个实施方式详细描述了确定视频窗边缘的位置的处理过程的流程图。

具体实施方式

现在详细参考本发明的一个特定实施方式，其中的一个示例在附图中说明。尽管将结合特定实施方式描述本发明，但是应当理解的是并不是将本发明限于所描述的实施方式。相反的，在由所附权利要求所限定的本发明的精神和范围内包括了各种变换、修改、和等效的方式。

通常，一幅大部分是合成的图像(例如，一个低真实度指数)很可能是“文本”而一个大部分是“真实”的图像很可能是视频。因此，如果具有较高真实度指数的图像的一部分集中在一个矩形区域内，则视频窗能够被识别。在这种情形下，所得到的数据被算术地搜索用于真实度的一个大窗，而且如果搜索到，则在大矩形的每一个边缘周围的一个较小窗内，执行一个类似的操作，依次放大到一个像素的分辨率，从而识别边缘的位置。为了保持视频窗的边缘上的方位，上述过程只要需要就能够被重复实施。

需要注意，当显示的视频窗相对于一个合成背景被设定，或者背景几乎很少或没有变化由此可模仿合成背景时，本发明是最有效的。已经说过，在一个尤其适合于实时估计视频窗的多个边缘的位置的实施例中，该视频窗的多个边缘的位置的估计是通过在视频边缘的大概位置周围形成估计窗，将估计窗分割为大约相等尺寸的区域，估计每一个区域的真实度(或者合成程度也同样有效)，和确定在一个估计窗中是否存在从本质上合成到本质上真实的转变来建立的。如果这种转变被检测到，则视频窗的边缘位于这个估计窗内(也预示视频窗边缘代表从合成到真实和反之亦然的转变)的概率很高。如果还形成额外的估计窗(估计窗的数目基于原始估计窗的尺寸和视频窗边缘的位置所期望的分辨率)，然后在下一个迭代中，一个减少了尺寸的估计窗被形成并且该过程被重复直到全部估计窗已经被检测。转变的位置被标注并被保存作为视频窗边缘的位置的最佳猜测。

图1示出了根据本发明的一个实施方式的典型视频帧100，其中具有边缘104的图像102被显示。应当注意到，可设想的是使用一个过程在视频窗边缘的任何确定之前图像102被确定为视频图像(例如，“真实”)，该过程在由Neal提出的名为“Video Content Detector”，申请序列号为11/613,009的共同未决专利申请中详细描述，其全文内容在比引入作为参考。一旦确定图像102是视频图像，本发明通过将显示区域100分割为多个区域R来确定视频图像102的大概尺寸和位置，每个区域每一边都分别具有I，J个像素，每一个区域包含大约相同数目的像素(I×J)。剩下来讨论的是，区域R被假定为正方形区域(I＝J)，因此，显示器100被分割为M列N行(这里的N和M取决于显示器100本身的屏幕宽高比)，其定义了(M×N)数量的区域R_m，n。

一旦显示器100已经被分割为适当数量的区域R，每一个区域R的特征为本质上真实或者合成以及相应地指定一个真实度指数T。在所描述的实施方式中，通过使用用于每一个区域的特有的亮度分布，真实度指数T能够被确定用于一个特定区域。在所描述的实施方式中，亮度分布与用于一个特定区域R的合成图像相一致将导致那个区域被指定一个真实度指数T_S。作为选择地，如果区域R的亮度分布与真实图像相一致，则给区域R指定真实度指数T_R(与真实图像一致)。在一些实施方式中，可能希望提供真实度权重因数ω，该权重因数ω能够被用来提供或多(或少)的权重给那些被划分为真实的区域(或者，相反地，那些区域被认为是合成的)。

现在参考图2(为了清楚起见，真实图像102已经被移走仅剩下视频窗边缘104)，一旦全部区域R根据它们各自的真实度值被索引，第一个估计矩形S₁就产生了，它合并了最大数目的区域R，与显示图像100的尺寸相一致，从而最大化全部或者几乎全部真实图像102将被包含在估计矩形S₁中的可能性。在任何情况下，一旦估计矩形S₁已经被定义，包含在矩形S₁中的全部区域R已经被识别作为或者合成(T_s＝1和T_R＝0)或者真实(T_s＝0和T_R＝1)，这将使用E_q.(1)用来表征整个矩形S₁的真实度，

$E_q.\left(1\right)\mathrm{Real}\mathrm{nessValue}\left(\mathrm{RV}\right)=\underset{i,j=1}{\overset{I,J}{\mathrm{\Σ}}}\mathrm{\ω}\×T_{i,j}$

其中ω是图像权重因数(例如，ω_R是真实图像权重因数和ω_s是合成图像权重因数)。一旦用于一个特定估计矩形S₁的真实度值RV被计算，使用E_q.(2)确定真实度比率(RR)被计算

$E_q\left(2\right)\mathrm{Real}\mathrm{nessRatio}\left(\mathrm{RR}\right)=\underset{i,j=1}{\overset{m,n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{SIZE}}\×T_{\mathrm{Ri},j}/\mathrm{RV}$

在所描述的实施方式中，真实度比率RR指示了被估计矩形S₁所包围的真实与合成区域的相对比例。例如，图2示出了估计矩形S₁包围整个显示区域100的情形，由此确保至少在第一个阶段中，包含有包围了真实图像102的视频窗。在图2的例子中，真实度比率(RR)等于具有非零真实度值的全部区域的总和(在这个例子中是88)除以整个估计矩形的全部真实度值的总和(在这个例子中是216＝M×N)，该真实度比率RR等于0.41。在理想的例子中，当估计矩形S仅包围真实图像102时，真实度比率RR将等于1.0，或者在1.0值的附近(因为包含在估计矩形S内理想地仅有真实区域)。因此，为了确定真实图像102的边缘104的位置，执行迭代过程，其中真实度比率RR被估计并与指示相对真实度的预定阈值比较。如果真实度比率RR不等于或者比预定阈值大，则在尺寸和位置上与先前估计矩形S_n-1不同的另一个估计矩形S_n产生，例如，如在图3-6中所描述的，以便通过可利用的处理资源占有尽可能多的视频窗的尺寸和位置。然而，如果真实度比率RR比阈值大和比先前的真实度比率RR大，则所存储的真实度比率RR被更新到当前真实度比率RR。

一旦一个接近真实图像102的边缘104的位置的最终估计矩形被确定，这个真实图像的四个边缘的大约位置就被所关联的测量矩形M所覆盖，矩形M中的每一个被用来估计边缘中相应的一个的精确位置。例如，图7示出了四个测量矩形702-708，它们包围了四个边缘104的每一个假设位置。对于每一边缘，如在图8中所示的，在这个例子中，使用对包含在测量矩形702中的每一列所执行的真实度值的按列(column-wise)求和来执行边缘检测程序。一旦对于每一列的全部真实度值的求和完成，用于每一列的真实度求和值相互之间进行比较以确定在合成和真实之间是否存在转变。因为假定未包含在视频窗中的显示图像的部分基本上是全部合成的，所以通过标注在合成和真实之间转变的位置就能检测到视频窗104的边缘。如果这样的转变被标注，则转变的位置被用于形成下一个测量矩形，该测量矩形与前一个测量矩形相比尺寸减小。这样，执行迭代直到测量矩形达到预定尺寸，这个尺寸在一个预定公制(例如一个像素)内定位边缘的位置。如果对于水平边缘使用按行(row-wise)求和使处理资源可用于所有边缘，则也同时执行等效程序，从而定位图像102的边缘104。

图9示出了根据本发明一个实施例详述流程900的流程图。因此，流程900在902开始，即接收具有真实图像部分的显示图像。在904，所述显示图像被分割为多个区域，每个区域具有大约相同数目的像素。在906，每一个区域被仅仅指定为一个合成区域或一个真实区域。在908，至少具有最小尺寸的估计矩形产生，该估计矩形具有多个区域，并且在910，基于形成估计矩形的区域的特性(例如，合成或真实)，估计矩形的真实度值被确定。在912，如果真实度值比一个预先存储的真实度值大，则在914，所存储的真实度值被当前真实度值更新，在任一种情况控制被传递到916，其中如果全部估计矩形都尝试过则做出确定。如果没有尝试完全部估计矩形，则在918改变估计矩形的尺寸并且控制返回到910。另一方面，如果在916确定所有的估计矩形都尝试过，则在920确定真实度值是否比预定真实度值大。如果真实度值没有预定真实度阈值大，则流程900结束，反之，控制进行到922，在922真实图像的大约尺寸和位置被存储。

转到图10，流程900在924继续，即检索先前存储的真实图像的大约位置和尺寸。在926，在真实图像边缘的大约位置周围定义测量窗，和在928，测量窗被分割成区域。在930，每一个区域被指定为一个真实区域或一个合成区域，在932，基于形成测量窗的区域的特性，确定测量窗的真实度值的按行或按列的分布。在934，确定在真实度值的分布中是否存在转变。如果不存在转变，则在936如果做出另一个尝试，则控制就返回到932，反之流程900结束。另一方面，如果在934检测到有转变，则在938，转变的中点的位置被存储作为一个新的边缘位置，以及在940，确定是否全部测量窗都尝试过。如果没有尝试完全部测量窗，则在942，使用在所存储的中点位置的中心减小测量窗的尺寸，并且控制返回到932，反之在944，所存储的测量窗的中点位置被指定为一个边缘的位置。

本发明的实施例，包括这里所公开的装置，能够在数字电子电路中实现，或者在计算机硬件、固件、软件，或者它们组合中实现。本发明的装置实施例能以嵌入在通过可编程处理器运行的可读机器存储设备中的计算机程序产品来切实地实现；并且本发明的方法步骤能通过执行指令程序的可编程处理器来实现以通过操作输入数据和产生输出来执行本发明的功能。本发明的实施例能够优选地在一个或多个计算机程序中实现，该计算机程序可在可编程系统上运行，该系统包括至少一个可编程处理器，该可编程处理器被耦合以从其中接收数据和指令以及向其发送数据和指令，一个数据存储系统，至少一个输入设备，和至少一个输出设备。每一个计算机程序能用高级程序或面向对象的编程语言实现，或如果需要可用汇编或机器语言实现；并且在任何情况下，语言可以是编译或解释语言。

适当的处理器包含，例如，通用和专用的微处理器。一般说来，处理器能够从只读存储器和/或随机存储器接收指令和数据。通常，计算机将包括一个或多个大容量存储设备用于存储数据文件；这类设备包括磁盘，例如内部硬盘和可移动盘；磁光盘；和光盘。适用于切实地实现计算机程序指令和数据的存储设备包括各种形式的非易失存储器，包括半导体存储设备，例如EPROM，EEPROM，和闪存设备；磁盘例如内部硬盘和可移动盘；磁光盘；和CD-ROM盘。任何前述内容可以由ASIC补充，或者结合到ASIC(特定用途集成电路)中。

本发明的多个实现已经被描述。不管怎样，可以理解在不脱离本发明的精神和范围内可以做出各种变形。因此，其他实施方式也包含在以下权利要求书的范围内。

Claims (18)

1.一种用于确定在显示屏幕上显示的视频窗的位置的方法，包括：

接收由多个像素构成的视频帧，其中每个像素具有相关联的像素数据，一组像素数据与一个真实图像相关联；

将视频帧分割成多个区域，每个区域包含大约相同数目的像素；

进一步将显示器分割为多个估计矩形，每一个估计矩形包含大约相同数目的区域；

如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘。

2.如权利要求1所述的方法，其中将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘，包括：

将每一个区域表征为一个真实图像区域或者一个合成图像区域；

确定估计矩形的真实度值；和

比较估计矩形的真实度值和一个预定的真实度阈值。

3.如权利要求2所述的方法，进一步包括：

如果估计矩形的真实度值比预定真实度阈值大和如果估计矩形比一个预定尺寸大，则放大估计矩形。

4.如权利要求3所述的方法，其中放大估计矩形包括：

减小估计矩形的尺寸；和

与减小的估计矩形的尺寸相称地减少包含在估计矩形中的像素的数目。

5.如权利要求2所述的方法，进一步包括：

如果估计矩形的真实度值不比预定真实度阈值大和如果估计矩形不位于最后一个估计位置，则移动估计矩形到另一个位置。

6.如权利要求2所述的方法，其中确定真实度值RV包括：

使用下式为估计矩形计算真实度值RV

$\mathrm{Real}\mathrm{nessValue}\left(\mathrm{RV}\right)=\underset{i,j=1}{\overset{I,J}{\mathrm{\Σ}}}{\mathrm{\ω}}_s\×T_{S,i,j}+{\mathrm{\ω}}_R\×T_{R,i,j}.$

7.一种用于确定在显示屏幕上显示的视频窗的位置的由处理器运行的计算机程序产品，包括：

计算机代码，用于接收由多个像素构成的视频帧，其中每个像素具有相关联的像素数据，一组像素数据与一个真实图像相关联；

计算机代码，用于将视频帧分割成多个区域，每个区域包含大约相同数目的像素；

计算机代码，用于进一步将显示器分割为多个估计矩形，每一个估计矩形包含大约相同数目的区域；

计算机代码，用于如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘；

用于存储计算机代码的计算机可读媒体。

8.如权利要求7所述的计算机程序产品，其中将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘，包括：

计算机代码，用于将每一个区域表征为一个真实图像区域或者一个合成图像区域；

计算机代码，用于确定估计矩形的真实度值；和

计算机代码，用于比较估计矩形的真实度值和一个预定的真实度阈值。

9.如权利要求8所述的计算机程序产品，进一步包括：

计算机代码，用于如果估计矩形的真实度值比预定真实度阈值大和如果估计矩形比一个预定尺寸大，则放大估计矩形。

10.如权利要求9所述的计算机程序产品，其中放大估计矩形包括：

计算机代码，用于减小估计矩形的尺寸；和

计算机代码，用于与减小的估计矩形的尺寸相称地减少包含在估计矩形中的像素的数目。

11.如权利要求8所述的计算机程序产品，进一步包括：

计算机代码，用于如果估计矩形的真实度值不比预定真实度阈值大和如果估计矩形不位于最后一个估计位置，则移动估计矩形到另一个位置。

12.如权利要求8所述的计算机程序产品，其中确定真实度值RV包括：

计算机代码，用于使用下式为估计矩形计算真实度值RV

$\mathrm{Real}\mathrm{nessValue}\left(\mathrm{RV}\right)=\underset{i,j=1}{\overset{I,J}{\mathrm{\Σ}}}{\mathrm{\ω}}_s\×T_{S,i,j}+{\mathrm{\ω}}_R\×T_{R,i,j}.$

13.一种用于确定在显示屏幕上显示的视频窗的位置的设备，包括：

用于接收由多个像素构成的视频帧的装置，其中每个像素具有相关联的像素数据，一组像素数据与一个真实图像相关联；

用于将视频帧分割成多个区域的装置，每个区域包含大约相同数目的像素；

用于进一步将显示器分割为多个估计矩形的装置，每一个估计矩形包含大约相同数目的区域；

用于如果估计矩形被确定包含真实图像的至少一部分，则将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘的装置。

14.如权利要求13所述的设备，其中将对应于估计矩形的一个像素坐标指定为视频窗的一个边缘，包括：

用于将每一个区域表征为一个真实图像区域或者一个合成图像区域的装置；

用于确定估计矩形的真实度值的装置；和

用于比较估计矩形的真实度值和一个预定的真实度阈值的装置。

15.如权利要求14所述的设备，进一步包括：

用于如果估计矩形的真实度值比预定真实度阈值大和如果估计矩形比一个预定尺寸大，则放大估计矩形的装置。

16.如权利要求15所述的设备，其中放大估计矩形包括：

用于减小估计矩形的尺寸的装置；和

用于与减小的估计矩形的尺寸相称地减少包含在估计矩形中的像素的数目的装置。

17.如权利要求14所述的设备，进一步包括：

用于如果估计矩形的真实度值不比预定真实度阈值大和如果估计矩形不位于最后一个估计位置，则移动估计矩形到另一个位置的装置。

18.如权利要求14所述的设备，其中用于确定真实度值RV的装置包括：

用于利用下式为估计矩形计算真实度值RV的装置

$\mathrm{Real}\mathrm{nessValue}\left(\mathrm{RV}\right)=\underset{i,j=1}{\overset{I,J}{\mathrm{\Σ}}}{\mathrm{\ω}}_s\×T_{S,i,j}+{\mathrm{\ω}}_R\×T_{R,i,j}.$

Images