CN1666503A - 用于处理视频信号的系统 - Google Patents

Abstract

本发明涉及一种用于处理视频信号的系统，所述系统包括用于接收视频信号的接收机(100)，所述视频信号的至少一个视频帧包括与多个广播数据源中的每一个相应的至少一个区域。所述系统包括处理器(150)，用于处理所述视频帧，以从至少一个所述视频帧中提取出所述区域的至少一部分。镶嵌视频信号的帧(200)可以包括一个或多个小画面(210)，它们中的每个都可以显示电视节目的微缩画面。可以进行边缘的检测和线的检测，以从所述帧中提取出所述区域(210)或子区域(240)。从而可以识别出接收从其提取出区域或子区域的电视频道或与之相关的电视频道。可以允许用户在显示屏幕上指定提取出的区域或子区域的显示。

Description

用于处理视频信号的系统

技术领域

本发明涉及一种用于处理视频信号的系统，所述系统包括用于接收视频信号的接收机，所述视频信号的至少一个视频帧包括与多个广播数据源中的每个数据源相应的至少一个区域。

背景技术

US5633683公开了一种用于接收和显示镶嵌视频信号的电视接收机，所述镶嵌视频信号包括多个子画面和位置数据，其中，每个子画面都表示多个视频信号中的一个视频信号，所述位置数据将显示屏上每个子画面的位置与相关视频信号的节目号相链接。接收机包括解码器，用于解码正在显示并被用户所指向的子画面的位置所代表的视频信号的节目号。由此，用户可以简单地通过“点击”镶嵌屏幕上的相应的子画面来选择期望观看、记录等的节目。接收机还包括用于从镶嵌信号中获取选定的子画面的装置和用于在对所述视频信号进行选择之后的一段预定时间周期内同时显示选定的子画面和相关的视频信号的装置。这样，接收机包括用于解码和显示选定的节目的第一解码器和用于处理所述镶嵌视频信号的另一解码器。从而，可以对代表所选定的节目的子画面进行剪辑，并将其显示为画中画。

只有在电视接收机获取了位置数据时，才可以得到子画面。这种设置需要采用适于产生位置数据的专用发射机，这限制了这种技术的使用。例如，如果电视服务提供者的设备不能用于产生位置数据，则接收机将不能获得子画面。

发明内容

本发明的目的在于提供一种首段所定义的系统，所述系统不管是否获得了将显示屏上显示的每个子画面的位置同相关视频信号的节目号相链接的所述位置数据，都可以对视频信号进行适当的操作。

本发明的目的是在这样一种系统中实现的：所述系统包括用于处理所述视频帧以从至少一个所述视频帧中提取出所述区域的至少一部分的处理器。

由接收机接收的帧包括与各广播源相应的一个或多个区域。例如，所述帧包括小画面，每个画面都显示各电视频道所广播的电视节目的微缩画面。通常，画面具有矩形形状。所述接收机包括用于图形处理每个帧的视频数据并从帧中提取出完整的画面的处理器。在另一实施例中，一个电视频道所广播的视频信息占据帧的整个区域或一部分区域，处理器只提取所述视频信息的一部分、子区域或子画面。所述子区域，例如气象图或图形，可以是矩形的、圆形的或是形成封闭图形的任何其它形状。

首先，处理器进行边缘检测，以从所述帧中检索所述区域或子区域。由此，可以确定区域之间的边缘或子区域与其它视频数据之间的边缘。在其中一个实施方式中，例如通过使用时间滤波器执行多个顺序帧的边缘检测，其中，区域或子区域的位置在这些帧中是相同的。当处理器对一个以上的帧进行分析以确定帧中区域的边缘时，所述边缘检测更加可靠。因此，帧内区域之间的边缘或区域内子区域之间的边缘可以粗于帧内已经存在的其它边缘，并可以随时间进行改变，例如由于其中的对象、字符的运动而改变。还可以通过进一步检测对其它视频数据的区域或子区域进行划界的线来改进上述检测步骤，例如可以使用霍夫变换进行上述检测。在镶嵌帧的情况下，可以在提取过程中利用画面之间的线是等距离的特性，以减小或避免可能的乱真检测。当确定了用于相应的区域或子区域的水平和垂直线时，可以对所述区域或子区域的视频数据进一步处理和/或将其传送到显示装置，例如显示设备，用于显示提取的信息。根据本发明的系统的优点在于不需要表示区域在帧内的位置的数据。这使得不管存在什么样的用于处理信息的辅助数据都有可能提取出视频信息，从而省去了现有技术中不必要的限制。

作为选择，所述接收机包括标记器，用户可以利用所述标记器指出显示装置上所显示的帧的区域或子区域，所述帧的区域或子区域是从至少一个视频帧中提取出来的。由于要被提取的区域或子区域易于为用户所指定，因此处理器可以不用通过使用对边缘和线的检测来确定所述区域或子区域。话句话说，可以允许用户标记屏幕上显示的帧或者帧的某部分，所述区域或子区域可以从一个或多个帧中提取出来。另一优点在于，本发明相比于现有技术提供了更多的处理视频信息的方法。

在一个实施方式中，接收机还包括用于识别广播数据源或电视频道的装置，所提取的区域或子区域从所述广播数据源或电视频道接收或与之相关。在提取区域或子区域时，其表现为视频数据而不知道这些数据之后将要发生什么。如果所述区域或子区域提取自镶嵌视频信号，则有可能不知道它们对应的频道。识别各频道的方法有很多种。例如，电视频道的标志可以出现在提取区域或提取出子区域的区域。用户也可以手动指定频道。

在另一实施方式中，显示装置允许用户在屏幕上指定提取出的区域或子区域的显示位置。例如，提取的信息的位置可以与用户的优选位置相配合，显示所提取的区域或子区域的屏幕区域可以进行更改等。

附图说明

下面将结合附图来进一步叙述和说明本发明的这些和其它方面，其中：

图1示出了适用于实现本发明的系统的接收机的功能框图；

图2示出了根据本发明的一个实施方式的显示画面，其中显示了镶嵌屏幕；

图3示出了根据本发明的一个实施方式的显示画面的一个示例，其中，由镶嵌屏幕中提取出来的子区域显示在副屏幕区内，而从镶嵌屏幕中提取的区域显示在其它副屏幕区内；

图4示出了提取与一个广播数据源相应的子区域的示例，其与和另一广播数据源相对应的帧同时显示。

具体实施方式

图1是根据本发明的接收机的功能框图。所述系统包括接收机100，可连接到或包含显示设备(未示出)以及VCR(盒式磁带录象机)、扬声器或其它设备。所述接收机也可以集成在各种设备中，例如机顶盒或设计用于对AV(音频-视频)信号进行操作的其它设备中。接收机100接收通过卫星、陆地、电缆或其它连接方式传输的多种视频信号。通过遥控单元(未示出)发射的红外信号将命令输入到接收机中。由此，接收机包括使用控制信号进行操作的接收机(未示出)。遥控单元可以具有与用于控制接收机的可能命令相关的专用按钮，如此处所述。现在，用于传输和/或接收数字视频信号的基于MPEG的系统是公知的。根据本发明的接收机可设计用于接收数字和/或模拟视频信号。

接收机包括至少一个调谐器110、多路信号分解器120、可选的音频解码器130、至少一个视频解码器140和视频处理器150。接收到的视频信号被输入到调谐器110。

视频信号可以与镶嵌视频信号相结合，所述镶嵌视频信号包括具有小尺寸画面的帧，所述小尺寸画面占据各帧内相对较小的区域。每个画面都代表与各电视频道、因特网广播中心或其它广播数据源相关的视频信号。作为选择，视频信号可以包括从一单个广播数据源接收的信息。例如，调谐器可以仅接收一个电视频道的视频信号。

调谐器110可以包括用于解调接收的信号的解调电路和用于检测和校正任何已产生的错误的误差校正电路。调谐器的输出被输入到多路信号分解器120，用于解密该信号。多路信号分解器将输出音频信号输入到音频解码器130，并将视频信号输出到视频解码器140。解码器130和140分别解码音频和视频信号，所述信号可以是MPEG压缩信号。随着视频系统的进一步发展，本领域技术人员可以改变本发明的实践方式。

接收机可以包括一个以上的调谐器和一个以上的解码器，例如两个调谐器和两个视频解码器。每个解码器都包括用于存储视频信号的存储器(未示出)。其中一个调谐器用于接收用户选定频道的信号，而另一调谐器用于接收视频镶嵌信号。这样，其中一个视频解码器可以用于解码视频镶嵌信号。与不同的电视频道相应的信号与镶嵌视频信号一同接收。本发明的优点在于，作为选择，接收机可以仅包括一个调谐器，并且可以实现由两个调谐器所实现的相同的功能。例如，所述调谐器可用于接收用户选择的频道的信号，和接收镶嵌的信号。单个调谐器可以调谐到例如x个画面的镶嵌频道(例如3画面的镶嵌频道)或调谐到50几个画面的主(例如用户选择的)节目。X个画面周期留给调谐器足够的时间来从镶嵌频道中提取至少一个画面。可以通过画面重复来创建主频道的缺失画面，或在具有固有运动内插算法的高端系统中创建主频道的缺失画面。因为主节目中仅缺失了一些画面，这对观众而言是几乎不可见的。

解码器140将解码后的视频信号提供给视频处理器150。处理器处理根据本发明接收到的信号，以提取视频信息。

当发现镶嵌视频信号是可用的时，所述信号的帧为简单画面或视频信息，所述内容经过分析不具有附加数据。图2示出了镶嵌视频信号的帧200的示例。为了识别区域210，需要确定所述帧上通常具有矩形或类似矩形形状的相应区域的坐标系XY。首先，可以通过使用1990年新泽西Prentice-Hall出版公司出版的Jae S.Lim的书“二维信号和图像处理(Two-dimensional signal and image processing)”第476-483页中所已知的边缘检测技术实现上述操作。需要检测与不同电视频道相对应的区域210之间的边缘。所述边缘是图像的物理形态发生变化的边缘或轮廓，所述图像的物理形态的变化是例如象素灰度值、颜色和结构的变化。在物理形态变化明显的地方，可以根据上文所参考的算法从候选边缘点的条带中确定边缘线。例如，可以通过计算x和y方向上的矢量的梯度确定物理参数的阈值。然后将梯度的量值与阈值进行比较，以确定候选边缘点。之后，边缘呈现为条带状，采用例如边缘细化算法确定边缘曲线。在一个简单的边缘细化算法中，通过检查梯度的模是否在至少一个方向上是局部最大值，来选择边缘点。可以检查相同区域内顺序帧的边缘，以保证正确检测。

可以在边缘检测之后以处理器150检测线220。用于发现图像中的点的校准和特征的排布的很多方法都是已知的。例如，可以采用所谓“最小特征”方法来使直线与数据点相匹配，在所述方法中，最小化每个点距离所述直线的垂直偏差的平方的和。最好使用高级霍夫方法，因为所述方法已经公开在1995年佛罗里达伯克莱屯CRC Press的John C.Russ等撰写的“图像处理手册(The image processinghandbook)”第495-500页中。应当注意，所述方法也可以用于检测帧中使用非直线界定的区域。当确定线与检测的边缘拟合时，必要的视频区域对于系统而言是已知的。如果所述区域是矩形的，则可以确定帧内区域的坐标XY，同时可以识别与所述区域相应的视频数据，并可以将其从整个帧的视频数据中分离出来。

当提取出与各广播数据源或电视频道相应的区域210时，对于所述系统而言从接收到的帧或简单图像得出所述区域与哪一电视频道相应仍是不确定或是未知的。为此，处理器150还可以用于识别所提取的视频区域的源。可能的实施方案之一是处理器分析整个区域210，以定位电视频道的标志230，如果所述内容是可获得的话。然后，采用本领域已知的识别技术识别符号、标志图像、文字等内容，在此之后将所述内容与存储在接收机中的频道的识别信息进行比较，所述识别信息预先由系统确定或被生产商所预先确定。

作为选择，在确定标志的位置的阶段，用户可以“手动”加亮屏幕上的标志视频区域。可以通过例如检测顺序帧内的标志视频数据对多个帧中的所述数据进行时间分析。所述标志数据可以使用上述检测技术进行识别，提取并存储在与处理器相耦合的存储器中。这样获得的标志识别数据、标志模板可以用于识别电视频道。为了识别频道，可以使用例如公知的最小二乘法将存储在存储器中的标志模板与视频信号中的标志进行相关。

当商业广告播放时，可能标志正好不出现在帧中。然而，具有在特定电视频道上广播的信息的区域的位置通常不会随下一帧改变。因此，所述问题可以通过在与处理器耦合的存储装置(未示出)中存储与各区域相关的电视频道的标识符的列表得到解决，正如用于图2的镶嵌帧的列表1所示。所述列表由系统自身一次生成，并被存储下来。

表1

SBS-6	Yorin	Ned1
			CNN	BBC	RTL4
V8	RTL5	Ned2

作为选择，可以分析与图像相应的音频信息，其电视频道正在建立。一些电视频道周期性的重复广播它们自身的业务推广性质的暂停，并伴随广播具有特定音乐的视频信息。所有这些都可以用于识别电视频道，并且所述方式都是本领域技术人员在不用克服任何困难的条件下就可以完成的。

在另一实施例中，从远程发射机接收用于广播源的识别的数据。例如，由接收机100接收到的频道名(ID)序列或缩写就足以实现上述目的。所述数据可以包括一个特殊字符(SC)，所述字符规定右侧或其他方向应用于将标识符与下一区域相关联。这样，仅需要很少的附加信息。用于图2的镶嵌帧的这种识别数据的示例如下述表2所示。这种识别方法的实践方式已在US5633683中公开。

表2

根据本发明的另一方面，处理器150仅用于提取与各广播数据源或电视频道相应的区域240的一部分或子区域。当用于区域内的子区域的识别的位置数据由发射机产生或由广播数据源产生、输入到接收机并被处理器使用时，可以提取出这种子区域。例如，电视频道广播装置可以在数字视频信号中包括这种数据。如果可行，镶嵌视频信号的提供者可以将所述数据合并到与各电视频道相应的区域内的镶嵌信号中。这种包括发射机和接收机的系统可以通过适当改进US5633683中已知的系统而实现。

作为选择，用户可以指定要被提取的子区域。例如，显示在显示设备中的在帧200中进行指示的光标、标记或其他指针可以用于此目的。用户可以使用遥控单元的方向键移动标记、光标和用于在帧内标记子区域240的特定键。当子区域是用户进行操作而选定的时，可以从镶嵌视频信号的下一帧中提取出子区域。

应当注意，如果用户对整个矩形区域210进行手动选择，使用上述技术，例如霍夫变换，选定的区域将与自动检测的矩形区域相对应。

提取子区域的另一种方式与MPEG-4标准有关，所述标准提供了对视频目标进行操作的可能性。其他的方式可以在本发明的范围内推倒出来。如果需要，可以对与所提取的子区域相应的电视频道进行识别，如上所述。

图4示出了电视频道的视频信号的帧400。与上述实施例形成对比，所述帧中的所有信息都相应于相同的频道“A”。可以参考上文中处理镶嵌帧的方式之一来提取子区域410。

可以使用上述技术对区域内的对象，例如人、动物、字符、车等，进行识别。用户可以选择一个或多个经过识别的对象在随后的帧中进一步识别。当然，如果所述对象是三维图像，则所述对象的表现形式将随时间改变。因此，可以对不同帧中的相同对象的表现形式进行分析。例如，在MPEG-4标准中，视频对象的控制是已知的，所述视频对象可以与其后的帧中所示的对象相匹配。可以对从帧中提取出来的选定对象的图像进行进一步的显示或处理。可以存储与特定对象相应的一组提取出的对象图像，用于进一步的显示等操作。

通常，根据本发明的两种提取过程可以简化。在第一种情况下，根据帧中所述区域或子区域的位置和尺寸而不管所述区域或子区域的内容如何来提取所述区域或子区域。在另一种情况下，处理器提取区域中提供的对象，所述对象可以从具有物理存在的区域中的任何部分中提取出来。

应当注意，镶嵌帧不需要从广播电视信号中接收。接收机可以包括用于接收的通信装置，并且还可以通过因特网传输数字视频和音频内容。

提取出的视频信息还可另外用于以多种方式进行显示。视频处理器还分别包括画中画处理器(P-in-P)(未示出)或其功能如US5633683已知的视频开关。提取出的视频信息还被施加到视频开关。可以对视频处理器150适当编程，以执行本文所公开的所有功能。接收机100的音频和视频输出还被提供到AV设备，以再现音频和/或视频内容。

图3示出了表示提取出的信息的帧300的示例。在帧300中，示出了主屏幕310，所述主屏幕中有用户选择或以其他方式选择的节目。例如，副屏幕320小于主屏幕310，因为用户不高兴见到副屏幕中示出的电视节目与主屏幕上的节目一样大。副屏幕上示出的视频内容向用户提供了不同电视频道上正在广播的信息，所述内容可以如上所述的方式例如从镶嵌视频信号中提取出来。刷新副屏幕中信息的频率应当足以使用户获得足够的信息，例如图中示出了每秒各电视频道一个帧，或每半秒一个帧。所述频率与许多因素极为相关，例如接收机100中可使用的调协器110的数目、处理器150的处理能力、输入到接收机的信息的种类等。在主和副屏幕上还有可能显示“生动的”、实时的视频内容。

提取出的子区域可以作为提取区域显示在相同的副屏幕上。提取出的区域和子区域都可以缩放、映象到由用户预定的显示屏幕的区域上。举例来说，具有“移动文字”新闻的CNN“股票行情自动收录器纸带”从镶嵌240中提取来，并显示在副屏幕330上。

用户可以改变副屏幕320在帧300中的排布。副屏幕的位置可以改变，屏幕可以在帧区域的范围内移动。例如，用户想要将屏幕330设置在帧300的上侧。为此，遥控单元可以具有特定的按钮来将电视切换到编辑模式。可以在编辑模式下使用副和/或主屏幕的具有用于创建新的副屏幕、删除、移动、改变尺寸等命令的显示菜单。用户还可以指定将在各屏幕310、320或330中显示的信息源、其更新频率或其他参数。还可以允许用户选择提取出的区域或子区域在副屏幕上的顺序滚动的方式。可以对副区域的边界、边缘执行凸出、高亮等操作。对帧300的排布方式编辑之后的结果进一步传送到视频处理器，用于控制视频内容的提取和适当显示。

显示提取出的信息的另一示例如图4所示。选择子区域410，以从电视频道“A”的帧400中提取内容。子区域410示于帧450中，并缩小到黑色边界所限定的副区域460中。如图所示，屏幕460中的图像是缩小的或半透明形式的，其可以用黑色边界与屏幕的其他区域所示的频道“B”的其他电视节目区分开来。由此，用户可从两个频道A和B中观看内容。

在一个实施例中，数据检索系统包括根据本发明的接收机。一些区域或子区域可以与对其内容的描述一同存储在存储器中。例如，在所述系统中可以用“CNN新闻头条”、“新闻标题”之类的一些描述词来识别“股票行情自动收录器纸带(ticker tape)”240。通常，对于其中永远存在这些子区域的电视节目而言，这是可以实现的。帧中的这种子区域的位置可以与所述描述词一同存储。用户还可以将伪名给予子区域。用于检索显示屏上的期望的子区域的搜索接口可以在用户的请求下被启用。由此，不管用户何时希望观看屏幕上的所述子区域，他/她都可以简单地对其进行检索。

在不背离本发明的范围的条件下，可以用提供了相同功能的其它实施方式取代上述实施方式。可以采用各种程序产品来实现本发明的系统的功能和方法，所述程序产品还可以多种方式与硬件相结合或装载到不同的设备中。对上述具体实施方式的各种改变和改进都可能落在发明概念的范围内。

Claims (14)

1、一种用于处理视频信号的系统，所述系统包括用于接收视频信号的接收机，其至少一个视频帧包括与多个广播数据源中的相应一个广播数据源对应的至少一个区域，其特征在于所述系统包括：

处理器，用于使用图像分析算法处理所述视频帧，以从至少一个所述视频帧中提取出所述区域的至少一部分。

2、根据权利要求1所述的系统，其中，所述区域或所述区域的一部分具有矩形形状。

3、根据权利要求1或2所述的系统，其中，处理器用于检测所述区域或所述区域的一部分的边缘。

4、根据权利要求3所述的系统，其中，处理器还用于从各帧中检测划定所述区域或所述区域的一部分的边界的线。

5、根据权利要求3或4所述的系统，其中，处理器还用于检测所述区域或所述区域的一部分的多个顺序帧的边缘，所述区域与数据源中的同一个数据源相对应。

6、根据权利要求1所述的系统，还包括标记器，用于由用户操作来指示将要从至少一个所述视频帧中提取出来的所述区域或所述区域的一部分。

7、根据权利要求1、4或6所述的系统，还包括识别装置，用于识别提取出的区域或区域的一部分与多个广播数据源之一的对应关系。

8、根据权利要求1所述的系统，还包括显示装置，用于显示被映射到相应屏幕区域的至少一个提取区域或者该区域的一部分。

9、根据权利要求1所述的系统，其中，所述系统用于在接收包括与多个广播数据源中的每一个相应的至少一个区域的视频帧和从广播数据源中选定的一个广播数据源接收视频帧之间进行切换，

显示装置用于在主屏幕区域上显示从选定的广播数据源接收的所述视频帧，在多个副屏幕区域的至少一个区域上显示至少一个提取出来的区域或所述区域的一部分。

10、根据权利要求1所述的系统，包括另一个接收机，用于从选定的一个广播数据源中接收视频信号的视频帧，

显示装置用于在主屏幕区域上显示由另一接收机接收的选定的广播数据源的所述视频帧，在多个副屏幕区域的至少一个区域上显示至少一个提取出来的区域或所述区域的一部分。

11、根据权利要求9或10所述的系统，其中，所述显示装置用于由用户操作来指定至少一个提取出的区域或区域的一部分在多个副屏幕区域的相应的副屏幕区域上的显示。

12、根据权利要求11所述的系统，其中，所述显示装置用于使用户指定至少一个副屏幕区域的尺寸和/或位置。

13、一种用于接收视频信号的接收机，所述视频信号的至少一个视频帧包括与多个广播数据源中的每一个相应的至少一个区域，其特征在于，所述接收机包括处理器，用于处理所述视频帧，以从所述视频帧中的至少一个帧中提取出所述区域的至少一部分。

14、一种计算机程序产品，使可编程设备在执行所述计算机程序产品时可以用作如权利要求1所定义的系统。

Images