CN101783871A

CN101783871A - 图像补偿设备

Info

Publication number: CN101783871A
Application number: CN201010004580A
Authority: CN
Inventors: 松林庆
Original assignee: Sony Espana SA
Current assignee: Sony Corp
Priority date: 2009-01-19
Filing date: 2010-01-19
Publication date: 2010-07-21
Anticipated expiration: 2030-01-19
Also published as: US20100182446A1; US8675088B2; JP2010166568A; CN101783871B; GB2467118A; GB0900867D0

Abstract

本发明公开一种图像补偿设备，一种供视频显示器和视频摄像机使用的图像补偿设备，视频摄像机布置成捕获在视频显示器前面的场景的图像。图像补偿设备包括：分析器，被配置成分析提供给视频显示器的连续数据帧，连续数据帧用来显示相应的连续显示图像；处理器，被配置成计算连续显示图像对在视频显示器前面的场景的照射影响；及补偿器，被配置成对由视频摄像机捕获的连续图像应用图像补偿，从而补偿由视频显示器的照射对在视频显示器前面的场景的影响。

Description

图像补偿设备

技术领域

本发明涉及一种图像补偿设备(image compensation apparatus)，并且也涉及一种为由系统的视频摄像机(video camera)捕获的图像进行图像补偿的方法，该系统包括视频显示器(video display)和视频摄像机。

背景技术

熟知的是提供电视会议设施，在该电视会议设施中，在视频显示器旁边提供有视频摄像机，以便捕获在视频显示器前面的场景的图像。利用这样的装置，用户观看视频显示器上显示的视频图像是可能的，同时该用户的视频图像正在由摄像机捕获，以便传输到另一远程用户。显示器可以重现该其它远程用户的视频图像。

US 2007/0120879提出了一种布置(arrangement)，其中视频摄像机安排在视频显示器后面，并且借助于通过显示器发射的光捕获视频显示器前面的场景的图像。显示器包括用来提供每个连续图像的照明的背景光(back light)。为了防止在显示图像与由摄像机捕获的图像之间的干扰，把摄像机布置成当背景光切断(或至少弄暗)时捕获仅在连续显示图像之间的图像。尽管如此，因为摄像机必须捕获通过视频显示器的像素的图像，所以这个文件提出对于由摄像机捕获的图像根据在摄像机输入传感器/透镜前面出现的(非-照射)像素来应用图像校正。

本申请第一次认识到有些不同的问题，即由显示器产生的图像将必然照射显示器前面的场景，并因此对于由摄像机捕获的图像具有影响，即使这个摄像机按较常规的方式定位在显示器的显示表面旁边。这种照射可能不利地影响捕获图像的颜色平衡和/或亮度。

熟知的是，为摄像机提供白平衡调节，并且事实上对环境亮度进行调节。然而，这样的系统要求：预先设置适当的颜色平衡，并且/或者基于场景的分析、和因此某种形式的反馈控制，调节亮度/颜色平衡。这样的系统，在补偿由通过由视频显示器的照射导致的快速变化的亮度和颜色方面，不是有效的。

发明内容

根据本发明，提供有一种用于为由系统的视频摄像机捕获的图像进行图像补偿的方法，该系统包括视频显示器和视频摄像机，视频摄像机捕获在显示器前面的场景的图像，其中，该方法包括：

分析提供给视频显示器的连续数据帧，该连续数据帧用来显示相应的连续显示图像；

计算连续显示图像对在视频显示器前面的场景的照射影响；和

对由视频摄像机捕获的连续图像应用图像补偿，以便补偿由视频显示器的照射对在视频显示器前面的场景的影响。

根据本发明，还提供有一种供视频显示器和视频摄像机使用的图像补偿设备，视频摄像机布置成捕获在该视频显示器前面的场景的图像，图像补偿设备包括：

分析器，被配置成分析提供给视频显示器的连续数据帧，该连续数据帧用来显示相应的连续显示图像；

处理器，被配置成计算连续显示图像对在视频显示器前面的场景的照射影响；及

补偿器，被配置成对由视频摄像机捕获的连续图像应用图像补偿，以便补偿由视频显示器的照射对在视频显示器前面的场景的影响。

以这种方式，作为知道提供给视频显示器的数据的结果，有可能主动地对由视频摄像机捕获的视频图像进行补偿。已不再有必要分析捕获图像和估计亮度和颜色补偿的适当变化。可能的是，使用要提供给视频显示器的数据，并且事先计算照射的影响将是什么。所以，可以采取步骤，以在图像的捕获之前对该图像进行补偿。

补偿器可以被配置成，从视频摄像机接收图像数据以作为输入数据。然后，该补偿器可以在输出调节数据以代替图像数据使用之前，通过调节输入数据的值来应用图像补偿。

以这种方式，补偿器处理在捕获之后的原数据，以便考虑在捕获图像时的场景的照射。

另外或可选择地，可能的是，补偿器控制视频摄像机以调节图像捕获参数，从而达到图像补偿。

视频摄像机将具有各种捕获参数，诸如快门速度、快门计时、偏置电压等等。因为有可能事先计算由视频显示器的照射的影响，所以可以相应地事先控制视频摄像机的捕获参数，从而正确地捕获图像。

将认识到，照射影响是来自在视频显示器上显示的显示图像的光反射离开在视频显示器前面的场景的影响。

补偿器可以被配置成应用图像补偿，以补偿在由视频摄像机捕获的连续图像中的白平衡的变化。

以这种方式，如果视频显示器用特定颜色照射该视频显示器前面的场景，则可以补偿该颜色的照射影响，以使所得的捕获图像显得具有正确的白平衡。

可选择地或另外地，补偿器可以被配置成应用图像补偿，以补偿在由视频摄像机捕获的连续图像中的亮度的变化。

因而，如果视频显示器改变成显示特别亮或特别暗的图像，则有可能补偿这种照射影响，以使连续捕获图像显得具有相对恒定的亮度。

分析器可以被配置成，对于每个连续显示图像的全部计算平均显示数据。处理器可以被配置成，基于相应的显示数据，计算每个显示图像的对应照射影响。

以这种方式，分析器可以计算特定显示图像的平均亮度和/或平均颜色。使用此平均，处理器可以计算对于在显示装置前面的场景的照射影响。

也有可能对显示图像的各部分求平均并且将这些平均选择性地应用到捕获图像的不同部分。

补偿器可以被配置成，根据在相应的图像捕获时段期间由视频显示器显示的对应的一个或多个相应显示图像，对由视频摄像机捕获的连续图像的每个相应图像应用图像补偿。

在图像捕获时段期间显示一个以上显示图像的场合，在连续图像之间根据在图像捕获时段期间的时间比例，可以对用于显示图像的平均(或用于显示图像的不同部分的相应平均)求平均，其中在该图像捕获时段中，这些图像对在视频显示器前面的场景具有照射影响。

优选地，视频显示器具有用来显示所述显示图像的显示表面，并且视频摄像机在显示表面旁边与视频显示器整体地予以提供。

在这方面，视频摄像机和视频显示器可以整体地提供，以作为视频显示设备的一部分。

事实上，可以提供视频显示设备，该视频显示设备包括视频显示器、视频摄像机及以上所描述的图像补偿设备。

图像补偿的功能也可以以软件提供，比如安装在具有视频显示器和视频摄像机的适当视频显示设备上的软件。

附图说明

参照附图根据仅作为例子给出的如下描述，将更清楚地理解本发明，在附图中：

图1示意地图示了使用根据本发明的图像补偿设备的视频系统；

图2(A)、2(B)及2(C)图示了供本发明使用的显示图像的例子；

图3示意地图示了体现本发明的图像补偿设备的功能件部分；及

图4图示了体现本发明的图像补偿设备的可选择设备。

具体实施方式

为了改进和增强视频显示装置的功能性，希望的是，将视频摄像机放置在视频显示器旁边。

图1示意地图示了具有视频显示器2的系统，该视频显示器2具有显示表面4，在该显示表面4上可以显示视频显示图像。在显示表面4旁边，提供有视频摄像机6，该视频摄像机6与显示表面4面向相同的方向，以便捕获视频显示器2前面的场景的图像。如所图示的，视频显示器2前面的场景包括观众8或系统的用户。

本发明的上下文中，视频显示器应该能够显示连续图像流，比如按帧或字段的形式。然而，那些图像不必只产生狭义上的视频，而是也产生任何其它运动图形图像或动画图像。事实上，视频显示器有时可以用来显示静止的图形和/或文本图像(比如在展示(presentation)幻灯片中出现的那样)以及静止画面。

如从以上将认识到的那样，视频显示器2的显示表面4可用来显示各种不同的图像。当观众8正在观看那些图像的时候，视频摄像机6可用来捕获该视频显示器2前面的场景的图像，并且可以把那些图像记录或传输到远离在图1中所图示的视频显示器2和观众8的另一视频显示设备。可以想象，视频显示器2实际上将用来从远程视频显示设备接收该远程视频显示设备前面的场景的捕获图像。在简单的视频通信布置中，视频显示器2仅仅在其显示表面4上显示从远程视频显示设备接收的捕获图像。

可能的是，视频显示器2的用户和远程用户二者当彼此实施视频通信的时候，都希望观看到相同的图像。那些图像可以是展示的一部分、画面集、电视节目或任何其它适当图像。

图2(A)图示了一种布置，在这种布置中，显示表面4划分成主图像12和辅助图像(additional image)14。远程视频显示布置前面的场景的捕获图像可以显示在辅助图像14中，同时共同观看的图像可显示在主图像12中。然而，当然，这可以颠倒。

如在图2(B)中所图示的那样，也有可能添加另外的辅助图像，诸如所图示的第二辅助图像16。以这种方式，当与多个远程用户通信时，来自那些多个用户中的每一个的捕获图像可显示在相应辅助图像14、16中。可选择地，其它不同的图像可以显示在另外的辅助图像中，比如用户可以选择在观看辅助图像14中远程用户的捕获图像并且也观看主图像12中的展示的同时，观看辅助图像16中的广播体育节目。

图2(C)图示了另外的变体，在该变体中，已经包括了第三辅助图像18。将认识到，以显示表面4的整体尺寸为条件，可以提供任何数量的辅助图像。在图2(C)中所图示的实施例中，对于辅助图像14、16、18，主图像12实际上可以被提供为单独的图像。因而，有可能的是，不仅将辅助图像以在主图像12中的画中画布置的方式来提供，而且也将主图像作为显示表面4的单独区域来提供。

在视频显示器2的显示表面4上显示的图像，将必然产生照射在视频显示器2前面的场景(比如观众8)的光。尽管视频摄像机6的控制电路有可能校正环境色温和亮度的变化(比如使用反馈控制回路)，但非常困难的是，校正由在视频显示器2上的任何图像所产生的照射影响。具体地说，视频显示器2上的图像可以在颜色成分(colour content)和亮度方面非常快地变化。

在图1中所图示的实施例中，图像补偿设备10被图示成连接到视频显示器2和视频摄像机6。然而，将认识到，图像补偿设备10可并入到包括视频显示器2和视频摄像机6的整体系统内，比如并入在移动电话、膝上型计算机、笔记本计算机或电视机中。

图3示意地图示了供视频显示器2和视频摄像机6使用的图像补偿设备10的功能件部分。

图像补偿设备10包括分析器20，该分析器20连接成接收代表相应连续显示图像的数据帧。在这个意义上，术语“帧”被广义地使用，以便覆盖字段和帧这二者。该数据可在由视频显示器2的最终显示之前的任何阶段得到，并因此可包括传输流(transport stream)(比如MPEG 2标准等等)，或者是用来直接驱动显示器(如液晶显示器)的原数据。不管怎样，该数据包含关于要由显示器2显示的连续图像的颜色和亮度并进而关于光的信息，该光将从视频显示器2发出，并且照射该视频显示器2前面的任何场景。

依据接收的数据的类型，分析器20适当地分析数据，以便确定连续图像的亮度和颜色品质。

处理器22然后布置成利用分析器20的分析而工作，以便计算作为由连续显示图像的照射的结果，对视频显示器前面的场景将有什么影响。

在优选实施例中，对于每个帧或每个连续图像，分析器20和处理器22确定图像的平均亮度和平均色温，并且计算这将对照射场景的影响。当然，在一些实施例中，将必要的是，仅计算和补偿亮度的变化或可选择地颜色的变化。

补偿器24被提供用于将图像补偿应用到由视频摄像机6捕获的连续图像上。这种补偿的量或性质根据由处理器22确定的计算照射影响来确定。

如熟知的那样，由视频摄像机进行的图像捕获的性质可通过改变由摄像机使用的各种参数而变更，比如改变光阑孔(diaphragm opening)、物理或电子快门速度以及各种偏置电压。事实上，在一些布置中，有可能对于由视频摄像机所捕获的不同颜色(比如红、绿及蓝)独立地改变这些属性中的一种或多种。

考虑到这个，提出在一个实施例中，补偿器24能够将控制信号26提供给摄像机6，以便控制各种参数中的一个或多个。结果，不必计算或感测视频显示器2前面的场景的照射的任何变化，补偿器也能够实时地直接控制摄像机6本身的参数(并且没有对于反馈的任何需要)，以便补偿视频显示器2前面的场景的照射变化以作为在视频显示器2上正显示的图像的结果。

而且或可选择地有可能的是，补偿器24通过调节由视频摄像机6输出的图像数据的值来应用图像补偿。因而，如所图示的，来自摄像机6的由图像捕获生成的图像数据由补偿器24接收，以作为用于图像补偿的输入数据28。

根据来自处理器22的计算照射影响，调节输入数据28的值，以便在亮度和/或颜色方面，补偿作为在视频显示器2上显示的图像的结果的对在视频显示器2前面的场景的照射影响。把调节数据提供为输出数据30，以代替由摄像机6原始提供的数据28。以这种方式，再次有可能校正、调节或补偿由视频摄像机捕获的连续图像，而没有任何必要感测作为在视频显示器2上的图像的结果的在视频显示器2前面的场景的实际照射。在这方面不需要任何反馈。作为对提供给视频显示器2的图像数据进行分析的结果，图像补偿设备直接地提供适当补偿。

利用所描述的布置，在视频显示器2前面的场景，包括用户8，在连续时段期间由在视频显示器2上显示的图像照射，在该连续时段中，视频摄像机6捕获相应的连续图像。视频摄像机6的连续图像的帧速率可能比在视频显示器2上显示的连续视频显示图像的帧速率快或慢。不管怎样，图像补偿设备能够根据在由视频摄像机6捕获的相应图像的捕获时段期间由视频显示器2显示什么，来提供适当补偿。如果在单个捕获时段期间一个以上显示图像显示在视频显示器2上，那么分析器20和处理器22可以计算对于那些不同图像的连续照射的组合影响的适当补偿。

在优选实施例中，处理器22通过对整个显示图像的值求平均，比如计算整个显示图像的平均亮度和/或计算整个显示图像的平均色温，来计算显示图像的照射影响。然而，也有可能对于图像的不同部分，对由视频摄像机6捕获的图像的补偿进行不同地调节。在这方面，可能希望的是，显示图像的左侧比显示图像的右侧对捕获图像的左侧影响大。类似地，在显示图像的顶部与底部部分之间可能有差别。

作为例子，图4更详细地图示了体现本发明的另一视频显示设备。该显示设备不仅示出了具有LCD面板形式的视频显示器2和以摄像机传感器形式的摄像机6，而且还示出了麦克风32和扬声器34。作为内部视频处理的一部分，提供了多个其它标准功能件以用于处理由视频摄像机6捕获的图像数据。具体地说，提供有A/D转换器61、黑调节器62、白平衡调节器63、拜耳补充(bayer complement)64、伽马(gamma)校正65及颜色空间转换器66。这些功能单元的输出可与麦克风32的输出一道提供给编码器36。

呼叫控制器38与网络接口40一道工作，这允许用户与另一在远程装置上的用户通信，如以上描述的那样。编码音频和视频信息由远程用户经由网络接口进行传输以供重现。类似地，从远程用户接收的音频和视频信息可传递到译码器42，以供由LCD面板2和扬声器34进行重现。

还提供了用户接口控制器44。

如参照图3所描述的那样，还把要提供给LCD面板2的图像数据提供给图像补偿设备10，该图像补偿设备10，如所图示的，可用来与白平衡单元63提供图像补偿。

Claims

1.一种供视频显示器和视频摄像机使用的图像补偿设备，所述视频摄像机被布置成捕获所述视频显示器前面的场景的图像，所述图像补偿设备包括：

分析器，配置成分析提供给所述视频显示器的连续数据帧，所述连续数据帧是用来显示相应的连续显示图像；

处理器，配置成计算所述连续显示图像对在所述视频显示器前面的场景的照射影响；和

补偿器，配置成向由所述视频摄像机捕获的所述连续图像应用图像补偿，以便补偿所述视频显示器的照射对所述视频显示器前面的场景的影响。

2.根据权利要求1所述的图像补偿设备，其中：

所述补偿器被配置成，从所述视频摄像机接收图像数据以作为输入数据，通过调节所述输入数据的值应用图像补偿，并且输出调节数据以代替所述图像数据使用。

3.根据权利要求1所述的图像补偿设备，其中：

所述补偿器被配置成控制所述视频摄像机以调节图像捕获参数，从而达到图像补偿。

4.根据权利要求1所述的图像补偿设备，其中：

所述照射影响是来自在所述视频显示器上显示的所述显示图像的光反射离开所述视频显示器前面的场景的影响。

5.根据权利要求1至4任一项所述的图像补偿设备，其中：

所述补偿器被配置成应用图像补偿，以补偿由所述视频摄像机捕获的连续图像中的白平衡的变化。

6.根据权利要求1至4任一项所述的图像补偿设备，其中：

所述补偿器被配置成应用图像补偿，以补偿由所述视频摄像机捕获的连续图像中的亮度的变化。

7.根据权利要求5所述的图像补偿设备，其中：

8.根据权利要求1至4任一项所述的图像补偿设备，其中，所述分析器被配置成，对于每个连续显示图像的全部计算平均显示数据，和所述处理器被配置成，基于相应显示数据，计算每个显示图像的对应照射影响。

9.根据权利要求5所述的图像补偿设备，其中，所述分析器被配置成，对于每个连续显示图像的全部计算平均显示数据，并且所述处理器被配置成，基于相应显示数据，计算每个显示图像的对应照射影响。

10.根据权利要求6所述的图像补偿设备，其中，所述分析器被配置成，对于每个连续显示图像的全部计算平均显示数据，并且所述处理器被配置成，基于相应显示数据，计算每个显示图像的对应照射影响。

11.根据权利要求1至4任一项所述的图像补偿设备，其中：

所述补偿器被配置成，根据在相应的图像捕获时段期间由所述视频显示器显示的对应的一个或多个相应显示图像，对由所述视频摄像机捕获的所述连续图像中的每个相应连续图像应用图像补偿。

12.根据权利要求5所述的图像补偿设备，其中：

13.根据权利要求6所述的图像补偿设备，其中：

14.根据权利要求7所述的图像补偿设备，其中：

15.根据权利要求8所述的图像补偿设备，其中：

16.根据权利要求1至4任一项所述的图像补偿设备，其中：

所述视频显示器具有用来显示所述视频图像的显示表面，并且所述视频摄像机在所述显示表面旁边与所述视频显示器整体地予以提供。

17.一种视频显示设备，包括：

视频显示器；

视频摄像机；及

供视频显示器和视频摄像机使用的图像补偿设备，所述视频摄像机被布置成捕获所述视频显示器前面的场景的图像，所述图像补偿设备包括：

分析器，被配置成分析提供给所述视频显示器的连续数据帧，所述连续数据帧是用来显示相应的连续显示图像；

处理器，被配置成计算所述连续显示图像对在所述视频显示器前面的场景的照射影响；及

补偿器，被配置成对由所述视频摄像机捕获的连续图像应用图像补偿，以便补偿所述视频显示器的照射对在所述视频显示器前面的场景的影响。

18.一种为由系统的视频摄像机捕获的图像进行图像补偿的方法，所述系统包括视频显示器和所述视频摄像机，所述视频摄像机捕获在所述视频显示器前面的场景的图像，其中，所述方法包括：

分析提供给所述视频显示器的连续数据帧，所述连续数据帧是用来显示相应的连续显示图像；

计算所述连续显示图像对在所述视频显示器前面的场景的照射影响；及

对由所述视频摄像机捕获的连续图像应用图像补偿，以便补偿由所述视频显示器的照射对在所述视频显示器前面的场景的影响。