CN102461181B

CN102461181B - 用于提供3d用户界面的立体图像再现装置和方法

Info

Publication number: CN102461181B
Application number: CN200980160067.9A
Authority: CN
Inventors: 翰常喆; 李在京
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2009-06-24
Filing date: 2009-07-22
Publication date: 2015-09-09
Anticipated expiration: 2029-07-22
Also published as: US20120102435A1; CN102461181A; EP2448271A1; WO2010150936A1; US9021399B2; EP2448271A4

Abstract

一种用于提供3D用户界面的立体图像再现装置包括：UI生成器，其生成用户界面；深度信息处理器，其针对所述用户界面产生3D深度；以及格式编制单元，其被配置以利用3D深度针对所述用户界面生成3D用户界面。深度信息处理器可以与格式编制单元集成。用于产生3D深度的各个因素可以包括模糊、文字梯度、线性透视、阴影、颜色、视亮度和彩度中的至少任意一个，其使得在立体图像显示器上显示出3D用户界面(UI)。

Description

用于提供3D用户界面的立体图像再现装置和方法

技术领域

描述了用于再现三维或者立体图像并且显示用于这种三维或者立体图像的用户界面(UI)的装置和方法。

背景技术

近年来，随着对立体图像业务关注的增加，用于提供立体图像的装置得到持续的发展。在实现这种立体图像的方法中，存在立体方法。

立体方法的基本原理涉及以分离的方式将彼此垂直布置的图像提供到观众的左眼和右眼的方案，并且观众的大脑的视觉皮质可以将这两个图像解析为组合形成三维或者立体图像。彼此垂直布置的图像意味着各个图像不相互干扰。

用于消除干扰的一些具体方法包括偏振方案、时间顺序方案和光谱方案。

首先，偏振方案是通过使用偏振滤光片分离各个图像的处理。换句话说，通过向针对左眼的图像和针对右眼的图像分别应用彼此垂直的偏振滤光片，将偏振滤光片过滤出的不同图像提供到左眼视野和右眼视野。

时间顺序方案是交替地显示左图像和右图像并且允许用户佩戴的有源眼镜与交替显示的图像同步以分离各个图像的处理。换句话说，当图像交替地显示时，与交替显示的图像同步的有源眼镜的快门仅对被输入相关图像的眼睛视野打开而对另一个眼睛视野关闭，结果，观众以分离方式看到左图像和右图像。

光谱方案是将左图像和右图像投影透过具有RGB光谱不彼此交叠的光谱带的光谱滤光器的处理。对于这种投影的左图像和右图像，由于观众佩戴安装了光谱滤光器的无源眼镜，所述光谱滤光器分别仅使针对左图像和右图像设定的特定光谱区域透过，因此能够以分离的方式观看左图像和右图像。

另外，通常可以在立体图像再现装置中设置用户界面以允许用户改变立体图像的显示设定。用户界面可以提供给用户改变相关装置的环境或者各种设定或者控制相关装置的操作，并且可以通过在显示屏上显示用户界面来提供。

可以使用屏上显示(OSD：On Screen Display)技术作为在显示屏上显示和提供用户界面的示例。屏上显示(OSD)通常提供屏幕调整功能，该功能允许用户直接选择或者改变显示屏的设置。在此情况下，可调整的屏幕设置在进行显示的显示器之间可能稍微不同，但是可以包括视亮度(brightness)、对比度、同步、RGB调整、垂直/水平屏幕尺寸、位置调整等。

然而，上述相关技术中在立体图像再现装置的显示屏上显示用户界面(UI)的方法具有某些缺陷。

在根据相关技术的立体图像再现装置中，尽管在处理3D图像信号时也显示3D图像，但为了允许改变设定或允许执行针对3D图像的控制操作而显示的用户界面(UI)通常具有二维图像显示格式。

这种针对3D图像而显示的具有2D格式的用户界面(UI)造成整个3D图像画面的不协调。因此，当使用立体图像再现装置提供的3D图像业务时，用户满意度下降。

发明内容

本文中描述的特征旨在通过提供一种在立体图像显示器上提供具有3D格式的用户界面(UI)的立体图像再现装置和方法来解决相关技术中的上述问题。

另一个目的是提供一种能够控制在立体图像显示器上提供的具有3D格式的用户界面(UI)的立体效果的立体图像再现装置和方法。

又一个目的是提供一种能够在立体图像显示器上提供具有3D格式的用户界面(UI)从而增强用户的使用满意度的立体图像再现装置和方法。

为了实现上述目的，提供一种用于提供3D用户界面的立体图像再现装置，该装置包括：UI生成器，其被配置为生成用户界面；深度信息处理器，其被配置为针对所述用户界面产生3D深度；以及格式编制单元，其被配置为使用所述3D深度针对所述用户界面生成3D用户界面。

所述深度信息处理器可以与所述格式编制单元以集成方式形成。此外，用于产生所述3D深度信息的特定因素可以包括模糊、文字梯度、线性透视、阴影、颜色、视亮度和彩度(chroma)中的至少任意一个。

另一方面，提供一种用于提供3D用户界面的立体图像再现方法，包括：第一步骤，生成用户界面；第二步骤，针对所述用户界面产生3D深度；以及第三步骤，使用所述3D深度针对所述用户界面生成3D用户界面。

根据此处描述的立体图像再现装置和方法，在立体图像显示器上提供了具有3D格式的用户界面(UI)。

此外，根据此处描述的立体图像再现装置和方法，可以控制在立体图像显示器上提供的具有3D格式的用户界面(UI)的立体效果。

另外，根据此处描述的立体图像再现装置和方法，可以在立体图像显示器上提供具有3D格式的用户界面(UI)，由此增强用户的整体满意度和3D体验。

附图说明

附图被包括进来以提供对本发明的进一步理解，并结合到本申请中且构成本申请的一部分，这些附图例示了本发明的一些实施方式，并与说明书一起用于解释本发明的原理。

在附图中：

图1是例示可应用于3D图像信号的各种3D模式的图；

图2是用于说明现有技术中的格式编制器基于其立体图像显示器输出在各个模式下对3D图像信号执行格式编制操作的图；

图3是例示根据此处描述的实施方式构成立体图像再现装置的示例的框图；

图4是例示使用颜色、视亮度和彩度作为在2D用户界面上产生3D深度的因素的示例的图；

图5是例示使用模糊、文字梯度、线性透视和阴影作为在2D用户界面上产生3D深度的因素的示例的图；

图6是例示通过允许本发明的立体图像显示器产生3D深度并将其应用到2D UI而在立体图像显示器上提供3D UI的方法的操作流程图；

图7是例示当使用颜色作为在2D用户界面上产生3D深度的因素时能够针对颜色因素提供的多个深度设定的示例的图；

图8是例示用于用户针对各个因素调整立体图像效果的3D图片深度调整窗口的布局的示例的图；以及

图9是例示当调整图8的控制面板上的“距离”值时施加于3D UI的立体图像效果的变化的示例图。

具体实施方式

术语3-D或者3D可以用于描述再现具有深度感的视错觉的三维图像的视觉输出或者显示技术。对于针对左眼的图像和针对右眼的图像，大脑的视觉皮质可以将这两种图像解析为组合形成三维图像。

三维(3D)显示技术针对能够显示3D图像的装置采用3D图像处理和表现技术。能够显示3D图像的装置还可以使用特殊观看装置以向观众提供三维图像观看效果。

能够显示3D图像的装置的例子可以包括具有支持3D显示技术的适当硬件和/或软件的液晶显示器(LCD)、数字TV屏幕、计算机监视器等。特殊观看装置的例子可以包括专用眼镜、护目镜(goggle)、头盔(head gear)、目镜(eyewear)等。

3D图像显示技术的例子包括互补色(anaglyph)立体图像显示技术(通常与无源互补色眼镜一起使用)、偏振立体图像显示技术(通常与无源偏振眼镜一起使用)、交替帧顺序显示技术(通常与有源快门眼镜/头盔一起使用)、使用透镜状屏幕或者栅栏屏幕的自动立体显示技术等。下面描述的各种思想和特征可应用于这些3D图像显示技术。

一种类型的3D图像显示技术可以采用粘接到例如滤色盘(color filter wheel)的旋转或交替工作的光学器件的分节偏振器，这种技术要求彼此同步。另一种类型的3D图像显示技术可以采用基于数字微镜器件(DMD)的数字光处理器(DLP)，所述DMD使用按照与要显示的像素相对应的阵列结构布置的可旋转微型镜。

很多公司、联合体和组织目前正在开发与立体图像的渲染和显示技术(具体地，3D TV)相关的新型标准，并且这些标准的例子可以包括SMPTE(电影及电视工程师协会)，CEA(消费电子产品协会)，3dHome联合体、ITU(国际电信联盟)等。另外，诸如DVB、BDA、ARIB、ATSC、DVD论坛和IEC等的其它标准组织也参与其中。MPEG(移动图象专家组)参与了多视点图像、立体图像和具有深度信息的二维图像的3D图像编码，并且正在对用于MPEG-4AVC(高级视频编码)的多视点视频编解码器扩展进行标准化。立体图像编码和立体分布格式编制涉及色位移(互补色)、像素子采样(并排)、棋盘形、梅花形(quincunx)和增强视频编码(2D+增量、2D+元数据以及具有深度信息的2D)。下面描述的概念和特征可应用于上述标准中的任一个。

此外，此处公开的概念和特征的至少一部分可以涉及针对用于数字图像或者3DTV实现的图像显示环境描述的3D图像显示技术。然而，详细描述不限制此处描述的各种特征，并且可应用于其它类型的显示技术和装置。例如，3D TV技术可以应用于Blu-ray^TM设备、游戏机、有线电视和IPTV传输系统、移动终端内容传送协议等，并且在此情况下应与其它类型的TV、机顶盒、Blu-ray^TM设备(例如，Blu-ray^TM盘(BD)播放器)、DVD播放器和TV内容分配器兼容。

对于立体图像处理，左图像和右图像可以被发送以形成立体图像，其中各个图像都被以60帧每秒发送。换句话说，当以高于120Hz的速度显示立体图像时，可以实现具有最小闪烁或者实际没有闪烁的立体图像。

在此情况下，可应用于3D图像信号的3D显示格式模式可以包括帧顺序方案、并排方案、上下方案、棋盘方案等。

下面，将参照图1描述可应用于3D图像信号的各种模式，图1例示了可应用于3D图像信号的各种3D模式。

图1(a)是例示3D图像信号的3D模式中的帧顺序模式的图。帧顺序模式使用如下方法：通过分别将左图像和右图像用于帧而顺序地交替放置图像，如图1(a)所示。

图1(b)是例示3D图像信号的3D模式中的并排模式的图。并排模式使用如下方法：在水平方向上分别对左图像和右图像进行1/2子采样，接着分别将采样的左图像和右图像放置在左侧和右侧，如图1(b)所示。

图1(c)是例示3D图像信号的3D模式中的上下模式的图。上下模式使用如下方法：在垂直方向上分别对左图像和右图像进行1/2子采样，接着分别将采样的左图像和右图像放置在上部和下部，如图1(c)所示。

图1(d)是例示3D图像信号的3D模式中的棋盘模式的图。棋盘模式使用如下方法：在水平方向和垂直方向上分别对左图像和右图像进行1/2子采样，接着分别交替地放置采样的左图像和右图像的像素，如图1(d)所示。

立体图像再现装置中设置的格式编制器可以接收具有上述各种模式的3D图像信号，并且基于其立体图像像素输出对图像进行格式编制以将经过格式编制的信号发送到如LCD面板的显示装置。

图2例示了上述格式编制器的操作。图2是用于说明相关技术中的格式编制器基于其立体图像显示输出在各个模式下对3D图像信号进行格式编制的操作的图。

格式编制器可以对所接收的3D图像信号进行格式编制以显现3D图像，还对2D图像信号进行3D显现。为了基于2D图像生成3D图像，格式编制器可以分析2D图像以从2D图像中提取出3D深度。此时，所使用的因素可以包括模糊、纹理梯度、线性透视、阴影、颜色等。格式编制器可以使用所接收的2D图像的这些因素针对2D图像产生3D深度，由此利用3D深度从2D图像实现3D图像。

根据本文中描述的一些实施方式，提出了一种在立体图像显示器上提供具有2D用户界面(UI)的最小变化的3D用户界面的方法。换句话说，根据这些实施方式，在显示立体图像信息时，能够获得2D UI的3D深度的因素可以用于提供3D UI。

在下文中，将参照附图来详细地描述这些实施方式。在附图中，相同的附图标记始终表示相同的元件。

参照图3，将描述立体图像再现装置的构造和操作。图3是例示构成立体图像再现装置的示例的框图。

根据实施方式的立体图像再现装置可以包括：用户界面(UI)生成器310，其被配置为生成用户界面(UI)；深度信息处理器320，其被配置针对所生成的UI产生3D深度；以及格式编制单元330，其被配置为利用3D深度生成3D UI并且基于立体图像显示器对3D图像信号进行格式编制以发送经过格式编制的信号。

在下文中，将更详细描述具有上述构造的立体图像再现装置的构造和操作。在此实施方式中，立体图像再现装置的UI可以使用屏上显示(OSD)技术。

首先，UI生成器310为用户生成用户界面，即，OSD。此时，所生成的OSD可以具有常规的2D格式。

深度信息处理器320可以为从UI生成器310生成的OSD产生3D深度。这里，用于产生3D深度的一些因素可以包括模糊、纹理梯度、线性透视、阴影、颜色、视亮度、彩度等。深度信息处理器320可以使用这些因素中的一个或者使用其中两个或者更多个的组合来针对2D格式的UI产生3D深度。

格式编制单元330可以利用从深度信息处理器320生成的3D深度信息针对2DUI生成3D UI。另外，格式编制单元330可以基于立体图像显示器对3D图像信号进行格式编制以将经格式编制的信号与3D UI一起发送。

在下文中，将更详细描述允许本发明的深度信息处理器320使用以上描述的各个因素生成3D深度的方法。

首先，可以使用颜色作为产生2D UI的3D深度信息的因素。在各个颜色中，所谓的“冷”色可以具有缩小画面视野的效果，而“暖”色可以具有扩大画面视野的效果。因此，为了产生3D UI的3D深度感，在2D UI中可以针对“冷”色设定相对长的距离或者深度，而针对“暖”色设定相对短的距离或者深度。

另外，可以使用颜色的视亮度或者彩度作为产生3D深度的因素。这里，视亮度是指颜色的相对亮或暗级别，而彩度是指颜色的相对清晰或饱和级别。在此情况下，为了产生3D深度感，可以针对“低”视亮度或者彩度设定相对长的距离或者深度，而可以针对“高”视亮度或者彩度设定相对短的距离或者深度。

另外，可以使用模糊作为产生2D UI的3D深度信息的因素。在此情况下，为了产生3D深度感，可以针对暗淡的状态设定相对“长”的距离或者深度，而可以针对光亮的状态设定相对“短”的距离或者深度。

当使用文字梯度作为用于产生3D深度信息的因素时，为了产生3D深度感，可以针对下降的文字梯度设定相对“长”的距离或者深度，而针对上升文字梯度设定相对“短”的距离或者深度。

当使用线性透视作为用于产生3D深度信息的因素时，为了产生3D深度感，可以针对汇聚线设定相对“长”的距离或者深度，而针对发散线设定相对“短”的距离或者深度。

当使用阴影作为用于产生3D深度信息的因素时，为了产生3D深度感，可以设定相对“长”的距离或者深度来描绘重物，而设定相对“短”的距离或者深度来描绘轻物。

图4是例示使用上述因素中的颜色、视亮度和彩度作为产生3D深度的因素的示例的图。如图4所示，根据用户的观看位置，为了产生3D深度感，可以对冷色、低视亮度或低彩度配以长距离，而对暖色、高视亮度或高彩度配以短距离。

图5是例示使用上述因素中的模糊、文字梯度、线性透视和阴影作为产生3D深度的因素的示例的图。如图5所示，根据用户的观看位置，可以对各个因素的长或者短距离设置配以长或短距离以产生3D深度感。例如，在阴影的情况下，可以对暗色配以长距离，而可以对亮色配以短距离以实现3D图像的效果。

如上所述，立体图像再现装置可以以各种方式产生3D深度并将其应用于2D图像界面，由此在立体图像显示器上实现3D用户界面。

在此实施方式中，立体图像再现装置可以具有分立的深度信息处理器320和格式编制单元330，但是不一定按此方式配置，此外，可以按照集成方式配置控制器330和深度信息处理器320。

接着，参照图6，将详细描述立体图像再现装置的配置和操作。图6是例示通过允许本发明的立体图像显示器产生3D深度并将其应用于2D UI而在立体图像显示器上提供3D UI的方法的操作流程图。

UI生成器310为用户生成用户界面(S610)。此时，所生成的UI具有常规的2D格式，并且UI的例子可以包括上述的屏上显示(OSD)。

深度信息处理器320产生从UI生成器310生成的2D格式UI的3D深度(S620)。这里，可用于产生3D深度的因素可以包括模糊、文字梯度、线性透视、阴影、颜色、视亮度、彩度等。深度信息处理器320可以使用这些因素中的一个或者更多个组合以产生2D UI的3D深度。

接着，格式编制单元330使用从深度信息处理器320产生的3D深度针对从UI生成器310的2D格式UI生成3D UI(S630)。

随后，格式编制单元330基于立体图像显示器对3D图像信号进行格式编制，并且将经过格式编制的信号与所生成的3D UI一起发送(S640)。

按照此方式，根据此处描述的立体图像再现装置可以在立体图像显示器上提供3D格式的用户界面(UI)。

根据此处描述的另一个实施方式，还可以配置为可以通过用户选择来改变3D深度的设置。

换句话说，可以根据用户的偏好如愿地调整在3D UI上实现的立体效果。为此，根据此处描述的实施方式，可以针对各个因素存储多个深度设定，并且用户可使用这些深度设定来调整3D深度。

在此情况下，可以提供单独的存储单元以存储用户可选择的各个因素的多个深度设定。

在图7中例示了所述多个深度设定的例子，图7是例示当使用颜色作为用于产生3D深度的因素时可针对颜色因素提供的多个深度设定的示例的图。

在此情况下，用户可以选择针对颜色的深度设定“深度1”到“深度4”中的任一个，以将其应用于3D UI的立体效果。

另外，根据此处描述的另一个实施方式，用户可以针对各个因素调整立体效果的级别。

图8是例示用于通过用户针对各个因素调整立体图像效果的3D图片深度调整窗口的布局的示例的图。图8例示用户在3D图片深度调整窗口中输入与“菜单阴影选择”相对应的菜单的布局。在对应的菜单中，可针对各个窗口调整与菜单选择区域/菜单非选择区域相对应的阴影部分。

换句话说，可以控制图8中的阴影区域①到④，其中区域①和④分为彼此不同的窗口，并且窗口区域④是窗口区域①的子菜单。另一方面，区域②和③是与所选择的菜单区域相对应的阴影区域，其中可以将所选择的菜单区域的阴影深度调整为与非选择菜单区域区分开。

在图8的控制面板中，示出了针对颜色、视亮度、彩度、亮度和距离的控制菜单，但是不必须限制于此，并且还可以相似地适用于诸如模糊、文字梯度、线性透视、阴影等因素。

图9是例示当调整图8的控制面板上的“距离”值时施加于3D UI的立体图像效果的变化的示例图。图9(a)例示当控制面板的“距离”值是30时施加于3D UI的立体效果，图9(b)例示当控制面板的“距离”值是90时施加于3D UI的立体效果。

如图9所示，根据此处描述的实施方式的立体图像再现装置可以调整控制面板的“距离”值，由此控制施加于3D UI的距离效果的级别。

换句话说，在距离效果的级别设置在0到100之间的情况下，通过减小“距离”的值可以减小左图像和右图像的深度值以获得近距离效果，而通过增大“距离”的值可以增大左图像和右图像的深度值以获得远距离效果。

如上所述，根据此处描述的立体图像再现装置和方法，可以在立体图像显示器上提供3D格式用户界面(UI)，并且可以控制在立体图像显示器上提供的3D格式用户界面(UI)上的立体效果。因此，通过这种立体效果，能够增强立体图像再现装置的用户满意度。

根据此处描述的另一个实施方式，还能够通过用户选择将3D格式用户界面转换为常规的2D格式。在此情况下，在接收了用户的2D转换选择输入时，立体图像再现装置可以使用已有方法处理和显示2D UI而不针对2D UI产生3D深度。

为了描述与本文中描述的多个方面相关的独创性思想，在本文中公开了各种实施方式。然而，特定实施方式中的一个或更多个实际特征可应用于一个或者更多个其它实施方式。在各个实施方式及其关联的附图中描述的一些要素或者步骤可以进行修改，并且可以删除、移动或者包括附加元素和/或步骤。

可以使用软件、硬件、固件、中间件或者它们的组合来实现本文中描述的各种特征和思想。例如，在计算机可执行介质中存储的计算机程序(由计算机、处理器、控制器等执行)可以包括用于执行各种操作以实现根据本文描述的实施方式的立体图像的再现和立体图像装置的一个或者更多个程序代码段。类似地，在计算机可执行介质中存储的软件(由计算机、处理器、控制器等执行)可以包括用于执行各种操作以实现立体图像的再现和立体图像装置的一个或者更多个程序代码的一部分。

工业实用性

所描述的实施方式可应用于被配置为形成立体图像的各种类型装置，即，可以应用于诸如数字TV、LCD显示装置、个人媒体播放器(PMP)、便携电话、计算机监视器等用于显示立体图像的全部装置。

本文中描述的各种思想可以在所述实施方式的范围内以各种形式实现，并且本领域技术人员应理解，上述实施方式不受到以上详细描述的限制，除了特别规定的以外，应在所附的权利要求限定的技术范围内进行广义地理解。因此，落入所附权利要求的该范围或其等效物内的所有改变和修改旨在被所附权利要求涵盖。

Claims

1.一种用于提供三维用户界面的立体图像再现装置，该装置包括：

显示器，其被配置为显示三维图像；

用户界面生成器，其被配置为生成二维用户界面，该二维用户界面允许设定改变或者对所述三维图像的操作的控制；

深度信息处理器，其被配置为当检测到转换选择输入时，使用所述二维用户界面的多个因素中的两个或更多个组合针对所述二维用户界面生成三维深度信息；以及

格式编制单元，其被配置为通过将所生成的三维深度信息施加于所述二维用户界面，生成具有三维格式的用户界面，

其中，所述深度信息处理器通过在用户的观看位置的基础上针对长距离或短距离设置不同的因素值来生成每个因素的三维深度信息，并且将所生成的三维深度信息施加于所述二维用户界面以实现立体效果，并且

其中所述因素包括模糊、文字梯度、线性透视、阴影、颜色、视亮度和彩度。

2.根据权利要求1所述的装置，其中所述深度信息处理器与所述格式编制单元以集成方式形成。

3.根据权利要求1所述的装置，该装置还包括：

存储单元，其被配置为存储各个因素的用于调整所述三维深度信息的深度设定。

4.根据权利要求1所述的装置，其中各个因素的立体效果能够通过用户的输入来调整。

5.根据权利要求1所述的装置，其中所述具有三维格式的用户界面通过用户的二维转换选择输入转换为具有二维格式的用户界面。

6.根据权利要求1所述的装置，其中所述二维用户界面具有屏上显示格式。

7.一种用于提供三维用户界面的立体图像再现方法，该方法包括以下步骤：

在显示器上显示三维图像；

显示二维用户界面，该二维用户界面允许设定改变或者对所述三维图像的操作的控制；以及

当检测到转换选择输入时，使用所述二维用户界面的多个因素中的两个或更多个组合来实现针对所述二维用户界面的立体效果，

其中，所述实现针对所述二维用户界面的立体效果的步骤包括：

分析所述二维用户界面的多个因素中的至少一个因素；

通过使用所分析的所述二维用户界面的多个因素中的两个或更多个组合，针对所述二维用户界面生成三维深度信息；以及

通过将所生成的三维深度信息施加于所述二维用户界面，生成具有三维格式的用户界面，

其中，生成所述三维深度信息的步骤包括：通过在用户的观看位置的基础上针对长距离或短距离设置不同的因素值来生成每个因素的所述三维深度信息，并且

8.根据权利要求7所述的方法，该方法还包括：

存储各个因素的用于调整所述三维深度信息的深度设定。

9.根据权利要求7所述的方法，其中各个因素的立体效果能够通过用户的输入来调整。

10.根据权利要求7所述的方法，其中所述具有三维格式的用户界面通过用户的转换选择输入转换为具有二维格式的用户界面。

11.根据权利要求7所述的方法，其中所述用户二维界面具有屏上显示格式。