CN104471932A - 数字信号的处理装置和方法 - Google Patents

Abstract

本发明公开了一种包括三维(3D)图像的数字信号的处理装置和方法。根据本发明的一个实施方式的数字信号的处理装置包括：接收单元，用于接收包括主图像的第一数字信号和包括附加图像的第二数字信号，其中图像和附加图像为3D图像，附加图像是主图像的扩展图像并且与主图像的边缘区域图像无缝连接；图像处理单元，用于对第一数字信号和第二数字信号进行解码而分别生成主图像和附加图像，并输出生成的图像的3D图像；以及显示单元，用于显示输出的所述3D图像，其中显示单元可包括：第一显示单元，用于显示所述3D图像的所述主图像；以及第二显示单元，其是与所述第一显示单元的边缘连接的透明显示器，并用于显示所述3D图像的所述附加图像。

Description

数字信号的处理装置和方法

技术领域

本发明涉及包括三维(3D)图像的数字信号的处理装置和方法。

背景技术

随着三维电视(3DTV)开始普及，经由存储介质的3D内容传播和经由数字广播的3D内容传输也正在积极推进。通常，3D图像基于观看者双眼的立体视觉的原理而提供立体观感。基于两眼之间的双眼视差(也即基于间隔约65mm的双眼之间的距离)，人们通过双眼像差而获得空间感。因此，通过让左右眼分别观看关联的平面图像，3D图像可提供立体观感和空间感。

3D图像的显示方法包括例如立体法、容量法和全息法。对于立体法，给出了将由左眼观看的左视图像和将由右眼观看的右视图像，使得当左右眼通过偏光眼镜或者显示设备本身观看左视图像和右视图像时，观看者能感受到3D图像效果。

常见的3DTV能够在尺寸有限的屏幕上显示3D图像。也即是说常见的3DTV只能在3DTV基于空间感限定的屏幕范围内提供3D图像。因此，需要一种显示3D图像的一部分，使得该部分如同脱离了3DTV的屏幕区域的方法。

发明内容

技术任务

本发明的目的是提供一种包括3D图像的数字信号的处理装置和方法。特别地，在根据本发明的数字信号处理装置中，有必要在向观看者显示3D图像之前对接收的3D图像进行编辑，以增强3D图像的立体观看效果。

技术方案

因此，本发明致力于提供一种能够实质上解决由于现有技术的局限和缺点而导致的一个或多个问题的数字信号处理装置和方法。

本发明的附加优点、目的和特征的一部分将在下文中描述，一部分是本领域技术人员通过阅读下文显而易见的或可从本发明的实践中得知。本发明的目的和其它优点可由说明书、权利要求和附图中特别指出的结构实现和获得。

为了实现这些目的和其它优点，并且根据本发明的用途，如本文实施和广义描述的那样，一种数字信号处理装置包括：接收器，其用于接收包括主图像的第一数字信号和包括附加图像的第二数字信号，其中所述主图像和所述附加图像为3D图像，所述附加图像是所述主图像的扩展图像并且与所述主图像的边缘区域无缝连接；图像处理器，其用于通过对所述第一数字信号和所述第二数字信号进行解码而生成所述主图像和所述附加图像，以输出3D图像；以及显示单元，其用于显示输出的所述3D图像，其中所述显示单元包括：第一显示单元，其用于显示所述3D图像的主图像；以及第二显示单元，其形式为与所述第一显示单元的边缘连接的透明显示单元，并用于显示所述3D图像的所述附加图像。

所述第二数字信号中包括的所述附加图像可仅包括具有负双眼像差的像素，并且所述负双眼像差可提供所述显示单元的前向深度。

所述图像处理器还可通过比较生成的所述附加图像的左视图像和右视图像的像素而执行确定双眼像差的符号的操作。

所述图像处理器选择性地仅输出生成的所述附加图像的具有负双眼像差的像素，并且所述负双眼像差可提供显示单元的前向深度。

所述图像处理器还可执行对所述主图像和所述附加图像进行同步的操作。

根据本发明的另一方面，一种数字信号处理装置包括：接收器，其用于接收包括3D图像的数字信号；以及图像处理器，其用于通过对所述数字信号进行解码而生成所述3D图像，设置所述3D图像的边缘区域，并针对设置的所述边缘区域选择性地仅输出具有负双眼像差的像素，其中所述负双眼像差提供显示单元的前向深度。

所述数字信号可包括用于生成所述3D图像的左视图像和右视图像，并且所述图像处理器还可执行通过比较所述左视图像和所述右视图像的像素而确定所述像素的双眼像差的符号的操作。

所述数字信号可包括图像数据和深度信息，并且所述图像处理器还可执行基于所述深度信息而确定各像素的双眼像差的符号的操作。

所述3D图像可包括具有不同深度的多个层，所述图像处理器还可执行针对所述多个层中具有正双眼像差的某些层而修剪设置的所述边缘区域的操作，并且所述正双眼像差提供所述显示单元的后向深度。

设置的所述边缘区域在设置时考虑生成的所述3D图像内由所述具有负双眼像差的像素所构成的图像的位置、移动方向和移动速度中的至少一项。

根据本发明的另一方面，一种数字信号处理方法包括：接收包括主图像的第一数字信号和包括附加图像的第二数字信号，其中所述主图像和所述附加图像为3D图像，所述附加图像是所述主图像的扩展图像并且与所述主图像的边缘区域无缝连接；通过对所述第一数字信号和所述第二数字信号进行解码而生成所述主图像和所述附加图像，以输出3D图像；以及显示输出的所述3D图像，所述3D图像由相互无缝连接的所述主图像和所述附加图像构成。

所述第二数字信号中包括的所述附加图像可仅包括具有负双眼像差的像素，并且所述负双眼像差提供显示单元的前向深度。

输出所述3D图像还可包括通过比较生成的所述附加图像的左视图像和右视图像的像素而确定双眼像差的符号。

输出所述3D图像还可包括选择性地仅输出生成的所述附加图像的具有负双眼像差的像素，并且所述负双眼像差提供显示单元的前向深度。

输出所述3D图像还可包括对所述主图像和所述附加图像进行同步。

根据本发明的又一方面，一种数字信号处理方法包括：接收包括3D图像的数字信号；以及通过对所述数字信号进行解码而生成所述3D图像；设置所述3D图像的边缘区域；并且针对设置的所述边缘区域选择性地仅输出具有负双眼像差的像素，其中所述负双眼像差提供显示单元的前向深度。

所述数字信号可包括用于生成所述3D图像的左视图像和右视图像，并且选择性地输出还可包括通过比较所述左视图像和所述右视图像的像素而确定所述像素的双眼像差的符号。

所述数字信号可包括图像数据和深度信息，并且选择性地输出还可包括基于所述深度信息而确定各像素的双眼像差的符号。

所述3D图像可包括具有不同深度的多个层，选择性地输出还可包括针对所述多个层中具有正双眼像差的某些层而修剪设置的所述边缘区域，并且所述正双眼像差提供所述显示单元的后向深度。

设置的所述边缘区域在设置时考虑生成的所述3D图像内由所述具有负双眼像差的像素所构成的图像的位置、移动方向和移动速度中的至少一项。

应当理解，对于本发明无论是上述一般性描述还是下面的具体描述都是示例性和解释性的，旨在对要求保护的发明提供进一步的说明。

[有益效果]

根据本发明，可增强3DTV提供的立体观看效果。

此外，根据本发明，可使观看者感觉到3D图像似乎从3DTV的显示单元所显示的虚拟空间中脱离而进入真实空间。

根据本发明，可通过将透明显示单元连接到现有TV的周缘而增强3D效果。

此外，根据本发明，可对接收的普通3D图像进行编辑，从而提供如下的效果：对于3D图像，使观看者感受到动态图像似乎从背景图像中脱离。

此外，根据本发明，针对具有多个层的图像，可仅对屏幕背面的部分层进行修剪和编辑。

此外，根据本发明，可通过对构成3D图像的左视图像和右视图像进行分析而逐个像素地确定双眼像差的符号。

附图说明

包括的附图用于提供对本发明的深入理解，其合并到本申请中并且构成本申请的一部分。附图示出了本发明的实施方式并且结合文字说明来解释本发明的原理。其中：

图1是示出根据本发明一个实施方式的3D图像显示方法的示意图；

图2是示出根据本发明另一实施方式的3D图像显示方法的示意图；

图3是示出根据本发明一个实施方式的扩展屏幕区域的示意图；

图4是示出根据本发明一个实施方式的主图像和附加图像的示意图；

图5是根据本发明一个实施方式的数字信号处理装置的框图；

图6是示出根据本发明另一实施方式的在透明显示单元上显示3D图像的方法的示意图；

图7是示出根据本发明另一实施方式的在典型显示单元上显示3D图像的方法的示意图；

图8是根据本发明另一实施方式的数字信号处理装置的框图；

图9是根据本发明另一实施方式的数字信号处理装置的框图；

图10是示出根据本发明一个实施方式的数字信号处理方法的流程图；以及

图11是示出根据本发明又一实施方式的数字信号处理方法的流程图。

具体实施方式

下面将详细描述本发明的优选实施方式，其示例如附图所示。附图示出了本发明的示例性实施方式，并且对本发明提供了更详细的描述。然而本发明的范围不限于此。

尽管在以下描述中使用的术语都尽可能选自目前广泛使用的通用术语并且考虑了根据本发明而获得的功能，但是基于本领域技术人员的意愿、惯例、新技术的出现等，这些术语可被其它术语替换。此外，在特定情况下，可使用本发明的申请人随意选择的术语。在此情况下，可在本发明的相应描述部分描述这些术语的意义。因此，应当注意，此处的术语应当基于其实际意义和本说明书的整体内容进行理解，而不应简单地基于术语的名称进行理解。

图1是示出根据本发明一个实施方式的3D图像显示方法的示意图。根据本发明，数字信号处理装置可显示3D图像。更具体地，数字信号处理装置可基于正或负双眼像差而显示3D图像。负双眼像差可使观看者感知基于数字信号处理装置中包括的显示单元10的前向深度。正双眼像差可使观看者感知基于显示单元10的后向深度。因此，通过提供双眼像差，数字信号处理装置能够向观看者提供在显示单元10前后具有各种深度的图像。

然而，应当注意，上述深度是在数字信号处理装置的显示单元10的有限区域内给出的。因此，在3D图像内的物体移动并且显示在显示单元10的边缘区域内时，显示有限区域内的对应物体可能导致立体观感的劣化。

在一个示例中，如果图1(a)所示的显示单元10的中心区域上显示的飞机图像在一个内容范围内移动并且显示在图1(b)所示的显示单元10的边缘区域上，则观看者可能不再看到对应物体的一部分。因此，如上所述，观看者会体验到立体观感的劣化。在图1(b)中，飞机图像中的一部分螺旋桨、一部分右前翼和一部分尾翼从屏幕区域脱离出来并且不再显示。结果，在此情况下观看者可考虑将飞机图像限制在显示单元10中，可能导致立体观感的劣化。为了解决此问题，需要一种增强立体观感的方法。

图2是示出根据本发明另一实施方式的3D图像显示方法的示意图。为了克服如上参照图1所述的立体观感劣化的缺点，根据本发明的数字信号显示装置可包括附加显示单元20。如图2所示，附加显示单元20可无缝地连接到上述的现有显示单元10的周缘部。在下面的描述中，现有显示单元10被称为第一显示单元，而附加显示单元20被称为第二显示单元。

当对应物体位于第一显示单元10的边缘区域内时，如上参照图1所述的第一显示单元10可用于仅显示3D图像内的物体的一部分。在图2中，同样地，作为在第一显示单元10上显示的图像之一，飞机图像显示为一部分螺旋桨、一部分右前翼和一部分尾翼被切除，如图1(b)所示。

为了补偿解决图像的部分切除，将要显示在第二显示单元20的图像可以是显示在第一显示单元10上的图像的扩展图像，并且可以是与第一显示单元10上显示的图像无缝连接的图像。在一个示例中，图2中的第二显示单元20可以附加地显示在第一显示单元10上不能显示的一部分螺旋桨、一部分右前翼和一部分尾翼。

第二显示单元20可用于仅显示具有负双眼像差的像素。更具体地，在数字信号处理装置中，第二显示单元20可以仅显示具有基于显示单元的正向深度的像素。因此，对于显示的图像，可使观看者感受到一部分图像似乎从显示单元10的有限区域脱离，从而给观看者带来改善的立体观感。在一个示例中，在图2的多个3D图像中，如果飞机图像具有负双眼像差并且作为背景的天空图像具有正双眼像差，则第二显示单元20可用于仅显示具有负双眼像差的飞机图像包括的像素。可将具有正双眼像差的背景排除在显示对象之外。

本发明的数字信号处理装置可包括透明显示类型的第二显示单元20。如上所述，透明第二显示单元用于仅显示具有负双眼像差的像素，因此可使其它区域保持透明。因此，数字信号处理装置可使由透明第二显示单元20上显示的像素构成的图像从第一显示单元10的有限区域脱离的效果最大化。在图2中，观看者能够看到飞机图像中的一部分螺旋桨、一部分右前翼和一部分尾翼，以及通过透明第二显示单元20可见的其它外围物体。因此，数字信号处理装置可提供如下的效果：对于飞机图像，使观看者感受到飞机似乎从第一显示单元10提供的虚拟空间脱离而进入其它外围物体存在的真实空间。

图3是示出根据本发明一个实施方式的扩展屏幕区域的示意图。图3(a)是示出观看者和数字信号处理装置的俯视图。数字信号处理装置可包括第一显示单元10和与第一显示单元10的左侧或右侧无缝连接的第二显示单元20。在数字信号处理装置中，空间31(通过空间31借助第一显示单元10能够将3D图像提供给观看者)可被限定在第一显示单元10前后。负双眼像差提供前向深度，而正双眼像差提供后向深度。然而，如上参照图1所述，数字信号处理装置难以提供如下的效果：对于3D图像，使观看者感受到3D图像似乎从第一显示单元10脱离而进入真实空间。

数字信号处理装置能够提供附加空间32，通过附加空间32借助第一显示单元10左侧或右侧的第二显示单元20能够将3D图像提供给观看者。根据一个实施方式，第二显示单元20可仅显示具有负双眼像差的像素，从而可显示具有基于第二显示单元20的前向深度的图像。因此，如上所述，数字信号处理装置可借助透明第二显示单元20增强如下的效果：对于由具有负双眼像差的像素构成的图像，使观看者感受到图像似乎从第一显示单元10的有限区域脱离。在一个示例中，如果具有基于显示单元的前向深度的图像从第一显示单元10移动到第二显示单元20从而显示在第二显示单元20上，则对于对应图像，数字信号处理装置可使观看者感受到图像似乎存在于用户所在的真实空间，而非第一显示单元10提供的虚拟空间。

图3(b)是示出观看者和数字信号处理装置的侧视图。数字信号处理装置可包括第一显示单元10和与第一显示单元10的上侧或下侧无缝连接的第二显示单元20。在数字信号处理装置中，空间31(通过空间31借助第一显示单元10能够将3D图像提供给观看者)可被限定在第一显示单元10前后。同样，数字信号处理装置能够提供附加空间32，通过附加空间32借助第一显示单元10上侧或下侧的第二显示单元20能够将3D图像提供给观看者。根据一个实施方式，第二显示单元20可仅显示具有负双眼像差的像素，从而可显示具有基于第二显示单元20的前向深度的图像。因此，如上所述，数字信号处理装置可增强如下的效果：对于由具有负双眼像差的像素构成的图像，使观看者感受到图像似乎从第一显示单元10的有限区域脱离。也即是说，对于对应图像，数字信号处理装置可使观看者感受到图像似乎存在于用户所在的真实空间，而非第一显示单元10提供的虚拟空间。

图4是示出根据本发明一个实施方式的主图像和附加图像的示意图。图4(a)示出了在数字信号处理装置的第一显示单元上显示的主图像，并且该图像可包括具有正双眼像差的像素和具有负双眼像差的像素。因此，主图像可表示基于数字信号处理装置的显示单元的前向深度和后向深度。在一个示例中，图4(a)中的飞机图像可由显示单元的前向深度表示，使得观看者感受到飞机图像似乎朝着观看者突出。在另一示例中，作为背景的天空图像可由显示单元的后向深度表示，使得观看者感受到天空图像似乎远离了观看者。

图4(b)示出了在第二显示单元上显示的附加图像。附加图像是与主图像边缘无缝连接的扩展图像。根据一个实施方式，附加图像可仅包括具有负双眼像差的像素，或包括具有正双眼像差的像素和具有负双眼像差的像素。

图4(b)示出了仅包括具有负双眼像差的像素的附加图像的示例。附加图像是与主图像无缝连接的图像，因此附加图像的每个像素和与之无缝连接的主图像的对应像素具有相同的深度。在一个示例中，图4(b)中表示在附加图像中显示的飞机的螺旋桨的像素可以和与之相邻且无缝连接并表示在主图像中显示的飞机的螺旋桨的对应像素具有相同的深度。甚至对于表示在图4(b)中显示的飞机的一部分右翼和一部分尾翼的像素也同样如此。在图4(b)中，作为背景的天空图像可由具有正双眼像差的像素构成，因此可以不显示。

主图像和附加图像可包括在相同的数字信号中，从而被共同接收。择一地，主图像和附加图像可包括在不同的数字信号中，从而被单独接收。在图5中，如下所述，主图像和附加图像可包括在不同的数字信号中，从而被单独接收。

图5是根据本发明一个实施方式的数字信号处理装置的框图。在图5(a)中，包括主图像的第一数字信号和包括附加图像的第二数字信号可由第一接收器50a和第二接收器50b分别接收。第一接收器50a和第二接收器50b可包括电视调谐器、有线广播接收器或多媒体设备的网络适配器。第一接收器50a和第二接收器50b可通过不同路径接收数字信号。在一个示例中，如果第一数字信号是公共电视信号而第二数字信号是通过网络传输的数据信号，则第一接收器50a可为调谐器而第二接收器50b可为网络适配器。同样，第一接收器50a和第二接收器50b可包括调谐器与有线广播接收器的组合，或有线广播接收器与网络适配器的组合。

由第一接收器50a和第二接收器50b分别接收的第一数字信号和第二数字信号被输入图像处理器51。图像处理器51可包括第一解码器52a、第二解码器52b、同步器53、分离器54和3D格式化器55中的至少一个。

输入图像处理器51的第一数字信号和第二数字信号由第一解码器52a和第二解码器52b进行解码。对第一数字信号进行解码以输出主图像，并且对第二数字信号进行解码以输出附加图像。如果附加图像包括具有正双眼像差的像素和具有负双眼像差的像素，则第二解码器52b可选择性地仅输出具有负双眼像差的像素。如果附加图像仅包括具有负双眼像差的像素，则第二解码器52b可直接输出解码结果。

第一解码器52a和第二解码器52b分别输出的主图像和附加图像可由同步器53进行同步。因为附加图像是与主图像无缝连接的扩展图像，所以必须对主图像和附加图像进行精确的同步。第一数字信号和第二数字信号由第一接收器50a和第二接收器50b分别接收，故可在不同时间接收。因此，同步器53可对主图像和附加图像进行同步以使两个图像无缝连接。

将同步的主图像和附加图像输入分离器54，使之被划分为3D图像的左视图像和右视图像。可将左视图像和右视图像输入3D格式化器55，以实现3D图像的输出。

可将输出的3D图像输入显示单元56以显示3D图像。显示单元56可包括用于显示3D主图像的第一显示单元和用于显示3D附加图像的第二显示单元。如上参照图2所述，第二显示单元可与第一显示单元的边缘连接，使得3D主图像和3D附加图像显示为如同单个3D图像，以供观看者观看。

第一显示单元可显示具有正双眼像差的像素和具有负双眼像差的像素，而第二显示单元可仅显示具有负双眼像差的像素。因此，可将具有基于显示单元的后向深度的像素仅显示在第一显示单元上，而将具有基于显示单元的前向深度的像素显示在第一显示单元和第二显示单元上。也即是说，数字信号处理装置可提供如下效果：对于由具有前向深度的像素构成的图像，使得观看者感受到图像似乎从第一显示单元的有限区域脱离而进入真实空间。

图5(b)是示出具有包括多个分离器和多个3D格式化器的图像处理器的数字信号处理装置的框图。在图5(b)中，包括主图像的第一数字信号和包括附加图像的第二数字信号可由第一接收器50a和第二接收器50b分别接收。第一接收器50a和第二接收器50b可包括电视调谐器、有线广播接收器或多媒体设备的网络适配器。第一接收器50a和第二接收器50b可通过不同路径接收数字信号。在一个示例中，如果第一数字信号是公共电视信号而第二数字信号是通过网络传输的数据信号，则第一接收器50a可为调谐器而第二接收器50b可为网络适配器。同样，第一接收器50a和第二接收器50b可包括调谐器与有线广播接收器的组合或有线广播接收器与网络适配器的组合。

由第一接收器50a和第二接收器50b分别接收的第一数字信号和第二数字信号被输入图像处理器51。图像处理器51可包括第一解码器52a、第二解码器52b、同步器53、第一分离器54a、第二分离器54b、第一3D格式化器55a、第二3D格式化器55b中的至少一个。

输入图像处理器51的第一数字信号和第二数字信号由第一解码器52a和第二解码器52b进行解码。对第一数字信号进行解码以输出主图像，并且对第二数字信号进行解码以输出附加图像。如果附加图像包括具有正双眼像差的像素和具有负双眼像差的像素，则第二解码器52b可选择性地仅输出具有负双眼像差的像素。如果附加图像仅包括具有负双眼像差的像素，则第二解码器52b可直接输出解码结果。

第一解码器52a和第二解码器52b分别输出的主图像和附加图像可由同步器53进行同步。因为附加图像是与主图像无缝连接的扩展图像，所以必须对主图像和附加图像进行精确的同步。第一数字信号和第二数字信号由第一接收器50a和第二接收器50b分别接收，故可在不同时间接收。因此，同步器53可对主图像和附加图像进行同步以使两个图像无缝连接。

将同步的主图像和附加图像输入第一分离器54a和第二分离器54b，使之被划分为3D图像的左视图像和右视图像。可将主图像的左视图像和右视图像输入第一3D格式化器55a，以实现3D主图像的输出。可将附加图像的左视图像和右视图像输入第二3D格式化器55b，以实现3D附加图像的输出。

可将输出的3D图像输入显示单元56以显示3D图像。显示单元56可包括用于显示3D主图像的第一显示单元和用于显示3D附加图像的第二显示单元。第二显示单元可包括透明显示器，并且如上参照图2所述，可与第一显示单元的边缘连接，使得3D主图像和3D附加图像显示为如同单个3D图像，以供观看者观看。

第一显示单元可显示3D主图像的具有正双眼像差的像素和具有负双眼像差的像素，而第二显示单元可仅显示3D附加图像的具有负双眼像差的像素。因此，可将具有基于显示单元的后向深度的像素仅显示在第一显示单元上，而将具有基于显示单元的前向深度的像素显示在第一显示单元和第二显示单元上。也即是说，数字信号处理装置可提供如下效果：对于由具有前向深度的像素构成的图像，使得观看者感受到图像似乎从第一显示单元的有限区域脱离而进入真实空间。

图6是示出根据本发明另一实施方式的在透明显示单元上显示3D图像的方法的示意图。

在图6(a)中，假定飞机图像61具有负双眼像差，作为背景的天空图像62a具有正双眼像差，飞机图像61提供显示单元的前向深度，天空图像62a提供显示单元的后向深度。因此，数字信号处理装置60可提供如下的效果：对于飞机图像61和天空图像62a，使得观看者感受到飞机图像61似乎从显示单元突出，天空图像62a似乎被拖入显示单元。

为了增强上述3D效果，包括透明显示单元的数字信号处理装置60可设置将要显示的图像的边缘区域，并且针对设置的边缘区域选择性地仅显示具有负双眼像差的像素。

数字信号处理装置60可将显示的图像的部分周缘区域设置为边缘区域63，并可在对应的边缘区域63内仅显示具有负双眼像差的像素。在图6(b)中，边缘区域63可仅显示一部分螺旋桨、一部分右前翼和一部分尾翼，作为飞机图像61的某些部分。能做到这样是因为飞机图像61由具有负双眼像差的像素构成。与此相反，形成天空图像的像素可以不显示在边缘区域63上。如上所述，这是因为形成天空图像的像素具有正双眼像差，因此在图6(a)中显示的天空图像62a可以显示为天空图像62b，其边缘区域进行了修剪。

设置上述边缘区域时，可考虑3D图像内由具有负双眼像差的像素表示的图像的位置、移动方向和移动速度中的至少一项。换句话说，在图6(b)中，设置边缘区域的大小和边缘区域与整个屏幕之比时，可考虑由具有负双眼像差的像素形成的飞机图像61的位置、移动方向和移动速度。此外，可将边缘区域设置在显示单元的上、下、左、右边缘的至少一个上。

可将边缘区域63设置在靠近由具有负双眼像差的像素形成的图像的位置的显示单元的边缘上，以及朝着对应图像的移动方向的显示单元的边缘上。此外，边缘区域的大小随着对应图像的移动速度增加而增加。也即是说，在图6B中，当飞机图像61位于显示单元的左上边缘时，可将边缘区域63设置在显示单元的左上边缘上。如果飞机图像61朝着显示单元的左下边缘移动，则可将边缘区域63设置在显示单元的左下边缘上。此外，边缘区域63的大小随着飞机图像61的移动速度增加而增加。

在数字信号处理装置60中，如上所述，由于边缘区域63仅显示具有负双眼像差的图像而不显示具有正双眼像差的背景图像，因此可以通过透明显示单元观看到外围设备。因此，数字信号处理装置60可使观看者感受到改善的3D图像似乎脱离出来进入真实空间而非显示了具有负双眼像差的图像的空间。

图7是示出根据本发明另一实施方式的在典型显示单元上显示3D图像的方法的示意图。在图7(a)中，假定飞机图像71具有负双眼像差，作为背景的天空图像72a具有正双眼像差，飞机图像71提供显示单元的前向深度，天空图像72a提供显示单元的后向深度。因此，数字信号处理装置70可提供如下的效果：对于飞机图像71和天空图像72a，使得观看者感受到飞机图像71似乎从显示单元突出，天空图像72a似乎被拖入显示单元。

为了增强上述3D效果，包括典型显示单元的数字信号处理装置70可设置将要显示的图像的边缘区域，并且针对设置的边缘区域选择性地仅显示具有负双眼像差的像素。

数字信号处理装置70可将显示的图像的部分周缘区域设置为边缘区域73，并可在对应的边缘区域73内仅显示具有负双眼像差的像素。在图7(b)中，边缘区域73可仅显示一部分螺旋桨、一部分右前翼和一部分尾翼，作为飞机图像71的某些部分。能做到这样是因为飞机图像71由具有负双眼像差的像素构成。与此相反，形成天空图像的像素可以不显示在边缘区域73上。如上所述，这是因为形成天空图像的像素具有正双眼像差，因此在图7(a)中显示的天空图像72a可以显示为天空图像72b，其边缘区域进行了修剪。

设置上述边缘区域时，可考虑3D图像内由具有负双眼像差的像素表示的图像的位置、移动方向和移动速度中的至少一项。换句话说，在图7(b)中，设置边缘区域的大小和边缘区域与整个屏幕之比时，可考虑由具有负双眼像差的像素形成的飞机图像71的位置、移动方向和移动速度。此外，可将边缘区域设置在显示单元的上、下、左、右边缘的至少一个上。

可将边缘区域73设置在靠近由具有负双眼像差的像素形成的图像的位置的显示单元的边缘上，以及朝着对应图像的移动方向的显示单元的边缘上。此外，边缘区域的大小随着对应图像的移动速度增加而增加。也即是说，在图7(b)中，当飞机图像71位于显示单元的左上边缘时，可将边缘区域73设置在显示单元的左上边缘上。如果飞机图像71朝着显示单元的左下边缘移动，则可将边缘区域73设置在显示单元的左下边缘上。此外，边缘区域73的大小随着飞机图像71的移动速度增加而增加。

在数字信号处理装置70中，如上所述，边缘区域73仅显示具有负双眼像差的图像71而不显示具有正双眼像差的背景图像72a。因此，数字信号处理装置70可向观看者提供改善的3D效果：对于图像71、72a，使观看者感受到具有负双眼像差的图像71似乎脱离了具有正双眼像差的背景图像72b。

图8是根据本发明另一实施方式的数字信号处理装置的框图。在图8中数字信号可由接收器81接收。此处的数字信号可包括3D图像的左视图像和右视图像，或者包括图像数据和深度数据。接收器81可包括电视调谐器、有线广播接收器或多媒体设备的网络适配器。

将接收器81接收的数字信号输入图像处理器82。图像处理器82可包括解码器83、深度分析引擎84、分离器85和3D格式化器86中的至少一个。

输入图像处理器82的数字信号由图像处理器82的解码器83进行解码。解码器83可对数字信号进行解码以输出数字信号中包括的左视图像和右视图像。如果数字信号包括图像数据和深度信息，则解码器可利用图像数据和深度信息生成并输出左视图像和右视图像。

通过比较从解码器83输出的左视图像和右视图像，图像处理器82的深度分析引擎84可确定形成图像的各像素的双眼像差的符号。此外，当数字信号包括图像数据和深度信息时，深度分析引擎84可利用深度信息来确定各像素的双眼像差的符号。

深度分析引擎84可基于确定的各像素的双眼像差的符号来设置图像的边缘区域。如上参照图7所述，设置边缘区域时可考虑整个图像内由具有负双眼像差的像素表示的图像的位置、移动方向和移动速度中的至少一项。

在基于各像素的双眼像差的符号设置边缘区域之后，深度分析引擎84可针对左视图像和右视图像的边缘区域选择性地仅输出具有负双眼像差的像素，并可不输出具有正双眼像差的像素。深度分析引擎84可针对边缘区域以外的区域输出所有像素，而不考虑双眼像差的符号。结果，深度分析引擎84可输出左视图像和右视图像，其边缘区域进行了修正。

可将深度分析引擎84输出的左视图像和右视图像输入分离器85，使之被划分为3D图像的左视图像和右视图像。将左视图像和右视图像输入3D格式化器85，以实现3D图像的输出。

可将输出的3D图像输入显示单元87以显示3D图像。在本发明的数字信号处理装置中，显示单元87可为可选元件，并可根据实施方式而省略。

显示单元可在边缘区域以外的区域上显示具有正双眼像差的像素和具有负双眼像差的像素，并可在边缘区域上仅显示具有负双眼像差的像素。因此，边缘区域可仅显示具有显示单元的前向深度的像素。

因此，如上所述，在数字信号处理装置中边缘区域仅显示具有负双眼像差的图像，而不显示具有正双眼像差的背景图像。因此，数字信号处理装置可向观看者提供改善的3D效果：使观看者感受到具有负双眼像差的图像似乎脱离了具有正双眼像差的背景图像。

图9是根据本发明另一实施方式的数字信号处理装置的框图。在图9(a)中数字信号可由接收器91接收。数字信号可包括3D图像的左视图像和右视图像。左视图像和右视图像可分别包括具有不同深度的多个图像层(以下称为层)。接收器91可包括电视调谐器、有线广播接收器或多媒体设备的网络适配器。

将接收器91接收的数字信号输入图像处理器92。图像处理器92可包括解码器93、层编辑引擎94、分离器95和3D格式化器96中的至少一个。

图像处理器92的解码器93可对输入的数字信号进行解码，以输出具有不同深度的多个层。图像处理器92的层编辑引擎94可对解码器93输出的具有不同深度的多个层中的每一个层进行编辑。

首先，层编辑引擎94可考虑输入的层的深度来设置图像的边缘区域。设置边缘区域时，可考虑由具有显示单元的前向深度的层构成的图像的位置、移动方向和移动速度中的至少一项。为此，可应用如上参照图7所述的考虑由具有负双眼像差的像素形成的图像而设置边缘区域的方法。

在设置了边缘区域之后，层编辑引擎94可针对多个层中的某些层(即具有显示单元的后向深度的层)修剪并输出设置的边缘区域。层编辑引擎94也可以直接输出多个层中具有显示单元的前向深度的某些层而不必进行上述修剪。

可对数字信号中包括的左视图像和右视图像执行多个层的上述编辑过程。结果，层编辑引擎94可仅针对多个层中的某些层(即具有显示单元的后向深度的层)编辑并输出边缘区域。

将层编辑引擎94输出的左视图像和右视图像输入分离器95，使之被划分为3D图像的左视图像和右视图像。可将左视图像和右视图像输入3D格式化器96，以实现3D图像的输出。

可将输出的3D图像输入显示单元97以显示3D图像。在本发明的数字信号处理装置中，显示单元97可为可选元件，并可根据实施方式而省略。

显示单元可在边缘区域以外的区域上显示具有前向深度的层和具有后向深度的层，并可在边缘区域上仅显示具有前向深度的层。因此，边缘区域可仅显示具有显示单元的前向深度的层。

因此，如上所述，在数字信号处理装置中边缘区域仅显示具有显示单元的前向深度的层，而不显示具有显示单元的后向深度的层。因此，数字信号处理装置可向观看者提供改善的3D效果：对于多个层，使观看者感受到具有前向深度的层似乎脱离了具有后向深度的层。

在图9(b)中数字信号可由接收器91接收。数字信号可包括3D图像的左视图像和右视图像。左视图像和右视图像可分别包括具有不同深度的多个图像层(以下称为层)。接收器91可包括电视调谐器、有线广播接收器或多媒体设备的网络适配器。

将接收器91接收的数字信号输入图像处理器92。图像处理器92可包括多个解码器93a、93b、…、93n、多个层编辑引擎94a、94b、…、94n、分离器95和3D格式化器96中的至少一个。

图像处理器92的多个解码器93a、93b、…、93n可对具有不同深度的各层进行接收和解码。解码器的数量“n”可等于或大于数字信号中包括的层数。可将多个层分别输入解码器，使之得以单独解码。多个解码器93a、93b、…、93n可对数字信号中包括的具有不同深度的多个层进行解码和输出。

图像处理器92的多个层编辑引擎94a、94b、…、94n可对多个解码器93a、93b、…、93n输出的具有不同深度的多个层分别进行编辑。层编辑引擎的数量“n”可等于或大于数字信号中包括的层数。

首先，每个层编辑引擎可考虑多个输入的层的深度来设置图像的边缘区域。设置边缘区域时，可考虑由具有显示单元的前向深度的层构成的图像的位置、移动方向和移动速度中的至少一项。为此，可应用如上参照图7所述的考虑由具有负双眼像差的像素形成的图像而设置边缘区域的方法。

在设置了边缘区域之后，多个层编辑引擎中的某些层编辑引擎(即具有显示单元的后向深度的层编辑引擎)可针对对应的层修剪并输出设置的边缘区域。也即是说，层编辑引擎可以不输出具有后向深度的层中的边缘区域包括的像素。用于对具有显示单元的前向深度的层进行编辑的层编辑引擎可输出对应的层而不必进行上述修剪。

可对数字信号中包括的左视图像和右视图像执行显示单元的多个具有后向深度的层的上述编辑过程。结果，层编辑引擎94a、94b、…、94n可仅针对左视图像和右视图像包括的多个层中的某些层(即具有显示单元的后向深度的层)编辑并输出边缘区域。

将层编辑引擎94a、94b、…、94n输出的左视图像和右视图像输入分离器95，使之被划分为3D图像的左视图像和右视图像。可将左视图像和右视图像输入3D格式化器96，以实现3D图像的输出。

可将输出的3D图像输入显示单元97以显示3D图像。在本发明的数字信号处理装置中，显示单元97可为可选元件，并可根据实施方式而省略。

显示单元可在边缘区域以外的区域上显示具有前向深度的层和具有后向深度的层，并可在边缘区域上仅显示具有前向深度的层。因此，边缘区域可仅显示具有显示单元的前向深度的层。

因此，如上所述，在数字信号处理装置中边缘区域仅显示具有显示单元的前向深度的层，而不显示具有显示单元的后向深度的层。因此，数字信号处理装置可向观看者提供改善的3D效果：对于多个层，使观看者感受到具有前向深度的层似乎脱离了具有后向深度的层。

图10是示出根据本发明一个实施方式的数字信号处理方法的流程图。本发明的数字信号处理装置可以接收包括主图像的第一数字信号和包括附加图像的第二数字信号(S10)。此处的附加图像是与主图像的边缘区域无缝连接的图像，并且是主图像的扩展图像。

在接收第一数字信号和第二数字信号之后，数字信号处理装置可对第一数字信号和第二数字信号分别进行解码，以生成主图像和附加图像，并输出3D图像(S20)。

可将接收的第一数字信号和第二数字信号输入图像处理器。输入图像处理器的第一数字信号和第二数字信号可由第一解码器和第二解码器分别进行解码。对第一数字信号进行解码以输出主图像，并且对第二数字信号进行解码以输出附加图像。此处，如果附加图像包括具有正双眼像差的像素和具有负双眼像差的像素，则第二解码器可选择性地仅输出具有负双眼像差的像素。如果附加图像仅包括具有负双眼像差的像素，则可直接输出解码结果而不必进行编辑。

第一解码器和第二解码器分别输出的主图像和附加图像可由同步器进行同步。附加图像是与主图像无缝连接的扩展图像，因此必须对主图像和附加图像进行精确的同步。由于第一数字信号和第二数字信号被第一接收器和第二接收器分别接收并由不同的解码器分别进行解码，因此主图像和附加图像可具有时间差异。为此，有必要对主图像和附加图像进行同步以实现这两个图像的无缝连接。

可将同步的主图像和附加图像顺序输入分离器和3D格式化器，以实现3D主图像和3D附加图像的输出。

数字信号处理装置可在第一显示单元上显示输出的3D主图像，在第二显示单元上显示输出的3D附加图像(S30)。第二显示单元可包括如上参照图2所述的透明显示器，其可连接到第一显示单元的边缘，使得3D主图像和3D附加图像显示为如同单个3D图像，以供观看者观看。

第一显示单元可显示3D主图像的像素，即具有正双眼像差的像素和具有负双眼像差的像素，而第二显示单元可仅显示具有负双眼像差的3D附加图像的像素。因此，可将具有显示单元的后向深度的像素仅显示在第一显示单元上，而将具有显示单元的前向深度的像素显示在第一显示单元和第二显示单元上。结果，数字信号处理装置可提供如下效果：对于由具有前向深度的像素构成的图像，使得观看者感受到图像似乎从第一显示单元的有限区域脱离而进入真实空间。

图11是示出根据本发明又一实施方式的数字信号处理方法的流程图。本发明的数字信号处理装置可接收包括3D图像的数字信号(S110)。此处的数字信号可包括3D图像的左视图像和右视图像，或者包括图像数据和深度数据。数字信号处理装置可借助电视调谐器、有线广播接收器或多媒体设备的网络适配器来接收数字信号。

数字信号处理装置可通过对数字信号进行解码而生成3D图像(S120)。数字信号处理装置可通过对数字信号进行解码而输出数字信号中包括的左视图像和右视图像。如果数字信号包括图像数据和深度信息，则数字信号处理装置可利用图像数据和深度信息生成并输出左视图像和右视图像。如果数字信号包括具有不同深度的多个层，则数字信号处理装置可通过解码对应的数字信号而输出具有不同深度的多个层。

数字信号处理装置可设置3D图像的边缘区域(S130)。

通过比较解码器输出的左视图像和右视图像，数字信号处理装置可确定形成图像的各像素的双眼像差的符号。此外，如果数字信号包括图像数据和深度信息，则数字信号处理装置可利用深度信息来确定各像素的双眼像差的符号。如果数字信号包括具有不同深度的多个层，则数字信号处理装置可基于显示单元确定各像素的双眼像差的符号。也即是说，具有显示单元的前向深度的层具有负双眼像差，而具有显示单元的后向深度的层具有正双眼像差。

数字信号处理装置可基于确定的各像素或各层的双眼像差的符号来设置图像的边缘区域。如上参照图7所述，设置边缘区域时可考虑图像中由具有负双眼像差的像素或层表示的图像的位置、移动方向和移动速度中的至少一项。

在基于各像素的双眼像差的符号设置边缘区域之后，数字信号处理装置可针对左视图像和右视图像的边缘区域选择性地仅输出具有负双眼像差的像素(S140)。

当数字信号包括左视图像和右视图像或当数字信号包括图像数据和深度信息时，数字信号处理装置针对解码器输出的左视图像和右视图像的边缘区域可不输出具有正双眼像差的像素。并可选择性地仅输出具有负双眼像差的像素。

当数字信号中包括的左视图像和右视图像包含具有不同深度的多个层时，在设置了边缘区域之后，数字信号处理装置可针对多个层中的某些层(即具有显示单元的后向深度的层)修剪并输出设置的边缘区域。也即是说，不输出具有后向深度的层中的边缘区域包括的像素。数字信号处理装置可输出具有显示单元的前向深度的层而不必进行上述修剪。可对数字信号中包括的左视图像和右视图像执行多个层的上述编辑过程。结果，数字信号处理装置可仅针对左视图像和右视图像包括的多个层中的某些层(即具有显示单元的后向深度的层)编辑并输出边缘区域。

数字信号处理装置可针对左视图像和右视图像的边缘区域以外的区域输出所有像素，而不考虑双眼像差的符号。结果，数字信号处理装置可借助分离器和3D格式化器根据输出的左视图像和右视图像而输出3D图像。

数字信号处理装置可显示输出的3D图像(S150)。在操作根据本发明的数字信号处理装置时，显示步骤S150可为可选步骤，并可根据实施方式而省略。

数字信号处理装置可在边缘区域以外的区域上显示具有正双眼像差的像素和具有负双眼像差的像素，并可在边缘区域仅显示具有负双眼像差的像素。因此，边缘区域可仅显示具有显示单元的前向深度的像素。

通过这种方式，如上所述，数字信号处理装置可在边缘区域上仅显示具有负双眼像差的图像，而不显示具有正双眼像差的背景图像。因此，数字信号处理装置可向观看者提供增强的3D效果：使观看者感受到具有负双眼像差的图像似乎脱离了具有正双眼像差的背景图像。

本发明的模式

如上所述，在实践本发明的最佳模式中，已经描述了相关信息。

工业实用性

如上所述，本发明能整体或部分应用于数字广播系统。

Claims (20)

1.一种数字信号处理装置，该数字信号处理装置包括：

接收器，其配置为接收包括主图像的第一数字信号和包括附加图像的第二数字信号，其中所述主图像和所述附加图像为3D图像，所述附加图像是所述主图像的扩展图像并且与所述主图像的边缘区域无缝连接；

图像处理器，其配置为通过对所述第一数字信号和所述第二数字信号进行解码而生成所述主图像和所述附加图像，以输出3D图像；以及

显示单元，其配置为显示输出的所述3D图像，

其中所述显示单元包括：

第一显示单元，其配置为显示所述3D图像的所述主图像；以及

第二显示单元，其形式为与所述第一显示单元的边缘连接的透明显示单元，所述第二显示单元配置为显示所述3D图像的所述附加图像。

2.根据权利要求1所述的数字信号处理装置，

其中所述第二数字信号中包括的所述附加图像仅包括具有负双眼像差的像素，并且

其中所述负双眼像差提供所述显示单元的前向深度。

3.根据权利要求1所述的数字信号处理装置，其中所述图像处理器还配置为通过将生成的所述附加图像的左视图像和右视图像的像素相互比较而确定双眼像差的符号。

4.根据权利要求1所述的数字信号处理装置，

其中所述图像处理器选择性地输出仅包括生成的所述附加图像的具有负双眼像差的像素的3D图像，并且

其中所述负双眼像差提供所述显示单元的前向深度。

5.根据权利要求1所述的数字信号处理装置，其中所述图像处理器还配置为对所述主图像和所述附加图像进行同步。

6.一种数字信号处理装置，该数字信号处理装置包括：

接收器，其配置为接收包括3D图像的数字信号；以及

图像处理器，其配置为通过对所述数字信号进行解码、设置所述3D图像的边缘区域、并针对设置的所述边缘区域选择性地仅输出具有负双眼像差的像素，从而生成所述3D图像，

其中所述负双眼像差提供显示单元的前向深度。

7.根据权利要求6所述的数字信号处理装置，

其中所述数字信号包括所述3D图像的左视图像和右视图像，并且

其中所述图像处理器还配置为通过将所述左视图像和所述右视图像的像素相互比较而确定所述像素的双眼像差的符号。

8.根据权利要求6所述的数字信号处理装置，

其中所述数字信号包括图像数据和深度信息，并且

其中所述图像处理器还配置为基于所述深度信息而确定各像素的双眼像差的符号。

9.根据权利要求6所述的数字信号处理装置，

其中所述3D图像包括具有不同深度的多个层，

其中所述图像处理器还配置为针对所述多个层中具有正双眼像差的某些层而修剪设置的所述边缘区域，并且

其中所述正像差提供所述显示单元的后向深度。

10.根据权利要求6所述的数字信号处理装置，其中设置的所述边缘区域在设置时考虑生成的所述3D图像内由所述具有负双眼像差的像素所构成的图像的位置、移动方向和移动速度中的至少一项。

11.一种数字信号处理方法，该数字信号处理方法包括：

接收包括主图像的第一数字信号和包括附加图像的第二数字信号，其中所述主图像和所述附加图像为3D图像，所述附加图像是所述主图像的扩展图像并且与所述主图像的边缘区域无缝连接；

通过对所述第一数字信号和所述第二数字信号进行解码而生成所述主图像和所述附加图像，以输出3D图像；以及

显示输出的所述3D图像，所述3D图像由相互无缝连接的所述主图像和所述附加图像构成。

12.根据权利要求11所述的数字信号处理方法，

其中所述第二数字信号中包括的所述附加图像仅包括具有负双眼像差的像素，并且

其中所述负双眼像差提供显示单元的前向深度。

13.根据权利要求11所述的数字信号处理方法，其中输出所述3D图像还包括通过将生成的所述附加图像的左视图像和右视图像的像素相互比较而确定双眼像差的符号。

14.根据权利要求11所述的数字信号处理方法，

其中输出所述3D图像还包括选择性地仅输出生成的所述附加图像的具有负双眼像差的像素，并且

其中所述负双眼像差提供显示单元的前向深度。

15.根据权利要求11所述的数字信号处理方法，其中输出所述3D图像还包括对所述主图像和所述附加图像进行同步。

16.一种数字信号处理方法，该数字信号处理方法包括：

接收包括3D图像的数字信号；以及

通过对所述数字信号进行解码而生成所述3D图像；

设置所述3D图像的边缘区域；并且

针对设置的所述边缘区域选择性地仅输出具有负双眼像差的像素，

其中所述负双眼像差提供显示单元的前向深度。

17.根据权利要求16所述的数字信号处理方法，

其中所述数字信号包括所述3D图像的左视图像和右视图像，并且

其中选择性地输出还包括通过将所述左视图像和所述右视图像的像素相互比较而确定所述像素的双眼像差的符号。

18.根据权利要求16所述的数字信号处理方法，

其中所述数字信号包括图像数据和深度信息，并且

其中选择性地输出还包括基于所述深度信息而确定各像素的双眼像差的符号。

19.根据权利要求16所述的数字信号处理方法，

其中所述3D图像包括具有不同深度的多个层，

其中选择性地输出还包括针对所述多个层中具有正双眼像差的某些层而修剪设置的所述边缘区域，并且

其中所述正双眼像差提供所述显示单元的后向深度。

20.根据权利要求16所述的数字信号处理方法，其中设置的所述边缘区域在设置时考虑生成的所述3D图像内由所述具有负双眼像差的像素所构成的图像的位置、移动方向和移动速度中的至少一项。