CN102547336A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法和程序。图像处理装置中的图像处理方法包括使图像输入单元输入二维图像信号；使图像变换单元输入从图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像，以及使图像输出单元输出从图像变换单元输出的左眼图像和右眼图像，其中，在图像变换中，提取输入图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明的实施例涉及图像处理装置、图像处理方法和程序，尤其涉及分别执行二维图像的图像变换从而生成对应于立体观看的双眼视差图像的图像处理装置、图像处理方法和程序。

背景技术

过去已经提出了多种装置和方法，在每种装置和方法中，将二维图像变换为对应于立体观察的双眼视差图像。基于二维图像生成的双眼视差图像包括一对由左眼观察的左眼图像和由右眼观察的右眼图像。在能够分离左眼图像和右眼图像并分别将其呈现至观察者的左眼和右眼的显示器上显示包括一对这些左眼图像和右眼图像的双眼视差图像，因此观察者可以将图像感知为立体图像。

已公开的与这种图像的生成或这种图像的显示处理有关的现有技术的技术包括如下技术。

例如，公开号为9-107562的日本未审查专利申请公开了用于在水平方向上移动运动图像的图像处理配置。具体地，采用了如下配置：在该配置中，原始图像被输出为左眼图像和右眼图像中的一个，并且延迟了场(field)单位的图像被输出为左眼图像和右眼图像中的另一个。使用这种图像输出控制，使得在水平方向上移动的物体被感知为位于背景的近侧。

另外，公开号为8-30806的日本未审查专利申请提出了如下装置：在该装置中，通过将左眼图像和右眼图像在水平方向关于静止图像或运动较少的图像偏移预定量，图像被感知为浮起。

另外，公开号为10-51812的日本未审查专利申请提出了如下方法：在该方法中，图像被分割成多个视差计算区域，并根据每个区域中的图像的特征量计算伪深度，从而基于该深度在彼此相反的方向上偏移左眼图像和右眼图像。

另外，在公开号为2000-209614的日本未审查专利申请中，提出了如下方案：以与公开号为10-51812的日本未审查专利申请中的方式一样的方式，当基于根据图像的特征量计算出的延迟量改变左眼图像和右眼图像的水平延迟量时，通过限制水平延迟量使得不出现超过必要的视网膜图像差，从而防止眼睛疲劳。

此外，在公开号为2005-151534的日本未审查专利申请中提出了一种方法，在该方法中计算图像上部和下部中的特征量，并调整表示预备深度信息的多个场景结构之间的合成比，从而以简单结构的组合来表示图像。

顺带提及，在现有技术的上述技术中，存在如下问题。

在公开号为9-107562的日本未审查专利申请公开的图像变换装置中，仅对于在水平方向上以恒定速度移动的物体可获得好的立体观看。在具有多个运动对象的图像或包括复杂运动的图像中，没有适当地设置双眼视差，并且不自然地放置物体或视网膜图像差变得太大。因此，认为难于以实现立体观看。

另外，在公开号为8-30806的日本未审查专利申请公开的图像变换装置中，仅针对静止图像或运动较少的图像偏移整个图像平面，因此难以表现图像中的物体的前后关系。

在公开号为10-51812的日本未审查专利申请和公开号为2000-209614的日本未审查专利申请中的每一个公开的图像变换装置中，尽管根据图像的特征量估计伪深度，但是，该估计是基于位于图像平面前方的图像的锐度高、其亮度高、其色饱和度高等的假定，并且不一定执行正确的估计。因此，由于对于深度估计发生错误的物体提供错误的视网膜图像差，因此物体被错误地放置。

公开号为2005-151534的日本未审查专利申请中公开的图像变换装置具有如下配置：将图像结构应用于相对简单的有限结构，并且防止发生不自然的深度。然而，在生成的双眼视差图像中发生相对大的视网膜图像差，这是所有上述现有技术的技术共有的问题。当使用立体显示装置立体显示该双眼视差图像时，通常使用立体显示装置，在立体显示装置处，通过佩戴用于立体观看的特殊眼镜来观察图像，该特殊眼镜符合无源眼镜方法、有源眼镜方法等，其中，在无源眼镜方法中，使用偏光滤镜或滤色镜分离要由右眼和左眼单独观察的图像，在有源眼镜方法中，图像被使用液晶快门在时间上分离为左和右。

当观看提供大的视网膜图像差的双眼视差图像时，在佩戴用于立体观看的这种眼镜的状态下，能够根据视网膜图像差感知立体效果。然而，当在去除眼镜的状态下观看图像平面时，观看到左右图像极大地相互重叠的二重图像。因此，难以将图像观察为通常的二维图像。即，由现有技术的这些图像变换装置变换的图像仅能在佩戴镜片的状态下欣赏。

另外，可以考虑大的视网膜图像差影响观察者的疲劳。例如，在公开号为6-194602的日本未审查专利申请中，描述了当左眼图像和右眼图像相互极大地偏离时，关于现实世界中可见性发生收敛角的控制和晶状体的调整之间的差异，该差异导致利用双眼视差的立体观看中的疲劳。

另外，在公开号为10-51812的日本未审查专利申请、公开号为2000-209614的日本未审查专利申请以及公开号为2005-151534的日本未审查专利申请分别公开的图像变换装置中，在根据图像估计伪深度时，难于根据一个图像检测详细的深度。例如，难以对诸如树枝、电线或毛发的细微结构执行深度的估计。因此，难以使这些细微物体具有立体效果。

作为解决这些问题的配置，本申请人提交了公开号为2010-63083的日本未审查专利申请。公开号为2010-63083的日本未审查专利申请公开了一种配置，在该配置中，提取输入图像中包括的空间特征量，并基于使用提取的特征量对输入图像执行的变换处理来生成左眼图像或右眼图像。在公开号为2010-63083的日本未审查专利申请的配置中，使用诸如微分器等的高通滤波器作为特征量的提取装置，并且使高通滤波器极强地发挥作用，从而实现立体效果的增强。

然而，在公开号为2010-63083的日本未审查专利申请公开的配置中，出现了一个新问题：出现由于高通滤波器导致的高频增强，并且图像变得不自然。

发明内容

例如，期望解决上述问题，并且期望防止发生由于错误的深度估计导致的错误的立体效果，并且当合成左右图像时使得原图像或接近原图像的图像可以恢复。即，期望提供一种图像处理装置、图像处理方法以及程序，该图像处理装置、图像处理方法以及程序分别实现在去除符合立体观看的眼镜的状态下可以欣赏的双眼视差图像的生成和呈现，并使得观察者的疲劳减少。

此外，期望提供一种图像处理装置、图像处理方法以及程序，该图像处理装置、图像处理方法以及程序分别抑制作为立体效果的增强而发生的、由于诸如微分器等的高通滤波器导致的高频增强，并且实现使得观察者的疲劳减少的更加自然的双眼视差图像的生成和呈现。

根据本发明的实施例，提供了一种图像处理装置，包括：图像输入单元，用于输入二维图像信号；图像变换单元，用于输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出单元，用于输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，所述图像变换单元包括如下配置：在该配置中，提取输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及所述图像变换单元还执行以下操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

此外，在本发明的图像处理装置的实施例中，图像变换单元包括如下配置：提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将所述辉度微分信号设置为所述特征量，生成如下变换信号中的一个作为左眼图像或右眼图像：通过将所述特征量与所述输入的图像信号相加而获得的变换信号或通过从所述输入的图像信号中减去所述特征量而获得的变换信号，并且输出所述输入的图像信号没有经过处理时的非变换信号作为用于与所述变换信号的眼睛的不同的眼睛的图像。

此外，在本发明的图像处理装置的实施例中，图像变换单元包括执行如下处理的配置：提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将所述辉度微分信号设置为所述特征量，生成通过将所述特征量与所述输入的图像信号相加而获得的信号和通过从所述输入的图像信号减去所述特征量而获得的信号，以及生成一对这两个信号作为一对左眼图像和右眼图像。

此外，在本发明的图像处理装置的实施例中，图像变换单元包括执行如下处理的配置：提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将通过对所述辉度微分信号进行非线性变换而生成的信号设置为所述特征量，生成通过将所述特征量与所述输入的图像信号相加而获得的信号或从所述输入的图像信号中减去所述特征量而获得的信号，以及生成这些信号中的一个作为左眼图像或右眼图像。

此外，在本发明的图像处理装置的实施例中，还包括图像输出单元，图像变换单元包括执行如下处理的配置：针对运动图像中包括的帧的每一帧生成所述左眼图像和所述右眼图像。

此外，在本发明的图像处理装置的实施例中，还包括图像输出单元，用于输出所述图像变换单元生成的所述左眼图像和所述右眼图像，其中，所述图像输出单元包括执行如下处理的配置：以输入图像帧频的两倍的速率交替地输出由所述图像变换单元生成的所述左眼图像和所述右眼图像。

此外，在本发明的图像处理装置的实施例中，图像变换单元包括执行如下处理的配置：针对运动图像中包括的帧的每一帧，仅交替地生成所述左眼图像和所述右眼图像中的一个。

此外，在根据本发明的图像处理装置的实施例中，图像变换单元包括执行如下处理的配置：针对运动图像中包括的帧的每一帧，生成所述左眼图像和所述右眼图像，以及生成双眼视差图像，所述双眼视差图像交替地包括用于构成所生成的左眼图像和右眼图像的线数据。

此外，在本发明的图像处理装置中，图像变换单元包括执行如下处理的配置：生成所述左眼图像和所述右眼图像作为如下设置：在该设置中，所生成的左眼图像和右眼图像的相加信号等于所述输入信号，或所生成的左眼图像和右眼图像的相加信号几乎等于所述输入信号。

此外，在本发明的图像处理装置的实施例中，图像处理装置还包括图像显示单元，用于显示由所述图像变换单元生成的图像。

此外，在本发明的图像处理装置的实施例中，图像显示单元包括如下配置：在该配置中，执行基于时分方法且其中交替地输出所述左眼图像和所述右眼图像的立体显示处理。

此外，在本发明的图像处理装置的实施例中，图像显示单元包括如下配置：在该配置中，当执行所述基于时分方法且其中交替地输出所述左眼图像和所述右眼图像的立体显示处理时，执行显示切换，使得用于切换所述左眼图像和所述右眼图像的输出的定时与图像观察者佩戴的眼镜的左右眼镜单元的快门开关同步。

此外，根据本发明的图像处理装置的实施例中，图像显示单元包括如下配置：在该配置中，在显示部的前表面上置有偏光滤镜，所述偏光滤镜被设置为使得偏光方向关于每条水平线而改变，并且所述图像显示单元包括显示双眼视差图像的配置，其中，所述双眼视差图像交替地包括用于构成由所述图像变换单元生成的所述左眼图像和所述右眼图像的线数据。

此外，根据本发明的实施例，提供一种图像处理装置中的图像处理方法，包括：图像输入步骤，用于使图像输入单元输入二维图像信号；图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出步骤，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，在所述图像变换步骤中，提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及还执行以下处理操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

此外，根据本发明的实施例，提供了一种使得在图像处理装置中执行图像处理的程序，所述图像处理包括：图像输入步骤，用于使图像输入单元输入二维图像信号；图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出处理，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，在所述图像变换步骤中，提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及还执行以下处理操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

另外，例如，根据本发明的实施例的程序是一种可以利用存储介质或通信介质提供的程序，存储介质或通信介质将计算机可读形式的各种程序代码提供给能够执行各种程序代码的通用系统。通过提供这种计算机可读形式的程序，在计算机系统上实现了根据程序的处理。

根据基于随后描述的本发明的实施例和所附附图的更加详细的描述，本发明的实施例的其它目的、其它特征以及其它有利效果将变得清楚。另外，在本说明书中，“系统”是指其中逻辑装配了多个装置的配置，并且不限于每个配置的装置位于同一箱体中的配置。

根据本发明的一个实施例的配置，在该配置中，输入二维图像信号并且生成用于实现双眼立体观看的左眼图像和右眼图像，从而实现了如下配置：使用简单信号处理生成可以立体观看的图像信号，并且减少了过度的高频增强。

具体地，提取输入图像信号的空间特征量，并对输入图像信号执行应用了该特征量的不同增强处理操作，从而生成左眼图像和右眼图像。具体地，将如下获得信号视为左眼图像的信号和右眼图像的信号：将输入图像信号的辉度微分信号或辉度微分信号的非线性变换信号与输入图像信号相加，或从输入图像信号中减去输入图像信号的辉度微分信号或辉度微分信号的非线性变换信号。此外，对输入图像信号或生成的左右眼图像信号执行基于低通滤波器的滤波处理。根据本配置，可以使用简单的信号处理生成可以立体观看的图像，并且可以生成减少了过多的高频增强的自然图像，高频增强是基于被生成为特征量的微分信号的。另外，由于左眼图像和右眼图像的加法信号等于输入信号，因此当没有佩戴用于立体观看的眼镜观察图像时，可以将加法信号观察为通常的二维图像。

附图说明

图1是说明根据本发明的实施例的图像处理装置的配置示例的图；

图2是说明根据本发明的实施例的图像处理装置中的图像输入单元的配置示例的图；

图3是示出用于说明作为在根据本发明的实施例的图像处理装置的图像输入单元中执行的处理操作示例的、输入图像是静止图像时的处理序列的流程图的图；

图4是示出用于说明作为根据本发明的实施例的图像处理装置的图像输入单元中执行的处理操作示例的、输入图像是运动图像时的处理序列的流程图的图；

图5是说明根据本发明的实施例的图像处理装置的图像变换单元的配置的示例；

图6是说明根据本发明的实施例的图像处理装置的图像变换单元中执行的、针对图像信号的非线性变换处理的示例的图；

图7是说明不具有低通滤波器的图像变换单元中生成的信号的示例的图；

图8是根据本发明的实施例的图像处理装置的图像变换单元中生成的信号的示例，并且是说明具有低通滤波器的图像变换单元中生成的信号的示例的图；

图9是说明具有低通滤波器的图像变换单元中生成的信号和不具有低通滤波器的图像变换单元中生成的信号的比较示例的图；

图10是说明在根据本发明的实施例的图像处理装置的图像变换单元中执行的、根据输入图像生成用于右眼和左眼的图像信号的处理的示例的图；

图11是说明在根据本发明的实施例的图像处理装置的图像变换单元中执行的、根据输入图像生成用于右眼和左眼图像的图像信号的处理的示例的图；

图12是说明在根据本发明的实施例的图像处理装置的图像变换单元中执行的、根据输入图像生成用于右眼和左眼图像的图像信号的处理的示例的图；

图13是说明在根据本发明的实施例的图像处理装置的图像变换单元中执行的、根据输入图像生成用于右眼和左眼图像的图像信号的处理的示例的图；

图14是说明根据本发明的实施例的图像处理装置中生成的右眼图像和左眼图像之间的视网膜图像差的图；

图15是说明根据本发明的实施例的图像处理装置中生成的右眼图像和左眼图像之间的视网膜图像差的图；

图16是说明根据本发明的实施例的图像处理装置中生成的右眼图像和左眼图像之间的视网膜图像差的图；

图17是说明根据本发明的实施例的图像处理装置中生成的右眼图像和左眼图像之间的视网膜图像差的图；

图18是示出用于说明根据本发明的实施例的图像处理装置的图像变换单元中执行的处理序列的流程图的图；

图19是说明根据本发明的实施例的图像处理装置的图像变换单元的配置的示例的图；

图20是说明根据本发明的实施例的图像处理装置的图像变换单元的配置的示例的图；

图21是说明根据本发明的实施例的图像处理装置的图像变换单元的配置的示例的图；以及

图22是说明根据本发明的实施例的图像处理装置的配置的示例的图。

具体实施方式

本发明的一个方面提供一种图像处理装置，包括：图像输入单元，用于输入二维图像信号；图像变换单元，用于输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出单元，用于输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，所述图像变换单元包括如下配置：在该配置中，提取输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及所述图像变换单元还执行以下操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

根据本发明的另一方面提供一种图像处理装置中的图像处理方法，包括：图像输入步骤，用于使图像输入单元输入二维图像信号；图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出步骤，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，在所述图像变换步骤中，提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及还执行以下处理操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

根据本发明的又一方面提供一种使得在图像处理装置中执行图像处理的程序，所述图像处理包括：图像输出步骤，用于使图像输入单元输入二维图像信号；图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及图像输出步骤，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，在所述图像变换步骤中，提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及还执行以下处理操作中的至少一个：基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

下面将参考附图描述根据本发明的实施例的图像处理装置、图像处理方法和程序的细节。根据按照以下各项进行图像处理装置、图像处理方法和程序的描述。

1.本发明的图像处理装置的第一实施例

1-1.根据本发明的实施例的图像处理装置的配置和处理的概述

1-2.根据本发明的实施例的图像处理装置中生成的右眼和左眼图像的配置和输出示例

1-3.根据本发明的实施例的图像处理装置中生成的右眼和左眼图像之间的视网膜图像差

1-4.根据本发明的实施例的图像处理装置的图像变换单元的处理序列

2.本发明的图像处理装置的另一实施例

2-1.在图像合成单元之后的阶段中设置有低通滤波器的实施例(第二实施例)

2-2.在微分器之前的阶段和图像合成单元之后的阶段中都设置有低通滤波器的实施例(第三实施例)。

2-3.在图像合成单元之后的阶段中设置有图像缩减单元的实施例(第四实施例)

3.包括图像显示单元的图像处理装置的配置的示例

[1.本发明的图像处理装置的第一实施例]

首先，将参考图1和后面的附图描述本发明的图像处理装置的第一实施例。

(1-1.根据本发明的实施例的图像处理装置的配置和处理的概述)

图1是示出根据本发明的图像处理装置的实施例的图。在图像输入单元110中，图像处理装置100接收从数字静止照相机等输出的静止图像文件或从便携式摄像机等输出的运动图像数据，并将静止图像文件或运动图像数据变换为内部数据格式。这里，内部数据格式是基带运动图像数据，且是红(R)、绿(G)以及蓝(B)三种原色的视频数据或者辉度(Y)和色差(Cb、Cr)的视频数据。在内部数据格式上叠加色空间的识别信号，且可以采用随后的阶段中的色空间变换单元120符合的任何色空间。

从图像输入单元110输出的视频数据被输入至色空间变换单元120，并被变换为辉度信号和色差信号。此时，当输入视频数据与图像变换单元130的处理数据兼容时，例如，当输入视频数据符合Y/Cb/Cr色空间时，色空间变换单元120输出输入视频数据而不对色空间进行变换。当输入视频数据符合R/G/B色空间或其它色空间时，色空间变换单元120将输入视频数据变换为辉度(Y)和色差(Cb、Cr)信号并输出辉度(Y)和色差(Cb、Cr)信号。

另外，从色空间变换单元120输出的视频数据的色空间不限于Y/Cb/Cr色空间，可以采用可与图像变换单元130的处理数据兼容且辉度分量和颜色分量分开的任何色空间。例如，也可以使用辉度信号(Y)和色差信号(U、V)。

从色空间变换单元120输出的视频信号被输入到图像变换单元130。图像变换单元130基于随后描述的处理生成用于左眼和右眼的双眼视差图像，并根据立体显示装置的格式合成这些图像以输出这些图像。即，图像变换单元130提取输入图像信号的空间特征量，并执行应用所提取的特征量的不同的增强处理操作，从而生成左眼图像和右眼图像。

从图像变换单元130输出的视频数据被输入至色空间逆变换单元140，并被从Y/Cb/Cr色空间变换为符合输出图像格式的色空间。此时，当输出图像格式符合Y/Cb/Cr色空间时，色空间逆变换单元140输出视频数据而不对其色空间进行变换。尽管图1以这种方式示出了包括色空间变换单元120和色空间逆变换单元140的配置，但是，包括色空间变换单元120和色空间逆变换单元140的配置并非必需的配置，可以采用省略了色空间变换单元120和色空间逆变换单元140的配置。

从色空间逆变换单元140输出的视频数据被输入至图像输出单元150。图像输出单元150将在图像变换单元130中变换的双眼视差图像变换为外部连接的立体显示装置可以接收的视频数据并输出视频数据，该立体显示装置能够显示双眼视差图像并实现立体观看。

另外，尽管在本实施例中描述了当输入静止图像时在图像输入单元110中将静止图像变换为视频数据的方法，但是，配置不限于该方法，并且可以采用将一个静止图像变换为左眼图像和右眼图像两个图像并将文件输出至例如存储卡等作为两个静止图像的配置。

图2是示出图像输入单元110的实施例的配置的框图。图像输入单元110包括用于输入静止图像文件等的存储卡接口111、用于直接连接视频装置的USB接口112、用于输入视频信号的视频接口113、帧存储器114、解码器115以及视频输出单元116。

将参考图3所示的流程图描述输入静止图像时的处理序列，作为在图像输入单元110中执行的处理的一个实例。

在步骤S101中，图像输入单元110开始输入静止图像。

在步骤S102中，图像输入单元110确认存储卡是否已插入存储卡接口111中，并确定是否要从存储卡输入图像数据。当已插入存储卡时，处理进入步骤S104，并且当没有插入存储卡时，处理进入步骤S103。

在步骤S103中，图像输入单元110确认可以从其输入静止图像的外部装置是否被连接至USB接口112，并确定是否要从USB接口112输入图像数据。当连接了USB装置时，处理进入步骤S105，当没有连接USB装置时，终止图像输入处理。

这里，为了确定从其输入运动图像数据的介质，可以采用使用未示出的操作单元的方法，从而指示输入装置。

在步骤S104中，图像输入单元110从记录在存储卡中的静止图像文件读入图像数据。此时，可以使用未示出的操作单元执行存储卡内静止图像文件的选取，并且还可以遵循基于一些标准确定的顺序自动选择静止图像文件。

在步骤S105中，图像输入单元110从连接至USB接口的外部装置读入静止图像数据。此时，可以使用未示出的操作单元执行外部装置内静止图像文件的选取，并且还可以遵循基于一些标准确定的顺序自动选择静止图像文件。

在步骤S106中，图像输入单元110将步骤S104或步骤S105中读取的静止图像数据存储在帧存储器114中。

在步骤S107中，图像输入单元110基于未示出的控制单元从帧存储器114读出静止图像数据。此时，读取地址指示步骤S106中存储的图像数据的最前部。

在步骤S108中，图像输入单元110执行静止图像的解码处理。由于静止图像数据通常已进行了按照使用联合图像专家组JPEG等规定的格式的图像压缩，因此，解码器115执行与图像格式相符的图像扩展处理并修复基带图像数据。

在步骤S109中，图像输入单元110将解码的静止图像数据输出为视频数据的一帧。这里，视频数据的格式与图像输出单元150中的输出格式相符。即，当在图像输出单元150中视频数据被输出为高清晰度(HD)分辨率和每秒60帧的视频数据时，未示出的控制单元生成高清晰度(HD)分辨率和每秒60帧的视频同步信号，并通过在该视频同步信号的有效区域内将静止图像附至该信号来输出该信号。

在步骤S110中，确定是否完成了图像输出单元150中的图像输出处理。当完成了图像输出处理时，图像输入处理终止。当图像输出处理没有完成时，处理进入步骤S111。

在步骤S111中，图像输入单元110初始化帧存储器114的读取地址，并指示步骤S106中存储的静止图像数据的最前部。当完成了步骤S111中的地址初始化时，处理进入步骤S107，并且接下来重复步骤S107至步骤S111中的处理操作。

在如上所述的这种方式中，当输入静止图像时，图像输入单元110将静止图像变换为视频数据，在视频数据中同一图像连续。

接下来，将参考图4所示的流程图来描述输入运动图像时的处理序列，作为图像输入单元110中执行的处理的示例。

在步骤S201中，图像输入单元110开始输入运动图像。

在步骤S202中，图像输入单元110确认是否向视频接口113输入了视频信号，并确定是否要从视频接口输入运动图像数据。当已输入了视频信号时，处理进入步骤S205，当没有输入视频信号时，处理进入步骤S203。

在步骤S203中，图像输入单元110确认可以从其输入运动图像的外部装置是否被连接至USB接口112，并确认是否要从USB接口112输入运动图像数据。当连接了USB装置时，处理进入步骤S206，当没有连接USB装置时，处理进入步骤S204。

在步骤S204中，图像输入单元110确认存储卡是否已插入存储卡接口111中，并确认是否要从存储卡输入运动图像数据。当已插入存储卡时，处理进入步骤S207，当没有插入储存卡时，终止图像输入处理。

这里，为了确定从其输入运动图像数据的介质，可以采用使用未示出的操作单元的方法，从而指示输入装置。

在步骤S205中，图像输入单元110从视频接口113读入视频数据。使用诸如数字视频接口(DVI)、高清晰度多媒体接口(HDMI)、高清晰度串行数字接口(HDSDI)等的数字视频传送方法传送的视频信号或使用诸如国家电视标准委员会(NTSC)方法、组件方法(component method)等的模拟视频传送方法传送的视频信号被输入至视频接口113。当输入模拟视频信号时，视频接口113基于解调处理将模拟视频信号变换为基带信号，且此后使用未示出的A/D变换器将基带信号变换为数字信号。另一方面，当输入数字视频信号时，视频接口113基于解调处理将数字视频信号变换为基带信号。

在步骤S206中，图像输入单元110从连接至USB接口112的外部装置读入运动图像数据。此时，可以使用未示出的操作单元执行外部装置内运动图像文件的选择，并且还可以遵循基于一些标准确定的顺序而自动地选择运动图像文件。

在步骤S207中，图像输入单元110从记录在存储卡中的运动图像文件读入运动图像数据。此时，可以使用未示出的操作单元执行存储卡内运动图像文件的选择，并且还可以遵循基于一些标准确定的顺序而自动地选择运动图像文件。

这里，通过USB接口112输入的运动图像数据和存储在存储卡中的运动图像数据是基于由运动图像专家组(MPEG)等规定的运动图像压缩方法而压缩的多条流数据。由于在这种压缩方法中利用帧存储器的解码处理是必需的，因此在步骤S208中将这些条流数据存储在帧存储器114中。

在步骤S209中，图像输入单元110基于未示出的控制单元从帧存储器114读出运动图像数据。

在步骤S210中，图像输入单元110执行运动图像的解码处理。如上所述，由于存储在帧存储器114中的运动图像数据是根据MPEG等压缩的流数据，因此，解码器15执行与图像格式相符的图像扩展处理，并修复基带视频数据。

在步骤S211中，视频输出单元116以内部数据格式输出从视频接口113输出的视频数据和从解码器115输出的视频数据中的一个视频数据。

图5是示出图像变换单元130的实施例的配置的框图。图像变换单元130提取输入图像信号的空间特征量，并执行其中应用了所提取的特征量的不同增强处理操作，从而生成左眼图像和右眼图像。图像变换单元130包括低通滤波器(LPF)131、微分器132、非线性变换单元133以及图像合成单元134。

另外，在以上所述的公开号为2010-63083的日本未审查专利申请和本申请人之前的专利申请中，公开了不包括图5所示的图像变换单元130中的低通滤波器(LPF)131的图像变换单元的配置。本发明的实施例的图像变换单元130的不同之处在于该配置加入了低通滤波器(LPF)131。

低通滤波器(LPF)131从输入至图像变换单元130的视频数据提取辉度信号、生成通过使用基于LPF的滤波处理去除辉度信号的高频分量所获得的信号并将该信号输出至微分器132。具体地，例如，在水平方向上输入图像信号的辉度信号，并执行低通滤波处理。例如，作为低通滤波器，可以应用在水平方向具有3个TAP(抽头)的FIR(有限脉冲响应)滤波器。

另外，在随后阶段将详细描述通过加入低通滤波器(LPF)131而获得的有利效果。

微分器132生成关于由低通滤波器(LPF)131输出的、且去除了高频分量的辉度信号的微分信号。具体地，例如，在水平方向上输入图像信号的辉度信号，并生成通过对输入辉度信号进行一次微分而获得的信号。例如，在一次微分处理中，使用三个抽头的线性一次微分滤波器等。

非线性变换单元113对从微分器132输出的微分信号进行非线性变换，并生成并输出视差增强信号[enh]。

图6示出非线性变换单元133中执行的非线性变换处理的示例。水平轴对应于来自微分器132的输入信号，并且对应于辉度微分信号。另外，这里，水平轴对应于已经执行了基于低通滤波器(LPF)131的滤波处理之后的辉度微分信号。

纵轴表示在非线性变换单元133中执行了非线性变换处理之后的输出。非线性变换单元133基于最初指定的函数f(x)对输入微分信号(In)进行变换，并输出视差增强信号[enh](Out)。即，假定Out＝f(In)。此时，在函数f(x)中可用各种设置。例如，作为函数f(x)的示例，f(x)＝x^β。

使用如上述表达式所示的指数函数。β是最初设置的系数，并且可以设置为各种值。

另外，非线性变换单元133中的变换函数不限于指数函数，并且也可以实施线性变换。

图像合成单元134接收从非线性变换单元133输出的视差增强信号[enh]和输入至图像变换单元130的视频数据，并将视频数据中包括的每帧图像与视差增强信号合成，从而执行用于生成左眼图像和右眼图像的处理。

另外，如图5中虚线所示，可以采用省略了非线性变换单元133中的变换处理的配置，由微分器132生成的微分信号被直接输入至图像合成单元134，并且图像合成单元134通过应用微分信号执行用于生成左眼图像和右眼图像的处理。

通过应用视频数据中包含的每帧图像和根据帧图像生成的空间特征量，即辉度信号的微分信号或通过对微分信号进行非线性变换而生成的视差增强信号[enh]，图像合成单元134执行用于生成左眼图像和右眼图像的处理。

将参考图7至图9描述应用信号的具体示例时由图像变换单元130执行的信号处理。

另外，如上所述，作为本申请人的先前专利申请的、公开号为2010-63083的日本未审查专利申请中描述的配置是省略了图5所示的图像变换单元130中的低通滤波器(LPF)131的配置。

本发明的实施例的配置是区别在于加入了低通滤波器(LPF)131的配置，并且为了容易地理解由于配置之间的不同而产生的有利效果，在图7至图9中示出了信号的如下示例。

(1)图7：不包括低通滤波器(LPF)131的配置(公开号为2010-63083的日本未审查专利申请中描述的配置)中的各信号的示例

(2)图8：包括低通滤波器(LPF)131的配置(本发明的实施例的图5中的配置)中的各信号的示例

(3)图9：包括低通滤波器(LPF)131的配置和不包括低通滤波器(LPF)131的配置之间的信号比较示例。

首先，将参考图7描述公开号为2010-63083的日本未审查专利申请中描述的配置(即，不包括低通滤波器(LPF)131的配置)中的信号的示例。

在图7中，从顶部开始示出了以下这些信号：

(a)输入信号

(b)微分信号

(c)右眼图像信号

(d)左眼图像信号

(a)输入信号表示视频数据的任意帧中的任意水平线的辉度变化。示出了如下一条线：在该线的中心区域存在辉度高的高辉度区域。在从线位置(x1)延伸到线位置(x2)的区域A中示出了辉度逐渐增加的变化、在线位置(x2)至(x3)中存在维持高电平辉度的高辉度部分、并且接下来在从线位置(x3)延伸到线位置(x4)的区域B中示出了辉度逐渐降低的变化。

(b)微分信号是(a)输入信号的微分结果。图7中所示的示例是与不包括图5所示的图像变换单元130中的低通滤波器(LPF)131的配置相对应的信号的示例，(b)微分信号是通过在微分器132中对(a)输入信号直接进行微分而不使(a)输入信号通过LPF而获得的信号。

如附图所示，由微分器132生成的微分信号在(a)输入信号的辉度变化为正的区域A中取正值，而在(a)输入信号的辉度变化为负的区域B中取负值。

(c)右眼图像信号和(d)左眼图像信号是在省略了图5所示的图像变换单元130内的LPF 131的配置中的图像合成单元134中生成的信号。图像合成单元134将(a)输入信号和视差增强信号[enh]合成，从而生成(c)右眼图像信号和(d)左眼图像信号，其中，视差增强信号[enh]为通过在变换单元133中对(b)微分信号进行非线性变换而获得的结果(非线性变换单元133的输出)。

如图7中的(c)右眼图像信号和(d)左眼图像信号所示，在(c)右眼图像信号中，沿右方向移动(a)输入信号的辉度变化区域201和202，如辉度变化区域211和212所示，而在(d)左眼图像信号中，沿左方向移动辉度变化区域201和202，如辉度变化区域213和214所示。

由于辉度变化区域的这些移动，在(c)右眼图像信号和(d)左眼图像信号之间发生视差。即，通过执行如下的图像显示，实现了其中存在视差的图像观察，并且观察者可以将该图像识别为有深度感的三维图像，在该图像显示中，使(c)右眼图像信号仅由右眼观察，且使(d)左眼图像信号仅由左眼观察。

然而，对于图7所示的信号，存在一个新问题：出现输入辉度信号的微分信号，即由于微分器(高通滤波器)导致的高频增强，并且图像变得不自然。

例如，如图7示出的(c)右眼图像信号和(d)左眼图像信号所示，与(a)输入信号中的辉度变化区域201和202中的高度差相比，辉度变化区域211至214中的高度差(即辉度变化量)变大。这是高频增强的示例，并且在一些情况下，辉度差被设置为大于原始(a)输入信号的辉度差的值，从而导致不自然的图像。

本发明的实施例解决了该问题，在图5所示的图像变换单元130中设置低通滤波器(LPF)131以解决该问题。

图8示出设置有低通滤波器(LPF)131时的信号的示例。

在图8中从顶部开始示出了以下这些信号：

(a)输入信号

(a2)通过低通滤波器之后的输入信号

(b)微分信号

(c)右眼图像信号

(d)左眼图像信号。

图8中的(a)输入信号与图7中的(a)是相同的信号，并且表示视频数据的任意帧中的任意水平线的辉度变化。示出了如下一条线：在该线的中心区域中存在辉度为高的高辉度区域。在从线位置(x1)延伸到线位置(x2)的区域A中示出了辉度逐渐增加的变化、在线位置(x2)至(x3)中存在维持高电平辉度的高辉度部分、并且接下来在从线位置(x3)延伸到线位置(x4)的区域B中示出辉度逐渐降低的变化。

图8中的(a2)通过低通滤波器之后的输入信号是通过对(a)输入信号进行基于低通滤波器(LPF)131的处理而获得的信号。由于基于低通滤波器(LPF)131的处理，辉度变化区域改变为平滑变化的区域。

即，在(a2)通过低通滤波器之后的输入信号中，(a)输入信号的辉度变化区域201和202被设置为抑制了变化率的缓和的辉度变化区域221和222。

图8中的(b)微分信号是对(a2)通过低通滤波器之后的输入信号的微分结果。如附图所示，微分器132生成的微分信号在(a2)通过低通滤波器之后的输入信号的辉度变化为正的区域A中取正值，并且在该辉度变化为负的区域B中取负值。

图8所示的(b)微分信号是(a2)通过低通滤波器之后的输入信号的微分结果。与图7中的(b)中的微分信号相比，该微分信号的高度差变小。在图9中的(b)示出这些比较信号。

图9的(b)至图9的(d)以实线示出与包括低通滤波器(LPF)131的配置相对应的信号的示例，并以虚线示出与不包括低通滤波器(LPF)131的配置相对应的信号的示例。

(c)右眼图像信号和(d)左眼图像信号是图5所示的图像变换单元130中的图像合成单元134中生成的信号。图像合成单元134将(a)输入信号和视差增强信号[enh]合成，从而生成(c)右眼图像信号和(d)左眼图像信号，其中，视差增强信号[enh]为通过在非线性变换单元133中对(b)微分信号进行非线性变换而获得的结果(非线性变换单元133的输出)。

同样在图8所示的(c)右眼图像信号和(d)左眼图像信号中，以与参考图7所述的方式相同的方式，在(c)右眼图像信号中，沿右方向移动(a)输入信号的辉度变化区域201和202，如辉度变化区域231和232所示，而在(d)左眼图像信号中，沿左方向移动辉度变化区域201和202，如辉度变化区域233和234所示。

由于辉度变化区域的这些移动，在(c)右眼图像信号和(d)左眼图像信号之间发生视差(视网膜图像差)。通过执行如下的图像显示，实现了其中存在视差的图像观察，并且观察者可以将该图像识别为具有深度感的三维图像，其中，在该图像显示中，使(c)右眼图像信号仅由右眼观察且使(d)左眼图像仅由左眼观察。

与图7所示的(c)右眼图像信号和(d)左眼图像信号相比，在图8所示的(c)右眼图像信号和(d)左眼图像信号中，抑制了由于微分器(高通滤波器)导致的高频增强，并且减少了图像的不自然。

如上所述，图9的(c)右眼图像信号和(d)左眼图像信号以实线示出了与包括低通滤波器(LPF)131的配置相对应的信号的示例，并以虚线示出了与不包括低通滤波器(LPF)131的配置相对应的信号的示例。

将图9中的(c)右眼图像信号和(d)左眼图像信号的实线(具有LPF)与(c)右眼图像信号和(d)左眼图像信号的虚线(不具有LPF)相比较。

与(a)输入信号的辉度变化区域中的高度差(即其辉度变化量)相比，虚线(不具有LPF)的辉度变化区域中的高度差(即其辉度变化量)变大。

另一方面，实线(具有LPF)的辉度变化区域中的高度差变得小于虚线(不具有LPF)，并且具有更接近于(a)输入信号的辉度变化区域中的高度差(即其辉度变化量)的设置。

如图9的(b)微分信号所示，这是根据以下事实的结果：与针对不具有LPF的输入信号的微分结果(虚线)相比，在针对通过低通滤波器(LPF)之后的输入信号的微分结果(实线)中，高度差被设置为小值。

结果，在本发明的实施例的利用低通滤波器(LPF)的配置中，(c)右眼图像信号和(d)左眼图像信号变为辉度变化接近输入信号的信号而抑制了过度的高频增强。

与图8中的(a)输入信号相对应的视频数据的辉度电平被定义为(S)，并且通过对图8的(b)所示的微分信号进行非线性变换而获得的视差增强信号[enh]的信号电平被定义为(E)。

图像合成单元134接收与(a)输入信号相对应的视频数据(S)和视差增强信号[enh(E)]，并根据例如以下表达式1生成右眼图像信号(Right)和左眼图像信号(Left)，其中，视差增强信号[enh(E)]是通过针对(a2)通过低通滤波器之后的输入信号对(b)微分信号进行非线性变换而获得的：

Right＝S-E

Left＝S+E......(表达式1)

这里，图像合成单元134可以仅对左眼图像信号(Left)和右眼图像信号(Right)中的一个进行变换，而不象表达式1所示的那样对左眼图像信号(Left)和右眼图像信号(Right)二者均进行变换。

即，也可以采用信号的这种合成：

Right＝S-E

Left＝S。

可选地，还可以采用信号的这种合成：

Right＝S

Left＝S+E。

基于这样的处理，在右眼图像信号(Right)和左眼图像信号(Left)中发生视网膜图像差，并且能够获得使得深度被感知的图像。另外，在随后阶段将描述视网膜图像差和深度感知之间的关系。

另外，如上所述，可以采用如下的配置：在该配置中省略了非线性变换单元133中的变换处理，微分器132生成的微分信号被直接输入(图5中虚线)至图像合成单元134，并且图像合成单元134通过应用微分信号执行用于生成左眼图像和右眼图像的处理。在这种情况下，以微分信号代替上述视差增强信号[eng(E)]。

以这种方式，图像合成单元134提取输入图像信号的空间特征量，并对输入图像信号执行应用了特征量的不同增强处理操作，从而生成左眼图像和右眼图像。例如，特征量是针对输入图像信号基于低通滤波器(LPF)处理的信号的辉度微分信号、或针对辉度微分信号基于非线性变换处理生成的视差增强信号。

图8中的(c)右眼图像信号(Right)是通过从(a)输入信号中减去视差增强信号[enh(E)]而获得的信号，其中，视差增强信号[enh(E)]是基于(b)微分信号关于(a2)通过低通滤波器之后的输入信号的非线性变换生成的。

如图8中的(c)右眼图像信号所示，(c)右眼图像信号(Right)被生成为具有如下特性(c1)至(c3)的信号。

(信号特性)

(c1)至少在(a)输入信号的辉度变化为正且(b)微分信号取正值的区域A的部分区域中，出现辉度低于(a)输入信号的信号区域。

(c2)至少在(a)输入信号的辉度变化为负且(b)微分信号取负值的区域B的部分区域中，出现辉度高于(a)输入信号的信号区域。

(c3)在(b)微分信号取0值的区域中没有出现关于(a)输入信号的辉度变化。

另外，图8中的(d)左眼图像信号(Left)是通过将视差增强信号[enh(E)]与(a)输入信号相加而获得的信号，其中，视差增强信号[enh(E)]是基于关于(a2)通过低通滤波器之后的输入信号的(b)微分信号的非线性变换获得的。

如图8中的(d)左眼图像信号所示，(d)左眼图像信号(Left)被生成为具有如下特性(d1)至(d3)的信号。

(信号特性)

(d1)至少在(a)输入信号的辉度变化为正且(b)微分信号取正值的区域A的部分区域中，出现辉度高于(a)输入信号的信号区域。

(d2)至少在(a)输入信号的辉度变化为负且(b)微分信号取负值的区域B的部分区域中，出现辉度低于(a)输入信号的信号区域。

(d3)在(b)微分信号取0值的区域中没有出现关于(a)输入信号的辉度变化。

如上所述，图像合成单元134将(a)输入信号和视差增强信号[enh]合成，从而生成(c)右眼图像信号和(d)左眼图像信号，其中，视差增强信号是通过在非线性变换单元133中针对(a2)通过低通滤波器之后的输入信号对(b)微分信号进行非线性变换而获得的结果(非线性单元133的输出)。

另外，例如，当要作为变换目标的输入信号是静止图像时，图像合成单元134基于根据上述表达式1的信号合成处理生成关于该静止图像中包括的一帧图像的(c)右眼图像信号和(d)左眼图像信号。

另外，当要作为变换目标的输入信号是运动图像时，基于根据上述表达式1的信号合成处理生成关于运动图像中包括的各帧图像的(c)右眼图像信号和(d)左眼图像信号。然而，关于这一点，在运动图像的情况下，可以采用如下设置：在该设置中，根据图像输出单元150(参见图1)的控制方法或最终执行图像显示的显示装置改变右眼图像信号和左眼图像信号的生成格式。以下，将参考图10和随后附图描述当要作为变换目标的输入信号是运动图像(视频数据)时图像合成单元134执行的多个处理操作的示例。

首先，将参考图10描述当要作为变换目标的输入信号是运动图像(视频数据)时图像合成单元134执行的基本处理操作的示例。图10所示的处理操作的示例是如下处理操作的示例：在该处理操作中，图像合成单元134针对输入视频数据的所有各帧(帧n、n+1、n+2、n+3......)生成并输出左眼图像(Left)和右眼图像(Right)两个图像。

针对图10所示的(a)输入图像帧的每一帧，图像合成单元134将(a)输入图像帧的辉度信号和作为(b)微分图像信号的非线性变换结果的视差增强信号合成，从而生成并输出图10所示的(c)右眼图像信号和(d)左眼图像信号。在这种情况下，图像合成单元134输出两种类型的视频信号。

例如，根据先前描述的表达式1执行合成处理操作。即，当与图8中的(a)输入信号相对应的视频数据的辉度电平被定义为(S)，且通过对图8中的(b)所示的微分信号进行非线性变换而获得的视差增强信号[enh]的信号电平被定义为(E)时，根据如下表达式生成左眼图像(Left)和右眼图像(Right)：

右眼图像信号：Right＝S-E

左眼图像信号：Left＝S+E。

在图10所示的基本处理操作的示例中，图像合成单元134输出与所有帧相对应的右眼图像和左眼图像的两种类型的视频信号。已接收到该两种类型的信号的图像输出单元150(参见图1)将这些数据输出至实现立体观看的显示装置。显示装置根据各种实现立体观看的显示方法执行输出控制。例如，显示装置的显示方法包括对应于无源眼镜法的图像输出方法和对应于有源眼镜法的图像输出方法，其中，在无源眼镜法中，使用偏光滤镜或滤色镜分离要由左右眼独自观察的图像，在有源眼镜法中，交替地开启和关闭左右液晶快门，从而针对左右眼交替地在时间上分离要观察的图像。根据上述显示方法中的一种方法，显示装置使用由图像合成单元134生成的两种类型的视频信号显示图像。

(1-2.在根据本发明的实施例的图像处理装置中生成的左右眼图像的配置和输出示例)

当预先确定了图像显示方法时，可以设置如下设置：在该设置中，图像合成单元134根据每个图像输出方法生成并输出输出图像信号。下文中，将参考图11至图13描述图像合成单元134中执行的、根据三种不同显示方法的处理操作的示例。

最终执行图像显示的显示装置的显示方法是如下三种类型。

(1)以时分方式交替地输出左眼图像和右眼图像的方法(图11)；

例如，这是与有源眼镜法相对应的图像输出方法，在该有源眼镜法中，交替地开启和关闭左右液晶快门，从而针对左右眼交替地在时间上分离要观察的图像。

(2)在以时分方式交替地输出左眼图像和右眼图像的方法中加速输出帧频的方法(图12)；

虽然这是与图11中的时分方法相同的时分方法，但是输出帧频加速。

(3)左眼图像和右眼图像空间分离且同时输出左眼图像和右眼图像的方法(图13)。

例如，这是与无源眼镜法相对应的图像输出方法，其中，在无源眼镜法中使用偏光滤镜或滤色镜分离要由右眼和左眼各自观察的图像。例如，在该空间分割法的立体显示装置中，在显示器前表面上置有偏光滤镜，偏光滤镜被设置为使得偏光方向关于每条水平线而改变，并且当利用用户佩戴的且基于偏光滤镜方法的眼镜观看时，针对每条水平线分离左眼和右眼的视频并观察。

首先，将参考图11描述如下情况时图像合成单元134中执行的处理操作的示例：在该情况下，最终执行图像显示的显示装置的显示方法是以时分方式交替地输出左眼图像和右眼图像的方法。

在这种图像显示方法的情况下，针对输入视频数据的各帧(帧n、n+1、n+2、n+3......)，图像合成单元134生成并输出左眼图像(Left)和右眼图像(Right)，其中，关于每一帧在左眼图像(Left)和右眼图像(Right)之间切换。

将输入视频数据的奇数帧和偶数帧分别设置为左眼图像和右眼图像(可选地，右眼图像和左眼图像)并输出。关于输出图像，通过图像输出单元150，在图像显示装置中以时分方式交替地输出左眼图像和右眼图像。控制每个图像的输出定时，以与用户佩戴的、例如基于液晶快门方法的眼镜的开启和关闭同步。即，执行控制使得左眼和右眼分别在时间上交替地观察左眼图像和右眼图像。

为了输出至基于这样的时分方法的立体显示装置，针对输入视频数据的各帧(帧n、n+1、n+2、n+3......)，图像合成单元134以帧为单位在左眼图像和右眼图像之间切换地执行图像合成处理操作。即，如图11的(c)和(d)所示，以帧为单位交替地实施左眼图像(Left)的合成和右眼图像(Right)的合成，并输出左眼图像(Left)和右眼图像(Right)。

在图11所示的示例中，在帧n中，根据先前描述的表达式1生成右眼图像。即，当假定图11中的(a)输入信号的帧n中的视频数据的辉度电平为(S)且视差增强信号[enh]的信号电平为(E)时，根据如下表达式生成右眼图像信号(Right)，其中，通过针对图11中的(b)所示的帧n中的基于低通滤波器(LPF)的处理信号，对微分信号进行非线性变换来获得视差增强信号[enh]。

右眼图像信号：Right＝S-E

另外，在随后的帧n+1中，根据先前描述的表达式1生成左眼图像。即，当假定图11中的(a)输入信号的帧n+1中的视频数据的辉度电平为(S)且视差增强信号[enh]的信号电平为(E)时，根据如下表达式生成左眼图像信号(Left)，其中，通过针对图11中的(b)所示的帧n+1中的基于低通滤波器(LPF)的处理信号，对微分信号进行非线性变换来获得视差增强信号[enh]。

左眼图像信号：Left＝S+E

接下来，根据按照先前描述的表达式1的图像合成处理操作分别在帧n+2和n+3中生成并输出右眼图像和左眼图像。另外，以这种方式，根据按照先前描述的表达式1的图像合成处理操作，针对每一帧交替地生成并输出右眼图像和左眼图像。在该方法中，结果是图像合成单元134响应于每一帧生成并输出右眼图像或左眼图像中的一个图像。即，输出一种类型的视频数据。

关于输出图像，通过图像输出单元150，在图像显示装置中以时分方式交替地输出左眼图像和右眼图像。控制每个图像的输出定时，使得与用户佩戴的、例如基于液晶快门方法的眼镜的开启和关闭同步。即，执行控制，使得分别由左眼和右眼在时间上交替地观察左眼图像和右眼图像。

与图11的方式相同，图12是如下情况下在图像合成单元134中执行的处理操作的示例：在该情况下，最终执行图像显示的显示装置的显示方法是以时分方式交替地输出左眼图像和右眼图像的方法。然而，关于这一点，处理操作的示例与图11所示的处理操作的不同之处在于：根据按照先前描述的表达式1的合成处理操作，针对输入视频数据的每一帧，将左眼图像(Left)和右眼图像(Right)这两个图像合成。

执行图像输出的显示装置按照时分方式以输入视频数据的帧频两倍的帧频交替地输出左眼图像和右眼图像。

在该处理操作中，如图12所示，通过应用先前描述的表达式1，图像合成单元134根据一个帧(例如(a)输入图像的帧n)和根据帧n的(b)微分信号生成的视差增强信号，来生成(c)右眼图像和(d)左眼图像。此外，通过应用先前描述的表达式1，图像合成单元134根据随后的帧(即(a)输入图像的帧n+1)和根据帧n+1的(b)微分信号生成的视差增强信号，来生成(c)右眼图像和(d)左眼图像。

以这种方式，根据一个帧生成左眼图像和右眼图像。针对根据一个帧生成的两个图像(即，左眼图像和右眼图像)，通过图像输出单元150，在图像显示装置中以时分方式交替地输出左眼图像和右眼图像。

图像输出单元150输出图像，使得在显示装置中以图12中的(a)所示的输入图像的帧频的两倍的帧频显示图像。另外，响应于该显示定时，还同步控制用户佩戴的观察图像的、例如基于液晶快门方法的眼镜的快门的开启和关闭。即，使得左眼图像和右眼图像分别由左眼和右眼在时间上交替地观察。在该方法中，图像合成单元134以一种类型的输入视频数据的帧频的两倍的帧频输出视频数据。

图13示出当输出至空间分割法的立体显示装置时图像合成单元134中执行的处理操作的示例。空间分割法的立体显示装置是如下的显示装置：在显示器前表面上置有偏光滤镜，偏光滤镜被设置为使得偏光方向关于每个水平线而改变，并且当利用用户佩戴的、基于偏光滤镜法的眼镜观看时，使得视频关于每条视频水平线对左眼和右眼分离并观察。即，眼镜的左右偏光滤镜也是其偏光方向被设置为彼此不同的滤镜。另外，图13中的(c)所示的右眼图像仅由右眼观察，并且图13中的(d)所示的左眼图像仅由左眼观察。

如图13所示，在该处理操作中，通过应用先前描述的表达式1，例如，图像合成单元134根据(a)输入图像的帧n和视差增强信号生成(c)右眼图像和(d)左眼图像，其中，针对帧n的低通滤波器(LPF)处理信号，根据(b)微分图像生成视差增强信号。

此外，图像合成单元134根据(c)右眼图像和(d)左眼图像生成图13所示的(e)双眼视差图像。即，(c)右眼图像和(d)左眼图像中的每个图像在垂直方向上进行1/2缩小处理，并且每个图像的相位偏移一条线。图像合成单元134水平线为单位交替地合成以这种方式获得的左眼图像和右眼图像，从而生成并输出一个(e)双眼视差图像。

图13所示的(e)双眼视差图像是通过将(c)右眼图像和(d)左眼图像的有效区域(除黑线以外的图像显示部分)相互耦合而生成的图像。即，(e)双眼视差图像是交替地包括(c)右眼图像和(d)左眼图像的各条线数据的图像。以这种方式，图像合成单元134生成并输出(e)双眼视差图像。在该方法中，图像合成单元134输出帧频与输入图像相同的一种的视频数据。

为显示图13所示的(e)双眼视差图像，通过图像输出单元150将其输出至空间分割法的立体显示装置。如上所述，在空间分割法的立体显示装置中，在显示装置的前表面置有偏光滤镜，设置偏光滤镜使得偏光方向关于每水平线而改变。用户利用基于偏光滤镜法的眼镜观察。眼镜的左右偏光滤镜也是其偏光方向被设置为彼此不同的滤镜。另外，图13的(c)中所示的右眼图像仅由右眼观察，且图13的(d)中所示的左眼图像仅由左眼观察。

参考图10至图13描述的右眼图像信号(Right)和左眼图像信号(Left)是根据先前描述的表达式(表达式1)生成的图像。即，根据以下表达式生成右眼图像信号(Right)和左眼图像信号(Left)：

Right＝S-E

Left＝S+E

然而，关于这一点，S是输入信号，E是通过对输入信号S的帧n的基于低通滤波器(LPF)的处理信号的微分信号D进行非线性处理而获得的视差增强信号[enh]。另外，如先前所述，视差增强信号E不限于利用输入信号S的微分信号D的非线性变换获得的信号，并且视差增强信号E也可以是通过实施线性变换而获得的信号。

(1-3.在根据本发明的实施例的图像处理装置中生成的左右眼图像的视网膜图像差)

生成这样的右眼图像信号(Right)和左眼图像信号(Left)，观察者的右眼和左眼观察这些图像，因此能够获得深度感。这是基于右眼图像和左眼图像之间的视网膜图像差的现象。下文中，将参考图14至图17描述在根据本发明的实施例的图像处理装置100中生成的右眼图像和左眼图像之间的视网膜图像差。

另外，如前参考图7和图8简单描述的一样，视网膜图像差是由于在辉度变化区域中(c)左眼图像信号和(d)右眼图像信号之间发生偏移这一事实而导致。下文中，将参考数学表达式描述该原理。另外，在以下描述中，为了便于理解，在假定省略了基于低通滤波器(LPF)的处理的情况下进行该描述。另外，在以下描述中，在如下情况下描述图14至图16：假定省略了微分信号D的非线性变换处理，并且根据如下表达式生成右眼图像信号(Right)和左眼图像信号(Left)，其中采用输入信号S和输入信号S的基于低通滤波器(LPF)的处理信号的微分信号D：

Right＝S-D

Left＝S+D

图14是说明由于加/减微分信号而发生的视网膜图像差的图。这里，为了便于说明，示出了当输入一维正弦波信号作为输入信号时如何生成用于左眼的信号和用于右眼的信号。附图的水平轴表示在图像的水平方向上的像素位置，而其纵轴表示像素的辉度电平。

通过如下表达式(表达式2)表示输入信号S。

S＝sinωx......(表达式2)

这时，通过如下表达式(表达式3)表示微分信号D。

D＝cosωx......(表达式3)

这时，通过如下表达式(表达式4)和(表达式5)表示左眼信号L和右眼信号R。

[数学公式1]

$L=S+D=\sin \mathrm{\ωx}+\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}+\frac{\mathrm{\π}}{4})$ ......(数学表达式4)

$R=S-D=\sin \mathrm{\ωx}-\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}-\frac{\mathrm{\π}}{4})$ ......(数学表达式5)

根据(表达式4)和(表达式5)这些表达式，左眼信号L的相位相对于输入信号S超前π/4，而右眼信号R的相位相对于输入信号S滞后π/4。即，左眼信号L是振幅为输入信号的

倍且在水平左方向上偏移了由角频率ω确定的周期的1/8的信号，同样，右眼信号R是振幅为输入信号的

倍且在水平右方向上偏移了由角频率ω确定的周期的1/8的信号。这样，在左眼信号L和右眼信号R之间存在仅π/2的相位差，且该相位差被感知为视网膜图像差，并且能够获得深度感。

如上所述，视网膜图像差根据角频率ω变化。图15示出输入信号的角频率变为图14中的角频率的一半时的波形。从附图可知，视网膜图像差变为图14情形的两倍，并且与图14中的输入信号相比，在双眼立体观看的情况下在远侧的位置处感知输入信号。

另外，图16示出输入信号的角频率变为图14中的角频率的两倍时的波形。从附图可知，视网膜图像差变为图14情形的一半，并且与图14中的输入信号相比，在双眼立体观看的情况下在近侧的位置处感知输入信号。

此外，图17示出当控制微分信号D的幅度时的波形。尽管图17示出微分信号D被放大两倍的情况，在表达式(表达式6)中表示控制的微分信号F以更普遍。

F＝kcosωx......(表达式6)

这里，K为正实数。

另外，上述F与基于微分信号D的变换处理而生成的视差增强信号E相对应。

此时，根据如下表达式(表达式7)和表达式(表达式8)表示左眼信号L和右眼信号R。

[数学公式2]

$L=S+F=\sin \mathrm{\ωx}+k\cos \mathrm{\ωx}=\sqrt{1+k^2}\sin (\mathrm{\ωx}+\mathrm{\α})$ ......(数学表达式7)

$R=S-F=\sin \mathrm{\ωx}-k\cos \mathrm{\ωx}=\sqrt{1+k^2}\sin (\mathrm{\ωx}-\mathrm{\α})$ ......(数学表达式8)

这里，α在0到π/2范围内，并且根据以下表达式(表达式9)表示α。

[数学公式3]

$\mathrm{\α}=\arccos \frac{1}{\sqrt{1+k^2}}$ ......(数学表达式9)

在上述表达式(表达式9)中，当微分信号的幅值k增加时，α增加。因此，输入信号S与左眼信号L之间的相位差和输入信号S与右眼信号R之间的相位差变大。因此，左眼信号L与右眼信号R之间的相位差也变大，并且视网膜图像差被感知为大。结果，在双眼立体观看的情况下在较远侧的位置处感知输入信号。

以这种方式，由根据本发明的实施例的图像处理装置100生成的右眼图像和左眼图像是视网膜图像差根据图像的空间频率变化的图像，视网膜图像差在空间频率高的区域中变小，并且视网膜差在空间频率低的区域中变大。当将这样的图像分离至人的右眼和左眼中并呈现时，人们将视网膜图像差小的区域感知为位于近侧，并将视网膜图像差大的区域感知为位于远侧。

然而，如上所述，根据本发明的实施例的图像处理装置100仅执行根据局部空间频率的处理，并且还对图像内的各被摄体设置在边缘部分和纹理部分不同的视网膜图像差。因此，由于观察者难以仅根据视网膜图像差来感知正确的深度，考虑使用图像的绘画特征(构图、物体的前后关系以及空间频率)、运动视差等作为线索，根据这些图像信息的类推，人们可以感知图像的综合深度。

另外，如上所述，由于使得主要在图像的边缘部分发生视网膜图像差，因此还对诸如树枝、电线和毛发的细微结构设置视网膜图像差。因此，还能够表现细微被摄体的立体效果。

使用这些特征，根据本发明的实施例的图像处理装置实现了双眼视差图像的生成配置，其中通过仅对图像实施局部调制处理实现了自然的立体观看。

此外，根据本发明的实施例的图像处理装置根据先前描述的表达式(表达式1)生成右眼图像(Right)和左眼图像(Left)。即，当与输入信号对应的视频数据的辉度电平被定义为(S)且视差增强信号[enh]的信号电平被定义为(E)时，根据如下表达式生成右眼图像信号(Right)和左眼图像信号(Left)，其中，视差增强信号[enh]是通过对图8中的(b)所示的微分信号进行非线性变换而获得的。

右眼图像信号：Right＝S-E

左眼图像信号：Left＝S+E

从该表达式可知，通过将右眼图像信号和左眼图像信号相互相加而生成的加法信号如下：

加法信号＝(S+E)+(S-E)＝S

结果，加法信号变为等于输入图像。

因此，例如，在参考图11和图12所述的时分方法的立体显示装置中执行显示的情况下，当作为观察者的用户通过去除液晶快门法的眼镜来观察图像时，用户感知如下图像：在该图像中，由于人的视觉系统在时间上的积分功能，对左眼图像(Left)和右眼图像(Right)积分。该图像变为上述加法信号，加法信号＝(S+E)+(S-E)＝S，即上述信号[S]。即，可以不变化地感知输入的二维图像。即，不将图像感知为不自然的二重图像，并且能够将图像观察没有经过处理的图像。

另外，如图13所示，在空间分割法的立体显示装置中执行显示的情况下，当去除偏光眼镜时，如果从对于感知垂直方向上的一个像素而言太长的距离观察图像，则感知到将垂直方向上的两个像素相加的图像。该图像变成上述加法信号，加法信号＝(S+E)+(S-E)＝S，即上述信号[S]。另一方面，由于人对于视网膜图像差的视力大约为通常视力的十倍高，因此即使从这样的距离观察，也能够完全识别左眼图像和右眼图像之间的视网膜图像差。因此，当去除偏光眼镜时，图像不被感知为不自然的二重图像，并且能够将图像观察为没有经过处理的图像。另外，当佩戴偏光眼镜时，可获得立体视觉。

这样，使用立体显示装置显示根据本发明的实施例的图像处理装置生成的图像，因此当佩戴用于立体观看的眼镜时，可获得立体视觉。另外，当不佩戴用于立体观看的眼镜时，也能够将图像感知为没有经过处理的原始二维图像。

(1-4.根据本发明的实施例的图像处理装置中的图像变换单元的处理序列)

接下来，将参考图18所示的流程图描述由根据本发明的实施例的图像处理装置100中的图像变换单元13执行的处理的序列。另外，图18所示的流程图是输入图像为运动图像(视频数据)时执行的处理。

在步骤S401中，低通滤波器131(参考图5)针对输入至图像变换单元130的视频数据的辉度信号执行低通滤波处理。例如，基于针对图8中的(a)输入信号的低通滤波处理生成图8中的(a2)的信号，即，生成基于低通滤波器的处理信号。

接下来，在步骤S402中，微分器132(参考图5)针对基于低通滤波器的处理信号执行微分处理。即，根据微分处理生成图8中的(b)微分信号，其中，微分处理是针对图8的(a2)中的基于低通滤波器的处理信号的。

在步骤S403中，非线性变换单元133(参考图5)针对从微分器132输出的微分信号执行非线性变换处理。例如，该非线性变换处理是对应于如图6所示的这种曲线图的非线性变换处理。

步骤S404中和之后的步骤中的处理操作是在图像合成单元134中执行的处理操作。在步骤S404中，图像合成单元134内的控制单元确定是否要执行当前输入帧的左眼图像的合成。根据由图像处理装置100输出的图像显示装置的显示方法和在图像合成单元134中设置的帧计数器值来确定该确定处理。帧计数器是保持与输入图像帧的帧数相对应的值的计数器。

当图像显示装置的输出方法是图11所示的时分输出方法时，图像合成单元134根据帧计数器的值确定是否要输出左眼图像。即，在图11所示的时分输出方法的情况下，执行控制使得仅在偶数帧和奇数帧之一时输出左眼图像。当根据帧计数器的值确定要输出左眼图像时，处理进入步骤S405。另一方面，当根据帧计数器的值确定帧是用于输出右眼图像的帧时，处理进入步骤S406。

另外，在图11所示的时分输出方法以外的方法的情况下，即，在基于两倍帧频的时分输出方法或图13所示的空间分割输出方法的情况下，或图10所示的通过输入左眼图像和右眼图像在图像显示装置侧执行显示控制的情况下，图像合成单元134确定将左眼图像与所有输入帧合成，处理进入步骤S405。

在步骤S405中，图像合成单元134根据先前描述的表达式(表达式1)生成左眼图像(Left)。即，如图8所示，当将对应于图8中的(a)输入信号的视频数据的辉度电平定义为(S)并将视差增强信号[enh]的信号电平定义为(E)时，根据如下表达式生成左眼图像信号(Left)，其中，视差增强信号[enh]是通过对图8中的(b)所示的微分信号进行非线性变换而得到的：

左眼图像信号：Left＝S+E

另一方面，在步骤S404中，确定不执行当前输入帧的左眼图像的合成，处理进入步骤S406，并且生成当前输入帧的右眼图像。即，如图8所示，当将对应于图8中的(a)输入信号的视频数据的辉度电平定义为(S)并将视差增强信号[enh]的信号电平定义为(E)时，根据如下表达式生成右眼图像信号(Right)，其中，视差增强信号[enh]是通过对图8中的(b)所示的微分信号进行非线性变换而得到的：

右眼图像信号：Right＝S-E

执行上述信号的合成。

当在步骤S405中完成了左眼图像的生成时，在步骤S407中确定是否也对与左眼图像的生成帧相同的帧生成右眼图像。当图像处理装置的输出方法是图11所示的时分输出方法时，由于在每个帧中仅合成左眼和右眼之一的图像，因此确定不生成右眼图像，处理进入步骤S408。

另外，在图11所示的时分输出方法以外的方法的情况下，即，在图12所示的基于两倍帧频的时分输出方法或图13所示的空间分割输出方法的情况下，或图10所示的通过输入左眼图像和右眼图像在图像显示装置侧执行显示控制的情况下，图像合成单元134确定将右眼图像与所有输入帧合成，并且处理进入步骤S406。如上所述，步骤S406中的处理是根据先前描述的表达式(表达式1)的、右眼图像的生成处理。

在步骤S408中，图像合成单元134的控制单元确定是否要执行图像的缩减处理。当图像处理装置的输出格式是图13所示的空间分割输出方法时，确定要执行图像的缩减处理，并且处理进入步骤S409。当图像处理装置的输出格式是图13所示的空间分割输出方法以外的方法(即图10所示的同时输出左眼图像和右眼图像的方法、图11所示的时分输出方法以及图12所示的基于两倍帧频的时分输出方法中的一个)时，不需要图像缩减处理，并且处理进入步骤S411。

在步骤S409至S410中，如先前参考图13所述，图像合成单元134根据(c)右眼图像和(d)左眼图像生成图13所示的(e)双眼视差图像。即，(c)右眼图像和(d)左眼图像中的每一个图像在垂直方向上进行1/2缩减处理，并且每个图像的相位偏移一条线(S409)。此外，图像合成单元134以水平线为单位交替地合成以这种方式获得的左眼图像和右眼图像，从而生成一个(e)双眼视差图像(S410)。

在步骤S411中，确定图像输出单元150中的图像输出处理是否已完成。当图像输出处理已完成时，终止图像变换处理。当图像输出处理还未完成时，处理进入步骤S412。

在步骤S412中，帧数增1，处理进入步骤S401，接下来，重复步骤S401至S410中的处理操作。

如上所述，根据本发明的实施例的图像处理装置采用如下配置：输入二维图像数据、提取图像特征量(即作为辉度变化部分的边缘部分)、以及改变边缘部分的图像格式，从而生成伪右眼图像和伪左眼图像。根据该配置，能够生成适于在立体显示装置中使用的双眼视差图像。

此外，根据本发明的实施例的图像处理装置，如图8所示，当对应于图8中的(a)输入信号的视频数据的辉度电平被定义为(S)并且视差增强信号[enh]的信号电平被定义为(E)时，根据如下表达式生成右眼图像信号和左眼图像信号，其中，视差增强信号[enh]是通过对图8中的(b)所示的微分信号进行非线性变换而获得的：

右眼图像信号：Right＝S-E

左眼图像信号：Left＝S+E。

由该表达式可知，通过将右眼图像信号和左眼图像彼此相加而生成的加法信号如下：

加法信号＝(S+E)+(S-E)＝S。

结果，加法信号变为与输入图像相等。

以这种方式，设置加法信号，使其与输入信号相等或几乎相等。因此，在用户观看立体显示装置上显示的图像的情况下，当佩戴了用于立体观看的眼镜时，能够感知其立体呈现，并且当没有佩戴用于立体观看的眼镜时，能够将图像感知为通常的二维图像。即，能够佩戴眼镜或不佩戴眼镜来欣赏图像。另外，根据本发明的实施例的图像变换装置，左眼图像和右眼图像之间的视差非常小，能够降低当佩戴用于立体观看的眼镜时的疲劳度。

[2.本发明的图像处理装置的其它实施例]

(2-1.在图像合成单元之后的阶段设置低通滤波器的实施例(第二实施例))

在先前参考图5描述的图像变换单元130中，在微分器132之前的阶段中配置了低通滤波器(LPF)131。

然而，不限于图5所示的设置，低通滤波器(LPF)131的位置可以被设置在其它位置。

例如，可以采用图19所示的设置。

图19所示的图像变换单元130示出了对图1所示的图像处理装置100的图像变换单元130的一个变形例。

图19所示的图像变换单元130与先前实施例中之前描述的图5所示的图像变换单元130的配置的不同之处在于：采用将低通滤波器(LPF)135设置在图像合成单元134的输出单元中的配置。

在该配置中，针对图像合成单元的输出信号执行基于低通滤波器(LPF)135的高频减少处理。由于该处理能够获得如下有利效果：降低了由于基于微分器132的微分信号导致的高频增强信号，并且能够消除或降低输出图像的不自然。

在该配置中，图像合成单元134的输出是图7示出的(d)右图像信号和(c)右眼图像信号。图19所示的低通滤波器(LPF)135对图7示出的(d)右图像信号和(c)右眼图像信号执行滤波处理。

由于该处理，能够降低高频增强信号并且能够消除或降低输出图像的不自然，其中，该高频信号基于由于微分器132导致的微分信号的相加/相减。

(2-2.在微分器之前的阶段和图像合成单元之后的阶段都设置低通滤波器的实施例(第三实施例))

此外，也可以在微分器之前的阶段和图像合成单元之后的阶段中都设置低通滤波器。

将参考图20描述该实施例。

图19所示的图像变换单元130示出对图1所示的图像处理装置100的图像变换单元130的一个变形例。

与之前实施例中描述图5所示的图像变换单元130的配置的方式一样，在图20所述的图像变换单元130中，在微分器132之前的阶段中设置低通滤波器(LPF)131。此外，在图像合成单元134之后的阶段中设置另一低通滤波器(LPF)135。

由于该处理，也能够获得降低由于基于微分器132的微分信号导致的高频增强信号的有利效果，并且能够消除或降低输出图像的不自然。

(2-3.在图像合成单元之后的阶段中设置图像缩减单元的实施例(第四实施例)

此外，替代低通滤波器，通过在图像合成单元之后的阶段中设置图像缩减单元也能够获得同样的有利效果，即能够降低由于微分器的微分信号导致的高频增强信号的效果。

将参考图21描述该实施例。

图21所示的图像变换单元130示出对图1所示的图像处理装置100的图像变换单元130的一个变形例。

图21所示的图像变换单元130包括如下配置：在图像合成单元134的输出单元中设置有图像缩减单元136。

在该配置中，图像缩减单元136针对图像合成单元134的输出信号执行图像缩减处理。在图像的缩减处理中，由于振幅特征通常呈现与低通滤波器相同的特征，因此通过插入图像缩减处理能够呈现与低通滤波器相同的效果。

因此，如图21所示，图像缩减单元136针对图像合成单元134的输出信号执行图像缩减处理，因此也能获得降低高频增强信号的有利效果，并且能够消除或降低输出图像的不自然，其中高频增强信号由于基于微分器132的微分信号而导致。

[3.包括图像显示单元的图像处理装置的配置的示例]

图1所示的图像处理装置被描述为不包括图像显示单元的图像处理装置。然而，图像处理装置也可以被配置为包括图像显示单元的图像处理装置。图22是示出包括图像显示单元的图像处理装置的实施例的图。

在图像输入单元310中，图像显示装置300接收从数字静止照相机等输出的静止图像文件或从便携式摄像机等输出的运动图像数据，并将静止图像文件或运动图像数据变换为内部数据格式。这里，内部数据格式是基带运动图像数据，并且是红(R)、绿(G)以及蓝(B)三种原色的视频数据或包括辉度信号(Y)和色差(Cb、Cr)或(Y、U、V)的视频数据。色空间的识别信号被叠加在内部数据格式上，并且可以采用随后阶段中的色空间变换单元320符合的任何色空间。

从图像输入单元310输出的视频数据被输入到色空间变换单元320中，并被变换为辉度信号和色差信号。此时，当输入视频数据符合要作为图像变换单元的处理目标的数据时，例如，Y/Cb/Cr色空间，色空间变换单元320输出视频数据而不进行色空间变换。当输入视频数据符合R/G/B色空间或其它色空间时，色空间变换单元320将输入视频数据变换为辉度(Y)和色差(Cb、Cr)信号，并输出辉度(Y)和色差(Cb、Cr)信号。

这里，从色空间变换单元320输出的视频数据的色空间不限于Y/Cb/Cr色空间，并且可以采用作为辉度分量和颜色分量分离的色空间的任何色空间。

从色空间变换单元320输出的视频数据被输入至图像变换单元330。图像变换单元330基于先前描述的处理生成用于左眼和右眼的双眼视差图像，并根据图像显示单元350的格式合成这些图像以输出这些图像。

从图像变换单元330输出的视频数据被输入至色空间逆变换单元340，并从Y/Cb/Cr色空间变换为R/G/B色空间。

从色空间逆变换单元340输出的视频数据被输入至图像显示单元350。图像显示单元350包括如下配置：图像输出单元与显示单元合成，并根据下文示出的立体显示方法之一(时分方法或空间分割法)执行图像显示。

(时分方法)

在时分方法的立体显示方法中，输入视频数据的奇数帧和偶数帧分别被识别为左眼图像和右眼图像(可选地，右眼图像和左眼图像)，并且控制用户佩戴的且基于液晶快门方法的眼镜，从而在时间上交替地向左眼和右眼呈现图像。在该显示方法中，图像显示单元350将切换左眼图像的输出和右眼图像的输出的定时控制为如下设置：使该定时与观察者佩戴的眼镜的左右眼镜单元的快门开关同步。

(空间分割法)

在空间分割法的立体显示方法中，在显示器部前表面上置有偏光滤镜，偏光滤镜被设置为使得偏光方向关于每条水平线而改变，当利用用户佩戴的、基于偏光滤波方法的眼镜观看时，使得视频关于每条水平线对左眼和右眼分离，且被观察。

如上所述，根据本发明的实施例的图像处理装置，输入二维图像数据，并且通过以伪方式根据图像的特征量生成右眼图像和左眼图像，通过使用双眼视差能够执行立体显示。此外，根据本发明的实施例的图像处理装置，执行图像变换使得左眼图像和右眼图像相加变为与输入图像相等，因此当佩戴了用于立体观看的眼镜时，能够感知立体呈现。另外，当没有佩戴用于立体观看的眼镜时，能够将图像感知为通常的二维图像。因此佩戴或不佩戴眼镜都可以欣赏图像。另外，根据本发明的实施例的图像变换装置，左眼图像和右眼图像之间的视差非常小，因此能够降低佩戴用于立体观看的眼镜时的疲劳度。

如上所述，参考具体实施例描述了本发明。然而，显然本领域的技术人员可以对实施例进行修改和替换，只要这些修改和替换在本发明的范围内即可。即，由于以示例的形式描述了本发明，应当理解不应限制的方式解释本发明。为了确定本发明的范围，应当考虑所附权利要求书部分。

另外，可以使用硬件、软件或二者的组合配置来执行说明书描述的一系列处理。当执行基于软件的处理时，可以将其中记录有处理序列的程序安装至嵌入专用硬件中的计算机的存储器中并执行，或可以将程序安装至能够执行各种处理的通用计算机中并执行程序。例如，程序最初可以在记录在记录介质中。除了从记录介质安装至计算机，还可以通过诸如局域网(LAN)或因特网的网络接收程序，并将其安装在诸如内部硬盘等的记录介质中。

另外，说明书中描述的各种处理不但可以根据说明书按时间顺序执行，并且还可以响应于执行处理的装置的处理能力或根据需要并行或单独执行。另外，在本说明书中，术语“系统”是其中逻辑地装配有多个装置的配置，并且不限于每种配置的装置被置于同一箱体的配置。

本发明包含于2010年12月2日向日本专利局提交的在先专利申请JP2010-269784中涉及的主题，其全部内容通过引用并入于此。

本领域的技术人员应当理解，在所附权利要求书或其等同物的范围内，可以基于设计要求和其它因素做出各种修改、组合、子组合以及替代。

Claims (15)

1.一种图像处理装置，包括：

图像输入单元，用于输入二维图像信号；

图像变换单元，用于输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及

图像输出单元，用于输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，

所述图像变换单元包括如下配置：在该配置中，提取输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及

所述图像变换单元还执行以下操作中的至少一个：

基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及

基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

2.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括如下配置：

提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将所述辉度微分信号设置为所述特征量，生成如下变换信号中的一个作为左眼图像或右眼图像：通过将所述特征量与所述输入的图像信号相加而获得的变换信号或通过从所述输入的图像信号中减去所述特征量而获得的变换信号，并且输出所述输入的图像信号没有经过处理时的非变换信号作为用于与所述变换信号的眼睛的不同的眼睛的图像。

3.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将所述辉度微分信号设置为所述特征量，生成通过将所述特征量与所述输入的图像信号相加而获得的信号和通过从所述输入的图像信号减去所述特征量而获得的信号，以及生成一对这两个信号作为一对左眼图像和右眼图像。

4.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

提取所述输入的图像信号的辉度微分信号或对所述输入的图像信号执行了基于低通滤波器的滤波处理操作之后的信号的辉度微分信号，将通过对所述辉度微分信号进行非线性变换而生成的信号设置为所述特征量，生成通过将所述特征量与所述输入的图像信号相加而获得的信号或从所述输入的图像信号中减去所述特征量而获得的信号，以及生成这些信号中的一个作为左眼图像或右眼图像。

5.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

针对运动图像中包括的帧的每一帧生成所述左眼图像和所述右眼图像。

6.根据权利要求5所述的图像处理装置，其中，

所述图像输出单元包括执行如下处理的配置：以输入图像帧频的两倍的速率交替地输出由所述图像变换单元生成的所述左眼图像和所述右眼图像。

7.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

针对运动图像中包括的帧的每一帧，仅交替地生成所述左眼图像和所述右眼图像中的一个。

8.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

针对运动图像中包括的帧的每一帧，生成所述左眼图像和所述右眼图像，以及

生成双眼视差图像，所述双眼视差图像交替地包括用于构成所生成的左眼图像和右眼图像的线数据。

9.根据权利要求1所述的图像处理装置，其中，

所述图像变换单元包括执行如下处理的配置：

生成所述左眼图像和所述右眼图像作为如下设置：在该设置中，所生成的左眼图像和右眼图像的相加信号等于所述输入信号，或所生成的左眼图像和右眼图像的相加信号几乎等于所述输入信号。

10.根据权利要求1所述的图像处理装置，还包括：

图像显示单元，用于显示由所述图像变换单元生成的图像。

11.根据权利要求10所述的图像处理装置，其中，

所述图像显示单元包括如下配置：在该配置中，执行基于时分方法且其中交替地输出所述左眼图像和所述右眼图像的立体显示处理。

12.根据权利要求11所述的图像处理装置，其中，

所述图像显示单元包括如下配置：在该配置中，当执行所述基于时分方法且其中交替地输出所述左眼图像和所述右眼图像的立体显示处理时，执行显示切换，使得用于切换所述左眼图像和所述右眼图像的输出的定时与图像观察者佩戴的眼镜的左右眼镜单元的快门开关同步。

13.根据权利要求10所述的图像处理装置，其中，

所述图像显示单元包括如下配置：在该配置中，在显示部的前表面上置有偏光滤镜，所述偏光滤镜被设置为使得偏光方向关于每条水平线而改变，并且所述图像显示单元包括显示双眼视差图像的配置，其中，所述双眼视差图像交替地包括用于构成由所述图像变换单元生成的所述左眼图像和所述右眼图像的线数据。

14.一种图像处理装置中的图像处理方法，包括：

图像输入步骤，用于使图像输入单元输入二维图像信号；

图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及

图像输出步骤，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，

在所述图像变换步骤中，

提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及

还执行以下处理操作中的至少一个：

基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及

基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

15.一种使得在图像处理装置中执行图像处理的程序，所述图像处理包括：

图像输出步骤，用于使图像输入单元输入二维图像信号；

图像变换步骤，用于使图像变换单元输入从所述图像输入单元输出的图像信号并生成和输出用于实现双眼立体观看的左眼图像和右眼图像；以及

图像输出步骤，用于使图像输出单元输出从所述图像变换单元输出的所述左眼图像和所述右眼图像，其中，

在所述图像变换步骤中，

提取所输入的图像信号的空间特征量，并基于图像变换处理执行所述左眼图像和所述右眼图像中的至少一个的图像生成，其中，在所述图像变换处理中，对所述输入的图像信号执行应用了所述特征量的增强处理，以及

还执行以下处理操作中的至少一个：

基于低通滤波器并作为提取所述特征量之前的预处理要对所述输入的图像信号执行的滤波处理操作，以及

基于低通滤波器并作为后处理要对所生成的左眼图像和右眼图像执行的滤波处理操作或图像缩减处理操作。

Images