CN102104786A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置，包括：图像输入单元，输入二维图像信号；深度信息输出单元，输入或生成构成二维图像信号的图像区域的深度信息；图像转换单元，接收来自图像输入单元和深度信息输出单元的图像信号和深度信息，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及图像输出单元，输出左眼图像和右眼图像。图像转换单元提取输入图像信号的空间特征值，并且对输入图像信号执行包括应用特征值和深度信息的加重处理的图像转换处理，从而生成左眼图像和右眼图像中的至少之一。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法以及程序，尤其涉及用于通过对二维图像执行图像转换生成对应于立体视觉的双眼视差图像的图像处理装置、图像处理方法以及程序。

背景技术

在相关技术中提出了用于将二维图像转换为对应于立体视觉的双眼视差图像的多种装置和方法。基于二维图像生成的双眼视差图像包括一对由左眼观看的左眼图像和由右眼观看的右眼图像。包括该对左眼图像和右眼图像的双眼视差图像被显示在能够将双眼视差图像分离为左眼图像和右眼图像并且将它们提供给观看者的左眼和右眼的显示装置上，观看者可以将图像识别为立体图像。

关于上述图像生成和显示处理的相关技术如下。

例如，日本未审查专利申请公开No 8-30806披露了将左眼图像和右眼图像相对于静止图像或具有少量运动的图像在水平方向上偏移预定量，使得图像看上去好像向上浮动。

而且，日本未审查专利申请公开No 10-51812披露了一种方法，该方法将图像划分为多个视差计算区域，根据每个区域中的图像的特征值计算伪-深度，并且基于该深度在相反方向上水平地偏移左眼图像和右眼图像。

另外，日本未审查专利申请公开No 2005-151534披露了一种方法，该方法计算图像的上部和下部的特征值，并且调节表示预先准备的深度信息的多个场景结构的合成比率，从而通过简单结构的结合显示图像。

然而，上述相关技术具有以下问题。

根据日本未审查专利申请No 8-30806中披露的图像转换装置，整个屏幕相对于静止图像或具有少量动作的图像简单地偏移，并且可能不表示图像中的对象的情境。

根据日本未审查专利申请公开No 10-51812中披露的图像转换装置，从图像的特征值估计伪-深度。然而，由于该估计基于位于屏幕前面的对象的锐度、亮度和饱和度高的假设，不能说该估计在全部时间都是正确的。由于错误视网膜像差被应用至对其错误地执行了深度估计的对象，因而图像可能被设置在错误的位置。

根据日本未审查专利申请公开No 2005-151534中披露的图像转换装置，由于图像的结构适于相对简单的有限结构，因而防止不自然深度出现。然而，在所有上述相关方法中都出现了共同的问题。即，在所生成的双眼视差图像中出现了相对大的视网膜像差。使用立体显示装置三维地显示双眼视差图像。通常，使用允许用户通过使用特定立体视觉眼镜观看图像的立体显示装置。立体显示装置被分类为无源眼镜型立体显示装置，其通过偏振滤光片或滤色片来分离由双眼观看的图像；有源眼镜型立体显示装置，其通过液晶快门等暂时将图像分离为左眼图像和右眼图像。

在观察具有大视网膜像差的双眼视差图像的情况下，当用户佩戴这种立体视觉眼镜时，可以感知由于视网膜像差产生的立体效果。然而，当用户在拿掉眼镜之后观看图像时，由于图像被看作左眼图像和右眼图像很大程度上相互重叠的重像，图像通常可能不被观看为二维图像。即，仅当用户佩戴眼镜时，才能真正地欣赏到由现有图像转换装置转换的图像。

而且，大视网膜像差被认为对观看者疲劳有影响。例如，根据日本未审查专利申请公开No 6-194602，当左眼图像和右眼图像相互明显偏移时，在现实世界中控制会聚的角度与调节目镜的可视度会发生矛盾，导致使用双眼视差的立体视觉疲劳。

另外，作为对于所有以上相关方法共有的因素，在对应于立体视觉的双眼视差图像的生成方法中采用最广泛使用的像素偏移部件。然而，当通过像素偏移生成双眼视差图像时，可能出现没有像素信息的区域(即，遮挡区域)。

将参考图1A至图1D描述当使用像素偏移部件生成左眼图像和右眼图像时，遮挡区域的生成。图1A至图1D分别示出输入图像、深度信息(距离图像)、右眼图像和左眼图像。

图1B的深度信息(距离图像)为通过根据亮度显示图1A的输入图 像的距离信息获得的图像，高亮度区域为对应于相机附近的对象的像素部分，并且低亮度区域为对应于离相机较远的对象的像素部分。

通过基于图1B的深度信息(距离图像，distance image)，在左方向上偏移图1A的输入图像的近范围处的像素部分(主体区域)，生成图1C的右眼图像。

通过基于图1B的深度信息(距离图像)，在右方向上偏移图1A的输入图像的近距离处的像素部分(主体区域)，生成图1D的左眼图像。

如图1A至图1D所示，没有像素信息的区域(即，遮挡区域)出现在通过以上像素偏移处理生成的图1C的右眼图像和图1D的左眼图像。

关于在双眼视差图像的两个图像中的一个或两个中生成的遮挡区域，由于在输入图像中不存在输入图像的像素信息，必须使用在(空间)外围区域中存在的像素执行填充处理。日本未审查专利申请公开No2005-151534披露了使用对应于输入图像的部分的像素信息的插入处理的示例。而且，图像信息与电视工程协会的杂志第5期第56卷第863-866页(2002.5)(合著者为Yamada Kunio，Mochiduchi Kenji，AizawaKiyoharu和Saito Takahiro，名为“ Disocclusion Based On The TextureStatistics Of The Image Segmented By The Region CompetitionAlgo

而且，根据日本未审查专利申请公开No 10-51812和2005-151534中披露的图像转换装置，从图像估计伪-深度。然而，很难从一个图像检测详细深度。例如，不容易对树枝、电线或毛发的微细结构执行深度估计。

在通过使用这种深度信息进行像素偏移，生成双眼视差图像的情况下，在这种微细对象中出现等效于(空间上的)外围区域的视差。从而，由于微细对象和背景之间的间隔可能不设置成不同深度效果，所以不可能允许双眼视差图像具有根据实际对象距离的立体效果。

发明内容

希望生成能够防止由于错误深度估计导致的错误立体效果的视差图像。而且，希望在合成左眼图像和右眼图像并且显示所合成图像的情况下，提供被欣赏为立体图像和二维图像的图像。即，希望提供用于生成 和提供当观看者拿掉立体视觉眼镜时通常可以被欣赏为二维图像并减少观看者的疲劳的双眼视差图像的图像处理装置、图像处理方法以及程序。

而且，在通过像素偏移生成双眼视差图像时，希望实现在不生成相关技术中必须生成的遮挡区域(occlusion area)的情况下不要求像素值的填充处理的双眼视差图像的生成。由于缺少深度信息的分辨力，在通过像素偏移生成的双眼视差图像中很容易感知不自然的立体效果。在这点上，希望提供用于防止不自然立体效果被感知的图像处理装置、图像处理方法以及程序。

根据本发明的第一实施例，提供了一种图像处理装置，包括：图像输入单元，输入二维图像信号；深度信息输出单元，输入或生成构成二维图像信号的图像区域的深度信息；图像转换单元，接收来自图像输入单元和深度信息输出单元的图像信号和深度信息，并且生成用于实现双眼立体视觉的左眼图像和右眼图像；以及图像输出单元，输出从图像转换单元输出的左眼图像和右眼图像，其中，图像转换单元提取输入图像信号的空间特征值，并且对输入图像信号执行包括应用特征值和深度信息的加重处理的图像转换处理，从而生成左眼图像和右眼图像中的至少之一。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以提取输入图像信号的亮度微分信号，将亮度微分信号设定为特征值，通过对微分信号基于以图像区域为单位的深度信息执行增益控制来生成校正微分信号，将通过将校正微分信号加入输入图像信号或者从输入图像信号减去校正微分信号来获得的转换信号中的任一个转换信号生成为左眼图像或右眼图像，并且将对应于未经过处理的输入图像信号的非转换信号输出为不同于转换信号的眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以提取输入图像信号的亮度微分信号，将亮度微分信号设定为特征值，通过对微分信号基于以图像区域为单位的深度信息执行增益控制来生成校正微分信号，生成通过将校正微分信号加入输入图像信号以及从输入图像信号中减去校正微分信号来获得的信号，并且将这两个信号生成为一对左眼图像和右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以对从深度信息输出单元输出的深度信息大的图像区域基于大增益执行亮度微分信号的校正处理，并且对深度信息小的图像区域基于小增益执 行亮度微分信号的校正处理，从而生成校正微分信号。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以生成通过将通过非线性转换校正微分信号获得的信号加入输入图像信号而获得的信号或者从输入图像信号减去通过非线性转换校正微分信号获得的信号而获得的多个信号，并且将该多个信号中的任一个信号生成为左眼图像或右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以包括：(a)相位控制信号生成部，生成输入信号的微分信号；(b)非线性转换部，对由所述相位控制信号生成部生成的微分信号执行非线性转换处理；(c)图像合成部，将非线性转换部的输出加入输入信号或者从输入信号减去非线性转换部的输出；以及处理路径，通过处理路径重复由包括(a)相位控制信号生成部、(b)非线性转换部和(c)图像合成部的图像转换模块进行的图像转换处理，其中，图像转换单元根据从深度信息输出单元输出的深度信息选择并且合成构成处理路径的每个图像转换模块的输出，从而生成左眼图像或右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以包括：(a)相位控制信号生成部，生成输入信号的微分信号；(b)增益控制部，对由相位控制信号生成部生成的微分信号，基于根据从深度信息输出单元输出的深度信息设定的增益系数，执行增益控制，从而生成校正微分信号；(c)非线性转换部，对增益控制部的输出执行非线性转换处理；(d)图像合成部，将非线性转换部的输出加入输入信号或者从输入信号减去非线性转换部的输出；处理路径，通过处理路径重复由包括(a)相位控制信号生成部、(b)增益控制部、(c)非线性转换部和(d)图像合成部的图像转换模块进行的图像转换处理；权重值计算部件，根据从深度信息输出单元输出的深度信息设定构成处理路径的每个图像转换模块的权重值；以及图像合成部件，根据由权重值计算部计算的权重值，合成构成处理路径的每个图像转换模块的输出，从而生成左眼图像或右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以包括：(a)相位控制信号生成部，生成输入信号的微分信号；(b)乘法处理部，通过将由所述相位控制信号生成部生成的微分信号乘以根据从深度信息输出单元输出的深度信息设定的增益系数，生成校正微分信号；(c)非线性转换部，对乘法处理部的输出执行非线性转换处理；(d) 图像合成部，将非线性转换部的输出加入输入信号或者从输入信号减去非线性转换部的输出；处理路径，通过处理路径重复由包括(a)相位控制信号生成部、(b)乘法处理部、(c)非线性转换部和(d)图像合成部的图像转换模块进行的图像转换处理；权重值计算部件，根据从深度信息输出单元输出的深度信息，设定构成处理路径的每个图像转换模块的权重值；以及图像合成部件，根据由权重值计算部计算的权重值，合成构成处理路径的每个图像转换模块的输出，从而生成左眼图像或右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以对构成运动图像的每帧生成左眼图像和右眼图像。

另外，在根据本发明的实施例的图像处理装置中，该图像处理装置可以进一步包括：图像输出单元，以输入图像帧的帧率的两倍帧率，交替地输出由图像转换单元生成的左眼图像和右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以对构成运动图像的每帧交替地生成左眼图像或右眼图像。

另外，在根据本发明的实施例的图像处理装置中，所述图像转换单元可以对构成运动图像的每帧生成左眼图像和右眼图像，并且生成交替地包括构成所生成的左眼图像和右眼图像的线数据的双眼视差图像。

另外，在根据本发明的实施例的图像处理装置中，图像转换单元可以基于所生成的左眼图像和右眼图像的相加信号等效于或几乎等效于输入信号的设定，生成左眼图像和右眼图像。

另外，在根据本发明的实施例的图像处理装置中，图像处理装置可以进一步包括：图像显示单元，显示由图像转换单元生成的图像。

另外，在根据本发明的实施例的图像处理装置中，图像显示单元可以执行交替地输出左眼图像和右眼图像的时分立体显示处理。

另外，在根据本发明的实施例的图像处理装置中，当图像显示单元执行交替地输出左眼图像和右眼图像的时分立体显示处理时，图像显示单元可以与图像观看者所佩戴的眼镜的左部分和右部分的快门切换同步地切换左眼图像和右眼图像的输出切换定时。

另外，在根据本发明的实施例的图像处理装置中，图像显示单元可以具有偏振滤光片被附着至其前表面的配置，并且显示交替地包括构成由图像转换单元生成的左眼图像和右眼图像的线数据的双眼视差图像， 偏振滤光片的偏振方向被设置成对于每条水平线改变。

根据本发明的第二实施例，提供了一种图像处理装置中的图像处理方法，其包括：通过图像输入单元输入二维图像信号；通过深度信息输出单元接收或生成构成二维图像信号的图像区域的深度信息；接收从图像输入单元输出的图像信号和从深度信息输出单元输出的深度信息，并且通过图像转换单元生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及通过图像输出单元输出从图像转换单元输出的左眼图像和右眼图像，其中，在接收图像信号和深度信息的步骤中，提取输入图像信号的空间特征值，并且对输入图像信号执行包括应用特征值和深度信息的加重处理的图像转换处理，导致生成左眼图像和右眼图像中的至少之一。

根据本发明的第三实施例，提供了一种使计算机执行图像处理装置的图像处理的程序，该图像处理包括：通过图像输入单元输入二维图像信号；通过深度信息输出单元接收或生成构成二维图像信号的图像区域的深度信息；接收从图像输入单元输出的图像信号和从深度信息输出单元输出的深度信息，并且通过图像转换单元生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及通过图像输出单元输出从图像转换单元输出的左眼图像和右眼图像，其中，在接收图像信号和深度信息的步骤中，提取输入图像信号的空间特征值，并且对输入图像信号执行包括应用特征值和深度信息的加重处理的图像转换处理，导致生成左眼图像和右眼图像中的至少之一。

另外，例如，本发明的程序可以提供给能够通过计算机可读格式提供的记录介质或通信介质执行多种类型的程序和编码的通用系统。以计算机可读格式提供这种程序，使得在计算机或系统上执行基于程序的处理。

将参考附图和随后描述的本发明的实施例，通过更详细的描述阐述本发明的其他和进一步对象、特征和优点。应该注意，在此涉及的系统表示多个装置的逻辑集合，并且在同一机架(housing)中不必须容纳每个组件装置。

根据本发明的实施例，可以生成一图像信号，该图像信号可以被立体地看作通过简单信号处理反映对象距离的图像信号。根据本发明的实施例的图像处理装置对输入图像信号的空间特征值执行应用作为对象距离的深度信息的不同加重处理，从而生成左眼图像和右眼图像。详细地， 通过对输入信号的微分信号执行基于深度信息的增益控制来生成校正微分信号。将其校正微分信号或非线性转换信号加入输入图像信号或者从输入图像信号中减去其校正微分信号或非线性转换信号，并且这些信号对是左眼图像和右眼图像。利用这种配置，可以生成设定基于对象距离的视差的视差图像。而且，左眼图像和右眼图像的相加信号等效于输入信号，并且当用户不佩戴立体视觉眼镜观看图像时，可以被观看为正常二维图像。

附图说明

图1A至图1D是解释遮挡的示意图。

图2是示出根据本发明的实施例的图像处理装置的配置示例的示意图。

图3是示出根据本发明的实施例的图像处理装置的配置示例的示意图。

图4是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图5是示出根据本发明的实施例的图像处理装置的增益控制部件的配置示例的示意图。

图6是示出根据本发明的实施例的图像处理装置的增益控制部件的增益控制处理的示意图。

图7A至图7D是示出根据本发明的实施例的应用至图像处理装置的处理的信号的示意图。

图8是示出根据本发明的实施例的图像处理装置的非线性转换部件的非线性转换处理的示意图。

图9A至图9E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图10A至图10E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图11是示出左眼信号和右眼信号、输入信号和微分信号以及视网膜像差之间的对应关系的示意图。

图12是示出右眼信号和左眼信号、输入信号和微分信号以及视网膜像差之间的对应关系的示意图。

图13是示出右眼信号和左眼信号、输入信号和微分信号以及视网膜像差之间的对应关系的示意图。

图14是示出右眼信号和左眼信号、输入信号和微分信号以及视网膜像差之间的对应关系的示意图，其中，右眼信号和左眼信号以及微分信号通过根据本发明的实施例的图像处理装置的图像转换单元生成。

图15A至图15E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图16A至图16E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图17A至图17E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图18A、图18B、图18C和图18D是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图19A、图19B、图19C和图19D是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图20A、图20B、图20C、图20D和图20E是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的，从输入图像生成左眼图像信号和右眼图像信号的处理的示例的示意图。

图21是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图22是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图23是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图24是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图25是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图26是示出根据本发明的实施例的由图像处理装置的图像转换单元执行的处理顺序的流程图。

图27是示出根据本发明的实施例的图像处理装置的图像转换单元的配置示例的示意图。

图28是示出根据本发明的实施例的图像处理装置的配置示例的示意图。

具体实施方式

以下，将参考附图详细地描述根据本发明的实施例的图像处理装置、图像处理方法以及程序。根据以下顺序给出描述。

1、图像处理装置的配置示例

2、深度信息输出单元的处理

3、图像转换单元的处理

4、增益控制部件的处理

5、非线性转换部件的处理

6、图像合成部件的处理

7、由于视网膜像差(视差)导致的立体效果

8、具有根据对象距离的增益的校正微分信号&图像生成配置示例

9、图像转换单元的处理顺序

10、在二维(2D)显示处理时的效果

11、包括图像显示单元的实施例

1、图像处理装置的配置示例

图2是示出根据本发明的实施例的图像处理装置的示意图。在图像处理装置100中，图像输入单元110接收从数码相机等输出的静止图像文件，以及从便携式摄像机等输出的运动图像数据，并且将其转换为内部数据格式。在此，内部数据格式表示基带的运动图像数据，并且包括三基色(红色(R)、绿色(G)和蓝色(B))的视频数据或者亮度(Y)和色差(Cb和Cr)的视频数据。在内部数据格式中，如果色空间的识别信号被叠加并且后续阶段的色空间转换单元120对应于图像输入单元110，则可以采用任何色空间。

深度信息输出单元115从外部接收对应于图像输入单元110的输入图像信号的深度信息或者在深度信息输出单元115中生成深度信息，并且将深度信息输出至图像转换单元130。例如，深度信息包括距离图像，诸如对应于图1B所示的对象距离的亮度分布数据。不指定数据格式。

在深度信息输出单元115中接收或生成的深度信息可以是这样的信息，该信息具有对应于输入图像信号的相对位置关系并且可以用于确定每个像素是否具有特定等级深度。输入图像信号可以不以一对一方式对应于像素数量。而且，在运动图像的情况下，输入图像信号可以不以一对一方式对应于帧数量。即，可以采用以多个帧(例如，两个帧或者四个帧)为单位使用一条公共深度信息的配置。

从图像输入单元110输出的视频数据被输入至色空间转换单元120并且被转换为亮度信号和色差信号。此时，当输入视频数据符合Y、Cb和Cr色空间时，色空间转换单元120输出该输入视频数据而不执行色空间转换。当输入视频数据符合R、G和B色空间或其他色空间时，色空间转换单元120将输入视频数据转换为亮度(Y)和色差(Cb和Cr)信号并输出转换后的信号。

在此，从色空间转换单元120输出的视频数据的色空间不限于Y、Cb和Cr色空间。例如，如果亮度分量和彩色分量互分离，可以采用任何色空间。

从色空间转换单元120输出的视频数据被输入至图像转换单元130。

同时，将深度信息从深度信息输出单元115输入至图像转换单元130。

例如，图像转换单元130通过之后描述的处理生成包括左眼图像L(左)和右眼图像R(右)的双眼视差图像，根据立体显示装置的类型 合成这些图像，并且输出合成后的图像。即，图像转换单元130从输入图像信号提取空间特征值并且对所提取的特征值执行不同加重处理，从而生成左眼图像和右眼图像。

从图像转换单元130输出的视频数据被输入至反向色空间转换单元140，并且Y、Cb和Cr色空间被转换为对应于输出图像格式的色空间。此时，当输出图像格式基于Y、Cb和Cr色空间时，反向色空间转换单元140输出视频数据而不执行色空间转换。如上所述，图2示出包括色空间转换单元120和反向色空间转换单元140的配置。该配置不是必须的并且该配置可以被省略。

从反向色空间转换单元140输出的视频数据被输入至图像输出单元150。图像输出单元150将视频数据转换为可以在立体显示装置(其能够通过显示由图像转换单元130转换的双眼视差图像来实现立体视觉)中接收的视频数据，并且输出转换后的数据，其中，立体显示装置从外部连接至图像处理装置100。

另外，该实施例描述了在图像输入单元110中将输入静止图像转换为视频数据的方法。然而，本发明不限于该方法。可以采用这样一种配置，在该配置中，将一静止图像转换为左眼图像和右眼图像，然后例如以文件形式输出至存储卡等作为两个静止图像。

2、深度信息输出单元的处理

接下来，将描述深度信息输出单元115的处理的示例。深度信息输出单元115从外部接收深度信息并且输出深度信息，或者在深度信息输出单元115中生成深度信息并且输出深度信息。

当从外部接收深度信息时，不指定深度信息的获取方法。例如，可以使用用于使用市场上的范围扫描仪(range scanner)获取深度信息的方法，用于在图像获取时通过使用一部以上相机(共计两部相机)拾取图像信号之后使用立体方法获取深度信息的方法。

而且，深度信息输出单元115还可以通过使用作为二维图像的输入图像信号在其中生成深度信息，而不从图像处理装置100的外部接收深度信息。

用于从二维图像获取距离信息的方法包括：由A.Saxena于2008年在IEEE模式分析与机器智能(PAMI)会报中发表的名为“Make3D：Learning 3-D Scene Structure from a Single Still Image”的方法，在日本 未审查专利申请公开No.2005-151534中披露的方法等。

通过使用这些文献中披露的方法，深度信息输出单元115可以通过使用作为二维图像的输入图像信号生成深度信息，并且将深度信息输出至图像转换单元130。在采用这种配置的情况下，图像处理装置100具有以下配置，其中，深度信息输出单元115通过图像输入单元110接收图像，基于输入图像生成深度信息，并且将所生成的深度信息输出至图3中所示的图像转换单元130。

3、图像转换单元的处理

接下来，将描述图像转换单元130的处理的示例。图4是说明根据本实施例的图像转换单元130的配置的框图。图像转换单元130提取输入图像信号的空间特征值并且对所提取特征值执行不同加重处理，从而生成左眼图像和右眼图像。图像转换单元130包括微分器131、增益控制部件132、非线性转换部件133以及图像合成部件134。

微分器131从输入到图像转换单元130的视频数据提取亮度信号，并且生成亮度信号的微分信号H。详细地，例如，微分器131接收图像在水平方向上的亮度信号并且通过初步对输入亮度信号进行微分来生成信号。在初步微分处理中，例如，在水平方向上使用三抽头一阶线性微分滤波器。

另外，在该实施例中，描述了亮度信号被用作处理数据的示例。然而，代替亮度信号，彩色信号(RGB等)也可以被用作待处理的信号。

增益控制部件132基于预定规则通过将从微分器131输出的微分信号H乘以一系数(增益系数)控制微分信号的幅度值，从而生成校正微分信号H’，校正微分信号H’为微分信号的校正信号。

非线性转换部件133非线性地转换从增益控制部件132输出的校正微分信号H′，并且将视差加重信号E′输出至图像合成部件134。

图像合成部件134通过应用构成视频数据的每个帧图像、以及从帧图像生成的空间特征值(即，亮度信号的校正微分信号H′或者通过非线性地转换校正微分信号生成的视差加重信号E′)来生成左眼图像和右眼图像。

另外，如图4中的虚线所示，可以采用这样一种配置，其中，非线性转换部件133的转换处理被省略，通过增益控制部件132的校正处理生成的校正微分信号H′被直接输入至图像合成部件134，并且图像合成 部件134通过应用校正微分信号生成左眼图像L和右眼图像R。

4、增益控制部件的处理

接下来，描述通过增益控制部件132执行的处理。

图5是示出根据本实施例的增益控制部件132的配置的框图。增益控制部件132也基于输入深度信息控制输入微分信号的幅度值。另外，在以下描述的实施例中，以具有一深度值的所谓的深度地图的形式，为输入微分信号的每个像素输入深度信息。

增益系数计算部201使用用于每个像素的输入深度信息，以输出用于相应像素的增益系数。

乘法处理部202对用于每个像素的输入微分信号，执行将微分信号H的幅度值乘以从增益系数计算部201输出的用于每个像素的增益系数的乘法处理，从而输出通过对该幅度值进行增益控制而获取的校正微分信号H′。

图6是示出用于确定增益系数的方法的示例的曲线图，该方法由增益系数计算部201执行。水平轴表示作为输入信号的深度信息。垂直轴表示在增益系数计算部201中的增益系数的输出。

增益系数计算部201通过使用预定函数f(x)对输入深度信息In进行转换，以输出增益系数Out。

此时，函数f(x)可以被不同地设定。

作为函数f(x)的一个示例，例如，使用由以下公式表示的线性函数。

f(x)＝A×x(A为整数)

在以上公式中，A为预先确定的整数并且可以被设定成各种值。

而且，增益系数计算部201中的转换函数不限于线性函数，也可以执行非线性转换。

关于深度信息，输入微分信号的对应于每个像素的值并且输出对应于每个像素的增益系数。

图6是示出增益系数计算部的输入值(深度信息)对应于输出值(增益系数)的示例的曲线图。图6示出分别对应于三个输入值(深度信息)的三个输出值(增益系数)的示例。

D1至D3为输入值(深度信息)的示例，并且假设对应于这些特定 三个像素的深度值。另外，深度为对应于从观看者(用户)或相机到对象的距离的值。

深度(＝对象距离)以D1＜D2＜D3的顺序从前侧到后侧增加(远离用户或相机)。

此时，G1至G3为通过将D1至D3输入至图6的函数f(x)获取的输出值(增益系数)的示例。

通过该示例，增益系数计算部201输出微分信号的对应于每个像素的增益系数。

图7A至图7D示出增益控制部件132控制微分信号的幅度值的处理的示例。

图7A至图7D示出输入信号、微分信号、深度信息以及校正微分信号的示例。

图7A示出输入图像信号的示例。

图7B示出通过对图7A的输入图像信号执行微分处理获取的图像。

图7C示出对应于图7A的输入图像信号的深度信息，该深度信息通过将深度值赋予通过划分图像获取的三个区域中的每个区域而被简单地获得。

在此，将图6中限定的深度信息D3、D2和D1的值(D1＜D2＜D3)从上部依次赋予图7C的表示深度信息的图像信号。

此时，如同图6中所示的深度和增益值之间的关系一样，乘以图7B中的微分信号的每个像素的增益值从图像的上部依次为G3、G2和G1(G1＜G2＜G3)。

图7D中所示的校正微分信号为通过将图7B的微分信号的每个像素乘以基于图7C的深度信息的增益值获得的结果的示例。

在图7D中所示的校正微分信号中，将大增益值乘以屏幕的上部(远处区域)，将小增益值乘以屏幕的下部(近处区域)。

结果，微分信号的幅度值在屏幕的上部(远处区域)大，在屏幕的下部(近处区域)小。

如上所述，根据本发明的实施例的图像处理装置通过使用具有与距离相应的不同幅度的微分信号，来生成左眼图像和右眼图像，并且输出 左眼图像和右眼图像。结果，图像处理装置生成具有与距离相应的不同视差的图像。以下将详细描述具体处理示例。

5、非线性转换部件的处理

接下来，将描述非线性转换部件133执行的处理。非线性转换部件133对经过与距离相应的增益控制之后的从增益控制部件132输出的校正微分信号H′进行非线性转换来生成视差加重信号E′，并且将视差加重信号E′输出至图像合成部件134。

图8示出通过非线性转换部件133执行的非线性转换处理的示例。水平轴表示经过与距离相应的增益控制(校正)之后的从增益控制部件132输出的微分信号((亮度)校正微分信号)。水平轴表示通过非线性转换部件133执行非线性转换处理之后的输出。非线性转换部件133通过使用预定函数f(x)转换输入校正微分信号In来输出视差加重信号Out。即，Out＝f(In)。此时，函数f(x)可以被不同地设定。作为函数f(x)的一个示例，例如，使用由以下公式表示的指数函数。

f(x)＝x^γ

在以上公式中，γ为预定系数并且可以被设置为各种值。

而且，非线性转换部件133中的转换函数不限于指数函数，也可以执行线性转换。

图像合成部件134接收从非线性转换部件133输出的视差加重信号和输入至图像转换单元130中的视频数据，合成构成视频数据的每帧图像和视差加重信号，并且生成左眼图像和右眼图像。

另外，如图4的虚线所表示的，可以采用这样一种配置，其中，省略非线性转换部件133的转换处理，校正微分信号H′(其由增益控制部件132对由微分器131生成的微分信号执行与距离相应的增益控制获得)被直接输入至图像合成部件134。在这种情况下，图像合成部件134通过在经过与深度(对象距离)相应的增益控制之后应用校正微分信号H′来生成左眼图像和右眼图像。

6、图像合成部件的处理

接下来，将描述图像合成部件134的处理。

图像合成部件134通过应用每帧图像(其构成视频数据)和从帧图像生成的空间特征值(即，亮度信号的校正微分信号，或通过非线性地 转换校正微分信号生成的视差加重信号)来生成左眼图像和右眼图像。

图9A至图9E和图10A至图10E示出由图像合成部件134执行的图像合成处理的原理。

图9A至图9E示出具有大距离的图像区域(具有大深度的图像区域)。

图10A至图10E示出具有小距离的图像区域(具有小深度的图像区域)。

图9A至图9E和图10A至图10E从上部依次分别示出关于各个图像区域的输入信号S、微分信号H、校正(增益控制)微分信号H′、右眼图像信号R、和左眼图像信号L。

对应于图7C的深度信息给出描述。例如，图9A至图9E示出对应于图7C中所示的图像的上部的具有大距离(D3)的图像区域(具有大深度的图像区域)的处理示例。同时，图10A至图10E示出对应于图7C中所示的图像的下部的具有小距离(D1)的图像区域(具有小深度的图像区域)的处理示例。

首先，将描述图9A至图9E中所示的具有大距离的图像区域(具有大深度的图像区域)中的处理示例。

图9A表示对于视频数据的任一帧的任一水平线的输入信号S的亮度的改变。图9A举例说明中心处存在高亮度区域的一条线。在线位置x1和线位置x2之间的区域A中，亮度逐渐增加。在线位置x2和线位置x3之间，存在保持高亮度等级的高亮度部分。在线位置x3和线位置x4之间的区域B中，亮度逐渐减小。

图9B中所示的微分信号H为通过对输入信号进行微分获得的结果。微分信号由图4中所示的图像转换单元130的微分器131生成。

如图9B所示，由微分器131生成的微分信号H在区域A中具有正值，在区域A中，图9A中所示的输入信号S的亮度改变是正的，在区域B中具有负值，在区域B中，图9A中所示的输入信号S的亮度改变是负的。

在图9C中所示的校正之后的校正(增益控制)微分信号H′由图4中所示的图像转换单元130的增益控制部件132生成，并且通过基于深度信息对图9B的微分信号执行校正(增益控制)获得。另外，图9A至 图9E的示例为具有大距离(例如，图6和图7C的D3)的图像区域(具有大深度的图像区域)的处理示例，参考图6和图7A至图7D的描述执行使用较大增益G3的校正处理，并且微分信号的幅度被校正为较大幅度。

图9C中所示的虚线为校正之前的信号(图9B的微分信号H)，并且图9C中所示的实线为与距离相应的校正之后的校正微分信号H′。如上所述，通过与距离相应的增益控制，将校正微分信号H′的幅度校正为大。

图9D中所示的右眼图像信号和图9E中所示的左眼图像信号通过图4中所示的图像转换单元130的图像合成部件134生成。图像合成部件134合成图9A中所示的输入信号S和图9C中所示的视差加重信号E′，从而生成图9D所示的右眼图像信号和图9E所示的左眼图像信号，其中，视差加重信号E’是非线性转换部件133对校正后的(增益控制)校正微分信号H’进行非线性转换获得的结果(非线性转换部件133的输出)。

接下来，将描述图10A至图10E中所示的具有小距离的图像区域(具有小深度的图像区域)的处理示例。图10A至图10E示出对应于图7C中所示的图像的下部的具有小距离(D1)的图像区域(具有小深度的图像区域)的处理示例。

图10A中所示的输入信号和图10B中所示的微分信号为类似于图9A中所示的输入信号和图9B中所示的微分信号的信号。图10B中所示的微分信号H通过对图10A中所示的输入信号S进行微分来获得。通过图4中所示的图像转换单元130的微分器131生成微分信号。如图10B所示，由微分器131生成的微分信号在区域A中具有正值，在区域A中，图10A中所示的输入信号的亮度改变为正，以及在区域B中具有负值，在区域B中，图10A中所示的输入信号的亮度改变为负。

图10C中所示的校正之后的校正(增益控制)微分信号H′通过图4中所示的图像转换单元130的增益控制部件132生成，以及通过基于深度信息对图10B的微分信号执行校正(增益控制)来获得。

图10A至图10E的示例为具有小距离(例如，图6和图7C的D1)的图像区域(具有小深度的图像区域)中的处理示例，执行参考图6和图7A至图7D描述的使用小增益G1的校正处理，并且微分信号的幅度被校正为小幅度。

图10C中所示的虚线为校正之前的信号(图10B的微分信号)，并且图10C中所示的实线为在与距离相应的校正之后的校正微分信号。如上所述，通过与距离相应的增益控制，将微分信号的幅度校正为小。

图10D中所示的右眼图像信号和图10E中所示的左眼图像信号通过图4中所示的图像转换单元130的图像合成部件134生成。图像合成部件134合成图10A中所示的输入信号S和图10C中所示的视差加重信号E′，从而生成图10D中所示的右眼图像信号和图10E中所示的左眼图像信号，其中，视差加重信号E’是非线性转换部件133对校正后的(增益控制)校正微分信号H’进行非线性转换获得的结果(非线性转换部件133的输出)。

如上所述，根据本发明的实施例的图像处理装置当距离大时生成具有大幅度的校正微分信号(图9C)，以及当距离小时生成具有小幅度的校正微分信号(图10C)，并且通过校正微分信号(或通过非线性地转换视差加重信号获得的视差加重信号)以及图9A和图10A中所示的输入信号的合成处理，生成图9D和图10D中所示的右眼图像信号以及图9E和图10E中所示的左眼图像信号。

将使用公式描述用于生成图9D和图10D中所示的右眼图像信号以及图9E和图10E中所示的左眼图像信号的处理。

对应于图9A和图10A中所示的输入信号的视频数据的亮度等级被表示为S，并且图9B和图10B中所示的微分信号的信号等级被表示为H。

而且，作为在增益控制部件132中执行的对微分信号的校正结果的校正微分信号的信号等级被表示为H′。

另外，当生成校正微分信号H′时，从基于深度信息D等预先设定的函数确定乘以图9B和图10B中所示的微分信号H的增益值G。

当距离大时(如图9A至图9E所示)的增益值被表示为G3，以及当距离小时(如图10A至图10E所示)的增益值被表示为G1。

在图9A至图9E以及图10A至图10E中所示的示例中，假设关系为G3＞1＞G1。

如果图9C和图10C中所示的校正微分信号的信号等级被表示为H′，则H′由以下公式表示为使用增益值G3和G1校正的信号。

当距离大时(如图9A至图9E所示)的校正微分信号H′和当距离小 时(如图10A至图10E所示)的校正微分信号H′分别由以下公式表示。

H′＝G3×H

H′＝G1×H

通过以上公式计算的信号具有图9C和图10C中所示的校正微分信号的信号等级H′。

当距离大时(如图9C所示)，如果将由实线表示的校正微分信号H′与由虚线表示的校正之前的微分信号(参考图9B)进行比较，则由实线表示的校正微分信号H′的幅度大于由虚线表示的校正之前的微分信号的幅度。

同时，当距离大时(如图10C所示)，如果将由实线表示的校正微分信号H′与由虚线表示的校正之前的微分信号(参考图9B)进行比较，则由实线表示的校正微分信号H′的幅度小于由虚线表示的校正之前的微分信号的幅度。

这是因为图9C和图10C中所示的校正微分信号通过乘以不同增益值生成。

即，对于从深度信息输出单元115输出的大深度信息(与相机的距离大)，图9B中所示的微分信号乘以大增益值并且被校正，从而生成图9C中所示的校正微分信号。

同时，对于从深度信息输出单元115输出的具有小深度信息(与相机的距离小)的像素，图10B中所示的微分信号乘以小增益值并且被校正，从而生成图10C中所示的校正微分信号。

例如，图9C和图10C中所示的校正微分信号经过通过先前参考图8描述的设定由非线性转换部件133进行的非线性转换处理，导致生成视差加重信号E′。

图像合成部件134接收对应于图9A和图10A中所示的输入信号的视频数据S以及通过非线性地转换图9C和图10C中所示的校正微分信号H′获得的视差加重信号E′，从而通过以下公式生成右眼图像信号Right和左眼图像信号Left。

Right＝S-E′

Left＝S+E′

通过以上处理生成的信号Right和Left分别为由图9D和图10D中的实线表示的右眼图像信号以及由图9E和图10E中的实线表示的左眼图像信号。

同时，由图9D和图9E以及图10D和图10E中的虚线表示的信号不是图9C和图10C中所示的校正微分信号H，而是对应于使用通过对校正之前的微分信号(即，图9B和图10B中所示的微分信号H)应用非线性转换获得的视差加重信号E生成的右眼图像信号和左眼图像信号。即，建立以下公式。

Right＝S-E

Left＝S+E

在将实线与虚线(其为图9D和图10D中所示的右眼图像信号以及图9E和图10E中所示的左眼图像信号)进行比较的情况下，当距离大时(如图9A至图9E所示)，在图9D中所示的右眼图像信号和图9E中所示的左眼图像信号中，实线(校正微分信号)的幅度均大于虚线(校正之前的微分信号)的幅度。

同时，当距离小时(如图10A至图10E所示)，在图10D中所示的右眼图像信号和图10E中所示的左眼图像信号中，实线(校正微分信号)的幅度均小于虚线(校正之前的微分信号)的幅度。

也就是说，当距离大时，图9D中所示的右眼图像信号和图9E中所示的左眼图像信号之间的差(difference)增加。当距离小时，图10D中所示的右眼图像信号和图10E中所示的左眼图像信号之间的差减小。

在显示如上所述的图9D和图10D中所示的右眼图像信号以及图9E和图10E中所示的左眼图像信号的情况下，当距离大时，由于图9D和图10D中所示的右眼图像信号与图9E和图10E中所示的左眼图像信号之间的视网膜像差大，因而图像看起来位于长距离处。当距离小时，由于图9D和图10D中所示的右眼图像信号与图9E和图10E中所示的左眼图像信号之间的视网膜像差小，因而图像看起来位于短距离处。

另外，以上实施例描述了图像合成部件134使用视差加重信号E′和输入信号S，根据以下公式生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left的示例，其中，非线性转换部件133对图9C和图10C中所示的校正微分信号H′执行作为视差加重处理的非线性转换处理(参照图8)获得视差加重信号E′。

Right＝S-E′

Left＝S+E’

然而，如上所述，由非线性转换部件133执行的视差加重处理不是必须的。即，可以采用这样一种配置，其中，图像合成部件134使用由图4中的虚线表示的输入(即，根据以下公式的图9C和图10C中所示的校正微分信号H′)和输入信号S，生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-H′

Left＝S+H′

7、由于视网膜像差(视差)导致的立体效果

在生成关于图9A至图9E和图10A至图10E描述的右眼图像信号和左眼图像信号之后，通过观看者的右眼和左眼观看这些图像信号的图像，使得发生视差，从而观看者可以感觉到深度。这是基于右眼图像和左眼图像的视网膜像差的现象。此后，将描述根据本发明的实施例的在图像处理装置100中生成的右眼图像R(Right)和左眼图像L(Left)的视网膜像差。

如上所述，根据本发明的实施例的图像处理装置通过将图9B和图10B中所示的微分信号H乘以与距离相应的增益值，生成图9C和图10C中所示的校正微分信号H′，并且使用图9C和图10C中所示的校正微分信号H′和输入信号S，生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-H′

Left＝S+H′

可选地，根据本发明的实施例的图像处理装置使用通过非线性地转换图9C和图10C中所示的校正微分信号H′获得的视差加重信号E′和输入信号S，根据以下公式生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-E′

Left＝S+E′

使用与距离相应的增益值生成图9C和图10C中所示的校正微分信 号H′的原因是用于对具有大距离的对象进一步增加视差。

本申请人具有本申请的在先申请，其为日本优先权专利申请JP2008-203614。在先申请披露了这样一种配置，其中，通过独立于对象距离的处理设定右眼图像和左眼图像之间的视差。首先，将描述在先申请的处理。

根据在先申请的处理(日本优先权专利申请JP 2008-203614)，右眼图像信号Right和左眼图像信号Left通过应用输入信号S的微分信号H来生成。即，不使用对象距离信息。

此后，将描述一个示例，其中，省略非线性转换处理，并且通过输入信号S和微分信号H的相加和相减，生成右眼图像信号Right和左眼图像信号Left。

在在先申请(日本优先权专利申请JP 2008-203614)中，根据以下公式，通过应用输入信号S和输入信号的微分信号H生成右眼图像信号Right和左眼图像信号Left。

Right＝S-H

Right＝S+H

右眼图像信号Right和左眼图像信号Left对应于由图9D和图9E以及图10D和图10E中的虚线表示的信号。在图9D和图9E以及图10D和图10E中，虚线的信号等级彼此相等。即，信号为未执行与对象距离相应的校正的信号。

图11是示出图9D和图9E以及图10D和图10E中的虚线所示的右眼图像信号Right和左眼图像信号Left中出现的视网膜像差的曲线图，右眼图像信号Right和左眼图像信号Left是通过将未执行与对象距离相应的校正的微分信号(图9B＝图10B)加入输入信号或从输入信号中减去该微分信号生成的。在此，为了简化描述，图11示出了一维正弦波信号被输入作为输入信号S的情况。

根据以下公式，通过应用输入信号S和输入信号的微分信号H生成右眼图像信号Right和左眼图像信号Left。

Right＝S-H

Left＝S+H

在图11中，水平轴表示图像的水平方向上的像素位置，以及垂直轴 表示像素的亮度等级。

输入信号S由正弦波信号表示，即，以下公式。

S＝sinωx

此时，微分信号H由余弦波信号表示，即，以下公式。

H＝cosωx

此时，左眼图像信号L和右眼图像信号R由以下公式表示。

[公式1]

$L=S+H=\sin \mathrm{\ωx}+\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}+\frac{\mathrm{\π}}{4})$

$R=S-H=\sin \mathrm{\ωx}-\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}-\frac{\mathrm{\π}}{4})$

根据以上公式，左眼图像信号L的相位与输入信号S相比提前π/4，以及右眼图像信号R的相位与输入信号S相比延迟π/4。即，左眼图像信号L的幅度是输入信号的幅度的两倍并且在水平方向上偏移由角频率ω确定的周期的1/8。与此类似，右眼图像信号R的幅度是输入信号的幅度的两倍并且在水平方向上偏移由角频率ω确定的周期的1/8。如上所述，由于在左眼图像信号L和右眼图像信号R之间存在π/2的相位差，相位差被感知为视网膜像差，使得可以感觉到深度。

另外，视网膜像差随着角频率ω而改变。与图11相比，图12示出当输入信号的角频率减小1/2时的波形。可以从图12了解，视网膜像差为图11的情况的两倍。当用双眼立体地观察输入信号时，与图11所示的输入信号相比，输入信号看起来位于后面。

而且，与图11相比，图13示出当输入信号的角频率增加两倍时的波形。从图13可以了解，与图11相比，视网膜像差减小1/2。当用双眼立体地观察输入信号时，与图11中所示的输入信号相比，输入信号看起来位于前面。

如上所述，视网膜像差随着角频率ω而改变。然而，在该方案中，左眼图像信号L和右眼图像信号R之间的相位差不取决于对象的距离。左眼图像信号L和右眼图像信号R之间的相位差(对应于视网膜像差) 最大限度地限于输入信号的空间频率的1/2波长的宽度。其不取决于对象的距离。如上所述，该方案的问题在于，不管对象的距离如何，都设定相同的视差。

本发明的实施例是为了解决以上问题。即，根据本发明的实施例的图像处理装置通过将图9B和图10B中所示的微分信号H乘以与距离相应的增益值生成校正微分信号H′(图9C和图10C中的实线表示的数据)。

图像处理装置通过使用与距离相应的校正微分信号H′(由图9C和图10C中的实线表示的数据)生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。即，图像合成部件134根据以下公式生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left，其中，该公式表示输入信号和乘以与距离相应的增益值获得的校正微分信号H′的相加和相减。

Right＝S-H′

Left＝S+H′

另外，以上公式表示执行非线性转换处理(参考图8)的处理示例。在执行非线性转换处理的情况下，执行以下处理。

图像合成部件134通过使用视差加重信号E′(其是由非线性转换部件133对图9C和图10C中所示的校正微分信号H′执行作为视差加重处理的非线性转换处理(参考图8)获得的)和输入信号S，根据以下公式生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-E′

Left＝S+E′

在根据本发明的实施例的配置中，通过将校正微分信号H′(通过乘以与距离相应的增益值获得)或视差加重信号E′(通过非线性地转换校正微分信号H′生成)加入至输入信号S，或者从输入信号S减去校正微分信号H′或视差加重信号E′生成右眼图像信号Right和左眼图像信号Left。通过以上处理，与具有小距离的对象相比，用于具有大距离的对象的视差可以增加。

将参考图14描述根据本发明的实施例的处理，即，根据对象距离的 视差调节的原理。为了简化描述，类似于图1，图14示出一维正弦波信号被输入作为输入信号S的情况。

图14示出五个信号：输入信号S；第一左眼信号L1(当对象距离(深度)小时)；第二左眼信号L2(当对象距离(深度)大时)；第一右眼信号R1(当对象距离(深度)小时)；以及第二右眼信号R2(当对象距离(深度)大时)。

例如，第一左眼信号L1(当对象距离(深度)小时)和第一右眼信号R1(当对象距离(深度)小时)对应于图10A至图10E中所示的设定。

例如，第二左眼信号L2(当对象距离(深度)大时)和第二右眼信号R2(当对象距离(深度)大时)对应于通过图9A至图9E中所示的设定生成的左眼信号和右眼信号。

详细地，在与距离相应的增益(G1＜G3)的情况下，通过将校正微分信号H′(通过将与对象距离相应的增益乘以微分信号H，根据以下公式生成)加入到输入信号S，或者从输入信号S减去校正微分信号H′生成左眼信号和右眼信号。

第一右眼信号R1＝S-H′＝S-(G1×H)

第一左眼信号L1＝S+H′＝S+(G1×H)

第二右眼信号R2＝S-H′＝S-(G3×H)

第二左眼信号L2＝S+H′＝S+(G3×H)

结果，与输入信号相比，第一右眼信号R1(＝S-H′＝S-(G1×H))的相位提前了常量α。

与输入信号相比，第一左眼信号L1(＝S+H′＝S+(G1×H))的相位延迟了常量α。

而且，与输入信号相比，第二右眼信号R2(＝S-H′＝S-(G3×H))的相位提前了量(α+β)。

与输入信号相比，第二左眼信号L2(＝S+H′＝S+(G3×H))的相位延迟了量(α+β)。

结果，当对象距离小时用双眼观看的图像包括第一右眼信号R1(＝S-H′＝S-(G1×H))和第一左眼信号L1(＝S+H′＝S+(G1×H))的结 合。此时，视网膜像差为2α。

同时，当对象距离大时用双眼观看的图像包括第二右眼信号R2(＝S-H′＝S-(G3×H))和第二左眼信号L2(＝S+H′＝S+(G3×H))的结合。此时，视网膜像差为2(α+β)。

即，当对象距离小时用双眼观看的图像的视差为2α，以及当对象距离大时用双眼观看的图像的视差为2(α+β)。

如上所述，当对象距离小时，用双眼观看的图像的视差被设定为小，以及当对象距离大时，用双眼观看的图像的视差被设定为大。即，根据对象距离设定视差。

从而，可以给图像的观看者(用户)提供具有小对象距离的物体似乎位于前面以及具有大对象距离的物体似乎位于比较近物体更远的感觉。

如上所述，根据本发明的实施例的图像处理装置100提取校正微分信号H′(通过将与深度(即，对象距离D)相应的增益G乘以作为输入图像信号S的空间特征值的亮度微分信号H生成)或通过非线性地转换校正微分信号H′生成的视差加重信号E′，并且执行将特征值应用至输入图像信号的不同加重处理，从而生成左眼图像和右眼图像。

另外，图9D和图10D中所示的右眼图像信号Right被生成为具有以下信号特征d1至d3的信号。

信号特征

(d1)在区域A(其中，图9A和图10A中所示的输入信号的亮度的改变为正并且图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)具有正值)的至少一部分中，出现信号区域(在其中，与图9A和图10A中所示的输入信号相比，亮度减小)。

(d2)在区域B(其中，图9A和图10A中所示的输入信号的亮度的改变为负并且图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)具有负值)的至少一部分中，出现信号区域(在其中，与图9A和图10A中所示的输入信号相比，亮度增加)。

(d3)在图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)的值为0的区域中，输入信号的亮度不发生改变。

而且，图9E和图10E中所示的左眼图像信号Left被生成为具有以 下信号特征e1至e3的信号。

信号特征

(e1)在区域A(其中，图9A和图10A中所示的输入信号的亮度的改变为正并且图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)具有正值))的至少一部分中，出现信号区域(其中，与图9A和图10A中所示的输入信号相比，亮度增加)。

(e2)在区域B(其中，图9A和图10A中所示的输入信号的亮度的改变为负，并且图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)具有负值)的至少一部分中，出现信号区域(其中，与图9A和图10A中所示的输入信号相比，亮度减小)。

(e3)在图9B和图10B中所示的微分信号(或者图9C和图10C中所示的校正微分信号)的值为0的区域中，输入信号的亮度不发生改变。

如上所述，图4中所示的信号合成部件134合成图9A和图10A中所示的输入信号S和图9C和图10C中所示的根据距离校正的校正微分信号H′、或者作为由非线性转换部件133通过进一步非线性地转换校正微分信号H′获得的结果(非线性转换部件133的输出)的视差加重信号E′，从而生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

例如，如果待转换的输入信号为静止图像，则图像合成部件134根据以下公式对构成静止图像的一帧图像执行信号合成处理，从而生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

右眼图像信号R＝S-H′

左眼图像信号L＝S+H′

或者

右眼图像信号R＝S-E′

左眼图像信号L＝S+E′

而且，如果待转换的输入信号为运动图像，则图像合成部件134根据以下公式对构成运动图像的每帧图像执行信号合成处理，从而生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

R＝S-H′

L＝S+H′

或者

R＝S-E′

L＝S+E′

然而，在运动图像的情况下，还可以根据最终执行显示装置的图像显示和控制方案的图像输出单元150(参考图2)，改变左眼图像信号和右眼图像信号的生成图案。之后，参考图15A至图15E以及其他附图描述当待转换输入信号为运动图像时由图像合成部件134执行的多个处理示例。

首先，参考图15A至图15E描述当待转换输入信号为运动图像时，由图像合成部件134执行的基本处理示例。根据图15A至图15E所示的处理示例，图像合成部件134(参考图4)生成和输出关于输入视频数据的所有帧(帧n，帧n+1，帧n+2，帧n+3...)的左眼图像Left和右眼图像Right的图像。

图15A至图15E示出输入图像帧S、深度信息D、校正微分信号H′、右眼信号R、和左眼信号L的详细图像示例。另外，图15B中所示的深度信息D为对应于亮度的深度信息数据，其表示对象距离在明亮部分中小(近)以及在黑暗部分中大(远)。

图像合成部件134将图15A中所示的输入图像帧的亮度信号S和校正微分信号H′[＝通过基于图15B中所示的深度信息控制微分图像信号的增益获得的校正微分信号H′]输入到图15A中所示的输入图像帧的所有帧，并且根据由以下公式表示的计算处理，生成和输出图15D中所示的右眼图像信号和图15E中所示的左眼图像信号。在这种情况下，图像合成部件134输出两个系统的视频信号。

右眼图像信号R＝S-H′

左眼图像信号L＝S+H′

另外，图像合成部件134可以通过使用用于校正微分信号H′的非线性转换(参考图8)，根据由以下公式表示的计算处理，生成和输出如图15D中所示的右眼图像信号和如图15E中所示的左眼图像信号。

右眼图像信号R＝S-E′

左眼图像信号L＝S+E′

根据图15A至图15E中所示的基本处理示例，图像合成部件134输出对应于所有帧的右眼图像和左眼图像的两个系统的视频信号。接收两个系统的信号的图像输出单元150(参考图1)将数据输出至用于实现立体视觉的显示装置。显示装置根据用于实现立体视觉的多种显示方案执行输出控制。例如，显示装置包括显示方案，诸如对应于用于通过偏振滤光片或滤色器分离由双眼观看到的图像的无源眼镜方法的图像输出方案，对应于用于通过从一侧到另一侧交替地打开和闭合液晶快门，相对于双眼交替地暂时分离所观看的图像的有源眼镜方法的图像输出方案等。显示装置根据上述显示方案中的任一个，通过使用由图像合成部件134生成的两个系统的视频信号显示图像。

根据图15A至图15E中所示的基本处理示例，为每帧单独生成或输入深度信息，并且执行处理。然而，可以采用使用以多个帧为单位从一帧创建的深度信息或者对应于一个代表帧的输入深度信息的配置。

图16A至图16E示出使用以两个帧为单位从一帧创建的深度信息的示例，以及图17A至图17E示出使用以四个帧为单位从一帧创建的深度信息的示例。

通过这种处理配置，可以进行数据处理，其中，减少深度信息的精炼加载(refining load)，并且虽然减小了装置的处理容量，但是不发生处理延迟等。

而且，在预先确定图像显示方案的情况下，可以将图像合成部件134设定为生成和输出对应于每个图像输出方案的输出图像信号。之后，将参考图18A、图18C、图18D和图18E、图19A、图19C、图19D和图19E以及图20A、图20C、图20D、图20E和图20F描述对应于三个不同显示方案的图像合成部件134的处理示例。

例如，最终执行图像显示的显示装置的多种类型显示方案如下。

(1)左眼图像和右眼图像被时分处理并且交替输出的方案(图18A、图18C、图18D和图18E)

这是例如对应于用于通过从一侧到另一侧交替打开和闭合液晶快门，相对于双眼交替地暂时分离所观看图像的有源眼镜方法的图像输出方案。

(2)对应于具有高输出帧率的有源眼镜方法的方案，在该方案中， 左眼图像和右眼图像被时分处理并且交替输出(图19A、图19C、图19D和图19E)

除输出帧率高之外，这是类似于图18A、图18C、图18D和图18E的时分方案。

(3)左眼图像和右眼图像在空间上被分离并且同时输出的方案(图20A、图20C、图20D、图20E和图20F)

这例如为对应于用于通过偏振滤光片或滤色器分离由双眼观看的图像的无源眼镜方法的图像输出方案。例如，在采用空分方案的立体显示装置中，在偏振滤光片(其中，其偏振方向被设定为对于每条水平线改变)被附着至显示单元的前面之后，当用户用基于偏振滤光片方案的眼镜观察图像时，通过用户的双眼观看对于每条水平线分离的视频。

首先，将参考图18A、图18C、图18D和图18E描述当最终执行图像显示的显示装置的显示方案为左眼图像和右眼图像被时分处理并且被交替输出的方案时，图像合成部件134的处理示例。

在这种图像显示方案中，图像合成部件134通过相对于输入视频数据的所有帧(帧n，帧n+1，帧n+2，帧n+3...)来切换左眼图像Left和右眼图像Right来生成左眼图像Left和右眼图像Right，并且将其输出。

输入视频数据的奇数帧和偶数帧被设定为用于输出的左眼图像和右眼图像(或者右眼图像和左眼图像)。关于输出图像，左眼图像和右眼图像通过图像输出单元150在图像显示装置中被时分处理并交替输出。例如，与基于液晶快门方案的眼镜(由观看图像的用户佩戴)中提供的快门的打开/闭合同步地控制每个图像的输出定时。即，控制输出定时，使得左眼图像和右眼图像分别由左眼和右眼暂时和交替地观看。

由于图像被输出到采用这种时分方案的立体显示装置中，图像合成部件134通过以多个帧为单位切换左眼图像和右眼图像，对输入视频数据的所有帧(帧n，帧n+1，帧n+2，帧n+3...)执行图像合成处理。即，如图18D和图18E中所示，图像合成部件134以多个帧为单位交替地执行左眼图像Left的合成和右眼图像Right的合成，并且输出合成后的图像。

在图18A、图18C、图18D和图18E中所示的示例中，首先根据以下公式在帧n中生成右眼图像。即，当图18A中所示的输入信号的帧n的视频数据的亮度等级由S表示，并且图18C中所示的帧n的校正微分 信号的信号等级由H′表示时，通过以下相加和相减生成图18D中所示的右眼图像信号和图18E中所示的左眼图像信号。

右眼图像信号Right＝S-H′

左眼图像信号Left＝S+H′

另外，当通过非线性地转换校正微分信号H′获得的视差加重信号的信号等级由E′表示时，还可以通过以下相加和相减生成图18D中所示的右眼图像信号和图18E中所示的左眼图像信号。

右眼图像信号Right＝S-E′

左眼图像信号Left＝S+E′

根据这种方案，图像合成部件134对应于每帧生成右眼图像或左眼图像中的一个图像，并且输出所生成的图像。即，图像合成部件134输出一个系统的视频数据。

关于输出图像，左眼图像和右眼图像通过图像输出单元150在图像显示装置中被时分处理或交替地输出。与基于液晶快门方案的眼镜(由观看图像的用户佩戴)中提供的快门的打开/闭合同步地控制每个图像的输出定时。即，控制输出定时，使得左眼图像和右眼图像分别由左眼和右眼暂时和交替地观看。

图19A、图19C、图19D和图19E示出当最终执行图像显示的显示装置的显示方案为左眼图像和右眼图像被时分处理并且交替输出(类似于图18A、图18C、图18D和图18E的情况)的方案时，图像合成部件134的处理示例。然而，不同于图18A、图18C、图18D和图18E的情况，在该处理示例中，关于输入视频数据的每帧，根据以下公式，通过合成处理合成左眼图像Left和右眼图像Right的图像。

右眼图像信号Right＝S-H′

左眼图像信号Left＝S+H′

或者

右眼图像信号Right＝S-E′

左眼图像信号Left＝S+E′

在执行图像输出的显示装置中，左眼图像和右眼图像被时分处理并且以输入视频数据的帧率两倍帧率交替地输出。

在这种处理中，如图19A、图19C、图19D和图19E中所示，图像合成部件134通过应用以下公式，从一帧(例如，图19A中所示的输入图像的帧n)以及图19C中所示的输入图像的校正微分信号图像(或视差加重信号)生成图19D中所示的右眼图像R和图19E中所示的左眼图像L。

R＝S-H′，L＝S+H′或者

R＝S-E′，L＝S+E′

另外，图像合成部件134通过应用以上公式，从下一帧(即，图19A中所示的输入图像的帧n+1)以及图19C中所示的输入图像的校正微分信号图像(或者视差加重信号)生成图19D中所示的右眼图像和图19E中所示的左眼图像。

以此方式，从一帧生成左眼图像和右眼图像。关于从一帧生成的两个图像(即，右眼图像和左眼图像)，左眼图像和右眼图像通过图像输出单元150在图像显示装置中被时分处理并且交替地输出。

图像输出单元150输出图像，使得以图19A中所示的输入图像的帧率两倍帧率显示图像。另外，图像输出单元150与图像的显示定时一致地同步控制观看图像的用户佩戴的基于液晶快门方案的眼镜中提供的快门的打开/闭合。即，图像输出单元150允许左眼图像和右眼图像分别被左眼和右眼暂时和交替地观看。在这种方案中，图像合成部件134以一个系统的输入视频数据的帧率的两倍帧率输出视频数据。

图20A、图20C、图20D、图20E和图20F示出当图像被输出至采用空分方案的立体显示装置时图像合成部件134的处理示例。在采用空分方案的立体显示装置中，在偏振滤光片(其中，其偏振方向被设定成对于每条水平线改变)被附着至显示单元的前表面之后，当用户用基于偏振滤光片方案的眼镜观看图像时，对于每条水平线分离的视频被提供给用户的双眼。即，眼镜的左偏振滤光片和右偏振滤光片也为其中滤光片的偏振方向被设定成改变的滤光片，图20D中所示的右眼图像仅由右眼观看，以及图20E中所示的左眼图像仅由左眼观看。

在这种处理中，如图20A、图20C、图20D、图20E和图20F中所示，图像合成部件134对一帧(例如，图20A中所示的输入图像的帧n)和图20C中所示的输入图像的校正微分信号图像(或者视差加重信号)，根据以下公式执行合成处理，从而生成图20D中所示的右眼图像和图20E 中所示的左眼图像。

右眼图像信号Right＝S-H′

左眼图像信号Left＝S+H′

或者

右眼图像信号Right＝S-E′

左眼图像信号Left＝S+E′

另外，图像合成部件134从图20D中所示的右眼图像和图20E中所示的左眼图像生成图20F中所示的双眼视差图像。即，图像合成部件134通过将图像偏移一条线，在垂直方向上将图20D中所示的右眼图像和图20E中所示的左眼图像的相位减小到1/2。图像合成部件134以水平线为单位，交替地合成以此方式生成的左眼图像和右眼图像，从而生成和输出图20F中所示的一个双眼视差图像。

通过将图20D中所示的右眼图像和图20E中所示的左眼图像的有效区域(除黑线之外的图像显示部分)相互连接生成图20F中所示的双眼视差图像。即，图20F中所示的双眼视差图像交替地包括图20D中所示的右眼图像和图20E中所示的左眼图像的每个线数据。以此方式，图像合成部件134生成和输出图20F中所示的双眼视差图像。在这种方案中，图像合成部件134输出具有与输入图像的帧率相同的帧率的一个系统的视频数据。

图像输出单元150在采用空分方案的立体显示装置上显示图20F中所示的双眼视差图像。如上所述，采用空分方案的立体显示装置包括在显示单元的前表面提供的偏振滤光片，其中，其偏振方向被设定为对于每条水平线改变。用户用基于偏振滤光片方案的眼镜观看双眼视差图像。眼镜的左眼和右眼偏振滤光片也为其中滤光片的偏振方向被设定为改变的滤光片，图20D中所示的右眼图像仅由右眼观看，并且图20E中所示的左眼图像仅由左眼观看。

参考图18A、图18C、图18D和图18E、图19A、图19C、图19D和图19E以及图20A、图20C、图20D、图20E和图20F描述的右眼图像信号Right和左眼图像信号Left为根据先前已经描述的以下公式生成的图像。

右眼图像信号Right＝S-H′

左眼图像信号Left＝S+H′

或者

右眼图像信号Right＝S-E′

左眼图像信号Left＝S+E′

在以上公式中，S表示输入信号，H′表示通过将与距离相应的增益G乘以输入信号S的微分信号H生成的校正微分信号，以及E′表示通过非线性地转换校正微分信号H′获得的视差加重信号。

另外，还可以通过用于输入信号S的校正微分信号H′的非线性转换以及线性转换获得视差加重信号E′。

上述右眼图像信号Right和左眼图像信号Left被生成并且由观看者的双眼观看，使得深度可以被感知。这种现象基于右眼图像和左眼图像的视网膜像差。

8、具有与对象距离相应的增益的校正微分信号&图像生成配置示例

接下来，将描述具有与对象距离相应的增益的校正微分信号和执行图像生成的图像转换单元的具体配置示例。

先前参考图4描述了图像转换单元130的配置示例。图4中所示的图像转换单元130的配置为图像转换单元的一个配置示例。图21示出与图4中的图像转换单元不同的图像转换单元130的配置示例。

图21中所示的图像转换单元130包括第一路径图像转换部件300-1、第二至第n路径图像转换部件L(300-L2至300-Ln)、第二至第n路径图像转换部件R(300-R2至300-Rn)、输出选择部件L(301L)以及输出选择部件R(301R)。

第一路径图像转换部件300-1、第二至第n路径图像转换部件L(300-L2至300-Ln)以及第二至第n路径图像转换部件R(300-R2至300-Rn)具有将参考图22描述的相同配置。从而，例如，每个图像转换部件300均可以通过重复地使用单个硬件进行配置。

输出选择部件L(301L)接收第一路径图像转换部件300-1的输出和第二至第n路径图像转换部件L(300-L2至300-Ln)的输出，并且根据以像素或像素块为单位的距离信息，以像素或像素块为单位选择性地输出第一路径图像转换部件300-1的输出和第二至第n路径图像转换部件L(300-L2至300-Ln)的输出中的任一输出。输出图像为左眼图像L。

输出选择部件R(301R)接收第一路径图像转换部件300-1的输出和第二至第n路径图像转换部件R(300-R2至300-Rn)的输出，并且根据以像素或像素块为单位的距离信息，以像素或像素块为单位选择性地输出第一路径图像转换部件300-1的输出和第二至第n路径图像转换部件R(300-R2至300-Rn)的输出中的任一输出。输出图像为右眼图像R。

另外，关于在图21中所示的图像转换单元130中的待处理数据，输入信号被限定为亮度信号Y，并且基于亮度信号生成亮度图像。然而，通过以彩色信号(RGB等)反映亮度图像的亮度，亮度图像被输出为像素值，使得可以生成图像信号L和R用于输出。

将参考图22描述第一路径图像转换部件300-1、第二路径图像转换部件L(300-L2)以及第二路径图像转换部件R(300-R2)的具体配置示例和处理。

第一路径图像转换部件300-1包括第一路径相位控制信号生成部311、第一路径非线性转换部312以及第一路径图像合成部313。

第一路径相位控制信号生成部311对输入信号S执行处理。另外，在以下描述中，为了阐明对输入信号的亮度Y执行处理，输入信号S由输入信号Y表示。第一路径相位控制信号生成部311对输入信号Y执行微分处理，以生成微分信号h(Y)。

第一路径非线性转换部312对微分信号h(Y)执行非线性转换处理，以控制视差的生成。第一路径非线性转换部312执行已经参考图8描述的非线性转换处理，以生成视差加重信号e(Y)作为输出。

第一路径图像合成部313将视差加重信号e(Y)(为非线性转换后的微分信号)加入输入亮度信号Y并且从输入亮度信号Y减去视差加重信号e(Y)，从而生成以下信号。

左眼信号L1＝Y+e(Y)

右眼信号R1＝Y-e(Y)

第二路径图像转换部件L(300-L2)接收由第一路径图像转换部件300-1生成的左眼信号L1并且生成导致大视差的左眼信号L2。

第二路径图像转换部件R(300-R2)接收由第一路径图像转换部件300-1生成的右眼信号R1并且生成导致大视差的右眼信号R2。

第二路径图像转换部件L(300-L2)和第二路径图像转换部件R (300-R2)具有与第一路径图像转换部件300-1相同的配置。

即，第二路径图像转换部件L(300-L2)包括第二路径相位控制信号生成部321、第二路径非线性转换部322以及第二路径图像合成部323。

第二路径图像转换部件R(300-R2)包括第二路径相位控制信号生成部331、第二路径非线性转换部332以及第二路径图像合成部333。

第二路径图像转换部件L(300-L2)接收由第一路径图像转换部件300-1生成的左眼信号L1并且通过执行以下处理生成导致大视差的左眼信号L2。

第二路径相位控制信号生成部321对输入信号(左眼信号L1)执行微分处理，以生成微分信号h(L1)。

第二路径非线性转换部322对微分信号h(L1)执行非线性转换处理，以控制视差的生成。第二路径非线性转换部322执行已经参考图8描述的非线性转换处理，以生成视差加重信号e(L1)作为输出。

第二路径图像合成部323将视差加重信号e(L1)(为非线性转换后的视差信号)加入输入信号(左眼信号L1)，从而生成以下信号。

左眼信号L2＝L1+e(L1)

如上所述，第二路径图像转换部件L(300-L2)接收由第一路径图像转换部件300-1生成的左眼信号L1并且生成导致大视差的左眼信号L2。

第二路径图像转换部件R(300-R2)接收由第一路径图像转换部件300-1生成的右眼信号R1并且通过执行以下处理生成导致大视差的右眼信号R2。

第二路径相位控制信号生成部331对输入信号(右眼信号R1)执行微分处理，以生成微分信号h(R1)。

第二路径非线性转换部322对微分信号h(R1)执行非线性转换处理，以控制视差的生成。第二路径非线性转换部332执行已经参考图8描述的非线性转换处理，以生成视差加重信号e(R1)作为输出。

第二路径图像合成部333从输入信号(右眼信号R1)中减去视差加重信号e(R1)，从而生成以下信号。

右眼信号R2＝R1-e(R1)

如上所述，第二路径图像转换部件R(300-R2)接收由第一路径图像转换部件300-1生成的右眼信号R1并且生成导致大视差的右眼信号R2。

图22示出第一路径图像转换部件300-1、第二路径图像转换部件L(300-L2)以及第二路径图像转换部件R(300-R2)的配置。而且，第三至第n路径图像转换部件L和R也具有相同配置。第k路径图像转换部件L和R接收先前阶段的第(k-1)路径图像转换部件L和R的输出(L(k-1)和R(k-1))，并且分别生成导致视差的左眼信号Lk和右眼信号Rk。

输出选择部件L(301L)接收第一路径图像转换部件300-1的输出以及第二至第n路径图像转换部件L(300-L2至300-Ln)的输出，并且根据以像素或像素块为单位的距离信息，以像素或像素块为单位选择性地输出第一路径图像转换部件300-1的输出以及第二至第n路径图像转换部件L(300-L2至300-Ln)的输出中的任一输出。输出图像为左眼图像L。

对于对象距离小的像素区域，将第一路径图像转换部件300-1的输出L1选择作为像素区域的输出。对于对象距离大的像素区域，将第n路径图像转换部件L(300-Ln)的输出Ln选择作为像素区域的输出。即，根据距离信息的尺寸选择第一路径图像转换部件300-1至第n路径图像转换部件L(300-Ln)的输出，并且生成每个像素区域的左眼图像L用于输出。

同时，输出选择部件R(301R)接收第一路径图像转换部件300-1的输出以及第二至第n路径图像转换部件R(300-R2至300-Rn)的输出，并且根据以像素或像素块为单位的距离信息，以像素或像素块为单位选择性地输出第一路径图像转换部件300-1的输出以及第二至第n路径图像转换部件R(300-R2至300-Rn)的输出中的任一输出。输出图像为右眼图像R。

对于对象距离小的像素区域，将第一路径图像转换部件300-1的输出R1选择作为像素区域的输出。对于对象距离大的像素区域，将第n路径图像转换部件R(300-Rn)的输出Rn选择作为像素区域的输出。即，根据距离信息的尺寸选择第一路径图像转换部件300-1至第n路径图像转换部件R(300-Rn)的输出，并且生成每个像素区域的右眼图像R用于输出。

通过这些处理，生成每只眼的图像用于输出，其中，左眼图像和右眼图像之间的视差在对象距离小的像素区域中被设定为小，在对象距离大的像素区域中被设定为大。

例如，被获得作为第一路径图像转换部件300-1的输出的图像信号为图14中所示的第一左眼图像L1和第一右眼图像R1。

第二路径图像转换部件L(300-L2)的输出对应于图14中所示的第二左眼信号L2，以及第二路径图像转换部件R(300-R2)的输出对应于图14中所示的第二右眼信号R2。

在对象距离小的像素区域中，使用图14中所示的第一左眼信号L1和第一右眼信号R1(被获得作为第一路径图像转换部件300-1的输出)，并且第一左眼信号L1和第一右眼信号R1之间的视差为2α。

而且，在对象距离大的像素区域中，使用第二路径图像转换部件L(300-L2)的输出和第二路径图像转换部件R(300-R2)的输出，并且第一左眼信号L2和第一右眼信号R2之间的视差为2(α+β)。

如上所述，在根据本发明的实施例的图像处理装置中，可以生成与对象距离相应的视差。

接下来，将参考图23描述图像转换单元130的另一配置示例。

图23中所示的图像转换单元130包括第一路径图像转换部件400-1、第二至第n路径图像转换部件L(400-L2至400-Ln)、第二至第n路径图像转换部件R(400-R2至400-Rn)、图像合成权重值计算部件405、图像合成处理部件L(410L)以及图像合成处理部件R(410R)。

第一路径图像转换部件400-1、第二至第n路径图像转换部件L(400-L2至400-Ln)、以及第二至第n路径图像转换部件R(400-R2至400-Rn)具有与将参考图24和图25描述的配置相同的配置。从而，例如，可以使用单个硬件重复地配置每个图像转换部件400。

图像合成权重值计算部件405接收来自深度信息输出单元115(参考图2和图3)的深度信息，并且根据预先设定的信息，将基于每个像素的深度的权重(W)信息输出到图像合成处理部件L(410L)和图像合成处理部件R(410R)。权重是指关于第一至第n路径图像转换部件的各个输出值的权重信息。

图像合成处理部件L(410L)根据从图像合成权重值计算部件405 输入的权重信息，将第一路径图像转换部件和第二至第n路径图像转换部件L的输出值相加，从而生成左眼图像L。

图像合成处理部件R(410R)根据从图像合成权重值计算部件405输入的权重信息，将第一路径图像转换部件和第二至第n路径图像转换部件R的输出值相加，从而生成右眼图像R。

将参考图24描述第一路径图像转换部件400-1、第二路径图像转换部件L(400-L2)以及第二路径图像转换部件R(400-R2)的详细配置示例和处理。

第一路径图像转换部件400-1包括第一路径相位控制信号生成部411、第一路径增益控制部412、第一路径非线性转换部413以及第一路径图像合成部414。

第一路径相位控制信号生成部411对输入亮度信号Y执行微分处理，以生成微分信号h(Y)。

第一路径增益控制部412将微分信号h(Y)乘以基于每个像素的距离信息的增益，从而生成校正微分信号h′(Y)。

第一路径非线性转换部413对校正微分信号h′(Y)执行非线性转换处理，以控制视差的生成。第一路径非线性转换部413执行已经参考图8描述的非线性转换处理，以生成视差加重信号e′(Y)作为输出。

第一路径图像合成部414将视差加重信号e′(Y)(为非线性转换后的校正微分信号)加入输入亮度信号Y并且从输入亮度信号Y减去视差加重信号e′(Y)，从而生成以下信号。

左眼信号L1＝Y+e′(Y)

右眼信号R1＝Y-e′(Y)

第二路径图像转换部件L(400-L2)接收由第一路径图像转换部件400-1生成的左眼信号L1并且生成导致大视差的左眼信号L2。

第二路径图像转换部件R(400-R2)接收由第一路径图像转换部件400-1生成的右眼信号R1并且生成导致大视差的右眼信号R2。

第二路径图像转换部件L(400-L2)和第二路径图像转换部件R(400-R2)具有与第一路径图像转换部件400-1相同的配置。

即，第二路径图像转换部件L(400-L2)包括第二路径相位控制信 号生成部421、第二路径增益控制部422、第二路径非线性转换部423以及第二路径图像合成部424。

第二路径图像转换部件R(400-R2)包括第二路径相位控制信号生成部431、第二路径增益控制部432、第二路径非线性转换部433以及第二路径图像合成部434。

第二路径图像转换部件L(400-L2)接收由第一路径图像转换部件400-1生成的左眼信号L1并且通过执行以下处理生成导致大视差的左眼信号L2。

第二路径相位控制信号生成部421对输入信号(左眼信号L1)执行微分处理，以生成微分信号h(L1)。

第二路径增益控制部422将微分信号h(L1)乘以基于每个像素的距离信息的增益，从而生成校正微分信号h′(L1)。

第二路径非线性转换部423对校正微分信号h′(L1)执行非线性转换处理，以控制视差的生成。第二路径非线性转换部423执行已经参考图8描述的非线性转换处理，以生成视差加重信号e′(L1)作为输出。

第二路径图像合成部424将视差加重信号e′(L1)(为非线性转换后的微分信号)加入输入信号(左眼信号L1)，从而生成以下信号。

左眼信号L2＝L1+e′(L1)

如上所述，第二路径图像转换部件L(400-L2)接收由第一路径图像转换部件400-1生成的左眼信号L1并且生成导致大视差的左眼信号L2。

第二路径图像转换部件R(400-R2)接收由第一路径图像转换部件400-1生成的右眼信号R1并且通过执行以下处理生成导致大视差的右眼信号R2。

第二路径相位控制信号生成部431对输入信号(右眼信号R1)执行微分处理，以生成微分信号h(R1)。

第二路径增益控制部432将微分信号h(R1)乘以基于每个像素的距离信息的增益，从而生成校正微分信号h′(R1)。

第二路径非线性转换部433对校正微分信号h′(R1)执行非线性转换处理，以控制视差的生成。第二路径非线性转换部433执行已经参考图8描述的非线性转换处理，以生成视差加重信号e′(R1)作为输出。

第二路径图像合成部434从输入信号(右眼信号R1)减去视差加重信号e′(R1)，从而生成以下信号。

右眼信号R2＝R1-e′(R1)

如上所述，第二路径图像转换部件R(400-R2)接收由第一路径图像转换部件400-1生成的右眼信号R1并且生成导致大视差的眼信号R2。

图24示出第一路径图像转换部件400-1、第二路径图像转换部件L(400-L2)以及第二路径图像转换部件R(400-R2)的配置。而且，第三至第n路径图像转换部件L和R也具有相同配置。第k路径图像转换部件L和R接收先前阶段的第(k-1)路径图像转换部件L和R的输出(L(k-1)和R(k-1))，并且分别生成导致视差的左眼信号Lk和右眼信号Rk。

由第一路径图像转换部件400-1和第二至第n路径图像转换部件L(400-L2至400-Ln)生成的左眼信号L1至Ln被输入至图像合成处理部件L(410L)。

由第一路径图像转换部件400-1和第二至第n路径图像转换部件R(400-R2至400-Rn)生成的右眼信号R1被输入至图像合成处理部件R(410R)。

如上所述，将包括根据深度设定的每个路径图像转换部件的相加权重的权重信息从图像合成权重值计算部件405输入图像合成处理部件L(410L)和图像合成处理部件R(410R)。

图像合成处理部件L(410L)根据从图像合成权重值计算部件405输入的权重信息，将第一路径图像转换部件和第二至第n路径图像转换部件L的输出值相加，从而生成左眼图像L。

图像合成处理部件R(410R)根据从图像合成权重值计算部件405输入的权重信息，将第一路径图像转换部件和第二至第n路径图像转换部件R的输出值相加，从而生成右眼图像R。

将对应于输入图像的深度信息输入至图像合成权重值计算部件405。当深度信息被输入至图像的特定区域(或像素)时，基于预先确定的设定来确定对应于该区域的n个权重值W1至Wn(n对应于图像转换中的路径数)。它们是乘以每条路径的输出结果的权重值。

基于权重值，在图像合成处理部件L(410L)和图像合成处理部件 R(410R)中执行适于图像的该区域的权重相加。

其中，对于特定像素[坐标为(x，y)]，如果第k路径输出图像中的像素值被设定为Pk(x，y)并且权重被设定为Wk(x，y)，则通过以下公式计算输出图像中的像素值Pout(x，y)。

[公式2]

$p^{\mathrm{out}(x,y)}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{p}_{k(x,y)}\×w_{k(x,y)}$

其中

$\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_{k(x,y)}=1$

将以上计算公式应用于左眼图像L和右眼图像R。

对于权重W1至Wn的设定，可以分配实数，使得权重值的总和为1，并且不特别限制方法。当认为具有大量路径的图像中的视差大时，即，生成看起来位于前面的图像时，在对应区域被示出在“前面”的情况下，基于深度信息，将对于具有少量路径的输出图像的权重设定为大(具有小k个wk的权重值增加)，在对应区域被示出在“后面”的情况下，基于深度信息，将对于具有大量路径的输出图像的权重设定为大(具有大k个wk的权重值增加)。

另外，包括在每个路径图像转换部件中的增益控制部基于预先设定的深度信息计算增益系数。可以使用多种方法设定基于深度信息的增益系数。例如，在对象的距离小(即，深度浅)的情况下，在具有少量路径的阶段中乘以的增益系数增大，并且在具有大量路径的阶段中乘以的增益系数减小。而且，在对象的距离大(即，深度深)的情况下，在具有少量路径的阶段中乘以的增益系数减小，并且在具有大量路径的阶段中乘以的增益系数增大。

将参考图25描述构成图23中所示的图像转换单元的第一路径图像转换部件400-1、第二路径图像转换部件L(400-L2)以及第二路径图像转换部件R(400-R2)的另一配置示例。

图25中所示的配置不同于参考图24描述的配置，并且深度信息被输入至增益系数计算部件480。增益系数计算部件480基于预先设定的算 法(对应深度数据和增益系数)计算与以输入图像区域为单位的深度信息相对应的增益系数，并且将增益系数作为计算结果输出至每个路径图像转换部件。

第一路径图像转换部件400-1包括第一路径相位控制信号生成部451、第一路径乘法处理部452、第一路径非线性转换部453以及第一路径图像合成部454。

第一路径相位控制信号生成部451对输入亮度信号Y执行微分处理，以生成微分信号h(Y)。

第一路径乘法处理部452将微分信号h(Y)乘以从增益系数计算部件480输入的增益系数，从而生成校正微分信号h′(Y)。从增益系数计算部件480输入的增益系数基于每个像素的距离信息。

第一路径非线性转换部453对校正微分信号h′(Y)执行非线性转换处理，以控制视差的生成。第一路径非线性转换部453执行已经参考图8描述的非线性转换处理，以生成视差加重信号e′(Y)作为输出。

第一路径图像合成部454将视差加重信号e′(Y)(为非线性转换后的校正微分信号)加入输入亮度信号Y并且从输入亮度信号Y减去视差加重信号e′(Y)，从而生成以下信号。

左眼信号L1＝Y+e′(Y)

右眼信号R1＝Y-e′(Y)

第二路径图像转换部件L(400-L2)包括第二路径相位控制信号生成部461、第二路径乘法处理部462、第二路径非线性转换部463以及第二路径图像合成部464。

第二路径图像转换部件L(400-L2)接收由第一路径图像转换部件400-1生成的左眼信号L1并且生成导致大视差的左眼信号L2。

第二路径图像转换部件R(400-R2)包括第二路径相位控制信号生成部471、第二路径乘法处理部472、第二路径非线性转换部473以及第二路径图像合成部474。

第二路径图像转换部件R(400-R2)接收由第一路径图像转换部件400-1生成的右眼信号R1并且生成导致大视差的右眼信号R2。

与参考图24描述的配置的不同之处在于，增益系数不由每个路径图像转换部件计算，并且由增益系数计算部件480生成的增益系数被输入 并且乘以由每个路径相位控制信号生成部生成的微分信号h，从而生成校正微分信号h′。

另外，增益系数计算部件480基于预先设定的深度信息计算增益系数并且将增益系数输出至每个路径图像转换部件。可以使用多种方法设定基于深度信息的增益系数。例如，在对象的距离小(即，深度浅)的情况下，在具有少量路径的阶段中乘以的增益系数增大，并且在具有大量路径的阶段中乘以的增益系数减小。而且，在对象的距离大(即，深度深)的情况下，在具有少量路径的阶段中乘以的增益系数减小，并且在具有大量路径的阶段中乘以的增益系数增大。

至此，图22中所示的配置已经被描述为构成图21中所示的图像转换单元的路径图像转换部件的配置示例，并且图24和图25中所示的配置已经被描述为构成图23中所示的图像转换单元的路径图像转换部件的配置示例。

然而，图22、图24和图25中所示的路径图像转换部件的所有配置均可以用作构成图21中所示的图像转换单元或者图23中所示的图像转换单元的路径图像转换部件的配置。

9、图像转换单元的处理顺序

接下来，将参考图26中所示的流程图描述根据本发明的实施例的图像处理装置100的图像转换单元130执行的处理顺序。另外，图26中所示的流程图示出当输入图像为运动图像(视频数据)时的处理。

在步骤S101中，微分器131(参考图4)对输入至图像转换单元130的视频数据的亮度信号执行微分处理。即，微分器131例如对图9A和图10A中所示的输入信执行微分处理，以生成在图9B和图10B中所示的微分信号H。

在步骤S102中，确定是否更新深度信息。根据预先设定的信息(诸如，一帧单位、两帧单位或四帧单位)执行深度信息的更新。以一帧为单位的深度信息的更新例如对应于先前已经参考图15A至图15E描述的处理，以两帧为单位的深度信息的更新对应于图16A至图16E中所示的处理，以及以四帧为单位的深度信息的更新对应于图17A至图17E中所示的处理。根据以上设定来确定是否到达更新时间。

当更新时间到达时，由于步骤“S102”中的确定为“是”，则图像转换处理进行到步骤S103，并且更新深度信息。即，获取对应于最新输入 帧的深度信息。

在步骤S104中，执行增益系数的计算处理。对应于深度信息计算增益系数。然而，增益系数的内容随着图像转换单元的配置而改变。在此，将描述使用图4中所示的图像转换单元130的配置的情况。在这种情况下，图4中所示的增益控制部件132计算增益系数。当对象距离大时，所计算的增益系数被设定为大，以及当对象距离小时，所计算的增益系数被设定为小。

在步骤S105中，执行微分信号校正处理。通过应用在图4中所示的增益控制部件132计算的增益系数执行微分信号的校正处理。具体地，如参考图5所描述的，增益控制部件132中的乘法处理部202将微分信号乘以基于深度信息计算的增益G。通过以上校正处理，例如，生成图9C和图10C中所示的校正微分信号H′。

在步骤S106中，对校正微分信号H′执行非线性转换处理。非线性转换部件133(参考图4)对从增益控制部件132输出的校正微分信号H′执行非线性转换处理。例如，非线性转换处理为对应于图8中所示的曲线图的非线性转换处理。

通过图像合成部件134执行步骤S107中的处理和随后的步骤。在步骤S107中，图像合成部件134的控制部确定是否对当前输入帧的左眼图像执行同步。根据从图像处理装置100输出的图像显示装置的显示方案以及在图像合成部件134中提供的帧计数器的值执行确定处理。帧计数器保持与输入图像帧的帧数量对应的值。

当图像显示装置的输出方案例如为图18A、图18B、图18C、图18D和图18E中所示的时分输出方案时，图像合成部件134确定是否根据帧计数器的值输出左眼图像。即，根据图18A、图18B、图18C、图18D和图18E中所示的时分输出方案，控制在奇数帧或偶数帧中输出左眼图像。当确定根据帧计数器的值输出左眼图像时，图像转换处理进行到步骤S108。同时，当确定当前输入帧为根据帧计数器的值输出右眼图像的帧时，图像转换处理进行到步骤S110。

而且，当图像显示装置的输出方案不为图18A、图18C、图18D和图18E中所示的时分输出方案时，即，当图像显示装置的输出方案为使用图19A、图19C、图19D和图19E中所示的两倍帧率的时分输出方案，图20A、图20C、图20D、图20E和图20F中所示的空分输出方案，或 者图像显示装置接收左眼图像和右眼图像并且执行显示控制时，图像合成部件134确定是否对所有输入帧合成左眼图像，并且图像转换处理进行到步骤S108。

在步骤S108中，图像合成部件134根据先前已经描述的以下公式生成左眼图像Left。

左眼图像信号Left＝S+E′

另外，对应于图19A中所示的输入信号的视频数据的亮度等级由S表示，并且视差加重信号的信号等级(通过非线性地转换校正微分信号H′获得，所述校正微分信号H′通过应用与对象距离(深度信息)相应的增益G对微分信号H进行校正获得)由E′表示。

同时，当在步骤S107中确定不对当前输入帧的左眼图像执行合成时，图像转换处理进行到步骤S110，并且对当前输入帧生成右眼图像。图像合成部件134根据先前已经描述的以下公式生成右眼图像Right。

右眼图像信号Right＝S-E′

另外，对应于图19A中所示的输入信号的视频数据的亮度等级由S表示，并且视差加重信号的信号等级(其通过非线性地转换校正微分信号H′获得，所述校正微分信号H′通过应用与对象距离(深度信息)相应的增益G对微分信号H进行校正获得)由E′表示。

如果在步骤S108中完成右眼图像的生成，则在步骤S109中确定是否对与左眼图像的生成帧相同的帧生成右眼图像。当图像显示装置的输出方案为图18A、图18C、图18D和图18E中所示的时分输出方案时，由于在每帧中仅合成用于左眼和右眼中任一只眼的图像，所以确定不执行右眼图像的生成，并且图像转换处理进行到步骤S111。

而且，当图像显示装置的输出方案不是图18A、图18C、图18D和图18E中所示的时分输出方案时，即，当图像显示装置的输出方案为使用图19A、图19C、图19D和图19E中所示的两倍帧率的时分输出方案，图20A、图20C、图20D、图20E和图20F中所示的空分输出方案，或者图像显示装置接收左眼图像和右眼图像并且执行显示控制时，图像合成部件134确定是否对所有输入帧合成右眼图像，并且图像转换处理进行到步骤S110。步骤S110中的处理为根据先前描述的以上公式进行的右眼图像的生成处理。

在步骤S111中，图像合成部件134的控制部确定是否执行图像减少 处理。当图像显示装置的输出方案为图20A、图20C、图20D、图20E和图20F中所示的空分输出方案时，确定执行图像减少处理并且图像转换处理进行到步骤S112。当图像显示装置的输出方案不为图20A、图20C、图20D、图20E和图20F中所示的空分输出方案时，即，当图像显示装置的输出方案为图15A至图15E、图16A至图16E以及图17A至图17E中所示的左眼图像和右眼图像的同时输出方案、图18A、图18C、图18D和图18E中所示的时分输出方案、以及图19A、图19C、图19D和图19E中所示的使用两倍帧率的时分输出方案中的任一个方案时，由于图像减小处理不是必须的，因而图像转换处理进行到步骤S114。

在步骤S112和S113中，图像合成部件134从图20D中所示的右眼图像和图20E中所示的左眼图像生成图20F中所示的双眼视差图像，如先前参考图20A、图20C、图20D、图20E和图20F所描述的。即，图像合成部件134通过将右眼图像和左眼图像的相位偏移一条线，将图20D中所示的右眼图像和图20E中所示的左眼图像在垂直方向上减小1/2(步骤S112)。另外，图像合成部件134以水平线为单位，交替地合成以此方式获得的左眼图像和右眼图像，从而生成图20F中所示的一个双眼视差图像(步骤S113)。

在步骤S114中，确定在图像输出单元150中是否已经完成图像输出处理。当已经完成图像输出处理时，完成图像转换处理。当未完成图像转换处理时，图像转换处理进行到步骤S115。

在步骤S115中，在帧计数器加1之后，图像转换处理进行到步骤S101，并且重复步骤S101至步骤S114的处理。

另外，图26中所示的流程对应于具有图4中所示的配置的图像转换单元的处理。

在使用具有通过连接参考图21至图25描述的多个路径图像转换部件连续生成导致大视差的图像的配置的图像转换单元的情况下，例如，不同地设置图26中所示的流程中的步骤S104至S106的处理。

在参考图21描述的图像转换单元的配置中，图21中所示的输出选择部件301执行选择路径图像转换部件的处理，其中，路径图像转换部件采用对应于每个像素的输出作为其本身的输出。执行确定与基于深度信息的选择相关的信息的处理。从而，在图21的配置中，图26中所示的流程中的步骤S104至S106的处理可以用基于深度信息的路径选择处 理来代替。

而且，在具有参考图23描述的配置的图像转换单元的配置中，步骤S104的增益系数计算处理的内容不同。在参考图23描述的图像转换单元的配置中，每个路径图像转换部件400均计算待使用的增益系数。根据增益系数计算处理，基于以下设定计算增益系数。在对象的距离小(即，深度浅)的情况下，在具有少量路径的阶段中乘以的增益系数增大，并且在具有大量路径的阶段中乘以的增益系数减小。而且，在对象的距离大(即，深度深)的情况下，在具有少量路径的阶段中乘以的增益系数减小，并且在具有大量路径的阶段中乘以的增益系数增大。

另外，在具有参考图23描述的配置的图像转换单元的配置中，必须计算与第一至第n路径图像转换部件的各个输出值相关的权重信息。

而且，图像转换单元例如可以具有图27中所示的配置。根据图27中所示的图像转换单元130的配置，与图4中所示的图像转换单元的配置相比，增益控制部件132和非线性转换部件133的位置改变。

根据图27中所示的配置，非线性转换部件133用微分器131生成的微分信号执行非线性转换(参考图8)并且将非线性转换结果输入至增益控制部件132，使得乘以基于对象距离(深度信息)的增益系数，以生成校正微分&非线性处理信号E′。在这种情况下，处理顺序不同于图4中所示的配置中的处理顺序。然而，结果与图4中所示的配置中的结果基本相同。

根据上述本发明的实施例的图像处理装置，输入二维图像数据，改变图像的特征值(即，其亮度改变被提取的边缘部分)和边缘部分的图像图案，从而生成右眼图像和左眼图像。通过这种配置，可以在立体显示装置中生成合适的双眼视差图像。

另外，获得对应于对象与相机的距离的深度信息，根据深度信息，对输入信号S执行微分信号H的增益控制，以生成校正微分信号H′，并且通过校正微分信号H′或视差加重信号E′(通过非线性地转换校正微分信号H′获取)和输入信号的相加和相减生成左眼信号L和右眼信号R，使得可以生成其中设定了基于对象距离(深度)的视差的双眼视差图像。

而且，可以生成嵌入有所有有效像素值的视差图像，而不存在根据相关技术的由像素偏移导致的在视差图像的生成中出现的遮挡等任何问题(参考图1)。

10、二维(2D)显示处理时的效果

另外，根据本发明的实施例的图像处理装置生成以下描述的右眼图像Right和左眼图像Left。

即，将对于在图9A和图10A中所示的输入信号S的图9B和图10B中所示的微分信号H乘以基于距离的增益值，生成图9C和图10C中所示的校正微分信号H′，并且使用图9C和图10C中所示的校正微分信号H′和输入信号S，生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-H′

Left＝S+H′

另外，使用视差加重信号E′(其通过非线性地转换图9C和图10C中所示的校正微分信号H′获得)和输入信号S生成图9D和图10D中所示的右眼图像信号Right以及图9E和图10E中所示的左眼图像信号Left。

Right＝S-E′

Left＝S+E′

可以从以上公式理解，通过将右眼图像信号和左眼图像信号相加生成的相加信号如下。

相加信号＝(S+H′)+(S-H′)＝S

或者

相加信号＝(S+E′)+(S-E′)＝S

结果，相加信号等效于输入图像。

从而，例如，在采用参考图18A、图18C、图18D和图18E或者图19A、图19C、图19D和图19E描述的时分方案的立体显示装置上显示图像的情况下，如果用户(观看者)在不佩戴基于液晶快门方案的眼镜的情况下观看图像，用户感知到左眼图像Left和右眼图像Right已经通过人类视觉系统的时间整合功能被整合的图像。即，图像等于相加信号S。

相加信号＝(S+H′)+(S-H′)＝S

或者

相加信号＝(S+E′)+(S-E′)＝S

换句话说，可以感知二维输入图像本来的样子。即，输入图像不被看作不自然的双重图像并且可以被观看为未执行处理的图像。

而且，在采用图20A、图20C、图20D、图20E和图20F中所示的空分方案的立体显示装置上显示图像的情况下，当用户从不佩戴偏振眼镜不能感知在垂直方向上的一个像素的距离观看图像时，用户能够感知在垂直方向上两个像素相加的图像。即，该图像等效于相加信号S。

相加信号＝(S+H′)+(S-H′)＝S

或者

相加信号＝(S+E′)+(S-E′)＝S

同时，由于在使用眼镜时人类视力的视网膜像差是正常视力的10倍，因而即使用户从这种距离观看图像时，仍可以充分识别左眼图像和右眼图像之间的视网膜像差。从而，当用户拿掉偏振眼镜时，图像不被看作不自然的双重图像并且可以被观看为未经处理的图像。如果用户佩戴偏振眼镜，则可以立体感知。

如上所述，根据本发明的实施例的图像处理装置生成的图像被显示在立体显示装置上，使得当用户佩戴立体视觉眼镜时可以立体感知，并且当用户不佩戴立体视觉眼镜时，图像可以被感知为未经转换的二维图像。

如上所述，相加信号被设定为等效于或基本等效于输入信号。从而，当用户看到显示在立体显示装置上的图像时，如果用户佩戴立体视觉眼镜，则用户可以感知立体表示，如果用户没有佩戴立体视觉眼镜，则可以感知图像为正常二维图像。即，不管用户是否佩戴眼镜，都可以欣赏图像。而且，在根据本发明的实施例的图像处理装置中，左眼图像和右眼图像之间的视差非常小，并且可以减少当用户佩戴立体视觉眼镜时用户的疲劳。

11、包括图像显示单元的实施例

参考图2和图3描述的图像处理装置不具有图像显示单元。然而，图像处理装置也可以具有图像显示单元。图28是示出根据实施例的包括图像显示单元的图像处理装置的示意图。

在图像显示装置500中，图像输入单元110接收从数码相机等输出的静止图像文件和从便携式摄像机等输出的运动图像数据，并且将它们 转换为内部数据格式。其中，内部数据格式表示基带的运动图像数据，并且包括三基色(红色(R)、绿色(G)和蓝色(B))的视频数据或亮度(Y)和色差(Cb和Cr)的视频数据。在内部数据格式中，如果色空间的识别信号重叠并且随后阶段的色空间转换单元120对应于图像输入单元110，则可以采用任何色空间。

深度信息输出单元115从外部接收对应于图像输入单元110的输入图像信号的深度信息或者在深度信息输出单元115中生成深度信息，并且将深度信息输出至图像转换单元130。深度信息例如包括图1B中所示的距离图像等。不指定数据格式。

从图像输入单元110输出的视频数据被输入色空间转换单元120并且被转换成亮度信号和色差信号。此时，当输入视频数据符合Y、Cb和Cr色空间时，色空间转换单元120输出输入视频数据，而不执行色空间转换。当输入视频数据符合R、G和B色空间或其他色空间时，色空间转换单元120将输入视频数据转换为亮度(Y)和色差(Cb和Cr)信号并且输出转换后的信号。

其中，从色空间转换单元120输出的视频数据的色空间不限于Y、Cb和Cr色空间。例如，如果亮度分量和彩色分量相互分离，则可以采用任何色空间。

从色空间转换单元120输出的视频数据被输入图像转换单元130。图像转换单元130通过先前描述的处理生成用于左眼和右眼的双眼视差图像，根据图像显示单元550的类型合成这些图像，并且输出合成后的图像。

从图像转换单元130输出的视频信号被输入反向色空间转换单元140，并且将Y、Cb和Cr色空间转换为R、G和B色空间。

从反向色空间转换单元140输出的视频数据被输入图像显示单元550。图像显示单元550用作图像输出单元和显示单元，并且根据以下描述的立体显示方案(时分方案或空分方案)中的任一个方案执行图像显示。

时分方案

根据时分立体显示方法，输入视频数据的奇数帧和偶数帧分别被识别为左眼图像和右眼图像(或者右眼图像和左眼图像)，并且通过控制用户佩戴的基于液晶快门方案的眼镜，视频被暂时和交替地提供给左眼和 右眼。根据该显示方法，图像显示单元550与用户佩戴的眼镜的左部分和右部分的快门切换同步地控制左眼图像和右眼图像的输出切换定时。

空分方案

根据空分立体显示方法，在偏振滤光片(其中，其偏振方向被设定成对于每个水平线改变)被附着至显示单元的前表面之后，当用户用基于偏振滤光片方案的眼镜观看图像时，对于每条水平线分离的视频被提供给用户的双眼。

如上所述，在根据本发明的实施例的图像处理装置中，输入二维图像数据，并且以伪方式根据图像的特征值生成左眼图像和右眼图像，使得可以执行使用双眼视差的立体显示。另外，在根据本发明的实施例的图像处理装置中，由于执行图像转换使得通过将左眼图像加入到右眼图像获得的图像等效于输入图像，所以如果用户佩戴了立体视觉眼镜，用户可以感知立体表示(stereoscopic representation)，如果用户没有佩戴立体视觉眼镜，则可以感知图像为正常二维图像，使得不管用户是否佩戴眼镜，都可以欣赏图像。而且，在根据本发明的实施例的图像显示装置中，左眼图像和右眼图像之间的视差非常小，并且可以减小当用户佩戴立体视觉眼镜时用户的疲劳。

至此，详细描述了本发明的特定实施例。然而，本领域技术人员应该明白，在本发明的范围内可以作出修改和替换。即，本发明以示例的形式被披露并且不限于说明的形式。为了确定本发明的范围，应该考虑所附权利要求部分。

而且，可以通过硬件、软件、或硬件和软件的组合配置执行说明书中描述的一系列处理。当通过软件执行这些处理时，记录处理顺序的程序(其被嵌入专用硬件中)可以在安装于计算机中的存储器中之后被执行，或者程序可以在安装于能够执行多种处理的通用计算机中之后被执行。例如，程序可以预先记录在记录介质上。程序不仅可以从记录介质安装到计算机，而且还可以在通过所谓的LAN(局域网)或互联网的网络被接收之后安装在记录介质(诸如嵌入式硬盘)上。

另外，在说明书中写入的多种处理不仅可以根据其写入顺序按照时间序列执行，而且还可以根据执行处理的装置的处理能力或者是否必要并行地或单独执行。而且，应该注意，在此所指的系统表示多个装置的逻辑集合，并且每个组件装置不必须容纳在同一机架中。

本申请包括关于2009年12月14日提交到日本专利局的日本优先权专利申请JP 2009-283080中披露的主题，通过参考其全部内容结合于此。

本领域技术人员应该明白，根据设计要求和其他因素等可以出现多种修改、结合、子结合以及改变，它们均在所附权利要求或其等价物的范围内。

Claims (19)

1.一种图像处理装置，包括：

图像输入单元，输入二维图像信号；

深度信息输出单元，输入或生成构成所述二维图像信号的图像区域的深度信息；

图像转换单元，接收来自所述图像输入单元的图像信号和来自所述深度信息输出单元的所述深度信息，并且生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

图像输出单元，输出从所述图像转换单元输出的所述左眼图像和所述右眼图像，

其中，所述图像转换单元提取输入图像信号的空间特征值，并且对所述输入图像信号执行包括应用所述特征值和所述深度信息的加重处理的图像转换处理，从而生成所述左眼图像和所述右眼图像中的至少之一。

2.根据权利要求1所述的图像处理装置，其中，所述图像转换单元提取所述输入图像信号的亮度微分信号，将所述亮度微分信号设定为所述特征值，通过对所述微分信号基于以图像区域为单位的深度信息执行增益控制来生成校正微分信号，将通过将所述校正微分信号加入所述输入图像信号或从所述输入图像信号减去所述校正微分信号获得的转换信号中的任一个转换信号生成为所述左眼图像或所述右眼图像，并且将对应于未经过处理的所述输入图像信号的非转换信号输出为不同于所述转换信号的眼图像。

3.根据权利要求1所述的图像处理装置，其中，所述图像转换单元提取所述输入图像信号的亮度微分信号，将所述亮度微分信号设定为所述特征值，通过对所述微分信号基于以图像区域为单位的深度信息执行增益控制来生成校正微分信号，生成通过将所述校正微分信号加入所述输入图像信号获得的信号以及生成从所述输入图像信号减去所述校正微分信号获得的信号，并且将这两个信号的对生成为所述左眼图像和所述右眼图像的对。

4.根据权利要求2或3所述的图像处理装置，其中，所述图像转换单元对从所述深度信息输出单元输出的所述深度信息大的图像区域基于大增益执行所述亮度微分信号的校正处理，并且对所述深度信息小的图像区域基于小增益执行所述亮度微分信号的校正处理，从而生成所述校正微分信号。

5.根据权利要求2和3中任一项所述的图像处理装置，其中，所述图像转换单元生成通过将通过非线性转换所述校正微分信号获得的信号加入所述输入图像信号或者从所述输入图像信号减去通过非线性转换所述校正微分信号获得的信号而获得的信号，并且将所述信号中的任一个生成为所述左眼图像或所述右眼图像。

6.根据权利要求1所述的图像处理装置，其中，所述图像转换单元包括：

相位控制信号生成部，生成输入信号的微分信号；

非线性转换部，对由所述相位控制信号生成部生成的所述微分信号执行非线性转换处理；

图像合成部，将所述非线性转换部的输出加入所述输入信号或者从所述输入信号减去所述非线性转换部的输出；以及

处理路径，通过所述处理路径重复由包括所述相位控制信号生成部、所述非线性转换部和所述图像合成部的图像转换模块进行的图像转换处理，

其中，所述图像转换单元根据从所述深度信息输出单元输出的所述深度信息，选择并且合成构成所述处理路径的每个图像转换模块的输出，从而生成所述左眼图像或所述右眼图像。

7.根据权利要求1所述的图像处理装置，其中，所述图像转换单元包括：

相位控制信号生成部，生成输入信号的微分信号；

增益控制部，对由所述相位控制信号生成部生成的所述微分信号，基于根据从所述深度信息输出单元输出的所述深度信息设定的增益系数，执行增益控制，从而生成校正微分信号；

非线性转换部，对所述增益控制部的输出执行非线性转换处理；

图像合成部，将所述非线性转换部的输出加入所述输入信号或者从所述输入信号减去所述非线性转换部的输出；

处理路径，通过所述处理路径重复由包括所述相位控制信号生成部、所述增益控制部、所述非线性转换部和所述图像合成部的图像转换模块进行的图像转换处理；

权重值计算部件，根据从所述深度信息输出单元输出的所述深度信息，设定构成所述处理路径的每个图像转换模块的权重值；以及

图像合成部件，根据由所述权重值计算部计算的所述权重值，合成构成所述处理路径的每个图像转换模块的输出，从而生成所述左眼图像或所述右眼图像。

8.根据权利要求1所述的图像处理装置，其中，所述图像转换单元包括：

相位控制信号生成部，生成输入信号的微分信号；

乘法处理部，通过将由所述相位控制信号生成部生成的所述微分信号乘以根据从所述深度信息输出单元输出的所述深度信息设定的增益系数，来生成校正微分信号；

非线性转换部，对所述乘法处理部的输出执行非线性转换处理；

图像合成部，将所述非线性转换部的输出加入所述输入信号或者从所述输入信号减去所述非线性转换部的输出；

处理路径，通过所述处理路径重复由包括所述相位控制信号生成部、所述乘法处理部、所述非线性转换部和所述图像合成部的图像转换模块进行的图像转换处理；

权重值计算部件，根据从所述深度信息输出单元输出的所述深度信息，设定构成所述处理路径的每个图像转换模块的权重值；以及

图像合成部件，根据由所述权重值计算部计算的所述权重值，合成构成所述处理路径的每个图像转换模块的输出，从而生成所述左眼图像或所述右眼图像。

9.根据权利要求1至8中任一项所述的图像处理装置，其中，所述图像转换单元对构成运动图像的每帧生成所述左眼图像和所述右眼图像。

10.根据权利要求9所述的图像处理装置，进一步包括：图像输出单元，以输入图像帧的帧率的两倍帧率，交替地输出由所述图像转换单元生成的所述左眼图像和所述右眼图像。

11.根据权利要求1至8中任一项所述的图像处理装置，其中，所述图像转换单元对构成运动图像的每帧交替地生成所述左眼图像或所述右眼图像。

12.根据权利要求1至8中任一项所述的图像处理装置，其中，所述图像转换单元对构成运动图像的每帧生成所述左眼图像和所述右眼图像，并且生成交替地包括构成所生成的左眼图像和右眼图像的线数据的双眼视差图像。

13.根据权利要求1至12中任一项所述的图像处理装置，其中，所述图像转换单元基于所生成的左眼图像和右眼图像的相加信号等效于或几乎等效于所述输入信号的设定，生成所述左眼图像和所述右眼图像。

14.根据权利要求1至13中任一项所述的图像处理装置，进一步包括：图像显示单元，显示由所述图像转换单元生成的图像。

15.根据权利要求14所述的图像处理装置，其中，所述图像显示单元执行交替地输出所述左眼图像和所述右眼图像的时分立体显示处理。

16.根据权利要求15所述的图像处理装置，其中，当所述图像显示单元执行交替地输出所述左眼图像和所述右眼图像的时分立体显示处理时，所述图像显示单元与图像观看者所佩戴的眼镜的左部分和右部分的快门切换同步地切换所述左眼图像和所述右眼图像的输出切换定时。

17.根据权利要求14所述的图像处理装置，其中，所述图像显示单元具有偏振滤光片被附着至其前表面的配置，并且显示交替地包括构成由所述图像转换单元生成的所述左眼图像和所述右眼图像的所述线数据的所述双眼视差图像，所述偏振滤光片的偏振方向被设置成对于每条水平线改变。

18.一种图像处理装置中的图像处理方法，包括以下步骤：

通过图像输入单元输入二维图像信号；

通过深度信息输出单元接收或生成构成所述二维图像信号的图像区域的深度信息；

接收从所述图像输入单元输出的图像信号和从所述深度信息输出单元输出的所述深度信息，并且通过图像转换单元生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

通过图像输出单元输出从所述图像转换单元输出的所述左眼图像和所述右眼图像，

其中，在接收所述图像信号和所述深度信息的步骤中，提取输入图像信号的空间特征值，并且对所述输入图像信号执行包括应用所述特征值和所述深度信息的加重处理的图像转换处理，导致生成所述左眼图像和所述右眼图像中的至少之一。

19.一种使计算机执行图像处理装置的图像处理的程序，所述图像处理包括：

通过图像输入单元输入二维图像信号；

通过深度信息输出单元接收或生成构成所述二维图像信号的图像区域的深度信息；

接收从所述图像输入单元输出的图像信号和从所述深度信息输出单元输出的所述深度信息，并且通过图像转换单元生成和输出用于实现双眼立体视觉的左眼图像和右眼图像；以及

通过图像输出单元输出从所述图像转换单元输出的所述左眼图像和所述右眼图像，

其中，在接收所述图像信号和所述深度信息的步骤中，提取输入图像信号的空间特征值，并且对所述输入图像信号执行包括应用所述特征值和所述深度信息的加重处理的图像转换处理，导致生成所述左眼图像和所述右眼图像中的至少之一。

Images