CN101646095A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法及程序。所述图像处理装置包括：图像输入部，其输入二维图像信号；图像转换部，其将从所述图像输入部输出的图像信号输入，并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出；以及图像输出部，其将从所述图像转换部输出的右眼用的图像及左眼用的图像输出，其中，所述图像转换部提取所输入的图像信号的空间特征量，并进行实施将该特征量应用于所输入的图像信号的增强处理的图像转换处理，以生成右眼用的图像或左眼用的图像。

Description

图像处理装置、图像处理方法及程序

技术领域

本发明涉及图像处理装置、图像处理方法及程序。具体地说，本发明涉及对二维图像进行图像转换以生成具有立体视觉能力的双眼视差图像的图像处理装置、图像处理方法及程序。

背景技术

迄今，已经提出了用于将二维图像转换成具有立体视觉能力的双眼视差图像的装置及方法的多种方案。基于二维图像而生成的双眼视差图像包含分别由右眼及左眼来观察的右眼用的图像与左眼用的图像的对。通过使用能够分别地向观察者的右眼及左眼分开地呈现右眼用的图像及左眼用的图像的显示装置来呈现包含右眼用的图像与左眼用的图像的对的双眼视差图像，观察者能够感知到作为立体视觉图像的图像。

已经公开的关于对这样的图像的生成及显示处理的现有技术包括下列技术。

例如，日本未审专利申请平9-107562号公报公开了一种用于在水平方向上有运动的运动图像的图像处理结构。具体地说，在该图像处理结构中，将原始图像输出成右眼用的图像或左眼用的图像中的一个图像，并将各视场有延迟的图像输出成右眼用的图像或左眼用的图像中的另一图像。通过这样的图像输出控制，该技术使得用户能够感知到水平地移动的物体比背景近。

此外，日本未审专利申请平8-30806号公报提出了一种通过将右眼用的图像与左眼用的图像沿水平方向移动预定量来使得用户能够感知到静止图像或具有微小运动的运动图像突显出来的装置。

此外，日本未审专利申请平10-51812号公报提出了以下方法：在该方法中，将图像划分成多个视差计算区，根据图像的特征量针对各个区来计算伪深度，并基于该深度来将右眼用的图像与左眼用的图像沿相反的方向水平地移动。

此外，按与日本未审专利申请平10-51812号公报相同的方式，日本未审专利申请2000-209614号公报提出了一种通过基于根据图像的特征量而计算出的延迟量来在改变右眼用的图像及左眼用的图像沿水平方向的延迟量的同时对沿水平方向的延迟量进行限制，以使得不生成多于必要的双眼视差从而防止眼疲劳的方案。

另外，日本未审专利申请2005-151534号公报提出了以下方法：在该方法中，计算图像的上部及下部的特征量，对表示预先提供的深度信息的多个场景结构的组合比率进行调整，以使得图像由简单的结构的组合来表现。

上述现有技术具有下述问题。

在日本未审专利申请平9-107562号公报中所描述的图像转换装置仅使得能够立体地观看以恒定的速度水平地运动的物体。未对包含多个运动被摄体的图像及包括复杂运动的图像正确地设定双眼视差，物体被置于不自然的位置处，并且视网膜象差变得太大，由此认为未形成立体视觉。

此外，在日本未审专利申请平8-30806号公报中所描述的图像转换装置中，对于静止图像或有微小运动的运动图像，仅进行整个画面的移动，因此不能表现图像中的物体之间的前后关系。

在日本未审专利申请平10-51812号公报及2000-209614号公报中所描述的图像转换装置中，根据图像的特征量来估计伪深度。然而，该估计是基于画面前方的物体具有高清晰度、高亮度及高饱和度的假设，因此该估计不一定正确。因此，其深度被错误地估计的物体被赋予错误的视网膜象差，因此该物体被置于错误的位置处。

在日本未审专利申请2005-151534号公报中所描述的图像转换装置中，将图像的结构应用于相对简单的有限结构，因此限制了不自然深度的发生。然而，所有的现有技术方法所共有的问题是，在所生成的双眼视差图像中发生相对大的视网膜象差。使用立体显示装置来立体地显示双眼视差图像。通常，观察者佩戴一副特殊的眼镜(例如，利用偏振滤波器或滤色器来将图像分成分别地用于右眼及左眼的图像的无源眼镜，或利用液晶光阀来将图像按时间分成右眼用的图像及左眼用的图像的有源眼镜)，使用立体显示装置来观察图像。

在观看具有大视网膜象差的双眼视差图像时，观察者能够在佩戴这样的用于立体视觉的眼镜的状态下，根据视网膜象差而感知到立体效果。然而，在观察者在不佩戴所述眼镜的情况下观看画面时，所看到的右眼用的图像及左眼用的图像是在很大程度上彼此重叠的图像，使得难以看到通常的二维图像。即，仅在佩戴所述眼镜的状态下才能欣赏到经现有技术的图像转换装置转换的图像。

此外，认为大视网膜象差对观察者的疲劳有影响。例如，在日本未审专利申请平6-194602号公报中，描述了以下事实：如果右眼用的图像及左眼用的图像具有大的偏移，则按照在真实世界中观看的方式，在对会聚角的控制与对晶体透镜的调整之间产生矛盾，并且该矛盾导致使用双眼视差的立体视觉的疲劳。

此外，在日本未审专利申请平10-51812号公报、2000-209614号公报及2005-151534号公报中所描述的图像转换装置中，根据图像来估计伪深度。然而，难以根据一个图像来检测详细的深度。例如，不易于估计微小结构(例如，树枝、电线及头发)的深度。因此，不可能对这些微小的被摄体赋予立体效果。

发明内容

本发明例如解决上述问题，并抑制由于对深度的错误估计而导致的错误的立体效果的发生。由此，本发明使得能够在将右眼用的图像与左眼用的图像组合起来时重构原始图像或接近于原始图像的图像。即，期望提供一种使得观察者能够在不佩戴立体视觉眼镜的状态下欣赏通常的二维图像、并同时实现对带给观察者的疲劳很小的双眼视差图像的生成及呈现的图像处理装置、图像处理方法及程序。

根据本发明的实施例，提供了一种图像处理装置，该装置包括：图像输入部，其输入二维图像信号；图像转换部，其将从所述图像输入部输出的图像信号输入，并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出；以及图像输出部，其将从所述图像转换部输出的右眼用的图像及左眼用的图像输出，其中，所述图像转换部提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以提取所输入的图像信号的微分亮度信号，可以将该微分亮度信号设定为所述特征量，可以生成通过将所述特征量加到所输入的图像信号上或通过从所输入的图像信号中减去所述特征量而生成的经转换的信号作为右眼用的图像信号或左眼用的图像信号，并且可以输出直接地作为所输入的图像信号的未经转换的信号，以作为用于眼睛中与针对其生成所述经转换的信号的眼睛不同的另一眼睛的图像信号。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以提取所输入的图像信号的微分亮度信号，可以将该微分亮度信号设定为所述特征量，可以分别地通过将所述特征量加到所输入的图像信号上及通过从所输入的图像信号中减去所述特征量来生成信号，并且可以将所述两个信号的对生成为右眼用的图像与左眼用的图像的对。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以提取所输入的图像信号的微分亮度信号，可以将通过对该微分亮度信号进行非线性转换而生成的信号设定为所述特征量，可以通过将所述特征量加到所输入的图像信号上或通过从所输入的图像信号中减去所述特征量来生成信号，并且可以将所述信号中的任一信号生成为右眼用的图像信号或左眼用的图像信号。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以包括：边缘区检测部，其检测所输入的图像信号的边缘区；增强控制部，其对由所述边缘区检测部所检测到的边缘区进行将所述特征量减小的特征量修正；以及图像组合部，其应用由所述增强控制部所生成的经修正的特征量，并实施将对所述边缘区的增强处理水平减小的增强处理。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以包括：肉色区检测部，其检测所输入的图像信号的肉色区；增强控制部，其对由所述肉色区检测部所检测到的肉色区进行将所述特征量减小的特征量修正；以及图像组合部，其应用由所述增强控制部所生成的经修正的特征量，并实施将对所述肉色区的增强处理水平减小的增强处理。

此外，在根据本发明实施例的图像处理装置中，其中，所述图像转换部可以提取所输入的图像信号的微分亮度信号，可以将该微分亮度信号设定为第一特征量，可以生成通过将该第一特征量加到所输入的图像信号的亮度信号上或通过从所输入的图像信号的亮度信号中减去该第一特征量而生成的经转换的信号作为右眼用的图像或左眼用的图像的亮度信号，可以提取所输入的图像信号的微分色差信号，可以将该微分色差信号设定为第二特征量，可以生成通过将该第二特征量加到所输入的图像信号的色差信号上或通过从所输入的图像信号的色差信号中减去该第二特征量而生成的经转换的信号作为右眼用的图像或左眼用的图像的色差信号，并且可以输出直接地作为所输入的图像信号的未经转换的信号，以作为用于眼睛中与针对其生成所述经转换的信号的眼睛不同的另一眼睛的图像。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以提取所输入的图像信号的微分亮度信号，可以将该微分亮度信号设定为第一特征量，可以分别地通过将该第一特征量加到所输入的图像信号的亮度信号上及通过从所输入的图像信号的亮度信号中减去该第一特征量来生成信号，可以将所述两个信号的对生成为右眼用的图像的亮度信号与左眼用的图像的亮度信号的对，可以提取所输入的图像信号的微分色差信号，可以将该微分色差信号设定为第二特征量，通过将该第二特征量加到所输入的图像信号的色差信号上及通过从所输入的图像信号的色差信号中减去该第二特征量来生成信号，并且可以将所述两个信号的对生成为右眼用的图像的色差信号与左眼用的图像的色差信号的对。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以针对运动图像中所包含的每个帧来进行生成右眼用的图像及左眼用的图像的处理。

此外，根据本发明实施例的图像处理装置还可以包括：图像输出部，其将由所述图像转换部所生成的右眼用的图像及左眼用的图像输出，其中，所述图像输出部可以按输入图像帧频的两倍的速度交替地输出由所述图像转换部所生成的右眼用的图像及左眼用的图像。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以针对运动图像中所包含的每个帧交替地生成右眼用的图像或左眼用的图像。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以针对运动图像中所包含的每个帧来生成右眼用的图像及左眼用的图像，并且可以进行交替地包括在所生成的右眼用的图像及左眼用的图像中所包含的线数据的双眼视差图像的生成处理。

此外，在根据本发明实施例的图像处理装置中，所述图像转换部可以按照将右眼用的图像与左眼用的图像的加和信号设定成等于或大致上等于所输入的信号的方式来进行右眼用的图像及左眼用的图像的生成处理。

此外，根据本发明实施例的图像处理装置还可以包括：图像显示部，其对由所述图像转换部生成的图像进行显示。

此外，在根据本发明实施例的图像处理装置中，所述图像显示部可以进行交替地输出右眼用的图像及左眼用的图像的时分立体显示处理。

此外，在根据本发明实施例的图像处理装置中，在所述图像显示部进行交替地输出右眼用的图像及左眼用的图像的时分立体显示处理时，所述图像显示部可以按照使得输出右眼用的图像及左眼用的图像的切换定时与由图像的观察者所佩戴的右部眼镜及左部眼镜的光阀的切换相同步的方式来切换显示。

此外，在根据本发明实施例的图像处理装置中，所述图像显示部可以具有以下结构：在所述显示部的前表面上贴附有其偏振方向针对每个水平线设定得不同的偏振滤波器，并且可以显示交替地包含形成由所述图像转换部所生成的右眼用的图像及左眼用的图像的线数据的双眼视差图像。

根据本发明的另一实施例，提供了一种图像处理装置，该装置包括：图像输入部，其输入二维图像信号；图像转换部，其将从所述图像输入部输出的图像信号输入，并且生成用于允许立体视觉的右眼用的图像或左眼用的图像并将其输出；以及图像输出部，其将从所述图像转换部输出的右眼用的图像及左眼用的图像输出，其中，所述图像转换部按照使得将右眼用的图像与左眼用的图像的加和信号设定成等于或大致上等于所输入的信号的方式来进行右眼用的图像及左眼用的图像的生成处理。

根据本发明的另一实施例，提供了一种图像处理装置中的处理图像的方法，该方法包括步骤：由输入二维图像信号的图像输入部来输入所述图像；由将从所述图像输入部输出的图像信号输入、并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出的图像转换部来对所述图像进行转换；以及由将从所述图像转换部输出的右眼用的图像及左眼用的图像输出的图像输出部将所述图像输出，其中，所述转换图像的步骤提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

根据本发明的另一实施例，提供了一种用于使图像处理装置进行图像处理的程序，所述图像处理包括以下步骤：由输入二维图像信号的图像输入部来输入图像；由将从所述图像输入部输出的图像信号输入、并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出的图像转换部来对所述图像进行转换；以及由将从所述图像转换部输出的右眼用的图像及左眼用的图像输出的图像输出部将所述图像输出，其中，所述转换图像的步骤提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

在这点上，本发明的计算机程序是能够通过存储介质及通信介质来提供给例如执行各种程序代码的通用计算机系统的、计算机可读格式的计算机程序。通过提供这样的计算机可读格式的程序，在计算机系统上执行根据该程序的处理。

通过基于本发明的下列实施例及附图的详细描述，本发明的其他目的、特征及优点将变得清楚。在这点上，在本说明书中，系统是多个装置的逻辑集合，而并不限于包含在同一壳体中的组成装置的集合。

通过本发明的实施例，在其中输入二维图像信号并生成右眼用的图像及左眼用的图像以实现双眼立体视觉的结构中，图像转换部提取所输入的信号的空间特征量，并进行使用该特征量来对所输入的图像信号实施增强处理的图像转换处理，以生成右眼用的图像及左眼用的图像。具体地说，将所输入的图像信号的微分亮度信号或通过对该微分亮度信号进行非线性转换而生成的信号确定成特征量。通过将该特征量加到所输入的图像信号上及通过从所输入的图像信号中减去该特征量来生成两个信号，并将这两个信号的对生成为右眼用的图像与左眼用的图像的对。利用这种结构，能够通过简单的信号处理来生成具有立体视觉能力的图像。并且，右眼用的图像与左眼用的图像的加和信号成为等于所输入的信号。因此，在用户在不佩戴立体眼镜的情况下观察图像时，该用户能够看到作为通常的二维图像的图像。

附图说明

图1是例示根据本发明实施例的图像处理装置的结构的示例的图；

图2是例示根据本发明实施例的图像处理装置中的图像输入部的结构的示例的图；

图3是例示作为根据本发明实施例的图像处理装置中的图像输入部的处理示例的、在输入图像为静止图像的情况下的处理序列的流程图；

图4是例示作为根据本发明实施例的图像处理装置中的图像输入部的处理示例的、在输入图像为运动图像的情况下的处理序列的流程图；

图5是例示根据本发明实施例的图像处理装置中的图像转换部的结构的示例的图；

图6是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、对图像信号的非线性转换处理的示例的图；

图7是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、根据输入图像的针对右眼及针对左眼的图像信号生成处理的示例的图；

图8是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、根据输入图像的针对右眼及针对左眼的图像信号生成处理的示例的图；

图9是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、根据输入图像的针对右眼及针对左眼的图像信号生成处理的示例的图；

图10是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、根据输入图像的针对右眼及针对左眼的图像信号生成处理的示例的图；

图11是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的、根据输入图像的针对右眼及针对左眼的图像信号生成处理的示例的图；

图12是例示由根据本发明实施例的图像处理装置生成的、右眼图像与左眼图像之间的视网膜象差的图；

图13是例示由根据本发明实施例的图像处理装置生成的、右眼图像与左眼图像之间的视网膜象差的图；

图14是例示由根据本发明实施例的图像处理装置生成的、右眼图像与左眼图像之间的视网膜象差的图；

图15是例示由根据本发明实施例的图像处理装置生成的、右眼图像与左眼图像之间的双眼视差的图；

图16是例示由根据本发明实施例的图像处理装置中的图像转换部所执行的处理序列的流程图；

图17是例示根据本发明实施例的图像处理装置中的图像转换部的结构的示例的图；

图18是例示根据本发明实施例的图像处理装置中的图像转换部的结构的示例的图；以及

图19是例示根据本发明实施例的图像处理装置的结构的示例的图。

具体实施方式

下面，将参照附图来对根据本发明实施例的图像处理装置、图像处理方法及程序进行详细的描述。将按照下列项目来进行描述。

1.根据本发明第一实施例的图像处理装置

1.1根据本发明的图像处理装置的结构及处理的概要

1.2由根据本发明的图像处理装置生成的右眼用的图像及左眼用的图像的结构及输出的示例

1.3关于由根据本发明的图像处理装置生成的右眼用的图像及左眼用的图像的视网膜象差

1.4关于根据本发明的图像处理装置的图像转换部的处理序列

2.包含对特定图像区的检测及控制处理的根据本发明第二实施例的图像处理装置

3.生成与色差信号相对应的右图像信号及左图像信号的根据本发明第三实施例的图像处理装置

4.具有图像显示部的图像处理装置的结构的示例

1.根据本发明第一实施例的图像处理装置

首先，将参照图1及其他附图来对本发明的第一实施例进行描述。

1.1根据本发明的图像处理装置的结构及处理的概要

图1是例示根据本发明实施例的图像处理装置的图。在图像处理装置100中，图像输入部110接收从数字照相机等输出的静止图像文件以及从摄像机等输出的运动图像数据，并将该文件及该数据转换成内部数据格式。此处，内部数据格式是基带运动图像数据，并且是三基色(红色(R)、绿色(G)、蓝色(B))的视频数据或包括亮度(Y)及色差(Cb，Cr)的视频数据。内部数据格式上叠加有色彩空间的识别信号，使得可以使用任意色彩空间，只要后续阶段中的色彩空间转换部120与该色彩空间相对应即可。

从图像输入部110输出的视频数据被输入到色彩空间转换部120中，并被转换成亮度信号及色差信号。此时，如果所输入的视频数据符合图像转换部130的处理数据(例如，符合Y、Cb、Cr色彩空间)，则色彩空间转换部120不进行色彩空间转换而输出该数据。如果所输入的视频数据符合R、G、B色彩空间或其他色彩空间，则色彩空间转换部120进行到亮度(Y)信号及色差(Cb，Cr)信号的转换，并输出这些信号。

在这点上，从色彩空间转换部120输出的视频数据的色彩空间并不限于Y、Cb、Cr色彩空间。该色彩空间可以是任意色彩空间，只要该色彩空间符合图像转换部130的处理数据并且亮度分量与色彩分量分开即可。例如，可以使用亮度信号(Y)及色差信号(U，V)。

从色彩空间转换部120输出的视频数据被输入到图像转换部130中。图像转换部130通过稍后描述的处理来生成右眼用的双眼视差图像及左眼用的双眼视差图像，并根据立体显示装置来将这些图像组合起来。即，图像转换部130提取所输入的图像信号的空间特征量，并对所提取的特征量进行不同的增强处理，以生成右眼用的图像及左眼用的图像。

从图像转换部130输出的视频数据被输入到色彩空间反转换部140中，并被从Y、Cb、Cr色彩空间转换到根据输出图像格式的色彩空间。此时，如果输出图像格式符合Y、Cb、Cr色彩空间，则色彩空间反转换部140不进行色彩空间转换而输出视频数据。以该方式，图1例示了具有色彩空间转换部120及色彩空间反转换部140的结构。然而，这些组成部分并非不可缺少，而是可以省略的。

从色彩空间反转换部140输出的视频数据被输入到图像输出部150中。图像输出部150将该视频数据转换成能够由外部连接的、且能够通过对经图像转换部130转换的双眼视差图像进行显示而实现立体视觉的立体显示装置来接收的视频数据。

在这点上，在本实施例中，描述了以下方法：在该方法中，输入静止图像，并利用图像输入部110来将该图像转换成视频数据。然而，本发明并不限于该方法。可以将一个静止图像转换成用于右眼及用于左眼的两个图像，并且可以将两个静止图像的文件输出给例如存储卡等。

图2是例示根据实施例的图像输入部110的结构的框图。图像输入部110包括：存储卡接口111，其用于输入静止图像文件等；USB接口112，其用于直接地连接视频装置；视频接口113，其用于输入视频信号；帧存储器114；解码器115及视频输出部116。

作为图像输入部110中的处理的示例，将参照图3中的流程图来对输入静止图像的处理序列进行描述。

在步骤S101中，图像输入部110开始输入静止图像。

在步骤S102中，图像输入部110检查是否在存储卡接口111中插入了存储卡，并确定是否要从该存储卡输入图像数据。如果插入了存储卡，则处理前进到步骤S104，而如果未插入存储卡，则处理前进到步骤S103。

在步骤S103中，图像输入部110检查USB接口112是否连接有能够输入静止图像的外部装置，并确定是否要从USB接口112输入图像数据。如果连接有USB装置，则处理前进到步骤S105。如果未连接USB装置，则终止图像输入处理。

此处，对从其输入静止图像数据的介质的确定可以通过使用图中未示出的操作部指示输入装置的方法来指定。

在步骤S104中，图像输入部110从存储卡中所记录的静止图像文件中读取图像数据。此时，可以使用图中未示出的操作部来选择存储卡中的静止图像文件。作为另一种选择，可以按基于某些准则而确定的顺序来自动地选择静止图像文件。

在步骤S105中，图像输入部110从连接到USB接口的外部装置中读取静止图像数据。此时，可以使用图中未示出的操作部来选择外部装置中的静止图像文件。作为另一种选择，可以按基于某些准则而确定的顺序来自动地选择静止图像文件。

在步骤S106中，图像输入部110将在步骤S104或步骤S105中读取的静止图像数据存储到帧存储器114中。

在步骤S107中，图像输入部110在图中未示出的控制部的控制下从帧存储器114中读取静止图像数据。此时，读取地址指示在步骤S106中存储的图像数据的开头。

在步骤S108中，图像输入部110对静止图像进行解码处理。通常，根据由JPEG(联合图像专家组)等所规定的格式来对静止图像数据进行压缩。这样，解码器115通过根据图像格式来进行图像扩展处理，从而重构基带图像数据。

在步骤S109中，图像输入部110将经解码的静止图像数据作为视频数据的一帧输出。此处，视频数据的格式符合由图像输出部150所输出的格式。即，如果图像输出部150输出HD(高清晰度)分辨率且每秒60帧的视频数据，则图中未示出的控制部生成每秒60帧的视频同步信号，并且图像输出部150在该信号的有效区中应用静止图像数据，并输出该信号。

在步骤S110中，确定图像输出部150是否完成图像输出处理。如果已完成图像输出处理，则终止图像输入处理。如果未完成图像输出处理，则处理前进到步骤S111。

在步骤S111中，图像输入部110将帧存储器114的读取地址初始化，并将该读取地址设定成指示在步骤S106中存储的静止图像数据的开头。在步骤S111中的地址初始化完成时，处理前进到步骤S107，并且其后重复从步骤S107至步骤S111的处理。

以该方式，如果输入静止图像，则图像输入部110进行到具有相同的连续图像的视频数据的转换。

接下来，作为图像输入部110中的处理的示例，将参照图4中的流程图来对输入运动图像的处理序列进行描述。

在步骤S201中，图像输入部110开始输入运动图像。

在步骤S202中，图像输入部110检查是否向视频接口113中输入了视频信号，并确定是否要从该视频接口输入运动图像数据。如果输入了视频信号，则处理前进到步骤S205，而如果未输入视频信号，则处理前进到步骤S203。

在步骤S203中，图像输入部检查USB接口112是否连接有能够输入运动图像的外部装置，并确定是否要从USB接口112输入运动图像数据。如果连接有USB装置，则处理前进到步骤S206。如果未连接USB装置，则处理前进到步骤S204。

在步骤S204中，图像输入部110检查是否在存储卡接口111中插入了存储卡，并确定是否要从该存储卡输入运动图像数据。如果插入了存储卡，则处理前进到步骤S207，而如果未插入存储卡，则终止图像输入处理。

此处，对从其输入运动图像数据的介质的确定可以通过使用图中未示出的操作部指示输入装置的方法来指定。

在步骤S205中，图像输入部110从视频接口113读取视频数据。通过数字视频传输(例如，DVI(数字视频接口)、HDMI(高清多媒体接口)、HDSDI(高清串行数字接口)等)而传输来的视频信号、通过模拟视频传输(例如，NTSC(美国国家电视标准委员会)、组件方式等)而传输来的视频信号被输入到图像输入部110中。如果输入模拟视频信号，则视频接口113通过解调处理来将该信号转换成基带信号，然后利用A/D转换器来将该信号转换成数字信号。另一方面，如果输入数字视频信号，则视频接口113通过解调处理来将该信号转换成基带信号。

在步骤S206中，图像输入部110从连接到USB接口112的外部装置中读取运动图像数据。此时，可以使用图中未示出的操作部来选择外部装置中的运动图像文件。作为另一种选择，可以按基于某些准则而确定的顺序来自动地选择运动图像文件。

在步骤S207中，图像输入部110从存储卡中所记录的运动图像文件中读取图像数据。此时，可以使用图中未示出的操作部来选择存储卡中的运动图像文件。作为另一种选择，可以按基于某些准则而确定的顺序来自动地选择运动图像文件。

此处，通过USB接口112而输入的运动图像数据及存储卡中所记录的运动图像数据是经由MPEG(运动图像专家组)等所限定的运动图像压缩方式压缩的流数据。在这样的压缩方式中，必须使用帧存储器来进行解码处理，因此在步骤S208中将所述流数据存储在帧存储器114中。

在步骤S209中，图像输入部110在图中未示出的控制部的控制下从帧存储器114中读取运动图像数据。

在步骤S210中，图像输入部110对运动图像进行解码处理。如上所述，帧存储器114中所记录的运动图像数据是经MPEG等压缩的流数据，因此解码器115根据图像格式来进行图像扩展处理，以重构基带视频数据。

在步骤S211中，视频输出部116将从视频接口113输出的视频数据或从解码器115输出的视频数据按内部数据格式输出。

图5是例示根据实施例的图像转换部130的结构的示例的框图。图像转换部130提取所输入的图像信号的空间特征量，并对所提取的特征量进行不同的增强处理，以生成右眼用的图像及左眼用的图像。图像转换部130包括微分器131、非线性转换部132及图像组合部133。

微分器131从被输入到图像转换部130中的视频数据中提取亮度信号，并生成该亮度信号的微分信号。具体地说，水平地输入图像的亮度信号，并生成所输入的亮度信号的一阶微分信号。一阶微分处理使用例如在水平方向上具有三个抽头的线性一阶导数滤波器。

非线性转换部132对从微分器131输出的微分信号进行非线性转换，并且生成视差增强信号[enh]并将其输出。

图6例示了在非线性转换部132中进行的非线性转换处理的示例。水平轴表示作为微分亮度信号的、来自微分器131的输入信号。垂直轴表示非线性转换处理之后的、非线性转换部132的输出。非线性转换部132利用预定函数f(x)来对所输入的微分信号(In)进行转换，并输出视差增强信号[enh](Out)。即，Out＝f(In)。此时，可以对函数f(x)使用各种设定。例如，作为函数f(x)的示例，使用由式

f(x)＝x^β

所示出的指数函数，其中，β为预先设定的系数，并且可以在该系数中设定各种值。

并且，非线性转换部132中的转换函数并不限于指数函数，而可以应用线性转换。

图像组合部133接收从非线性转换部132输出的视差增强信号[enh]及被输入到图像转换部130中的视频数据，将视频数据中所包括的各帧图像与视差增强信号组合起来，并进行生成右眼用的图像及左眼用的图像的处理。

在这点上，如由图5中的虚线所示出的，可以省略非线性转换部132的转换处理，可以将由微分器131生成的微分信号直接地输入到图像组合部133中，并且图像组合部133可以进行通过应用微分信号来生成右眼用的图像及左眼用的图像的处理。

图像组合部133使用视频数据中所包括的各帧图像及根据该帧图像而生成的空间特征量(即，亮度信号的微分信号或通过对该微分信号进行非线性转换而生成的视差增强信号[enh])来进行右眼用的图像及左眼用的图像的生成处理。

图7例示了由图像组合部133执行的图像组合处理的概念。图7从顶部起按顺序示出了下列各个信号。

(a)输入信号

(b)微分信号

(c)右眼用的图像信号

(d)左眼用的图像信号

输入信号(a)示出了视频数据的任一帧中的任一水平线的亮度的改变。该输入信号示出了中央部分为高亮度区的一条线的示例。在从线位置(x1)至线位置(x2)的区域A中，亮度逐渐地增加。存在从线位置(x2)至线位置(x3)的、其中保持高水平的亮度的高亮度区。其后，在从线位置(x3)至线位置(x4)的区域B中，亮度逐渐地减小。

微分信号(b)是对输入信号(a)进行微分的结果。该微分信号是由图5中所示出的图像转换部130中的微分器131生成的信号。如图7中所示出的，由微分器131生成的微分信号在其中输入信号(a)的亮度改变为正的区域A中具有正值，而在其中输入信号(a)的亮度改变为负的区域B中具有负值。

右眼用的图像信号(c)及左眼用的图像信号(d)是由图5中所示出的图像转换部130中的图像组合部133生成的信号。图像组合部133将输入信号(a)与作为非线性转换部132对微分信号(b)进行非线性转换而生成的结果(非线性转换部132的输出)的视差增强信号[enh]组合起来，以生成右眼用的图像信号(c)及左眼用的图像信号(d)。

假定与由图7所示出的输入信号(a)相对应的视频数据的亮度水平为S，并且通过对由图7所示出的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E。

图像组合部133接收与输入信号(a)相对应的视频数据S及通过对微分信号(b)进行非线性转换而生成的视差增强信号[enh E]，并例如利用下式(式-1)来生成右眼用的图像信号Right及左眼用的图像信号Left。

Right＝S-E

Left＝S+E    ...(式-1)

此处，图像组合部133可以不如(式-1)中所示出的那样对右眼用的图像信号Right及左眼用的图像信号Left都进行转换，而可以转换这两个图像信号中的任一图像信号。

即，可以使用以下组合。

Right＝S-E

Left＝S

作为另一种选择，还可以使用以下组合。

Right＝S

Left＝S+E

通过这样的处理，右眼用的图像信号Right及左眼用的图像信号Left能够产生生成用户的视网膜象差以给出对深度的感知的图像。在这点上，稍后将参照图12及后续附图来对视网膜象差与对深度的感知之间的关系进行描述。

在这点上，如上所述，可以将非线性转换部132的转换处理省略，可以将由微分器131生成的微分信号直接地输入到图像组合部133(图5中的虚线)中，并且图像组合部133可以进行通过应用微分信号来生成右眼用的图像及左眼用的图像的处理。在这种情况下，由微分信号来替代上述视差增强信号[enh E]。

以该方式，图像组合部133提取所输入的图像信号的空间特征量，并且通过对所输入的图像信号应用该特征量来进行增强处理，以生成右眼用的图像及左眼用的图像。该特征量是所输入的图像信号的微分亮度信号或通过对该微分亮度信号进行非线性转换处理而生成的视差增强信号。

图7中所示出的右眼用的图像信号(c)Right是通过从输入信号(a)中减去通过对微分信号(b)进行非线性转换而生成的视差增强信号[enh E]而生成的信号。

如图7中所示出的，右眼用的图像信号(c)Right被生成为具有下列特性c1至c3的信号。

信号特性

c1：至少在其中输入信号(a)的亮度改变为正且微分信号(b)具有正值的区域A的一部分中，出现亮度低于输入信号(a)的信号区。

c2：至少在其中输入信号(a)的亮度改变为负且微分信号(b)具有负值的区域B的一部分中，出现亮度高于输入信号(a)的信号区。

c3：在微分信号(b)的值为0的区域中，输入信号(a)不存在亮度的改变。

另一方面，图7中所示出的左眼用的图像信号(d)Left是通过将通过对微分信号(b)进行非线性转换而生成的视差增强信号[enh E]加到输入信号(a)上而生成的信号。

如图7中所示出的，将左眼用的图像信号(d)Left生成为具有下列特性d1至d3的信号。

信号特性

d1：至少在其中输入信号(a)的亮度改变为正且微分信号(b)具有正值的区域A的一部分中，出现亮度高于输入信号(a)的信号区。

d2：至少在其中输入信号(a)的亮度改变为负且微分信号(b)具有负值的区域B的一部分中，出现亮度低于输入信号(a)的信号区。

d3：在微分信号(b)的值为0的区域中，输入信号(a)不存在亮度的改变。

如上所述，图像组合部133将输入信号(a)与作为非线性转换部132对微分信号(b)进行非线性转换而生成的结果(非线性转换部132的输出)的视差增强信号[enh]组合起来，以生成右眼用的图像信号(c)及左眼用的图像信号(d)。

在这点上，例如，如果要被转换的输入信号为静止图像，则图像组合部133通过根据上述式-1的信号组合处理，针对构成静止图像的一帧图像而生成右眼用的图像信号(c)及左眼用的图像信号(d)。

并且，如果要被转换的输入信号为运动图像，则图像组合部133通过根据上述式-1的信号组合处理，针对运动图像中所包含的每一帧图像而生成右眼用的图像信号(c)及左眼用的图像信号(d)。然而，在运动图像的情况下，右眼用的图像信号及左眼用的图像信号的生成模式可以根据最终执行图像显示的图像输出部150(参照图1)及显示装置的控制方式来改变。在下文中，将参照图8及后续附图来对在要被转换的输入信号为运动图像(视频数据)的情况下由图像组合部133所进行的处理的多个示例进行描述。

首先，将参照图8来对在要被转换的输入信号为运动图像(视频数据)的情况下由图像组合部133进行的基本处理的示例进行描述。图8中所示出的处理的示例是其中图像组合部133针对所输入的视频数据的所有的各个帧(帧n、帧n+1、帧n+2、帧n+3、...)而生成右眼用的图像Right及左眼用的图像Left的处理的示例。

图像组合部133针对图8中所示出的所有的输入帧(a)，将输入信号(a)的亮度信号与作为对微分信号(b)进行非线性转换的结果的视差增强信号[enh]组合起来，并且生成图8中所示出的右眼用的图像信号(c)及左眼用的图像信号(d)并将它们输出。在这种情况下，图像组合部133输出双系统的视频信号。

例如，利用上述式(式-1)来进行该组合处理。即，假定与图7中的输入信号(a)相对应的视频数据的亮度水平为S，并且通过对图7中的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则利用下式来生成右眼用的图像Right及左眼用的图像Left。

右眼用的图像信号：Right＝S-E

左眼用的图像信号：Left＝S+E

在图8中所示出的基本处理的示例中，图像组合部133输出针对所有的帧的右眼用的图像及左眼用的图像的双系统视频信号。接收到该双系统视频信号的图像输出部150(参照图1)将数据输出给实现立体视觉的显示装置。该显示装置根据实现立体视觉的各种显示方式来进行输出控制。显示装置的显示方式例如包括，支持利用偏振滤波器或滤色器来将图像分成分别由右眼及左眼观察的图像的无源眼镜方式的图像输出方式，或支持通过交替地打开及关闭右部液晶光阀及左部液晶光阀而将图像在时间上分成交替地由右眼及左眼观察的图像的有源眼镜方式的图像输出方式等。显示装置使用由图像组合部133生成的双系统视频信号，根据上述显示方式中的任一显示方式来显示图像。

1.2由根据本发明的图像处理装置生成的右眼用的图像及左眼用的图像的结构及输出的示例

在预先确定了图像显示方式时，图像组合部133能够根据各图像输出方式来生成输出图像信号并将其输出。在下文中，将参照图9至图11来对图像组合部133根据三种不同的显示方式的处理的示例进行描述。

用于最终地显示图像的显示装置的显示方式包括如下三种显示方式。

(1)按时分方式交替地输出右眼用的图像及左眼用的图像的方式(图9)

这种方式例如是支持通过交替地打开及关闭右部液晶光阀及左部液晶光阀而将图像在时间上分成交替地由右眼及左眼观察的图像的有源眼镜方式的图像输出方式。

(2)按时分方式交替地输出右眼用的图像及左眼用的图像的方式中的具有高速输出帧频的方式(图10)

这种方式是与图9中的时分方式相同的时分方式，但是具有高速输出帧频。

(3)在空间上分开右眼用的图像及左眼用的图像并同时地输出这些图像的方式(图11)

这种方式例如是支持利用偏振滤波器或滤色器来将图像分成分别由右眼及左眼观察的图像的无源眼镜方式的图像输出方式。例如，在空分方式的立体显示装置中，将其偏振方向针对每个水平线设定得不同的偏振滤波器贴附在显示器的前表面上，使得在用户通过偏振滤波方式的眼镜来观看图像时，用户以右眼及左眼分开地针对每个水平线的方式来观察视频。

首先，参照图9，对在最终地显示图像的显示装置的显示方式是在时间上交替地输出右眼用的图像及左眼用的图像的方式的情况下的图像组合部133的处理的示例进行描述。

在这种图像显示方式的情况下，图像组合部133针对所输入的视频数据的各帧(帧n、帧n+1、帧n+2、帧n+3、...)，交替地针对各帧而生成右眼用的图像Right及左眼用的图像Left并将其输出。

图像组合部133将所输入的视频数据的奇数编号的帧及偶数编号的帧分别地设定为左眼用的图像及右眼用的图像(或右眼用的图像及左眼用的图像)，并输出该视频数据的帧。通过图像显示装置中的图像输出部150按时分方式将输出图像交替地输出为左眼用的图像及右眼用的图像。将各个图像的输出定时控制成例如与由观察该图像的用户所佩戴的液晶光阀方式的眼镜的光阀的打开及关闭相同步。即，进行控制以使得左眼用的图像及右眼用的图像在时间上交替地分别由左眼及右眼来观察。

为了将图像输出给这样的时分立体显示装置，图像组合部133针对所输入的视频数据的各帧(帧n、帧n+1、帧n+2、帧n+3、...)，交替地对右眼用的图像及左眼用的图像进行图像组合处理。即，如图9中的(c)及(d)所示出的，针对各帧交替地执行对右眼用的图像Right的组合及对左眼用的图像Left的组合，并输出这些图像。

在图9中所示出的示例中，根据前述式(式-1)，针对帧n生成右眼用的图像。即，假定图9中的输入信号(a)的帧n的视频数据的亮度水平为S，并且通过对图9中所示出的帧n的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则右眼用的图像Right由下式来生成。

右眼用的图像信号：Right＝S-E

根据前述式(式-1)，针对下一帧(帧n+1)生成左眼用的图像。即，假定图9中的输入信号(a)的帧n+1的视频数据的亮度水平为S，并且通过对图9中所示出的帧n+1的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则左眼用的图像Left由下式来生成。

左眼用的图像信号：Left＝S+E

在此之后，针对帧n+2生成右眼用的图像，针对帧n+3生成左眼用的图像，接着，通过根据上述式-1的图像组合处理来生成右眼用的图像及左眼用的图像并将它们输出。以该方式，图像组合部133生成与各帧相对应的右眼用的图像或左眼用的图像，并输出该图像。即，图像组合部133输出单系统视频数据。

通过图像显示装置中的图像输出部150以时分方式将输出图像交替地输出为左眼用的图像及右眼用的图像。将各个图像的输出定时控制成例如与由观察该图像的用户所佩戴的液晶光阀方式的眼镜的光阀的打开及关闭相同步。即，进行控制以使得左眼用的图像及右眼用的图像在时间上交替地分别由左眼及右眼来观察。

按与图9相同的方式，图10例示了在最终地显示图像的显示装置的显示方式是在时间上交替地输出右眼用的图像及左眼用的图像的方式的情况下的图像组合部133的处理的示例。然而，与图9中所示出的处理不同的是，在该处理示例中，针对所输入的视频数据的各帧，通过根据上述式-1的组合处理来对左眼用的图像Left及右眼用的图像Right二者都进行组合以将它们输出。

输出图像的显示装置以所输入的视频数据的帧频的2倍的帧频在时间上交替地输出右眼用的图像及左眼用的图像。

在该处理中，如图10中所示出的，图像组合部133通过应用上述式-1，根据一帧(例如，输入信号(a)的帧n)及根据其微分图像(b)而生成的视差增强信号，来生成右眼用的图像信号(c)及左眼用的图像信号(d)。此外，图像组合部133通过应用上述式-1，根据输入图像(a)的帧n+1及根据其微分图像(b)而生成的视差增强信号，来生成右眼用的图像(c)及左眼用的图像(d)。

以该方式，根据一帧来生成右眼用的图像及左眼用的图像。通过图像输出部150以时分方式在图像显示装置上交替地输出根据一帧而生成的这两个图像(即，右眼用的图像信号及左眼用的图像信号)。

图像输出部150按照使得显示装置以由图10中的(a)所示出的输入图像的帧频的2倍的帧频显示图像的方式来输出图像。在这点上，进行控制以使得例如由观察该图像的用户所佩戴的液晶光阀方式的眼镜的光阀的打开及关闭与显示定时相同步。即，进行控制以使得左眼用的图像及右眼用的图像在时间上交替地分别由左眼及右眼来观察。在该方式中，图像组合部133输出帧频为单系统输入视频数据的帧频的2倍的视频数据。

图11例示了在将图像输出给空分方式的立体显示装置的情况下的图像组合部133的处理的示例。在空分方式的立体显示装置中，将其偏振方向针对每个水平线设定得不同的偏振滤波器贴附在显示器的前表面上，使得在用户通过偏振滤波方式的眼镜来观看图像时，用户以右眼及左眼分开地针对每个水平线的方式看到视频。即，眼镜的右部偏振滤波器及左部偏振滤波器是偏振方向彼此不同的滤波器，因此，用户通过右眼仅观察到由图11中的(c)所示出的右眼用的图像，而通过左眼仅观察到由图11中的(d)所示出的左眼用的图像。

在该处理中，如图11中所示出的，图像组合部133通过应用上述式-1，根据一帧(例如，输入信号(a)的帧n)及根据其微分图像(b)而生成的视差增强信号，来生成右眼用的图像信号(c)及左眼用的图像信号(d)。

此外，图像组合部133根据右眼用的图像(c)及左眼用的图像(d)来生成图11中所示出的双眼视差图像(e)。即，图像组合部133将右眼用的图像(c)及左眼用的图像(d)中的各个图像的相位单独地移动一线，以在垂直方向上进行1/2的缩小处理。图像组合部133交替地针对每个水平线将以该方式获得的右眼用的图像及左眼用的图像组合起来，以生成一个双眼视差图像(e)，并输出该图像。

图11中所示出的双眼视差图像(e)是通过将右眼用的图像(c)的有效区(除黑线以外的图像显示部分)与左眼用的图像(d)的有效区连接起来而生成的图像。即，双眼视差图像(e)是交替地包含右眼用的图像(c)的各线数据及左眼用的图像(d)的各线数据的图像。以该方式，图像组合部133生成双眼视差图像(e)，并输出该图像。在该方式中，图像组合部133输出帧频与输入图像的帧频相同的单系统视频数据。

图像输出部150向空分立体显示装置输出显示图11中所示出的双眼视差图像(e)。如上所述，空分立体显示装置在该显示装置的前表面上设置有其偏振方向针对每个水平线设定得不同的偏振滤波器。用户利用偏振滤波方式的眼镜来观察图像。并且，左部偏振滤波器及右部偏振滤波器是被设定了不同的偏振方向的滤波器。用户通过右眼仅观察到由图11中的(c)所示出的右眼用的图像，而通过左眼仅观察到由图11中的(d)所示出的左眼用的图像。

参照图8至图11来描述的右眼用的图像Right及左眼用的图像Left是通过上述式(式-1)来生成的图像。即，利用下式来生成右眼用的图像Right及左眼用的图像Left：

Right＝S-E

Left＝S+E

其中，S为输入信号，E为通过对输入信号S的微分信号D进行非线性转换而生成的视差增强信号。在这点上，如上所述，视差增强信号E不仅通过对输入信号S的微分信号D进行非线性转换来生成，而且可以通过对该信号进行线性转换来生成。

1.3关于由根据本发明的图像处理装置生成的右眼用的图像及左眼用的图像的视网膜象差

以该方式，生成右眼用的图像Right及左眼用的图像Left，并且用户能够通过利用右眼及左眼分别地观察这些图像来感知深度。这是基于右眼用的图像与左眼用的图像之间的视网膜象差的现象。下文中，将参照图12至图15来对由根据本发明的图像处理装置100生成的右眼用的图像与左眼用的图像之间的视网膜象差进行描述。在这点上，下文中，在图12至图14中，将基于以下假定来进行描述：省去对微分信号D的非线性转换处理，并且使用输入信号S及输入信号S的微分信号D，根据下式来生成右眼用的图像Right及左眼用的图像Left。

Right＝S-D

Left＝S+D

图12是例示通过加减微分信号而产生的视网膜象差的图。此处，为了简单起见，对在输入一维正弦波信号作为输入信号时如何生成右眼用的信号及左眼用的信号进行例示。图中的横轴表示图像在水平方向上的像素位置，纵轴表示像素的亮度水平。

输入信号S由下式(式-2)来表示。

S＝sinωx    ...(式-2)

此时，微分信号D由下式(式-3)来表示。

D＝cosωx    ...(式-3)

此时，左眼信号L及右眼信号R由下列式(式-4及式-5)来表示。

$L=S+D=\sin \mathrm{\ωx}+\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}+\frac{\mathrm{\π}}{4})$ ...(式-4)

$L=S-D=\sin \mathrm{\ωx}-\cos \mathrm{\ωx}=\sqrt{2}\sin (\mathrm{\ωx}-\frac{\mathrm{\π}}{4})$ ...(式-5)

根据式-4及式-5，应当理解，左眼信号L的相位相对于输入信号S的相位超前π/4，而右眼信号R的相位相对于输入信号S的相位延迟π/4。即，左眼信号L是振幅为输入信号的振幅的

倍、并且在水平方向上向左移动由角频率ω所确定的周期的1/8的信号。以同样的方式，右眼信号R是振幅为输入信号的振幅的

倍、并且在水平方向上向右移动由角频率ω所确定的周期的1/8的信号。以该方式，左眼信号L与右眼信号R之间发生π/2的相位差。该相位差被感知为视网膜象差，从而使得用户可以拥有深度感。

如上所述，视网膜象差取决于角频率ω而改变。图13示出了在输入信号的角频率为图12中的角频率的1/2的情况下的波形。根据该图可以理解，视网膜象差为图12中的情况的视网膜象差的2倍。因此，如果获得双眼立体图像，则会感知到该图像的深度比图12中的输入信号的深度大。

并且，图14示出了在输入信号的角频率为图12中的角频率的2倍的情况下的波形。根据该图可以理解，视网膜象差为图12中的情况的视网膜象差的1/2。因此，如果获得双眼立体图像，则会感知到该图像比图12中的输入信号近。

此外，图15示出了在对微分信号D的振幅进行控制的情况下的波形。图15示出了对微分信号D施加两倍放大的情况。为了更一般化，受控制的微分信号F由式-6来表示。

F＝kcosωx    ...(式-6)

其中，k为正实数。

在这点上，上述F与通过对微分信号D进行转换处理而生成的上述视差增强信号E相对应。

此时，左眼信号L及右眼信号R由下列式(式-7及式-8)来表示。

$L=S+F=\sin \mathrm{\ωx}+k\cos \mathrm{\ωx}=\sqrt{1+k^2}\sin (\mathrm{\ωx}+\mathrm{\α})$ ...(式-7)

$R=S-F=\sin \mathrm{\ωx}-k\cos \mathrm{\ωx}=\sqrt{1+k^2}\sin (\mathrm{\ωx}-\mathrm{\α})$ ...(式-8)

此处，α在0至π/2的范围内，并由下式(式-9)来表示。

$\mathrm{\α}=\arccos \frac{1}{\sqrt{1+k^2}}$ ...(式-9)

在上述式(式-9)中，在微分信号的放大值k增大时，α变大，因此输入信号S与左眼信号L之间的差异及输入信号S与右眼信号R之间的差异变大。因此，左眼信号L与右眼信号之间的相位差变大，因此感知到的视网膜象差大。结果，在获得双眼立体视觉时，感知到更大的深度。

以该方式，由根据本发明的图像处理装置100生成的右眼用的图像及左眼用的图像的视网膜象差根据图像的空间频率而改变。区域的空间频率越高，视网膜象差越小，而区域的空间频率越低，视网膜象差越大。在将这样的图像分开地且分别地呈现给人的右眼及左眼时，人感知到视网膜象差小的区域在前而视网膜象差大的区域在后。

然而，如上所述，根据本发明的图像处理装置100简单地进行根据局部空间频率的处理，因此图像中的各个被摄体的边缘部分及纹理部分被赋予不同的视网膜象差。因此，观察者难以仅根据视网膜象差来正确地感知深度，因此认为人可以通过使用图像的绘画特征(构成、前后关系、空间频率)及运动视差等作为线索来估计图像信息，从而感知到图像的综合深度。

此外，如上所述，导致主要在图像的边缘部分上产生视网膜象差，因而能够对诸如树枝、电线、头发等的微小结构赋予视网膜象差。因此，能够对微小的被摄体赋予立体效果。

根据本发明的图像处理装置通过使用这种特性来仅对图像施加局部调制处理，从而实现允许自然立体视觉的双眼视差图像。

此外，根据本发明的图像处理装置根据上述式(式-1)来生成右眼用的图像Right及左眼用的图像Left。即，假定与输入信号相对应的视频数据的亮度水平为S，并且通过对图7中的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则右眼用的图像Right及左眼用的图像Left由下式来生成。

右眼用的图像信号：Right＝S-E

左眼用的图像信号：Left＝S+E

根据该式可以理解，通过将右眼用的图像信号与左眼用的图像信号相加而得到的加和信号成为如下。

加和信号＝(S+E)+(S-E)＝S

结果，该加和信号成为等于输入图像。

因此，例如，如参照图9及图10所描述的，在利用时分立体显示装置来显示图像时，如果作为观察者的用户在不佩戴液晶光阀方式的眼镜的情况下观察图像，则该用户感知到通过利用人体视觉系统的时间上的积分功能对右眼用的图像Right及左眼用的图像Left进行积分而生成的图像。即，该图像成为上述加和信号S，即，

加和信号＝(S+E)+(S-E)＝S

即，用户能够感知到未改变的所输入的二维图像。即，用户不会看到不自然重叠的图像，而能够观察到未经任何处理的图像。

并且，如图11中所示出的，在利用空分方式的立体显示装置来显示图像时，如果用户从使得垂直方向上的一个像素变得难以在没有偏振眼镜的情况下被感知的距离观察图像，则用户感知到垂直方向上的两个像素的加和图像。该图像成为上述加和信号S，即，

加和信号＝(S+E)+(S-E)＝S

另一方面，人对视网膜象差的视觉能力比通常的视觉能力高10倍，因此能够通过从这样的距离观察来充分地识别出右眼用的图像与左眼用的图像之间的视网膜象差。因此，用户在未佩戴偏振眼镜时不会看到不自然重叠的图像，而能够观察到未经任何处理的图像。用户能够在佩戴偏振眼镜的情况下感知到立体视觉。

以该方式，由根据本发明的图像处理装置生成的图像使得使用立体显示装置的用户能够在佩戴立体视觉眼镜时感知到立体图像，而在未佩戴立体视觉眼镜时感知到作为未经转换的原始二维图像的图像。

1.4关于根据本发明的图像处理装置中的图像转换部的处理序列

接下来，将参照图16中所示出的流程图来对由根据本发明实施例的图像处理装置100中的图像转换部130所执行的处理序列进行描述。在这点上，图16中所示出的流程图是在输入图像为运动图像(视频数据)的情况下的处理。

在步骤S401中，微分器131(参照图5)对输入到图像转换部130中的视频数据的亮度信号进行微分处理。即，微分器131对图7中的输入信号(a)进行微分处理以生成图7中的微分信号(b)。

在步骤S402中，非线性转换部132(参照图5)对从微分器131输出的微分信号进行非线性转换。非线性转换处理例如与如图6中所示出的图相对应。

步骤S403中的处理及后续处理是由图像组合部133来进行的处理。在步骤S403中，图像组合部133中的控制部确定是否对当前输入帧组合左眼用的图像。该确定处理是根据由图像处理装置100所输出的、图像显示装置的显示方式及图像组合部133中所设置的帧计数器的值来进行的。帧计数器是保持与输入图像帧的帧号相对应的值的计数器。

在图像显示装置的输出方式是图9中所示出的时分输出方式的情况下，图像组合部133根据帧计数器的值来确定是否输出左眼用的图像。即，在图9中所示出的时分输出方式的情况下，进行控制以使得对偶数编号的帧或奇数编号的帧都仅输出左眼用的图像。如果根据帧计数器的值而确定输出左眼用的图像，则处理前进到步骤S404。另一方面，如果根据帧计数器的值而确定输出右眼用的图像，则处理前进到步骤S405。

并且，除了图9中所示出的时分方式的情况以外，即，在图10中所示出的基于两倍的帧频的时分输出方式、或图11中所示出的空分输出方式的情况下，或者在图8中所示出的图像显示装置输入右眼用的图像及左眼用的图像的情况下，为了进行显示控制，图像组合部133确定对所有的输入帧组合左眼用的图像，并且处理前进到步骤S404。

在步骤S404中，图像组合部133根据上述式(式-1)来生成左眼用的图像Left。即，如图7中所示出的，假定与图7中所示出的输入信号(a)相对应的视频数据的亮度水平为S，并且通过对图7中所示出的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则图像组合部133利用下式来生成左眼用的图像信号Left。

左眼用的图像信号：Left＝S+E

另一方面，在步骤S403中，如果确定不对当前输入帧执行对左眼用的图像的组合，则处理前进到步骤S405，并且图像组合部133针对当前输入帧生成右眼用的图像。即，如图7中所示出的，假定与图7中所示出的输入信号(a)相对应的视频数据的亮度水平为S，并且通过对图7中所示出的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则图像组合部133利用下式来生成右眼用的图像信号Right。

右眼用的图像信号：Right＝S-E

在步骤S404中，在完成对左眼用的图像的生成时，在步骤S406中，确定是否还针对已针对其生成左眼用的图像的帧生成右眼用的图像。在图像处理装置的输出方式是图9中所示出的时分方式的情况下，针对各帧对右眼用的图像或左眼用的图像进行组合，因此确定不执行对右眼用的图像的生成，并且处理前进到步骤S407。

并且，除了图9中所示出的时分方式的情况以外，即，在图10中所示出的基于两倍的帧频的时分输出方式、或图11中所示出的空分输出方式的情况下，或者在图8中所示出的图像显示装置输入右眼用的图像及左眼用的图像的情况下，为了进行显示控制，图像组合部133确定对所有的输入帧组合右眼用的图像，并且处理前进到步骤S405。如上所述，步骤S405中的处理是根据上述式(式-1)对右眼用的图像的生成处理。

在步骤S407中，图像组合部133中的控制部确定是否对图像进行缩小处理。如果图像处理装置的输出方式是图11中所示出的空分输出方式，则确定进行缩小处理，并且处理前进到步骤S408。如果图像处理装置的输出方式是除了图11中所示出的空分输出方式以外的方式(即，如果是图8中所示出的对右眼用的图像及左眼用的图像的同时输出方式、图9中所示出的时分方式及图10中所示出的基于两倍的帧频的时分输出方式中的任一方式)，则不必进行图像缩小处理，因此处理前进到步骤S410。

在步骤S408至步骤S409中，如参照图11所描述的，图像组合部133根据右眼用的图像(c)及左眼用的图像(d)来生成图11中所示出的双眼视差图像(e)。即，图像组合部133将右眼用的图像(c)及左眼用的图像(d)中的各个图像的相位单独地移动一线，以在垂直方向上进行1/2的缩小处理(S408)。此外，图像组合部133针对每个水平线将以该方式获得的右眼用的图像与左眼用的图像交替地组合起来，以生成一个双眼视差图像(e)(步骤S409)。

在步骤S410中，确定图像输出部150中的图像输出处理是否完成。如果图像输出处理已完成，则终止图像转换处理。如果图像输出处理未完成，则处理前进到步骤S411。

在步骤S411中，将帧计数递增，并且处理前进到步骤S401。在此之后，重复从步骤S401至步骤S410的处理。

如上所述，利用根据本发明实施例的图像处理装置，输入二维图像数据，提取图像的特征量(即，亮度有改变的边缘部分)，并改变边缘部分的图像模式，以生成右眼用的伪图像及左眼用的伪图像。利用该结构，能够在立体显示装置中生成优选的双眼视差图像。

此外，在根据本发明的图像处理装置中，如图7中所示出的，假定与图7中的输入信号(a)相对应的视频数据的亮度水平为S，并且通过对图7中的微分信号(b)进行非线性转换而生成的视差增强信号[enh]的信号水平为E，则利用下式来生成右眼用的图像Right及左眼用的图像Left。

右眼用的图像信号：Right＝S-E

左眼用的图像信号：Left＝S+E

根据该式可以理解，通过将右眼用的图像信号与左眼用的图像信号相加而得到的加和信号成为如下。

加和信号＝(S+E)+(S-E)＝S

结果，该加和信号成为等于输入图像。

以该方式，该加和信号成为等于或大致上等于输入信号。

因此，在立体显示装置上所显示的图像使得用户能够在佩戴立体视觉眼镜时感知到立体图像，而在未佩戴立体视觉眼镜时感知到作为通常的二维图像的图像。即，无论是否佩戴眼镜都能够欣赏图像。并且，利用根据本发明的图像转换装置，右眼用的图像与左眼用的图像之间的视差非常小，因此能够使观察者在佩戴立体视觉眼镜时的疲劳减轻。

2.包含对特定图像区的检测及控制处理的根据本发明第二实施例的图像处理装置

接下来，将对作为根据本发明第二实施例的图像处理装置的检测特定图像区并基于所检测到的信息根据图像区的特征来进行增强处理控制的图像处理装置的示例进行描述。在上述的根据第一实施例的图像处理装置100中，图5中所示出的图像转换部130生成亮度信号的微分信号，并将该微分信号加到输入信号上或从输入信号中减去该微分信号，以生成右眼用的图像及左眼用的图像。

通过该处理而生成的右眼用的图像及左眼用的图像遭受其中如图7中所示出的信号的边缘周围的原始信号的幅值被超过的过冲及下冲。过冲及下冲使被观察的图像不自然。

并且，认为人对肉色的灰度敏感。例如，专业摄象机等有时设置有使对肉色区的边缘增强处理减弱的、称作“皮肤细节”的功能。图5中所示出的图像转换部对原始信号执行高频增强，因此存在以下问题：在被立体地观看时，肉色区的皱纹、粗糙等被增强。

在下述第二实施例中，为了解决这些问题，从要被处理的输入图像中检测边缘区及肉色区，并进行用于使边缘区及肉色区周围的视差增强信号的影响减弱的处理。通过该处理，能够减少边缘区中的过冲及下冲的发生，并表现平滑的皮肤。

根据本实施例的图像处理装置的总体结构与图1中所示出的图像处理装置100的总体结构相同。即，在图像处理装置100中，图像输入部110接收从数字照相机等输出的静止图像文件以及从摄像机等输出的运动图像数据，并将它们提供给色彩空间转换部120。

色彩空间转换部120根据所输入的信号来生成亮度信号及色差信号，并将这些信号输出给图像转换部130。图像转换部130使用亮度信号及色差信号来生成右眼用的图像及左眼用的图像。将由图像转换部130生成的右眼用的图像及左眼用的图像输入到色彩空间反转换部140中，将其转换成根据输出信号的信号，并通过图像输出部150来将其输出给显示部。

在第二实施例中，图像转换部130的结构与在第一实施例中描述的图5中的结构不同。下面将参照图17来对第二实施例中的图像转换部130进行描述。图像转换部130提取所输入的图像信号的空间特征量，并对所提取的特征量进行不同的增强处理，以生成右眼用的图像及左眼用的图像。

如图17中所示出的，根据本实施例的图像转换部130包括微分器131、非线性转换部132、图像组合部133、边缘区检测部134、肉色区检测部135及增强控制部136。

按与第一实施例中参照图5所描述的微分器131相同的方式，微分器131例如从输入到图像转换部130中的视频数据中提取亮度信号，并生成该亮度信号的微分信号。具体地说，例如，水平地输入图像的亮度信号，并生成所输入的亮度信号的一阶微分信号。一阶微分处理例如使用在水平方向上具有三个抽头的线性一阶导数滤波器。

按与第一实施例中参照图5所描述的非线性转换部132相同的方式，非线性转换部132对从微分器131输出的微分信号进行非线性转换，并输出视差增强信号。

按与第一实施例中参照图5所描述的图像组合部133相同的方式，图像组合部133接收从非线性转换部132输出的视差增强信号及输入到图像转换部130中的视频数据，将视频数据中所包含的每个帧图像与视差增强信号组合起来，并进行生成右眼用的图像及左眼用的图像的处理。

边缘区检测部134根据输入到图像转换部130中的视频数据来生成识别边缘区及平滑区的边缘区识别信号。具体地说，例如，边缘区检测部134从所输入的视频信号中提取各像素的亮度信号，计算该亮度信号的周围区域的方差值以获得该周围区域的平滑度，并将所计算出的方差值作为与该像素相对应的边缘区识别信号输出。能够取决于该方差值来确定区域是边缘区还是平滑区。在这点上，由边缘区检测部134所计算出并输出的信号并不限于方差值，而可以是能够将边缘区与平滑区区分开的任意信号。

肉色区检测部135根据输入到图像转换部130中的视频数据来生成识别肉色区的肉色区识别信号并将其输出。具体地说，肉色区检测部135从所输入的视频信号中提取色差信号，基于该色差信号与预先设定的阈值之间的比较来检测人的肉色区，并输出针对各像素的、将肉色像素指定为“1”并将非肉色像素指定为“0”的肉色区识别信号。

输入到肉色区检测部135中的色差信号是诸如(Cb，Cr)或(U，V)等的色差信号。肉色区检测部135保持用于识别与所输入的色差信号相对应的肉色的阈值数据，针对各像素将阈值数据与所输入的色差信号进行比较，并确定各像素是否是肉色像素。

在这点上，在肉色区检测部135中，能够通过色差信号与阈值之间的上述简单的比较处理来检测肉色区。然而，检测并不限于这种方法，而可以使用利用人脸检测及人体检测技术的、更正确地检测肉色区的方法。

增强控制部136接收从非线性转换部132输出的视差增强信号[enhE]、从边缘区检测部134输出的边缘区识别信号(例如，方差值)、以及从肉色区检测部135输出的肉色区识别信号(例如，识别信号“0”或“1”)，并根据边缘区识别信号及肉色区识别信号来对视差增强信号[enh E]进行增益控制处理。

作为从边缘区检测部134输出的边缘区识别信号的方差值是在亮度改变大的区域(例如，边缘)中变大而在平滑区中变小的信号。

如上所述，具有第一实施例的、图5中所示出的结构的图像转换部130遭受其中如图7中所示出的信号的边缘周围的原始信号的振幅被超过的过冲及下冲。为了解决这个问题，在本实施例中，在像素值的改变小的平滑区中将视差增强信号的影响加强，而在像素值的改变大的边缘的周围使视差增强信号的影响减弱，由此减少过冲及下冲的发生。因此，增强控制部136计算由以下反比例式(式-10)所给出的、与边缘相对应的增益量[gain_flat]，并通过将视差增强信号乘以该增益量来控制视差增强信号的影响。

${\mathrm{gain}}_{\mathrm{flat}}=\left\{\begin{array}{cc}\mathrm{clip}(\frac{a}{\mathrm{var}},1),& \mathrm{var}\≠0\\ 1,& \mathrm{var}=0\end{array}\right.$ ...(式-10)

在上述式(式-10)中，

var为归一化方差值，并且

a为比例常数。

在var不为0时，与边缘相对应的增益量[gain_flat]被限幅为最大值[1]。在var为0时，增益量[gain_flat]变成[1]。与边缘相对应的增益量[gain_flat]并不限于上述式的转换。可以应用不同的转换式，只要转换具有在平滑区中变强而在边缘周围变弱的特性即可。

从肉色区检测部135输出的肉色区识别信号是仅在肉色区中为“1”的信号。认为人对肉色的灰度敏感。专业摄像机等有时设置有使对肉色区的边缘增强处理减弱的、称作“皮肤细节”的功能。如上所述，具有由图5中的第一实施例所示出的结构的图像转换部130对原始信号执行高频增强，因此存在以下问题：在被立体地观看时，肉色区的皱纹及粗糙被增强。在本实施例中，为了解决该问题，在肉色区中使视差增强信号的影响减弱，以平滑地表现肉色皮肤。因此，增强控制部136计算由以下反比例式(式-11)所给出的、与肉色相对应的增益量[gain^flat]，并通过将视差增强信号乘以该增益量来控制视差增强信号的影响。

${\mathrm{gain}}_{\mathrm{skin}}=\mathrm{clip}(\frac{b}{\frac{1}{n}{\mathrm{\Σ}}_{i=0}^n{\mathrm{skin}}_i},1)$ ...(式-11)

在上述式(式-11)中，

skin_i为像素位置i处的肉色区识别信号，并且

b为比例常数。

以该方式，与肉色相对应的增益量[gain_skin]与周围的n个像素的肉色区识别信号的平均值成反比，并且被限幅为最大值1。此处，与肉色相对应的增益量[gain_skin]并不限于上述式的转换，而可以应用不同的转换式，只要转换具有在肉色区中变弱的特性即可。

如下式(式-12)中所示出的，增强控制部136将从非线性转换部132输入的视差增强信号[enh]乘以由上述式(式-10)所给出的、与边缘相对应的增益量[gain_flat]以及由上述式(式-11)所给出的、与肉色相对应的增益量[gain_skin]，以输出增益受控制的经修正的视差增强信号[enh’]。

enh’＝enh×gain_flat×gain_skin    ...(式-12)

针对各像素，基于针对各像素的与边缘相对应的增益量[gain_flat]及与肉色相对应的增益量[gain_skin]来计算上述经修正的视差增强信号[enh’]。

以该方式，图17中所示出的图像转换部130中的增强控制部136计算经修正的视差增强信号[enh’]，并将该经修正的视差增强信号[enh’]输出给图像组合部133。

图像组合部133的处理与前述第一实施例中的图像组合部133的处理相同。图像组合部133接收从增强控制部136输出的经修正的视差增强信号[enh’]及输入到图像转换部130中的视频数据，将视频数据中所包含的每个帧图像与视差增强信号组合起来，并进行生成右眼用的图像及左眼用的图像的处理。

图像组合部133接收与输入信号(a)相对应的视频数据S及针对各图像区对通过对微分信号(b)进行非线性转换而生成的视差增强信号[enhE]进行了修正的(增强受到控制的)经修正的视差增强信号[enh’]，并利用下式来生成右眼用的图像信号Right及左眼用的图像信号Left。

Right＝S-E’

Left＝S+E’

此处，图像组合部133可以不对右眼用的图像信号Right及左眼用的图像信号Left都进行转换，而可以对这两个图像信号中的任一图像信号进行转换。即，可以使用以下组合。

Right＝S-E’

Left＝S

作为另一种选择，还可以使用以下组合。

Right＝S

Left＝S+E’

通过这样的处理，右眼用的图像信号Right及左眼用的图像信号Left能够产生生成用户的视网膜象差以给出对深度的感知的图像。

如参照图17所描述的，在本实施例中，图像转换部130包括边缘区检测部134、肉色区检测部135及增强控制部136，并根据所输入的图像的图像特征来计算经修正的视差增强信号[enh’]。

例如，在边缘区中，增强控制部136将从非线性转换部132输入的视差增强信号[enh E]乘以与小边缘相对应的增益量[gain_flat]。

通过该处理，增强控制部136生成边缘区中的值比平滑区中的值小的、经修正的视差增强信号[enh’E’]。通过该处理，能够抑制在从图像组合部133输出的右眼用的图像及左眼用的图像中的边缘的周围发生的过冲及下冲，并获得好的立体视觉图像质量。此外，能够通过仅将边缘周围的视差增强信号[enh E]的影响减小来保持总体图像的视差量，因此对总体深度感的影响不大。

并且，图17中所示出的图像转换部130针对由肉色区检测部135所检测到的肉色区，将从非线性转换部132输入的视差增强信号[enh E]乘以与小肉色相对应的增益量[gain_skin]。

增强控制部136生成肉色区中的值比其他区中的值小的、经修正的视差增强信号[enh’E’]。通过该处理，能够抑制由图像组合部133所输出的右眼用的图像及左眼用的图像中的对人脸的肉色区的皱纹、粗糙等的增强，并获得好的立体视觉图像质量。

3.生成与色差信号相对应的右图像信号及左图像信号的、根据本发明第三实施例的图像处理装置

接下来，将对作为本发明第三实施例的、生成与色差相对应的右眼用的图像及左眼用的图像的图像处理装置的结构进行描述。

根据本实施例的图像处理装置的总体结构与图1中所示出的图像处理装置100的总体结构相同。即，在图像处理装置100中，图像输入部110接收从数字照相机等输出的静止图像文件及从摄像机等输出的运动图像数据，并将它们提供给色彩空间转换部120。

色彩空间转换部120根据所输入的信号来生成亮度信号及色差信号，并将这些信号输出给图像转换部130。图像转换部130使用该亮度信号及该色差信号来生成右眼用的图像及左眼用的图像。将由图像转换部130生成的右眼用的图像及左眼用的图像输入到色彩空间反转换部140中，将其转换成根据输出信号的信号，并通过图像输出部150来将其输出给显示部。

在第三实施例中，图像转换部130的结构与在第一实施例中描述的图5中的结构不同。下面将参照图18来对第三实施例中的图像转换部130进行描述。图像转换部130提取所输入的图像信号的空间特征量，并对所提取的特征量进行不同的增强处理，以生成右眼用的图像及左眼用的图像。

如图18中所示出的，根据本实施例的图像转换部130包括微分器131、非线性转换部132、图像组合部133、色差信号微分器137及第二图像组合部138。微分器131、非线性转换部132及图像组合部133进行与参照图5所描述的处理相同的处理。将省略对该处理的描述。

色差信号微分器137从输入到图像转换部130中的视频数据中提取色差信号(Cb，Cr)或(U，V)，并生成各个色差信号的微分信号。该微分信号的生成与微分器131对亮度信号的微分信号的生成相同，并且例如使用在水平方向上具有三个抽头的线性一阶导数滤波器。

第二图像组合部138输入下列各个信号。

(a)从色差信号微分器137输出的、色差信号的微分信号[Dc]，

(b)输入到图像转换部130中的、视频数据的色差信号[C]，

(c)从微分器131输出的、亮度信号的微分信号，及

(d)从非线性转换部132输出的视差增强信号[enh E]。

第二图像组合部138接收这些信号，将视频数据中所包含的每个帧图像的色差信号与该色差信号的微分信号组合起来，并进行左眼用的图像与右眼用的图像之间的色差信号的生成处理。具体地说，第二图像组合部138利用下式(式-13)来将色差信号的微分信号[Dc]与视频数据的色差信号[C]组合起来，并生成左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]。

${\mathrm{Left}}_C=C+D_C\×\frac{\mathrm{enh}}{D_y}$

${\mathrm{Right}}_C=C-D_C\×\frac{\mathrm{enh}}{D_y}$ ...(式-13)

在上述式(式-13)中，

色差信号C表示色差信号的(Cb或Cr)通道或(U或V)通道。

微分信号Dc是色差信号C的微分值。

并且，Dy表示亮度信号的微分信号，并且

enh表示视差增强信号。

在这点上，如果输入到图像转换部130中的色差信号为(Cb，Cr)，则第二图像组合部138生成与色差信号Cb相对应的、左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]，以及与色差信号Cr相对应的、左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]。

而且，如果输入到图像转换部130中的色差信号为(U，V)，则第二图像组合部138生成与色差信号U相对应的、左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]，以及与色差信号V相对应的、左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]。

上述组合式(式-13)通过亮度信号的视差增强信号[enh]与微分信号[Dy]的比[enh/Dy]来确定增强量。即，左眼用的图像的色差信号[Left_C]是通过将视差增强信号[enh]与微分信号[Dy]的比[enh/Dy]和微分信号Dc的乘积[Dc×(enh/Dy)]加到原色差信号C上而生成的。

右眼用的图像的色差信号[Right_C]是通过从原色差信号C中减去视差增强信号[enh]与微分信号[Dy]的比[enh/Dy]和微分信号Dc的乘积[Dc×(enh/Dy)]而生成的。

在这点上，上述组合式(式-13)仅是由根据本实施例的第二图像组合部138所执行的组合处理的示例。第二图像组合部138可以执行除了上述式以外的其他组合处理，只要左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]是分别通过对色差信号与其微分信号进行加处理及减处理而生成即可。

以该方式，在根据本实施例的图像处理装置中，图18中所示出的图像转换部130生成色差信号的微分信号，进行与原色差信号的组合处理，并单独地生成左眼用的图像的色差信号[Left_C]及右眼用的图像的色差信号[Right_C]。利用该结构，能够抑制在饱和度高的被摄体的边界附近发生假彩色及色模糊。此外，能够通过基于亮度信号的视差增强信号与微分信号的比来确定增强量从而获得与亮度信号相同程度的增强。

下面将对图18中所示出的图像转换部130的处理进行概述。

图18中所示出的图像转换部130中的微分器131、非线性转换部132及图像组合部133的处理与上述第一实施例的处理相同。即，微分器131提取所输入的图像信号的微分亮度信号，非线性转换部132对该微分信号进行非线性转换，并将结果设定为第一特征量。图像组合部133生成通过将第一特征量加到所输入的图像信号的亮度信号上而生成的经转换的信号或通过从所输入的图像信号的亮度信号中减去第一特征量而生成的经转换的信号，作为左眼用的图像的亮度信号或右眼用的图像的亮度信号。

图18中所示出的图像转换部130中的色差信号微分器137及第二图像组合部138的处理如下。色差信号微分器137提取所输入的图像信号的微分色差信号，并将该微分色差信号设定为第二特征量。第二图像组合部138生成通过将第二特征量加到所输入的图像信号的色差信号上而生成的经转换的信号或通过从所输入的图像信号的色差信号中减去第二特征量而生成的经转换的信号，作为左眼用的图像的色差信号或右眼用的图像的色差信号。

通过该处理，获得右眼用的图像及左眼用的图像的亮度信号及色差信号。在这点上，除了其中生成右眼用的图像及左眼用的图像的亮度信号及色差信号的上述处理之外，还可以使用以下处理。可以使用上述特征量通过加处理或减处理来生成仅一只眼用的图像(右眼用的图像或左眼用的图像)的亮度信号及色差信号，并且可以将直接地作为所输入的图像信号的未经转换的信号设定为另一只眼用的图像并将其输出。

4.具有图像显示部的图像处理装置的结构的示例

已对作为不具有图像显示部的图像处理装置的、图1中所示出的图像处理装置进行了描述。然而，图像处理装置可以被构造成具有图像显示部。图19是例示根据本实施例的、具有图像显示部的图像处理装置的图。

在图像处理装置300中，图像输入部310接收从数字照相机等输出的静止图像文件及从摄像机等输出的运动图像数据，并将该文件及该数据转换成内部数据格式。此处，内部数据格式是基带运动图像数据，并且是三基色(红色(R)、绿色(G)、蓝色(B))的视频数据、或者包含亮度(Y)、色差(Cb，Cr)或(Y，U，V)的视频数据。内部数据格式上叠加有色彩空间的识别信号，使得可以使用任意色彩空间，只要后续阶段中的色彩空间转换部320与该色彩空间相对应即可。

从图像输入部310输出的视频数据被输入到色彩空间转换部320中，并被转换成亮度信号及色差信号。此时，如果所输入的视频数据符合图像转换部的处理数据(例如，符合Y、Cb、Cr色彩空间)，则色彩空间转换部320不进行转换而输出该数据。如果所输入的视频数据符合R、G、B色彩空间或其他色彩空间，则色彩空间转换部320进行到亮度(Y)信号及色差(Cb，Cr)信号的转换，并输出这些信号。

此处，从色彩空间转换部320输出的视频数据的色彩空间并不限于Y、Cb、Cr色彩空间。色彩空间可以是任意色彩空间，只要亮度分量与色彩分量分开即可。

从色彩空间转换部320输出的视频数据被输入到图像转换部330中。图像转换部330通过前述处理来生成右眼用的双眼视差图像及左眼用的双眼视差图像，并根据图像显示部350的格式来组合这些图像。

从图像转换部330输出的视频数据被输入到色彩空间反转换部340中，并被从Y、Cb、Cr色彩空间转换到R、B、G色彩空间。

从色彩空间反转换部340输出的视频数据被输入到图像显示部350中。图像显示部350的结构包括图像输出部及显示部。图像显示部350通过如下所示的任一立体显示方式(时分方式或空分方式)来进行图像显示。

(时分方式)

在时分立体显示方式中，将所输入的视频数据的奇数编号的帧及偶数编号的帧分别地识别为左眼用的图像及右眼用的图像(或右眼用的图像及左眼用的图像)。并且将由用户所佩戴的液晶光阀方式的眼镜控制成使得在时间上交替地对左眼及右眼呈现图像。在该显示方式中，图像显示部350与由观察者所佩戴的眼镜的左部及右部的光阀的切换相同步地控制左眼用的图像及右眼用的图像的输出切换定时。

(空分方式)

在空分立体显示方式中，显示器的前表面上贴附有其偏振方向针对每个水平线设定得不同的偏振滤波器，使得在用户通过偏振滤波方式的眼镜来观看图像时，以右眼及左眼分开地针对每个水平线的方式向用户呈现视频。

如上所述，利用根据本发明的图像处理装置，能够输入二维图像数据，并根据图像的特征量来生成右眼用的伪图像及左眼用的伪图像，以使用双眼视差来立体地显示图像。此外，利用根据本发明的图像处理装置，按照使得右眼用的图像与左眼用的图像的和等于输入图像的方式来对进行图像转换。因此，该图像使得用户能够在佩戴立体视觉眼镜时感知到立体图像，而在未佩戴立体视觉眼镜时感知到通常的二维图像。因此，无论是否佩戴眼镜都能欣赏图像。并且，利用根据本发明的图像转换装置，右眼用的图像与左眼用的图像之间的视差很小，因此能够使观察者在佩戴立体视觉眼镜时的疲劳减轻。

在这点上，到目前为止已描述了多个实施例。然而，可以使用各个实施例的组合的结构。即，可以将根据第一实施例至第三实施例的各个图像处理装置及具有图像显示部的图像处理装置进行任意的组合，从而构造具有各个实施例的功能的图像处理装置(例如，具有第二实施例与第三实施例的组合的功能的图像处理装置)。

已参照具体实施例来详细地解释了本发明。然而，显而易见的是，本领域技术人员可以在不背离本发明的精神的情况下对这些实施例进行修改及替代。即，本发明是以示例的形式公开的，因此对其解释不应当受到限制。为了确定本发明的要旨，应当考虑所附权利要求书。

并且，可以利用硬件或软件或这两者的组合来执行本说明书中所描述的一系列处理。在利用软件来执行处理时，可以将记录有处理序列的程序安装在专用硬件中内置的计算机中的存储器中。作为另一种选择，可以在能够执行各种处理的通用计算机中安装并执行各种程序。例如，可以将程序预先记录在记录介质中。除了从记录介质安装到计算机以外，还可以通过网络(例如，LAN(局域网)及因特网)来接收程序，并且可以将程序安装在诸如内部硬盘等的记录介质中。

在这点上，本说明书中所描述的各种处理不仅可以根据本说明书按时间序列来执行，而且可以并行地执行，或者根据执行处理的装置的处理能力而单独地执行或在需要时执行。并且，本说明书中的系统是多个装置的逻辑集合，而并不限于包含在同一壳体中的组成装置的集合。

本申请包含与分别于2008年8月6日及2009年5月28日提交日本专利局的日本在先专利申请JP 2008-203614及JP 2009-128578中所公开的主题相关的主题，通过引用将其全部内容合并在此。

本领域技术人员应当理解，可以取决于设计要求或其他因素而想到各种修改、组合、子组合及变化，只要它们在所附权利要求书或其等同物的范围内即可。

Claims (20)

1.一种图像处理装置，包括：

图像输入部，其输入二维图像信号；

图像转换部，其将从所述图像输入部输出的图像信号输入，并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出；以及

图像输出部，其将从所述图像转换部输出的右眼用的图像及左眼用的图像输出，

其中，所述图像转换部提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

2.根据权利要求1所述的图像处理装置，

其中，所述图像转换部提取所输入的图像信号的微分亮度信号，将该微分亮度信号设定为所述特征量，生成通过将所述特征量加到所输入的图像信号上或通过从所输入的图像信号中减去所述特征量而生成的经转换的信号作为右眼用的图像信号或左眼用的图像信号，并且输出直接地作为所输入的图像信号的未经转换的信号，以作为用于眼睛中与针对其生成所述经转换的信号的眼睛不同的另一眼睛的图像信号。

3.根据权利要求1所述的图像处理装置，

其中，所述图像转换部提取所输入的图像信号的微分亮度信号，将该微分亮度信号设定为所述特征量，分别地通过将所述特征量加到所输入的图像信号上及通过从所输入的图像信号中减去所述特征量来生成信号，并且将所述两个信号的对生成为右眼用的图像与左眼用的图像的对。

4.根据权利要求1所述的图像处理装置，

其中，所述图像转换部提取所输入的图像信号的微分亮度信号，将通过对该微分亮度信号进行非线性转换而生成的信号设定为所述特征量，通过将所述特征量加到所输入的图像信号上或通过从所输入的图像信号中减去所述特征量来生成信号，并且将所述信号中的任一信号生成为右眼用的图像信号或左眼用的图像信号。

5.根据权利要求1所述的图像处理装置，

其中，所述图像转换部包括：

边缘区检测部，其检测所输入的图像信号的边缘区；

增强控制部，其对由所述边缘区检测部所检测到的边缘区进行将所述特征量减小的特征量修正；以及

图像组合部，其应用由所述增强控制部所生成的经修正的特征量，并实施将对所述边缘区的增强处理水平减小的增强处理。

6.根据权利要求1所述的图像处理装置，

其中，所述图像转换部包括：

肉色区检测部，其检测所输入的图像信号的肉色区；

增强控制部，其对由所述肉色区检测部所检测到的肉色区进行将所述特征量减小的特征量修正；以及

图像组合部，其应用由所述增强控制部所生成的经修正的特征量，并实施将对所述肉色区的增强处理水平减小的增强处理。

7.根据权利要求1所述的图像处理装置，

其中，所述图像转换部提取所输入的图像信号的微分亮度信号，将该微分亮度信号设定为第一特征量，生成通过将该第一特征量加到所输入的图像信号的亮度信号上或通过从所输入的图像信号的亮度信号中减去该第一特征量而生成的经转换的信号作为右眼用的图像或左眼用的图像的亮度信号，

提取所输入的图像信号的微分色差信号，将该微分色差信号设定为第二特征量，生成通过将该第二特征量加到所输入的图像信号的色差信号上或通过从所输入的图像信号的色差信号中减去该第二特征量而生成的经转换的信号作为右眼用的图像或左眼用的图像的色差信号，并且

输出直接地作为所输入的图像信号的未经转换的信号，以作为用于眼睛中与针对其生成所述经转换的信号的眼睛不同的另一眼睛的图像。

8.根据权利要求1所述的图像处理装置，

其中，所述图像转换部提取所输入的图像信号的微分亮度信号，将该微分亮度信号设定为第一特征量，分别地通过将该第一特征量加到所输入的图像信号的亮度信号上及通过从所输入的图像信号的亮度信号中减去该第一特征量来生成信号，将所述两个信号的对生成为右眼用的图像的亮度信号与左眼用的图像的亮度信号的对，

提取所输入的图像信号的微分色差信号，将该微分色差信号设定为第二特征量，通过将该第二特征量加到所输入的图像信号的色差信号上及通过从所输入的图像信号的色差信号中减去该第二特征量来生成信号，并且将所述两个信号的对生成为右眼用的图像的色差信号与左眼用的图像的色差信号的对。

9.根据权利要求1所述的图像处理装置，

其中，所述图像转换部针对运动图像中所包含的每个帧来进行生成右眼用的图像及左眼用的图像的处理。

10.根据权利要求9所述的图像处理装置，该图像处理装置还包括：图像输出部，其将由所述图像转换部所生成的右眼用的图像及左眼用的图像输出，

其中，所述图像输出部按输入图像帧频的两倍的速度交替地输出由所述图像转换部所生成的右眼用的图像及左眼用的图像。

11.根据权利要求1所述的图像处理装置，

其中，所述图像转换部针对运动图像中所包含的每个帧交替地生成右眼用的图像或左眼用的图像。

12.根据权利要求1所述的图像处理装置，

其中，所述图像转换部针对运动图像中所包含的每个帧来生成右眼用的图像及左眼用的图像，并且

进行交替地包括在所生成的右眼用的图像及左眼用的图像中所包含的线数据的双眼视差图像的生成处理。

13.根据权利要求1所述的图像处理装置，

其中，所述图像转换部按照将右眼用的图像与左眼用的图像的加和信号设定成等于或大致上等于所输入的信号的方式来进行右眼用的图像及左眼用的图像的生成处理。

14.根据权利要求1至13中的任一项所述的图像处理装置，该图像处理装置还包括：

图像显示部，其对由所述图像转换部生成的图像进行显示。

15.根据权利要求14所述的图像处理装置，

其中，所述图像显示部进行交替地输出右眼用的图像及左眼用的图像的时分立体显示处理。

16.根据权利要求15所述的图像处理装置，

其中，在所述图像显示部进行交替地输出右眼用的图像及左眼用的图像的时分立体显示处理时，所述图像显示部按照使得输出右眼用的图像及左眼用的图像的切换定时与由图像的观察者所佩戴的右部眼镜及左部眼镜的光阀的切换相同步的方式来切换显示。

17.根据权利要求14所述的图像处理装置，

其中，所述图像显示部具有以下结构：在所述显示部的前表面上贴附有其偏振方向针对每个水平线设定得不同的偏振滤波器，并且显示交替地包含形成由所述图像转换部所生成的右眼用的图像及左眼用的图像的线数据的双眼视差图像。

18.一种图像处理装置，包括：

图像输入部，其输入二维图像信号；

图像转换部，其将从所述图像输入部输出的图像信号输入，并且生成用于允许立体视觉的右眼用的图像或左眼用的图像并将其输出；以及

图像输出部，其将从所述图像转换部输出的右眼用的图像及左眼用的图像输出，

其中，所述图像转换部按照使得将右眼用的图像与左眼用的图像的加和信号设定成等于或大致上等于所输入的信号的方式来进行右眼用的图像及左眼用的图像的生成处理。

19.一种图像处理装置中的处理图像的方法，包括步骤：

由输入二维图像信号的图像输入部来输入所述图像；

由将从所述图像输入部输出的图像信号输入、并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出的图像转换部来对所述图像进行转换；以及

由将从所述图像转换部输出的右眼用的图像及左眼用的图像输出的图像输出部将所述图像输出，

其中，所述转换图像的步骤提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

20.一种用于使图像处理装置进行图像处理的程序，所述图像处理包括步骤：

由输入二维图像信号的图像输入部来输入图像；

由将从所述图像输入部输出的图像信号输入、并且生成用于允许双眼立体视觉的右眼用的图像及左眼用的图像并将其输出的图像转换部来对所述图像进行转换；以及

由将从所述图像转换部输出的右眼用的图像及左眼用的图像输出的图像输出部将所述图像输出，

其中，所述转换图像的步骤提取所输入的图像信号的空间特征量，并进行图像转换处理，该图像转换处理实施将该特征量应用于所输入的图像信号的增强处理，以生成右眼用的图像或左眼用的图像。

Images