CN102469330A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

在此公开图像处理设备和图像处理方法。所述图像处理设备包括：输入部分，其中使用多视点图像可以进行对于显示图像的操作的输入；视差检测部分，其检测配置多视点图像的每个图像的视差；以及视差控制部分，其在至少可以使用输入部分进行对于显示图像的操作的情况下调节多视点图像的视差。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及图像处理设备、图像处理方法和程序。

背景技术

过去，存在通过向左右眼显示不同的图像来提供立体视频的系统。另外，存在可以使用触摸板等进行对于显示屏幕的操作的设备。

发明内容

在显示立体图像时，可以在显示单元的前方看见对象(跃出)。另外，在显示单元和输入单元组合的输入设备(如触摸板)中，由于用户获得直接操作所显示对象的感觉，因此可以进一步增强操作感觉。

然而，在使用触摸板操作立体图像的情况下，当立体图像和操作触摸板的手指(或者笔等)重叠时，存在带给用户不自然感觉或者形成不愉悦感受或不协调感的情况。例如，在使用立体图像操作具有跃出显示在显示面前方(朝着用户)的部位的图像的情况下，当手指、笔等靠近显示单元时，起初显示在显示单元前方的部位被位于显示单元上面的手指、笔等隐藏，并且具有两眼视差的位于显示面前方的对象以与手指的相互隐蔽关系而隐藏在手指后方，并且存在带给用户不愉悦感受的问题。

另外，在触摸板的屏幕中，可以容易地进行屏幕的放大、缩小等，但是当放大时，存在显示单元中产生超过两眼宽度的视差的可能性。在此情况下，用户不能将原先为一个对象的对象识别为一个对象，而是由于超过两眼宽度的视差而将其识别为两个对象，并且存在带给用户不愉悦感受的问题。

在日本待审专利申请公开No.2002-92656中，公开了当鼠标光标与图标重叠并且按下鼠标时想要图标图像比正常状态凹入更多的技术。然而，在图标的情况下，可能的是，由于在预定位置并且以预定格式显示图标，因此提前设定图标以便不显示在显示单元的前方，但是在图像的情况下，由于用户的设定，在显示器前方存在各种各样的视频源(如，另一设备捕获的图像、或者所捕获的待显示图像)。结果，用户对于图像的操作和立体图像重叠，并且存在带给用户不自然感觉或不协调感的问题。

因此，期望提供新颖的并且得到改进的图像处理设备、图像处理方法和程序：其在用户对于屏幕的操作和具有多个视点的图像重叠的情况下，不会产生对于用户的不协调感。

根据本公开的实施例，图像处理设备配备有：输入部分，其中使用多视点图像能够进行对于显示图像的操作的输入；视差检测部分，其检测配置多视点图像的每个图像的视差；以及视差控制部分，其在至少能够使用输入部分进行对于显示图像的操作的情况下调节多视点图像的视差。

另外，可以进一步提供显示部分，其通过照射显示图像的光来显示所述显示图像。

另外，所述视差控制部分可以基于视差检测部分检测到的视差来调节视差，使得在显示面上看见照射显示图像的光的显示面的前方所看见的图像。

另外，所述视差控制部分可以调节在显示面的前方看见的图像的视差，并且调节视差以使得另一图像也移动到显示面的后方。

另外，视差控制部分可以修正视差以使得在显示面上仅看见显示面前方所看见的图像，并且可以不控制其它图像的视差。

另外，视差控制部分可以基于视差检测部分检测到的视差进行调节，以使得在显示面的后方看见照射显示图像的光的显示面的前方所看见的图像。

另外，在至少能够使用输入部分进行对于显示图像的操作的情况下，视差控制部分可以将多视点图像的视差调节为零，并且将多视点图像设定为二维图像。

另外，可以提供接近检测部分，其检测操作者的手指或操作对象接近照射显示图像的光的显示面；并且在使用接近检测部分检测到操作者的手指或操作对象接近的情况下，视差控制部分可以调节多视点图像的视差。

另外，输入部分可以由显示面上提供的电容触摸传感器配置，并且接近检测部分可以由触摸传感器配置，并且可以基于电容的变化检测操作者的手指或操作对象处于附近。

另外，视差检测部分可以确定作为视差控制部分对于视差的调节的结果，是否能够进行正常的显示，并且图像处理设备可以进一步包括图像处理部分，其在视差检测部分确定不能进行正常显示的情况下缩小所述显示图像。

另外，在视差检测部分确定不能进行正常显示的情况下，图像处理部分可以缩小图像以使得视差等于或小于人眼之间的间隔。

另外，在检测到显示图像由于输入部分的操作而要放大的情况下，视差控制部分可以调节多视点图像的视差。

另外，视差检测部分可以确定作为视差控制部分对于视差的调节的结果，是否能够进行正常显示，并且所述图像处理设备可以进一步包括图像处理部分，其在视差检测部分确定不能进行正常显示的情况下缩小所述显示图像。

另外，根据本公开的另一实施例，图像处理设备配备有：输入部分，其中使用多视点图像能够进行对于显示图像的操作的输入；视差检测部分，其检测配置多视点图像的每个图像的视差；以及视差控制部分，其在显示图像的尺寸等于或小于预定值的情况下调节多视点图像的视差，并且调节视差以使得在显示面上看见照射显示图像的光的显示面的前方所看见的图像。

另外，根据本公开的又一实施例，图像处理设备配备有：输入部分，其中使用多视点图像能够进行显示图像附近的操作的输入的执行；视差检测部分，其检测配置多视点图像的每个图像的视差；以及图像处理部分，其在至少能够使用输入部分进行对于显示图像的操作的情况下，使用二维图像显示所述显示图像附近的输入部分。

另外，根据本公开的又一实施例，图像处理方法包括：获得对显示部分上显示的显示图像进行的操作的输入；检测配置多视点图像的每个图像的视差；以及在至少能够使用操作的输入进行对于显示图像的操作的情况下调节多视点图像的视差。

另外，根据本公开的又一实施例，由计算机运行的程序包含：获得对显示部分上显示的显示图像进行的操作的输入；检测配置多视点图像的每个图像的视差；以及在至少能够使用操作的输入进行对于显示图像的操作的情况下调节多视点图像的视差。

根据本公开的实施例，在用户对于屏幕的操作和具有多个视点的图像重叠的情况下，可不产生对于用户的不协调感。

附图说明

图1是图示根据本公开实施例的图像处理设备的配置示例的示意图；

图2A～2C是图示在显示部分上显示立体图像并且用笔操作显示部分的触摸板的情况下的理想显示状态的示意图；

图3A～3C是图示用户在显示部分上显示立体图像并且用笔操作显示部分的触摸板的情况下所实际看到的视图的示意图；

图4A～4C是图示与图3A～3C相同位置关系的笔和对象“B”的位置关系的示意图；

图5是图示视差调节的示例的示意图；

图6是图示在用与图5相同的方法进行视差调节的情况下将不自然感觉带给用户的示例的示意图；

图7是图示在图6的情况下仅对于前方看到的对象C的视差调节而没有对于后方看到的对象D的位置的调节的情况的示意图；

图8是图示在前方看到多个对象的情况的示意图；

图9是图示在显示面上显示所有对象并且显示二维图像的情况的示意图；

图10是图示在二维显示的情况下用具有单视点的图像显示的示例的示意图；

图11示出在作为调节视差的结果、视差大于两眼宽度的情况下进行图像缩小的示例；

图12示出在作为调节视差的结果、视差大于两眼宽度的情况下进行图像缩小的示例；

图13是图示用于视差调节的视差量的检测方法的示例的示意图；

图14是图示在显示部分的显示屏幕上显示的图像上安放用于触摸板操作的操作框的示例的示意图；

图15是图示垂直布置图14的显示部分的示例的示意图；

图16是图示检测笔是否接近显示面的接近检测传感器也用作触摸板的示例的示意图；

图17是图示图像操作期间动作的流程图；

图18是图示图像由于触摸板的操作而放大时的处理的流程图；

图19是图示在进行图18的处理的情况下放大率受限并且由于放大而不可以进行3D显示时显示不可以进行放大的处理的流程图；

图20是图示在进行视差调节并且去除显示在前方的部位之后进行显示以使得所有部位中的视差缩小至小于两眼宽度的处理的流程图；

图21是图示进行图17和20的情况之间的切换的处理的流程图；

图22是图示图像宽度小于两眼宽度的情况的流程图；

图23是图示在存在使用触摸板等操作屏幕的显示的情况下进行视差修正或者存在至二维显示的切换的处理的流程图；

图24是图示在预测使用触摸板等操作屏幕的情况下进行视差修正或者存在至二维显示的切换的处理的流程图；

图25是图示在触摸板操作可能的显示的情况下，在图像小于预定尺寸的情况下设定视差修正或二维显示的处理的流程图；以及

图26是图示如图14和15中所述那样设定操作框的情况下的处理的流程图。

具体实施方式

下面在参照附图的同时详细描述本公开的实施例。这里，对于说明书和示图中具有相同的实际功能配置的构成要素，附上相同的附图标记，并且重复的描述予以省略。

这里，将按照下面的顺序进行描述

1.图像处理设备的配置示例

2.实施例的图像处理设备的显示

3.实施例的图像处理设备的处理

1.图像处理设备的配置示例

图1是图示根据本公开实施例的图像处理设备100的配置示例的示意图。图像处理设备100例如是配备有相当小的显示器的设备，并且是能够显示立体图像(3D视频)的设备。显示在图像处理设备100上的图像可以是静止图像或运动图像中的任何图像。另外，在图像处理设备100中，通过用户根据显示屏幕操作屏幕，各种各样的输入都是可能的。可以将图像处理设备100实现为数码相机、数码摄像机、个人计算机(PC)、游戏设备、电视接收设备、电话、PDA、图像再现设备、图像记录设备、车辆导航系统、便携式终端、打印机等。

这里，3D视频的方法不具体限制。例如，可以使用这样的系统：在该系统中，通过以时间顺序的方式交替显示左眼视频和右眼视频并且用户佩戴在左右眼上的快门眼镜与视频的显示同步地打开和关闭，以将左眼视频和右眼视频分别提供给用户的左右眼。另外，可以使用这样的系统：在该系统中，使用起偏振片(polarizing plate)的动作而不使用快门眼镜，将左右视频分别供给用户的左右眼。

如图1所示，图像处理设备100配备有读出部分102、图像处理部分104、视差检测部分106、视差控制部分108、显示部分110、控制部分112、存储器114和接近检测部分116。在读出部分102中，从介质200发送配置立体图像的左眼图像和右眼图像的数据。介质200是记录立体图像数据的记录介质，并且作为示例，其从图像处理设备100的外部安装。另外，输入部分118是提供在显示部分110上的触摸板。在图像处理设备100中，用户经由输入部分118输入操作信息。输入至输入部分118的信息发送至控制部分112。控制部分112基于输入部分118的操作，确定当前模式是否是图像受到操作的屏幕(可进行触摸板操作的屏幕)。

当基于图1描述图像处理设备100的基本处理时，首先，从介质200发送至图像处理设备100的左右视频数据由读出部分102读出，并且图像处理部分104进行图像处理。在图像处理部分104中，进行处理用于显示的图像的处理，如：左右图像数据的尺寸的优化(调整尺寸)或者画质的调节。图像处理部分104在诸如作为按照稍后描述的那样调节视差的结果、视差大于两眼宽度之类的情况下进行缩小图像的处理。

在视差检测部分106中，将左右图像数据进行比较，并且通过检测运动矢量、块匹配之类的技术，检测左右视频的视差。然后，在视差检测部分106中，检测图像是否位于显示面的前方、是否存在视线不交叉的部位等。

视差控制部分108在进行了显示部分110的触摸板操作的情况下进行修正视差的处理。视差控制部分108调节视差以使得没有位于显示面前方的部位并且没有视线交叉的部位。

显示部分110是显示立体图像的显示器，并且由液晶显示器(LCD)等配置。视差控制部分108已经调节了视差的图像供给显示部分110并加以显示。这里，显示部分110可以与图像处理设备100整合在一起，或者可以是单独的设备。另外，将显示部分110提供为与作为输入部分118的触摸板(触摸传感器)整合在一起。用户可以在视觉上确认显示部分110上显示的立体图像的同时进行触摸板操作(输入部分118的操作)。这里，在确定用户的手指、笔等接近显示部分110的情况下，使用接近检测部分116进行接近检测，并且使用控制部分112进行确定。在将可以进行接近检测的电容触摸传感器等用作输入部分118的情况下，可以将接近检测部分116用作显示部分110和作为同一个面的输入部分118。

控制部分112是控制整个图像处理设备100的构成元件，并且由中央处理单元(CPU)等配置。存储器114由硬盘、RAM、ROM等配置，并且存储左右视频数据。另外，存储器114可以存储用于图像处理设备100起作用的程序。接近检测部分116在用户进行触摸板操作的情况下检测用户的手指、笔(笔尖)等接近显示部分110。这里，由于能够通过电容的变化检测到手指、笔等的接近，因此在用检测电容的电容触摸板配置触摸板的情况下，可以用触摸板配置接近检测部分116。

图1中所示的每一个构成元件经由总线120连接。图1中所示的每一个构成元件可以用电路(硬件)或中央处理单元(CPU)和用于中央处理单元起作用的程序(软件)来配置。

2.实施例的图像处理设备的显示

图2A～2C是图示在显示部分110上显示立体图像并且用笔操作显示部分110的触摸板的情况下的理想(自然)显示状态的示意图。图2A示出显示部分110的显示屏幕上不存在操作触摸板的笔的情况，并且示出在显示部分110的左边示出3D显示对象“A”并且在右边示出3D显示对象“B”的外观。另外，图2B示出在显示图2A的立体视频时用笔操作显示部分110的触摸板的外观。

在图2A和2B的情况下，部位“B”(跃出)显示在显示部分110的显示面的前方，并且部位“A”显示在显示面的后方。由于图2B示出用笔操作显示面的情况下的原始位置关系的理想视图，因此“B”看着在操作显示面的笔的前方。据此，笔隐藏在“B”的后方。另一方面，由于“A”在显示面的后方，因此“A”隐藏在笔的后方。图2C是图示图2B中的“A”、“B”、显示面和笔在深度方向上的位置关系的示图，并且是图示从上面观看图2B的状态的示意图。如图2C所示，相对于背面的位置关系依次是“A”、显示面、笔和“B”。据此，期望原始视图是像图2B那样的。

图3A～3C示出用户在显示部分上显示立体图像并且用笔操作显示部分的触摸板的情况下所实际看到的视图。图3A和3C分别与图2A和2C相同。图3B示出用户在笔置于3D显示屏幕上的情况下所实际看到的视图。如图3B所示，在“B”的前方看见原来在“B”后方的笔，并且笔隐藏了“B”。在笔不存在的情况下，用户由于3D显示而在前方看见“B”，但是实际的光线从显示部分110的显示面发出，并且诸如这样的这种现象由于显示面在笔的后方而产生。在此情况下，由于用户接收深度方向上的两条冲突的信息，因此存在不自然的感觉并且带来了不愉悦的印象。

图4A～4C是图示与图3A～3C相同位置关系的笔和对象“B”的位置关系的示意图。图4A是图示来自用户的视图的示意图。图4B和4C是图示深度方向上的位置关系的示图，并且示出从左侧面观看图4A的状态。图4B示出不存在笔的情况下的位置关系，图4C示出存在笔的情况下的视图的位置关系。如图4C所示，在存在笔的情况下，由于原来在笔的前方看到的“B”的视频被显示面上的笔覆盖，因此原来要在显示面前方看见的“B”看上去好像仅在笔的区域中凹进。以此方式，在实际对象是立体的情况下，对象和从对象发出的光的产生源的位置是相同的位置，但是在立体图像的情况下，对象呈现的位置和光的产生源的位置并不匹配，引起诸如这样的这种现象，并且用户感觉视频不自然。

为了解决诸如这样的这种现象，在本实施例中，在用户的手指或笔处于显示面上的情况下进行视差调节。图5是图示视差调节的示例的示意图。图5的示图的上面部分示意性地示出在以与图2C相同的方式从上面看到显示面时在深度方向上的位置。另外，图5的示图的下面部分示出左眼图像和右眼图像每一个中的各对象的显示状态。另外，图5的示图的左侧示出视差调节之前，该示图的右侧示出视差调节之后。

图5的示图的左侧示出这样的状态：在视差调节之前，一个对象在前方看到，一个对象在后方看到(对象C(·)和对象D(о))。调节对象的视差，并且如右边示图中那样，在前方看到的对象C要么处于与显示部分110的显示面相同的位置，要么处于显示面的后方。为此，因为没有对象位于显示面的前方，所以即使在将笔置于显示面上的情况下，由于笔位于视频的前方，因此在视频和笔的位置关系上可以防止产生不自然的感觉。

更详细地描述，图5的上面部分所示的示图示出从上面观看用户和显示部分110的状态，并且示出了显示面、用户的右眼和左眼、对象C和对象D的位置。另外，下面部分所示的示图示出了显示部分110显示的左眼图像和右眼图像。如示图的上面部分所示，当右眼图像中的对象C和左眼通过直线结合并且左眼图像中的对象C和右眼通过直线结合时，两条直线的交叉部分位于对象C的深度方向上。以相同的方式，当右眼图像中的对象D和左眼通过直线结合并且左眼图像中的对象D和右眼通过直线结合时，两条直线的交叉部分位于对象D的深度方向上。这里，基于左眼图像和右眼图像中对象的位置以及右眼和左眼的位置，在其它示图中以相同方式设定各对象在深度方向上的位置。

在图5的示图的右侧，左眼图像和右眼图像的位置相对于对象C是相同的，并且通过将视差设定为零而将对象C显示在显示面上。另外，随同其一起，由于相对于对象D的左眼图像和右眼图像的视差大于示图的左侧，因此，比示图的左侧相比，相对于显示面将对象D更加显示至背面。以此方式，在图5所示的示例中，通过将对象C和对象D的显示位置均移向背面，将对象C显示在显示面上，并且将对象D显示在相对于显示面更向着背面的位置上。据此，由于在将笔置于显示面上的情况下将对象C和对象D显示在笔的后方，因此可以抑制用户的不自然感觉、不协调感等的产生。这里，对象C也可显示在显示面后方的位置上。

图6示出在用与图5相同的方法进行视差调节的情况下将不自然感觉带给用户的示例。以图6的示图的左侧中的位置关系看到的各图像(对象C和对象D)的视差被调节，并且使用与图5相同的方法在显示面上显示对象C，并且在对象不能显示在显示面的前方的情况下，图像变得与示图的右侧类似，并且产生存在大于两眼宽度的视差的部位。

更详细地，如图6的示图的左侧的下面部分所示的那样，由于将对象C的视差设定为零，因此当左眼图像中的对象C和对象D在左方向上移动时，左眼图像和右眼图像中对象D的视差变得极度大，并且变为大于两眼宽度的视差。在此情况下，由于相对于对象D的左右眼的视线不交叉，因此用户不能将对象D识别为一个对象，而是在用户的眼睛里将对象D看成为两个。

图7是图示在图6的情况下仅对于前方看到的对象C的视差调节而没有对于后方看到的对象D的位置的调节的情况的示意图。在示图的左侧，在前方看见对象C，在后方看见对象D。根据此状态，在左眼图像和右眼图像每一个中，仅调节对象C的位置，并且将对象C的视差设定为零。确切地，该示图左侧所示的左眼图像的对象C在左方向上移动，并且右眼图像中的对象C在右方向上移动。另一方面，左眼图像和右眼图像中对象D的位置不改变。为此，在显示面上看见在前方所看见的对象C。另一方面，对象D具有其初始视差，并且看着在显示面后方的相同位置上。以此方式，在仅有在前方看到的一个对象并且其它对象在深度方向上分开的情况下，可以仅调节前方看见的对象的位置。

图8示出在前方看到多个对象的情况。在图8的示图的左侧，示出了在显示面的前方看到对象C和对象E并且在显示面的后方看到对象D的情况。在此情况下，仅调节在前方看到的对象C和对象E的视差，并且通过在显示面上看到对象C和对象E，可以防止在用户的手指、笔等位于显示面上的情况下产生用户的不协调感。这里，当未统一调节所有对象的视差而是仅调节在前方看到的对象的视差时，将此称为“视差修正”。另一方面，当调节所有对象的视差(其通过使用图6等已经描述)时，将此称为“视差调节”。在如图8中那样进行视差修正的情况下，由于原来在显示面前方的深度方向上的不同位置看到的对象C和对象E均位于显示面上，因此去除了对象C和对象E的深度的交互感(mutual sense)。

图9示出在显示面上显示所有对象并且显示二维图像的情况。如使用图6所述的那样，在调节视差使得对象不显示在显示面前方时产生视差大于两眼宽度的部位的情况下，进行视差调节并且以二维方式显示视频。在图9的示例中，通过将对象C、对象D和对象E中每一个的视差设定为零，以二维方式显示对象C、对象D和对象E。在此情况下，如图9的下面部分所示，相对于对象C、对象D和对象E中每一个的左眼图像和右眼图像的位置被调节，并且视差被设定为零。

图10是图示在二维显示的情况下用具有单视点的图像显示的示例的示意图。在图10的示例中，如示图右侧的下面部分所示那样，将与左眼图像相同的图像显示为右眼图像。为此，可以在不特别调节右眼图像和左眼图像的视差的情况下进行二维显示。据此，无需进行使用块匹配等检测视差的处理，并且相比于图9的情况可以以更简单的处理显示二维图像。

图11和12示出在作为如图6中所述那样调节视差的结果、视差大于两眼宽度的情况下进行图像缩小的示例。图11的右侧示出左右图像相对于左侧均缩小的情况。如图11所示，当图像的尺寸变得等于或小于恒定值时，不可创建视线不交叉的图像。据此，如使用图6的示图的右侧所描述的那样，不产生存在大于两眼宽度的视差的部位。

图12的示图的左侧对应于图6的示图的右侧，并且示出产生存在大于两眼宽度的视差的部位的状态。图12的示图的右侧示出图12的示图的左侧通过使用图11的原理而被缩小的状态。如图12的示图的左侧(以及图6的示图的右侧)所示，由于在视差作为视差调节结果变得大于两眼宽度时不可以显示3D图像，因此左右图像缩小，并且使得视差比两眼宽度更窄(如图12的示图的右侧所示)。为此，可以将前方显示的部位显示在显示面上，并且可以防止视差变得大于两眼宽度(如图6的示图的右侧所示)。据此，通过进行缩小，可以使得视差比两眼宽度更窄，并且可以防止将对象看成为两个。

图13是图示用于视差调节的视差量的检测方法的示例的示意图。在将确定视差的两个图像(左眼图像和右眼图像)中的一个分割至多个块并且将每个块与另一图像比较的情况下，确定另一图像的哪些部位之间是伴随着每个块的最小化的误差。然后，另一图像上误差最小化的位置和原始块的位置之间的差异是视差量。如图13所示，针对每个块将视差量确定为矢量值。在图13的示例中，将右眼图像分割至多个块，将每个块与左眼图像进行比较，并且搜索左眼图像和每个块之间的误差最小的位置。然后，将误差最小的位置和块提取的位置之间的差异设定为运动矢量，并且相对于整个屏幕的每个块计算运动矢量。

在图13的示例中，在对应于左眼图像的位置未对准到关于右眼图像的块的左边的情况下，运动矢量是从右引向左的矢量。如所示，例如，在图5的示图的左侧，在对应于左眼图像的位置未对准到关于右眼图像的块的左边的情况下，对象显示在显示面后方(图5的示图的左侧所示的对象D)。另一方面，在对应于左眼图像的位置未对准到关于右眼图像的块的右边的情况下，对象显示在显示面前方(图5的示图的左侧所示的对象C)。据此，在如图13所示那样计算每个块的运动矢量的情况下，了解到的是，在运动矢量是从右引向左的矢量的情况下，对应于块的对象显示在显示面后方，而在运动矢量是从左引向右的矢量的情况下，对应于块的对象显示在显示面前方。另外，在运动矢量是从右引向左的矢量的情况下，随着矢量的绝对值变得更大，与块对应的对象更加显示至显示面的背面。在运动矢量是从左引向右的矢量的情况下，随着矢量的绝对值变得更大，与块对应的对象更加显示至显示面的前方。这里，使用图1中所示的视差检测部分106进行图13中所示的处理。

当调节视差时，从运动矢量是从左引向右的矢量的块中提取具有最大绝对值(＝A)的块(这里称为块1)。由于所提取的块1的图像位于前方最远，因此将块的运动矢量的尺寸调节为“零”。然后，针对从其它块的运动矢量中减去块1的运动矢量的其它块进行处理。为此，如图6中所示，可以统一地朝着背面在深度方向上移动所有对象的位置。这里，在如使用图8描述的那样进行视差修正的情况下，将矢量从左引向右的所有块的运动矢量的尺寸调节为“零”。这里，使用图1所示的视差控制部分108进行该视差的调节。

图14是图示在显示部分110的显示屏幕111上显示的图像上安放用于触摸板操作的操作框(operation frame)112的示例的示意图。这里，将操作框112显示为二维图像。通过在图像的外部提供操作框112，在用笔操作操作框112的情况下，因此没有与进行3D显示的图像的显示区域重叠，所以可以抑制由于3D显示的图像和笔重叠所引起的不自然感觉和不连续感。这里，图14的上面部分示出以缩略图状态显示显示屏幕111中多个图像并且提供操作框112以围绕每个图像的示例。另外，图14的下面部分示出在显示屏幕111中显示一个图像并且提供操作框112以围绕这一个图像的示例。

图15是图示垂直布置图14的显示部分110的示例的示意图。即使在图15的示例中，由于手指或笔在触摸板操作期间不直接触摸3D图像，因此也可以去除不愉悦感。

图16是图示检测笔是否接近显示面的接近检测传感器也用作触摸板的示例的示意图。例如，在使用电容触摸板的情况下，可以将接近检测传感器(接近检测部分116)也用作触摸板。

图16的示图的上面部分示出从平行于显示面的方向看到的状态，并且示出笔接近或接触显示面的情况。另外，图16的示图的中间部分示出来自显示面的上面的状态，并且示出笔接近或接触显示面的情况。另外，图16的示图的下面部分示出触摸传感器检测到的电容的变化，并且示出附有点的区域的电容在笔接近或接触显示面的情况下增大的状态。

如图16的示图的下面部分所示，在笔变得更近的过程中，位于笔附近的电容改变，并且电容的改变在笔触摸显示面时变得更大。据此，可以用其确定笔有多接近显示面或者笔是否接触显示面。

3.实施例的图像处理设备的处理

接下来描述根据实施例的图像处理设备100的处理。这里，通过使用控制部分112的控制来控制图1的各个构成元件的功能，能够实现下面所示的每个处理。图17是图示图像操作期间动作的流程图。首先，在步骤S101中读出图像，并且在步骤S102中确定是否存在图像能够受到操作的屏幕。即，在步骤S102中，确定是否存在可以使用触摸板操作进行屏幕操作的模式。在此情况下，在使用接近检测部分116检测到使得用户的手指、笔等靠近显示面的情况下，可确定存在可以使用触摸板操作进行屏幕操作的模式。在步骤S102中，在不是可以进行操作的屏幕的情况下，处理前进至步骤S106，并且按照原样显示屏幕。

另一方面，在可以使用触摸板进行操作的屏幕的情况下，处理前进至步骤S103，并且确定是否存在显示面前方的部位。在通过用户的操作进行改变模式的设定的情况下，处理在设定可以进行触摸板操作的屏幕时从步骤S102前进至S103，并且处理在设定不可以进行触摸板操作的屏幕时从步骤S102前进至S106。

在步骤S103中，确定是否存在使用3D显示在显示面前方显示的对象。然后，在不存在显示在显示面前方的部位的情况下，处理前进至步骤S106，并且按照原样显示图像。另一方面，在存在显示在显示面前方的对象的情况下，处理前进至步骤S104，并且确定在调节视差的情况下是否将会有正确的显示。即，在步骤S104中，如图6的示图的右侧所示那样，在调节视差的情况下，确定是否存在视差大于两眼宽度的部位，并且在将会有正确显示的情况下，即，在不存在视差大于两眼宽度的部位的情况下，处理前进至步骤S105。在步骤S105中，进行视差调节以使得位于显示面前方的部位显示在显示面上。为此，在步骤S106中，在没有显示面前方的部位的状态下显示图像。另一方面，在步骤S104中确定将不会有正确显示的情况下，处理前进至步骤S107，并且如使用图10描述的那样进行视差修正或者仅使用具有来自一侧的视点的图像进行二维显示。这里，视差修正是如使用图7描述的那样仅将前方看到的部位移到显示面上的处理。为此，可以在没有显示面前方的部位的状态下显示3D图像。

图18是图示图像由于触摸板的操作而放大时的处理的流程图。当进行图像放大时，左右图像的视差根据放大而变得更大，并且当视差大于两眼宽度时，存在如使用图6所述那样将对象看成为两个的现象。结果，在图18的处理中，确定每当进行放大操作时是否将会进行正确的显示(步骤S204)，并且在将不会有正确显示的情况下使用二维图像进行显示。为此，在进行放大操作的情况下，可以维持正常的显示，并且用户的手指或笔可以与显示面前方显示的图像不重叠。

在图17中，在步骤S102中确定是否存在图像自身受到操作的屏幕，但是在图18的步骤S202中，代之步骤S102，确定是否已经进行了图像放大操作。在已经进行了图像放大操作的情况下，处理前进至步骤S203，并且确定显示面前方是否存在以放大图像显示的对象。另一方面，在未进行图像放大操作的情况下，处理前进至步骤S206。步骤S203～S207的处理与图16中步骤S103～S107的步骤相同。然后，在从步骤S202前进至步骤S206的情况下，在步骤S206中显示放大图像。为此，可以避免以放大图像在显示面前方的位置上显示对象。

另外，在图像的放大率较大并且即使调节了视差、在步骤S204中也不会有正确显示的情况下，处理前进至步骤S207，并且进行视差修正或使用2D的显示。据此，每当进行放大时，在步骤S204中确定是否会有正确的显示，并且通过在不可能进行正确显示的情况下进行视差修正或使用2D的显示，可以抑制用户感觉到不自然感。这里，在进行视差修正的情况下，如上所述，由于仅仅位于显示面前方的对象的视差被修正，因此位于显示面后方的对象的视差未被修正。据此，如图6的示图的右侧中所示那样，可以避免将对象看成为两个的现象。

另外，在图18中，在步骤S206之后，处理前进至步骤S208，并且进一步确定是否已经进行了图像放大或缩小操作。然后，在已经进行了图像放大或缩小操作的情况下，处理前进至步骤S209，并且进行图像放大或缩小。在步骤S209之后，处理向前返回至步骤S203，并且针对已经进行了放大或缩小后的图像，确定是否存在位于显示面前方的图像。

另外，在步骤S207之后，处理前进至步骤S211，并且确定是否要进行图像放大或缩小操作。然后，在要进行图像放大或缩小操作的情况下，处理前进至步骤S212，进行图像放大或缩小操作，并且显示步骤S210中放大或缩小后的图像。

如上面那样，根据图18的处理，当放大图像并且3D显示不可能时，可以进行2D显示。据此，如图6的示图的右侧中所示，在3D显示由于图像放大而不可能的情况下，由于可以切换至2D显示，因此可以避免作为放大的结果不可以进行3D显示。

图19示出在进行图18的处理的情况下放大率受限并且由于放大而不可以进行3D显示时显示不可以进行放大的处理。在图19中，处理相对于图18在步骤S204中确定“否”的情况方面有所不同。当在步骤S204中确定在调节视差的情况下将不会有正确显示时，处理前进至步骤S213。在步骤S213中，进行返回至紧接在放大前的图像的处理。在步骤S213后，处理前进至步骤S214，并且进行放大是不可能的显示。为此，用户能够识别进一步的放大是不可能的。

图20是如下处理的流程图：在该处理中，在正确的显示是不可能的情况下，代之进行图17中所述的视差修正或二维显示，在进行视差调节并且去除显示在前方的部位之后进行显示以使得所有部位中的视差缩小至小于两眼宽度。该处理对应于图12的显示处理。在图20的处理中，除了步骤S307以外的处理与图17相同，并且图20的步骤301～S306对应于图17的步骤S101～S106。在步骤S304中确定在调节视差的情况下不会有正确显示时，处理前进至步骤S307。在步骤S307中，调节视差并且去除显示面前方的部位，并且进一步，缩小图像的显示部位，直至如使用图12描述的那样去除了视线不交叉的部位为止。然后，在接下来的步骤S306中，显示缩小后的图像。根据此处理，图像被缩小，而是可以保持多视点显示(立体显示)。

图21是图示进行图17和20的情况之间的切换的处理的流程图。这里，在调节视差的情况下不会有正确显示的情况下，处理前进至步骤S404，并且确定显示尺寸或3D显示中的哪一个更加重要。然后，在3D显示更加重要的情况下，处理前进至步骤S405，进行视差调节，并且通过缩小至去除了视线不交叉的部位的尺寸来进行显示。即，在此情况下，进行图20中的步骤S307的处理。为此，图像的尺寸变得更小，但是可以进行3D显示。

另外，在步骤S404中，在图像尺寸比3D显示更加重要的情况下，处理前进至步骤S408，并且调节视差或者通过仅从一侧提取图像而以2D方式进行显示。即，在此情况下，进行图17的步骤S107的处理。以此方式，根据图21的处理，确定多视点显示中的哪个(如3D或图像的尺寸)更加重要，并且确定是否要调节视差和进行缩小显示，或者是否要以二维方式(或者利用视差修正)进行显示。该确定可以由用户使用输入部分加以设定，或者可以根据图像处理设备100侧的显示状态加以确定。

图22是图示图像宽度小于两眼宽度的情况的流程图。由于人的两眼宽度通常大约为5cm～7cm，因此图22等效于图像宽度等于或小于大约5cm～7cm的情况。在此情况下，由于图像宽度较窄并且不会出现诸如图6的示图的右侧所示这样的状态，因此如果前方显示的部位由于视差调节而移至显示面并且可以进行视差调节就足够了。换言之，由于不会出现诸如图6的示图的右侧所示这样的状态，因此图17的步骤S104的处理不是必要的。其它处理与图17相同。这里，在此情况下，由于视线不交叉的部位在图像宽度的外面，因此不显示该部位。

图23是图示在存在使用触摸板等操作屏幕的显示的情况下进行视差修正或者存在至二维显示的切换的处理的流程图。在步骤S602中，当确定存在图像自身受到操作的屏幕时，处理前进至步骤S603，并且进行视差调节或者通过仅提取来自一侧的图像进行二维方式的显示。为此，由于去除了显示在显示面前方的对象，因此可以抑制在触摸板操作期间相对于用户出现不协调感。

图24是图示在预测使用触摸板等操作屏幕的情况下进行视差修正或者存在至二维显示的切换的处理的流程图。在步骤S702中，当确定笔或手指靠近屏幕时，处理前进至步骤S703，并且进行视差调节或者通过仅提取来自一侧的图像进行二维方式的显示。以此方式，即使在实际未正进行图像操作的情况下，在根据用户的手指、笔等的接近预测屏幕的操作的情况下也进行视差修正或二维显示。这里，如上所述，通过接近检测部分116或者通过电容触摸板检测笔、手指等的靠近。

图25是图示在触摸板操作可能的显示的情况下，在图像小于预定尺寸的情况下设定视差修正或二维显示的处理的流程图。以此方式，例如，由于深度感在小图像(如，缩略图)的情况下往往会变弱，因此可以也将视差修正或二维显示设定为用于显示小于预定尺寸的图像的条件。

图26是图示如图14和15中所述那样设定操作框112的情况下的处理的流程图。在步骤902中，在确定存在使用触摸板等操作图像自身的屏幕的情况下，在步骤S903中，与图像对应地以二维方式显示操作框112。为此，用户使用手指或笔操作操作框112，并且由于手指或笔未位于三维图像上，因此可以抑制由于3D图像与手指、笔等重叠而产生不协调感。

根据上述的实施例，由于没有对象显示在前方，因此可以去除图像中的与手指或笔具有不自然关系的部位，并且可以抑制带给用户的不愉悦感。另外，由于不显示具有比两眼宽度更宽的视差的图像，因此可以抑制将同一对象看成为两个，并且可以可靠地抑制用户感觉到不协调感。

本公开包含与2010年11月11日向日本专利局提交的日本优先权专利申请JP 2010-253149中公开的主题有关的主题，其全部内容通过引用的方式合并在此。

本领域的技术人员应当理解，依据设计要求和其它因素可以出现各种修改、组合、部分组合和变更，只要它们在所附权利要求或其等同体的范围内即可。

Claims (17)

1.一种图像处理设备，包括：

输入部分，其中能够使用多视点图像进行对于显示图像的操作的输入；

视差检测部分，其检测配置多视点图像的每个图像的视差；以及

视差控制部分，其在至少能够使用输入部分进行对于显示图像的操作的情况下调节多视点图像的视差。

2.如权利要求1所述的图像处理设备，进一步包含：

显示部分，其通过照射显示图像的光来显示所述显示图像。

3.如权利要求1所述的图像处理设备，

其中，所述视差控制部分基于视差检测部分检测到的视差来调节视差，使得在显示面上看见照射显示图像的光的显示面的前方所看见的图像。

4.如权利要求3所述的图像处理设备，

其中，所述视差控制部分调节在显示面的前方看见的图像的视差，并且调节视差以使得另一图像也移动到显示面的后方。

5.如权利要求3所述的图像处理设备，

其中，视差控制部分修正视差以使得在显示面上仅看见显示面前方所看见的图像，并且不控制其它图像的视差。

6.如权利要求1所述的图像处理设备，

其中，视差控制部分基于视差检测部分检测到的视差进行调节，以使得在显示面的后方看见照射显示图像的光的显示面的前方所看见的图像。

7.如权利要求1所述的图像处理设备，

其中，在至少能够使用输入部分进行对于显示图像的操作的情况下，视差控制部分将多视点图像的视差调节为零，并且将多视点图像设定为二维图像。

8.如权利要求1所述的图像处理设备，进一步包含：

接近检测部分，其检测操作者的手指或操作对象接近照射显示图像的光的显示面，

其中，在使用接近检测部分检测到操作者的手指或操作对象接近的情况下，视差控制部分调节多视点图像的视差。

9.如权利要求8所述的图像处理设备，

其中，输入部分由显示面上提供的电容触摸传感器配置，并且

接近检测部分由触摸传感器配置，并且基于电容的变化检测操作者的手指或操作对象处于附近。

10.如权利要求1所述的图像处理设备，

其中，视差检测部分确定作为视差控制部分对于视差的调节的结果，是否能够进行正常的显示，并且

图像处理设备进一步包括图像处理部分，其在视差检测部分确定不能进行正常显示的情况下缩小所述显示图像。

11.如权利要求10所述的图像处理设备，

其中，在视差检测部分确定不能进行正常显示的情况下，图像处理部分缩小图像以使得视差等于或小于人眼之间的间隔。

12.如权利要求1所述的图像处理设备，

其中，在检测到显示图像由于输入部分的操作而要放大的情况下，视差控制部分调节多视点图像的视差。

13.如权利要求12所述的图像处理设备，

其中，视差检测部分确定作为视差控制部分对于视差的调节的结果，是否能够进行正常显示，并且

所述图像处理设备进一步包括图像处理部分，其在视差检测部分确定不能进行正常显示的情况下缩小所述显示图像。

14.一种图像处理设备，包含：

输入部分，其中能够使用多视点图像进行对于显示图像的操作的输入；

视差检测部分，其检测配置多视点图像的每个图像的视差；以及

视差控制部分，其在显示图像的尺寸等于或小于预定值的情况下调节多视点图像的视差，并且调节视差以使得在显示面上看见照射显示图像的光的显示面的前方所看见的图像。

15.一种图像处理设备，包含：

输入部分，其中能够使用多视点图像进行显示图像附近的操作的输入的执行；

视差检测部分，其检测配置多视点图像的每个图像的视差；以及

图像处理部分，其在至少能够使用输入部分进行对于显示图像的操作的情况下，使用二维图像显示所述显示图像附近的输入部分。

16.一种图像处理方法，包含：

获得对显示部分上显示的显示图像进行的操作的输入；

检测配置多视点图像的每个图像的视差；以及

在至少能够使用操作的输入进行对于显示图像的操作的情况下调节多视点图像的视差。

17.一种由计算机运行的程序，包含：

获得对显示部分上显示的显示图像进行的操作的输入；

检测配置多视点图像的每个图像的视差；以及

在至少能够使用操作的输入进行对于显示图像的操作的情况下调节多视点图像的视差。

Images