附图说明
图1是表示图像显示装置的构成的功能框图。
图2是表示显示三维图像时的处理流程的流程图。
图3A是表示在图像显示装置的显示面和立体显示的三维图像的感知面的关系中,图像显示装置是水平状态时的图。
图3B是表示在图像显示装置的显示面和立体显示的三维图像的感知面的关系中,使图像显示装置倾角角度α(=θ0)时的图。
图3C是表示在图像显示装置的显示面和立体显示的三维图像的感知面的关系中,使图像显示装置倾角角度α(>θ0)时的图。
图4A是表示将感知面的旋转中心作为用户侧的端部时的图。
图4B是表示将感知面的旋转中心作为和用户侧的端部相反侧的端部时的图。
图5A是表示在x方向上左手大拇指和右手大拇指位于同一位置时的旋转中心的位置的图。
图5B是表示左手大拇指和右手大拇指位于不同位置时的旋转中心的位置的图。
图6是在左手大拇指的位置和右手大拇指的位置不同时表示旋转中心的位置的图。
图7A是表示保持为水平状态的图像显示装置的图。
图7B是表示以x方向的轴为旋转中心倾斜的图像显示装置的图。
图8A是表示两手的大拇指进入到显示面时的大拇指的位置、及显示的三维图像的大小的图。
图8B是对应于进入到显示面的大拇指的位置而缩小了显示三维图像的区域时的图。
图9A是表示根据立体显示中的进深距离显示的物体的大小的变化的图。
图9B是表示实际移动物体时的物体大小的图。
图10是表示显示面中的三维图像的大小的图。
图11A是表示由键盘显示区域及文本输入区域构成图像显示装置的显示区域时的平面图。
图11B是表示在显示的各区域中显示的图像的显示面的状态的图。
图12A是在把持x方向的大致中央的情况下使立体显示中的感知面为弯曲面时的图。
图12B是在把持图像显示装置的4角中相对的2角的情况下使立体显示中的感知面为弯曲面时的图。
图12C是使感知面为向显示部的内侧弯曲的弯曲面时的图。
图13A是表示在图像显示装置的侧面设置点传感器的情况的图。
图13B是表示在图像显示装置的侧面设置感压传感器的情况的图。
图14A是表示图像显示装置中显示的操作按钮的配置的一例的平面图。
图14B是表示将图14A所示的各操作按钮立体显示时的各操作按钮的进深距离的图。
图15是使三维图像中含有的对象对应图像显示装置的倾斜而旋转时的图。
图16是表示接触面板的灵敏度和立体显示的三维图像的感知面的关系的图。
图17是表示设置了送风装置的图像显示装置的图。
图18是表示手指比感知面更靠近显示面的状态的图。
图19A是表示手指比感知面远离显示面的状态的图。
图19B是表示对应手指的移动改变感知面的位置的情况的图。
图20是表示具有可进行三维位置测量的摄像部的图像显示装置的构成的功能框图。
图21是表示可进行三维位置测量的摄像部和立体显示的三维图像的感知面的关系的图。
图22是表示除了倾斜传感器外还具有气压传感器的图像显示装置的构成的功能框图。
图23是表示具有双凸透镜的显示部和人物的位置的关系的图。
图24A是表示在图像显示装置中同时显示多个图像时,人物位于图像显示装置的正面时观察到的图像的图。
图24B是表示人物偏离图像显示装置的正面时观察到的图像的图。
图25A是表示改变显示的三维图像的视差量时,人物位于图像显示装置正面时观察到的图像的图。
图25B是表示人物偏离图像显示装置的正面时观察到的图像的图。
图26是表示使用了本发明的图像显示装置的摄像装置的电气构成的功能框图。
图27A是表示在摄像装置的显示面和感知面的关系中,摄像装置的显示面是与yz平面平行的面时的图。
图27B是表示在摄像装置的显示面和感知面的关系中,使摄像装置倾斜角度δ(=θ0)时的图。
图27C是表示在摄像装置的显示面和感知面的关系中,使摄像装置倾斜角度δ(>θ0)时的图。
图28A是表示在摄像装置的显示面和感知面的关系中,摄像装置的显示面是与yz平面平行的面时的图。
图28B是表示在摄像装置的显示面和感知面的关系中,使摄像装置向z方向移动时的图。
图28C是表示从图28B的状态进一步使摄像装置向z方向移动时的图。
具体实施方式
以下说明本发明的图像显示装置。此外,本实施方式中的图像显示装置10是用户可手持进行操作的图像显示装置。该图像显示装置10由可进行图像的平面显示、立体显示的图像显示装置10构成。以下将平面显示的图像称为二维图像、立体显示的图像称为三维图像来进行说明。此外,三维图像的立体显示利用了进行观察的用户的两眼视差。
如图1所示,图像显示装置10由控制器11、图像处理部12、显示控制部13、图像存储部14、显示部15、倾斜传感器16、接触面板17等构成。此外,控制器11、图像处理部12、显示控制部13、图像存储部14经由总线18连接。此外,图1所示的图像显示装置10是说明本实施方式的一例,例如也可是能够装卸存储卡、光盘、磁盘等的图像显示装置。
控制器11具有CPU、ROM及RAM。通过CPU执行ROM中存储的控制程序,控制器11控制图像显示装置10的各部件。向该控制器11中输入来自倾斜传感器16、接触面板17的信号。控制器11接受来自倾斜传感器16、接触面板17的信号,执行基于这些信号的控制。
图像处理部12根据图像存储部14中存储的二维图像生成三维图像。众所周知,三维图像中的立体显示,在拍摄左眼用的图像(以下称左眼用图像)、右眼用的图像(以下称右眼用图像)的位置与人的左眼及右眼的位置一致时,能以最佳状态进行观察。该图像处理部12使用图像显示装置10的倾角α、人的两眼视差量,分别生成以从图像存储部14读出的二维图像为基础的左眼用图像、右眼用图像。生成这些图像后,图像处理部12对左眼用图像及右眼用图像,各自执行消除透视的校正处理。该消除透视的校正处理是为了,在以和拍摄时相同的角度观察对倾斜拍摄的立体图像的背景的透视进行了校正的图像时,得到产生人的两眼视差以上的进深感的效果(虚幻图)。进行该处理后,图像处理部12合成这些图像。通过这些图像的合成,生成三维图像。
若显示由该图像处理部12生成的三维图像,则因上述虚幻图效果,而在感知立体显示的三维图像的面(以下称感知面)S相对处于水平状态的图像显示装置10的显示面10a以角度θ0倾斜的状态下被观察(参照图3A)。其中,水平状态是指,图像显示装置10的显示面10a成为与图3A中的xy平面平行的面的状态。上述角度θ0可以是由控制器11自动算出的值,也可是预先通过实验、统计等求出的值。
此外,由上述二维图像生成三维图像的方法、进行消除透视的校正的方法,已被JP特许第3579683号公报公开,因此在此省略其详细说明。
显示控制部13使用通过图像处理部12生成的三维图像、从图像存储部14读出的二维图像、三维图像,执行对显示部15的显示控制。
图像存储部14存储一个或多个二维图像、三维图像。该图像存储部14包括内置于图像显示装置10的硬盘、SRAM、DRAM等IC存储器。
显示部15除了显示图像存储部14中存储的二维图像、三维图像外,还显示通过图像处理部12生成的三维图像。此外,作为显示部15的显示方式,包括立体影片(Anaglyph)、偏光眼镜、液晶快门眼镜等眼镜方式、视差屏障方式、双凸透镜方式等裸眼式等,只要可进行三维图像的立体显示,可使用适当的方式。
倾斜传感器16例如使用陀螺仪传感器。该倾斜传感器16检测图像显示装置10是否倾斜。通过该倾斜传感器16的检测而输出的信号(以下称检测信号)被输入到控制器11。控制器11根据从倾斜传感器16输出的检测信号,算出图像显示装置10的倾角α。通过该控制器11算出的倾角α被输出到图像处理部12。
接触面板17配置在显示部15的上表面。作为该接触面板17可使用电阻膜方式、红外线方式、表面弹性波方式、静电电容方式等任意方式。此外,通过操作该接触面板17,将基于该操作的信号(以下称操作信号)输出到控制器11。控制器11执行基于从接触面板17输出的操作信号的控制。
接着参照图2的流程图说明使用上述图像显示装置10显示三维图像时的处理流程。
步骤S101是判断是否显示三维图像的处理。当用户操作接触面板17时,其操作信号从接触面板17输出到控制器11。控制器11接受从接触面板17输出的操作信号,执行基于该操作信号的控制。来自该接触面板17的操作信号如果是表示显示三维图像的信号,则控制器11对步骤S101的判断处理作出“是”。此时,前进到步骤S102。而当来自接触面板17的操作信号不是表示显示三维图像的信号时,控制器11对步骤S101的判断处理作出“否”。此时,控制器11执行基于从接触面板17输出的信号的处理。执行了这些处理后,结束图2的流程图的处理。此外,在图2的流程图中,省略了不显示三维图像时的处理。
步骤S102是算出图像显示装置的倾角α的处理。如上所述,该图像显示装置10是用户可手持操作的图像显示装置10。即,图像显示装置10在水平状态、或从该水平状态倾斜预定角度α的状态下使用。倾斜传感器16检测图像显示装置10是否倾斜,将其检测信号输出到控制器11。控制器11接受该检测信号,算出图像显示装置10的倾角α。
步骤S103是判断算出的倾角α是否超过阈值的处理。控制器11比较在步骤S102中算出的倾角α、及预先设定的阈值。例如算出的倾角α超过阈值时,控制器11对步骤S103的判断处理作出“是”,前进到步骤S104。而当算出的倾角为阈值以下时,控制器11对步骤S103的判断处理作出“否”,前进到步骤S105。
步骤S104是生成以阈值为倾角α的三维图像的处理。在步骤S103中,控制器11判断倾角α超过阈值。此时,控制器11将阈值设定为倾角α,并将设定的倾角α输出到图像处理部12。图像处理部12从图像存储部14读出二维图像。并且,图像处理部12使用读出的二维图像、倾角α及人的两眼视差量,生成三维图像。
另一方面,在步骤S103中,当判断算出的倾角α为阈值以下时,前进到步骤S105。
步骤S105是生成基于倾角α的三维图像的处理。控制器11将算出的倾角α输出到图像处理部12。图像处理部12从图像存储部14读出二维图像。并且,图像处理部12使用读出的二维图像、倾角α及人的两眼视差量,生成三维图像。
步骤S106是显示生成的三维图像的处理。通过执行上述步骤S104或步骤S105的处理,生成三维图像。通过图像处理部12生成的三维图像从图像处理部12输出到显示控制部13。显示控制部13通过将三维图像输出到显示部15,在显示部15中显示三维图像。
步骤S107是判断三维图像的显示是否结束的处理。当用户操作了接触面板17时,其操作信号从接触面板17输出到控制器11。控制器11在来自接触面板17的操作信号是表示结束三维图像的显示的信号时,对该步骤S107的判断作出“是”。在进行了该判断时,结束三维图像的显示。
另一方面,来自操作面板17的操作信号不是表示结束三维图像的显示的信号时,对步骤S107的判断作出“否”,前进到步骤S102。此时,再次重复步骤S102到步骤S107的处理,显示三维图像。此外,在显示该三维图像时,当图像显示装置10的倾角α变化时,生成和变化的倾角α对应的三维图像,并逐次显示。
例如如图3A所示,当图像显示装置10是水平状态时,立体显示的三维图像的感知面S成为相对于图像显示装置10的显示面10a以角度θ(=θ0)倾斜的状态。此外,在图3A~图3C中,表示了以通过显示面10a的x方向上的中点C的y方向的轴为旋转中心、向逆时针方向倾斜角度θ的情况。此时,感知面S被观察为:在显示面10a的x方向上从用户侧的端部到中点C的区域比显示面10a靠后方,并且从显示面10a的中心C到和用户侧相反侧的端部的区域比显示面10a靠前方。
图3B表示使处于水平状态的图像显示装置10以角度α(=θ0)倾斜的情况。如上所述,与图像显示装置10倾斜的角度α无关,立体显示的三维图像的感知面S,是和图像显示装置10为水平状态时立体显示的三维图像的感知面S相同的面。即,在图3B的状态下,感知面S和图像显示装置10的显示面10a是同一面。
图3C表示使处于水平状态的图像显示装置10以角度α(>θ0)倾斜的情况。此时,三维图像以如下方式生成:使立体显示中的感知面S成为图像显示装置10是水平状态时立体显示的三维图像的感知面S。此时,三维图像的感知面S成为相对于水平状态的图像显示装置10的显示面10a向逆时针方向倾斜了角度θ0的面。即,三维图像的感知面S被观察为:从显示面10a的x方向的中点C到用户侧的端部的区域比显示面10a靠前方,并且,从显示面10a的x方向的中点C到和用户侧相反的一侧的端部的区域比显示面10a靠后方。
从而生成为,使图像显示装置10倾斜时立体显示的三维图像的感知面S成为图像显示装置10处于水平状态时立体显示的三维图像的感知面S。即,通过使图像显示装置10倾斜,三维图像中的立体显示的进深距离变更。这样一来,通过图像显示装置10观察图像时,即使错误地使图像显示装置10倾斜,也可在最佳状态下观察三维图像的立体显示。并且,根据图像显示装置10的倾角α生成显示的三维图像,所以无需根据进行观察的人物的位置新设置使显示部倾斜等的机构,可通过普通的图像显示装置的结构进行对应。
在本实施方式中,使立体显示的三维图像的感知面S为以通过显示面10a的x方向的中点C的y方向的轴为旋转中心向逆时针方向倾斜了角度θ0的面,但不限于此,例如也可如图4A所示,使以通过显示面10a中的x方向的两端部中用户侧的端部E1的y方向的轴为旋转中心、向逆时针方向倾斜角度θ0的面为感知面S。并且,也可如图4B所示,使以通过显示面10a中的x方向的两端部中和用户侧的端部E1相反侧的端部E2的y方向的轴为旋转中心、向逆时针方向倾斜角度θ0的面为感知面S。进一步,也可使以通过显示面10a中的x方向的任意位置的y方向的轴为旋转中心、向逆时针方向倾斜角度θ0的面为感知面S。
其中,将以通过显示面10a中的x方向的任意位置的y方向的轴为旋转中心、向逆时针方向倾斜角度θ0的面作为感知面S时,也可根据用户手指的位置决定旋转中心的位置。用户通过分别把持图像显示装置10的y方向的两端部,保持图像显示装置10。此时,存在用户的左手或右手的任意一方的手指进入显示面10a的情况。这种情况下,接触面板17检测进入到显示面10a的左手L1或右手R1的手指的位置。根据由该接触面板17检测出的左手L1或右手R1的手指的位置,决定旋转中心。具体而言,根据从接触面板17输出的检测信号,计算表示检测位置的位置信息,因此控制器11使用该位置信息,判断左手L1的手指位置和右手R1的手指位置在x方向上是否是同一位置。
如图5A所示,当x方向上的左手L1的大拇指的位置和右手R1的大拇指的位置大致位于同一位置时,将连接检测出的左手L1的大拇指的位置及右手R1的大拇指的位置的直线,设定为旋转中心的轴AX。
并且如图5B所示,x方向上的左手L1的大拇指的位置和右手R1的大拇指的位置是不同位置时,控制器11判断左手L1的手指的位置和右手R1的手指的位置在x方向上不是同一位置。此时,控制器11求出x方向上的左手L1的大拇指的位置(虚线x1所示的坐标)和右手R1的大拇指的位置(虚线x2所示的坐标)的中点的坐标。并且,控制器11将通过该中点的直线设定为旋转中心的轴AX。
此外,感知面S是以y方向的轴为旋转中心并向图3中的逆时针方向倾斜的面时,也可将远离人身体的手指的位置设定为旋转中心的轴AX。其中,在图6中,右手R1的大拇指的位置较远,因此将x方向上的右手R1的大拇指的位置设定为旋转中心的轴AX。并且,感知面S是以y方向的轴为旋转中心并向图3中顺时针方向倾斜的面时,可将处于人身体可感知的位置的手指位置,设定为旋转中心的轴AX。
此外,单手握住图像显示装置10时,通过接触面板17检测握住图像显示装置10的手的大拇指的位置,控制器11根据检测出的大拇指的位置设定作为旋转中心的轴AX即可。
在本实施方式中,使立体显示的三维图像的感知面S为以y方向的轴为旋转中心倾斜的面,但并非必须使感知面S为以y方向的轴为旋转中心倾斜的面,也可以是以x方向的轴为旋转中心倾斜的面,或分别以x方向的轴及y方向的轴为旋转中心倾斜的面。
以下说明使处于水平状态的图像显示装置10向y方向倾斜角度β的情况。如图7A所示,以将图像显示装置10保持为水平状态时立体显示的三维图像的感知面S为基准。在图7A中,表示水平状态的图像显示装置10的显示面10a和三维图像的感知面S为同一平面的情况。从该状态开始,如图7B所示,用户使图像显示装置以x方向的轴为旋转中心向逆时针方向倾斜角度β。图像显示装置10的控制器11根据由倾斜传感器16检测出的检测信号,算出图像显示装置10的倾角β。图像处理部12除了算出的倾角β外,使用读出的二维图像及人的视差量,生成三维图像。显示控制部13将生成的三维图像显示到显示部15中。由此执行三维图像的立体显示。该立体显示中的三维图像的感知面S,和将图像显示装置10保持为水平状态时立体显示的三维图像的感知面S是同一面。
这种情况下,使图像显示装置10以x方向的轴为旋转中心向逆时针方向倾斜角度β,但在使图像显示装置10以x方向的轴为旋转中心向顺时针方向倾斜角度β时,也进行同样的处理。
在图7A及图7B中,表示水平状态的图像显示装置10的显示面10a和三维图像的感知面S为同一平面的情况,但不限于此,如图3所示,也可是三维图像的感知面S相对水平状态的图像显示装置10的显示面10a以y方向的轴为旋转中心向逆时针方向倾斜的情况。并且,三维图像的感知面S是水平面(xy平面),但不限于此,也可使三维图像的感知面S以x方向的轴为旋转中心倾斜。
在本实施方式中,当图像显示装置10的倾角α超过阈值时,在将阈值设定为倾角α的基础上,生成考虑了设定的倾角α的三维图像,但不限于此,当图像显示装置10的倾角α超过阈值时,也可不进行三维图像的生成。此时,可仅生成左眼用图像及右眼用图像,并交替显示生成的左眼用图像及右眼用图像,也可显示从图像存储部14读出的二维图像。这种情况下,二维图像是平面视图,因此感知图像的感知面S和显示面10a是同一平面。
除此以外,也可不进行图像显示装置10的倾角α和阈值的比较,生成考虑了倾角α的三维图像,显示该生成的三维图像。例如,当图像显示装置10的倾角α超过阈值时,用户无法观察三维图像的立体显示,三维图像为平面视图。即,感知三维图像的面变为图像显示装置10的显示面10a。
在本实施方式中,考虑图像显示装置10的倾角α而生成三维图像,使用户在最佳状态下观察三维图像的立体显示,但不仅要考虑图像显示装置10的倾角α,还要考虑进行观察的用户的两眼视差量(视角角度)。考虑两眼视差量时,不仅判断图像显示装置10的倾角α是否超过阈值,而且判断进行观察的用户的两眼的视角角度是否脱离融像界限的范围。此外,融像界限相对于可最佳地观察立体显示的视角角度为视角角度1度的范围。
例如,图像显示装置10的倾角α为阈值以下时,算出使图像显示装置10倾斜时的视角角度,判断算出的视角角度是否包含于融像界限的范围。通过该判断,当包含于融像界限范围时,根据进行观察的用户的两眼视差量(视角角度)、图像显示装置10的倾角α,由二维图像生成三维图像。另一方面,当脱离融像界限的范围时,例如根据进行观察的用户的两眼视差量的融像界限(上限值或下限值的任意一个值)、图像显示装置10的倾角α,由二维图像生成三维图像。
并且,当图像显示装置10的倾角α超过阈值时,也同样判断进行观察的用户的两眼视差量即视角角度是否包含于融像界限的范围内,根据该判断结果,生成三维图像即可。
此外,进行观察的用户的双眼视差量脱离融像界限的范围时,也可生成基于双眼视差量及图像显示装置10的倾角α的三维图像,并直接将生成的三维图像显示到显示部。这种情况下,无法观察三维图像的立体显示,三维图像成为平面视图。即,立体显示的三维图像的感知面S成为图像显示装置10的显示面10a。并且,这种情况下,也可不进行三维图像的生成而显示原来的二维图像,也可根据融像界限的双眼视差量、图像显示装置10的倾角α生成左眼用图像及右眼用图像,交替显示这些图像。
在本实施方式中,对于图像显示装置10中的三维图像的显示区域不作详述,但也可使用显示部15的全部显示区域显示三维图像,也可使用显示部15的显示区域的一部分显示三维图像。
例如,使用显示部15的全部显示区域显示三维图像时,存在用户把持图像显示装置10时手指碰触到接触面板17的情况。这种情况下,因和接触面板17碰触的手指,对图像显示装置10的显示部15显示的三维图像的感知面S造成影响,对立体显示造成不适感。
如图8A所示,图像显示装置10的显示部15的标记所示的区域25,是表示三维图像的区域。使用该全部区域显示三维图像时,当人的手指碰触时,通过接触面板17检测到手指接触的位置。此外在图8A中,表示左手L2的大拇指及右手R2的大拇指两者由接触面板17检测到的情况。接受到这一情况,控制器11指示通知图像处理部12对显示部15所显示的作为三维图像源的数据进行缩小处理。图像处理部12对作为三维图像源的数据执行缩小处理。其中,数据的缩小处理中的缩小率是能够在人的手指不碰触接触面板17的范围内显示三维图像的比例。并且,图像处理部12在缩小处理时,使三维图像的纵横比固定而进行缩小处理。显示控制部13使用缩小处理的数据,在显示部15中显示三维图像。此外,图8B所示的区域26是显示进行了缩小处理的三维图像的区域。这样一来,可防止以下情况:因与接触面板17碰触的手指对图像显示装置10的显示部15中显示的三维图像的感知面S造成影响,对立体显示造成不适感。
而在图像显示装置10中显示三维图像时,立体显示中的物体的大小通过图像显示装置10的显示部15中显示的三维图像的大小固定。如图9A所示,比较物体O显示到显示面10a的情况及物体O显示到显示面10a的前方(面前侧)的情况(标记O’的位置的情况),物体O在显示到显示面10a的面前侧时被较小地观察。并且,比较物体O显示到显示面10a的情况及物体O显示到显示面10a的后方(内侧)的情况(标记O”的位置的情况),物体O在显示到显示面10a的内侧时被较大地观察。另一方面,如图9B所示,在实际的空间中,使位于预定位置的物体O靠近到图9B中虚线位置时,物体被较大地识别。并且,将处于预定位置的物体O远离到图9B中的双点划线的位置时,物体O被较小地识别。
即,图像显示装置10中的立体显示下的物体的大小变化,与实际观察物体时的大小变化不同,因此立体显示易变得不自然。为消除这种不自然,如图10所示,例如当感知面S和显示面10a相比位于内侧时,缩短(缩小)感知面S的宽度,当感知面S和显示面10a相比位于面前侧时,加长(扩大)感知面S的宽度。即,对应进深信息调整立体显示中的感知面S的宽度。这种情况下,例如缩小感知面S时,立体显示中的分辨率也下降,因此对应显示的三维图像的种类,变更立体显示的三维图像的缩尺、立体显示时生成的感知面的倾斜角度、作为生成该感知面时的旋转中心的轴的位置等即可。
例如,因文字需要分辨率,所以立体显示文字时,将对文字的缩小率设定得比其他物体小。并且,立体显示图像的幻灯片时,无需幻灯片本身的详细的表现,因此将立体显示中的感知面的倾斜角度设定为,即使感知面相比于图像显示装置的显示面向内倾斜时也可适当地显示的角度。
以下说明使用显示部15的显示区域的一部分显示三维图像的情况。如图11A所示,在图像显示装置10的显示区域31中设置:显示进行文字输入的键盘(软键盘)的区域(以下称键盘显示区域)32;显示输入的文字的区域(以下称文字输入区域)33。这种情况下,将显示到键盘显示区域32的软键盘的图像(以下称键盘图像)作为二维图像。作为显示到文本输入区域33的图像(以下称文本输入图像),图像处理部12生成三维图像。键盘图像及文本图像由图像处理部12合成,并输出到显示控制部13。通过显示控制部13向显示部15输出合成的图像,从而使合成的图像、即键盘图像和文本输入图像显示到显示部15中。
在显示部15中显示了生成的图像时,因键盘图像是二维图像,所以用户观察平面显示的键盘图像。另一方面,因文本输入图像是三维图像,所以用户观察立体显示的文本输入图像。
如图11B所示,例如,文本输入图像如下生成:使其感知面S成为例如相对水平状态的图像显示装置10的显示面10a以角度θ(=θ0)倾斜的状态。这样一来,用户在图像显示装置10的显示区域31中,能以最佳状态观察文本输入区域31上显示的三维图像的立体显示。此外,说明了设有键盘显示区域32、文本输入区域33的情况,但不限于此,只要是同时显示二维图像和三维图像的情况,就可进行该处理。
其中,使用显示部15中的整个显示区域显示三维图像时,多有在显示部15的外周边缘处立体显示的效果变薄的情况。并且,存在用户把持图像显示装置10时手指接触显示部15从而使立体显示效果变薄的情况。因此使用显示部15的整个显示区域进行立体显示时,可设定立体显示中的感知面S,以使显示区域的外周边缘部中的进深信息(进深距离)变为0。这种情况下,作为感知面S,优选为由截面为圆弧状或椭圆弧状构成的弯曲面、截面为梯形、三角形构成的屈曲面中的任意一种形状。以下说明感知面S由圆弧状的弯曲面构成的情况。
其中,因在图像显示装置10中具有接触面板17,所以通过接触面板17检测用户手指时,设通过接触面板17检测出的区域中的进深距离为0,调整其他区域中的进深距离。例如,立体显示中的感知面S为弯曲面时,提高用户手指未接触到的区域中的感知面S的曲率。这种情况下,根据通过接触面板17检测出的用户的左手手指及右手手指的位置,设定使感知面S为弯曲面时的轴方向。图像处理部12根据二维图像、人的视差量及弯曲面的轴方向、及显示部的大小等,生成立体显示中的感知面为弯曲面的三维图像。
如图12A所示,用户的左手L3的大拇指及右手R3的大拇指在接触面板17的长度方向(x方向)的中央部分被检测出时,图像处理部12以如下方式生成三维图像:将y方向的两端部的进深距离设定为0,在其他区域中强调进深距离。这样一来,三维图像的立体显示中的感知面S作为以y方向为轴方向、向显示面10a的面前侧(前表面侧)突出的弯曲面被观察。此外,用户的左手L3的大拇指、及右手R3的大拇指在接触面板17的宽度方向(y方向)的中央部分被检测出时,以如下方式生成三维图像:将x方向的两端部的进深距离设定为0,在其他区域中强调进深距离。这种情况下,虽省略了图示,但三维图像的立体显示中的感知面S作为以x方向为轴方向、向显示面10a的面前侧(前表面侧)突出的弯曲面被观察。
并且如图12B所示,用户的左手L3的大拇指及右手R3的大拇指在接触面板17的四角中的相对的2角位置被检测出时,图像处理部12以如下方式生成三维图像:将由接触面板17检测出的2角的进深距离设定为0,在其他区域中强调进深距离。这样一来,三维图像的立体显示中的感知面S作为以连接接触面板17中未检测出的2角的直线为轴方向、向显示面10a的面前侧(前表面侧)突出的弯曲面被观察。
并且,这些情况下,感知面S是向显示面10a的面前侧(前表面侧)突出的弯曲面,但不限于此,如图12C所示,感知面S也可是进入到显示面10a的内侧(背面侧)的弯曲面。
其中,也存在保持图像显示装置10的用户的手指移动的情况。因此,从接触面板17的周边开始到用户手指接触的位置为止的距离变化时,可改变立体显示中的感知面S即弯曲面的曲率。
此外,在图像显示装置10中,存在不具有接触面板17的情况。如图13A所示,在不具有该接触面板17的图像显示装置10中,使感知面S为弯曲面进行观察时,例如在图像显示装置10的侧面隔预定间隔配置多个点传感器34,通过该点传感器34检测把持图像显示装置10的手。其中,点传感器34优选相对图像显示装置10的各侧面,分别设置在左侧端部、中央部、右侧端部3处。
这种情况下,通过点传感器34检测到用户的手时,以如下方式生成三维图像:图像显示装置10的显示面10a中,将对由点传感器34检测的位置设定的对预定区域的进深距离设定为0,强调对其他区域的进深距离。因此,显示生成的三维图像时,也和使用接触面板17时一样,可使用户将立体显示中的感知面S观察为弯曲面。
并且如图13B所示,也可替代在图像显示装置10的侧面设置点传感器34,而设置感压传感器35。
在本实施方式中,说明了立体显示三维图像整体的情况,但不限于此,也可仅立体显示图像中含有的对象。如图14A所示,例如分别对图像显示装置10上显示的多个操作按钮36、37、38生成三维图像,并显示这些三维图像。此时,如图14B所示,各操作按钮36、37、38的三维图像,只要是分别调整各操作按钮36、37、38的高度(进深距离)的图像,以使通过各操作按钮36、37、38的上表面的中心的平面P和图像显示装置10的显示面10a所成的角度θ为用户可最优观察立体显示的角度即可。并且这种情况下,当图像显示装置10倾斜时,考虑到其倾角,需要生成对各操作按钮的三维图像。
在本实施方式中,生成由二维图像生成的三维图像,在图像显示装置10中显示该三维图像,但不限于此,图像存储部14中存储的图像是三维图像时,也可适用本实施方式。这种情况下,将双眼视差等信息附带到三维图像,使用进行观察的用户的双眼视差量、图像显示装置10的倾角α,校正显示的三维图像即可。
并且,在显示图像存储部14中存储的三维图像时,可根据图像显示装置10的倾角使该三维图像中含有的对象倾斜。如图15所示,在水平状态的图像显示装置10上显示三维图像时,三维图像中含有的对象40由用户立体显示地观察。此时,感知面S是相对图像显示装置10的显示面10a倾斜角度θ的状态。例如考虑使图像显示装置10从图15中实线所示的位置开始到图15中单点划线所示的位置(标记10’的位置)为止倾斜角度γ的情况。此时,立体显示中观察到的对象40如下显示:以通过对象40的中心D的y方向的轴为旋转中心,从实线所示的位置开始到虚线所示的位置(标记40’的位置)为止以角度γ向逆时针方向倾斜。
这种情况下,使三维图像中含有的对象40以和图像显示装置10的倾角γ相同的角度倾斜(旋转),除此之外,也可进行例如将因倾斜图像显示装置10而产生的用户的两眼视差量的变化附加到生成三维图像时使用的双眼视差量的处理,从而校正三维图像。
此外,当图像显示装置10倾斜时,对显示的三维图像中含有的对象,在其立体显示中对应图像显示装置10的倾角γ使之倾斜,但不限于此,例如也可在使图像显示装置10倾斜时,改变对三维图像中含有的对象以外的区域的进深距离。
在本实施方式中,对于接触面板17虽未具体涉及,但例如使用静电电容方式、电磁感应方式的接触面板时,也可根据感知面和图像显示装置的显示面所成的角度,改变接触面板中的检测灵敏度。以下对和本实施方式相同的部位附加相同的标记进行说明。
如图16所示,在水平状态的图像显示装置10中,立体显示的三维图像的感知面S在相对图像显示装置10的显示面10a以角度θ倾斜的状态下被观察。对应这样观察的感知面S,设定接触面板17的检测灵敏度。这样一来,如果用户将手指伸到感知面S,则即使不碰撞接触面板17也检测到进行了输入操作,因此可不碰触接触面板17地执行输入操作。此外,当图像显示装置10倾斜时,对应其倾角生成三维图像,因此与此对应调整接触面板17的检测灵敏度即可。
通过这样设定接触面板17的检测灵敏度,用户只要将手指伸到立体显示中的感知面S,则不接触碰触接触面板17就可进行输入操作。但这种输入操作存在以下缺点:对用户而言没有输入操作的感觉,相反会使输入操作不易进行。因此,当用户进行输入操作时,可向用户提供这种感觉。
如图17所示,在接触面板17上二维状地设置多个孔41,在图像显示装置10的内部,从这些孔41设置送风装置42。此外,送风装置42可对应接触面板17上设置的各个孔41设置,也可对应多个孔中的部分孔设置,只要是可从各个孔41吹风的构成,则不必设置和多个孔50的个数对应的个数。
如上所述,在图像显示装置10中显示三维图像时,用户在相对图像显示装置10的显示面10a倾斜角度θ的感知面S中观察立体显示。在进行该立体显示时,用户将手指伸到感知面S时,通过接触面板17检测手指。通过该接触面板17检测到手指时,控制器11求出基于接触面板17的检测信号的位置坐标。控制器11驱动和求出的位置坐标对应的送风装置42。这样一来,经由位于检测出手指的位置上的孔41而吹出风。其中,从孔41吹出的风的强度可对应显示面10a到手指的距离而变化,也可是恒定的强度。
此外,上述送风装置42存在因图像显示装置10的内部构造而难以配置的情况,因此也可设置送风装置以便从显示面10a的外周部分吹出风。这种情况下,根据由接触面板17检测出的手指的位置、高度,调整吹出的风的方向,使风向手指吹。这样一来,可使用户产生输入操作的操作感,降低输入操作时的不适感。
并且这种情况下,通过吹出的风使用户感到输入操作的操作感,但不限于此,也可设置喷出水滴的装置,通过向手指喷出水滴,使用户产生输入操作的操作感。
并且,也可利用磁力产生输入操作时的操作感。例如在图像显示装置10的显示面10a附近设置线圈等产生磁力的磁力发生单元。当用户操作图像显示装置10时,使用指尖具有磁体的手套进行操作。这种情况下,当用户将手指靠近图像显示装置10时,通过接触面板17检测到手指。接触面板17检测到手指时,磁力发生单元产生磁力,以对磁体产生斥力。这样一来,斥力施加到用户的手指,可使用户感到输入操作时的操作感。
对这种立体显示中的感知面S进行输入操作时,存在用户手指比感知面S更靠近显示面10a的情况。
如图18所示,用户的手指F比立体显示中的感知面S的位置更靠近图像显示装置10时,在立体显示中出现以下三个区域:被手指F遮挡无法观察的区域(图中的区域a1);仅单眼有视差地观察的区域(图中的区域a2、a3);在感知面S中被观察的区域(图中区域a4、a5)。这样一来,因产生被手指遮挡而无法观察的区域,从而破坏三维图像的立体显示中的物体的立体感。
因此,通过图像显示装置10上设置的接触面板17检测用户的手指F,从而求出显示面10a中的手指F的位置坐标及显示面10a到手指F为止的距离,当手指F比感知面S更靠近显示面10a时,变更三维图像中的进深距离,以使感知面S比手指F更靠近显示面10a。此外,该进深距离的变更可仅对手指F的位置上对应的物体进行,也可对整个图像进行。此时,作为接触面板17使用静电电容式的接触面板。
以下说明从图像显示装置10的显示面10a到立体显示中的显示面S为止的距离为D1时的情况。如上所述,用户向图像显示装置10的显示面10a伸出手指F时,由接触面板17检测出。控制器11接受来自接触面板17的检测信号,算出显示面10a上的位置(坐标)、及显示面10a到手指F为止的距离D。
并且,控制器11比较算出的距离D、及从图像显示装置10的显示面10a到立体显示中的显示面S为止的距离D1。例如,算出的距离D是从图像显示装置10的显示面10a到立体显示中的显示面S为止的距离D1以上(D≥D1)时,控制器11判断为不变更通过图像处理部12生成的三维图像的进深距离。此时,从图像显示装置10的显示面10a到立体显示中的显示面S为止的距离D1原样保持。
另一方面,算出的距离D小于从图像显示装置10的显示面10a到立体显示中的显示面S为止的距离D1(D<D1)时,控制器11判断为变更通过图像处理部12生成的三维图像的进深。此时,控制器11向图像处理部12输出生成三维图像的信号、及算出的距离D的信息。图像处理部12收到后,使用输入的距离D的信息,生成新的三维图像,并输出到显示控制部13。显示控制部13将生成的三维图像显示到显示部15。
如图19A所示,例如用户手指F位于距显示面的距离为D(D>D1)的位置时,图像显示装置10中显示的三维图像通过感知面S被观察。并且,用户将手指F靠近显示面S,直到显示面10a到用户手指F的距离D与显示面10a到立体显示中的感知面S的距离D1相等为止(图19B的实线的位置),图像显示装置10中显示的三维图像在感知面S中显示。如图19B所示,用户将手指F向显示面10a移动时,随着手指F的移动,感知面S也向显示面10a移动。即,在显示面10a到立体显示中的感知面S的距离D1之间使手指F移动时,对应显示面10a到手指F为止的距离D,显示面10a到立体显示中的感知面S为止的距离也变化。
此外,手指F接触到图像显示装置10的显示面10a时,手指F的移动停止。此时,三维图像中的立体显示的感知面S与显示面10a一致。手指接触到图像显示装置10的显示面10a时,作为在显示部15中显示的图像,可显示三维图像,也可是作为三维图像源的二维图像。
因此,根据移动的手指F到显示面10a为止的距离来变更感知面S的进深距离,从而不会存在移动的手指F比感知面S更靠近显示面10a的状态,因此可防止破坏三维图像的立体显示中的立体感。
在本实施方式中,通过生成和图像显示装置10的倾角α对应的三维图像,用户能以最佳状态观察三维图像的立体显示,但除了图像显示装置的倾角外,也可根据使用图像显示装置的用户的状态,生成三维图像。如图20及图21所示,在图像显示装置45上设置摄像部46。作为该摄像部46,例如由CCD图像传感器、CMOS图像传感器等摄像元件及广角用的镜头构成。此外,图20表示具有摄像部46的图像显示装置45的电气构成,对具有和本实施方式相同功能的部件,附加和本实施方式一样的标记来记述。
例如,通过图像显示装置45进行图像显示时,通过摄像部46取得图像。取得的图像被输入到控制器47。控制器47例如使用被摄体提取处理等方法,提取出取得的图像中含有的人物。例如提取了人物后,控制器47算出提取的人物的位置、图像显示装置45到人物的距离、图像中的人物的位置。并且,向控制器47输入来自倾斜传感器16的信号,因此控制器47算出图像显示装置45的倾角α。控制器47将算出的到人物的距离、人物的位置、倾角α输出到图像处理部48。并且,控制器47根据这些值,求出能以最佳状态观察立体显示的角度(图像显示装置45的显示面45a和感知面S所成的角度)θ。
控制器47将算出的角度θ输出到图像处理部48。此时,当图像显示装置45倾斜时,其倾角也输出到图像处理部48。图像处理部48使用这些值,根据从图像存储部14读出的二维图像生成三维图像。通过显示部15显示该生成的三维图像,从而用户能以最佳状态观察三维图像的立体显示。
此外,摄像部46中的摄像隔预定时间连续进行。例如,从摄像部46连续获得的图像中不能提取出人物的情况连续出现多次时(换言之,预定时间下检测不到人物时),控制器47判断未使用图像显示装置45。此时,控制器47停止显示部15的图像显示,转换到节电模式。
此外,具有上述摄像部46的图像显示装置45具有测量三维位置的功能时,接触面板17等操作输入部不再必要。因此,作为摄像部46,包括单镜头式、双镜头式、距离图像传感器等具有适当构成的摄像部。
例如,通过显示部15显示操作面板的三维图像时,使用户通过立体显示来观察操作面板(在图21中,在感知面S上观察操作面板)。此外,立体显示的操作面板的位置(x、y、z坐标中的坐标值),通过使用感知面S和图像显示装置45的显示面45a所成的角度θ等,由控制器47算出。并且,控制器47根据从摄像部46隔预定时间输出的图像,算出使用图像显示装置45的人物的脸部位置、手的位置(三维坐标值)。并且,控制器47判断算出的手的位置(三维坐标值)与立体显示的操作面板的位置(三维坐标值)是否一致。例如当判断为人物的手的位置和操作面板的位置一致时,控制器47判断操作了操作面板,执行基于该操作的处理。而当这些位置不一致时,控制器47判断未操作操作面板。
此外,立体显示的三维图像的感知面S不限于被观察为比图像显示装置45的显示面45a更靠前方。如图21所示,例如立体显示的三维图像的感知面S的一部分被观察为和图像显示装置45的显示面45a相比位于前方侧时,由摄像部46执行以其范围为摄影范围A的摄像即可。
并且,也可替代在图像显示装置45上设置摄像部46,而设置对使用图像显示装置45的人物产生接触、或被人物握住的情况进行检测的接触传感器、感压传感器等。这种情况下,在人物接触图像显示装置的位置上配置多个。根据从这些传感器输出的信号,推测图像显示装置的使用状态,并根据推测的图像显示装置的使用状态生成显示的三维图像。此时,不从上述传感器的任意一个输出信号的情况下,停止图像显示装置中的图像显示,转换到所谓节电模式。并且,可将上述摄像部、及接触传感器或感压传感器两者都设置在图像显示装置上。
在本实施方式中,即使在图像显示装置的倾角变化时,也使立体显示的三维图像的感知面S总是一定的面(固定)地生成三维图像。因此,当图像显示装置倾斜时,图像显示装置的显示面和感知面S所成的角度θ、换言之立体显示中的进深距离变化。因存在用户不希望出现这种立体显示中的进深距离变化的情况,因此也可固定该立体显示中的进深距离、即固定图像显示装置的显示面和感知面S所成的角度θ。这种情况下,由用户选择是否固定立体显示中的进深距离(换言之,是否固定图像显示装置的显示面和感知面S所成的角度θ)即可。
并且在本实施方式中,处于水平状态的图像显示装置的显示面和感知面S所成的角度θ,为预先通过实验、统计等获得的值,但该角度θ也可通过用户的输入操作来调整。此外,作为用户进行的输入操作,包括接触面板、操作按钮、Jog-Dial等进行的操作。通过该用户的输入操作调整了角度θ时,存储角度θ。并且,在之后的处理中,使用该角度θ生成三维图像即可,因此能以用户喜欢的倾斜角度观察三维图像的立体显示。
在本实施方式中,根据图像显示装置的倾角来变更立体显示中的进深距离,但除了图像显示装置的倾角外,也可考虑铅直方向上的图像显示装置的位置,来变更立体显示中的进深距离。此外,铅直方向例如是指z方向。
图22表示作为检测铅直方向下的图像显示装置的位置的单元而具有气压传感器的图像显示装置50的构成。以下对和本实施方式相同的部件附加同样的标记进行说明。此外,只要可检测出铅直方向上的图像显示装置50的位置,则不必限定为气压传感器。这种情况下,通过倾斜传感器16检测图像显示装置50的倾角。并且,通过气压传感器50检测铅直方向上的图像显示装置50的位置。检测信号从这些传感器分别输出到控制器52。
控制器52根据这些检测信号算出图像显示装置50的倾角及z方向上的图像显示装置50的位置。并且,将算出的值输出到图像处理部53。图像处理部53使用图像显示装置50的倾角、铅直方向上的图像显示装置50的位置、人的两眼视差量,根据从图像存储部14读出的二维图像生成三维图像。该生成的三维图像被输出到显示控制部13。这样一来,考虑到图像显示装置50的倾斜及铅直方向上的图像显示装置50的位置而生成的三维图像,显示到显示部15。此外,该三维图像的立体显示,根据图像显示装置50的倾角及铅直方向上的图像显示装置50的位置,其进深距离发生变化,因此用户能以最佳状态观察三维图像的立体显示。
此外,考虑图像显示装置50的倾角及图像显示装置50的位置来生成三维图像,但不限于此,也可生成仅考虑到图像显示装置50的位置的三维图像。
在本实施方式中,以使图像显示装置中的立体显示的感知面S在图像显示装置倾角变化时也一定的方式,调整图像显示装置中显示的三维图像中的视差量,但不限于此,也可根据用户观察图像显示装置的位置而改变视差。
例如说明以下情况:在图像显示装置的正面能够看到目的图像,在偏离图像显示装置正面的位置上不显示目的图像而显示其他图像。此外,对图像显示装置以标记55进行说明,对和本实施方式相同的实施方式的部件采用相同的标记进行说明。在此说明作为图像显示装置55的显示方式使用了双凸方式的情况。并且,作为图像显示装置55的显示方式,也可使用视差屏障方式。
如图23所示,在显示部15上,在横向以一定间距设置多个双凸透镜56。分割显示部15的显示区域,以对一个双凸透镜56对应6个显示区域15a~15f。这些显示区域中,将显示区域15a、15c、15e作为左眼用显示区域,将显示区域15b、15d、15f作为右眼用显示区域。其中,显示区域15a、15b是显示图像A的一部分的区域,显示区域15c、15d是显示图像B的一部分的区域,显示区域15e、15f是显示图像C的一部分的区域。此外,与一个双凸透镜对应的显示区域的个数不限为以上,可适当设定。
这种构成的显示部15中,显示区域15a中显示的图像A的左眼用图像被双凸透镜56折射,由位于图中左侧的人物H1的左眼LH1观察。并且,显示区域15b中显示的图像A的右眼用图像被双凸透镜56折射,由位于图中左侧的人物H1的右眼RH1观察。
并且,显示区域15c中显示的图像B的左眼用图像被双凸透镜56折射,由位于正面的人物H2的左眼LH2观察。并且,显示区域15d中显示的图像B的右眼用图像被双凸透镜56折射,由位于正面的人物H2的右眼RH2观察。
进一步,显示区域15e中显示的图像C的左眼用图像被双凸透镜56折射,由从正面位于图中右侧的人物H3的左眼LH3观察。并且,显示区域15f中显示的图像C的右眼用图像被双凸透镜56折射,由从正面位于图中右侧的人物H3的右眼RH3观察。
在图像显示装置55的显示部15中,作为图像A及图像C显示雪花噪声图像、作为图像B显示布偶的图像时,根据人物位置的不同,可观察的图像变化。如图24A所示,位于正面的人物H2可观察作为图像A的、布偶的图像的立体显示。另一方面,如图24B所示,从正面开始位于左侧或右侧的人物H1、H3无法观察布偶的图像的立体显示,而观察雪花噪声图像。因此,可防止用户以外的人物看到用户想观察的图像。此外,作为图像A及图像C显示的图像除了雪花噪声图像外,还包括蓝色图像、黑色图像、用于警告偷窥的警告图像等适当的图像。
并且,除此以外还包括以下方法。例如在图像显示装置55上设置摄像部57,根据来自该摄像部57的图像信号,确定观察图像显示装置的人物的位置。根据从摄像部57输出的图像信号判断人物H4位于图像显示装置55的正面时,图像显示装置55使用可进行立体视的视差量,生成三维图像并显示。此时,如图25A所示,人物H4可观察例如布偶的图像等三维图像的立体显示。
另一方面,当人物位于偏离图像显示装置55的正面的位置时,图像显示装置55判断不是可立体视的视差量,而判断观察者偏离图像显示装置的正面多少,并生成三维图像,使其成为基于该判断结果的视差量。如图25B所示,人物H4位于从正面位置(虚线所示位置)偏离角度Φ的位置(实线所示的位置)时,显示布偶的图像,此时,在布偶的图像中视差不一致,换言之,布偶的图像看上去模糊。这种情况下,如下生成三维图像即可:使得距图像显示装置55的正面的偏离量越大,视差越大。这样一来,可防止用户以外的人物看到用户想观察的图像。
此外,通过显示三维图像进行立体显示,但不限于此,也可显示二维图像。
在本实施方式中,列举了图像显示装置的例子,但不限于此,也可应用于具有上述图像显示装置的摄像装置、移动电话等移动型信息通信设备、移动型游戏设备等。以下以具有本发明的图像显示装置构造的摄像装置为例进行说明。
如图26所示,摄像装置60由摄像光学系统61、摄像元件62、透镜驱动机构63、驱动器64、A/D变换部65、缓冲存储器66、图像处理电路67、显示控制电路68、显示装置69、连接I/F70、CPU71、内置存储器72、释放按钮73、操作部74、倾斜传感器75、气压传感器76等构成。此外,A/D变换部65、缓冲存储器66、图像处理电路67、显示控制电路68、连接I/F70、CPU71、内置存储器72经由总线77电连接。
摄像装置60可经由连接I/F70安装存储介质78。作为该存储介质78,例如除了存储卡、小型硬盘、DVD等光盘等外,例如也可是外置用硬盘驱动器等设置在摄像装置60外部的部件。
摄像光学系统61由多个透镜构成,在摄像元件62的摄像面上成像被摄体像。该摄像光学系统61包括未图示的聚焦透镜和变焦透镜。聚焦透镜由透镜驱动机构63向光轴(L)方向进退驱动,从而进行摄像光学系统61中的焦点调节。并且,变焦透镜也由透镜驱动机构63在光轴(L)方向上进退驱动,从而进行摄像光学系统61的变焦调节。
摄像元件62例如由CCD图像传感器或CMOS图像传感器等构成。驱动器64根据从CPU71输出的指令而产生预定时序的驱动信号,将产生的驱动信号提供到摄像元件62。摄像元件62通过提供的驱动信号控制电荷积蓄(摄像)、积蓄电荷的读出。CPU71使用被摄体的测光数据,求出被摄场景的亮度信息,根据该亮度信息决定摄像元件62的电荷积蓄时间、摄像光学系统61中的光圈、及从摄像元件62输出的图像信号的放大度等。从该摄像元件62读出的图像信号在A/D变换部65中从模拟的图像信号变换为数字的图像信号后,写入到缓冲存储器66中。
图像处理电路67对和来自CPU71的指令对应的输入信号,实施颜色内插、白平衡、伽玛变换等图像处理。该图像处理后的数据变为图像(图像数据)。该图像处理电路67对图像数据实施为了在显示装置69上显示重放图像所需要的分辨率变换(像素数变换)处理,将分辨率变换处理后的图像数据输出到显示控制电路68。此外,在进行电子变焦处理时,图像处理电路67也对图像数据实施分辨率(像素数)变换处理。以下将图像数据称为图像进行说明。
此外,在显示装置69中显示三维图像时,图像处理电路67除了上述处理外,使用由CPU71算出的摄像装置60的倾角δ、铅直方向上的摄像装置60的位置、人的两眼视差量,由缓冲存储器66中暂时存储的二维图像生成三维图像。此外,作为缓冲存储器66中暂时存储的图像,除了摄影待机状态时获得的取景图像、摄影时获得的静止图像、动态图像外,也包括从存储介质78读出的图像。
显示控制电路68根据来自CPU71的指令,对从图像处理电路67输入的图像实施预定的信号处理,并输出到显示装置69。此外,作为显示装置69包括LCD、EL显示器、或CRT显示器等。
释放按钮73、操作部74在其操作时,将和操作内容对应的操作信号输出到CPU71。CPU71在输入了基于释放按钮73的按下操作的释放操作信号时,在从摄像元件62读出的图像信号中,使用摄像画面内预先设定的聚焦检测区域所对应的信号,进行公知的对比度方式的AF(自动对焦)动作。
操作部74具有变焦操作部。CPU71在从操作部74输入了基于变焦操作的变焦操作信号时,产生上述透镜驱动指令,由透镜驱动机构63进退驱动变焦透镜。这样一来,摄像元件62的摄像面上成像的被摄体像扩大或缩小,光学性地变焦调节。内置存储器72存储由CPU71执行的控制程序、执行该控制程序时使用的数据等。
倾斜传感器75是检测摄像装置60的倾角的传感器。来自该倾斜传感器75的检测信号被输入到CPU71中。CPU71根据来自倾斜传感器75的检测信号,算出摄像装置60的倾角。
气压传感器76是检测铅直方向上的摄像装置60的位置的传感器。来自该气压传感器76的检测信号被输入到CPU71。CPU71根据来自气压传感器76的检测信号,算出铅直方向上的摄像装置60的位置。
例如说明在摄像装置60的显示装置69上显示三维图像的情况。向CPU71逐次输入来自倾斜传感器75、气压传感器76的检测信号。CPU71收到之后,算出摄像装置60的倾角δ、摄像装置60的位置。此外,将算出的摄像装置60的倾角δ、摄像装置60的位置输出到图像处理电路67。图像处理电路67使用摄像装置60的倾角δ、摄像装置60的位置、人的两眼视差量等,由缓冲存储器66中暂时存储的图像(二维图像)生成三维图像。并且,图像处理电路67将生成的三维图像输出到显示控制电路68。显示控制电路68将三维图像输出到显示装置69。这样一来,三维图像被显示到显示装置69中。
图27A表示摄像装置60的显示装置69的显示面69a是与yz平面平行的面时的、显示面69a和立体显示的三维图像的感知面S。设此时的显示面69a和立体显示的三维图像的感知面S所成的角度θ为θ0。
图27B表示使摄像装置60以y方向的轴为旋转中心以角度δ(=θ0)向顺时针方向倾斜的情况。如上所述,三维图像如下生成:使其感知面S变为作为基准的三维图像的感知面S(图27A所示的感知面S)。即,摄像装置的倾角δ是角度θ0时,显示装置69的显示面69a和立体显示中的三维图像的感知面S变为同一面。
图27C表示使摄像装置60以y方向的轴为旋转中心以角度δ(>θ0)向顺时针方向倾斜的情况。这种情况下,三维图像也如下生成:使其感知面S变为作为基准的三维图像的感知面S(图27A所示的感知面S)。另一方面,因摄像装置60以角度δ(>θ0)向顺时针方向倾斜,因此立体显示的三维图像的感知面S成为相对显示装置69的显示面69a向逆时针方向倾斜θ的状态。
因此,与使摄像装置60倾斜的角度δ无关,立体显示的三维图像的感知面S固定。即,通过使摄像装置60倾斜的角度δ,可改变三维图像的立体显示中的进深距离。这样一来,用户能以最佳状态观察三维图像的立体显示。
并且,考虑不倾斜摄像装置60、而使摄像装置60向上方(z方向)移动的情况。以下考虑摄像装置60的显示装置69的显示面69a是与yz平面平行的面的情况。以图28A所示的摄像装置60的位置为基准,在该位置下,立体显示的三维图像的感知面S成为相对显示装置69的显示面69a向顺时针方向倾斜角度θ的状态。
如图28B所示,使摄像装置60从作为基准的位置向z方向移动预定量时,变化成显示装置69的显示面69a和立体显示的三维图像的感知面S为同一面的状态。如图28C所示,将摄像装置60进一步向z方向移动时,立体显示的三维图像的感知面S变化为相对显示装置69的显示面69a向逆时针方向以角度θ倾斜的状态。即,仅通过将摄像装置69向z方向移动,立体显示的三维图像的感知面S的进深距离变化。这种情况下,用户也能以最佳的状态观察三维图像的立体显示。
此外,在图27及图28中,根据摄像装置60的倾角、铅直方向上的摄像装置的位置中的任意一个,改变立体显示中的进深距离,但不限于此,也可考虑摄像装置的倾角及铅直方向上的摄像装置的位置两者,变更立体显示中的进深距离。此外这种情况下,摄像装置的倾斜方向除了以y方向的轴为旋转中心外,也能以z方向的轴为旋转中心,或以yz平面上包含的直线为旋转中心。
并且,除了上述构成外,也可在摄像装置上设置拍摄用户的摄像部,根据由该摄像部拍摄的图像,求出用户脸部到摄像装置的距离,生成除了摄像装置的倾角、铅直方向上的摄像装置的位置、人的两眼视差量外还考虑了求出的距离的三维图像。