CN102263967A - 图像处理装置和方法、非暂时性有形介质、摄像装置 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法、具有图像处理程序的非暂时性有形介质以及摄像装置，该图像处理装置包括：视差控制处理部，利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个视差图像执行图像处理以改变视差量，其中该多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

Description

图像处理装置和方法、非暂时性有形介质、摄像装置

技术领域

本发明涉及对相应于三维观看的多个视差图像执行预定图像处理的图像处理装置、图像处理方法、具有图像处理程序的非暂时性有形介质以及摄像装置。

背景技术

近年来，已经开发了改变用于三维观看的左和右视差图像(左视差图像和右视差图像)之间视差量的图像处理装置，例如日本未审查专利申请公开第H07-167633(H07-167633A)号中所公开的。视差量相当于左和右视差图像之间在水平方向上的位置差的程度，且立体效果根据视差量而不同。H07-167633A执行图像处理，其中相当于左和右视差图像之间视差量的左和右视网膜图双眼像差(双眼像差，disparity)被检测，从而基于检测到的双眼像差(更具体地，双眼像差的平均值)通过在水平方向上移位整个图像而改变视差量。显示图像的立体效果可通过视差量的这样的变更控制而改变。

发明内容

然而，在H07-167633A的图像处理方法中，没有用于确定视差改变控制量的机构，且改变的控制量是固定的(恒定量)或由观察者(用户)手动调整。这里，当物体以远摄条件(telephoto condition)拍摄时视差量较大，而当物体以广角条件拍摄时视差较小。类似地，拍摄近物和拍摄远物时的视差量不同。

因此，随着拍摄图像条件或“拍摄条件”(如焦距)通过所谓的变焦操作以时间顺序改变，视差量自身改变。因此，当对通过动画图像的变焦操作拍摄的每个视差图像以恒定控制量改变视差量时，则发生下面的问题。即，当各个改变的视差图像是以动画图像显示时，在运动(变焦操作)过程中，立体效果会改变，因此图像显示不自然。

期望提供一种图像处理装置、图像处理方法、具有图像处理程序的非暂时性有形介质以及摄像装置，它们能够控制视差同时保持所需的立体效果，特别是在作为用于三维观看的动画图像拍摄的视差图像中。

根据本发明实施方式的一种图像处理装置包括：视差控制部，其利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个视差图像执行图像处理以改变视差量，其中该多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

根据本发明实施方式的一种图像处理方法包括：利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个视差图像执行图像处理以改变视差量，其中该多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

根据本发明实施方式的一种非暂时性有形介质具有在其中实现的计算机可读图像处理程序，其中计算机可读图像处理程序被执行以实现这样的方法，其包括：利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个视差图像执行图像处理以改变视差量，其中该多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

根据本发明实施方式的一种摄像装置包括：摄像透镜；执行透过模式和遮挡模式之间切换的光闸，透过模式使沿多个光路中的每个的光透过光闸，而遮挡模式使沿多个光路中的每个的光被光闸遮挡；摄像元件，其接收沿每个光路的透射光，并获取与通过从多个彼此不同的视点拍摄而获得的多个视差图像中的每个相应的摄像数据；以及视差控制处理部，其利用表示每个视差图像的拍摄条件的拍摄信息对每个视差图像执行图像处理以改变视差量。

在根据本发明实施方式的图像处理装置、图像处理方法、具有图像处理程序的非暂时性有形介质以及摄像装置中，利用与多个视差图像中的每个的拍摄条件相关的拍摄信息为每个视差图像而改变视差量。视差量根据诸如焦距的拍摄条件而改变。利用拍摄信息，从而即使拍摄是通过以时间顺序改变拍摄条件而执行的，如在执行变焦操作的同时执行拍摄，也可以根据该变化执行合适的视差控制。

根据本发明实施方式的图像处理装置、图像处理方法、具有图像处理程序的非暂时性有形介质以及摄像装置，利用与多个视差图像中的每个的拍摄条件相关的拍摄信息为每个视差图像而改变视差量。因此，即使对通过以时间顺序改变拍摄条件而获得的每个视差图像，如动画图像，也能根据该变化执行合适的视差控制。因此，可以执行视差控制，同时维持所需的立体效果，特别是对于作为三维观看的动画图像而拍摄的视差图像。

应该理解，上面的一般性说明和下面的详细说明是示例性的，且是为了提供对本发明技术的进一步解释。

附图说明

本说明书包括的附图是为了提供对本发明的进一步理解，且包括在本说明书中并构成本说明书的一部分。附图和说明书一起说明了实施方式，以用来解释本发明的原理。

图1示出了根据本发明第一实施方式的摄像装置的整体结构。

图2是示出了图1所示的图像处理部的详细结构的功能框图。

图3是说明利用图1所示的摄像装置获得的左视差图像中的物体的成像位置的示意图。

图4是说明利用图1所示的摄像装置获得的右视差图像中的物体的成像位置的示意图。

图5是说明利用图1所示的摄像装置获得的左和右视差图像之间视差的示意图。

图6是说明视差控制处理操作(视差增大处理)的实例的示意图。

图7是示出了执行视差控制处理之前图像中的视差量和视差范围的示意图。

图8是示出了执行视差控制处理之后图像中的视差量和视差范围的示意图。

图9示出了根据本发明第二实施方式的摄像装置的整体结构。

图10是说明2D拍摄(不切换光路)中接收光的图像的示意图。

图11是说明通过图9所示的摄像装置获得左视差图像的原理的示意图。

图12是说明通过图9所示的摄像装置获得右视差图像的原理的示意图。

图13是说明通过图9所示的摄像装置获得的左和右视差图像之间的视差量的示意图。

图14A和图14B是说明图9所示的摄像装置中的拍摄条件和重心之间距离的示意图。

图15是说明根据第一修改例的视差控制处理(视差减小处理)的示意图。

具体实施方式

下面将参考附图详细说明本发明的实施方式。说明顺序如下。

1.第一实施方式(基于拍摄信息且使用双眼式像机的视差控制处理的实例)

2.第二实施方式(使用单眼式像机的实例)

3.第一修改例(视差减小处理的实例)

4.第二修改例(仅焦距用作拍摄信息的实例)

(1.第一实施方式)

(摄像装置1的整体结构)

图1示出了根据本发明第一实施方式的摄像装置(摄像装置1)的整体结构。摄像装置1从彼此不同的多个观看方向拍摄物体，从而以时间顺序的方式获得作为动画图像(或静止图像)的视差图像(实施方式中左和右视差图像)。摄像装置1使用所谓双眼式像机，该双眼式像机在一个光路中具有摄像透镜10a1和10b以接收来自左观看方向的光线LL，并在另一光路中具有摄像透镜10a2和10b以接收来自右观看方向的光线LR。摄像透镜10b是用于两个光路的公共元件。摄像装置1还包括用于每个光路的光闸11a和11b，以及作为用于两个光路的公共元件的图像传感器12。摄像装置1还包括图像处理部13、透镜驱动部14、光闸驱动部15、图像传感器驱动部16和控制部17。

图像处理部13对应于根据本发明一个实施方式的“图像处理装置”。根据本发明一个实施方式的图像处理程序以软件方式实现在每个图像处理部13中的图像处理功能。在该情况下，软件由一组程序构成，以使每个图像处理功能由计算机执行。每个程序例如可通过在特定硬件中预先装入程序或通过从网络和记录介质在通用个人计算机等中安装程序来使用。

摄像透镜10a1和10b是一组接收左观看方向光线LL的透镜，而摄像透镜10a2和10b是一组接收右观看方向光线LR的透镜。光闸11a设置在摄像透镜10a1和10b之间，而光闸11b设置在摄像透镜10a2和10b之间。这里，每个光闸11a和11b的配置不限于此，但优选设置在摄像透镜组的光瞳面或光圈(未示出)。

摄像透镜10a1和10b(10a2和10b)一起用作所谓的变焦透镜。在摄像透镜10a1和10b(10a2和10b)中，焦距可通过透镜驱动部14调整透镜之间的间隔等而可变。而且，每组透镜由一个以上的透镜构成。关于摄像透镜10a1和10b(10a2和10b)的变焦操作的信息(如焦距和物距)经控制部17输入到图像处理部13中作为拍摄信息Df。

反射镜110设置在摄像透镜10a1和光闸11a之间，而反射镜111设置在摄像透镜10a2和光闸11b之间，并且反射镜112设置在光闸11a和11b之间。反射镜110、111和112使得光线LL和LR分别在通过光闸11a和11b之后进入摄像透镜10b。

为了通过或遮挡光，光闸11a和11b分别被控制为对于左光路和右光路中的每个切换打开状态(光透过状态)和关闭状态(光遮挡状态)。光闸11a和11b可以是任意如上所述切换光路的元件，如机械光闸和包括液晶光闸的电光闸。

图像传感器12是光电转换元件，其基于通过摄像透镜10a1和10b以及光闸11a的光线LL，或通过摄像透镜10a2和10b以及光闸11b的光线LR输出光接收信号。例如，图像传感器12包括多个以矩阵设置的光电二极管(光接收像素)，并可以是滚动光闸型的摄像元件(如互补金属氧化物半导体(CMOS))，其以线序方式从光电二极管读出信号。进一步地，例如，具有预定颜色配置(未示出)的用于红(R)、绿(G)和蓝(B)色的滤色片可设置在图像传感器12的光接收侧。

(图像处理部13的结构)

图像处理部13基于来自图像传感器12的摄像数据对拍摄的图像(左视差图像和右视差图像)执行预定的图像处理。而且，图像处理部13包括在处理图像之前或之后用于存储摄像数据的多种存储器。可选地，处理的图像数据可输出到外部显示器等，而非存储。

图2示出了图像处理部13的详细结构。图像处理部13包括视差控制处理部131、双眼像差图(disparity map)生成部133、图像校正处理部130和132。图像校正处理部130和132分别设置在视差控制处理部131级之前和之后。视差控制处理部131对基于从图像传感器12输入的摄像数据(左视差图像数据D0L和右视差图像数据D0R)的图像(左视差图像L1和右视差图像R1)执行视差量的改变控制。

双眼像差图生成部133基于摄像数据(左视差图像数据D0L和右视差图像数据D0R)生成所谓的双眼像差图。具体地，双眼像差图生成部133计算每个像素的左视差图像和右视差图像之间的双眼像差(即，如相位差和相间隙(phase gap))，从而生成图，其中所计算的双眼像差与每个像素相关联。虽然双眼像差图可如上所述为每个像素生成和保存，但也可以为每个由预定数目像素构成的像素块获得双眼像差，并为每个像素块保存获得的双眼像差。由双眼像差图生成部133生成的双眼像差图输出到视差控制处理部131作为图数据(map data)DD。

在本发明中，视差控制处理部131基于如下所述的拍摄信息Df，执行将输入的左视差图像和右视差图像之间视差量改变为所需视差量的改变控制。例如，即使视差量根据变焦操作的拍摄条件改变，也可合适地执行视差控制。立体效果可通过改变(增大或减小)视差量从而使得物体图像看起来更近(在更靠近观察者侧)或更深(在远离观察者侧)而改变。具体地，在改变(在本实施方式中为增大)视差量时，除了视差量，还可以通过利用图数据DD增大视差范围。

如本文所用，术语“视差量”是指画面或图像中水平方向上的位置差(相位差)的量。而且，术语“视差范围”是指在画面或图像的深度方向上从最靠近观察者的观察点到最远离观察者的观察点的动态范围。

图像校正处理部130执行校正处理，如噪声降低和去马赛克(demosaic)处理。图像校正处理部132执行校正处理，如伽马(gamma)校正处理。

透镜驱动部14是通过沿光轴移位摄像透镜10a1、10a2和10b的预定透镜而改变焦距的致动器。

光闸驱动部15切换每个光闸11a和11b的打开和关闭状态。具体地，当光闸11a打开时，光闸驱动部15驱动光闸11b关闭，且当光闸11a关闭时，光闸驱动部15驱动光闸11b打开。而且，光闸驱动部15分别驱动光闸11a和11b，从而在获得作为动画图像的每个视差图像时，对于每个光闸11a和11b以时分方式交替切换打开和关闭状态。

图像传感器驱动部16驱动图像传感器12并控制图像传感器12的光接收操作。例如，当图像传感器12是如上述滚动光闸型的CMOS图像传感器时，图像传感器驱动部16驱动图像传感器12，使得曝光和信号读出操作均以线序方式操作。

控制部17以预定时序控制图像处理部13、透镜驱动部14、光闸驱动部15和图像传感器驱动部16中每个的操作。例如，微型计算机等用作控制部17。

(摄像装置1的功能和效果)

(1.基本操作)

在摄像装置1中，透镜驱动部14根据用于预定变焦操作的拍摄条件驱动摄像透镜10a1和10b，且光闸驱动部15根据控制部17的控制将光闸11a切换为打开并将光闸11b切换为关闭。而且，与此同步，图像传感器驱动部16驱动图像传感器12执行光接收操作。从而，选择了左观看方向的左光路(切换到左光路)，且图像传感器12接收基于来自物体的入射光的光线LL的光，从而获得左视差图像数据D0L。

然后，透镜驱动部14根据用于预定变焦操作的拍摄条件驱动摄像透镜10a2和10b，且光闸驱动部15将光闸11b切换为打开并将光闸11a切换关闭。而且，与此同步，图像传感器驱动部16驱动图像传感器12执行光接收操作。从而，选择了右观看方向的右光路(切换到右光路)，且图像传感器12接收基于来自物体的入射光的光线LR的光，从而获得右视差图像数据D0R。

在获取每个视差图像时的变焦操作中拍摄条件(如焦距f和物距S)经控制部17输入到图像处理部13(更具体地，视差控制处理部131)作为拍摄信息Df。

通过如上所述以时分方式交替执行摄像透镜10a1和10a2以及光闸11a和11b的切换驱动，相应于左和右视差图像的摄像数据是以时序方式交替获得的，且一对左和右视差图像顺序输入到图像处理部13。

图像处理部13对基于以上述方式获得的左视差图像数据D0L和右视差图像数据D0R的拍摄图像(如下述左视差图像L1和右视差图像R1)执行预定图像处理，并例如生成用于三维观看的左和右视差图像(如下述左视差图像L2和右视差图像R2)。所生成的左和右视差图像L2和R2存储在图像处理部13中或输出到外部。

(获得视差图像的原理)

下面将参考图3到图5，详细说明获取左和右视差图像的原理。图3和图4等同于摄像装置1的顶视图，并示出了从物体到图像传感器12的传感器平面S2(光接收表面)的光线，且为了简单起见不考虑反射镜等引起的光路变化。而且除了摄像透镜10a1和10a2，省略了结构元件的示出，而且也简化了摄像透镜10a1和10a2。图3和图4示出了两个物体在深度方向上设置在彼此不同的位置的实例。具体地，两个物体是在摄像透镜10a1和10a2的焦平面S1的物体A(人)以及在比物体A更深位置(摄像透镜的相反侧上)的物体B(山峰)。

(左视差图像)

当左和右光路相对上述位置关系的物体A和B切换时，物体A和B在传感器平面S2上成像，如下所述。例如，当相应于左观看方向的左光路(用于通过到摄像透镜10a1的入射光的光路)可透过时，相应于右观看方向的右光路被遮挡，如图3所示。在该情况下，物体A的图像在传感器平面S2上的位置A1_L形成为在其上聚焦(焦点对准)的图像，物体B的图像在传感器平面S2上的位置B1_L形成为其上散焦(模糊)的图像。这里的说明假设每个物体图像的重心被用于物体的成像位置(这也适用于下面的说明)。

(右视差图像)

另一方面，当相应于右观看方向的右光路(用于通过到摄像透镜10a2的入射光的光路)可透过时，左光路被遮挡，如图4所示。在该情况下，物体A的图像在传感器平面S2上的位置A1_R形成为在其上聚焦的图像，物体B的图像在传感器平面S2上的位置B1_R形成作为其上散焦的图像。

(左和右视差图像之间的视差)

以该方式，在摄像装置1中，左和右视差图像是通过分别切换相应于左和右观看方向的两个光路获得的。而且，在这样获得的左和右视差图像L1和R1中，散焦图像(物体B的图像)位于这样的位置，其在水平方向上相互移位到聚焦图像(物体A的图像)的相反方向，如图5的(A)和(B)示意所示。

然后，通过分别使用预定的3D显示方案，如偏光方法、帧序列方法和投影仪方式，显示基于视差图像L1和R1的左和右视差图像L2和R2，观察者受到如下所述相应于观察图像中视差量的立体效果。应注意，此时，显示是这样执行的，即物体A的位置A1_L和A1_R在水平方向上位于相同位置(交叠)。从而，在水平方向上在物体B的位置B1_L和B1_R之间生成位置偏移(相位差)，且位置偏移引起左和右的视差。当显示是以这样的方式执行时，在显示画面(基准平面)上观察到物体A(人)，因为没有视差，然而，以对应于视差量的立体效果观察到物体B(山峰)，因为具有如上所述的视差(在该实例中，观察者看到物体B具有立体效果，如同物体B位于比基准平面更深的位置)。

(视差量和拍摄条件之间的关系)

在具有双眼式像机的摄像装置1中，当如所述那样执行显示从而在基准平面上观察到物体A时，物体B的视差量Wb1等于水平方向上位置B1_L和B1_R之间的距离。视差量Wb1可利用拍摄条件以下面的等式(1)定义，其中L是基线长度(摄像透镜10a1和10a2的光轴之间的距离)，f是摄像透镜10a1和10a2的焦距(更具体地，摄像透镜10a1和10b，以及摄像透镜10a2和10b之间的焦距)，S是物距，并且dep是物体A和B之间的距离。虽然物体B的实际立体效果受诸如显示尺寸和观察者与显示画面之间的距离的因素的影响，物体B相对同一画面中的物体A的相对立体效果由等式(1)确定。

$\mathrm{Wb}1=L\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{\left(\text{S-f}\right)}$

(等式1)

(2.视差控制处理：利用拍摄条件的视差控制)

在本实施方式中，图像处理部13执行如上所述的左和右视差图像L1和R1之间的视差量改变控制(该情况下为增大)。具体地，在图像处理部13中，图像校正处理部130对从图像传感器12输入的左和右视差图像数据D0L和D0R执行诸如如上所述的噪声降低的处理。此后，视差控制处理部131控制受到图像校正处理部130进行的图像校正处理的图像数据D1(左视差图像数据D1L和右视差图像数据D1R)，从而使得视差量通过使用拍摄信息Df而增大到所需量。

另一方面，双眼像差图生成部133基于输入的左和右视差图像数据D0L和D0R生成双眼像差图，该图在改变后述的视差量和视差范围时被使用。具体地，双眼像差图生成部133为每个像素计算左和右视差图像之间的双眼像差，从而生成由此计算的双眼像差与每个像素相关联并且被保存的图。应注意，对于双眼像差图，也可以为每个由预定数目的像素构成的像素块而获得双眼像差，并为每个像素块保存这样获得的双眼像差。通过双眼像差图生成部133生成的双眼像差图被输出到视差控制处理部131，作为图数据DD。

(比较例)

下面，将说明根据本实施方式的比较例的视差控制处理。在比较例中，当物体B的视差控制之后视差量为Wb₁₀₀时，该视差量Wb₁₀₀通过使用预定值α而表达为等式(2)。其中，α是为视差改变控制预先设定的固定值(常数)，或是由观察者手动设定的值。即，在比较例中，物体B的视差量Wb1的改变控制量(例如，增大量)由常数α唯一设定。

${\mathrm{Wb}}_{100}=\mathrm{\α}\·\mathrm{Wb}1=\mathrm{\α}\·L\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{(S-f)}$

等式(2)

然而，当拍摄多个物体时，左右之间的视差量根据拍摄近物的情况和拍摄远物的情况而不同。而且，对于同一物体，视差量在远摄条件下相对较大，且在广角条件下相对较小。即，当拍摄条件，如焦距和物距通过变焦操作变化时，视差量相应地变化。

因此，例如当在执行变焦操作的同时拍摄动画图像时，即使是同一物体，视差量也以时序方式改变。因此，当执行控制以使得对构成动画图像的每个视差图像唯一地改变视差量(通过固定的改变控制量)时，则会发生下列现象。即，当改变控制后的每个视差图像以动画显示时，视差量(立体效果)在运动(变焦操作)过程中改变，因此观察者可能感觉到不自然的立体效果。例如，当以放大方式逐渐放大物体的动画图像的视差量增大固定的控制量时，当物体图像位于深侧(depth side)时观察者可能感觉到接近感或邻近感不足，而相反，当物体图像设置在前侧时，突出(伸出)效果增大为超过所需程度。因此这可引起观察者的疲劳感增加，或可引起画面显示真实度不足或效果不足。

(考虑拍摄条件的视差增大处理)

因此，在本实施方式中，视差控制处理部131考虑变焦操作的拍摄条件，执行每个视差图像之间视差量的改变控制。具体地，基于以下使用常数α和系数α(S，f)的等式(3)，视差量被控制为进行改变(增大)，其中常数α用于所述视差改变，系数α(S，f)包括诸如物距S和焦距f的参数。即，系数α(S，f)被设定为使得视差量Wb2增大到所需量，其中改变控制后的视差量(输出图像之间的视差量)为Wb2。

例如，当视差量要增大为使得视差量的量不被拍摄条件(诸如焦距f)而改变时，以下(4)所表示的等式被用作系数α(S，f)。当将其代入到等式(3)时，获得了等式(5)。通过基于等式(5)执行视差控制，可控制(增大)视差量Wb2，而不管焦距f的大小如何。即，可以在上述变焦操作过程中抑制视差量(立体效果)的不自然变化，并生成观察者易于看到的图像。然而应注意，系数α(S，f)不限于此，并可包括为满足所需视差量所选的其他参数。

$\mathrm{Wb}2=\mathrm{\α}(S,f)\mathrm{Wb}1=\mathrm{\α}(S,f)\·L\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{(S-f)}\}m$ 等式(3)

$\mathrm{\α}(S,f)=\mathrm{\α}\frac{(S-f)}{f}$ 等式(4)

$\mathrm{Wb}2=\mathrm{\α}\·L\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}$

等式(5)

进一步地，视差控制处理部131在水平方向上移位左和右视差图像L1和R1中物体B图像的各个位置(相位位置、重心位置)，以使得物体B的视差量从Wb1增大到Wb2。这里，如下所述，期望执行利用双眼像差图的处理。应注意，虽然这里说明了物体B的视差控制，但对于其他物体也一样。即，系数α(S，f)被设定为使得对于每个物体(这里，对于每个物体B和C)的视差量变为所期望的量。

(利用双眼像差图的视差增大操作)

而且，在本实施方式中，双眼像差图生成部133提供的图数据DD在执行上述视差控制处理(其中考虑了拍摄条件)时所使用。下面，将参考视差图像的实例进行描述，该视差图像中拍摄了三个物体：位于比物体A更靠近摄像透镜10(位于摄像透镜10侧)的物体C(花朵)；上述物体A(人)；以及物体B(山峰)。即，如图6中(A)和(B)所示，在左右视差图像L1和R1的每个中物体B和C的图像位置在水平方向(X方向)上移位，以使得物体B和C的视差量增大。这里应注意，没有视差的物体A的位置A1_L和A1_R不改变(不改变从而保持视差量为0(零))，并在左和右视差图像L2和R2中也分别设置在相同的位置。

具体地，对于物体B，物体B在X负(-)方向(实箭头线)上从左视差图像L1中位置B1_L移位到左视差图像L2中位置B2_L。另一方面，物体B在X正(+)方向(虚箭头线)上从右视差图像R1中位置B1_R移位到右视差图像L2中位置B2_R。这使得能够将物体B的视差量从视差量Wb1增大到Wb2，其中Wb2是如上所述考虑拍摄条件而设置。物体C的视差图像也类似地增大。然而，物体C在X正(+)方向(虚箭头线)上从左视差图像L1中位置C1_L移位到左视差图像L2中位置C2_L。另一方面，物体C在X负(-)方向(实箭头线)上从右视差图像R1中位置C1_R移位到右视差图像R2中位置C2_R。

以该方式，在本实施方式中，可以控制视差量从而利用双眼像差图来增大每个物体视差量。例如，可以执行对每个物体执行的视差控制，在该视差控制中物体A到C中的特定物体B和C的位置可如上所述移向相互不同的方向，从而仅增大物体B和C的视差量。从而，如下所述，不仅可以增大在水平方向上的视差量，而且可以增大在深度方向上的视差范围。

(视差范围的增大)

图7是示出了分别相应于左和右视差图像数据D0L和D0R的左和右视差图像L1和R1中视差量和视差范围的示意图。图8是示出了左和右视差图像L2和R2中视差量和视差范围的示意图。如图7所示，当在左和右视差图像L1和R1之间，物体B的视差量是Wb1，而物体C的视差量是Wc1时，深度方向上物体A到C的每个图像的观察位置如下。即，物体A的图像是在显示画面(基准平面)S3上的位置A1’观察到的；物体B的图像是在比物体A多深以距离Dab1的位置B1’观察到的；而物体C的图像是在比物体A更近以距离Dac1的位置C1’观察到的。因此，在视差量的增大控制处理之前左视差图像L1和右视差图像R1之间的视差范围是距离D1，距离D1是距离Dab1和Dac1的总和。

当执行上述视差量的增大控制处理时，如图8所示，左视差图像L2和右视差图像R2之间，物体B的视差量变为Wb2，物体C的视差量变为Wc2。而且，在深度方向上物体A到C的各个观察位置如下改变。即，物体A的图像是在显示画面(基准平面)S3上的位置A2’(＝A1’)观察到的；物体B的图像是在比位置A2’多深以距离Dab2(＞Dab1)的位置B2’观察到的；且物体C的图像是在比位置A2’更近以距离Dac2(＞Dac1)的位置C2’观察到的。因此，视差量的增大控制处理后的左和右视差图像L2和R2之间的视差范围为距离D2，该距离D2为距离Dab2和Dac2的总和，且该视差范围D2的增大超过视差范围D1。

以该方式，使用双眼像差图使得不仅可以增大在水平方向上的视差量，而且可以增大在深度方向上的视差范围。从而，可以执行视差控制，其中，例如，如上所述，设置在比基准平面S3更深位置的物体B被观察到更深，而设置在比基准平面S3更近位置的物体C被观察到在更近侧突出或伸出，即，可以执行进一步强化每个物体的每个立体效果的视差控制。换言之，可以增加在单个显示画面中观察到的物体B和C之间的在深度方向上的距离感。如果不使用双眼像差图，则不执行如上所述对于各物体(对于每个像素或每个像素块)的相位偏移，从而视差范围没有增大，并且因而各物体图像被移位，同时保持每个物体在深度方向上的距离恒定。在这样的视差控制中，仅可以整体地向较深侧或向较近侧移位所有物体图像，且因此立体效果的变化倾向于是单调的(缺乏视差控制的自由度)。

受到这样执行的视差增大处理的左和右视差图像L2和R2被输入到图像校正处理部132，以作为图像数据D2。图像校正处理部132对输入的图像数据D2执行诸如上述的伽马校正处理的处理，然后输出所处理的数据到存储器部(未示出)或发送该处理的数据到诸如外部显示装置的装置，以作为图像数据Dout。

以该方式，在本实施方式中，利用与左和右视差图像L1和R1的拍摄条件相关的拍摄信息Df，向左视差图像L1和右视差图像R1施加控制和增大视差量的处理。这使得，即使拍摄条件(如焦距)如上所述改变，也可以执行相应于这些改变的合适的视差控制。因此，与用于视差量的改变控制量固定的情况不同，即使对于作为用于三维观看的动画图像拍摄的视差图像，也可以执行视差控制，同时保持所需的立体效果。

(2.第二实施方式)

(摄像装置3的整体结构)

图9示出了根据本发明第二实施方式的视差摄像装置(摄像装置3)的整体结构。如根据第一实施方式的摄像装置1中，摄像装置3从多个观看方向(该实施方式中为左和右方向)拍摄物体，从而以时序方式获得作为动画图像(或静止图像)的左视差图像和右视差图像。然而，摄像装置3包括所谓的单眼式像机，并能够通过光闸控制切换左和右光路中的每个。摄像装置3包括摄像透镜10a和10b、光闸11、图像传感器12、图像处理部13、透镜驱动部18、光闸驱动部19、图像传感器驱动部16和控制部17。应注意，如上述第一实施方式的相同或等价元件是以相同的参考标号表示的，且这里不再详细说明。

摄像透镜10a1和10b是一组从物体接收光线的透镜。光闸11设置在摄像透镜10a和10b之间。这里，光闸11的配置不限于此，但优选设置在摄像透镜10a和10b的光瞳面或光圈(未示出)。摄像透镜10a和10b用作所谓的变焦透镜，且焦距可通过由透镜驱动部18调整透镜之间的间隔等而变化，如第一实施方式的摄像透镜中那样。摄像透镜10a和10b的变焦操作的信息经由控制部17而输入到图像处理部13作为拍摄信息Df。

光闸11被分成左和右两个区域。光闸11控制从而为每个划分区域切换透过模式和遮挡模式。光闸11可以是任何元件，只要该元件可为每个区域切换打开和关闭状态即可，如机械光闸和包括液晶光闸的电光闸。

图像处理部13对输入的左和右视差图像执行预定的图像处理，如第一实施方式那样。图像处理部13包括图像校正处理部130和132、视差控制处理部131和双眼像差图生成部133。视差控制处理部131对左和右视差图像L1和R1执行视差量的改变控制。然而，在本实施方式中，如下面详细说明的，图像处理部13的视差控制处理部131用单眼式像机中的拍摄条件控制视差量。

透镜驱动部18是用于沿光轴移位摄像透镜10a和10b中预定透镜的致动器。

光闸驱动部19切换光闸11每个区域的打开和关闭状态。具体地，光闸驱动部19驱动光闸11中的左和右区域，以使得在拍摄动画图像时，光闸11中左和右区域的每个的打开和关闭状态以时分方式交替切换。

(摄像装置3的功能和效果)

(1.基本操作)

在摄像装置3中，透镜驱动部18根据用于预定变焦操作的拍摄条件驱动摄像透镜10a和10b，且光闸驱动部19根据控制部17的控制将光闸1的左区域切换为打开，并将右区域切换为关闭。而且，与此同步，图像传感器驱动部16驱动图像传感器12执行光接收操作。从而，选择了左光路(或切换到左光路)，且图像传感器12基于来自左观看方向的入射光线获得左视差图像数据D0L。

然后，透镜驱动部19将光闸11的右区域切换为打开并将左区域切换为关闭，且图像传感器驱动部16驱动图像传感器12执行光接收操作。从而，选择了右光路(或切换到右光路)，且图像传感器12基于来自右观看方向的入射光线获得右视差图像数据D0R。

如第一实施方式中那样，获取每个视差图像时的变焦操作中的拍摄条件(如焦距f和物距S)经控制部17输入到图像处理部13(更具体地，视差控制处理部131)作为拍摄信息Df。

通过以时分方式执行打开和关闭光闸11的切换驱动和图像传感器12的光接收操作，分别对应于左和右视差图像的摄像数据以时序方式交替获得，且一对摄像数据顺序输入到图像处理部13。

图像处理部13对基于上述方式获得的左视差图像数据D0L和右视差图像数据D0R的拍摄图像(左视差图像L1和右视差图像R1)执行预定图像处理，并生成用于三维观看的左和右视差图像L2和R2。生成的左和右视差图像L2和R2存储在图像处理部13或输出到外部。

(获得视差图像的原理)

现在参考图10到图12说明以单眼式像机获得左和右视差图像的原理。图10到图12相当于摄像装置3的顶视图，并为了简单起见，仅示出摄像透镜10a和10b、光闸11和图像传感器12，并且还简化了摄像透镜10a和10b。

首先，将说明如图10所示左和右光路不切换时(拍摄普通2D图像时)的光接收图像(图像传感器12上的显像)。在该实施方式中，将参考在深度方向上彼此不同位置设置的三个物体(上述物体A到C)而给出说明。如前所述，物体A(人)位于摄像透镜10a和10b的焦平面S1上；物体B(山峰)位于比物体A更深的位置；而物体C(花朵)位于比物体A较近的位置。在该情况下，物体A的图像形成在传感器平面S2上的中心附近。另一方面，位于比焦平面S1更深位置的物体B的图像形成在比传感器平面S2更近(在摄像透镜10b侧)的位置，而物体C的图像形成在比传感器平面S2更深(在摄像透镜10b的相反侧)的位置。即，物体A出现在传感器平面S2上作为聚焦(焦点对准)图像(A0)，而物体B和C出现在传感器平面S2上作为散焦(模糊)图像(B0和C0)。

(左视差图像)

当左和右光路相对处于上述位置关系的物体A到C而切换时，物体A到C在传感器平面S2上的显像如下改变。例如，当光闸驱动部19驱动光闸11的左区域SL打开并驱动右区域SR关闭时，如图11所示，左光路可透过而右光路被遮挡。在该情况下，即使右光路被遮挡，也如同上述没有光路切换的情况一样，物体A在焦平面S1上的图像仍然聚焦并在传感器平面S2上成像(A0)。然而，关于在焦平面S1外的物体B和C的图像，在传感器平面S2上散焦的各图像在传感器平面S2上作为图像(B0’，C0’)出现，这两个图像在水平方向上移向彼此相反方向(d1和d2)。

(右视差图像)

另一方面，当光闸驱动部19驱动光闸11的右区域SR打开，并驱动左区域SL关闭时，如图12所示，右光路可透过且左光路被遮挡。在该情况下，同样地，物体A在焦平面S1上的图像形成在传感器平面S2上，且焦平面S1之外的物体B和C的图像在传感器平面S2上作为图像(B0”，C0”)出现，这两个图像在传感器平面S2中移向彼此相反方向(d3和d4)。应注意，移动方向d3和d4的方向分别与上述左视差图像中的运动方向d1和d2相反。

(左和右视差图像之间的视差)

以该方式，在摄像装置3中，如第一实施方式的摄像装置1中那样，左和右视差图像L1和R1是通过切换光闸11的各区域的打开和关闭状态、从而切换分别相应于左和右观看方向的光路而获得的。而且，在上述左和右视差图像中物体的散焦图像在水平方向上移向彼此相反的方向，且因此水平方向上的位置差(相位差)是视差量。例如，如图14A和图14B所示，对于物体B，左视差图像L1中图像B0’的位置(B1_L)和右视差图像R1中图像B0”的位置(B1_R)之间水平方向上的位置差Wb1是物体B的视差量。类似地，对于物体C，左视差图像L1中图像C0’的位置(C1_L)和右视差图像R1中图像C0”的位置(C1_R)之间水平方向上的位置差Wc1是物体C的视差量。

因此，在本实施方式中，通过预定的3D显示方案显示左和右视差图像，观察者受到相应于观察图像中每个物体图像的视差量的立体效果。例如，在上述实例中，没有视差的物体A(人)被观察到在显示画面上(在基准平面上)，而物体B(山峰)被观察到比基准平面更深，且物体C(花朵)被观察到具有立体效果，如同物体C从基准平面伸出或突出。

(视差量和拍摄条件之间的关系)

这里，对于左和右视差图像L1和R1之间的物体B的视差量Wb1，在具有单眼式像机的摄像装置3中，利用拍摄条件，视差量Wb1被定义为下面的等式(6)，其中如图14A所示，f是摄像透镜10a和10b的焦距，S是物距，dep是物体A和B之间的距离，并且其中如图14B所示，G是光瞳面上左区域和右区域的每个的重心GL和GR之间的距离(重心之间的距离)，且D是光瞳直径。以该方式，在本实施方式中(单眼式像机)，视差量Wb1也如第一实施方式(双眼式像机)那样由使用拍摄条件的类似等式来表示，其等价于以重心G之间距离取代基线长度L的等式(1)。而且，物体B对物体A的实际相对立体效果由等式(6)确定。

$\mathrm{Wb}1=G\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{(S-f)}$ 等式(6)

(2.视差控制处理)

在本实施方式中，如第一实施方式那样，图像处理部13执行左视差图像L1和右视差图像R1之间的视差量的改变控制。具体地，图像处理部13的视差控制处理部131利用拍摄信息Df进行控制以增大左和右视差图像L1和R1的视差量和视差范围。

(考虑拍摄条件的视差增大处理)

在本实施方式中，如上所述，视差控制处理部131考虑变焦操作的拍摄条件来执行每个视差图像之间视差量的改变控制。具体地，视差量基于利用系数α(S，f)的以下等式(7)被控制增大，该系数α(S，f)包括诸如焦距f和物距S的参数。即，例如，对于物体B，系数α(S，f)被设定为使得增大控制后的视差量Wb2变为所需的量。这里，如上述第一实施方式那样，当视差量被增大为使得视差量的量不被拍摄条件所改变时，由等式(4)表达的等式可用于系数α(S，f)。从而，在该实施方式中，也可以如上所述在变焦操作过程中抑制视差量(立体效果)的不自然的改变。应注意，重心G之间的距离利用光瞳直径D表达为下面等式(8)。进一步地，因为光瞳直径D利用焦距f和F数F来表达，所以距离G也可表达为等式(9)。即，除了焦距f和物距S之外，诸如光瞳直径D和F数F的因素可用作参数。

$\mathrm{Wb}2=\mathrm{\α}(S,f)\·G\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{(S-f)}$ 等式(7)

$G=\frac{4}{3\mathrm{\π}}D$ 等式(8)

$G=\frac{4}{3\mathrm{\π}}D=\frac{4}{3\mathrm{\π}}\·\frac{f}{F}$

等式(9)

(双眼像差图的使用)

此外，在视差控制处理中，如第一实施方式那样，可以利用图数据DD为每个物体增大视差量。从而，还可以不仅增大水平方向上的视差量，而且增大深度方向上的视差范围。因此，如在上述第一实施方式中那样，可以执行视差控制，其中，设置在较深位置的物体B被观察到更深，且设置在较近位置的物体C被观察到进一步突出或伸出，即，可以执行进一步强化每个物体的立体效果的视差控制。

这样执行的视差增大处理后的左视差图像L2和右视差图像R2被图像校正处理部132施加以预定的图像校正处理，然后得到的结果作为图像数据Dout输出到存储器部(未示出)或诸如外部显示装置的装置。

以该方式，同样地，在本实施方式中，利用与左视差图像L1和右视差图像R1的拍摄条件相关的拍摄信息Df对左视差图像L1和右视差图像R1执行视差量的增大控制。这使得即使拍摄条件改变，也能够相应于这些改变执行视差量的合适视差控制。因此，可以实现类似于根据上述第一实施方式的效果。

下面，将说明根据第一和第二实施方式的摄像装置的修改例(第一修改例和第二修改例)。应注意，与第一和第二实施方式相同或等价的元件以相同的参考标号表示，且不再详细说明。

(第一修改例)

虽然已经参考作为视差量的改变控制处理实例的增大控制处理说明了第一和第二实施方式，但也可执行减小视差量的改变控制。即，双眼像差图可在利用拍摄信息Df执行视差控制时用来对以上述方式获得的左视差图像L1和右视差图像R1执行下面的减小控制。换言之，如图15的(A)和(B)所示，物体B和C的图像位置在水平方向(X方向)上移位，以使得左视差图像L1和右视差图像R1中物体B和C各自的视差量减小。应注意，在该情况下，没有视差的物体A的位置A1_L和A1_R没有改变(不改变从而保持视差量为0(零))，并分别在左右视差图像L2和R2中设置在相同位置。

具体地，对于物体B，物体B在X正(+)方向(虚箭头线)上从左视差图像L1中的位置B1_L移位到左视差图像L2中的位置B2_L。另一方面，物体B在X负(-)方向(实箭头线)从右视差图像R1中的位置B1_R移位到右视差图像R2中的位置B2_R。这使得能够将物体B的视差量从视差量Wb1减小到视差量Wb3，视差量Wb3比视差量Wb1小。在改变中，视差量Wb3也是利用拍摄信息Df(诸如焦距f和物距S)设定的。物体C的视差量也类似地减小。然而，物体C在X负(-)方向(实箭头线)上从左视差图像L1的位置C1_L移位到左视差图像L2的位置C2_L。另一方面，物体C在X正(+)方向(虚箭头线)上从右视差图像R1的位置C1_R移位到右视差图像R2的位置C2_R。

以该方式，在本修改例中，可以利用双眼像差图控制视差量从而减小对于每个物体的视差量。例如，可以执行对每个物体执行的视差控制，在该视差控制中使得物体A到C中的特定物体B和C的位置可如上所述移向相互不同的方向，从而仅减小物体B和C的视差量。由此，由于与上述相同的原因，还可以不仅减小在水平方向上的视差量，而且减少在深度方向上的视差范围。因此，使得从标准表面观察到更深以及更靠近观察者的物体图像观察起来更靠近基准平面，即，减轻对于每个物体的立体效果。

(第二修改例)

而且，在第一和第二实施方式中，虽然利用焦距f和物距S作为拍摄信息Df而执行了视差控制，且S和f用于作为参数的系数α(S，f)，用作拍摄信息Df的参数不限于此。例如，其他参数也可用作上述拍摄信息Df，或如本修改例中那样仅使用焦距f。

即，考虑到在普通像机中实现焦点对准的范围内，S远大于f(S＞＞f)的事实，视差量Wb2可表达为以下等式(10)。因此，当视差量要改变(增大或减小)为使得视差量的量不被拍摄条件改变时(如上述第一和第二实施方式那样)，由以下等式(11)表达的等式可用作系数α(S，f)。这使得能够如上述第一和第二实施方式那样，抑制变焦操作过程中视差量(立体效果)的不自然变化。

$\mathrm{Wb}2=\mathrm{\α}(S,f)\·L\·\frac{\mathrm{dep}}{(S+\mathrm{dep})}\·\frac{f}{S}\}n$ 等式(10)

$\mathrm{\α}(S,f)=\mathrm{\α}\frac{1}{f}$ (等式11)

虽然前面已经参考实施方式和修改例，通过实例说明了本发明的技术，但本发明的技术不限于此，而是可以多种方式进行修改。例如，在实施方式和修改例中，向通过切换左光路和右光路而获得的左视差图像和右视差图像施加预定图像处理。然而，观看方向不限于左右方向(水平方向)，且可以是上下方向(垂直方向)。而且，可切换三个以上的光路以获得三个以上的视差图像。

而且，在实施方式和修改例中，拍摄信息Df是通过图像处理部13从摄像透镜侧经控制部17获得的。可选地，当在与像机主体(包括摄像透镜和图像传感器)分离设置的装置中执行包括视差控制处理的图像处理时，可采用下面的方法。即，拍摄信息Df可直接从像机主体获得，或可作为每个视差图像中像素(例如，通常不影响图像显示且设置在图像传感器角落的像素)的像素数据而存储。而且，拍摄信息Df可保存在线存储器(line memory)的报头(header)中，以在非拍摄图像的场合中执行视差控制处理。

而且，在实施方式和修改例中，控制视差以使得设置在比物体A更深位置的物体B被观察到更深，而设置得比物体A更近的物体C被观察到更近(反之亦然)，即进行控制以使得各物体的立体效果得到增强(或减轻)，但不限于此。可以控制视差以使得根据所需的立体效果而获得不同的视差图像。而且，在实施方式和修改例中，物体A的图像位置没有从参考位置移位。可选地，物体A可移位以使得物体A也被观察到在比基准平面更深侧(或在更接近观察者侧)。而且，控制视差量的物体数目不限于如上所述的三个，而物体数目可少于或超过三个。

而且，图像处理部13的一系列图像处理可以硬件或软件或其组合来执行。当处理由软件执行时，存储处理序列的程序可安装在装入到特定硬件的计算机的存储器中，从而允许程序被执行，或程序可安装在诸如执行不同处理的多用途计算机的装置中，从而允许程序被执行。例如，程序可预先存储在记录介质中。除了从记录介质安装程序到计算机，程序也可经由诸如LAN(局域网)和因特网的网络接收从而安装到诸如内置硬盘的记录介质中。

本发明包含于2010年5月28日向日本专利局提交的日本在先专利申请JP 2010-122254中所公开的主题，其全部内容结合于此作为参考。

本领域的技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变形，只要它们在所附权利要求或其等同物的范围之内。

Claims (10)

1.一种图像处理装置，包括：

视差控制处理部，利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个所述视差图像执行图像处理以改变视差量，其中所述多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

2.根据权利要求1所述的图像处理装置，其中，所述拍摄信息包括用于获得各个所述视差图像的摄像透镜的焦距和物距。

3.根据权利要求1所述的图像处理装置，其中，所述拍摄信息与用于获得各个所述视差图像的摄像透镜的焦距相关。

4.根据权利要求1所述的图像处理装置，还包括相位差检测部，其从所述视差图像检测所述视差图像之间的相位差作为所述视差量，所述视差是所谓的双眼像差。

5.根据权利要求4所述的图像处理装置，其中，所述视差控制处理部使所述视差图像之间在水平方向上的视差量基于所述相位差检测部检测到的相位差而增大或减小。

6.根据权利要求4所述的图像处理装置，其中，所述相位差检测部为每个像素或为各自包括多个像素的每个像素块检测所述相位差，并为生成双眼像差图，该双眼像差图保存关于每个所述像素或每个所述像素块的所检测出的相位差。

7.根据权利要求6所述的图像处理装置，所述视差控制处理部使所述视差图像之间在深度方向上的视差量基于由所述相位差检测部生成的所述双眼像差图而增大或减小。

8.一种图像处理方法，包括：

利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个所述视差图像执行图像处理以改变视差量，其中所述多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

9.一种非暂时性有形介质，具有计算机可读图像处理程序，所述计算机可读图像处理程序用于被执行以实现一种方法，所述方法包括：

利用与多个视差图像中的每个的拍摄条件相关的拍摄信息，对每个所述视差图像执行图像处理以改变视差量，其中所述多个视差图像通过从多个彼此不同的视点方向拍摄而获得。

10.一种摄像装置，包括：

摄像透镜；

光闸，执行透过模式和遮挡模式之间的切换，所述透过模式使沿多个光路中的每个的光通过所述光闸，而所述遮挡模式使沿多个光路中的每个的光被所述光闸遮挡；

摄像元件，接收沿每个所述光路的透过光，并获取与通过从多个彼此不同的视点方向拍摄而获得的多个视差图像中的每个相应的摄像数据；以及

视差控制处理部，利用表示每个所述视差图像的拍摄条件的拍摄信息，对每个所述视差图像执行图像处理以改变视差量。

Images