CN102598051A - 图像处理装置和图像处理方法 - Google Patents

Abstract

根据本发明一方面的图像处理装置包括：图像输入单元，接收其间具有视差的两视点图像；获取两视点图像间的每个像素或每个区域的视差的视差获取单元；主对象检测单元，检测两视点图像上的主对象；获取主对象的视差的视差获取单元；设置单元，根据要产生的多视点图像的各视点位置设置视差的转换因数；校正单元，基于主对象的视差校正每个像素、每个区域或每个图像的视差的转换因数；多视点图像产生单元，根据校正的视差的转换因数转换两视点图像中的至少一个图像以产生多视点图像；图像调节单元，沿水平方向移动两视点图像或多视点图像使多视点图像上主对象的视差变为适于立体观看的视差；和立体显示图像产生单元，基于多视点图像产生立体显示图像。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，以及更具体地涉及从输入的两视点图像产生多视点图像的图像处理装置和图像处理方法。

背景技术

从具有彼此不同的视点并且被拍摄成立体图像的两个图像产生对应于任意中间视点的图像的技术对于在具有附接有双凸透镜片的表面的立体影印机或各种其他立体图像显示装置上显示适当立体图像是重要的。

PTL 1描述了一种技术，其中深度或双眼之间的视差的增加相对于作为中心的任意点被线性压缩，以及可以相应地通过简单转换得到期望的深度感。根据该技术，可以改变将被产生的三维显示图像的预定区域中的深度感，从而能够灵活响应观众等的喜好。

引用列表

专利文献

PTL 1日本专利申请公开No.08-331607

发明内容

技术问题

然而，根据在PTL 1中描述的发明，由于没有执行对主对象的立体效果的目标值的控制，因此在这种情况下，对由于过大视差导致的不能被立体观察的图像执行抑制视差的处理，这样产生了作为不利效果的缺点，即主对象的视差分布变得过分小，从而可能失去立体效果。

本发明鉴于上述情况而提出，因此其目的是提供产生多视点图像的图像处理装置和图像处理方法，其中整个图像的视差被抑制得足够小，从而在保持主对象的立体效果的同时，能够进行立体观看。

问题的解决方案

为了实现上述目的，根据本发明的第一方面的图像处理装置包括：图像输入单元，用于接收彼此之间具有视差的两视点图像；用于获取两视点图像之间的每个像素或每个区域的视差的视差获取单元；主对象检测单元，用于检测两视点图像上的主对象；用于获取主对象的视差的视差获取单元；设置单元，用于根据将要产生的多视点图像的各个视点位置设置视差的转换因数；校正单元，用于根据主对象的视差校正每个像素、每个区域、或每个图像的视差的转换因数；多视点图像产生单元，用于根据校正的视差的转换因数转换两视点图像中的至少一个图像，从而产生多视点图像；图像调节单元，用于沿水平方向移动两视点图像或多视点图像，以使得多视点图像上的主对象的视差变为适于立体观看的视差；以及立体显示图像产生单元，用于基于多视点图像产生立体显示的图像。

根据第一方面，基于主对象的视差，针对每个像素来校正根据将要产生的多视点图像的各个视点位置的视差的转换因数，因此可以产生多视点图像，其中整个图像的视差被抑制为足够小，从而在保持主对象的立体效果的同时能够进行立体观看。

根据本发明的第二方面的图像处理装置在所述第一方面中还包括：保持单元，用于保持整个图像的目标视差分布以及主对象的目标视差分布，其中：设置单元设置视差的转换因数，以使得将要产生的多视点图像的整个图像的视差分布满足整个图像的目标视差分布；以及校正单元，其校正每个像素、每个区域、或每个图像的视差的转换因数，以使得将要产生的多视点图像上的主对象的视差分布满足主对象的目标视差分布。

这使得产生具有适当的整个图像的视差分布和主对象的视差分布的多视点图像成为可能。

根据本发明的第三方面的图像处理装置在所述第一或第二方面中进一步包括：输出单元，用于以预定尺寸输出所产生的立体显示图像；以及修改单元，用于根据所述预定尺寸修改整个图像的目标视差分布以及主对象的目标视差分布。

这就使得产生具有根据输出尺寸的视差的多视点图像成为可能。

在根据本发明的第四方面的图像处理装置中，第一至第三方面中的校正单元基于每个像素或每个区域的视差与主对象的视差之间的差校正每个像素、每个区域、或每个图像的转换因数。

这使得产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第五方面的图像处理装置中，第四方面中的校正单元校正视差的转换因数，以使得在视差之间具有较大差的像素或区域中更多地抑制视差。

这就使得产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第六方面的图像处理装置中，第四方面中的校正单元校正视差的转换因数，以使得在视差之间具有较小差的像素或区域中更多地增大视差。

这就使得产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第七方面的图像处理装置在第四方面中进一步包括：拍摄模式检测单元，用于从两视点图像的附属信息中检测拍摄两视点图像时设置的拍摄模式；以及选择单元，用于根据所检测到的拍摄模式，来选择是使校正单元校正视差的转换因数以使得在视差之间具有较大差的像素或区域中更多地抑制视差，还是使校正单元校正视差的转换因数以使得在视差之间具有较小差的像素或区域中更多地增大视差。

这使得产生具有适当的整个图像的视差或主对象的视差的多视点图像成为可能。

根据本发明的第八方面的图像处理装置在第一方面中进一步包括视差柱状图获取单元，用于获取每个像素的视差或每个区域的视差的柱状图，其中校正单元校正每个像素或每个区域的视差的转换因数，以使得视差阶调随柱状图中的频率保持恒定。

这就使得产生具有恒定视差阶调的多视点图像成为可能。

根据本发明的第九方面的图像处理装置在第一方面中进一步包括：拍摄场景识别单元，用于识别两视点图像上的拍摄场景；以及主对象设置单元，用于根据拍摄场景设置主对象区域，其中，校正单元根据图像上距离主对象区域的距离校正每个区域或每个像素的视差的转换因数。

这就使得通过简单处理设置主对象、以及产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第十方面的图像处理装置，第九方面中的拍摄场景识别单元包括拍摄模式检测单元，用于从两视点图像的附属信息中检测拍摄两视点图像时设置的拍摄模式；在所检测出的拍摄模式是人物模式的情况下，主对象区域设置单元将通过垂直分割图像所获得的多个区域中的中央区域设置为主对象区域；以及校正单元根据在水平方向上距离主对象区域的距离来校正每个区域或每个像素的视差的转换因数。

这使得通过简单处理设置主对象，以及产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第十一方面的图像处理装置，第九方面中的拍摄场景识别单元包括拍摄模式检测单元，其从两视点图像的附属信息中检测拍摄两视点图像时设置的拍摄模式；在所检测到的拍摄模式是场景模式时，主对象区域设置单元将通过水平分割图像得到的多个区域中的中心区域设置为主对象区域；以及校正单元，根据在垂直方向上距离主对象区域的距离校正每个区域或每个像素的视差的转换因数。

这使得通过简单处理设置主对象，以及产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

根据本发明的第十二方面的图像处理装置，第九方面中的拍摄场景识别单元包括提取单元，用于从两视点图像中提取短距离景象区域、中距离景象区域和长距离景象区域；以及第九方面中的校正单元根据各个提取出的区域校正每个区域或每个像素的视差的转换因数。

这使得通过简单处理设置主对象、以及产生具有适当的整个图像的视差和主对象的视差的多视点图像成为可能。

在根据本发明的第十三方面的图像处理装置中，在将要产生的多视点图像是四个或更多的情况下，第一至第十二方面中的设置单元设置视差的转换因数，以使得在中央部分中的视点位置之间的差大于在两端部分处的视点位置之间的差。

这就使得产生能够以各种式样观看的多视点图像成为可能。

在根据本发明的第十四方面的图像处理装置中，第一至第十三方面中的校正单元校正每个像素、每个区域、或每个图像的视差的转换因数，以使得两视点图像中的一个图像的视差的转换因数变为零；以及多视点图像产生单元对视差的转换因数为零的图像进行转换，从而产生多视点图像。

这就使得关于多视点图像的至少一端的图像使用实际拍摄图像成为可能。

在根据本发明的第十五方面，第一至第十三方面中的校正单元校正每个像素、每个区域、或每个图像的视差的转换因数，以使得在将要产生的多视点图像的中央视点位置处的图像的视差的转换因数变为最小。

这使得产生自然的多视点图像成为可能。

为了实现上述目的，根据本发明的第十六方面的图像处理方法，包括：图像输入步骤，用于接收彼此之间具有视差的两视点图像；用于获取两视点图像之间的每个像素或每个区域的视差的视差获取步骤；主对象检测步骤，用于检测两视点图像上的主对象；用于获取主对象的视差的视差获取步骤；设置步骤，用于根据将要产生的多视点图像的各个视点位置设置视差的转换因数；校正步骤，用于基于主对象的视差校正每个像素、每个区域、或每个图像的视差的转换因数；多视点图像产生步骤，用于根据校正的视差的转换因数转换两视点图像的至少一个图像，从而产生多视点图像；图像调节步骤，用于沿水平方向移动两视点图像或多视点图像，以使得多视点图像上的主对象的视差变为适于立体观看的视差；以及立体图像产生步骤，用于基于多视点图像产生立体显示图像。

发明的有益效果

根据本发明，整个图像的视差可以被抑制的足够小从而使得在保持主对象的立体效果的同时，能够进行立体观看。

附图说明

图1是示出了根据第一实施例的多视点图像的产生过程的流程图；

图2A是示出了输入图像的示例的示意图；

图2B是示出了主对象区域的示意图；

图2C是示出了在右视点图像和左视点图像之间的对应关系的示意图；

图2D是示出了在右视点图像R被移动之后，左视点图像L和右视点图像R的示意图；

图2E是示出了多视点图像C0至C5的示意图；

图2F是示出了最终的多视点图像S0至S5的示意图；

图3A是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图3B是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图3C是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图3D是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图4A是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图4B是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图4C是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图4D是示出了用于设置每个像素的视差的校正量的函数Table(x)的曲线；

图5是示出了根据主对象的用于设置Factor2的过程的流程图；

图6是示出了根据第三实施例的用于多视点图像的产生过程的流程图；

图7是示出了用于设置每个像素的视差的转换因数Factor1的过程的流程图；

图8A是示出了视差分布的曲线；

图8B是示出了视差分布的曲线；

图9是示出了用于设置每个图像的视差的转换因数Factor1的过程的流程图；

图10是示出了根据第四实施例的多视点图像的产生过程的流程图；

图11A是示出了视差分布的曲线；

图11B是示出了校正量Factor2的曲线；

图12是示出了根据第五实施例的多视点图像的产生过程的流程图；

图13是示出了根据第五实施例的多视点图像的产生过程的流程图；

图14A是描述左视点图像的等分的示意图；

图14B是描述左视点图像的等分的示意图；

图15是示出了根据第六实施例的多视点图像的产生过程的流程图；以及

图16是示出了图像处理装置10的框图。

具体实施方式

以及将参考附图描述根据本发明的图像处理装置和图像处理方法的优选实施例。

<第一实施例>

图1是示出了根据第一实施例的多视点图像的产生过程的示意图，以及图2是各自示出了用于描述每个过程的图像示例的示意图。在本实施例中，对所产生的多视点图像之间的视差进行控制，从而在该图像中的主对象具有适合的立体效果。

首先，输入平行双眼立体图像(步骤S1)。平行双眼立体图像表示两个图像(两视点图像)，即，彼此具有不同视点的左视点图像和右视点图像。在此，以输入如图2A中示出的左视点图像L和右视点图像R的情况为例进行说明。

接下来，设置将要产生的每个图像的视差的转换因数Factor1(步骤S2)。在此，讨论根据左视点图像和右视点图像产生六视点图像(六个多视点图像)的情况。这六个图像的转换因数Factor1[0]至Factor1[5]例如被分别设置为0，0.2，0.4，0.6，0.8和1.0。

应该理解，将要产生的多视点图像的视点的数量不局限于6，并且可以根据输出装置适当确定。

接下来，从左视点图像L检测到主对象，以及获取所检测到的主对象在该图像中的区域(步骤S3)。以下，使用包括该主对象的矩形区域的左上坐标(X_topleft，Y_topleft)和右下坐标(X_bottomright，Y_bottomright)，将检测到的主对象在该图像中的区域描述为区域(X_topleft，Y_topleft)-(X_bottomright，Y_bottomright)。应该注意，主对象区域的形状不局限于矩形。

关于主对象，例如，在图像中检测到人或人脸的情况下，人或人脸被定义为主对象。可替换地，从输入的图像数据的附属信息中获取拍摄时的焦点位置，并且将具有根据焦点位置的距离的视差的区域定义为主对象。仍然可替换地，可以基于针对每个像素获取的视差产生视差柱状图，以及将在频率分布中具有平均值、最频值(modevalue)、中值或类似值的视差的区域定义为主对象。在该种情况下，优选地关于例如去除图像的10％的边界的区域创建视差柱状图。这是因为主对象可以被认为不存在于图像的边界中。

在图2B示出的示例中，人脸被检测为主对象。此外，图2B中示出的图像中的框表示检测到的主对象的区域(X_topleft，Y_topleft)-(X_bottomright，Y_bottomright)。

接下来，参考左视点图像L，获取相对于右视点图像R的每个像素的视差D(x，y)(步骤S4)。每个像素的视差D(x，y)是通过计算左视点图像L和右视点图像R之间的相关性来获取的，从而检测出两者之间的每个像素的相应点。

图2C示出了左视点图像L上的主对象内的点L(x_L，y_L)及其右视点图像R上的相应点R(x_R，y_R)。在此，y_L＝y_R，从而该像素处的视差由视差D(x，y)＝x_R-x_L表示。

此外，基于每个像素的视差D(x，y)获取主对象的视差D[main](步骤S5)。主对象的视差D[main]被表示为主对象的区域(x_topleft，y_topleft)-(x_bottomright，y_bottomright)中的每个像素的视差D(x，y)的平均值，如下面的表达式1中所示。

[表达式1]

$D\left[\min \right]=\frac{\underset{\mathrm{ytopright}}{\overset{\mathrm{ybottomright}}{\mathrm{\&Sigma;}}}\underset{\mathrm{xtopright}}{\overset{\mathrm{xbottomright}}{\mathrm{\&Sigma;}}}D(x,y)}{(\mathrm{xbottomright}-\mathrm{xtopleft}+1)\&times;(\mathrm{ybottomright}-\mathrm{ytopleft}+1)}$

接下来，右视点图像R在水平方向移动视差D[main]，从而左视点图像L和右视点图像R之间的主对象的视差变为0(步骤S6)。图2D是示出了移动后的左视点图像L和右视点图像R的示图。移动后的右视点图像R上的相应点R的坐标是(x_L，y_L)。

基于作为右视点图像R的移动量的视差D[main]，对在步骤S4中获取的每个像素的视差进行更新(步骤S7)。即，更新后的每个像素的视差被表示为newD(x，y)＝D(x，y)-D[main]。该newD(x，y)对应于每个像素的视差D(x，y)与主对象的视差之间的差diff(x，y)。每个像素的视差的校正量Factor2根据该diff(x，y)设置。即，获得Factor2(x，y)＝Table(Diff(x，y))的表达式。

在此，描述函数Table(x)。

图3A至3D是各自示出了用于根据与主对象的视差的差设置抑制立体效果的视差校正量的函数Table(x)的曲线，在每条曲线中，水平轴表示与主对象的视差的差Diff(x，y)，以及垂直轴表示每个视差的校正量。

图3A是示出了当没有执行校正时的函数Table(x)的曲线。如在该图中所示，在没有执行每个像素的校正的情况下，校正量Factor2总是设置为1。

图3B示出了当随着偏离主对象的视差的增加而更多地抑制视差(更多地抑制立体效果)时的函数Table(x)时。在该方法中，相应像素处的视差通过将校正量Factor2设置为小于1的值来抑制

此外，图3C示出了当在x_min≤x≤x_max的范围内没有执行校正，以及在小于x_min的部分和大于x_max的部分中抑制视差时的函数Table(x)。

此外，图3D示出了当在x_min≤x≤x_max的范围内没有执行校正，以及在小于x_min的部分和大于x_max的部分中，视差的放大倍数与偏离主对象的视差的增大成比例地更加减少。

如上所述，每个像素的校正量Factor2可以利用线性或非线性表达式赋予每个像素的视差，或者可以利用表来赋予。此外，在此，对称正负值被设置为diff(x，y)＝0，但是也可以对其设置不对称值。

此外，图4是各自示出了根据主对象的视差的差，设置用于加强立体效果的视差校正量的函数Table(x)的曲线。

图4A是示出了当类似于图3A没有执行校正时的函数Table(x)的曲线，以及图4B示出了当视差随着偏离主对象的视差的减少而更多地增加(立体效果被更加增强)时的函数Table(x)。在该种方法中，对应像素处的视差通过将校正量Factor2设置为大于1的值来实现。

此外，图4C示出了当在x_min≤x≤x_max的范围内视差随着偏离主对象的视差的减少而更多地增加以及在小于x_min的部分或在大于x_max的部分中不执行校正时的函数Table(x)，以及图4D示出了当在x_min≤x≤x_max的范围内均一增加视差，以及在小于x_min的部分或在大于x_max的部分中视差的放大倍数与偏离主对象的视差的增加成比例地更多地减少时的函数Table(x)。

如上所述，可以根据与主对象的视差的差来设置每个像素的校正量Factor2(x)以增强立体效果。

左视点图像L基于以下因素来转换：如上所述设置的每个像素的视差的校正量Factor2(x，y)；以及在步骤S2中设置的每个图像的视差的转换因数Factor[i]，由此产生六个多视点图像C0至C5(步骤S9)。即，多视点图像Cn的每个像素Cn(x，y)如下所示根据左视点图像L的每个像素L(x，y)计算出来。

Cn(x+Factor1[n]×Factor2(x，y)×newD(x，y)，y)＝L(x，y)...等式1

图2E是示出了这样产生的多视点图像C0至C5的示意图，其中省略了C2至C4。在每个多视点图像C0至C5上的主对象的视差为0。

接下来，将六个多视点图像C0至C5各自在水平方向上移动，以使得多视点图像C0至C5上的主对象的视差变为预定视差D[target]，由此产生最终多视点图像S0至S5(步骤S10)。即，如下根据多视点图像Cn的每个像素Cn(x，y)计算出最终多视点图像Sn的每个像素Sn(x，y)。

Sn(x，y)＝Cn(x-D[target]×Factor1[n]/Factor1[5]，y)...等式2

图2F是示出了这样产生的最终多视点图像S0至S5的视图，其中省略了S2至S4。每个最终多视点图像S0至S5上的主对象的视差被适当设置。

从六个最终多视点图像S0至S5产生用于输出的立体图像(步骤S11)。在该步骤中，采用适于每个输出装置的处理方法，例如多视点透镜图像转换和用于多视点液晶屏障监视器(liquid crystalbarrier monitor)的图像转换。

最后，所产生的立体图像被输出至输出装置(步骤S12)。

在该方法中，从输入的两视点图像，通过使用每个图像的视差的转换因数和根据与主对象的视差的差设置的每个像素的视差的校正量，来产生多视点图像，以及基于主对象的目标视差移动图像，由此产生最终多视点图像，作为结果，可以获得具有适当的整个图像的视差和主对象的视差的立体图像。

在本实施例中，针对左视点图像L计算出视差D(x，y)，以及基于计算出的视差D(x，y)，针对左视点图像L产生最终的多视点图像S0至S5，以及优选地，根据相同的过程，针对右视点图像R计算出视差D(x，y)，以及基于计算出的视差D(x，y)，针对右视点图像R产生最终多视点图像S5至S0，以及然后将针对左视点图像L产生的各个多视点图像和针对右视点图像R产生的各个多视点图像彼此进行复合。应该注意多视点图像C0至C5可以关于右视点图像和左视点图像进行复合，并且可以基于混合的多视点图像C0至C5产生最终多视点图像S0至S5。

此外，在本实施例中，获取每个像素的视差，以及相应地计算每个像素的视差的校正量，可替换地，可以获取每个区域的视差，以及相应地计算出每个区域的视差的校正量。此外，每个图像的视差的校正量可以被计算出。

<第二实施例>

在此，以从图像的附属信息检测到主对象、以及根据所检测到的主对象设置校正量Factor2为例进行描述。

首先，如在图5的流程图中所示，当输入平行双眼立体图像(两视点图像)时(步骤S1)，确定事先由用户设置的校正处理模式(步骤S21)。在校正处理模式被设置为手动模式的情况下，执行根据用户指令的校正(步骤S22)。

同时，在校正处理模式被设置为自动模式的情况下，从输入的两视点图像数据的附属信息中获取输入的两视点图像被图像拾取装置拍摄时对图像获取装置设置的拍摄模式(步骤S23)。

接下来，确定所获取的拍摄模式是否为人物/肖像模式(步骤S24)。在所获取的拍摄模式是人物/肖像模式的情况下，主对象可以被认为是人，因此通过人物识别和脸识别来进行主对象检测(步骤S25)。此外，设置用于执行这样的校正以增强主对象的立体效果的的校正量Factor2。

在该方法中，因为在人物/肖像模式拍摄的图像上的主对象是清楚的，因此执行这样的校正以增强主对象的立体效果。

同时，在所获取的拍摄模式不是人物/肖像模式的情况下，接下来确定所获取的拍摄模式是否是场景模式(步骤S27)。在所获取的拍摄模式是场景模式的情况下，通过检测视差柱状图中的中值来执行主对象检测(步骤S28)，以及设置用于执行这样的校正以抑制边界的立体效果的校正量Factor2(步骤S29)。

在该方法中，因为在场景模式下拍摄的图像上的主对象是不清楚的，所以通过使用中心加权视差柱状图来检测主对象区域。此外，在场景模式拍摄的图像具有极大的视差分布，所以为了防止在短距离景象和长距离景象中非常强的视差使得不能制成立体视图，执行校正，从而抑制视差明显不同于主对象的视差的区域的立体效果。

应该注意，在从图像数据的附属信息中获取的拍摄模式不是人物/肖像模式和场景模式中的任一种时，不执行校正(步骤S30)。

在该方法中，从图像数据的附属信息中检测主对象，以及根据所检测出的主对象设置Factor2，由此能够执行适于主对象的校正。

<第三实施例>

参考图6，描述根据第三实施例的多视点图像的产生过程。在本实施例中，通过根据视差的转换因数压缩视差来产生多视点图像，以及在这样产生的多视点图像上的主对象的视差的范围小于目标视差范围的情况下，设置校正量，以增强主对象的立体效果。

类似于第一实施例，当两视点图像被输入时(步骤S1)，从左视点图像L检测到主对象，并获得该图象中的主对象的区域(X_topleft，Y_topleft)-(X_bottomright，Y_bottomright)，以及针对左视点图像L，获得与右视点图像R的每个像素的视差D(x，y)(步骤S4)，以及获得主对象的视差D[main](步骤S5)。

接下来，将右视点图像R沿水平方向移动视差D[main]，使得左视点图像L和右视点图像R之间的主对象的视差变为0(步骤S6)，从而每个像素的视差被更新(步骤S7)。

在此，获得在左视点图像L上的主对象的区域(X_topleft，Y_topleft)-(X_bottomright，Y_bottomright)中包含的视差分布中的最大值D[main]max和最小值D[main]min(步骤S31)。

此外，获取左视点图像L的除了10％的图像边缘的所有像素的视差分布中的最大值D[entirety]max和最小值D[entirety]min(步骤S32)。

接下来，基于：整个图像的预定目标视差分布中的最大值D[target entirety]max和最小值D[target entirety]min；以及在步骤S32中获取的所有像素的视差分布中的最大值D[entirety]max和最小值D[entirety]min，设置每个图像的视差的转换因数Factor1(步骤S33)。

参考图7的流程图描述转换因数的设置。

首先，确定是否D[target entirety]max≥D[entirety]max且是否D[target entirety]min≤D[entirety]min，即，所有像素的视差分布是否落在目标视差分布中(步骤S41)。如果为是，则将变量tmp设置为1，以及类似于第一实施例，将每个图像的视差的转换因数Factor1[0]至Factor1[5]分别设置为0，0.2，0.4，0.6，0.8和1.0(步骤S42)。

在所有像素的视差分布没有落在目标视差分布中的情况下，将变量tmp设置为D[entirety]max/D[target entirety]和D[entirety]min/D[target entirety]min中的较大值。此外，使用变量tmp，将每个图像的视差的转换因数Factor1[0]至Factor1[5]分别设置为0，0.2/tmp，0.4/tmp，0.6/tmp，0.8/tmp，以及1.0/tmp(步骤S43)。

例如，在输入的两视点图像具有图8A中所示的视差分布的情况下，即使以这样的视差产生多视点图像，视差也非常大，以至于不能形成立体视图。因此，以每个像素的视差除以变量tmp，从而转换为图8B中示出的视差分布，这样，视差分布落在目标视差分布内。根据转换后的视差分布，设置多视点图像之间的每个图像的视差的转换因数Factor1。

在该方法中，基于所有像素的视差分布和整个图像的目标视差分布适当地设置每个图像的视差的转换因数Factor1。

接下来，基于：主对象的预定目标视差分布中的最大值D[targetmain]max和最小值D[target main]min；以及主对象的视差分布的最大值D[main]max和最小值D[main]min(在所有像素的视差分布被Factor1校正，以及校正后的主对象的视差分布的情况下)，设置每个像素的视差的校正量Factor2(步骤S34)。

参考图9的流程图描述校正量的设置。

首先，确定是否D[target main]max-D[target main]min≤(D[main]max-D[main]min)/tmp，即，是否主对象的视差范围宽于目标视差范围(步骤S51)。在主对象的视差范围较宽的情况下(步骤S51中的是)，确定主对象的立体效果足够，从而将每个像素的视差的校正量Factor2设置为1(步骤S52)。即，不执行每个像素的视差的校正。

此外，在目标视差范围较宽的情况下(步骤S51中的否)，确定主对象的立体效果不足，从而设置校正量Factor2，以增加主对象的视差。在此，校正量Factor2根据图4D中示出的函数Table(x)来设置，从而xmin＝D[main]min/tmp以及xmax＝D[main]max/tmp(步骤S53)。即，将Factor2设置为使得视差在D[main]min/tmp至D[main]max/tmp之间均一地增加，以及视差的放大因数在小于D[main]min的部分和大于D[main]max/tmp的部分中与偏离主对象的视差的增加成比例地更多地减小。

例如，在如图8B中所示的主对象的视差分布和主对象的目标视差分布的情况下，目标视差分布变宽，因此，如在步骤S53中一样来设置每个像素的视差的校正量Factor2。

在该方法中，基于：主对象的实际视差分布；以及主对象的目标视差分布，来设置每个像素的视差的适当校正量Factor2。

基于：如上所述设置的每个像素的视差的校正量Factor2(x，y)；以及在步骤S42或步骤S43中设置的每个图像的视差的转换因数Factor[i]，来产生六个多视点图像C0至C5(步骤S9)。此外，产生最终的多视点图像S0至S5，使得主对象的视差变为预定视差D[target](步骤S10)。

最后，从六个最终多视点图像S0至S5产生用于输出的立体图像(步骤S11)，以及输出所产生的立体图像(步骤S12)。

在该方法中，在根据视差的转换因数压缩之后的主对象的视差范围窄于主对象的目标视差的范围的情况下，执行校正，以增强主对象的立体效果，由此可以产生具有适当的主对象视差的立体图像。

应该注意，优选地根据多视点图像的输出尺寸来修改目标视差。

例如，在整个图像的预设目标视差分布和主对象的预设目标视差分布都适合于预定参考输出尺寸的情况下，可想到的是进行修改因数Factor3＝输出尺寸/参考输出尺寸的限定，并且根据修改因数Factor3修改目标视差分布。即，在整个图像的目标视差分布中的最大值D[target entirety]max和最小值D[target entirety]min以及在主对象的目标视差分布中的最大值D[target main]max和最小值D[target main]min中的每一个都被修改因数Factor3除以修改目标视差分布，从而基于修改后的值执行步骤S33和步骤S34的处理。

立体视图不可能情况下的视差的幅值根据输出图像的尺寸而不同，因此，如上所述根据多视点图像的输出尺寸来修改目标视差，由此可以根据输出图像的尺寸产生具有适当视差的多视点图像。

<第四实施例>

参考图10，描述根据第四实施例的多视点图像的产生处理。在本实施例中，设置每个像素的校正量Factor2，以平坦化图像中的视差阶调。

从步骤S1至步骤S7的处理与上面的相同，因此省略对其的描述。

接下来，根据在步骤S4中获取的每个像素的视差创建视差柱状图(步骤S61)，以及根据所创建的柱状图设置每个像素的校正量Factor2(步骤S62)。在该步骤中，Factor2基于下面的表达式设置。

[表达式2]

$\mathrm{Factor}2\left(D\right)=\frac{1}{\mathrm{Hist}\left(0\right)}\&times;\frac{\underset{x=0}{\overset{D}{\mathrm{\&Sigma;}}}\mathrm{Hist}\left(x\right)}{\left|D\right|+1}$

例如，在图11A中示出的视差分布的情况下，基于[表达式2]计算出的每个像素的校正量Factor2(F2(D))如图11B所示进行设置。

从步骤S10至步骤S12的后续处理类似于上述实施例，因此省略对其的描述。

在该方法中，视差的校正量增加，以增强在视差柱状图中具有较高频率的部分中的立体效果，以及减少视差的校正量以抑制在具有较低频率的部分中的立体效果，由此使视差的对比(contrast)相同。因此，用户易于将长距离景象和短距离景象进行区别，以及区别和识别立体效果。

<第五实施例>

参考图12和图13，描述根据第五实施例的多视点图像的产生过程。在本实施例中，根据拍摄两视点图像时的拍摄模式设置主对象区域。

当输入两视点图像时(步骤S1)，设置每个图像的视差的转换因数Factor1(步骤S2)，以及获取每个像素的视差D(x，y)(步骤S4)。

接下来，从输入的两视点图像数据的附属信息中获取利用图像拾取装置拍摄输入的两视点图像时对图像拾取装置设置的拍摄模式(步骤S71)，从而确定所获取的拍摄模式是否是人物/肖像模式(步骤S72)。

在设置了人物/肖像模式的情况下(步骤S72中的YES)，通过垂直分割左视点图像获得的多个区域的图像中央部分被设置为主对象区域(步骤S73)。例如，如在图14A中所示，左视点图像L垂直等分为三部分，中央区域A1被设置为主对象区域。

计算主对象区域中的视差的平均值，并将其定义为主对象的视差D[main](步骤S74)。此外，右视点图像R沿水平方向移动视差D[main]，以使得左视点图像L和右视点图像R之间的主对象的视差变为0(步骤S75)，以及在步骤S4中获取的每个像素的视差根据作为上述移动量的视差D[main]进行更新。

接下来，针对每个像素获取图像上沿水平方向上距离主对象区域的距离L(x，y)(步骤S77)，以及根据该距离设置每个像素的校正量Factor2(x，y)＝f(L(x，y))(步骤S78)。

例如，在图14A的示例中，Factor2(x，y)被设置为使得视差在主对象区域A1中均匀增加，以及在主对象区域A1的左右区域中，视差的放大因数与在水平方向上偏离主对象区域的增加成比例地更多地减少。

基于：这样设置的每个像素的校正量Factor2(x，y)；以及在步骤S2中设置的每个图像的转换因数Factor1，来转换左视点图像L，以产生六个多视点图像C0至C5(步骤S79)。

从步骤S10至步骤S12的后续过程与上面的相同，因此在此省略对其的描述。

同时，在所获取的拍摄模式不是人物/肖像模式(步骤S72中的否)的情况下，处理进行到图13的流程图，确定所获取的拍摄模式是否为场景模式(步骤S81)。

在所获取的拍摄模式不是场景模式(步骤S81中的否)的情况下，不执行每个像素校正，左视点图像L基于每个图像的转换因数Factor1进行转换，以产生六个多视点图像C0至C5(步骤S82)。

在所获取的拍摄模式是场景模式的情况下(步骤S72中的是)，通过水平分割图像获得的多个区域的中央部分被设置为主对象区域(步骤S83)。例如，如图14B中所示，左视点图像L水平等分为三部分，以及中央区域A2被设置为主对象区域。

计算在主对象区域中的视差的平均值，并将其定义为主对象的视差D[main](步骤S84)。此外，右视点图像R沿水平方向移动视差D[main]，使得左视点图像L和右视点图像R之间的主对象的视差变为0(步骤S85)，以及在步骤S4中获取的每个像素的视差根据作为移动量的视差D[main]进行更新(步骤S86)。

接下来，针对每个像素获取图像上沿水平方向距离主对象区域的距离L2(x，y)(步骤S87)，以及根据该距离设置每个像素的校正量Factor2(x，y)＝f(L2(x，y))(步骤S88)。

例如，在图14B中的示例中，Factor2(x，y)被设置为使得在主对象区域A2中不执行校正，以及视差在主对象区域A2的上方和下方的区域中与在垂直方向上偏离主对象区域的增加成比例地更多地被抑制。

基于：这样设置的每个像素的校正量Factor2(x，y)；以及在步骤S2中设置的每个图像的转换因数Factor1，来转换左视点图像L，以产生六个多视点图像C0至C5(步骤S89)。

在该方法中，从附属信息中获取拍摄两视点图像时的拍摄模式，以及基于拍摄模式估计主对象区域，由此不计算视差分布就可以给出适当的视差量。

<第六实施例>

参考图15，描述根据第六实施例的多视点图像的产生过程。在本实施例中，分析在输入的两视点图像上的场景，从而区别短距离景象、中距离景象以及长距离景象，以及将中距离景象区域设置为主对象。

当输入两视点图像时(步骤S1)，设置每个图像的视差的转换因数Factor1(步骤S2)，以及获取每个像素的视差D(x，y)(步骤S4)。

接下来，分析输入的两视点图像数据上的场景，将每个区域分类成短距离景象、中距离景象以及长距离景象(步骤S81)，以及将中距离景象区域设置为主对象(步骤S82)。在场景分析中，例如，左视点图像L被分成多个区域，以及产生每个分割区域的亮度柱状图，然后，具有宽亮度分布的区域，即，具有高对比度的区域被分类为短距离景象，以及具有窄亮度分布的区域，即具有低对比度的区域被分类为长距离景象。

接下来，基于在步骤S4中获取的每个像素的视差D(x，y)，计算在步骤S81中设置的主对象的视差的平均值，从而获取主对象的视差D[main](步骤S5)。

此外，右视点图像R沿水平方向移动视差D[main]，从而左视点图像L和右视点图像R之间的主对象的视差变为0(步骤S6)，以及更新每个像素的视差(步骤S7)。

然后，为每个短距离景象区域、中距离景象区域以及长距离景象区域设置每个像素的校正量Factor2(步骤S83)。

例如，可想到，将Factor2(x，y)设置为使得视差在中距离景象区域中均匀增加，以及在短距离景象区域和长距离景象区域中不执行校正，还可以想到，将Factor2(x，y)设置为使得在中距离景象区域中不执行校正，以及在短距离景象区域和长距离景象区域中抑制视差。

从步骤S9至步骤S12的后续处理与上面类似，因此在此省略对其的描述。

在该方法中，短距离景象、中距离景象以及长距离景象通过场景分析进行区分，然后，即使在每个像素的视差D(x，y)被利用相应点检测错误计算的情况下，中距离景象区域也可以被适当设置为主对象区域。

<其他修改示例>

在第一和其他实施例中，每个图像的视差的转换因数Factor1(0)至Factor1(5)分别被设置为0，0.2，0.4，0.6，0.8以及1.0，但是它们可以以不规则间隔进行设置，例如，设置为0，0.1，0.3，0.7，0.9和1.0。

当如上所示设置转换因数时，例如，最终多视点图像S0-S1之间的视差和最终多视点图像S4-S5之间的视差被压缩以减少立体效果，从而可更多地避免图像故障。此外，视点图像S1-S2之间的立体效果和视点图像S3-S4之间的立体效果可以照原样被再生。此外，可以增强视点图像S2-S3之间的立体效果。

在该方法中，每个图像的视差的转换系数Factor1可以以规则间隔设置，或者可以被设置为使得在中央部分中的图像之间的视差转换因数的差大于在两端部分的图像之间的视差转换因数的差。

此外，计算每个图像的视差的转换因数Factor1和每个像素视差的校正量Factor2，然后，参考左视点图像L产生各个视点图像C0至C5，但是各个视点图像可以参考所产生的多视点图像的视点的中央部分产生。

例如，代替等式1，使用下面给出的等式3使得将各个视点的中央部分(在六个多视点图像的情况下，在视点图像C2和C3之间的部分)定义为各个视点图像的参考成为可能。

Cn(x+Factor1(n)×(Factor2(x，y)-1.0)/2×newD(x，y)，y)＝L(x，y)...等式3

如果左视点图像L被作为参考，则存在由对右视点图像更加加强/抑制每个像素的视差导致的图像失真变得更大的可能性，相反，如果各个视点的中央部分被作为参考，则图像失真可以在左右均等地分布，从而可以产生自然的多视点图像。

<图像处理装置的配置>

图16是示出了用于实现第一至第六实施例的图像处理装置10的框图。该图像处理装置10由例如个人计算机和工作站构成。图像处理装置10包括图像输入单元11、图像输出单元12、处理方法指令单元13、视差获取单元15、视差转换因数设置单元17、视差转换因数校正单元18、图像转换单元20、以及立体图像产生单元23。

图像输入单元11接收被拍摄为立体图像的左视点图像L和右视点图像R(两视点图像)，并且其相当于例如：从其中存储多图片文件(MP文件)的记录介质读取MP文件的图像读取装置，在多图片文件中，用于立体图像的多视点图像彼此连接；以及通过网络获取MP文件的装置。

图像输出单元12输出所产生的立体图像，并且其相当于：用于立体拍摄打印的打印装置，其具有附有双凸透镜片的表面；视差屏障监视器；等等。

处理方法指令单元13是用于设置在图5的步骤S21中确定的自动模式/手动模式的校正处理过程、以及用于设置每个图像的转换因数Factor1和每个像素的校正量Factor2的操作单元。此外，输出尺寸指令单元14是用于给出将被输出的立体图像的尺寸指令的操作单元。这些单元由键盘和指示装置构成。应该注意，输出尺寸指令单元14可以被配置为自动获取图像输出单元12的输出尺寸。

视差获取单元15获取由图像输入单元11接收的左视点图像L和右视点图像R之间的每个像素或每个区域的视差D(x，y)，并且用在例如图1的步骤S4中。

柱状图创建单元16基于由视差获取单元15获取的每个像素或每个区域的视差D(x，y)创建视差柱状图，并用在例如图10的步骤S61中。

视差转换因数设置单元17设置各个视点图像之间的视差的转换因数Factor1(0)至Factor(5)。基于处理方法指令单元13的输入，以规则间隔将转换因数设置为例如：0，0.2，0.4，0.6，0.8和1.0，以及将这些转换因数设置为使得在中央部分中的图像之间的视差转换因数的差大于在两端部分处的图像之间的视差转换因数的差，例如，设置为0，0.1，0.3，0.7，0.9和1.0。

视差转换因数校正单元18决定各个视点图像的校正量，使得将被用作参考的图像的视差的校正量变为0或最小。例如，使用等式1使得可以获得针对左视点图像L的校正量，以及使用等式3使得可以将视点图像C2和C3之间的部分定义为各个视点图像的参考。

校正方法选择单元19根据后面将被描述的拍摄模式检测单元28的检测结果选择用于校正量Factor2的计算方法，并且用在图5的步骤S24和步骤S27中。

图像转换单元20包括视差图像转换单元21，以及图像移动单元22。

视差→图像转换单元21基于每个图像视差的转换因数Factor1，以及每个像素视差的校正量Factor2来转换图像，从而产生多视点图像，并用在例如图1的步骤S9中。

此外，图像移动单元22根据视差D[target]沿水平方向移动多视点图像，并且用在例如图1的步骤S10中。

立体图像产生单元23基于所产生的最终多视点图像产生用于输出的立体图像，并且用在例如图1的步骤S11中。

视差比较单元24将每个像素视差与主对象的视差进行比较，并且用在例如图1的步骤S8中。

图像分析单元25包括头分析单元26和图像数据分析单元29。

头分析单元26从记录在图像文件的头部分中的附属信息中获取图像信息，并且包括：图像尺寸获取单元27，其获取图像尺寸；以及拍摄模式检测单元28，其获取拍摄图像时设置的拍摄模式。拍摄模式检测单元28的检测结果被用在例如图5的步骤S24和步骤S27中。

此外，图像数据分析单元29基于记录在图像文件的图像主部分中的每个像素的像素值分析图像数据，并且包括：场景分析单元30，其分析拍摄场景；以及主对象检测单元31，其检测图像中的主对象。场景分析单元30的分析结果用在例如图15的步骤S81中。此外，主对象检测单元31包括检测图像中的人脸作为主对象的单元，以及其检测结果被用在例如图1的步骤S3中。

主对象设置单元32基于拍摄模式检测单元28的检测结果以及场景分析单元30的分析结果设置图像中的主对象区域，并且用在图12的步骤S73和图13的步骤S83中。

主对象目标视差保持单元33保持作为在每个最终多视点图像上的主对象的目标视差的视差D[target]，并且该视差[target]被用在例如图1的步骤S10中。

主对象目标视差分布保持单元34保持主对象的目标视差分布，以及整个目标视差分布保持单元35保持整个图像的目标视差分布。这些目标视差分布被用在例如图9的步骤S53和图7的步骤S43中。

目标值修改单元36修改多视点图像之间的目标视差，以及例如根据来自输出尺寸指令单元14的输入计算修改因数Factor3，以及基于修改因数Factor3修改由主对象目标视差保持单元33和主对象目标视差分布保持单元34保持的目标视差。

上述第一至第六实施例可以通过这样配置的图像处理装置10来实现。

应该注意，尽管在此通过硬件来实现多视点图像的每个产生过程，但是该产生过程也可以被实现为用于控制图像处理装置10的多视点图像产生程序。

{参考标号列表}

10图像处理装置

11图像输入单元

12图像输出单元

13处理方法支持单元

15视差获取单元

16柱状图创建单元

17视差转换因数设置单元

18视差转换因数校正单元

20图像转换单元

21视差→图像转换单元

22图像移动单元

23立体图像产生单元

25图像分析单元

26头分析单元

29图像数据分析单元

32主对象设置单元

Claims (16)

1.一种图像处理装置，包括：

图像输入单元，用于接收彼此之间具有视差的两视点图像；

用于获取所述两视点图像之间的每个像素的视差或每个区域的视差的视差获取单元；

主对象检测单元，用于检测所述两视点图像上的主对象；

用于获取所述主对象的视差的视差获取单元；

设置单元，用于根据将要产生的多视点图像的各个视点位置设置所述视差的转换因数；

校正单元，用于基于所述主对象的视差校正每个像素、每个区域、或每个图像的视差的转换因数；

多视点图像产生单元，用于根据校正的视差的转换因数来转换所述两视点图像中的至少一个图像，以产生所述多视点图像；

图像调节单元，用于沿水平方向移动所述两视点图像或所述多视点图像，使得所述多视点图像上的主对象的视差变为适于立体观看的视差；以及

立体显示图像产生单元，用于基于所述多视点图像产生立体显示图像。

2.根据权利要求1所述的图像处理装置，还包括保持单元，用于保持整个图像的目标视差分布以及所述主对象的目标视差分布，其中：

所述设置单元设置所述视差的转换因数，以使得将要产生的所述多视点图像的整个图像的视差分布满足所述整个图像的目标视差分布；以及

所述校正单元校正每个像素、每个区域、或每个图像的视差的转换因数，以使得将要产生的所述多视点图像上的主对象的视差分布满足所述主对象的目标视差分布。

3.根据权利要求1或2所述的图像处理装置，还包括：

输出单元，用于以预定尺寸输出所产生的立体显示图像；以及

修改单元，用于根据所述预定尺寸来修改所述整个图像的目标视差分布以及所述主对象的目标视差分布。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，

所述校正单元基于所述每个像素的视差或每个区域的视差与所述主对象的视差之间的差来校正每个像素、每个区域、或每个图像的视差的转换因数。

5.根据权利要求4所述的图像处理装置，其中，

所述校正单元校正所述视差的转换因数，以使得所述视差在视差之间具有较大差的像素或区域中被更多地抑制。

6.根据权利要求4所述的图像处理装置，其中，

所述校正单元校正所述视差的转换因数，以使得所述视差在视差之间具有较小差的像素或区域中被更多地增大。

7.根据权利要求4所述的图像处理装置，还包括：

拍摄模式检测单元，用于从所述两视点图像的附属信息中检测拍摄所述两视点图像时设置的拍摄模式；以及

选择单元，用于根据所检测到的拍摄模式，来选择是使所述校正单元校正所述视差的转换因数以使得所述视差在视差之间具有较大差的像素或区域中被更多地抑制，还是使所述校正单元校正所述视差的转换因数以使得所述视差在视差之间具有较小差的像素或区域中被更多地增大。

8.根据权利要求1所述的图像处理装置，还包括：

视差柱状图获取单元，用于获取所述每个像素的视差或每个区域的视差的柱状图，其中，

所述校正单元校正每个像素或每个区域的视差的转换因数，以使得视差阶调随所述柱状图中的频率保持恒定。

9.根据权利要求1所述的图像处理装置，还包括：

拍摄场景识别单元，用于识别所述两视点图像上的拍摄场景；以及

主对象设置单元，用于根据所述拍摄场景设置主对象区域，其中，

所述校正单元根据所述图像上距离所述主对象区域的距离来校正每个区域或每个像素的视差的转换因数。

10.根据权利要求9所述的图像处理装置，其中：

所述拍摄场景识别单元包括用于从所述两视点图像的附属信息中检测拍摄所述两视点图像时设置的拍摄模式的拍摄模式检测单元；

在所检测到的拍摄模式是人物模式的情况下，所述主对象区域设置单元将通过垂直分割所述图像得到的多个区域的中央区域设置为所述主对象区域；以及

所述校正单元根据在水平方向上距离所述主对象区域的距离来校正每个区域或每个像素的视差的转换因数。

11.根据权利要求9所述的图像处理装置，其中：

所述拍摄场景识别单元包括用于从所述两视点图像的附属信息中检测拍摄所述两视点图像时设置的拍摄模式的拍摄模式检测单元；

在所检测到的拍摄模式是场景模式的情况下，所述主对象区域设置单元将通过水平分割所述图像获得的多个区域的中央区域设置为所述主对象区域；以及

所述校正单元根据在垂直方向上距离所述主对象区域的距离来校正每个区域或每个像素的视差的转换因数。

12.根据权利要求9所述的图像处理装置，其中：

所述拍摄场景识别单元包括用于从所述两视点图像中提取短距离景象区域、中距离景象区域、以及长距离景象区域的提取单元；以及

所述校正单元根据各个所提取的区域校正每个区域或每个像素的视差的转换因数。

13.根据权利要求1至12中任一项所述的图像处理装置，其中，

在将要产生的多视点图像是四个或更多的情况下，所述设置单元将所述视差的转换因数设置为使得中央部分中的视点位置之间的差大于两端部分处的视点位置之间的差。

14.根据权利要求1至13中任一项所述的图像处理装置，其中：

所述校正单元校正每个像素、每个区域、或每个图像的视差的转换因数，以使得所述两视点图像中的一个图像的视差的转换因数变为零；以及

所述多视点图像产生单元对视差的转换因数为零的图像进行转换，以产生所述多视点图像。

15.根据权利要求1至13中任一项所述的图像处理装置，其中：

所述校正单元校正每个像素、每个区域、或每个图像的视差的转换因数，以使得将要产生的所述多视点图像的中央视点位置处的图像的视差的转换因数变为最小。

16.一种图像处理方法，包括：

图像输入步骤，用于接收彼此之间具有视差的两视点图像；

用于获取所述两视点图像之间的每个像素的视差或每个区域的视差的视差获取步骤；

主对象检测步骤，用于检测所述两视点图像上的主对象；

用于获取所述主对象的视差的视差获取步骤；

设置步骤，用于根据将要产生的多视点图像的各个视点位置设置所述视差的转换因数；

校正步骤，用于基于所述主对象的视差校正每个像素、每个区域、或每个图像的视差的转换因数；

多视点图像产生步骤，用于根据校正的视差的转换因数，转换所述两视点图像中的至少一个图像，以产生所述多视点图像；

图像调节步骤，用于沿水平方向移动所述两视点图像或所述多视点图像，以使得所述多视点图像上的主对象的视差变为适于立体观看的视差；以及

立体图像产生步骤，用于基于所述多视点图像产生立体显示图像。

Images