CN103518372A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本技术涉及一种允许实现与真实世界非常类似的运动视差的图像处理装置、图像处理方法和程序。图像处理单元基于表示观看者的位置的位置信息等来校正由深度值构成的深度图像，该深度值表示作为输入图像在外部输入的预定视点的彩色图像的像素在深度方向上的位置。本技术可以应用于例如执行用以基于位置信息校正深度图像的处理作为图像处理的图像处理装置。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及一种图像处理装置、图像处理方法和程序，并且尤其涉及能够实现与真实世界的运动视差紧密相关的运动视差的图像处理装置、图像处理方法和程序。 

背景技术

在当前流行的2D显示器和显示两视图（单视图）3D图像的3D显示器中，与观看者的位置无关地显示相同的3D图像。因此，观看者不能享受真实世界中获得的运动视差。 

虽然显示多视图3D图像的3D显示器变得流行（例如，参考专利文件1），但是可以显示的图像的视点数目少，以使得难以充分实现运动视差。同时，在本文中术语“多个视点”是指三个或更多个视点。 

在常规3D显示器中，可能实现与真实世界的运动视差不同的运动视差。例如，融合（fusion）的绝对位置根据在观看者在深度方向上的位置的变化而变化。 

具体地，如图1所示，当观看者的眼睛在观看者靠近其面部等时向3D显示器靠近了Δv时，树木的图像在深度方向上的位置在朝向远侧的方向上移动。也就是说，树木的图像距显示器表面的距离Δd改变为距离Δd′。这不同于真实世界中的感觉，使得观看者有奇怪的感受。同时，图1是从上方看到的、观看3D显示屏幕的观看者的视图。 

在3D显示器中，如图2所示，当观看者的眼睛在水平方向上的位置在观看者倾斜其面部等时明显改变时，融合变得困难并且观看者可能感觉疲劳。 

引用列表 

专利文件 

专利文件1：JP2010-211036A 

发明内容

本发明要解决的问题 

如上所述，常规的显示器不能实现与真实世界的运动视差紧密相关的运动视差。 

鉴于这样的情况实现了本技术，并且其目的是实现与真实世界的运动视差紧密相关的运动视差。 

问题的解决方案 

根据本技术的一个方面的图像处理装置是这样的图像处理装置，其设置有图像处理单元，该图像处理单元基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。 

根据本技术的一个方面的图像处理方法和程序对应于根据本技术的一个方面的图像处理装置。 

在本技术的一个方面中，基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。 

本发明的效果 

根据本技术的一个方面，可以实现与真实世界的运动视差紧密相关的运动视差。 

附图说明

图1是示出了常规3D显示中的显示器的示例的视图。 

图2是示出了常规3D显示中的显示器的另一示例的视图。 

图3是示出了应用本技术的图像处理装置的第一实施例的配置示例的框图。 

图4是示出了应用本技术的图像处理装置的第一实施例的另一配置示例的框图。 

图5是示出了图3中的图像处理单元的详细配置示例的框图。 

图6是示出了图3中的图像处理单元的另一详细配置示例的框图。 

图7是示出了图3中的输入视点选择单元的详细配置示例的框图。 

图8是示出了图3中的输入视点选择单元的另一详细配置示例的框图。 

图9是示出了图3中的放大处理单元的处理的视图。 

图10是示出了图5中的立体效果校正单元的配置示例的框图。 

图11是示出了图5中的立体效果校正单元的另一配置示例的框图。 

图12是示出了图10中的深度校正单元的处理的视图。 

图13是示出了图10中的深度校正单元的处理的视图。 

图14是示出了放大深度图像和重建深度图像的深度值的曲线图（graph）。 

图15是示出了放大深度图像和重建深度图像的深度值的曲线图。 

图16是示出了缩放单元的处理的视图。 

图17是示出了缩放单元的处理的视图。 

图18是示出了缩放单元的另一处理的视图。 

图19是示出了缩放单元的另一处理的视图。 

图20是示出了向缩放单元输入/从缩放单元输出的重建深度图像的深度值的曲线图。 

图21是示出了向缩放单元输入/从缩放单元输出的重建深度图像的深度值的曲线图。 

图22是示出了图5中的视点生成单元的投射处理的视图。 

图23是示出了输出图像的示例的视图。 

图24是示出了图5中的图像处理单元的图像处理的流程图。 

图25是详细示出了图24中的视点选择处理的流程图。 

图26是详细示出了图24中的视点选择处理的流程图。 

图27是详细示出了图24中的运动视差处理的流程图。 

图28是示出了对应于输出图像的深度图像的视图。 

图29是示出了应用本技术的图像处理装置的第二实施例的配置示例 的框图。 

图30是示出了应用本技术的图像处理装置的第二实施例的另一配置示例的框图。 

图31是示出了图29中的图像处理单元的详细配置示例的框图。 

图32是示出了图31中的输入视点选择单元的详细配置示例的框图。 

图33是示出了图31中的输入视点选择单元的另一详细配置示例的框图。 

图34是详细示出了图32中的输入视点选择单元进行的视点选择处理的流程图。 

图35是详细示出了图33中的输入视点选择单元进行的视点选择处理的流程图。 

图36是示出了应用本技术的图像处理装置的第二实施例的又一配置示例的框图。 

图37是示出了图36中的视点生成单元的投射处理的视图。 

图38是示出了应用本技术的图像处理装置的第三实施例的配置示例的框图。 

图39是示出了应用本技术的图像处理装置的第三实施例的另一配置示例的框图。 

图40是示出了图38中的图像处理单元的详细配置示例的框图。 

图41是示出了图40中的输入视点选择单元的详细配置示例的框图。 

图42是示出了图41中的输入视点选择单元的视点的选择的视图。 

图43是示出了图41中的输入视点选择单元的视点的选择的视图。 

图44是示出了图41中的视点选择单元的立体效果校正参数的生成的视图。 

图45是示出了图40中的输入视点选择单元的另一详细配置示例的框图。 

图46是示出了图45中的输入视点选择单元的视点的选择的视图。 

图47是详细示出了图41中的输入视点选择单元进行的视点选择处理的流程图。 

图48是详细示出了图45中的输入视点选择单元进行的视点选择处理的流程图。 

图49是示出了应用本技术的图像处理装置的第四实施例的配置示例的框图。 

图50是示出了应用本技术的图像处理装置的第四实施例的另一配置示例的框图。 

图51是示出了图49中的图像处理单元的详细配置示例的框图。 

图52是示出了图51中的输入视点选择单元的详细配置示例的框图。 

图53是示出了图52中的输入视点选择单元的视点的选择的视图。 

图54是示出了图52中的输入视点选择单元的视点的选择的视图。 

图55是示出了图52中的视点选择单元的立体效果校正参数的生成的视图。 

图56是示出了图51中的输入视点选择单元的另一详细配置示例的框图。 

图57是示出了图56中的输入视点选择单元的视点的选择的视图。 

图58是详细示出了图52中的输入视点选择单元进行的视点选择处理的流程图。 

图59是详细示出了图56中的输入视点选择单元进行的视点选择处理的流程图。 

图60是示出了计算机的一个实施例的配置示例的视图。 

具体实施方式

<第一实施例> 

[图像处理装置的第一实施例的配置示例] 

图3是示出了应用本技术的图像处理装置的第一实施例的配置示例的框图。 

图3中的图像处理装置10包括位置检测单元11、图像处理单元12和图像显示单元13，图像处理装置10基于观看者的位置实现一个视点的彩色图像的运动视差。 

具体地，图像处理装置10的位置检测单元11包括例如安装在图像显示单元13上的摄像装置、各种传感器等。位置检测单元11检测观看者的头部、双眼或单眼在至少包括深度方向的方向上的位置，作为观看位置。 

位置选择单元11还从观看者的眼睛方向等检测观看者的注视点的位置。位置检测单元11向图像处理单元12提供指示所检测的观看位置和注视点的位置的位置信息。 

向图像处理单元12在外部输入一个或更多个视点的彩色图像作为输入图像，并且在外部输入对应于输入图像的一个或更多个视点的深度图像。同时，深度图像（深度图）是由深度值形成的图像，该深度值指示对应彩色图像的每个像素在深度方向上的位置。在本实施例中，当深度方向上的位置是显示器表面上的位置时，深度值被设置为0，当其是显示器表面的近侧（观看者的侧）的位置时，深度值被设置为负值，当其是显示器表面的远侧的位置时，深度值被设置为正值。 

图像处理单元12基于从位置检测单元11提供的位置信息来校正在外部输入的输入图像和深度图像，并使用校正的输入图像和深度图像来生成一个预定视点的彩色图像作为输出图像。图像处理单元12向图像显示单元13提供输出图像。 

由2D显示器构成的图像显示单元13显示从图像处理单元12提供的输出图像。 

同时，虽然在图3中的图像处理装置10中输入对应于输入图像的一个或更多个视点的深度图像，但是也可以根据输入图像生成所述深度图像。在这种情况下，如图4所示，图像处理装置10设置有深度检测单元21，深度检测单元21根据输入图像生成一个或更多个视点的深度图像。 

[图像处理单元的详细配置示例] 

图5是示出了图3中的图像处理单元12的详细配置示例的框图。 

图5中的图像处理单元12包括输入视点选择单元41、放大处理单元42、立体效果校正单元43、立体效果强调单元44、以及视点生成单元45。 

输入视点选择单元41基于由从位置检测单元11提供的位置信息指示的观看位置，从在外部输入的输入图像的视点中选择预定视点。然后，输入视点选择单元41使用所选择的预定视点的输入图像和对应的深度图像来生成一个预定视点的输入图像和深度图像，并将其提供给放大处理单元42。输入视点选择单元41还基于由位置信息指示的观看位置来生成作为 由立体效果校正单元43使用的参数的立体效果校正参数，并将其提供给立体效果校正单元43。 

放大处理单元42对从输入视点选择单元41提供的输入图像和深度图像执行放大处理。考虑到立体效果校正单元43进行的缩放处理以及输入图像与输出图像之间的分辨率差异，执行该放大处理，用于获得具有期望分辨率的输出图像。放大处理单元42将放大处理后的输入图像作为放大图像提供给立体效果校正单元43，并将放大处理后的深度图像作为放大深度图像提供给立体效果校正单元43。 

立体效果校正单元43对从放大处理单元42提供的放大图像和放大深度图像执行用于校正立体效果的处理（下文中被称作运动视差处理），用于获得与真实世界的运动视差紧密相关的运动视差。立体效果校正单元43将运动视差处理后的放大图像作为重建图像提供给立体效果强调单元44，并且将运动视差处理后的放大深度图像作为重建深度图像提供给视点生成单元45。 

立体效果强调单元44基于由从位置检测单元11提供的位置信息指示的注视点的位置，对从立体效果校正单元43提供的重建图像执行强调立体效果的处理（下文中被称作空中透视处理（aerial perspective process）），用于获得空中透视。 

例如，立体效果强调单元44基于注视点的位置，对在重建图像的注视点附近的区域执行提高边缘增强和纹理增强的处理，以及对除了该区域之外的区域执行减小边缘增强和纹理增强的处理。立体效果强调单元44还对在重建图像的注视点附近的区域执行提高对比度的处理，以及对除了该区域之外的区域执行减小对比度的处理。据此，获得空中透视并且在重建图像中强调立体效果。立体效果强调单元44将空中透视处理后的重建图像提供给视点生成单元45。 

视点生成单元45用作显示控制单元和投射处理单元。视点生成单元45基于由从位置检测单元11提供的位置信息指示的观看位置和从立体效果校正单元43提供的重建深度图像，对从立体效果强调单元44提供的重建图像执行向观看位置投射彩色图像的投射处理。视点生成单元45将作为结果获得的一个预定视点的彩色图像作为输出图像提供给图像显示单元13（图3），并允许其显示图像。 

同时，虽然图5中的图像处理单元12在立体效果校正单元43的后续 级上设置有立体效果强调单元44，但是如图6所示，立体效果校正单元43也可以设置在立体效果强调单元44的后续级上。 

[输入视点选择单元的详细配置示例] 

图7是示出了图3中的输入视点选择单元41的详细配置示例的框图。 

图7中的输入视点选择单元41包括视点选择单元51和选择器52。 

输入视点选择单元41的视点选择单元51基于由从位置检测单元11提供的位置信息指示的观看位置，从输入图像的视点中选择对应于观看位置的一个预定视点。视点选择单元51将所选择的一个视点的、作为用于指定该视点的编号的视点编号提供给选择器52。视点选择单元51还基于由位置信息指示的观看位置，针对观看位置的所选择的一个视点生成基于预先设置的初始位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

同时，在本实施例中，当观看位置处于比初始位置更靠近图像显示单元13的一侧时，包括在立体效果校正参数中的深度方向上的坐标被设置为正值，当其是与图像显示单元13相反的一侧时，深度方向上的坐标被设置为负值。 

选择器52从在外部输入的输入图像和深度图像中选择由从视点选择单元51提供的视点编号指定的视点的输入图像和深度图像，并将其提供给放大处理单元42。 

[输入视点选择单元的另一详细配置示例] 

图8是示出了输入视点选择单元41的另一详细配置示例的框图。 

图8中的输入视点选择单元41包括视点选择单元61和视点组合单元62。 

输入视点选择单元41的视点选择单元61基于由从位置检测单元11提供的位置信息指示的观看位置，从输入图像的视点中选择多个视点，所示多个视点包括对应于观看位置的一个预定视点以及与该一个视点相邻的视点。视点选择单元61将所选择的多个视点的视点编号提供给视点组合单元62。以与图7中的视点选择单元51相同的方式，视点选择单元61还基于观看位置生成立体效果校正参数，并将其提供给立体效果校正单元43。 

视点组合单元62从在外部输入的输入图像和深度图像中，选择由从 视点选择单元61提供的视点编号指定的多个视点的输入图像和深度图像。视点组合单元62通过组合所选择的多个视点的输入图像来生成一个视点的输入图像，并将其提供给放大处理单元42。视点组合单元62还通过组合所选择的多个视点的深度图像来生成一个视点的深度图像，并将其提供给放大处理单元42。 

[放大处理单元的处理的描述] 

图9是示出了图3中的放大处理单元42的处理的视图。 

如图9所示，放大处理单元42对输入图像71执行放大处理，以生成放大图像72。在该放大处理中，考虑立体效果校正单元43进行的缩放处理，使得放大图像72比具有与输出图像的分辨率相同的分辨率的图像73更大。 

[立体效果校正单元的配置示例] 

图10是示出了图5中的立体效果校正单元43的配置示例的框图。 

如图10所示，立体效果校正单元43包括深度校正单元81和缩放单元82。 

深度校正单元81基于从图5中的输入视点选择单元41提供的立体效果校正参数来校正从放大处理单元42提供的放大深度图像。深度校正单元81将校正后的放大深度图像作为重建深度图像提供给缩放单元82。 

缩放单元82基于立体效果校正参数来对从放大处理单元42提供的放大图像以及从深度校正单元81提供的重建深度图像执行缩放。缩放单元82将缩放后的放大图像作为重建图像提供给图5中的立体效果强调单元44，并将缩放后的重建深度图像提供给视点生成单元45。 

同时，虽然图10中的立体效果校正单元43在深度校正单元81的后续级上设置有缩放单元82，但是如图11所示，深度校正单元81也可以设置在缩放单元82的后续级上。 

[深度校正单元的处理的描述] 

图12和13是示出了图10中的深度校正单元81的处理的视图。 

同时，图12和13是从上方看到的、观看图像显示单元13的观看者视图。图12和13的上部的曲线表示形成放大深度图像或重建深度图像的每个像素的深度值所指示的深度方向上的位置。 

如图12和13所示，深度校正单元81基于立体效果校正参数来确定放大深度图像的每个像素的校正量，以使得对于对应于下述深度值的像素所述校正量更大：所述深度值指示深度方向上的位置处于近侧。 

具体地，如图12所示，例如深度校正单元81基于在从针对输入视点选择单元41选择的视点预先设置的初始位置到由位置信息指示的观看位置的深度方向上的移动方向和移动量以及放大深度图像，来获得校正量。据此，通过以下等式（1）表示两个像素的校正量Δd1和Δd2。 

Δd1＝f(Δa，d1_in) 

Δd2=f(Δa,d2_in) 

                      ···(1) 

同时，在等式（1）中，Δa表示立体效果校正参数的深度方向上的坐标，也就是说，在从针对输入视点选择单元41选择的视点预先设置的初始位置到由位置信息指示的观看位置的深度方向上的移动量。d1_in和d2_in分别表示对应于Δd1和Δd2的像素的校正前的深度值。 

等式（1）的函数f是下述函数：随着d1_in和d2_in变小且Δa的绝对值变大，Δd1和Δd2的绝对值变大，并且Δd1和Δd2的符号与Δa的符号相反。 

同时，如图13所示，还可以基于初始位置和对应于每个像素的深度值的位置间的距离与观看位置和对应于每个像素的深度值的位置间的距离之间的差而不是Δa来获得校正量。在这种情况下，通过以下等式（2）表示校正量Δd1和Δd2。 

Δd1＝f′(d1_in，a1_in-a1_out) 

Δd2＝f′(d2_in，a2_in-a2_out) 

                     ···(2) 

在等式（2）中，d1_in和d2_in分别表示对应于Δd1和Δd2的像素的校正前的深度值。此外，a1_in和a2_in表示与对应于Δd1和Δd2的像素的校正前的深度值对应的位置和初始位置之间的距离。a1_out和a2_out表示与对应于Δd1和Δd2的像素的校正前的深度值对应的位置和观看位置之间的距离。 

等式（2）中的函数f′是下述函数：随着d1_in和d2_in变小且a1_in-a1_out和a2_in-a2_out的绝对值变大，Δd1和Δd2的绝对值变大且Δd1和Δd2的符号与a1_in-a1_out和a2_in-a2_out的符号相反。 

深度校正单元81用以上述方式确定的放大深度图像的每个像素的校正量来校正像素的深度值。在图12和13中的示例中，分别用校正量Δd1和Δd2对校正前的深度值d1_in和d2_in进行校正，并且校正后的深度值是d1_out和d2_out。 

图14和15是示出了向图10中的深度校正单元81输入的放大深度图像的深度值以及从图10中的深度校正单元81输出的重建深度图像的深度值的曲线图。 

同时，在图14和15中，沿着横坐标绘制放大深度图像和重建深度图像的水平方向上的位置，并且沿着纵坐标绘制深度值。在图14和15中，黑色圆圈表示放大深度图像的每个像素的深度值，并且灰色圆圈表示重建深度图像的每个像素的深度值。 

图14是示出了在观看位置处于比初始位置更靠近图像显示单元13的一侧的情况下的深度值的视图，图15是示出了在观看位置越过初始位置在与图像显示单元13相反的一侧的情况下的深度值的视图。 

如图14所示，当观看位置处于比初始位置更靠近图像显示单元13的一侧时，也就是说，当Δa是正值时，由于深度值较小，用较大的校正量在负方向上对放大深度图像的每个像素的深度值进行校正。结果，整个输出图像在深度方向上的位置处于较近侧，并且强调了立体效果。 

另一方面，如图15所示，当观看位置越过初始位置在与图像显示单元13相反的一侧时，也就是说，当Δa是负值时，由于深度值较小，用较大的校正量在正方向上对放大深度图像的每个像素的深度值进行校正。结果，整个输出图像在深度方向上的位置处于较远侧，并且降低了立体效果。 

如上所述，当观看者从初始位置接近图像显示单元13时，整个输出图像在深度方向上的位置处于较近侧并强调了立体效果，当观看者远离图像显示单元13时，整个输出图像在深度方向上的位置处于较远侧并且降低了立体效果。结果，可以实现与真实世界的运动视差更紧密相关的运动视差。 

[缩放单元的处理的描述] 

图16和17是示出了缩放单元82的处理的视图。 

同时，图16和17是从上方看到的、观看图像显示单元13的观看者的视图。图16和17的上部的曲线表示形成放大深度图像或重建深度图像的每个像素的深度值所指示的深度方向上的位置。这同样适用于稍后要描述的图18和19。 

如图16所示，缩放单元82基于立体效果校正参数来确定在放大深度图像中缩放的中心点C。然后，缩放单元82基于放大深度图像和立体效果校正参数，针对离具有较小深度值的中心点C较远的像素，以中心点C为中心且以较大的缩放率执行放大深度图像的缩放，从而校正立体效果。 

通过由缩放单元82进行缩放，两个像素的校正前的水平方向上的位置与校正后的水平方向上的位置之间的差ΔL1和ΔL2例如由以下等式（3）表示。同时，在本实施例中，当校正后的水平方向上的位置基于中心点C在校正前的水平方向上的位置的更外侧时，校正前的水平方向上的位置与校正后的水平方向上的位置之间的差是正值，并且当校正后的水平方向上的位置在校正前的水平方向上的位置的更内侧时，该差是负值。 

ΔL1=fs(Δa,d1_in,L1) 

ΔL2＝fs(Δa，d2_in，L2) 

                      ···(3) 

同时，在等式（3）中，Δa表示立体效果校正参数的深度方向上的坐标。d1_in和d2_in分别表示对应于ΔL1和ΔL2的像素的校正前的深度值。此外，L1和L2分别表示中心点C与对应于ΔL1和ΔL2的像素的校正前的位置之间的距离。 

等式（3）中的函数fs是下述函数：该函数随着L1和L2变大、d1_in和d2_in变小以及Δa的绝对值变大而变大，据此ΔL1和ΔL2的符号与Δa的符号相同。 

如图17所示，缩放单元82确定对应于放大深度图像中的缩放的中心点C的放大图像中的中心点C'。然后，缩放单元82以与针对放大深度图像中的每个像素的缩放率相同的缩放率以中心点C'为中心执行放大图像的缩放，从而生成重建图像。同时，图17中的曲线表示对应于放大图像的放大深度图像以及对应于重建图像的重建深度图像的每个像素的深 度值所指示的深度方向上的位置。这同样适用于稍后要描述的图19。 

如图18所示，还可以基于初始位置和对应于每个像素的深度值的位置间的距离与观看位置和对应于每个像素的深度值的位置间的距离之间的差而不是Δa来执行缩放。在这种情况下，由以下等式（4）表示差ΔL1和ΔL2。 

ΔL1=fs′(d1_in，L1，a1_in-a1_out) 

ΔL2＝fs′(d2_in，L2，a2_in-a2_out) 

                  ···(4) 

在等式（4）中，d1_in和d2_in分别表示对应于ΔL1和ΔL2的像素的校正前的深度值。此外，L1和L2分别表示中心点C与对应于ΔL1和ΔL2的像素的校正前的位置之间的距离。此外，a1_in和a2_in表示与对应于ΔL1和ΔL2的像素的校正前的深度值对应的位置和初始位置之间的距离。a1_out和a2_out表示与对应于ΔL1和ΔL2的像素的校正前的深度值对应的位置和观看位置之间的距离。 

此外，等式（4）中的函数fs'是下述函数：该函数随着L1和L2变大、d1_in和d2_in变小以及a1_in-a1_out和a2_in-a2_out的绝对值变大而变大，据此ΔL1和ΔL2的符号与a1_in-a1_out和a2_in-a2_out的符号相同。 

还在这种情况下，如图19所示，缩放单元82以与针对放大深度图像的每个像素的缩放率相同的缩放率执行放大图像的缩放，从而生成重建图像。 

图20和21是示出了向图10中的缩放单元82输入的重建深度图像的深度值以及从图10中的深度校正单元81输出的重建深度图像的深度值。 

同时，在图20和21中，沿着横坐标绘制重建深度图像的水平方向上的位置，并沿着纵坐标绘制深度值。在图20和21中，黑色圆圈表示输入的重建深度图像的每个像素的深度值，白色圆圈表示输出的重建深度图像的每个像素的深度值。灰色圆圈表示对应于输入的重建深度图像的每个像素的深度值的输出的重建深度图像的位置。 

图20是示出了在观看位置处于比初始位置更靠近图像显示单元13的一侧的情况下的深度值的视图，图21是示出了在观看位置越过初始位置在与图像显示单元13相反的一侧的情况下的深度值。 

如图20所示，当观看位置处于比初始位置更靠近图像显示单元13的一侧时，以更大的缩放率放大重建深度图像的每个像素的深度值，因为其离中心点C更远并且深度值更小。具体地，用黑色圆圈表示深度值的重建深度图像的每个像素的位置移动至用灰色圆圈表示深度值的重建深度图像的位置。然后，对移动后的深度值进行内插，并且获得由白色圆圈表示的每个像素的深度值。 

另一方面，如图21所示，当观看位置越过初始位置在与图像显示单元13相反的一侧时，以更大的缩放率减小重建深度图像的每个像素的深度值，因为其离中心点C更远并且深度值更小。 

通过以上述方式进行的缩放，当观看者从初始位置接近图像显示单元13时，以对应于观看位置的中心点为中心放大输出图像，当观看者远离图像显示单元13时，以中心点为中心减小输出图像。结果，可以实现与真实世界的运动视差更紧密相关的运动视差。 

[视点生成单元的投射处理的描述] 

图22是示出了图5中的视点生成单元45的投射处理的视图。 

同时，图22是示出了对应于向视点生成单元45输入的重建图像的重建深度图像的深度值以及对应于重建图像的每个像素的输出图像的位置的曲线图。 

在图22中，沿着横坐标绘制重建图像和输出图像的水平方向上的位置，沿着纵坐标绘制深度值。在图22中，黑色圆圈表示对应于重建图像的每个像素的深度值，灰色圆圈表示对应于重建图像的每个像素的输出图像的位置。 

如图22所示，视点生成单元45首先在对重建图像的投射处理中向观看位置投射重建图像的每个像素。据此，视点生成单元45获得投射线与图像显示单元13的交点，作为由图22中的灰色圆圈表示的、对应于重建图像的每个像素的输出图像的位置。然后，视点生成单元45使用重建图像的每个像素的像素值作为对应于该像素的交点的像素值，以对由图22中的白色圆圈表示其位置的输出图像的每个像素的像素值进行内插。 

[输出图像的示例] 

图23是示出了输出图像的示例的视图。 

同时，图23是从上方看到的、观看图像显示单元13的观看者的视图。 图23的上部的曲线表示输出图像的每个像素的深度方向上的位置。 

当如图23A所示在图像显示单元13上显示包括树木以及树木近侧的车辆的图像的输出图像时，如果如图23B所示观看者向前移动并且注视树木，则在树木移向近侧并且车辆移向更近侧时，树木变得更大，并且变得比输出图像中的树木更大。如图23B所示，注视的树木是清楚的（sharp）并且未注视的车辆是模糊的。 

[图像处理单元的处理的描述] 

图24是示出了图5中的图像处理单元12的图像处理的流程图。当例如向图像处理单元12提供位置信息、输入图像和深度图像时，图像处理开始。 

在图24中的步骤S11，图像处理单元12的输入视点选择单元41基于由从位置检测单元11提供的位置信息指示的观看位置来执行用于从输入图像的视点中选择预定视点的视点选择处理，并生成立体效果校正参数。参照稍后要描述的图25和26详细描述视点选择处理。 

在步骤S12，放大处理单元42对从输入视点选择单元41提供的输入图像和深度图像执行放大处理。放大处理单元42将放大处理后的输入图像作为放大图像提供给立体效果校正单元43，并将放大处理后的深度图像作为放大深度图像提供给立体效果校正单元43。 

在步骤S13，立体效果校正单元43对从放大处理单元42提供的放大图像和放大深度图像执行运动视差处理。参照稍后要描述的图27详细描述运动视差处理。 

在步骤S14，立体效果强调单元44基于由从位置检测单元11提供的位置信息指示的注视点的位置来对从立体效果校正单元43提供的重建图像执行空中透视处理。立体效果强调单元44将空中透视处理后的重建图像提供给视点生成单元45。 

在步骤S15，视点生成单元45基于由从位置检测单元11提供的位置信息指示的观看位置和从立体效果校正单元43提供的重建深度图像，来对从立体效果强调单元44提供的重建图像执行投射处理。视点生成单元45将作为结果获得的一个预定视点的彩色图像作为输出图像提供给图像显示单元13（图3）并完成该处理。 

图25是详细示出了由图7中的输入视点选择单元41在图24中的步骤S11进行的视点选择处理的流程图。 

如图25中的步骤S31，输入视点选择单元41的视点选择单元51基于由从位置检测单元11提供的位置信息指示的观看位置，从输入图像的视点中选择对应于观看位置的一个预定视点。输入视点选择单元41将所选择的一个视点的视点编号提供给选择器52。 

在步骤S32，视点选择单元51基于由位置信息指示的观看位置，针对观看位置的所选择的一个视点生成基于预先设置的初始位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

在步骤S33，选择器52从在外部输入的输入图像和深度图像中选择由从视点选择单元51提供的视点编号指定的视点的输入图像和深度图像，并将其输出到放大处理单元42。然后，处理返回到图24中的步骤S11以转移至步骤S12。 

图26是详细示出了由图8中的输入视点选择单元41在图24中的步骤S11进行的视点选择处理的流程图。 

在图26的步骤S41，输入视点选择单元41的视点选择单元61基于由从位置检测单元11提供的位置信息指示的观看位置，从输入图像的视点中选择多个视点，所述多个视点包括对应于观看位置的一个预定视点以及与该一个视点相邻的视点。视点选择单元61将所选择的多个视点的视点编号提供给视点组合单元62。 

在步骤S42，以与图7中的视点选择单元51相同的方式，视点选择单元61基于观看位置生成立体效果校正参数，并将其提供给立体效果校正单元43。 

在步骤S43，视点组合单元62从在外部输入的输入图像和深度图像中选择由从视点选择单元61提供的视点编号指定的多个视点的输入图像和深度图像，并对它们进行组合。 

在步骤S44，视点组合单元62将作为在步骤S43的组合的结果而获得的一个视点的输入图像和深度图像输出到放大处理单元42。然后，处理返回到图24中的步骤S11以转移到步骤S12。 

图27是详细示出了由图10中的立体效果校正单元43在图24中的步骤S13进行的运动视差处理的流程图。 

在图27中的步骤S51，如图12和13所示，立体效果校正单元43的深度校正单元81基于来自输入视点选择单元41的立体效果校正参数对来自放大处理单元42的放大深度图像进行校正。深度校正单元81将校正后 的放大深度图像作为重建深度图像提供给缩放单元82。 

在步骤S52，如图16和17所示，缩放单元82基于立体效果校正参数对来自放大处理单元42的放大图像和来自深度校正单元81的重建深度图像执行缩放。缩放单元82将缩放后的放大图像作为重建图像提供给图5中的立体效果强调单元44，并将缩放后的重建深度图像提供给视点生成单元45。然后，处理返回到图24中的步骤S13以转移至步骤S14。 

如上所述，图像处理单元12基于观看位置校正深度图像，以使得这可以在作为2D显示器的图像显示单元13中实现与真实世界的运动视差紧密相关的运动视差。结果，观看者可以实现高度准确的立体观看。 

同时，虽然图像处理单元12仅在图像处理装置10中输出该输出图像，其也可以输出对应于输出图像的深度图像。在这种情况下，视点生成单元45将形成重建深度图像的每个像素的深度值按原样输出，作为对应于输出图像的深度图像，如图28所示。同时，在图28中，沿着横坐标绘制重建深度图像的水平方向上的位置，并且沿着纵坐标绘制深度值。 

<第二实施例> 

[图像处理装置的第二实施例的配置示例] 

图29是示出了应用本技术的图像处理装置的第二实施例的配置示例的框图。 

在图29所示的配置中，对与图3中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图29中的图像处理装置100的配置与图3中的配置的不同主要在于，设置了图像处理单元102和103来替代图像处理单元12，设置了图像显示单元104来替代图像显示单元13，并且新设置了目标确定单元101。图像处理装置100基于一个或更多个视点的输入图像和深度图像以及位置信息来显示左眼和右眼的两个视点的输出图像。 

具体地，图像处理装置100的目标确定单元101向图像处理单元102提供用于把左眼指定为对应于图像处理单元102中的生成目标的视点的处理视点信息。目标确定单元101还向图像处理单元103提供用于把右眼指定为对应于图像处理单元103中的生成目标的视点的处理视点信息。 

以与图3和4中的图像处理单元12相同的方式，向图像处理单元102在外部输入作为输入图像的一个或更多个视点的彩色图像，并且在外部输 入对应于输入图像的一个或更多个视点的深度图像。图像处理单元102基于从位置检测单元11提供的位置信息和从目标确定单元101提供的处理视点信息，对在外部输入的输入图像和深度图像进行校正。图像处理单元102使用校正后的输入图像和深度图像来生成一个预定视点的彩色图像，并将其提供给图像显示单元104作为左眼的输出图像。 

以与图像处理单元102相同的方式配置图像处理单元103。以与图像处理单元102相同的方式，向图像处理单元103在外部输入作为输入图像的一个或更多个视点的彩色图像，并且在外部输入对应于输入图像的一个或更多个视点的深度图像。以与图像处理单元102相同的方式，图像处理单元103基于从位置检测单元11提供的位置信息和从目标确定单元101提供的处理视点信息对在外部输入的输入图像和深度图像进行校正。以与图像处理单元102相同的方式，图像处理单元103使用校正后的输入图像和深度图像来生成一个预定视点的彩色图像，并将其提供给图像显示单元104作为右眼的输出图像。 

图像显示单元104由显示两视图3D图像的3D显示器构成。图像显示单元104交替地显示例如从图像处理单元102提供的左眼的输出图像以及从图像处理单元103提供的右眼的输出图像。据此，观看者可以通过戴上用于3D观看的眼镜等来观看3D图像，当显示左眼的输出图像时，所述眼镜的用于左眼的快门打开，当显示右眼的输出图像时，所述眼镜的用于右眼的快门打开。 

同时，虽然在图29中的图像处理装置100中输入对应于输入图像的一个或更多个视点的深度图像，但是该深度图像也可以是根据输入图像而生成的。在这种情况下，如图30所示，图像处理装置100设置有图4中的深度检测单元21。 

[图像处理单元的详细配置示例] 

图31是示出了图29中的图像处理单元102的详细配置示例的框图。 

在图31所示的配置中，对与图5中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图31中的图像处理单元102的配置与图5中的配置的不同主要在于，设置了输入视点选择单元121来替代输入视点选择单元41。 

具体地，图像处理单元102的输入视点选择单元121基于由从位置检测单元11提供的位置信息指示的观看位置和从目标确定单元101提供的 处理视点信息，从在外部输入的输入图像的视点中选择预定视点。然后，以与图5中的输入视点选择单元41相同的方式，输入视点选择单元121使用所选择的预定视点的输入图像和对应的深度图像来生成一个预定视点的输入图像和深度图像，并将其提供给放大处理单元42。输入视点选择单元121还基于由位置信息指示的观看位置和由处理视点信息指定的左眼来生成立体效果校正参数，并将其提供给立体效果校正单元43。 

同时，虽然未示出，但是图31中的图像处理单元102也可以在立体效果强调单元44的后续级上设置有立体效果校正单元43。 

[输入视点选择单元的详细配置示例] 

图32是示出了图31中的输入视点选择单元121的详细配置示例的框图。 

在图32所示的配置中，对与图7中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图32中的输入视点选择单元121的配置与图7中的配置的不同主要在于，设置了视点选择单元141来替代视点选择单元51。 

具体地，输入视点选择单元121的视点选择单元141基于由从位置检测单元11提供的位置信息指示的观看位置以及从目标确定单元101提供的处理视点信息指定的左眼，从输入图像的视点中选择一个预定视点。 

更详细地，视点选择单元141基于该观看位置来获得左眼的观看位置（下文中被称作左眼观看位置），并选择对应于左眼观看位置的一个预定视点。同时，左眼观看位置是例如从观看位置向左移位了预定距离的位置。 

视点选择单元141将所选择的一个视点的视点编号提供给选择器52。视点选择单元141还基于左眼观看位置，针对所选择的一个视点生成基于预先设置的初始位置的左眼观看位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

[输入视点选择单元的另一详细配置示例] 

图33是示出了图31中的输入视点选择单元121的另一详细配置示例的框图。 

在图33所示的配置中，对与图8中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图33中的输入视点选择单元121的配置与图8中的配置的不同主要 在于，设置了视点选择单元161来替代视点选择单元61。 

具体地，输入视点选择单元121的视点选择单元161基于由来自位置检测单元11的位置信息指示的观看位置和由来自目标确定单元101的处理视点信息指定的左眼，从输入图像的视点中选择多个视点。更详细地，视点选择单元161基于该观看位置获得左眼观看位置。然后，视点选择单元161从输入图像的视点中选择多个视点，所述多个视点包括对应于左眼观看位置的一个预定视点和与该一个视点相邻的视点。 

以与图8中的视点选择单元61相同的方式，视点选择单元161将所选择的多个视点的视点编号提供给视点组合单元62。以与图32中的视点选择单元141相同的方式，视点选择单元161还基于左眼观看位置生成立体效果校正参数，并将其提供给立体效果校正单元43。 

[图像处理单元的处理的描述] 

除了视点选择处理之外，图31中的图像处理单元102的图像处理与图24中的图像处理相似，使得仅描述视点选择处理。 

图34是详细示出了由图32中的输入视点选择单元121进行的视点选择处理的流程图。 

在图34中的步骤S71，输入视点选择单元121的视点选择单元141基于观看位置和由处理视点信息指定的左眼，从输入图像的视点中选择对应于左眼观看位置的一个预定视点。输入视点选择单元41将所选择的一个视点的视点编号提供给选择器52。 

在步骤S72，视点选择单元141基于左眼观看位置，针对所选择的一个视点生成基于预先设置的初始位置的左眼观看位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

步骤S73的处理与图25中的步骤S33的处理相似，使得省略了其描述。 

图35是详细示出了由图33中的输入视点选择单元121进行的视点选择处理的流程图。 

在图35中的步骤S91，输入视点选择单元121的视点选择单元161基于观看位置和由处理视点信息指定的左眼，从输入图像的视点中选择多个视点，所述多个视点包括对应于左眼观看位置的一个预定视点以及与该一个视点相邻的视点。视点选择单元161将所选择的多个视点的视点编号 提供给视点组合单元62。 

在步骤S92，以与图32中的视点选择单元141相同的方式，视点选择单元161基于左眼观看位置生成立体效果校正参数，并将其提供给立体效果校正单元43。 

步骤S93和S94的处理与图26中的步骤S43和S44的处理相似，使得省略其描述。 

[图像处理装置的第二实施例的另一配置示例] 

图36是示出了图像处理装置100的另一配置示例的框图。 

在图36所示的配置中，对与图29中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图36中的图像处理装置100的配置与图29中的配置的不同主要在于，设置了图像处理单元171来替代图像处理单元102，设置了图像处理单元172来替代图像处理单元103，并且新设置了深度检测单元173和视点生成单元174。图像处理装置100使用由图像处理单元102生成的左眼的输出图像和由图像处理单元103生成的右眼的输出图像来生成共同的深度图像，并使用共同的深度图像生成新的左眼的输出图像和新的右眼的输出图像。 

具体地，除了图31中的视点生成单元45输出从立体效果强调单元44提供的重建图像以及左眼的输出图像之外，以与图31中的图像处理单元102相同的方式配置图像处理装置100的图像处理单元171。从图像处理单元171输出的左眼的输出图像被提供给深度检测单元173，重建图像作为左眼的重建图像被提供给视点生成单元174。 

此外，除了图29中的图像处理单元103的视点生成单元输出从立体效果强调单元提供的重建图像以及右眼的输出图像之外，以与图像处理单元103相同的方式配置图像处理单元172。从图像处理单元172输出的右眼的输出图像被提供给深度检测单元173，重建图像作为右眼的重建图像被提供给视点生成单元174。 

深度检测单元173使用从图像处理单元171提供的左眼的输出图像和从图像处理单元172提供的右眼的输出图像通过匹配等来生成共同的深度图像。深度检测单元173将所生成的共同的深度图像提供给视点生成单元174。 

视点生成单元174用作显示控制单元，并基于由从位置检测单元11提供的位置信息指示的观看位置和从深度检测单元173提供的深度图像对从图像处理单元171提供的左眼的重建图像进行投射处理。然后，视点生成单元174将作为结果获得的一个预定视点的图像作为左眼的输出图像提供给图像显示单元104。视点生成单元174还基于观看位置和深度图像对从图像处理单元172提供的右眼的重建图像进行投射处理。然后，视点生成单元174将作为结果获得的一个预定视点的图像作为右眼的输出图像提供给图像显示单元104。 

[视点生成单元的投射处理的描述] 

图37是示出了图36中的视点生成单元174的投射处理的视图。 

同时，图37是示出了对应于向视点生成单元174输入的左眼和右眼的重建图像的共同的深度图像的深度值以及对应于左眼和右眼的重建图像的像素的左眼和右眼的输出图像的位置的曲线图。 

在图37中，沿着横坐标绘制左眼和右眼的重建图像的和输出图像的水平方向上的位置，并且沿着纵坐标绘制深度值。在图37中，曲线表示对应于左眼和右眼的重建图像的共同的深度图像的深度值。 

如图37所示，视点生成单元174首先在对左眼的重建图像的投射处理中向左眼观看位置投射左眼的重建图像的每个像素。据此，视点生成单元174例如获得由图37中被分配L'的灰色圆圈表示的、投射线与图像显示单元104的交点，作为对应于与在图37中被分配L的黑色圆圈表示的深度值对应的像素的左眼的输出图像的位置。然后，视点生成单元174使用左眼的重建图像的每个像素的像素值作为对应于该像素的交点的像素值，以对左眼的输出图像的每个像素的像素值进行内插。 

类似地，视点生成单元174首先在对右眼的重建图像的投射处理中向右眼的观看位置（下文中被称作右眼观看位置）投射右眼的重建图像的每个像素。据此，视点生成单元174例如获得由图37中被分配R'的灰色圆圈表示的、投射线与图像显示单元104的交点，作为对应于与在图37中被分配R的黑色圆圈表示的深度值对应的像素的右眼的输出图像的位置。然后，视点生成单元174使用右眼的重建图像的每个像素的像素值作为对应于该像素的交点的像素值，以对右眼的输出图像的每个像素的像素值进行内插。 

同时，右眼观看位置例如是从观看位置向右移位了预定距离的位置。 

当以上述方式使用共同的深度图像对左眼和右眼的重建图像执行投射处理时，观看者可以实现对应于共同的深度图像的深度方向上的位置处的3D图像的可靠融合（sure fusion）。 

如上所述，图像处理装置100基于观看位置校正深度图像，使得这可以在图像显示单元104中实现与真实世界的运动视差紧密相关的运动视差，图像显示单元104是显示两视图3D图像的3D显示器。结果，观看者可以实现高度准确的立体观看。 

<第三实施例> 

[图像处理装置的第三实施例的配置示例] 

图38是示出了应用本技术的图像处理装置的第三实施例的配置示例的框图。 

在图38所示的配置中，对与图29中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图38中的图像处理装置180的配置与图29中的配置的不同主要在于，分别设置了图像处理单元181、图像处理单元182和图像显示单元183来替代图像处理单元102、图像处理单元103和图像显示单元104。图像处理装置180基于一个或更多个视点的输入图像和深度图像以及位置信息来显示左眼和右眼的两个视点的输出图像，作为要显示的多视图3D图像之中的两视图3D图像。 

具体地，以与图29中的图像处理单元102相同的方式，向图像处理装置180的图像处理单元181在外部输入作为输入图像的一个或更多个视点的彩色图像，并在外部输入对应于该输入图像的一个或更多个视点的深度图像。图像处理单元181基于来自位置检测单元11的位置信息、来自目标确定单元101的处理视点信息和来自图像显示单元183的显示参数（稍后将详细描述）来校正在外部输入的输入图像和深度图像。然后，图像处理单元181使用校正后的输入图像和深度图像来生成一个预定视点的彩色图像，并将其作为左眼的输出图像提供给图像显示单元183。 

同时，显示参数是指示可以观看显示在图像显示单元183上的多视图3D图像的每个视点的图像的观看位置的参数。也就是说，显示参数是指示显示在图像显示单元183上的多视图3D图像的方向性的参数。 

图像处理单元181还基于显示参数和由位置信息指示的观看位置，来确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图 像中的哪个视点的图像。然后，图像处理单元181将视点的视点编号作为左眼视点编号提供给图像显示单元183。 

以与图像处理单元181相同的方式配置图像处理单元182。以与图像处理单元181相同的方式，向图像处理单元182在外部输入作为输入图像的一个或更多个视点的彩色图像，并在外部输入对应于该输入图像的一个或更多个视点的深度图像。以与图像处理单元181相同的方式，图像处理单元182基于来自位置检测单元11的位置信息、来自目标确定单元101的处理视点信息和来自图像显示单元183的显示参数，校正在外部输入的输入图像和深度图像。以与图像处理单元181相同的方式，图像处理单元182使用校正后的输入图像和深度图像来生成一个预定视点的彩色图像，并将其作为右眼的输出图像提供给图像显示单元183。 

图像处理单元182还基于显示参数和由位置信息指示的观看位置，来确定将右眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，图像处理单元182将视点的视点编号作为右眼视点编号提供给图像显示单元183。 

图像显示单元183由显示多视图3D图像的3D显示器构成。图像显示单元183基于从图像处理单元181提供的左眼视点编号和从图像处理单元182提供的右眼视点编号，生成包括左眼的输出图像和右眼的输出图像的多视图3D图像。例如，图像显示单元183生成下述多视图3D图像：其中，左眼视点编号的视点的图像是左眼的输出图像，右眼视点编号的视点的图像是右眼的输出图像，并且所述视点之外的视点的图像是预定图像（例如，黑色图像）。 

然后，图像显示单元183针对每个视点在不同方向上显示生成的多视图3D图像。据此，观看者可以在不戴用于3D观看的眼镜的情况下观看3D图像。 

同时，虽然在图38中的图像处理装置180中输入对应于输入图像的一个或更多个视点的深度图像，但是还可以根据输入图像生成该深度图像。在这种情况下，如图39所示，图像处理装置180设置有图4中的深度检测单元21。虽然未示出，但是以与图36中的图像处理装置100相同的方式，图38中的图像处理装置180也可以使用共同的深度图像来生成左眼和右眼的新的输出图像，并生成包括左眼和右眼的输出图像的多视图3D图像。 

当存在多个观看者时，图像处理装置180针对每个观看者生成左眼的输出图像和右眼的输出图像，并可以显示包括所有观看者的左眼的输出图像和所有观看者的右眼的输出图像的多视图3D图像。在这种情况下，针对每个观看者仅显示两视图3D图像，使得当在相邻视点的图像之间出现串扰时，观看者会感到疲惫。 

[图像处理单元的详细配置示例] 

图40是示出了图38中的图像处理单元181的详细配置示例的框图。 

在图40所示的配置中，对与图5中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图40中的图像处理单元181的配置与图5中的配置的不同主要在于，设置了输入视点选择单元201来替代输入视点选择单元41。 

具体地，图像处理单元181的输入视点选择单元201基于由来自位置检测单元11的位置信息指示的观看位置、来自目标确定单元101的处理视点信息和来自图像显示单元183的显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，输入视点选择单元201将该视点的视点编号作为左眼视点编号提供给图像显示单元183。 

输入视点选择单元201基于左眼视点编号，从在外部输入的输入图像的视点中选择预定视点。然后，以与图5中的输入视点选择单元41相同的方式，输入视点选择单元201使用所选择的预定视点的输入图像和对应的深度图像来生成一个预定视点的输入图像和深度图像，并将其提供给放大处理单元42。此外，输入视点选择单元201基于左眼视点编号、由位置信息指示的观看位置和由处理视点信息指定的左眼，生成立体效果校正参数，并将其提供给立体效果校正单元43。 

同时，虽然未示出，但是图40中的图像处理单元181也可以在立体效果强调单元44的后续级上设置有立体效果校正单元43。 

[输入视点选择单元的详细配置示例] 

图41是示出了图40中的输入视点选择单元201的详细配置示例的框图。 

在图41所示的配置中，对与图7中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图41中的输入视点选择单元201的配置与图7中的配置的不同主要在于，设置了视点选择单元221来替代视点选择单元51。 

具体地，以与图32中的视点选择单元141相同的方式，输入视点选择单元201的视点选择单元221基于由来自位置检测单元11的位置信息指示的观看位置和由来自目标确定单元101的处理视点信息指定的左眼，获得左眼观看位置。然后，视点选择单元221基于左眼观看位置和从图像显示单元183提供的显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，视点选择单元221将该视点的视点编号作为左眼视点编号提供给图像显示单元183。 

视点选择单元221基于左眼视点编号，从输入图像的视点中选择对应于左眼视点编号的一个预定视点。视点选择单元221将所选择的一个视点的视点编号提供给选择器52。 

此外，视点选择单元221基于左眼观看位置，针对左眼视点编号的视点生成基于预先设置的初始位置的左眼观看位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。同时，初始位置是例如针对对应于显示在图像显示单元183上的多视图3D图像的每个视点设置的用于观看该视点的3D图像的最优位置。 

[输入视点选择单元的处理的描述] 

图42和43是示出了图41中的输入视点选择单元201的视点的选择的视图。 

图42是示出了在输入图像的视点数目和显示在图像显示单元183上的3D图像的视点数目相同的情况下的视点选择单元221的处理的视图。 

同时，在图42中的示例中，输入图像和显示在图像显示单元183上的3D图像中均存在四个视点。在图42和43中，视点编号i的视点被称作视点#i，并且通过显示参数指示的观看位置当中的、可以观看视点编号i的视点的图像的观看位置被称作观看位置#i。 

如图42所示，输入视点选择单元201的视点选择单元221首先基于由位置信息指示的观看位置和由处理视点信息指定的左眼来获得左眼观看位置。然后，视点选择单元221基于左眼观看位置和显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。 

在图42的示例中，由于对应于可以从左眼观看位置观看的、显示在图像显示单元183上的3D图像的视点是视点#2，所以视点选择单元221确定显示左眼的输出图像作为视点#2的图像。 

此外，在图42的示例中，由于输入图像的视点数目和显示在图像显示单元183上的3D图像的视点数目相同，所以视点选择单元221从输入图像的视点#1至#4中选择相同的视点#2作为对应于图像显示单元183中的视点#2的视点。然后，视点选择单元221将视点#2的视点编号2提供给选择器52。据此，选择器52从输入图像和深度图像中选择视点#2的输入图像和深度图像。 

图43是示出了在输入图像的视点数目与显示在图像显示单元183上的3D图像的视点数目彼此不同的情况下的视点选择单元221的处理的视图。 

同时，在图43的示例中，输入图像存在七个视点，并且显示在图像显示单元183上的3D图像存在四个视点。 

如图43所示，视点选择单元221首先基于由位置信息指示的观看位置和由处理视点信息指定的左眼来获得左眼观看位置。然后，视点选择单元221基于左眼观看位置和显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。 

在图43中的示例中，由于对应于显示在图像显示单元183上的、可以从左眼观看位置观看的3D图像的视点是视点#2，所以视点选择单元221确定显示左眼的输出图像作为视点#2的图像。 

此外，在图43的示例中，由于输入图像的视点数目与显示在图像显示单元183上的3D图像的视点数目彼此不同，所以视点选择单元221例如从输入图像的视点#1至#7中选择视点#3作为对应于图像显示单元183中的视点#2的视点。然后，视点选择单元221将视点#3的视点编号3提供给选择器52。据此，选择器52从输入图像和深度图像中选择视点#3的输入图像和深度图像。 

图44是示出了图41中的视点选择单元221的立体效果校正参数的生成的视图。 

在图44中的示例中，输入图像和显示在图像显示单元183上的3D图像均存在四个视点。在图44中，视点编号i的视点被称作视点#i，通过显示参数指示的观看位置当中的、可以观看的视点编号i的视点的图像的 观看位置被称作观看位置#i。 

如图44所示，当左眼视点编号为2时，视点选择单元221针对视点#2生成基于预先设置的初始位置的左眼观看位置的坐标，作为立体效果校正参数。 

[输入视点选择单元的另一详细配置示例] 

图45是示出了图40中的输入视点选择单元201的另一详细配置示例的框图。 

图45中的输入视点选择单元201的配置与图8中的配置的不同主要在于，设置了视点选择单元241来替代视点选择单元61。 

具体地，以与图33中的视点选择单元161相同的方式，输入视点选择单元201的视点选择单元241基于由来自位置检测单元11的位置信息指示的观看位置和由来自目标确定单元101的处理视点信息指定的左眼，获得左眼观看位置。然后，视点选择单元241基于左眼观看位置和从图像显示单元183提供的显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，视点选择单元241将视点的视点编号作为左眼视点编号提供给图像显示单元183。 

视点选择单元241基于左眼视点编号，从输入图像的视点中选择多个视点，所述多个视点包括对应于左眼视点编号的一个预定视点和与该一个视点相邻的视点。视点选择单元241将所选择的多个视点的视点编号提供给视点组合单元62。此外，以与图41中的视点选择单元221相同的方式，视点选择单元241基于左眼观看位置生成立体效果校正参数，并将其提供给立体效果校正单元43。 

[另一输入视点选择单元的处理的描述] 

图46是示出了图45中的输入视点选择单元201的视点的选择的视图。 

同时，在图46中的示例中，在输入图像中存在七个视点，在显示在图像显示单元183上的3D图像中存在四个视点。在图46中，视点编号i的视点被称作视点#i，通过显示参数指示的观看位置当中的、可以观看的视点编号i的视点的图像的观看位置被称作观看位置#i。 

如图46所示，输入视点选择单元201的视点选择单元241首先基于由位置信息指示的观看位置和由处理视点信息指定的左眼来获得左眼观 看位置。然后，视点选择单元241基于左眼观看位置和显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。 

在图46中的示例中，由于对应于显示在图像显示单元183上的、可以从左眼观看位置观看的3D图像的视点是视点#2，所以视点选择单元241确定显示左眼的输出图像作为视点#2的图像。 

此外，视点选择单元241从输入图像的视点#1至#7中选择对应于图像显示单元183中的视点#2的视点#3以及与视点#3相邻的视点#2和#4。然后，视点选择单元241将视点#2至#4的视点编号2至4提供给视点组合单元62。据此，视点组合单元62通过从输入图像和深度图像中选择视点#2至#4的输入图像和深度图像来生成一个预定视点的输入图像和深度图像，并对其进行组合。 

[图像处理单元的处理的描述] 

除了视点选择处理之外，图40中的图像处理单元181的图像处理与图24中的图像处理相似，使得仅描述视点选择处理。 

图47是详细示出了由图41中的输入视点选择单元201进行的视点选择处理的流程图。 

在图47中的S110，输入视点选择单元201的视点选择单元221基于由来自位置检测单元11的位置信息指示的观看位置和由来自目标确定单元101的处理视点信息指定的左眼来获得左眼观看位置。 

在步骤S111，视点选择单元221基于左眼观看位置和从图像显示单元183提供的显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，视点选择单元221将视点的视点编号作为左眼视点编号提供给图像显示单元183。 

在步骤S112，视点选择单元221基于左眼视点编号从输入图像的视点中选择对应于左眼视点编号的一个预定视点。视点选择单元221将所选择的一个视点的视点编号提供给选择器52。 

在步骤S113，视点选择单元221基于左眼观看位置，针对左眼视点编号的视点生成预先设置的初始位置的左眼观看位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

在步骤S114的处理与图34中的步骤S73的处理相似，使得省略其描 述。 

图48是详细示出了由图45中的输入视点选择单元201进行的视点选择处理的流程图。 

在图48中的S120，输入视点选择单元201的视点选择单元241基于由来自位置检测单元11的位置信息指示的观看位置和由来自目标确定单元101的处理视点信息指定的左眼来获得左眼观看位置。 

在步骤S121，视点选择单元241基于左眼观看位置和从图像显示单元183提供的显示参数，确定将左眼的输出图像显示为在图像显示单元183上显示的多视图3D图像中的哪个视点的图像。然后，视点选择单元241将视点的视点编号作为左眼视点编号提供给图像显示单元183。 

在步骤S122，视点选择单元241基于左眼视点编号从输入图像的视点中选择包括对应于左眼视点编号的一个预定视点和与该一个视点相邻的视点的多个视点。然后，视点选择单元241将所选择的多个视点的视点编号提供给视点组合单元62。 

在步骤S123，视点选择单元241基于左眼观看位置，针对左眼视点编号的视点生成基于预先设置的初始位置的左眼观看位置的坐标作为立体效果校正参数，并将其提供给立体效果校正单元43。 

步骤S124和S125的处理与图35中的步骤S93和S94的处理相似，使得省略其描述。 

如上所述，图像处理装置180基于观看位置校正深度图像，使得这可以在图像显示单元183中实现与真实世界的运动视差紧密相关的运动视差，图像显示单元183是显示多视图3D图像的3D显示器。结果，观看者可以实现高度准确的立体观看。 

图像处理装置180仅生成可以在左眼观看位置和右眼观看位置观看的两个视点的输出图像，使得相比于生成可以显示在图像显示单元183上的多个视点的输出图像的情况，可以实现降低的处理负荷。 

<第四实施例> 

[图像处理装置的第四实施例的配置示例] 

图49是示出了应用本技术的图像处理装置的第四实施例的配置示例的框图。 

在图49所示的配置中，对与图38中的配置相同的配置分配相同的附 图标记。适当地省略重叠描述。 

图49中的图像处理装置260的配置与图38中的配置的不同主要在于，设置了目标确定单元261来替代目标确定单元101，设置了图像处理单元262-1至262-N（N是不小于3的整数）来替代图像处理单元181和182，设置了图像显示单元263来替代图像显示单元183。图像处理装置260基于一个或更多个视点的输入图像和深度图像和位置信息来显示N个视点的输出图像作为要显示的N视图3D图像。 

具体地，图像处理装置260的目标确定单元261将用于指定N个视点中的每个作为对应于图像处理单元262-1至262-N的生成目标的视点的处理视点信息提供给图像处理单元262-1至262-N。 

以与图38中的图像处理单元181相同的方式，向图像处理单元262-1至262-N中的每个在外部输入作为输入图像的一个或更多个视点的彩色图像，并在外部输入对应于该输入图像的一个或更多个视点的深度图像。图像处理单元262-1至262-N中的每个基于来自位置检测单元11的位置信息、来自目标确定单元261的处理视点信息和来自图像显示单元263的显示参数，校正在外部输入的输入图像和深度图像。然后，图像处理单元262-1至262-N中的每个使用校正后的输入图像和深度图像生成一个预定视点的彩色图像，并将其提供给图像显示单元263作为由处理视点信息指定的视点的输出图像。 

同时，在下文中，当不特别需要将图像处理单元262-1至262-N相互区分时，它们被统称为图像处理单元262。 

图像显示单元263由显示多视图3D图像的3D显示器构成。图像显示单元263根据从图像处理单元262提供的N个视点的输出图像生成N视图3D图像。例如，图像显示单元263生成N视图3D图像，其中，使得从图像处理单元262提供的输出图像依次成为第一视点至第N视点的图像。 

然后，图像显示单元263针对每个视点在不同方向上显示所生成的N视图3D图像。据此，观看者可以在不戴用于3D观看的眼镜的情况下观看由N视点中的两视点的图像形成的3D图像。 

同时，虽然在图49中的图像处理装置260中输入对应于输入图像的一个或更多个视点的深度图像，但是该深度图像也可以根据输入图像而生成。在这种情况下，如图50所示，图像处理装置180设置有图4中的深 度检测单元21。虽然未示出，但是以与图36中的图像处理装置100相同的方式，图49中的图像处理装置260也可以针对每两个预定视点使用共同的深度图像生成N个视点的新的输出图像，并根据N个视点的输出图像生成N视图3D图像。 

当存在多个观看者时，图像处理装置260可以将N个视点除以观看者数目并将其分配给每个观看者，针对每个观看者生成分配的视点的输出图像，并显示由所有观看者的输出图像形成的N视图3D图像。在这种情况下，还针对每个观看者显示由每个观看者观看的两个视点之外的视点的3D图像，使得即使在相邻视点的图像之间出现串扰时，观看者较不可能感到疲惫。 

[图像处理单元的详细配置示例] 

图51是示出了图49中的图像处理单元262的详细配置示例的框图。 

在图51所示的配置中，对与图5中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图51中的图像处理单元262的配置与图5中的配置的不同主要在于，设置了输入视点选择单元281来替代输入视点选择单元41。 

具体地，图像处理单元262的输入视点选择单元281基于来自目标确定单元261的处理视点信息，从在外部输入的输入图像的视点中选择预定视点。然后，以与图5中的输入视点选择单元41相同的方式，输入视点选择单元281使用所选择的预定视点的输入图像和对应的深度图像来生成一个预定视点的输入图像和深度图像，并将其提供给放大处理单元42。 

输入视点选择单元281还基于由来自位置检测单元11的位置信息指示的观看位置和来自图像显示单元263的显示参数，检测显示在图像显示单元263上的多视图3D图像的、对应于可以从观看位置观看的3D图像的视点。然后，输入视点选择单元281基于所检测的视点、观看位置和来自目标确定单元261的处理视点信息，生成立体效果校正参数，并将其提供给立体效果校正单元43。 

同时，虽然未示出，但是图51中的图像处理单元262也可以在立体效果强调单元44的后续级上设置有立体效果校正单元43。 

[输入视点选择单元的详细配置示例] 

图52是示出了图51中的输入视点选择单元281的详细配置示例的框 图。 

在图52所示的配置中，对与图7中的配置相同的配置分配相同的附图标记。适当地省略重叠描述。 

图52中的输入视点选择单元281的配置与图7中的配置的不同主要在于，设置了视点选择单元301来替代视点选择单元51。 

具体地，输入视点选择单元281的视点选择单元301基于来自目标确定单元261的处理视点信息，从输入图像的视点中选择对应于由处理视点信息指定的视点的一个预定视点。然后，视点选择单元301将所选择的一个视点的视点编号提供给选择器52。 

视点选择单元301还基于由来自位置检测单元11的位置信息指示的观看位置和来自图像显示单元263的显示参数，检测显示在图像显示单元263上的多视图3D图像的、对应于可以从观看位置观看的3D图像的视点。然后，视点选择单元301基于所检测的视点、观看位置和处理视点信息，针对视点生成基于预先设置的初始位置的、与由处理视点信息指定的视点对应的位置的坐标作为立体效果校正参数。然后，视点选择单元301将立体效果校正参数提供给立体效果校正单元43。 

[输入视点选择单元的处理的描述] 

图53和54是示出了图52中的输入视点选择单元281的视点的选择的视图。 

图53是示出了在输入图像的视点数目与显示在图像显示单元263上的3D图像的视点数目相同的情况下的视点选择单元301的处理的视图。 

同时，在图53中的示例中，输入图像和显示在图像显示单元263上的3D图像均存在四个视点。在图53和54中，视点编号i的视点被称作视点#i，并且在通过显示参数指示的观看位置当中的、可以观看视点编号i的视点的图像的观看位置被称作观看位置#i。 

如图53所示，输入视点选择单元281的视点选择单元301基于来自目标确定单元261的处理视点信息从输入图像的视点中选择对应于由处理视点信息指定的视点的一个预定视点，并将该一个视点的视点编号提供给选择器52。在图53中的示例中，由于输入图像的视点数目与显示在图像显示单元263上的3D图像的视点数目相同，所以视点选择单元301从输入图像的视点#1至#4中选择相同的视点#4作为对应于由处理视点信息指定的视点#4的视点。然后，视点选择单元301将视点#4的视点编号4 提供给选择器52。据此，选择器52从输入图像和深度图像中选择视点#4的输入图像和深度图像。 

图54是示出了在输入图像的视点数目与显示在图像显示单元263上的3D图像的视点数目彼此不同的情况下的视点选择单元301的处理的视图。 

同时，在图54中的示例中，输入图像存在八个视点，并且显示在图像显示单元263上的3D图像存在四个视点。 

如图54所示，视点选择单元301基于来自目标确定单元261的处理视点信息从输入图像的视点中选择对应于由处理视点信息指定的视点的一个预定视点，并将该一个视点的视点编号提供给选择器52。在图54中的示例中，由于输入图像的视点数目与显示在图像显示单元263上的3D图像的视点数目彼此不同，所以视点选择单元301例如从输入图像的视点#1至#8中选择视点#7，作为对应于由处理视点信息指定的视点#4的视点。然后，视点选择单元301将视点#7的视点编号7提供给选择器52。据此，选择器52从输入图像和深度图像中选择视点#7的输入图像和深度图像。 

图55是示出了图52中的视点选择单元301的立体效果校正参数的生成的视图。 

在图55中的示例中，在输入图像和显示在图像显示单元263上的3D图像中均存在四个视点。在图55中，视点编号i的视点被称作视点#i，并且在通过显示参数指示的观看位置当中的、可以观看视点编号i的视点的图像的观看位置被称作观看位置#i。 

如图55所示，视点选择单元301首先基于由来自位置检测单元11的位置指示的观看位置和由来自图像显示单元263的显示参数，检测显示在图像显示单元263上的多视图3D图像的、对应于可以从观看位置观看的3D图像的视点。在图55中的示例中，检测视点#2作为对应于可以从观看位置观看的、显示在图像显示单元263上的3D图像的视点。 

然后，视点选择单元301基于所检测的视点#2、观看位置和由处理视点信息指定的视点#4，使得下述位置成为例如对应于视点#4的位置：所述位置处于与对应于视点#2的观看位置#2相同的深度方向上的位置处且处于可以观看视点#4的水平方向上的位置处。视点选择单元301针对对应于视点#4的位置的视点#4生成基于预先设置的初始位置的坐标，作为立体效果校正参数。 

[输入视点选择单元的另一详细配置示例] 

图56是示出了图51中的输入视点选择单元281的另一详细配置示例的框图。 

图56中的输入视点选择单元281的配置与图8中的配置的不同主要在于，设置了视点选择单元321来替代视点选择单元61。 

具体地，输入视点选择单元281的视点选择单元321基于来自目标确定单元261的处理视点信息，从输入图像的视点中选择多个视点，所述多个视点包括对应于由处理视点信息指定的视点的一个预定视点和与该一个视点相邻的视点。然后，视点选择单元301将所选择的多个视点的视点编号提供给视点组合单元62。 

此外，以与图52中的视点选择单元301相同的方式，视点选择单元321基于由来自位置检测单元11的位置指示的观看位置和由来自图像显示单元263的显示参数，检测显示在图像显示单元263上的多视图3D图像的对应于可以从观看位置观看的3D图像的视点。然后，以与视点选择单元301相同的方式，视点选择单元321基于所检测的视点、观看位置和处理视点信息来生成立体效果校正参数，并将其提供给立体效果校正单元43。 

[另一输入视点选择单元的处理的描述] 

图57是示出了图56中的输入视点选择单元281的视点的选择的视图。 

同时，在图57中的示例中，在输入图像中存在八个视点，在显示在图像显示单元263上的3D图像中存在四个视点。在图57中，视点编号i的视点被称作视点#i，在通过显示参数指示的观看位置当中的、可以观看视点编号i的视点的图像的观看位置被称作观看位置#i。 

如图57所示，输入视点选择单元281的视点选择单元321基于来自目标确定单元261的处理视点信息，从输入图像的视点中选择多个视点，所述多个视点包括对应于由处理视点信息指定的视点的一个预定视点和与该一个视点相邻的视点。 

在图57中的示例中，由于输入图像的视点数目与显示在图像显示单元263上的3D图像的视点数目彼此不同，所以视点选择单元321例如从输入图像的视点#1至#8中选择视点#7，作为对应于由处理视点信息指定的视点#4的视点。视点选择单元321还选择与视点#7相邻的视点#6和#8。 然后，视点选择单元321将视点#6至#8的视点编号6至8提供给视点组合单元62。据此，视点组合单元62通过从输入图像和深度图像中选择视点#6至#8的输入图像和深度图像，来生成一个预定视点的输入图像和深度图像，并对其进行组合。 

[图像处理单元的处理的描述] 

除了视点选择处理之外，图51中的图像处理单元262的图像处理与图24中的图像处理相似，使得仅描述视点选择处理。 

图58是详细示出了由图52中的输入视点选择单元281进行的视点选择处理的流程图。 

在图58中的S141，输入视点选择单元281的视点选择单元301基于来自目标确定单元261的处理视点信息从输入图像的视点中选择对应于由处理视点信息指定的视点的一个预定视点。然后，视点选择单元301将所选择的一个视点的视点编号提供给选择器52。 

在步骤S142，视点选择单元301基于由来自位置检测单元11的位置信息指示的观看位置、处理视点信息和来自图像显示单元263的显示参数，生成立体效果校正参数。然后，视点选择单元301将立体效果校正参数提供给立体效果校正单元43。 

步骤S143的处理与图34中的步骤S73的处理相似，使得省略其描述。 

图59是详细示出了由图56中的输入视点选择单元281进行的视点选择处理的流程图。 

在图59的步骤S161，输入视点选择单元281的视点选择单元321基于来自目标确定单元261的处理视点信息，从输入图像的视点中选择多个视点，所述多个视点包括对应于由处理视点信息指定的视点的一个预定视点和与该一个视点相邻的视点。然后，视点选择单元301将所选择的多个视点的视点编号提供给视点组合单元62。 

在步骤S162，视点选择单元321基于由来自位置检测单元11的位置指示的观看位置、处理视点信息和由来自图像显示单元263的显示参数，来生成立体效果校正参数，并将其提供给立体效果校正单元43。 

步骤S163和S164的处理与图35中的步骤S93和S94的处理相似，使得省略其描述。 

如上所述，图像处理装置260基于观看位置校正深度图像，使得这可以在图像显示单元263中实现与真实世界的运动视差紧密相关的运动视差，图像显示单元263是显示多视图3D图像的3D显示器。结果，观看者可以实现高度准确的立体观看。 

同时，当上述图像处理装置10（100、180、260）是便携式装置时，位置检测单元11可以检测图像处理装置10（100、180、260）的位置、倾斜等，而不是观看者的位置。在这种情况下，观看位置是基于图像处理装置10（100、180、260）的位置和倾斜而获得的。还可以在外部输入图像处理装置10（100、180、260）的尺寸、显示分辨率等。 

以与图像处理装置10相同的方式，图像处理装置100（180、260）还可以输出对应于输出图像的深度图像。 

此外，虽然基于位置信息执行运动视差处理和空中透视处理，但是还可以基于观看者的疲惫感和情绪来执行运动视差处理和空中透视处理。 

[应用本技术的计算机的描述] 

上述系列处理可以由硬件或软件来执行。当系列处理由软件执行时，构成软件的程序可以安装在多用计算机等上。 

图60示出了安装有执行上述系列处理的程序的计算机的一个实施例的配置示例。 

程序可以预先记录在作为嵌入在计算机中的记录介质的ROM（只读存储器）502和存储单元508中。 

替选地，程序可以存储在（记录在）可移除介质511中。这样的可移除介质511可以被设置为所谓的封装软件。这里，可移除介质511例如包括软盘、CD-ROM（致密盘-只读存储器）、MO（磁光）盘、DVD（数字多功能盘）、磁盘、半导体存储器等。 

同时，可以通过驱动器510将程序从上述可移除介质511安装在计算机上，或通过通信网络和广播网络将程序下载到计算机以便被安装在嵌入式存储单元508中。也就是说，例如，可以通过用于数字卫星广播的卫星以无线的方式将程序从下载站点传送到计算机，或通过诸如LAN（局域网）和因特网等的网络等用线路将程序传送到计算机。 

CPU（中央处理单元）501被嵌入在计算机中，并且输入/输出接口505经由总线504被连接到CPU501。 

当用户经由输入/输出接口505通过输入单元506的操作等输入指示时，CPU501据此执行存储在ROM502中的程序。替选地，CPU501将存储在存储单元508中的程序加载到RAM（随机存取存储器）503以便执行。 

据此，CPU501执行根据上述流程图的处理或通过上述框图的配置进行的处理。然后，CPU501从输出单元507输出处理后的结果或从通信单元509输出处理后的结果，并根据需要例如通过输入/输出接口505将处理后的结果进一步记录在存储单元508上。 

同时，输入单元506包括键盘、鼠标、麦克风等。输出单元507包括LCD（液晶显示器）、扬声器等。 

这里，在本说明书中，计算机根据程序执行的处理不一定要求遵循流程图所描述的顺序以时间顺序进行。也就是，计算机根据程序执行的处理还包括并行执行或单独执行的处理（例如，并行处理和通过对象进行的处理）。 

程序可以由一个计算机（处理器）处理或多个计算机处理。此外，程序可以传送到远程计算机以便被执行。 

本技术的实施例不限于上述实施例，并且可以在不背离本技术的范围的情况下进行各种修改。 

同时，本技术还可以具有以下配置。 

（1）一种图像处理装置，包括： 

图像处理单元，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。 

（2）根据（1）所述的图像处理装置，其中 

所述图像处理单元基于所述观看位置信息来确定所述预定视点的深度图像的每个像素的校正量，以使得对于所述预定视点的深度图像中与指示在所述深度方向上的位置处于更近侧的深度值对应的像素，所述校正量较大，并且所述图像处理单元针对每个像素用所述像素的校正量来校正所述深度值。 

（3）根据（2）所述的图像处理装置，其中 

当所述观看者的位置处于比预定的初始位置更靠近显示装置的一侧 时，所述图像处理单元在朝向近侧的方向上用所述校正量校正所述预定视点的深度图像的每个像素的深度值，其中所述显示装置基于由所述图像处理单元校正的所述预定视点的深度图像来显示所述预定视点的彩色图像，并且当所述观看者的位置越过所述预定的初始位置在与所述显示装置相反的一侧时，所述图像处理单元在朝向远侧的方向上用所述校正量校正所述预定视点的深度图像的每个像素的深度值。 

（4）根据（1）至（3）中任一项所述的图像处理装置，其中 

所述图像处理单元基于所述观看者位置信息来确定所述预定视点的深度图像和彩色图像的缩放中心点，确定所述预定视点的深度图像和彩色图像的每个像素的缩放率，以使得对于与指示距所述中心点的距离较大且在所述深度方向上的位置处于较近侧的深度值对应的像素，缩放率较大，并且针对每个像素以所述中心点为中心且以所述像素的缩放率执行形成所述预定视点的彩色图像的像素值和所述深度值的缩放。 

（5）根据（4）所述的图像处理装置，其中 

当所述观看者的位置处于比预定的初始位置更靠近显示装置的一侧时，所述图像处理单元以所述缩放率放大所述预定视点的深度图像的每个像素的深度值，其中所述显示装置基于由所述图像处理单元校正的所述预定视点的深度图像来显示所述预定视点的彩色图像，并且当所述观看者的位置越过所述预定的初始位置在与所述显示装置相反的一侧时，所述图像处理单元以所述缩放率减小所述预定视点的深度图像的每个像素的深度值。 

（6）根据（5）所述的图像处理装置，还包括： 

放大处理单元，其放大所述预定视点的深度图像，其中 

所述图像处理单元基于所述观看者位置信息来执行由所述放大处理单元放大的所述预定视点的深度图像的缩放。 

（7）根据（1）至（6）中任一项所述的图像处理装置，其中 

所述图像处理单元还基于指示所述观看者的注视点的位置的注视点位置信息，对所述预定视点的彩色图像的在注视点附近的区域执行提高增强或对比度的处理，并且对除了在所述注视点附近的区域之外的区域执行降低增强或对比度的处理。 

（8）根据（1）至（7）中任一项所述的图像处理装置，还包括： 

显示控制单元，其基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像。 

（9）根据（1）至（8）中任一项所述的图像处理装置，还包括： 

选择单元，其基于所述位置信息，从多个视点的深度图像中选择所述预定视点的深度图像。 

（10）根据（1）至（8）中任一项所述的图像处理装置，还包括： 

选择单元，其基于所述位置信息，从多个视点的深度图像中选择多个预定视点的深度图像；以及 

组合单元，其将由所述选择单元选择的所述多个预定视点的深度图像组合，以生成所述预定视点的深度图像。 

（11）根据（1）至（7）中任一项所述的图像处理装置，其中 

所述预定视点是多个视点，并且 

所述图像处理单元针对所述预定视点的每个视点，基于所述位置信息来校正所述视点的深度图像。 

（12）根据（11）所述的图像处理装置，还包括： 

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行用于在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像，其中所述显示装置显示多于所述预定视点的视点的图像；以及 

选择单元，其基于所述位置信息从对应于显示在所述显示装置上的图像的视点中选择被分配给作为所述投射处理的结果而获得的所述预定视点的彩色图像的视点，并基于所述视点从多个视点的深度图像中选择所述预定视点的深度图像。 

（13）根据（11）所述的图像处理装置，还包括： 

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行用于在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示 装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像，其中所述显示装置显示多于所述预定视点的视点的图像； 

选择单元，其基于所述位置信息从对应于显示在所述显示装置上的图像的视点中选择被分配给作为所述投射处理的结果而获得的所述预定视点的彩色图像的视点，并基于所述视点从多个视点的彩色图像中选择多个预定视点的彩色图像；以及 

组合单元，其将由所述选择单元选择的所述多个预定视点的彩色图像组合，以生成所述预定视点的彩色图像。 

（14）根据（11）所述的图像处理装置，还包括： 

投射处理单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理； 

生成单元，其使用作为由所述投射处理单元进行的投射处理的结果而获得的所述预定视点的彩色图像来生成所述彩色图像所共同的深度图像；以及 

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述生成单元生成的深度图像来执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像。 

（15）一种图像处理方法，包括：图像处理步骤，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置，所述步骤是由图像处理装置执行的。 

（16）一种程序，其允许计算机执行处理，所述处理包括：图像处理步骤，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。 

附图标记列表 

10 图像处理装置，12 图像处理单元，13 图像显示单元，41 输入视点选择单元，42 放大处理单元，43 立体效果校正单元，44 立体效果强调单元， 45 视点生成单元，51、61 视点选择单元，62 视点组合单元，81 深度校正单元，82 缩放单元，100 图像处理装置，102、103 图像处理单元，104图像显示单元，121 输入视点选择单元，141、161 视点选择单元，171、172 图像处理单元，173 深度检测单元，174 视点生成单元，260 图像处理装置，262-1 至262-N 图像处理单元，263 图像显示单元，281 输入视点选择单元，301、321 视点选择单元 。

Claims (16)

1.一种图像处理装置，包括：

图像处理单元，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。

2.根据权利要求1所述的图像处理装置，其中

所述图像处理单元基于所述观看位置信息来确定所述预定视点的深度图像的每个像素的校正量，以使得对于所述预定视点的深度图像中与指示在所述深度方向上的位置处于更近侧的深度值对应的像素，所述校正量较大，并且所述图像处理单元针对每个像素用所述像素的校正量来校正所述深度值。

3.根据权利要求2所述的图像处理装置，其中

当所述观看者的位置处于比预定的初始位置更靠近显示装置的一侧时，所述图像处理单元在朝向近侧的方向上用所述校正量校正所述预定视点的深度图像的每个像素的深度值，其中所述显示装置基于由所述图像处理单元校正的所述预定视点的深度图像来显示所述预定视点的彩色图像，并且当所述观看者的位置越过所述预定的初始位置在与所述显示装置相反的一侧时，所述图像处理单元在朝向远侧的方向上用所述校正量校正所述预定视点的深度图像的每个像素的深度值。

4.根据权利要求1所述的图像处理装置，其中

所述图像处理单元基于所述观看者位置信息来确定所述预定视点的深度图像和彩色图像的缩放中心点，确定所述预定视点的深度图像和彩色图像的每个像素的缩放率，以使得对于与指示距所述中心点的距离较大且在所述深度方向上的位置处于较近侧的深度值对应的像素，缩放率较大，并且针对每个像素以所述中心点为中心且以所述像素的缩放率执行形成所述预定视点的彩色图像的像素值和所述深度值的缩放。

5.根据权利要求4所述的图像处理装置，其中

当所述观看者的位置处于比预定的初始位置更靠近显示装置的一侧时，所述图像处理单元以所述缩放率放大所述预定视点的深度图像的每个像素的深度值，其中所述显示装置基于由所述图像处理单元校正的所述预定视点的深度图像来显示所述预定视点的彩色图像，并且当所述观看者的位置越过所述预定的初始位置在与所述显示装置相反的一侧时，所述图像处理单元以所述缩放率减小所述预定视点的深度图像的每个像素的深度值。

6.根据权利要求5所述的图像处理装置，还包括：

放大处理单元，其放大所述预定视点的深度图像，其中

所述图像处理单元基于所述观看者位置信息来执行由所述放大处理单元放大的所述预定视点的深度图像的缩放。

7.根据权利要求1所述的图像处理装置，其中

所述图像处理单元还基于指示所述观看者的注视点的位置的注视点位置信息，对所述预定视点的彩色图像的在注视点附近的区域执行提高增强或对比度的处理，并且对除了在所述注视点附近的区域之外的区域执行降低增强或对比度的处理。

8.根据权利要求1所述的图像处理装置，还包括：

显示控制单元，其基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像。

9.根据权利要求1所述的图像处理装置，还包括：

选择单元，其基于所述位置信息，从多个视点的深度图像中选择所述预定视点的深度图像。

10.根据权利要求1所述的图像处理装置，还包括：

选择单元，其基于所述位置信息，从多个视点的深度图像中选择多个预定视点的深度图像；以及

组合单元，其将由所述选择单元选择的所述多个预定视点的深度图像组合，以生成所述预定视点的深度图像。

11.根据权利要求1所述的图像处理装置，其中

所述预定视点是多个视点，并且

所述图像处理单元针对所述预定视点的每个视点，基于所述位置信息来校正所述视点的深度图像。

12.根据权利要求11所述的图像处理装置，还包括：

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行用于在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像，其中所述显示装置显示多于所述预定视点的视点的图像；以及

选择单元，其基于所述位置信息从对应于显示在所述显示装置上的图像的视点中选择被分配给作为所述投射处理的结果而获得的所述预定视点的彩色图像的视点，并基于所述视点从多个视点的深度图像中选择所述预定视点的深度图像。

13.根据权利要求11所述的图像处理装置，还包括：

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像来执行用于在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像，其中所述显示装置显示多于所述预定视点的视点的图像；

选择单元，其基于所述位置信息从对应于显示在所述显示装置上的图像的视点中选择被分配给作为所述投射处理的结果而获得的所述预定视点的彩色图像的视点，并基于所述视点从多个视点的彩色图像中选择多个预定视点的彩色图像；以及

组合单元，其将由所述选择单元选择的所述多个预定视点的彩色图像组合，以生成所述预定视点的彩色图像。

14.根据权利要求11所述的图像处理装置，还包括：

投射处理单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述图像处理单元校正的所述预定视点的深度图像执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理；

生成单元，其使用作为由所述投射处理单元进行的投射处理的结果而获得的所述预定视点的彩色图像来生成所述彩色图像所共同的深度图像；以及

显示控制单元，其针对所述预定视点的每个视点，基于所述位置信息和由所述生成单元生成的深度图像来执行在所述观看者的位置上投射所述预定视点的彩色图像的投射处理，并允许显示装置显示作为所述投射处理的结果而获得的所述预定视点的彩色图像。

15.一种图像处理方法，包括：图像处理步骤，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置，所述步骤是由图像处理装置执行的。

16.一种程序，其允许计算机执行处理，所述处理包括：图像处理步骤，其基于观看者位置信息来校正由深度值形成的深度图像，其中所述观看者位置信息是指示观看者的位置的信息，所述深度值指示预定视点的彩色图像的每个像素在深度方向上的位置。

Images